Soracom

S⁺ Camera シリーズ にインストールできるアルゴリズムとして、ソラコムが提供するサンプルアルゴリズムとソラコムパートナーから提供される 3rd party アルゴリズムが用意されています。

• サンプルアルゴリズム

  • Check Environment settings (環境変数チェック)
  • Periodic Image Upload (定期画像送信)
  • OCR (英数字読み取り)
  • Movie (Animated Image) (差分動画)
  • Fish-eye Lens Calibration (広角/魚眼レンズのキャリブレーションパラメータ作成)
  • Object Detection Movie (物体検出動画アップロード)
  • ObjectDetection with Google Coral Edge TPU USB Accelerator (物体検出)
  • Image Classification (Face) (顔認識)
  • Object Detection (物体検出)
  • ArUcoMarker Image (画像の切り出し)

• 3rd party アルゴリズム

  3rd party アルゴリズムを利用するには、あらかじめ S+ AI マーケットで 3rd party アルゴリズムを購入 してください。

  • Customer Attributes (顧客属性判定)
  • Congestion Monitor (滞在人数カウント)
  • People Tracking Counter (通行量カウント)
  • Vehicle Counter (駐車場台数カウント)
  • People Stay Time (滞在時間計測)
  • Person Movement Flow (動線分析)
  • Area Alert (禁止エリア侵入検知アラート)
  • Mask Classification (マスク未着用者検知アラート)
  • Number Plate Detection (ナンバープレート OCR)
  • Helmet Alert (ヘルメット検知)
  • Cardboard Counter (段ボール検知)
  • Facial Expression (表情分類)
  • Cat Alert (物体検知＋アラート(猫))
  • Dog Alert (物体検知＋アラート(犬))
  • Vehicle Alert (物体検知＋アラート (乗り物))
  • Truck Alert (物体検知＋アラート(トラック))
  • People Alert (物体検知＋アラート(人物))
  • Smartphone Alert (物体検知＋アラート(スマートフォン))
  • QR Code Reader (QR コード検知)
  • Ramen Type Classifier (ラーメン種別推定)
  • Car Counter (自動車交通量カウント)

共通操作

Harvest Data/Files を有効化する

サンプルアルゴリズムが Harvest Data/Files を使用する場合は、あらかじめ各機能を有効化してください。詳しくは、「S+ Camera シリーズユーザーガイド」の ステップ 3: S+ Camera シリーズを Mosaic コンソールに登録する を参照してください。

アルゴリズムをインストールする

アルゴリズムをインストールする操作について詳しくは、アルゴリズムをインストールする を参照してください。

Harvest Files にアップロードされたデータを確認する

Harvest Files の /cap/{MOSAIC ID}/{撮影年}/{撮影月}/{撮影日}/ に画像がアップロードされている場合は、以下の手順で確認します。

1. Mosaic コンソール のデバイス詳細画面で、[アルゴリズム] タブ → [開く] → [Harvest Files で開く] の順にクリックします。

   

2. [cap/] → [{MOSAIC ID}/] → [{撮影年}/] → [{撮影月}/] → [{撮影日}/] の順にクリックします。

   アップロードされた画像の一覧が表示されます。

3. 任意の画像の (ダウンロード) をクリックします。

Harvest Data にアップロードされたデータを確認する

1. Mosaic コンソール のデバイス詳細画面で、[アルゴリズム] タブ → [開く] → [Harvest Data で開く] の順にクリックします。

   

   エッジコンピューターから送信されたデータが表示されます。

   Harvest Data に送信されたデータを確認する操作について詳しくは、Harvest Data に保存したデータを確認する を参照してください。

サンプルアルゴリズム

Check Environment settings (環境変数チェック)

Check Environment settings は、エッジコンピューターに設定された環境変数を表示し、定期的に現在の時間をログに出力するアルゴリズムです。詳しくは、アルゴリズムをインストールする を参照してください。

Periodic Image Upload (定期画像送信)

定期的に Harvest Files に画像をアップロードし、同時に Harvest Data に画像およびデバイスのメタデータをアップロードするサンプルアルゴリズムです。

インストールする

アルゴリズムをインストールする の手順に従って、[Periodic Image Upload] をインストールします。

パラメータ設定

Periodic Image Upload では、以下のパラメータを利用しています。

動作モード (SORACOM_ENV_MODE)

SORACOM_ENV_MODE の値によって、Harvest Files にアップロードされる画像が変わります。

SORACOM_ENV_MODE	説明	Harvest Files の 保存場所
0: 画像撮影モード	SORACOM_ENV_WAIT で指定した間隔 (秒) で画像を撮影し、Harvest Files にアップロード	/cap/
100: 顔 (目線) 検出モード	SORACOM_ENV_WAIT で指定した間隔 (秒) で画像を撮影し、人物の顔 (目線) が検出できた場合に限り、顔の周りを切り出して、Harvest Files にアップロード	/face/
101: 顔 (目線) 検出 + モザイクモード	SORACOM_ENV_WAIT で指定した間隔 (秒) で画像を撮影し、人物の顔 (目線) が検出できた場合に限り、顔の周りを切り出し、目線にモザイクをかけて、Harvest Files にアップロード	/face/

Periodic Image Upload の詳細設定 (SORACOM_ENV_FREE_PARAM)

SORACOM_ENV_FREE_PARAM には、JSON 形式で以下のパラメータを指定できます。

例: 9 時から 17 時の間のみアップロードする設定

{
    "upload_begin_time": 9,
    "upload_end_time": 17
}

Periodic Image Upload のデータを確認する

Harvest Files

Periodic Image Upload では、Harvest Files の /cap/{MOSAIC ID}/{撮影年}/{撮影月}/{撮影日}/ に、定期的に Wepb 形式の画像がアップロードされます。

Harvest Data

Periodic Image Upload では、Harvest Data にパスや動作モードがアップロードされます。

{"file": "/cap/8665XXXXXXXXXXX_XXXXXXXXXXXXXXX/2021/08/26/cap_8665XXXXXXXXXXX_XXXXXXXXXXXXXXX_2021-08-26T19-16-13-374670.webp", "mode": "cap", "size": 36894, "timestamp": 1629972973374}

OCR (英数字読み取り)

OCR (英数字読み取り) は、ArUco Marker で指定された領域内にある数字やアルファベットをテキスト化して、Harvest Data にテキストデータをアップロードするサンプルアルゴリズムです。同時に、Harvest Files に画像をアップロードします。

ArUco Marker を作成する

ArUco Marker を作成する Python のスクリプト (aruco_marker.py) を用意しています。以下の手順で、スクリプトをダウンロードおよび必要なライブラリをインストールして、ArUco Marker を作成できます。

1. お使いの PC に Python 3 をインストールします。

2. aruco_marker.py にアクセスして、 (ダウンロード) → [ダウンロード] の順にクリックします。

   aruco_marker.py がダウンロードされます。

3. 以下のコマンドを実行して、必要なライブラリをインストールします。

   pip install opencv-contrib-python==4.5.3.56
   pip install numpy==1.18.1
   

4. aruco_marker.py を任意のディレクトリに移動して、以下のコマンドを実行します。

   python aruco_marker.py -n 10
   

   以下のような ArUcoMarker.png が作成されます。

   

   なお、-n 10 は、10 組の ArUco Marker を作成するオプションです。指定できるオプションは以下のとおりです。

   オプション	説明
   -n NUMBER、--number NUMBER	作成する ArUco Marker の数 (1～250)。デフォルトは 4 です。
   -s SIZE、--size SIZE	作成する ArUco Marker のサイズ (0～100)。デフォルトは 100 です。
   -p PADDING、--padding PADDING	ArUco Marker の周囲の余白 (ピクセル)。デフォルトは、40 です。
   -d、--display	プレビュー画面を表示する。環境によっては、プレビュー画面を表示できない場合があります。

   作成した ARuco Marker がアルゴリズムによって検出されないときは

   ArUco Marker の周囲の余白を大きくしてください。

5. ArUco Marker を読み取りたい英数字の左上と右上に貼り付けます。

   

   上の写真に描かれている水色の四角は、ArUco Marker が示す領域を説明するために後から追加しました。OCR を実行する際は、水色の四角は必要ありません。

OCR をインストールする

アルゴリズムをインストールする の手順に従って、[OCR] をインストールしてください。

インストール完了後、エッジコンピューターで、ArUco Marker と英数字を撮影し、ArUco Marker が示す領域内の英数字が読み取れた場合は、Harvest Files に画像が、Harvest Data にテキストデータやメタデータが送信されます。

OCR のパラメータ設定

OCR では、以下のパラメータを利用しています。

OCR の詳細設定 (SORACOM_ENV_FREE_PARAM)

SORACOM_ENV_FREE_PARAM には、JSON 形式で以下のパラメータを指定できます。

例：OEM、PSM、MCount を変更する設定

{"OEM": 1, "PSM": 1, "MCount": 4}

OCR のデータを確認する

Harvest Files

英数字が読み取れた場合は、Harvest Files の /OCR/{MOSAIC ID}/{撮影年}/{撮影月}/{撮影日}/ に以下のような画像が送信されます。

Harvest Data

英数字が読み取れた場合は、Harvest Data に各領域のテキストデータやメタデータが送信されます。

{"text": "ABCDE", "location": [42, 36, 139, 57], "confidence": 92, "mosaicId": "8xxxxxxxxx_AX0XXXXXXXX", "marker_id": X, "ts": 1599783601.6256475, "image_path": "/OCR/8xxxxxxxxx_AX0XXXXXXXX/2020/09/11/ocr_image_8xxxxxxxxx_AX0XXXXXXXX_20200911T09-21-36-226797.jpg"}
{"text": 1234567, "location": [46, 36, 165, 57], "confidence": 96, "mosaicId": "8xxxxxxxxx_AX0XXXXXXXX", "marker_id": X, "ts": 1599783696.2267966, "image_path": "/OCR/8xxxxxxxxx_AX0XXXXXXXX/2020/09/11/ocr_image_8xxxxxxxxx_AX0XXXXXXXX_20200911T09-21-36-226797.jpg"}

OCR を利用したレシピ

OCR を利用した SORACOM レシピ：IoT カメラで計測機器のデータを可視化したい もあわせて参照してください。このレシピでは、7 セグメント (フォント) を読み取るために学習されたデータを OCR エンジンに適用することで、認識対象の文字を追加する方法についても解説しています。

Movie (Animated Image) (差分動画)

1 秒ごとに画像を撮影し、直前の画像から大きな変更があった場合に、WebP 形式のアニメーション画像を作成して Harvest Files にアップロードするサンプルアルゴリズムです。同時に、Harvest Data に画像のメタデータをアップロードします。

パラメータ設定

Movie (Animated Image) では、以下のパラメータを利用しています。

Fish-eye Lens Calibration (広角/魚眼レンズのキャリブレーションパラメータ作成)

広角レンズのキャリブレーションパラメータを作成し、Harvest Files にアップロードするサンプルアルゴリズムです。詳しくは、広角レンズのキャリブレーションパラメータの作成 を参照してください。

Object Detection Movie (物体検出動画アップロード)

指定した物体を検出したときに、その前後に SORACOM_ENV_WAIT (秒) の動画を結合して Harvest Files にアップロードし、同時に、Harvest Data に物体の情報をアップロードするサンプルアルゴリズムです。

デフォルトでは、Giraffe (キリン) など 90 種類の検出が可能な MobileNet SSD v2 (COCO) モデルを使用しています。検出できる物体のラベルは、COCO Label を参照してください。

インストールする

1. アルゴリズムをインストールする の手順に従って、[Object Detection Movie] をインストールします。

   アルゴリズムをインストールすると同時に録画が開始されます

   録画を停止するには、アルゴリズムをアンインストールしてから、以下のいずれかを実行してください。

   • 録画を終了する コマンドを実行する。
   • エッジコンピューターを 再起動する。

2. [SORACOM_ENV_FREE_PARAM] に TLabel パラメータを指定した JSON を入力し、検出する物体を指定します。

   horse (馬)、giraffe (キリン)、zebra (シマウマ) を検出する例：

   {"TLabel": ["horse", "giraffe", "zebra"]}
   

   Object Detection Movie のパラメータについて詳しくは、Object Detection Movie のパラメータ設定 を参照してください。

3. [適用] をクリックします。

Object Detection Movie のパラメータ設定

Object Detection Movie では、以下のパラメータを利用しています。

Object Detection Movie の詳細設定 (SORACOM_ENV_FREE_PARAM)

SORACOM_ENV_FREE_PARAM には、JSON 形式で以下のパラメータを指定できます。

例：horse (馬)、giraffe (キリン)、zebra (シマウマ) を検出する設定

{"TLabel": ["horse", "giraffe", "zebra"]}

Object Detection Movie のデータを確認する

Harvest Files

Object Detection Movie では、指定した物体を検出した際に、Harvest Files の /movie/{MOSAIC ID}/{撮影年}/{撮影月}/{撮影日}/ にインデックスファイル (m3u8) がアップロードされ、さらに ts/ にセグメントファイル (ts) がアップロードされます。各ファイルは Http Live Streaming (HLS) に基づいているため、ffmpeg を利用して、一つの動画ファイルに変換できます。

PC に保存して動画に変換する

PC に m3u8 ファイルと ts ファイルを保存してから、ffmpeg を利用して一つの動画ファイル (以下の例では mosaic.mp4) に変換します。

1. 以下のように m3u8 ファイルと同じディレクトリ (Windows の場合はフォルダ。以下同様です) に ts ディレクトリを作成し、その中に ts ファイルを保存します。

   • yyyymmdd_hhMMss_index.m3u8 (例: 20210414_185937_index.m3u8)
   • ts/
     • yyyymmdd_hhMMss.ts
     • yyyymmdd_hhMMss.ts
     • yyyymmdd_hhMMss.ts

   m3u8 ファイルが複数アップロードされているときに、動画を 1 つだけ変換する場合は、m3u8 ファイルの中に書かれている ts ファイルだけをダウンロードして保存してください。

2. ffmpeg を利用して、一つの動画ファイルに変換します。

   ffmpeg -i 20210414_185937_index.m3u8 -c copy mosaic.mp4
   

   ffmpeg のバージョンによっては、一つの動画ファイルに変換したときに映像が乱れる場合があります。ffmpeg の最新バージョンを使用してください。

SORACOM API を利用して動画に変換する

SORACOM API を利用して、m3u8 ファイルをダウンロードし、ffmpeg を利用して一つの動画ファイル (以下の例では mosaic.mp4) に変換します。

1. SORACOM API の API キーと API トークンを取得します。

   詳しくは、API キーと API トークンの取り扱いについて を参照してください。

2. SORACOM API (getFile) と ffmpeg を利用して、一つの動画ファイルに変換します。

   ffmpeg \
   -headers 'x-soracom-api-key: ${API_Key}'$'\r\n''x-soracom-token: ${API_Token}' \
   -i "https://api.soracom.io/v1/files/private/movie/{MOSAIC ID}/{撮影年}/{撮影月}/{撮影日}/20210414_185937_index.m3u8" \
   mosaic.mp4
   

   ${API_Key} と ${API_Token} には、それぞれ手順 1 で取得した API キーと API トークンを指定します。/movie/ 以降のパスは、Harvest Files にアップロードされた m3u8 ファイルのパスです。

ObjectDetection with Google Coral Edge TPU USB Accelerator (物体検出)

Google Coral Edge TPU USB Accelerator をお持ちの場合 ObjectDetection with Google Coral Edge TPU USB Accelerator を利用できます。アルゴリズムがうまく動作しない場合には、Google Coral Edge TPU を USB 接続した状態で S⁺ Camera シリーズ 電源断の後、電源を入れ直してください。Google Coral Edge TPU USB Accelerator の接続方法については、Google Coral Edge TPU USB Accelerator の利用方法 を参照してください。

Image Classification (Face) (顔認識)

Image Classification (Face) は S⁺ Camera シリーズ で取得した顔画像に対して顔認識モデルによる判定をします。また、モデルの作成、学習用に専用のコンソールもご用意しています。詳細は サンプルアルゴリズム「Image Classification(Face)」を使用した顔認識モデルを作成する を参照してください。

Object Detection (物体検出)

Object Detection はカメラに写った物体の認識と、認識した物体の位置を検出できます。SORACOM_ENV_WAIT 間隔ごとに検出された物体のアノテーションを付加した画像を Harvest Files の /object_detection/{Mosaic ID} へ送信します。

合わせて、Harvest Data へ検出したオブジェクトの情報が送信されます。

{"location": [0.3244456946849823, 0.31557196378707886, 0.23213914036750793, 0.6655720472335815], "score": 0.97265625, "label": "giraffe", "mosaicId": "8xxxxxxxxx_AX0XXXXXXXX", "ts": 1601625875.4137168, "image_path": "/object_detection/8xxxxxxxxx_AX0XXXXXXXX/2020/10/01/object_detection_8xxxxxxxxx_AX0XXXXXXXX_20201002T17-04-35-413717.webp"}

サンプルでは、90 種類の検出が可能な COCO Label および MobileNet SSD v2 (COCO) モデルを使用しています。アルゴリズムの最大サイズは 10 MiB となっているため、モデルの差異が大きな場合には PreSetup を利用して、別途ダウンロードしてください。サンプルではラベルを labels.txt としてアーカイブに含めるとともに、モデル (ssd_mobilenet_v2_coco_quant_postprocess.tflite) は PreSetup を利用してダウンロードしています。

次の値は SORACOM_ENV_FREE_PARAM から変更可能です。

特定する 物体 は SORACOM_ENV_FREE_PARAM に次のように設定してください (例では horse、giraffe、zebra 検出時に動画がアップロードされます)。

{"TLabel": ["horse", "giraffe", "zebra"]}

ArUcoMarker Image (画像の切り出し)

ArUcoMarker Image は OCR (英数字読み取り) で利用した ArUco Marker で指定された範囲を切り出して、Harvest Files にアップロードするサンプルアルゴリズムです。同時に、Harvest Data にメタデータを送信します。

1 組の ArUco Marker を切り出す場所に貼ると、ArUco Marker の中心を頂点とする長方形が切り出されます。ArUcoMarker については、OCR (英数字読み取り) を参照してください。

切り出された写真は Harvest Files へ送信されます。

• ArUco Marker ID=1

  

• ArUco Marker ID=2

  

合わせて、それぞれの領域のメタ情報が Harvest Data へ送信されます。

{"marker_id":1,"location":[410,408,380,161],"mosaicId":"8xxxxxxxxx_AX0XXXXXXXX","ts":1599783601.6256475,"image_path":"/ArUcoMarker/8xxxxxxxxx_AX0XXXXXXXX/2021/02/16/aruco_image_8xxxxxxxxx_AX0XXXXXXXX_20210216T16-02-47-138434.webp","algorithm":"arucomarker"}
{"marker_id":2,"location":[442,627,408,211],"mosaicId":"8xxxxxxxxx_AX0XXXXXXXX","ts":1599783601.6256475,"image_path":"/ArUcoMarker/8xxxxxxxxx_AX0XXXXXXXX/2021/02/16/aruco_image_8xxxxxxxxx_AX0XXXXXXXX_20210216T16-02-47-138435.webp","algorithm":"arucomarker"}

ArUcoMarker Image をインストールする

アルゴリズムをインストールする の手順に従って、[ArUcoMarker Image] をインストールしてください。

インストール完了後、エッジコンピューターで ArUco Marker を読み取れた場合は、Harvest Files に画像が、Harvest Data にメタデータが送信されます。

ArUcoMarker Image のパラメータ設定

ArUcoMarker Image では、以下のパラメータを利用しています。

ArUcoMarker Image の詳細設定 (SORACOM_ENV_FREE_PARAM)

SORACOM_ENV_FREE_PARAM には、JSON 形式で以下のパラメータを指定できます。

サンプルアルゴリズム共通の環境変数について

以下の値は、サンプルアルゴリズム共通の値として [SORACOM_ENV_FREE_PARAM] で変更できます。

3rd party アルゴリズム

Customer Attributes (顧客属性判定)

カメラが捉えた人物の性別と年齢を推定する AI アルゴリズムです。詳しくは、顧客属性判定 を参照してください。

Congestion Monitor (滞在人数カウント)

一定エリア内でカメラが捉えた人数をカウントする AI アルゴリズムです。詳しくは、滞在人数カウント を参照してください。

People Tracking Counter (通行量カウント)

カメラ前を通行した人数と向かう方向を検知する AI アルゴリズムです。詳しくは、通行量カウント を参照してください。

Vehicle Counter (駐車場台数カウント)

カメラが捉えた車両の台数をカウントする AI アルゴリズムです。詳しくは、駐車場台数カウント を参照してください。

People Stay Time (滞在時間計測)

カメラに写った人物の滞在時間を計測する AI アルゴリズムです。詳しくは、滞在時間計測 を参照してください。

Person Movement Flow (動線分析)

カメラに写った人物の移動経路を見える化する AI アルゴリズムです。詳しくは、動線分析 を参照してください。

Area Alert (禁止エリア侵入検知アラート)

立ち入り禁止エリアに侵入した人物をカメラが検知し、メールで通知する AI アルゴリズムです。詳しくは、禁止エリア侵入検知アラート を参照してください。

Mask Classification (マスク未着用者検知アラート)

マスク未着用の人物を発見するとメールで通知する AI アルゴリズムです。詳しくは、マスク未着用者検知アラート を参照してください。

Number Plate Detection (ナンバープレート OCR)

車のナンバープレートを読み取る AI アルゴリズムです。詳しくは、ナンバープレート OCR を参照してください。

Helmet Alert (ヘルメット検知)

カメラが捉えた人物のヘルメット着用有無を検出する AI アルゴリズムです。詳しくは、ヘルメット検知 を参照してください。

Cardboard Counter (段ボール検知)

カメラに写った段ボール数をカウントする AI アルゴリズムです。詳しくは、段ボール検知 を参照してください。

Facial Expression (表情分類)

人の表情を推定する AI アルゴリズムです。詳しくは、表情分類 を参照してください。

Cat Alert (物体検知＋アラート(猫))

カメラに写った猫を検知する AI アルゴリズムです。詳しくは、物体検知＋アラート(猫) を参照してください。

Dog Alert (物体検知＋アラート(犬))

カメラに写った犬を検知する AI アルゴリズムです。詳しくは、物体検知＋アラート(犬) を参照してください。

Vehicle Alert (物体検知＋アラート (乗り物))

カメラに写った乗り物 (車、トラック、バイク、バス、自転車) を検知する AI アルゴリズムです。詳しくは、物体検知＋アラート (乗り物) を参照してください。

Truck Alert (物体検知＋アラート(トラック))

カメラに写ったトラックを検知する AI アルゴリズムです。詳しくは、物体検知＋アラート(トラック) を参照してください。

People Alert (物体検知＋アラート(人物))

カメラに写った人物を検知する AI アルゴリズムです。詳しくは、物体検知＋アラート(人物) を参照してください。

Smartphone Alert (物体検知＋アラート(スマートフォン))

カメラに写ったスマートフォンを検知する AI アルゴリズムです。詳しくは、物体検知＋アラート(スマートフォン) を参照してください。

QR Code Reader (QR コード検知)

カメラに写った QR コードを読み込む AI アルゴリズムです。詳しくは、QR コード検知 を参照してください。

Ramen Type Classifier (ラーメン種別推定)

カメラに写ったラーメンの種類を判別する AI アルゴリズムです。詳しくは、ラーメン種別推定 を参照してください。

Car Counter (自動車交通量カウント)

自動車の通行量をカウントするアルゴリズムです。設定したラインをまたいだ自動車の台数をカウントします。詳しくは、自動車交通量カウント を参照してください。