ArithmerBlog 本資料は2021年1月21日に社内共有資料として展開していたものをWEBページ向けにリニューアルした内容になります。
■動画(解析)とはどういうものか？
動画
- 連続的に見ると残像効果で動いているように見える少しずつ変化させた一つながりの画像。
- 映画・アニメーションやビデオカメラで撮影した映像など。(デジタル大辞泉)
■Dynamicsの所有する技術
■運転支援パッケージ
乗用車・大型車両における周囲の危険を検知
- 車のフロント、サイド画像から人、自転車などを検知し，ある範囲に入ったときに危険と判定。
- アラートによる通知の他，危険があった箇所を集約してDynamical Hazard Mapを作成 可能。
- リアルタイムでの解析・撮りためた動画に 対する事後解析の両方が可能。
- Android やJetson Nanoなど，エッジデバイ スでも使用可能。
強み
- (Smartphone as an edge) リアルタイム解析ではスマートフォン (Android)をエッジデバイスとして利用可能であり導入コストが低い。
- 大型車両のサイドも外部カメラ接続により 対応可能である。
■深層学習とは？ (物体検出の場合)
- 汎化: テストデータで学習をさせると(テストデータと同じ確率分布から得られる)テストデータにないデータで も精度の良い出力が出せる。
- 物体検出モデルとしてよく使っているもの: SSD, yolo, CenterNet
■物体検出モデルを大まかに理解する: yolo
- 画像を粗いグリッドに切る。
- 各グリッドに対して，そのグリッドを中心とするようなバウンディングボックスの候補を作っておく。
- 各バウンディングボックスについて，次を出力するような深層学習モデルを作る。
- そのバウンディングボックスに物体がある確率
- 物体がある場合，それがどのクラスに属するかの(条件付き)確率
- 使うときはバウンディングボックスに
物体がある確率×各クラスに属する(条件付き)確率が指定した値より大きいバウンディングボックスと分類クラスを選ぶ。
Redmon, J., Divvala, S., Girshick, R., & Farhadi, A. (2016). You only look once: Unified, real-time object detection. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 779-788).
■物体検出モデルを大まかに理解する: SSD
- 基本的な考え方はyoloとほぼ同じ。
- ただしyoloでは予めグリッドの切り方を固定しているのに対してSSDでは粗いスケールから細かいスケールまでグリッドの切り方を複数用意する。
- 各スケールごとに，用意するバウンディングボックスの大きさも変わる。
こうすることで大きな物体も小さな物体も検知できるようにする。
軽量化がやりやすい反面，出力となるバウンディングボックスは(動画として見ると)ぶれやすい。
- 各スケールの特徴量に合わせて各バウンディングボックスの確度を出力
Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C. Y., & Berg, A. C. (2016, October). SSD: Single shot multibox detector. In European conference on computer vision (pp. 21-37). Springer, Cham.
■物体検出モデルを大まかに理解する: CenterNet
- バウンディングボックスの候補を前もって指定しない。
- バウンディングボックスを「中心＋幅＋高さ」で表現する。
- 各クラスごとに，その画像の中でバウンディングボックスの中心がある確率を(粗いグリッドの)ヒートマップで出力する。
- それとは別にバウンディングボックスの幅と高さも数値として出力。
- 他にもコスト関数の作り方などで色々工夫している。
学習・検知速度も早く精度も良い。ブレも少なく実用性が高い。
Zhou, X., Wang, D., & Krähenbühl, P. (2019). Objects as points. arXiv preprint arXiv:1904.07850.
■Optical Flow
- 2つの連続する画像の間で点がどのように動いたかを推定する。
- 2つの画像内の特徴点を比較して結びつける。
- 以下の仮定のもとで移動量を計算する。
- 連続するフレーム間で明るさは変わらない。
- 隣接するピクセルは似たように動く。
ただし絶対的な速度は得られず周囲の環境にも依存するのでGPSなどが使える場合はそちらを優先し たほうがいい。
■運転手検知技術
