Robo技術紹介セミナー

本資料は2021年2月18日に社内共有資料として展開していたものをWEBページ向けにリニューアルした内容になります。

■目次

Roboチームの特色
保有技術
技術詳細
- チャットモンチー（ライブ協賛）
- 微生物検査（デンソーウェーブデモ）
- ３Dビジョンピッキング
- マグロ切断装置（デモ）

■Roboチームの特色

弊社で、唯一ハードウェアを扱うチーム

カメラやエッジデバイスは、InspectionやDynamicsが扱ってるけど…

AIや3D点群処理、最適化エンジンなどのIntelligentなアルゴリズムを、ロボットシステムに統合する

個々の要素技術の開発より、System integrationに労力を使ってる感じ

オフィスは東大浅野キャンパス

■保有資産

ハードウェア

6軸ロボット
- デンソーウェーブ製
- 汎用言語で制御可能（ほぼPython、たまにC++）
- サイズが小(COBOTTA)・中(VP6242)・大(VS068)

3Dプリンタ
- ジグやエンドエフェクタのプロトタイプを素早く作るのにすごい便利
- 高い精度が要求される部品は、最終的には金属加工できる業者に製作を依頼する

センサー

3Dセンサー
- (Active) Stereo camera: realsense D435
- LiDAR: realsense L515
- ToF: Azure kinect
- 三角測量式変位センサ:

力覚センサー
- WEF-6A

モーションキャプチャー

ソフトウェア

ほぼPython、たまにC++。

センサーとの通信
- ROS wrapperを使用
アルゴリズム部分（画像認識・3D点群処理・最適化など）
- 基本的にPython3
ロボット制御
- pacscript: デンソーウェーブ製のロボット制御用スクリプト。
  決まった動きをさせたいだけならこれで十分。
b-CAPS: デンソーウェーブ製のロボット制御用通信仕様（汎用言語用）
ある程度複雑な動きをさせたい時用。
ROS: OSS。ロボット制御用には逆運動学を解く部分で難があるのでセンサーとの通信や座標変換など、それ以外の処理で使用。

※ROSとは
　Robot Operation Systemというロボット制御用ミドルウェア

世界で一番使われている
ROS2へ移行予定

■チャットモンチー（ライブ協賛）

似顔絵ロボット

装置の概要

スマートフォンで撮影した画像から、ロボットが自動で似顔絵を描く装置。
徳島県でのチャットモンチーの最終ライブにおいてデモンストレーションを実施。

要素技術

A. face landmark認識

ROSでロボットの動作速度を変更すれば所要時間短縮可能

システム構成

■微生物検査―デンソーウェーブデモ

微生物検査工程の自動化デンソーウェーブデモ

装置の概要

微生物検査工程では菌液を希釈・培地へ滴下し、塗り広げたり混ぜ合わせたりといった作業が発生する。この工程をロボット・AIを使って自動化した。

アピールポイント

AI画像認識・3D点群処理をロボットに組み込んだシステムのインテグレーション。
従来大きく時間がかかっていた人手作業を自動化し、研究者が自分の研究に専念できる。

エンドユーザ

検査所等

課題と弊社技術を使った解決

実験室はスペースが狭いことが多く、また様々な器具を取り扱う必要がある。
そのため自動化に必要な機器を設置するスペースを確保することが難しい。
- 協働ロボット、専用に設計されたハンドを用い、省スペースでの自動化を実現。
ロボットや部品の位置が変わると毎回ティーチング（ロボットに位置を教える作業）が必要になる。
- AI画像認識、3D点群処理を用いて物体の位置を認識することで、ロボットが自動で対象物の位置へ移動できる（3Dビジョンピッキング）。

要素技術

ロボットシステムへのインテグレーション（ハードウェア設計も含む）
AI画像認識
3D点群処理

　※特許出願中

A．ハードウェア

B．AI画像認識

instance segmentation: ピクセル単位で物体の識別を行う。

本装置ではシャーレに対してAI画像認識を実施したが、もっと複雑な形状や判別しにくいものに対しても実施可能

C．3D点群処理

AI画像認識で位置を取得したあと、ステレオカメラから点群を取得。

上記を重ねあわせることにより、シャーレのXYZ座標を取得する。

■微生物検査―実案件

微生物検査工程の自動化バイオ系試験センター

装置の概要

微生物検査装置を実際に製作・納入。
稼働範囲、動作速度を考慮し
VP6242(中サイズロボット)を2台使用。
コストカットのためカメラ等を使用せずシステムを簡素化。
（ロボットは全て決め打ちで動作）

■3Dビジョンピッキング

倉庫でのワーク取り出し工程の自動化

装置の概要

倉庫でパウチ状のワークをコンテナから取り出し、貼られているQRコードに応じて異なる場所へ収納する工程がある。この工程をロボット・AIを使って自動化した。

アピールポイント

AI画像認識・3D点群処理をロボットに組み込んだシステムのインテグレーション
不定形のワークに対応するための3D点群処理アルゴリズム
人手による倉庫の作業を自動化し、省人化に寄与

エンドユーザ

製造業
工場・倉庫

課題と弊社技術を使った解決

ワークは不定形であり、ティーチングによるピッキングが困難。
AI画像認識、3D点群処理を用いて物体の位置を認識することで、ロボットが自動で対象物の位置へ移動できる(3Dビジョンピッキング)。

要素技術

ロボットシステムへのインテグレーション（ハードウェア設計も含む）
AI画像認識
3D点群処理

　　※特許出願中

B. AI画像認識

　　instance segmentationでワークを識別、 maskを作成し、それを使ってdepthデータから3D点群を取得

C. 3D点群処理

■マグロ切断装置

刺身切り出し工程の自動化デモ

装置の概要

魚の柵から指定された寸法・重量で刺身を切りだす工程を、ロボット・AIを使って自動化する。

アピールポイント

3D点群処理（体積推定）・最適化エンジンをロボットに組み込んだシステムのインテグレーション
指定した寸法・重量の切り出しに対応できる最適化エンジン

想定するエンドユーザ

食品加工工場

課題と弊社技術を使った解決

魚の柵は毎回違う形であり、ティーチングによる切断は困難。また、指定した寸法・重量で切り出さなければならない。
- 3D点群からの体積推定・切断面最適化エンジンを用いて、指定された寸法・重量などの仕様を満たす切断面を決定し、切断を行うことで、毎回違う柵の形状に対応する。
点群データのノイズなどに起因する体積推定のエラーは、柵の実際の重量を計測し、最適化エンジンにフィードバックすることで対応する