JP6822929B2 - 情報処理装置、画像認識方法および画像認識プログラム - Google Patents

Description

本発明の実施形態は、情報処理装置、画像認識方法および画像認識プログラムに関する。

物流の分野においては、ロボットなどの装置を用いて、物品の荷役作業や仕分け作業を自動化する技術の開発が進められている。物品を把持して運搬する場合、カメラで撮影した画像を使って、把持位置を特定する。物品は整列されているとは限らないため、物品の配置や向きに関わらず、把持位置を検出できる必要がある。また、様々な形状の物品ごとに把持位置の検出を行わなくてはならない。

把持位置の検出方法として、ディープラーニングなどで学習したモデルを使い、画像中の相当領域を推定する方法がある。画像認識が可能なモデルを学習するためには、数百枚から数万枚のアノテーション画像を含む教師データを用意しなくてはならない。アノテーション画像は、各画像について検出対象の領域へラベル付けを行い、作成される。従来は、画像の領域分けを人手により行っていたため、教師データの作成にかかる時間と品質のばらつきが問題となっていた。このため、画像認識の対象として新しい形状の物品を追加するのは容易ではなかった。

特開２０１５−２２４１２５ 特開２０１６−１３２５２１

本発明の実施形態は、高品質な教師データを低コストで作成し、検出精度が良好な画像認識をする情報処理装置、画像認識方法および画像認識プログラムを提供する。

本発明の実施形態としての情報処理装置は、複数のアングルで物体の第１距離画像を撮像可能な撮像部と、前記第１距離画像に基づいて前記物体の三次元モデルを生成し、前記三次元モデルに基づいて前記複数のアングルに対応する前記物体の特定部位を示す抽出画像を生成する生成部とを備える。

第１の実施形態に係るシステム全体の構成例を示す図。 第１の実施形態に係るロボットハンドの構成例を示す図。 第１の実施形態に係るロボットを荷役作業に適用した例を示す図。 第１の実施形態に係る三次元撮影装置の構成例を示す図。 コーヒーカップと把持位置の例を示す図。 三次元画像センサにより得られた距離画像の例を示す図。 手作業による物体の領域指定の例を示す図。 三次元ＣＡＤを用いた物体の領域指定の例を示す図。 コーヒーカップについて、把持位置を特定した例を示す図。 深層学習に用いられるニューラルネットワークの例を示す図。 ニューラルネットワークによる誤差逆伝播法の例を示す図。 深層学習によりコーヒーカップの把持位置を推定した例を示す図。 三次元撮影装置と画像処理装置の連動した処理の例を示す図。 物体検出モデルと物体領域抽出モデルの作成処理に係るフローチャート。 ロボットによる画像認識処理と物体把持操作に係るフローチャート。 第１の変形例に係る三次元撮影装置の構成例を示す図。 コーヒーカップの多視点距離画像の例を示す図。 三次元ＣＡＤによりコーヒーカップで把持位置を生成した例を示す図。 任意のコーヒーカップで把持位置を推定した例を示す図。 第２の変形例に係る三次元撮影装置の構成例を示す図。 人形について物体領域抽出を行った例を示す図。 自動車について物体領域抽出を行った例を示す図。

以下、図面を参照しながら、本発明の実施形態について説明する。また、図面において同一の構成要素は、同じ番号を付し、説明は、適宜省略する。

（第１の実施形態）
図１は、本実施形態に係る全体のシステム構成例を示す図である。

図１のシステムは、三次元撮影装置１０と、画像処理装置２０と、特徴学習装置３０と、ロボット４０とを備えている。図１のシステムでは１台のロボット４０が示されているが、ロボット４０が複数台含まれていてもよい。三次元撮影装置１０も１台ではなく、複数台あってもよい。以下では、第１の実施形態に係るシステムの概要について説明する。

ロボット４０は、物体を把持可能なロボットハンドを備えており、荷役作業に使用可能なロボットである。図２は、ロボットハンドの例を示している。図２左側は２指グリッパ４１ａを備えたロボットハンドである。このようなロボットハンドは物体を挟持して運搬作業を行うことができる。図２右側は、吸盤４１ｂを備えた吸着型ロボットハンドである。

このようなロボットハンドは、物体を吸着して運搬作業を行う。これらのロボットハンドは例示であり、その他の形状または種類のロボットハンドを有するロボットについても、本発明の実施形態を適用することができる。

図３は、ロボット４０を荷役作業に適用した例を示している。図３上段の例では、ベルトコンベア上に、複数の人形が一定の向きに揃えられ、整列されている。ベルトコンベアは左から右に向かって流れるものとする。この場合、ロボットはロボットハンド近傍に人形が到達したことを検出したときに、決められた座標でロボットハンドの把持操作を行えば、人形を把持することができる。座標は、一例として人形の重心である、腹部の位置に合わせて、事前に設定する。人形を把持可能な座標（位置）は、複数あってもよい。

このように、常に把持対象の人形が同じ向きに整列されているのであれば、複雑な画像認識を行わなくても、荷役作業をすることができる。

図３中段の例では、複数の人形が、不揃いな向きで、不規則に置かれている。倒れている人形もあれば、立っている人形もある。この場合、ロボットのロボットハンドはそれぞれの人形の把持位置を特定し、ロボットハンドを該当する座標まで移動しなければならない。把持位置は人形によって異なるため、画像認識を行い、把持位置を特定する必要がある。

一方、ロボットハンドの右奥に位置するカゴ５０には、乱雑に複数の人形が積まれている。一部の人形については、人形全体の形状が外部から視認できない状態になっている。カゴ５０の中にある人形をロボットハンドで取り出す場合も、同様に画像認識を行わなくてはならない。

図３下段の例では、人形だけでなく、円筒形の缶ジュースや、箱がベルトコンベア上に置かれている。人形は整列されておらず、異なる形状の物体と混在している。この場合、画像認識で物体の形状を判別した上で、物体の形状ごとに把持位置の特定処理を行わなくてはならない。なお、ここで把持位置は物体の一部分である、特定部位の一例である。

画像認識による把持位置（物体の特定部位）の推定を行う場合、まずカメラで対象の物体を撮影しなくてはならない。次に、撮影された画像を用いて、物体中の把持位置（特定部位の物体における位置）を推定する。上述のように、把持対象の物体の向きや配置が一定でない場合や、物体の一部が隠れている場合にも、対応しなくてはならない。したがって人形を例にすると、頭、手、足などの各部位の相対的な位置関係を把握して、把持位置である腹部の位置を特定できるようにする。

このためには、人形の頭、手、足などを領域分割した教師画像を複数作成し、機械学習や深層学習（ディープラーニング）を使って、画像認識用のモデルを用意しなくてはならない。教師画像は、物体を異なる向きから見たそれぞれのアングルについて、作成する必要がある。さらに円筒形の缶ジュースや箱も把持対象である場合には、他の物体についても画像認識用のモデルを作成する。ロボットは、カメラで撮影した画像について、撮影された形状の物体に係るモデルを適用して、把持位置（特定部位の位置）を推定する。

上述の方法を用いることにより、物体の向きや配置に関わらず、ロボットハンドによる物体の把持が行えるようになる。

なお、図３のロボットハンドは吸盤を備えた吸着型ロボットハンドであるが、その他の形状または種類のロボットハンドであってもよい。図１の三次元撮影装置１０と、画像処理装置２０と、特徴学習装置３０は、それぞれの物体について、上述の画像認識用モデルを作成する際に用いられる。したがって、本実施形態に係るシステムは、画像認識システムと荷役システムが組み合わされた複合的なシステムであるといえる。本実施形態に係るシステムに含まれる各装置の詳細については後述する。

次にシステムが備えている、各装置の概要について説明する。

三次元撮影装置１０は、物体を複数の方向から撮影し、物体の距離画像を生成する装置である。例えば、立体角２πストラジアンの範囲内で、１度、２度、５度、１０度などの単位で少しずつ撮影角度（アングル）を変更し、物体の距離画像を複数枚撮影する。これにより、数百枚から数万枚程度の距離画像（多視点画像）が得られる。

距離画像（Ｄｅｐｔｈ画像）とは、物体の深度情報を含む三次元画像である。撮影範囲の立体角、撮影角度の調整単位は、物体の形状と把持位置の部位によって調整される。上述の撮影角度の範囲と、撮影角度の調整単位は例であり、これらと異なる値を用いてもよい。

撮影対象となる物体の、各角度からみた立体的形状が把握できるよう、距離画像を撮影するアングルを決定する。ある物体の、ひとつのアングルからの距離画像しかない場合、当該アングルからは視認できない物体の裏側の形状を把握することができない。このため、複数のアングルに係る距離画像の撮影を繰り返し行い、各方向からみた物体の形状に関する情報を収集する。

例えば、複雑な凹凸が複数あり対称性がない物体と、回転対称である物体とを比べると、前者の方が立体的形状の把握により多くの距離画像が必要となる。後述するように、複数のアングルから撮影された複数の距離画像を組み合わせて、物体の三次元形状を表すＣＡＤモデルが作られる。

後述するように、本実施形態に係る三次元撮影装置では、撮影対象の物体を回転させる機構と、三次元画像センサを円弧上に動かす機構とを備えることにより、物体の距離画像の撮影を実現している。図４は、本実施形態に係る三次元撮影装置の構造を示している。ただし、これは一例であり、これとは異なる方式で物体の距離画像の撮影を行うことを妨げるものではない。例えば、撮影対象の物体を固定し、三次元画像センサを移動させる機構を設けてもよい。

画像処理装置２０は、三次元撮影装置１０で得られた、物体の距離画像と同一の画角のＣＡＤ（ｃｏｍｐｕｔｅｒ−ａｉｄｅｄ ｄｅｓｉｇｎ）モデルを生成する。さらに、画像処理装置２０は物体全体のＣＡＤモデルを用いて、物体の把持位置を示す画像の作成も行う。

特徴学習装置３０は、物体の距離画像と、物体の把持位置を示す画像とを用いて、物体の把持位置を画像認識するためのモデルを学習する。モデルの学習は、例えば、誤差逆伝播法などの深層学習または、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ：ＳＶＭ）などの機械学習により行う。物体の距離画像と、物体の把持位置を示す画像は、学習における教師データとして用いられる。

画像処理装置２０と特徴学習装置３０は、１以上のＣＰＵ（中央処理装置）、記憶装置、通信部を備え、ＯＳ（オペレーティングシステム）とアプリケーションが動作する計算機などの情報処理システムである。図１の例では、画像処理装置２０と特徴学習装置３０は別々の装置であるが、画像処理装置２０と特徴学習装置３０は同一の計算機などの情報処理装置により実現されていてもよい。

画像処理装置２０、特徴学習装置３０は物理的な計算機であってもよいが、仮想計算機（Ｖｉｒｔｕａｌ Ｍａｃｈｉｎｅ：ＶＭ）、コンテナ（ｃｏｎｔａｉｎｅｒ）又はこれらの組み合わせにより実現されるものであってもよい。１つ以上の物理計算機、仮想計算機、コンテナに画像処理装置２０や特徴学習装置３０の機能を分担させてもよい。可用性の向上と負荷分散のために画像処理装置２０、特徴学習装置３０の台数を増やした構成を用いることも排除されない。

ロボット４０は、物体を把持し、荷役作業や仕分け作業を行うロボットである。ロボット４０は、物体を画像センサで撮影し、特徴学習装置３０で得られた画像認識用モデルに基づき、物体の把持位置を特定する。画像認識用モデルには、例えば物体検出を行うモデル（物体検出モデル）と、物体領域抽出を行うモデル（物体領域抽出モデル）がある。まず、物体検出モデルを使って、画像中の形状より物体の種類を特定する。次に、物体の種類に対応した物体領域抽出モデルを使って、把持位置に相当する座標を特定する。ロボット４０は、ロボットハンドを備えており、ロボットハンドにより実際の物体の運搬作業を行う。

図５は、本実施形態の説明で用いる、コーヒーカップを示している。ロボット４０が、物体を挟んで持つ（挟持）タイプのロボットハンドを有する場合、コーヒーカップの縁と取っ手が把持位置となる。図５のコーヒーカップは例示であり、これとは異なる形態の物体に対しても、本実施形態に係るシステムを適用することができる。

三次元撮影装置１０と画像処理装置２０は電気的な接続または無線通信により、互いにデータの送受信を行うことができる。電気的な接続の規格としては、例えば、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＵＡＲＴ、ＳＰＩ、ＳＤＩＯ、シリアルポート、イーサネットなどがあるが、その他の方式を用いてもよい。無線通信規格の例としては、ＩＥＥＥ８０２．１１シリーズまたはその後継規格の無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈなどがあるが、その他の方式であってもよい。

三次元撮影装置１０と画像処理装置２０を連動して動作させる場合、上述のような装置間のデータ送受信機能が必要となる。ただし、三次元撮影装置１０と画像処理装置２０を連動して動作させず、取り外し可能な記憶媒体を用いて装置間のデータの移動を行う場合には、三次元撮影装置１０と画像処理装置２０の間の接続や、データ送受信機能がなくてもよい。両方の装置の連動動作の詳細については、後述する。

特徴学習装置３０とロボット４０も、電気的な接続または無線通信により、互いにデータの送受信を行うことができる。電気的な接続の規格としては、例えば、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＵＡＲＴ、ＳＰＩ、ＳＤＩＯ、シリアルポート、イーサネットなどがあるが、その他の方式を用いてもよい。無線通信規格の例としては、ＩＥＥＥ８０２．１１シリーズまたはその後継規格の無線ＬＡＮや、Ｂｌｕｅｔｏｏｔｈなどがあるが、その他の方式であってもよい。

次に、各装置の構成要素について説明する。

三次元撮影装置１０は、撮像部１１と、アーム１２と、画像記憶部１３と、撮影台１４と、アクチュエータ１５と、撮影制御部１６とを備えている。図４は、三次元撮影装置１０の構成例を示す図である。図４には、撮影制御部１６を除く、三次元撮影装置１０の各構成要素が示されている。

撮像部１１は、距離画像の撮像を行い、被写体までの距離と形状を含む深度（Ｄｅｐｔｈ）情報の計測が可能な、三次元画像センサ（距離画像センサ）を備えている。三次元画像センサの一例として、ＴｏＦ方式のセンサがある。ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式のセンサは、赤外線や可視光などを被写体に向けて照射し、反射波を検出する。電磁波の送信時刻と、反射波の受信時刻の時刻差より、深度情報が求められる。他には、例えば色彩情報と深度情報の両方が得られるＲＧＢ−Ｄ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ、Ｄｅｐｔｈ）方式の三次元画像センサもある。物体の深度情報を取得できるのであれば、パターン光投影法、ステレオカメラなどその他の計測方式を用いてもよく、手段は特に問わない。

撮像部１１は、三次元画像センサにより計測された、深度情報を含む距離画像のデータを画像記憶部１３に保存する。距離画像のデータ形式の例としては、三次元直交座標の位置情報（ｘ、ｙ、ｚ）を有する点の集合である、三次元点群（３Ｄ ｐｏｉｎｔ ｃｌｏｕｄ）データが挙げられる。ＲＧＢ−Ｄセンサなどにより、物体の色彩情報も取得できた場合、三次元点群データは座標情報だけでなく、物体表面の模様や色彩情報（テクスチャ）を含んでいてもよい。また、撮像部１１は三次元点群データを含む距離画像とは別の画像として、色彩情報を含むカラー画像を撮影してもよい。

三次元点群データは、三次元画像センサから計測された生のデータであってもよいし、ノイズなどが補正されたデータであってもよい。物体の立体形状を表現可能であれば、ワイヤフレーム、サーフェス、ソリッド、ポリゴンなどのデータ形式を用いてもよい。以降では、三次元点群データと述べた場合、物体の立体形状を表現可能なデータ形式全般を意味するものとする。

図６は、三次元画像センサにより撮像されたコーヒーカップの例を示している。図６は、赤外線を使ったＴｏＦ方式のセンサにより得られた、グレースケールの距離画像である。ＴｏＦ方式のセンサだけでは色彩情報を取得できないため、図６の画像には元のコーヒーカップにあった絵柄などが表示されていない。

色彩情報も取得可能なＲＧＢ−Ｄセンサなどを用いた場合には、距離画像とは別に、色彩情報を含むカラー画像を取得してもよい。また、距離画像に色彩情報を含めてもよい。例えば、撮影対象の物体に係る形状が回転対称であり、色彩や模様に関する情報がないと、物体の向きを判別できない場合や、絵が描かれている部分を把持位置から除外したい場合には、カラー画像も併せて活用することができる。

アーム１２は、物体が撮影可能な高さに撮像部１１を支持し、撮像部１１を円弧軌道上のいずれかの位置に調整する。図４の例では、三次元撮影装置１０の左側に、アーム１２が示されている。アーム１２の先端部には撮像部１１が装着されている。アーム１２は回転機構により、撮像部１１の位置を円弧状に動かすことができる。また、アーム１２は撮影対象の物体の大きさなどに合わせ、撮像部１１の高さを調節する機構を備えていてもよい。図４に示されたアームの機構は一例であり、その他の機構を用いて、撮像部１１の位置調整を行ってもよい。

画像記憶部１３は、撮像部１１が撮影した複数の距離画像（多視点画像）を保存する。画像記憶部１３に保存された距離画像は、画像処理装置２０から参照可能である必要がある。画像記憶部１３は、画像処理装置２０から直接参照できるように設定されていてもよい。また、画像記憶部１３は取り外し可能な記憶媒体であってもよい。この場合、物体の撮影が終わった後に、当該記憶媒体を三次元撮影装置１０から画像処理装置２０に差し替えることができる。

画像記憶部１３は、ＳＲＡＭ、ＤＲＡＭなどの揮発性メモリでも、ＮＡＮＤ、ＭＲＡＭ、ＦＲＡＭなどの不揮発性メモリでもよい。また光ディスク、ハードディスク、ＳＳＤなどのストレージ装置でもよい。画像記憶部１３は、図１の例では三次元撮影装置１０の内部に配置されているが、三次元撮影装置１０の外部に配置されていてもよく、配置は特に問わない。例えば、外部のストレージ装置、外部のサーバ、クラウドストレージ、または画像処理装置２０などに距離画像を保存してもよい。

撮影台１４は、撮像部１１の被写体となる物体を設置する場所である。図４の例における撮影台１４は、平坦な円盤状となっている。光の反射を軽減するため、表面は黒色となっている。撮影台１４はアクチュエータ１５の上側に備え付けられている。また、撮影台１４はアクチュエータ１５の機能により、水平回転する。撮影台１４上に置かれた物体も回転するため、物体を複数の向きから撮影することができる。

アクチュエータ１５は、撮影台１４を回転させるロータリアクチュエータである。ロータリアクチュエータは電動式であっても、油圧式であってもよく、特に方式は問わない。ロータリアクチュエータに加え、垂直動作が可能なアクチュエータを組み合わせ、撮影台の高さを調節可能にしてもよい。

撮影制御部１６は、撮像部１１の操作、アーム１２の位置調整、アクチュエータ１５の回転操作などを行い、複数の距離画像（多視点画像）の撮影を実現する。また、撮影制御部１６は画角や物体の撮影角度を含む撮影条件情報に基づき、複数の距離画像の撮影を行うための指令を各構成要素に送信する。

例えば、画角と撮影角度の組み合わせ（アングル）を８１０個含む撮影条件情報がある場合、８１０枚の距離画像が撮影される。画角と撮影角度の組み合わせは、ユーザが手動で設定してもよいし、物体の大きさに合わせ、撮影制御部１６が自動的に生成してもよい。また、外部の計算機などで動作する三次元撮影装置の制御プログラム（図示せず）が、撮影条件情報を設定してもよい。

撮影条件情報は、画像記憶部１３の三次元点群データに含まれていてもよいし、別のデータやファイルとして保存されていてもよい。撮影条件情報は、画像処理装置２０と共有される。後述するように、画像処理装置２０は、三次元点群データと撮影条件情報に基づき、物体の三次元モデルを生成する。

画像処理装置２０は、画角同期部２１と、ＣＡＤモデル生成部２２と、ＣＡＤモデル記憶部２３と、表示部２４と、入力部２５を備えている。このうち、ＣＡＤモデル生成部２２は、内部の構成要素として把持位置特定部２２ａを含む。

画角同期部２１は、三次元撮影装置１０における距離画像の撮影で用いられた撮影条件情報を取得する。取得された撮影条件情報は、ＣＡＤモデル生成部２２におけるコンピュータグラフィックの生成に用いられる。撮影条件情報は、三次元撮影装置１０と画像処理装置２０との間の電気的な接続または無線通信路を介して送信される。取り外し可能な記憶媒体により、撮影条件情報を三次元撮影装置１０から画像処理装置２０に移動または複製を行ってもよい。

ＣＡＤモデル生成部２２は、三次元撮影装置１０で撮影された複数のアングルに係る複数の距離画像を組み合わせて、物体の立体的形状を表現した三次元モデルを作成する。三次元モデルの例としては、三次元のＣＡＤ（Ｃｏｍｐｕｔｅｒ−Ａｉｄｅｄ Ｄｅｓｉｇｎ）、三次元のＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）などがあるが、三次元の物体形状を表現可能であれば、ファイルの形式や種類は問わない。複数の距離画像を組み合わせて三次元モデルを作成するため、当該三次元モデルは、三次元撮影装置１０で撮影対象とされたアングル（角度）から視認できる範囲内について、物体の外面的な形状を正確に表すものとなる。作成された三次元モデルはＣＡＤモデル記憶部２３に保存される。

ＣＡＤモデル生成部２２は、例えば、画像処理装置２０で動作する３次元ＣＡＤソフトウェア、３ＤＣＧソフトウェア、ベクターグラフィックスエディタ、画像処理ソフトウェアなどにより実現される。３次元ＣＡＤソフトウェアが用いられた場合、ＣＡＤモデル生成部２２は３次元ＣＡＤソフトウェアの機能を用いて、それぞれの距離画像の三次元点群データに基づき、自動的に三次元モデルを生成することができる。

なお、色彩情報も得られている場合には、色彩情報が付加された三次元モデルを作ってもよい。また、人が三次元ＣＡＤソフトウェアなどを操作し、手動で三次元モデルを作成してもよいし、自動的に生成された三次元モデルの修正を行ってもよい。

人手を介さずに、自動的に三次元モデルを生成すると、全体的な処理を高速化することができる。一方、撮像された距離画像にノイズ成分が多く、三次元点群データの精度が低い場合には、人が三次元モデルの修正を行うことで、正確な三次元モデルを作成できる利点がある。また、人が三次元モデルを編集する場合、三次元画像センサによる計測では得られない、物体の各部位の材料組成に関する情報などを追加することができる。

三次元モデルの作成に用いられる三次元点群データは、三次元撮影装置１０と画像処理装置２０との間の電気的な接続または無線伝送路を介して取得することができる。また、取り外し可能な記憶媒体を使って、三次元撮影装置１０の三次元点群データの移動または複製を行ってもよい。

把持位置特定部２２ａは、各三次元モデルにおける把持部など特定部位の位置を自動的に特定する。物体の一部の部位の位置を特定する処理は、物体の領域分割（セグメンテーション）処理の一種であり、画像のアノテーションとも呼ばれる。本実施形態に係る把持位置特定部２２ａは、それぞれの三次元モデルについて、把持位置（領域）を示す画像を作成する。以降では、把持位置（領域）など物体の特定部位を示す画像を抽出画像と呼ぶことにする。後述するように、特定対象の部位は、物品の把持位置（領域）に限らず、物体の一部を占めるのであれば、その他の部位であってもよい。画像認識の対象や用途に基づき、対象となる物体の種類や、特定する部位を選択することができる。物体は画像認識が可能であればよく、生物であってもよい。

把持位置特定部２２ａが生成した抽出画像は、対応する実写の距離画像と組み合わされ、画像認識用モデルを学習する際の教師（正解）データとする。以降では、教師データとして用いられる各々の画像を、教師画像と呼ぶことにする。教師画像は、例えば、抽出画像と対応する距離画像のペアであってもよいし、距離画像上に、抽出画像で示された領域をその他の領域と識別できるよう、マーキングした画像であってもよい。

この場合、領域のマーキングは、例えば、画像中の該当するピクセルまたは点に属性情報を設定することで行ってもよいし、該当するピクセルまたは点を特定の色やトーンに設定することで行ってもよく、特に方法は問わない。複数の教師画像は、ＣＡＤモデル記憶部２３に保存される。把持位置特定部２２ａは、例えば、画像処理装置２０で動作する３次元ＣＡＤソフトウェアの機能により実現される。

図７は、手作業による把持位置の特定作業の例を示している。従来は、画像認識用の教師データを作成するために、図７のように複数の画像について、手書きで把持位置に相当する領域の指定を行う場合が多かった。図７の例では、領域の境界線が手書きで指定されているが、現実の取っ手や縁部の境界からずれており、不正確なアノテーション画像となっている。

画像の数が数百枚以上である場合、このような領域の指定を行うのに要する工数が大きくなる。複数の担当者が作業を行った場合、教師データ内の教師画像に品質のばらつきが発生し、画像認識の精度が低下する問題もあった。

図８は、本実施形態による、把持位置の特定作業の例を示している。本実施形態においては、ひとつの三次元モデルについて領域指定を行えば、指定された領域に係る三次元点群データを得られる。以降は、当該領域に係る三次元点群データを他の三次元モデルに入力するだけで、別アングルからみた把持位置に係る画像を作成することができる。この処理を各アングルに係る三次元モデルへ繰り返し適用することにより、異なるアングル（視点）に係るアノテーション画像を自動的に生成できる。

このため、教師データ用画像の枚数が増えても、手作業で各々のアングルに係る画像について領域指定を行う場合とは異なり、領域指定に要する工数が増えることはない。初回の領域指定の精度が充分に高ければ、教師データの品質を維持することができる。

初回の把持位置の特定（領域指定）作業は、人が三次元ＣＡＤソフトを操作して手作業で行ってもよい。また、予め定められた把持位置（領域）の条件のもとで、プログラム、スクリプト、マクロなどが把持位置（領域）を特定してもよい。複数の異なる形状の物体について、把持位置の特定作業を行う必要がある場合、後者の方法により、把持位置（領域）の特定を行うと、物体認識に用いるモデルの作成に要する時間を短縮することができる。

以下では、予め定められた把持位置（領域）の条件のもとで、プログラム、スクリプト、マクロなどが把持位置の特定を行う方法について説明する。

物体の把持位置を特定する場合、物体の形状だけでなく、使用するロボットハンドも考慮する必要がある。例えば、吸着型ロボットハンドの吸盤の直径が３センチメートルである場合、三次元モデルの中で、平坦な直径３センチメールの円形領域を探索する。見つかった領域を物体の把持位置にすることができる。また、複数の領域が見つかった場合には、より物体の中心部または重心に近い領域を優先して、選択する。

また、ロボットハンドが、最大開き幅２センチメートルの２指グリッパである場合、三次元モデルについて、２指グリッパが挟持可能な、幅２センチメール以内の縁部や突起部の探索を行う。探索時に、縁部や突起部の面積や模様の有無に関する条件をつけることもできる。また、２指グリッパの仕様に合わせ、縁部や突起部の幅の下限を設定してもよい。

複数の箇所が見つかった場合、破損の可能性を軽減するため、機械的強度が最も高い箇所を把持位置として選択する。例えば、突起部であれば、突起部が短い箇所、縁部であれば幅が広い箇所を優先して選ぶことができる。２つ以上の箇所を把持位置として選択してもよい。物体の姿勢または位置によっては、把持できない箇所も存在し得る。

また、物体の中心部、重心など物体中の相対的な位置を三次元点群データより求め、把持位置（領域）の特定を行ってもよい。

物体の組成材料に関する情報があれば、それを把持位置の選択処理に使ってもよい。例えば、機械的強度が弱い箇所については、部位の形状に関わらず、把持位置の選択対象から除外してもよい。各部位の組成材料に係る機械的強度に応じて、選択の優先度を設定してもよい。

上述のようなロボットハンドの種類および仕様に応じた、物体の把持位置の選択は、３次元ＣＡＤソフトウェアなどのプログラムにより行ってもよいし、スクリプトやマクロを利用してもよいし、専用の回路などハードウェアを用いてもよく、特に実現方法は問わない。

図９は、コーヒーカップについて、把持位置を特定した結果を示す画像である。図９の画像は、図６の距離画像で示されたコーヒーカップに対応している。図６の距離画像はグレースケールであったが、図９は階調のない白黒画像となっている。

三次元モデルとして作成された抽出画像を加工することにより、白黒画像へ単純化することができる。最終的に教師データの作成に用いられる画像は、深度（Ｄｅｐｔｈ）情報や三次元点群データを含まない、２値のデータ（白黒画像）であってもよい。抽出画像として、このような単純化されたデータを用いることによって、必要な記憶領域を抑制することができる。

また、抽出画像として三次元点群データを用いてもよいし、ＲＧＢ情報を含むカラー画像を用いてもよく、画像の形式は特に問わない。

以下では、各構成要素の説明に戻る。

ＣＡＤモデル記憶部２３は、物体全体の三次元モデルや、抽出画像を保持する。ＣＡＤモデル記憶部２３に記憶されたデータは、画像認識用モデルの学習に用いられるため、特徴学習装置３０から参照可能である必要がある。特徴学習装置３０からのアクセスを実現するための記憶領域の共有設定、通信手段は特に問わない。例えば、ＣＡＤモデル記憶部２３をネットワークなどでアクセス可能な共有ストレージに設定してもよい。

ＣＡＤモデル記憶部２３はＳＲＡＭ、ＤＲＡＭなどの揮発性メモリでも、ＮＡＮＤ、ＭＲＡＭ、ＦＲＡＭなどの不揮発性メモリでもよい。また光ディスク、ハードディスク、ＳＳＤなどのストレージ装置でもよい。ＣＡＤモデル記憶部２３は、図１の例では画像処理装置２０の内部に配置されているが、画像処理装置２０の外部に配置されていてもよい。例えば、外部のストレージ装置、外部のサーバ、クラウドストレージ、または画像処理装置２０などにデータを保存してもよい。

表示部２４は、各種の情報を表示可能なディスプレイである。表示部２４では例えば、三次元モデルの画像、抽出画像、距離画像などを表示し、認識された物体の形状や、編集中の三次元モデルの確認をすることができる。さらに、後述する物体検出モデルと、物体領域抽出に係る情報の表示を行い、モデルの生成やモデルの設定変更などを行うこともできる。また、操作者からの各種操作を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを出力することができる。表示部２４は例えば液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイであってもよいし、その他の方式のものであってもよい。

入力部２５は、操作者からの各種の入力操作を受け付ける。例えば、三次元ＣＡＤソフトウェアなどの操作、表示部２４で表示対象とする画像の選択、画像の表示方法の変更、三次元撮影装置１０への操作指令などを操作者から受け付ける。入力部２５は、例えばマウス、キーボード、タッチパネル、トラックボール、ジョイスティック、ペンタブレットまたはこれらの組み合わせより実現される。入力部２５は音声認識装置など、その他の手段により実現されていてもよい。

特徴学習装置３０は、学習部３１と、学習モデル記憶部３２と、モデル更新部３３とを備えている。

学習部３１は、複数のアングルに係る複数の距離画像と、それぞれの距離画像に対応するアングルに係る抽出画像を教師データとして使い、画像認識に用いるモデルの学習を行う。例えば、コーヒーカップの場合、複数のアングルについて、縁部と取っ手に相当する領域が、抽出画像で示される。抽出画像が、対応するアングルに係る距離画像と同じサイズにスケーリングされると、距離画像中の縁部と取っ手に相当する領域と、その他の領域が識別可能になる。

作成される画像認識用モデルは、物体検出（Ｄｅｔｅｃｔｉｏｎ）を行うモデルと、物体領域抽出（Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ）を行うモデルを含む。物体検出とは、画像の中から特定の物体の位置を特定する技術である。

本実施形態においては、物体検出の対象は画像中のコーヒーカップとなる。物体検出の代表例としては、顔検出や歩行者検出がある。物体領域抽出とは、画像のピクセルごとに、当該ピクセルが属するクラスを出力する技術である。本実施形態においては、画像のそれぞれのピクセルが、把持位置とその他の領域のいずれかに属するのかを判定対象とする。

モデルは、ある物体の形状に係る物体検出を行うモデルと物体領域抽出を行うモデルの両方を含むものとする。

学習部３１は、把持対象の形状ごとに、物体検出モデルと物体領域抽出モデルの学習を行う。例えば、コーヒーカップと、人形と、缶ジュースと、箱を把持対象とする場合、それぞれの形状について、物体検出モデルと物体領域抽出モデルを作成する。形状の異なる物体を把持対象に追加する場合、改めて学習を行うことができる。

例えば、ペットボトルが把持対象に追加された場合、ペットボトルに係る物体検出モデルと物体領域抽出モデルを学習する。同じ種類の物体（例えば、コーヒーカップ）の形状に凹凸の有無、高さと幅の比率、大きさ、模様などが異なるものが存在する場合でも、当該物体の代表的な形状を使って学習することができる。したがって、この例ではコーヒーカップの代表的な形状が学習の対象となる。

また、モデルの学習に用いる、教師データの画像は距離画像のみであってもよいし、距離画像と色彩を含むカラー画像の双方を使ってもよい。

モデルの学習は機械学習の各種手法を用いて行うことができる。機械学習の例として、深層学習（ディープラーニング）やＳｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅなどがある。深層学習の具体例としては、ニューラルネットワークを使った誤差逆伝播法がある。教師データを用いて教師あり学習を行うことができるのであれば、その他の手法により学習を行ってもよい。

多層構造のニューラルネットワークを使った学習は、深層学習（ディープラーニング）と呼ばれる。図１０はニューラルネットワークの例を示している。図１０のニューラルネットワークの層の数は４となっているが、層の数はこれとは異なる数であってもよい。以下では、深層学習の概略的な説明を行う。

図１１は、ニューラルネットワークを使った深層学習の例である、誤差逆伝播法（ｂａｃｋ ｐｒｏｐａｇａｔｉｏｎ）の概要を示している。画像などの入力データ（ｘ１，ｘ２，・・・，ｘｑ）は、入力層から隠れ層に伝達される。入力データは、各層の間で結合重みｗ_ｎｉｊが乗算され、出力データ（ｙ１，ｙ２，・・・，ｙｐ）となる。ここで、ｘ_ｊは入力データにおけるそれぞれの特徴量、ｙ_ｊは出力データにおけるそれぞれの特徴量、ｑは入力される特徴量の数、ｐは出力される特徴量の数である。ｎはニューラルネットワークの層の数から１を引いた数である。図１０および図１１の例の場合、ｎ＝１，２，３となる。

出力データと教師データの間の誤差Ｅを誤差関数（損失関数）で表すことができる。誤差関数としては、各特徴量について二乗誤差の和をとった、下記の式（１）を使うことができる。
ここで、ｒ_ｊは教師データにおけるそれぞれの特徴量である。上述の式（１）は例であり、これとは異なる誤差関数を用いることは妨げられない。

誤差逆伝播法では、誤差Ｅを各層へ逆伝播し、誤差Ｅが小さくなるよう、結合重みの調整を行う。勾配降下法（ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ ｍｅｔｈｏｄ）を用いる場合、結合重みの調整後、誤差の算出と調整量の決定を誤差Ｅが０に近づくまで繰り返す。結合重みの調整量は、一般化した結合重みをｗとすると、下記の式（２）のようになる。

ここで、Δｗは調整量、ηは学習係数である。誤差をｗの関数としたときに、正の傾きである場合には、結合重みを減らす。傾きが負である場合には、正の調整量を設定し、結合重みｗを増やす。学習係数ηは、誤差Ｅが０に収束するよう、適切な大きさに設定する。学習係数ηはＡｄａｄｅｌｔａ、ＡｄａＧｒａｄなどの手法を用いて調整してもよい。式（２）を使った結合重みの調整は、図１０のよう多層ニューラルネットワークの場合、出力層に近い結合重みから順番に行っていく。

誤差関数は、出力ｙについての関数であるため、式（２）は合成関数の微分として展開される。例えば、結合重みｗ_３ｉｊによる微分は下記の式（３）のように表される。

ここで、ｕ_３ｊは、下記の式（４）のように、出力層のあるノードにおける入力を表しており、重み付け和にバイアスを加算した値である。
ここで、β_ｉは、出力層の直前である、隠れ層＃２の各ノードからの出力値である。また、ｂ_ｊは、バイアスである。式（４）はｗ_３ｉｊで微分可能な関数となっている。

一方、出力ｙ_ｉはｕ_３ｊの関数であるため、式（３）は出力ｙ_ｉの偏導関数も含んでいる。出力ｙ_ｉを表す関数σ（ｕ）として、微分可能な関数を使わなくてはならない。このような関数σ（ｕ）は活性化関数と呼ばれる。活性化関数としては、シグモイド関数、ｔａｎｈ関数、Ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒ ｕｎｉｔ（ＲｅＬＵ）などが使われるが、その他の微分可能な関数であってもよい。

実際の物体検出や物体領域抽出は、誤差逆伝播法による結合重みｗの調整が完了したニューラルネットワークを用いて行う。物体の検出を行う場合、例えば、撮像された距離画像の各ピクセルの情報を、特徴量として各々の入力ノードへ入力する。この場合、出力データとして、距離画像中の当該物体に対応するピクセルを特定した画像が得られる。入力ノードへ入力されるデータの種類および形式は、上述の例とは異なっていてもよい。

物体領域抽出を行う場合、例えば、撮像された距離画像の各ピクセルの情報と、抽出画像の各ピクセルの情報を、特徴量として各々の入力ノードへ入力する。この場合、出力データとして領域推定された画像が得られる。ここでも、入力ノードへ入力されるデータの種類および形式は、上述の例とは異なっていてもよい。

図１０および図１１では、学習部３１が一般的なニューラルネットワークに誤差逆伝播法を用いた場合を例に説明したが、畳み込みニューラルネットワーク（ＣＮＮ：ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を用いてもよい。畳み込みニューラルネットワークは、畳み込み層（ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）とプーリング層（ｐｏｏｌｉｎｇ ｌａｙｅｒ）の繰り返しを含む。

学習部３１は、学習したモデルの作成を完了したら、学習モデル記憶部３２に物体検出用モデルと物体領域抽出用のモデルを保存する。ニューラルネットワークの場合、各種パラメータの調整が終わり、誤差Ｅが０または所定値以下に収束したら学習モデルの作成が終わったと判断することができる。調整可能なパラメータには、ニューラルネットワークの構成、ニューラルネットワークの層の数、畳み込み層のフィルタサイズとフィルタ数、学習係数の設定、更新回数、活性化関数の選択、ドロップアウトの有無、ドロップコネクトの有無などがある。

学習モデル記憶部３２は、学習部３１が作成した形状ごとの物体検出モデルと物体領域抽出モデルを記憶する。学習モデル記憶部３２は、ＳＲＡＭ、ＤＲＡＭなどの揮発性メモリでも、ＮＡＮＤ、ＭＲＡＭ、ＦＲＡＭなどの不揮発性メモリでもよい。また光ディスク、ハードディスク、ＳＳＤなどのストレージ装置でもよい。学習モデル記憶部３２は、図１の例では特徴学習装置３０の内部に配置されているが、特徴学習装置３０の外部に配置されていてもよく、配置は特に問わない。例えば、外部のストレージ装置、外部のサーバ、クラウドストレージなどにモデルを保存してもよい。

モデル更新部３３は、新たに学習された物体検出モデルと物体領域抽出モデルをロボット４０に提供する。学習されたモデルをロボット４０に提供する方法については特に問わない。

例えば、モデル更新部３３は、新たな形状の物体に係る物体検出モデルと物体領域抽出モデルの作成が完了したことを検出したら、学習されたモデルに係るデータをロボット４０に送信してもよい。また、モデル更新部３３は単に新たな形状に係るモデルを学習したことをロボット４０に通知し、学習されたモデルに係るデータをダウンロードするか否かの判断をロボット４０に行わせてもよい。

モデル更新部３３の機能により、ロボット４０は新たな形状の物体を把持できるようになる。また、既にロボット４０が把持対象としている物体に係る形状について、物体検出モデルまたは物体領域抽出モデルの更新を行った場合、モデル更新部３３は更新されたモデルをロボット４０に送信してもよい。

ロボット４０は、ロボットハンド４１と、カメラ４２と、モデル記憶部４３と、ロボット制御部４４とを備えている。

ロボットハンド４１は、物体を把持し、運搬する機能を備えたロボットハンドである。ロボットハンド４１の構造、大きさ、方式については特に問わない。物体の把持方式は、物体を挟み込む方式でも、物体を吸着する方式でも、その他の方式であってもよい。

ロボットハンド４１が行う作業の例としては、ベルトコンベアやカゴからの物体の取り出し、物体の運搬、物体の仕分け作業などがあるが、その他の作業であってもよい。ロボットハンドが把持する物体の例としては、工業製品、包装済みの物品、食品、金属や木材などの材料があるが、農作物、海産物などの生物が把持対象となってもよく、特に限定しない。

カメラ４２は、ロボット４０が把持対象としている物体を認識するための画像を撮影する。カメラ４２が備える三次元画像センサは、三次元撮影装置１０の撮像部１１が備える三次元画像センサと同等の機能を有する。

例えば、撮像部１１の距離画像を使って物体検出モデルと物体領域抽出モデルを行った場合、カメラ４２として撮像部１１と同様の特性の距離画像が撮影可能なカメラを使わなくてはならない。撮像部１１で距離画像とカラー画像を撮影し、距離画像とカラー画像の双方を使って、モデルの学習を行った場合、カメラ４２として、距離画像とカラー画像の両方が撮影できるカメラを選ぶ必要がある。カメラ４２の三次元画像センサとしては、例えば、ＴｏＦ方式のセンサやＲＧＢ−Ｄ方式のセンサを用いることができる。

なお、図１の例ではロボット４０が備えるカメラ４２が物体の撮影に使われるが、ロボット４０の外部に設置されたカメラを用いて物体を撮影してもよい。

モデル記憶部４３は、特徴学習装置３０の学習部３１で学習された物体検出モデルと物体領域抽出モデルを保持する。モデル記憶部４３には、ロボット４０が把持対象とする物体の形状ごとに学習されたモデルを保存する。モデル記憶部４３は、ＳＲＡＭ、ＤＲＡＭなどの揮発性メモリでも、ＮＡＮＤ、ＭＲＡＭ、ＦＲＡＭなどの不揮発性メモリでもよい。また光ディスク、ハードディスク、ＳＳＤなどのストレージ装置でもよい。モデル記憶部４３は、図１の例ではロボット４０の内部に配置されているが、ロボット４０の外部に配置されていてもよい。

画像認識部４４は、カメラ４２を操作し、学習されたモデルを使って物体検出および物体領域抽出を行う。さらに物体領域抽出の結果に基づき、ロボットハンド４１の制御操作を行い、物体の把持や運搬などを行う。画像認識部４４は、モデル記憶部４３に保存された物体検出モデルと物体領域抽出モデルを使ってもよいし、ロボット４０の外部の記憶領域に保存されたモデルを使ってもよい。例えば、画像認識部４４が直接、特徴学習装置３０の学習モデル記憶部３２を参照し、学習モデル記憶部３２に保存されたモデルを使うこともできる。

また、画像認識部４４は、モデル記憶部４３に保存されている物体検出モデルと物体領域抽出モデルの管理を行う。具体的には、特徴学習装置３０のモデル更新部３３が新たな形状について学習されたモデルに係るデータを送信したら、当該データを受信し、モデル記憶部４３に保存する。特徴学習装置３０のモデル更新部３３から新しいモデルが学習された旨の通知を受けたら、当該モデルに係るデータを学習モデル記憶部３２からダウンロードし、モデル記憶部４３に保存する。

なお、画像認識部４４は、物体検出処理および物体領域抽出処理で画像や座標情報などの作業データを一時的に保存し、ロボットハンド４１の制御に提供するため、内部にメモリ、バッファやキャッシュなどの記憶領域を備えていてもよい。また、画像認識部４４はロボット４０の筐体内にあってもよいし、ロボット４０の筐体外部の計算機上にあってもよい。

図１の三次元撮影装置１０の撮影制御部１６、画像処理装置２０、特徴学習装置３０の各構成要素、ロボット４０の画像認識部４４が備える機能は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサで動作するソフトウェア（プログラム）によって実装されてもよいし、ＦＰＧＡやＡＳＩＣなどのハードウェア回路によって実装されてもよいし、これらの組み合わせによって構成されてもよい。

図１２は、深層学習で学習されたモデルを用いてコーヒーカップの把持位置を推定した結果を示している。ロボット４０がコーヒーカップの把持位置を推定した場合、物体領域抽出処理により、図１２のような画像データが得られる。

現実の三次元画像センサで撮影される画像には、ノイズ成分が含まれている。図１２上側には、小さいコーヒーカップに係る距離画像と、大きいコーヒーカップに係る距離画像が示されている。それぞれのコーヒーカップ上にある黒色の部分が、ノイズ成分に該当する。図１２下側には、小さいコーヒーカップと、大きいコーヒーカップの把持位置を推定した結果の出力画像が示されている。図１２の結果より、ノイズ成分が含まれている距離画像に対して物体領域抽出処理を適用しても、把持位置の推定が可能であることがわかる。

次に、本実施形態に係るシステムの処理について説明する。システム全体の処理は、画像認識（物体検出、物体領域抽出）を行うモデルの作成処理と、ロボットが画像認識を行い、荷役作業を実行する処理に大きく分けられる。

図１３は、三次元撮影装置１０と画像処理装置２０の連動した処理を示す図である。図１３では、三次元撮影装置１０による物体の撮影と、画像処理装置２０による、撮影条件に対応した三次元モデルの作成が交互に行われている。三次元撮影装置１０と画像処理装置２０の間でデータ通信が可能である場合、このような連動的な動作を行い、三次元モデルを自動的に作成することができる。

ただし、図１３の処理は一例であり、処理の順序がこれとは異なっていてもよい。例えば、最初に三次元撮影装置１０ですべての多視点画像の撮影を行い、その後にまとめてそれぞれの画像に対応する三次元モデルの作成を行うこともできる。次に、三次元撮影装置１０と画像処理装置２０の連動した処理のより詳細な説明を行う。

図１４は、物体検出モデルと物体領域抽出モデルの作成処理に係るフローチャートである。以下では、図１４のフローチャートに沿って処理を説明する。

まず、把持対象とする物体を三次元撮影装置１０の撮影台１４に設置する。（ステップＳ１０１）ここで、ロボット４０が実際に把持対象とする物体と大きさと形態が全く同一である物体を使ってもよいし、異なる大きさのミニチュアを使ってもよい。また、全体的な形状が類似しているものの、表面の凹凸部分や細かい形態に違いがある複数の物体が把持対象とされる場合には、これらの複数の物体の中で、平均的な形態を有する、１つの物体で代表させてもよい。

すなわち、全体的な形状が類似している、物体のバリエーションがある場合、当該物体のバリエーションは処理上、まとめてひとつの物体に係る形状として扱うことができる。

次に、多視点画像の撮影条件（画角、撮影角度、枚数、色彩の有無など）を決定する。（ステップＳ１０２）撮影条件は、把持対象とする物体ごとに決定する。少なくとも撮影角度が互いに異なる、複数の画像が撮影されるようにする。画角については、すべての画像で同一の画角を用いてもよいし、画角を変えて撮影してもよい。撮影条件の決め方や設定方法は、撮影制御部１６に係る説明で述べた通りである。

そして、物体をある視点に調節し、撮像部１１を使って撮影する。（ステップＳ１０３）ここでの視点とは、ステップＳ１０２で決められた複数の撮影角度（アングル）のことをいう。撮影角度の調節は、アクチュエータ１５による撮影台１４の回転操作、アーム１２による撮像部１１の位置変更を組み合わせて行う。画角を変更する場合、撮像部１１の設定も変更する。

撮像部１１による撮影で得られた三次元点群データと撮影条件情報をもとに、対応する三次元モデルを作成する。（ステップＳ１０４）三次元モデルの作成は、画像処理装置２０のＣＡＤモデル生成部２２により行われる。ＣＡＤモデル生成部２２は複数のアングルに係る複数の距離画像を組み合わせて、三次元モデルを生成する。

したがって、ＣＡＤソフトウェアなどで当該三次元モデルを、ディスプレイ上に表示させると、三次元撮影装置１０で撮影された角度の範囲内については、表示角度を変更しても物体の立体的形状が正確に再現される。三次元モデルの作成処理の詳細はＣＡＤモデル生成部２２の説明で述べた通りである。

さらに、ＣＡＤモデル生成部２２内の構成要素である、把持位置特定部２２ａは作成された三次元モデルを用いて、把持位置を特定する抽出画像を作成する。（ステップＳ１０５）抽出画像の作成処理の詳細は把持位置特定部２２ａの説明で述べた通りである。

次に、物体について撮影が行われていない視点（アングル）が残っているかを確認する。（ステップＳ１０６）撮影条件で定めたすべての視点について撮影が行われた場合、ステップＳ１０７に進む。撮影条件に含まれる視点の中に未撮影のものが残っている場合、ステップＳ１０３に戻り、いずれかの未撮影の視点に物体を調節し、撮影を行う。

多視点画像の撮影と、それぞれの視点に係る抽出画像の作成が終わったら、多視点の距離画像と、各々の距離画像に対応する抽出画像に基づき、教師データを作成する。（ステップＳ１０７）作成された教師データは、学習を行う、特徴学習装置３０が参照可能な場所に保存される。

ある物体の教師データの作成が終わったら、当該物体とは形状が異なる、他の物体が把持対象になっているかを確認する。（ステップＳ１０８）異なる形状に係る物体が把持対象として指定されている場合、ステップＳ１０１に戻り、ステップＳ１０１以降の処理を異なる形状の物体について実行する。すべての形状に係る物体の教師データの作成が完了しているならば、ステップＳ１０９に進む。

最後に、それぞれの形状に係る物体について教師データを用いて、物体検出モデルと物体領域抽出モデルを学習する。（ステップＳ１０９）物体検出モデルと物体領域抽出モデルの学習処理の詳細は、特徴学習装置３０の学習部３１に係る説明で述べた通りである。学習によりモデルが作成されたら、ロボット４０へモデルに係るデータを送信してもよい。また、単にモデルが作成された旨をロボット４０に通知してもよい。

図１５は、ロボット４０による画像認識処理と物体把持操作に係るフローチャートである。以下では、図１５のフローチャートに沿って処理を説明する。

まず、ロボット４０は、物体検出モデルと物体領域抽出モデルに係るデータをアップデートする。（ステップＳ２０１）更新版のモデルが作成されている場合、ロボット４０は更新版のモデルに係るデータを特徴学習装置３０や、サーバなどからダウンロードする。

そして、新たな形状の物体に係るモデル（物体検出、物体領域抽出）が特徴学習装置３０や、サーバなどにアップロードされている場合、モデルに係るデータをダウンロードする。（ステップＳ２０２）これにより、ロボット４０は異なる形状の物体の認識が行えるようになる。

次に、ロボット４０はカメラ４２を用いて物体の撮影を行う。（ステップＳ２０３）ロボット４０は、稼働状態にあるとき、動画像として周囲の画像の撮影をしてもよい。また、タイマなどを用いて、周期的に画像の撮影を繰り返してもよい。さらに、ロボット４０に物体が接近したことをセンサで検出した場合にのみ、撮影を行ってもよい。このように、物体の撮影タイミングや撮影条件については特に問わない。撮影に使われるカメラの特性は、カメラ４２に係る説明で述べた通りである。

物体の撮影が行われたら、ロボット４０は撮影した距離画像を用いて、物体検出モデルで把持対象の物体を検出できるかを確認する。ロボット４０が複数の物体検出モデルを使用できる場合には、いずれかの物体検出モデルで把持対象の物体が検出できるかを確認する。（ステップＳ２０４）画像中に把持対象の物体が検出された場合には、ステップＳ２０５に進む。画像中に把持対象の物体が検出されない場合、ロボット４０は物体の把持操作を行わない。

把持対象の物体が検出された場合、ロボット４０は該当する形状の物体に係る物体領域抽出モデルを用いて、把持位置（特定部位）を特定する。（ステップＳ２０５）ロボット４０は撮影された距離画像により得られた位置情報を、ロボットハンド４１の制御に用いられる位置情報に変換する。

例えば、距離画像の座標系における基準点からみた把持位置の相対的な三次元の位置情報を、ロボットハンド４１が用いる座標系の値に座標変換することができる。変換後の位置情報は、制御情報に含められ、画像認識部４４よりロボットハンド４１へ伝達される。こうして、ロボット４０は特定された把持位置にロボットハンド４１を移動する。なお、物体領域抽出は、撮影された画像の全範囲ではなく、画像のうち把持対象の物体が検出された範囲についてのみ、行ってもよい。

最後に、ロボット４０はロボットハンド４１を使って物体を把持する。（ステップＳ２０６）ロボットハンド４１の操作は、ステップＳ２０５で得られた把持位置に係る位置情報に基づいて行う。詳細なロボットハンド４１の操作指令は、画像認識部４４が送信する。ロボット４０が行う作業の例としては物品の荷役作業や仕分け作業があるが、ロボット４０にその他の作業を行わせてもよい。

（第１の変形例）
上述の第１の実施形態に係る三次元撮影装置は、撮影対象の物体を回転する撮影台に載せ、円弧状に移動可能な撮像部を用いて、多視点の距離画像を撮影していた。三次元撮影装置は、多視点での撮影が可能ならば、これとは異なる構造であってもよい。第１の変形例に係る三次元撮影装置では、撮影対象の物体をジンバル機構上の回転可能な撮影台上に置き、多視点画像を撮影する。

第１の変形例に係るシステムの構成は、三次元撮影装置を除けば、第１の実施形態に係るシステムと同様である。以下では第１の実施形態との差異点を中心に説明する。

図１６は第１の変形例に係る三次元撮影装置の構成例を示す図である。図１６左側はジンバル機構を有する三次元撮影装置の断面を示した模式図である。一方、図１６右側は、撮影台を斜め上から見たときの様子を示した図である。

図１６の例では、コーヒーカップ６０が撮影対象の物体となっている。第１の変形例に係る三次元撮影装置は、ジンバル機構６１と、カゴ部６２と、撮影台６３と、撮像部６４とを備えている。以下では、各構成要素について説明する。

ジンバル機構６１は、上側に半球状の凹部を有し、当該半球内の範囲でカゴ部６２の位置を調整する機構を備えている。カゴ部６２の位置が調整されても、常にカゴ部６２の上側がジンバル機構６１の形成する半球の中心を向くようになっている。ジンバル機構６１によるカゴ部６２の位置調整は、例えば、ある軸について回転する吊枠を組み合わせて実現してもよい。また、ベアリングによる回転機構を使ってもよく、実現方法は特に問わない。

カゴ部６２は、上側が開放された容器であり、内部には撮影台６３が備え付けられている。上述のように、カゴ部６２はジンバル機構６１によって位置調整される。

撮影台６３は、円盤状の台であり、円盤の中心を通る軸について、回転することができる。図１６では、撮影台６３の回転軸が破線で示されている。撮影台６３の回転動作は、撮影台６３の下に設置されたモーターやロータリアクチュエータなどによって実現される。図１６左側および図１６右側の撮影台６３には、コーヒーカップ６０が設置されている。撮影台６３の角度が変わった際に撮影対象の物体が動いてしまわないよう、撮影台６３の表面に滑り防止加工を施したり、物体の位置を固定する機構を設けてもよい。

撮像部６４は、ジンバル機構６１が形成する半球の中心部の直上に設置される。撮像部６４は固定されていても、向きや位置を調整できるものであってもよい。例えば、撮像部６４のレンズの反対側に位置する基部に三軸回転機構を設けることができる。撮像部６４は三次元画像センサを内部に備え、距離画像を撮影するカメラである。撮像部６４の三次元画像センサは、ＴｏＦ方式のセンサであってもよいし、ＲＧＢ−Ｄ方式のセンサであってもよいし、その他の方式のセンサであってもよい。

図１７は、コーヒーカップの多視点距離画像の例を示す図である。図１７の画像は、学習に使われる複数の画像を例示している。図１７には、コーヒーカップの設置角度を変更された画像が含まれている。例えば、画像７０〜７３はコーヒーカップ自体の角度が傾けられている。第１の変形例に係る三次元撮影装置を使うと、このような物体自体を傾斜させた画像を撮影することができる。

また、図１７には高さと幅の比率や大きさが変更されたコーヒーカップのバリエーションが含まれている。例えば、画像８０〜８２は高さが低くなったコーヒーカップである。一方、画像８３〜８５には高さの比率が大きくされたコーヒーカップが示されている。画像８４、８５では、コーヒーカップの大きさが縮小されている。さらに画像８６、８７は幅の比率が大きくされたコーヒーカップである。

このように、同じコーヒーカップに係る形状でありながら、縦横の比率や縮尺を変更した画像を教師データに用いることにより、認識対象のコーヒーカップの寸法にある程度の幅があっても認識可能なモデルの学習が実現される。

実際に縦横の比率や大きさが異なる複数のコーヒーカップを用意し、それらを用いて距離画像の撮影を行ってもよいが、用意するコーヒーカップは１つのみであってもよい。例えば、現実のコーヒーカップの距離画像に対して伸縮、拡大、縮小などの操作を行えば、コーヒーカップのバリエーションに係る画像を用意できる。

現実に撮影された距離画像の数に限りがある場合、既存の距離画像を加工して新しい距離画像を作ることができる。このように、学習精度の向上を目的に、距離画像の数を増やす手法をデータ拡張（Ｄａｔａ Ａｕｇｍｅｎｔａｔｉｏｎ）と呼ぶ。データ拡張の例としては、上述の操作の他に平行移動、回転、鏡面反転、濃淡の変更、色の変更、ランダムノイズの追加、ぼかし補正などがある。

図１８は、コーヒーカップの把持位置を示す抽出画像の例を示している。図１８のそれぞれの画像は図１７の画像にそれぞれ対応している。図１７の画像中の三次元点群情報より、三次元モデルを作成した後、当該三次元モデルに係る画像中の把持位置に相当する座標のみをラベリングしたため、図１８は白黒画像となっている。

図１９は、任意のコーヒーカップで把持位置を推定した例を示している。図１９左側は、三次元ＣＡＤソフトウェアなどで作成した入力画像である。図１９右側は、深層学習を用いて把持位置を推定した結果である。三次元ＣＡＤソフトウェアなどで作成した入力画像を使っても、把持位置が推定できていることがわかる。

（第２の変形例）

上述の三次元撮影装置は、いずれも撮像部（カメラ）の数が１つであったが、撮像部（カメラ）の数が複数であってもよい。第２の変形例に係る三次元撮影装置は、複数の撮像部（カメラ）を備えている。三次元撮影装置を除く、第２の変形例に係るシステムのその他の部分の構成は、第１の実施形態に係るシステムと同様である。以下では第１の実施形態との差異点を中心に説明をする。

図２０は第２の変形例に係る三次元撮影装置の構成例を示している。図２０では、コーヒーカップ９１が撮影対象の物体となっている。第２の変形例に係る三次元撮影装置は、撮影台９０と、カメラ支持部材９２と、撮像部１００〜１０８とを備えている。

撮影台９０は、円盤状の台であり、円盤の中心を通る軸について、回転することができる。図２０では、撮影台９０の回転軸が破線で示されている。撮影台９０の回転動作は、撮影台９０の下に設置されたモーターやロータリアクチュエータなどによって実現される。図２０では、撮影台６３の上にコーヒーカップ９１が設置されている。

カメラ支持部材９２は、円弧状の構造物であり、複数の三次元画像センサ（カメラ）を支持することができる。図２０の例では、カメラ支持部材９２は半円状となっている。他の構成要素との位置関係をみると、カメラ支持部材９２が形成する半円の中心に、撮影台９０が配置され、撮影対象の物体が置かれる。図２０の例では、カメラ支持部材９２が形成する半円の中心部からみて約４５度間隔で複数の撮像部が配置されているが、撮像部の設置間隔と個数はこれと異なっていてもよい。

撮像部１００〜１０８は、三次元画像センサを備えたカメラである。それぞれのカメラは、撮影対象の物体からの角度が少しずつずれているため、それぞれのカメラで異なるアングルからの距離画像を撮影することができる。撮像部１００〜１０８の三次元画像センサは、ＴｏＦ方式のセンサであってもよいし、ＲＧＢ−Ｄ方式のセンサであってもよいし、その他の方式のセンサであってもよい。

第２の変形例に係る三次元撮影装置では、駆動部分が撮影台９０の回転機構のみとなっており、機械的な構造が単純化されている。したがって、機械のメンテナンスコストが軽減される利点がある。また、複数の撮像部１００〜１０８で一斉に撮影を行うことができるため、多視点の距離画像の撮影に要する時間を短縮することができる。

（第２の実施形態）
第１の実施形態では、荷役作業への応用を例に、画像認識を行うシステムを説明した。上述のような画像認識技術は、荷役作業以外の分野においても適用することができる。画像認識の対象は動物や人間など、様々な姿勢をとることができる生物であってもよい。

第２の実施形態に係る三次元撮影装置、画像処理装置、特徴学習装置の構成は第１の実施形態と同様である。第２の実施形態に係るシステムは、ロボットの代わりに、画像認識部を備えている。第２の実施形態に係る画像認識部は、三次元画像センサを有するカメラにより撮影された距離画像を使って、物体検出や物体領域抽出を行う。第１の実施形態では、物体領域抽出や画像認識の対象となった物体の特定部位は物品の把持位置（領域）であったが、その他の部位の物体領域抽出や画像認識を行ってもよい。第２の実施形態では、人間や動物の身体の一部を、特定対象の部位（特定部位）として物体領域抽出と画像認識をする。

また、第２の実施形態に係る物体検出モデルと物体領域抽出モデルの作成処理は、第１の実施形態と同様である。第２の実施形態に係る画像認識部は、学習されたモデルを使って画像認識を行う。カメラに一体となった監視装置などが画像認識部を備えていてもよいし、計算機など情報処理装置が画像認識部を備えていてもよく、画像認識部の配置は特に問わない。また、三次元画像センサを有するカメラは１台ではなく、複数台あってもよい。

図２１は、人形について物体領域抽出を行った例を示している。図２１の例では、人形の手に相当する領域を抽出対象としている。手を領域推定の対象としたのは一例であり、顔、足など他の部位を領域推定の対象にしてもよい。また、図２１の人形は起立姿勢をとっているが、着座姿勢、臥位姿勢、競技中の姿勢の人形を使って学習を行ってもよい。様々な姿勢の人形を使って、モデルを学習することにより、起立姿勢にない人間も画像認識の対象にすることができる。

大型の三次元撮影装置を使って、現実の人間について多視点の距離画像を撮影してもよい。しかし、画像認識の対象物のサイズと、学習用画像の撮影に使われる物のサイズは異なっていてもよいため、小型の模型を使って学習用の画像を用意することができる。したがって、大型の三次元撮影装置がない場合には、三次元造形装置（３Ｄプリンタ）を使って、縮尺を小さくした人間の模型を作成し、当該模型を撮影することもできる。

人間の画像は、公共的な場所に設置された監視カメラや、競技場に設置された分析用のカメラなどを使って撮影することができる。まず、学習した物体検出モデルにより、人間の姿勢を推定する。その後、物体領域抽出モデルにより、人間の身体の特定部位の位置を推定する。この処理を周期的に行うことにより、身体の各部位の動きに関する情報を得ることができる。これにより、不審な動きをしている人間を検出したり、スポーツ競技の選手の動きを分析することができる。

（第３の実施形態）
第３の実施形態では、上述の画像認識を行うシステムを自動車の監視に適用する。第３の実施形態に係る三次元撮影装置、画像処理装置、特徴学習装置の構成は第１の実施形態と同様である。第３の実施形態に係るシステムは、ロボットの代わりに、画像認識部を備えている。第３の実施形態に係る画像認識部は、三次元画像センサを有するカメラにより撮影された距離画像を使って、物体検出や物体領域抽出を行う。第３の実施形態では、自動車など移動体の一部を、特定対象の部位（特定部位）として、物体領域抽出と画像認識をする。

また、第３の実施形態に係る物体検出モデルと物体領域抽出モデルの作成処理は、第１の実施形態と同様である。第３の実施形態に係る画像認識部は、学習されたモデルを使って画像認識を行う。カメラに一体となった監視装置などが画像認識部を備えていてもよいし、計算機など情報処理装置が画像認識部を備えていてもよく、画像認識部の配置は特に問わない。また、三次元画像センサを有するカメラは１台ではなく、複数台あってもよい。

図２２は、自動車について物体領域抽出を行った例を示している。図２２の例では、屋根、フロントガラス、サイドガラス、リアガラスなどを備えた自動車の上部に相当する領域を抽出対象としている。自動車の上部を領域推定の対象としたのは一例であり、ナンバープレート、運転席にいる運転手などを領域推定の対象としてもよい。

自動車の場合、設計データをもとに、縮尺を小さくした模型を三次元造形装置（３Ｄプリンタ）などで作成し、当該模型を使って、多視点の距離画像を撮影することができる。多視点の距離画像と、それぞれの距離画像に対応する抽出画像に基づき、教師データが作成される。

教師データを特定のモデルごとに用意してもよいが、より大まかな分類ごとに教師データを作ってもよい。例えば、セダン、軽自動車、ワゴン、クーペ、ワンボックスカー、トラック、バスなど自動車の車種のそれぞれについて、教師データを作成することができる。

第３の実施形態に係る画像認識システムは、例えば、道路の監視カメラにより撮影された画像に対して適用することができる。領域抽出の用途としては、例えば交通違反をした自動車のナンバープレート、運転手の特徴などの検出が挙げられる。

なお、本発明は上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、各実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。

１０ 三次元撮影装置
１１、６４、１００、１０１、１０２、１０３、１０４、１０５、１０６、１０７、１０８ 撮像部
１２ アーム
１３ 画像記憶部
１４、６３、９０ 撮影台
１５ アクチュエータ
１６ 撮影制御部
２０ 画像処理装置
２１ 画角同期部
２２ ＣＡＤモデル生成部
２２ａ 把持位置特定部
２３ ＣＡＤモデル記憶部
２４ 表示部
２５ 入力部
３０ 特徴学習装置
３１ 学習部
３２ 学習モデル記憶部
３３ モデル更新部
４０ ロボット
４１ ロボットハンド
４１ａ ２指グリッパ
４１ｂ 吸盤
４２ カメラ
４３ モデル記憶部
４４ 画像認識部
５０ カゴ
６０、９１ コーヒーカップ
６１ ジンバル機構
６２ カゴ部
７０、７１、７２、７３、８０、８１、８２、８３、８４、８６、８７ 画像
９２ カメラ支持部材

Claims (12)

1. 複数のアングルで物体の第１距離画像を撮像可能な撮像部と、
   前記第１距離画像に基づいて前記物体の三次元モデルを生成し、前記三次元モデルに基づいて前記複数のアングルに対応する前記物体の特定部位を示す抽出画像を生成する生成部と、
   前記複数のアングルに係る前記抽出画像と、前記複数のアングルに係る前記第１距離画像に基づき、任意の第２距離画像における前記特定部位の位置を推定可能な第１モデルを生成し、前記複数の第１距離画像に基づき、前記第２距離画像における前記物体を検出可能な第２モデルを生成し、前記第１モデルと前記第２モデルは同一の前記物体に対応している、学習部と、
   あるアングルで撮像された前記第２距離画像において、前記第２モデルを適用し、前記物体が検出された場合に、前記第１モデルを適用して、前記物体の前記特定部位の位置を推定する、画像認識部と、
   を備えた情報処理装置。
2. 前記生成部は、前記三次元モデルに基づき、前記物体内における相対的な位置、前記物体の表面平坦部分の面積、前記物体の縁部の厚さのうち少なくとも１つを含む条件を満たす前記物体の部位を見つけ、前記物体の前記特定部位に設定する、
   請求項１に記載の情報処理装置。
3. 前記撮像部は、前記複数のアングルで前記物体のカラー画像を撮像可能であり、
   前記生成部は、前記複数の第１距離画像と同一アングルに係る複数のカラー画像に基づき、前記物体の特定部位の設定を行う、
   請求項１または２に記載の情報処理装置。
4. 前記生成部は、前記複数の第１距離画像のいずれかに伸縮操作、回転操作の少なくともいずれかを行うことにより、新しい第１距離画像を生成する、
   請求項１ないし３のいずれか一項に記載の情報処理装置。
5. 前記学習部は、複数の前記物体に係る前記第１モデルと前記第２モデルの組み合わせをそれぞれ生成する、
   請求項１ないし４のいずれか一項に記載の情報処理装置。
6. 前記学習部の少なくとも前記第１モデルの生成または前記第２モデルの生成のいずれかにおいて、誤差逆伝播法によるニューラルネットワークが使われる、
   請求項５に記載の情報処理装置。
7. 前記画像認識部は、あるアングルで撮像された前記第２距離画像において、いずれかの前記第２モデルを適用し、前記物体が検出された場合に、前記物体が検出された前記第２モデルと同一の前記物体に対応している前記第１モデルを適用して、前記物体の前記特定部位の位置を推定する、
   請求項５または６に記載の情報処理装置。
8. 前記生成部は、ロボットハンドが前記物体を把持する位置を、前記物体の前記特定部位に設定し、
   前記画像認識部は、推定された前記物体の前記特定部位の位置情報を、前記ロボットハンドに、制御情報として提供する、
   請求項１ないし７のいずれか一項に記載の情報処理装置。
9. 前記第１距離画像、前記三次元モデル、前記抽出画像、前記第１モデル、前記第２モデルのうち少なくともいずれかを表示可能な表示部
   を備えた請求項１ないし８のいずれか一項に記載の情報処理装置。
10. ある物体について、複数のアングルで撮影された複数の第１距離画像から三次元モデルを生成するステップと、
    前記複数のアングルのうち、いずれかのアングルについて、前記物体の特定部位の領域を表す情報を取得し、前記三次元モデルと、取得された前記情報から、前記物体の特定部位の位置を示す抽出画像を、前記複数のアングルのそれぞれで生成するステップと、
    前記複数のアングルに係る前記第１距離画像と、前記複数のアングルに係る前記抽出画像に基づき、任意の第２距離画像における前記特定部位の位置を推定可能な第１モデルを生成するステップと、
    前記複数の第１距離画像に基づき、前記第２距離画像における前記物体を検出可能な第２モデルを生成し、前記第１モデルと前記第２モデルは同一の前記物体に対応している、ステップと、
    あるアングルで撮像された前記第２距離画像において、前記第２モデルを適用し、前記物体が検出された場合に、前記第１モデルを適用して、前記物体の前記特定部位の位置を推定する、ステップと、
    を備える画像認識方法。
11. ある物体について、複数のアングルで撮影された複数の第１距離画像から三次元モデルを生成するステップと、
    前記複数のアングルのうち、いずれかのアングルについて、前記物体の特定部位の領域を表す情報を取得し、前記三次元モデルと、取得された前記情報から、前記物体の特定部位の位置を示す抽出画像を、前記複数のアングルのそれぞれで生成するステップと、
    前記複数のアングルに係る前記第１距離画像と、前記複数のアングルに係る前記抽出画像に基づき、任意の第２距離画像における前記特定部位の位置を推定可能な第１モデルを生成するステップと、
    前記複数の第１距離画像に基づき、前記第２距離画像における前記物体を検出可能な第２モデルを生成し、前記第１モデルと前記第２モデルは同一の前記物体に対応している、ステップと、
    あるアングルで撮像された前記第２距離画像において、前記第２モデルを適用し、前記物体が検出された場合に、前記第１モデルを適用して、前記物体の前記特定部位の位置を推定する、ステップと、
    をコンピュータに実行させる画像認識プログラム。
12. 複数のアングルで物体の第１距離画像を撮像可能な撮像部と、
    前記第１距離画像に基づいて前記物体の三次元モデルを生成し、前記三次元モデルに基づいて前記複数のアングルに対応する前記物体の特定部位を示す抽出画像を生成する生成部と、
    を備え、
    前記生成部は、前記物体の縁部の厚さを含む条件を満たす前記物体の部位を見つけ、前記物体の前記特定部位に設定する、
    情報処理装置。