JP7361800B2 - 物体認識装置および物体認識方法 - Google Patents

Description

本開示は、対象物体を撮影した画像に基づいて対象物体を認識する物体認識装置および物体認識方法に関する。

各種の産業において、物体の位置姿勢など物体の状態を把握する認識技術が開発されている。認識技術は、例えば、産業用ロボットが物体を把持して搬送する際に、産業用ロボットを物体の状態に合わせて制御するために用いられる。特許文献１には、対象の物体を把持する把持システムにおいて、対象物体を撮影した画像に基づいて、物体の状態を認識する技術が開示されている。

特開２０１８－２０５９２９号公報

しかしながら、特許文献１に開示された技術によれば、認識処理を実行するときの環境、例えば、対象物体の周辺環境、計測条件などが変化する場合、認識性能が低下する場合があるという問題があった。

本開示は、上記に鑑みてなされたものであって、認識処理を実行するときの環境が変化する場合であっても、認識性能を向上させることが可能な物体認識装置を得ることを目的とする。

上述した課題を解決し、目的を達成するために、本開示の物体認識装置は、対象物体の画像を取得する画像取得部と、画像取得部が取得した画像であるセンサ画像を予め定められた特徴を有する画像に画像変換するためのパラメータである画像変換パラメータを用いて、センサ画像を画像変換して、予め定められた特徴を有する変換後画像を出力する画像変換部と、変換後画像に基づいて、対象物体の状態を認識する認識部と、認識部の認識結果に基づいて、変換後画像を生成するために用いられた画像変換パラメータを評価する評価部と、認識結果および評価部の評価結果を出力する出力部と、を備え、予め定められた特徴は、対象物体の形状、対象物体の表面特性、センサの計測距離、およびセンサの計測深度のうちの少なくともいずれか１つであることを特徴とする。

本開示によれば、認識処理を実行するときの環境が変化する場合であっても、認識性能を向上させることが可能であるという効果を奏する。

実施の形態１にかかる物体認識装置の機能構成を示す図 図１に示す出力部が表示する表示画面の一例を示す図 図１に示す第１の学習部の詳細な構成の一例を示す図 図１に示す第１の学習部の動作例を説明するためのフローチャート 図１に示す第１の学習部がＣｙｃｌｅＧＡＮを用いる場合の動作例を説明するための図 図１に示す物体認識装置が運用開始前に行う処理について説明するためのフローチャート 図１に示す物体認識装置の運用中の動作を説明するためのフローチャート 実施の形態２にかかる物体認識装置の機能構成を示す図 図８に示す物体認識装置が運用開始前に行う処理について説明するためのフローチャート 図８に示す物体認識装置が運用中に行う処理について説明するためのフローチャート 実施の形態３にかかる物体認識装置の機能構成を示す図 図１１に示すシミュレーション部の動作を説明するためのフローチャート 図１１に示す物体認識装置が運用開始前に行う処理について説明するためのフローチャート 実施の形態４にかかる物体認識装置の機能構成を示す図 図１３に示す物体認識装置が運用開始前に行う処理について説明するためのフローチャート 実施の形態１～４にかかる物体認識装置の機能を実現するための専用のハードウェアを示す図 実施の形態１～４にかかる物体認識装置の機能を実現するための制御回路の構成を示す図

以下に、本開示の実施の形態にかかる物体認識装置および物体認識方法を図面に基づいて詳細に説明する。なお、以下に示す実施の形態により本開示の技術的範囲が限定されるものではない。

実施の形態１．
図１は、実施の形態１にかかる物体認識装置１０の機能構成を示す図である。物体認識装置１０は、画像取得部１０１と、画像変換部１０２と、認識部１０３と、出力部１０４と、第１の学習部１０５と、記憶部１０６と、画像変換パラメータ決定部１０７と、評価部１０８と、入力受付部１０９とを有する。物体認識装置１０は、対象物体を撮影した画像に基づいて、対象物体の位置姿勢といった状態を認識する機能を有する。

画像取得部１０１は、対象物体の画像を取得する。画像取得部１０１は、イメージセンサを有する撮像装置であってもよいし、物体認識装置１０に接続された撮影装置が撮影した画像を取得するインタフェースであってもよい。以下、画像取得部１０１が取得する画像をセンサ画像と称する。画像取得部１０１は、取得したセンサ画像を画像変換部１０２および第１の学習部１０５のそれぞれに出力する。センサ画像は、モノクロ画像であってもよいし、ＲＧＢ画像であってもよい。また、センサ画像は、距離を輝度の明暗で表現した距離画像であってもよい。距離画像は、３次元の位置情報を持った点の集合データに基づいて生成されてもよい。このとき、画像取得部１０１は、距離画像から３次元の位置情報を持った点の集合を再構成するための最低限の情報を距離画像と同時に取得することが好ましい。点の集合を再構成するための最低限の情報とは、焦点距離、スケールなどである。

なお、画像取得部１０１は、複数の種類の画像を取得することができてもよい。例えば、画像取得部１０１は、対象物体のモノクロ画像および距離画像の両方を取得することができてよい。このとき、画像取得部１０１は、モノクロ画像および距離画像の両方を１台で撮影することができる撮影装置であってもよいし、モノクロ画像を撮影する撮影装置と、距離画像を撮影する撮影装置とから構成されてもよい。ただし、モノクロ画像の撮影と距離画像の撮影とを別の撮影装置で行う場合、２台の撮影装置の位置関係を事前に把握しておくことが好ましい。

画像変換部１０２は、画像変換パラメータを用いて、画像取得部１０１が取得するセンサ画像を画像変換して変換後画像を認識部１０３に出力する。画像変換部１０２は、記憶部１０６に記憶されており、第１の学習部１０５の学習結果である画像変換パラメータを用いて、センサ画像が目標画像群毎に予め定められた特徴をもつように画像変換を行う。本実施の形態では、予め定められた特徴を有する画像を目標画像と称し、目標画像の集合を目標画像群と称する。

同じ目標画像群に含まれる複数の目標画像は、共通する特徴を有する。このとき共通する特徴は、例えば、対象物体の形状、対象物体の表面特性、計測距離、深度などである。また、共通する特徴は、認識の対象である対象物体以外の物体の位置姿勢、外乱光の種類および強度、計測センサの種類、計測センサのパラメータ、対象物体の配置状態、画像のスタイル、対象物体の数量などであってもよい。ここで、計測センサのパラメータとは、ピント、絞りなどのパラメータである。対象物体の配置状態は、整列状態、ばら積み状態などである。同じ目標画像群に含まれる複数の目標画像は、１つの共通する特徴を有してもよいし、複数の共通する特徴を有してもよい。また、「共通する特徴を有する」とは、上記のような特徴が同一である場合だけでなく、類似する場合も含む。例えば、対象物体の形状は、直方体、円柱、六角柱といった基準形状を定めた場合、目標画像内の対象物体の形状が、同じ基準形状に近似できる程度の近さであっても、共通する特徴を有する画像とすることができる。また、対象物体の表面特性は、例えば黒、白、灰色といった基準色を定めた場合、目標画像内の対象物体の見た目の色合いが同じ基準色に分類される程度の近さであっても、共通する特徴を有する画像とすることができる。

目標画像には、少なくとも１つの対象物体が映っている。このとき、目標画像内に映っている対象物体は、必ずしも全体が映っている必要はない。例えば、対象物体の一部分が計測範囲外にある場合、他の物体によって対象物体の一部が隠れてしまっている場合、目標画像内に映る対象物体の一部が欠けてしまうことがあるが、問題ない。また、目標画像内に複数の対象物体が映っている場合、複数の対象物体の配置状態は、整列状態であってもよいし、ばら積み状態であってもよい。目標画像は、対象物体を認識しやすい画像であることが望ましい。対象物体を認識しやすい画像とは、例えば、対象物体の形状が複雑ではなく、直方体、立方体といった簡易な形状を有し、ノイズが少ない画像である。

画像変換部１０２が用いる画像変換パラメータのパラメータ数および種類は、画像変換手法によって異なる。画像変換部１０２は、変換後画像中の対象物体の位置姿勢といった状態が、センサ画像中の対象物体の状態と大きく変わらないような画像変換手法を用いることが望ましい。画像変換部１０２は、例えば、ニューラルネットワークを利用した画像変換手法を用いることができる。ニューラルネットワークを利用した画像変換手法を用いる場合、画像変換パラメータは、ネットワークを構成する各ユニット間の重み係数を含む。

認識部１０３は、画像変換部１０２が出力する変換後画像に基づいて、対象物体の位置姿勢といった状態を認識する。認識部１０３が用いる認識手法は、特に制限されない。例えば、認識部１０３は、画像から対象物体の状態を出力することができるように事前学習を行う機械学習ベースの認識手法を用いてもよいし、対象物体のＣＡＤ（Computer-Aided Design）データと３次元計測データと照合して対象物体の状態を推定するモデルマッチングを用いてもよい。認識部１０３は、１種類の認識手法を用いて認識処理を行ってもよいし、複数の種類の認識手法を組み合わせて用いて認識処理を行ってもよい。認識部１０３は、認識結果を出力部１０４および評価部１０８のそれぞれに出力する。認識結果は、例えば、認識部１０３の認識処理時間および認識部１０３が認識した対象物体の個数の少なくともいずれかを含む。

出力部１０４は、認識結果と、後に詳述する評価部１０８の評価結果とを出力する機能を有する。出力部１０４が認識結果および評価結果を出力する方法については、特に制限されない。例えば、出力部１０４は、表示装置を備えており、表示装置の画面上に認識結果および評価結果を表示してもよい。また出力部１０４は、外部装置とのインタフェースを備えており、認識結果および評価結果を外部装置に送信してもよい。

図２は、図１に示す出力部１０４が表示する表示画面の一例を示す図である。図２中の「ｉｎｐｕｔ」は、センサ画像を表示する領域を示しており、「ｐａｒａｍｅｔｅｒ」は、画像変換パラメータと、評価結果である評価値とを表示する領域を示している。また図２中の「ｃｏｎｖｅｒｓｉｏｎ」は、変換後画像を表示する領域を示しており、「ｒｅｃｏｇｎｉｔｉｏｎ」は、認識結果を表示する領域を示している。例えば、ユーザが、「ｐａｒａｍｅｔｅｒ」に表示された複数の画像変換パラメータのうちの１つを選択する操作を行うと、表示画面の「Ｎａｍｅ」には選択された画像変換パラメータの名称が表示され、「Ｖａｌｕｅ」には、選択された画像変換パラメータを用いた場合の評価値が表示され、「ｃｏｎｖｅｒｓｉｏｎ」には、選択された画像変換パラメータを用いた場合の変換後画像が表示され、「ｒｅｃｏｇｎｉｔｉｏｎ」には、選択された画像変換パラメータを用いた場合の認識結果が表示される。

第１の学習部１０５は、センサ画像を、目標画像群の特徴を有するように画像変換するための画像変換パラメータを学習する。第１の学習部１０５は、画像変換部１０２が用いる画像変換パラメータを、目標画像群ごとに学習する。図３は、図１に示す第１の学習部１０５の詳細な構成の一例を示す図である。第１の学習部１０５は、状態観測部１１と、機械学習部１２とを有する。目標画像群に含まれる複数の目標画像の間のばらつきが小さい場合、第１の学習部１０５は、目標画像群の特徴を再現した画像変換を行うことが可能な画像変換パラメータを得ることができる可能性が高くなる。センサ画像の目標画像群との乖離が大きい場合、第１の学習部１０５の画像変換パラメータの学習は収束し難い。

状態観測部１１は、画像変換パラメータと、目標画像群と、変換後画像および目標画像群の特徴の類似度とを状態変数として観測する。機械学習部１２は、画像変換パラメータ、目標画像群、類似度の状態変数に基づいて作成される訓練データセットに従って、画像変換パラメータを目標画像群ごとに学習する。

機械学習部１２が用いる学習アルゴリズムはどのようなものであってもよい。一例として、機械学習部１２が強化学習を用いる場合について説明する。強化学習は、ある環境内における行動主体であるエージェントが、現在の状態を観測し、取るべき行動を決定する、という学習アルゴリズムである。エージェントは、行動を選択することで環境から報酬を得て、一連の行動を通じて報酬が最も多く得られるような方策を学習する。強化学習の代表的な手法として、Ｑ学習、ＴＤ学習が知られている。例えば、Ｑ学習の場合、行動価値関数Ｑ（ｓ_ｔ，ａ_ｔ）の一般的な更新式は、以下の数式（１）で表される。

数式（１）において、ｓ_ｔは時刻ｔにおける環境を表し、ａ_ｔは時刻ｔにおける行動を表す。行動ａ_ｔにより、環境はｓ_ｔ＋１に変わる。ｒ_ｔ＋１は行動ａ_ｔの結果として変化する環境に応じて与えられる報酬を表し、γは割引率を表し、αは学習係数を表す。

数式（１）で表される更新式は、時刻ｔ＋１における最良の行動ａの行動価値Ｑが、時刻ｔにおいて実行された行動ａの行動価値Ｑよりも大きければ、行動価値Ｑを大きくし、逆の場合は、行動価値Ｑを小さくする。換言すれば、時刻ｔにおける行動ａの行動価値Ｑを、時刻ｔ＋１における最良の行動価値に近づけるように、行動価値関数Ｑ（ｓ_ｔ，ａ_ｔ）を更新する。このような更新を繰り返すことで、或る環境における最良の行動価値が、それ以前の環境における行動価値に順次伝搬していくようになる。

機械学習部１２は、報酬計算部１２１と、関数更新部１２２とを有する。

報酬計算部１２１は、状態変数に基づいて報酬を計算する。報酬計算部１２１は、状態変数に含まれる類似度に基づいて、報酬ｒを計算する。類似度は、変換後画像が、目標画像群の特徴を再現している度合いが高いほど高くなる。例えば、類似度が予め定められる閾値よりも高い場合、報酬計算部１２１は、報酬ｒを増大させる。報酬計算部１２１は、例えば、「１」の報酬を与えて報酬ｒを増大させることができる。他方、類似度が予め定められる閾値よりも低い場合、報酬計算部１２１は、報酬ｒを減少させる。報酬計算部１２１は、例えば、「－１」の報酬を与えて報酬ｒを減少させることができる。類似度は、目標画像群の特徴の種類に応じて、公知の方法に従って算出される。

関数更新部１２２は、報酬計算部１２１によって計算される報酬ｒに従って、画像変換パラメータを決定するための関数を更新する。例えばＱ学習の場合、数式（１）で表される行動価値関数Ｑ（ｓ_ｔ，ａ_ｔ）を、画像変換パラメータを決定するための関数として用いる。

図４は、図１に示す第１の学習部１０５の動作例を説明するためのフローチャートである。図４に示す動作は、物体認識装置１０の運用を開始する前に行われる。第１の学習部１０５の状態観測部１１は、画像取得部１０１を用いてセンサ画像群を取得する（ステップＳ１０１）。状態観測部１１は、予め定められた複数の目標画像群の中から１つの目標画像群を選択する（ステップＳ１０２）。

第１の学習部１０５は、選択された目標画像群に対する画像変換パラメータを設定する（ステップＳ１０３）。第１の学習部１０５は、画像変換部１０２に、設定した画像変換パラメータを用いてセンサ画像を画像変換させる（ステップＳ１０４）。

第１の学習部１０５の状態観測部１１は、状態変数である、画像変換パラメータと、目標画像群と、変換後画像および目標画像群の特徴の類似度とを取得する（ステップＳ１０５）。状態観測部１１は、取得した状態変数を機械学習部１２に出力する。機械学習部１２の報酬計算部１２１は、類似度が閾値よりも高いか否かを判断する（ステップＳ１０６）。

類似度が閾値よりも高い場合（ステップＳ１０６：Ｙｅｓ）、報酬計算部１２１は、報酬ｒを増大させる（ステップＳ１０７）。類似度が閾値よりも低い場合（ステップＳ１０６：Ｎｏ）、報酬計算部１２１は、報酬ｒを減少させる（ステップＳ１０８）。報酬計算部１２１は、計算した報酬ｒを関数更新部１２２に出力する。

関数更新部１２２は、報酬計算部１２１が計算した報酬ｒに従って、行動価値関数Ｑ（ｓ_ｔ，ａ_ｔ）を更新する（ステップＳ１０９）。第１の学習部１０５は、予め定められた学習終了条件を満たすか否かを判断する（ステップＳ１１０）。学習終了条件は、画像変換パラメータの学習精度が基準以上となることを判定するための条件であることが望ましい。例えば、学習終了条件は、「ステップＳ１０３からステップＳ１０９の処理を繰り返した回数が予め定められた回数を超えること」、「同じ目標画像群に対する画像変換パラメータの学習を開始してからの経過時間が予め定められた時間を超えること」などである。

学習終了条件を満たさない場合（ステップＳ１１０：Ｎｏ）、第１の学習部１０５は、ステップＳ１０３から処理を繰り返す。学習終了条件を満たした場合（ステップＳ１１０：Ｙｅｓ）、第１の学習部１０５は、目標画像群に対する画像変換パラメータの学習結果を出力する（ステップＳ１１１）。

第１の学習部１０５は、全ての目標画像群に対する学習が終了したか否かを判断する（ステップＳ１１２）。全ての目標画像群に対する学習が終了していない場合、つまり、学習が終了していない目標画像群がある場合（ステップＳ１１２：Ｎｏ）、第１の学習部１０５は、ステップＳ１０２から処理を繰り返す。全ての目標画像群に対する学習が終了した場合（ステップＳ１１２：Ｙｅｓ）、第１の学習部１０５は、画像変換パラメータ学習処理を終了する。

以上、第１の学習部１０５が強化学習を利用して機械学習する例について説明したが、第１の学習部１０５は、他の公知の方法、例えばニューラルネットワーク、遺伝的プログラミング、機能論理プログラミング、サポートベクターマシンなどに従って機械学習を実行してもよい。

図５は、図１に示す第１の学習部１０５がＣｙｃｌｅＧＡＮ（Generative Adversarial Networks）を用いる場合の動作例を説明するための図である。第２の例では、第１の学習部１０５は、ＣｙｃｌｅＧＡＮを利用して画像変換パラメータを学習する。ＣｙｃｌｅＧＡＮを用いる場合、第１の学習部１０５は、図５に示すように、第１生成器Ｇと、第２生成器Ｆと、第１識別器Ｄ_Xと、第２識別器Ｄ_Yとを用いて、画像変換パラメータを学習する。

第１の学習部１０５は、２種類の画像群Ｘ，Ｙの訓練データを用いて、画像群Ｘ，Ｙ間の画像変換パラメータを学習する。画像群Ｘの訓練データに含まれる画像を画像ｘと称し、画像群Ｙの訓練データに含まれる画像を画像ｙと称する。

第１生成器Ｇは、画像ｘから画像群Ｙの特徴を有する画像を生成する。第１生成器Ｇに画像ｘを入力したときの出力をＧ（ｘ）とする。第２生成器Ｆは、画像ｙから画像群Ｘの特徴を有する画像を生成する。第２生成器Ｆに画像ｙを入力したときの出力をＦ（ｙ）とする。第１識別器Ｄ_Xは、ｘとＦ（ｙ）とを見分ける。第２識別器Ｄ_Yは、ｙとＧ（ｘ）とを見分ける。

第１の学習部１０５は、２種類の損失に基づいて、第１生成器Ｇおよび第２生成器Ｆの画像変換精度が高まり、第１識別器Ｄ_Xおよび第２識別器Ｄ_Yの識別精度が高まるように、学習を行う。具体的には、第１の学習部１０５は、以下の数式（２）が示す総損失Ｌ（Ｇ，Ｆ，Ｄ_X，Ｄ_Y）が、以下の数式（３）が示す目的関数を満たすように学習を行う。

数式（２）に含まれる第１損失Ｌ_GAN（Ｇ，Ｄ_Y，Ｘ，Ｙ）は、第１生成器Ｇが画像ｘから画像群Ｙの特徴を有する画像Ｇ（ｘ）を生成した際に生じる損失である。数式（２）に含まれる第２損失Ｌ_GAN（Ｆ，Ｄ_X，Ｙ，Ｘ）は、第２生成器Ｆが画像ｙから画像群Ｘの特徴を有する画像Ｆ（ｘ）を生成した際に生じる損失である。数式（２）に含まれる第３損失Ｌ_cyc（Ｇ，Ｆ）は、画像ｘを第１生成器Ｇに入力して画像Ｇ（ｘ）を生成し、生成した画像Ｇ（ｘ）を第２生成器Ｆに入力して画像Ｆ（Ｇ（ｘ））を生成した場合に生じる損失と、画像ｙを第２生成器Ｆに入力して画像Ｆ（ｙ）を生成し、生成した画像Ｆ（ｙ）を第１生成器Ｇに入力して画像Ｇ（Ｆ（ｙ））を生成した場合に生じる損失との和である。

つまり、第１の学習部１０５は、以下の４つの前提に基づいて、総損失総損失Ｌ（Ｇ，Ｆ，Ｄ_X，Ｄ_Y）が小さくなるように第１生成器Ｇおよび第２生成器Ｆの学習を行い、総損失総損失Ｌ（Ｇ，Ｆ，Ｄ_X，Ｄ_Y）が大きくなるように第１識別器Ｄ_Xおよび第２識別器Ｄ_Yの学習を行う。
１．画像ｘを第１生成器Ｇに入力して変換された画像Ｇ（ｘ）は、画像群Ｙと類似するはずである。
２．画像ｙを第２生成器Ｆに入力して変換された画像Ｆ（ｙ）は画像群Ｘと類似するはずである。
３．画像Ｇ（ｘ）を第２生成器Ｆに入力して変換された画像Ｆ（Ｇ（ｘ））は画像群Ｘと類似するはずである。
４．画像Ｆ（ｙ）を第１生成器Ｇに入力して変換された画像Ｇ（Ｆ（ｙ））は画像群Ｙと類似するはずである。

第１の学習部１０５は、センサ画像群を画像群Ｘとし、目標画像群を画像群Ｙとして、上記の学習を行い、センサ画像群から目標画像群を生成する第１生成器Ｇで用いられる画像変換パラメータを学習し、学習結果を記憶部１０６に出力する。第１の学習部１０５は、複数の種類の目標画像群のそれぞれについて、上記の学習を行い、目標画像群ごとに画像変換パラメータを学習する。

図１の説明に戻る。記憶部１０６は、第１の学習部１０５の学習結果である、目標画像群毎の画像変換パラメータを記憶する。

画像変換パラメータ決定部１０７は、後述する評価部１０８が運用開始前に行った評価結果に基づいて、複数の画像変換パラメータの中から、運用中に画像変換部１０２が用いる画像変換パラメータを決定する。画像変換パラメータ決定部１０７は、決定した画像変換パラメータを画像変換部１０２に通知する。

画像変換パラメータ決定部１０７は、例えば、評価値Ｅ_cが最大の画像変換パラメータを画像変換部１０２が用いる画像変換パラメータとしてもよいし、評価部１０８が出力部１０４に評価結果を出力させて、ユーザが出力された評価結果を確認した上で選択した画像変換パラメータを画像変換部１０２が用いる画像変換パラメータとしてもよい。例えば、学習時に用いたセンサ画像と実際に得られるセンサ画像の光の加減が、時間帯などの影響で変わることが考えられる場合、出力部１０４が評価結果に加えて、それぞれの画像変換パラメータを用いた場合の変換後画像を出力することが考えられる。この場合、ユーザは、変換後画像を確認して、光の反射を抑える変換が可能な画像変換パラメータを選択することができる。このとき、出力部１０４は、評価値が閾値以上である画像変換パラメータの評価値と、変換後画像とを出力し、評価値が閾値未満の画像変換パラメータを出力しなくてもよい。

評価部１０８は、運用開始前に、複数の画像変換パラメータのそれぞれを用いた場合の認識部１０３の認識結果に基づいて、複数の画像変換パラメータのそれぞれを評価する。具体的には、評価部１０８は、評価値Ｅ_cを算出し、算出した評価値Ｅ_cである評価結果を画像変換パラメータ決定部１０７および出力部１０４のそれぞれに出力する。評価部１０８が算出する評価値Ｅ_cは、例えば以下の数式（４）で表される。

ここで、ｐ_rは認識精度を示し、ｔ_rは認識処理時間を示し、ｗ_pr，ｗ_trは重み係数を示す。つまり、評価値Ｅ_cは、認識精度ｐ_rに重み係数ｗ_prを乗算した値と、認識処理時間ｔ_rの逆数に重み係数ｗ_trを乗算した値との和である。

一般的に、認識精度ｐ_rと認識処理時間ｔ_rとはトレードオフの関係にある。このため、ユーザが何を重視するかによって、重み係数ｗ_pr，ｗ_trの値を決定すればよい。例えば、認識精度が多少低下しても認識処理の速度を重視したい場合、重み係数ｗ_prの値を小さくし、重み係数ｗ_trの値を大きくすればよい。逆に、時間がかかっても認識精度を重視する場合、重み係数ｗ_prの値を大きくし、重み係数ｗ_trの値を小さくすればよい。

認識精度ｐ_rは、センサ画像中の対象物体を認識することができた度合い、または、対象物体の状態の誤差、具体的には位置姿勢の誤差である。例えば、認識精度ｐ_rがセンサ画像中の対象物体を認識することができた度合いである場合、認識精度ｐ_rは、以下の数式（５）で表される。

ここで、ｎ_rは認識できた対象物体の個数を示し、Ｎ_wはセンサ画像中の対象物体の数を示す。つまり、数式（５）で表される認識精度ｐ_rは、認識できた対象物体の個数ｎ_rを、センサ画像中の対象物体の数Ｎ_wで除算した値である。センサ画像中の対象物体の位置姿勢と、認識した位置姿勢との誤差が閾値以内の場合、認識が成功したと判断してもよいし、ユーザが目視で認識が成功したか否かを判断してもよい。

また、対象物体の状態の誤差を認識精度ｐ_rとする場合、認識精度ｐ_rは、以下の数式（６）で表される。

ここで、ｘ_wは対象物体の実際の位置姿勢を示し、ｘ_rは認識された位置姿勢を示す。つまり、数式（６）で表される認識精度ｐ_rは、対象物体の実際の位置姿勢ｘ_wと認識された位置姿勢ｘ_rとの差の絶対値に１を加算した値の逆数である。対象物体の実際の位置姿勢および認識された位置姿勢は、画像空間内の位置姿勢であってもよいし、実空間内での位置姿勢であってもよい。

また、認識精度ｐ_rは、上記の例に限定されない。上記の例を組み合わせてもよい。

また、上記の数式（４）で表した例に限らず、評価値Ｅ_cは、以下の数式（７）を用いて算出されてもよい。

ここで、Ｔ_rは認識処理時間閾値を示す。つまり、数式（７）を用いる場合、認識処理時間閾値Ｔ_r以内に認識処理が完了する場合、評価値Ｅ_cは、認識精度ｐ_rに重み係数ｗ_prを乗算した値であり、認識処理時間閾値Ｔ_r以内に認識処理が完了しない場合、評価値Ｅ_cは０である。認識処理時間閾値Ｔ_r以内に認識処理が完了しない画像変換パラメータの評価値Ｅ_cを０とすることで、ユーザが要求する時間内に認識処理を完了することが可能な画像変換パラメータを確認および選択することが可能になる。評価値Ｅ_cの算出方法は、上記に限定されない。

入力受付部１０９は、評価部１０８が画像変換パラメータを評価するために用いるパラメータである評価パラメータの入力を受け付ける。入力受付部１０９は、ユーザが入力装置などを用いて入力する評価パラメータを受け付けてもよいし、物体認識装置１０内の機能部から評価パラメータを受け付けてもよいし、物体認識装置１０の外部装置から評価パラメータを受け付けてもよい。入力受付部１０９が受け付ける評価パラメータは、例えば、数式（４）に含まれる重み係数ｗ_pr，ｗ_trなど、評価値の大きさに影響を与える複数の要素のそれぞれが、評価値に与える影響を変更するための重み係数である。

図６は、図１に示す物体認識装置１０が運用開始前に行う処理について説明するためのフローチャートである。物体認識装置１０の第１の学習部１０５は、画像変換パラメータ学習処理を行う（ステップＳ１２１）。ステップＳ１２１に示す画像変換パラメータ学習処理は、図４を用いて説明した処理または図５を用いて説明した処理であるため、ここでは詳細な説明を省略する。

続いて入力受付部１０９は、評価パラメータを取得して、取得した評価パラメータを評価部１０８に出力する（ステップＳ１２２）。

画像取得部１０１は、センサ画像を取得し、取得したセンサ画像を画像変換部１０２に出力する（ステップＳ１２３）。画像変換部１０２は、記憶部１０６に記憶された複数の学習済みの画像変換パラメータの中から、未だ評価値の算出が済んでいない画像変換パラメータを１つ選択する（ステップＳ１２４）。

画像変換部１０２は、選択した画像変換パラメータを用いて、画像取得部１０１が取得したセンサ画像を変換後画像に変換する画像変換処理を行う（ステップＳ１２５）。画像変換部１０２は、変換後画像を認識部１０３に出力する。

認識部１０３は、変換後画像を用いて、認識処理を行い、認識結果を評価部１０８に出力する（ステップＳ１２６）。なお、認識結果を出力する場合、認識部１０３は、認識結果を出力部１０４に出力してもよい。

評価部１０８は、認識結果に基づいて、評価値Ｅ_cを算出し、算出した評価値Ｅ_cを画像変換パラメータ決定部１０７に出力する（ステップＳ１２７）。

画像変換部１０２は、全ての画像変換パラメータの評価値Ｅ_cを算出したか否かを判断する（ステップＳ１２８）。全ての画像変換パラメータの評価値Ｅ_cを算出していない場合（ステップＳ１２８：Ｎｏ）、つまり、評価値Ｅ_cを算出していない画像変換パラメータがある場合、画像変換部１０２は、ステップＳ１２４から処理を繰り返す。全ての画像変換パラメータの評価値Ｅ_cを算出した場合（ステップＳ１２８：Ｙｅｓ）、画像変換パラメータ決定部１０７は、複数の画像変換パラメータの中から、評価部１０８の評価結果である評価値に基づいて、運用中に画像変換部１０２が用いる画像変換パラメータを決定する（ステップＳ１２９）。

図７は、図１に示す物体認識装置１０の運用中の動作を説明するためのフローチャートである。運用前に、図６に示した動作が行われており、目標画像群毎に、画像変換パラメータが学習済みであり、学習済みの画像変換パラメータの中から、画像変換部１０２が用いる画像変換パラメータが選択済みであることとする。

画像取得部１０１は、センサ画像を取得し、取得したセンサ画像を画像変換部１０２に出力する（ステップＳ１３１）。画像変換部１０２は、選択された画像変換パラメータを取得する（ステップＳ１３２）。画像変換部１０２は、取得した画像変換パラメータを用いて、センサ画像を変換後画像に変換する画像変換処理を行い、変換後画像を認識部１０３に出力する（ステップＳ１３３）。

認識部１０３は、変換後画像を用いて、変換後画像中に含まれる対象物体の状態を認識する認識処理を行い、認識結果を出力部１０４に出力する（ステップＳ１３４）。

出力部１０４は、認識結果に基づいて、対象物体が存在するか否かを判断する（ステップＳ１３５）。対象物体が存在する場合（ステップＳ１３５：Ｙｅｓ）、出力部１０４は、認識結果を出力する（ステップＳ１３６）。認識結果を出力した後、画像取得部１０１は、ステップＳ１３１から処理を繰り返す。対象物体が存在しない場合（ステップＳ１３５：Ｎｏ）、物体認識装置１０は処理を終了する。

なお、上記では、画像変換部１０２は、センサ画像を１段階の画像変換処理で変換後画像に変換することとしたが、本実施の形態はかかる例に限定されない。例えば、画像変換部１０２は、複数の段階の画像変換を行って、センサ画像を変換後画像に変換してもよい。例えば、２段階の画像変換が行われる場合、画像変換部１０２は、センサ画像を第１の中間画像に変換し、第１の中間画像を変換画像に変換する。３段階の画像変換が行われる場合、画像変換部１０２は、センサ画像を第１の中間画像に変換し、第１の中間画像を第２の中間画像に変換し、第２の中間画像を変換後画像に変換する。

なお、画像変換部１０２が複数の段階の画像変換を行う場合、第１の学習部１０５は、画像変換の段階ごとに用いられる複数の種類の画像変換パラメータのそれぞれを学習する。具体的には、第１の学習部１０５は、センサ画像を中間画像に変換するための第１の画像変換パラメータと、中間画像を変換後画像に変換するための第２の画像変換パラメータとを学習する。また、３段階以上の画像変換が行われる場合、第１の学習部１０５は、中間画像を中間画像に変換するための第３の画像変換パラメータを学習する。例えば、２段階の画像変換が行われる場合、第１の学習部１０５は、センサ画像を第１の中間画像に変換するための第１の画像変換パラメータと、第１の中間画像を変換後画像に変換するための第２の画像変換パラメータとを学習する。また、３段階の画像変換が行われる場合、第１の学習部１０５は、センサ画像を第１の中間画像に変換するための第１の画像変換パラメータと、第１の中間画像を第２の中間画像に変換するための第３の画像変換パラメータと、第２の中間画像を変換後画像に変換するための第２の画像変換パラメータとを学習する。

中間画像は、センサ画像とも変換後画像とも異なる画像である。例えば、変換後画像がノイズ、抜けなどがなくＣＧ（Computer Graphic）を用いて生成した距離画像である場合、中間画像を、ノイズ、計測誤差、センサの死角になる部分の抜けなどをシミュレーションして再現した再現画像とすることができる。この場合、第１の学習部１０５は、センサ画像を再現画像である中間画像に変換するための第１の画像変換パラメータと、中間画像を距離画像である変換後画像に変換するための第２の画像変換パラメータとを学習する。画像変換を段階的に行うことで、学習の収束性を向上させることが可能になり、認識性能を向上させることができる。

また、変換後画像を複数の種類の成分画像に分けて、センサ画像を複数の成分画像に変換した後に合成することで、変換後画像を得てもよい。この場合、第１の学習部１０５は、センサ画像をそれぞれの成分画像に変換するための複数の種類の画像変換パラメータを学習する。例えば、１つのセンサ画像から、変換後画像のテクスチャ成分の特徴を有する成分画像であるテクスチャ画像と、変換後画像の大域的な色成分の特徴を有する成分画像である色画像とを生成し、テクスチャ画像と色画像とを合成して変換後画像を得る場合が考えられる。この場合、第１の学習部１０５は、センサ画像をテクスチャ画像に変換するための画像変換パラメータと、センサ画像を色画像に変換するための画像変換パラメータとを学習する。なお、上記では２つの成分画像を用いる例を示したが、３つ以上の成分画像を用いて、変換後画像を得ることもできる。成分画像ごとに画像変換パラメータを学習することで、解くべき問題が容易化するため、学習の収束性が向上し、認識性能を向上させることができる。複数の成分画像を合成して変換後画像を得ることで、１種類の画像変換パラメータを用いてセンサ画像から変換後画像を得る場合よりも、目標画像群により近い特徴を有する変換後画像を得ることが可能になる。

物体の認識を行う場合、異なる複数の種類の画像処理を行うことが一般的である。実行する画像処理の内容によって、所望の結果を得やすい画像と、そうでない画像とが存在する。例えば、エッジ検出処理においては、エッジを抽出したい対象物の境界付近の輝度値がステップ状に変化している場合にはエッジを抽出しやすく、境界付近の輝度値が滑らかに変化している場合にはエッジを抽出しづらい。このように、実行する画像処理によってその画像が有するべき特徴、性質などがある。そこで、認識に用いる画像を１度だけ変換するのではなく、認識過程の各画像処理が容易になるような画像変換を、各画像処理の前処理として都度実行することもできる。この場合、第１の学習部１０５は、前処理を実行したい画像処理の数だけ画像変換パラメータを学習すればよく、各画像処理を実行した場合に得られる理想的な処理結果画像群を目標画像群とすることができる。

以上説明したように、本実施の形態にかかる物体認識装置１０によれば、認識処理結果に基づいて画像変換パラメータを評価し、評価結果を得ることができる。このため画像変換パラメータが認識処理に及ぼす影響を確認することができる。したがって、認識処理を実行するときの環境に合わせた画像変換パラメータを選択することが可能になり、認識処理を実行するときの環境が変化する場合であっても、認識性能を向上させることが可能となる。

また、画像変換パラメータは、センサ画像を予め定められた特徴を有する画像に画像変換するためのパラメータである。物体認識装置１０は、画像変換パラメータを予め定められた特徴ごとに学習する第１の学習部１０５を有し、画像変換部１０２は、第１の学習部１０５の学習結果である画像変換パラメータを用いてセンサ画像を画像変換する。このような構成を有することにより、出力部１０４は、予め定められた特徴ごとの学習結果である画像変換パラメータの評価結果を得ることができるようになる。したがって、どのような特徴を有する画像に画像変換すれば認識性能を向上させることができるようになるかを把握することが可能になる。

また本実施の形態では、画像変換部１０２は、複数の段階の画像変換を行ってセンサ画像を変換後画像に変換し、第１の学習部１０５は、画像変換の段階ごとに用いられる複数の種類の画像変換パラメータのそれぞれを学習する。画像変換を段階的に行うことで、学習の収束性を向上させることが可能になり、認識性能を向上させることができる。

また、本実施の形態では、画像変換部１０２は、センサ画像を複数の成分画像に変換した後、複数の成分画像を合成して変換後画像を取得することができる。この場合、第１の学習部１０５は、センサ画像を複数の成分画像のそれぞれに変換するための複数の種類の画像変換パラメータを学習する。このような構成を有することで、物体認識装置１０は、１種類の画像変換パラメータを用いてセンサ画像から変換後画像を得る場合よりも、目標画像群により近い特徴を有する変換後画像を得ることが可能になる。

また、物体認識装置１０は、複数の画像変換パラメータのそれぞれを用いた場合の評価部１０８の評価結果に基づいて、画像変換部１０２が用いる画像変換パラメータを決定する画像変換パラメータ決定部１０７を有する。このような構成を有することで、ユーザが評価結果を見て手動で画像変換パラメータを選択しなくても、自動的に、認識性能を向上させることが可能な画像変換パラメータを選択することが可能になる。

物体認識装置１０は、評価部１０８が画像変換パラメータを評価するために用いるパラメータである評価パラメータの入力を受け付ける入力受付部１０９を有する。評価部１０８は、入力受付部１０９が受け付けた評価パラメータを用いて画像変換パラメータを評価する。評価パラメータは、例えば、評価値の大きさに影響を与える複数の要素のそれぞれが、評価値に与える影響を変更するための重み係数である。このような構成を有することで、ユーザは、使用用途に合わせて評価パラメータを入力することで、ユーザの使用用途に適した画像変換パラメータの評価値を得ることが可能になる。

物体認識装置１０の認識部１０３が出力する認識結果は、認識部１０３の認識処理時間および認識部１０３が認識した対象物体の個数の少なくともいずれかを含む。このような構成を有することで、評価部１０８は、認識部１０３の認識処理時間および認識部１０３が認識した対象物体の個数の少なくともいずれかに基づいて、画像変換パラメータの評価値を算出することになる。認識部１０３が認識した対象物体の個数ｎ_rと、実際の対象物体の個数Ｎ_rとを用いることで、認識精度ｐ_rを算出することができる。したがって、物体認識装置１０は、認識処理時間、認識精度ｐ_rなどを考慮して画像変換パラメータを評価することが可能になる。

実施の形態２．
図８は、実施の形態２にかかる物体認識装置２０の機能構成を示す図である。物体認識装置２０は、画像取得部１０１と、画像変換部１２０と、認識部１０３と、出力部１０４と、第１の学習部１０５と、記憶部１０６と、画像変換パラメータ決定部１０７と、評価部１０８と、入力受付部１０９と、ロボット１１０とを有する。物体認識装置２０は、ロボット１１０を備え、対象物体をピッキングする機能を有するため、対象物取り出し装置と称することもできる。物体認識装置２０は、ロボット１１０を備えるため、ロボット１１０の動作結果に基づいて、画像変換パラメータの評価を行うことができる。

物体認識装置２０は、実施の形態１にかかる物体認識装置１０の機能構成に加えて、ロボット１１０を有する。以下、実施の形態１と同様の機能構成については、実施の形態１と同じ符号を用いて詳細な説明を省略し、実施の形態１と異なる部分について主に説明する。

出力部１０４は、認識部１０３の認識結果をロボット１１０に出力する。ロボット１１０は、出力部１０４が出力する認識結果に基づいて対象物体を把持する。ロボット１１０は、対象物体を把持する動作の動作結果を評価部１０８に出力する。評価部１０８は、認識部１０３の認識結果に加えて、ロボット１１０の動作結果に基づいて、画像変換パラメータを評価する。ここでロボット１１０の動作結果には、ロボット１１０が対象物体の把持に成功した確率と、把持動作時間と、把持失敗原因とのうち少なくとも１つを含む。

ロボット１１０は、対象物体を把持してタスクを実行するために必要な物体操作を行ったりすることができるツールを有する。例えば、タスクが複数のコンベア間の対象物体の搬送であり、対象物体の表面が凹凸のない滑らかな面である場合、ツールとして吸着パッドを用いることができる。また、ツールは、２つの爪によって対象物体を挟んで把持するグリッパハンドであってもよい。

ロボット１１０が対象物体の把持に成功したと判定するための条件は、例えばツールがグリッパハンドである場合、対象物体に対してグリッパハンドを差し込んでグリッパハンドを閉じたときの開き幅が、予め定められた範囲内であることとすることができる。或いは、ツールがグリッパハンドであり、ロボット１１０が対象物体を把持した後、把持した対象物体を搬送する場合、ロボット１１０が対象物体の把持に成功したと判定するための条件は、搬送先で対象物体からグリッパハンドを開放する直前に対象物体を保持できていることとしてもよい。ロボット１１０が対象物体の把持に成功したと判定するための条件は、上記の例に限定されず、ロボット１１０が有するツールの種類、ロボット１１０に行わせる作業内容などによって適宜定義することができる。

上記において、対象物体を保持できているか否かに基づいて、ロボット１１０が対象物体の把持に成功したと判定するための条件を定める例を説明した。対象物体を保持できているか否かは、例えば、使用しているツールが対象物体の保持状態を検知する機能を搭載している場合、検知結果を使用して判定することができる。或いは、カメラなどの外部センサ情報を利用して、対象物体を保持できているか否かを判定してもよい。例えばロボット１１０が有するツールが電動ハンドである場合、電動ハンドを動作させるときの電流値を測定することで、対象物体を保持できているか否かを判定する機能を有する製品がある。カメラ画像を用いる場合、対象物体を掴んでいないときのツールの画像を予め記憶しておき、把持動作後のツールを撮影した画像との差分をとり、差分に基づいて、対象物体を保持できているか否かを判定する方法がある。

ロボット１１０の動作結果に把持成功率を含めることで、評価部１０８は、把持成功率に基づいて、画像変換パラメータを評価するため、画像変換部１０２は、把持成功率が高くなるような画像変換パラメータを用いることが可能になる。またロボット１１０の動作結果は、把持動作時間を含むこともできる。把持動作時間は、例えば、ロボット１１０が有するツールがグリッパハンドであり、ロボット１１０が把持した対象物体を搬送する場合、グリッパハンドを閉じてから搬送先で開放するまでの時間とすることができる。ロボット１１０の動作結果に把持動作時間を含めることで、評価部１０８は、把持動作時間に基づいて、画像変換パラメータを評価するため、画像変換部１０２は、把持動作が早くなるような画像変換パラメータを用いることが可能になる。

ロボット１１０の把持失敗原因は、例えば、掴み損ね、搬送中の落下、複数把持などがある。ロボット１１０の動作結果に把持失敗原因を含めることで、評価部１０８は、失敗原因に基づいて、画像変換パラメータを評価するため、画像変換部１０２は、特定の失敗原因を低減することができる画像変換パラメータを用いることが可能になる。例えば、供給前の対象物体を保管する供給箱中で対象物体の把持に失敗したとしても、対象物体は供給箱の中に落下する可能性が高く、把持動作を再度行えばよいため、リスクは低い。これに対して、搬送中に対象物体を落としてしまうと、対象物体が落下して周囲に散乱する可能性があり、元の状態に戻すには、ロボット１１０の複雑な制御が必要となったり、時間がかかったりするため、リスクは高い。このため、リスクの低い把持失敗原因に対しては評価の重みを小さくし、リスクの高い把持失敗原因に対しては評価の重みを大きくすることで、画像変換部１０２は、対象物体が周囲に散乱するリスクが少ない画像変換パラメータを用いることが可能になる。

図９は、図８に示す物体認識装置２０が運用開始前に行う処理について説明するためのフローチャートである。なお、図９において、物体認識装置１０の処理と同様の部分については、図６と同じ符号を付することで詳細な説明を省略する。以下、図６と異なる部分について主に説明する。

ステップＳ１２１からステップＳ１２６の動作は、図６と同様である。認識処理が行われると、ロボット１１０は、認識結果に基づいて、ピッキングを行う（ステップＳ２０１）。ロボット１１０は、ピッキングの動作結果を評価部１０８に出力する。

評価部１０８は、認識結果に加えて、ロボット１１０の動作結果に基づいて、評価値を算出する（ステップＳ２０２）。具体的には、評価部１０８は、例えば以下に示す数式（８）を用いて、評価値Ｅ_cを算出することができる。

数式（８）において、ｐ_gは把持成功率を示し、ｔ_gは把持時間を示し、ｐ_rは認識精度を示し、ｔ_rは認識処理時間を示し、ｎ_f1,ｆ2…は把持失敗原因の種類を示す。また、ｗ_pg，ｗ_tg，ｗ_pr，ｗ_tr，ｗ_f1,ｆ2…は、重み係数を示す。入力受付部１０９が受け付ける評価パラメータは、重み係数ｗ_pg，ｗ_tg，ｗ_pr，ｗ_tr，ｗ_f1,ｆ2…を含む。ただし、上記の評価値Ｅ_cの算出方法は一例であり、評価部１０８が使用する評価値Ｅ_cの算出方法は、上記の方法に限定されない。

以下、ステップＳ１２８，Ｓ１２９の動作は図６と同様である。つまり、図９に示す処理は、認識処理と評価値を算出する処理との間にピッキング処理が追加で行われる点と、評価値を算出する処理の具体的な内容とが、図６に示す処理と異なる。

図１０は、図８に示す物体認識装置２０が運用中に行う処理について説明するためのフローチャートである。なお、図１０において、物体認識装置１０の処理と同様の部分については、図７と同じ符号を付することで詳細な説明を省略する。以下、図７と異なる部分について主に説明する。

物体認識装置１０が、認識処理の結果、対象物体が存在すると判断した場合、認識結果を出力するのに対して、物体認識装置２０は、認識結果の出力の代わりに、ロボット１１０が、認識結果に基づいてピッキングを行う（ステップＳ２０３）。ロボット１１０がピッキングを行った後、物体認識装置２０は、ステップＳ１３１から処理を繰り返す。

なお、上記では、認識部１０３は、変換後画像に基づいて、対象物体の状態を認識することとしたが、ロボット１１０を有する物体認識装置２０の認識部１０３は、ロボット１１０のハンドモデルを用いて、対象物体を把持することができる箇所を探索するサーチベースの手法を用いて、対象物体の状態を認識してもよい。認識結果が対象物体の位置姿勢情報である場合、対象物体の位置姿勢情報を、ロボット１１０がその対象物体を把持する際のロボット１１０の位置姿勢情報へ変換できることが望ましい。

以上説明したように、実施の形態２にかかる物体認識装置２０は、認識部１０３の認識結果に基づいて対象物体を把持するロボット１１０をさらに備える。物体認識装置２０の評価部１０８は、ロボット１１０の動作結果に基づいて、画像変換パラメータを評価する。このような構成を有することで、物体認識装置２０は、把持性能を向上させることができる画像変換パラメータを選択することが可能になり、ロボット１１０の把持成功率を向上させることが可能になる。

また、ロボット１１０の動作結果は、ロボット１１０が対象物体の把持に成功した確率と、把持動作時間と、把持失敗原因とのうち少なくとも１つを含む。ロボット１１０が対象物体の把持に成功した確率が動作結果に含まれる場合、把持成功率に基づいて画像変換パラメータが評価されるため、把持成功率を向上させることができるような画像変換パラメータを選択することが可能になり、ロボット１１０の把持成功率を向上させることが可能になる。また、把持動作時間が動作結果に含まれる場合、把持動作時間に基づいて画像変換パラメータが評価されるため、把持動作時間を短縮することが可能になる。把持失敗原因が動作結果に含まれる場合、把持失敗原因に基づいて画像変換パラメータが評価されるため、特定の把持失敗原因を減らすことが可能になる。

実施の形態３．
図１１は、実施の形態３にかかる物体認識装置３０の機能構成を示す図である。物体認識装置３０は、画像取得部１０１と、画像変換部１０２と、認識部１０３と、出力部１０４と、第１の学習部１０５と、記憶部１０６と、画像変換パラメータ決定部１０７と、評価部１０８と、入力受付部１０９と、ロボット１１０と、シミュレーション部１１１と、画像変換データセット生成部１１４と、画像変換データセット選択部１１５とを有する。シミュレーション部１１１は、第１生成部１１２と、第２生成部１１３とを有する。

物体認識装置３０は、実施の形態２にかかる物体認識装置２０の構成に加えて、シミュレーション部１１１と、画像変換データセット生成部１１４と、画像変換データセット選択部１１５とを有する。以下、実施の形態２と同様の機能構成については、実施の形態２と同じ符号を用いて詳細な説明を省略し、実施の形態２と異なる部分について主に説明する。

シミュレーション部１１１は、シミュレーションを用いて、目標画像を作成する。具体的には、シミュレーション部１１１は、シミュレーション条件に基づいて対象物体の配置状態を示す配置情報を生成する第１生成部１１２と、配置情報に基づいて対象物体を配置して目標画像を生成する第２生成部１１３とを有する。

第１生成部１１２が用いるシミュレーション条件は、例えば、センサ情報と、対象物体情報と、環境情報とを含む。センサ情報は、センサ画像を取得するセンサの焦点距離、画角、絞り値など、その値によって生成した空間内の状態が変化するものを含むことが望ましい。また、センサがステレオ計測を行う場合、センサ情報は、輻輳角、基線長などを含んでもよい。

対象物体情報は、対象物体のＣＡＤモデル、対象物体の素材を示す情報などである。対象物体のＣＡＤモデルの場合、対象物体情報は、対象物体の有する面それぞれのテクスチャ情報を含んでもよい。対象物体情報は、シミュレーションを用いて、空間内に対象物体を配置したときに、空間内の対象物体の状態が一意に定まる程度の情報を含むことが望ましい。

環境情報は、計測距離、計測深度、対象物体以外の物体の位置姿勢、外乱光の種類および強度などを含むことができる。対象物体以外の物体は、例えば、箱、計測台などである。シミュレーション条件を用いることで、シミュレーション部１１１は、詳細な条件でシミュレーションを行うことができ、様々な種類の目標画像を生成することができる。

第１生成部１１２で生成した配置情報は、少なくとも１つの対象物体の配置状態を示す。複数の対象物体を空間内に配置する場合、複数の対象物体は、整列して配置されてもよいし、ばら積み状態であってもよい。ばら積み状態で対象物体を配置する場合、対象物体の簡易モデルを用いたシミュレーションを行った後に、算出された簡易モデル位置に対象物体を再配置することで、処理時間を短縮することができる。

第２生成部１１３で生成する目標画像は、ＲＧＢ画像であってもよいし、距離画像であってもよい。ＲＧＢ画像を用いる場合、対象物体および対象物体以外の物体の色またはテクスチャを設定することが望ましい。

シミュレーション部１１１は、生成した目標画像を記憶部１０６に記憶させる。また、シミュレーション部１１１は、第１生成部１１２が配置情報を生成する際に使用したシミュレーション条件と、第１生成部１１２が生成した配置情報とを記憶部１０６に記憶させてもよい。このとき、シミュレーション部１１１は、配置情報を、画像変換データセットを構成する目標画像と対応づけて記憶することが望ましい。

画像変換データセット生成部１１４は、画像取得部１０１が取得したセンサ画像と、シミュレーション部１１１が生成した目標画像とを含む画像変換データセットを生成する。画像変換データセット生成部１１４は、生成した画像変換データセットを、記憶部１０６に記憶させる。画像変換データセットは、１または複数のセンサ画像と、１または複数の目標画像とを含む。センサ画像および目標画像の画像数に制限はない。画像数が少なすぎる場合、画像変換パラメータの学習が収束しない可能性があり、画像数が多すぎる場合、学習時間が長くなる可能性がある。このため、ユーザの使用用途、センサの設置状況などに合わせて画像数を決定することが好ましい。また、目標画像の画像数と、センサ画像の画像数とは同程度が望ましいが、偏りがあってもよい。

画像変換データセット選択部１１５は、センサ画像に基づいて、記憶部１０６に記憶された画像変換データセットの中から、第１の学習部１０５が学習に用いる画像変換データセットを選択する。具体的には、画像変換データセット選択部１１５は、センサ画像に基づいて、画像変換データセットを選択する際の基準となる選択評価値Ｅ_pを算出し、算出した選択評価値Ｅ_pに基づいて、画像変換データセットを選択する。例えば、画像変換データセット選択部１１５は、選択評価値Ｅ_pが、予め定められた閾値以下の画像変換データセットのみを選択することができる。画像変換データセット選択部１１５は、１または複数の画像変換データセットを選択することができる。

画像変換データセット選択部１１５は、選択した画像変換データセットを第１の学習部１０５に出力する。第１の学習部１０５は、画像変換データセット選択部１１５が選択した画像変換データセットを用いて、画像変換パラメータを学習する。このため、第１の学習部１０５は、シミュレーション部１１１が生成した目標画像を用いて画像変換パラメータを学習することになる。

選択評価値Ｅ_pは、例えば、以下に示す数式（９）を用いて算出される。

ここで、Ｉ_tはセンサ画像を示し、II_sは画像変換データセットを構成する目標画像群を示し、Ｎ_sは目標画像群に含まれる目標画像の画像数を示す。また、Ｆ_I（Ｉ）は、画像Ｉからスカラー値を算出するための任意の関数を示す。Ｆ_I（Ｉ）は、例えば、画像の平均値算出関数、エッジ数算出関数などである。

また、画像変換データセットを構成する目標画像群に含まれる各目標画像に対応づけられた配置情報がある場合、画像変換データセット選択部１１５は、以下の数式（１０）を用いて選択評価値Ｅ_pを算出してもよい。

ここで、ｌ_sはセンサ画像を取得するセンサの計測距離を示し、ｌ_tは目標画像群を構成する目標画像の計測距離を示し、ｗ_I，ｗ_lは重み係数を示す。センサの計測距離が厳密に分からない場合にはおおよその距離が用いられてもよい。なお、上記の選択評価値Ｅ_pの算出方法は一例であり、上記の方法に限定されない。

図１２は、図１１に示すシミュレーション部１１１の動作を説明するためのフローチャートである。

シミュレーション部１１１の第１生成部１１２は、シミュレーション条件を取得する（ステップＳ３０１）。シミュレーション条件は、例えば、シミュレーション部１１１内に備わる記憶領域から取得される。第１生成部１１２は、シミュレーション条件に基づいて対象物体の配置状態を示す配置情報を生成する（ステップＳ３０２）。第１生成部１１２は、生成した配置情報をシミュレーション部１１１の第２生成部１１３に出力する。

第２生成部１１３は、第１生成部１１２が生成した配置情報に基づいて対象物体を配置して目標画像を生成する（ステップＳ３０３）。第２生成部１１３は、生成した目標画像を出力して記憶部１０６に記憶させる（ステップＳ３０４）。

図１３は、図１１に示す物体認識装置３０が運用開始前に行う処理について説明するためのフローチャートである。なお、図１３において、物体認識装置１０または物体認識装置２０の処理と同様の部分については、図６または図９と同じ符号を付することで詳細な説明を省略する。以下、図６または図９と異なる部分について主に説明する。

物体認識装置３０のシミュレーション部１１１は、まず、シミュレーション処理を行う（ステップＳ３１１）。ステップＳ３１１のシミュレーション処理は、図１２のステップＳ３０１～ステップＳ３０４に示す処理である。

続いて画像変換データセット生成部１１４は、画像取得部１０１が取得したセンサ画像と、シミュレーション部１１１が生成した目標画像とを用いて、画像変換データセットを生成する（ステップＳ３１２）。画像変換データセット生成部１１４は、生成した画像変換データセットを記憶部１０６に記憶させる。

画像変換データセット選択部１１５は、記憶部１０６に記憶された画像変換データセットの中から、第１の学習部１０５が用いる画像変換データセットを選択する（ステップＳ３１３）。画像変換データセット選択部１１５は、選択した画像変換データセットを第１の学習部１０５に出力する。

以下、ステップＳ１２１～Ｓ１２６、ステップＳ２０１，Ｓ２０２、ステップＳ１２８，Ｓ１２９の処理は、図６または図９を用いて説明した処理と同様である。ステップＳ１２１において、画像変換パラメータ学習処理は、ステップＳ３１３において選択された画像変換データセットを用いて実行されることになる。

以上説明したように、実施の形態３にかかる物体認識装置３０は、シミュレーションを用いて目標画像を作成し、作成した目標画像を用いて、画像変換パラメータの学習を行う。また、物体認識装置３０は、シミュレーションを用いて作成した目標画像と、画像取得部１０１が取得したセンサ画像とを含む画像変換データセットを生成し、生成した画像変換データセットを用いて、画像変換パラメータの学習を行う。このような構成を有することで、画像変換パラメータを学習するために必要な目標画像および画像変換データセットを容易に生成することが可能になる。また、目標画像は、シミュレーション条件に基づいて生成され、対象物体の配置状態を示す配置情報に基づいて、生成される。このため、シミュレーション条件を調整することで、様々な目標画像を生成することが可能になる。

物体認識装置３０は、センサ画像に基づいて、画像変換データセット生成部１１４が生成した画像変換データセットの中から、第１の学習部１０５が用いる画像変換データセットを選択する画像変換データセット選択部１１５を有する。このような構成を有することで、周辺環境に適した画像変換データセットに限定して、画像変換パラメータを学習することが可能になり、学習の効率化を図ることができる。

実施の形態４．
図１４は、実施の形態４にかかる物体認識装置４０の機能構成を示す図である。物体認識装置４０は、画像取得部１０１と、画像変換部１０２と、認識部１０３と、出力部１０４と、第１の学習部１０５と、記憶部１０６と、画像変換パラメータ決定部１０７と、評価部１０８と、入力受付部１０９と、ロボット１１０と、シミュレーション部１１１と、画像変換データセット生成部１１４と、画像変換データセット選択部１１５と、認識データセット生成部１１６と、第２の学習部１１７と、認識パラメータ決定部１１８とを有する。

物体認識装置４０は、実施の形態３にかかる物体認識装置３０の構成に加えて、認識データセット生成部１１６と、第２の学習部１１７と、認識パラメータ決定部１１８とを有する。以下、実施の形態３と同様の機能構成については、実施の形態３と同じ符号を用いて詳細な説明を省略し、実施の形態３と異なる部分について主に説明する。

認識データセット生成部１１６は、認識部１０３が用いる認識手法に基づいて、認識部１０３が認識処理を行うときに用いるアノテーションデータを生成し、生成したアノテーションデータと目標画像とを含む認識データセットを生成する。認識データセット生成部１１６は、生成した認識データセットを記憶部１０６に記憶させる。アノテーションデータは、認識部１０３が用いる認識手法によって異なる。例えば、認識手法が、対象物体の画像上の位置と大きさとを出力するニューラルネットワークである場合、アノテーションデータは、対象物体の画像上の位置および大きさである。

第２の学習部１１７は、認識データセット生成部１１６が生成した認識データセットに基づいて、認識部１０３が用いるパラメータである認識パラメータを学習する。第２の学習部１１７は、例えば、図３に示す第１の学習部１０５と同様の構成により実現することができる。第２の学習部１１７は、状態観測部１１と、機械学習部１２とを含む。機械学習部１２は、報酬計算部１２１と、関数更新部１２２とを含む。なお、図３に示す例は、強化学習を利用して機械学習を行う例であるが、第２の学習部１１７は、他の公知の方法、例えばニューラルネットワーク、遺伝的プログラミング、機能論理プログラミング、サポートベクターマシンなどに従って機械学習を実行してもよい。第２の学習部１１７は、認識パラメータの学習結果を記憶部１０６に記憶させる。認識パラメータは、例えば、認識手法が、ニューラルネットワークを用いる場合、認識パラメータは、ニューラルネットワークを構成する各ユニット間の重み係数を含む。

認識パラメータ決定部１１８は、複数の認識パラメータのそれぞれを用いた場合の評価部１０８の評価結果に基づいて、認識部１０３が用いる認識パラメータを決定する。認識パラメータ決定部１１８は、決定した認識パラメータを認識部１０３に出力する。

認識パラメータ決定部１１８は、例えば、評価値が最も大きい認識パラメータを、認識部１０３が用いる認識パラメータとすることができる。また、出力部１０４が認識パラメータごとに評価部１０８の評価結果を出力し、入力受付部１０９が認識パラメータを選択する入力を受け付ける場合、認識パラメータ決定部１１８は、ユーザが選択した認識パラメータを認識部１０３に出力することもできる。また、画像変換パラメータによって認識パラメータの評価値は変化すると考えられるため、学習した認識パラメータ１つに対して、画像変換部１０２で用いる画像変換パラメータを変えて複数の評価値を算出してもよい。この場合、画像変換パラメータ決定部１０７は、算出された評価値と画像変換パラメータとの組合せに基づいて、画像変換パラメータを決定することができる。

図１５は、図１４に示す物体認識装置４０が運用開始前に行う処理について説明するためのフローチャートである。なお、図１５において、物体認識装置３０の処理と同様の部分については、図１３と同じ符号を付することで詳細な説明を省略する。以下、図１３と異なる部分について主に説明する。

物体認識装置４０は、ステップＳ３１１のシミュレーション処理を行った後、ステップＳ３１２，Ｓ３１３，Ｓ１２１の処理と並行して、認識データセットを生成し（ステップＳ４０１）、生成した認識データセットを用いて認識パラメータを学習する認識パラメータ学習処理を行う（ステップＳ４０２）。

続いて物体認識装置４０は、ステップＳ１２２，Ｓ１２３の処理の後、画像変換パラメータおよび認識パラメータを選択する（ステップＳ４０３）。以下、ステップＳ１２５，Ｓ１２６，Ｓ２０１，Ｓ２０２の処理は、物体認識装置３０と同様である。

評価値が算出された後、物体認識装置４０の画像変換部１０２は、全ての画像変換パラメータおよび認識パラメータの組合せの評価値を算出したか否かを判断する（ステップＳ４０４）。全ての画像変換パラメータおよび認識パラメータの組合せの評価値を算出した場合（ステップＳ４０４：Ｙｅｓ）、物体認識装置４０は、ステップＳ１２９の処理を行い、認識パラメータを決定する（ステップＳ４０５）。全ての画像変換パラメータおよび認識パラメータの組合せの評価値を算出していない場合（ステップＳ４０４：Ｎｏ）、物体認識装置４０は、ステップＳ４０３の処理に戻る。

以上説明したように、実施の形態４にかかる物体認識装置４０は、認識部１０３が用いる認識手法に基づいて、認識部１０３が用いるアノテーションデータを生成し、生成したアノテーションデータと、目標画像とを含む認識データセットを用いて、認識パラメータを学習する。このような構成を有することで、物体認識装置４０は、様々なシチュエーションの認識データセットを容易に生成することが可能になる。

また、物体認識装置４０は、複数の認識パラメータのそれぞれを用いた場合の評価部１０８の評価結果に基づいて、認識部１０３が用いる認識パラメータを決定する。このような構成を有することで、物体認識装置４０は、対象物体、周囲環境などに適した認識パラメータを用いて認識処理を行うことができ、認識成功率および把持成功率を向上させることが可能になる。

続いて、実施の形態１～４にかかる物体認識装置１０，２０，３０，４０のハードウェア構成について説明する。物体認識装置１０，２０，３０，４０の各構成要素は、処理回路により実現される。これらの処理回路は、専用のハードウェアにより実現されてもよいし、ＣＰＵ（Central Processing Unit）を用いた制御回路であってもよい。

上記の処理回路が、専用のハードウェアにより実現される場合、これらは、図１６に示す処理回路９０により実現される。図１６は、実施の形態１～４にかかる物体認識装置１０，２０，３０，４０の機能を実現するための専用のハードウェアを示す図である。処理回路９０は、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものである。

上記の処理回路が、ＣＰＵを用いた制御回路で実現される場合、この制御回路は例えば図１７に示す構成の制御回路９１である。図１７は、実施の形態１～４にかかる物体認識装置１０，２０，３０，４０の機能を実現するための制御回路９１の構成を示す図である。図１７に示すように、制御回路９１は、プロセッサ９２と、メモリ９３とを備える。プロセッサ９２は、ＣＰＵであり、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）などとも呼ばれる。メモリ９３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（登録商標）（Electrically ＥＰＲＯＭ）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disk）などである。

上記の処理回路が制御回路９１により実現される場合、プロセッサ９２がメモリ９３に記憶された、各構成要素の処理に対応するプログラムを読み出して実行することにより実現される。また、メモリ９３は、プロセッサ９２が実行する各処理における一時メモリとしても使用される。なお、プロセッサ９２が実行するコンピュータプログラムは、通信ネットワークを介して提供されてもよいし、記憶媒体に記憶された状態で提供されてもよい。

以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１０，２０，３０，４０ 物体認識装置、１１ 状態観測部、１２ 機械学習部、９０ 処理回路、９１ 制御回路、９２ プロセッサ、９３ メモリ、１０１ 画像取得部、１０２ 画像変換部、１０３ 認識部、１０４ 出力部、１０５ 第１の学習部、１０６ 記憶部、１０７ 画像変換パラメータ決定部、１０８ 評価部、１０９ 入力受付部、１１０ ロボット、１１１ シミュレーション部、１１２ 第１生成部、１１３ 第２生成部、１１４ 画像変換データセット生成部、１１５ 画像変換データセット選択部、１１６ 認識データセット生成部、１１７ 第２の学習部、１１８ 認識パラメータ決定部、１２１ 報酬計算部、１２２ 関数更新部。

Claims (17)

1. 対象物体の画像を取得する画像取得部と、
   前記画像取得部が取得した前記画像であるセンサ画像を予め定められた特徴を有する画像に画像変換するためのパラメータである画像変換パラメータを用いて、前記センサ画像を画像変換して、予め定められた前記特徴を有する変換後画像を出力する画像変換部と、
   前記変換後画像に基づいて、前記対象物体の状態を認識する認識部と、
   前記認識部の認識結果に基づいて、前記変換後画像を生成するために用いられた前記画像変換パラメータを評価する評価部と、
   前記認識結果および前記評価部の評価結果を出力する出力部と、
   を備え、
   予め定められた前記特徴は、前記対象物体の形状、前記対象物体の表面特性、センサの計測距離、および前記センサの計測深度のうちの少なくともいずれか１つであることを特徴とする物体認識装置。
2. 前記特徴ごとに前記画像変換パラメータを学習する第１の学習部、
   をさらに備え、
   前記画像変換部は、前記第１の学習部の学習結果である前記画像変換パラメータを用いて、前記センサ画像を画像変換することを特徴とする請求項１に記載の物体認識装置。
3. 前記画像変換部は、複数の段階の画像変換を行って前記センサ画像を前記変換後画像に変換し、
   前記第１の学習部は、画像変換の段階ごとに用いられる複数の種類の画像変換パラメータのそれぞれを学習することを特徴とする請求項２に記載の物体認識装置。
4. 前記画像変換部は、前記センサ画像を中間画像に変換し、前記中間画像を前記変換後画像に変換することで前記センサ画像を前記変換後画像に変換し、
   前記第１の学習部は、前記センサ画像を中間画像に変換するための第１の画像変換パラメータと、前記中間画像を前記変換後画像に変換するための第２の画像変換パラメータとを学習することを特徴とする請求項３に記載の物体認識装置。
5. 対象物体の画像を取得する画像取得部と、
   画像変換パラメータを用いて、前記画像取得部が取得した前記画像であるセンサ画像を画像変換して変換後画像を出力する画像変換部と、
   前記変換後画像に基づいて、前記対象物体の状態を認識する認識部と、
   前記認識部の認識結果に基づいて、前記変換後画像を生成するために用いられた前記画像変換パラメータを評価する評価部と、
   前記認識結果および前記評価部の評価結果を出力する出力部と、
   予め定められた特徴ごとに前記画像変換パラメータを学習する第１の学習部と、
   を備え、
   前記画像変換パラメータは、前記センサ画像を、前記特徴を有する画像に画像変換するためのパラメータであり、
   前記画像変換部は、前記第１の学習部の学習結果である前記画像変換パラメータを用いて、前記センサ画像を画像変換し、前記センサ画像を複数の成分画像に変換した後、前記複数の成分画像を合成して前記変換後画像を取得し、
   前記第１の学習部は、前記センサ画像を前記複数の成分画像のそれぞれに変換するための複数の種類の画像変換パラメータを学習することを特徴とする物体認識装置。
6. 複数の前記画像変換パラメータのそれぞれを用いた場合の前記評価部の評価結果に基づいて、前記画像変換部が用いる画像変換パラメータを決定する変換パラメータ決定部、
   をさらに備えることを特徴とする請求項１から５のいずれか１項に記載の物体認識装置。
7. 前記評価部が前記画像変換パラメータを評価するために用いるパラメータである評価パラメータの入力を受け付ける入力受付部、
   をさらに備え、
   前記評価部は、前記入力受付部が受け付けた評価パラメータを用いて前記画像変換パラメータを評価することを特徴とする請求項１から６のいずれか１項に記載の物体認識装置。
8. 対象物体の画像を取得する画像取得部と、
   画像変換パラメータを用いて、前記画像取得部が取得した前記画像であるセンサ画像を画像変換して変換後画像を出力する画像変換部と、
   前記変換後画像に基づいて、前記対象物体の状態を認識する認識部と、
   前記認識部の認識結果に基づいて、前記変換後画像を生成するために用いられた前記画像変換パラメータを評価する評価部と、
   前記認識結果および前記評価部の評価結果を出力する出力部と、
   を備え、
   前記認識結果は、前記認識部の認識処理時間および前記認識部が認識した前記対象物体の個数の少なくともいずれかを含むことを特徴とする物体認識装置。
9. 対象物体の画像を取得する画像取得部と、
   画像変換パラメータを用いて、前記画像取得部が取得した前記画像であるセンサ画像を画像変換して変換後画像を出力する画像変換部と、
   前記変換後画像に基づいて、前記対象物体の状態を認識する認識部と、
   前記認識部の認識結果に基づいて、前記変換後画像を生成するために用いられた前記画像変換パラメータを評価する評価部と、
   前記認識結果および前記評価部の評価結果を出力する出力部と、
   前記認識部の認識結果に基づいて前記対象物体を把持するロボットと、
   を備え、
   前記評価部は、前記ロボットの動作結果にさらに基づいて、前記画像変換パラメータを評価することを特徴とする物体認識装置。
10. 前記動作結果は、前記ロボットが対象物体の把持に成功した確率と、把持動作時間と、把持失敗原因とのうち少なくとも１つを含むことを特徴とする請求項９に記載の物体認識装置。
11. シミュレーションを用いて、予め定められた前記特徴を有する画像である目標画像を作成するシミュレーション部、
    をさらに備え、
    前記第１の学習部は、前記シミュレーション部が作成した前記目標画像を用いて前記画像変換パラメータを学習することを特徴とする請求項２に記載の物体認識装置。
12. 前記シミュレーション部は、シミュレーション条件に基づいて前記対象物体の配置状態を示す配置情報を生成する第１生成部と、前記配置情報に基づいて前記対象物体を配置して前記目標画像を生成する第２生成部と、を有し、
    前記シミュレーション部が生成した前記目標画像と、前記センサ画像とを含む画像変換データセットを生成する画像変換データセット生成部、
    をさらに備えることを特徴とする請求項１１に記載の物体認識装置。
13. 前記センサ画像に基づいて、前記画像変換データセット生成部が作成した前記画像変換データセットの中から、前記第１の学習部が用いる画像変換データセットを選択する画像変換データセット選択部、
    をさらに備えることを特徴とする請求項１２に記載の物体認識装置。
14. 前記認識部が用いる認識手法に基づいて、前記認識部が認識処理を行う時に用いるアノテーションデータを生成し、前記目標画像と前記アノテーションデータとを含む認識データセットを生成する認識データセット生成部、
    をさらに備えることを特徴とする請求項１１から１３のいずれか１項に記載の物体認識装置。
15. 前記認識部が認識処理を行うときに用いるアノテーションデータと前記目標画像とを含む認識データセットに基づいて、前記認識部が用いるパラメータである認識パラメータを学習する第２の学習部、
    をさらに備えることを特徴とする請求項１４に記載の物体認識装置。
16. 複数の前記認識パラメータのそれぞれを用いた場合の前記評価部の評価結果に基づいて、前記認識部が用いる認識パラメータを決定する認識パラメータ決定部、
    をさらに備えることを特徴とする請求項１５に記載の物体認識装置。
17. 物体認識装置が、対象物体の画像を取得するステップと、
    前記物体認識装置が、取得した前記画像であるセンサ画像を予め定められた特徴を有する画像に画像変換するためのパラメータである画像変換パラメータを用いて、前記センサ画像を画像変換して、予め定められた前記特徴を有する変換後画像を出力するステップと、
    前記物体認識装置が、前記変換後画像に基づいて、前記対象物体の状態を認識するステップと、
    前記物体認識装置が、認識結果に基づいて、前記変換後画像を生成するために用いられた前記画像変換パラメータを評価するステップと、
    前記物体認識装置が、前記認識結果および評価結果を出力するステップと、
    を含み、
    予め定められた前記特徴は、前記対象物体の形状、前記対象物体の表面特性、センサの計測距離、および前記センサの計測深度のうちの少なくともいずれか１つであることを特徴とする物体認識方法。

Images