JP2024004619A - カメラによる物体認識を評価する方法、システム、及び、コンピュータープログラム - Google Patents

Abstract

【課題】十分な精度や信頼度で物体認識を行えるカメラを選択できる技術を提供する。【解決手段】本開示の方法は、（ａ）認識対象となる物体のＣＡＤデータを取得する工程と、（ｂ）物体の設置環境に対するカメラの位置と、カメラの性能と、を含む認識環境情報を取得する工程と、（ｃ）ＣＡＤデータと認識環境情報を用いてシミュレーションを行うことによって、物体を含むシーンをカメラで撮影した画像を模擬した模擬画像を作成する工程と、（ｄ）模擬画像を用いて、物体の位置姿勢を認識して認識結果を求める工程と、（ｅ）認識結果を表示する工程と、を含む。【選択図】図５

Description

本開示は、カメラによる物体認識を評価する方法、システム、及び、コンピュータープログラムに関する。

カメラを用いた物体認識は、例えば、ロボットで物体のピッキング作業を行うシステムなどで利用されている。特許文献１には、カメラを利用したワークの取出工程をシミュレーションするロボットシミュレーション装置が開示されている。この装置では、特定のカメラを使用する前提でシミュレーションが行われている。

特開２０１５－１７１７４５号公報

しかしながら、特定の物体を認識するシーンを想定する場合に、カメラによって対象となる物体の見え方が変化することがある。このため、カメラの性能や配置によっては、物体認識の精度や信頼度が不十分となる可能性があった。このような問題は、ロボットシステム以外の他のシステムにおいてカメラによる物体認識を行う場合にも共通する問題であった。

本開示の第１の形態によれば、カメラによる物体認識を評価する方法が提供される。この方法は、（ａ）認識対象となる物体のＣＡＤデータを取得する工程と、（ｂ）前記物体の設置環境に対する前記カメラの位置と、前記カメラの性能と、を含む認識環境情報を取得する工程と、（ｃ）前記ＣＡＤデータと前記認識環境情報を用いてシミュレーションを行うことによって、前記物体を含むシーンを前記カメラで撮影した画像を模擬した模擬画像を作成する工程と、（ｄ）前記模擬画像を用いて、前記物体の位置姿勢を認識して認識結果を求める工程と、（ｅ）前記認識結果を表示する工程と、を含む。

本開示の第２の形態によれば、カメラによる物体認識を評価するシステムが提供される。このシステムは、前記カメラによる物体認識の評価を行う認識評価部と、表示部と、を備える。前記認識評価部は、（ａ）認識対象となる物体のＣＡＤデータを取得する処理と、（ｂ）前記物体の設置環境に対する前記カメラの位置と、前記カメラの性能と、を含む認識環境情報を取得する処理と、（ｃ）前記ＣＡＤデータと前記認識環境情報を用いてシミュレーションを行うことによって、前記物体を含むシーンを前記カメラで撮影した画像を模擬した模擬画像を作成する処理と、（ｄ）前記模擬画像を用いて、前記物体の位置姿勢を認識して認識結果を求める処理と、（ｅ）前記認識結果を前記表示部に表示する処理と、を実行する。

本開示の第３の形態によれば、カメラによる物体認識を評価する処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、（ａ）認識対象となる物体のＣＡＤデータを取得する処理と、（ｂ）前記物体の設置環境に対する前記カメラの位置と、前記カメラの性能と、を含む認識環境情報を取得する処理と、（ｃ）前記ＣＡＤデータと前記認識環境情報を用いてシミュレーションを行うことによって、前記物体を含むシーンを前記カメラで撮影した画像を模擬した模擬画像を作成する処理と、（ｄ）前記模擬画像を用いて、前記物体の位置姿勢を認識して認識結果を求める処理と、（ｅ）前記認識結果を表示する処理と、を前記プロセッサーに実行させる。

実施形態におけるカメラ利用システムの構成を示す説明図。 情報処理装置の機能ブロック図。 シミュレーターと位置姿勢認識評価部の機能を示す説明図。 カメラの物体認識評価処理の手順を示すフローチャート。 カメラ環境情報の一例を示す説明図。 認識結果の表示ウィンドウの一例を示す説明図。

図１は、一実施形態におけるカメラ利用システムの一例を示す説明図である。このシステムは、ロボット１００と、ロボット１００を制御する制御装置２００と、情報処理装置３００と、カメラ４００と、作業台５００とを備えるロボットシステムである。情報処理装置３００は、カメラ４００の物体認識を評価する評価装置としての機能を有しており、例えばパーソナルコンピューターで実現される。なお、カメラ４００の物体認識に関する評価は情報処理装置３００のみで実行可能であり、現実のカメラ４００やロボット１００は不要である。また、カメラ利用システムとしては、ロボットシステム以外の他のシステムを採用してもよい。

ロボット１００は、基台１１０と、ロボットアーム１２０と、を備えている。ロボットアーム１２０の先端部であるアームエンド１２２には、エンドエフェクターとしてのロボットハンド１５０が装着されている。ロボットハンド１５０は、ワークＷＫを把持することが可能なグリッパーや吸着パッドとして実現可能である。ロボットハンド１５０の先端部には、ロボット１００の制御点としてのＴＣＰ(Tool Center Point)が設定されている。なお、制御点ＴＣＰは、任意の位置に設定可能である。

ロボットアーム１２０は、６つの関節Ｊ１～Ｊ６で順次接続されている。これらの関節Ｊ１～Ｊ６のうち、３つの関節Ｊ２，Ｊ３，Ｊ５は曲げ関節であり、他の３つの関節Ｊ１，Ｊ４，Ｊ６はねじり関節である。本実施形態では６軸ロボットを例示しているが、複数の関節を有する任意のロボットアーム機構を有するロボットを用いることが可能である。また、本実施形態のロボット１００は、垂直多関節ロボットであるが、水平多関節ロボットを使用してもよい。

作業台５００には、第１トレイ５１０と第２トレイ５２０が設置されている。第１トレイ５１０には、複数のワークＷＫが収容される。第２トレイ５２０は、第１トレイ５１０から取り出されたワークＷＫを載置する場所として使用される。ロボット１００は、第１トレイ５１０からワークＷＫを取り出して、第２トレイ５２０に載置する作業を実行する。この際、ワークＷＫは、第２トレイ５２０内の予め定められた位置に、予め定められた姿勢で載置される。この作業を正確に行うため、ワークＷＫの位置姿勢の認識が実行される。ワークＷＫを「物体」とも呼ぶ。本実施形態では、同一仕様の複数の物体の位置姿勢を認識するが、仕様が異なる複数の物体の位置姿勢を認識する場合も本開示の内容を適用可能である。

作業台５００の上方には、第１トレイ５１０内のワークＷＫの画像を撮影するカメラ４００が設置されている。カメラ４００で撮影された画像は、ワークＷＫの３次元的な位置及び姿勢を求めるために使用される。ワークＷＫの３次元的な位置及び姿勢を、以下では「位置姿勢」又は「物体の位置姿勢」と呼ぶ。また、ワークＷＫの位置姿勢を認識することを、単に「物体認識」と呼ぶ。

カメラ４００としては、例えば、ＲＧＢＤカメラやステレオカメラを用いることができる。ＲＧＢＤカメラは、ＲＧＢ画像を撮影するＲＧＢカメラと、深度画像（Depth image）を撮影するＤカメラと、を有するカメラである。

図２は、情報処理装置３００の機能を示すブロック図である。情報処理装置３００は、プロセッサー３１０と、メモリー３２０と、インターフェイス回路３３０と、を有している。インターフェイス回路３３０には、入力デバイス３４０と表示デバイス３５０が接続されており、また、制御装置２００とカメラ４００も接続されている。

プロセッサー３１０は、認識評価部６１０及びロボット制御実行部６２０としての機能を有する。認識評価部６１０は、複数の異なる種類又は型式のカメラ４００について物体認識を評価することが可能である。認識評価部６１０は、シミュレーター６１１と認識環境情報取得部６１２と位置姿勢認識部６１３と認識結果作成部６１４の機能を含む。シミュレーター６１１は、ワークＷＫのＣＡＤデータを用いたシミュレーションを行うことによって、ワークＷＫを含むシーンをカメラ４００で撮影した画像を模擬した模擬画像を作成する。認識環境情報取得部６１２は、シミュレーションに使用する認識環境情報を取得する。位置姿勢認識部６１３は、模擬画像を用いて、ワークＷＫの位置姿勢を認識する。ロボット制御実行部６２０は、予め作成されたロボット制御プログラムに従ってロボット１００の制御を行う。認識評価部６１０とロボット制御実行部６２０の機能は、メモリー３２０に格納されたコンピュータープログラムをプロセッサー３１０が実行することによってそれぞれ実現される。但し、認識評価部６１０とロボット制御実行部６２０の機能の一部又は全部をハードウェア回路で実現してもよい。

メモリー３２０には、ワークＷＫの外形を表すＣＡＤデータＣＤと、カメラ環境情報ＲＥと、カメラ属性情報ＣＡと、ロボット制御プログラムＲＰが格納される。カメラ環境情報ＲＥは、カメラ４００が利用される環境に関する情報であり、例えば、物体の設置環境に対するカメラ４００の位置などのデータを含んでいる。カメラ属性情報ＣＡは、複数の異なる種類又は型式のカメラ４００について、解像度、画素数、ＩＳＯ感度、撮像素子サイズ、焦点距離、Ｆ値などのカメラ性能に関するデータと、カメラ４００の価格などの他のデータを含んでいる。但し、カメラ属性情報ＣＡは、少なくともカメラ性能に関するデータを含むことが好ましい。ロボット制御プログラムＲＰは、ロボット１００を動作させる複数の命令で構成される。

図３は、シミュレーター６１１と位置姿勢認識部６１３の機能を示す説明図である。シミュレーター６１１は、ワークＷＫのＣＡＤデータＣＤと、カメラ環境情報ＲＥと、カメラ属性情報ＣＡを用いてシミュレーションを行うことによって、ワークＷＫを含むシーンをカメラ４００で撮影した画像を模擬した模擬画像ＳＭを作成する。カメラ環境情報ＲＥとカメラ属性情報ＣＡとをまとめて「認識環境情報ＲＥＩ」と呼ぶ。なお、カメラ４００としてＲＧＢＤカメラを想定する場合には、模擬画像ＳＭはＲＧＢ画像とデプス画像とを含むものとなる。また、カメラ４００としてステレオカメラを想定する場合には、模擬画像ＳＭは左画像と右画像とを含むものとなる。

位置姿勢認識部６１３は、模擬画像ＳＭを用いて、ワークＷＫの位置姿勢Ｐｊを認識する。ｊは、位置姿勢が認識されたワークＷＫを区別する序数である。模擬画像ＳＭのシーンに複数のワークＷＫが含まれている場合には、位置姿勢認識部６１３は、少なくとも１つのワークＷＫの位置姿勢Ｐｊを認識することが好ましく、可能な限り多数のワークＷＫの位置姿勢Ｐｊを認識することが更に好ましい。ワークＷＫの位置姿勢Ｐｊ(x, y, z, u, v, w)は、例えば、３次元カメラ座標系における位置(x, y, z)と姿勢(u, v, w)で表現される。姿勢(u, v, w)は、３軸廻りの回転角度で表される。なお、カメラ座標系の代わりに、ロボット座標系やワールド座標系などの他の座標系でワークＷＫの位置姿勢Ｐｊを表現するようにしてもよい。ワークＷＫの位置姿勢Ｐｊの算出処理は、例えばテンプレートマッチングを利用して行われる。すなわち、ワークＷＫのＣＡＤデータＣＤを用いて、ワークＷＫの位置姿勢をシミュレーションすることによって複数の位置姿勢毎にテンプレートを予め作成しておく。位置姿勢認識部６１３は、模擬画像ＳＭから点群を算出し、点群に対してテンプレートマッチングを行うことによってワークＷＫを検出し、その位置姿勢Ｐｊを認識又は推定する。点群とは、３次元座標値で表現される点の集合である。なお、テンプレートマッチングの代わりに、他の方法を用いて物体の位置姿勢Ｐｊを認識してもよい。例えば、畳み込みニューラルネットワークなどの機械学習モデルを用いてワークＷＫの位置姿勢Ｐｊを認識してもよい。

図３の例では、同一シーンについて３つのワークＷＫ１～ＷＫ３の位置姿勢Ｐｊが認識されている。図３の例では更に、位置姿勢Ｐｊが認識されたワークＷＫｊを他のワークから識別可能に表示した認識結果画像ＲＲｊが描かれている。認識結果画像ＲＲｊにおいて、位置姿勢Ｐｊが認識されたワークＷＫｊは、他のワークと視覚的に識別可能な態様で描かれている。例えば、位置姿勢Ｐｊが認識されたワークＷＫｊの外形は実線で描かれており、他のワークの外形は点線で描かれている。このような認識結果画像ＲＲｊを作成して表示すれば、ユーザーが、同一シーンに含まれる複数のワークＷＫのうちのどのワークが認識されたかを容易に理解できる。

図４は、カメラの物体認識評価処理の手順を示すフローチャートである。ステップＳ１０では、認識環境情報取得部６１２が、認識対象となる物体のＣＡＤデータを取得する。本実施形態では、ワークＷＫのＣＡＤデータＣＤがメモリー３２０から読み込まれる。ＣＡＤデータＣＤが予めメモリー３２０に格納されていない場合には、ユーザーによってＣＡＤデータが入力される。

ステップＳ２０では、認識環境情報取得部６１２が、カメラ４００の位置と性能を含む認識環境情報ＲＥＩを取得する。図３で説明したように、認識環境情報ＲＥＩは、カメラ環境情報ＲＥとカメラ属性情報ＣＡとを含んでいる。本実施形態では、カメラ環境情報ＲＥとカメラ属性情報ＣＡがメモリー３２０から読み込まれる。これらの情報ＲＥ，ＣＡが予めメモリー３２０に格納されていない場合には、ユーザーによってこれらの情報が入力される。

図５は、カメラ環境情報ＲＥの一例を示す説明図である。ここでは、カメラ環境情報ＲＥとして、ワーキングディスタンスＷＤと、カメラ４００の２次元的な相対位置Ｐｃ（Ｘ，Ｙ）と、カメラ４００の視野ＶＡと、が示されている。ワーキングディスタンスＷＤは、カメラ４００の撮像面と作業領域ＷＡとの間の距離である。図１の例では、作業領域ＷＡは作業台５００の上面に相当する。カメラ４００の相対位置Ｐｃ（Ｘ，Ｙ）は、例えば、カメラ４００の撮像面の中心が、作業領域ＷＡの中央真上の位置から水平方向Ｘ，Ｙにどの程度ずれているかで実現される。ワーキングディスタンスＷＤとカメラ４００の相対位置Ｐｃ（Ｘ，Ｙ）は、物体の設置環境に対するカメラ４００の位置に相当する。カメラ環境情報ＲＥとしては、これら以外の情報を使用してもよい。

カメラ属性情報ＣＡは、複数の種類又は型式のカメラ４００について、カメラ性能に関するデータと、カメラ４００の価格などの他のデータを含んでいる。ステップＳ２０では、カメラ属性情報ＣＡとして、少なくともカメラ性能に関するデータが取得される。

ステップＳ３０では、シミュレーター６１１が、ＣＡＤデータＣＤと認識環境情報ＲＥＩを用いてシミュレーションを行うことによって、ワークＷＫを含むシーンの模擬画像ＳＭを作成する。本実施形態では、図３で説明したように、複数のワークＷＫがばら積みされているシーンについて、模擬画像ＳＭが作成される。

なお、ステップＳ２０で取得された認識環境情報ＲＥＩに適合しないカメラについては、ステップＳ３０におけるシミュレーションを行わないようにしてもよい。例えば、ワーキングディスタンスＷＤとカメラ４００の視野ＶＡのサイズの適用可能範囲を予めカメラ属性情報ＣＡ内に登録しておき、ステップＳ３０で取得されたワーキングディスタンスＷＤとカメラ４００の視野ＶＡのサイズの少なくとも一方がその適用可能範囲を外れている場合には、シミュレーションを行わないことが好ましい。こうすれば、全体の処理時間を短縮することができる。

図３では、ワークＷＫが不規則に積まれているばら積み状態が想定されているが、実際の用途としては、コンベアに流れてくる同じ向きの物体を逐一ピッキングしていくようなケースも考えられる。このようなケースを考慮して、シミュレーションで想定するシーンにおける物体の個数や配置をユーザーが設定できるようにしてもよい。

ところで、シミュレーション上の環境と、実際のカメラ４００で撮影する環境では、若干の相違がある可能性がある。これは、シミュレーションでは基本的に理論値を用いた結果を生成するのに対し、実際にカメラ４００で撮影した場合には、画像や点群にノイズが発生するためである。ノイズの原因としては、ＲＧＢカメラのノイズについては、照明状態や動作中の温度上昇によるセンサノイズなどが考えられる。また、点群のノイズについては、外光の影響や投影パターンの読み取り精度の影響による深さ方向のノイズなどが考えられる。そこで、模擬画像ＳＭや点群にノイズを付与することによって、現実的なカメラ４００の撮影データに近づけることが好ましい。ＲＧＢ画像については、一般的なガウシアンフィルターをかけることによってノイズが再現できる。点群については、カメラ属性情報ＣＡに点群精度の項目をあらかじめ設定しておけば、点群に含まれる各点のそれぞれにランダムに誤差以内のオフセットをかけることによってノイズを再現できる。

ステップＳ４０では、位置姿勢認識部６１３が、模擬画像ＳＭを用いてワークＷＫの位置姿勢Ｐｊを認識する。位置姿勢認識部６１３が模擬画像ＳＭから点群を作成する場合には、ステップＳ４０で点群に対するノイズの付加を実行するようにしてもよい。ステップＳ４０では、位置姿勢認識部６１３が、更に、以下の項目のうちの１つ以上を求めるようにしてもよい。
（１）認識された位置姿勢Ｐｊが正解か否かの判定
（２）認識されたワークＷＫの数
（３）認識の正解率
（４）認識の信頼度
（５）信頼度閾値に応じた残正解部品数

認識された位置姿勢Ｐｊが正解か否かの判定は、例えば以下のように行うことができる。ステップＳ３０において作成した模擬画像ＳＭにおける個々のワークＷＫの真の位置姿勢は、シミュレーション上で既知である。そこで、ステップＳ４０で認識された位置姿勢Ｐｊと真の位置姿勢との差分である認識ズレ量を算出し、認識ズレ量が予め定められた許容ズレ量以下であった場合に、認識された位置姿勢Ｐｊを正解とすることができる。許容ズレ量は、位置（x,y,z)及び姿勢（u,v,w）のそれぞれに関して別個に設定することが好ましく、また、ワークＷＫの寸法に応じた適切な値に設定することが好ましい。この理由は、例えば、長さが１００ｍｍのワークと１０ｍｍのワークで同じ１ｍｍの認識ズレ量が発生した場合に、前者と後者ではワークの位置が大きく異なるためである。なお、許容ズレ量を自動で設定する場合には、各軸から見た場合におけるワークＷＫの最大長さの数％を設定する、というように、ワークＷＫの大きさに対する許容ズレ量が一定の割合になるように設定するようにしてもよい。

認識されたワークＷＫの数は、認識された位置姿勢Ｐｊが正解であるものと判定されたワークＷＫの数である。認識されたワークＷＫの数を、「ワークＷＫの認識数」又は「物体の認識数」とも呼ぶ。

認識の正解率Ｒｃは、次式で与えられるように、正解と認識されたワークＷＫの数Ｎｒを、そのシーンに含まれるワークＷＫの全数Ｎｔで除した割合である。
Ｒｃ＝Ｎｒ／Ｎｔ …（１）
認識の正解率Ｒｃは、ワークＷＫの全数Ｎｔに対する正解ワークの割合なので、単純な認識個数と異なり、誤認識の少ないカメラか否かを知ることができる。

認識の信頼度は、例えば、認識されたワークＷＫのエッジと真のワークのエッジとの間の一致度に応じて算出される値であり、認識自体の信頼度である。例えば、シミュレーションにより作成したシーンの明るさやワーク表面の白飛び、黒つぶれ等の要因によって、ワークＷＫのエッジが正確に認識できない場合も考えられるので、このような場合には認識の信頼度が低い値となる。また、他の物体に隠れているワークＷＫは、認識できるエッジが少ないので認識の信頼度は低下する。認識の信頼度は、このような場合を考慮した認識の正確さを示す指標である。

信頼度閾値に応じた残正解部品数は、信頼度が予め設定された信頼度閾値未満である位置姿勢Ｐｊを、認識ズレ量が許容ズレ量以下である場合にも不正解と判定したときに、正解として認識された位置姿勢Ｐｊの数である。このように、認識の信頼度が信頼度閾値以上であって、かつ、認識ズレ量が許容ズレ量以下の場合にのみ正解と判定すれば、認識の正誤をより厳しく判定することができる。

ステップＳ５０では、認識結果作成部６１４が、ステップＳ４０で得られた認識結果を作成する。なお、ステップＳ４０が２回目以降に実行される場合には、ステップＳ４０で新たに得られた認識結果が、それ以前に得られていた認識結果に追加されて、認識結果が更新される。

ステップＳ６０では、認識評価部６１０が、検討対象となるすべてのカメラについてステップＳ２０～Ｓ５０の処理が終了したか否かを判定する。すべてのカメラについての処理が終了していない場合には、ステップＳ２０に戻り、次のカメラについて上述したステップＳ２０～Ｓ５０の処理を実行する。一方、すべてのカメラについての処理が終了した場合には、ステップＳ７０に進み、認識結果作成部６１４が、認識結果を表示デバイス３５０に表示する。

図６は、認識結果の表示ウィンドウＷ１の一例を示す説明図である。この例では、表示ウィンドウＷ１内に、種類又は型式の異なる複数のカメラＣ１～Ｃ４が一覧表示されており、個々のカメラについて、カメラタイプＣＴと、カメラ関連情報ＣＲと、認識結果画像ＲＲｊと、認識可能ポーズＲＰｊとが表示されている。この例では、カメラ関連情報ＣＲは、解像度と、正解率と、価格とを含んでいる。正解率は、上述した認識の正解率Ｒｃである。カメラ関連情報ＣＲとしては、ワークＷＫの認識数や認識の信頼度などの他の情報を表示してもよい。表示されるカメラ関連情報ＣＲに、ワークＷＫの認識数と認識率の少なくも一方を含めるようにすれば、カメラ４００による認識の程度をユーザーが容易に判定できる。

認識結果画像ＲＲｊは、図３で説明したものと同じである。認識可能ポーズＲＰｊは、認識結果画像ＲＲｊにおいて認識されているワークＷＫの位置姿勢Ｐｊを示す画像である。表示ウィンドウＷ１の右上部分には、カメラのソートを行うためのプルダウンメニューＰＭが設けられている。プルダウンメニューＰＭは、カメラ関連情報ＣＲに含まれている項目をユーザーが選択可能に構成されている。図６の例では、認識の正解率の順にソートすることが指定されている。なお、ユーザーの要望に合わせて、他の種々のソート機能や、絞り込み機能を表示ウィンドウＷ１に設けるようにしてもよい。また、認識結果としては、図６に示したもの以外の情報を表示するようにしてもよい。

表示ウィンドウＷ１の下部には、シミュレーション結果出力ボタンＢＴが設けられている。このボタンＢＴを押すと、シミュレーションで作成された模擬画像ＳＭと点群とを含むシミュレーション結果ファイルが作成される。

ステップＳ８０では、ユーザーが、複数のカメラの一覧表示の中から、使用に適したカメラを１つ選択する。この選択は、例えば、図６の表示ウィンドウＷ１において、カメラタイプＣＴの左側に設けられているチェックボックスＣＢをチェックすることによって行われる。

以上のように、上記実施形態では、ＣＡＤデータＣＤと認識環境情報ＲＥＩを用いてシミュレーションを行うことによって模擬画像ＳＭを作成し、この模擬画像ＳＭを用いて物体の認識を行った認識結果を表示するので、カメラで物体認識をうまく行えるか否かをユーザーが判定できる。なお、図４の手順では複数のカメラについて物体認識を評価していたが、本開示は、１つのカメラについて物体認識を評価する場合にも適用可能である。また、本開示の内容は、ロボット以外の装置で利用されるカメラを評価する処理にも適用可能である。

・他の形態：
本開示は、上述した実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の形態で実現することができる。例えば、本開示は、以下の形態（aspect）によっても実現可能である。以下に記載した各形態中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、あるいは、本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

（１）本開示の第１の形態によれば、カメラによる物体認識を評価する方法が提供される。この方法は、（ａ）認識対象となる物体のＣＡＤデータを取得する工程と、（ｂ）前記物体の設置環境に対する前記カメラの位置と、前記カメラの性能と、を含む認識環境情報を取得する工程と、（ｃ）前記ＣＡＤデータと前記認識環境情報を用いてシミュレーションを行うことによって、前記物体を含むシーンを前記カメラで撮影した画像を模擬した模擬画像を作成する工程と、（ｄ）前記模擬画像を用いて、前記物体の位置姿勢を認識して認識結果を求める工程と、（ｅ）前記認識結果を表示する工程と、を含む。
この方法によれば、ＣＡＤデータと認識環境情報を用いてシミュレーションを行うことによって模擬画像を作成し、この模擬画像を用いて物体の認識を行った認識結果を表示するので、このカメラで物体認識をうまく行えるか否かをユーザーが容易に判定できる。

（２）上記方法において、前記カメラは、複数種類のカメラを含み、前記工程（ｅ）は、前記複数種類のカメラについて、前記物体を含む同一シーンに関する前記認識結果を一覧表示する工程を含むものとしてもよい。
この方法によれば、複数種類のカメラのうちのいずれが物体認識に相応しいかをユーザーが判定できる。

（３）上記方法において、前記シーンは、前記物体を複数含み、前記認識結果は、前記物体の認識数と認識率の少なくも一方を含むものとしてもよい。
この方法によれば、物体の認識数又は認識率から、カメラによる認識の程度をユーザーが判定できる。

（４）本開示の第２の形態によれば、カメラによる物体認識を評価するシステムが提供される。このシステムは、前記カメラによる物体認識の評価を行う認識評価部と、表示部と、を備える。前記認識評価部は、（ａ）認識対象となる物体のＣＡＤデータを取得する処理と、（ｂ）前記物体の設置環境に対する前記カメラの位置と、前記カメラの性能と、を含む認識環境情報を取得する処理と、（ｃ）前記ＣＡＤデータと前記認識環境情報を用いてシミュレーションを行うことによって、前記物体を含むシーンを前記カメラで撮影した画像を模擬した模擬画像を作成する処理と、（ｄ）前記模擬画像を用いて、前記物体の位置姿勢を認識して認識結果を求める処理と、（ｅ）前記認識結果を前記表示部に表示する処理と、を実行する。

（５）本開示の第３の形態によれば、カメラによる物体認識を評価する処理をプロセッサーに実行させるコンピュータープログラムが提供される。このコンピュータープログラムは、（ａ）認識対象となる物体のＣＡＤデータを取得する処理と、（ｂ）前記物体の設置環境に対する前記カメラの位置と、前記カメラの性能と、を含む認識環境情報を取得する処理と、（ｃ）前記ＣＡＤデータと前記認識環境情報を用いてシミュレーションを行うことによって、前記物体を含むシーンを前記カメラで撮影した画像を模擬した模擬画像を作成する処理と、（ｄ）前記模擬画像を用いて、前記物体の位置姿勢を認識して認識結果を求める処理と、（ｅ）前記認識結果を表示する処理と、を前記プロセッサーに実行させる。

本開示は、上記以外の種々の形態で実現することも可能である。例えば、ロボットとロボット制御装置とを備えたロボットシステム、ロボット制御装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した一時的でない記録媒体（non-transitory storage medium）等の形態で実現することができる。

１００…ロボット、１１０…基台、１２０…ロボットアーム、１２２…アームエンド、１５０…ロボットハンド、２００…制御装置、３００…情報処理装置、３１０…プロセッサー、３２０…メモリー、３３０…インターフェイス回路、３４０…入力デバイス、３５０…表示デバイス、４００…カメラ、５００…作業台、５１０…第１トレイ、５２０…第２トレイ、６１０…認識評価部、６１１…シミュレーター、６１２…認識環境情報取得部、６１３…位置姿勢認識部、６１４…認識結果作成部、６２０…ロボット制御実行部

Claims (5)

1. カメラによる物体認識を評価する方法であって、
   （ａ）認識対象となる物体のＣＡＤデータを取得する工程と、
   （ｂ）前記物体の設置環境に対する前記カメラの位置と、前記カメラの性能と、を含む認識環境情報を取得する工程と、
   （ｃ）前記ＣＡＤデータと前記認識環境情報を用いてシミュレーションを行うことによって、前記物体を含むシーンを前記カメラで撮影した画像を模擬した模擬画像を作成する工程と、
   （ｄ）前記模擬画像を用いて、前記物体の位置姿勢を認識して認識結果を求める工程と、
   （ｅ）前記認識結果を表示する工程と、
   を含む、方法。
2. 請求項１に記載の方法であって、
   前記カメラは、複数種類のカメラを含み、
   前記工程（ｅ）は、前記複数種類のカメラについて、前記物体を含む同一シーンに関する前記認識結果を一覧表示する工程を含む、方法。
3. 請求項１に記載の方法であって、
   前記シーンは、前記物体を複数含み、
   前記認識結果は、前記物体の認識数と認識率の少なくも一方を含む、方法。
4. カメラによる物体認識を評価するシステムであって、
   前記カメラによる物体認識の評価を行う認識評価部と、
   表示部と、
   を備え、
   前記認識評価部は、
   （ａ）認識対象となる物体のＣＡＤデータを取得する処理と、
   （ｂ）前記物体の設置環境に対する前記カメラの位置と、前記カメラの性能と、を含む認識環境情報を取得する処理と、
   （ｃ）前記ＣＡＤデータと前記認識環境情報を用いてシミュレーションを行うことによって、前記物体を含むシーンを前記カメラで撮影した画像を模擬した模擬画像を作成する処理と、
   （ｄ）前記模擬画像を用いて、前記物体の位置姿勢を認識して認識結果を求める処理と、
   （ｅ）前記認識結果を前記表示部に表示する処理と、
   を実行する、システム。
5. カメラによる物体認識を評価する処理をプロセッサーに実行させるコンピュータープログラムであって、
   （ａ）認識対象となる物体のＣＡＤデータを取得する処理と、
   （ｂ）前記物体の設置環境に対する前記カメラの位置と、前記カメラの性能と、を含む認識環境情報を取得する処理と、
   （ｃ）前記ＣＡＤデータと前記認識環境情報を用いてシミュレーションを行うことによって、前記物体を含むシーンを前記カメラで撮影した画像を模擬した模擬画像を作成する処理と、
   （ｄ）前記模擬画像を用いて、前記物体の位置姿勢を認識して認識結果を求める処理と、
   （ｅ）前記認識結果を表示する処理と、
   を前記プロセッサーに実行させる、コンピュータープログラム。

Images