JP7261306B2 - 情報処理装置、設定装置、画像認識システム、ロボットシステム、設定方法、学習装置、及び学習済みモデルの生成方法 - Google Patents

Description

関連出願への相互参照

本件出願は、２０１９年８月２６日に日本特許庁に出願された特願２０１９－１５４１０３号の優先権を主張するものであり、その全体を参照することにより本件出願の一部となすものとして引用する。

本開示は、情報処理装置、設定装置、画像認識システム、ロボットシステム、設定方法、学習装置、及び学習済みモデルの生成方法に関する。

従来、ワークを撮像した画像を用いて動作を制御するロボットがある。例えば、特許文献１は、カメラによってワークを撮像した画像を用いて、ワークの３次元位置及び姿勢を計測し、計測された情報を用いて、ロボットアーム先端部及びロボットハンドを制御する装置を開示している。

特開２００９－２４１２４７号公報

例えば、複数のワークがランダムに配置されるような作業環境では、２つのワークが重なっている場合がある。このような場合、特許文献１の装置は、重なっているワークを１つのワークとして検出する、又は、ワークとして検出しない可能性がある。このため、検出結果におけるワークの修正又は追加が必要である。

そこで、本開示は、画像に含まれるワーク等の対象物を認識するための設定を可能にする情報処理装置、設定装置、画像認識システム、ロボットシステム、設定方法、学習装置、及び学習済みモデルの生成方法を提供することを目的とする。

上記目的を達成するために、本開示の一態様に係る情報処理装置は、対象物が映し出される画面上で指示される前記対象物の位置である指示位置を検出する位置検出部と、前記画面上で指示される前記対象物の属性である指示属性を検出する属性検出部と、前記指示位置に基づき、前記対象物の実物の位置を検出する位置情報検出部と、前記指示属性に基づき、前記対象物の実物の属性を検出する属性情報検出部と、前記指示位置を表す位置指標と前記対象物の実物の属性を表す属性指標とを生成し前記画面上に表示する指標処理部と、前記対象物の実物の位置及び属性の情報を含む対象物情報を出力する出力部とを含む。

本開示の別の一態様に係る情報処理装置は、対象物が映し出される画面上で指示される前記対象物の位置である指示位置を検出する位置検出部と、前記画面上で指示される前記対象物のサイズである指示サイズを検出するサイズ検出部と、前記指示位置に基づき、前記対象物の実物の位置を検出する位置情報検出部と、前記指示サイズに基づき、前記対象物の実物のサイズを検出するサイズ情報検出部と、前記指示位置を表す位置指標と前記対象物の実物のサイズを表すサイズ指標とを生成し前記画面上に表示する指標処理部と、前記対象物の実物の位置及びサイズの情報を含む対象物情報を出力する出力部とを含む。

本開示の別の一態様に係る情報処理装置は、対象物が映し出される画面上で指示される前記対象物の位置である指示位置を検出する位置検出部と、前記画面上で指示される前記対象物の姿勢である指示姿勢を検出する姿勢検出部と、前記指示位置に基づき、前記対象物の実物の位置を検出する位置情報検出部と、前記指示姿勢に基づき、前記対象物の実物の姿勢を検出する姿勢情報検出部と、前記指示位置を表す位置指標と前記指示姿勢を表す姿勢指標とを生成し前記画面上に表示する指標処理部と、前記対象物の実物の位置及び姿勢の情報を含む対象物情報を出力する出力部とを含む。

本開示の一態様に係る学習用画像並びに前記学習用画像に含まれる対象物の位置及び属性を取得する取得部と、前記学習用画像を入力データとし、前記対象物の位置及び属性を教師データとして、画像から対象物の位置及び属性を推定するための学習済みモデルを機械学習により生成する学習部と、を備える学習装置。

本開示の一態様に係る学習済みモデルの生成方法は、学習用画像並びに前記学習用画像に含まれる対象物の位置及び属性を取得し、前記学習用画像を入力データとし、前記対象物の位置及び属性を教師データとして、画像から対象物の位置及び属性を推定するための学習済みモデルを機械学習により生成する。

本開示の一態様に係る設定装置は、本開示の一態様に係る情報処理装置と、前記画面を表示するディスプレイと、前記指示の入力を受け付け前記情報処理装置に出力する入力装置とを備える。

本開示の一態様に係る画像認識システムは、本開示の一態様に係る設定装置と、前記対象物の実物を撮像し、撮像された画像を前記設定装置に出力する撮像装置とを備える。

本開示の一態様に係るロボットシステムは、本開示の一態様に係る画像認識システムと、前記対象物の実物に対する処理作業を行うロボットと、前記ロボットを制御する制御装置とを備え、前記制御装置は、前記情報処理装置の前記出力部から出力される前記対象物情報を用いて、前記対象物の実物を認識し、前記ロボットに前記対象物の実物を処理させる。

本開示の一態様に係る設定方法は、画面上に映し出される対象物の実物を認識するための前記対象物の位置及びサイズの設定方法であって、前記画面上で指示される前記対象物の位置である指示位置を検出し、前記画面上で指示される前記対象物のサイズである指示サイズを検出し、前記指示位置に基づき、前記対象物の実物の位置を検出し、前記指示サイズに基づき、前記対象物の実物のサイズを検出し、前記指示位置を表す位置指標と前記対象物の実物のサイズを表すサイズ指標とを生成し前記画面上に表示し、前記対象物の実物の位置及びサイズの情報を含む対象物情報を出力する。

本開示の別の一態様に係る設定方法は、画面上に映し出される対象物の実物を認識するための前記対象物の位置及び姿勢の設定方法であって、前記画面上で指示される前記対象物の位置である指示位置を検出し、前記画面上で指示される前記対象物の姿勢である指示姿勢を検出し、前記指示位置に基づき、前記対象物の実物の位置を検出し、前記指示姿勢に基づき、前記対象物の実物の姿勢を検出し、前記指示位置を表す位置指標と前記指示姿勢を表す姿勢指標とを生成し前記画面上に表示し、前記対象物の実物の位置及び姿勢の情報を含む対象物情報を出力する。

本開示の技術によれば、画像に含まれる対象物を認識するための設定が可能となる。

図１は、実施の形態に係るロボットシステムの構成の一例を示す平面図である。 図２は、実施の形態に係るロボットシステムの構成の一例を示すブロック図である。 図３は、実施の形態に係るロボットの構成の一例を示す側面図である。 図４は、実施の形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 図５は、実施の形態に係るロボット制御装置のハードウェア構成の一例を示すブロック図である。 図６は、実施の形態に係る情報処理装置の機能的構成の一例を示すブロック図である。 図７は、実施の形態に係る情報処理装置によって画像処理された画像の一例を示す図である。 図８は、実施の形態に係る情報処理装置によって生成される瓶指標の第１重畳画像の画面の一例を示す図である。 図９は、実施の形態に係る情報処理装置によって生成される瓶指標の第２重畳画像の画面の一例を示す図である。 図１０は、実施の形態に係る情報処理装置によって修正される瓶指標を表示する第１重畳画像の画面の一例を示す図である。 図１１は、実施の形態に係る情報処理装置による修正後の瓶指標を表示する第１重畳画像の画面の一例を示す図である。 図１２は、実施の形態に係る情報処理装置によって削除される瓶指標を表示する第１重畳画像の画面の一例を示す図である。 図１３は、実施の形態に係る情報処理装置による瓶指標の削除後の第１重畳画像の画面の一例を示す図である。 図１４は、実施の形態に係る情報処理装置によって瓶指標が追加される状態を表示する第１重畳画像の画面の一例を示す図である。 図１５は、実施の形態に係る情報処理装置によって瓶指標が追加される状態を表示する第１重畳画像の画面の一例を示す図である。 図１６は、実施の形態に係る情報処理装置による瓶指標の追加後の第１重畳画像の画面の一例を示す図である。 図１７は、実施の形態に係る情報処理装置の機能を設定する画面の一例を示す図である。 図１８は、実施の形態に係るロボットシステムの動作の一例を示すフローチャートである。 図１９は、変形例に係る学習装置の機能的構成例を示すブロック図である。 図２０は、学習用データベースの内容例を示す図である。 図２１は、学習済みモデルの生成処理の手順例を示す図である。 図２２は、学習済みモデルの生成処理を説明するための図である。 図２３は、学習済みモデルを用いた識別処理の手順例を示す図である。 図２４は、学習済みモデルを用いた識別処理を説明するための図である。 図２５は、修正保存データベースの内容例を示す図である。

以下において、本開示の実施の形態を、図面を参照しつつ説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、添付の図面における各図は、模式的な図であり、必ずしも厳密に図示されたものでない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。また、本明細書及び請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

＜ロボットシステムの構成＞
実施の形態に係るロボットシステム１の構成を説明する。図１は、実施の形態に係るロボットシステム１の構成の一例を示す平面図である。図２は、実施の形態に係るロボットシステム１の構成の一例を示すブロック図である。

図１に示すように、本実施の形態では、ロボットシステム１は、ベルトコンベヤ２００上にランダムに載せられた複数の対象物Ｗをロボット１００が分別するシステムであるとして説明する。対象物Ｗは特に限定されないが、本実施の形態では廃棄物であり、具体的には空き瓶（以下、「瓶Ｗ」とも表記する）である。なお、ロボットシステム１は、対象物Ｗを分別するシステムに限定されず、例えば、対象物Ｗに対してピッキング、配置又は加工等の作業を行うシステムであってもよい。つまり、ロボットシステム１は、対象物Ｗが存在する位置又は配置される位置の特定を伴う作業を行うシステムであってもよい。

本実施の形態に係るロボットシステム１は、少なくとも１つのロボット１００と、ベルトコンベヤ２００と、情報処理装置３００と、入出力装置４００と、撮像装置５００と、ロボット制御装置６００とを備える。図２に示すように、情報処理装置３００及び入出力装置４００は、設定装置１０を構成する。情報処理装置３００、入出力装置４００及び撮像装置５００は、画像認識システム２０を構成する。

図１に示すように、ベルトコンベヤ２００は、その搬送面２２１を方向Ｄに移動し、搬送面２２１上の瓶Ｗを方向Ｄに搬送する。ベルトコンベヤ２００は、方向Ｄに並ぶ複数のローラ２１０と、複数のローラ２１０に掛け渡された無端輪状の搬送ベルト２２０と、ローラ２１０を回転駆動する電気モータであるコンベヤモータ２３０とを備える。搬送面２２１は、搬送ベルト２２０の上方に向いた外周面である。

２つのロボット１００Ａ及び１００Ｂが、ベルトコンベヤ２００に対して方向Ｄでの下流側の両側に配置されている。ロボット１００Ａ及び１００Ｂは産業用ロボットである。以下において、２つのロボットを区別する場合は「ロボット１００Ａ」及び「ロボット１００Ｂ」と表記し、区別しない場合は「ロボット１００」と表記する場合がある。

ロボット１００Ａは、ロボット制御装置６００の制御に従って、ベルトコンベヤ２００上の瓶Ｗの中の透明な瓶（以下「透明瓶」とも表記する）を、サイズに応じた２つの区分の透明瓶ＷＴＬ及びＷＴＳに選別して取り出し、つまり分別し、回収箱７０１Ｌ及び７０１Ｓに投入する。透明瓶ＷＴＬは、より大きいサイズ区分（以下、「大サイズ区分」とも表記する）の瓶であり回収箱７０１Ｌに投入され、透明瓶ＷＴＳは、より小さいサイズ区分（以下、「小サイズ区分」とも表記する）の瓶であり回収箱７０１Ｓに投入される。

ロボット１００Ｂは、ロボット制御装置６００の制御に従って、ベルトコンベヤ２００上の瓶Ｗの中の茶色等の色付きの瓶（以下、「色付き瓶」とも表記する）を、大サイズ区分及び小サイズ区分の色付き瓶ＷＣＬ及びＷＣＳに選別して取り出し、つまり分別し、回収箱７０２Ｌ及び７０２Ｓに投入する。色付き瓶ＷＣＬは回収箱７０２Ｌに投入され、色付き瓶ＷＣＳは回収箱７０２Ｓに投入される。

図３は、実施の形態に係るロボット１００の構成の一例を示す側面図である。図１及び図３に示すように、ロボット１００Ａ及び１００Ｂ、つまりロボット１００は、基台１１０と、基台１１０に配置された２つのアーム１２０及び１３０とを備える双腕ロボットである。具体的には、ロボット１００は、アーム１２０及び１３０が鉛直方向の第１軸Ｓ１を中心とする同軸上で水平面内で回動可能である同軸双腕ロボットである。アーム１２０及び１３０は、水平多関節型のロボットアームを構成する。ロボット１００は、アーム１２０及び１３０それぞれの先端に、瓶Ｗを保持するためのエンドエフェクタ１５０及び１６０を備える。エンドエフェクタ１５０及び１６０は、瓶Ｗを保持し搬送することができればよく、本実施の形態では瓶Ｗを負圧により吸着する。エンドエフェクタ１５０及び１６０が対象物を保持する構成は、吸着を用いる構成に限定されず、把持、掬い上げ、吊り上げ、係合、粘着力及び磁力等を用いる構成であってもよい。

アーム１２０は、リンク１２１～１２４と、アーム駆動装置ＭＡ１～ＭＡ４（図２参照）とを含む。アーム１３０は、リンク１３１～１３４と、アーム駆動装置ＭＢ１～ＭＢ４（図２参照）とを含む。アーム駆動装置ＭＡ１～ＭＡ４及びＭＢ１～ＭＢ４は、電気モータ等を含み、本実施の形態ではサーボモータを含む。アーム駆動装置ＭＡ１～ＭＡ４及びＭＢ１～ＭＢ４の駆動は、ロボット制御装置６００によって制御される。

第１リンク１２１及び１３１はそれぞれ、第１軸Ｓ１を中心に水平面内で互いに独立して回動可能に、回転関節ＪＴＡ１及びＪＴＢ１を介して基台１１０と接続される。第１リンク１２１及び１３１は、回動時の互いの干渉を抑えるように、第１軸Ｓ１の方向にずらして配置される。第２リンク１２２及び１３２はそれぞれ、鉛直方向の第２軸Ｓ２ａ及びＳ２ｂを中心に水平面内で回動可能に、回転関節ＪＴＡ２及びＪＴＢ２を介して第１リンク１２１及び１３１の先端と接続される。第３リンク１２３及び１３３はそれぞれ、鉛直方向の第３軸Ｓ３ａ及びＳ３ｂに沿って昇降可能に、直動関節ＪＴＡ３及びＪＴＢ３を介して第２リンク１２２及び１３２の先端と接続される。第４リンク１２４及び１３４はそれぞれ、第３リンク１２３及び１３３の長手方向の第４軸Ｓ４ａ及びＳ４ｂを中心に回動可能に、回転関節ＪＴＡ４及びＪＴＢ４を介して第３リンク１２３及び１３３の下端と接続される。第４軸Ｓ４ａ及びＳ４ｂは、鉛直方向の軸でもある。第４リンク１２４及び１３４はそれぞれ、エンドエフェクタ１５０及び１６０と接続するためのメカニカルインタフェースを構成する。

アーム駆動装置ＭＡ１～ＭＡ４はそれぞれ、関節ＪＴＡ１～ＪＴＡ４を駆動し、リンク１２１～１２４を回動又は昇降させる。アーム駆動装置ＭＢ１～ＭＢ４はそれぞれ、関節ＪＴＢ１～ＪＴＢ４を駆動し、リンク１３１～１３４を回動又は昇降させる。

エンドエフェクタ１５０及び１６０は、支持体１７１と、支持体１７１上に矩形状に配列された複数の吸着ノズル１７０を備える。エンドエフェクタ１５０及び１６０は、同様の構成を有してもよく、例えば、吸着ノズル１７０の数量及び配置等で異なる構成を有してもよい。複数の吸着ノズル１７０は、中空筒状の形状を有し、配管を介して負圧発生装置１８０(図２参照)と接続される。複数の吸着ノズル１７０は、負圧発生装置１８０が発生する負圧によって、その先端で対象物を吸着する。負圧発生装置１８０の構成は、吸着ノズル１７０に負圧を発生させることができれば特に限定されず、既存のいかなる構成が用いられてもよい。例えば、負圧発生装置１８０は、空気を吸引することで負圧又は真空を発生する真空ポンプ又は空気圧シリンダの構成を有してもよく、圧縮空気を送入することで負圧又は真空を発生するエジェクタの構成を有してもよい。負圧発生装置１８０の動作は、ロボット制御装置６００によって制御される。

ロボット１００Ａ及び１００Ｂはそれぞれ、アーム１２０及びエンドエフェクタ１５０を用いて、大サイズ区分の瓶ＷＴＬ又はＷＣＬを搬送し、アーム１３０及びエンドエフェクタ１６０を用いて、小サイズ区分の瓶ＷＴＳ又はＷＣＳを搬送する。

図１及び図２に示すように、情報処理装置３００は、入出力装置４００Ａ及び４００Ｂと、撮像装置５００と、ロボット制御装置６００と、有線通信又は無線通信を介して接続される。以下において、２つの入出力装置を区別する場合は「入出力装置４００Ａ」及び「入出力装置４００Ｂ」と表記し、区別しない場合は「入出力装置４００」と表記する場合がある。ロボット制御装置６００は、ロボット１００Ａ及び１００Ｂのアーム駆動装置ＭＡ１～ＭＡ４及びＭＢ１～ＭＢ４と、負圧発生装置１８０と、ベルトコンベヤ２００のコンベヤモータ２３０と、情報処理装置３００と、有線通信又は無線通信を介して接続される。有線通信及び無線通信の種類は特に限定されない。例えば、有線通信及び無線通信は、有線又は無線ＬＡＮ（Local Area Network）を含んでもよい。

ロボット制御装置６００は、アーム駆動装置ＭＡ１～ＭＡ４及びＭＢ１～ＭＢ４、負圧発生装置１８０並びにコンベヤモータ２３０の動作を制御する。例えば、ロボット制御装置６００は、情報処理装置３００からベルトコンベヤ２００上の各瓶Ｗの情報を受け取る。瓶Ｗの情報は、瓶Ｗについて、色付き又は透明であるかの色区分、位置、サイズ及び姿勢等を含む。ロボット制御装置６００は、各瓶Ｗの情報に基づき当該瓶を認識し、ロボット１００Ａ及び１００Ｂのアーム１２０及び１３０並びにエンドエフェクタ１５０及び１６０の吸着ノズル１７０を動作させ、各瓶Ｗを分別させる。瓶の認識は、当該瓶の存在、色、位置、姿勢及びサイズ等を特定することである。ロボット制御装置６００は、ロボット１００Ａ及び１００Ｂ、負圧発生装置１８０及びベルトコンベヤ２００等を互いに連携、協調及び／又は協働して動作させることができる。

撮像装置５００は、ロボット１００Ａ及び１００Ｂに対する方向Ｄでの上流側において、ベルトコンベヤ２００の上方に配置され、下方の搬送面２２１を撮像する。撮像装置５００は、撮像した画像を情報処理装置３００に出力する。撮像装置５００は、情報処理装置３００の制御に従って撮像するが、ロボット制御装置６００の制御に従って撮像してもよい。撮像装置５００は、デジタル画像を撮像するカメラであり、画像内の被写体までの距離等の３次元位置の検出を可能にするカメラである。このようなカメラの例は、ステレオカメラ、単眼カメラ、ＴＯＦカメラ（トフカメラ：Time-of-Flight-Camera）、縞投影等のパターン光投影カメラ、又は光切断法を用いたカメラである。本実施の形態では、撮像装置５００はステレオカメラである。なお、本実施の形態では、撮像装置５００の位置及び撮像方向と搬送面２２１の撮像対象部位との位置関係は固定され且つ既知であるため、撮像装置５００が単なるカメラであっても、画像内の被写体の３次元位置の検出が可能である。

入出力装置４００Ａ及び４００Ｂはそれぞれ、ディスプレイと入力装置とを備え、本実施の形態では、ディスプレイの機能と入力装置の機能とを含むタッチスクリーン４１０を備える。ディスプレイの例は、液晶ディスプレイ（Liquid Crystal Display）及び有機又は無機ＥＬディスプレイ（Electro-Luminescence Display）であるが、これらに限定されない。例えば、入出力装置４００Ａ及び４００Ｂは、タッチスクリーン４１０を備えるディスプレイ装置、並びに、スマーフォン及びタブレットなどのスマートデバイス等であってもよい。入出力装置４００Ａ及び４００Ｂはロボット１００Ａ及び１００Ｂに対応して配置されている。入出力装置４００Ａ及び４００Ｂは、タッチスクリーン４１０の画面上に、撮像装置５００によって撮像された画像と、情報処理装置３００によって生成される瓶指標とを重畳表示することができる。瓶指標は、対象物である瓶Ｗの情報を表す指標であり、対象物指標である。入出力装置４００Ａ及び４００Ｂは、タッチスクリーン４１０へのユーザの指又はペン等の接触位置（「タップ位置」とも表記する）及び接触軌跡等を入力情報として取得し、情報処理装置３００に出力する。

情報処理装置３００は、種々の情報を処理し出力する装置である。例えば、情報処理装置３００は、撮像装置５００によって撮像された画像を画像処理し入出力装置４００Ａ及び４００Ｂに出力し表示させる。情報処理装置３００は、ユーザである操作者Ｐが入出力装置４００Ａ及び４００Ｂの画面を視て処理を行うことができるように、所定の時間間隔の撮像時刻の画像の処理画像を入出力装置４００Ａ及び４００Ｂに出力する。

具体的には、情報処理装置３００は、撮像装置５００によって撮像された画像を画像処理することで、当該画像に映し出される瓶Ｗの像である瓶像ＷＩを抽出し、さらに実物の瓶Ｗの位置、サイズ、姿勢及び色区分等を含む瓶Ｗの情報を検出する。上記瓶Ｗの情報は、対象物情報の一例である。

実物の瓶Ｗの位置の情報は、当該瓶Ｗの位置を特定できる情報であればよい。瓶Ｗの位置は、瓶Ｗのいかなる部位の位置であってもよく、３次元位置及び２次元位置のいずれで表されてもよい。例えば、瓶Ｗの３次元位置は、ロボットシステム１が存在する空間等に設定された３次元座標で表されてもよい。瓶Ｗの２次元位置は、ベルトコンベヤ２００の搬送面２２１等を基準にした２次元座標で表されてもよい。本実施の形態では、実物の瓶Ｗの位置は、重心等の瓶Ｗの特定の点の３次元位置である。

実物の瓶Ｗの姿勢の情報は、当該瓶Ｗの姿勢を特定できる情報であればよい。瓶Ｗの姿勢は、瓶Ｗのいかなる部位を基準とした姿勢であってもよく、３次元の姿勢及び２次元の姿勢のいずれで表されてもよい。例えば、瓶Ｗの３次元の姿勢は、瓶Ｗの３次元位置と同様の３次元座標で表されてもよく、瓶Ｗの２次元の姿勢は、瓶Ｗの２次元位置と同様の２次元座標で表されてもよい。本実施の形態では、瓶Ｗの姿勢は、瓶Ｗの向きであり、具体的には、瓶Ｗの底及び入口を結ぶ長手方向の向きである。

実物の瓶Ｗのサイズの情報は、当該瓶Ｗの大きさの程度を特定できる情報であればよい。瓶Ｗのサイズは、瓶Ｗのいかなる部位のサイズであってもよく、３次元でのサイズ及び２次元でのサイズのいずれで表されてもよい。サイズは、例えば、寸法値、寸法値の変換値、寸法範囲、寸法範囲の変換値、及び、階級等であってもよい。階級は、寸法範囲毎に区分けされた階級であり、サイズ区分は階級の一例である。例えば、瓶Ｗの３次元でのサイズは、瓶Ｗの３次元位置と同様の３次元座標系でのサイズであってもよく、瓶Ｗの２次元のサイズは、瓶Ｗの２次元位置と同様の２次元座標系でのサイズであってもよい。本実施の形態では、瓶Ｗのサイズは、サイズ区分であり、具体的には、瓶Ｗの底及び入口を結ぶ長手方向での長さについてサイズ区分である。

情報処理装置３００は、瓶Ｗの情報をロボット制御装置６００に出力する。さらに、情報処理装置３００は、実物の瓶Ｗの位置、サイズ及び姿勢をタッチスクリーン４１０上で表すための瓶指標を生成し、当該瓶指標の画像データを入出力装置４００Ａ及び４００Ｂに出力する。情報処理装置３００は、透明瓶ＷＴＬ及びＷＴＳの瓶指標の画像データを入出力装置４００Ａに出力し、色付き瓶ＷＣＬ及びＷＣＳの瓶指標の画像データを入出力装置４００Ｂに出力する。

また、情報処理装置３００は、タッチスクリーン４１０に入力された情報を入出力装置４００Ａ及び４００Ｂから受け取り、当該情報を処理する。例えば、入出力装置４００Ａ及び４００Ｂは、操作者Ｐの操作により新たな瓶指標を生成しタッチスクリーン４１０に表示させるための入力を受け付けることができる。さらに、入出力装置４００Ａ及び４００Ｂは、タッチスクリーン４１０上に表示されている瓶Ｗの瓶指標に対して操作者Ｐの操作により修正又は削除するための入力を受け付けることができる。

情報処理装置３００は、入出力装置４００Ａ又は４００Ｂから新規瓶指標を生成するための入力情報を受け取ると、当該入力情報に従って新規瓶指標の画像データを生成し入出力装置４００Ａ又は４００Ｂに出力する。さらに、情報処理装置３００は、新規瓶指標に対応する実物の瓶Ｗの位置、サイズ、姿勢及び色区分等を含む瓶Ｗの情報を検出しロボット制御装置６００に出力する。

情報処理装置３００は、入出力装置４００Ａ又は４００Ｂから瓶指標を修正又は削除するための入力情報を受け取ると、当該入力情報に従って修正又は削除された瓶指標の画像データを生成し入出力装置４００Ａ又は４００Ｂに出力する。さらに、情報処理装置３００は、修正又は削除された瓶指標に対応する実物の瓶Ｗの情報を検出しロボット制御装置６００に出力する。

本実施の形態では、情報処理装置３００は、入出力装置４００及びロボット制御装置６００とは別個のコンピュータ装置である。例えば、情報処理装置３００は、電子制御ユニット（ＥＣＵ：Electronic Control Unit）及びパーソナルコンピュータ等であってもよい。しかしながら、情報処理装置３００は、入出力装置４００又はロボット制御装置６００に組み込まれ一体化されていてもよい。

［情報処理装置のハードウェア構成］
図４は、実施の形態に係る情報処理装置３００のハードウェア構成の一例を示すブロック図である。図４に示すように、情報処理装置３００は、ＣＰＵ（Central Processing Unit）３０１と、ＲＯＭ（Read Only Memory）３０２と、ＲＡＭ（Random Access Memory）３０３と、メモリ３０４と、撮像素子Ｉ／Ｆ（インタフェース：Interface）３０５と、画像プロセッサ３０６と、入出力Ｉ／Ｆ３０７～３０９とを構成要素として含む。上記構成要素はそれぞれ、バス、有線通信又は無線通信を介して接続されている。なお、上記構成要素の全てが必須ではない。

例えば、ＣＰＵ３０１はプロセッサであり、情報処理装置３００の動作の全体を制御する。ＲＯＭ３０２は不揮発性半導体メモリ等で構成され、ＣＰＵ３０１に動作を制御させるためのプログラム及びデータ等を格納する。ＲＡＭ３０３は揮発性半導体メモリ等で構成され、ＣＰＵ３０１で実行するプログラム及び処理途中又は処理済みのデータ等を一時的に格納する。メモリ３０４は、揮発性メモリ及び不揮発性メモリなどの半導体メモリ、ハードディスク（ＨＤＤ：Hard Disc Drive）及びＳＳＤ（Solid State Drive）等の記憶装置で構成される。

例えば、ＣＰＵ３０１が動作するためのプログラムは、ＲＯＭ３０２又はメモリ３０４に予め保持されている。ＣＰＵ３０１は、ＲＯＭ３０２又はメモリ３０４からプログラムをＲＡＭ３０３に読み出して展開する。ＣＰＵ３０１は、ＲＡＭ３０３に展開されたプログラム中のコード化された各命令を実行する。

情報処理装置３００の各機能は、ＣＰＵ３０１、ＲＯＭ３０２及びＲＡＭ３０３等からなるコンピュータシステムにより実現されてもよく、電子回路又は集積回路等の専用のハードウェア回路により実現されてもよく、上記コンピュータシステム及びハードウェア回路の組み合わせにより実現されてもよい。

このような情報処理装置３００は、例えば、マイクロコントローラ、ＭＰＵ（Micro Processing Unit）、ＬＳＩ（Large Scale Integration：大規模集積回路）、システムＬＳＩ、ＰＬＣ（Programmable Logic Controller）、論理回路等で構成されてもよい。情報処理装置３００の複数の機能は、個別に１チップ化されることで実現されてもよく、一部又は全てを含むように１チップ化されることで実現されてもよい。また、回路はそれぞれ、汎用的な回路でもよく、専用の回路でもよい。ＬＳＩとして、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩ内部の回路セルの接続及び／又は設定を再構成可能なリコンフィギュラブルプロセッサ、又は、特定用途向けに複数の機能の回路が１つにまとめられたＡＳＩＣ（Application Specific Integrated Circuit）等が利用されてもよい。

撮像素子Ｉ／Ｆ３０５は、ＣＰＵ３０１の指令に従って、撮像装置５００の撮像素子（図示せず）の駆動を制御する。撮像素子Ｉ／Ｆ３０５は、撮像装置５００によって撮像された画像のデータをＲＡＭ３０３又はメモリ３０４に取り込む。撮像素子Ｉ／Ｆ３０５は、撮像素子の駆動のための回路等を含んでもよい。

画像プロセッサ３０６は、入出力装置４００Ａ及び４００Ｂに表示する画面を生成可能なＧＰＵ（Graphics Processing Unit）を備える。画像プロセッサ３０６は、ＣＰＵ３０１の指令に従って画面データを生成し、入出力装置４００Ａ及び４００Ｂに出力する。例えば、画像プロセッサ３０６は、撮像装置５００によって撮像された画像データを処理して生成された画像データ、並びに、入出力装置４００Ａ及び４００Ｂに入力された情報に対応して生成された情報等を示す画面データを生成する。

第１入出力Ｉ／Ｆ３０７は、画像プロセッサ３０６及び入出力装置４００Ａと接続され、入出力装置４００Ａに対して画面データ、情報及び指令等を入出力する。第２入出力Ｉ／Ｆ３０８は、画像プロセッサ３０６及び入出力装置４００Ｂと接続され、入出力装置４００Ｂに対して画面データ、情報及び指令等を入出する。第３入出力Ｉ／Ｆ３０９は、ロボット制御装置６００と接続され、ロボット制御装置６００に対して情報及び指令等を入出力する。入出力Ｉ／Ｆ３０７～３０９は、信号を変換する回路等を含んでもよい。

［ロボット制御装置のハードウェア構成］
図５は、実施の形態に係るロボット制御装置６００のハードウェア構成の一例を示すブロック図である。図５に示すように、ロボット制御装置６００は、ＣＰＵ６０１と、ＲＯＭ６０２と、ＲＡＭ６０３と、メモリ６０４と、入出力Ｉ／Ｆ６０５と、アーム駆動回路６０６と、コンベヤ駆動回路６０７と、負圧駆動回路６０８と、開閉駆動回路６０９とを構成要素として含む。上記構成要素はそれぞれ、バス、有線通信又は無線通信を介して接続されている。なお、上記構成要素の全てが必須ではない。本実施の形態では、ロボット１００Ａ及び１００Ｂに対して１つのロボット制御装置６００が設けられるが、ロボット１００Ａ及び１００Ｂに個別にロボット制御装置６００が設けられてもよい。

ＣＰＵ６０１、ＲＯＭ６０２、ＲＡＭ６０３及びメモリ６０４それぞれの構成及び機能は、情報処理装置３００のＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３及びメモリ３０４と同様である。ＣＰＵ６０１はロボット制御装置６００の処理及び動作の全体を制御する。ロボット制御装置６００の各機能は、ＣＰＵ６０１、ＲＯＭ６０２及びＲＡＭ６０３等からなるコンピュータシステムにより実現されてもよく、電子回路又は集積回路等の専用のハードウェア回路により実現されてもよく、上記コンピュータシステム及びハードウェア回路の組み合わせにより実現されてもよい。

入出力Ｉ／Ｆ６０５は、情報処理装置３００と接続され、情報処理装置３００に対して情報及び指令等を入出力する。入出力Ｉ／Ｆ６０５は、信号を変換する回路等を含んでもよい。アーム駆動回路６０６は、ＣＰＵ６０１の指令に従って、ロボット１００Ａ及び１００Ｂのアーム駆動装置ＭＡ１～ＭＡ４及びＭＢ１～ＭＢ４のサーボモータに電力を供給し各サーボモータの駆動を制御する。コンベヤ駆動回路６０７は、ＣＰＵ６０１の指令に従って、ベルトコンベヤ２００のコンベヤモータ２３０に電力を供給しコンベヤモータ２３０の駆動を制御する。負圧駆動回路６０８は、ＣＰＵ６０１の指令に従って、負圧発生装置１８０に電力を供給し負圧発生装置１８０の駆動を制御する。

開閉駆動回路６０９は、ＣＰＵ６０１の指令に従って、開閉装置１８１～１８４の駆動を制御する。開閉装置１８１及び１８２はそれぞれ、配管系統１８１ａ及び１８２ａを導通又は遮断する。配管系統１８１ａ及び１８２ａはそれぞれ、ロボット１００Ａのエンドエフェクタ１５０及び１６０それぞれの吸着ノズル１７０と負圧発生装置１８０とを接続する。開閉装置１８３及び１８４はそれぞれ、配管系統１８３ａ及び１８４ａを導通又は遮断する。配管系統１８３ａ及び１８４ａはそれぞれ、ロボット１００Ｂのエンドエフェクタ１５０及び１６０それぞれの吸着ノズル１７０と負圧発生装置１８０とを接続する。開閉装置１８１～１８４の例は電磁弁等で構成される開閉弁である。

［情報処理装置の機能的構成］
図６は、実施の形態に係る情報処理装置３００の機能的構成の一例を示すブロック図である。図６に示すように、情報処理装置３００は、撮像制御部３００１と、画像処理部３００２と、指標処理部３００３及び３００４と、画像合成部３００５及び３００６と、入力解析部３００７及び３００８と、変換部３００９及び３０１０と、機能設定部３０１１と、記憶部３０１２とを機能的構成要素として含む。上記機能的構成要素の全てが必須ではない。

記憶部３０１２を除く機能的構成要素の機能は、ＣＰＵ３０１等によって実現され、記憶部３０１２の機能は、メモリ３０４、ＲＯＭ３０２及び／ＲＡＭ３０３によって実現される。

記憶部３０１２は、種々の情報を記憶し、記憶している情報の読み出しを可能にする。記憶部３０１２は、撮像装置５００のカメラパラメタ、ロボット１００によって処理され得る対象の瓶の情報、瓶の色区分の色閾値、及び瓶のサイズ区分のサイズ閾値等を記憶する。瓶の情報は、処理され得る瓶の色、表面テクスチャ、輪郭形状及び当該輪郭形状の長手方向等の情報を含んでもよい。記憶部３０１２は、撮像装置５００によって撮像された画像、当該画像の処理画像及び／又はプログラム等を記憶してもよい。

カメラパラメタは、外部パラメータと内部パラメータとを含む。外部パラメータの例は、撮像装置５００の位置（３次元位置）及び向き（光軸中心の向き）等を示すパラメータである。内部パラメータの例は、撮像装置５００のレンズの歪み、焦点距離、撮像素子の１画素のサイズ及び光軸中心の画素座標等を示すパラメータである。画素座標は、画素を単位とする座標であり、画像上での２次元座標である。

瓶の輪郭形状は、様々な方向から瓶を投影したときの投影面上での輪郭形状である。瓶の輪郭形状の長手方向は、当該瓶の口及び底を通る長手軸方向に対応し、当該瓶の向きを示す。瓶の輪郭形状及びその長手方向は、テンプレートとして記憶される。

色閾値は、画素の輝度値での閾値であってもよい。例えば、瓶を表す画素の輝度値が色閾値以上であるか色閾値未満であるかに応じて、瓶が透明であるか色付きであるかが区分けされてもよい。なお、色区分は、２つに限定されず、３つ以上であってもよい。

サイズ閾値は、瓶の実サイズの判定のための実サイズ閾値と、画像上での瓶のサイズの判定のための画像サイズ閾値とを含む。サイズ閾値は、瓶の長手方向の長さでの閾値であってもよい。例えば、瓶の長手方向の長さがサイズ閾値以上であるかサイズ閾値未満であるかに応じて、瓶が大サイズ区分であるか小サイズ区分であるかが区分けされてもよい。なお、サイズ区分は、２つに限定されず、３つ以上であってもよい。

撮像制御部３００１は、撮像装置５００の動作を制御する。例えば、撮像制御部３００１は、所定の時間間隔で、撮像装置５００にベルトコンベヤ２００の搬送面２２１を撮像させる。撮像制御部３００１は、ステレオカメラである撮像装置５００によって同時刻に撮像された２つの画像を対応付けて記憶部３０１２等に出力する。

画像処理部３００２は、第１～第３画像処理部の一例である。画像処理部３００２は、撮像装置５００によって同時刻に撮像された２つの画像を用いて、２つの画像それぞれに映し出される瓶像を特定し、当該瓶像の瓶の３次元の位置、サイズ及び姿勢を検出する。

例えば、画像処理部３００２は、２つの画像それぞれにおいてエッジを抽出し、抽出されたエッジと記憶部３０１２内の瓶の輪郭形状のテンプレートとをパターンマッチング手法等により比較することで、瓶のエッジを検出する。さらに、画像処理部３００２は、２つの画像の少なくとも一方において、瓶のエッジによって囲まれる瓶像が表す色を検出し、記憶部３０１２内の色区分に基づき、当該瓶像を透明瓶像と色付き瓶像とに分類する。

さらに、画像処理部３００２は、２つの画像それぞれにおいて、各瓶像の２次元の重心位置、長手方向及び当該長手方向での長さを、２次元の重心位置、姿勢及びサイズとして検出する。例えば、瓶像の長手方向は、瓶像の底から入口に向かう方向であってもよい。なお、画像処理部３００２は、瓶像に対応するテンプレートが示す輪郭形状の長手方向を、当該瓶像の長手方向としてもよい。

さらに、画像処理部３００２は、記憶部３０１２内のカメラパラメタを用いたステレオマッチング手法等により２つの画像を処理する。画像処理部３００２は、各瓶像に対応する瓶、つまり実物の瓶について、ロボットシステム１が存在する３次元区間内での３次元の重心位置、長手方向及び当該長手方向での長さをそれぞれ、３次元の重心位置、姿勢及びサイズとして検出する。例えば、瓶の３次元の重心位置、姿勢及びサイズは、瓶像の２次元の重心位置、姿勢及びサイズを表す画素を画像処理することで検出されてもよい。

画像処理部３００２は、２つの画像の少なくとも一方における各透明瓶像について、当該透明瓶像に設定された識別情報であるＩＤと、当該透明瓶像の色区分と、当該透明瓶像の２次元の重心位置及び姿勢を示す画素座標と、当該透明瓶像に対応する透明瓶の３次元の重心位置、姿勢及びサイズとを対応付けて第１指標処理部３００３に出力する。画像処理部３００２は、２つの画像の少なくとも一方における各色付き瓶像について、当該色付き瓶像に設定された識別情報であるＩＤと、当色付き瓶像の色区分と、当色付き瓶像の２次元の重心位置及び姿勢を示す画素座標と、当該色付き瓶像に対応する色付き瓶の３次元の重心位置、姿勢及びサイズとを対応付けて第２指標処理部３００４に出力する。

また、画像処理部３００２は、瓶像のエッジを抽出した２つの画像の一方を用いて、瓶像のエッジを強調した画像を生成する。画像処理部３００２は、指標処理部３００３及び３００４に出力する瓶像の２次元の重心位置及び長手方向が検出された画像を用いる。画像処理部３００２は、１つの画像から、透明瓶像のエッジのみが強調された第１画像と、色付き瓶像のエッジのみが強調された第２画像とを生成する。画像が透明瓶像のみを含む場合、画像処理部３００２は、エッジを強調せずに第２画像を生成する。画像が色付き瓶のみを含む場合、画像処理部３００２は、エッジを強調せずに第１画像を生成する。画像処理部３００２は、第１画像を第１画像合成部３００５に出力し、第２画像を第２画像合成部３００６に出力する。本実施の形態では、画像処理部３００２はエッジを太くすることによって当該エッジを強調する。エッジの強調方法は特に限定されず、エッジを目立つ色にする、エッジを光らせる、エッジを点滅させる等のいかなる方法であってもよい。

例えば、図７は、実施の形態に係る情報処理装置３００によって画像処理された画像の一例を示す図である。図７に示すように、撮像された画像Ｉ１が透明瓶像ＷＴＩ及び色付き瓶像ＷＣＩを含む場合、第１画像Ｉ１Ａでは、透明瓶像ＷＴＩのエッジのみが強調され、第２画像Ｉ１Ｂでは、色付き瓶像ＷＣＩのエッジのみが強調される。

第１指標処理部３００３は、透明瓶像の２次元の重心位置及び姿勢と、当該透明瓶像に対応する透明瓶の３次元のサイズとを用いて、当該透明瓶の情報を第１画像上で表すための瓶指標を生成する。第１指標処理部３００３は、記憶部３０１２内の実サイズ閾値に基づき、透明瓶の３次元のサイズを大小のサイズ区分に分類する。第１指標処理部３００３は、位置指標、姿勢指標及びサイズ指標を含む瓶指標の画像データを生成する。位置指標は透明瓶の２次元の重心位置を表し、姿勢指標は透明瓶の２次元の長手方向を表し、サイズ指標は透明瓶のサイズ区分を表す。

図８は、実施の形態に係る情報処理装置３００によって生成される瓶指標の第１重畳画像の画面の一例を示す図である。図８に示すように、本実施の形態では、第１指標処理部３００３によって生成される瓶指標ＴＢＩの位置指標は、瓶像の重心位置が中心である円によって表される。姿勢指標は、位置指標の円の中心を起点として延びる矢印の向きによって表される。サイズ指標は、瓶指標ＴＢＩの表示方法の差異によって表される。例えば、瓶が大サイズ区分に属する場合、瓶指標ＴＢＩは一点鎖線で表示され、瓶が小サイズ区分に属する場合、瓶指標ＴＢＩは破線で表示される、瓶指標の表示方法の差異は、線種の差異に限定されず、色、明るさ、点滅等を用いた差異であってもよい。また、サイズ指標は、姿勢指標の矢印の長さの差異によって表されてもよい。

第１指標処理部３００３は、透明瓶像のＩＤと、当該透明瓶像に対応する透明瓶の瓶指標の画像データとを対応付けて第１画像合成部３００５に出力する。瓶指標の画像データは、瓶指標の画像と、第１画像又は第２画像上での当該瓶指標の位置、姿勢及びサイズの情報とを含む。さらに、第１指標処理部３００３は、上記透明瓶像のＩＤと、上記瓶指標に対応する透明瓶の３次元の重心位置、３次元の姿勢、サイズ区分及び色区分とを対応付けてロボット制御装置６００に出力する。

第２指標処理部３００４は、第１指標処理部３００３と同様に、色付き瓶像の２次元の重心位置及び姿勢と、当該色付き瓶像に対応する色付き瓶の３次元のサイズとを用いて、当該色付き瓶の情報を第２画像上で表すための瓶指標を生成する。第２指標処理部３００４は、色付き瓶像のＩＤと、当該色付き瓶像に対応する色付き瓶の瓶指標の画像データとを対応付けて第２画像合成部３００６に出力する。さらに、第２指標処理部３００４は、上記色付き瓶像のＩＤと、上記瓶指標に対応する色付き瓶の３次元の重心位置、３次元の姿勢、サイズ区分及び色区分とを対応付けてロボット制御装置６００に出力する。

また、指標処理部３００３及び３００４はそれぞれ、入出力装置４００Ａ及び４００Ｂへの入力情報に基づき、タッチスクリーン４１０に表示されている瓶指標を修正及び削除する処理、並びに、瓶指標を追加する処理を上述の処理と同様に行う。

第１画像合成部３００５は、第１画像と透明瓶の瓶指標の画像データとを用いて、第１画像と透明瓶の瓶指標の画像とを合成する。第１画像合成部３００５は、当該瓶指標の画像を、画像データに含まれる当該瓶指標の位置、姿勢及びサイズの情報に従って第１画像上に重畳表示させる。第１画像合成部３００５は、例えば、図８に示すような第１重畳画像Ｉ１Ａａを生成して入出力装置４００Ａに出力しタッチスクリーン４１０に表示させる。瓶指標は、当該瓶指標に対応する瓶像上に重畳表示される。

第２画像合成部３００６は第１画像合成部３００５と同様に、第２画像と、色付き瓶の瓶指標の画像データと、画像上での当該瓶指標の位置、姿勢及びサイズの情報とを用いて、第２画像上に色付き瓶の瓶指標を重畳表示させる画像を生成する。第２画像合成部３００６は、例えば、図９に示すような第２重畳画像Ｉ１Ｂａを生成して入出力装置４００Ｂに出力しタッチスクリーン４１０に表示させる。図９は、実施の形態に係る情報処理装置３００によって生成される瓶指標の第２重畳画像の画面の一例を示す図である。

図６に示す入力解析部３００７及び３００８は、位置検出部、サイズ検出部、姿勢検出部の一例である。第１入力解析部３００７は、入出力装置４００Ａのタッチスクリーン４１０に入力される入力情報を受け取って解析する。第２入力解析部３００８は、入出力装置４００Ｂのタッチスクリーン４１０に入力される入力情報を受け取って解析する。例えば、入力解析部３００７及び３００８は、入力情報を解析することで、表示中の瓶指標に対する修正指令及び削除指令、瓶指標の追加指令、並びに、各指令内容を検出する。第１入力解析部３００７は、検出結果を第１指標処理部３００３及び第１変換部３００９に出力する。第２入力解析部３００８は、検出結果を第２指標処理部３００４及び第２変換部３０１０に出力する。

入力解析部３００７及び３００８は、タッチスクリーン４１０上で瓶指標の位置指標である円の位置の修正指令を検出すると、画面上で指示される円の修正位置を検出し、当該修正位置での円の中心の画素座標を指示位置として検出する。入力解析部３００７及び３００８は、タッチスクリーン４１０上で姿勢指標である矢印の向きの修正指令を検出すると、画面上で指示される矢印の修正方向を検出し、当該修正方向での矢印の向きを示す画素座標、例えば、矢印のベクトル成分を指示姿勢として検出する。例えば、指示姿勢は、画面上でなされた指示が形成する軌跡に対応する方向を示してもよい。入力解析部３００７及び３００８は、タッチスクリーン４１０上でサイズ指標の修正指令を検出すると、画面上で指示される指示サイズを検出し、指示サイズに対応するサイズ区分（以下、「指示サイズ区分」とも表記する）を検出する。例えば、指示サイズは、画面上でなされた指示が形成する軌跡に対応するサイズであってもよい。入力解析部３００７及び３００８は、指示サイズと画像サイズ閾値との比較結果に基づき指示サイズ区分を決定する。入力解析部３００７及び３００８は、指示サイズが画像サイズ閾値以上である場合に指示サイズ区分を大サイズ区分に決定し、画像サイズ閾値未満である場合に指示サイズ区分を小サイズ区分に決定する。

第１入力解析部３００７は、瓶指標のＩＤと、当該瓶指標に対する指示位置、指示姿勢及び指示サイズ区分の組とを対応付けて、第１指標処理部３００３及び第１変換部３００９に出力する。瓶指標のＩＤは、瓶指標に対応する瓶像のＩＤである。第２入力解析部３００８も同様に、瓶指標のＩＤと、当該瓶指標に対する指示位置、指示姿勢及び指示サイズ区分の組とを対応付けて、第２指標処理部３００４及び第２変換部３０１０に出力する。指標処理部３００３及び３００４はそれぞれ、入力解析部３００７及び３００８から受け取った上記のような情報に基づき、位置指標、姿勢指標及びサイズ指標を修正することで瓶指標を修正し、修正後の瓶指標のＩＤ及び画像データを画像合成部３００５及び３００６に出力し、修正前の瓶指標を修正後の瓶指標に替えてタッチスクリーン４１０上に表示させる。

例えば、図１０は、実施の形態に係る情報処理装置３００によって修正される瓶指標を表示する第１重畳画像の画面の一例を示す図である。図１１は、実施の形態に係る情報処理装置３００による修正後の瓶指標を表示する第１重畳画像の画面の一例を示す図である。図１０に示すように、例えば、タッチスクリーン４１０上の透明瓶像ＷＴＩａの瓶指標ＴＢＩａの位置指標を修正する場合、瓶指標ＴＢＩａの円ＴＢＩａ１の円周が、操作者の指等のタップにより選択され、タップ位置がスライドされることで、円ＴＢＩａ１がタップ位置のスライド方向及びスライド量に対応する方向及び移動量で移動される。指がタッチスクリーン４１０から離されると、円ＴＢＩａ１の移動が停止する。上記過程において、第１入力解析部３００７は、円ＴＢＩａ１の円周上のタップを位置指標の修正指令として検出し、タップ位置のスライド方向及びスライド量に対応して移動する円ＴＢＩａ１の中心の画素座標を、指示位置として検出する。指示位置は、タップ位置が形成する軌跡に対応する位置である。第１指標処理部３００３は、図１１に示すように、中心と共に移動する円ＴＢＩａ１の画像データを生成しタッチスクリーン４１０上に表示させる。

また、図１０に示すように、例えば、瓶指標ＴＢＩａの姿勢指標を修正する場合、瓶指標ＴＢＩａの矢印ＴＢＩａ２が、指等のタップにより選択され、タップ位置が矢印ＴＢＩａ２と交差する方向にスライドされることで、矢印ＴＢＩａ２が指のスライド方向及びスライド量に対応する方向及び角度量で、円ＴＢＩａ１の中心を中心として回動され、その向きを変える。指がタッチスクリーン４１０から離されると、矢印ＴＢＩａ２の回動が停止する。上記過程において、第１入力解析部３００７は、矢印ＴＢＩａ２上のタップを姿勢指標の修正指令として検出し、タップ位置のスライド方向及びスライド量に対応して回動する矢印ＴＢＩａ２のベクトルの画素座標を、指示姿勢として検出する。指示姿勢は、タップ位置が形成する軌跡に対応する方向である。第１指標処理部３００３は、図１１に示すように、ベクトルと共に回動する矢印ＴＢＩａ２の画像データを生成しタッチスクリーン４１０上に表示させる。

また、図１０に示すように、例えば、透明瓶像ＷＴＩｂの瓶指標ＴＢＩｂのサイズ指標を修正する場合、瓶指標ＴＢＩｂの矢印ＴＢＩｂ２が、指等のタップにより選択され、タップ位置が矢印ＴＢＩｂ２の軸方向にスライドされる。これにより、矢印ＴＢＩｂ２がタップ位置のスライド量に対応する距離でスライド方向に引き伸ばされる又は縮められ、その長さを変える。指がタッチスクリーン４１０から離されると、矢印ＴＢＩａ２の長さが伸縮前の長さに戻る。

上記過程において、第１入力解析部３００７は、矢印ＴＢＩａ２上のタップをサイズ指標の修正指令として検出し、矢印ＴＢＩｂ２の向きでの円ＴＢＩｂ１の中心からタップ位置までの距離を、指示サイズとして検出する。指示サイズは、タップ位置が形成する軌跡に対応するサイズである。さらに、第１入力解析部３００７は、上記距離と画像サイズ閾値とを比較することで、指示サイズ区分を決定する。第１指標処理部３００３は、上記距離に従って矢印ＴＢＩａ２を伸縮させ且つ指示サイズ区分に対応して瓶指標の線種を変える瓶指標ＴＢＩｂの画像データを生成し、タッチスクリーン４１０上に表示させる。図１０では、瓶指標ＴＢＩｂは、誤って検出された小サイズ区分を表す破線で表されるが、サイズ指標の修正後の図１１では、瓶指標ＴＢＩｂは、大サイズ区分を表す一点鎖線で表される。また、指の移動中でのサイズ区分の変化に応じて瓶指標の線種が変わるため、ユーザは、サイズ指標の修正動作中にサイズ区分を確認できる。

さらに、図１１に示すようなタッチスクリーン４１０上に表示されるボタン「決定」が、指等のタップにより選択されると、第１指標処理部３００３は、現時点から直近に変更を受けた瓶指標に対して、当該瓶指標が受けた変更を決定する。上記変更は、瓶指標の修正、削除及び追加を含む。第１入力解析部３００７は、変更が決定された瓶指標の位置指標、姿勢指標及びサイズ指標をＩＤと共に第１変換部３００９に出力する。また、タッチスクリーン４１０上に表示されるボタン「元に戻す」が選択されると、第１指標処理部３００３は、現時点から直近に変更を受けた瓶指標に対して、当該瓶指標が受けた変更を取り消し元の状態である変更前の状態に戻す。また、タッチスクリーン４１０上に表示されるボタン「やり直し」が選択されると、第１指標処理部３００３は、ボタン「元に戻す」の選択により変更前の状態に戻された瓶指標に対して、取り消された変更を復活させ当該変更後の状態に戻す。第２指標処理部３００４も、ボタンの選択に従って第１指標処理部３００３と同様に動作する。

第１入力解析部３００７は、入出力装置４００Ａのタッチスクリーン４１０上で瓶指標の削除指令を検出すると、当該瓶指標のＩＤと当該瓶指標の削除指令とを第１指標処理部３００３及び第１変換部３００９に出力する。第２入力解析部３００８は、入出力装置４００Ｂのタッチスクリーン４１０上で瓶指標の削除指令を検出すると、当該瓶指標のＩＤと当該瓶指標の削除指令とを第２指標処理部３００４及び第２変換部３０１０に出力する。指標処理部３００３及び３００４はそれぞれ、該当する瓶指標ＩＤ及びその画像の削除指令を画像合成部３００５及び３００６に出力し当該瓶指標の画面表示を削除させる。

図１２は、実施の形態に係る情報処理装置３００によって削除される瓶指標を表示する第１重畳画像の画面の一例を示す図である。図１３は、実施の形態に係る情報処理装置３００による瓶指標の削除後の第１重畳画像の画面の一例を示す図である。図１２では、色付き瓶像ＷＣＩｃの瓶指標ＴＢＩｃがタッチスクリーン４１０上に誤って表示され、削除対象である。そして、瓶指標ＴＢＩｃの円ＴＢＩｃ１の円周の内側領域が、指等のタップにより選択されることで、瓶指標ＴＢＩｃが削除される。上記過程において、第１入力解析部３００７は、円ＴＢＩｃ１の円周の内側領域上のタップを瓶指標ＴＢＩｃの削除指令として検出し、第１指標処理部３００３は、図１３に示すように、瓶指標ＴＢＩｃの画像をタッチスクリーン４１０上から削除させる。

入力解析部３００７及び３００８は、タッチスクリーン４１０上で瓶指標の位置指標の追加指令を検出すると、画面上で指示される位置の画素座標を指示位置として検出する。入力解析部３００７及び３００８は、タッチスクリーン４１０上で姿勢指標の追加指令を検出すると、画面上で指示される方向を示す画素座標を指示姿勢として検出する。入力解析部３００７及び３００８は、タッチスクリーン４１０上でサイズ指標の追加指令を検出すると、画面上で指示されるサイズを指示サイズとして検出する。さらに、入力解析部３００７及び３００８は、指示サイズが画像サイズ閾値以上である場合に指示サイズ区分を大サイズ区分に決定し、画像サイズ閾値未満である場合に指示サイズ区分を小サイズ区分に決定する。

入力解析部３００７及び３００８はそれぞれ、新規瓶指標のＩＤと、当該瓶指標に対する指示位置、指示姿勢及び指示サイズ区分の組とを対応付けて、第１指標処理部３００３及び第１変換部３００９、並びに、第２指標処理部３００４及び第２変換部３０１０に出力する。指標処理部３００３及び３００４はそれぞれ、入力解析部３００７及び３００８から受け取った上記のような情報に基づき、新規位置指標、新規姿勢指標及び新規サイズ指標を含む新規瓶指標を生成し、当該新規瓶指標のＩＤ及び画像データを画像合成部３００５及び３００６に出力しタッチスクリーン４１０上に表示させる。

図１４及び図１５は、実施の形態に係る情報処理装置３００によって瓶指標が追加される状態を表示する第１重畳画像の画面の一例を示す図である。図１６は、実施の形態に係る情報処理装置３００による瓶指標の追加後の第１重畳画像の画面の一例を示す図である。図１４では、透明瓶像ＷＴＩｄ上には瓶指標が誤って表示されておらず、透明瓶像ＷＴＩｄが瓶指標の追加対象である。そして、新規瓶指標ＴＢＩｄの新規位置指標の指示位置が、指等のタップにより透明瓶ＷＴｄの像上で指定され、新規位置指標の円ＴＢＩｄ１が指示位置を中心として表示される。次いで、図１５に示すように、タップしている指がスライドされた後にタッチスクリーン４１０から離されることで、図１６に示すように、新規姿勢指標を示す矢印ＴＢＩｄ２が、タップ位置のスライド方向に対応する方向で表示される。さらに、新規瓶指標ＴＢＩｄは、タップ位置のスライド量に対応するサイズ区分のサイズ指標を示す線種である一点鎖線で表わされる。

上記過程において、第１入力解析部３００７は、瓶指標が存在しない位置でのタップを新規位置指標の追加指令として検出し、タップ位置の画像座標を指示位置として検出し、第１指標処理部３００３は、指示位置の画素座標を新規位置指標の画素座標とする。第１入力解析部３００７は、指示位置からのタップ位置の移動を新規姿勢指標及び新規サイズ指標の追加指令として検出する。第１入力解析部３００７は、タップ位置の軌跡から、タップ位置のスライド方向を示す画素座標を指示姿勢として検出し、第１指標処理部３００３は、指示姿勢の画素座標を新規姿勢指標の画素座標とする。第１入力解析部３００７は、上記スライド方向での指示位置からタップ位置までの距離を、指示サイズとして検出し、指示サイズと画像サイズ閾値とを比較することで指示サイズ区分を決定する。第１指標処理部３００３は、指示サイズ区分を新規サイズ指標が示すサイズ区分とする。さらに、第１指標処理部３００３は、図１６に示すように、新規位置指標、新規姿勢指標及び新規サイズ指標に基づき、新規瓶指標ＴＢＩｄの画像データを生成しタッチスクリーン４１０上に表示させる。

上記では、入出力装置４００Ａのタッチスクリーン４１０への入力情報に基づく第１入力解析部３００７の処理内容を例示したが、第２入力解析部３００８も、入出力装置４００Ｂのタッチスクリーン４１０への入力情報に基づき、第１入力解析部３００７と同様の処理を実行する。

変換部３００９及び３０１０は、位置情報検出部、サイズ情報検出部、姿勢情報検出部、出力部の一例である。変換部３００９及び３０１０はそれぞれ、入力解析部３００７及び３００８から受け取った情報を変換して瓶の情報である対象物情報を検出し、当該対象物情報をロボット制御装置６００に出力する。具体的には、変換部３００９及び３０１０は、修正、削除又は追加対象の瓶指標に対する指示位置、指示姿勢及び指示サイズ区分を変換することで、上記瓶指標に対応する瓶の３次元の重心位置、３次元の姿勢及びサイズ区分を検出する。本実施の形態では、指示サイズ区分と瓶のサイズ区分とは同じ構成であるが、異なっていて互いに対応付けられていてもよい。上記検出は、画像から瓶像の瓶の３次元の位置、サイズ及び姿勢を検出するための画像処理部３００２の演算と同様の演算等により可能である。変換部３００９及び３０１０は、修正、削除又は追加された瓶指標に対応する瓶の３次元の重心位置、３次元の姿勢、サイズ区分及び色区分と当該瓶のＩＤとを対応付けて含む対象物情報を、ロボット制御装置６００に出力する。ロボット制御装置６００は、受け取った対象物情報を用いて瓶を認識しロボット１００Ａ及び１００Ｂを制御する。

機能設定部３０１１は、入出力装置４００Ａ及び４００Ｂから受け取る指令に従って、情報処理装置３００の機能を設定する。図１７は、実施の形態に係る情報処理装置３００の機能を設定する画面の一例を示す図である。例えば、図１６に示すようなタッチスクリーン４１０に表示されるボタン「設定」が、指等のタップにより選択されると、機能設定部３０１１は、当該タッチスクリーン４１０に、例えば図１７に示すような機能設定画面ＦＳを表示させ、情報処理装置３００の機能設定を受け付ける。機能設定画面ＦＳは、少なくとも１つの設定項目を表示し、本実施の形態では、「検出レベル」、「円サイズ」及び「大小判定長さ」の設定項目を表示する。また、タッチスクリーン４１０に表示されるボタン「戻る」が選択されると、機能設定部３０１１は機能設定画面ＦＳを閉じる。

「検出レベル」は、撮像装置５００によって撮像された画像における瓶の認識精度を設定するための項目であり、例えば、「高精度」、「標準」及び「低精度」の３つ精度レベルへの設定を可能にする。瓶の認識精度は、瓶自体の認識精度、並びに、瓶の色、形状、サイズ及び位置等の認識精度を含んでもよい。「円サイズ」は、瓶指標の位置指標を示す「円」のタッチスクリーン４１０上での表示サイズを設定するための項目であり、「大」、「中」及び「小」の３つのサイズレベルへの設定を可能にする。「大小判定長さ」は、瓶のサイズ区分の実サイズ閾値及び画像サイズ閾値を設定するための項目であり、「長」、「中」及び「短」の３つの長さレベルへの設定を可能にする。

各項目のレベルの横に表示される逆三角形マークが選択されると、機能設定部３０１１は当該項目の設定可能なレベルを表示する。機能設定部３０１１は、表示されるレベルのうちから選択されたレベルを当該項目のレベルに決定し、情報処理装置３００の各機能的構成要素に通知する。例えば、機能設定部３０１１は、決定された「検出レベル」を画像処理部３００２に通知する。機能設定部３０１１は、決定された「円サイズ」を指標処理部３００３及び３００４に通知する。機能設定部３０１１は、決定された「大小判定長さ」を入力解析部３００７及び３００８、指標処理部３００３及び３００４等に通知する。

＜ロボットシステムの動作＞
実施の形態に係るロボットシステム１の動作を説明する。具体的には、ロボットシステム１が、ベルトコンベヤ２００上の瓶をロボット制御装置６００に認識させる動作を説明する。図１８は、実施の形態に係るロボットシステム１の動作の一例を示すフローチャートである。

図１８に示すように、ステップＳ１０１において、情報処理装置３００は、撮像装置５００にベルトコンベヤ２００の搬送面２２１を所定の時間間隔で撮像させ、撮像された画像データを受け取る。

次いで、ステップＳ１０２において、情報処理装置３００は、画像データを画像処理することで、透明瓶像のエッジが強調表示された第１画像と、色付き瓶像のエッジが強調表示された第２画像とを生成する。

次いで、ステップＳ１０３において、情報処理装置３００は、第１画像上の透明瓶像及び第２画像上の色付き瓶像の位置指標、姿勢指標及びサイズ指標を検出し、瓶指標を生成する。情報処理装置３００は、透明瓶像の瓶指標を第１画像の瓶像の上に重畳表示する第１重畳画像を生成し、入出力装置４００Ａに表示させる。情報処理装置３００は、色付き瓶像の瓶指標を第２画像の瓶像の上に重畳表示する第２重畳画像を生成し、入出力装置４００Ｂに表示させる。本実施の形態では、第１重畳画像及び第２重畳画像は静止画像であるが、これに限定されず、動画像であってもよい。

次いで、ステップＳ１０４において、情報処理装置３００は、透明瓶像の瓶指標及び色付き瓶像の瓶指標それぞれに対応する実物の透明瓶の情報及び実物の色付き瓶の情報をロボット制御装置６００に出力する。瓶の情報は、当該瓶のＩＤ、３次元の重心位置、３次元の姿勢、サイズ区分及び色区分を含む。ロボット制御装置６００は、実物の透明瓶及び色付き瓶の情報に基づき各瓶を認識する。

以下のステップＳ１０５以降では、情報処理装置３００は、入出力装置４００Ａへの入力情報に対応した処理と、入出力装置４００Ｂへの入力情報に対応した処理とを行うが、いずれも同様の処理であるため、入出力装置４００Ａへの入力情報に対応した処理のみを説明する。

ステップＳ１０５において、情報処理装置３００は、瓶指標を修正する入力、つまり修正指令を検出したか否かを判定し、検出した場合（ステップＳ１０５でＹｅｓ）にステップＳ１０６に進み、検出していない場合（ステップＳ１０５でＮｏ）にステップＳ１０８に進む。

ステップＳ１０６において、情報処理装置３００は、瓶指標の修正指令の内容に従って、当該瓶指標の位置指標、姿勢指標及び／又はサイズ指標を修正し、修正後の瓶指標を入出力装置４００Ａに表示させる。例えば図１０に示すように、位置指標の修正は位置指標を表す円を移動させることで行われる。姿勢指標の修正は姿勢指標を表す矢印を回動させることで行われる。サイズ指標の修正は上記矢印を伸縮させることで行われる。

次いで、ステップＳ１０７において、情報処理装置３００は、修正後の瓶指標に対応する瓶のＩＤ、３次元の重心位置、３次元の姿勢、サイズ区分及び色区分を含む実物の瓶の情報を修正し、ロボット制御装置６００に出力する。ロボット制御装置６００は、ロボット１００Ａの処理対象の瓶の情報において、修正後の瓶指標に対応する瓶の情報を修正し、当該瓶を認識する。情報処理装置３００は、ステップＳ１１４に進む。

ステップＳ１０８において、情報処理装置３００は、瓶指標を削除する入力、つまり削除指令を検出したか否かを判定し、検出した場合（ステップＳ１０８でＹｅｓ）にステップＳ１０９に進み、検出していない場合（ステップＳ１０８でＮｏ）にステップＳ１１１に進む。

ステップＳ１０９において、情報処理装置３００は、瓶指標の削除指令に従って、当該瓶指標を削除した画面を入出力装置４００Ａに表示させる。例えば図１２に示すように、瓶指標の削除は、当該瓶指標の位置指標を表す円の内側領域を指定することで行われる。

次いで、ステップＳ１１０において、情報処理装置３００は、削除対象の瓶指標に対応する瓶の情報をロボット制御装置６００に出力する。ロボット制御装置６００は、削除対象の瓶の情報をロボット１００Ａの処理対象の瓶の情報から除外する。情報処理装置３００は、ステップＳ１１４に進む。

ステップＳ１１１において、情報処理装置３００は、瓶指標を追加する入力、つまり追加指令を検出したか否かを判定し、検出した場合（ステップＳ１１１でＹｅｓ）にステップＳ１１２に進み、検出していない場合（ステップＳ１１１でＮｏ）にステップＳ１１４に進む。

ステップＳ１１２において、情報処理装置３００は、瓶指標の追加指令の内容に従って、新規瓶指標の位置指標、姿勢指標及びサイズ指標を検出し、当該新規瓶指標を入出力装置４００Ａに表示させる。例えば図１４及び図１５に示すように、瓶指標の追加は、新規位置指標を表す円の中心位置を指定した後に、新規姿勢指標及び新規サイズ指標に対応する矢印を上記中心位置から引き伸ばすことで行われる。

次いで、ステップＳ１１３において、情報処理装置３００は、新規瓶指標に対応する瓶のＩＤ、３次元の重心位置、３次元の姿勢、サイズ区分及び色区分を含む実物の瓶の情報を追加して検出しロボット制御装置６００に出力する。ロボット制御装置６００は、新規瓶指標に対応する瓶の情報をロボット１００Ａの処理対象の瓶の情報に加え、当該瓶を認識する。情報処理装置３００は、ステップＳ１１４に進む。

ステップＳ１１４において、情報処理装置３００は、撮像装置５００により新たに画像を撮像するタイミングであるか否かを判定し、当該タイミングである場合（ステップＳ１１４でＹｅｓ）にステップＳ１０１に戻り、当該タイミングに未だ至っていない場合（ステップＳ１１４でＮｏ）にステップＳ１０５に戻る。情報処理装置３００は、計時するためのタイマ又はクロックを備えてもよい。

上述のように、情報処理装置３００は、撮像装置５００により画像が撮像される毎に、当該画像を用いて第１重畳画像及び第２重畳画像を生成して表示し、各重畳画像に含まれる瓶指標それぞれに対応する瓶の３次元の重心位置、３次元の姿勢、サイズ区分及び色区分をロボット制御装置６００に出力する。さらに、情報処理装置３００は、瓶指標の修正、削除又は追加が行われると、修正、削除又は追加の瓶指標に対応する瓶の３次元の重心位置、３次元の姿勢、サイズ区分及び色区分等の情報をロボット制御装置６００に出力する。操作者は、第１重畳画像及び第２重畳画像を画面上で視認して瓶指標の適正又は不適正を判断し、当該画面上で瓶指標の修正、削除又は追加を行うことができる。本実施の形態では、画面上でのタップ及びスライドのみの組み合わせにより、瓶指標の修正、削除及び追加が可能である。ロボット制御装置６００は、情報処理装置３００によって自動で検出された瓶の情報だけでなく、操作者によって修正、削除又は追加された瓶指標に対応する瓶の情報を用いて各瓶を認識しロボット１００Ａ及び１００Ｂを制御できる。

＜効果等＞
実施の形態に係る情報処理装置３００において、入力解析部３００７及び３００８は、位置検出部として機能し、対象物である瓶が映し出される画面上で指示される瓶の指示位置を検出し、サイズ検出部として機能し、画面上で指示される瓶の指示サイズを検出する。変換部３００９及び３０１０は、位置情報検出部として機能し、指示位置に基づき瓶の実物の位置を検出し、サイズ情報検出部として機能し、指示サイズに基づき瓶の実物のサイズを検出し、出力部として瓶の実物の位置及びサイズの情報を含む対象物情報を出力する。指標処理部３００３及び３００４は、指示位置を表す位置指標と瓶の実物のサイズを表すサイズ指標とを生成し画面上に表示する。なお、入力解析部３００７及び３００８は、画面上でなされた指示が形成する軌跡に対応するサイズを指示サイズとして検出してもよい。

上記構成によると、情報処理装置３００は、瓶が映し出される画面上で指示される瓶の位置及びサイズに基づき、瓶の実物の位置及びサイズを検出し出力する。よって、情報処理装置３００は、画像に含まれる瓶の実物を認識するための画面上での設定を可能にする。さらに、情報処理装置３００は、瓶の位置指標及びサイズ指標、つまり、指示された内容を表す指標を生成し画面上に表示する。よって、画面上での瓶の位置及びサイズの認識が容易になる。

また、変換部３００９及び３０１０は、対象物情報を、瓶の実物に対する処理作業を行うロボット１００Ａ及び１００Ｂを制御するロボット制御装置６００に出力してもよい。上記構成によると、ロボット制御装置６００は、対象物情報を用いて瓶の実物を認識し、認識結果に基づきロボット１００Ａ及び１００Ｂに瓶の処理作業を行わせることができる。よって、ロボット１００Ａ及び１００Ｂの作業精度の向上が可能になる。

また、実施の形態に係る情報処理装置３００において、画像処理部３００２は、第１画像処理部として機能し、瓶が映し出される画像を処理することで当該画像から瓶を抽出し、抽出された瓶の実物の位置及びサイズを検出してもよい。さらに、指標処理部３００３及び３００４は、画像処理部３００２によって検出された瓶の実物の位置及びサイズに対応する位置指標及びサイズ指標を生成し表示してもよい。上記構成によると、情報処理装置３００は、瓶が映し出される画像を処理することで、当該瓶の位置指標及びサイズ指標を自動で生成し表示することができる。

また、入力解析部３００７及び３００８は、画面上で加えられる位置指標への修正又は削除の指示を検出し、当該指示に従って指示位置を修正又は削除してもよい。さらに、変換部３００９及び３０１０は、修正又は削除された指示位置に基づき、瓶の実物の位置の情報を修正又は削除し、当該位置の情報を含む対象物情報を出力してもよい。さらに、指標処理部３００３及び３００４は、修正又は削除された指示位置に基づき、位置指標を修正又は削除してもよい。上記構成によると、情報処理装置３００は、画面上に表示されている位置指標に対する修正及び削除を受け付け、当該修正及び削除を当該位置指標及び当該位置指標に対応する瓶の実物の位置の情報に反映することができる。

また、入力解析部３００７及び３００８は、画面上で加えられるサイズ指標への修正又は削除の指示を検出し、当該指示に従って指示サイズを修正又は削除してもよい。さらに、変換部３００９及び３０１０は、修正又は削除された指示サイズに基づき、瓶の実物のサイズの情報を修正又は削除し、当該サイズの情報を含む対象物情報を出力してもよい。さらに、指標処理部３００３及び３００４は、修正又は削除された瓶の実物のサイズに基づき、サイズ指標を修正又は削除してもよい。上記構成によると、情報処理装置３００は、画面上に表示されているサイズ指標に対する修正及び削除を受け付け、当該修正及び削除を当該サイズ指標及び当該サイズ指標に対応する瓶の実物のサイズの情報に反映することができる。

実施の形態に係る情報処理装置３００において、入力解析部３００７及び３００８は、位置検出部として機能し、瓶が映し出される画面上での瓶の指示位置を検出し、姿勢検出部として機能し、画面上で指示される瓶の指示姿勢を検出する。変換部３００９及び３０１０は、位置情報検出部として機能し、指示位置に基づき瓶の実物の位置を検出し、姿勢情報検出部として機能し、指示姿勢に基づき瓶の実物の姿勢を検出し、瓶の実物の位置及び姿勢の情報を含む対象物情報を出力する。指標処理部３００３及び３００４は、指示位置を表す位置指標と指示姿勢を表す姿勢指標とを生成し画面上に表示する。なお、入力解析部３００７及び３００８は、画面上でなされた指示が形成する軌跡に対応する方向を指示姿勢として検出してもよい。

上記構成によると、情報処理装置３００は、瓶が映し出される画面上で指示される瓶の位置及び姿勢に基づき、瓶の実物の位置及び姿勢を検出し出力する。よって、情報処理装置３００は、画像に含まれる瓶の実物を認識するための画面上での設定を可能にする。さらに、情報処理装置３００は、瓶の位置指標及び姿勢指標を生成し画面上に表示するため、画面上での瓶の位置及び姿勢の認識を容易にする。

さらに、入力解析部３００７及び３００８は、画面上で指示される瓶の指示サイズを検出し、変換部３００９及び３０１０は、当該指示サイズに基づき、瓶の実物のサイズを検出し、当該サイズの情報をさらに含む対象物情報を出力してもよい。さらに、指標処理部３００３及び３００４は、瓶のサイズ指標をさらに生成し画面上に表示してもよい。上記構成によると、情報処理装置３００は、画面上で指示された指示位置、指示姿勢及び指示サイズに基づき、瓶の実物の位置、姿勢及びサイズを検出し出力する。よって、情報処理装置３００は、実物の瓶の認識精度を向上する。さらに、情報処理装置３００は、瓶の位置指標、姿勢指標及びサイズ指標を生成し画面上に表示するため、画面上での瓶の位置、姿勢及びサイズの認識を容易にする。

また、画像処理部３００２は、瓶が映し出される画像を処理することで当該瓶の実物の位置及び姿勢し、指標処理部３００３及び３００４は、当該瓶の実物の位置及び姿勢に対応する位置指標及び姿勢指標を生成し表示してもよい。上記構成によると、情報処理装置３００は、瓶が映し出される画像を処理することで、当該瓶の位置指標及び姿勢指標を自動で生成し表示することができる。

さらに、画像処理部３００２は、第２画像処理部として機能し、瓶が映し出される画像を処理することで当該瓶の実物のサイズを検出し、指標処理部３００３及び３００４は、当該瓶の実物のサイズに対応するサイズ指標を生成し表示してもよい。上記構成によると、情報処理装置３００は、瓶が映し出される画像を処理することで、当該瓶の位置指標、姿勢指標及びサイズ指標を自動で生成し表示することができる。

また、入力解析部３００７及び３００８は、画面上で加えられる姿勢指標への修正又は削除の指示を検出し、当該指示に従って指示姿勢を修正又は削除してもよい。さらに、変換部３００９及び３０１０は、修正又は削除された指示姿勢に基づき、瓶の実物の姿勢の情報を修正又は削除し、当該姿勢の情報を含む対象物情報を出力してもよい。さらに、指標処理部３００３及び３００４は、修正又は削除された指示姿勢に基づき姿勢指標を修正又は削除してもよい。上記構成によると、情報処理装置３００は、画面上に表示されている姿勢指標に対する修正及び削除を受け付け、当該修正及び削除を当該姿勢指標及び当該姿勢指標に対応する瓶の実物の姿勢の情報に反映することができる。

また、実施の形態に係る設定装置１０は、情報処理装置３００と、入出力装置４００Ａ及び４００Ｂとを備え、入出力装置４００Ａ及び４００Ｂは、画面を表示するディスプレイと、指示の入力を受け付け情報処理装置３００に出力する入力装置とを備える。例えば、入出力装置４００Ａ及び４００Ｂは、ディスプレイの機能と入力装置の機能とを含むタッチスクリーン４１０を備えてもよい。上記構成によると、実施の形態に係る情報処理装置３００と同様の効果が得られる。さらに、設定装置１０は、画像に含まれる瓶の実物を認識するための設定の入力を可能にする。

また、実施の形態に係る画像認識システム２０は、設定装置１０と、瓶の実物を撮像し且つ撮像された画像を設定装置１０に出力する撮像装置５００とを備える。上記構成によると、実施の形態に係る情報処理装置３００と同様の効果が得られる。さらに、画像認識システム２０は、瓶の実物を撮像し、撮像された画像に含まれる瓶の実物を認識するための設定を可能にする。

また、実施の形態に係る画像認識システム２０において、情報処理装置３００の画像処理部３００２は、第３画像処理部として機能し、瓶の実物が撮像された画像を処理することで当該瓶の実物の位置、サイズ及び姿勢を検出してもよい。さらに、指標処理部３００３及び３００４は、画像処理部３００２によって検出された瓶の実物の位置、サイズ及び姿勢に対応する位置指標、サイズ指標及び姿勢指標を生成しディスプレイの画面上に表示してもよい。上記構成によると、画像認識システム２０は、撮像装置５００によって撮像された画像を用いて、瓶の位置指標、姿勢指標及びサイズ指標を自動で生成し表示することができる。

また、実施の形態に係るロボットシステム１は、画像認識システム２０と、瓶の実物に対する処理作業を行うロボット１００Ａ及び１００Ｂと、ロボット１００Ａ及び１００Ｂを制御するロボット制御装置６００とを備え、ロボット制御装置６００は、情報処理装置３００から出力される対象物情報を用いて、瓶の実物を認識し、ロボット１００Ａ及び１００Ｂに瓶の実物を処理させる。上記構成によると、ロボットシステム１は、撮像装置５００によって撮像された画像を用いて、実物の瓶の位置、姿勢及びサイズを自動で検出し、ロボット１００Ａ及び１００Ｂの制御に適用することができる。さらに、ロボットシステム１は、入出力装置４００Ａ及び４００Ｂの画面を介して、瓶の位置指標、姿勢指標及び／又はサイズ指標の設定を受け付け、受け付けた設定を実物の瓶の位置、姿勢及びサイズに反映することができる。よって、ロボットシステム１は、ロボット１００Ａ及び１００Ｂの高精度な制御を可能にする。

＜その他の実施の形態＞
以上、本開示の実施の形態の例について説明したが、本開示は、上記実施の形態に限定されない。すなわち、本開示の範囲内で種々の変形及び改良が可能である。例えば、各種変形を実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。

例えば、実施の形態において、対象物指標である瓶指標は、位置指標、姿勢指標及びサイズ指標を含むが、対象物指標が含む指標はこれに限定されない。対象物指標は、位置指標、姿勢指標及びサイズ指標の少なくとも１つを含んでもよい。例えば、対象物指標は、対象物の位置が予め既知である場合に位置指標を含まなくてもよく、対象物が球体のように向きを有しない場合に姿勢指標を含まなくてもよく、各対象物のサイズが同一である場合にサイズ指標を含まなくてもよい。さらに、情報処理装置３００が処理する対象物情報は、対象物の実物の位置、姿勢及びサイズの情報の少なくとも１つを含んでもよい。

また、実施の形態において、瓶指標に対する修正、削除及び追加の情報を入出力装置４００Ａ及び４００Ｂに入力する方法として、指又はペン等によるタッチスクリーン４１０へのタップ及びスライドの組み合わせの入力方法が用いられるが、これに限定されない。位置、方向及び距離を検出することができる入力方法であればよい。例えば、方向及び距離の入力は、起点位置及び終点位置を指定する入力であってもよい。

また、実施の形態において、情報処理装置３００の入力解析部３００７及び３００８は、タッチスクリーン４１０に入力される指示サイズのサイズ区分を検出し、変換部３００９及び３０１０に出力するが、これに限定されない。例えば、変換部３００９及び３０１０が、入力解析部３００７及び３００８から受け取る指示サイズからサイズ区分を検出してもよい。また、サイズ区分が用いられなくてもよい。例えば、入力解析部３００７及び３００８が変換部３００９及び３０１０に指示サイズを出力し、変換部３００９及び３０１０が、指示サイズを用いて実物の瓶のサイズを検出してもよい。

また、実施の形態において、入出力装置４００Ａ及び４００Ｂは、画面表示し且つ瓶指標に対する修正、削除及び追加の情報の入力を受け付けるために、タッチスクリーン４１０を備えるが、これに限定されない。例えば、入出力装置４００Ａ及び４００Ｂは、画面表示するディスプレイと、入力を受け付ける入力装置とを分離して備えてもよい。例えば、入出力装置４００Ａ及び４００Ｂは、入力装置に入力される指令に従って、ディスプレイ画面上のポインタ及びカーソル等の指示要素を動作させるように構成されてもよい。入力装置は、例えば、十字ボタン、プッシュスイッチ、レバー、ダイヤル、ジョイスティック、マウス、キー等を含む装置であってもよい。

また、実施の形態において、情報処理装置３００は、撮像装置５００によって撮像された同一の画像を処理し、透明瓶のエッジが強調された第１画像と、色付き瓶のエッジが強調された第２画像とを生成するが、これに限定されない。例えば、複数の撮像装置５００がロボット１００に対応して設けられてもよい。そして、情報処理装置３００は、第１ロボット１００Ａに対応する第１撮像装置５００によって撮像された画像を処理して第１画像を生成し、第２ロボット１００Ｂに対応する第２撮像装置５００によって撮像された画像を処理して第２画像を生成してもよい。

また、複数の情報処理装置３００が、ロボット１００に対応させる等により設けられてもよい。例えば、第１ロボット１００Ａに対応する第１情報処理装置３００は第１画像に関する処理を行い、第２ロボット１００Ｂに対応する第２情報処理装置３００は第２画像に関する処理を行ってもよい。

また、実施の形態において、ロボット１００は、水平多関節型の産業用ロボットであるが、これに限定されない、ロボット１００は、例えば、垂直多関節型ロボット、極座標型ロボット、円筒座標型ロボット、直角座標型ロボット、又はその他の産業用ロボットとして構成されてもよい。ロボット１００は、産業用ロボット以外であってもよく、サービスロボット、建設機械、クレーン、荷役搬送車、及びヒューマノイド等であってもよい。サービスロボットは、介護、医療、清掃、警備、案内、救助、調理、商品提供等の様々なサービス業で使用されるロボットである。

また、本開示の技術は、設定方法であってもよい。例えば、本開示の一態様に係る設定方法は、画面上に映し出される対象物の実物を認識するための前記対象物の位置及びサイズの設定方法であって、前記画面上で指示される前記対象物の位置である指示位置を検出し、前記画面上で指示される前記対象物のサイズである指示サイズを検出し、前記指示位置に基づき、前記対象物の実物の位置を検出し、前記指示サイズに基づき、前記対象物の実物のサイズを検出し、前記指示位置を表す位置指標と前記対象物の実物のサイズを表すサイズ指標とを生成し前記画面上に表示し、前記対象物の実物の位置及びサイズの情報を含む対象物情報を出力する。

また、本開示の別の一態様に係る設定方法は、画面上に映し出される対象物の実物を認識するための前記対象物の位置及び姿勢の設定方法であって、前記画面上で指示される前記対象物の位置である指示位置を検出し、前記画面上で指示される前記対象物の姿勢である指示姿勢を検出し、前記指示位置に基づき、前記対象物の実物の位置を検出し、前記指示姿勢に基づき、前記対象物の実物の姿勢を検出し、前記指示位置を表す位置指標と前記指示姿勢を表す姿勢指標とを生成し前記画面上に表示し、前記対象物の実物の位置及び姿勢の情報を含む対象物情報を出力する。

本開示の別の一態様に係る設定方法において、前記画面上で指示される前記対象物のサイズである指示サイズを検出し、前記指示サイズに基づき、前記対象物の実物のサイズを検出し、前記対象物の実物のサイズを表すサイズ指標をさらに生成し前記画面上に表示し、前記対象物の実物のサイズの情報をさらに含む前記対象物情報を出力してもよい。

上記設定方法によれば、上記情報処理装置３００等と同様の効果が得られる。このような設定方法は、ＣＰＵ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。

また、本開示の技術は、上記設定方法を実行するためのプログラムであってもよく、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。

また、機能ブロック図におけるブロックの分割は一例であり、複数のブロックを一つのブロックとして実現する、一つのブロックを複数に分割する、及び／又は、一部の機能を他のブロックに移してもよい。また、類似する機能を有する複数のブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

［変形例］
以下、実施の形態の変形例について説明する。本例では、上記図６に示す情報処理装置３００の画像処理部３００２が、機械学習により予め生成された学習済みモデルを用いて、撮像装置５００により生成されたカメラ画像から瓶の位置、色、及びサイズ等を検出することで、認識精度の向上を実現する。

以下の説明では、学習済みモデルを生成する学習フェーズ、学習済みモデルを使用する運用フェーズ、及び学習済みモデルの再学習について、それぞれ詳しく説明する。

（１）学習フェーズ
図１９は、学習装置７００の機能的構成例を示すブロック図である。図２０は、学習用ＤＢ（データベース）７１０の内容例を示す図である。

学習装置７００は、学習用ＤＢ７１０に保存された学習用データセットを用いて、画像中の瓶の位置、色、及びサイズを推定するための学習済みモデルを生成する。

学習装置７００は、ＣＰＵ、ＲＡＭ、ＲＯＭ、不揮発性メモリ、及び入出力インタフェース等を含むコンピュータである。学習装置７００のＣＰＵは、ＲＯＭ又は不揮発性メモリからＲＡＭにロードされたプログラムに従って情報処理を実行する。

学習装置７００は、取得部７０１及び学習部７０２を備える。これらの機能部は、学習装置７００のＣＰＵがプログラムに従って情報処理を実行することによって実現される。

取得部７０１は、学習用ＤＢ７１０から学習用データセットを取得する。

学習部７０２は、取得部７０１により取得された学習用データセットを用いて、画像中の瓶の位置、色、及びサイズを推定するための学習済みモデルを機械学習により生成する。

図２０に示すように、学習用ＤＢ７１０には、学習用画像、クラス、及び位置が互いに関連付けられた学習用データセットが記憶される。学習用画像は、入力データとして用いられる。クラス及び位置は、教師データとして用いられる。

学習用画像は、対象物である瓶の像を含んだ画像である。学習用画像は、例えばベルトコンベヤ２００上の瓶Ｗを撮影する撮像装置５００（図１参照）によって生成された画像である。これに限らず、学習用画像は、他の場所で瓶を撮影した画像であってもよい。

クラス及び位置は、学習用画像に含まれる瓶のクラス及び位置である。瓶のクラス及び位置は、例えば人によって判断され、入力される。

瓶のクラスは、例えば「透明瓶・大」、「透明瓶・小」、「色付き瓶・大」、及び「色付き瓶・小」等に分けられる。透明瓶であるか色付き瓶であるかは、瓶の色を表す。大であるか小であるかは、瓶のサイズを表す。瓶の色及びサイズは、瓶の属性の一例である。

瓶の位置は、学習用画像中の瓶の位置であり、例えば瓶を含む境界ボックスの座標で表される。境界ボックスの座標は、左上端のｘｙ座標、幅、及び高さを含んでいる。これに限らず、瓶の位置は、例えば中心位置等の代表点の座標で表されてもよい。代表点は、学習用画像中の瓶の像の中の１点である。

図２１は、学習装置７００において実現される、学習済みモデルの生成処理の手順例を示す図である。学習済みモデルの生成処理は、ユーザの操作によって開始される。図２２は、学習済みモデルの生成処理を説明するための図である。同図では、図２１の各処理に対応する箇所に、処理のステップ番号を付す。

本例では、例えば SSD（Single Shot MultiBox Detector）等の物体検出モデルＭＤＬが用いられる。物体検出モデルＭＤＬの出力層には、クラス（Class name）、境界ボックスの座標（Bounding Box (x,y,w,h)）、及び確度（Confidence）の要素が設けられる。SSD に限らず、Mask R-CNN 又は YOLO（You Only Look Once）等が用いられてもよい。

物体検出モデルＭＤＬに限らず、画像の領域分割を行う Semantic Segmentation 又は Instance Segmentation 等の領域分割モデルが用いられてもよいし、画像中の特徴点を検出する Keypoint Detection 等の特徴点検出モデルが用いられてもよい。

図２１に示すように、ステップＳ２１において、取得部７０１は、学習用画像、クラス、及び位置を含む学習用データセットを学習用ＤＢ７１０から取得する

ステップＳ２２において、学習部７０２は、学習用画像ＬＰを入力データＩＰＤとして物体検出モデルＭＤＬに入力する。ステップＳ２３において、学習部７０２は、物体検出モデルＭＤＬによる計算を行う。ステップＳ２４において、学習部７０２は、物体検出モデルＭＤＬからクラス、位置、及び確度を出力データＯＰＤとして出力する。クラスは、瓶の色及びサイズを表す。

ステップＳ２５において、学習部７０２は、出力データＯＰＤとしてのクラス及び位置と、教師データＴＲＤとしてのクラス及び位置との誤差を算出する。ステップＳ２６において、学習部７０２は、誤差を低減するように誤差逆伝播計算を行う。

以上の手順を繰り返すことにより、画像中の瓶の位置、色、及びサイズを推定するための学習済みモデル（すなわち、学習済みの物体検出モデル）が生成される。生成された学習済みモデルは、以下に説明する運用フェーズにおいて使用される。

（２）運用フェーズ
図２３は、ロボットシステム１において実現される、学習済みモデルを用いた識別処理の手順例を示す図である。識別処理は、撮像装置５００がベルトコンベヤ２００上の瓶Ｗを撮像すると開始される。図２４は、学習済みモデルを用いた識別処理を説明するための図である。なお、以下の説明では、上記図６に示す情報処理装置３００の各機能部との関係についても言及する。

ステップＳ３１において、情報処理装置３００は、撮像装置５００により生成されたカメラ画像ＣＰを取得する（撮像制御部３００１としての処理）。

ステップＳ３２において、情報処理装置３００は、上述の学習フェーズにおいて生成された学習済みモデルＬＭＤＬを用いて、カメラ画像ＣＰ中の瓶の位置、色、及びサイズを推定する（画像処理部３００２としての処理）。

具体的には、情報処理装置３００は、図２４に示すように、カメラ画像ＣＰを入力データＩＰＤとして学習済みモデルＬＭＤＬに入力し、学習済みモデルＬＭＤＬによる計算を行い、クラス、位置、及び確度を出力データＯＰＤとして出力する。クラスは、瓶の色及びサイズを表す。位置は、瓶を含む境界ボックスの座標を表す。また、情報処理装置３００は、境界ボックスの座標に基づいて、境界ボックスの中心位置等の代表点の座標を算出し、それを瓶の位置としてもよい。

これに限らず、画像中の特徴点を検出するKeypoint Detection 等の領域分割モデルを用いて、カメラ画像ＣＰ中の瓶の代表点の座標を直接的に推定してもよい。また、画像の領域分割を行う Semantic Segmentation 等の領域分割モデルを用いて、カメラ画像中の瓶の領域を推定し、領域の中心位置等の代表点の座標を算出し、それを瓶の位置としてもよい。

ステップＳ３３において、情報処理装置３００は、推定された瓶の位置、色、及びサイズに基づいて、瓶指標を生成する（指標処理部３００３，３００４としての処理）。

具体的には、情報処理装置３００は、推定された瓶の色が透明瓶である場合に、透明瓶の瓶指標を生成する（第１指標処理部３００３としての処理）。また、情報処理装置３００は、推定された瓶の色が色付き瓶である場合に、色付き瓶の瓶指標を生成する（第２指標処理部３００４としての処理）。瓶指標は、推定された瓶の位置に基づく位置指標と、推定された瓶のサイズに基づくサイズ指標とを含んでいる。

ステップＳ３４において、情報処理装置３００は、入出力装置４００Ａ，４００Ｂのタッチスクリーン４１０にカメラ画像と瓶指標を表示する（画像合成部３００５，３００６としての処理）。

具体的には、情報処理装置３００は、カメラ画像と透明瓶の瓶指標の画像とを合成し、入出力装置４００Ａに出力する（第１画像合成部３００５としての処理）。また、情報処理装置３００は、カメラ画像と色付き瓶の瓶指標の画像とを合成し、入出力装置４００Ｂに出力する（第２画像合成部３００６としての処理）。合成された画像は、例えば上記図８及び図９に示した重畳画像と同様である。なお、カメラ画像と瓶指標の画像とを並べて表示してもよい。

ステップＳ３５において、情報処理装置３００は、表示された瓶指標に対する修正の指示がない場合に（Ｓ３５：ＮＯ）、ステップＳ３６に移行する。ステップＳ３６において、情報処理装置３００は、ステップＳ３１において取得されたカメラ画像と、ステップＳ３２において推定された瓶の位置、色およびサイズとを保存する。

ステップＳ３７において、情報処理装置３００は、瓶指標に対応する瓶情報をロボット制御装置６００に出力する（指標処理部３００３，３００４としての処理）。瓶情報は、瓶の位置、色、及びサイズ等の情報を含んでいる。

一方、ステップＳ３５において、情報処理装置３００は、表示中の瓶指標に対する修正の指示があった場合には（Ｓ３５：ＹＥＳ）、ステップＳ３８に移行する。ステップＳ３８において、情報処理装置３００は、修正の指示に基づいて、瓶の位置、色、及びサイズのうちの少なくとも１つを修正する（入力解析部３００７，３００８としての処理）。

具体的には、情報処理装置３００は、入出力装置４００Ａ，４００Ｂのタッチスクリーン４１０に入力された入力情報を解析することにより、表示中の瓶指標に対する修正の指示を検出する。瓶指標に対する修正は、例えば上記図１０～図１６に示した瓶指標の修正等と同様である。ここでは、瓶指標に対する修正とは、瓶指標の削除及び追加も含むものとする。

ステップＳ３９において、情報処理装置３００は、修正内容を保存する（保存処理部としての処理）。具体的には、情報処理装置３００は、修正された瓶の位置、色、及びサイズのうちの少なくとも１つをカメラ画像と関連付けて、記憶部３０１２に構築された修正保存ＤＢ（データベース）３０１３に保存する。

図２５は、修正保存ＤＢ３０１３の内容例を示す図である。修正保存ＤＢ３０１３では、カメラ画像に瓶の位置、色、及びサイズが関連付けられており、瓶の位置、色、及びサイズのうちの少なくとも１つが修正されたものである。

例えば瓶の位置が修正された場合、情報処理装置３００は、修正された瓶の位置を、カメラ画像並びに修正されていない瓶の色及びサイズと関連付けて保存する。

修正保存ＤＢ３０１３に保存される項目は、学習用データベース７１０（図２０参照）に保存される項目と対応する。すなわち、カメラ画像は学習用画像に対応し、瓶の位置は位置に対応し、瓶の色及びサイズはクラスに対応する。

ステップＳ３９の実行後、上述のステップＳ３６およびＳ３７が実行される。なお、ステップＳ３６、ステップＳ３７、ステップＳ３８は、並行して実行されてもよい。

（３）再学習
学習済みモデルの再学習は、修正保存ＤＢ３０１３に保存された修正内容を用いて、上記図１９に示した学習装置７００により行われる。

学習装置７００の取得部７０１は、修正保存ＤＢ３０１３からカメラ画像、瓶の位置、色、及びサイズを取得する。学習装置７００の学習部７０２は、カメラ画像を入力データとし、瓶の位置、色、及びサイズを教師データとして学習済みモデルの再学習を行う。再学習の具体的な処理については、上記図２１及び図２２に示した処理と同様であるため、詳細な説明を省略する。

以上に説明した変形例において、学習装置７００は、学習用画像ＬＰを入力データＩＰＤとし、学習用画像ＬＰ中の瓶の位置及び属性を教師データＴＲＤとして、カメラ画像ＣＰ中の瓶の位置及び属性を推定するための学習済みモデルを機械学習により生成する。これによれば、認識精度の向上を図るための学習済みモデルを生成することができる。

また、変形例において、情報処理装置３００は、学習装置７００により生成された学習済みモデルＬＭＤＬを用いて、カメラ画像ＣＰから瓶の位置及び属性を検出する。これによれば、学習済みモデルを用いることで、認識精度の向上を図ることができる。

また、変形例において、情報処理装置３００は、画面上で加えられた瓶指標への修正指示に従って修正された瓶の位置、色、及びサイズのうちの少なくとも１つをカメラ画像ＣＰと関連付けて保存する。これによれば、ユーザによって判断・入力された修正内容を、再学習に用いることができる。

また、変形例において、学習装置７００は、情報処理装置３００により保存されたカメラ画像ＣＰを入力データとし、修正された瓶の位置、色、及びサイズのうちの少なくとも１つを教師データとして、学習済みモデルＬＭＤＬの再学習を行う。これによれば、ユーザによって判断・入力された修正内容を用いて再学習を行うので、学習済みモデルの認識精度のさらなる向上を図ることができる。

以上に説明した変形例では、画像処理によって検出される瓶の属性の例として瓶の色及びサイズを挙げたが、瓶の属性はこれらに限られるものではない。瓶の属性としては、例えば瓶のサイズ、姿勢、色、又は状態などがある。

例えば、上記実施形態のように瓶の姿勢が、瓶の属性として用いられてもよい。また、瓶が割れている又はラベルが貼られている等の瓶の状態が、瓶の属性として用いられてもよい。

なお、上記図６に示す情報処理装置３００において、入力解析部３００７，３００８は、指示属性を検出する属性検出部の例であり、変換部３００９，３０１０は、実物の属性を検出する属性情報検出部の例である。

以上に説明した変形例では、対象物を撮像する撮像装置５００により生成されたカメラ画像ＣＰを用いる態様について説明した。ここで、撮像装置５００は、センシング部の一例であり、カメラ画像ＣＰは、センシング部により生成される検出画像の一例である。

撮像装置５００に代えて、対象物の３次元位置を表す検出画像を生成するステレオカメラやＴＯＦ（Time-of-Flight）カメラがセンシング部として用いられてもよい。この場合、カメラ画像ＣＰだけでなく、学習用画像ＬＰにも同様に生成された３次元位置を表す検出画像が用いられる。

また、撮像装置５００に代えて、照射光を射出し、射出された照射光の反射光を利用して対象物の距離を表す検出画像を生成するＬｉＤＡＲ（Light Detection And Ranging）がセンシング部として用いられてもよい。この場合、カメラ画像ＣＰだけでなく、学習用画像ＬＰにも同様に生成された対象物の距離を表す検出画像が用いられる。

１ ロボットシステム
１０ 設定装置
２０ 画像認識システム
１００，１００Ａ，１００Ｂ ロボット
３００ 情報処理装置
４００，４００Ａ，４００Ｂ 入出力装置
４１０ タッチスクリーン
５００ 撮像装置
６００ ロボット制御装置
３００２ 画像処理部（第１画像処理部、第２画像処理部、第３画像処理部）
３００３，３００４ 指標処理部
３００５，３００６ 画像合成部
３００７，３００８ 入力解析部（位置検出部、サイズ検出部、姿勢検出部）
３００９，３０１０ 変換部（位置情報検出部、サイズ情報検出部、姿勢情報検出部、出力部）
Ｗ 瓶（対象物）

Claims (31)

1. 対象物が映し出される画面上で指示される前記対象物の位置である指示位置を検出する位置検出部と、
   前記画面上で指示される前記対象物の属性である指示属性を検出する属性検出部と、
   前記指示位置に基づき、前記対象物の実物の位置を検出する位置情報検出部と、
   前記指示属性に基づき、前記対象物の実物の属性を検出する属性情報検出部と、
   前記指示位置を表す位置指標と前記対象物の実物の属性を表す属性指標とを生成し前記画面上に表示する指標処理部と、
   前記対象物の実物の位置及び属性の情報を含む対象物情報を出力する出力部とを含み、
   前記位置検出部及び前記属性検出部の少なくとも１つは、第１の処理を行い、
   前記第１の処理では、前記位置検出部は、前記画面上で加えられる前記位置指標への修正又は削除の指示を検出し、前記指示に従って前記指示位置を修正又は削除し、
   前記位置情報検出部は、前記第１の処理で修正又は削除された前記指示位置に基づき、前記対象物の実物の位置の情報を修正又は削除し、
   前記指標処理部は、前記第１の処理で修正又は削除された前記指示位置に基づき、前記位置指標を修正又は削除し、
   前記出力部は、前記第１の処理に基づき修正又は削除された前記対象物の実物の位置の情報を含む前記対象物情報を出力し、
   前記第１の処理では、前記属性検出部は、前記画面上で加えられる前記属性指標への修正又は削除の指示を検出し、前記指示に従って前記指示属性を修正又は削除し、
   前記属性情報検出部は、前記第１の処理で修正又は削除された前記指示属性に基づき、前記対象物の実物の属性の情報を修正又は削除し、
   前記指標処理部は、前記第１の処理で修正又は削除された前記指示属性に基づき、前記属性指標を修正又は削除し、
   前記出力部は、前記第１の処理に基づき修正又は削除された前記対象物の実物の属性の情報を含む前記対象物情報を出力する、
   情報処理装置。
2. 前記属性検出部は、前記画面上で指示される前記対象物のサイズである指示サイズを検出するサイズ検出部であり、
   前記属性情報検出部は、前記指示サイズに基づき、前記対象物の実物のサイズを検出するサイズ情報検出部であり、
   前記指標処理部は、前記指示位置を表す位置指標と前記対象物の実物のサイズを表すサイズ指標とを生成し前記画面上に表示し、
   前記出力部は、前記対象物の実物の位置及びサイズの情報を含む対象物情報を出力する、
   請求項１に記載の情報処理装置。
3. 前記対象物が映し出される画像を処理することで前記画像から前記対象物を抽出し、抽出された前記対象物の実物の位置及びサイズを検出する第１画像処理部をさらに含み、
   前記指標処理部は、前記第１画像処理部によって検出された前記対象物の実物の位置及びサイズに対応する前記位置指標及び前記サイズ指標を生成し表示する、
   請求項２に記載の情報処理装置。
4. 前記第１の処理では、前記サイズ検出部は、前記画面上で加えられる前記サイズ指標への修正又は削除の指示を検出し、前記指示に従って前記指示サイズを修正又は削除し、
   前記サイズ情報検出部は、前記第１の処理で修正又は削除された前記指示サイズに基づき、前記対象物の実物のサイズの情報を修正又は削除し、
   前記指標処理部は、前記第１の処理に基づき修正又は削除された前記対象物の実物のサイズに基づき、前記サイズ指標を修正又は削除し、
   前記出力部は、前記第１の処理に基づき修正又は削除された前記対象物の実物のサイズの情報を含む前記対象物情報を出力する、
   請求項２または３に記載の情報処理装置。
5. 前記サイズ検出部は、前記画面上でなされた指示が形成する軌跡に対応するサイズを前記指示サイズとして検出する、
   請求項２～４のいずれか一項に記載の情報処理装置。
6. 前記属性検出部は、前記画面上で指示される前記対象物の姿勢である指示姿勢を検出する姿勢検出部であり、
   前記属性情報検出部は、前記指示姿勢に基づき、前記対象物の実物の姿勢を検出する姿勢情報検出部であり、
   前記指標処理部は、前記指示位置を表す位置指標と前記指示姿勢を表す姿勢指標とを生成し前記画面上に表示し、
   前記出力部は、前記対象物の実物の位置及び姿勢の情報を含む対象物情報を出力する、
   請求項１に記載の情報処理装置。
7. 前記対象物が映し出される画像を処理することで、前記画像から前記対象物を抽出し且つ抽出された前記対象物の実物の位置及び姿勢を検出する第１画像処理部をさらに含み、
   前記指標処理部は、前記第１画像処理部によって検出された前記対象物の実物の位置及び姿勢に対応する前記位置指標及び前記姿勢指標を生成し表示する、
   請求項６に記載の情報処理装置。
8. 前記第１の処理では、前記姿勢検出部は、前記画面上で加えられる前記姿勢指標への修正又は削除の指示を検出し、前記指示に従って前記指示姿勢を修正又は削除し、
   前記姿勢情報検出部は、前記第１の処理で修正又は削除された前記指示姿勢に基づき、前記対象物の実物の姿勢の情報を修正又は削除し、
   前記指標処理部は、前記第１の処理で修正又は削除された前記指示姿勢に基づき、前記姿勢指標を修正又は削除し、
   前記出力部は、前記第１の処理に基づき修正又は削除された前記対象物の実物の姿勢の情報を含む前記対象物情報を出力する、
   請求項６または７に記載の情報処理装置。
9. 前記姿勢検出部は、前記画面上でなされた指示が形成する軌跡に対応する方向を前記指示姿勢として検出する、
   請求項６～８のいずれか一項に記載の情報処理装置。
10. 前記画面上で指示される前記対象物のサイズである指示サイズを検出するサイズ検出部と、
    前記指示サイズに基づき、前記対象物の実物のサイズを検出するサイズ情報検出部とをさらに含み、
    前記指標処理部は、前記対象物の実物のサイズを表すサイズ指標をさらに生成し前記画面上に表示し、
    前記出力部は、前記対象物の実物のサイズの情報をさらに含む前記対象物情報を出力する、
    請求項６～９のいずれか一項に記載の情報処理装置。
11. 前記対象物が映し出される画像を処理することで、前記画像から前記対象物を抽出し且つ抽出された前記対象物の実物のサイズを検出する第２画像処理部をさらに含み、
    前記指標処理部は、前記第２画像処理部によって検出された前記対象物の実物のサイズに対応する前記サイズ指標を生成し表示する、
    請求項１０に記載の情報処理装置。
12. 前記サイズ検出部は、前記画面上で加えられる前記サイズ指標への修正又は削除の指示を検出し、前記指示に従って前記指示サイズを修正又は削除し、
    前記サイズ情報検出部は、修正又は削除された前記指示サイズに基づき、前記対象物の実物のサイズの情報を修正又は削除し、
    前記指標処理部は、修正又は削除された前記対象物の実物のサイズに基づき、前記サイズ指標を修正又は削除し、
    前記出力部は、修正又は削除された前記対象物の実物のサイズの情報を含む前記対象物情報を出力する、
    請求項１０または１１に記載の情報処理装置。
13. 前記サイズ検出部は、前記画面上でなされた指示が形成する軌跡に対応するサイズを前記指示サイズとして検出する、
    請求項１０～１２のいずれか一項に記載の情報処理装置。
14. 前記出力部は、前記対象物情報を、前記対象物の実物に対する処理作業を行うロボットを制御する制御装置に出力する、
    請求項１～１３のいずれか一項に記載の情報処理装置。
15. 前記対象物が映し出される画像を処理することで前記画像から前記対象物の実物の位置及び属性を検出する画像処理部をさらに含み、
    前記指標処理部は、前記画像処理部によって検出された前記対象物の実物の位置及び属性に対応する前記位置指標及び前記属性指標を生成し表示する、
    請求項１～１４のいずれか一項に記載の情報処理装置。
16. 前記画像処理部は、学習用画像を入力データとし、前記学習用画像に含まれる対象物の位置及び属性を教師データとして機械学習により予め生成された学習済みモデルを用いて、前記画像から前記対象物の実物の位置及び属性を検出する、
    請求項１５に記載の情報処理装置。
17. 前記位置検出部によって修正された前記指示位置を前記画像と関連付けて保存する保存処理部をさらに備える、
    請求項１５または１６に記載の情報処理装置。
18. 前記属性検出部によって修正された前記指示属性を前記画像と関連付けて保存する保存処理部を備える、
    請求項１５～１７のいずれか一項に記載の情報処理装置。
19. 前記画像は、前記対象物をセンシングするセンシング部により生成された検出画像である、
    請求項１５～１８のいずれか一項に記載の情報処理装置。
20. 前記対象物の属性は、前記対象物のサイズ、姿勢、色、又は状態である、
    請求項１～１９のいずれか一項に記載の情報処理装置。
21. 学習用画像並びに前記学習用画像に含まれる対象物の位置及び属性を取得する取得部と、
    前記学習用画像を入力データとし、前記対象物の位置及び属性を教師データとして、画像から対象物の位置及び属性を推定するための学習済みモデルを機械学習により生成する学習部と、
    を備え、
    前記取得部は、請求項１７または１８に記載の情報処理装置において保存された画像並びに修正された対象物の指示位置及び指示属性のうちの少なくとも１つを取得し、
    前記学習部は、前記画像を入力データとし、修正された前記対象物の指示位置及び指示属性のうちの少なくとも１つを教師データとして、前記学習済みモデルの再学習を行う、
    学習装置。
22. 学習用画像並びに前記学習用画像に含まれる対象物の位置及び属性を取得することと、
    前記学習用画像を入力データとし、前記対象物の位置及び属性を教師データとして、画像から対象物の位置及び属性を推定するための学習済みモデルを機械学習により生成することと、
    請求項１７または１８に記載の情報処理装置において保存された画像並びに修正された対象物の指示位置及び指示属性のうちの少なくとも１つを取得することと、
    前記画像を入力データとし、修正された前記対象物の指示位置及び指示属性のうちの少なくとも１つを教師データとして、前記学習済みモデルの再学習を行うこととを含む、
    学習済みモデルの生成方法。
23. 請求項１～２０のいずれか一項に記載の情報処理装置と、
    前記画面を表示するディスプレイと、
    前記指示の入力を受け付け前記情報処理装置に出力する入力装置とを備える、
    設定装置。
24. 前記ディスプレイの機能と前記入力装置の機能とを含むタッチスクリーンを備える、
    請求項２３に記載の設定装置。
25. 請求項２３または２４に記載の設定装置と、
    前記対象物の実物を撮像し、撮像された画像を前記設定装置に出力する撮像装置とを備える、
    画像認識システム。
26. 前記情報処理装置は、前記対象物の実物が撮像された画像を処理することで、前記画像から前記対象物を抽出し且つ抽出された前記対象物の実物の位置、サイズ及び姿勢を検出する第３画像処理部をさらに含み、
    前記指標処理部は、前記第３画像処理部によって検出された前記対象物の実物の位置、サイズ及び姿勢に対応する前記位置指標、サイズ指標及び姿勢指標を生成し前記ディスプレイの画面上に表示する、
    請求項２５に記載の画像認識システム。
27. 請求項２５または２６に記載の画像認識システムと、
    前記対象物の実物に対する処理作業を行うロボットと、
    前記ロボットを制御する制御装置とを備え、
    前記制御装置は、前記情報処理装置の前記出力部から出力される前記対象物情報を用いて、前記対象物の実物を認識し、前記ロボットに前記対象物の実物を処理させる、
    ロボットシステム。
28. 画面上に映し出される対象物の実物を認識するための前記対象物の位置及びサイズの設定方法であって、
    前記画面上で指示される前記対象物の位置である指示位置を検出することと、
    前記画面上で指示される前記対象物のサイズである指示サイズを検出することと、
    前記指示位置に基づき、前記対象物の実物の位置を検出することと、
    前記指示サイズに基づき、前記対象物の実物のサイズを検出することと、
    前記指示位置を表す位置指標と前記対象物の実物のサイズを表すサイズ指標とを生成し前記画面上に表示することと、
    前記対象物の実物の位置及びサイズの情報を含む対象物情報を出力することと、
    前記画面上で加えられる前記位置指標への修正又は削除の指示を検出し、前記指示に従って前記指示位置を修正又は削除すること、及び、前記画面上で加えられる前記サイズ指標への修正又は削除の指示を検出し、前記指示に従って前記指示サイズを修正又は削除することのうちの少なくとも１つを含む第１の処理を実行することと、
    前記第１の処理で修正又は削除された前記指示位置に基づき、前記対象物の実物の位置の情報を修正又は削除することと、
    前記第１の処理で修正又は削除された前記指示位置に基づき、前記位置指標を修正又は削除することと、
    前記第１の処理に基づき修正又は削除された前記対象物の実物の位置の情報を含む前記対象物情報を出力することと、
    前記第１の処理で修正又は削除された前記指示サイズに基づき、前記対象物の実物のサイズの情報を修正又は削除することと、
    前記第１の処理に基づき修正又は削除された前記対象物の実物のサイズに基づき、前記サイズ指標を修正又は削除することと、
    前記第１の処理に基づき修正又は削除された前記対象物の実物のサイズの情報を含む前記対象物情報を出力することとを含む、
    設定方法。
29. 画面上に映し出される対象物の実物を認識するための前記対象物の位置及び姿勢の設定方法であって、
    前記画面上で指示される前記対象物の位置である指示位置を検出することと、
    前記画面上で指示される前記対象物の姿勢である指示姿勢を検出することと、
    前記指示位置に基づき、前記対象物の実物の位置を検出することと、
    前記指示姿勢に基づき、前記対象物の実物の姿勢を検出することと、
    前記指示位置を表す位置指標と前記指示姿勢を表す姿勢指標とを生成し前記画面上に表示することと、
    前記対象物の実物の位置及び姿勢の情報を含む対象物情報を出力することと、
    前記画面上で加えられる前記位置指標への修正又は削除の指示を検出し、前記指示に従って前記指示位置を修正又は削除すること、及び、前記画面上で加えられる前記姿勢指標への修正又は削除の指示を検出し、前記指示に従って前記指示姿勢を修正又は削除することのうちの少なくとも１つを含む第１の処理を実行することと、
    前記第１の処理で修正又は削除された前記指示位置に基づき、前記対象物の実物の位置の情報を修正又は削除することと、
    前記第１の処理で修正又は削除された前記指示位置に基づき、前記位置指標を修正又は削除することと、
    前記第１の処理に基づき修正又は削除された前記対象物の実物の位置の情報を含む前記対象物情報を出力することと、
    前記第１の処理で修正又は削除された前記指示姿勢に基づき、前記対象物の実物の姿勢の情報を修正又は削除することと、
    前記第１の処理で修正又は削除された前記指示姿勢に基づき、前記姿勢指標を修正又は削除することと、
    前記第１の処理に基づき修正又は削除された前記対象物の実物の姿勢の情報を含む前記対象物情報を出力することとを含む、
    設定方法。
30. 前記画面上で指示される前記対象物のサイズである指示サイズを検出することと、
    前記指示サイズに基づき、前記対象物の実物のサイズを検出することと、
    前記対象物の実物のサイズを表すサイズ指標をさらに生成し前記画面上に表示することと、
    前記対象物の実物のサイズの情報をさらに含む前記対象物情報を出力することとをさらに含む、
    請求項２９に記載の設定方法。
31. 対象物が映し出される画面上で指示される前記対象物の位置である指示位置を検出する位置検出部と、
    前記画面上で指示される前記対象物の属性である指示属性を検出する属性検出部と、
    前記指示位置に基づき、前記対象物の実物の位置を検出する位置情報検出部と、
    前記指示属性に基づき、前記対象物の実物の属性を検出する属性情報検出部と、
    前記指示位置を表す位置指標と前記対象物の実物の属性を表す属性指標とを生成し前記画面上に表示する指標処理部と、
    前記対象物の実物の位置及び属性の情報を含む対象物情報を出力する出力部と、
    前記対象物が映し出される画像を処理することで前記画像から前記対象物の実物の位置及び属性を検出する画像処理部と、
    保存処理部とを含み、
    前記指標処理部は、前記画像処理部によって検出された前記対象物の実物の位置及び属性に対応する前記位置指標及び前記属性指標を生成し表示し、
    前記位置検出部及び前記属性検出部の少なくとも１つは、第２の処理を行い、
    前記第２の処理では、前記位置検出部は、前記画面上で加えられる前記位置指標への修正の指示を検出し、前記指示に従って前記指示位置を修正し、
    前記保存処理部は、前記第２の処理で修正された前記指示位置を前記画像と関連付けて保存し、
    前記第２の処理では、前記属性検出部は、前記画面上で加えられる前記属性指標への修正の指示を検出し、前記指示に従って前記指示属性を修正し、
    前記保存処理部は、前記第２の処理で修正された前記指示属性を前記画像と関連付けて保存する、
    情報処理装置。

Images