JP2024043176A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】ステレオ測距方式による測距を行う場合において、フォーカシングのためのタイムロスが生じることの防止と、測距精度の低下防止との両立を図る。【解決手段】本技術に係る情報処理装置は、それぞれが異なる焦点位置による撮像を行うステレオ測距のための二つのカメラにより得られる撮像画像であるステレオ撮像画像と、ステレオ撮像画像に基づき計算された視差とを入力データとし、視差の補正情報を出力データとして得る人工知能モデルによる推論器を有し、補正情報に基づき視差の補正を行う補正処理部を備えている。【選択図】図７

Description

本技術は、情報処理装置とその方法、及びプログラムに関するものであり、特には、ステレオ測距方式において二つのカメラによる撮像画像に基づき計算される視差について、デフォーカスに伴い生じる誤差を人工知能モデルを用いて補正する技術に関する。

例えば電子機器や各種部品、冷凍食品等といった様々な製品の製造現場においてＦＡ（Factory Automation）化が推進されており、製品としての物体を産業用ロボットによりハンドリングするということが一般的に行われている。例えば、ベルトコンベア等に載置された一又は複数の物体をロボットアームによりピックアップして他の場所に移動させる等といったことが行われている。

このとき、物体の位置の認識はカメラによる撮像画像に基づき行うことができ、一例としては、左右二つのカメラの撮像画像を用いたステレオ測距方式により距離画像（デプス画像）を生成し、該距離画像に基づき物体の輪郭検出（物体領域検出）等を行って物体の位置を認識するということが行われている。

なお、関連する従来技術については下記特許文献１を挙げることができる。下記特許文献１には、異なるカメラパラメータを有するカメラによって得られた画像を用いて、ステレオ視画像を生成する技術が開示されている。

国際公開第２０１１／０９６２５１

ここで、ステレオ測距方式において、対象とする物体に対して合焦位置がずれてピンぼけ（ピントぼけ）の状態となると、撮像画像において対象物体のエッジがなまり視差を適切に求めることができなくなって、対象物体の領域を適切に認識できなくなる。そこで、ステレオカメラとしてＡＦ（Auto Focus）機能を有するカメラを用いることが考えられるが、製造現場において、ロボットアームのように頻繁に動作する物体にステレオカメラを取り付けていると振動等の影響でＡＦのための機構に負荷がかかり、耐久性の面で問題が生じる。

一方で、ステレオカメラとして固定焦点のカメラを用いるものとし、フォーカシングの制御をロボットアームの高さ調整によって行うということも考えられる。しかしながらその場合、高さ調整には高い精度が要求されるものとなり、ロボットアーム自体のコストアップを助長してしまう。

また、そもそもフォーカシングのためにフォーカスレンズやカメラ自体を動かす手法を採る場合には、対象物体に合焦するまでに少なからずタイムロスが生じるものとなり、製造現場における作業効率向上を図る面で望ましくない。

本技術は上記事情に鑑み為されたものであり、ステレオ測距方式による測距を行う場合において、フォーカシングのためのタイムロスが生じることの防止と、測距精度の低下防止との両立を図ることを目的とする。

本技術に係る情報処理装置は、それぞれが異なる焦点位置による撮像を行うステレオ測距のための二つのカメラにより得られる撮像画像であるステレオ撮像画像と、前記ステレオ撮像画像に基づき計算された視差とを入力データとし、前記視差の補正情報を出力データとして得る人工知能モデルによる推論器を有し、前記補正情報に基づき前記視差の補正を行う補正処理部を備えたものである。
前述のように、ステレオ測距方式において対象物体に対するデフォーカスが生じていると視差に誤差が生じるものとなる。上記構成によれば、人工知能モデルによる推論器により、そのようなデフォーカスに伴う視差の誤差を補正するための補正情報を得ることができ、対象物体に対するフォーカシング（ピント合わせ）を行わずとも、視差の誤差を補正情報に基づき補正して、距離を適切に算出することが可能となる。

また、本技術に係る情報処理方法は、情報処理装置が、それぞれが異なる焦点位置による撮像を行うステレオ測距のための二つのカメラにより得られる撮像画像であるステレオ撮像画像と、前記ステレオ撮像画像に基づき計算された視差とを入力データとし、前記視差の補正情報を出力データとして得る人工知能モデルによる推論器が推論した前記補正情報に基づき、前記視差の補正を行う情報処理方法である。
このような情報処理方法によっても、上記した本技術に係る情報処理装置と同様の作用が得られる。

本技術に係るプログラムは、コンピュータ装置が読み取り可能なプログラムであって、それぞれが異なる焦点位置による撮像を行うステレオ測距のための二つのカメラにより得られる撮像画像であるステレオ撮像画像と、前記ステレオ撮像画像に基づき計算された視差とを入力データとし、前記視差の補正情報を出力データとして得る人工知能モデルによる推論器が推論した前記補正情報に基づき、前記視差の補正を行う機能を、前記コンピュータ装置に実現させるプログラムである。
このようなプログラムにより、上記した本技術に係る情報処理装置を実現する。

本技術に係る実施形態としての情報処理装置を備えて構成されるハンドリングシステムの構成例を示したブロック図である。 実施形態におけるカメラの内部構成例を示したブロック図である。 実施形態における各カメラの固定焦点位置についての説明図である。 実施形態としての情報処理装置のハードウェア構成例を示したブロック図である。 実施形態における測距可能距離範囲の説明図である。 測距可能距離範囲の意義についての説明図である。 実施形態としての情報処理装置が有する機能を説明するための機能ブロック図である。 実施形態におけるブロックマッチング処理の説明図である。 実施形態における機械学習に用いる学習用入力データの取得手法についての説明図である。 実施形態における機械学習の具体的手法についての説明図である。 実施形態としての視差補正手法を実現するための具体的な処理手順例を示したフローチャートである。 変形例における機械学習手法の説明図である。 変形例における推論時の構成例を示した図である。

以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
＜１．実施形態としてのハンドリングシステムの概要＞
＜２．装置構成例＞
＜３．実施形態としての視差補正手法＞
＜４．処理手順＞
＜５．変形例＞
＜６．実施形態のまとめ＞
＜７．本技術＞

＜１．実施形態としてのハンドリングシステムの概要＞
図１は、本技術に係る実施形態としての情報処理装置１を備えて構成される、実施形態としてのハンドリングシステムの構成例を示したブロック図である。
図示のように実施形態としてのハンドリングシステムは、情報処理装置１、ロボットアーム２、ベルトコンベア３、カメラ４ｌ及びカメラ４ｒを備えている。

ロボットアーム２は、アーム先端部に吸着ハンドとして機能するハンド部２ａを有している。ロボットアーム２は、ハンド部２ａを対象物体ｏｂに押し当てることで対象物体ｏｂを吸着することができ、ハンド部２ａに吸着された対象物体ｏｂをアームの駆動によりピックアップすることが可能とされる。

カメラ４ｌ、カメラ４ｒは、水平方向において所定距離離間して配置されており、ステレオ測距方式により測距を行うためのステレオ撮像画像、すなわち左目画像（以下「Ｌ画像」と表記）、右目画像（以下「Ｒ画像」と表記）としての撮像画像を得るためのステレオカメラとして機能し、それぞれデジタルカメラ装置として構成されている。

本例において、ハンドリングシステムは、例えば電子機器や各種部品、冷凍食品等といった製品の製造現場において、該製品としての対象物体ｏｂをロボットアーム２によりハンドリングするシステムとされている。
この場合、カメラ４ｌ及びカメラ４ｒにより撮像対象とする物体である対象物体ｏｂは製品であり、これらカメラ４ｌ及びカメラ４ｒにより得られるＬ画像及びＲ画像に基づくステレオ測距方式による測距を行って得られる距離画像に基づき、対象物体ｏｂの物体領域（物体存在領域）等を認識する処理が行われる。

本例では、ベルトコンベア３上に載置された製品としての対象物体ｏｂをロボットアーム２によりピックアップして他の場所に移動させる用途を前提としているが、ロボットアーム２を用いた対象物体ｏｂのハンドリングの態様についてはこれに限定されず、例えばベルトコンベア３上以外の場所に載置された対象物体ｏｂをベルトコンベア３上に移動させる等、他の態様も考えられる。

また、本例では、いわゆるハンドアイ方式を前提としており、カメラ４ｌ及びカメラ４ｒはハンド部２ａに対して取り付けられている。図示のようにカメラ４ｌ及びカメラ４ｒは、ハンド部２ａが対象物体ｏｂの上方に位置された状態で、対象物体ｏｂ側を撮像する向きに取り付けられている。すなわち、下方側を撮像する向きに取り付けられている。

なお、ここではカメラ４ｌ及びカメラ４ｒがハンド部２ａに対して外付けされた例を挙げているが、カメラ４ｌ及びカメラ４ｒがハンド部２ａに一体に設けられた構成も考えられる。
また、ハンドアイ方式に限定されず、カメラ４ｌ及びカメラ４ｒは、対象物体ｏｂを撮像可能であれば、ハンド部２ａ以外の所定位置に設けることもできる。

情報処理装置１は、コンピュータ装置を有して構成され、カメラ４ｌ及びカメラ４ｒにより得られるステレオ撮像画像に基づきステレオ測距方式による測距を行って距離画像を生成する機能や、ロボットアーム２の動作制御を行う機能を有している。

ここで、対象物体ｏｂを適切にピックアップするためには、ハンド部２ａによる吸着位置を、例えば対象物体ｏｂの上面中央位置等、対象物体ｏｂを安定的に保持できる位置に定めるべきである。或いは、ハンド部２ａにより複数の対象物体ｏｂを一度にピックアップするということも考えられ、その場合には、ハンド部２ａによる吸着位置は、それら複数の対象物体ｏｂを保持することのできる所定位置に定めるべきである。

このためには、情報処理装置１において、少なくとも対象物体ｏｂの上面視における物体領域が適切に認識されるべきである。本例において情報処理装置１は、このような対象物体ｏｂの物体領域の認識を、カメラ４ｌ及びカメラ４ｒにより得られるステレオ撮像画像から生成した距離画像に基づいて行う。そして、情報処理装置１は、対象物体ｏｂの物体領域の認識結果に基づき、ロボットアーム２の動作を制御して、対象物体ｏｂのピックアップ動作を実現させる。

＜２．装置構成例＞
図２は、カメラ４ｌの内部構成例を示したブロック図である。
なお、ここではカメラ４ｌとカメラ４ｒのうちカメラ４ｌの内部構成例を代表して示すが、カメラ４ｒの内部構成例はカメラ４ｌの場合と同様となることから重複説明は避ける。

図示のようにカメラ４ｌは、撮像部４１、画像信号処理部４２、メモリ部４３、制御部４４、及び通信部４５を備えている。撮像部４１、画像信号処理部４２、メモリ部４３、制御部４４、及び通信部４５は、バス４６を介して相互にデータ通信を行うことが可能とされる。

撮像部４１は、各種レンズ等の撮像のための光学素子が配列された撮像光学系と、撮像光学系を介して入射する光を受光する、例えばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等によるイメージセンサとを有して構成され、被写体を撮像し、デジタル信号による撮像画像信号（デジタルデータによる撮像画像）を生成して出力する。

画像信号処理部４２は、撮像部４１により得られた撮像画像に対して、所定の画像信号処理を行う。例えば、ＲＧＢのカラー画像を得るためのデモザイク処理やＮＲ（ノイズリダクション）処理、ＡＷＢ（オートホワイトバランス）処理等の所定の画像信号処理を行う。

メモリ部４３は、バス４６を介して接続された制御部４４や画像信号処理部４２が利用可能な不揮発性の記憶デバイスを表したものである。特に、メモリ部４３は、撮像部４１による撮像画像データの記録用メモリとして用いることができる。

制御部４４は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、及びＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータを有して構成され、ＣＰＵが例えばＲＯＭに記憶されたプログラムやＲＡＭにロードされたプログラムに従った処理を実行することで、カメラ４ｌの全体制御を行う。
例えば制御部４４は、撮像部４１による撮像動作の実行制御を行う。また制御部４４は、画像信号処理部４２による画像信号処理結果に基づき、露光制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理が行われる。

また、制御部４４は、通信部４５を介して、カメラ４の外部装置、特に本実施形態では情報処理装置１との間でデータ通信を行うことが可能とされる。
通信部４５は、外部装置との間で、有線又は無線による機器間通信やネットワーク通信を行うための通信デバイスとされる。
制御部４４は、通信部４５を介して、撮像部４１により得られた撮像画像を情報処理装置１に送信することが可能とされる。

ここで、本実施形態において、カメラ４ｌ及び４ｒとしては、焦点位置が固定とされたカメラが用いられる。以下、このような固定の焦点位置について、カメラ４ｌの焦点位置を「焦点位置Ｐｆｌ」、カメラ４ｒの焦点位置を「焦点位置Ｐｆｒ」と表記する。
本実施形態では、これら焦点位置Ｐｆｌと焦点位置Ｐｆｒは同一位置ではなく、異なる位置に定められている。具体的に本例では、図３に例示するように、焦点位置Ｐｆｌよりも焦点位置Ｐｆｒの方が奥側に位置するように焦点位置Ｐｆｌ及びＰｆｒが定められている。

ここで、これら焦点位置Ｐｆｌと焦点位置Ｐｆｒとの間隔は、少なくとも、互いの被写界深度範囲が重複しないとの条件を満たす間隔として定める。換言すれば、カメラ４ｌ、４ｒのうち一方のカメラでピントの合っている被写体については、他方のカメラにおいてピンぼけ（ピントぼけ）が生じるようにするものである。

図４は、情報処理装置１のハードウェア構成例を示したブロック図である。
図示のように情報処理装置１は、ＣＰＵ１１を備えている。ＣＰＵ１１は、各種の処理を実行する演算処理部として機能し、ＲＯＭ（Read Only Memory）１２に記憶されているプログラム、又は記憶部１９からＲＡＭ（Random Access Memory）１３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１３にはまた、ＣＰＵ１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２、及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インタフェース（Ｉ／Ｆ）１５も接続されている。

入出力インタフェース１５には、操作子や操作デバイスよりなる入力部１６が接続される。例えば、入力部１６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部１６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ１１によって解釈される。

また入出力インタフェース１５には、ＬＣＤ（Liquid Crystal Display）或いは有機ＥＬ（Electro-Luminescence）パネルなどよりなる表示部１７や、スピーカなどよりなる音声出力部１８が一体又は別体として接続される。
表示部１７は各種の情報表示に用いられ、例えば情報処理装置１の筐体に設けられるディスプレイデバイスや、情報処理装置１に接続される別体のディスプレイデバイス等により構成される。

表示部１７は、ＣＰＵ１１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部１７はＣＰＵ１１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

入出力インタフェース１５には、ＨＤＤ（Hard Disk Drive）や固体メモリなどより構成される記憶部１９や、モデムなどより構成される通信部２０が接続される場合もある。

通信部２０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。

入出力インタフェース１５にはまた、必要に応じてドライブ２１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体２２が適宜装着される。

ドライブ２１により、リムーバブル記録媒体２２から各処理に用いられるプログラム等のデータファイルなどを読み出すことができる。読み出されたデータファイルは記憶部１９に記憶されたり、データファイルに含まれる画像や音声が表示部１７や音声出力部１８で出力されたりする。またリムーバブル記録媒体２２から読み出されたコンピュータプログラム等は必要に応じて記憶部１９にインストールされる。

上記のようなハードウェア構成を有する情報処理装置１では、例えば本実施形態の処理のためのソフトウェアを、通信部２０によるネットワーク通信やリムーバブル記録媒体２２を介してインストールすることができる。或いは、当該ソフトウェアは予めＲＯＭ１２や記憶部１９等に記憶されていてもよい。

ＣＰＵ１１が各種のプログラムに基づいて処理動作を行うことで、後述するような情報処理装置１としての必要な情報処理や通信処理が実行される。

＜３．実施形態としての視差補正手法＞
ここで、本実施形態では、先の図３に示したようにカメラ４ｌの焦点位置Ｐｆｌとカメラ４ｒの焦点位置Ｐｆｒが異なる位置とされているため、同一被写体を撮像した場合に、少なくとも何れか一方のカメラは該被写体に対してピンぼけの状態となる。前述のようにピンぼけが生じると、対象とする被写体、つまり本例では対象物体ｏｂのエッジがなまることでステレオ測距方式において算出される視差に誤差が生じるものとなって、適切な距離画像を得ることができない虞がある。

本実施形態では、ステレオ撮像画像にピンぼけが生じる場合であっても、該ピンぼけに伴い生じる視差の誤差を低減するように視差の補正を行うことで、適切な距離画像が得られるようにすることを目的とする。

先ず、本実施形態では、適切な距離画像を得るにあたってピンぼけを許容する範囲を、図５に示すように測距可能距離範囲Ｒｇとして予め定めておく。
図示のように、本例において測距可能距離範囲Ｒｇは、焦点位置Ｐｆｌから焦点位置Ｐｆｒまでの範囲（以下「焦点ずれ範囲」と表記）を含む範囲として定めている。具体的には、焦点ずれ範囲よりも広い範囲として定めている。これは、測距可能距離範囲Ｒｇの上限位置Ｕｒ及び下限位置Ｄｒについて、上限位置Ｕｒをカメラ４ｌ、４ｒから見て焦点位置Ｐｆｌよりも手前側となる位置に定め、下限位置Ｄｒをカメラ４ｌ、４ｒから見て焦点位置Ｐｆｒよりも奥側となる位置に定めていると換言できる。

なお、上限位置Ｕｒ、下限位置Ｄｒの設定位置は図５に示す例に限定されるものではなく、例えば上限位置Ｕｒを焦点位置Ｐｆｌと同位置に定め、下限位置Ｄｒを焦点位置Ｐｆｒと同位置に定めることも可能である。また、上限位置Ｕｒを焦点位置Ｐｆｌよりも奥側（下側）、下限位置Ｄｒを焦点位置Ｐｆｒよりも手前側（上側）に定めることもあり得る。

図６は、測距可能距離範囲Ｒｇの意義についての説明図である。
例えば、同一のピックアップシステムを複数種の対象物体ｏｂに対応させるとした場合には、撮像対象となる対象物体ｏｂの高さが、対象物体ｏｂの種類によって変わり得る。すなわち、対象物体ｏｂの種類に応じて高さにばらつきが生じ得る。
また、同一の対象物体ｏｂであっても上面に凹凸がある場合には、高さにばらつきが生じるものとなる。
図６Ａから図６Ｃでは、このように対象物体ｏｂの高さにばらつきがあることを表している。

本実施形態では、測距可能距離範囲Ｒｇを定めて、図６Ａから図６Ｃで示すように対象物体ｏｂの高さが上限位置Ｕｒから下限位置Ｄｒまでの範囲内に収まっている場合には、視差の補正が可能となるようにして、適切な距離画像が得られるようにする。

図７は、情報処理装置１のＣＰＵ１１が有する、実施形態としての視差補正手法を実現するための機能構成の例を示した機能ブロック図である。
図示のようにＣＰＵ１１は、ブロックマッチング処理部３１、視差計算部３２、補正処理部Ｆ１、及び距離画像生成部Ｆ２としての機能を有する。

ブロックマッチング処理部３１は、カメラ４ｌにより得られるＬ画像とカメラ４ｒにより得られるＲ画像とを入力し、ブロックマッチング処理によりＬ画像とＲ画像との間の対応点（高相関点）を検出する処理を行う。

図８は、ブロックマッチング処理の説明図である。
ここでは、カメラ４ｌにより得られるＬ画像を基準画像、カメラ４ｒにより得られるＲ画像を比較画像とする例を挙げるが、逆に、Ｒ画像を基準画像、Ｌ画像を基準画像とすることも可能である。

この場合のブロックマッチング処理は、基準画像としてのＬ画像における各画素ごとに、比較画像としてのＲ画像の画素のうちの対応点としての画素を探索する処理として行われる。
ここでのマッチングは、複数画素で成るブロック単位のマッチングとして行うものとされる。基準画像（Ｌ画像）における対応点検出の対象とする画素をｎ番目画素とすると、ここでのブロックは、該ｎ番目画素を中心とした複数画素で成る画像領域として定義される。図中の例では、ブロックは、ｎ番目画素を中心とした７×７＝４９画素分の画像領域であるものとしている。
以下、ｎ番目画素に対応したブロックのことをｎ番目ブロックと表記する。

基準画像における各ブロックに対しては、比較画像（Ｒ画像）における探索範囲が予め定められている。ブロックマッチング処理では、基準画像においてｎ番目画素を対象として選択したことに応じて、ｎ番目ブロックと、比較画像における探索範囲内で選択した比較ブロック（ｎ番目ブロックと同サイズのブロック）とについて、ブロック単位での相関値を求める。このようなｎ番目ブロックに対する相関値の計算を、探索範囲内において比較ブロックを１画素ずつずらしながら行い、それら相関値の計算結果に基づき、ｎ番目ブロックに対して最も相関性の高い比較ブロックを探索する。そして、探索された比較ブロックにおける中心画素を、基準画像におけるｎ番目画素（図中、画素Ｌ４４）の対応点として検出する。例えば、図中の左側に示す比較ブロックがｎ番目ブロックに対し最も相関性が高かった比較ブロックであるとすれば、該比較ブロックの中心画素である画素Ｒ４４が対応点として検出される。

なお以下、上記のようなブロック単位でのマッチング処理で特定される、ｎ番目ブロックに対し最も相関性が高かった比較ブロックのことを「対応ブロック」と表記する。

図７において、ブロックマッチング処理部３１は、上記のようなブロックマッチング処理による対応点の検出処理を、基準画像としてのＬ画像における対象とする各画素について行う。そして、ｎ番目画素の座標を示す情報であるｎ番目画素座標の情報と、ｎ番目画素の対応点の座標を示す情報である対応点画素座標の情報とを視差計算部３２に出力する。

また、本実施形態におけるブロックマッチング処理部３１は、Ｌ画像におけるｎ番目ブロックの画像と、Ｒ画像におけるｎ番目ブロックの対応ブロックの画像とを補正処理部Ｆ１における後述する推論器３３に出力する。

視差計算部３２は、ブロックマッチング処理部３１より入力されるｎ番目画素座標の情報と対応点画素座標の情報とに基づき、ｎ番目画素の視差を計算する。この視差は、例えばｎ番目画素と対応点画素とのピクセル単位での離間距離等として計算する。

視差計算部３２は、計算したｎ番目画素の視差を補正処理部Ｆ１における推論器３３と補正演算部３４とに出力する。

補正処理部Ｆ１は、それぞれが異なる焦点位置による撮像を行うステレオ測距のための二つのカメラにより得られる撮像画像であるステレオ撮像画像と、ステレオ撮像画像に基づき計算された視差とを入力データとし、視差の補正情報を出力データとして得る人工知能モデルによる推論器３３を有し、上記補正情報に基づき視差の補正を行う。
本実施形態において、人工知能モデルによる推論器３３は、ブロックマッチング処理部３１より出力されるｎ番目ブロックの画像（Ｌ画像）及びｎ番目ブロックの対応ブロックの画像（Ｒ画像）と、視差計算部３２より出力されるｎ番目画素の視差とを入力データとして、該ｎ番目画素の視差の補正情報を出力データとして得るように機械学習が行われている。具体的に推論器３３は、ｎ番目画素の視差について、Ｌ画像やＲ画像にピンぼけが生じている場合に生じる視差の誤差を補正する（低減する）ための値である「視差補正値」を出力するように機械学習が行われている。

補正演算部３４は、視差計算部３２より入力したｎ番目画素の視差を、推論器３３より出力されるｎ番目画素の視差補正値に基づき補正する。具体的には、視差計算部３２より入力したｎ番目画素の視差の値に対し、推論器３３より出力されるｎ番目画素の視差補正値を加算（又は減算）することで、ｎ番目画素の視差に生じるピンぼけ起因の誤差を低減する補正を行う。

距離画像生成部Ｆ２は、補正処理部Ｆ１による補正後の視差に基づき距離を計算して、距離画像を生成する。具体的に、距離画像生成部Ｆ２は、補正処理部Ｆ１における補正演算部３４がＬ画像の画素ごとに出力する補正後視差に基づき、画素ごとの距離を計算することで、画素ごとに距離の情報を示す距離画像を生成する。

図９及び図１０を参照し、推論器３３の機械学習について説明する。
図９は、機械学習に用いる学習用入力データの取得手法についての説明図である。
先の図６で示したような測距可能距離範囲Ｒｇ内での対象物体ｏｂの高さばらつきに対して視差補正ができること（つまり適切な距離画像を得ること）を保証するためには、測距可能距離範囲Ｒｇ内における各高さ位置に対し、カメラ４ｌ、４ｒそれぞれで生じ得るデフォーカス量（ピンぼけ量）が網羅されるようにして、Ｌ画像、Ｒ画像のサンプリングを行えばよい。

このため本実施形態では、図９Ａから図９Ｃに示すように、上面高さが一定とされた試料Ｓｍに対し、カメラ４ｌ、４ｒの位置を徐々に変化させながら（本例では徐々に近づけながら）Ｌ画像とＲ画像の取得を行う。例えば、試料Ｓｍの上面の高さ位置は、図示のように測距可能距離範囲Ｒｇの中間位置に一致させる。
このとき、図９Ａに示すカメラ４ｌ、４ｒの上限位置は、カメラ４ｌの試料Ｓｍに対するデフォーカス量が、測距可能距離範囲Ｒｇ内での対象物体ｏｂの高さばらつきに対するカメラ４ｌの最大デフォーカス量（図６Ｃ参照）と一致する位置とする。
また、図９Ｃに示すカメラ４ｌ、４ｒの下限位置は、カメラ４ｒの試料Ｓｍに対するデフォーカス量が、測距可能距離範囲Ｒｇ内での対象物体ｏｂの高さばらつきに対するカメラ４ｒの最大デフォーカス量（図６Ａ参照）と一致する位置とする。

この場合の学習用入力画像のサンプリングとしては、図９Ａに示す上限位置から図９Ｃに示す下限位置までの間において所定間隔に定めた各カメラ位置ごとに、カメラ４ｌ、４ｒによる撮像画像をサンプリングするという態様で行う。

また、本実施形態における機械学習では、学習用入力データとして、上記の画像サンプリングで得たカメラ位置ごとのＬ画像及びＲ画像（カメラ位置ごとに取得したＬ画像及びＲ画像）と共に、それらカメラ位置ごとのＬ画像及びＲ画像からそれぞれ計算された視差（カメラ位置ごとに計算された視差）の情報を用意しておく。

図１０は、機械学習の具体的手法についての説明図である。
この場合、機械学習に用いる学習器３３ｂとしては、例えばニューラルネットワークとしてのネットワーク構造を有する学習器３３ｂを用いる。一例としては、例えばＣＮＮ（Convolutional Neural Network）等のＤＮＮ（Deep Neural Network）によるネットワーク構造を有する学習器３３ｂを用いることが考えられる。

この学習器３３ｂに対し、学習用入力データとして、上述したカメラ位置ごとに取得したＬ画像及びＲ画像とカメラ位置ごとに計算された視差とを与え、また、教師データとしてカメラ位置ごとの視差の正解値と、各カメラ位置とを与えて、教師あり学習としての機械学習を行う。
ここで、教師データとして与えるカメラ位置ごとの視差の正解値については、例えば、カメラ位置から試料Ｓｍ上面までの距離を視差に換算した値を用いること等が考えられる。また、試料Ｓｍの上面高さが一定でない場合については、予め別のカメラ等で距離の正解値を取得し、視差に換算しておくことで対応が可能である。

上記のような機械学習により、学習器３３ｂにおいては、Ｌ画像及びＲ画像のピントのぼけ度合いと、そのぼけ度合いのときに計算される視差の正解視差に対する誤差との関係が、Ｌ画像とＲ画像の様々なぼけの組み合わせ（測距可能距離範囲Ｒｇ内で生じ得るぼけの組み合わせ）ごとに学習されるものとなる。そして、このような学習の結果、学習器３３ｂにおいては、Ｌ画像及びＲ画像とそれらから計算される視差とを入力データとして、視差誤差を補正するための視差補正値を出力データとして得るアルゴリズムが生成される。

ここで、本例において、各カメラ位置を教師データとして与えているのは、学習器３３ｂが、Ｌ画像及びＲ画像とそれら画像から計算された視差とを入力データとして、視差補正値のみでなく、カメラ位置を推論結果として出力するように構成されているためである。
学習器３３ｂが出力するカメラ位置の情報は、学習精度評価のための情報として用いることができる。例えば、あるカメラ位置ＸのＬ画像及びＲ画像と視差の入力に対して、学習器３３ｂが推論したカメラ位置がカメラ位置Ｘから乖離している場合には、学習が正しく行われていないと評価することができ、例えば学習をやり直す等の対策を講じることができる。

なお、先の図７の説明から理解されるように推論時に用いるのは視差補正値を求めるアルゴリズムのみであり、カメラ位置を求めるアルゴリズムは学習時にのみ用いられるものである。

＜４．処理手順＞
図１１は、上記により説明した実施形態としての視差補正手法を実現するための具体的な処理手順例を示したフローチャートである。
図１１に示す処理は、情報処理装置１のＣＰＵ１１がＲＯＭ１２等の所定の記憶装置に記憶されたプログラムに基づき実行する。

先ず、ＣＰＵ１１はステップＳ１０１で、画素識別子ｎ＝１に設定する。画素識別子は、基準画像（Ｌ画像）において視差計算の対象とする画素を識別するための識別子である。

ステップＳ１０１に続くステップＳ１０２でＣＰＵ１１は、Ｌ画像のｎ番目ブロックについて、Ｒ画像とのブロックマッチングを行いｎ番目ブロックの対応ブロックを特定する。

ステップＳ１０２に続くステップＳ１０３でＣＰＵ１１は、ｎ番目画素の視差を計算する。すなわち、ｎ番目画素座標の情報と、ステップＳ１０２で特定した対応ブロックにおける中心画素の座標である対応点画素座標の情報とに基づき、ｎ番目画素の視差を計算するものである。

ステップＳ１０３に続くステップＳ１０４でＣＰＵ１１は、ｎ番目ブロックの画像、対応ブロックの画像、及び計算した視差を入力データとして、推論器３３により視差補正値を推論する。

ステップＳ１０４に続くステップＳ１０５でＣＰＵ１１は、計算した視差を視差補正値に基づき補正する。例えば、計算した視差に視差補正値を加算することで、視差を補正する。

ステップＳ１０５に続くステップＳ１０６でＣＰＵ１１は、画素識別子ｎが最大値ｎＭＡＸ以上であるか否かを判定する。最大値ｎＭＡＸは、視差計算の対象とする総画素数（つまり距離画像の総画素数）と同値であり、従ってステップＳ１０６の判定処理は、視差計算の対象とする全ての画素についてステップＳ１０２からＳ１０５の処理として説明したブロックマッチングや視差計算、視差補正値の推論、及び視差の補正を行ったか否かを判定していることに相当する。

ステップＳ１０６において、画素識別子ｎが最大値ｎＭＡＸ以上ではないと判定した場合、ＣＰＵ１１はステップＳ１０７に進んで画素識別子ｎの値を１インクリメントし、ステップＳ１０２に戻る。これにより次の画素を対象として、ブロックマッチングや視差計算、視差補正値の推論、及び視差の補正が行われる。

一方、ステップＳ１０６において画素識別子ｎが最大値ｎＭＡＸ以上であると判定した場合、ＣＰＵ１１はステップＳ１０８に進み、画素ごとの距離を計算する処理、すなわち距離画像の生成処理を行い、図１１に示す一連の処理を終える。

なお、上記説明では、ブロックマッチング処理部３１、視差計算部３２、補正演算部３４、及び距離画像生成部Ｆ２としての機能がＣＰＵ１１のソフトウェア処理により実現される例を挙げたが、これら各機能のうち一部又は全部がハードウェアで実現されるように構成することもできる。

＜５．変形例＞
ここで、これまでに説明した具体例はあくまで一例であり、本技術は多様な変形例としての構成を採り得る。
例えば、上記では、Ｌ画像とＲ画像のピンぼけ度合いに応じた視差補正値を推論することを説明したが、Ｌ画像とＲ画像のピンぼけ度合いのみでなく、他の条件も加味して視差補正値を推論することも考えられる。
例えば、Ｌ画像やＲ画像にレンズ歪み等が生じる場合には、画像内の位置に依存して、計算される視差にばらつきが生じ得るものであり、そのようなばらつきを吸収するように、視差の補正を行うことが考えられる。

図１２及び図１３を参照して、上記のような画像内の位置に依存した視差のばらつき吸収を図る変形例について説明する。
図１２は、変形例における機械学習手法の説明図である。
この場合、学習用入力データとしては、各カメラ位置における分割エリアごとのＬ画像、Ｒ画像と、各カメラ位置における分割エリアごとの視差とを用意しておく。ここで、分割エリアとは、基準画像及び比較画像の双方について定めた、画像を分割する複数のエリアを意味する。この場合におけるエリアの分割については、想定する歪みの発生態様等に応じて任意の分割態様を採用可能なものであり、基準画像を任意の等サイズによる複数エリアに分割してもよいし、或いは大まかに、画枠縁部のエリアとその内側のエリアとの二つのエリアに分割する等といったこと等も考えられる。
ここで、学習用入力データとして用意する各カメラ位置における分割エリアごとの視差については、例えば、各分割エリアについて計算される視差の、分割エリアごとの平均値や中央値等の代表値を用いることが考えられる。

この場合、学習器３３ｂＡとしては、制御線関連付け学習に対応したものを用いる。
この場合の機械学習は、分割エリアごとに視差補正値を求めるアルゴリズムが生成されるようにして行う。具体的に、対象とする分割エリアをｍ番目の分割エリアとし、分割エリアの総数をｍＭＡＸとすると、この場合の機械学習は、制御線に対する入力値を１からｍＭＡＸまで変化させながら、分割エリアごとに対応するアルゴリズムが学習されるようにして行う。より具体的には、先ず、制御線の入力値に「１」を与えた状態で、学習器３３ｂＡの学習用入力データとして１番目の分割エリアについてのカメラ位置ごとのＬ画像、Ｒ画像、及び視差を与え、教師データとして１番目の分割エリアについてのカメラ位置ごとの視差の正解値を与えることによる教師あり学習としての機械学習を行う。そして、２番目以降の分割エリアについても、同様に対象とする分割エリアの識別子ｍを制御線の入力値として与えた状態で、学習器３３ｂＡの学習用入力データとしてｍ番目の分割エリアについてのカメラ位置ごとのＬ画像、Ｒ画像、及び視差を与え、教師データとしてｍ番目の分割エリアについてのカメラ位置ごとの視差の正解値を与えることによる教師あり学習としての機械学習を行う。

このような機械学習を行うことで、学習器３３ｂＡにおいては、制御線の値に関連付けて、分割エリアごとに対応する視差補正値を求めるための複数のアルゴリズムが生成される。

図１３は、推論時の構成例を示した図である。
図中、推論器３３Ａは、図１２で説明した制御線関連付け学習によって学習済みとされた学習器３３ｂＡの人工知能モデル、すなわち、分割エリアごとに対応する視差補正値を求めるための複数のアルゴリズムを含んだ人工知能モデルを有する推論器である。

推論器３３Ａについて、入力データとしては、先の図７の場合と同様にＬ画像におけるｎ番目ブロックの画像と、Ｒ画像における対応ブロックの画像と、ｎ番目画素の視差とを与える。
この場合、推論器３３Ａの制御線には、補正対象の画素、すなわち推論器３３Ａに対し対応するブロックのＬ画像及びＲ画像と視差とを入力する画素が属する分割エリアの識別子ｍの値を入力する。
これにより、推論器３３Ａは、分割エリアごとのアルゴリズムのうちから補正対象の画素が属する分割エリアのアルゴリズムを選択して視差補正値を求めることになる。つまりは、ｍ番目の分割エリアに属する画素の視差は、ｍ番目の分割エリアに対応したアルゴリズムにより求められた視差補正値に基づき補正されるものとなり、結果、画像内の位置に依存して視差にばらつきが生じる場合に対応して、そのようなばらつきを吸収するように、視差の補正を行うことができる。

ここで、これまでの説明では、説明上の一例として、焦点位置Ｐｆｌと焦点位置Ｐｆｒのうち焦点位置Ｐｆｒを奥側に定めた例を挙げたが（図３等参照）、逆に焦点位置Ｐｆｌの方を奥側に定めることも可能である。

また、これまでの説明では、カメラ４ｌ、４ｒと情報処理装置１とが別体に構成された例を挙げたが、カメラ４ｌ、４ｒと情報処理装置１を一体に構成することもできる。

また、上記では、ステレオ撮像画像を得るためのカメラに可視光カメラを用いる例を挙げたが、該カメラにはＩＲ（infrared）カメラ等の非可視光カメラを用いることもできる。

また、上記では、距離画像に基づき認識された対象物体ｏｂの物体領域の情報をロボットアーム２による対象物体ｏｂのピックアップ位置の制御に用いる前提としたが、該物体領域の情報は、例えば、対象物体ｏｂへのラベリングやラッピング、印字等を行うために用いることも考えられる。

＜６．実施形態のまとめ＞
上記のように実施形態としての情報処理装置（同１）は、それぞれが異なる焦点位置による撮像を行うステレオ測距のための二つのカメラにより得られる撮像画像であるステレオ撮像画像と、ステレオ撮像画像に基づき計算された視差とを入力データとし、視差の補正情報を出力データとして得る人工知能モデルによる推論器（同３３，３３Ａ）を有し、補正情報に基づき視差の補正を行う補正処理部（同Ｆ１）を備えたものである。
前述のように、ステレオ測距方式において対象物体に対するデフォーカスが生じていると視差に誤差が生じるものとなる。上記構成によれば、人工知能モデルによる推論器により、そのようなデフォーカスに伴う視差の誤差を補正するための補正情報を得ることができ、対象物体に対するフォーカシング（ピント合わせ）を行わずとも、視差の誤差を補正して、距離を適切に算出することが可能となる。
従って、ステレオ測距方式による測距を行う場合において、フォーカシングのためのタイムロスが生じることの防止と、測距精度の低下防止との両立を図ることができる。

また、実施形態としての情報処理装置においては、二つのカメラは焦点位置が固定であるものとされている。
これにより、カメラにＡＦのための機構を設ける必要がなくなる。
従って、振動等の影響でＡＦのための機構が劣化してフォーカシングの精度が低下することに伴い測距精度が低下してしまうことの防止を図ることができる。また、ＡＦのための機構が不要となることでカメラの小型化やコスト削減を図ることができる。

さらに、実施形態としての情報処理装置においては、人工知能モデルは、対象物体に対するデフォーカス量の組み合わせが異なる複数組のステレオ撮像画像と各組のステレオ撮像画像ごとに計算された視差とを学習用入力データとし、各組のステレオ撮像画像の正解視差を教師データとする機械学習により生成されている（図１０、図１３等参照）。
これにより、ステレオ撮像画像と、ステレオ撮像画像に基づき計算された視差とを入力データとし、視差の補正情報を出力データとして得るための推論器を実現することができる。

さらにまた、実施形態としての情報処理装置においては、補正処理部による補正後の視差に基づき距離を計算して距離画像を生成する距離画像生成部（同Ｆ２）を備えている。
これにより、対象物体に対してデフォーカスしている状態であっても適切な測距結果を示す距離画像を得ることができる。

また、実施形態としての情報処理装置においては、推論器は、ステレオ撮像画像のうちの基準画像における分割エリアごとに視差の補正情報を求めるアルゴリズムが学習されている（図１２、図１３等参照）。
これにより、例えばレンズ歪み等の影響で計算される視差に画像内の位置に依存したばらつきが生じる場合に対応して、該ばらつきが吸収されるように視差の補正を行うことが可能となる。
従って、測距精度向上を図ることができる。

さらに、実施形態としての情報処理装置においては、推論器は、制御線に対する入力値に基づき、分割エリアごとのアルゴリズムのうちから補正対象の画素が属する分割エリアのアルゴリズムを選択している。
これにより、分割エリアごとに対応するアルゴリズムを用いて適切に視差の補正情報を求めることができる。すなわち、分割エリアごとに適切な視差の補正情報を用いて視差の補正を行うことができるものであり、従って、測距精度向上を図ることができる。

さらにまた、実施形態としての情報処理装置においては、補正処理部は、ステレオ撮像画像として、ロボットアームのハンド部に設けられた二つのカメラによる撮像画像を推論器に対する入力データとして入力している。
これにより、ロボットアームにおけるハンド部の高さ調整によるフォーカシングを行う必要がなくなる。
従って、ロボットアームについて、ハンド部の高さ調整精度にフォーカシングを実現する程の高精度が要求されないものとなり、その点で、ロボットアームのコストアップ防止を図ることができる。

また、実施形態としての情報処理装置においては、二つのカメラにより撮像対象とする物体が、製造現場においてロボットアームがハンドリングの対象とする製品とされている。
これにより、ロボットアームによって製品をハンドリングする製造現場において、フォーカシングのためのタイムロスが生じることの防止を図ることができ、製造現場における作業効率向上を図ることができる。

また、実施形態としての情報処理方法は、情報処理装置が、それぞれが異なる焦点位置による撮像を行うステレオ測距のための二つのカメラにより得られる撮像画像であるステレオ撮像画像と、ステレオ撮像画像に基づき計算された視差とを入力データとし、視差の補正情報を出力データとして得る人工知能モデルによる推論器が推論した補正情報に基づき、視差の補正を行う情報処理方法である。
このような実施形態としての情報処理方法によっても、上記した実施形態としての情報処理装置と同様の作用及び効果を得ることができる。

ここで、実施形態としては、先の図１１等で説明した補正処理部Ｆ１の処理を、例えばＣＰＵ、ＤＳＰ（Digital Signal Processor）等、或いはこれらを含むデバイスに実行させるプログラムを考えることができる。
すなわち、実施形態のプログラムは、コンピュータ装置が読み取り可能なプログラムであって、それぞれが異なる焦点位置による撮像を行うステレオ測距のための二つのカメラにより得られる撮像画像であるステレオ撮像画像と、ステレオ撮像画像に基づき計算された視差とを入力データとし、視差の補正情報を出力データとして得る人工知能モデルによる推論器が推論した補正情報に基づき、視差の補正を行う機能を、コンピュータ装置に実現させるプログラムである。
このようなプログラムにより、上述した補正処理部Ｆ１としての機能をコンピュータ装置によるソフトウェア処理により実現できる。

上記のようなプログラムは、コンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
或いはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ（Local Area Network）、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、実施形態としての情報処理装置１の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の情報処理装置１としての処理を実現する装置として機能させることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜７．本技術＞
なお本技術は以下のような構成も採ることができる。
（１）
それぞれが異なる焦点位置による撮像を行うステレオ測距のための二つのカメラにより得られる撮像画像であるステレオ撮像画像と、前記ステレオ撮像画像に基づき計算された視差とを入力データとし、前記視差の補正情報を出力データとして得る人工知能モデルによる推論器を有し、前記補正情報に基づき前記視差の補正を行う補正処理部を備えた
情報処理装置。
（２）
前記二つのカメラは焦点位置が固定である
前記（１）に記載の情報処理装置。
（３）
前記人工知能モデルは、
対象物体に対するデフォーカス量の組み合わせが異なる複数組の前記ステレオ撮像画像と各組の前記ステレオ撮像画像ごとに計算された視差とを学習用入力データとし、各組の前記ステレオ撮像画像の正解視差を教師データとする機械学習により生成された
前記（１）又は（２）に記載の情報処理装置。
（４）
前記補正処理部による補正後の視差に基づき距離を計算して距離画像を生成する距離画像生成部を備えた
前記（１）に記載の情報処理装置。
（５）
前記推論器は、
前記ステレオ撮像画像のうちの基準画像における分割エリアごとに前記視差の補正情報を求めるアルゴリズムが学習されている
前記（１）から（４）の何れかに記載の情報処理装置。
（６）
前記推論器は、
制御線に対する入力値に基づき、前記分割エリアごとの前記アルゴリズムのうちから補正対象の画素が属する前記分割エリアの前記アルゴリズムを選択する
前記（５）に記載の情報処理装置。
（７）
前記補正処理部は、
前記ステレオ撮像画像として、ロボットアームのハンド部に設けられた前記二つのカメラによる撮像画像を前記推論器に対する入力データとして入力する
前記（１）から（６）の何れかに記載の情報処理装置。
（８）
前記二つのカメラにより撮像対象とする物体が、製造現場において前記ロボットアームがハンドリングの対象とする製品とされている
前記（７）に記載の情報処理装置。
（９）
情報処理装置が、
それぞれが異なる焦点位置による撮像を行うステレオ測距のための二つのカメラにより得られる撮像画像であるステレオ撮像画像と、前記ステレオ撮像画像に基づき計算された視差とを入力データとし、前記視差の補正情報を出力データとして得る人工知能モデルによる推論器が推論した前記補正情報に基づき、前記視差の補正を行う
情報処理方法。
（１０）
コンピュータ装置が読み取り可能なプログラムであって、
それぞれが異なる焦点位置による撮像を行うステレオ測距のための二つのカメラにより得られる撮像画像であるステレオ撮像画像と、前記ステレオ撮像画像に基づき計算された視差とを入力データとし、前記視差の補正情報を出力データとして得る人工知能モデルによる推論器が推論した前記補正情報に基づき、前記視差の補正を行う機能を、前記コンピュータ装置に実現させる
プログラム。

１ 情報処理装置
２ ロボットアーム
２ａ ハンド部
３ ベルトコンベア
４ｌ カメラ（左目カメラ）
４ｒ カメラ（右目カメラ）
ｏｂ 対象物体
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
２０ 通信部
２１ ドライブ
２２ リムーバブル記録媒体
４１ 撮像部
４４ 制御部
４５ 通信部
４６ バス
Ｐｆｌ，Ｐｆｒ 焦点位置
Ｒｇ 測距可能距離範囲
Ｕｒ 上限位置
Ｄｒ 下限位置
３１ ブロックマッチング処理部
３２ 視差計算部
３３，３３Ａ 推論器
３４ 補正演算部
Ｆ１ 補正処理部
Ｆ２ 距離画像生成部
Ｓｍ 試料
３３ｂ，３３ｂＡ 学習器

Claims (10)

1. それぞれが異なる焦点位置による撮像を行うステレオ測距のための二つのカメラにより得られる撮像画像であるステレオ撮像画像と、前記ステレオ撮像画像に基づき計算された視差とを入力データとし、前記視差の補正情報を出力データとして得る人工知能モデルによる推論器を有し、前記補正情報に基づき前記視差の補正を行う補正処理部を備えた
   情報処理装置。
2. 前記二つのカメラは焦点位置が固定である
   請求項１の記載の情報処理装置。
3. 前記人工知能モデルは、
   対象物体に対するデフォーカス量の組み合わせが異なる複数組の前記ステレオ撮像画像と各組の前記ステレオ撮像画像ごとに計算された視差とを学習用入力データとし、各組の前記ステレオ撮像画像の正解視差を教師データとする機械学習により生成された
   請求項１に記載の情報処理装置。
4. 前記補正処理部による補正後の視差に基づき距離を計算して距離画像を生成する距離画像生成部を備えた
   請求項１に記載の情報処理装置。
5. 前記推論器は、
   前記ステレオ撮像画像のうちの基準画像における分割エリアごとに前記視差の補正情報を求めるアルゴリズムが学習されている
   請求項１に記載の情報処理装置。
6. 前記推論器は、
   制御線に対する入力値に基づき、前記分割エリアごとの前記アルゴリズムのうちから補正対象の画素が属する前記分割エリアの前記アルゴリズムを選択する
   請求項５に記載の情報処理装置。
7. 前記補正処理部は、
   前記ステレオ撮像画像として、ロボットアームのハンド部に設けられた前記二つのカメラによる撮像画像を前記推論器に対する入力データとして入力する
   請求項１に記載の情報処理装置。
8. 前記二つのカメラにより撮像対象とする物体が、製造現場において前記ロボットアームがハンドリングの対象とする製品とされている
   請求項７に記載の情報処理装置。
9. 情報処理装置が、
   それぞれが異なる焦点位置による撮像を行うステレオ測距のための二つのカメラにより得られる撮像画像であるステレオ撮像画像と、前記ステレオ撮像画像に基づき計算された視差とを入力データとし、前記視差の補正情報を出力データとして得る人工知能モデルによる推論器が推論した前記補正情報に基づき、前記視差の補正を行う
   情報処理方法。
10. コンピュータ装置が読み取り可能なプログラムであって、
    それぞれが異なる焦点位置による撮像を行うステレオ測距のための二つのカメラにより得られる撮像画像であるステレオ撮像画像と、前記ステレオ撮像画像に基づき計算された視差とを入力データとし、前記視差の補正情報を出力データとして得る人工知能モデルによる推論器が推論した前記補正情報に基づき、前記視差の補正を行う機能を、前記コンピュータ装置に実現させる
    プログラム。

Images