JP7341079B2

JP7341079B2 - 距離画像推定装置及び操縦装置

Info

Publication number: JP7341079B2
Application number: JP2020020266A
Authority: JP
Inventors: 孝介原
Original assignee: Sumitomo Heavy Industries Ltd
Current assignee: Sumitomo Heavy Industries Ltd
Priority date: 2020-02-10
Filing date: 2020-02-10
Publication date: 2023-09-08
Anticipated expiration: 2040-02-10
Also published as: JP2021125157A

Description

本発明は、距離画像推定装置及び操縦装置に関する。

従来、機械学習モデルを用いて撮影画像から距離画像を推定する方法が知られている。特許文献１には、計測により得られた第１距離画像と、機械学習モデルを用いて推定された第２距離画像とを用いて、信頼度の高い第３距離画像を生成するシステムが示されている。非特許文献１には、ニューラルネットワークを用いて推定された距離画像を補正する方法が示されている。

特開２０１９－８７２２９号公報

Michael Bloesch et al., "CodeSLAM - Learning a Compact, Optimisable Representation for Dense Visual SLAM", CVPR 2018

従来の距離画像の推定技術では、推定された距離画像と真の距離画像との差は比較的に大きい。一方、距離画像を利用する際には、幾つかの点で距離の真値が得られる場合がある。

本発明は、１つ又は複数の点の距離が取得された場合に、撮影画像から精度の高い距離画像を得ることのできる距離画像推定装置、並びに、このような距離画像推定装置を有する操縦装置を提供することを目的とする。

（１）
本発明に係る一態様の距離画像推定装置は、
撮影部から送られた撮影画像に基づき前記撮影画像に対応した距離画像を推定する距離画像推定部と、
撮影領域に含まれる少なくとも一つの点までの距離を取得可能な距離取得部と、
を備え、
前記距離画像推定部は、前記距離取得部が距離を取得した場合に、取得された距離と距離が取得された距離取得点との情報に基づいて、前記距離取得点以外の点を含めて、前記距離画像を補正し、
前記距離画像推定部は、機械学習されたニューラルネットワークを用いて前記距離画像を推定し、前記距離取得部が取得した距離に基づいて、前記ニューラルネットワークの中間層に入力される情報を補正する。
（２）
本発明に係るもう一つの態様の距離画像推定装置は、
撮影部から送られた撮影画像に基づき前記撮影画像に対応した距離画像を推定する距離画像推定部と、
撮影領域に含まれる少なくとも一つの点までの距離を取得可能な距離取得部と、
前記距離取得部が距離を取得した場合に、取得した距離及び距離取得点の情報を記憶するデータベースと、
を備え、
前記距離画像推定部は、前記距離取得部が距離を取得した場合に、取得された距離と距離が取得された距離取得点との情報に基づいて、前記距離取得点以外の点を含めて、前記距離画像を補正し、
前記距離画像推定部は、前記距離取得部が距離を取得した場合に、取得された距離及び距離取得点の情報と、前記データベースに記憶されている過去に取得された情報とに基づいて、前記距離画像を補正する。
（３）
本発明に係るもう一つの態様の距離画像推定装置は、
撮影部から送られた撮影画像に基づき前記撮影画像に対応した距離画像を推定する距離画像推定部と、
撮影領域に含まれる少なくとも一つの点までの距離を取得可能な距離取得部と、
精度向上要求領域を設定する第１設定部と、
前記精度向上要求領域の距離の推定精度を向上させる距離取得点を推定し、推定された距離取得点を表示出力する制御部と、
を備え、
前記距離画像推定部は、
前記距離取得部が距離を取得した場合に、取得された距離と距離が取得された距離取得点との情報に基づいて、前記距離取得点以外の点を含めて、前記距離画像を補正する。

本発明に係る操縦装置は、
上記の距離画像推定装置を備え、
前記距離取得部が、可動部に設けられた接触センサを含み、前記接触センサにより接触が検出された際の前記可動部の移動量から距離を取得し、
更に、
前記撮影部と、
前記可動部と、
前記可動部を操作する操作部と、
を備える。

本発明によれば、１つ又は複数の点の距離が取得された場合に、撮影画像から精度の高い距離画像を得ることができるという効果がある。

本発明の実施形態１に係る操縦装置を示すブロック図である。距離画像推定部に含まれるニューラルネットワークを示す構成図である。実施形態１の制御部２０が実行する距離画像表示処理の手順を示すフローチャートである。本発明の実施形態２に係る操縦装置を示すブロック図である。精度向上要求領域と接触可能領域の一例を説明する図である。実施形態２のニューラルネットワークを示す構成図である。実施形態２に係る距離画像推定部が実行する距離画像生成処理の手順を示すフローチャートである。効果的な接触点が示された撮影画像の表示例を示す図である。

以下、本発明の各実施形態について図面を参照して詳細に説明する。

（実施形態１）
図１は、本発明の実施形態１に係る操縦装置を示すブロック図である。図２は、距離画像推定部に含まれるニューラルネットワークを示す構成図である。

実施形態１に係る操縦装置１は、ロボットハンドなどの可動部２と、運転者が可動部２を操作する操作レバーなどを含んだ操作部３と、処理対象物が含まれる領域を撮影する撮影部５と、距離画像を推定する距離画像推定装置１Ａと、推定された距離画像を出力する表示部４とを備える。撮影部５は、例えばグレースケール画像又はＲＧＢ画像を出力する単眼カメラでよい。

距離画像推定装置１Ａは、撮影部５の撮影画像から距離画像を推定する距離画像推定部１０と、可動部２に取り付けられた接触センサ３１が接触を検出したときに可動部２の移動量に基づいて接触部までの距離を取得する距離取得部３０と、距離取得部３０により取得された距離と距離取得点の情報とを蓄積する取得距離データベース４０と、各部を統括する制御部２０とを備える。

距離画像とは、撮影画像中の各被写点までの距離の情報を撮影画像にマッピングした画像であり、距離が輝度又は色の濃淡等で表わされた画像を意味する。情報を撮影画像にマッピングするとは、マッピングされた画像の或る座標に示される情報が、撮影画像の対応する座標に写った被写点の情報を示すように、各情報と画像の座標とを対応づけることを意味する。

距離画像推定部１０は、機械学習されたニューラルネットワーク１１と、ニューラルネットワーク１１の補正演算を行う補正部１２と、を有する。距離画像推定部１０は、撮影画像をニューラルネットワーク１１に送ることで、即時に推定された距離画像を求めることができる。

ニューラルネットワーク１１は、図２に示すように、目標距離画像Ｄｄを入力して中間コードｃを出力する第１ネットワーク部Ｎ１と、撮影画像Ｉ、又は、撮影画像Ｉ及び中間コードｃを入力して距離画像Ｄを出力する第２ネットワーク部Ｎ２とを有する。中間コードｃは、多成分を有するベクトルである。第２ネットワーク部Ｎ２は、距離画像Ｄに加えて、不確実性マップＢを出力してもよい。不確実性マップＢとは、距離画像の不確実さの情報が撮影画像にマッピングされた画像である。ニューラルネットワーク１１の各層ｎ１～ｎ４０は、機械学習により最適化される多数のパラメータを含み、入力された情報と多数のパラメータとで所定の計算を行って、計算された情報を、図２中の右隣の層、及び、図２中の矢印で示す別の層へ出力する。ニューラルネットワーク１１は、非特許文献１に示されるニューラルネットワークと同様の構造を有する。

機械学習時において、第１ネットワーク部Ｎ１の入力層ｎ２１には目標距離画像Ｄｄが入力され、第２ネットワーク部Ｎ２の入力層ｎ１には訓練用撮影画像Ｉが入力される。さらに、第１ネットワーク部Ｎ１は出力層ｎ３０から中間コードｃを出力し、第２ネットワーク部Ｎ２の中間層ｎ３１に送る。目標距離画像Ｄｄは、訓練用撮影画像Ｉに対応する距離画像の目標値（例えば真値）である。機械学習時においては、第２ネットワーク部Ｎ２の第２出力層ｎ４０から出力される距離画像Ｄが、目標距離画像に近づくように、第１ネットワーク部Ｎ１及び第２ネットワーク部Ｎ２の各層ｎ１～ｎ４０のパラメータが最適化される。各パラメータは、目標距離画像に対してラプラス分布の対数尤度を最大化するように最適化されてもよい（非特許文献１を参照）。

距離画像の推定時において、ニューラルネットワーク１１の第１ネットワーク部Ｎ１は利用されない。よって、第１ネットワーク部Ｎ１から出力される中間コードｃはゼロ（情報無し）となる。距離画像の推定時には、第２ネットワーク部Ｎ２の入力層ｎ１に撮影画像が入力されると、第２出力層ｎ４０から推定された距離画像Ｄが出力され、第１出力層ｎ２０から不確実性マップＢが出力される。上記の機械学習の各層ｎ１～ｎ４０のパラメータの最適化により、真値の距離画像及び不確実性マップを反映した距離画像Ｄ及び不確実性マップＢが得られる。

距離取得部３０は、可動部２に取り付けられた接触センサ３１を含み、接触センサ３１から接触の検出結果を受けると、可動部２の移動量に基づいて、予め設定された基準点から接触点までの距離と、距離取得点の情報とを計算により取得する。距離及び距離取得点の情報を、以下、「距離情報」と記す。上記の基準点は任意な点でよく、例えば操縦席又は撮影部５の近傍の所定点などであってもよいし、操縦席又は撮影部５が基台上を回動する場合等には、基台に固定された所定点であってもよい。距離取得部３０は、求められた距離情報を、取得距離データベース４０に登録する。

補正部１２は、距離取得部３０が距離を取得した場合に、取得された距離情報と、取得距離データベース４０に蓄積された距離情報とを用いて、ニューラルネットワーク１１の中間コードｃを補正する。補正された中間コードｃは、第２ネットワーク部Ｎ２に対して、距離取得点以外の点の距離の推定結果にも影響を及ぼす。その結果、補正された、距離画像Ｄは、距離取得点の距離だけでなく、距離取得点以外の点についても真値に近くなるように補正される。

制御部２０は、制御プログラムを格納したＲＯＭ（Read Only Memory）と、制御プログラムを実行するＣＰＵ（Central Processing Unit）と、各部に信号を出力し又は各部から信号を入力するＩ／Ｏとを備える。ＲＯＭには、運転者が可動部２を操縦する際に、操作対象領域を撮影し、撮影画像と推定された距離画像とを表示部４から出力する距離画像表示処理のプログラムが格納されている。

＜距離画像表示処理＞
図３は、実施形態１の制御部２０が実行する距離画像表示処理の手順を示すフローチャートである。制御部２０は、可動部２の操縦が行われている期間に、距離画像表示処理を実行する。距離画像表示処理が開始されると、制御部２０は、撮影部５が撮影した撮影画像を取得し（ステップＳ１）、ニューラルネットワーク１１に撮影画像Ｉを入力して距離画像Ｄを推定させ（ステップＳ２）、距離画像Ｄを表示部４から出力する（ステップＳ３）。さらに、制御部２０は、距離取得部３０が新たに距離情報を取得したか否かを判別する（ステップＳ４）。そして、新たな距離の取得がなければ、制御部２０は、処理をステップＳ１に戻し、ステップＳ１～Ｓ４のループ処理を繰り返す。

ループ処理の繰り返し中、ステップＳ４で新たな距離情報の取得があったと判別されたら、制御部２０は、距離画像推定部１０の補正部１２に、新たに取得された距離情報と過去に取得された距離情報があれば取得距離データベース４０に記憶された距離情報とを渡す（ステップＳ５）。距離情報が渡されることで、補正部１２が、中間コードｃの補正演算を実行する。補正された中間コードｃが演算されたら、制御部２０は、中間コードｃをニューラルネットワーク１１に適用する（ステップＳ６）。そして、制御部２０は、処理をステップＳ１に戻す。

ステップＳ６で、補正された中間コードｃがニューラルネットワーク１１に適用されると、その後のステップＳ２では、ニューラルネットワーク１１の中間層ｎ３１に中間コードｃが入力されて距離画像Ｄの推定が行われる。したがって、その後に推定された距離画像Ｄは精度が向上し、ステップＳ３で精度の向上された距離画像Ｄが表示部４から出力される。また、距離情報の取得回数が増えるごとに、ステップＳ５、Ｓ６が実行される。そこでは、より多くの距離情報に基づいて中間コードｃが補正され、その後、この中間コードｃが使用されるので、その後に得られる距離画像Ｄは更に精度が向上する。

なお、撮影部５の移動等により、撮影対象領域が変化したときには、制御部２０が、中間コードｃをゼロにリセットする処理を実行してもよい。また、撮影画像中の一部の物体が移動したことで、以前に取得された距離情報が妥当でなくなった場合には、制御部２０は、取得距離データベース４０からこの距離情報を削除する処理を実行してもよい。

＜距離画像の変化と操作例＞
上記のような距離画像表示処理によれば、距離取得部３０が距離情報を取得していないときに推定される距離画像は、中間コードｃがゼロとして計算される。このため、距離画像は比較的に不確実性が大きく、例えば物のエッジがぼやけたような距離画像となる。例えば、テーブルの上に複数の物体が配置された撮影画像であれば、表示部４から、テーブルと複数の物体の各エッジがぼやけた距離画像が出力される。

距離画像表示処理中、可動部２の操作により接触センサ３１がどこかに触れ、その点までの距離が取得されると、ステップＳ５、Ｓ６の中間コードｃの補正処理により、新たに計算された距離画像の精度が向上し、例えばぼやけた物のエッジが鮮明になるような距離画像の補正が行われる。補正された中間コードｃは、取得された距離情報の距離取得点以外にも作用するため、距離取得点から離れた物のエッジも鮮明になるように距離画像が補正される。さらに、エッジが鮮明になるとともに、距離画像中の多くの点の距離の値が真値に近くなる。例えばテーブルの上に複数の物体が配置された撮影画像であれば、テーブル又は１つの物体に接触して距離情報が取得されると、接触したテーブル又は物体の加え、接触していな物体についてもエッジが鮮明となり距離の値が真値に近づくような距離画像の変化が生じる。距離情報の取得数が増すたびに、距離画像の精度が段階的に向上していく。

操縦者は、撮影画像と距離画像とを見ながら、撮影画像に写っている物の距離を認識し、可動部２を操縦することができる。例えば、操縦者は、可動部２を処理対象物に近づけ、処理対象物に何らかの処理（例えば可動部２により物をつかむなど）を行うことができる。操縦者は、コンピュータであってもよく、この場合、コンピュータは、撮影画像から画像認識処理を行って処理対象物を判別し、距離画像から処理対象物及びその周辺の３次元空間上の位置を判別する。そして、コンピュータは、これらの判別結果から、他の物を除けて処理対象物まで可動部２を移動させる移動経路を計算し、可動部２を処理対象物まで近づけることができる。そして、コンピュータは、可動部２を動かして処理対象物に何らかの処理（例えば可動部２により物をつかむなど）を行うことができる。このような可動部２の操縦の過程で、可動部２の接触センサ３１が、いずれかの箇所に接触し、当該箇所までの距離情報が取得されると、距離画像の精度が向上し、処理対象物についての三次元空間上の位置認識の精度が高まる。よって、可動部２による処理対象物への処理の精度が向上される。また、可動部２の操縦の過程で、距離画像の精度を向上させたい場合、意図的に可動部２の接触センサ３１を接触が許容される箇所に接触させることで、接触した箇所以外を含めて距離画像の精度が向上し、処理対象物に対する可動部２の処理の精度を向上できる。

＜ニューラルネットワーク＞
図２のニューラルネットワーク１１は、次式（１）、（２）のように表わすことができる。

ここで、ｆは、ニューラルネットワーク１１の第２ネットワーク部Ｎ２により実装される関数である。ｇはニューラルネットワーク１１の第１ネットワーク部Ｎ１により実装される関数である。Ｉは撮影画像、Ｄｄは目標距離画像、Ｄは距離画像、Ｂは不確実性画像、ｃは中間コードである。中間コードｃは、多成分を有するベクトルである。目標距離画像Ｄｄは、訓練用の撮影画像Ｉに対応した距離画像の目標値（例えば真値）である。不確実性マップＢは、距離画像の不確実さの情報が撮影画像にマッピングされた画像である。関数ｆ、ｇは、機械学習により最適化される多くのパラメータを含んでいる。

ニューラルネットワーク１１の機械学習では、次式（３）に示すような学習データセットＳｅｔが用意される。

ここで、Ｉ_ｊは訓練用撮影画像、Ｄ_ｊは訓練用撮影画像に対応した目標距離画像である。学習データセットＳｅｔには、訓練用撮影画像Ｉ_ｊと目標距離画像Ｄ_ｊとがＭ組含まれる。

ニューラルネットワーク１１の各層ｎ１～ｎ４０の各パラメータは、学習データセットＳｅｔの全要素について、式（１）、（２）の計算を実行したときに、距離画像Ｄが目標距離画像Ｄ_ｊに近づくように、バックプロパゲーション（誤差逆伝播法）等により、最適化することで計算される。

＜補正された中間コードの演算＞
補正された中間コードｃの演算には、取得された距離情報が使用される。距離情報の集合Ｐを次式（４）のように表わす。

ここで、ｐ_ｉは、距離情報を表わす三次元空間上の位置ベクトルである。位置ベクトルｐ_ｉには、撮影画像中の位置取得点の情報と、基準点から位置取得点までの距離の情報とが含まれる。すなわち、位置ベクトルｐ_ｉが示す空間位置を撮影部５の撮影領域に射影することで、撮影画像中の位置取得点が求められる。また、三次元空間ベクトルで表わされる基準点とベクトルｐ_ｉとの差から基準点からの距離が求められる。

補正された中間コードｃ~は、次式（５）のように、中間コードｃを最適化することにより求められる。式（５）において、ａｒｇｍｉｎ以降の項は、集合Ｐに含まれるＮ個の距離取得点についての誤差ε_ｉの二乗和を示す。ａｒｇｍｉｎは、ａｒｇｍｉｎ以降の項を最小にする引数（中間コードｃ）を表わす。

Ｄ_ｃは、或る中間コードｃを用いて推定された距離画像である。φは、推定された距離画像Ｄ_ｃからベクトルｐ_ｉが示す撮影画像中の点の距離を抽出し、その点を表わす三次元空間ベクトルｑ_ｉを出力する関数である。ε_ｉは、距離取得点の距離を表わすベクトルｐ_ｉと、距離画像Ｄ_ｃ中の対応する点の距離を表わすベクトルｑ_ｉとの誤差を表わす。

式（８）に示すように、距離画像Ｄ_ｃは中間コードｃの関数である。さらに、ベクトルｑ_ｉは、距離画像Ｄ_ｃを用いて得られるので（式（７））、中間コードｃの関数である。それゆえ、誤差ε_ｉは中間コードｃの関数となる。したがって、式（５）のａｒｇｍｉｎ以降の項（誤差の総和項）は、中間コードｃを引数に持ち、中間コードｃが変化することで、値が増減する。したがって、式（５）のように、誤差の総和項を最も小さくする中間コードｃの最適化演算を行うことで、最適化された中間コードｃ~を求めることができる。なお、最適化とは、完全な最適化を意味するのみでなく、最適に近い解を求めることを含む概念である。

このように求められた最適化された中間コードｃ~と撮影画像Ｉとがニューラルネットワーク１１の第２ネットワーク部Ｎ２に入力されることで、精度の高い距離画像Ｄが求められる。距離画像Ｄは、式（５）の誤差ε_ｉを小さくする中間コードｃ~が使われている。よって、距離情報の集合Ｐに含まれる距離取得点の距離の精度が高まる。さらに、機械学習されたニューラルネットワーク１１により、異なる複数点間の距離の相対関係などが妥当なレベルで推定されている。したがって、複数の距離取得点の距離の精度が高まることで、距離取得点以外の点の距離の精度も高まり、結果として、全体の精度が向上した距離画像Ｄが求められる。

以上のように、実施形態１の操縦装置１及び距離画像推定装置１Ａによれば、距離画像推定部１０が撮影画像から距離画像を推定するので、複眼カメラ又は走査型の距離測定器等の高コストな装置を用いなくても、推定された距離画像から撮影対象の距離を認識できる。さらに、１点又は複数点の距離が取得された場合に、距離取得点と距離取得点以外の部分を含めて距離画像が補正されるので、可動部２の操作を少し追加するだけで、距離画像の精度を向上し、撮影対象の距離の認識精度を高めることができる。

さらに、実施形態１の操縦装置１及び距離画像推定装置１Ａによれば、ニューラルネットワーク１１を用いて距離画像を推定する。さらに、距離が取得された場合には、ニューラルネットワーク１１の中間層ｎ３１に入力される中間コードｃが補正される。したがって、現実的な計算量で有効な距離画像の補正が可能となる。

さらに、実施形態１の操縦装置１及び距離画像推定装置１Ａによれば取得距離データベース４０を備え、過去に取得された距離情報も用いて距離画像が補正される。したがって、異なるタイミングで取得された距離を用いて距離画像の精度をより向上できる。任意なタイミングで距離が取得される場合に有用である。

さらに、実施形態１の操縦装置１によれば、接触センサ３１を有する可動部２と操作部３を有するので、可動部２の操作により接触センサ３１が撮影対象物に接触することで距離が取得され、距離画像の精度を向上することができる。距離画像の精度を向上することを目的とした測距デバイスを設ける場合と比較して、距離を取得するためのコストを低減できる。

さらに、実施形態１の操縦装置１によれば、距離画像推定装置１Ａにより推定された距離画像が表示部４に出力されるので、操縦者は距離画像により処理対象物の距離を認識しながら可動部２を操作して、処理対象物の操作ができる。さらに、操作過程で、処理対象物の距離の認識精度を向上させたいときなど、可動部２の接触センサ３１を何かに接触させることで、距離画像の精度が向上し、要求に応じることができる。

（実施形態２）
実施形態２の操縦装置は、距離画像の精度向上を効率的に図れる接触点を推測する機能が追加されている点が主に異なり、他の要素は実施形態１と略同様である。以下、実施形態１と異なる要素について詳細に説明する。

図４は、本発明の実施形態２に係る操縦装置を示すブロック図である。

実施形態２の操縦装置１は、実施形態１の構成要素に加えて、距離画像の精度を向上させたい領域（「精度向上要求領域」と呼ぶ）の設定と、接触が可能な領域（「接触可能領域」と呼ぶ）の設定とが可能な設定処理部５０を備える。設定処理部５０には、設定された精度向上要求領域のデータが登録される設定部５１と、設定された接触可能領域のデータが登録される設定部５２とを有する。設定部５１は、本発明に係る第１設定部に相当する。設定部５２は、本発明に係る第２設定部に相当する。接触可能領域は、本発明に係る距離取得可能領域の一例に相当する。

設定処理部５０は、表示部４に設定画面を出力し、ユーザが設定画面へ設定情報を入力することで、上記の領域の設定が行われる構成としてもよいし、記憶媒体に記録されたデータを読み込ませることで、上記の領域の設定が行われる構成としてもよい。領域の指定は、撮影画像中の二次元領域の指定、あるいは、三次元空間上の領域の指定により行われてもよいし、物の指定により行われてもよい。物の指定により領域の設定が行われる場合、設定処理部５０は、撮影画像から画像認識により物の位置を特定し、指定された物が配置された領域を、該当の領域として登録すればよい。

図５は、精度向上要求領域と接触可能領域の一例を説明する図であり、（Ａ）は撮影画像Ｉ、（Ｂ）は精度向上要求領域Ｕ、（Ｃ）は接触可能領域Ｓを示す。図５の例では、テーブル上の円筒を精度向上要求領域Ｕに設定し、テーブル上とテーブルの足を接触可能領域Ｓに設定している。例えば、可動部２によってテーブル上の円筒に何らかの処理を行う予定であり、円筒の距離認識を正確に行いたい場合に、上記のような精度向上要求領域Ｕを設定することが想定される。また、接触可能な距離でない領域、並びに、接触して動かしたくない物の領域を除いて、上記のように接触可能領域Ｓを設定することができる。

図６は、実施形態２のニューラルネットワークを示す構成図である。実施形態２のニューラルネットワーク１１は、実施形態１の構成に加え、中間コードｃが、中間層ｎ３１に加え、不確実性マップＢを計算する第２ネットワーク部Ｎ２のいずれかの層（例えば中間層ｎ１２）にも入力される。中間コードｃが第２ネットワーク部Ｎ２の中間層ｎ１２に入力されることで、不確実性マップＢが中間コードｃの関数となる。

図７は、実施形態２の制御部２０が実行する距離画像表示処理のフローチャートである。距離画像表示処理が開始されると、制御部２０は、先ず、設定処理部５０を介して設定された精度向上要求領域Ｕ及び接触可能領域Ｓの設定データを読み込む（ステップＳ１１、Ｓ１２）。そして、撮影画像を取得し（ステップＳ１３）、距離画像推定部１０に１回目の距離画像の推定を行わせる（ステップＳ１４）。さらに、制御部２０は、精度向上要求領域Ｕの距離の精度を効率的に向上するのに効果的な接触点（効果的な距離取得点）を、ニューラルネットワーク１１を用いて計算し（ステップＳ１５）、求められた効果的な接触点を示すマークを表示部４の撮影画像上に重ねて表示出力する（ステップＳ１６）。

その後は、実施形態１の距離画像表示処理と同様の処理を行う。図７では、ステップＳ１～Ｓ６中の幾つかのステップを省略している。

なお、距離画像表示処理の途中、撮影部５の撮影領域が変化することがある場合には、制御部２０がこの変化の有無を判別し、変化が有った場合に、制御部２０は、ステップＳ１５、Ｓ１６の処理を再度行うようにしてもよい。また、ステップＳ４で距離情報が取得された場合にも、制御部２０は、ステップＳ１５、Ｓ１６の処理を再度行うようにしてもよい。

図８は、効果的な接触点が示された撮影画像の表示例を示す図である。操縦装置１の運転者は、距離画像の精度を向上したい場合に、ステップＳ１６で表示された効率的な接触点を示すマークＭ１を頼りに、可動部２を接触させてマークＭ１の位置の距離情報を取得する。そして、この点の距離情報が使用されて中間コードｃが補正されることで、距離画像中の精度向上要求領域Ｕの精度を効率的に向上することができる。例えば、テーブル上の複数の円筒の部分に正確な距離認識が要求され、テーブル上にマークＭ１が表示されていれば、可動部２を操作してマークＭ１の位置の距離情報を取得することで、円筒に触れる前に、円筒の部分の精度が向上した距離画像を得ることができる。そして、この距離画像を頼りに、高い精度で円筒に対する操作（例えばつかむ等の処理）を実現できる。

＜効果的な接触点の推定＞
制御部２０は、次のような演算を行って、精度向上要求領域Ｕの距離精度を効率的に向上できる接触点を推定する。まず、演算方法を説明するために、距離情報が取得された場合の不確実性マップＢの計算式と、演算に使用する不確実性抽出値τの計算式について説明する。

或る距離取得点で距離情報（ベクトルｐ）が得られたとする。距離情報は三次元空間ベクトルであり、撮影画像中の距離取得点と、基準点から距離取得点までの距離とが表される。実施形態１の補正処理で説明したように、距離情報であるベクトルｐが取得されると、ベクトルｐを用いて最適化された中間コードｃを求めることができる。そして、最適化された中間コードｃと撮影画像Ｉとをニューラルネットワーク１１の第２ネットワーク部Ｎ２に入力することで、推定された距離画像Ｄと不確実性マップＢとが、次式（９）のように得られる。

不確実性マップＢは、撮影画像Ｉの全領域の不確実性の値が含まれているので、不確実性マップＢと精度向上要求領域Ｕの設定データとから、精度向上要求領域Ｕの不確実性を抽出した値（不確実性抽出値τ）を求めることができる。不確実性抽出値τは、次式（１０）のような関数となる。

ｍａｓｋは、不確実性マップＢの精度向上要求領域Ｕを除く部分をマスクする（ゼロにする）ことを意味する。

不確実性抽出値τは、式（１０）に示すように、不確実性マップＢの関数である。さらに、不確実性マップＢは、図６に示したように、中間コードｃを受けて計算されるため、中間コードｃの関数である。さらに、中間コードｃは、距離情報（ベクトルｐ）の関数である。したがって、不確実性抽出値τは、距離情報（ベクトルｐ）の関数であり、ベクトルｐが変化すると、不確実性抽出値τが増減する。したがって、次式（１１）のように、不確実性抽出値τを最も小さくするｐの最適化演算を行うことで、不確実性抽出値τを最も小さくする、すなわち、精度向上要求領域Ｕの精度を最も向上するベクトルｐ~を求めることができる。ただし、ベクトルｐ~は接触可能領域Ｓに含まれる位置に制限されるので、式（１１）の最適化演算では、ベクトルｐは接触可能領域Ｓに含まれるという条件が付加される。

ベクトルｐ~は、撮影画像中の距離取得点の情報に加え、距離取得点までの距離の情報が含まれる。しかし、ベクトルｐ~に含まれる距離の情報は、距離画像の全体的な距離の値をシフトさせるように寄与することが多く、距離画像の不確実性に影響を与える度合は、距離取得点の情報に比べて低いことが多い。したがって、最適化されたベクトルｐ~のうち、距離の情報を除外し、距離取得点の情報を、不確実性抽出値τを小さくできる接触点として求めることができる。距離取得点は、撮影部５の撮影領域にベクトルｐ~を射影して得ることができる。

制御部２０は、図７のステップＳ１５において、式（１１）の最適化の演算を行って、精度向上要求領域Ｕの不確実性を効率的に低くする距離取得点を求める。最適化とは、完全な最適化を意味するのみでなく、最適に近い解を求めることを含む概念である。最適化の演算において、制御部２０は、例えば、接触可能領域Ｓの中に複数の代表点を設け、代表点の距離が与えられたと仮定して補正された中間コードｃを演算する。さらに、制御部２０は、補正された中間コードｃと撮影画像Ｉとを用いて不確実性抽出値τを計算する。そして、制御部２０は、このような計算を、複数の代表点について行い、各代表点について計算された不確実性抽出値τを比較して、最も低い不確実性抽出値τが計算された代表点を求める。そして、制御部２０は、この代表点に基づいて精度向上要求領域Ｕの不確実性を効率的に低くする距離取得点を求めてもよい。

以上のように、実施形態２の操縦装置１及び距離画像推定装置１Ａによれば、精度向上要求領域Ｕを設定することで、距離画像においてこの領域の精度を効果的に向上できる接触点が示される。したがって、この点を指針に、可動部２を動かして距離情報を取得することで、所望の距離画像の精度向上を図ることができる。さらに、実施形態２の操縦装置１及び距離画像推定装置１Ａによれば、接触可能領域Ｓを設定することで、制御部２０から提供される効率的な接触点が、接触可能領域Ｓの点に絞られるので、距離情報の取得により距離画像の精度向上を図る際の利便性がより向上する。なお、実施形態２では、接触により距離を取得していたため、本発明に係る距離取得可能領域を接触可能領域として説明した。しかし、例えば光の照射により距離を取得する場合には、光の照射が可能な領域を距離取得可能領域として、同様に扱うことができる。

以上、本発明の各実施形態について説明した。しかし、本発明は上記の実施形態に限られない。例えば、上記実施形態では、距離取得部３０は接触により距離を取得する構成を示したが、例えばＬｉＤＡＲ（light detection and ranging）など、様々な距離測定器により距離を取得する構成が適用されてもよい。また、上記実施形態では、操縦装置としてロボットハンドを操作する構成を示したが、操縦装置は、例えば、パワーショベル、クレーン、アンローダなどの重機であってよいし、自動車などの車両であってもよい。このような操縦装置においては、距離画像を周囲の危険予知に利用することができる。また、アンローダなどの重機においては、距離画像で荷の高さを認識し、グラブバケットなどの吊り具を動かす制御に利用することができる。その他、実施の形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。

１操縦装置
１Ａ距離画像推定装置
２可動部
３操作部
４表示部
５撮影部
１０距離画像推定部
１１ニューラルネットワーク
１２補正部
２０制御部
３０距離取得部
４０取得距離データベース
５０設定処理部
５１設定部（第１設定部）
５２設定部（第２設定部）
Ｎ１第１ネットワーク部
Ｎ２第２ネットワーク部
ｎ３１中間層
ｃ中間コード
Ｉ撮影画像
Ｂ不確実性マップ
Ｄ距離画像
Ｄｄ目標距離画像

Claims

撮影部から送られた撮影画像に基づき前記撮影画像に対応した距離画像を推定する距離画像推定部と、
撮影領域に含まれる少なくとも一つの点までの距離を取得可能な距離取得部と、
を備え、
前記距離画像推定部は、前記距離取得部が距離を取得した場合に、取得された距離と距離が取得された距離取得点との情報に基づいて、前記距離取得点以外の点を含めて、前記距離画像を補正し、
前記距離画像推定部は、機械学習されたニューラルネットワークを用いて前記距離画像を推定し、前記距離取得部が取得した距離に基づいて、前記ニューラルネットワークの中間層に入力される情報を補正する、
距離画像推定装置。
前記ニューラルネットワークは、学習時において、目標距離画像から中間コードを求める第１ネットワーク部と、前記目標距離画像に対応する訓練用撮影画像と前記中間コードとから前記距離画像を求める第２ネットワーク部とを有し、前記距離画像と前記目標距離画像との差が小さくなるように学習され、
前記距離画像推定部は、前記中間コードを補正する、
請求項１記載の距離画像推定装置。
撮影部から送られた撮影画像に基づき前記撮影画像に対応した距離画像を推定する距離画像推定部と、
撮影領域に含まれる少なくとも一つの点までの距離を取得可能な距離取得部と、
前記距離取得部が距離を取得した場合に、取得した距離及び距離取得点の情報を記憶するデータベースと、
を備え、
前記距離画像推定部は、前記距離取得部が距離を取得した場合に、取得された距離と距離が取得された距離取得点との情報に基づいて、前記距離取得点以外の点を含めて、前記距離画像を補正し、
前記距離画像推定部は、前記距離取得部が距離を取得した場合に、取得された距離及び距離取得点の情報と、前記データベースに記憶されている過去に取得された情報とに基づいて、前記距離画像を補正する、
距離画像推定装置。
撮影部から送られた撮影画像に基づき前記撮影画像に対応した距離画像を推定する距離画像推定部と、
撮影領域に含まれる少なくとも一つの点までの距離を取得可能な距離取得部と、
精度向上要求領域を設定する第１設定部と、
前記精度向上要求領域の距離の推定精度を向上させる距離取得点を推定し、推定された距離取得点を表示出力する制御部と、
を備え、
前記距離画像推定部は、
前記距離取得部が距離を取得した場合に、取得された距離と距離が取得された距離取得点との情報に基づいて、前記距離取得点以外の点を含めて、前記距離画像を補正する、
距離画像推定装置。
距離取得可能領域を設定する第２設定部を備え、
前記制御部は、前記距離取得可能領域の中から、前記精度向上要求領域の距離の推定精度を向上させる距離取得点を推定する、
請求項４記載の距離画像推定装置。
前記距離取得部は、可動部に設けられた接触センサを含み、前記接触センサにより接触が検出された際の前記可動部の移動量から距離を取得する、
請求項１から請求項５のいずれか一項に記載の距離画像推定装置。
請求項６に記載の距離画像推定装置と、
前記撮影部と、
前記可動部と、
前記可動部を操作する操作部と、
を備える操縦装置。
前記推定された距離画像を表示する表示部と、
を更に備える請求項７に記載の操縦装置。