JP5390813B2 - 空間情報表示装置及び支援装置 - Google Patents

Description

本発明は、空間情報（三次元情報）を取得して表示する空間情報表示装置及び当該装置を利用して作業機械又はロボットのオペレータを支援する支援装置に関する。

例えば、建設車両などの作業機械等のための遠隔操作技術として、作業空間における多くの映像（画像）情報を得るために多数のカメラを備え、それらに対応する複数のモニタ画面或いはモニタ画面を複数に分割して取得した映像（画像）情報を表示するようなものがある。

このものは、オペレータにあっては、その複数のモニタ若しくはモニタ内の小さな分割画面から得られる映像情報に基づいて、作業対象物までの距離、大きさ、作業面の傾斜等の作業空間における情報を視覚的或いは感覚的に取得して、これら取得した情報に基づいて作業を行なうことが求められ、オペレータの個々の経験に頼る面が大きいというのが実情であった。

このようなことから、オペレータの経験や熟練度合い等に頼らず、客観的に作業対象物までの距離、大きさに関する情報等を取得することができることが望まれ、例えば特許文献１には、作業機にステレオカメラ等を搭載し、作業対象物までの距離や大きさなどの情報を取得して、オペレータによるこれら情報の客観的な把握を可能にする試みに関する技術が提示されている。

特開平１１−２１３１５４号公報

しかし、特許文献１に記載の技術では、取得した作業対象物までの距離に応じて割り当てられる色情報を持つ距離画像を表示することで、オペレータに対して視覚的かつ客観的に距離情報を与えるようにしているが、このように距離に応じて割り当てられた色情報を持つ距離画像は、図１５に示すように、オペレータに対して距離情報を与えることはできるものの、かかる距離画像からは距離情報以外の作業対象物や作業空間の特徴情報の多くが失われてしまっているため、かかる距離画像を見ただけでは、オペレータは作業対象物の周囲の作業空間情報を容易かつ正確に得ることができなかったり、作業対象物がどのような物質であるのか、外形形状はどのようになっているのかなどの情報を得ることが難しくなり、実際の作業においては、オペレータには、従来とはまた違った面での熟練が要求されるといった実情がある。

なお、オペレータに立体感を体感させるために、専用のゴーグルやモニタ、又はヘッドマウントディスプレイなどを装着させるような技術も存在するが、システムが複雑かつ高価になると共に、システムが専用設計となり汎用性に欠けるといった問題や、オペレータに対してこれらを装着することに起因する煩わしさや疲労感のために長時間の使用が困難であるといった問題や、作業空間内での立体感を得ることはできるものの定量的なスケールを得ることは難しく、オペレータの操作感覚の支援に留まっているのが実情である。

本発明は、かかる従来の実情に鑑みなされたもので、比較的簡単かつ安価な構成でありながら、空間情報（三次元情報）を取得して、その取得した情報を、利用者、操作者（オペレータ）等に対して使い勝手良く表示することができる空間情報表示装置及び支援装置を提供することを目的とする。

このため、本発明に係る空間情報表示装置は、
ステレオカメラの一方により取得される画像情報を表示装置の画面に表示すると共に、
これとリアルタイムに又は所定時間毎に、前記取得された画像情報と関連付けて、ステレオカメラにより空間情報を取得し、
利用者が前記画像情報が表示された画面を指示した場合に指示点に対応する空間情報を表示すると共に、
利用者の指示に基づいて、前記表示装置に表示された画像情報から対象物を特定し、特定した対象物の物理的特性を前記空間情報に基づいて推定して表示することを特徴とする。

本発明において、前記指示点に対応する空間情報に関連する信頼度が表示されることを特徴とすることができる。

本発明において、前記物理的特性には、対象物の形状、体積、重量、重心の少なくとも１つが含まれることを特徴とすることができる。
また、本発明において、前記物理特性が重量である場合において、利用者による対象物の材質の指示と、前記空間情報と、に基づいて、重量の推定を行うことを特徴とすることができる。

本発明において、前記物理的特性が、対象物の形状である場合において、
前記対象物の形状は、所定境界面に対する対象物表面の位置情報に基づいて推定されることを特徴とすることができる。

また、本発明において、
前記所定境界面が、視線方向と交差する場合において、
前記対象物の形状は、
対象物表面の位置情報を取得し、当該取得した位置情報のうちの画像情報の視線方向における最奥点を通り画像情報の視線方向と略直交する視線直交面を想定して、当該視線直交面に対する表面形状を取得し、
当該取得した表面形状と、当該表面形状の前記視線直交面に対する面対称形状と、に基づいて推定されることを特徴とすることができる。

本発明において、
前記所定境界面が、視線方向と交差する場合において、
前記対象物の形状は、
前記取得した表面形状と、当該表面形状の前記視線直交面に対する面対称形状と、に基づく立体形状を、前記所定境界面で切断し、当該所定境界面より空間側に存在する立体形状であると推定されることを特徴とすることができる。

また、本発明に係る支援装置は、
搭乗型或いは遠隔操作型の作業機械、又はロボットにステレオカメラが備えられ、
上述した本発明に係る空間情報表示装置により画像情報と関連付けられた空間情報を表示することにより、前記作業機械又はロボットのオペレータを支援することを特徴とする。

本発明によれば、比較的簡単かつ安価な構成でありながら、空間情報（三次元情報）を取得して、その取得した情報を、利用者、操作者（オペレータ）等に対して使い勝手良く表示することができる空間情報表示装置及び支援装置を提供することができる。

以下、本発明に係る一実施の形態を、添付の図面を参照しつつ説明する。なお、以下で説明する実施の形態により、本発明が限定されるものではない。

本発明の一実施の形態に係る空間情報表示装置（システム）は、例えば、図１に示すような、例えば双腕型の複雑な操縦系を持つ建設車両などの作業機械（又はロボットなど）１などの搭乗型におけるオペレータ補助システム或いは遠隔操作型の作業機械（又はロボットなど）１を遠隔操作によりオペレータが操作する際の補助システムなどに利用される。

搭乗型或いは遠隔操作型の作業機械１には、作業空間の映像（画像）を取得すると共に、三次元情報（空間情報）を取得するためのステレオカメラ１０が備えられる。
このステレオカメラ１０が撮像する映像（画像）は、動画とすることができるが、静止画であっても良いものである

ステレオカメラ１０は、図９に示すような手法によって、基準カメラ（ベースカメラ：Ｂａｓｅ Ｃａｍｅｒａ）１１と、検証カメラ（インスペクションカメラ：Ｉｎｓｐｅｃｔｉｏｎ Ｃａｍｅｒａ）１２と、により、測定対象である同一ポイントＰ（Ｘｐ、Ｙｐ（、Ｚｐ））を異なる方向から同時に撮影し、視差（ｄｉｓｐａｒｉｔｙ）を利用することで、当該ポイントＰの奥行き方向の情報（Ｚｐ）を取得できるようにしたもので、各カメラ１１、１２としては、例えば１３０万画素程度のＣＣＤ固体撮像素子或いはＭＯＳ型個体撮像素子などを利用することができる。

なお、ステレオカメラ１０を利用した三次元情報の取得方法については、図９〜図１１を用いて後で説明する。

このようなステレオカメラ１０の撮像データに基づく作業空間の映像（二次元情報すなわち画素位置情報）に対応付けられた三次元情報の取得処理は、図示しないＰＣ（パーソナルコンピュータ）などの演算処理装置により実行される。

各カメラ１１、１２の画素数は、要求精度やＰＣ（パーソナルコンピュータ）等の処理能力や記憶容量等に応じて、より多くの画素数とすることもでき、或いは要求される精度などからより少ない画素数とすることなども可能である。

そして、取得された三次元情報（奥行き情報）は、所定ポイントＰ（作業空間の映像に対応付けられた各画素位置或いは所定間隔毎の画素位置に相当する）に関連付けられてＰＣ内の記憶手段に記憶されるようになっている。なお、このとき、同様に、所定ポイントＰに関連付けて色彩情報や情報取得時刻等も記憶させることができる。

ところで、作業空間の映像に対応付けられた所定間隔毎の画素位置に対応させて情報を取得し記憶する場合、例えば画素と画素との間の位置における三次元情報が必要となる場合には、情報を有する画素間で補完処理等を行うことで画素間の三次元情報を補うように構成することができる。

また、本実施の形態においては、作業機械１が搭乗型の場合にはオペレータ室に、遠隔操作型の場合には遠隔操作室に、図２に示すように、ステレオカメラ１０により撮像される作業空間の様子をそのまま作業空間の映像として表示し、更にその映像の所定ポイント（映像に対応した画面上の画素位置情報）に対応付けられている三次元情報や、その他必要に応じて遠隔操作等に必要となる映像情報、位置情報などを画面上の所定の領域に表示すると共に、表示画面上の所定の位置や領域を指示することでＧＵＩ（グラフィカルユーザーインターフェース）として機能させることが可能なポインティングデバイス或いはタッチパネル機能を備えた表示装置２０が備えられている。

すなわち、この表示装置２０は、例えばステレオカメラ１０の片眼（例えばベースカメラ１１）の映像を表示することで、オペレータに対して作業空間の様子を認識し易い状態で表示すると共に、各種処理用のコマンドやステレオカメラ１０の制御を行うための各種のメニューを表示し、オペレータからの入力情報を取り込むインターフェースとして機能するものである。

なお、本実施の形態においては、図示しないＰＣは、ステレオカメラ１０の動作などの制御を行うと共に、支援ソフトウェアを介して表示装置２０（ポインティングデバイス）からの入力情報に基づいて対応する各種の処理を行うようになっている。

ここで、より具体的に説明すると、本実施の形態では、ステレオカメラ１０で捕らえた作業空間の映像は、ＰＣ内の支援ソフトウェアにより、リアルタイムに又は所定時間毎にステレオマッチング処理されて、当該作業空間の映像（映像に対応した画面上の画素位置情報）に対応付けられた三次元情報として取得され記憶される。

すなわち、作業空間の三次元情報（Ｘ、Ｙ、Ｚ）は、図１１（符号Ｍ_Ｌ、Ｍ_Ｌ’、Ｐ、Ｐ’など参照）などに示されるように、ステレオカメラ１０の片眼（例えば、ベースカメラ１１）の映像の画素情報（Ｘ、Ｙ）と対応付けて管理される。

なお、カメラ１１（或いは１２）側の画素数と、表示装置２０の画面（スクリーン）の画素数と、が一致しない場合は、スクリーン側の領域に対応するカメラ側の各画素に対応付けられている各データの平均値を求め、当該平均値をスクリーン側の領域に対応したデータとして利用することができる。

このような構成を有する本実施の形態に係る空間情報表示装置によれば、先ず、オペレータは、図２に示したように、表示装置２０に表示されている映像により、違和感のない見慣れた感覚を持って視覚的に作業空間の様子を把握することができる。

そして、オペレータは、ポインティングデバイス（ペン型、マウス型、タッチパネル方式など）により映像を直接的に（或いはカーソル等を介して間接的に）ポイントすることによって（図２中符号Ａ、Ａ１〜Ａ３、図１１のＭ_Ｌ、Ｍ_Ｌ’など参照）、作業空間内の指定した点やエリアに対応して取得されている三次元情報へのアクセスを要求することができ、かかるオペレータの操作に応じて、支援ソフトウェアでは表示されている映像延いては指示ポイントに対応付けられている画素位置に対応して取得され記憶されている三次元情報を表示装置２０の画面（図２中符号Ｂなど参照）に表示することができるようになっている。

更に、支援ソフトウェアは、オペレータにより入力指定されたポイントやエリアに対応する三次元情報を確定すると、当該作業空間内での作業に応じて必要である色・位置・距離・面積等を演算等により取得し、これらを表示装置２０に表示することができるようになっている。例えば、図４には、距離の計測等を行う様子が示されている。

ところで、ステレオカメラ座標系（ステレオカメラ１０の取付位置を原点とする座標系）と、ショベル座標系（作業機械１の座標系）と、の関係は、例えば、図１４に示すような関係とすることができる。なお、ステレオカメラ１０や作業機械１の地理的位置として、例えばＧＰＳ等からの位置情報を利用することもできる。

これにより、図３に示すように、作業機械１の各作業アーム１Ａ、１Ｂの基端部取り付け部分（オペレータ室）の旋回中心等を基準として、各作業アーム１Ａ、１Ｂの先端部分等の現在位置や作業対象物までの距離や相対位置などを取得できることになる。

従って、例えば、各作業アーム１Ａ、１Ｂにより作業対象物に対する処理を行う際に、その作業対象物の近傍へ各作業アーム１Ａ、１Ｂの先端部分を移動させる場合などにおいて、各作業アーム１Ａ、１Ｂの先端部分の位置や対象物の位置やその距離を取得できているため、各作業アーム１Ａ、１Ｂの先端部分を作業対象物の近傍へ迅速に動かしたり、自動的に移動させたりすることなどが可能となる。

また、支援ソフトウェアは、オペレータの入力操作（ポイント指定や対象物を囲むような領域指定など）に基づいて作業対象物を特定することができるように構成されており、特定された作業対象物に関して、支援ソフトウェアが有する形状推定機能によって、その作業対象物の体積、重心計算、重量計算、形状推定などを実行し、表示装置２０の画面にその結果を表示することができるようになっている（図２中の符号Ｃ参照）。

また、オペレータは、表示装置２０の映像や取得されている色彩情報等から判断して、作業対象物の材質などを、例えばポインティングデバイス等を介して入力することにより指定することができるようになっている（図５参照）。当該材質情報から比重等を特定することなどができるため、例えば重量推定などにおいて推定精度を高めることができる。

更に、本実施の形態では、表示装置２０に、三次元情報の信頼度を併せて表示することで、オペレータに対して、指定したポイントにおける三次元情報に対する信頼性を認知させることができるようになっている（図２中符号Ｄ参照）。
従って、オペレータは、表示装置２０に表示されている映像から、信頼性の高い三次元情報を持つポイントを適宜に選択することが可能となっている。

すなわち、例えば、各カメラ１１、１２で撮像した２次元データＭ_Ｌ、Ｍ_Ｒから対応するポイントＰの三次元データを取得できる場合の画素を「ＯＫ画素」とし、対応する三次元データを取得できない画素を「ＮＧ画素」とし、本実施の形態においては、オペレータによる表示画面２０の画面に対する指示点がＯＫ画素に対応している場合は、図１２に示すように、対応する三次元データＰに関する情報を表示画面２０の画面に出力などすることができるようになっている。

この一方、オペレータによる指示点がＮＧ画素の場合は、「データなし」または「他点を選択して下さい」のようなメッセージを表示画面２０の画面に出力するようになっている。

なお、ＯＫ画素は、ステレオマッチング処理の際に生じる対応点の合致度を数値化して保有しており(信頼度データ)、例えば、これをイメージ的に可視化し、品質に関する評価尺度として利用することで、オペレータは、より信頼性の高いＯＫ画素を選択指示することができることになる。

ここで、信頼度の一例について説明する。

すなわち、「ｒｅｌｉａｂｉｌｉｔｙ（信頼度）」は、０と１の間にある数値情報である。適当なしきい値を設定し、これと比較することで信頼度合否判定の評価に用いたり、「ｒｅｌｉａｂｉｌｉｔｙ」を視覚的に表示することで、オペレータに対して、より信頼性の高い三次元情報を持つポイントなどを選択することなどが可能となる。

例えば、２台のカメラ１１、１２により同一ポイントであるとして取得される撮像データを比較し、両データ間における合致度或いは類似度が高い場合には信頼性高い三次元データが得られるものと判断し、両データ間における合致度或いは類似度が低い場合には取得される三次元データとしての信頼性は低いと判断し、その結果を信頼度として表示するものである。

本実施の形態では、この信頼度に関する情報を、図２中符号Ｄで示したように表示装置２０の画面上に例えばプログレッシブバーなどの方法で直感的に捉えられるように表示することで、信頼度を迅速かつ正確に確認し易い方法で確認しながらオペレータは適当な指示点を選択することができ、以ってオペレータによる指示点の選択を適切に補助することができることになる。

次に、本実施の形態における支援ソフトウェアが行う、幾つかの形状推定方法について説明する。すなわち、オペレータやカメラ１１、１２からは作業対象物の表面しか観察することはできないが、例えば作業対象物の作業面からの高さ情報などに基づいてその全体形状等を推定し、当該情報をオペレータに表示することができれば有益である。
このため、作業対象物の全体形状を推定して、各種の作業における参考情報として表示しようとするものである。

（手法１）
図６に示すように、
（１）計測平面（計測範囲の平面、すなわち形状推定の基礎となる平面（計測対象が存在している周囲の平面））を、オペレータによる表示装置２０に表示されている映像への指示（例えば、表示装置２０に表示されている作業空間内に観察される平面上の３点（例えば図２中符号Ａ１，Ａ２，Ａ３）を指示することで指定することができる）などに基づいて特定する。
なお、計測平面は、本発明に係る所定境界面に相当するものであり、平面に限定されるものではなく、曲面とすることもできるものである。
（２）計測方向（視線方向）から観察し、特定される作業対象物の表面データ（三次元）を取得する。
例えば、オペレータの入力操作（ポイント指定や作業対象物を囲むような領域指定など（図２中符号Ａ等参照））に基づいて作業対象物を特定し、特定された作業対象物に係る情報を表面データ（三次元）として取得する構成とすることができる。
但し、計測平面が所定平面度を有し他に平面から突き出している物が存在せず推定精度に対する悪影響が小さいような場合には、計測平面内の平面以外の情報を作業対象物に係る情報と特定して、これら情報を表面データ（三次元）として自動取得する構成とすることができる。
また、作業対象物とは別に計測平面から突き出している物が存在する場合において、その突き出し量が所定以下である場合や、その突き出し量が比較的大きい場合であってもその突き出し部分が作業対象物に係る情報群と認められる一群の情報から所定に離間していたり分散して存在しているような場合には、これらに係る情報を作業対象物の表面データ（三次元）から割愛することとして推定精度を向上させることができる。
（３）表面データを計測平面からの距離を持った単位面データに近似化し、各単位面と計測平面からの距離で構成される柱状要素を想定し、その柱状要素の総和を作業対象物と推定する。このとき体積・形状も推定する。
（４）推定した対象物の形状をもとに、重心の位置、基準軸回りの慣性モーメントを求め、これらを推定した形状と共に表示画面２０の画面に表示する。

（手法２）
図７に示すように、
（１）〜（２）は、手法１と同じ。但し、本手法においては、（１）のステップは省略することができる。
（３）表面データをカメラ奥行き方向（計測方向）に評価し、最奥の位置に計測方向と直交する面(カメラ直交面)を構成する。
（４）表面データをカメラ直交面からの距離を持った単位面データに近似化し、各単位面とカメラ直交面で構成される柱状要素の総和を作業対象物の１／２体積とする。
（５）カメラ直交面の裏側に鏡像の物体を形成し作業対象物とする。このとき体積・形状も推定する。
（６）推定した対象物の形状をもとに、重心の位置、基準軸回りの慣性モーメントを求め、これらを推定した形状と共に表示画面２０の画面に表示する。

（手法３）
図８に示すように、
（１）〜（４）は、手法１と同じ。但し、本手法においては、（１）のステップは（５）のステップまでに実行すればよいものである。
（５）で、カメラ直交面の裏側に鏡像の物体を形成し、それを計測平面でカットし、計測平面上側にある物体を作業対象物とする。このとき体積・形状も推定する。
（６）推定した対象物の形状をもとに、重心の位置、基準軸回りの慣性モーメントを求め、これらを推定した形状と共に表示画面２０の画面に表示する。

これら手法１から手法３などによって、オペレータやカメラ１１、１２からは作業対象物の表面しか観察できないが、例えば作業面からの作業対象物の突き出し具合などに基づいてその全体形状、重量、重心位置等を推定することができ、各種の作業における参考情報として利用することができる。

ここで、ステレオカメラ１０による三次元情報の取得方法及び映像情報との関連付けなどについて説明しておく。
図９は、Ｂ（基線長：ｂａｓｅ ｌｉｎｅ）とｆ（焦点距離：ｆｏｃａｌ ｌｅｎｇｔｈ）が既知で、光軸が平行な２台のカメラ(基準カメラ１１と検証カメラ１２)で同一の対象を撮影し、２つの画像を取得する標準ステレオカメラ１０と称される原理を図示したものである。

各カメラ１１、１２で撮像されるそれぞれの画像から対象物の同一点に対応する対応点を求める処理(ステレオマッチング処理)を行うことにより、対象物の表面情報を基準カメラ系の座標で三次元化することができる（図９中の式（１）参照）。なお、ステレオマッチング処理の手法には、一般的に特徴ベース法や領域ベース法と呼ばれるような手法が知られている。

ステレオマッチング処理を行った後、図１０に示すように、対象物の点Ｐ（Ｘｐ、Ｙｐ、Ｚｐ）に相当する対応点がそれぞれＭ_ＬとＭ_Ｒであるとすると、Ｍ_ＬとＭ_Ｒの成分（ｘ_Ｌｐ、ｙ_Ｌｐ）、（ｘ_Ｒｐ、ｙ_Ｒｐ）を用いて、図１０中の式（２）により、点Ｐの三次元座標を求めることができる。

同様に、対象物の点Ｐ’に相当する対応点がそれぞれＭ_Ｌ’とＭ_Ｒ’であるとすると、Ｍ_Ｌ’とＭ_Ｒ’の成分（ｘ_Ｌｐ’、ｙ_Ｌｐ’）、（ｘ_Ｒｐ’、ｙ_Ｒｐ’）を用いて点Ｐ’の三次元座標を求めることができる(図１０中の式（３）参照)。
以上の繰り返しにより、ステレオカメラ１０で取得した画像の全ての対応点を用いて構築した三次元座標空間においては、三次元情報を構築するために用いた画像情報（２次元情報）と、それに基づいて構築された三次元情報との間には、対応点の成分（ｘ_Ｌｐ、ｙ_Ｌｐ）と、それに対応する三次元成分（Ｘｐ、Ｙｐ、Ｚｐ）が対の関係で存在していることになる。

従って、三次元情報の構築に用いた対応点（の成分）と、構築した三次元情報と、の相関関係を、全ての対応点に対して関連付けて整理しておけば、画像上の任意の点を示すことにより、対応する三次元情報を即座に呼び出すことができる。

すなわち、図１１に示すように、例えば、画像をタッチペン型入力ツール機能を有するモニタ画面に表示し、オペレータがタッチペンによりモニタ画面（映像）に指示点を入力することで、その指示点の成分に対応する対象物上の三次元情報を即時に得ることができ、例えば映像を観察しながら遠隔操作をするようなアプリケーションにおいて、位置の指定や計測を行うインターフェースとして応用することができる（図２等参照）。

以上説明したように、本実施の形態に係る空間情報表示装置によれば、ステレオカメラの視野内の作業空間における任意の指定点および目標物の距離情報が作業空間の映像情報と共に得られ、オペレータが目標物と車輌、目標物とマニピュレータなどの作業装置との距離の数値的把握が容易になるため、遠隔操作型の操作システムの持つ欠点が補われ操作性が大幅に向上する。

また、機器構成がシンプルであり、汎用性に優れているため、多種多様な目的に利用可能である。例えば、双腕型の建設車両等の作業機械やロボット等のような複雑な操作を伴う操縦系において、目標点を定め、入力してやることにより個々のマニピュレータを素早く指定位置に移動させることなどが可能となり、従来オペレータが操作する工程を補完することにより作業性が大幅に向上する。

更に、目標物の大きさ、質量、重心等の情報が得られるため、把持重量や把持動作の適切な指示目標が得られるため作業安全性が大幅に向上する。

取得した情報の利用方法として、例えば、以下のような利用方法が考えられる。
（１）取得した位置情報は、例えば作業空間内の特定位置に、車両やマニピュレータなどの作業装置を移動するための目標情報として用いることができる。
（２）取得した距離・面積情報は、例えば、作業空間内の可動範囲の推定や、安全確認（危険箇所までの離隔等）の情報として用いることができる。また、下記（３）の体積計算の補助として用いることができる。
（３）取得した体積情報は、上述した形状推定手法１〜手法３などにより求めることができ、作業空間内に存在する物体の重心位置の算出や、上記（１）の材質情報と併せ、重量を把握するために用いることができる。
（４）上述した形状推定手法１〜手法３などの形状推定によって取得した物体の形状は、作業空間内に存在する物体の材質の判定や、作業装置の支援情報として用いることができる。

ところで、本実施の形態においては、ステレオカメラ１０の台数は特に限定されるものではなく、１台若しくは複数台備えることができ、複数台備えた場合には、対象となる作業空間の領域を拡張することができ、或いは空間情報の取得精度を向上させることなどが可能となる。

なお、本実施の形態では、建設作業における作業機械（或いはロボット）１においてオペレータに作業空間情報を表示する場合或いは遠隔操作型の作業機械１を遠隔操作室で操作するオペレータに作業空間情報を表示するような場合を例に説明したが、これに限定されるものではなく、作業等を行なうことなく単に空間情報を取得して表示するような場合にも利用することができる。

例えば、危険地域での地殻変動等の天変地異地を遠隔的に観察する場合や、学校、公園等の公共施設の他、一般的な建物内や敷地内の観察等の目的で利用することも可能である。

また、作業機械（或いはロボット）１は、移動式、自走式に限らず、定置式のものとすることもできる。

以上で説明した本発明に係る一実施の形態は、本発明を説明するための例示に過ぎず、本発明の要旨を逸脱しない範囲内において、種々変更を加え得ることは可能である。

本発明の一実施の形態に係る空間情報（三次元情報）表示装置が利用される作業機械（或いはロボット）を模式的に示す斜視図である。 同上実施の形態に係る空間情報表示装置の表示画面の一例を示した図である。 同上実施の形態に係る作業機械のオペレータ室の旋回中心、各作業アーム１Ａ、１Ｂの先端部分、作業対象物などの位置関係について模式的に示す斜視図である。 同上実施の形態に係る作業機械と作業対象物の様子と、オペレータが表示装置の画面上で作業対象物の寸法を計測している様子を模式的に示す斜視図である。 同上実施の形態に係る表示装置の画面上でオペレータが作業対象物の色彩や材質を指定している様子を模式的に示す斜視図である。 同上実施の形態に係る支援ソフトウェアが行う形状推定の手法１について説明した図である。 同上実施の形態に係る支援ソフトウェアが行う形状推定の手法２について説明した図である。 同上実施の形態に係る支援ソフトウェアが行う形状推定の手法３について説明した図である。 同上実施の形態に係るステレオカメラによる空間情報（三次元情報）の取得方法について説明した図である。 同上実施の形態に係るステレオカメラによる映像情報（画素）に関連付けた空間情報（三次元情報）の取得方法について説明した図である。 同上実施の形態に係る表示装置の画面の画素位置情報と、これに関連付けた空間情報（三次元情報）と、の関係について説明した図である。 同上実施の形態に係る支援ソフトウェアが行う三次元情報の信頼度に関連するＯＫ画素について説明した図である。 同上実施の形態に係る支援ソフトウェアが行う三次元情報の信頼度に関連するＮＧ画素について説明した図である。 ステレオカメラ座標系と、ショベル座標系（作業機械の座標系）と、の関係を示した図である。 従来の距離画像の一例とその元画像を示した図である。

符号の説明

１ 搭乗型或いは遠隔操作型の作業機械（又はロボット）
１Ａ、１Ｂ 作業アーム
１０ ステレオカメラ
１１ ステレオカメラの片眼（左側カメラ、ベースカメラ）
１２ ステレオカメラの片眼（右側カメラ、検証カメラ）
２０ 表示装置

Claims (8)

1. ステレオカメラの一方により取得される画像情報を表示装置の画面に表示すると共に、
   これとリアルタイムに又は所定時間毎に、前記取得された画像情報と関連付けて、ステレオカメラにより空間情報を取得し、
   利用者が前記画像情報が表示された画面を指示した場合に指示点に対応する空間情報を表示すると共に、
   利用者の指示に基づいて、前記表示装置に表示された画像情報から対象物を特定し、特定した対象物の物理的特性を前記空間情報に基づいて推定して表示することを特徴とする空間情報表示装置。
2. 前記指示点に対応する空間情報に関連する信頼度が表示されることを特徴とする請求項１に記載の空間情報表示装置。
3. 前記物理的特性には、対象物の形状、体積、重量、重心の少なくとも１つが含まれることを特徴とする請求項１又は請求項２に記載の空間情報表示装置。
4. 前記物理特性が重量である場合において、利用者による対象物の材質の指示と、前記空間情報と、に基づいて、重量の推定を行うことを特徴とする請求項３に記載の空間情報表示装置。
5. 前記物理的特性が、対象物の形状である場合において、
   前記対象物の形状は、所定境界面に対する対象物表面の位置情報に基づいて推定されることを特徴とする請求項３に記載の空間情報表示装置。
6. 前記所定境界面が、視線方向と交差する場合において、
   前記対象物の形状は、
   対象物表面の位置情報を取得し、当該取得した位置情報のうちの画像情報の視線方向における最奥点を通り画像情報の視線方向と略直交する視線直交面を想定して、当該視線直交面に対する表面形状を取得し、
   当該取得した表面形状と、当該表面形状の前記視線直交面に対する面対称形状と、に基づいて推定されることを特徴とする請求項５に記載の空間情報表示装置。
7. 前記所定境界面が、視線方向と交差する場合において、
   前記対象物の形状は、
   前記取得した表面形状と、当該表面形状の前記視線直交面に対する面対称形状と、に基づく立体形状を、前記所定境界面で切断し、当該所定境界面より空間側に存在する立体形状であると推定されることを特徴とする請求項５に記載の空間情報表示装置。
8. 搭乗型或いは遠隔操作型の作業機械、又はロボットにステレオカメラが備えられ、
   請求項１〜請求項７の何れか１つに記載の空間情報表示装置により画像情報と関連付けられた空間情報を表示することにより、前記作業機械又はロボットのオペレータを支援する支援装置。