JP6598552B2

JP6598552B2 - 位置計測システム

Info

Publication number: JP6598552B2
Application number: JP2015148935A
Authority: JP
Inventors: 浩章青木; 三郎片山
Original assignee: Taisei Corp
Current assignee: Taisei Corp
Priority date: 2015-07-28
Filing date: 2015-07-28
Publication date: 2019-10-30
Anticipated expiration: 2035-07-28
Also published as: JP2017032276A

Description

本発明は、位置計測システムに関する。

作業員の立ち入れない作業区域では、遠隔操作による無人化施工が採用される場合がある。無人化施工では、例えば、作業現場から送られてくる映像を複数のモニタに表示し、オペレータがこのモニタを確認しながら無線通信を用いた遠隔操作により建設機械を制御する（例えば、特許文献１参照）。

ここで、建設機械に設置したカメラにより撮影した作業映像および作業現場に設置した建設機械の側面映像の二つの映像をモニタに表示すると、オペレータは側面映像を確認することで建設機械と作業対象物との距離感を把握すると共に作業映像を見ながら正確に遠隔操作を行うことができる。

しかし、建設機械が移動しながら作業を行う場合や、側面映像を撮影するカメラの設置が困難な場合においては、作業映像だけを見てオペレータが遠隔操作を行うことがあった。この場合、作業映像だけでは遠近感に乏しいので、オペレータは今までの経験を頼りに建設機械と作業対象物との距離感を把握しなければならない。その為、オペレータの熟練度により作業効率が変わるだけでなく、建設機械の接触事故等のおそれもあった。

そこで、従来、建設機械にスキャニングレーザ手段を搭載する技術が提案されている。スキャニングレーザ手段は、作業する対象地形領域にレーザ光線を照射し、その反射光を受光するものである。これにより、オペレータは、側面映像がなくても建設機械と作業対象物との距離感を把握することが可能である。

特開平８−７４２９６号公報特開２００４−２９４０６７号公報

しかしながら、建設機械が作業する環境について十分に考慮されていないので、特許文献２に記載される技術を実際の無人化施工に用いることは難しかった。つまり、建設機械に搭載する機器類は、種々の耐久性（防水・防塵・耐振動・耐衝撃等）を備えていなければならないが、レーザ距離計や３Ｄスキャナ等の計測器類は、一般的にこれらの耐久性を備えていない。その為、計測器類を建設機械に搭載することは、容易でなかった。

計測器の設置台として非常に優れた雲台等を設置し、また屋外の使用に耐え得るように計器類をカバーで覆うことも考えられるが、装置が大がかりになると共に費用が余計にかかるので望ましくない。なお、計器類をカバーで覆う場合は、カバーの材料（例えば、ガラスやアクリル等）が計測に悪影響を及ぼす可能性があるため、耐久性が上がっても計測精度が落ちることも懸念される。

このような観点から、本発明は、計測器類を用いることなく作業対象物の位置を計測することができる位置計測システムを提供する。

前記課題を解決するため、本発明に係る位置計測システムは、ステレオカメラを有する建設機械に搭載される位置計測システムである。建設機械は、クローラ式のものである。この位置計測システムは、前記ステレオカメラを設置するカメラ設置台と、水平面に対する前記ステレオカメラの傾きを検出する傾きセンサと、前記ステレオカメラで撮影されたステレオ画像から計測点の位置を算出するステレオ画像解析部とを備える。このカメラ設置台は、前記建設機械に接続される下部架台と、前記ステレオカメラを固定する上部架台と、前記下部架台と前記上部架台との間に介設される防振部材とを有する。前記下部架台および前記上部架台は、底板および背板を備えた断面形状がＬ形の部材からなり、前記防振部材は、前記下部架台の前記底板と前記上部架台の前記底板との間、および前記下部架台の前記背板と前記上部架台の前記背板との間に設けられている。ステレオ画像解析部は、前記傾きセンサが検出する傾きから前記計測点の位置を補正することを特徴とする。

本発明に係る位置計測システムにおいては、傾きセンサによって水平面に対するステレオカメラの傾きを検出できるので、計測点の位置を補正することが可能である。したがって、地面が平らに整備されていない作業現場などにおいても、計測点の位置を正確に計測することができる。その為、本発明に係る位置計測システムによれば、操縦者は、建設機械を遠隔操作する場合においても距離感を把握することが容易である。また、建設機械の振動がステレオカメラに伝わるのを防振部材で防止することができる。

本発明によれば、計測器類を用いることなく作業対象物の位置を計測することができる。

本発明の実施形態に係る位置計測システムを搭載した建設機械の外観斜視図である。ステレオカメラの外観斜視図である。実施形態に係る建設機械の機能構成図である。ステレオカメラ法を用いた画像解析における射影変換のイメージ図である。作業現場における建設機械の状態を示す図であり、（ａ）は平坦な場所に建設機械が存在する場合を示し、（ｂ）は起伏のある場所に建設機械が存在する場合を示す。ステレオ画像解析部の処理を示すフローチャートの例示である。実施例に係る建設機械の機能構成図である。物体追跡部の処理を説明するための図である。物体追跡部におけるモニタへの表示画面の例示である。物体追跡部の処理を示すフローチャートの例示である。二点間計測部の処理を説明するための図である。二点間計測部におけるモニタへの表示画面の例示である。二点間計測部の処理を示すフローチャートの例示である。形状計測部の処理を説明するための図である。形状計測部におけるモニタへの表示画面の例示である。形状計測部の処理を示すフローチャートの例示である。

以下、本発明の実施をするための形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面において、本発明を構成する部材の寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

≪実施形態に係る建設機械の構成について≫
図１を参照して、実施形態に係る建設機械１について説明する。建設機械１は、遠隔操作による無人化施工に用いられるものである。操縦者は、建設機械１に搭乗しておらず、作業現場から離れた場所に存在する遠隔操作室で操縦を行っている。この遠隔操作室には、例えば、モニタとコントローラとを備えるＰＣ（Personal Computer）が設置されており、操縦者は、モニタを見ながらコントローラの操作を行う。
建設機械１は、上部機構２と、上部機構２の前方に取り付けられた作業部機構３と、上部機構２の下部に取り付けられた下部機構４と、通信装置５と、遠隔操作に用いる画像を撮影するステレオカメラ６と、位置計測システム１０とで構成されている。

上部機構２は、操縦席２ａと、駆動源収容部２ｂとからなる。本実施形態では、無人化施工システムを行うことを想定しているので、操縦者は、操縦席２ａに搭乗していない。駆動源収容部２ｂには、エンジン、エンジンで発生した回転力を油圧に変換する油圧ポンプ、油圧ポンプから送られた油の圧力、流量、方向等を調整・制御するコントロールバルブ等が収容されている。上部機構２は、旋回体２ｃによって、水平方向の回転が可能である。

作業部機構３は、上部機構２に取り付けられたブーム３ａと、ブーム３ａの先端に取り付けられたアーム３ｂと、アーム３ｂの先端に取り付けられたアタッチメント３ｃと、これらの間に一つずつ介設された合計で三つの油圧シリンダ３ｄ，・・，３ｄとからなる。作業部機構３は、油圧シリンダ３ｄをコントロールバルブから送られる油を用いて伸縮することにより作動し、作業部機構３を直線状や内側に屈曲した状態にする。アタッチメント３ｃは、作業対象物に接触して実際に作業を行うものであり、作業の内容に応じて取り替え可能である。アタッチメント３ｃは、図１に示す以外にも、例えば、バケットや把持装置等であってもよい。

下部機構４は、車輪４ａと、車輪４ａを取り囲むクローラ４ｂとからなる。なお、下部機構４は、実施形態に示すクローラ式のものでなく、ホイール式のものであってもよい。
通信装置５は、無線通信を用いて、建設機械１の遠隔操作に必要な情報等を送受信する。通信装置５は、例えば、アンテナや通信制御部からなる。通信装置５は、例えば、建設機械１の制御信号を遠隔操作室のコントローラから受信し、また、ステレオカメラ６で撮影した画像を遠隔操作室のモニタに送信する。

ステレオカメラ６は、操縦席２ａの屋根に設置され、操縦席２ａの前方を撮影する。撮影された画像は、遠隔操作室内のモニタに表示されるため、操縦者は、遠隔操作室にいながらにして操縦席２ａに搭乗しているような感覚で操縦を行うことができる。図２を参照して、ステレオカメラ６の詳細な構成について説明する。

ステレオカメラ６は、右側のカメラ６ｒと、左側のカメラ６ｌと、右側のカメラ６ｒおよび左側のカメラ６ｌが固定されるシャフト６ａとからなる。右側のカメラ６ｒおよび左側のカメラ６ｌは、例えば、耐振機能を備えたＣＣＤ（Charged Coupled Device）カメラであり、所定のフレームレートの画像（例えば、毎秒１０枚の画像）を撮影することができる。カメラ６ｒで撮影された画像（以下では「右画像」と称する）およびカメラ６ｌで撮影された画像（以下では「左画像」と称する）の少なくとも何れか一方は、建設機械１を遠隔操作するために、遠隔操作室のモニタに表示される。なお、左側のカメラ６ｌに比べて右側のカメラ６ｒは作業部機構３に近い位置に存在するので、モニタに右画像を表示した方が操縦を行いやすい。

また、ステレオカメラ６で撮影した右画像および左画像は、建設機械１の遠隔操作による操縦を補助する情報を作成するために用いられる。遠隔操作を補助する情報として、ここでは、作業対象物の位置に関する情報を想定しており、ステレオカメラ法を用いた画像解析により算出される。画像解析の詳細については後記する。

図２に示すように、ステレオカメラ６は、カメラ設置台７を介して建設機械１に設置される。カメラ設置台７は、シャフト６ａを支持する一対の支持部材７ａ，７ａと、上部架台７ｂと、下部架台７ｃと、上部架台７ｂと下部架台７ｃとの間に介設される４つの防振部材７ｄ，・・，７ｄとからなる。なお、カメラ設置台７は、図示していないが、アクリル製の防護板をステレオカメラ６の前面に設置してもよい。この場合、防護板によって飛石等を防護することが可能である。

上部架台７ｂおよび下部架台７ｃは、いずれも底板および背板を備えた断面形状がＬ形の部材（山形鋼）からなる。上部架台７ｂの底板および背板には、支持部材７ａ，７ａが固設されている。また、下部架台７ｃの底板の下部には、磁石等の接合手段７ｅが設けられている。ステレオカメラ６は、磁石等を使った接合手段７ｅにより、操縦席２ａの屋根の上部に簡単に着脱可能である。
防振部材７ｄは、建設機械１の振動がステレオカメラ６に伝わるのを防止するためのものである。防振部材７ｄは、振動を抑えられるものであれば種類や構成は特に限定されず、例えば、ゴムを材料とするものであってよい。

次に、建設機械１に搭載される位置計測システム１０の構成について、図３を参照して説明する。図３は、建設機械１の機能構成図である。
建設機械１は、図１で説明した構成以外に主制御部８を備えている。主制御部８は、通信装置５を介して遠隔操作室から受信した制御信号に基づいて上部機構２、作業部機構３および下部機構４を作動させる。主制御部８は、ＣＰＵ（Central Processing Unit）によるプログラム実行処理や、専用回路等により実現される。主制御部８がプログラム実行処理により実現する場合、主制御部８の機能を実現するためのプログラムが建設機械１内の図示しない記憶手段に格納される。

位置計測システム１０は、ジャイロセンサ１１と、ステレオ画像解析部１２とからなる。ジャイロセンサ１１は、水平面に対するステレオカメラ６の傾きを検出する。なお、ここでは、ステレオカメラ６の傾きを検出する傾きセンサとしてジャイロセンサ１１を想定して説明するが、水平面に対するステレオカメラ６の傾きを検出することが可能であればセンサの種類は特に限定されない。ジャイロセンサ１１は、ステレオカメラ６の傾きを精度よく検出可能な場所に設置されるのが望ましい。

ステレオ画像解析部１２は、ステレオカメラ６から右画像および左画像を取得し、ステレオカメラ法を用いた画像解析を行う。ステレオ画像解析部１２は、ＣＰＵ（Central Processing Unit）によるプログラム実行処理や、専用回路等により実現される。ステレオ画像解析部１２がプログラム実行処理により実現する場合、ステレオ画像解析部１２の機能を実現するためのプログラムが建設機械１内の図示しない記憶手段に格納される。

ステレオ画像解析部１２に用いられるステレオカメラ法の基本原理は、三角測量の原理と同様である。つまり、計測を行う計測点と、左側のカメラ６ｌと、右側のカメラ６ｒとを結んで測量区域を三角形で表し、この三角形の内角・辺長を用いて計測点を算出する。ここで、ステレオカメラ法を用いた画像解析を行うためには、実際の空間に設定した三次元座標と、右画像および左画像に設定した二次元座標との間で射影変換を行う必要がある。射影変換のイメージを図４に示す。そして、射影変換を行うためには、ステレオカメラ６の位置や姿勢と、その位置や姿勢で空間中の点を撮影した場合におけるステレオカメラ６の右画像，左画像に写し出される計測点の位置との関係を示す情報（以下、「射影変換情報」と称す）を予め作成しておく必要がある。射影変換情報は、例えば、射影変換の式やこの式の係数などである。

操縦者は、例えば、図５（ａ）で示すように、建設機械１が平坦な場所に存在する状態における射影変換情報を予め作成しておく。ステレオ画像解析部１２は、この射影変換情報を用いることで、建設機械１が平坦な場所に存在する状態でステレオカメラ６により撮影された画像に写し出される計測点の位置を計測することができる。
一方、建設機械１が作業する作業現場は、平坦な場所だけでなく起伏がある場所も多く存在する。例えば、図５（ｂ）に示すように、建設機械１が起伏のある場所に存在する状態では、ステレオカメラ６が水平面に対して傾くことになる。この場合、ステレオ画像解析部１２は、射影変換情報を作成する際に想定していたステレオカメラ６の位置や姿勢と、傾いた建設機械１におけるステレオカメラ６の位置や姿勢との差を考慮して画像解析を行う必要がある。

本実施形態では、ジャイロセンサ１１を用いて建設機械１の傾きθを検出し、この傾きθをステレオカメラ６の傾きθとして計測点の位置を補正する。つまり、ステレオ画像解析部１２は、ジャイロセンサ１１から検出した傾きθを取得し、取得した傾きθを用いて計測点の位置を補正する。ここで、計測点の位置の補正方法は、特に限定されるものではなく種々の方法が考えられる。例えば、ステレオ画像解析部１２は、計測点の位置を算出する前にカメラ６ｌ，６ｒの位置や姿勢を補正してもよいし、算出した計測点の位置を直接的に補正してもよい。

次に、図６を参照して、ステレオ画像解析部１２における処理について説明する。図６は、ステレオ画像解析部１２の処理を示すフローチャートの例示である。ここで、ステレオ画像解析部１２は、建設機械１が平坦な場所に存在する状態におけるステレオカメラ６の位置や姿勢と、右画像、左画像に写し出される計測点の位置との関係を示す射影変換情報を有しているものとする。この射影変換情報は、例えば、操縦者により予め作成される。

最初に、ステレオ画像解析部１２は、ステレオカメラ６の右画像および左画像、並びに撮影時のステレオカメラ６の傾きθを取得する（ステップＳ１）。続いて、ステレオ画像解析部１２は、通信装置５を介して、ステレオカメラ６の右画像を遠隔操作室に送信する（ステップＳ２）。なお、ステレオ画像解析部１２は、ステレオカメラ６の右画像に加えて、または右画像に替えて左画像を送信してもよい。続いて、ステレオ画像解析部１２は、右画像に写し出される計測点の位置（二次元座標値）を取得する（ステップＳ３）。計測点の位置を取得する方法は、特に限定されずに種々の方法であってよい。例えば、操縦者が、モニタ９ｂに表示される右画面に写し出される計測点を選択し、ステレオ画像解析部１２が選択された計測点の位置の座標情報を取得する。

次に、ステレオ画像解析部１２は、左画像に写し出される計測点の位置（二次元座標値）を算出する（ステップＳ４）。ステレオ画像解析部１２は、例えば、ステレオ相関法を用いて右画像に写し出される計測点の位置から左画像に写し出される計測点の位置を算出する。ステレオ相関法は、右画像および左画像の部分毎の輝度分布の相関関係から右画像と左画像との対応付けを行うものである。なお、ステップＳ２で左画像を遠隔操作室に送信した場合には、モニタ９ｂに表示される左画面に写し出される計測点を操縦者が選択し、選択された計測点の位置の座標情報をステレオ画像解析部１２が取得するようにしてもよい。

次に、ステレオ画像解析部１２は、右画像における計測点の位置と左画像における計測点の位置と予め作成された射影変換情報とから、射影変換を行って実際の空間に設定した三次元座標における計測点の位置（三次元座標値）を算出する（ステップＳ５）。続いて、ステレオ画像解析部１２は、ジャイロセンサ１１で検出したステレオカメラ６の傾きθに基づいて、ステップＳ５で算出した計測点の位置を補正する（ステップＳ６）。そして、ステレオ画像解析部１２は、補正した計測点の位置を遠隔操作室に送信し、ステレオカメラ６で撮影した画像と共にモニタ９ｂに表示する（ステップＳ７）。

以上のように、実施形態に係る位置計測システム１０においては、ジャイロセンサ１１によって水平面に対するステレオカメラ６の傾きを検出できるので、計測点の位置を補正することが可能である。したがって、地面が平らに整備されていない作業現場などにおいても、計測点の位置を正確に計測することができる。その為、実施形態に係る位置計測システム１０によれば、操縦者は、建設機械１を遠隔操作する場合においても距離感を把握することが容易である。

図７を参照して、実施例に係る建設機械１Ａについて説明する。実施例に係る建設機械１Ａの位置計測システム１０Ａは、実施形態で説明したステレオ画像解析部１２を用いて、物体追跡部１３、二点間計測部１４および形状計測部１５の三つの機能を実現している。これらの機能は、ＣＰＵ（Central Processing Unit）によるプログラム実行処理や、専用回路等により実現される。物体追跡部１３、二点間計測部１４および形状計測部１５がプログラム実行処理により実現する場合、これらの機能を実現するためのプログラムが建設機械１内の図示しない記憶手段に格納される。以下では、これらの機能について順番に説明する。

＜物体追跡機能＞
物体追跡部１３は、追跡対象物までの距離を時間の経過と共に計測する。操縦者は、例えば、油圧シャベルで土砂をダンプに積み込む作業を遠隔操作で行う場合に、ダンプを追跡対象物に指定すると、物体追跡部１３によりダンプとの距離を常に把握しながら作業を行うことが可能である。

図８を参照して、物体追跡部１３について説明する。図８は、物体追跡部１３の処理の内容を説明するための図である。物体追跡部１３は、時刻ｔ₁での計測点Ｐ_{3D_t1}および時刻ｔ₂での計測点Ｐ_{3D_t2}のように、時間の経過と共に変化する計測点Ｐ_{3D_t1}，Ｐ_{3D_t2}の位置を算出する。ここで、物体追跡部１３は、各時刻における計測点の位置を算出する際に、実施形態で説明したステレオ画像解析部１２を用いてステレオカメラ６の傾きθに基づき計測点Ｐ_{3D_t1}，Ｐ_{3D_t2}の位置を補正する。その為、物体追跡部１３は、各時刻において正確な計測点Ｐ_{3D_t1}，Ｐ_{3D_t2}の位置を算出することが可能である。

図９を参照して、物体追跡部１３による追跡結果のモニタ９ｂへの表示方法について説明する。図９は、物体追跡部１３におけるモニタ９ｂへの表示画面の例示である。物体追跡画面１０１は、撮影画像表示欄１０２、距離表示欄１０３、追跡結果情報表示欄１０４からなる。
撮影画像表示欄１０２には、ステレオカメラ６により撮影された右画像および左画像の何れか一方が表示される。図９では、説明の便宜上、時刻ｔ₁における追跡対象物（実線）および時刻ｔ₂における追跡対象物（破線）を一つの画面上に表しているが、実際には現時点における追跡対象物のみが画面上に表示される。
距離表示欄１０３には、追跡対象物までの現在の距離が表示される。例えば、建設機械１Ａが追跡対象物に徐々に近づく場合を想定する。この場合、時刻ｔ₁における追跡対象物までの距離が「11.3m」であったとすると、時間の経過とともに距離表示欄１０３に表示される数値が「11.3m」から徐々に減少していく。なお、追跡対象物までの距離が予め設定した距離よりも近くなった場合に、物体追跡部１３は、距離表示欄１０３に接近を警告する表示を行うようにしてもよい。
追跡結果情報表示欄１０４には、追跡を開始してから現在までの横移動量や速度等が表示される。これらの値は、例えば、ステレオカメラ６に設定した座標系の原点から見たものであってよい。

図１０を参照して、物体追跡部１３の具体的な処理を説明する。図１０は、物体追跡部１３の処理を示すフォローチャートの例示である。
物体追跡部１３は、まず、撮影画像表示欄１０２の中から追跡を行いたい追跡対象物の一点（以下、「追跡点」と称す）の指定を受け付ける（ステップＳ２１）。続いて、物体追跡部１３は、追跡点の右画像上の位置を求め（ステップＳ２２）、追跡点の三次元座標値を求める（ステップＳ２３）。続いて、物体追跡部１３は、追跡点までの距離から、追跡点の周囲50cm四方の画像上のピクセル（pixel）数を求め（ステップＳ２４）、求めた範囲を初期テンプレートとする（ステップＳ２５）。

次に、物体追跡部１３は、ステレオカメラ６による撮影を開始させ（ステップＳ２６）、撮影中にステップＳ２７〜Ｓ３３の処理を繰り返し行う（ステップＳ２７）。続いて、物体追跡部１３は、追跡する対象の最大移動速度から最大移動量をpixelで算出し（ステップＳ２８）、前回の追跡点の位置を中心として、最大移動量を範囲とした領域内で順にテンプレートとのパターンマッチングを行う（ステップＳ２９）。この処理は、左右の画像それぞれにおいて行う。続いて、物体追跡部１３は、左右の画像それぞれで、テンプレートと画像の差が最小の位置を対象が移動した位置（新たな追跡点）とする（ステップＳ３０）。物体追跡部１３は、左右の画像における新しい追跡点から、三次元座標値を求める（ステップＳ３１）。

次に、物体追跡部１３は、新たな追跡点の三次元座標値から、50cm四方の画像上のpixel数を計算し、新しいテンプレート領域を求める（ステップＳ３２）。そして、物体追跡部１３は、距離表示欄１０３および追跡結果情報表示欄１０４に追跡結果の表示を行う（ステップＳ３３）。物体追跡部１３は、操縦者により撮影を終了されるまでの間、ステップＳ２７〜Ｓ３３の処理を繰り返し行う（ステップＳ２７）。

＜二点間計測機能＞
二点間計測部１４は、計測対象物の寸法を測定する。操縦者は、例えば、遠隔操作で作業を行う場合に、作業を行うもの（例えば、岩等）の二点を指定すると、二点間計測部１４により岩の寸法を把握しながら作業を行うことが可能である。

図１１を参照して、二点間計測部１４について説明する。図１１は、二点間計測部１４の処理の内容を説明するための図である。二点間計測部１４は、計測点Ｐ_{3D_1}，Ｐ_{3D_2}のように、１つの画像内における二点間の距離を算出する。ここで、二点間計測部１４は、各計測点の位置を算出する際に、実施形態で説明したステレオ画像解析部１２を用いてステレオカメラ６の傾きθに基づき計測点Ｐ_{3D_1}，Ｐ_{3D_2}の位置を補正する。その為、二点間計測部１４は、正確な計測点Ｐ_{3D_1}，Ｐ_{3D_2}の位置を算出することが可能である。

図１２を参照して、二点間計測部１４による計測結果のモニタ９ｂへの表示方法について説明する。図１２は、二点間計測部１４におけるモニタ９ｂへの表示画面の例示である。二点間計測画面２０１は、撮影画像表示欄２０２および計測結果情報表示欄２０３からなる。
撮影画像表示欄２０２には、ステレオカメラ６により撮影された右画像および左画像の何れか一方が表示される。図１２では、撮影画像表示欄２０２に計測対象物としての直方体が表示されており、この直方体の１辺の距離を計測した状態が表示されている。
計測結果情報表示欄２０３には、計測点に関する情報が表示される。

図１３を参照して、二点間計測部１４の具体的な処理を説明する。図１３は、二点間計測部１４の処理を示すフォローチャートの例示である。
二点間計測部１４は、まず、ステレオカメラ６による撮影を停止させ（ステップＳ４１）、撮影画像表示欄２０２に右側のカメラ６ｒで撮影した静止画像を表示させる。続いて、二点間計測部１４は、撮影画像表示欄２０２の中から計測を行いたい部分の一点（以下、「計測点」と称す）の指定を受け付け（ステップＳ４２）、ステレオ相関法により左画像上の計測点の位置を求める（ステップＳ４３）。

次に、二点間計測部１４は、左右の画像における計測点の位置から、ステレオカメラ法で計測点の三次元位置（三次元座標値）を求め（ステップＳ４４）、求めた計測点の三次元座標値を登録する（ステップＳ４５）。続いて、二点間計測部１４は、２点の三次元座標値の登録を行ったか否かを判定する（ステップＳ４６）。計測点の三次元座標値の登録を１点でしか行っていない場合には、二点間計測部１４は、処理をステップＳ４２に戻して２点目の登録を行う。一方、２点の三次元座標値の登録を行っている場合には、二点間計測部１４は、登録した２点の計測点の二点間距離を計算する（ステップＳ４７）。そして、二点間計測部１４は、ステップＳ４７で計算した二点間距離を、撮影画像表示欄２０２の計測対象物に重ねて表示する（ステップＳ４８）。

＜形状計測機能＞
形状計測部１５は、計測対象物の形状や重心を測定する。操縦者は、例えば、ブレーカー付油圧シャベルで割岩作業を遠隔操作で行う場合に、割岩するものを指定すると、形状計測部１５により割岩するものの形状や重心を把握しながら作業を行うことが可能である。

図１４を参照して、形状計測部１５について説明する。図１４は、形状計測部１５の処理の内容を説明するための図である。形状計測部１５は、操縦者により計測対象物を選択されると、指定した点を含む物体を点群として抽出し、抽出した点群の各々の点を計測点として位置を算出する。また、形状計測部１５は、抽出した点群の重心点および重心点から鉛直方向にある点群表面上の点（以下、「作業点」と称す）を求める。

地面に置かれたものの形状や重心を測定する場合を想定した場合、形状計測部１５は、地面となる平面の方程式を求め、物体の点群の抽出を行う際に平面の方程式によって点群を抽出する範囲を決定する。形状計測部１５は、例えば、平面の方程式を求める際に、実施形態で説明したステレオ画像解析部１２を用いてステレオカメラ６の傾きθに基づき地面の位置を補正する。具体的には、カメラ座標系でＸＺ平面上に決め打ちした４点の座標値を、ジャイロセンサ１１で検出した傾きθ分だけＸ軸周りに回転し、ステレオカメラ６が設置されている高さ分だけ−Ｙ軸方向に移動して平面の方程式を求める。その為、形状計測部１５は、地面を正確に算出することが可能であり、これによって計測対象物を正確に特定できる。

また、形状計測部１５は、点群の位置を算出する際や重心点および作業点を求める際に、実施形態で説明したステレオ画像解析部１２を用いてステレオカメラ６の傾きθに基づき点群の位置、重心点の位置および作業点の位置を補正する。その為、形状計測部１５は、正確にこれらの位置を計測することが可能である。

図１５を参照して、形状計測部１５による計測結果のモニタ９ｂへの表示方法について説明する。図１５は、形状計測部１５におけるモニタ９ｂへの表示画面の例示である。形状計測画面３０１は、撮影画像表示欄３０２、計測結果情報表示欄３０３からなる。
撮影画像表示欄３０２には、ステレオカメラ６により撮影された右画像および左画像の何れか一方が表示される。図１５では、撮影画像表示欄３０２に計測対象物として直方体が表示されており、この直方体を計測した状態が表示されている。撮影画像表示欄３０２には、計測対象物の形状が点群として表示されており、また、作業点が二重丸で表示されている。
計測結果情報表示欄３０３には、計測した重心点の位置が表示される。これらの値は、例えば、ステレオカメラ６に設定した座標系の原点から見たものであってよい。

図１６を参照して、形状計測部１５の具体的な処理を説明する。図１６は、形状計測部１５の処理を示すフォローチャートの例示である。
形状計測部１５は、まず、ステレオカメラ６による撮影を停止させ（ステップＳ６１）、撮影画像表示欄３０２に右側のカメラ６ｒで撮影した静止画像を表示させる。続いて、形状計測部１５は、撮影画像表示欄３０２の中から形状等の計測を行いたい計測対象物の指定を受け付ける（ステップＳ６２）。続いて、形状計測部１５は、ステレオ相関法で右画像と左画像との相関関係を計算することにより三次元点群を求める（ステップＳ６３）。ステップＳ６３で相関関係を計算する範囲は、画面全体であってもよいし、ステップＳ６２で指定を受けた位置の周囲のように画面の特定の範囲であってもよい。

次に、形状計測部１５は、相関計算の結果から、地面となる平面の方程式を求める（ステップＳ６４）。続いて、形状計測部１５は、三次元点群から地面と一定距離以内にある点群を除外する（ステップＳ６５）。続いて、形状計測部１５は、指定された計測点の周囲の平均座標値を求め（ステップＳ６６）、求めた平均座標値を中心とした最大計測サイズを直径とする範囲の外に存在する点を除外する（ステップＳ６７）。形状計測部１５は、残った点を二次元画像である撮影画像表示欄３０２上に投影し、指定点を含む領域を重心の検出対象範囲とする（ステップＳ６８）。

次に、形状計測部１５は、対象点群の平均座標値を求め、計測対象物の重心とする（ステップＳ６９）。形状計測部１５は、重心から鉛直方向に延びる直線の方程式を求め（ステップＳ７０）、求めた直線に一番近い点の座標値を求める（ステップＳ７１）。続いて、形状計測部１５は、重心点と直線に一番近い点の鉛直方向の距離を求め（ステップＳ７２）、重心点から求めた距離だけ離れた直線上の点を物体表面上の点（作業点）とする（ステップＳ７３）。そして、形状計測部１５は、検出結果をカメラ座標系から車両座標系への変換を行い（ステップＳ７４）、検出結果を撮影画像表示欄３０２および計測結果情報表示欄３０３に表示する（ステップＳ７５）。形状計測部１５は、例えば、抽出した点群や作業点を目立つ色の点として、撮影画像表示欄３０２の計測対象物に重ねて表示する。

［変形例］
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。実施形態の変形例を以下に示す。

実施形態では、ステレオカメラ６は、二台のカメラ６ｒ，６ｌからなっていたが、三台以上のカメラから構成されていてもよい。その場合、すべてのカメラが撮影した画像から計測点を算出してもよいし、選択した二台以上のカメラが撮影した画像から計測点を算出することもできる。

また、実施形態では、建設機械１がステレオ画像解析部１２を備える構成であったが、外部の装置（例えば、遠隔操作室内のＰＣ）がステレオ画像解析部１２を備える構成であってもよい。その場合、ジャイロセンサ１１によって計測された傾きθやステレオカメラ６が撮影した画像は、通信装置５を介してステレオ画像解析部１２を備える当該外部の装置に送信されるようにする。なお、物体追跡部１３、二点間計測部１４および形状計測部１５についても同様に、外部の装置（例えば、遠隔操作室内のＰＣ）が備える構成であってもよい。

１，１Ａ建設機械
２上部機構
３作業部機構
４下部機構
５通信装置
６ステレオカメラ
６ｒ，６ｌカメラ
７カメラ設置台
１０，１０Ａ位置計測システム
１１ジャイロセンサ
１２ステレオ画像解析部
１３物体追跡部
１４二点間計測部
１５形状計測部

Claims

ステレオカメラを有する建設機械に搭載される位置計測システムであって、
前記建設機械は、クローラ式のものであり、
前記ステレオカメラを設置するカメラ設置台と、
水平面に対する前記ステレオカメラの傾きを検出する傾きセンサと、
前記ステレオカメラで撮影されたステレオ画像から計測点の位置を算出するステレオ画像解析部と、を備え、
前記カメラ設置台は、前記建設機械に接続される下部架台と、前記ステレオカメラを固定する上部架台と、前記下部架台と前記上部架台との間に介設される防振部材と、を有し、
前記下部架台および前記上部架台は、底板および背板を備えた断面形状がＬ形の部材からなり、
前記防振部材は、前記下部架台の前記底板と前記上部架台の前記底板との間、および前記下部架台の前記背板と前記上部架台の前記背板との間に設けられており、
前記ステレオ画像解析部は、前記傾きセンサが検出する傾きから前記計測点の位置を補正する、
ことを特徴とする位置計測システム。