JP6080450B2 - 監視カメラ装置 - Google Patents

Description

この発明は、クレーンのブームの先端近傍に取り付けた単眼カメラで撮影した画像から立体画像を取得して、撮像された構造物等の物体の高さを求める監視カメラ装置に関する。

従来から、作業機械のブームの前面にステレオカメラを設け、作業機械の前方にある作業対象物を立体撮影するようにしたステレオカメラ装置が知られている（特許文献１参照）。

作業機械は、下部走行体と、この下部走行体の上に設けた上部旋回体と、この上部旋回体に設けた起伏可能なブームと、このブームの先端部に設けたシーブと、シーブの先端部に設けたアームと、このアームの先端部に設けた破砕機と、ブームの前面に設けた一対のステレオカメラとを備えている。

一対のステレオカメラは前方に向けられており、作業機械の前方にある破砕する作業対象物を立体撮影するもので、立体撮影によって作業対象の前後方向の奥行きを求めるようにしたものである。

特開２０１０−２４８７７７号公報

このような作業機械では、作業対象物の奥行きを求めるためには、立体撮影する一対のステレオカメラが必要であるという問題がある。

この発明の目的は、１つの単眼カメラで立体撮影して物体の高さを求めることのできる監視カメラ装置を提供することにある。

請求項１の発明は、クレーンのブームの先端近傍に取り付けられた単眼カメラを備えた監視カメラ装置であって、前記ブームの格納姿勢から作業姿勢に移行する動作中に、前記単眼カメラで撮像した少なくとも２つの画像を取り込み、この取り込んだ複数の画像のうちの２つの画像である第１,第２画像と、これらの第１,第２画像の光軸間距離とから撮像されている物体の高さを求める画像演算処理装置を設けたことを特徴とする。

この発明によれば、１つの単眼カメラで立体撮影することができ、しかも撮像した構造物の高さを正確に求めることができる。

この発明に係る監視カメラ装置を搭載した移動式クレーンを示した側面図である。 監視カメラ装置の構成を示したブロック図である。 監視カメラ装置の画像処理コントローラの構成を示したブロック図である。 監視カメラが伸縮ブームの伸長に応じて撮像する位置が変わることを示す説明図である。 （Ａ）は図４に示す第１位置で撮像した画像を示す説明図、（Ｂ）は図４に示す第２位置で撮像した画像を示す説明図である。 左右のカメラの位置関係と座標を示した説明図である。 ３次元空間の点と、この点を撮像した左右のカメラの画像上の位置との関係を示す説明図である。 ３次元空間の点の位置を求めることができることを示す説明図である。 抽出した特徴点の位置を示すマークＭと、求めた構造物の高さとを合成表示した画像の一例を示す説明図である。

以下、この発明に係る監視カメラ装置の実施の形態である実施例を図面に基づいて説明する。

［第１実施例］
図１に監視カメラ装置を搭載したクレーンとしてラフテレーンクレーン１０を示す。このラフテレーンクレーン１０は、走行機能を有する車両の本体部分となるキャリア１１と、このキャリア１１の前側に設けられた左右一対の前側アウトリガ１２と、キャリア１１の後側に設けられた左右一対の後側アウトリガ１３と、キャリア１１の上部に水平旋回可能に取り付けられた旋回台１４と、旋回台１４に設けたキャビン２０と、旋回台１４に固定されたブラケット１５に取り付けられた伸縮ブーム１６等とを備えている。

伸縮ブーム１６は、その基端部が支持軸１７を介して取り付けられており、支持軸１７を中心に起伏可能となっている。ブラケット１５と伸縮ブーム１６との間には起伏用シリンダ１８が介装され、この起伏用シリンダ１８の伸縮により伸縮ブーム１６が起伏される。

伸縮ブーム１６は、ベースブーム１６Ａと中間ブーム１６Ｂと先端ブーム１６Ｃとを有し、この順序でベースブーム１６Ａ内に外側から内側に入れ子式に組み合わされて構成されている。また、伸縮ブーム１６は伸縮シリンダ(図示せず)によって伸縮するようになっている。

先端ブーム１６Ｃの先端部にはシーブ(図示せず)が設けられており、このシーブにワイヤＷが掛けられ、このワイヤＷによってフックブロック１９が吊されている。フックブロック１９にはフック２１が取り付けられている。

ワイヤＷは、図示しないウインチによって巻き取られたり、送り出されたりする。

先端ブーム１６Ｃの先端部には、ＴＶカメラなどの監視カメラ（単眼カメラ）１００が図示しないダンパを介して真下に向けて取り付けられており、この監視カメラ１００はチルト方向とパン方向へ垂直軸線に対して任意の角度に傾斜可能となっている。また、監視カメラ１００は、図示しないダンパにより風などにより向きが変わらないようになっている。

監視カメラ１００の傾斜（向き）はキャビン２０内に設けた操作部(図示せず)によって行われる。監視カメラ１００の傾斜角度は、チルト角検出センサＳ１とパン角検出センサＳ２（図２参照）とで検出する。
［監視カメラ装置］
図２は、監視カメラ装置１１０の構成を示したブロック図である。

監視カメラ装置１１０は、伸縮ブーム１６の先端部に設けられた監視カメラ１００と、伸縮ブーム１６の姿勢を検出するブーム姿勢検出センサ５０と、監視カメラ１００の傾斜角度を検出するチルト角検出センサＳ１及びパン角検出センサＳ２と、監視カメラ１００から出力される画像信号を処理して撮像した構造物（物体を代表して構造物とする）の高さなどを求める画像処理コントローラ（画像演算処理装置）６０と、監視カメラ１００が撮像した画像を表示するモニタ５１とを備えている。
［ブーム姿勢検出センサ］
ブーム姿勢検出センサ５０は、伸縮ブーム１６の伸長した長さと、伸縮ブーム１６の起仰角と、伸縮ブーム１６の旋回角とを検出するものであり、それぞれを検出する各センサ(図示せず)を有している。
［画像処理コントローラ］
画像処理コントローラ６０は、伸縮ブーム１６が格納位置から作業開始位置（スタンバイ位置）へ移動される際や作業の移動中などに、監視カメラ１００が異なる位置で撮像した２つの画像に基づいて建物の高さを求めたりするものである。

画像処理コントローラ６０は、図３に示すように、監視カメラ１００で撮像した画像を取り込む第１,第２フレームメモリ部６１,６２と、第１フレームメモリ部６１に取り込まれた第１画像から建物などの構造物の特徴点を抽出する抽出部６３と、第２フレームメモリ部６２に取り込まれた第２画像を所定の画像に変換する画像変換部６４と、画像変換部６４で変換された変換画像から建物などの構造物Ｉ（図４参照）の特徴点Ｐを抽出する抽出部６５と、第１,第２フレームメモリ部６１,６２が取り込んだ第１,第２画像の光軸間の距離を求めたり、この距離とブーム姿勢検出センサ５０が検出したデータなどとから構造物Ｉの高さを求めたりする各種の演算を行う演算部と６６と、この演算部６６が求めた構造物Ｉの高さを示す数値をこの構造物Ｉの画像に合成する画像合成部６８と、監視カメラ１００が撮像している画像を第１,第２フレームメモリ部６１,６２に取り込ませたり、演算部６６に演算処理を行わせたりする制御部６９などとを有している。
［動 作］
次に、上記のように構成される監視カメラ装置１１０の動作について説明する。

伸縮ブーム１６が格納位置(図示せず)から図４に示すように起仰されて作業位置へ伸長さていく際、監視カメラ１００が伸縮ブーム１６の伸長とともに撮像していき、この撮像した画像がモニタ５１に表示されていく。ここでは、監視カメラ１００は真下に向けられているものとして説明する。

監視カメラ１００が図４に示す鎖線位置（第１位置）に来たとき、制御部６９は監視カメラ１００が撮像した画像を第１フレームメモリ部６１に取り込ませる。

第１フレームメモリ部６１に画像が取り込まれると、抽出部６３は撮像された構造物Ｉの画像の輪郭線（エッジ）を画像処理により抽出し、さらに図５の（Ａ）に示すように輪郭線のうち構造物Ｉの角部となる点Ｐ１を特徴点として画像処理により抽出し、この特徴点Ｐ１の位置を画像Ｇ１上の位置（Ｘ１,Ｙ１）として求める。

また、伸縮ブーム１６の伸長により監視カメラ１００が図４の実線位置（第２位置）に来たとき、制御部６９は監視カメラ１００が撮像した画像を第２フレームメモリ部６２に取り込ませる。

第２フレームメモリ部６２に画像が取り込まれると、監視カメラ１００が第１位置と同じ高さ位置で、右へＬ（図４において）だけ移動させた位置Ｑ１から撮像した画像となるように、画像変換部６４が第２フレームメモリ部６２の画像を変換する。

この画像変換は、ブーム姿勢検出センサ５０が検出する検出データに基づいて幾何学上の変換を行う。この変換画像を必要であれば図示しない第３フレームメモリ部に記憶させる。

抽出部６５は、図５の（Ｂ）に示す変換画像Ｇ２に基づいて上記と同一の建物（構造物）の画像の輪郭線（エッジ）を画像処理により抽出し、さらにその輪郭線のうち角部となる点Ｐ２を画像処理により特徴点として抽出し、この点Ｐ２の位置を画像Ｇ２上の位置（Ｘ２,Ｙ２）として求める。
［原理］
ここで、ステレオ撮影によって奥行きを求める原理を簡単に説明する。

図６に示すように、座標系として、基準カメラの位置を原点とし、ＸＹＺの各座標軸を設定する。参照カメラの位置は（Ｂ,０,０）であり、両カメラ間の距離はＢである。

カメラによって得られる画像は、３次元中の対象物体が平面Ｚ＝ｆ上に投射投影される２次元像である。ｆは焦点距離である。

画像座標（ｘ,ｙ）は、画像中心を原点Ｏとした２次元座標であり、画像座標軸ｘ,ｙは、３次元空間のＸ軸,Ｙ軸に平行となるように設定する。

いま、図７に示す３次元空間の点Ｄ（Ｘｐ,Ｙｐ,Ｚｐ）を２つのカメラで撮像したとする。このとき、基準カメラ（左カメラ）で得られた画像中では位置Ｕ（ｘ_L,ｙ_L）に写っており、参照カメラ（右カメラ）による画像では点Ｖ（ｘ_R,ｙ_R）に写っているものとする。ただし、２つの同じカメラをＸ軸に沿って平行に配置したときには、ｙ_L＝ｙ_Rとなる。

三角測量による奥行きＺは、三角形の相似により求める。図８は、図７の様子を上からＹ軸方向に見た図である。

３次元空間中の対象点Ｄ（Ｘｐ,Ｙｐ,Ｚｐ）と２つのカメラ位置が作る三角形（△ＤＯＶ）と、基準カメラ位置とその画像上の視差が作る三角形（△ＯＥＦ）が相似形であることから、次の関係式が成り立つ。

｜ｘ_L−ｘ_R｜：ｆ＝Ｂ：Ｚｐ …（１）
ｘ_R−ｘ_Lは基準面における視差であり、これをｄとすると、（１）式から奥行きＺｐは、
Ｚｐ＝−Ｂｆ/ｄ …（２）
として求めることができる。

なお、図７のカメラ配置では、必ずｘ_L＞ｘ_Rとなり、視差ｄをｘ_R−ｘ_Lで定義しているため、上式にマイナス符号がつく。

奥行きが求まれば、スケーリングによって対象点Ｄ（Ｘｐ,Ｙｐ,Ｚｐ）は、次のようにして求めることができる。

すなわち、ｆ：ｘ_L＝Ｚｐ：Ｘｐであり、Ｘｐ＝ｘ_L・Ｚｐ／ｆとなる。同様にして、Ｙｐ＝ｙ_L・Ｚｐ／ｆとなる。

したがって、
（Ｘｐ,Ｙｐ,Ｚｐ）＝（ｘ_L・Ｚｐ/ｆ,ｙ_L・Ｚｐ/ｆ,−Ｂｆ/ｄ）
＝−Ｂ/ｄ（ｘ_L,ｙ_L,ｆ） …（３）
となる。すなわち、左カメラで撮像した画像の位置Ｕ（ｘ_L,ｙ_L）と、右カメラで撮像した画像の位置Ｖ（ｘ_R,ｙ_R）とを求めれば、（３）式から点Ｄの位置を求めることができることになる。なお、画像座標（ｘ,ｙ）の座標値として３次元空間の値を使用する。

この実施例では、上述したように、図４に示す第１位置で撮像した画像Ｇ１の特徴点Ｐ１（図５参照）の位置（Ｘ１,Ｙ１）と、位置Ｑ１で撮像した画像Ｇ２の特徴点Ｐ２の位置（Ｘ２,Ｙ２）が求められている。なお、位置（Ｘ１,Ｙ１）、（Ｘ２,Ｙ２）の座標値として３次元空間の値を使用する。

したがって、基準カメラを第１位置カメラとし、参照カメラを第２位置カメラとして両カメラ間の距離Ｂに相当する水平方向の監視カメラ１００の移動距離Ｌ（図４参照）を求めれば、（３）式から距離ｈ１を求めることによって構造物Ｉの高さＨを求めることができる。

監視カメラ１００の移動距離Ｌは、図３に示す演算部６６がブーム姿勢検出センサ５０が検出する検出信号から求める。つまり、伸縮ブーム１６の起仰角と伸長した長さに基づいて移動距離Ｌを演算部６６が求める。

演算部６６は、図７に示す画像の位置Ｕ（ｘ_L,ｙ_L）,Ｖ（ｘ_R,ｙ_R）と、移動距離Ｌとから第１位置の監視カメラ１００（図４参照）の位置から構造物Ｉまでの垂直方向の距離ｈ１を上記の（３）式に基づいて求める。

さらに、演算部６６は、ブーム姿勢検出センサ５０が検出する検出信号から図４に示す第１位置における監視カメラ１００の高さ位置ｈ０を求め、距離ｈ１と高さ位置ｈ０とから構造物Ｉの高さＨを求める。

ここでは、構造物Ｉの高さＨを求めているが、地面に置かれた資材などの固定物の特徴点を抽出し、同様の方法で固定物の高さを算出するようにしてもよい。

合成部６８は、図９に示すように、モニタ５１に表示されている構造物Ｉの画像Ｇ３上に、抽出した特徴点Ｐ１,Ｐ２の位置を示す黒丸のマークＭと、求めた構造物Ｉの高さＨを示す数値とを合成表示させる。

すなわち、高さＨを示す数値が構造物Ｉの高さを示すことが分かるようにその構造物Ｉに関連付けて表示する。ここでは、特徴点Ｐ１,Ｐ２の位置に黒丸を表示して、黒丸の近くに数値を表示することにより、構造物Ｉの高さを示していることが分かるようにしたものである。

監視カメラ１００が構造物Ｉ以外にも他の構造物を撮像している場合、上記と同様にして、他の構造物の特徴点を抽出し、その構造物の高さを求めてモニタ５１の画面に表示する。

このように、伸縮ブーム１６の先端部に設けた監視カメラ１００で撮像する画像は、伸縮ブームの移動とともに撮像位置が異なり、撮像位置の高さが異なる一方の画像を画像処理することによって、ステレオカメラで撮像したのと同様な画像を得ることにより、構造物Ｉの高さＨを求めるものであるから、１つの監視カメラ１００で構造物Ｉの高さＨを求めることができる。

また、伸縮ブーム１６の先端部に監視カメラ１００を設けたものであるから、伸縮ブーム１６を伸長させることにより、高い構造物Ｉの高さも求めることができる。また、高い位置から監視カメラ１００で撮像することができることにより、作業に必要な周囲内にある構造物の高さを求めることができ、その周囲内の立体図を作成することができる。このため、作業の安全性をより高めることができる。

ところで、撮像された画像から輪郭線や特徴点Ｐ１,Ｐ２の抽出を行う場合、監視カメラ１００の高さが高くなるにつれて構造物Ｉは小さく映り込むので、監視カメラ１００の高さが低いときには構造物Ｉが大きく映っていることにより特徴点Ｐ１,Ｐ２を抽出するための画素の数を粗くし、その高さが高くなるにしたがって画素の密度を高めていくことにより、特徴点Ｐ１,Ｐ２の抽出を短時間で且つ正確に演算することができる。この場合、特徴点Ｐ１,Ｐ２の位置を複数回計算して平均して求めてもよい。

上記実施例では、第１,第２位置で撮像した画像から構造物Ｉの高さを求めているが、伸縮ブーム１６が伸びている際に連続して構造物Ｉの高さを求めていき、この求めた複数の高さの分布状態から構造物Ｉの高さを決定するようにしてもよい。

伸縮ブーム１６が旋回する場合に高さを測定すると、監視カメラ１００の高さが一定なので、構造物Ｉの高さを精度よく求めることができる。このため、構造物Ｉの高さが求められた後、伸縮ブーム１６が旋回された場合、この旋回時に構造物Ｉの高さを求め、構造物Ｉの高さを更新するようにしてもよい。

伸縮ブーム１６を起仰させてクレーン１０を移動させる際中に、監視カメラ１００で撮像していけば、広範囲に渡って上から撮像することができ、その広範囲内にある構造物の高さを求めることができる。このため、その広範囲内の立体図を作成することができる。

上記実施例では、第１,第２位置で撮像する監視カメラ１００は真下に向けられている場合について説明したが、第１位置や第２位置で監視カメラ１００がチルトやパンされていても、監視カメラ１００が真下に向けられて撮像した画像となるように画像処理することによって、構造物Ｉの高さを求めることはできる。

上記実施例では、撮像した画像から構造物の特徴点を抽出し、この特徴点の高さを求めているが、これに限らず、例えばモニタ５１の画面にタッチパネルを設け、画面に表示されている画像の所望の部位をタッチパネル上からタッチすることにより、その画像の所望の部位の高さを求めるようにしてもよい。

この発明は、上記実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。

１６ 伸縮ブーム
５１ モニタ
６０ 画像処理コントローラ（画像演算処理装置）
６１ 第１フレームメモリ部
６２ 第２フレームメモリ部
６３ 抽出部
６４ 画像変換部
６５ 抽出部
６６ 演算部
６８ 合成部
１００ 監視カメラ（単眼カメラ）

Claims (5)

1. クレーンのブームの先端近傍に取り付けられた単眼カメラを備えた監視カメラ装置であって、
   前記ブームの格納姿勢から作業姿勢に移行する動作中に、前記単眼カメラで撮像した少なくとも２つの画像を取り込み、この取り込んだ複数の画像のうちの２つの画像である第１,第２画像と、これらの第１,第２画像の光軸間距離とから撮像されている物体の高さを求める画像演算処理装置を設けたことを特徴とする監視カメラ装置。
2. 前記画像演算処理装置は、前記第１画像から物体の特徴点を抽出し、第２撮像位置を第１撮像位置の高さ位置にして撮像した場合に得られる画像となるように第２画像を変換処理し、この変換処理した変換画像から前記物体の特徴点を抽出し、第１画像の特徴点と変換画像の特徴点のそれぞれの画像上の位置と、前記光軸間距離とに基づいて物体の高さを求めることを特徴とする請求項１に記載の監視カメラ装置。
3. 前記ブームの移動中、連続して前記物体の高さを求めることを特徴とする請求項１または請求項２に記載の監視カメラ装置。
4. 前記ブームが旋回されたとき、既に求めた物体の高さをその旋回中に求めた高さに更新することを特徴とする請求項３に記載の監視カメラ装置。
5. 前記単眼カメラで撮像した画像を表示するモニタを有し、
   このモニタに表示される物体の高さを示す数値を、その物体の高さを示すことが分かるようにその物体の画像に関連付けて前記モニタ上に表示することを特徴とする請求項１ないし請求項４のいずれか１つに記載の監視カメラ装置。