JP5462008B2 - 画像表示システム - Google Patents

Description

本発明は、クレーンや高所作業車などの画像表示システムに関するものである。

従来、自動車などの車両にカメラを搭載して、撮影された画像を用いて安全確認を支援するシステムが提案されている。さらに、建設機械やクレーンなどにもカメラを搭載して、周囲の安全を確認するシステムも提案されている。

例えば、特許文献１には、旋回体の周辺を撮影するカメラユニットと画像処理装置とを備えており、旋回体の旋回による可動範囲の外周位置を示す円弧を表示画面上に表示するカメラシステムが開示されている。

この構成によれば、旋回体と障害物の位置関係を表示画面上で確認することができ、注視すべき周辺状況を容易に確認できる。

特開２００８−３１２００４号公報

しかしながら、大型クレーンなどの場合には、車両や旋回台に取付けたカメラだけでは作業範囲すべてを撮影して表示することはできなかった。

そこで、本発明は、広い作業範囲を違和感なく表示できる画像表示システムを提供することを目的としている。

前記目的を達成するために、本発明の画像表示システムは、車体に対して旋回自在に設置される旋回台と、前記旋回台に起伏自在に設置されるブームと、前記ブームの先端近傍に取り付けられる先端カメラと、前記車体又は前記旋回台に取り付けられる周辺カメラと、前記先端カメラの画像と前記周辺カメラの画像とを表示部に表示させる処理部と、を備える画像表示システムであって、前記処理部は、前記先端カメラで撮影された画像と前記周辺カメラで撮影された画像とを合成して前記表示部に表示させるものであり、前記周辺カメラで撮影された画像については、前記先端カメラで撮影された画像の特徴点に基づいて補正して合成に使用することを特徴とする。

また、前記処理部は、前記先端カメラで撮影された画像と前記周辺カメラで撮影された画像とを基準位置からの俯瞰画像に変換する構成とすることができる。

さらに、前記処理部は、前記先端カメラで撮影された画像と前記周辺カメラで撮影された画像とを合成する際には、前記先端カメラで撮影された画像と前記周辺カメラで撮影された画像の重なり部分は、前記先端カメラで撮影された画像を優先して表示させる構成とすることができる。

また、前記処理部は、前記ブームに作用する実荷重の定格荷重に対する負荷率が所定負荷率になるラインを前記俯瞰画像に重ねて表示させる構成とすることができる。

さらに、前記処理部は、前記表示部に表示する表示領域として、車体前方には、負荷率１００％に所定の付加分を加えた範囲まで、車体側方には、アウトリガ最大張出幅又はテールスイング幅に所定の付加分を加えた範囲まで、を表示する構成とすることができる。

このように、本発明の画像表示システムは、旋回台とブームと先端カメラと周辺カメラと処理部とを備える画像表示システムであって、処理部は、先端カメラで撮影された画像と周辺カメラで撮影された画像とを合成して表示部に表示させる。

したがって、広い作業範囲を違和感なく表示できるようになるため、安全に作業することができる。加えて、死角が少なくなるうえ、上空に位置する物体も表示することができる。

そして、処理部は、先端カメラで撮影された画像の特徴点に基づいて、周辺カメラで撮影された画像を補正することで、画像変換の負担を抑えつつ、より正確に俯瞰画像に変換できる。

また、処理部は、先端カメラで撮影された画像と周辺カメラで撮影された画像とを基準位置からの俯瞰画像に変換することで、周辺の物との位置関係を平面的に把握できるため、周辺の物との距離が把握しやすくなる。

さらに、処理部は、先端カメラで撮影された画像と周辺カメラで撮影された画像とを合成する際には、先端カメラで撮影された画像と周辺カメラで撮影された画像の重なり部分は、先端カメラで撮影された画像を優先して表示させることで、より明瞭な表示を可能とし、画像処理負担の少ない画像表示システムとなる。

また、処理部は、ブームに作用する実荷重の定格荷重に対する負荷率が所定負荷率になるラインを俯瞰画像に重ねて表示させることで、作業しながら負荷率ラインを見ることで、あらかじめ危険を察知できるようになり安全に作業できる。

さらに、処理部は、表示部としてのモニタに表示する表示領域として、車体前方には、負荷率１００％に所定の付加分を加えた範囲まで、車体側方には、アウトリガ最大張出幅又はテールスイング幅に所定の付加分を加えた範囲まで、を表示することで、安全上必要な領域をすべて表示できる。

本発明の画像表示システムの構成を説明するブロック図である。 ラフテレーンクレーンの構成とカメラ位置を説明する側面図である。 ラフテレーンクレーンの構成とカメラ位置を説明する平面図である。 俯瞰変換処理の概念を説明する説明図である。 負荷率ラインの表示処理を説明する説明図である。（ａ）は車両基準の場合であり、（ｂ）は旋回台基準の場合である。 表示領域の範囲を説明する説明図である。 マスク領域について説明する説明図である。

以下、本発明の実施の形態について図面を参照して説明する。

まず、図２を用いて本実施例のクレーンの制御装置Ｓを備えるクレーンとしてラフテレーンクレーン１の機械的な構成を説明する。なお、以下の実施例では、ラフテレーンクレーン１を例にして説明するが、これに限定されるものではなく、オールテレーンクレーン、トラッククレーン、積載型トラッククレーンなどブームを備えるクレーンであれば本発明を適用できる。

本実施例のラフテレーンクレーン１は、図２に示すように、走行機能を有する車両の本体部分となるキャリア１０と、キャリア１０の四隅に設けられたアウトリガ１１，・・・と、キャリア１０に水平旋回可能に取り付けられた旋回台１２と、旋回台１２に立設されたブラケット１３に取り付けられたブーム１４と、を備えている。

アウトリガ１１は、ラフテレーンクレーン１の転倒を防止するものであり、キャリア１０のフロント側とリヤ側の左右に設けられ、油圧によって張出・接地がおこなわれる。

また、旋回台１２は、旋回用モータの動力を伝達されるピニオンギヤを有しており、このピニオンギヤがキャリア１０に設けた円形状のギヤに噛み合うことで旋回軸を中心に回動する。

さらに、ブーム１４は、基端ブーム１４１と中間ブーム１４２と先端ブーム１４３とによって入れ子式に構成されており、伸縮シリンダ（不図示）によって伸縮できるようになっている。

このうち基端ブーム１４１は、その付け根においてブラケット１３に水平に設置された支持軸に揺動自在に取り付けられており、上下に起伏できるようになっている。

また、ブラケット１３と基端ブーム１４１との間には、起伏シリンダ１５が架け渡されており、この起伏シリンダ１５を伸縮することでブーム１４全体を起伏することができる。

さらに、先端ブーム１４３のシーブにはワイヤ１６が掛け回されてフック１７が吊下げられている。

そして、本実施例の画像表示システムＳは、図２，３に示すように、旋回台１２とブーム１４に加えて、先端ブーム１４３の先端に下に向けて取り付けられた先端カメラ２１と、旋回台１２に横に向けて取り付けられた周辺カメラとしての前方カメラ２２、後方カメラ２３、左方カメラ２４、右方カメラ２５と、先端カメラ２１の画像と周辺カメラの画像とを表示部としてのモニタ６に表示させる処理部３と、を備えている。

この先端カメラ２１は、先端ブーム１４３の先端と同じ高い位置から下方を撮影する標準レンズのデジタルムービーカメラであり、撮影された画像は処理部３に伝送される。

また、先端カメラ２１は、先端ブーム１４３の先端の側面に起伏方向に揺動自在に取り付けられているため、常に鉛直下方を撮影するようになっている。

このため、先端カメラ２１は、ブーム１４の起伏や高さによって撮影範囲が変わるうえ、ブーム１４が搭載された旋回台１２の旋回位置によっても撮影範囲が変わる。

同様に、周辺カメラである前方カメラ２２、後方カメラ２３、左方カメラ２４及び右方カメラ２５は、旋回台１２の設置された低い位置から前方、後方、左方、右方の画像を撮影する広角レンズのデジタルムービーカメラであり、撮影された画像は処理部３に伝送される。

このため、周辺カメラである前方カメラ２２、後方カメラ２３、左方カメラ２４及び右方カメラ２５は、ブーム１４の起伏や高さによっては撮影範囲が変わることはなく、旋回台１２の旋回位置によって撮影範囲が変わる。

そして、処理部３は、記憶部や演算部を有するマイクロコンピュータであり、伝送された画像の歪みを補正し、俯瞰画像に変換した後に、それぞれの俯瞰画像をパノラマ合成したうえで、表示部であるモニタ６に表示させる。以下、歪み補正処理、俯瞰変換処理、パノラマ合成処理、特徴点に基づく補正処理、負荷率ラインの表示処理、表示領域の切出処理の順に、処理内容を説明する。

（歪み補正処理）
この歪み補正処理では、処理部３は、レンズによる歪みを補正するために、入力画素の座標値にレンズ歪み係数やアスペクト比などにもとづいて計算される係数を乗じて出力画素の座標値に変換する。

（俯瞰変換処理）
また、俯瞰画像に変換する俯瞰変換処理では、処理部３は、視点を基準位置である旋回中心の鉛直上方の所定位置に変換するために、入力画素の座標値にレンズ歪み係数やカメラ取付角などにもとづいて計算される係数を乗じて出力画素の座標値に変換する。

具体的には、数式１，２及び図４に示すように、カメラ取付位置を計測して射影変換行列を求めたり、変換前後の画像上の特徴点を４点以上決めて射影変換行列を求めたりすることで、変換前の座標値に射影変換行列を乗じて変換後の座標値を計算する。これをベクトル記述すると、

となる。また、マトリクス記述すると、

となる。上記したように、この射影変換行列は、カメラ取付位置や、変換前後の画像上の特徴点（４点以上）によって求めることができる。

この際、先端カメラ２１の取付位置を求めるためには、ブーム１４の姿勢情報が必要となる。そのため、処理部３は、姿勢計測手段としての起伏角計測手段５１、長さ計測手段５２、旋回角計測手段５３による計測値を制御部４から取得して先端カメラ２１の位置を計算する。

（パノラマ合成処理）
さらに、パノラマ合成処理では、処理部３は、隣り合う撮影画像を１枚の画像として繋ぎ合わせるために、対応する座標値の輝度を線形補間等することで違和感のない繋ぎ目を実現する。

この合成では、先端カメラ２１の画像と周辺カメラである前方カメラ２２、後方カメラ２３、左方カメラ２４及び右方カメラ２５の画像とが重なり部分を有する場合には、重なり部分については先端カメラ２１の画像をメイン画像として優先してモニタ６に表示する。

すなわち、先端カメラ２１の位置によっては、先端カメラ２１の画像だけでは車両周辺に死角が生じるため、この死角を補間することやぼやけた部分の解像度を上げるために周辺カメラの画像を用いる。

逆に、例えば、ブーム１４が全伸で起伏全伏のような姿勢で先端カメラ２１が車両から大きく離れている場合や、先端カメラ２１がズーム操作されて局所的な画像しか得られない場合は、周辺カメラの画像をメイン画像としてモニタ６に表示する。

（特徴点に基づく補正処理）
そして、本実施例の画像表示システムＳでは、処理部３は、歪みの少ない先端カメラ２１の画像に映る特徴点に基づいて、周辺カメラの画像の補正や、立体物の表示補正などを実行する。

具体的には、先端カメラ２１の画像から特徴点の抽出を行う。特徴点としては、例えば物体のコーナーのようなものが利用できる。次に、その特徴点に対応する点をもう一方の画像から探索して、対応付けられた特徴点の座標の組から画像間の幾何学的変換パラメータを算出して変換（補正）する。幾何学的変換には、アフィン変換や射影変換が用いられる。

立体物は、周辺カメラの合成画像では繋ぎ目部分で不連続なズレが生じやすい。そこで、先端カメラ２１と周辺カメラの画像から立体物を判定して、先端カメラ２１の画像の立体物を表示する。

（負荷率ラインの表示処理）
また、本実施例の画像表示システムＳでは、図５（ａ）に示すように、処理部３は、上記のように作成された俯瞰画像に重ねるようにして、ブーム１４に作用する実荷重の定格荷重に対する負荷率が所定負荷率となるラインをモニタ６に表示する。

具体的には、実荷重が定格荷重と等しくなる負荷率１００％の円弧状のラインと、定格荷重に対して実荷重が１０％の余裕のある負荷率９０％の円弧状のラインがモニタ６内に表示される。また、アウトリガ１１の張出幅が左右で相違するような場合には、径の異なる円弧を組み合わせたような曲線がモニタ６内に表示されることとなる。

なお、この図５（ａ）では、旋回台１２の旋回位置によらずにキャリア１０の前方向をモニタ６画面の上方向に合致させて表示しているが、図５（ｂ）に示すように、旋回台１２とともに回転するブーム１４軸方向を前方向としてモニタ６画面の上方向に合致させて表示してもよい。

（表示領域の切出処理）
最後に、このように歪み補正、俯瞰変換、パノラマ合成された画像は、処理部３において、図６に示すように、モニタ６の形状に合わせて表示領域が切り出される。

この表示領域は、車体前方には負荷率１００％に所定の付加分を加えた範囲、車体側方にはアウトリガ最大張出幅又はテールスイング幅に所定の付加分を加えた範囲とすることができる。

すなわち、キャリア１０前方や旋回台１２前方には、負荷率１００％のラインの頂点を含むようにし、さらに全体を見やすくするための所定の付加分を加えた負荷率（例えば１２０％）のラインの頂点を含むようにする。

また、キャリア１０側方及びキャリア１０後方には、アウトリガ１１の最大張出幅に所定の付加分（例えば３ｍ）を加えた範囲や、旋回台１２のテールスイング幅に所定の付加分（例えば３ｍ）を加えた範囲を含むようにする。

他方、車体前方について、表示領域よりも上記の先端カメラ２１の画像範囲が狭い場合には、処理部３は、図７に示すように、撮影された画像の存在しない領域を黒又は灰色のマスク領域としてモニタ６に表示する。

次に、本実施の形態の画像表示システムＳの作用について説明する。

（１）このように、本実施例の画像表示システムＳは、車体であるキャリア１０に対して旋回自在に設置される旋回台１２と、旋回台１２に起伏自在に設置されるブーム１４と、ブーム１４の先端近傍に取り付けられる先端カメラ２１と、キャリア１０又は旋回台１２に取り付けられる周辺カメラとしての前方カメラ２２、後方カメラ２３、左方カメラ２４及び右方カメラ２５と、先端カメラ２１の画像と周辺カメラの画像とを表示部としてのモニタ６に表示させる処理部３と、を備える画像表示システムＳであって、処理部３は、先端カメラ２１で撮影された画像と周辺カメラで撮影された画像とを合成してモニタ６に表示させることを特徴としている。

したがって、広い作業範囲を違和感なく表示できるようになるため、安全に作業することができる。加えて、死角が少なくなるうえ、上空に位置する物体も表示することができる。

すなわち、大型のクレーンなどでは、作業範囲は、キャリア１０の周辺だけではなく、キャリア１０から離れた位置にある吊荷周辺まで及ぶため、周辺カメラだけではすべての作業範囲を撮影することは困難である。

この場合、周辺カメラをやや上向きに設置して離れた位置の吊荷周辺まで撮影しても、俯瞰変換処理の際に画像がぼやけてしまって違和感が生じることになる。

そこで、先端カメラ２１で撮影された画像と周辺カメラで撮影された画像とを合成してモニタ６に表示させることで、キャリア１０の周囲と吊荷周辺の両方を一度に見ることができるため、作業の安全性が向上する。

また、特に大型のクレーンなどにはキャリア１０の周囲に周辺カメラで撮影できない死角が多くなるが、先端カメラ２１を併用することで死角を少なくできる。

さらに、先端カメラ２１はブーム１４の先端近傍に取り付けられているため、低い位置に設置されている周辺カメラでは撮影できない上空の物体をも撮影することができる。

そして、このように先端カメラ２１の画像と周辺カメラの画像とを合成して１つのモニタ６内に表示すれば、あらかじめ他の物との位置関係を把握できるため、吊荷を移動させる際の安全性が向上する。

（２）また、処理部３は、先端カメラ２１で撮影された画像と周辺カメラである前方カメラ２２、後方カメラ２３、左方カメラ２４及び右方カメラ２５で撮影された画像とを基準位置からの俯瞰画像に変換することで、周辺の物との位置関係を平面的に把握できるため、周辺の物との距離が把握しやすくなる。

加えて、合成画像に負荷率ラインを重ねて表示する際には、合成画像が俯瞰画像であれば、負荷率ラインは円弧状に表示されるため、わかりやすい表示になる。

（３）さらに、処理部３は、先端カメラ２１で撮影された画像と周辺カメラである前方カメラ２２、後方カメラ２３、左方カメラ２４及び右方カメラ２５で撮影された画像とを合成する際には、先端カメラ２１で撮影された画像と周辺カメラで撮影された画像の重なり部分は、先端カメラ２１で撮影された画像を優先して表示させることで、より明瞭な表示を可能とし、画像処理負担の少ない画像表示システムＳとなる。

つまり、画像を俯瞰変換処理する際には、広角レンズを備えた周辺カメラで撮影した画像は、変換前後で大きく位置が変わるため不明瞭な画像となるが、先端カメラ２１で撮影した画像はそれ程位置が変わらないため明瞭な画像となる。

そこで、先端カメラ２１で撮影したより明瞭な画像を優先して表示することで、合成画像全体としても明瞭になるうえ、重なり部分の周辺カメラの画像は俯瞰変換しないようにすれば全体の処理負担を減らすことができる。

（４）そして、処理部３は、先端カメラ２１で撮影された画像の特徴点に基づいて、周辺カメラである前方カメラ２２、後方カメラ２３、左方カメラ２４及び右方カメラ２５で撮影された画像を補正することで、画像変換の負担を抑えつつ、より正確に俯瞰画像に変換できる。

つまり、周辺カメラとしての前方カメラ２２、後方カメラ２３、左方カメラ２４及び右方カメラ２５は、広角レンズであるから画像の歪みが大きいため、滑らかに合成することが難しい。

この場合、あらかじめレンズ特性を求めておいて補正することはできるものの、特に高さ方向の補正は困難で、隣り合う画像間にまたがる立体物を正確に結合することはできない。

そこで、画像の歪みの小さい先端カメラ２１の画像の特徴点に基づいて、周辺カメラの画像を補正すれば、滑らかに合成することができる。

（５）また、処理部３は、ブーム１４に作用する実荷重の定格荷重に対する負荷率が所定負荷率になるラインを俯瞰画像に重ねて表示させることで、作業しながら負荷率ラインを見ることで、あらかじめ危険を察知できるようになり安全に作業できる。

（６）さらに、処理部３は、表示部としてのモニタ６に表示する表示領域として、車体前方には、負荷率１００％に所定の付加分を加えた範囲まで、車体側方には、アウトリガ最大張出幅又はテールスイング幅に所定の付加分を加えた範囲まで、を表示することで、安全上必要な領域をすべて表示できる。

以上、図面を参照して、本発明の実施例を詳述してきたが、具体的な構成は、この実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

例えば、前記実施例では、処理部３と制御部４とは別々に構成されるものとして説明したが、これに限定されるものではなく、処理部３は制御部４と一体に構成されて、各処理は制御部４で実行されるものであってもよい。

また、前記実施例では、先端カメラ２１の画像と周辺カメラの画像に重なり部分がある場合には、自動的に先端カメラ２１の画像を優先して表示する場合について説明したが、これに限定されるものではなく、優先する画像を手動で切換える画像切換手段を有するものであってもよい。

さらに、前記実施例では、先端カメラ２１は先端ブーム１４３の先端の側面に設置されるものとして説明したが、これに限定されるものではなく、高所作業車の場合はバケット側面に設置することができる。

そして、前記実施例では、周辺カメラである前方カメラ２２、後方カメラ２３、左方カメラ２４及び右方カメラ２５は旋回台１２に配置される場合について説明したが、これに限定されるものではなく、周辺カメラはキャリア１０に配置されるものであってもよい。

また、前記実施例では、先端カメラ２１は先端ブーム１４３の先端に設置される場合について説明したが、これに限定されるものではなく、ジブが取り付けられる場合にはジブの先端近傍に先端カメラを設置してもよい。

さらに、前記実施例では、合成された俯瞰画像に負荷率ラインを重ねて表示する場合について説明したが、これに限定されるものではなく、負荷率に替えて作業半径を表示するものでもよく、吊荷の目標位置や吊上性能を俯瞰画像に重ねて表示することもできる。

そして、本発明の画像表示システムＳは、車両周辺や作業領域の侵入監視や、ブーム１４や旋回台１２と周辺の物との衝突監視や、アウトリガ１１やジブの張出領域の確認などにも利用できる。

Ｓ 画像表示システム
１ ラフテレーンクレーン
１０ キャリア
１２ 旋回台
１４ ブーム
２１ 先端カメラ
２２ 前方カメラ（周辺カメラ）
２３ 後方カメラ（周辺カメラ）
２４ 左方カメラ（周辺カメラ）
２５ 右方カメラ（周辺カメラ）
３ 処理部
４ 制御部
６ モニタ（表示部）

Claims (5)

1. 車体に対して旋回自在に設置される旋回台と、前記旋回台に起伏自在に設置されるブームと、前記ブームの先端近傍に取り付けられる先端カメラと、前記車体又は前記旋回台に取り付けられる周辺カメラと、前記先端カメラの画像と前記周辺カメラの画像とを表示部に表示させる処理部と、を備える画像表示システムであって、
   前記処理部は、前記先端カメラで撮影された画像と前記周辺カメラで撮影された画像とを合成して前記表示部に表示させるものであり、前記周辺カメラで撮影された画像については、前記先端カメラで撮影された画像の特徴点に基づいて補正して合成に使用することを特徴とする画像表示システム。
2. 前記処理部は、前記先端カメラで撮影された画像と前記周辺カメラで撮影された画像とを基準位置からの俯瞰画像に変換することを特徴とする請求項１に記載の画像表示システム。
3. 前記処理部は、前記先端カメラで撮影された画像と前記周辺カメラで撮影された画像とを合成する際には、前記先端カメラで撮影された画像と前記周辺カメラで撮影された画像の重なり部分は、前記先端カメラで撮影された画像を優先して表示させることを特徴とする請求項１又は請求項２に記載の画像表示システム。
4. 前記処理部は、前記ブームに作用する実荷重の定格荷重に対する負荷率が所定負荷率になるラインを前記俯瞰画像に重ねて表示させることを特徴とする請求項２又は請求項３に記載の画像表示システム。
5. 前記処理部は、前記表示部に表示する表示領域として、
   車体前方には、負荷率１００％に所定の付加分を加えた範囲まで、車体側方には、アウトリガ最大張出幅又はテールスイング幅に所定の付加分を加えた範囲まで、を表示することを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像表示システム。