JP5917178B2 - 視覚補助装置 - Google Patents

Description

本発明は、視覚補助装置に係り、特に天井クレーンによる作業部周辺の確認を容易に行うための視覚補助装置に関する。

従来では、例えばスラブ等の各種鋼材等の搬送において、走行クレーン等を用いた搬送設備が利用されている。このような搬送設備は、例えば施設内の天井の所定の周囲を走行する走行クレーンにトング（吊り部）を吊り下げ、トングの開閉動作によってスラブの幅方向の両端を拘束してこのスラブを吊り上げて搬送するというものである
なお、上述したようにトングを利用してスラブを挟んで吊り上げる方式では、搬送過程での脱落や吊り上げ姿勢の不良を防止する点等から、トングによるスラブの拘束状況を知ることが重要である。

そこで、上述した走行クレーンは、トングと共にオペレータ（操作者）を乗せたガントリー部も移動させ、オペレータが下方にあるトングを確認しながら状況を確認している。しかしながら、オペレータの位置からではトングの選択部が見えにくい場合もあるため、従来では、トング周辺の画像を撮影する２台のカメラ（撮像手段）をクレーンの異なる位置に設け、そのカメラから設置された画像を作業用表示装置に表示することでオペレータの視覚を補助する技術が存在する（例えば、特許文献１参照）。

特開２００３−４９２２０号公報

ところで、天井クレーンを用いた作業では、例えばトング（吊り部）やスラブ等の形状等により、３６０度の方向からトングの周囲を確認したい場合がある。しかしながら、上述したような従来技術では、カメラの台数が増えるため、オペレータの注視領域が分散され、天井クレーンによる作業部周辺の確認を容易に行うことができず、作業に支障が生じてしまう。

本発明は、上述した問題点に鑑みなされたものであり、天井クレーンによる作業部周辺の確認を容易に行うための視覚補助装置を提供することを目的とする。

上述の目的を達成するために、本発明は、操作者に対するクレーンの操作を補助する画像を表示する視覚補助装置において、前記クレーンによる作業部周辺を撮影する複数の撮像手段と、前記複数の撮像手段により得られる複数の画像のうち、アーム部と該アーム部の先端に設けられた吊り部とを有するクレーン本体に対する前記アーム部又は前記吊り部の旋回角度に基づいて少なくとも１つの画像を選択する画像選択手段と、前記画像選択手段により得られた画像を強調表示する画面を生成する画面生成手段とを有することを特徴とする。

なお、本発明の構成要素、表現又は構成要素の任意の組み合わせを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造等に適用したものも本発明の態様として有効である。

本発明によれば、天井クレーンによる作業部周辺の確認を容易に行うことができる。

第１の実施例における天井クレーンの概略構成例を説明するための図である。 第２の実施例における天井クレーンの概略構成例を説明するための図である。 第２の実施例における視覚補助装置の機能構成例を示す図である。 第２の実施例における表示制御処理手順の一例を示すフローチャートである。 カメラ画像の選択手法の具体例を説明するための図である。 第３の実施例における視覚補助装置の機能構成の一例を示す図である。 第３の実施例における表示制御処理手順の一例を示すフローチャートである。 本実施形態におけるピット内とカメラ配置との関係を説明するための図である。 第４の実施例における天井クレーンの概略構成例を説明するための図である。 第４の実施例における視覚補助装置の機能構成例を示す図である。 第４の実施例における表示制御処理手順の一例を示すフローチャートである。 入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。 画像変換手段による座標間の対応付けについて説明するための図である。 出力画像生成処理の一例を示すフローチャートである。 第５の実施例における視覚補助装置の機能構成の一例を示す図である。 第５の実施例における表示制御処理手順の一例を示すフローチャートである。

＜本発明について＞
本発明は、例えばクレーン本体の作業部周辺を撮影する複数のカメラ（撮像手段）を有する。具体的には、例えば３６０度の方向からクレーン本体の先端部（例えば、吊り部）の周囲を見るために、カメラを４箇所に設置する。また、本発明は、そのカメラによって撮影される画像（単に画像だけでなく映像も含む）のうち、例えば吊り部等の旋回量（向き）から、オペレータに確認させる画像を選択し、その画像を強調表示してもよい。なお、強調表示とは、他の画像に対して強調した表示全般を意味し、例えば選択した画像のみを表示したり、選択した画像を別画面で表示したり、全ての画像を表示した場合でも選択画像の周りに太枠線を設けたり、選択画像の表示サイズを他の画像の表示サイズよりも大きくする（他の画像の表示サイズを小さくしてもよい）等の表示形態を含む。

また、本発明は、上述した先端部の位置情報を把握しておき、その把握された位置情報に基づいて、カメラ画像が壁に遮蔽されているか否かを把握して、その内容に基づいて表示させる画像を選択してもよい。

また、本発明は、撮影した画像に対して、クレーン先端部（吊り部）を正面から見た画像や上から見た画像に変換させて表示させてもよい。これにより、本発明は、カメラ本体を移動させる駆動部等を設ける必要がないため、コストを安価にすることができ、カメラ自体を動かなくてもクレーン作業を補助する適切な画像をオペレータに表示することができる。

以下に、上述したような特徴を有する本発明における視覚補助装置を好適に実施した形態について、図面を用いて詳細に説明する。

なお、以下に示す説明においては、クレーン本体の先端部を、把持タイプの吊り部としているが、本発明においてはこれに限定されるものではなく、例えばフックタイプの吊り部でもよい。また、以下に示す説明では、設置される複数のカメラ（撮像手段）の台数を４台としているが、本発明においてはこれに限定されるものではなく、作業部周辺（例えば、吊り部の周囲３６０度等）が撮影できるように配置された少なくとも２台のカメラであればよい。

＜第１の実施例＞
まず、第１の実施例における天井クレーンの概略構成例について図を用いて説明する。図１は、第１の実施例における天井クレーンの概略構成例を説明するための図である。なお、図１（Ａ）は、天井クレーンの主要構成のみを示し、図１（Ｂ）は、天井クレーンの走行内容を示し、図１（Ｃ）は、カメラから得られる画像例を示している。

図１に示す天井クレーン１０は、クレーン本体１１と、ガントリー部１２と、複数のカメラ（撮像手段）１３−１〜１３−４と、視覚補助装置１４と、操作装置１５とを有するよう構成されている。

クレーン本体１１は、駆動部１１−１と、アーム部１１−２と、吊り部１１−３とからなる。駆動部１１−１は、オペレータ１６による操作によりアーム部１１−２及びアーム部１１−２の先端にある吊り部１１−３に対する上下駆動、及び所定の軸を基準として所定方向に所定角度の旋回駆動を行う。これにより、天井クレーン１０は、吊り部１１−３を上下させて、例えばスラブ等の対象物を掴んで所定の位置まで搬送することができる。

ガントリー部１２は、オペレータ１６を乗せた状態で、天井クレーン１０を、図１（Ｂ）に示す施設内の作業領域であるピット１７内の所定の位置まで移動させることができる。なお、天井クレーン１０のピット１７内の移動は、例えば施設の天井等に、図１（Ｂ）に示すように天井クレーン１０を走行方向に移動させるためのレール１８−１及び横行方向に移動させるためのレール１８−２が設けられており、オペレータ１６等の操作により、そのレール１８-１，１８−２を用いてピット１７内を自由に移動させることができる。

カメラ１３−１〜１３−４は、クレーン本体１１を軸にして走行方向及び横行方向の異なる位置に設けられ、図１（Ａ）に示すように上方からクレーン本体１１による作業部周辺の画像を撮影する。

視覚補助装置１４は、４つのカメラ１３−１〜１３−４から得られる画像をモニタ（表示手段）等に表示する。具体的には、図１（Ｃ）に示すように、モニタの表示画面２０にそれぞれのカメラ１３−１〜１３−４で撮影された全ての画像２１−１〜２１−４が並べて表示される。なお、第１の実施例では、上述した４つのカメラ１３−１〜１３−４から取得した画像を表示させる際、オペレータ１６が、確認したいカメラからの映像を自ら選択してモニタに表示させることもできる。

操作装置１５は、上述した天井クレーン１０による所定の移動やクレーン本体１１による所定の動作を、オペレータ１６が指示するためのレバーやボタン群等からなる。つまり、オペレータ１６が操作装置１５を操作することにより、天井クレーン１０やクレーン本体１１が操作指示に対応する動作を行う。

＜第２の実施例＞
次に、第２の実施例における天井クレーンの概略構成例について図を用いて説明する。図２は、第２の実施例における天井クレーンの概略構成例を説明するための図である。なお、図２の例では、説明の便宜上、天井クレーンの概略図と、オペレータの位置とを把握するための図を示すものとし、上述した図１の天井クレーンと同様の構成については、同じ番号を付するものとし、ここでの具体的な説明は省略する。

図２（Ａ）に示す天井クレーン３０の概略構成では、クレーン本体１１と、ガントリー部１２と、カメラ１３−１〜１３−４と、視覚補助装置３１と、操作装置１５とを有するよう構成されている。ここで、上述した第１の実施例においては、複数のカメラから撮影された画像の全てを１つの画面に表示している。一方、第２の実施例においては、オペレータ１６がクレーン本体１１を操作する上で、本当に必要な画像をオペレータ１６の特別な操作を必要とせずに迅速に取得する。

具体的に説明すると、第２の実施例では、吊り部１１−３（例えば、アーム部１１−２でもよい）が、基準となる所定の位置からどれだけ旋回しているかの旋回量（向き）等を検出し、その検出結果を視覚補助装置３１が取得して、各カメラ１３−１〜１３−４から得られる撮影画像のうち、表示装置の画面に表示させる画像を選択する。

例えば、図２に示す例では、クレーン本体１１の先端部である吊り部１１−３の爪の正面の角度と見なす範囲でカメラを切り替える。つまり、第２の実施例では、例えば吊り部１１−３の正面をモニタ（表示手段）に表示することで、必要な情報のみをオペレータ１６に提示するようにする。

第２の実施例では、例えば図２（Ａ）に示すように、ガントリー部１２に設置されたカメラ１３−１〜１３−４の位置により、それぞれ対応するカメラの切り替え範囲が設定されており、例えば吊り部１１−３の旋回量に応じて、切り替えるカメラ１３が選択される。

したがって、第２の実施例における画面表示では、図２（Ｂ）に示すように、モニタ等の表示画面４０に旋回角度（旋回量）に応じて選択された選択画像４１−１が表示されている。この選択画像４１−１は、例えば図２（Ａ）に示すカメラ１３−２に対応した画像が表示されている。

また、第２の実施例では、オペレータ１６による設定により選択画像４１−１の拡大画像４１−２を表示することもできる。これは、例えば、オペレータ１６が指等で、選択画像４１−１の拡大したい部分を表示画面４０上で選択することで、その周囲の所定領域を拡大させた拡大画像４１−２を表示させている。

また、第２の実施例では、選択画像４１−１及び／又は拡大画像４１−２を映像として所定時間蓄積しておき、図２（Ｂ）に示す表示画面４０上のスライド機能４２により時間経過に対応した映像（連続する画像）又は所定時間の画像を部分的に表示させることができる。

また、第２の実施例では、本実施形態では、選択画像４１−１及び／又は拡大画像４１−２上に所定の色からなるセンターマーカ（基準線）を画面の予め設定された位置（例えば、吊り部１１−３の中心等）に表示させるためのマーカ表示ボタン４３や、カメラ１３のレンズ歪補正を行うレンズ歪補正ボタン４４等を表示させてオペレータ１６等に任意に設定させることができる。

なお、上述したレンズ歪み補正については、例えばレンズに含まれる欠陥等により、レンズを通過した光は外側（樽形歪み）又は内側（ピンクッション歪み）に歪曲する歪曲収差（ディストーション）を画像処理により補正する手法を用いているが、本発明においてはこれに限定されるものではない。

なお、第２の実施例における画面表示例においてはこれに限定されるものではなく、例えば、オペレータ１６が見るべき画像として選択した画像については、図１（Ｂ）のように全てのカメラ１３−１〜１３−４から得られた画像を表示している場合に、オペレータ１６が見るべき選択画像の外枠を太枠にしたりカラー枠にする等の強調表示をしたり、それ以外の画像をグレー表示にしたり、選択画像を他の画像よりも大きく表示させたり、それ以外の画像を小さく表示させた画面を生成することができる。また、第２の実施例では、選択した画像を別画面で表示することもできる。

＜第２の実施例における視覚補助装置：機能構成例＞
ここで、第２の実施例における視覚補助装置３１の機能構成例について、図を用いて説明する。図３は、第２の実施例における視覚補助装置の機能構成例を示す図である。図３に示す視覚補助装置３１は、旋回角度（旋回量）検出手段５１と、表示制御手段５２と、表示手段５３とを有するよう構成されている。また、表示制御手段５２は、画像選択手段５２−１と、画面生成手段５２−２とを有するよう構成されている。

旋回角度検出手段５１は、クレーン本体１１の予め設定した位置（基準位置）からの旋回角度（旋回量）を検出する。なお、旋回角度検出手段５１は、例えば駆動部１１−１に設けられたアクチュエータやセンサ等によって取得することができる。また、上述した旋回角度には、旋回した方向の情報も含んでいてもよい。

また、画像選択手段５２−１は、ガントリー部１２に設定されたカメラ１３−１〜１３−４において得られた画像から、旋回角度検出手段５１において得られる基準位置からの旋回角度（旋回量）から対応する吊り部１１−３の正面画像に相当する画面を選択する。なお、第２の実施例では、図２（Ａ）に示すように、予め旋回角度に応じてどのカメラ１３から撮影された画像（映像も含む）を表示させるかを割り当てておき、旋回角度に対応して割り当てられた画像を表示する。なお、画面に表示する画像は、１つでもよく、また複数でもよい。

画面生成手段５２−２は、予め画像選択手段５２−１により選択された画像に基づいて表示手段５３に出力する画面を生成する。なお、画面に表示される選択画像の表示内容については、上述した各種の強調表示のうち、オペレータ１６等により予め設定した表示形態に基づいて、画面生成手段５２−２により画面が生成される。また、画面生成手段５２−２は、選択画像の一部を拡大した画像を生成して表示手段５３に出力することもできる。

また、表示手段５３は、画面生成手段５２−２で生成された画像を表示する。なお、表示手段５３は、例えばカラーモニタ画面であってもよく、例えばタッチパネル等であってもよい。

なお、上述した第１の実施例における視覚補助装置１４の機能構成例においては、上述した図３に示す機能構成例に対し、画像選択手段５２−１及び旋回角度検出手段５１を有しない構成となる。つまり、第１の実施例では、カメラ１３−１〜１３−４から得られた画像が表示手段５３に表示される。

＜第２の実施例における視覚補助装置の表示制御処理手順＞
次に、上述した第２の実施例における視覚補助装置３１の表示制御処理手順について説明する。図４は、第２の実施例における表示制御処理手順の一例を示すフローチャートである。図４に示す第２の実施例では、まず予め閾値角度θｔｈ１〜θｔｈ４の設定を行う（Ｓ０１）。なお、第２の実施例における閾値角度とは、例えば、クレーン本体１１のある所定の位置（角度）を基準（０度）として０度＜θｔｈ１≦９０度、９０度＜θｔｈ２≦１８０度、１８０度＜θｔｈ３≦２７０度、２７０度＜θｔｈ４≦３６０度（＝０度）というように、各角度の範囲を閾値として設定する。

次に、第２の実施例における表示制御処理は、４つのカメラ１３−１〜１３−４の画像を取得し（Ｓ０２）、クレーン本体１１の旋回角度θを検出する（Ｓ０３）。ここで、θの範囲が上述したθｔｈ１〜θｔｈ４のうちのどの角度に相当するかを判断する（Ｓ０４）。θの範囲がθｔｈ１の範囲に含まれる場合には、カメラ１３−１〜１３−４のうちの何れかのカメラ（例えば、カメラ１３−１）に割り当てられている選択画像Ｎｏ＝１が選択される（Ｓ０５）。また、θの範囲がθｔｈ２の範囲に含まれる場合には、カメラ１３−１〜１３−４のうちの何れかのカメラ（例えば、カメラ１３−２）に割り当てられている選択画像Ｎｏ＝２が選択される（Ｓ０６）。

また、θの範囲がθｔｈ３の範囲に含まれる場合には、カメラ１３−１〜１３−４のうちの何れかのカメラ（例えば、カメラ１３−３）に割り当てられている選択画像Ｎｏ＝３が選択される（Ｓ０７）。更に、θの範囲がθｔｈ４の範囲に含まれる場合には、カメラ１３−１〜１３−４のうちの何れかのカメラ（例えば、カメラ１３−４）に割り当てられている選択画像Ｎｏ＝４が選択される（Ｓ０８）。

次に、第２の実施例における表示制御処理は、選択された画像を表示する（Ｓ０９）。ここで、第２の実施例では、画像表示を終了するか否かを判断する（Ｓ１０）。画像を終了するか否かについては、例えばオペレータ１６による指示や天井クレーン３０の操作を終了した場合、エラーが発生した場合等があるが、本発明においてはこれに限定されるものではない。

第２の実施例における表示制御処理は、Ｓ１０の処理において、画像表示を終了しない場合（Ｓ１０において、ＮＯ）、Ｓ０２に戻る。また、第２の実施例は、画像表示を終了する場合（Ｓ１０において、ＹＥＳ）、表示制御処理を終了する。

なお、上述したＳ０５〜Ｓ０８の処理では、複数のカメラ１３−１〜１３−４から得られる画像のうち、旋回角度θに対応した何れかのカメラの画像のみを表示したが、本発明においてはこれに限定されるものではない。旋回角度θに応じて複数のカメラを選択して表示させてもよい。

＜カメラ画像の選択手法について＞
ここで、第２の実施例におけるカメラ画像の選択手法について図を用いて説明する。図５は、カメラ画像の選択手法の具体例を説明するための図である。図５に示す例では、上述した４つのカメラを用いた選択例を示しているが、本発明におけるカメラ台数についてはこれに限定されるものではなく、複数のカメラが設けられていればよい。

図５（Ａ），（Ｂ）の例では、共に予め設定した閾値によって対応するカメラ１３を選択し、その選択したカメラの画像に切り替える。具体的には、例えば、図５（Ａ）の例では、カメラ台数で周囲を割ったときの境界を設定する。したがって、図５（Ａ）に示す角度範囲θ_１は、１周３６０度／４台＝９０度で均一となる。これにより、図５（Ａ）の例では、９０度毎に対応するカメラからの画像に切り替えが行われる。

また、図５（Ｂ）の例では、カメラ台数×２で周囲を割ったときの境界で、単カメラと複カメラとを切り替える。なお、複カメラとは、その複カメラの両隣にあるカメラからの画像を両方表示することを意味する。したがって、複カメラの場合には、２台のカメラの内容が表示されることになるが何れもオペレータ１６により確認させるべき画像であり、それらの画像を認識することにより、より正確なクレーン動作を行うことができる。なお、図５（Ｂ）に示す角度範囲θ_２は、１周３６０度／（４台×２）＝４５度で均一となる。

＜第３の実施例＞
ここで、上述した第２の実施例では、クレーン本体１１の旋回角度を検出し、その検出角度に応じて表示手段５３に表示する内容を選択していたが、例えばカメラ１３から得られた画像を解析してオペレータ１６が確認すべき画像を選択してもよい。そこで、上述した内容を第３の実施例として以下に説明する。なお、第３の実施例における天井クレーンの概略構成例については、上述した第２の実施例における天井クレーンの概略構成例を同様であるためのここでの説明は省略する。

図６は、第３の実施例における視覚補助装置の機能構成の一例を示す図である。なお、上述した第２の実施例の機能構成と同様の構成については、同一の番号を付するものとし、ここでの具体的な説明は省略する。

図６に示す視覚補助装置６０は、表示制御手段６１と、表示手段５３とを有するよう構成されている。また、表示制御手段６１は、画像処理手段６１−１と、比較対象保持手段６１−２と、画像選択手段６１−３と、画面生成手段６１−４とを有するよう構成されている。

画像処理手段６１−１は、各カメラ１３−１〜１３−４に示す画像を取得して、各画像に対する吊り部１１−３の旋回角度を解析する。なお、上述した解析手法としては、例えば形状ベースパターンマッチングにより、予め比較対象保持手段６１−２に蓄積された吊り部１１−３の正面の画像と比較して、各画像の１３−１〜１３−４の画像がどれぐらい一致いるかを解析することで旋回角度を解析することができる。

また、画像処理手段６１−１は、例えば３Ｄ（３次元）モデルパターンマッチングにより、予め比較対象保持手段６１−２に蓄積された吊り部１１−３の形状モデルを傾けて、最も合う姿勢を探すことにより旋回角度を解析することができる。更に、画像処理手段６１−１は、例えば所定の時間撮影した映像を用いて吊り部１１−３の回転動作をモーション推定することで、吊り部１１−３の正面位置を推定し、推定された正面画像に基づいて、各カメラ１３−１〜１３−４から得られる旋回角度等を解析することができる。なお、上述したモーション推定は、例えば所定時間毎に得られる映像のエッジ情報等から対応する吊り部１１−３の角度（向き）を推定することができるが、本発明においてはこれに限定されるものではない。画像処理手段６１−１により得られる解析結果は、画像選択手段６１−３に出力される。

画像選択手段６１−３は、画像処理手段６１−１により得られる解析結果に基づいて、各画像から得られる旋回角度から、吊り部１１−３の正面に最も近い（最も正面らしい）画像を取得することができる。これにより、第３の実施例では、その画像中に映っている吊り部１１−３の状態を取得することができる。画像選択手段６１−３により選択された画像は、画面生成手段６１−４に出力される。

画面生成手段６１−４は、画像選択手段６１−３により選択された画像を表示手段５３に出力するための画面を生成し、生成した画像を予め設定された強調表示によって表示手段５３に表示させる。

＜第３の実施例における表示制御処理手順＞
次に、上述した第３の実施例における視覚補助装置６０の表示制御処理手順について説明する。図７は、第３の実施例における表示制御処理手順の一例を示すフローチャートである。図７に示す第３の実施例では、４つのカメラ１３−１〜１３−４の画像を取得し（Ｓ２１）、吊り部１１−３の周辺（作業部周辺）を撮影した各カメラからの画像を解析し、各画像に表示されている吊り部１１−３の角度を取得する画像処理を行う（Ｓ２２）。

次に、第３の実施例における表示制御処理は、画像処理で得られた各画像における処理結果から最も正面に近い画像を選択し（Ｓ２３）。その選択画像を表示手段５３に表示する（Ｓ２４）。

ここで、第３の実施例における表示制御処理は、画像表示を終了するか否かを判断する（Ｓ２５）。画像を終了するか否かについては、例えばオペレータ１６による指示や天井クレーン３０の操作を終了した場合、エラーが発生した場合等があるが、本発明においてはこれに限定されるものではない。

第３の実施例における表示制御処理は、Ｓ２５の処理において、画像表示を終了しない場合（Ｓ２５において、ＮＯ）、Ｓ２１に戻る。また、第３の実施例における表示制御処理は、画像表示を終了する場合（Ｓ２５において、ＹＥＳ）、表示制御を終了する。

ここで、上述した実施例では、カメラ１３の位置をガントリー部１２の外周の各辺の中央に配置しているが、本発明においてはこれに限定されるものではなく、例えばガントリー部１２の外周が矩形である場合は、その四隅（角）に配置してもよい。

＜ビット内とカメラ配置との関係＞
ここで、本実施形態におけるピット内とカメラ配置との関係について図を用いて説明する。図８は、本実施形態におけるピット内とカメラ配置との関係を説明するための図である。図８に示す例では、上述した図１（Ｂ）と同様にピット１７内を移動する天井クレーン３０は、天井クレーン３０は、図８（Ａ），（Ｂ）に示すように、ピット１７内の４隅に移動した場合には、例えば施設内の壁等に遮蔽されてピット１７内が見えてないカメラが存在する可能性がある。このような場合に、特に第３の実施例に示すように、各カメラ１３−１〜１３−４から得られた画像を解析する画像処理を行うことで、正面に近い（最も正面らしい）画像を高精度に選択することができる。

なお、図８（Ａ）のカメラ配置（辺の中央に配置）の場合には、ピット１７の隅に天井クレーン３０が移動しても２つのカメラがピット１７内を撮影することができるが、図８（Ｂ）のカメラ配置（四隅に配置）の場合には、ピット１７の隅に天井クレーン３０が移動すると、１つのカメラからでしかピット１７内を撮影することができない。したがって、本発明におけるカメラ配置は、ガントリー部１２が四角形の場合には、外周の辺の中央付近に配置されることが好ましい。なお、上述したカメラの配置例については、ピット１７の形状やガントリー部１２の形状等に基づいて任意に設定される。

また、第３の実施例では、例えばピット１７内を移動する天井クレーン３０の位置情報を、例えば上述した比較対象保持手段６１−２や他の保持手段等に予め設定しておき、上述したようにピット１７の隅に天井クレーン３０が移動した場合には、その位置情報からカメラ画像が壁に遮蔽されているか否かを把握して、壁に遮蔽されていない適切なカメラ画像を選択してもよい。

＜第４の実施例＞
次に、第４の実施例について説明する。第４の実施例では、４つのカメラ１３−１〜１３−４から得られる画像からカメラ姿勢角に基づいて作業部周辺を正面（真正面を含む）から見たような画像を生成したり、また上（真上を含む）から見たような画像を生成して、その何れか又は両方の画像を表示する。これにより、よりオペレータ１６に作業部付近の映像を表示して、より高精度な視覚補助を行い、オペレータによる容易な確認と高精度な操作を行うことができる。

以下に、第４の実施例について説明するが、上述した第１及び第３の実施例における天井クレーンの概略構成例や視覚補助装置の機能構成例と同様の部分については、同一の番号を付するものとし、ここでの具体的な説明は省略する。

図９は、第４の実施例における天井クレーンの概略構成例を説明するための図である。図９（Ａ）に示す天井クレーン７０の概略構成では、クレーン本体１１と、ガントリー部１２と、カメラ１３−１〜１３−４と、視覚補助装置７１と、操作装置１５とを有するよう構成されている。

第４の実施例では、視覚補助装置７１において、各カメラ１３−１〜１３−４から得られる画像のうち、上述した実施例と同様に選択された画像に対し、図９（Ａ）に示すように、予め設定されるカメラ姿勢角等の各種パラメータに基づいて画像変換を行い、作業部周辺を吊り部１１−３の正面から見たような画像や上から見たような画像等を生成する。

なお、第４の実施例における画面表示では、図９（Ｂ）に示すように、モニタ等の表示画面８０に上から見た画像８１−１と、正面から見た画像８１−２が表示されている。なお、第４の実施例では、上述した第２の実施例で示すようにオペレータ１６等による指定により所定の範囲を拡大させた画像８１−３を表示させることができ、また所定時間蓄積された画像を映像として表示させることができる。

更に、第４の実施例では、表示画面８０に表示された各画像８１−１〜８１−３に対して、例えば上述したようにオペレータ１６が操作する際の基準となるセンターマーカ（基準線）を表示させるためのボタン８２を設けることもできる。また、第４の実施例では、表示画面８０に対し、例えば上述したレンズ歪補正を行うボタンを設けてもよい。

＜第４の実施例における視覚補助装置：機能構成例＞
ここで、第４の実施例における視覚補助装置７１の機能構成例について、図を用いて説明する。図１０は、第４の実施例における視覚補助装置の機能構成例を示す図である。図１０に示す視覚補助装置７１は、旋回角度検出手段５１と、表示制御手段９１と、表示手段５３とを有するよう構成されている。また、表示制御手段９１は、画像選択手段５２−１と、画像変換手段９１−１と、画像変換パラメータ保持手段９１−２と、画像合成手段９１−３と、画面生成手段９１−４とを有するよう構成されている。

旋回角度検出手段５１は、クレーン本体１１の予め設定した位置からの旋回角度を検出する。なお、旋回角度検出手段５１は、例えば旋回部に設けられたセンサ等によって取得することができる。

また、画像選択手段５２−１は、上述したように、ガントリー部１２に設定されたカメラ１３−１〜１３−４において得られた画像から旋回角度検出手段５１において得られる旋回角度から対応する吊り部１１−３の正面画像に相当する画面を選択する。

画像変換手段９１−１は、画像選択手段５２−１により得られた選択画像に対して、例えば予め画像変換パラメータ保持手段９１−２に蓄積されたカメラ毎の姿勢情報やレンズパラメータ等に基づいて画像変換を行う。更に、画像変換手段９１−１は、例えば視点変換等の画像変換を行い、作業部周辺を吊り部の正面又は上から見たような画像を生成する。また、画像合成手段９１−３は、画像選択手段５２−１により得られる画像が複数ある場合に、その複数の選択画像に対して視点変換を行い、視点変換された各画像の一部を合成した画像を生成することもできる。

画面生成手段９１−４は、画像変換手段９１−１及び画像合成手段９１−３により得られる画像を用いて、例えば、上述した図９（Ｂ）に示すようなレイアウトの画面を生成する。なお、画面生成例については、上述した内容に限定されるものではない。例えば、第４の実施例では、天井クレーン７０の移動方向に応じて上述した何れかの画像を選択して表示させることもできる。具体的には、天井クレーン７０が横行・走行方向の移動の際には、上から見たような画像を強調表示し、クレーン本体を上下に駆動させている場合には、吊り部１１−３を正面から見たような画像を強調表示する。また、画面に表示される画像のレイアウトについては、予め設定しておくことができ、これにより任意な画像を表示させることができる。

表示手段５３は、画面生成手段９１−４で生成された画像を表示する。

＜第４の実施例における表示制御処理手順＞
次に、上述した第４の実施例における視覚補助装置７１の表示制御処理手順について説明する。図１１は、第４の実施例における表示制御処理手順の一例を示すフローチャートである。図１１に示す第４の実施例では、まず予め閾値角度θｔｈ１〜４の設定を行う（Ｓ３１）。なお、第４の実施例における閾値角度は、例えば、上述した第２の実施例における表示制御処理と同様に設定することができる。

次に、第４の実施例における表示制御処理は、カメラ姿勢パラメータを入力する（Ｓ３２）。ここでのカメラ姿勢パラメータとは、例えば図９（Ａ）に示すような２軸の角度及び３軸座標等のデータを各カメラ（×４カメラ）分入力する。なお、入力されるパラメータは、処理開始前に予め設定されていてもよい。

次に、第４の実施例における表示制御処理は、４つのカメラ１３−１〜１３−４の画像を取得し（Ｓ３３）、クレーン本体１１の旋回角度θを検出する（Ｓ３４）。ここで、θの範囲が上述したθｔｈ１〜θｔｈ４のうちのどの角度に相当するかを判断する（Ｓ３５）。θの範囲がθｔｈ１の範囲に含まれる場合には、カメラ１３−１〜１３−４のうちの何れかのカメラ（例えば、カメラ１３−１）に割り当てられている選択画像Ｎｏ＝１が選択される（Ｓ３６）。また、θの範囲がθｔｈ２の範囲に含まれる場合には、カメラ１３−１〜１３−４のうちの何れかのカメラ（例えば、カメラ１３−２）に割り当てられている選択画像Ｎｏ＝２が選択される（Ｓ３７）。

また、θの範囲がθｔｈ３の範囲に含まれる場合には、カメラ１３−１〜１３−４のうちの何れかのカメラ（例えば、カメラ１３−３）に割り当てられている選択画像Ｎｏ＝３が選択される（Ｓ３８）。更に、θの範囲がθｔｈ４の範囲に含まれる場合には、カメラ１３−１〜１３−４のうちの何れかのカメラ（例えば、カメラ１３−４）に割り当てられている選択画像Ｎｏ＝４が選択される（Ｓ３９）。

次に、第４の実施例における表示制御処理は、選択された画像に対して視点変換を行い（Ｓ４０）、視点変換した画像を表示する（Ｓ４１）。

ここで、第４の実施例における表示制御処理は、画像表示を終了するか否かを判断する（Ｓ４２）。画像を終了するか否かについては、例えばオペレータ１６による指示や天井クレーン７０の操作を終了した場合、エラーが発生した場合等があるが、本発明においてはこれに限定されるものではない。

第４の実施例における表示制御処理は、Ｓ４２の処理において、画像表示を終了しない場合（Ｓ４２において、ＮＯ）、Ｓ３３に戻る。また、第４の実施例における表示制御処理は、画像表示を終了する場合（Ｓ４２において、ＹＥＳ）、表示制御処理を終了する。

なお、上述したＳ３６〜Ｓ３９の処理では、複数のカメラ１３−１〜１３−４から得られる画像のうち、旋回角度θに対応した何れかのカメラの画像のみを表示したが、本発明においてはこれに限定されるものではない。旋回角度θに応じて複数のカメラを選択して表示させてもよい。

＜画像変換の具体例＞
次に、上述した画像変換手段９１−１における画像変換（視点変換）の具体例について図を用いて説明する。図１２は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。図１２において、カメラ１３の入力画像平面Ｒ３は、カメラ１３の光学中心Ｃを原点とするＵＶＷ直交座標系における一平面として表され、空間モデルＭＤは、ＸＹＺ直交座標系における立体面として表されるものとする。

最初に、画像変換手段９１−１は、空間モデルＭＤ上の座標（ＸＹＺ座標系上の座標）を入力画像平面Ｒ３上の座標（ＵＶＷ座標系上の座標）に変換する。そのため、画像変換手段９１−１は、ＸＹＺ座標系の原点Ｏを光学中心Ｃ（ＵＶＷ座標系の原点）に並行移動させた上で、Ｘ軸をＵ軸に、Ｙ軸をＶ軸に、Ｚ軸を−Ｗ軸にそれぞれ一致させるようＸＹＺ座標系を回転させる。なお、上述の符号「−」は方向が逆であることを意味する。これは、ＵＶＷ座標系がカメラ前方を＋Ｗ方向とし、ＸＹＺ座標系が鉛直下方を−Ｚ方向としていることに起因する。

なお、カメラ１３が複数存在する場合には、カメラ１３のそれぞれが個別のＵＶＷ座標系を有することとなるので、画像変換手段９１−１は、複数のＵＶＷ座標系のそれぞれに対して、ＸＹＺ座標系を並行移動させ且つ回転させることとなる。

上述の変換は、カメラ１３の光学中心ＣがＸＹＺ座標系の原点となるようにＸＹＺ座標系を並行移動させた後に、Ｚ軸が−Ｗ軸に一致するよう回転させ、更に、Ｘ軸がＵ軸に一致するよう回転させることによって実現される。そのため、画像変換手段９１−１は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。

ところで、あるベクトルＡを別のベクトルＢに一致させるための回転は、ベクトルＡとベクトルＢとが張る面の法線を軸としてベクトルＡとベクトルＢとが形成する角度だけ回転させる処理に相当し、その角度をθとすると、ベクトルＡとベクトルＢとの内積から、角度θは、

で表されることとなる。

また、ベクトルＡとベクトルＢとが張る面の法線の単位ベクトルＮは、ベクトルＡとベクトルＢとの外積から、

で表されることとなる。

なお、四元数は、ｉ、ｊ、ｋをそれぞれ虚数単位とした場合、

を満たす超複素数であり、本実施例において、四元数Ｑは、実成分をｔ、純虚成分をａ、ｂ、ｃとして、

で表されるものとし、四元数Ｑの共役四元数は、

で表されるものとする。

四元数Ｑは、実成分ｔを０（ゼロ）としながら、純虚成分ａ、ｂ、ｃで三次元ベクトル（ａ，ｂ，ｃ）を表現することができ、また、ｔ、ａ、ｂ、ｃの各成分により任意のベクトルを軸とした回転動作を表現することもできる。

更に、四元数Ｑは、連続する複数回の回転動作を統合して一回の回転動作として表現することができ、例えば、任意の点Ｓ（ｓｘ，ｓｙ，ｓｚ）を、任意の単位ベクトルＣ（ｌ，ｍ，ｎ）を軸としながら角度θだけ回転させたときの点Ｄ（ｅｘ，ｅｙ，ｅｚ）を以下のように表現することができる。

ここで、本実施例において、Ｚ軸を−Ｗ軸に一致させる回転を表す四元数をＱｚとすると、ＸＹＺ座標系におけるＸ軸上の点Ｘは、点Ｘ'に移動させられるので、点Ｘ'は、

で表されることとなる。

また、本実施例において、Ｘ軸上にある点Ｘ'と原点とを結ぶ線をＵ軸に一致させる回転を表す四元数をＱｘとすると、「Ｚ軸を−Ｗ軸に一致させ、更に、Ｘ軸をＵ軸に一致させる回転」を表す四元数Ｒは、

で表されることとなる。

以上により、空間モデル（ＸＹＺ座標系）上の任意の座標Ｐを入力画像平面（ＵＶＷ座標系）上の座標で表現したときの座標Ｐ'は、

で表されることとなり、画像変換手段９１−１は、以後、この演算を実行するだけで空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換することができる。なお、カメラ１３の光軸が固定である場合には四元数Ｒ及びその共役四元数Ｒ^＊は不変であるが、カメラ１３の光軸が調整される場合には、四元数Ｒ及びその共役四元数Ｒ^＊は再計算される必要がある点に留意すべきである。
四元数Ｒがカメラ１３のそれぞれで不変であることから、
空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換した後、画像変換手段９１−１は、カメラ１３の光学中心Ｃ（ＵＶＷ座標系上の座標）と空間モデル上の任意の座標ＰをＵＶＷ座標系で表した座標Ｐ'とを結ぶ線分ＣＰ'と、カメラ１３の光軸Ｇとが形成する入射角αを算出する。

また、画像変換手段９１−１は、カメラ１３の入力画像平面Ｒ３（例えば、ＣＣＤ面）に平行で且つ座標Ｐ'を含む平面Ｈにおける、平面Ｈと光軸Ｇとの交点Ｅと座標Ｐ'とを結ぶ線分ＥＰ'と、平面ＨにおけるＵ'軸とが形成する偏角φ、及び線分ＥＰ'の長さを算出する。

カメラの光学系は、通常、像高さｈが入射角α及び焦点距離ｆの関数となっている。そのため、画像変換手段９１−１は、通常射影（ｈ＝ｆｔａｎα）、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等の適切な射影方式を選択して像高さｈを算出する。

その後、画像変換手段９１−１は、算出した像高さｈを偏角φによりＵＶ座標系上のＵ成分及びＶ成分に分解し、入力画像平面Ｒ３の一画素当たりの画素サイズに相当する数値で除算することにより、空間モデルＭＤ上の座標Ｐ（Ｐ'）と入力画像平面Ｒ３上の座標とを対応付けることができる。

なお、入力画像平面Ｒ３のＵ軸方向における一画素当たりの画素サイズをａＵとし、入力画像平面Ｒ３のＶ軸方向における一画素当たりの画素サイズをａＶとすると、空間モデルＭＤ上の座標Ｐ（Ｐ'）に対応する入力画像平面Ｒ３上の座標（ｕ，ｖ）は、

で表されることとなる。

このようにして、画像変換手段９１−１は、空間モデルＭＤ上の座標と、カメラ毎に存在する１又は複数の入力画像平面Ｒ３上の座標とを対応付け、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面Ｒ３上の座標を関連付けて入力画像・空間モデル対応マップとして記憶する。

また、画像変換手段９１−１は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、画像変換手段９１−１は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。

なお、空間モデルＭＤ上の一座標を複数の入力画像平面上の座標へ対応付けることが可能な場合、画像変換手段９１−１は、空間モデルＭＤ上の座標Ｐ（Ｐ'）を、その入射角αが最も小さいカメラに関する入力画像平面上の座標に対応付けるようにしてもよく、操作者が選択した入力画像平面上の座標に対応付けるようにしてもよく、或いは、視覚補助装置７１が自動的に選択した入力画像平面上の座標に対応付けるようにしてもよい。

＜画像変換手段９１−１による座標間の対応付けについて＞
次に、画像変換手段９１−１による座標間の対応付けについて説明する。図１３は、画像変換手段による座標間の対応付けについて説明するための図である。図１３（Ａ）は、一例として通常射影（ｈ＝ｆｔａｎα）を採用するカメラ１３の入力画像平面Ｒ３上の座標と空間モデルＭＤ上の座標との間の対応関係を示す図であり、画像変換手段９１−１は、カメラ１３の入力画像平面Ｒ３上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれがカメラ１３の光学中心Ｃを通過するようにして両座標を対応付ける。

図１３（Ａ）の例において、画像変換手段９１−１は、カメラ１３の入力画像平面Ｒ３上の座標Ｋ１を空間モデルＭＤの水平面Ｒ１上の座標Ｌ１に対応付け、カメラ１３の入力画像平面Ｒ３上の座標Ｋ２を空間モデルＭＤの垂直面Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２は共にカメラ１３の光学中心Ｃを通過する。

なお、カメラ１３が通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、画像変換手段９１−１は、それぞれの射影方式に応じて、カメラ１３の入力画像平面Ｒ３上の座標Ｋ１、Ｋ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付けるようにする。

具体的には、画像変換手段９１−１は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２がカメラ１３の光学中心Ｃを通過することはない。

また、図１３（Ｂ）は、空間モデルＭＤ上の座標と、一例として通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ１３Ｖの出力画像平面Ｒ４上の座標との間の対応関係を示す図であり、画像変換手段９１−１は、仮想カメラ１３Ｖの出力画像平面Ｒ４上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれが仮想カメラ１３Ｖの光学中心ＣＶを通過するようにして、両座標を対応付ける。

図１３（Ｂ）の例では、画像変換手段９１−１は、仮想カメラ１３Ｖの出力画像平面Ｒ４上の座標Ｎ１を空間モデルＭＤの水平面Ｒ１上の座標Ｌ１に対応付け、仮想カメラ１３Ｖの出力画像平面Ｒ４上の座標Ｎ２を空間モデルＭＤの垂直面Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｌ１−Ｎ１及び線分Ｌ２−Ｎ２は共に仮想カメラ１３Ｖの光学中心ＣＶを通過する。

なお、仮想カメラ１３Ｖが通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、画像変換手段９１−１は、それぞれの射影方式に応じて、仮想カメラ１３Ｖの出力画像平面Ｒ４上の座標Ｎ１、Ｎ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付けるようにする。

具体的には、画像変換手段９１−１は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、出力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｌ１−Ｎ１及び線分Ｌ２−Ｎ２が仮想カメラ１３Ｖの光学中心ＣＶを通過することはない。

このようにして、画像変換手段９１−１は、出力画像平面Ｒ４上の座標と、空間モデルＭＤ上の座標とを対応付け、出力画像平面Ｒ４上の座標及び空間モデルＭＤ上の座標を関連付けて空間モデル・出力画像対応マップとして記憶し、画面生成手段９１−４が記憶した入力画像・空間モデル対応マップを参照しながら、出力画像における各画素の値と入力画像における各画素の値とを関連付けて出力画像を生成する。

このように、視覚補助装置７１は、吊り部１１−３をあたかも水平方向から撮像したような画像（以下、「仮想的な水平画像」とする。）を操作者に提示することができ、吊り部１１−３と床面ＦＦとの間の距離をその操作者に容易に認識させることができ、その操作者による吊り部１１−３の上げ下げの操作を補助することができる。

また、視覚補助装置７１は、入力画像のうち吊り部１１−３が存在する部分を仮想的な水平画像として操作者に提示し、一方で、入力画像の他の部分については、その部分をあたかも鉛直上方から撮像したような画像として操作者に提示することができ、吊り部１１−３と床面ＦＦ上に存在する物体との間の関係をその操作者に容易に認識させることができ、その操作者による吊り部１１−３の上げ下げの操作を補助することができる。

＜出力画像生成処理＞
次に、視覚補助装置７１が入力画像を用いて出力画像を生成する処理（以下、「出力画像生成処理」とする。）について説明する。図１４は、出力画像生成処理の一例を示すフローチャートである。なお、図１４は、出力画像生成処理の流れを示すフローチャートであり、カメラ１３（入力画像平面Ｒ３）、空間モデルＭＤ（水平面Ｒ１及び垂直面Ｒ２）、並びに仮想カメラ１３Ｖ（出力画像平面Ｒ４）の配置は予め決定されているものとする。

最初に、出力画像生成処理は、出力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標とを対応付ける（Ｓ５１）。

具体的には、出力画像生成処理は、仮想カメラ１３Ｖを用いて出力画像を生成する場合には、採用した射影方式に応じて出力画像平面Ｒ４上の座標から空間モデルＭＤ上の座標を算出し、その対応関係を予め設定された空間モデル・出力画像対応マップに記憶する。

より具体的には、出力画像生成処理は、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ１３Ｖを用いて出力画像を生成する場合には、その仮想カメラ１３Ｖの光学中心ＣＶの座標を取得した上で、出力画像平面Ｒ４上の一座標から延びる線分であり、光学中心ＣＶを通過する線分が空間モデルＭＤと交差する点を算出し、算出した点に対応する空間モデルＭＤ上の座標を、出力画像平面Ｒ４上のその一座標に対応する空間モデルＭＤ上の一座標として導き出し、その対応関係を空間モデル・出力画像対応マップに記憶する。

その後、出力画像生成処理は、出力画像平面Ｒ４上の全ての座標の値を空間モデル上の座標の値に対応付けたか否かを判断し（Ｓ５２）、未だ全ての座標の値を対応付けていないと判断した場合（Ｓ５２において、ＮＯ）、Ｓ５１の処理を繰り返すようにする。

一方、出力画像生成処理は、全ての座標の値を対応付けたと判断した場合（Ｓ５２において、ＹＥＳ）、上述の処理によって導き出された空間モデルＭＤ上の座標のそれぞれと入力画像平面Ｒ３上の座標とを対応付ける（Ｓ５３）。

具体的には、出力画像生成処理は、通常射影（ｈ＝ｆｔａｎα）を採用するカメラ１３の光学中心Ｃの座標を取得し、上述の処理によって導き出された空間モデルＭＤ上の座標のそれぞれから延びる線分であり、光学中心Ｃを通過する線分が入力画像平面Ｒ３と交差する点を算出し、算出した点に対応する入力画像平面Ｒ３上の座標を、その空間モデルＭＤ上の一座標に対応する入力画像平面Ｒ３上の一座標として導き出し、その対応関係を予め設定された入力画像・空間モデル対応マップに記憶する。

その後、出力画像生成処理は、上述の処理によって導き出された空間モデルＭＤ上の全ての座標を入力画像平面Ｒ３上の座標に対応付けたか否かを判断し（Ｓ５４）、未だ全ての座標を対応付けていないと判断した場合（Ｓ５４において、ＮＯ）、Ｓ５３の処理を繰り返すようにする。

一方、出力画像生成処理は、全ての座標を対応付けたと判断した場合（Ｓ５４において、ＹＥＳ）、入力画像・空間モデル対応マップ及び空間モデル・出力画像対応マップを参照しながら入力画像平面Ｒ３上の座標と空間モデルＭＤ上の座標との対応関係、及び、空間モデルＭＤ上の座標と出力画像平面Ｒ４上の座標との対応関係を辿り、出力画像平面Ｒ４上の各座標に対応する入力画像平面Ｒ３上の座標が有する値（例えば、輝度値、色相値、彩度値等である。）を取得し、その取得した値を、対応する出力画像平面Ｒ４上の各座標の値として採用する（Ｓ５５）。なお、出力画像平面Ｒ４上の一座標に対して１又は複数の入力画像平面Ｒ３上の複数の座標が対応する場合、出力画像生成処理は、それら複数の座標のそれぞれの値に基づく統計値（例えば、平均値、最大値、最小値、中間値等である。）を導き出し、出力画像平面Ｒ４上のその一座標の値としてその統計値を採用するようにしてもよい。

その後、出力画像生成処理は、出力画像平面Ｒ４上の全ての座標の値を入力画像平面Ｒ３上の座標の値に関連付けたか否かを判断し（Ｓ５６）、未だ全ての座標の値を関連付けていないと判断した場合（Ｓ５６において、ＮＯ）、Ｓ５５の処理を繰り返すようにする。

一方、出力画像生成処理は、全ての座標の値を関連付けたと判断した場合（Ｓ５６において、ＹＥＳ）、出力画像を生成し、生成した出力画像を表示手段５３に対し出力して（Ｓ５７）、この一連の処理を終了させる。

以上の構成により、視覚補助装置７１は、アーム部１１−２の先端に設けられた吊り部１１−３と床面ＦＦとの間の位置関係を操作者に直感的に把握させることが可能な出力画像を生成することができ、その出力画像を提示してその操作者による吊り部１１−３の上げ下げの操作を補助することができる。

また、視覚補助装置７１は、出力画像平面Ｒ４から空間モデルＭＤを経て入力画像平面Ｒ３に遡るように座標の対応付けを実行することにより、出力画像平面Ｒ４上の各座標を入力画像平面Ｒ３上の１又は複数の座標に確実に対応させることができ、入力画像平面Ｒ３から空間モデルＭＤを経て出力画像平面Ｒ４に至る順番で座標の対応付けを実行する場合と比べ、より良質な出力画像を迅速に生成することができる。

また、視覚補助装置９１は、出力画像の視点を変更する場合には、仮想カメラ１３Ｖの各種パラメータの値を変更して空間モデル・出力画像対応マップを書き換えるだけで、入力画像・空間モデル対応マップの内容を書き換えることなく、所望の視点から見た出力画像（視点変換画像）を生成することができる。

なお、上述の例では、カメラ１３から撮影位置から平面の視点に変換した例を示したが本発明においてはこれに限定されるものではなく、例えば同様の観点に基づいて垂直方向からの視点変換も同様の手法を適用することができる。これにより、オペレータ１６に対してより見やすい映像を提供することができる。

また、上述した各種対応マップ等については、例えば画像変換手段９１−１内のメモリに記憶されていてもよく、新たに蓄積手段を設けて蓄積させてもよい。また、上述の視点変換では、正面（水平）方向に視点変換する例を示しているが、本発明においては、上述した変換手法を用いて上（垂直）方向からの視点に変換させることができる。更に、上述した視点変換は、複数のカメラから得られる複数の画像を合成した合成画像を用いることもできる。

＜第５の実施例＞
次に、第５の実施例について説明する。第５の実施例では、上述した第４の実施例について、上述した第３の実施例と同様に、例えばカメラ１３に表示されている画像を解析することで、オペレータ１６に見せるべき最適な画像を選択する。なお、第５の実施例における天井クレーンの概略構成例については、上述した第４の実施例における天井クレーンの概略構成例を同様であるためのここでの説明は省略する。

図１５は、第５の実施例における視覚補助装置の機能構成の一例を示す図である。なお、上述した第１〜第４の実施例の機能構成と同様の構成については、同一の番号を付するものとし、ここでの具体的な説明は省略する。

図１５に示す視覚補助装置１００は、表示制御手段１０１と、表示手段５３とを有するよう構成されている。また、表示制御手段１０１は、画像処理手段６１−１と、比較対象保持手段６１−２と、画像選択手段６１−３と、画像変換手段９１−１と、画像変換パラメータ保持手段９１−２と、画像合成手段９１−３と、画面生成手段１０１−１とを有するよう構成されている。

画像処理手段６１−１は、各カメラ１３−１〜１３−４に示す画像を取得して、上述した実施例と同様に、予め比較対象保持手段６１−２に蓄積された吊り部１１−３の正面の画像等を用いて、各画像に対する吊り部１１−３の旋回角度を解析する。また、第５の実施例では、画像処理手段６１−１により、各画像から吊り部１１−３の姿勢を検出してもよい。画像処理手段６１−１により得られる解析結果は、画像選択手段６１−３に出力される。

画像選択手段６１−３は、画像処理手段６１−１により得られる解析結果に基づいて、各画像から得られる旋回角度から、吊り部１１−３の正面に最も近い（最も正面らしい）画像を取得することができる。これにより、第５の実施例では、その画像中に映っている吊り部１１−３の状態を取得することができる。画像選択手段６１−３により選択された画像は、画像変換手段９１−１に出力される。

画像変換手段９１−１では、画像変換パラメータ保持手段９１−２により得られる各種情報に基づく画像変換や上述した視点変換等を行い、その画像を画像合成手段９１−３に出力する。画像合成手段９１−３は、得られた視点変換された画像を合成して画面生成手段１０１−１に出力する。

画面生成手段１０１−１は、画像合成手段９１−３により合成された画像を表示手段５３に出力するため、予め設定されたレイアウトに基づき画面を生成する。生成された画面を表示手段５３に表示されるように出力することで、オペレータ１６に吊り部１１−３を含む作業部周辺の画像を高精度に提供することができる。

＜第５の実施例における表示制御処理手順＞
次に、上述した第５の実施例における視覚補助装置９１の表示制御処理手順について説明する。図１６は、第５の実施例における表示制御処理手順の一例を示すフローチャートである。図１６に示す第５の実施例では、カメラ姿勢パラメータを入力する（Ｓ６１）。ここで、Ｓ６１で入力されるパラメータは、例えば上述したＳ３２の入力と同様のものであり、処理開始前に予め設定されていてもよい。

次に、第５の実施例における表示制御処理は、４つのカメラ１３−１〜１３−４の画像を取得し（Ｓ６２）、その後、画像１〜４のぞれぞれの画像から得られる吊り部の姿勢（例えば、角度、位置座標等）を検出する（Ｓ６３〜Ｓ６６）。なお、姿勢情報は、例えば予め設定された想定される姿勢に対する設計ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データと画像とのマッチングを行い、そのマッチング結果によって、吊り部の姿勢を検出する。また、他の例としては、例えば、形状ベースでのマッチングを行ったり、吊り部が画像中に占める面積の比率が最も大きいものを正面に近い（若しくは正面である）と推定してもよいが、本発明においてはこれに限定されるものではない。

その後、第５の実施例における表示制御処理は、吊り部が最も正面に映っている画像があるか否かを判断する（Ｓ６７）。ここで、第５の実施例における表示制御処理は、カメラ１３−１〜１３−４のうちの何れかのカメラ（例えば、カメラ１３−１）で撮影された画像１が最も正面に映っている場合には、選択画像Ｎｏ＝１が選択される（Ｓ６８）。また、カメラ１３−１〜１３−４のうちの何れかのカメラ（例えば、カメラ１３−２）で撮影された画像２がもっとも正面に映っている場合には、選択画像Ｎｏ＝２が選択される（Ｓ６９）。

また、カメラ１３−１〜１３−４のうちの何れかのカメラ（例えば、カメラ１３−３）で撮影された画像３が最も正面に映っている場合には、選択画像Ｎｏ＝３が選択される（Ｓ３８）。更に、カメラ１３−１〜１３−４のうちの何れかのカメラ（例えば、カメラ１３−４）が撮影された画像は、他の画像で全く吊り部が撮影されていなかった場合は、最も正面に近い画像であっても、その画像が好ましくない場合には、デフォルトとして選択画像Ｎｏ＝４が選択される（Ｓ７１）。これにより、第５の実施例では、必ず１つの画像が選択されることになる。

次に、第５の実施例における表示制御処理は、選択された画像から旋回角度を検出し（Ｓ７２）、更に、選択画像に対して視点変換を行い（Ｓ７３）、視点変換した画像を表示する（Ｓ７４）。

ここで、第５の実施例における表示制御処理は、画像表示を終了するか否かを判断する（Ｓ７５）。画像を終了するか否かについては、例えばオペレータ１６による指示や天井クレーン７０の操作を終了した場合、エラーが発生した場合等があるが、本発明においてはこれに限定されるものではない。

第５の実施例における表示制御処理は、Ｓ７５の処理において、画像表示を終了しない場合（Ｓ７５において、ＮＯ）、Ｓ６２に戻る。また、第５の実施例における表示制御処理は、画像表示を終了する場合（Ｓ７５において、ＹＥＳ）、表示制御処理を終了する。

なお、上述したＳ６８〜Ｓ７１の処理では、複数のカメラ１３−１〜１３−４から得られる画像のうち、旋回角度θに対応した何れかのカメラの画像のみを表示したが、本発明においてはこれに限定されるものではない。旋回角度θに応じて複数のカメラを選択して表示させてもよい。

上述したように本発明によれば、天井クレーンによる作業部周辺の確認を容易に行うことができる。これにより、オペレータの負担を軽減し、高精度なクレーン操作を実現することができる。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０，３０，７０ 天井クレーン
１１ クレーン部
１２ ガントリー部
１３ カメラ（撮像手段）
１４，３１，６０，７１，１００ 視覚補助装置
１５ 操作装置
１６ オペレータ（操作者）
１７ ピット
１８ レール
２０，４０，８０ 表示画面
２１，４１，８１ 画像
４２ スライド機能
４３ マーカ表示ボタン
４４ レンズ歪補正ボタン
５１ 旋回角度検出手段
５２，６１，９１，１０１ 表示制御手段
５２−１，６１−３ 画像選択手段
５２−２，６１−４，９１−４，１０１−１ 画面生成手段
５３ 表示手段
６１−１ 画像処理手段
６１−２ 比較対象保持手段
８２ ボタン
９１−１ 画像変換手段
９１−２ 画像変換パラメータ保持手段
９１−３ 画像合成手段

Claims (7)

1. 操作者に対するクレーンの操作を補助する画像を表示する視覚補助装置において、
   前記クレーンによる作業部周辺を撮影する複数の撮像手段と、
   前記複数の撮像手段により得られる複数の画像のうち、アーム部と該アーム部の先端に設けられた吊り部とを有するクレーン本体に対する前記アーム部又は前記吊り部の旋回角度に基づいて少なくとも１つの画像を選択する画像選択手段と、
   前記画像選択手段により得られた画像を強調表示する画面を生成する画面生成手段とを有することを特徴とする視覚補助装置。
2. 前記画像選択手段により得られる選択画像に対して、前記吊り部の正面又は上から見えるように画像の視点を変換する画像変換手段を有することを特徴とする請求項１に記載の視覚補助装置。
3. 前記画像変換手段は、
   前記画像選択手段により得られる画像が複数ある場合に、複数の選択画像に対して視点変換を行い、視点変換された各画像の一部を合成した画像を生成することを特徴とする請求項２に記載の視覚補助装置。
4. 前記画像選択手段は、
   前記複数の撮像手段により得られる複数の画像のうち、前記クレーンの位置情報に基づいて少なくとも１つの画像を選択することを特徴とする請求項１乃至３の何れか１項に記載の視覚補助装置。
5. 前記画面生成手段は、
   強調表示する画像が複数ある場合に、前記クレーンの移動方向に応じて強調表示する画像を選択することを特徴とする請求項１乃至４の何れか１項に記載の視覚補助装置。
6. 前記旋回角度を検出する旋回角度検出手段を有することを特徴とする請求項１乃至５の何れか１項に記載の視覚補助装置。
7. 前記旋回角度検出手段は、
   前記複数の撮像手段により得られる複数の画像を解析し、各画像に含まれる前記吊り部の旋回角度を取得することを特徴とする請求項６に記載の視覚補助装置。
   

Images