JP5844172B2 - クレーンシステム - Google Patents

Description

本発明は、クレーンシステムに係り、特にクレーン操作者が吊荷の確認を容易に行うためのクレーンシステムに関する。

従来では、例えばトング式クレーン、リフター式クレーン等のスラブ搬送用クレーンを用いて、スラブ（吊荷）の搬送を行っている。スラブは、通常、施設内の所定の位置に積み重ねて配置され、そのうち1又は複数枚が一度に搬送される。そのため、天井クレーンを操作する作業員（オペレータ（操作者））は、搬送対象のスラブの側面等に記載されている識別情報等を確認しながら把持する位置にクレーンを移動しなければならない。しかしながら、通常、スラブは、作業員が通れる程度の間隔で配置されていたり、多段に積み重なっている場合もあり、オペレータが天井クレーンを操作する場所から直接確認することは非常に困難である。そこで、従来では、天井クレーンを操作するオペレータの他に、スラブ付近に合図マンとしてもう１人の作業員を配置し、合図マンから無線等を通じてオペレータに指示を送り、天井クレーンの誘導を行っている。

また、従来では、トングによる吊荷の拘束点付近の位置レベルを指示するマーカーと、吊荷の上面のプロフィルに応じてレベルを可変とし、且つ吊荷の変形量を自身の変位として表示可能な複数のマーカーとを備え、これらのマーカーを撮像して画像処理系に入力し、これらのマーカーのそれぞれの位置関係を演算処理することによって、吊荷に対するトングの掛り具合及び吊荷の移動軌跡を判別するトングの掴み状況監視方法が知られている（例えば、特許文献１参照）。

更に、従来では、クレーンの挟持爪で掴んで吊持した最下部のスラブ下面に接触可能な回転爪を設け、更に回転爪が吊持したスラブ下面に接触すると、このときの回転軸の回転角度、駆動装置の駆動量の何れかを検知して挟持爪でのスラブ掴み位置を求めるスラブ掴み位置検出装置が知られている（例えば、特許文献２参照）。

特開平７−３３０２８６号公報 特開平９−４０３６８号公報

しかしながら、上述したような従来技術において、合図マンを必要とする場合には、オペレータが直接目で見て状況を確認できておらず、また合図を待ってから操作を行うため、細かい操作を行うことが困難である。

また、特許文献１に示されているような技術では、位置レベルを指示するマーカーと、吊荷の変形量を自身の変位として表示可能な複数のマーカーとを備える必要が生じるため、作業負担等がかかってしまう。更に、特許文献２に示されているような技術では、回転爪や検知手段を設ける必要が生じ、更に、その設備やメンテナンス等にも負担がかかってしまう。

本発明は、上述した問題点に鑑みなされたものであり、クレーン操作者が吊荷の確認を容易に行うためのクレーンシステムを提供することを目的とする。

上述の目的を達成するために、本発明は、操作者によるクレーン操作を補助する画像を画面に表示させるクレーンシステムにおいて、前記クレーン操作により搬送される吊荷に対して移動可能に設けられた吊荷周辺を撮影する複数の撮像手段と、前記複数の撮像手段により得られる各画像が前記吊荷に対して正面視点となるように各画像を変換する画像変換手段と、前記画像変換手段により得られた各画像の座標に基づいて所定の領域を合成する画像合成手段と、前記画像合成手段により得られた画像を前記画面に表示する表示手段とを有し、前記複数の撮像手段は、第１の撮像手段と、鉛直方向における注視領域が前記第１の撮像手段の注視領域の下方にある第２の撮像手段とを含み、前記画像合成手段は、前記第１の撮像手段により得られた画像に基づく前記正面視点の画像中の下方の領域に対して、前記第２の撮像手段により得られた画像に基づく前記正面視点の画像を合成することを特徴とする。

なお、本発明の構成要素、表現又は構成要素の任意の組み合わせを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造等に適用したものも本発明の態様として有効である。

本発明によれば、クレーン操作者が吊荷の確認を容易に行うことができる。

第１の実施例におけるクレーンシステムの概略構成例を説明するための図である。 第１の実施例におけるガントリーとカメラの移動例について説明するための図である。 ガントリーとカメラの他の移動例について説明するための図である。 第１の実施例における視覚補助表示装置の機能構成の一例を示す図である。 第１の実施例における表示処理手順の一例を示すフローチャートである。 入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。 画像変換手段による座標間の対応付けについて説明するための図である。 変換画像生成処理の一例を示すフローチャートである。 第１の実施例における画像変換後の画像例について説明するための図である。 表示手段に表示される画面例について説明するための図である。 第２の実施例におけるクレーンシステムの概略構成例を説明するための図である。 第２の実施例における視覚補助表示装置の機能構成の一例を示す図である。 第２の実施例における表示処理手順の一例を示すフローチャートである。 第２の実施例における画像合成後の画像例について説明するための図である。

＜本発明について＞
本発明は、例えばクレーンシステムに少なくとも１つのカメラ（撮像手段）を設け、吊荷周辺の映像（画像も含む）を取得し、取得したカメラ映像を、例えば吊荷の正面（水平方向）の視点となるように画像変換を行い、オペレータ（クレーン操作者）の作業場所に設けたモニタ（表示手段）等に表示する。

また、本発明は、複数のカメラで撮影された映像からそれぞれ視点変換を行い、変換された画像を合成して１つの画面で表示させることもできる。なお、カメラは、例えば天井クレーン本体と別々に移動できるように設けてよく、天井クレーン本体を移動させるためのガントリー（移動手段）に設け、天井クレーンと一体に移動させてもよく、更にガントリーに対して所定範囲で相対的に移動可能に設けてもよい。

以下に、上述したような特徴を有する本発明におけるクレーンシステムを好適に実施した形態について、図面を用いて詳細に説明する。なお、以下に示す説明においては、吊荷であるスラブを持ち上げて搬送するために、ガントリーの先端部にあるハンドリング部の形状を、把持タイプ（掴みタイプ）としているが、本発明においてはこれに限定されるものではなく、例えばフックタイプでもよい。

＜第１の実施例＞
まず、第１の実施例におけるクレーンシステムの概略構成例について図を用いて説明する。図１は、第１の実施例におけるクレーンシステムの概略構成例を説明するための図である。なお、以下の説明では、クレーンシステムの一例として天井クレーンシステムを用いるが、本発明においてはこれに限定されるものではない。

図１（Ａ）に示す天井クレーンシステム１０は、例えば工場建屋等の施設内に、ガントリー１１と、ガーダー（天井クレーン用横行手段）１２と、カメラ（撮像手段）１３と、ランウェイ（走行レーン）１４と、操作手段１５と、視覚補助表示装置（クレーン用表示装置）１６とを有するよう構成されている。また、ガントリー１１は、トロリー１１−１と、ハンドリング部（把持手段）１１−２とが設けられている。

また、図１の天井クレーンシステム１０内には、スラブ（吊荷）１７がそれぞれの枚数で積み重ねられており、所定の間隔で配置されている（図１（Ａ）の例では、スラブ１７−１〜１７−５（以下、必要に応じて「スラブ１７」と総称する））。

ここで、スラブ１７は、例えば図１（Ｂ）に示すように薄い板状に形成されている。また、スラブ１７の各板の側面には、図１（Ｃ）に示すように識別番号が配置されている（例えば、Ａ―１，Ａ−２，・・・，Ａ２０）。

ガントリー１１は、オペレータ１８による操作手段１５の操作により、ガーダー１２を用いてハンドリング部１１−２を支持するトロリー１１−１がハンドリング部１１−２と共に移動し、ガントリー１１を所定の位置に移動させる。

また、ハンドリング部１１−２は、昇降、旋回等の動作が可能であり、オペレータ１８の操作手段１５による操作により、吊持対象のスラブ１７まで移動し、その後、昇降、旋回等により対象のスラブ１７を把持し、持ち上げて所定の位置に搬送する。

カメラ１３は、オペレータ１８による操作手段１５の操作により、ガーダー１２を移動してスラブ１７を上方から撮影する。つまり、カメラ１３は、移動対象であるスラブ１７周辺の映像を取得する。なお、上述したスラブ１７周辺の映像とは、例えば積み上げられたスラブ１７全体を含む映像であってもよく、またスラブ１７のある注視領域を含む映像であってもよい。第１の実施例では、カメラ１３によりスラブ１７を撮影することで、例えば図１（Ｄ）のように上方から見下ろした画像を取得する。

なお、本実施形態におけるカメラ１３は、ガントリー１１とは別々に移動させてもよく、またガントリー１１と一体に移動させてもよい。更に、ガントリー１１と一体に移動させながら、所定の範囲内で相対的に移動できるように設置されていてもよい。

また、ランウェイ１４は、例えば工場建屋内の壁や天井等に、工場設備の一部として設けられている（図１（Ａ）の例では、ランウェイ１４−１，１４−２）。ランウェイ１４を用いることで、ガーダー１２の工場建屋内での走行を可能とする。

つまり、図１（Ａ）に示す例では、ランウェイ１４がガーダー１２を支持し、例えばガーダー１２に設けられた車輪等を用いて、ガーダー１２がランウェイ１４上を走行する。また、ガーダー１２は、トロリー１１−１を支持し、トロリー１１−１に設けられた車輪等を用いて、トロリー１１−１がガーダー１２上を横行する。また、トロリー１１−１は、ハンドリング部１１−２を支持し、ハンドリング部１１−２がトロリー１１−１上で上下の移動を行う。

操作手段１５は、オペレータ１８によりガントリー１１の移動、ハンドリング部１１−２の操作、カメラ１３の移動、撮影開始・終了の制御等を行う。つまり、操作手段１５により指定された内容に基づいて、ガントリー１１やカメラ１３が所定の速度で移動したり、スラブ１７を搬送するための所定の動作を行う。なお、操作手段１５は、オペレータ１８が操作するために、例えば操作レバーや各種スイッチ群が設けられているが、本発明においてはこれに限定されるものではない。

視覚補助表示装置１６は、例えばガントリー１１やカメラ１３を操作するための各種設定や、カメラ１３から撮影された映像を表示する。なお、視覚補助表示装置１６は、映像を表示する際には、後述するような画像変換等を行うことができる。また、視覚補助表示装置１６は、カメラ１３のパラメータの設定や表示された画像の一部を選択して拡大表示させることができる。なお、上述した操作手段１５と視覚補助表示装置１６とは一体に構成されていてもよく、別体に構成されていてもよい。

＜ガントリーとカメラの移動例＞
次に、上述したガントリー１１とカメラ１３の移動例について図を用いて説明する。図２は、第１の実施例におけるガントリーとカメラの移動例について説明するための図である。なお、図２の例では、説明の便宜上、概略的な図を示している。

第１の実施例では、オペレータ１８の操作手段１５への操作により、ガーダー１２上を、車輪等を設けたトロリー１１−１が横行する。また、図２のガーダー１２は、ガントリー１１と共にランウェイ１４−１，１４−２上を走行することができる。なお、この場合には、オペレータ１８がいる作業場所（操作手段１５、視覚補助表示装置１６）もガーダー１２と一体として移動する。これにより、ガントリー１１は、工場建屋内を横行及び走行することができ、所定の位置に移動することができる。

また、第１の実施例では、上述したガーダー１２に、カメラ１３が移動するためのレーン（カメラ用レーン）が設けられている。このレーンは、例えば図２に示すようにガーダー１２の下部等に設けられるが、これに限定されるものではない。つまり、カメラ１３は、横行でのみ位置調整を行い、走行自体はクレーン全体の移動で調整する。

このように、図２の例では、ガントリー１１と、カメラ１３とを別々に移動させることができ、更にそれぞれがガーダー１２を基準として横行させることができる。また、第１の実施例では、図２に示す構成を用いてガントリー１１とカメラ１３とを同時に同一方向へ移動させることもでき、更にカメラ１３をガントリー１１の位置を基準として所定範囲で相対的に移動可能とすることができる。

上述した構成により、横行レーン及び走行レーンを用いて所定の位置に移動しスラブ１７を撮影することができる。上述した第１の実施例では、ガントリー１１とカメラ１３とが別々に移動することができる。

＜他の移動例＞
ここで、上述した移動例とは異なる他の移動例として、ガントリー１１にカメラ１３を設けて一体で移動させることができる。図３は、ガントリーとカメラの他の移動例について説明するための図である。なお、上述した図２の例と同様の内容については、同一符号を付するものとし、ここでの具体的な説明は省略する。

図３の例では、ガントリー１１とカメラ１３とを一体に移動させるため、一例としてトロリー１１−１にカメラ１３が設けられている。カメラ１３は、上述した図１（Ｄ）に示すように、スラブ１７を撮影する。第２の実施例によれば、カメラ１３の移動操作を行う必要がなくガントリー１１の移動に連動させてカメラ１３を移動させることができる。

なお、第２の実施例におけるガントリー１１とカメラ１３とを一体に移動させるためのカメラ１３の設置位置については、これに限定されるものではなく、例えばハンドリング部１１−２のアーム部分や、トロリー１１−１から所定のポール状の管や棒状の柱を伸ばし、その先端部にカメラ１３を設けてもよい。

＜視覚補助表示装置１６の機能構成例＞
次に、上述したクレーン用表示装置としての視覚補助表示装置１６の機能構成例について図を用いて説明する。図４は、第１の実施例における視覚補助表示装置の機能構成の一例を示す図である。図４に示す視覚補助表示装置１６は、情報処理装置２１と、視覚補助表示装置２２とを有するよう構成されている。情報処理装置２１は、パラメータ設定手段３１と、画像変換手段３２と、縮小画像生成手段３３と、表示位置指定手段３４と、画像切り出し手段３５と、画面生成手段３６とを有するよう構成されている。

パラメータ設定手段３１は、画像変換手段３２に入力されるカメラ１３からの画像を変換するパラメータを設定する。具体的には、パラメータ設定手段３１は、例えばカメラの位置情報、角度情報等の姿勢情報や、レンズ等の光学系のパラメータ（例えば、倍率等）を設定する。なお、上述した各種パラメータの入力は、例えばオペレータ１８等による操作手段１５の操作により行われてもよく、視覚補助表示装置１６内に専用の操作手段を設けてもよく、予め設定されメモリ（記憶手段）等に記憶されていてもよい。なお、パラメータ設定手段３１は、上述したパラメータをカメラ１３に直接出力してもよい。

画像変換手段３２は、カメラから取得した映像に含まれる画像フレームに対し、上述したパラメータに基づいて画像変換を行う。カメラ１３で撮影される映像は、例えば図１（Ｄ）に示すように、上方からスラブ１７を撮影するものであるため、その側面に記載されたスラブ１７の識別情報を撮影画面から見えない場合がある。そこで、画像変換手段３２は、スラブ１７を正面視点（水平方向）から見えるように視点変換を行う。なお、視点変換の具体例については、後述する。

また、画像変換手段３２は、上述した画像処理の他にも、例えばレンズ歪みの補正（光学モデルによる歪み補正）や予め設定されたフィルタによる平滑化等を行ってもよい。

縮小画像生成手段３３は、画像変換手段３３により得られる変換画像の全体を表示手段２２に表示させるため、例えば予め設定された表示手段２２の画面サイズに合わせて変換画像全体を縮小する。縮小画像生成手段３３は、得られた縮小画像を画面生成手段３６に出力する。なお、本発明においては、上述した縮小に限定されるものではなく、例えば全体の画像サイズの２５％等のように、予め設定された倍率で縮小してもよい。

表示位置指定手段３４は、上述した変換画像に対して、一部の領域を表示するための表示位置（領域）の指定を行う。なお、切り出し位置の指定は、例えばオペレータ１８が行ってもよく、また予め切り出し領域が設定されていてもよい。

画像切り出し手段３５は、画像変換手段３２により得られた変換画像に対して、表示位置指定手段３４により指定された位置の画像を切り出す。また、画像切り出し手段３５は、切り出した画像を画面生成手段３６に出力する。

画面生成手段３６は、カメラ１３から得られる元画像と、縮小画像生成手段３３により得られる縮小画像と、画像切り出し手段３５により得られる切り出し画像とを入力し、入力された画像のうち、少なくとも１つの画像を有する表示画面を生成する。なお、表示される画面のレイアウトは、オペレータ１８により指定可能にしてもよく、また、予め設定されていてもよいが、生成される表示画面には、上述の視点変換された画像が含まれることが好ましい。画面生成手段３６は、生成された画像を表示手段２２に出力する。

表示手段２２は、画面生成手段３６により得られる画面等を表示する。なお、表示手段２２は、例えば液晶カラーモニタ等があるが、本発明においてはこれに限定されるものではない。また、第１の実施例では、表示手段２２にタッチパネル機能等を有していてもよく、その場合には、タッチパネルによりオペレータ１８からの指示を入力し、情報処理装置２１に送信し、各種の制御（例えば、パラメータ設定、表示位置指定、縮小率の設定等）を行うことができる。

＜視覚補助表示装置１６における表示処理手順＞
次に、上述したクレーン用表示装置としての視覚補助表示装置１６における表示処理手順の一例について、フローチャートを用いて説明する。図５は、第１の実施例における表示処理手順の一例を示すフローチャートである。

図５に示すフローチャートにおいて、表示処理は、まずオペレータ１８等により設定されたカメラ１３のパラメータ等を入力し（Ｓ０１）、オペレータ１８等の指示により所定位置（例えば、スラブ１７周辺）に対するカメラ１３での撮像を開始する（Ｓ０２）。なお、Ｓ０１の処理におけるパラメータ等は、予め設定されている場合には、改めて入力しなくてもよい。カメラ１３は、例えば、上述したようにガントリー１１と共に移動可能であり、例えば工場建屋等の施設内を所定速度で移動しながらスラブ１７周辺を撮影することができる。

次に、表示処理は、カメラ１３の画像（映像も含む）を取得し（Ｓ０３）、取得した画像に対する画像変換を行う（Ｓ０４）。Ｓ０４の処理は、具体的は、上方からスラブ１７を撮影した画像に対して、スラブ１７の正面（水平方向）から見たように視点を変換した画像を生成する。

次に、表示処理は、変換画像をパラメータ等で設定した所定の倍率等で縮小する（Ｓ０５）。また、表示処理は、例えばオペレータ１８から入力された表示対象である切り出し位置を取得し（Ｓ０６）、取得した切り出し位置に基づいて変換画像の切り出しを行う（Ｓ０７）。

次に、表示処理は、Ｓ０２の処理により得られるカメラ１３からの撮影画像、Ｓ０５の処理により得られる縮小画像、Ｓ０７の処理により得られる切り出し画像のうち、少なくとも１つの画像を用いた表示画面を生成し（Ｓ０８）、生成した表示画面を表示手段２２等に出力する（Ｓ０９）。

ここで、表示処理は、画面表示を終了するか否かを判断し（Ｓ０９）、画面表示を終了しない場合（Ｓ０９において、ＮＯ）、Ｓ０３の処理に戻る。また、表示処理は、Ｓ０９の処理において、例えばオペレータ１８等の指示等により画面表示を終了する場合（Ｓ０９において、ＹＥＳ）、カメラ１３による撮像を終了し（Ｓ１１）、表示処理を終了する。

＜画像変換の具体例＞
次に、上述した画像変換手段３２における画像変換（視点変換）の具体例について図を用いて説明する。図６は、入力画像平面上の座標と空間モデル上の座標との対応付けを説明するための図である。図６において、カメラ１３の入力画像平面Ｒ３は、カメラ１３の光学中心Ｃを原点とするＵＶＷ直交座標系における一平面として表され、空間モデルＭＤは、ＸＹＺ直交座標系における立体面として表されるものとする。

最初に、画像変換手段３２は、空間モデルＭＤ上の座標（ＸＹＺ座標系上の座標）を入力画像平面Ｒ３上の座標（ＵＶＷ座標系上の座標）に変換する。そのため、画像変換手段３２は、ＸＹＺ座標系の原点Ｏを光学中心Ｃ（ＵＶＷ座標系の原点）に並行移動させた上で、Ｘ軸をＵ軸に、Ｙ軸をＶ軸に、Ｚ軸を−Ｗ軸にそれぞれ一致させるようＸＹＺ座標系を回転させる。なお、上述の符号「−」は方向が逆であることを意味する。これは、ＵＶＷ座標系がカメラ前方を＋Ｗ方向とし、ＸＹＺ座標系が鉛直下方を−Ｚ方向としていることに起因する。

なお、カメラ１３が複数存在する場合には、カメラ１３のそれぞれが個別のＵＶＷ座標系を有することとなるので、画像変換手段３２は、複数のＵＶＷ座標系のそれぞれに対して、ＸＹＺ座標系を並行移動させ且つ回転させることとなる。

上述の変換は、カメラ１３の光学中心ＣがＸＹＺ座標系の原点となるようにＸＹＺ座標系を並行移動させた後に、Ｚ軸が−Ｗ軸に一致するよう回転させ、更に、Ｘ軸がＵ軸に一致するよう回転させることによって実現される。そのため、画像変換手段３２は、この変換をハミルトンの四元数で記述することにより、それら二回の回転を一回の回転演算に纏めることができる。

ところで、あるベクトルＡを別のベクトルＢに一致させるための回転は、ベクトルＡとベクトルＢとが張る面の法線を軸としてベクトルＡとベクトルＢとが形成する角度だけ回転させる処理に相当し、その角度をθとすると、ベクトルＡとベクトルＢとの内積から、角度θは、

で表されることとなる。

また、ベクトルＡとベクトルＢとが張る面の法線の単位ベクトルＮは、ベクトルＡとベクトルＢとの外積から、

で表されることとなる。

なお、四元数は、ｉ、ｊ、ｋをそれぞれ虚数単位とした場合、

を満たす超複素数であり、本実施例において、四元数Ｑは、実成分をｔ、純虚成分をａ、ｂ、ｃとして、

で表されるものとし、四元数Ｑの共役四元数は、

で表されるものとする。

四元数Ｑは、実成分ｔを０（ゼロ）としながら、純虚成分ａ、ｂ、ｃで三次元ベクトル（ａ，ｂ，ｃ）を表現することができ、また、ｔ、ａ、ｂ、ｃの各成分により任意のベクトルを軸とした回転動作を表現することもできる。

更に、四元数Ｑは、連続する複数回の回転動作を統合して一回の回転動作として表現することができ、例えば、任意の点Ｓ（ｓｘ，ｓｙ，ｓｚ）を、任意の単位ベクトルＣ（ｌ，ｍ，ｎ）を軸としながら角度θだけ回転させたときの点Ｄ（ｅｘ，ｅｙ，ｅｚ）を以下のように表現することができる。

ここで、本実施例において、Ｚ軸を−Ｗ軸に一致させる回転を表す四元数をＱｚとすると、ＸＹＺ座標系におけるＸ軸上の点Ｘは、点Ｘ'に移動させられるので、点Ｘ'は、

で表されることとなる。

また、本実施例において、Ｘ軸上にある点Ｘ'と原点とを結ぶ線をＵ軸に一致させる回転を表す四元数をＱｘとすると、「Ｚ軸を−Ｗ軸に一致させ、更に、Ｘ軸をＵ軸に一致させる回転」を表す四元数Ｒは、

で表されることとなる。

以上により、空間モデル（ＸＹＺ座標系）上の任意の座標Ｐを入力画像平面（ＵＶＷ座標系）上の座標で表現したときの座標Ｐ'は、

で表されることとなり、画像変換手段３２は、以後、この演算を実行するだけで空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換することができる。なお、カメラ１３の光軸が固定である場合には四元数Ｒ及びその共役四元数Ｒ^＊は不変であるが、カメラ１３の光軸が調整される場合には、四元数Ｒ及びその共役四元数Ｒ^＊は再計算される必要がある点に留意すべきである。
四元数Ｒがカメラ１３のそれぞれで不変であることから、空間モデル（ＸＹＺ座標系）上の座標を入力画像平面（ＵＶＷ座標系）上の座標に変換した後、画像変換手段３２は、カメラ１３の光学中心Ｃ（ＵＶＷ座標系上の座標）と空間モデル上の任意の座標ＰをＵＶＷ座標系で表した座標Ｐ'とを結ぶ線分ＣＰ'と、カメラ１３の光軸Ｇとが形成する入射角αを算出する。

また、画像変換手段３２は、カメラ１３の入力画像平面Ｒ３（例えば、ＣＣＤ面）に平行で且つ座標Ｐ'を含む平面Ｈにおける、平面Ｈと光軸Ｇとの交点Ｅと座標Ｐ'とを結ぶ線分ＥＰ'と、平面ＨにおけるＵ'軸とが形成する偏角φ、及び線分ＥＰ'の長さを算出する。

カメラの光学系は、通常、像高さｈが入射角α及び焦点距離ｆの関数となっている。そのため、画像変換手段３２は、通常射影（ｈ＝ｆｔａｎα）、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等の適切な射影方式を選択して像高さｈを算出する。

その後、画像変換手段３２は、算出した像高さｈを偏角φによりＵＶ座標系上のＵ成分及びＶ成分に分解し、入力画像平面Ｒ３の一画素当たりの画素サイズに相当する数値で除算することにより、空間モデルＭＤ上の座標Ｐ（Ｐ'）と入力画像平面Ｒ３上の座標とを対応付けることができる。

なお、入力画像平面Ｒ３のＵ軸方向における一画素当たりの画素サイズをａＵとし、入力画像平面Ｒ３のＶ軸方向における一画素当たりの画素サイズをａＶとすると、空間モデルＭＤ上の座標Ｐ（Ｐ'）に対応する入力画像平面Ｒ３上の座標（ｕ，ｖ）は、

で表されることとなる。

このようにして、画像変換手段３２は、空間モデルＭＤ上の座標と、カメラ毎に存在する１又は複数の入力画像平面Ｒ３上の座標とを対応付け、空間モデルＭＤ上の座標、カメラ識別子、及び入力画像平面Ｒ３上の座標を関連付けて入力画像・空間モデル対応マップとして記憶する。

また、画像変換手段３２は、四元数を用いて座標の変換を演算するので、オイラー角を用いて座標の変換を演算する場合と異なり、ジンバルロックを発生させることがないという利点を有する。しかしながら、画像変換手段３２は、四元数を用いて座標の変換を演算するものに限定されることはなく、オイラー角を用いて座標の変換を演算するようにしてもよい。

なお、空間モデルＭＤ上の一座標を複数の入力画像平面上の座標へ対応付けることが可能な場合、画像変換手段３２は、空間モデルＭＤ上の座標Ｐ（Ｐ'）を、その入射角αが最も小さいカメラに関する入力画像平面上の座標に対応付けるようにしてもよく、オペレータ１８が選択した入力画像平面上の座標に対応付けるようにしてもよく、或いは、視覚補助表示装置１６が自動的に選択した入力画像平面上の座標に対応付けるようにしてもよい。

＜画像変換手段３２による座標間の対応付けについて＞
次に、画像変換手段３２による座標間の対応付けについて説明する。図７は、画像変換手段による座標間の対応付けについて説明するための図である。図７（Ａ）は、一例として通常射影（ｈ＝ｆｔａｎα）を採用するカメラ１３の入力画像平面Ｒ３上の座標と空間モデルＭＤ上の座標との間の対応関係を示す図であり、画像変換手段３２は、カメラ１３の入力画像平面Ｒ３上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれがカメラ１３の光学中心Ｃを通過するようにして両座標を対応付ける。

図７（Ａ）の例において、画像変換手段３２は、カメラ１３の入力画像平面Ｒ３上の座標Ｋ１を空間モデルＭＤの水平面Ｒ１上の座標Ｌ１に対応付け、カメラ１３の入力画像平面Ｒ３上の座標Ｋ２を空間モデルＭＤの垂直面Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２は共にカメラ１３の光学中心Ｃを通過する。

なお、カメラ１３が通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、画像変換手段３２は、それぞれの射影方式に応じて、カメラ１３の入力画像平面Ｒ３上の座標Ｋ１、Ｋ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付けるようにする。

具体的には、画像変換手段３２は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、入力画像平面上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｋ１−Ｌ１及び線分Ｋ２−Ｌ２がカメラ１３の光学中心Ｃを通過することはない。

また、図７（Ｂ）は、空間モデルＭＤ上の座標と、一例として通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ１３Ｖの変換後の出力画像平面Ｒ４上の座標との間の対応関係を示す図であり、画像変換手段３２は、仮想カメラ１３Ｖの変換後の出力画像平面Ｒ４上の座標とその座標に対応する空間モデルＭＤ上の座標とを結ぶ線分のそれぞれが仮想カメラ１３Ｖの光学中心ＣＶを通過するようにして、両座標を対応付ける。

図７（Ｂ）の例では、画像変換手段３２は、仮想カメラ１３Ｖの変換後の出力画像平面Ｒ４上の座標Ｎ１を空間モデルＭＤの水平面Ｒ１上の座標Ｌ１に対応付け、仮想カメラ１３Ｖの変換後の出力画像平面Ｒ４上の座標Ｎ２を空間モデルＭＤの垂直面Ｒ２上の座標Ｌ２に対応付ける。このとき、線分Ｌ１−Ｎ１及び線分Ｌ２−Ｎ２は共に仮想カメラ１３Ｖの光学中心ＣＶを通過する。

なお、仮想カメラ１３Ｖが通常射影以外の射影方式（例えば、正射影、立体射影、等立体角射影、等距離射影等である。）を採用する場合、画像変換手段３２は、それぞれの射影方式に応じて、仮想カメラ１３Ｖの変換後の出力画像平面Ｒ４上の座標Ｎ１、Ｎ２を空間モデルＭＤ上の座標Ｌ１、Ｌ２に対応付けるようにする。

具体的には、画像変換手段３２は、所定の関数（例えば、正射影（ｈ＝ｆｓｉｎα）、立体射影（ｈ＝２ｆｔａｎ（α／２））、等立体角射影（ｈ＝２ｆｓｉｎ（α／２））、等距離射影（ｈ＝ｆα）等である。）に基づいて、変換後の出力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標とを対応付ける。この場合、線分Ｌ１−Ｎ１及び線分Ｌ２−Ｎ２が仮想カメラ１３Ｖの光学中心ＣＶを通過することはない。

このようにして、画像変換手段３２は、変換後の出力画像平面Ｒ４上の座標と、空間モデルＭＤ上の座標とを対応付け、変換後の出力画像平面Ｒ４上の座標及び空間モデルＭＤ上の座標を関連付けて空間モデル・変換後の出力画像対応マップとして記憶し、画像変換手段３２が記憶した入力画像・空間モデル対応マップを参照しながら、変換後の出力画像における各画素の値と入力画像における各画素の値とを関連付けて変換後の出力画像を生成する。

これにより、視覚補助表示装置１６は、スラブ１７をあたかも正面（水平方向）から撮像したような視点の画像（以下、「仮想的な水平画像」という）をオペレータ１８に提示することができ、ハンドリング部１１−２と床面ＦＦとの間の距離をそのオペレータ１８に容易に確認させることができ、そのオペレータ１８によるハンドリング部１１−２の上げ下げの操作を補助することができる。

また、視覚補助表示装置１６は、入力画像のうちハンドリング部１１−２が存在する部分を仮想的な水平画像としてオペレータ１８に提示し、一方で、入力画像の他の部分については、その部分をあたかも鉛直上方から撮像したような画像として操作者に提示することができ、ハンドリング部１１−２と床面ＦＦ上に存在する物体との間の関係をその操作者に容易に確認させることができ、そのオペレータによるハンドリング部１１−２の上げ下げの操作を補助することができる。

＜視点変換後の画像（変換画像）生成処理＞
次に、視覚補助表示装置１６が入力画像を用いて視点変換後の画像（変換画像）を生成する処理（以下、「変換画像生成処理」という）について説明する。図８は、変換画像生成処理の一例を示すフローチャートである。なお、図８は、変換画像生成処理の流れを示すフローチャートであり、カメラ１３（入力画像平面Ｒ３）、空間モデルＭＤ（水平面Ｒ１及び垂直面Ｒ２）、並びに仮想カメラ１３Ｖ（変換後の出力画像平面Ｒ４）の配置は予め決定されているものとする。

最初に、変換画像生成処理は、変換後の出力画像平面Ｒ４上の座標と空間モデルＭＤ上の座標とを対応付ける（Ｓ２１）。

具体的には、変換画像生成処理は、仮想カメラ１３Ｖを用いて変換後の出力画像を生成する場合には、採用した射影方式に応じて変換後の出力画像平面Ｒ４上の座標から空間モデルＭＤ上の座標を算出し、その対応関係を予め設定された空間モデル・変換後の出力画像対応マップに記憶する。

より具体的には、変換画像生成処理は、通常射影（ｈ＝ｆｔａｎα）を採用する仮想カメラ１３Ｖを用いて変換後の出力画像を生成する場合には、その仮想カメラ１３Ｖの光学中心ＣＶの座標を取得した上で、変換後の出力画像平面Ｒ４上の一座標から延びる線分であり、光学中心ＣＶを通過する線分が空間モデルＭＤと交差する点を算出し、算出した点に対応する空間モデルＭＤ上の座標を、変換後の出力画像平面Ｒ４上のその一座標に対応する空間モデルＭＤ上の一座標として導き出し、その対応関係を空間モデル・変換後の出力画像対応マップに記憶する。

その後、変換画像生成処理は、変換後の出力画像平面Ｒ４上の全ての座標の値を空間モデル上の座標の値に対応付けたか否かを判断し（Ｓ２２）、未だ全ての座標の値を対応付けていないと判断した場合（Ｓ２２において、ＮＯ）、Ｓ２１の処理を繰り返すようにする。

一方、変換画像生成処理は、全ての座標の値を対応付けたと判断した場合（Ｓ５２において、ＹＥＳ）、上述の処理によって導き出された空間モデルＭＤ上の座標のそれぞれと入力画像平面Ｒ３上の座標とを対応付ける（Ｓ２３）。

具体的には、変換画像生成処理は、通常射影（ｈ＝ｆｔａｎα）を採用するカメラ１３の光学中心Ｃの座標を取得し、上述の処理によって導き出された空間モデルＭＤ上の座標のそれぞれから延びる線分であり、光学中心Ｃを通過する線分が入力画像平面Ｒ３と交差する点を算出し、算出した点に対応する入力画像平面Ｒ３上の座標を、その空間モデルＭＤ上の一座標に対応する入力画像平面Ｒ３上の一座標として導き出し、その対応関係を予め設定された入力画像・空間モデル対応マップに記憶する。

その後、変換画像生成処理は、上述の処理によって導き出された空間モデルＭＤ上の全ての座標を入力画像平面Ｒ３上の座標に対応付けたか否かを判断し（Ｓ２４）、未だ全ての座標を対応付けていないと判断した場合（Ｓ２４において、ＮＯ）、Ｓ２３の処理を繰り返すようにする。

一方、変換画像生成処理は、全ての座標を対応付けたと判断した場合（Ｓ２４において、ＹＥＳ）、入力画像・空間モデル対応マップ及び空間モデル・変換後の出力画像対応マップを参照しながら入力画像平面Ｒ３上の座標と空間モデルＭＤ上の座標との対応関係、及び、空間モデルＭＤ上の座標と変換後の出力画像平面Ｒ４上の座標との対応関係を辿り、変換後の出力画像平面Ｒ４上の各座標に対応する入力画像平面Ｒ３上の座標が有する値（例えば、輝度値、色相値、彩度値等である。）を取得し、その取得した値を、対応する変換後の出力画像平面Ｒ４上の各座標の値として採用する（Ｓ２５）。なお、変換後の出力画像平面Ｒ４上の一座標に対して１又は複数の入力画像平面Ｒ３上の複数の座標が対応する場合、変換画像生成処理は、それら複数の座標のそれぞれの値に基づく統計値（例えば、平均値、最大値、最小値、中間値等である。）を導き出し、変換後の出力画像平面Ｒ４上のその一座標の値としてその統計値を採用するようにしてもよい。

その後、変換画像生成処理は、変換後の出力画像平面Ｒ４上の全ての座標の値を入力画像平面Ｒ３上の座標の値に関連付けたか否かを判断し（Ｓ２６）、未だ全ての座標の値を関連付けていないと判断した場合（Ｓ２６において、ＮＯ）、Ｓ２５の処理を繰り返すようにする。

一方、変換画像生成処理は、全ての座標の値を関連付けたと判断した場合（Ｓ２６において、ＹＥＳ）、変換後の出力画像を生成し、生成した変換後の出力画像を出力して（Ｓ２７）、この一連の処理を終了させる。

以上の構成により、視覚補助表示装置１６は、ガントリー１１の先端に設けられたハンドリング部１１−２と床面ＦＦとの間の位置関係をオペレータ１８に直感的に把握させることが可能な変換後の出力画像を生成することができ、その変換後の出力画像を提示してそのオペレータ１８によるハンドリング部１１−２の上げ下げの操作を補助することができる。

また、視覚補助表示装置１６は、変換後の出力画像平面Ｒ４から空間モデルＭＤを経て入力画像平面Ｒ３に遡るように座標の対応付けを実行することにより、変換後の出力画像平面Ｒ４上の各座標を入力画像平面Ｒ３上の１又は複数の座標に確実に対応させることができ、入力画像平面Ｒ３から空間モデルＭＤを経て変換後の出力画像平面Ｒ４に至る順番で座標の対応付けを実行する場合と比べ、より良質な変換後の出力画像を迅速に生成することができる。

また、視覚補助表示装置１６は、変換後の出力画像の視点を変更する場合には、仮想カメラ１３Ｖの各種パラメータの値を変更して空間モデル・変換後の出力画像対応マップを書き換えるだけで、入力画像・空間モデル対応マップの内容を書き換えることなく、所望の視点から見た変換後の出力画像（視点変換画像）を生成することができる。

なお、上述の例では、カメラ１３から撮影位置から平面の視点に変換した例を示したが本発明においてはこれに限定されるものではなく、例えば同様の観点に基づいて垂直方向からの視点変換も同様の手法を適用することができる。これにより、オペレータ１６に対してより見やすい映像を提供することができる。

また、上述した各種対応マップ等については、例えば画像変換手段３２内のメモリに記憶されていてもよく、新たに蓄積手段を設けて蓄積させてもよい。また、上述の視点変換では、正面（水平）方向に視点変換する例を示しているが、本発明においては、上述した変換手法を用いて上（垂直）方向からの視点に変換させることができる。更に、上述した視点変換は、複数のカメラから得られる複数の画像を合成した合成画像を用いることもできる。

＜画像変換後の画像例＞
ここで、第１の実施例における画像変換後の画像例について図を用いて説明する。図９は、第１の実施例における画像変換後の画像例について説明するための図である。なお、図９（Ａ）は、カメラ１３から撮影される元画像の一例を示し、図９（Ｂ）は、カメラ１３からの画像を正面視点に変換した画像の一例を示している。また、図９の例では、吊荷として上述したスラブ１７を模した擬似的なスラブを用いている。

上述したように、スラブ１７の上方から図９（Ａ）に示すように撮影されるため、側面のスラブ１７の識別情報を容易に確認することができない場合がある。そこで、第１の実施例では、上述したように正面（水平方向）視点となるように視点変換を行うことにより、図９（Ｂ）に示すような画像を取得することができる。第１の実施例では、図９（Ｂ）に示すような画面を表示手段２２に表示させることで、オペレータ１９は、スラブ１７の積み重なり状態や、搬送対象のスラブ１７（吊荷）がどこにあるかを容易に把握することができる。

＜表示手段２２に表示される画面例＞
次に、表示手段２２に表示される画面例について図を用いて説明する。図１０は、表示手段に表示される画面例について説明するための図である。図１０に示す表示画面４０は、と、切り出し領域表示領域（第１表示領域）４１と、縮小画像表示領域（第２表示領域）４２と、元画像表示領域（第３表示領域）４３と、カメラパラメータ表示領域４４と、切り出し位置指定領域４５を有するよう構成されている。

切り出し領域表示領域４１は、例えば上述した変換画像に対して予め設定された一部の領域（例えば、注視領域等）を表示する。なお、一部の領域は、例えば切り出し位置指定領域４５により設定された領域でもよく、予め固定に設定された領域（例えば、画像の下方領域）であってもよい。更に、切り出し領域表示領域４１は、例えば切り出し位置指定領域４５により設定された領域に対応させて表示できる領域を変更してもよい。その場合には、例えば表示手段２２の画面サイズや解像度に応じて他の領域が１画面に含まれるように相対的に変更される。つまり、第１の実施例では、切り出し位置指定領域４５により設定された領域の大きさと表示画面４０の画面サイズとに基づいて、１つの画面で表示できるように、少なくとも切り出し領域表示領域４１及び縮小画像表示領域４２の表示面積を変更可能にする。

縮小画像表示領域４２は、予め設定された領域に合わせて変換画像を縮小し、変換画像の全体を領域内に表示する。なお、縮小画像表示領域４２に表示される画像は、上述した図９（Ｂ）に相当する。

なお、本実施形態では、上述した表示処理を行うことにより、変換画像として、少なくとも切り出し領域表示領域４１や縮小画像表示領域４２がオペレータ１８に確認できるように、１つの表示画面４０に表示させるようにする。なお、本発明においては、上述した１つの画面に限定されるものではなく、例えば各領域を確認できるそれぞれの画面を生成して表示させてもよい。

元画像表示領域４３は、カメラ１３が撮影した画像（元画像）であり、視点変換する前の撮像画像を表示する。なお、元画像表示領域４３に表示される画像は、上述した図９（Ａ）に相当する。

カメラパラメータ表示領域４４は、カメラパラメータ（具体的には、３次元（ＸＹＺ）の座標及び角度等の姿勢情報や、レンズ等の光学系パラメータ、視点変換時に用いられるテーブル（マップ）の設定、更新等を行う領域である。

切り出し位置指定領域４５は、切り出し領域表示領域４１に所定の領域（例えば、注視領域）を表示させるための領域であり、図１０の例では、縮小画像表示領域４２上に枠状に表示されている。オペレータ１８は、表示画面４０に表示される切り出し位置指定領域４５を、例えば画面に表示されるカーソル等を用いて移動させることで、所定の切り出し表示位置を設定することができる。なお、本発明においてはこれに限定されるものではなく、例えば表示手段２２がタッチパネル機能を有する場合には、そのタッチパネルを用いてオペレータ１８が指等を用いて切り出し位置を設定することができる。

図１０の表示画面４０に示すように、上述した本実施例を適用することで、元画像のみでは見えにくいスラブ１７の側面の識別情報を高精度に把握することができる。また、本実施形態では、縮小画像表示領域４２に対して切り出し領域を設定することができ、切り出し位置指定領域４５の位置や範囲をオペレータ１８が操作手段１５や画面上（タッチパネル）を用いて指定することにより、指定した部分を切り出して切り出し領域表示領域４１に表示させることができる。これにより、オペレータ１８は、より明確に必要な情報を取得することができ、搬送対象のスラブ１７に対し、トロリー１１−１を移動させ、ハンドリング部１１−２により把持し、目的の場所に移動させることができる。

なお、第１の実施例においては、少なくとも切り出し領域表示領域４１と、縮小画像表示領域とが表示されているのが好ましく、例えば元画像表示領域４３やカメラパラメータ表示領域４４は表示されなくてもよい。

＜第２の実施例＞
ここで、上述した実施例では、１台のカメラ１３を用いて得られた画像に対して視点変換等の画像変換を行い、その結果から得られる変換画像等を用いて表示等を行ったが、本発明においてはこれに限定されるものではない。例えば、上述した視点変換は、複数のカメラから得られる複数の画像に対してそれぞれの注視領域に基づいて視点変換等を行い、変換された画像を部分的に合成して１つの合成画像を生成してもよい。

これにより、例えば多段に積み重なったスラブ１７については、下方のスラブの識別情報が読みにくい場合には、１つのカメラからでは見えないフラグの下方の領域について拡大させて撮影可能な望遠レンズ付カメラを併設して同一平面に視点変換し、得られた変換画像を合成することで、よりオペレータに見やすい画像を提供することができる。上述した内容を第２の実施例として図を用いて説明する。

図１１は、第２の実施例におけるクレーンシステムの概略構成例を説明するための図である。なお、図１１に示すクレーンシステムについて、上述した図１に示す天井クレーンと同様の構成については、同一符号を付するものとし、ここでの具体的な構成は省略する。

図１１（Ａ）に示す天井クレーンシステム１０は、ガントリー１１と、ガーダー１２と、複数のカメラ１３（図１１（Ａ）の例では、カメラ１３−１，１３−２）と、ランウェイ１４と、操作手段１５と、視覚補助表示装置５０とを有するよう構成されている。

第２の実施例において、２台のカメラ１３−１，１３−２は、両方とも異なるカメラパラメータを用いてもよく、また同一のカメラパラメータを用いてもよい。したがって、２台のカメラ１３−１，１３−２のうち、一方のカメラ（例えば、カメラ１３−１）を広域カメラとし、もう一方のカメラ（例えば、カメラ１３−２）を詳細（拡大・望遠）カメラとすることができる。これにより、詳細カメラで撮影した画像を用いてスラブ１７の下方の側面の識別情報を読み取ることで、より鮮明な画像を表示することができる。なお、本発明においてはこれに限定されるものではなく、複数のカメラを詳細カメラ又は広域カメラにしてもよい。また、２台のカメラ１３−１，１３−２が同一のカメラパラメータを用いる場合には、例えば１台のカメラでは画角等不十分な場合に補助的に２台目カメラを用いるといった対応が可能となる。

したがって、例えば、図１１（Ｂ）に示すように、例えば２０段（例えば、識別情報Ｃ−１〜Ｃ−２０）に積み重なったスラブ１７については、例えば多段スラブの上段（例えば、「Ｃ−１」〜「Ｃ−１２」）と下段（例えば、「Ｃ−１３」〜「Ｃ−２０」）について、別々のカメラで撮影した画像を合成することで、より高精細な画像を表示させることができ、オペレータ１８に対する視覚補助をより高精度に行うことができる。

なお、第２の実施例におけるカメラの配置については、座標情報の差があまりでないようにするため、例えば図１１（Ｃ）に示すように、カメラ１３を上下に重ねて配列されていることが好ましいが、本発明においてはこれに限定されるものではない。また、複数のカメラのうち、広域カメラと詳細カメラのどちらを下に配置するかについても、特に限定されるものではない。また、配置方法は、上下に限定されるものではなく、例えば左右に配置されてもよく、重ねて配置されていなくてもよい。またそれぞれのカメラ１３は、一体で移動されることが好ましいが、本発明においてはこれに限定されるものではなく、それぞれのカメラ１３が、他のカメラと別々に移動できるように構成されていてもよい。

＜視覚補助表示装置５０の機能構成例＞
次に、上述したクレーン用表示装置としての視覚補助表示装置５０の機能構成例について図を用いて説明する。なお、以下の説明では、２台のカメラを有する例について説明するが、本発明においてはこれに限定されるものではなく、例えば３台以上のカメラを有していてもよい。図１２は、第２の実施例における視覚補助表示装置の機能構成の一例を示す図である。なお、図１２に示す視覚補助表示装置５０については、上述した視覚補助表示装置１６と同一の構成については、同一符号を付するものとし、ここでの具体的な説明は省略する。

図１２に示す視覚補助表示装置５０は、情報処理装置５１と、視覚補助表示装置２２とを有するよう構成されている。情報処理装置５１は、パラメータ設定手段３１と、画像変換手段３２と、縮小画像生成手段３３と、表示位置指定手段３４と、画像切り出し手段３５と、画面生成手段３６と、画像合成手段５２とを有するよう構成されている。

パラメータ設定手段３１は、画像変換手段３２−１，３２−２にそれぞれ入力されるカメラ１３−１，１３−２からの画像を変換するパラメータを設定する。具体的には、パラメータ設定手段３１は、例えば各カメラが撮影する注視領域に対応する位置情報、角度情報等の姿勢情報や、レンズ等の光学系のパラメータ（例えば、倍率等）等を入力する。なお、各種パラメータの入力は、オペレータ１８等による操作手段１５の操作により行われてもよく、視覚補助表示装置１６内に専用の操作手段を設けてもよく、更に予め設定されていてもよい。なお、パラメータ設定手段３１は、上述したパラメータをカメラ１３−１，１３−２に直接出力してもよい。

画像変換手段３２−１，３２−２は、それぞれに割り当てられたカメラ１３−１，１３−２から取得した映像に含まれる画像フレームに対し、上述したパラメータに基づいて画像変換を行う。なお、画像変換手段３２−１，３２−２は、スラブ１７を正面（水平方向）から見えるように上述した手法を用いてカメラ１３−１，１３−２から得られるそれぞれの画像に対して、例えば視点変換等の画像の変換を行う。なお、画像変換手段３２−２，３２−２は、図１２に示すようにカメラ毎に設けられていてもよく、また１つの画像変換手段で複数のカメラからの画像に対する視点変換等を行ってもよい。

また、画像変換手段３２−１，３２−２は、上述した画像処理の他にも、例えばレンズ歪みの補正（光学モデルによる歪み補正）や予め設定されたフィルタによる平滑化等を行ってもよい。

画像合成手段５２は、視点変換された２つの変換画像をお互いの画像の座標情報や角度情報等の姿勢情報等に基づいて合成を行う。具体的には、画像合成手段５２は、カメラ１３−１，１３−２から得られる複数の画像に対して、画像変換手段３２−１，３２−２によりそれぞれの注視領域に基づいて視点変換された画像を部分的に合成して１つの合成画像を生成する。例えば、画像合成手段５２は、広域カメラ（例えば、カメラ１３−１）により撮影された画像の視点変換後の画像に対して、詳細カメラ（例えば、カメラ１３−２）により撮影された画像の視点変換後の画像の下方スラブ１７の撮影部分の予め設定された領域（注視領域）を抽出し、その抽出した画像から得られる座標に合わせて合成する。

ここで、上述した合成手法の具体例としては、例えばカメラパラメータを正確に指定できれば、各映像の座標系が統一されるため、重複領域（複数のカメラに写っている領域）で、どのカメラの映像を表示するのかを指定することで合成画像が出力される。重複領域の選択方法としては、より解像度の高い方のカメラを選択する方法や、撮像領域からカメラまでの距離が近いものを選択する方法、投影面からの角度が実角度に近いものを選択する方法、また、上述した複数の選択方法から選択的に決定する方法等を用いることができるが、これに限定されるものではない。

なお、カメラ性能等の差異により、複数のカメラ１３から得られる画像の輝度に誤差が生じる場合がある。その場合、合成した画像の境界付近の画像の輝度差が目立つ場合がある。そこで、画像合成手段５２は、例えば、境界付近の画素値同士を比較し、所定数以上の差があった場合には、それらの画素を平均化し、平均化した画素を重ねることで、合成部の境界を目立ちにくくするような補正処理を行ってもよい。

縮小画像生成手段３３は、画像合成手段５２により得られる合成画像に基づいて、上述したように、合成画像全体を縮小する処理を行う。縮小画像生成手段３３は、得られた縮小画像を画面生成手段３６に出力する。

表示位置指定手段３４は、画像合成手段５２より得られた合成画像に対して上述したように一部の領域を表示するための表示位置（領域）の指定を行う。

画像切り出し手段３５は、画像合成手段５２より得られた合成画像に対して、表示位置指定手段３４により指定された位置の画像を切り出す。また、画像切り出し手段３５は、切り出した画像を画面生成手段３６に出力する。

画面生成手段３６は、カメラ１３から得られる元画像と、縮小画像生成手段３３により得られる縮小画像と、画像切り出し手段３５により得られる切り出し画像とを入力し、入力された画像のうち、上述した第１の実施例と同様に少なくとも１つの画像を有する表示画面を生成する。なお、表示される画面のレイアウトは、オペレータ１８により指定可能にしてもよく、また、予め設定されていてもよいが、生成される表示画面には、上述の視点変換された画像が含まれることが好ましい。画面生成手段３６は、生成された画像を表示手段２２に出力する。

表示手段２２は、画面生成手段３６により得られる画面等を表示する。なお、第２の実施例において、例えば３台以上のカメラを設置し、それぞれのカメラから画像データを取得する場合には、例えば各カメラに予め割り当てられた注視領域の撮影画像に対応する座標情報に基づいて、他の画像と合成して１つの画像を生成してもよく、また例えば３台以上のカメラのうちの２つを選択し、その選択されたカメラを用いて上述した画像合成処理を行ってもよい。

＜視覚補助表示装置５０における表示処理手順＞
次に、上述したクレーン用表示装置としての視覚補助表示装置５０における表示処理手順の一例について、フローチャートを用いて説明する。図１３は、第２の実施例における表示処理手順の一例を示すフローチャートである。なお、以下の説明では、２台のカメラを「カメラ１」、「カメラ２」と簡略化して説明するが、これらは、上述したカメラ１３−１と、カメラ１３−２に相当する。

図１３に示すフローチャートにおいて、表示処理は、まずオペレータ１８等により設定されたカメラ１，２に対して設定されたカメラのパラメータ等を入力し（Ｓ３１）、オペレータ１８等の指示により所定位置（例えば、スラブ１７周辺）に対するカメラ１３−１，１３−２での撮像を開始する（Ｓ３２）。なお、Ｓ３１の処理におけるパラメータ等は、予め設定されている場合には、改めて入力しなくてもよい。カメラ１３−１，１３−２は、上述したガントリー１１等と共に移動可能であり、天井クレーンシステム１０内を所定速度で移動しながらスラブ１７周辺を撮影することができる。

次に、表示処理は、カメラ１３−１の画像（映像も含む）を取得し（Ｓ３３）、取得した画像に対して上述したような画像変換を行う（Ｓ３４）。また、表示処理は、上述したＳ３３，３４の処理と平行してカメラ１３−２の画像（映像も含む）を取得し（Ｓ３５）、取得した画像に対して上述したような画像変換を行う（Ｓ３６）。

次に、表示処理は、２つの変換画像を合成し（Ｓ３７）、合成画像に対して所定の倍率等で縮小する（Ｓ３８）。また、表示処理は、例えばオペレータ１８等から入力された表示対象である切り出し位置を取得し（Ｓ３９）、取得した切り出し位置に基づいて変換画像の切り出しを行う（Ｓ４０）。

次に、表示処理は、Ｓ３２の処理により得られるカメラ１３−１からの撮影画像、Ｓ３８の処理により得られる縮小画像、Ｓ４０の処理により得られる切り出し画像のうち、少なくとも１つの画像を用いた画面を生成し（Ｓ４１）、生成した画面を表示手段２２等に出力する（Ｓ４２）。

ここで、表示処理は、画像表示を終了するか否かを判断し（Ｓ４３）、画面表示を終了しない場合（Ｓ４３において、ＮＯ）、Ｓ３３の処理に戻る。また、表示処理は、Ｓ４３の処理において、例えばオペレータ１８等の指示等により画像表示を終了する場合（Ｓ４３において、ＹＥＳ）、カメラ１３における撮像を終了し（Ｓ４４）、表示処理を終了する。

＜画像合成後の画像例＞
ここで、第２の実施例における画像合成後の画像例について図を用いて説明する。図１４は、第２の実施例における画像合成後の画像例について説明するための図である。なお、図１４（Ａ）は、カメラ１３−１から撮影される元画像の一例を示し、図１４（Ｂ）は、合成画像の一例を示している。また、図１４の例では、吊荷として上述したスラブ１７を模した擬似的なスラブを用いている。

例えば、第２の実施例では、図１４（Ａ）に示すようにカメラ１３−１，１３−２からそれぞれの注視領域を基準に撮影された画像に対して、それぞれ正面視点となるように視点変換され、その視点変換後のそれぞれの画像を、画像の座標に対応させて合成することで、図１４（Ｂ）に示すような合成画像５０を得ることができる。

つまり、合成画像６０は、例えば広域カメラ（例えば、カメラ１３−１）で得られた画像に対して視点変換された画像６１の下方の領域に対して、詳細カメラ（例えば、カメラ１３−２）で得られた画像６２が合成されている。なお、図１４（Ｂ）の例では、説明の便宜上、合成部分の境界５３を示しているが、実際の合成画像には、境界５３を設けていなくてもよい。

このように、広域カメラの画像を用いることで、積み重ねられたスラブ１７を把握することができ、更に、詳細カメラの画像を用いることで、スラブ１７の識別情報を鮮明に表示させることができる。これにより、オペレータ１８は、搬送対象のスラブ１７の位置を容易且つ確実に取得することができる。

つまり、第２の実施例によれば、単一のカメラではカバーできない領域や識別情報等を複数のカメラを設置して、その画像を同一平面で取り扱うことにより、吊荷をハンドリング部１１−２によりハンドリングするために直感的に分かり易い映像を１つの画面内で表現することができる。

ここで、第２の実施例において表示手段２２に表示される画面例については、上述した図１０に示す表示画面４０と同様であるため、ここでの具体的な説明は省略する。なお、第２の実施例において、切り出し領域表示領域４１に表示される画像や、縮小画像表示領域４２に表示される画像は、上述した合成画像が基準となる。また、元画像表示領域４３には、複数のカメラから撮影されたそれぞれの元画像が表示される。また、カメラパラメータ表示領域４４は、複数のカメラ（例えば、カメラ１３−１，１３−２）に対するカメラパラメータの設定、更新等を行う領域である。

第２の実施例により、オペレータ１８は、より明確に必要な情報を取得することができ、搬送対象のスラブ１７に対し、ガントリー１１を移動させ、ハンドリング部１１−２により把持し、目的の場所に移動させることができる。

なお、複数のカメラからの映像を表示する場合、従来では、カメラ数に対応させたモニタを用意し、対応するモニタ画面にカメラ映像を表示することがあるが、このような場合には、モニタが複数必要となり、更に注視領域がそれぞれの画面に分散してしまう。そのため、オペレータ１８は、吊荷の確認を容易に行うことができず、クレーン操作に支障をきたす可能性がある。また、複数の映像を１つのモニタを分割して同時に表示する方法も考えられるが、複数のカメラ映像を１つの画面に表示する場合には、解像度を圧縮することになり、注視したい領域の画像の鮮明さを損なうことになる。そこで、上述した第２の実施例に示すように複数の画像から視点変換を行い、変換した画像を合成して画面に表示することで、オペレータ１８が最も注視すべき画像を表示することができる。つまり、第２の実施例によれば、複数のカメラ映像を用いて生成される合成映像で、吊荷全体の様子を１画面で表示しながら、注視領域での解像度を失わずに、吊荷の確認を容易に行うことができ、これによりオペレータ１８のクレーン操作を補助することができる。

上述したように、本発明によれば、クレーン操作者（オペレータ）が作業場所から画面を用いて吊荷の確認を容易に行うことができる。つまり、本発明によれば、天井クレーン等による吊荷周辺（作業部周辺）の確認を容易に行うことができ、オペレータの負担を軽減し、高精度なクレーン操作を実現することができる。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０ 天井クレーンシステム
１１ ガントリー
１１−１ トロリー
１１−２ ハンドリング部（把持手段）
１２ ガーダー（天井クレーン用横行手段）
１３ カメラ（撮像手段）
１４ ランウェイ（走行レーン）
１５ 操作手段
１６，４０ 視覚補助表示装置（クレーン用表示装置）
１７ スラブ（吊荷）
１８ オペレータ（操作者）
２１，５１ 情報処理装置
２２ 視覚補助表示装置
３１ パラメータ設定手段
３２ 画像変換手段
３３ 縮小画像生成手段
３４ 表示位置指定手段
３５ 画像切り出し手段
３６ 画面生成手段
４０ 表示画面
４１ 元画像表示領域
４２ 縮小画像表示領域
４３ 切り出し領域表示領域
４４ カメラパラメータ表示領域
４５ 切り出し設定領域
５２ 画像合成手段
６０ 合成画像
６１，６２ 画像
６３ 境界

Claims (4)

1. 操作者によるクレーン操作を補助する画像を画面に表示させるクレーンシステムにおいて、
   前記クレーン操作により搬送される吊荷に対して移動可能に設けられた吊荷周辺を撮影する複数の撮像手段と、
   前記複数の撮像手段により得られる各画像が前記吊荷に対して正面視点となるように各画像を変換する画像変換手段と、
   前記画像変換手段により得られた各画像の座標に基づいて所定の領域を合成する画像合成手段と、
   前記画像合成手段により得られた画像を前記画面に表示する表示手段とを有し、
   前記複数の撮像手段は、第１の撮像手段と、鉛直方向における注視領域が前記第１の撮像手段の注視領域の下方にある第２の撮像手段とを含み、
   前記画像合成手段は、前記第１の撮像手段により得られた画像に基づく前記正面視点の画像中の下方の領域に対して、前記第２の撮像手段により得られた画像に基づく前記正面視点の画像を合成することを特徴とするクレーンシステム。
2. 前記撮像手段は、
   前記吊荷を把持する把持手段を支持するトロリーと共に移動可能に設けられることを特徴とする請求項１に記載のクレーンシステム。
3. 前記撮像手段は、前記トロリーの位置を基準として相対的に移動できるように設けられることを特徴とする請求項２に記載のクレーンシステム。
4. 前記吊荷を把持する把持手段を支持するトロリーを横行させる天井クレーン用横行手段に、前記撮像手段を移動させるレーンを設けることを特徴とする請求項１に記載のクレーンシステム。