JP3705592B2 - 環状画像のパノラマ画像への展開時の鉛直方向ひずみ補正方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、全方位撮像装置で撮影された環状画像をパノラマ画像に展開する時にパノラマ画像上に生ずる鉛直方向ひずみを補正する方法および装置に関するものである。
【０００２】
【発明が解決しようとする課題】
図１に示すように、全方位撮像レンズ（ＰＡＬレンズ）１を用いて等角度間隔に配置されたゼブラパターン２を撮影すると、環状画像３を得ることができる。この環状画像においては、本来は等間隔に並ぶはずのゼブラパターンはＰＡＬ１の光学特性によって図示のように等間隔でなくなる。これを環状画像における鉛直方向ひずみと呼ぶ。
【０００３】
従来の全方位撮像システムでは、この環状画像データを環状画像入力部４で取り込み、これを展開処理部５でパノラマ画像データに展開し、この展開画像データを展開画像出力部６から表示装置ＤＰで表示すると、図１に示すようなパノラマ画像７が表示される。この展開画像は鉛直方向ひずみがそのまま反映された形で現れ、実空間からかけ離れた画像表現となってしまう。
【０００４】
このため、ＰＡＬレンズ等の広角光学デバイス（魚眼レンズ、全方位ミラー、ＰＡＬ）によって撮影されたパノラマ画像にはひずみが生ずるものであるという一般的な考え方が存在している。
【０００５】
ＰＡＬレンズで撮影した環状画像は、レンズの特性により高さ方向の寸法が実物の高さ寸法と写る位置によって異なる特性をもっている。このため、従来では、環状画像からパノラマ画像へ展開する際に座標補正データを用いて高さ寸法の補正を行っている。この座標補正データを作成するためには、実際に製作したレンズを用いて撮影した画像と被撮影物の寸法とを測定する必要があった。しかし、ＰＡＬレンズの測定対象が周囲３６０度であるなど通常のレンズとは異なる特性をもっているため、そのような測定は困難であった。
【０００６】
また、ＰＡＬレンズで撮影した画像は円形であるため、平面の評価図形を用いると評価図形が曲がって写るため、その画像からレンズのひずみを測定する場合、画像処理により一度平面図形に復元してから、撮影対象物との比較を行う必要があった。更に、ＰＡＬレンズの撮影範囲を一度に評価する場合には、周囲３６０度を撮影対象物で覆う必要があるため、その覆いの中のＰＡＬレンズを交換しようとする場合に、撮影対象物である覆いを取り除く必要があった。このことは速やかなレンズ交換作業の妨げとなる。
【０００７】
また、作成された座標補正データは、ＰＡＬレンズのユーザが撮影画像の補正を行う時に必要となるため、ＰＡＬレンズに添付して配布する必要がある。一般には、座標補正データは、ＰＡＬレンズユーザの利用の便利性を考慮し、フロッピーディスク、ＣＤ−ＲＯＭ、半導体メモリ等の記録媒体に記録されてユーザに配布される。このような方法の場合は、ＰＡＬレンズを出荷した後に座標データの変更を行う場合や、データが紛失した場合などでは、座標補正データを再度記録媒体に書き込んだ物を再配布する必要がある。
【０００８】
【課題を解決するための手段】
本発明の目的は、環状画像のパノラマ画像への展開時の鉛直方向ひずみ補正を行う方法および装置を提供することにある。
【０００９】
本発明の一態様によれば、環状画像のパノラマ画像への展開時の鉛直方向ひずみ補正条件をレンズシュミレータソフトを使用して求め、求められた補正条件に基づいてパノラマ画像への展開時に鉛直ひずみを補正するようにしている。
【００１０】
本発明の他の態様によれば、鉛直方向ひずみ補正条件を専用の治具を用いて求めて、その補正条件に基づいてパノラマ画像への展開時に鉛直ひずみを補正するようにしている。
【００１１】
本発明の更に他の態様によれば、鉛直方向ひずみ補正条件を調整ガイドに適合するように視覚的に調整することによって求め、その補正条件に基づいてパノラマ画像への展開時に鉛直ひずみを補正するようにしている。
【００１２】
【発明の実施の形態】
以下、本発明を図面に基づいて説明する。
【００１３】
図１は本発明に係る全方位撮像システムの概略構成を示すブロック図である。図１において、全方位撮像レンズ（ＰＡＬ）１を用いて等角度間隔に配置されたゼブラパターン２を撮影すると環状画像３を得る。この環状画像は、環状画像入力部４にて環状画像データとして取り込まれ、これを展開処理部５でパノラマ展開画像データに変換し、この展開画像データを展開画像出力部６から表示装置ＤＰで表示する。展開処理部で単にパノラマ画像に展開しただけでは、図１に示すパノラマ展開画像７のように、鉛直方向ひずみをそのまま反映したパノラマ画像として表現される。
【００１４】
環状画像入力部４はＣＣＤ受像素子、ＰＣカメラまたはＮＴＳＣ入力などである。展開処理部５はＣＰＵおよびプログラムの組み合わせからなる。展開画像出力部６はＲＧＢ画像またはＮＴＳＣ方式画像を出力する。補正条件はシステム内のメモリデバイス（ＨＤ、ＦＤ、ＲＡＭ、スマートメディア、コンパクトフラッシュなど）に格納される。ひずみ補正処理部９は補正条件入力部８に入力された補正条件ＣＣに基づいて鉛直方向ひずみの補正処理を行う。なお、補正条件ＣＣは、Ｗｅｂからダウンロードし、専用治具を用いて作成し、またはＰＡＬ映像信号に併送されて得ることができる。
【００１５】
本発明においては、鉛直方向ひずみ補正条件を補正条件入力部８から入力し、これをひずみ処理部９にてひずみ補正データに変換する。展開処理部５は、ひずみ処理部９からのひずみ補正データを用いて、環状画像入力部４からの環状画像データをパノラマ画像に展開する時に鉛直方向ひずみを補正して展開画像出力部６へ出力する。その結果、表示装置ＤＰは鉛直方向ひずみのないパノラマ画像１０を表示することができる。
【００１６】
鉛直方向ひずみの補正処理には次の２つの方式がある。
１．対応テーブルを利用する方式
２．視覚的調整方式
【００１７】
いずれの方式も、環状画像の中心点から放射方向に伸びる直線上の径位置Ｒをパノラマ展開画像上の縦方向の高さ位置Ｙに対応付けるための関係式Ｙ＝Ｆ（Ｒ）を実現させるためのものであり、使用するＰＡＬレンズに対応して新規に補正条件を入力できるようになっている。
【００１８】
図２において、ＰＡＬレンズ１から見て水平線と被写体の位置との成す角度、即ち入光角Ｄと環状画像上の径位置ＲとＴａｎ（Ｄ）との関係を表したテーブルが図３に示されている。ただし、図３中のRの値は正規化された値である。この表からＲ＝f（ｔａｎＤ）の関係が得られる。このようなＲ，Ｄ，Ｔａｎ（Ｄ）の対応を表す対応テーブルを作成する必要がある。対応テーブルの作成にはゼブラパターンが利用される。
【００１９】
また、上記の２方式における補正処理式として、環状画像の径位置Rとパノラマ展開画像上の点Yの関係は、その展開画像の高さをH、レンズの最大仰角をD1、最大俯角をD2とすると、
Ｒ＝ｆ（ｔａｎＤ2−Ｙ／Ｈ（ｔａｎＤ1−ｔａｎＤ2））
で表すことができる。この関係式に基づいて環状画像上の任意画素を展開画像上に配置すれば、鉛直方向ひずみが補正されたパノラマ画像に展開することができる。
【００２０】
上記対応テーブルを作成するのに次の２つの方法がある。
▲１▼ レンズシュミレータソフトを利用する方法
▲２▼ 専用治具による対応表作成方法
【００２１】
先ず、レンズシュミレータソフトを利用する方法について図４を参照して説明する。この方式は、レンズシュミレータソフトに基づいて図４に示すような画面を利用して出力される結果をもとにＲ，Ｄ，Ｔａｎ（Ｄ）の対応表を作成するものである。これらの具体的手順は公知の画像処理技術を利用して達成することができる。
【００２２】
次に専用治具を用いて補正データ表を作成する方法について図5から図15を参照して説明する。
【００２３】
図5はこの実施例における座標補正データ表の作成手順を示すブロック図である。座標補正データ表はレンズの特性によって発生する画像のひずみを修正するために用いるものである。図1において、レンズ固定・撮影部51はＰＡＬレンズを交換しつつ各ＰＡＬレンズについて撮影された映像信号をインターフェイス５2へ送る。インターフェイス５２は受信された画像信号をパソコン５３が処理できる画像データに変換する。パソコン５３は、変換された画像データ（Ａ）と基準座標データ（Ｂ）を画像処理して座標補正データ表（Ｄ）を作成し、モニター５４で確認する。確認された座標補正データ表（Ｄ）とパソコン５３に入力されたレンズのシリアルナンバ情報はＬＡＮを通してデータベース５５に格納される。
【００２４】
データベース５５には、過去に出荷されたＰＡＬレンズの座標補正データ表とシリアルナンバが全て記憶されている。ＰＡＬレンズユーザはＷｅｂサーバ５６へアクセスしてＰＡＬレンズのシリアルナンバを入力すると、ユーザ登録等を利用してシリアルナンバと他の情報（例えばユーザ名）がリンクされれば、Ｗｅｂサーバ５６は入力されたシリアルナンバに応じて座標補正データ表をデータベース５５を検索してインターネット５７を通してＰＡＬレンズユーザへ送信する。Ｗｅｂサーバへのシリアルナンバの入力は、ユーザが直接行ってもよいし、アプリケーションソフトウエアが自動的に行うようにしてもよい。なお、ＰＡＬレンズユーザ以外の者でも、シリアルナンバ等を知っていれれば同様に座標補正データ表を入手することが可能である。
【００２５】
次にレンズ固定・撮影部５１の構成を図６から図８を参照して説明する。ＰＡＬレンズ１２は、レンズ台座１３の上に載せられ、天板２８に取り付けられたレンズ押え１１で上から押えられて台座1３上に固定される。レンズ押え１１は内部のばねによりＰＡＬレンズ１２をレンズ台座１３に押し付けている。この場合、ＰＡＬレンズ１２の上部窪みにレンズ押え１１が収まり、ＰＡＬレンズ表面をレンズ押え１１が滑らないようにすると共にＰＡＬレンズが水平位置に正確に設置されることを確実にしている。
【００２６】
リレーレンズ１４は、ＰＡＬレンズから投影された画像をＣＣＤカメラ１７で撮影可能な最大限のサイズに調整するために用いられる。ＣＣＤカメラ１７は、カメラ固定リング１５によってカメラ昇降板１６に固定されている。カメラ昇降板１６の４隅には稼動シャフト２３が図示しない固定シャフトに通されており、固定シャフトに沿ってカメラ昇降板１６を昇降することができる。撮影時はカメラ昇降板はストッパ台座１９に固定ボルト２１で固定されたストッパ２０によって上方に固定されている。レンズ交換時には、カメラ昇降板１６を図８に示すように落下防止金具２４の位置まで降下させれば、周りを囲む評価図形板３０を取り外すことなく、ベース板１８の下の空間を利用してレンズ交換の作業をすることができる。カメラ昇降板１６が上下する時、レンズ押え１１がその動きに合せて伸び縮みしてレンズ１２をしっかりと押えているため、昇降板１６の移動時の振動でＰＡＬレンズ１２が位置ずれすることを防止している。
【００２７】
ベース板１８の４隅に立てられた支柱６によって天板２８は支えられており、その天板２８にはレンズ押え１１と照明器具２９が取り付けられている。照明器具２９は評価図形板３０を照明し測定に必要な明るさを与えるようにしている。評価図形板３０は円筒形をしている。ベース板１８と天板２８は、リング状の止め金具２５、２７によって、その中心にＰＡＬレンズ１２が位置されるように固定される。
【００２８】
図９（ａ）は、レンズ固定・撮影部５１のＰＡＬレンズ１２と評価図形板３０の位置関係を上方から見た平面図であって、評価図形板３０はＰＡＬレンズ１２を中心とする円周上に設置されている。図９（ｂ）は評価図形板３０の内側側面図である。評価図形板３０の内側には、レンズ中心からの仰角が等角度θに分割され、それらの延長線上に水平線ＰＢＩ−ＰＤ１，ＰＢ２−ＰＤ２，ＰＢ３−ＰＤ３，ＰＢ４−ＰＤ４が描かれる。図１０は円筒形評価図形板３０を平面に展開した図である。水平線の間隔ｈ１、ｈ２、ｈ３はＰＡＬレンズからみる時の仰角を等角度に分割したものに等しくなるように定められている。レンズからの角度を等しくなるようにしさえすれば、水平線の本数を増やしても同様の効果が得られ精度の高い測定が可能である。
【００２９】
ＰＡＬレンズを通して評価図形板３０の内側を撮影すると、位置角度θを維持したまま図１１のように、Ｌ１＝Ｌ２＝Ｌ３となる等間隔の同心円となる。これら円が同心円とならないか、または等間隔にならないときは、レンズにひずみが生じていることを示す。
【００３０】
次に、パソコン５３で実行される座標補正データ表の作成手順について図１２から図１４を参照して説明する。
図１４のステップ６１にて、図１２（ａ）に示すような評価図形板３０の撮影画像データ（Ａ）を取り込む。ステップ６２で、この画像の中心を通る横一本線上を走査して線上の画素データを抽出し、評価図形の存在する座標Ｐｍを検出する。評価図形が描画された個所を走査した時はその画素は黒色であるので、黒色の画素を検出すれば評価図形の存在する個所の画素の座標Ｐｍを検索することができる。図１２（ｂ）は等間隔に配列された基準座標を示すものであり、走査によって検出された測定座標は同図（ｃ）に示される。同図（ａ）および（ｂ）に示される座標標記は、画像の中心を原点（０，０）とし、（２，１）と表した時は、右へ２画素、上へ１画素だけ原点から移動した点を表す。ひずみのない理想のＰＡＬレンズで撮影した評価画像図形は、等間隔の同心円を描くため、図１２（ｂ）の基準座標と一致する間隔Ｎ１，Ｎ２，・・・Ｎ１０となる。しかし、実際のレンズでは、鉛直方向ひずみが存在するので、図１２（ｃ）に示すように検出座標間隔が不均一となる。
【００３１】
ステップ６３にて、基準座標データを読み込む。基準座標データは固定されているので、予め記録されたデータを読み込むだけでよい。そしてステップ６４で、相互に対応する測定座標と基準座標との差を取り、これを補正座標データとして補正データ計算をする。その計算経過と結果が図１２（ｄ）に示されている。
【００３２】
ステップ６５に示す計算式に従って、各円の画像の中心からの距離を同図（ｂ）に示すように計算すると共に、各円の基準座標からのズレを表す移動情報を計算し、ステップ６６にて図１３（ａ）に示す画像補正データ表を作成し、これをモニター５４に表示する。なお、モニター画面は、図１５に示すように、評価図形画像７１、基準座標のマーカー７２および補正データ表７３が同時に表示されるので、作業者は評価図形の撮影状況と現在使用されている基準座標データからの測定座標の位置ズレを、図形とマーカーの重なり具合で確認することができる。また、補正データ表７３の補正値が表示されているため、その数値と先のマーカーとの位置ズレが妥当なものであることを確認することができる。
【００３３】
上記の例では横一本線の走査で説明したが、中心点を通過する直線でれば縦方向でも斜め方向でもよい。
【００３４】
次に、段落番号００１６で述べた視覚的調整方式について説明する。
この実施例の構成は図５に示すシステム構成と同様なものでよい。この実施例では、図１６および図１７（ａ）に示すように、内面に等角度間隔で印刷されたゼブラパターンを有する球状ドーム型の治具７６を準備し、その真中にＰＡＬレンズ１を配置する。この状態でＰＡＬレンズ１を通してゼブラパターンを撮影しパノラマ画像に展開すると、図１７（ｂ）に示すように、横平行線のパターンが得られる。
【００３５】
図１７（ｂ）のパターンをパソコン５３に取り込みモニター５４に調整画面として表示して、前述の関係Ｙ＝ｆ（Ｒ）をグラフ化して図１８（ｃ）に示すように表示する操作を行う。１８図（ａ）に示すように、予め用意されたゼブラパターンに対応する等間隔の調整ガイド７８を横平行線パターンのパノラマ画像に隣接して表示する。次いで、同図（ｃ）のグラフ化された特性曲線を調整して平行線パターンが調整ガイド７８に一致するように、目視によりパノラマ展開画像の鉛直方向ひずみを補正する。
【００３６】
このようにして得られたグラフの特性曲線式Ｙ＝ｆ（Ｒ）をＰＡＬレンズ特有の補正条件としてデータベース５５へ送信し、または、この補正条件をカメラユニットに内蔵された記憶デバイスに保持させる。以降はその補正条件を用いて環状画像のパノラマ画像への展開の際に鉛直方向ひずみを補正処理することができる。
【００３７】
なお、図１８（ｃ）の調整用画面はカメラユニット本体またはリモート接続されたパソコン上に用意してもよい。リモート接続されたパソコン上で操作する場合は、決定された補正条件をカメラユニットへ転送することによって調整作業を終了する。また、規格の異なるＰＡＬレンズを使用する際には、撮影前にこの機能を用いて補正条件を更新することによりひずみのない展開画像を得ることができる。
【００３８】
以上に説明した補正条件８２を示すデータテーブルまたは補正特性式は、図１９に示すように、ＰＡＬレンズベンダーのＷｅｂサイト８１からインターネットを通してダウンロードできるようにし、処理系がパソコン８３（あるいは携帯端末）である場合はそのまま補正条件をＰＡＬ展開システムへ送信し、処理系がメモリデバイス等を備えたカメラユニット８４である場合は補正条件を受信したパソコン８３にカメラユニット８４を接続して補正条件を取り込む。その接続はＵＳＢ、ＲＳ２３２Ｃ、１３９４、スマートメディア等を通して行われる。
【００３９】
【発明の効果】
以上に述べた本発明によれば、鉛直方向ひずみのない自然なイメージのパノラマ画像を得ることができ、また、画角の異なる新規格のＰＡＬレンズへの対応がユーザサイドで容易に行うことができる。
【図面の簡単な説明】
【図１】本発明の原理を従来と対比しつつ説明するための本発明に係るシステムを示すブロック図である。
【図２】本発明の一実施例の説明図である。
【図３】図２に示す実施例の特性を示すテーブルである。
【図４】本発明の他の実施例を示す表示画像例である。
【図５】本発明の更に他の実施例を示すレンズベンダー側のシステム構成を示すブロック図である。
【図６】図６に示すシステムにおいて使用される治具の構成を示す縦断面構成図である。
【図７】図６の治具構成を示す横断面図である。
【図８】図６に示す治具構成の異なる状態を示す縦断面図である。
【図９】図６から図８に示す治具を用いた実施例の原理を説明する図である。
【図１０】図９の原理により撮像されたパノラマ展開画像を示す説明図である。
【図１１】図９の原理により図６から図８に示す治具を用いて撮影された環状画像の説明図である。
【図１２】図１１の画像を走査して補正データを取得する原理の説明図である。
【図１３】図１２の原理に従って得られた座標補正データ表の一例を示す図である。
【図１４】図９から図１２に示す実施例を実行するための手順を示すフローチャートである。
【図１５】図１４に示す手順で得られた結果を表示した画面の一例を示す図である。
【図１６】本発明の更に他の実施例の構成を示す説明図である。
【図１７】図１６の実施例を実行する過程を説明した図である。
【図１８】図１６の実施例の原理を説明するための図である。
【図１９】本発明に係る補正条件を転送するシステム構成を示す図である。
【符号の説明】
１ ＰＡＬレンズ
２ ゼブラパターン
４ 環状画像入力部
５ 展開処理部
６ 展開画像出力部
８ 補正条件入力部
９ ひずみ補正処理部
ＣＣ 補正条件
ＤＰ 表示装置
１１ レンズ押え
１２ ＰＡＬレンズ
１６ カメラ昇降板
１７ ＣＣＤカメラ
３０ 評価図形板
５１ レンズ固定・撮影装置
５３ パソコン
５５ データベース
５６ Ｗｅｂサーバ
７５ ゼブラパターン
７６ 球状ドーム型の治具
７８ 調整ガイド

Claims (10)

1. ＰＡＬレンズを備えた全方位撮像装置により所定間隔に配置された複数個の水平線からなるゼブラパターンを撮影するステップと、
   撮影された前記ゼブラパターンの環状画像の中心を通る直線で走査することにより該ゼブラパターンの存在する画素位置を求め、求めた各座標に基づいて前記ＰＡＬレンズの鉛直方向ひずみを補正する補正条件を求めるステップと、
   を備えた、環状画像のパノラマ画像への展開時の鉛直方向ひずみ補正方法。
2. 前記撮影ステップは、円筒状の評価図形板の内面上であって前記ＰＡＬレンズの垂直方向の視界角を等角度に分割した線の延長上に形成された前記複数個の水平線からなるゼブラパターンを撮影する、請求項１に記載の方法。
3. 前記撮影ステップは、球状ドームの内面上であって前記ＰＡＬレンズから見て仰角を等角度に分割した線の延長上に形成された前記複数個この水平線からなるゼブラパターンを撮影する、請求項１に記載の方法。
4. ＰＡＬレンズを備えた全方位撮像装置と、
   該全方位撮像装置を中心にして該全方位撮像装置を包囲して配置され、所定間隔に配置された複数個の水平線からなるゼブラパターンと、
   前記全方位撮像装置で撮影された前記ゼブラパターンの環状画像の中心を通る直線で走査することにより該ゼブラパターンの存在する画素位置を求め、求めた各座標に基づいて前記ＰＡＬレンズの鉛直方向ひずみを補正する補正条件を求める手段と、
   を備えた、環状画像のパノラマ画像への展開時の鉛直方向ひずみ補正装置。
5. 前記補正条件を求める手段は、レンズシミュレータソフトを使用してシミュレーション画面を表示する手段と、画像を見ながら目視で補正条件を入力する手段と、を備えた、請求項４に記載の装置。
6. 前記補正条件を求める手段は、前記ゼブラパターンのパノラマ画像に隣接して等間隔のゼブラパターンからなる調整ガイドを表示する手段と、画像を見ながら目視で前記ゼブラパターンの環境画像の径上の位置Ｒと前記ゼブラパターンのパノラマ画像の高さ位置Ｈとの関係式を求める手段と、を備えた請求項４に記載の装置。
7. 請求項１−３のいずれか１項に記載の前記補正条件を用いて、該補正条件に対応するＰＡＬレンズを用いた全方位撮像装置で撮像した環状画像のパノラマ画像への展開の際に鉛直方向ひずみを補正する方法。
8. 請求項４−６のいずれか１項に記載の前記補正条件を用いて、該補正条件に対応するＰＡＬレンズを備えた全方位撮像装置で撮像した環状画像のパノラマ画像への展開の際に鉛直方向ひずみを補正する手段を有する、環状画像のパノラマ画像への展開時の鉛直方向ひずみ補正装置。
9. 請求項１−３のいずれか１項に記載の前記補正条件をデータベースに保持し、Ｗｅｂサーバを通して前記ＰＡＬレンズのユーザの要求に応じて前記補正条件を配信する、環状画像のパノラマ画像への展開時の鉛直方向ひずみの補正条件の配信方法。
10. 請求項１−６のいずれか１項に記載の前記補正条件を保持するメモリと、該補正条件に基づいて前記鉛直方向ひずみを補正する手段と、を備えたカメラユニット。

Images