JP3745302B2 - 全方位撮像による環状画像の基準位置検出方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、全方位撮像レンズ（PAL）を用いて全方位撮影することにより得られた環状画像をパノラマ画像に変換する際に必要な基準位置を検出する方法および装置に係るものである。
【０００２】
【発明が解決しようとする課題】
全方位撮像レンズを用いて撮影された画像は図１に示すように環状画像となる。この環状画像をＭＰＵを用いて図２に示すようにパノラマ展開画像に変換する。この画像変換の際に、図１に示すように、中心座標位置と内円および外円の位置からなる画像変換のための基準位置が環状画像に適合しておれば、ＭＰＵは図２に示すように適正なパノラマ展開画像を得るように変換することができるが、図３に示すように基準位置が不適合な状態にあれば、パノラマ展開画像は図４に示すように湾曲したひずみ画像となってしまう。
【０００３】
従来では、このようなパノラマ展開画像の湾曲ひずみを解消するために、全方位撮像光学系並びに撮像素子の機械的取り付け位置の精度を上げるべく機械的取り付けの調整を行ったり、あるいは、環状画像をディスプレイに表示して目視で展開領域の基準位置を決定していた。
【０００４】
本発明の目的は、上記に鑑みなされたもので、撮像光学系並びに撮像素子の取り付け後の調整作業をソフトウエア技術を用いて吸収し機械的ハードウエア調整を不要にした、全方位撮像による環状画像の基準位置検出方法および装置を提供することにある。
【０００５】
本発明の他の目的は、環状画像をパノラマ展開画像に変換する際の環状画像における基準位置を自動的に検出し決定するようにした、全方位撮像による環状画像の基準位置検出方法および装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明の一態様によれば、全方位撮像装置により撮影された環状画像を直接に用いて、または、２値化処理を施してパノラマ画像への展開領域を明確化した環状画像を用いて、ｘ軸またはｙ軸方向に環状画像を横断するように走査してヒストグラムを作成し、このヒストグラムに基づいて環状画像のパノラマ画像への展開領域を表す中心座標、内円半径および外円半径からなる基準位置を求めるようにした、全方位撮像による環状画像の基準位置検出方法および装置を提供する。
【０００７】
【発明の実施の形態】
図５は、本発明に係る全方位撮像による環状画像の基準位置検出装置を含む全体構成を示すブロック図である。
【０００８】
図５において、全方位撮像レンズ１によって周囲３６０度の全方位にある被写体からの光線を受光し、撮像素子２に被写体像を映し出す。撮像素子２はその被写体像を電気信号に変換してデジタル画像データとしてＭＰＵ３へ転送する。ＭＰＵ３は、そのデジタル画像データを図１に示すような環状画像としてメモリに保持し、かつ、図２に示すようなパノラマ展開画像に変換する。そして、このパノラマ画像はディスプレイ４によって表示される。
【０００９】
図１の環状画像を図２のパノラマ展開画像に変換する際に、図に付加されている環状画像の中心座標位置、内円位置および外円位置からなる基準位置を正しく設定することが重要である。この基準位置は中心座標、内円半径および外円半径からなるものである。
【００１０】
全方位撮像レンズ１と撮像素子２を備えた全方位撮像装置によって撮影された図６に示すような環状画像はＭＰＵ３にデジタル画像として保持される。このデジタル画像はＭＰＵ３において２値化処理が施される。
【００１１】
２値化処理とは、或るしきい値を境として、各画素における濃度レベルがそのしきい値よりも大きいか小さいかによって図形部分（黒）と背景部分（白）に２値化された画像に変換することである。図６に示す環状画像を２値化処理、即ち、黒に近い部分とそうでない部分とに２値化するには、しきい値をＲＧＢ（２５５＊０．０５、２５５＊０．０５、２５５＊０．０５）と設定する。このことは、或る画素の濃度値が、Ｒ＜２５５＊０．０５、Ｇ＜２５５＊０．０５およびＢ＜２５５＊０．０５の時に図形部分（黒）とし、それ以外は背景部分（白）として処理されることを意味する。このようにして図６に示す環状画像が２値化処理されると、図７に示すような２値化処理画像を得ることができる。
【００１２】
図７に示す２値化画像には、環状画像中の暗い部分または中央の暗い部分中の明るい部分はノイズとして現れている。環状画像の内円と外円の位置を明確にするためには、図８に示すように、これらノイズを消去して環状画像部分のみを白にする必要がある。そこで、これらノイズを消去するノイズ除去処理を以下に説明する。
【００１３】
ノイズ除去処理には、１画素の濃度値を隣接画素へ拡大するものと、隣接画素の濃度値を１画素に縮小するものがある。
【００１４】
先ず、拡大処理について説明する。拡大とは図形成分（黒）の画素に隣接する画素を黒に置き換えて図形部分を一回り大きくする操作のことであり、例えば図９において、同図（ａ）に示す或る画素５を隣接する４つの画素へ４近傍で拡大すると同図（ｂ）のようになり、また、画素５を隣接する８個の画素へ８近傍で拡大すると同図（ｃ）のようになる。このような処理を画像の左上から右下まで全画素について実行する。
【００１５】
次に、縮小処理について説明する。縮小とは図形成分（黒）に隣接する画素を背景成分（白）に置き換えて図形成分を一回り小さくすることであり、例えば、図１０（ａ）に示す画像を４近傍で縮小すると同図（ｂ）のようになり、また、８近傍で縮小すると同図（ｃ）のように消去されてしまう。また、図１１（ａ）に示す画像は４近傍で縮小しても８近傍で縮小しても同図（ｂ）、（ｃ）のようになり同一の画像となる。このような処理を画像の左上から右下まで全画素について実行する。
【００１６】
例えば、図１２（ａ）の画像を４近傍で縮小すると（ｂ）のようになり、更にこれを４近傍で拡大すると（ｃ）のようになる。その結果、（ａ）の左上に存在した黒のノイズが（ｃ）では消去されていることが理解できる。また、図１３（ａ）のような画像を４近傍で拡大すると（ｂ）のようになり、これを更に４近傍で縮小すると（ｃ）のようになる。その結果、（ａ）の中央に存在した白のノイズが（ｃ）では消去されていることが理解できる。
【００１７】
従って、黒のノイズを消去するためには、黒部分をｎ回縮小した後それをｎ回拡大する処理を行う。また、白のノイズを消去するためには、黒部分をｎ回拡大した後それをｎ回縮小する処理を行う。この場合、ｎは消去するノイズの大きさを決めるしきい値であり、１辺が１０画素以下の領域に渡るノイズを除去する場合はしきい値をｎ＝１０とする。このようにして拡大と縮小の操作を行うことにより白または黒のノイズを除去することができる。即ち、ノイズ除去処理は、拡大処理をｎ回繰り返した後に縮小を同じ回数だけ繰り返し、その後、更に縮小を同回数繰り返した後に今度は拡大を同回数繰り返す操作を行う。こうすることにより、図７に示されるような図形成分中および背景成分中に存在する微細なノイズ部分は図８に示すように除去される。
【００１８】
以上のような画像処理を施すことにより図８に示すような２値化画像を得ることができ、この２値化画像は後述のヒストグラム分析処理により環状画像のパノラマ画像への展開領域を示す基準位置を求めるのに用いられる。
【００１９】
以下に、２値化画像を得るための更に他の実施例について説明する。
【００２０】
図５の全方位撮像レンズ１は、図１４に示すように、入射光１０は入射ガラス面１１から入射し、反射面１２で反射し更に上面の反射面で反射して結像光学系へ導かれる。反射面１２にはミラーコーティング６が施されている。このミラーコーティング６は、全方位撮像レンズ１を側面から見ると図１５（ａ）に示すように帯状に、また下から見ると図１５（ｂ）のように環状に施されている。
【００２１】
全方位撮像レンズ１の表面には、図１５に示すように、ミラーコーティング６部に隣接し、撮像領域と非撮像領域の境界に対応する位置に沿って内側環状基準線７と外側環状基準線８を印刷する。内側と外側の環状基準線７、８は、ミラーコーティング６の直ぐ外側に位置されるようにしてもよい。また、環状基準線７、８はミラーコーティング部に替えて入射ガラス面に印刷されるようにしてもよい。
【００２２】
環状基準線の色は、一般的な風景では比較的存在しにくい色、例えば純度の高い赤色などを用いるのが好ましいが、本システムが使用される環境に合わせて他の色、例えば純度の高い青色などを用いてもよい。即ち、環状基準線の色は、後述する２値化処理の際の環状基準線とそれ以外の画像とを識別して環状基準線のみを残すことができるしきい値を与えることができるように選択される。
【００２３】
環状基準線の太さは画像処理が可能な画素数を確保できればよく、画像処理のし易さの点から約０．５ｍｍの太さが好ましい。なお、環状基準線７、８はマスク法により印刷することができる。
【００２４】
以上に説明したような環状基準線７、８が施された全方位撮像レンズ１を用いて風景を撮影すると、図１６に示すように環状画像中に２つの環状基準線が環状画像の内円および外円の直ぐ外側に写し込まれる。この環状画像から環状基準線のみを抽出する画像処理手順を以下に説明する。
【００２５】
図１７において、ステップＳ１で撮影された図１６に示す環状画像は、各画素について色と濃度を表すディジタルデータとしてＭＰＵ３内に保持されている。次にステップＳ２において、図１６の原画像はＭＰＵ内に保持されているプログラムにしたがって２値化処理が行われる。この２値化処理は、各画素の濃度レベルをしきい値を境として２値化するもので、しきい値以上の濃度を持った画素を黒とし、しきい値未満の濃度の画素を白とする処理をおこなう。環状基準線の色を赤色にした場合は、２値化処理においては、純度９０％の赤色以上を赤色とみなすようにしきい値を選ぶと、画素のしきい値はＲＧＢ（２５５＊０．９０、２５５＊０．１０、２５５＊０．１０）とすることができる。また、マークの色に青色を選択したときは、２値化処理においては純度９０％以上の青色を青色とみなすように、画素のしきい値をＲＧＢ（２５５＊０.１０、２５５＊０．１０、２５５＊０．９０）とすればよい。このように、環状基準線の色を変えたときは２値化しきい値もその色に合わせて変更することが必要である。
【００２６】
２値化しきい値ＲＧＢ（２５５＊０．９０、２５５＊０．１０、２５５＊０．１０）は、具体的には、ある画素の濃度成分が赤Ｒ？２５５＊０．９０、緑Ｇ<２５５＊０．１０、青Ｂ<２５５＊０．１０である時はその画素は図形部分（黒）として処理され、それ以外の部分は背景部分（白）として処理される。このようにして図８の環状画像を２値化処理すると図１８に示すように内円環状基準線と外円環状基準線のみが画像化された２値化画像を得ることができる。この２値化画像を用いて後述する環状画像のパノラマ画像への展開領域を表す基準位置をヒストグラム分析処理によって求める。
【００２７】
次に、全方位撮像装置によって２値化画像を直接に写し込む方法および装置について説明する。
【００２８】
全方位撮像装置１４を、図１９（ａ）に示すように、白色で半透明の筒状ケース１５の内側に位置し、この状態で全方位撮像装置１４にて撮影すると、周囲３６０度の被写体が白色になるので、図８に示すように、写し込まれるべき有効画像領域と無効画像領域が明確に区別された２値化画像を得ることができる。
【００２９】
筒状ケース１５は、図１９（ｂ）に示すように蓋１６を付けてもよいし、同図（ｃ）に示すように環状の照明体１７で半透明の筒状ケースを包囲しケースの外側から照らして環状画像のコントラストを上げるようにすれば、図８に示す２値化画像はより鮮明になる。また、同図（ｄ）に示すように蓋１６に照明体１８を取り付けて、周囲が明るくなくても図８に示すような２値化画像を得ることができるようにすることもできる。
【００３０】
筒状ケース１５は、半透明のアクリル等の材料で形成してもよいし、乱反射する材質の半透明部材を用いてもよい。ケース１５は、全方位撮像装置１４の周囲を包囲することができるものであれば必ずしもケース状の物でなくてもよい。また、ケース１５は筒状ではなくて長方形状の物でもよく、また多角形の物でもよい。
【００３１】
以上のようにして撮影された図８に示す２値化画像に基づいて環状画像のパノラマ画像への展開領域を示す基準位置を後述のヒストグラム分析処理によって求めることができる。
【００３２】
以下にヒストグラム分析処理について説明する。図２０に示すように、図８および図１８に示すような２値化画像の中心を通る直線２０上を走査してその直線上の画素値が黒レベルを１とし白レベルを０としてヒストグラムを描くと図２１のようになる。このヒストグラムから環状画像のパノラマ画像への展開領域の内円と外円を求めることができるのであるが、その前提として２値化画像の中心を通る直線を見つけ出すことが必要である。なお、２値化画像を横切る走査はｘ軸方向でもｙ軸方向でもよいし、可能であれば任意の方向を選択することができるが、本実施例ではｘ軸方向の走査を採用する。
【００３３】
図２０において、Ｍはｘ軸方向の画像の画素数、Ｎはｙ軸方向の画像の画素数、直線２１はｙ座標がｍの位置を走査中であることを示す。従って、ｙ＝ｍの位置をｚ軸に沿ってｘ＝０からｘ＝Ｍ−１までの各画素を順番に走査する。この走査中で図形成分（黒）の画素は１をそうでない画素は０としてヒストグラムが形成される。
【００３４】
作成されたヒストグラムは図２１のような形になる。同図中で、Ｏ１は左側の外円位置、Ｏ２は右側の外円位置、Ｉ１は左側の内円位置、Ｉ２は右側の内円位置、そしてＣは中心位置である。
【００３５】
図２２に基づいてヒストグラム分析処理の手順を説明する。先ず、ステップ３０において図２０における走査線２１をｙ＝０とし、ステップ３１でヒストグラムを作成する。ステップ３２でヒストグラムをｘ＝０からｘ＝M−１までサーチし、値が１から０に変化する点（黒から白に変化する点）を探す。そのような変化点がなければステップ３２で外円はないと判断し、ステップ３３でｘの値に１を加算してステップ３１へ戻る。かくして、ステップ３２で外円を検知したときはステップ３４において、ヒストグラムにおいてｘの値を０から増加していく時に最初に画素値が１から０に変化する点O１を外円の左側の位置とし、次いでヒストグラムをｘ＝M−１から減少していく時に最初に画素値が１から０に変化する点O２を外円の右側位置として、O1とO２間の外円の間隔（O２−O１）を計算すると共に、中心位置（O１＋O２）？２を計算する。
【００３６】
次に、ステップ３５において、ｙが最上端のN−１に達したか否かを判断する。ここで、N−１に達していなければステップ３３へ進み前述と同様な操作を繰り返すが、ステップ３５でｙ＝N−１と判断された時はステップ３６へ進み、外円の間隔が最大であるｙの値Cｙを選定する。更に、ステップ３７において、ｙ＝Cｙにおけるヒストグラムの中心位置Cから環状画像の中心座標（C，Cｙ）を決定すると共に、外円の半径（O２−O１）？２を計算する。次いで，ステップ３８において、ｙ＝Cｙのヒストグラムにおける中心点Cからｘを減少させていくときに画素値が１から０へ変化する点I１と、中心点Cからｘを増加させるとき画素値が１から０へ変化する点Ｉ２を検知し、内円の半径（Ｉ２−Ｉ１）？２を計算し、このフローを終了する。
【００３７】
なお、２値化画像が図１８に示すような画像である時は、ステップ３４での外円の検出は画素値が一旦０から１へ変化した後再び１から０へ変化する点を外円として検知すればよい。ステップ３６においても同様にして内円を検知する。
以上のようにしてヒストグラム分析処理により環状画像の中心座標，内円半径および外円半径を求めることができる。
【００３８】
環状画像の基準位置を求めるためのヒストグラム分析処理の更に他の実施例について図２３および図２４に基づいて説明する。この実施例では、環状画像の中心座標は、全方位撮像レンズ等の取り付け誤差により多少は画像の中心位置からずれるが、画像の中心位置付近に存在することには間違いないので、この特性を利用して基準位置を求めるものである。
【００３９】
図２３および図２４において、ステップ４０では、ｙ軸の中心位置ｙ＝Ｎ？２においてヒストグラムを形成し、ステップ４１で、外円の左右２点Ｏｙ１とＯｙ２および内円の左右２点Ｉｙ１とＩｙ２を求めると共に、それらの点の中心点ＣＣｙを計算する。次に，ステップ４２において、ｘ＝Ｍ？２においてｙ軸に沿ったラインを走査してヒストグラムを形成する。ステップ４３において、そのヒストグラムの外円の上下点Ｏｘ２とＯｘ１と内円の上下点Ｉｘ２とＩｘ１とをもとめると共に、それらの点の中心点ＣＣｘを計算し、環状画像の中心座標（ＣＣｙ，ＣＣｘ）を決定する。
【００４０】
次にステップ４４において、環状画像の中心座標CC（ＣＣｙ，ＣＣｘ）から内円上の点Ｉｙ１、Ｉｙ２、Ｉｘ１およびＩｘ２までの４つの距離の和を４で割算して内円の半径を計算する。また，ステップ４５において、環状画像の中心座標（ＣＣｙ，ＣＣｘ）から外円上の点Ｏｙ１、Ｏｙ２、Ｏｘ１およびＯｘ２までの４つの距離の和を４で割算して外円の半径を計算する。
以上のようにして環状画像の基準位置である中心座標、内円半径および外円半径を求めることができる。
【００４１】
図２５は以上に説明した本発明の全体的総合的手順を説明するフローチャートである。
【００４２】
図２５において、先ずスタート１の手順を説明する。ステップ５０において通常の環状画像を撮影し，この画像をステップ５１で２値化画像に変換し、ステップ５２で拡大処理と縮小処理を行ってノイズ除去処理を実行した後、ステップ５３でヒストグラム分析をしてステップ５４で環状画像の中心座標，内円半径および外円半径を計算する。
【００４３】
次に、スタート２の手順は、全方位撮像レンズに環状基準線を印刷した撮像装置を用いる場合であって、ステップ５５で環状基準線を写し込んだ環状画像を撮影し，ステップ５６でこの画像を２値化処理して２値化画像を得た後ステップ５３、５４において前述と同様な手順で基準位置を求める。
【００４４】
スタート３の手順は、内壁が白色のケース内で撮影する場合であって、その撮影画像は直接２値化画像として取得されるのでステップ５７から直接ステップ５３へ進み前述と同様な手順で基準位置が求められる。
【００４５】
なお、以上のようにして決定された環状画像の基準位置により指定された領域、即ち環状画像のパノラマ画像への展開領域のみの画像データを他の装置へ転送するようにすれば、環状画像の転送速度を向上することができる。
【００４６】
【発明の効果】
本発明によれば、環状画像の中心座標位置、内円の半径および外円の半径をソフトウエア技術を用いて自動的に計算して求めることができるので、機械的調整は不要となるばかりでなく、環状画像の展開領域を目視により決定する操作が不要となる。
【図面の簡単な説明】
【図１】全方位撮像レンズで撮影された環状画像の正常な展開領域を示した図である。
【図２】図１の環状画像を矩形に変換したパノラマ展開画像を示す図である。
【図３】不適当な展開領域を指定した状態を示す環状画像を示す図である。
【図４】図３のように不適当な展開領域を指定した結果得られたパノラマ展開画像を示す図である。
【図５】本発明の概略構成を示すブロック図である。
【図６】通常に撮影された環状画像の一例を示す図である。
【図７】図６に示す環状画像を２値化処理した２値化画像である。
【図８】図７の２値化画像にノイズ除去処理を施した後の２値化画像である。
【図９】ノイズ除去のための拡大処理の説明図である。
【図１０】ノイズ除去のための縮小処理の説明図である。
【図１１】縮小処理の他の例を説明した図である。
【図１２】縮小処理によりノイズが除去される様子を示した説明図である。
【図１３】拡大処理によりノイズが除去される様子を示す説明図である。
【図１４】本発明に係る全方位撮像レンズの光学系を説明する図である。
【図１５】本発明に係る環状基準線を全方位撮像レンズに印刷した状態を示す図である。
【図１６】図１５に示す全方位撮像レンズを用いて撮像した場合の環状画像を示す図である。
【図１７】本発明を実施する場合の手順の１部を示すフローチャートである。
【図１８】図１６に示す環状画像に２値化処理を施した結果得られた画像を示す図である。
【図１９】本発明の他の実施例を示す説明図である。
【図２０】本発明による走査の様子を示す図である。
【図２１】図２０に説明した走査により得られたヒストグラムを示す図である。
【図２２】ヒストグラム分析の手順を示すフローチャートである。
【図２３】ヒストグラム分析の他の手順を示すフローチャートである。
【図２４】図２３の走査手順を説明するための図である。
【図２５】本発明の全体的な手順を示すフローチャートである。
【符号の説明】
１ 全方位撮像レンズ
２ 撮像素子
３ ＭＰＵ
４ ディスプレイ
６ ミラーコーティング
７，８ 環状基準線
１４ 全方位撮像装置
１５ 筒状ケース
１７，１８ 照明体

Claims (5)

1. 内壁面が一色のケース内に全方位撮像装置を配置し、当該全方位撮像装置により撮像領域と非撮像領域の境界を明確に区分けした二値化環状画像を得るステップと、
   情報処理手段により、前記二値化環状画像の前記境界に基づいて、前記環状画像をパノラマ画像へ展開する際の二値化環状画像の展開領域を指定する基準位置を求めるステップと
   を有する全方位撮像による環状画像の基準位置検出方法。
2. 請求項１に記載の全方位撮像による環状画像の基準位置検出方法において、前記ケースは半透明の材料により形成されていることを特徴とする全方位撮像による環状画像の基準位置検出方法。
3. 請求項２に記載の全方位撮像による環状画像の基準位置検出方法において、前記ケースの外周を環状の発光体で照射するステップを有することを特徴とする全方位撮像による環状画像の基準位置検出方法。
4. 請求項１に記載の全方位撮像による環状画像の基準位置検出方法において、前記ケースは蓋体を有し、当該蓋体の内側には照明体が取り付けられていることを特徴とする全方位撮像による環状画像の基準位置検出方法。
5. 内壁面が一色のケース内に全方位撮像装置を配置し、当該全方位撮像装置により撮像領域と非撮像領域の境界を明確に区分けした二値化環状画像を得る二値化画像形成装置と、
   前記二値化環状画像の前記境界に基づいて前記環状画像をパノラマ画像へ展開する際の二値化環状画像の展開領域を指定する基準位置を求める情報処理手段と
   を備える全方位撮像による環状画像の基準位置検出装置。

Images