JP4964830B2 - 全方位撮像装置及び全方位画像の撮像制御方法 - Google Patents

Description

本発明は３６０°の視野を有する全方位画像を撮影する全方位撮像装置及び全方位画像の撮像制御方法に係り、特に撮影した全方位画像のフレア補正を行う全方位撮像装置及び全方位画像の撮像制御方法に関する。

従来から、広範囲を撮影する装置として、双曲面ミラーや円錐形ミラー等の全方位ミラーを用いて３６０°の視野範囲を撮影する全方位撮像装置が知られている。

特許文献１には、曲面ミラーの支持手段として透明指示手段を用いると共に、その内面反射の影響を完全に取り除く手段を備えた全方位撮像装置が記載されている。特許文献１に記載の全方位撮像装置によれば、反対方向からの一次の内面反射の影響を取り除けるばかりではなく、一度鏡面で反射してから内面反射する光の影響も受けない全方位撮像装置を実現することが可能となる。
特開２００６−２３５５０９号公報

太陽光等の極めて明るい光がレンズに入射すると、レンズに入射した光がレンズ鏡筒内で乱反射し、輝度信号の黒レベルの浮き上がり、即ちフレアが発生することが知られている。フレアが発生すると、撮影された画像は、いわゆる黒に締まりのない画像となる。一方、上記のような全方位撮像装置は広範囲を撮影することから、太陽光のような明るい光が全方位ミラーに入射する可能性が高い。全方位ミラーに明るい光が入射すると、この光は全方位ミラーで反射されて撮像レンズに入射するため、撮影される画像はフレアが発生しやすいという問題点があった。

本発明はこのような事情に鑑みてなされたもので、撮影した全方位画像のフレア補正を行う全方位撮像装置及び全方位画像の撮像制御方法を提供することを目的とする。

前記目的を達成するために請求項１に記載の全方位撮像装置は、周囲からの入射光を反射光として出力する全方位ミラーと、撮像レンズを介して入射した前記全方位ミラーからの反射光を撮像素子により光電変換し、全方位画像を生成する手段と、前記全方位画像の前記全方位ミラーからの光入射の無い中心領域の信号レベルを取得する手段と、前記中心領域の信号レベルに基づいて前記全方位画像のフレア補正値を算出する算出手段と、前記算出したフレア補正値に基づいて前記全方位画像のフレア補正を行う手段とを備えたことを特徴とする。

請求項１の全方位撮像装置によれば、全方位画像の中心部の撮影無効領域の信号レベルを取得し、撮影無効領域の信号レベルに基づいて前記撮影画像のフレア補正値を算出し、算出したフレア補正値に基づいて全方位画像のフレア補正を行うようにしたので、フレアのない全方位画像を撮影することができる。

請求項２に示すように請求項１に記載の全方位撮像装置において、前記撮像素子のオプティカルブラック領域の黒レベルを取得する手段を備え、前記算出手段は、前記中心領域の信号レベルが前記オプティカルブラック領域の黒レベルより輝度が高い場合に、前記中心領域の信号レベルと前記オプティカルブラック領域の黒レベルの差をフレア補正値として算出することを特徴とする。

これにより、適切なフレア補正値を算出することができる。

請求項３に示すように請求項２に記載の全方位撮像装置において、前記撮像素子のオプティカルブラック領域の黒レベルは、オプティカルブラック領域の垂直転送路毎の積算値のうち、最も輝度が高い積算値を持つ垂直転送路の黒レベルであることを特徴とする。

これにより、適切なフレア補正値を算出することができる。

前記目的を達成するために請求項４に記載の全方位画像の撮像制御方法は、周囲からの入射光を反射光として出力する全方位ミラーからの反射光を撮像レンズを介して撮像素子に入射させ、前記撮像素子により光電変換して全方位画像を生成する工程と、前記全方位画像の前記全方位ミラーからの光入射の無い中心領域の信号レベルを取得する工程と、前記中心領域の信号レベルに基づいて前記全方位画像のフレア補正値を算出する工程と、前記算出したフレア補正値に基づいて前記全方位画像のフレア補正を行う工程とを備えたことを特徴とする。

これにより、フレアのない全方位画像を撮影することができる。

本発明によれば、撮影画像の中心部の撮影無効領域の信号レベルを取得し、撮影無効領域の黒レベルに基づいて前記撮影画像のフレア補正値を算出し、算出したフレア補正値に基づいて前記撮影画像のフレア補正を行うようにしたので、フレアのない全方位画像を撮影することができる。

以下に、本発明を実施するための最良の形態について説明する。

図１は、本発明に係る全方位撮像装置１の外観図である。

同図に示すように、全方位撮像装置１は、デジタルカメラ２、全方位ミラー３、及び透明筒体４から構成される。

全方位ミラー３は、３６０°の視野範囲を映すための双曲面ミラーである。透明筒体４は、透明な素材で構成され、全方位ミラー３を支持している。デジタルカメラ２は、デジタルカメラ２の撮影レンズの光軸の延長線と全方位ミラー３の中心軸とが同軸となるように配置され、透明筒体４に支持されている。このように構成された全方位撮像装置１は、デジタルカメラ２が全方位ミラー３を撮影することにより、３６０°の視野を有する全方位画像を取得することができる。

図２は、デジタルカメラ２の電気的構成を示すブロック図である。

同図に示すように、デジタルカメラ２は、光学ユニット１１、モータ駆動部１２、ＣＣＤ１３、ＣＣＤドライバ１４、アナログ信号処理部１５、Ａ／Ｄ変換器１６、デジタル信号処理部１７、バス１８、フラッシュ１９、充電部２０、ＣＰＵ２１、メモリカード２２、外部メモリインターフェース２３、ＬＣＤインターフェース２４、ＬＣＤ２５、メモリインターフェース２６、ＲＡＭ２７、ＲＯＭ２８、圧縮伸張処理回路２９、中心抽出部３０、黒レベル取得部３１、及びフレア補正値算出部３２等を備えて構成される。

各部はＣＰＵ２１に制御されて動作し、ＣＰＵ２１は、図示しない操作部からの入力に基づき所定の制御プログラムを実行することにより、デジタルカメラ２の各部を制御する。

ＲＯＭ２８にはＣＰＵ２１が実行する制御プログラムのほか、制御に必要な各種データ等が記録されている。ＣＰＵ２１は、このＲＯＭ２８に記録された制御プログラムをＲＡＭ２７に読み出し、逐次実行することにより、デジタルカメラ２の各部を制御する。

なお、このＲＡＭ２７は、プログラムの実行処理領域として利用されるほか、画像データ等の一時記憶領域、各種作業領域として利用される。

光学ユニット１１は、図示しないフォーカスレンズ及びズームレンズを含む撮影レンズと、絞りとから構成される。モータ駆動部１２は、フォーカスレンズ、ズームレンズ及び絞りを移動させるためのモータ及び上記レンズの位置を検出するためのセンサ等を備える。ＣＰＵ２１は、モータ駆動部１２に制御信号を出力して、撮影レンズのフォーカシング、ズーミング及び絞りの制御を行う。

ＣＣＤ１３は撮像素子であり、光学ユニット１１の後段に配置されている。図３は、ＣＣＤ１３の撮像面の概略を示す図である。同図に示すように、ＣＣＤ１３の撮像面は多数の受光素子がマトリクス状に配列されており、被写体光を受光する有効画素領域４１と、その周囲の光学的に遮光された領域、すなわちＯＢ（オプティカルブラック）領域４２とに分割されている。ＯＢ領域４２の受光素子は、遮光部材で覆われて光が遮られている。ＣＣＤ１３の有効画素領域４１は、光学ユニット１１を透過した被写体光を受光し、受光した被写体光を各受光素子によって電気信号に変換する。

このＣＣＤ１３は、ＣＣＤドライバ１４を介して供給される垂直転送クロック及び水平転送クロックに同期して、各画素に蓄積された電荷を１ラインずつシリアルな画像信号として出力する。ＣＰＵ２１は、ＣＣＤドライバ１４を介してＣＣＤ１３の駆動を制御する。

また、画像信号の出力は、デジタルカメラ２が撮影モードにセットされると開始される。すなわち、デジタルカメラ２が撮影モードにセットされると、ＬＣＤ２５にスルー画像を表示するため、画像信号の出力が開始される。このスルー画像用の画像信号の出力は、本撮影の指示が行われると、一旦停止され、本撮影が終了すると、再度開始される。

ＣＣＤ１３から出力される画像信号は、アナログ信号であり、このアナログの画像信号は、アナログ信号処理部１５に取り込まれる。

アナログ信号処理部１５は、図示しない相関二重サンプリング回路（ＣＤＳ）、及び自動ゲインコントロール回路（ＡＧＣ）を含んで構成される。ＣＤＳは、画像信号に含まれるノイズの除去を行い、ＡＧＣは、ノイズ除去された画像信号を所定のゲインで増幅する。このアナログ信号処理部１５で所要の信号処理が施されたアナログの画像信号は、Ａ／Ｄ変換器１６に取り込まれる。

Ａ／Ｄ変換器１６は、取り込んだアナログの画像信号を所定ビットの階調幅を持ったデジタルの画像信号に変換する。この画像信号は、いわゆるＲＡＷデータであり、画素ごとＲ、Ｇ、Ｂの濃度を示す階調値を有している。

デジタル信号処理部１７は、図示しないホワイトバランスゲイン算出回路、ゲイン補正回路、階調補正回路、ＲＧＢ補間演算回路、及びＲＧＢ／ＹＣ変換回路等から構成される。

ホワイトバランスゲイン算出回路は、ホワイトバランス調整用のゲイン値を算出する。ゲイン補正回路は、ホワイトバランスゲイン算出回路で算出されたゲイン値を用いてホワイトバランス調整を行う。階調補正回路は、ホワイトバランス調整された画像信号に、所定の階調変換処理（いわゆるガンマ補正）を施す。

ＲＧＢ補間演算回路は、階調変換処理されたＲ、Ｇ、Ｂの色信号を補間演算して、各画素位置におけるＲ、Ｇ、Ｂ３色の信号を求める。例えば、Ｒを出力する画素では、この画素位置におけるＧ、Ｂの色信号がどの程度になるかを周りの画素のＧ、Ｂ信号から補間演算により求める。ＲＧＢ／ＹＣ変換回路は、ＲＧＢ補間演算後のＲ、Ｇ、Ｂ信号から輝度信号Ｙと色差信号Ｃｒ、Ｃｂを生成する。

このように、デジタル信号処理部１７は、Ｒ、Ｇ、Ｂの各色の画像信号に対して所定の信号処理を施し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）を生成する。

バス１２９には、上記ＣＰＵ２１、メモリ１３２、画像入力コントローラ１２４のほか、画像信号処理回路１２５、圧縮処理回路１２６、ビデオエンコーダ１２７、メディアコントローラ１３０、ＡＦ検出回路１３３、ＡＥ検出回路１３４等が接続されており、これらはバス１２９を介して互いに情報を送受信できるようにされている。

圧縮伸張処理回路２９は、ＣＰＵ２１からの圧縮指令に従い、入力された輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）に所定形式（たとえば、ＪＰＥＧ）の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ２１からの伸張指令に従い、入力された圧縮画像データに所定形式の伸張処理を施して、非圧縮の画像データを生成する。

外部メモリインターフェース２３は、ＣＰＵ２１からの指令に従い、デジタルカメラ２に着脱自在なメモリカード２２に対してデータの読み／書きを制御する。

ＬＣＤ２５は、撮影モードにおいては動画（スルー画）を表示して電子ビューファインダとして使用できるとともに、撮影した記録前の画像（プレビュー画像）を表示することができ、また再生モードにおいてはメモリカード２２から読み出した再生画像等を表示することができる。ＬＣＤインターフェース２４は、ＣＰＵ２１からの指令に従い、ＬＣＤ２５への表示を制御する。

フラッシュ１９は、図示しないシャッタボタンの全押しに同期して発光する撮影補助光である。充電部２０は、図示しない昇圧回路を備え、電池電圧からフラッシュ１９の発光用の昇圧電圧を生成し、この昇圧電圧により図示しないコンデンサを充電させる。このコンデンサに充電された電荷は、ＣＰＵ２１からの指示にしたがってフラッシュ１９に供給され、フラッシュ１９が発光する。

全方位撮像装置１は、このように構成されたデジタルカメラ２が、３６０°の視野範囲を映した全方位ミラー３を撮影することにより、３６０°の視野を有する全方位画像を撮影することができる。

図４は、全方位撮像装置１で撮影された全方位画像５１の一例を示す図である。全方位画像５１は、中心部５２が光の入射のない黒色の領域となっている。

前述のように、デジタルカメラ２と全方位ミラー３は、デジタルカメラ２の撮影レンズの光軸の延長線と全方位ミラー３の中心軸とが同軸となるように配置されている。ここで、全方位ミラー３は、３６０°の視野範囲を映しているが、全方位ミラー３の中心軸については、撮影レンズの光軸に存在するＣＣＤ１３の受光面からの光が入射しないため、ＣＣＤ１３の受光面に対しても光を反射しない。このように、ＣＣＤ１３の受光面のうち撮影レンズの光軸との交点となる領域には入射する光が存在せず、全方位画像５１の中心部５２は光の入射のない黒色の領域となる。

デジタルカメラ２の中心抽出部３０は、全方位画像５１の中心部５２を抽出する。

黒レベル取得部３１は、ＣＣＤ１３のＯＢ領域４２の黒レベルと、中心抽出部３０が抽出した中心部５２の信号レベルを取得する。

フレア補正値算出部３２は、黒レベル取得部３１が取得した黒レベルと信号レベルに基づいて、全方位画像５１のフレア補正値を算出する。

次に、全方位撮像装置１の動作について、図５のフローチャートを用いて説明する。

ユーザが、デジタルカメラ２を操作して全方位画像５１を撮影する（ステップＳ１）。撮影した全方位画像５１から、中心抽出部３０は中心部５２を抽出する（ステップＳ２）。

黒レベル取得部３１は、中心部５２の信号レベルＳと、ＯＢ領域４２の黒レベルＯＢを取得する（ステップＳ３）。ここで、ＯＢ領域４２の黒レベルＯＢは、ＯＢ領域４２の垂直転送路毎の積算値のうち、最も輝度が高い積算値を持つ垂直転送路の黒レベルとする。このように構成することで、ノイズの影響を排除することができる。

フレア補正値算出部３２は、中心部５２の信号レベルＳと、ＯＢ領域４２の黒レベルＯＢを比較し、ＯＢ≦Ｓ（ＯＢ領域４２の黒レベルＯＢより中心部５２の信号レベルＳの方が輝度が高い）が成立するか否かを判定する（ステップＳ４）。

ＯＢ≦Ｓが成立する場合は、フレアが発生していると判断し、フレア補正値Ｆを算出する（ステップＳ５）。なお、フレア補正値Ｆは、［数１]を用いて算出する。

［数１］
Ｆ＝Ｓ−ＯＢ
デジタル信号処理部１７は、［数１］を用いて算出したフレア補正値Ｆに基づいて、全
方位画像５１のフレア補正を行い（ステップＳ６）、全方位画像５１を生成する。全方位画像５１のフレア補正は、図６に示すように、階調補正回路でのガンマ補正の際に、ガンマカーブγをフレア補正値Ｆだけシフトさせたガンマカーブγ´に基づいてガンマ補正を行うことにより行う。

また、ステップＳ４においてＯＢ≦Ｓが成立しない場合は、フレアは発生していないと判断し、通常の画像処理を行い、全方位画像を生成する（ステップＳ７）。階調補正回路でのガンマ補正については、通常のガンマカーブγを用いる。

このように、全方位画像の中心部の信号レベルとＯＢ領域の黒レベルを比較し、中心部の信号レベルの方が輝度が高い場合はフレア補正を行うことで、全方位画像の黒レベルが必要以上に浮くことを防止することができる。

図１は、本発明に係る全方位撮像装置１の外観図である。 図２は、デジタルカメラ２の電気的構成を示すブロック図である。 図３は、ＣＣＤ１３の撮像面の概略を示す図である。 図４は、全方位画像５１の一例を示す図である。 図５は、全方位撮像装置１の動作を示すフローチャートである。 図６は、フレア補正を行う際のガンマ補正におけるガンマカーブを示す図である。

符号の説明

１…全方位撮像装置、２…デジタルカメラ、３…全方位ミラー、４…透明筒体、１３…ＣＣＤ、１７…デジタル信号処理部、２１…ＣＰＵ、３０…中心抽出部、３１…黒レベル取得部、３２…フレア補正値算出部、４１…有効画素領域、４２…ＯＢ領域、５１…全方位画像、５２…中心部

Claims (4)

1. 周囲からの入射光を反射光として出力する全方位ミラーと、
   撮像レンズを介して入射した前記全方位ミラーからの反射光を撮像素子により光電変換し、全方位画像を生成する手段と、
   前記全方位画像の前記全方位ミラーからの光入射の無い中心領域の信号レベルを取得する手段と、
   前記中心領域の信号レベルに基づいて前記全方位画像のフレア補正値を算出する算出手段と、
   前記算出したフレア補正値に基づいて前記全方位画像のフレア補正を行う手段と、
   を備えたことを特徴とする全方位撮像装置。
2. 前記撮像素子のオプティカルブラック領域の黒レベルを取得する手段を備え、
   前記算出手段は、前記中心領域の信号レベルが前記オプティカルブラック領域の黒レベルより輝度が高い場合に、前記中心領域の信号レベルと前記オプティカルブラック領域の黒レベルの差をフレア補正値として算出することを特徴とする請求項１に記載の全方位撮像装置。
3. 前記撮像素子のオプティカルブラック領域の黒レベルは、オプティカルブラック領域の垂直転送路毎の積算値のうち、最も輝度が高い積算値を持つ垂直転送路の黒レベルであることを特徴とする請求項２に記載の全方位撮像装置。
4. 周囲からの入射光を反射光として出力する全方位ミラーからの反射光を撮像レンズを介して撮像素子に入射させ、前記撮像素子により光電変換して全方位画像を生成する工程と、
   前記全方位画像の前記全方位ミラーからの光入射の無い中心領域の信号レベルを取得する工程と、
   前記中心領域の信号レベルに基づいて前記全方位画像のフレア補正値を算出する工程と、
   前記算出したフレア補正値に基づいて前記全方位画像のフレア補正を行う工程と、
   を備えたことを特徴とする全方位画像の撮像制御方法。

Images