JP6702775B2 - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、全周囲を撮像（全方位撮影）して得られた画像を処理する画像処理装置に関する。

従来、双曲面ミラー又は魚眼レンズを介して全周囲を一括して撮像して得られた画像（全方位画像という）を画像処理するための画像処理装置が知られている。全周囲を一括して撮像した際には、画像のダイナミックレンジが広くなる傾向がある。よって、画像処理装置では、黒つぶれおよび白飛びが発生しないように覆い焼き処理などに代表される領域別の階調補正処理を行う必要がある。

領域別階調補正処理として、例えば、１つの画像から解像度の異なる複数の画像（階層画像という）を生成して、これら画像のレベル差（信号レベルの差）を参照して領域毎に最適な階調補正を行うためのゲインマップを作成するようにしたものがある（特許文献１参照）。

ところが、全方位画像においては、撮像される半球面の極点に当たる部分（以下低像高領域という）と、周辺部分（以下高像高領域という）とでは光学的な歪の差が大きい。このため、像高毎に階層画像の生成を制御する必要があり、その処理が複雑となる。コンパクトデジタルカメラに全方位撮影用の光学アタッチメントを取り付けて全方位撮影をしたとする。この場合には、通常の撮影と全方位撮影とにおいて互いに異なる画像処理を行う必要があり、処理回路が増大するばかりでなく、制御が複雑化する。このような問題に対処するため、例えば、全方位画像を矩形画像に変形した後、当該矩形画像に対して画像処理を行う画像処理装置がある（特許文献２参照）。

特開２００２−３００４６５号公報 特開２００３−２８４０５８号公報

東芝レビューＶｏｌ．６４ Ｎｏ．６（２００９） "撮影画像の明るさ最適化技術 ＣｏｎｔｒａｓｔＭａｇｉｃ ＴＭ"

ところで、全方位画像を矩形に変換する際には、像高に応じて画像の変形量が異なり、全方位撮影の際に像高が低い領域ほど、変形後の解像度が低下する。前述のように、領域別階調補正処理においては、異なる解像度の画像（階層画像）の信号レベルを参照して、入力画像の領域を分割して領域毎に最適な階調補正を行う。

ところが、入力画像の解像度が低い場合には、入力画像から複数の低解像度の画像を生成しても、画像間の信号レベル差が小さくなる。このため、レベル差によって領域を分割して、領域毎に最適な階調補正ゲインを生成することが困難となってしまう。その結果、全方位画像を矩形画像に変形した場合には、全方位画像において像高が低い領域ほど解像度が低下しまい、領域別階調補正の効果が低下してしまうことになる。

従って、本発明の目的は、全方位画像を矩形画像に変形して領域別階調補正行う際に、領域別階調補正を効果的に行って高画質の画像を得ることができる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、撮像装置の全方位を撮像して得られた全方位画像を画像処理して補正画像を得る画像処理装置であって、前記全方位画像を幾何変形処理によって矩形画像に変形する変形手段と、前記変形手段により得られた矩形画像の階調を補正して前記補正画像を得る補正手段と、前記矩形画像の解像度を低下させた複数の階層画像を用いて、前記補正手段による補正の度合いを調整する調整手段と、を有し、前記調整手段は、前記全方位画像における像高に基づいて、前記複数の階層画像の信号レベルを調整することで、前記補正の度合いを調整することを特徴とする。

本発明によれば、全方位画像を矩形画像に変形して領域別階調補正行う際に、領域別階調補正を効果的に行って高画質の画像を得ることができる。

本発明の実施の形態による画像処理装置の一例についてその構成を示すブロック図である。 図１に示す画像処理装置に入力される全方位画像の撮像を示す図である。 図２に示す撮像によって得られた全方位画像の一例を示す図である。 図１に示す矩形変形処理部で矩形変形処理された画像の一例を示す図である。 図１に示す階層画像生成処理部の出力である階層画像の信号レベルを調整する際の特性を説明するための図であり、（ａ）は低解像度画像の信号レベルを調整する際の特性を示す図、（ｂ）は高解像度画像の信号レベルを調整する際の特性を示す図である。 図１に示す画像処理装置で行われる画像処理の一例を説明するためのフローチャートである。

以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による画像処理装置の一例についてその構成を示すブロック図である。

図示の画像処理装置は、矩形変形処理部１００を備えており、矩形変形処理部１００には全方位画像（カメラの全周囲を撮像して得られた画像）が入力される。そして、矩形変形処理部１００は、後述するようにして、全方位画像を矩形画像に変形する。階層画像生成処理部１０１は矩形画像から解像度の異なる複数の画像（階層画像）を生成する。レベル調整処理部１０２は階層画像を、全方位画像を撮像した際の像高に応じてレベル調整する。

合成比率生成処理部１０３は、レベル調整処理後の階層画像の信号レベルを参照して、後述するようにして、領域別階調補正ゲインの生成処理に用いるゲインの合成比率を生成する。階層補正ゲイン生成処理部１０４は、階層画像と合成比率とを参照して、領域別階調補正ゲインを生成する。階調補正処理部１０５は領域別階調補正ゲインに基づいて、矩形画像について領域別階調補正を行う。制御部１０６は画像処理装置全体の制御を司る。

図２は、図１に示す画像処理装置に入力される全方位画像の撮像を示す図である。

全方位画像を撮像する際には、カメラ６００に備えられたレンズに対して、双曲面ミラー６０１を設置して撮像が行われる。なお、全方位画像を撮像する際には。双曲面ミラーの代わりに、例えば、魚眼レンズ又は円錐ミラーを用いてもよい。

図３は、図２に示す撮像によって得られた全方位画像の一例を示す図である。

前述の矩形変形処理部１００は全方位画像を、所定の位置で展開して、矩形画像に変形するための幾何変形処理を行う。例えば、図３に示す全方位画像を位置２０３で展開して矩形画像に変形する。

いま、全方位画像が円錐ミラーを用いて撮像されたものとする。全方位画像においては、円錐ミラーの半球面の極点に当たる部分で反射され撮像面において像高の低い領域に結像された被写体像（低像高領域画像という）が存在する。さらに、全方位画像においては、円錐ミラーの半球面の周辺部分で反射され撮像面において像高の高い領域に結像される被写体像（高像高領域画像という）が存在する。そして、低像高領域画像と高像高領域画像とにおいては光学的な歪量が大きく異なる。

図３に示す例においては、低像高領域画像２０２は高像高領域画像２０３よりも歪が大きい。このため、矩形変形処理部１０１は、全方位画像において低像高領域画像ほど大きく引き伸ばす必要がある。

図４は、図１に示す矩形変形処理部で矩形変形処理された画像の一例を示す図である。

矩形変形処理後の画像において、低像高領域画像から変形された画素領域３０２は、高像高領域画像から変形された画素領域３０１よりも変形処理による解像度の劣化が大きくなる。

再び図１を参照して、階層画像生成処理部１０１は、矩形変形処理後の画像を解像度変換して複数の解像度の階層画像Ｈ、Ｍ、およびＬを生成する。ここでは、階層画像Ｈ、Ｍ、およびＬの順に解像度が高いものとする。

例えば、階層画像Ｈは、全方位画像と同等の解像度を有する高解像度画像である。また、階層画像ＭおよびＬは、それぞれ全方位画像に対して、例えば、１／６４および１／２５６の解像度となる低解像度画像である。図示の例では、３つの解像度の異なる階層画像を生成して、これら階層画像を用いて領域別階調補正ゲインを生成するが、階層画像は４つ以上であってもよい。

レベル調整処理部１０２は、後述するようにして、階層画像Ｈ、Ｍ、及びＬのレベル（画素レベル）を、全方位画像の像高に応じて調整して、レベル調整後の階層画像Ｈ’、Ｍ’、およびＬ’として出力する。階調補正ゲイン生成処理部１０４は、レベル調整後の階層画像Ｈ’、Ｍ’、およびＬ’の画素レベルを比較して領域分けを行う。そして、階調補正ゲイン生成処理部１０４は当該領域毎に明るさおよびコントラストが適正になるように領域別の階調補正ゲインを生成する。ここでは、階調補正ゲイン生成処理部１０４は階層画像生成処理部１０１の出力であるレベル調整前の階層画像Ｈ、Ｍ、およびＬに基づいて補正ゲインを合成して領域別の階調補正ゲインを生成する。

領域分け処理を行う際には、低解像度画像の信号レベルを参照すると、ノイズおよび被写体のエッジに拘わらず、着目画素近傍の明るさを推定することができる。一方、明部と暗部の境界などコントラストの高い領域において、低解像度画像を参照すると、明部と暗部の境界の信号レベルが平均化されて領域の分離が難しくなる。よって、階層補正ゲイン生成処理部１０４は、階層画像に含まれる複数の解像度の画像の信号レベルを比較して、複数の解像度の画像の信号レベルに応じた補正ゲインを合成する。これによって、領域毎に最適な階調補正を行うための領域別補正ゲインを生成することができる。

なお、図示の領域別階調補正ゲイン生成処理および領域別階調補正処理については、例えば、非特許文献１に記載の手法が用いられる。

ところで、全方位画像においては、像高が低い領域（つまり、低像高領域画像）では、矩形変形処理部１００における変形量が大きいので解像度が低下する。つまり、階層画像生成処理部１０１に入力される矩形変形処理後の画像においては、全方位画像において像高が低い領域に属する画素の信号ほど解像度が低下している。よって当該画像に基づいて階層画像を生成すると、階層画像間における信号レベルの差が極めて小さくなる。

階層画像間における信号レベルの差が小さくなると、階調補正ゲイン生成処理部１０４が信号レベルの差を比較して領域分けをする場合に誤判定が生じ易い。例えば、低解像度画像を適用すべき領域に高解像度画像が適用されて、ノイズおよび被写体エッジの影響によって補正画像の画質が劣化することがある。さらに、高解像度画像を用いて補正領域と非補正領域との境界を規定する際に、低解像度画像を適用すると後判定される結果、領域の境界でコントラストが低下することがある。

このような問題に対処するため、図示の画像処理装置においては、階調補正ゲイン生成処理部１０４の前段にレベル調整処理部１０２を配置する。そして、レベル調整処理部１０２は階層画像生成処理部１０１の出力である階層画像Ｈ、Ｍ、およびＬの信号レベルを全方位画像の像高に応じて調整する。

図５は、図１に示す階層画像生成処理部１０１の出力である階層画像の信号レベルを調整する際の特性を説明するための図である。そして、図５（ａ）は低解像度画像の信号レベルを調整する際の特性を示す図であり、図５（ｂ）は高解像度画像の信号レベルを調整する際の特性を示す図である。

図示の例では、図４に示す像高位置３０３を境界（画素領域３０１と画素領域３０２との境界）として信号レベルの調整に係るレベル調整ゲインを制御する。図５（ａ）を参照すると、階層画像ＭおよびＬ、つまり、低解像度画像においては、像高が高くなるにつれてレベル調整ゲインを線型的に大きくして、像高が像高３０３となると、レベル調整ゲインを１．０とする。そして、像高３０３よりも像高が高い場合には、レベル調整ゲインを１．０に固定する。つまり、所定の解像度以下の低解像度画像においては、全方位画像における像高が所定の像高未満である場合には像高が低くなるほどレベル調整ゲインを小さくする。そして、全方位画像における像高が所定の像高以上である場合には像高に拘わらず前記レベル調整ゲインを一定とする。

このように、像高が像高３０３よりも低い場合には、レベル調整ゲインを１．０未満として、像高が低くなるにつれてレベル調整ゲインを低くする。これによって、低解像度画像と高解像度画像との信号レベルに差がでるようにする。

図５（ｂ）を参照すると、階層画像Ｈ、つまり、高解像度画像においては、像高が高くなるにつれてレベル調整ゲインを線型的に小さくして、像高が像高３０３となると、レベル調整ゲインを１．０とする。そして、像高３０３よりも像高が高い場合には、レベル調整ゲインを１．０に固定する。つまり、高解像度画像においては、全方位画像における像高が所定の像高未満である場合には像高が低くなるほどレベル調整ゲインを大きくする。そして、全方位画像における像高が所定の像高以上である場合には像高に拘わらずレベル調整ゲインを一定とする。

このように、像高が像高３０３よりも低い場合には、レベル調整ゲインを、１．０を超える値として、像高が低くなるにつれてレベル調整ゲインを大きくする。これによって、高解像度画像と低解像度画像との信号レベルに差がでるようにする。

なお、上述の例では、階層画像生成処理部１０１の出力である階層画像Ｈ、Ｍ、およびＬについてそれぞれレベル調整を行うようにしたが、複数の階層画像の少なくとも１つの信号レベルを像高に応じて調整するようにしてもよい。

このようにして、階層画像Ｈ、Ｍ、およびＬをレベル調整して、レベル調整後の階層画像Ｈ’、Ｍ’、およびＬ’の信号レベルを比較する。そして、階層画像Ｈ、Ｍ、およびＬから生成した補正ゲインを合成すれば、最適な領域別階調補正ゲインを生成することができる。

階調補正処理部１０５は、階調補正ゲイン生成処理部１０４の出力である領域別階調補正ゲインを用いて、矩形変形処理部１００の出力である矩形画像について領域別階調補正処理を行う。そして、階調補正処理部１０５は補正画像を出力する。

図６は、図１に示す画像処理装置で行われる画像処理の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は制御部１０６の制御下で行われる。

デジタルカメラなどの撮像装置で撮像された全方位画像を受けると、画像処理装置は当該全方位画像について画像処理を開始する。まず、矩形変形処理部１００は、前述したようにして、全方位画像を矩形画像に変形する（ステップＳ１００１）。そして、階層画像生成処理部１０１は矩形画像に応じて階層画像を生成する階層画像生成処理を行って、階層画像Ｈ、Ｍ、およびＬを出力する（ステップＳ１００２）。

続いて、制御部１０６は、矩形画像において着目画素が全方位画像においていずれの像高の領域に位置していたかを調べて像高情報を得る（ステップＳ１００３）。なお、着目画素とは、矩形画像におけるいずれかの画素であり、制御部１０６は矩形画像における全ての画素を順次着目画素とする。そして、レベル調整処理部１０２は像高情報に基づいて階層画像間における信号レベルを調整する（ステップＳ１００４）。つまり、レベル調整部１０２は像高情報に応じて前述のようにしてレベル調整ゲインを調整して階層画像間における信号レベルを調整する。

次に、合成比率生成処理部１０３はレベル調整後の階層画像Ｈ’、Ｍ’、およびＬ’の画素レベル（信号レベル）に基づいて、領域別階調補正ゲインを生成するための合成比率を求める（ステップＳ１００５）。そして、階層補正ゲイン生成処理部１０４は合成比率に基づいて、階層画像Ｈ、Ｍ、およびＬの補正ゲインを合成して領域別階調補正ゲインを生成する（ステップＳ１００６）。その後、階層補正処理部１０５は領域別階調補正ゲインに基づいて矩形画像を補正処理して補正画像を生成して（ステップＳ１００７）、画像処理を終了する。

このように、本発明の実施の形態では、全方位画像を矩形画像に変形して領域別階調補正処理を行う際、全方位画像において像高が低い領域に属する画素ほど、階層画像間の信号レベル差が大きくなるように階層画像の信号レベルを調整する。これによって、全方位画像を矩形画像に変形する際の像高に起因する解像度の劣化による領域別階調補正処理の効果の低減を防止することができる。その結果、良好な画質の補正画像を得ることができる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも本発明は実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 矩形変形処理部
１０１ 階層画像生成処理部
１０２ レベル調整処理部
１０３ 合成比率生成処理部
１０４ 階調補正ゲイン生成処理部
１０５ 階調補正処理部
１０６ 制御部

Claims (8)

1. 撮像装置の全方位を撮像して得られた全方位画像を画像処理して補正画像を得る画像処理装置であって、
   前記全方位画像を幾何変形処理によって矩形画像に変形する変形手段と、
   前記変形手段により得られた矩形画像の階調を補正して前記補正画像を得る補正手段と、
   前記矩形画像の解像度を低下させた複数の階層画像を用いて、前記補正手段による補正の度合いを調整する調整手段と、を有し、
   前記調整手段は、前記全方位画像における像高に基づいて、前記複数の階層画像の信号レベルを調整することで、前記補正の度合いを調整することを特徴とする画像処理装置。
2. 前記調整手段は全方位画像における像高が低い領域ほど、前記複数の階層画像の間における信号レベルの差を大きくすることを特徴とする請求項１に記載の画像処理装置。
3. 前記調整手段は、解像度が所定の解像度よりも高い階層画像である高解像度画像において前記全方位画像における像高が所定の像高未満である場合には前記像高が低くなるほどレベル調整ゲインを大きくして前記高解像度画像の信号レベルを調整することを特徴とする請求項１に記載の画像処理装置。
4. 前記調整手段は前記高解像度画像において前記全方位画像における像高が所定の像高以上である場合には前記像高に拘わらず前記レベル調整ゲインを一定とすることを特徴とする請求項３に記載の画像処理装置。
5. 前記調整手段は、前記解像度が所定の解像度以下の階層画像である低解像度画像において前記全方位画像における像高が前記所定の像高未満である場合には前記像高が低くなるほど前記レベル調整ゲインを小さくして前記低解像度画像の信号レベルを調整することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記調整手段は前記低解像度画像において前記全方位画像における像高が前記所定の像高以上である場合には前記像高に拘わらず前記レベル調整ゲインを一定とすることを特徴とする請求項５に記載の画像処理装置。
7. 撮像装置の全方位を撮像して得られた全方位画像を画像処理して補正画像を得る画像処理装置の制御方法であって、
   前記全方位画像を幾何変形処理によって矩形画像に変形する変形ステップと、
   前記変形ステップで得られた矩形画像の階調を補正して前記補正画像を得る補正ステップと、
   前記矩形画像の解像度を低下させた複数の階層画像を用いて、前記補正ステップによる補正の度合いを調整する調整ステップと、を有し、
   前記調整ステップでは、前記全方位画像における像高に基づいて、前記複数の階層画像の信号レベルを調整することで、前記補正の度合いを調整することを特徴とする制御方法。
8. コンピュータを、請求項１乃至６のいずれか１項の画像処理装置の各手段として機能させるコンピュータが実行可能な制御プログラム。

Images