JP3676360B2 - 画像撮像処理方法 - Google Patents

Description

【技術分野】
【０００１】
本発明は、カメラによって画像を撮像し、撮像した画像から検出した特徴データを基にして、補正を行う画像処理技術に関する。
【背景技術】
【０００２】
従来、画像中のエッジを抽出し、最大長のエッジの傾きをカメラの傾きとし、この最大長エッジの傾きを解消するように画像データのアファイン変換を行うことによって、カメラの傾きを解消する技術がある（例えば、特許文献１参照）。
【０００３】
また、画像中の垂直エッジを抽出し、この垂直エッジから画像の傾きを検出する技術も、非特許文献１に開示されている。
【特許文献１】
特開平４−３１４２７４号公報（第２頁、第１図）
【非特許文献１】
Hidekazu Ohmi and Fumihiko Saitoh, “Image Inclination Measurement Based on Edge Directions and an Analysis of Relation between Visual Inclination”, MVA2002 IAPR Workshop on Machine Vision Applications, Dec. 11-13, 2002
【発明の開示】
【発明が解決しようとする課題】
【０００４】
画像を撮影する場合、通常は、上方からの照明光下で撮影がなされ、画像下部には地面や床等が映っていることが多い。このような画像に対して、画像全体の特徴データを基にして、回転補正や逆光補正等の処理を行うと、所望の補正効果が得られないことがしばしば生じる。
【０００５】
例えば、画像の回転補正を、人工物等の鉛直エッジが画像中で垂直になるように行う場合、画像全体でエッジを検出すると、足下には床や地面が映っているため、この床や地面の画像に含まれるエッジの影響を受けてしまい、回転補正が正しく行われない場合が生じる。
【０００６】
また、逆光補正等の露光補正の場合も、画像の上部と下部とでは輝度分布が大きく異なる可能性が高いため、画像全体の特徴データを用いたときには、所望の補正効果が得られないことがあり得る。
【０００７】
前記の問題に鑑み、本発明は、カメラによって撮影した画像の補正を、従来よりも適切に実行可能にすることを課題とする。
【課題を解決するための手段】
【０００８】
本発明は、画像を補正するために用いる特徴データを、画像全体からではなく、画像の上部領域から、取得するものである。これは、通常の撮像画像では、その上部と下部とで、撮影されている被写体の性質等の撮影状態が異なっていることを考慮したものである。例えば、鉛直エッジを用いた回転補正の場合は、鉛直エッジ成分を取得する領域を画像上部に限定することによって、床や地面に含まれるエッジの影響を排除することができる。また、逆光補正等の露光補正の場合は、輝度値を取得する領域を画像上部に限定することによって、上方からの照明光があまり当たらない領域の影響を排除することができる。
【０００９】
すなわち、本発明は、画像撮像処理方法として、カメラによって画像を撮像し、撮像した画像の上部領域において、当該画像の特徴データを検出し、この特徴データから補正量を算出し、算出した補正量を基にして、前記カメラの光学系に対する補正制御、または、前記画像の画像データに対する補正処理を行うものである。
【００１０】
本発明によると、撮像画像の全体ではなく、その上部領域から検出された特徴データを基にして補正量が算出され、この算出された補正量を基にして、カメラの光学系に対する補正制御、または、画像データに対する補正処理が行われる。このため、補正量算出の際にノイズとなるような情報が予め排除されるので、より適切な補正量が算出されることになり、したがって、画像の傾きや動きの補正が、より的確に実行される。
【００１１】
ここでの上部領域とは、単純な例としては、画像内の上側ほぼ２分の１の領域である。また、この上側ほぼ２分の１の領域に含まれた矩形、楕円形等の領域であってもよい。あるいは、画像を公知の領域分割方法によって分割した領域のうち、その重心位置が所定のしきい値（例えば、画像全体の中心位置）よりも上にある領域としてもよい。
【００１２】
また、露光制御の場合には、上部領域を設定する際に、輝度値を考慮してもよい。例えば、上述した上部領域内の、輝度値が所定のしきい値以上である領域を、上部領域として設定してもよいし、輝度値が所定のしきい値以上である領域のうち、その重心位置が所定のしきい値（例えば、画像全体の中心位置）よりも上にある領域を、上部領域としてもよい。
【発明の効果】
【００１３】
本発明によると、カメラによって撮影した画像について、その傾きや動きを、従来よりも適切に、補正することができる。
【発明を実施するための最良の形態】
【００１４】
本発明の第１態様では、画像撮像処理方法として、カメラによって画像を撮像する第１のステップと、前記第１のステップにおいて撮像した画像の上部領域において当該画像の特徴データを検出し、この特徴データから補正量を算出する第２のステップと、前記第２のステップにおいて算出された補正量を基にして、前記カメラの光学系に対する補正制御、または、前記画像の画像データに対する補正処理を行う第３のステップとを備えたものを提供する。
【００１５】
本発明の第２態様では、前記第２のステップは、前記上部領域において鉛直エッジ成分を抽出し、この鉛直エッジ成分を基にして、前記画像の回転量を前記特徴データとして検出し、前記回転量を基にして前記画像の回転補正量を算出するものである前記第１態様の画像撮像処理方法を提供する。
【００１６】
本発明の第３態様では、前記第２のステップにおいて、前記回転補正量を、現時刻の回転量と前の時刻の回転量とを用いて算出する前記第２態様の画像撮像処理方法を提供する。
【００１７】
本発明の第４態様では、前記第２のステップは、前記上部領域において、回転量に加えて動きベクトルを前記特徴データとして検出し、前記動きベクトルを基にして、前記画像の動き補正量を算出する前記第２態様の画像撮像処理方法を提供する。
【００１８】
本発明の第５態様では、前記第２のステップにおいて、前記上部領域において輝度を求め、求めた輝度を基にして、前記画像の露光状態を前記特徴データとして検出し、前記露光状態を基にして露光補正量を算出するものである前記第１態様の画像撮像処理方法を提供する。
【００１９】
本発明の第６態様では、前記露光補正は、逆光補正または過順光補正である前記第５態様の画像撮像処理方法を提供する。
【００２０】
本発明の第７態様では、前記カメラの姿勢を検出する第４のステップと、前記第４のステップにおいて検出したカメラ姿勢に応じて、前記第２のステップにおける上部領域の範囲を調整する第５のステップとを備えた前記第１態様の画像撮像処理方法を提供する。
【００２１】
本発明の第８態様では、前記第４のステップにおいて、検出したカメラ姿勢のデータを時間方向に平滑化する前記第７態様の画像撮像処理方法を提供する。
【００２２】
本発明の第９態様では、画像撮像処理方法として、複数のカメラによって画像をそれぞれ撮像する第１のステップと、前記第１のステップにおいて撮像した各画像の上部領域において、当該画像の回転量をそれぞれ検出する第２のステップと、前記第２のステップにおいて検出した各画像の回転量を合成する第３のステップと、前記第３のステップにおいて得られた合成回転量を基にして、前記各画像に対して回転補正処理をそれぞれ行う第４のステップと、前記第４のステップにおいて回転補正処理がなされた各画像を合成し、合成画像を得る第５のステップとを備えたものを提供する。
【００２３】
本発明の第１０態様では、画像撮像処理方法として、複数のカメラによって画像をそれぞれ撮像する第１のステップと、前記第１のステップにおいて撮像した各画像の上部領域において、当該画像の回転量をそれぞれ検出する第２のステップと、前記第２のステップにおいて検出した各画像の回転量から各画像を合成するか否かを判断する第３のステップと、前記第３のステップにおいて合成すると判断したとき、各画像を合成し、合成画像を得る第４のステップとを備えたものを提供する。
【００２４】
本発明の第１１態様では、画像撮像処理方法として、第１および第２のカメラによって画像をそれぞれ撮像する第１のステップと、前記第１のステップにおいて前記第１のカメラによって撮像された第１の画像について、その上部領域において、当該第１の画像の回転量を検出する第２のステップと、前記第２のステップにおいて検出した回転量を基にして、前記第２のカメラによって撮像された第２の画像に対して、回転補正処理を行う第３のステップとを備えたものを提供する。
【００２５】
本発明の第１２態様では、画像撮像装置として、画像を撮像するカメラと、前記カメラによって撮像された画像の上部領域の画像データを限定出力する領域限定部と、前記領域限定部から出力された画像データから、当該画像の特徴データを検出し、この特徴データから補正量を算出する補正量算出部と、前記補正量算出部によって算出された補正量を基にして、前記カメラの光学系に対する補正制御、または、前記画像の画像データに対する補正処理を行う補正部とを備えたものを提供する。
【００２６】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２７】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像撮像装置の構成を示すブロック図である。図１において、カメラ１１はレンズおよび撮像素子を含み、レンズを介して得られた被写体像を撮像素子によって光電変換し、画像データを生成する。回転機構１２はカメラ１１の光学系を回転させる。回転量検出部１３はカメラ１１から出力された画像データの水平方向に対する回転量を検出し、回転補正量を算出する。回転制御部１４は回転量検出部１３によって検出された回転補正量に基づき、回転機構１２を回転制御する。
【００２８】
図１の画像撮像装置は、画像データに撮影された景観の垂直方向が、実空間の垂直方向と一致しないとき、一致するように、画像データを回転補正する。すなわち、垂直エッジを用いて画像の傾きを補正する。これは、例えば人工物に正対せずに撮影を行った場合、水平エッジは、画像中で大きく傾いて映されるのに対して、垂直エッジは、概ね垂直に映されるためである。
【００２９】
図２のフローチャートを参照して、図１の構成の動作を説明する。
【００３０】
まず、カメラ１１が被写体を画像データに変換する（Ｓ１１）。ここでは図３（ａ）に示すように、被写体として建物の窓ＷＤを、斜め方向から正対せずに映したものとする。図３（ａ）の画像データでは、窓ＷＤの水平エッジおよび垂直エッジはともに傾いている。水平エッジの傾きは、主に、被写体に正対していないことに起因しており、垂直エッジの傾きは、カメラ１１の光軸方向の回転に起因している。
【００３１】
次に、回転量検出部１３が、垂直方向に近いエッジを抽出し、このエッジの方向を鉛直方向に補正する回転量を検出し、この回転量から、実際に回転機構１２を回転制御する回転補正量を算出する（Ｓ１２）。図３（ｂ）は、図３（ａ）の画像データから抽出されたエッジＥＧを示している。
【００３２】
そして、回転制御部１４が、算出された回転補正量に基づいて、回転機構１２を回転制御する。これにより、図３（ｃ）に示すような、適切に回転補正された画像データを得ることができる。
【００３３】
以下、垂直エッジ成分を用いて、回転補正量を求める手法について、説明する。
【００３４】
図４は画像データＩＭＧをｘｙ座標系に変換した図である。ここで、画像データＩＭＧ内の画素をＰ、その輝度値をＩ、画素Ｐのエッジ成分を示す単位方向ベクトルをａ、単位方向ベクトルａがｘ軸の正の方向となす角度をθとする。
【００３５】
画素Ｐの座標値（ｘ，ｙ）における輝度Ｉの方向微分は、水平および垂直方向の微分値と単位方向ベクトルａ（ｃｏｓθ，ｓｉｎθ）から、（数１）のように表される。
【数１】
【００３６】
ここで、各画素における単位方向ベクトルａの方向についての方向微分の和を評価関数Ｊとすると、（数２）のように示すことができる。
【数２】
【００３７】
ここで、θ∈Θは、処理対象を限定することを意味する。本実施形態では、概ね垂直な方向のエッジを持つ画素に、処理対象を限定する。例えば、エッジ方向の範囲を垂直±４５°に限定する。ここで、エッジ方向と微分方向とは直交するため、微分方向を水平±４５°に限定するため、画素は（数３）を満たすことが必要となる。
【数３】
【００３８】
そして、（数３）および（数４）の条件式を満たす画素から、評価関数Ｊを最大とする角度を算出することによって、概ね垂直方向のエッジから画像データの回転量を算出することができる。
【数４】
【００３９】
また、エッジ方向を限定する範囲は、±４５°に限られるものではなく、例えば±２２．５°等、適宜、画像に適した範囲を設定すればよい。
【００４０】
次に、回転補正量を算出する。最も簡単には、上述した回転量θを符号反転したものを回転補正量とすればよい。ただし、急激なシーンの変動やフリッカー等の周期的な輝度変化に対しても安定した回転補正を行うためには、適応される回転補正量の時間変化に制限を加えることが好ましい。例えば、現時刻における回転量と、それよりも前の時刻における回転量とを用いて、回転補正量を算出すればよい。
【００４１】
このため、回転量θを符号反転した回転補正量候補φをフィールド（１６．７ｍｓｅｃ）単位で算出し、現フィールドｔで算出した回転補正量候補φｔと、前フィールドｔ−１で算出した回転補正量Φｔ−１とから、（数５）のように、回転補正量を算出すればよい。
【数５】
【００４２】
ここで、Φｔは現フィールドｔに適用する回転補正量であり、Φｔ−１は前フィールドｔ−１に適用した回転補正量である。αは重み係数である。αの値については、０．１〜０．０１程度に設定することによって、シーンの急激な変動に対して回転補正量の変化が１、２秒かけて追随するようにできることが、本願発明者らによって経験的に確かめられている。
【００４３】
なお、（数５）の変形として、算出された回転補正量候補φｔ−１を用いて、（数６）のようにしてもよい。
【数６】
【００４４】
このようにして回転補正量を算出することによって、適用される回転補正量の時間変化に制限を加えることができるので、急激なシーンの変動やフリッカー等の周期的な輝度変化に対しても安定した回転補正を行うことができる。したがって、鑑賞時に不快に感じるような回転補正がなされることを抑制できる。
【００４５】
また、評価関数Ｊの最大値を探索するだけでなく、垂直付近の方向のエッジを持つ画像について、ｘ軸及びｙ軸方向の輝度値の微分値の２次元頻度分布や、（数７）の比の頻度分布を求めることによって、（数８）で示す角度の頻度が最大である角度θを、回転量として検出することも可能である。
【数７】
【数８】
【００４６】
なお、ここでは、垂直エッジ成分から回転補正量を算出する手法を説明したが、水平エッジ成分や、方向性のフィルタ等を用いて回転補正量を求めることも可能である。例えば、海上で撮影した画像のようにシーンが限定されている場合には、水平線が水平に映されるように回転補正を行ってもよい。
【００４７】
なお、異なるフレーム間の回転量を検出してもよい。対比するフレームは、連続するフレーム同士であってもよいし、２フレーム以上時間差のあるフレーム同士であってもよい。例えば、オプティカルフローの検出によってフレーム間の回転量を検出する方法がある。ただし、この場合は、他の方法によって、実世界の垂直方向と画像の垂直方向との差を検討する必要がある。
【００４８】
なお、画像撮像装置に重力センサを取り付け、そのセンサによって回転量を検出しても良い。
【００４９】
また、図５の構成のように、垂直エッジ成分を検出する対象領域を検出する領域限定部１５を設けてもよい。すなわち、領域限定部１５は、カメラ１１によって撮像された画像の上部領域の画像データを限定出力する。そして、補正量算出部としての回転量検出部１３は、領域限定部１５から出力された画像データから、当該画像の特徴データとして回転量を検出し、この回転量から補正量を算出する。
回転制御部１４および回転機構１２によって、補正部が構成されている。これにより、例えば画像データの特性によって領域を限定することができるので、水平エッジ成分を効率良く削除することができ、回転量を検出する際の精度向上を図ることができる。
【００５０】
例えば、画像データの背景が屋内の風景であった場合、画像データ内の下部領域には床面が映っている割合が多く、垂直エッジ成分は多くないと考えられる。ここで、領域限定部１５によって、画像データ内の上部領域のみを回転量検出部１３に入力することによって、水平エッジ成分を効率良く削除することが可能となり、回転補正量の算出の精度向上を図ることができる。さらに、回転量検出の対象領域の限定は、状況に応じて、利用者が手動で限定することができる。
【００５１】
この場合の上部領域とは、最も単純な例としては、画像の上側ほぼ２分の１の領域である。また、この上側ほぼ２分の１の領域に含まれた矩形、楕円形等の領域であってもよい。あるいは、画像を公知の領域分割方法によって分割した領域のうち、その重心位置が所定のしきい値（例えば、画像全体の中心位置）よりも上にある領域としてもよい。
【００５２】
以上のように本実施形態によると、画像データから垂直に近いエッジを抽出し、抽出したエッジが垂直になるようにカメラ１１を回転制御することによって、水平方向に対する画像の傾きを補正することができる。
【００５３】
ウェアラブルな撮像システム、特に、カメラを撮影者頭部に装着するシステムでは、撮影者頭部の傾きがそのまま画像データの傾きとなり、傾いた画像データがそのまま再生されていた。本実施形態によると、撮影者頭部が傾いている場合であっても、その傾きが補正された画像データを出力できるという有利な効果が得られる。
【００５４】
なお、ウェアラブルなシステムに限らず、一般の撮影装置においても、室内や建物等の人工物の垂直エッジを含む風景を撮影する場合に、回転補正を行うことができ、その実用的効果は大きい。
【００５５】
また、回転量および回転補正量のうち少なくともいずれか一方を出力することによって、本実施形態に係る装置をジャイロセンサとして利用できる。また、後述の第３の実施形態において検出される動き補正量も併せて出力することによって、ロール軸、ピッチ軸およびヨー軸のジャイロセンサとして利用できる。
【００５６】
また、回転量、回転補正量および動き量を積算することによって、実世界における移動内容が解析可能となる。その他の応用として、映画撮影時のような撮影カメラの移動履歴を保存し、そのカメラ移動を再現することも可能である。
【００５７】
また、自動走行装置に付随するカメラや、水上、水中又は空中を移動するカメラでは、人による撮影と比較した場合に、補正すべき回転量が大きくなると考えられる。このようなカメラ撮影において、本実施形態に係る回転補正機能は有効である。
【００５８】
なお、図１や図５の構成に、回転量および回転補正量のうち少なくともいずれか一方を表示するディスプレイなどの表示手段を追加することによって、利用者が直接、カメラ１１の光学系の回転補正を行うことができる。
【００５９】
（第２の実施形態）
上述の第１の実施形態では、画像の回転補正を、カメラの光学系に対する補正制御によって実現した。これに対して本実施形態では、画像データに対する補正処理によって、画像の回転補正を実現する。回転補正量の算出は、第１の実施形態と同様であり、ここでは詳細な説明は省略する。
【００６０】
図６は本実施形態に係る画像撮像装置の構成を示すブロック図である。図６において、図１と共通の構成要素には図１と同一の符号を付している。回転補正部２１は回転量検出部１３から出力された回転補正量を用いて、カメラ１１から出力された画像データの回転補正を行う。
【００６１】
図７のフローチャートを参照して、図６の構成の動作を説明する。
【００６２】
まず、カメラ１１が撮影対象を画像データに変換する（Ｓ２１）。次に、回転量検出部１３が、水平方向に対する画像の回転量を検出し、回転補正量を算出する（Ｓ２２）。ここでの算出方法は、第１の実施形態と同様であるので、説明は省略する。
【００６３】
次に、回転補正部２１が、回転量検出部１３によって算出された回転補正量に基づいて、カメラ１１から出力された画像データを回転補正し、傾きが補正された画像を出力する（Ｓ２３）。
【００６４】
ここで、画像データの回転補正は次のように行う。第１の実施形態と同様にして求めた回転補正量θを用いて、（数９）のように、画像データに回転行列をかけて、回転する。
【数９】
【００６５】
ここで、（ｘ１，ｙ１）は元の画像データの画素座標であり、（ｘ２，ｙ２）は回転補正後の画素座標である。（ｃｘ，ｃｙ）は回転の中心座標であり、これは、画像データの中心等、画像に適した中心点を適当に設定すればよい。
【００６６】
以上のように本実施形態によると、第１の実施形態と同様の作用効果が得られるのに加えて、画像データに対して回転補正処理を行うので、回転機構を持たないカメラによって撮像された画像についても、その傾きを補正することができる。
【００６７】
また、図８に示すように、第１の実施形態で説明したような領域限定部１５をカメラ１１の後段に設けてもよい。回転補正部２１によって、補正部が構成されている。これにより、第１の実施形態と同様に、画像データの特性に応じて、特徴データを検出する領域を限定することが可能となり、回転量を検出する際の精度向上を図ることができる。
【００６８】
なお、図６や図８の構成に、回転量および回転補正量のうち少なくともいずれか一方を表示するディスプレイなどの表示手段と、カメラ１１の光学系を回転させる回転機構とを追加することによって、利用者が直接、カメラ１１の光学系の回転補正を行うことができる。
【００６９】
（第３の実施形態）
本実施形態では、第１および第２の実施形態で説明した画像の回転補正機能に、動き検出による上下左右方向の動き補正を行う機能を追加する。
【００７０】
図９および図１０は本実施形態に係る画像撮像装置の構成を示す図である。図９において、図１と共通の構成要素には図１と同一の符号を付しており、図１０において、図６と共通の構成要素には図６と同一の符号を付している。
【００７１】
まず図９において、パンチルト機構３１はカメラ１１の光学系をパン（左右）チルト（上下）する。動き検出部３３はカメラ１１から出力された画像データから、動きベクトルを検出する。パンチルト制御部３２は動き検出部３３によって検出された動きベクトルを基にして、パンチルト機構３１を制御する。なお、回転機構１２による補正制御は、第１の実施形態と同様である。
【００７２】
動き検出部３３はカメラ１１から出力された画像データを受けて、上下、左右方向の動きベクトルを検出する。ここでの動きベクトルは、例えば従来と同様に、フィールド間の画像の対応関係から求められる。次にパンチルト制御部３２は、動き検出部３３によって検出された動きベクトルから、カメラ１１の揺れを検出し、カメラ１１の光学系をパンまたはチルトするパンチルト補正量を算出する。そして、パンチルト機構３１が、パンチルト補正量に基づいて、カメラ１１の光学系をパンまたはチルトする。
【００７３】
また図１０において、動き検出部３４は、回転補正部２１から出力された回転補正後の画像データから、上下、左右方向の動きベクトルを検出する。動き補正部３５は、動き検出部３４から出力された動きベクトルに基づいて、画像データの上下、左右方向の動きを補正する。なお、回転補正部２１による画像データに対する補正処理は、第２の実施形態と同様である。
【００７４】
動き検出部３４は回転補正部２１から出力された画像データから、上下、左右方向の動きベクトルを検出する。ここでの動きベクトルは、例えば従来と同様に、フィールド間の画像の対応関係から求められる。次に動き補正部３５は、入力された動きベクトルから画像データの揺れを検出し、画像データをパンまたはチルトするパンチルト補正量を算出し、パンチルト補正量に基づき、画像データを補正する。
【００７５】
以上のように本実施形態によると、画像の傾きの補正だけでなく、上下、左右方向の揺れを補正することができる。
【００７６】
なお、第１の実施形態の図１の構成の後段に、図１０の動き検出部３４および動き補正部３５を設けて、画像データの上下、左右方向の揺れを補正するようにしてもよい。
【００７７】
なお、図９や図１０の構成に、回転量および回転補正量のうち少なくともいずれか一方を表示するディスプレイなどの表示手段と、カメラ１１の光学系を回転させる回転機構とを追加することによって、利用者が直接、カメラ１１の光学系の回転補正を行うことができる。
【００７８】
（第３の実施形態の変形例）
図９および図１０の構成は、画像から回転量と動きベクトルとを検出し、カメラ１１の光学系の回転および揺れを補正するものであった。この変形例として、撮像した画像から動き量と回転量を検出し、リアルタイムで補正を行う代わりに、画像を蓄積する際に補正を行う構成も実現可能である。
【００７９】
図１１は上述した変形例に係る構成の一例を示す図である。図１１において、４１は動画を撮像するカメラ、４２はカメラ４１によって撮像された画像の所定領域の画像データを抽出する領域限定部、４３は領域限定部４２によって抽出された画像から垂直エッジを抽出する垂直エッジ抽出部、４４は垂直エッジ抽出部４３によって抽出された垂直エッジからカメラ４１の回転量を検出する回転量検出部、４５は領域限定部４２によって抽出された画像から動きベクトルを検出する動きベクトル検出部、４６は動きベクトル検出部４５によって検出された動きベクトルからカメラ４１の動き量を検出する動き量検出部、４７は回転量検出部４４によって検出された回転量と動きベクトル検出部４５によって検出された動き量から撮像画像を補正する撮像画像補正部、４８は撮像画像補正部４７によって補正された画像を出力する画像出力部である。なお、図１１の構成の動作や補正処理は、上述した各実施形態と同様であるため、詳細な説明は省略する。
【００８０】
図１２は本変形例の利用形態の一例を示す図である。図１２では、ユーザが頭部にカメラ４１を装着しており、カメラ４１によって撮像された画像データがハードディスクレコーダ４９に蓄積される。そして、図１１の構成における要素４２〜４８が、例えばハードディスクレコーダ４９内部のＣＰＵやメモリなどによって実現されており、画像データが蓄積される際に、回転量および動き量が検出され、画像の補正処理が行われる。
【００８１】
図１２に示すように、カメラ４１が頭部に装着された場合、頭部のぶれや傾きのために、特に回転量の検出が重要となり、したがって、回転量の補正を行うことによって、より閲覧しやすい動画像が蓄積される。
【００８２】
（第４の実施形態）
図１３は第４の実施形態に係る画像撮像装置の構成を示す図である。図１３において、１３１はカメラ、１３２は領域限定部、１３３は補正量算出部としての逆光検出部、１３４はアイリス制御部である。アイリス制御部１３４、およびカメラ１３１内のアイリス（図示せず）によって、補正部が構成されている。領域限定部１３２は、カメラ１３１によって撮影した画像について、逆光検出する領域を限定する。屋外における一般的な撮影では、太陽光等による照明がカメラの視野上方から照射されるため、領域限定部１３２によって、処理領域を画像内の上部領域に限定する。
【００８３】
ここで、画像の上部領域とは、以下の条件のいずれか、またはいずれかの組み合わせによって設定されるのが好ましい。
・画像の上部概略２分の１の領域の一部を含む、矩形または楕円形の領域。
・画像を公知の領域分割方法によって分割した領域のうち，その重心位置が、所定のしきい値（例えば、画像全体の中心位置）よりも上にある領域。
・上述した上部領域内の、輝度値が所定のしきい値以上の領域。
・輝度値が所定のしきい値以上の領域のうち、その重心位置が所定のしきい値（例えば、画像全体の中心位置）よりも上にある領域。
【００８４】
逆光検出部１３３は、領域限定部１３２によって限定された領域において輝度を求め、その輝度の頻度分布から、前記画像の露光状態を特徴データとして検出する。そして、画像が逆光状態であるか否かを判断し、逆光状態であると判断したとき、露光補正量を算出する。図１４は適正照明状態の場合と逆光状態の場合とにおける輝度頻度分布を模式的に表したものである。逆光状態になっているか否かは、例えば、８ビット量子化の場合、入力画像の最大輝度の値が２５５になっているか否か、または、輝度２５５の頻度がしきい値以上か否か、等によって判断する。
【００８５】
アイリス制御部１３４は、逆光検出部１３３によって逆光状態が検出されたとき、与えられた露光補正量に応じて、カメラ１３１のアイリスを制御し、入射光量を減少させる。
【００８６】
また、カメラ１３１の姿勢を検出し、検出したカメラ姿勢に応じて、上部領域の範囲を調整するようにしてもよい。例えば、カメラ１３１の光軸が概略水平のときは、処理領域を画像内の上部領域に限定し、カメラ１３１の光軸が上向きのときは、画像全体を処理領域とし、カメラ１３１の光軸が下向きのときは、画像内の高輝度領域を処理領域とすればよい。また、カメラ１３１の姿勢は、例えばジャイロセンサ等の手段によって検出することができる。
【００８７】
図１５はこのような動作を実現する画像撮像装置の構成を示す図であり、図１３と共通の構成要素については、図１３と同一の符号を付しており、ここでは詳細な説明を省略する。
【００８８】
姿勢検出部１５１は、例えばジャイロ等の加速度センサを有しており、カメラ１３１の姿勢を検出する。ＬＰＦ部１６１は、姿勢検出部１５１によって検出されたカメラの姿勢情報を時間方向に平滑化する。領域限定部１３２Ａは、姿勢検出部１５１による姿勢検出結果に応じて、画像内の限定領域を調整する。
【００８９】
なお、ＬＰＦ部１６１を設けることによって、カメラ１３１の姿勢が、急激に変化したり、短い周期で繰り返し変化したりする場合に、画像に対する最終的な処理結果が時間方向に激しく変化することを防ぐことができる。すなわち、カメラ１３１の姿勢が急激に変化したり、短い周期で繰り返し変化したりする場合、領域限定部１３２Ａによって限定される領域も激しく変化する。その結果、画像に対する最終的な処理結果も時間方向に激しく変化することになり、観察者に違和感や不快感を与える可能性がある。これを防ぐためには、検出されたカメラの姿勢情報に対して、時間方向の変化に制約を課せばよい。なお、ＬＰＦ部１６１を省いてもかまわない。
【００９０】
以上説明したように、本実施形態によると、逆光検出を行う対象領域を画像の上部領域に限定することによって、安定した逆光補正を行うことができる。
【００９１】
なお、本実施形態では、露光補正として逆光補正を行うものとしたが、逆光補正に限らず、過順光補正等の他の露光補正においても、一般に上方からの照明下での撮影時には、検出対象領域を画像の上部領域に限定することによって、安定した補正を行うことができる。
【００９２】
また、カメラの光学系に対して補正制御を行う代わりに、得られた画像データに対して、輝度補正などの補正処理を行うようにしてもかまわない。
【００９３】
また、上述した回転補正の場合でも、カメラの姿勢を検出し、検出したカメラ姿勢に応じて、上部領域の範囲を調整するようにしてもよい。
【００９４】
（第５の実施形態）
図１６は本発明の第５の実施形態に係る画像撮像装置の構成例であり、複数の撮像手段によって画像を取得する構成を示す図である。図１６において、５１ａ，５１ｂは動画を撮像する第１および第２のカメラ、５２ａ，５２ｂは第１および第２のカメラ５１ａ，５１ｂによってそれぞれ撮像された画像の所定領域の画像情報を抽出する第１および第２の領域限定部、５３ａ，５３ｂは第１および第２の領域限定部５２ａ，５２ｂによってそれぞれ抽出された画像から垂直エッジを抽出する第１および第２の垂直エッジ抽出部、５４ａ，５４ｂは第１および第２の垂直エッジ抽出部５３ａ，５３ｂによってそれぞれ抽出された垂直エッジから第１および第２のカメラ５１ａ，５１ｂの回転量を検出する第１および第２の回転量検出部、５５は第１および第２の回転量検出部５４ａ，５４ｂによって検出された回転量を合成する回転量合成部、５６ａ，５６ｂは回転量合成部５５によって合成された回転量から第１および第２のカメラ５１ａ，５１ｂの回転量を算出し、撮像画像をそれぞれ補正する第１および第２の撮像画像補正部、５７は第１および第２の撮像画像補正部５６ａ，５６ｂによって補正された画像を合成する画像合成部である。
【００９５】
図１７は本実施形態の利用態様の一例を示す図である。図１７（ａ），（ｂ）に示すように、ユーザが頭部の左右に、第１のカメラ５１ａ（カメラ１）と第２のカメラ５１ｂ（カメラ２）とを装着しており、カメラ１，カメラ２によって撮像された画像データがハードディスクレコーダ５９に蓄積されている。そして、画像データが蓄積される際に、例えばハードディスクレコーダ５９内部のＣＰＵやメモリなどによって、回転量が検出され、画像の補正処理が行われる。
【００９６】
図１７（ｃ）に示すように、ユーザは、頭部の左右に装着したカメラ１，カメラ２を用いて、前方の画像を撮像することができる。カメラ１，カメラ２の視野角には重なりがあるため、撮像された画像には共通の部分が存在する。カメラ１，カメラ２は、ともに頭部に装着されているため、物理的な回転量はほぼ同一になる。しかしながら、撮像されている画像内容が異なるため、その回転補正量は異なる場合がある。そこで、本実施形態では、カメラ１，カメラ２から取得された画像の回転補正量から、頭部の回転角度を検出し、検出した回転角を用いてそれぞれの画像の補正を行う。
【００９７】
図１８は本実施形態に係る回転補正量の合成を概念的に示す図である。図１８の各グラフは上述の評価関数Ｊの分布を示すものであり、（ａ）はカメラ１の画像における分布、（ｂ）はカメラ２の画像における分布、（ｃ）は合成後の分布である。
【００９８】
図１８（ａ）に示すように、カメラ１の画像において、評価関数Ｊが極大となる角度は「−８°」「＋１２°」であり、一方、図１８（ｂ）に示すように、評価指標Ｊが極大となる角度は「−１０°」である。この場合、例えばカメラ１の画像のみを利用して画像を補正する回転角を決定すると、「＋１２°」となる。これに対して本実施形態では、カメラ１とカメラ２の画像の両方を用いて画像の回転角を検出するので、図１８（ｃ）に示すように、回転角として「−９°」が決定される。
【００９９】
この結果、カメラ１，カメラ２によってそれぞれ撮像された画像を、ともに、「−９°」の回転角で補正を行う。すなわち、同一部位に装着されたカメラについて、各カメラの回転補正量を合成することによって、より適切な補正量で画像を補正することができる。
【０１００】
そして、カメラ１，カメラ２の画像を、より適切な補正量を用いて補正することによって、図１９に示すように、画像を合成することが可能になる。すなわち、回転補正された広角な画像を得ることができる。なお、ここでの画像合成は、例えば、２枚の画像間で重なりのある領域について、画像間の画素値の差が小さくなるように、行う。
【０１０１】
なお、本実施形態では、画像の回転補正量を合成する場合を例にとって説明したが、同様にして、動きベクトルを検出して動き量を合成することによって、パン・チルトの適切な補正量を得ることも可能である。
【０１０２】
なお、本実施形態では、複数のカメラが頭部の左右に装着された場合を例にとって説明したが、本発明はこれに限られるものではなく、例えば、複数のカメラが人体の胸部等に装着されており、その相対位置が固定されている場合には、有効に機能する。
【０１０３】
また、本実施形態では、垂直エッジを抽出する領域を、領域限定部５２ａ，５２ｂによって限定するものとしたが、領域限定部は必ずしも必須ではなく、画像全領域から垂直エッジを抽出するようにしてもかまわない。
【０１０４】
（第６の実施形態）
上述の第５の実施形態では、各カメラ画像から求めた回転補正量から、より適切な回転補正量を取得し、この回転補正量を用いて補正を行った後、画像合成を行った。しかしながら、カメラが装着された場所等によっては、各カメラ画像を合成すべきでない場合もある。そこで本実施形態では、複数のカメラ画像について、回転補正量を基にして、合成すべきか否かを判断するものである。
【０１０５】
図２０は本実施形態に係る画像撮像装置の構成例を示す図である。図２０において、図１６と共通の構成要素には図１６と同一の符号を付している。６１は回転量検出部５４ａ，５４ｂによってそれぞれ検出された回転量から画像を合成すべきか否かを判断する画像合成判定部、６２ａ，６２ｂは第１および第２のカメラ５１ａ，５１ｂによってそれぞれ撮像された画像を、第１および第２の回転量検出部５４ａ，５４ｂによってそれぞれ検出された回転量を用いて回転補正する第１および第２の撮像画像補正部、６３は画像合成判定部６１による判定を基にして、第１および第２の撮像画像補正部６２ａ，６２ｂによってそれぞれ補正された画像を合成する画像合成部である。
【０１０６】
図２１は本実施形態の利用態様の一例を示す図である。図２１（ａ），（ｂ）に示すように、ユーザが、第１のカメラ５１ａ（カメラ１）を胸部に装着し、また、第２のカメラ５１ｂ（カメラ２）を頭部に装着している。そして、カメラ１，カメラ２によって撮像された前方の画像データがハードディスクレコーダ５９に蓄積されている。そして、画像データが蓄積される際に、例えばハードディスクレコーダ５９内部のＣＰＵやメモリなどによって、回転量が検出され、画像の補正処理が行われるとともに、画像合成の可否が判断されている。
【０１０７】
図１７の態様では、カメラ１，カメラ２がともに頭部に装着されていたため、画像の補正量はほぼ同一とみなされる。そして、補正後の各画像を合成することによって、広角の画像を得ることができる。しかしながら図２１のように、カメラ１を胸部、カメラ２を頭部というように異なる部位に装着した場合は、例えば、頭だけ横を向いたようなとき、カメラ１とカメラ２の向きが異なってしまい、このような場合は、画像合成することは適切ではない。
【０１０８】
そこで、本実施形態では、各カメラの回転補正量から、画像合成を行うか否かを判断する。図２２は本実施形態に係る画像合成の可否判断を概念的に示す図である。図２２の各グラフは上述の評価関数Ｊの分布を示すものである。図２２（ａ）の場合、カメラ１の回転補正の角度は「−８°」、カメラ２の回転補正の角度は「−１０°」となっており、比較的近い値である。このとき、カメラ１，カメラ２は同一の方向を向いていると判断し、画像合成を行う。一方、図２２（ｂ）の場合、カメラ１の回転補正の角度は「＋１１°」、カメラ２の回転補正の角度は「−１２°」となっており、大きく異なっている。このとき、カメラ１，カメラ２は異なる方向を向いていると判断し、画像合成を行わない。カメラ１，カメラ２の向きが同一か異なっているかを判断するためには、例えば、回転補正角の差を適当な閾値と比較すればよい。
【０１０９】
このように、回転補正角を基にして、各カメラで撮像した画像を合成するか否かを判断することによって、図２３に示すように、カメラが異なる方向を向いているときは画像合成を行わないで（図２３（ａ））、カメラが同一方向を向いているときは画像合成を行い、より広角の画像を得ることができる。
【０１１０】
なお、本実施形態では、画像合成の可否を、回転補正角の差によって判断したが、この代わりに、例えば動きベクトルを用いて判断することも可能である。すなわち、各カメラ画像から動きベクトルを検出し、動きベクトルの差が大きいときは合成を行わないで、差が小さいときは画像合成を行うようにすればよい。また、輝度や順光度を用いて画像合成の可否を判断することも可能である。さらに、各画像の特徴量を用いて、画像合成の可否を判断してもよい。
【０１１１】
また、本実施形態では、２個のカメラを用いた例を示したが、図２４に示すように、３台またはそれ以上の台数のカメラを用いてもよい。図２４の態様では、ユーザは、カメラ１を頭部の上に装着し、また、カメラ２，カメラ３を頭部の左右に装着している。また、全てのカメラが人体に装着されている必要は必ずしもなく、例えば、小型ムービーと人体に装着されたカメラとの組合せであっても、本実施形態は適用可能である。
【０１１２】
また、本実施形態でも、垂直エッジを抽出する領域を限定する必要は必ずしもなく、画像全領域から垂直エッジを抽出するようにしてもかまわない。
【０１１３】
（第７の実施形態）
上述の第５の実施形態では、各カメラについてそれぞれ回転補正量を検出した後、これらの回転補正量を合成して、より適切な補正量を求めた。これに対して、複数のカメラを用いた構成において、１個のカメラの撮像画像から得られた回転補正量を、他のカメラの回転補正に利用することも考えられる。
【０１１４】
特に、最近では、図２５に示すような、両面にカメラ７１ａ（カメラ１），カメラ７１ｂ（カメラ２）が装着された携帯電話７０が実用化されている。このような装置では、一方のカメラ７１ｂが近距離にある自分の顔を撮像しているとき、他方のカメラ７１ａは反対側の遠距離にある人工物を撮像している場合が多い。この場合、遠距離を撮影するカメラ７１ａの画像から検出した回転補正量を、近距離を撮影するカメラ７１ｂの回転補正に利用することによって、カメラ７１ｂの撮像画像に対してより適切に回転補正を行うことができる。
【０１１５】
図２６は本実施形態に係る画像撮像装置の構成例を示す図である。図２６において、７１ａ，７１ｂは動画を撮像する第１および第２のカメラ、７２は第１のカメラ７１ａによって撮像された画像の所定領域の画像情報を抽出する領域限定部、７３は領域限定部７２によって抽出された画像から垂直エッジを抽出する垂直エッジ抽出部、７４は垂直エッジ抽出部７３によって抽出された垂直エッジから第１のカメラ７１ａの回転量を検出する回転量検出部、７５は第２のカメラ７１ｂによって撮像された画像を、回転量検出部７４によって検出された回転量を用いて補正する撮像画像補正部である。
【０１１６】
図２５の携帯電話７０では、第１および第２のカメラ７１ａ，７１ｂの相対位置は固定されているため、表側のカメラ７１ｂの画像が傾いているとき、裏側のカメラ７１ａの画像も傾いている。また、一方のカメラにおいて手ぶれが起きたとき、他方のカメラでも手ぶれがおきる。
【０１１７】
したがって、図２７に示すように、裏側のカメラ１によって撮像された画像（ａ）の回転補正量を用いて、表側のカメラ２によって撮像された顔画像の回転補正を行う（ｂ，ｃ）。すなわち、カメラ２の画像は、近距離を撮したものであり、遠距離の人工物を撮していないため、適切に回転補正が行なわれない場合がある。しかしながら、遠距離を撮す他のカメラの撮像画像から検出した回転補正角を用いることによって、より適切に回転補正を行うことができる。
【０１１８】
なお、上述した各実施形態における画像撮像装置の各手段、または画像撮像方法の各処理の全部または一部を、専用のハードウェアを用いて実現してもかまわないし、コンピュータのプログラムによってソフトウェア的に実現してもかまわない。また、処理の全部または一部をプログラムによって実現した場合、このプログラムを、フレキシブルディスク、光ディスク、ＩＣカードおよびＲＯＭカセットなどの記録媒体に記録して移送することにより、独立した他のコンピュータシステムにおいて容易に実施することができる。
【産業上の利用可能性】
【０１１９】
本発明は、カメラによって撮影した画像を、従来よりも適切に、補正可能にするので、通常の画像撮像システムや、カメラを頭部や衣服に装着するウェラブルシステムなどにおいて、より見やすい画像を得ることができ、有効である。
【図面の簡単な説明】
【０１２０】
【図１】本発明の第１の実施形態に係る画像撮像装置の構成を示すブロック図である。
【図２】図１の画像撮像装置の動作を示すフローチャートである。
【図３】（ａ）は補正前の画像、（ｂ）は（ａ）の画像から抽出された垂直エッジ、（ｃ）は補正後の画像である。
【図４】画像データをｘｙ座標に変換した図である。
【図５】本発明の第１の実施形態に係る，領域限定を行う画像撮像装置の構成を示すブロック図である。
【図６】本発明の第２の実施形態に係る画像撮像装置の構成を示すブロック図である。
【図７】図６の画像撮像装置の動作を示すフローチャートである。
【図８】本発明の第２の実施形態に係る，領域限定を行う画像撮像装置の構成を示すブロック図である。
【図９】本発明の第３の実施形態に係る画像撮像装置の構成を示す図である。
【図１０】本発明の第３の実施形態に係る画像撮像装置の構成を示す図である。
【図１１】本発明の第３の実施形態の変形例に係る構成の一例を示す図である。
【図１２】本発明の第３の実施形態の変形例の利用形態の一例を示す図である。
【図１３】本発明の第４の実施形態に係る画像撮像装置の構成を示す図である。
【図１４】適正照明状態の場合と逆光状態の場合とにおける輝度頻度分布を模式的に表した図である。
【図１５】本発明の第４の実施形態に係る画像撮像装置の構成の他の例を示す図である。
【図１６】本発明の第５の実施形態に係る画像撮像装置の構成例を示す図である。
【図１７】本発明の第５の実施形態の利用形態の一例を示す図である。
【図１８】本発明の第５の実施形態に係る回転補正量の合成を概念的に示す図である。
【図１９】本発明の第５の実施形態に係る画像合成の例である。
【図２０】本発明の第６の実施形態に係る画像撮像装置の構成例を示す図である。
【図２１】本発明の第６の実施形態の利用態様の一例である。
【図２２】本発明の第６の実施形態に係る画像合成の可否判断を概念的に示す図である。
【図２３】本発明の第６の実施形態に係る画像合成の例である。
【図２４】本発明の第６の実施形態の利用態様の他の例である。
【図２５】両面にカメラが装着された携帯電話の外観図である。
【図２６】本発明の第７の実施形態に係る画像撮像装置の構成例を示す図である。
【図２７】本発明の第７の実施形態に係る回転補正の例である。

Claims (7)

1. カメラによって画像を撮像する第１のステップと、
   前記第１のステップにおいて撮像した画像の上部領域において、当該画像の特徴データを検出し、この特徴データから補正量を算出する第２のステップと、
   前記第２のステップにおいて算出された補正量を基にして、前記カメラの光学系に対する補正制御、または、前記画像の画像データに対する補正処理を行う第３のステップとを備え、
   前記第２のステップは、
   前記上部領域において、鉛直エッジ成分を抽出し、
   この鉛直エッジ成分を基にして、前記画像の回転量を、前記特徴データとして検出し、
   前記回転量を基にして、前記画像の回転補正量を算出するものである
   ことを特徴とする画像撮像処理方法。
2. 請求項１において、
   前記第２のステップにおいて、
   前記回転補正量を、現時刻の回転量と、前の時刻の回転量とを用いて、算出する
   ことを特徴とする画像撮像処理方法。
3. 請求項１において、
   前記第２のステップは、
   前記上部領域において、回転量に加えて、動きベクトルを、前記特徴データとして検出し、
   前記動きベクトルを基にして、前記画像の動き補正量を、算出するものである
   ことを特徴とする画像撮像処理方法。
4. カメラによって画像を撮像する第１のステップと、
   前記第１のステップにおいて撮像した画像の上部領域において、当該画像の特徴データを検出し、この特徴データから補正量を算出する第２のステップと、
   前記第２のステップにおいて算出された補正量を基にして、前記カメラの光学系に対する補正制御、または、前記画像の画像データに対する補正処理を行う第３のステップとを備え、
   前記第２のステップにおいて、
   前記上部領域において、輝度を求め、
   求めた輝度を基にして、前記画像の露光状態を、前記特徴データとして検出し、
   前記露光状態を基にして、露光補正量を算出するものであり、
   前記露光補正は、逆光補正または過順光補正である
   ことを特徴とする画像撮像処理方法。
5. 複数のカメラによって画像をそれぞれ撮像する第１のステップと、
   前記第１のステップにおいて撮像した各画像の上部領域において、当該画像の回転量をそれぞれ検出する第２のステップと、
   前記第２のステップにおいて検出した各画像の回転量を、合成する第３のステップと、
   前記第３のステップにおいて得られた合成回転量を基にして、前記各画像に対して、回転補正処理をそれぞれ行う第４のステップと、
   前記第４のステップにおいて回転補正処理がなされた各画像を合成し、合成画像を得る第５のステップとを備えた
   ことを特徴とする画像撮像処理方法。
6. 複数のカメラによって画像をそれぞれ撮像する第１のステップと、
   前記第１のステップにおいて撮像した各画像の上部領域において、当該画像の回転量をそれぞれ検出する第２のステップと、
   前記第２のステップにおいて検出した各画像の回転量から、各画像を合成するか否かを判断する第３のステップと、
   前記第３のステップにおいて合成すると判断したとき、各画像を合成し、合成画像を得る第４のステップとを備えた
   ことを特徴とする画像撮像処理方法。
7. 第１および第２のカメラによって画像をそれぞれ撮像する第１のステップと、
   前記第１のステップにおいて前記第１のカメラによって撮像された第１の画像について、その上部領域において、当該第１の画像の回転量を検出する第２のステップと、
   前記第２のステップにおいて検出した回転量を基にして、前記第２のカメラによって撮像された第２の画像に対して、回転補正処理を行う第３のステップとを備えた
   ことを特徴とする画像撮像処理方法。