JPWO2015087772A1 - 画像処理装置及び方法、並びにプログラム及び記録媒体 - Google Patents

Abstract

電子的にパン、チルト、ズームを実現するカメラにおいて、各フレーム期間（ｎ−１）に検出された輝度に基づいて、２フレーム期間後（ｎ＋１）の露光の条件、及び３フレーム期間後（ｎ＋２）のデジタルゲインを設定する。あるフレーム期間（ｎ−１）に、切り出し領域の変更の指示を受けた場合に、３フレーム期間後に切り出し領域を変更する。画像の切り出し領域の切り替えを行っても、画像の輝度の変動が少ない、安定した露光制御を行うことができる。

Description

本発明は、画像処理装置及び方法に関し、特に広角レンズ、例えば魚眼レンズを用いた広い画角での撮像により得られた画像から一部の領域を切り出し、拡大して表示するとともに、切り出し領域の位置、大きさを切り替えることによって画像のパン、チルト、或いはズームを行う監視カメラに適用するのに適した画像処理装置及び方法、特にその露光制御技術に関する。本発明はまた、画像処理装置の構成要素の一部又は全部、或いは画像処理方法における処理の一部又は全部をコンピュータに実行させるためのプログラム及び該プログラムを記録した記録媒体に関する。

撮像により得られた画像の一部を切り出して表示するとともに、切り出し領域の位置及び大きさを可変とするカメラが特許文献１に記載されている。特許文献１では、画像の一部を切り出して表示する場合に、切り出した領域の輝度情報ではなく、画面全体の輝度情報を用いて露光制御を行うことで、局所的な被写体の輝度変動の影響を受けにくくしている。

特開平４−２３５７６号公報（第１４−２０頁、第１図）

しかしながら、特許文献１の記載のように、常に切り出し前の画像を用いた露光制御を行う場合、露光制御の結果得られる画像は輝度の大きな変動がなく安定するものの、例えば輝度が領域毎に大きく異なるような被写体条件において、低輝度領域のみを切り出して表示した場合に表示画面全体が暗くなり、画像の視認性が低下し、逆に高輝度領域のみを切り出して表示した場合に、画像に白飛び、或いは画素値の飽和が発生し、被写体の視認性が低下する。

この問題を解決するためには、切り出し後の画像領域を参照して露光処理を行う必要があるが、画像のパン、チルト、或いはズームの設定を高速に切り替えた場合、参照する画像領域が頻繁に変化し、輝度情報もその都度変化するため、輝度情報を参照して行う露光制御処理が不安定になると言う問題、及び切り替え時に表示画像の明るさが変化するという問題がある。

上記を鑑みて本発明の目的は、広い画角を持つレンズを用いて撮像を行うことで得られた画像の切り出し領域の位置、大きさを切り替えながら、切り出し、拡大、歪補正を行うことで、電子的にパン、チルト、或いはズームを行う画像処理装置において、画像の切り出し領域の切り替えを行っても画像の輝度の変動が少ない安定した露光制御を行うことである。

本発明の画像処理装置は、
フレーム期間単位で撮像する撮像部から出力された撮像信号に対し、デジタルゲインを乗算して輝度が調整された撮像信号を生成するデジタルゲイン適用部と、
前記デジタルゲイン適用部により生成された撮像信号で表される撮像画像の、それぞれ一部をなす複数の領域の、領域毎の輝度を検出する輝度検出部と、
切出し領域を指定する指定情報に応じて、前記撮像画像の複数の領域の一つを選択して、選択した領域の画像を切り出して、歪補正を行う切り出し部と、
前記輝度検出部で検出された輝度に基づいて、前記撮像部に対して露光の条件を設定し、前記デジタルゲイン適用部で用いる前記デジタルゲインを設定する制御部とを備え、
前記制御部は、
第１のフレーム期間に、前記指定情報が第１の領域を指定する情報から第２の領域を指定する情報へ変更された場合に、
前記第１のフレーム期間の次のフレーム期間に、前記露光の条件の設定及び前記デジタルゲインの設定に用いる輝度を、前記第１の領域の輝度から前記第２の領域の輝度に変更し、
前記切り出し部に対して前記第１のフレーム期間から３フレーム期間経過後に、前記撮像信号から切り出す領域を前記第１の領域から前記第２の領域に変更することを指示する
ことを特徴とする。

本発明によれば、画像の切り出し領域の切り替えを行なっても画像の輝度の変動が少ない安定した露光制御を行うことができる。

本発明の実施の形態１の画像処理装置を備えた画像生成装置を示すブロック図である。 広角レンズを用いた撮像における画像の投影及び歪補正の例を示す図である。 （ａ）〜（ｄ）は、仮想球面上の画像の撮像面への投影、複数の領域への分割、及び複数の領域の画像の合成を示す図である。 （ａ）〜（ｋ）は、実施の形態１の各部における処理のシーケンスの一例を示す図である。 （ａ）〜（ｋ）は、従来の画像処理装置の各部における処理のシーケンスを示す図である （ａ）〜（ｋ）は、実施の形態１の各部における処理のシーケンスの他の例を示す図である。 （ａ）〜（ｄ）は、本発明の実施の形態２における、切り出し領域と、切出し領域の輝度の計算に用いられる複数の区域の関係を示す図である。

実施の形態１．
図１は本発明の実施の形態１の画像処理装置を備えた画像生成装置１０を示す。図示の画像生成装置１０は、広角画像取得部１２と、画像処理装置１４とを備える。
広角画像取得部１２は、広角レンズ２０と、撮像部３０とを有する。
画像処理装置１４は、デジタルゲイン適用部４０と、輝度検出部５０と、画像生成部６０と、切り出し部７０と、画像合成部８０とを有する。

広角レンズ２０は、例えば魚眼レンズで構成され、広い画角の画像を撮像部３０の撮像面に結像させる。
魚眼レンズによる撮像は、図２に示すように、実空間内の被写体ＯＪの仮想球面ＰＬへの投影、仮想球面ＰＬから平面状の撮像面ＳＬへの投影として把握することができる。撮像面ＳＬ上の画像に対しては、画像の用途に応じた画像への補正、例えば、通常の撮像で得られる画像、即ち透視投影法で得られる画像ＮＬに近付けるための補正（歪補正）が行われる。

撮像部３０は結像した画像を電子データに変換して出力する画像センサで構成されている。撮像部３０は予め定められたフレーム期間単位で、即ちフレーム期間毎に、撮像画像を生成するものであり、各フレーム期間における露光による電荷蓄積で生成された撮像画像を表す撮像信号を次のフレーム期間に出力する。撮像部３０は、Ｒ画素、Ｇ画素、Ｂ画素がベイヤ配列されたものであり、これらのＲ画素、Ｇ画素、Ｂ画素で得られたそれぞれの画素値（色信号）によって上記の撮像信号が構成される。撮像部３０は露光時間及びゲイン（アナログゲイン）を変更可能であり、露光時間とゲインを変更することによって、撮像画像の明るさを調整することができる。

デジタルゲイン適用部（デジタル増幅器）４０は撮像部３０からの撮像信号に対してゲイン（デジタルゲイン）を乗算する（ゲイン倍率を適用する）。乗算に使用されるゲインは変更可能であり、撮像部３０と同様にゲインを制御することによりデジタルゲイン適用部４０から出力される画像の明るさを調整可能である。上記のように撮像部３０では、あるフレーム期間（第１のフレーム期間）にある露光条件で露光を行うことで生成された撮像信号が、次のフレーム期間（第２のフレーム期間）に出力される。各フレーム期間におけるデジタルゲイン適用部４０でのデジタルゲインの乗算は、前のフレーム期間における撮像部３０での露光の結果生成され、撮像部３０から入力された撮像信号を対象としている。

制御部１００は、撮像面ＳＬ上の画像を複数の領域に分割し、分割により生成された領域毎に輝度検出を行うことを、輝度検出部５０に指示する。
輝度検出部５０は、制御部１００による分割で生成された領域毎に輝度の検出を行う。輝度の検出は、領域毎の平均画素値の算出により行われる。本実施の形態では、各フレーム期間において、すべての分割領域について輝度を検出する。
各フレーム期間における、各領域についての平均画素値の算出は、当該フレーム期間の最後までに、即ち次のフレーム期間の開始前には完了する。

画像生成部６０は、デジタルゲイン適用部４０から出力される画像のうち、撮像部３０の画素がベイヤ配列されたものであるために各画素位置において欠落している色成分の信号を色補間処理によって生成し、各画素位置においてすべての色成分の信号を有する映像信号を生成するとともに、被写体の照度条件に合わせた色補正、エッジ強調等の画像処理を行う。

切り出し部７０は画像生成部６０から出力される画像のうち、制御部１００による分割で形成された複数の領域のうちの一つの領域を選択し、選択した領域の画像を切り出し、歪補正と拡大を行う。

画像合成部８０は、切り出し部７０から順次出力される複数の領域の画像を組み合わせて、それぞれの領域が対応する画角よりも広い画角に対応する一枚の画像に合成する。

制御部１００による画像の分割を撮像面ＳＬ上の画像について表すと例えば図２及び図３（ｂ）に点線で示す如くとなる。切り出し部７０による切り出しは、図３（ｂ）に示される領域、例えば領域Ｒ１、Ｒ２、…のいずれか一つを切り出す処理である。
図３（ｂ）の撮像面ＳＬ上の領域Ｒ１、Ｒ２、…は仮想球面ＰＬ上の領域Ｒ１、Ｒ２、…に対応する。
切り出し部７０による歪補正は撮像面ＳＬ上の画像を、用途に応じた画像、例えば透視投影によって得られる画像ＮＬ（図２）に近い画像に変換する処理である。

画像合成部８０による合成は、切り出し部７０により順次切り出され、歪補正された複数の領域の画像、例えば図３（ｃ）に示す領域Ｒ１〜Ｒ６の画像を、図３（ｄ）に示すように連結して一枚の画像とする処理である。連結の対象となる領域は図３（ａ）では枠ＣＲで示す範囲内の領域に対応する。

制御部１００は、外部から切り出し領域を指定する指定情報ＤＲを受け、この指定に応じて撮像部３０、デジタルゲイン適用部４０、輝度検出部５０、画像生成部６０、切り出し部７０、及び画像合成部８０に対して、切り出し領域の切り替え、及び画像の合成のための制御を行う。
指定情報ＤＲによる切り出し領域の指定は、切り出し領域の位置、例えば中心の位置を示す情報、及び切り出し領域の大きさを示す情報が含まれる。また、複数の領域に予め識別番号が付されている場合には、該識別番号を示す情報が含まれ、この情報に基づいて制御部１００で、切り出すべき領域を特定する。

制御部１００はまた、画像生成部６０に対して、被写体の照度条件に合わせた色補正、エッジ強調等の画像処理の条件を設定し、これらの処理の制御を行う。
被写体の照度条件は、例えば輝度検出部５０で検出された輝度値から推定したものであっても良い。
制御部１００はさらに、画像合成部８０に対して、画像の合成に関する制御を行う。

制御部１００はさらにまた、輝度検出部５０から出力される輝度検出結果（画素平均値）を取得し、取得した輝度検出結果に基づいて、撮像部３０に対する露光条件の設定、及びデジタルゲイン適用部４０に対するデジタルゲインの設定を行う。
撮像部３０に対する露光条件の設定は、露光時間の設定とゲイン（アナログゲイン）の設定を含む。

図４（ａ）〜（ｋ）は制御部１００、撮像部３０、デジタルゲイン適用部４０、及び輝度検出部５０の動作シーケンスを示したものである。
図４（ａ）〜（ｋ）には、ある領域（第１の領域）Ａから別の領域（第２の領域）Ｂへの切り替えに際しての、フレームｎ−４からｎ＋３までの８フレーム期間における動作が示されている。領域Ａ及びＢは例えばそれぞれ領域Ｒ１〜Ｒ６のいずれかである。

図４（ａ）〜（ｋ）は、フレームｎ−１において、領域切り替えの指示があった場合を想定している。
図４（ａ）には、切り出し部７０により切り出される領域が示されている。図示の例では、フレームｎ＋１までは領域Ａが切り出され、フレームｎ＋２以降は領域Ｂが切り出される。
図４（ｂ）、（ｃ）、（ｄ）及び（ｅ）には、制御部１００の処理が示されている。
図４（ｂ）には、輝度検出部５０による輝度検出の結果を取得する処理が示されている。

上記のように、本実施の形態では、各フレームにおいてすべての領域の輝度が検出されるが、制御部１００はそのうちの１つの領域についての検出結果のみを取得し、設定値の演算に利用する。
図示の例では、フレームｎ−１までは領域Ａについての輝度検出結果、フレームｎ以降は領域Ｂについての輝度検出結果が取得される。

図４（ｃ）には、図４（ｂ）における処理で取得した輝度検出結果に基づく設定値の演算が示され、図４（ｄ）には、図４（ｃ）における演算の結果算出された露光条件（露光時間、アナログゲイン）の設定値の撮像部３０に対する設定が示され、図４（ｅ）には、図４（ｃ）における演算の結果算出されたデジタルゲイン設定値のデジタルゲイン適用部４０に対する設定が示されている。
図４（ｆ）には、各フレームにおける画像有効期間ＶＡ及び垂直ブランキング期間ＢＬが示されている。

図４（ｂ）〜（ｅ）において、各処理を示すブロックの時間軸方向の位置は、各処理が行われるタイミングを概略的に示す。
また、図４（ｂ）〜（ｊ）において、一つの処理から別の処理への矢印を付けた線は、各処理で得られた結果を表す情報乃至信号の別の処理への伝達を示す。

図４（ｂ）の輝度検出結果取得の処理は、各フレームの開始時に行われる。各フレームにおいて取得される輝度検出結果は、直前のフレームにおける画素値の平均値の算出により得られたものである。どの領域の輝度検出結果を取得するかは、各フレームの開始時に決まるので、その前のフレームではすべての領域の輝度を検出しておく。

図４（ｃ）の設定値演算の処理は、図４（ａ）の処理の後に、同じフレーム期間内に行われる。
図４（ｄ）及び図４（ｅ）の撮像部３０に対する露光条件の設定及びデジタルゲイン適用部４０に対するデジタルゲインの設定の処理は図４（ｃ）の処理の後に同じフレーム期間内に、具体的には、当該フレーム期間の最後の垂直ブランキング期間ＢＬ内に行われる。
ブランキング期間ＢＬ内に設定の処理を行うことで、画像有効期間ＶＡ内に設定が変更されて同じフレーム内で画像の明るさに変化が生じるのを避けることができる。

図４（ｇ）及び図４（ｈ）には、撮像部３０における処理が示されている。
図４（ｇ）には、露光処理が示され、図４（ｈ）には、データ出力が示されている。

図４（ｉ）には、デジタルゲイン適用部４０におけるデータ出力が示され、図４（ｊ）には、輝度検出部５０による輝度の検出（そのための画素値の計測）が示されている。
先にも述べたように、本実施の形態では、各フレームにおいて、すべての領域の輝度の検出が行われるので、そのことを示すため図４（ｊ）には「全領域」と記載され、次のフレームの先頭で、輝度値検出結果の取得の対象となる領域が、図４（ｊ）に「全領域」の文字の次の括弧内に示されている。
図示の例では、フレームｎ−２まではそれぞれのフレームでの領域Ａの輝度検出結果が次のフレームで取得され、フレームｎ−１以降は、それぞれのフレームでの領域Ｂの輝度検出結果が、次のフレームの先頭で取得される。

以下輝度検出部５０による輝度検出結果に基づいて撮像部３０に対する露光条件の設定、デジタルゲイン適用部４０に対するデジタルゲインの設定が行われ、これらの設定の結果に応じて得られたデータが出力されるまでの（輝度検出結果が出力データに反映されるまでの）過程を説明する。

例えば、フレームｎ−４において領域Ａを含むすべての領域の輝度が検出され（図４（ｊ））、領域Ａの輝度検出結果がフレームｎ−３の開始時に制御部１００に取得され（図４（ｂ））、同じフレームｎ−３内に、設定値の演算（図４（ｃ））、撮像部３０に対する設定（図４（ｄ））、及びデジタルゲイン適用部４０に対する設定（図４（ｅ））が行われ、これらの設定に応じて、次のフレームｎ−２における撮像部３０の露光（図４（ｇ））が行われ、露光の結果生成された撮像信号がさらに次のフレームｎ−１に撮像部３０から出力され、同じフレームｎ−１でデジタルゲイン適用部４０によるデジタルゲインの乗算（図４（ｉ））が行われる。

このように、フレームｎ−１には、フレームｎ−３で設定された露光条件で行われたフレームｎ−２での露光により得られたデータが撮像部から出力され（図４（ｈ））、このデータに対して同じくフレームｎ−３で設定されたデジタルゲインが乗算される。
輝度検出結果の取得（フレームｎ−３）から、取得結果に基づいて設定された露光条件での露光、及びデジタルゲインの乗算の結果生成されたデータの出力（フレームｎ−１）までに２フレーム期間の遅れがある。

本発明では、あるフレーム、例えばフレームｎ−１中に切り出し領域Ｂへの切り替えの指示（指定領域の変更）があると（図４（ｋ））、制御部１００は次のフレームｎで、輝度検出結果取得の対象を領域Ｂに切り替え（フレームｎ−１における領域Ｂの輝度検出結果を取得し）、それよりも２フレーム後（切り替えの指示から３フレーム後）のフレームｎ＋２から切り出し領域を領域Ｂに切り替える（図４（ａ））。
切り出し領域切り替えの指示のあったフレームの次のフレームｎの先頭で輝度検出結果取得の対象を切り替えることができるのは、各フレームにおいて、すべての領域の輝度情報を検出しているためである。

切り出し領域の切り替え前のフレームｎ＋１においては、領域Ａが切り出されるが、このフレームｎ＋１では、フレームｎ−１において取得した領域Ａの輝度検出結果に基づいて設定された露光条件による露光（フレームｎ）及びデジタルゲインの乗算（フレームｎ＋１）の結果得られたデータが出力される。
一方、切り出し領域の切り替え後のフレームｎ＋２においては、領域Ｂが切り出されるが、このフレームｎ＋２では、フレームｎにおいて取得した領域Ｂの輝度検出結果に基づいて設定された露光条件による露光（フレームｎ＋１）及びデジタルゲインの乗算（フレームｎ＋２）の結果得られたデータが出力される。
このように、切り出し領域の切り替えの前後において、切り出される各領域のデータは、同じ領域についての輝度検出結果に基づいて設定された条件で、露光及びデジタルゲインの乗算を行った結果得られたデータである。

比較のため、従来の構成における処理について図５（ａ）〜（ｋ）を参照して説明する。
従来の方法では、各フレームにおける輝度検出は、選択されている領域についてのみ行われる。例えば、図５（ｋ）に示すように、フレームｎ−１に切り替え要求があったとする。
この場合、図５（ｊ）に示すように、フレームｎ−１までは領域Ａの輝度が検出され、フレームｎ以降は、領域Ｂの輝度が検出される。
その結果、フレームｎまでは領域Ａの輝度検出結果が取得され、フレームｎ＋１以降は領域Ｂの輝度検出結果が取得される（図５（ｂ））。

従って、フレームｎまでは、領域Ａの輝度検出結果に基づく、設定値演算、露光条件の設定、及びデジタルゲインの設定が行われ、フレームｎ＋１以降は、領域Ｂの輝度検出結果に基づく、設定値演算、露光条件の設定、及びデジタルゲインの設定が行われる。

さらに、フレームｎ＋１までは、領域Ａの輝度検出結果に基づいて設定された露光条件での露光、及び領域Ａの輝度検出結果に基づいて設定されたデジタルゲインの乗算が行われ、フレームｎ＋２以降は、領域Ｂの輝度検出結果に基づいて設定された露光条件での露光、及び領域Ｂの輝度検出結果に基づいて設定されたデジタルゲインの乗算が行われる。

このような処理をする結果、フレームｎ＋１で、領域Ａの輝度検出結果に基づいて設定された露光条件での露光（図５（ｇ））の結果、フレームｎ＋２に撮像部から出力されたデータ（図５（ｈ））が領域Ｂの輝度検出結果に基づいて設定されたデジタルゲインが乗算される（図５（ｉ））。

フレームｎ＋３以降は、領域Ｂの輝度検出結果に基づいて設定された露光条件での露光、及び領域Ｂの輝度検出結果に基づいて設定されたデジタルゲインの乗算により得られたデータが出力される。
そこで、切り出し領域の切り替えをフレームｎ＋２とフレームｎ＋３の間で行い、フレームｎ＋３以降は領域Ｂを切り出す。
従って、切り出し領域の切り替えの指示（図５（ｋ））があったフレームの先頭から、切り出し領域の切り替えまでに、４フレーム期間の遅れがある。
これに対して、本発明では、切り出し領域の切り替えの指示（図４（ｋ））があったフレームの先頭から切り出し領域の切り替え（図４（ａ））までの遅れが３フレーム期間となる。

また、図５（ａ）〜（ｋ）の場合には、フレームｎ＋２で出力されるデータは、領域Ａの輝度検出結果に基づいて設定された露光条件と領域Ｂの輝度検出結果に基づいて設定されたデジタルゲインとで調整されたものであり、適切な明るさになる保証がなく、前後のフレームとの明るさに違いが生じる可能性がある。
これに対して図４（ａ）〜（ｋ）では、切り出し領域の切り替え前は領域Ａの輝度検出結果に基づいて設定された露光条件での露光と、同じく領域Ａの輝度検出結果に基づいて設定されたデジタルゲインの乗算とにより得られた画像が出力され、切り出し領域の切り替え後は領域Ｂの輝度検出結果に基づいて設定された露光条件での露光と、同じく領域Ｂの輝度検出結果に基づいて設定されたデジタルゲインの乗算とにより得られた画像が出力される。即ち、領域の切り替えの前でも後でも画像の明るさが適切に調整されたものとなる。

なお、図４（ａ）〜（ｋ）で示した例では、設定値の演算を行ったのと同じフレーム内で、デジタルゲインをデジタルゲイン適用部４０に設定し、デジタルゲイン適用部４０で、設定されたデジタルゲインの使用を１フレーム遅らせることとしているが、図６（ａ）〜（ｋ）に示すように、設定値の演算を行ったフレームの次のフレームでデジタルゲインをデジタルゲイン適用部４０に設定し、デジタルゲイン適用部４０では、新たに設定されたデジタルゲインを直ちに乗算に使用することとしても良い。即ち遅延の処理をデジタルゲイン適用部４０で行う代わりに制御部１００で行うこととしても良い。

上記の実施の形態では、輝度検出部が各フレームにおいて画像のすべての領域の輝度を検出するものとしたが、領域のうちの現に切り出しの対象となっている領域及び切り出しの対象となる予定乃至可能性のある領域についてのみ、領域毎の輝度検出を行うこととしても良い。例えば、上記の例のように、領域Ｒ１〜Ｒ６を順次選択して画像を取り出す場合には、領域Ｒ１〜Ｒ６のみを現に切り出しの対象になっている領域或いは切り出しの対象となる可能性のある領域として、これらの領域についてのみ各フレームにおける輝度の検出を行うこととしても良い。

上記の実施の形態では、切出される領域（Ｒ１〜Ｒ６など）が、互いに重なり合わないものとして示されているが、縁部において互いに重なり合う領域の画像を生成して、合成の際に重なり合う部分に対して加重加算或いは選択の処理を行うようにしても良い。

上記の実施の形態では、切り出し部で順次切り出された異なる領域の画像を画像合成部で合成しているが、本発明はこのような場合に限定されず、例えば切り出された領域の画像をそのまま（他の領域の画像と連結せずに）順次表示する構成にも適用可能である。この場合、ある領域を切り出しているときに、次に切り出される領域が既知である場合には、該既知の領域についてのみ、輝度検出を行うこととしても良い。また、ある領域を切り出しているときに、次に切り出される領域が複数の既知の領域（例えば現に切り出されている領域に隣接する領域）のいずれかであるかが既知である場合には、該複数の既知の領域についてのみ、輝度検出を行うこととしても良い。

また複数の領域を連結して１枚の合成画像を生成する場合にも、合成画像の一部となる領域を順次切り替えることで、合成画像が占める範囲を次第に移動させることとしても良い。例えば、図２（ａ）の領域Ｒ１〜Ｒ６で合成画像を形成している状態から、左端の領域Ｒ１，Ｒ２を除き、代わりに右側に隣接する領域Ｒ７、Ｒ８を加えることで、領域Ｒ３〜Ｒ８から成る合成画像を形成し、以下同様の処理を繰り返すこととしても良い。
この場合にも、移動の方向が既知である場合には、現に合成の対象となっている領域Ｒ１〜Ｒ６に加えて、次に合成の対象となる予定の領域Ｒ７、Ｒ８についても各フレームにおいて輝度の検出を行うこととしても良い。また、移動の方向が既知でないが、いずれかの方向に隣接領域を順次追加し、逆の側にある領域を除去していくことが既知である場合には、現に合成の対象となっている領域に加えて、隣接する領域（合成の対象となる可能性のある領域）について各フレームにおける輝度の検出を行うこととしても良い。

上記の実施の形態では、画像の異なる位置を占める領域間での切り替えを行っているが、一つの領域と、該一つの領域を一部とする他の領域（より狭い領域とより広い領域）との間での切り替えの場合にも本発明を適用することができる。より狭い領域の画像とより広い領域の画像を相前後して選択して表示することで、ズーム処理を行うことができる。

同じ位置（中心位置）において異なる傾き（チルト）角を持つ複数の領域間での切替えの場合にも、本発明を適用することができる。このように異なるチルト角の領域を相前後して選択して表示することで、チルト角を変化させながらの表示を行うことができる。

以上のように、本発明によれば、画像の切り出し領域の切り替えを行なっても画像の輝度の変動が少ない安定した露光制御を行うことができ、しかも切り出し領域の切り替えの指示から、切り替えが実行されるまでの遅れが少ない。

実施の形態２．
上記実施の形態１では画像の切り出し領域と、輝度検出の単位となる領域とが一致しているが、画像の切り出し領域と輝度算出の単位となる領域が異なる場合にも、本発明は適用可能である。以下では、切出し領域との区別のため、輝度算出の単位となる領域を「区域」と呼ぶ。輝度算出の単位となる領域、即ち区域が画像の切り出し領域よりも小さく、各切出し領域が複数の区域にまたがる場合、即ち複数の区域の少なくとも一部が、当該切出し領域に含まれる場合、該複数の区域の輝度に基づいて、切出し領域の輝度を算出することとして良い。例えば、例えば撮像画像を複数の矩形の区域（ブロック）に分割し、ブロック毎の輝度を検出し、検出されたブロックごとの輝度に基づいて、該ブロックを少なくとも部分的に含む切出し領域の輝度を算出することとしても良い。

図７（ａ）は、画像が格子状の線により、複数の矩形の区域（ブロック）ＢＫに分割されており、複数の矩形のブロックにまたがるように切出し領域ＥＲが設定される例を示す。図７（ｂ）〜（ｄ）には、切出し領域ＥＲの輝度の算出に用いられるブロックＢＫｅがハッチングで示されている。即ち、図７（ｂ）の例では、各々、その全体が切出し領域ＥＲに含まれるブロックＢＫｅのみが、切出し領域ＥＲの輝度の算出に用いられ、図７（ｃ）の例では、各々、その半分以上が切出し領域ＥＲに含まれるブロックＢＫｅのみが、切出し領域ＥＲの輝度の算出に用いられ、図７（ｄ）の例では、各々、少なくとも一部が切出し領域ＥＲに含まれるブロックＢＫｅはすべて、切出し領域ＥＲの輝度の算出に用いられる。
ブロックの輝度に基づく切出し領域の輝度の算出は、単純平均であっても良く、重み付け平均であっても良い。重み付け平均の場合には、各ブロックのうちの、切出し領域に含まれる割合に応じた重みを付けても良い。

以上のように、本実施の形態では、撮像画像を分割することで形成される矩形の区域（ブロック）毎の輝度を用いて切出し領域の輝度を算出するので、切り出し領域の形状の如何を問わず、また切り出し領域の形状が時間とともに変化する場合でも柔軟に切出し領域の輝度を算出することが可能である。

以上本発明の画像処理装置を説明したが、上記の画像処理装置で実施される画像処理方法もまた本発明の一部を成す。また、上記の画像処理装置の構成要素の一部又は全部、或いは上記の画像処理方法における処理の一部又は全部をソフトウエアで、即ちプログラムされたコンピュータで実現することもできる。従って、上記の画像処理装置の構成要素の一部又は全部、或いは上記の画像処理方法における処理の一部又は全部をコンピュータに実行させるためのプログラム、ならびに該プログラムを記録したコンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。

１２ 広角画像取得部、 １４ 画像処理装置、 ２０ 広角レンズ、 ３０ 撮像部、 ４０ デジタルゲイン適用部、 ５０ 輝度検出部、 ６０ 画像生成部、 ７０ 切り出し部、 ８０ 画像合成部、 １００ 制御部。

画像合成部８０は、切り出し部７０から順次出力される複数の領域の画像を組み合わせて、それぞれの領域に対応する画角よりも広い画角に対応する一枚の画像に合成する。

制御部１００による画像の分割を仮想球面ＰＬ上の画像について表すと例えば図２及び図３（ａ）に点線で示す如くとなる。切り出し部７０による切り出しは、図３（ｂ）に示される領域、例えば領域Ｒ１、Ｒ２、…のいずれか一つを切り出す処理である。
図３（ｂ）の撮像面ＳＬ上の領域Ｒ１、Ｒ２、…は仮想球面ＰＬ上の領域Ｒ１、Ｒ２、…に対応する。
切り出し部７０による歪補正は撮像面ＳＬ上の画像を、用途に応じた画像、例えば透視投影によって得られる画像ＮＬ（図２）に近い画像に変換する処理である。

制御部１００は、外部から切り出し領域を指定する指定情報ＤＲを受け、この指定に応じて撮像部３０、デジタルゲイン適用部４０、輝度検出部５０、画像生成部６０、切り出し部７０、及び画像合成部８０に対して、切り出し領域の切り替え、及び画像の合成のための制御を行う。
指定情報ＤＲには、切り出し領域の位置、例えば中心の位置を示す情報、及び切り出し領域の大きさを示す情報が含まれる。また、複数の領域に予め識別番号が付されている場合には、該識別番号を示す情報が含まれ、この情報に基づいて制御部１００で、切り出すべき領域を特定する。

図４（ｉ）には、デジタルゲイン適用部４０におけるデータ出力が示され、図４（ｊ）には、輝度検出部５０による輝度の検出（そのための画素値の計測）が示されている。
先にも述べたように、本実施の形態では、各フレームにおいて、すべての領域の輝度の検出が行われるので、そのことを示すため図４（ｊ）には「全領域」と記載され、次のフレームの先頭で、輝度値検出結果の取得の対象となる領域が、図４（ｊ）に「全領域」の文字の次の括弧内に示されている。
図示の例では、フレームｎ−２まではそれぞれのフレームでの領域Ａの輝度検出結果が次のフレームの先頭で取得され、フレームｎ−１以降は、それぞれのフレームでの領域Ｂの輝度検出結果が、次のフレームの先頭で取得される。

実施の形態２．
上記実施の形態１では画像の切り出し領域と、輝度検出の単位となる領域とが一致しているが、画像の切り出し領域と輝度検出の単位となる領域が異なる場合にも、本発明は適用可能である。以下では、切出し領域との区別のため、輝度検出の単位となる領域を「区域」と呼ぶ。輝度検出の単位となる領域、即ち区域が画像の切り出し領域よりも小さく、各切出し領域が複数の区域にまたがる場合、即ち複数の区域の各々の少なくとも一部が、当該切出し領域に含まれる場合、該複数の区域の輝度に基づいて、切出し領域の輝度を算出することとして良い。例えば、撮像画像を複数の矩形の区域（ブロック）に分割し、ブロック毎の輝度を検出し、切出し領域の輝度を、該切出し領域に少なくとも部分的に含まれるブロックの各々の輝度に基づいて算出することとしても良い。

Claims (13)

1. フレーム期間単位で撮像する撮像部から出力された撮像信号に対し、デジタルゲインを乗算して輝度が調整された撮像信号を生成するデジタルゲイン適用部と、
   前記デジタルゲイン適用部により生成された撮像信号で表される撮像画像の、それぞれ一部をなす複数の領域の、領域毎の輝度を検出する輝度検出部と、
   切出し領域を指定する指定情報に応じて、前記撮像画像の複数の領域の一つを選択して、選択した領域の画像を切り出して、歪補正を行う切り出し部と、
   前記輝度検出部で検出された輝度に基づいて、前記撮像部に対して露光の条件を設定し、前記デジタルゲイン適用部で用いる前記デジタルゲインを設定する制御部とを備え、
   前記制御部は、
   第１のフレーム期間に、前記指定情報が第１の領域を指定する情報から第２の領域を指定する情報へ変更された場合に、
   前記第１のフレーム期間の次のフレーム期間に、前記露光の条件の設定及び前記デジタルゲインの設定に用いる輝度を、前記第１の領域の輝度から前記第２の領域の輝度に変更し、
   前記切り出し部に対して前記第１のフレーム期間から３フレーム期間経過後に、前記撮像信号から切り出す領域を前記第１の領域から前記第２の領域に変更することを指示する
   ことを特徴とする画像処理装置。
2. 前記デジタルゲイン適用部は、前記撮像部において、各フレーム期間での露光の結果生成された撮像信号に対し、次のフレーム期間にゲインを乗算して輝度が調整された撮像信号を出力し、
   前記制御部は、各フレーム期間に前記輝度検出部で検出された輝度に基づいて、前記各フレーム期間から２フレーム期間後のフレーム期間における前記撮像部による露光の条件、及び前記各フレーム期間から３フレーム期間後のフレーム期間における前記デジタルゲイン適用部での乗算に使用されるデジタルゲインを設定し、
   前記制御部は、前記第１のフレーム期間において前記第２の領域について検出された輝度に基づく前記露光の条件及び前記デジタルゲインの設定を開始し、
   前記切り出し部に、前記あるフレーム期間の３フレーム期間後のフレーム期間以降前記第２の領域の画像の切り出しを行わせる
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記輝度検出部が、各フレーム期間において、前記複数の領域のうちの現に切り出されている領域及び切り出しの対象となる可能性がある領域のすべてについて領域毎の輝度を検出することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記輝度検出部は、前記撮像画像を分割することで形成される複数の区域毎に輝度を検出し、前記複数の領域の各々に、少なくとも部分的に含まれる１又は２以上の前記区域の輝度から、当該領域の輝度を算出する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記制御部は、前記各フレーム期間の次のフレーム期間に前記露光の条件の決定及び前記デジタルゲインの決定のための演算を行い、
   前記第１のフレーム期間の次のフレーム期間以降、前記第２の領域についての前記輝度の検出の結果に基づいて前記露光の条件、及び前記デジタルゲインの設定のための演算を行う
   ことを特徴とする請求項２に記載の画像処理装置。
6. 前記制御部は、決定された前記露光の条件及び前記デジタルゲインを、前記各フレーム期間の次のフレーム期間に前記撮像部及び前記デジタルゲイン適用部に設定し、
   前記デジタルゲイン適用部は、設定されたデジタルゲインの使用を１フレーム期間遅らせる
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記制御部は、
   決定された前記露光の条件を、前記各フレーム期間の次のフレーム期間に前記撮像部に設定し、
   決定された前記デジタルゲインを、前記各フレーム期間の２フレーム期間後のフレーム期間に前記デジタルゲイン適用部に設定する
   ことを特徴とする請求項５に記載の画像処理装置。
8. 前記露光の条件の設定及び前記デジタルゲインの設定が各フレーム期間の垂直ブランキング期間内に行われることを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記デジタルゲイン適用部から出力される前記撮像信号を受けて、色補間、色補正、エッジ強調を含む画像処理を行う画像生成部をさらに備え、
   前記切り出し部は、前記画像生成部での画像処理を受けた画像から前記切り出しを行うことを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
10. 前記切り出し部から出力された複数の領域の画像を合成して一枚の連続した画像を生成する画像合成部をさらに備える
    ことを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
11. フレーム期間単位で撮像する撮像部から出力された撮像信号に対し、デジタルゲインを乗算して輝度が調整された撮像信号を生成するデジタルゲイン適用ステップと、
    前記デジタルゲイン適用ステップにより生成された撮像信号で表される撮像画像の、それぞれ一部をなす複数の領域の、領域毎の輝度を検出する輝度検出ステップと、
    切出し領域を指定する指定情報に応じて、前記撮像画像の複数の領域の一つを選択して、選択した領域の画像を切り出して、歪補正を行う切り出しステップと、
    前記輝度検出ステップで検出された輝度に基づいて、前記撮像部に対して露光の条件を設定し、前記デジタルゲイン適用ステップで用いる前記デジタルゲインを設定する制御ステップとを備え、
    前記制御ステップは、
    第１のフレーム期間に、前記指定情報が第１の領域を指定する情報から第２の領域を指定する情報へ変更された場合に、
    前記第１のフレーム期間の次のフレーム期間に、前記露光の条件の設定及び前記デジタルゲインの設定に用いる輝度を、前記第１の領域の輝度から前記第２の領域の輝度に変更し、
    前記切り出しステップに対して前記第１のフレーム期間から３フレーム期間経過後に、前記撮像信号から切り出す領域を前記第１の領域から前記第２の領域に変更することを指示する
    ことを特徴とする画像処理方法。
12. 請求項１１の各ステップの処理をコンピュータに実行させるためのプログラム。
13. 請求項１２のプログラムを記録したコンピュータで読み取り可能な記録媒体。

Images