JP6351377B2 - 画像処理システム、撮像装置及び記録装置 - Google Patents

Description

この発明は、画像を撮像する撮像装置、及び撮像装置により撮像された画像を記録する記録装置を備えた画像処理システム、撮像装置及び記録装置に関するものである。

現在、安全のために、監視したい場所を撮像装置によって撮像し、遠隔から表示装置などによって人間が監視する監視システムが用いられている。この監視システムは、主に複数台の撮像装置と、そのコントローラによって構成されている。そして、コントローラを用いて画面を切り替えることで、複数個所に設置した撮像装置による画像をリアルタイムで確認することができる。

例えば、店内の棚などによって死角が生まれやすい環境であっても、複数台の撮像装置を別方向に設置することにより、全体をもれなく監視することが可能となる。また、複数台の撮像装置を設置することにより、設置個所の周辺光量の違いや光源の違いが発生しても、撮像装置毎にパラメータを調整し、適材適所に見やすい映像を提供することが可能である。

しかしながら、店内が広大になった場合、撮影すべき範囲や死角が増大するため、多くの撮像装置を設置する必要がある。多くの撮像装置を設置した場合、台数の増加によるコスト増大、配線の複雑化が生じる。また、表示装置の細分化や表示を切り替える機能が必須となり、その操作が複雑となる。よって、監視を行うことが困難になりやすいという課題が発生する。

そこで、近年では、画角が大きい（例えば３６０度）魚眼レンズを天井の中心付近に設置し、広範囲を撮影する技術が開発されている。魚眼レンズは、全方位を撮像することができるため、監視領域が広大であったとしても、１台でほぼ全域が監視可能である。これにより、撮像装置の台数を大幅に減らすことができ、監視システムのコストを低減することができる。

また、魚眼画像に限らないが、画質を向上するための画像処理に関して様々な手法が知られている。画像処理の一例としては、保存された複数フレームの画像から微弱な信号のＳ／Ｎを向上させる高感度化処理や、テーブル処理により画素の値を最適化するガンマ補正や、異なるシャッター速度の画像を合成して画像のダイナミックレンジを拡大するＨＤＲ処理などがある。

これらの画像処理を行う上で、処理前の条件で撮像装置から取得された画像がどのような状態かを算出するため、フレーム内のヒストグラムや、エッジ情報、フィルタによるローカルエリアの画像平滑化処理といった前処理が必須である。この前処理によって、撮像装置から取得された画像が、暗い中で撮影された画像であるのか、黒い被写体が大部分を占める画像であるのかなど、外部環境をある程度予測することができる。そして、それにあった画像処理を行うことで、画質を向上させることが可能である。

通常、外部環境を予測するための処理は、フレーム全体の画素値（つまり輝度情報）や、ＲＧＢ信号の値から算出されることが多い。全画素値を参照しない場合でも、画像の中心を含めたメインの被写体が撮像されると思われる矩形範囲を設定し、その範囲内でパラメータを算出する。

ただし、魚眼レンズの場合、周辺３６０度という超広角画像（魚眼画像）を取得できる代わりに、画像が歪むデメリットがある。一般的な魚眼レンズは、光学中心から周辺に行くにつれ、輝度の低下や、画素同士が詰まって画像が縮む現象（レンズの歪み）が生じる。そのため、取得された魚眼画像に対して均一なパラメータの画像処理を行っても、光学中心と周辺の特性の違いから不自然な画像になることが多い。
そこで、特許文献１に開示された撮像装置では、レンズの光学中心と周辺の特性の違いに着目し、同心円状に領域分割を行って重み付けを行っている。

特開２００８−０４８４４３号公報

特許文献１に開示された撮像装置では、レンズの光学中心と周辺の特性の違いに着目し、同心円状に領域分割を行って重み付けを行っている。一方、魚眼レンズにより取得される画像には、様々な照度条件の画像が含まれるという課題もある。例えば特許文献１に開示された撮像装置では、撮像画像の上部は明るいが下部が暗く、さらに中心部分が一般的な照度条件だった場合、広範囲を撮像しているにも関わらず、画像の１部の白飛び、黒潰れが生じ、画像が見えなくなる。

これに対して、単純に領域を矩形に分割し、その領域別に補正係数の重み付けを行えば、暗い部分、明るい部分、光源の違う領域など、周囲環境が大きく異なるエリアを同時に撮像することが可能である。しかしながら、領域毎のヒストグラムの算出から矩形領域１つ１つに対して画像処理を行うには、非常に演算量が高く、フレームレートが低下しやすい。また、矩形領域の境目の画像が不自然になり、自然な画像を提供できないデメリットも発生する。

そのため、通常、魚眼レンズから取得した画像に対しては、フレーム単位で画像を補正し、全体の領域に対して画像処理を行っている。そのため、魚眼レンズの歪を補正し、電子ズームやデジタルＰＴＺにより監視したい領域を写そうとしても、写すことができないことがある。特に魚眼レンズから取得した画像は、複数方向の領域を同時に切り出して表示することもあるため、表示したい領域に合わせて適切な輝度補正を行うことが求められる。

この発明は、上記のような課題を解決するためになされたもので、複雑な画像処理を用いず、ユーザが選択した領域に対して適した画像処理を実施可能な画像処理システム、撮像装置及び記録装置を提供することを目的としている。

この発明に係る画像処理システムは、画像を撮像する撮像装置、及び撮像装置により撮像された画像を記録する記録装置を備え、撮像装置は、撮像した画像に対し、画像の歪を補正する歪補正部と、歪補正部による歪補正済画像に対し、分割領域毎に、画像処理に関する補正パラメータを算出する補正パラメータ算出処理部とを備え、記録装置は、補正パラメータ算出処理部により算出された補正パラメータに基づいて、記録した画像のうち指定された切り出し範囲の画像に対して、画像処理に関する補正パラメータを算出する混合補正パラメータ算出部と、混合補正パラメータ算出部により算出された補正パラメータに基づいて、予め登録された複数の画像処理パターンから当該補正パラメータに対応する画像処理を選択する画像処理選択部と、切り出し範囲の画像に対して、画像処理選択部により選択された画像処理を行う画像処理部とを備えたものである。

この発明によれば、上記のように構成したので、複雑な画像処理を用いず、ユーザが選択した領域に対して適した画像処理を実施可能となる。

この発明の実施の形態１に係る画像処理システムの構成を示す図である。 この発明の実施の形態１における補正パラメータ算出処理部の構成を示す図である。 この発明の実施の形態１に係る画像処理システムの動作を示すフローチャートである。 この発明の実施の形態１に係る画像処理システムによる歪補正の例を示す図である。 この発明の実施の形態１に係る画像処理システムによる分割領域の例を示す図である。 この発明の実施の形態１に係る画像処理システムによる領域別輝度平均値及び領域別輝度ヒストグラムの中心位置を示すイメージ図である。 この発明の実施の形態１に係る画像処理システムによる分割領域毎の補正パラメータ付画像を示す情報の構成を示す図である。 この発明の実施の形態１に係る画像処理システムによる混合補正パラメータ算出処理のイメージ図である。 この発明の実施の形態２に係る画像処理システムの構成を示す図である。 この発明の実施の形態２に係る画像処理システムによる取得画像の例を示す図である。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る画像処理システムの構成を示す図である。
画像処理システムは、画像を撮像する撮像装置１と、撮像装置１により撮像された画像を記録する記録装置２と、記録装置２に記録された画像の表示制御を行うＰＴＺ処理装置（コントローラ）３とから構成されている。なお、画像処理システムは、ソフトウェアに基づくＣＰＵを用いたプログラム処理によって実行される。

撮像装置１は、図１に示すように、撮像部１１、歪補正部１２及び補正パラメータ算出処理部１３から構成されている。

撮像部１１は、画像を撮像するものである。以下では、魚眼レンズを用いた魚眼画像を撮像する場合を例に説明を行う。この撮像部１１により撮像された画像は歪補正部１２へと送信される。

歪補正部１２は、撮像部１１からの画像の歪を補正するものである。この歪補正部１２により歪が補正された画像は歪補正済画像として補正パラメータ算出処理部１３へと送信される。

補正パラメータ算出処理部１３は、歪補正部１２からの歪補正済画像に対して、分割領域毎に、画像処理に関する補正パラメータを算出するものである。そして、補正パラメータ算出処理部１３は、算出した補正パラメータを歪補正済画像に付加して補正パラメータ付画像を生成する。この補正パラメータ算出処理部１３の詳細については後述する。この補正パラメータ算出処理部１３により生成された補正パラメータ付画像は記録装置２へと送信される。

また、記録装置２は、図１に示すように、画像記録部２１、混合補正パラメータ算出部２２、画像処理選択部２３及び画像処理部２４から構成されている。

画像記録部２１は、撮像装置１の補正パラメータ算出処理部１３からの補正パラメータ付画像を記録するものである。この画像記録部２１は、ＨＤＤ、ＤＶＤ、メモリなどによって構成される。また、画像記録部２１は、ＰＴＺ処理装置３の切り出し範囲指定部３１からの表示対象の画像のフレームナンバーを示す情報（フレームナンバー情報）、及び当該画像の切り出し範囲を示す情報（切り出し範囲情報）に基づいて、該当する補正パラメータ付画像の当該切り出し範囲に含まれる分割領域の補正パラメータを抽出する機能も有している。この画像記録部２１により抽出された補正パラメータを示す情報は混合補正パラメータ算出部２２へと送信される。

混合補正パラメータ算出部２２は、画像記録部２１からの補正パラメータを示す情報と、ＰＴＺ処理装置３の切り出し範囲指定部３１からのフレームナンバー情報及び切り出し範囲情報とに基づいて、該当する補正パラメータ付画像の切り出し範囲の画像に対して、画像処理に関する補正パラメータを算出するものである。この混合補正パラメータ算出部２２により算出された補正パラメータを示す情報は画像処理選択部２３へと送信される。

画像処理選択部２３は、混合補正パラメータ算出部２２からの補正パラメータを示す情報に基づいて、画像処理部２４で実施する画像処理を選択するものである。ここで、画像処理選択部２３は、予め、補正パラメータに対応する画像処理を示す画像処理パターンを複数登録している。そして、混合補正パラメータ算出部２２により算出された補正パラメータから対応する画像処理パターンを読み出すことで、画像処理部２４で実施する画像処理を選択する。この画像処理選択部２３により選択された画像処理を示す情報は画像処理部２４へと送信される。

画像処理部２４は、該当する補正パラメータ付画像の切り出し範囲の画像に対して、画像処理選択部２３により選択された画像処理を行うものである。この画像処理部２４により画像処理が行われた画像は補正済画像として不図示の表示装置へと送信される。

また、ＰＴＺ処理装置３は、図１に示すように、切り出し範囲指定部３１から構成されている。
切り出し範囲指定部３１は、ユーザによる外部操作に応じて、記録装置２に記録された補正パラメータ付画像のうち、表示対象の画像の切り出し範囲を受け付けるものである。この切り出し範囲指定部３１により受け付けられた表示対象の画像のフレームナンバーを示す情報（フレームナンバー情報）、及び当該画像の切り出し範囲を示す情報（切り出し範囲情報）は記録装置２へと送信される。

次に、補正パラメータ算出処理部１３の詳細について、図２を参照しながら説明する。
補正パラメータ算出処理部１３は、図２に示すように、領域分割部１３１、領域別参照値算出部１３２、領域別補正パラメータ算出部１３３及び補正パラメータ付画像生成部１３４から構成されている。

領域分割部１３１は、歪補正部１２からの歪補正済画像を分割領域毎に分割するものである。この領域分割部１３１により分割された分割領域毎の歪補正済画像は領域別参照値算出部１３２へと送信される。

領域別参照値算出部１３２は、領域分割部１３１から分割領域毎の歪補正済画像に対し、画像処理に関する参照値をそれぞれ算出するものである。この領域別参照値算出部１３２により算出された分割領域毎の参照値を示す情報は領域別補正パラメータ算出部１３３へと送信される。

領域別補正パラメータ算出部１３３は、領域別参照値算出部１３２からの分割領域毎の参照値を示す情報に基づいて、画像処理に関する補正パラメータをそれぞれ算出するものである。この領域別補正パラメータ算出部１３３により算出された分割領域毎の補正パラメータを示す情報は補正パラメータ付画像生成部１３４へと送信される。

補正パラメータ付画像生成部１３４は、領域別補正パラメータ算出部１３３からの分割領域毎の補正パラメータを示す情報を歪補正部１２からの歪補正済画像に付加して、補正パラメータ付画像を生成するものである。この補正パラメータ付画像生成部１３４により生成された補正パラメータ付画像は記録装置２へと送信される。

次に、上記のように構成された画像処理システムの動作について、図３〜８を参照しながら説明する。なお以下では、画像処理として輝度補正を行う場合を例に説明を行う。
画像処理システムの動作では、図３に示すように、まず、撮像装置１の撮像部１１は、画像（魚眼画像）を撮像する（ステップＳＴ１）。この撮像部１１により撮像された画像は歪補正部１２へと送信される。

次いで、歪補正部１２は、撮像部１１からの画像の歪を補正する（ステップＳＴ２）。すなわち、撮像部１１により撮像された魚眼画像の歪を補正し、より自然な画像にみえるように画像の形状を変化させる処理を行う。

図４は、歪補正部１２による歪補正の例を示したものである。この図４に示すように、魚眼レンズから取得される画像は、光学中心からの距離が大きくなるにつれ、画像の歪みが大きくなる性質を持つ。また、歪の性質はレンズによって異なる。そのため、歪補正部１２では、予め使用する魚眼レンズのパラメータを算出し、光学中心からの距離と画素位置の関係を数式化しておく。そして、その数式に基づいて、画素を座標変化することで、歪補正を行う。なお、撮像部１１が魚眼レンズを用いない場合には、この歪補正部１２による歪補正は不要である。
この歪補正部１２により歪が補正された画像は歪補正済画像として補正パラメータ算出処理部１３へと送信される。

次いで、補正パラメータ算出処理部１３は、歪補正部１２からの歪補正済画像に対して、分割領域毎に、輝度補正に関する補正パラメータを算出し、これを歪補正済画像に付加して補正パラメータ付画像を生成する（ステップＳＴ３）。

具体的には、補正パラメータ算出処理部１３では、まず、領域分割部１３１が、歪補正済画像を分割領域に分割する。すなわち、画像の始点（左上）である画素位置、水平方向の画素数Ｈｘ、及び垂直方向の画素数Ｖｙを設定し、歪補正済画像を矩形に分割する。

図５に領域分割部１３１による領域分割の例を示す。図５の例では、画像を６×４のサイズに分割した場合を示しているが、縦と横のサイズは整数であればよく、数の大きさや奇数偶数は問わない。ただし、領域１つの画素数が小さすぎる場合、補正パラメータの算出に悪影響を及ぼす可能性が高いため、適切な領域サイズの選定が重要となる。また、領域分割部１３１により分割される矩形領域は、大きさが均一である必要がない。すなわち、魚眼レンズの特性に合わせて、周辺の矩形領域を小さくし、光学中心付近の矩形領域を大きくすることも可能である。

次に、領域別参照値算出部１３２が、領域分割部１３１からの分割領域毎の歪補正済画像に対し、輝度補正に関する参照値をそれぞれ算出する。すなわち、領域別参照値算出部１３２は、分割領域内の各画素値を算出し、輝度平均値、輝度ヒストグラムなどを含む輝度補正を行うための指標となる値を算出する。ここでは、領域毎に算出した輝度平均値を領域別輝度平均値と称し、領域毎に算出した輝度ヒストグラムを領域別輝度ヒストグラムと称す。この領域別輝度平均値と領域別輝度ヒストグラムは、１つの領域につき１個ずつ算出される。すなわち、歪補正済画像がＫ個の領域に分割されている場合には、領域別輝度平均値と領域別輝度ヒストグラムは全体でＫ個ずつ算出される。さらに、領域別輝度平均値及び領域別輝度ヒストグラムは、各分割領域の中心位置を示す座標情報も持っている。図６に示す×印の部分が、領域別輝度平均値及び領域別輝度ヒストグラムの中心位置である。

なお、一般的な魚眼レンズでは、光学中心から周辺に行くにつれ、画素同士が詰まって、画像が縮む現象（レンズの歪み）が生じるため、当該魚眼画像に対して歪補正が実施される。歪補正の具体例としては、周辺画像の拡大などがある。拡大処理の具体例としては、画素補間などがある。この場合、補正パラメータを算出する際に、補間された画素は用いず、補間されていない元来の画素からのみ補正パラメータを算出するようにしてもよい。これにより、より正確な補正パラメータを算出することができる。

次に、領域別補正パラメータ算出部１３３が、領域別参照値算出部１３２からの領域毎の参照値を示す情報に基づいて、輝度補正に関する補正パラメータを算出する。すなわち、領域別補正パラメータ算出部１３３は、参照値に含まれる領域別輝度平均値及び領域別輝度ヒストグラムから、各分割領域が暗い画像であるか明るい画像であるかを判断し、輝度補正のための補正パラメータを算出する。

具体的には、領域別補正パラメータ算出部１３３は、例えば、外部情報として、撮像部１１による撮像の際のアイリス情報やシャッター速度情報を受け取り、分割領域毎の補正パラメータを算出する。この補正パラメータの算出手段は、複数考えられる。例えば、領域別輝度平均値Ａｖｅを用いて補正パラメータを算出する場合、Ａｖｅの値と予め設定した閾値Ｔ１，Ｔ２を比較する。そして、ＡＶＥ＞Ｔ１以上ならば明るい領域、Ｔ１≧ＡＶＥ≧Ｔ２ならば中間領域、ＡＶＥ≦Ｔ２ならば暗い領域とし、各領域において輝度補正を行うときの補正の強さを設定する。なお、上記の閾値Ｔ１，Ｔ２は、アイリス情報とシャッター速度情報から決定することも可能である。
また、領域別輝度ヒストグラムを用いることで、画素値毎により最適化した値を挿入しなおすγ補正や、ヒストグラム平滑化処理によるコントラスト補正も実施可能となる。

次に、補正パラメータ付画像生成部１３４が、領域別補正パラメータ算出部１３３からの分割領域毎の補正パラメータを示す情報を歪補正部１２からの歪補正済画像に付加して、補正パラメータ付画像を生成する。この際、補正パラメータ付画像生成部１３４は、歪補正済画像のヘッダに補正パラメータを示す情報を付加してもよいし、補正パラメータが持つ各分割領域の座標情報に対応する歪補正済画像の画素値に対して当該情報を付加してもよい。

図７に分割領域毎の補正パラメータ付画像を示す情報の構成例を示す。この図７において、符号ｒ１〜ｒＮは各分割領域における画像を示し、符号Ｐ１〜ＰＮは各分割領域における補正パラメータを示し、符号Ｘ１〜ＸＮは各分割領域における座標情報（Ｘ座標値）を示し、符号Ｙ１〜ＹＮは各分割領域における座標情報（Ｙ座標値）を示している。
この補正パラメータ算出処理部１３の補正パラメータ付画像生成部１３４により生成された補正パラメータ付画像は記録装置２へと送信される。

次いで、記録装置２の画像記録部２１は、撮像装置１の補正パラメータ算出処理部１３からの補正パラメータ付画像を記録する（ステップＳＴ４）。

一方、ＰＴＺ処理装置３の切り出し範囲指定部３１は、ユーザによる外部操作に応じて、記録装置２に記録された補正パラメータ付画像のうち、表示対象の画像の切り出し範囲を受け付ける（ステップＳＴ５）。この切り出し範囲指定部３１により受け付けられた表示対象の画像のフレームナンバーを示す情報（フレームナンバー情報）、及び当該画像の切り出し範囲を示す情報（切り出し範囲情報）は記録装置２へと送信される。

次いで、画像記録部２１は、ＰＴＺ処理装置３の切り出し範囲指定部３１からのフレームナンバー情報及び切り出し範囲情報に基づいて、該当する補正パラメータ付画像の切り出し範囲に含まれる分割領域の補正パラメータを抽出する（ステップＳＴ６）。この画像記録部２１により抽出された補正パラメータを示す情報は混合補正パラメータ算出部２２へと送信される。

次いで、混合補正パラメータ算出部２２は、画像記録部２１からの補正パラメータを示す情報と、ＰＴＺ処理装置３の切り出し範囲指定部３１からのフレームナンバー情報及び切り出し範囲情報とに基づいて、該当する補正パラメータ付画像の切り出し範囲の画像に対して、輝度補正に関する補正パラメータを算出する（ステップＳＴ７）。すなわち、外部操作により分割領域と完全に重ならない任意の領域が切り出し範囲として指定された場合、当該切り出し範囲内には、複数の補正パラメータが混在することになる。そこで、切り出し範囲内に含まれる補正パラメータと、当該切り出し範囲の中心位置とに基づいて、当該切り出し範囲の画像に対する１つの補正パラメータを算出する。

以下に、混合補正パラメータ算出部２２による補正パラメータの算出方法について示す。
例えば指定された切り出し範囲Ｎに分割領域ｒ１〜ｒ４が含まれていたとする。そして、分割領域ｒ１〜ｒ４が持つ補正パラメータがＰ１〜Ｐ４であったとする。この場合に、切り出し範囲Ｎの中心位置（Ｘｏ，Ｙｏ）と、補正パラメータＰ１〜Ｐ４及び分割領域ｒ１〜ｒ４の中心位置（ｘ１〜ｘ４，ｙ１〜ｙ４）を用いて、以下のようにして補正パラメータＣＰを算出する。

図８に示すように、まず、切り出し範囲Ｎの中心位置（Ｘｏ，Ｙｏ）と、分割領域ｒ１〜ｒ４の中心位置（ｘ１〜ｘ４，ｙ１〜ｙ４）を用いて、中心位置間の距離ｄ１〜ｄ４を算出する。この距離ｄ１〜ｄ４は、平方根を用いたユークリッド距離である。そして、算出した距離ｄ１〜ｄ４の総和Ｄｓｕｍを算出する。そして、この総和Ｄｓｕｍを用いて、補正比率ＰＲ１〜ＰＲ４を算出する。具体的には、ＰＲ１＝ｄ１／Ｄｓｕｍ，ＰＲ２＝ｄ２／Ｄｓｕｍ，ＰＲ３＝ｄ３／Ｄｓｕｍ，ＰＲ４＝ｄ４／Ｄｓｕｍを算出する。そして、この補正比率ＰＲ１〜ＰＲ４と、補正パラメータＰ１〜Ｐ４を用いて、補正パラメータＣＰを下式（１）から算出する。
ＣＰ＝Ｐ１＊ＰＲ１＋Ｐ２＊ＰＲ２＋Ｐ３＊ＰＲ３＋Ｐ４＊ＰＲ４ （１）

また上記の方法に限らず、別の算出方法を用いてもよい。
例えば、切り出し範囲の中心位置が含まれる分割領域が持つ補正パラメータを、当該切り出し範囲の画像に対する補正パラメータとしてもよい。図８の例では、切り出し範囲Ｎの中心位置（Ｘｏ，Ｙｏ）が、分割領域ｒ２内に含まれている。そのため、この分割領域ｒ２が持つ補正パラメータＰ２を切り出し範囲Ｎの画像に対する補正パラメータとする。

また、切り出し範囲内に含まれる分割領域のうち、最も面積が大きい分割領域が持つ補正パラメータを、当該切り出し範囲の画像に対する補正パラメータとしてもよい。図８の例では、切り出し範囲Ｎ内に含まれる分割領域ｒ１〜ｒ４のうち、最も面積が大きいのは分割領域ｒ２である。そのため、この分割領域ｒ２が持つ補正パラメータＰ２を切り出し範囲Ｎの画像に対する補正パラメータとする。

また、切り出し範囲の全範囲ではなく、当該切り出し範囲の中心付近の補正パラメータのみを参照して当該切り出し範囲の画像に対する補正パラメータとしてもよい。これにより、切り出し範囲が高い頻度で更新される場合にも、スムーズに補正パラメータの更新を行うことができる。
この混合補正パラメータ算出部２２により算出された補正パラメータを示す情報は画像処理選択部２３へと送信される。

次いで、画像処理選択部２３は、混合補正パラメータ算出部２２からの補正パラメータを示す情報に基づいて、画像処理部２４で実施する輝度補正を選択する（ステップＳＴ８）。例えば、補正パラメータがＬ種類存在する場合には、画像処理選択部２３は、これらの補正パラメータに対応するＬ種類の輝度補正を示す輝度補正パターンを保持している。そして、混合補正パラメータ算出部２２により得らえた補正パラメータから、テーブル処理により、該当する輝度補正パターンを抽出する。この画像処理選択部２３により選択された輝度補正を示す情報は画像処理部２４へと送信される。

次いで、画像処理部２４は、該当する補正パラメータ付画像の切り出し範囲の画像に対して、画像処理選択部２３により選択された輝度補正を行う（ステップＳＴ９）。この輝度補正の例としては、γ補正、フリッカ補正、色補正等が挙げられる。画像処理部２４による処理は、切り出し範囲の位置が変化すると同時に更新される。この画像処理部２４により輝度補正が行われた画像は補正済画像として不図示の表示装置へと送信され、表示される。

なお上記では、画像処理として輝度補正を行う場合を示した。しかしながら、これに限るものではなく、画像処理として、例えば、光源に合わせた色補正、諧調補正、エッジ強調など、一般的な画像処理に適用される処理を行うようにしてもよい。これらの画像処理を行う場合にも、上記と同様の動作を行えばよい。これにより、自然界で想定されるおおよその画像に対して有効な画像処理を選択して実施することができ、高い視認性改善の効果が得られる。

以上のように、この実施の形態１によれば、撮像画像を複数領域に分割して各分割領域に対して画像処理を行うための補正パラメータを算出し、当該補正パラメータに基づき指定された切り出し範囲の画像に対する補正パラメータを算出し、これを予め登録した画像処理パターンと照合して画像処理を選択するように構成したので、複雑な画像処理を用いず、ユーザが選択した領域に対して適した画像処理を実施可能となる。よって、魚眼レンズを用いた魚眼画像等のように、超広角画像内に様々なシーンが存在する場合においても、ユーザにより指定された切り出し範囲の画像に対して、複雑な画像処理を用いることなく、適切な画像処理を行うことが可能となる。

また、任意の切り出し範囲が複数選択され、これを同時に表示する場合であっても、各切り出し範囲に合わせた画像処理を行うことができる。よって、例えば輝度補正に関し、明暗が複雑に混在した画像を同時に表示する場合であっても、視認性の高い画像を表示することができる。

また、本発明では、まず、分割領域の画像に対する補正パラメータを算出し、その後、当該補正パラメータを用いて切り出し範囲の画像に対する補正パラメータを算出するように構成した。これにより、任意の切り出し範囲が指定されてから一から画像処理を行うよりも計算量を削減することができる。

また、本発明では、フレーム単位ではなく、局所領域単位で補正パラメータを算出している。そのため、デジタルＰＴＺのように、リアルタイムで画像の切り出し範囲が切替わる場合でも、その切り出し範囲の位置に合わせた画像処理が可能となる。

なお、画像処理選択部２３において、ＰＴＺ処理装置３の切り出し範囲指定部３１からの切り出し範囲情報に基づいて、その座標位置から画像処理を選択するようにしてもよい。すなわち、前段階で、参照する座標位置から画像処理パターンとその度合いが決まっており、さらに、前段階と現段階の座標位置が大きく変化しない場合には、画像処理選択部２３から同様の画像処理パターンを呼び出してもよい。なお、座標位置が大きく変化する場合には、混合補正パラメータ算出部２２にて新たに補正パラメータを算出する必要がある。

実施の形態２．
図９はこの発明の実施の形態２に係る画像処理システムの構成を示す図である。この図９に示す実施の形態２に係る画像処理システムは、図１に示す実施の形態１に係る画像処理システムの撮像部１１、補正パラメータ算出処理部１３及び画像処理部２４を、撮像部１１ｂ、補正パラメータ算出処理部１３ｂ及び画像処理部２４ｂに変更したものである。その他の構成は同様であり、同一の符号を付して異なる部分についてのみ説明を行う。

撮像部１１ｂは、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）制御を行い、平均輝度が異なる複数の画像を撮像するものである。
補正パラメータ算出処理部１３ｂは、実施の形態１の補正パラメータ算出処理部１３の機能に加え、算出した補正パラメータに基づいて、分割領域毎に、平均輝度が異なる複数の画像のうち最適な画像を示す選択パラメータを算出し、補正パラメータ付画像に付加する機能を有している。

また、画像処理部２４ｂは、補正パラメータ算出処理部１３ｂにより算出された選択パラメータ及び切り出し範囲情報に基づいて、当該切り出し範囲の画像として用いる画像を選択して画像処理を行う点が、実施の形態１の画像処理部２４と異なる。

実施の形態２に係る画像処理システムでは、撮像部１１ｂにて、通常のＡＥで得られる画像以外に、明るい画像と暗い画像を取得する。すなわち、撮像部１１ｂは、まず、通常動作を実施し、画像全体の視認性がよくなる値を設定する。さらに、ＡＥ制御を行い、予め設定した範囲の２種類のＡＥ画像（全体の光量が多い明るい画像、全体の光量が少なく暗い画像）を取得する。この撮像部１１ｂにより撮像された各画像は、魚眼画像である場合には歪補正部１２による歪補正が施されて補正パラメータ算出処理部１３ｂへと送信される。

そして、補正パラメータ算出処理部１３ｂでは、撮像部１１ｂからの各画像に対して、分割領域毎に補正パラメータを算出する。また、各画像から算出した補正パラメータに基づいて、分割領域毎に、３種類の画像のうち１つを表示対象として選択するための選択パラメータを算出して付加している。この選択パラメータは、外部操作により指定された切り出し範囲の画像として、通常の画像が適しているのか、明るい画像が適しているのか、暗い画像が適正しているのかを判定するために使用される。

図１０は、撮像装置１で得られる３種類の画像の例である。図１０（ａ）の画像は通常の画像である。この通常の画像において、白い部分は光量が過多であるために画像が白く飛んでいる部分を示し、黒い部分は光量が少なく画像が黒く潰れている部分を示し、灰色の部分は適正な光量の部分を示している。また、図１０（ｂ）の画像は、ＡＥ制御により光量が少なくなるようにＡＥを絞った暗い画像である。この暗い画像では、通常の画像で白く飛んでいる部分が適正な光量となっている。また、図１０（ｃ）の画像は、ＡＥ制御により光量が多くなるようにＡＥを開放した明るい画像である。この明るい画像では、通常の画像において黒く潰れた部分が適正な光量となっている。そして、図１０（ｄ）に示すように、図１０（ａ）に示す通常の画像をベースとし、白飛びの範囲が切り出し範囲として指定された場合には図１０（ｂ）の暗い画像を用い、黒潰れの範囲が切り出し範囲として指定された場合には図１０（ｃ）の明るい画像を用いる。
このように、ＡＥを制御することで、局所領域の白飛びや黒潰れを発生させることなく、高品質な画像を提供可能となる。

以上のように、この実施の形態２によれば、通常のＡＥで取得される画像以外に、明るい画像と暗い画像を取得し、明暗の異なる画像を複数種類記録することで、明暗のパラメータから参照する画像を１つ選択するように構成したので、実施の形態１における効果に加え、補正パラメータでは補正しきれない範囲の画像処理を実現できる。

なお上記では、ＡＥを制御することで３種類の異なる３種類の画像を得る場合について示した。しかしながら、これに限るものではなく、例えばシャッター速度を制御することで３種類の異なる画像を得るようにしてもよい。

なお実施の形態１，２では、撮像装置１が魚眼レンズを用いて魚眼画像を撮像する場合を例にして説明を行ったが、これに限るものではなく、その他の画像に対しても同様に本発明を適用可能である。また、魚眼レンズを用いない場合には、歪補正部１２は不要となる。

また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１ 撮像装置、２ 記録装置、３ ＰＴＺ処理装置（コントローラ）、１１，１１ｂ 撮像部、１２ 歪補正部、１３，１３ｂ 補正パラメータ算出処理部、２１ 画像記録部、２２ 混合補正パラメータ算出部、２３ 画像処理選択部、２４，２４ｂ 画像処理部、３１ 切り出し範囲指定部、１３１ 領域分割部、１３２ 領域別参照値算出部、１３３ 領域別補正パラメータ算出部、１３４ 補正パラメータ付画像生成部。

Claims (7)

1. 画像を撮像する撮像装置、及び前記撮像装置により撮像された画像を記録する記録装置を備えた画像処理システムであって、
   前記撮像装置は、
   前記撮像した画像に対し、画像の歪を補正する歪補正部と、
   前記歪補正部による歪補正済画像に対し、分割領域毎に、画像処理に関する補正パラメータを算出する補正パラメータ算出処理部とを備え、
   前記記録装置は、
   前記補正パラメータ算出処理部により算出された補正パラメータに基づいて、前記記録した画像のうち指定された切り出し範囲の画像に対して、画像処理に関する補正パラメータを算出する混合補正パラメータ算出部と、
   前記混合補正パラメータ算出部により算出された補正パラメータに基づいて、予め登録された複数の画像処理パターンから当該補正パラメータに対応する画像処理を選択する画像処理選択部と、
   前記切り出し範囲の画像に対して、前記画像処理選択部により選択された画像処理を行う画像処理部とを備えた
   ことを特徴とする画像処理システム。
2. 前記補正パラメータ算出処理部は、算出した補正パラメータを前記撮像した画像に付加して補正パラメータ付画像を生成し、
   前記記録装置は、前記画像として、前記補正パラメータ算出処理部により生成された補正パラメータ付画像を記録する
   ことを特徴とする請求項１記載の画像処理システム。
3. 前記混合補正パラメータ算出部は、前記切り出し範囲の中心位置に基づいて、当該切り出し範囲の画像に対して、画像処理に関する補正パラメータを算出する
   ことを特徴とする請求項１記載の画像処理システム。
4. 前記画像処理には、輝度補正、色補正、諧調補正及びエッジ強調のうちの少なくとも１つ以上の処理が含まれる
   ことを特徴とする請求項１記載の画像処理システム。
5. 前記撮像装置は、ＡＥ制御又はシャッター速度制御を行い、平均輝度が異なる複数の画像を撮像し、
   前記補正パラメータ算出処理部は、算出した補正パラメータに基づいて、分割領域毎に、前記撮像した複数の画像のうち最適な画像を示す選択パラメータを算出し、
   前記画像処理部は、前記補正パラメータ算出処理部により算出された選択パラメータ及び前記切り出し範囲に基づいて、当該切り出し範囲の画像として用いる画像を選択して画像処理を行う
   ことを特徴とする請求項１記載の画像処理システム。
6. 前記撮像装置は、魚眼レンズを用いて画像を撮像する
   ことを特徴とする請求項１記載の画像処理システム。
7. 画像を撮像する撮像装置により撮像され、当該画像の歪が補正された画像を記録する記録装置であって、
   前記撮像装置により算出された、歪補正済画像に対する分割領域毎の画像処理に関する補正パラメータに基づいて、前記記録した画像のうち指定された切り出し範囲の画像に対して、画像処理に関する補正パラメータを算出する混合補正パラメータ算出部と、
   前記混合補正パラメータ算出部により算出された補正パラメータに基づいて、予め登録された複数の画像処理パターンから当該補正パラメータに対応する画像処理を選択する画像処理選択部と、
   前記切り出し範囲の画像に対して、前記画像処理選択部により選択された画像処理を行う画像処理部と
   を備えたことを特徴とする記録装置。

Images