JP6613697B2 - 画像処理装置、プログラムおよび記録媒体 - Google Patents

Description

本発明は、画像処理装置、プログラムおよび記録媒体に関する。

車載カメラ、監視カメラ、電子双眼鏡等で外部や遠方の撮像対象である被写体を撮像、観察する際、霧、霞、黄砂、ＰＭ２．５等が発生していると、光が散乱して透過率が低下する。その結果、被写体画像は、コントラスト（明暗の差）が低下し、視認性が悪化したものとなる。

従来、そのコントラストを改善する目的で、テクスチャに応じて画像を領域分割し、分割した各領域に対してヒストグラムを平坦化する技術が知られている。この技術は、ＣＬＡＨＥ（Ｃｏｎｔｒａｓｔ Ｌｉｍｉｔｅｄ Ａｄａｐｔｉｖｅ Ｈｉｓｔｏｇｒａｍ Ｅｑｕａｌｉｚａｔｉｏｎ）と呼ばれ、このＣＬＡＨＥでは、コントラストの向上具合に制約値を課しながらヒストグラムを平坦化している。

例えば、特許文献１には、背景部の過補正を防止する目的で、被写体である顔や人物の検知を行い、顔や人物はコントラストの制約を小さくし、それ以外の背景部はコントラストの制約を大きくする階調補正装置が開示されている。

また、カメラや電子双眼鏡等を手持ちで使用する際、手ぶれや風などの影響で振動が生じると、視認性が悪化してしまう。

従来、振動による視認性を向上させる目的で、揺れの方向を検知して、レンズをシフトさせることで揺れを低減させる光学式防振技術や、カメラで撮像した画像を基に揺れの方向を検知しその揺れの分だけ画像をシフトさせる電子（画像処理）方式の防振技術が知られている。

カメラや電子双眼鏡等での視認性を向上させるために防振技術とＣＬＡＨＥのような領域分割型エンハンス処理とを両方組み合わせて行うことが考えられる。

しかしながら、ＣＬＡＨＥのように各領域の特徴量に応じてコントラスト強度を補正する処理では、防振により画像周辺部の領域の特徴量がフレームごとに異なってしまうためコントラスト強度の補正量もフレームごとに異なってしまう。

特許文献１に記載の階調補正装置では、両方の処理を行った後の連続画像を見た時に画像周辺部でチラつきが生じて視認性が悪くなり、画像の視認性を向上させることができない、という問題があった。

本発明は、上記に鑑みてなされたものであって、防振処理と領域分割型のエンハンス処理とを両方組み合わせて行った場合でも画像周辺部でチラつきが生じることなく画像の視認性を向上させることができる画像処理装置、プログラムおよび記録媒体を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、時系列に画像を入力する画像入力手段と、前記画像が入力される周期ごとに画像の揺れ量を測定する揺れ量測定手段と、測定された前記揺れ量に基づいて前記画像の揺れを補正する揺れ補正手段と、指定された分割条件に従って、補正された前記画像を複数の領域に分割する分割手段と、前記分割手段により分割した領域ごとに、画像の特徴量を示すヒストグラムを算出する特徴量算出手段と、前記揺れ量測定手段により測定された前記画像の揺れ量に応じて、前記領域ごとに前記ヒストグラムの平坦化を行うエンハンス処理の処理内容を決定し、前記領域ごとに算出された前記ヒストグラムに基づいて、前記領域に対してエンハンス処理を行うエンハンス処理手段と、を備える、ことを特徴とする。

本発明によれば、画像の視認性を向上させることができる。

図１は、第１の実施形態に係る画像処理装置の構成例を示す図である。 図２は、画像処理部の機能構成の一例を示すブロック図である 図３は、防振処理の一例について説明する図である。 図４は、防振処理の一例について説明する図である。 図５は、防振処理の一例について説明する図である。 図６は、防振処理の一例について説明する図である。 図７は、防振処理の一例について説明する図である。 図８は、防振処理の一例について説明する図である。 図９は、その他の防振処理の一例について説明する図である。 図１０は、その他の防振処理の一例について説明する図である。 図１１は、その他の防振処理の一例について説明する図である。 図１２は、画像のコントラスト調整の概要について説明する図である。 図１３は、コントラスト調整で実施されるクリッピング演算について説明する図である。 図１４は、クリップ値を設定することによる効果について説明する図である。 図１５は、コントラスト調整曲線の算出方法について説明する図である。 図１６は、彩度補正で使用するゲインを例示した図である。 図１７は、第１の実施形態に係る画像処理装置が行う処理の一例を示したフローチャート図である。 図１８は、第２の実施形態に係る画像処理装置が行う処理の一例を示したフローチャート図である。 図１９は、隣接する領域同士のマージについて説明する図である。 図２０は、隣接する領域同士のマージについて説明する図である。 図２１は、隣接する領域同士のマージについて説明する図である。 図２２は、隣接する領域同士のマージについて説明する図である。 図２３は、第３の実施形態に係る画像処理装置が行う処理の一例を示したフローチャート図である。 図２４は、隣接する領域同士のマージについて説明する図である。 図２５は、隣接する領域同士のマージについて説明する図である。 図２６は、隣接する領域同士のマージについて説明する図である。 図２７は、隣接する領域同士のマージについて説明する図である。

（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置の構成例を示す図である。画像処理装置１０は、例えば、デジタルカメラ、ビデオカメラ、デジタル双眼鏡、ノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末、スマートフォン、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等とすることができ、例示したいずれの装置であってもよい。なお、ビデオカメラには、車載用カメラや監視カメラ等も含まれる。画像処理装置１０は、レンズ１１と、撮像部１２と、コントローラ部１３と、画像メモリ１４と、操作部１５と、出力部１６と、透過率計測センサ１７と、画像処理部１８とを備えて構成される。

画像処理装置１０は、撮像対象である被写体にレンズ１１を向けて配置され、撮像時に、操作部１５の１つであるシャッターボタンが押下される。シャッターボタンが押下されると、画像処理装置１０は、被写体に反射した光を、レンズ１１を通して撮像部１２へ入射させる。レンズ１１は、複数のレンズ、絞り、焦点調節機構を含んで構成される。焦点調節機構は、焦点を自動で調節するオートフォーカス（ＡＦ）機能を提供する。

撮像部１２は、時系列に画像を入力する。撮像部１２は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ等の撮像素子を含む。撮像素子は、入射された光の強さに応じた大きさの電圧に変換する。撮像部１２は、撮像素子で変換された電圧に対し、ゲインをかけるＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）回路を備える。また、撮像部１２は、ＡＦＥ回路から出力された電圧、すなわちアナログ信号をデジタルデータへ変換するＡ／Ｄ変換回路も備える。Ａ／Ｄ変換回路から出力されるデジタルデータは、コントローラ部１３へ出力される。なお、撮像部１２は請求項の「画像入力手段」に対応する。

コントローラ部１３は、画像処理装置１０全体の制御を行う。コントローラ部１３は、撮像部１２からデジタルデータである、撮像された画像の画像データを受け取る。そして、コントローラ部１３は、受け取った画像データを画像処理部１８へ送って画像処理を実行させたり、画像メモリ１４に保存したり、出力部１６を介して出力デバイスに出力する等の処理を実行する。また、コントローラ部１３は、設定されたＡＦ機能に従い、また、操作部１５が受け付けたレンズの焦点距離切り替え等の指示を受け、レンズ１１を制御し、その機能や焦点距離の切り替え等を行う。

コントローラ部１３は、上記の制御を行うためのプログラムやそのプログラムが使用する設定値等の設定情報を記憶するメモリ、そのプログラムを実行するＣＰＵを含んで構成される。メモリは、上記のＡＦ機能や焦点距離の切り替え等を行うために、レンズの焦点距離等のレンズに対して設定されたレンズ情報を記憶することができる。

操作部１５は、シャッターボタン等の各種ボタンや操作パネルを含み、画像処理装置１０を操作するユーザの操作内容を取得し、コントローラ部１３へその内容を伝達する。例えば、ユーザがシャッターボタンを押下した場合、操作部１５は、シャッターボタンが押下された旨をコントローラ部１３へ伝える。この場合、コントローラ部１３は、撮像部１２に対して指示し、被写体の撮像を実行させる。操作部１５は、操作内容のほか、ユーザがエンハンス処理の処理内容として、例えば、コントラスト補正処理、霧補正処理、及び防振処理を行うか否かの情報も受け付け、それをコントローラ部１３へ伝える。

出力部１６は、画像メモリ１４に保存された画像データを、コントローラ部１３を経由して受け付け、出力デバイスへ出力する。出力デバイスは、たとえば、印刷装置、ファックス装置、コピー機、電子黒板、プロジェクタ、ＰＣ、タブレット端末、スマートフォン等、画像データを出力することができれば、いかなる機器であってもよい。出力部１６と出力デバイスとは、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブル等のケーブルにより接続されていてもよいし、ネットワークにより接続されていてもよい。なお、ネットワークは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット等のいずれのネットワークであってもよく、また、有線、無線のいずれのネットワークであってもよい。

透過率計測センサ１７は、光の透過率を計測するためのセンサで、計測手段の１つとして用いることができる。なお、透過率は、画像から求めることもできるため、この透過率計測センサ１７は、画像処理装置１０に実装されていなくてもよい。透過率計測センサ１７は、例えば、赤外光等を投光してその後方散乱を計測することにより透過率を計測することができる。また、透過率計測センサ１７として測距センサを用い、画像処理装置１０から被写体までの距離を計測し、画像情報を合わせて透過率を計測してもよい。そのほか、特定の波長をもつレーザー光を照射し、そのレーザー光の反射率から透過率を算出してもよいし、複数の撮像装置で角度を変えて撮像し、撮像画像の視差から上記の距離を求め、その距離から透過率を算出してもよい。この透過率計測センサ１７も、コントローラ部１３により制御される。なお、透過率計測センサ１７を用いて透過率を計測することで、画像から透過率を求める場合に比べて高精度の透過率を得ることができる。

画像処理部１８は、撮像部１２から出力され、画像メモリ１４に保存された画像データを、コントローラ部１３を経由して受け取り、出力デバイスが要求する出力形式になるように画像処理を実行する。また、画像処理部１８は、エンハンス処理（コントラスト調整処理）も実施する。画像処理部１８は、図１に示すようにコントローラ部１３とは別個の装置として構成することもできるが、この画像処理を実施するためのプログラムとして構成し、コントローラ部１３や他の回路や機器に実施させることも可能である。なお、コントローラ部１３等にプログラムを実行させ、上記の画像処理を実施させる場合、画像処理装置１０ではなく、画像処理システムとして提供することができる。

図２は、画像処理部１８の機能構成の一例を示すブロック図である。なお、図２は、図１の構成において、透過率計測センサ１７を用いない場合の構成例を示した図である。画像処理部１８は、ＣＴＬ Ｉ／Ｆ２０と、ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）部２１と、揺れ量測定手段及び揺れ補正手段として用いられる防振処理部２２と、計測手段の１つとして用いられる透過率測定部２５と、エンハンス処理手段として用いられるエンハンス処理部２６とを含んで構成される。

なお、揺れ量測定手段として、図示しない揺れ量測定センサを用いる場合は、例えば、光学式防振やセンサ移動式防振であればジャイロセンサや加速度センサなどを用いて揺れ量の測定を行う。光学式防振やセンサ移動式防振では、センサにより測定された揺れ量を補正するために、レンズ１１やセンサをモーターにて移動させるフィードバック制御を行う。本実施形態では、画像から画像処理部１８で揺れ量を求める方式の電子式防振システムを一例にして説明するが、これに限ることはなく光学式防振やセンサ移動式防振の処理方法に対しても適用可能である。

また、計測手段として透過率計測センサ１７を用いる場合は、透過率測定部２５が不要で、透過率計測センサ１７が透過率を計測し、その透過率情報を取得する。そして、透過率計測センサ１７がエンハンス処理部２６へ取得した透過率情報を提供する。

図１に示す撮像部１２が撮像し、出力した画像データは、コントローラ部１３を介して画像メモリ１４に保存される。その画像データは、コントローラ部１３を介して画像メモリ１４から画像処理部１８へ転送される。ＣＴＬ Ｉ／Ｆ２０は、コントローラ部１３と接続し、画像メモリ１４に保存された画像データをコントローラ部１３から受け取り、また、画像処理した画像データをコントローラ部１３へ渡す。

ＩＳＰ部２１は、一般的なカメラにおける画像処理を実施する。この画像処理は公知であるため詳述しないが、例えば、黒補正、シェーディング補正、ゲイン処理、ガンマ処理、ＲＧＢ変換、フィルタ処理、色補正処理等を挙げることができる。ＩＳＰ部２１は、画像処理後の画像データをＣＴＬ Ｉ／Ｆ２０を介して画像メモリ１４に一旦保存させる。

防振処理部２２は、揺れ量測定部２３と、画像シフト部２４とを含む。揺れ量測定部２３は、画像が入力される周期ごとに画像の揺れ量を測定する。揺れ量測定部２３では、コントローラ部１３より防振ＯＮの情報を受信した場合のみ揺れ量の測定を行い、測定結果を後述の画像シフト部２４及びエンハンス処理部２６に出力する。揺れ量測定部２３では、コントローラ部１３より防振ＯＦＦの情報を受信した場合には、揺れ量の測定を行わずに、揺れ量ゼロという情報を画像シフト部２４及びエンハンス処理部２６に出力する。揺れ量の測定方法については、公知であるため詳述しないが、例えば、パターンマッチングにより算出する方法や位相相関法にて算出する方法等を挙げることができる。なお、求められる精度次第では、計算量の負荷を低減するために、画像の縮小を行ってから揺れ量測定を行ってもよい。なお、揺れ量測定部２３は請求項の「揺れ量測定手段」に対応する。

画像シフト部２４は、揺れ量測定部２３で測定された揺れ量に基づいて入力画像の揺れを補正する。画像シフト部２４では、揺れ量測定部２３で測定された揺れ量分シフトさせて、ＩＳＰ部２１で処理され画像メモリ１４に蓄積された画像データをリードする。画像データを揺れ量分シフトさせて読み込むと、後述する図６〜図８に示すようなグレー部分のように画像が存在しない部分が存在するが、その部分の画像データには０埋めを行って、後段のエンハンス処理部２６及び透過率測定部２５に出力する。なお、画像シフト部２４は請求項の「揺れ補正手段」に対応する。

ここで、防振処理部２２が実施する防振処理について簡単に説明する。図３〜図８は、防振処理の一例について説明する図である。ここで、図４〜図８に示す、縦４×横４＝１６個に分割されているブロックはＣＬＡＨＥ処理の領域を示している。以下では、この分割されたブロックを「領域、又はタイル」と表記することがある。

図３に示すように、画像処理装置１０が、Ｎ−１番目のフレーム（実線の四角）３１から矢印方向のＮ番目のフレーム（一点鎖線の四角）３２に揺れた場合について説明する。図４に示す、Ｎ−１番目のフレーム３１に対して防振処理を行わない場合は、図５に示す、Ｎ番目のフレーム３２の画像となり、防振処理を行った場合は、図６に示す、Ｎ番目のフレーム３２の画像となる。図６の例では、防振処理を行う対象はグレー部分を含む各ブロックである。

防振処理を行わない場合は、Ｎ−１番目のフレーム（以下「Ｎ−１フレーム」と表記する）３１とＮ番目のフレーム（以下「Ｎフレーム」と表記する）３２において、分割された各ブロックのヒストグラムが大きく異なるため、全ブロックのＮ−１フレーム３１とＮフレーム３２のルックアップテーブル（以下「ＬＵＴ」と表記する）が異なるので、画像全体の明るさが変わる可能性がある。

一方、防振処理行う場合は、図６に示すように、一番上の横行ブロック及び一番右の縦列ブロック以外のブロックのＬＵＴは変化しない。しかし、一番上の横行ブロック及び一番右の縦列ブロックでは、有効画素数が少なくなる。そのため、揺れ量が大きくなって所定量よりも有効画素数が少なくなると明るさ（コントラスト）がＮ−１フレーム３１とＮフレーム３２では変わってしまう。

すなわち、一番上の横行ブロック及び一番右の縦列ブロックに着目し、図７に示すように、揺れ量が矢印のように少ない場合は、有効画素数が多く無効画素数（グレー部分）が少なく、図８に示すように、揺れ量が矢印のように多い場合は、有効画素数が少なく無効画素数（グレー部分）が多くなる。図８の例のように有効画素数が少ないほどＮフレーム３２の同一ブロックで画像の特徴量を示すヒストグラムの形が異なってしまうことになる。そこで、本実施形態では、揺れ量の大きさに応じて画像周辺部の各ブロックのエンハンス処理の処理内容を変更することで、Ｎ−１フレーム３１とＮフレーム３２とで同一ブロックでのヒストグラムの形が大きく異なってしまうことを抑制する。具体的な、エンハンス処理の内容については後述する。

次に、図９〜図１１を用いて、その他の防振処理について説明する。図９〜図１１は、その他の防振処理の一例について説明する図である。図９に示すように、その他の防振処理としては、撮像部１２のセンサが撮像した全ての画像領域３３を出力するのではなく、一部分の画像領域３４をクリッピング（トリミング）して出力する方式である。図９に示した防振マージンとは、撮像部１２のセンサの撮像範囲内で出力しない余分な画素数（幅）を表す。この防振処理の場合、図１０に示すように、撮像範囲内の全ての画像領域３３のなかで出力する画像領域３４が撮像部１２のセンサの撮像範囲内に収まる揺れの量であれば有効画素数が減少しない。一方、図１１に示すように、出力する画像領域３４が撮像部１２のセンサの撮像範囲内に収まらない揺れの量（防振マージン以上）になると、図３〜図８を用いて説明したように有効画素数が減少するとともに無効画素数（グレー部分）が発生する。このような場合においても、本実施形態のエンハンス処理は適用することが可能である。

図２に戻って説明を続ける。透過率測定部２５は、画像シフト部２４から受信した画像データに対して画像処理を行い、透過率を算出する。透過率の算出方法の詳細については後述する。透過率測定部２５は、算出した透過率を透過率情報としてエンハンス処理部２６に出力する。また、透過率測定部２５は、分割手段により分割された各領域の光の透過率または該透過率と相関関係にあるデータを透過率情報として計測または画像から算出する。

エンハンス処理部２６は、防振処理された画像データを各領域に分割し、その分割した領域ごとに画像の特徴量を示すヒストグラムの平坦化を行うエンハンス処理を実行する。すなわち、エンハンス処理部２６は、画像シフト部２４から受け取った画像データに対して、透過率測定部２５から受け取った透過率情報を用いて、明るさ成分に対しては、ＣＬＡＨＥを実施し、色味成分に対しては彩度補正処理を実施する。このため、エンハンス処理部２６は、ＣＬＡＨＥを実施するＣＬＡＨＥ処理部２７と、彩度補正を行う彩度補正部２８とを備える。エンハンス処理部２６は、これらの処理が終了したところで、ＣＴＬ Ｉ／Ｆ２０を介して画像メモリ１４へ画像処理した後の画像データを保存する。出力デバイスは、出力部１６を介してコントローラ部１３に対して画像データを要求し、コントローラ部１３は、画像メモリ１４に保存された画像データを、出力部１６を介して出力デバイスへ出力する。なお、エンハンス処理部２６は、透過率情報を用いないで、画像データに対して明るさ成分に対しては、ＣＬＡＨＥを実施し、色味成分に対しては彩度補正処理を実施することも可能である。なお、エンハンス処理部２６は請求項の「分割手段」、「特徴量算出手段」、「エンハンス処理手段」、「変換テーブル算出手段」、「画素数算出手段」、「統合手段」、「ラベル情報付与手段」として機能する。

エンハンス処理部（分割手段）２６は、指定された分割条件に従って、画像シフト部２４で補正された画像を複数の領域に分割する。また、エンハンス処理部（特徴量算出手段）２６は、分割手段により分割した領域ごとに、画像の特徴量を示すヒストグラムを算出する。また、エンハンス処理部（エンハンス処理手段）２６は、揺れ量測定手段により測定された画像の揺れ量に応じて、領域ごとにヒストグラムの平坦化を行うエンハンス処理の処理内容を決定し、領域ごとに算出されたヒストグラムに基づいて、各領域に対してエンハンス処理を行う。また、エンハンス処理部（画素数算出手段）２６は、分割手段により分割した領域ごとに、有効画素数を算出する。また、エンハンス処理部（統合手段）２６は、有効画素数が所定の閾値以下の第１の領域と、隣接する領域で、かつ有効画素数が所定の閾値以上の第２の領域とを統合して第３の領域とする。また、エンハンス処理部（ラベル情報付与手段）２６は、領域の画像内の被写体の種類を示すラベル情報を付与する。

エンハンス処理部２６は、ＩＳＰ部２１で画像処理した後の画像データに限らず、ＣＴＬ Ｉ／Ｆ２０から直接画像データを受け付け、その画像データに対してエンハンス処理を実施することもできる。また、エンハンス処理部２６は、ＣＬＡＨＥと彩度補正の両方ではなく、いずれか一方のみを実施することも可能である。

ここで、ＣＬＡＨＥ処理部２７が実施するＣＬＡＨＥについて簡単に説明する。図１２は、ＣＬＡＨＥ処理について説明する図である。ＣＬＡＨＥ処理は、図１２に示すように、撮像した画像を複数の矩形領域（タイル）に分割し、各タイルにつき、ヒストグラムの平坦化処理を行い、コントラストを向上させる処理である。図１２は、例えば、霧が発生している場所で撮像した画像の一例を示している。なお、この場所は、霧の濃さが一様であり、画像処理装置１０からの距離に応じて、光の透過率が変化している。以下、霧を例に挙げて説明するが、霧に限定されるものではなく、上述した霞、黄砂、ＰＭ２．５等であってもよいものである。

図１２の縦横均等に４つに分割されたタイルのうち、上側２つのタイルは、遠距離にある山が撮像されているため、光の透過率が低く、左下のタイルは、近距離にある車が撮像されているため、光の透過率が高くなっている。また、右下のタイルは、その中間の中距離のものが撮像されているため、光の透過率がその中間の値となっている。

霧の中で撮像した霧画像において、光の透過率が低いタイル、すなわち撮像対象までの距離が遠く、霧が濃く撮像されているタイルについては、コントラストが小さく、撮像対象がはっきりしない。このため、コントラストの制約値を小さくし、コントラスト強調処理を大きく行うようにする。これに対し、光の透過率が高いタイル、すなわち撮像対象までの距離が近く、霧が薄く撮像されているタイルについては、コントラストの制約値を大きくし、あまりコントラスト強調処理を行わないようにする。光の透過率がその中間のタイルについては、その中間の制約値とし、適当なコントラスト強調処理を行うようにする。これにより、撮像対象がはっきりしないものに対しては、はっきり見えるようにし、撮像対象がはっきりしているものに対しては、過度に補正されないようにして、ノイズが見立たないようにすることができる。

霧の濃さが一様である場合は、上記のように、撮像対象までの距離によってコントラストの制約値を切り替え、コントラスト強調処理を行うことができる。霧の濃さが一様でない場合は、光の透過率が距離に依存しないため、計測した透過率あるいは算出した透過率に応じて、コントラストの制約値を切り替え、コントラスト強調処理を行うことができる。

ＣＬＡＨＥでタイルに分割する数は、図１２に示すように４つに限定されるものではなく、９、１６、２５等、もっと細かく分割してもよい。なお、分割する数は分割条件で予め指定されている。ＣＬＡＨＥで行うヒストグラムの平坦化処理については、例えば、特開２００６−１９５６５１号公報に記載された方法等、公知の方法を採用することができる。その詳細については、上記の特許文献等を参照されたい。エンハンス処理部２６は、このようにタイルに分割することから、エンハンス処理を行うエンハンス処理手段のほか、画像を複数の領域に分割する分割手段としても機能する。

このヒストグラムの平坦化処理は、コントラストの強調具合が強い処理であるため、そのコントラストを弱めるため、コントラストの制約値を示すクリップ値と呼ばれるパラメータを導入し、ヒストグラムのクリッピング演算を実施する。

クリッピング演算は、局所的ヒストグラム均等化法において用いられる演算である。局所的ヒストグラム均等化法は、一般的なコントラスト強調法であり、画像の局所情報を考慮してコントラスト強調処理を行う方法である。図１３を参照して、クリッピング演算について説明する。図１３（ａ）に示す入力画像の中の領域（タイル）内の画素がもつ輝度値の分布を分布図で表すと、図１３（ｂ）のようなものになる。

タイルに対して所定のクリップ値が設定され、各輝度値の画素数がそのクリップ値を超える場合、図１３（ｂ）の斜線で示される、その超えた画素数を除去する。その超えた画素数を合計し、輝度値の全数で除算して、各輝度値に分配する画素数を算出する。そして、クリップ値を超える画素数を除去した後の各輝度値の画素数と、各輝度値に分配する画素数とを加算し、図１３（ｃ）に示す各輝度値の新たな画素数を算出する。例えば、図１３（ｂ）の斜線で示される部分の画素数の合計が５１２個であり、輝度値の全数が２５６階調の２５６個である場合、５１２／２５６＝２個の画素数を全輝度値に対して分配し、加算する。クリッピング演算では、このように算出した各輝度値における画素数の分布を再設定する。

次に、クリップ値を設定することによる効果について、図１４を参照して説明する。図１４（ａ）、（ｂ）を参照すると、クリップ値を超える画素数を除去する前の左側に示した分布図では、分割したあるタイルの輝度値がαからβの間に分布している。図１４（ａ）ではクリップ値ｋ_１、図１４（ｂ）ではクリップ値ｋ_２（ｋ_２＜ｋ_１）を超えた画素数を除去し、その超えた画素数を合計し、輝度値の全数で除算して各輝度値に分配する画素数を算出し、その画素数を全輝度値に加算する。これにより、それぞれの中央に示したクリッピング後の分布図が得られる。クリッピング後の分布図を参照し、輝度値０から２５５まで各輝度値の画素数を加算、累積し、それを正規化することで、右側に示した、各輝度値に対する変換後の輝度値を表す変換曲線が求められる。正規化は、ここでは０から２５５の値に収めるための処理である。

この変換曲線を求める場合、その都度、各輝度値の画素数を加算して算出してもよいし、予め各輝度値の画素数を加算して算出しておいたルックアップテーブル（ＬＵＴ）をメモリ等に格納しておき、その都度、ＬＵＴから選択してもよい。

クリッピング後の分布図から変換曲線を求める方法を、図１５を参照してより詳細に説明する。図１５（ａ）は、クリッピング後の分布図を示し、図１５（ｂ）は、図１５（ａ）から求められた変換曲線を示した図である。図１５（ａ）に示すように、輝度値０からαまでは、画素数が一定である。輝度値０からαの間において、変換後の輝度値は、変換前の輝度値に一定の画素数を加算、累積して求めるため、その間の変換曲線は、図１５（ｂ）に示すように一定の傾きとなる。また、輝度値γからδの間、輝度値βから２５５の間も同様に一定の画素数を加算、累積して求めるため、一定の傾きとなる。

なお、輝度値γからδの間は、輝度値０からαの間、βから２５５の間に比べて加算する画素数が多いため、その傾きはそれらより急峻になる。輝度値αからγの間は、図１５（ａ）に示すように画素数が一定ではなく、急激に増加する傾向を示すため、画素数を加算、累積して求めたαからγの間の変換曲線は、図１５（ｂ）に示すように直線ではなく、急激に増加する曲線となる。これに対し、輝度値δからβの間は、画素数が急激に減少する傾向を示すため、δからβの間の変換曲線は、急激に減少する曲線となる。これらの直線、曲線を繋ぎ合わせて、図１５（ｂ）に示す変換曲線を求めることができる。

このようにして図１４（ａ）、（ｂ）に示すクリッピング後の分布図からも各変換曲線を求めることができる。設定したクリップ値が大きい図１４（ａ）に示す例では、変換曲線において、α＞α’、β＜β’となっており、αからβまでの距離Ｑとα’からβ’までの距離Ｑ’との関係がＱ＜Ｑ’となっている。これは、輝度値の下限値を示すαがα’に低下し、輝度値の上限値を示すβがβ’に上昇し、画素の分布が拡大していることを表している。つまり、原画の階調に対して変換後の階調が拡大しており、今まで輝度値が似通っていて判別しづらい部分を鮮明に見分けられるようになったことを示している。

設定したクリップ値が小さい図１４（ｂ）に示す例では、変換曲線において、図１４（ａ）に示す例と同様、α＞α”、β＜β”、Ｑ＜Ｑ”となっているが、それぞれが近い値になっている。したがって、αからα”へ下限値が低下し、βからβ”へ上限値が上昇するが、わずかな低下および上昇であり、変換前とあまり大差がない。つまり、原画の階調に対して変換後の階調の変化があまり見られず、階調補正がほとんどなされないことを示している。

なお、上記の変換曲線を求める演算の途中または演算後において、α’＝αになるようにα’を変換し、それに伴い、β’や変換曲線を再度求めてもよい。α’だけに限られるものではなく、β’、α”、β”等に関しても同様な処理を行ってもよい。

上記の結果から、霧画像において、光の透過率が高い部分についてはクリップ値を小さくして、コントラストの調整具合を小さくし、光の透過率が低い部分についてはクリップ値を大きくして、コントラストの調整具合を大きくすればよいことが分かる。

光の透過率は、透過率計測センサ１７を用いて計測することができるが、画像処理により画像から透過率を算出することもできる。その算出方法の１つとして、ダークチャンネルを用いる方法を説明する。なお、この方法の詳細については、例えば、「Ｓｉｎｇｌｅ ｉｍａｇｅ Ｈａｚｅ ｒｅｍｏｖａｌ Ｕｓｉｎｇ Ｄａｒｋ Ｃｈａｎｎｅｌ Ｐｒｉｏｒ」， Ｈｅ Ｋａｉｍｉｎｇ， Ｊｉａｎ Ｓｕｎ， Ｘｉａｏｏｕ Ｔａｎｇ， Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ＩＥＥＥ ２０１１や、特開２０１２−２２１２３７号公報等を参照されたい。

霧の性質から霧画像の局所領域におけるＲＧＢの最小値を算出すると、霧の大まかな透過率と相関関係のあるデータを得ることができる。このデータは、ダークチャンネルと呼ばれる。霧のモデル式は、霧が晴れている場合の画像データをＪとし、大気中の透過率をｔ（ｔ＝０〜１）とし、大気光（間接光成分）をＡとし、霧発生時の画像データをＩとすると、下記式（１）で表すことができる。

上記式（１）中、Ｊ×ｔは、直接光データと呼ばれ、光の透過率１００％の霧が晴れているときの画像が透過率ｔにより減衰されている様子を示している。上記式（１）中、（１−ｔ）×Ａは、間接光データ（又はＡｉｒ Ｌｉｇｈｔ成分）と呼ばれ、直接光で減衰した分、大気光Ａで明るくなっている様子を示している。

ダークチャンネルは、霧が晴れている場合、ほとんどの物質が、ＲＧＢ最小値がほぼ０に近いという性質から成り立っている。上記式（１）より、透過率ｔが低ければ低いほど、大気光の成分が加算され、その値が大きくなる。一方、直接光データは０に近い値になる。このため、直接光データを０とみなし、大気光Ａの値を用いて大まかな透過率ｔを求めることができる。

Ｊの最小値をさらに０に近い値にするために、局所領域を、例えば１５×１５という小さいサイズに分割した領域とし、その各領域での最小値を取ることができる。ちなみに、霧が晴れていても、晴れていなくても、白い大きい物体等は、ＲＧＢの最小値がほぼ０に近い値を示すことから、ダークチャンネルでも正確に透過率を算出することはできない。

上記の条件の下、上記式（１）に示すモデル式から導出したダークチャンネルと透過率ｔとの関係式を、下記式（２）に示す。下記式（２）中、Ωは、注目画素に対する局所領域を指し、ｍｉｎ_ｃはＲＧＢ最小値を表す。

上記式（２）を用いて、透過率ｔもしくはダークチャンネルｍｉｎ_ｙ∈Ω（ｍｉｎ_ｃ（Ｊ））を算出する。以下、ダークチャンネルは、ｄａｒｋ（Ｊ）と記述することにする。図２に示す透過率測定部２５は、上記式（２）を用いて透過率ｔもしくはダークチャンネルｄａｒｋ（Ｊ）を算出し、これを透過率情報としてエンハンス処理部２６へ出力する。エンハンス処理部２６では、透過率ｔもしくはダークチャンネルｄａｒｋ（Ｊ）に応じて、ＣＬＡＨＥで使用するクリップ値ｋを決定する。

上記の透過率情報を使用しないＣＬＡＨＥのクリップ値ｋは、従来、下記式（３）および下記式（４）によりユーザが求め、ユーザが設定している。

上記式（３）中、ｍは、１タイル当たりの画素数であり、Ｎは、画素のｂｉｎ数、すなわち８ビット画像であれば２５６であり、１６ビット画像であれば６５５３６である。ｋ＿ｍｉｎは、最小クリップ値である。上記式（４）中、ユーザ設定値Ｓは０から１の間の値であり、１である場合は、クリップ値による制約がない場合に等しい状態である。

透過率情報を使用するＣＬＡＨＥのクリップ値ｋは、１タイル当たりの透過率ｔの平均値をタイル透過率Ｔとし、１タイル当たりのダークチャンネルｄａｒｋ（Ｊ）の平均値をタイルダークチャンネルｄａｒｋ（Ｊ）とし、上記式（４）を変形した下記式（５）又は下記式（６）を用いて算出することができる。

上記式（５）又は上記式（６）を用いることで、タイルの透過率毎にＣＬＡＨＥのクリップ値が変化し、透過率の低いタイルにはクリップ値を大きく、透過率の高いタイルにはクリップ値を小さくすることができる。上記式（５）及び上記式（６）中、α１、β１、α２、β２は、透過率ｔを一次変換し、どの程度の重み付けをするかを示す値であり、一次変換の結果が１を超える場合にはクリップすることにする。例えば、透過率の感度を強くし、透過率が小さい差分でもクリップ値の変化を大きくした場合は、画像全体におけるタイルダークチャンネルの最大値が１、タイルダークチャンネルの最小値が０になるようにα１、α２、β１、β２を定めることができる。

透過率情報及び有効画素数の割合を使用するＣＬＡＨＥのクリップ値ｋは、上記式（４）を変形した下記式（７）を用いて算出することができる。

上記式（７）中、Ｂは調整パラメータであり、Ｍは１タイル（領域）の有効画素数である。その他の記号は上記式（６）と同様である。

上記式（７）を用いることで、１タイル（領域）あたりの有効画素数が多いほどクリップ値が大きくなり、有効画素数が少ないほどクリップ値が小さくなる。そのため、有効画素数が少なく、Ｎ−１フレームとＮフレームのパラメータが変化しやすい場合には、エンハンス強度が弱くなる。なお、上記式（７）はダークチャンネルのみの記述であるが、透過率の場合も同様に記述できる。また、上記式（７）では、タイルダークチャンネル、タイル透過率は、１タイル（領域）あたりの画素の平均値であるが、無効画素は演算対象から外すようにする。このように、エンハンス処理部２６では、画像の揺れ量が大きい場合には、複数の領域の中で、画像周辺部の領域に対して行うエンハンス処理のエンハンス強度を小さく設定し、画像の揺れ量が小さい場合には、画像周辺部の領域に対して行うエンハンス処理のエンハンス強度を大きく設定する。すなわち、エンハンス処理部２６は、画像の揺れ量が大きい場合には、領域ごとに算出された各ヒストグラムの平坦化処理を行うために用いるコントラストの制約値を示すクリップ値を小さく設定し、画像の揺れ量が小さい場合には、コントラストの制約値を示すクリップ値を大きく設定する。

エンハンス処理部２６は、上記式（５）、上記式（６）又は上記式（７）を用いてタイル毎のクリップ値を算出し、各クリップ値を用いてＣＬＡＨＥ処理を実施する。クリップ値は、上記式（５）、上記式（６）又は上記式（７）により算出するほか、透過率情報に対応するクリップ値としてテーブル等に設定しておき、そのテーブルを参照して決定するようにしてもよい。ＣＬＡＨＥ処理を実施するに際して、画像がＲＧＢ画像である場合、ＲＧＢ色空間からＹＣｂＣｒ色空間等へ変換することができる。色空間の変換は、これまでに知られたいかなる計算式等でも使用して行うことができる。エンハンス処理部２６は、変換後のＹ（輝度値）を使用して、上記の方法によりヒストグラムの平坦化を実施することができる。

エンハンス処理部２６は、ＣＬＡＨＥ処理のみを実施してもよいが、この処理だけでは、霧画像が無彩に近づき、彩度が不足する場合がある。このような場合には、ＹＣｂＣｒ色空間におけるＣｂ、Ｃｒ成分にゲインをかけて彩度を向上させることができる。Ｃｂは、青系統の色の色相と彩度を表す色差成分で、Ｃｒは、赤系統の色の色相と彩度を表す色差成分である。

透過率情報を使用した場合、Ｃｂ、Ｃｒ成分にゲインをかける彩度補正は、下記式（８）、下記式（９）、又は下記式（１０）、下記式（１１）を用いて実施することができる。下記式（８）〜（１１）中、Ｃｂ、Ｃｒは、−１〜１の間の値とする。また、下記式（８）〜（１１）中、Ｃｘのｘは、ｂまたはｒのいずれかを示す。また、Ｃｘ’は、彩度補正後のＣｂ、Ｃｒの値である。

上記式（８）〜（１１）も、ＣＬＡＨＥのクリップ値と同様、透過率が大きいほどゲインが小さくなり、透過率が小さいほどゲインが大きくなるような式である。また、α３、α４、β３、β４は、ＣＬＡＨＥのクリップ値の場合と同様、透過率ｔを一次変換し、どの程度の重み付けをするかを示す値である。

透過率情報を使用しないで有効画素数の割合を使用する場合、Ｃｂ、Ｃｒ成分にゲインをかける彩度補正は、下記式（１２）、下記式（１３）を用いて実施することができる。

上記式（１２）、（１３）中、Ｄは調整パラメータであり、Ｍは１タイル（領域）の有効画素数である。その他の記号は上記式（１０）、（１１）と同様である。なお、ｄａｒｋ（Ｊ）を一次変換できるようにしてある。

上記式（１２）、（１３）も、ＣＬＡＨＥのクリップ値と同様、有効画素数が多いほどゲインが大きくなり、有効画素数が少ないほどゲインが小さくなる。また、数式中に使用される「タイル（領域）」はＣＬＡＨＥと同じタイル（領域）である。

ここで、図１６（ａ）〜（ｃ）を参照して、上記式（８）〜（１３）の指数部が１〜３に変化した場合にゲインがどのように変わるかについて説明する。図１６（ａ）が上記式（８）〜（１３）中の指数部が１の場合、図１６（ｂ）が上記式（８）〜（１３）中の指数部が２の場合、図１６（ｃ）が上記式（８）〜（１３）中の指数部が３の場合を示す。指数部が１の場合は、Ｃｘに対するＣｘ’の比が１であるが、指数部が２、３と大きくなるにつれて、その比が大きくなり、ゲインが大きくなることが分かる。上記式（８）〜（１３）の指数部には、透過率情報又は有効画素数の割合が含まれることから、上記式（８）〜（１３）を用いて彩度補正を行うことで、透過率情報又は有効画素数の割合に応じて彩度補正のゲインを決定することができる。

次に、図１７を参照して、本実施形態に係る画像処理装置１０が行う処理の一例について説明する。図１７は、第１の実施形態に係る画像処理装置が行う処理の一例を示したフローチャート図である。

ユーザは、任意の撮像対象である被写体に画像処理装置１０のレンズ１１を向け、シャッターボタンを押下する（ステップＳ１）。これを受けて、撮像部１２が画像を撮像する。ここでは防振処理及び霧除去処理を行うものとして説明するが、当然ながら霧以外の黄砂やＰＭ２．５等であってもよい。防振処理及びエンハンス処理（霧除去処理又はコントラスト補正処理）を行う場合、ユーザは、操作部１５において防振処理及びエンハンス処理（霧除去処理又はコントラスト補正処理）を行うかどうかを指定することができる。画像処理装置１０は、その指定を受けて、防振処理及びエンハンス処理（霧除去処理又はコントラスト補正処理）を実行する。なお、画像処理装置１０の種類によっては、撮像画像により霧が発生しているかどうかを自動的に検知する装置もあるため、そのような装置では、ユーザが意識せずに自動的に霧補正を実行することができる。

コントローラ部１３がシャッターボタンの押下を受け付けると、撮像部１２に対し、撮像を開始するように指示する。撮像部１２は、その指示を受けて、シャッターを開き、撮像素子を露出させ、撮像素子に入射される光を光電変換し、画像データを出力する。そして、コントローラ部１３がその画像データを受け取り、画像メモリ１４に保存する（ステップＳ２）。

次に、画像メモリ１４から画像処理部１８内の揺れ量測定部２３にＮ−１フレーム画像とＮフレーム画像を送信する。ここで、Ｎ−１フレームに対して、Ｎフレーム（現在のフレーム）がどの程度揺れたのかを、例えば、位相相関法やブロックマッチング法などで測定する。このようにして測定された揺れ量は、画像シフト部２４とエンハンス処理部２６に送信される（ステップＳ３）。

画像処理部１８は、ＣＴＬ Ｉ／Ｆ２０を介して画像メモリ１４から画像データを取得し、ＩＳＰ部２１でシェーディング補正等の一般的な画像処理が行われた後、画像データはＣＴＬ Ｉ／Ｆ２０を介して再び画像メモリ１４に送信されて保存される（ステップＳ４）。

次に、画像シフト部２４が画像メモリ１４からＩＳＰ処理後の画像データを読み込む。このとき、ステップＳ３で求めた揺れ量を用いて、図３〜図８を用いて説明したようにＮ−１フレームとＮフレームとが被写体の位置座標が変わらないように画像データのリードを行う。上述したように無効画素の位置には、０を埋めた画像データを透過率測定部２５及びエンハンス処理部２６に送信する（ステップＳ５）。

次に、透過率測定部２５は、上述した上記式（２）を用いるダークチャンネル手法により、透過率ｔもしくはｄａｒｋ（Ｊ）といった透過率情報を算出する。透過率測定部２５は、算出した透過率情報をエンハンス処理部２６に送信する（ステップＳ６）。ただし、無効画素に対しては、ダークチャンネル手法のフィルタ演算対象外とする。

次に、ＣＬＡＨＥ処理部２７は、上述したように撮像した画像を複数の矩形領域（タイル）に分割し、各領域（タイル）でヒストグラムを算出するが、画像周辺部のヒストグラムの０の頻度値を確認することで、無効画素数を確認することができる。これは、通常の自然画像、特に霧画像では露出条件を満足していれば、０の数値になるものはほぼ無いためである。図７及び図８を用いて説明したように、左上、右上、左下、右下の４つの領域のヒストグラムを参照すれば、全ての画像周辺領域の無効画素数を算出することが可能である。そして、１領域（タイル）あたりの画素数から無効画素数を減算することで有効画素数が算出される（ステップＳ７）。また、ＩＳＰ部２１のガンマ補正において、有効画素については０にならない階調変換を行ってもよい。また、揺れ量測定部２３で算出された揺れ量を受信し、その揺れベクトルの値より無効画素数を算出することもできる。このように、ＣＬＡＨＥ処理部（画素数算出手段）２７は、分割手段により分割された各領域の有効画素数を算出する。

次に、ＣＬＡＨＥ処理部２７は、ヒストグラムの平坦化処理で用いるコントラストの制約値を示すクリップ値を算出する（ステップＳ８）。上述したようにクリップ値は大きいほどエンハンスは強くなり、クリップ値は小さいほどエンハンスは弱くなる。まず、ＣＬＡＨＥ処理部２７は、画像周辺部以外の領域について、透過率情報を用いて上記式（５）又は上記式（６）からクリップ値を算出する。次に、ＣＬＡＨＥ処理部２７は、画像周辺部の領域について、有効画素数の割合を用いて上記式（７）からクリップ値を算出する（ステップＳ８）。本実施形態では、１タイルあたりの有効画素数の割合に応じてクリップ値を変更することが１つの特徴である。

次に、ＣＬＡＨＥ処理部２７は、上記で算出した各タイル（領域）のクリップ値を用いて、累積ヒストグラムの形を変化させ、階調変換用のＬＵＴ（変換テーブル）を作成する。そして、ＬＵＴを用いて、ステップＳ５で防振処理された画像データに対して非線形の階調変換を行う（ステップＳ９）。すなわち、クリップ値を用い、上記の方法で各タイルにつきヒストグラムの平坦化を実施し、各変換曲線を求める。そして、ＣＬＡＨＥ処理部２７は、求めた各変換曲線を用い、各タイル内の画素の輝度値を変換する。このようにして、ＣＬＡＨＥ処理部２７は、画素の輝度成分に対して補正を行う。ＣＬＡＨＥ処理部２７は、補正後の画像データを彩度補正部２８へ送る。なお、本実施形態では、ステップＳ６〜Ｓ８の処理は明度信号（ＹＣｒＣｂ空間のＹ信号）のみに実施するものとする。

次に、彩度補正部２８は、その画像データにおける各画素の輝度成分以外の色差成分に対して彩度補正を行う（ステップＳ１０）。まず、画像周辺部以外の領域について、上記式（８）〜（１１）を用いて彩度成分にゲインをかけ、彩度を向上させる処理を行う。次に、画像周辺部の領域について、上記式（１２）、（１３）を用いて彩度成分にゲインをかけ、彩度を向上させる処理を行う。すべての画素に対して彩度補正を行った後、エンハンス処理部２６は、エンハンス処理が終了したものとし、画像データをＣＴＬ Ｉ／Ｆ２０を介して画像メモリ１４に保存、処理を終了する。

このように、本実施形態によれば、揺れ量が大きいほど画像周辺部の領域のエンハンス強度を弱めることで、画像周辺部のチラつきを低減させることができる。また、画像周辺部で有効画素数が低減すると、補正が強くなりノイズがより目立つ場合もあるが、過補正を防止することで画像周辺部におけるノイズの低減ができる。よって、防振処理と領域分割型のエンハンス処理とを両方組み合わせて行った場合でも画像周辺部でチラつきが生じることなく画像の視認性を向上させることができる。

（第２の実施形態）
次に、第２の実施形態について説明する。画像処理装置１０の構成例は第１の実施形態と同様である。第１の実施形態とはエンハンス処理部２６のＣＬＡＨＥ処理が異なるだけである。以下、詳細について説明する。

図１８を参照して、本実施形態に係る画像処理装置１０が行う処理の一例について説明する。図１８は、第２の実施形態に係る画像処理装置が行う処理の一例を示したフローチャート図である。なお、第１の実施形態の図１７と同様な処理については対応するステップを示し詳細な説明は省略する。

ステップＳ２１は、図１７のステップＳ１〜ステップＳ６までの処理と同様である。ステップＳ２２は、図１７のステップＳ７と同様である。ステップＳ２５〜ステップＳ２７は、図１７のステップＳ８〜ステップＳ１０と同様である。以下では、ステップＳ２３、ステップＳ２４について説明する。

ステップＳ２２で、画像を分割した各タイル（領域）について有効画素数を算出した後、ＣＬＡＨＥ処理部２７は、画像周辺部の各タイル（領域）に対して、（１領域の有効画素数／１領域の画素数）を算出する。この計算をすることで、１つの領域に対してどの程度の割合でヒストグラムを作成するのに有効な画素があるのかがわかる。つまり、算出した有効画素数の割合が小さければ小さいほどＮ−１フレームとＮフレームとのＬＵＴが異なる形となってしまいやすく、画面のチラつきが大きくなってしまう。ＣＬＡＨＥ処理部２７は、算出した値が、所定の閾値より小さいか否かを判定する（ステップＳ２３）。

所定の閾値より大きい場合（ステップＳ２３：Ｎｏ）、ステップＳ２５に移行して処理を継続する。所定の閾値より小さい場合（ステップＳ２３：Ｙｅｓ）、有効画素数を増やすために、隣接する領域同士をマージする（ステップＳ２４）。次に、ステップＳ２５〜ステップＳ２７を処理して各タイル（領域）について終えたら終了する。

ここで、図１９〜図２２を用いて、隣接する領域同士のマージについて説明する。図１９〜図２０において、４×４＝１６に分割した各タイル（領域）の左側一番目の列上側から１−１、１−２、１−３、１−４領域とし、左側二番目の列上側から２−１、２−２、２−３、２−４領域とし、左側三番目の列上側から３−１、３−２、３−３、３−４領域とし、左側四番目の列上側から４−１、４−２、４−３、４−４領域とする。

図１９は、上側のタイル（領域）１−１、２−１、３−１、４−１領域の有効画素数が少ない場合（有効画素数が所定の閾値以下の第１の領域）を示している。図１９の例では、１−１領域（第１の領域）は、１−２領域（有効画素数が所定の閾値以上の第２の領域）とマージして新たな領域（第３の領域）４１とする例である。また、２−１領域は、２−２領域とマージして新たな領域４２とする例である。また、３−１領域は、３−２領域とマージして新たな領域４３とする例である。また、４−１領域は、４−２領域とマージして新たな領域４４とする例である。これらの処理は請求項の「統合手段」に相当する。

図２０は、右側のタイル（領域）４−１、４−２、４−３、４−４領域の有効画素数が少ない場合を示している。図２０の例では、４−１領域は、３−１領域とマージして新たな領域４５とする例である。また、４−２領域は、３−２領域とマージして新たな領域４６とする例である。また、４−３領域は、３−３領域とマージして新たな領域４７とする例である。また、４−４領域は、３−４領域とマージして新たな領域４８とする例である。

図２１は、右上側のタイル（領域）４−１領域の有効画素数が少ない場合を示している。図２１の例では、４−１領域は、４−２、３−１、３−２領域とマージして新たな領域５１とする例である。

図２２は、右側のタイル（領域）４−１、４−２、４−３、４−４領域と、上側のタイル（領域）１−１、２−１、３−１、４−１領域の有効画素数が少ない場合を示している。図２２の例では、１−１領域は、１−２領域とマージして新たな領域４１とする例である。また、２−１領域は、２−２領域とマージして新たな領域４２とする例である。また、４−１領域は、４−２、３−１、３−２領域とマージして新たな領域５１とする例である。また、４−３領域は、３−３領域とマージして新たな領域４７とする例である。また、４−４領域は、３−４領域とマージして新たな領域４８とする例である。

上記のように、有効画素数の割合が所定の閾値よりも小さい（不足している）画像周辺領域のみをマージする。画像周辺領域よりも内側の領域では、全画素が有効画素であるため、周辺領域よりも内側の領域とマージをすれば、有効画素数が増え安定したヒストグラムが形成される。なお、画像周辺部より内側の領域のＬＵＴが、多少ではあるが変化してしまうことがあるため、画像周辺部領域で１つの領域をマージさせるという手法でもよい。なお、所定の閾値は任意に設定できる。

このように、本実施形態によれば、揺れ量が大きく画像周辺部の領域の有効画素数が不足している場合には、画像領域を大きくすることで画像周辺部のチラつきを低減させることができる。また、エンハンスを弱めていないので画像周辺部のコントラストをよくすることができる。

（第３の実施形態）
次に、第３の実施形態について説明する。画像処理装置１０の構成例は第１の実施形態と同様である。第１の実施形態とはエンハンス処理部２６のＣＬＡＨＥ処理が異なるだけである。以下、詳細について説明する。

図２３を参照して、本実施形態に係る画像処理装置１０が行う処理の一例について説明する。図２３は、第３の実施形態に係る画像処理装置が行う処理の一例を示したフローチャート図である。なお、第１の実施形態の図１７と同様な処理については対応するステップを示し詳細な説明は省略する。

ステップＳ３１は、図１７のステップＳ１〜ステップＳ６までの処理と同様である。ステップＳ３２は、図１７のステップＳ７、ステップＳ８とほぼ同様であるが、本実施形態では揺れ量を考慮していないクリップ値を用いる点が異なる。ステップＳ３４〜ステップＳ３５は、図１７のステップＳ９〜ステップＳ１０と同様である。以下では、ステップＳ３２、ステップＳ３３について説明する。

ステップＳ３２で、クリップ値ｋは、揺れ量を考慮していない上記式（６）を用いて算出する。次に、ＣＬＡＨＥ処理部２７は、上記で算出した各タイル（領域）のクリップ値を用いて、累積ヒストグラムの形を変化させ、階調変換用のＬＵＴを算出する（ステップＳ３３）。そして、ＬＵＴを用いて、防振処理された画像データに対して非線形の階調変換を行い（ステップＳ３４）、彩度補正を行う（ステップＳ３５）。

ここで、本実施形態で行うＬＵＴを算出する際に、Ｎ−１フレームのＬＵＴとＮフレームのＬＵＴとのブレンド処理について説明する。まず、防振処理を考慮しない場合は、下記式（１４）のようなブレンド処理となる。

ＮフレームのＬＵＴ＝Ｎ−１フレームのＬＵＴ×（１−ａ）＋Ｎフレーム画像より算出したＬＵＴ×ａ ・・・（１４）

上記式（１４）中、ａは、Ｎ−１フレームとのブレンド率であり、ａは０から１の間の値である。

ａが１に近い値であるほど、Ｎフレームの画像の算出結果を重視し、ａが０に近い値であるほど、過去との平滑を強めることになり、Ｎ−１フレームとの差分が小さくなる。画像に揺れが起きていない場合であっても、例えば、ライトの点滅などで光源が急激に変化するシーンやカメラが一瞬障害物などで遮られるシーンなどでは、ブレンド処理は有効な処理である。

次に、画像周辺部領域のブレンド率ｂを下記式（１５）のように定義する。

ブレンド率ｂ＝ブレンド率ａ×調整パラメータｋ＿ｂｌｅｎｄ×｛（１領域の有効画素数）／（１領域の画素数）｝ ・・・（１５）

画像周辺部領域でない領域や無効画素数が無い領域に関しては、上記式（１４）のブレンド率ａがそのまま使用できる。一方、画像周辺部領域で揺れにより有効画素数が少ない領域に関しては、よりブレンド率が小さい数値になるため、Ｎフレームの算出結果よりもＮ−１フレームのＬＵＴを重視し、あまりＬＵＴを変化させないことで、画像周辺部のチラつきを低減できる。

また、１タイル（領域）の有効画素数が著しく少ない場合には、その隣接する領域（内側の領域）とのギャップが大きくなる。通常、隣接領域とはバイリニアのブレンドを行うが、ギャップが大きい場合は、より有効画素数の多い領域（内側の領域）の重み付けを重くして、領域間のブレンドを行うようにしてもよい。

本実施形態では、上記式（１４）、（１５）で説明したブレンド処理を行ったＬＵＴを用いて入力された画像データに対して階調変換を行うようにする。このように、エンハンス処理部（変化テーブル算出手段）２６は、時系列で入力される入力画像の各領域に対してエンハンス処理を行うに際し、Ｎ−１番目の入力画像の各領域に対して行うエンハンス処理の第１のパラメータ（ＬＵＴ）と、Ｎ番目の入力画像の各領域に対して行うエンハンス処理の第２のパラメータ（ＬＵＴ）とを用いて（ブレンドして）、Ｎ番目の入力画像の各領域に対して行うエンハンス処理に用いる階調変換するための変換テーブル（ＬＵＴ）を算出する。

このように、本実施形態によれば、揺れ量が大きいほど、画像周辺部の領域のＮ−１番目のフレームのブレンド率を高めることで、画像周辺部の領域のチラつきを低減させることができる。

（第４の実施形態）
次に、第４の実施形態について説明する。画像処理装置１０の構成例は第１の実施形態と同様である。第４の実施形態では、第２の実施形態でエンハンス処理部２６のＣＬＡＨＥ処理で隣接する領域同士をマージする方法が異なるだけである。以下、詳細について説明する。なお、本実施形態に係る画像処理装置１０が行う処理は第２の実施形態の図１８と同様である。

本実施形態では、１タイル（領域）の有効画素数が少ないため、隣接する領域も合わせてヒストグラムを算出する一例である。第２の実施形態では、単純に隣接する領域をマージしてＣＬＡＨＥを実施した。本実施形態では、画像内でセグメンテーションを実施し、Ｎ−１フレームでのある１つの領域でのセグメンテーションの比率と、Ｎフレームでの同じ領域＋隣接領域内のセグメンテーションの比率を同じになるようにヒストグラムの算出を行うものである。

図２４〜図２７は、隣接する領域同士のマージについて説明する図である。図２４〜図２７において、４×４＝１６に分割した各タイル（領域）の左側一番目の列上側から１−１、１−２、１−３、１−４領域とし、左側二番目の列上側から２−１、２−２、２−３、２−４領域とし、左側三番目の列上側から３−１、３−２、３−３、３−４領域とし、左側四番目の列上側から４−１、４−２、４−３、４−４領域とする。

図２４に示すように、画像内の被写体ごとに分割する。図２４の例では、被写体を矩形で分割しているが、被写体の輪郭で分割するようにしてもよい。被写体を分割する方法は、セグメンテーションと呼ばれる公知の技術を用いることができる。セグメンテーションは、例えば、動的輪郭、レベルセット法、平均値シフトなどを挙げることができる。また、霧のシーンであれば、上述したように霧の透過率に応じて分類してもよい。特に霧発生時にはコントラストが低下して、被写体の特徴量が精度よく取得できないことが多いため、霧の透過率情報を利用することで、被写体の特徴量の代替をすることができる。

図２５は、セグメンテーションを行って、画像内の被写体の種類を示すラベル情報を付与したものである。例えば、自動車はＡラベル、山はＢラベル、壁はＣラベル、背景はＤラベルである。このセグメンテーションは請求項の「ラベル情報付与手段」に相当する。

図２６は、Ｎ−１フレームを示している。一番右で上から三番目の４−３領域６１に注目する。４−３領域６１では、ＣラベルとＤラベルが混在した領域である。ラベルが混在した領域では、例えば、Ｃの画素数：Ｄの画素数の比率を算出しておく。画素数の比率の算出は、全ての画像周辺部領域で２種類以上のラベルが混在した領域で行う。

図２７は、Ｎフレームを示している。Ｎフレームで、右側に無効画素が発生し、例えば、図１８のステップＳ２３で全ての右側領域（４−１〜４−４領域）の有効画素数が不足している（有効画素数の比率が所定の閾値より小さい）と判断された場合を説明する。

４−１領域では、Ｎ−１フレーム（図２６）でＤラベルだけしか存在しなかったため、隣接する３−１領域のＤラベルの画素のみをヒストグラムの算出対象とする（領域６２）。すなわち、有効画素数が所定の閾値以下の４−１領域（第１の領域）と、隣接する領域で、かつラベル情報が第１の領域と同じ３−１領域（第２の領域）とを統合して第３の領域とする。この処理は請求項の「統合手段」に相当する。このように、ラベル情報でヒストグラムの算出領域か否かを判断する場合には、隣接領域はヒストグラムの算出対象としてのみ使用する。Ｎフレーム（図２７）の３−１領域のＬＵＴを算出する場合は、３−１領域全体そのものを使用する。なお、第２の実施形態では、３−１領域と４−１領域をマージして面積二倍の一つの領域を作成するため、３−１領域と４−１領域のヒストグラム、ＬＵＴともに同じものとなる。

４−２領域の場合も４−１領域と同様に、３−２領域のＤラベルの画素のみをヒストグラムの算出対象とする（領域６３）。

４−３領域の場合は、上述したようにＣラベルの画素とＤラベルの画素が混在しているため、Ｎ−１フレーム（図２６）で計算したのと同じ比率になるように隣接する３−３領域の画素をヒストグラムの算出対象とする（領域６４）。具体的には、Ｃ：ＤをＮ−１フレームと同じ比率でヒストグラムの算出対象にすると、Ｄラベルの画素に対して、Ｃラベルの画素の方があまってしまうため、３−３領域のＤラベルの画素は全てヒストグラムで加算し、３−３領域のＣラベルの画素は同じ比率にするために、幾つかの画素をヒストグラムの算出対象から外すようにする。

具体的に数値を与えて説明する。前提として、
（１）Ｎ−１フレームの４−３領域において、Ｃラベルの画素＝１００画素、Ｄラベルの画素＝３００画素とする。
（２）Ｎフレームの４−３領域において、Ｃラベルの画素＝６０画素、Ｄラベルの画素＝６０画素とする。
（３）Ｎフレームの３−３領域において、Ｃラベルの画素＝１００画素、Ｄラベルの画素＝３００画素とする。

Ｎフレーム（図２７）の４−３領域と３−３領域をあわせて、Ｃラベルの画素：Ｄラベルの画素の比率を１：３にする必要があるため、Ｃ：Ｄ＝（６０＋６０）：（６０＋３００）となる。これは、３−３領域のＣラベルの画素が６０画素、Ｄラベルの画素が３００画素ということであり、３−３領域のＣラベルの画素は１００−６０＝４０画素、ヒストグラムの加算対象から外れることになる。また、Ｎ−１フレーム（図２６）と同じ画素数分までをヒストグラムの算出対象として考えてもよい。その場合は、Ｃ：Ｄ＝（６０＋４０）：（６０＋２４０）となり、３−３領域から、Ｃラベルの画素を４０画素、Ｄラベルの画素を２４０画素分ヒストグラムの算出対象とする。

４−４領域も同じように、３−４領域を用いて、Ｃ：Ｄを同じにする。また、上述したように、ヒストグラムの算出対象として、隣接領域の全画素を使用しない場合は、画像周辺領域により近い位置にある画素をヒストグラムの算出対象とすればよい。

このように、本実施形態によれば、揺れ量が大きく画像周辺部の領域の有効画素数が不足している場合には、画像の特徴量（画像内の被写体の種類を示すラベル情報）に応じて画像領域を大きくすることで、よりＮ−１フレームのＬＵＴに近づくため、単純に画像領域を統合する場合よりも画面のチラつきをより低減させることができる。

これまでの説明では、コントラスト調整を行う対象の画像を、画像処理装置１０により撮像して得られた画像として説明してきたが、画像処理装置１０により撮像された画像に限定されるものではない。したがって、ネットワークを介してサーバ等から受信して取得した画像や、ＣＤ−ＲＯＭやＳＤカード等の記録媒体に記録された画像等であってもよい。

以上、本発明に係る各実施形態について説明したが、本発明は、上述の各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

また、上述した各実施形態の画像処理装置１０で実行されるソフトウェア（プログラム）は、インストール可能な形式または実行可能な形式のファイルでフロッピー（登録商標）ディスク、ＣＤ（Compact Disc）、ＣＤ−Ｒ（Compact Disc-Recordable）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ＳＤメモリカード（SD memory card）、ＵＳＢメモリ（Universal Serial Bus memory）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

さらに、本実施形態の画像処理装置１０で実行されるソフトウェア（プログラム）を、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の画像処理装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

１０ 画像処理装置
１１ レンズ
１２ 撮像部
１３ コントローラ部
１４ 画像メモリ
１５ 操作部
１６ 出力部
１７ 透過率計測センサ
１８ 画像処理部
２０ ＣＴＬ Ｉ／Ｆ
２１ ＩＳＰ部
２２ 防振処理部
２３ 揺れ量測定部
２４ 画像シフト部
２５ 透過率測定部
２６ エンハンス処理部
２７ ＣＬＡＨＥ処理部
２８ 彩度補正部
３１ Ｎ−１番目のフレーム（実線の四角）
３２ Ｎ番目のフレーム（一点鎖線の四角）
３３ 全ての画像領域
３４ 一部分の画像領域
４１〜４８、５１ 新たな領域
６１ ４−３領域
６２〜６５ 領域

特開２００６−１９５６５１号公報

Claims (9)

1. 時系列に画像を入力する画像入力手段と、
   前記画像が入力される周期ごとに画像の揺れ量を測定する揺れ量測定手段と、
   測定された前記揺れ量に基づいて前記画像の揺れを補正する揺れ補正手段と、
   指定された分割条件に従って、補正された前記画像を複数の領域に分割する分割手段と、
   前記分割手段により分割した領域ごとに、画像の特徴量を示すヒストグラムを算出する特徴量算出手段と、
   前記揺れ量測定手段により測定された前記画像の揺れ量に応じて、前記領域ごとに前記ヒストグラムの平坦化を行うエンハンス処理の処理内容を決定し、前記領域ごとに算出された前記ヒストグラムに基づいて、前記領域に対してエンハンス処理を行うエンハンス処理手段と、
   を備える、
   ことを特徴とする画像処理装置。
2. 前記エンハンス処理手段は、前記画像の揺れ量が大きい場合には、前記複数の領域の中で、前記画像の画像周辺部の前記領域に対して行うエンハンス処理のエンハンス強度を小さく設定し、前記画像の揺れ量が小さい場合には、前記画像の画像周辺部の前記領域に対して行うエンハンス処理のエンハンス強度を大きく設定する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 時系列で入力される入力画像の前記領域に対してエンハンス処理を行うに際し、
   Ｎ−１番目の入力画像の前記領域に対して行うエンハンス処理の第１のパラメータと、Ｎ番目の入力画像の前記領域に対して行うエンハンス処理の第２のパラメータとを用いて、Ｎ番目の入力画像の前記領域に対して行うエンハンス処理に用いる階調変換するための変換テーブルを算出する変換テーブル算出手段を、さらに備え、
   前記変換テーブル算出手段は、前記画像の揺れ量に応じて、前記変換テーブルを算出し、
   前記エンハンス処理手段は、前記変換テーブルを用いて前記エンハンス処理を行う、
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記分割手段により分割した前記領域ごとに、有効画素数を算出する画素数算出手段と、
   前記有効画素数が所定の閾値以下の第１の領域と、隣接する領域で、かつ前記有効画素数が所定の閾値以上の第２の領域とを統合して第３の領域とする統合手段と、をさらに備え、
   前記特徴量算出手段は、前記第３の領域に対して画像の特徴量を示す前記ヒストグラムを算出する、
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記領域の画像内の被写体の種類を示すラベル情報を付与するラベル情報付与手段を、さらに備え、
   前記統合手段は、前記有効画素数が所定の閾値以下の第１の領域と、隣接する領域で、かつ前記ラベル情報が前記第１の領域と同じ第２の領域とを統合して第３の領域とする、
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記分割手段により分割された前記領域の光の透過率または該透過率と相関関係にあるデータを透過率情報として計測または前記画像から算出する計測手段を、さらに備え、
   前記統合手段は、前記有効画素数が所定の閾値以下の第１の領域と、隣接する領域で、かつ前記透過率情報が前記第１の領域と所定の範囲内に分類される第２の領域とを統合して第３の領域とする、
   ことを特徴とする請求項４に記載の画像処理装置。
7. 前記エンハンス処理手段は、前記画像の揺れ量が大きい場合には、前記領域ごとに算出された前記ヒストグラムの平坦化処理を行うために用いるコントラストの制約値を示すクリップ値を小さく設定し、前記画像の揺れ量が小さい場合には、コントラストの制約値を示す前記クリップ値を大きく設定する、
   ことを特徴とする請求項１に記載の画像処理装置。
8. 画像処理装置に、
   時系列に画像を入力する画像入力ステップと、
   前記画像が入力される周期ごとに画像の揺れ量を測定する揺れ量測定ステップと、
   測定された前記揺れ量に基づいて前記画像の揺れを補正する揺れ補正ステップと、
   指定された分割条件に従って、補正された前記画像を複数の領域に分割する分割ステップと、
   前記分割ステップにより分割した領域ごとに、画像の特徴量を示すヒストグラムを算出する特徴量算出ステップと、
   前記揺れ量測定ステップにより測定された前記画像の揺れ量に応じて、前記領域ごとに前記ヒストグラムの平坦化を行うエンハンス処理の処理内容を決定する決定ステップと、
   前記決定ステップで決定された処理内容に従って、前記領域ごとに算出された前記ヒストグラムに基づいて、前記領域に対してエンハンス処理を行うエンハンス処理ステップと、
   を実行させるためのプログラム。
9. 請求項８に記載のプログラムを記憶したコンピュータで読み取り可能な記録媒体。

Images