JP5560766B2 - 画像処理装置、撮像装置、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、及びプログラムに関する。

画像の奥行き感を調整する場合、画像処理装置は、奥行きデータ（奥行距離）に基づいて、画像に対する補正ゲイン（加工強度）を制御することで、画像の奥行き感を調整していた（特許文献１参照）。

特開２００８−３３８９７号公報

しかしながら、奥行距離に基づいて、画像の画像特徴量を加工する場合、特許文献１に開示された画像処理装置は、単に奥行距離に基づいて、画像の画像特徴量に対する加工強度を変更していた。このため、画像特徴量（例えば、コントラスト、彩度）に対する加工が過剰になり、画像が不自然（例えば、過コントラスト、過彩度）になってしまうことがあった。

本発明は、前記の点に鑑みてなされたものであり、画像の画像特徴量を加工する場合、奥行距離に基づいて画像の画像特徴量に対する加工強度を変更しても、画像が不自然にならないようにすることができる画像処理装置、撮像装置、及びプログラムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたものであり、画像が入力される画像取得部と、前記画像取得部に入力された前記画像に対応する領域毎の奥行距離が入力される距離取得部と、前記画像の前記領域毎の画像特徴量が入力される特徴量取得部と、前記画像特徴量に基づいて、前記画像特徴量に対する画像処理の加工強度を前記奥行距離毎に定める際、前記特徴量取得部に入力された前記画像特徴量の逆数を、前記奥行距離毎に算出し、算出した逆数に基づいて、前記加工強度を定める加工強度設定部と、前記加工強度に基づいて、前記画像の前記画像特徴量を、前記領域毎に画像処理する画像処理部と、を備えることを特徴とする画像処理装置である。
また、本発明は、画像が入力される画像取得部と、前記画像取得部に入力された前記画像に対応する領域毎の奥行距離が入力される距離取得部と、前記画像の前記領域毎の画像特徴量が入力される特徴量取得部と、前記画像特徴量に基づいて、前記画像特徴量に対する画像処理の加工強度を前記奥行距離毎に定める際、前記奥行距離毎に予め定められた目標値を、前記特徴量取得部に入力された前記画像特徴量で、前記奥行距離毎に除算し、当該除算結果に基づいて、前記加工強度を定める加工強度設定部と、前記加工強度に基づいて、前記画像の前記画像特徴量を、前記領域毎に画像処理する画像処理部と、を備えることを特徴とする画像処理装置である。
また、本発明は、画像が入力される画像取得部と、前記画像取得部に入力された前記画像に対応する領域毎の奥行距離が入力される距離取得部と、前記画像の前記領域毎の画像特徴量が入力される特徴量取得部と、前記奥行距離が長くなるに従い単調減少するように前記画像特徴量を補正し、補正した前記画像特徴量を前記特徴量取得部に入力する特徴量補正部と、前記画像特徴量に基づいて、前記画像特徴量に対する画像処理の加工強度を前記奥行距離毎に定める加工強度設定部と、前記加工強度に基づいて、前記画像の前記画像特徴量を、前記領域毎に画像処理する画像処理部と、を備えることを特徴とする画像処理装置である。

また、本発明は、光学系による像を撮像し、当該像に応じた画像を出力する撮像部と、前記撮像部から前記画像が入力される画像取得部と、前記画像取得部に入力された前記画像に対応する領域毎の奥行距離が入力される距離取得部と、前記画像の前記領域毎の画像特徴量が入力される特徴量取得部と、前記画像特徴量に基づいて、前記画像特徴量に対する画像処理の加工強度を前記奥行距離毎に定める際、前記特徴量取得部に入力された前記画像特徴量の逆数を前記奥行距離毎に算出し、算出した逆数に基づいて前記加工強度を定める加工強度設定部と、前記加工強度に基づいて、前記画像の前記画像特徴量を、前記領域毎に画像処理する画像処理部と、を備えることを特徴とする撮像装置である。
また、本発明は、光学系による像を撮像し、当該像に応じた画像を出力する撮像部と、前記撮像部から前記画像が入力される画像取得部と、前記画像取得部に入力された前記画像に対応する領域毎の奥行距離が入力される距離取得部と、前記画像の前記領域毎の画像特徴量が入力される特徴量取得部と、前記画像特徴量に基づいて、前記画像特徴量に対する画像処理の加工強度を前記奥行距離毎に定める際、前記奥行距離毎に予め定められた目標値を、前記特徴量取得部に入力された前記画像特徴量で、前記奥行距離毎に除算し、当該除算結果に基づいて、前記加工強度を定める加工強度設定部と、前記加工強度に基づいて、前記画像の前記画像特徴量を、前記領域毎に画像処理する画像処理部と、を備えることを特徴とする撮像装置である。
また、本発明は、光学系による像を撮像し、当該像に応じた画像を出力する撮像部と、前記撮像部から前記画像が入力される画像取得部と、前記画像取得部に入力された前記画像に対応する領域毎の奥行距離が入力される距離取得部と、前記画像の前記領域毎の画像特徴量が入力される特徴量取得部と、前記奥行距離が長くなるに従い単調減少するように前記画像特徴量を補正し、補正した前記画像特徴量を前記特徴量取得部に入力する特徴量補正部と、前記画像特徴量に基づいて、前記画像特徴量に対する画像処理の加工強度を前記奥行距離毎に定める加工強度設定部と、前記加工強度に基づいて、前記画像の前記画像特徴量を、前記領域毎に画像処理する画像処理部と、を備えることを特徴とする撮像装置である。

また、本発明は、コンピュータに、入力された画像に対応する領域毎の奥行距離と、前記画像の前記領域毎の画像特徴量と、に応じて、前記画像特徴量に基づいて、前記画像特徴量に対する画像処理の加工強度を前記奥行距離毎に定める際、入力された前記画像特徴量の逆数を前記奥行距離毎に算出し、算出した逆数に基づいて前記加工強度を定める手順と、前記加工強度に基づいて、前記画像の前記画像特徴量を、前記領域毎に画像処理する手順と、を実行させるためのプログラムである。

本発明によれば、画像処理装置は、画像の画像特徴量を加工する場合、奥行距離に基づいて画像の画像特徴量に対する加工強度を変更しても、画像が不自然にならないようにすることができる。

本発明の第１実施形態における撮像装置１００と、レンズ鏡筒１１１の構成を示すブロック図である。 本発明の第１実施形態における画像処理装置１４０に入力された画像１０の例と、画像１０に対応する領域毎の奥行距離の例を示す図である。 本発明の第１実施形態における奥行距離と、画像特徴量の代表値と、画像特徴量の係数との関係の例を示す図である。 本発明の第１実施形態における画像特徴量が加工された画像１０を示す図である。 本発明の第１実施形態における奥行距離と、画像特徴量の目標値と、画像特徴量の代表値と、画像特徴量の係数の関係との例を示す図である。 本発明の第１実施形態における奥行距離と、画像特徴量の代表値と、画像特徴量の係数との関係の例を示す図である。 本発明の第２実施形態における撮像装置１００と、レンズ鏡筒１１１の構成を示すブロック図である。 本発明の第２実施形態における奥行距離と、画像特徴量の代表値と、画像特徴量の係数の関係の例を示す図である。

［第１実施形態］
本発明の第１実施形態について図面を参照して詳細に説明する。図１には、撮像装置１００と、レンズ鏡筒１１１の構成がブロック図で示されている。撮像装置１００は、レンズ鏡筒１１１（光学系）による光学像を撮像し、得られた画像を静止画又は動画の画像として、記憶媒体２００に記憶させる。

まず、レンズ鏡筒１１１の構成を説明する。
レンズ鏡筒１１１は、焦点調整レンズ（以下、「ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ」という）１１２と、レンズ駆動部１１６と、ＡＦエンコーダ１１７と、制御部（制御装置）１１８を備える。なお、制御部１１８は、撮像装置１００に備えられてもよい。また、レンズ鏡筒１１１は、撮像装置１００に着脱可能に接続されてもよいし、撮像装置１００と一体であってもよい。

ＡＦレンズ１１２は、レンズ駆動部１１６により駆動され、後述する撮像部１１０の撮像素子１１９の受光面に、光学像を導く。

ＡＦエンコーダ１１７は、ＡＦレンズ１１２の駆動を検出し、ＡＦレンズ１１２の駆動に応じた信号を、制御部１１８に出力する。ここで、ＡＦレンズ１１２の駆動に応じた信号とは、例えば、ＡＦレンズ１１２の駆動量に応じて、周期的に変化する信号であってもよい。

制御部１１８は、撮像装置１００の後述するＣＰＵ１９０から入力される駆動制御信号に応じて、レンズ駆動部１１６を制御する。ここで、駆動制御信号とは、ＡＦレンズ１１２を光軸方向に駆動させる制御信号である。制御部１１８は、駆動制御信号に応じて、例えば、レンズ駆動部１１６に出力する電圧の電圧値を変更してもよい。

また、制御部１１８は、ＡＦレンズ１１２の駆動に応じた信号に基づいて、レンズ鏡筒１１１におけるＡＦレンズ１１２の位置（フォーカスポジション）を、ＣＰＵ１９０に出力する。ここで、制御部１１８は、例えば、ＡＦレンズ１１２の駆動に応じた信号を、駆動方向に応じて積算することで、レンズ鏡筒１１１におけるＡＦレンズ１１２の位置（フォーカスポジション）を算出してもよい。

レンズ駆動部１１６は、制御部１１８の制御に応じてＡＦレンズ１１２を駆動し、ＡＦレンズ１１２をレンズ鏡筒１１１内で光軸方向に駆動（移動）させる。

次に、撮像装置１００の構成を説明する。
撮像装置１００は、撮像部１１０と、画像処理装置１４０と、表示部１５０と、バッファメモリ部１３０と、操作部１８０と、記憶部１６０と、ＣＰＵ１９０と、通信部１７０と、測距部１９１を備える。

撮像部１１０は、撮像素子１１９と、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部１２０とを備え、設定された撮像条件（例えば絞り値、露出値等）に従って、ＣＰＵ１９０により制御される。

撮像素子１１９は、光電変換面を備え、レンズ鏡筒１１１（光学系）によりその受光面に結像した光学像を電気信号に変換して、Ａ／Ｄ変換部１２０に出力する。

また、撮像素子１１９は、操作部１８０を介して撮影指示を受け付けた際に得られる画像を、Ａ／Ｄ変換部１２０を介して記憶媒体２００に記憶させる。一方、撮像素子１１９は、操作部１８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像をスルー画として、Ａ／Ｄ変換部１２０を介してＣＰＵ１９０及び表示部１５０に出力する。

Ａ／Ｄ変換部１２０は、撮像素子１１９によって変換された電気信号をデジタル化して、デジタル信号である画像をバッファメモリ部１３０に出力する。

操作部１８０は、例えば、電源スイッチ、シャッタボタン、マルチセレクタ（十字キー）、又はその他の操作キーを備え、ユーザによって操作されることでユーザの操作入力を受け付け、操作入力に応じた信号をＣＰＵ１９０に出力する。

測距部１９１は、撮像装置１００から「撮像される対象（撮像対象）」までの距離（以下、「奥行距離」という）を、撮像部１１０が撮像した画像に対応する領域毎に測距する。そして、測距部１９１は、測距した奥行距離を画像処理装置１４０に出力する。

なお、測距部１９１は、例えば、ＡＦレンズ１１２のフォーカスポジション毎にコントラストを検出し、コントラストがピークとなるフォーカスポジションに基づいて、奥行距離を測距してもよい。また、測距部１９１は、例えば、撮像対象に音波を送出し、撮像対象から反射された音波が、測距部１９１に戻るまでの時間に基づいて、奥行距離を測距してもよい。また、測距部１９１は、例えば、撮像対象に赤外線を送出し、撮像対象から反射された赤外線が、測距部１９１に戻るまでの時間に基づいて、奥行距離を測距してもよい。また、測距部１９１は、位相差検出方式で奥行距離を測距してもよい。また、測距部１９１は、例えば、ステレオカメラ又はレーザー光線で「３点測距」することで、奥行距離を測距してもよい。

画像処理装置１４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部１３０に一時的に記憶されている画像に対して、画像処理をする。ここで、画像処理装置１４０は、奥行距離に基づいて、画像の画像特徴量を加工する。そして、画像処理された画像は、通信部１７０を介して記憶媒体２００に記憶される。画像処理装置１４０の構成については、後述する。

表示部１５０は、例えば液晶ディスプレイであって、撮像部１１０によって得られた画像、及び操作画面等を表示する。

バッファメモリ部１３０は、撮像部１１０によって撮像された画像を、一時的に記憶する。

記憶部１６０は、ＣＰＵ１９０によってシーン判定の際に参照される判定条件や、シーン判定によって判断されたシーン毎に対応付けられた撮像条件等を記憶する。

ＣＰＵ１９０は、設定された撮像条件（例えば絞り値、露出値等）に従って撮像部１１０を制御する。また、ＣＰＵ１９０は、操作部１８０から入力された「操作入力に応じた信号」に基づいて、静止画又は動画として、画像処理装置１４０に画像を画像処理させる。

ＣＰＵ１９０は、撮像素子１１９が出力した電気信号からデフォーカス量（焦点ずれ量）を算出し、このデフォーカス量に基づいて、撮像対象に合焦させるように駆動制御信号を生成して、生成した駆動制御信号をレンズ鏡筒１１１の制御部１１８に出力する。

通信部１７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報（画像、奥行距離など）の書込み、読み出し、あるいは消去を行う。

記憶媒体２００は、撮像装置１００に対して着脱可能に接続される記憶部であって、例えば、画像、奥行距離などを記憶する。この奥行距離は、画像に対応する領域毎に、記憶媒体２００のメーカーノート領域に記憶されてもよい。なお、記憶媒体２００は、撮像装置１００と一体であってもよい。

次に、画像処理装置１４０の構成を説明する。
画像処理装置１４０は、画像取得部１４１と、距離取得部１４２と、特徴量取得部１４３と、加工強度設定部１４４と、画像処理部１４５と、特徴量検出部１４６とを備える。

画像取得部１４１には、バッファメモリ部１３０を介して、撮像部１１０から画像が入力される。そして、画像取得部１４１は、入力された画像を画像処理部１４５及び特徴量検出部１４６に出力する。

図２（Ａ）には、画像処理装置１４０の画像取得部１４１に入力された画像１０の例が示されている。画像１０には、撮像対象１１〜１３が撮像されているものとする。ここで、撮像装置１００から最も近い位置（最至近）にある撮像対象を、撮像対象１１とする。そして、撮像対象１１の画像は、撮像対象１１〜１３の画像のうち、画像特徴量（例えば、コントラスト）が最も高い画像となっている。これは、撮像対象１１が最至近にあるため、撮像対象１１から撮像装置１００に入射する光が、撮像対象１１から撮像装置１００までの空間に漂う霧などに、あまり散乱されずに済むためである。

一方、撮像装置１００から最も遠い位置（最遠）にある撮像対象を、撮像対象１３とする。撮像対象１１の画像は、撮像対象１１〜１３の画像のうち、画像特徴量（例えば、コントラスト）が最も低い画像となっている。これは、撮像対象１３が最遠にあるため、撮像対象１３から撮像装置１００に入射する光が、撮像対象１３から撮像装置１００までの空間に漂う霧などに、撮像対象１１から撮像装置１００に入射する光よりも多く散乱されてしまうためである。

また、上記と同様の理由により、撮像対象１２の画像の画像特徴量（例えば、コントラスト）は、撮像対象１１の画像の画像特徴量より低く、かつ、撮像対象１３の画像の画像特徴量より高い。

距離取得部１４２には、画像１０に対応する領域毎に、測距部１９１から奥行距離が入力される。そして、距離取得部１４２は、画像１０に対応する領域毎の奥行距離を、加工強度設定部１４４に出力する。

図２（Ｂ）には、画像１０に対応する領域毎の奥行距離の例が示されている。ここで、一例として、縦方向に１０行、横方向に１０列の行列状に、四角形の領域が並んでいる。そして、奥行距離「Ｄ１」は、撮像装置１００から撮像対象１１までの距離を示す。また、奥行距離「Ｄ２」は、撮像装置１００から撮像対象１２までの距離を示す。同様に、奥行距離「Ｄ３」は、撮像装置１００から撮像対象１３までの距離を示す。

そして、行列状に並んだ領域の位置は、画像１０（図２（Ａ）を参照）における位置に対応している。例えば、奥行距離「Ｄ１」は、画像１０において撮像対象１１が撮像されている位置に対応して、分布している。奥行距離「Ｄ２」及び「Ｄ３」についても、同様である。なお、奥行距離が不明である領域には、例えば、奥行距離が判明している他の領域から、奥行距離が補間されてもよい。

また、撮像装置１００から最も近い位置（最至近）に撮像対象１１が位置し、撮像装置１００から２番目に近い位置（至近）に撮像対象１２が位置し、撮像装置１００から最も遠い位置（最遠）に撮像対象１３が位置しているので、奥行距離「Ｄ１〜Ｄ３」には、「Ｄ１＜Ｄ２＜Ｄ３」という大小関係がある。そして、これらの奥行距離は、画像１０に対応する領域毎に、測距部１９１から距離取得部１４２に入力される。

図１に戻り、画像処理装置１４０の構成の説明を続ける。特徴量検出部１４６は、画像取得部１４１から入力された画像１０（図２（Ａ）を参照）の画像特徴量を検出する。ここで、画像特徴量とは、例えば、画像の色、輝度、彩度、又はエッジ強度を示す量である。なお、これらの画像特徴量は、濃度、コントラスト、分布、ヒストグラム、ベクトル、空間周波数で表現されてもよい。例えば、画像の輝度は、コントラストで表現されてもよい。

特徴量検出部１４６は、検出した画像特徴量に基づいて、画像特徴量の代表値を奥行距離毎に算出する。ここで、画像特徴量の代表値とは、同じ奥行距離を有する領域で、その画像特徴量を平均した値（平均値）である。なお、画像特徴量の代表値は、例えば、画像の画像特徴量の平均、分散、最大値、最小値などから算出されてもよい。また、画像特徴量の代表値は、同じ奥行距離で２つ以上の代表値があってもよい。そして、特徴量検出部１４６は、画像特徴量の代表値を特徴量取得部１４３に入力する。

図３（Ａ）には、奥行距離と、「画像特徴量の代表値」との関係の例が示されている。縦軸には、画像特徴量の代表値（例えば、平均値）が示されている。また、横軸には、奥行距離が示されている。ここで、奥行距離「Ｄ１」だけ離れた位置の撮像対象１１が撮像された領域の画像特徴量の代表値を、画像特徴量「Ｃ１」とする。また、奥行距離「Ｄ２」だけ離れた位置の撮像対象１２が撮像された領域の画像特徴量の代表値を、画像特徴量「Ｃ２」とする。また、奥行距離「Ｄ３」だけ離れた位置の撮像対象１３が撮像された領域の画像特徴量の代表値を、画像特徴量「Ｃ３」とする。ここで、画像特徴量「Ｃ１〜Ｃ３」には、図２（Ａ）を用いて上述したように、「Ｃ１＞Ｃ２＞Ｃ３」という大小関係がある。

図１に戻り、画像処理装置１４０の構成の説明を続ける。特徴量取得部１４３には、画像取得部１４１に入力された画像１０（図２（Ａ）を参照）の画像特徴量が、特徴量検出部１４６から領域毎に入力される。そして、特徴量取得部１４３は、画像１０に対応する領域毎の画像特徴量を、画像処理部１４５に出力する。

また、特徴量取得部１４３には、画像特徴量の代表値が、奥行距離毎に特徴量検出部１４６から入力される。そして、特徴量取得部１４３は、画像特徴量の代表値を、奥行距離毎に加工強度設定部１４４に出力する。

加工強度設定部１４４は、奥行距離毎に入力された画像特徴量の代表値に基づいて、画像特徴量に対する画像処理の加工強度を、奥行距離毎に定める。ここで、加工強度設定部１４４は、画像処理の加工強度を変更するために、画像特徴量の係数を定める。

加工強度設定部１４４は、同じ奥行距離を有する領域が画像１０（図２（Ａ）を参照）に複数あったとしても、それらの領域の画像特徴量の代表値に基づいて画像特徴量の係数を定めるので、奥行距離毎に画像特徴量の係数を定めることができる。そして、加工強度設定部１４４は、奥行距離毎に定めた画像特徴量の係数を、画像処理部１４５に出力する。

画像処理部１４５には、画像１０（図２（Ａ）を参照）と、画像１０に対応する領域毎の画像特徴量と、奥行距離毎に定められた画像特徴量の係数とが入力される。そして、画像処理部１４５は、奥行距離毎に定められた画像特徴量の係数に基づいて、画像取得部１４１から入力された画像１０の画像特徴量を、画像処理する。さらに、画像処理部１４５は、画像処理した画像１０を、記憶媒体２００に通信部１７０を介して記憶させる。

加工強度設定部１４４は、画像特徴量「Ｃ１〜Ｃ３」に基づいて、奥行距離「Ｄ１〜Ｄ３」毎に、画像特徴量に対する加工強度を定める。ここで、加工強度設定部１４４は、奥行距離が長くなるに従い、画像特徴量の係数が単調増加するように、画像特徴量に対する加工強度を定める。加工強度設定部１４４は、画像特徴量に対する加工強度を変更するために、一例として、画像特徴量の係数を定めるものとして説明を続ける。

図３（Ｂ）には、奥行距離と、「画像特徴量の係数」との関係の例が示されている。加工強度設定部１４４は、画像特徴量「Ｃ１」の逆数を、奥行距離「Ｄ１」に対応する画像特徴量の係数「Ｇ１」とする。また、加工強度設定部１４４は、画像特徴量「Ｃ２」の逆数を、奥行距離「Ｄ２」に対応する画像特徴量の係数「Ｇ２」とする。同様に、加工強度設定部１４４は、画像特徴量「Ｃ３」の逆数を、奥行距離「Ｄ３」に対応する画像特徴量の係数「Ｇ３」とする。そして、加工強度設定部１４４は、このようにして定めた画像特徴量の係数「Ｇ１〜Ｇ３」を、奥行距離毎に画像処理部１４５に出力する。

画像処理部１４５は、加工強度設定部１４４が定めた画像特徴量の係数「Ｇ１〜Ｇ３」に基づいて、画像１０の画像特徴量を画像処理する。画像処理部１４５は、特徴量取得部１４３から取得した「画像１０に対応する領域毎の画像特徴量」に、その領域が有する奥行距離に応じた「画像特徴量の係数」を乗算することで、画像１０を画像処理する。

具体的には、画像処理部１４５は、撮像対象１１が撮像された領域の画像特徴量「Ｃ１」に、その領域の奥行距離「Ｄ１」が対応する画像特徴量の係数「Ｇ１」を乗算する。また、画像処理部１４５は、撮像対象１２が撮像された領域の画像特徴量「Ｃ２」に、その領域の奥行距離「Ｄ２」が対応する画像特徴量の係数「Ｇ２」を乗算する。同様に、画像処理部１４５は、撮像対象１３が撮像された領域の画像特徴量「Ｃ３」に、その領域の奥行距離「Ｄ３」が対応する画像特徴量の係数「Ｇ３」を乗算する。このようにして、撮像対象１１〜１３の画像の画像特徴量は加工される。

なお、画像処理部１４５は、加工した画像特徴量に、さらに係数を乗算してもよい。また、画像処理部１４５は、加工強度を変更するために、奥行距離毎に、画像特徴量の加工回数を変更してもよい。また、画像処理部１４５は、最至近に撮像された撮像対象１１の画像の画像特徴量を基準として加工強度を定め、その加工強度で撮像対象１２及び１３の画像の画像特徴量を加工してもよい。

図４には、画像特徴量が加工された画像１０が示されている。図２（Ａ）と対比して、図４の画像１０は、撮像対象１１〜１３の画像特徴量（例えば、コントラスト）が、ほぼ同じ値となるにように加工されたことが、一例として図示されている。

さらに、画像処理部１４５は、このように画像処理した画像１０を、記憶媒体２００に通信部１７０を介して記憶させる。さらに、距離取得部１４２は、画像１０に対応する領域毎の奥行距離「Ｄ１〜Ｄ３」を、記憶媒体２００のメーカーノート領域に、通信部１７０を介して記憶させてもよい。なお、画像処理部１４５は、画像処理した画像１０を表示部１５０に表示させてもよい。

以上のようにして、画像処理装置１４０は、画像特徴量「Ｃ１〜Ｃ３」に基づいて、奥行距離「Ｄ１〜Ｄ３」毎に、画像特徴量の係数「Ｇ１〜Ｇ３」を定める。そして、画像処理装置１４０は、奥行距離「Ｄ１〜Ｄ３」毎に定められた画像特徴量に対する加工強度に基づいて、画像１０を画像処理する。

これにより、画像処理装置１４０は、画像の画像特徴量を加工する場合、奥行距離に基づいて画像１０の画像特徴量に対する加工強度を変更しても、画像１０が不自然にならないようにすることができる。

また、画像処理装置１４０は、コントラスト調整、又はローカルコントラスト調整（画像の一部領域についてのコントラスト調整）として、画像１０の画像特徴量の加工強度を変更することができる。

また、画像処理装置１４０は、階調圧縮処理として、画像１０の画像特徴量の加工強度を変更することができる。ここで、階調圧縮処理とは、例えば、奥行距離が長い位置にある撮像対象の画像特徴量を高くして、奥行距離が短い位置にある撮像対象の画像特徴量を低くすることで、画像特徴量の階調を圧縮する処理である。

また、画像処理装置１４０は、マトリクス処理として、画像１０の画像特徴量の加工強度を変更することができる。ここで、マトリクス処理とは、画像特徴量をマトリクス成分別に処理することで、例えば、奥行距離が長い位置にある撮像対象の画像特徴量についてはそのままで、奥行距離が短い位置にある撮像対象の画像特徴量のみを変更する処理である。

また、画像特徴量が「輝度」である場合、画像処理装置１４０は、例えば、画像１０の露出（輝度）を加工することができる。また、画像特徴量が「色」である場合、画像処理装置１４０は、例えば、画像１０のホワイトバランスを加工することができる。また、画像特徴量が「彩度」である場合、画像処理装置１４０は、画像１０の彩度を加工することができる。

また、画像特徴量が「エッジ強度」である場合、画像処理装置１４０は、例えば、ぼかし処理、アンシャープマスク処理、又はシャープネス処理（空間フィルタ処理）として、画像１０のエッジ強度を加工することができる。なお、これらのフィルタ処理には、ラプラシアンフィルタなどを使用してもよい。

また、加工強度設定部１４４は、奥行距離「Ｄ１〜Ｄ３」が長くなるに従い、画像特徴量の係数「Ｇ１〜Ｇ３」が単調増加するように、画像特徴量の係数「Ｇ１〜Ｇ３」を定める。これにより、画像処理装置１４０は、画像の奥行き感が不自然にならないように、画像１０の画像特徴量を加工することができる。

また、加工強度設定部１４４は、特徴量取得部１４３に入力された画像特徴量の逆数「Ｃ１〜Ｃ３」を、奥行距離毎に算出し、算出した逆数に基づいて、画像特徴量の係数「Ｇ１〜Ｇ３」を定める。これにより、画像処理装置１４０は、奥行距離に関わらず、ほぼ同じ量となるように、撮像対象１１〜１３の画像特徴量を加工することができる。

＜画像特徴量の目標値が、予め定められている場合について＞
記憶部１６０は、奥行距離に応じて予め定められた「画像特徴量の目標値」を、記憶してもよい。この目標値は、ユーザ等が予め定めた目標値であってもよい。そして、画像処理部１４５は、その目標値を記憶部１６０から取得し、取得した目標値に基づいて、次のように画像処理をしてもよい。

図５（Ａ）には、奥行距離と、「画像特徴量の目標値」との関係の例が示されている。縦軸には、画像特徴量の目標値が示されている。また、横軸には、奥行距離が示されている。ここで、奥行距離「Ｄ１」離れた位置の撮像対象１１が撮像された領域の画像特徴量の目標値を、画像特徴量「Ａ１」とする。また、奥行距離「Ｄ２」離れた位置の撮像対象１２が撮像された領域の画像特徴量の目標値を、画像特徴量「Ａ２」とする。同様に、奥行距離「Ｄ３」離れた位置の撮像対象１３が撮像された領域の画像特徴量の目標値を、画像特徴量「Ａ３」とする。そして、ユーザは、画像特徴量「Ａ１〜Ａ３」の大小関係が、例えば、「Ａ１＞Ａ２＞Ａ３」となるように定めて、記憶部１６０に予め記憶させているものとする。

また、図５（Ｂ）には、奥行距離と、「画像特徴量の代表値」との関係の例が示されている。ここで、図５（Ｂ）に示されたこの例は、図３（Ａ）と同じ代表値「Ｃ１〜Ｃ３」とする。

加工強度設定部１４４は、画像特徴量の目標値「Ａ１〜Ａ３」と、画像特徴量の代表値「Ｃ１〜Ｃ３」とに基づいて、奥行距離「Ｄ１〜Ｄ３」毎に、画像特徴量の係数を定める。ここで、加工強度設定部１４４は、奥行距離毎に予め定められた画像特徴量の目標値「Ａ１〜Ａ３」を、特徴量取得部１４３に入力された画像特徴量の代表値「Ｃ１〜Ｃ３」で、奥行距離毎に、次のように算出する。

図５（Ｃ）には、奥行距離と、「画像特徴量の係数」との関係の例が示されている。加工強度設定部１４４は、画像特徴量の目標値「Ａ１」を、画像特徴量の代表値「Ｃ１」で除算し、除算した結果を、奥行距離「Ｄ１」が対応する画像特徴量の係数「Ｇ１１」とする。同様に、加工強度設定部１４４は、画像特徴量の係数「Ｇ１２」及び「Ｇ１３」を算出する。そして、加工強度設定部１４４は、画像特徴量の係数「Ｇ１１〜Ｇ１３」を、奥行距離毎に画像処理部１４５に出力する。

このようにして、加工強度設定部１４４は、奥行距離毎に予め定められた目標値「Ａ１〜Ａ３」を、特徴量取得部１４３に入力された画像特徴量の代表値「Ｃ１〜Ｃ３」で、奥行距離「Ｄ１〜Ｄ３」毎に除算し、その除算結果に基づいて、画像特徴量の係数「Ｇ１１〜Ｇ１３」を定める。これにより、画像処理装置１４０は、画像１０の画像特徴量が目標値「Ａ１〜Ａ３」となるように、画像１０の画像特徴量を加工することができる。そして、ユーザは、例えば、画像１０に撮像されていた霧が除去され、かつ不自然になっていない画像１０を得ることができる。

＜画像特徴量の係数に下限値を設定する場合について＞
画像特徴量の係数には、下限値があってもよい。図６（Ａ）には、奥行距離と、「画像特徴量の代表値」との関係の例が示されている。縦軸には、画像特徴量の代表値が示されている。また、横軸には、奥行距離が示されている。ここで、図３（Ａ）に示された場合とは逆に、画像特徴量「Ｃ１〜Ｃ３」には、「Ｃ１＜Ｃ２＜Ｃ３」という大小関係があるものとする。

図６（Ｂ）には、奥行距離と、「画像特徴量の係数」との関係の例が示されている。ここで、画像特徴量の係数の最小値を「Ｇ１０」とする。また、画像特徴量の係数「Ｇ１０」は、画像特徴量の係数「Ｇ２」及び「Ｇ３」よりも大きい値であるものとする。この場合、加工強度設定部１４４は、奥行距離「Ｄ２」に対応する画像特徴量の係数を、画像特徴量の係数「Ｇ１０」とする。また、加工強度設定部１４４は、奥行距離「Ｄ３」に対応する画像特徴量の係数を、画像特徴量の係数「Ｇ１０」とする。そして、加工強度設定部１４４は、このようにして定めた画像特徴量の係数「Ｇ１」及び「Ｇ１０」を、奥行距離毎に画像処理部１４５に出力する。

これにより、奥行距離「Ｄ１〜Ｄ３」が長くなるに従い、画像特徴量の代表値「Ｃ１〜Ｃ３」が単調増加していても、画像特徴量の係数には下限値が定められているので、画像処理装置１４０は、遠くに位置する撮像対象の画像特徴量が大きくなり過ぎないように、画像１０の画像特徴量を加工することができる。

［第２実施形態］
本発明の第２実施形態について図面を参照して詳細に説明する。第２実施形態では、奥行距離に応じて単調増加又は単調減少するように、画像特徴量の代表値が補正（近似）される点が、第１実施形態と異なる。以下、第１実施形態との相違点についてのみ説明する。

図７には、撮像装置１００と、レンズ鏡筒１１１の構成がブロック図で示されている。画像処理装置１４０は、第１実施形態と対比して、さらに特徴量補正部１４７を備える。

図８（Ａ）には、奥行距離と、画像特徴量の代表値との関係の例が示されている。縦軸には、画像特徴量の代表値が示されている。また、横軸には、奥行距離が示されている。ここで、画像特徴量「Ｃ１〜Ｃ３」には、「Ｃ２＞Ｃ３＞Ｃ１」という大小関係があるものとする。

特徴量補正部１４７は、奥行距離「Ｄ１〜Ｄ３」が長くなるに従い、画像特徴量の代表値「Ｃ１〜Ｃ３」が単調増加又は単調減少するように、画像特徴量の代表値を補正し、補正した画像特徴量の代表値を、特徴量取得部１４３に入力する。例えば、特徴量補正部１４７は、画像特徴量の代表値「Ｃ１〜Ｃ３」を、奥行距離に応じて値が単調増加又は単調減少する１次式（１次関数）で補正（近似）する。

図８（Ａ）には、一例として、画像特徴量の代表値「Ｃ１〜Ｃ３」を１次式で近似する「直線２０」が示されている。そして、特徴量補正部１４７は、１次式の直線２０と、奥行距離「Ｄ１」との交点に基づいて、画像特徴量の代表値「Ｃ１」を画像特徴量の代表値「Ｃ１Ａ」に１次式で近似（補正）する。同様に、特徴量補正部１４７は、画像特徴量の代表値「Ｃ２Ａ」及び「Ｃ３Ａ」を、１次式で近似（補正）する。

図８（Ｂ）には、奥行距離と、「画像特徴量の係数」との関係の例が示されている。加工強度設定部１４４は、画像特徴量の新たな代表値「Ｃ１Ａ〜Ｃ３Ａ」に基づいて、画像特徴量の係数「Ｇ１〜Ｇ３」を算出する。

このように、特徴量補正部１４７は、奥行距離に応じて値が単調増加又は単調減少する式（関数）で、画像特徴量の代表値「Ｃ１〜Ｃ３」を近似する。そして、特徴量補正部１４７は、補正（近似）した画像特徴量の代表値を特徴量取得部１４３に入力する。

また、特徴量補正部１４７は、奥行距離「Ｄ１〜Ｄ３」が長くなるに従い、画像特徴量の代表値「Ｃ１〜Ｃ３」が単調減少又は単調増加していなくても、画像特徴量の代表値「Ｃ１〜Ｃ３」が単調減少又は単調増加するように、画像特徴量の代表値「Ｃ１〜Ｃ３」を補正する。これにより、画像処理装置１４０は、遠くに位置する撮像対象の画像特徴量が大きくなり過ぎないように、画像１０の画像特徴量を加工することができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

例えば、画像処理部１４５は、記憶媒体２００に記憶されている画像に対して、画像処理をしてもよい。この場合、画像取得部１４１には、記憶媒体２００から画像が入力され、距離取得部１４２には、その画像に対応する領域毎の奥行距離が、記憶媒体２００のメーカーノート領域から入力される。

また、例えば、撮像装置１００（画像処理装置１４０）は、外部のコンピュータ（例えば、パーソナルコンピュータ、サーバ）に、画像と、画像に対応する領域毎の画像特徴量と、画像に対応する領域毎の奥行距離とを、通信回線又は記憶媒体を介して、入力してもよい。そして、そのコンピュータは、入力された画像と、その画像に対応する領域毎の奥行距離と、画像に対応する領域毎の画像特徴量とに応じて、画像特徴量に基づいて、奥行距離毎に画像特徴量の係数を定める手順と、その係数に基づいて、画像の画像特徴量を領域毎に画像処理する手順と、を実行してもよい。さらに、撮像装置１００（画像処理装置１４０）は、外部のコンピュータが画像処理した画像を、そのコンピュータから受信してもよい。

また、例えば、第１コンピュータ（例えば、パーソナルコンピュータ、サーバ）は、第１コンピュータの外部の第２コンピュータ（例えば、パーソナルコンピュータ、サーバ）に、画像と、画像に対応する領域毎の画像特徴量と、画像に対応する領域毎の奥行距離とを、通信回線又は記憶媒体を介して、入力してもよい。そして、第２コンピュータは、入力された画像と、その画像に対応する領域毎の奥行距離と、画像に対応する領域毎の画像特徴量とに応じて、画像特徴量に基づいて、奥行距離毎に画像特徴量の係数を定める手順と、その係数に基づいて、画像の画像特徴量を領域毎に画像処理する手順と、を実行してもよい。さらに、第１コンピュータは、第２コンピュータが画像処理した画像を、第２コンピュータから受信してもよい。

また、例えば、奥行距離は、距離が遠いことを示す値と、距離が近いことを示す値との２値で表現されてもよい。また、奥行距離は、深度（距離の逆数）で表現されてもよい。

また、例えば、加工強度を変更するために、階層（レイヤ）の異なる複数の画像を合成して１つの画像とする場合、画像処理部１４５は、その合成比率を奥行距離毎に変更してもよい。

また、例えば、画像処理部１４５は、画像特徴量の係数を、他の画像特徴量の画像処理に流用してもよい。例えば、画像処理部１４５は、画像の「色」を画像処理するための係数を、画像の「輝度」の画像処理に流用してもよい。

また、例えば、画像処理部１４５は、同一のオブジェクトが複数の奥行距離を有する場合、そのオブジェクトに対して、同一の加工強度を適用してもよい。例えば、画像処理部１４５は、長い撮像対象（例えば、鉄道車両）の手前と奥とで奥行距離が大きく異なっていたとしても、その撮像対象に対しては、同一の加工強度を適用して画像処理を行ってもよい。

また、例えば、奥行距離は、測距部１９１が測距した距離に限られなくてもよい。例えば、記憶媒体２００のメーカーノート領域には、他の撮像装置が測距した奥行距離が、画像の空間領域毎に記憶されていてもよい。

また、例えば、特徴量補正部１４７は、画像特徴量の代表値「Ｃ１〜Ｃ３」を、多項式で補正(近似)してもよい。また、特徴量補正部１４７は、画像特徴量の代表値「Ｃ１〜Ｃ３」を、例えば、分数、ガンマ曲線、指数関数で補正(近似)してもよい。

また、例えば、画像処理部１４５は、画像の全域の画像特徴量を加工してもよいし、画像の一部領域の画像特徴量のみを加工してもよい。

また、図３、５、６、及び８を用いて説明した手順を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１００…撮像装置、１１０…撮像部、１４０…画像処理装置、１４１…画像取得部、１４２…距離取得部、１４３…特徴量取得部、１４４…加工強度設定部、１４５…画像処理部、１４６…特徴量検出部、１４７…特徴量補正部

Claims (10)

1. 画像が入力される画像取得部と、
   前記画像取得部に入力された前記画像に対応する領域毎の奥行距離が入力される距離取得部と、
   前記画像の前記領域毎の画像特徴量が入力される特徴量取得部と、
   前記画像特徴量に基づいて、前記画像特徴量に対する画像処理の加工強度を前記奥行距離毎に定める際、前記特徴量取得部に入力された前記画像特徴量の逆数を、前記奥行距離毎に算出し、算出した逆数に基づいて、前記加工強度を定める加工強度設定部と、
   前記加工強度に基づいて、前記画像の前記画像特徴量を、前記領域毎に画像処理する画像処理部と、
   を備えることを特徴とする画像処理装置。
2. 画像が入力される画像取得部と、
   前記画像取得部に入力された前記画像に対応する領域毎の奥行距離が入力される距離取得部と、
   前記画像の前記領域毎の画像特徴量が入力される特徴量取得部と、
   前記画像特徴量に基づいて、前記画像特徴量に対する画像処理の加工強度を前記奥行距離毎に定める際、前記奥行距離毎に予め定められた目標値を、前記特徴量取得部に入力された前記画像特徴量で、前記奥行距離毎に除算し、当該除算結果に基づいて、前記加工強度を定める加工強度設定部と、
   前記加工強度に基づいて、前記画像の前記画像特徴量を、前記領域毎に画像処理する画像処理部と、
   を備えることを特徴とする画像処理装置。
3. 画像が入力される画像取得部と、
   前記画像取得部に入力された前記画像に対応する領域毎の奥行距離が入力される距離取得部と、
   前記画像の前記領域毎の画像特徴量が入力される特徴量取得部と、
   前記奥行距離が長くなるに従い単調減少するように前記画像特徴量を補正し、補正した前記画像特徴量を前記特徴量取得部に入力する特徴量補正部と、
   前記画像特徴量に基づいて、前記画像特徴量に対する画像処理の加工強度を前記奥行距離毎に定める加工強度設定部と、
   前記加工強度に基づいて、前記画像の前記画像特徴量を、前記領域毎に画像処理する画像処理部と、
   を備えることを特徴とする画像処理装置。
4. 前記加工強度設定部は、前記奥行距離が長くなるに従い前記加工強度が単調増加するように、前記加工強度を定めることを特徴とする請求項１から請求項３のいずれか１つに記載の画像処理装置。
5. 前記画像の前記領域毎の前記画像特徴量を検出し、検出した前記画像特徴量を前記特徴量取得部に入力する特徴量検出部
   を備えることを特徴とする請求項１から請求項４のいずれか１つに記載の画像処理装置。
6. 前記画像特徴量は、色、輝度、彩度、又はエッジ強度を示す量であることを特徴とする請求項１から請求項５のいずれか１つに記載の画像処理装置。
7. 光学系による像を撮像し、当該像に応じた画像を出力する撮像部と、
   前記撮像部から前記画像が入力される画像取得部と、
   前記画像取得部に入力された前記画像に対応する領域毎の奥行距離が入力される距離取得部と、
   前記画像の前記領域毎の画像特徴量が入力される特徴量取得部と、
   前記画像特徴量に基づいて、前記画像特徴量に対する画像処理の加工強度を前記奥行距離毎に定める際、前記特徴量取得部に入力された前記画像特徴量の逆数を前記奥行距離毎に算出し、算出した逆数に基づいて前記加工強度を定める加工強度設定部と、
   前記加工強度に基づいて、前記画像の前記画像特徴量を、前記領域毎に画像処理する画像処理部と、
   を備えることを特徴とする撮像装置。
8. 光学系による像を撮像し、当該像に応じた画像を出力する撮像部と、
   前記撮像部から前記画像が入力される画像取得部と、
   前記画像取得部に入力された前記画像に対応する領域毎の奥行距離が入力される距離取得部と、
   前記画像の前記領域毎の画像特徴量が入力される特徴量取得部と、
   前記画像特徴量に基づいて、前記画像特徴量に対する画像処理の加工強度を前記奥行距離毎に定める際、前記奥行距離毎に予め定められた目標値を、前記特徴量取得部に入力された前記画像特徴量で、前記奥行距離毎に除算し、当該除算結果に基づいて、前記加工強度を定める加工強度設定部と、
   前記加工強度に基づいて、前記画像の前記画像特徴量を、前記領域毎に画像処理する画像処理部と、
   を備えることを特徴とする撮像装置。
9. 光学系による像を撮像し、当該像に応じた画像を出力する撮像部と、
   前記撮像部から前記画像が入力される画像取得部と、
   前記画像取得部に入力された前記画像に対応する領域毎の奥行距離が入力される距離取得部と、
   前記画像の前記領域毎の画像特徴量が入力される特徴量取得部と、
   前記奥行距離が長くなるに従い単調減少するように前記画像特徴量を補正し、補正した前記画像特徴量を前記特徴量取得部に入力する特徴量補正部と、
   前記画像特徴量に基づいて、前記画像特徴量に対する画像処理の加工強度を前記奥行距離毎に定める加工強度設定部と、
   前記加工強度に基づいて、前記画像の前記画像特徴量を、前記領域毎に画像処理する画像処理部と、
   を備えることを特徴とする撮像装置。
10. コンピュータに、
    入力された画像に対応する領域毎の奥行距離と、前記画像の前記領域毎の画像特徴量と、に応じて、前記画像特徴量に基づいて、前記画像特徴量に対する画像処理の加工強度を前記奥行距離毎に定める際、入力された前記画像特徴量の逆数を前記奥行距離毎に算出し、算出した逆数に基づいて前記加工強度を定める手順と、
    前記加工強度に基づいて、前記画像の前記画像特徴量を、前記領域毎に画像処理する手順と、
    を実行させるためのプログラム。

Images