JP7300962B2 - 画像処理装置、画像処理方法、撮像装置、プログラム、および記憶媒体 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、撮像装置、プログラム、および記憶媒体に関する。

従来、交換レンズシステムの一つとして立体撮影用レンズが知られている。例えば特許文献１には、２組の光学系が並列に配置され、一つの撮像素子に２つのイメージサークルが並列に結像するレンズが開示されている。２組の光学系は所定の距離だけ離間して水平方向に並べられる。この距離を基線長と称する。結像側から見て、右の光学系で結像する像が右眼用の動画または静止画として記録され、左の光学系で結像する像が左眼用の動画または静止画として記録される。これらの映像は３ＤディスプレイやＶＲゴーグル等によって再生されうる。鑑賞者の右眼には右眼用の映像が映り、左眼には左眼用の映像が映る。このとき、右眼と左眼には撮影用レンズの基線長に応じた視差のある映像が投影されるため、鑑賞者は再生される映像に立体感を感じることができる。

一般に、光学系を介して結像される像には倍率色収差などの影響による色ずれ（color deviation）が発生しうる。また、光軸の傾きなどに起因して画像中の四隅で色ずれの程度が偏る現象（片ボケ）が発生しうる。特に、２組の独立した光学系を用いて視差画像を取得する場合には、左右それぞれの光学系の光軸の傾きに起因して、視差画像を構成する左右の画像間で色ずれの程度に差異が生じうる。このような差異は、ＶＲゴーグル等を用いた再生時、鑑賞者に違和感（ちらつき）を与える場合がある。

２組の光学系を用いて視差画像を取得する撮像装置において色ずれを補正する技術が、例えば特許文献２に開示されている。特許文献２では、色成分毎に相対的な像位置ずらしを行うことによって光学系毎に独立して色ずれの補正が行われる。

特開２０１２－１１３２８１号公報 特開２００３－４７０２８号公報

しかし、従来のように、予め決められた補正量を用いた色ずれ補正では、無視できない補正残差が発生してしまうという課題があった。これは、実際には撮像装置本体とレンズとの接合部のがたつき等により片ボケの程度が変わってしまうためである。

本発明は、視差画像を構成する画像間の色ずれの差異の補正の精度の点で有利な技術を提供することを目的とする。

本発明の一側面によれば、視差画像を構成する第１画像および第２画像を処理する画像処理装置であって、前記第１画像の着目領域における第１色信号の色差である第１色差と、前記視差画像の視差量に応じた前記着目領域に対応する前記第２画像の対応領域における第２色信号の色差である第２色差とを算出する算出手段と、前記算出手段により算出された前記第１色差と前記第２色差との比較に基づいて、色信号に関する補正量を決定する決定手段と、前記決定手段により決定された前記補正量に基づいて前記第１色信号または前記第２色信号を補正する補正手段と、を有することを特徴とする画像処理装置が提供される。

本発明によれば、視差画像を構成する画像間の色ずれの差異の補正の精度の点で有利な技術を提供することができる。

実施形態における撮像装置の構成を示す図。 視差画像の一例を示す図。 視差画像の座標位置を説明する図。 画像の色ずれを説明する図。 実施形態における色ずれ補正のフローチャート。 エッジ検出フィルタの一例を示す図。 パターンマッチング処理に使用されるテンプレートの例を示す図。 テンプレートのずらし量とＳＡＤ値との関係の例を示すグラフ。 実施形態における色ずれ補正量の調整を説明する図。 倍率色収差による色ずれが変化する方向を示す図。 エッジ検出を行う方向が互いに異なる複数のフィルタの例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜撮像装置の構成＞
図１は、実施形態における、立体映像を撮影可能な撮像装置１００の構成を示す図である。図１において、撮像装置１００は、カメラ本体１１０とレンズ１２０とを有する。レンズ１２０は、カメラ本体１１０に対して着脱可能なものでもよいし、カメラ本体１１０と一体となっているものでもよい。本実施形態では、レンズ１２０はカメラ本体に着脱可能な交換レンズシステムとする。

レンズ１２０は、左眼光学系２００Ｌ（第１撮影レンズ）と右眼光学系２００Ｒ（第２撮影レンズ）とレンズシステム制御部１２１とを有する。カメラ本体１１０は、撮像素子１１１、Ａ／Ｄ変換器１１２、画像処理部１１３、表示部１１４、操作部１１５、記憶部１１６、本体システム制御部１１７を有する。レンズ１２０がカメラ本体１１０に装着されると、本体システム制御部１１７とレンズシステム制御部１２１とが電気的に接続される。

撮像素子１１１は、被写体の像を撮像する。左眼光学系２００Ｌを介して結像される左眼画像（第１画像）と、右眼光学系２００Ｒを介して結像される右眼画像（第２画像）とが並んで撮像素子１１１に結像される。これによって、互いに異なる視点からみた視差画像が得られる。撮像素子１１１は、結像された被写体の像（光信号）を電気信号に変換する。Ａ／Ｄ変換器１１２は、撮像素子１１１から出力されたアナログの電気信号をデジタル信号（画像信号）に変換する。Ａ／Ｄ変換器１１２によって得られた画像信号は、複数色の色信号を含む。

画像処理部１１３は、Ａ／Ｄ変換器１１２から出力された画像信号に対して色ずれ補正を含む種々の画像処理を行う。画像処理部１１３は本発明の画像処理装置を構成しうる。表示部１１４は、各種の情報を表示する。表示部１１４は、例えば、電子ビューファインダや液晶パネルを用いることにより実現される。操作部１１５は、ユーザによって操作されることで撮像装置１００に対する指示を出力するユーザインタフェースとしての機能を有する。なお、表示部１１４がタッチパネルを有する場合には、タッチパネルも操作部１１５の一つになる。

記憶部１１６は、画像処理部１１３で画像処理が行われた画像データ等、各種のデータを記憶する。また、記憶部１１６は、画像処理用のプログラムも記憶する。記憶部１１６は、例えば、ＲＯＭ、ＲＡＭ、ＨＤＤ等により実現されうる。

本体システム制御部１１７は、撮像装置１００全体を統括制御する。本体システム制御部１１７は、例えば、ＣＰＵにより実現されうる。なお、本実施形態では、画像処理部１１３は本体システム制御部１１７とは別の専用プロセッサにより実現されうるが、本体システム制御部１１７が画像処理部１１３の機能を含んでいてもよい。

＜視差画像の色ずれ＞
撮像装置１００により取得される視差画像の概要を、図２を用いて説明する。上記したように、左眼光学系２００Ｌを介して結像される左眼画像（第１画像）と、右眼光学系２００Ｒを介して結像される右眼画像（第２画像）とが並んで撮像素子１１１に結像されることで、視差画像が得られる。図２において、撮像素子１１１の有効画素領域２００には、左眼画像２０１と右眼画像２０２が水平方向に並んで結像される。一般的に立体撮影用の光学素子は広範囲を撮影することができる円周魚眼レンズが使用されるため、左眼画像２０１および右眼画像２０２の結像形状は円形領域（イメージサークル）となる。また、イメージサークルの周辺には、光学的に遮光された遮光領域２０３が存在しうる。

図３は、図２に示された境界線２０４を境に有効画素領域２００を右と左に分割して、左眼画像２０１と右眼画像２０２を切り出した図である。図３において、それぞれの画像の左上端をｘ－ｙ座標の原点位置（０，０）とする。また、左眼画像２０１中の被写体の着目領域Ｐ_Ｌ（図３では屋根の頂点）の座標を（Ｘ_ＰＬ，Ｙ_ＰＬ）とする。このとき、着目領域Ｐ_Ｌに対応する右眼画像２０２中の被写体の対応領域ＰＲの座標（Ｘ_ＰＲ，Ｙ_ＰＲ）は、次式で示されるように、水平方向（ｘ方向）にＤだけずれた位置となる。

（Ｘ_ＰＲ，Ｙ_ＰＲ）＝（Ｘ_ＰＬ＋Ｄ，Ｙ_ＰＬ）・・・・（式１）

このＤが、視差画像を構成する左眼画像２０１と右眼画像２０２との水平方向の視差量（disparity）である。したがって、着目領域ＰＬに対応する対応領域ＰＲは、視差画像の視差量Ｄに応じた領域である。視差量Ｄは、被写体までの距離、レンズ１２０の構成、焦点距離によって変化しうる。左右の画像に視差量があることでＶＲゴーグル等を用いた鑑賞時に、鑑賞者は立体感を感じることができる。

次に、図４を用いて、画像の色ずれについて説明する。色ずれとは、倍率色収差等の影響により本来白色となる被写体でＲ、Ｇ、Ｂ信号のそれぞれの結像位置がずれるために色がついて見える現象である。色ずれは、特に輝度の勾配が大きい領域（エッジ）で顕著に現れる。図４（ａ）には、ｙ方向に延びる白領域と黒領域（ハッチングで示される）の境界であるエッジＥが示されている。このエッジＥを横切る矢線４００の方向（ｘ方向）の各画素位置におけるＲ，Ｇ，Ｂ信号をそれぞれ観測することにより、各色成分の画素値のプロファイルが得られる。色ずれが生じていなければ、図４（ｂ）に示されるように、Ｒ、Ｇ、Ｂそれぞれの画素値のプロファイルは、全て一致して重なった状態となる。一方、色ずれが生じていると、図４（ｃ）に示されるように、基準信号であるＧ信号に対してＲ信号およびＢ信号の結像位置が前後にずれる。このため、エッジ部に色つき（tint）が発生する。

色ずれが生じる主な要因は倍率色収差である。倍率色収差による色ずれの程度は、レンズと撮像素子が固定であれば、撮影条件と画像位置に応じて一意に決まる。この場合、色ずれの補正は画像中の位置に応じて予めレンズの設計情報から得られた補正量を用いてＲ信号およびＢ信号を基準信号であるＧ信号に合わせるように補正することで色つきを解消することができる。

しかし、レンズが本体に対して着脱可能な場合、レンズ装着時のがたつきによる光軸の傾きによって画像の四隅で色ずれの程度が変化するため（片ボケ）、レンズの設計情報から得られた一律の補正値では色ずれを補正しきれずに色ずれが残ってしまう。視差画像を得るために２つの光学系を持つ撮像装置では、光軸の傾きによる補正残差によって左右の画像で色ずれの差異が発生し、この色ずれの差異が鑑賞時の画像品質を低下させることになる。

＜色ずれ補正処理の第１実施例＞
以下、画像処理部１１３による視差画像に対する色ずれ補正処理の第１実施例を、図５のフローチャートを用いて説明する。Ｓ５０１で、画像処理部１１３は、左眼画像のイメージサークル内から処理対象とする画像の領域（以降、着目領域）を選択する。着目領域の選択は、図３に示したように左眼画像、右眼画像それぞれの左上を（０，０）とするｘ－ｙ座標において画素を指定することで行われる。このように本実施形態では着目領域は画素単位で選択されるため、着目領域は着目画素とも言いうる。

Ｓ５０２で、画像処理部１１３は、選択された着目領域に対してエッジ検出処理を実施する。ここでエッジ検出処理を行うのは、上記したように、倍率色収差による色ずれは画像のエッジ部において顕著に現れるためである。エッジ検出処理において、画像処理部１１３はまず、着目領域のＲ、Ｇ、Ｂの各信号値から、着目領域の輝度信号（Ｙ信号）を求める。Ｙ信号は、例えば次式により算出される。
Ｙ ＝３＊Ｒ＋６＊Ｇ＋１＊Ｂ・・・（式２）

画像処理部１１３は、算出されたＹ信号に対して例えば図６のようなフィルタを適用する。図６は、水平方向および垂直方向のエッジを同時検出するためのフィルタ係数を持つフィルタの一例を示している。エッジ検出は、フィルタの出力値が予め決められた閾値よりも大きいか否かを判定することによって行われる。

Ｓ５０３で、画像処理部１１３は、Ｓ５０２でのエッジ検出処理の結果に基づいて、着目領域がエッジ領域であるか否かを判定する。着目領域がエッジ領域ではないと判定された場合、処理はＳ５０８に進む。Ｓ５０８では、画像処理部１１３は、全ての画素について処理が完了したか否かを判定する。全ての画素について処理が完了したと判定された場合、この色ずれ補正処理は終了となる。まだ全ての画素について処理が完了していないと判定された場合、Ｓ５０１に戻って処理が繰り返される。

Ｓ５０３で着目領域がエッジ領域であると判定された場合、処理はＳ５０４に進む。Ｓ５０４では、画像処理部１１３は、左眼画像の着目領域に対応する右眼画像の同一被写体領域（以降、対応領域）を取得する。対応領域は前述の視差により着目領域の座標位置とは異なる座標位置となる。対応領域の座標位置の取得方法は、距離情報がある場合とない場合で異なる。

撮影画像に対する画素単位の距離情報（以降、距離マップ）がある場合、画像処理部１１３は、次式に従い左眼画像と右眼画像との視差量Ｄを算出する。
Ｄ＝（Ｂ＊Ｆ）／Ｚ ・・・・（式３）
ここで、Ｂはレンズ１２０の基線長、Ｆは焦点距離、Ｚは被写体距離である。

基線長Ｂと焦点距離Ｆは、レンズ１２０の構造から決定される。被写体距離Ｚは距離マップから取得される。算出された視差量Ｄと前述の式１から、対応領域の座標位置が決まる。

距離マップがない場合は、画像処理部１１３は、左眼画像のエッジが検出された着目画素およびその周辺画素をテンプレートとして右眼画像の同じ座標位置の周辺を水平方向にずらしながらパターンマッチング処理を行う。このパターンマッチング処理の結果、最も一致度の高い位置が対応領域として設定される。パターンマッチング処理においては、画像処理部１１３は、例えば、図７に示されるような、着目領域７０１を中心とする７×７画素の領域をテンプレートに設定する。画像処理部１１３は、左眼画像の着目領域７０１と同じ右眼画像の座標位置を中心にして左右にテンプレートを１画素ずつずらしながら、各ずらし位置ｋで、テンプレートの各画素と右眼画像のＹ信号との差分絶対値和（ＳＡＤ値）を取得する。ずらし位置ｋにおけるＳＡＤ値は次式で表される。

テンプレートのずらし位置ｋとＳＡＤ値の関係を示すグラフの例を図８に示す。図８では、左右に±８画素の範囲で各ずらし位置でのＳＡＤ値が得られている。図８のグラフによれば、ＳＡＤ値が最小となるずらし位置ｋは４であり、この値が視差量Ｄとなる。算出された視差量Ｄと式１を用いて対応領域の座標位置が算出される。

Ｓ５０５で、画像処理部１１３は、左眼画像の着目領域における色信号（第１色信号）の色差（第１色差）と、右眼画像の対応領域における色信号（第２色信号）の色差（第２色差）とを算出する。以下の説明では、Ｇ信号を簡易輝度として扱う。この場合、色差は、同一座標位置におけるＲ信号とＧ信号との差分（Ｃｒ）、および、Ｂ信号とＧ信号との差分（Ｃｂ）でありうる。

左眼画像の色信号であるＲ、Ｇ、Ｂ信号をそれぞれＲ_Ｌ、Ｇ_Ｌ、Ｂ_Ｌとすると、左眼画像の着目領域（Ｘ，Ｙ）における色差Ｃｒ_Ｌ、Ｃｂ_Ｌは、次式で表される。
Ｃｒ_Ｌ＝Ｒ_Ｌ（Ｘ，Ｙ）－Ｇ_Ｌ（Ｘ，Ｙ） ・・・（式５）
Ｃｂ_Ｌ＝Ｂ_Ｌ（Ｘ，Ｙ）－Ｇ_Ｌ（Ｘ，Ｙ） ・・・（式６）

また、右目画像の色信号であるＲ、Ｇ，Ｂ信号をそれぞれＲ_Ｒ、Ｂ_Ｒ、Ｇ_Ｒとすると、右眼画像の対応領域（Ｘ＋Ｄ，Ｙ）における色差Ｃｒ_Ｒ、Ｃｂ_Ｒは、以下で表される。
Ｃｒ_Ｒ＝Ｒ_Ｒ（Ｘ＋Ｄ，Ｙ）－Ｇ_Ｒ（Ｘ＋Ｄ，Ｙ） ・・・（式７）
Ｃｂ_Ｒ＝Ｂ_Ｒ（Ｘ＋Ｄ，Ｙ）－Ｇ_Ｒ（Ｘ＋Ｄ，Ｙ） ・・・（式８）

Ｓ５０６で、画像処理部１１３は、左眼画像の着目領域、右眼画像の対応領域それぞれにおける色信号に関する補正量として、Ｒ信号およびＢ信号の補正量を決定する。補正量は、左眼画像の色信号の色差（第１色差）と右眼画像の色信号の色差（第２色差）との比較に基づいて決定されうる。例えば、補正量は、Ｓ５０５で算出された左眼画像、右眼画像それぞれの色差のうちその絶対値が小さい方の色差に合わせるように左眼画像または右眼画像のＲ信号、Ｂ信号を補正するための補正量に決定される。以下に補正量を決定する処理の具体例を示す。

左眼画像のＲ信号、Ｂ信号の補正量をそれぞれ、ΔＲ_Ｌ、ΔＢ_Ｌとすると、下記の条件式１、条件式２の結果に応じて、ΔＲ_Ｌ、ΔＢ_Ｌは、下記の式で算出される。

｜Ｃｒ_Ｌ｜＞｜Ｃｒ_Ｒ｜ ・・・（条件式１）
条件式１が成立する場合：
ΔＲ_Ｌ＝Ｃｒ_Ｒ－Ｃｒ_Ｌ ・・・（式９）
条件式１が成立しない場合：
ΔＲ_Ｌ＝０ ・・・（式１０）

｜Ｃｂ_Ｌ｜＞｜Ｃｂ_Ｒ｜ ・・・（条件式２）
条件式２が成立する場合：
ΔＢ_Ｌ＝Ｃｂ_Ｒ－Ｃｂ_Ｌ ・・・（式１１）
条件式２が成立しない場合：
ΔＢ_Ｌ＝０ ・・・（式１２）

同様に、右眼画像のＲ信号、Ｂ信号の補正量をそれぞれ、ΔＲ_Ｒ、ΔＢ_Ｒとすると、下記の条件式３、条件式４の結果に応じて、ΔＲ_Ｒ、ΔＢ_Ｒは、下記の式で算出される。

｜Ｃｒ_Ｒ｜＞｜Ｃｒ_Ｌ｜ ・・・（条件式３）
条件式３が成立する場合：
ΔＲ_Ｒ＝Ｃｒ_Ｌ－Ｃｒ_Ｒ ・・・（式１３）
条件式３が成立しない場合：
ΔＲ_Ｒ＝０ ・・・（式１４）

｜Ｃｂ_Ｒ｜＞｜Ｃｂ_Ｌ｜ ・・・（条件式４）
条件式４が成立する場合：
ΔＢ_Ｒ＝Ｃｂ_Ｌ－Ｃｂ_Ｒ ・・・（式１５）
条件式４が成立しない場合：
ΔＢ_Ｒ＝０ ・・・（式１６）

Ｓ５０７で、画像処理部１１３は、左眼画像の色信号および右眼画像の色信号に対して色ずれ補正を行う。色ずれ補正は、Ｓ５０６で決定された補正量で左眼画像の色信号または右眼画像の色信号を補正することにより行われる。例えば、色ずれ補正は、左眼画像の色信号または右眼画像の色信号に、Ｓ５０６で決定されたそれぞれの色信号に対応する補正量を加算することにより行われうる。

しかし、本発明者の検討によれば、上記のように決定された補正量を加算することにより、左右の画像間で色差の大きさを合わせることができても、色むらを増大させてしまう場合があることがわかった。そこで、Ｓ５０７は、そのような色むらを抑制するように補正量を調整する工程を含みうる。以下、図９を参照して補正量を調整する処理を説明する。

図９（Ａ）には、Ｇ信号および、補正前のＢ信号の画素値のプロファイルが示され、図９（Ｂ）には、Ｇ信号および、上記のよう算出された補正量（暫定補正量）で補正されたＢ信号の画素値のプロファイルが示されている。画素位置の区間Ｓでは、補正前（図９（Ａ））と暫定補正量による補正後（図９（Ｂ））との間で、色差Ｂ－Ｇの符号が反転している。このような、補正前後での色差の符号の反転は、色むらを生じる可能性がある。そこで実施形態では、画像処理部１１３は、暫定補正量で補正した場合には色差の符号が補正前の符号に対して反転してしまう区間Ｓでは、図９（Ｃ）に示されるように、色差が０になるように（Ｂ信号がＧ信号と一致するように）補正量を調整する。以上を考慮して、Ｓ５０６で、画像処理部１１３は、具体的には以下のような処理を行う。

左眼画像の補正後のＲ信号Ｒｃｏｒ_Ｌは、下記の条件式５の結果に応じて、下記の式１７または式１８で算出される。

Ｃｒ_Ｌ＊（Ｃｒ_Ｌ＋ΔＲ_Ｌ）＜０ ・・・（条件式５）
補正前と暫定補正量による補正後との間で、Ｇ信号に対するＲ信号の色差の符号が反転している場合、この条件式５が成立する。
条件式５が成立する場合：
Ｒｃｏｒ_Ｌ＝Ｇ_Ｌ ・・・（式１７）
（式１７を満たすためには、ΔＲ_ＬはＧ_Ｌ－Ｒ_Ｌに調整される。）
条件式５が成立しない場合：
Ｒｃｏｒ_Ｌ＝Ｒ_Ｌ＋ΔＲ_Ｌ ・・・（式１８）

左眼画像の補正後のＢ信号Ｂｃｏｒ_Ｌは、下記の条件式６の結果に応じて、下記の式１９または式２０で算出される。

Ｃｂ_Ｌ＊（Ｃｂ_Ｌ＋ΔＢ_Ｌ）＜０ ・・・（条件式６）
補正前と暫定補正量による補正後との間で、Ｇ信号に対するＢ信号の色差の符号が反転している場合、この条件式６が成立する。
条件式６が成立する場合：
Ｂｃｏｒ_Ｌ＝Ｇ_Ｌ ・・・（式１９）
（式１９を満たすためには、ΔＢ_ＬはＧ_Ｌ－Ｂ_Ｌに調整される。）
条件式５が成立しない場合：
Ｂｃｏｒ_Ｌ＝Ｂ_Ｌ＋ΔＢ_Ｌ ・・・（式２０）

同様に、右眼画像の補正後のＲ信号Ｒｃｏｒ_Ｒは、下記の条件式７の結果に応じて、下記の式２１または式２２で算出される。
Ｃｒ_Ｒ＊（Ｃｒ_Ｒ＋ΔＲ_Ｒ）＜０ ・・・（条件式７）
補正前と暫定補正量による補正後との間で、Ｇ信号に対するＲ信号の色差の符号が反転している場合、この条件式７が成立する。
条件式７が成立する場合：
Ｒｃｏｒ_Ｒ＝Ｇ_Ｒ ・・・（式２１）
（式２１を満たすためには、ΔＲ_ＲはＧ_Ｒ－Ｒ_Ｒに調整される。）
条件式７が成立しない場合：
Ｒｃｏｒ_Ｒ＝Ｒ_Ｒ＋ΔＲ_Ｒ ・・・（式２２）

同様に、右眼画像の補正後のＢ信号Ｂｃｏｒ_Ｒは、下記の条件式８の結果に応じて、下記の式２３または式２４で算出される。
Ｃｂ_Ｒ＊（Ｃｂ_Ｒ＋ΔＢ_Ｒ）＜０ ・・・（条件式８）
補正前と暫定補正量による補正後との間で、Ｇ信号に対するＢ信号の色差の符号が反転している場合、この条件式８が成立する。

条件式８が成立する場合：
Ｂｃｏｒ_Ｒ＝Ｇ_Ｒ ・・・（式２３）
（式２３を満たすためには、ΔＢ_ＲはＧ_Ｒ－Ｂ_Ｒに調整される。）
条件式８が成立しない場合：
Ｂｃｏｒ_Ｒ＝Ｂ_Ｒ＋ΔＢ_Ｒ ・・・（式２４）

次に、Ｓ５０８で、画像処理部１１３は、全ての有効画素が着目領域として処理されたか否かを判定する。全ての有効画素が着目領域として処理されていない場合は、Ｓ５０１に戻って処理が繰り返される。全ての有効画素が着目領域として処理された場合は、色ずれ補正処理は終了する。

以上の処理によって、左眼画像、右眼画像のエッジ部の色つきがイメージサークル内の全ての画像領域で均等に補正される。これにより、レンズ装着時の片ボケに起因する左眼画像、右眼画像の色ずれの差異が解消され、ＶＲゴーグルによる鑑賞時のちらつきを低減することが可能となる。

＜色ずれ補正処理の第２実施例＞
本実施例では、元々色がついている被写体に対して色ずれ補正を行うことによる色抜けの弊害を抑制する。色ずれ補正処理の大部分は第１実施例と同様であるが、図５のフローチャートにおけるＳ５０２のエッジ検出とＳ５０７の色ずれ補正の内容が一部異なる。

Ｓ５０２のエッジ検出について、第１実施例では、図６のような水平方向および垂直方向のエッジを同時検出するフィルタ係数を用いてエッジの検出を行った。しかし、倍率色収差による色ずれは、図１０において矢印で示すように、光軸の中心から周辺方向に向かって変化する。そこで本実施例では、着目領域で検出されたエッジの方向と図１０の矢印の方向との一致度合いを信頼度として算出し、その信頼度に応じて色ずれ補正の効果を制御する。これにより、色抜けの弊害を抑えることができる。

本実施例では、エッジ検出を行う方向が互いに異なる複数のフィルタを用いてエッジ検出が行われる。例えば、図１１に示すような、縦、横、斜め方向のエッジ検出フィルタを用意し、それぞれのフィルタを用いてエッジ検出を行い、エッジ検出によって検出されたエッジの方向に基づいて信頼度Ｋが調整される。例えば、倍率色収差の発生方向として予め定められた方向（図１０の矢印の方向）のフィルタでエッジが検出され、かつ他の方向のフィルタではエッジは検出されなかった場合は、Ｋ＝１．０に設定される。また、倍率色収差の発生方向（図１０の矢印）のフィルタでエッジが検出され、かつ他の方向のフィルタでもエッジが検出された場合は、フィルタ出力結果の比較に基づいて、Ｋは０～０．９の範囲で調整される。倍率色収差の発生方向（図１０の矢印）のフィルタでエッジが検出されなかった場合は、Ｋ＝０に設定される。

Ｓ５０７の色ずれ補正については、本実施形態では、上記のようにＳ５０２で得られた信頼度Ｋを考慮した色ずれ補正を行う。具体的には、第１実施形態のＳ５０７で使用した条件式５～８がそれぞれ、下記の条件式に置き変えられる。

Ｃｒ_Ｌ＊（Ｃｒ_Ｌ＋Ｋ＊ΔＲ_Ｌ）＜０・・・（条件式５ｂ）
Ｃｂ_Ｌ＊（Ｃｂ_Ｌ＋Ｋ＊ΔＢ_Ｌ）＜０・・・（条件式６ｂ）
Ｃｒ_Ｒ＊（Ｃｒ_Ｒ＋Ｋ＊ΔＲ_Ｒ）＜０・・・（条件式７ｂ）
Ｃｂ_Ｒ＊（Ｃｂ_Ｒ＋Ｋ＊ΔＢ_Ｒ）＜０・・・（条件式８ｂ）

また、第１実施例のＳ５０７の色ずれ補正による補正後のＲ，Ｂ信号値の算出式（式１８、式２０、式２２、式２４）がそれぞれ、以下の式に置き換えられる。

Ｒｃｏｒ_Ｌ＝Ｒ_Ｌ＋Ｋ＊ΔＲ_Ｌ ・・・（式１８ｂ）
Ｂｃｏｒ_Ｌ＝Ｂ_Ｌ＋Ｋ＊ΔＢ_Ｌ ・・・（式２０ｂ）
Ｒｃｏｒ_Ｒ＝Ｒ_Ｒ＋Ｋ＊ΔＲ_Ｒ ・・・（式２２ｂ）
Ｂｃｏｒ_Ｒ＝Ｂ_Ｒ＋Ｋ＊ΔＢ_Ｒ ・・・（式２４ｂ）

以上説明した第２実施例によれば、倍率色収差の発生方向とエッジ検出により検出されたエッジの方向との一致度に応じて色ずれ補正の効果が制御される。これにより、元々色がついている被写体に対して色ずれ補正を行うことによる色抜けの弊害を抑制することができる。

＜色ずれ補正処理の第３実施例＞
第３実施例では、ユーザインタフェースである操作部１１５からのユーザ入力により補正効果が制御される。ここで、操作部１１５を介してユーザにより入力された色ずれ補正の効果を調整するパラメータを、係数Ｅとする。係数Ｅは、暫定補正量に対する調整量に対応し、０～１の間の値をとりうる。

色ずれ補正の方法の大部分は第１実施例と同様であるが、図５のフローチャートにおけるＳ５０７の色ずれ補正の条件式５～８がそれぞれ、係数Ｅを用いて以下の式に置き換えられる。

Ｃｒ_Ｌ＊（Ｃｒ_Ｌ＋Ｅ＊ΔＲ_Ｌ）＜０・・・（条件式５ｃ）
Ｃｂ_Ｌ＊（Ｃｂ_Ｌ＋Ｅ＊ΔＢ_Ｌ）＜０・・・（条件式６ｃ）
Ｃｒ_Ｒ＊（Ｃｒ_Ｒ＋Ｅ＊ΔＲ_Ｒ）＜０・・・（条件式７ｃ）
Ｃｂ_Ｒ＊（Ｃｂ_Ｒ＋Ｅ＊ΔＢ_Ｒ）＜０・・・（条件式８ｃ）

また、第１実施例のＳ５０７の色ずれ補正による補正後のＲ，Ｂ信号値の算出式（式１８、式２０、式２２、式２４）がそれぞれ、係数Ｅを用いて以下の式に置き換えられる。

Ｒｃｏｒ_Ｌ＝Ｒ_Ｌ＋Ｅ＊ΔＲ_Ｌ ・・・（式１８ｃ）
Ｂｃｏｒ_Ｌ＝Ｂ_Ｌ＋Ｅ＊ΔＢ_Ｌ ・・・（式２０ｃ）
Ｒｃｏｒ_Ｒ＝Ｒ_Ｒ＋Ｅ＊ΔＲ_Ｒ ・・・（式２２ｃ）
Ｂｃｏｒ_Ｒ＝Ｂ_Ｒ＋Ｅ＊ΔＢ_Ｒ ・・・（式２４ｃ）

以上説明したそれぞれの実施例によれば、レンズ装着時の左右の光学系それぞれの片ボケに起因する左右の画像の色ずれの差異が低減され、ＶＲゴーグル等での鑑賞時にエッジ部のちらつきが少ない、高品質な立体映像を得ることが可能となる。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置、１１０：カメラ本体、１１１：撮像素子、１１３：画像処理部、１１７：本体システム制御部、１２０：レンズ、１２１：レンズシステム制御部、２００Ｌ：左眼光学系、２００Ｒ：右眼光学系

Claims (11)

1. 視差画像を構成する第１画像および第２画像を処理する画像処理装置であって、
   前記第１画像の着目領域における第１色信号の色差である第１色差と、前記視差画像の視差量に応じた前記着目領域に対応する前記第２画像の対応領域における第２色信号の色差である第２色差とを算出する算出手段と、
   前記算出手段により算出された前記第１色差と前記第２色差との比較に基づいて、色信号に関する補正量を決定する決定手段と、
   前記決定手段により決定された前記補正量に基づいて前記第１色信号または前記第２色信号を補正する補正手段と、
   を有することを特徴とする画像処理装置。
2. 前記着目領域におけるエッジ検出を行うエッジ検出手段を更に有し、
   前記エッジ検出の結果に基づいて前記着目領域がエッジ領域であると判定された場合に、前記算出手段、前記決定手段、および前記補正手段による各処理を実行することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記第１色差と前記第２色差のうち絶対値が小さい方の色差に合わせるように前記補正量を決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正手段は、前記決定手段により決定された前記補正量で前記第１色信号または前記第２色信号を補正すると該補正の前後で色差の符号が反転する場合には、該色差が０になるように前記補正量を調整し、該調整された補正量で前記第１色信号または前記第２色信号を補正することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記補正手段は、倍率色収差の発生方向として予め定められた方向と、前記エッジ検出手段により検出されたエッジの方向との一致度に応じて、前記補正量を調整し、該調整された補正量で前記第１色信号または前記第２色信号を補正することを特徴とする請求項２に記載の画像処理装置。
6. 前記補正手段は、ユーザインタフェースを介して入力された調整量で前記補正量を調整し、該調整された補正量で前記第１色信号または前記第２色信号を補正することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
7. 視差画像を構成する第１画像および第２画像を処理する画像処理方法であって、
   前記第１画像の着目領域における第１色信号の色差である第１色差と、前記視差画像の視差量に応じた前記着目領域に対応する前記第２画像の対応領域における第２色信号の色差である第２色差とを算出する算出ステップと、
   前記算出ステップで算出された前記第１色差と前記第２色差との比較に基づいて、色信号に関する補正量を決定する決定ステップと、
   前記決定ステップで決定された前記補正量に基づいて前記第１色信号または前記第２色信号を補正する補正ステップと、
   とを有することを特徴とする画像処理方法。
8. 撮像素子と、
   前記撮像素子で得られた画像に対して画像処理を行う請求項１乃至６のいずれか１項に記載の画像処理装置と、
   を有することを特徴とする撮像装置。
9. 前記撮像素子には、第１撮影レンズを介して結像される前記第１画像と、第２撮影レンズを介して結像される前記第２画像とが並んで結像されることを特徴とする請求項８に記載の撮像装置。
10. コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
11. 請求項１０に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images