JPWO2013042440A1 - 画像処理装置、方法及びプログラム並びに立体撮像装置、携帯電子機器、プリンタ及び立体画像再生装置 - Google Patents

Abstract

本発明の一態様に係る画像処理方法は、視差を有する第１の画像と第２の画像とを取得し、第１の画像の各画素に対する第２の画像の対応する画素のずれ量を示す視差を算出し、第１の画像及び第２の画像の画像処理の対象画素毎に、それぞれエッジ強調又はエッジ補正を行うための画像処理係数を視差に基づいて決定し、第１の画像及び第２の画像に対して該画像処理係数を使用して画像処理を行う。

Description

本発明は画像処理装置、方法、プログラム及び記録媒体並びに立体撮像装置、携帯電子機器、プリンタ及び立体画像再生装置に係り、特に立体視用の複数の画像の立体感を補正する技術に関する。

従来、立体画像の飛び出しと引き込みで表現される奥行き量の幅をダイナミックレンジという。そのダイナミックレンジの飛び出し量と引き込み量の少なくとも一方のダイナミックレンジを補正する立体画像補正装置が提案されている（特許文献１）。

この立体画像補正装置は、両眼視差画像のピクセルずれ量を、鑑賞者が知覚する物体までの距離（視距離）に応じて補正するようにしている。

特許文献２に記載の画像信号処理回路は、高解像度化した画像では立体感や遠近感の低下を招くという問題を解決するために、ぼけ量などから奥行き情報を推定してエッジ強調の度合いや平滑化の度合いを変える。これにより、画像の高解像度化と立体感や遠近感を両立することができる。

特許文献３に記載の画像処理装置は、撮像した画像データ１画面の所定領域を複数の領域に分割し、その各領域の被写体の前後関係をグループに区分する。そして、グループに応じて周波数特性の異なるフィルタを適用させることにより、指定した範囲の距離の被写体の画像を、ハイパスフィルタ（ＨＰＦ）を適用して各領域単位で画像を強調したり、ローパスフィルタ（ＬＰＦ）を適用して画像をぼかす。これにより、立体感のある画像を生成することができる。

特開２０１０−４５５８４号公報 特開２００９−２５１８３９号公報 特開２００６−６７５２１号公報

特許文献１に記載の発明は、両眼視差画像のピクセルずれ量を補正することにより、立体画像の飛び出し量や引き込み量を補正するものである。特許文献１に記載の発明には、両眼視差画像のピクセルずれ量の視差計測を誤ると、視差補正後の立体画像が破綻するという問題がある。

特許文献２に記載の発明は、ぼけ量などから奥行き情報を推定してエッジ強調程度を変えている。しかしながら、特許文献２に記載の発明では、左右画像の視差を用いて直接視差をずらしておらず、立体感の補正は限定的となる。

特許文献３に記載の発明は、平面的な画像に対して立体感を出す処理を施すものであり、視差の補正を行うものではない。

本発明はこのような事情に鑑みてなされたもので、立体視用の複数の画像に対して自然な視差補正を行うことができ、視差検出が正確にできない場合でも破綻の少ない視差補正を行うことができる画像処理装置、方法、プログラム及び記録媒体並びに立体撮像装置、携帯電子機器、プリンタ及び立体画像再生装置を提供することを目的とする。

前記目的を達成するために本発明の一の態様に係る画像処理装置は、立体画像として撮影された視差を有する第１の画像と第２の画像とを取得する画像取得手段と、画像取得手段により取得した第１の画像の各画素に対する第２の画像の対応する画素のずれ量を示す視差を算出する視差算出手段と、画像取得手段により取得した第１の画像及び第２の画像の画像処理の対象画素毎に、それぞれエッジ強調又はエッジ補正を行うための画像処理係数を決定する画像処理係数決定手段であって、対象画素に対して視差算出手段により算出された視差に基づいて画像処理係数を決定する画像処理係数決定手段と、画像取得手段により取得した第１の画像及び第２の画像に対して、画像処理係数決定手段により決定された画像処理係数を使用して画像処理を行う画像処理手段とを備える。

本発明の一の態様によれば、立体画像として撮影された第１の画像と第２の画像に対して、画像処理の対象画素毎に、その対象画素の元々の視差に対応した、視差補正することができるエッジ強調又はエッジ補正用の画像処理係数を適用して画像処理を行う。これにより、自然な視差補正を行うことができ、エッジ強調又はエッジ補正も同時に行うことができる。また、視差を正確に検出できない箇所は、主に平坦部であることが多いが、平坦部では、エッジ強調又はエッジ補正される輪郭部がない。このため、エッジ強調又はエッジ補正の位相がずれていても破綻には繋がりにくい。なお、上記の態様において、エッジ強調又はエッジ補正とは、エッジ部の成形処理を意味する。

本発明の他の態様に係る画像処理装置において、画像処理係数決定手段は、エッジ強調又はエッジ補正用の画像処理係数の中心が演算対象画素の中心からシフトするように画像処理係数を決定するようにしている。この画像処理係数により対象画素を画像処理することにより、視差（位相）をずらすことができるとともに、エッジ強調又はエッジ補正も行うことができる。

本発明の更に他の態様に係る画像処理装置において、画像処理係数決定手段は、視差のずれ方向に対応して画像処理係数の中心を演算対象画素の中心からシフトさせるようにしている。

本発明の更に他の態様に係る画像処理装置において、画像処理係数決定手段は、画像処理係数としてフィルタ係数を決定し、画像処理手段は、フィルタ係数を使用するフィルタによるフィルタ処理を行うフィルタ処理手段である。

フィルタは、１次元フィルタ又は２次元フィルタを使用することができる。１次元フィルタの場合には、視差方向と直交する方向のエッジ強調又はエッジ補正を行う他の１次元フィルタにより別途エッジ強調又はエッジ補正を行うことが好ましい。一方、２次元フィルタの場合にはその必要がない。

本発明の更に他の態様に係る画像処理装置において、画像処理係数決定手段は、視差に応じてエッジ強調又はエッジ補正の程度及び周波数帯域のうちの少なくとも一方が変化するフィルタ係数を決定することが好ましい。

本発明の更に他の態様に係る画像処理装置において、画像処理係数決定手段は、視差が大きい程、エッジ強調又はエッジ補正の程度をより低くするフィルタ係数及び周波数帯域をより広くするフィルタ係数のうちの少なくとも一方を決定することが好ましい。視差の大きい、ぼけている箇所に過度のエッジ強調又はエッジ補正を行うと、ノイズ増大に繋がる可能性がある。そのため、視差補正量（視差の大きさ）に応じてエッジ強調又はエッジ補正の程度又は周波数帯域を変化させることが好ましい。

本発明の更に他の態様に係る画像処理装置において、対象画素に対して視差算出手段により算出された視差を入力すると、所定の視差補正用の関数に従った視差ずらし量を算出し、又所定の視差補正用のルックアップテーブルから対応する視差ずらし量を読み出し、算出又は読み出した視差ずらし量に対応して画像処理係数の中心を演算対象画素の中心からシフトさせる。

本発明の更に他の態様に係る画像処理装置において、所定の視差補正用の複数の関数又はルックアップテーブルを有し、複数の関数又はルックアップテーブルからユーザ設定によりいずれかの関数又はルックアップテーブルを選択する選択手段を備えることが好ましい。これにより、ユーザの好みにより視差強調を行ったり、視差低減を行うことができる。

本発明の更に他の態様に係る画像処理装置において、第１の画像の対象画素を基準とする所定のブロックサイズの画像と第２の画像とのブロックマッチングにより第１の画像の対象画素に対応する第２の画像上の画素を検出し、両画素間の視差を算出するようにしている。

本発明の更に他の態様に係る画像処理装置において、視差算出手段は、視差検出時に使用した第１の画像及び第２の画像のブロックサイズの画像を保持し、画像処理手段は、ブロックサイズと同じサイズの演算対象画素範囲を有し、画像処理手段は、視差算出手段により保持した第１の画像及び第２の画像のブロックサイズの画像と演算対象画素範囲の画像処理係数とを使用して画像処理を行うことが好ましい。

視差検出に使用した第１の画像及び第２の画像の所定のブロックサイズの画像を開放せずに保持しておき、画像処理手段での画像処理に使用するようにした。このため、メモリ使用量の削減及び処理の高速化を図ることができる。

本発明の更に他の態様に係る画像処理装置において、第１の画像及び第２の画像は、３原色のカラー画像であり、画像処理手段は、前記３原色のカラー画像を示す各色信号に対して同じ画像処理係数を使用して画像処理を行うことが好ましい。これにより、視差補正後の画像が色ずれしないようにすることができる。

本発明の更に他の態様に係る画像処理装置において、第１の画像及び第２の画像は、３原色のカラー画像であり、画像処理手段は、３原色のカラー画像から生成される輝度信号と色差信号に対して同じ画像処理係数を使用して画像処理を行うことが好ましい。通常のエッジ強調又はエッジ補正は、輝度信号に対してのみ行われるが、本発明では、エッジ強調又はエッジ補正とともに位相ずれが生じる。このため、色差信号に対しても同じ画像処理係数を使用して画像処理を行い、色ずれが生じないようにしている。

本発明の更に他の態様に係る画像処理方法は、立体画像として撮影された視差を有する第１の画像と第２の画像とを取得する画像取得工程と、画像取得工程により取得した第１の画像の各画素に対する第２の画像の対応する画素のずれ量を示す視差を算出する視差算出工程と、画像取得工程により取得した第１の画像及び第２の画像の画像処理の対象画素毎に、それぞれエッジ強調又はエッジ補正を行うための画像処理係数を決定する工程であって、対象画素に対して視差算出工程により算出された視差に基づいて画像処理係数を決定する画像処理係数決定工程と、画像取得工程により取得した第１の画像及び第２の画像に対して、画像処理係数決定工程により決定された画像処理係数を使用して画像処理を行う画像処理工程とを含む。

本発明の更に他の態様に係る画像処理プログラムは、立体画像として撮影された視差を有する第１の画像と第２の画像とを取得する画像取得機能と、画像取得機能により取得した第１の画像の各画素に対する第２の画像の対応する画素のずれ量を示す視差を算出する視差算出機能と、画像取得機能により取得した第１の画像及び第２の画像の画像処理の対象画素毎に、それぞれエッジ強調又はエッジ補正を行うための画像処理係数を決定する機能であって、対象画素に対して視差算出機能により算出された視差に基づいて画像処理係数を決定する画像処理係数決定機能と、画像取得機能により取得した第１の画像及び第２の画像に対して、画像処理係数決定機能により決定された画像処理係数を使用して画像処理を行う画像処理機能とをコンピュータに実行させる。

本発明の更に他の態様に係る立体撮像装置は、単一の撮影光学系と、撮影光学系の異なる領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、異なる領域を通過した被写体像をそれぞれ光電変換して視差の異なる第１の画像及び第２の画像を取得する撮像素子とからなる前記画像画取得手段と、上述したいずれかの画像処理装置とを備える。

単一の撮影光学系及び位相差画像を取得することができる撮像素子からなる立体撮像装置は、基線長が短いため、立体感（視差）の小さい画像になることが多いが、本発明により立体感を強調することができる。

本発明の更に他の態様に係る立体撮像装置において、撮像素子は、該撮像素子の露光領域の略全面において、それぞれマトリクス状に配列された光電変換用の第１群の画素及び第２群の画素であって、撮影光学系の第１の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第１群の画素と、撮影光学系の第２の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第２群の画素とを有し、第１群の画素及び第２群の画素から複数の画像の読み出しが可能な撮像素子である。これにより、１つの撮像素子で同時に視差の異なる複数の画像を取得することができ、装置が大型化することもない。

本発明の更に他の態様に係る携帯電子機器は、上記立体撮像理装置を備える。携帯電子機器としては、カメラ付き携帯電話、携帯情報端末（ＰＤＡ）、携帯ゲーム機器等を含む。

本発明の更に他の態様に係るプリンタは、上述したいずれかの画像処理装置と、前記画像処理装置により処理された第１の画像及び第２の画像に基づいて立体視用の写真プリントを作成する印画手段とを備える。

本発明の更に他の態様に係る立体画像再生装置は、上述したいずれかの画像処理装置と、前記画像処理装置により処理された第１の画像及び第２の画像に基づいて立体視用の画像を表示する画像表示手段とを備える。

本発明によれば、立体画像として撮影された第１の画像と第２の画像に対して、画像処理の対象画素毎に、その対象画素の元々の視差に対応した、視差補正することができるエッジ強調又はエッジ補正を行うための画像処理係数を適用して画像処理が行われる。このため、自然な視差補正を行うことができ、エッジ強調又はエッジ補正も同時に行うことができる。尚、視差を正確に検出できない箇所は、主に平坦部であることが多いが、平坦部ではエッジ強調又はエッジ補正される輪郭部がない。このため、エッジ強調又はエッジ補正の位相がずれていても破綻には繋がりにくく、破綻の少ない視差補正を行うことができる。

本発明に係る画像処理装置が適用された立体撮像装置の実施の形態を示す正面斜視図 上記立体撮像装置の背面斜視図 立体撮像装置の撮像素子の構成例を示す平面図 立体撮像装置の撮像素子（主画素）の構成例を示す平面図 立体撮像装置の撮像素子（副画素）の構成例を示す平面図 上記撮像素子の要部拡大図 上記撮像素子の要部拡大図 上記立体撮像装置の内部構成の実施形態を示すブロック図 左目画像にかけるフィルタを示す図 右目画像にかけるフィルタを示す図 フィルタ処理前後の画素値に変化を示すグラフ 視差補正の流れを示す図 元画像の視差と位相ずらし量との関係を示すグラフ フィルタ係数及びエッジ強調又はエッジ補正の度合いを模式的に表したグラフ フィルタ係数及びエッジ強調又はエッジ補正の度合いを模式的に表したグラフ 本発明に係る画像処理方法の実施形態を示すフローチャート 視差検出を行いながらフィルタ処理を行う様子を示す図 視差検出を行いながらフィルタ処理を行う様子を示す図 ２次元フィルタ（左目用）の例を示す図 ２次元フィルタ（右目用）の例を示す図 元画像の視差と位相ずらし量との関係を示すグラフ 元画像の視差と位相ずらし量との関係を示すグラフ 元画像の視差と位相ずらし量との関係を示すグラフ 撮像素子の他の構成例を示す平面図 上記撮像素子で立体画像を撮影する仕組みについて説明する図

以下、添付図面に従って本発明に係る画像処理装置、方法、プログラム及び記録媒体並びに立体撮像装置、携帯電子機器、プリンタ及び立体画像再生装置の実施の形態について説明する。

［立体撮像装置の全体構成］
図１は本発明に係る画像処理装置が適用された立体撮像装置の実施の形態を示す正面斜視図である。図２は上記立体撮像装置の背面斜視図である。この立体撮像装置１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換してメモリカード等の記録メディアに記録するデジタルカメラである。

図１に示すように、立体撮像装置１０は、その正面に撮影レンズ１２、フラッシュ発光部１等が配設されている。立体撮像装置１０の上面には、シャッタボタン２、電源／モードスイッチ３、モードダイヤル４等が配設されている。一方、図２に示すように、立体撮像装置１０の背面には、３Ｄ表示用の３Ｄ液晶モニタ３０、ズームボタン５、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等が配設されている。

撮影レンズ１２は、沈胴式のズームレンズで構成されている。電源／モードスイッチ３によってカメラのモードが撮影モードに設定されると、立体撮像装置１０の本体（カメラ本体）から繰り出される。フラッシュ発光部１は、被写体に向けてフラッシュ光を照射するものである。

シャッタボタン２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。立体撮像装置１０は、撮影モードで動作しているときに、このシャッタボタン２が「半押し」されると、自動露出調整（ＡＥ）／自動焦点調整（ＡＦ）が作動する。また、立体撮像装置１０は、撮影モードで動作しているときに、このシャッタボタン２が「全押し」されると、撮影が実行される。

電源／モードスイッチ３は、立体撮像装置１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、立体撮像装置１０のモードを設定するモードスイッチとしての機能とを併せ持っている。電源／モードスイッチ３は、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。立体撮像装置１０は、電源／モードスイッチ３をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ３をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

モードダイヤル４は、立体撮像装置１０の撮影モードを設定する撮影モード設定手段として機能する。このモードダイヤル４の設定位置により、立体撮像装置１０の撮影モードが様々なモードに設定される。例えば、平面画像の撮影を行う「平面画像撮影モード」、立体画像（３Ｄ画像）の撮影を行う「立体画像撮影モード」、動画撮影を行う「動画撮影モード」等である。

３Ｄ液晶モニタ３０は、立体画像（左目画像及び右目画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段である。立体視画像が３Ｄ液晶モニタ３０に入力された場合には、３Ｄ液晶モニタ３０のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させる。パララックスバリア表示層の下層の画像表示面に左右の像を示す短冊状の画像断片が交互に配列されて表示される。平面画像やユーザインターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。尚、３Ｄ液晶モニタ３０の形態はこれに限らず、左目画像及び右目画像を立体画像として認識可能に表示させるものであればよい。３Ｄ液晶モニタ３０の形態は、例えば、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左目画像と右目画像とを個別に見ることができるものでもよい。

ズームボタン５は、ズームを指示するズーム指示手段として機能する。ズームボタン５は、望遠側へのズームを指示するテレボタン５Ｔと、広角側へのズームを指示するワイドボタン５Ｗとを含んでいる。立体撮像装置１０は、撮影モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されると、撮影レンズ１２の焦点距離が変化する。また、再生モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されると、再生中の画像が拡大、縮小される。

十字ボタン６は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

ＭＥＮＵ／ＯＫボタン７は、３Ｄ液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。

再生ボタン８は、撮影記録した立体画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を３Ｄ液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。

ＢＡＣＫボタン９は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。

［撮影光学系、撮像素子の構成例］
撮影レンズ１２は、フォーカスレンズ、ズームレンズを含む多数のレンズから構成される撮像光学系である。絞り１４は、例えば、５枚の絞り羽根からなり、例えば、絞り値（Ｆ値）をＦ２〜Ｆ８まで連続的又は段階的に絞り制御される。撮影モード時において、被写体を示す画像光は、撮影レンズ１２、絞り１４を介して撮像素子１６の受光面に結像される。

図３Ａから図３Ｃは撮像素子１６の構成例を示す平面図である。

撮像素子１６は、視差を有する画像（位相差）検出用のＣＣＤ（Charge Coupled Device）イメージセンサである。撮像素子１６は、それぞれマトリクス状に配列された奇数ラインの画素（主画素、Ａ面画素ともいう）と、偶数ラインの画素（副画素、Ｂ面画素ともいう）とを有する。これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。

図３Ｂに示すように撮像素子１６の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられる。一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられる。主画素（奇数ラインの画素）は、副画素（偶数ラインの画素）に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

図４Ａおよび図４Ｂは位相差イメージセンサとして機能する撮像素子１６の要部拡大図である。

図４Ａに示すように撮像素子１６の主画素のフォトダイオードＰＤの前面側（マイクロレンズＬ側）には、遮光部材１６Ａが配設される。一方、図４Ｂに示すように副画素のフォトダイオードＰＤの前面側には、遮光部材１６Ｂが配設される。マイクロレンズＬ、及び遮光部材１６Ａ、１６Ｂは瞳分割手段としての機能を有する。図４Ａに示すように遮光部材１６Ａは、主画素（フォトダイオードＰＤ）の受光面の図中左半分を遮光する。そのため、主画素には、撮影レンズ１２の射出瞳を通過する光束の光軸の左側のみが受光される。また、図４Ｂに示すように遮光部材１６Ｂは、副画素（フォトダイオードＰＤ）の受光面の図中右半分を遮光する。そのため、副画素には、撮影レンズ１２の射出瞳を通過する光束の光軸の右側のみが受光される。このように、瞳分割手段であるマイクロレンズＬ及び遮光部材１６Ａ、１６Ｂにより、射出瞳を通過する光束が左右に分割され、それぞれ主画素、副画素に入射する。

また、撮影レンズ１２の射出瞳を通過する光束のうちの左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像のうち、ピントが合っている部分は、撮像素子１６上の同じ位置に結像するが、前ピン又は後ピンの部分は、それぞれ撮像素子１６上の異なる位置に入射する（位相がずれる）。これにより、左半分の光束に対応する被写体像と、右半分の光束に対応する被写体像とは、視差が異なる視差画像（左目画像、右目画像）として取得することができる。尚、この実施の形態の撮像素子１６は、ＣＣＤイメージセンサであるが、本発明はこれに限定されるものではない。例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサでもよい。

［立体撮像装置の内部構成］
図５は上記立体撮像装置１０の内部構成の実施形態を示すブロック図である。この立体撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ（Central Processing Unit））４０によって統括制御される。

立体撮像装置１０には、シャッタボタン２、電源／モードスイッチ３、モードダイヤル４、ズームボタン５、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９を含む操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて立体撮像装置１０の各回路を制御する。ＣＰＵ４０は、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、３Ｄ液晶モニタ３０の表示制御などを行う。操作部３８には、視差補正をユーザ設定するための視差量設定部３８Ａが設けられている。

電源／モードスイッチ３により立体撮像装置１０の電源がＯＮされると、図示しない電源部から各ブロックへ給電され、立体撮像装置１０の駆動が開始される。

撮影レンズ１２、絞り１４等を通過した光束は撮像素子（ＣＣＤ）１６に結像され、撮像素子１６には信号電荷が蓄積される。撮像素子１６に蓄積された信号電荷は、タイミングジェネレータ（不図示）から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子１６から読み出された電圧信号は、アナログ信号処理部１８に加えられる。

アナログ信号処理部１８は、撮像素子１６から出力された電圧信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減するための処理。撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により各画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、同時化処理、ＹＣ処理、エッジ強調又はエッジ補正処理（エッジ部の成形処理）等の所定の信号処理を行う。

ここで、撮像素子１６の奇数ラインの主画素から読み出される主画像データは、左目画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右目画像データとして処理される。

デジタル信号処理部２４で処理された左目画像データ及び右目画像データ（３Ｄ画像データ）は、ＶＲＡＭ（Video Random Access Memory）５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記録するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換え中の領域以外の領域から、書き込み済みの３Ｄ画像データが読み出される。

ＶＲＡＭ５０から読み出された３Ｄ画像データは、ビデオエンコーダ２８においてエンコーディングされ、カメラ背面に設けられている３Ｄ液晶モニタ（ＬＣＤ）３０に出力され、これにより３Ｄの被写体像が連続的に３Ｄ液晶モニタ３０の表示画面上に表示される。

操作部３８のシャッタボタン２の第１段階の押下（半押し）があると、ＣＣＤ４０は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介してフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左目画像及び右目画像の少なくとも一方の画像のうちの所定のフォーカス領域内の画像の高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。ＣＰＵ４０は、このＡＦ評価値が極大となる位置に撮影レンズ１２内のフォーカスレンズを移動する。これによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左目画像及び右目画像のうちの所定のフォーカス領域内の主画素、副画素に対応する画像の位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影レンズ１２内のフォーカスレンズを制御することによりＡＦ制御が行われる。

ＣＰＵ４０は、ズームボタン５からのズーム指令に応じてレンズ駆動部３６を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。

また、シャッタボタン２の半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影ＥＶ値）を算出し、この撮影ＥＶ値に基づいて絞り１４のＦ値及び撮像素子１６の電子シャッタのシャッタ速度を所定のプログラム線図にしたがって決定する。

尚、図５において、４６は、撮影画角内の人物の顔を検出し、その顔を含むエリアをＡＦエリア、ＡＥエリアとして設定するための公知の顔検出回路である（例えば、特開平９−１０１５７９号公報）。

また、４７は、カメラ制御プログラム、撮像素子１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブルの他に、本発明に係る左目画像及び右目画像の立体感を補正（視差補正）するための画像処理プログラム、フィルタ係数算出用の計算式又はルックアップテーブル、視差や視差強調の度合いに応じた計算式のパラメータ、又はルックアップテーブルを決定するための情報が記憶されているＲＯＭ（ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory））である。尚、本発明に係る画像処理プログラム等の詳細については後述する。

シャッタボタン２の半押しによりＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される主画素及び副画素に対応する左視点画像（主画像）及び右視点画像（副画像）の２枚分の画像データが画像入力コントローラ２２から不図示のメモリ（ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory））に入力され、一時的に記憶される。

メモリに一時的に記憶された２枚分の画像データは、デジタル信号処理部２４により適宜読み出される。デジタル信号処理部２４は、同時化処理（原色フィルタの配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理）、本発明に係る視差補正及びエッジ強調又はエッジ補正の画像処理、及びＹＣ処理（Ｒ，Ｇ，Ｂ信号を輝度・色差信号に変換して輝度データ及び色差データを生成する処理）を含む所定の信号処理を行う。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリに記憶される。

メモリに記憶された２枚分のＹＣデータは、それぞれ圧縮伸長処理部２６に出力され、ＪＰＥＧ（Joint Photographic Experts Group）などの所定の圧縮処理が実行されたのち、再びメモリに記憶される。メモリに記憶された２枚分のＹＣデータ（圧縮データ）から、マルチピクチャファイル（ＭＰファイルないしマルチ画像ファイル：複数の画像が連結された形式のファイル）が生成される。そのＭＰファイルは、メディア・コントローラ５２を介して、メモリカード５４に記録される。

尚、立体撮像装置１０は、立体画像（３Ｄ画像）のみでなく、平面画像（２Ｄ画像）の取得も可能である。

［視差補正及びエッジ強調又はエッジ補正］
次に、本発明の一実施形態に係る視差補正及びエッジ強調又はエッジ補正の画像処理方法の原理について説明する。

図６Ａから図６Ｄは、左目・右目画像の対応点を検出し、対応点の位相ずれ（視差）に応じて位相をずらしたフィルタリングを行って視差を強調する例を示している。

大まかな流れは、下記の通りである。［１］画像同士の対応点を検出し、視差を計測する。［２］左目及び右目画像にかける位相ずらし画像処理（フィルタ）を局所ごとに設定する。［３］フィルタリングを行って位相をずらす。

［１］画像同士の対応点を検出し、視差を計測する。

左右の画像同士の対応点を検出する方法として、相関法などが知られている。例えばｘ方向に15pixel、ｙ方向に1pixelであるようなカーネルをスキャンし、最も画素値の差分の２乗和が小さい箇所を見つけるなどにより行うことができる。視差の計測結果は、図６Ｄに示すように遠いほど明るく近いほど暗いようなモノクロ画像（距離画像）で表現することができる。サブピクセル単位での視差の測定も可能であり、詳細な方法については新井らによる「画像のブロックマッチングにおける相関関数とサブピクセル推定方式の最適化（情報処理学会研究報告、巻:2004、号:40(CVIM-144)、頁:33-40）」などに記載されている。

尚、一般に視差計測においては、下記のような問題がある。
・視差が大きい場合に誤検出しやすい。
・(差分の２乗和が小さくなる)平坦部分同士での対応点では、対応点の検出が難しい。

しかしながら、単一の撮影レンズ１２＋位相差検出用の撮像素子１６を備える単眼の立体撮像装置１０では、元々の視差が極めて小さい。このため、前者の誤検出は一般に少ない。また、後者の誤検出についても、元が平坦部分であるため、たとえ対応点検出を誤って位相がずれたとしても最終的な画質への影響は少ないと言える。

［２］左目及び右目画像にかける位相ずらしフィルタを局所ごとに設定する。

例えば、左目画像中のある箇所において、１画素だけ位相をずらしたいならば、図６Ａおよび図６Ｂに示すようにフィルタリングの中心を故意に１[pixel]ずらしたフィルタ係数（画像処理係数）を有するフィルタＦ（Ｆ_Ｌ，Ｆ_Ｒ）をかければよい。尚、ハードウエアとしてのフィルタＦは１つでよく、左目画像のフィルタ処理時、又は右目画像のフィルタ処理時にそれぞれの画像用のフィルタ係数をセットする。これにより、順次フィルタＦ_Ｌ又はＦ_Ｒによるフィルタ処理を行う。

このフィルタＦはハイパスフィルタを含んだ直流成分のフィルタとなっているため、エッジ強調又はエッジ補正と位相ずらしを同時に行うことが可能である。尚、図６Ａおよび図６Ｂに示すフィルタＦ_Ｌ，Ｆ_Ｒは、それぞれ１×７画素のカーネルサイズ（演算対象画素範囲）を有する。各フィルタＦ_Ｌ，Ｆ_Ｒのフィルタ係数は、そのフィルタ係数の中心がカーネル中心から互いに逆方向にシフトしている。図６Ａおよび図６Ｂに示す例では、フィルタＦ_Ｌのフィルタ係数の中心は、左方向に１画素分シフトしており、フィルタＦ_Ｒのフィルタ係数の中心は、右方向に１画素分シフトしている。

フィルタＦ_Ｌ，Ｆ_Ｒによる位相ずらし量μは、図７に示すような入出力関数で決めればよい。現在の視差[pixel]の符号はそのままに、所定のピクセル数範囲（±Ｐ１）の視差γに対しては、傾きκ（＞０）をかけることで、強調を行う。所定の画素数範囲（±Ｐ１）を越える視差γに対しては、傾きκ（＝０）になるように位相ずらし量μを一定にする。これは、視差計測結果にミスがあった場合に備え、所定の値±Ｐ１[pixel]を越える視差γに対しては、傾きκを０にし、位相ずらし量を一定にする。

尚、図７の実線のグラフは、左目画像に対する位相ずらし量を示しており、合焦している被写体（視差０）よりも遠い被写体の視差量の符号はプラス、合焦している被写体よりも近い被写体の視差量の符号はマイナスとしている。また、右方向の位相ずらし量はプラス、左方向の位相ずらし量はマイナスとしている。そして、図７の点線のグラフに示すように、右目画像に対する位相ずらし量は、左目画像に対する位相すらし量とは符号が逆になる。

［３］フィルタリングを行って位相をずらす。

フィルタＦ_Ｌ，Ｆ_Ｒによるフィルタ処理により、位相ずらし（エッジ強調又はエッジ補正を含む）を行う。即ち、左目画像中の対応点検出を行った対象画素（注目画素）を中心とする１×７画素の画素群とフィルタＦ_Ｌとを畳み込み演算（フィルタ処理）する。これにより、図６Ｃに示すように、注目画素はエッジ強調又はエッジ補正されるとともに、左方向に１画素分位相がずれる。同様に、左目画像の注目画素に対応する右目画像の注目画素を中心とする１×７画素の画素群とフィルタＦ_Ｒとを畳み込み演算すると、注目画素はエッジ強調又はエッジ補正されるとともに、右方向に１画素分位相がずれる。

これにより、左目画像の注目画素とこれに対応する右目画像の注目画素とは、それぞれエッジ強調又はエッジ補正されるとともに、画素位置が２画素分拡大し、視差が強調されることになる。

上記のように位相ずらしフィルタＦ_Ｌ，Ｆ_Ｒにより左目画像及び右目画像をフィルタ処理することにより、破綻の少ない視差強調を、エッジ強調又はエッジ補正と同時に行うことができる。

［エッジ強調又はエッジ補正及び位相ずらしフィルタ］
本発明の実施の形態に係るフィルタは、視差強調と同時にエッジ強調又はエッジ補正も行う。一般に単眼３Ｄ撮像装置により撮影された左目画像及び右目画像は、視差の大きい箇所ほどぼけているという特徴がある。ぼけている箇所では、過度のエッジ強調又はエッジ補正がノイズ増大に繋がる可能性もある。

そのため、視差の大きさに応じてエッジ強調又はエッジ補正の程度を弱めにすれば、ぼけた箇所でのノイズは減らしつつ、くっきりした箇所をよりくっきりさせることができる。

視差の大きさに応じてエッジ強調又はエッジ補正の程度を補正するには、例えば、以下のような方法が考えられる。

まず、周波数特性が以下の［数１］式で表せるようなフィルタリングを考える。

［数１］
（フィルタ係数の周波数特性）＝(直流成分)＋α×(ＨＰＦ成分)
＝(直流成分)＋α×((直流成分)-(ＬＰＦ成分))
ずらす位相ずらし量をμとし、ＬＰＦ成分を標準偏差σのガウシアンとし、上記［数１］式をフーリエ変換すると、フィルタ係数は次式となる。

フィルタ係数をグラフで模式的に表すと、図８Ａのようになる。エッジ強調又はエッジ補正の強さはαで、周波数帯域はσで制御することができる。αを、元画像の視差[pixel]の関数（例えば、図８Ｂ参照)にすることで、視差に応じてＨＰＦの強さを制御可能になる。

上記のように視差の大きさ（ぼけの程度）に応じてエッジ強調又はエッジ補正の程度を変えることにより、ぼけた箇所でのノイズは減らしつつ、くっきりした箇所をよりくっきりさせることができる。

［画像処理方法の実施形態］
図９は本発明に係る画像処理方法の実施形態を示すフローチャートである。

図９において、まず、視差補正前の左目画像及び右目画像を取得する（ステップＳ１０）。続いて、左目画像の全画素のうちの処理対象の画素（注目画素(i,j)）を設定する（ステップＳ１２）。例えば、左目画像の画像サイズがｍ×ｎ画素の場合、画素(1,1)から画素(m,n)まで順次注目画素を変更して、後述の工程を繰り返す。

ステップＳ１４では、ステップＳ１２で設定した注目画素(i,j)を基準にした、所定のブロックサイズ［Ｃx×Ｃy］[pixel]の画素群Ａ１を抽出する。

ステップＳ１６では、前記抽出した画素群を元に、右目画像中から該画素群Ａ１と特徴点が一致する画素群Ａ２をサーチする。

即ち、図１０Ａに示すように左目画像から抽出した画素群（ブロック）Ａ１と、右目画像のうちのブロックとの一致度を評価する。ブロック間の一致度が最大となるときの右目画像中のブロックＡ２の基準の画素を、前記左目画像の注目画素に対応する右目画像の対応点の画素とする。

ブロックマッチング法でのブロック間の一致度を評価する関数として、例えば各ブロック内の画素の輝度差の２乗和（ＳＳＤ）を使用するものがある（ＳＳＤブロックマッチング法）。

このＳＳＤブロックマッチング法では、両画像のブロック内の各画素f(i,j)，g(i,j)について、次式の演算を行う。

上記［数３］式の演算を、右目画像上でブロックの位置を所定の探索領域内で移動させながら行い、ＳＳＤ値が最小となるときの探索領域内の位置の画素を探索対象の画素とする。

そして、左目画像上の注目画素の位置と、探索した対応する右目画像上の画素との画素間のずれ量を示す視差γを検出する。

続いて、視差γに対応する位相ずらしフィルタＦ_Ｌ，Ｆ_Ｒを求める（ステップＳ１８）。即ち、図７に示したように視差γに対応する位相ずらし量μを求め、この位相ずらし量μ、予め設定された標準偏差σ、及びエッジ強調又はエッジ補正の強さの関数α（図８Ｂ参照））に基づいて、前述した［数２］式によりフィルタＦ_Ｌ，Ｆ_Ｒのフィルタ係数を算出する。尚、この実施形態では、［数２］式での計算によりフィルタＦ_Ｌ，Ｆ_Ｒのフィルタ係数を算出するようにしたが、本発明はこれに限定されるものではない。例えば、視差γ（あるいは位相ずらし量μ）等に対応するフィルタ係数のセットが予め記憶されたルックアップテーブル（ＬＵＴ）を準備しておき、視差γ等に基づいて対応するフィルタ係数のセットを読み出し、フィルタＦ_Ｌ，Ｆ_Ｒを決定するようにしてもよい。

続いて、左目画像から注目画素(i,j)を基準に抽出した画素群（ブロック）と、このブロックサイズと同じカーネルサイズのフィルタＦ_Ｌとの畳み込み演算を行い、注目画素(i,j)の画素値を算出する。同様にブロックマッチングにより検出された、注目画素(i,j)に対応する右目画像の対応点を基準にした画素群（ブロック）とフィルタＦ_Ｒとの畳み込み演算を行い、右目画像の対応点の画素値を算出する（ステップＳ２０、図１０Ｂ）。また、このようにしてフィルタ処理された左目画像の注目画素の画素値及び右目画像の対応点の画素の画素値は、元の位置から位相ずらし量γだけシフトした位置に配置（マッピング）する。

ここで、ブロックサイズ［Ｃx×Ｃy］を、例えば７×７[pixel]とした場合、図１１Ａおよび図１１Ｂに示すようにフィルタＦ_Ｌ，Ｆ_Ｒのカーネルサイズも７×７[pixel]にする。

そして、ブロックマッチング法により対応点の検出及び視差γの検出が行われた、左目画像の画素群（ブロック）と右目画像の画素群（ブロック）を開放せずに、そのままフィルタＦ_Ｌ，Ｆ_Ｒによりフィルタ処理を行う。これにより、メモリ使用量を削減することができ、また、処理も高速化することができる。

次に、左目画像の全ての画素のフィルタ処理が終了したか否かを判別し（ステップＳ２２）、終了していない場合（「No」の場合）には、ステップＳ１２に遷移させ、注目画素を移動させてステップＳ１２〜ステップＳ２２の処理を繰り返し、終了した場合（「Yes」の場合）には、本画像処理を終了する。

［フィルタリングによる位相ずらしの他の実施形態］
図１２から図１４は、それぞれ元画像の視差と位相ずらし量との関係（入出力関数）の他の実施形態を示すグラフである。

図７に示した実施形態では、視差の符号に関わらず視差強調の度合いは一定であった。(入出力のグラフは点対称である)。しかしながら、より立体感を強調するために、クロスポイント（視差０）より近い側と遠い側とで視差強調の度合いを異なるようにしてもよい。

一般に、クロスポイントより近い側の方が遠い側よりも視差がつきやすいので、既に視差がついている方の視差をより強く強調することが有効と考えられる。具体的には、入出力関数を、クロスポイントよりも近距離（マイナスの位相ずらし）のものを優先とすればよい。

例えば、左目画像では、クロスポイントよりも近距離のものの視差を強調する場合、位相ずらし量の符号はマイナスになるため、図１２の実線で示すグラフのようにマイナス側の強調の度合いを、プラス側の強度の度合いよりも強くした関数とすればよい。右目画像も同様に、図１２の点線で示すグラフのように近距離のものの視差の強調の度合いを強くする。

一方、単眼３Ｄ画像では、クロスポイントより遠い側の方が近い側よりも視差がつきにくいので、視差がつきにくい遠距離のものの視差をより強調するようにしてもよい。この場合、図１３のグラフに示すような入出力関数とすればよい。

上記の実施形態は、いずれも元画像の視差を強調する場合の位相ずらしの例に関して説明したが、例えば、マクロ撮影時にクロスポイントよりも近距離のものの視差が強くなりすぎる場合が考えられる。

この場合には、図１４のグラフに示すように元画像の視差を低減するように位相ずらしを行う入出力関数にする。即ち、左目画像では、クロスポイントよりも近距離のものの視差はマイナスになるが、この視差を低減する場合には、プラス側に位相ずらしを行う。

尚、元画像の視差をその視差の大きさに応じて補正する位相ずらし量としては、上記実施形態に限らず、非線形に補正する場合など種々の入出力関数とすることができる。

また、視差補正用の複数の関数又はＬＵＴを準備しておき、操作部３８の視差量設定部３８Ａにていずれかの関数又はＬＵＴを選択できるようにすることが好ましい。これによれば、視差強度の補正の度合いをユーザ設定により行うことができる。

［視差補正が行われる画像］
上記の視差補正が行われる画像は、例えば、同時化されたＲＧＢの各色画像である。視差補正を行う画像処理は、ＲＧＢの各色画像に対し、それぞれ同じフィルタＦ_Ｌ，Ｆ_Ｒを使用して視差補正を行う。

即ち、デジタル信号処理部２４での同時化処理により、左目画像及び右目画像としてそれぞれＲＧＢの３面の色画像が得られるが、例えば、Ｇ画像を基準にして、図９に示したような視差補正を行う。そして、Ｒ画像及びＢ画像についても、同じ画素位置のＧ画像について視差補正を行ったフィルタＦ_Ｌ，Ｆ_Ｒを使用してフィルタ処理を行う。

これにより、フィルタ処理により位相ずらしが行われても、同じ画素位置のＲＧＢの各画素は、同じ位相ずらし量だけ移動する。このため、色ずれが発生することがない。

また、デジタル信号処理部２４でＹＣ処理された輝度データＹ、及び色差データＣｒ，Ｃｂに対して、視差補正を行う画像処理を行うようにしてもよい。この場合も、例えば、輝度データＹを基準にして、図９に示したような視差補正を行うとともに、色差データＣｒ，Ｃｂについても、同じ画素位置の輝度データＹについて視差補正を行ったフィルタＦ_Ｌ，Ｆ_Ｒを使用してフィルタ処理を行う。

［撮像素子の他の構成例］
図１５は撮像素子１６’の他の構成例を示す図である。

撮像素子１６’は、４個のフォトダイオードＡ、Ｂ、Ｃ、Ｄが２次元に並べられ、その４個のフォトダイオードを覆うように１つのマイクロレンズＭＬ’が配設されたものを１個のユニット（４画素１マイクロレンズ）として、このユニットが２次元に配置されている。ユニット内の各フォトダイオードは、それぞれ独立して読み出すことができるようになっている。

図１５に示すように撮像素子１６’の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインが設けられ、一方、偶数ライン（２、４、６、…）の画素は、ＢＧＢＧ…の画素配列のラインが設けられる。

図１６は、撮像素子１６’で立体画像を撮影する仕組みについて説明する図である。

撮像素子１６’が水平方向で撮影された場合（通常の横撮り）には、各ユニットのフォトダイオードＡ及びＣを合成したものが、射出瞳を通過する光束の光軸の左側のみが受光される主画素となり、フォトダイオードＡ及びＣの合成画像が左目画像となる。また、各ユニットのフォトダイオードＢ及びＤを合成したものが、射出瞳を通過する光束の光軸の右側のみが受光される副画素となり、フォトダイオードＢ及びＤの合成画像が右目画像となる。

撮像素子１６’が垂直方向で撮影された場合（立体撮像装置１０を９０度回転させて撮影するいわゆる縦撮り）には、各ユニットのフォトダイオードＡ及びＢを合成したものが、射出瞳を通過する光束の光軸の左側のみが受光される主画素となり、フォトダイオードＡ及びＢの合成画像が左目画像となる。また、各ユニットのフォトダイオードＣ及びＤを合成したものが、射出瞳を通過する光束の光軸の右側のみが受光される副画素となり、フォトダイオードＣ及びＤの合成画像が右目画像となる。

［その他］
この実施形態では、エッジ強調又はエッジ補正を行うためのフィルタ係数を使用したフィルタ処理によりエッジ位置の位相をずらすようにしたが、画像からエッジを抽出し、エッジ信号の付加位置を視差に応じてずらすことにより視差を補正するようにしてもよい。

また、実施形態では、単眼の立体撮像装置１０について説明したが、複眼の立体撮像装置にも本発明は適用できる。

更に、立体撮像装置では、画像処理を施していない３ＤのＲＡＷデータを記録し、この３ＤのＲＡＷデータを外部の画像処理装置によりＲＡＷ現像する際に、本発明による視差補正を行うようにしてもよい。同様に、本発明に係る画像処理プログラムがインストールされたパソコンを使用して視差補正を行うようにしてもよい。

また、本発明は、上記立体撮像装置を備えたカメラ付き携帯電話、携帯情報端末（ＰＤＡ）、携帯ゲーム機器等の携帯電子機器を含む。

また、本発明は、上記画像処理装置を含むプリンタにも適用でき、このプリンタは、上記画像処理装置により視差補正された複数の画像に基づいて立体視用の印画データを生成し、プリントエンジンにより前記印画データに基づいてレンチキュラーレンズシートに立体視用の写真プリントを印画する。

更に、本発明は、上記画像処理装置を含む立体画像再生装置にも適用でき、この立体画像再生装置は、前記画像処理装置により処理された第１の画像及び第２の画像に基づいて立体視用の画像を３Ｄディスプレイに表示させる。

また、上記の実施形態に係る処理をコンピュータに実行させるためのプログラムおよび該プログラムが格納された（非一次的な（non-transitory））記録媒体としても、本発明を提供することが可能である。

更にまた、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…立体撮像装置、１２…撮影レンズ、１４…絞り、１６、１６’…撮像素子、１６Ａ、１６Ｂ…遮光部材、２４…デジタル信号処理部、３８…操作部、３８Ａ…視差量設定部、４０…中央処理装置（ＣＰＵ）

Claims (21)

1. 立体画像として撮影された視差を有する第１の画像と第２の画像とを取得する画像取得手段と、
   前記画像取得手段により取得した第１の画像の各画素に対する前記第２の画像の対応する画素のずれ量を示す視差を算出する視差算出手段と、
   前記画像取得手段により取得した第１の画像及び第２の画像の画像処理の対象画素毎に、それぞれエッジ強調又はエッジ補正を行うための画像処理係数を決定する画像処理係数決定手段であって、前記対象画素に対して前記視差算出手段により算出された視差に基づいて画像処理係数を決定する画像処理係数決定手段と、
   前記画像取得手段により取得した第１の画像及び第２の画像に対して、前記画像処理係数決定手段により決定された画像処理係数を使用して画像処理を行う画像処理手段と、
   を備える画像処理装置。
2. 前記画像処理係数決定手段は、前記エッジ強調又はエッジ補正用の画像処理係数の中心が演算対象画素の中心からシフトするように前記画像処理係数を決定する請求項１に記載の画像処理装置。
3. 前記画像処理係数決定手段は、前記視差のずれ方向に対応して画像処理係数の中心を前記演算対象画素の中心からシフトさせる請求項２に記載の画像処理装置。
4. 前記画像処理係数決定手段は、前記画像処理係数としてフィルタ係数を決定し、
   前記画像処理手段は、前記フィルタ係数を使用するフィルタによるフィルタ処理を行う請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記フィルタは、１次元フィルタ又は２次元フィルタである請求項４に記載の画像処理装置。
6. 前記画像処理係数決定手段は、前記視差に応じて前記エッジ強調又はエッジ補正の程度及び周波数帯域のうちの少なくとも一方が変化するフィルタ係数を決定する請求項４又は５に記載の画像処理装置。
7. 前記画像処理係数決定手段は、前記視差が大きいほど、前記エッジ強調又はエッジ補正の程度を低くするフィルタ係数及び周波数帯域を広くするフィルタ係数のうちの少なくとも一方を決定する請求項６に記載の画像処理装置。
8. 前記画像処理係数決定手段は、前記対象画素に対して前記視差算出手段により算出された視差を入力すると、所定の視差補正用の関数に従った視差ずらし量を算出し、又は所定の視差補正用のルックアップテーブルから対応する視差ずらし量を読み出し、前記算出又は読み出した視差ずらし量に対応して画像処理係数の中心を演算対象画素の中心からシフトさせる請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記所定の視差補正用の複数の関数又はルックアップテーブルを有し、前記複数の関数又はルックアップテーブルからユーザ設定によりいずれかの関数又はルックアップテーブルを選択する選択手段を更に備えた請求項８に記載の画像処理装置。
10. 前記視差算出手段は、前記第１の画像の対象画素を基準とする所定のブロックサイズの画像と前記第２の画像とのブロックマッチングにより前記第１の画像の対象画素に対応する第２の画像上の画素を検出し、前記第１の画像の対象画素と前記検出した第２の画像上の画素の間の視差を算出する請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記視差算出手段は、前記視差検出時に使用した前記第１の画像及び第２の画像中の前記所定のブロックサイズの画像を保持し、
    前記画像処理手段は、前記所定のブロックサイズと同じサイズの演算対象画素範囲を有し、
    前記画像処理手段は、前記視差算出手段により保持した前記第１の画像及び第２の画像の前記所定のブロックサイズの画像と前記演算対象画素範囲の画像処理係数とを使用して画像処理を行う請求項１０に記載の画像処理装置。
12. 前記第１の画像及び第２の画像は、３原色のカラー画像であり、
    前記画像処理手段は、前記３原色のカラー画像を示す各色信号に対して同じ画像処理係数を使用して画像処理を行う請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記第１の画像及び第２の画像は、３原色のカラー画像であり、
    前記画像処理手段は、前記３原色のカラー画像から生成される輝度信号と色差信号に対して同じ画像処理係数を使用して画像処理を行う請求項１から１１のいずれか１項に記載の画像処理装置。
14. 立体画像として撮影された視差を有する第１の画像と第２の画像とを取得する画像取得工程と、
    前記画像取得工程により取得した第１の画像の各画素に対する前記第２の画像の対応する画素のずれ量を示す視差を算出する視差算出工程と、
    前記画像取得工程により取得した第１の画像及び第２の画像の画像処理の対象画素毎に、それぞれエッジ強調又はエッジ補正を行うための画像処理係数を決定する工程であって、前記対象画素に対して前記視差算出工程により算出された視差に基づいて画像処理係数を決定する画像処理係数決定工程と、
    前記画像取得工程により取得した第１の画像及び第２の画像に対して、前記画像処理係数決定工程により決定された画像処理係数を使用して画像処理を行う画像処理工程と、
    を含む画像処理方法。
15. 立体画像として撮影された視差を有する第１の画像と第２の画像とを取得する画像取得機能と、
    前記画像取得機能により取得した第１の画像の各画素に対する前記第２の画像の対応する画素のずれ量を示す視差を算出する視差算出機能と、
    前記画像取得機能により取得した第１の画像及び第２の画像の画像処理の対象画素毎に、それぞれエッジ強調又はエッジ補正を行うための画像処理係数を決定する機能であって、前記対象画素に対して前記視差算出機能により算出された視差に基づいて画像処理係数を決定する画像処理係数決定機能と、
    前記画像取得機能により取得した第１の画像及び第２の画像に対して、前記画像処理係数決定機能により決定された画像処理係数を使用して画像処理を行う画像処理機能と、
    をコンピュータに実行させる画像処理プログラム。
16. コンピュータ読取可能な非一次的な記録媒体であって、該記録媒体に格納された指定がプロセッサによって読み取られた場合に、該プロセッサが、
    立体画像として撮影された視差を有する第１の画像と第２の画像とを取得する画像取得工程と、
    前記画像取得工程により取得した第１の画像の各画素に対する前記第２の画像の対応する画素のずれ量を示す視差を算出する視差算出工程と、
    前記画像取得工程により取得した第１の画像及び第２の画像の画像処理の対象画素毎に、それぞれエッジ強調又はエッジ補正を行うための画像処理係数を決定する工程であって、前記対象画素に対して前記視差算出工程により算出された視差に基づいて画像処理係数を決定する画像処理係数決定工程と、
    前記画像取得工程により取得した第１の画像及び第２の画像に対して、前記画像処理係数決定工程により決定された画像処理係数を使用して画像処理を行う画像処理工程と、
    を実行する、記録媒体。
17. 請求項１から１３のいずれか１項に記載の画像処理装置を備え、
    前記画像取得手段が、
    単一の撮影光学系と、
    前記撮影光学系の異なる領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記異なる領域を通過した被写体像をそれぞれ光電変換して視差の異なる第１の画像及び第２の画像を取得する撮像素子と、
    を備える立体撮像装置。
18. 前記撮像素子は、該撮像素子の露光領域の全面において、それぞれマトリクス状に配列された光電変換用の第１群の画素及び第２群の画素であって、前記撮影光学系の第１の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第１群の画素と、前記撮影光学系の第２の領域を通過した被写体像のみを受光するように光束の受光方向の制限を受けた第２群の画素とを有し、前記第１群の画素及び第２群の画素から前記複数の画像の読み出しが可能である請求項１７に記載の立体撮像装置。
19. 請求項１７又は１８に記載の立体撮像装置を備えた携帯電子機器。
20. 請求項１から１３のいずれか１項に記載の画像処理装置と、
    前記画像処理装置により処理された第１の画像及び第２の画像に基づいて立体視用の写真プリントを作成する印画手段と、
    を備えるプリンタ。
21. 請求項１から１３のいずれか１項に記載の画像処理装置と、
    前記画像処理装置により処理された第１の画像及び第２の画像に基づいて立体視用の画像を表示する画像表示手段と、
    を備える立体画像再生装置。

Images