JP5327524B2

JP5327524B2 - 画像処理装置、画像処理方法、およびプログラム

Info

Publication number: JP5327524B2
Application number: JP2009045284A
Authority: JP
Inventors: 修一高橋; 功大橋; 拓哉大井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-02-27
Filing date: 2009-02-27
Publication date: 2013-10-30
Anticipated expiration: 2029-02-27
Also published as: CN101820552B; JP2010200213A; CN101820552A; US20100220178A1

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、クロストークをより低減した立体画像を表示させることができるようにする画像処理装置、画像処理方法、およびプログラムに関する。

近年、立体画像表示に関する研究が盛んに行われている。立体画像を鑑賞者に提示する方式には、例えば、人間の左眼と右眼に異なる２次元画像を提示し、その２つの２次元画像が有する視差によって立体画像を知覚させる方式がある。鑑賞者は、左眼用２次元画像と右眼用２次元画像に設けられた視差に応じた奥行きを知覚することで、視認した画像を立体画像として認識できる。

なお、立体画像データとしては、左眼用２次元画像と、それに対応する右眼用２次元画像とをセットとして保有する形式の他、２次元画像と、その奥行き情報とをセットで保有する形式もある。２次元画像と、その奥行き情報とをセットで保有する形式で立体画像データを保有している場合も、２次元画像と奥行き情報とから、左眼用２次元画像と右眼用２次元画像を生成するので、鑑賞者への画像の提示としては、上述した左眼用２次元画像と右眼用２次元画像における場合と同様である。

このような人間の左眼と右眼に異なる２次元画像を提示する方式では、左眼用２次元画像と右眼用２次元画像を分離する手段が必要となる。左眼用２次元画像と右眼用２次元画像を分離する手段としては、例えば、左眼側と右眼側で異なる偏光特性を有するメガネを着用する方式がある。また、メガネを着用せず、裸眼で画像を視認する方式では、ディスプレイ上にレンズシートを貼り付け、所定の位置にいる鑑賞者の左眼と右眼に異なる画像が入射されるように光路を調整する方式などがある。

人間の左眼と右眼に異なる２次元画像を提示することにより立体画像を知覚させる方式では、左眼用２次元画像と右眼用２次元画像の視差の量（視差量）をいかに適切に設定するかという問題がある。

左眼用２次元画像と右眼用２次元画像の視差量を調整する技術としては、例えば、特許文献１で提案されている技術が挙げられる。

特許文献１では、視差量を異なるものとした複数の左眼用２次元画像と右眼用２次元画像を鑑賞者に提示し、鑑賞者が、提示された画像を許容できるかどうか応答することで視差量を調整する方法が提案されている。これにより、鑑賞者が好ましいと感じる視差量に調整できる。また、一度調整された視差量を保存することができ、異なる画像に対しても同様の視差量で画像を表示できるようにもなされている。

第３７４９２２７号公報

特許文献１で提案されている視差量の調整方法は、左眼用２次元画像と右眼用２次元画像を完全に分離して視認できることが前提となっている。

しかしながら、一方の眼に他方の眼用の２次元画像が意図せずに入射されてしまう現象、すなわちクロストークは、少なからず発生してしまう。例えば、偏光フィルタを用いる方式では,５％程度のクロストークが発生する。即ち、左眼用２次元画像の５％分が右眼用２次元画像に重畳され、右眼用２次元画像の５％分が左眼用２次元画像に重畳される。

従って、特許文献１で提案されている視差量の調整方法において、鑑賞者が好ましいと感じた視差量の画像であっても、クロストークの発生している状態で調整された画像である可能性が高い。

クロストークが発生している場合、左眼用２次元画像と右眼用２次元画像が完全に一致している画素については、その影響はないが、一致していない画素については、２重の像として視認されることとなる。その結果、立体画像として知覚することができないだけでなく、鑑賞者に、頭痛等の生理反応が生じる場合もある。

本発明は、このような状況に鑑みてなされたものであり、クロストークをより低減した立体画像を表示させることができるようにするものである。

本発明の第１の側面の画像処理装置は、左眼用２次元画像と右眼用２次元画像に対して視差量の調整量を設定する調整量設定手段と、前記調整量設定手段により設定された調整量により視差量を変更した前記左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分を演算する差分演算手段と、前記輝度値の差分を用いた演算量が最小となる調整量を判定することにより、最適調整量を決定する最小値判定手段と、前記最小値判定手段により決定された前記最適調整量に基づいて、前記左眼用２次元画像と右眼用２次元画像の視差量を調整する視差量調整手段とを備え、前記輝度値の差分を用いた演算量は、前記輝度値の差分の総和または分散であり、前記最小値判定手段は、前記輝度値の差分の総和または分散を演算する総和演算手段と、前記調整量設定手段により設定された複数の調整量のうち、前記輝度値の差分の総和または分散が最小となる調整量を前記最適調整量として決定する最適調整量決定手段とを備える。

本発明の第１の側面の画像処理方法は、左眼用２次元画像と右眼用２次元画像に対して視差量の調整量を複数設定し、設定された前記調整量により視差量を変更した前記左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分の総和または分散を演算し、設定された複数の前記調整量のうち、前記輝度値の差分の総和または分散が最小となる調整量を最適調整量として決定し、決定された前記最適調整量に基づいて、前記左眼用２次元画像と右眼用２次元画像の視差量を調整するステップを含む。

本発明の第１の側面のプログラムは、コンピュータに、左眼用２次元画像と右眼用２次元画像に対して視差量の調整量を複数設定し、設定された前記調整量により視差量を変更した前記左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分の総和または分散を演算し、設定された複数の前記調整量のうち、前記輝度値の差分の総和または分散が最小となる調整量を最適調整量として決定し、決定された前記最適調整量に基づいて、前記左眼用２次元画像と右眼用２次元画像の視差量を調整する処理を実行させる。

本発明の第１の側面においては、左眼用２次元画像と右眼用２次元画像に対して視差量の調整量が複数設定され、設定された調整量により視差量を変更した左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分の総和または分散が演算され、設定された複数の調整量のうち、輝度値の差分の総和または分散が最小となる調整量が最適調整量として決定され、決定された最適調整量に基づいて、左眼用２次元画像と右眼用２次元画像の視差量が調整される。

本発明の第２の側面の画像処理装置は、左眼用２次元画像と右眼用２次元画像に対して視差量の調整量を設定する調整量設定手段と、前記調整量設定手段により設定された調整量により視差量を変更した前記左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分を演算する差分演算手段と、前記輝度値の差分を用いた演算量が最小となる調整量を判定することにより、最適調整量を決定する最小値判定手段と、前記最小値判定手段により決定された前記最適調整量に基づいて、前記左眼用２次元画像と右眼用２次元画像の視差量を調整する視差量調整手段とを備え、前記輝度値の差分を用いた演算量は、前記輝度値の差分が所定の閾値以上である画素数であり、前記最小値判定手段は、前記輝度値の差分が所定の閾値以上である画素数を計測する画素数計測手段と、前記調整量設定手段により設定された複数の調整量のうち、前記輝度値の差分が所定の閾値以上である画素数が最小となる調整量を前記最適調整量として決定する最適調整量決定手段とを備える。
本発明の第２の側面の画像処理方法は、左眼用２次元画像と右眼用２次元画像に対して視差量の調整量を複数設定し、設定された前記調整量により視差量を変更した前記左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分を演算し、前記輝度値の差分が所定の閾値以上である画素数を計測し、設定された複数の前記調整量のうち、前記輝度値の差分が所定の閾値以上である画素数が最小となる調整量を前記最適調整量として決定し、決定された前記最適調整量に基づいて、前記左眼用２次元画像と右眼用２次元画像の視差量を調整するステップを含む。
本発明の第２の側面のプログラムは、コンピュータに、左眼用２次元画像と右眼用２次元画像に対して視差量の調整量を複数設定し、設定された前記調整量により視差量を変更した前記左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分を演算し、前記輝度値の差分が所定の閾値以上である画素数を計測し、設定された複数の前記調整量のうち、前記輝度値の差分が所定の閾値以上である画素数が最小となる調整量を前記最適調整量として決定し、決定された前記最適調整量に基づいて、前記左眼用２次元画像と右眼用２次元画像の視差量を調整する処理を実行させる。
本発明の第２の側面においては、左眼用２次元画像と右眼用２次元画像に対して視差量の調整量が複数設定され、設定された調整量により視差量を変更した左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分が演算され、輝度値の差分が所定の閾値以上である画素数が計測され、設定された複数の調整量のうち、輝度値の差分が所定の閾値以上である画素数が最小となる調整量が最適調整量として決定され、決定された最適調整量に基づいて、左眼用２次元画像と右眼用２次元画像の視差量が調整される。

本発明の第３の側面の画像処理装置は、左眼用２次元画像と右眼用２次元画像に対して視差量の調整量を設定する調整量設定手段と、前記調整量設定手段により設定された調整量により視差量を変更した前記左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分を演算する差分演算手段と、前記輝度値の差分を用いた演算量が最小となる調整量を判定することにより、最適調整量を決定する最小値判定手段と、前記最小値判定手段により決定された前記最適調整量に基づいて、前記左眼用２次元画像と右眼用２次元画像の視差量を調整する視差量調整手段とを備え、前記最小値判定手段は、前記輝度値の差分を用いた演算量として、前記輝度値の差分の総和または分散を演算する総和演算手段と、前記調整量設定手段により設定された複数の調整量のうち、前記輝度値の差分の総和または分散が最小となる調整量を前記最適調整量として決定する第１の最適調整量決定手段と、前記輝度値の差分を用いた演算量として、前記輝度値の差分が所定の閾値以上である画素数を計測する画素数計測手段と、前記調整量設定手段により設定された複数の調整量のうち、前記輝度値の差分が所定の閾値以上である画素数が最小となる調整量を前記最適調整量として決定する第２の最適調整量決定手段と、前記第１の最適調整量決定手段による第１の視差量調整処理か、または、前記第２の最適調整量決定手段による第２の視差量調整処理のいずれか一方を選択して実行させる制御手段とを備える。
本発明の第３の側面においては、左眼用２次元画像と右眼用２次元画像に対して視差量の調整量が設定され、設定された調整量により視差量を変更した左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分が演算され、輝度値の差分を用いた演算量が最小となる調整量を判定することにより、最適調整量が決定され、決定された最適調整量に基づいて、左眼用２次元画像と右眼用２次元画像の視差量が調整される。最小となる調整量の判定では、輝度値の差分を用いた演算量として、輝度値の差分の総和または分散を演算し、設定された複数の調整量のうち、輝度値の差分の総和または分散が最小となる調整量を最適調整量として決定する第１の最適調整量処理か、または、輝度値の差分を用いた演算量として、輝度値の差分が所定の閾値以上である画素数を計測し、設定された複数の調整量のうち、輝度値の差分が所定の閾値以上である画素数が最小となる調整量を最適調整量として決定する第２の最適調整量処理のいずれか一方が選択して実行される。

なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供できる。

画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本発明の第１および第２の側面によれば、クロストークをより低減した立体画像を表示させることができる。

立体画像を表示させる左眼用２次元画像と右眼用２次元画像を示す図である。クロストークのない立体画像を示す図である。クロストークが発生したときの画像を示す図である。本発明を適用した画像処理装置による第１の視差量調整処理の処理結果例を示す図である。本発明を適用した画像処理装置による第２の視差量調整処理の処理結果例を示す図である。本発明を適用した画像処理装置の第１の実施の形態の構成例を示すブロック図である。第１の視差量調整処理を説明するフローチャートである。本発明を適用した画像処理装置の第２の実施の形態の構成例を示すブロック図である。第２の視差量調整処理を説明するフローチャートである。左眼用２次元画像および右眼用２次元画像の各画素の輝度値の例を示す図である。図１０における各画素の輝度値の差分を示す図である。調整量を“−２”としたときの各画素の輝度値の差分を示す図である。調整量を“−１”としたときの各画素の輝度値の差分を示す図である。調整量を“＋１”としたときの各画素の輝度値の差分を示す図である。調整量を“＋２”としたときの各画素の輝度値の差分を示す図である。本発明を適用した画像処理装置の第３の実施の形態の構成例を示すブロック図である。本発明を適用した画像処理装置の第４の実施の形態の構成例を示すブロック図である。本発明を適用した画像処理装置の第５の実施の形態の構成例を示すブロック図である。領域分割をした第１の視差量調整処理を説明するフローチャートである。領域分割をした第２の視差量調整処理を説明するフローチャートである。分割した領域の例を示す図である。領域分割した図１０の左眼用２次元画像および右眼用２次元画像を示す図である。領域分割した図１０の輝度値の差分を示す図である。領域分割した図１１の輝度値の差分を示す図である。領域分割した図１２の輝度値の差分を示す図である。領域分割した図１３の輝度値の差分を示す図である。領域分割した図１４の輝度値の差分を示す図である。領域分割した図１５の輝度値の差分を示す図である。本発明を適用した画像処理装置の第７の実施の形態の構成例を示すブロック図である。本発明を適用した立体画像表示装置の一実施の形態の構成例を示すブロック図である。本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

［本発明の概念の説明］
最初に、本発明を適用した画像処理装置が行う処理の概念について説明する。

本発明を適用した画像処理装置は、鑑賞者に立体画像として知覚させるための左眼用２次元画像と右眼用２次元画像に設けられている視差量を調整する視差量調整装置である。

図１は、左眼用２次元画像と右眼用２次元画像の例を示している。

図１Aは、左眼用２次元画像を示し、図１Bは、右眼用２次元画像を示している。

図１において、左眼用２次元画像および右眼用２次元画像内の白抜きの円が所定のオブジェクトであるとする。左眼用２次元画像のオブジェクトの中心位置C_Lは、右眼用２次元画像のオブジェクトの中心位置C_Rよりも左側に配置されている。逆に言うと、右眼用２次元画像のオブジェクトの中心位置C_Rは、左眼用２次元画像のオブジェクトの中心位置C_Lよりも右側に配置されている。左眼用２次元画像のオブジェクトの中心位置C_Lと右眼用２次元画像のオブジェクトの中心位置C_Rは距離Dだけ異なっており、この距離Dは近似的に視差量に比例する。よって以下では、この距離Dを視差量として再定義し、用いることとする。

左眼用２次元画像と右眼用２次元画像の視差量Dが、左眼用２次元画像と右眼用２次元画像を表示する表示装置の表示面から鑑賞者までの距離に対して十分に小さい場合には、図２に示されるように、オブジェクトが両眼で融合し、画面奥側に知覚される（立体視される）。

一方、例えば、視差量Dが大きい場合には、図３に示される斜線部分がクロストークとして対象の眼と反対側の眼に知覚され得る。その結果、両眼に左眼用２次元画像と右眼用２次元画像の両方が視認されることになり、立体視が阻害される。即ち、鑑賞者には、オブジェクトは画面奥側に引き込まれずに、２つの円が画面上に張り付いているように視認される。従って、鑑賞者が画像の適切な飛び出しまたは引き込みを知覚するためには、クロストークを抑制することが必要である。

クロストークは、図３の斜線部分で示される、左眼用２次元画像と右眼用２次元画像の各画素の輝度値が大きく異なる領域で発生する。従って、左眼用２次元画像と右眼用２次元画像の各画素の輝度値の差分が、画像全体として、小さい場合に、よりクロストークを抑制できる。

そこで、本発明の画像処理装置は、次のような第１および第２の視差量調整処理により、視差量を調整する。画像処理装置は、第１の視差量調整処理として、左眼用２次元画像と右眼用２次元画像の各画素の輝度値の差分の画像全体における総和が最小となる視差量を最適な視差量とする。また、第２の視差量調整処理では、画像処理装置は、輝度値の僅かな差分は知覚することができないとして無視することとして、所定の閾値TH以上の差分を有する画素の数が最小となる視差量を、最適な視差量とする。

図４および図５は、所定の視差量を有する左眼用２次元画像と右眼用２次元画像に対して、第１および第２の視差量調整処理を行ったときの視差調整量を示している。

図４は、第１の視差量調整処理の処理結果である。図４の横軸は、入力された左眼用２次元画像と右眼用２次元画像の初期の視差量をゼロ（基準）として、調整した視差量（視差調整量）を示している。図４の縦軸は、各視差調整量における左眼用２次元画像と右眼用２次元画像の各画素の輝度値の差分の総和を示している。

図５は、第２の視差量調整処理の処理結果である。図５の横軸は、図４と同様の視差調整量であり、縦軸は、所定の閾値TH以上の差分を有する画素数を示している。

図４と図５に示すように、輝度値の差分の総和、または、差分が閾値TH以上である画素数が最小となる視差調整量が確かに存在する。本発明の画像処理装置は、入力された左眼用２次元画像と右眼用２次元画像の視差量を、このような輝度値の差分の総和または差分が閾値TH以上である画素数が最小となる視差量にする。これにより、クロストークをより低減させることができる左眼用２次元画像と右眼用２次元画像を生成し、鑑賞者にクロストークをより低減した立体画像を提示できる。

以下、本発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第1の実施の形態（輝度差分の総和を最小にする第１の構成例）
２．第２の実施の形態（所定の輝度差以上の画素数を最小にする第２の構成例）
３．第３の実施の形態（立体画像データのフォーマット変換機能を有する第１の構成例）
４．第４の実施の形態（立体画像データのフォーマット変換機能を有する第２の構成例）
５．第５の実施の形態（領域分割を行う第１の構成例）
６．第６の実施の形態（領域分割を行う第２の構成例）
７．第７の実施の形態（第1と第２の視差量調整処理が選択可能な構成例）
８．第８の実施の形態（立体画像表示装置の構成例）

＜１．第1の実施の形態＞
［画像処理装置の構成例］
図６は、本発明を適用した画像処理装置の第１の実施の形態の構成例を示している。

図６の画像処理装置１は、２次元画像取得部１１、輝度値演算部１２、調整量設定部１３、差分演算部１４、総和演算部１５、情報記憶部１６、最適調整量決定部１７、および視差量調整部１８により構成されている。

画像処理装置１は、鑑賞者に立体画像として知覚させるための左眼用２次元画像と右眼用２次元画像の入力を受け、左眼用２次元画像と右眼用２次元画像に設けられている視差量を調整（変更）する。

なお、以下では、入力された左眼用２次元画像および右眼用２次元画像を、調整後の左眼用２次元画像および右眼用２次元画像と区別して入力左眼用２次元画像および入力右眼用２次元画像ともいう。

２次元画像取得部１１は、外部から入力される左眼用２次元画像と右眼用２次元画像（のデータ）を取得し、輝度値演算部１２と視差量調整部１８のそれぞれに供給する。

輝度値演算部１２は、２次元画像取得部１１から供給された左眼用２次元画像と右眼用２次元画像を構成する各画素の輝度値を算出し、輝度値情報として差分演算部１４に供給する。例えば、輝度値演算部１２は、RGB信号からなる左眼用２次元画像と右眼用２次元画像のそれぞれを、ITU-R BT709で規定される輝度信号Yに変換する。そして、輝度値演算部１２は、左眼用２次元画像と右眼用２次元画像のそれぞれの輝度信号Yの値（Y値）を、左眼用２次元画像と右眼用２次元画像の各画素の輝度値とする。なお、外部から入力される画像の信号フォーマットは、RGBからなる形式以外の形式でもよく、また、輝度値も、Y値により求めるもの以外の方法で算出してもよい。

調整量設定部１３は、視差量の調整量（視差調整量）を設定し、調整量情報として差分演算部１４および情報記憶部１６に供給する。例えば、図示せぬ操作部において、視差量の調整範囲と調整間隔が入力できるようになっており、調整量設定部１３は、入力された調整範囲と調整間隔に基づいて、調整量を設定する。

具体的には、操作部において、調整範囲「５０」、調整間隔「１０」が入力された場合には、入力左眼用２次元画像と入力右眼用２次元画像の視差量を基準（ゼロ）として含む、−５０，−４０，−３０，−２０，−１０，０，１０，２０，３０，４０，５０が調整量となる。

ここで、調整量は、例えば、左眼用２次元画像を基準として右眼用２次元画像の各画素をシフトさせる画素数をし、正の調整量は、右方向へシフトさせることを表し、負の調整量は、左方向へシフトさせることを表す。調整量が“５０”である場合には、左眼用２次元画像を基準としてそのままとし、右眼用２次元画像の各画素の輝度値を右方向へ５０画素だけシフトさせることを表す。そして、入力左眼用２次元画像と入力右眼用２次元画像に予め設定されている視差量をPとすると、調整量“５０”で調整した後の左眼用２次元画像と右眼用２次元画像の視差量は、“P＋５０”となる。

なお、調整量情報としての視差量の調整範囲と調整間隔は、操作部で入力されるのではなく、予め決定され記憶されるようにしてもよい。また、調整量情報により特定される調整量は、基準としての“０”を含めて複数あればよい。

差分演算部１４は、調整量情報で特定される所定の調整量を用いて、左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分を演算する。そして、差分演算部１４は、演算された輝度値の差分の絶対値を総和演算部１５に供給する。以下、差分とは、差分の絶対値をとったものをいうこととする。

例えば、調整量が“５０”である場合には、入力右眼用２次元画像の各画素の輝度値を右方向へ５０画素だけシフトさせたシフト右眼用２次元画像と、入力左眼用２次元画像の対応する画素どうしの輝度値の差分が、差分演算部１４により演算される。また、調整量が“４０”である場合には、入力右眼用２次元画像の各画素の輝度値を右方向へ４０画素だけシフトさせたシフト右眼用２次元画像と、入力左眼用２次元画像の対応する画素どうしの輝度値の差分が、差分演算部１４により演算される。以下同様に、“３０”，・・・，“−５０”のそれぞれについて輝度値の差分が演算される。差分演算部１４により演算された調整量ごとの各画素の輝度値の差分は、それぞれ、輝度差情報として総和演算部１５に供給される。なお、調整量だけ輝度値をシフトさせたために、シフト右眼用２次元画像と入力左眼用２次元画像とで対応する輝度値が存在しない画素は、演算から除外される。

総和演算部１５は、差分演算部１４から供給される、所定の調整量における各画素の輝度値の差分を用いて、輝度値の差分（輝度差分）の全画素についての総和を演算する。これにより、所定の調整量における輝度差分の総和が得られる。総和演算部１５により求められた、所定の調整量の輝度差分の総和は、輝度差総和情報として、情報記憶部１６に供給される。

本実施の形態では、総和演算部１５において、上述したように、所定の調整量の各画素の輝度値の差分から、輝度差分の総和を演算することとするが、これに限らず、例えば、輝度値の差分の分散などを求めるようにしてもよい。また、シフト右眼用２次元画像と入力左眼用２次元画像とで対応する輝度値が存在しない画素は演算から除外されるため、画素数の違いによる影響をなくすため、輝度差分の総和を画素数で除算した値を、輝度差総和情報として求めるようにしてもよい。

情報記憶部１６には、上述したように、調整量設定部１３から調整量情報が供給される。また、情報記憶部１６には、総和演算部１５から輝度差総和情報も供給される。情報記憶部１６は、調整量情報が表す所定の調整量と、輝度差総和情報が表す輝度差分の総和とを対応付けて記憶する。その結果、情報記憶部１６は、調整範囲と調整間隔に基づいて設定される全ての調整量について、調整量と輝度差分の総和とを対応付けて記憶する。

最適調整量決定部１７は、情報記憶部１６に記憶されている、調整量と輝度差分の総和との組み合わせのなかから、輝度差分の総和が最も小さい調整量を判定（選択）することにより、最適な調整量を決定する。決定された調整量は、最適調整量情報として、視差量調整部１８に供給される。なお、輝度差分の総和の最小値が複数存在する場合、最適調整量決定部１７は、調整量の絶対値がより小さい方の調整量を、最適調整量とする。

視差量調整部１８には、２次元画像取得部１１から、入力左眼用２次元画像および入力右眼用２次元画像が供給され、最適調整量決定部１７から、最適調整量情報が供給される。視差量調整部１８は、入力左眼用２次元画像および入力右眼用２次元画像に対して、最適調整量情報で特定される調整量を調整することにより、輝度差分の総和が最も小さい左眼用２次元画像および右眼用２次元画像を生成する。生成された左眼用２次元画像および右眼用２次元画像は、視差量調整済みの左眼用２次元画像および右眼用２次元画像として出力される。

画像処理装置１は、以上のように構成される。

［図６の画像処理装置１による視差量調整処理］
次に、図７のフローチャートを参照して、図６の画像処理装置１により実行される第１の視差量調整処理について説明する。この処理は、例えば、画像処理装置１の２次元画像取得部１１に左眼用２次元画像および右眼用２次元画像が供給されたとき、開始される。

初めに、ステップＳ１において、２次元画像取得部１１は、外部から入力された左眼用２次元画像と右眼用２次元画像を取得し、輝度値演算部１２と視差量調整部１８のそれぞれに供給する。

ステップＳ２において、輝度値演算部１２は、２次元画像取得部１１から供給された左眼用２次元画像と右眼用２次元画像を構成する各画素の輝度値を算出し、輝度値情報として差分演算部１４に供給する。

ステップＳ３において、調整量設定部１３は、図示せぬ操作部において入力された調整範囲と調整間隔を取得する。

ステップＳ４において、調整量設定部１３は、取得した調整範囲と調整間隔に基づいて所定の調整量を設定し、設定した調整量を、調整量情報として差分演算部１４および情報記憶部１６に供給する。差分演算部１４は、調整量情報で特定される所定の調整量を用いて、左眼用２次元画像と右眼用２次元画像の視差量を変更する。例えば、差分演算部１４は、調整量情報で特定される調整量が“５０”である場合には、入力左眼用２次元画像を基準としてそのままとし、入力右眼用２次元画像の各画素の輝度値を右方向へ５０画素だけシフトさせる。

ステップＳ５において、差分演算部１４は、調整量情報として供給された調整量だけ視差量を調整した視差量における左眼用２次元画像と右眼用２次元画像の輝度値の差分（の絶対値）を演算し、その演算結果を総和演算部１５に供給する。即ち、差分演算部１４は、右眼用２次元画像の各画素の輝度値を調整量情報として供給された調整量だけシフトさせたシフト右眼用２次元画像と、入力左眼用２次元画像の対応する画素どうしの輝度値の差分を演算する。演算結果は、輝度差情報として総和演算部１５に供給される。

ステップＳ６において、総和演算部１５は、調整後の視差量における輝度差分の総和を演算する。即ち、総和演算部１５は、シフト右眼用２次元画像と入力左眼用２次元画像の各画素の輝度値の差分を全画素について加算した結果を演算する。演算結果は、総和演算部１５から、輝度差総和情報として情報記憶部１６に供給される。

ステップＳ７において、情報記憶部１６は、調整量情報が表す所定の調整量と、輝度差総和情報が表す輝度差分の総和を対応付けて記憶する。

ステップＳ８において、調整量設定部１３は、調整範囲と調整間隔に基づいて特定される全ての調整量について輝度差分の総和を求めたかを判定する。ステップＳ８で、全ての調整量について輝度差分の総和を求めていないと判定された場合、処理はステップＳ４に戻り、ステップＳ４乃至ステップＳ８の処理が繰り返される。即ち、まだ設定されていない調整量が調整量情報として差分演算部１４と情報記憶部１６に供給され、所定の調整量における輝度差分の総和が演算される。

一方、ステップＳ８で、全ての調整量について輝度差分の総和が求められたと判定された場合、処理はステップＳ９に進む。ステップＳ９では、最適調整量決定部１７は、情報記憶部１６に記憶されている、調整量と輝度差分の総和の組み合わせのなかから、輝度差分の総和が最も小さい調整量を決定する。そして、ステップＳ１０において、最適調整量決定部１７は、輝度差分の総和が最小となる調整量を最適調整量情報として、視差量調整部１８に供給する。

ステップＳ１１において、視差量調整部１８は、供給された最適調整量情報に基づいて、入力左眼用２次元画像および入力右眼用２次元画像を調整する。即ち、視差量調整部１８は、調整後の左眼用２次元画像および右眼用２次元画像の視差量が、“入力左眼用２次元画像と入力右眼用２次元画像の視差量P＋最適調整量”となる左眼用２次元画像および右眼用２次元画像を生成する。そして、視差量調整部１８は、生成された左眼用２次元画像および右眼用２次元画像を出力して、処理を終了する。

以上のように、第1の実施の形態における画像処理装置１は、輝度差分の総和が最小となるように視差量を調整した左眼用２次元画像および右眼用２次元画像を出力する。輝度差分の総和が最小となる左眼用２次元画像および右眼用２次元画像は、クロストークとして知覚される輝度差のある領域が抑制されていることになる。従って、輝度差分の総和が最小となる左眼用２次元画像および右眼用２次元画像により、クロストークをより低減した立体画像を表示させることができる。

＜２．第２の実施の形態＞
次に、画像処理装置の第２の実施の形態について説明する。

［画像処理装置の構成例］
図８は、本発明を適用した画像処理装置の第２の実施の形態の構成例を示している。

図８の画像処理装置１は、２次元画像取得部１１、輝度値演算部１２、調整量設定部１３、差分演算部１４、情報記憶部１６A、最適調整量決定部１７A、視差量調整部１８、閾値記憶部３１、および画素数計測部３２により構成されている。

図８において、図６と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

即ち、図８の画像処理装置１では、図６の総和演算部１５に代えて、閾値記憶部３１および画素数計測部３２が設けられている。また、情報記憶部１６および最適調整量決定部１７が、画素数計測部３２の処理に対応する情報記憶部１６Aおよび最適調整量決定部１７Aとなっている。

閾値記憶部３１は、画素数計測部３２において画素数の計測に使用される閾値THを記憶する。閾値THは、予め決定した値として記憶させてもよいし、図示せぬ操作部等により入力された値を記憶させてもよい。

画素数計測部３２には、差分演算部１４から、所定の調整量における各画素の輝度値の差分が供給される。また、画素数計測部３２には、閾値記憶部３１から、閾値THが供給される。画素数計測部３２は、輝度値の差分が閾値TH以上である画素数を計測する。そして、画素数計測部３２は、計測された画素数を、画素数カウント情報として情報記憶部１６Aに供給する。

情報記憶部１６Aは、画素数計測部３２から供給される画素数カウント情報と、調整量設定部１３から供給される調整量情報に基づいて、調整量と、その調整量で視差量を調整したとき差分が閾値TH以上となる画素数を対応付けて記憶する。その結果、情報記憶部１６Aには、調整範囲と調整間隔に基づいて設定される全ての調整量について、調整量と画素数が対応付けて記憶される。

最適調整量決定部１７Aは、情報記憶部１６Aに記憶されている、調整量と画素数との組み合わせのなかから、画素数が最小となる調整量を判定（選択）することにより、最適な調整量を決定する。決定された調整量は最適調整量情報として、視差量調整部１８に供給される。

第２の実施の形態における画像処理装置１は、以上のように構成される。

［図８の画像処理装置１による視差量調整処理］
次に、図９のフローチャートを参照して、図８の画像処理装置１により実行される第２の視差量調整処理について説明する。この処理は、例えば、画像処理装置１の２次元画像取得部１１に左眼用２次元画像および右眼用２次元画像が供給されたとき、開始される。

ステップＳ２１乃至Ｓ２５の処理は、上述したステップＳ１乃至Ｓ５の処理とそれぞれ同様であるので、その説明は省略する。

ステップＳ２６において、画素数計測部３２は、閾値記憶部３１に記憶されている閾値THを読み出す。そして、画素数計測部３２は、ステップＳ２７において、輝度値の差分と閾値THを画素ごとに比較して、輝度値の差分が閾値TH以上である画素数を計測する。計測結果は、画素数カウント情報として、情報記憶部１６Aに供給される。

ステップＳ２８において、情報記憶部１６Aは、調整量設定部１３から供給される調整量情報が表す調整量と、画素数計測部３２から供給される画素数カウント情報が表す画素数を対応付けて記憶する。

ステップＳ２９において、調整量設定部１３は、調整範囲と調整間隔に基づいて特定される全ての調整量について、輝度値の差分が閾値TH以上である画素数を求めたかを判定する。ステップＳ２９で、全ての調整量について閾値TH以上の画素数を求めていないと判定された場合、処理はステップＳ２４に戻り、ステップＳ２４乃至ステップＳ２９の処理が繰り返される。即ち、まだ設定されていない調整量が調整量情報として差分演算部１４と情報記憶部１６Aに供給され、所定の調整量における閾値TH以上の画素数が演算される。

一方、ステップＳ２９で、全ての調整量について閾値TH以上の画素数が求められたと判定された場合、処理はステップＳ３０に進む。ステップＳ３０では、最適調整量決定部１７Aは、情報記憶部１６Aに記憶されている、調整量と画素数の組み合わせのなかから、画素数が最小となる調整量を決定する。そして、ステップＳ３１において、最適調整量決定部１７Aは、画素数が最小となる調整量を最適調整量情報として、視差量調整部１８に供給する。

ステップＳ３２において、視差量調整部１８は、図７におけるステップＳ１１の処理と同様に、供給された最適調整量情報に基づいて、入力左眼用２次元画像および入力右眼用２次元画像を調整して、処理を終了する。

以上のように、第２の実施の形態における画像処理装置１は、輝度値の差分が閾値TH以上である画素数が最小となるように視差量を調整した左眼用２次元画像および右眼用２次元画像を出力する。輝度値の差分が閾値TH以上である画素数が最小となる左眼用２次元画像および右眼用２次元画像は、クロストークとして知覚される輝度差のある領域が抑制されていることになる。従って、輝度値の差分が閾値TH以上である画素数が最小となる左眼用２次元画像および右眼用２次元画像により、クロストークをより低減した立体画像を表示させることができる。

［第１の視差調整処理と第２の視差調整処理の数値例］
次に、図１０乃至図１５を参照して、上述した第１の視差量調整処理と、第２の視差量調整処理についてさらに説明する。

最初に、第１の視差量調整処理について説明する。

横方向と縦方向の画素数がそれぞれ１８画素と９画素であり、計１６２画素の画素数を有する左眼用２次元画像および右眼用２次元画像が、画像処理装置１に入力されたとする。輝度値演算部１２は、左眼用２次元画像と右眼用２次元画像のそれぞれについて、各画素の輝度値を算出する。

図１０は、輝度値演算部１２により算出された、左眼用２次元画像および右眼用２次元画像の各画素の輝度値を示している。

図１０Aは、左眼用２次元画像の各画素の輝度値を示しており、図１０Bは、右眼用２次元画像の各画素の輝度値を示している。

調整量設定部１３は、所定の調整範囲と調整間隔に基づいて、−２，−１，０，＋１，＋２を調整量として設定するものとする。そこで、例えば、調整量設定部１３は、最初に調整量“０”を調整量情報として差分演算部１４および情報記憶部１６に供給する。

差分演算部１４は、調整量情報で特定される調整量“０”を用いて、左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分を演算する。調整量が“０”であるので、差分演算部１４は、画像処理装置１に入力された左眼用２次元画像と右眼用２次元画像そのものの、対応する画素どうしの輝度値の差分を演算する。

図１１は、調整量が“０”である場合に、差分演算部１４により演算された各画素の輝度値の差分を示している。

演算された各画素の輝度値の差分は、総和演算部１５に供給される。総和演算部１５は、差分演算部１４から供給された、調整量“０”における各画素の輝度値の差分を用いて、輝度値の差分の全画素についての総和（輝度差分の総和）を演算する。図１１に示される各画素の輝度値の差分に対して、輝度差分の総和を演算すると、その演算結果は、“６６１６”となる。演算結果である“６６１６”は、輝度差総和情報として、情報記憶部１６に供給される。

情報記憶部１６には、調整量設定部１３から調整量情報としての調整量“０”と、総和演算部１５から、輝度差総和情報としての“６６１６”が供給される。情報記憶部１６は、調整量“０”と輝度差分の総和“６６１６”とを対応付けて記憶する。

次に、例えば、調整量“−２”が、調整量情報として差分演算部１４および情報記憶部１６に供給される。

差分演算部１４は、調整量情報で特定される調整量“−２”を用いて、左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分を演算する。即ち、差分演算部１４は、右眼用２次元画像の各画素の輝度値を、左方向へ２画素だけシフトさせたシフト右眼用２次元画像を生成する。そして、差分演算部１４は、シフト右眼用２次元画像と左眼用２次元画像の対応する画素どうしの輝度値の差分を演算する。

図１２は、調整量が“−２”である場合に、差分演算部１４により演算された各画素の輝度値の差分を示している。

そして、図１２で示される各画素の輝度値の差分に対して、総和演算部１５により、輝度差分の総和が演算される。図１２の輝度値の差分に対して、輝度差分の総和を演算すると、その演算結果は、“９４１６”となる。

情報記憶部１６には、調整量設定部１３から調整量情報としての調整量“−２”と、総和演算部１５から、輝度差総和情報としての“９４１６”が供給される。情報記憶部１６は、調整量“−２”と輝度差分の総和“９４１６”とを対応付けて記憶する。

以下、同様に、調整量設定部１３から、差分演算部１４および情報記憶部１６に、調整量“−１”，“＋１”，“＋２”が、順次、調整量情報として供給される。

図１３は、調整量が“−１”である場合に、差分演算部１４により演算された各画素の輝度値の差分を示している。図１３で示される各画素の輝度値の差分に対して、“４８３２”が輝度差分の総和として得られる。情報記憶部１６は、調整量“−１”と輝度差分の総和“４８３２”とを対応付けて記憶する。

図１４は、調整量が“＋１”である場合に、差分演算部１４により演算された各画素の輝度値の差分を示している。図１４で示される各画素の輝度値の差分に対して、“５７２８”が輝度差分の総和として得られる。情報記憶部１６は、調整量“＋１”と輝度差分の総和“５７２８”とを対応付けて記憶する。

図１５は、調整量が“＋２”である場合に、差分演算部１４により演算された各画素の輝度値の差分を示している。図１５で示される各画素の輝度値の差分に対して、“８７７６”が輝度差分の総和として得られる。情報記憶部１６は、調整量“＋２”と輝度差分の総和“８７７６”とを対応付けて記憶する。

最適調整量決定部１７は、情報記憶部１６に記憶されている、調整量と輝度差分の総和との組み合わせのなかから、輝度差分の総和が最も小さい調整量を判定する。いま情報記憶部１６には、調整量“０”と輝度差分の総和“６６１６”の対、調整量“−２”と輝度差分の総和“９４１６”の対、調整量“−１”と輝度差分の総和“４８３２”の対、調整量“＋１”と輝度差分の総和“５７２８”の対、および、調整量“＋２”と輝度差分の総和“８７７６”の対が、記憶されている。最適調整量決定部１７は、それらのなかから、輝度差分の総和が最小である“４８３２”に対応する調整量“−１”を最適調整量と決定し、最適調整量情報として、視差量調整部１８に供給する。

視差量調整部１８は、入力左眼用２次元画像および入力右眼用２次元画像に対して、最適調整量情報としての調整量“−１”を調整することにより、輝度差分の総和が最も小さい左眼用２次元画像および右眼用２次元画像を生成する。

次に、第２の視差量調整処理について説明する。

図１１乃至図１５に示した各画素の輝度値の差分が、差分演算部１４によって得られるまでは、上述した第１の視差量調整処理と同様である。

閾値記憶部３１には、画素数計測部３２において画素数の計測に使用される閾値THとして、“９６”が記憶されているものとする。この閾値THとしての“９６”は、画素数計測部３２により読み出される。

そして、画素数計測部３２は、図１１に示される調整量“０”における各画素の輝度値の差分に対して、閾値TH＝“９６”以上である画素数を計測する。その結果、画素数として、“３１”が得られる。

調整量が“−２”である場合、図１２に示される調整量“−２”における各画素の輝度値の差分に対して、閾値TH＝“９６”以上である画素数が計測され、画素数として、“４７”が得られる。

調整量が“−１”である場合、図１３に示される調整量“−１”における各画素の輝度値の差分に対して、閾値TH＝“９６”以上である画素数が計測され、画素数として、“２４”が得られる。

調整量が“＋１”である場合、図１４に示される調整量“＋１”における各画素の輝度値の差分に対して、閾値TH＝“９６”以上である画素数が計測され、画素数として、“３０”が得られる。

調整量が“＋２”である場合、図１５に示される調整量“＋２”における各画素の輝度値の差分に対して、閾値TH＝“９６”以上である画素数が計測され、画素数として、“４４”が得られる。

その結果、情報記憶部１６Aには、調整量“０”と画素数“３１”の対、調整量“−２”と画素数“４７”の対、調整量“−１”と画素数“２４”の対、調整量“＋１”と画素数“３０”の対、および、調整量“＋２”と画素数“４４”の対が記憶される。最適調整量決定部１７Aは、それらのなかから、画素数が最小である“２４”に対応する調整量“−１”を最適調整量と決定し、最適調整量情報として、視差量調整部１８に供給する。

視差量調整部１８は、入力左眼用２次元画像および入力右眼用２次元画像に対して、最適調整量情報としての調整量“−１”を調整することにより、画素数が最小である左眼用２次元画像および右眼用２次元画像を生成する。

＜３．第３の実施の形態＞
次に、画像処理装置の第３の実施の形態について説明する。

第３の実施の形態では、第１の視差量調整処理を行う画像処理装置が、立体画像のデータフォーマットの変換機能を備える。即ち、画像処理装置は、左眼用２次元画像と右眼用２次元画像とからなる第１の立体画像のデータフォーマットと、それと異なる第２の立体画像のデータフォーマットとの間でデータフォーマットを変換できる。これにより、様々なフォーマットの立体画像データの入出力に対応できる。

［画像処理装置の構成例］
図１６は、本発明を適用した画像処理装置の第３の実施の形態の構成例を示している。

図１６の画像処理装置１は、図６と同様の構成に加えて、画像入力部５１、画像フォーマット識別変換部５２、画像フォーマット変換部５３、および画像出力部５４を有している。図６と同様の構成の部分についての説明は省略する。

上述した第１の実施の形態では、左眼用２次元画像と右眼用２次元画像が入力されたが、画像入力部５１には、様々なフォーマットによる立体画像のデータ（立体画像データ）が入力される。

例えば、画像入力部５１に入力される立体画像のフォーマットとしては、上述した左眼用２次元画像と右眼用２次元画像から構成される形式がある。また、その他の立体画像のフォーマットとして、基準となる左眼用２次元画像または右眼用２次元画像いずれか一方の画像と、その差分で表される他方の画像とで構成される形式、２次元画像とその奥行き情報とで構成される形式、などがある。

画像入力部５１は、入力された立体画像データを画像フォーマット識別変換部５２に供給する。

画像フォーマット識別変換部５２は、画像入力部５１から供給される立体画像データの形式を識別する。そして、画像フォーマット識別変換部５２は、立体画像データの形式が左眼用２次元画像と右眼用２次元画像から構成される形式でない場合には、左眼用２次元画像と右眼用２次元画像から構成される形式に変換し、２次元画像取得部１１に供給する。

画像フォーマット変換部５３には、視差量調整部１８から、視差量調整後の左眼用２次元画像と右眼用２次元画像が供給される。画像フォーマット変換部５３は、供給された左眼用２次元画像と右眼用２次元画像から構成される形式の立体画像のデータを、出力に適した形式に変換し、画像出力部５４に供給する。変換後の立体画像データの形式は、例えば、操作部によって操作者が設定することにより決定される。また例えば、画像出力部５４が、HDMI（商標）等により接続されている場合には、画像フォーマット変換部５３は、HDMI信号に含まれる制御情報から、接続されている後段の装置が入力可能な形式を取得してもよい。立体画像データの形式を変換する必要がない場合には、画像フォーマット変換部５３は、視差量調整後の左眼用２次元画像と右眼用２次元画像（のデータ）をそのまま画像出力部５４に供給する。

画像出力部５４は、画像フォーマット変換部５３から供給される立体画像データを、表示装置などの後段の装置に出力する。

図１６の画像処理装置１によれば、様々なフォーマットの立体画像データを入力することができ、入力された立体画像データが左眼用２次元画像と右眼用２次元画像から構成される形式に変換される。次に、輝度差分の総和が最小となるように視差量が調整され、調整された左眼用２次元画像および右眼用２次元画像が生成される。そして、後段の装置に適した形式の立体画像データに、生成された左眼用２次元画像および右眼用２次元画像が変換されて出力される。

従って、様々なフォーマットの立体画像データの入出力に対応することができ、かつ、クロストークをより低減した立体画像を表示させることができる。

＜４．第４の実施の形態＞
次に、画像処理装置の第４の実施の形態について説明する。

画像処理装置の第４の実施の形態は、第２の視差量調整処理を行う画像処理装置が、立体画像のデータフォーマットの変換機能を備えるものである。

［画像処理装置の構成例］
図１７は、本発明を適用した画像処理装置の第４の実施の形態の構成例を示している。

図１７の画像処理装置１は、図８と同様の構成に加えて、図１６に示した画像入力部５１、画像フォーマット識別変換部５２、画像フォーマット変換部５３、および画像出力部５４を有している。

図１７の画像処理装置１の各構成は、図８の対応するブロックまたは図１６の対応するブロックと同様であるので、説明は省略する。

図１７の画像処理装置１によれば、様々なフォーマットの立体画像データを入力することができ、入力された立体画像データが左眼用２次元画像と右眼用２次元画像から構成される形式に変換される。次に、閾値TH以上の画素数が最小となるように視差量が調整され、調整された左眼用２次元画像および右眼用２次元画像が生成される。そして、後段の装置に適した形式の立体画像データに変換されて出力される。

＜５．第５の実施の形態＞
次に、画像処理装置の第５の実施の形態について説明する。

［画像処理装置の構成例］
図１８は、本発明を適用した画像処理装置の第５の実施の形態の構成例を示している。

上述した第１の実施の形態では、画像処理装置１は、左眼用２次元画像と右眼用２次元画像の全画素の輝度差分の総和を演算し、輝度差分の総和が最小となる調整量を最適調整量と決定した。

これに対して、第５の実施の形態では、入力された左眼用２次元画像と右眼用２次元画像を複数の領域に分割し、分割された領域ごとに、輝度差分の総和が演算される。そして、分割された領域ごとに、輝度差分の総和を最小とする調整量が最適調整量として決定される。これにより、各領域の持つ特性を考慮して、最適な視差量を決定できるようになる。

図１８の画像処理装置１は、差分演算部１４として、分割設定部６１、領域分割部６２、および領域別差分演算部６３を有している点が、図６の画像処理装置１と相違する。また、図１８では、図６の総和演算部１５、情報記憶部１６、および最適調整量決定部１７が、図１８の差分演算部１４の構成に対応する総和演算部１５B、情報記憶部１６B、および最適調整量決定部１７Bとなっている。それ以外は、図６の画像処理装置１と同様である。図６の画像処理装置１と同様の部分についての説明は、適宜省略する。

分割設定部６１は、入力された左眼用２次元画像と右眼用２次元画像の分割数を設定する。例えば、分割設定部６１は、画像の垂直方向と水平方向それぞれの分割数を領域分割部６２に供給することにより、分割数を設定する。

領域分割部６２は、左眼用２次元画像と右眼用２次元画像の全領域を、分割設定部６１により設定された分割数で分割する。また、領域分割部６２は、調整量情報で特定される所定の調整量を用いて、左眼用２次元画像と右眼用２次元画像の視差量を変更する。

領域別差分演算部６３は、分割された領域ごとに、左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分（の絶対値）を演算する。そして、差分演算部１４は、領域ごとの各画素の輝度値の差分を総和演算部１５Bに供給する。

総和演算部１５Bは、分割された領域ごとに、輝度値の差分の全画素についての総和を演算する。領域ごとの輝度差分の総和は、輝度差総和情報として、情報記憶部１６Bに供給される。情報記憶部１６Bは、調整量情報が表す所定の調整量と、輝度差総和情報が表す領域ごとの輝度差分の総和とを対応付けて記憶する。その結果、情報記憶部１６Bは、調整範囲と調整間隔に基づいて設定される全ての調整量について、調整量と領域ごとの輝度差分の総和とを対応付けて記憶する。

最適調整量決定部１７Bは、情報記憶部１６Bに記憶されている、調整量と領域ごとの輝度差分の総和との組み合わせに基づいて、最適調整量を決定する。

ここで、最適調整量をどのように決定するかが問題となる。即ち、分割された各領域では、輝度差分の総和が最小となる調整量が最適調整量であるということができる。しかしながら、各領域で輝度差分の総和が最小となる調整量を最適調整量として決定し、領域ごとに最適調整量が異なる場合には、調整後の左眼用２次元画像および右眼用２次元画像が破綻してしまうからである。

そこで、最適調整量決定部１７Bは、所定の判定基準により、全ての領域に対して共通の調整量を、最適調整量として決定する。

例えば、最適調整量決定部１７Bは、輝度差分の総和が最小となる領域数が最も多い調整量を、最適調整量として決定する。この判定基準を第1の判定基準とする。第1の判定基準による最適調整量の決定については、図２２乃至図２８を参照して、後述する。

また、最適調整量決定部１７Bは、輝度差分の総和の分散が最小となる調整量を、最適調整量として決定する。この判定基準を第２の判定基準とする。

輝度差分の総和が極端に大きい領域があると、その部分がクロストークとして知覚されやすくなるという側面がある。そのため、第２の判定基準は、輝度差分の総和が極端に大きい領域がない調整量を最適調整量として決定する方法である。

また、最適調整量決定部１７Bは、画像の注視領域を考慮して最適調整量を決定する。この判定基準を第３の判定基準とする。具体的には、９分割された領域のうち、例えば、画像内の右側の領域の最適調整量が“−１０”であり、画像内の左側の領域の最適調整量が“＋１０”であるとする。そして、最適調整量決定部１７Bは、画像内の右側の領域に注視する物体があるなど、鑑賞者が画像内の右側の領域を注視するような状況においては右側の最適調整量“−１０”を画像全体としての最適調整量に決定する。また、左側の領域を注視するような状況においては、左側の最適調整量“＋１０”を画像全体としての最適調整量に決定する。

なお、勿論、最適調整量決定部１７Bは、上述した第１乃至第３の判定基準以外の決定方法により、最適調整量を決定してもよい。

［図１８の画像処理装置１による視差量調整処理］
次に、図１９のフローチャートを参照して、図１８の画像処理装置１により実行される、領域分割をした第１の視差量調整処理について説明する。

図１９のステップＳ５１乃至Ｓ５３は、上述した図７のステップＳ１乃至Ｓ３とそれぞれ同様であるので、その説明は省略する。

ステップＳ５４において、分割設定部６１は、入力された左眼用２次元画像と右眼用２次元画像の分割数を設定する。領域分割部６２は、左眼用２次元画像と右眼用２次元画像の全領域を、分割設定部６１により設定された分割数で分割する。

ステップＳ５５において、調整量設定部１３は、取得した調整範囲と調整間隔に基づいて所定の調整量を設定し、設定した調整量を、調整量情報として差分演算部１４および情報記憶部１６Bに供給する。差分演算部１４の領域分割部６２は、調整量情報で特定される所定の調整量を用いて、左眼用２次元画像と右眼用２次元画像の視差量を変更する。

ステップＳ５６において、領域別差分演算部６３は、分割された領域のなかで、輝度差分の演算を行う対象として注目する領域（以下、注目領域という）を設定する。

ステップＳ５７において、領域別差分演算部６３は、注目領域に対し、調整後の視差量における左眼用２次元画像と右眼用２次元画像の輝度値の差分（の絶対値）を演算し、その演算結果を総和演算部１５Bに供給する。

ステップＳ５８において、総和演算部１５Bは、注目領域に対し、調整後の視差量における輝度差分の総和を演算する。演算結果は、総和演算部１５Bから、注目領域の輝度差総和情報として情報記憶部１６Bに供給される。

ステップＳ５９において、情報記憶部１６Bは、調整量情報が表す所定の調整量と、輝度差総和情報が表す注目領域の輝度差分の総和を対応付けて記憶する。

ステップＳ６０において、領域別差分演算部６３は、分割された領域の全ての領域について輝度差分の総和を求めたかを判定する。ステップＳ６０で、全ての領域について輝度差分の総和を求めていないと判定された場合、処理はステップＳ５６に戻り、ステップＳ５６乃至ステップＳ６０の処理が繰り返される。即ち、まだ輝度差分の総和を求めていない領域が注目領域に設定され、所定の調整量における輝度差分の総和が演算される。

一方、ステップＳ６０で、全ての領域について輝度差分の総和が求められたと判定された場合、処理はステップＳ６１に進む。

ステップＳ６１において、調整量設定部１３は、全ての調整量について輝度差分の総和を求めたかを判定する。ステップＳ６１で、全ての調整量について輝度差分の総和を求めていないと判定された場合、処理はステップＳ５５に戻り、ステップＳ５５乃至ステップＳ６１の処理が繰り返される。即ち、まだ設定されていない調整量が調整量情報として差分演算部１４と情報記憶部１６Bに供給され、所定の調整量における領域ごとの輝度差分の総和が演算される。

一方、ステップＳ６１で、全ての調整量について輝度差分の総和が求められたと判定された場合、処理はステップＳ６２に進む。

ステップＳ６２において、最適調整量決定部１７Bは、所定の判定基準により、最適調整量を決定する。例えば、最適調整量決定部１７Bは、第１の判定基準を採用した場合には、輝度差分の総和が最小となる領域数が最も多い調整量を、最適調整量として決定する。また例えば、最適調整量決定部１７Bは、第２の判定基準を採用した場合には、輝度差分の総和の分散が最小となる調整量を、最適調整量として決定する。

ステップＳ６３において、最適調整量決定部１７Bは、決定された最適調整量を最適調整量情報として、視差量調整部１８に供給する。

ステップＳ６４において、視差量調整部１８は、供給された最適調整量情報に基づいて、入力左眼用２次元画像および入力右眼用２次元画像を調整し、調整後の左眼用２次元画像および右眼用２次元画像を出力して、処理を終了する。

以上のように、分割した領域ごとの輝度差分の総和に基づいて最適な調整量を判定することにより、入力された左眼用２次元画像および右眼用２次元画像全体に最適な調整量を決定できる。

＜６．第６の実施の形態＞
図１９の処理は、図７を参照して説明した第１の視差量調整処理を、分割した領域ごとに行うようにした例であったが、図９を参照して説明した第２の視差量調整処理においても、分割した領域ごとに行うようにできる。

分割した領域ごとに、第２の視差量調整処理を行うようにする場合には、図６の画像処理装置１から図１８の画像処理装置１への構成の変更と同様の変更を、図８の画像処理装置１に対して行えば良い。即ち、図８の画像処理装置１の差分演算部１４が、分割設定部６１、領域分割部６２、および領域別差分演算部６３を有し、それに対応する画素数計測部３２、情報記憶部１６B、および最適調整量決定部１７Bも備える。

図２０は、分割した領域ごとに第２の視差量調整処理を行うようにした場合の処理を示すフローチャートである。

図２０のステップＳ７１乃至Ｓ７７は、上述した図１９のステップＳ５１乃至Ｓ５７と、それぞれ同様であるので、その説明は省略する。

ステップＳ７８において、画素数計測部３２は、閾値記憶部３１に記憶されている閾値THを読み出す。そして、画素数計測部３２は、ステップＳ７９において、注目領域に対し、輝度値の差分と閾値THを画素ごとに比較し、輝度値の差分が閾値TH以上である画素数を計測する。

ステップＳ８０において、情報記憶部１６Bは、調整量設定部１３からの調整量情報が表す調整量と、画素数計測部３２からの画素数カウント情報が表す注目領域の画素数を対応付けて記憶する。

ステップＳ８１において、領域別差分演算部６３は、分割された領域の全ての領域について閾値TH以上の画素数を求めたかを判定する。ステップＳ８１で、全ての領域について閾値TH以上の画素数を求めていないと判定された場合、処理はステップＳ７６に戻り、ステップＳ７６乃至ステップＳ８１の処理が繰り返される。即ち、まだ閾値TH以上の画素数を求めていない領域が注目領域に設定され、所定の調整量における画素数が演算される。

一方、ステップＳ８１で、全ての領域について閾値TH以上の画素数が求められたと判定された場合、処理はステップＳ８２に進む。

ステップＳ８２において、調整量設定部１３は、調整範囲と調整間隔に基づいて特定される全ての調整量について、閾値TH以上の画素数を求めたかを判定する。ステップＳ８２で、全ての調整量について閾値TH以上の画素数を求めていないと判定された場合、処理はステップＳ７５に戻り、ステップＳ７５乃至ステップＳ８２の処理が繰り返される。即ち、まだ設定されていない調整量が調整量情報として差分演算部１４と情報記憶部１６Bに供給され、所定の調整量における閾値TH以上の画素数が演算される。

一方、ステップＳ８２で、全ての調整量について閾値TH以上の画素数が求められたと判定された場合、処理はステップＳ８３に進む。

ステップＳ８３において、最適調整量決定部１７Bは、所定の判定基準により、最適調整量を決定する。例えば、最適調整量決定部１７Bは、第１の判定基準を採用した場合には、閾値TH以上の画素数が最小となる領域数が最も多い調整量を、最適調整量として決定する。

ステップＳ８４において、最適調整量決定部１７Bは、決定された最適調整量を最適調整量情報として、視差量調整部１８に供給する。

ステップＳ８５において、視差量調整部１８は、供給された最適調整量情報に基づいて、入力左眼用２次元画像および入力右眼用２次元画像を調整し、調整後の左眼用２次元画像および右眼用２次元画像を出力して、処理を終了する。

以上のように、分割した領域ごとの閾値TH以上の画素数に基づいて最適な調整量を判定することにより、入力された左眼用２次元画像および右眼用２次元画像全体に最適な調整量を決定できる。

［領域分割した第１の視差調整処理と第２の視差調整処理の数値例］
次に、図２１乃至図２８を参照して、領域分割した第１の視差量調整処理と、領域分割した第２の視差量調整処理についてさらに説明する。なお、この例では、判定基準として、第１の判定基準が採用されている。

分割設定部６１は、横方向と縦方向に１８画素×９画素の１６２画素の画素数を有する左眼用２次元画像および右眼用２次元画像を、垂直方向および水平方向それぞれに３分割する。その結果、図２１に示されるように、左眼用２次元画像および右眼用２次元画像は、領域R_１１、領域R_１２、領域R_１３、領域R_２１、領域R_２２、領域R_２３、領域R_３１、領域R_３２、および領域R_３３に９分割される。

図２２Aは、図１０Aに対応する９分割の例である。即ち、図２２Aは、領域R_１１乃至領域R_３３に９分割した図１０Aの左眼用２次元画像を示している。

図２２Bは、図１０Bに対応する９分割の例である。即ち、図２２Bは、領域R_１１乃至領域R_３３に９分割した図１０Bの右眼用２次元画像を示している。

図２３は、図１１に対応する９分割の例である。即ち、図２３は、調整量“０”として求めた図１０Aの左眼用２次元画像と図１０Bの右眼用２次元画像の各画素の輝度値の差分が９分割された例である。

図２４は、図２３に示した調整量“０”における領域R_１１乃至領域R_３３の各画素の輝度値の差分に対し、各領域内の輝度差分の総和および閾値TH以上の画素数を演算した演算結果を示している。なお、閾値THは、上述した例と同様の“９６”である。

図２４において、第１の視差量調整処理で計算される領域内の画素の輝度差分の総和の演算結果と、第２の視差量調整処理で計算される領域内の閾値TH＝“９６”以上の画素数が、各領域内の上段と下段に示されている。すなわち、領域R_１１乃至領域R_３３それぞれの上段は、第１の視差量調整処理で計算される輝度差分の総和であり、下段は、第２の視差量調整処理で計算される閾値TH以上の画素数である。

図２５は、図１２に示した調整量“−２”における各画素の輝度値の差分に対して、領域R_１１乃至領域R_３３に分割し、各領域内の輝度差分の総和および閾値TH以上の画素数を演算した演算結果を示している。

図２６は、図１３に示した調整量“−１”における各画素の輝度値の差分に対して、領域R_１１乃至領域R_３３に分割し、各領域内の輝度差分の総和および閾値TH以上の画素数を演算した演算結果を示している。

図２７は、図１４に示した調整量“＋１”における各画素の輝度値の差分に対して、領域R_１１乃至領域R_３３に分割し、各領域内の輝度差分の総和および閾値TH以上の画素数を演算した演算結果を示している。

図２８は、図１５に示した調整量“＋２”における各画素の輝度値の差分に対して、領域R_１１乃至領域R_３３に分割し、各領域内の輝度差分の総和および閾値TH以上の画素数を演算した演算結果を示している。

領域分割した第１の視差量調整処理では、図２４乃至図２８の各領域の上段に示される、輝度差分の総和が、調整量と対応付けられて、情報記憶部１６Bに記憶される。

一方、領域分割した第２の視差量調整処理では、図２４乃至図２８の各領域の下段に示される、閾値TH以上の画素数が、調整量と対応付けられて、情報記憶部１６Bに記憶される。

このような演算結果に対して、最適調整量決定部１７Bが、第１の判定基準により、最適調整量を決定する。

領域分割した第１の視差量調整処理における最適調整量の決定では、最適調整量決定部１７Bは、輝度差分の総和が最小となる領域数が最も多い調整量を、最適調整量として決定する。

図２４乃至図２８において、各領域の上段に示される輝度差分の総和のうち、５つの調整量のなかで輝度差分の総和が最小である調整量の領域には、灰色の影が付されている。

即ち、図２６に示される調整量“−１”が、領域R_１１、領域R_１２、領域R_１３、領域R_２１、および領域R_３１については、５つの調整量のなかで、輝度差分の総和が最小である。図２７に示される調整量“＋１”が、領域R_２２、領域R_３２、および領域R_３３については、５つの調整量のなかで、輝度差分の総和が最小である。図２４に示される調整量“０”が、領域R_２３については、５つの調整量のなかで、輝度差分の総和が最小である。

そうすると、５つの調整量のなかで、輝度差分の総和が最小である領域を最も多く有する調整量は、５つの領域を有する図２６の調整量“−１”である。従って、最適調整量として調整量“−１”が、最適調整量決定部１７Bにより決定される。

一方、領域分割した第２の視差量調整処理における最適調整量の決定では、最適調整量決定部１７Bは、閾値TH以上の画素数が最小となる領域数が最も多い調整量を、最適調整量として決定する。

図２４乃至図２８において、各領域の下段に示される閾値TH以上の画素数のうち、５つの調整量のなかで閾値TH以上の画素数が最小である調整量の領域には、灰色の影が付されている。

即ち、図２６に示される調整量“−１”が、領域R_１１、領域R_１２、領域R_１３、領域R_２１、および領域R_３１については、５つの調整量のなかで、画素数が最小である。図２７に示される調整量“＋１”が、領域R_３２および領域R_３３については、５つの調整量のなかで、画素数が最小である。図２４に示される調整量“０”が、領域R_２２および領域R_２３については、５つの調整量のなかで、画素数が最小である。

そうすると、５つの調整量のなかで、画素数が最小である領域を最も多く有する調整量は、５つの領域を有する調整量“−１”である。従って、最適調整量として調整量“−１”が、最適調整量決定部１７Bにより決定される。

なお、分割された領域のなかで、鑑賞者が注視する注視領域がある場合には、例えば、各領域の注視する度合いに応じた重み係数を、輝度差分の総和または画素数に乗算してもよい。重み付けされた輝度差分の総和または画素数を用いて、輝度差分の総和または画素数が最小である領域を決定することにより、上述した第３の判定基準のように、鑑賞者が注視する領域の調整量を優先できる。

以上のように、分割した領域ごとの輝度差分の総和、または、輝度値の差分が閾値TH以上の画素数に基づいて最適な調整量を判定することにより、入力された左眼用２次元画像および右眼用２次元画像全体に最適な調整量を決定できる。これにより、各領域の持つ特性や鑑賞者の状況を考慮して、クロストークをより低減した立体画像を表示させることができる。

＜７．第７の実施の形態＞
次に、画像処理装置の第７の実施の形態について説明する。

［画像処理装置の構成例］
図２９は、本発明を適用した画像処理装置の第７の実施の形態の構成例を示している。

図２９の画像処理装置１は、図１６と図１８の重複しない各構成の全てを有し、さらに制御部８１を有している。ここで、情報記憶部１６Cは、第１の実施の形態における情報記憶部１６と、第２の実施の形態における情報記憶部１６Aの両方の機能を有するものである。同様に、最適調整量決定部１７Cは、第１の実施の形態における最適調整量決定部１７と、第２の実施の形態における最適調整量決定部１７Aの両方の機能を有するものである。

図２９の画像処理装置１は、第１の視差量調整処理と第２の視差量調整処理が選択的に実行可能である。

即ち、制御部８１は、第１の視差量調整処理と第２の視差量調整処理のいずれを実行するかを決定し、その決定に応じて各部を制御する。

差分演算部１４は、演算された輝度値の差分（の絶対値）を総和演算部１５と画素数計測部３２に供給する。

制御部８１により、第１の視差量調整処理が実行されることが選択された場合には、総和演算部１５が、差分演算部１４から供給される、所定の調整量における各画素の輝度値の差分に基づいて、輝度差分の総和を演算する。そして、総和演算部１５は、その演算結果を、輝度差総和情報として情報記憶部１６Cに供給する。

一方、制御部８１により、第２の視差量調整処理が実行されることが選択された場合には、画素数計測部３２が、差分演算部１４から供給される、所定の調整量における各画素の輝度値の差分に基づいて、輝度値の差分が閾値TH以上である画素数を計測する。そして、画素数計測部３２は、計測された画素数を、画素数カウント情報として情報記憶部１６Cに供給する。

情報記憶部１６Cは、第１の視差量調整処理においては調整量と輝度差分の総和とを対応付けて記憶するとともに、第２の視差量調整処理においては調整量と画素数を対応付けて記憶する。

最適調整量決定部１７Cは、第１の視差量調整処理においては輝度差分の総和が最も小さい調整量を最適調整量として決定するとともに、第２の視差量調整処理においては画素数が最小となる調整量を最適調整量として決定する。

なお、制御部８１は、第１の視差量調整処理と第２の視差量調整処理の両方を実行させ、いずれか一方の最適調整量を選択するようにしてもよい。

また、制御部８１は、第１の視差量調整処理を実行するか、または、第２の視差量調整処理を実行するかを選択する他、入力される立体画像の仕様によって、最適調整量を変更する制御を行うことができる。ここで、立体画像の仕様とは、具体的には、“自然画”、“コンピュータグラフィックス”、“アニメーション”、“映画”などで分類される「立体画像の種類」や、空間周波数の分布、色や輝度の分布、背景とオブジェクトのコントラスト等の「立体画像が有する特性」などを表す。

例えば、入力される立体画像の種類が、鑑賞者にインパクトを与える映像を提示したい“映画”である場合、制御部８１は、多少クロストークが知覚されても立体画像としてのインパクトを与えることを重要視した設定にできる。即ち、制御部８１は、決定された最適調整量より画像全体で視差量が大きくなるように、視差量調整部１８に最適調整量を変更させることができる。

また例えば、入力される立体画像が、背景とオブジェクトの隣接部分においてコントラストが小さいという特性を有している場合には、その隣接部分でクロストークが知覚されにくくなる。このような場合、制御部８１は、決定された最適調整量より画像全体で視差量が大きくなるように、視差量調整部１８に最適調整量を変更させることができる。このように、図２９の画像処理装置１では、立体画像の仕様に応じた、３次元画像としての効果の強調を行うことができる。

さらに、制御部８１は、画像出力部５４の出力先である表示装置の仕様によっても、最適調整量を変更する制御を行うことができる。ここで、表示装置の仕様とは、具体的には、表示装置が表示可能な輝度値若しくはコントラスト比、表示デバイス仕様などを表す。

例えば、制御部８１は、画像出力部５４の出力先である表示装置の仕様として、コントラスト比を取得可能であるとする。一般に、輝度の高い領域と輝度の低い領域が隣接しているとクロストークが知覚されやすくなる。そこで、制御部８１は、取得された表示装置のコントラスト比が所定の値以下である場合には、クロストークが知覚されにくくなるとして、鑑賞者に３次元画像のインパクトを与えることを重要視した設定にできる。即ち、制御部８１は、決定された最適調整量より画像全体で視差量が大きくなるように、視差量調整部１８に最適調整量を変更させることができる。

例えば、接続される表示装置として、コントラスト比が３，０００：１の液晶ディスプレイと、コントラスト比が１，０００，０００：１の有機ELディスプレイがあるとする。

制御部８１は、表示装置として有機ELディスプレイが接続され、高いコントラスト比が取得された場合には、第１または第２の視差量調整処理によって決定された最適調整量による左眼用２次元画像および右眼用２次元画像を生成する。一方、液晶ディスプレイが接続された場合には、制御部８１は、決定された最適調整量より画像全体で視差量が大きくなるように、視差量調整部１８に最適調整量を変更させる。このように、図２９の画像処理装置１では、表示装置の仕様に応じた、３次元画像としての効果の強調を行うことができる。

以上のように、図２９の画像処理装置１では、クロストークを抑制した最適調整量による立体画像を表示させることができるとともに、立体画像の仕様や表示装置の仕様に応じて、３次元画像としての効果を強調させる立体画像を表示させることもできる。なお、立体画像の仕様や表示装置の仕様は、鑑賞者に入力させても良いし、制御情報として表示装置自身から取得してもよい。

以上説明した第１乃至第７の実施の形態による画像処理装置１によれば、視差量調整後の左眼用２次元画像と右眼用２次元画像の対応する画素の輝度値の差分を用いた演算量（輝度差分の総和または閾値TH以上の画素数）が算出される。そして、その演算量が最小となる調整量を判定することにより、最適調整量が決定され、入力された左眼用２次元画像と右眼用２次元画像の視差量が調整される。これにより、クロストークをより低減した立体画像を表示できる。また、鑑賞者自身が、クロストーク低減のため、視差量を調整するような操作を行う必要がないので、ユーザの操作性が改善される。

＜８．第８の実施の形態＞
上述した例では、画像処理装置１が、クロストークを低減した立体画像データを生成し、後段に接続される表示装置等に出力する例について説明したが、画像処理装置１は、表示装置の一部として組み込まれていてもよい。

図３０は、上述した第７の実施の形態の画像処理装置１が組み込まれた表示装置の構成例を示している。

図３０の立体画像表示装置９１は、図２９の画像処理装置１の構成に加えて、表示部９２を有している。

表示部９２は、例えば、有機ELパネル、液晶パネルなどにより構成され、画像出力部５４から供給される立体画像データに基づいて、左眼用２次元画像と右眼用２次元画像を表示する。

これにより、立体画像表示装置９１は、クロストークをより低減した立体画像を表示できる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図３１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。

入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動する。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１に記録して提供できる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供できる。

コンピュータでは、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールできる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールできる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１画像処理装置，１２輝度値演算部，１３調整量設定部，１４差分演算部，１５総和演算部，１７，１７A乃至１７C 最適調整量決定部，１８視差量調整部，３２画素数計測部，５２画像フォーマット識別部，５３画像フォーマット変換部，６１分割設定部，６２領域分割部，６３領域別差分演算部，８１制御部，９１立体画像表示装置，９２表示部，１０１ CPU，１０２ ROM，１０３ RAM，１０８記憶部

Claims

左眼用２次元画像と右眼用２次元画像に対して視差量の調整量を設定する調整量設定手段と、
前記調整量設定手段により設定された調整量により視差量を変更した前記左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分を演算する差分演算手段と、
前記輝度値の差分を用いた演算量が最小となる調整量を判定することにより、最適調整量を決定する最小値判定手段と、
前記最小値判定手段により決定された前記最適調整量に基づいて、前記左眼用２次元画像と右眼用２次元画像の視差量を調整する視差量調整手段と
を備え、
前記輝度値の差分を用いた演算量は、前記輝度値の差分の総和または分散であり、
前記最小値判定手段は、
前記輝度値の差分の総和または分散を演算する総和演算手段と、
前記調整量設定手段により設定された複数の調整量のうち、前記輝度値の差分の総和または分散が最小となる調整量を前記最適調整量として決定する最適調整量決定手段と
を備える
画像処理装置。
前記左眼用２次元画像と右眼用２次元画像を複数の領域に分割する領域分割手段を更に備え、
前記最小値判定手段は、分割された領域ごとに前記輝度値の差分の総和または分散が最小となる調整量を判定することにより、最適調整量を決定する
請求項１に記載の画像処理装置。
前記最小値判定手段は、分割された領域ごとに前記輝度値の差分の総和または分散が最小となる調整量を判定し、さらに、前記輝度値の差分の総和または分散が最小となる領域数が最も多い調整量を最適調整量として決定する
請求項２に記載の画像処理装置。
前記最小値判定手段は、分割された領域に対して、各領域の注視する度合いに応じた重み係数を前記輝度値の差分の総和または分散に乗算し、乗算後の前記輝度値の差分の総和または分散が最小となる領域数が最も多い調整量を最適調整量として決定する
請求項３に記載の画像処理装置。
左眼用２次元画像と右眼用２次元画像に対して視差量の調整量を設定する調整量設定手段と、
前記調整量設定手段により設定された調整量により視差量を変更した前記左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分を演算する差分演算手段と、
前記輝度値の差分を用いた演算量が最小となる調整量を判定することにより、最適調整量を決定する最小値判定手段と、
前記最小値判定手段により決定された前記最適調整量に基づいて、前記左眼用２次元画像と右眼用２次元画像の視差量を調整する視差量調整手段と
を備え、
前記輝度値の差分を用いた演算量は、前記輝度値の差分が所定の閾値以上である画素数であり、
前記最小値判定手段は、
前記輝度値の差分が所定の閾値以上である画素数を計測する画素数計測手段と、
前記調整量設定手段により設定された複数の調整量のうち、前記輝度値の差分が所定の閾値以上である画素数が最小となる調整量を前記最適調整量として決定する最適調整量決定手段と
を備える
画像処理装置。
前記左眼用２次元画像と右眼用２次元画像を複数の領域に分割する領域分割手段を更に備え、
前記最小値判定手段は、分割された領域ごとに前記輝度値の差分が所定の閾値以上である画素数が最小となる調整量を判定することにより、最適調整量を決定する
請求項５に記載の画像処理装置。
前記最小値判定手段は、分割された領域ごとに前記輝度値の差分が所定の閾値以上である画素数が最小となる調整量を判定し、さらに、前記輝度値の差分が所定の閾値以上である画素数が最小となる領域数が最も多い調整量を最適調整量として決定する
請求項６に記載の画像処理装置。
前記最小値判定手段は、分割された領域に対して、各領域の注視する度合いに応じた重み係数を前記輝度値の差分が所定の閾値以上である画素数に乗算し、乗算後の前記輝度値の差分が所定の閾値以上である画素数が最小となる領域数が最も多い調整量を最適調整量として決定する
請求項７に記載の画像処理装置。
左眼用２次元画像と右眼用２次元画像に対して視差量の調整量を設定する調整量設定手段と、
前記調整量設定手段により設定された調整量により視差量を変更した前記左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分を演算する差分演算手段と、
前記輝度値の差分を用いた演算量が最小となる調整量を判定することにより、最適調整量を決定する最小値判定手段と、
前記最小値判定手段により決定された前記最適調整量に基づいて、前記左眼用２次元画像と右眼用２次元画像の視差量を調整する視差量調整手段と
を備え、
前記最小値判定手段は、
前記輝度値の差分を用いた演算量として、前記輝度値の差分の総和または分散を演算する総和演算手段と、
前記調整量設定手段により設定された複数の調整量のうち、前記輝度値の差分の総和または分散が最小となる調整量を前記最適調整量として決定する第１の最適調整量決定手段と、
前記輝度値の差分を用いた演算量として、前記輝度値の差分が所定の閾値以上である画素数を計測する画素数計測手段と、
前記調整量設定手段により設定された複数の調整量のうち、前記輝度値の差分が所定の閾値以上である画素数が最小となる調整量を前記最適調整量として決定する第２の最適調整量決定手段と、
前記第１の最適調整量決定手段による第１の視差量調整処理か、または、前記第２の最適調整量決定手段による第２の視差量調整処理のいずれか一方を選択して実行させる制御手段と
を備える
画像処理装置。
前記左眼用２次元画像と右眼用２次元画像とからなる第１の立体画像のデータフォーマットと、前記第１の立体画像のデータフォーマットと異なる第２の立体画像のデータフォーマットとの間でデータフォーマットを変換する変換手段をさらに備える
請求項１ないし９のいずれかに記載の画像処理装置。
前記左眼用２次元画像と右眼用２次元画像を表示する表示装置の仕様、または、立体画像としての前記左眼用２次元画像と右眼用２次元画像の仕様に応じて、前記最小値判定手段により決定された前記最適調整量を変更する変更手段をさらに備える
請求項１ないし１０のいずれかに記載の画像処理装置。
前記視差量調整手段により視差量が調整された前記左眼用２次元画像と右眼用２次元画像を表示する表示手段をさらに備える
請求項１ないし１１のいずれかに記載の画像処理装置。
左眼用２次元画像と右眼用２次元画像に対して視差量の調整量を複数設定し、
設定された前記調整量により視差量を変更した前記左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分の総和または分散を演算し、
設定された複数の前記調整量のうち、前記輝度値の差分の総和または分散が最小となる調整量を最適調整量として決定し、
決定された前記最適調整量に基づいて、前記左眼用２次元画像と右眼用２次元画像の視差量を調整する
ステップを含む画像処理方法。
コンピュータに、
左眼用２次元画像と右眼用２次元画像に対して視差量の調整量を複数設定し、
設定された前記調整量により視差量を変更した前記左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分の総和または分散を演算し、
設定された複数の前記調整量のうち、前記輝度値の差分の総和または分散が最小となる調整量を最適調整量として決定し、
決定された前記最適調整量に基づいて、前記左眼用２次元画像と右眼用２次元画像の視差量を調整する
処理を実行させるプログラム。
左眼用２次元画像と右眼用２次元画像に対して視差量の調整量を複数設定し、
設定された前記調整量により視差量を変更した前記左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分を演算し、
前記輝度値の差分が所定の閾値以上である画素数を計測し、
設定された複数の前記調整量のうち、前記輝度値の差分が所定の閾値以上である画素数が最小となる調整量を前記最適調整量として決定し、
決定された前記最適調整量に基づいて、前記左眼用２次元画像と右眼用２次元画像の視差量を調整する
ステップを含む画像処理方法。
コンピュータに、
左眼用２次元画像と右眼用２次元画像に対して視差量の調整量を複数設定し、
設定された前記調整量により視差量を変更した前記左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分を演算し、
前記輝度値の差分が所定の閾値以上である画素数を計測し、
設定された複数の前記調整量のうち、前記輝度値の差分が所定の閾値以上である画素数が最小となる調整量を前記最適調整量として決定し、
決定された前記最適調整量に基づいて、前記左眼用２次元画像と右眼用２次元画像の視差量を調整する
処理を実行させるプログラム。