本発明の実施の一形態について図1〜図10に基づいて説明すれば、以下のとおりである。説明の便宜上、図面に示した部材と同一の機能を有する部材については、同一の符号を付し、その説明を省略する。
〔画像処理装置1の構成〕
まず、図1に基づき、画像処理装置1の要部構成について説明する。図1は、画像処理装置1の要部構成の一例を示すブロック図である。
画像処理装置1は、3次元(3D)画像に対して画像処理を行うものである。具体的には、画像処理装置1は、視差を利用した3次元表示のための左眼用画像(第1視差画像)及び右眼用画像(第2視差画像)に対して画像処理を行うものであり、主として、画像処理制御部11と記憶部18とを備える。本実施の形態では、その3次元表示のための画像が左眼用画像及び右眼用画像であるものとして説明するが、これに限らず、視差を利用した3次元表示のための2つの画像であれば、どのような形態の画像であってもよい。
画像処理制御部11は、主として、画像取得部12、視差最大幅検出部13、画像領域特定部14(画像領域特定手段、画像領域特定ステップ)、画素値変更部15(画素値変更手段、画素値変更ステップ)、輝度値変更部16(輝度変更手段)及び画像出力部17を備え、例えば制御プログラムを実行することにより、画像処理装置1を構成する部材を制御するものである。画像処理制御部11は、記憶部18に格納されているプログラムを、例えばRAM(Random Access Memory)等で構成される一次記憶部(不図示)に読み出して実行することにより、取得した左眼用画像及び右眼用画像に対する画像処理等の各種処理を行う。
画像取得部12は、後述の表示装置40や記録再生装置10(記録装置、再生装置)等の外部装置が有するコンテンツ(又はこれらの装置が外部から取得したコンテンツ)、記憶部18に記憶されているコンテンツを構成する画像群を取得する。画像取得部12は、その画像群を構成する画像それぞれを、例えば受信した順に、視差最大幅検出部13に送信する。なお、画像それぞれは、視差を利用した3次元表示を可能とする左眼用画像及び右眼用画像からなる。
視差最大幅検出部13は、画像取得部12から画像を受信すると、画像領域特定部14が特定する第1画像領域T1及び第2画像領域T2(ともに図5の(b)参照)が有する幅である視差最大幅を検出する。そのため、視差最大幅検出部13は、対象画素選定部131、一致画素値判定部132(一致画素値判定手段)、距離算出部133及び距離比較部134(最大距離特定手段)を備える。なお、視差最大幅検出部13は、左眼用画像及び右眼用画像それぞれに対して、視差最大幅の検出処理を行う。
また、視差最大幅検出部13は、輝度値変更部16からの指示によって、左眼用画像及び/又は右眼用画像を構成する画素群から輝度値を変更する画素を検出し、その検出した画素を記憶部18に輝度値変更画素情報182として記憶する。
ここで、第1画像領域T1は、図5の(b)に示すように、左眼用画像にあって右眼用画像にはない像を含む領域であって、左眼用画像の左辺I1(第1端部)を基準として規定され、上辺I3(第3端部)から下辺I4(第4端部)にわたり連通する画像領域である。同様に、第2画像領域T2は、同図に示すように、右眼用画像にあって左眼用画像にはない像を含む領域であって、右眼用画像の右辺I2(第2端部)を基準として規定され、上辺I3から下辺I4にわたり連通する画像領域である。
3次元表示されるとき、左眼用画像の像に対し、右眼用画像の像を視聴者から向かって左方向へずらして配置することにより、視聴者の焦点はディスプレイよりも手前に合うことになり、手前に飛び出して見える近景像を作り出すことができる。近景側の像は強調表示されるので、近景側となる像がディスプレイの左右端で一方の視差画像(具体的には、左眼用画像の左辺I1側及び右眼用画像の右辺I2側)のみに存在する場合には、視聴者は、立体感の低下を顕著に、かつ、画像がぼやけているように感じやすい。
一方、左眼用画像の像に対し、右眼用画像の像を視聴者から向かって右方向へずらして配置することにより、視聴者の焦点はディスプレイよりも奥に合うことになり、奥に引っ込んで見える遠景像を作り出すことができる。遠景については、視聴者に対して強調表示されるわけではないので、一方の視差画像(具体的には、左眼用画像の右辺I2側及び右眼用画像の左辺I1側)にのみ存在する像があっても、ぼやけて見える問題は起こりにくい。したがって、左眼用画像の右辺I2側及び右眼用画像の左辺I1側については、一方の視差画像にしか像がない場合であっても、その像を含む所定の領域の画素値を所定のパターンを示す画素値に変更する必要は必ずしもない。
つまり、後述の視差最大幅検出部13は、近景側となる左眼用画像の左辺I1側及び右眼用画像の右辺I2側の領域が有する幅を検出し、画像領域特定部14は、その幅を有する領域を特定する構成であればよい。なお、視差最大幅検出部13及び画像領域特定部14は、近景側と同様の処理を行うことによって、遠景側となる左眼用画像の右辺I2側及び右眼用画像の左辺I1側の領域の幅の検出及びその領域の特定を行うことも可能である。
また、本実施の形態では、図5の(a)に示すように、左眼用画像及び右眼用画像のそれぞれの長軸方向(第1軸方向)において互いに対向する第1端部及び第2端部をそれぞれ左辺I1及び右辺I2とし、それぞれの長軸と直交する短軸方向(第2軸方向)において互いに対向する第3端部及び第4端部をそれぞれ上辺I3及び下辺I4とする。すなわち、本実施の形態において、第1〜第4端部は、任意の一点ではなく、その辺全体を含むものである。
なお、本実施の形態では、左眼用画像及び右眼用画像は、現在のディスプレイの形状にあわせて矩形となっているが、これに限らず、ディスプレイの形状にあわせた画像の形状であればよく、例えばレーストラック形状(第1端部及び第2端部が曲線)、表示面が曲面であるものや、フレキシブルディスプレイであってもよい。
対象画素選定部131は、左眼用画像に対する視差最大幅の検出処理の場合には左眼用画像から、また、右眼用画像に対する視差最大幅の検出処理の場合には右眼用画像から、一致画素値判定部132が判定対象とする画素を選定する。対象画素選定部131は、画像取得部12が取得した画像群のうち、最初の画像を取得すると、デフォルト値として設定されている画素(例えば、左眼用画像の最左上の画素(左辺I1及び上辺I3の交点に最も近い画素)及び右眼用画像の最右上の画素(右辺I2及び上辺I3の交点に最も近い画素))を選定する。対象画素選定部131は、対象画素を選定すると、その画素位置を一致画素値判定部132に通知する。
また、対象画素選定部131は、一致画素値判定部132から画素値不一致の判定結果を受信した場合、又は、距離比較部134から処理完了の通知を受信した場合に、再度対象画素を選定し、その画素位置を一致画素値判定部132に通知する。なお、画素の選定順の決定方法については、図4の説明において説明する。
また、対象画素選定部131は、視差最大幅検出部13による検出処理が完了すると、その処理が完了した旨を画像領域特定部14に通知する。
一致画素値判定部132は、対象画素選定部131が選定した対象画素の画素位置の通知を受信すると、当該対象画素の画素値と、その対象画素を含む画像に対応する画像(例えば、左眼用画像から対象画素が選定されている場合には、その対応する画像は右眼用画像)において、当該対象画素に対応する画素の画素値とが一致するか否かを判定する。この一致画素値判定部132の処理は、例えば特許文献1に示される対応点検出部の処理と同様であってもよい。具体的には、画素値の一致を判定するための閾値を設け、当該閾値を超えるか否かに基づき画素値の一致を判断するものであってもよい。
換言すれば、一致画素値判定部132は、左眼用画像について視差最大幅の検出処理の場合には、左眼用画像の対象画素の画素値と、右眼用画像の、当該対象画素に対応する位置にある対応画素の画素値とが一致するか否かを判定する。同様に、一致画素値判定部132は、右眼用画像について視差最大幅の検出処理の場合には、右眼用画像の対象画素の画素値と、左眼用画像の、当該対象画素に対応する位置にある対応画素の画素値とが一致するか否かを判定する。
ここで、「対象画素に対応する位置にある対応画素」とは、対象画素の画素位置と対応画素の画素位置とが、左眼用画像又は右眼用画像において全く同じ座標位置(x,y)を示すわけではなく、3次元表示を行うときの両画像において互いに対応する画素を指す。これは、3次元表示では視差が存在するため、両画像において互いに対応する画素(画素値が一致する画素)の画素位置は左右にずれるからである。例えば、左眼用画像において対象画素を選定した場合、その対象画素の画素位置(x,y)とすると、その対象画素の対応画素の画素位置は(x+d,y)となる。
また、対象画素選定部131は、輝度値変更部16からの指示を受信すると、第1画像領域T1及び第2画像領域T2以外の画像領域の画素群のうち、この処理用のデフォルト値として設定されている画素を選定する。例えば、左眼用画像の最右上の画素(右辺I2及び上辺I3の交点に最も近い画素)及び右眼用画像の最左上の画素(左辺I1及び上辺I3の交点に最も近い画素)が、デフォルト値として設定されている。対象画素選定部131は、対象画素を選定すると、その画素位置を一致画素値判定部132に通知する。
一致画素値判定部132は、対象画素選定部131が選定した対象画素の画素位置の通知を受信すると、当該対象画素の画素値と、その対象画素を含む画像に対応する画像において、当該対象画素に対応する画素の画素値とが一致するか否かを判定する。
一致画素値判定部132は、これら2つの画素値が一致しなかった場合には、一方の視差画像における対象画素に対応する画素が他方の視差画像にはないと判定し、その対象画素の画素位置を輝度値変更画素情報182として記憶部18に記憶する。そして、一致画素値判定部132は、対象画素選定部131に次の画素を選定させるために、処理完了の通知を行う。
対象画素選定部131は、その通知を受信すると、次の対象画素(例えば、左眼用画像の場合、最右上画素に隣接し、かつ、短軸方向に存在する画素)を選定する。対象画素選定部131は、一致画素値判定部132から通知を受信するたびに、次の対象画素を選定する。第1画像領域T1及び第2画像領域T2以外の画像領域の画素群の全てを対象画素と選定し、一致画素値判定部132から処理完了の通知を受信すると、その旨を輝度値変更部16に送信する。これにより、輝度値変更部16が輝度値変更処理を行うことが可能となる。
一致画素値判定部132は、上記2つの画素値が一致した場合には、その旨を示す判定結果を距離算出部133に通知し、当該2つの画素値が一致しなかった場合には、その旨を示す判定結果を対象画素選定部131に通知する。
なお、本実施の形態では、一致画素値判定部132が、左眼用画像及び右眼用画像の「画素」の画素値が一致するか否かにより、両画像に同じ像が存在するか否かを判定している。これに限らず、一致画素値判定部132は、単一「画素」ではなく、「複数の画素の集合体」を1つの単位として画素値が一致するかにより同じ像が存在するか否かを判定してもよい。
距離算出部133は、一致画素値判定部132から画素値一致の判定結果を受信すると、左眼用画像に対する処理の場合には左辺I1と対象画素との距離を算出し、右眼用画像に対する処理の場合には右辺I2と対象画素との距離を算出する。距離算出部133は、その算出結果を距離比較部134に送信する。
距離比較部134は、距離算出部133から受信した算出結果と、記憶部18に記憶されている黒表示幅情報181の示す値(初期値は0)とを比較し、算出結果の方が大きいと判定した場合には当該算出結果に黒表示幅情報181を書き換える。一方、算出結果が記憶部18に記録されている黒表示幅情報181の示す値以下であると判定した場合には、その書き換え処理を行わない。換言すれば、距離比較部134は、一致画素値判定部132が一致すると判定した画素値を有する画素の、左眼用画像の左辺I1又は右眼用画像の右辺I2からの最大距離を特定するものである。
ここで、黒表示幅情報181とは、上記比較を行うまでに書き換えられた、任意の対象画素と左辺I1との距離、又は、任意の対象画素と右辺I2との距離のうち、上記比較を行う時点での最大距離を示す値を示すものである。黒表示幅情報181は、視差最大幅検出部13の検出処理が完了した時点では(画像領域特定部14が第1画像領域T1及び第2画像領域T2の特定処理を行うために記憶部18から読み出すときには)、第1画像領域T1及び第2画像領域T2が有する幅(視差最大幅)それぞれを示す値となっている。なお、左眼用画像の視差最大幅を左側最大幅と称し、右眼用画像の視差最大幅を右側最大幅と称する場合がある。
距離比較部134は、算出結果の方が大きい場合には記憶部18の黒表示幅情報181の書き換え後に、また、算出結果が黒表示幅情報181の示す値以下である場合にはその判定後に、当該距離比較部134による処理が完了した旨を対象画素選定部131に通知する。
以上のように、視差最大幅検出部13の視差最大幅の検出処理により、画像領域特定部14が、左辺I1又は右辺I2を基準として規定され、上辺I3から下辺I4にわたり連通する第1画像領域T1又は第2画像領域T2を特定することができる。
画像領域特定部14は、対象画素選定部131から視差最大幅検出部13による検出処理が完了した旨の通知を受信すると、記憶部18から黒表示幅情報181を読み出し、図5の(b)に示す第1画像領域T1、及び/又は、第2画像領域T2を特定する。
画像領域特定部14は、黒表示幅情報181が示す左側最大幅が0より大きい場合には、左眼用画像の左辺I1から左側最大幅を有し、上辺I3から下辺I4にわたり連通する領域を第1画像領域T1として特定する。同様に、画像領域特定部14は、黒表示幅情報181が示す右側最大幅が0より大きい場合には、右眼用画像の右辺I2から右側最大幅を有し、上辺I3から下辺I4にわたり連通する領域を第2画像領域T2として特定する。
一方、画像領域特定部14は、黒表示幅情報181が示す左側最大幅又は右側最大幅が0の場合には、第1画像領域T1又は第2画像領域T2の特定は行わない。すなわち、画像領域特定部14は、少なくとも第1画像領域T1又は第2画像領域T2の特定を行うものである。
換言すれば、画像領域特定部14は、距離比較部134が特定した最大距離を、第1画像領域T1が有する左辺I1からの幅、及び、第2画像領域T2が有する右辺I2からの幅として決定するものである。
なお、コンテンツは複数の画像から構成されており、この中には例えば、近景を含まない画像が存在する、又は、近景を含む画像ではあるが、その画像の左右端近傍には近景が存在しない画像が部分的に存在することがある。このような画像に対しては、画像領域特定部14は、第1画像領域T1及び第2画像領域T2の何れも特定しなくてもよい(左側最大幅及び右側最大幅がともに0としてもよい)。
また、本実施の形態では、第1画像領域T1及び上記第2画像領域T2は矩形となっているが、これに限られたものではない。例えばレーストラック形状の画像であれば、第1画像領域T1及び第2画像領域T2はそれぞれ、左眼用画像の第1端部又は右眼用画像の第2端部から一定の幅を有するような領域であってもよいし、第1端部又は第2端部と短軸に平行な線分とにより囲まれた領域であってもよい。また、本実施の形態のような矩形の画像であっても、第1画像領域T1及び第2画像領域T2を形成する線分(左辺I1、右辺I2、上辺I3及び下辺I4でない線分)が短軸に平行でなくてもよく、また、線分でなく曲線等であってもよい。また、レーストラック形状の画像以外にも、例えば表示面が曲面であるものや、フレキシブルディスプレイなどが挙げられる。
しかし、第1画像領域T1及び第2画像領域T2が矩形である場合、これらの領域を有する第1視差画像及び第2視差画像が矩形であるため、これらの画像を3次元表示する表示装置(例えば表示装置40)のディスプレイも矩形であれば表示効率がよい。この場合、そのディスプレイの製造時において、ディスプレイの基板(パネル)を矩形として、その元となるガラス板から取得することができる。すなわち、その基板を効率よくガラス板から取得することができるので、その基板、ひいてはディスプレイ及び表示装置の量産性を高くすることができる。
画像領域特定部14は、第1画像領域T1及び/又は第2画像領域T2の特定が完了すると、その旨を画素値変更部15及び輝度値変更部16に通知する。
画素値変更部15は、画像領域特定部14からの通知を受信すると、画像領域特定部14が特定した少なくとも第1画像領域T1又は第2画像領域T2の画素値を、所定のパターンを示す画素値に変更する。画素値変更部15は、画素値の変更を完了すると、変更後の左眼用画像及び右眼用画像の画素値を示す画像情報を画像出力部17に送信する。
ここで、所定のパターンとは、第1画像領域T1及び第2画像領域T2の像を表示させないようにするための模様、色彩等を示すパターンをいい、例えば黒、黒の類似色、細かい縞模様及びドット等のパターンが挙げられる。本実施の形態において、3次元表示される画像の立体感の低下を確実に抑制するためには、所定のパターンは単一の暗色であることが好ましく、特に黒色であることが好ましい。単一の暗色(特に黒色)である場合には、立体感の低下を確実に抑制することができる。
なお、この所定のパターンを示す画素値に変更する処理は、画像出力部17において第1画像領域T1又は第2画像領域T2を除去する処理、及び、画像出力部17の出力先(例えば表示装置40)において非表示にする処理を行わせるための通知を画像出力部17に行う処理を示していてもよい。
輝度値変更部16は、画像領域特定部14が特定した第1画像領域T1及び第2画像領域T2以外の画像領域において、少なくとも一方の視差画像にあって他方の視差画像にはない像の画素の輝度値を高くするための輝度変更指示を生成する。具体的には、輝度値変更部16は、画像領域特定部14からの通知を受信すると、対象画素選定部131に処理開始の指示を行い、視差最大幅検出部13に輝度値変更画素情報182を生成させる。輝度値変更部16は、対象画素選定部131から処理完了の通知を受信すると、記憶部18に記憶された輝度値変更画素情報182を読み出し、輝度値変更画素情報182が示す画素と、変更するための輝度値とを、輝度変更指示として生成する。
ここで、一方の視差画像にあって他方の視差画像にはない像は、3次元表示されても像が重ねられない。一方、右眼用画像及び左眼用画像の両方に存在する像は、3次元表示されると像が重ねられる。つまり、3次元表示された場合、一方の視差画像にあって他方の視差画像にはない像は、両画像に存在する像に比べて、その像を表す画素の輝度値が最大で半分程度(1〜2倍程度)に低くなってしまう。
そこで、その輝度値の低下による画質の低下を防ぐために、輝度値変更部16は、少なくとも当該像の輝度値(左眼用画像の右側領域及び右眼用画像の左側領域に存在する画素の輝度値)を高くするための輝度変更指示を生成し、画像出力部17に送信している。
なお、一方の視差画像にあって他方の視差画像にはない像を表す画素の輝度値が最大で通常の半分程度となっていることから、輝度値変更画素情報182が示す輝度値は、当該像を表す輝度値の2倍程度(1〜2倍程度)に設定されることが好ましい。また、輝度値変更部16が輝度値を高くする画素は、輝度値変更画素情報182に限らず、その周辺画素を含んでもよい。また、輝度を高くする画素と高くしない画素との境界に輝度のグラデーションを与えることにより、輝度を高くした箇所が視聴者に与える違和感を緩和してもよい。
画像出力部17は、画素値変更部15から変更後の左眼用画像及び右眼用画像の画素値を示す画像情報を受信し、輝度値変更部16から輝度変更指示を受信すると、その画像情報に基づく出力用の右眼用画像及び左眼用画像を生成し、これらの画像を輝度変更指示とともに、ディスプレイを有する表示装置(例えば表示装置40)に出力する。これにより、その表示装置では、画像処理装置1により画像処理が行われた画像をディスプレイに表示することができるとともに、輝度変更指示により、その表示装置が有するバックライトからの出射光が調整され、少なくとも一方の視差画像にあって他方の視差画像にはない像を表す画素の輝度値を高めることができる。
なお、画像出力部17は、最終的な表示画像としての右眼用画像及び左眼用画像を生成することなく、その元となる画素値変更部15からの画像情報をそのまま出力してもよい。また、輝度値変更部16により輝度値変更処理は必ずしも行われる必要はなく、この場合、画像処理装置1はその構成部材として輝度値変更部16を備えていなくてもよい。
また、記憶部18は、画像処理制御部11が実行する(1)各部の制御プログラム、(2)OSプログラム、(3)アプリケーションプログラム、および、(4)これらプログラムを実行するときに読み出す各種データを記録するものである。画像処理制御部11は、例えばROM(Read Only Memory)フラッシュメモリなどの不揮発性の記憶装置によって構成されるものである。なお、上述した一次記憶部は、RAMなどの揮発性の記憶装置によって構成されているが、本実施の形態では、記憶部18が一次記憶部の機能も備えているものとして説明する場合もある。記憶部18は、例えば黒表示幅情報181や輝度値変更画素情報182などを格納している。
なお、画素値変更部15による処理が行われると、第1画像領域が有する幅T1又は第2画像領域T2が有する幅に相当する視差を持った近景より奥に配置される像又はその一部は過剰に除去されることとなる。しかしながら、このように過剰に除去される像は常に遠景であり、視聴者に対して強調表示されるわけではないので、視聴者に違和感を与えるという影響は小さい。
上記「過剰に除去される」ことについて、図2を用いてより具体的について説明する。図2は、近景画像及び遠景画像について説明するための図であり、(a)は、近景画像として表示されるときの様子を示すものであり、(b)は、遠景画像として表示されるときの様子を示すものである。
図2に示すように、3次元画像において、近景(手前に飛び出して見える画像)は、右眼用画像を左眼用画像に対して「左に」シフトさせて表示させている。すなわち、視聴者の両目の視線はディスプレイより手前で焦点を結ぶことになり、画像が手前に飛び出しているように錯覚する。一方、遠景(奥に引っ込んで見える画像)は、右眼用画像を左眼用画像に対して「右に」シフトさせて表示させている。すなわち、視聴者の両目の視線は、ディスプレイよりも奥で焦点を結ぶことになり、画像が奥に引っ込んでいるように錯覚する。なお、実際の画像では、通常、近景の像と遠景の像とが混在している(一枚の画像の中に、右にシフトされた像と左にシフトされた像とが混在している)。
例えば図5の(a)において、飛行機(像A及び像A’)及び気球(像C及び像C’)は近景、山(像B及びB’)は遠景となっている。飛行機及び気球を手前に飛び出しているように見せるためには、右眼用画像は左眼用画像に対して「左に」シフトさせる必要がある。このとき、近景の像が画像の中心付近にあれば、片方の画像だけに近景の像があることによる立体感の低下という問題は無い。しかし、図5の(a)に示す飛行機のように、左眼用画像の左辺I1側にあると、「左に」シフトした右眼用画像ではディスプレイの枠からはみ出してしまうことになる。また、気球についても、右眼用画像の右辺I2側にあると、左眼用画像は右眼用画像に対して逆に右にシフトしていることになるので、同様にディスプレイの枠からはみ出してしまうことになる。
本願では、特許文献1の問題点(図10の(c)に示すような画像のない不自然な領域が現れる点)を解消するために、上辺I3から下辺I4にわたり連通するように第1画像領域T1及び第2画像領域T2を特定し、当該領域を所定のパターンを示す画素値に変更している(例えば黒表示させている)。このとき、当然ながら除去幅の範囲内にある背景の山(遠景)も除去(黒表示)される。
ここで、遠景の山は、図2の(b)に示すように、近景と逆方向にシフト(右眼用画像が左眼用画像に対して「右に」シフト)されている。このため、本実施の形態では、近景に特化して、左右の像が重ねられるように第1画像領域T1及び第2画像領域T2の画素値を所定のパターンを示す画素値を変更しているので、遠景にとっては、逆に除去する必要の無い側の像の画素値を変更してしまうことになる。
つまり、近景にとって、左右の像が重ねられるように処理することは、遠景にとって、重ねることのできない領域を広げてしまうことになる。すなわち、画素値変更部15による処理が行われると、近景より奥に配置される像又はその一部が「過剰に除去される」ことになる。しかしながら、上述のように、このように過剰に除去される像は遠景であり、視聴者に対して強調表示されるわけではないので、視聴者に違和感を与えるという影響は小さい。このため、本実施の形態のように、近景に特化した処理を行うことは、上記問題点を解決するのに有益であるといえる。
〔画像処理装置における処理〕
次に、図3〜図5に基づき、画像処理装置における処理の一例、及び、その処理過程を示す画像の一例について説明する。なお、具体的な処理の説明については上述したので、ここではその説明を省略する。
まず、図3を用いて、画像処理装置1の処理の全体的な流れの一例について説明する。図3は、画像処理装置1における処理の一例を示すフローチャートである。
画像取得部12がコンテンツとしての画像群を取得すると、視差最大幅検出部13は、視差最大幅(黒表示幅情報181)の検出を、左眼用画像及び右眼用画像それぞれについて行う(S1)。
視差最大幅検出部13の対象画素選定部131は、その検出が完了すると、処理完了の通知を画像領域特定部14に送信する。画像領域特定部14は、その通知を受信すると、記憶部18から黒表示幅情報181を読み出し、黒表示幅情報181が示す左側最大幅を有する第1画像領域T1、及び、黒表示幅情報181が示す右側最大幅を有する第2画像領域T2を特定する(S2)。ここでは、第1画像領域T1及び第2画像領域T2が特定されているが、左側最大値が0である場合には第1画像領域T1が、右側最大値が0である場合には第2画像領域T2が特定されない。
画像領域特定部14は、第1画像領域T1及び第2画像領域T2を特定すると、その旨を画素値変更部15及び輝度値変更部16に通知する。画素値変更部15は、第1画像領域T1の画素値、及び、第2画像領域T2の画素値を、所定のパターンが示す画素値(例えば黒表示を示す画素値)に変更する(S3)。そして、画素値変更部15は、変更後の左眼用画像及び右眼用画像の画素値を示す画像情報を、画像出力部17に送信する。
また、輝度値変更部16は、視差最大幅検出部13に、輝度値変更画素情報182を生成するように指示することにより、輝度値を変更する画素の検出(輝度値変更画素情報182の生成)を行わせる(S4)。輝度値変更部16は、視差最大幅検出部13から処理完了の通知を受信すると、輝度値変更画素情報182が示す画素の輝度値を高めるための輝度変更指示を生成し、その輝度変更指示を画像出力部17に送信する。
画像出力部17は、画素値変更部15からの画像情報及び輝度値変更部16からの輝度変更指示を受信すると、出力用の右眼用画像及び左眼用画像を生成し、これらの画像を輝度変更指示とともに、例えば表示装置40に出力する(S5)。これにより、画像処理装置1による処理が完了する。
次に、図4を用いて、図3に示すS1の処理(視差最大幅検出部13の処理)の流れについて説明する。図4は、視差最大幅検出部13における処理の一例を示すフローチャートである。ここでは、図4を用いて、左眼用画像に対する視差最大幅検出部13の処理について説明するが、視差最大幅検出部13は、これと同様の処理を右眼用画像についても行うものとする。すなわち、図4中の「左」を全て「右」に置き換えれば、右眼用画像の処理を示すフローチャートとなる。
まず、対象画素選定部131は、左眼用画像の左端(左辺I1)において対象画素を選定する(S11)。この処理の開始時には、例えばデフォルト値としての最左上の画素が選定される。対象画素選定部131は、選定した画素位置を一致画素値判定部132に通知する。
一致画素値判定部132は、対応する右眼用画像の横一列について、左眼用画像の対象画素に対応する画素があるか否かを判定する(S12)。ここで、対応する右眼用画像の横一列に、左眼用画像の対象画素に対応する画素があるか否かを判定するに当たっては、以下のような手順を用いることができる。本願で処理しようとする対象は近景であり、視聴者に対してディスプレイよりも手前に存在するように表示するため、左眼用画像を基準にすると右眼用画像では左にずらして配置され、右眼用画像を基準にすると左眼用画像では右にずらして配置される。したがって、左眼用画像で設定された対象画素について、右眼用画像において、対象画素の座標位置から左方向に移動しながら対応する画素を検索することによって、近景の対応する画素が存在するか否かを判定できる。一方、右眼用画像で設定された対象画素については、左眼用画像において、対象画素の座標位置から右方向に移動しながら対応する画素を検索することによって、近景の対応する画素が存在するか否かを判定できる。
対応する画素がある場合(S12でYes)、画素値一致を示す判定結果を距離算出部133に通知し、対応する画素がない場合(S12でNo)、画素値不一致を示す判定結果を対象画素選定部131に通知する。
S12でNoの場合、対象画素選定部131は、左眼用画像において、現在の対象画素の1つ右の画素を新たな対象画素として選定し、一致画素値判定部132にその画素位置を再度通知し(S13)、S12の処理に戻る。
S13の処理において、コンテンツによっては、その製作者の意図から、左眼用画像の左半分以上の画素値、又は右眼用画像の右半分以上の画素値が一致しない(像が異なる)場合がある。この場合に、S12〜S16の処理を行うと、ほとんどの領域が黒表示となってしまうため、視聴者が見づらい画像に処理されてしまう虞がある。また、左眼用画像の場合、左辺I1に近い像が近景であり、近景ほど立体感の低下が顕著に現れることを考慮すれば、右辺I2側の画素までS12〜S16の処理を行う必要はない。このため、例えば、画像の半分の位置にある画素の位置(長軸方向)までが、対象画素の変更を行う画素として設定されていることが好ましい。または、画像の半分の位置に限らず、予め決められた位置(長軸方向)までの範囲が、変更を行う画素として設定されていることが好ましい。
一方、S12でYesの場合、距離算出部133は、対象画素の左辺I1からの距離を算出し、算出結果を距離比較部134に送信する(S14)。距離比較部134は、記憶部18に保存(記憶)されている左側最大幅(黒表示幅情報181)より大きいか否かを比較する(S15)。
算出結果が記憶部18の左側最大幅よりも大きい場合(S15でYes)、距離比較部134は、S14における算出結果を新たな左側最大幅として、記憶部18に保存し(S16)、対象画素選定部131に処理完了の通知を行う。一方、算出結果が記憶部18の左側最大幅以下である場合(S15でNo)には、距離比較部134は、特に処理を行わずに、対象画素選定部131に処理完了の通知を行う。
対象画素選定部131は、その通知を受信すると、左端の全画素について調べたか(S12〜S16の処理が行われたか)を判定する(S17)。S17における判定は、例えば、デフォルト値としての最左上の画素が選定され、そこから一列ずつ下に下がりながら対応する画素が存在するか否かを調べる場合には、最下列まで対応する画素の判定を行ったかどうかを判定するものである。また、対象画素選定部131は、S13の処理と同様の理由から、画像の半分の位置にある画素(長軸方向)までが、対象画素として検出する画素として設定されていることが好ましい。または、画像の半分の位置に限らず、予め決められた位置(長軸方向)までの範囲が、変更を行う画素として設定されていることが好ましい。
図4に示す処理により、視差最大幅検出部13は、画像領域特定部14が読み出す黒表示幅情報181(視差最大幅)を記憶部18に記憶することができる。
次に、図5を用いて、画像処理装置1による画像処理(図3及び図4の処理)の経過の一例について説明する。図5は、画像処理装置1による画像処理経過の一例を示すものであり、(a)は画像処理装置1が処理を行う前の元画像を示す図であり、(b)は画像処理装置1が元画像に対して処理を行った後の画像を示す図であり、(c)は(b)に示す画像が3次元表示されたときの画像を示す図である。
まず、画像取得部12が取得する右眼用画像及び左眼用画像の元画像がそれぞれ図5の(a)に示すような画像の場合、図3に示すS1及びS2の処理により、画像領域特定部14は、それぞれの元画像において、画素値が異なる画素部分を第1画像領域T1及び第2画像領域T2として特定する。なお、図5の(a)に示す左眼用画像及び右眼用画像では、一方の視差画像にあって他方の視差画像にはない像が含まれているものとする。
続いてS3の処理(画素値変更部15の処理)が行われることにより、画像出力部17が出力する右眼用画像及び左眼用画像(S3の処理後の画像)はそれぞれ、図5の(b)に示すような画像となる。
この場合、図5の(c)に示すように、出力先(例えば表示装置40)にて表示される画像を見るユーザが近景に焦点をあわせた場合、図5の(b)に示す右眼用画像の像A及び左眼用画像の像A’(像Aと像A’とは同一の飛行機を示す像)に焦点が合う。画像処理装置1では、画像領域特定部14が、第1画像領域T1及び第2画像領域T2のそれぞれを、一定の幅(視差最大幅)を有する、上辺I3から下辺I4にわたり連通する領域として特定している。したがって、画素値変更部15が当該領域の画素値を所定のパターンを示す画素値に変更したときに、図5の(b)に示すように、縦一列の領域を黒表示とすることができる。
つまり、画像処理装置1による処理の場合、図5の(c)に示すように、近景に焦点をあわせた場合であっても、遠景に焦点をあわせた場合であっても、不自然な画像が生じることはなく、近景がディスプレイ枠に重なることもない。特許文献1では、図10の(b)に示すように、左眼用画像及び右眼用画像において、像の異なる部分だけを除去していたために、画像のない不自然な領域P及びQが現れ、これにより立体感の低下を招いていた。本実施の形態では、図5の(c)に示すように、このような不自然な領域が現れないため、立体感の低下を防ぐことができるので、視聴者に良好な画質のコンテンツを提供することができる。
以上のように、画像処理装置1(その制御方法)は、第1画像領域T1および第2画像領域T2の少なくとも一方を特定する画像領域特定部14(画像領域特定ステップ)と、画像領域特定部14が特定した少なくとも第1画像領域T1又は第2画像領域T2の画素値を、所定のパターンを示す画素値に変更する画素値変更部15(画素値変更ステップ)とを備える。ここで、第1画像領域T1は、左眼用画像にあって右眼用画像にはない像を含む領域であって、左眼用画像の左辺I1を基準として規定され、上辺I3から下辺I4にわたり連通する画像領域である。また、第2画像領域T2は、右眼用画像にあって左眼用画像にはない像を含む領域であって、右眼用画像の右辺I2を基準として規定され、上辺I3から下辺I4にわたり連通する画像領域である。
この構成により、図10の(b)に示すように、左眼用画像及び右眼用画像で一致しない像をそれぞれの画像から除去するだけでなく、その像を含む領域に存在する画素値を所定のパターンを示す画素値に変更することができる。このため、3次元表示されたときに、図10の(c)に示すような画像のない不自然な領域が現れるのを防ぐことができ、立体感の低下を抑制することができる。
〔画像処理装置1の適用例〕
次に、図6を用いて、画像処理装置1の適用例について説明する。図6は、画像処理装置1の要部構成を有する記録再生装置10及び表示装置40の概略構成の一例を示す図である。なお、以下では、記録再生装置10及び表示装置40が画像処理装置1の機能を有するものとして説明するが、両装置のいずれかがその機能を備えるだけでもよく、さらには、両装置ともその機能を有さず、画像処理装置1と接続されている構成であってもよい。
また、図6では、記録再生装置10と表示装置40とが接続されているが、それぞれ単独の構成であってもよい。この場合には、記録再生装置10及び表示装置40のそれぞれに画像処理装置1の機能が備えられているか、又は、両装置それぞれが画像処理装置1に接続されている構成となる。
図6に示すように、記録再生装置10は、画像処理装置1により画素値が変更された画像が記録された光ディスク100(情報記録媒体)に対して再生制御を行う再生装置、及び/又は、画像処理装置1により画素値が変更された画像が記録された光ディスク100に対して記録制御を行う記録装置として機能するものである。これに限らず、記録再生装置10は、画像処理装置1により画素値が変更される前の画像を記録している光ディスク(一般的な従来の光ディスク)に対して再生制御を行う再生装置であってもよく、また、画素値が変更された画像を記録することが可能な光ディスク(例えば情報が記録されていない光ディスク(ブランクディスク))に対して記録制御を行う記録装置であってもよい。なお、この光ディスクは、光ディスク100が画像処理装置1により画素値が変更される前の画像を記録している場合、または、ブランクディスクの場合である場合には、光ディスク100であってもよい。
記録再生装置10は、再生装置として機能する場合には後述の記録制御部352(記録制御手段)を、記録装置として機能する場合には後述の再生制御部351(再生制御手段)を、必ずしも備えている必要はない。また、記録再生装置10が記録又は再生制御可能な光ディスクは、後述の光ディスク100に限らず、一般的な光ディスク(DVD規格やBlu−ray(登録商標)規格の光ディスク)であってもよいが、ここでの説明では主に光ディスク100として説明する。なお、光ディスク100の概略構成については後述する。
記録再生装置10は、主として、記録再生回路群31、ディスク装填認識部32、スピンドル33、光ピックアップ34、記録再生制御部35及び記録再生記憶部36を備えている。
スピンドル33は、光ディスク100を固定して回転させるためのものである。
ディスク装填認識部32は、光ディスク100の装填を検出するためのものであり、例えば、各種センサが例示できるが、光ディスク100の装填を検出できるものであれば、どのようなセンサを用いても良い。また、ディスク装填認識部32は、検出した結果を検出信号として記録再生制御部35に出力するようになっている。
記録再生記憶部36は、記録再生制御部35が実行する(1)各部の制御プログラム、(2)OSプログラム、(3)アプリケーションプログラム、および、(4)これらプログラムを実行するときに読み出す各種データを記録するものである。記録再生記憶部36は、例えばROM(Read Only Memory)フラッシュメモリなどの不揮発性の記憶装置によって構成されるものである。記録再生記憶部36には、画像処理装置1により画素値が変更された画像を含むコンテンツ、光ディスクから読み取ったコンテンツ(光ディスク100の場合には画像処理装置1により画素値が変更された画像を含むコンテンツ)等が記憶される。また、記録再生装置10が画像処理装置1の機能を有するので、記録再生記憶部36には、記憶部18に記憶されている黒表示幅情報181、輝度値変更画素情報182等も記憶されている。
記録再生回路群31は、スピンドル33や光ピックアップ34を駆動するためのものであり、主として、ピックアップ駆動回路311、レーザ駆動回路312、検出回路313及びスピンドル回路314を備えている。
ピックアップ駆動回路311は、光ピックアップ34全体を、光ディスク100の所望の記録・再生部位へ移動させるためのものである。さらに、該記録・再生部位におけるフォーカスおよびトラッキング制御のために、光ピックアップ34内のアクチュエータ(不図示)を動作させるためのものである。
レーザ駆動回路312は、光ディスク100に照射する光の強度を、記録・再生などに適した強度にするよう、光ピックアップ34内のレーザ(不図示)を動作させるためのものである。
検出回路313は、光ディスク100から反射される光を検出するためのものであり、主に、フォーカスおよびトラッキングのために、ピックアップ駆動回路311へフィードバックされるサーボ信号と、光ディスク100の情報を含むRF信号を生成する。また、光ピックアップ34から出射される光の強度を一定に保つため、光ピックアップ34の一部から反射された光を検出し、レーザ駆動回路312へフィードバックされるサーボ信号も生成する。
スピンドル回路314は、記録再生制御部35から駆動の指示があると、スピンドル33、すなわち光ディスク100を最適な回転速度で回転させるためのものである。具体的には、記録再生制御部35は、ディスク装填認識部32からの検出信号を受信した場合や、後述の操作部30による入力指示(再生指示など)を受け付けた場合に、スピンドル回路314に駆動の指示を行う。
光ピックアップ34は、レーザから出射される光を光ディスク100へ集光するとともに、光ディスク100からの反射光を分岐し、検出回路313まで導くための光学系である。
記録再生制御部35は、主として、画像処理装置1の画像処理制御部11(不図示)、再生制御部351及び記録制御部352を備え、例えば制御プログラムを実行することにより、記録再生装置10を構成する部材を制御するものである。記録再生制御部35は、記録再生記憶部36に格納されているプログラムを、例えばRAM(Random Access Memory)等で構成される一次記憶部(不図示)に読み出して実行することにより、取得した左眼用画像及び右眼用画像に対する画像処理、光ディスク100に対しての再生又は記録制御等の各種処理を行う。なお、画像処理制御部11の処理については上述したので、ここではその説明を省略する。
再生制御部351は、装填された光ディスクに対して再生制御を行うものである。例えば、再生制御部351は、画像処理装置1により画素値が変更された画像が記録された光ディスク100に対して再生制御を行うものである。これにより、画像処理装置1により処理された画像を含むコンテンツを、表示装置40に表示させることができる。
また、再生制御部351は、画像処理装置1により画素値が変更される前の画像を再生するものであってもよい。この場合、画像処理装置1により画素値が変更される前の画像(すなわち、従来の一般的な3次元表示のための画像)が光ディスクに記録されている場合であっても、再生制御部351が当該画像を再生し、当該画像に対して、画像処理装置1による画像処理を順次行っていくことによって(例えば再生と同時にリアルタイムに画像処理することによって)図10の(c)に示すような不自然な領域が現れない3次元画像を視聴者に提供することができる。
換言すれば、再生制御部351は、光ディスク100に記録された画像処理装置1により画素値が変更された画像、及び、一般的な光ディスクに記録された画像処理装置1により画素値が変更される前の画像の少なくとも一方を再生するものである。
記録制御部352は、装填された光ディスクに対して記録制御を行うものである。例えば、記録制御部352は、画像処理装置1により画素値が変更された画像が記録された光ディスク100に対して記録制御を行うものである。これにより、画像処理装置1あるいは自装置の画像処理制御部11にて処理された画像を含むコンテンツを、光ディスク100に記録することができる。
また、記録制御部352は、光ディスク(例えばブランクディスク)に対して、画像処理装置1により画素値が変更された画像を記録するものであってもよい。この場合、この光ディスクに、画像処理装置1により画素値が変更された画像を保存することができる。このため、たとえ表示装置40及び/又は記録再生装置10に画像処理装置1が備えられていない場合であっても、当該画像を読み出すだけで、図10の(c)に示すような不自然な領域が現れない3次元画像を視聴者に提供することができる。
また、記録再生制御部35が画像処理制御部11を備えることにより、特に画像処理装置1と接続されていなくても、画像処理装置1と同様、立体感の低下を抑制した画像を含むコンテンツを生成することができる。また、光ディスクに記録されているコンテンツを読み出して、そのコンテンツの画像に対して画像処理制御部11の処理を施し、処理後のコンテンツをその光ディスク又は他の光ディスクに記録することが可能となる。
以上、記録再生装置10について説明した。ここで、一般的に、記録再生装置10には、メモリ20、操作部30、表示装置40等が付設される。この場合、記録再生装置10の記録再生制御部35は、装置内部だけでなく、メモリ20、操作部30等の外部機器とのやり取りを全般的に担うためのものでもある。以下、これらについて説明する。なお、メモリ20、操作部30、表示装置40等は、記録再生装置10の内部に含まれた構成で実現されてもよい。
メモリ20は、例えばUSB(Universal Serial Bus)メモリやHDD等の外付けの(取り外し可能な)補助記憶装置として機能するものであり、記録再生記憶部36に格納された各種プログラムやデータの一部を格納できるものである。なお、メモリ20は、これに限らず、例えばRAM等で構成してよく、光ディスク100のROM層、RE層、あるいはR層から読み出した情報、外部から取得した情報等を一時的に記憶するものであってもよい。
操作部30は、利用者が記録再生装置10を動作させるための指示信号を入力するものであり、例えば、記録再生装置10を遠隔操作するリモコンや、記録再生装置10自体に設けられた操作ボタン、あるいは、記録再生装置10に接続された、マウスやキーボードなどで構成されている。操作部30を用いて利用者により入力された指示信号は、図示しない入出力制御部を介して、上述の機能ブロック各部に送られる。これにより、利用者は記録再生装置10を操作することが可能となる。
表示装置40は、3次元表示を行うことが可能な装置であり、例えば、LCD(液晶ディスプレイ)、PDP(プラズマディスプレイパネル)、またはCRT(cathode-ray tube)ディスプレイ等を有する。また、表示装置40は、3次元表示を実現するために、主として表示制御部41及び表示記憶部42を備えている。
表示制御部41は、主として画像処理制御部11(不図示)を備え、例えば制御プログラムを実行することにより、表示装置40を構成する部材を制御するものである。表示制御部41は、記憶部18に格納されているプログラムを、例えばRAM(Random Access Memory)等で構成される一次記憶部(不図示)に読み出して実行することにより、取得した左眼用画像及び右眼用画像に対する画像処理、ディスプレイへの画像表示処理等の各種処理を行う。
表示制御部41が画像処理制御部11を備えているので、表示装置40のディスプレイは、画像処理装置1により画素値が変更された画像を表示することが可能なものといえる。
表示記憶部42は、表示制御部41が実行する(1)各部の制御プログラム、(2)OSプログラム、(3)アプリケーションプログラム、および、(4)これらプログラムを実行するときに読み出す各種データを記録するものである。表示記憶部42は、例えばROM(Read Only Memory)フラッシュメモリなどの不揮発性の記憶装置によって構成されるものである。表示記憶部42には、画像処理装置1あるいは自装置により画素値が変更された画像を含むコンテンツが記憶される。また、表示装置40が画像処理装置1の機能を有するので、表示記憶部42には、記憶部18に記憶されている黒表示幅情報181、輝度値変更画素情報182等も記憶されている。
以上の構成により、表示装置40は、特に画像処理装置1と接続されていなくても、画像処理装置1と同様、立体感の低下を抑制した画像を含むコンテンツを生成することができる。
〔記録再生装置10で利用される光ディスク100の構成〕
次に、光ディスク100の各記録層の概略構成を、図7を用いて説明する。図7は、光ディスク100の各記録層の概略構成の一例を示す図である。なお、以下の説明において、光ディスク100が有する層として、再生専用の記録層をROM(Read Only Memory)層と呼び、書き換え可能な記録層をRE(RE-writable)層と呼び、追記録可能な記録層をR(Recordable)層と呼ぶ。
図7に示すように、光ディスク100は、基板101、RE層102、透明樹脂からなる中間層103、ROM層104、カバー層105がその順に積層されてなり、通常、カバー層105側から再生光が入射される。
RE層102には、BCA領域(管理領域)102a、リードイン領域102b、ユーザデータ領域102c、及びリードアウト領域102dが設けられている。同様に、ROM層104には、BCA領域(管理領域)104a、リードイン領域104b、ユーザデータ領域104c、及びリードアウト領域104dが設けられている。
なお、同図では、光ディスク100は、RE層102およびROM層104をそれぞれ1層ずつ備えるものとして説明している。しかしながら、光ディスク100は、RE層102およびROM層104を複数層備える構成で実現されてもよい。換言すれば、光ディスク100は、情報を読み出すことのみ可能なROM層104と、情報を追記録可能な又は情報を書き換えることが可能なR層又はRE層102と、を少なくとも備えるものである。また、RE層102およびROM層104が積層される順序は、同図に記載された順序に限られず、任意に決めることができる。
さらに、同図では、BCA領域は、RE層102およびROM層104の両方に存在している。しかしながら、BCA領域は、何れか一方の層にのみ存在してもよい。
BCA領域102a・104aは、光ディスク100の最内周で、トラッキング制御が不要な領域またはフォーカス制御のみでアクセス可能なバーコード状の記録領域である。BCA領域102a・104aは、コンテンツ等の情報が記録されている一般的な記録マークと比較すると桁違いに大きいマーク形状を有し、通常の記録再生装置では情報の書き換えはできない。従って、BCA領域102a・104aは、製造時にのみ情報の書き込みを行うことが可能な領域(すなわち書き換え不可能な領域)と言える。BCA領域102a・104aにおける各識別情報の記録順序(又は配置方法)は、通常規格などによって決められている。記録再生装置10では、光ディスク100が挿入されると、まずBCA領域102a・104aの情報を読み取りにいくように設計されている。
そのBCA領域102a・104aには、複数の光ディスク100に共通する媒体共通情報が記録される。媒体共通情報の具体例としては、光ディスク100の記録層のタイプ(再生専用型、追記型、書き換え型)、光ディスク100のサイズ、光ディスク100の規格バージョンが挙げられる。さらに、BCA領域102a・104aには、個々の光ディスク100に固有の情報である媒体固有情報が記録される。
リードイン領域102b・104bは、光ディスク100においてBCA領域102a・104aの外周側に、記録層ごとに設けられた領域である。また、リードイン領域102b・104bには、製造時にのみ情報の書き込みを行うことが可能な領域(すなわち書き換え不可能な領域)だけでなく、追記型や書き換え型の場合には、記録再生装置10に挿入された後に情報の追記録あるいは書き換えを行うことが可能な領域が設けられている。リードイン領域102b・104bには、例えば光ディスク100への記録・再生の標準条件、各層に対する記録再生装置10のアクセスの許可不許可(アクセス制限)を示す情報、製造時の欠陥および使用中にできた欠陥の位置を示す情報などが記録される。
ユーザデータ領域102c・104cは、OS(Operating System)などの基本ソフト、アプリケーション、あるいはコンテンツ、及び、それらに付随する利用者データ(個人情報)など、様々な情報が記録されている(または記録可能な)領域である。また、これらの情報が記録されている位置・アドレスや、複数の情報の相関関係(ファイル、ディレクトリのルート)などの管理情報も記録されている。
本実施の形態では、例えばROM層104のユーザデータ領域104cには、ディスクサプライヤーが用意したアプリケーションやコンテンツ等が記録されている。このコンテンツは、画像処理装置1により画素値が変更された右眼用画像及び左眼用画像であってもよい。この場合、視聴者は、光ディスク100を購入、再生するだけで、立体感の低下を抑制した画像を有するコンテンツを視聴することができる。なお、ROM層104のユーザデータ領域104cには、画像処理装置1により画素値が変更される前の右眼用画像及び左眼用画像が記録されていてもよく、また、何も記録されていないブランクディスクであってもよい。
また、ユーザデータ領域104cには、画像処理制御部11の画像処理を実現するための画像処理プログラム(画像処理装置1の制御プログラム)が記録されていてもよい。この場合、記録再生装置10は、画像処理装置1の機能を有していなくても、当該画像処理プログラムを読み出すだけで、当該機能を実行することができる。
一方、RE層102のユーザデータ領域102cには、画像処理装置1(あるいはその機能を有する記録再生装置10)により画素値が変更された画像、及び、当該画像処理装置1により画素値が変更される前の画像の少なくとも一方が記録される画像記録領域1021が備えられている。
このため、光ディスク100には、画像処理装置1により画素値が変更された画像を画像記録領域1021に記録することができる。また、光ディスク100に対して再生制御された場合には、上記の画像を再生することができるので、立体感の低下を抑制した画像を含むコンテンツを視聴者に提供することができる。
また、画像記録領域1021には、画像処理装置1により画素値が変更される前の画像を記録することもできるので、例えば記録再生装置10が当該画像を読み出すことにより、その画像に対して画像処理装置1(又は、画像処理装置1の機能を有する記録再生装置10あるいは表示装置40)が画像処理を施すことができる。ゆえに、この場合であっても、立体感の低下を抑制した画像を視聴者に提供することができる。
さらに、例えば記録再生装置10は、光ディスク100に記録された、予め画素値が変更された画像を再生することになるので、再生の度に画素値を変更する処理を行う必要が無い。
リードアウト領域102d・104dは、通常、光ディスク100の各層の最外周側に設けられており、記録層の終了位置を示すものである。
以上のように、光ディスク100は、R層又はRE層102(記録可能領域)と、ROM層104(再生専用領域)と、を少なくとも備えた構成である。このR層又はRE層102には、画像処理装置1により画素値が変更された画像(処理後の画像)、及び、画像処理装置1により画素値が変更される前の画像(処理前の画像)の少なくとも一方が記録される画像記録領域1021を備える。一方、ROM層104には、画像処理プログラムが記録されている。
この構成によれば、画像処理プログラムと、当該画像処理プログラムが処理対象とする処理前の画像とを、一体に(1つの情報記録媒体に)保存することができる。このため、例えばこの画像処理プログラムを有しない再生装置であっても、光ディスク100が挿入されると、この画像処理プログラムと処理前の画像とを光ディスク100から読み出して、当該処理前の画像に画像処理装置1による画像処理を施すことができる。したがって、光ディスク100を利用することによって、3次元表示されたときの立体感の低下を防ぐことができる。
また、画像処理プログラムと処理後の画像とを一体に(1つの情報記録媒体に)保存することもできる。例えば、この画像処理プログラムが記録されている光ディスクに画像記録領域1021が備えられておらず、また、再生装置が画像処理プログラムを有していない場合には、ユーザ(視聴者)は、この光ディスクから画像処理プログラムを読み出した後に、一旦その光ディスクを取り出し、処理後の画像を記録可能な記録可能領域を有する別の光ディスクを挿入し、当該光ディスクに処理後の画像を記録する必要がある。光ディスク100であれば、画像処理プログラムと処理後の画像とを一体に保存可能であるため、画像処理プログラムを有しない再生装置に挿入されたとしても、上記のように光ディスクを交換することなく、光ディスク100に記録されている画像処理プログラムを用いることができるとともに、その光ディスク100に処理後の画像を記録することができる。ゆえに、ユーザの負担を軽減し、光ディスクの利便性を向上させることができる。
以上、光ディスク100について説明した。ここで、光ディスク100として、例えば、DVD規格やBlu−ray(登録商標)規格の光ディスクであり、DVD規格の記録型ディスク(DVD-R・DVD-RW・DVD-RAM・DVD-R DL)のCPRM対応ディスクおよびDVD−ROMディスクと、Blu−ray規格の記録型ディスク(BD-RE、BD-R)やBD−ROMディスクを用いることができる。また、上記では、光ディスク100がRE層102を備える場合について説明したが、これに限らず、ROM層104のみを備える構成であってもよい。
また、光ディスク100は、R層又はRE層102及びROM層104を備えた構成、すなわち、再生専用領域及び記録可能領域のぞれぞれの機能を層毎に実現した構成となっているが、1つの層に再生専用領域及び記録可能領域を有する構成であってもよい。
〔画像処理装置1の変形例〕
次に、図8及び図9に基づき、画像処理装置1の変形例について説明する。図8は、変形例としての画像処理装置1の要部構成の一例を示すブロック図であり、図9は、変形例としての画像処理装置1における処理の一例を示すフローチャートである。
上述した画像処理装置1は、視差最大幅検出部13が図4に示す処理を行うことにより得られた黒表示幅情報181に基づいて、画像領域特定部14が第1画像領域T1及び/又は第2画像領域T2を特定していた。一方、この変形例では、画像領域特定部14が、予め設定されている黒表示幅情報181を用いて第1画像領域T1及び/又は第2画像領域T2を特定する。この場合、黒表示幅情報181は、コンテンツに依存してコンテンツ提供者が予め設定していてもよく、また、画像処理装置1に予め設定されていてもよい。コンテンツ提供者により設定されている場合には、例えばコンテンツの付随情報として黒表示幅情報181を取得し、記憶部18に記憶される。
また、画像処理制御部11の機能ブロックは、距離算出部133及び距離比較部134が存在しないこと以外、上述した画像処理装置1と同じである。これは、距離算出部133及び距離比較部134が、黒表示幅情報181を生成するためのみに用いられる機能ブロックであり、黒表示幅情報181が予め設定されている変形例では必要とならないからである。また、記憶部18に記憶される情報については、上述の画像処理装置1と同じである。
変形例では、画像取得部12が右眼用画像及び左眼用画像を含むコンテンツを受信すると、そのコンテンツを画像領域特定部14に送信する。画像領域特定部14は、記憶部18に予め記憶されている黒表示幅情報181を読み出し、第1画像領域T1及び第2画像領域T2を特定する。すなわち、画像領域特定部14は、予め設定された左側最大幅を有する第1画像領域T1、及び、予め設定された右側最大幅を有する第2画像領域T2を特定する(S21)。なお、左側最大値が0である場合には第1画像領域T1が、右側最大値が0である場合には第2画像領域T2が特定されない。すなわち、変形例では、視差最大幅検出部13は、黒表示幅情報181を生成せず、輝度値変更画素情報182を生成するだけである。
その後のS22〜S24の処理については、図3に示すS3〜S5の処理と同じであるため、その説明を省略する。
以上のように、変形例では、第1画像領域T1が有する左辺I1からの幅、及び、第2画像領域T2が有する右辺I2からの幅がそれぞれ予め設定されているので、画像毎にその幅を決める(第1画像領域T1又は第2画像領域T2を特定する)必要がない。このため、画像領域特定部14による処理の簡略化を図ることができるので、装置全体の処理速度を向上させることができる。
また、複数の画像の集合体であるコンテンツに対して画像処理装置1による処理が行われる場合で、かつ、そのコンテンツがライブ配信による場合には、その配信にあわせて画像処理(画像領域特定部14及び画素値変更部15による処理)を行う必要がある。この場合、その処理に遅延が生じた場合には、3次元表示される画像がちらついてしまう虞がある。
しかし、上記の幅が予め設定されていることにより、そのような処理遅延が生じることを防ぐことができるので、ライブ配信されるコンテンツに対する画像処理を行う場合には特に好適である。
〔まとめ〕
本発明の態様1に係る3次元画像の表示方法は、左眼用画像と右眼用画像とが提示され、上記左眼用画像と上記右眼用画像とに水平方向に視差を与えることによりユーザに3次元画像として視認させる3次元画像の表示方法であって、少なくとも上記左眼用画像がその左端から所定幅を有する第1画像領域を有するか、または、上記右眼用画像がその右端から所定幅を有する第2画像領域を有し、上記第1画像領域は、上記左眼用画像の上端から下端にわたり連通する画像領域であり、上記第2画像領域は、上記右眼用画像の上端から下端にわたり連通する画像領域であり、上記第1画像領域及び上記第2画像領域を、当該領域の画像を表示させないようにするための所定のパターンを示す画素値で表示するとともに、上記左眼用画像において、上記第1画像領域と接して表示される像の少なくとも一部を、上記右眼用画像における上下方向の略同一の位置に且つ上記右眼用画像の左端に表示される像と、3次元画像として視認可能なように略同一の像として表示し、上記右眼用画像において、上記第2画像領域と接して表示される像の少なくとも一部を、上記左眼用画像における上下方向の略同一の位置に且つ上記左眼用画像の右端に表示される像と、3次元画像として視認可能なように略同一の像として表示する方法である。
本発明の態様2に係る3次元画像の表示方法では、態様1において、
上記所定のパターンを示す画素値で表示される領域は、上記左眼用画像においては左端からの所定幅のみ、上記右眼用画像においては右端からの所定幅のみに存在することが好ましい。
本発明の態様3に係る3次元画像の表示方法では、態様1または2において、
上記所定のパターンは、単一の暗色であることが好ましい。
本発明の態様4に係る3次元画像の表示方法では、態様1から3のいずれかにおいて、
上記第1画像領域及び上記第2画像領域を上記所定のパターンを示す画素値で表示させるためのプログラムコードが、通信ネットワークを介して提供されることが好ましい。
本発明の態様5に係る3次元画像の表示方法では、態様1から4のいずれかにおいて、
上記左眼用画像及び上記右眼用画像の少なくとも一方の画像にあって他方の画像にはない像の画素の輝度値を、上記左眼用画像及び上記右眼用画像の両方にある像の画素の輝度値よりも高くすることが好ましい。
本発明の態様6に係る3次元画像の表示方法は、左眼用画像と右眼用画像とが提示され、上記左眼用画像と上記右眼用画像とに水平方向に視差を与えることによりユーザに3次元画像として視認させる3次元画像の配列方法であって、少なくとも上記左眼用画像がその左端から所定幅を有する第1画像領域を有するか、または、上記右眼用画像がその右端から所定幅を有する第2画像領域を有し、上記第1画像領域は、上記左眼用画像の上端から下端にわたり連通する画像領域であり、上記第2画像領域は、上記右眼用画像の上端から下端にわたり連通する画像領域であり、上記第1画像領域及び上記第2画像領域を、当該領域の画像を表示させないようにするための所定のパターンを示す画素値で設定するとともに、上記左眼用画像において、上記第1画像領域と接して表示される像の少なくとも一部を、上記右眼用画像における上下方向の略同一の位置に且つ上記右眼用画像の左端に表示される像と、3次元画像として視認可能なように略同一の像として設定し、上記右眼用画像において、上記第2画像領域と接して表示される像の少なくとも一部を、上記左眼用画像における上下方向の略同一の位置に且つ上記左眼用画像の右端に表示される像と、3次元画像として視認可能なように略同一の像として設定し、上記左眼用画像と上記右眼用画像とが交互に提示されるか、または、左右に配置されて順に提示されるように、上記左眼用画像及び上記右眼用画像を配列する方法である。
本発明の態様7に係る3次元画像の配列方法では、態様6において、
上記所定のパターンは、単一の暗色であることが好ましい。
本発明の態様8に係る3次元画像の配列方法では、態様6または7において、
上記第1画像領域及び上記第2画像領域を上記所定のパターンを示す画素値に設定するためのプログラムコードが、通信ネットワークを介して提供されることが好ましい。
〔本発明の別の表現〕
本発明の一態様は、以下のようにも表現できる。
すなわち、本発明の一態様に係る画像処理装置は、3次元表示のための第1視差画像及び第2視差画像に対して画像処理を行う画像処理装置であって、上記第1視差画像及び上記第2視差画像のそれぞれは、その第1軸方向において互いに対向する第1端部及び第2端部と、その第1軸と直交する第2軸方向において互いに対向する第3端部及び第4端部とを含み、下記第1画像領域および下記第2画像領域の少なくとも一方を特定する画像領域特定手段と、
(第1画像領域)上記第1視差画像にあって上記第2視差画像にはない像を含む領域であって、上記第1視差画像の上記第1端部を基準として規定され、上記第3端部から上記第4端部にわたり連通する画像領域;
(第2画像領域)上記第2視差画像にあって上記第1視差画像にはない像を含む領域であって、上記第2視差画像の上記第2端部を基準として規定され、上記第3端部から上記第4端部にわたり連通する画像領域;
上記画像領域特定手段が特定した少なくとも上記第1画像領域又は上記第2画像領域の画素値を、所定のパターンを示す画素値に変更する画素値変更手段と、を備える。
本発明の一態様に係る画像処理装置の制御方法は、3次元表示のための第1視差画像及び第2視差画像に対して画像処理を行う画像処理装置の制御方法であって、上記第1視差画像及び上記第2視差画像のそれぞれは、その第1軸方向において互いに対向する第1端部及び第2端部と、その第1軸と直交する第2軸方向において互いに対向する第3端部及び第4端部とを含み、下記第1画像領域および下記第2画像領域の少なくとも一方を特定する画像領域特定ステップと、
(第1画像領域)上記第1視差画像にあって上記第2視差画像にはない像を含む領域であって、上記第1視差画像の上記第1端部を基準として規定され、上記第3端部から上記第4端部にわたり連通する画像領域;
(第2画像領域)上記第2視差画像にあって上記第1視差画像にはない像を含む領域であって、上記第2視差画像の上記第2端部を基準として規定され、上記第3端部から上記第4端部にわたり連通する画像領域;
上記画像領域特定ステップにて特定された少なくとも上記第1画像領域又は上記第2画像領域の画素値を、所定のパターンを示す画素値に変更する画素値変更ステップと、を含む。
上記構成によれば、画像領域特定手段が、一方の視差画像にあって他方の視差画像にはない像を含む領域である第1画像領域又は第2画像領域を特定する。また、画像領域特定手段は、一方の視差画像にあって他方の視差画像にはない像が、第1視差画像の第1端部及び第2視差画像の第2端部の両方に存在する場合には、第1画像領域及び第2画像領域の両方を特定する。そして、画素値変更手段が、特定された第1画像領域の画素値又は第2画像領域の画素値を、所定のパターンを示す画素値に変更する。
ここで、所定のパターンとは、第1画像領域及び第2画像領域の像を表示させないようにするための模様、色彩等を示すパターンをいい、例えば黒、黒の類似色、細かい縞模様及びドット等のパターンが挙げられる。また、画素値とは、ある1つの画素について、その輝度と色彩とを数値で示したものである。
また、「直交する」の概念に関しては、第1軸と第2軸とが厳密な意味で90度で交差することを意味するものではない。つまり、第1軸と第2軸とが90度以外の角度で交差していても、第1視差画像および第2視差画像とにおいて、第1端部〜第4端部を独立して規定できるよう、第1軸および第2軸とが交差していれば、「直交する」の概念に含まれる。
したがって、図10の(b)に示すように、第1視差画像及び第2視差画像で一致しない像をそれぞれの画像から除去するだけでなく、その像を含む領域に存在する画素値を所定のパターンを示す画素値に変更することができる。このため、3次元表示されたときに、図10の(c)に示すような画像のない不自然な領域が現れるのを防ぐことができ、立体感の低下を抑制することができる。
特に、3次元表示されたときに、第1視差画像の第1端部側及び第2視差画像の第2端部側に近景の像が現れる場合には、上記の立体感の低下を抑制することが有効である。その理由を以下に説明する。
通常、3次元表示される場合、その画像における近景の像が視聴者側に飛び出すように表示される。すなわち、近景の像が視聴者に対して強調表示されるので、視聴者が注目し易く、遠景の場合に比べて、視聴者には奥行きの判別が特に困難となる結果、画像がぼやけて見えてしまう。すなわち、近景側ほど、第1視差画像及び第2視差画像で一致しない像が存在した場合の影響(立体感の低下という問題)が顕著に現れる。
本発明の一態様に係る画像処理装置は、近景の像が存在する第1視差画像の第1端部側及び第2視差画像の第2端部側のそれぞれにおいて第1画像領域及び第2画像領域を特定し、その領域の画素値を所定のパターンに変更している。つまり、近景において、一方の視差画像にあって他方の視差画像にはない像部分だけでなく、その像を含む第3端部及び第4端部にわたり連通する領域全ての像を表示させないようにしている。
このため、3次元表示されたときに、立体感に影響を及ぼし易い近景において、現実世界で有り得ない画像のない不自然な領域(図10の(c)に示す領域P)が現れてしまうのを防ぐことができる。すなわち、3次元表示される画像の品質の向上を図ることができる。
また、特許文献2では、水平シフトによる立体感の低下を防ぐために、画像のアスペクト比よりも横長のアスペクト比を有するディスプレイを用意しておく必要があった。しかし、本発明の一態様に係る画像処理装置の処理によれば、水平シフトによる画像処理を行わないため、アスペクト比を変更することなく立体感の低下を防ぐことができる。
また、本発明の一態様に係る画像処理装置の処理によれば、第1画像領域及び第2画像領域をそれぞれ個別に特定し、それぞれの領域の画素値を、所定のパターンを示す画素値に変更することもできる。しかし、特許文献2では、一対の画像の水平シフトにより、3次元表示されるときの画像端部の表示欠落を防いでいるため、左眼用画像及び右眼用画像となる画像それぞれの端部をそれぞれ異なる幅で除去する(第1画像領域と第2画像領域とをそれぞれ異なる範囲を有するように設定する)ことができない。
なお、例えば第1視差画像が左眼用画像であり、第2視差画像が右眼用画像である場合、第1視差画像の第1端部が左眼用画像の左側、及び、第2視差画像の第2端部が右眼用画像の右側が、3次元表示されるときの画像における近景を表すことになる。一方、第1視差画像の第2端部(例えば左眼用画像の右側)、第2視差画像の第1端部(例えば右眼用画像の左側)が、3次元表示されるときの画像における遠景を表すことになる。
本発明の一態様に係る画像処理装置は、上記第1視差画像の対象画素の画素値と、上記第2視差画像の、当該対象画素に対応する位置にある対応画素の画素値とが一致するか否か、及び、上記第2視差画像の対象画素の画素値と、上記第1視差画像の、当該対象画素に対応する位置にある対応画素の画素値とが一致するか否か、を判定する一致画素値判定手段と、上記一致画素値判定手段が一致すると判定した画素値を有する画素位置の、上記第1視差画像の第1端部又は上記第2視差画像の第2端部からの最大距離を特定する最大距離特定手段と、上記画像領域特定手段は、上記最大距離特定手段が特定した最大距離を、上記第1画像領域が有する第1端部からの幅、及び、上記第2画像領域が有する第2端部からの幅として決定することが好ましい。
上記構成によれば、一致画素値判定手段は、第1視差画像又は第2視差画像の対象画素の画素値と、当該対象画像に対応する第2視差画像又は第1視差画像の対応画像の画素値とが一致するか否かを判定する。最大距離特定手段は、その判定の結果、画素値が一致した場合の、その画素値を有する画素位置と、第1画像領域が有する第1端部との最大距離又は第2画像領域が有する第2端部との最大距離を特定する。
これにより、画像領域特定手段が、第1端部又は第2端部を基準として規定され、第3端部から第4端部にわたり連通する第1画像領域又は第2画像領域を特定することができる。
ここで、上述のように、第1視差画像の第1端部側の領域及び第2視差画像の第2端部側の領域に近景の像が現れ、かつ、その各領域の像が互いに一致しない場合には、遠景側に比べ、その一致しない影響(立体感の低下するという問題)が顕著に現れる。このため、近景側の像の不一致による立体感の低下を防ぐ場合には、特に、一致画素値判定手段は、第1視差画像の第1端部側の領域(又は第2視差画像の第2端部側の領域)に存在する画素の画素値が、第2視差画像(又は第1視差画像)の対応する位置にある対応画素の画素値に一致するか否かを判定することが好ましい。すなわち、この場合、対象画素は、第1視差画像の第1端部側の領域(第1端部に近い側)の画素、又は、第2視差画像の第2端部側の領域(第2端部に近い側)の画素であることが好ましい。
本発明の一態様に係る画像処理装置は、上記画像領域特定手段が特定する上記第1画像領域が有する第1端部からの幅、及び、上記第2画像領域が有する第2端部からの幅はそれぞれ、予め設定されていることが好ましい。
上記構成によれば、第1画像領域が有する第1端部からの幅、及び、第2画像領域が有する第2端部からの幅がそれぞれ予め設定されているので、画像毎にその幅を決める(第1画像領域又は第2画像領域を特定する)必要がない。このため、画像領域特定手段による処理の簡略化を図ることができるので、装置全体の処理速度を向上させることができる。
また、複数の画像の集合体であるコンテンツに対して本発明の一態様に係る画像処理装置による処理が行われる場合で、かつ、そのコンテンツがライブ配信による場合には、その配信にあわせて画像処理(画像領域特定手段及び画素値変更手段による処理)を行う必要がある。この場合、その処理に遅延が生じた場合には、3次元表示される画像がちらついてしまう虞がある。
しかし、上記の幅が予め設定されていることにより、そのような処理遅延が生じることを防ぐことができるので、ライブ配信されるコンテンツに対する画像処理を行う場合には特に好適である。
本発明の一態様に係る画像処理装置は、上記所定のパターンは、単一の暗色であることが好ましい。上記構成によれば、立体感の低下を確実に抑制することができる。
本発明の一態様に係る画像処理装置は、上記画像領域特定手段が特定した上記第1画像領域及び上記第2画像領域以外の画像領域において、少なくとも一方の視差画像にあって他方の視差画像にはない像の画素の輝度値を高くするための輝度変更指示を生成する輝度変更手段を備えることが好ましい。
上記構成によれば、画素値変更手段が所定のパターンを有する画素値に変更しない画像領域において一方の視差画像にあって他方の視差画像にはない像は、3次元表示されても像が重ねられない。一方、第1視差画像及び第2視差画像の両方に存在する像は、3次元表示されると像が重ねられる。つまり、3次元表示された場合、一方の視差画像にあって他方の視差画像にはない像は、両画像に存在する像に比べて、その像を表す画素の輝度値が最大で半分程度(1〜2倍程度)に低くなってしまう。
このため、輝度変更手段が少なくとも当該像の輝度値を高くするための輝度変更指示を生成することにより、3次元表示を実現する装置(例えば表示装置)において、当該像の輝度値を高めることができる。これにより、3次元表示されるときの画像における輝度のむらを低減させることができるので、視聴者にとって違和感のない画像(自然な画像)を提供することができる。
本発明の一態様に係る画像処理装置は、上記第1画像領域及び上記第2画像領域は矩形であることが好ましい。
上記構成によれば、第1画像領域及び第2画像領域が矩形である場合、これらの領域を有する第1視差画像及び第2視差画像が矩形であるため、これらの画像を3次元表示する表示装置のディスプレイも矩形であれば表示効率がよい。この場合、そのディスプレイの製造時において、ディスプレイの基板(パネル)を矩形として、その元となるガラス板から取得することができる。
一方、第1画像領域及び第2画像領域が矩形でない(複雑な形状である)場合には、表示効率を考慮すれば、ディスプレイの形状も矩形ではなく複雑な形状を有するため、そのディスプレイの基板も複雑な形状としてガラス板から取得されることとなる。このため、その基板の形状によってはガラス板から効率よく取得できない可能性がある。
したがって、第1画像領域及び第2画像領域が矩形である場合、表示効率の観点から、通常は3次元表示するためのディスプレイの基板を矩形とするため、これらの領域が矩形ではなく複雑な形状を有する(すなわち、ディスプレイの基板が複雑な形状である)場合に比べ、その基板を効率よくガラス板から取得することができる。このため、第1画像領域及び第2画像領域を矩形とすることにより、ディスプレイの基板、ひいてはディスプレイ及び表示装置の量産性を高くすることができる。
また、画素を点灯させるための回路を一列に形成可能であるため、本発明の一態様に係る画像処理装置がその回路を有する場合には、その設計を容易にすることができる。
本発明の一態様に係る表示装置は、上記に記載の画像処理装置と、上記画像処理装置により画素値が変更された画像を表示するディスプレイと、を備えることが好ましい。
上記構成によれば、表示装置は、本発明の一態様に係る画像処理装置を備えているので、当該画像処理装置と同様、3次元表示されたときに、図10の(c)に示すような画像のない不自然な領域が現れるのを防ぐことができ、立体感の低下を抑制することができる。
本発明の一態様に係る再生装置は、上記に記載の画像処理装置と、情報記録媒体に記録された、上記画像処理装置により画素値が変更された画像、及び、当該画像処理装置により画素値が変更される前の画像の少なくとも一方を再生する再生制御手段と、を備えることが好ましい。
上記構成によれば、再生装置は、本発明の一態様に係る画像処理装置を備えているので、(たとえ表示装置に画像処理装置が備えられていない場合であっても、)当該画像処理装置と同様、3次元表示されたときに、図10の(c)に示すような画像のない不自然な領域が現れるのを防ぐことができ、立体感の低下を抑制することができる。
また、本発明の一態様に係る画像処理装置により画素値が変更された画像が情報記録媒体に記録されている場合には、再生手段がその画像を再生するだけで、上記の不自然な領域が現れない3次元画像を視聴者に提供することができる。
一方、本発明の一態様に係る画像処理装置により画素値が変更される前の画像(すなわち、従来の一般的な3次元表示のための画像)が情報記録媒体に記録されている場合であっても、再生手段が当該画像を再生し、当該画像に対して、本発明の一態様に係る画像処理装置による画像処理を順次行っていくことによって(例えば再生と同時にリアルタイムに画像処理することによって)も、上記と同様、上記の不自然な領域が現れない3次元画像を視聴者に提供することができる。
本発明の一態様に係る記録装置は、上記に記載の画像処理装置と、情報記録媒体に対して、上記画像処理装置により画素値が変更された画像を記録する記録制御手段と、を備えることが好ましい。
上記構成によれば、記録装置は、本発明の一態様に係る画像処理装置を備えているので、(たとえ表示装置に画像処理装置が備えられていない場合であっても、)当該画像処理装置と同様、3次元表示されたときに、図10の(c)に示すような画像のない不自然な領域が現れるのを防ぐことができ、立体感の低下を抑制することができる。
また、情報記録媒体に、画像処理装置により画素値が変更された画像を保存することができるので、たとえ表示装置及び/又は再生装置に画像処理装置が備えられていない場合であっても、当該画像を読み出すだけで、上記の不自然な領域が現れない3次元画像を視聴者に提供することができる。
本発明の一態様に係る情報記録媒体は、上記に記載の画像処理装置により画素値が変更された画像、及び、当該画像処理装置により画素値が変更される前の画像の少なくとも一方が記録される画像記録領域を備えることが好ましい。
上記構成によれば、本発明の一態様に係る画像処理装置により画素値が変更された画像を記録することができる。このため、本発明の一態様に係る情報記録媒体に対して再生制御された場合には、上記の画像を再生することができるので、立体感の低下を抑制した画像を視聴者に提供することができる。
また、画像記録領域には、画像処理装置により画素値が変更される前の画像も記録することができるので、例えば再生装置が当該画像を読み出すことにより、その画像に対して画像処理装置(又は、画像処理装置の機能を有する再生装置あるいは表示装置)が画像処理を施すことができる。ゆえに、この場合であっても、立体感の低下を抑制した画像を視聴者に提供することができる。
また、例えば再生装置は、この情報記録媒体に記録された、予め画素値が変更された画像を再生することになるので、再生の度に画素値を変更する処理を行う必要が無い。
さらに、上記画像処理装置を動作させるための画像処理装置の制御プログラムであって、コンピュータを前記各手段として機能させるための画像処理装置の制御プログラム、及び、当該制御プログラムを記録した記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。
上記制御プログラムによれば、コンピュータで上記手段を実現することにより、コンピュータ上で画像処理装置を実現することができる。また、上記記録媒体によれば、記録媒体から読み出される制御プログラムを、汎用のコンピュータ上で実現することができる。
また、本発明の一態様に係る情報記録媒体は、上記に記載の画像処理装置により画素値が変更された画像、及び、当該画像処理装置により画素値が変更される前の画像の少なくとも一方が記録される画像記録領域を備える記録可能領域と、上記に記載の画像処理装置の制御プログラムが記録されている再生専用領域と、を少なくとも備えることが好ましい。
上記構成によれば、本発明の一態様に係る情報記録媒体は、再生専用領域と画像記録領域を有する記録可能領域とを有するので、画像処理装置の制御プログラムと、当該制御プログラムが処理対象とする画素値が変更される前の画像(処理前の画像)とを、一体に(1つの情報記録媒体に)保存することを可能とする。このため、例えばこの制御プログラムを有しない再生装置(例えばPC等)であっても、本発明の一態様に係る情報記録媒体が挿入されると、上記制御プログラムと処理前の画像とを当該情報記録媒体から読み出して、当該処理前の画像に本発明の一態様に係る画像処理装置による画像処理を施すことができる。したがって、本発明の一態様に係る情報記録媒体を利用することによって、3次元表示されたときの立体感の低下を防ぐことができる。
また、上記構成によれば、本発明の一態様に係る情報記録媒体は、再生専用領域と画像記録領域を有する記録可能領域とを有するので、画像処理装置の制御プログラムと、当該画像処理装置(もしくはその制御プログラム)により画素値が変更された画像(処理後の画像)とを一体に(1つの情報記録媒体に)保存することを可能とする。
例えば、この制御プログラムが記録されている情報記録媒体に画像記録領域を有する記録可能領域が備えられておらず、また、再生装置が制御プログラムを有していない場合には、ユーザ(視聴者)は、情報記録媒体から制御プログラムを読み出した後に、一旦その情報記録媒体を取り出し、処理後の画像を記録可能な記録可能領域を備えた情報記録媒体を挿入し、当該情報記録媒体に処理後の画像を記録する必要がある。
本発明の一態様に係る情報記録媒体であれば、制御プログラムと処理後の画像とを一体に保存可能であるため、制御プログラムを有しない再生装置に挿入されたとしても、上記のように情報記録媒体を交換することなく、情報記録媒体に記録されている制御プログラムを用いることができるとともに、その情報記録媒体に処理後の画像を記録することができる。ゆえに、ユーザの負担を軽減し、情報記録媒体の利便性を向上させることができる。
さらに、本発明の一態様は、以下のようにも表現できる。
すなわち、本発明の一態様に係る画像処理装置は、3次元表示のための第1視差画像及び第2視差画像に対して画像処理を行う画像処理装置であって、上記第1視差画像及び上記第2視差画像のそれぞれは、その第1軸方向において互いに対向する第1端部及び第2端部と、その第1軸と直交する第2軸方向において互いに対向する第3端部及び第4端部とを含み、下記第1画像領域および下記第2画像領域の少なくとも一方を特定するものであって、予め設定されている上記第1端部からの幅を用いて下記第1画像領域を特定し、予め設定されている上記第2端部からの幅を用いて下記第2画像領域を特定する画像領域特定手段と、
(第1画像領域)上記第1視差画像にあって上記第2視差画像にはない像を含む領域であって、上記第1視差画像の上記第1端部を基準として規定され、上記第3端部から上記第4端部にわたり連通する画像領域;
(第2画像領域)上記第2視差画像にあって上記第1視差画像にはない像を含む領域であって、上記第2視差画像の上記第2端部を基準として規定され、上記第3端部から上記第4端部にわたり連通する画像領域;
上記画像領域特定手段が特定した少なくとも上記第1画像領域又は上記第2画像領域の画素値を、上記第1画像領域及び上記第2画像領域の像を表示させないようにするための模様又は色彩を示す所定のパターンを示す画素値に変更する画素値変更手段と、上記画像領域特定手段が特定した上記第1画像領域及び上記第2画像領域以外の画像領域において、少なくとも一方の視差画像にあって他方の視差画像にはない像の画素の輝度値を高くするための輝度変更指示を生成する輝度変更手段と、を備える。
さらに、本発明の一態様に係る画像処理装置の制御方法は、3次元表示のための第1視差画像及び第2視差画像に対して画像処理を行う画像処理装置の制御方法であって、上記第1視差画像及び上記第2視差画像のそれぞれは、その第1軸方向において互いに対向する第1端部及び第2端部と、その第1軸と直交する第2軸方向において互いに対向する第3端部及び第4端部とを含み、下記第1画像領域および下記第2画像領域の少なくとも一方を特定するものであって、予め設定されている上記第1端部からの幅を用いて下記第1画像領域を特定し、予め設定されている上記第2端部からの幅を用いて下記第2画像領域を特定する画像領域特定ステップと、
(第1画像領域)上記第1視差画像にあって上記第2視差画像にはない像を含む領域であって、上記第1視差画像の上記第1端部を基準として規定され、上記第3端部から上記第4端部にわたり連通する画像領域;
(第2画像領域)上記第2視差画像にあって上記第1視差画像にはない像を含む領域であって、上記第2視差画像の上記第2端部を基準として規定され、上記第3端部から上記第4端部にわたり連通する画像領域;
上記画像領域特定ステップにて特定された少なくとも上記第1画像領域又は上記第2画像領域の画素値を、上記第1画像領域及び上記第2画像領域の像を表示させないようにするための模様又は色彩を示す所定のパターンを示す画素値に変更する画素値変更ステップと、上記画像領域特定ステップにて特定された上記第1画像領域及び上記第2画像領域以外の画像領域において、少なくとも一方の視差画像にあって他方の視差画像にはない像の画素の輝度値を高くするための輝度変更指示を生成する輝度変更ステップと、を含む。
その他、本発明の一態様は、以下のようにも表現できる。
すなわち、本発明の一態様に係る三次元画像の表示方法は、表示装置上に、右眼画像と左眼画像とを表示し、上記右眼画像と左眼画像とに水平方向に視差を与えることによりユーザーに三次元画像として視認させる三次元画像の表示方法において、少なくとも上記右眼用画像の右端から所定幅を有する第1領域、または、上記左眼用画像の左端から所定幅を有する第2領域が、上記左眼用画像の対応領域、または、上記右眼用画像の対応領域と相関性を持たない画像とする構成である。
また、本発明の一態様に係る三次元画像の表示方法は、上記所定の第1の幅、及び、上記所定の第2の幅は、一連の画像コンテンツの範囲内で一定とすることが好ましい。
また、本発明の一態様に係る三次元画像の表示方法は、上記所定の第1の幅は、上記左眼画像の左半分に有る画像情報のうち、上記左眼画像のみに含まれる画像情報の最も右側に存在する画素から、上記左眼画像の左端までの距離とし、上記所定の第2の幅は、上記右眼画像の右半分に有る画像情報のうち、上記右眼画像のみに含まれる画像情報の最も左側に存在する画素から、上記右眼画像の右端までの距離とすることが好ましい。
また、本発明の一態様に係る三次元画像の表示方法は、上記画像の上下に渡る除去の境界を、直線とすることが好ましい。
また、本発明の一態様に係る三次元画像の表示方法は、上記に記載の三次元画像の表示方法であって、上記の除去を行った後、上記左眼画像の右端近傍、及び、右眼画像の左端近傍において、何れか一方の画像のみに存在する画像情報の輝度を高めて表示することが好ましい。
〔補足〕
最後に、画像処理装置1の各ブロック、特に画像取得部12、視差最大幅検出部13(対象画素選定部131、一致画素値判定部132、距離算出部133及び距離比較部134)、画像領域特定部14、画素値変更部15、輝度値変更部16及び画像出力部17は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
すなわち、画像処理装置1は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、前記プログラムを格納したROM(read only memory)、前記プログラムを展開するRAM(random access memory)、前記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、前記画像処理装置1に供給し、そのコンピュータ(又はCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
前記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやコンパクトディスク−ROM/MO/MD/デジタルビデオデイスク/コンパクトディスク−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM(登録商標)/フラッシュROM等の半導体メモリ系などを用いることができる。
また、画像処理装置1を通信ネットワークと接続可能に構成し、前記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、前記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。