JPWO2012029371A1 - 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置 - Google Patents
立体画像生成方法、立体画像生成装置、およびそれを備える表示装置 Download PDFInfo
- Publication number
- JPWO2012029371A1 JPWO2012029371A1 JP2012531717A JP2012531717A JPWO2012029371A1 JP WO2012029371 A1 JPWO2012029371 A1 JP WO2012029371A1 JP 2012531717 A JP2012531717 A JP 2012531717A JP 2012531717 A JP2012531717 A JP 2012531717A JP WO2012029371 A1 JPWO2012029371 A1 JP WO2012029371A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- luminance
- pixel
- correction
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
Abstract
立体画像生成装置(10)において、輝度勾配算出部(11)は着目画素と隣接画素との間の輝度変化量を示す輝度勾配を算出し、右目用画像生成部(12)は当該輝度勾配と同符号の補正量で画素の輝度を補正し、左目用画像生成部(13)は当該輝度勾配と逆符号の補正量で画素の輝度を補正する。そうすれば左目用画像と右目用画像とで輝度分布に差が生じるため、奥行き情報を算出せずに立体視が可能となり、かつ画素の位置を変化させることがないので、二重に見えないまたは二重に見えにくくなる。
Description
本発明は、立体画像生成方法に関し、特に、平面(二次元)画像から立体視可能な立体画像を生成する方法、その生成装置、およびそれを備える表示装置に関する。
近年、3Dテレビジョン装置などの立体視を可能にする表示装置が多く販売されている。この3Dテレビジョン装置は、予め立体表示が可能なように構成された3D映画などの映像ソースに基づき、立体的な表示を行う。
しかし一般的なテレビジョン放送では、立体表示が可能なようには構成されていない二次元画像(平面画像)が提供されるので、この平面画像から立体表示可能な立体画像を生成することが望まれる。
平面画像を立体画像に変換する手法は、従来より様々なものがあり、例えば日本特開2002−245439号公報には、単眼カメラで取得された1枚の濃淡画像から被写体の立体的形状を高速に求める手法が開示されている。また、日本特開2010−92283号公報には、内視鏡で取得された1枚の画像から立体視を可能にするステレオ画像を生成する手法が開示されている。
しかし、日本特開2002−245439号公報に開示されている手法では、照明光の方向や被写体の反射率などの情報が予め必要であり、また奥行き情報を算出するための演算量が多くなるため処理に時間がかかる。
この点、日本特開2010−92283号公報に開示されている手法では、照明光の方向や被写体の反射率などの情報は予め必要ではないが、画像における輝度に基づき奥行き情報を算出するため、同様に演算量が多くなって処理に時間がかかる。
また、これらの手法を含む従来の手法では、立体視を可能にするための左目用画像と右目用画像とに含まれる被写体の位置を、視差を生じさせるために左右にずらすことが一般的である。そのため、例えば3Dテレビジョン装置などであって、左目用画像および右目用画像を交互に表示し、利用者である視聴者の一方の目の視界を妨げるアクティブシャッタ装置により上記画像を対応する目に与える構成の表示装置では、上記のような左目用画像と右目用画像とを高速で切り替えて交互に表示するため、アクティブシャッタ装置を使用しない(利用者でない)視聴者には二重に(ずれて)見えることになる。なお、このことは左目用画像および右目用画像を同時に表示し立体視を得る手法(例えば交差法など)においてもほぼ同様である。
さらに、上記従来の手法では、アクティブシャッタ装置を使用する視聴者自身も二重に(ずれて)見えることが多い。もちろん平面画像から立体画像への理想的な変換が行われる限り二重には見えないはずであるが、平面画像で隠れている部分を立体画像において見えるように補完することはほとんど不可能であり、また実際に、左右にずらされた画像が立体的に見えず、単純に二重に見えるという現象が多く発生する。
したがって本発明は、奥行き情報を算出するための演算を要せず、左目用画像と右目用画像とを表示しても二重に見えないまたは二重に見えにくい立体画像の生成方法、立体画像生成装置、およびそれを備える表示装置を提供することを目的とする。
本発明の第1の局面は、1つ以上の入力画像に基づき立体視可能な画像を生成する立体画像生成方法であって、
立体視を行うべき利用者の一方の目から他方の目への方向に対応する輝度勾配算出方向を定める始点および終点のうち、前記終点を前記入力画像に含まれる着目画素とし、前記始点を前記着目画素に隣接または近接する画素とするときの、前記始点とされる画素から前記着目画素への輝度勾配を算出する輝度勾配算出ステップと、
前記輝度勾配の正負と同符号の補正量を前記着目画素の輝度に加える第1の補正、および前記輝度勾配の正負と逆符号の補正量を前記着目画素の輝度に加える第2の補正のうちの少なくとも一方を行うことにより、前記入力画像に対して1つまたは2つの輝度補正された画像を生成する輝度補正画像生成ステップと
を備え、
輝度補正画像生成ステップでは、前記第1の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記入力画像のいずれかを前記利用者の前記他方の目に与えられるべき画像として出力するとともに、前記第2の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記入力画像のいずれかを前記利用者の前記一方の目に与えられるべき画像として出力することを特徴とする。
立体視を行うべき利用者の一方の目から他方の目への方向に対応する輝度勾配算出方向を定める始点および終点のうち、前記終点を前記入力画像に含まれる着目画素とし、前記始点を前記着目画素に隣接または近接する画素とするときの、前記始点とされる画素から前記着目画素への輝度勾配を算出する輝度勾配算出ステップと、
前記輝度勾配の正負と同符号の補正量を前記着目画素の輝度に加える第1の補正、および前記輝度勾配の正負と逆符号の補正量を前記着目画素の輝度に加える第2の補正のうちの少なくとも一方を行うことにより、前記入力画像に対して1つまたは2つの輝度補正された画像を生成する輝度補正画像生成ステップと
を備え、
輝度補正画像生成ステップでは、前記第1の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記入力画像のいずれかを前記利用者の前記他方の目に与えられるべき画像として出力するとともに、前記第2の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記入力画像のいずれかを前記利用者の前記一方の目に与えられるべき画像として出力することを特徴とする。
本発明の第2の局面は、本発明の第1の局面において、
前記輝度補正画像生成ステップでは、前記輝度勾配の絶対値が大きくなるほど、前記補正量の絶対値が大きくなるよう前記補正量を設定することを特徴とする。
前記輝度補正画像生成ステップでは、前記輝度勾配の絶対値が大きくなるほど、前記補正量の絶対値が大きくなるよう前記補正量を設定することを特徴とする。
本発明の第3の局面は、本発明の第2の局面において、
前記輝度補正画像生成ステップでは、前記輝度勾配の絶対値が所定の閾値以上である場合、前記入力画像のエッジ部分に前記着目画素が含まれるものとして、前記補正量をゼロにすることを特徴とする。
前記輝度補正画像生成ステップでは、前記輝度勾配の絶対値が所定の閾値以上である場合、前記入力画像のエッジ部分に前記着目画素が含まれるものとして、前記補正量をゼロにすることを特徴とする。
本発明の第4の局面は、1つ以上の入力画像に基づき立体視可能な画像を生成する立体画像生成装置であって、
立体視を行うべき利用者の一方の目から他方の目への方向に対応する輝度勾配算出方向を定める始点および終点のうち、前記終点を前記入力画像に含まれる着目画素とし、前記始点を前記着目画素に隣接または近接する画素とするときの、前記始点とされる画素から前記着目画素への輝度勾配を算出する勾配算出部と、
前記輝度勾配の正負と同符号の補正量を前記着目画素の輝度に加える第1の補正、および前記輝度勾配の正負と逆符号の補正量を前記着目画素の輝度に加える第2の補正のうちの少なくとも一方を行うことにより、前記入力画像に対して1つまたは2つの輝度補正された画像を生成する輝度補正画像生成部と
を備え、
輝度補正画像生成部は、前記第1の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記入力画像のいずれかを前記利用者の前記他方の目に与えられるべき画像として出力するとともに、前記第2の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記入力画像のいずれかを前記利用者の前記一方の目に与えられるべき画像として出力することを特徴とする。
立体視を行うべき利用者の一方の目から他方の目への方向に対応する輝度勾配算出方向を定める始点および終点のうち、前記終点を前記入力画像に含まれる着目画素とし、前記始点を前記着目画素に隣接または近接する画素とするときの、前記始点とされる画素から前記着目画素への輝度勾配を算出する勾配算出部と、
前記輝度勾配の正負と同符号の補正量を前記着目画素の輝度に加える第1の補正、および前記輝度勾配の正負と逆符号の補正量を前記着目画素の輝度に加える第2の補正のうちの少なくとも一方を行うことにより、前記入力画像に対して1つまたは2つの輝度補正された画像を生成する輝度補正画像生成部と
を備え、
輝度補正画像生成部は、前記第1の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記入力画像のいずれかを前記利用者の前記他方の目に与えられるべき画像として出力するとともに、前記第2の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記入力画像のいずれかを前記利用者の前記一方の目に与えられるべき画像として出力することを特徴とする。
本発明の第5の局面は、本発明の第4の局面において、
前記輝度補正画像生成部は、前記第1および第2の補正のうちの一方のみを行うことにより、輝度補正された1つの画像を生成することを特徴とする。
前記輝度補正画像生成部は、前記第1および第2の補正のうちの一方のみを行うことにより、輝度補正された1つの画像を生成することを特徴とする。
本発明の第6の局面は、本発明の第4の局面において、
前記入力画像は、立体視可能な画像であって、前記利用者の前記他方の目に与えられるべき第1の入力画像と、前記利用者の前記一方の目に与えられるべき第2の入力画像とからなり、
輝度補正画像生成部は、前記入力画像を立体視するときに得られる立体感をより強める場合に、前記第1の入力画像に対して行われる前記第1の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記第1の入力画像のいずれかを前記利用者の前記他方の目に与えられるべき画像として出力するとともに、前記第2の入力画像に対して行われる前記第2の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記第2の入力画像のいずれかを前記利用者の前記一方の目に与えられるべき画像として出力することを特徴とする。
前記入力画像は、立体視可能な画像であって、前記利用者の前記他方の目に与えられるべき第1の入力画像と、前記利用者の前記一方の目に与えられるべき第2の入力画像とからなり、
輝度補正画像生成部は、前記入力画像を立体視するときに得られる立体感をより強める場合に、前記第1の入力画像に対して行われる前記第1の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記第1の入力画像のいずれかを前記利用者の前記他方の目に与えられるべき画像として出力するとともに、前記第2の入力画像に対して行われる前記第2の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記第2の入力画像のいずれかを前記利用者の前記一方の目に与えられるべき画像として出力することを特徴とする。
本発明の第7の局面は、本発明の第6の局面において、
輝度補正画像生成部は、前記入力画像を立体視するときに得られる立体感をより弱める場合に、前記第1の入力画像に対して行われる前記第2の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記第1の入力画像のいずれかを前記利用者の前記他方の目に与えられるべき画像として出力するとともに、前記第2の入力画像に対して行われる前記第1の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記第2の入力画像のいずれかを前記利用者の前記一方の目に与えられるべき画像として出力することを特徴とする。
輝度補正画像生成部は、前記入力画像を立体視するときに得られる立体感をより弱める場合に、前記第1の入力画像に対して行われる前記第2の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記第1の入力画像のいずれかを前記利用者の前記他方の目に与えられるべき画像として出力するとともに、前記第2の入力画像に対して行われる前記第1の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記第2の入力画像のいずれかを前記利用者の前記一方の目に与えられるべき画像として出力することを特徴とする。
本発明の第8の局面は、本発明の第4の局面において、
前記輝度勾配算出部は、前記着目画素および当該着目画素に隣接または近接する画素からなる着目画素群の輝度と、前記始点とされる画素を含む前記始点となるべき画素群である始点画素群の輝度とに基づき、前記輝度勾配を算出することを特徴とする。
前記輝度勾配算出部は、前記着目画素および当該着目画素に隣接または近接する画素からなる着目画素群の輝度と、前記始点とされる画素を含む前記始点となるべき画素群である始点画素群の輝度とに基づき、前記輝度勾配を算出することを特徴とする。
本発明の第9の局面は、本発明の第8の局面において、
前記輝度勾配算出部は、前記着目画素および当該着目画素と前記輝度勾配算出方向に対して垂直方向に隣接または近接する複数の画素からなる着目画素群の輝度を加算した第1の加算値、前記輝度勾配算出方向に隣接または近接するとともに、前記垂直方向に沿って互いに隣接しまたは近接する始点画素群の輝度を加算した第2の加算値との差分値を、前記輝度勾配とすることを特徴とする。
前記輝度勾配算出部は、前記着目画素および当該着目画素と前記輝度勾配算出方向に対して垂直方向に隣接または近接する複数の画素からなる着目画素群の輝度を加算した第1の加算値、前記輝度勾配算出方向に隣接または近接するとともに、前記垂直方向に沿って互いに隣接しまたは近接する始点画素群の輝度を加算した第2の加算値との差分値を、前記輝度勾配とすることを特徴とする。
本発明の第10の局面は、本発明の第4の局面において、
輝度補正画像生成部は、前記輝度勾配の絶対値が大きくなるほど、前記補正量の絶対値が大きくなるよう前記補正量を設定することを特徴とする。
輝度補正画像生成部は、前記輝度勾配の絶対値が大きくなるほど、前記補正量の絶対値が大きくなるよう前記補正量を設定することを特徴とする。
本発明の第11の局面は、本発明の第4の局面において、
輝度補正画像生成部は、前記補正量の絶対値を所定値以下の大きさに制限することを特徴とする。
輝度補正画像生成部は、前記補正量の絶対値を所定値以下の大きさに制限することを特徴とする。
本発明の第12の局面は、本発明の第4の局面において、
輝度補正画像生成部は、前記入力画像のエッジ部分に前記着目画素が含まれる場合、前記補正量をゼロにすることを特徴とする。
輝度補正画像生成部は、前記入力画像のエッジ部分に前記着目画素が含まれる場合、前記補正量をゼロにすることを特徴とする。
本発明の第13の局面は、本発明の第12の局面において、
輝度補正画像生成部は、前記輝度勾配の絶対値が所定の閾値以上である場合、前記エッジ部分に前記着目画素が含まれるものとして、前記補正量をゼロにすることを特徴とする。
輝度補正画像生成部は、前記輝度勾配の絶対値が所定の閾値以上である場合、前記エッジ部分に前記着目画素が含まれるものとして、前記補正量をゼロにすることを特徴とする。
本発明の第14の局面は、本発明の第4の局面において、
輝度勾配算出部は、外部から与えられる前記利用者の一方の目から他方の目への方向情報に基づき前記輝度勾配算出方向を決定し、決定された当該輝度勾配算出方向へ前記輝度勾配を算出することを特徴とする。
輝度勾配算出部は、外部から与えられる前記利用者の一方の目から他方の目への方向情報に基づき前記輝度勾配算出方向を決定し、決定された当該輝度勾配算出方向へ前記輝度勾配を算出することを特徴とする。
本発明の第15の局面は、本発明の第4の局面に記載の立体画像生成装置と、
前記利用者の前記一方の目に与えられるべき画像と前記他方の目に与えられる画像とを交互に表示する表示部と、
前記表示部において前記一方の目に与えられるべき画像が表示される場合、前記利用者の他方の目により当該画像が見えないように遮断し、前記他方の目に与えられるべき画像が表示される場合、前記利用者の一方の目により当該画像が見えないように遮断するシャッタ部と
を備える、立体画像表示装置である。
前記利用者の前記一方の目に与えられるべき画像と前記他方の目に与えられる画像とを交互に表示する表示部と、
前記表示部において前記一方の目に与えられるべき画像が表示される場合、前記利用者の他方の目により当該画像が見えないように遮断し、前記他方の目に与えられるべき画像が表示される場合、前記利用者の一方の目により当該画像が見えないように遮断するシャッタ部と
を備える、立体画像表示装置である。
上記第1の局面によれば、着目画素と始点画素との間の輝度勾配を算出する簡単な演算だけで、奥行き情報を算出するための複雑な演算を要せず、十分な立体感を得られる立体画像を生成することができる。また輝度補正を行うだけで画素の位置を変化させることがないので、出力画像(典型的には左目用画像と右目用画像と)を(例えば交互に)表示しても二重に見えないまたは二重に見えにくくすることができる。さらにこのことから、例えばフレームシーケンシャル型の3Dテレビジョン装置等において、アクティブシャッタ装置を装着しない者(利用者でない視聴者)にも画像の内容を簡単に認識させることができ不快感を与えないようにすることができる。
上記第2の局面によれば、輝度勾配の絶対値が大きくなるほど、補正量の絶対値が大きくなるよう補正量が設定されるので、輝度が大きく変化する部分の立体感を結果的に強めることができる。
上記第3の局面によれば、輝度勾配の絶対値が所定の閾値以上である場合、エッジ部分に着目画素が含まれるものとして補正量をゼロにするので、エッジ付近での輝度変化が異常に大きくなることを回避することができ、またエッジ付近において2つの出力画像(典型的には右目用画像および左目用画像)の(輝度の)違いを抑制ないし解消することができる。そのため、利用者が立体画像を見たときに画像が二重に見えることを確実に防止することができる。さらに補正量の算出のために予め算出される輝度勾配をエッジ検出に使用することができる点で、上記エッジ検出を正確かつ簡単な演算で行うことができる。
上記第4の局面によれば、上記本発明の第1の局面の効果と同様の効果を立体画像生成装置において奏することができる。
上記第5の局面によれば、第1および第2の補正のうちの一方のみが行われるので、両方を行う場合よりもさらに簡単な演算で、奥行き情報を算出するための複雑な演算を要せず、十分な立体感を得られる立体画像を生成することができる。
上記第6の局面によれば、簡単な演算で、奥行き情報を算出するための複雑な演算を要せず、第1および第2の入力画像(典型的には右目用画像および左目用画像)からさらに立体感を強調した立体画像を生成することができる。また補正量の絶対値を大きくすることにより立体感を強めることができるので、立体感を強める程度を任意に設定することができる。
上記第7の局面によれば、簡単な演算で、第1および第2の入力画像(典型的には右目用画像および左目用画像)からさらに立体感を強調した立体画像、または逆に立体感を弱めた立体画像を生成することができる。また補正量の絶対値を大きくすることにより立体感を強めることができ、補正量の絶対値を小さくすることにより立体感を弱めることができるので、立体感を強める程度または弱める程度を任意に設定することができる。
上記第8の局面によれば、着目画素群の輝度と始点画素群の輝度とに基づき輝度勾配が算出されるので、1つの着目画素を終点とし、1つの始点画素を始点とする場合に比べて画素値が異常である場合すなわちノイズの影響がある場合にその影響を小さくすることができる。
上記第9の局面によれば、着目画素群の輝度を加算した第1の加算値と始点画素群の輝度を加算した第2の加算値との差分値が輝度勾配として算出されるので、ノイズの影響が平均化されることによりノイズの影響を小さくすることができ、また輝度勾配の算出を簡単な演算で行うことができる。
上記第10の局面によれば、輝度勾配の絶対値が大きくなるほど、補正量の絶対値が大きくなるよう補正量が設定されるので、上記第2の局面における効果と同様、輝度が大きく変化する部分の立体感を結果的に強めることができる。
上記第11の局面によれば、補正量の絶対値を所定値以下の大きさに制限されるので、補正量の絶対値が大きくなりすぎることによる異常な(出力画像となる)輝度補正を防止し、適正な輝度補正を行うことができる。
上記第12の局面によれば、入力画像のエッジ部分に着目画素が含まれる場合、補正量がゼロにされるので、エッジ付近での輝度変化が異常に大きくなることを回避することができ、またエッジ付近において2つの出力画像(典型的には右目用画像および左目用画像)の(輝度の)違いを抑制ないし解消することができる。そのため、利用者が立体画像を見たときに画像が二重に見えることを確実に防止することができる。
上記第13の局面によれば、輝度勾配の絶対値が所定の閾値以上である場合、エッジ部分に着目画素が含まれるものとして補正量をゼロにするので、補正量の算出のために予め算出される輝度勾配をエッジ検出に使用することができ、エッジ検出を正確かつ簡単な演算で行うことができる。
上記第14の局面によれば、外部から与えられる利用者の一方の目から他方の目への方向情報に基づき輝度勾配算出方向が決定されるので、典型的には利用者の顔の傾きに応じた、立体画像に対する実際の視差方向に適した(立体感を有する)立体画像を生成することができる。
上記第15の局面によれば、上記本発明の第4の局面の効果と同様の効果を立体画像表示装置において奏することができる。
以下、本発明の各実施形態について添付図面を参照して説明する。
<1. 第1の実施形態>
<1.1 全体的構成および動作>
図1は、本発明の第1の実施形態に係る立体画像生成装置の構成を示すブロック図である。図1に示されるように、この立体画像生成装置10は、外部から平面画像(二次元画像)を含む映像信号Dpを受け取り当該平面画像における隣接画素の輝度勾配を算出する輝度勾配算出部11と、上記平面画像および輝度勾配に基づき右目用画像DRを生成する右目用画像生成部12および左目用画像DLを生成する左目用画像生成部13と、右目用画像DRおよび左目用画像DLから立体画像信号Daを生成する立体画像信号生成部15とを備える。なお、以下に説明するように本発明において画像の時間的変化は立体画像の生成と無関係であるので、上記映像信号Dpはここでは1フレーム期間毎に変化する動画像であるが、静止画像であってもよい。上記立体画像信号生成部15により生成される立体画像信号Daは、3Dテレビジョン装置20に与えられる。なお、この立体画像生成装置10は、3Dテレビジョン装置20とは異なる装置として説明するが、3Dテレビジョン装置20に内蔵されてもよい。
<1.1 全体的構成および動作>
図1は、本発明の第1の実施形態に係る立体画像生成装置の構成を示すブロック図である。図1に示されるように、この立体画像生成装置10は、外部から平面画像(二次元画像)を含む映像信号Dpを受け取り当該平面画像における隣接画素の輝度勾配を算出する輝度勾配算出部11と、上記平面画像および輝度勾配に基づき右目用画像DRを生成する右目用画像生成部12および左目用画像DLを生成する左目用画像生成部13と、右目用画像DRおよび左目用画像DLから立体画像信号Daを生成する立体画像信号生成部15とを備える。なお、以下に説明するように本発明において画像の時間的変化は立体画像の生成と無関係であるので、上記映像信号Dpはここでは1フレーム期間毎に変化する動画像であるが、静止画像であってもよい。上記立体画像信号生成部15により生成される立体画像信号Daは、3Dテレビジョン装置20に与えられる。なお、この立体画像生成装置10は、3Dテレビジョン装置20とは異なる装置として説明するが、3Dテレビジョン装置20に内蔵されてもよい。
3Dテレビジョン装置20は、上記立体画像信号Daに基づき、右目用画像DRおよび左目用画像DLを所定時間(典型的には1/2フレーム期間)ずつ交互に表示する液晶表示装置21と、利用者(視聴者)Uの対応する目に右目用画像DRまたは左目用画像DLが交互に与えられるよう、利用者Uの右目または左目の視野を遮断する眼鏡型のアクティブシャッタ装置22とを備える。図1では、液晶表示装置21は右目用画像DRを表示し、アクティブシャッタ装置22は利用者Uの左目の視野を遮断することにより利用者の右目に右目用画像DRを与える例が示されている。なお、このようなアクティブシャッタ装置を使用した3Dテレビジョン装置の構成は周知であるので、詳しい説明を省略する。
また、立体表示が可能な表示装置であれば、アクティブシャッタ装置を使用する上記方式(フレームシーケンシャル方式とも呼ばれる)以外の方式、例えばレンチキュラーレンズ方式やパララックスバリア方式など周知の立体表示方式を採用することもできる。これらの方式を採用した場合には、右目用画像DRおよび左目用画像DLは同時に表示される。次に、立体画像信号生成部15の構成および動作について詳しく説明する。
図1に示す輝度勾配算出部11は、外部から受け取った映像信号Dpに含まれる(1フレーム分の)平面画像(二次元画像)を構成する隣接または近接する画素間の輝度勾配、すなわち或る画素(以下「着目画素」という)の輝度が、その画素の(ここでは)左に隣接する画素(以下「左画素」という)の輝度からどれだけ変化したかを算出する。なお、この輝度勾配とは、厳密には画素間の距離に対する輝度の変化量を示すいわゆる輝度関数の微分値であるが、ここでは左右に隣接する2画素間の距離を1としてこれに対する輝度の変化割合を示す値を意味するものとする。またここでは左から右への方向を輝度勾配算出方向と呼ぶ。
具体的には、輝度勾配算出部11は、外部から受け取った映像信号Dp(の輝度値)を1画素分記憶する左画素輝度記憶部を含み、受け取った着目画素の輝度値から左画素輝度記憶部に記憶される輝度値を差し引いた値を輝度勾配として算出する。なおこの値は、厳密には輝度関数の微分値である輝度勾配の比例値であるため、この値を左画素と着目画素との実際の距離でさらに除算する必要があるが、ここでは前述したように隣接する2画素間の距離を1とし、上記値を輝度勾配として説明する。なお、後述するように実際の計算では、2画素間の距離を1とする必要はない。
右目用画像生成部12は、輝度勾配算出部11から受け取った輝度勾配が正である場合には、着目画素の輝度を増加させ、輝度勾配が負である場合には、着目画素の輝度を減少させる輝度補正を行い、右目用画像DR(の画素値)として出力する。この輝度の増加量および減少量は一定であってもよい。もっとも、この輝度の増加量および減少量は、輝度勾配の絶対値が大きくなるほどその絶対値が大きくなるよう変化することが好ましい。後述するように自然な立体感が得られるからである。したがって、上記増加量および減少量は、例えば輝度勾配に対してそれぞれ所定の定数を乗算した値としてもよいし、予め定められた数式または値の対応関係を定めたテーブルに基づき得られる値であってもよい。これらの増加量および減少量は、共通の補正量として、後述するように輝度勾配に対して定数を乗算することにより求めることもできる。この構成では、上記増加量は、輝度勾配が正のときの補正量に、上記減少量は輝度勾配が負のときの補正量にそれぞれ相当する。
また、左目用画像生成部13は、輝度勾配算出部11から受け取った輝度勾配が正である場合には、着目画素の輝度を減少させ、輝度勾配が負である場合には、着目画素の輝度を増加させる輝度補正を行い、左目用画像DL(の画素値)として出力する。ここで、この輝度の増加量および減少量の絶対値(補正量)は、説明の便宜上右目用画像生成部12における上記増加量および減少量の絶対値(補正量)と同一値であるものとする。
すなわち前述したように右目用画像生成部12において輝度を増加させる補正が行われる場合には、左目用画像生成部13において輝度を減少させる補正が行われるが、その増加量の絶対値(右目用画像生成部12における補正量)と減少量の絶対値(左目用画像生成部13における補正量)とは、右方向への視差量(ずれ量)と左方向への視差量(ずれ量)とに対して一意の対応関係にあるわけではない。そこで、最も立体感が得られよう、上記補正量は所定の計算または経験則から求めることが好ましいが、ここでは説明の便宜のため同一値であるものとする。このように、左目用画像生成部13は、右目用画像生成部12の輝度補正動作に対して、増加と減少とが入れ替わった輝度補正動作を行う。
立体画像信号生成部15は、右目用画像生成部12から出力される右目用画像DRと、左目用画像生成部13から出力される左目用画像DLとを、所定時間(典型的には1/2フレーム期間)毎に交互に含むように構成される立体画像信号Daを生成する。この立体画像信号Daは、前述したように3Dテレビジョン装置20により再生され、利用者Uにより立体画像として認識される(立体視がなされる)。
なお、以上のような立体画像生成装置10の機能は、上記各構成要素に対応する所定の論理回路を含むハードウェアにより実現されるが、その機能の一部または全部は、ソフトウェアにより実現されてもよい。すなわちCPU(Central Processing Unit)、半導体メモリ、ハードディスクなどの記憶部を備える一般的なパーソナルコンピュータに、オペレーティングシステムや所定のアプリケーション・ソフトウェアなどインストールすることによって、上記各構成要素に対応する機能がソフトウェアにより実現されてもよい。次に、立体画像生成装置10の上記輝度補正動作について、図2から図5までを参照して具体的に説明する。
<1.2 立体画像生成装置の輝度補正動作>
図2は、外部からの平面画像を構成する画素のうち左右に隣接する画素の一部の位置と輝度との関係を示す図である。また図3は、図2に示す画素における位置と輝度勾配との関係を示す図である。なお、以下ではこれらの図に示される画素を「一連の着目画素」と呼び、一連の着目画素に含まれる各画素は左右に隣接するためそのY座標は同一であり、X座標は図に示される画素位置に一致するものとする。
図2は、外部からの平面画像を構成する画素のうち左右に隣接する画素の一部の位置と輝度との関係を示す図である。また図3は、図2に示す画素における位置と輝度勾配との関係を示す図である。なお、以下ではこれらの図に示される画素を「一連の着目画素」と呼び、一連の着目画素に含まれる各画素は左右に隣接するためそのY座標は同一であり、X座標は図に示される画素位置に一致するものとする。
図2および図3に示されるように、一連の着目画素のうちの位置x1までの画素の輝度は一定である(輝度勾配は0である)。その後、位置x1からの画素の輝度は急激に低下しすぐに上昇する。そして位置x2において画素の輝度は上昇から(一定になった後)下降に転じる(すなわち輝度勾配はプラスの値から0を経てマイナスの値に転じる)。その後、画素の輝度が下降を続けた後、急激に上昇して、位置x3からの画素の輝度は一定となる(輝度勾配は0となる)。
輝度勾配算出部11は、このように一連の着目画素のうち、左から右へ1つずつx座標を変化させることにより1つずつ着目画素を選択し、選択された着目画素の輝度勾配を算出する。算出された輝度勾配は、前述したように右目用画像生成部12および左目用画像生成部13に与えられ、当該着目画素の輝度が補正される。具体的には、図2および図3に示される一連の着目画素の輝度は、図4または図5に示されるように補正される。
図4は、図2に示される一連の着目画素の輝度を補正することにより得られる右目用画像の対応する画素群の位置と輝度との関係を示す図である。なお図中の点線は、図2に示す一連の着目画素である。図4を図2と比較すれば分かるように、輝度が変化しない(輝度勾配が0である)位置x1までの着目画素の輝度は、補正されずに変化していない。その後、輝度が増加している位置x2までの着目画素の輝度は、増加するように補正されており、位置x2から輝度が減少している着目画素の輝度は減少するように補正されている。また輝度が変化しない(輝度勾配が0である)位置x3からの着目画素の輝度は、補正されずに変化していない。
図5は、図2に示される一連の着目画素の輝度を補正することにより得られる左目用画像の対応する画素群の位置と輝度との関係を示す図である。なお図中の点線は、図2に示す一連の着目画素である。図5を図2と比較すれば分かるように、輝度が変化しない(輝度勾配が0である)位置x1までの着目画素の輝度は、補正されずに変化していない。その後、輝度が増加している位置x2までの着目画素の輝度は、減少するように補正されており、位置x2から輝度が減少している着目画素の輝度は増加するように補正されている。また輝度が変化しない(輝度勾配が0である)位置x3からの着目画素の輝度は、補正されずに変化していない。
なお、図4および図5に示される補正後の着目画素の輝度値は、実際には所定の最大値を上回りまたは所定の最小値を下回らないよう、いわゆるクリッピング補正されており、さらに輝度勾配の絶対値が所定のエッジ検出閾値を上回る場合には補正が行われていない。このような輝度補正動作は、後述する第6の実施形態において詳しく説明するが、ここでは説明の便宜上、説明を省略する。
以上のように、図4に示される補正後の右目用画像DRに含まれる一連の着目画素の輝度は、図2に示される補正前の一連の着目画素の輝度に比べて全体的に左側に偏るように分布が変化しており、図5に示される補正後の左目用画像DLに含まれる一連の着目画素の輝度は、図2に示される補正前の一連の着目画素の輝度に比べて全体的に右側に偏るように分布が変化している。したがって、右目用画像DRと左目用画像DLで対応する画素の位置が変化しなくても、画素の全体的な輝度分布が変化することにより、利用者Uの両眼における視差または視差に相当する差が生じ、そのことにより立体視が可能となる。また、右目用画像DRと左目用画像DLで対応する画素の位置が変化しないため、液晶表示装置21に(短時間に)交互に表示されることによっても、アクティブシャッタ装置22を装着していない者にとって二重に見えないまたは(輝度分布の差はあっても)二重に見えにくい。
また、従来の構成のように、画素の位置を左右で変化させることにより視差を生じさせるわけではないため、本実施形態の構成では、アクティブシャッタ装置22を装着している者にとっても、二重に見えないか、または(輝度分布の差はあっても)二重に見えにくくなる。
ここで、上記のように右目用画像DRと左目用画像DLとにおいて輝度の分布に視差(またはそれに相当する差)が生じていれば立体視は可能となるが、例えば平面画像における輝度分布を左右方向にそれぞれ所定距離だけ移動させることにより、右目用画像DRと左目用画像DLを生成する構成では、必ずしも十分な立体感が得られるとは言えない。この構成で十分な立体感が得られないのは、輝度の分布に差が生じていることに基づき感じられる物体の立体感が、特に球面などの丸みを帯びた凸曲面における場合に強く感じられることに関連すると考えられる。例えば半球状の凸曲面に対して、左側方向、典型的には左上方向(の光源)から光が当たると、一般的には当該曲面の左上に強く光を反射(具体的には鏡面反射および拡散反射)する部分、すなわち高輝度部分を生じる。この高輝度部分を含む上記曲面を左右の目から見るとき、左右方向に高輝度部分の位置(輝度分布)がずれているだけではなく、左目からは高輝度部分が広く、右目からは高輝度部分が狭く見えることになる。立体画像生成装置10は、上記のような(仮想的な)照明環境下の曲面を左右の目で見たときの輝度分布の状態を簡単な演算により(仮想的に)実現することができるため、丸みを帯びた凸曲面において感じられる強い立体感が得られる。
また本実施形態の構成では、高輝度部分のうちのピーク輝度付近の部分は、輝度勾配の符号がプラスからマイナスに転じる部分、すなわち輝度勾配が0近傍の部分であるので、この部分は輝度の補正がされない、または輝度の補正量が極めて小さくなる。よって、当該ピーク輝度部分が左右にずらされることがないため、この点からもアクティブシャッタ装置22を装着している者にとって二重に見えにくくなると言える。
<1.3 第1の実施形態における効果>
以上のように、本実施形態における立体画像生成装置10は、隣接する画素間での輝度勾配を算出する簡単な演算だけで、奥行き情報を算出するための複雑な演算を要せず、一枚の平面画像から十分な立体感を得られる立体画像を生成することができる。また画素の位置を変化させることがないので、左目用画像と右目用画像とを(典型的には交互に)表示しても二重に見えないまたは二重に見えにくくすることができる。さらにこのことから、典型的にはフレームシーケンシャル型の3Dテレビジョン装置等において、アクティブシャッタ装置22を装着しない者(利用者でない視聴者)にも画像の内容を簡単に認識させることができ不快感を与えないようにすることができる。
以上のように、本実施形態における立体画像生成装置10は、隣接する画素間での輝度勾配を算出する簡単な演算だけで、奥行き情報を算出するための複雑な演算を要せず、一枚の平面画像から十分な立体感を得られる立体画像を生成することができる。また画素の位置を変化させることがないので、左目用画像と右目用画像とを(典型的には交互に)表示しても二重に見えないまたは二重に見えにくくすることができる。さらにこのことから、典型的にはフレームシーケンシャル型の3Dテレビジョン装置等において、アクティブシャッタ装置22を装着しない者(利用者でない視聴者)にも画像の内容を簡単に認識させることができ不快感を与えないようにすることができる。
<1.4 第1の実施形態における変形例>
本実施形態における輝度勾配算出部11は、左画素から着目画素への方向、すなわち輝度勾配算出方向へその輝度の変化割合を示す輝度勾配を算出するが、右画素から着目画素への方向を輝度勾配算出方向としてその輝度の変化割合を示す輝度勾配を算出してもよい。この構成では、輝度勾配算出部11は、外部から受け取った映像信号Dp(の輝度値)を1画素分記憶する右画素輝度記憶部を含むことになる。
本実施形態における輝度勾配算出部11は、左画素から着目画素への方向、すなわち輝度勾配算出方向へその輝度の変化割合を示す輝度勾配を算出するが、右画素から着目画素への方向を輝度勾配算出方向としてその輝度の変化割合を示す輝度勾配を算出してもよい。この構成では、輝度勾配算出部11は、外部から受け取った映像信号Dp(の輝度値)を1画素分記憶する右画素輝度記憶部を含むことになる。
またこの構成では、輝度勾配算出方向が第1の実施形態における場合と逆になるため、右目用画像生成部12と左目用画像生成部13とを入れ替えて構成する。すなわち、右目用画像生成部12は、輝度勾配が正である場合には、着目画素の輝度を減少させ、輝度勾配が負である場合には、着目画素の輝度を増加させる輝度補正を行い、右目用画像DR(の画素値)として出力する。逆に、左目用画像生成部13は、輝度勾配が正である場合には、着目画素の輝度を増加させ、輝度勾配が負である場合には、着目画素の輝度を減少させる輝度補正を行い、左目用画像DL(の画素値)として出力する。このようにすれば、前述した曲面を見たときに左目からは高輝度部分が狭く、右目からは高輝度部分が広く見えることになり、第1の実施形態の場合とは逆に、実際の光源が右上にある場合と同様の立体感が得られる。
なお、この変形例により得られる立体感の程度は、第1の実施形態の構成により得られる立体感の程度と全く同一である。ただし、一般的に撮影画像における照明光源は左上に置かれることが多いので、第1の実施形態における構成の方が元の平面画像における実際の照明光源位置と一致する可能性が高いとも言え、その点では上記変形例の構成よりも好適であるとも言える。また、画像内容や利用者の操作入力等に基づき、第1の実施形態の構成とその変形例の構成とを切り替えることにより、(仮想的な)照明光源の位置を左上である場合と右上である場合とを切り替え可能な構成も考えられる。
<2. 第2の実施形態>
<2.1 全体的構成および動作>
図6は、本発明の第2の実施形態に係る立体画像生成装置の構成を示すブロック図である。図6に示されるように、この立体画像生成装置30は、外部から平面画像(二次元画像)Dpを受け取り輝度勾配を算出する、第1の実施形態における輝度勾配算出部11と同様の動作を行う輝度勾配算出部31と、上記平面画像Dpおよび輝度勾配に基づき右目用画像DRを生成する、第1の実施形態における右目用画像生成部12と同様の動作を行う右目用画像生成部32と、右目用画像DRおよび上記平面画像から立体画像信号Daを生成する立体画像信号生成部35とを備えており、第1の実施形態における左目用画像DLを生成する左目用画像生成部13が省略されている。なお図6に示される3Dテレビジョン装置20は、図1に示される第1の実施形態と同様であるので、説明を省略する。
<2.1 全体的構成および動作>
図6は、本発明の第2の実施形態に係る立体画像生成装置の構成を示すブロック図である。図6に示されるように、この立体画像生成装置30は、外部から平面画像(二次元画像)Dpを受け取り輝度勾配を算出する、第1の実施形態における輝度勾配算出部11と同様の動作を行う輝度勾配算出部31と、上記平面画像Dpおよび輝度勾配に基づき右目用画像DRを生成する、第1の実施形態における右目用画像生成部12と同様の動作を行う右目用画像生成部32と、右目用画像DRおよび上記平面画像から立体画像信号Daを生成する立体画像信号生成部35とを備えており、第1の実施形態における左目用画像DLを生成する左目用画像生成部13が省略されている。なお図6に示される3Dテレビジョン装置20は、図1に示される第1の実施形態と同様であるので、説明を省略する。
<2.2 立体画像生成装置の輝度補正動作>
上記のように、本実施形態では左目用画像DLが生成されず、これに代えて元の平面画像が使用される。このように左目に元の平面画像を与える構成であっても、右目に与えられる右目用画像DRは、平面画像に含まれる高輝度部分がより狭くかつ右側に偏った輝度分布となるよう、右目用画像生成部32により輝度補正がなされる。そのため、第1の実施形態の場合に類する立体感が得られる。
上記のように、本実施形態では左目用画像DLが生成されず、これに代えて元の平面画像が使用される。このように左目に元の平面画像を与える構成であっても、右目に与えられる右目用画像DRは、平面画像に含まれる高輝度部分がより狭くかつ右側に偏った輝度分布となるよう、右目用画像生成部32により輝度補正がなされる。そのため、第1の実施形態の場合に類する立体感が得られる。
ここで第1の実施形態では、平面画像に対して左右方向に等しく輝度補正を行うため、本実施形態の場合よりも左右方向への補正量が多くなる(典型的には2倍となる)。よって、本実施形態において第1の実施形態の場合と同様の距離感(視差量)となるよう輝度補正を行うためには、右目用画像生成部32の補正量を多く(典型的には2倍に)する必要がある。
この点上記補正量の絶対値を大きくするほど強い立体感(近い距離感)が得られる反面、元の平面画像からの乖離が大きくなる(輝度分布のずれが大きくなる)ので、そのことから見る者に違和感を生じさせる可能性が高くなる場合がある。この点では第1の実施形態の構成がより好適であるとも言える。しかし、第2の実施形態の構成は、第1の実施形態の構成よりも簡易であるため、装置の製造コストを下げることができ、また演算量を少なくすることができる点で好適である。
なお、本実施形態では、左目用画像生成部13が省略されているが、右目用画像生成部32を省略する構成であっても同様である。また、第1の実施形態の変形例と同様、輝度勾配算出部11は、右画素から着目画素への方向を輝度勾配算出方向としてその輝度の変化割合を示す輝度勾配を算出してもよいし、前述したように(仮想的な)照明光源の位置を左上である場合と右上である場合とを切り替え可能な構成も考えられる。
<2.3 第2の実施形態における効果>
以上のように、本実施形態における立体画像生成装置30は、第1の実施形態よりもさらに簡単な演算で、奥行き情報を算出するための複雑な演算を要せず、一枚の平面画像から十分な立体感を得られる立体画像を生成することができる。また画素の位置を変化させることがないので、左目用画像と右目用画像とを(典型的には交互に)表示しても二重に見えないまたは二重に見えにくくすることができる。さらにこのことから、典型的にはフレームシーケンシャル型の3Dテレビジョン装置等において、アクティブシャッタ装置22を装着しない者にも画像の内容を簡単に認識させることができ不快感を与えないようにすることができる。
以上のように、本実施形態における立体画像生成装置30は、第1の実施形態よりもさらに簡単な演算で、奥行き情報を算出するための複雑な演算を要せず、一枚の平面画像から十分な立体感を得られる立体画像を生成することができる。また画素の位置を変化させることがないので、左目用画像と右目用画像とを(典型的には交互に)表示しても二重に見えないまたは二重に見えにくくすることができる。さらにこのことから、典型的にはフレームシーケンシャル型の3Dテレビジョン装置等において、アクティブシャッタ装置22を装着しない者にも画像の内容を簡単に認識させることができ不快感を与えないようにすることができる。
<3. 第3の実施形態>
<3.1 全体的構成および動作>
図7は、本発明の第3の実施形態に係る立体画像生成装置の構成を示すブロック図である。図7に示されるように、この立体画像生成装置40は、外部から立体画像を含む立体画像信号DpLRを受け取り、外部右目用画像DpRと外部左目用画像DpLとに分離し出力する立体画像信号分離部44と、この立体画像信号分離部44から外部右目用画像DpRを受け取り右目用輝度勾配を算出する右目用輝度勾配算出部46と、上記外部右目用画像DpRおよび上記右目用輝度勾配に基づき右目用画像DRを生成する右目用画像生成部42と、立体画像信号分離部44から外部左目用画像DpLを受け取り左目用輝度勾配を算出する左目用輝度勾配算出部47と、上記外部左目用画像DpLおよび上記左目用輝度勾配に基づき左目用画像DLを生成する左目用画像生成部43と、右目用画像DRおよび左目用画像DLから立体画像信号Daを生成する立体画像信号生成部45とを備えている。
<3.1 全体的構成および動作>
図7は、本発明の第3の実施形態に係る立体画像生成装置の構成を示すブロック図である。図7に示されるように、この立体画像生成装置40は、外部から立体画像を含む立体画像信号DpLRを受け取り、外部右目用画像DpRと外部左目用画像DpLとに分離し出力する立体画像信号分離部44と、この立体画像信号分離部44から外部右目用画像DpRを受け取り右目用輝度勾配を算出する右目用輝度勾配算出部46と、上記外部右目用画像DpRおよび上記右目用輝度勾配に基づき右目用画像DRを生成する右目用画像生成部42と、立体画像信号分離部44から外部左目用画像DpLを受け取り左目用輝度勾配を算出する左目用輝度勾配算出部47と、上記外部左目用画像DpLおよび上記左目用輝度勾配に基づき左目用画像DLを生成する左目用画像生成部43と、右目用画像DRおよび左目用画像DLから立体画像信号Daを生成する立体画像信号生成部45とを備えている。
なお図7に示される3Dテレビジョン装置20は、図1に示される第1の実施形態と同様の構成であるので、説明を省略する。また外部から受け取る立体画像信号DpLRは、3Dテレビジョン装置20に与えられる立体画像信号Daと同様のフレームシーケンシャル方式を採用した信号であってもよいし、1フレームに与えられる(一枚の)画像の右半部分に外部右目用画像DpRを含み、左半部分に外部左目用画像DpLを含むいわゆるサイドバイサイド方式や、それらを上半部分または下半部分に含むいわゆるトップアンドボトム方式などを採用した信号であってもよい。
このように本実施形態では、外部から平面画像を受け取るのではなく、立体画像を受け取るため、全く輝度補正を行わない場合であっても十分に立体感を得られる立体画像を生成することができる。しかし、外部から得られる立体画像では、立体感が強すぎる(距離感が近すぎる)場合や、立体感が弱すぎる(距離感が遠すぎる)場合がある。例えば、立体画像を取得することができるステレオカメラ装置やステレオビデオ装置などにより比較的遠くの人物を撮影する場合、背景よりも手前に人物が存在するという距離感(立体感)は正しく得られるが、人物が平板に見え(例えば板に描いた人物画のように見え)、丸みを有する人物としての立体感が得られないことがある。また、立体感が強すぎる場合には目が疲れるなどの問題点を生じることがある。このような場合に、本実施形態における立体画像生成装置40は、外部からの立体画像における立体感(距離感)を好適に補正することができる。以下、その輝度補正動作について説明する。
<3.2 立体画像生成装置の輝度補正動作>
まず右目用輝度勾配算出部46は、第1の実施形態の場合と同様、外部右目用画像DpR(の輝度値)を1画素分記憶する左画素輝度記憶部を含み、受け取った着目画素の輝度値から左画素輝度記憶部に記憶される輝度値を差し引いた値を右目用輝度勾配として算出する。また、左目用輝度勾配算出部47も同様にして左目用輝度勾配を算出する。
まず右目用輝度勾配算出部46は、第1の実施形態の場合と同様、外部右目用画像DpR(の輝度値)を1画素分記憶する左画素輝度記憶部を含み、受け取った着目画素の輝度値から左画素輝度記憶部に記憶される輝度値を差し引いた値を右目用輝度勾配として算出する。また、左目用輝度勾配算出部47も同様にして左目用輝度勾配を算出する。
次に前述したように遠くの人物像に丸みを有する立体感が得られないなどの理由により立体感を強調したい場合、右目用画像生成部42は、上記右目用輝度勾配が正である場合には、上記外部右目用画像DpRにおける着目画素の輝度を増加させ、輝度勾配が負である場合には、上記着目画素の輝度を減少させる輝度補正を行い、右目用画像DR(の画素値)として出力する。また左目用画像生成部43は、上記左目用輝度勾配が正である場合には、上記外部左目用画像DpLにおける着目画素の輝度を減少させ、輝度勾配が負である場合には、上記着目画素の輝度を増加させる輝度補正を行い、左目用画像DL(の画素値)として出力する。
そうすれば、上記外部右目用画像DpRに対してはさらに右方向へ、上記外部左目用画像DpLに対してはさらに左方向へ輝度分布がずらされるように輝度補正が行われるため、立体画像に対してさらに第1の実施形態と同様の輝度分布状態が実現される。よって、外部から立体画像を含む立体画像信号DpLRにより実現されるべき立体感からさらに立体感(距離感)が増強されることになる。なお、上記補正量(増加量または減少量)の絶対値をさらに大きくすればより立体感が強調されるので、外部から入力される画像の種類(立体画像信号DpLRの内容)により、または利用者の選択操作等によって上記補正量の大きさが決定される構成であってもよい。
また逆に目が疲れないようにするなどの理由により立体感を弱めたい(打ち消したい)場合には、左目用画像生成部43と右目用画像生成部42との輝度補正動作を逆にすればよい。そうすれば、上記外部右目用画像DpRに対しては左方向へ、上記外部左目用画像DpLに対しては右方向へ輝度分布がずらされるように輝度補正が行われるため、立体画像に対して第1の実施形態とは逆(向きの)の輝度分布状態が実現される。よって、外部から立体画像を含む立体画像信号DpLRにより実現されるべき立体感から立体感(距離感)が減弱されることになる。なお、この場合にも補正量の大きさが任意に決定される構成であってもよい。
このように、左目用画像生成部43と右目用画像生成部42とは、第1の実施形態の場合と同様に、互いに増加と減少とが入れ替わった輝度補正動作を行うが、上記構成に代えて第2の実施形態と同様に、右目用輝度勾配算出部46および右目用画像生成部42を省略して右目用画像についての輝度補正動作を行わないか、または左目用輝度勾配算出部47および左目用画像生成部43を省略して左目用画像についての輝度補正動作を行わない構成であってもよい。
また、第1の実施形態の変形例と同様、右目用輝度勾配算出部46および左目用輝度勾配算出部47は、右画素から着目画素への方向を輝度勾配算出方向としてその変化割合を示す輝度勾配を算出してもよいし、前述したように(仮想的な)照明光源の位置を左上である場合と右上である場合とを切り替え可能な構成であってもよい。
<3.3 第3の実施形態における効果>
以上のように、本実施形態における立体画像生成装置40は、簡単な演算で、奥行き情報を算出するための複雑な演算を要せず、立体画像(を実現する右目用画像および左目用画像)からさらに立体感を強調した立体画像、または逆に立体感を弱めた立体画像を生成することができる。また補正量の絶対値を大きくすることにより立体感を強めることができ、補正量の絶対値を小さくすることにより立体感を弱めることができるので、立体感を強める程度または弱める程度を任意に設定することができる。さらに第1の実施形態の場合と同様、画素の位置を変化させることがないので、左目用画像と右目用画像とを(典型的には交互に)表示しても二重に見えないまたは二重に見えにくくすることができる。
以上のように、本実施形態における立体画像生成装置40は、簡単な演算で、奥行き情報を算出するための複雑な演算を要せず、立体画像(を実現する右目用画像および左目用画像)からさらに立体感を強調した立体画像、または逆に立体感を弱めた立体画像を生成することができる。また補正量の絶対値を大きくすることにより立体感を強めることができ、補正量の絶対値を小さくすることにより立体感を弱めることができるので、立体感を強める程度または弱める程度を任意に設定することができる。さらに第1の実施形態の場合と同様、画素の位置を変化させることがないので、左目用画像と右目用画像とを(典型的には交互に)表示しても二重に見えないまたは二重に見えにくくすることができる。
<4. 第4の実施形態>
<4.1 全体的構成および動作>
本実施形態に係る立体画像生成装置の全体的な構成は、図1に示す第1の実施形態に係る立体画像生成装置の構成と同様であり、その動作も輝度勾配算出部11の動作を除いて同様であるので、第1の実施形態と同一の符号を付して、輝度勾配算出部11以外の各構成要素の説明を省略する。以下、輝度勾配算出部11の輝度勾配算出動作について説明する。
<4.1 全体的構成および動作>
本実施形態に係る立体画像生成装置の全体的な構成は、図1に示す第1の実施形態に係る立体画像生成装置の構成と同様であり、その動作も輝度勾配算出部11の動作を除いて同様であるので、第1の実施形態と同一の符号を付して、輝度勾配算出部11以外の各構成要素の説明を省略する。以下、輝度勾配算出部11の輝度勾配算出動作について説明する。
<4.2 輝度勾配算出部の輝度勾配算出動作>
本実施形態における輝度勾配算出部11は、第1の実施形態の場合とは異なり、着目画素の上下の画素を含む3つの画素(以下「着目画素群」とも呼ぶ)と、これら3つの画素へそれぞれ向かう輝度勾配を算出するための始点となる左側の3つの画素(以下「始点画素群」とも呼ぶ)との間の3つの輝度勾配の平均値に相当する値を算出する。
本実施形態における輝度勾配算出部11は、第1の実施形態の場合とは異なり、着目画素の上下の画素を含む3つの画素(以下「着目画素群」とも呼ぶ)と、これら3つの画素へそれぞれ向かう輝度勾配を算出するための始点となる左側の3つの画素(以下「始点画素群」とも呼ぶ)との間の3つの輝度勾配の平均値に相当する値を算出する。
なお、着目画素群は、着目画素の上下のいずれかの画素を含む2つの画素であってもよいし、着目画素に対して(ここでは上下に)隣接または近接する複数の画素であってもよい。同様に始点画素群も(ここでは上下に)隣接または近接する複数の画素であればよい。以下、図8を参照して具体的に説明する。
図8は、着目画素の周囲の画素と映像信号に含まれる画素データとの対応関係を示す図である。図8に示される画素データD00〜D22は、映像信号Dpの所定位置に所定順で配置されており、液晶表示装置21の表示画面における対応する画素P(0,0)〜P(2,2)の輝度値(階調値)を示すものである。
なお、実際の映像信号はDpは、赤色(R)、緑色(G)、および青色(B)についての輝度値を含み、画素PはRGB各色をそれぞれ表示する3つのサブ画素からなるが、ここでは説明の便宜のため、上記色については考慮せず、ここでの輝度値は、当該3色の平均値またはモノクロ表示における輝度値であるものとする。なお、RGBの輝度の平均値は明度に等しいので、本明細書における輝度値を3つのサブ画素からなるカラー画素における明度値に置き換えても同様の構成で同様の効果が得られる。よって、サブ画素単位で輝度補正をするのではなく、カラー画素単位で明度補正を行う構成であってもよい。たとえば、明度の補正量が大きくなるほど白色に近づくよう、RGBの各輝度をそれぞれ関連させて適宜に補正する構成などが考えられる。このような補正態様であっても、カラー画素単位での輝度補正と同視することができる。
ここで着目画素を画素P(1,1)とすると、対応する画素データD11により示される輝度値(以下その値もD11と表し、その他の輝度値も同様に表す)およびその上下の輝度値D01,D21と、これら着目画素群の左隣に位置する始点画素群に対応する画素データD00,D10,D20と、輝度勾配算出部11により算出される輝度勾配LGとは、次式(1)のような関係となる。
LG=(D01+D11+D21)−(D00+D10+D20) …(1)
LG=(D01+D11+D21)−(D00+D10+D20) …(1)
上式(1)に基づいて輝度勾配LGを求めれば、着目画素群およびその左隣の3つの画素からなる始点画素群との輝度勾配の平均値に相当する値(平均値の3倍の値)が得られるので、第1の実施形態の場合のように、例えばLG=D21−D20、というように算出する構成よりも、(伝送時や演算時などにおける)ノイズの影響を受けにくくなる。すなわち、着目画素またはその左隣の画素がノイズの影響により本来の値とは異なる異常な輝度値となっている場合、その輝度勾配も異常な値となるため、輝度補正後の画像にも影響を生じる。しかし、その上下の画素とその左隣の画素とが共に同じくノイズの影響を受けている可能性は小さいので、上記平均値に相当する値を求めることによりノイズの影響を小さくすることができる。
また、画像データの伝送の際または上記演算の際に異常が生じる場合、画素データのうちの1行分のデータまたはその演算に異常が生じることが多いので、異なる(上下の)行のデータを参照にする、すなわち上記平均値に相当する値を用いることによりノイズの影響を小さくすることができる。
なお、輝度勾配の平均値そのものは、上記輝度勾配LGの1/3の値であるが、前述したようにここでの輝度勾配は厳密には輝度勾配の比例値であり、また前述したように輝度補正における輝度の増加量および減少量は、(一定である場合は当然問題ないが)例えば輝度勾配に対して所定の定数を乗算した値とするなど、輝度勾配と一意に対応する量となるので、輝度勾配LGは平均値の3倍の値のままでもよい。また着目画素に例えば大きな重み付けを行うような加重平均値の3倍の値や代表値など、およそノイズの影響が小さくなる周知の演算により得られる値を使用することができる。
また、第1の実施形態の変形例と同様に輝度勾配算出方向を逆方向に設定してもよい。すなわち輝度勾配算出部11は、右画素およびその上下の画素の輝度から着目画素およびその上下の画素の輝度への変化割合の平均値に相当する輝度勾配を算出してもよい。また、前述したように(仮想的な)照明光源の位置を左上である場合と右上である場合とを切り替え可能な構成であってもよい。
<4.3 第4の実施形態における効果>
以上のように、本実施形態における立体画像生成装置10は、第1の実施形態と同様の効果を奏するとともに、上下方向の輝度勾配の平均値に相当する値を使用することにより(特に左右方向の)ノイズの影響を小さくし、異常な輝度補正動作により生じるべき立体画像の異常を低減することができる。
以上のように、本実施形態における立体画像生成装置10は、第1の実施形態と同様の効果を奏するとともに、上下方向の輝度勾配の平均値に相当する値を使用することにより(特に左右方向の)ノイズの影響を小さくし、異常な輝度補正動作により生じるべき立体画像の異常を低減することができる。
また、本実施形態の構成を第2または第3の実施形態(またはその変形例)の構成に適用することもできる。そうすれば、上記効果に対してさらに第2または第3の実施形態における固有の効果を併せて奏することができる。
<5. 第5の実施形態>
<5.1 全体的構成および動作>
本実施形態に係る立体画像生成装置の全体的な構成は、図1に示す第1の実施形態に係る立体画像生成装置の構成と同様であり、その動作も右目用画像生成部12および左目用画像生成部13における輝度補正の増加量および減少量の算出方法が異なるほか、同様の動作を行うので、第1の実施形態と同一の符号を付してその説明を省略する。以下、第1の実施形態と異なる、右目用画像生成部12および左目用画像生成部13における輝度補正の増加量および減少量の算出方法について説明する。
<5.1 全体的構成および動作>
本実施形態に係る立体画像生成装置の全体的な構成は、図1に示す第1の実施形態に係る立体画像生成装置の構成と同様であり、その動作も右目用画像生成部12および左目用画像生成部13における輝度補正の増加量および減少量の算出方法が異なるほか、同様の動作を行うので、第1の実施形態と同一の符号を付してその説明を省略する。以下、第1の実施形態と異なる、右目用画像生成部12および左目用画像生成部13における輝度補正の増加量および減少量の算出方法について説明する。
<5.2 輝度補正の増加量および減少量の算出動作>
本実施形態における右目用画像生成部12および左目用画像生成部13は、輝度勾配LGに応じた輝度補正の増加量および減少量(以下、これらを補正量という)に基づく輝度補正を行う点と、予め定められた最大値Maxおよび最小値Minによるクリッピング補正を行う点とに特徴を有する。なお、ここでは正の値である最大値Maxの絶対値と負の値である最小値Minの絶対値とは等しいので、ここでのクリッピング補正は補正量の絶対値を所定値以下に制限することを意味する。
本実施形態における右目用画像生成部12および左目用画像生成部13は、輝度勾配LGに応じた輝度補正の増加量および減少量(以下、これらを補正量という)に基づく輝度補正を行う点と、予め定められた最大値Maxおよび最小値Minによるクリッピング補正を行う点とに特徴を有する。なお、ここでは正の値である最大値Maxの絶対値と負の値である最小値Minの絶対値とは等しいので、ここでのクリッピング補正は補正量の絶対値を所定値以下に制限することを意味する。
まず、右目用画像生成部12における着目画素の補正前の輝度値をDRp1、輝度補正後の輝度値をDR1、定数をc(c>0)とするとき、クリッピング補正前であって輝度勾配LGに応じた輝度補正後の輝度値DR1は、次式(2)のように求められる。
DR1=DRp1×(1+LG×c) …(2)
DR1=DRp1×(1+LG×c) …(2)
このように輝度値DR1を輝度勾配LGに応じて、ここでは輝度勾配LGに定数cを乗算した値を加算することにより求める。このように輝度勾配LGが大きくなるほど補正量が大きくなるように補正すれば、輝度が大きく変化する部分(例えば高輝度部分の境界付近)において輝度がさらに変化するため、高輝度部分を示す領域がより広くまたはより狭くなり、典型的には凸曲面において得られるような立体感を結果的により強めることができる。また輝度変化の小さいまたは無い部分(例えば高輝度部分のうちのピーク輝度部分近傍や輝度分布状態が一様であるなど立体感が得られない領域)には結果的に小さい視差(または視差に相当する差)しか生じないか、または当該視差が生じないため、全体として立体画像が二重に見えにくくなる。
次に、上記のように求められた輝度値DR1は、輝度勾配の符号が正であって輝度勾配の値が非常に大きい場合には表示可能な値を上回る場合があり、また上回らない場合であっても補正量(増加量)が大きすぎる場合がある。同様に輝度勾配の符号が負であって輝度勾配の値が非常に小さい場合(すなわち上記と同様に輝度勾配の絶対値が非常に大きい場合)には表示可能な値を下回る場合があり、また下回らない場合であっても補正量(減少量)の絶対値が大きすぎる場合がある。そこで、次式(3a)(3b)のように最大値Maxおよび最小値Minによるクリッピング補正を行う。
DR1=Min (DR1<Min) …(3a)
DR1=Max (DR1>Max) …(3b)
なお、Min≦DR1≦Maxの場合、輝度値DR1はクリッピング補正によって変更されない。
DR1=Min (DR1<Min) …(3a)
DR1=Max (DR1>Max) …(3b)
なお、Min≦DR1≦Maxの場合、輝度値DR1はクリッピング補正によって変更されない。
このように輝度値DR1をクリッピング補正すれば、輝度値DR1が最大値Maxを上回りまたは最小値Minを下回ることがないので、最終的に適切な輝度補正が行われる。
またここで左目用画像生成部13における着目画素の補正前の輝度値をDLp1、輝度補正後の輝度値をDL1、定数をcとするとき、クリッピング補正前であって輝度補正後の輝度値DL1は、次式(4)のように求められる。
DL1=DLp1×(1−LG×c) …(4)
DL1=DLp1×(1−LG×c) …(4)
その後上式(3a)(3b)を用いる場合と同様に、次式(5a)(5b)のように最大値Maxおよび最小値Minによるクリッピング補正を行う。
DL1=Min (DL1<Min) …(5a)
DL1=Max (DL1>Max) …(5b)
なお、Min≦DL1≦Maxの場合、輝度値DL1は変更されない。
DL1=Min (DL1<Min) …(5a)
DL1=Max (DL1>Max) …(5b)
なお、Min≦DL1≦Maxの場合、輝度値DL1は変更されない。
ここで、上式(2)および上式(4)における定数cは固定値であってもよいが、第3の実施形態におけると同様、立体感を強めたい場合には定数cを小さくし、立体感を弱めたい場合には定数cを大きくする構成であってもよい。例えば、この定数cは、外部から入力される画像の種類(映像信号Dpの内容)により、または利用者の選択操作等によって決定される構成であってもよい。
また、第1の実施形態の変形例と同様、輝度勾配算出部11は、右画素から着目画素への方向を輝度勾配算出方向としてその輝度への変化割合を示す輝度勾配を算出してもよいし、前述したように(仮想的な)照明光源の位置を左上である場合と右上である場合とを切り替え可能な構成であってもよい。
なお、輝度勾配算出部11は、上記輝度勾配に応じた輝度補正量の決定、およびクリッピング補正のうち、一方を省略することも可能である。例えばクリッピング補正を行わない場合であっても、輝度勾配に応じて、具体的には輝度勾配の絶対値が大きくなるほど輝度補正量の絶対値が大きくなるように補正量を設定すれば、輝度が大きく変化する部分の立体感を強めることができ、輝度勾配とは無関係に輝度補正量を設定する場合よりも、全体としてより好適な立体感を得ることができる。
<5.3 第5の実施形態における効果>
以上のように、本実施形態における立体画像生成装置10は、第1の実施形態と同様の効果を奏するとともに、輝度勾配の絶対値が大きくなるほどその絶対値が大きくなるように輝度補正量を決定することにより、輝度が大きく変化する部分の立体感を結果的に強めることができ、かつ最大値Maxおよび最小値Minによるクリッピング補正を行うことにより、補正量の絶対値が大きくなりすぎないよう制限して適正な輝度補正を行うことができる。
以上のように、本実施形態における立体画像生成装置10は、第1の実施形態と同様の効果を奏するとともに、輝度勾配の絶対値が大きくなるほどその絶対値が大きくなるように輝度補正量を決定することにより、輝度が大きく変化する部分の立体感を結果的に強めることができ、かつ最大値Maxおよび最小値Minによるクリッピング補正を行うことにより、補正量の絶対値が大きくなりすぎないよう制限して適正な輝度補正を行うことができる。
また、本実施形態の構成を第2から第4までのいずれかの実施形態(またはその変形例)の構成に適用することもできる。そうすれば、上記効果に対してさらに第2から第4までのいずれかの実施形態における固有の効果を併せて奏することができる。
<6. 第6の実施形態>
<6.1 全体的構成および動作>
本実施形態に係る立体画像生成装置の全体的な構成は、図1に示す第1の実施形態に係る立体画像生成装置の構成と同様であり、その動作も右目用画像生成部12および左目用画像生成部13における輝度補正の増加量および減少量の算出方法が異なるほか、同様の動作を行うので、第1の実施形態と同一の符号を付して、上記算出方法以外の各構成要素の説明を省略する。また、本実施形態では、第5の実施形態におけるクリッピング補正を行うとともに、さらに画像のエッジ検出による輝度補正動作の停止(すなわち補正量をゼロにする動作)を併せて行う。以下、右目用画像生成部12および左目用画像生成部13における輝度補正動作について説明する。
<6.1 全体的構成および動作>
本実施形態に係る立体画像生成装置の全体的な構成は、図1に示す第1の実施形態に係る立体画像生成装置の構成と同様であり、その動作も右目用画像生成部12および左目用画像生成部13における輝度補正の増加量および減少量の算出方法が異なるほか、同様の動作を行うので、第1の実施形態と同一の符号を付して、上記算出方法以外の各構成要素の説明を省略する。また、本実施形態では、第5の実施形態におけるクリッピング補正を行うとともに、さらに画像のエッジ検出による輝度補正動作の停止(すなわち補正量をゼロにする動作)を併せて行う。以下、右目用画像生成部12および左目用画像生成部13における輝度補正動作について説明する。
<6.2 輝度補正の補正量の算出動作>
本実施形態における右目用画像生成部12および左目用画像生成部13は、クリッピング補正を含む第5の実施形態における輝度補正動作に加えて、さらに輝度勾配LGの絶対値|LG|がエッジ検出閾値Ethを超える場合に補正量をゼロにして輝度補正を停止する(省略する)動作を行う。このように輝度補正を停止する動作が行われるのは、輝度補正動作をそのまま行うと、エッジ付近での輝度変化が異常に大きくなり、生成されるべき立体画像に異常が生じる、という問題点を回避するためである。この問題点について、図9および図10を参照して説明する。
本実施形態における右目用画像生成部12および左目用画像生成部13は、クリッピング補正を含む第5の実施形態における輝度補正動作に加えて、さらに輝度勾配LGの絶対値|LG|がエッジ検出閾値Ethを超える場合に補正量をゼロにして輝度補正を停止する(省略する)動作を行う。このように輝度補正を停止する動作が行われるのは、輝度補正動作をそのまま行うと、エッジ付近での輝度変化が異常に大きくなり、生成されるべき立体画像に異常が生じる、という問題点を回避するためである。この問題点について、図9および図10を参照して説明する。
図9は、上記エッジ検出に基づく停止動作を行わない場合において、図2に示される一連の着目画素の輝度を補正することにより得られる右目用画像の対応する画素群の位置と輝度との関係を示す図である。また図10は、同様の輝度補正により得られる左目用画像の対応する画素群の位置と輝度との関係を示す図である。なお図中の点線は、図2に示す一連の着目画素である。この図9に示される領域AR1、AR2において、停止動作が行われないでそのまま輝度補正が行われることにより、輝度変化が異常に大きくなっている。このような異常は以下の理由により生じる。すなわち、画像のエッジ付近での輝度勾配は非常に大きくなることが知られている。この輝度勾配が非常に大きいと、上式(2)を参照すればわかるように、補正量が大きくなって補正後の輝度値が大きく(厳密には最大値を上回らずかつ最小値を下回らない限度で)変化するからである。
また、輝度変化の異常は左目用画像においても同様に生じており、しかも図10に示されるように反対方向への変化となっている。図10では、上記エッジ検出に基づく停止動作を行わない場合において、図2に示される一連の着目画素の輝度を補正することにより得られる左目用画像の対応する画素群の位置と輝度との関係が示されている。この図10に示される領域AL1、AL2において、停止動作が行われないでそのまま輝度補正が行われることにより、上記の理由により輝度変化が異常に大きくなっている。さらに、図9と図10とを比較すれば分かるように、異常部分の輝度の変化方向は左右で輝度差が開くような逆方向となっている。したがって、利用者Uがアクティブシャッタ装置22により立体画像として上記2つの画像を見ると、上記領域に対応する画像部分の輝度差が非常に目立つことになり、その結果、画像の異常がより目立つことになる。
そこで、右目用画像生成部12は、上記のように輝度変化が異常に大きい場合、具体的には輝度勾配LGの絶対値|LG|がエッジ検出閾値Ethを超える場合に輝度補正を停止する動作を行う(補正量をゼロにする)。したがって、上式(2)に基づく輝度補正および上式(4)に基づくクリッピング補正の結果にかかわらず、|LG|>Ethの場合には、DR1=DRp1とする。また、左目用画像生成部13においても同様に、|LG|>Ethの場合には、DL1=DLp1とする。このようにエッジ部分での補正量をゼロにして輝度補正を停止すれば、図4および図5に示されるように輝度補正による異常な変化を防止することができるので、画像に異常が生じることを抑制することができる。
なお、便宜上第1の実施形態における図4および図5を参照して説明したが、実際には第1の実施形態の構成に加えて、上記クリッピング補正がなされており、さらに輝度勾配の絶対値が所定のエッジ検出閾値を上回る場合には補正が行われていない場合の例であることは前述したとおりである。
また、本実施形態の構成では、エッジ付近での輝度変化が異常に大きくなることを回避することができるほか、エッジ付近において右目用画像と左目用画像との(輝度の)違いを抑制ないし解消することができる。そのため、利用者が立体画像を見たときに画像が二重に見えることを確実に防止することができる。すなわちエッジ付近が二重に見えると、画像全体としても二重に見えることが多くなるため、エッジ付近の(左右画像における)輝度の違いを抑制または解消することで、より二重に見えにくいまたは二重に見えない立体画像を生成することができる。
さらにこのことから、本実施形態では画像のエッジを検出することができればよいので、上記のように輝度勾配に基づいてエッジ検出を行うのではなく、例えばパターン認識による手法など周知のエッジ検出手法に基づいて行ってもよい。もっとも、輝度勾配に基づくエッジ検出手法は、キャニー法などの周知の優れたエッジ検出手法に採用されるものであり、本実施形態において輝度勾配は補正量を算出するために必要であることから、ここでは上記エッジ検出に輝度勾配を使用することが特に適している。
<6.3 第6の実施形態における効果>
以上のように、本実施形態における立体画像生成装置10は、第5の実施形態と同様の効果を奏するとともに、エッジ付近で輝度変化が異常に大きくなる場合に当該付近での補正量をゼロにして輝度補正を停止することにより、立体画像に異常が生じないようにすることができる。
以上のように、本実施形態における立体画像生成装置10は、第5の実施形態と同様の効果を奏するとともに、エッジ付近で輝度変化が異常に大きくなる場合に当該付近での補正量をゼロにして輝度補正を停止することにより、立体画像に異常が生じないようにすることができる。
また、本実施形態の構成を第2から第4までのいずれかの実施形態(またはその変形例)の構成に適用することもできる。そうすれば、上記効果に対してさらに第2から第4までのいずれかの実施形態における固有の効果を併せて奏することができる。
<7. 第7の実施形態>
<7.1 全体的構成および動作>
図11は、本発明の第7の実施形態に係る立体画像生成装置の構成を示すブロック図である。図11に示されるように、この立体画像生成装置50は、外部から平面画像(二次元画像)を受け取るとともに3Dテレビジョン装置20からアクティブシャッタ装置23の傾きSaを受け取って傾きSaに応じた輝度勾配を算出する輝度勾配算出部51と、第1の実施形態と同様の動作を行う右目用画像生成部12、左目用画像生成部13、および立体画像信号生成部15とを備えている。なお、右目用画像生成部12および左目用画像生成部13に与えられる映像信号Dpは、具体的には着目画素に対応する画素データD11であるので、後述するように輝度勾配算出部51から得られる画素データD11を映像信号Dpとして右目用画像生成部12および左目用画像生成部13に与える構成となっている点は、第1の実施形態の構成とは異なる。もっともこの構成を第1の実施形態に適用することが可能であるが詳しくは後述する。
<7.1 全体的構成および動作>
図11は、本発明の第7の実施形態に係る立体画像生成装置の構成を示すブロック図である。図11に示されるように、この立体画像生成装置50は、外部から平面画像(二次元画像)を受け取るとともに3Dテレビジョン装置20からアクティブシャッタ装置23の傾きSaを受け取って傾きSaに応じた輝度勾配を算出する輝度勾配算出部51と、第1の実施形態と同様の動作を行う右目用画像生成部12、左目用画像生成部13、および立体画像信号生成部15とを備えている。なお、右目用画像生成部12および左目用画像生成部13に与えられる映像信号Dpは、具体的には着目画素に対応する画素データD11であるので、後述するように輝度勾配算出部51から得られる画素データD11を映像信号Dpとして右目用画像生成部12および左目用画像生成部13に与える構成となっている点は、第1の実施形態の構成とは異なる。もっともこの構成を第1の実施形態に適用することが可能であるが詳しくは後述する。
またこの図7に示される3Dテレビジョン装置20は、図1に示される第1の実施形態と同様の液晶表示装置21と、第1の実施形態と同一の機能のほか、傾きを検出する機能を有するアクティブシャッタ装置23と備える。この傾きを検出する機能は、周知の傾きセンサ、例えば利用者の右目と左目とを結ぶ線分に略平行に延びる(眼鏡型の)フレームに内蔵される(上記線分に平行に設置される)加速度センサにより実現される。
例えば、加速度センサが重力加速度に一致する値を検出する場合は、例えば利用者が地面に対して垂直に(体を傾けずに)座っているときなど、利用者の左右の目が地面に平行となっている状態であると言える。この場合には、アクティブシャッタ装置23からは傾きSa=0°が出力される。
また、加速度センサが重力加速度の√2/2に一致する値を検出する場合は、例えば利用者の左右の目が地面に対し右または左に45°傾いている状態であると言える。この場合には、アクティブシャッタ装置23からは傾きSa=45またはSa=−45°が出力される。なお、これらのうちいずれの値が出力されるべきであるかは直前の傾きの値に基づき判断されるが、加速度センサを垂直方向(または45度方向)にもう1つ設け、その出力値を併せて参照することにより判断してもよい。
さらに加速度センサが重力加速度を検出しない場合は、例えば、真横に寝転んでいるときなど、利用者の左右の目が地面に垂直となっている状態であると言える。この場合には、アクティブシャッタ装置23からは傾きSa=90°または−90°が出力される。なお、これらのうちいずれの値が出力されるかは、前述したとおりである。
<7.2 輝度勾配算出部の輝度勾配算出動作>
輝度勾配算出部51は、上記傾きSaを示す信号(この信号も”Sa”と表記する)を受け取り、この傾きに対応する輝度勾配を算出する。すなわち、傾きSa=0である場合、輝度勾配算出部51は、第4の実施形態と同様、例えば上式(1)に基づき画像の左から右の方向への輝度勾配を算出する動作を行う。
輝度勾配算出部51は、上記傾きSaを示す信号(この信号も”Sa”と表記する)を受け取り、この傾きに対応する輝度勾配を算出する。すなわち、傾きSa=0である場合、輝度勾配算出部51は、第4の実施形態と同様、例えば上式(1)に基づき画像の左から右の方向への輝度勾配を算出する動作を行う。
また、傾きSa=90°である場合、輝度勾配算出部51は、次式(6)に基づき上から下への方向を輝度勾配算出方向として輝度勾配を算出する動作を行う。すなわち、前述したように図8において着目画素を画素P(1,1)とすると、対応する画素データD11により示される画素データD11および輝度勾配算出方向(上から下への方向)に対して垂直方向に並ぶその左右の画素データD10,D12(すなわち着目画素群に対応する画素データ)と、これらの着目画素群の上隣の画素に対応する画素データD00,D01,D02(すなわち始点画素群に対応する画素データ)と、輝度勾配算出部51により算出される輝度勾配LGとは、次式(6)のような関係となる。
LG=(D10+D11+D12)−(D00+D01+D02) …(6)
LG=(D10+D11+D12)−(D00+D01+D02) …(6)
次に、傾きSa=45°の場合、輝度勾配算出部51は、次式(7)に基づき左上から右下の方向を輝度勾配算出方向として輝度勾配を算出する動作を行う。すなわち、着目画素を画素P(1,1)とすると、対応する画素データD11およびその右上および左下の画素の輝度値D02,D20と、これらの着目画素群の左上近傍の始点画素群に対応する画素データD00,D01,D10と、輝度勾配算出部51により算出される輝度勾配LGとは、次式(7)のような関係となる。
LG=(D02+D11+D20)−(D00+D01+D10) …(7)
LG=(D02+D11+D20)−(D00+D01+D10) …(7)
なお、上記画素データD01,D10に対応する2つの画素は着目画素および画素データD02,D20に対応する画素に左上に近接するのみであって隣接していないが、計算を簡単にするため、左上近傍の画素であるこれらの画素をここでは計算対象としている。
また、傾きSa=−45°の場合、輝度勾配算出部51は、次式(8)に基づき左下から右上の方向を輝度勾配算出方向として輝度勾配を算出する動作を行う。すなわち、着目画素を画素P(1,1)とすると、その輝度値D11およびその左上および右下の画素の輝度値D00,D22と、これらの着目画素群の左下近傍の始点画素群に対応する画素データD20,D10,D21と、輝度勾配算出部51により算出される輝度勾配LGとは、次式(8)のような関係となる。
LG=(D00+D11+D22)−(D10+D20+D21) …(8)
LG=(D00+D11+D22)−(D10+D20+D21) …(8)
なお、傾きSa=−90°、Sa=−135°、またはSa=−225°の場合には、上式(6)〜(8)のいずれかにおいて、右目用と左目用を入れ替えて対応する画素データに基づき計算することにより、同様に輝度勾配を検出することができる。
このように利用者の顔の傾き(左右の目を結ぶ線分の傾き)を検出することにより、立体画像に対する視差方向を検出し、この視差方向に応じた輝度勾配算出方向に輝度勾配を算出すれば、視差方向に輝度勾配が大きくなるほど、輝度補正量が大きくなるため、結果的に視差方向に立体感が強められることになる。したがって、実際の視差方向に適した(立体感を有する)立体画像を生成することができる。
なお、既に作成された立体画像では視差方向が予め(左右方向に)定められているため、利用者が顔を傾けることなどにより実際の視差方向が上記予定された視差方向(左右方向)と異なる場合には立体感が損なわれる(表示が異常となる)。しかしこのような場合であっても、立体画像のうちの一方を平面画像として使用したり、立体画像から一旦平面画像を生成した後、生成された平面画像に対して本実施形態の構成を適用することにより立体画像を生成すれば、利用者の顔の傾きにより視差方向が変化しても正常な画像表示を行い、しかも立体感が得られる表示を行うことができる。
ここで、以上のように利用者の顔の傾きに応じて、輝度勾配の算出方法を変更するためには、図8に示す9つの画素データD00〜D22を映像信号Dpから順次抽出し演算することが必要となる。そこで図12を参照してその詳しい構成について説明する。なお、映像信号Dpは、1行に最左列から最右列まで順に配列された画素データを最上行から最下行まで連続して1つずつ順に含んでいるものとする。また、以下の構成は前述したように第1の実施形態の構成を含むので、第1の実施形態にも容易に適用が可能であり、他の実施形態にも同様に適用することができる。
<7.3 輝度勾配算出部の詳細な構成および動作>
図12は、輝度勾配算出部51の詳細な構成を示すブロック図である。図12に示されるように、輝度勾配算出部51は、FF(フリップフロップ回路)511〜517と、LB(ラインバッファ回路)521,522と、選択回路531と、加算回路541,542と、減算回路551とを含む。
図12は、輝度勾配算出部51の詳細な構成を示すブロック図である。図12に示されるように、輝度勾配算出部51は、FF(フリップフロップ回路)511〜517と、LB(ラインバッファ回路)521,522と、選択回路531と、加算回路541,542と、減算回路551とを含む。
フリップフロップ回路511〜517は、入力される画素データを1画素分だけ記憶し、次の入力データを受け取るときに記憶された画素データを出力する。なお、このフリップフロップ回路は、ラッチ回路などのその他の周知の記憶回路であってもよい。
ラインバッファ回路521,522は、入力される画素データを1行分だけ記憶し、次の入力データを受け取る毎に、最初に記憶された画素データを1画素分ずつ順に出力する。なお、このラインバッファ回路は、その他の周知の記憶回路であってもよい。
図8に示されるような映像信号Dpに含まれる画素データD00〜D22は、上記フリップフロップ回路511〜517およびラインバッファ回路521,522によって選択回路531に同時に与えられる。また、選択回路531には、前述した傾きSaが与えられる。
選択回路531は、画素データD00〜D22のうち、前述したように傾きSaに応じた着目画素群に対応する3つの画素データを選択し、データB1〜B3として加算回路541に出力し、同様に始点画素群に対応する3つの画素データを選択し、データA1〜A3として加算回路542に出力する。例えばアクティブシャッタ装置23から傾きSa=90°を受け取る場合、上式(6)に示されるように、画素データD10、D11、D12を選択してデータA1〜A3として出力し、また、画素データD00、D01、D02を選択してデータB1〜B3として出力する。
加算回路541は、データB1〜B3を加算してデータBとして減算回路551に出力し、加算回路542は、データA1〜A3を加算してデータAとして減算回路551に出力する。減算回路551は、出力された上記データAから上記データBを減算することにより輝度勾配LGを算出する。このようにして例えば上式(6)〜(8)のような計算が実現される。
<7.4 第7の実施形態における効果>
以上のように、本実施形態における立体画像生成装置50は、第1の実施形態と同様の効果を奏するとともに、利用者の顔の傾きを検出することにより、立体画像に対する実際の視差方向を検出することができるので、この視差方向に応じた輝度勾配算出方向に輝度勾配を算出することにより、実際の視差方向に適した(立体感を有する)立体画像を生成することができる。
以上のように、本実施形態における立体画像生成装置50は、第1の実施形態と同様の効果を奏するとともに、利用者の顔の傾きを検出することにより、立体画像に対する実際の視差方向を検出することができるので、この視差方向に応じた輝度勾配算出方向に輝度勾配を算出することにより、実際の視差方向に適した(立体感を有する)立体画像を生成することができる。
また、本実施形態の構成を第2から第6までのいずれかの実施形態(またはその変形例)の構成に適用することもできる。そうすれば、上記効果に対してさらに第2から第6までのいずれかの実施形態における固有の効果を併せて奏することができる。
本発明は、立体画像の生成方法、生成装置、およびそれを備える表示装置に関するものであり、特に、平面(二次元)画像から立体視可能な立体画像を生成する装置を備える3Dテレビジョンなどの表示装置に適している。
10 …立体画像生成装置
11、31、51 …輝度勾配算出部
12、32、42…右目用画像生成部
13、43 …左目用画像生成部
15、35、45 …立体画像信号生成部
20 …3Dテレビジョン装置
21 …液晶表示装置
22、23 …アクティブシャッタ装置
44 …立体画像信号分離部
46 …右目用輝度勾配算出部
47 …左目用輝度勾配算出部
U …利用者
11、31、51 …輝度勾配算出部
12、32、42…右目用画像生成部
13、43 …左目用画像生成部
15、35、45 …立体画像信号生成部
20 …3Dテレビジョン装置
21 …液晶表示装置
22、23 …アクティブシャッタ装置
44 …立体画像信号分離部
46 …右目用輝度勾配算出部
47 …左目用輝度勾配算出部
U …利用者
Claims (15)
- 1つ以上の入力画像に基づき立体視可能な画像を生成する立体画像生成方法であって、
立体視を行うべき利用者の一方の目から他方の目への方向に対応する輝度勾配算出方向を定める始点および終点のうち、前記終点を前記入力画像に含まれる着目画素とし、前記始点を前記着目画素に隣接または近接する画素とするときの、前記始点とされる画素から前記着目画素への輝度勾配を算出する輝度勾配算出ステップと、
前記輝度勾配の正負と同符号の補正量を前記着目画素の輝度に加える第1の補正、および前記輝度勾配の正負と逆符号の補正量を前記着目画素の輝度に加える第2の補正のうちの少なくとも一方を行うことにより、前記入力画像に対して1つまたは2つの輝度補正された画像を生成する輝度補正画像生成ステップと
を備え、
輝度補正画像生成ステップでは、前記第1の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記入力画像のいずれかを前記利用者の前記他方の目に与えられるべき画像として出力するとともに、前記第2の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記入力画像のいずれかを前記利用者の前記一方の目に与えられるべき画像として出力することを特徴とする、立体画像生成方法。 - 前記輝度補正画像生成ステップでは、前記輝度勾配の絶対値が大きくなるほど、前記補正量の絶対値が大きくなるよう前記補正量を設定することを特徴とする、請求項1に記載の立体画像生成方法。
- 前記輝度補正画像生成ステップでは、前記輝度勾配の絶対値が所定の閾値以上である場合、前記入力画像のエッジ部分に前記着目画素が含まれるものとして、前記補正量をゼロにすることを特徴とする、請求項2に記載の立体画像生成方法。
- 1つ以上の入力画像に基づき立体視可能な画像を生成する立体画像生成装置であって、
立体視を行うべき利用者の一方の目から他方の目への方向に対応する輝度勾配算出方向を定める始点および終点のうち、前記終点を前記入力画像に含まれる着目画素とし、前記始点を前記着目画素に隣接または近接する画素とするときの、前記始点とされる画素から前記着目画素への輝度勾配を算出する勾配算出部と、
前記輝度勾配の正負と同符号の補正量を前記着目画素の輝度に加える第1の補正、および前記輝度勾配の正負と逆符号の補正量を前記着目画素の輝度に加える第2の補正のうちの少なくとも一方を行うことにより、前記入力画像に対して1つまたは2つの輝度補正された画像を生成する輝度補正画像生成部と
を備え、
輝度補正画像生成部は、前記第1の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記入力画像のいずれかを前記利用者の前記他方の目に与えられるべき画像として出力するとともに、前記第2の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記入力画像のいずれかを前記利用者の前記一方の目に与えられるべき画像として出力することを特徴とする、立体画像生成装置。 - 前記輝度補正画像生成部は、前記第1および第2の補正のうちの一方のみを行うことにより、輝度補正された1つの画像を生成することを特徴とする、請求項4に記載の立体画像生成装置。
- 前記入力画像は、立体視可能な画像であって、前記利用者の前記他方の目に与えられるべき第1の入力画像と、前記利用者の前記一方の目に与えられるべき第2の入力画像とからなり、
輝度補正画像生成部は、前記入力画像を立体視するときに得られる立体感をより強める場合に、前記第1の入力画像に対して行われる前記第1の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記第1の入力画像のいずれかを前記利用者の前記他方の目に与えられるべき画像として出力するとともに、前記第2の入力画像に対して行われる前記第2の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記第2の入力画像のいずれかを前記利用者の前記一方の目に与えられるべき画像として出力することを特徴とする、請求項4に記載の立体画像生成装置。 - 輝度補正画像生成部は、前記入力画像を立体視するときに得られる立体感をより弱める場合に、前記第1の入力画像に対して行われる前記第2の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記第1の入力画像のいずれかを前記利用者の前記他方の目に与えられるべき画像として出力するとともに、前記第2の入力画像に対して行われる前記第1の補正により得られる輝度補正された画像、または当該画像が生成されない場合には前記第2の入力画像のいずれかを前記利用者の前記一方の目に与えられるべき画像として出力することを特徴とする、請求項6に記載の立体画像生成装置。
- 前記輝度勾配算出部は、前記着目画素および当該着目画素に隣接または近接する画素からなる着目画素群の輝度と、前記始点とされる画素を含む前記始点となるべき画素群である始点画素群の輝度とに基づき、前記輝度勾配を算出することを特徴とする、請求項4に記載の立体画像生成装置。
- 前記輝度勾配算出部は、前記着目画素および当該着目画素と前記輝度勾配算出方向に対して垂直方向に隣接または近接する複数の画素からなる着目画素群の輝度を加算した第1の加算値、前記輝度勾配算出方向に隣接または近接するとともに、前記垂直方向に沿って互いに隣接しまたは近接する始点画素群の輝度を加算した第2の加算値との差分値を、前記輝度勾配とすることを特徴とする、請求項8に記載の立体画像生成装置。
- 輝度補正画像生成部は、前記輝度勾配の絶対値が大きくなるほど、前記補正量の絶対値が大きくなるよう前記補正量を設定することを特徴とする、請求項4に記載の立体画像生成装置。
- 輝度補正画像生成部は、前記補正量の絶対値を所定値以下の大きさに制限することを特徴とする、請求項4に記載の立体画像生成装置。
- 輝度補正画像生成部は、前記入力画像のエッジ部分に前記着目画素が含まれる場合、前記補正量をゼロにすることを特徴とする、請求項4に記載の立体画像生成装置。
- 輝度補正画像生成部は、前記輝度勾配の絶対値が所定の閾値以上である場合、前記エッジ部分に前記着目画素が含まれるものとして、前記補正量をゼロにすることを特徴とする、請求項12に記載の立体画像生成装置。
- 輝度勾配算出部は、外部から与えられる前記利用者の一方の目から他方の目への方向情報に基づき前記輝度勾配算出方向を決定し、決定された当該輝度勾配算出方向へ前記輝度勾配を算出することを特徴とする、請求項4に記載の立体画像生成装置。
- 請求項4に記載の立体画像生成装置と、
前記利用者の前記一方の目に与えられるべき画像と前記他方の目に与えられる画像とを交互に表示する表示部と、
前記表示部において前記一方の目に与えられるべき画像が表示される場合、前記利用者の他方の目により当該画像が見えないように遮断し、前記他方の目に与えられるべき画像が表示される場合、前記利用者の一方の目により当該画像が見えないように遮断するシャッタ部と
を備える、立体画像表示装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010192034 | 2010-08-30 | ||
JP2010192034 | 2010-08-30 | ||
PCT/JP2011/062588 WO2012029371A1 (ja) | 2010-08-30 | 2011-06-01 | 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2012029371A1 true JPWO2012029371A1 (ja) | 2013-10-28 |
Family
ID=45772483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012531717A Withdrawn JPWO2012029371A1 (ja) | 2010-08-30 | 2011-06-01 | 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20130147797A1 (ja) |
JP (1) | JPWO2012029371A1 (ja) |
CN (1) | CN103081485A (ja) |
WO (1) | WO2012029371A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5781351B2 (ja) * | 2011-03-30 | 2015-09-24 | 日本アビオニクス株式会社 | 撮像装置、その画素出力レベル補正方法、赤外線カメラシステム及び交換可能なレンズシステム |
JP5778469B2 (ja) | 2011-04-28 | 2015-09-16 | 日本アビオニクス株式会社 | 撮像装置、画像生成方法、赤外線カメラシステム及び交換可能なレンズシステム |
JP5096643B1 (ja) * | 2011-05-19 | 2012-12-12 | パナソニック株式会社 | 輻輳能力判定装置及びその方法 |
US9081195B2 (en) * | 2012-08-13 | 2015-07-14 | Innolux Corporation | Three-dimensional image display apparatus and three-dimensional image processing method |
CN104010183B (zh) * | 2012-11-21 | 2017-03-01 | 豪威科技股份有限公司 | 包括至少一个拜耳型摄像机的阵列系统及关联的方法 |
KR101856568B1 (ko) * | 2013-09-16 | 2018-06-19 | 삼성전자주식회사 | 다시점 영상 디스플레이 장치 및 제어 방법 |
JP6151150B2 (ja) * | 2013-10-07 | 2017-06-21 | 日立オートモティブシステムズ株式会社 | 物体検出装置及びそれを用いた車両 |
US9978121B2 (en) * | 2013-12-04 | 2018-05-22 | Razzor Technologies | Adaptive sharpening in image processing and display |
JP2015194709A (ja) * | 2014-03-28 | 2015-11-05 | パナソニックIpマネジメント株式会社 | 画像表示装置 |
JP6423625B2 (ja) * | 2014-06-18 | 2018-11-14 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
WO2016121233A1 (ja) * | 2015-01-30 | 2016-08-04 | 三菱電機株式会社 | 画像処理装置、画像表示装置、及び画像処理方法 |
WO2018190826A1 (en) * | 2017-04-12 | 2018-10-18 | Hewlett-Packard Development Company, L.P. | Transfer to head mounted display |
JP2019118004A (ja) * | 2017-12-27 | 2019-07-18 | ソニー株式会社 | 情報処理装置、情報処理方法、および記録媒体 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4617024B2 (ja) * | 2001-05-14 | 2011-01-19 | 学校法人早稲田大学 | 立体映像信号の編集方法 |
JP5347717B2 (ja) * | 2008-08-06 | 2013-11-20 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2014504074A (ja) * | 2011-01-23 | 2014-02-13 | エクストリーム リアリティー エルティーディー. | 立体三次元イメージおよびビデオを生成する方法、システム、装置、および、関連する処理論理回路 |
-
2011
- 2011-06-01 CN CN2011800421838A patent/CN103081485A/zh active Pending
- 2011-06-01 US US13/817,632 patent/US20130147797A1/en not_active Abandoned
- 2011-06-01 JP JP2012531717A patent/JPWO2012029371A1/ja not_active Withdrawn
- 2011-06-01 WO PCT/JP2011/062588 patent/WO2012029371A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN103081485A (zh) | 2013-05-01 |
US20130147797A1 (en) | 2013-06-13 |
WO2012029371A1 (ja) | 2012-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2012029371A1 (ja) | 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置 | |
JP5615136B2 (ja) | 立体画像補正方法、立体表示装置、および立体画像生成装置 | |
US9277207B2 (en) | Image processing apparatus, image processing method, and program for generating multi-view point image | |
JP6517245B2 (ja) | 三次元画像を生成するための方法及び機器 | |
JP6308513B2 (ja) | 立体画像表示装置、画像処理装置及び立体画像処理方法 | |
US20140111627A1 (en) | Multi-viewpoint image generation device and multi-viewpoint image generation method | |
KR101675961B1 (ko) | 적응적 부화소 렌더링 장치 및 방법 | |
JP5849811B2 (ja) | 裸眼立体視用映像データ生成方法 | |
WO2016115849A1 (zh) | 图像亮度的调节方法及调节装置、显示装置 | |
US10547832B2 (en) | Image processing apparatus, method, and storage medium for executing gradation on stereoscopic images | |
KR20150144439A (ko) | 입체 영상 표시 장치 | |
EP2835972B1 (en) | Apparatus and method for adjusting stereoscopic images in response to head roll | |
US20130027391A1 (en) | Stereoscopic image system | |
US11256097B2 (en) | Image generation apparatus, image display system, image generation method, and computer program | |
JP2011164202A (ja) | 画像表示装置、画像表示システム及び画像表示方法 | |
WO2013031807A1 (ja) | 立体画像生成方法、立体画像生成装置、およびそれを備える表示装置 | |
TW201315209A (zh) | 呈現立體影像之系統及方法 | |
JP6434169B2 (ja) | 裸眼立体視ディスプレイのための画像の生成 | |
JP5304758B2 (ja) | 多視点画像作成装置及び多視点画像作成方法並びに多視点画像表示システム | |
JP2013090129A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP5528162B2 (ja) | 画像処理装置および画像処理方法 | |
US9460550B2 (en) | Multi-viewpoint image generation apparatus and method | |
US9330487B2 (en) | Apparatus and method for processing 3D images through adjustment of depth and viewing angle | |
US8913077B2 (en) | Image processing apparatus and image processing method | |
WO2012165132A1 (ja) | 裸眼立体ディスプレイ装置、視点調整方法、裸眼立体視用映像データ生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140805 |