JP5881732B2 - 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP5881732B2
JP5881732B2 JP2013544054A JP2013544054A JP5881732B2 JP 5881732 B2 JP5881732 B2 JP 5881732B2 JP 2013544054 A JP2013544054 A JP 2013544054A JP 2013544054 A JP2013544054 A JP 2013544054A JP 5881732 B2 JP5881732 B2 JP 5881732B2
Authority
JP
Japan
Prior art keywords
image
viewer
panel
parallax
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013544054A
Other languages
English (en)
Other versions
JPWO2013073028A1 (ja
Inventor
村 徳 裕 中
村 徳 裕 中
田 雄 志 三
田 雄 志 三
山 賢 一 下
山 賢 一 下
井 隆 介 平
井 隆 介 平
島 直 三
島 直 三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of JPWO2013073028A1 publication Critical patent/JPWO2013073028A1/ja
Application granted granted Critical
Publication of JP5881732B2 publication Critical patent/JP5881732B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Description

本発明の実施形態は、画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラムに関する。
立体画像表示装置では、視聴者は特殊なメガネを使用せずに裸眼で立体画像を観察することができる。このような立体画像表示装置は、視点の異なる複数の画像(以下ではそれぞれの画像を視差画像とよぶ)を表示し、これらの視差画像の光線を、例えばパララックスバリア、レンチキュラレンズなどによって制御する。この際、表示する画像は、パララックスバリア、レンチキュラレンズなどを通して覗いた場合に意図した方向で意図した画像が観察されるように並びかえられたものである必要がある。この並べ替え方法を以下ではピクセルマッピングと呼ぶ。以上のように、パララックスバリア、レンチキュラレンズなどとそれに合わせたピクセルマッピングによって制御された光線は、視聴者の両眼に導かれ、視聴者の観察位置が適切であれば、視聴者は立体画像を認識できる。このように視聴者が立体画像を観察可能な領域を視域という。
しかしながら、このような視域は限定的であるという問題がある。例えば、左目に知覚される画像の視点が、右目に知覚される画像の視点に比べて相対的に右側となり、立体画像を正しく認識できない観察領域である逆視領域が存在する。
従来、視聴者の位置に応じて視域を設定する技術として、視聴者の位置を何らかの手段(例えばセンサなど)で検出し、視聴者の位置に応じて、ピクセルマッピング前の視差画像を入れ替えて、視域を制御する技術が知られている。
米国特許第6064424号
Image Preparation for 3D-LCD
しかしながら、従来技術のような視差画像の入れ替えでは、離散的にしか視域の位置を制御することができず、連続的に移り変わる視聴者の位置に、十分に合わせることができない。そのため、視点の位置によって画像の画質が変化するだけでなく、移り変わりの最中、具体的には視差画像を入れ替えるタイミングなどで、映像が突然切り替わるように見え、視聴者に違和感を与える。これは、各視差画像がどの位置で見えるかはパララックスバリア、レンチキュラレンズの設計と、パネルのサブピクセルとの位置関係によってあらかじめ決められており、その位置からずれた場合、どのように視差画像を入れ替えても対応することができないためである。
本発明の一側面が解決しようとする課題は、視聴者の位置にかかわらず、画質の劣化をできるだけ抑制して、立体画像を視聴可能にすることである。
本発明の実施形態に係る画像処理装置は、パネルと光学的開口部とを有する表示装置に立体画像を表示するための画像処理装置であって、視差画像取得部と、視聴者位置取得部と、画像生成部と、を備える。
前記視差画像取得部は、1つの視点での画像である少なくとも1つの視差画像を取得する。
前記視聴者位置取得部は、視聴者の位置を取得する。
前記画像生成部は、前記視聴者の位置に基づいて、前記パネルと光学的開口部との対応関係に関するパラメータを補正し、補正後のパラメータに基づいて、前記表示装置に表示されたときに前記視聴者に前記立体画像を可視可能なように前記視差画像の各ピクセルを割り当てた画像を生成する。
実施形態の画像処理装置を備えた立体画像表示装置の構成例を示す図。 光学的開口部および表示素子を示す図。 図1に示した画像処理装置の処理フローを示す図。 パネルおよびレンズ間の角度、ピクセルマッピング、および各種用語の意味を説明するための図。 パネルと光学的開口部との対応関係に関するパラメータと、視域との関係を説明するための図。 パネルの中心を原点としたX,Y、Z座標空間を表す図。
本実施形態の画像処理装置は、視聴者が裸眼で立体画像を観察可能なTV、PC、スマートフォン、デジタルフォトフレーム等の立体画像表示装置に用いられ得る。立体画像とは、互いに視差を有する複数の視差画像を含む画像であり、視聴者はこの画像を、レンチキュラレンズや、パララックスバリア等の光学的開口部を介して観察することで、立体画像を視認できる。なお、実施形態で述べる画像は、静止画又は動画のいずれであってもよい。
図1は、本実施形態の立体画像表示装置の構成例を示すブロック図である。立体画像表示装置は、画像取得部1と、視聴位置取得部2と、マッピング制御パラメータ算出部3と、ピクセルマッピング処理部4と、表示部(表示装置)5とを備える。画像取得部1と、視聴位置取得部2と、マッピング制御パラメータ算出部3と、ピクセルマッピング処理部4は、画像処理装置7を形成する。マッピング制御パラメータ算出部3とピクセルマッピング処理部4は、画像生成部8を形成する。
表示部5は、立体画像を表示するための表示装置である。表示装置が表示する立体画像を視聴者が観察可能な範囲(領域)を視域と呼ぶ。
本実施形態では、図6に示すように、実空間上において、パネル表示面(ディスプレイ)の中心を原点とし、ディスプレイ面の水平方向にX軸、ディスプレイ面の鉛直方向にY軸、ディスプレイ面の法線方向にZ軸を設定する。本実施形態では、高さ方向とはY軸方向を指す。ただし、実空間上における座標の設定方法はこれに限定されるものではない。
図2(A)に示すように、表示装置は、表示素子20と開口制御部26とを含む。視聴者は、開口制御部26を介して表示素子20を観察することで、表示装置に表示される立体画像を視認する。
表示素子20は、立体画像の表示に用いる視差画像を表示する。表示素子20としては、直視型2次元ディスプレイ、例えば、有機EL(Organic Electro Luminescence)やLCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、投射型ディスプレイなどがある。
表示素子20は、例えば、RGB各色のサブピクセルを、RGBを1画素としてマトリクス状に配置した公知の構成であってよい(図2(A)における表示素子20の個々の小さな矩形は、RGBのサブピクセルを示す)。この場合、第1方向に並ぶRGB各色のサブピクセルが1画素を構成し、隣接する画素を視差の数だけ、第1方向に交差する第2方向に並べた画素群に表示される画像を要素画像30と称する。第1方向は、例えば列方向(垂直方向、あるいはY軸方向)であり、第2方向は、例えば行方向(水平方向、あるいはX軸方向)である。表示素子20のサブピクセルの配列は、他の公知の配列であっても構わない。また、サブピクセルは、RGBの3色に限定されない。例えば、4色であっても構わない。
開口制御部26は、表示素子20からその前方に向けて発散される光線を、開口部を介して所定方向に向けて出射させる(以下、このような機能を有する開口部を光学的開口部と呼ぶ)。光学的開口部26としては、レンチキュラレンズや、パララックスバリア等がある。
光学的開口部は、表示素子20の各要素画像30に対応するように配置される。1つの光学的開口部が1つの要素画像に対応している。表示素子20に複数の要素画像30を表示すると、表示素子20には、複数の視差方向に対応した視差画像群(多視差画像)が表示される。この多視差画像による光線は、各光学的開口部を透過する。そして、視域内に位置する視聴者33は、要素画像30に含まれる画素を、左目33Aおよび右目33Bでそれぞれ観察することになる。このように、視聴者33の左目33Aおよび右目33Bに対し、視差の異なる画像をそれぞれ表示させることで、視聴者33が立体画像を観察することができる。
本実施形態では、図2(B)の平面図および図4(A)の斜視図に示すように、光学的開口部26はパネル表示面と平行に配置され、その光学的開口部の延伸方向が表示素子20の第1方向(Y軸方向)に対して、所定の傾きθを有している。
以下、図1に示した立体画像表示装置の各ブロックを詳細に説明する。
[画像取得部1]
画像取得部1では、表示したい視差画像数(視差数)に応じて、1つまたは複数の視差画像を取得する。視差画像は、記録媒体から取得する。たとえばハードディスクやサーバ等にあらかじめ保存しておき、そこから取得してもよいし、カメラや、複数のカメラを連結させたカメラアレイ、ステレオカメラ等の入力デバイスから、直接取得するように構成してもよい。
[視聴位置取得部2]
視聴位置取得部2は、視聴領域内の実空間における視聴者の位置を3次元座標値として取得する。視聴者の位置の取得には、例えば、可視カメラ、赤外線カメラ等の撮像機器の他、レーダやセンサ等の機器を用いることができる。これらの機器で得られた情報(カメラの場合には撮影画像)から、公知の技術を用いて、視聴者の位置を取得する。
例えば、可視カメラを用いた場合には、撮像によって得た画像を画像解析することで、視聴者の検出および視聴者の位置の算出を行う。これによって、視聴位置取得部2は視聴者の位置を取得する。
また、レーダを用いた場合には、得られたレーダ信号を信号処理することで、視聴者の検出及び視聴者の位置の算出を行う。これによって、視聴位置取得部2は視聴者の位置を取得する。
また、人物検出・位置算出における視聴者の検出においては、顔、頭、人物全体、マーカーなど、人であると判定可能な任意の対象を検出してもよい。視聴者の目の位置を検出してもよい。なお、視聴者の位置の取得方法は、上記の方法に限定されるものではない。
[ピクセルマッピング処理部4]
ピクセルマッピング処理部4は、画像取得部1で取得した視差画像群の各サブピクセルを、視差数N、光学的開口部のY軸に対する傾きθ、光学的開口部とパネルとのX軸方向のずれ量(パネル換算シフト量)koffset、光学的開口部1つに対応するパネル上での幅Xn等の制御パラメータをもとに並べ替える(割り当てる)ことで、各要素画像30を決定する。なお、以下では表示素子20全体に表示する複数の要素画像30を要素画像アレイと呼ぶ。要素画像アレイは、表示時に視聴者が立体画像を可視可能なように視差画像の各ピクセルを割り当てた画像である。
並べ替えには、まず要素画像アレイの各サブピクセルから射出される光線が、光学的開口部26を通して飛ぶ方向を算出する。これには、例えば非特許文献1(Image Preparation for 3D-LCD)に記載の方法を用いることができる。
例えば、以下の式1を用いて、光線が飛ぶ方向を算出することができる。式中のsub_x, sub_yはそれぞれパネル左上隅を基準とした場合のサブピクセルの座標である。v(sub_x, sub_y)はsub_x, sub_yのサブピクセルから射出される光線が光学的開口部26を通して飛ぶ方向である。
Figure 0005881732
ここで求められる光線の方向とは、光学的開口部26の延伸方向に対してX軸を基準とした場合の水平幅Xnの領域を定義し、その領域の最もX軸の負の方向に存在する境界線に対応する位置から射出される光が飛ぶ方向を0とし、その境界からXn/Nだけ離れた位置から射出される光が飛ぶ方向を1というように順に定義した場合に、各サブピクセルから出る光が光学的開口部26を通して飛ぶ方向を表す番号のことである。さらなる詳細な説明については公知文献1を参照いただきたい。
そののち、サブピクセルごとに計算された方向と、取得した視差画像を対応付ける。例えば、視差画像群のうち、視差画像生成時の視点位置と光線の方向とが互いに最も近いものを選択する、中間の視点位置の視差画像を視差画像間の補間により生成するなどが考えられる。これにより、サブピクセルごとに、色を取得する視差画像(参照視差画像)が決定される。
図4(B)に、視差数N=12とし、各視差画像に0〜11までの番号を割り当てた場合の参照視差画像の番号の一例を示す。紙面に沿って横方向にならぶ0,1,2,3,・・・は、サブピクセルのX軸方向の位置を表し、縦方向に並ぶ0,1,2,・・・は、Y軸方向の位置を表す。紙面に沿って斜めに走る線は、Y軸に対してθの角度で配置された光学的開口部を表している。矩形の各セル内に記載された数字が、参照視差画像の番号に対応するとともに、前述した光が飛ぶ方向に対応する。数字が整数の場合は、その整数は、同じ番号の視差画像に対応し、小数は、その数字を間に含む2つの番号の視差画像により補間した画像に対応する。たとえば数字が7.0であれば、番号7の視差画像を参照視差画像として用い、数字が6.7であれば、番号6および番号7の参照視差画像を用いて補間した画像を参照視差画像として用いる。最後に、要素画像アレイのサブピクセルごとに、参照視差画像を表示素子20全体に対応させた場合に対応する位置のサブピクセルを割り当てる。以上により、表示装置における各表示画素の各サブピクセルに割り当てる値が決まる。なお、視差画像取得部1が1つの視差画像しか読み出していない場合は、当該1つの視差画像から他の視差画像を生成すればよい。たとえば上記の0番に相当する視差画像1つを読み出した場合は、当該視差画像から、1〜11番に相当する視差画像を生成すればよい。
なお、ピクセルマッピング処理には必ずしも公知文献1を用いる必要はなく、パネルと光学的開口部との対応関係に関するパラメータ、上記の例では、パネルと光学的開口部の位置ずれを定義するパラメータ、および光学的開口部1つに対応するパネル上での幅を定義するパラメータ、に基づいたピクセルマッピング処理であれば、いずれの手法を用いてもよい。
ここで、本来、各パラメータはパネル27と光学的開口部26との関係によって決定され、ハードウェアを再設計しない限り変わることはない。本実施形態では、観察者の視点位置をもとに上記パラメータ(特に光学的開口部とパネルとのX軸方向のずれ量koffset、光学的開口部1つに対応するパネル上での幅Xn)を補正することにより、所望の位置に視域を移動させる。例えば非特許文献1の方法をピクセルマッピングに用いる場合は、以下の式2のようにパラメータを補正することで、視域の移動を実現する。
Figure 0005881732
r_offsetは,koffsetに対する補正量を表す。r_XnはXnに対する補正量を表す。これらの補正量の算出方法については、後述する。
上記の式2では、koffsetを、光学的開口部に対するパネルのずれ量と定義した場合を示しているが、パネルに対する光学的開口部のずれ量と定義する場合は、以下の式3のようになる。なお、Xnに対する補正は、上記の式2と同じである。
Figure 0005881732
[マッピング制御パラメータ算出部3]
マッピング制御パラメータ算出部3は、視域を観察者に合わせて移動させるための、補正パラメータ(補正量)を算出する。補正パラメータは、マッピング制御パラメータとも呼ばれる。本実施形態で、補正対象となるパラメータはkoffsetとXnの2つのパラメータである。
パネルおよび光学的開口部が図5(A)に示す状態にあるときに、パネルと光学的開口部の位置関係を水平方向にずらすと、図5(C)に示すように、ずらした方向に視域が移動する。図5(C)の例では、光学的開口部を紙面に沿って左にシフトしたことで、光線がηだけ図5(A)の場合よりも左に寄り、これによって視域も左に寄っている。これは、レンズの位置をもとの位置で固定して考えた場合、表示画像が逆方向に動くのと等価である。本来、このずれはピクセルマッピングの際にkoffsetとして与えられ、両者のずれを考慮してv(sub_x, sub_y)が決定される。これにより、両者が相対的にずれた場合でもパネル正面に視域が構成される。本実施形態では、これに対して工夫を加える。すなわち、視聴者の位置に応じて、パネルと光学的開口部のずれであるkoffsetを物理的なずれ量よりも増減させるように補正する。これにより、ピクセルマッピングによる視域の水平方向(X軸方向)の位置補正の程度を連続的に(細かく)でき、従来技術では視差画像の入れ替えにより離散的にしか変化させることができなかった水平方向(X軸方向)における視域の位置を、連続的に変化させることが可能となる。よって、視聴者が任意の水平位置(X軸方向の位置)にいる場合に、視聴者に対し適切に視域を合わせることが可能となる。
また、パネルおよび光学的開口部が図5(A)に示す状態にあるときに、図5(B)に示すように、光学的開口部1つに対応するパネル上での幅Xnを広げると、視域はパネルに近くなる(つまり、図5(B)では図5(A)よりも要素画像幅が大きくなっている)。したがって、Xnの値を、実際の値よりも増減させるように補正することで、ピクセルマッピングによる視域の垂直方向(Z軸方向)の位置補正の程度を連続的に(細かく)できる。これにより、従来技術では視差画像の入れ替えにより離散的にしか変化させることができなかった垂直方向(Z軸方向)における視域の位置を、連続的に変化させることが可能となる。よって、視聴者が任意の垂直位置(Z軸方向の位置)にいる場合に、適切に視域を合わせることが可能となる。
以上より、パラメータkoffset、Xnを適切に補正することで、水平方向および垂直方向のいずれにも視域の位置を連続的に変化させることができる。よって、観察者が任意の位置にいる場合でも、その位置に合わせた視域を設定することが可能となる。
以下、koffsetに対する補正量r_koffset、Xnに対する補正量r_Xnの算出方法を示す。
・r_koffset
r_koffsetは、視聴位置のX座標から算出する。具体的には、現在の視聴位置のX座標と、視聴位置からパネル(あるいはレンズ)までの距離である視距離L、および光学的開口部(レンズの場合は主点P)とパネルとの距離であるギャップg(図4(C)参照)を用いて、以下の式4で、r_koffsetは算出される。なお、現在の視聴位置は、視聴位置取得部2により取得され、視距離Lは、当該現在の視聴位置から計算される。
Figure 0005881732
・r_Xn
r_Xnは、視聴位置のZ座標から、以下の式5により算出される。なお、lens_width(図4(C)参照)は、光学的開口部をX軸方向(レンズの長手方向)に沿って切った場合の幅である。
Figure 0005881732
[表示部5]
表示部5は前述したような、表示素子20と光学的開口部26とを含む表示装置である。視聴者は、光学的開口部26を介して表示素子20を観察することで、表示装置に表示される立体画像を観察する。
前述したように、表示素子20としては、直視型2次元ディスプレイ、例えば、有機EL(Organic Electro Luminescence)やLCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、投射型ディスプレイなどがある。表示素子20は、例えば、RGB各色のサブピクセルを、RGBを1画素としてマトリクス状に配置した公知の構成であってよい。表示素子20のサブピクセルの配列は、他の公知の配列であっても構わない。また、サブピクセルは、RGBの3色に限定されない。例えば、4色であっても構わない。
図3は、図1に示した画像処理装置の動作の流れを示すフローチャートである。
ステップS101において、視差画像取得部1が、記録媒体から1つまたは複数の視差画像を取得する。
ステップS102において、視聴位置取得部2が、撮像機器または、レーダやセンサ等の機器を用いて、視聴者の位置情報を取得する。
ステップS103において、マッピング制御パラメータ算出部3が、視聴者の位置情報に基づき、パネルと光学的開口部の対応関係に関するパラメータを補正するための補正量(マッピング制御パラメータ)を計算する。補正量の計算例は、式4および式5に示した通りである。
ステップS104において、ピクセルマッピング処理部4が、当該補正量に基づき、当該パネルと光学的開口部の対応関係に関するパラメータを補正する(式2、式3参照)。ピクセルマッピング処理部4が、補正後のパラメータに基づき、表示装置に表示されたときに視聴者が立体画像を可視可能なように、視差画像の各ピクセルを割り当てた画像を生成する(式1参照)。
この後、表示部5が、当該生成された画像がパネルに表示されるように各表示画素を駆動する。視聴者は、光学的開口部26を介してパネルの表示素子を観察することで、立体画像を観察することができる。
以上に説明したように、本実施形態では、ピクセルマッピング時に、本来一意に決定されている物理的パラメータを観察者の位置に応じて補正することにより、視域を視聴者の方向に制御する。当該物理的パラメータには、パネルと光学的開口部の位置ずれ、および光学的開口部1つに対応するパネル上での幅を用いる。これらのパラメータは任意の値をとることが可能であるため、従来技術(視差画像入れ替えによる離散的な制御)に比べ、視域をより正確に視聴者に合わせることが可能となる。よって、視聴者の移動に合わせて、正確に視域を追従させることができる。
以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
上述の実施形態の画像処理装置は、CPU(Central Processing Unit)、ROM、RAM、および、通信I/F装置などを含んだハードウェア構成となっている。上述した各部の機能は、CPUがROMに格納されたプログラムをRAM上で展開して実行することにより実現される。また、これに限らず、各部の機能のうちの少なくとも一部を個別の回路(ハードウェア)で実現することもできる。
また、上述の実施形態の画像処理装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態および変形例の画像処理装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の実施形態の画像処理装置で実行されるプログラムを、ROM等に予め組み込んで提供するようにしてもよい。

Claims (10)

  1. パネルと光学的開口部とを有する表示装置に立体画像を表示するための画像処理装置であって、
    1つの視点での画像である少なくとも1つの視差画像を取得する視差画像取得部と、
    視聴者の位置を取得する視聴者位置取得部と、
    前記表示装置に対する前記視聴者の位置に基づいて、前記パネルと光学的開口部との対応関係に関するパラメータを補正し、補正後のパラメータに基づいて、前記表示装置に表示されたときに前記視聴者に前記立体画像を可視可能なように前記視差画像の各ピクセルを割り当てた画像を生成する画像生成部と、
    を備えた画像処理装置。
  2. 前記画像生成部は、前記パネルに対する前記視聴者の水平方向位置と、前記視聴者の視距離とに応じて前記パラメータを補正する、
    請求項1に記載の画像処理装置。
  3. マッピング制御パラメータ算出部をさらに備え、
    前記パラメータは、前記パネルと前記光学的開口部との位置ずれ量を表し、
    前記マッピング制御パラメータ算出部は、前記パネルに対する前記視聴者の水平方向位置と、前記視聴者の視距離とに応じて補正量を算出し、
    前記画像生成部は、前記パラメータを、前記補正量に基づいて補正する、
    請求項2に記載の画像処理装置。
  4. 前記画像生成部は、前記パネルに対する前記視聴者の垂直方向位置と、前記光学的開口部の幅に応じて、前記パラメータを補正する、
    請求項1ないし3のいずれか一項に記載の画像処理装置。
  5. マッピング制御パラメータ算出部をさらに備え、
    前記パラメータは、1つの光学的開口部に対応するパネル上の幅を表し、
    前記マッピング制御パラメータ算出部は、前記パネルに対する前記視聴者の垂直方向位置と、前記光学的開口部の幅に応じて、補正量を算出し、
    前記画像生成部は、前記パラメータを、前記補正量に基づいて補正する、
    請求項4に記載の画像処理装置。
  6. 前記視聴者位置取得部は、撮像機器により撮像された画像を解析することで顔を認識し、認識した顔をもとに前記視聴者の位置を取得する、
    請求項1ないし5のいずれか一項に記載の画像処理装置。
  7. 前記視聴者位置取得部は、視聴者の動きを検出するセンサにより検出された信号を処理することにより、前記視聴者の位置を取得する、
    請求項1ないし5のいずれか一項に記載の画像処理装置。
  8. パネルと光学的開口部とを有する表示装置に立体画像を表示するための画像処理方法であって、
    1つの視点での画像である少なくとも1つの視差画像を取得する視差画像取得ステップと、
    視聴者の位置を取得する視聴者位置取得ステップと、
    前記表示装置に対する前記視聴者の位置に基づいて、前記パネルと光学的開口部との対応関係に関するパラメータを補正し、補正後のパラメータに基づいて、前記表示装置に表示されたときに前記視聴者に前記立体画像を可視可能なように前記視差画像の各ピクセルを割り当てた画像を生成する画像生成処理ステップと、
    を備えた画像処理方法。
  9. パネルと光学的開口部とを有する表示装置に立体画像を表示するための画像処理プログラムであって、
    1つの視点での画像である少なくとも1つの視差画像を取得する視差画像取得ステップと、
    視聴者の位置を取得する視聴者位置取得ステップと、
    前記表示装置に対する前記視聴者の位置に基づいて、前記パネルと光学的開口部との対応関係に関するパラメータを補正し、補正後のパラメータに基づいて、前記表示装置に表示されたときに前記視聴者に前記立体画像を可視可能なように前記視差画像の各ピクセルを割り当てた画像を生成する画像生成処理ステップと、
    をコンピュータに実行させるための画像処理プログラム。
  10. パネルと光学的開口部とを有する表示部と、
    1つの視点での画像である少なくとも1つの視差画像を取得する視差画像取得部と、
    視聴者の位置を取得する視聴者位置取得部と、
    前記表示部に対する前記視聴者の位置に基づいて、前記パネルと光学的開口部との対応関係に関するパラメータを補正し、補正後のパラメータに基づいて、前記表示部に表示された時に前記視聴者に立体画像を可視可能なように前記視差画像の各ピクセルを割り当てた画像を生成する画像生成部と、を備え、
    前記表示部は、前記画像生成部により生成された画像を表示する
    立体画像表示装置。
JP2013544054A 2011-11-16 2011-11-16 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム Expired - Fee Related JP5881732B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/076447 WO2013073028A1 (ja) 2011-11-16 2011-11-16 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2013073028A1 JPWO2013073028A1 (ja) 2015-04-02
JP5881732B2 true JP5881732B2 (ja) 2016-03-09

Family

ID=48429140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013544054A Expired - Fee Related JP5881732B2 (ja) 2011-11-16 2011-11-16 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム

Country Status (6)

Country Link
US (1) US20140247329A1 (ja)
JP (1) JP5881732B2 (ja)
KR (1) KR20140073584A (ja)
CN (1) CN103947199A (ja)
TW (1) TW201322733A (ja)
WO (1) WO2013073028A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2015132828A1 (ja) 2014-03-06 2017-03-30 パナソニックIpマネジメント株式会社 映像表示方法、及び、映像表示装置
KR102208898B1 (ko) * 2014-06-18 2021-01-28 삼성전자주식회사 무안경 3d 디스플레이 모바일 장치, 이의 설정방법 및 사용방법
US10394037B2 (en) 2014-06-18 2019-08-27 Samsung Electronics Co., Ltd. Glasses-free 3D display mobile device, setting method of the same, and using method of the same
TWI559731B (zh) * 2014-09-19 2016-11-21 大昱光電股份有限公司 製作立體影像方法
CN104601975B (zh) 2014-12-31 2016-11-16 深圳超多维光电子有限公司 广视角裸眼立体图像显示方法及显示设备
KR102269137B1 (ko) * 2015-01-13 2021-06-25 삼성디스플레이 주식회사 표시 제어 방법 및 장치
KR102396289B1 (ko) * 2015-04-28 2022-05-10 삼성디스플레이 주식회사 입체 영상 표시 장치 및 그 구동 방법
US10638119B2 (en) * 2015-05-05 2020-04-28 Koninklijke Philips N.V. Generation of image for an autostereoscopic display
JP6764574B2 (ja) * 2016-01-13 2020-10-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、手術システム
JP6732617B2 (ja) * 2016-09-21 2020-07-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
EP3316575A1 (en) * 2016-10-31 2018-05-02 Thomson Licensing Method for providing continuous motion parallax effect using an auto-stereoscopic display, corresponding device, computer program product and computer-readable carrier medium
WO2019204012A1 (en) * 2018-04-20 2019-10-24 Covidien Lp Compensation for observer movement in robotic surgical systems having stereoscopic displays
CN112748796B (zh) * 2019-10-30 2024-02-20 京东方科技集团股份有限公司 显示方法及显示装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008185629A (ja) * 2007-01-26 2008-08-14 Seiko Epson Corp 画像表示装置
JP2008228199A (ja) * 2007-03-15 2008-09-25 Toshiba Corp 立体画像表示装置及び立体画像表示方法並びに立体画像用データの構造
US8331023B2 (en) * 2008-09-07 2012-12-11 Mediatek Inc. Adjustable parallax barrier 3D display
JP4711007B2 (ja) * 2009-06-05 2011-06-29 健治 吉田 パララッスクスバリア、裸眼立体ディスプレイ
JP2011141381A (ja) * 2010-01-06 2011-07-21 Ricoh Co Ltd 立体画像表示装置及び立体画像表示方法
WO2011111349A1 (ja) * 2010-03-10 2011-09-15 パナソニック株式会社 立体映像表示装置および視差調整方法
JP5306275B2 (ja) * 2010-03-31 2013-10-02 株式会社東芝 表示装置及び立体画像の表示方法
JP2011223482A (ja) * 2010-04-14 2011-11-04 Sony Corp 画像処理装置、画像処理方法、およびプログラム
CN101984670B (zh) * 2010-11-16 2013-01-23 深圳超多维光电子有限公司 一种立体显示方法、跟踪式立体显示器及图像处理装置

Also Published As

Publication number Publication date
US20140247329A1 (en) 2014-09-04
CN103947199A (zh) 2014-07-23
WO2013073028A1 (ja) 2013-05-23
JPWO2013073028A1 (ja) 2015-04-02
KR20140073584A (ko) 2014-06-16
TW201322733A (zh) 2013-06-01

Similar Documents

Publication Publication Date Title
JP5881732B2 (ja) 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
JP4521342B2 (ja) 三次元画像表示装置、三次元画像表示方法および三次元画像表示プログラム
JP6061852B2 (ja) 映像表示装置および映像表示方法
JP6278323B2 (ja) 自動立体ディスプレイの製造方法
JP5306275B2 (ja) 表示装置及び立体画像の表示方法
US9110296B2 (en) Image processing device, autostereoscopic display device, and image processing method for parallax correction
JP4937424B1 (ja) 立体画像表示装置および方法
JP2013527932A5 (ja)
JPWO2015132828A1 (ja) 映像表示方法、及び、映像表示装置
US9179119B2 (en) Three dimensional image processing device, method and computer program product, and three-dimensional image display apparatus
CN111869202B (zh) 用于减少自动立体显示器上的串扰的方法
JP5763208B2 (ja) 立体画像表示装置、画像処理装置および画像処理方法
TWI500314B (zh) A portrait processing device, a three-dimensional portrait display device, and a portrait processing method
JP5696107B2 (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
JP5143291B2 (ja) 画像処理装置、方法、および立体画像表示装置
JP2014103502A (ja) 立体画像表示装置、その方法、そのプログラム、および画像処理装置
JP2014135590A (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
JP7456290B2 (ja) ヘッドアップディスプレイ装置
JP2014216719A (ja) 画像処理装置、立体画像表示装置、画像処理方法およびプログラム
JP2012242544A (ja) 表示装置
JP2012157008A (ja) 立体画像決定装置、立体画像決定方法、および立体画像表示装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160202

R151 Written notification of patent or utility model registration

Ref document number: 5881732

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees