TWI469625B - Image processing apparatus and method, and stereoscopic image display apparatus - Google Patents

Image processing apparatus and method, and stereoscopic image display apparatus Download PDF

Info

Publication number
TWI469625B
TWI469625B TW100131922A TW100131922A TWI469625B TW I469625 B TWI469625 B TW I469625B TW 100131922 A TW100131922 A TW 100131922A TW 100131922 A TW100131922 A TW 100131922A TW I469625 B TWI469625 B TW I469625B
Authority
TW
Taiwan
Prior art keywords
pixel
recorded
unit
parallax
positional relationship
Prior art date
Application number
TW100131922A
Other languages
English (en)
Other versions
TW201310969A (zh
Inventor
Nao Mishima
Kenichi Shimoyama
Takeshi Mita
Original Assignee
Toshiba Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Kk filed Critical Toshiba Kk
Publication of TW201310969A publication Critical patent/TW201310969A/zh
Application granted granted Critical
Publication of TWI469625B publication Critical patent/TWI469625B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G02B30/29—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays characterised by the geometry of the lenticular array, e.g. slanted arrays, irregular arrays or arrays of varying shape or size
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • G02B30/32—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers characterised by the geometry of the parallax barriers, e.g. staggered barriers, slanted parallax arrays or parallax arrays of varying shape or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

影像處理裝置及方法、以及立體影像顯示裝置
本發明的實施形態係有關於影像處理裝置及方法、以及立體影像顯示裝置。
在由複數像素所排列而成的顯示面板的前面，設置用來控制來自各像素之光線之出射方向的光線控制部，顯示彼此帶有視差的複數視差影像，藉此而不使用專用眼鏡，就可讓視聽者觀察到立體影像的立體影像顯示裝置，是已經存在。
在此種立體影像顯示裝置中，對來自顯示某個視差影像之像素的光線，混入了來自顯示其他視差影像之像素的一部分光線，就會導致發生串音，造成視聽者無法觀察良好的立體影像。
如此一來，在此種立體影像顯示裝置中，存在有無法高精度地降低串音之課題。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開2009-251098號公報
[專利文獻2]日本特開2005-258421號公報
本發明所欲解決之課題係為，提供一種可高精度地降低串音的影像處理裝置及方法、以及立體影像顯示裝置。
為達成上記目的，實施形態所述之影像處理裝置，係具備指定部、修正部。指定部，係從彼此具有視差的複數視差影像之中，指定出含有至少1個像素的像素領域。修正部，係隨著前記視差影像中的已被指定之前記像素領域的各像素與視聽者的視點位置之位置關係，而將前記像素領域修正成，含有從前記視點位置所應觀察到之像素的修正像素領域。
(第1實施形態)
第1實施形態所述之影像處理裝置10係可被使用於，能夠讓視聽者以裸眼而觀察到立體影像的TV、PC、智慧型手機、數位相框等之立體影像顯示裝置1。立體影像顯示裝置1，係藉由顯示彼此帶有視差的複數視差影像，就可讓視聽者觀察到立體影像。立體影像顯示裝置1係可採用，例如積分成像(Integral Imaging)方式(II方式)或多眼方式等之3D顯示器方式。
圖1係立體影像顯示裝置1的概略圖。立體影像顯示裝置1係具備：影像處理裝置10、顯示裝置15。顯示裝置15係含有：顯示面板151、光線控制部152。
影像處理裝置10，係將已取得之複數視差影像加以修正，從修正後的視差影像，生成立體影像，供給至顯示面板151。關於視差影像的修正，將於後述。
立體影像，係當從視聽者的視點位置，透過光線控制部152而觀察顯示面板151時，係以使得視聽者的一眼會觀察到一視差影像，另一眼會觀察到另一視差影像的方式，將視差影像的各像素進行分配而成。亦即，藉由重排各視差資訊的像素，就可生成立體影像。此外，視差影像的一像素係含有複數子像素。
顯示面板151，係為具有色彩成分的複數子像素(例如R,G,B)，是朝第1方向(例如圖1中的行方向(左右))與第2方向(例如圖1中的列方向(上下))，做矩陣狀排列而成的液晶面板。顯示面板151，係亦可為有機EL面板或電漿面板等之平面面板。圖1所示的顯示面板151，係含有背光等之光源。
光線控制部152，係與顯示面板151對向配置，控制著從顯示面板151的各子像素所射出之光線的出射方向。光線控制部152，其用來讓光線射出所需的光學性開口係呈直線狀延伸，該當光學性開口是朝第1方向做複數排列。光線控制部152，係亦可為例如，由柱面透鏡所複數排列而成的複眼透鏡面板(Lenticular Sheet)。或者，光線控制部152係亦可為，由狹縫所複數排列而成的視差遮屏(Parallax Barrier)。顯示面板151與光線控制部152，係具有一定的距離(間隙)。
如圖1所示，顯示面板151係亦可為，同一色彩成分的子像素是朝第2方向排列，且在第1方向上各色彩成分是被重複排列的「縱條紋排列」。此情況下，光線控制部152係為，其光學性開口之延伸方向是相對於顯示面板151的第2方向，具有所定的傾斜而設置。將此種顯示裝置15之構成，稱作「構成A」。構成A之一例，係記載於例如專利文獻2。
當顯示裝置15是構成A時，隨著與視聽者的位置關係，有些時候，顯示出視聽者所應觀察之視差影像的像素，和視聽者實際觀察的像素會有所不同。亦即，在構成A的情況下，隨著第2方向之位置(高度)，視域(可觀察到立體影像的領域)會旋轉。因此，例如專利文獻1所述，使用單一的亮度之角度分布來補正各像素時，依然會殘留串音。
圖2係當顯示裝置15為構成A時，視域之旋轉的說明圖。在先前的構成A的情況下，顯示面板151係想定從與該當像素之掃描線相同高度的視點位置來觀察，而設定用來顯示各視差影像的像素。圖2中的像素的號碼，係表示視差影像的號碼(視差號碼)。同一號碼的像素，係為顯示出同一視差影像的像素。在圖2的例子中的視差數係為4視差(視差號碼1～4)，但亦可為其他的視差數(例如視差號碼1～9的9視差)。
視聽者係針對與視點位置P在第2方向上位於相同高度的像素，會觀察到所應觀察之視差號碼的像素(圖2的符號100)。亦即，由位於與視點位置P同一高度之掃描線的像素，係對視聽者形成了符合預期的視域。
可是，由於在顯示面板151與光線控制部152之間有間隙存在，因此視聽者針對位於高度比視點位置P還高的像素，係會觀察到位於比所應觀察之視差影像之像素還高之掃描線的像素(圖2的符號110)。亦即可知，由位於高度比視點位置P還高之掃描線的像素，係形成了比所預期之視域還朝一方向(比例的情況係為，從視聽者面對顯示裝置15而往右方向)旋轉過的視域。
又，視聽者針對位於高度比視點位置P還低的像素，係會觀察到位於比所應觀察之視差影像之像素還低之掃描線的像素(圖2的符號120)。亦即可知，由位於高度比視點位置P還低之掃描線的像素，係形成了比所預期之視域還朝另一方向(比例的情況係為，從視聽者面對顯示裝置15而往左方向)旋轉過的視域。
如以上所述，當顯示裝置15是構成A時，由於會發生如上述的視域之旋轉，因此當使用單一的亮度之角度分布來補正各像素時，依然會殘留串音。
因此，在本實施形態中，影像處理裝置10係於已取得之複數視差影像中，對每一視差影像指定含有至少1個像素的像素領域，基於已指定之像素領域位在視差影像中之位置所對應的亮度之角度分布(亮度側寫)，而將各視差影像的該當像素領域加以修正。藉此，就可高精度地降低串音。此外，本實施形態中的所謂「影像」，係可為靜止影像，也可為動畫。
圖3係表示影像處理裝置10的區塊圖。影像處理裝置10係具備：取得部11、指定部12、修正部13、生成部14。修正部13係具備：儲存部51、抽出部131、分配部132。
取得部11，係將用來顯示成立體影像所需的複數視差影像，加以取得。
指定部12，係於已被取得的各視差影像中，對每一視差影像，指定含有至少1個像素的像素領域。此時，指定部12係於各視差影像中，將各個位置所對應之像素領域(例如同一位置的像素領域)，加以指定。像素領域係例如可為像素單位、掃描線單位、區塊單位。
儲存部51，係儲存著視差影像中的各像素領域之位置所對應的一或複數之亮度側寫。各亮度側寫，係可事先藉由實驗或模擬等來求出。亮度側寫係於後述。
抽出部131，係將已被指定之像素領域位在視差影像中之位置所對應的亮度側寫，從儲存部51中抽出。分配部132，係使用已被抽出的亮度側寫，將已被指定之像素領域，修正成分配了從視聽者之視點位置所應觀察到之像素的修正像素領域。分配部132，係將所有像素領域都已修正成修正像素領域的視差影像(修正影像)，供給至生成部14。生成部14，係根據各修正影像而生成出立體影像，輸出至顯示裝置15。顯示裝置15，係顯示出立體影像。
取得部11、指定部12、修正部13、生成部14，係藉由中央演算處理裝置(CPU)、及CPU所使用的記憶體來實現即可。儲存部51係藉由CPU所使用的記憶體、或輔助記憶裝置等來實現即可。
以上，說明了影像處理裝置10之構成。
圖4係表示影像處理裝置10之處理的流程圖。取得部11係取得視差影像(S101)。指定部12，係於已被取得之視差影像中，指定像素領域(S102)。抽出部131，係將視差影像中的已被指定之像素領域之位置所對應的亮度側寫，從儲存部51中抽出(S103)。分配部132，係使用已被抽出的亮度側寫，將已被指定之像素領域，修正成分配了從視聽者之視點位置所應觀察到之像素的修正像素領域(S104)。生成部14，係根據各修正影像而生成出立體影像，輸出至顯示裝置15(S105)。
步驟S102至步驟S104，係被重複進行直到對各視差影像中的所有像素領域都完成修正。
以上，說明了影像處理裝置10之處理。以下，詳述本實施形態。
在本實施形態中，取得部11所取得的視差號碼1～K的視差影像中，指定部12係指定了像素領域y(i,j)。抽出部131，係將已被指定之像素領域y(i,j)位在視差影像中之位置所對應的亮度側寫H(i,j)，從儲存部51中抽出。分配部132，係使用亮度側寫H(i,j)來修正像素領域y(i,j)，求出修正像素領域x(i,j)。
此處，(i,j)係為表示，像素領域y(i,j)在視差影像中位於哪個位置的座標。i係為像素領域的第1方向之座標(亦可為索引)。j係為像素領域的第2方向之座標(亦可為索引)。在各視差影像中，座標(i,j)係為共通，較為理想。
因此，視差號碼K的視差影像的像素領域yK 係可以用yK (i,j)來表示，所有的視差影像(視差號碼1～K)的像素領域y1 ～yK ，係可用式1來表示。
[數1]
y (i ,j )=(y 1 (i ,j ),…,y K (i ,j )) T 　…(式1)
此處，T係表示轉置。亦即，式1係將已被取得的所有視差影像中的像素領域，以向量來表示。y1 ～yK 係分別表示像素值。
圖4的步驟S102中，指定部12係於已被取得的各視差影像中，指定像素領域y(i,j)。
圖5係亮度側寫的一例圖。在圖5中，圖示了對應於9視差的亮度側寫。圖5所示的亮度側寫，係將從顯示視差影像之像素領域(例如視差號碼1～9之像素)所射出的光線的亮度的角度分布，對每一視差影像來表示。橫軸係表示對像素領域的角度(例如第1方向之角度)。圖5中的「View1」～「View9」，係分別對應於視差號碼1～9之像素。在圖5所示的亮度側寫中，以像素領域的正面方向為角度0(deg)。縱軸係表示亮度(光線的強度)。亮度側寫，係對每一像素領域，使用亮度計等預先測定即可。
亦即，當視聽者是從角度θ的視點位置來觀察顯示部15上所顯示的像素領域時，視聽者的眼睛會有依照亮度側寫而重合了各像素之像素值之光線(例如混色過的光線)抵達，因此視聽者會觀察到多重模糊的立體影像。
儲存部51係儲存著，各像素領域y(i,j)的座標(i,j)所對應之亮度側寫H(i,j)之資料。例如，儲存部51，係將像素領域y(i,j)的座標(i,j)、和該當座標上的亮度側寫，建立對應而儲存。亮度側寫H(i,j)係可用式2來表示。
[數2]
式2中，hK (i,j) (θ)係表示，在像素領域y(i,j)的座標(i,j)上，從顯示著視差號碼K之像素所射出的光線的角度θ方向之亮度。角度θ0 ～θQ ，係藉由實驗或模擬而預先決定即可。
在圖4的步驟S103中，抽出部131係將已被指定之像素領域y(i,j)的座標(i,j)所相應的亮度側寫H(i,j)，從儲存部51抽出。
圖6係為顯示部15與視點之位置關係的說明圖。如圖6(a)所示，在顯示部15上設定原點(例如顯示部15的左上點)。在通過原點的第1方向上，設定X軸。在通過原點的第2方向上，設定Y軸。通過原點而與第1方向與第2方向正交的方向上，設定Z軸。Z係表示從顯示部15至視點為止的距離。
如圖6(b)所示，令視聽者的視點位置為Pm =(Xm ,Ym ,Zm )。在本實施形態中，預先決定視點位置Pm 。視點位置Pm 係亦可為複數(m=1,2,‧‧‧,M)。從視點位置Pm ，觀察座標(i,j)的像素領域y(i,j)時，其觀察方向與Z方向所夾的角Φ m ，係可用式3表示。
[數3]
因此，從視點位置Pm 觀察像素領域y(i,j)時，從像素領域y(i,j)，往角度Φ m 方向抵達的光線之亮度h(i,j) (Φ m )，係可用式4表示。
[數4]
分配部132，係從已被抽出的亮度側寫H(i,j)中，將相當於角度Φ m 的(θ=Φ m )亮度側寫成分(式2的行列式中的列成分)予以抽出。當沒有相當於角度Φ m 的亮度側寫成分時，分配部132係亦可從其他亮度側寫成分(θ0 ～θQ )算出已內插的亮度側寫成分。或是，亦可將最接近角度Φ m 的角度θ上的亮度側寫成分予以抽出。
分配部132，係使用已抽出的亮度側寫成分，求出從各視點位置Pm 觀察像素領域y(i,j)時的表示像素領域y(i,j)之亮度的光線亮度A(i,j)。光線亮度A(i,j)，係可用式5來表示。
[數5]
於圖4的步驟S104中，分配部132係使用像素領域y(i,j)和光線亮度A(i,j)，來求出修正像素領域x(i,j)。亦即，分配部132係以使得與像素領域y(i,j)之誤差呈最小的方式，用式6而求出修正像素領域x(i,j)，分配至各像素。
[數6]
By (i ,j )-A (i ,j )x (i ,j )　…(式6)
式6中的矩陣B，係用來指定哪個視差影像(視差號碼k)式從哪個視點位置(視點位置Pm )觀察。例如，視差數K=5，視點位置之數目M=2的情況下，矩陣B係可用式7來表示。
[數7]
式7係為用來指定了視差號碼k=3的視差影像係從視點位置Pm =P1 來觀察，視差號碼k=4的視差影像係從視點位置Pm =P2 來觀察的矩陣B。除了式6所表示的矩陣B以外，只要是行數為視差數、列數為視點位置之數目的矩陣即可。
分配部132係藉由例如式8，求出修正像素領域x(i,j)=x’(i,j)即可。
[數8]
式8係為求出使(By(i,j)-A(i,j)x(i,j))T (By(i,j)-A(i,j)x(i,j))呈最小的x(i,j)之式子。
分配部132係亦可以解析方式來計算By(i,j)-A(i,j)x(i,j)=0，求出修正像素領域x(i,j)。除此以外，分配部132係亦可使用最急下降法或梯度法等非線性最佳化法，來求出修正像素領域x(i,j)。
亦即，以使得修正像素領域x(i,j)的各像素分別像是式8那樣，來分配該當像素值。
若依據本實施形態，則使用了有考慮到視差影像中的像素領域與預先決定之視點位置的位置關係的亮度側寫或光線亮度，來修正各像素領域，藉此就可高精度地降低串音。
此外，取得部11係亦可由所被輸入的一個影像，來生成各視差影像。或者，亦可根據已被輸入的立體影像來生成各視差影像。又，各個視差影像，係只要含有彼此帶有視差的領域即可。亦即，亦可含有視差相同的領域。
(變形例1)
顯示面板151係亦可為，同一色彩成分的子像素是朝第1方向排列，且在第2方向上各色彩成分是被重複排列的「橫條紋排列」。此情況下，光線控制部152係為，其光學性開口之延伸方向是相對於顯示面板151的第2方向而平行設置。將此種顯示裝置15之構成，稱作「構成B」。
顯示裝置15為構成B的情況下，有時候會因為製造誤差等而導致顯示面板151與光線控制部152沒有呈現完全平行狀態。此情況下，使用本實施形態的亮度側寫，來修正各像素領域，就可高精度地降低串音。若依據本變形例，則降低起因於製造誤差的串音。
(變形例2)
無論顯示裝置15式構成A還是構成B，顯示面板151與光線控制部152之間的間隙之大小，有時會隨著位置而不同。該隨著位置而間隙大小有所變化的狀態，稱作「間隙不勻」。此情況下，使用本實施形態的亮度側寫，來修正各像素領域，就可高精度地降低串音。若依據本變形例，則降低起因於製造過程中所產生之間隙不勻所造成的串音。
(第2實施形態)
第2實施形態所述之影像處理裝置20，係使用對應於前述實施形態之亮度側寫的濾波器係數(亮度濾波器)來修正各視差影像的像素領域之像素值。藉此，就可以較少的處理成本，高精度地降低串音。
亮度濾波器，係從預先設定之視點位置來觀察像素領域時，以使得從顯試著應被觀察到之視差影像的像素領域(例如像素)所發出的光線能夠抵達該當視點位置的方式，而將視差影像y(i,j)予以轉換用的係數。以下，說明與前述實施形態的不同點。
圖7係表示影像處理裝置20的區塊圖。在影像處理裝置20中，影像處理裝置10中的修正部13，係被置換成修正部23。修正部23係具備：儲存部52、抽出部231、分配部232。
儲存部52，係儲存著視差影像中的各像素領域y(i,j)所對應的一或複數之亮度濾波器G(i,j)。亮度濾波器G(i,j)，係與前述實施形態之亮度側寫H(i,j)等價，較為理想。抽出部231，係將已被指定之像素領域y(i,j)所對應的亮度濾波器G(i,j)，從儲存部52中抽出。
分配部232，係使用亮度濾波器G(i,j)，將像素領域y(i,j)進行濾波處理，以求出修正像素領域x(i,j)，分配至各像素。例如，分配部232係可將亮度濾波器G(i,j)乘以像素領域y(i,j)，以求出修正像素領域x(i,j)。
抽出部231、分配部232，係藉由CPU、及CPU所使用的記憶體來實現即可。儲存部52係藉由CPU所使用的記憶體、或輔助記憶裝置等來實現即可。
若依據本實施形態，則可以較少的處理成本，高精度地降低串音。
(變形例)
儲存部52，係亦可沒有將各像素領域y(i,j)所對應的亮度濾波器G(i,j)，全部加以儲存。此情況下，抽出部231係根據儲存部52中所儲存的其他一個或複數個亮度濾波器G(i,j)來進行內插，以生成各像素領域y(i,j)所對應的亮度濾波器G(i,j)即可。
例如，假設在儲存部52中係儲存有G(0,0)、G(3,0)、G(0,3)、G(3,3)的4個亮度濾波器。此時，抽出部231係將像素領域y(2,2)所對應的亮度濾波器G(2,2)，藉由式9來求出即可。
[數9]
G (2,2)=α G (0,0)+β G (3,0)+γ G (0,3)+λ G (3,3)　…(式9)
式9中的α、β、γ、λ係分別為加權係數，係藉由座標的內分比而求出。
若依據本變形例，則可抑制儲存部52的記憶容量。
(第3實施形態)
第3實施形態所述之影像處理裝置30，係偵測出相對於顯示裝置15的一或複數名視聽者的視點位置，以使得所偵測出之視聽者的視點位置上會是應被觀察之視差影像的方式，將已指定之像素領域y(i,j)中所含之像素的像素值加以修正，這點和前述實施形態的情形不同。以下，說明與前述實施形態的不同點。
圖8係表示影像處理裝置30的區塊圖。影像處理裝置30，係相對於影像處理裝置10，還具備有偵測部31。偵測部31，係偵測出相對於顯示裝置15的一或複數名視聽者的視點位置。例如，偵測部31係使用攝像機或感測器等，偵測出實際空間上的視聽者的左眼位置PL =(XL ,YL ,ZL )與右眼位置PR =(XR ,YR ,ZR )。當視聽者為複數時，偵測部31係針對每位視聽者來偵測出左眼位置PL =(XL ,YL ,ZL )與右眼位置PR =(XR ,YR ,ZR )即可。偵測部31，係將所偵測到的視聽者之視點位置，供給至分配部132。偵測部31，係藉由CPU、及CPU所使用的記憶體來實現即可。
分配部132，係使用已被抽出的亮度側寫，將已被指定之像素領域y(i,j)，修正成分配了從已被偵測之視聽者之視點位置所應觀察到之像素的修正像素領域。
若依據本實施形態，則可隨著視聽者的位置或視聽者的人數，做適應性處理，而可更高精度地降低串音。
此外，在本實施形態中，雖然說明相對於影像處理裝置10的影像處理裝置30之構成，但相對於影像處理裝置20的影像處理裝置30之構成也同樣如此。
若依據上述的實施形態，則可高精度地降低串音。
此外，上述的物件領域特定裝置，係例如亦可藉由採用例如通用之電腦裝置為基本硬體來實現。亦即，A、B、C及D，係可藉由上記電腦裝置中所搭載之處理器來執行程式，就可實現。此時，物件領域特定裝置係為，將上記程式事先安裝至電腦裝置而實現，或亦可記憶在CD-ROM等記憶媒體中，或透過網路來散佈上記程式，以將該程式適宜地安裝至電腦裝置，藉此而加以實現。又，B及C係可適宜利用內藏於電腦裝置中的擴充記憶體、硬碟或CD-R、CD-RW、DVD-RAM、DVD-R等記憶媒體等來加以實現。
目前為止雖然說明了本發明的數個實施形態，但這些實施形態係僅為例子而提示，並非意圖限定發明的範圍。這些新的實施形態，係可用其他各種形態來實施，在不脫離發明要旨的範圍內，可進行各種省略、置換或變更。這些實施形態或其變形，當然也都包含在發明的範圍或要旨內，同時也被包含在，與申請專利範圍所記載之發明的均等範圍內。
1．．．立體影像顯示裝置
10、20．．．影像處理裝置
11．．．取得部
12．．．指定部
13、23．．．修正部
14．．．生成部
15．．．顯示裝置
51、52．．．儲存部
131、231．．．抽出部
132、232．．．分配部
[圖1]第1實施形態所述之立體影像顯示裝置1的概略圖。
[圖2]視域之旋轉的說明圖。
[圖3]表示影像處理裝置10的區塊圖。
[圖4]表示影像處理裝置10之處理的流程圖。
[圖5]亮度側寫的一例圖。
[圖6]顯示部15與視點之位置關係的說明圖。
[圖7]第2實施形態所述之影像處理裝置20的區塊圖。
[圖8]第3實施形態所述之影像處理裝置30的區塊圖。
1．．．立體影像顯示裝置
10．．．影像處理裝置
15．．．顯示裝置
151．．．顯示面板
152．．．光線控制部

Claims (11)

  1. 一種影像處理裝置，其特徵為，具備：指定部，係從彼此具有視差的複數視差影像之中，指定出含有至少1個像素的像素領域；和修正部，係根據被指定之前記像素領域的各像素與預先決定的視點位置之位置關係，獲得修正像素領域，其中前記像素領域中所含的像素之分配係被修正，使得來自前記視點位置上所應觀察到之像素的光線抵達前記視點位置。
  2. 如請求項1所記載之影像處理裝置，其中前記修正部修正前記像素領域中所含的像素之分配，使得前記視點位置所應觀察到之像素之值與當從前記視點位置所觀察到之前記像素領域時的實際所觀察到之像素之值的誤差降低。
  3. 如請求項2所記載之影像處理裝置，其中，前記修正部，係將從前記像素領域所射出之光線的亮度分布加以保持，根據前記位置關係所對應之前記亮度分布，指定從前記視點位置觀察前記像素領域時的實際所觀察到之前記像素之前記值。
  4. 如請求項1所記載之影像處理裝置，其中，前記修正部，係保持從前記像素領域所射出之光線的亮度分布，並藉由使用前記位置關係所對應之前記亮度分布所相關的濾波 器係數所進行的濾波處理，而獲得前記修正像素領域。
  5. 如請求項4所記載之影像處理裝置，其中，前記修正部，係根據前記位置關係，而將前記濾波器係數進行內插，並藉由使用了內插過的前記濾波器係數所進行的濾波處理，而獲得前記修正像素領域。
  6. 如請求項4所記載之影像處理裝置，其中，前記修正部係具備：儲存部，係將前記視差影像中的前記像素領域的各像素與視聽者的視點位置之位置關係所對應的前記亮度分布之資料，加以儲存；和抽出部，係將被指定之前記像素領域的各像素與前記預先決定的視點位置之前記位置關係所對應的前記亮度分布之資料，從前記儲存部中抽出；和分配部，係使用已被抽出的前記亮度分布之資料，而將前記修正像素領域中所含之各像素，進行分配。
  7. 如請求項4所記載之影像處理裝置，其中，前記修正部係具備：儲存部，係將前記像素領域的各像素與視聽者的視點位置之位置關係所對應的前記濾波器係數，加以記憶；和抽出部，係將被指定之前記像素領域的各像素與前記預先決定的視點位置之前記位置關係所對應的前記濾波器係數，從前記儲存部中抽出；和分配部，係使用已被抽出的前記濾波器係數，而將前 記修正像素領域中所含之各像素，進行分配。
  8. 如請求項1所記載之影像處理裝置，其中，還具備：偵測部，係偵測出視聽者的視點位置，其中前記修正部，基於被指定之前記像素領域的各像素與偵測過的視點位置之前記位置關係，而獲得前記修正像素領域。
  9. 一種影像處理方法，其特徵為，從彼此具有視差的複數視差影像之中，指定出含有至少1個像素的像素領域；根據被指定之前記像素領域的各像素與預先決定的視點位置之位置關係，而獲得修正像素領域，其中前記像素領域中所含的像素之分配係被修正，使得來自前記視點位置上所應觀察到之像素的光線抵達前記視點位置。
  10. 一種立體影像顯示裝置，其特徵為，具備：顯示面板，係有複數像素，在第1方向、與前記第1方向交叉的第2方向上做排列；和光線控制部，係與前記顯示面板呈對向設置，控制著來自各個前記像素的光線之出射方向；和指定部，係從用來顯示在前記顯示面板上所需的彼此具有視差的複數視差影像之中，指定出含有至少1個像素的像素領域；和修正部，係根據被指定之前記像素領域的各像素與預先決定的視點位置之位置關係，而獲得修正像素領域，其中前記像素領域中所含的像素之分配係被修正，使得來自 前記視點位置上所應觀察到之像素的光線抵達前記視點位置。
  11. 一種具有包括用於影像處理之程式化指令的電腦可讀媒體的電腦程式產品，其中當電腦執行前記指令時，使前記電腦進行：從彼此具有視差的複數視差影像之中，指定出含有至少1個像素的像素領域；以及根據被指定之前記像素領域的各像素與預先決定的視點位置之位置關係，而獲得修正像素領域，其中前記像素領域中所含的像素之分配係被修正，使得來自前記視點位置上所應觀察到之像素所射出之光線抵達前記視點位置。
TW100131922A 2011-08-24 2011-09-05 Image processing apparatus and method, and stereoscopic image display apparatus TWI469625B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/069064 WO2013027280A1 (ja) 2011-08-24 2011-08-24 画像処理装置及び方法、並びに、立体画像表示装置

Publications (2)

Publication Number Publication Date
TW201310969A TW201310969A (zh) 2013-03-01
TWI469625B true TWI469625B (zh) 2015-01-11

Family

ID=47743057

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100131922A TWI469625B (zh) 2011-08-24 2011-09-05 Image processing apparatus and method, and stereoscopic image display apparatus

Country Status (4)

Country Link
US (1) US20130050303A1 (zh)
JP (1) JP5367846B2 (zh)
TW (1) TWI469625B (zh)
WO (1) WO2013027280A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101856568B1 (ko) 2013-09-16 2018-06-19 삼성전자주식회사 다시점 영상 디스플레이 장치 및 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5220441A (en) * 1990-09-28 1993-06-15 Eastman Kodak Company Mechanism for determining parallax between digital images
US20060170764A1 (en) * 2003-03-12 2006-08-03 Siegbert Hentschke Autostereoscopic reproduction system for 3d displays
WO2010103860A2 (ja) * 2009-03-12 2010-09-16 Yoshida Kenji 映像変換装置、映像出力装置、映像変換システム、映像、記録媒体、映像変換方法および映像出力方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2306826A (en) * 1995-10-18 1997-05-07 Sharp Kk Display, method of calibrating an observer tracking display and observer tracking autostereoscopic 3D display
GB2317291A (en) * 1996-09-12 1998-03-18 Sharp Kk Observer tracking directional display
JP3651204B2 (ja) * 1996-12-18 2005-05-25 トヨタ自動車株式会社 立体画像表示装置、立体画像表示方法及び記録媒体
US6791570B1 (en) * 1996-12-18 2004-09-14 Seereal Technologies Gmbh Method and device for the three-dimensional representation of information with viewer movement compensation
JPH10232367A (ja) * 1997-02-18 1998-09-02 Canon Inc 立体画像表示方法及びそれを用いた立体画像表示装置
FR2782438B1 (fr) * 1998-08-13 2002-01-04 Pierre Allio Procede d'affichage autostereoscopique et image autostereoscopique
US6593957B1 (en) * 1998-09-02 2003-07-15 Massachusetts Institute Of Technology Multiple-viewer auto-stereoscopic display systems
US6757422B1 (en) * 1998-11-12 2004-06-29 Canon Kabushiki Kaisha Viewpoint position detection apparatus and method, and stereoscopic image display system
US6351280B1 (en) * 1998-11-20 2002-02-26 Massachusetts Institute Of Technology Autostereoscopic display system
JP4271155B2 (ja) * 2004-02-10 2009-06-03 株式会社東芝 三次元画像表示装置
JP4227076B2 (ja) * 2004-05-24 2009-02-18 株式会社東芝 立体画像を表示する表示装置及び立体画像を表示する表示方法
JP2006113807A (ja) * 2004-10-14 2006-04-27 Canon Inc 多視点画像の画像処理装置および画像処理プログラム
DE602006016635D1 (de) * 2005-11-04 2010-10-14 Koninkl Philips Electronics Nv Wiedergabe von bilddaten für mehrfachansicht-anzeige
EP1958459B1 (en) * 2005-12-02 2018-06-13 Koninklijke Philips N.V. Depth dependent filtering of image signal
US7766479B2 (en) * 2006-03-31 2010-08-03 National University Corporation Shizuoka University View point detecting device
KR20070111763A (ko) * 2006-05-19 2007-11-22 한국과학기술원 3차원 모니터에서 영상왜곡을 보상하는 방법
DE102006031799B3 (de) * 2006-07-06 2008-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur autostereoskopischen Darstellung von Bildinformationen mit einer Anpassung an Änderungen der Kopfposition des Betrachters
JP2008228199A (ja) * 2007-03-15 2008-09-25 Toshiba Corp 立体画像表示装置及び立体画像表示方法並びに立体画像用データの構造
JP2009251098A (ja) * 2008-04-02 2009-10-29 Mitsubishi Electric Corp 画像表示装置
TWI387316B (zh) * 2008-11-18 2013-02-21 Ind Tech Res Inst 立體影像顯示裝置與立體影像顯示方法
JP5292364B2 (ja) * 2010-07-07 2013-09-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
JP4903888B2 (ja) * 2010-08-09 2012-03-28 株式会社ソニー・コンピュータエンタテインメント 画像表示装置、画像表示方法、および画像補正方法
JP5673008B2 (ja) * 2010-08-11 2015-02-18 ソニー株式会社 画像処理装置、立体画像表示装置および立体画像表示システム、ならびに立体画像表示装置の視差ずれ検出方法および立体画像表示装置の製造方法
JP2012128197A (ja) * 2010-12-15 2012-07-05 Toshiba Corp 立体画像表示装置および立体画像表示方法
JP2012138787A (ja) * 2010-12-27 2012-07-19 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
TWI478137B (zh) * 2011-04-27 2015-03-21 Sony Corp 顯示裝置
US9794546B2 (en) * 2011-04-28 2017-10-17 Panasonic Intellectual Property Corporation Of America Video display device
JP5687654B2 (ja) * 2012-03-29 2015-03-18 株式会社東芝 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
KR101856568B1 (ko) * 2013-09-16 2018-06-19 삼성전자주식회사 다시점 영상 디스플레이 장치 및 제어 방법
JP2015145920A (ja) * 2014-01-31 2015-08-13 株式会社東芝 画像表示装置
JP2015162718A (ja) * 2014-02-26 2015-09-07 ソニー株式会社 画像処理方法、画像処理装置及び電子機器

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5220441A (en) * 1990-09-28 1993-06-15 Eastman Kodak Company Mechanism for determining parallax between digital images
US20060170764A1 (en) * 2003-03-12 2006-08-03 Siegbert Hentschke Autostereoscopic reproduction system for 3d displays
WO2010103860A2 (ja) * 2009-03-12 2010-09-16 Yoshida Kenji 映像変換装置、映像出力装置、映像変換システム、映像、記録媒体、映像変換方法および映像出力方法

Also Published As

Publication number Publication date
JP5367846B2 (ja) 2013-12-11
WO2013027280A1 (ja) 2013-02-28
JPWO2013027280A1 (ja) 2015-03-05
TW201310969A (zh) 2013-03-01
US20130050303A1 (en) 2013-02-28

Similar Documents

Publication Publication Date Title
JP5687654B2 (ja) 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
EP1949172B1 (en) An apparatus for displaying 3d image
JP4714115B2 (ja) 立体映像表示装置および立体映像表示方法
JP5408099B2 (ja) 裸眼立体ディスプレイ装置
JP5356429B2 (ja) ３次元映像表示装置および３次元映像表示方法
JP5881732B2 (ja) 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
US20080225113A1 (en) Three-dimensional image display device, method for displaying three-dimensional image, and structure of three-dimensional image data
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
JP5818674B2 (ja) 画像処理装置、方法、及びプログラム、並びに、画像表示装置
WO2016127630A1 (zh) 裸眼3d的显示处理方法、装置及显示设备
KR101966152B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
JP2012186653A (ja) 画像表示装置、方法およびプログラム
JP5763208B2 (ja) 立体画像表示装置、画像処理装置および画像処理方法
US20120033058A1 (en) Stereoscopic Video Display Apparatus and Display Method
US8537205B2 (en) Stereoscopic video display apparatus and display method
JP5696107B2 (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
TWI470274B (zh) Three - dimensional image display device
TWI469625B (zh) Image processing apparatus and method, and stereoscopic image display apparatus
US20120033055A1 (en) Stereoscopic Video Display Apparatus and Display Method

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees