TWI476448B - An image processing apparatus, a method, and a program, and a portrait display device - Google Patents

An image processing apparatus, a method, and a program, and a portrait display device Download PDF

Info

Publication number
TWI476448B
TWI476448B TW101108118A TW101108118A TWI476448B TW I476448 B TWI476448 B TW I476448B TW 101108118 A TW101108118 A TW 101108118A TW 101108118 A TW101108118 A TW 101108118A TW I476448 B TWI476448 B TW I476448B
Authority
TW
Taiwan
Prior art keywords
image
parallax
pixel
regions
region
Prior art date
Application number
TW101108118A
Other languages
English (en)
Other versions
TW201326903A (zh
Inventor
Nao Mishima
Takeshi Mita
Original Assignee
Toshiba Kk
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Kk filed Critical Toshiba Kk
Publication of TW201326903A publication Critical patent/TW201326903A/zh
Application granted granted Critical
Publication of TWI476448B publication Critical patent/TWI476448B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

畫像處理裝置、方法、及程式、以及畫像顯示裝置
本發明主張JP2011-280468(申請日：2011年12月21日)之優先權，內容亦引用其全部內容。
本發明之實施形態係關於畫像處理裝置、方法、及程式以及畫像顯示裝置。
視聽者進行立體畫像之觀賞用的畫像顯示裝置存在。於畫像顯示裝置，係於複數個畫素配列而成的顯示面板之前面，設置針對各畫素之光線之射出方向進行控制的光線控制部，而顯示互相具有視差的複數個視差畫像。
例如紙型顯示器(sheet display)等顯示區域本身可彎曲時，或隨時間變化導致面板與透鏡之一部變形或剝離時，於該畫像顯示裝置，視聽者看到的畫像無法顯現立體。
本實施形態目的在於提供，可將畫面設為正常視域的畫像處理裝置、方法、及程式以及畫像顯示裝置。
依據實施形態，畫像處理裝置，係具有：第1取得部 ；第2取得部；補正部；及第1產生部。第1取得部，係取得互相具有視差的複數個上述視差畫像。第2取得部，係將上述立體畫像之顯示用的顯示區域，分割為包含至少1個上述要素畫像的複數個區域，而在該分割的複數個區域之各區域取得由事先決定的視點位置應觀賞的視差畫像之識別資訊。補正部，用於對上述視差畫像之上述區域所對應位置之畫素，進行補正使成為由上述識別資訊所特定的視差畫像之畫素。第1產生部，係由補正後的上述視差畫像產生上述立體畫像。
依據本實施形態，可以提供能將畫面設為正常視域的畫像處理裝置、方法、及程式、以及畫像顯示裝置。
 (實施形態1)
本實施形態之畫像處理裝置，係使用於視聽者可以裸眼觀賞立體畫像的TV(電視)、PC(Personal Computer)、智慧型手機，數位相框等之畫像顯示裝置。立體畫像係指包含互相具有視差的複數個視差畫像的畫像。另外，實施形態中述及的畫像，可為靜止畫或動畫之任一。
圖1係表示本實施形態之畫像顯示裝置10之概略圖。畫像顯示裝置10，係具備：顯示裝置14，及畫像處理裝置12。
顯示裝置14係顯示立體畫像。顯示裝置14，係採用例如，積分．成像方式(II方式)或多眼方式等之3D顯示 器方式採用。
顯示裝置14，係具備：顯示面板20，及光線控制部22。顯示面板20，係使具有色成分的複數個子畫素(例如，R，G，B)，於第1方向(例如，圖1之行方向(左右))與第2方向(例如，圖1之列方向(上下))，以矩陣狀配列而成的液晶面板。此時，並列於第1方向的RGB各色之子畫素係構成1畫素。又，將鄰接畫素在視差之數範圍內並列於第1方向而成的畫素群所顯示的畫像稱為要素畫像。亦即，顯示裝置14，係顯示複數個要素畫像以矩陣狀配列而成的立體畫像。顯示裝置14之子畫素之配列，可為其他之公知之配列。又，子畫素不限定於RGB之3色。例如可為4色以上。
顯示面板20係使用直視型2維顯示器，例如，有機EL(Organic Electro Luminescence)或LCD(Liquid Crystal Display)，PDP(Plasma Display Panel)，投射型顯示器等。又，顯示面板20亦可具備背光之構成。
光線控制部22，係和顯示面板20隔開間隔而呈對向配置。光線控制部22，係對來自顯示面板20之各畫素之光線之射出方向進行控制。光線控制部22，係使光線之射出用的光學開口部呈直線狀延伸，而將複數個該光學開口部配列於第1方向者。光線控制部22可使用例如複數個柱狀透鏡配列而成的雙凸片，複數個透光狹縫配列而成的視差遮障等。光學開口部，係對應於顯示面板20之由各要素畫像而配置。
另外，本實施形態中之畫像顯示裝置10，係說明同一之色成分之子畫素配列於第2方向，而且，各色成分被重複配列於第1方向的「縱條帶狀(stripe)配列」。又，本實施形態中說明之光線控制部22，係以該光學開口之延伸方向和顯示面板20之第2方向呈一致而予以配置。
另外，光線控制部22，其之光學開口之延伸方向對於顯示面板20之第2方向呈傾斜配置亦可。
圖2係表示顯示裝置14之一部之區域擴大表示之模式圖。另外，圖2中之符號(1)~(3)，分別表示視差畫像之識別資訊。另外，本實施形態中之視差畫像之識別資訊，係使用對視差畫像之各個任意提供的視差編號。同一之視差編號之畫素，係顯示同一之視差畫像之畫素。於圖2所示例，係依視差編號1~3之順序將由各視差編號所特定的視差畫像之畫素予以並列，而設為要素畫像24。圖2之例之視差數雖為3視差(視差編號1~3)，但亦可為其他之視差數(例如，視差編號1~9之9視差)。
如圖2所示，顯示面板20，係將要素畫像24以矩陣狀配列於第1方向及第2方向。視差數為3時，由各要素畫像24為，依視差畫像1之畫素241 ，視差畫像2之畫素242 ，視差畫像3之畫素243 之順序並列於第1方向而成的畫素群。
由各要素畫像24之各視差畫像之畫素(畫素241 ~畫素243 )射出的光線，係到達光線控制部22。藉由光線控制部22控制行進方向與散射，而朝顯示裝置14之全面射 出。例如，由各要素畫像24之中由視差畫像1之畫素241 射出的光，係朝箭頭Z1方向射出。又，由各要素畫像24之中由視差畫像2之畫素242 射出的光，係朝箭頭Z2方向射出。又，由各要素畫像24之中由視差畫像3之畫素243 射出的光，係朝箭頭Z3方向射出。如此則，於顯示裝置14，由各要素畫像24之各畫素射出的光之射出方向可藉由光線控制部22進行調整。
圖3係表示視聽者18觀賞到的顯示裝置14之狀態的模式圖。於顯示面板20顯示由複數個要素畫像24構成的立體畫像。如此則，視聽者18，針對要素畫像24所包含的不同視差畫像之畫素，可藉由左眼18A及右眼18B之各個視點位置m(m2，m1)予以觀賞。如此則，對視聽者18之左眼18A及右眼18B係分別顯示不同視差之畫像，視聽者18可以觀賞立體畫像。
於此，由各要素畫像24之各畫素射出的光，係經由光線控制部22而射出至事先設定的方向。但是，由各要素畫像24之各畫素射出的光，亦有可能朝和事先設定的方向不同的方向射出。因此，在顯示裝置14所顯示立體畫像之由各要素畫像24之中，由同一視差編號之畫素射出的光朝不同方向射出，而導致顯示裝置14之顯示區域全體產生不均勻之情況有可能發生。
圖4係表示由各要素畫像24之各畫素射出的光線方向之說明圖。圖4(A係取得由各要素畫像24之畫素(241 ~243 )射出的光朝事先設定的方向射出時。
如圖4(A)所示，例如於事先設定的狀態中，由要素畫像24之視差編號3之畫素243 射出的光線，係經由光線控制部22朝箭頭Z3方向射出。又，由要素畫像24之視差編號2之畫素242 射出的光線，係經由光線控制部22朝箭頭Z2方向射出。又，由要素畫像24之視差編號1之畫素241 射出的光線，係經由光線控制部22朝箭頭Z1方向射出。
圖4(B)係表示由各要素畫像24之畫素(241 ~243 )射出的光，朝和事先設定的方向不同方向射出時的模式圖。如圖4(B)所示，由要素畫像24之視差編號3之畫素243 射出的光線，經由光線控制部22並非朝箭頭Z3方向、而是朝箭頭Z2方向射出之情況存在。又，由要素畫像24之視差編號2之畫素242 射出的光線，係經由光線控制部22並非朝箭頭Z2方向、而是朝箭頭Z3方向射出之情況存在。
如上述說明，由各要素畫像24之畫素射出的光線方向之不均勻，例如可推測由以下之要因產生。例如，顯示裝置14之顯示區域之變形，顯示裝置14之經年劣化，顯示面板20與光線控制部22之間隙變動等。顯示裝置14之經年劣化產生時，顯示面板20與光線控制部22之一部剝離，或顯示面板20與光線控制部22之間隙有可能發生變動。
基於此，於顯示裝置14之顯示區域全體，由各要素畫像24之同一視差編號之畫素射出的光線方向，有可能 產生不均勻。
產生此不均勻時，於顯示裝置14之某一區域雖可觀賞良好的立體畫像，但於某一區域成為無法觀賞立體畫像之狀態。
更進一步說明該現象。
圖5係表示視差數為9時之，要素畫像24之構成畫素(241 ~249 )的模式圖。各畫素(241 ~249 )，係分別由視差編號1~視差編號9之各個所特定的視差畫像之畫素。
圖6係表示視差數為9時，由同一視差編號之畫素射出的光線方向均勻時的圖。另外，光線方向均勻係指由各要素畫像24之各視差編號之畫素射出的光線方向，呈現和事先決定的方向一致之狀態。更具體言之為，由某一視點位置(單眼)可觀賞在各區域P間藉由同一視差編號所特定的視差畫像之畫素。
另外，區域P係指，顯示裝置14之立體畫像之顯示區域被分割為複數個區域時之各區域P。將顯示裝置14之立體畫像之顯示區域分割為複數個區域P之分割方法，可以事先設定。例如，可將顯示裝置14之中和各要素畫像24對應的區域之各個設為區域P，或將複數個要素畫像24之每一個設為1個區域P。另外，本實施形態之說明中，係將顯示裝置14中之立體畫像之顯示區域之對應於各要素畫像24的區域，設定成為將顯示裝置14之立體畫像之顯示區域分割為複數個區域時之區域P。
又，視點位置係表示觀賞立體畫像的視聽者之位置。 更具體言之為，視點位置係表示視聽者之單眼之位置。
圖6(A)，係表示光線方向均勻時，由某一視點位置，在顯示裝置14之顯示區域之各區域P(Pa~Pe)被觀賞的視差畫像之視差編號的圖。另外，由視點位置m應觀賞的視差畫像，係設為視差編號5之視差畫像。此時，如圖6(A)所示，視聽者由某一視點位置m以單眼觀賞顯示裝置14時，於顯示裝置14之全區域可以觀賞視差編號5之視差畫像。
亦即，如圖6(B)所示，於視點位置m，來自顯示裝置14之視差編號5之視差畫像之畫素之光，係由各區域Pa~Pe射入。同樣，視聽者藉由另一單眼進行顯示裝置14之觀賞時，應觀賞的視差編號之視差畫像，例如可以觀賞到視差編號3(圖示省略)之視差畫像。因此，光線方向均勻時，視聽者使用兩眼觀賞顯示裝置14時，不論視線偏移至顯示裝置14之全區域被分割為複數區域之哪一區域P，均可觀賞立體畫像。
圖7係表示視差數為9時，由同一視差編號之畫素射出的光線方向不均勻時的圖。另外，光線方向不均勻意味著，由各要素畫像24之各視差編號之畫素射出的光線方向，與事先決定的方向係分別包含著不同方向。更具體言之為，由某一視點位置(單眼)、在各區域P間可以觀賞不同視差編號所特定的視差畫像之畫素。
圖7(A)係表示光線方向不均勻時，由某一視點位置針對顯示裝置14之顯示區域之各區域P(Pf~Pj)所觀賞的 視差畫像之視差編號的圖。另外，由視點位置m應觀賞的視差畫像，係設為視差編號5之視差畫像。此時，光線方向不均勻時，視聽者由某一視點位置m以單眼觀賞顯示裝置14時，於各區域會觀賞到不同視差編號之視差畫像。例如圖7(A)所示，產生視差編號5之被觀賞區域Ph，視差編號1之被觀賞區域Pf，及視差編號9之被觀賞區域Pj。
亦即，如圖7(B)所示，於視點位置m，來自顯示裝置14之各區域Pf~Pj，係被射入來自不同視差編號(1，4，5，9)之視差畫像之畫素的光。因此，光線方向不均勻時，視聽者以兩眼觀賞顯示裝置14時，受到顯示裝置14上之區域P影響，而產生可觀賞立體畫像之區域以及無法觀賞立體畫像之區域(逆視區域)。
如上述說明，基於顯示裝置14之變形等，會導致由顯示裝置14之各區域P所包含要素畫像24之各視差畫像之畫素射出的光線方向，朝和所推斷的方向不同之方向射出。如此則，被觀賞到的視差畫像，會成為和由某一視點位置應觀賞的視差編號不同的視差編號之視差畫像，導致畫面全域無法成為正常視域，無法進行立體辨識。因此，於顯示裝置14之顯示區域上，將會產生可觀賞立體畫像的區域P以及無法觀賞立體畫像的區域P。
因此，本實施形態中之畫像處理裝置12，係依據視點位置，以及針對顯示裝置14被分割為複數區域而成的各區域P之各畫素，由該視點位置所應觀賞的畫素之視差 畫像之視差編號(識別資訊)，針對視差畫像中之補正對象之區域P所對應位置之畫素，進行補正使成為該應觀賞的畫素。之後，將由補正後之視差畫像所產生的立體畫像，顯示於顯示裝置14。
因此，於本實施形態之畫像處理裝置12，可將畫面設為正常視域。
以下，詳細說明本實施形態之畫像處理裝置12。
圖8係表示畫像處理裝置12之方塊圖。畫像處理裝置12，係具備：第1取得部30，補正部32，第1記憶部34，第2取得部36，第2記憶部38，第1產生部40，及輸出部42。
第1取得部30，係取得立體畫像使用的複數(K個(K為2以上之整數))之視差畫像。第1取得部30，係將取得的視差畫像輸出至補正部32。
第1記憶部34，係針對各區域P與視點位置設定對應關連，而將第1視差編號予以記憶，該第1視差編號則用於表示於該視點位置應觀賞的視差畫像之視差編號。如上述說明，該視點位置係用於表示視聽者之實體空間上之位置。更詳細言之為，本實施形態中之視點位置係表示視聽者之眼睛(亦即單眼)之位置。另外，該視點位置係表示實體空間上之三維位置座標。又，第1記憶部34，係將各區域P之於顯示裝置14之顯示區域上之位置予以記憶而作為區域P。
第1視差編號，係表示由所對應視點位置來觀賞對應 的區域P時應觀賞的視差畫像之視差編號。於畫像顯示裝置10，係於第1記憶部34事先記憶著和視點位置與區域P間之位置關係對應的第1視差編號。另外，各視點位置與區域P所對應的第1視差編號，可事先藉由實驗或模擬等算出，而記憶於第1記憶部34。
第2記憶部38，係事先記憶著視聽者之單眼之位置、亦即視點位置。該視點位置，係針對可進行顯示裝置14之觀賞的實體空間上之任意之一個位置(三維位置座標)事先予以訂定即可。另外，本實施形態中雖說明事先記憶著1個視點位置，但亦可記憶著複數個視點位置。
又，本實施形態中雖說明事先記憶著視點位置，但亦可由外部裝置讀取。又，亦可將檢測部(圖示省略)設於畫像顯示裝置10，藉由該檢測部檢測視聽者之單眼之位置來取得視點位置。檢測部可使用攝影機或感測器等。檢測部，亦可藉由檢測實體空間上之視聽者之左眼之三維位置座標，及右眼之三維位置座標之其中至少一方，來檢測視點位置。
第2取得部36，係由第1記憶部34取得和視聽者之視點位置與補正對象之區域P對應的第1視差編號。亦即，第2取得部36，係由第1記憶部34取得由視點位置而在補正對象之區域P應觀賞的畫素之視差編號。
另外，第1記憶部34，係於該各區域P之間針對同一視差編號設定關連對應予以記憶，而作為1個視點位置在各區域P應觀賞的視差畫像之第1視差編號。因此，第 2取得部36，較好是在該各區域間取得同一之視差編號，而作為由某一視點位置在各區域P所應觀賞的視差畫像之第1視差編號。
補正部32，係依據視點位置以及由該視點位置在各區域P所應觀賞的第1視差編號，針對第1取得部30所取得的視差畫像之中對應於區域P之位置之畫素進行補正，使成為第1視差編號所特定的視差畫像之畫素。
補正部32，係將補正後的視差畫像(補正視差畫像)輸出至第1產生部40。第1產生部40，係由複數個補正視差畫像產生立體畫像，輸出至輸出部42。輸出部42，係將由第1產生部40接受的立體畫像，顯示於顯示裝置14之顯示面板20。
另外，第1取得部30，補正部32，第2取得部36，第1產生部40及輸出部42係藉由CPU(Central Processing Unit)實現。第1記憶部34，第2記憶部38，係藉由CPU所使用的記憶體或硬碟驅動裝置(HDD)等之記憶媒體來實現。
接著，詳細說明補正部32之視差畫像之補正處理。
補正部32，係在顯示裝置14之顯示區域被分割為複數個區域P時，用於指定全區域P之中成為補正對象之1個區域P。另外，將顯示裝置14之各區域P之位置座標設為(i，j)T 。T係表示轉置(transpose)。i係表示顯示裝置14之第1方向之座標(可為索引(index))。j，顯示裝置14之第2方向之座標(可為索引)。於各視差畫像，座標(i， j)被設為共通。
於此，區域P之位置座標(i，j)T 所包含的要素畫像24，係由視差數K(K為1以上之整數)之視差畫像之畫素群構成。因此，補正前之各區域P之畫素群y(i，j)係藉由以下式(1)表示。
[數1]y(i,j)=(y1 (i,j),…,yK (i,j))T ………(1)
式(1)中之y1 ~yK 之下標(1 ~K )係表示視差編號。K係表示視差數。y(i，j)，係表示由第1取得部30取得的視差畫像所產生的立體畫像之中，1之區域P(要素畫像24)之構成用的各視差編號之畫素群。另外，y1 (i，j)，係表示視差編號1之視差畫像之中之座標(i，j)之畫素值。又，式(1)中之「，．．．，」，係表示式(1)中之K之值為2以上未滿K-1的各視差編號之視差畫像中的座標(i，j)之畫素值。同樣，yK (i，j)，係表示視差編號K之視差畫像中的座標(i，j)之畫素值。亦即，y(i，j)，係表示由第1取得部30取得的視差畫像(補正前之視差畫像)所產生立體畫像之中，1之區域P(要素畫像24)之畫素值。
補正部32，係使用區域P之位置座標(i，j)T ，以及和視點位置呈對應之應觀賞的第1視差編號kdst 之視差畫像之畫素L(i，j)，針對各視差編號之視差畫像之座標(i， j)之畫素值進行補正。
具體言之為，補正部32，首先，係使用以下式(2)求出補正值c，該補正值c被使用作為對各視差畫像之座標(i，j)之畫素值(y1 (i，j)~yK (i，j))進行補正。
[數2]c=kdst -L(i,j)………(2)
補正部32，係使用式(2)所算出的補正值c，針對式(1)中之各畫素值(y1 (i，j)~yK (i，j))之各個進行補正，使成為以下式(2A)所示視差編號k’之視差畫像中之同一位置座標之畫素值。
k’=mod(k+c,K) 式(2A)
式(2A)中之k係表示補正前之視差編號。K係表示視差數。c係如上述式(2)所表示。k’係表示補正後之視差編號。
亦即，補正部32，係以視差編號k加上上述補正值c後的加算值，除以視差數K而得剩餘值k’，將該剩餘值k’設為補正後之視差編號。另外，對區域P所對應位置之視差畫像之畫素進行補正，使成為補正後之視差編號所特定的視差畫像之畫素。
因此，補正後之各區域P之畫素群x(i，j)係藉由以下式(3)表示。
[數3]x(i,j)=(x1 (i,j),…,xK (i,j))T ………(3)
式(3)中x1 ~xK 之下標(1 ~K )，係表示補正後之視差編號。亦即，式(3)中，x1 ~xK 之下標(1 ~K )，係表示針對補正前之視差編號、亦即式(1)中之y1 ~yK 之下標(1 ~K )所表示的視差編號，使用上述式(2A)進行補正後之視差編號。
又，於式(3)，K係表示視差數。x(i，j)，係表示由補正後之視差畫像產生的立體畫像之中，構成1之區域P(要素畫像24)之畫素群。另外，x1 (i，j)，係表示視差編號1之視差畫像中之座標(i，j)之補正後之畫素值。又，於式(3)，「，．．．，」係表示式(3)中之K之值為2以上、未滿K-1的各視差編號之座標(i，j)之補正後之畫素值。同樣，xK (i，j)，係表示視差編號K之視差畫像之座標(i，j)之補正後之畫素值。亦即，x(i，j)，係表示由補正部32補正後的補正視差畫像產生的立體畫像之中之1之區域P(要素畫像24)之畫素值。
如上述說明，於本實施形態之畫像處理裝置12，顯示裝置14被分割為複數區域後的各區域P之各畫素，係 以由視點位置應觀賞的第1視差編號之視差畫像之畫素可以被觀賞的方式，針對第1取得部30所取得的視差畫像進行補正。亦即，補正部32，係針對各區域P之要素畫像24之構成用的複數個視差畫像之畫素群之配列，以使應觀賞的第1視差編號之視差畫像之畫素被顯示的方式加以變更。因此，畫像處理裝置12，係以形成各區域P所推斷之視域的方式進行視域之旋轉。
接著，說明畫像處理裝置12執行的畫像處理之順序。圖9係表示本實施形態之畫像顯示裝置10執行的畫像處理之順序的流程圖。
首先，第1取得部30，係取得複數個視差畫像(步驟S100)。接著，補正部32，係讀出第2記憶部38記憶的視點位置(步驟S104)。
接著，畫像處理裝置12，係於顯示裝置14被分割為事先決定的複數個區域P之區域數分範圍內，重複以下步驟S106~步驟S108之處理。
首先，第2取得部36，係由第1記憶部34取得和上述步驟S104所讀取的視聽者之視點位置以及補正對象之區域P呈對應的第1視差編號(步驟S106)。藉由步驟S106之處理，第2取得部36，係取得由視點位置而在補正對象之區域P應觀賞的畫素之視差編號。
接著，補正部32進行補正處理(步驟108)。亦即，補正部32，係依據步驟S104取得的視點位置，以及上述步驟S106取得的第1視差編號，將上述步驟S100取得的視 差畫像之中，補正對象之區域P所對應位置之畫素，補正成為應觀賞的第1視差編號之畫素。
步驟S106~步驟S108之處理，係針對顯示裝置14中之複數個區域P之全區域P執行，使由第1取得部30取得的視差畫像被補正，而產生補正視差畫像。
接著，第1產生部40係由補正視差畫像產生立體畫像(步驟S110)。接著，輸出部42，係將步驟S110所產生的立體畫像顯示於顯示面板20(步驟S112)，結束本子程式。
圖10係表示第1取得部30取得的視差畫像之補正的模式圖。
圖10(A)係表示，將由第1取得部30取得的視差畫像產生的立體畫像予以顯示時，由視點位置m在各區域P(P1~P5)應觀賞的視差編號之畫素的模式圖。如圖10(A)所示，光線方向不均勻時，視聽者由某一視點位置m藉由單眼觀賞顯示裝置14時，對應於顯示裝置14之每一個區域P，而觀賞到不同視差編號之視差畫像。
詳細如圖10(A)所示，顯示裝置14上之各區域P1~P5之各個要素畫像24，係將視差編號1~9之視差畫像之畫素連續並列而構成。當來自顯示裝置14之各要素畫像24之畫素之光線方向不均勻時，由視點位置m觀賞各區域P1~P5時，會觀賞到以下之視差編號之畫素。例如，對於區域P1，由視點位置m觀賞到視差編號1之畫素，對區域P2則觀賞到視差編號4之畫素，對區域P3觀賞到 視差編號5之畫素。同樣，對於區域P4，由視點位置m觀賞到視差編號5之畫素，對於區域P5由視點位置m觀賞到視差編號9之畫素。
另外，於本實施形態之畫像處理裝置12，如上述說明，補正部32，係依據視點位置m及第1視差編號，將第1取得部30取得的視差畫像之中補正對象之區域P所對應位置之畫素，補正成為應觀賞的第1視差編號之畫素。
另外，假設由視點位置m在各區域P(P1~P5)應觀賞的畫素被設為視差編號5之畫素。此時，本實施形態之畫像處理裝置12係藉由進行上述畫像處理，以使各區域P1~P4，由視點位置m應觀賞到的畫素之視差編號成為視差編號5的方式，針對視差畫像之各畫素進行補正。
因此，使用補正後之補正視差畫像將立體畫像顯示於顯示裝置14時，於顯示裝置14之各區域P1~P4，係以使視點位置m可觀賞到視差編號5之畫素的方式，將視域設為被旋轉之狀態(圖10(B)參照)。因此，由各區域P(P1~P5)可使視差編號5之畫素之光到達視點位置m。
如此則，於視點位置m，係以應觀賞的第1視差編號之畫素可被觀賞到的方式，針對視差畫像之中和各區域P呈對應的位置之畫素進行補正，而於視點位置可將畫面全域設為正常視域。
如上述說明，於本實施形態之畫像處理裝置12，針對顯示裝置14被分割為複數區域的各區域P之各畫素， 係以由視點位置可觀賞到事先決定而應被觀賞的第1視差編號之視差畫像之畫素的方式，進行視差畫像之補正。之後，由補正後之補正視差畫像產生立體畫像，顯示於顯示裝置14。因此，即使是紙型顯示器或經年變化而導致顯示區域之一部分變形或剝落等時，亦可將畫面全域設為正常視域，可觀賞到立體畫像。
另外，第1取得部30，亦可由輸入之一之畫像產生各視差畫像。或由輸入的立體畫像產生各視差畫像。又，各個之視差畫像，可包含互相具有視差的區域。亦即，包含成為同一視差的區域亦可。
(實施形態2)
於實施形態1係說明在顯示裝置14上之各區域P，可觀賞到應觀賞的第1視差編號之視差畫像之畫素的方式，針對第1取得部30取得的視差畫像進行補正，由補正後的補正視差畫像產生立體畫像。
本實施形態則說明依據第1視差編號、視點位置與各區域P間之位置關係所對應的亮度分布，對視差畫像進行補正。
另外，亮度分布，係表示由顯示裝置14之各區域P射出的光線之亮度之角度分布。該角度，係表示例如第1方向(左右方向)之角度，或第2方向(上下方向)之角度。本實施形態中之角度係說明第2方向之角度，但第1方向之角度，或第1方向及第2方向之雙方之角度亦可。
於此，說明到達位於某一視點位置之單眼之光。圖11係表示由某一區域P之要素畫像24射出的光線之亮度分布圖。
另外，於圖11係表示，針對光線控制部22之光學開口部，而將由視差數3，亦即由視差編號1之畫素241 、視差編號2之畫素242 及視差編號3之畫素243 構成的1之要素畫像24，配置於顯示裝置14之區域P1之情況。
如圖11所示，由各畫素(畫素241 ~畫素243 之各個)射出的光，係經由光線控制部22射出。經由光線控制部22射出的光線，因為具有擴展性，在離開光線控制部22一定距離的位置測定光線之亮度時，係如圖11所示分布於某一定之範圍。於此，橫軸表示位置，縱軸表示強度，畫素241 之亮度分布為506，畫素242 之光線分布為505，畫素243 之光線分布為504。
由某一視點位置m觀賞顯示裝置14中之區域P1時到達單眼的光係具有該該亮度分布。亦即，到達視點位置m的光，係成為各畫素241 ~畫素243 之畫素值被重疊者(例如混色)。例如，由位置507觀賞到該區域P1時到達視點位置m之眼之光，係成為以各亮度分布之位置507之值508、509、510為權值，而將該權值加算於畫素241 、畫素242 、畫素243 之亮度值者。
當視點位置m為僅可以選擇性觀賞到來自畫素242 之光線的位置503時，由視點位置m可以觀賞的畫素為視差編號2之畫素242 。但是，當視點位置m為可以觀賞到 畫素242 與畫素241 之雙方之光線的位置507時，由視點位置m可以觀賞畫素成為視差編號2之畫素242 與視差編號1之畫素231 之雙方。
因此，視聽者以位置507作為視點位置m而以單眼觀賞顯示裝置14時，係成為複數個視差畫像之各畫素經由該視點位置之亮度分布重疊而成的重疊畫像，而產生多重模糊。換言之，針對同一區域P，由觀賞角度之不同的視點位置m進行觀賞時，基於該視點位置m之亮度分布，而有可能觀賞到和應觀賞的視差編號不同的視差編號之視差畫像。
因此，於本實施形態之畫像顯示裝置，係依據第1視差編號，以及視點位置與各區域P間之位置關係所對應的亮度分布，針對各視差畫像之中和各區域P對應的位置之畫素之亮度進行補正，使成為應觀賞的第1視差編號之視差畫像之畫素之亮度。
圖12係表示本實施形態之畫像顯示裝置10A的方塊圖。畫像顯示裝置10A，係具備畫像處理裝置12A，及顯示裝置14。
畫像處理裝置12A，係具備：第1取得部30，補正部32A，第3記憶部43，第3取得部45，第1產生部40，輸出部42，第1記憶部34，第2取得部36，及第2記憶部38。第1取得部30，第1記憶部34，第2取得部36，第2記憶部38，第1產生部40，及顯示裝置14，係和實施形態1同一，因此省略說明。
第3記憶部43，係對應於顯示裝置14之每一個角度θ將亮度分布予以記憶。另外，角度θ係表示視聽者於角度θ之視點位置觀賞區域P時之角度。亦即，係表示由視聽者之單眼之位置、亦即視點位置，與顯示裝置14中之區域P之構成角度。另外，本實施形態中之亮度分布係以H表示。該亮度分布H可以以下式(4)表示。
另外，式(4)中之hK (θ)，係表示由視差編號K之畫素射出的光線之於角度θ方向之亮度。角度θ0 ~θQ ，可由實驗或模擬等事先決定。另外，K為1以上、視差數以下之整數。又，式(4)中之行方向係表示同一角度θ之亮度。式(4)中之列方向係表示各視差編號之畫素之亮度。
圖13係表示某一區域P之亮度分布之一例圖。於圖13係表示9視差對應的亮度分布。圖13所示亮度分布，係將顯示於顯示裝置14的立體畫像之中的區域P之要素畫像24之各畫素(例如，視差編號1~9之各畫素)所射出的光線之亮度之分布，對應於每一視差編號予以表示者。橫軸係表示對於區域P之角度(例如，第1方向之角度)。縱軸係表示亮度圖13之編號1~9所示線圖，係分別表示 和視差編號1~9之畫素呈對應的亮度分布。
另外，於圖13所示亮度分布，係以區域P之真正面之方向為角度0(deg)。縱軸係表示亮度(光線之強度)。亮度分布，係對應於每一區域P，使用亮度計等事先測定。
圖14係表示顯示裝置14與視點位置m間之位置關係之說明圖。如圖14(A)所示，於顯示裝置14上設定原點(例如顯示裝置14之左上點)。通過原點而於第1方向設定X軸。通過原點而於第2方向設定Y軸。通過原點，而於和第1方向及第2方向與呈正交的方向設定Z軸。Z係表示顯示裝置14至視點位置m為止之距離。
如圖14(B)所示，設定視聽者之視點位置成為m=(Xm ，Ym ，Zm )T 。本實施形態中，係將視點位置m事先決定。視點位置m可為複數。於視點位置m觀賞座標(i，j)T 之區域P時，該觀賞方向與Z方向間之構成角，可藉由式(5)來表示。
另外，式(5)中之m係表示視點位置之各個的編號，為1以上總視點位置數以下之整數。
因此，由視點位置m觀賞座標(i，j)T 之區域P時，由該區域P到達角度方向的光線亮度h(i,j) ()，可 由式(6)來表示。
回至圖12繼續說明。
第3取得部45，係由第3記憶部43取得各區域P與視點位置間之位置關係所對應的亮度分布。
補正部32A，係和各區域P與視點位置間之位置關係所對應的亮度分布呈對應地，針對視差畫像之各區域P所對應位置之畫素之亮度進行補正，使成為在該區域P應觀賞的視差編號、亦即第1識別編號所特定的視差畫像之畫素之亮度。
之後，補正部32A，係將補正後的視差畫像(補正視差畫像)輸出至第1產生部40。第1產生部40，係由複數個補正視差畫像產生立體畫像，輸出至輸出部42。輸出部42，係將由第1產生部40接受的立體畫像，顯示於顯示裝置14之顯示面板20。
另外，第1取得部30，補正部32A，第2取得部36，第1產生部40，第3取得部45，及輸出部42，係藉由CPU(Central Processing Unit)而實現。第1記憶部34，第2記憶部38，及第3記憶部43，係藉由CPU所使用的記憶體或硬碟驅動裝置(HDD)等之記憶媒體實現。
接著，詳細說明補正部32A對視差畫像之補正。
另外，本實施形態中係和實施形態1同樣，說明各區域P包含1之要素畫像24。
補正部32A，係依序指定顯示裝置14之顯示區域被分割為複數個區域P時的各區域P之中的補正對象之1之區域P。另外，如實施形態1之說明，區域P之位置座標(i，j)T 所包含的要素畫像24，係由視差數K(K為1以上之整數)之視差畫像之畫素群構成。因此，補正前之各區域P之畫素群y(i，j)，係以上述式(1)表示。
之後，補正部32A，係依據視點位置m、區域P之位置座標(i，j)T 對應之應觀賞的第1視差編號kdst 及區域P之亮度分布H(i，j)進行補正處理。
於此，將和區域P之位置座標(i，j)T 及視點位置對應之，應觀賞的第1視差編號kdst 之視差畫像之畫素(畫素值)設為Lm (i，j)。
首先，補正部32A，係依據第1視差編號kdst ，針對區域P之亮度分布H(i，j)所示的各畫素對應的視差編號進行補正。如此則，補正後之視差編號k’，可由以下式(7)表示。
k’=k+(kdst -Lm (i，j)) 式(7)
另外，應觀賞的第1視差編號kdst ，較好是使用以下式(8)所示的視域中央部kc 之值。視域中央部kc ，係表示各區域P之中央部應觀賞的畫素之視差編號。
kc =(K+1)/2 式(8)
式(8)中之K係表示視差數。
如此則，上述式(7)可由以下式(9)表示。
k’=k+(kC -Lm (i，j)) 式(9)
之後，補正部32A，係針對補正前之各區域P之畫素群之表示用的y(i，j)(式(1)參照)中之，各畫素值(y1 (i，j)~yK (i，j))之各個進行補正，使成為式(9)所示的視差編號k’之視差畫像中之同一位置座標之畫素值。
式(9)中之k係表示補正前之視差編號。K係表示視差數。k’，係表示補正後之視差編號。
亦即，補正部32A，係將k’設定成為依據第1視差編號進行補正的補正後之視差編號。因此，依據第1視差編號進行補正的補正後之各區域P之畫素群x(i，j)，係成為將式(9)之k’代入上述式(1)之k之值(上述(3)參照)。
另外，補正部32A，係使用依據該第1視差編號進行補正的補正後之各區域P之畫素群x(i，j)，對各區域P對應的亮度分布進行補正。之後，補正部32A，係使用補正後的各區域P之亮度分布，將視差畫像之各區域P所對應位置之畫素之亮度，補正成為第1視差編號所特定的視差畫像之畫素之亮度。
首先，補正部32A，係藉由以下式(10)所示的式，對 上述式(6)所示的光線亮度h(i,j) ()進行補正。亦即，在視點位置m觀賞時之區域P之位置座標(i，j)T 之中，經由第1視差編號實施補正後的，由區域P到達角度方向的光線之亮度h(i,j) ()，係以下式(10)表示。
之後，補正部32A，係由區域P對應的亮度分布H(i，j)，將相當於角度(θ=)的亮度分布成分(式(4)之行列式之行成分)予以抽出。和角度相當的亮度分布成分不存在時，補正部32A，亦可由其他之亮度分布成分(θ0 ~θQ )算出插補後的亮度分布成分。或者，將和角度最接近的角度θ之亮度分布成分予以抽出亦可。
接著，補正部32A，係使用抽出的亮度分布成分，算出於各視點位置m觀賞各區域P時之，用於表示補正前之各區域P之畫素群y(i，j)之亮度的光線亮度A(i，j)。光線亮度A(i，j)可由式(11)來表示。
將式(11)所示的行列設為區域P之位置座標(i，j)T 之 行列。補正部32A，係算出在式(11)所示的行列，乘上依據第1視差編號實施補正的補正後之各區域P之畫素群x(i，j)之乘算值。補正部32A，係以該乘算值、亦即A(i，j)x(i，j)，作為本實施形態之和第1視差編號及光線亮度呈對應而被實施補正的補正後之各區域P之畫素群予以算出。
另外，補正部32A，係以和第1取得部30取得的視差畫像之畫素區域y(i，j)間之誤差成為最小的方式，藉由式(12)算出和第1視差編號及光線亮度對應而被實施補正的，補正後之各區域P之畫素群(以下式(14)參照)。
[數9]By(i,j)-A(i,j)x(i,j)………(12)
式(12)中之行列B，係用於指定哪一視差畫像(視差編號k)應由哪一視點位置(視點位置Pm )進行觀賞者。例如，視差數K=5，視點位置之數M=2時，行列B可由式(13)來表示。
式(13)係指定，視差編號k=3之視差畫像應於視點位置Pm =P1 加以觀賞，視差編號k=4之視差畫像應於視點位 置Pm =P2 加以觀賞的行列B。除式(13)表示的行列B以外，亦可為列數為視差數，行數為視點位置之數的行列。
之後，補正部32A，例如係藉由以下式(15)，算出和第1視差編號及光線亮度對應被實施補正的，補正後之各區域P之畫素群(式(14)參照)。
另外，式(14)係表示最佳化的補正後之視差畫像。亦即，式(14)，係表示和第1視差編號及光線亮度對應被實施補正的，補正後之各區域P之畫素群。又，式(15)，係用於算出(By(i，j)-A(i，j)x(i，j))T (By(i，j)-A(i，j)x(i，j))成為最小的式(14)之式。
如此則，補正部32A，可對視差畫像中之各區域P所對應位置之畫素之亮度進行補正，使成為由第1視差編號特定的視差畫像之畫素之亮度。
另外，補正部32A之補正處理之方法不限定於上述方法。例如亦可使用以下式(16)所示的連立一次方程式。
[數13]By(i,j)-A(i,j)x(i,j)=0………(16)
亦即，補正部32A，係以和第1取得部30取得的視差畫像之畫素區域y(i，j)間之誤差成為0(零)的方式，藉由式(12)算出和第1視差編號及光線亮度呈對應被實施補正的，補正後之各區域P之畫素群(以下式(14)參照)。
此時，補正部32A，可藉由以下式(17)，算出對應於第1視差編號及光線亮度被實施補正的，補正後之各區域P之畫素群(式(14)參照)。
另外，式(17)中之式(18)為A(i，j)之一般化行列。又，式(17)中之I為單位行列，Z(i，j)為和視差數同一次元之任意向量。該向量可設定為任意，但較好是使用y(i，j)。
又，補正部32A，係使用以下式(19)及式(20)進行補正處理。
亦即，補正部32A，係以和第1取得部30取得的視差畫像之畫素區域y(i，j)間之誤差滿足式(19)之關係的方式，藉由式(12)而算出對應於第1視差編號及光線亮度而被實施補正的，補正後之各區域P之畫素群(式(14)參照)亦可。
另外，式(20)之解、亦即補正後之各區域P之畫素群(式(14)參照)，較好是對y(i，j)賦予極為接近等之限制條件。此情況下，亦可取代上述式(20)改用以下式(21)。
另外，補正部32A，係對By(i，j)-A(i，j)x(i，j)=0進行解析式計算，算出式(14)所示的補正後之各區域P之畫素群(式(14)參照)亦可。
除上述以外，補正部32A，亦可使用最速下降法(steepest descent)或階梯法(gradient method)等之非線形 最佳化法，算出式(14)所示的補正後之各區域P之畫素群。
接著，說明畫像處理裝置12A實行畫像處理之順序。圖15係表示本實施形態之畫像顯示裝置10A實行畫像處理之順序的流程圖。
首先，第1取得部30，係取得複數個視差畫像(步驟S200)。接著，補正部32A，係讀出第2記憶部38記憶的視點位置(步驟S204)。
接著，畫像處理裝置12A，係在顯示裝置14被分割為事先決定的複數個區域P之區域數分範圍內，重複以下步驟S206~步驟S210之處理。
首先，第2取得部36，係讀取上述步驟S204所讀取的補正對象之區域P對應的亮度分布(步驟S206)。接著，第2取得部36，係由第1記憶部34取得上述步驟S204所讀取的視聽者之視點位置與補正對象之區域P所對應的第1視差編號(步驟S208)。
接著，補正部32A，係依據步驟S204取得的視點位置，上述步驟S206取得的第1視差編號，及上述步驟S206讀取的亮度分布，針對上述步驟S200取得的視差畫像中之，補正對象之區域P所對應位置之畫素進行補正，使成為應觀賞的第1視差編號之畫素(步驟S210)。
步驟S206~步驟S210之處理，係對顯示裝置14之複數個區域P之全區域P執行，而使第1取得部30取得的視差畫像被補正，產生補正視差畫像。
接著，第1產生部40，係由所產生的補正視差畫像產生立體畫像(步驟S212)。接著，輸出部42，係將步驟S212所產生的立體畫像，顯示於顯示面板20(步驟S214)，結束本子程式。
圖16係表示各區域P之由要素畫像24之畫素對應的視差編號之視差畫像之補正的模式圖。
圖16係表示視差數為9時，在顯示裝置14之各區域P，由視點位置m應觀賞的視差編號之畫素之模式圖。另外，圖10中之數字係表示視差編號。
於畫像顯示裝置10A，於視點位置m1應觀賞的視差編號之視差畫像，係被設為視差編號1之視差畫像。又，於視點位置m2應觀賞的視差編號之視差畫像，係被設為視差編號2之視差畫像。
於畫像顯示裝置10A，於良好狀態下，由視點位置m1以單眼觀賞顯示裝置14時，於顯示裝置14上之全區域P(P1~P6)，可以觀賞到視差編號1之視差畫像之畫素。又，於畫像顯示裝置10A，於良好狀態下，由視點位置m2以單眼觀賞顯示裝置14時，於顯示裝置14上之全區域P(P1~P6)，可以觀賞到視差編號2之視差畫像之畫素。
但是，顯示裝置14上之各區域P對應的亮度分布(參照圖16中之L)或由各區域P之要素畫像之畫素射出的光線方向不均勻(參照圖16中之H)時，畫面全體無法成為正常視域，無法完成立體視覺。
因此，本實施形態之畫像顯示裝置10A，係依據各區域P對應的亮度分布，以及各區域P與視點位置對應的第1視差編號，藉由第1視差編號針對取得的視差畫像之光線亮度A進行補正，而對取得的視差畫像進行補正。
具體言之為，係以顯示裝置14上之各區域P之由要素畫像24之各畫素之視差畫像之視差編號，成為應觀賞的視差編號之視差畫像(參照圖16中之視差編號1~視差編號4之視差畫像1~視差編號4)的方式進行補正。
圖17係表示第1視差編號對於亮度分布之補正的模式圖。
如圖17所示，假設於視點位置m以θ1 之角度進行觀賞的區域P1，於視點位置m以θ2 之角度觀賞的區域P2，於視點位置m以θ3 之角度觀賞的區域P3。
又，由第1取得部30取得的視差畫像產生的立體畫像之中，各區域P1~P3之各個要素畫像24(要素畫像241 ~要素畫像243 )之畫素之視差編號之配列，被設為7，6，5，4，3，2，1，9，8(1，9，8係省略圖示)。
如此則，藉由補正部32A依據第1視差編號進行之補正，而使區域P1之要素畫像241 之畫素之視差編號之配列被補正為例如5，4，3，2，1，9，8，7，6(6~8係被省略圖示)。又，區域P2之要素畫像242 之視差編號之配列，係設為和補正前同一。又，區域P3之要素畫像243 之視差編號之配列，係補正為例如1，9，8，7，6，5，4，3，2(4~2之圖示係被省略)。
補正部32A，係對應於該補正後的視差編號之配列，以使各區域P之各畫素之亮度成為補正後的視差編號之亮度而加以補正。
如上述說明，於畫像處理裝置12A，係依據各區域P與視點位置間之位置關係所對應的亮度分布，針對視差畫像之各區域P所對應位置之畫素之亮度進行補正，使成為由第1視差編號特定的視差畫像之畫素之亮度。
因此，會有其他視差畫像之顯示用畫素之光線之一部，混入某一視差畫像之顯示用畫素之光線，而可將畫面設為正常視域。
(第3實施形態)
本實施形態之畫像處理裝置，係於第2實施形態之畫像處理裝置12A，藉由亮度分布對應的濾波係數(亮度濾波)進行補正。如此則，可以較少處理成本，將畫面設為正常視域。
濾波係數係指由事先設定的視點位置觀賞區域P時，使應觀賞的第1視差編號之畫素之光線到達該視點位置的方式，對視差畫像(具體言之為，補正前之各區域P之畫素群y(i，j))進行變換的係數。以下，說明和前實施形態不同之點。
圖18係表示畫像顯示裝置10B之畫像處理裝置12B之方塊圖。於畫像處理裝置12，係另外具備：第2產生部46，及第4記憶部44。第3記憶部43及第1記憶部 34，係連接於第2產生部46。又，取代補正部32A改設補正部32B。補正部32B，係連接於第2產生部46，第4記憶部44，第1取得部30，第1產生部40，及第2記憶部38。又，第4記憶部44，係連接於第2產生部46及補正部32B。
第4記憶部44，係儲存各區域P對應的一或複數個亮度濾波G(i，j)。亮度濾波G(i，j)，較好是和前實施形態之亮度分布H(i，j)等效者。第4記憶部44，係記憶著各區域P對應的亮度濾波。
第2產生部46，係由各區域P及視點位置對應的第1視差編號及亮度分布產生亮度濾波，而記憶於第4記憶部44。
具體言之為，第2產生部46，係藉由以下方法產生亮度濾波。
於此，如實施形態2之說明，補正部32B，係藉由和上述式(17)同一之式、亦即以下式(22)，算出和第1視差編號及光線亮度對應被實施補正的，補正後之各區域P之畫素群(式(14)之參照)。
於此，假設以下式(23)之關係成立。如此則，式(22)可由式(24)表示。
另外，以下式(25)之式成立時，式(22)可以式(26)表示。
另外，式(26)中之G(i，j)，係不受由輸入之視差畫像產生的立體畫像中之，補正前之各區域P之畫素群y(i，j)之影響，僅受亮度分布影響。因此，可以事前算出。
於第2產生部46，係以該G(i，j)作為對應於區域P之位置座標(i，j)T 的濾波係數而算出，事先記憶於第4記憶部44。
於補正部32B，係由第4記憶部44讀出和區域P之位置座標(i，j)T 對應的濾波係數G(i，j)，將其乘上補正前之各區域P之畫素群y(i，j)，而算出以下式(27)所示的補正後之各區域P之畫素群即可。
依據本實施形態，可藉由較少處理成本，將畫面設為正常視域。
(變形例)
另外，第4記憶部44，可以不記憶各區域P對應的濾波係數G(i，j)之全部。此時，於第2產生部46或補正部32B，係由第4記憶部44記憶的其他之一或複數個濾波係數G(i，j)進行插補，而產生各區域P對應的濾波係數G(i，j)亦可。
圖19係表示插補的模式圖。例如，如圖19所示，於第4記憶部44記憶著G(0，0)，G(3，0)，G(0，3)，G(3，3)之4個濾波係數。此時，第2產生部46，可藉由式(28)算出區域P(2，2)對應的濾波係數G(2，2)。
[數23]G(2,2)=αG(0,0)+βG(3,0)+γG(0,3)+λG(3,3)………(28)
式(28)中之α、β、γ、λ為各別之權值係數，係藉由座標之內分比算出。
依據本變形例，可抑制第4記憶部44之記憶容量。
另外，實施形態1~3之畫像顯示裝置10、畫像顯示 裝置10A、畫像顯示裝置10B執行的畫像處理之處理程式，係事先組入ROM等而提供。
實施形態1~3之畫像顯示裝置10、畫像顯示裝置10A、畫像顯示裝置10B實行的畫像處理之處理程式，能以可安裝的形式或可執行的形式之檔案，記錄於CD-ROM、軟碟(FD)、CD-R、DVD(Digital Versatile Disk)等之電腦可讀取的記錄媒體而提供。
另外，實施形態1~3之畫像顯示裝置10、畫像顯示裝置10A、畫像顯示裝置10B執行的畫像處理之處理程式，可儲存於經由網際網路等之網路連接的電腦上，經由網路下載而提供。又，實施形態1~3之畫像顯示裝置10、畫像顯示裝置10A、畫像顯示裝置10B執行的畫像處理之處理程式，亦可經由網際網路等之網路提供或配布。
實施形態1~3之畫像顯示裝置10、畫像顯示裝置10A、畫像顯示裝置10B執行的畫像處理之處理程式，係成為包含上述各部的模組構成，實際之硬體係由CPU(處理器)由上述ROM讀出程式執行而使上述各部下載於主記憶裝置上，使彼等各機能部產生於主記憶裝置上。
另外，以上說明本發明之幾個實施形態，但是彼等實施形態僅為一例，並非用來限定本發明。彼等新規之實施形態可以其他各種形態實施，在不脫離發明要旨之範圍內可進行各種省略、取代或變更。彼等實施形態或其變形亦包含於發明之範圍或要旨之同時，亦包含於申請專利範圍記載之發明及其之等效範圍。
10‧‧‧畫像顯示裝置
12‧‧‧畫像處理裝置
30‧‧‧第1取得部
32‧‧‧補正部
34‧‧‧第1記憶部
36‧‧‧第2取得部
38‧‧‧第2記憶部
40‧‧‧第1產生部
42‧‧‧輸出部
14、20‧‧‧顯示裝置
[圖1]實施形態1之畫像顯示裝置之概略圖。
[圖2]顯示裝置的模式圖。
[圖3]顯示裝置的模式圖。
[圖4]由要素畫像之各畫素射出的光線方向之說明圖。
[圖5]構成要素畫像的畫素的模式圖。
[圖6]光線方向均勻時之模式圖。
[圖7]光線方向不均勻時之模式圖。
[圖8]實施形態1之畫像處理裝置之方塊圖。
[圖9]實施形態1之畫像處理之順序的流程圖。
[圖10]視差畫像之補正的模式圖。
[圖11]要素畫像之各畫素之亮度分布圖。
[圖12]實施形態2之畫像處理裝置之方塊圖。
[圖13]亮度分布之一例的圖。
[圖14]顯示裝置與視點位置m之位置關係的圖。
[圖15]實施形態2之畫像處理之順序的流程圖。
[圖16]視差畫像之補正模式圖。
[圖17]亮度分布之補正模式圖。
[圖18]實施形態3之畫像處理裝置之方塊圖。
[圖19]濾波係數之插補的模式圖。
10‧‧‧畫像顯示裝置
12‧‧‧畫像處理裝置
30‧‧‧第1取得部
32‧‧‧補正部
34‧‧‧第1記憶部
36‧‧‧第2取得部
38‧‧‧第2記憶部
40‧‧‧第1產生部
42‧‧‧輸出部
14、20‧‧‧顯示裝置

Claims (7)

  1. 一種畫像處理裝置，係將立體畫像顯示於可顯示上述立體畫像的顯示部者，該立體畫像係對包含複數個視差畫像之各個畫素的要素畫像予以分配而成；其具備：第1取得部，用於取得互相具有視差的複數個上述視差畫像；第2取得部，係將上述立體畫像之顯示用的顯示區域分割為包含至少1個上述要素畫像的複數個區域，而在該分割的複數個區域之各區域取得可由事先決定的視點位置觀賞的視差畫像之識別資訊；第3取得部，用於取得上述各區域與上述視點位置之位置關係所對應的亮度分布；補正部，係對應於上述亮度分布，針對上述視差畫像中之上述各區域所對應位置之畫素之亮度進行補正，使成為由上述識別資訊所特定的視差畫像之畫素之亮度；及第1產生部，係由補正後的上述視差畫像產生上述立體畫像。
  2. 如申請專利範圍第1項之畫像處理裝置，其中另外具備：用於產生濾波係數的第2產生部，該濾波係數係對應於上述亮度分布，針對上述視差畫像中之上述各區域所對應位置之畫素之亮度進行補正，使成為由上述識別資訊所特定的視差畫像之畫素之亮度，上述補正部，係藉由使用上述濾波係數之濾波處理，針對上述視差 畫像中之上述各區域所對應位置的畫素之亮度進行補正，使成為由上述識別資訊所特定的視差畫像之畫素之亮度。
  3. 如申請專利範圍第2項之畫像處理裝置，其中另外具備：記憶手段，用於記憶上述各區域與上述視點位置之位置關係所對應的上述濾波係數。
  4. 如申請專利範圍第3項之畫像處理裝置，其中上述補正部，係對應於上述區域與上述視點位置之位置關係進行上述濾波係數之插補，使用插補後的上述濾波係數進行濾波處理，藉此針對上述視差畫像中之上述各區域所對應位置的畫素之亮度進行補正，使成為由上述識別資訊所特定的視差畫像之畫素之亮度。
  5. 一種畫像處理方法，係將立體畫像顯示於可顯示上述立體畫像的顯示部者，該立體畫像係對包含複數個視差畫像之各個畫素的要素畫像予以分配而成；取得互相具有視差的複數個上述視差畫像；將上述立體畫像之顯示用的顯示區域分割為包含至少1個上述要素畫像的複數個區域，而在該分割的複數個區域之各區域取得可由事先決定的視點位置觀賞的視差畫像之識別資訊；取得上述各區域與上述視點位置之位置關係所對應的亮度分布；對應於上述亮度分布，針對上述視差畫像中之上述各 區域所對應位置之畫素之亮度進行補正，使成為由上述識別資訊所特定的視差畫像之畫素之亮度；由補正後的上述視差畫像產生上述立體畫像。
  6. 一種畫像處理程式，係由電腦執行而使電腦將立體畫像顯示於可顯示該立體畫像的顯示部者，該立體畫像係對包含複數個視差畫像之各個畫素的要素畫像予以分配而成；係使上述電腦作為以下之機能者：第1取得部，用於取得互相具有視差的複數個上述視差畫像；第2取得部，係將上述立體畫像之顯示用的顯示區域分割為包含至少1個上述要素畫像的複數個區域，而在該分割的複數個區域之各區域取得可由事先決定的視點位置觀賞的視差畫像之識別資訊；第3取得部，用於取得上述各區域與上述視點位置之位置關係所對應的亮度分布；補正部，係對應於上述亮度分布，針對上述視差畫像中之上述各區域所對應位置之畫素之亮度進行補正，使成為由上述識別資訊所特定的視差畫像之畫素之亮度；及第1產生部，係由補正後的上述視差畫像產生上述立體畫像。
  7. 一種畫像顯示裝置，係可顯示立體畫像者，該立體畫像係對包含複數個視差畫像之各個畫素的要素畫像予以分配而成；其具備：第1取得部，用於取得互相具有視差的複數個上述視 差畫像；第2取得部，係將上述立體畫像之顯示用的顯示區域分割為包含至少1個上述要素畫像的複數個區域，而在該分割的複數個區域之各區域取得可由事先決定的視點位置觀賞的視差畫像之識別資訊；第3取得部，用於取得上述各區域與上述視點位置之位置關係所對應的亮度分布；補正部，係對應於上述亮度分布，針對上述視差畫像中之上述各區域所對應位置之畫素之亮度進行補正，使成為由上述識別資訊所特定的視差畫像之畫素之亮度；第1產生部，係由補正後的上述視差畫像產生上述立體畫像；及顯示部，用於顯示上述立體畫像。
TW101108118A 2011-12-21 2012-03-09 An image processing apparatus, a method, and a program, and a portrait display device TWI476448B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011280468A JP5818674B2 (ja) 2011-12-21 2011-12-21 画像処理装置、方法、及びプログラム、並びに、画像表示装置

Publications (2)

Publication Number Publication Date
TW201326903A TW201326903A (zh) 2013-07-01
TWI476448B true TWI476448B (zh) 2015-03-11

Family

ID=48638990

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101108118A TWI476448B (zh) 2011-12-21 2012-03-09 An image processing apparatus, a method, and a program, and a portrait display device

Country Status (4)

Country Link
US (1) US9179119B2 (zh)
JP (1) JP5818674B2 (zh)
CN (1) CN103179411B (zh)
TW (1) TWI476448B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI769058B (zh) * 2021-08-19 2022-06-21 宏碁股份有限公司 立體顯示器的校正方法與系統

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6353214B2 (ja) 2013-11-11 2018-07-04 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
WO2016121233A1 (ja) * 2015-01-30 2016-08-04 三菱電機株式会社 画像処理装置、画像表示装置、及び画像処理方法
US11380005B2 (en) * 2017-05-19 2022-07-05 Movidius Limited Methods, systems and apparatus to optimize pipeline execution
KR102447101B1 (ko) * 2017-09-12 2022-09-26 삼성전자주식회사 무안경 3d 디스플레이를 위한 영상 처리 방법 및 장치
CN111418000B (zh) * 2017-12-07 2023-09-19 株式会社半导体能源研究所 显示装置及其工作方法
CN113066173B (zh) * 2021-04-21 2023-03-14 国家基础地理信息中心 三维模型构建方法、装置和电子设备
US11915065B2 (en) 2022-01-20 2024-02-27 Vmware, Inc. Brokerless reliable totally ordered many-to-many interprocess communication on a single node that uses shared memory and multicast

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643939A (zh) * 2002-03-27 2005-07-20 三洋电机株式会社 立体图像处理方法及装置
TW200619681A (en) * 2004-10-18 2006-06-16 Artistic Images A device and a process for lenticular-based autostereoscopic display, and a process for synthesizing the associated autostereoscopic images
CN1864089A (zh) * 2003-10-04 2006-11-15 皇家飞利浦电子股份有限公司 优化3d图像显示装置中的亮度控制
CN100349467C (zh) * 2004-05-13 2007-11-14 三洋电机株式会社 立体图像处理方法及立体图像处理装置
TW201120479A (en) * 2009-08-31 2011-06-16 Casio Computer Co Ltd Three dimensional display device and method of controlling parallax barrier

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4227076B2 (ja) * 2004-05-24 2009-02-18 株式会社東芝 立体画像を表示する表示装置及び立体画像を表示する表示方法
JP4650279B2 (ja) * 2006-01-19 2011-03-16 エプソンイメージングデバイス株式会社 電気光学装置及び電子機器
JP2009075869A (ja) * 2007-09-20 2009-04-09 Toshiba Corp 多視点画像描画装置、方法及びプログラム
JP2009077234A (ja) * 2007-09-21 2009-04-09 Toshiba Corp 三次元画像処理装置、方法及びプログラム
JP2009080144A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 立体映像表示装置および立体映像表示方法
JP2009238117A (ja) * 2008-03-28 2009-10-15 Toshiba Corp 多視差画像生成装置および方法
JP2009251098A (ja) * 2008-04-02 2009-10-29 Mitsubishi Electric Corp 画像表示装置
JP2010045584A (ja) 2008-08-12 2010-02-25 Sony Corp 立体画像補正装置、立体画像補正方法、立体画像表示装置、立体画像再生装置、立体画像提供システム、プログラム及び記録媒体
JP5238429B2 (ja) * 2008-09-25 2013-07-17 株式会社東芝 立体映像撮影装置および立体映像撮影システム
WO2010050691A2 (en) * 2008-10-27 2010-05-06 Samsung Electronics Co,. Ltd. Methods and apparatuses for processing and displaying image
JP4754031B2 (ja) * 2009-11-04 2011-08-24 任天堂株式会社 表示制御プログラム、情報処理システム、および立体表示の制御に利用されるプログラム
JP4712898B1 (ja) * 2010-03-05 2011-06-29 健治 吉田 中間画像生成方法、中間画像ファイル、中間画像生成装置、立体画像生成方法、立体画像生成装置、裸眼立体画像表示装置、立体画像生成システム
JP5631329B2 (ja) * 2010-04-21 2014-11-26 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 立体映像表示装置、立体映像表示方法
JP5673008B2 (ja) * 2010-08-11 2015-02-18 ソニー株式会社 画像処理装置、立体画像表示装置および立体画像表示システム、ならびに立体画像表示装置の視差ずれ検出方法および立体画像表示装置の製造方法
JP4997327B2 (ja) * 2010-10-01 2012-08-08 株式会社東芝 多視差画像受信装置
JP5289416B2 (ja) * 2010-11-10 2013-09-11 株式会社東芝 立体画像表示装置、方法およびプログラム
JP5011431B2 (ja) * 2010-12-21 2012-08-29 株式会社東芝 映像信号処理装置および処理方法ならびに映像表示装置
JP5617647B2 (ja) * 2011-01-14 2014-11-05 ソニー株式会社 立体画像表示装置
KR20120088100A (ko) * 2011-01-31 2012-08-08 삼성전자주식회사 디스플레이 컨트롤러 및 디스플레이 시스템
JP4951131B1 (ja) * 2011-02-21 2012-06-13 株式会社東芝 画像表示装置、画像処理装置および画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1643939A (zh) * 2002-03-27 2005-07-20 三洋电机株式会社 立体图像处理方法及装置
CN1864089A (zh) * 2003-10-04 2006-11-15 皇家飞利浦电子股份有限公司 优化3d图像显示装置中的亮度控制
CN100349467C (zh) * 2004-05-13 2007-11-14 三洋电机株式会社 立体图像处理方法及立体图像处理装置
TW200619681A (en) * 2004-10-18 2006-06-16 Artistic Images A device and a process for lenticular-based autostereoscopic display, and a process for synthesizing the associated autostereoscopic images
TW201120479A (en) * 2009-08-31 2011-06-16 Casio Computer Co Ltd Three dimensional display device and method of controlling parallax barrier

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI769058B (zh) * 2021-08-19 2022-06-21 宏碁股份有限公司 立體顯示器的校正方法與系統

Also Published As

Publication number Publication date
US9179119B2 (en) 2015-11-03
TW201326903A (zh) 2013-07-01
JP2013131929A (ja) 2013-07-04
CN103179411B (zh) 2016-02-03
JP5818674B2 (ja) 2015-11-18
CN103179411A (zh) 2013-06-26
US20130162783A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
TWI476448B (zh) An image processing apparatus, a method, and a program, and a portrait display device
US9110296B2 (en) Image processing device, autostereoscopic display device, and image processing method for parallax correction
KR102030830B1 (ko) 곡면형 다시점 영상 디스플레이 장치 및 그 제어 방법
JP5809293B2 (ja) 表示装置
JP6278323B2 (ja) 自動立体ディスプレイの製造方法
JP5881732B2 (ja) 画像処理装置、立体画像表示装置、画像処理方法および画像処理プログラム
TWI420152B (zh) A Method of Multi - view Three - dimensional Image Display
TW201320717A (zh) 一種三次元影像顯示之方法
JP2007065441A (ja) 配置レンズ諸元導出方法、プログラム、情報記憶媒体及び配置レンズ諸元導出装置
JP2013527932A5 (zh)
KR20170044953A (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
US20140192047A1 (en) Stereoscopic image display device, image processing device, and image processing method
TWI470274B (zh) Three - dimensional image display device
JP5696107B2 (ja) 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
TWI500314B (zh) A portrait processing device, a three-dimensional portrait display device, and a portrait processing method
US20140362197A1 (en) Image processing device, image processing method, and stereoscopic image display device
CN112188185B (zh) 在显示设备上显示立体影像的方法
CN115022612A (zh) 一种显示装置的驱动方法、装置及显示设备
TWI469625B (zh) Image processing apparatus and method, and stereoscopic image display apparatus

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees