TWI554080B - An image processing apparatus, a program, an image processing method, a recording method, and a recording medium - Google Patents

Description

圖像處理裝置、程式、圖像處理方法、記錄方法及記錄媒體

本發明有關圖像處理裝置、程式，圖像處理方法、記錄方法及記錄媒體。

至今已知立體(3D)圖像之呈現技術。呈現立體影像之技術之一為立體視像(stereoscopic vision)技術：生成從右眼看見物體時之右眼用的圖像以及從左眼看見該物體時之左眼用的圖像，將右眼用的圖像僅向使用者之右眼顯示，將左眼用的圖像僅向使用者之左眼顯示。

專利文件一：日本特許公開公報特開平10-117362號

專利文件二：日本特許公開公報特開2002-262310號

專利文件三：日本特許公開公報特開平8-205201號

然而，這樣的立體視像技術有時會讓使用者感到不舒服。立體視像技術是藉由雙眼之視差讓人感覺顯示於平面上的圖像就像有縱深以及跳出來一般。因此，相較於看著通常的立體物的情況，視覺及腦的作用不同，有的情況如此使圖像呈現不自然感，結果讓人不舒服。尤其，視覺之輻輳與調節之不一致(雙眼輻輳之交叉點、與像之實際的焦點對準位置不同)是發生的主要原因。

此外，在立體視像技術方面，用以生成立體影像用的視差圖像的成本高。在立體視像技術方面，對於一個場面必須生成具有視差的二個圖像(右眼用的圖像及左眼用的圖像)。因此，拍攝時，必須藉由適切設置及控制的二個以上的照相機來取得視差圖像，所以成本高。此外，即使在藉由電腦繪圖等來人工合成圖像的情況，用以生成視差圖像之成本也高。

此外，也有各種根據二維圖像來生成視差圖像的方法。

例如有一種方法：使以時間差取得之複數張圖像分別為右眼用的圖像及左眼用的圖像。例如還有一種方法：使用者解析二維圖像並附加縱深資訊，從二維圖像生成視差圖像。然而，任何方法都是處理繁雜，包括以個人判斷進行的人工作業，所以成本高。

此外，還有一種方法：在不提供視差給右眼用的圖像及左眼用的圖像的前提下呈現立體影像(專利文件一～三)。然而，任何方法中用以適切呈現立體影像的具體處理並不明確。

因此，本發明之目的在於提供一種能解決上述課題之圖像處理裝置、程式、圖像處理方法、記錄方法及記錄媒體。該目的是藉由申請專利範圍中之獨立項所記載之特徵組合來達成。此外，附屬項界定本發明更有利的具體例。

為了解決上述課題，本發明之第一態樣中提供一種圖像處理裝置，是能將二維圖像立體地顯示的圖像處理裝置，其具備：生成部，生成將前述二維圖像在顯示區域內向左右錯開而成的左側圖像及右側圖像；以及輸出部，前述左側圖像及前述右側圖像不重複顯示之區域具有位於使用者有效視野外側之顯示區域，藉由前述顯示區域將前述左側圖像向使用者之左眼輸出，將前述右側圖像向使用者之右眼輸出。再者，提供一種程式及圖像處理方法，使電腦發揮這樣的圖像處理裝置的機能。

此外，本發明之第二態樣中提供一種記錄方法，是記錄能將二維圖像立體地顯示的圖像的記錄方法，生成將前述二維圖像在顯示區域內向左右錯開而成的左側圖像之圖像資料及右側圖像之圖像資料，將前述左側圖像之圖像資料記錄於記錄媒體之左側圖像資料記錄區域，將前述右側圖像之圖像資料記錄於記錄媒體之右側圖像資料記錄區域，該左側圖像資料記錄區域保持會由播放裝置讀取並向使用者之左眼輸出之圖像，該右側圖像資料記錄區域保持會由播放裝置讀取並向使用者之右眼輸出之圖像。再者，提供一種記錄媒體，藉由這樣的記錄方法進行記錄。

此外，上述之發明概要並未列舉本發明之所有必要特徵，這些特徵群之次組合也能成為發明。

以下，透過發明之實施形態說明本發明，不過，以下之實施形態並未限定申請專利範圍之發明。此外，實施形態中已說明之所有特徵組合未必為發明之解決手段所必須。

第一圖繪示本實施形態之圖像處理裝置10之結構。圖像處理裝置10係能將已知之二維圖像立體地顯示的裝置。更具體來說，圖像處理裝置10根據已知之二維圖像生成向使用者之右眼輸出的圖像以及向該使用者之左眼輸出的圖像，並顯示於顯示裝置。此外，已知的二維圖像可以為靜止圖像，也可以為動圖像，該動圖像包括時間上連續的複數張靜止圖像。

圖像處理裝置10具備生成部20及輸出部30。生成部20例如從播放裝置或受信裝置接收二維圖像，該播放裝置從記錄媒體播放資料，該受信裝置接收已傳送的資料。

生成部20生成將二維圖像在顯示區域內向左右錯開瞳孔間距離以下之距離而成的左側圖像及右側圖像。生成部20例如根據相同的二維圖像生成左側圖像及右側圖像。

在此，瞳孔間距離是人類之瞳孔間之距離(40mm到90mm)，當在間隔為該距離的位置顯示左側圖像及右側圖像時，人類能將以左眼看見之左側圖像之顯示物與以右眼看見之右側圖像之顯示物加以融合，並辨認是一個像，且辨認所融合的像位於無限遠。在此情況，注視者雙眼之視線成平行。因此，生成部20較佳為生成將二維圖像在顯示區域內向左右錯開大於0且小於等於90mm的距離而成的左側圖像及右側圖像。

此外，有的情況人類即使對於雙眼之視線從平行的狀態向左右張開約二～三度的方向上的對象，也能以雙眼進行融合視。因此，左側圖像與右側圖像之間之距離可以是左眼之視線從平行狀態向左側偏離三度以下(較佳為二度)、右眼之視線從平行狀態向右側偏離三度以下(較佳為二度)的距離。注視者與顯示面之間之距離越遠，左側圖像與右側圖像之間之距離可以偏離瞳孔間距離的容許量越大。

此外，顯示區域是對使用者提供立體圖像之顯示裝置中圖像顯示部分之區域。更具體來說，例如：顯示區域是電視裝置之顯示面、顯示於電腦顯示器內的一個視窗區域等一個畫面上所形成的區域。此外，例如：顯示區域也可以是頭戴式顯示裝置之顯示面等由二個畫面所形成的區域。生成部20可以例如根據已知的二維圖像之畫素尺寸與顯示區域之大小，變更左側圖像與右側圖像之間之資料上之距離，以使左側圖像及右側圖像間之顯示區域上之距離成為瞳孔間距離。

生成部20例如將原始二維圖像向左方錯開生成左側圖像。此外，生成部20例如將原始二維圖像向右方錯開生成右側圖像。此外，生成部20可以例如對於將原始二維圖像向左方錯開生成的左側圖像中向左側超出顯示區域左側邊界的部分進行刪除。生成部20可以例如對於將原始二維圖像向右方錯開生成的右側圖像中向右側超出顯示區域右側邊界的部分進行刪除。

生成部20可以在將原始二維圖像向左方錯開生成的左側圖像之右側附加新的圖像。此外，生成部20可以在將原始二維圖像向右方錯開生成的右側圖像之左側附加新的圖像。因此，生成部20將原始二維圖像錯開生成左側圖像及右側圖像後，即可使用新附加的圖像來填補在顯示區域內左側圖像之右側出現的空白、以及在顯示區域內右側圖像之左側出現的空白。此外，在此情況，生成部20可以例如附加暗色或預先設定之顏色等之圖像。

此外，在該圖像處理裝置10藉由具有一個顯示區域的顯示裝置來提供立體圖像的情況，生成部20在垂直方向每隔規定條數交互選擇該顯示區域之水平列時，將顯示於一邊之水平列(例如偶數列)的圖像當作左側圖像。此外，在此情況，生成部20在每隔規定條數交互選擇顯示區域之水平列時，將顯示於另一邊之水平列(例如奇數列)的圖像當作右側圖像。

此外，在該圖像處理裝置10藉由具有一個顯示區域的顯示裝置來提供立體圖像的情況，生成部20在每隔規定張數依時間順序交互選擇動圖像所含之各圖框(frame)時，將顯示於一邊之圖框(例如偶數圖框)的圖像當作左側圖像。此外，在此情況，生成部20在每隔規定張數依時間順序交互選擇動圖像所含之各圖框時，將顯示於另一邊之圖框(例如奇數圖框)的圖像當作右側圖像。

此外，在該圖像處理裝置10藉由頭戴式顯示裝置般具有左眼用的顯示面及右眼用的顯示面的顯示裝置來向使用者提供立體圖像的情況，生成部20將顯示於左眼用的顯示面的圖像當作左側圖像。此外，在此情況，生成部20將顯示於右眼用的顯示面之圖像當作右側圖像。

此外，生成部20可以例如藉由電腦之軟體運算來進行生成左側圖像及右側圖像的處理。可以不這樣做，而是生成部20對於即時(real time)傳送或播放之視頻信號做即時圖像處理。

輸出部30中，左側圖像及右側圖像不重複顯示之區域具有位於使用者有效視野外側之顯示區域。此外，輸出部30藉由該顯示區域將由生成部20生成之左側圖像向使用者之左眼輸出。此外，輸出部30藉由該顯示區域將由生成部20生成之右側圖像向使用者之右眼輸出。

輸出部30可以例如架構成擺放型液晶顯示器般在一個畫面上形成之顯示區域內重複顯示左側圖像及右側圖像。可以不這樣做，而是輸出部30架構成頭戴式顯示裝置般於由二個畫面形成之各顯示區域個別顯示左側圖像及右側圖像。

本實施形態中，輸出部30具有顯示部32及立體視像用的眼鏡34。顯示部32具有顯示區域，該顯示區域包括以二維矩陣狀配置的複數個畫素，向使用者之左眼及右眼顯示圖像的畫素列(pixel line)交互配置。立體視像用的眼鏡34將由顯示部32右眼用的畫素列顯示的圖像僅提供給右眼，將由顯示部32左眼用的畫素列顯示的圖像僅提供給左眼。在輸出部30具有這樣的顯示部32及立體視像用的眼鏡34的情況，生成部20從顯示區域中與針對左眼之各畫素列相對應之二維圖像之各畫素來生成左側圖像，並且將顯示區域中與針對右眼之各畫素列相對應之二維圖像之各畫素向右側錯開生成右側圖像。這樣的生成部20將畫素資料以畫素列為單位往水平方向錯開，藉此能生成左側圖像及右側圖像，所以能使電路結構簡單。

顯示部32例如從左眼用的畫素列發出第一旋轉方向之圓偏振光。此外，顯示部32例如從右眼用的畫素列發出與第一旋轉方向之圓偏振光逆向旋轉之第二旋轉方向之圓偏振光。此外，顯示部32藉由左眼用的畫素列來顯示左側圖像，藉由右眼用的畫素列來顯示右側圖像。

此外，立體視像用的眼鏡34例如具有左眼用的偏光濾光鏡及右眼用的偏光濾光鏡。該左眼用的偏光濾光鏡配置於使用者之左眼上，以使第一旋轉方向之圓偏振光穿透，阻隔第二旋轉方向之圓偏振光。該右眼用的偏光濾光鏡配置於使用者之右眼上，以使第二旋轉方向之圓偏振光穿透，阻隔第一旋轉方向之圓偏振光。因此，立體視像用的眼鏡34將由顯示部32之左眼用的畫素列顯示的左側圖像僅提供給左眼，將由顯示部32之右眼用的畫素列顯示的右側圖像僅提供給右眼。

此外，輸出部30只要能將左側圖像僅提供給使用者之左眼，將右側圖像僅提供給使用者之右眼，輸出部30就可以為任何結構。輸出部30可以例如具有顯示裝置及附光閘的眼鏡，該顯示裝置將左側圖像及右側圖像在時間上交互顯示，該附光閘的眼鏡具有和顯示裝置同步的光閘。在此情況，附光閘的眼鏡在左側圖像正在顯示的期間開啟左眼之光閘並關閉右眼之光閘，在右側圖像正在顯示的期間開啟右眼之光閘並關閉左眼之光閘。依據這樣的輸出部30，能將左側圖像僅提供給使用者之左眼，將右側圖像僅提供給使用者之右眼。

此外，輸出部30可以為具有左眼用的顯示面及右眼用的顯示面的頭戴式顯示裝置。此外，輸出部30也可以為一裝置，該裝置利用彩色濾光片或是分光特性差、偏向方向之差異等，將左側圖像僅顯示於使用者之左眼，將右側圖像僅顯示於使用者之右眼。

如上所述依據圖像處理裝置10，將二維圖像向左右錯開藉此生成立體圖像。因此，依據圖像處理裝置10，能以非常簡單的處理且以低的成本將立體圖像提供給使用者。

第二圖繪示以顯示部32進行顯示之一例。顯示部32例如在每隔一條往垂直方向交互選擇顯示區域內之水平列時，一邊(例如為偶數列)為左眼用的畫素列，另一邊(例如為奇數列)為右眼用的畫素列。此外，在此情況，生成部20從這樣的顯示部32之顯示區域中與左眼用的畫素列對應之二維圖像之各畫素生成左側圖像，並且從顯示區域中與右眼用的畫素列對應的二維圖像之各畫素生成右側圖像，提供給顯示部32。因此，顯示部32使用立體視像用的眼鏡34，藉此能將由左眼用的畫素列顯示的左側圖像僅提供給左眼，將由右眼用的畫素列顯示的右側圖像僅提供給右眼。

第三圖繪示左側圖像上之顯示點、右側圖像上之顯示點及由使用者知覺的像之一例。在人類正在看近距離之二維圖像的情況，已提供給左眼之圖像與已提供給右眼的圖像並非相同，所以有視差。人類根據該視差辨認正在看的物體為二維圖像。此外，在人類正在看無限遠(例如10m以上)之物體的情況，已提供給左眼之圖像與已提供給右眼之圖像沒有視差，所以為相同。在人類正在看無限遠的情況，已提供給左眼之圖像與已提供給右眼之圖像之間沒有視差，所以對於正在看的物體及景色等感到立體感及臨場感。

圖像處理裝置10生成沒有視差之(亦即，彼此相同的)左側圖像及右側圖像，這些圖像是向左右錯開與使用者之瞳孔間距離相同的距離而成。此外，圖像處理裝置10將左側圖像提供給使用者之左眼，將右側圖像提供給使用者之右眼。結果，圖像處理裝置10讓使用者之左眼及右眼之視線成平行狀態，亦即，能讓使用者之視線不輻輳(使左眼及右眼之視線不交叉)狀態。因此，圖像處理裝置10能讓使用者成為正在看無限遠的狀態。亦即，例如如第三圖所示，圖像處理裝置10能讓使用者知覺A點(黑圓之點)及B點(三角之點)都是位於無限遠的點。

如此，圖像處理裝置10能將在看著無限遠的狀態下左眼及右眼沒有視差的圖像提供給使用者，藉此將呈現立體感的圖像提供給使用者。例如：圖像處理裝置10能將就像從窗戶看外面一般的臨場感提供給風景圖像。此外，圖像處理裝置10能將就像使用放大鏡來看一般的實物感提供給微距拍攝等近距離拍攝之圖像。

之所以圖像處理裝置10能將以上般的臨場感及實物感這樣的現實感提供給圖像的理由推定如下。圖像處理裝置10不會讓使用者之視線集中於一處，所以不能讓使用者藉由視差確定像之位置。然而，即使是沒有視差，人類根據從經驗常識導出之實際對象物之大小及視角推定像之位置。此外，人類無意識而瞬間推定這樣的位置，獲得立體感及實際尺寸之感覺。因此，推定圖像處理裝置10即使不會讓使用者之視線集中於一處，仍能將以上般的現實感提供給圖像。

此外，人類正在看動圖像時感覺遠方的物體動作小，近方的物體動作大。人類正在看動圖像時，相較於視差，對於這樣的物體之動作更強烈感到立體感。因此，圖像處理裝置10在顯示動圖像時，能讓使用者更強烈感到立體感。

再者，圖像處理裝置10強調佈景效果(cardboard effect)及造景效果(puppet theater effect)，藉此不會使畫面橫向之擴大感降低，其中該佈景效果係指平面看起來站著的現象，該造景效果係指縱深及跳出感。因此，依據圖像處理裝置10，能提供具有自然的立體感及臨場感的立體圖像。

此外，圖像處理裝置10不會讓使用者之視線集中於一處，所以視覺之輻輳及調節之不一致不會發生，因而減輕不舒服的感覺。此外，圖像處理裝置10讓人知覺立體像在比畫面更遠的位置，所以讓使用者感覺好像透過框(例如窗框及放大鏡之框等)來看。因此，依據圖像處理裝置10，能提供使用者自然的立體圖像，不會發生以下現象：看起來從畫面跳到前面的像被畫面框不自然地切割。

此外，生成部20也可以在左側圖像及右側圖像附加作為外框待顯示之外框圖像(例如黑等外框圖像)。藉此，圖像處理裝置10能讓使用者更強烈感覺好像透過外框觀看。

第四圖繪示顯示區域中使用者之有效視野、以及顯示區域中僅有左側圖像或右側圖像之一方顯示的非對應區域之一例。顯示區域之左邊部分存在非對應區域，在將一張二維圖像向左右錯開生成左側圖像及右側圖像的情況，在該非對應區域左側畫面顯示但右側畫面不顯示。同樣地，顯示區域之右邊部分存在非對應區域，在該非對應區域右側畫面顯示但左側畫面不顯示。這樣的非對應區域不能提供立體圖像給使用者。

此外，人類之視覺區域存在有效視野及周邊視野。有效視野在解像力及顏色偵知上優異，視線瞬間移動，因而用於意識的認知及注視。亦即，有效視野在觀看電視影像或繪畫等時，成為已意識到正在看的範圍。周邊視野對明暗敏感，但是對認知的理解(例如判定人物是誰、讀文字)幾乎沒有幫助。

因此，圖像處理裝置10較佳為非對應區域將左側圖像及右側圖顯示於位於有效視野外部般大小之顯示區域。藉此，圖像處理裝置10能以不被使用者有意識地認知之方式做出不能提供立體圖像的非對應部分之圖像。

圖像處理裝置10較佳為例如在左右方向之寬度為表示於下述公式(1)之數值之顯示區域顯示左側圖像及右側圖像。公式(1)中，W表示顯示區域之左右方向之寬度。D表示從使用者之視點到顯示面之距離。L表示使用者之瞳孔間距離。θ表示使用者有效視野之角度。此外，θ一般約為20°。

W≧(3×L)+(2×D×sin(θ/2))　…(1)

亦即，顯示區域中之左右方向之寬度W較佳為大於等於有效視野之角度之二分之一之數值之正弦值乘上從視點到顯示面之距離之二倍之數值所得到的數值(2×D×sin(θ/2))、與瞳孔間距離之三倍之數值(3×L)相加所得到的數值。

根據以上所述，生成部20在顯示區域具有由公式(1)表示之橫向寬度的情況生成左側圖像及右側圖像。因此，圖像處理裝置10能提供自然的立體圖像。

生成部20例如在顯示部32之畫面具有由公式(1)表示之寬度W這樣的條件下，生成向左右錯開的左側圖像及右側圖像，並提供立體圖像給使用者。對於橫長尺寸(長寬比16:9)之電視所推薦從使用者之視點到顯示面之距離是與畫面中央部相比約為畫面縱向尺寸三倍之距離。因此，生成部20例如以顯示部32為20吋以上之寬螢幕電視作為條件向使用者提供立體圖像。

第五圖繪示本實施形態第一變形例之圖像處理裝置10之結構。第六圖繪示使用者從斜向看著顯示面之狀態下左側圖像及右側圖像之圖像間之距離之一例。本變形例之圖像處理裝置10採用與第一圖所示之圖像處理裝置10略同的結構及機能，所以對於採用略同的機能及結構的部件附上相同符號，以下只說明差異點。

本變形例之生成部20根據使用者之瞳孔間距離調節左側圖像及右側圖像間之距離。生成部20例如根據各使用者或使用者之狀態等各種條件，調節左側圖像與右側圖像之間之距離。因此，生成部20能將更自然的立體圖像提供給使用者。

本變形例之圖像處理裝置10更具備距離輸入部38，該距離輸入部38從使用者所操作之遙控器等輸入由該使用者指定之左側圖像及右側圖像間之距離。在此情況，生成部20根據距離輸入部38所輸入的距離調節左側圖像與右側圖像之間之距離。具備這樣的距離輸入部38的圖像處理裝置10能讓使用者本身調整，以輸出適切的立體圖像。此外，生成部20也可以使距離顯示於畫面，將更正確的調整操作提供給使用者。

此外，本變形例之圖像處理裝置10也可以更具備瞳孔間距離測量部40，該瞳孔間距離測量部40測量使用者之瞳孔間距離。在此情況，生成部20根據瞳孔間距離測量部40所測量的瞳孔間距離來調節左側圖像及右側圖像間之距離。瞳孔間距離測量部40例如根據由安裝於顯示部32之拍攝感測器等所得到的使用者之臉圖像，檢測該使用者之眼球部分，測量瞳孔間距離。瞳孔間距離測量部40也可以在立體圖像之提供前測量瞳孔間距離，也可以在提供中適當測量瞳孔間距離。具備這樣的瞳孔間距離測量部40的圖像處理裝置10能對各使用者輸出適切的立體圖像。

此外，本變形例之圖像處理裝置10也可以更具備方向測量部42，該方向測量部42測量相對於將右側圖像及左側圖像加以顯示的顯示部32的使用者之臉之方向。在此情況，生成部20根據方向測量部42所測量的臉方向來調節左側圖像及右側圖像間之距離。具備這樣的方向測量部42的圖像處理裝置10即使使用者未從顯示部32之正面觀看，也能輸出適切的立體圖像。

生成部20如第六圖所示例如在相對於顯示部32之顯示面的使用者之顏面之角度(亦即，表面之法線與使用者臉方向所成的角度)為α、使用者之瞳孔間距離為L時，將顯示於顯示區域之左側圖像與右側圖像之間之距離調整為L/cos(α)。亦即，將該距離調整為一數值，該數值是使用者之瞳孔間距離(L)除以相對於顯示部32顯示面的使用者顏面之角度之餘弦值(cos(α))所得到的數值。因此，生成部20能正確計算顯示於顯示區域之左側圖像與右側圖像之間之距離。

此外，方向測量部42例如根據由安裝於顯示部32之拍攝感測器等所獲得之使用者之臉圖像來測量使用者之臉之方向。此外，方向測量部42也可以根據從設於立體視像用的眼鏡34之感測器等所得到之信號來測量使用者之臉方向。

此外，本變形例之生成部20也可以根據顯示區域內之位置變更左側圖像及右側圖像間之距離。生成部20也可以例如根據顯示區域內縱方向之位置來使左側圖像及右側圖像間之距離連續變化。生成部20在縱方向之中央位置距離最短，越朝向上端及下端距離連續變長。因此，圖像處理裝置10能將立體圖像提供給使用者，該立體圖像如同將圖像顯示於球面狀顯示面。

由照相機等拍攝得到的圖像通常具有一畫面結構，該畫面結構中，畫面之下側相較於上側成為近景，畫面上側相較於下側成為遠景。此外，生成部20使左側圖像與右側圖像之間之距離越寬廣，越能讓人對遠景有反應。因此，生成部20也可以使顯示區域內縱方向之下側之圖像部分中左側圖像與右側圖像之距離更狹窄，使上側之圖像部分中左側圖像與右側圖像之距離更寬廣。再者，在此情況，生成部20也可以從畫面下側朝上側連續加大左側圖像與右側圖像之距離(可以例如為單調遞增)。藉此，生成部20能將更自然的立體圖像提供給使用者。

此外，在此情況，本變形例之生成部20將左側圖像及右側圖像各自向彼此之相反方向錯開相同距離。因此，生成部20能使左側圖像與右側圖像之間之距離成為在水平方向之全部位置都相同之距離。

再者，本變形例之生成部20可以根據顯示區域之大小變更左側圖像及右側圖像間之距離。藉此，圖像處理裝置10能根據顯示區域之大小將適切的立體圖像提供給使用者。

第七圖繪示本實施形態第二變形例之圖像處理裝置10之結構。本變形例之圖像處理裝置10採用與第一圖所示之圖像處理裝置10略同的結構及機能，所以對於採用略同的機能及結構的部件附上相同的符號，以下只有說明差異點。

本變形例中，圖像處理裝置10能將動圖像所含之複數張二維圖像立體地顯示。本變形例之圖像處理裝置10更具備參數取得部44。

參數取得部44取得一參數，該參數指定與各個二維圖像對應地接收的左側圖像及右側圖像間之距離。參數取得部44可以例如取得附加於動圖像之資訊所含的參數，也可以取得與動圖像分開賦予的參數。該參數例如是動圖像之拍攝時用於焦點控制之距離資訊、動圖像之生成者個別輸入的數值等。

生成部20根據由參數取得部44取得的參數來變更左側圖像及右側圖像間之距離。因此，圖像處理裝置10能根據動圖像之內容適切調整左側圖像及右側圖像之間之距離。

此外，生成部20也可以例如在參數取得部44接收了一參數時使左側圖像及右側圖像間之距離成為零，該參數的意思是不要以與動圖像所含之二維圖像相對應的方式立體地顯示該二維圖像。例如：參數取得部44與立體視像用的眼鏡34進行通訊，檢測使用者是否戴上了立體視像用的眼鏡34。此外，參數取得部44在使用者尚未戴上立體視像用的眼鏡34時，判斷已接收了意思是不要立體地顯示二維圖像之參數。藉此，生成部20能在使用者戴上了立體視像用的眼鏡34時顯示立體圖像；在尚未戴上時顯示通常之二維圖像。

此外，生成部20也可以顯示例如表示是否顯示了立體圖像的小圖(thumbnail)顯示或指示器(indicator)等。藉此，圖像處理裝置10在未顯示立體圖像時能卸下立體視像用的眼鏡34。此外，生成部20也可以在顯示著二維圖像時、且在規定時間後顯示立體圖像時顯示預告資訊。藉此，圖像處理裝置10能讓使用者準備戴上立體視像用的眼鏡34。

此外，本變形例之圖像處理裝置10也可以更具備判別部46，該判別部46判別二維圖像之場景種類。在此情況，生成部20根據判別部46所判別出之場景種類變更左側圖像及右側圖像間之距離。例如：判別部46根據在拍攝時在各區域(area)取得的距離資訊來判別是遠景之二維圖像還是近景之二維圖像等種別，若是遠景之二維圖像，則增加左側圖像及右側圖像之距離；若是近景之二維圖像，則縮短左側圖像及右側圖像之距離。藉此，生成部20能調整距離，以根據場景顯示適切的立體圖像。

此外，生成部20也可以對於動圖像中規定種類之場景、規定之時間範圍或已顯示規定圖像之部分等，使左側圖像及右側圖像之距離成為與瞳孔間距離對應之距離，而對於其他場景則使左側圖像及右側圖像之距離成為零。藉此，生成部20能對於正在顯示二維圖像之動圖像當中欲強調的場景或部分顯示立體圖像。

此外，生成部20也可以在顯示使用視差圖像之立體圖像的動圖像中之規定時間範圍插入無視差之左側圖像及右側圖像。藉此，圖像處理裝置10能抑制使用者因看立體圖像而感到的疲勞，同時將有臨場感的圖像提供給使用者。

第八圖繪示本實施形態第三變形例之圖像處理裝置10之結構。本變形例之圖像處理裝置10採用與第一圖所示之圖像處理裝置10略同的結構及機能，所以對於採用略同的機能及結構的部件附上相同符號，以下只說明差異點。

本變形例之圖像處理裝置10更具備動作測量部48，該動作測量部48測量使用者頭部的動作。生成部20根據由動作測量部48所測量出之頭部動作來移動顯示區域內左側圖像及右側圖像之位置。

生成部20例如在使用者之頭部向左側移動時，在顯示區域內使左側圖像及右側圖像分別向左側移動。此外，生成部20例如在使用者之頭部向右側移動時，在顯示區域內使左側圖像及右側圖像分別向右側移動。動作測量部48例如由設於頭枕(head rest)等之感測器檢測頭部動作，該頭枕設於椅子靠背以支撐頭部。

在顯示區域上之左側圖像及右側圖像之位置固定著的情況，當使用者之頭部移動時，隨著頭部之移動，像在顯示區域內看起來會移動。相對於此，在本變形例之圖像處理裝置10方面，即使頭部移動，像在顯示面內看起來仍位於固定位置。因此，圖像處理裝置10能將自然的立體圖像提供給使用者。此外，本變形例之圖像處理裝置10也可以更具備支撐機構，該支撐機構例如為頭枕，該頭枕相對於顯示部32之位置是固定的。

再者，動作測量部48也可以檢測使用者之左眼與右眼之連結線之傾斜程度。在此情況，生成部20使左側圖像與右側圖像錯開的方向往與檢測出之傾斜程度傾斜。藉此，圖像處理裝置10即使例如使用者閒躺著因而視線傾斜，仍能將立體圖像提供給使用者。

第九圖繪示本實施形態之記錄播放系統50之結構。記錄播放系統50生成能將二維圖像立體地顯示的資料，並記錄於記錄媒體100。此外，記錄播放系統50從記錄媒體100播放資料以顯示立體圖像。

記錄播放系統50具備生成部20、記錄裝置62、播放裝置64及輸出部30。生成部20及輸出部30具有與已參照第一圖～第八圖說明的生成部20及輸出部30相同的機能及結構。此外，記錄播放系統50也可以不具備輸出部80。

記錄裝置62將已由生成部20生成的左側圖像及右側圖像記錄於記錄媒體100。播放裝置64將已記憶於記錄媒體100之左側圖像及右側圖像加以讀出，提供給輸出部30。

記錄媒體100記錄會由播放裝置64讀取並立體顯示的圖像。記錄媒體100具有左側圖像資料記錄區域及右側圖像資料記憶區域。左側圖像資料記錄區域保持左側圖像之圖像資料，該左側圖像是將二維圖像在顯示區域內向左右錯開所生成的左側圖像及右側圖像中之左側圖像，會由播放裝置64讀取並向使用者之左眼輸出。右側圖像資料記錄區域保持右側圖像之圖像資料，該右側圖像是將二維圖像在顯示區域內向左右錯開所生成的左側圖像及右側圖像中之右側圖像，會由播放裝置64讀取並向使用者之右眼輸出。

依據這樣的記錄播放系統50，能以簡易的處理生成自然的立體圖像並記錄於記錄媒體100。再者，依據記錄播放系統50，能從記錄媒體100播放資料，將立體圖像提供給使用者。

第十圖繪示本實施形態之電腦1900之硬體結構之一例。本實施形態之電腦1900具備CPU周邊部、輸入輸出部及傳統輸入輸出部(legacy IO device)。該CPU周邊部具有由主機控制器2082相互連接的CPU2000、RAM2020、繪圖控制器2075及顯示裝置2080。該輸入輸出部具有藉由輸入輸出控制器2084連接到主機控制器2082的通訊介面2030、硬磁碟驅動機2040及CD-ROM驅動機2060。該傳統輸入輸出部具有連接到輸入輸出控制器2084之ROM2010、軟磁碟驅動機2050及輸入輸出晶片2070。

主機控制器2082將RAM2020、與以高傳輸率存取RAM2020的CPU2000及繪圖控制器2075相連。CPU2000根據已存放於ROM2010及RAM2020之程式做動作，以進行各部之控制。繪圖控制器2075取得圖像資料並顯示於顯示裝置2080上，該圖像資料是CPU2000等生成於RAM2020內所設的圖框暫存器(frame buffer)上的圖像資料。也可以不這樣做，而是繪圖控制器2075將圖框暫存器包含在內部，該圖框暫存器存放CPU2000等所生成的圖像資料。

輸入輸出控制器2084將主機控制器2082、與即是較高速的輸入輸出裝置的通訊介面2030、硬磁碟驅動機2040、CD-ROM驅動機2060相連。通訊介面2030透過網路而與其他裝置進行通訊。硬磁碟驅動機2040存放電腦1900內之CPU2000所使用的程式及資料。CD-ROM驅動機2060從CD-ROM2095讀取程式或資料，並透過RAM2020提供給硬磁碟驅動機2040。

此外，在輸入輸出控制器2084連接ROM2010、與軟磁碟驅動機2050及輸入輸出晶片2070這些較低速的輸入輸出裝置。ROM2010存放電腦1900啟動時執行的啟動程式及/或依賴電腦1900硬體存在的程式等。軟磁碟驅動機2050從軟磁碟2090讀取程式或資料，並透過RAM2020提供給硬磁碟驅動機2040。輸入輸出晶片2070將軟磁碟驅動機2050連接到輸入輸出控制器2084，並且透過例如平行埠、序列埠、鍵盤埠、滑鼠埠等將各種輸入輸出裝置連接到輸入輸出控制器2084。

透過RAM2020提供給硬磁碟驅動機2040的程式存放於軟磁碟2090、CD-ROM2095或IC卡等記錄媒體並由利用者提供。程式從記錄媒體讀出，透過RAM2020安裝於電腦1900內之硬磁碟驅動機2040，在CPU2000執行。

安裝於電腦1900以使電腦1900發揮圖像處理裝置10之機能的程式具備生成模組及輸出模組。這些程式或模組使CPU2000等發揮作用，使得電腦1900發揮生成部20及輸出部30的機能。

已記述於這些程式的資訊處理被讀進電腦1900，藉此發揮生成部20及輸出部30的機能，生成部20及輸出部30為軟體及上述的各種硬體資源共同作用的具體手段。此外，藉由這些具體手段，對於與本實施形態之電腦1900之使用目的相對應的資訊實現運算或加工，藉此構築與使用目的相應的特有的圖像處理裝置10。

例如：在電腦1900與外部裝置等之間進行通訊時，CPU2000執行載入RAM2020上的通訊程式，根據記述於通訊程式的處理內容，對通訊介面2030指示通訊處理。通訊介面2030接受CPU2000之控制，讀出RAM2020、硬磁碟驅動機2040、軟磁碟2090或CD-ROM2095等記憶裝置上所設的傳送暫存器區域等所記憶的傳送資料，並向網路傳送、或將已從網路接收的接收資料向記憶裝置上所設的接收暫存器區域等寫入。如此，通訊介面2030可以藉由DMA(direct memory access：直接記憶體存取)方式在與記憶裝置之間將傳送接收資料加以傳輸。也可以不這樣做，而是CPU2000從傳輸出發地之記憶裝置或通訊介面2030讀出資料，向傳輸目的地之通訊介面2030或記憶裝置寫入資料，藉此將傳送接收資料加以傳輸。

此外，CPU2000從硬磁碟驅動機2040、CD-ROM驅動機2060(CD-ROM2095)、軟磁碟驅動機2050(軟磁碟2090)等外部記憶裝置所存放的檔案或資料庫等當中藉由DMA傳輸等將全部或必要的部分讀進RAM2020，對於RAM2020上之資料進行各種處理。此外，CPU2000將結束處理的資料藉由DMA傳輸等寫回外部記憶裝置。在這樣的處理中，RAM2020可以將外部記憶裝置之內容視為暫時保持之內容，所以在本實施形態中將RAM2020及外部記憶裝置等總稱為記憶體、記憶部或記憶裝置等。本實施形態之各種程式、資料、表格、資料庫等各種資訊存放於這樣的記憶裝置上，成為資訊處理之對象。此外，CPU2000也能將RAM2020之一部分保持於快取記憶體，在快取記憶體上進行讀寫。在這樣的形態中，快取記憶體擔任RAM2020之機能一部分，所以在本實施形態中，不計區別表示的情況，其他情況下，快取記憶體都包含於RAM2020、記憶體及/或記憶裝置。

此外，CPU2000對於從RAM2020讀出的資料進行各種處理，並寫回RAM2020，該各種處理包括由程式之命令列所指定的記載於本實施形態中之各種運算、資訊加工、條件判斷、資訊檢索、置換等。例如：CPU2000在進行條件判斷時，判斷本實施形態中所示的各種變數相較於其他變數或常數是否滿足大、小、以上、以下、相等等條件，在條件成立時(或不成立時)，向不同的命令列分歧或叫出副程式(subroutine)。

此外，CPU2000能檢索記憶裝置內之檔案或存放於資料庫等的資訊。例如：複數個項目(entry)存放於記憶裝置，該複數個項目中第二屬性之屬性值分別對應於第一屬性之屬性值，此時，CPU2000從存放於記憶裝置之複數個項目中檢索與第一屬性之屬性值已指定的條件一致的項目，讀出存放於該項目之第二屬性之屬性值，藉此能獲得與滿足規定條件之第一屬性相對應的第二屬性之屬性值。

以上所示之程式或模組也可以存放於外部之記錄媒體。以記錄媒體來說，除了軟磁碟2090、CD-ROM2095之外，還可以使用DVD或CD等光學記錄媒體、MO(Magnet-Optical disk)等磁光記錄媒體、磁帶媒體(tape media)、IC卡等半導體記憶體等。此外，也可以使用與專用通訊網路或網際網路連接的伺服系統所設之硬磁碟或RAM等記憶裝置作為記錄媒體，透過網路將程式提供給電腦1900。

以上，雖然已使用實施形態說明本發明，但本發明之技術範圍不限定於上述實施形態所記載之範圍。可以對上述實施形態施以多種變更或改良，這對於本發明所屬技術領域具有通常知識者是顯而易見的。已施以那樣變更或改良的形態也可以包含於本發明之技術範圍，這從申請專利範圍之記載是顯而易見的。

申請專利範圍、說明書及圖式中出現的裝置、系統、程式及方法中的動作、次序、步驟及階段等各處理之執行順序並未特別載明「更早」、「之前」等，此外，應留意只要不是在後面的處理中使用前面的處理之輸出，就可以使用任意順序來實現。有關申請專利範圍、說明書及圖式中之動作流程，即使為求方便而已使用「首先」、「其次」等來進行了說明，但並不意指必須以這個次序來實施。

38．．．距離輸入部

40．．．瞳孔間距離測量部

42．．．方向測量部

44．．．參數取得部

46．．．判別部

48．．．動作測量部

50．．．記錄播放系統

62．．．記錄裝置

64．．．播放裝置

100．．．記錄媒體

1900．．．電腦

2000．．．CPU

2010．．．ROM

2020．．．RAM

2030．．．通訊介面

2040．．．硬磁碟驅動機

2050．．．軟磁碟驅動機

2060．．．CD-ROM驅動機

2070．．．輸入輸出晶片

2075．．．繪圖控制器

2080．．．顯示裝置

2082‧‧‧主機控制器

2084‧‧‧輸入輸出控制器

2090‧‧‧軟磁碟

2095‧‧‧CD-ROM

第一圖繪示本實施形態之圖像處理裝置10之結構。

第二圖繪示以顯示部32進行之顯示之一例。

第三圖繪示左側圖像上之顯示點、右側圖像上之顯示點及被使用者知覺之像之一例。

第四圖繪示顯示區域中使用者之有效視野、及顯示區域中僅有左側圖像或右側圖像之一方顯示的非對應區域之一例。

第五圖繪示本實施形態之第一變形例之圖像處理裝置10之結構。

第六圖繪示在使用者從斜方向看著顯示面的狀態下左側圖像及右側圖像之圖像間之距離之一例。

第七圖繪示本實施形態之第二變形例之圖像處理裝置10之結構。

第八圖繪示本實施形態之第三變形例之圖像處理裝置10之結構。

第九圖繪示本實施形態之記錄播放系統50之結構。

第十圖繪示本發明實施形態之電腦1900之硬體結構之一例。

10．．．圖像處理裝置

20．．．生成部

30．．．輸出部

32．．．顯示部

34．．．立體視像用的眼鏡

Claims (24)

1. 一種圖像處理裝置，係能將二維圖像立體地顯示的圖像處理裝置，具備：生成部，生成將前述二維圖像在顯示區域內向左右錯開而成的左側圖像及右側圖像；以及輸出部，前述左側圖像及前述右側圖像不重複顯示的區域具有位於有效視野外側的顯示區域，藉由前述顯示區域將前述左側圖像向左眼輸出，將前述右側圖像向右眼輸出；前述左側圖像及前述右側圖像錯開，前述左側圖像錯開的距離為左眼之視線從平行狀態向左側移動三度以下的距離，前述右側圖像錯開的距離為右眼之視線從平行狀態向右側移動三度以下的距離。
2. 如申請專利範圍第1項之圖像處理裝置，其中前述生成部根據相同之前述二維圖像來生成左側圖像及右側圖像。
3. 如申請專利範圍第1項之圖像處理裝置，其中前述輸出部具有顯示部，該顯示部之顯示區域包括以二維矩陣狀配置之複數個畫素，向左眼及右眼顯示圖像的畫素列交互配置，前述生成部從前述顯示區域中與針對左眼之各畫素列相對應之前述二維圖像之各畫素來生成前述左側圖像，並且將前述顯示區域中與針對右眼之各畫素列相對應之前述二維圖像之各畫素向右側錯開生成前述右側圖像。
4. 如申請專利範圍第1項之圖像處理裝置，其中前述生 成部生成將前述二維圖像在顯示區域內向左右錯開左瞳孔與右瞳孔間之距離以下之距離而成的前述左側圖像及前述右側圖像。
5. 如申請專利範圍第4項之圖像處理裝置，其中前述生成部生成將前述二維圖像在顯示區域內向左右錯開大於0且小於等於90mm之距離而成的前述左側圖像及前述右側圖像。
6. 如申請專利範圍第1項之圖像處理裝置，其中前述生成部根據左瞳孔與右瞳孔間之距離來調節前述左側圖像及前述右側圖像間之距離。
7. 如申請專利範圍第6項之圖像處理裝置，更具備測量左瞳孔與右瞳孔間之距離之瞳孔間距離測量部，前述生成部根據前述瞳孔間距離測量部所測量的距離來調節前述左側圖像及前述右側圖像間之距離。
8. 如申請專利範圍第4項之圖像處理裝置，更具備方向測量部，該方向測量部測量相對於將前述右側圖像及前述左側圖像加以顯示的顯示部的臉方向，前述生成部根據前述方向測量部所測量的臉方向來調節前述左側圖像及前述右側圖像間之距離。
9. 如申請專利範圍第1項之圖像處理裝置，其中前述生成部根據前述顯示區域內之位置來變更前述左側圖像及前述右側圖像間之距離。
10. 如申請專利範圍第1項之圖像處理裝置，其中前述生成部根據前述顯示區域內縱方向之位置來變更前述左側圖像及前述右側圖像間之距離。
11. 如申請專利範圍第1項之圖像處理裝置，其中前述生成部根據前述顯示區域內縱方向之位置來連續改變前述左側圖像及前述右側圖像間之距離。
12. 如申請專利範圍第1項之圖像處理裝置，其中前述生成部將前述左側圖像及前述右側圖像各自向彼此之相反方向錯開相同距離。
13. 如申請專利範圍第1項之圖像處理裝置，其中該圖像處理裝置能將動圖像所含之複數張二維圖像立體地顯示，前述生成部根據參數來變更前述左側圖像及前述右側圖像間之距離，該參數指定與各個前述二維圖像對應地接收的前述左側圖像及前述右側圖像間之距離。
14. 如申請專利範圍第13項之圖像處理裝置，其中前述生成部在接收了參數時使前述左側圖像及前述右側圖像間之距離為零，該參數的意思是不要以與動圖像所含之前述二維圖像相對應的方式立體地顯示該二維圖像。
15. 如申請專利範圍第1項之圖像處理裝置，其中更具備判別部，該判別部判別前述二維圖像之場景種類，前述生成部根據前述判別部所判別出的場景種類來變更前述左側圖像及前述右側圖像間之距離。
16. 如申請專利範圍第1項之圖像處理裝置，其中前述生成部根據顯示前述右側圖像及前述左側圖像的顯示區域之大小來變更前述左側圖像及前述右側圖像間之距離。
17. 如申請專利範圍第1項之圖像處理裝置，更具備測量頭部動作的動作測量部，前述生成部根據前述頭部動作來移動前述顯示區域內前述左側圖像及前述右側圖像之位置。
18. 一種圖像處理裝置，係能將二維圖像立體地顯示的圖像處理裝置，具備：生成部，生成將前述二維圖像在顯示區域內向左右錯開而成的左側圖像及右側圖像；以及輸出部，前述左側圖像及前述右側圖像不重複顯示的區域具有位於有效視野外側的顯示區域，藉由前述顯示區域將前述左側圖像向左眼輸出，將前述右側圖像向右眼輸出，其中前述生成部在前述顯示區域具有由下述公式(1)表示之橫向寬度的情況生成前述左側圖像及前述右側圖像，公式(1)中，W表示前述顯示區域之左右方向之寬度，D表示從視點到顯示面之距離，L表示左瞳孔與右瞳孔間之距離，θ表示有效視野之角度W≧(3×L)+(2×D×sin(θ/2))…(1)。
19. 如申請專利範圍第1項之圖像處理裝置，其中前述生成部將作為外框待顯示之外框圖像附加於前述左側圖像及前述右側圖像。
20. 一種非暫態之電腦可讀取紀錄媒體，其記錄有程式，用以使電腦進行下列步驟：生成步驟，生成將二維圖像在顯示區域內向左右錯開而成的左側圖像及右側圖像；以及 輸出步驟，前述左側圖像及前述右側圖像不重複顯示的區域具有位於有效視野外側的顯示區域，藉由前述顯示區域將前述左側圖像向左眼輸出，將前述右側圖像向右眼輸出；其中，前述左側圖像及前述右側圖像錯開，前述左側圖像錯開的距離為左眼之視線從平行狀態向左側移動三度以下的距離，前述右側圖像錯開的距離為右眼之視線從平行狀態向右側移動三度以下的距離。
21. 一種圖像處理方法，係能將二維圖像立體地顯示的圖像處理方法，生成將前述二維圖像在顯示區域內向左右錯開的左側圖像及右側圖像，前述左側圖像錯開的距離為左眼之視線從平行狀態向左側移動三度以下的距離，前述右側圖像錯開的距離為右眼之視線從平行狀態向右側移動三度以下的距離；將前述左側圖像向前述左眼輸出，將前述右側圖像向前述右眼輸出。
22. 一種記錄方法，係對於能將二維圖像立體地顯示之圖像進行記錄的記錄方法，生成將前述二維圖像在顯示區域內向左右錯開而成的左側圖像之圖像資料及右側圖像之圖像資料，前述左側圖像錯開的距離為左眼之視線從平行狀態向左側移動三度以下的距離，前述右側圖像錯開的距離為右眼之視線從平行狀態向右側移動三度以下的距離；將前述左側圖像之圖像資料記錄於記錄媒體之左側圖像資料記錄區域，將前述右側圖像之圖像資料記 錄於記錄媒體之右側圖像資料記錄區域，該左側圖像資料記錄區域保持會由播放裝置讀取並向前述左眼輸出之圖像，該右側圖像資料記錄區域保持會由播放裝置讀取並向前述右眼輸出之圖像。
23. 一種非暫態之電腦可讀取記錄媒體，記錄有會由播放裝置讀取立體地顯示之圖像資料，該記錄媒體，具備：左側圖像資料記錄區域，保持將二維圖像在顯示區域內向左右錯開而生成的左側圖像及右側圖像中之前述左側圖像之圖像資料，該左側圖像會由前述播放裝置讀取並向左眼輸出；以及右側圖像資料記憶領域，保持將二維圖像在顯示區域內向左右錯開而生成的左側圖像及右側圖像中的前述右側圖像之圖像資料，該右側圖像會由前述播放裝置讀取並向右眼輸出；前述左側圖像及前述右側圖像係將前述二維圖像在顯示區域內向左右錯開而生成，且前述左側圖像錯開的距離為前述左眼之視線從平行狀態向左側移動三度以下的距離，前述右側圖像錯開的距離為前述右眼之視線從平行狀態向右側移動三度以下的距離。
24. 一種圖像處理方法，係能將二維圖像立體地顯示的圖像處理方法，包括下列二步驟：生成將前述二維圖像在顯示區域內向左右錯開而成的左側圖像及右側圖像；以及將前述左側圖像向左眼輸出，將前述右側圖像向右眼輸出； 其中生成前述左側圖像及前述右側圖像的前述步驟在前述顯示區域具有由下述公式(1)表示之橫向寬度的情況生成前述左側圖像及前述右側圖像，公式(1)中，W表示前述顯示區域之左右方向之寬度，D表示從視點到顯示面之距離，L表示左瞳孔與右瞳孔間之距離，θ表示有效視野之角度W≧(3×L)+(2×D×sin(θ/2))…(1)。