TWI477141B - 影像處理裝置、影像處理方法及電腦程式 - Google Patents

影像處理裝置、影像處理方法及電腦程式

Info

Publication number
TWI477141B
TWI477141B TW100132251A TW100132251A TWI477141B TW I477141 B TWI477141 B TW I477141B TW 100132251 A TW100132251 A TW 100132251A TW 100132251 A TW100132251 A TW 100132251A TW I477141 B TWI477141 B TW I477141B
Authority
TW
Taiwan
Prior art keywords
image
stereoscopic
stereoscopic image
user
images
Prior art date
Application number
TW100132251A
Other languages
English (en)
Other versions
TW201218746A (en
Inventor
Daisuke Kurosaki
Yasumasa Oda
Hanae Higuchi
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201218746A publication Critical patent/TW201218746A/zh
Application granted granted Critical
Publication of TWI477141B publication Critical patent/TWI477141B/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Description

影像處理裝置、影像處理方法及電腦程式
本發明係有關於影像處理裝置、影像處理方法及電腦程式。
近年來，顯示出可讓使用者感覺到立體影像之影像(立體視覺影像)的映像顯示裝置已經發售，並開始普及(例如參照專利文獻1)。此種可顯示立體視覺影像的裝置，係不限於電視受像機或其他映像顯示裝置，在個人電腦中也存在有可顯示立體視覺影像的機種。
在個人電腦上動作的應用程式之中，係有可以產生具有立體視覺影像之內容的程式。藉由以此種應用程式來生成內容，使用者係以所定方法來瀏覽內容，則可將內容中所含之影像，感覺成為立體影像。
[先前技術文獻]
[專利文獻]
[專利文獻1]日本特開2010-210712號公報
可是，先前的具有立體視覺影像之內容的作成，係必須要使用專用軟體來設定位置關係等才能夠進行，對末端使用者而言，想要作成此種內容是非常地困難，存在有如此問題。
於是，本發明係有鑑於上述問題而研發，本發明的目的在於，提供一種可簡易地作成具有立體視覺影像的內容，新穎且改良過的影像處理裝置、影像處理方法及電腦程式。
為了解決上述課題，若依據本發明之某一觀點，則可提供一種影像處理裝置，其係具備：立體視覺影像轉換部，係使用保持著假想距離而被作成之複數平面影像間的該假想距離，而對各影像執行往立體視覺影像之轉換處理；和立體視覺影像生成部，係基於前記立體視覺影像轉換部所做的轉換處理，從前記複數平面影像，生成立體視覺影像並加以顯示；前記立體視覺影像轉換部，係在藉由前記立體視覺影像生成部而顯示出立體視覺影像的狀態下，若平面影像間之假想距離有被變更，則隨著該變更來執行前記轉換處理。
前記立體視覺影像轉換部，係亦可基於前記複數平面影像之內的至少一個平面影像中所被設定的地平線，而對該平面影像的地面部分，執行往立體視覺影像之轉換處理。
前記立體視覺影像轉換部，係亦可在往立體視覺影像之轉換處理之際，執行前記轉換處理，以使得立體視覺影像的周邊部不會產生餘白。
前記立體視覺影像轉換部，係亦可在往立體視覺影像之轉換處理之際，執行前記轉換處理，以使得前記平面影像的周邊部被轉換成立體視覺影像之際不會發生缺損。
前記立體視覺影像轉換部所做的前記平面影像間之假想距離之變更，係亦可藉由對應於各平面影像而被顯示在畫面的滑移棒而執行。
前記立體視覺影像轉換部所做的前記平面影像間之假想距離之變更，係亦可藉由對應於各平面影像而被顯示在畫面的滾輪而執行。
亦可具備拍攝影像的攝像裝置；前記立體視覺影像轉換部，係亦可偵測出使用者對於前記攝像裝置所拍攝之各攝像裝置的手勢，隨著該手勢來變更前記平面影像間的假想距離。
前記使用者的手勢，係亦可以手指的數目來特定出平面影像，以手指的前後移動來變更前記影像間的假想距離。
又，為了解決上述課題，若依據本發明之另一觀點，則可提供一種影像處理方法，其係具備：立體視覺影像轉換步驟，係使用保持著假想距離而被作成之複數平面影像間的該假想距離，而對各平面影像執行往立體視覺影像之轉換處理；和立體視覺影像生成步驟，係基於前記立體視覺影像轉換步驟所做的轉換處理，從前記複數平面影像，生成立體視覺影像並加以顯示；前記立體視覺影像轉換步驟，係在藉由前記立體視覺影像生成步驟而顯示出立體視覺影像的狀態下，若平面影像間之假想距離有被變更，則隨著該變更來執行前記轉換處理。
又，為了解決上述課題，若依據本發明之另一觀點，則可提供一種電腦程式，其係用來使電腦發執行：立體視覺影像轉換步驟，係使用保持著假想距離而被作成之複數平面影像間的該假想距離，而對各平面影像執行往立體視覺影像之轉換處理；和立體視覺影像生成步驟，係基於前記立體視覺影像轉換步驟所做的轉換處理，從前記複數平面影像，生成立體視覺影像並加以顯示；前記立體視覺影像轉換步驟，係在藉由前記立體視覺影像生成步驟而顯示出立體視覺影像的狀態下，若平面影像間之假想距離有被變更，則隨著該變更來執行前記轉換處理。
如以上之說明，若依據本發明，則可提供一種可簡易地作成具有立體視覺影像的內容，新穎且改良過的影像處理裝置、影像處理方法及電腦程式。
以下，一邊參照添附圖面，一邊詳細說明本發明的理想實施形態。此外，於本說明書及圖面中，對於實質上具有相同機能構成的構成要素，係標示同一符號以省略重複說明。
此外，說明是按照以下順序進行。
＜1.本發明的一實施形態＞
[1-1.影像處理裝置的機能構成]
[1-2.立體視覺影像之生成的概要]
[1-3.立體視覺影像之生成例]
[1-4.用來調整縱深的介面例]
[1-5.對立體視覺影像設定地面的例子]
＜2.硬體構成＞ ＜3.總結＞ ＜1.本發明的一實施形態＞ [1-1.影像處理裝置的機能構成]
首先，說明本發明之一實施形態所述之影像處理裝置的機能構成。圖1係本發明之一實施形態所述之影像處理裝置100之機能構成的說明圖。以下，參照圖1，說明本發明的一實施形態所述之影像處理裝置100的機能構成。
圖1所示的本發明之一實施形態所述之影像處理裝置100，係被構成為，讓使用者作成影像，並可顯示該被作成之影像。如圖1所示，本發明的一實施形態所述之影像處理裝置100，係含有影像作成處理部110、影像保存部120、輸入部130、影像顯示部140所構成。
影像作成處理部110，係對使用者透過影像顯示部140而提示影像作成畫面，或是根據使用者所作成的影像，來作成立體視覺影像。如圖1所示，本發明之一實施形態所述之影像處理裝置100中所含的影像作成處理部110，係含有：影像作成部112、立體視覺影像轉換部114、立體視覺影像生成部116所構成。
在本實施形態中，一旦使用者使用影像作成畫面而生成複數影像(例如3張影像)，則影像作成處理部110係根據該使用者所作成之影像，來生成立體視覺影像。然後，本實施形態所述之影像處理裝置，係將影像作成處理部110所生成的立體視覺影像，以所定方法顯示在影像顯示部140，使用者係將該立體視覺影像按照所定手法(例如戴著分時驅動方式的快門眼鏡)來觀看，就可對使用者，使影像顯示部140上所被顯示的立體視覺影像，被感受成為立體影像。
影像作成部112，係藉由對使用者透過影像顯示部140而提示影像作成畫面，以讓使用者來生成影像。一旦藉由使用者使用影像作成部112所提示的影像作成畫面，作成由複數圖層所成之影像，則該複數圖層所成之影像，係被立體視覺影像轉換部114及立體視覺影像生成部116轉換成立體視覺影像。又，已被影像作成部112所作成的複數圖層所成之影像，係可隨著使用者的操作而被保存在影像保存部120中。
立體視覺影像轉換部114，係將從影像作成部112所送來之複數圖層所成之影像，進行使其往影像顯示部140顯示成為立體視覺影像所需的轉換處理。關於該往立體視覺影像之轉換在後面會詳述，本實施形態所述之影像處理裝置100，係預先想定使用者的眼球距離及使用者與顯示面之間的距離，根據圖層間的假想距離(影像的圖層深度資訊)，進行往影像顯示部140顯示成為立體視覺影像所需的轉換處理。更具體而言，由於是將複數圖層所成之影像進行座標轉換以生成立體視覺影像，因此立體視覺影像轉換部114係對複數圖層所成之影像，執行座標轉換處理。
於是，在本實施形態中，立體視覺影像轉換部114執行把複數圖層所成之平面影像往影像顯示部140顯示成為立體視覺影像所需之轉換處理之際，若一面往影像顯示部140顯示立體視覺影像，使用者一面調整影像的圖層深度而變更縱深之狀態，則立體視覺影像轉換部114係可隨應於該變更而即時地執行轉換處理。藉此，使用者係只需調整影像的圖層深度，就可將調整後的立體視覺影像，即時地加以確認。
本實施形態所述之影像處理裝置100，係在根據使用者所生成之複數圖層所成之平面影像來作成立體視覺影像之際，執行立體視覺影像的預視顯示。藉由立體視覺影像的預視顯示，對使用者而言在將已作成之影像當成立體視覺影像而保存之前，就可預先掌握其立體性的觀感為何。
立體視覺影像生成部116，係基於立體視覺影像轉換部114所執行的轉換處理，而根據複數圖層所成之影像，生成立體視覺影像。立體視覺影像生成部116所生成的立體視覺影像，係除了往影像顯示部140做顯示外，還可因應使用者對輸入部130之操作而被保存在影像保存部120中。
影像保存部120，係將影像作成處理部110所作成的複數圖層所成之影像，或將複數圖層所成之影像予以轉換所生成的立體視覺影像，加以保存。影像保存部120中所被保存的這些影像，係隨著使用者所致之輸入部130之操作而被從影像保存部120中讀出，被影像作成處理部110進行影像處理，或是送往影像顯示部140進行顯示等等。
輸入部130，係為使用者用來執行對影像處理裝置100之輸入操作所需的各種輸入裝置，例如由鍵盤、滑鼠、圖形平板、觸控面板等所構成。使用者係藉由操作輸入部130，就可作成由複數圖層所成之影像，或在往立體視覺影像之轉換之際，調整影像的圖層深度等等。
影像顯示部140，係用來顯示影像，例如，係將影像作成處理部110所作成的複數圖層所成之影像、或將複數圖層所成之影像予以轉換所生成的立體視覺影像，加以顯示。又，影像顯示部140係也會顯示出，用來讓影像處理裝置100的使用者作成這些影像所需的畫面。
在本實施形態中，影像顯示部140係亦可由可顯示立體視覺影像的顯示裝置來構成。此外，雖然立體視覺影像的顯示手法並沒有限定成特定的，但若要舉出一例，則立體視覺影像的顯示手法，係有將左眼用影像與右眼用影像高速切換顯示的手法。然後，往影像顯示部140傳輸立體視覺影像的手法，係有例如畫格序列方式、並肩式方式、上下併排方式等。
又，在本發明中，亦可將影像作成處理部110所作成的影像，輸出至影像處理裝置100所連接的可顯示立體視覺影像之電視受像機或其他顯示裝置。
以上，使用圖1而說明了本發明的一實施形態所述之影像處理裝置100的機能構成。接著說明，本發明之一實施形態所述之影像處理裝置100所進行之立體視覺影像之生成的概要。
[1-2.立體視覺影像之生成的概要]
圖2係本發明之一實施形態所述之影像處理裝置100所進行之立體視覺影像之生成的概要的說明圖。以下，使用圖2來說明本發明之一實施形態所述之影像處理裝置100所進行之立體視覺影像之生成的概要。
本實施形態所述之影像處理裝置100，首先係如圖2所示，讓使用者作成例如由遠景‧中景‧近景之3個圖層所成的影像。然後，為了使該遠景‧中景‧近景之3個圖層所成的影像看成立體，而將該影像以立體視覺影像轉換部114轉換成立體視覺影像。如此，藉由將3個圖層所成之影像予以轉換成立體視覺影像，使用者就不必進行複雜的影像處理，就能生成立體視覺影像。
以上使用圖2而說明了本發明之一實施形態所述之影像處理裝置100所進行之立體視覺影像之生成的概要。接著說明，本發明之一實施形態所述之影像處理裝置100所進行之立體視覺影像之生成例。
[1-3.立體視覺影像之生成例]
圖3係本發明之一實施形態所述之影像處理裝置100所進行之立體視覺影像之生成例的說明圖。以下，使用圖3來說明本發明之一實施形態所述之影像處理裝置100所進行之立體視覺影像之生成例。
圖3所示的符號P1～P6，均為表示藉由影像作成處理部110而被顯示在影像處理裝置100之影像顯示部140上的影像之一例。
符號P1所示之影像，係為選單畫面之一例。使用者係在符號P1所示之影像被影像作成處理部110顯示在影像顯示部140上的狀態下，一旦使用者使用輸入部130而選擇「畫圖」，則影像作成處理部110係令符號P2所示之影像，被顯示在影像顯示部140。
符號P2所示之影像，係為用來讓使用者作成影像所需的影像作成畫面之一例。該符號P2所示的影像作成畫面，係為用來讓使用者作成遠景之影像所需的畫面。使用者係藉由使用輸入部130來進行操作，就可在影像作成畫面中，描繪遠景的繪畫。然後，在符號P2所示之影像被影像作成處理部110顯示在影像顯示部140上的狀態下，一旦使用者使用輸入部130而選擇「下一步」，則影像作成處理部110係令符號P3所示之影像，被顯示在影像顯示部140。
符號P3所示之影像，係為用來讓使用者作成影像所需的影像作成畫面之一例。該符號P3所示的影像作成畫面，係為用來讓使用者作成中景之影像所需的畫面。使用者係藉由使用輸入部130來進行操作，就可在影像作成畫面中，描繪中景的繪畫。此外，在用來作成中景之影像的畫面被顯示在影像顯示部140的狀態下，係將以符號P2所示的影像作成畫面而由使用者所作成的遠景之影像，一併顯示在影像顯示部140。
然後，在符號P3所示之影像被影像作成處理部110顯示在影像顯示部140上的狀態下，一旦使用者使用輸入部130而選擇「下一步」，則影像作成處理部110係令符號P4所示之影像，被顯示在影像顯示部140。
符號P4所示之影像，係為用來讓使用者作成影像所需的影像作成畫面之一例。該符號P4所示的影像作成畫面，係為用來讓使用者作成近景之影像所需的畫面。使用者係藉由使用輸入部130來進行操作，就可在影像作成畫面中，描繪近景的繪畫。此外，在用來作成近景之影像的畫面被顯示在影像顯示部140的狀態下，係將以符號P2所示的影像作成畫面而由使用者所作成的遠景之影像及以符號P3所示的影像作成畫面而由使用者所作成的中景之影像，一併顯示在影像顯示部140。
然後，在符號P4所示之影像被影像作成處理部110顯示在影像顯示部140上的狀態下，一旦使用者使用輸入部130而選擇「完成」，則影像作成處理部110係令符號P5所示之影像，被顯示在影像顯示部140。
此外，上述的遠景‧中景‧近景之影像的作成時，係亦可提供樣版而讓使用者從該樣版之中選擇素材。又，當影像處理裝置100具備攝像裝置(Web攝影機)時，則影像作成處理部110係亦可將該攝像裝置所拍攝到的影像，用於遠景‧中景‧近景之影像的作成時。
符號P5所示之影像，係為用來顯示使用者所作成之影像所需之畫面的一例。影像作成部112，係藉由將該符號P5所示的畫面，提示於影像顯示部140，使用者就可確認已作成之影像。
然後，在符號P5所示之影像被影像作成處理部110顯示在影像顯示部140上的狀態下，一旦使用者使用輸入部130而選擇「用3D觀看」，則影像作成處理部110係令符號P6所示之影像，被顯示在影像顯示部140。
符號P6所示之影像，係為用來顯示使用者所作成之影像所需之畫面的一例。該符號P6係為用來預視顯示使用者所作成之複數圖層所成之影像轉換成立體視覺影像之狀態的影像所需的畫面。此處係會顯示出，被當成遠景之影像而作成的山的繪畫是看似在後方，被當成中景之影像而作成的山的繪畫是看似在中程，被當成近景之影像而作成的蜜蜂及小狗的繪畫是看似在前方之如此而被作成的立體視覺影像。如此，影像作成部112，係藉由將該符號P6所示的畫面，提示於影像顯示部140，使用者就可確認從已作成之影像所生成的立體視覺影像。
然後，在符號P6所示的畫面中，係顯示有用來調節立體視覺影像之觀看方式的滑移棒。一旦使用者使用輸入部130來操作該滑移棒，則立體視覺影像轉換部114係將立體視覺影像的觀看方式予以調整並轉換。然後，一旦使用者使用輸入部130來操作該滑移棒，則立體視覺影像轉換部114係立即執行調整。因此，一旦使用者使用輸入部130來操作該滑移棒，則被預視顯示的立體視覺影像的觀看方式，會即時改變。
如此而被使用者所作成之影像，係可保存在影像保存部120中。在往影像保存部120的保存之際，例如，可將各圖層以分別獨立之影像的方式而保存的可再編輯之資料格式來保存，也可將所有圖層合成為1張影像而保存的資料格式(JPEG等)來保存，亦可用MPO(Multi-Picture Object File)格式來保存。
以上，使用圖3來說明了本發明之一實施形態所述之影像處理裝置100所進行之立體視覺影像之生成例。接著說明，本發明之一實施形態所述之影像處理裝置100所進行之立體視覺影像之生成之際，被顯示在影像顯示部140的選單畫面之例子。
圖4A～圖4C，係本發明之一實施形態所述之影像處理裝置100所進行之立體視覺影像之生成之際，被顯示在影像顯示部140的選單畫面之例子的說明圖。
圖4A係圖示了，本發明之一實施形態所述之影像處理裝置100所進行之立體視覺影像之生成之際，被顯示在影像顯示部140的選單畫面之一例。在圖4A中係首先在選單畫面中，顯示有「畫新的圖」「製作新的書本」「繼續畫」「觀看作品」之選單。此處，若使用者選擇「製作新的書本」，則接著會顯示出「選擇主題」的選單畫面，在該選單畫面中係顯示著「繪本」「圖畫日記」「觀看作品」之選單。此處，使用者若選擇「繪本」或「圖畫日記」，則用來作成影像所需的繪圖畫面，就會被顯示在影像顯示部140。
圖4B係圖示了，本發明之一實施形態所述之影像處理裝置100所進行之立體視覺影像之生成之際，被顯示在影像顯示部140的選單畫面之另一例。在圖4B中係首先在選單畫面中，顯示有「重新畫」「繼續畫」「觀看作品」之選單。此處，使用者若選擇「重新畫」，則用來作成影像所需的繪圖畫面，就會被顯示在影像顯示部140。然後，一旦使用者完成了第1張影像的作成，則用來作成後續影像所需的選單畫面就被顯示在影像顯示部140中，在該選單畫面裡中係顯示著「在這裡結束」「畫下一頁」之選單。此處，使用者若選擇「畫下一頁」，則用來作成影像所需的繪圖畫面就會再次顯示，若選擇「在這裡結束」則影像處理裝置100就結束影像作成。
圖4C係圖示了，本發明之一實施形態所述之影像處理裝置100所進行之立體視覺影像之生成之際，被顯示在影像顯示部140的選單畫面之再另一例。在圖4B中係首先在選單畫面中，顯示有「重新畫」「繼續畫」「觀看作品」之選單。此處，若使用者選擇「重新畫」，則接著會顯示出「重新畫」的選單畫面，在該選單畫面中係顯示著「畫圖」「製作書本」之選單。此處，使用者若選擇「畫圖」，則用來作成影像所需的繪圖畫面，就會被顯示在影像顯示部140。
以上說明了，本發明之一實施形態所述之影像處理裝置100所進行之立體視覺影像之生成之際，被顯示在影像顯示部140的選單畫面之例子。接著說明，用來讓使用者調整立體視覺影像之觀看方式所需的使用者介面之例子。
圖5A及圖5B係用來調整立體視覺影像之觀看方式所需的滑移棒之例子的說明圖。圖5A所示的滑移棒，係表示將3個圖層以1個滑移棒來調整之例子。另一方面，圖5B所示的滑移棒，係表示將各圖層以各自的滑移棒來調整之例子。此外，在圖5A及圖5B中，為了說明上的方便，省略了立體視覺影像的預視顯示，但影像處理裝置100係與圖5A及圖5B所示之使用者介面一起執行立體視覺影像之預視顯示，較為理想。
圖5A及圖5B所示的滑移棒中，表示顯示面之位置的記號也被一併顯示。然後，若滑移棒被使用者所操作，則立體視覺影像轉換部114係將對應之圖層的假想縱深，隨著滑移棒的操作而變化而執行座標轉換處理。
藉由使如此滑移棒被顯示在影像顯示部140上，讓使用者調整各圖層的縱深，立體視覺影像轉換部114就可立刻調整立體視覺影像之觀看方式，而轉換成立體視覺影像。此外，滑移棒之操作，係可限制成前方側的圖層不會超過深側的圖層，亦可不作此種限制，讓前方側的圖層可以超過深側的圖層。
以上說明了，用來讓使用者調整立體視覺影像之觀看方式所需的使用者介面之例子。接著詳細說明，本發明之一實施形態所述之立體視覺影像轉換部114所進行之往立體視覺影像之轉換處理。
圖6係從複數圖層所成之通常的二維影像，轉換成立體視覺影像之概念的說明圖。在圖6中係圖示了，從二維影像，轉換成用來讓使用者以右眼觀看所需的右眼用影像、和以左眼觀看所需的左眼用影像的樣子。立體視覺影像轉換部114，係為了從二維影像生成右眼用影像與左眼用影像，而計算右眼用影像及左眼用影像的描繪位置。
接著，舉例說明具體的右眼用影像及左眼用影像之描繪位置的計算方法。
圖7A～圖7C係從複數圖層所成之通常的二維影像往立體視覺影像之轉換例的說明圖。圖7A係圖示了從圖7B所示的3個圖層所成之二維影像生成右眼用影像及左眼用影像之際的座標轉換，如圖7C所示，係圖示了3個圖層看起來都是比顯示面還深處時的座標轉換。此外，圖7A係模式性圖示從上方觀看各圖層及顯示面的狀態。
預先想定左眼與右眼之間的眼球距離E、和假想視聽距離L，如圖7A所示，立體視覺影像轉換部114係使用顯示面與各圖層之間的圖層深度D1、D2、D3，而執行右眼用影像用之投影座標轉換及左眼用影像用之投影座標轉換。
藉由如此由立體視覺影像轉換部114來執行往顯示面的投影座標轉換，本實施形態所述之影像處理裝置100，係可將複數圖層所成之通常的二維影像，轉換成立體視覺影像。
圖8A、圖8B係從複數圖層所成之通常的二維影像往立體視覺影像之轉換例的說明圖。圖8A係圖示了從圖8B所示的3個圖層所成之二維影像生成右眼用影像及左眼用影像之際的座標轉換，如圖8B所示，係圖示了某個圖層看似比顯示面還往前面躍出時的座標轉換。此外，圖8A係模式性圖示從上方觀看各圖層及顯示面的狀態。
藉由如此由立體視覺影像轉換部114來執行座標轉換，本實施形態所述之影像處理裝置100，係即使在某個圖層看似比顯示面還往前面躍出時，仍可將複數圖層所成之通常的二維影像，轉換成立體視覺影像。
以上說明了，本發明之一實施形態所述之立體視覺影像轉換部114所進行之往立體視覺影像之轉換處理。接著說明，從通常的二維影像往立體視覺影像之轉換之際所產生的問題點及其解決方法。
影像作成之際的解析度(畫布解析度)，和影像的輸出解析度是同一解析度時，若將配置在比顯示面還深處的圖層，投影至輸出影像(顯示面)，則該圖層會在周邊部產生餘白。圖9係將配置在比顯示面深處的圖層投影至輸出影像時，在周邊部產生餘白之狀態的說明圖。此外，圖9係模式性圖示從上方觀看圖層及顯示面的狀態。
作為此種餘白發生時的解決策，係可在從二維影像往立體視覺影像進行轉換之際，將餘白部分以背景色塗滿。該背景色，係也可讓使用者來選擇，也可自動判別該圖層中被使用最多的顏色而選擇之，也可選擇該圖層周圍部分所使用的顏色。
又，作為另一例子，亦可將作成影像之際的畫布解析度，設定成大於最終輸出之立體視覺影像之解析度。圖10係將作成影像之際的畫布解析度，設定成大於最終輸出之立體視覺影像之解析度時的說明圖。此外，圖10係模式性圖示從上方觀看圖層及顯示面的狀態。
在圖10中，畫布差分ΔC，係為比最終輸出之立體視覺影像之解析度還大的領域。該畫布差分ΔC，係可使用假想視聽距離L、從顯示面起算的最大深度DMax、假想顯示器寬度W、及輸出之立體視覺影像的解析度RO而算出。
又，亦可將畫布解析度與輸出解析度設定成相同，在從二維影像轉換成立體視覺影像的過程中，先將畫布解析度放大了畫布差分ΔC的量之後，然後才從二維影像轉換成立體視覺影像。
反之，影像作成之際的畫布解析度，和影像的輸出解析度是同一解析度時，若將配置在比顯示面還前面的圖層，投影至輸出影像(顯示面)，則該圖層會在周邊部產生缺損部分。圖11係將配置在顯示面之前面的圖層投影至輸出影像時，在周邊部產生缺損部分之狀態的說明圖。缺損寬度N，係可由假想顯示器寬度W、假想視聽距離L、最低深度DMin等而算出。此外，圖11係模式性圖示從上方觀看圖層及顯示面的狀態。
如此在各圖層的周邊部有發生缺損部分的情況下，係亦可在影像作成時(影像作成畫面顯示時)，執行可讓人事先了解缺損部分的顯示。圖12係令影像作成畫面顯示缺損部分Δ之狀態的說明圖。如此，影像作成畫面顯示時，在畫面上顯示出缺損部分，就可對使用者提示，從二維影像轉換成立體視覺影像之際會有缺損部分存在。
以上說明了，從通常的二維影像往立體視覺影像之轉換之際所產生的問題點及其解決方法。
如上述，本發明的一實施形態所述之影像處理裝置100，係可讓使用者輕鬆地生成立體視覺影像，但本發明的一實施形態所述之影像處理裝置100，係還可讓使用者製作由複數立體視覺影像所成之繪本。圖13係作成由複數立體視覺影像所成之繪本的畫面之一例的說明圖。如圖13所示，在複數立體視覺影像所成之繪本作成之際，係在畫面上部顯示出，將已作成之影像進行預視圖顯示的頁面瀏覽器，就可對使用者，讓其確認要構成繪本的影像。
如此而被使用者所作成之繪本，係可保存在影像保存部120中。在繪本往影像保存部120的保存之際，例如，可將各頁、各圖層以分別獨立之影像的方式而保存的可再編輯之資料格式來保存，也可將各個頁面的所有圖層合成為1張影像而保存的資料格式(JPEG等)來保存，亦可用MPO(Multi-Picture Object File)格式來保存。甚至，亦可從複數立體視覺影像作成電影檔案，成為立體視覺映像而保存。
接著說明，本發明之一實施形態所述之影像處理裝置100中，被使用者所描繪的影像中的物件之移動方法。圖14係本發明之一實施形態所述之影像處理裝置100中，被使用者所描繪的影像中的物件之移動方法的說明圖。
圖14係圖示了，將邊界設成透明色，而令使用者所選擇(例如以滑鼠點選，或是以手指碰觸畫面而選擇)的物件做移動時的情形。圖14係圖示了選擇蜜蜂之圖畫而使其移動的樣子。在使其移動後，原本物件所在場所係被塗成透明，將移動後的物件予以覆寫。因此，在圖14所示的例子中，原本是蜜蜂之圖畫的場所係塗成透明，而對小狗之圖畫，覆寫了蜜蜂之圖畫。
圖15係本發明之一實施形態所述之影像處理裝置100中，被使用者所描繪的影像中的物件之移動方法的說明圖。
圖15係圖示了，使用者選擇了移動範圍(例如以滑鼠點選，或是以手指碰觸畫面而選擇)，使該整個移動範圍移動時的情形。圖15係圖示了選擇含有蜜蜂之圖畫的矩形領域而使其移動的樣子。在使其移動後，原本物件所在場所係被塗成透明，將移動後的物件予以覆寫。因此，在圖15所示的例子中，原本含有蜜蜂之圖畫的矩形領域係塗成透明，對含有小狗之圖畫的矩形領域，覆寫含有蜜蜂之圖畫的矩形領域。
影像處理裝置100，係可使如此被使用者所描繪之影像中的物件做移動，但移動方法係不限定於所述例子。在圖15中，雖然是將選擇範圍設成矩形，但選擇範圍亦可為圓形，也可自由地選擇。
以上說明了，本發明之一實施形態所述之影像處理裝置100中，被使用者所描繪的影像中的物件之移動方法。接著說明，從二維影像往立體視覺影像進行轉換之際，用來調整圖層之縱深所需的使用者介面之例子。
[1-4.用來調整縱深的介面例]
圖16係影像處理裝置100在影像顯示部140中所顯示的，用來調整圖層之縱深所需的使用者介面之例子的說明圖。圖16係圖示了，為了調整圖層之縱深，而將滾輪顯示在影像顯示部140時的情形。
如此被顯示在影像顯示部140的各圖層所對應的滾輪，使用者以滑鼠來操作之，或在具備觸控面板時以手指搓揉等等，就可改變各圖層的縱深。又，對使用者而言，可以期待提供快樂的操作感，容易微調縱深等之效果。又，由於圖層之縱深不會劇烈地改變，因此還可期待不會導致立體視覺影像之觀看方式劇烈變化而影響到使用者之效果。
圖17係影像處理裝置100在影像顯示部140中所顯示的，用來調整圖層之縱深所需的使用者介面之例子的說明圖。圖17係圖示了，使用者以手勢來調整圖層之縱深的情形。
例如，當影像處理裝置100具備小型的攝像裝置131時，使用者係亦可朝著該攝像裝置131，以手指的根數來指定圖層，對攝像裝置131使手指前後移動，來調整該圖層之縱深。
使用者所呈現的手指根數或手指位置之變化，係可藉由例如立體視覺影像轉換部114來偵測。使用者所呈現的手指根數或手指位置之變化，藉由立體視覺影像轉換部114來偵測，立體視覺影像轉換部114就可調整該圖層之縱深。又，對使用者而言，具有可提供快樂的操作感，又可從畫面遠離開來操作，因此具有對眼睛不會造成負擔之效果。又，立體視覺影像的預視之際，由於不需要使用來調整圖層之縱深所需之使用者介面被顯示在畫面上，因此還有可將立體視覺影像顯示於畫面全體的效果。當然，本發明中，使用者進行圖層指定及圖層之縱深指定所需的手勢，當然不限定於所述例子。
圖18係影像處理裝置100在影像顯示部140中所顯示的，用來調整圖層之縱深所需的使用者介面之例子的說明圖。圖18係為了容易掌握複數圖層之位置關係而從斜上方向顯示各圖層，而調整圖層之縱深時的情形。圖18中，為了讓使用者容易掌握各圖層之位置的狀態所需的刻度150，也被一併圖示。此外，在圖18中，為了說明上的方便，省略了立體視覺影像的預視顯示，但影像處理裝置100係與圖18所示之使用者介面一起執行立體視覺影像之預視顯示，較為理想。
如此，為了容易掌握複數圖層之位置關係而從斜上方向來顯示各圖層的位置關係，讓使用者操作圖18所示的使用者介面，就可在立體視覺影像的預視顯示之際，讓使用者容易進行立體視覺影像的觀看方式之調整。
此外，圖18所示的使用者介面，係可由使用者直接操作圖中的各圖層而調整縱深，也可和上述的滑移棒、滾輪、手勢做組合，以這些使用者介面的回饋顯示的方式，提供給使用者。
圖19係影像處理裝置100在影像顯示部140中所顯示的，用來調整圖層之縱深所需的使用者介面之例子的說明圖。圖19係為了容易掌握複數圖層之位置關係而從上部顯示各圖層，而調整圖層之縱深時的情形。圖19中，為了讓使用者容易掌握各圖層之位置的狀態所需的刻度150，也被一併圖示。此外，在圖19中，為了說明上的方便，省略了立體視覺影像的預視顯示，但影像處理裝置100係與圖19所示之使用者介面一起執行立體視覺影像之預視顯示，較為理想。
如此，為了容易掌握複數圖層之位置關係而從上方向來顯示各圖層的位置關係，讓使用者操作圖19所示的使用者介面，就可在立體視覺影像的預視顯示之際，讓使用者容易進行立體視覺影像的觀看方式之調整。
此外，圖19所示的使用者介面，係可由使用者直接操作圖中的各圖層而調整縱深，也可和上述的滑移棒、滾輪、手勢做組合，以這些使用者介面的回饋顯示的方式，提供給使用者。
圖20係影像處理裝置100在影像顯示部140中所顯示的，用來調整圖層之縱深所需的使用者介面之例子的說明圖。圖20係為了容易掌握複數圖層之位置關係，而將滑移棒與預視圖影像做組合而顯示，而調整圖層之縱深時的情形。此外，在圖20中，為了說明上的方便，省略了立體視覺影像的預視顯示，但影像處理裝置100係與圖20所示之使用者介面一起執行立體視覺影像之預視顯示，較為理想。
如此，為了容易掌握複數圖層之位置關係而從上方向將滑移棒與預視圖影像做組合顯示，讓使用者操作圖20所示的使用者介面，就可在立體視覺影像的預視顯示之際，讓使用者容易進行立體視覺影像的觀看方式之調整。
此外，圖20所示的使用者介面，係可由使用者直接操作圖中的各圖層而調整縱深，也可和上述的滑移棒、滾輪、手勢做組合，以這些使用者介面的回饋顯示的方式，提供給使用者。
又，影像處理裝置100，係可將圖層之縱深之調整，在立體視覺影像的預視時執行之，也可在讓使用者作成二維影像之際就讓其執行之。當將圖層之縱深之調整，讓使用者在作成二維影之際執行時，係例如，圖16至圖20所示，將用來調整圖層之縱深所需的使用者介面，也顯示在二維影像的作成畫面中，較為理想。
[1-5.對立體視覺影像設定地面的例子]
接著說明，使用本發明之一實施形態所述之影像處理裝置100所作成的立體視覺影像中，設定地面時的例子。圖21係使用本發明之一實施形態所述之影像處理裝置100所作成的立體視覺影像中，設定地面時的作圖例的說明圖。
在圖21中係圖示了，在遠景之影像係設定有地平線，以該地平線為界，下面部分是表示地面時的情形。比該地平線還下面的地面部分，係被當成深度為0的面，亦即朝著顯示面而往深度方向投影的圖層，而被轉換成立體視覺影像。亦即，被設定成遠景之影像的從地平線往下的領域，係以從地平線所被設定的圖層，對較前面的圖層，朝深度方向擴展開之地面圖層的方式，而被轉換成立體視覺影像。其結果為，本發明的一實施形態所述之影像處理裝置100，係若在遠景之影像中設定有地平線，則可生成如圖21所示的立體視覺影像。此外，地平線係亦可在背景用的樣版中預先設定，也可讓使用者將圖層予以作圖之際自由設定。
圖22係地平線及地面部分的往立體視覺影像之轉換例的說明圖。圖22係為了說明地平線及地面部分往立體視覺影像之轉換，而將各圖層之位置關係從上方觀看的鳥瞰及從橫向觀看的側視，予以圖示。此外，在側視中，左側係為畫面上部，右側係為畫面下部而圖示。
若將地平線所被設定的圖層稱作遠端圖層、地面的最前方之圖層稱作近端圖層，則地面圖層係被定義成，以遠端圖層上的地平線之兩端、和近端圖層的底端之兩端為4個頂點的圖層。近端圖層，係為位於比遠端圖層前面的描繪圖層，或是顯示面。近端圖層，係亦可設計成讓使用者來選擇，也可預先固定成例如顯示面等。在大多數的情況下，係如圖21、22所示，地平線係被設定在描繪背景的最深之圖層，顯示面係為近端圖層。
如圖22所示，立體視覺影像轉換部114係為了將遠景(圖層1)的二維影像中的地平線及地面部分轉換成立體視覺影像，而首先將轉換對象的像素，投影至遠景之地平線與顯示面之最下部所連結而成的線上，然後對該投影之地點，執行右眼用影像用之投影座標轉換及左眼用影像用之投影座標轉換。往右眼用影像用顯示面的投影座標轉換及往左眼用影像用顯示面的投影座標轉換處理，係藉由和上述的投影座標轉換處理相同的處理而被執行。
藉由如此由立體視覺影像轉換部114來執行座標轉換，即使在地面部分仍可使其在立體視覺影像中被立體顯示，可讓使用者輕鬆地作成更加立體的影像。當然，在已經調整過地平線所被設定之圖層之縱深的情況下，地面圖層面的定義，也會隨著地平線所被設定之圖層之縱深的調整，而被即時地重新計算。
＜2.硬體構成＞
接著，一面參照圖23，一面詳細說明本發明之一實施形態所述之影像處理裝置100的硬體構成。圖23係用來說明，本發明之一實施形態所述之影像處理裝置100的硬體構成的區塊圖。
影像處理裝置100係主要具備：CPU901、ROM903、RAM905、主匯流排907、橋接器909、外部匯流排911、介面913、輸入裝置915、輸出裝置917、攝像裝置918、儲存裝置919、驅動機921、連接埠923、通訊裝置925。
CPU901，係成為演算處理裝置及控制裝置的機能，依照ROM903、RAM905、儲存裝置919、或可移除式記錄媒體927中所被記錄的各種程式，控制影像處理裝置100內的所有或部分之動作。ROM903係記憶著，CPU901所使用的程式或演算參數等。RAM905，係將CPU901之執行時所使用的程式、或其執行時會適宜變化的參數等，予以暫時記憶。這些係藉由CPU匯流排等之內部匯流排所構成的主匯流排907而被互相連接。
主匯流排907，係透過橋接器909，而被連接至PCI(Peripheral Component Interconnect/Interface)匯流排等之外部匯流排911。
輸入裝置915，係例如為滑鼠、鍵盤、觸控面板、按鈕、開關、及搖桿等讓使用者進行操作的操作手段。又，輸入裝置915，係例如，可為利用紅外線或其他電波的遙控手段(例如遙控器)，也可為支援影像處理裝置100之操作的行動電話或PDA等外部連接機器929。甚至，輸入裝置915係亦可由，例如，基於使用者使用上記操作手段所輸入之資訊而生成輸入訊號，而對CPU901輸出的輸入控制電路等所構成。影像處理裝置100的使用者，係藉由操作該輸入裝置915，就可對影像處理裝置100輸入各種資料、或指示處理動作等等。
輸出裝置917，係可由例如，CRT顯示裝置、液晶顯示裝置、電漿顯示裝置、EL顯示裝置及燈泡等之顯示裝置、或揚聲器及麥克風等之聲音輸出裝置、或印表機裝置、行動電話、傳真機等，可將所取得之資訊對使用者以視覺性或聽覺性來通知的裝置所構成。輸出裝置917，係例如將影像處理裝置100所進行之各種處理而取得的結果，加以輸出。具體而言，顯示裝置係將影像處理裝置100所進行之各種處理而取得的結果，以文字或影像而加以顯示。另一方面，聲音輸出裝置，係將已被再生之聲音資料或音響資料等所成的音訊訊號，轉換成類比訊號而輸出。
攝像裝置918，係被設在例如顯示裝置之上部，係可拍攝影像處理裝置100之使用者的靜止影像或動態影像。攝像裝置918係具備例如CCD(Charge Coupled Device)影像感測器或CMOS(Complementary Metal Oxide Semiconductor)影像感測器，可將透鏡所聚光的光線轉換成電氣訊號，就可拍攝靜止影像或動態影像。
儲存裝置919，係被構成為影像處理裝置100的記憶部之一例的資料儲存用裝置，例如由HDD(Hard Disk Drive)等之磁性記憶部裝置、半導體記憶裝置、光記憶裝置、或光磁性記憶裝置等所構成。該儲存裝置919，係儲存著CPU901所執行的程式或各種資料、及從外部取得的音響訊號資料或影像訊號資料等。
驅動機921，係為記錄媒體用讀寫機，可內建於影像處理裝置100，或是外接。驅動機921，係將所被裝著的磁碟、光碟、光磁碟、或半導體記憶體等之可移除式記錄媒體927中所記錄的資訊予以讀出，並輸出至RAM905。又，驅動機921，係亦可對所被裝著的磁碟、光碟、光磁碟、或半導體記憶體等之可移除式記錄媒體927，寫入記錄。可移除式記錄媒體927，係例如為DVD媒體、Blu-ray媒體、精巧型快閃記憶體(註冊商標)(CompactFlash；CF)、記憶棒、或SD記憶卡(Secure Digital memory card)等。又，可移除式記錄媒體927，係亦可為例如搭載有非接觸型IC晶片的IC卡(Integrated Circuit card)、或電子機器等。
連接埠923，係例如，USB(Universal Serial Bus)埠、i.Link等之IEEE1394埠、SCSI(Small Computer System Interface)埠、RS-232C埠、光纖音訊端子、HDMI(High-Definition Multimedia Interface)埠等，用來將機器直接連接至影像處理裝置100所需的埠。藉由對該連接埠923連接外部連接機器929，影像處理裝置100係可直接從外部連接機器929取得音響訊號資料或影像訊號資料，或可對外部連接機器929提供音響訊號資料或影像訊號資料。
通訊裝置925，係例如是由用來連接至通訊網931所需之通訊裝置等所構成的通訊介面。通訊裝置925係為例如有線或無線LAN(Local Area Network)、Bluetooth、或WUSB(Wireless USB)用的通訊卡、光纖通訊用的路由器、ADSL(Asymmetric Digital Subscriber Line)用的路由器、或者各種通訊用的數據機等。該通訊裝置925係例如，與網際網路或其他通訊機器之間，依照TCP/IP等所定之協定，而收送訊號等。又，被連接至通訊裝置925的通訊網931，係由有線或無線所連接的網路等所構成，例如為網際網路、家庭內LAN、紅外線通訊、廣播電波通訊或衛星通訊等。
以上說明了可實現本發明之各實施形態所述之影像處理裝置100之機能的硬體構成之一例。上記的各構成要素，係可使用一般的構件來構成，也可由對各構成要素之機能做過特化的硬體來構成。因此，可隨著實施本實施形態的當時的技術水準，適宜地變更所利用的硬體構成。
＜3.總結＞
如以上所說明，若依據本發明之一實施形態所述的影像處理裝置100，則可將使用者所作成的複數圖層所成之平面影像，轉換成立體視覺影像。影像處理裝置100，係在從平面影像往立體視覺影像的轉換之際，使用圖層之縱深的資訊來執行座標轉換，而作成右眼用影像及左眼用影像。如此由影像處理裝置100來生成立體視覺影像，使用者就不需要複雜的計算或處理，而能輕鬆地作成立體視覺影像。
又，本發明的一實施形態所述之影像處理裝置100，係在立體視覺影像的預視之際，可讓使用者調節圖層深度。然後，一旦圖層深度被調節，則本發明的一實施形態所述之影像處理裝置100，係基於該已被調節之圖層深度而立即執行往立體視覺影像之轉換。立體視覺影像預視之際讓使用者調節圖層深度，基於該已被調節之圖層深度而立即進行往立體視覺影像之轉換，藉此，本發明的一實施形態所述之影像處理裝置100，係可即時地調整立體視覺影像的觀看方式。
此外，上述的影像處理，係亦可藉由影像處理裝置100之內部所儲存的電腦程式來執行。影像處理裝置100之內部所設置的CPU(Central Processing Unit)或其他控制裝置來讀取該電腦程式，依序執行程式，就可令電腦程式執行影像處理。
以上雖然一面參照添附圖面一面詳細說明了本發明的理想實施形態，但本發明並非限定於所述例子。只要是本發明所屬技術領域中具有通常知識者，自然可於申請專利範圍中所記載之技術思想的範疇內，想到各種變更例或修正例，而這些當然也都屬於本發明的技術範圍。
例如在上記實施形態中，影像處理裝置100的影像作成處理部110裡具備有影像作成部112，從對使用者的平面影像之作成、到往立體視覺影像之轉換為止，都是藉由影像作成處理部110來執行，但本發明並不限定於所述例子。例如，亦可是先由別的裝置來作成複數圖層所成之影像，從網際網路下載等而取得之，將該影像以影像處理裝置100而轉換成立體視覺影像。此時，圖層間的假想距離係亦可對影像處理裝置100事先決定，影像處理裝置100係基於該假想距離而將其轉換成立體視覺影像。
100．．．影像處理裝置
110．．．影像作成處理部
112．．．影像作成部
114．．．立體視覺影像轉換部
116．．．立體視覺影像生成部
120．．．影像保存部
130．．．輸入部
131．．．攝像裝置
140．．．影像顯示部
150．．．刻度
901．．．CPU
903．．．ROM
905．．．RAM
907．．．主匯流排
909．．．橋接器
911．．．外部匯流排
913．．．介面
915．．．輸入裝置
917．．．輸出裝置
918．．．攝像裝置
919．．．儲存裝置
921．．．驅動機
923．．．連接埠
925．．．通訊裝置
927．．．可移除式記錄媒體
929．．．外部連接機器
931．．．通訊網
[圖1]本發明之一實施形態所述之影像處理裝置100之機能構成的說明圖。
[圖2]本發明之一實施形態所述之影像處理裝置100所進行之立體視覺影像之生成的概要的說明圖。
[圖3]本發明之一實施形態所述之影像處理裝置100所進行之立體視覺影像之生成例的說明圖。
[圖4A]影像顯示部140中所背顯示的選單畫面之例子的說明圖。
[圖4B]影像顯示部140中所背顯示的選單畫面之例子的說明圖。
[圖4C]影像顯示部140中所背顯示的選單畫面之例子的說明圖。
[圖5A]用來調整立體視覺影像之觀看方式所需的滑移棒之例子的說明圖。
[圖5B]用來調整立體視覺影像之觀看方式所需的滑移棒之例子的說明圖。
[圖6]從複數圖層所成之影像，轉換成立體視覺影像之概念的說明圖。
[圖7A]從複數圖層所成之通常的二維影像往立體視覺影像之轉換例的說明圖。
[圖7B]從複數圖層所成之通常的二維影像往立體視覺影像之轉換例的說明圖。
[圖7C]從複數圖層所成之通常的二維影像往立體視覺影像之轉換例的說明圖。
[圖8A]從複數圖層所成之通常的二維影像往立體視覺影像之轉換例的說明圖。
[圖8B]從複數圖層所成之通常的二維影像往立體視覺影像之轉換例的說明圖。
[圖9]將配置在深處的圖層投影至輸出影像時，在周邊部產生餘白之狀態的說明圖。
[圖10]將作成影像之際的畫布解析度，設定成大於最終輸出之立體視覺影像之解析度時的說明圖。
[圖11]將配置在顯示面之前面的圖層投影至輸出影像時，在周邊部產生缺損部分之狀態的說明圖。
[圖12]令影像作成畫面顯示缺損部分之狀態的說明圖。
[圖13]作成由複數立體視覺影像所成之繪本的畫面之一例的說明圖。
[圖14]本發明之一實施形態所述之影像處理裝置100中，被使用者所描繪的影像中的物件之移動方法的說明圖。
[圖15]本發明之一實施形態所述之影像處理裝置100中，被使用者所描繪的影像中的物件之移動方法的說明圖。
[圖16]用來調整圖層之縱深所需的使用者介面之例子的說明圖。
[圖17]用來調整圖層之縱深所需的使用者介面之例子的說明圖。
[圖18]用來調整圖層之縱深所需的使用者介面之例子的說明圖。
[圖19]用來調整圖層之縱深所需的使用者介面之例子的說明圖。
[圖20]用來調整圖層之縱深所需的使用者介面之例子的說明圖。
[圖21]使用本發明之一實施形態所述之影像處理裝置100所作成的立體視覺影像中，設定地面時的作圖例的說明圖。
[圖22]地面部分的往立體視覺影像之轉換例的說明圖。
[圖23]本發明之一實施形態所述之影像處理裝置100之硬體構成例的說明圖。
100．．．影像處理裝置
110．．．影像作成處理部
112．．．影像作成部
114．．．立體視覺影像轉換部
116．．．立體視覺影像生成部
120．．．影像保存部
130．．．輸入部
140．．．影像顯示部

Claims (8)

  1. 一種影像處理裝置，其特徵為，具備：立體視覺影像轉換部，係使用保持著假想距離而被作成之複數平面影像間的該假想距離，而對各影像執行往立體視覺影像之轉換處理；和立體視覺影像生成部，係基於前記立體視覺影像轉換部所做的轉換處理，從前記複數平面影像，生成立體視覺影像並加以顯示；和拍攝影像的攝像裝置；前記立體視覺影像轉換部，係偵測出使用者對於前記攝像裝置所拍攝之各攝像裝置的手勢，隨著該手勢來變更前記平面影像間的假想距離；在藉由前記立體視覺影像生成部而顯示出立體視覺影像的狀態下，若平面影像間之假想距離有被變更，則隨著該變更來執行前記轉換處理；前記使用者的手勢，係以手指的數目來特定出平面影像，以手指的前後移動來變更前記影像間的假想距離。
  2. 如請求項1所記載之影像處理裝置，其中，前記立體視覺影像轉換部，係基於前記複數平面影像之內的至少一個平面影像中所被設定的地平線，而對該平面影像的地面部分，執行往立體視覺影像之轉換處理。
  3. 如請求項1所記載之影像處理裝置，其中，前記立體視覺影像轉換部，係在往立體視覺影像之轉換處理之 際，執行前記轉換處理，以使得立體視覺影像的周邊部不會產生餘白。
  4. 如請求項1所記載之影像處理裝置，其中，前記立體視覺影像轉換部，係在往立體視覺影像之轉換處理之際，執行前記轉換處理，以使得前記平面影像的周邊部被轉換成立體視覺影像之際不會發生缺損。
  5. 如請求項1所記載之影像處理裝置，其中，前記立體視覺影像轉換部所做的前記平面影像間之假想距離之變更，係藉由對應於各平面影像而被顯示在畫面的滑移棒而執行。
  6. 如請求項1所記載之影像處理裝置，其中，前記立體視覺影像轉換部所做的前記平面影像間之假想距離之變更，係藉由對應於各平面影像而被顯示在畫面的滾輪而執行。
  7. 一種影像處理方法，其特徵為，具備：立體視覺影像轉換步驟，係使用保持著假想距離而被作成之複數平面影像間的該假想距離，而對各平面影像執行往立體視覺影像之轉換處理；和立體視覺影像生成步驟，係基於前記立體視覺影像轉換步驟所做的轉換處理，從前記複數平面影像，生成立體視覺影像並加以顯示；和拍攝影像的攝像步驟；前記立體視覺影像轉換步驟，係 偵測出使用者對於前記攝像步驟中所拍攝之各攝像裝置的手勢，隨著該手勢來變更前記平面影像間的假想距離；在藉由前記立體視覺影像生成步驟而顯示出立體視覺影像的狀態下，若平面影像間之假想距離有被變更，則隨著該變更來執行前記轉換處理；前記使用者的手勢，係以手指的數目來特定出平面影像，以手指的前後移動來變更前記影像間的假想距離。
  8. 一種電腦程式，其特徵為，係令電腦執行：立體視覺影像轉換步驟，係使用保持著假想距離而被作成之複數平面影像間的該假想距離，而對各平面影像執行往立體視覺影像之轉換處理；和立體視覺影像生成步驟，係基於前記立體視覺影像轉換步驟所做的轉換處理，從前記複數平面影像，生成立體視覺影像並加以顯示；和拍攝影像的攝像步驟；前記立體視覺影像轉換步驟，係偵測出使用者對於前記攝像步驟中所拍攝之各攝像裝置的手勢，隨著該手勢來變更前記平面影像間的假想距離；在藉由前記立體視覺影像生成步驟而顯示出立體視覺影像的狀態下，若平面影像間之假想距離有被變更，則隨著該變更來執行前記轉換處理；前記使用者的手勢，係以手指的數目來特定出平面影 像，以手指的前後移動來變更前記影像間的假想距離。
TW100132251A 2010-09-29 2011-09-07 影像處理裝置、影像處理方法及電腦程式 TWI477141B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010219867 2010-09-29

Publications (2)

Publication Number Publication Date
TW201218746A TW201218746A (en) 2012-05-01
TWI477141B true TWI477141B (zh) 2015-03-11

Family

ID=44785456

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100132251A TWI477141B (zh) 2010-09-29 2011-09-07 影像處理裝置、影像處理方法及電腦程式

Country Status (6)

Country Link
US (2) US9741152B2 (zh)
EP (1) EP2437503A3 (zh)
JP (1) JP2012094111A (zh)
KR (1) KR20120033246A (zh)
CN (1) CN102438164B (zh)
TW (1) TWI477141B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013005376A (ja) * 2011-06-21 2013-01-07 Office Sansara Co Ltd 画像処理プログラム、画像処理装置、及び画像処理方法
JP5891819B2 (ja) * 2012-01-31 2016-03-23 セイコーエプソン株式会社 印刷装置および印刷物の製造方法
US20130265296A1 (en) * 2012-04-05 2013-10-10 Wing-Shun Chan Motion Activated Three Dimensional Effect
US9610449B2 (en) * 2013-05-16 2017-04-04 Nuvectra Corporation Method and apparatus for displaying a graphical impedance history for output channels of a lead
US20160180584A1 (en) * 2013-06-26 2016-06-23 Lucid Global, Llc. Virtual model user interface pad
US20150033157A1 (en) * 2013-07-25 2015-01-29 Mediatek Inc. 3d displaying apparatus and the method thereof
US9667948B2 (en) * 2013-10-28 2017-05-30 Ray Wang Method and system for providing three-dimensional (3D) display of two-dimensional (2D) information
US20150134651A1 (en) 2013-11-12 2015-05-14 Fyusion, Inc. Multi-dimensional surround view based search
US20150215530A1 (en) * 2014-01-27 2015-07-30 Microsoft Corporation Universal capture
US10334221B2 (en) * 2014-09-15 2019-06-25 Mantisvision Ltd. Methods circuits devices systems and associated computer executable code for rendering a hybrid image frame
US20160198097A1 (en) * 2015-01-05 2016-07-07 GenMe, Inc. System and method for inserting objects into an image or sequence of images
JP6525617B2 (ja) * 2015-02-03 2019-06-05 キヤノン株式会社 画像処理装置およびその制御方法
US20170155886A1 (en) * 2015-06-24 2017-06-01 Derek John Hartling Colour-Z: Low-D Loading to High-D Processing
JP6784115B2 (ja) * 2016-09-23 2020-11-11 コニカミノルタ株式会社 超音波診断装置及びプログラム
AU2017348370A1 (en) * 2016-10-28 2019-06-13 Axon Enterprise, Inc. Systems and methods for supplementing captured data
US10810776B2 (en) 2016-11-28 2020-10-20 Sony Corporation Image processing device and image processing method
US10735707B2 (en) * 2017-08-15 2020-08-04 International Business Machines Corporation Generating three-dimensional imagery
DE102018130640A1 (de) * 2017-12-18 2019-06-19 Löwenstein Medical Technology S.A. Luxembourg Virtuelle Bedienung
JP6532094B1 (ja) * 2018-04-06 2019-06-19 株式会社アクセル 表示処理装置、表示処理方法、及びプログラム
KR102454180B1 (ko) * 2018-12-31 2022-10-14 한국전자통신연구원 3차원 지형 데이터를 생성 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030214662A1 (en) * 2002-05-14 2003-11-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and recording medium
US20090317061A1 (en) * 2008-06-24 2009-12-24 Samsung Electronics Co., Ltd. Image generating method and apparatus and image processing method and apparatus
TWM382675U (en) * 2010-02-09 2010-06-11 Chunghwa Telecom Co Ltd Video camera control device based on gesture recognition

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3182321B2 (ja) * 1994-12-21 2001-07-03 三洋電機株式会社 疑似立体動画像の生成方法
US6130676A (en) * 1998-04-02 2000-10-10 Avid Technology, Inc. Image composition system and process using layers
US6208348B1 (en) * 1998-05-27 2001-03-27 In-Three, Inc. System and method for dimensionalization processing of images in consideration of a pedetermined image projection format
US6404443B1 (en) * 1999-08-25 2002-06-11 Sharp Laboratories Of America Three-dimensional graphical user interface for managing screen objects
KR20030029649A (ko) * 2000-08-04 2003-04-14 다이나믹 디지탈 텝스 리서치 피티와이 엘티디 화상 변환 및 부호화 기술
TWI243320B (en) * 2001-03-28 2005-11-11 Ulead Systems Inc Method for manipulating multiple multimedia objects
JP4729812B2 (ja) * 2001-06-27 2011-07-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
CA2511040A1 (en) * 2004-09-23 2006-03-23 The Governors Of The University Of Alberta Method and system for real time image rendering
JP4625978B2 (ja) * 2005-04-22 2011-02-02 テクトロニクス・インターナショナル・セールス・ゲーエムベーハー 信号発生装置及びパラメータ編集画面層表示方法
US20070060346A1 (en) * 2005-06-28 2007-03-15 Samsung Electronics Co., Ltd. Tool for video gaming system and method
US9395905B2 (en) * 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
KR20100041006A (ko) * 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
WO2010084724A1 (ja) * 2009-01-21 2010-07-29 株式会社ニコン 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体
JP2010210712A (ja) 2009-03-06 2010-09-24 Sony Corp 画像表示装置、画像表示観察システム及び画像表示方法
JP2010219867A (ja) 2009-03-17 2010-09-30 Sharp Corp 印刷ジョブ処理装置及び画像処理システム
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
US9042636B2 (en) * 2009-12-31 2015-05-26 Disney Enterprises, Inc. Apparatus and method for indicating depth of one or more pixels of a stereoscopic 3-D image comprised from a plurality of 2-D layers
US8520935B2 (en) * 2010-02-04 2013-08-27 Sony Corporation 2D to 3D image conversion based on image content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030214662A1 (en) * 2002-05-14 2003-11-20 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and recording medium
US20090317061A1 (en) * 2008-06-24 2009-12-24 Samsung Electronics Co., Ltd. Image generating method and apparatus and image processing method and apparatus
TWM382675U (en) * 2010-02-09 2010-06-11 Chunghwa Telecom Co Ltd Video camera control device based on gesture recognition

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Guo-Shiang Lin, Cheng-Ying Yeh, Wei-Chih Chen, and Wen-Nung Lie, "A 2D to 3D Conversion Scheme Based on Depth Cues Analysis for MPEG Videos," Proc. Of IEEE Int’l Conf. On Multimedia and Expo (ICME-2010), Singapore, July 2010.^&rn^ *

Also Published As

Publication number Publication date
EP2437503A3 (en) 2014-02-26
CN102438164A (zh) 2012-05-02
CN102438164B (zh) 2015-10-28
JP2012094111A (ja) 2012-05-17
EP2437503A2 (en) 2012-04-04
US20140125661A1 (en) 2014-05-08
KR20120033246A (ko) 2012-04-06
US9741152B2 (en) 2017-08-22
US20120075290A1 (en) 2012-03-29
TW201218746A (en) 2012-05-01

Similar Documents

Publication Publication Date Title
TWI477141B (zh) 影像處理裝置、影像處理方法及電腦程式
US9307224B2 (en) GUI providing method, and display apparatus and 3D image providing system using the same
KR102090624B1 (ko) 이미지 촬영장치 및 방법
EP2650039B1 (en) System and method of imaging
KR20190039774A (ko) 가상 시점 화상의 생성에 관한 정보 처리 장치, 방법 및 프로그램
WO2013054462A1 (ja) ユーザーインタフェース制御装置、ユーザーインタフェース制御方法、コンピュータプログラム、及び集積回路
TWI572203B (zh) 媒體串流系統、控制方法及非暫態電腦可讀取儲存媒體
WO2013108285A1 (ja) 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
US20120092457A1 (en) Stereoscopic image display apparatus
US9177382B2 (en) Image processing apparatus for forming synthetic image and image processing method for forming synthetic image
JP2012015619A (ja) 立体表示装置及び立体撮影装置
JP5754044B2 (ja) 撮像装置及び画像通信システム
KR101632514B1 (ko) 깊이 영상 업샘플링 방법 및 장치
JP5212521B2 (ja) 画像表示装置
WO2012169097A1 (en) Image processing apparatus, image processing method, and program
JP5901376B2 (ja) 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
TWI502960B (zh) 二維轉三維轉換裝置及其方法
JP6318547B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP4995966B2 (ja) 画像処理装置、方法およびプログラム
JP2012015799A (ja) 画像処理装置、画像処理方法、投影装置及びプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees