TWI432884B - An image processing apparatus, an image pickup apparatus, and an image processing method, and a program - Google Patents

An image processing apparatus, an image pickup apparatus, and an image processing method, and a program Download PDF

Info

Publication number
TWI432884B
TWI432884B TW100133233A TW100133233A TWI432884B TW I432884 B TWI432884 B TW I432884B TW 100133233 A TW100133233 A TW 100133233A TW 100133233 A TW100133233 A TW 100133233A TW I432884 B TWI432884 B TW I432884B
Authority
TW
Taiwan
Prior art keywords
image
eye
short
motion amount
detecting unit
Prior art date
Application number
TW100133233A
Other languages
English (en)
Other versions
TW201224635A (en
Inventor
Ryota Kosakai
Seijiro Inaba
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of TW201224635A publication Critical patent/TW201224635A/zh
Application granted granted Critical
Publication of TWI432884B publication Critical patent/TWI432884B/zh

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

影像處理裝置、攝像裝置、及影像處理方法、以及程式
本發明係有關於影像處理裝置、攝像裝置、及影像處理裝置、以及程式。更詳言之，是有關於，利用一面移動相機一面拍攝到的複數影像來進行3維影像(3D影像)顯示用影像之生成處理的影像處理裝置、攝像裝置、及影像處理方法、以及程式。
為了生成3維影像(亦稱作3D影像或立體影像)，必須要有從不同視點觀看之影像，亦即需要拍攝左眼用影像與右眼用影像。拍攝這些從不同視點觀看之影像的方法，大致上可分為2種。
第1方法，係使用複數個相機單元而同時從不同視點來拍攝被攝體，亦即所謂使用多眼式相機的手法。
第2方法，係使用單一個相機單元而使攝像裝置移動，連續地從不同視點拍攝影像，亦即所謂使用單眼式相機的手法。
例如，上記第1手法中所利用的多眼式相機系統係在分離的位置上具備有鏡頭，具有可同時從不同視點拍攝被攝體的構成。可是，此種多眼式相機系統，係由於需要複數個相機單元，因此會有相機系統較為昂貴之問題。
相對於此，上記第2手法所使用的單眼式相機系統，係只要具備和先前型之相機相同的1台相機單元來構成即可。使具備1個相機單元的相機移動而從不同視點連續拍攝影像，利用複數攝影影像來生成3維影像。
像這樣利用單眼式相機系統的情況下，只要和先前型相同的1台相機單元即可，可以實現較為廉價的系統。
此外，揭露根據一面移動單眼式相機一面拍攝到的影像來獲得被攝體的距離資訊之手法的先前技術，係有非專利文獻1[「全方位視野的距離資訊獲得」(電子資訊通訊學會論文誌，D-II，Vol.J74-D-II，No.4，1991)]。此外，非專利文獻2[「Omni-Directional Stereo」IEEE Transaction On Pattern Analysis And Machine Intelligence，VOL.14，No.2，February 1992]中也有記載與非專利文獻1相同內容的報告。
這些非專利文獻1、2係揭露，將相機固定設置在旋轉台上從旋轉中心起遠離一定距離的圓周上，一面使旋轉台旋轉一面連續拍攝影像，而使用通過2條垂直狹縫所獲得的2個影像，來獲取被攝體之距離資訊的手法。
又，專利文獻1(日本特開平11-164326號公報)，係與非專利文獻1、2之構成相同，揭露以下構成：將相機設置在旋轉台上從旋轉中心起遠離一定距離而使其一面旋轉一面拍攝影像，使用通過2條狹縫所得的2個影像，以取得適用於3維影像顯示的左眼用全景影像與右眼用全景影像。
如此，於複數先前技術中係揭露了，藉由使相機旋轉而使用通過狹縫所得的影像，而可取得適用於3維影像顯示的左眼用影像與右眼用影像。
另一方面，一面移動相機一面拍攝影像，藉由連結複數攝影影像以生成全景影像、亦即2維的橫長影像之手法，係為人所知。例如專利文獻2(日本專利第3928222號公報)，或專利文獻3(日本專利第4293053號公報)等中，揭露有全景影像的生成手段。
如此生成2維全景影像之際，也是利用了相機移動所得的複數攝影影像。
上述非專利文獻1、2或上述專利文獻1，係說明適用與全景影像生成處理相同之攝影處理所拍攝到的複數影像，藉由將所定領域之影像予以切出並連結而獲得作為3維影像之左眼用影像與右眼用影像之原理。
可是，例如，使用者將手持的相機藉由揮掃動作而使相機移動所拍攝到的複數撮影影像，適用其而將所定領域影像予以切出並連結，以生成作為3維影像之左眼用影像與右眼用影像的情況下，會發生隨著旋轉半徑R、焦距f，導致適用最終生成之左眼用影像與右眼用影像進行3維影像顯示時，縱深感變得不穩定之問題。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開平11-164326號公報
[專利文獻2]日本專利第3928222號公報
[專利文獻3]日本專利第4293053號公報
[非專利文獻]
[非專利文獻1]「全方位視野的距離資訊獲得」(電子資訊通訊學會論文誌，D-II，Vol.J74-D-II，No.4，1991)
[非專利文獻2]「Omni-Directional Stereo」IEEE Transaction On Pattern Analysis And Machine Intelligence，VOL.14，No.2，February 1992
本發明係有鑑於例如上述問題點而研發，目的在於提供一種影像處理裝置、攝像裝置、及影像處理方法、以及程式，在各種設定的攝影裝置或攝影條件下，在從使相機移動所拍攝到的複數影像而生成適用於3維影像顯示的左眼用影像與右眼用影像的構成中，即使相機攝影條件有變動，仍可生成具有穩定之縱深感的3維影像資料。
本發明之第1側面，係在於一種影像處理裝置，其係具有影像合成部，係將從不同位置所拍攝到的複數影像予以輸入，並將從各影像中所切出的短箋領域加以連結，以生成合成影像；前記影像合成部，係藉由對各影像所設定之左眼用影像短箋的連結合成處理以生成適用於3維影像顯示的左眼用合成影像，並藉由對各影像所設定之右眼用影像短箋的連結合成處理以生成適用於3維影像顯示的右眼用合成影像之構成；前記影像合成部，係隨著影像的攝影條件來變更前記左眼用影像短箋與右眼用影像短箋的短箋間距離亦即短箋間偏置量而進行前記左眼用影像短箋與右眼用影像短箋的設定處理，以使得相當於前記左眼用合成影像與右眼用合成影像之攝影位置間之距離的基線長維持大致一定。
再者，於本發明之影像處理裝置的一實施形態中，前記影像合成部，係隨著影像之作為攝影條件的影像攝影時之影像處理裝置的旋轉半徑及焦距，而進行調整前記短箋間偏置量的處理。
再者，於本發明之影像處理裝置的一實施形態中，前記影像處理裝置係具有：旋轉運動量偵測部，係取得或算出影像攝影時的影像處理裝置之旋轉運動量；和平移運動量偵測部，係取得或算出影像攝影時的影像處理裝置之平移運動量；前記影像合成部，係適用從前記旋轉運動量偵測部所收到的旋轉運動量、和從前記平移運動量偵測部所取得的平移運動量，而執行影像攝影時之影像處理裝置之旋轉半徑的算出處理。
再者，於本發明之影像處理裝置的一實施形態中，前記旋轉運動量偵測部，係為用來偵測影像處理裝置之旋轉運動量的感測器。
再者，於本發明之影像處理裝置的一實施形態中，前記平移運動量偵測部，係為用來偵測影像處理裝置之平移運動量的感測器。
再者，於本發明之影像處理裝置的一實施形態中，前記旋轉運動量偵測部，係為藉由攝影影像之解析而偵測出影像攝影時之旋轉運動量的影像解析部。
再者，於本發明之影像處理裝置的一實施形態中，前記平移運動量偵測部，係為藉由攝影影像之解析而偵測出影像攝影時之平移運動量的影像解析部。
再者，於本發明之影像處理裝置的一實施形態中，前記影像合成部，係適用從前記旋轉運動量偵測部所收到的旋轉運動量θ、和從前記平移運動量偵測部所取得的平移運動量t，而執行將影像攝影時之影像處理裝置之旋轉半徑R，
R=t(2sin(θ/2))
依照上式而加以算出之處理。
再者，本發明之第2側面，係在於一種攝像裝置，其係具備攝像部、和執行如請求項1～8之任一項所記載之影像處理的影像處理部。
再者，本發明之第3側面，係在於一種影像處理方法，係屬於影像處理裝置中所執行的影像處理方法，其係，由影像合成部執行影像合成部步驟，其係將從不同位置所拍攝到的複數影像予以輸入，並將從各影像中所切出的短箋領域加以連結，以生成合成影像；前記影像合成步驟係包含有下處理：藉由對各影像所設定之左眼用影像短箋的連結合成處理以生成適用於3維影像顯示的左眼用合成影像，並藉由對各影像所設定之右眼用影像短箋的連結合成處理以生成適用於3維影像顯示的右眼用合成影像；而且係為，隨著影像的攝影條件來變更前記左眼用影像短箋與右眼用影像短箋的短箋間距離亦即短箋間偏置量而進行前記左眼用影像短箋與右眼用影像短箋的設定處理，以使得相當於前記左眼用合成影像與右眼用合成影像之攝影位置間之距離的基線長維持大致一定之步驟。
再者，本發明之第4側面，係在於一種程式，係屬於在影像處理裝置中令其執行影像處理的程式，其係，令影像合成部執行影像合成部步驟，其係將從不同位置所拍攝到的複數影像予以輸入，並將從各影像中所切出的短箋領域加以連結，以生成合成影像；在前記影像合成步驟中，係執行：藉由對各影像所設定之左眼用影像短箋的連結合成處理以生成適用於3維影像顯示的左眼用合成影像的處理、和藉由對各影像所設定之右眼用影像短箋的連結合成處理以生成適用於3維影像顯示的右眼用合成影像的處理；而且還隨著影像的攝影條件來變更前記左眼用影像短箋與右眼用影像短箋的短箋間距離亦即短箋間偏置量而進行前記左眼用影像短箋與右眼用影像短箋的設定處理，以使得相當於前記左眼用合成影像與右眼用合成影像之攝影位置間之距離的基線長維持大致一定。
此外，本發明的程式，係對例如可執行各種程式碼的資訊處理裝置或電腦系統，藉由以電腦可讀取之形式而提供的記憶媒體、通訊媒體，來加以提供的程式。藉由將此種程式以電腦可讀取形式來提供，就可在資訊處理裝置或電腦系統上實現相應於程式的處理。
本發明的更多其他目的、特徵或優點，係可基於後述本發明之實施例或添附圖面所作的更詳細說明來理解。此外，本說明書中所謂的系統，係為複數裝置的邏輯集合構成，各構成的裝置係不侷限於在同一框體內。
若依據本發明之一實施例之構成，則可提供一種，把從複數影像所切出之短箋領域加以連結而生成基線長大致一定之3維影像顯示用之左眼用合成影像與右眼用合成影像的裝置及方法。把從複數影像所切出之短箋領域加以連結而生成3維影像顯示用之左眼用合成影像與右眼用合成影像。影像合成部，係藉由對各攝影影像所設定之左眼用影像短箋的連結合成處理以生成適用於3維影像顯示的左眼用合成影像，並藉由對各攝影影像所設定之右眼用影像短箋的連結合成處理以生成適用於3維影像顯示的右眼用合成影像。影像合成部，係隨著影像的攝影條件來變更左眼用影像短箋與右眼用影像短箋的短箋間距離亦即短箋間偏置量而進行左眼用影像短箋與右眼用影像短箋的設定處理，以使得相當於左眼用合成影像與右眼用合成影像之攝影位置間之距離的基線長維持大致一定。藉由此處理，就可生成基線長大致一定的3維影像顯示用之左眼用合成影像與右眼用合成影像，可實現無異樣感的3維影像顯示。
以下，一面參照圖面，一面說明本發明的影像處理裝置、攝像裝置、及影像處理方法、以及程式。說明是按照以下項目順序進行。
1.全景影像之生成與3維(3D)影像生成處理的基本構成
2.利用相機移動所拍攝的複數影像之短箋領域的3D影像生成時的問題點
3.本發明之影像處理裝置的構成例
4.影像攝影及影像處理程序
5.旋轉運動量偵測部、與平移運動量偵測部的具體構成例
6.短箋間偏置D之算出處理的具體例
[1.全景影像之生成與3維(3D)影像生成處理的基本構成]
本發明係有關於，使用一面移動攝像裝置(相機)一面連續拍攝到的複數影像，將從各影像短箋狀地切出之領域(短箋領域)加以連結以生成適用於3維(3D)影像顯示的左眼用影像(L影像)與右眼用影像(R影像)之處理。
此外，可利用一面移動相機一面連續拍攝到的複數影像來生成2維全景影像(2D全景影像)的相機，係已經被實現且利用。首先，關於以2維合成影像方式所被生成的全景影像(2D全景影像)之生成處理，參照圖1來說明。圖1中係為，
(1)攝影處理
(2)攝影影像
(3)2維合成影像(2D全景影像)
是用來說明這些的圖示。
使用者係將相機10設定成全景攝影模式，手持相機10，按下快門然後如圖1(1)所示般地使相機從左(A點)往右(B點)移動。相機10係在全景攝影模式設定下一旦偵測到使用者所做的快門按下，則而行連續的影像攝影。例如，會連續拍攝數10～100張左右的影像。
這些影像係為圖1(2)所示的影像20。這些複數影像20，係為一面移動相機10一面連續拍攝到的影像，是從不同視點觀看的影像。例如100張由不同視點所拍攝到的影像20，係被依序記憶至記憶體上。相機10的資料處理部，係從記憶體中讀出圖1(2)所示的複數影像20，從各影像切出用來生成全景影像所需的短箋領域，執行將切出之短箋領域加以連結的處理，而生成圖1(3)所示的2D全景影像30。
圖1(3)所示的2D全景影像30，係維2維(2D)之影像，係單純將攝影影像的一部分予以切出而加以連結，以成為橫長的影像。圖1(3)中所示的虛線，係表示影像的連結部。各影像20的切出領域，稱作短箋領域。
本發明的影像處理裝置或攝像裝置，係利用與該圖1所示相同的影像攝影處理，亦即如圖1(1)所示般地一面移動相機一面連續拍攝到的複數影像，來生成適用於3維(3D)影像顯示的左眼用影像(L影像)與右眼用影像(R影像)。
關於該左眼用影像(L影像)與右眼用影像(R影像)生成處理之基本構成，參照圖2來說明。
圖2(a)中係圖示了，圖1(2)中所示的全景攝影時所拍攝到的1張影像20。
適用於3維(3D)影像顯示的左眼用影像(L影像)與右眼用影像(R影像)，係和參照圖1所說明過的2D全景影像之生成處理同樣地，是從該影像20中切出所定之短箋領域並加以連結所生成。
只不過，會成為切出領域的短箋領域，係在左眼用影像(L影像)與右眼用影像(R影像)時會是不同位置。
如圖2(a)所示，左眼用影像短箋(L影像短箋)51、和右眼用影像短箋(R影像短箋)52，切出位置係為不同。圖2中雖然僅圖示1個影像20，但針對圖1(2)所示的使相機移動而拍攝到的複數影像之每一者，分別設定不同切出位置的左眼用影像短箋(L影像短箋)、和右眼用影像短箋(R影像短箋)。
其後，僅將左眼用影像短箋(L影像短箋)予以集合而連結，就可生成圖2(b1)的3D左眼用全景影像(3D全景L影像)。
又，僅將右眼用影像短箋(R影像短箋)予以集中而連結，就可生成圖2(b2)的3D右眼用全景影像(3D全景R影像)。
如此，藉由將邊移動相機邊拍攝到之複數各影像的切出位置設定成不同的短箋加以連結，就可生成適用於3維(3D)影像顯示的左眼用影像(L影像)與右眼用影像(R影像)。參照圖3來說明該原理。
圖3係圖示了，使相機10移動而在2個攝影地點(a)，(b)上拍攝被攝體80的狀況。在(a)地點上，被攝體80的影像係，在相機10的攝像元件70的左眼用影像短箋(L影像短箋)51裡，記錄下從左側觀看到的影像。接著，在相機10所移動到的(b)地點上，被攝體80的影像係，在相機10的攝像元件70的右眼用影像短箋(R影像短箋)52裡，記錄下從右側觀看到的影像。
如此，對同一被攝體而從不同視點觀看之影像，會被記錄在攝像元件70的所定領域(短箋領域)。
將它們個別地抽出，亦即，僅將左眼用影像短箋(L影像短箋)予以集合而連結，就可生成圖2(b1)的3D左眼用全景影像(3D全景L影像)，僅將右眼用影像短箋(R影像短箋)予以集合而連結，就可生成圖2(b2)的3D右眼用全景影像(3D全景R影像)。
此外，在圖3中，雖然為了便於理解而圖示了相機10是從被攝體80的左側往右側交錯過被攝體的移動之設定，但此種相機10交錯過被攝體80之移動，並非必須。只要相機10的攝像元件70的所定領域中能夠記錄下從不同視點觀看之影像，就可以生成適用於3D影像顯示的左眼用影像與右眼用影像。
接著，參照圖4，說明使用了在以下的說明中所適用的假想攝像元件的反模型。圖4中係為，
(a)影像攝影構成
(b)順模型
(c)反模型
這些各圖的圖示。
圖4(a)所示的影像攝影構成，係為和參照圖3所說明之相同的全景影像的攝影時的處理構成的圖示。
圖4(b)中係圖示了，於圖4(a)所示的攝影處理中，實際被相機10內的攝像元件70所擷取的影像的例子。
在攝像元件70中，如圖4(b)所示，左眼用影像72、右眼用影像73係上下反轉而被記錄。由於利用此種反轉之影像來說明會容易造成混亂，因此以下的說明中，是利用圖4(c)所示的反模型來說明。
此外，此反模型係為，在攝像裝置的影像解說等時候會被頻繁利用的模型。
圖4(c)所示的反模型，係在相機之焦點所對應的光學中心102的前方，設定假想攝像元件101，並想定被攝體光是被攝入該假想攝像元件101。如圖4(c)所示，往假想攝像元件101，相機前方左側的被攝體A91係被攝入至左側、相機前方右側的被攝體B92係被攝入至右側，是上下也沒有顛倒的設定，是直接反映出實際的被攝體的位置關係。亦即，假想攝像元件101上的影像，係為和實際攝影影像相同的影像資料。
以下的說明中，係適用了有使用該假想攝像元件101之反模型來進行說明。
只不過，如圖4(c)所示，在假想攝像元件101上，左眼用影像(L影像)111係被攝入至假想攝像元件101上的右側，右眼用影像(R影像)112係被攝入至假想攝像元件101上的左側。
[2.利用相機移動所拍攝的複數影像之短箋領域的3D影像生成時的問題點]
接著說明，利用相機移動所拍攝的複數影像之短箋領域的3D影像生成時的問題點。
作為全景影像(3D全景影像)之攝影處理之模型，想定如圖5所示的攝影模型。如圖5所示，以相機100的光學中心102是被設定在從旋轉中心的旋轉軸P起算遠離一距離R(旋轉半徑)之位置的方式，來放置相機100。
假想攝像元件101係被設定在，從光學中心102起算， 保持一焦距f而從旋轉軸P往外側設定。
在如此設定下，使相機100繞著旋轉軸P而朝右旋(從A往B方向)旋轉，連續拍攝複數張影像。
於各攝影點上，左眼用影像短箋111、右眼用影像短箋112之各影像，會被記錄在假想攝像元件101上。
記錄影像係為例如圖6所示般的構成。
圖6係圖示被相機100所拍攝的影像110。此外，該影像110係與假想攝像元件101上的影像相同。
對影像110，如圖6所示，將從影像中心部往左偏置而切成短箋狀的領域(短箋領域)視為右眼用影像短箋112，往右偏置而切成短箋狀的領域(短箋領域)視為左眼用影像短箋111。
此外，圖6中係作為參考而圖示了，2維(2D)全景影像生成時所利用的2D全景影像短箋115。
如圖6所示，將2維合成影像用的短箋亦即2D全景影像短箋115與左眼用影像短箋111之距離，及2D全景影像短箋115與右眼用影像短箋112的距離，定義為：「偏置」、或「短箋偏置」=d1，d2。
然後，將左眼用影像短箋111與右眼用影像短箋112之距離，定義為：「短箋間偏置」=D。
此外，短箋間偏置=(短箋偏置)×2
D=d1+d2。
短箋寬度w，係2D全景影像短箋115、左眼用影像短箋111、右眼用影像短箋112皆為共通的寬度w。該短箋寬度，係隨著相機的移動速度等而變化。相機的移動速度較快時則短箋寬度w係較寬，較慢時則變窄。這點在後段中還會再說明。
短箋偏置或短箋間偏置係可設定成各式各樣的值。例如若短箋偏置加大，則左眼用影像與右眼用影像的視差就會變大，若短箋偏置縮小，則左眼用影像與右眼用影像就會變小。
若設短箋偏置=0，則左眼用影像短箋111=右眼用影像短箋112=2D全景影像短箋115。
此時，將左眼用影像短箋111加以合成所得之左眼用合成影像(左眼用全景影像)、與將右眼用影像短箋112加以合成所得之右眼用合成影像(右眼用全景影像)係為完全相同的影像，亦即，是與將2D全景影像短箋115加以合成所得之2維全景影像相同的影像，無法利用於3維影像顯示。
此外，在以下的說明中，短箋寬度w、或短箋偏置、短箋間偏置的長度，係以藉由像素數(pixel)所規定的值來說明。
相機100內的資料處理部，係求出一面移動相機100一面連續拍攝到之影像間的運動向量，一面使得前述之短箋領域的圖案能夠聯繫起來的方式來做定位，一面依序決定 從各影像中所切出的短箋領域，將已從各影像所切出之短箋領域，加以連結。
亦即從各影像中僅選擇出左眼用影像短箋111而加以連結合成以生成左眼用合成影像(左眼用全景影像)，僅選擇出右眼用影像短箋112而加以連結合成以生成右眼用合成影像(右眼用全景影像)。
圖7(1)係為短箋領域的連結處理例之圖示。令各影像的攝影時間間隔為△t，而想定在攝影時間：T=0~n△t之間，拍攝了n+1張影像。將從這些n+1張之各影像中所取出的短箋領域，加以連結。
其中，在生成3D左眼用合成影像(3D全景L影像)時，係僅將左眼用影像短箋(L影像短箋)111加以抽出而連結。又，在生成3D右眼用合成影像(3D全景R影像)時，係僅將右眼用影像短箋(R影像短箋)112加以抽出而連結。
如此藉由僅將左眼用影像短箋(L影像短箋)111加以集合而連結，就可生成圖7(2a)的3D左眼用合成影像(3D全景L影像)。
又，如此藉由僅將右眼用影像短箋(R影像短箋)112加以集合而連結，就可生成圖7(2b)的3D右眼用合成影像(3D全景R影像)。
如參照圖6、圖7所說明，將從影像110之中心往右側偏置的短箋領域予以連接起來，就可生成圖7(2a)的3D左眼用合成影像(3D全景 L影像)。
將從影像110之中心往左側偏置的短箋領域予以連接起來，就可生成圖7(2b)的3D右眼用合成影像(3D全景R影像)。
這些2張影像中，如之前參照圖3所說明，基本上是映照著相同的被攝體，但即使是相同的被攝體也是從不同位置所拍攝，因此會產生視差。藉由將這些具有視差的2個影像顯示在可顯示3D(立體)影像的顯示裝置上，就可立體地顯示攝像對象的被攝體。
此外，3D影像的顯示方式中，係有各式各樣的方式。
例如有，藉由偏光濾鏡、色彩濾鏡而將左右各眼所分別觀察之影像加以分離的被動眼鏡方式對應的3D影像顯示方式、或左右交互開閉液晶快門而使所觀察之影像是左右眼交互地時間性分離的主動眼鏡方式對應的3D影像顯示方式。
藉由上述的短箋連結處理所生成的左眼用影像、右眼用影像，係可適用於這些各方式。
藉由如上述般地從邊移動相機邊連續拍攝到的複數影像之各者中切出短箋領域以生成左眼用影像與右眼用影像，就可生成從不同視點、亦即從左眼位置與右眼位置所觀察到的左眼用影像、右眼用影像。
如之前參照圖6所說明，若短箋偏置加大，則左眼用影像與右眼用影像的視差就會變大，若短箋偏置縮小，則左眼用影像與右眼用影像就會變小。
視差係對應於，左眼用影像與右眼用影像的攝影位置間之距離亦即基線長。之前參照圖5所說明過的使1台相機移動而進行影像攝影的系統中的基線長(假想基線長)，係對應於圖8所示的距離B。
假想基線長B，近似上係可用以下的式子(式1)來求出。
B=R×(D/f)‧‧‧(式1)
其中，
R係為相機的旋轉半徑(參照圖8)
D係為短箋間偏置(參照圖8)(左眼用影像短箋與右眼用影像短箋的距離)
f係為焦距(參照圖8)。
例如，利用使用者邊移動手持之相機邊拍攝的影像來生成左眼用影像與右眼用影像時，上記的各參數、亦即旋轉半徑R、焦距f係為會改變的值。亦即，藉由變焦處理或廣角影像攝影處理等之使用者操作，焦距f會被變更。使用者所進行之相機移動的揮掃動作是小幅度、大幅度時，旋轉半徑R也會不同。
因此，一旦這些R，f有所變化，假想基線長B係在每次攝影時會有所變動，無法穩定提供最終立體影像的縱深感。
由上式(式1)可以理解，若相機的旋轉半徑R越大，則假想基線長B也呈正比變大。另一方面，若焦距f越大，則假想基線長B則呈反比而變小。
相機的旋轉半徑R與焦距f不同時的假想基線長B之變化例，示於圖9。
圖9中係為，
(a)　旋轉半徑R、焦距f較小時的假想基線長B
(b)　旋轉半徑R、焦距f較大時的假想基線長B
圖示這些資料例子。
如前述，相機的旋轉半徑R與假想基線長B係呈正比，另一方面，焦距f與假想基線長B係呈反比之關係，例如在使用者的攝影動作中，若這些R、f有改變，則假想基線長B係會變化成各式各樣的長度。
若使用這種具有各式各樣基線長的影像來生成左眼用影像與右眼用影像，則會變成位於某特定距離之被攝體的距離間會有前後變動的呈現不穩定之影像，存在此種問題點。
本發明係提供一種構成，即使在此種攝影處理中攝影條件有所變動，仍可防止或抑制基線長的變動，生成可獲得穩定之距離間的左眼用影像與右眼用影像。以下，說明該處理之細節。
[3.本發明之影像處理裝置的構成例]
首先，關於本發明的影像處理裝置之一實施例的攝像裝置之構成例，參照圖10來說明。
圖10所示的攝像裝置200，係相當於之前參照圖1所說明的相機10，具有例如可讓使用者手持，在全景攝影模式下連續拍攝複數影像的構成。
來自被攝體的光係經過透鏡系201而入射至攝像元件202。攝像元件202係由例如CCD(Charge Coupled Device)或CMOS(Complementary Metal Oxide Semiconductor)感測器所構成。
入射至攝像元件202的被攝體像，係被攝像元件202轉換成電氣訊號。此外，雖然未圖示，但攝像元件202係具有所定之訊號處理電路，將訊號處理電路中所被轉換成的電氣訊號，再轉換成數位影像資料，然後供給至影像訊號處理部203。
在影像訊號處理部203中，係進行γ補正或輪廓強調補正等之影像訊號處理，將作為訊號處理結果的影像訊號，顯示在顯示部204。
然後，作為影像訊號處理部203之處理結果的影像訊號，係用來適用合成處理所需的影像記憶體亦即影像記憶體(合成處理用)205、用來偵測所被連續攝影之各影像間的移動量所需的影像記憶體亦即影像記憶體(移動量偵測用)206、算出各影像間之移動量的移動量偵測部207、這些各部。
移動量偵測部207，係取得從影像訊號處理部203所供給的影像訊號，還有被保存在影像記憶體(移動量偵測用)206中的前1個畫格的影像，偵測出目前影像與前1畫 格之影像的移動量。例如，執行構成連續拍攝到之2個影像的像素間的比對處理、亦即判別同一被攝體之攝影領域的比對處理，在各影像間算出有移動之像素數。此外，基本而言，是假設被攝體呈靜止而進行處理。若有移動被攝體存在時，則會偵測到與影像全體之運動不同的運動向量，但這些移動被攝體所對應之運動向量，係被視為偵測對象外而進行處理。亦即，是偵測出伴隨相機移動所產生的影像全體之運動所對應的運動向量(GMV：全域運動向量)。
此外，移動量係例如以移動像素數的方式而算出。影像n的移動量，係藉由影像n、與先前影像n-1之比較而執行，將所被偵測到的移動量(像素數)當作對應於影像n的移動量而儲存在移動量記憶體208中。
此外，影像記憶體(合成處理用)205，係為用來保存已被連續攝影之影像的合成處理、亦即全景影像生成所需之影像用的記憶體。該影像記憶體(合成處理用)205，係亦可為將全景攝影模式下所拍攝到的例如n+1張影像之所有影像加以保存的構成，但亦可設定成，例如將影像的端部切掉，僅將全景影像之生成所必須之短箋領域這種影像的中央領域加以選擇而保存即可。藉由如此設定，就可削減所需要的記憶體容量。
又，影像記憶體(合成處理用)205係不僅是攝影影像資料，而是還會將焦距[f]等之攝影參數等，也當成是影像的屬性資訊而對應於影像加以記錄。這些參數係也會連同影像資料一起提供至影像合成部220。
旋轉運動量偵測部211、平移運動量偵測部212，係例如分別是被攝像裝置200所具備的感測器，或是被構成為會進行攝影影像之解析的影像解析部。
被構成為感測器的情況下，旋轉運動量偵測部211係為偵測出相機的縱搖/翻滾/橫搖等相機姿勢的姿勢偵測感測器。平移運動量偵測部212，係偵測出對世界座標系之運動來作為相機之移動資訊的運動偵測感測器。旋轉運動量偵測部211的偵測資訊，和平移運動量偵測部212的偵測資訊，係皆被提供至影像合成部220。
此外，亦可構成為，這些旋轉運動量偵測部211的偵測資訊、和平移運動量偵測部212的偵測資訊，係在影像的攝影時連同攝影影像一起當成攝影影像的屬性資訊而儲存在影像記憶體(合成處理用)205中，從影像記憶體(合成處理用)205往影像合成部220把合成對象的影像連同偵測資訊一起加以輸入。
又，旋轉運動量偵測部211、平移運動量偵測部212，係亦可並非由感測器而是由會執行影像解析處理的影像解析部來構成。旋轉運動量偵測部211、平移運動量偵測部212，係藉由攝影影像之解析而取得與感測器偵測資訊相同的資訊，將取得資訊提供至影像合成部220。此時，旋轉運動量偵測部211、平移運動量偵測部212，係從影像記憶體(移動量偵測用)206輸入影像資料而執行影像解析。關於這些處理的具體例將於後段中說明。
攝影結束後，影像合成部220係從影像記憶體(合成處理用)205取得影像，還會取得其他必要資訊，從影像記憶體(合成處理用)205所取得之影像中，切出短箋領域並加以連結，執行此種影像合成處理。藉由該處理，就生成左眼用合成影像、右眼用合成影像。
影像合成部220係在攝影結束後，從影像記憶體(合成處理用)205，將攝影中所保存的複數影像(或部分影像)，連同移動量記憶體208中所保存的各影像對應之移動量、還有旋轉運動量偵測部211、平移運動量偵測部212的偵測資訊(藉由感測器偵測或影像解析所取得的資訊)，加以輸入。
影像合成部220係使用這些輸入資訊而在連續拍攝的影像中，設定左眼用影像短箋與右眼用影像短箋，將這些予以切出而執行連結合成之處理，以生成左眼用合成影像(左眼用全景影像)、右眼用合成影像(右眼用全景影像)。然後，針對各影像進行JPEG等之壓縮處理後，記錄至記錄部(記錄媒體)221。
此外，關於影像合成部220的具體構成例與處理，將於後段中詳細說明。
記錄部(記錄媒體)221，係將影像合成部220中所合成的合成影像，亦即，左眼用合成影像(左眼用全景影像)、右眼用合成影像(右眼用全景影像)，加以保存。
記錄部(記錄媒體)221，係只要是能夠記錄數位訊號的記錄媒體，則無論哪種記錄媒體均可，例如可以使用硬碟、光磁碟、DVD(Digital Versatile Disc)、MD(Mini Disk)、半導體記憶體、磁帶等之類的記錄媒體。
此外，雖然在圖10中並未圖示，但圖10所示構成以外，攝像裝置200係還具有可讓使用者操作的快門，或進行變焦設定、模式設定處理等各種輸入所需的輸入操作部，還有控制攝像裝置200中所執行之處理的控制部、或記錄著其他各構成部的處理之程式、程式的記憶部(記憶體)等。
圖10所示的攝像裝置200的各部構成之處理或資料輸出入，係依照攝像裝置200內的控制部之控制而進行。控制部，係將攝像裝置200內的記憶體中預先儲存的程式予以讀出，依照程式，執行攝影影像之取得、資料處理、合成影像之生成、已生成之合成影像的記錄處理、或顯示處理等，攝像裝置200中所被執行之處理的整體控制。
[4.影像攝影及影像處理程序]
接著，參照圖11所示流程圖，說明本發明之影像處理裝置所執行的影像攝影及合成處理程序之一例。
依照圖11所示之流程圖的處理，係在例如圖10所示的攝像裝置200內的控制部的控制之下而被執行。
說明圖11所示之流程圖的各步驟之處理。
首先，影像處理裝置(例如攝像裝置200)係由於電源ON，而進行硬體之診斷或初期化之後，前進至步驟S101。
在步驟S101中，會計算各種攝影參數。在該步驟S101中，例如會取得被曝光計所識別的關於亮度之資訊，計算出光圈值或快門速度等之攝影參數。
接著前進至步驟S102，控制部係判定是否有被使用者進行快門操作。此外，此處係假設已經被設定成3D影像全景攝影模式。
在3D影像全景攝影模式下，藉由使用者的快門操作而會連續攝影複數張影像，而執行從攝影影像切出左眼用影像短箋與右眼用影像短箋，生成可適用於3D影像顯示的左眼用合成影像(全景影像)與右眼用合成影像(全景影像)並加以記錄的處理。
在步驟S102中，控制部係若沒有偵測到使用者的快門操作時，則返回至步驟S101。
另一方面，在步驟S102中，控制部係若有偵測到使用者的快門操作時，則前進至步驟S103。
於步驟S103中，控制部係基於步驟S101中所計算出來的參數而進行控制，開始攝影處理。具體而言，例如，執行圖10所示之透鏡系201的光圈驅動部之調整等，而開始影像之攝影。
影像的攝影處理，係以連續拍攝複數影像之處理的方式，而被進行。從圖10所示的攝像元件202送來的連續攝影影像所分別對應的電氣訊號，係被依序讀出而於影像訊號處理部203中執行γ補正或輪廓強調補正等之處理，處理結果係被顯示在顯示部204上，同時，被依序供給至各記憶體205、206、移動量偵測部207。
接著前進至步驟S104，算出影像間移動量。該處理係為，圖10所示的移動量偵測部207之處理。
移動量偵測部207，係取得從影像訊號處理部203所供給的影像訊號，還有被保存在影像記憶體(移動量偵測用)206中的前1個畫格的影像，偵測出目前影像與前1畫格之影像的移動量。
此外，此處所算出的移動量，係如前述，例如，執行構成連續拍攝到之2個影像的像素間的比對處理、亦即判別同一被攝體之攝影領域的比對處理，在各影像間算出有移動之像素數。此外，基本而言，是假設被攝體呈靜止而進行處理。若有移動被攝體存在時，則會偵測到與影像全體之運動不同的運動向量，但這些移動被攝體所對應之運動向量，係被視為偵測對象外而進行處理。亦即，是偵測出伴隨相機移動所產生的影像全體之運動所對應的運動向量(GMV：全域運動向量)。
此外，移動量係例如以移動像素數的方式而算出。影像n的移動量，係藉由影像n、與先前影像n-1之比較而執行，將所被偵測到的移動量(像素數)當作對應於影像n的移動量而儲存在移動量記憶體208中。
該移動量保存處理係對應於步驟S105的保存處理。在步驟S105中，將步驟S104中所測出的影像間之移動量，與各連拍影像的ID建立關連，保存在圖10所示的移動量記憶體208中。
接著，前進至步驟S106，將步驟S103中所被拍攝、於影像訊號處理部203中已被處理過的影像，儲存在圖10所示的影像記憶體(合成處理用)205中。此外，如前述，影像記憶體(合成處理用)205，係亦可為將全景攝影模式(或3D影像全景攝影模式)下所拍攝到的例如n+1張影像之所有影像加以保存的構成，但亦可設定成，例如將影像的端部切掉，僅將全景影像(3D全景影像)之生成所必須之短箋領域這種影像的中央領域加以選擇而保存即可。藉由如此設定，就可削減所需要的記憶體容量。此外，亦可構成為，在影像記憶體(合成處理用)205中進行了JPEG等之壓縮處理後，加以保存。
接著前進至步驟S107，控制部係判定使用者的快門按壓是否持續。亦即，判別出攝影結束的時序。
若使用者的快門按壓有持續，則要繼續攝影而返回步驟S103，重複被攝體的攝像。
另一方面，於步驟S107中，若判斷為快門的按壓已結束，則必須進入攝影的結束動作而前進至步驟S108。
一旦全景攝影模式下的連續影像攝影結束，則前進至步驟S108。
於步驟S108中，影像合成部220係算出作為3D影像的左眼用影像與右眼用影像的短箋領域的偏置量、亦即左眼用影像與右眼用影像的短箋領域間之距離(短箋間偏置)：D。
此外，如之前參照圖6所說明，於本說明書中，係將2維合成影像用的短箋亦即2D全景影像短箋115與左眼用影像短箋111之距離，及2D全景影像短箋115與右眼用影像短箋112的距離，定義為：
「偏置」、或「短箋偏置」=d1，d2，
將左眼用影像短箋111與右眼用影像短箋112之距離，定義為：
「短箋間偏置」=D。
此外，
短箋間偏置=(短箋偏置)×2
D=d1+d2。
步驟S108中的左眼用影像與右眼用影像的短箋領域間之距離(短箋間偏置)：D的算出處理，係執行如下。
如之前使用圖8及式子(式1)所說明，基線長(假想基線長)係對應於圖8所示的距離B，假想基線長B，近似上係可用以下的式子(式1)來求出。
B=R×(D/f)‧‧‧(式1)
其中，
R係為相機的旋轉半徑(參照圖8)
D係為短箋間偏置(參照圖8)(左眼用影像短箋與右眼用影像短箋的距離)
f係為焦距(參照圖8)。
步驟S108中的左眼用影像與右眼用影像的短箋領域間之距離(短箋間偏置)：D的算出處理之際，算出會使假想基線長B呈固定或變動幅度較小的調整過的值。
如前述，相機的旋轉半徑R、及焦距f係為，隨著使用者所做的相機之攝影條件而變更的參數。
在步驟S108中，即使影像攝影時的相機之旋轉半徑R、及焦距f有變化，仍算出假想基線長B之值沒有變化的短箋間偏置D=d1+d2之值、或使其變化量較小的短箋間偏置D=d1+d2之值。
前述之關係式，亦即
B=R×(D/f)‧‧‧(式1)
若依照上式，則
D=B(f/R)‧‧‧(式2)
在步驟S108中，於上式(式2)中，例如將B設為固定值，將從影像攝影時的攝影條件所得之焦距f、旋轉半徑R予以輸入或算出，而算出短箋間偏置D=d1+d2。
此外，焦距f係例如作為攝影影像的屬性資訊，從影像記憶體(合成處理用)205輸入至影像合成部220。
又，半徑R係基於旋轉運動量偵測部211、平移運動量偵測部212的偵測資訊，而於影像合成部220中算出。或者亦可設定成，於旋轉運動量偵測部211、平移運動量偵測部212中算出，將算出值當作影像屬性資訊而儲存在影像記憶體(合成處理用)205中，從影像記憶體(合成處理用)205輸入至影像合成部220。此外，關於半徑R的算出處理之具體例，將於後述。
於步驟S108中，左眼用影像與右眼用影像的短箋領域間之距離亦即短箋間偏置D之算出一旦完成，則前進至步驟S109。
在步驟S109中，利用攝影影像進行第1影像合成處理。然後，前進至步驟S110，利用攝影影像進行第2影像合成處理。
這些步驟S109~S110的影像合成處理，係為適用於3D影像顯示的左眼用合成影像與右眼用合成影像之生成處理。合成影像係被生成為例如全景影像。
如前述，左眼用合成影像，係藉由僅將左眼用影像短箋予以抽出並連結的合成處理所生成。右眼用合成影像，係藉由僅將右眼用影像短箋予以抽出並連結的合成處理所生成。這些合成處理的結果，係生成例如圖7(2a)、(2b)所示的2個全景影像。
步驟S109~S110的影像合成處理，係利用了從步驟S102之快門按下判定為Yes起至步驟S107中確認了快門按下結束為止的連續影像攝影中，被保存在影像記憶體(合成處理用)205中的複數影像(或部分影像)，而被執行。
在此合成處理之際，影像合成部220係從移動量記憶體208取得複數影像所各自被關連對應的移動量，然後將步驟S108中所算出之短箋間偏置D=d1+d2之值，予以輸入。短箋間偏置D係基於由影像攝影時的攝影條件所得之焦距f、旋轉半徑R所決定的值。
例如在步驟S109中，適用了偏置d1而決定左眼用影像的短箋位置，在步驟S110中，適用了偏置d1而決定左眼用 影像的短箋位置。
此外，雖然亦可為d1=d2，但d1=d2並非必要。
只要能滿足D=d1+d2之條件，則d1，d2的值亦可不同。
影像合成部220，係根據基於移動量及焦距f、旋轉半徑R而算出的短箋間偏置D=d1+d2，而決定要作為各影像之切出領域的短箋領域。
亦即，將用來構成左眼用合成影像所需的左眼用影像短箋與用來構成右眼用合成影像所需的右眼用影像短箋的各短箋領域，加以決定。
用來構成左眼用合成影像所需的左眼用影像短箋，是設定在從影像中央往右側扁置了所定量的位置。
用來構成右眼用合成影像所需的右眼用影像短箋，是設定在從影像中央往左側扁置了所定量的位置。
影像合成部220係為，在該短箋領域的設定處理之際，將短箋領域決定成為，滿足可成立3D影像之左眼用影像與右眼用影像之生成條件的偏置條件。
影像合成部220，係針對各影像將左眼用及右眼用影像短箋予以切出並連結以進行影像合成，生成左眼用合成影像與右眼用合成影像。
此外，當影像記憶體(合成處理用)205中所保存的影像(或部分影像)是已被JPEG等壓縮過的資料時，為了謀求處理速度的高速化，亦可構成為，基於步驟S104中所求出的影像間之移動量，而將JPEG等之壓縮進行解壓縮的影像領域，僅設定在要當作合成影像而利用之短箋領域，執行此種適應性解壓縮處理。
藉由步驟S109、S110之處理，就可生成適用於3D影像顯示的左眼用合成影像與右眼用合成影像。
最後，接著前進至步驟S111，將步驟S109、S110中所合成的影像，依照適切之記錄格式(例如CIPA DC-007 Multi-Picture Format等)而加以生成，儲存在記錄部(記錄媒體)221中。
若執行如以上的步驟，就可生成適用於3D影像顯示所需的左眼用、及右眼用的2張影像。
[5.旋轉運動量偵測部、與平移運動量偵測部的具體構成例]
接著說明旋轉運動量偵測部211、平移運動量偵測部212的具體構成之具體例。
旋轉運動量偵測部211係偵測出相機之旋轉運動量，平移運動量偵測部212係偵測出相機之平移運動量。
作為這些各偵測部中的偵測構成之具體例，係說明以下3個例子。
(例1)感測器所致之偵測處理例
(例2)影像解析所致之偵測處理例
(例3)感測器與影像解析併用的偵測處理例
以下，依序說明這些處理例。
(例1)感測器所致之偵測處理例
首先說明，以感測器來構成旋轉運動量偵測部211、平移運動量偵測部212的例子。
相機的平移運動，係可使用例如加速度感測器來測知。或者，可藉由使用來自人造衛星之電波的GPS(Global Positioning System)而根據經緯度來算出。此外，適用了加速度感測器的平移運動量之偵測處理，係揭露於例如日本特開2000-78614。
又，關於相機的旋轉運動(姿勢)，係有使用地磁感測器而以地磁方向為基準來測定方位角的方法、以重力方向為基準而運用加速度計來偵測傾斜角的方法、使用振動陀螺儀與加速度感測器所組合而成的角度感測器的方法、使用角速度感測器而與初期狀態之基準角度進行比較而算出的方法。
如此，作為旋轉運動量偵測部211係可藉由地磁感測器、加速度計、振動陀螺儀、加速度感測器、角度感測器、角速度感測器這些感測器或各感測器之組合來構成。
又，平移運動量偵測部212，係可藉由加速度感測器、GPS(Global Positioning System)來構成。
這些感測器的偵測資訊的旋轉運動量、平移運動量，係直接或透過影像記憶體(合成處理用)205而提供給影像合成部210，影像合成部210中會根據這些偵測值，來算出合成影像之生成對象的影像在攝影時的旋轉半徑R。
旋轉半徑R的算出處理將於後述。
(例2)影像解析所致之偵測處理例
接著說明，旋轉運動量偵測部211、平移運動量偵測部212並非感測器，而是構成為，會輸入攝影影像以執行影像解析的影像解析部的例子。
本例係圖10的旋轉運動量偵測部211、平移運動量偵測部212，係從影像記憶體(移動量偵測用)205輸入合成處理對象之影像資料然後執行輸入影像的解析，而取得該影像被拍攝時點的相機之旋轉成分與平移成分。
具體而言，首先，從合成對象之連續攝影的影像，使用Harris Corner偵測器等來抽出特徵量。然後藉由使用各影像的特徵量間之比對、或將各影像做等間隔分割而進行分割領域單位的比對(區塊比對)，以算出各影像間的光流(Optical flow)。然後，以相機模型為透視投影像為前提，將非線性方程式以回歸法來求解，就可抽出旋轉成分與平移成分。此外，關於該手法，例如在以下的文獻中有詳細記載，可適用其手法。
(“Multi View Geometry in Computer Vision”,Richard Hartley and Andrew Zisserman, Cambridge University Press)。
或者，較簡便則為，亦可適用將被攝體假設成平面，根據光流而算出Homography，以算出旋轉成分與平移成分之方法。
在執行本處理例的情況下，圖10的旋轉運動量偵測部211、平移運動量偵測部212係並非感測器而被構成為影像解析部。旋轉運動量偵測部211、平移運動量偵測部212，係從影像記憶體(移動量偵測用)205輸入合成處理對象之影像資料然後執行輸入影像的解析，取得影像攝影時的相機之旋轉成分與平移成分。
(例3)感測器與影像解析併用的偵測處理例
接著說明，旋轉運動量偵測部211、平移運動量偵測部212具備感測器機能與作為影像解析部的兩機能，可取得感測器偵測資訊與影像解析資訊之兩者的處理例。
根據角速度感測器所得之角速度資料而使角速度為0的方式將連拍影像以補正處理而變成僅含平移運動的連拍影像，根據加速度感測器所得之加速度資料與補正處理後的連拍影像，就可算出平移運動。此外，關於此處理，係揭露在例如日本特開2000-222580號公報。
本處理例係在旋轉運動量偵測部211、平移運動量偵測部212中，針對平移運動量偵測部212是具備有角速度感測器與影像解析部之構成，藉由這些構成，適用上記日本特開2000-222580號公報所揭露的手法，而算出影像攝影時的平移運動量。
關於旋轉運動量偵測部211，係為在上記(例1)感測器所致之偵測處理例、或(例2)影像解析所致之偵測處理例這些實施例中所說明過的任一種感測器構成、或是影像解析部構成。
[6.短箋間偏置D之算出處理的具體例]
接著說明，根據相機之旋轉運動量與平移運動量來算出短箋間偏置D=d1+d2的處理。
影像合成部220係根據上述的旋轉運動量偵測部211、和平移運動量偵測部212之處理所取得或算出的影像攝影時的攝像裝置(相機)的旋轉運動量與平移運動量，來算出用來決定生成左眼用影像與右眼用影像之短箋切出位置所需的短箋間偏置D=d1+d2。
若求出相機之旋轉運動量與平移運動量，則可使用下式(式3)來算出相機的旋轉半徑R。
R=t/(2sin(θ/2))‧‧‧(式3)
其中，
t：平移運動量
θ：旋轉運動量。
圖12中圖示了平移運動量t、與旋轉運動量θ的例子。將圖12所示的2個相機位置中所拍攝到的2個影像當作合成對象而利用以生成左眼用影像與右眼用影像時，平移運動量t與旋轉運動量θ，係為圖12所示的資料。基於這些資料t、θ來計算上記式子(式3)，以算出圖12所示的相機位置上所拍攝到的影像中所適用的左眼用影像與右眼用影像的短箋間偏置D=d1+d2。
藉由上式(式3)所算出的短箋間偏置D，係隨著合成對象的攝影影像單位而變化，但其結果為，藉由之前說明的式子(式1)所算出的基線長B，亦即：
B=R×(D/f)‧‧‧(式1)
上記假想基線長B的值係可維持大致一定。
因此藉由該處理所得的左眼用影像與右眼用影像的假想基線長係在所有的合成影像中可保持大致一定，可生成具有穩定距離間的3維影像顯示用資料。
如此，若依據本發明，則根據依照上式(式3)所求出的旋轉半徑R與作為相機之攝影影像之屬性資訊而對應於影像所被記錄的參數亦即焦距f，就可生成使基線長B維持一定的影像。
圖13中係圖示基線長B與旋轉半徑R之相關的圖表，圖14中係圖示基線長B與焦距f之相關的圖表。
如圖13所示，基線長B與旋轉半徑R係呈正比關係，如圖14所示，基線長B與焦距f係呈反比關係。
在本發明的處理中，作為使基線長B呈一定所需的處理，在旋轉半徑R或焦距f有被變更時，執行將短箋偏置D予以變更的處理。
圖13係焦距f固定時的基線長B與旋轉半徑R之相關的圖表，例如假設所輸出的合成影像的基線長，是被設定成以圖13中橫線表示的70mm。
此情況下，隨著旋轉半徑R，短箋間偏置D係藉由被設定成圖13所示的(p1)～(p2)之間所示的140～80pixel之各值，就可使基線長B保持一定。
圖14係短箋間偏置D=98pixel而固定時的基線長B與焦距f之相關的圖表。表示了旋轉半徑R=100～600mm時的基線長B與焦距f之相關。
例如旋轉半徑R=100mm時，焦距f=2.0mm的點(q1)之條件下所拍攝的情況，係設為短箋間偏置D=98mm，但這是用來使基線長維持在70mm所需的條件。
同樣地，旋轉半徑R=60mm時，焦距f=90mm的點(q2)之條件下所拍攝的情況，係設為短箋間偏置D=98mm，但這是用來使基線長維持在70mm所需的條件。
如此，在本發明的構成中，將使用者以各種條件所拍攝之影像加以合成而生成作為3D影像的左眼用影像與右眼用影像的構成中，藉由適宜調整短箋間偏置，就可生成基線長保持大致一定的影像。
藉由執行此種處理，可適用於3D影像顯示的從視點互異位置觀察的影像亦即左眼用合成影像與右眼用合成影像，可使其被生成為，觀察時的距離間不發生變動的穩定影像。
以上，一面參照特定實施例，一面詳述本發明。可是在此同時，在不脫離本發明之宗旨的範圍內，當業者可以對實施例進行修正或代用，此乃自明事項。亦即，所例示之形態僅為用來揭露本發明，並不應做限定性解釋。要判斷本發明之宗旨，應要參酌申請專利範圍欄。
又，於說明書中所說明之一連串處理係可藉由硬體、或軟體、或兩者的複合構成來執行。以軟體所致之處理來執行時，是可將記錄有處理程序的程式，安裝至被組裝有專用硬體的電腦內的記憶體上來令其執行，或是可將程式安裝至可執行各種處理的通用電腦上來令其執行。例如，程式係可預先記錄在記錄媒體中。除了從記錄媒體安裝至電腦外，還可透過LAN(Local Area Network)、網際網路這類網路而接收程式，安裝至內建的硬碟等之記錄媒體裡。
此外，說明書中所記載的各種處理，係不只有依照記載順序而在時間序列上被執行，可因應執行處理之裝置的處理能力或需要，將其平行或個別地加以執行。又，本說明書中所謂的系統，係為複數裝置的邏輯集合構成，各構成的裝置係不侷限於在同一框體內。
[產業上利用之可能性]
如以上所說明，若依據本發明之一實施例之構成，則可提供一種，把從複數影像所切出之短箋領域加以連結而生成基線長大致一定之3維影像顯示用之左眼用合成影像與右眼用合成影像的裝置及方法。把從複數影像所切出之短箋領域加以連結而生成3維影像顯示用之左眼用合成影像與右眼用合成影像。影像合成部，係藉由對各攝影影像所設定之左眼用影像短箋的連結合成處理以生成適用於3維影像顯示的左眼用合成影像，並藉由對各攝影影像所設定之右眼用影像短箋的連結合成處理以生成適用於3維影像顯示的右眼用合成影像。影像合成部，係隨著影像的攝影條件來變更左眼用影像短箋與右眼用影像短箋的短箋間距離亦即短箋間偏置量而進行左眼用影像短箋與右眼用影像短箋的設定處理，以使得相當於左眼用合成影像與右眼用合成影像之攝影位置間之距離的基線長維持大致一定。藉由此處理，就可生成基線長大致一定的3維影像顯示用之左眼用合成影像與右眼用合成影像，可實現無異樣感的3維影像顯示。
10‧‧‧相機
20‧‧‧影像
21‧‧‧2D全景影像短箋
30‧‧‧2D全景影像
51‧‧‧左眼用影像短箋
52‧‧‧右眼用影像短箋
70‧‧‧攝像元件
72‧‧‧左眼用影像
73‧‧‧右眼用影像
100‧‧‧相機
101‧‧‧假想攝像元件
102‧‧‧光學中心
110‧‧‧影像
111‧‧‧左眼用影像短箋
112‧‧‧右眼用影像短箋
115‧‧‧2D全景影像短箋
200‧‧‧攝像裝置
201‧‧‧透鏡系
202‧‧‧攝像元件
203‧‧‧影像訊號處理部
204‧‧‧顯示部
205‧‧‧影像記憶體(合成處理用)
206‧‧‧影像記憶體(移動量偵測用)
207‧‧‧移動量偵測部
208‧‧‧移動量記憶體
211‧‧‧旋轉運動量偵測部
212‧‧‧平移運動量偵測部
220‧‧‧影像合成部
221‧‧‧記錄部
[圖1]全景影像之生成處理的說明圖。
[圖2]適用於3維(3D)影像顯示的左眼用影像(L影像)與右眼用影像(R影像)之生成處理的說明圖。
[圖3]適用於3維(3D)影像顯示的左眼用影像(L影像)與右眼用影像(R影像)之生成原理的說明圖。
[圖4]使用假想攝像元件的反模型的說明圖。
[圖5]全景影像(3D全景影像)之攝影處理之模型的說明圖。
[圖6]全景影像(3D全景影像)之攝影處理中所被拍攝的影像與左眼用影像及右眼用影像的短箋之設定例的說明圖。
[圖7]短箋領域之連結處理、與3D左眼用合成影像(3D全景L影像)及3D右眼用合成影像(3D全景R影像)之生成處理例的說明圖。
[圖8]影像攝影時的相機之旋轉半徑R、焦距f、基線長 B的說明圖。
[圖9]隨著各種攝影條件而變化的相機之旋轉半徑R、焦距f、基線長B的說明圖。
[圖10]本發明的影像處理裝置之一實施例的攝像裝置之構成例的說明圖。
[圖11]說明本發明之影像處理裝置所執行的影像攝影及合成處理程序的流程圖。
[圖12]相機之旋轉運動量θ與平移運動量t、和旋轉半徑R之對應關係的說明圖。
[圖13]基線長B與旋轉半徑R之相關的說明用圖的圖示。
[圖14]基線長B與焦距f之相關的說明用圖的圖示。
200．．．攝像裝置
201．．．透鏡系
202．．．攝像元件
203．．．影像訊號處理部
204．．．顯示部
205．．．影像記憶體(合成處理用)
206．．．影像記憶體(移動量偵測用)
207．．．移動量偵測部
208．．．移動量記憶體
211．．．旋轉運動量偵測部
212．．．平移運動量偵測部
220．．．影像合成部
221．．．記錄部

Claims (9)

  1. 一種影像處理裝置，其特徵為，具有：影像合成部，係將從不同位置所拍攝到的複數影像予以輸入，並將從各影像中所切出的短箋領域加以連結，以生成合成影像；和旋轉運動量偵測部，係取得或算出影像攝影時的影像處理裝置之旋轉運動量；和平移運動量偵測部，係取得或算出影像攝影時的影像處理裝置之平移運動量；前記影像合成部，係藉由對各影像所設定之左眼用影像短箋的連結合成處理以生成適用於3維影像顯示的左眼用合成影像，並藉由對各影像所設定之右眼用影像短箋的連結合成處理以生成適用於3維影像顯示的右眼用合成影像之構成；前記影像合成部，係隨著影像的攝影條件來變更前記左眼用影像短箋與右眼用影像短箋的短箋間距離亦即短箋間偏置量而進行前記左眼用影像短箋與右眼用影像短箋的設定處理，以使得相當於前記左眼用合成影像與右眼用合成影像之攝影位置間之距離的基線長維持大致一定；隨著影像之作為攝影條件的影像攝影時之影像處理裝置的旋轉半徑及焦距，而進行調整前記短箋間偏置量的處理； 適用從前記旋轉運動量偵測部所收到的旋轉運動量、和從前記平移運動量偵測部所取得的平移運動量，而執行影像攝影時之影像處理裝置之旋轉半徑的算出處理。
  2. 如請求項1所記載之影像處理裝置，其中，前記旋轉運動量偵測部，係為用來偵測影像處理裝置之旋轉運動量的感測器。
  3. 如請求項1所記載之影像處理裝置，其中，前記平移運動量偵測部，係為用來偵測影像處理裝置之平移運動量的感測器。
  4. 如請求項1所記載之影像處理裝置，其中，前記旋轉運動量偵測部，係為藉由攝影影像之解析而偵測出影像攝影時之旋轉運動量的影像解析部。
  5. 如請求項1所記載之影像處理裝置，其中，前記平移運動量偵測部，係為藉由攝影影像之解析而偵測出影像攝影時之平移運動量的影像解析部。
  6. 如請求項1所記載之影像處理裝置，其中，前記影像合成部，係適用從前記旋轉運動量偵測部所收到的旋轉運動量θ、和從前記平移運動量偵測部所取得的平移運動量t，而執行將影像攝影時之影像處理裝置之旋轉半徑R，R=t(2sin(θ/2))依照上式而加以算出之處理。
  7. 一種攝像裝置，其特徵為，具備攝像部、和執行如請求項1~6之任一項所記載之影像處理的影像處理部。
  8. 一種影像處理方法，係屬於影像處理裝置中所執行的影像處理方法，其特徵為，具有：影像合成部步驟，係由影像合成部將從不同位置所拍攝到的複數影像予以輸入，並將從各影像中所切出的短箋領域加以連結，以生成合成影像；和旋轉運動量偵測步驟，係由旋轉運動量偵測部取得或算出影像攝影時的影像處理裝置之旋轉運動量；和平移運動量偵測步驟，係由平移運動量偵測部取得或算出影像攝影時的影像處理裝置之平移運動量；前記影像合成步驟係包含有以下處理：藉由對各影像所設定之左眼用影像短箋的連結合成處理以生成適用於3維影像顯示的左眼用合成影像，並藉由對各影像所設定之右眼用影像短箋的連結合成處理以生成適用於3維影像顯示的右眼用合成影像；而且係為：隨著影像的攝影條件來變更前記左眼用影像短箋與右眼用影像短箋的短箋間距離亦即短箋間偏置量而進行前記左眼用影像短箋與右眼用影像短箋的設定處理，以使得相當於前記左眼用合成影像與右眼用合成影像之攝影位置間之距離的基線長維持大致一定；隨著影像之作為攝影條件的影像攝影時之影像處理裝置的旋轉半徑及焦距，而進行調整前記短箋間偏置量的處理； 適用從前記旋轉運動量偵測部所收到的旋轉運動量、和從前記平移運動量偵測部所取得的平移運動量，而執行影像攝影時之影像處理裝置之旋轉半徑的算出處理之步驟。
  9. 一種影像處理程式，係屬於在影像處理裝置中令其執行影像處理的程式，其特徵為，令影像合成部執行影像合成部步驟，以將從不同位置所拍攝到的複數影像予以輸入，並將從各影像中所切出的短箋領域加以連結，以生成合成影像；令旋轉運動量偵測部執行旋轉運動量偵測步驟，以取得或算出影像攝影時的影像處理裝置之旋轉運動量；和令平移運動量偵測部執行平移運動量偵測步驟，以取得或算出影像攝影時的影像處理裝置之平移運動量；在前記影像合成步驟中，係執行：藉由對各影像所設定之左眼用影像短箋的連結合成處理以生成適用於3維影像顯示的左眼用合成影像的處理、和藉由對各影像所設定之右眼用影像短箋的連結合成處理以生成適用於3維影像顯示的右眼用合成影像的處理；而且還隨著影像的攝影條件來變更前記左眼用影像短箋與右眼用影像短箋的短箋間距離亦即短箋間偏置量而進行前記左眼用影像短箋與右眼用影像短箋的設定處理，以使得相當於前記左眼用合成影像與右眼用合成影像之攝影位置間之距離的基線長維持大致一定； 隨著影像之作為攝影條件的影像攝影時之影像處理裝置的旋轉半徑及焦距，而進行調整前記短箋間偏置量的處理；適用從前記旋轉運動量偵測部所收到的旋轉運動量、和從前記平移運動量偵測部所取得的平移運動量，而執行影像攝影時之影像處理裝置之旋轉半徑的算出處理。
TW100133233A 2010-09-22 2011-09-15 An image processing apparatus, an image pickup apparatus, and an image processing method, and a program TWI432884B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010212192A JP5510238B2 (ja) 2010-09-22 2010-09-22 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
TW201224635A TW201224635A (en) 2012-06-16
TWI432884B true TWI432884B (zh) 2014-04-01

Family

ID=45873795

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100133233A TWI432884B (zh) 2010-09-22 2011-09-15 An image processing apparatus, an image pickup apparatus, and an image processing method, and a program

Country Status (5)

Country Link
US (1) US20130162786A1 (zh)
JP (1) JP5510238B2 (zh)
CN (1) CN103109538A (zh)
TW (1) TWI432884B (zh)
WO (1) WO2012039306A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110052124A (ko) * 2009-11-12 2011-05-18 삼성전자주식회사 파노라마 이미지 생성 및 조회 방법과 이를 이용한 휴대 단말기
US9654762B2 (en) * 2012-10-01 2017-05-16 Samsung Electronics Co., Ltd. Apparatus and method for stereoscopic video with motion sensors
TWI559895B (en) 2013-01-08 2016-12-01 Altek Biotechnology Corp Camera device and photographing method
KR101579100B1 (ko) * 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
KR102249831B1 (ko) 2014-09-26 2021-05-10 삼성전자주식회사 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
US9906772B2 (en) * 2014-11-24 2018-02-27 Mediatek Inc. Method for performing multi-camera capturing control of an electronic device, and associated apparatus
US10536633B2 (en) * 2015-02-06 2020-01-14 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging system and imaging apparatus including the same, and image processing method
US9813621B2 (en) * 2015-05-26 2017-11-07 Google Llc Omnistereo capture for mobile devices
CN105025287A (zh) * 2015-06-30 2015-11-04 南京师范大学 利用旋转拍摄的视频序列影像构建场景立体全景图的方法
US10165258B2 (en) * 2016-04-06 2018-12-25 Facebook, Inc. Efficient determination of optical flow between images
CN106331685A (zh) * 2016-11-03 2017-01-11 Tcl集团股份有限公司 一种3d全景图像获取方法和装置
US10764498B2 (en) * 2017-03-22 2020-09-01 Canon Kabushiki Kaisha Image processing apparatus, method of controlling the same, and storage medium
JPWO2022137798A1 (zh) 2020-12-21 2022-06-30

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998034195A1 (en) * 1997-01-30 1998-08-06 Yissum Research Development Company Of The Hebrew University Of Jerusalem Generalized panoramic mosaic
JPH11164326A (ja) * 1997-11-26 1999-06-18 Oki Electric Ind Co Ltd パノラマステレオ画像生成表示方法及びそのプログラムを記録した記録媒体
IL136128A0 (en) * 1998-09-17 2001-05-20 Yissum Res Dev Co System and method for generating and displaying panoramic images and movies
US6831677B2 (en) * 2000-02-24 2004-12-14 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair
US6795109B2 (en) * 1999-09-16 2004-09-21 Yissum Research Development Company Of The Hebrew University Of Jerusalem Stereo panoramic camera arrangements for recording panoramic images useful in a stereo panoramic image pair
US20020191000A1 (en) * 2001-06-14 2002-12-19 St. Joseph's Hospital And Medical Center Interactive stereoscopic display of captured images
US7809212B2 (en) * 2006-12-20 2010-10-05 Hantro Products Oy Digital mosaic image construction
KR101312895B1 (ko) * 2007-08-27 2013-09-30 재단법인서울대학교산학협력재단 파노라마 사진 촬영 방법
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US20120019614A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
JP2011135246A (ja) * 2009-12-24 2011-07-07 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
JP5510238B2 (ja) 2014-06-04
JP2012070154A (ja) 2012-04-05
CN103109538A (zh) 2013-05-15
US20130162786A1 (en) 2013-06-27
TW201224635A (en) 2012-06-16
WO2012039306A1 (ja) 2012-03-29

Similar Documents

Publication Publication Date Title
TWI432884B (zh) An image processing apparatus, an image pickup apparatus, and an image processing method, and a program
WO2012039307A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US8810629B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and program
US9210408B2 (en) Stereoscopic panoramic image synthesis device, image capturing device, stereoscopic panoramic image synthesis method, recording medium, and computer program
US8274552B2 (en) Primary and auxiliary image capture devices for image processing and related methods
JP5014979B2 (ja) 個人用電子機器の３次元情報取得及び表示システム
US8581961B2 (en) Stereoscopic panoramic video capture system using surface identification and distance registration technique
JP5887267B2 (ja) ３次元画像補間装置、３次元撮像装置および３次元画像補間方法
JP5371845B2 (ja) 撮影装置及びその表示制御方法並びに３次元情報取得装置
US20130113875A1 (en) Stereoscopic panorama image synthesizing device, multi-eye imaging device and stereoscopic panorama image synthesizing method
JP2013192229A (ja) ２次元／３次元デジタル情報取得及び表示装置
JP2011259168A (ja) 立体パノラマ画像撮影装置
JP2011114547A (ja) 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム
JP4748398B2 (ja) 撮像装置、撮像方法及びプログラム
KR102112491B1 (ko) 물체 공간의 물점의 기술을 위한 방법 및 이의 실행을 위한 연결
JP2012220603A (ja) ３ｄ映像信号撮影装置
JP2005072674A (ja) 三次元画像生成装置および三次元画像生成システム
JP5307189B2 (ja) 立体画像表示装置、複眼撮像装置及び立体画像表示プログラム
JP2013088664A (ja) 携帯端末装置及び３ｄ画像表示方法
JP2014107836A (ja) 撮像装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees