TWI399972B - 影像產生裝置及程式 - Google Patents

影像產生裝置及程式 Download PDF

Info

Publication number
TWI399972B
TWI399972B TW098132397A TW98132397A TWI399972B TW I399972 B TWI399972 B TW I399972B TW 098132397 A TW098132397 A TW 098132397A TW 98132397 A TW98132397 A TW 98132397A TW I399972 B TWI399972 B TW I399972B
Authority
TW
Taiwan
Prior art keywords
information
distance
distance information
image
point group
Prior art date
Application number
TW098132397A
Other languages
English (en)
Other versions
TW201019707A (en
Inventor
Masaaki Kikuchi
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of TW201019707A publication Critical patent/TW201019707A/zh
Application granted granted Critical
Publication of TWI399972B publication Critical patent/TWI399972B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

影像產生裝置及程式
本申請案係根據並主張2008年9月29日所提出之日本專利申請案第2008-250002號之優先權，其已揭示的整個內容在此一倂作為參考。
本發明係關於產生辨識性高之3維影像的技術。
以往，已知有利用立體法來使被拍攝體像以3維影像重現的技術，該立體法係藉由對以立體照相機而拍攝所得之2張攝影影像的視差進行測量來辨識被拍攝體之距離資訊的方法。
不過，在此習知技術中，因為構成3維影像的三角形多邊形之大小受到被拍攝體像上之各點間的距離資訊影響，所以有時候3維影像的辨識性會下降。例如，在被拍攝體間之距離大的情況下，如第22圖所示，位於靠近照相機之位置的被拍攝體像會變得極端地小等，3維影像的辨識性會下降。
在此，專利文獻1中則記載了在顯示3維影像時，在被拍攝體距離太近或太遠的情況下，也就是所攝得之影像不適合3維顯示的情況下，將顯示之影像從3維影像變更為2維影像的技術。藉由專利文獻1記載之技術，能夠時常以最合適的形態來顯示所攝得的影像。
[專利文獻1]特開2005-167310號公報
不過，在專利文獻1記載之技術中，在由於所拍攝之影像不適於3維顯示而將顯示之影像完全變更為2維影像的情況下，會有使用者無法以3維方式來確認被拍攝體像之模樣的問題。
根據本發明之一種態樣，其提供一種影像產生裝置，其包含：修正單元，其針對表示影像內之(複數個)被拍攝體的特徵點之複數個點資訊和表示該複數個點資訊之各距離資訊的對應關係的點群資訊，進行使在前述各距離資訊當中之屬於比特定之距離資訊所示之距離還要大之距離範圍的各距離資訊縮小之修正；影像資訊產生單元，其根據由前述修正單元所修正之點群資訊，產生用以表現3維影像的影像資訊；以及顯示單元，其顯示根據前述影像資訊產生單元所產生的影像資訊之3維影像。
以下將參照圖式來說明用以實施本發明之各種特徵的一般型態。圖式及相關敘述係被提供來說明發明之實施例，並非用來限縮本發明之範圍。
接著，會參照附加圖式來詳細描述本發明之實施例。受保護之發明的範圍不應被侷限於圖式中所說明之範例及以下所述的內容。
<第1實施形態>
以下，參照圖式來說明本發明之第1實施形態。
第1圖係本實施形態之數位相機1的外觀圖。在數位相機1之本體2上面設置了快門鍵4。數位相機1之本體2前面設置了光學透鏡裝置5A和光學透鏡裝置5B。
快門鍵4係具備所謂的半按下功能，且係為可進行用於對焦的半按下操作及用於攝影指示(攝影影像資料的記錄指示)的全按下操作之構成。
光學透鏡裝置5A和光學透鏡裝置5B係被配置成光學透鏡裝置5A之光軸和光學透鏡裝置5B之光軸僅分開距離g(mm)。
第2圖係表示數位相機1之各部分功能的區塊圖。參照第2圖來說明數位相機1的電氣構成。
數位相機1係構成為以控制裝置全體的CPU8為中心。CPU8上則連接著光學透鏡裝置5A和光學透鏡裝置5B。光學透鏡裝置5A上則連接著CCD6A。光學透鏡裝置5B上則連接著CCD6B。CCD6A和CCD6B上則連接著影像處理部7。CPU8上則連接著影像處理部7、記憶卡11、DRAM10、快閃記憶體9、顯示部12、按鍵區塊13。
光學透鏡裝置5A及光學透鏡裝置5B係分別使被拍攝體之光像成像的裝置。光學透鏡裝置5A和光學透鏡裝置5B係由分別由未圖示之聚焦透鏡及變焦透鏡所組成之攝影透鏡、及驅動這些攝影透鏡之未圖示的驅動機構所構成。光學透鏡裝置5A之光軸和光學透鏡裝置5B之光軸為平行。光學透鏡裝置5A之構成和光學透鏡裝置5B之構成為相同。因此，光學透鏡裝置5A和光學透鏡裝置5B之焦點距離係分別為f(mm)。
CCD6A係將由光學透鏡裝置5A所成像之被拍攝體的光像進行光電變換並產生攝像信號的攝像元件。CCD6A係被配置成CCD6A之攝像面的中心位於光學透鏡裝置5A的光軸上。CCD6B係將由光學透鏡裝置5B所成像之被拍攝體的光像進行光電變換並產生攝像信號的攝像元件。CCD6B係被配置成CCD6B之攝像面的中心位於光學透鏡裝置5B的光軸上。CCD6A的構成和CCD6B的構成為相同。
影像處理部7係對由CCD6A和CCD6B所分別產生之攝像信號進行取樣並排除雜訊且變換成數位信號。影像處理部7係對已變換成數位信號之攝像信號進行亮度信號處理等的資料處理。影像處理部7係對已進行亮度信號處理等之數位信號進行色彩分離等之色彩處理，並產生Y(亮度信號)、Cb(藍色差信號)、Cr(紅色差信號)的攝影影像資料。另外，影像處理部7係進行攝影影像資料的壓縮、及被壓縮之攝影影像資料的解壓縮等之各種影像處理。
CPU(中央處理裝置)8係進行數位相機1的全體控制。CPU8係以在快閃記憶體9中收納之程式的協助來使DRAM10作為工作用記憶體而進行動作。
快閃記憶體9中收納著由CPU8進行的數位相機1之AF控制、AE控制等必要之程式和資料。快閃記憶體9中收納著用於實行控制後述流程圖中所示之控制的程式或資料(上述的距離g、焦點距離f和模糊圈之直徑c的資訊等)。另外，快閃記憶體9中也能記錄攝影影像資料。
DRAM10被使用作為暫時記憶依序拍攝之攝影影像資料的緩衝記憶體。DRAM10也在CPU10實行處理時，被使用作為作業用記憶體。
記憶卡11係每當進行攝影指示時，分別記錄著從由CCD6A和CCD6B所拍攝之被拍攝體像信號所產生的攝影影像資料的記錄媒體。記憶卡11係以可自由裝卸的方式而連接於數位相機1的本體2。
顯示部12係由未圖示之液晶顯示器及其驅動電路所構成。在數位相機1處於攝影待命狀態的時候，將由CCD6A所拍攝之被拍攝體像作為即時預覽影像而顯示於液晶顯示器。另外，顯示部12係在數位相機1播放攝影影像資料的時候，在液晶顯示器上顯示以從記憶卡11所讀出之攝影影像資料為根據的影像。另外，顯示部12也具備觸控面板的功能。
按鍵區塊13係由快門鍵4或未圖示之模式鍵、SET鍵、十字鍵、攝影模式選擇鍵等之複數個操作鍵所構成。按鍵區塊13係將因應使用者之按鍵操作的操作信號送至CPU8。
參照第3圖來說明數位相機1之本實施形態的動作。當藉由使用者對於按鍵區塊13之既定操作來設定攝影模式時，CPU8係藉由從快閃記憶體9讀出並解壓縮於DRAM10的程式之協助，置行第3圖之流程圖所示之攝影模式的處理。
參照第4圖來說明本實施形態的攝影狀況。第4(A)圖係從上方觀看數位相機1與被拍攝體的圖。如第4(A)圖所示，在本實施形態的攝影位置上存在著數位相機1、作為被拍攝體的人物41、人物42、車輛43和建築物44。相對於數位相機1，依接近順序而排列著人物41、人物42、車輛43、建築物44。第4(B)圖係表示數位相機1能夠捕捉之被拍攝體像之模樣的圖。
回到第3圖來繼續說明。當設定攝影模式時，CPU8係開始對從CCD6A依序攝入並依序儲存於DRAM10的攝影影像資料，進行在顯示部12顯示即時預覽影像的處理(步驟SA1)。
然後，CPU8會成為須判斷是否已半按下快門鍵4的待命狀態(步驟SA2)。在此狀態中，CPU8係在無檢知已半按下快門鍵4的情況下(步驟SA2；否)，返回步驟S1之處理，繼續顯示即時預覽影像。另一方面，當由使用者半按下快門鍵4時，CPU8係根據檢知與此半按下操作對應之操作信號來判斷已半按下了快門鍵4(步驟SA2；是)。
於是，CPU8係立即藉由通常的AF控制來進行焦點調整。亦即，CPU8係實行以在CCD6A和CCD6B的各個攝影範圍內的中央區域之焦點區域為對象的對焦，並且藉申通常的AE控制(所謂的程式AE控制)來調整ISO感度和快門速度(步驟SA3)。
爾後，CPU8會成為須判斷是否已全按下快門鍵4的待命狀態(步驟SA4)。在此狀態中，CPU8係在無檢知已全按下快門鍵4的情況下(步驟SA4；否)，則保持待命狀態。另一方面，當由使用者全按下快門鍵4時，CPU8係藉由檢知與此全按下操作對應之操作信號，判斷已全按下了快門鍵4(步驟SA4；是)。
於是，CPU8對分別儲存於CCD6A和CCD6B的被拍攝體像信號立即實行攝影處理並產生2張攝影影像資料50A、50B，並分別以JPEG方式來壓縮所產生之2張攝影影像資料50A、50B(步驟SA5)。
第5(A)圖中表示由攝影影像資料50A所表現之攝影影像(藉由CCD6A所拍攝的攝影影像)。第5(B)圖中表示由攝影影像資料50B所表現之攝影影像(藉由CCD6B所拍攝的攝影影像)。
因為這些2個攝影影像係分別被光學透鏡裝置5A和光學透鏡裝置5B所取入之被拍攝體像，所以會發生視差。因此，第5(A)圖所示之攝影影像的各被拍攝體之位置關係和第5(B)圖所示之攝影影像的各被拍攝體之位置關係是相異的。
返回第3圖，CPU8係分別針對2張攝影影像資料50A、50B來產生標頭(header)資料，並產生由標頭資料及被壓縮之攝影影像資料所組成的2個影像檔案，將所產生之2個影像檔案暫且記錄於記憶卡11(步驟SA6)。
接著，CPU8係進行距離資訊算出處理(步驟SA7)、距離資訊修正處理(步驟SA8)，並使攝影模式之處理結束。步驟SA7之距離資訊算出處理的詳細情況和步驟SA8之距離資訊修正處理的詳細情況則容後描述。
參照第6圖來說明在步驟SA7的距離資訊算出處理時利用之立體法的原理。所謂的立體法就是用2台以上的照相機來拍攝被拍攝體，並採用三角測量之原理而從被拍攝成各影像的被拍攝體之位置差異中獲得3維資訊的習知方法。第6圖係用於說明立體法之原理的概念圖。
在第6圖中，OA係在實際空間中CCD6A之攝像面(受光面)之中心所存在的位置。OB係在實際空間中CCD6B之攝像面(受光面)之中心所存在的位置。ZA係光學透鏡裝置5A的光軸，ZB係光學透鏡裝置5B的光軸。如上所述，光軸ZA和光軸ZB平行，這些僅分開距離g(mm)。
座標面CA係規定CCD6A之攝像面上的座標者。座標面CA係與光軸ZA正交，座標面CA之原點OA係被配置在光軸ZA上。藉由表示水平方向的u軸和表示垂直方向的v軸來規定座標面CA。將座標面CA上之任意座標設為(u,v)。
座標面CB係規定CCD6B之攝像面上的座標者。座標面CB係與光軸ZB正交，座標面CB之原點OB係被配置在光軸ZB上。藉由表示水平方向的u’軸和表示垂直方向的v’軸來規定座標面CB。將座標面CB上之任意座標設為(u’,v’)。
現在，如第6圖所示，考慮到在離開CCD6A、CCD6B的地點上有被拍攝體60的情況。將在實際空間中的被拍攝體60之位置座標設定為(X,Y,Z)。然後，來自被拍攝體60的光像61、61會在座標面CA上之座標(u,v)所示的位置62A中藉由CCD6A而受光，在座標面CB上之座標(u’,v’)所示的位置62B中藉由CCD6B而受光。
於是，可以得知在實際空間中之被拍攝體60的座標(X,Y,Z)的各值係分別由下述公式(1)來表示。其中，在下述公式(1)中，g係上述光軸ZA和光軸ZB之間的距離，f是光學透鏡裝置5A(光學透鏡裝置5B)的焦點距離。
以此方式，從被攝於由2個CCD6A、6B分別攝影之2個影像上的被拍攝體之位置差異中，獲得被拍攝體之3維資訊的方法就是立體法。
接著，參照第7圖所示之流程圖來說明步驟SA7的距離資訊算出處理詳細之內容。在本實施形態中，在步驟SA7的處理中，利用上述立體法的原理來算出在攝影時之被拍攝體和數位相機1的距離。
步驟SA6的處理之後，CPU8係讀出在記憶體中記錄之攝影影像資料50A和攝影影像資料50B，並將已讀出的這些攝影影像資料保持於DRAM10(步驟SB1)。
接著，CPU8係檢測出由在DRAM10上保持之攝影影像資料50A所表現的攝影影像(第5(A)圖所示之攝影影像)的全部特徵點，使表現所檢出之特徵點的影像資料保持於DRAM10(步驟SB2)。在此，所謂的特徵點就是相較於周遭區域，色彩及亮度能夠被清楚地辨識為其他區域者。例如，被攝於攝影影像上的人物之眼睛及嘴巴之區域會成為特徵點。
接著，CPU8係從由攝影影像資料50A所表現之攝影影像中檢測出之全部特徵點中，指定一個完全尚未被指定過的特徵點(步驟SB3)。
接著，CPU8係特別指定在步驟SB3之處理中所指定的特徵點之影像資料50A上的座標(u,v)，並將特別指定之特徵點的座標保持於DRAM10(步驟SB4)。
接著，CPU8係檢測出與在步驟SB4之處理中所特別指定的特徵點之座標(u,v)對應的攝影影像資料50B上之特徵點(對應點)(步驟SB5)。具體而言，CPU8係抽出表現在步驟SB3之處理中所指定之特徵點的影像資料來作為樣版影像。然後，CPU8係在攝影影像資料50B中對此張樣版影像進行掃描。CPU8進行攝影影像資料50B與樣版影像的相關演算，並檢測出相關性(一致度)最高的區域來作為攝影影像資料50之對應點，也就是與攝影影像資料50B中與攝影影像資料50A的特徵點對應的點。
接著，CPU8係特別指定在步驟SB5之處理中被檢出之對應點的座標(u’,v’)，並將特別指定之特徵點的座標保持於DRAM10(步驟SB6)。
接著，CPU8係算出在步驟SB3之處理中所指定的特徵點之實際空間的座標(X,Y,Z)(步驟SB7)。具體而言，CPU8係使用DRAM10所保持的特徵點之座標和對應點之座標的各值u,v、u’,v’、及快閃記憶體9中所預先記錄之光學透鏡5A和光學透鏡裝置5B間的距離資訊g和焦點距離資訊f，依照上述公式(1)，算出在步驟SB3之處理中所指定的特徵點之實際空間的座標(X,Y,Z)。
接著，CPU8係將點群資訊81預先保持在DRAM10上，而該點群資訊81已使在步驟SB3之處理中所指定的特徵點資訊和在步驟SB8之處理中所算出的特徵點之座標資訊附加了對應關係(步驟SB8)。
接著，CPU8係判斷在步驟SB3之處理中是否有完全尚未被指定過的特徵點(步驟SB9)。當CPU8判斷為在步驟SB3之處理中有完全尚未被指定過的特徵點時，就返回步驟SB3之處理(步驟SB9；是)。
若返回步驟SB3之處理，CPU8重複從步驟SB3到步驟SB8的各處理，算出並記錄未被指定之特徵點的實際空間的座標。以此方式，CPU8算出與在步驟SB2之處理中所檢出之全部特徵點對應的實際空間之座標。
第8圖係表示已將被拍攝體之特徵點資訊和其座標資訊附加對應關係的點群資訊81之情況。如第8圖所示，例如與人物41之特徵點1對應之X座標的值為0.05(m)、Y座標之值為0.10(m)、Z座標之值為2.00(m)。
當全部的特徵點被指定時，CPU8就判斷為已無完全尚未被指定過的特徵點(步驟SB9；否)，就結束第7圖之流程圖所示的距離資訊算出處理。
接著，參照第9圖所示的流程圖來說明步驟SA8的距離資訊修正處理之詳細內容。
步驟SA7的處理之後，CPU8係使用在DRAM10上保持之點群資訊81，產生表示各距離資訊以與相同距離資訊對應之特徵點個數的對應關係之距離分類特徵點資訊(步驟SC1)。
在本實施形態中，產生此距離分類特徵點資訊的時候，將在步驟SA7之處理中算出之特徵點的實際空間的座標(X,Y,Z)當中之Z座標的值使用作為距離資訊。CPU8係全部特別指定與各特徵點對應之距離資訊(Z座標之值)，算出與相同距離資訊對應的特徵點之個數資訊。然後，CPU8係在座標平面上繪製表示針對每個距離資訊算出之特徵點個數資訊的點，藉以產生作為距離分類特徵點資訊的特徵點之分佈圖。
第10(A)圖中係表示由CPU8所產生的特徵點之分佈圖。在第10(A)圖所示的特徵點之分佈圖中，橫軸係表示從實際空間的數位相機1到被拍攝體的各特徵點之存在區域的距離，縱軸則表示在各距離中存在之被拍攝體的特徵點個數。在第10(A)圖中，縱軸方向係朝向上方，橫軸方向係朝向右方。
第10(A)圖之特徵點的分佈圖係表示分佈曲線90(以粗實線所示的曲線)。此分佈曲線90係被繪製之藉由曲線來連結表示與各距離資訊對應之特徵點的個數資訊的點。
分佈曲線90上存在3個峰部91、92、93。在第10(A)圖中，峰部91係表示位於從第4(A)圖所示之距離數位相機1最近的地點之人物41和人物42的特徵點之存在。峰部92係表示接著，人物41和人物42以後，位於距離數位相機1最近的地點之車輛43的特徵點之存在。峰部93係表示位於距離數位相機1最遠的地點之建築物44的特徵點之存在。
另外，如第4(A)圖所示，攝影時，從數位相機1到人物41之間並不存在被拍攝體(特徵點)。因此，如第10(A)圖所示，從原點至峰部91(表示人物41之特徵點存在的峰)的距離範圍中，並不存在分佈曲線90。
同樣地，如第4(A)圖所示，攝影時，從車輛43到建築物44之間並不存在被拍攝體(特徵點)。因此，如第10(A)圖所示，在峰部92與峰部93之間的範圍中分佈曲線90之值(特徵點的個數)全部歸0。
返回第9圖，CPU8係檢測出分佈曲線90之變化開始點(步驟SC2)。具體而言，首先，CPU8係從分佈曲線90中，以在各特徵點之個數資訊中接近最小值之順序，依序特別指定成為最小值之個數資訊及接近最小值的複數個數資訊。接著，CPU8係特別指定與已被特別指定之各個數資訊對應的全部距離資訊。
在本實施形態中，CPU8係特別指定與分佈曲線90之起點94對應的距離資訊、與峰部92之終點95對應的距離資訊、與峰部93之起點對應的距離資訊、與峰部93之終點對應的距離資訊之4個距離資訊，來作為在各特徵點之個數資訊中之與最小值及接近最小值的複數個數資訊對應之各距離資訊。
然後，CPU8係檢測出被特別指定之4個距離資訊當中，與最小的距離資訊對應之點來作為變化開始點。在本實施形態中，如第10(A)圖所示，分佈曲線90之起點94被檢出作為變化開始點。
接著，CPU8係檢測出分佈曲線90的變化結束點(步驟SC3)。具體而言，CPU8係從分佈曲線90，在先前檢出之4個各距離資訊當中，檢測出與第2小之距離資訊對應的點。在本實施形態中，如第10(A)圖所示，峰部92之終點95係被檢出作為變化結束點。在本實施形態中，與變化結束點95對應之距離資訊係4.20(m)。
接著，CPU8係對於在DRAM10上保持之點群資訊81中所包含的距離資訊進行以下修正：將屬於比與變化結束點95對應之距離資訊還要大的距離範圍的全部距離資訊變更為與變化結束點95對應之距離資訊(4.20(m))(步驟SC4)。
藉由步驟SC4的處理，如第10(B)圖所示，與變化結束點95以後存在的峰部93(表示建築物44之特徵點存在的峰)對應之距離資訊全部被修正為與變化結束點95對應之距離資訊(4.20(m))。藉此，如第10(B)圖所示，峰部93的資訊係被修正為峰部931的資訊。
第11(A)圖係表示藉由步驟SC4之處理而修正的點群資訊82之情況。相較於第8圖所示之原先的點群資訊81，在第11(A)圖所示之修正後的點群資訊82中，與建築物44之各特徵點對應的全部距離資訊(Z座標值)被修正為作為變化結束點95之距離資訊的4.20(m)。
參照第12圖來補充說明步驟SC4的處理。第12圖係表示進行步驟SC4之處理後之攝影環境的假想變化之概念圖。
由於步驟SC4的處理，在點群資訊中與建築物44之各特徵點對應的距離資訊被修正為變小。因此，基於修正後之點群資訊82的假想攝影環境係如第12圖所示，猶如成為建築物44之位置接近了數位相機1之位置。
然後，在點群資訊中，與建築物44之全部特徵點對應的各距離資訊會成為與變化結束地點95對應之距離資訊並且被均一化。因此，如第12圖所示，會失去建築物44的深度，建築物44變成猶如平面51。
返回第9圖，CPU8係接著，在步驟SC4的處理以後，將利用變化開始點94之距離資訊以上且變化結束點95之距離資訊以下的距離資訊所構成之距離範圍，設定作為3維顯示距離範圍(步驟SC5)。所謂的3維顯示距離範圍就是在後述播放模式中已拍攝之被拍攝體像以3維方式來顯示的距離範圍。第10(B)圖係表示本實施形態之3維顯示距離範圍96。
接著，CPU8係判斷所設定之3維顯示距離範圍96是否為既定閾值以上(步驟SC6)。CPU8在所設定之3維顯示距離範圍96未達既定閾值時(步驟SC6；否)，進行至步驟SC8之處理。在本實施形態中，閾值是1(m)。閾值也可以不是1(m)。
另一方面，當所設定之3維顯示距離範圍96為既定閾值以上時(步驟SC6；是)，CPU8係以3維顯示距離範圍96成為與閾值(1(m))相同之值的距離範圍的方式，在修正後之點群資訊82包含的距離資訊當中，修正屬於3維顯示距離範圍96的距離資訊(步驟SC7)。
具體而言，CPU8係預先算出屬於修正前之3維顯示距離範圍96的各距離資訊之平均值。接著，CPU8係針對修正前之3維顯示距離範圍96所包含的各距離資訊，全部預先算出在數學直線上鄰接之各距離資訊間的差異值之比率。
這些算出處理以後，CPU8係以屬於修正前之3維顯示距離範圍96的全部距離資訊被包含在與閾值(1(m))相同之值的距離範圍中的方式，修正屬於點群資訊82之3維顯示距離範圍96的各距離資訊。
步驟SC7的處理時，CPU8係將屬於修正前之3維顯示距離範圍96的距離資訊之平均值以及屬於修正後之3維顯示距離範圍961的距離資訊之平均值設為相同。
步驟SC7的處理時，CPU8係將在修正後之3維顯示距離範圍961中在數學直線上鄰接之各距離資訊的差異值之比率及修正前之3維顯示距離範圍96中在數學直線上鄰接之各距離資訊的差異值之比率設為相同。
步驟SC7的處理時，CPU8係將屬於修正前之3維顯示距離範圍96的各距離資訊之大小關係及已修正之各距離資訊(屬於3維顯示距離範圍961的各距離資訊)之大小關係設定為不變。
第10(C)圖係表示由步驟SC7之處理所修正的3維顯示距離範圍961。如第10(C)圖所示，已修正的3維顯示距離範圍961係變得比修正前之3維顯示距離範圍96還要小。
第11(B)圖係表示由步驟SC7之處理所修正的點群資訊83。如第11(B)圖所示，相較於修正前，屬於修正後之3維顯示距離範圍961的距離資訊(Z座標的值)，也就是與人物41、人物42、車輛43之各特徵點對應的各距離資訊(Z座標的值)之數學直線上的存在範圍變小。
步驟SC6的處理或步驟SC7的處理後，CPU8係將已修正之點群資訊82(或者點群資訊83)記錄於攝影影像資料50A和攝影影像資料50B的各個標頭資料(步驟SC8)，結束第9圖之流程圖所示的距離資訊修正處理。
接著，參照第13圖所示的流程圖，說明本實施形態的播放模式之處理。當使用者藉由對按鍵區塊13之既定操作來設定播放模式時，CPU8會藉由從快閃記憶體9讀出並解壓縮於DRAM10的程式之協助，實行第13圖之流程圖所示的播放模式之處理。
當設定播放模式時，CPU8會從隨著攝影影像資料的標頭資料中讀出由步驟SA8之處理所修正的點群資訊82(或者點群資訊83)，並將已讀出之點群資訊保持於DRAM10(步驟SD1)。
接著，CPU8係依照眾所皆知的德朗奈(Delaunay)法，使用在DRAM10上所讀出之點群資訊並產生三角形多邊形模型(步驟SD2)。在產生三角形多邊形模型的時候，優先進行如同所產生之三角形逼近正三角形的特徵點之結合。接著，CPU8採用眾所皆知之紋理映射法，藉由貼附已產生之三角形多邊形模型的紋理資料來產生3維影像(步驟SD3)。
接著，CPU8係使已產生之3維影像顯示於顯示部12(步驟SD4)。接著，CPU8係將已產生之3維影像上的各特徵點之座標資訊記錄於攝影影像資料50A和攝影影像資料50B之各個標頭資料上(步驟SD5)，並結束第13圖之流程圖所示的播放模式。
第14圖係表示由本實施形態所產生的3維影像之範例。由本實施形態所產生的3維影像係與由第22圖所示之習知技術所產生的3維影像相比，作為主要被拍攝體的馬銅像和作為背景的建築物的距離縮小。因此，由本實施形態所產生的3維影像成為能夠讓使用者輕易把握各被拍攝體之模樣的影像。這是因為在步驟SA8的距離資訊修正處理中，以比點群資訊之變化結束點的距離資訊還要大之距離資訊會變小的方式來進行修正，因而使成為背景的被拍攝體和主要被拍攝體的距離資訊變小。
另外，在第14圖所示的3維影像中，雖以3維方式呈現了作為主要被拍攝體的馬銅像，但以平面方式呈現了作為背景的建築物。藉此，使用者能夠以3維方式來辨識主要被拍攝體之形狀，同時對於成為背景的被拍攝體而言，變得能夠輕易把握其內容。這是因為在步驟SA8的處理中，比點群資訊的變化結束點之距離資訊還要大的距離資訊全部被修正為相同的距離資訊(與變化結束點對應的距離資訊)，所以與修正後之點群資訊的背景被拍攝體之特徵點對應的距離資訊全部相同。
(變形例)
在上述的第1實施形態中，在步驟SC4的處理中，CPU8會以使比變化結束點95之距離資訊還要大的距離資訊全部變成相同距離資訊(變化結束點95之距離資訊)的方式來修正點群資訊81。不過，CPU8也可以進行使屬於比變化結束點95之距離資訊還要大的範圍之距離資訊分別僅縮小相同距離資訊份量的修正。
在此變形例中，例如，如第10(D)圖所示，CPU8係以變化結束點95與峰部93之起點為一致的方式，對點群資訊81中包含之各距離資訊進行以下修正：使與峰部93對應之距離資訊分別僅縮小在變化結束點95之距離資訊及與峰部93之起點對應的距離資訊間之差異值。
另外，在第1實施形態中，在步驟SC7的處理中，CPU8在所設定之3維顯示距離範圍96為既定閾值以上時，以3維顯示距離範圍96成為和既定閾值相同之值的距離範圍的方式，修正在點群資訊82中包含之距離資訊當中，屬於3維顯示距離範圍96的距離資訊。
不過，CPU8係在步驟SC7的處理中，也可以依照下面公式(2)來修正屬於點群資訊82中包含之3維顯示距離範圍96的各距離資訊Z。
Z’=Z-(A-Z)‧α　(2)
其中，
Z：修正前之距離資訊的值(屬於修正前之3維顯示距離範圍修正96的各距離資訊)
Z’：修正後之距離資訊的值(屬於修正後之3維顯示距離範圍961的各距離資訊)
A：與變化結束點95對應之距離資訊的值
α：未滿1之任意自然數
如同以上所說明，在第1實施形態及其變形例中，CPU8係以在點群資訊81中包含之距離資訊當中，屬於比變化結束點95之距離資訊還要大的距離範圍之距離資訊會變小的方式來進行修正。如同這般，在被拍攝體不適於3維顯示的情況下，也就是即使在主要被拍攝體和背景被拍攝體之距離大的情況下，點群資訊方面之主要被拍攝體和背景被拍攝體的距離資訊也會變小。藉此，在使用點群資訊而產生的3維影像中，能夠迴避構成3維影像之三角形多邊形成為橢圓形狀的情況。其結果，在本實施形態中，即使在被拍攝體不適於3維顯示的情況下，使用者也能夠輕易把握各被拍攝體之模樣的3維影像，也就是獲得辨識性高的3維影像。
在第1實施形態中，CPU8係進行以下修正：在點群資訊81中包含之距離資訊當中，比變化結束點95之距離資訊還要大的距離資訊全部會成為相同距離資訊(變化結束點95之距離資訊)。以此方式，在由已修正之點群資訊中產生的3維影像中，例如，能夠以3維方式來表現主要被拍攝體，並且背景被拍攝體則以2維方式來表現。藉此，使用者能夠以3維方式辨識出主要被拍攝體之形狀，並且針對背景被拍攝體而輕易把握其內容。其結果，藉由本實施形態，使用者能夠獲得可輕易理解成為背景之被拍攝體像之內容的3維影像，也就是辨識性高的3維影像。
在第1實施形態中，CPU8係在3維顯示距離範圍96為既定閾值以上的情況下，以3維顯示距離範圍96變小的方式，修正在點群資訊82中包含之距離資訊當中屬於3維顯示距離範圍96的距離資訊。藉此，在即使屬於3維顯示距離範圍96的特徵點間之距離資訊為過大尺寸的情況下，也以此特徵點間之距離資訊變小的方式來對點群資訊82進行修正。於是，能夠迴避構成在3維影像上以3維方式呈現之主要被拍攝體的三角形多邊形成為過大尺寸的情況。其結果，藉由本實施形態，即使在主要被拍攝體等之深度大的情況下，也能將在3維影像上呈現之主要被拍攝體修正為適當形狀，夠能獲得辨識性高的3維影像。
接著，說明本發明之其他實施形態。在以下說明的各實施形態中，僅步驟SA8的處理內容和上述第1實施形態不同，數位相機1的電氣構成或步驟SA8以外之處理內容與第1實施形態相同。
<第2實施形態>
參照第15圖所示的流程圖來說明第2實施形態的距離資訊修正處理(步驟SA8的處理)。
步驟SA7的處理以後，CPU8係使用在DRAM10中保持之點群資訊81來作為距離分類特徵點資訊，並在DRAM10上產生特徵點的分佈圖(步驟SE1)。產生特徵點之分佈圖的方法係與該步驟SC1之處理相同。第14(A)圖係表示由CPU8所產生之特徵點的分佈圖。
CPU8係與步驟SC2的處理相同，檢測出分佈曲線90之變化開始點94(步驟SE2)。即使在第2實施形態中，也如第16(A)圖所示，檢測出分佈曲線90之起點94來作為變化開始點。
接著，CPU8係算出從數位相機1(攝影透鏡)至焦點對準之被拍攝體區域(對焦區域)的距離a(步驟SE3)。具體而言，CPU8係讀出預先記憶於快閃記憶體9的焦點距離資訊f，從當下之變焦透鏡的位置來特別指定變焦倍率值m。然後，CPU8係依照眾所皆知之下述公式(3)來算出從攝影透鏡到對焦區域的距離a。
1/a+1/b=1/a+1/m‧a=1/f　(3)
其中，
a：從攝影透鏡到對焦區域的距離
b：從攝影透鏡到實像的距離
m：變焦倍率
f：焦點距離
接著，CPU8係設定2a(a係從攝影透鏡到對焦區域的距離資訊)的距離資訊來作為背景聚集距離資訊(步驟SE4)。所謂的背景聚集距離資訊就是在後述步驟SE5之點群資訊的修正處理中，成為修正後的距離資訊者。
接著，CPU8係針對在DRAM10上保持之點群資訊81中包含的距離資訊進行以下修正：將與屬於比背景聚集距離資訊(2a)還要大之距離資訊的範圍之全部特徵資訊對應的距離資訊變更為背景聚集距離資訊(2a)(步驟SE5)。
藉由步驟SE5的處理，如第16(B)圖所示，與在比背景聚集距離資訊(2a)還要大之距離範圍中存在的峰部93(表示建築物44之特徵點的存在的峰)對應之距離資訊會被修正為背景聚集地距離資訊(2a)。
接著，CPU8係將由變化開始點94之距離資訊以上且背景聚集距離資訊以下之距離資訊所構成的範圍設定作為3維顯示距離範圍(步驟SE6)。第16(B)圖係表示本實施形態的3維顯示距離範圍97。
接著，CPU8係判斷所設定之3維顯示距離範圍97是否為既定閾值以上(步驟SE7)。若所設定之3維顯示距離範圍97為未達既定閾值時(步驟SE7；否)，CPU8則進行到步驟SE9之處理。在本實施形態中，閾值為1(m)。閾值也可以不是1(m)。
另一方面，在步驟SE6的處理中所設定之3維顯示距離範圍97為既定閾值以上時(步驟SE7；是)，CPU8係以3維顯示距離範圍97成為與閾值(1(m))相同之值的距離範圍的方式，在修正後之點群資訊中包含的距離資訊當中，修正屬於3維顯示距離範圍97的距離資訊(步驟SE8)。步驟SE8之處理的各距離資訊之修正方法係與步驟SC7之處理的各距離資訊之修正方法相同。
第16(C)圖係表示由步驟SE8之處理所修正的3維顯示距離範圍971。如第16(C)圖所示，被修正之3維顯示距離範圍971係變得比被修正前之3維顯示距離範圍97還要小。
步驟SE7的處理或步驟SE8的處理以後，CPU8係將已修正之點群資訊記錄於攝影影像資料50A和攝影影像資料50B之各個標頭資料上(步驟SCE9)，並結束第15圖所示之流程圖的距離資訊修正處理。
(變形例)
在上述的第2實施形態中，在步驟SE5的處理中，CPU8係以比背景聚集距離資訊還要大的距離資訊全部成為相同距離資訊(變化結束點95之距離資訊)的方式來修正點群資訊81。不過，CPU8也可以進行屬於比背景聚集距離資訊還要大之距離範圍的距離資訊分別僅縮小相同距離資訊份量的修正。
在此變形例中，例如第16(D)圖所示，CPU8係以與峰部93之起點對應的距離情報一致於背景聚集距離資訊(2a)的方式，對點群資訊81中包含之各距離資訊進行以下修正：與峰部93對應之距離資訊分別僅縮小在背景距離資訊及與峰部93之起點對應的距離資訊間之差異值。
另外，在第2實施形態中，CPU8係將到對焦區域為止的距離資訊之2倍的距離資訊設定為背景聚集距離資訊。不過，背景聚集距離資訊也可以是到對焦區域為止之距離資訊的1.5倍之距離資訊或3倍之距離資訊。
另外，在第2實施形態中，在步驟SE8的處理中，CPU8係在己設定之3維顯示距離範圍97為既定閾值以上時，以3維顯示距離範圍97成為和既定閾值相同之值的距離範圍的方式，在點群資訊82中包含之距離資訊當中，修正屬於3維顯示距離範圍97的距離資訊。
不過，CPU8係在步驟SE8的處理中，也可以依照例如上述公式(4)來修正將屬於點群資訊中包含之3維顯示距離範圍97的各距離資訊Z。
Z’=Z-(2a-Z)‧α　(4)
其中
Z：修正前之距離資訊的值(屬於修正前之3維顯示距離範圍97的各距離資訊)
Z’：修正後的距離資訊的值(屬於修正後之3維顯示距離範圍971的各距離資訊)
2a：背景聚集距離資訊的值
α：未滿1之任意自然數量
如同以上所說明，在第2實施形態及其變形例中，CPU8係以在點群資訊81中包含之距離資訊當中之屬於比背景聚集距離資訊還要大的距離範圍之距離資訊會變小的方式來進行修正。如同這般，即使在主要被拍攝體和成為背景之被拍攝體之距離大的情況下，點群資訊方面之主要被拍攝體和背景被拍攝體的距離資訊也會變小。藉此，在使用點群資訊而產生的3維影像中，能夠迴避構成3維影像之三角形多邊形成為橢圓形狀的情況。其結果，在本實施形態中，使用者能夠輕易把握各被拍攝體之模樣的3維影像，也就是獲得辨識性高的3維影像。
在第2實施形態中，如第16(B)圖所示，將焦點對準之區域附近的距離範圍自動地設定作為3維顯示距離範圍97。然後，焦點對準之被拍攝體係很可能是使用者所注目的主要被拍攝體。因此，在第2實施形態中，能夠輕易地以3維方式來表現使用者所注目的主要被拍攝體。
在第2實施形態中，CPU8係進行以下修正：在點群資訊81中包含之距離資訊當中，比背景聚集距離資訊還要大的距離資訊全部會成為相同距離資訊(背景聚集距離資訊)。以此方式，在由已修正之點群資訊中產生的3維影像中，例如能夠以3維方式來表現主要被拍攝體，並且對成為背景之被拍攝體則以2維方式來表現。藉此，使用者能夠以3維方式辨識出主要被拍攝體之形狀，並且針對背景被拍攝體而輕易把握其內容。其結果，藉由本實施形態，使用者能夠獲得可輕易理解成為背景之被拍攝體像之內容的3維影像，也就是辨識性高的3維影像。
在第2實施形態中，CPU8係在3維顯示距離範圍97為既定閾值以上的情況下，以3維顯示距離範圍97變小的方式，修正在點群資訊中包含之距離資訊當中屬於3維顯示距離範圍97的距離資訊。藉此，在即使屬於3維顯示距離範圍97的特徵點間之距離資訊為過大尺寸的情況下，也以此特徵點間之距離資訊變小的方式來對點群資訊進行修正。於是，能夠迴避構成在3維影像上以3維方式呈現之主要被拍攝體的三角形多邊形成為過大尺寸的情況。其結果，藉由本實施形態，即使在主要被拍攝體等之深度大的情況下，也能將在3維影像上呈現之主要被拍攝體修正為適當形狀，夠能獲得辨識性高的3維影像。
<第3實施形態>
參照第17圖所示之流程圖，說明第3實施形態的距離資訊修正處理(步驟SA8的處理)。
步驟SA7的處理以後，CPU8係使用在DRAM10中保持之點群資訊81來作為距離分類特徵點資訊，並在DRAM10上產生特徵點的分佈圖(步驟SF1)。產生特徵點之分佈圖的方法係與該步驟SC1之處理相同。第18(A)圖係表示由CPU8所產生之特徵點的分佈圖。
接著，CPU8係算出從數位相機1至景深深度之前端的距離資訊Dn(步驟SF2)。具體而言，CPU8係與步驟SE3的處理相同，算出從攝影透鏡至對焦區域的距離a，讀出在快閃記憶體9中預先記錄之焦點距離資訊f和模糊圈之直徑資訊c，特別指定當下之光圈值N。然後，CPU8係依照眾所皆知之下述公式(5)來算出到景深深度之前端為止的距離資訊Dn。
Dn=c‧N‧a2 /(f2 +c‧N/a)　(5)
其中，
a：從攝影透鏡至對焦區域的距離
f：焦點距離
N：光圈值
C：模糊圈的直徑
接著，CPU8係算出從數位相機1至景深深度為止之後端的距離資訊Df(步驟SF3)。具體而言，CPU8係與步驟SE3的處理相同，算出從攝影透鏡至對焦區域的距離a，讀出在快閃記憶體9中預先記錄之焦點距離資訊f和模糊圈之直徑資訊c，特別指定當下之光圈值N。然後，CPU8係依照眾所皆知之下述公式(6)來算出到景深深度之後端為止的距離資訊Df。
Df=c‧N‧a2 /(f2 -c‧N/a)　(6)
其中，
a：從攝影透鏡至對焦區域的距離
f：焦點距離
N：光圈值
C：模糊圈的直徑
接著，CPU8係針對在DRAM10上保持之點群資訊81中包含的距離資訊，進行以下修正：將與屬於比至景深深度之後端的距離資訊Df還要大之距離範圍的各距離資訊，變更為至景深深度之後端的距離資訊Df(步驟SF4)。
換言之，如第18(B)圖所示，與屬於比景深深度之後端的距離資訊Df還要大之距離範圍的峰部93(表示存在有建築物44之特徵點之存在的峰)對應的距離資訊會被修正為景深深度之後端的距離資訊Df。
接著，CPU8係將由景深深度之前端的距離資訊Dn以上且景深深度之後端的距離資訊Df以下之距離資訊所構成的範圍設定作為3維顯示距離範圍(步驟SF5)。第18(B)圖係表示本實施形態的3維顯示距離範圍98。
接著，CPU8係判斷所設定之3維顯示距離範圍98是否為既定閾值以上(步驟SF6)。若所設定之3維顯示距離範圍98為未達既定閾值時(步驟SF6；否)，CPU8則進行到步驟SE8之處理。在本實施形態中，閾值為1(m)。閾值也可以不是1(m)。
另一方面，在步驟SF5的處理中所設定之3維顯示距離範圍98為既定閾值以上時(步驟SF6；是)，CPU8係以3維顯示距離範圍98成為與閾值(1(m))相同之值的距離範圍的方式，在修正後之點群資訊中包含的距離資訊當中，修正屬於3維顯示距離範圍98的距離資訊(步驟SF7)。步驟SF7之處理的各距離資訊之修正方法係與步驟SC7之處理的各距離資訊之修正方法相同。
第18(C)圖係表示由步驟SF7之處理所修正的3維顯示距離範圍981。如第18(C)圖所示，被修正之3維顯示距離範圍981係變得比被修正前之3維顯示距離範圍98還要小。
步驟SF6的處理或步驟SF7的處理以後，CPU8係將已修正之點群資訊記錄於攝影影像資料50A和攝影影像資料50B之各個標頭資料上(步驟SF8)，結束第17圖所示之流程圖的距離資訊修正處理。
(變形例)
在上述的第3實施形態中，在步驟SF4的處理中，CPU8係以比景深深度之後端的距離資訊Df還要大的距離資訊全部成為相同距離資訊(距離資訊Df)的方式來修正點群資訊81。不過，CPU8也可以進行屬於比景深深度之後端的距離資訊Df還要大之距離範圍的距離資訊分別僅縮小相同距離資訊份量的修正。
在此變形例中，例如第18(D)圖所示，CPU8係以與峰部93之起點對應的距離情報一致於景深深度之後端的距離資訊Df的方式，對點群資訊81中包含之各距離資訊進行以下修正：與峰部93對應之距離資訊分別僅縮小在距離資訊Df和與峰部93之起點對應的距離資訊間之差異值。
另外，在第3實施形態中，在步驟SF7的處理中，CPU8係在已設定之3維顯示距離範圍98為既定閾值以上時，以3維顯示距離範圍98成為和既定閾值相同之值的距離範圍的方式，在點群資訊82中包含之距離資訊當中，修正屬於3維顯示距離範圍98的距離資訊。
不過，CPU8係在步驟SF7的處理中，也可以依照例如下述公式(7)來修正屬於點群資訊中包含之3維顯示距離範圍98的各距離資訊Z。
Z’=Z-(Df-Z)‧α　(7)
其中
Z：修正前之距離資訊的值(屬於修正前之3維顯示距離範圍98的各距離資訊)
Z’：修正後的距離資訊的值(屬於修正後之3維顯示距離範圍981的各距離資訊)
Df：景深深度之後端的距離資訊的值
α：未滿1之任意自然數量
如同以上所說明，在第3實施形態及其變形例中，CPU8係以在點群資訊81中包含之距離資訊當中之屬於比景深深度之後端的距離資訊Df還要大的距離範圍之距離資訊會變小的方式來進行修正。如同這般，即使在主要被拍攝體和成為背景之被拍攝體之距離大的情況下，點群資訊方面之主要被拍攝體和背景被拍攝體的距離資訊也會變小。藉此，在使用點群資訊而產生的3維影像中，能夠迴避構成3維影像之三角形多邊形成為橢圓形狀的情況。其結果，在本實施形態中，使用者能夠輕易把握各被拍攝體之模樣的3維影像，也就是獲得辨識性高的3維影像。
在第3實施形態中，如第18圖所示，將與景深深度存在之位置對應的距離範圍自動地設定作為3維顯示距離範圍98。然後，景深深度中包含之被拍攝體，也就是焦點對準的被拍攝體係很可能是使用者所注目的主要被拍攝體。因此，在第3實施形態中，能夠輕易地以3維方式來表現使用者所注目的主要被拍攝體。
在第3實施形態中，CPU8係進行以下修正：在點群資訊81中包含之距離資訊當中，比景深深度之後端的距離資訊Df還要大的距離資訊全部會成為相同距離資訊(距離資訊Df)。以此方式，在由已修正之點群資訊中產生的3維影像中，例如，能夠以3維方式來表現主要被拍攝體，並且對成為背景之被拍攝體則以2維方式來表現。藉此，使用者能夠以3維方式辨識出主要被拍攝體之形狀，並且針對背景被拍攝體而輕易把握其內容。其結果，藉由本實施形態，使用者能夠獲得可輕易理解成為背景之被拍攝體像之內容的3維影像，也就是辨識性高的3維影像。
在第3實施形態中，CPU8係在3維顯示距離範圍98為既定閾值以上的情況下，以3維顯示距離範圍98變小的方式，修正在點群資訊中包含之距離資訊當中屬於3維顯示距離範圍98的距離資訊。藉此，在即使屬於3維顯示距離範圍98的特徵點間之距離資訊為過大尺寸的情況下，也以此特徵點間之距離資訊變小的方式來對點群資訊進行修正。於是，能夠迴避構成在3維影像上以3維方式呈現之主要被拍攝體的三角形多邊形成為過大尺寸的情況。其結果，藉由本實施形態，即使在主要被拍攝體等之深度大的情況下，也能將在3維影像上呈現之主要被拍攝體修正為適當形狀，夠能獲得辨識性高的3維影像。
<第4實施形態>
參照第19圖所示的流程圖，說明第4實施形態的距離資訊修正處理(步驟SA8的處理)。
步驟SA7的處理以後，CPU8係使顯示部12顯示第20圖所示之設定畫面，一直到檢測出使用者對於按鍵區塊13之操作而輸入背景聚集距離資訊為止都是待命狀態(步驟SG1)。
CPU8在無檢測出使用者之操作輸入時(步驟SG1；否)則保持為待命狀態。另一方面，當CPU8在檢測出使用者之操作輸入時(步驟SG1；是)，則設定由使用者之操作而輸入的背景聚集距離資訊(步驟SG2)。在本實施形態中，則是藉由使用者之操作來設定4.00(m)，以作為背景聚集距離資訊。
接著，CPU8係由以下方式來修正點群資訊81：在DRAM10中保持之點群資訊81所包含的各距離資訊當中之屬於比由步驟SG2之處理所設定的背景聚集距離資訊還要大的距離範圍的全部距離資訊，會成為該已設定之背景聚集距離資訊(4.00(m))(步驟SG3)。
第21圖係表示由於步驟SG3之處理而修正的點群資訊84之模樣。如第21圖所示，在原先的點群資訊81中曾是比背景聚集距離資訊(4.00(m))還要大之距離資訊之與建築物44之各特徵點對應的距離資訊全部被修正成為背景聚集距離資訊(4.00(m))。
接著，CPU8係將修正後之點群資訊84記錄於攝影影像資料50A和攝影影像資料50B之各個標頭資料上(步驟SG4)，並結束第19圖所示之流程圖的距離資訊修正處理。
(變形例)
在上述的第4實施形態中，在步驟SG3的處理中，CPU8係以比由使用者所設定之背景聚集距離資訊還要大的距離資訊全部成為相同距離資訊(背景聚集距離資訊)的方式來修正點群資訊81。不過，CPU8也可以進行以下修正：屬於比由使用者所設定之背景聚集距離資訊還要大之距離範圍的距離資訊分別僅縮小相同距離資訊份量。
如同以上所說明，在第4實施形態及其變形例中，CPU8係以在點群資訊81中包含之距離資訊當中之屬於比由使用者操作而設定之背景聚集距離資訊還要大的距離範圍之距離資訊會變小的方式來進行修正。如同這般，即使在主要被拍攝體和成為背景之被拍攝體之距離大的情況下，點群資訊方面之主要被拍攝體和背景被拍攝體的距離資訊也會變小。藉此，在使用點群資訊而產生的3維影像中，能夠迴避構成3維影像之三角形多邊形成為橢圓形狀的情況。其結果，在本實施形態中，使用者能夠輕易把握各被拍攝體之模樣的3維影像，也就是獲得辨識性高的3維影像。
在第4實施形態中，藉由使用者之操作來設定了背景聚集距離資訊。藉此，能夠對點群資訊，進行使在使用者所需之距離範圍中的被拍攝體(背景被拍攝體等)之距離資訊確實縮小的修正。
在第4實施形態中，CPU8係進行以下修正：以在點群資訊81中包含之距離資訊當中，比背景聚集距離資訊還要大的距離資訊全部會成為相同距離資訊(背景聚集距離資訊)。以此方式，在由已修正之點群資訊中產生的3維影像中，例如能夠以3維方式來表現主要被拍攝體，並且對成為背景之被拍攝體則以2維方式來表現。藉此，使用者能夠以3維方式辨識出主要被拍攝體之形狀，並且針對背景被拍攝體而輕易把握其內容。其結果，藉由本實施形態，使用者能夠獲得可輕易理解成為背景之被拍攝體像之內容的3維影像，也就是辨識性高的3維影像。
在上述各實施形態及各變形例中，說明了將本發明應用於數位相機的情況。不過，只要為具有產生影像資訊之功能者，本發明也可以應用於數位攝影機、附有照相機之手機終端等的其他照相機裝置、或個人電腦等的影像產生裝置。
在此應理解到本發明並非侷限於上述特定實施例，且本發明可在不悖離本發明之精神及範圍的情況下進行修改。根據上述實施例中所揭露之元件的適當組合就可將本發明修改成各種型態。例如，可以從實施例中所示之所有元件中刪去一些元件。此外，在不同實施例中的元件可被適當地用來組合。
1．．．數位相機
2．．．本體
4．．．快門鍵
5A、5B．．．光學透鏡裝置
6A、6B．．．CCD
7．．．影像處理部
8．．．CPU
9．．．快閃記憶體
10．．．DRAM
11．．．記憶卡
12．．．顯示部
13．．．按鍵區塊
41、42．．．人物
43．．．車輛
44．．．建築物
50A、50B．．．攝影影像資料
51．．．平面
60．．．被拍攝體
61．．．光像
62A、62B．．．位置
OA、OB．．．原點
CA、CB．．．座標面
ZA、ZB．．．光軸
81～84．．．點群資訊
90．．．分佈曲線
91～93．．．峰部
931．．．峰部
94．．．變化開始點
95．．．變化結束點
96～983．．．維顯示距離範圍
961～9813．．．維顯示距離範圍
Df．．．景深深度之後端的距離資訊
Dn．．．景深深度之前端的距離資訊
第1圖係本實施形態之數位相機1的外觀圖。
第2圖係表示數位相機1之電氣構成的區塊圖。
第3圖係表示攝影模式之處理內容的流程圖。
第4(A)圖係從上方觀看數位相機1與被拍攝體的圖。
第4(B)圖係表示數位相機1能夠捕捉之被拍攝體像的情況的圖。
第5(A)圖係表示由CCD6A所拍攝之攝影影像的圖。
第5(B)圖係表示由CCD6B拍攝之攝影影像的圖。
第6圖係用於說明立體法之原理的概念圖。
第7圖係表示本實施形態之距離資訊算出處理的處理內容之圖。
第8圖係表示使被拍攝體之特徵點資訊和其座標資訊附加對應關係的點群資訊81之情況的圖。
第9圖係表示第1實施形態之距離資訊修正處理之內容的圖。
第10(A)圖係表示特徵點之分佈圖的圖。
第10(B)圖係表示修正後之特徵點之分佈圖的圖。
第10(C)圖係表示修正後之特徵點之分佈圖的圖。
第10(D)圖係表示變形例之修正的特徵點之分佈圖的圖。
第11(A)圖係表示已被步驟SC4之處理所修正的點群資訊82之情況的圖。
第11(B)圖係表示已被步驟SC7之處理所修正的點群資訊83之情況的圖。
第12圖係表示由於步驟SC4之處理造成之攝影環境的假想變化之概念圖。
第13圖係表示本實施形態之播放模式的處理內容的圖。
第14圖係表示在第1實施形態中所產生之3維影像之範例的圖。
第15圖係表示第2實施形態之距離資訊修正處理之內容的圖。
第16(A)圖係表示特徵點之分佈圖的圖。
第16(B)圖係表示修正後之特徵點之分佈圖的圖。
第16(C)圖係表示修正後之特徵點之分佈圖的圖。
第16(D)圖係表示由於變形例之修正造成的特徵點之分佈圖的圖。
第17圖係表示第3實施形態之距離資訊修正處理之內容的圖。
第18(A)圖係表示特徵點之分佈圖的圖。
第18(B)圖係表示修正後之特徵點之分佈圖的圖。
第18(C)圖係表示修正後之特徵點之分佈圖的圖。
第18(D)圖係表示由於變形例之修正造成的特徵點之分佈圖的圖。
第19圖係表示第4實施形態之距離資訊修正處理之內容的圖。
第20圖係表示背景聚集距離之設定畫面的圖。
第21圖係表示被步驟SG3之處理所修正的點群資訊84之情況的圖。
第22圖係表示由習知技術所產生之3維影像之範例的圖。
90．．．分佈曲線
91~93．．．峰部
931．．．峰部
94．．．變化開始點
95．．．變化結束點
96．．．3維顯示距離範圍
961．．．3維顯示距離範圍

Claims (13)

  1. 一種影像產生裝置，其特徵為具備：修正單元，其針對表示影像內之複數個被拍攝體的特徵點之複數個點資訊、和表示該複數個點資訊中相對於該影像之顯示面之深度方向上之各距離資訊的對應關係的點群資訊，進行使在前述各距離資訊當中屬於比特定距離資訊所示之距離還要大之距離範圍的各距離資訊縮小之修正；影像資訊產生單元，其根據由前述修正單元所修正之點群資訊，產生用以表現3維影像的影像資訊；以及顯示單元，其顯示根據由前述影像資訊產生單元所產生的影像資訊之3維影像。
  2. 如申請專利範圍第1項所記載之影像產生裝置，其中具備對應資訊產生單元，其對應相同的距離資訊，產生表示屬於前述複數個被拍攝體中所包含之對象被拍攝體的個數資訊及前述各距離資訊之對應關係的對應資訊，且前述修正單元係具備：檢測單元，其在由前述對應資訊產生單元所產生之對應資訊中所包含的各距離資訊中，檢測出與成為約最小的複數個前述個數資訊對應之各距離資訊當中第2小的距離資訊來作為前述特定距離資訊；以及 第1距離資訊修正單元，其進行使在前述點群資訊所包含的各距離資訊當中屬於比由前述檢測單元所檢出之特定距離資訊還要大之距離範圍的各距離資訊縮小的修正。
  3. 如申請專利範圍第2項所記載之影像產生裝置，其中前述第1距離資訊修正單元係將屬於比由前述檢測單元所檢出之特定距離資訊還要大之距離範圍的距離資訊全部修正成與前述特定距離資訊相同。
  4. 如申請專利範圍第3項所記載之影像產生裝置，其中前述修正單元係具備：設定單元，其在由前述對應資訊產生單元所產生之對應資訊所包含的各距離資訊中，將在與成為約最小之複數個前述個數資訊對應的各距離資訊當中由最小的2個距離資訊所規定之距離範圍設定為3維顯示距離範圍；以及第2距離資訊修正單元，其以由前述設定單元所設定之3維顯示距離範圍變小的方式，修正前述點群資訊中屬於前述3維顯示距離範圍的各距離資訊。
  5. 如申請專利範圍第1項所記載之影像產生裝置，其中前述修正單元係具備第1距離資訊修正單元，其對在前述點群資訊中包含之各距離資訊當中屬於比前述特定距離資訊還要大之距離範圍的各距離資訊進行縮小之修正，該特定距離資訊是表示至焦點已對準之被拍攝體區域為 止之距離的距離資訊。
  6. 如申請專利範圍第5項所記載之影像產生裝置，其中前述第1距離資訊修正單元係將屬於比前述特定距離資訊還要大之距離範圍的距離資訊全部修正為前述特定距離資訊。
  7. 如申請專利範圍第6項所記載之影像產生裝置，其中前述修正單元係具備：設定單元，其將表示與至焦點已對準之被拍攝體區域為止之距離的距離資訊對應之距離範圍設定為3維顯示距離範圍；以及第2距離資訊修正單元，其以由前述設定單元所設定之3維顯示距離範圍變小的方式，修正前述點群資訊中屬於前述3維顯示距離範圍的各距離資訊。
  8. 如申請專利範圍第1項所記載之影像產生裝置，其中前述修正單元係具備第1距離資訊修正單元，其對在前述點群資訊所包含之各距離資訊當中屬於比前述特定距離資訊還要大之距離範圍的各距離資訊進行縮小之修正，該特定距離資訊是與景深深度存在之位置對應的距離資訊。
  9. 如申請專利範圍第8項所記載之影像產生裝置，其中前述第1距離資訊修正單元係將在前述點群資訊所包含之各距離資訊當中屬於比前述特定距離資訊還要大之距離範圍的距離資訊全部修正為前述特定距離資訊。
  10. 如申請專利範圍第9項所記載之影像產生裝置，其中前述修正單元係具備：設定單元，其將與被拍攝體深度之位置對應的距離範圍設定為3維顯示距離範圍；以及第2距離資訊修正單元，其以由前述設定單元所設定之3維顯示距離範圍變小的方式，修正前述點群資訊中屬於前述3維顯示距離範圍之各距離資訊。
  11. 如申請專利範圍第1項所記載之影像產生裝置，其中前述修正單元係具備第1距離資訊修正單元，其對在前述點群資訊所包含之各距離資訊當中屬於比前述特定距離資訊還要大之距離範圍的各距離資訊進行縮小之修正，該特定距離資訊是根據使用者之操作而決定的距離資訊。
  12. 如申請專利範圍第11項所記載之影像產生裝置，其中前述第1距離資訊修正單元係將在前述點群資訊所包含之各距離資訊當中屬於比前述特定距離資訊還要大之距離範圍的距離資訊全部修正為前述特定距離資訊。
  13. 一種電腦可讀取之媒體，其記錄有使電腦執行產生影像之處理的軟體程式，前述處理包含以下：其針對表示被拍攝體之複數個點資訊和該複數個點資訊之相對於該影像之顯示面之深度方向上之各距離資訊的對應關係的第1點群資訊，進行使在前述各距離資訊當中屬於比特定距離資訊還要大之距離範圍的各距離 資訊縮小之修正，藉以從前述第1點群資訊中產生第2點群資訊；根據由已產生之前述第2點群資訊，產生3維影像資訊；以及顯示根據已產生的前述影像資訊之3維影像。
TW098132397A 2008-09-29 2009-09-25 影像產生裝置及程式 TWI399972B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008250002A JP5338228B2 (ja) 2008-09-29 2008-09-29 画像生成装置、及びプログラム

Publications (2)

Publication Number Publication Date
TW201019707A TW201019707A (en) 2010-05-16
TWI399972B true TWI399972B (zh) 2013-06-21

Family

ID=42057005

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098132397A TWI399972B (zh) 2008-09-29 2009-09-25 影像產生裝置及程式

Country Status (5)

Country Link
US (1) US8269819B2 (zh)
JP (1) JP5338228B2 (zh)
KR (1) KR101095360B1 (zh)
CN (1) CN101715144B (zh)
TW (1) TWI399972B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5338228B2 (ja) * 2008-09-29 2013-11-13 カシオ計算機株式会社 画像生成装置、及びプログラム
US9591281B2 (en) 2010-12-22 2017-03-07 Thomson Licensing Apparatus and method for determining a disparity estimate
TWI446276B (zh) * 2011-09-14 2014-07-21 Ind Tech Res Inst 影像特徵描述處理裝置及影像特徵描述處理方法
JP6178066B2 (ja) 2012-11-06 2017-08-09 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JP5682656B2 (ja) * 2013-05-09 2015-03-11 カシオ計算機株式会社 距離情報補正装置、画像生成装置、距離情報補正方法、及び、プログラム
US9955120B2 (en) * 2016-02-12 2018-04-24 Sony Interactive Entertainment LLC Multiuser telepresence interaction
WO2019041116A1 (zh) 2017-08-29 2019-03-07 深圳市汇顶科技股份有限公司 光学测距方法以及光学测距装置
CN107948499A (zh) * 2017-10-31 2018-04-20 维沃移动通信有限公司 一种图像拍摄方法及移动终端
DE102018103092A1 (de) * 2018-02-12 2019-08-14 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Fokuseinstellungs-Anzeigeeinheit

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200632524A (en) * 2005-03-10 2006-09-16 Minoru Inaba Digital stereo camera/digital stereo video camera, 3-dimensional display, 3-dimensional projector, and printer and stereo viewer
US20070236560A1 (en) * 2006-04-07 2007-10-11 Real D Vertical surround parallax correction
TW200745986A (en) * 2006-04-24 2007-12-16 Sony Corp Image processing device, image processing method, image processing program and storage medium
US20080018732A1 (en) * 2004-05-12 2008-01-24 Setred Ab 3D Display Method and Apparatus
TW200809764A (en) * 2006-04-24 2008-02-16 Sony Corp Image processing device, image processing method and program recording medium
TW200816086A (en) * 2006-09-29 2008-04-01 Ind Tech Res Inst A method for corresponding, evolving and tracking feature points in three-dimensional space
TW200827953A (en) * 2006-10-26 2008-07-01 Seereal Technologies Sa Holographic display device

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5856179A (en) * 1994-03-10 1999-01-05 Genentech, Inc. Polypeptide production in animal cell culture
WO1996036271A1 (de) * 1995-05-15 1996-11-21 Leica Ag Verfahren und vorrichtung zum parallelen erfassen von sehinformation
WO1997006406A1 (fr) * 1995-08-07 1997-02-20 Komatsu Ltd. Appareils de mesure de la distance et de la forme
JPH09181913A (ja) * 1995-12-26 1997-07-11 Olympus Optical Co Ltd カメラシステム
NO304715B1 (no) * 1997-05-06 1999-02-01 Dimensions As FremgangsmÕte ved bildebehandling
DE69914473D1 (de) * 1998-04-15 2004-03-04 Vincent Lauer Mikroskop für die erzeugung einer dreidimensionalen darstellung von einem objekt und bilder, die mittels dieses mikroskops erzeugt sind
US7053937B1 (en) * 1999-05-21 2006-05-30 Pentax Corporation Three-dimensional image capturing device and recording medium
JP2001290820A (ja) * 2000-01-31 2001-10-19 Mitsubishi Electric Corp 映像収集装置、映像検索装置および映像収集検索システム
JP4873794B2 (ja) * 2001-05-30 2012-02-08 オリンパス株式会社 画像処理計測装置及び計測内視鏡装置
JP3637416B2 (ja) * 2002-11-20 2005-04-13 株式会社三次元メディア ３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム
US7425951B2 (en) * 2002-12-27 2008-09-16 Kabushiki Kaisha Toshiba Three-dimensional image display apparatus, method of distributing elemental images to the display apparatus, and method of displaying three-dimensional image on the display apparatus
JP4272901B2 (ja) * 2003-02-17 2009-06-03 株式会社マーキュリーシステム 画像処理装置、撮像装置およびプログラム
JP2005167310A (ja) * 2003-11-28 2005-06-23 Sharp Corp 撮影装置
JP4125252B2 (ja) * 2004-03-02 2008-07-30 株式会社東芝 画像生成装置、画像生成方法、及び画像生成プログラム
JP3837710B2 (ja) 2005-02-07 2006-10-25 株式会社日立製作所 デジタルカメラ
JP5338228B2 (ja) * 2008-09-29 2013-11-13 カシオ計算機株式会社 画像生成装置、及びプログラム
JP4752918B2 (ja) * 2009-01-16 2011-08-17 カシオ計算機株式会社 画像処理装置、画像照合方法、および、プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080018732A1 (en) * 2004-05-12 2008-01-24 Setred Ab 3D Display Method and Apparatus
TW200632524A (en) * 2005-03-10 2006-09-16 Minoru Inaba Digital stereo camera/digital stereo video camera, 3-dimensional display, 3-dimensional projector, and printer and stereo viewer
US20070236560A1 (en) * 2006-04-07 2007-10-11 Real D Vertical surround parallax correction
TW200745986A (en) * 2006-04-24 2007-12-16 Sony Corp Image processing device, image processing method, image processing program and storage medium
TW200809764A (en) * 2006-04-24 2008-02-16 Sony Corp Image processing device, image processing method and program recording medium
TW200816086A (en) * 2006-09-29 2008-04-01 Ind Tech Res Inst A method for corresponding, evolving and tracking feature points in three-dimensional space
TW200827953A (en) * 2006-10-26 2008-07-01 Seereal Technologies Sa Holographic display device

Also Published As

Publication number Publication date
KR101095360B1 (ko) 2011-12-16
CN101715144B (zh) 2012-06-20
JP5338228B2 (ja) 2013-11-13
JP2010079807A (ja) 2010-04-08
US8269819B2 (en) 2012-09-18
TW201019707A (en) 2010-05-16
KR20100036174A (ko) 2010-04-07
US20100079579A1 (en) 2010-04-01
CN101715144A (zh) 2010-05-26

Similar Documents

Publication Publication Date Title
TWI399972B (zh) 影像產生裝置及程式
JP5679978B2 (ja) 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム
JP5214826B2 (ja) 立体パノラマ画像作成装置、立体パノラマ画像作成方法及び立体パノラマ画像作成プログラム並びに立体パノラマ画像再生装置、立体パノラマ画像再生方法及び立体パノラマ画像再生プログラム、記録媒体
JP5592006B2 (ja) 三次元画像処理
US8373745B2 (en) Image processing apparatus, image display apparatus, image apparatus, and image processing method
JP5127787B2 (ja) 複眼撮影装置及びその制御方法
JP2011166264A (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5371845B2 (ja) 撮影装置及びその表示制御方法並びに３次元情報取得装置
JP5526233B2 (ja) 立体視用画像撮影装置およびその制御方法
JP5467993B2 (ja) 画像処理装置、複眼デジタルカメラ、及びプログラム
US9357205B2 (en) Stereoscopic image control apparatus to adjust parallax, and method and program for controlling operation of same
CN102739958B (zh) 图像处理装置、图像处理方法
CN107872631B (zh) 基于双摄像头的图像拍摄方法、装置及移动终端
JP2009047497A (ja) 立体撮像装置および立体撮像装置の制御方法並びにプログラム
JP2008172342A (ja) 立体画像記録装置および立体画像記録方法
US20130083169A1 (en) Image capturing apparatus, image processing apparatus, image processing method and program
JP2009258005A (ja) 三次元測定装置及び三次元測定方法
JP2011048295A (ja) 複眼撮影装置及びその姿勢検出方法
JP2013247543A (ja) 撮像装置、表示装置、および画像処理方法、並びにプログラム
JPH09305796A (ja) 画像情報処理装置
JP2013175805A (ja) 表示装置および撮像装置
JP2013175821A (ja) 画像処理装置、画像処理方法およびプログラム
JP5682656B2 (ja) 距離情報補正装置、画像生成装置、距離情報補正方法、及び、プログラム
JP2011091463A (ja) ３ｄ撮像装置およびその動作制御方法
JP2017028606A (ja) 撮像装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees