TW202211680A - 立體攝影模型生成系統及立體攝影模型生成方法 - Google Patents

立體攝影模型生成系統及立體攝影模型生成方法 Download PDF

Info

Publication number
TW202211680A
TW202211680A TW109134761A TW109134761A TW202211680A TW 202211680 A TW202211680 A TW 202211680A TW 109134761 A TW109134761 A TW 109134761A TW 109134761 A TW109134761 A TW 109134761A TW 202211680 A TW202211680 A TW 202211680A
Authority
TW
Taiwan
Prior art keywords
photographic
photographing
mentioned
model
stereoscopic
Prior art date
Application number
TW109134761A
Other languages
English (en)
Inventor
小谷創
小林達彦
Original Assignee
日商新月股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商新月股份有限公司 filed Critical 日商新月股份有限公司
Publication of TW202211680A publication Critical patent/TW202211680A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

課題：提供能夠以簡單之構成來實現且任何人皆能輕易地感受樂趣並操作之立體攝影模型生成系統。 解決手段：本發明之立體攝影模型生成系統包含：用於自複數個方向拍攝攝影對象OB之複數個攝影裝置20，亦即攝影機201~204、及以根據由複數個攝影裝置201~204拍攝攝影對象OB所得之影像資料來生成該攝影對象OB之立體攝影模型之方式構成之演算處理裝置10，亦即控制器110與影像處理伺服器120。攝影機201~204所用之攝影透鏡系統221之景深DOF係設定成於光軸Ax上以合焦之位置CIF為中心之±0.5m~±1.5m。

Description

立體攝影模型生成系統及立體攝影模型生成方法
本發明係關於用於根據自複數個方向拍攝之攝影對象之影像資料來生成該攝影對象之三維模型之實景立體攝影技術(Volumetric Capture)。
近年，藉由不使用標記且自360度全方位拍攝作為對象之人或物之動作而能夠生成攝影對象之三維模型之實景立體攝影技術(Volumetric Capture)受到注目。根據該技術，藉由自利用複數個攝影機同步拍攝之人等之動態影像中於每幀(frame)抽出攝影對象並三維模型化，能夠將攝影對象模型配置於虛擬空間之任意位置並於顯示器上自由地重現其動作。對自複數個視點拍攝之影像進行演算處理，並以能夠自任意視點觀察之方式重現之影像稱為「自由視點影像」或「虛擬視點影像」，例如專利文獻1中揭示了生成該種虛擬視點影像之系統。 [現有技術文獻] [專利文獻]
[專利文獻1]日本特開2017-211827號公報
[發明所欲解決之問題]
於實景立體攝影技術中，需要自依上述般拍攝之幀影像去除背景並將攝影對象抽出。作為用於區別攝影對象與背景之手法，以往採用了對攝影對象投影網格(mesh)光之方法、於背景使用綠幕之方法等。惟此等習知手法必須在拍攝現場設置用於投射網格光之投影機及綠幕等，若非設備完整之工作室等則無法進行拍攝。此外，亦可考慮對拍攝後之影像資料實施物件抽出處理來抽出攝影對象之手法。惟對於自複數個視點拍攝之每秒數十幀之高清晰度動態影像資料而言，為了於每幀逐一地抽出物件(攝影對象影像)，需要具有高速大容量之處理能力之大型平台。
本發明係鑑於此種習知課題而成，目的在於提供能夠以簡單之構成來實現且任何人皆能輕易地感受樂趣並操作之立體攝影模型生成系統及於該系統內實行之立體攝影模型生成方法。 [解決問題之手段]
為了解決上述課題，本發明係一種立體攝影模型生成系統，包含：複數個攝影裝置，其用於自複數個方向拍攝攝影對象；及演算處理裝置，其以根據由複數個上述攝影裝置拍攝上述攝影對象所得之影像資料來檢測攝影對象之輪廓，且生成該攝影對象之立體攝影模型之方式構成，且上述攝影裝置所用之攝影透鏡系統之景深係設定成於光軸上以合焦之位置為中心之±0.5m~±1.5m。
立體攝影模型生成系統以上述攝影對象在上述景深外之情形下的邊緣檢測精度相對於上述攝影對象在上述景深內之情形下的輪廓之邊緣檢測精度之最大值之比值為0.7以下較佳。
又，立體攝影模型生成系統以上述邊緣檢測精度係根據對上述輪廓之邊界之輝度變化進行一次微分後所得之值來計算並決定較佳。或者，立體攝影模型生成系統以上述邊緣檢測精度係根據對上述輪廓之邊界之輝度變化進行二次微分後所得之值來計算並決定亦可。
又，立體攝影模型生成系統以上述演算處理裝置具有根據上述立體攝影模型來生成自由視點影像之自由視點影像生成部較佳。
又，本發明係一種立體攝影模型生成方法，其係於包含複數個攝影裝置、及根據由複數個上述攝影裝置拍攝攝影對象所得之影像資料來生成該攝影對象之立體攝影模型之演算處理裝置，且上述攝影裝置所用之攝影透鏡系統之景深係設定成於光軸上以合焦之位置為中心之±0.5m~±1.5m的系統中實行，包含：藉由複數個上述攝影裝置自複數個方向拍攝上述攝影對象之步驟；上述演算處理裝置自藉由複數個上述攝影裝置所拍攝之影像資料來檢測上述攝影對象之輪廓之步驟；及上述演算處理裝置根據檢測出之上述輪廓所描繪之攝影對象影像資料來生成該攝影對象之立體攝影模型之步驟。
立體攝影模型生成方法中，以上述攝影對象在上述景深外之情形下的邊緣檢測精度相對於上述攝影對象在上述景深內之情形下的上述輪廓之邊緣檢測精度之最大值之比值為0.7以下較佳。
又，立體攝影模型生成方法中，以上述邊緣檢測精度係根據對上述輪廓之邊界之輝度變化進行一次微分後所得之值來計算並決定較佳。或者，立體攝影模型生成方法中，以上述邊緣檢測精度係根據對上述輪廓之邊界之輝度變化進行二次微分後所得之值來計算並決定亦可。
又，立體攝影模型生成方法中，其進一步包含上述演算處理裝置根據上述立體攝影模型來生成自由視點影像之步驟較佳。
又，立體攝影模型生成方法中，複數個上述攝影裝置拍攝攝影對象所得之影像資料係動態影像資料；且上述演算處理裝置同步複數個上述動態影像資料來生成上述攝影對象之動態立體攝影模型較佳。 [發明之效果]
依據本發明，得以提供能夠以簡單之構成來實現且任何人皆能輕易地感受樂趣並操作之立體攝影模型生成系統及於該系統內實行之立體攝影模型生成方法。
本發明較佳之實施形態之立體攝影模型生成系統係具備實行生成攝影對象之三維模型等處理之演算處理裝置、及自複數個方向拍攝攝影對象之複數個攝影裝置而構成。此外，本說明書中由攝影機拍攝之「攝影對象」與「物件」之含義相同。攝影對象不限於人，亦可為物(可動物)。又，將由本系統生成之物件之「立體攝影模型」稱為「三維模型」或「三維動畫模型」。又，雖然以下說明之實施形態中，「影像」係假設為動態影像，且「三維模型」包含用於表現動作之時間參數，惟實施本發明時，「影像」包含照片等靜態影像。
以下，將物件(攝影對象)OB設為人，針對將於某固定時間內之該人當下之動作三維模型化之情形之例，說明具體之實施形態。
圖1係本發明之一實施形態之立體攝影模型生成系統之方塊圖。演算處理裝置10包含使用者側之控制器110、及網路N上之雲端伺服器系統亦即影像處理伺服器120。控制器110之本體亦即控制箱111能設為專用之計算機裝置或泛用之PC(Personal Computer)。又，控制器110為了輔助使用者之操作，包含與控制箱111無線連接之例如智慧型手機或平板PC等終端裝置113亦可。
攝影裝置20包含能夠進行數位動畫攝影之複數台攝影機201~204。攝影機201~204之本體分別裝備有攝影機配接器211~214。圖1之實施形態中，攝影裝置20由4台攝影機構成，惟攝影機之台數不限於此，例如於3~24台之範圍內適宜增減亦可。
攝影機201~204設置於鋪設在地面之例如5m見方之墊子230之四角及/或邊上之既定位置所置之三角架(省略圖示)。各攝影機201~204之攝影透鏡系統221預先朝向攝影對象OB站立之墊子230之中央。此外，墊子230為了能與攝影對象做出區別，且使攝影對象之抽出處理容易進行，為綠色之墊子較佳。進而，墊子之形狀不限於四邊形，對應攝影機之台數而為多邊形或圓形亦可。
如圖2所示，本實施形態之攝影機201~204所用之攝影透鏡系統221係其之景深(DOF: Depth of Field)設定成於光軸Ax上透鏡正好合焦之中央位置(CIF: Center in Focus)為中心之±0.5m~±1.5m。但，各攝影機201~204之光學特性共通，且攝影機201~204間係設為景深特性上不存在偏差。
再者，景深係指拍攝攝影對象之成像可視為合焦之攝影對象側之距離之範圍(場景(field))。以攝影機拍攝與景深相比遠景及近景之成像將呈模糊。所謂景深「較深」意旨合焦範圍相對寬廣，所謂景深「較淺」意旨合焦範圍相對狹窄。本實施形態之立體攝影模型生成系統如後詳述般，具有使用景深較習知者淺之透鏡之一特徵。
攝影機之景深特性亦受攝影透鏡之焦點距離及光圈(F值)影響。如圖2所示，本實施形態之攝影透鏡系統221選用配合攝影場所之大小及物件(人)OB活動之範圍等攝影環境、條件而於成像正好合焦之位置CIF為中心具有景深係±0.5m~±1.5m之特性之透鏡。此外，於圖2之實施例中，攝影機201至景深之中央位置CIF之距離為3.5m，F值設為1。
作為判定光軸上之某位置是否於景深內之基準，換言之，測定光軸上之景深之邊界之基準，存在可容許之模糊圈。但，如本實施形態般以攝影對象輪廓之邊緣檢測精度(亦稱「清晰度」)為基準來判定景深或場景之邊界亦可。更具體而言，能夠以攝影對象在景深外之情形下的邊緣檢測精度相對於該攝影對象在景深內之情形下之邊緣檢測精度之最大值之比值是否為0.7以下(即，相對於最大值減少30%)來判定邊界。
輪廓之邊緣檢測精度(清晰度)例如圖3所示，能夠使用已明確區分黑白之測試圖形TP，根據其之黑白反轉之邊界部分之輝度變化來正確地測定。首先，測定測試圖形TP位於景深DOF之中央位置CIF時之清晰度之最大值SEmax。其後，一面將測試圖形TP之光軸Ax上之位置以CIF為中心逐漸向離攝影機201較近側(負方向)與較遠側(正方向)變化一面測定清晰度SE。然後，能夠將清晰度之比SE/SEmax成為0.7之前後兩位置判定成景深DOF之邊界。
邊緣檢測精度例如能夠根據對輪廓之邊界之輝度變化進行一次微分後所得之值來計算並決定(梯度法)。此梯度法中，能夠利用對輝度進行一次微分後之最大值或最小值之縱軸之大小來計算並決定清晰度。又，邊緣檢測精度亦可根據對輪廓之邊界之輝度變化進行二次微分後所得之值來計算並決定(拉普拉斯法)。此拉普拉斯法中，能夠利用構成輝度之反曲點之橫軸之振幅之大小來計算並決定清晰度。此外，邊緣檢測精度之計算決定方法不限於上述梯度法及拉普拉斯法。
之後，攝影機配接器211~214例如透過符合Ethernet(註冊商標)、USB(Universal Serial Bus)等規格之通訊纜線240與交換式集線器300連接。控制器110(控制箱111)經由該交換式集線器300取得各攝影機201~204所拍攝之影像之資料及攝影機參數資訊。
此外，圖1之實施形態之系統係呈各個攝影機201~204及攝影機配接器211~214與1個交換式集線器300連接之所謂星狀網路架構。但，為了對應攝影影像之4K或8K等高清晰度化、高幀率化伴隨之大容量化，藉由將鄰接之攝影機配接器級聯(cascade)連接之菊鍊(daisy chain)來連接複數個攝影機201~204亦可。
圖4係攝影機配接器211內部之功能方塊圖。此外，其他攝影機配接器212~214亦具有與此相同之構成，故省略其等之說明。如圖所示，攝影機配接器211大致區分為攝影機控制部215、補正處理部216及幀生成、傳輸部217。攝影機控制部215具有透鏡調整部2151、攝影動作控制部2152及攝影參數設定部2153。
透鏡調整部2151電性調整攝影機201之攝影透鏡系統221之焦點、縮放及曝光等參數。此外，攝影透鏡系統221之焦點等之調整可自動進行，亦可根據來自外部(例如控制器110)之指令或使用者一面觀看監視畫面一面以手動來進行。
攝影動作控制部2152同步來自外部(例如控制器110)之同步鎖定訊號(Genlock)等來控制攝影之開始及停止之動作。
攝影參數設定部2153設定影像解析度(攝影像素數)、色彩深度、幀率及白平衡等攝影參數，並提供至攝影動作控制部2152。攝影參數之設定可自外部(例如控制器110)指定，亦可由攝影參數設定部2153自動設定。
補正處理部216對保持於暫存記憶體218之原始影像資料進行色彩補正處理、起因於攝影機之震動之搖動之補正處理、透鏡自有之變形補正處理等。
幀生成、傳輸部217於幀記憶體219上對影像資料進行格式轉換來生成幀資料。幀資料中，附加表示攝影時刻之時間碼、進行拍攝之攝影機之辨識資訊、攝影機參數(焦點值、縮放值、透鏡特性等)等元(meta)資訊(附屬資訊)而檔案化。幀生成、傳輸部217之通訊配接器2171將生成之幀影像資料傳輸至控制器110。
接著，說明控制器110之構成。圖5係控制器110之本體亦即控制箱111及其周邊部之功能方塊圖。控制箱111具有資料輸入部1111、資料同步部1112、校正部1113、資料壓縮部1114、儲存部1115、網路配接器部1116、格式轉換部1117、描繪處理部1118及使用者介面部1119。
資料輸入部1111透過通訊纜線240及交換式集線器300與攝影機配接器211~214連接，即時地接收攝影機201~204所拍攝之影像資料亦即幀影像資料。
資料同步部1112將取得之影像資料暫時記憶於內部之高速DRAM(Dynamic Random Access Memory)，在所有攝影機201~204之資料湊齊前進行緩衝(buffer)處理。影像資料中附加有時間碼(時間資訊)及攝影機辨識資訊，資料同步部1112根據各時間碼進行各影像資料之時刻同步處理。又，資料同步部1112例如使用特徵點匹配法來進行各影像資料之同步亦可。
因為各攝影機201~204與攝影對象OB之間之些許距離差或透鏡自有的特性差等，存在相對於寫入各影像之攝影對象OB之絕對座標之尺寸於各影像中相異之可能性。校正部1113為了校正此種尺寸誤差，對各影像之大小進行正規化處理。又，校正部1113同時進行使各影像資料之輝度及對比一致之補正亦可。
經同步及正規化之影像資料藉由資料壓縮部1114被壓縮處理成MPEG等既定之格式，透過網路配接器部1116被傳輸至影像處理伺服器120。影像處理伺服器120係如後述般的進行用於根據攝影機201~204之幀影像資料來生成攝影對象(人)OB之三維動畫模型之高速演算處理的雲端上之平台。又，影像資料例如被保管在大容量之SSD(Solid State Drive)亦即內部之儲存部1115亦可。
自影像處理伺服器120向網路配接器部1116送回之攝影對象OB之三維動畫模型資料於格式轉換部1117實施資料之解壓縮等處理，時間資訊及座標資訊被分離，被轉換成每幀之多邊形網格模型資料。然後，經轉換之多邊形網格模型資料與幀率等時間資訊建立關聯而記憶於儲存部1115。
描繪處理部1118將記憶於儲存部1115之攝影對象OB之三維模型變換處理成能夠在顯示器112或外接式監視裝置(例如智慧型手機113等)播放顯示之二維自由視點影像。使用者若有需求，能夠透過使用者介面部1119操作智慧型手機113對描繪處理部1118指示視點位置。視點可為攝影對象OB之360°周圍之任意位置，亦可於受限之範圍內任意變更視點之高度。又，使用者能夠針對播放中之三維模型動態影像指示任意移動視點位置來改變朝向。進而，使用者亦可將三維模型影像之特定部分之縮小及放大後之任意視點影像顯示於顯示器112等。
接著，參照圖6之功能方塊圖對影像處理伺服器120之構成進行說明。影像處理伺服器120主要具有輸入輸出部1201、影像處理部1202及路由處理部1203。
輸入輸出部1201包含資料接收部1204及資料發送部1205。利用複數個攝影機201~204自複數個方向拍攝之攝影對象OB之影像資料經由控制箱111及網路N於輸入輸出部1201之資料接收部1204被接收。
影像處理部1202包含預處理部1206、物件抽出部1207及三維模型生成部1208。預處理部1206針對接收之影像資料，將攝影機之辨識資訊、攝影機參數、控制箱111之位址資訊等元資訊分離並實施既定之解壓縮處理將幀資料送至物件抽出部1207。
於此階段中，幀影像包含攝影對象OB與其周圍之背景。物件抽出部1207藉由檢測各幀之影像資料所含之輪廓之邊緣，進行抽出繪有攝影對象OB之影像區域之處理。邊緣檢測法使用基於輪廓之邊界之輝度變化進行一次微分後所得之值之梯度法或基於該輝度變化進行二次微分後所得之值之拉普拉斯法較佳。
本實施形態中，如上所述，攝影機201~204之透鏡之景深較淺地設定為±0.5m~±1.5m。因此，所拍攝之影像中，僅攝影對象OB之區域合焦，其周圍之背景之區域模糊。承上所述，即便不在背景設置綠幕、不對攝影對象OB投射網格光，亦可僅藉由檢測攝影對象OB之輪廓之邊緣，相對容易且正確地抽出由攝影對象OB之輪廓描繪之影像區域(攝影對象影像資料)。
自背景影像分離之攝影對象影像資料被送至三維模型生成部1208。三維模型生成部1208根據自複數個方向拍攝之攝影對象影像資料，例如使用立體攝影機之原理來生成攝影對象OB之三維動畫模型。
路由處理部1203將發送所生成之三維動畫模型資料之原始影像資料之控制箱111之位址設為該三維動畫模型資料之傳輸目的地。然後，資料發送部1205對位於設定後之網路N上之位址之控制箱111發送所生成之三維動畫模型資料。
以上，對本發明之一較佳之實施形態進行了說明，惟實施本發明時，於不脫離其目的之範圍而能夠進行多種改變。例如，網路N上之影像處理伺服器120具有於上述控制箱111實行之影像資料處理功能亦可。又，亦可為不使用雲端伺服器而使獨立式(standalone)控制箱111實行用於生成三維模型之一連串演算處理之態樣。
進而，如圖7所示，以具有小型攝影機之例如智慧型手機251~254等行動電子機器構成攝影裝置20亦可。智慧型手機251~254之各攝影機開口部上裝有用於將攝影機之景深設定成較淺之專用透鏡單元261~264。於攝影用之智慧型手機251~254及操作控制用之智慧型手機255中安裝有使用者用於接受立體攝影模型生成服務之應用程式軟體。使用者能夠使用智慧型手機255之應用程式，將複數個智慧型手機251~254所拍攝之攝影對象OB之影像資料藉由交換式集線器300及線路數據機310來經由網路N發送至演算處理裝置10。
於演算處理裝置10經生成處理之攝影對象OB之立體攝影模型及/或其自由視點影像能夠透過網路N傳輸至智慧型手機255或下載。藉此，使用者能夠操作智慧型手機255而輕易地於其畫面上播放攝影對象OB之立體攝影影像。
根據以上說明之實施形態之立體攝影模型生成系統及於該系統內實行之立體攝影模型生成方法，能夠藉由使用景深較淺之攝影透鏡來拍攝出僅攝影對象合焦，其周圍之背景模糊之動態影像。而且只要使用該種景深較淺之動態影像，即便不在攝影場所設置綠幕、不設置用於對攝影對象投射網格光之投影機，亦可藉由單純之邊緣檢測處理將攝影對象影像容易且正確地自背景影像分離、抽出。因此，能夠大幅地降低至抽出攝影對象為止之影像資料處理負荷，藉此能夠提供即便為一般使用者亦可輕易地操作且構成簡單之系統。
10:演算處理裝置 20:攝影裝置 110:控制器 111:控制箱 112:顯示器 113:終端裝置(智慧型手機) 120:影像處理伺服器 201~204:攝影機 211~214:攝影機配接器 215:攝影機控制部 216:補正處理部 217:幀生成、傳輸部 218:暫存記憶體 219:幀記憶體 220:攝影元件(CCD) 221:攝影透鏡系統 230:墊子 240:通訊纜線 251~255:智慧型手機 261~264:透鏡單元 300:交換式集線器 310:線路數據機 1110:同步訊號生成部 1111:資料輸入部 1112:資料同步部 1113:校正部 1114:資料壓縮部 1115:儲存部 1116:網路配接器部 1117:格式轉換部 1118:描繪處理部 1119:使用者介面部 1201:輸入輸出部 1202:影像處理部 1203:路由處理部 1204:資料接收部 1205:資料發送部 1206:預處理部 1207:物件抽出部 1208:三維模型生成部 2151:透鏡調整部 2152:攝影動作控制部 2153:攝影參數設定部 N:網路 Ax:光軸 CIF:合焦之位置 DOF:景深 OB:攝影對象、物件 SE:邊緣檢測精度、清晰度 TP:測試圖形
[圖1]本發明之一實施形態之立體攝影模型生成系統之方塊圖。 [圖2]用於說明攝影機與景深之位置關係之圖。 [圖3]用於說明使用測試圖形測定邊緣檢測精度(清晰度)之方法之圖。 [圖4]攝影機配接器之功能方塊圖。 [圖5]控制箱及其周邊部之功能方塊圖。 [圖6]影像處理伺服器之功能方塊圖。 [圖7]本發明之另一實施形態之立體攝影模型生成系統之方塊圖。
201:攝影機
220:攝影元件(CCD)
221:攝影透鏡系統
Ax:光軸
CIF:合焦之位置
DOF:景深

Claims (11)

  1. 一種立體攝影模型生成系統，包含： 複數個攝影裝置，其用於自複數個方向拍攝攝影對象；及 演算處理裝置，其以根據由複數個上述攝影裝置拍攝上述攝影對象所得之影像資料來生成該攝影對象之立體攝影模型之方式構成，且 上述攝影裝置所用之攝影透鏡系統之景深係設定成於光軸上以合焦之位置為中心之±0.5m~±1.5m。
  2. 如請求項1之立體攝影模型生成系統，其中， 上述攝影對象在上述景深外之情形下的邊緣檢測精度相對於上述攝影對象在上述景深內之情形下的上述輪廓之邊緣檢測精度之最大值之比值為0.7以下。
  3. 如請求項2之立體攝影模型生成系統，其中， 上述邊緣檢測精度係根據對上述輪廓之邊界之輝度變化進行一次微分後所得之值來計算並決定。
  4. 如請求項2之立體攝影模型生成系統，其中， 上述邊緣檢測精度係根據對上述輪廓之邊界之輝度變化進行二次微分後所得之值來計算並決定。
  5. 如請求項1至4中任一項之立體攝影模型生成系統，其中， 上述演算處理裝置具有根據上述立體攝影模型來生成自由視點影像之自由視點影像生成部。
  6. 一種三維影像生成方法，其係於包含複數個攝影裝置、及根據由複數個上述攝影裝置拍攝攝影對象所得之影像資料來生成該攝影對象之立體攝影模型之演算處理裝置，且上述攝影裝置所用之攝影透鏡系統之景深係設定成於光軸上以合焦之位置為中心之±0.5m~±1.5m的系統中實行，包含： 藉由複數個上述攝影裝置自複數個方向拍攝上述攝影對象之步驟； 上述演算處理裝置實行之處理自藉由複數個上述攝影裝置所拍攝之影像資料來檢測上述攝影對象之輪廓之步驟；及 上述演算處理裝置實行之處理根據檢測出之上述輪廓所描繪之上述攝影對象影像資料來生成該攝影對象之立體攝影模型之步驟。
  7. 如請求項6之三維影像生成方法，其中， 上述攝影對象在上述景深外之情形下的邊緣檢測精度相對於上述攝影對象在上述景深內之情形下的上述輪廓之邊緣檢測精度之最大值之比值為0.7以下。
  8. 如請求項7之立體攝影模型生成方法，其中， 上述邊緣檢測精度係根據對上述輪廓之邊界之輝度變化進行一次微分後所得之值來計算並決定。
  9. 如請求項7之立體攝影模型生成方法，其中， 上述邊緣檢測精度係根據對上述輪廓之邊界之輝度變化進行二次微分後所得之值來計算並決定。
  10. 如請求項6至9中任一項之立體攝影模型生成方法，其進一步包含 上述演算處理裝置實行之處理根據上述立體攝影模型來生成自由視點影像之步驟。
  11. 如請求項6至10中任一項之立體攝影模型生成方法，其中， 複數個上述攝影裝置拍攝攝影對象所得之影像資料係動態影像資料；且 上述演算處理裝置同步複數個上述動態影像資料來生成上述攝影對象之動態立體攝影模型。
TW109134761A 2020-09-02 2020-10-07 立體攝影模型生成系統及立體攝影模型生成方法 TW202211680A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020147419A JP2022042153A (ja) 2020-09-02 2020-09-02 立体撮影モデル生成システムおよび立体撮影モデル生成方法
JPJP2020-147419 2020-09-02

Publications (1)

Publication Number Publication Date
TW202211680A true TW202211680A (zh) 2022-03-16

Family

ID=80490948

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109134761A TW202211680A (zh) 2020-09-02 2020-10-07 立體攝影模型生成系統及立體攝影模型生成方法

Country Status (3)

Country Link
JP (1) JP2022042153A (zh)
TW (1) TW202211680A (zh)
WO (1) WO2022050159A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3700530B2 (ja) * 2000-03-31 2005-09-28 コニカミノルタフォトイメージング株式会社 画像変換装置、画像変換表示装置、立体画像表示システム及び画像変換プログラムが記録された可読記録媒体
JP5266701B2 (ja) * 2007-09-27 2013-08-21 カシオ計算機株式会社 撮像装置、被写体分離方法、およびプログラム
CN105120256A (zh) * 2015-07-31 2015-12-02 努比亚技术有限公司 移动终端及其通过拍摄3d图像合成图片的方法和装置
WO2017094543A1 (ja) * 2015-12-02 2017-06-08 セイコーエプソン株式会社 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、パラメーターの設定方法
JP2019022151A (ja) * 2017-07-20 2019-02-07 キヤノン株式会社 情報処理装置、画像処理システム、制御方法、及び、プログラム

Also Published As

Publication number Publication date
JP2022042153A (ja) 2022-03-14
WO2022050159A1 (ja) 2022-03-10

Similar Documents

Publication Publication Date Title
CN109064545B (zh) 一种对房屋进行数据采集和模型生成的方法及装置
CN109690620B (zh) 三维模型生成装置以及三维模型生成方法
WO2017183470A1 (ja) 三次元再構成方法
JP7271099B2 (ja) ファイルの生成装置およびファイルに基づく映像の生成装置
JP4775474B2 (ja) 撮像装置、撮像制御方法、及びプログラム
CN105530431A (zh) 一种反射式全景成像系统及方法
US11095871B2 (en) System that generates virtual viewpoint image, method and storage medium
JP2012186790A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US20220078385A1 (en) Projection method based on augmented reality technology and projection equipment
JP2017017689A (ja) 全天球動画の撮影システム、及びプログラム
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
US20220067974A1 (en) Cloud-Based Camera Calibration
US10404912B2 (en) Image capturing apparatus, image processing apparatus, image capturing system, image processing method, and storage medium
CN105190229A (zh) 三维形状计测装置、三维形状计测方法及三维形状计测程序
JP2019103067A (ja) 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
KR101725024B1 (ko) 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법
US8908012B2 (en) Electronic device and method for creating three-dimensional image
KR101457888B1 (ko) 기준점 보정을 이용한 3차원 영상 생성방법
TW202211680A (zh) 立體攝影模型生成系統及立體攝影模型生成方法
TWI502271B (zh) 控制方法及電子裝置
WO2023036218A1 (zh) 视点宽度的确定方法及其装置
KR20150125246A (ko) 다시점 카메라에 대한 촬영 설정값을 조절하는 방법 및 다시점 카메라에 대한 촬영 설정값을 조절하는 장치
CN111629194B (zh) 一种基于神经网络的全景视频转6dof视频的方法及系统
JP2014164497A (ja) 画像処理装置、画像処理方法及びプログラム
CN113763544A (zh) 图像确定方法、装置、电子设备和计算机可读存储介质