TW201525934A - 影像合成系統及方法 - Google Patents

影像合成系統及方法 Download PDF

Info

Publication number
TW201525934A
TW201525934A TW102149265A TW102149265A TW201525934A TW 201525934 A TW201525934 A TW 201525934A TW 102149265 A TW102149265 A TW 102149265A TW 102149265 A TW102149265 A TW 102149265A TW 201525934 A TW201525934 A TW 201525934A
Authority
TW
Taiwan
Prior art keywords
depth
image
unit
image capturing
capturing unit
Prior art date
Application number
TW102149265A
Other languages
English (en)
Other versions
TWI530909B (zh
Inventor
Kun-Lung Tseng
Wei-Jia Huang
An-Chun Luo
Original Assignee
Ind Tech Res Inst
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ind Tech Res Inst filed Critical Ind Tech Res Inst
Priority to TW102149265A priority Critical patent/TWI530909B/zh
Priority to US14/261,211 priority patent/US9547802B2/en
Publication of TW201525934A publication Critical patent/TW201525934A/zh
Application granted granted Critical
Publication of TWI530909B publication Critical patent/TWI530909B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本發明揭示一種影像合成系統及方法，其中系統包括：一取像單元，用以擷取一實體物件的至少一第一影像；一深度資訊產生單元，設置於取像單元上，並量取深度資訊產生單元與實體物件之間的一深度空間資訊；一計算單元，接收至少一第一影像及深度空間資訊，進行自深度空間資訊中移除實體物件之外的一移動物所造成雜訊的計算，並進而計算取像單元的一移動軌跡；以及一合成單元，依據取像單元的移動軌跡而合成至少一第一影像與一虛擬場景的一第二影像，並將合成的結果顯示於一顯示裝置上。

Description

影像合成系統及方法
本發明係關於一種影像合成的系統及方法，其可應用於平面或立體影像合成。
近年來，虛實合成技術在各種多媒體內容裡已是隨處可見，其又以電影或廣告等大眾娛樂導向的內容為大宗。要做到完美的虛實合成，必須將實拍的相機參數及其移動軌跡完整重現，並套用到虛擬場景中的虛擬相機，使其對應良好，使得實體物件影像與虛擬場景影像的合成不會造成空間混淆感。傳統製作流程上，這些重現、對應的動作是在後製期間執行，過程需要很繁瑣的人工介入與判斷，而且一旦影像上的資訊不足以重現相機軌跡，或是現場參數記錄錯誤，整段影像就必需再重回現場拍攝一次，使得合成製作曠日費時，成本居高不下。
為了降低後製期間的人工成本，以及即早避免移動軌跡追蹤資訊不足或是參數記錄錯誤的失誤發生，有必要發展新的虛實影像合成技術，以對治及改善上述的問題。
因此，本發明提出一種影像合成系統及方法，其利用深度相機所提供的資訊，在實體場景影像拍攝時就達成初步的相機移動軌跡重現以及虛實影像對應，使得在拍攝現場即可達成虛實影像合成的預覽。
根據本發明的一方面，一實施例提供一種影像合成系統，其包括：一取像單元，用以擷取一實體物件的至少一第一影像；一深度資訊產生單元，設置於該取像單元上，並量取該深度資訊產生單元與該實體物件之間的一深度空間資訊；一計算單元，接收該至少一第一影像及該深度空間資訊，進行自該深度空間資訊中 移除該實體物件之外的一移動物所造成雜訊的計算，並進而計算該取像單元的一移動軌跡；以及一合成單元，依據該取像單元的該移動軌跡而合成該至少一第一影像與一虛擬場景的一第二影像，並將合成的結果顯示於一顯示裝置上。
根據本發明的另一方面，另一實施例提供一種影像合成方法，其包括下列步驟：藉由一移動的取像單元，擷取一實體物件的至少一第一影像；藉由設置於該取像單元上的一深度資訊產生單元，測量該深度資訊產生單元與該實體物件之間的一深度空間資訊；藉由上述所擷取的該至少一第一影像及所測量的該深度空間資訊，進行自該深度空間資訊中移除該實體物件之外的一移動物所造成雜訊的計算，並進而計算該取像單元的一移動軌跡；以及藉由上述所計算的移動軌跡，合成該實體物件的該至少一第一影像與一虛擬場景的一第二影像；其中，該深度資訊產生單元包括至少一深度相機，且該至少一深度相機所測量的該深度空間資訊為一包含該深度資訊產生單元與該實體物件表面各個點之間的距離之一深度圖框。
200‧‧‧影像合成系統
220‧‧‧取像單元
221‧‧‧深度資訊產生單元
221a、221b‧‧‧深度相機
222‧‧‧計算單元
225‧‧‧合成單元
226‧‧‧虛擬相機
227‧‧‧顯示裝置
300‧‧‧影像合成方法
320、340、360、380‧‧‧步驟
第1圖為本發明一實施例的影像合成系統之方塊示意圖。
第2圖為本發明一實施例的影像合成方法之流程示意圖。
第3a圖為本發明一實施例之深度相機所拍攝到的IR影像，其中取像單元與深度相機朝向同一方向，且攝影棚燈未被打開。
第3b圖為本發明一實施例之深度相機所算出的深度圖框，其中取像單元與深度相機朝向同一方向，且攝影棚燈未被打開。
第3c圖為本發明一實施例之深度相機所拍攝到的IR影像，其中取像單元與深度相機朝向同一方向，且攝影棚燈被打開。
第3d圖為本發明一實施例之深度相機所算出的深度圖框，其中取像單元與深度相機朝向同一方向，且攝影棚燈被打開。
第4a圖為本發明一實施例之深度相機所拍攝到的IR影像，其中取像單元與深度相機朝向相反方向，且攝影棚燈未被打開。
第4b圖為本發明一實施例之深度相機所算出的深度圖框，其 中取像單元與深度相機朝向相反方向，且攝影棚燈未被打開。
第4c圖為本發明一實施例之深度相機所拍攝到的IR影像，其中取像單元與深度相機朝向相反方向，且攝影棚燈被打開。
第4d圖為本發明一實施例之深度相機所算出的深度圖框，其中取像單元與深度相機朝向相反方向，且攝影棚燈被打開。
第5圖為本發明一實施例之取像單元與深度相機的位置關係示意圖。
第6圖為本發明一實施例之深度相機所得到的深度圖框劃分成矩陣形式的多個次圖框之示意圖。
第7圖為本發明一實施例利用時空動態物偵測法所得到的結果影像圖。
第8圖為本發明一實施例利用人型骨架偵測法所得到的結果影像圖。
第9圖為本發明一實施例所輸入的實體物件影像及虛擬場景影像、以及輸出的虛實影像合成結果及該取像單元的即時追蹤結果。
第10a圖為本發明一實施例之二個深度相機作用於不同角度以取得不同視野的深度圖框之示意圖。
第10b圖為本發明一實施例之二個深度相機作用於相反方向以取得不同視野的深度圖框之示意圖。
為對本發明之特徵及功能有更進一步的認知與瞭解，茲配合圖式詳細說明本發明的實施例如後。在所有的說明書及圖示中，將採用相同的元件編號以指定相同或類似的元件。
在各個實施例的說明中，當一元素被描述是在另一元素之「上方/上」或「下方/下」，係指直接地或間接地在該另一元素之上或之下的情況，其可能包含設置於其間的其他元素；所謂的「直接地」係指其間並未設置其他中介元素。「上方/上」或「下方/下」等的描述係以圖式為基準進行說明，但亦包含其他可能的方向轉變。所謂的「第一」、「第二」、及「第三」係用以描述不同的 元素，這些元素並不因為此類謂辭而受到限制。為了說明上的便利和明確，圖式中各元素的厚度或尺寸，係以誇張或省略或概略的方式表示，且各元素的尺寸並未完全為其實際的尺寸。
第1圖為本發明一實施例的影像合成系統之方塊示意圖，其可應用於平面(2D)或立體(3D)的影像合成。該影像合成系統200包含：一該取像單元220、一深度資訊產生單元221、一計算單元222、一合成單元225以及至少一虛擬相機226。該取像單元220用以擷取一實體物件(未圖示)的單一個或複數個第一影像；而在影像擷取的過程中，該第一影像可能會包含該實體物件之外的一移動物(未圖示)；其中，該第一影像係指該實體物件被該取像單元220所擷取到的影像，又可稱為實體物件影像。該深度資訊產生單元221可固定或設置於該取像單元220上，用以量取該深度資訊產生單元221與該實體物件(未圖示)之間的深度空間資訊。該計算單元222電性連接至該取像單元220及該深度資訊產生單元221，接收該取像單元220所擷取的該第一影像及該深度資訊產生單元221所量取的該深度空間資訊，進行自該深度空間資訊中移除該移動物所造成雜訊的計算，並進而計算該取像單元220的移動軌跡。該至少一虛擬相機226用以擷取一虛擬場景(未圖示)的一第二影像，並電性連接至該合成單元225；其中，該第二影像係指該虛擬場景被該虛擬相機226所擷取到的影像，又可稱為虛擬場景影像。該合成單元225電性連接至該計算單元222，它會依據該取像單元220的移動軌跡之計算結果，合成該取像單元220所擷取該實體物件的該第一影像與該虛擬相機226所擷取該虛擬場景的該第二影像，並將合成的結果傳送至該顯示裝置227以顯示之。如此，該影像合成系統200可用於多媒體及電影的製作，使得在實體物件的拍攝過程中，即可達成作為該取像單元220的拍攝相機之移動軌跡重現、以及實體物件影像與虛擬場景影像的空間對應，並在實體物件拍攝現場即可提供虛實影像合成的預覽。其中，虛實影像合成係指對於實體物件的實體影像與虛擬場景的虛擬影像之合成。
該取像單元220可以是影片拍攝用的攝影機、各式的數位相機或立體相機，用以拍攝或擷取實體物件或實體場景的影像，而得到該第一影像。特別是，在本實施例中，該取像單元220是可移動且具有一移動軌跡，以利影片的拍攝。該深度資訊產生單元221係固定於該取像單元220上，也就是該深度資訊產生單元221與該計算單元222之間的空間關係是固定不變的。該深度資訊產生單元221可包括至少一個深度相機或多個彩色相機；例如，該深度資訊產生單元221可以是一個深度相機，且該深度相機所測量的深度空間資訊為深度圖框(depth map frame)，其為該深度資訊產生單元221與該實體物件表面各個點之間的距離。此外，該深度資訊產生單元221可以是二個或以上的彩色相機所組成，利用該些彩色相機之間的視角差，亦可得到其與該實體物件之間的深度空間資訊。由於深度相機本身只能提供有限的視角，例如，約57度的視角，而且實體物件的拍攝過程常須伴以高亮度照明，使得其深度圖框的測量結果失去精確度。為了擴大該深度資訊產生單元221的深度感測範圍，在一實施例中，該深度資訊產生單元221包括多個深度相機，且該些深度相機朝向不同的方向，再將各個深度相機所得到的深度圖框加以適當的組合；此將於後文中詳述。
該計算單元222電性連接至該取像單元220及該深度資訊產生單元221，以分別接收該取像單元220所擷取的該第一影像及該深度資訊產生單元221所量取的該深度空間資訊，藉以計算該取像單元220的移動軌跡。該計算單元222可以是電腦或現場可編輯邏輯閘陣列(Field Programmable Gate Array，簡稱FPGA)嵌入式系統板。該計算單元222亦會針對該取像單元220執行相關參數的校正、以及針對該深度資訊產生單元221所量取深度空間資訊執行移動物及其所造成雜訊的排除，藉以將該深度資訊產生單元221的移動軌跡較佳地轉換成該取像單元220的移動軌跡；此將於後文中詳述。
該合成單元225電性連接至該計算單元222，以接收該取像單 元220的移動軌跡之計算結果；該合成單元225另會接受該虛擬相機226所擷取到的該第二影像，並依據該取像單元220的移動軌跡之計算結果，而將該取像單元220所擷取到的該些一影像與該虛擬相機226所擷取到的該第二影像合成在一起，以達成上述所謂的虛實影像合成。該第二影像(虛擬場景影像)可以藉由該虛擬相機226而對一虛擬場景(未圖示)進行影像擷取而得，且該虛擬相機226電性連接該合成單元225，以將該第二影像提供給該合成單元225。最後，該合成單元225會將該第一影像(該取像單元220所擷取到的實體物件影像)與該第二影像的合成結果傳送至該顯示裝置227而顯示之。如此，使用者可即時觀察到此虛實影像的合成結果
根據上述的影像合成系統200，我們可提出以下的影像合成方法300。第2圖為本發明一實施例的影像合成方法之流程示意圖。該影像合成方法300包含：(步驟320)藉由該取像單元220，擷取一實體物件的單一個或複數個第一影像；(步驟340)藉由設置於該取像單元220上的該深度資訊產生單元221，測量該深度資訊產生單元221與該實體場景之間的深度空間資訊；(步驟360)藉由上述所擷取的該第一影像及所測量的該深度空間資訊，進行自該深度空間資訊中移除該實體物件之外的一移動物所造成雜訊的計算，並進而計算該取像單元220的移動軌跡；以及(步驟380)藉由上述所計算的移動軌跡，合成該實體物件的該第一影像與一虛擬場景的一第二影像。在本實施例中，該取像單元220為可以移動而用於影片拍攝的攝影機或各式的數位相機或立體相機，且該深度資訊產生單元221為深度相機，其所測量的深度空間資訊為該深度資訊產生單元221與該實體物件表面各個點之間距離的深度圖框。
深度相機可具有紅外(infra-red，簡稱IR)光源，會發射出特定圖案的紅外光來照射其目標物，深度相機可拍攝到此時的影像(稱為IR影像)，並可藉由飛行時間(time of flight)或結構光(structure light)來量取及計算該深度相機與該目標物表面各個點之間的距離，並形成所謂的深度圖框，其為一種灰階的影像圖框，當該目 標物愈接近深度相機(深度愈小)時，深度圖框的灰階愈黑暗，反之當該目標物愈遠離深度相機(深度愈大)時，深度圖框的灰階愈明白。
深度相機的使用上至少會有以下的二個限制。首先，在電影及廣告的內容製作或拍攝過程中，會使用到打光用的攝影棚燈二個以上，而攝影棚燈為波長範圍很寬的光源，且其強度可達5000瓦以上，這常會造成深度計算結果的正確性降低。此外，深度相機對於深度的計算範圍自有其限制，通常其可計算的深度範圍約在30公分~10公尺之間，但是電影或廣告等拍攝場景長超過20公尺，甚至綿延數公里的廣闊場景；因此，其移動軌跡無法直接用深度相機本身可得到的資訊或深度圖框來重現。
本發明為解決上述深度相機的使用限制，而提出處理方式如下。對於相對位置不變的兩物體，若能得知其中一物體的移動軌跡，則只要能取得兩物體之間的空間轉換矩陣，就可以重現出另一物體的移動軌跡；這亦可稱為轉換矩陣的校正。因此，本實施例將該深度相機221固定於該取像單元220上，以使二者之間的相對位置維持固定不變，則在該取像單元220與該深度相機朝向不同的方向作用或拍攝的情況下，使該取像單元220與該深度相機作用或拍攝於不同的物件或場景，亦可藉由該深度相機所得到的移動軌跡，而轉換成該取像單元220的移動軌跡。例如，該取像單元220拍攝被攝影棚燈強烈照射的實體物件，而該深度相機可以往另一方向甚或是反方向作用於未被攝影棚燈照射的其他物件；該取像單元220可拍攝超過20公尺遠的廣闊場景，而該深度相機可朝向並作用於旁邊近距離的參考物。藉由分開考量該取像單元220與該深度相機所作用或拍攝的場景或物件，即可解決上述深度相機的限制所造成拍攝場景的侷限之問題。
以下二個實際案例用以說明該取像單元220與該深度相機朝向同一方向拍攝相同物件以及朝向相反方向拍攝不同物件時所得的結果。首先是該取像單元220與該深度相機朝向同一方向拍攝相同物件的情況，倘若攝影棚燈(強度5000瓦)未被打開，則第3a 圖為該深度相機所拍攝到IR影像，第3b圖為該深度相機所算出的深度圖框；倘若攝影棚燈被打開，則第3c圖為該深度相機所拍攝到IR影像，第3d圖為該深度相機所算出的深度圖框。此外為該取像單元220與該深度相機朝向相反方向拍攝不同物件的情況，倘若攝影棚燈未被打開，則第4a圖為該深度相機所拍攝到IR影像，第4b圖為該深度相機所算出的深度圖框；倘若攝影棚燈被打開，則第4c圖為該深度相機所拍攝到IR影像，第4d圖為該深度相機所算出的深度圖框。由第3a~3d圖及第4a~4d圖可知，當該取像單元220與該深度相機朝向同一方向拍攝相同物件時，攝影棚燈對深度圖框的計算造成不好的影響；而當該取像單元220與該深度相機朝向相反方向拍攝不同物件時，打開或關閉攝影棚燈對深度計算則幾乎沒影響。
在該取像單元220與該深度相機的相對位置被固定之情況下，倘若二者朝向同一方向拍攝，則其視野(field of view)將會很大的部分是重疊的；而倘若該取像單元220與該深度相機朝向不同方向拍攝，則二者視野的重疊部分將會變小，而無法同時看到同一塊校正板，此時就需要兩塊校正板分別擺放在不同位置，分別讓該取像單元220與該深度相機可以看到。該取像單元220與該深度相機的空間轉換矩陣M可藉由「A Flexible New Technique for Camera Calibration」(論文出處：IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.22,2000,pp.1330-1334)以及「Calibration of Wrist-Mounted Robotic Sensors by Solving Homogeneous Transform Equations the Form AX=XB」(論文出處：IEEE Transactions on Robotics Automat.,Vol.7,1991,pp.877-878))等論文所揭露的習知技術求得，因此在此不再贅述。
第5圖為該取像單元220與該深度相機221的位置關係示意圖。該深度相機221經過自我定位後，其位置與夾角的齊次轉換矩陣P可表示成： 其中，r代表旋轉相關的參數，p代表位移相關參數，而該取像單元220與該深度相機221的空間轉換矩陣M則可表示成：
將矩陣P t 與矩陣M相乘，即可得到代表該取像單元220位置及夾角的齊次轉換矩陣P’：
令θ x 為該取像單元220對X軸的旋轉角度，θ y 為對Y軸的旋轉角度，而θ z 為對Z軸的旋轉角度，而該取像單元220的平移量為(t' x ,t' y ,t' z ) T ，則γ' 11=cos(θ y )cos(θ z )
γ' 12=sin(θ x )sin(θ y )cos(θ z )+cos(θ x )sin(θ z )
γ' 13=-cos(θ x )sin(θ y )cos(θ z )+sin(θ x )sin(θ z )
γ' 21=-cos(θ y )sin(θ z )
γ' 22=-sin(θ x )sin(θ y )sin(θ z )+cos(θ x )cos(θ z )
γ' 23=cos(θ x )sin(θ y )sin(θ z )+sin(θ x )cos(θ z )
γ' 31=sin(θ y )
γ' 32=-sin(θ x )cos(θ y )
γ' 33=cos(θ x )cos(θ y )
可以取得Y軸的旋轉角度θ y =sin -1(γ' 31)；再藉由θ y 可求出： θ x =sin -1(-γ' 32/cos(θ y ))
θ z =sin -1(-γ' 21/cos(θ y ))
為了找出相對該取像單元220原點的位置，我們必須減掉校正後座標原點，才能取得該取像單元220的定位位置，因此t x '=t x -m 14
t y '=t y -m 24
t z '=t z -m 34
接著，求M的旋轉角度，再藉由可求出
如此可得到攝影機的移動參數t' x ,t' y ,t' z ,θ' x ,θ' y ,θ' z 。藉此，該計算單元222可依據所接收該深度相機221的深度空間資訊而計算該深度相機221的位置及旋轉角度，並將其轉換為該取像單元220的位置及旋轉角度。
攝像機軌跡之追蹤技術，例如，用於一般相機的「來自移動的結構(structure from motion)」、「同步定位及映圖(simultaneous localization and mapping，簡稱SLAM)」、用於深度相機的「KinectFusion」，這些習知技術通常會要求拍攝的場景靜止不動，否則所追蹤到的軌跡將會受到移動物體的影響而產生誤差。因此，當該深度相機221作用時，其視野中若有物體在移動，則因此移動物體影響所造成的雜訊必須加以排除。也就是當該深度相機221所產生的深度空間資訊或深度圖框中，包含有因該目標物以外的非目標移動物所引發的雜訊時，該計算單元222可執行 自該深度空間資訊或深度圖框中移除該雜訊的計算。
關於上述雜訊之移除，本實施例採用類似隨機抽樣一致(RANdom SAmple Consensus，簡稱RANSAC)的計算方法，其包括下列步驟：(步驟410)將該深度相機221所得到的深度圖框劃分成矩陣形式的多個次圖框，如第6圖所示之切割線，使得一深度圖框可劃分成例如6x7矩陣的42個次圖框；(步驟420)隨機排除該深度圖框中該深度相機221與該實體物件表面各個點之間的距離未達一預設值的次圖框；(步驟430)在各個未被排除的次圖框中隨機採樣多個深度像素，利用其中的深度資訊以計算該深度相機221的軌跡變動；(步驟440)藉由步驟430所計算該深度相機221的該軌跡變動，計算該深度相機221的移動軌跡與所測量的該深度圖框所含深度空間資訊之一致性；(步驟450)重覆進行上述步驟410~440一預設次數；以及(步驟460)藉由步驟430所採樣的該些深度像素得到一致性最佳的一組，計算該深度相機221的該移動軌跡。
此外，在另一實施例中，亦可使用以三軸加速度計為例的感測器來取得該深度相機221的初始軌跡變動，並以此初始軌跡變動取代前述的步驟410~430，再以步驟440排除軌跡明顯不一致的深度像素，並將所有符合一致性之預設參考值的深度像素用來計算該深度相機221的移動軌跡。
關於上述雜訊之移除，另一實施例的計算方法採用高階影像資訊(例如，人體骨架及場景模型)來開發時空動態物(Spatial Temporal Attention，簡稱STA)偵測法(論文出處：“Automatic Change Detection of Driving Environments in a Vision-Based Driver Assistance System,”IEEE Transactions on Neural Networks,vol.14,no.3,2003)及人型骨架偵測法，並可結合上述兩種方法，預先將該移動物所造成的深度資訊排除，再輸入到深度時間融合系統中，以避免畫面中出現移動物體而導致該取像單元220的移動軌跡偵測遭到干擾，藉此提升時空融合技術的正確性。其中，時空動態物偵測法是用來偵測影像中持續出現移動物的部分(例如，風吹草 動)干擾排除；而人型骨架偵測法是可容許演員或人物出現在畫面中互動的解決方案，以防止靜態人體忽然運動或者人物進入畫面中轉為靜態的情況。根據初步的實驗結果，此方法可以排除畫面中移動物所造成雜訊的干擾達約40%，而能保持系統運作的穩定性。本實施例的雜訊移除計算包括下列步驟：(步驟610)自該深度圖框中取得一人物的骨架模型，再將該骨架模型所在的區域自該深度圖框中排除；(步驟620)藉由不同時間點的該深度圖框，取出該移動物的部分並加以排除。
第7圖為本實施例利用時空動態物偵測法所得到的結果影像圖；其中，圖(a)為含有晃動手臂之深度資訊，圖(b)為動態物偵測出晃動手臂，圖(c)為未包含手臂晃動排除之深度時間融合，圖(d)為手臂晃動排除後之深度時間融合。此外，第8圖為本實施例利用人型骨架偵測法所得到的結果影像圖；其中，圖(a)為含有人物角色之深度資訊，圖(b)為偵測出人物骨架之影像，圖(c)為未排除人物深度資訊之深度時間融合，圖(d)為將人物排除後之深度時間融合。
關於該深度相機221的自我定位，我們可藉由微軟公司發展的KinectFusion技術或論文「KinectFusion：Real-Time Dense Surface Mapping and Tracking」(論文出處：Proceedings of the 24th annual ACM symposium on User interface software and technology,2011,pp.559-568)所揭露的習知技術來達成，因此在此不再贅述。藉此，該深度相機221在每個深度圖框的位置可被精準估測，並可同時重建拍攝場景的三維模型。藉由KinectFusion技術的使用以及前述移動物所致雜訊的排除，我們可得到較精準、穩定、不受非目標移動物干擾的深度相機221軌跡，再搭配前述的空間轉換矩陣，即可還原該取像單元220拍攝時的移動軌跡。
一般而言，深度相機的解析度通常低於作為該取像單元220的影片拍攝用攝影機或相機，例如，解析度640x480或更小的深度相機，解析度高達4K、5K以上的二維影片拍攝用攝影機或相機。由於二者解析度的差異，可能造成由該深度相機221計算得 到的移動軌跡與該取像單元220視野的實際影像會產生對位誤差。因此，本實施例採用類似論文「MonoSLAM：Real-Time Single Camera SLAM」(論文出處：IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.29,Issue 6,2007,pp.1052-1067)所揭露的習知技術來解決此問題，藉以最佳化該取像單元220的移動軌跡，其包括下列步驟：(步驟510)依據該深度相機221所測量的深度空間資訊或深度圖框而計算得到的移動軌跡，設定該移動軌跡為一特徵追蹤演算法的初始值，並執行該特徵追蹤演算法；(步驟520)取出該取像單元220所擷取該些第一影像的特徵點，並計算該些第一影像其中二者之間的特徵點對應關係；以及(步驟530)藉由上述所計算的特徵點對應關係，修正該取像單元220的移動軌跡。如此，先將該深度相機221輸出的移動軌跡當成初始估測值，代入擴展卡爾曼濾波器(Extended Kalman Filter，簡稱EKF)以更新該深度相機221位置狀態，然後取出該取像單元220實拍影像中高解析度的特徵點以及兩影像框(frame)之間的特徵點對應，並利用這些特徵點微調修正EKF中該取像單元220的位置狀態，以得到更精準的對位。
在多媒體及電影的製作過程中，為了能即時觀看實體物件影像與虛擬場景影像的合成結果，本實施例採用虛擬建模環境軟體Maya(Autodesk公司)作為實體物件影像與虛擬場景影像的合成介面。所有的影像以及該取像單元220的資訊會先透過內部記憶體傳遞方式而輸入Maya內部。此外，該虛擬相機226的座標系統必須完全匹配於作為該取像單元220之拍攝相機的座標系統，以利後續軌跡追蹤流程的進行。當輸入Maya的實體物件影像與虛擬場景影像之間的相對關係確定之後，我們可透過該取像單元220的輸入資訊而對該虛擬相機226進行控制，並利用Maya的預覽系統達到即時觀看。更進者，倘若該取像單元220與該虛擬相機226是採用3D立體相機以達到3D即時監視，則本實施例可將輸入的兩路3D視訊訊號及該取像單元220的資訊同步輸入至Maya的立體相機模組中，即可達成立體合成監視。
藉由該取像單元220的移動軌跡之計算結果，本實施例可調整該虛擬相機226的移動軌跡及操作狀況，以拍攝與實體物件影像相匹配的虛擬場景。其中，該虛擬相機226的移動軌跡及相關操作參數包括：空間位置(包括X,Y,Z等三個軸項)、旋轉角度(包括X,Y,Z等三個軸項)、焦距(Focal Length)、底片尺寸(Film back)及解析度(Resolution)等，倘若使用多個虛擬相機，則其操作參數亦可包括：虛擬相機之間的間距(Inter-axial)及夾角(Convergence)等，藉以產生最佳化的虛實影像合成結果。
此外，在另一實施例中，亦可使用二個或更多的虛擬相機來提供該虛擬場景影像，則本實施例的影像合成方法仍可藉由該取像單元220的該移動軌跡之計算結果，調整該些虛擬相機的移動軌跡及操作狀況包括：空間位置、旋轉角度、焦距、底片尺寸、解析度、該些虛擬相機之間的間距、及該些虛擬相機之間的間距夾角。其於與前述實施例相同之處，在此不再贅述。
在該取像單元220與該深度相機221朝向同一方向拍攝相同物件的情況下，第9圖為本發明一實施例所輸入的實體物件影像及虛擬場景影像、以及輸出的虛實影像合成結果及該取像單元220的即時追蹤結果；其中，圖(a)為該取像單元220所拍攝的實體物件影像，圖(b)為該該虛擬相機226所拍攝的虛擬場景影像，圖(c)為本實施例的虛實影像合成結果(例1)，圖(d)為本實施例之該取像單元220的即時追蹤結果(例1)，圖(e)為本實施例的虛實影像合成結果(例2)，圖(f)為本實施例之該取像單元220的即時追蹤結果(例2)。這些結果顯示確實能達到良好的虛實影像合成與相機移動軌跡重現之效果。
由於深度相機本身只能提供有限的視角，例如，Kinect相機的視角約為57度，而且實體場景的拍攝過程常須伴以高亮度照明，使得深度相機所測量到的深度空間資訊會有難以避免的遺漏。為了擴大該深度資訊產生單元221的深度感測範圍，在下面的實施例中，該深度資訊產生單元221包括多個深度相機，且該些深度相機朝向不同的方向，再將各個深度相機所得到的深度圖 框加以適當的組合。例如，該深度資訊產生單元221包括二個深度相機221a及221b，且該些深度相機221a及221b的視角皆為57度。如第10a圖所示，該些深度相機221a及221b設置於同一水平面上，並作用於不同的角度以分別取得不同視野的深度圖框。我們可選擇以特徵點為基礎的影像拼接方式或者是以透過輔助校正版的方式，進行該些深度圖框的圖像配準(image registration)，將多張深度圖框結合為視角較廣的深度影像，類似環場影像的影像處理技術。此外，如第10b圖所示，該些深度相機221a及221b設置於同一水平面上，且其作用角度為180度的相反方向，則該些深度相機221a及221b所得到的深度圖框可透過正規化(normalization)的方式進行深度圖框之結合，而產生較大感測範圍的深度圖框。如此可擴大深度感測距離或視角，並提升使用時間融合的追蹤系統之穩定度。利用多個深度相機朝向不同方向作用，並分別進行該些深度相機的定位計算，再把該些深度相機的定位數值進行平均或最佳化之整合，這將有助於本實施例系統穩定度的提高。
以下的實驗用以探討使用本實施例的系統或方法來估測或計算相機位置之準確性，而與實際的相機移動位置進行比較。首先是關於角度的量測實驗，其次是關於位移的量測實驗，每一組實驗都各包含三個軸向的子實驗，分別量測x軸、y軸、z軸，以了解各座標軸向的分量誤差。
關於角度的量測實驗，在電子轉盤上架設真實相機，用以模擬攝影師對相機y軸的旋轉(pan)，並且透過電子儀器取得精密的角度變化。x軸與z軸的運動則是將電子水平儀固定於相機上方以了解相機的水平角度變化。表1為實驗結果，我們透過計算本實施例系統所計算出的角度值與實際量測的角度值之差異來計算每一度會產生的誤差，並且將多次誤差角度取絕對值後，計算多次實驗的平均誤差。由表1的結果比較可知，本實施例的系統或方法在x軸與y軸具有較好的準確度，而z軸雖然誤差較大，但實際的拍攝很少會用到z軸運動的運鏡手法。
關於位移的量測實驗，在攝影專用軌道車上架設真實相機，用以模擬攝影師對相機的推進(doly)或平移，也就是x軸與z軸的移動，並且透過雷射測距儀取得精密的距離變化。y軸的運動則使用電子測距儀，並透過腳架的高低變化來量測。表2為實驗結果，我們透過計算本實施例系統所計算出的位移值與實際量測的位移值之差異來計算每公分會產生的誤差，並且將多次誤差位移量取絕對值後，計算多次實驗的平均誤差。由表2的結果比較可知，本實施例的系統或方法在位移方面都能保持良好的誤差控制，移動一公分的誤差約在0.04公分以下。
綜上所述，本發明所提出的影像合成系統200及方法300可利用深度資訊產生單元(或深度相機)擷取到的資訊(例如，深度資訊)，在實體場景影像拍攝時就達成初步的相機移動軌跡重現以及虛實影像對應，使得在拍攝現場即可達成虛實影像合成的預覽；藉此，可使虛實影像合成的多媒體技術之後製成本大幅降低，並可即早避免相機移動軌跡追蹤資訊不足或是參數記錄錯誤的失誤發生。
唯以上所述者，僅為本發明之較佳實施例，當不能以之限制本發明的範圍。即大凡依本發明申請專利範圍所做之均等變化及修飾，仍將不失本發明之要義所在，亦不脫離本發明之精神和範圍，故都應視為本發明的進一步實施狀況。
200‧‧‧影像合成系統
220‧‧‧取像單元
221‧‧‧深度資訊產生單元
222‧‧‧計算單元
225‧‧‧合成單元
226‧‧‧虛擬相機
227‧‧‧顯示裝置

Claims (14)

  1. 一種影像合成系統，包括：一取像單元，用以擷取一實體物件的至少一第一影像；一深度資訊產生單元，設置於該取像單元上，並量取該深度資訊產生單元與該實體物件之間的一深度空間資訊；一計算單元，接收該至少一第一影像及該深度空間資訊，進行自該深度空間資訊中移除該實體物件之外的一移動物所造成雜訊的計算，並進而計算該取像單元的一移動軌跡；以及一合成單元，依據該取像單元的該移動軌跡而合成該至少一第一影像與一虛擬場景的一第二影像，並將合成的結果顯示於一顯示裝置上。
  2. 如申請專利範圍第1項所述之影像合成系統，其中該深度資訊產生單元包括一深度相機或多個彩色相機。
  3. 如申請專利範圍第1項所述之影像合成系統，其中該計算單元依據所接收的該深度空間資訊而計算該深度資訊產生單元的位置及旋轉角度，並將其轉換為該取像單元的位置及旋轉角度。
  4. 如申請專利範圍第1項所述之影像合成系統，其中該深度資訊產生單元包括多個深度相機，且該些深度相機朝向不同的方向。
  5. 一種影像合成方法，其包括下列步驟：藉由一移動的取像單元，擷取一實體物件的至少一第一影像；藉由設置於該取像單元上的一深度資訊產生單元，測量該深度資訊產生單元與該實體物件之間的一深度空間資訊；藉由上述所擷取的該至少一第一影像及所測量的該深度空間資訊，進行自該深度空間資訊中移除該實體物件之外的一移動物所造成雜訊的計算，並進而計算該取像單元的一移動軌跡；以及藉由上述所計算的移動軌跡，合成該實體物件的該至少一第一影像與一虛擬場景的一第二影像； 其中，該深度資訊產生單元包括至少一深度相機或多個彩色相機，且該至少一深度相機或多個彩色相機所測量的該深度空間資訊為一包含該深度資訊產生單元與該實體物件表面各個點之間的距離之一深度圖框(depth map frame)。
  6. 如申請專利範圍第5項所述之影像合成方法，其中該至少一深度相機為多個深度相機。
  7. 如申請專利範圍第5項所述之影像合成方法，其中計算移動軌跡之步驟，係依據所測量的該深度空間資訊而計算該深度資訊產生單元的位置及旋轉角度，並將其轉換為該取像單元的位置及旋轉角度。
  8. 如申請專利範圍第5項所述之影像合成方法，其中移除該雜訊之計算包括下列步驟：(1)將該深度圖框劃分成矩陣形式的多個次圖框；(2)隨機排除該深度圖框中該深度資訊產生單元與該實體物件表面各個點之間的距離未達一預設值的次圖框；(3)在各個未被排除的次圖框中隨機採樣多個深度像素，藉以計算該深度資訊產生單元的該軌跡變動；(4)藉由所計算該深度資訊產生單元的該軌跡變動，計算該取像單元的該移動軌跡與所測量的該深度空間資訊之一致性；以及(5)重覆一預設次數進行上述步驟(1)~(4)；藉由所採樣的該些深度像素得到一致性最佳的一組，計算該取像單元的該移動軌跡。
  9. 如申請專利範圍第5項所述之影像合成方法，進一步包括：最佳化該取像單元的該移動軌跡。
  10. 如申請專利範圍第9項所述之影像合成方法，其中計算該移動軌跡之步驟，係包含依據所測量的該深度空間資訊而計算該深度資訊產生單元的一移動軌跡，並將其轉換為該取像單元的該移動軌跡；且該移動軌跡的最佳化包括下列步驟：(1)依據該深度資訊產生單元所測量的該深度空間資訊而得到 的該移動軌跡，設定該移動軌跡為一特徵追蹤演算法的初始值，並執行該特徵追蹤演算法；(2)取出該取像單元所擷取該至少一第一影像的複數個特徵點，並計算該至少一第一影像其中二者之間的該些特徵點之對應關係；以及(3)藉由上述所計算的該些特徵點之對應關係，修正該取像單元的該移動軌跡。
  11. 如申請專利範圍第6項所述之影像合成方法，其中該些深度相機朝向不同的方向。
  12. 如申請專利範圍第5項所述之影像合成方法，其中該虛擬場景的該第二影像係由至少一虛擬相機所提供，且該方法進一步包括：藉由該取像單元的該移動軌跡之計算結果，調整該至少一虛擬相機的移動軌跡及操作狀況。
  13. 如申請專利範圍第12項所述之影像合成方法，其中該至少一虛擬相機的操作狀況包括空間位置、旋轉角度、焦距、底片尺寸、及解析度。
  14. 如申請專利範圍第5項所述之影像合成方法，其中移除該雜訊之計算包括下列步驟：(1)自該深度圖框中取得一人物的骨架模型，再將該骨架模型所在的區域自該深度圖框中排除；以及(2)藉由不同時間點的該深度圖框，取出該移動物的部分並加以排除。
TW102149265A 2013-12-31 2013-12-31 影像合成系統及方法 TWI530909B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW102149265A TWI530909B (zh) 2013-12-31 2013-12-31 影像合成系統及方法
US14/261,211 US9547802B2 (en) 2013-12-31 2014-04-24 System and method for image composition thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102149265A TWI530909B (zh) 2013-12-31 2013-12-31 影像合成系統及方法

Publications (2)

Publication Number Publication Date
TW201525934A true TW201525934A (zh) 2015-07-01
TWI530909B TWI530909B (zh) 2016-04-21

Family

ID=53482406

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102149265A TWI530909B (zh) 2013-12-31 2013-12-31 影像合成系統及方法

Country Status (2)

Country Link
US (1) US9547802B2 (zh)
TW (1) TWI530909B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI550556B (zh) * 2015-12-28 2016-09-21 A Method of Establishing Stereo Image Model by Kalman Filtering
TWI586936B (zh) * 2016-05-20 2017-06-11 國立交通大學 實體影像與虛擬影像之間轉換的方法及其系統
TWI622298B (zh) * 2016-08-23 2018-04-21 和碩聯合科技股份有限公司 廣告影像生成系統及其廣告影像生成之方法
TWI755685B (zh) * 2019-08-23 2022-02-21 盟立自動化股份有限公司 軌道車系統、軌道車及視覺感測裝置
US11467400B2 (en) 2019-10-04 2022-10-11 Industrial Technology Research Institute Information display method and information display system
US11623674B2 (en) 2019-08-23 2023-04-11 Mirle Automation Corporation Rail vehicle system, rail vehicle, and visual sensing device

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589362B2 (en) 2014-07-01 2017-03-07 Qualcomm Incorporated System and method of three-dimensional model generation
US11051000B2 (en) * 2014-07-14 2021-06-29 Mitsubishi Electric Research Laboratories, Inc. Method for calibrating cameras with non-overlapping views
US9607388B2 (en) 2014-09-19 2017-03-28 Qualcomm Incorporated System and method of pose estimation
US10373366B2 (en) 2015-05-14 2019-08-06 Qualcomm Incorporated Three-dimensional model generation
US10304203B2 (en) 2015-05-14 2019-05-28 Qualcomm Incorporated Three-dimensional model generation
US9911242B2 (en) 2015-05-14 2018-03-06 Qualcomm Incorporated Three-dimensional model generation
US10341633B2 (en) 2015-11-20 2019-07-02 Qualcomm Incorporated Systems and methods for correcting erroneous depth information
US10341568B2 (en) 2016-10-10 2019-07-02 Qualcomm Incorporated User interface to assist three dimensional scanning of objects
TWI614500B (zh) * 2016-11-21 2018-02-11 國立清華大學 細胞檢測晶片的影像定位與拼接方法及影像檢測系統
CN107483815B (zh) * 2017-08-09 2020-08-07 Oppo广东移动通信有限公司 运动物体的拍摄方法和装置
US11176747B2 (en) * 2017-10-30 2021-11-16 Sony Corporation Information processing apparatus and information processing method
TWI680436B (zh) * 2018-12-07 2019-12-21 財團法人工業技術研究院 深度相機校正裝置及其方法
CN111223192B (zh) * 2020-01-09 2023-10-03 北京华捷艾米科技有限公司 一种图像处理方法及其应用方法、装置及设备
WO2022000176A1 (zh) * 2020-06-29 2022-01-06 深圳市大疆创新科技有限公司 红外图像处理方法、电子设备及计算机可读存储介质
CN112435312B (zh) * 2020-09-04 2023-04-11 上海哔哩哔哩科技有限公司 运动轨迹的生成方法、装置、计算机设备和可读存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471541A (en) 1993-11-16 1995-11-28 National Research Council Of Canada System for determining the pose of an object which utilizes range profiles and synethic profiles derived from a model
US6940538B2 (en) * 2001-08-29 2005-09-06 Sony Corporation Extracting a depth map from known camera and model tracking data
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
US20070248283A1 (en) * 2006-04-21 2007-10-25 Mack Newton E Method and apparatus for a wide area virtual scene preview system
US7907750B2 (en) 2006-06-12 2011-03-15 Honeywell International Inc. System and method for autonomous object tracking
DE102006055641B4 (de) 2006-11-22 2013-01-31 Visumotion Gmbh Anordnung und Verfahren zur Aufnahme und Wiedergabe von Bildern einer Szene und/oder eines Objektes
CN101465957B (zh) 2008-12-30 2011-01-26 应旭峰 一种虚拟三维场景中实现遥控互动的系统
KR101619076B1 (ko) * 2009-08-25 2016-05-10 삼성전자 주식회사 모바일 플랫폼의 동적 물체 검출 및 추적 방법
US8988432B2 (en) * 2009-11-05 2015-03-24 Microsoft Technology Licensing, Llc Systems and methods for processing an image for target tracking
KR20110064622A (ko) * 2009-12-08 2011-06-15 삼성전자주식회사 티오에프 카메라를 이용한 3차원 에지 추출 방법 및 장치
US20110150271A1 (en) 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
US8848977B2 (en) 2010-01-04 2014-09-30 The Board Of Trustees Of The Leland Stanford Junior University Method for optical pose detection
US20110234481A1 (en) 2010-03-26 2011-09-29 Sagi Katz Enhancing presentations using depth sensing cameras
TWI561941B (en) 2010-04-01 2016-12-11 Seereal Technologies Sa Method and device for encoding three-dimensional scenes which include transparent objects in a holographic system
US8284847B2 (en) 2010-05-03 2012-10-09 Microsoft Corporation Detecting motion for a multifunction sensor device
US8594425B2 (en) * 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP5132754B2 (ja) * 2010-11-10 2013-01-30 株式会社東芝 画像処理装置、方法およびそのプログラム
US9213405B2 (en) 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US8401242B2 (en) 2011-01-31 2013-03-19 Microsoft Corporation Real-time camera tracking using depth maps
US8570320B2 (en) 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8711206B2 (en) 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
US8888450B2 (en) 2011-09-23 2014-11-18 Brett W. Degner Sculpted fan housing
TWI448977B (zh) 2011-12-08 2014-08-11 Ind Tech Res Inst 基於視訊分析的物件計數方法與裝置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI550556B (zh) * 2015-12-28 2016-09-21 A Method of Establishing Stereo Image Model by Kalman Filtering
TWI586936B (zh) * 2016-05-20 2017-06-11 國立交通大學 實體影像與虛擬影像之間轉換的方法及其系統
TWI622298B (zh) * 2016-08-23 2018-04-21 和碩聯合科技股份有限公司 廣告影像生成系統及其廣告影像生成之方法
TWI755685B (zh) * 2019-08-23 2022-02-21 盟立自動化股份有限公司 軌道車系統、軌道車及視覺感測裝置
US11623674B2 (en) 2019-08-23 2023-04-11 Mirle Automation Corporation Rail vehicle system, rail vehicle, and visual sensing device
US11467400B2 (en) 2019-10-04 2022-10-11 Industrial Technology Research Institute Information display method and information display system

Also Published As

Publication number Publication date
US20150187140A1 (en) 2015-07-02
US9547802B2 (en) 2017-01-17
TWI530909B (zh) 2016-04-21

Similar Documents

Publication Publication Date Title
TWI530909B (zh) 影像合成系統及方法
US11354840B2 (en) Three dimensional acquisition and rendering
US11640694B2 (en) 3D model reconstruction and scale estimation
Kim et al. Design and calibration of a multi-view TOF sensor fusion system
JP6974873B2 (ja) シーンから深度情報を取得するための装置および方法
Kolb et al. Time‐of‐flight cameras in computer graphics
Stoykova et al. 3-D time-varying scene capture technologies—A survey
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
KR20150013709A (ko) 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템
CN103337094A (zh) 一种应用双目摄像机实现运动三维重建的方法
EP1946567A2 (en) Device for generating three dimensional surface models of moving objects
Martel et al. An active approach to solving the stereo matching problem using event-based sensors
JP2011160421A (ja) 立体画像の作成方法、作成装置及びプログラム
Shim et al. Time-of-flight sensor and color camera calibration for multi-view acquisition
Bapat et al. Towards kilo-hertz 6-dof visual tracking using an egocentric cluster of rolling shutter cameras
Deng et al. Registration of multiple rgbd cameras via local rigid transformations
Bartczak et al. Integration of a time-of-flight camera into a mixed reality system for handling dynamic scenes, moving viewpoints and occlusions in real-time
US11830213B2 (en) Remote measurements from a live video stream
CN111914790B (zh) 基于双摄像头的不同场景下实时人体转动角度识别方法
US11176353B2 (en) Three-dimensional dataset and two-dimensional image localization
Chandaria et al. The MATRIS project: real-time markerless camera tracking for augmented reality and broadcast applications
US12026823B2 (en) Volumetric imaging
CN110785792A (zh) 3d建模方法、电子设备、存储介质及程序产品
Thangarajah et al. Vision-based registration for augmented reality-a short survey
US20080252746A1 (en) Method and apparatus for a hybrid wide area tracking system