TWI564841B

TWI564841B - 即時影像合成裝置、方法與電腦程式產品

Info

Publication number: TWI564841B
Application number: TW104128021A
Authority: TW
Inventors: 陳金仁
Original assignee: 陳金仁
Priority date: 2014-10-20
Filing date: 2015-08-26
Publication date: 2017-01-01
Also published as: TW201616443A

Description

即時影像合成裝置、方法與電腦程式產品

本發明是一種有關於影像去背(Background Removal)或前景擷取(Foreground Extraction)與合成之系統，特別是一種可快速將影像去背，再與影像、視訊、動畫或3D模型等合成的方法與裝置。

美國US8243182號專利提出一種可將拍攝者之影像合成至照片中之照相系統，雖然其物體定位器(subject locator)可將後鏡頭所拍攝之影像經去背後之拍攝者影像與前鏡頭所拍攝之景像合成時將前者固定在物體定位器之位置，以達成較佳之融入效果，但其仍有下列之缺點，其一為物體定位器僅固定在影像中之特定位置，比較適用在靜態單一影像之合成，當應用在連續影像之影片合成，由於影片具動態性，同一物體在不同影格可能會在不同之位置，若將前述之拍攝者影像不論那一影格皆固定在同一位置，會造成遮蔽到不該遮蔽之物件，或使得前景物件，在合成影片中的位置錯置，因此無法有效應用在影片上，另一則為該物體定位器只能模糊地定出位置，而無法指明是以被定位物件之那一個特定區域來定位，如手部、頭部或腳等部位，因此在合成影片無法較精準地擺放前景物件。為了解決前述之問題，本發明揭露一種可即時將拍攝到之物件分離，以進行影像合成之方法與裝置。

本發明主要目的為揭露一種使用定位標記合成法之影像合成裝置，其主要將所拍攝之場景中之物體與背景分離後所擷取出之影像，利用預先設定該物體影像之物件定位點與基底影像上之標記定位點為定位之基準，將該物體影像與基底影像較精確地擺放在正確之位置再將影像合成，以期達到預期之合成效果。

本發明另一目的為揭露一種使用定位影像合成法之影像合成裝置，其主要將所拍攝之場景中之物體與背景分離後所擷取出之影像，利用物體影像之物件定位點與基底影像中稱為定位影像之一特定影像之位置進行定位合成，將該物體影像與基底影像較精確地擺放在正確之位置，以合成影像。

本發明之再一目的為提供一種稱為3D合成法之一種平面影像與3D模型之合成方法與裝置，為將擷取出用來合成之物件影像或經切割後之部位之影像，轉化為3D之物件再與另一事先準備之3D模型合併，經成圖成為一平面影像與一3D模型之合成影像。

為解決前述影像合成之問題，本發明揭露一種即時影片合成的方法與裝置，包含一物件擷取模組、一合成模組、一合成資訊及至少一基底影像或一3D模型，物件擷取模組主要提供所拍攝場景中的各物件，經逐一切割後之單獨影像及其連接點(Joint)資訊，首先，可以事先設定物件擷取模組所欲擷取的前景物體，或由物件擷取模組所拍攝之影像中即時指定，並將影像中各物件分離，以達到前景擷取的效果，而所擷取出之前景，接下來則按合成資訊之內容交由合成模組與輸入之基底影像或3D模型進行合成，以即時產生合成影像，應用在連續影像上，更可產生合成影片或動畫之效果。

1‧‧‧第一物件擷取模組

2‧‧‧第二物件擷取模組

3‧‧‧第三物件擷取模組

4‧‧‧第四物件擷取模組

5‧‧‧第五物件擷取模組

6‧‧‧第六物件擷取模組

7‧‧‧輸入

8‧‧‧物件擷取模組

11‧‧‧景深感測器

12‧‧‧攝影機

13‧‧‧物件擷取單元

14‧‧‧物件切割單元

15‧‧‧輸入影像

19‧‧‧影像識別單元

20‧‧‧合成模組

21‧‧‧數位處理單元

22‧‧‧影像合成單元

30‧‧‧合成資訊

31‧‧‧定位標記

32‧‧‧定位資訊

40‧‧‧基底影像

50‧‧‧場景

51‧‧‧物件影像

52‧‧‧連接點資訊

60‧‧‧合成影像

70‧‧‧定位影像合成法之合成模組

72‧‧‧影像合成單元

73‧‧‧影像識別單元

80‧‧‧定位影像合成法之合成資訊

81‧‧‧定位影像資訊

92‧‧‧第三合成模組

93‧‧‧3D模型

94‧‧‧來源影像

95‧‧‧第三合成資訊

96‧‧‧來源影像3D物件

97‧‧‧合成後3D物件

99‧‧‧原點

321‧‧‧物件定位點

322‧‧‧位移

311‧‧‧定位標記大小

312‧‧‧標記定位點

313‧‧‧旋轉角度

811‧‧‧定位影像

812‧‧‧區域定位標記

813‧‧‧定位影像座標

921‧‧‧合成單元

922‧‧‧成圖單元

951‧‧‧一定位標記

952‧‧‧一定位資訊

8121‧‧‧定位標記大小

8122‧‧‧標記定位點

8123‧‧‧旋轉角度

9511‧‧‧標記定位點

9512‧‧‧標記大小

9513‧‧‧標記夾角

9521‧‧‧物件定位點

9522‧‧‧位移

【圖1】物件擷取模組之態樣及架構；【圖2】第一較佳實施例；【圖3】第一合成資訊內容；【圖4】定位標記之說明；【圖5】定位標記之旋轉角度；【圖6】位移之座標系統；【圖7】定位標記合成法之流程；【圖8】定位標記與基底影像之例示；【圖9】圖8之定位標記合成之結果；【圖10】定位標記與基底影像之關係另一例示；【圖11】圖10之定位標記合成之結果；【圖12】第二較佳實施例；【圖13】第二合成模組架構；【圖14】第二合成資訊之內容；【圖15】定位影像之說明；【圖16】區域定位標記之使用；【圖17】定位影像合成法之流程；【圖18】定位影像合成法之區域定位標記之應用；【圖19】應用圖15與圖18之定位合成之結果；【圖20】連續影像合成之說明；【圖21】影像任意部位之切割；【圖22】第三較佳實施例；【圖23】第三合成模組架構；【圖24】第三合成資訊之內容；【圖25】3D合成法之定位標記之應用；【圖26】3D合成法之合成過程；【圖27】3D合成法之流程；

圖1為本發明中影像輸入及切割方式之不同態樣，圖1(g)說明本發明中影像輸入及物件擷取的一個共通架構，輸入7可為一場景50或一輸入影像15，場景50為一包含物件以供拍攝合成時使用影像之場所，而輸入影像15為一影像，物件擷取模組8從輸入7中取得影像或拍攝輸入7之影像，再將該影像物件分離，並提供物件之物件影像51及連接點(Joint)資訊52，圖1(a)為第一物件擷取模組1，其輸入為一場景50，主要為將從場景50所拍攝之影像中各物件逐一分離，並提供分離各物件單獨影像及其連接點(Joint)資訊，包括一攝影機12、一景深感測器11及一物件擷取單元13，攝影機12用以拍攝場景50之影像，景深感測器11提供場景中各個位置之深度資訊，物件擷取單元13按照景深感測器11所提供之深度資訊將攝影機12所拍攝之影像進行物件分離並提供各部位之連接點資訊，如人體、動物或物件之骨架位置或連接點資訊，給後續之元件做為合成之使用。圖1(b)為第二物件擷取模組2，其輸入為一場景50，主要為將從場景50所拍攝之影像中各物件逐一分離，並提供分離各物件單獨影像及其連接點資訊，其包括一攝影機12及一前景擷取單元19，攝影機12負責拍攝場景50之影像，前景擷取單元19從攝影機12取得所拍攝影像並進行前景萃取以便將各物件分離，並提供各物件之連接點資訊給後續之元件做為合成之使用。圖1(c)為第三物件擷取模組3，其輸入為一輸入影像15，其本身為一前景擷取單元19，主要為從輸入影像15之影像中將各物件逐一分離，並提供分離各物件單獨影像及其連接點資訊給後續之元件做為合成之使用。圖1(d)為第四物件擷取模組4，主要在第一物件擷取模組1，再加上一物件切割單元14，將物件擷取單元13分離後之物件，按其連接點資訊，切割特定之部位，並提供切割後該特定部位之影像及連接點資訊以供後續合成之用。圖1(e)為第五物件擷取模組5，主要在第二物件擷取模組2，再加上一物件切割單元14，將前景擷取單元19分離後之物件，按其連接點資訊，切割特定之部位，並提供切割後該特定部位之影像及連接點資訊以供後續合成之用。圖1(f)為第六物件擷取模組6，主要在第三物件擷取模組3，再加上一物件切割單元14，將前景擷取單元19分離後之物件，按其連接點資訊，切割特定之部位，並提供切割後該特定部位之影像及連接點資訊以供後續合成之用。關於物件切割單元14，為求說明之連貫性，茲舉圖21一例以說明部份切割，但該例並非用來限制申請專利範圍。請參閱圖21，人體91為利用第一物件擷取模組6去背及分離後之單獨影像，欲單獨將其頭部911切割，首先取得欲取得部位之方向，亦即取得頭部所涵蓋之關節點之位置，本例中一為頭關節點9111，另一為肩膀中點9112，兩點所連成之直線為該部位之方向，即頭部方向9121，再取一通過相鄰邊界之關節點(肩膀中點9112)且垂直於該部位之方向(頭部方向9121)之直線為切割線9141，沿著該切割線9141將原圖切割為二部份，包含頭關節點9111之部份即為切割之部份影像，若該欲取得部份有多個相鄰部位，其與其它部位相鄰邊界之關節點按此方式逐一切割即可。再求出該部份影像之最小定界框(minimum bounding box)9131即可獲得精簡之切割影像。前述物件擷取模組8中所提及之分離物件，其物件意指所有可由輸入影像或拍攝影像中所分離而單獨存在之個體。

圖2為本發明之第一較佳實施例，包含一輸入7、一物件擷取模組8、一第一合成模組20、一第一合成資訊30及一基底影像40，基底影像40為影像合成之一基底圖，合成時其可視需要可在物件影像51之上層或下層，輸入7可為一場景50或一輸入影像15，物件擷取模組8主要由輸入7獲取影像或拍攝輸入7之影像，提供所獲取影像中各物件，經逐一分離後之物件影像51及其連接點資訊52。第一合成模組20，主要為將從物件擷取模組8由輸入7所擷取出之物件影像51中所用來合成之稱為來源影像94之影像、連接點資訊52及基底影像40，根據第一合成資訊30之內容以進行影像之合成。第一合成資訊30主要提供影像合成時必要之資訊，圖3說明第一合成資訊30之內容，其包含一定位標記31及一定位資訊32，定位標記31為一特殊記號，它提供位置、大小及旋轉角度以供影像合成時使用，圖4為一定位標記的較佳實施例，內部黑色實心部份為定位標記31，外圍包圍定位標記之最小矩形，亦即虛線部份，則為定位標記大小311，下方箭頭所指之位置為標記定位點312，為在定位標記上所選定之一點，該點與基底影像40之交點稱之為目標位置為供平移(Translation)來源影像94進行定位時在基底影像40上之定位點，該一位置再加上位移322即為影像合成時來源影像94之物件定位點321平移後之位置，圖5顯示出經過旋轉之定位標記，其上方之水平線經旋轉後與原來水平線之夾角，亦即雙箭頭所指之角度為定位標記旋轉角度313。而圖3中另一元素為定位資訊32，其包含了物件定位點321及位移322，物件定位點321為來源影像94與基底影像40合成時做為來源影像94上定位點之位置，例如，以右腳掌、右手指、左手中指指尖、及頭頂等為定位點，主要以第一物件擷取模組6所提供所擷取出之物件影像51各部位或各連接點之位置或以該些位置所推算出之其他位置為主，常見之連接點位置如頭部、頸部、肩膀、手肘、手腕、手掌、脊椎中心、腰部中點、臀部、膝蓋、腳腂及腳掌等部位，在未直接提供位置資訊之部份，可採用推算方式或插值法即可求得。位移322為定位資訊32所包含之另一個元素，它主要表示在合成時來源影像94之物件定位點321與目標位置相距之有向距離，在某些情況下，影像合成時，物件定位點321與目標位置不重合在一點時，可指定位移量，以方便定位，其為一二維之向量<x,y>，x代表物件定位點321與目標位置水平方向之方向與距離，y代表兩個點垂直方向之方向與距離，方向可以正負號表示，而距離則直接以數字表示。座標軸可採用一般直角坐標系或適合顯示裝置使用之螢幕座標等體系皆可，如圖6所示採用直角坐標系統，並以標記定位點為原點99，以形成一區域座標系統。當位移x及y都為0時表示兩點零位移，亦即合成時前景物件(來源影像94)之物件定位點321即擺放在目標位置上。易言之，合成影像中來源影像94之物件定位點321之位置等於(目標位置之座標+位移322)，當位移322等於零，則目標位置即為合成影像中物件定位點321之位置。當物件擷取模組8分離出多個物件，在影像合成進行前，先從物件擷取模組8所分離出之物件中選取至少一物件影像以做為與基底影像40合成之影像(即為來源影像94)，第一合成模組20如圖7之步驟進行影像合成，首先按照影像合成之需求決定定位標記31之位置、大小及旋轉角度及物件定位點321和位移322之值，並設定目標位置為標記定位點312與基底影像40之交點位置，同時選取至少一個來自物件擷取模組8所分離出之物件為來源影像94，步驟S101將來源影像94縮放至定位標記大小311或以保留縱橫比(Aspect Ratio)之方式來設定(其為只設定來源影像94中之長或寬中之一者為定位標記大小311相對應的長或寬之一者，再按所設定之該一長或寬中之一者以保持原來源影像94縱橫比之方式計算得出其另一邊)，接著步驟S102再將來源影像94按定位標記旋轉角度313旋轉，下一步步驟S103，再將來源影像94之物件定位點321平移至(目標位置之座標+位移322)之座標位置，亦即，假設目標位置之座標為<x1,y1>，位移322量為<x2,y2>，則平移的目標座標為<x1+x2,y1+y2>，最後步驟S104再將來源影像94之影像覆蓋在基底影像40上或將基底影像40覆蓋在來源影像94之影像上，完成後影像的內容即為合成之影像60，前述之座標系統，以<x1,y1>為例，x1表示x軸(水平軸)之位置，y1表示y軸(垂直軸)之位置。圖8為一加上定位標記31之基底影像40，定位標記31之標記定位點312指向基底影像40中山上的一點(該點為目標位置)，而物件定位點321則為即來源影像94之右腳掌，圖9為運用圖7之影像合成步驟後之合成影像，為從物件擷取模組8所擷取出之來源影像94，利用其物件定位點321貼齊於目標位置就完成影像之合成。圖10與圖8同為一加上定位標記31之基底影像40，其最大不同在於圖10之定位標記31旋轉了一個角度，而在合成時如圖11所示，其物件定位點321在右手指處，且物件影像51跟隨圖10中定位標記31之旋轉角度313旋轉，最後再與基底影像40合成，即可得到合成之影像。本實施例之物件擷取模組8可為圖1所示之第一物件擷取模組1、第二物件擷取模組2、第三物件擷取模組3、第四物件擷取模組4、第五物件擷取模組5及第六物件擷取模組6，當其為第一物件擷取模組1、第二物件擷取模組2、第四物件擷取模組4、第五物件擷取模組5時，其輸入7為場景50，而當其為第三物件擷取模組3及第六物件擷取模組6時，其輸入7為輸入影像15。關於物件定位點321在經影像縮放及旋轉後之位置，所屬技術領域中具有通常知識者，可藉由幾何轉換(Geometrical Transformations)中之縮放(Scaling)及旋轉(Rotation)來得出。

前述之定位標記主要是由使用者來標定其位置、大小、旋轉及位移等資訊，因此稱之為定位標記合成法，圖12為另一種影像合成之方法-定位影像合成法之一較佳實施例，包含一輸入7、一物件擷取模組8、一第二合成模組70、一第二合成資訊80及一基底影像40，基底影像40為影像合成之一基底圖，合成時其可視需要可在來源影像94之上層或下層；輸入7可為一場景50或一輸入影像15，物件擷取模組8主要由輸入7獲取影像或拍攝輸入7之影像，並提供所獲取影像中各物件，經逐一分離後之物件影像51及其連接點資訊52。第二合成模組70主要為將來源影像94、連接點資訊52及基底影像40，根據第二合成資訊80之內容以進行影像之合成，如圖13包含一影像識別單元73及一影像合成單元72，影像識別單元73主要為從基底影像40中辨識出定位影像811(如圖15虛線方框框住該女子手部部份)，並提供所辨識出定位影像811之影像定位點在基底影像40中之位置稱之為定位影像座標813，影像合成單元72，主要為將來源影像94及基底影像40按連接點資訊52、定位影像座標813及第二合成資訊80之內容以進行影像之合成。第二合成資訊80主要提供影像合成時必要之資訊，圖14為第二合成資訊80的內容，其主要包含一定位影像資訊81及一定位資訊32，定位資訊32與圖3中之定位資訊32為相同之元件，定位資訊32，其包含了物件定位點321及位移322，物件定位點321為來源影像94與基底影像40合成時做為來源影像94上定位點之位置，例如，以右腳掌、右手指、左手中指指尖、及頭頂等為定位點，主要以第一物件擷取模組6所提供所擷取出之物件影像51各部位或各連接點之位置或以該些位置所推算出之其他位置為主，常見之連接點位置如頭部、頸部、肩膀、手肘、手腕、手掌、脊椎中心、腰部中點、臀部、膝蓋、腳腂及腳掌等部位，在未直接提供位置資訊之部份，可採用推算方式或插值法即可求得。位移322為定位資訊32所包含之另一個元素，它主要表示在合成時來源影像94之物件定位點321與區域目標位置相距之有向距離，在某些情況下，影像合成時，物件定位點321與區域目標位置不重合在一點時，可指定位移量，以方便定位，其為一二維之向量<x,y>，x代表物件定位點321與區域目標位置水平方向之方向與距離，y代表兩個點垂直方向之方向與距離，方向可以正負號表示，而距離則直接以數字表示。而定位影像資訊81包含一定位影像811及一區域定位標記812，如前述定位影像811主要提供給影像識別單元73以從基底影像40中辨識出該一定位影像811中之位置，以便提供定位影像座標813為後續合成之使用，區域定位標記812與定位標記31相似，惟一不同點在於，前者為區域性，亦即其座標之標示方式以定位影像811為參考，其位置為相對於定位影像811之特定位置(一般為左上角；或為定位影像座標813)的座標差值，而後者為全域性，其座標則以基底影像40為參考，一般是從基底影像之左上角定為<0,0>之座標。對於合成之基底影像為影片或動畫連續影像中之影格，其兩相鄰影格中相同之物件在兩影格之全域位置大都是不相同，若使用定位標記合成法，每一影格均需分別標定定位標記，相當不便，利用區域定位標記812的概念，只要在合成之最前影格標定區域定位標記812，在後續之影格中不管其物件(定位影像811)在不同影格中之位置，以相對於定位影像811來計算座標之區域定位標記812之位置不會改變，因此使影像合成之工作更加快速便利。區域定位標記812包含一區域定位標記大小8121、區域標記定位點8122及區域定位標記旋轉角度8123，區域定位標記大小8121代表影像合成時來源影像94之大小，區域定位標記旋轉角度8123代表影像合成時來源影像94之旋轉角度，區域標記定位點8122與基底影像40之交點為供平移來源影像94進行定位時在基底影像40上之定位點，係以相對於定位影像座標813之座標值，該一交點之相對於定位影像座標813之座標值稱為區域目標位置，該一位置加上定位影像座標813再加上位移322即為來源影像94之物件定位點321平移後之位置。要將圖2中右邊之物件影像51(亦即來源影像94)與圖15之基底影像40合成，合成時希望來源影像94站立在圖15中之女子右手掌上，且來源影像94之物件定位點321設定在右腳掌上，因此圖中虛線方框框住該女子部份之區域為定位影像811，而虛線框的左上角位置即為定位影像座標813。圖16(a)為圖15中虛線方框部份之影像，亦即定位影像811，圖16(b)為一區域定位標記812與區域定位標記大小8121，圖16(c)為加上區域定位標記812之定位影像811，其中區域定位標記812下方尖銳處為區域標記定位點8122，圖16(d)為區域定位標記812之旋轉角度8123，假設區域目標位置為<Lx,Ly>，經影像識別後得出定位影像811在基底影像40中之位置亦即定位影像座標813為<Bx,By>(一般為其左上角位置)，則其全域標記定位點312之座標為<Lx+Bx,Ly+By>，如前述，考慮包含位移之元素，則合成影像中來源影像94之物件定位點321位置等於(全域標記定位點312之座標+位移322)，而定位影像合成法中所稱之全域標記定位點312與定位標記合成法中之標記定位點312是相同的。當物件擷取模組8分離出物件，在影像合成進行前，先從該些所分離出之物件中選取所欲使用與基底影像合成之影像以做為來源影像94，並按照影像合成之需求決定區域定位標記812之位置、大小、旋轉角度及物件定位點321和位移322之值，且按區域標記定位點8122與基底影像40之交點，設定區域目標位置，圖17為定位影像合成法中影像合成單元72進行影像合成之步驟，步驟S201將來源影像94縮放至區域定位標記大小8121或以保持原來源影像94縱橫比之方式來設定(其為只設定來源影像94中之長或寬中之一者為區域定位標記大小8121相對應的長或寬之一者，其另一邊再按所設定之該一長或寬之一者與原來源影像94之縱橫比計算得出)，接著步驟S202再將來源影像94按區域定位標記之旋轉角度8123旋轉，步驟S203令影像識別單元73從基底影像40中辨識出定位影像，並找出定位影像座標813，接著步驟S204則計算全域標記定位點312之位置=(區域目標位置+定位影像座標813)，步驟S205將來源影像94之物件定位點321平移至全域標記定位點312座標+位移322之座標位置，亦即，假設全域標記定位點312之座標為<x1,y1>，位移322量為<x2,y2>，則平移的目標座標為<x1+x2,y1+y2>，最後為步驟S206再將來源影像94之影像覆蓋在基底影像40上或將基底影像40覆蓋在來源影像94之影像上，完成後的內容即為合成之影像60。圖18為以圖15為基礎，加入區域定位標記812之情形，圖19為根據圖17之合成流程所合成產出之影像，圖20與圖19為一系列動畫或影片之相鄰影格，在連續影像之影片或動畫上，相鄰影格之合成不須像定位標記合成法須每一影格皆指定定位標記，其定位之方法為按定位影像在不同之影格中的位置來決定，因此，圖20之定位只按照如圖18其前面之影格所設定之定位標記即可，毋需再重覆一次設定定位影像，因此，對於連續影像之合成，使用定位影像合成法較為方便。本實施例之物件擷取模組8可為圖1所示之第一物件擷取模組1、第二物件擷取模組2、第三物件擷取模組3、第四物件擷取模組4、第五物件擷取模組5及第六物件擷取模組6，當其為第一物件擷取模組1、第二物件擷取模組2、第四物件擷取模組4、第五物件擷取模組5時，其輸入7為場景50，而當其為第三物件擷取模組3及第六物件擷取模組6時，其輸入7為輸入影像15。

另一種稱為3D合成法之合成方式為將從物件擷取模組8中所擷取出用來合成之物件影像51或經物件切割單元14切割後之部位之稱為來源影像94之影像，轉化為3D之物件再與另一3D模型合併，經3D成圖器(Renderer)成圖後產生之圖像成為兩物件之合成影像。圖22為以前述實踐想法之第三較佳實施例，包含一輸入7、一物件擷取模組8、一第三合成模組92、一第三合成資訊95及一3D模型93；輸入7可為一場景50或一輸入影像15，物件擷取模組8主要由輸入7獲取影像或拍攝輸入7之影像，提供所獲取影像中各物件，經逐一分離後之物件影像51及其連接點資訊52；請參看圖23，第三合成模組92包含一合成單元921及一3D成圖單元(Rendering Unit)922，合成單元921，主要為接收從物件擷取模組8所分離出物件中所用來合成之稱為來源影像94之影像，並將該影像轉成一稱為來源影像3D物件96之3D物件(轉成3D物件之方法，詳述於後)，並按第三合成資訊95之資訊與3D模型93進行3D模型之合成，成圖單元922負責將經合成單元921合成後之模型進行成圖。而第三合成資訊95與第一合成資訊30觀念相似，主要提供影像合成時必要之資訊，其主要不同在於第三合成資訊95為包含了可在三維場景中使用之資訊，如圖24包含一定位標記951與一定位資訊952，定位標記951本身包含一標記定位點9511、一標記大小9512及一標記夾角9513三個元素，標記定位點9511為在標記上選定之一點，該點與3D模型之交點為一稱為目標位置之作為合成時平移來源影像3D物件96時在3D模型93上之定位點，在位移9522為0之情形下該位置為來源影像3D物件96在合成時其物件定位點9521平移後之位置，標記大小9512作為來源影像3D物件96合成時之大小，其與圖4相似為以包圍定位標記951之最小矩形為其大小，標記夾角9513為定位標記與三座標軸之旋轉角度，可以用四元數(Quaternions)來表示，作為來源影像94之旋轉角度，定位資訊952包含一物件定位點9521及一位移9522，物件定位點9521用以指定來源影像3D物件96在進行3D模型合成時之定位點，例如，以右腳掌、右手指、左手中指指尖、及頭頂等為定位點，主要以來源影像94或來源影像3D物件96所呈現之影像各部位或各連接點之位置52或以該些位置所推算出之其他位置為主，常見之連接點位置如頭部、頸部、肩膀、手肘、手腕、手掌、脊椎中心、腰部中點、臀部、膝蓋、腳腂及腳掌等部位，在未直接提供位置資訊之部份，可採用推算方式或插值法即可求得。位移9522主要表示在合成時來源影像3D物件96之物件定位點9521與目標位置相距之包含方向與距離之有向距離，在某些情況下，影像合成時，物件定位點9521與標記定位點9511不重合在一點時，可指定位移量，以方便定位，其為一三維之向量<x,y,z>，x代表物件定位點9521與標記定位點9 5 1 1在x軸方向之方向與距離，y代表兩個點在y軸方向之方向與距離，z代表兩個點在z軸方向之方向與距離，方向可以正負號表示，而距離則直接以數字表示。3D模型93為用來與來源影像94合成之3D模型。圖25為以不同視角觀看在3D模型93設置定位標記951之狀況，圖25(a)為前視圖，圖25(b)為上視圖，結合兩視角圖可以讓我們看到定位標記951在空間中之環境週遭，以本圖例而言，其來源影像會是一顆頭，因此其標記定位點9511與3D模型之交點(目標位置)在脖子處，也就是來源影像3D物件96與3D模型93之接合處在該一目標位置處，圖26說明3D模型93與來源影像94合成的原理，在合成開始前先取得標記定位點9511與3D模型之交點，將目標位置之座標設定為該一交點之座標，其左上角為將來源影像94轉為3D物件之做法，首先建立一個可呈現平面影像之3D物件，如Cube、Plane、Cylinder、Cone、Capsule或Sphere等或其他可顯示平面影像之3D物件，並設定其為一透明物件，在某些特定系統為設定其著色器(Shader)為透明，然後將該3D物件之顯示來源影像94之平面縮放成標記大小9512(亦可以保留縱橫比之方式來設定，其為只設定該3D物件中之顯示來源影像94之平面的長或寬中之一者為標記大小9512相對應的長或寬之一者，其另一邊再按來源影像94之縱橫比計算得出)，並將該3D物件之平面上呈現出來源影像94以變成一來源影像3D物件96，其中一種做法為以貼圖(Texture)方式將來源影像94貼在該3D物件上，然後將其旋轉標記夾角9513之角度(本例標記夾角9513為0未有任何旋轉動作)，接著將用來合成之3D模型93，與該來源影像3D物件96合成，其做法為將來源影像3D物件96平移使其物件定位點9521(本例指定其下巴下緣物件定位點)移至(目標位置+位移9522)之位置(本例位移9522為<0,0,0>)，當無位移時也就是使來源影像3D物件96之物件定位點9521與標記定位點9511重合，然後形成一個合成後3D物件97，再將該合成後3D物件97交給3D成圖單元9 2 2進行成圖即可產出合成影像60。前述之3D合成步驟彙整如圖27之流程圖，首先按照影像合成之需求決定標記定位點9511、標記大小9512、標記夾角9513、物件定位點9521和位移9522，並設定目標位置為標記定位點9511與3D模型93之交點位置，再選取至少一個來自物件擷取模組8所分離出之物件為來源影像94，接著步驟S310為建立一個可顯示平面影像之3D物件，設定其為一透明物件，將其顯示平面影像之平面大小縮放成與定位標記之標記大小9512相同或以保持原來源影像94縱橫比之方式來設定(其為只設定該一3D物件之顯示平面影像之平面中之長或寬中之一者為標記大小9512相對應的長或寬之一者，再按所設定之該一長或寬中之一者以來源影像94縱橫比為該一平面之縱橫比，計算得出其另一邊)，然後步驟S320，在該3D物件之平面上呈現來源影像94以轉化為一來源影像3D物件96，步驟S330為將該來源影像3D物件96按標記夾角9513之角度旋轉，下一步步驟S340，將來源影像3D物件96平移使其上之物件定位點9521移至(目標位置+位移9522)之位置與3D模型93進行合成，完成後即成為一合成後3D物件97，最後步驟S350，將該合成後3D物件97交給3D成圖單元922進行成圖以產出合成影像60。本實施例之物件擷取模組8可為圖1所示之第一物件擷取模組1、第二物件擷取模組2、第三物件擷取模組3、第四物件擷取模組4、第五物件擷取模組5及第六物件擷取模組6，當其為第一物件擷取模組1、第二物件擷取模組2、第四物件擷取模組4、第五物件擷取模組5時，其輸入7為場景50，而當其為第三物件擷取模組3及第六物件擷取模組6時，其輸入7為輸入影像15。圖26中來源影像94與來源影像3D物件96中之物件定位點9521，主要為了便於說明而加上，實際成圖並不會出現該物件定位點9521。標記夾角9513除了以前述之定位標記951之旋轉角度來決定外，亦可以從第二物件擷取模組7取得物件影像51之3D骨架資訊(一般深度資訊可提供場景物件之2D與3D之骨架資訊)，再計算來源影像94之夾角，以該一夾角取代原來之標記夾角9513，可使合成影像更加逼真。而原來來源影像94上之物件定位點9521與來源影像3D物件96所顯示之來源影像94之物件定位點9521之對應，其做法之一，也是較為簡便的一種做法，首先以比例方式計算來源影像94物件定位點9521之位置，再以該比例得出該一位置對應至來源影像3D物件96區域座標(Local Coordinate)，最後再將該一區域座標轉成全域座標(Global Coordinate)，惟須注意，本例僅為說明方便之用，並非用來限制申請專利範圍。

而定位標記合成法其優點為簡單、易用，但若合成之基底影像為影片或動畫之連續影像，則需每一影格(Frame)都標定定位標記，比較不便，因此對於使用定位標記合成法於連續影像，可以利用插值法(Interpolation)來簡化需逐格定位標記之標定，假設f1,f2,f3,...,fn為一系列影片或動畫之連續影像，為簡化標記定位點之標定，我們只標定其中f1及fn兩影格之標記定位點位置分別為<x_f1,y_f1>,<x_fn,y_fn>，其中x_f1表示f1影格之標記定位點x軸(水平軸)位置，y_f1為f1影格標記定位點y軸(垂直軸)位置，x_fn表示fn影格標記定位點x軸(水平軸)位置，y_fn為fn影格標記定位點y軸(垂直軸)位置，則f1及fn兩影格間任一影格fi之標記定位點之位置以線性插值法(Linear Interpolation)為例(尚有他種插值法，所屬技術領域中具有通常知識者，可根據本範例而自行更替)：Mark(i)=<x_fi,y_fi>，x_fi=x_f1+(i-1)*((x_fn-x_f1)/(n-1))，y_fi=y_f1+(i-1)*((y_fn-y_f1)/(n-1))，其中Mark(i)表示fi影格中標記定位點之位置，x_fi為fi影格之標記定位點x軸(水平軸)位置，y_fi為fi影格標記定位點y軸(垂直軸)位置。除了標記定位點位置外，定位標記大小311定位標記旋轉角度313皆可利用前述之插值法，以簡化合成之步驟。Size(i)=<sx_fi,sy_fi>，sx_fi=sx_f1+(i-1)*((sx_fn-sx_f1)/(n-1))，sy_fi=sy_f1+(i-1)*((sy_fn-sy_f1)/(n-1))，其中Size(i)表示fi影格中標記定位點之大小，sx_fi為fi影格之標記定位點x軸(水平軸)之大小，sy_fi為fi影格標記定位點y軸(垂直軸)之大小。而Rotation(i)=r_f1+(i-1)*((r_fn-r_f1)/(n-1))，其中Rotation(i)表示fi影格中標記定位點之旋轉角度，r_f1為影格1之標記定位點旋轉角度，r_fn為影格n之標記定位點旋轉角度。而這一插值法亦適用在定位影像合成法之區域定位標記中之位置、大小及旋轉角度在不同影格值的計算。與圖7未使用插值法之合成法不同主要在於定位標記31之定位標記大小311、標記定位點312及旋轉角度313是根據第一影格(f1)及最後影格(fn)定位標記31之定位標記大小311、標記定位點312及旋轉角度313的值，利用插值法而求得。與圖17未使用插值法之合成法不同主要在於區域定位標記812之定位標記大小8121、標記定位點8122及旋轉角度8123是根據第一影格(f1)及最後影格(fn)區域定位標記812之定位標記大小8121、標記定位點8122及旋轉角度8123的值，利用插值法而求得。而物件定位點321和位移322之值亦可利用插值法得出，以簡化影像合成之工作。前述之第一影格(f1)及最後影格(fn)係指在一系列影格中兩個有給定合成資訊30(當使用定位標記合成法)，或合成資訊80(當使用定位影像合成法)之不同時間點之影格，且f1~fn中除了f1及fn兩影格外，其他影格均未給定第一合成資訊30(當使用定位標記合成法)，或第二合成資訊80(當使用定位影像合成法)。

定位標記31或區域定位標記812圖形並不以前述之說明或圖示為限，根據本發明揭露之定位標記基本精神，可以在不同之需求下，定義最佳之定位標記圖形。如物件影像51欲定位之區域在左上角，亦可將標記定位點312定義在左上角的頂點，以方便定位。此外，物件之各部位位置可由連接點資訊獲取或由其推算而得，某些較大範圍之部位，可設定一代表位置，如手掌可設定手掌之中心點為其代表位置。不論是定位標記合成法或定位影像合成法其定位資訊32中的物件定位點321，由於可指定物件影像51特定位置來定位，因此，定位過程更方便，合成的結果也更加完美，尤其，對於動畫或影片之連續影像之合成，一般習知技術並無物件定位點321，因此其定位對齊方式，通常以左上角為定位點，但由於其為連續影像，因此人物皆為動態的，前一影格之物件影像51與下一影格之物件影像51，不論在大小、位置及姿態常常是不相同的，因此只以左上角一點來定位其所得出之合成影像，通常其位置是錯置的，而解決的方法為利用物件定位點321，指定影像物件之特定部位來定位，才不會受到連續影像的動態性而影響其合成之對齊位置。而另一方面，定位影像合成法使用定位影像811，其定位方式以指定基底圖形之一部份為定位參考影像，而不以指定位置方式來定位，在合成過程中更為簡便，尤其，對於動畫或影片之連續影像之合成，同一物件在不同影格之位置通常是不同的，若使用像習知技術之物體定位器(subject locator)位置是固定的，亦即其在每一影格之位置都是相同的，則在後續影格中，由於其基底影像中物件位置之改變，會造成欲合成之物件影像51錯置，影響影像合成之效果。而使用定位影像恰可解決此一問題，因定位影像是以基底影像中之部份影像為定位之參考，因此不論同一物件在不同影格中的什麼位置，只要使用定位影像就能找出其在每一影格之正確位置，因此，其全域標記定位點312會隨著物件在不同影格中的位置而改變，也就是正確之合成位置。圖2、圖12及圖22之實施例可再增加一處理器以協調及控制各元件之動作並與物件擷取模組8及第一合成模組20、第二合成模組70或第三合成模組92三者中之一電性連接、一記憶體與該一處理器電性連接，用以儲存資料。

8‧‧‧物件擷取模組

7‧‧‧輸入

20‧‧‧第一合成模組

30‧‧‧第一合成資訊

40‧‧‧基底影像

50‧‧‧場景

60‧‧‧合成影像

Claims

一種即時影像合成之裝置，係包括一輸入7、一物件擷取模組8、一第一合成模組20、一第一合成資訊30及一基底影像40，基底影像40為影像合成之一基底圖；輸入7可為一場景50或一輸入影像15，場景50為一包含物件以供拍攝合成時使用影像之場所，輸入影像15為一影像；物件擷取模組8主要由輸入7獲取影像或拍攝輸入7之影像，提供所獲取影像中各物件經逐一分離後之物件影像51及其連接點資訊52；第一合成模組20，主要為將從物件擷取模組8所擷取出之物件影像51中所用來合成之稱為來源影像94之影像、連接點資訊52及基底影像40，根據第一合成資訊30之內容以進行影像之合成；第一合成資訊30提供合成所需之資訊，包含一定位標記31及一定位資訊32，定位標記31為一特殊記號，包括一標記定位點312及一定位標記大小311，定位標記大小311，為定位標記圖形之大小，做為來源影像94合成時之大小，標記定位點312，為在定位標記上所選定之一特定點，其與基底影像40之交點，為供合成時平移來源影像94進行定位時在基底影像40上之定位點；定位資訊32，其包含物件定位點321及位移322，物件定位點321做為來源影像94與基底影像40合成時，來源影像94上之定位點；位移322為表示在合成時來源影像94之物件定位點321與目標位置相距之包含方向與距離之有向距離；物件擷取模組8可為第一物件擷取模組1、第二物件擷取模組2、第三物件擷取模組3、第四物件擷取模組4、第五物件擷取模組5及第六物件擷取模組6中之一，當其為第一物件擷取模組1、第二物件擷取模組2、第四物件擷取模組4、第五物件擷取模組5時，其輸入7為一場景50，而當其為第三物件擷取模組3及第六物件擷取模組6時，其輸入7為一輸入影像15。
一種即時影像合成之裝置，係包括一輸入7、一物件擷取模組8、一第二合成模組70、一第二合成資訊80及一基底影像40，基底影像40為影像合成之一基底圖；輸入7可為一場景50或一輸入影像15，場景50為一包含物件以供拍攝合成時使用影像之場所，輸入影像15為一影像；物件擷取模組8主要由輸入7獲取影像或拍攝輸入7之影像，提供所獲取影像中各物件經逐一分離後之物件影像51及其連接點資訊52：第二合成模組70主要為將從物件擷取模組8 所分離出之物件影像51中所用來合成之稱為來源影像94之影像、連接點資訊52及基底影像40，根據第二合成資訊80之內容以進行影像之合成，其包含一影像識別單元73及一影像合成單元72，影像識別單元73主要為從基底影像40中辨識出定位影像811，並提供所辨識出稱為定位影像座標813之定位影像811在基底影像40中之位置；影像合成單元72，主要為將來源影像94及基底影像40按連接點資訊52、定位影像座標813及第二合成資訊80之內容以進行影像之合成；第二合成資訊80，其包含一定位影像資訊81及一定位資訊32，而定位影像資訊81包含一定位影像811及一區域定位標記812，定位影像811主要讓影像識別單元73從基底影像40中辨識出該一定位影像811之位置；區域定位標記812包含一區域定位標記大小8121及區域標記定位點8122，區域定位標記大小8121做為代表影像合成時來源影像94之大小，區域標記定位點8122為區域定位標記上之一點，其與基底影像40之交點為一稱為區域目標位置之供合成時平移來源影像94進行定位時在基底影像40上之定位點，其係以相對於定位影像座標813之座標值定之；定位資訊32，其包含物件定位點321及位移322，物件定位點321做為來源影像94與基底影像40合成時，來源影像94上之定位點；位移322為表示在合成時來源影像94之物件定位點321與區域目標位置相距之包含方向與距離之有向距離；物件擷取模組8可為第一物件擷取模組1、第二物件擷取模組2、第三物件擷取模組3、第四物件擷取模組4、第五物件擷取模組5及第六物件擷取模組6中之一，當其為第一物件擷取模組1、第二物件擷取模組2、第四物件擷取模組4、第五物件擷取模組5時，其輸入7為一場景50，而當其為第三物件擷取模組3及第六物件擷取模組6時，其輸入7為一輸入影像15。
一種即時影像合成之裝置，係包括一輸入7、一物件擷取模組8、一第三合成模組92、一第三合成資訊95及一3D模型93；輸入7可為一場景50或一輸入影像15，場景50為一包含物件以供拍攝合成時使用影像之場所，輸入影像15為一影像；物件擷取模組8主要由輸入7獲取影像或拍攝輸入7之影像，並提供所獲取影像中各物件經逐一分離後之物件影像51及其連接點資訊52；第三合成模組92包含一合成單元921及一3D成圖單元922，合成單元921，主要為接收從物件擷取模組8所分離出物件中用來合成之稱為來源影像94之影像，再建立一可呈現來源影像94之稱為來源影像3D物件96之3D物件且將來源影像94呈現在該來源影像3D物件96之平面上，並按第三合成資訊95與3D模型93進行3D模型之合成；成圖單元922負責將合成後之模型進行成圖；第三合成資訊95包括一定位標記951與一定位資訊952，定位標記951包含一標記定位點9511及一標記大小9512，標記定位點9511為在定位標記上之一點，該點與3D模型之交點為一稱為目標位置之作為合成時平移來源影像3D物件96之定位點，標記大小9512作為來源影像3D物件96合成時之大小；定位資訊952包含一物件定位點9521及一位移9522，物件定位點9521為來源影像3D物件96在進行3D模型合成時之定位點；位移9522主要表示在合成時來源影像3D物件96之物件定位點9521與目標位置相距之包含方向與距離之有向距離；3D模型93為一用來與來源影像94合成之模型；物件擷取模組8可為第一物件擷取模組1、第二物件擷取模組2、第三物件擷取模組3、第四物件擷取模組4、第五物件擷取模組5及第六物件擷取模組6中之一，當其為第一物件擷取模組1、第二物件擷取模組2、第四物件擷取模組4、第五物件擷取模組5時，其輸入7為一場景50，而當其為第三物件擷取模組3及第六物件擷取模組6時，其輸入7為一輸入影像15。
一種即時影像合成之方法，包括下列步驟：步驟1，設定目標位置為標記定位點312與基底影像40之交點位置；步驟2，選取一來自物件擷取模組8所分離出之物件為來源影像94；步驟3，將來源影像94之物件定位點321平移至(目標位置+位移322)之座標位置；步驟4，將來源影像94之影像覆蓋在基底影像40上或將基底影像40覆蓋在來源影像94之影像上，完成後影像的內容即為合成之影像60；物件擷取模組8可為第一物件擷取模組1、第二物件擷取模組2、第三物件擷取模組3、第四物件擷取模組4、第五物件擷取模組5及第六物件擷取模組6中之一。
一種即時影像合成之方法，包括下列步驟：步驟1，將區域目標位置設為區域標記定位點8122與基底影像40之交點；步驟2，選取至少一個來自物件擷取模組8所分離出之物件為來源影像94；步驟3，利用影像識別單元73從基底影像40中辨識出定位影像811，並得出其位置，該一位置即為定位影像座標813；步驟4，計算全域標記定位點312之位置=區域目標位置+定位影像座標813；步驟5，將來源影像94之物件定位點321平移至全域標記定位點312座標+位移322之座標位置；步驟6，再將來源影像94之影像覆蓋在基底影像40上或將基底影像40覆蓋在來源影像94之影像上，完成後的內容即為合成之影像60；物件擷取模組8可為第一物件擷取模組1、第二物件擷取模組2、第三物件擷取模組3、第四物件擷取模組4、第五物件擷取模組5及第六物件擷取模組6中之一。
一種即時影像合成之方法，包括下列步驟：步驟1，設定目標位置為標記定位點9511與3D模型93之交點位置；步驟2，建立一個可呈現平面影像之3D物件；步驟3，在該3D物件之平面上呈現來源影像94，該一3D物件即為一來源影像3D物件96；步驟4，將來源影像3D物件96平移使其物件定位點9521移至(目標位置+位移9522)之位置以進行與3D模型93之合成，完成後即形成一合成後3D物件97；物件擷取模組8可為第一物件擷取模組1、第二物件擷取模組2、第三物件擷取模組3、第四物件擷取模組4、第五物件擷取模組5及第六物件擷取模組6中之一。
一種即時影像合成之電腦程式產品，包括下列步驟：步驟1，設定目標位置為標記定位點312與基底影像40之交點位置；步驟2，選取一來自物件擷取模組8所分離出之物件為來源影像94；步驟3，將來源影像94縮放至定位標記大小311或以保持原來源影像94縱橫比之方式設定之；步驟4，將來源影像94之物件定位點321平移至(目標位置+位移322)之座標位置；步驟5，再將來源影像94之影像覆蓋在基底影像40上或將基底影像40覆蓋在來源影像94之影像上，完成後影像的內容即為合成之影像60；物件擷取模組8可為第一物件擷取模組1、第二物件擷取模組2、第三物件擷取模組3、第四物件擷取模組4、第五物件擷取模組5及第六物件擷取模組6中之一。
一種即時影像合成之電腦程式產品，包括下列步驟：步驟1，將區域目標位置設為區域標記定位點8122與基底影像40之交點；步驟2，選取至少一個來自物件擷取模組8所分離出之物件為來源影像94；步驟3，將來源影像94縮放至區域定位標記大小8121或以保持原來源影像94縱橫比之方式設定之；步驟4，利用影像識別單元73從基底影像40中辨識出定位影像811，並得出其位置，該一位置為定位影像座標813；步驟5，計算全域標記定位點312之位置=區域目標位置+定位影像座標813；步驟6，將來源影像94之物件定位點321平移至全域標記定位點312座標+位移322之座標位置；步驟7，再將來源影像94之影像覆蓋在基底影像40上或將基底影像40覆蓋在來源影像94之影像上，完成後的內容即為合成之影像60；物件擷取模組8可為第一物件擷取模組1、第二物件擷取模組2、第三物件擷取模組3、第四物件擷取模組4、第五物件擷取模組5及第六物件擷取模組6中之一。
一種即時影像合成之電腦程式產品，包括下列步驟：步驟1，設定目標位置為標記定位點9511與3D模型93之交點位置；步驟2，將其呈現平面影像之平面大小縮放成與定位標記之標記大小9512相同或以保持原來源影像94縱橫比之方式設定之；步驟3，為建立一個可呈現平面影像之3D物件；步驟4，在該3D物件之平面上呈現來源影像94，該一3D物件即為一來源影像3D物件96；步驟5，將來源影像3D物件96平移使其物件定位點9521移至(目標位置+位移9522)之位置以進行與3D模型93之合成，完成後即形成一合成後3D物件97；物件擷取模組8可為第一物件擷取模組1、第二物件擷取模組2、第三物件擷取模組3、第四物件擷取模組4、第五物件擷取模組5及第六物件擷取模組6中之一。
如申請專利範圍第1、第2或第3項所述之即時影像合成之裝置，其中第一物件擷取模組1，其輸入為一場景50，主要為將從場景50所拍攝之影像中各物件逐一分離，並提供分離各物件單獨影像及其連接點資訊，包括一攝影機12、一景深感測器11及一物件擷取單元13，攝影機12用以拍攝場景50之影像，景深感測器11提供場景中各個位置之深度資訊，物件擷取單元13按照景深感測器11所提供之深度資訊將攝影機12所拍攝之影像進行物件分離並提供各部位之連接點資訊；第二物件擷取模組2，其輸入為一場景50，主要為將從場景50所拍攝之影像中各物件逐一分離，並提供分離各物件單獨影像及其連接點資訊，其包括一攝影機12及一前景擷取單元19，攝影機12負責拍攝場景50之影像，前景擷取單元19從攝影機12取得所拍攝影像並進行前景萃取以便將各物件分離，並提供各物件之連接點資訊給後續之元件做為合成之使用；第三物件擷取模組3，其輸入為一輸入影像15，其本身為一前景擷取單元19，主要為從輸入影像15之影像中將各物件逐一分離，並提供分離各物件單獨影像及其連接點資訊給後續之元件做為合成之使用；為第四物件擷取模組4，主要在第一物件擷取模組1，再加上一物件切割單元14，將物件擷取單元13分離後之物件，按其連接點資訊，切割特定之部位，並提供切割後該特定部位之影像及連接點資訊以供後續合成之用；第五物件擷取模組5，主要在第二物件擷取模組2，再加上一物件切割單元14，將前景擷取單元19分離後之物件，按其連接點資訊，切割特定之部位，並提供切割後該特定部位之影像及連接點資訊以供後續合成之用；第六物件擷取模組6，主要在第三物件擷取模組3，再加上一物件切割單元14，將前景擷取單元19分離後之物件，按其連接點資訊，切割特定之部位，並提供切割後該特定部位之影像及連接點資訊以供後續合成之用。