TWI501193B

TWI501193B - Computer graphics using AR technology. Image processing systems and methods

Info

Publication number: TWI501193B
Application number: TW101142213A
Authority: TW
Inventors: Kazuhiko Ito
Original assignee: Micronet Co Ltd
Priority date: 2012-02-22
Filing date: 2012-11-13
Publication date: 2015-09-21
Also published as: WO2013125098A1; JP5847610B2; TW201335884A; JP2013171522A

Description

使用AR技術之電腦圖形．影像處理系統以及方法

本發明係有關於利用擴充實境感(AR)的電腦圖形影像處理系統及方法。

近年來在各種領域中，藉由影像辨識技術而導入擴充實境感(AR)的CG(電腦圖形)演出係被進行著。作為既存的影像辨識型AR技術，例如有使用如圖21所示之特定形狀與標示有特徵點群的AR標記101者。

一般的AR技術，基本上是圖22所示的處理內容。亦即，STEP1、STEP2中藉由網路攝影機或數位視訊攝影機這類攝影機103來拍攝含有AR標記101的場景而取得攝影機畫框105，在STEP3中進行攝影機畫框105內的AR標記像101之位置偵測或空間性影像辨識，在STEP4中隨著AR標記像101的位置、姿勢、尺度而在其上將事前建立好對應的CG物件107，以同姿勢、尺度而加以合成並顯示。

在此種進行AR處理的電腦視覺中，一般是使用針孔攝影機模型來做近似。針孔攝影機模型中的思考方式係為，抵達影像平面的光係全部通過1點的焦點亦即針孔，在與影像平面交叉的位置成像。此種投影係被稱作中心投影。

如圖23所示，在針孔攝影機模型中，令光軸111與影像平面113的交點為原點O1，配合攝影機103的攝像元件配置方向而在影像平面113上取x軸與y軸的座標系，稱作影像座標系。

又，將針孔O2視為攝影機103的中心，以光軸111之方向為Z軸，令X軸與Y軸平行於影像座標系之x軸與y軸的座標系，稱作攝影機座標系。

又，實際攝影的數位影像係透過鏡頭或電腦之補正等而被記錄的影像，會因為攝影機103的機械特性或鏡頭扭曲、攝像元件之特性等，使得影像的原點或像素的長寬比等會和實際的(x,y,z)影像座標系的長寬比等不一致。於是，在數位影像中，設定以座標原點為左上，以右方為u軸、上下方向為v軸的座標系，稱之為數位影像座標系。

此處，在三維空間中取任意的世界座標系，考慮存在於該空間中的攝影機座標(X,Y,Z)系往數位影像座標(u,v,w)系的中心投影的情況下，一般而言係使用3×4的投影轉換矩陣P，而可表現成：[數1]m =PM 此處，[數2]M =[X,Y,Z,1]^T 係為空間上的任意座標的齊次座標表現；[數3]m =[u,v,w]^T 係為影像平面之座標的齊次座標表現。

此種投影轉換矩陣P，係可藉由攝影機的內部參數矩陣A與旋轉矩陣R、及平移向量t，而決定成：[數4]P =A [R |t ]旋轉矩陣R係為3×3矩陣，[R|t]係為齊次座標系，是被表現成3×4矩陣。

如此，求出攝影機103的內部參數矩陣A與旋轉矩陣R及平移向量t，稱作攝影機內部參數推定或攝影機校正。一般而言，為了決定攝影機103的內部參數A與外部參數[R|t]，改變角度來拍攝如圖24所示的攝影機校正用的圖案例P1,P2，藉由從複數影像所得之相關關係而求出方程式的解，決定攝影機參數。其中會利用Zang的手法。此手法係在下記的非專利文獻1中有被說明。

利用如此所得到的攝影機參數，從圖22所示之攝影機103所拍攝到的數位影像105，藉由影像辨識而偵測出AR標記像101之位置的系統，稱作AR解析器。

在利用通常的AR解析器的電腦圖形影像處理系統中，為了以三維CG來描繪所測出的AR標記像101之姿勢，算出一般的三維電腦圖形之計算時所使用的4×4的投影矩陣Pa與4×4的模型視野矩陣Ma，以數位影像105上的AR標記像101的位置為基準而將三維空間上的任意點做投影轉換，並顯示之。

此處，投影矩陣Pa係為，將針孔攝影機模型定義成圖25所示之錐台121的情況下，係定義為：或可定義為其轉置矩陣。轉置矩陣的情況下，只需將矩陣的演算方向顛倒即可，因此此處適用上記的表示。

其中，[數6]a0=2n/(r-l ) b0=2n/(t-b) a1=(r+l )/(r-l ) b1=(t+b)/(t-b) c0=-(f+n)/(f-n) c1=-2fn(f-n)在(X,Y,Z)攝影機座標系中從相當於針孔的原點O2起，令錐台121之前方的上底面SCR-A的左上頂點為(l,t,-n)，該上底面SCR-A的左下頂點為(l,b,-n)，其右上頂點為(r,t,-n)，其右下頂點為(r,b,-n)，令從上底面SCR-A至深處的面(相當於下底面)的距離為f。

一般而言，投影矩陣Pa係若進行攝影機校正，則在AR解析器的攝影系中係為固定值，模型視野矩陣Ma係表示了AR標記像的偵測位置、姿勢及尺度。

對應於數位影像的投影轉換，係以[數7]m ' =Pa ．Ma ．M [X,Y,Z,1]^T 來表示，對所求出的m’，經過相應於數位影像之解析度的視埠轉換而顯示出CG(電腦圖形)。又，藉由上記投影轉換而被轉換過的m’進行視埠轉換後的數位影像座標，和通過M與原點之直線與平面Z=n相交之交點的位置，係為相似關係。平面Z=n的[l,t]-[r,b]亦稱作投影面。

在此種一般的AR解析器中，若無法決定模型視野矩陣Ma，則無法描繪AR標記像101的偵測位置所對應之CG物件。

無法決定模型視野矩陣Ma的主因，除了無法辨識AR標記像的情況以外，別無其他。此原因係為，如圖26(a)所示，被攝影機103所拍攝到的數位影像105中的AR解析器所能識別之範圍內不含有AR標記像101的情況下，或如同圖(b)所示攝角較寬或從攝影機103至實際AR標記之距離較遠而導致AR標記像101在畫框中照的比較小，或識別困難的情況下，或如同圖(c)所示般地，攝影機103之移動速度或攝角之變化較快速，因攝影機的攝像元件之性能而會導致在所拍攝到的數位影像105中，AR標記像101變得模糊之情形。這些會對運鏡造成限制。尤其是，在電視播送用途上，會帶來很大的限制。

又，不使用專用的AR標記，所謂的無標記的AR技術也正在開發中。這是偵測攝影機所拍攝到的畫框內的現實世界的物件，例如從山或人臉之形狀而偵測出特徵點，進行姿勢感知和個體識別的AR技術。在此無標記的AR技術中也是，將特徵點群當作識別對象而利用的系統中，因特徵點群跑到攝影機畫框之外或攝角變化等而導致特徵點群難以識別的情況下，也會發生同樣的問題。

〔先前技術文獻〕〔專利文獻〕

專利文獻1：日本特開2011-141828號公報

專利文獻2：日本特開2012-003598公報

〔非專利文獻〕

非專利文獻1：“A flexible new technique for camera calibration” IEEETransactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000年

本發明係有鑑於利用影像辨識型AR技術來合成顯示CG之際所產生的上記先前技術之問題點而研發，目的在於提供一種對攝影機之位置或攝角、運鏡限制較少的AR技術。

本發明的AR技術係為，用來偵測AR標記之位置的攝影機係為總是觀測定點的攝影機，在CG空間中定義虛擬攝影機然後使該當虛擬攝影機側的攝角或位置做變化，為其特徵。

更具體說明，本發明的1個特徵係為，一種使用AR技術的電腦圖形影像處理系統，其特徵為，具備：位置固定的固定攝影機，係用來拍攝AR標記；和參數設定部，係用來記憶前記固定攝影機的攝影機參數；和AR標記姿勢解析部，係對含有前記固定攝影機所拍攝到之前記AR標記像的影像畫框，使用前記參數設定部中所記憶的攝影機參數，來解析前記AR標記之位置、姿勢及尺度；和物件影像生成部，係將對應於前記AR標記的物件，在基於前記AR標記姿勢解析部之解析結果而在電腦圖形影像空間上的前記影像畫框上的前記AR標記像之位置所對應的位置，以該當AR標記像的姿勢及尺度所對應之姿勢及尺度的電腦圖形影像而加以生成；和虛擬攝影機觀察影像生成部，係對前記物件影像生成部所生成之前記物件之電腦圖形影像，將從被設置在前記電腦圖形影像空間上的所定之座標位置的虛擬攝影機所觀看時的外觀予以查出，生成為虛擬攝影機觀察影像；和電腦圖形影像合成部，係將背景影像和前記虛擬攝影機觀察影像生成部所生成之從前記虛擬攝影機所看到的前記物件之電腦圖形影像，加以合成；和顯示部，係將前記電腦圖形影像合成部所合成的電腦圖形合成影像，加以顯示。

又，本發明的另一特徵係為，一種使用AR技術之電腦圖形影像處理方法，其係使用電腦，將含有固定攝影機所拍攝到之AR標記之影像的影像畫框，加以擷取；使用該當電腦所被事先記憶的攝影機參數，解析含有前記AR標記像的影像畫框而將前記AR標記像的位置及姿勢予以查出；將對應於前記AR標記的物件，在基於前記AR標記像的姿勢解析結果而在電腦圖形影像空間上的前記影像畫框上的前記AR標記像之位置所對應的位置，以該當AR標記像的姿勢及尺度所對應之姿勢及尺度的電腦圖形影像而加以生成；對應於前記物件影像畫框上的前記AR標記像而對前記物件之電腦圖形影像，將從被設置在前記電腦圖形影像空間上的所定之座標位置的虛擬攝影機所觀看時的外觀予以查出，生成為虛擬攝影機觀察影像；將背景影像與從前記虛擬攝影機所看到的前記物件之電腦圖形影像，加以合成；將前記已合成之電腦圖形合成影像，予以顯示。

若依據本發明，則AR標記的一部分跑到攝影機畫框外，或攝影機畫框內的AR標記像較小而難以識別等等，無法正確偵測AR標記像之位置的問題就不會發生，可提供一種不會對攝影機之位置或攝角、運鏡造成限制的使用AR技術之電腦圖形影像處理技術。

以下，基於圖面來詳述本發明的實施形態。本發明之1個實施形態的利用AR技術之電腦圖形影像處理系統，係為圖1所示之構成，具備有：AR解析器1和電腦圖形(CG)成像部2、顯示器3、還有攝影機校正部4、架在固定位置的作為真實攝影機CAM-A的固定攝影機5、偏置矩陣設定部6、對固定攝影機5之攝影影像在必要時進行色度鍵控合成處理的色度鍵控裝置7。

其中，關於AR解析器1、CG成像部2、攝影機校正部4、偏置矩陣設定部6，係藉由將它們對1台電腦系統安裝必要之軟體程式並執行之，而可整合在1台電腦系統中，但在以下的說明中，係將實施上所必須之處理機能一一分解，分別當作特定的處理部來說明之。

AR解析器1係具備：記憶後述之投影矩陣Pa、視野模型矩陣Ma、攝影機參數、其他必要資料的記憶部11、對固定攝影機5之映像找出AR標記像，解析其位置、姿勢、尺度而將視野模型矩陣Ma登錄至記憶部11的AR標記像解析部13、對AR標記像之解析結果而算出仿射轉換矩陣Mq的Mq矩陣決定部15。

CG成像部2係具備：例如由CG用的圖形卡所構成，將AR標記像位置上所顯示之物件的數位影像、背景影像或其他必要資料予以記憶的記憶部21、設定Pb矩陣的Pb矩陣設定部23、決定物件影像之顯示位置、姿勢、尺度的物件姿勢決定部25、對固定攝影機5的攝影影像將記憶部21中所記憶之物件影像以物件姿勢決定部25所決定之姿勢而合成至AR標記像之位置，作成CG合成影像的CG影像合成部27。CG成像部2係為了在對背景影像上合成物件影像，而還具備有用來輸入背景影像的背景影像輸入部29。

作為利用於電視播送的系統，固定攝影機5係採用網路攝影機或可將映像做數位輸出的視訊攝影機。對固定攝影機5的攝影影像進行色度鍵控合成時係使用色度鍵控裝置7，將色度鍵控合成映像輸入至CG成像部2。

攝影機校正部4，係根據固定攝影機5的攝影機校正而演算出攝影機內部參數、外部參數，登錄至AR解析器1的記憶部11。

固定攝影機5係為了拍攝鮮明的AR標記101，其位置或攝角是被固定成一定的狀態。

偏置矩陣設定部6係為用來設定偏置矩陣Mp者，此處所設定之矩陣Mp的資料，會被登錄至CG成像部2的記憶部21。

接著說明，上記構成的使用AR技術之CG電腦圖形影像處理系統的動作原理。在本實施形態的系統中，於CG成像部2裡，有別於真實攝影機CAM-A亦即固定攝影機5所構成之攝影系，另外以虛擬攝影機CAM-B而定義了觀察系。如圖3所示，將真實攝影機CAM-A(5)所拍攝到的影像以AR解析器1進行投影轉換後的AR標記像MRK1，對CG空間20上的第1螢幕面SCR-A進行仿射轉換，將在第1螢幕面SCR-A之相當位置進行過仿射轉換的AR標記像MRK1，對從被配置在同樣CG空間20上的虛擬攝影機VRCAM-B所觀看之第2螢幕面SCR-B進行投影轉換。由於第1螢幕面SCR-A係被配置在同樣CG空間20上，因此可從虛擬攝影機VRCAM-B系以自由的位置及攝角來觀察。

此處，在先前技術中，當從虛擬攝影機VRCAM-B觀察第1螢幕面SCR-A時，可將以真實攝影機CAM-A所拍攝而被AR解析器1進行過投影轉換的CG影像，容易地投影轉換至第1螢幕面SCR-A。可是，在該方法中，只能觀察到被投影至螢幕面SCR-A的平面狀態之CG影像。

於是，如圖4所示，在相當於第1螢幕面SCR-A的位置上，將第1螢幕面SCR-A，亦即具有與真實攝影機CAM-A攝影系之投影影像相同縱橫比的矩形領域SQ-A，定義在VRCAM-B世界空間20上。然後對該矩形領域SQ-A，將AR解析器1所投影轉換過的數位影像，進行紋理映射。可是，如前述，在此狀態下從虛擬攝影機VRCAM-B的觀察結果，亦即對第2螢幕面SCR-B的投影轉換結果，係只會得到矩形領域SQ-A往第2螢幕面SCR-B的投影像，只不過是被設計成立體形狀的CG物件OBJ1是往平面做變形然後投影至第2螢幕面SCR-B而已。

於是，在本實施形態中，為了解決此問題，在藉由AR解析器1而被投影轉換至第1螢幕面SCR-A上的AR標記像MRK1的位置上，以虛擬攝影機VRCAM-B觀察系的攝角而放置CG物件OBJ1，將其投影轉換至第2螢幕 SCR-B。如此一來，被投影轉換至第2螢幕SCR-B的CG物件OBJ1，係被配置在虛擬攝影機VRCAM-B系的座標上，被正確配置在被投影轉換至第1螢幕面SCR-A上的AR標記像MRK1的位置上，且CG物件OBJ1的投影轉換係為虛擬攝影機VRCAM-B系的投影轉換，因此會以保持立體形狀之狀態而被投影至第2螢幕面SCR-B。

有關對應於本實施形態之系統的動作的使用AR技術之電腦圖形影像處理方法，使用圖2的流程圖來加以說明。

STEP11：事先作成AR標記101，並且作成對應於AR標記101的物件OBJ1之CG而記憶之。

STEP13：又，事先藉由固定攝影機5的攝影機校正而決定攝影機參數、亦即內部參數矩陣A和旋轉矩陣R及平移向量t，並記憶之。

STEP15：將固定攝影機5所得之攝影影像所對應之AR解析器1的攝影空間加以決定並記憶。亦即決定投影矩陣Pa並記憶之。

STEP17：以固定攝影機5拍攝有AR標記101存在的場景，獲得映有AR標記像MRK1的攝影影像。

STEP19：從所攝得之數位影像，找出AR標記像MRK1。

STEP21：查出AR標記像MRK1的位置(縱深)、朝向(姿勢)、大小(尺度)，決定視野模型矩陣Ma並記憶之。

STEP23：使用記憶部11的矩陣Pa,Ma，計算AR標記像MRK1所對應之CG物件OBJ1在真實攝影機螢幕SCR-A上的外觀。

STEP25：對於真實攝影機(第1)螢幕SCR-A上之外觀已經決定的CG物件OBJ1，決定被投影至虛擬攝影機(第2)螢幕SCR-B上時的外觀。

STEP27：將背景的數位影像與虛擬攝影機螢幕上的CG物件OBJ1，加以合成。

STEP29：將背景的數位影像與虛擬攝影機螢幕上的CG物件OBJ1的合成影像，加以顯示。

針對以上的電腦圖形影像處理，更詳細說明。關於真實攝影機CAM-A系的數位影像的投影轉換，係和先前技術相同，可用以下的式子表示。

[數8]m ' =Pa ．Ma ．M [X,Y,Z,1]^T 其中，Ma係表示真實攝影機CAM-A攝影系中的4×4模型視野矩陣，係為真實攝影機CAM-A攝影系之座標中的空間座標之仿射轉換本身。此係如之前所說明，是從真實攝影機CAM-A的攝影機參數所算出的相對值，其總是為若不乘以投影矩陣Pa，則無法在真實攝影機CAM-A攝影系的數位影像中的AR標記像MRK1之位置上，正確顯示CG物件。可是，投影矩陣Pa所致之投影轉換，係相等於真實攝影機CAM-A系中的對第1螢幕面SCR-A之投影像，因此不能直接適用投影轉換矩陣Pa。

於是，在本實施形態中，係將相當於真實攝影機CAM-A攝影系之座標之視野容體的錐台形狀，定義在虛擬攝影機VRCAM-B觀察系的座標上，進行將配置在AR標記像MRK1之位置的CG物件OBJ1之座標往第1螢幕面SCR-A之AR標記像MRK1之位置做投影的仿射轉換。

在虛擬攝影機VRCAM-B觀察系的座標上，定義真實攝影機CAM-A的視野容體狀的幾何領域時，已知的參數係為由AR解析器1所定義的4×4投影矩陣Pa、和真實攝影機CAM-A攝影系之座標上的4×4模型視野矩陣Ma，是被決定如下。

在圖5中係圖示了，藉由AR解析器1而被投影至第1螢幕面SCR-A的CG物件OBJ1。被投影在該第1螢幕面SCR-A的CG物件OBJ1，係如圖6所示，在真實攝影機CAM-A攝影系的空間座標中，係為模型視野矩陣Ma所致之仿射轉換所致之空間座標系上的平移、旋轉、尺度，由投影矩陣Pa所致之投影轉換的投影像。於是，將模型視野矩陣Ma所致之仿射轉換，乘上將配置在AR標記像MRK1之上的CG物件OBJ1予以表現的的任意空間座標[數10]M [X,Y,Z,1]^T 藉此，CG物件OBJ1的空間座標[數11]M [X,Y,Z,1]^T 係處於若在真實攝影機CAM-A座標系中以投影矩陣Pa進行投影轉換，則可被正確投影至AR標記像MRK1之觀測位置的狀態。

接著，將構成真實攝影機CAM-A系視野容體的幾何要素，從投影轉換矩陣Pa予以導出。

此矩陣Pa的構成要素，係和先前同樣地由圖25的數5式、數6式所定義。

[數12]a0=2n/(r-l ) b0=2n/(t-b) a1=(r+l )/(r-l ) b1=(t+b)/(t-b) c0=-(f+n)/(f-n) c1=-2fn(f-n)因此，關於r,l,t,b的聯立方程式，細弱n為已知則可容易解出。當n為已知時，r,l,t,b係可決定如下。

[數13]r=n(a1+1)/a0l =n(a1-1)/a0 t=n(b1+1)/b0 b=n(b1-1)/b0通常，在決定真實攝影機CAM-A系的攝影機參數之際，對n係設定任意的值，因此係為已知。一般而言，經常給予n=1。

如此，真實攝影機CAM-A系的視野容體的幾何構成要素就會被獲得，因此將[數14]Ma ．M [X,Y,Z,1]^T 對第1螢幕面SCR-A上的AR標記像MRK1之位置，進行仿射轉換。此時，必須要考慮投影轉換矩陣Pa中含有光學中心偏向成分。

r+l=0且t+b=0時的視野容體，係真實攝影機CAM-A系的光軸中心是與螢幕面A之中心座標完全一致的情形，意味著是一致於已被視埠轉換之數位影像的中心座標。

t+b=0時，如圖7所示，在真實攝影機CAM-A座標系的Z-Y座標平面中， [數15]Ma ．M [X,Y,Z,1]^T 的Z-Y平面上之座標的第1螢幕面SCR-A、亦即往Z=n上之投影像為m'(z',y')，則[數16]z' =n y' =y．n/z可計算如上。可是，這裡應注意的是，Ma係為，投影矩陣Pa、亦即根據真實攝影機CAM-A之攝影機參數所決定的真實攝影機CAM-A視野容體內的外觀上，與AR標記像MRK1一致之模型視野矩陣這一點。實際攝影的數位影像係透過鏡頭或計算機之補正等而被記錄的影像，會因為固定攝影機5的機械特性或鏡頭扭曲、攝像元件之特性等，使得影像的原點或像素的長寬比等會和實際的影像座標系幾乎不會一致，在進行攝影機校正時，攝影機參數會被推定成為r+l≠0或t+b≠0。

亦即，若為t+b≠0，則如圖8所示，令第1螢幕面SCR-A與進行攝影機校正之結果的光學中心軸Oax的交點為C，令影像高度方向之攝角線AG1與第1螢幕面SCR-A之交點為H時，線段的長度Hm'與Cm'之比值d[數17]d=Hm' /Cm' 係為圖8的情形會小於圖7的情形。

這件事情是表示了，在將[數18]Ma ．M [X,Y,Z,1]^T 對第1螢幕面SCR-A的位置進行仿射轉換時，若不考慮該光學中心軸Oax所致的偏向，則會與對應於第1螢幕面SCR-A的數位影像上所被觀測之實際AR標記像MRK1之位置，產生偏差。此外，這在r+l≠0時的X-Y平面上，也會同樣地發生。

又，在將[數19]Ma ．M [X,Y,Z,1]^T 對第1螢幕面SCR-A的位置進行仿射轉換時，必須要考慮將真實攝影機CAM-A系所拍攝到的數位影像的AR標記像MRK1的尺度加以表示的、投影轉換矩陣Pa所致之投影轉換之尺度縮放。

考慮以上，將真實攝影機CAM-A攝影系的座標上的任意空間座標[數20]M [X,Y,Z,1]^T 往對應於第1螢幕面SCR-A之數位影像中的AR標記觀測位置MRK1，進行仿射轉換。首先，將[數21]Ma ．M [X,Y,Z,1]^T 往第1螢幕面SCR-A之位置移動的平移向量Tr，係根據模型視野矩陣Ma與n而可決定如下。

[數22]Tr (-e 12,-13,-e 14+n ) 考慮到投影矩陣Pa所致之投影轉換的尺度縮放參數，定義如下。

[數23]s=-(1/e14．Vb)/(t-b)此處，Vb係為常數，係為虛擬攝影機VRCAM-B觀察系的第1螢幕面SCR-A的高度尺度。

然後，考慮到光學中心軸Oax之偏向成分的第1螢幕面SCR-A之位置上的移動量Tp，係定義如下。

[數24]Tp(sx/sz．Vb．Ax,sy/sz．Vb,0)其中，sx=a0．e12+a1．e14 sy=b0．e13+b1．e14 sz=c0．e14+e14此處，Ax係為表示第1螢幕面SCR-A之橫方向之長寬比的常數，真實攝影機CAM-A系的數位影像是16：9影像時係為16/9，若為4：3影像時則為4/3之值。

使用以上的參數，以齊次座標表現而將真實攝影機CAM-A系之座標上的任意空間座標[數25]M [X,Y,Z,1]^T 往對應於第1螢幕面SCR-A之數位影像中的AR標記像MRK1之觀測位置進行仿射轉換用的4×4矩陣，係為如下的Mp。該矩陣Mp係事前由偏置矩陣設定部6所設定，被記憶在記憶部21中。又，其資料係為可變。

[數26]Mp =[Tp]．s．[Tr]．Ma 其中，[Tp]、[Tr]係分別為平移向量的4×4矩陣齊次座標表現。

藉由該矩陣Mp，CG物件OBJ1的空間座標表現的任意空間座標[數27]M [X,Y,Z,1]^T 往第1螢幕面SCR-A之相當位置進行仿射轉換的投影像，係如圖9所示，CG物件OBJ1的原點座標 [數28]M [0,0,0,1]^T 係會保持立體形狀而被轉換至與第1螢幕面SCR-A之數位影像中所觀測之AR標記像MRK1一致的位置。

此狀態下，令用來對虛擬攝影機VRCAM-B觀察系的座標上，配置真實攝影機CAM-A攝影系之座標所需的任意仿射轉換矩陣為Mq，令對虛擬攝影機VRCAM-B觀察系之座標上的第2螢幕面SCR-B進行投影的4×4矩陣為Pb。此時，CG物件OBJ1的空間座標表現亦即任意空間座標[數29]M [X,Y,Z,1]^T 的往第2螢幕面SCR-B之投影轉換mb'，係可用下式來表示。

[數30]mb' =Pb ．Mq ．Mp ．M [X,Y,Z,1]^T 藉由使用該投影轉換式，在真實攝影機CAM-A系的數位影像中所觀察到的AR標記像MRK1上，以CG空間中被任意設定之虛擬攝影機VRCAM-B座標系所致之攝角、攝影位置，將CG物件OBJ1保持立體形狀而對虛擬攝影機VRCAM-B系的第2螢幕面SCR-B進行投影轉換，就成為可能。

又，由於矩陣Pb與Mq是表示一般的3維電腦圖形技術中的投影轉換，因此從虛擬攝影機VRCAM-B系所觀察之真實攝影機CAM-A座標系係可往任意位置做移動、旋轉、尺度縮放及描繪攝角之變更。

若依據本實施形態的使用AR技術之電腦圖形影像處理系統及其所執行的影像處理方法，則可達到以下的作用、效果。對固定攝影機5所致之數位影像，在先前技術中，係如圖11所示，例如將虛擬攝影機VRCAM-B系配置在真實攝影機CAM-A攝影系的正橫向時，由於CG物件OBJ1係只能平面地描繪因此會被轉換成直線。相對於此，在本實施形態中中，如圖12所示，可將CG物件OBJ1描繪成從正側面觀看的樣子。

由於虛擬攝影機VRCAM-B也可變更攝角，因此如圖26(a)所示般地從畫框105跑出去的AR標記101的情況下，可以解決無法辨識AR標記101之問題點。如圖13所示，真實攝影機CAM-A系係固定設定成可辨識AR標記之攝角，則如圖14所示，可藉由虛擬攝影機VRCAM-B來進行放大縮小顯示。這在圖26(b)所示的AR標記101難以識別之案例中，也可同樣地解決。

又，如圖26(c)所示的AR標記101移動時的模糊，係仍留下若AR標記101本身高速移動時無法被AR解析器1辨識之問題，但在攝影機側高速移動的案例中，係如圖15所示，藉由改變虛擬攝影機VRCAM-B之位置就可表現，此時，真實攝影機CAM-A系係為固定因此標記解析器1係可正確偵測AR標記像MRK1之位置，同時，可以虛擬攝影機VRCAM-B系來表現高速的運鏡。

再者，圖16、圖17係表示了，將被AR解析器1所觀察之AR標記像MRK1的移動，反映至從虛擬攝影機VRCAM-B系所看到之CG物件OBJ1之移動的樣子。這由圖10也可了解，AR標記像MRK1的移動係被表現在第1螢幕面SCR-A上的平面上，但由於被配置在虛擬攝影機VRCAM-B座標系上的第1螢幕面SCR-A係可對任意的平面空間做仿射轉換，因此可將真實攝影機CAM-A攝影系的平面上的運動，轉換成虛擬攝影機VRCAM-B座標系之空間上的運動。

又，[數31]Mp ．M [X,Y,Z,1]^T 所致之仿射轉換，係僅會是往虛擬攝影機VRCAM-B的轉換，例如[數32]Mp ．M [0,0,0,1]^T 係為第1螢幕面SCR-A上的AR標記像MRK1之偵測位置的原點，因此也可控制成以集中注意該點的方式，來計算虛擬攝影機VRCAM-B的朝向或位置、或是調節攝角範圍等等。

圖18係作為比較例而圖示了，對AR解析器1所致之定點攝影影像，在AR標記像之位置上將立體AR標籤物件予以合成顯示而成的CG影像。然後，圖19係作為實施例1而圖示了，對相同真實攝影機CAM-A所致之定點攝影影像進行色度鍵控處理，對該色度鍵控映像，從虛擬攝影機CAM-B系進行投影轉換所得之CG影像。如此可以理解，先前技術係為，若AR標記101太小則無法解析，無法在AR標記像MRK1之位置上顯示CG物件OBJ1，但無論攝角是任意的小，都可將CG物件OBJ1以AR標記像MRK1的位置、姿勢、尺度來加以顯示。

又，圖20係藉由色度鍵控處理而生成足球遊戲之解說影像的實施例2的圖示。取代同圖(a)所示的AR標記，如同圖(b)所示，將足球解說用而準備的2張AR標記配置在足球場看板前，登場人物若移動該AR標記的一方、或雙方，則如同圖(c)所示，藉由色度鍵控處理與CG影像合成處理，在足球場上二名足球員的CG影像會被配置在AR標記像之上，足球員像會與AR標記之運動同樣地移動，可表現此種寫實的CG影像。又，隨著虛擬攝影機上下移動而使觀察系移動，足球場像也會和其上的球員像一起成為從相應之角度、方向俯瞰之狀態的映像而表現。此動畫已被上傳至http：//www.youtube.com/watch？v=W8msVZAlI3k&feature=player_embedded。

如以上所述，若依據本發明的使用AR技術之電腦圖形影像處理系統及方法，則AR標記的位置偵測所需的固定攝影機5係設計成總是觀測定點的真實攝影機CAM-A，在CG空間側定義虛擬攝影機VRCAM-B，藉由改變虛擬攝影機側的攝角或位置，就可解決使用影像辨識型AR(AR標記)之CG進行合成顯示之際所產生的問題點，可作成先前系統中無法達成的、使用影像辨識型AR(AR標記)之CG合成影像並顯示之。

因此，若依據本發明，則可容易利用於電視播送領域。

此外，本發明的技術範圍亦包含使電腦系統進行上記一連串處理所需的程式、或記錄該程式的記錄媒體。

1‧‧‧AR解析器

2‧‧‧CG成像部

3‧‧‧顯示器

4‧‧‧攝影機校正部

5‧‧‧固定攝影機

6‧‧‧偏置矩陣設定部

7‧‧‧色度鍵控裝置

11‧‧‧記憶部

13‧‧‧AR標記像解析部

15‧‧‧仿射轉換矩陣決定部

21‧‧‧記憶部

23‧‧‧矩陣Pb設定部

25‧‧‧物件姿勢決定部

27‧‧‧CG影像合成部

29‧‧‧背景影像輸入部

101‧‧‧AR標記

〔圖1〕圖1係本發明的1個實施形態的電腦圖形影像處理系統的機能區塊圖。

〔圖2〕圖2係上記電腦圖形影像處理系統所執行之電腦圖形影像處理的流程圖。

〔圖3〕圖3係上記實施形態之系統所進行的電腦圖形影像處理的原理說明圖。

〔圖4〕圖4係上記實施形態之系統所進行的電腦圖形影像處理中的真實攝影機螢幕與虛擬攝影機螢幕之關係的說明圖。

〔圖5〕圖5係上記實施形態之系統中的被AR解析器所投影之數位影像的說明圖。

〔圖6〕圖6係上記實施形態之系統所進行的電腦圖形影像處理中的真實攝影機攝影系的投影容體與CG物件之空間座標配置的說明圖。

〔圖7〕圖7係上記實施形態之系統所進行的電腦圖形影像處理中的真實攝影機攝影座標系的Y-Z平面上的CG物件的往第1螢幕面之投影(t+b=0時)的說明圖。

〔圖8〕圖8係上記實施形態之系統所進行的電腦圖形影像處理中的真實攝影機攝影座標系的Y-Z平面上的CG物件的往第1螢幕面之投影(t+b≠0時)的說明圖。

〔圖9〕圖9係上記實施形態之系統所進行的電腦圖形影像處理中，在真實攝影機攝影座標系上將CG物件投影至第1螢幕面之處理的說明圖。

〔圖10〕圖10係上記實施形態之系統所進行的電腦圖形影像處理中，在真實攝影機攝影座標系上將CG物件投影至第1螢幕面後之狀態的說明圖。

〔圖11〕圖11係藉由先前之AR解析技術而在真實攝影機攝影座標系上將CG物件投影至第1螢幕面後之狀態，從第2螢幕所看到之狀態的說明圖。

〔圖12〕圖12係上記實施形態之系統所進行的電腦圖形影像處理中，在真實攝影機攝影座標系上將CG物件投影至第1螢幕面後之狀態，從第2螢幕所看到之狀態的說明圖。

〔圖13〕圖13係上記實施形態之系統所進行的電腦圖形影像處理中，在真實攝影機攝影座標系上在第1螢幕面的AR標記像之位置顯示有CG物件之狀態的說明圖。

〔圖14〕圖14係上記實施形態之系統所進行的電腦圖形影像處理中，在真實攝影機攝影座標系上在第1螢幕面的AR標記像之位置顯示有CG物件之狀態，對虛擬攝影機之第2螢幕面放大投影後之狀態的說明圖。

〔圖15〕圖15係上記實施形態之系統所進行的電腦圖形影像處理中，令虛擬攝影機移動時的影像處理的說明圖。

〔圖16〕圖16係上記實施形態之系統所進行的電腦圖形影像處理中，令AR標記移動時的真實攝影機的在數位影像上之AR標記像之移動的說明圖。

〔圖17〕圖17係上記實施形態之系統所進行的電腦圖形影像處理中，令AR標記移動時，從虛擬攝影機所看到之CG物件之移動的說明圖。

〔圖18〕圖18係對比較例的AR解析器所致之定點攝影影像，在AR標記像之位置上合成CG物件而成之影像的照片。

〔圖19〕圖19係本發明的實施例1的電腦圖形影像處理系統所致之CG上的來自虛擬攝影機觀察系之投影轉換影像的照片。

〔圖20〕圖20係本發明之實施例2的電腦圖形影像處理系統所致之足球解說影像(藉由移動2張AR標記而使對應之2名球員移動的CG)的說明圖。

〔圖21〕圖21係一般的含有AR標記之場景的攝影影像的照片。

〔圖22〕圖22係先前之AR解析處理的說明圖。

〔圖23〕圖23係一般的AR解析處理中，針孔攝影機模型裡的攝影機座標系(X,Y,Z)與影像座標系(x,y,z)之關係的說明圖。

〔圖24〕圖24係一般的攝影機校正中所採用之圖案例的說明圖。

〔圖25〕圖25係一般的針孔攝影機模型中的視錐台之定義的說明圖。

〔圖26〕圖26係先前之AR解析技術之問題點的說明圖。