TW201335888A

TW201335888A - Ａｒ影像處理裝置及方法

Info

Publication number: TW201335888A
Application number: TW101142214A
Authority: TW
Inventors: Kazuhiko Ito
Original assignee: Micronet Co Ltd
Priority date: 2012-02-22
Filing date: 2012-11-13
Publication date: 2013-09-01
Also published as: JP5872923B2; EP2819099A4; NZ628782A; CN104160426B; JP2013171523A; CA2864988C; TWI496108B; AU2012370662A1; WO2013125099A1; US9501872B2; HK1202692A1; CN104160426A; AU2016203902B2; AU2016203902A1; CA2864988A1; US20150022552A1; EP2819099A1

Abstract

本發明係有關於，在透過攝影機所拍攝到的自然風景等之數位影像上，不需要手動進行位置對合操作，就能以正確的位置和大小、姿勢，將CG物件即時地予以合成顯示的AR技術，其特徵為，將攝影機(1)所拍攝到的含AR標記像之第1攝影影像，以第1AR解析器(3A)進行解析，決定AR標記像在該當視野內的位置、姿勢、尺度，將對應之CG物件以該當AR標記像的位置、姿勢、尺度而虛擬性地放置在前記視野內的該當位置，藉由第2AR解析器(3B)，針對被虛擬放置在前記視野內之該當位置的CG物件，計算其相對於攝影機其後所拍攝之第2攝影影像，而在該攝影機視野內的外觀，藉由CG成像部(5)，在前記第2攝影影像之該當位置，將CG物件之影像，以該當位置、姿勢、尺度進行合成，將合成之影像，顯示在顯示器(7)上。

Description

AR影像處理裝置及方法

本發明係有關於，將AR標記與自然特徵點追蹤方法加以組合而成的AR影像處理裝置及方法。

藉由擴充實境感(AR；Augmented Reality)技術，在攝影裝置的網路攝影機或數位視訊等之攝影機所拍攝到的AR標記像這類對象物體像之上，即時合成CG物件的AR影像處理裝置，已經被多方面利用。

標記型AR技術，係將數位影像中形成一定形狀之集團的特徵點群予以事前登錄，從攝影裝置所得之數位影像中，使用單色圖等來偵測出已被登錄的特徵點群，推定其位置、姿勢等，以對應於其位置、姿勢等的方式，在AR標記像之位置上合成顯示CG物件。

在該AR技術中，將事前登錄的一定形狀之特徵點群，稱作AR標記(或簡稱為「標記」)。在登錄標記之際，藉由賦予用來表示標記在真實世界上之大小或姿勢的附加資訊，就可某種程度正確地推定其在從攝影裝置所取得之數位影像內的大小或距離。另一方面，若數位影像中沒有可辨識的特徵點群存在時，當然就不可能推定標記的位置或姿勢。

自然特徵點追蹤型的AR技術，係不必事前登錄以PTAM(「Parallel Tracking and Mapping for Small AR Workspaces」、牛津大學)為代表的這類數位影像中之特徵點群，即使在連續移動攝影裝置之位置的情況下，只要能夠追蹤到特徵點，無論使攝影裝置往哪個方向、位置移動皆為可能，是如此優異的方法。

可是，由於最初必須要特定好基準位置，因此必須要使攝影裝置進行特殊的移動方式而從伴隨攝影機移動之複數影像的特徵點移動量，決定出基準位置，或必須要另外給予位置、姿勢資訊等等。此時，若無法使攝影裝置正確移動，就無法正確地決定基準平面。又，自然特徵點追蹤型AR技術，一般因為其特性而不進行事前的特徵點登錄，所以無法正確獲知所拍攝到的數位影像的特徵點間之距離或大小的資訊。因此，一般是採用將CG物件之大小或朝向、位置相對於基準平面以手動進行調整的方法。

[先前技術文獻] [專利文獻]

專利文獻1：日本特開2011-141828號公報

專利文獻2：日本特開2012-003598號公報

本發明係擷取這些先前之標記型AR技術與自然特徵點追蹤型AR技術之兩者的優點，目的在於提供一種對透過攝影機所拍攝到之自然風景等之數位影像能適切合成顯示CG物件的AR影像處理方法及裝置。

更具體說明，本發明之目的在於提供一種，在透過攝影機所拍攝到的自然風景等之數位影像上，不需要手動進行位置對合操作，就能以正確的位置和大小、姿勢，將CG物件即時地予以合成顯示，即使攝影機往各種位置、方向移動，仍可即時表現的AR影像處理方法及裝置。

本發明係一種AR影像處理方法，其特徵為，取得由攝影機所拍攝到的含AR標記的其周圍之固定視野內之情景，藉由第1AR解析器，解析前記攝影機所拍攝到的含AR標記像的其周圍之情景的第1攝影影像，決定AR標記像在該當視野內的位置、姿勢、尺度，將對應之CG物件以該當AR標記像的位置、姿勢、尺度而虛擬性地放置在前記視野內的該當位置；藉由第2AR解析器，針對被虛擬放置在前記視野內之該當位置的前記CG物件，計算其相對於前記攝影機其後所拍攝之第2攝影影像，而在該攝影機視野內的外觀；藉由CG成像部，在前記攝影機的前記第2攝影影像之該當位置，將前記CG物件之影像，以前記外觀進行合成；藉由顯示器，將前記合成之影像，予以顯示。

又，本發明係一種AR影像處理裝置，其特徵為，具備：攝影機；和第1AR解析器，係解析前記攝影機所拍攝到的含AR標記的其周圍視野內之情景的第1攝影影像，決定AR標記像在該當視野內的位置、姿勢、尺度，將對應之CG物件以該當AR標記像的位置、姿勢、尺度而虛擬性地放置在前記視野內的該當位置；和第2AR解析器，係針對被虛擬放置在前記視野內之該當位置的前記CG物件，計算其相對於前記攝影機其後所拍攝之第2攝影影像，而在該攝影機視野內的外觀；和CG成像部，係在前記第2AR解析器所求出之前記攝影機的前記第2攝影影像之該當位置上，將前記CG物件之影像，以前記外觀加以合成；和顯示器，係將前記CG成像部所合成之影像，加以顯示。

若依據本發明的AR影像處理技術，則在透過攝影機所拍攝到的自然風景等之數位影像上，不需要手動進行位置對合操作，就能以正確的位置和大小、姿勢，將CG物件即時地予以合成顯示，即使將攝影機往各式各樣的位置、方向移動，仍可即時表示。

以下，基於圖面來詳述本發明的實施形態。

首先說明本發明的原理。一般而言，將網路攝影機、數位視訊攝影機等之攝影機所拍攝到的數位影像，以AR解析器進行解析，為了基於從數位影像所特定出來的數位影像像的位置資訊，而在數位影像中將CG物件做合成顯示，必須要將空間上的CG物件往數位影像進行投影轉換。然後，在進行此的AR解析器中，必須要作成4×4的投影矩陣P與4×4的模型視野矩陣M。令進行攝影機所拍攝到之數位影像中之對象物體像之位置偵測的第1AR解析器A的投影轉換為[數1]Ma'=Sa．Pa．Ma

令根據自然特徵點之追蹤而進行數位影像中之對象物體像之位置偵測的第2AR解析器B的投影轉換為[數2]Mb'=Sb．Pb．Mb。其中，Sa及Sb係為定數值，係為往所投影之數位影像的適切之尺度縮放參數。投影矩陣Pa與Pb係為，作為進行攝影之攝影機的攝影機參數而事前進行攝影機校正而被決定的投影矩陣，這些矩陣Pa,Pb係可隨著第1AR解析器A、第2AR解析器B各自的特性而取不同的值。這是本發明的特徵之一。

此不同的2個投影轉換矩陣Pa,Pb，係如在考慮如圖1所示的投影轉換之幾何模式圖亦即AR解析器A,B各自的視野容體11A,11B時，可以認為在使用相同攝影裝置(攝影機)時係與被正規化的螢幕面SCR-A亦即投影面為共通。

本發明中最初進行的係為第2AR解析器B的初期化處理。這亦即在進行自然特徵點追蹤的第2AR解析器B 中，假設被攝影機所拍攝到的數位影像是被投影至螢幕面SCR-A，根據已知的投影矩陣Pb，來決定初期模型視野矩陣Mb。該操作係例如改變進行攝影的攝影機的攝影位置，根據特徵點的移動量藉由對極幾何來推定攝影機的位置，是採用此種一般公知的方法。

該初期模型視野矩陣Mb係只會決定第2AR解析器B之座標系上的攝影機之位置或姿勢而已，根據該初期位置，隨應於所拍攝到之特徵點的移動量來逐步推定攝影位置、亦即模型視野矩陣Mb的，係為自然特徵點追蹤型AR解析器。

在該模型視野矩陣Mb中雖然含有尺度縮放要素，但由於從數位影像中被所觀察的自然特徵點之資訊並無法獲得該特徵點群的距離或大小，因此先前設成任意值而在數位影像上合成了CG影像之狀態下，必須要以手動進行補正，需要如此手續。

可是，在本發明中，為了解決此問題，是以如下的程序，在上述的第2AR解析器B的初期化程序中，使用事前已知尺度、姿勢、位置的AR標記，藉由第1AR解析器A，決定出將被攝影機所拍攝之數位影像的已被正規化之螢幕面SCR-A加以構成的視野容體、亦即投影轉換Pa所致之模型視野矩陣Ma。

該模型視野矩陣Ma係為，具有如圖2所示，經過第1AR解析器A之投影轉換而已被拍攝之數位影像中的偵測標記像MRK之位置所對應之空間上的標記位置座標與方向、大小之資訊，若相對地以視野容體空間上的標記像MRK之位置為原點O3，則可決定第1AR解析器A在視野容體空間11A上的攝影位置。

在本發明中，其係僅為表面上看起來的樣子，只要能正確表現其在數位影像上的位置關係即可，不需要表現幾何學上嚴謹的位置。

到目前為止，可藉由第1AR解析器A的座標系，推定被投影至螢幕面SCR-A的標記像MRK之位置與資訊、尺度，求出第2AR解析器B之座標系上的初期模型視野矩陣Mb，但一般而言，第1AR解析器A之座標系(原點O1)與第2AR解析器B之座標系(原點O2)係為完全不同的解譯，如圖1所示，含光學中心軸的視野容體11A,11B之構成也不同。

在本發明中，係將已被正規化的視野容體11A,11B的螢幕面SCR-A是為共通的位置，對該螢幕面SCR-A的空間性位置資訊進行著手，進行雙方的座標系之轉換，嘗試使得被投影到螢幕面SCR-A上的投影像的外觀看起來吻合。這是意味著，第1AR解析器A所推定的實際之標記像MRK的位置或姿勢、尺寸，是相對於藉由第2AR解析器B而被投影至螢幕面SCR-A的自然特徵點的位置資訊，決定適切的位置、姿勢、尺度之各參數。

第1AR解析器A之座標系中的模型視野矩陣Ma的平移成分，係視為代表了在AR標記像MRK之空間座標內的原點O3，尺度縮放及旋轉成分係視為代表了標記像 MRK在第1AR解析器A上的座標空間中的大小與姿勢。

假設第1AR解析器A之座標系的4×4投影矩陣為Pa，4×4模型視野矩陣為Ma，而被決定如下。

如圖5所示，從第1AR解析器A的攝影機座標系(X,Y,Z)從原點O1起，令視野容體錐台11A之前方的投影面PJ-A1的左上頂點為(1,t,-n)，左下頂點為(1,b,-n)，右上頂點為(r,t,-n)，左上頂點為(r,b,-n)，至深處的面PJ-A2的距離為f。

將第1AR解析器A之座標系上的任意空間座標[數4]M[X,Y,Z,1] ^T，往對應於螢幕面SCR-A之數位影像中的AR標記觀測位置，進行仿射轉換。此係算出如下。

首先，將[數5]Ma．M[X,Y,Z,1] ^T往螢幕面SCR-A之位置移動的平移向量Tr，係根據模型視野矩陣Ma與n而如下所示。

[數6]Tr(-e12,-13,-e14+n)投影矩陣Pa所致之投影轉換的尺度縮放參數s，係為[數7]s=-(1/e14．Vb)/(t-b)

此處，Vb係為常數，係為螢幕面SCR-A的高度尺度。

考慮到光學中心軸之偏向成分的螢幕面SCR-A之位置上的移動量Tp，係可表示成：[數8]Tp(sx/sz．Vb．Ax,sy/sz．Vb,0)其中，sx=a0．e12+a1．e14 sy=b0．e13+b1．e14 sz=c0．e14+e14

此處，Ax係為表示螢幕面SCR-A之橫方向之長寬比的常數，數位影像是16：9影像時係為16/9，若為4：3影像時則為4/3之值。

根據以上的參數，以齊次座標表現將第1AR解析器A之座標系上的任意空間座標

[數9]M[X,Y,Z,1] ^T ，往對應於螢幕面SCR-A之數位影像中的AR標記觀測位置進行仿射轉換用的4×4矩陣令作Mp，使用[Tp]、[Tr]此種平移向量的4×4矩陣齊次座標表現，則Mp係為[數10]Mp=[Tp]．s．[Tr]．Ma

因此，在第1AR解析器A之座標系中，[數11]M[X,Y,Z,1] ^T的往螢幕面SCR-A之投影像加以表示的ma'，係可計算如[數12]ma'=Mq．Mp．M[X,Y,Z,1] ^T

若僅著眼於標記座標的原點O3，則為[數13]ma'=Mq．Mp．[0,0,0,1] ^T。

此處，考慮往螢幕面SCR-A之投影像為ma'，係在第2AR解析器B中也可同等地觀察。此時，第2AR解析器B的投影矩陣Pb，係和Pa同樣地被定義為

第2AR解析器B的視野容體11B之頂點參數也和Pa的情形同樣地，可計算成[數15]r=n(a1+1)/a0 l=n(a1-1)/a0 t=n(b1+1)/b0 b=n(b1-1)/b0。

若第1AR解析器A與第2AR解析器B是使用相同長寬比的數位影像，則視野容體11A,11B的投影面PJ-A,PJ-B也是相同長寬比，因此若假設第1AR解析器A與第2AR解析器B中的尺度縮放解譯之比率為S'，則可想成[數16]S'=Pb[n(b1+1)/b0]/Pa[n(b1+1)/b0]

其中，Pb[n(b1+1)/b0)]係表示第2AR解析器B之座標系的Pb之參數，Pa[n(b1+1)/b0)]係表示第2AR解析器B之座標系的Pa之參數。

於是，這直接就是第1AR解析器A與第2AR解析器B的尺度縮放解譯之差異。

若假設第1AR解析器A之座標系中所推定出來的標記像MRK之位置是代表了第2AR解析器B之座標系的空間座標之原點位置O3，則由於可以想成第2AR解析器B之座標系的原點位置[0,0,0,1]T是藉由第2AR解析器B的投影轉換，而被觀測成ma'，因此 [數17]S'．ma'=Mo．Mb[0,0,0,1] ^T會成立。此處，Mo係為4×4的常數矩陣。

於上記的式子中，由於ma'係為已知，因此常數矩陣Mo係可由下式而決定。

[數18]Mo=S'．ma'/Mb．[0,0,0,1] ^T

若將此偏置矩陣Mo適用於第2AR解析器B的投影轉換，則可決定成[數19]Mb'=Sb．Pb．Mo．Mb。

如此決定的常數矩陣Mo，係對第2AR解析器B的投影轉換Mb，以被第1AR解析器A所解析出來的標記像MRK之位置為原點，係為表示該位置上的姿勢、大小的偏置矩陣。在先前之進行自然特徵點追蹤的第2AR解析器B中，將此偏置矩陣一邊觀看合成影像一邊以手動來加以決定。

接著，針對本發明之1個實施形態的AR影像處理裝置及其所致之AR影像處理方法使用圖6、圖7來說明。圖6係圖示本實施形態的AR影像處理裝置之構成，主要是由攝影機1、AR標記辨識型的第1AR解析器3A、自然特徵點追蹤型的第2AR解析器3B、CG成像部5、顯示器7所構成。

AR標記辨識型的第1AR解析器3A，係解析攝影機1 所拍攝到的含AR標記像MRK的視野內之情景的攝影影像，決定AR標記像MRK在該當視野內的位置、姿勢、尺度，將對應之CG物件OBJ以該當AR標記像的位置、姿勢、尺度而在攝影機1的視野容體11A的該當位置上予以重現，決定其座標。具備：用來記憶第1AR解析器3A之該處理所必須之各種資料的記憶部3A1、攝影機校正部3A3、AR標記像解析部3A5、仿射轉換矩陣決定部3A7、照片處理部3A9、投影轉換處理部3A11。此投影轉換處理部3A11所查出的第1AR解析器3A的在視野容體空間11A內的AR標記像之空間座標資料，係被輸出至第2AR解析器3B。

第2AR解析器3B，係為自然特徵點追蹤型，具備有：記憶各種資料的記憶部3B1、進行該第2AR解析器3B之初期化處理的初期化處理部3B3、模型視野矩陣推定部3B7、投影轉換處理部3B9、偏置矩陣決定部3B11。

CG成像部5，係利用記憶各種資料的記憶部51、將攝影機1之攝影影像予以擷取的攝影機影像輸入部53、第2AR解析器3B的偏置矩陣Mo，生成CG物件影像的CG物件影像生成部55，將攝影機影像輸入部53的攝影機攝影影像與CG物件影像生成部55的CG物件影像加以合成，將合成影像輸出至顯示器7。

顯示器7係如圖8B所示般地，在攝影機1的目前視野中的攝影影像上的對應位置以對應之姿勢，顯示出合成有CG物件OBJ的影像。

接著，上記AR影像處理裝置所進行之AR影像處理方法，使用圖7來說明。本實施形態的AR影像處理方法，若重點來說，是藉由攝影機1拍攝含AR標記MRK的其周圍視野內之情景，藉由第1AR解析器3A來解析攝影機1所拍攝到的含AR標記像MRK的其周圍之情景的攝影影像，決定AR標記像MRK在該當視野容體11A內的位置、姿勢、尺度，將對應之CG物件OBJ以該當AR標記像MRK的位置、姿勢、尺度而虛擬性地放置在該當視野容體空間內的該當位置，藉由第2AR解析器3B，針對前記CG物件OBJ，對於攝影機1目前正在拍攝之攝影影像，計算其在攝影機視野內的外觀，在該當攝影機1的攝影影像的該當位置，用該當外觀來進行合成，以顯示器7來顯示合成好的影像，為其特徵。

更具體而言，係如以下程序。

STEP1：將對應於AR標記的CG物件，予以記憶。

STEP3：藉由攝影機校正，以第1AR解析器3A、第2AR解析器3B分別算出攝影機參數Pa,Pb然後分別記憶至記憶部3A1,3B1中。

STEP5：以第2AR解析器3B進行初期化處理，決定模型視野矩陣Mb並記憶之。

以上係為前處理。

STEP7：以攝影機1拍攝含AR標記MRK的情景，對第1AR解析器3A輸入攝影影像。

STEP9,11：於第1AR解析器3A中，從攝影影像找出AR標記像MRK，查出AR標記像MRK的位置、姿勢、尺度，決定視野模型矩陣Ma。

STEP13：以第1AR解析器3A，使用矩陣Pa,Ma來進行AR標記像MRK往螢幕SCR-A之投影，將其結果輸出至第2AR解析器3B。

STEP15：於第2AR解析器3B中，決定標記像MRK的偏置矩陣Mo。

STEP17：於第2AR解析器中，決定目前的攝影機之位置、對應於中心軸方向的CG物件的外觀(位置、姿勢、尺度)，投影至螢幕面SCR-A，將其結果輸出至CG成像部5。

STEP19：從記憶部51讀出CG物件OBJ的影像資料，使用來自第2AR解析器3B的投影轉換影像之資料而生成CG物件被目前攝影角度所觀看的CG物件之外形的影像，在攝影機1的目前攝影影像的對應之空間座標位置上，進行CG合成。

STEP21：以顯示器5來顯示合成影像。

根據以上，若依據本發明的實施形態，則可藉由標記辨識型的第1AR解析器3A，自動決定對象標記像MRK的位置、姿勢、大小，即使標記像MRK跑到畫面外時，仍可藉由自然特徵點追蹤型的第2AR解析器3B而持續位置推定。因此，在如圖8所示被攝影機1所拍攝到的數位影像的自然風景上，不需要手動進行位置對合操作，就可將正確位置和大小、姿勢的CG物件OBJ，即時地予以合成顯示，可使攝影機1往各式各樣的位置、方向做移動。在該圖8A中，對於拍攝到AR標記大致全體的標記像MRK，將對應之CG物件OBJ予以合成顯示。然後，在畫面的右上有些微拍攝到汽車CAR的前保險桿的下部。相對於此，把攝影機往上方移動而變成AR標記沒有在畫面內的攝影角度時，仍如圖8B所示，仍可將CG物件OBJ以從移動後之攝影機所觀看之位置、姿勢，在攝影機攝影影像上做合成顯示。亦即，在圖8A之影像中所能看到的CG物件OBJ，係在圖8B的CG合成影像中會變成從更為上方之視線觀看的樣子。又，在此圖8B中，藉由攝影機1往上方移動，也可使得汽車CAR幾乎整體都被映在其中而吸引目光。

1‧‧‧固定攝影機

3A‧‧‧第1AR解析器

3A1‧‧‧記憶部

3A3‧‧‧攝影機校正部

3A5‧‧‧AR標記像解析部

3A7‧‧‧仿射轉換矩陣決定部

3A9‧‧‧照片處理部

3A11‧‧‧投影轉換處理部

3B‧‧‧第2AR解析器

3B1‧‧‧記憶部

3B3‧‧‧攝影機校正部

3B5‧‧‧初期化處理部

3B7‧‧‧模型視野矩陣推定部

3B9‧‧‧投影轉換處理部

3B11‧‧‧偏置矩陣決定部

5‧‧‧CG成像部

51‧‧‧記憶部

53‧‧‧攝影機影像輸入部

55‧‧‧CG物件影像生成部

57‧‧‧CG影像合成部

7‧‧‧顯示器

MRK‧‧‧AR標記(像)

OBJ‧‧‧CG物件

[圖1]圖1係本發明的第1AR解析器的視野容體空間與第2AR解析器的視野容體空間的說明圖。

[圖2]圖2係本發明的第1AR解析器的視野容體空間和以該當視野容體空間中所偵測到的標記像之位置為原點之座標的關係的說明圖。

[圖3]圖3係於本發明中所使用之AR標記和其所對應之CG物件像的說明圖。

[圖4]圖4係本發明的第1AR解析器的視野容體空間中所測出之標記像和其所對應之CG物件的說明圖。

[圖5]圖5係一般的針孔攝影機模型中的視野容體之定義的說明圖。

[圖6]圖6係本發明的1個實施形態的AR影像處理裝置的區塊圖。

[圖7]圖7係本發明的1個實施形態的AR影像處理方法的流程圖。

[圖8A]圖8A係上記實施形態所致之AR合成影像，是攝影機以能夠拍攝到AR標記全體的角度所拍攝到的影像，對其之AR合成影像。

[圖8B]圖8B係上記實施形態所致之AR合成影像，是攝影機以無法拍攝到AR標記的朝上角度所拍攝到的影像，對其之AR合成影像。

O1,O2‧‧‧原點

11A,11B‧‧‧視野容體

SCR-A‧‧‧螢幕面

Claims

一種AR影像處理方法，其特徵為，取得由攝影機所拍攝到的含AR標記的其周圍之第1視野內之情景的第1攝影影像；藉由第1AR解析器，解析前記攝影機所拍攝到的含AR標記像的其周圍之情景的第1攝影影像，決定AR標記像在該當第1視野內的位置、姿勢、尺度，將對應之CG物件以該當AR標記像的位置、姿勢、尺度而虛擬性地放置在前記第1視野內的該當位置；藉由第2AR解析器，針對被虛擬放置在前記第1視野內之該當位置的CG物件，計算其相對於前記攝影機其後於第2視野中所拍攝之第2攝影影像，而在該攝影機的前記第2視野內的外觀；藉由CG成像部，在前記攝影機的前記第2攝影影像之該當位置，將前記CG物件之影像，以前記第2視野內的外觀，進行合成；藉由顯示器，將前記合成之影像，予以顯示。
一種AR影像處理裝置，其特徵為，具備：攝影機；和第1AR解析器，係將前記攝影機所拍攝到的含AR標記的其周圍之第1視野內之情景的第1攝影影像予以解析，決定AR標記像在該當第1視野內的位置、姿勢、尺度，將對應之CG物件以該當AR標記像的位置、姿勢、尺度而虛擬性地放置在前記第1視野內的該當位置；和第2AR解析器，係針對被虛擬放置在前記第1視野內之該當位置的CG物件，計算其相對於前記攝影機其後於第2視野中所拍攝之第2攝影影像，而在該攝影機的前記第2視野內的外觀；和CG成像部，係在前記第2AR解析器所求出之前記攝影機的前記第2攝影影像之該當位置上，將前記CG物件之影像，以前記第2視野內之外觀而加以合成；和顯示器，係將前記CG成像部所合成之影像，加以顯示。