TW201944250A - 顯示控制系統、終端裝置、電腦程式、控制裝置、以及顯示控制方法 - Google Patents

Abstract

[課題]提供一種終端裝置與顯示裝置連帶動作的顯示控制系統。[解決手段]顯示控制系統具備：終端裝置10，具有拍攝部；顯示裝置50，顯示影像；以及控制裝置20，控制顯示裝置50。終端裝置10或控制裝置20基於由拍攝部所拍攝的拍攝圖像，特定出顯示裝置50所顯示的影像中的拍攝範圍。控制裝置50基於特定出的拍攝範圍，控制顯示裝置50所顯示的影像的顯示狀態。藉此，能做到如後述的具有互動性的畫面呈現：在終端裝置10的拍攝範圍中所包含的物件從影像中消失、在終端裝置10的拍攝範圍使物件出現在影像中。

Description

顯示控制系統、終端裝置、電腦程式、控制裝置、以及顯示控制方法

本發明係關於一種顯示控制系統或顯示控制方法，特定出在既定的影像中由終端裝置所拍攝的拍攝範圍，並基於該拍攝範圍控制影像的顯示狀態。舉例而言，在本發明的系統，於投影至屏幕的影像中存在有動物的情況，能做到如後述的畫面呈現：當以終端裝置拍攝該動物，則動物會從影像中消失，彷彿是由終端裝置捕捉到動物。或者，還能做到如後述的畫面呈現：使動物或飼料等出現在由終端裝置所拍攝的影像的拍攝範圍中。又，本發明還關於一種使用於像這樣的系統的終端裝置，或關於一種終端裝置用的電腦程式。

近年來，隨著高功能且多功能的可攜式終端（所謂的智慧型手機）的普及率升高，普遍能看到各廠商嘗試藉由對利用者所持有的可攜式終端提供具吸引力的程式內容，提高顧客前往展示會或店舖的集客力。

舉例而言，在專利文獻1揭露一種使用所謂的AR（Augmented Reality）技術的店鋪集客輔助系統。在專利文獻1的系統，係將既定的腳色的影像投影至屏幕，讓利用者以可攜式終端拍攝此影像，從而特定出在此拍攝圖像所包含的腳色，並令此特定出的腳色為已完成捕捉而登錄至圖鑑；其中，屏幕設在店鋪中的商品所配置的區域。在此系統，藉由網際網路將由利用者的可攜式終端所拍攝的圖像傳送至管理伺服器，並在管理伺服器中進行拍攝圖像的解析，從而特定出在該圖像所包含的腳色。因為投影在屏幕的腳色的影像被嵌入有記號資訊（例如腳色的帽子形狀等），所以管理伺服器藉由從拍攝圖像抽出此記號資訊，能特定出利用者拍攝哪個種類的腳色。

[習知技術文獻]
[專利文獻]
[專利文獻1]日本特開2016-62273號公報

[發明所欲解決的課題]
然而，在專利文獻1的系統，僅僅只是藉由在管理伺服器解析從可攜式終端接收的拍攝圖像，而判斷可攜式終端是否成功捕捉（拍攝）到腳色，即使在成功捕捉（拍攝）到腳色的情況，腳色仍會持續投影至屏幕上。在現實世界中捕捉到對象物體的情況，對象物體會移動到使用者的手邊而不會留在原來的地方，但是在專利文獻1的系統，因為腳色被捕捉後仍會留在屏幕上，所以可說是與現實世界的狀況背道而馳。像這樣，在專利文獻1的系統是具有如後述的問題：無法對使用者給予彷彿實際捕捉到屏幕上的腳色的具真實感的體驗。

又，在專利文獻1的系統，因為是以在管理伺服器判斷可攜式終端是否成功拍攝到腳色為前提，所以假如可攜式終端拍攝到未包含腳色的屏幕上的影像，在此情況會無法特定出該可攜式終端是拍攝到影像中的哪個範圍。因此，在此系統是無法做到如後述的互動式（雙方向）畫面呈現：使新的腳色出現在例如是由可攜式終端所拍攝的拍攝範圍中。

於此，本發明的主要目的在於，在利用者以終端裝置拍攝的系統中，能讓顯示裝置所顯示的影像做到具有真實感的互動式畫面呈現。

[解決課題的技術手段]
本發明的第一態樣係關於一種顯示控制系統。顯示控制系統具備：終端裝置，具有拍攝部；顯示裝置，顯示影像；以及控制裝置，控制此顯示裝置。終端裝置與控制裝置係透過通訊線路（網際網路或LAN），以彼此能進行資訊的傳送接收的方式用無線或有線做連接。顯示裝置的例子則為將影像投影至屏幕的投影機，或將影像顯示在液晶面板或有機EL面板的顯示器。附帶一提的是，顯示裝置所顯示的「影像」包含動態影像與靜態影像。

當終端裝置藉由拍攝部拍攝顯示裝置所顯示的影像，則終端裝置或控制裝置會基於由拍攝部所拍攝的拍攝圖像，特定出顯示裝置所顯示的影像中的拍攝範圍。舉例而言，在影像中包含背景與物件的情況，則解析拍攝圖像並抽出背景，藉由將抽出的背景與用以特定出影像中的座標的地圖資訊（預先儲存在終端裝置或控制裝置的資訊）做比對，而能特定出該影像中的拍攝範圍。附帶一提的是，此地圖資訊可為藉由實施如後述者所製作的資料（完成學習的模組）：將整體影像中的一部分切取出，並預先累存多個切取的圖像，將此累存的圖像作為訓練資料，再實施深度學習等的機器學習。藉由利用機器學習，即使影像為動態影像亦能提高特定出的拍攝範圍的座標的精確度。又，亦可為：終端裝置基於自身的拍攝圖像而特定出拍攝範圍，並將該拍攝範圍的資訊傳送至控制裝置。還可為：終端裝置將拍攝圖像傳送至控制裝置，控制裝置基於該拍攝圖像而特定出拍攝範圍。

之後，控制裝置基於特定出的拍攝範圍，控制顯示裝置。舉例而言，能使拍攝範圍所包含的物件為非顯示，或者能使物件出現在拍攝範圍中，或者能使表示終端裝置的拍攝範圍的標框即時地顯示。像這樣，在終端裝置拍攝顯示裝置所顯示的影像時，藉由對應該拍攝範圍即時地控制影像的顯示狀態，能做到如後述的具有真實感的互動式呈現：例如藉由終端裝置所拍攝（捕捉）到物件從影像中消失。附帶一提的是，利用終端裝置所拍攝的拍攝範圍的顯示呈現並非限定為此處所列舉者，還能應用在其他各種的形態。

在本發明的系統中，控制裝置可為：以顯示既定的物件的方式控制顯示裝置，並判斷在特定出的拍攝範圍中是否包含物件，且基於此處的判斷結果，控制顯示裝置所顯示的物件的顯示狀態。物件可為如後述者：基於控制裝置所做的控制，在構成影像的世界座標系統中即時地動作。

在本發明的系統中，控制裝置較佳為：在特定出的拍攝範圍中包含物件的情況，以物件呈非顯示的方式控制顯示裝置。若根據這樣的方式，因為由使用者所拍攝的物件會從影像中消失，能提供彷彿使用者實際捕捉到影像中的物件的具真實感的體驗。惟須注意的是，物件的顯示控制並非限定為此，例如可為使終端裝置的拍攝範圍所包含的物件的顏色改變，或可為使物件變形，或可為改變物件的行動等，能應用在各種的畫面呈現。

在本發明的系統中，控制裝置較佳為：以既定的物件出現在特定出的拍攝範圍中的方式控制顯示裝置。若根據這樣的方式，因為使用者能讓物件出現在影像中的任意位置，所以能對使用者給予具投入感的體驗。又，例如還可為如後述的畫面呈現：使用者讓曾經從影像中捕捉到的物件出現在其他的任意場所。

在本發明的系統中，終端裝置較佳為：儲存用以特定出影像中的座標的地圖資訊，藉由參照地圖資訊而特定出拍攝範圍的座標資訊，並將拍攝範圍的座標資訊傳送至控制裝置。雖然亦可為在控制裝置側解析拍攝圖像並特定出拍攝範圍，惟在該情況當多個終端裝置集中存取控制裝置時，會使控制裝置的負荷超載而產生程序阻塞，恐有導致處理的延誤的可能性。因此，較佳為：拍攝圖像的解析係在終端裝置側進行，只將拍攝範圍的座標資訊傳送至控制裝置，從而避免上述程序阻塞的產生。

在本發明的系統中，終端裝置較佳為還具備用以特定出自身現在位置的位置資訊特定部。位置資訊特定部例如是超音波感測器，其解析從設置在活動會場中的超音波產生裝置所輸出的超音波的頻率。只要將活動會場中區分為多個區域，並在每個區域配置不同輸出頻率的超音波產生裝置，再以終端裝置解析該超音波的頻率，藉此終端裝置即能特定出自身現在位置。而其他的位置資訊特定的例子還能列舉GPS接收機等。在此情況，亦可為：終端裝置或控制裝置基於由拍攝部所拍攝的拍攝圖像與由位置資訊特定部所特定出的現在位置的資訊，特定出顯示裝置所顯示的影像中的拍攝範圍。像這樣，除了基於拍攝圖像還基於終端裝置的位置資訊而特定出影像中的拍攝範圍，藉此能提升該特定處理的精確度。舉例而言，在影像顯示在橫跨會場中的廣大範圍的情況，影像中的背景為相同的地方可能會多數存在。在該情況，只靠影像中的背景有可能會無法特定出終端裝置的拍攝範圍。於此，藉由參照可攜式終端的位置資訊，能輕易地專一特定出終端裝置所拍攝的拍攝範圍。

本發明的第二態樣係關於一種終端裝置。本發明的終端裝置具備：拍攝部、圖像解析部以及通訊部。拍攝部為用以取得圖像的相機。圖像解析部基於由拍攝部所拍攝的拍攝圖像，特定出影像中的拍攝部所拍攝的拍攝範圍。通訊部將關於特定出的拍攝範圍的資訊傳送至控制影像的顯示狀態的控制裝置。附帶一提的是，終端裝置亦可具有儲存部，其儲存用以特定出既定的影像中的座標的地圖資訊。在此情況，終端裝置的圖像解析部基於由拍攝部所拍攝的拍攝圖像與地圖資訊，特定出影像中的拍攝部所拍攝的拍攝範圍。

本發明的第三態樣係關於一種電腦程式，用以使可攜式資訊通訊終端作為上述第一態樣的顯示控制系統的終端裝置發揮功能，或者作為上述第二態樣的終端裝置發揮功能。電腦程式可為儲存在資訊儲存媒體者，亦可為能透過網際網路而下載者。

本發明的第四態樣係關於一種控制裝置，基於具有拍攝部的終端裝置所拍攝的拍攝圖像，控制顯示裝置。控制裝置從終端裝置接收拍攝圖像，並基於該拍攝圖像，特定出顯示裝置所顯示的影像中的拍攝範圍。或者，終端裝置基於拍攝圖像，特定出顯示裝置所顯示的影像中的拍攝範圍，控制裝置再從此終端裝置接收關於拍攝範圍的資訊。然後，控制裝置基於特定出的拍攝範圍，控制顯示裝置。

本發明的第五態樣係關於一種顯示控制方法。本發明的顯示控制方法包含以下步驟：第一步驟，終端裝置或控制裝置基於由終端裝置的拍攝部所拍攝的拍攝圖像，特定出顯示裝置所顯示的影像中的拍攝範圍；以及第二步驟，控制裝置基於特定出的拍攝範圍，控制顯示裝置所顯示的影像。

[發明功效]
若根據本發明，在利用者以終端裝置拍攝的系統中，能讓顯示裝置所顯示的影像做到具有真實感的互動式的畫面呈現。

以下，使用圖式針對用以實施本發明的形態說明。本發明並非限定為以下說明的形態者，還包括所屬技術領域中具有通常知識者在顯而易知的範圍從以下的形態做適當變更者。

圖1係示意地表示本發明一實施形態的顯示控制系統100的整體構成。如圖1所示，本發明的顯示控制系統100具備：終端裝置10、控制裝置20以及顯示裝置50。終端裝置10與控制裝置20係透過網際網路或LAN等的通訊線路而連接。終端裝置10為系統的使用者所持有的可攜式資訊通訊終端，例如能使用智慧型手機或平板型終端。終端裝置10具有相機（拍攝部），能拍攝顯示裝置50所顯示的影像並取得圖像。控制裝置20控制顯示裝置50，並使其輸出既定的影像。在本實施形態中，控制裝置20構成為包含透過通訊線路而彼此連接的管理裝置30，以及繪圖裝置41。管理裝置30例如是能與終端裝置10通訊的網頁伺服器，繪圖裝置41例如是如後述的區域PC：與顯示裝置50配置在相同的設施中，並以有線或無線連接顯示裝置50。顯示裝置50遵循控制裝置20的控制，輸出既定的影像。在本實施形態中，顯示裝置50係選用將影像投影至屏幕60的投影機。惟須注意的是，投影機亦可替換為液晶顯示器或有機EL顯示器等的顯示器裝置。顯示裝置50可多台設置在活動會場中。在此情況，繪圖裝置40與顯示裝置50可為一對一對應，亦可為將多個顯示裝置50連接一個繪圖裝置40。

圖2係表示顯示控制系統100的功能方塊。如圖2所示，終端裝置20具有：處理部11、儲存部12、通訊部13、拍攝部14、位置資訊取得部15、輸出部16以及操作部17。附帶一提的是，在圖2係舉例表示作為終端裝置10的功能構成的一般者。在本系統是設想存在有多台終端裝置10，惟各終端裝置10無需全部都具有相同構成，亦可具有不同的構成。

終端裝置10的處理部11進行如後述的處理：控制終端裝置10所具備的其他要素12～17。作為處理部11，能利用稱為CPU或GPU的處理器。處理部11讀取儲存在儲存部12的應用程式（電腦程式），遵循此應用程式而控制其他要素。又，處理部11亦可將遵循應用程式的運算結果適當地對儲存部12寫入或讀取。

又，在本實施形態中，終端裝置10的處理部11具有：圖像解析部11a、位置特定部11b以及物件特定部11c。圖像解析部11a解析由拍攝部14所取得的拍攝圖像，並特定出顯示裝置所顯示的影像中的拍攝範圍。此時，圖像解析部11a能參照儲存在儲存部12的地圖資訊。此地圖資訊具有關於如後述者的資訊：影像整體的各點中的座標位置。位置特定部11b基於位置資訊取得部15所取得的資訊，特定出終端位置10的自身現在位置。物件特定部11c進行如後述的處理：基於從控制裝置20得到的資訊而特定出拍攝圖像所包含的物件、基於藉由操作部17所輸入的使用者指示而選擇物件。這些功能部11a～11c所進行的處理的詳細內容，係參照圖4或圖8所示的流程圖於說明書中後述。

終端裝置10的儲存部12為如後述的要素：用以儲存使用於處理部11的運算處理等的資訊。若具體說明之，儲存部12儲存有如後述的應用程式：使通用的可攜式資訊通訊終端作為本發明的顯示控制系統100的終端裝置10發揮功能。此應用程式，可為經由網際網路而下載至終端裝置10者，亦可為預先安裝在終端裝置10者。又，在儲存部12除了本系統用的應用程式之外，亦可儲存其他程式。當依據來自使用者的指示而啟動本系統用的應用程式，則會執行遵循此程式的處理。又，在儲存部12還可儲存終端裝置10固有的終端ID，或者可儲存持有該終端裝置的使用者固有的使用者ID。又，在儲存部12係儲存有網際網路上的識別資訊的IP位址。更進一步，在儲存部12係預先儲存有處理部11的圖像解析部11a從拍攝圖像特定出影像中的拍攝範圍時所要參照的地圖資訊。又，在儲存部12係將關於終端裝置10所能捕捉或釋放的物件的資訊（圖像資料或物件的說明等）與各物件的ID資訊建立關連性並儲存。儲存部12的儲存功能能藉由例如稱為HDD或SDD的非揮發性記憶體而實現。又，儲存部12還可具有作為如後述的記憶體的功能：用以寫入或讀取由處理部11所執行的運算處理的中間過程等。儲存部12的記憶體功能可藉由稱為RAM或DRAM的揮發性記憶體而實現。

終端裝置10的通訊部13為如後述的要素：用以在與控制裝置20（具體而言是管理裝置30）之間，藉由網際網路等的通訊線路而進行資訊的傳送接收。通訊部13係遵循處理部11的控制，能將各種資訊傳送至控制裝置20或從控制裝置20接收。

拍攝部14為用以取得靜態影像或動態影像的圖像資料的相機。構成拍攝部14的相機係利用內建在終端裝置10者。由拍攝部14所取得的圖像資料在送往處理部11並進行既定的運算處理後，會被保存至儲存部12。相機例如是由如後述者所構成：鏡頭、機械快門、快門驅動器、稱為CCD影像感測單元或CMOS影像感測單元的光電轉換元件、從光電轉換元件讀取電荷量並產生圖像資料的數位訊號處理器（DSP）、IC記憶體等。

位置資訊取得部15為如後述的要素：用以取得關連於終端裝置10的現在位置資訊的資訊。終端裝置10的位置資訊取得部15例如是如後述的超音波感測器：可接收從設置在活動會場中的超音波產生裝置所發出的既定頻率的超音波。舉例而言，活動會場係區分為多個區域，並在每個區域配置產生不同頻率的超音波產生裝置。在此情況，各頻率的超音波係作為位置資訊而發揮功能。除此之外，位置資訊取得部15亦可為具有進行利用GPS（Global Positioning System，全球定位系統）的定位功能的GPS定位部。具體而言，GPS定位部基於包含在多個GPS衛星所傳送的電波中的電波傳送時間的資訊，測量接收各個電波所需要的時間，並基於表示該時間的時間資訊，計算出關於終端裝置10的所在位置的經緯度的資訊。

輸出部16為用以對終端裝置10的利用者輸出各種資訊的要素。在處理部11所運算處理的資訊係藉由輸出部16做輸出。輸出部16能選用在習知的資訊通訊終端所利用的各種外部輸出裝置。輸出部16例如是顯示器、喇叭、閃光燈以及振動器，但並非限定為此。輸出部16係遵循終端控制部11的控制，能輸出各種資訊。

操作部17為用以接收使用者對終端裝置10所輸入的資訊的要素。藉由操作部17所輸入的資訊係被傳達至處理部11。操作部17能選用在習知的資訊通訊終端所利用的各種輸入裝置。操作17例如是觸控面板、按鍵、游標、麥克風、鍵盤以及滑鼠，但並非限定為此。又，構成操作部17的觸控面板亦可與構成輸出部16的顯示器一同構成觸控面板顯示器。

控制裝置20為用以控制顯示裝置50的電腦。控制裝置20能使顯示裝置50的控制反映出從終端裝置10得到的資訊（具體而言是關於由拍攝部所拍攝的影像的拍攝範圍的資訊）。如前述內容，在本實施形態中，控制裝置20的功能被分散為作為網頁伺服器的管理裝置30與作為區域PC的繪圖裝置40。惟須注意的是，在顯示裝置50能藉由網際網路直接與作為網頁伺服器的管理裝置30通訊的情況，控制裝置20的功能可集中在此管理裝置30，而在終端裝置11可藉由LAN直接與作為區域PC的繪圖裝置40通訊的情況，控制裝置20的功能可集中在此繪圖裝置40。又，管理裝置30與繪圖裝置40亦可分別由多台電腦所架構。

管理裝置30藉由網際網路而連接終端裝置10與繪圖裝置40。管理裝置30基本上承擔如後述的功能：即時產生影像，同時對繪圖裝置40傳送用以顯示該影像的控制資訊，使此繪圖裝置40控制顯示裝置50。如圖2所示，管理裝置30構成上至少包含處理部31、儲存部32以及通訊部33。

作為管理裝置30的處理部31，能使用稱為CPU或GPU的處理器。處理部31讀取儲存在儲存部32的影像內容，即時地產生從顯示裝置50輸出的影像。在本實施形態中，管理裝置30的處理部31具有顯示控制部31a與物件控制部31b。顯示控制部31a以背景圖像作為中心，控制欲使顯示裝置50顯示的影像的顯示狀態。物件控制部31b則遵循前述的動作程式等，控制影像中所存在的物件的顯示狀態或動作等。

管理裝置30的儲存部32為如後述的要素：用以儲存使用於處理部31的運算處理等的資訊。在儲存部32係儲存有構成顯示裝置50所顯示的影像的影像內容。影像內容例如包含：影像的背景圖像（包含靜態影像與動態影像）、重疊於此背景圖像的物件圖像、用以使此物件動作的程式等。物件包含如後述者：在構成影像的世界座標系統中，遵循既定的動作程式做移動而採取預先設定的行動者（動作物件：Action Object）；以及自身不做動作但會對其他動作物件起作用者（互動物件：Interaction Object）。又，亦能以動作物件彼此相互作用的方式設定動作程式。儲存部32能藉由例如稱為HDD或SDD的非揮發性記憶體，或稱為RAM或DRAM的揮發性記憶體而實現。

管理裝置30的通訊部33為如後述的要素：用以在終端裝置10與繪圖裝置40之間，藉由網際網路等的通訊線路而進行資訊的傳送接收。通訊部33係遵循處理部31的控制，能將各種資訊對終端裝置10或繪圖裝置40做傳送接收。

繪圖裝置40藉由網際網路而連接管理裝置30，並以有線或無線LAN連接至顯示裝置50。繪圖裝置40基本上遵循從管理裝置30接收的影像的顯示控制資訊，使顯示裝置30顯示影像。如圖2所示，繪圖裝置40構成上至少包含繪圖部41、儲存部42以及通訊部43。作為繪圖裝置41，能使用稱為CPU或GPU的處理器。儲存部42能藉由例如稱為HDD或SDD的非揮發性記憶體，或稱為RAM或DRAM的揮發性記憶體而實現。通訊部43為如後述的要素：用以在與管理裝置30之間，藉由網際網路等的通訊線路而進行資訊的傳送接收。

顯示裝置50遵循來自繪圖裝置40的控制而顯示既定的影像。作為顯示裝置50，能選用將影像投影至屏幕或牆壁的投影機，亦可選用能顯示影像的液晶顯示器或有機EL顯示器。又，顯示裝置50亦可為顯示3維全像影像者。除此之外，還能適當選用習知者作為顯示裝置50。

接著，參照圖3與圖4，說明終端裝置10與控制裝置20（管理裝置30與繪圖裝置40）所進行的處理的一例子。於此，針對如後述的情況的處理做說明：使用者利用終端裝置10捕捉到影像中的物件的情況。

圖3表示動作物件的捕捉處理的概要。如圖3（a）所示，當使用者啟動終端裝置10的相機，並將此相機朝向投影有影像的屏幕60，則該相機所拍攝的拍攝範圍在屏幕60上是以標框F做顯示。附帶一提的是，為了讓使用者容易明白拍攝範圍，較佳為顯示此標框F，惟標框F的顯示並非必要。又，投影至屏幕60的影像中，是顯示有例如仿照動物等的腳色的動作物件AO。動作物件AO係遵循既定的動作程式而在影像空間中採取既定的行動。又，在動作物件進入終端裝置10的拍攝範圍的狀態，當使用者對終端裝置10輸入捕捉動作的操作，則終端裝置10會從相機取得拍攝圖像。如此一來，使用者所拍攝的動作物件AO會從屏幕60上的影像消失。藉此，能對使用者給予彷彿捕捉到影像中的動作物件的體驗。以下參照圖4，針對像這樣的物件的捕捉流程做說明。

首先，使用者啟動終端裝置10的相機（拍攝部14）（步驟S1-1）。當使用者將終端裝置10的相機朝向屏幕60而拍攝影像，則終端裝置10的圖像解析部11a會即時地解析由相機所連續拍攝的圖像，並特定出影像中的拍攝範圍（步驟S1-2）。拍攝範圍的特定是以如下方式進行。亦即，在終端裝置10的儲存部12係儲存有表示影像整體的各點中的座標的地圖資訊。在圖5係概念性地表示地圖資訊的資料構造。在地圖資訊係標繪有影像整體的背景圖像（圖示省略），同時還標繪該影像中的各座標點。因此，在本實施形態中，影像中的各座標點對終端裝置10而言被視為已知的資訊。從相機所取得的拍攝圖像係設想為至少顯像有部分的背景圖像（雖然也設想會有拍攝圖像只顯像出物件而未包含背景圖像的情況，惟該情況只要令標框為未顯示或者令為捕捉失敗即可）。圖像解析部11a係比對顯像於拍攝圖像中的背景圖像與地圖資訊的背景圖像，從而特定出相機所拍攝的拍攝範圍。此時，只要特定出矩形的拍攝範圍中至少對角線上的2點的角部座標資訊（P1，P2）即可。而該等2點的角部座標資訊係成為用以特定出拍攝範圍的資訊。

附帶一提的是，構成影像的背景圖像亦可不只為靜態影像，亦可令為動態影像。在背景圖像為動態影像的情況，相較於為靜態影像的情況，特定出拍攝範圍會變得困難。在該情況，係製作多個由動態影像所構成的背景圖像的部分擷取圖像，並對各擷取圖像賦予座標資訊而累存多個訓練資料。然後，以此訓練資料為基礎實施機器學習，將該學習結果（完成學習的模組）作為地圖資訊而利用。藉此，即使背景圖像為動態影像，亦可提高拍攝範圍的特定精確度。

接著，終端裝置10的位置特定部11b會基於由位置資訊取得部15所取得的位置資訊，特定出拍攝位置（步驟S1-3）。在位置資訊取得部15是由超音波感測器所構成的情況，位置特定部11b只要基於設置在會場的超音波產生裝置所產生的超音波的頻率，特定出拍攝位置即可。又，位置資訊取得部15亦可為GPS接收機。

接著，終端裝置10的通訊部13會將終端裝置10的終端ID、關於拍攝範圍的資訊以及拍攝位置的位置資訊一同傳送至管理裝置30（步驟S1-4）。管理裝置30的顯示控制部31a係基於在此接收的拍攝範圍資訊與位置資訊，特定出顯示有終端裝置10的相機所朝向的影像的顯示裝置50。然後，管理裝置30的顯示控制部31a會產生如後述的顯示控制命令並將該命令傳送至繪圖裝置40（步驟S1-5）：用以在特定出的顯示裝置50的影像中，顯示對應終端裝置10的拍攝範圍的標框的圖像。繪圖裝置40係遵循從管理裝置30接收的命令而控制顯示裝置50。藉此，如圖3（a）所示，藉由顯示裝置50，在屏幕60上會投影出對應終端裝置10的拍攝範圍的標框F。使用者可一邊觀看手邊的終端裝置10的顯示器，或者可一邊觀看屏幕60所顯示的標框F，以動作物件AO進入相機的拍攝範圍的方式，調整相機的朝向、角度或放大倍率。

接著，終端裝置10的處理部11會判斷使用者是否藉由操作部17對終端裝置10輸入關於捕捉動作的操作（步驟S1-6）。捕捉動作例如是觸控顯示畫面上的特定部位的操作或聲音的輸入操作。只要沒有輸入捕捉動作，就會一直反覆步驟S1-2至步驟S1-5。當輸入捕捉動作，則相機的快門會按下而取得拍攝圖像（靜態影像）。在該情況，相同於步驟S1-4，終端裝置10的通訊部13會將終端裝置10的終端ID、關於拍攝範圍的資訊以及拍攝位置的位置資訊一同傳送至管理裝置30（步驟S1-7）。又，在此時亦可將操作終端裝置10的使用者固有的使用者ID傳送至管理裝置30。

接著，管理裝置30的物件控制部31b會基於從終端裝置10所接收的拍攝範圍資訊與位置資訊，判斷該終端裝置10的拍攝範圍所包含的物件（步驟S1-8）。物件控制部31b為如後述的要素：基於儲存在儲存部32的動作程式，控制影像空間中所存在的各種物件。因此，物件控制部31b完全掌握了影像空間中所存在的各種物件的位置。物件控制部31b係比對表示拍攝範圍的座標資訊與各種物件的座標資訊，判斷在該拍攝範圍是否存在有可捕捉的物件。可捕捉的物件可為遵循動作程式而行動的動作物件，亦可為相對於其他動作物件而起作用的互動物件。動作物件例如是仿照動物等外觀的腳色的物件。又，互動物件例如是仿照動物的飼料等的物件。在圖3的例子，鹿外觀的動作物件係包含在終端裝置10的拍攝範圍。因此，物件控制部31b會判斷此鹿外觀的動作物件被終端裝置10所捕捉。附帶一提的是，在倘若終端裝置10的拍攝範圍未包含物件的情況，則視為物件捕捉失敗而結束此流程。

接著，管理裝置30的處理部31會將關於在上述步驟S1-8判定為被捕捉到的物件的資訊傳送至終端裝置10（步驟S1-9）。作為關於物件的資訊，可列舉物件固有的ID資訊。在終端裝置10的儲存部12係將各物件的ID資訊建立關連性，並儲存有物件的圖像資料或說明等的資訊。因此，只要從管理裝置30對終端裝置10傳送成為捕捉對象的物件的ID資訊，終端裝置10即能基於該ID資訊從儲存部12讀出關連於捕捉的物件的資訊（圖像資料或說明）。附帶一提的是，關於未儲存在終端裝置10的儲存部12的物件，則可從管理裝置30對終端裝置10發布物件的ID資訊，除此之外還可發布關於物件的圖像資料或說明的資訊。像這樣，終端裝置10的物件特定部11c會基於從管理裝置30所接收的物件的ID資訊等，特定出由自身的相機所拍攝（捕捉）到的物件（步驟S1-10）。

接著，終端裝置10的處理部11會將關於在步驟S1-10所特定出的物件的資訊顯示在輸出部16（顯示器）（步驟S1-11）。舉例而言，只要顯示使用者成功捕捉的物件的圖像或該物件的說明等即可。在圖3（b）所示的例子，因為使用者捕捉到鹿外觀的動作物件，所以在終端裝置10會將鹿的圖像或關於鹿的生態的文字資訊等顯示在顯示器。又，終端裝置10的處理部11會將關於在步驟S1-10所特定出的物件的資訊儲存至儲存部12（步驟S1-12）。像這樣，使用者所捕捉的物件能儲存在終端裝置10。舉例而言，亦可將使用者所捕捉的物件的一覽以圖鑑形式顯示在終端裝置10。

另一方面，管理裝置30的物件控制部31b會產生如後述的控制命令並傳送至繪圖裝置40：用以使終端裝置10的拍攝範圍所包含的物件呈非顯示。藉此，繪圖裝置40係遵循控制命令，以如後述方式控制顯示裝置50（步驟S1-13）：使由終端裝置10所拍攝的物件消失。舉例而言，如圖3（b）所示，當使用者成功捕捉（拍攝）到鹿外觀的動作物件AO，則與此捕捉動作連動，鹿外觀的動作物件AO會從投影至屏幕60的影像消失。像這樣，藉由讓屏幕60上的影像連動於使用者的動作，能對使用者提供更具真實感的體驗。

接著，管理裝置30的處理部31會將關於使用者的捕捉動作的資訊儲存至儲存部32（步驟S1-14）。舉例而言，係將終端裝置10固有的終端ID或使用者固有的使用者ID建立關連性，並將成功捕捉的物件的ID資訊或捕捉時刻、捕捉場所（座標）等登錄至儲存部32。藉此，能以管理裝置30管理使用者的行動履歷等。

接著，參照圖6至圖8，說明終端裝置10與控制裝置20（管理裝置30與繪圖裝置40）所進行的處理的其他例子。於此，針對如後述的情況的處理做說明：使用者利用終端裝置10將影像中的物件做釋放。

圖6係表示使用者將曾經成功捕捉的動作物件再度釋放的例子。亦即，在圖3中使用者雖然捕捉到鹿外觀的動作物件，惟在圖6則將此鹿外觀的物件釋放到影像中的其他場所。像這樣，在本系統，能將成功捕捉的物件自由地移動至其他場所。另一方面，圖7則表示使用者釋放飼料的互動物件的例子。飼料的互動物件可為系統的營運者對使用者提供的道具，亦可為使用者遵循圖4所示的流程而從影像中捕捉的道具。程式會設定為：當飼料的互動物件釋放至影像中，則存在於該飼料附近的動作物件會被該飼料所引誘。像這樣，使用者使用本系統能體驗動作物件的捕捉或釋放，或者能體驗對該動作物件餵飼料等。

在物件的釋放流程，首先使用者操作終端裝置10，自由地選擇成為釋放對象的物件（動作物件或互動物件）（步驟S2-1）。在終端裝置10的儲存部12因為儲存有使用者曾經捕捉的物件或營運所提供的物件，所以使用者可從中選擇任意的物件。

步驟S2-2至步驟S2-6分別相同於圖4所示的步驟S1-2至步驟S1-5的處理。亦即，以讓使用者可容易明白影像中的拍攝範圍的方式，將對應終端裝置10的拍攝範圍的標框F顯示在屏幕60。

接著，終端裝置10的處理部11在成為釋放對象的物件被選擇後，判斷使用者是否藉由操作部17對終端裝置10輸入關於釋放動作的操作（步驟S2-7）。釋放動作的例子則相同於捕捉動作，係為觸控顯示畫面上的特定部位的操作或聲音的輸入操作。只要沒有輸入釋放動作，就會一直反覆步驟S2-3至步驟S2-6。當輸入釋放動作，則相機的快門會按下而取得拍攝圖像（靜態影像）。在該情況，終端裝置10的通訊部13會將終端ID、關於拍攝範圍的資訊、拍攝位置的位置資訊以及關於被選擇作為釋放對象的物件的資訊（物件的ID資訊等）一同傳送至管理裝置30（步驟S2-8）。又，在此時亦可將操作終端裝置10的使用者固有的使用者ID傳送至管理裝置30。

接著，管理裝置30的物件控制部31a會基於從終端裝置10所接收的上述資訊，特定出成為釋放對象的物件與影像中該物件要出現的位置（座標）（步驟S2-9）。亦即，物件控制部31基於從終端裝置10所接收的物件的ID資訊，特定出影像中所要出現的物件，同時還基於關於拍攝範圍的資訊，特定出該物件要出現在影像中的位置。又，管理裝置30的物件控制部31a會產生如後述的控制命令並將此命令傳送至繪圖裝置40：用以使終端裝置10所選擇的物件出現在終端裝置10的拍攝範圍中。繪圖裝置40則遵循此控制命令，以讓選擇的物件顯示在終端裝置10的拍攝範圍中的方式控制顯示裝置50（步驟S2-10）。藉此，例如圖6（b）或圖7（b）所示，在投影至屏幕60的影像，使用者所選擇的動作物件AO或互動物件IO會出現在終端裝置10的拍攝範圍中。

接著，管理裝置30的處理部31會將關於使用者的釋放動作的資訊儲存至儲存部32（步驟S2-11）。舉例而言，係將終端裝置10固有的終端ID或使用者固有的使用者ID建立關連性，並將釋放的物件的ID資訊或釋放時刻、釋放場所（座標）等登錄至儲存部32。藉此，能以管理裝置30管理使用者的行動履歷等。又，即使在終端裝置10中，亦能將關於使用者的釋放動作的資訊儲存至儲存部12（步驟S2-12）。舉例而言，可將釋放的物件的ID資訊或釋放時刻、釋放場所（座標）等登錄至儲存部12。藉此，例如曾經釋放過的物件在下次釋放流程就會無法被選擇作為釋放對象。又，關於釋放次數具有限制的物件，則釋放次數的計數會減1。

如以上內容，在本發明的系統，當由終端裝置10進行捕捉或釋放影像中所包含的物件，則顯示裝置50會連動使該物件從影像中消失或出現。藉此，若根據本系統能做到具真實感的互動式畫面呈現。

以上，在本發明說明書為了表現本發明的內容，係一邊參照圖式一邊進行本發明的實施形態的說明。惟須注意的是，本發明並非限定為上述實施形態者，還包括所屬技術領域中具有通常知識者基於本發明說明書記載的事項所做的顯而易知的變更形態或改良形態者。

舉例而言，在本發明說明書所詳細說明的實施形態，為了避免存取集中在管理裝置30而產生程式效能的瓶頸，係令為在終端裝置10側解析拍攝圖像並特定出影像中的拍攝範圍的座標。惟須注意的是，只要令終端裝置10對管理裝置30傳送拍攝圖像，亦能在管理裝置30對該拍攝圖像做解析並特定出影像中的拍攝範圍的座標。在該情況，用以特定出影像中的座標的地圖資訊並非儲存在終端裝置10的儲存部12，而是儲存在管理裝置30的儲存部32即可。

[產業上的可利用性]
本發明例如能適用在可將腳色的圖像等收藏至數位圖鑑的系統。是以，本發明較佳能利用在娛樂產業等。

10‧‧‧終端裝置

11‧‧‧處理部

12‧‧‧儲存部

13‧‧‧通訊部

14‧‧‧拍攝部

15‧‧‧位置資訊取得部

16‧‧‧輸出部

17‧‧‧操作部

20‧‧‧控制裝置

30‧‧‧管理裝置

31‧‧‧處理部

32‧‧‧儲存部

33‧‧‧通訊部

40‧‧‧繪圖裝置

41‧‧‧繪圖部

42‧‧‧儲存部

43‧‧‧通訊部

50‧‧‧顯示裝置

60‧‧‧屏幕

100‧‧‧顯示控制系統

AO‧‧‧動作物件

IO‧‧‧互動物件

F‧‧‧標框

圖1係示意地表示顯示控制系統的整體構成。

圖2係表示構成顯示控制系統的各種裝置的功能方塊。

圖3係示意地表示捕捉動作物件的畫面呈現的動作例子。

圖4係表示物件捕捉處理的一例子的流程圖。

圖5係概念性地表示地圖資訊的例子。

圖6係示意地表示釋放動作物件的畫面呈現的動作例子。

圖7係示意地表示釋放互動物件的畫面呈現的動作例子。

圖8係表示物件捕捉處理的一例子的流程圖。

Claims (10)

1. 一種顯示控制系統，具備： 終端裝置，具有拍攝部； 顯示裝置，顯示影像；以及 控制裝置，控制該顯示裝置； 其中，該終端裝置或該控制裝置基於由該拍攝部所拍攝的拍攝圖像，特定出該顯示裝置所顯示的影像中的拍攝範圍， 該控制裝置基於特定出的該拍攝範圍，控制該顯示裝置。
2. 如申請專利範圍第1項所述之顯示控制系統，其中， 該控制裝置以顯示既定的物件的方式控制該顯示裝置， 並判斷在特定出的該拍攝範圍中是否包含該物件， 且基於該判斷結果，控制該顯示裝置所顯示的該物件的顯示狀態。
3. 如申請專利範圍第2項所述之顯示控制系統，其中， 該控制裝置在特定出的該拍攝範圍中包含該物件的情況，以該物件呈非顯示的方式控制該顯示裝置。
4. 如申請專利範圍第1項至第3項中任一項所述之顯示控制系統，其中， 該控制裝置以既定的物件出現在特定出的該拍攝範圍中的方式控制該顯示裝置。
5. 如申請專利範圍第1項至第4項中任一項所述之顯示控制系統，其中， 該終端裝置儲存用以特定出該影像中的座標的地圖資訊， 並藉由參照該地圖資訊而特定出該拍攝範圍的座標資訊， 且將該拍攝範圍的座標資訊傳送至該控制裝置。
6. 如申請專利範圍第1項至第5項中任一項所述之顯示控制系統，其中， 該終端裝置還具備用以特定出自身現在位置的位置資訊特定部， 該終端裝置或控制裝置基於由該拍攝部所拍攝的拍攝圖像與由該位置資訊特定部所特定出的現在位置的資訊，特定出該顯示裝置所顯示的影像中的拍攝範圍。
7. 一種終端裝置，具備： 拍攝部； 圖像解析部，基於由該拍攝部所拍攝的拍攝圖像，特定出該影像中的該拍攝部所拍攝的拍攝範圍；以及 通訊部，將關於特定出的該拍攝範圍的資訊傳送至控制該影像的顯示狀態的控制裝置。
8. 一種電腦程式，用以使可攜式資訊通訊終端作為如申請專利範圍第7項所述之終端裝置發揮功能。
9. 一種控制裝置，基於具有拍攝部的終端裝置所拍攝的拍攝圖像，控制顯示裝置； 其中，該控制裝置從該終端裝置接收該拍攝圖像，並基於該拍攝圖像，特定出該顯示裝置所顯示的影像中的拍攝範圍；或者 接收關於該終端裝置基於該拍攝圖像所特定出的該顯示裝置所顯示的影像中的拍攝範圍的資訊； 並基於特定出的該拍攝範圍，控制該顯示裝置。
10. 一種顯示控制方法，包含以下步驟： 終端裝置或控制裝置基於由該終端裝置的拍攝部所拍攝的拍攝圖像，特定出顯示裝置所顯示的影像中的拍攝範圍；以及 該控制裝置基於特定出的該拍攝範圍，控制該顯示裝置所顯示的影像。