TWI701628B - 用於現場直播之顯示控制系統及顯示控制方法 - Google Patents

Abstract

本發明涉及一種顯示控制系統，將表演者所存在的現實空間的視訊進行現場直播，取得上述現實空間的三維位置資訊，檢測使用者用以對上述表演者贈送物品的使用者動作，根據上述取得的三維位置資訊及上述檢測的使用者動作的使用者動作資訊，算出在上述現實空間上應配置上述物品的物品位置，並將算出的上述物品位置以上述表演者能夠辨識的方式顯示於上述現實空間上。

Description

用於現場直播之顯示控制系統及顯示控制方法

本發明是涉及一種進行現場直播的顯示控制系統及顯示控制方法。

專利文獻1等記載一種傳輸內容的伺服器。

先前技術文獻 專利文獻

專利文獻1：特許第5530557號公報

根據本發明的一態樣，能夠提供一種顯示控制系統，具備顯示裝置控制部、取得部、檢測部、及物品顯示控制部；該顯示裝置控制部將表演者所存在的現實空間的視訊作為現場直播的對象而顯示於顯示裝置；該取得部取得上述現實空間的三維位置資訊；該檢測部檢測使用者用以對上述表演者贈送物品的使用者動作；該物品顯示控制部根據上述取得部所取得的三維位置資訊及上述檢測部所檢測的使用者動作的使用者動作資訊，算出在上述現實空間上應配置上述物品的物品位置，並將算出的上述物品位置以上述表演者能夠辨識的方式顯示於上述現實空間上。

根據本發明的其他態樣，能夠提供一種顯示控制方法，將表演者所存在的現實空間的視訊進行現場直播；取得上述現實空間的三維位置資訊；檢測使用者用以對上述表演者贈送物品的使用者動作；根據上述取得的三維位置資訊及上述檢測的使用者動作的使用者動作資訊，算出上述現實空間上應配置上述物品的物品位置，並將算出的上述物品位置以上述表演者能夠辨識的方式顯示於上述現實空間上。

1:現場直播系統

2:網路

10:攝影棚

11:播放裝置

12:揚聲器

13:麥克風

14:RGB相機

15:景深相機

16:投影機

17:攝影棚螢幕

18:物品

20:伺服器

21:音源IF

22:RGB相機IF

23:景深相機IF

24:投影機IF

25:顯示IF

26:資料庫

27:資料記憶部

28:網路IF

29:主記憶體

30:控制部

40:使用者終端機

41:音源IF

42:顯示IF

43:網路IF

44:通信IF

45:資料記憶部

46:操作IF

47:主記憶體

48:控制部

49:顯示部

50:智慧型手錶

51:傳感器

52:通信IF

53:資料記憶部

54:主記憶體

55:控制部

60:使用者終端機

60a:智慧型元件終端機

61:音源IF

62:顯示IF

63:操作IF

64:傳感器

65:網路IF

66:資料記憶部

67:主記憶體

68:控制部

69:顯示部

70:使用者終端機

71:現場視訊

72:物品選擇圖樣

72a:圖樣

72b:圖樣

72c:圖樣

72d:圖樣

73:表演者選擇圖樣

73a:第1教示圖樣

74:表演者決定圖樣

74a:第2教示圖樣

75:掉落圖樣

76:取得圖樣

76a:ID圖樣

77:回贈圖樣

78:接收圖樣

81:特效圖樣

82:箱圖樣

圖1是表示現場直播系統的整體構成的圖。

圖2是伺服器與使用者終端機的方塊圖。

圖3(a)是現場直播處理的流程圖，圖3(b)是表示現場直播時使用者終端機的顯示畫面的圖。

圖4是使用者進行之物品/表演者選擇處理的流程圖。

圖5(a)是表示選擇物品時使用者終端機的顯示畫面的圖，圖5(b)是表示選擇表演者時使用者終端機的顯示畫面的圖，圖5(c)是表示選擇完物品與表演者時使用者終端機的顯示畫面的圖，圖5(d)是表示選擇完物品與表演者時攝影棚螢幕的顯示畫面的圖，圖5(e)是表示使用者做出投擲物品的動作時使用者終端機及攝影棚螢幕的顯示畫面的圖。

圖6是表示表演者取得該項物品之取得處理的流程圖。

圖7(a)是表示表演者拾獲猫耳頭飾物品時使用者終端機及攝影棚螢幕的顯示畫面的圖，圖7(b)是表示表演者穿戴頭飾物品時使用者終端機及攝影棚 螢幕的顯示畫面的圖，圖7(c)是表示表演者側身時使用者終端機及攝影棚螢幕的顯示畫面的圖。

圖8是從表演者對使用者的回贈處理的流程圖。

圖9(a)是表示表演者手持回贈的簽名球時使用者終端機及攝影棚螢幕的顯示畫面的圖，圖9(b)是表示表演者投出簽名球時使用者終端機及攝影棚螢幕的顯示畫面的圖，圖9(c)是表示使用者收到簽名球時使用者終端機及攝影棚螢幕的顯示畫面的圖。

圖10(a)是表示對表演者附加特效時使用者終端機及攝影棚螢幕的顯示畫面的圖，圖10(b)是表示使用者做出投擲物品的動作時使用者終端機及攝影棚螢幕的的顯示畫面的圖，圖10(c)是表示表演者收到物品時使用者終端機及攝影棚螢幕的顯示畫面的圖，圖10(d)是表示於背景影像顯示鐵塔時使用者終端機及攝影棚螢幕的顯示畫面的圖。

以下利用圖1~圖10將本發明所適用的現場直播系統參照圖式進行說明。

〔現場直播系統的概要〕

如圖1所示，現場直播系統1具備實際演出現場演奏等表演的攝影棚10、將攝影棚10取得的內容資料進行現場直播的傳輸伺服器20(以下簡稱為伺服器20)、將伺服器20傳輸的內容資料進行觀看的使用者終端機40、60、70。伺服器20與使用者終端機40、60、70(圖1中係分別以個人電腦(Personal Computer,PC)40a、智慧型手錶50、以及智慧型元件終端機60、60a來表示)之間經由網路2 連接。其中，使用者終端機的數量不限於此處所示之2台，可以是1台，也可以是數十台或數百台。

在攝影棚10內的現實空間中，例如作為被拍者之3位表演者A、B、C於舞台演奏樂曲、唱歌。當然表演者的人數不限於3位，可以是1位或2位，也可以是4位以上。此外，表演者A、B、C可以是1個樂團等團體，也可以是各自獨立活動的表演者A、B、C的集合。攝影棚10具備播放裝置11、揚聲器12、麥克風13、作為拍攝部之一例的三原色(Red Green Blue,RGB)相機14、景深相機15、投影機16、攝影棚螢幕17。

播放裝置11將演奏的樂曲資料進行播放，並將根據樂曲資料的樂曲從與播放裝置11連接的揚聲器12放出。麥克風13被各表演者A、B、C持有，收錄表演者A、B、C的聲音。舉例而言，RGB相機14在現場直播系統1中為第1相機。RGB相機14為具有動畫攝影功能的數位相機。例如RGB相機14為錄影機。例如RGB相機14為顯示資料生成用相機等。RGB相機14為將表演者A、B、C演奏的現實空間進行拍攝的錄影機。RGB相機14例如具備電荷耦合元件(Charge Coupled Device,CCD)或互補式金屬氧化物半導體(Complementary Metal Oxide Semiconductor,CMOS)等拍攝元件，檢測可見光等光，並將由3色(紅、綠、藍)之彩色訊號所構成的顯示資料進行輸出。舉例而言，RGB相機14拍攝表演者A、B、C等被拍者，並輸出能夠於使用者終端機40、60、70等顯示部顯示拍攝的被拍者的觀賞用資料作為顯示資料。此外，例如RGB相機14輸出攝影棚螢幕17所顯示的拍攝資料作為顯示資料。又，例如RGB相機14輸出使用者A、B、C所在的公共場所或實況現場或演唱會館設置的具備大型螢幕的大 型顯示裝置所顯示的視訊資料作為顯示資料。其中，RGB相機14不一定為錄影機，也可以是例如具備動畫拍攝功能的智慧型元件終端機。此時，通過將智慧型元件終端機以三脚架等固定，能夠發揮與錄影機相同的功能。

舉例而言，景深相機15在現場直播系統1中為第2相機。例如景深相機15為紅外線相機。例如景深相機15為三維位置資訊取得用相機。景深相機15取得相機自身至被拍者的距離之深度資訊等。景深相機15例如為取得與被拍者之表演者A、B、C等的距離之深度資訊等的取得部。例如景深相機15分別取得與被拍者的一部分之表演者A的距離(深度資訊)、與被拍者的一部分之表演者B的距離(深度資訊)及與被拍者的一部分之表演者C的距離(深度資訊)。例如景深相機15取得與被拍者的一部分之攝影棚的各點的距離之深度資訊等。例如景深相機15取得作為被拍者之包含表演者A、B及C與攝影棚之現實空間的三維位置資訊。景深相機15具備投射紅外線的投光部、檢測紅外線的紅外線檢測部。景深相機15例如為根據從投光部投射的紅外線脈衝反射回來的時間取得現實空間中深度資訊等的三維位置資訊。其中，RGB相機14與景深相機15可以是一體的裝置，也可以是分離的裝置。

投影機16例如將舞台上對表演者A、B、C贈送之物品的圖樣以光雕投影等手法顯示。攝影棚螢幕17配置於現實空間之攝影棚10，為顯示視訊的顯示裝置，例如主要為能夠讓表演者A、B、C看到的方式設置於舞台前的顯示裝置。攝影棚螢幕17例如為平板顯示器、液晶(Liquid Crystal Display,LCD)顯示裝置、有機電致發光(Electro-Luminescence,EL)顯示裝置。又，攝影棚螢幕17顯示RGB相機14所拍攝的表演者A、B、C的表演的視訊。

伺服器20將作為表演者A、B、C演奏的內容資料的現場資料加以生成。例如伺服器20根據來自播放裝置11的樂曲資料、來自麥克風13的聲音資料、來自RGB相機14的視訊資料等各種資料，生成用以對使用者終端機40、60、70傳輸的表演者A、B、C的表演的現場資料，並將現場資料對使用者終端機40、60、70進行現場直播。也就是說，伺服器20對使用者終端機40、60、70進行表演者A、B、C的表演的實況轉播。

其中，表演者A、B、C的表演也可以不通過播放裝置11播放伴奏，而是實際上表演者A、B、C演奏吉他或鼓等樂器，並將其聲音以麥克風收錄者。也可以於攝影棚10將現場資料以資料生成裝置等生成，再送信至伺服器20。

參加現場直播系統1的使用者A、B、C例如為表演者A、B、C的粉絲，能夠使用使用者終端機40、60、70觀看現場資料。使用者終端機40例如具備桌上型或膝上型的個人電腦40a、與個人電腦40a連接的穿戴式終端機或作為智慧型元件終端機的智慧型手錶50。當個人電腦40a為桌上型時，使用者終端機40具備桌上型的個人電腦40a、與個人電腦40a連接的螢幕、與個人電腦40a連接的智慧型手錶50。此外，當個人電腦40a為膝上型時，使用者終端機40具備具有顯示部的膝上型的個人電腦40a、與膝上型的個人電腦40a連接的智慧型手錶50。例如使用者終端機40的使用者A於慣用手等穿戴智慧型手錶50，智慧型手錶50與個人電腦40a以有線或無線連接。智慧型手錶50具備加速度傳感器或陀螺儀傳感器等檢測部，例如當使用者A做出投擲物品的動作時，會檢測其加速度或角度(姿勢)或角速度作為使用者動作資訊。

其中，個人電腦40a可以通過有線或無線連接頭戴顯示器(Head-Mounted Display,HMD)。此外，HMD可以是具備作為個人電腦40a的構成。HMD可列舉光學穿透式頭戴顯示器、影像穿透式頭戴顯示器、非穿透式頭戴顯示器等。光學穿透式頭戴顯示器的情形能夠以擴增實境(Augmented Real-ity,AR)進行顯示。影像穿透式頭戴顯示器或非穿透式頭戴顯示器的情形能夠以虛擬實境(Virtual Reality,VR)進行顯示。HMD能夠顯示後述之用以贈送或回贈之物品的圖樣。

此外，使用者終端機60為例如智慧型手機或平板等智慧型元件終端機，為行動式小型資訊處理終端機。智慧型手機例如於顯示面具備觸控面板。此外，使用者終端機60具備加速度傳感器或陀螺儀傳感器等檢測部，例如當使用者B做出投擲物品的動作時，會檢測其加速度或角度或角速度作為使用者動作資訊。由於使用者終端機60為行動式小型資訊處理終端機，故使用者終端機60的使用者能夠在任何地方觀看現場資料。

使用者C的使用者終端機70具備智慧型元件終端機60a與智慧型手錶50。此時，智慧型元件終端機60a承擔使用者A的膝上型的個人電腦40a的功能。如此一來，即使在使用者C以穿戴智慧型手錶50的慣用手做出投擲物品的動作時，也能夠在另一隻手持有的智慧型元件終端機60a的顯示部看到顯示的視訊。此外，能夠在將智慧型元件終端機60a放置於桌子等或固定於三脚架的狀態進行物品的投擲動作。如此一來，能夠一邊於智慧型元件終端機60a的顯示部觀看顯示的視訊，一邊以穿戴智慧型手錶50的慣用手做出投擲動作等。

使用者終端機40、60、70中，能夠一邊觀看現場資料，一邊對 此時實際表演的表演者A、B、C虛擬地贈送物品。例如於使用者終端機40、60、70的顯示面顯示現場資料與物品選擇圖樣，該物品選擇圖樣是以名單顯示對表演者A、B、C能夠贈送的物品之作為第1圖樣的圖樣。物品能夠列舉花束、頭飾等裝飾具；以使用者終端機40、60、70觀看時展現表演者的動作的特效；表演者實際演出的場所的背景影像等。又，使用者A、B、C從物品選擇內的圖樣名單中選擇任1個物品，此外從表演者A、B、C之中選擇欲贈送的表演者。圖1表示作為表演者選擇表演者A，又作為物品選擇猫耳頭飾之例。

然後，使用者終端機40的使用者A於穿戴智慧型手錶50的狀態揮動手臂做出投擲物品的動作。使用者終端機60的使用者B於持有使用者終端機60的狀態揮動手臂做出投擲物品的動作。使用者終端機70的使用者C於穿戴智慧型手錶50的狀態揮動手臂做出投擲物品的動作。接著，使用者終端機40、60、70將對伺服器20的檢測結果之作為使用者動作資訊的加速度資料、角度(姿勢)資料、角速度資料等操作資料送信至伺服器20。其中，使用者終端機60、70中可以於顯示有現場資料的顯示面使用手指或觸控筆往顯示表演者A、B、C的方向滑動，並將其座標資料等操作資料送信至伺服器20。

接著，伺服器20使用投影機16將來自使用者終端機40、60、70送信的物品ID所表示的物品18的視訊顯示於攝影棚10的地面。視訊顯示的物品18例如顯示於來自使用者終端機40、60、70送信的表演者ID所表示的表演者的前方。圖1表示於表演者A的前方視訊顯示有頭飾物品18之例。例如投影機16將顯示的物品18以物品朝使用者A、B、C之側，也就是從表演者A、B、C的前方位置朝表演者A、B、C的方向投擲的方式顯示視訊。現實空間中，物品掉落的 地面的位置，也就是最終物品18所顯示的物品位置是攝影棚10內特定的特定位置，是根據使用者終端機40、60、70送信的作為使用者動作資訊的加速度資料、角度資料、角速度資料等操作資料而定。物品位置是以深度資訊等三維位置資訊確定。物品位置例如能夠以將景深相機15的檢測部作為原點的三維座標系等進行確定。

舉例而言，當使用者A、B、C做出將物品輕輕地投擲的動作時，物品18所顯示的物品位置會位於離表演者A、B、C的前方較遠的位置。當使用者A、B、C做出將物品用力投擲的動作時，物品18所顯示的物品位置會位於離表演者A、B、C的前方較近的位置。此外，當物品被使用者A、B、C過度地投擲時，物品18所顯示的物品位置會在物品被表演者A、B、C後方的牆壁彈回後，位於表演者A、B、C的前方或後方的位置。如此一來，表演者A、B、C能夠看到實際上不在攝影棚10的使用者A、B、C對自己的方向投擲了物品。對表演者A、B、C投擲物品的樣子，於使用者終端機40、60、70的顯示面在顯示視訊的同時，也會將物品圖樣顯示於RGB相機14所拍攝的視訊中的物品圖樣位置。如此一來，使用者A、B、C也能夠看到自己投擲的物品達到表演者A、B、C的附近。此外，例如當使用者A、B、C對特定的表演者A朝右側或左側做出投擲物品的動作時，於現實空間中物品18所顯示的物品位置會對應使用者A、B、C投擲物品的方向而位於表演者A的右側或左側的位置。例如當對表演者A朝右側投擲物品時，物品18所顯示的物品位置也可以在表演者B或表演者C的正面。像這樣的物品位置是根據使用者終端機40、60、70檢測的作為檢測結果的加速度資料、角度資料、角速度資料等操作資料而定之三維位置資訊確 定。

其中，也可以於攝影棚螢幕17進行與使用者終端機40、60、70的顯示面相同的視訊顯示。

攝影棚10的景深相機15例如始終將攝影棚10中各處的深度資訊等三維位置資訊算出。景深相機15例如將表演者A、B、C的人物區域抽出，並區分出人物區域與非人物區域。景深相機15例如取得表演者A、B、C的各自的25處骨骼位置作為骨骼資料，進而算出各骨骼位置的深度資訊。骨骼位置包含例如左右手、頭部、頸、左右肩、左右肘、左右膝、左右腳等骨骼位置。其中，取得的骨骼位置的數量不限於25處。此外，景深相機15算出攝影棚10中與牆壁或地面的距離。此處，深度資訊例如為從景深相機15前方的物鏡或傳感器面與測定對象位置(攝影棚10的牆壁的各處或地板的各處)間的距離。此外，深度資訊例如為從景深相機15前方的物鏡或傳感器面至被拍者之表演者的骨骼位置的距離。

當表演者A的右手或左手相對於物品18所顯示的物品位置重疊時，例如根據表演者A的右手或左手的深度資訊的位置與物品位置重疊時，表示表演者A已拾獲物品之時。對此，投影機16在當物品位置與表演者A的右手或左手重疊時，不會顯示物品18。此處的物品為頭飾。對此，進行將表演者A拾獲的頭飾穿戴在頭部的動作。此時，伺服器20會以被表演者A的右手或左手握持的方式將拾獲的頭飾的圖樣視訊顯示於使用者終端機40、60、70的顯示面，並顯示頭飾的圖樣穿戴在表演者A的頭部的樣子。如此一來，使用者A、B、C能夠於使用者終端機40、60的顯示面看到自己贈送的頭飾被表演者A辨識 並且看到表演者A穿戴該頭飾的樣子。

在此之後，使用者A，B能夠於使用者終端機40、60、70的顯示面看到表演者A在穿戴頭飾的狀態演奏的樣子。例如，當表演者A側身時，頭飾的圖樣的方向也會配合表演者A的方向顯示。各表演者A、B、C的方向是通過來自RGB相機14的顯示資料進行表演者A、B、C的面部檢測，並從景深相機15算出表演者A、B、C的骨骼位置來進行判定。此外，顯示物品的圖樣之資料也是三維資料。例如，根據該等資料檢測表演者A側身時，配合表演者A的方向頭飾的圖樣的方向也會變化。表演者A已穿戴頭飾的狀態也會顯示於攝影棚螢幕17，使表演者A、B、C能夠看到使用者終端機40、60、70顯示的狀態。

舉例而言，伺服器20能夠在使用者對表演者A、B、C贈送物品的時點(表演者A、B、C收到物品的時點)，將對表演者A、B、C贈送的(表演者A、B、C收到)所有物品與其對應的使用者ID進行特定。將其利用，伺服器20能夠在表演者A、B、C拾獲物品的時點，將贈送物品的使用者ID進行特定。

在進入間奏時，例如將對表演者A贈送頭飾物品的使用者ID的圖樣的視訊顯示於攝影棚10的攝影棚螢幕17的顯示面。此外，例如將使用者ID的圖樣的視訊以投影機16顯示於攝影棚10的地面。如此一來，表演者A能夠掌握贈送頭飾的使用者A、B、C。

舉例而言，若表演者A唸出使用者ID並以麥克風13收錄，則伺服器20能夠從麥克風13的聲音資料進行聲音辨識處理，確定出待回贈的使用者的使用者ID然後回贈給該使用者。該聲音辨識處理也能夠以麥克風13以外的其 他裝置(伺服器20、設置於攝影棚10的裝置等)進行。此外，例如回贈處理設為：若表演者觸摸表演者A、B、C穿戴的物品(例如頭飾)並做出投擲回贈物品的動作，則能夠將確定出贈送表演者A、B、C所觸摸的物品的使用者ID然後回贈給該使用者。此外，例如伺服器20設為能夠以使用者ID確定現場直播觀看者全員，對購買物品一定金額以上的使用者進行表演者A、B、C的回贈處理。此外，例如有時使用者終端機具備檢測使用者的視線的視線檢測部，而能夠算出使用者注視特定的表演者的時間。像這種情形，當表演者A進行回贈處理時，能夠對已持續觀看表演者A一段時間的使用者ID的使用者進行回贈。此外，對於已有一段時間沒有持續觀看表演者A的使用者ID的使用者，對隨機地抽選出使用者ID的使用者進行回贈。

如上所述，當進行回贈時，表演者A要回贈給使用者A、B、C的禮物之作為第2圖樣的物品圖樣的視訊會顯示於攝影棚螢幕17及使用者終端機40、60、70的顯示面。具體而言，當回贈品之物品為表演者A的簽名球時，於攝影棚螢幕17及使用者終端機40、60、70的顯示面中會以表演者A的右手或左手握持有簽名球方式將簽名球的物品圖樣的視訊顯示於表演者A的右手或左手的位置。如此一來，表演者A能夠掌握現在自己持有簽名球的現狀，此外使用者A、B、C也能夠掌握表演者A回贈給自己的簽名球被投過來的現狀。

當表演者A做出投擲簽名球的動作時，景深相機15會根據表演者A持有簽名球的手的深度資訊等變化對表演者A投出簽名球進行檢測。然後，在使用者終端機40、60、70的顯示面會以表演者A朝使用者A、B、C的方向投出簽名球的方式顯示物品圖樣。在使用者終端機40、60、70中，當做出將 顯示於顯示面的簽名球接住的操作時，使用者A、B、C就會收到簽名球。其中，回贈的禮物不限於簽名球。使用者A、B、C也能夠將收到的簽名球等回贈品再一次於現場直播進行時對表演者A、B、C投擲物品。又，作為回贈品的禮物也可以是於日後郵寄實際的物品給使用者A、B、C。郵寄時，也可以不是實際的簽名球，而是色紙或表演者所相關的周邊產品或雷射光碟(Compact Disc,CD)或數位多功能影音光碟(Digital Versatile Disc,DVD)等相簿、演唱會的優待券等。

〔景深相機15〕

景深相機15例如具備投射脈衝被調變過的紅外線的投影機等投光部與紅外線相機等紅外線檢測部，從投射的紅外線脈衝被反射回來的時間算出深度資訊(Time of Flight(TOF)方式)。景深相機15例如始終將攝影棚10中各處的深度資訊等三維位置資訊算出。

此外，景深相機15將表演者A、B、C的人物區域抽出，並區分出人物區域與非人物區域。例如根據在相同場所(例如攝影棚10)中人物成像前後的差分值算出人物區域。此外，例如將檢測的紅外線量超過臨界值的區域判定為人物區域。

此外，景深相機15檢測骨骼位置。景深相機15取得人物區域中各處的深度資訊，並根據深度與形狀的特徵量，算出人物區域中成像之人物在現實空間上的部位(左右手、頭部、首、左右肩、左右肘、左右膝、左右腳等)，將各部位的中心位置算出作為骨骼位置。景深相機15通過使用記憶部所記憶的特徵量字典，將人物區域中決定的特徵量與該特徵量字典所登錄的各部 位的特徵量進行比對，從而算出人物區域中的各部位。

其中，也可以設為將景深相機15於紅外線檢測部的檢測結果輸出至其他裝置(伺服器20、使用者終端機40、60、70、設置於攝影棚10的算出裝置等)，由其他裝置算出深度資訊，將人物區域抽出，並區分出人物區域與非人物區域，然後進行人物區域的檢測、骨骼位置的檢測、人物區域中各部位的特定等處理。

此外，如以上之動作擷取處理為對表演者A、B、C不加標記的方式進行，也可以是對表演者A、B、C加標記的方式進行。

此外，在算出深度資訊時，也可以是讀取投射的紅外線圖案，從圖案的彎曲獲得深度資訊的方式(光編碼方式：Light Coding)。

此外，深度資訊也可以是從雙眼相機、複數台相機之視差資訊來算出。此外，深度資訊也能夠通過將RGB相機14取得的視訊進行影像辨識，並使用照片測量技術等進行影像解析來算出。此時，由於RGB相機14已發揮檢測部的功能故不需要景深相機15。

〔伺服器20〕

如圖2所示，伺服器20具備與攝影棚10的各部之間的界面(以下簡稱「IF(Interface)」)，以有線或無線的方式連接。與攝影棚10的各部連接的IF具備音源IF21、RGB相機IF22、景深相機IF23、投影機IF24、及顯示IF25。此外，具備資料庫26、資料記憶部27、網路IF28、主記憶體29、及控制部30。伺服器20對使用者終端機40、60、70傳輸現場資料，進而控制投影機16或攝影棚螢幕17或使用者終端機40、60、70的顯示而發揮顯示控制裝置的功能。

音源IF21與攝影棚10的播放裝置11、麥克風13等連接。音源IF21輸入有來自播放裝置11演奏的樂曲資料，來自麥克風13的表演者A、B、C的聲音資料。

RGB相機IF22輸入有RGB相機14所拍攝的攝影棚10的視訊資料。景深相機IF23輸入有攝影棚10的各處或表演者A、B、C的深度資訊、人物區域的資料、骨骼位置的深度資訊等。投影機IF24進行控制使投影機16將物品顯示於攝影棚10的舞台的地面等。顯示IF25控制設置於攝影棚10的攝影棚螢幕17。例如顯示IF25在攝影棚螢幕17的顯示面顯示贈送給表演者A、B、C的物品圖樣或使用者身份證明(Identification,ID)。如此一來，表演者A、B、C能夠得知物品是從誰贈送的。

作為管理部之資料庫26在每次直播會與本系統登錄的使用者的使用者ID連結，而管理各使用者的物品。具體而言，資料庫26在每次直播會與各使用者ID連結，對於物品ID、物品送達對象ID、有無物品接收、有無回贈、及回贈接收成敗進行管理。

物品ID是對使用者購買的物品進行一對一識別的ID，在各直播中為將使用者贈送的物品進行一對一識別的ID。

物品送達對象ID是對想要贈送物品的表演者進行一對一識別的ID。

物品接收有無是管理使用者選擇的表演者是否有成功接收使用者贈送的物品。

回贈有無是管理收到使用者贈送的物品的表演者對於贈禮的使用者是否有進行回贈。

回贈接收成敗是管理回贈的接收是否成功。

除此之外，資料庫26將可參加現場直播的所有使用者與使用者ID連結而進行管理。參加各直播的使用者是從登錄的所有使用者中選擇。此外，資料庫26例如將各物品的價格與物品ID連結而進行管理。此外，例如管理各使用者對應表演者之購買金額的總額。

圖2中表示，使用者A對表演者C贈送物品ID「A(花束)」，但表演者C卻沒有接受禮物。使用者B對表演者A贈送物品ID「C(頭飾)」，表演者A有接受物品A，進而表演者A進行回贈，並且使用者A收到該回贈。使用者C對表演者B贈送物品ID「B(特效)」，表演者B有接受物品B，進而表演者B進行回贈，但使用者C對該回贈接收失敗。

資料記憶部27為硬碟等記憶裝置。資料記憶部27保存有現場直播系統1所相關的控制程式或用以顯示物品的圖樣的顯示資料等。例如當物品為有形物，例如裝飾具時，用以顯示物品的圖樣的顯示資料為三維資料，裝飾具也會配合表演者的方向顯示。例如當表演者面向正面時，裝飾具的資料會顯示裝飾具正面，當表演者側身時，也會顯示裝飾具側面。控制程式例如為將現場資料傳輸至使用者終端機40、60、70的傳輸程式。控制程式例如為將使用者贈送的物品的圖樣通過投影機16而顯示於攝影棚10的地面的物品顯示控制程式。此外，控制程式例如為將使用者贈送的物品圖樣與表演者A、B、C進行連結而顯示於攝影棚螢幕17或使用者終端機40、60、70的顯示面的顯示裝置控制程式。此外，控制程式例如為將送禮者的使用者ID的圖樣顯示於攝影棚螢幕17或使用者終端機40、60、70的顯示面的顯示裝置控制程式。此外，控制程式例 如為在被贈送物品的表演者欲將物品回贈給使用者時，將回贈的物品圖樣顯示於攝影棚螢幕17或使用者終端機40、60、70的顯示面的顯示裝置控制程式。

網路IF28將伺服器20與使用者終端機40、60、70經由網際網路等網路2連接。主記憶體29例如為隨機存取記憶體(Random Access Memory,RAM)，其將傳輸中的現場資料或控制程式等暫時地記憶。

控制部30例如為中央處理器(Central Processing Unit,CPU)，其控制伺服器20整體的動作。控制部30例如為按照傳輸控制程式將現場資料傳輸至使用者終端機40、60、70的傳輸部。控制部30例如為按照物品顯示控制程式將使用者贈送的物品通過投影機16而顯示於攝影棚10的地面的物品顯示控制部。控制部30例如為控制使用者終端機40、60、70的顯示的顯示裝置控制部，此外為控制攝影棚螢幕的顯示的顯示裝置控制部。

像這樣的控制部30會將使用者贈送的物品圖樣與表演者A、B、C進行連結而顯示的顯示資料生成並顯示於攝影棚螢幕17或使用者終端機40、60、70的顯示面。此外，例如會將顯示送禮者之使用者ID的顯示資料生成並顯示於攝影棚螢幕17或使用者終端機40、60、70的顯示面。此外，控制部30例如在被贈送物品的表演者欲將物品回贈給使用者時，會將回贈的物品的顯示資料生成並顯示於攝影棚螢幕17或使用者終端機40、60、70的顯示面。

物品圖樣在顯示於攝影棚螢幕17或使用者終端機40、60、70的顯示面時，是顯示於攝影棚10的現實空間本來的物品圖樣位置。也就是說，物品位置是攝影棚10的現實空間中的位置通過三維位置資訊所確定。即使變更了RGB相機14的方向，攝影棚螢幕17或使用者終端機40、60、70的顯示面所顯示 的物品的圖樣會顯示於該方向所取得的視訊之中適當的物品圖樣位置。此外，當物品位置脫離RGB相機14的拍攝範圍時，於攝影棚螢幕17或使用者終端機40、60、70的顯示面就不會顯示物品圖樣。又，即使當表演者A、B、C蹲下或躍起時，於攝影棚螢幕17或使用者終端機40、60、70的顯示面，物品圖樣仍會配合表演者A、B、C的動作顯示。

控制部30不需要進行所有如以上的處理，也可以設為將一部分的處理與其他裝置協作進行。例如能夠設為以下系統：於攝影棚10設置個人電腦等控制裝置，並將設置於攝影棚10的控制裝置與伺服器20協作進行如以上的處理。此時，例如使伺服器20具備資料庫26、主記憶體29、及控制部30。此外，使控制裝置具備音源IF21、RGB相機IF22、景深相機IF23、投影機IF24、顯示IF25、資料記憶部27、及網路IF28。又，例如控制裝置也可以設為進行資料庫26的更新以外的處理。例如將使用者贈送的物品的圖樣以投影機16顯示的處理或顯示於攝影棚螢幕17或使用者終端機40、60、70的顯示面的處理等。

此外，也可以設為將如以上的處理的一部分與使用者終端機40、60、70協作進行。例如將RGB相機14取得的現實空間的視訊資料、景深相機15取得的三維位置資訊等送信至使用者終端機40、60、70。使用者終端機40、60、70檢測使用者A、B、C的動作，並根據現實空間的視訊資料、三維位置資訊、使用者A、B、C的動作的檢測結果，將物品抵達最終到達位置的軌跡、物品圖樣的顯示等顯示於自身的顯示面。

〔使用者終端機40〕

使用者終端機例如為使用者A所管理的裝置，其具備桌上或膝上型的個人 電腦40a與智慧型手錶50。例如膝上型的個人電腦40a具備音源IF41、顯示IF42、網路IF43、通信IF44、資料記憶部45、操作IF46、主記憶體47、及控制部48。音源IF41與揚聲器、耳塞式耳機、頭戴式耳機等聲音輸出機器或麥克風等聲音輸入機器連接。顯示IF42例如與由液晶顯示裝置等顯示裝置所構成的顯示部49連接。

網路IF43例如經由網路2而與伺服器20通信。通信IF44例如與智慧型手錶50通信。通信IF44與智慧型手錶50之間以無線區域網路(Local Area Network,LAN)或有線LAN連接，從智慧型手錶50輸入有作為使用者動作資訊的加速度資料、角度資料、角速度資料等。資料記憶部45為非揮發性記憶體，例如為硬碟或快閃記憶體。資料記憶部45儲存有現場資料的播放程式或與智慧型手錶50的通信控制程式等。操作IF46與鍵盤或滑鼠等操作裝置連接。此外，當顯示IF42連接的顯示部49的顯示面設有觸控面板時會與該觸控面板連接。主記憶體47例如為RAM，其將傳輸中的現場資料或控制程式等暫時地記憶。控制部48例如為CPU，其控制使用者終端機40整體的動作。例如當播放現場資料時，控制部48會從表演者A、B、C之中選擇1人或多人，並將表演者選擇資料送信至伺服器20，此外，將從物品的圖樣名單中的1個或多個物品選擇資料送信至伺服器20。此外，控制部48例如將智慧型手錶50檢測的作為使用者動作資訊的加速度資料、角度資料、角速度資料等操作資料送信至伺服器20。

智慧型手錶50例如為穿戴在使用者A的慣用手的手腕等的手錶型資訊處理終端機。智慧型手錶50具備傳感器51、通信IF52、資料記憶部53、主記憶體54、及控制部55。傳感器51為例如加速度傳感器或陀螺儀傳感器。通 信IF52例如將傳感器51所檢測的加速度資料或智慧型手錶50的角度資料或角速度資料送信至個人電腦40a。傳感器51例如在使用者A做出投擲物品的動作時，將與其手臂揮動相關的作為使用者動作資訊的加速度資料、角度資料、角速度資料等操作資料通過通信IF52送信至個人電腦40a。資料記憶部53為非揮發性記憶體，例如硬碟或快閃記憶體。資料記憶部53儲存有驅動傳感器51的驅動程式或與個人電腦40a之間的通信控制程式等。控制部55例如為CPU，其控制智慧型手錶50整體的動作。

其中，與使用者終端機40連接的終端機也可以不是智慧型手錶50，而是具備加速度傳感器或陀螺儀傳感器的智慧型手機等小型行動式的資訊處理終端機。

〔使用者終端機60〕

使用者終端機60例如為使用者B所管理的裝置，為智慧型手機或平板等智慧型元件終端機。使用者終端機60例如為具備音源IF61、顯示IF62、操作IF63、傳感器64、網路IF65、資料記憶部66、主記憶體67、及控制部68。音源IF61與內設揚聲器或耳塞式耳機等聲音輸出機器或內設麥克風等聲音輸入機器連接。音源IF61例如為將現場資料從聲音輸出機器放出。顯示IF62與內設的液晶面板、有機EL面板等小型的顯示部69連接。於顯示部69設有觸控面板，操作IF63與觸控面板連接。傳感器64例如為加速度傳感器或陀螺儀傳感器。網路IF65例如經由網路2與伺服器20通信。網路IF65例如在使用者做出投擲物品的動作時，將傳感器64檢測的作為使用者動作資訊的與手臂揮動相關的加速度資料、角度資料、角速度資料之操作資料送信至伺服器20。此外，於顯示有現場 資料的顯示面使用手指或觸控筆往顯示的表演者A、B、C的方向滑動掃過時，會將該座標資料等操作資料送信至伺服器20。資料記憶部66為非揮發性記憶體，例如快閃記憶體。資料記憶部66儲存有現場資料的播放程式等。主記憶體67例如為RAM，其將傳輸中的現場資料或控制程式等暫時地記憶。

控制部68例如為CPU，其控制使用者終端機60整體的動作。例如當撥放現場資料時，控制部68會從表演者A、B、C之中選擇1人或多人，並將選擇資料送信至伺服器20，此外，將從物品的圖樣名單中的1個或多個選擇資料送信至伺服器20。此外，例如在當使用者持有使用者終端機60而做出投擲物品的動作時，控制部48會將該手臂揮動的加速度資料、角度資料、角速度資料、座標資料等操作資料送信至伺服器20。

以下針對現場直播系統1的作用進行說明。

〔現場直播處理〕

進行現場直播之前，首先於攝影棚10中，景深相機15能夠取得攝影棚10中各處的深度資訊，並算出人物區域，接著算出人物區域中的骨骼位置，從而算出各骨骼位置中的深度資訊。然後，景深相機15會實行動作擷取處理。此外，使用者終端機40、60、70登入伺服器20，而成為能夠觀看現場直播的狀態。

如圖3(a)所示，表演者A、B、C開始演奏時，於步驟S1中，伺服器20生成作為內容資料的現場資料。具體而言，於伺服器20輸入有RGB相機14拍攝的攝影棚10中表演者A、B、C演奏的現實空間的視訊資料。此外，於伺服器20輸入有來自播放裝置11的樂曲資料，來自麥克風13的表演者A、B、C的聲音資料。又，伺服器20根據該等各種資料，生成用以對使用者終端機40、 60、70傳輸的表演者A、B、C的表演的現場資料。此外，於步驟S2中，伺服器20輸入有攝影棚10的各處或表演者A、B、C的骨骼位置的深度資訊。步驟S3中，伺服器20將現場資料現場直播至使用者終端機40、60、70。也就是說，伺服器20將表演者A、B、C的演奏即時傳輸至使用者終端機40、60、70。如此一來，如圖3(b)所示，使用者終端機40、60、70於顯示面根據現場資料而顯示有現場視訊71，此外輸出有現場聲音。

〔物品/表演者選擇處理〕

接著使用圖4說明物品/表演者選擇處理。此處舉出當使用者B以使用者終端機60觀看現場資料進行操作時之例進行說明。於步驟S11中，伺服器20在使用者終端機60的顯示面上以與現場視訊71重疊的方式將能夠選擇的物品的圖樣以名單顯示為物品選擇圖樣72(參見圖5(a))。例如圖5(a)中，於物品選擇圖樣72從左依序排成一列為表示花束的物品圖樣72a、賦予表演者的動作展現特效的物品的圖樣72b、表示猫耳頭飾物品的圖樣72c、表示現場直播的背景影像的物品的圖樣72d。

物品選擇圖樣72所列舉的物品為經營者側準備的多個物品。準備的物品可以是每次直播都不同，也可以是所有的直播都共通。此外，也可以是多場直播中有部分的物品重複。伺服器20的資料庫中，各物品的價格與物品ID連結而進行管理。伺服器20例如保存有動畫資料或影像資料或聲音資料或樂曲資料等，作為用以顯示與物品ID連結之該項物品的物品資料。物品資料例如為三維資料。

各物品要付費購買，隨著物品而有不同金額，其價格與物品ID 連結。例如物品ID「A」花束物品為200日圓。物品ID「B」賦予特效物品為300日圓。物品ID「C」猫耳頭飾物品為500日圓。物品ID「D」背景影像物品「D」為1000日圓。例如圖2的資料庫所示的使用者A以200日圓購買物品ID「A」的花束，使用者B以500日圓購買物品ID「C」的頭飾，使用者C以300日圓購買物品ID「B」的特效。因此，使用者A、B、C經由使用者終端機40、60、70購買該等物品，從而能夠贈送物品給表演者A、B、C。如此一來，表演者A、B、C及經營者能夠獲得從使用者A、B、C贈送的物品所對應的營收。不論表演者A、B、C是否接受(例如拾獲)物品，使用者A、B、C所贈送的所有物品均已成為表演者A、B、C及其經營者的營收。物品之中也可以存在免費的物品。此外，1次的直播中1位使用者可以購買1個物品，也可以購買多個物品。資料庫中會對各使用者對應表演者的購買金額的總額進行管理。如此一來，例如經營者所管理的伺服器20能夠進行表演者優先回贈給購買許多物品的使用者的處理等。

若使用者B以使用者終端機60從物品選擇圖樣72的名單中選擇1個物品，則使用者終端機60會將使用者ID與包含選擇的物品的物品ID的物品選擇資料送信至伺服器20。於步驟S12中，伺服器20根據物品選擇資料而進行物品的選擇處理。伺服器20僅將選擇的物品的圖樣72c作為顯示於使用者終端機60的選擇資料而送信至使用者終端機60，而於使用者終端機60的顯示面以對現場視訊71重疊的方式顯示圖樣72c。圖5(b)中表示例如伺服器20選擇表示頭飾物品的圖樣72c，並將其顯示在使用者終端機60的顯示面的下側的角落的狀態。同時，由於伺服器20也會通知表演者A、B、C現在處於物品選擇處理的狀 態，故於攝影棚螢幕17也會進行相同的顯示。

此外，伺服器20於使用者終端機60的顯示面會顯示例如對表演者A、B、C每1人分別地包圍的表演者選擇圖樣73。此處，於使用者終端機60的顯示面例如會一併顯示第1教示圖樣73a，其通知使用者B接下來的表演者選擇操作。若以使用者終端機60選擇1個表演者選擇圖樣73，則使用者終端機60會將使用者ID與包含選擇的表演者的表演者ID的表演者選擇資料送信至伺服器20。於步驟S13中，伺服器20根據表演者選擇資料進行表演者的選擇處理。伺服器20會於使用者終端機60的顯示面以與現場視訊71重疊的方式顯示選擇了表演者A的表演者決定圖樣74。圖5(c)表示例如伺服器20選擇表演者A並將其顯示於使用者終端機60的顯示面的狀態。表演者選擇圖樣73或表演者決定圖樣74可以是四角形狀，但不限於此，也可以是例如圓形形狀或三角形狀。同時如圖5(d)所示，由於伺服器20也會通知表演者A、B、C現在處於表演者選擇處理的狀態，故於攝影棚螢幕17也會進行相同的顯示。攝影棚螢幕17會顯示第2教示圖樣74a，其顯示使用者B正想要送出選擇的物品。

其中，若物品與表演者被選擇，則伺服器20會將選擇的物品與表演者登錄至資料庫26。

然後，使用者終端機60的使用者在操作使用者終端機60的同時成為能夠將物品贈送給位在攝影棚10的表演者A、B、C的狀態。具體而言，使用者終端機60的使用者B能夠通過將使用者終端機60拿在手上做出投擲物品的動作，而有將選擇的物品投擲給自己選擇的表演者的類似體驗。具體而言，伺服器20與使用者終端機60開始同步處理，使用者終端機60在每單位時間會將傳 感器64檢測出的作為使用者動作資訊的加速度資料、角度資料、角速度資料等操作資料送信至伺服器20。於步驟S14中，伺服器20記憶用以判定使用者進行投擲動作的臨界值，當超過臨界值時，會判定已通過使用者終端機60進行了投擲動作。例如伺服器20為了確定投擲動作而記憶著加速度資料、角度資料、角速度資料等臨界值。當加速度資料、角度資料、角速度資料等超過臨界值時，伺服器20會判定已進行了投擲動作。此外，當觸控面板的掃過操作時的起點與終點的距離等超過臨界值時，會判定已進行了投擲動作。其中，在使用者終端機40的情形，當加速度資料、角度資料、角速度資料等超過臨界值時，會判定已進行了投擲動作。

於步驟S15中，伺服器20根據來自使用者終端機60送信的手臂揮動相關的加速度資料、角度資料、角速度資料等操作資料來解析使用者的手臂揮動的方向或速度等。如此一來，伺服器20會算出當被投擲的物品被投擲時的軌跡或掉落位置之物品位置。例如物品位置能夠以景深相機15的檢測部作為原點的三維座標系等進行確定。

於步驟S16中，伺服器20根據解析結果生成如下之掉落圖樣75的顯示資料：顯示於使用者終端機60的顯示面，表示掉落的頭飾物品，並將其送信至使用者終端機60。如此一來，如圖5(e)所示，於使用者終端機60的顯示面即時顯示掉落圖樣75朝著表演者A而去。此外，相同的掉落圖樣75的顯示資料被送信至攝影棚10的攝影棚螢幕17，於攝影棚螢幕17也會即時顯示掉落圖樣75。掉落圖樣75在顯示於攝影棚螢幕17或使用者終端機60的顯示面時，是顯示於攝影棚10的現實空間本來的物品圖樣位置。也就是說，物品的位置是攝影 棚10的現實空間中的物品位置通過三維位置資訊所確定。因此，假設變更了RGB相機14的方向，掉落圖樣75會顯示於該RGB相機14的方向所取得的視訊之中適當的物品圖樣位置。此外，當物品位置脫離RGB相機14的拍攝範圍時，就不會顯示掉落圖樣75。

其中，由於接下來的步驟S17會以投影機16使掉落圖樣75顯示於攝影棚10的地面，故將掉落圖樣75顯示於攝影棚螢幕17的處理也可以省略。

於步驟S17中，伺服器20將掉落圖樣75的顯示資料送信至投影機16，投影機16於攝影棚10的地面即時顯示以飛行的狀態朝向表演者A而去的物品的圖樣或掉落在物品位置的物品的圖樣。如此一來，表演者A、B、C能夠掌握掉落圖樣75的掉落位置。

其中，掉落圖樣75只要至少被顯示於物品位置即可，也可以不顯示飛行抵達物品位置途中的狀態或軌跡。

此外，也可以使物品位置不會進入表演者A、B、C行動的表演者行動範圍內的方式顯示掉落圖樣75。此外，在抵達物品位置的期間可以使圖樣進入表演者行動範圍內，也可以設為讓使用者贈送的物品的圖樣最後不會進入表演者行動範圍內的方式顯示掉落圖樣75。此外，也可以設為即使檢測使用者贈送物品給表演者的動作(例如投擲)所算出的物品位置位於表演者行動範圍內，也不會將圖樣顯示於表演者行動範圍內。此時，例如考量算出的物品位置，而將圖樣顯示於表演者行動範圍外的附近(表演者行動範圍外，即最接近算出的物品位置的位置)。根據像這樣的顯示形態，能夠防止表演者A、B、C不小心踩到贈送的物品。

其中，表演者行動範圍例如為攝影棚10等中的舞台等。此外，表演者行動範圍可以在1曲之中前奏、間奏及後奏的期間和除此之外的期間設定為不同的範圍。此外，也可以在演奏樂曲的期間和未演奏樂曲的期間設定為不同的範圍(例如在演奏樂曲的期間為表演者配合樂曲行動的範圍，在未顯奏樂曲的期間則無表演者行動範圍)。此外，可以配合演奏中的樂曲設定不同的範圍，也可以在現場直播的期間一直設定為相同的範圍。不限於演奏，也可以在演技的期間和演技前後的期間設定為不同的範圍。

此外，可以設定為若物品碰到表演者，會使物品當場掉落，或改變物品的飛行方向，也可以設定為使物品移動。

〔物品取得處理〕

接著，針對表演者A取得使用者B所贈送的頭飾物品的動作，參照圖6進行說明。

伺服器20中始終輸入有來自景深相機15的各表演者A、B、C的骨骼位置與各骨骼位置的深度資訊。此外，伺服器20從來自RGB相機14的視訊進行表演者A、B、C的面部檢測。如此一來，伺服器20追蹤表演者A的各骨骼位置、該骨骼位置的深度資訊、及表演者A的臉部位置。於步驟S21中，伺服器20會判定表演者A拾獲了頭飾物品。例如伺服器20為了對撿拾掉落在攝影棚10的地面的物品的動作進行確定，故記憶著左右任一隻手的骨骼位置與左右任一隻腳的骨骼位置的距離，或左右任一隻手的骨骼位置與地面間的距離等相關的臨界值。當算出的左右任一隻手的骨骼位置與左右任一隻腳的骨骼位置的距離，或左右任一隻手的骨骼位置與物品位置之地面間的距離等資料超過臨界值時，伺服器20 會判定表演者A已拾獲頭飾物品。例如當左右任一隻手的位置與地面的物品位置重疊時，伺服器20會判定表演者A已拾獲頭飾物品。換言之，其判定表演者是否位於使用者贈送給表演者的物品的圖樣的範圍內。物品的圖樣的範圍例如由三維位置資訊、使用者動作資訊、及物品的種類而定。例如在頭飾的情形，範圍是頭飾的外形形狀。左右任一隻手的位置與地面的物品位置是否重疊的判定，例如為判定表演者的手的位置的三維資訊(1點)與物品位置的三維資訊(1點)是否重疊。此外，例如為判定表演者的手的位置的三維資訊(多個點)與物品位置的三維資訊(1點)是否重疊。此外，例如判定表演者的手的位置的三維資訊(1點)與物品位置的三維資訊(多個點)是否重疊。此外，例如判定表演者的手的位置的三維資訊(多個點)與物品位置的三維資訊(多個點)是否重疊。此外，例如判定表演者的手的位置的三維資訊(指尖等區域)與物品位置的三維資訊(顯示有掉落圖樣75的區域)是否重疊。左右任一隻手的位置與地面的物品位置是否重疊的判定，以表演者的手的位置的三維資訊與物品位置的三維資訊是否有多個點或區域重疊，而非1點重疊的方式來判定較容易進行。

於步驟S22中，伺服器20將顯示於攝影棚10的地面的掉落圖樣75控制成不顯示。這是因為若物品被表演者A拾起，則物品就會從地面消失。

物品從被表演者A撿拾至穿戴在表演者A的頭部的期間，是被拿在表演者A的手上。例如圖7(a)表示表演者A拾獲頭飾物品的狀態。對此，於步驟S23中，伺服器20解析表演者A的取得動作。也就是說，伺服器20會從表演者A的各骨骼位置、該骨骼位置的深度資訊，及表演者A的臉部位置對將頭 飾物品穿戴在頭部的動作進行解析。於步驟S24中，伺服器20根據解析結果生成如下之取得圖樣76的顯示資料：顯示於攝影棚螢幕17及使用者終端機60的顯示面，表示從拾起至穿戴在頭部時的頭飾物品，並將其送信至攝影棚螢幕17及使用者終端機60。如此一來，例如在取得圖樣76從地面的物品位置移動到頭部的期間，會與撿拾的手連結而顯示於攝影棚螢幕17及使用者終端機60的顯示面。

於步驟S25中，伺服器20解析表演者A將頭飾物品穿戴在頭部的穿戴動作。也就是說，伺服器20會從表演者A的各骨骼位置、該骨骼位置的深度資訊、表演者A的臉部位置對將頭飾物品穿戴在頭部的動作進行解析。例如伺服器20會檢測當左右任一隻手的位置與頭部的位置重疊時的穿戴動作。於步驟S26中，伺服器20會生成如下之取得圖樣76的顯示資料：顯示於攝影棚螢幕17及使用者終端機60的顯示面，顯示於表演者A、B、C的頭部的穿戴位置，並將其送信至攝影棚螢幕17及使用者終端機60。例如伺服器20會生成如下之取得圖樣76的顯示資料：以沿著髪色與背景之交界部分的方式顯示。如此一來，例如於攝影棚螢幕17及使用者終端機60的顯示面會顯示取得圖樣76已穿戴在表演者A的頭部的狀態(參見圖7(b))。伺服器20會追蹤表演者A的頭部，即使表演者A在做動作也能始終顯示穿戴有頭飾物品。

表演者A由於編舞有時會側身。即使是像這樣的情形，伺服器20仍會配合表演者A的方向來顯示取得圖樣76(參見圖7(c))。各表演者A的方向能夠從來自RGB相機14的顯示資料對表演者A進行面部檢測，並從景深相機15算出表演者A的骨骼位置來判定，而顯示物品的圖樣的資料也是三維資 料，於任一方向均能夠顯示。根據該等資料，當檢測出表演者A為側身時，配合表演者A的方向頭飾的圖樣的方向也會變化。又，即使當表演者A蹲下或躍起時，取得圖樣76仍會配合表演者A的動作顯示。

其中，若物品被選擇的表演者取得，則伺服器20會將成功的通知登錄至資料庫26。

若頭飾物品被表演者A穿戴，則於步驟S27中，伺服器20會將表示贈送頭飾物品給表演者A的使用者B的使用者ID的ID圖樣76a顯示在攝影棚螢幕17及使用者終端機60的顯示面。如此一來，表演者A能夠看到贈送頭飾物品的使用者的使用者ID，此外，由於自己的使用者ID會被顯示，故使用者B也能夠看到自己贈送的頭飾物品被表演者A穿戴。其中，伺服器20也可以設為以投影機16也顯示在於攝影棚10的地面。

在物品的圖樣與表演者連結而顯示的期間可以是從取得開始之進行現場直播的整個期間，也可以是每1曲。此外，也可以設為在間奏之間不顯示。

此外，能夠使表演者將曾經穿戴的物品脫下，並將其收納或放置於例如箱子中(可以是設置於攝影棚等實際存在者，也可以是與物品同樣為假想的圖樣)。如此一來，當表演者被贈送許多的物品時，能夠使表演者穿戴多個贈禮。例如能夠使表演者一次穿戴多個頭飾，也能夠使表演者將在此之前穿戴的頭飾脫下，然後撿拾新的頭飾穿戴。像這種情形，能夠將箱子以桌子或收納箱的方式使用，而無不協調地演出頭飾的替換作業等。

〔回贈處理〕

由於間奏的期間表演者A、B、C不唱歌，故能夠對贈送物品的使用者B進行答謝之回贈的動作。於步驟S31中，伺服器20會對現場演奏中的樂曲是否進入間奏進行判定。例如當有一段時間沒有從麥克風13輸入聲音時，伺服器20能夠判定已進入間奏。此外，例如從播放裝置11輸入有表示已進入間奏的檢測訊號時，伺服器20能夠判定已進入間奏。此外，例如檢測表示已進入間奏的動作，能夠判定已進入間奏。伺服器20例如與使用者終端機60開始同步處理，而能夠檢測使用者終端機60中的顯示或以使用者終端機60操作的回贈接收處理。

其中，回贈處理也可以在樂曲與樂曲之間進行，而非間奏的期間。此外，當於舞台等進行戲劇或音樂劇等時，也可以在第N幕和第N+1幕之間等。

其中，間奏的結束，當從麥克風13有輸入聲音時或從播放裝置11輸入有表示間奏已結束的檢測訊號時，能夠判定間奏的結束。此外，通過檢測表示間奏已結束的動作，能夠判定間奏已結束。

於上述步驟S27中，伺服器20將贈送頭飾物品給表演者A的使用者B的使用者ID顯示於攝影棚螢幕17及使用者終端機60的顯示面。從而，表演者A向麥克風13呼叫贈送頭飾物品給表演者A的使用者B的使用者ID。接著，於步驟S32中，伺服器20對麥克風13收錄的聲音資料進行聲音辨識，並將使用者B的使用者ID進行確定。其中，伺服器20會將回贈給回贈對象的使用者的通知登錄至資料庫26。

於步驟S33中，伺服器20檢測表演者A的回贈動作。伺服器20例如對表演者轉往回贈動作所顯示的區別性的特定動作進行檢測。例如伺服器20記憶著用以判定特定動作的各骨骼位置的臨界值，當各骨骼位置的資料超過臨 界值時，判定表演者A已進行特定動作。此處，表演者A給使用者B的回贈品，例如為表演者A的簽名球，表演者A在特定動作之後，會從攝影棚10做出投擲簽名球給實際上不在攝影棚10的使用者B的動作。於步驟S34中，伺服器20從表演者A的各骨骼位置、該骨骼位置的深度資訊、表演者A的臉部位置對回贈動作進行解析。於步驟S35中，伺服器20例如生成如下之簽名球之回贈圖樣77的顯示資料：顯示於攝影棚螢幕17及使用者終端機60的顯示面，在表演者A的投擲動作開始部分，表演者A的左右任一隻手的位置，並將其送信至攝影棚螢幕17及使用者終端機60。如此一來，如圖9(a)所示，例如於攝影棚螢幕17及使用者終端機60的顯示面即時顯示回贈圖樣77。此外，伺服器20生成如下之接收圖樣78的顯示資料：顯示於攝影棚螢幕17及使用者終端機60的顯示面，模仿使用者B的手，並將其送信至攝影棚螢幕17及使用者終端機60。接收圖樣78為投擲簽名球時的假想的目標。

於步驟S36中，伺服器20解析表演者A的投擲動作。具體而言，伺服器20會從表演者A的各骨骼位置、該骨骼位置的深度資訊、及表演者A的臉部位置對表演者A的手臂揮動等進行檢測。於步驟S37中，伺服器20生成如下之回贈圖樣77的顯示資料：顯示於攝影棚螢幕17及使用者終端機60的顯示面，處於投擲動作途中之表演者A的左右任一隻手的位置。此外，生成如下之回贈圖樣77的顯示資料：從左右任一隻手脫離而呈飛行狀態。然後，將其送信至攝影棚螢幕17及使用者終端機60。如此一來，如圖9(b)所示，例如於攝影棚螢幕17及使用者終端機60的顯示面即時顯示簽名球被投向接收圖樣78的方向。

其中，也可以設為對表演者A投擲簽名球的手臂賦予特效。例 如，該特效檢測表演者的動作，以移動的多個閃爍的星型圖形顯示於表演者A的手臂的移動方向的下游側的邊緣，作為對應檢測的動作的特效。例如在檢測出回贈動作的時間點，特效與表演者A投擲簽名球的手臂連結而顯示。又，若進入投擲的動作，則會配合揮動的手臂的移動而顯示於手臂的移動方向的下游側的邊緣。此外，在檢測出回贈動作的時間點，將背景影像變更為回贈處理時顯示的特定影像。

若以使用者終端機60在回贈圖樣77到達接收圖樣78時進行適時的接收操作，則使用者終端機60會將包含使用者ID的接收資料送信至伺服器20。所謂接收操作是指抱著球的動作，以滑鼠點擊畫面的任意位置或接收圖樣78的操作。接收操作例如為觸碰觸控面板的操作。步驟S38中，當伺服器20收到接收資料時，會將回贈的收到通知登錄至資料庫26。此時，伺服器20會生成如下之顯示資料：顯示於攝影棚螢幕17及使用者終端機60的顯示面，回贈圖樣77被接收圖樣78接到的狀態，並將其送信至攝影棚螢幕17及使用者終端機60。如此一來，如圖9(c)所示，例如於攝影棚螢幕17及使用者終端機60的顯示面顯示手接到簽名球的狀態。

其中，當沒有在回贈圖樣77到達接收圖樣78時進行適時的接收操作，會將包含使用者ID的接收失敗資料送信至伺服器20，當伺服器20收到接收失敗資料時，會將回贈的接收失敗的通知登錄至資料庫26。

〔其他物品〕

圖5(a)中所示之賦予表演者的動作展現特效之物品的圖樣72b是對表演者A、B、C賦予如下的特效。圖10(a)是對選擇的表演者A賦予特效圖樣81。 該特效圖樣81的視訊檢測表演者的動作，以移動的多個閃爍的星型圖形顯示於表演者A的手臂的移動方向的下游側的邊緣，作為對應檢測的動作的特效。像這樣的特效圖樣81並非為如上述頭飾般的有形物。如圖10(b)所示，當對選擇的表演者A投擲時，是設為綁有贈禮用的彩帶等之箱圖樣82。然後，如圖10(c)所示，當被選擇的表演者A取得時，也就是當左右任一隻手的位置與物品位置重疊時，將箱圖樣82設為不顯示，而在之後進行顯示特效圖樣81的控制。

舉例而言，即使當表演者A蹲下或躍起時，也會配台表演者A的動作顯示。也可以例如在表演者A、B、C跳躍前後使特效發生變化。例如在跳躍前以閃爍的星型圖形顯示特效，而在跳躍後閃爍顯示不同的圖形。此外，例如預先定義多個特定動作，當檢測出1個特定動作時，顯示賦予該動作關連的特定的特效。此外，例如當檢測出特定動作時，停止顯示賦予的特效。此外，例如在檢測出特定動作前，不顯示賦予的特效。

圖10(d)表示選擇有表示現場直播的背景影像的物品之圖樣72d的狀態。即使是像這樣的背景影像的圖樣72d的情形，也並非如上述頭飾般的有形物。因此，當對選擇的表演者A投擲時，較佳為使用贈禮用的箱圖樣82。

其中，即使是選擇頭飾物品時，當對選擇的表演者A投擲時，也可以設為顯示贈禮用的箱圖樣82。

此外，回贈圖樣77也可以設為僅對欲回贈的使用者的使用者終端機40、60、70顯示。如此一來，能夠實現表演者與使用者之1對1的交流。

〔其他物品/表演者選擇處理〕

以上之例中，已對使用者B選擇表演者A的情形進行說明，但也可以選擇表演者B或表演者C來取代表演者A，也可以是1位使用者從1台使用者終端機40、60、70選擇表演者A以及多位表演者，例如表演者B或表演者C。當選擇多位表演者時，只要不為顯示現場直播的背景影像的物品之圖樣72d，則可以選擇不同的物品，也可以選擇相同的物品。

根據上述現場直播系統1能夠獲得以下所列舉的效果。

(1)現場直播系統1中，在使用者需求方面，例如從使用者希望表演者收到物品的心情到可以被表演者接受，而購買物品贈送給表演者。此外，使用者為了想多少提高被表演者接受的可能性，而多少希望投擲物品在表演者的附近。此外，在使用者間競爭意識方面，會產生例如自己曾經讓表演者收到物品，曾經收到同贈這樣的競爭意識。如此一來，能夠促進使用者之物品購買。因此，能夠提高經營者及表演者的收益。

(2)於攝影棚10使用者A、B、C能夠對在攝影棚10演奏的表演者A、B、C做出將物品對攝影棚10投擲的動作來贈送。被贈送的物品於攝影棚10的地面顯示為掉落圖樣75。如此一來，表演者A、B、C也能夠看到從粉絲等使用者A、B、C被贈送的物品。此外，由於物品顯示於表演者A、B、C的前方也會顯示於使用者終端機40、60、70，故使用者A、B、C也可以看到自己所投擲的物品達到表演者A、B、C的前方。因此，即使使用者A、B、C實際上不在攝影棚10，也能夠如同在攝影棚10般從使用者終端機40、60、70對表演者A、B、C贈送物品。此外，表演者A、B、C也能夠進行如接受實際的禮物的動作。

(3)當被贈送的表演者A、B、C做出撿拾攝影棚10的地面所顯示的物品的圖樣時，於使用者終端機40、60、70會顯示被贈送的表演者A、B、C實際已穿戴在身上。因此，贈送的使用者能夠看到自己所贈送的物品被接受。

(4)當使用者對攝影棚10做出投擲動作將物品贈送給於攝影棚10演奏的表演者A、B、C時，手臂揮動相關的加速度資料、角度資料、角速度資料等操作資料會從使用者終端機40、60、70送信。因此，能夠隨著手臂揮動的速度等改變物品掉落的物品位置。因此，使用者A、B、C能夠調整手臂揮動的速度等，儘可能使物品掉落在選擇的表演者A、B、C的前方，從而能夠提高娛樂性。

(5)能夠使表演者A、B、C看到贈送物品的使用者A、B、C的使用者ID。

(6)表演者A、B、C能夠回贈給贈禮的使用者A、B、C。如此一來，能夠實現表演者A、B、C與使用者之間雙向的溝通。

(7)回贈的物品也能夠因應表演者A、B、C的動作，而顯示於使用者終端機40、60、70。此外，通過設定為能夠以使用者終端機40、60、70進行將回贈的物品抓好時機接住的操作，從而能夠進一步提高娛樂性。

其中，上述現場直播系統也能夠如以下方式適當變更地實施。

‧當表演者A、B、C對贈禮的使用者A、B、C回贈時，也可以不進行使用回贈圖樣77之表演者A、B、C的回贈的動作。此時，也可以對贈禮的使用者A、B、C郵寄回贈的有形的禮物。如此一來，能夠簡化現場直播系統1的處 理。

‧回贈品方面，也可以是於日後郵寄實際的物品給使用者A、B、C作為有形的禮物。郵寄時，也可以不是實際的簽名球，而是色紙或表演者所相關的周邊產品或CD或DVD等相簿、演唱會的優待券等。郵寄回贈時，對於資料庫26中登錄有回贈的收到通知的使用者進行。此時的送禮者可以是表演者A、B、C，也可以是本系統的經營者。其中，也可以設為接收失敗時，該使用者也無法收到有形的禮物(未郵寄)。

‧表演者A、B、C也可以不對贈禮的使用者A、B、C進行回贈。也就是說，伺服器20也可以省略回贈處理，此外，即使收到物品，也可以不郵寄回贈品。

‧舉例而言，當不對贈禮的使用者A、B、C進行回贈時，也可以不對使用者ID與贈送的物品之間進行連結管理。如此一來，能夠簡化現場直播系統1的處理。

‧在如使用者終端機60具備觸控面板的情形，可以於顯示有現場資料的顯示面使用手指或觸控筆往顯示表演者A、B、C的方向滑動，對選擇的表演者A、B、C進行贈送物品的操作。此時，使用者終端機不需要加速度傳感器或陀螺儀傳感器。此外，在使用者使用不具備觸控面板的使用者終端機的情形，可以使用滑鼠進行操作使指標往顯示表演者A、B、C的方向移動，對選擇的表演者A、B、C進行贈送物品的操作。

‧至少，對表演者A、B、C投出的物品的掉落圖樣只要至少顯示於物品位置即可，也可以將掉落圖樣抵達物品位置的軌跡省略。

‧表演者實際演出的現實空間也可以在攝影棚10以外，也可以是實況現場或演唱會會場。此時，投影機16將物品的圖樣顯示舞台，使用者能夠在觀眾席使用如使用者終端機60之自身的小型行動式資訊處理終端機對表演者進行投擲物品的操作。

‧將物品的圖樣顯示於攝影棚10的手段並不限於投影機16。也可以設為例如將攝影棚10的地板以將液晶顯示面板等多個平板顯示面板以顯示面朝向地面排列，並於顯示面的上方鋪上透明合成樹脂板的方式構成，而在地面上顯示物品圖樣。此外，也可以將物品位置僅以雷射指標指出。也可以設為使用空中顯示技術、空中結像技術、空中攝影技術來顯示物品。物品也可以以二維影像(電腦繪圖(Computer Graphics,CG))或三維影像(電腦繪圖(CG))顯示。此外，也可以設為於地面全面地舖上多根棒子並使棒子在相對地面的垂直方向上升降，使地面呈現波狀變化，從而顯示物品的圖樣。此外，將物品的圖樣顯示於攝影棚10的手段也可以是該等裝置的組合。

‧也可以設為將回贈的物品登錄至資料庫26，在下一次的直播時將回贈的物品投擲給表演者。像這樣的物品為使用者無法購買的非賣品物品。也可以設為當該項物品與其他使用者的物品發生競合時，進行將該項物品優先讓表演者穿戴的控制。非賣品之物品可以是裝飾道具，也可以是賦予特效，也可以是背景影像。

‧表演者或使用者之特定的動作(例如投擲物品的動作，又對何方向、以何種程度的力氣投擲)並不限於根據智慧型手錶50的檢測部或智慧型元件終端機60a的檢測部之檢測結果來判定(檢測)。也可以設為例如根據 以相機取得的視訊，算出框間差分或動作向量來判定。

舉例而言，當使用者A、B、C贈送物品給表演者A、B、C時並非使用加速度傳感器或陀螺儀傳感器來檢測使用者所進行的動作，而是例如進行以下方式。在使用者的正面設置網路相機、錄影機等具有動畫攝影功能的相機。此處的相機例如為與膝上型個人電腦一體設置的網路相機，例如為與桌上型個人電腦連接的網路相機或錄影機。此外，例如為智慧型元件終端機內設的相機。又，使用者終端機40、60、70、伺服器20、或除此之外的其他裝置通過構成視訊資料的框架的框間差分算出使用者投擲物品的動作資料，並根據動作資料檢測投擲動作。或者，檢測從基準之框架的圖樣的動作向量，而檢測使用者投擲物品的動作。之後，於攝影棚10的地面的物品位置或使用者終端機40、60、70的顯示面就會以表演者A、B、C能夠辨識的方式顯示物品的軌跡或物品。

此外，也可以使用利用了上述框間差分或動作向量的影像解析來檢測表演者A、B、C取得使用者A、B、C贈送給表演者A、B、C的物品的動作。例如以上述影像解析檢測當表演者A、B、C撿拾物品時蹲下或彎身的動作及與物品接觸或接觸物品所顯示的物品位置的動作。然後，能夠使表演者A、B、C穿戴物品並對表演者A、B、C進行添加特效的處理。

此外，也能夠使用上述影像解析等來檢測表演者A、B、C穿戴取得的物品的動作。例如能夠以上述影像解析來檢測物品朝表演者A、B、C自身的頭部移動的動作。

此外，也能夠使用上述影像解析處理來檢測表演者A、B、C將物品回贈給 使用者A、B、C的動作。例如，能夠以上述影像解析來檢測於攝影棚10表演者A、B、C的動作。

也就是說，也能夠不用深度資訊而以上述影像解析處理來檢測表演者A、B、C進行的動作，並能夠以上述影像解析處理來檢測使用者A、B、C進行的動作。

‧操作資料方面，也可以不用具備加速度資料、角度資料、角速度資料，至少僅有加速度資料作為動作資料即可。因為通過加速度資料就能夠算出投擲的物品的飛行距離等。

‧攝影棚10中也可以省略攝影棚螢幕17。此時，投擲物品的圖樣的使用者的使用者ID之ID圖樣76a等可用投影機16顯示。

‧當有過多物品贈送給表演者A、B、C時，於攝影棚螢幕17或使用者終端機40、60、70的顯示面會過度顯示物品的圖樣。同樣地，於攝影棚10的地面會通過投影機16而過度顯示物品的圖樣。像這種情形，若參加的使用者終端機的數量超過臨界值，則伺服器20會隨機地抽選使用者終端機，並將來自抽選出的使用者終端機的物品的圖樣顯示於攝影棚螢幕17或使用者終端機40、60、70的顯示面。此外，伺服器20將抽選出的來自使用者終端機的物品的圖樣通過投影機16而顯示於攝影棚10的地面。

‧作為使用者A、B、C對表演者A、B、C贈送的物品或表演者A、B、C對使用者A、B、C的回贈物品，例如有使用者A、B、C對表演者A、B、C單純「送交」者。又，例如有使用者A、B、C對表演者A、B、C，使用者A、B、C對表演者A、B、C感謝或祝福而灌注聲援的心情之「贈送」者。 又，例如有使用者A、B、C對表演者A、B、C，將使用者A、B、C購入的物品(所有物)「賞賜」表演者A、B、C者。又，例如有將使用者A、B、C購入的物品(所有權)「讓與」表演者A、B、C者。

‧在物品方面，使用者A、B、C對表演者A、B、C贈送的物品也可以僅顯示於使用者終端機40、60、70的顯示面或攝影棚螢幕17的顯示面。像這樣的物品也能夠如圖5(a)所示從物品選擇圖樣72之中選擇，也可以與物品選擇圖樣72無關，為使用者自製之將表演者的舞台變得華麗的影像資料等物品。如上所述，僅顯示於使用者終端機40、60、70的顯示面或攝影棚螢幕17的顯示面的物品也可以是例如使用者在購買物品時要付費。其中，自製的物品可以是免費。

頭飾等表演者A、B、C穿戴之穿戴具的物品或特效的物品也可以設定為實際上表演者A、B、C取得物品時要進一步付費。也就是說，也可以設定為當使用者A、B、C購買物品時與表演者A、B、C取得物品時要付費2次。其中，也可以設定為僅當表演者A、B、C取得物品時要付費。

‧在表演者A、B、C對使用者A、B、C的回贈方面，也可以是僅接受回贈的使用者可見的單純顯示或展現。此時，也可以是例如不進行表演者A、B、C對使用者A、B、C回贈的動作。又，像這種情形，可以不將簽名球等實物以郵寄等方式給使用者A、B、C。

‧物品可以是包含使用者A、B、C使用軟體作成的影像資料或動畫資料的簡略程式。簡略程式例如為將包含圖樣的動作之表演者的舞台華麗地展現等的特效程式。

1:現場直播系統

2:網路

10:攝影棚

11:播放裝置

12:揚聲器

13:麥克風

14:RGB相機

15:景深相機

16:投影機

17:攝影棚螢幕

18:物品

20:伺服器

40:使用者終端機

40a:個人電腦

50:智慧型手錶

60:使用者終端機

60a:智慧型元件終端機

70:使用者終端機

Claims (13)

1. 一種用於現場直播之顯示控制系統，具備：拍攝部，針對表演者所存在的現實空間的視訊進行拍攝；顯示裝置控制部，其至少將基於所拍攝前述視訊而產生之現場資料，作為現場直播的對象而顯示於使用者方之顯示裝置；取得部，其藉由取得至被拍者之深度資訊，取得上述現實空間的三維位置資訊；使用者方之檢測部，其係檢測用以向前述表演者贈送物品之使用者動作，藉由檢測與上述使用者動作相關之資訊，以檢測上述使用者動作，其中上述使用者動作相關之資訊包含加速度、角度、角速度、及動作向量之中的一個以上；及攝影棚方之物品顯示控制部，其根據上述取得部所取得的三維位置資訊及上述檢測部所檢測的與上述使用者動作相關之資訊，算出應配置上述物品的物品位置，並將算出的上述物品位置顯示於上述現實空間上。
2. 如請求項1所述的用於現場直播之顯示控制系統，其中上述檢測部是上述使用者所持有的智慧型元件終端機。
3. 如請求項2所述的用於現場直播之顯示控制系統，其中上述使用者動作為上述使用者投擲物品的動作。
4. 如請求項3所述的用於現場直播之顯示控制系統，其中與上述使用者動作相關之資訊為上述使用者的動作資料。
5. 如請求項1~4中任一項所述的用於現場直播之顯示控制系統，其中上述顯示裝置控制部係基於上述現實空間的三維位置資訊與上述物品位置，算出於上述現場資料中物品圖樣應配置的物品圖樣位置，並以上述物品圖樣顯示於上述物品圖樣位置的方式顯示於上述顯示裝置。
6. 如請求項5所述的用於現場直播之顯示控制系統，其中基於上述現實空間的三維位置資訊，當上述檢測部判定上述表演者位於上述使用者對上述表演者贈送的上述物品的範圍內時，上述顯示裝置控制部使上述物品圖樣與上述視訊內的上述表演者連結而顯示於顯示裝置。
7. 如請求項6所述的用於現場直播之顯示控制系統，其中上述物品的範圍是基於上述物品圖樣的保存資料所構成的範圍，其是根據上述取得部所取得的上述現實空間的三維位置資訊、上述檢測部所檢測的與上述使用者動作相關的資訊、及表示上述物品的種類的資訊而決定。
8. 如請求項1~4中任一項所述的用於現場直播之顯示控制系統，其中當上述顯示裝置控制部基於上述表演者的三維位置資訊判定上述表演者做出用以對上述使用者贈送回贈物品的動作時，藉由將與上述回贈物品相對應的物品圖樣顯示於上述使用者之終端機，將上述回贈物品給予上述使用者。
9. 如請求項8所述的用於現場直播之顯示控制系統，其中當上述顯示裝置控制部基於與上述終端機對應的使用者輸入判定上述使用者進行接收動作時將上述回贈物品給予上述使用者；當判定上述使用者未進行接收動作時不將上述回贈物品給予上述使用者。
10. 如請求項9所述的用於現場直播之顯示控制系統，其中上述顯示裝置控制部基於使用者ID將回贈所相關的顯示僅顯示於成為上述回贈物品的對象的使用者終端機的顯示裝置，而不顯示於除此之外的使用者的使用者終端機的顯示裝置。
11. 如請求項1~4中任一項所述的用於現場直播之顯示控制系統，其中上述物品為上述使用者所購買的物品。
12. 如請求項1~4中任一項所述的用於現場直播之顯示控制系統，其中上述物品顯示控制部係於上述物品位置顯示物品圖樣。
13. 一種用於現場直播之顯示控制方法，藉由拍攝部，針對表演者所存在的現實空間的視訊進行拍攝；藉由顯示裝置控制部，將前述表演者所存在的現實空間的視訊作為現場直播的對象而顯示於使用者方之顯示裝置；藉由取得部，取得至被拍者之深度資訊，以取得上述現實空間的三維位置資訊；藉由使用者方之檢測部，檢測與用以向前述表演者贈送物品之使用者動作相關之資訊，以檢測上述使用者動作，其中上述使用者動作相關之資訊包含加速度、角度、角速度、及動作向量之中的一個以上；藉由攝影棚方之物品顯示控制部，根據上述取得的三維位置資訊及與上述檢測的使用者動作相關的資訊，算出應配置上述物品的物品位置，並將物品圖樣顯示於算出的上述物品位置上。

Images