WO2021153413A1 - 情報処理装置、情報処理システム及び情報処理方法 - Google Patents

情報処理装置、情報処理システム及び情報処理方法 Download PDF

Info

Publication number
WO2021153413A1
WO2021153413A1 PCT/JP2021/002042 JP2021002042W WO2021153413A1 WO 2021153413 A1 WO2021153413 A1 WO 2021153413A1 JP 2021002042 W JP2021002042 W JP 2021002042W WO 2021153413 A1 WO2021153413 A1 WO 2021153413A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewer
information processing
artist
angle
processing device
Prior art date
Application number
PCT/JP2021/002042
Other languages
English (en)
French (fr)
Inventor
孝悌 清水
一真 高橋
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to EP21747621.7A priority Critical patent/EP4099275A4/en
Priority to CN202180010474.2A priority patent/CN115004132A/zh
Priority to JP2021574692A priority patent/JPWO2021153413A1/ja
Priority to US17/790,413 priority patent/US11907434B2/en
Publication of WO2021153413A1 publication Critical patent/WO2021153413A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays

Abstract

ユーザが指差ジェスチャにより選択したオブジェクトを選択オブジェクトとして検出する検出部（１１０）を備え、前記検出部は、前記指差ジェスチャに対応する前記ユーザの手の手首の位置を示す第１の基準点と、前記指差ジェスチャに対応する前記ユーザの腕の付け根から床面へ垂直におろした第１の垂線上における前記手首の高さに対応する第２の基準点とを結んだ第１の線分から前記手首側へ向かって延長する第１の延長線に基づき、前記選択オブジェクトを検出する、情報処理装置（１００）を提供する。

Description

情報処理装置、情報処理システム及び情報処理方法
　本開示は、情報処理装置、情報処理システム及び情報処理方法に関する。
　アーティスト等の人物（ユーザ）を多視点から撮像し、撮像した複数の画像を立体的に合成して実写ボリュメトリック（立体映像）を生成し、当該人物から離れた遠隔地にて投影又は表示された実写ボリュメトリックを多数の視聴者に鑑賞してもらうというコンテンツの提供方法がある。そして、このようなコンテンツの提供方法においては、当該コンテンツの提供によって生み出される体験をより良いものとするために、アーティストと視聴者とが同一空間に存在して双方が直接的にやり取りを行っているように感じられるインタラクティブな体験を視聴者に提供することが求められる。
　例えば、インタラクティブな体験の一例としては、アーティストと当該アーティストが選択した視聴者（選択オブジェクト）との間で、システム（情報処理システム）を介して対話を行うことが挙げられる。このような場合、例えば、システムは、アーティストが対話する視聴者を選択する選択動作をセンサでセンシングし、当該センサによるセンシングデータに基づき、選択された視聴者を検出する。そして、上記システムは、選択された視聴者側のデバイスとアーティスト側のデバイスとを通信接続して、対話のためのチャネルを形成する。
ＯｕｔｌｉｎＡＲ:　ａｎ　ａｓｓｉｓｔｅｄ　ｉｎｔｅｒａｃｔｉｖｅ　ｍｏｄｅｌ　ｂｕｉｌｄｉｎｇ　ｓｙｓｔｅｍ　ｗｉｔｈ　ｒｅｄｕｃｅｄ　ｃｏｍｐｕｔａｔｉｏｎａｌ　ｅｆｆｏｒｔ、Ｐｉｓｈｅｄ・Ｂｕｎｎｕｎ、Ｗａｌｔｅｒｉｏ　Ｗ．Ｍａｙｏｌ－Ｃｕｅｖａｓ、２００８　７ｔｈ　ＩＥＥＥ／ＡＣＭ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｓｙｍｐｏｓｉｕｍ　ｏｎ　Ｍｉｘｅｄ　ａｎｄ　Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ、ＩＥＥＥ
　しかしながら、これまで検討されてきたシステム（情報処理システム）においては、アーティスト（ユーザ）が選択した視聴者（オブジェクト）を精度よく検出することが難しかったり、アーティストに、選択動作として不自然な動作を行うことを要求するものであったりした。
　そこで、本開示では、ユーザによる、自然で、且つ、直感的な選択動作によって選択されたオブジェクトを、精度よく、選択することができる、情報処理装置、情報処理システム及び情報処理方法を提案する。
　本開示によれば、ユーザが指差ジェスチャにより選択したオブジェクトを選択オブジェクトとして検出する検出部を備え、前記検出部は、前記指差ジェスチャに対応する前記ユーザの手の手首の位置を示す第１の基準点と、前記指差ジェスチャに対応する前記ユーザの腕の付け根から床面へ垂直におろした第１の垂線上における前記手首の高さに対応する第２の基準点とを結んだ第１の線分から前記手首側へ向かって延長する第１の延長線に基づき、前記選択オブジェクトを検出する、情報処理装置が提供される。
　また、本開示によれば、ユーザが指差ジェスチャにより選択したオブジェクトを選択オブジェクトとして検出する検出部を備え、前記検出部は、前記指差ジェスチャに対応する前記ユーザの手の手首の位置を示す第１の基準点と、前記指差ジェスチャに対応する前記ユーザの腕の付け根から床面へ垂直におろした第１の垂線上における前記手首の高さに対応する第２の基準点とを結んだ第１の線分から前記手首側へ向かって延長する第１の延長線に基づき、前記選択オブジェクトを検出する、情報処理システムが提供される。
　さらに、本開示によれば、ユーザが指差ジェスチャにより選択したオブジェクトを選択オブジェクトとして検出するための情報処理方法であって、情報処理装置により、前記指差ジェスチャに対応する前記ユーザの手の手首の位置を示す第１の基準点と、前記指差ジェスチャに対応する前記ユーザの腕の付け根から床面へ垂直におろした第１の垂線上における前記手首の高さに対応する第２の基準点とを結んだ第１の線分から前記手首側へ向かって延長する第１の延長線に基づき、前記選択オブジェクトを検出することを含む、情報処理方法が提供される。
本開示の実施形態に係る双方向視聴システム１の概略的構成を示したシステム図である。 本開示の実施形態に係る配信者側サーバ１００の機能構成を示す図である。 本開示の実施形態に係るマルチカメラシステム１３０ａの構成を示す図である。 本開示の実施形態に係る視聴者側クライアント２００の機能構成を示す図である。 本開示の実施形態に係るＨＭＤ２６０ａの外観構成を示す図である。 本開示の実施形態に係るハプティクス・デバイス２６０ｃの外観構成を示す図である。 本開示の実施形態の概要を説明するための説明図である。 本開示の第１の実施形態に係る検出ユニット１００ａの機能構成を示す図である。 本開示の第１の実施形態に係る判定部１１２の動作を説明するための説明図（その１）である。 本開示の第１の実施形態に係る判定部１１２の動作を説明するための説明図（その２）である。 本開示の第１の実施形態に係る判定部１１２の動作を説明するための説明図（その３）である。 本開示の第１の実施形態に係る情報処理方法のフローチャート図である。 本開示の第１の実施形態を説明するための説明図である。 本開示の第１の実施形態の変形例１を説明するための説明図である。 本開示の第１の実施形態の変形例１に係る情報処理方法のフローチャート図である。 本開示の第１の実施形態の変形例２を説明するための説明図である。 本開示の第１の実施形態の変形例３を説明するための説明図である。 本開示の第２の実施形態を説明するための説明図（その１）である。 本開示の第２の実施形態を説明するための説明図（その２）である。 本開示の第２の実施形態に係る情報処理方法のフローチャート図である。 本開示の実施形態の実施例１を説明するための説明図である。 本開示の実施形態の実施例２を説明するための説明図である。 本開示の実施形態の実施例３を説明するための説明図である。 本開示の実施形態の実施例４を説明するための説明図である。 本開示の実施形態の実施例５を説明するための説明図である。 本開示の実施形態の実施例６を説明するための説明図である。 本開示の実施形態の実施例７を説明するための説明図である。 本開示の実施形態の実施例８を説明するための説明図である。 本開示の実施形態の実施例９を説明するための説明図である。 本開示の実施形態の実施例１０を説明するための説明図である。 配信者側サーバ１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、本明細書及び図面において、実質的に同一又は類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
　なお、以下の説明においては、仮想オブジェクトとは、アーティスト（ユーザ）や視聴者によって実空間に存在する現実物体のように知覚することができる仮想物体（Ｖｉｒｔｕａｒ　Ｏｂｊｅｃｔ）のことを意味する。例えば、仮想オブジェクトは、テキスト、アイコン又はアニメーション等といった様々な形態を有することができる。
　また、以下の説明においては、特に断りがない場合には、アーティストとは、当該アーティストを表すＣＧ（Computer　Graphics）画像のほか、実写ボリュメトリックなどを含む仮想オブジェクトであってもよいし、ＡＲ（Augmented　Reality）においては実空間に存在するアーティスト自身であってもよい。また、視聴者も同様に、当該視聴者を表すＣＧ画像のほか、実写ボリュメトリックなどを含む仮想オブジェクトであってもよいし、ＡＲにおいては実空間に存在する視聴者自身であってもよい。
　なお、説明は以下の順序で行うものとする。
　１．　双方向視聴システム１
　　　　１．１　双方向視聴システム１の概要
　　　　１．２　配信者側サーバ１００の詳細構成
　　　　１．３　マルチカメラシステム１３０ａの詳細構成
　　　　１．４　視聴者側クライアント２００の詳細構成
　　　　１．５　ＨＭＤ２６０ａの外観構成
　　　　１．６　ハプティクス・デバイス２６０ｃの外観構成
　２．　本開示の技術的背景
　３．　本開示の実施形態の概要
　４．　第１の実施形態
　　　４．１　検出ユニット１００ａの詳細構成
　　　４．２　情報処理方法
　　　４．３　変形例１
　　　４．４　変形例２
　　　４．５　変形例３
　５．　第２の実施形態
　　　５．１　検出モード
　　　５．２　情報処理方法
　６．　実施形態に係る実施例
　　　６．１　実施例１
　　　６．２　実施例２
　　　６．３　実施例３
　　　６．４　実施例４
　　　６．５　実施例５
　　　６．６　実施例６
　　　６．７　実施例７
　　　６．８　実施例８
　　　６．９　実施例９
　　　６．１０　実施例１０
　７．　まとめ
　８．　ハードウェア構成について
　９．　補足
　＜＜１．　双方向視聴システム１＞＞
　＜１．１　双方向視聴システム１の概要＞＞
　まずは、本開示の実施形態の詳細を説明する前に、図１を参照して、本開示の実施形態に係る双方向視聴システム（情報処理システム）１の概要を説明する。図１は、本開示の実施形態に係る双方向視聴システム１の概略的構成を示したシステム図である。以下の説明においては、双方向視聴システム１では、アーティスト（配信者、ユーザ）と視聴者とは異なる実空間に存在していても、同一の実空間に存在していてもよい。当該双方向視聴システム１においては、視聴者は、例えば、視聴者側の仮想空間に表示された実写ボリュメトリック（立体映像）又は実空間に投影等（以下の説明において、「表示」には「投影等」が含まれるものとする）されたＣＧ画像（例えば、アバター等）を介してアーティストの姿を視聴することとなり、アーティストは、アーティスト側の仮想空間に描画されたＣＧ画像（例えば、アバター等）や実写ボリュメトリック等又は実空間に表示されたＣＧ画像（例えば、アバター等）を介して視聴者の姿を確認することができる。さらに、本実施形態においては、双方向視聴システム１は、アーティストが（例えば対話対象の）視聴者を選択する選択動作をセンサでセンシングし、当該センサによるセンシングデータに基づき、アーティストにより選択された視聴者を検出する。そして、双方向視聴システム１は、選択された視聴者側のデバイスとアーティスト側のデバイスとを通信接続して、選択された視聴者とアーティストとの間での対話のためのチャネルを形成する。
　なお、ここで説明する双方向視聴システム１は、本開示の実施形態で用いられる情報処理システムの一例であり、本開示の実施形態においては、このようなシステムの利用に限定されるものではない。例えば、本開示の実施形態では、アーティストと視聴者とが物理的に離れた実空間に存在する場合（例えば、スタジオと自宅の部屋等）において視聴者にコンテンツを提供するものであってもよいし、アーティストと視聴者とが同一実空間に存在する場合（例えば、コンサート、イベント等）において視聴者にコンテンツを提供するものであってもよい。これらのような場合、情報処理システムが、アーティストの選択した視聴者が保持又は装着しているデバイス（例えば、ＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）、スマートフォン等）や近傍のデバイス（例えば、照明、プロジェクタ、スピーカ等）を制御したりすることが想定される。
　また、以下の説明では、アーティストと視聴者とが物理的に離れた実空間に存在し、互いに同じ仮想空間を共有する（すなわち、それぞれのアバター等が同一の仮想空間内に存在する）場合（以下、ＶＲ（Virtual　Reality）空間共有という）を例示するが、これに限定されず、アーティストと視聴者とが同じ実空間に存在し、この実空間内にＣＧ画像等を表示する場合（以下、ＡＲ空間共有という）など、仮想空間と実空間とを何らかの形でリンクさせることが可能な種々のシステムに対して、本開示に係る技術を適用することが可能である。ただし、ＶＲ空間共有では、アーティストと視聴者とが属する実空間が物理的に離れていることは必須ではなく、同一実空間内に両者が存在しつつ仮想空間（以下、ＶＲ空間ともいう）を共有していてもよい。同様に、ＡＲ空間共有では、アーティストと視聴者とが属する実空間が同一であることは必須ではなく、物理的に離れた実空間にそれぞれが存在しつつ拡張空間（以下、ＡＲ空間ともいう）を共有していてもよい。
　図１に示すように、本実施形態に係る双方向視聴システム１は、例えば、配信者側サーバ（情報処理装置）１００と、マルチカメラシステム１３０ａと、配信者側表示部１６０ａ、視聴者側表示部２６０ｂと、視聴者側クライアント２００と、ＨＭＤ２６０ａと、ハプティクス・デバイス２６０ｃとを含むことができる。配信者側サーバ１００と視聴者側クライアント２００とは、インターネット３００等のような各種の通信ネットワークを介して互いに通信することができる。なお、双方向視聴システム１に含まれる各装置の数は、図１に図示された数に限定されるものではなく、さらに多くてもよい。また、双方向視聴システム１は、図１において図示されない装置を含んでいてもよい。例えば、双方向視聴システム１は、汎用ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、タブレット型端末、ゲーム機、スマートフォン等の携帯電話、携帯型メディアプレーヤ、スピーカ、プロジェクタ、ディスプレイ（デジタルサイネージ等）、ヘッドフォン、スマートグラス、スマートウォッチ等のウェアラブルデバイス、もしくは、ロボット（例えば、ヒューマノイド型ロボット又は自動運転車等）等を含むことができる。以下に、本開示の実施形態に係る双方向視聴システム１に含まれる各装置の概略について説明する。
　（配信者側サーバ１００）
　配信者側サーバ１００は、１人又は複数のアーティスト（ユーザ）に関する少なくとも１つのセンシングデータ（撮像画像、モーションデータ、音声、位置情報等）を取得することができる。さらに、配信者側サーバ１００は、取得したセンシングデータを処理して、配信用コンテンツデータ（例えば、実写ボリュメトリック、ＣＧ画像、音声データ等）を生成し、後述する視聴者側クライアント２００へ配信することができる。また、配信者側サーバ１００は、１人又は複数の視聴者（オブジェクト）に関する少なくとも１つのセンシングデータ（例えば、位置情報、撮像画像、モーションデータ、音声等）に基づく配信データ（例えば、位置情報、姿勢情報、音声データ等）を、視聴者側クライアント２００から取得することができる。なお、配信者側サーバ１００の詳細構成については後述する。
　（マルチカメラシステム１３０ａ）
　マルチカメラシステム１３０ａは、アーティストを多視点から撮像する複数の可視光カメラ１３２（図３　参照）等を含み、撮像等によって得られたセンシングデータ（例えば、撮像画像）を上述した配信者側サーバ１００へ出力することができる。当該カメラ１３２は、アーティストの周囲又は周囲に存在する実物体等を撮像してもよい。当該マルチカメラシステム１３０ａは、アーティストを撮像する複数の可視光カメラ１３２だけでなく、アーティストの身体の一部に装着されたマーカ１３４ｂ（図３　参照）を撮像する赤外線（ＩＲ）カメラ１３４ａを含んでいてもよく、アーティストの身体の姿勢をセンシングするデプスセンサ１３６（図３　参照）を含んでいてもよい。また、マルチカメラシステム１３０ａは、アーティストの身体の一部に装着された複数の慣性センサ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ：ＩＭＵ）（図示省略）を含んでいてもよい。各ＩＭＵは、加速度センサ（図示省略）や、角速度センサ（図示省略）を含み、得られたセンシングデータによってアーティストの姿勢や、動きをセンシングすることができる。なお、本実施形態においては、マルチカメラシステム１３０ａは、ＩＭＵ以外にも、モーションセンサとして、地磁気センサ（図示省略）、気圧センサ（図示省略）等を含んでいてもよい。
　さらに、マルチカメラシステム１３０ａは、ユーザの位置をセンシングする位置センサ（図示省略）、アーティストの音声やアーティストの周囲の周囲環境音をセンシングするサウンドセンサ（図示省略）、アーティストの視線をセンシングする視線センサ（図示省略）、アーティストの生体情報をセンシングする生体情報センサ（図示省略）（例えば、心拍、脈拍、脳波、呼吸、発汗、筋電位、皮膚温度、皮膚電気抵抗、眼球運動、又は、瞳孔径等をセンシングするセンサ）、アーティストによって入力されるテキスト等を受け付ける入力装置（図示省略）を含んでいてもよく、特に限定されるものではない。
　より具体的には、例えば、上述した位置センサは、アーティストの位置をセンシングするセンサであり、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）受信機等であることができる。この場合、位置センサは、ＧＮＳＳ衛星からの信号に基づいてアーティストの現在地の緯度・経度の情報（グローバル座標系での位置情報）を示すセンシングデータを取得する。また、例えば、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、Ｗｉ－Ｆｉのアクセスポイントなどは、無線基地局の情報等からユーザの相対的な位置関係をセンシングすることが可能なため、本実施形態においては、これらのような通信装置を位置センサとして利用してもよい。なお、マルチカメラシステム１３０ａの詳細構成については後述する。
　（配信者側表示部１６０ａ）
　配信者側表示部１６０ａは、例えば、配信者側サーバ１００と通信可能に接続する、アーティストの保持するタブレット（図示省略）やスマートフォン（図示省略）、アーティストの存在する実空間に設置されるプロジェクタ（図示省略）、ディスプレイ（図示省略）等によって実現される。配信者側表示部１６０ａは、アーティストの存在する実空間に、テキスト、アイコン又はアニメーション等を表示することができる。例えば、配信者側表示部１６０ａは、アーティストと異なる空間に存在する複数の視聴者の像を、アバター（ＣＧ画像）等の仮想オブジェクトの形態で、アーティストの存在する実空間に表示することができる。この際、アーティスト側で表現された仮想空間（実質的に実空間と等価であってもよい。以下同様）におけるアーティストと視聴者の像との相対的な位置関係が、視聴者側の仮想空間に表示されたアーティストの像（例えば、実写ボリュメトリック等）と各視聴者との相対的な位置関係と対応するように、視聴者の像は表示されることとなる。
　（視聴者側クライアント２００）
　視聴者側クライアント２００は、上述した配信者側サーバ１００から取得した配信コンテンツデータを取得し、取得した配信コンテンツデータを、ＨＭＤ２６０ａ、視聴者側表示部２６０ｂ、ハプティクス・デバイス２６０ｃを介して視聴者に提供することができる。なお、ＨＭＤ２６０ａは、基本的にはＶＲ空間共有を目的としたデバイスであるが、ＡＲ空間共有にも使用することができる。同様に、視聴者側表示部２６０ｂは、基本的にはＡＲ空間共有を目的としたデバイスであるが、ＶＲ空間共有にも使用することができる。
　また、視聴者側クライアント２００は、１人又は複数の視聴者に関する少なくとも１つのセンシングデータ（撮像画像、モーションデータ、音声、位置情報等）を取得して、配信者側サーバ１００へ送信することができる。なお、視聴者側クライアント２００の詳細構成については後述する。
　（ＨＭＤ２６０ａ）
　ＨＭＤ２６０ａは、視聴者側クライアント２００に通信可能に接続し、配信コンテンツデータに基づき、仮想空間の映像を表示することができる。例えば、ＨＭＤ２６０ａは、アーティストの実写ボリュメトリックを仮想空間に表示することができる。この際、聴者側の仮想空間に表示されたアーティストの像と視聴者との相対的な位置関係が、アーティスト側で表現された仮想空間における視聴者の像とアーティストとの相対的な位置関係と対応することが好ましい。
　ＨＭＤ２６０ａは、例えば、図７に示すような、視聴者の頭部に装着される眼鏡型のＨＭＤにより実現されることができる。そして、装着時に視聴者の眼前に位置する眼鏡レンズ部分に相当する表示部（図示省略）は、眼鏡レンズ部分の外側を視認することができる透過型、又は、眼鏡レンズ部分の外側を視認することができない非透過型ディスプレイであり、仮想オブジェクトを表示することができる。なお、上述の説明においては、ＨＭＤ２６０ａは、視聴者の頭部に装着されて、視聴者側クライアント２００と通信可能に接続しているものとして説明したが、本実施形態においてはこれに限定されるものではない。本実施形態においては、例えば、ＨＭＤ２６０ａは、アーティストの頭部に装着されて、配信者側サーバ１００と通信可能に接続していてもよい。
　また、ＨＭＤ２６０ａが光学シースルー又はビデオシースルーの機能を備えている場合には、ＨＭＤ２６０ａは、ＡＲ空間共有を実現するための表示デバイスにもなり得る。例えば、ＨＭＤ２６０ａが非透過型ディスプレイである場合は、視聴者の表情や視聴者の周囲を撮像するカメラ（図示省略）によって撮像された、視聴者の存在する実空間の像を上記非透過型ディスプレイに表示することもできる（ビデオシースルー）。このように、ＨＭＤ２６０ａが光学シースルー又はビデオシースルーの機能を備えている場合、ＨＭＤ２６０ａは、例えば、視聴者の存在する実空間に、アーティストの実写ボリュメトリックを表示することができる。
　さらに、ＨＭＤ２６０ａは、スピーカ（図示省略）、ＩＭＵ（図示省略）、地磁気センサ（図示省略）、気圧センサ（図示省略）、位置センサ（図示省略）、サウンドセンサ（図示省略）、視線センサ（図示省略）、生体情報センサ（図示省略）等を含んでいてもよい。なお、ＨＭＤ２６０ａの外観例については後述する。
　さらに、本実施形態においては、双方向視聴システム１は、頭部に装着されるメガネ型のウェアラブルデバイスであるＨＭＤ２６０ａ以外にも、他の形態のウェアラブルデバイス（図示省略）を含んでいてもよい。例えば、当該ウェアラブルデバイスとしては、イヤーデバイス（ヘッドフォン）型、アンクレット型、腕輪型、首輪型、グローブ型、パッド型、バッチ型、衣服型等の各種形態のウェアラブルデバイスを挙げることができる。
　（視聴者側表示部２６０ｂ）
　視聴者側表示部２６０ｂは、視聴者側クライアント２００と通信可能に接続する、視聴者の保持するタブレット（図示省略）やスマートフォン（図示省略）、視聴者の存在する実空間に設置されるプロジェクタ（図示省略）、ディスプレイ（図示省略）等によって実現される。視聴者側表示部２６０ｂは、視聴者の存在する実空間に、テキスト、アイコン又はアニメーション等を表示することができる。例えば、視聴者側表示部２６０ｂは、アーティストの像を視聴者の存在する実空間に表示することができる。この際、聴者側で表現された仮想空間におけるアーティストの像と視聴者との相対的な位置関係が、アーティスト側で表現された仮想空間における視聴者の像とアーティストとの相対的な位置関係と対応することが好ましい。
　（ハプティクス・デバイス２６０ｃ）
　ハプティクス・デバイス２６０ｃは、視聴者側クライアント２００に通信可能に接続し、視聴者が保持又は視聴者の身体の一部に装着され、配信コンテンツデータに従って振動等することにより、視聴者に触覚刺激を与えることができる。例えば、ハプティクス・デバイス２６０ｃは、視聴者に振動を与える振動装置（図示省略）、視聴者に電気的に刺激を与える電気刺激装置（図示省略）等を含むことができる。さらに、ハプティクス・デバイス２６０ｃは、ＩＭＵ（図示省略）、地磁気センサ（図示省略）、気圧センサ（図示省略）、位置センサ（図示省略）、サウンドセンサ（図示省略）、生体情報センサ（図示省略）等を含んでいてもよい。また、このような視聴者に触覚刺激を与える装置は、上述したＨＭＤ２６０ａや各種のウェアラブルデバイス、視聴者が保持するスアートフォン等に含まれていてもよい。なお、ハプティクス・デバイス２６０ｃの外観例については後述する。
　＜１．２　配信者側サーバ１００の詳細構成＞
　次に、本開示の実施形態に係る双方向視聴システム１に含まれる各装置の詳細構成について順次説明する。まずは、配信者側サーバ１００の詳細構成を、図２を参照して説明する。図２は、本開示の実施形態に係る配信者側サーバ１００の機能構成を示す図である。先に説明したように、本実施形態に係る配信者側サーバ１００は、アーティストに関する少なくとも１つのセンシングデータを取得し、取得したセンシングデータを処理して、配信用コンテンツデータを生成し、視聴者側クライアント２００へ配信することができる。図２に示すように、配信者側サーバ１００は、検出ユニット１００ａと、配信者側データ取得部１０２と、画像データ生成部１１６と、映像ストリーミング処理部１１８と、身体位置情報生成部１２０と、３Ｄモデル位置情報生成部１２２と、コンテンツデータ生成部１２４と、配信部１２６とを主に有する。以下に、配信者側サーバ１００の各機能ブロックについて順次説明する。なお、検出ユニット１００ａの説明については、本開示の実施形態の要部であることから、後述する。
　（配信者側データ取得部１０２）
　配信者側データ取得部１０２は、アーティストに関するセンシングデータ（例えば、撮像画像、モーションデータ、音声、位置情報等）を、マルチカメラシステム１３０ａ等から取得し、後述する検出ユニット１００ａ、画像データ生成部１１６及び身体位置情報生成部１２０に出力することができる。例えば、配信者側データ取得部１０２は、例えば、マルチカメラシステム１３０ａから、多視点からのアーティストの撮像画像を取得し、画像データ生成部１１６に出力する。また、配信者側データ取得部１０２は、マルチカメラシステム１３０ａからのアーティストの姿勢や動きのわかる撮像画像やＩＭＵ（図示省略）からのアーティストの姿勢や動きに関するセンシングデータを取得し、身体位置情報生成部１２０に出力する。なお、図２では図示を省略しているものの、配信者側サーバ１００は、１人又は複数の視聴者に関する少なくとも１つのセンシングデータ（例えば、撮像画像、モーションデータ、音声、位置情報等）やこれに基づいて生成される配信データを視聴者側クライアント２００から取得する視聴者側データ取得部を含み、当該視聴者側データ取得部は、取得したデータを後述する画像データ生成部１１６に出力することができる。
　（画像データ生成部１１６）
　画像データ生成部１１６は、マルチカメラシステム１３０ａの多視点カメラから取得した映像を表示用データとして生成する。さらに、画像データ生成部１１６は、生成した表示用データを後述する映像ストリーミング処理部１１８に出力することができる。例えば、ＶＲ空間共有では演者映像（例えば、実写ボリュメトリック）＋ＣＧ画像（例えば、アバター）、ＡＲ空間共有では演者映像＋ＣＧ画像、実世界ではＣＧ画像が、配信者側サーバ１００から視聴者側クライアント２００へ伝送される。
　（映像ストリーミング処理部１１８）
　映像ストリーミング処理部１１８は、生成した表示用データに対して、ストリーミング配信するための処理を行い、後述するコンテンツデータ生成部１２４に出力することができる。
　（身体位置情報生成部１２０）
　身体位置情報生成部１２０は、マルチカメラシステム１３０ａから取得したアーティストの姿勢や動きのわかる撮像画像や複数のＩＭＵ（図示省略）から取得したアーティストの姿勢や動きに関するセンシングデータに基づいて、アーティストの位置情報及び姿勢情報を生成することができる。さらに、身体位置情報生成部１２０は、生成したアーティストの位置情報及び姿勢情報を、後述する３Ｄモデル位置情報生成部１２２に出力することができる。
　（３Ｄモデル位置情報生成部１２２）
　３Ｄモデル位置情報生成部１２２は、位置情報及び姿勢情報に基づき、アーティストの身体の位置や姿勢をスケルトン構造により表現するスケルトン情報を含む３Ｄモデル位置情報を生成することができる。そして、３Ｄモデル位置情報生成部１２２は、生成した３Ｄモデル位置情報を、後述するコンテンツデータ生成部１２４に出力することができる。例えば、スケルトン構造は、アーティストの身体の各部位の情報と、部位間を結ぶ線分であるボーンとを含む。なお、スケルトン構造における部位は、例えば身体の末端部位や関節部位等に対応する。また、スケルトン構造におけるボーンは例えば人間の骨に相当し得るが、ボーンの位置や数は必ずしも実際の人間の骨格と整合していなくてもよい。
　（コンテンツデータ生成部１２４）
　コンテンツデータ生成部１２４は、立体画像データ及び３Ｄモデル位置情報に基づき、配信コンテンツデータ（例えば、立体画像データのアーティストの像に、スケルトン情報を組み合わせる等）を生成し、後述する配信部１２６へ出力することができる。
　（配信部１２６）
　配信部１２６は、配信コンテンツデータを視聴者側クライアント２００へ配信することができる。
　なお、本実施形態においては、配信者側サーバ１００に含まれる各機能ブロックは、図２に示される機能ブロックに限定されるものではない。
　＜１．３　マルチカメラシステム１３０ａの詳細構成＞
　次に、マルチカメラシステム１３０ａの詳細構成を、図３を参照して説明する。図３は、本開示の実施形態に係るマルチカメラシステム１３０ａの構成を示す図である。先に説明したように、本実施形態に係るマルチカメラシステム１３０ａは、アーティスト６００を多視点から撮像する複数の可視光カメラ１３２等を含み、当該カメラ１３２によって得られた撮像画像を上述した配信者側サーバ１００へ出力することができる。
　詳細には、図３に示すように、アーティスト６００を取り囲むように、複数の可視光カメラ１３２が設置され、これらカメラ１３２は、アーティスト６００を異なるアングルで撮像する。従って、複数のカメラ１３２の相対的位置関係を考慮して、各カメラ１３２で取得された撮像画像を合成することにより、立体的なアーティスト６００の像を得ることができる。さらに、本実施形態においては、各撮像画像からアーティスト６００の身体の各部位の画像を抽出し、各カメラ１３２の位置に基づいて処理を行うことにより、アーティスト６００の各部位の位置情報や姿勢情報を取得することができる。なお、当該マルチカメラシステム１３０ａは、先に説明したように、複数の可視光カメラ１３２だけでなく、アーティスト６００の身体の一部に装着されたマーカ１３４ｂを撮像するＩＲカメラ１３４ａを含んでいてもよく、アーティスト６００の姿勢をセンシングするデプスセンサ１３６を含んでいてもよい。
　また、本実施形態においては、例えば、上記撮像画像を合成したり、撮像画像からアーティスト６００の身体の各部位の位置や姿勢等の情報を取得したりするために、アーティスト６００側の実空間上に仮想的に設けられた原点を基準とする、ローカル座標系が設定される。例えば、各カメラ１３２の位置、アーティスト６００の身体の各部位の位置、アーティスト６００が立っている床面についても、ローカル座標系によって表現することができる。
　また、マルチカメラシステム１３０ａは、先に説明したように、アーティスト６００の身体の一部に装着された複数のＩＭＵ（図示省略）を含んでいてもよく、ＩＭＵは、加速度センサ（図示省略）や、角速度センサ（図示省略）を含むことができる。本実施形態においては、複数のＩＭＵから取得したアーティストの姿勢や動きに関するセンシングデータに基づいて、各ＩＭＵの装着部位の位置の位置情報及び姿勢情報を生成し、さらに、アーティスト６００の身体の位置や姿勢をスケルトン構造により表現するスケルトン情報を含む３Ｄモデル位置情報を生成することができる。詳細には、本実施形態においては、例えば慣性航法（Ｉｎｅｒｔｉａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓｙｓｔｅｍ）を用いて、ＩＭＵからのセンシングデータからＩＭＵの装着部位の位置を計算することができ、ＩＭＵの位置情報等により、順運動学（ＦＫ：Ｆｏｒｗａｒｄ　Ｋｉｎｅｍａｔｉｃｓ）計算によりスケルトン情報を取得することができる。ここで、順運動学計算とは、各関節部位の姿勢に基づいて、末端部位の位置を計算する手法である。また、本実施形態においては、上述した順運動学計算ではなく、逆運動学（ＩＫ：Ｉｎｖｅｒｓｅ　Ｋｉｎｅｍａｔｉｃｓ）計算を用いてスケルトン情報を取得してもよい。逆運動学計算とは、末端部位の位置に基づいて、各関節部位の姿勢を計算する手法である。
　なお、本実施形態においては、マルチカメラシステム１３０ａに含まれる各装置は、図３に示される装置に限定されるものではない。
　＜１．４　視聴者側クライアント２００の詳細構成＞
　次に、視聴者側クライアント２００の詳細構成を、図４を参照して説明する。図４は、本開示の実施形態に係る視聴者側クライアント２００の機能構成を示す図である。先に説明したように、本実施形態に係る視聴者側クライアント２００は、配信者側サーバ１００から取得した配信コンテンツデータを取得し、取得した配信コンテンツデータを、ＨＭＤ２６０ａ、視聴者側表示部２６０ｂ、ハプティクス・デバイス２６０ｃ等を介して視聴者に提供することができる。図４に示すように、視聴者側クライアント２００は、配信データ取得部２０２と、コンテンツ処理部２０４と、タイミング同期部２０６、２１２と、出力制御部２０８と、視聴者側データ取得部２１０と、出力データ処理部２１４と、配信部２１６とを主に有する。以下に、視聴者側クライアント２００の各機能ブロックについて順次説明する。
　（配信データ取得部２０２）
　配信データ取得部２０２は、配信者側サーバ１００から配信コンテンツデータを取得し、後述するコンテンツ処理部２０４に出力することができる。
　（コンテンツ処理部２０４）
　コンテンツ処理部２０４は、取得した配信コンテンツデータを、ＨＭＤ２６０ａ、視聴者側表示部２６０ｂ、ハプティクス・デバイス２６０ｃ等を介して視聴者に提供するための処理を行い、後述するタイミング同期部２０６に出力することができる。
　（タイミング同期部２０６、２１２）
　タイミング同期部２０６は、ＨＭＤ２６０ａ、視聴者側表示部２６０ｂ、ハプティクス・デバイス２６０ｃ等を介して視聴者に提供するための処理がなされた各配信コンテンツデータの出力タイミングを同期させ、後述する出力制御部２０８に出力することができる。また、タイミング同期部２１２は、後述する視聴者側データ取得部２１０からの複数のセンシングデータを同期させ、後述する出力データ処理部２１４に出力することができる。
　（出力制御部２０８）
　出力制御部２０８は、タイミング同期部２０６からの処理がなされた各配信コンテンツデータに基づき、ＨＭＤ２６０ａ、視聴者側表示部２６０ｂ、ハプティクス・デバイス２６０ｃ等を制御することができる。
　（視聴者側データ取得部２１０）
　視聴者側データ取得部２１０は、１人又は複数の視聴者に関する少なくとも１つのセンシングデータ（例えば、撮像画像、モーションデータ、音声、位置情報等）を取得して、タイミング同期部２１２へ出力することができる。
　（出力データ処理部２１４）
　出力データ処理部２１４は、タイミング同期部２１２からのセンシングデータを、配信者側サーバ１００へ配信するための処理を行い、後述する配信部２１６に出力することができる。
　（配信部２１６）
　配信部２１６は、出力データ処理部２１４で処理されたセンシングデータを配信者側サーバ１００へ配信することができる。
　なお、本実施形態においては、視聴者側クライアント２００に含まれる各機能ブロックは、図４に示される機能ブロックに限定されるものではない。
　＜１．５　ＨＭＤ２６０ａの外観構成＞
　次に、ＨＭＤ２６０ａの外観構成を、図５を参照して説明する。図５は、本開示の実施形態に係るＨＭＤ２６０ａの外観構成を示す図である。先に説明したように、本実施形態に係るＨＭＤ２６０ａは、配信コンテンツデータ等に従って仮想空間の映像を表示することができる。
　図５に示すように、ＨＭＤ２６０ａは、例えば、視聴者の頭部に装着される眼鏡型のＨＭＤにより実現される。詳細には、装着時に視聴者の眼前に位置する眼鏡レンズ部分に相当する表示部（図示省略）は、眼鏡レンズ部分の外側を視認することができる透過型、又は、眼鏡レンズ部分の外側を視認することができない非透過型ディスプレイであってもよい。
　なお、ＡＲ空間共有の場合には、ＨＭＤ２６０ａの光学シースルー又はビデオシースルーの機能を利用することになるが、その場合、ＨＭＤ２６０ａを眼鏡のように常時装着する場合であっても、視聴者は周囲の実空間を知覚することが可能であるため、視聴者の通常の生活に与える影響を抑えることができる。このような場合、上記表示部は、スルー状態のまま、テキストや図等の画像を表示することができ、すなわち、拡張現実（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ：ＡＲ）として、実空間に仮想オブジェクトを表示してもよい。このような透過型ディスプレイは、例えば、ハーフミラーや透明な導光板を用いて、透明な導光部等からなる虚像光学系を視聴者の眼前に保持し、当該虚像光学系の内側に仮想オブジェクトを表示させる。
　また、本実施形態においては、上記ＨＭＤ２６０ａは、視聴者の両眼に対して仮想オブジェクトを表示する形態に限定されるものではなく、視聴者の片眼に対してのみ仮想オブジェクトを表示する形態を持っていてもよい。さらに、本実施形態においては、上記表示部は、視聴者の網膜に直接的に映像を投影するＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）光源等として実現されてもよい。すなわち、ＨＭＤ２６０ａは、プロジェクション型のＨＭＤとして実現されてもよい。
　なお、本実施形態においては、ＨＭＤ２６０ａの形態は、図５に示す例に限定されるものではなく、例えば、ヘルメットタイプ（例えば、ヘルメットのバイザー部分がディスプレイに相当する）のＨＭＤであってもよい。
　また、ＨＭＤ２６０ａは、先に説明したように、視聴者の表情や視聴者の周囲を撮像するカメラ（図示省略）、スピーカ（図示省略）、位置センサ（図示省略）等を含むことができる。
　さらに、本実施形態においては、例えば、上記位置センサによって、視聴者の位置を取得したりするために、視聴者側の実空間上に仮想的に設けられた原点を基準とする、ローカル座標系が設定されてもよい。さらにまた、視聴者側の仮想空間に表示されるアーティスト６００の像（例えば、実写ボリュメトリック等）の位置についても、上記ローカル座標系によって表現することができる。さらに、視聴者側の実空間でのローカル座標系における視聴者とアーティスト６００の像との相対的位置関係は、上述したアーティスト６００側の実空間でのローカル座標系におけるアーティスト６００と視聴者の像との相対的位置関係に対応する（例えば、一致、相似等）。すなわち、アーティスト側の実空間に設定されたローカル座標系と視聴者側の実空間に設定されたローカル座標系とアーティスト６００と視聴者６１０とで共有する仮想空間の座標系とを整合させておくことで、アーティスト側でのアーティスト６００と視聴者６１０との位置関係をそのまま視聴者側で再現することが可能となる。
　＜１．６　ハプティクス・デバイス２６０ｃの外観構成＞
　次に、ハプティクス・デバイス２６０ｃの外観構成を、図６を参照して説明する。図６は、本開示の実施形態に係るハプティクス・デバイス２６０ｃの外観構成を示す図である。先に説明したように、ハプティクス・デバイス２６０ｃは、視聴者が保持又は視聴者の身体の一部に装着され、配信コンテンツデータに従って振動等することにより、視聴者に触覚刺激を与える装置である。
　例えば、ハプティクス・デバイス２６０ｃは、図６に示すようなコントローラ型のハプティクス・デバイスであることができる。具体的には、ハプティクス・デバイス２６０ｃの円筒状の把持部内には、振動装置（図示省略）が設けられており、当該振動装置が配信コンテンツデータ等に従って振動することにより、把持部を把持する視聴者に振動を与えることができる。また、ハプティクス・デバイス２６０ｃには、上記振動装置以外にも、視聴者に電気的に刺激を与える電気刺激装置（図示省略）等を含むことができる。さらに、ハプティクス・デバイス２６０ｃには、図６に示すように、配信コンテンツデータ等に従って、光を放射する照射装置が含まれていてもよい。
　なお、本実施形態においては、ハプティクス・デバイス２６０ｃの形態は、図６に示す例に限定されるものではなく、例えば、視聴者の身体に装着されるベスト形状のハプティクス・デバイスであってもよい。
　＜＜２．　本開示の技術的背景＞＞
　さらに、本開示の実施形態の詳細を説明する前に、本発明者らが本開示の実施形態を創作するに至る背景について説明する。
　先に説明したように、例えば、アーティスト６００の実写ボリュメトリックを生成し、当該アーティスト６００から離れた遠隔地にて表示された実写ボリュメトリックを多数の視聴者に鑑賞してもらうというコンテンツの提供方法がある。このような方法では、当該コンテンツの提供によって生み出される体験をより良いものとするために、アーティスト６００と視聴者とが同一空間に存在して双方が直接的にやり取りを行っているように感じられるインタラクティブな体験を視聴者に提供することが求められる。そして、インタラクティブな体験の一例としては、アーティスト６００と当該アーティスト６００が選択した視聴者との間で対話を行うことが挙げられる。このような場合、例えば、上記コンテンツを提供する双方向視聴システム１は、アーティスト６００が対話する視聴者を選択する選択動作をセンサでセンシングし、当該センサによるセンシングデータに基づき、選択された視聴者を検出する。そして、上記双方向視聴システム１は、選択された視聴者側のデバイスとアーティスト６００側のデバイスとを通信接続して、対話のためのチャネルを形成する。
　本発明者らは、このような双方向視聴システム１の検討を鋭意進めていたが、その過程で、双方向視聴システム１が、アーティスト６００にとって、負担の少ない、快適なものとなるためには、上記選択動作は、当該アーティスト６００にとって、自然で、且つ、直感的な動作（Ｎａｔｕａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ：ＮＵＩ）であることが好ましいと考えていた。しかしながら、これまで検討されてきた双方向視聴システム１では、アーティスト６００が選択した視聴者を精度よく検出することが難しかったり、アーティスト６００に、選択動作として不自然な動作を行うことを要求するものであったりと、本発明者らが求めるような水準に到達しているとはいえなかった。
　詳細には、これまで検討されてきた双方向視聴システム１では、例えば、アーティスト６００が選択した視聴者に対して顔や胸を向ける選択動作を検出する。言い換えると、当該双方向視聴システム１は、アーティスト６００の顔の向きや胸の向きをセンサでセンシングし、センシングした向きに基づいてアーティスト６００が選択した視聴者を検出する。この場合、顔や胸は面積が広いことから検出面が広く、センサによってこれらの向きをセンシングすることが容易である。しかしながら、選択した視聴者に対して顔や胸を向けるという動作は、アーティスト６００にとっては、自然で、且つ、直感的な動作であるとは言い難いことから、当該双方向視聴システム１は、アーティスト６００にとって、負担の少ない、快適なものであるとはいなかった。
　また、アーティスト６００にとって、自然で、且つ、直感的な選択動作の１つとして、選択した視聴者を指差しする指差ジェスチャを挙げることができる。このような動作であれば、日常的な動作であるため、アーティスト６００の腕に負担がかかることを避けることができる。
　そこで、本発明者らは、双方向視聴システム１において、アーティスト６００の指差ジェスチャでの指先の示す方向をセンサでセンシングし、センシングした方向に基づいて、アーティスト６００が選択した視聴者を検出する場合を検討した。この場合、先に説明したように、指差ジェスチャは、自然で、且つ、直感的な動作であることから、アーティスト６００に負担がかかることはない。しかしながら、指先の面積が非常に狭いことから、検出面が狭く、センサによってその向きまで精度よくセンシングすることは難しい。加えて、指差ジェスチャは、ヒトの動作であることから、指先の姿勢が所定の時間の間に固定されることが難しく、従って、センサによって指先の向きを精度よくセンシングすることは難しい。
　このような状況において、本発明者らは、アーティスト６００による、自然で、且つ、直感的な選択動作によって選択された視聴者を、精度よく、選択することができる、以下に説明する本開示の実施形態を創作するに至ったのである。
　＜＜３．　本開示の実施形態の概要＞＞
　図７を参照して、本発明者らが創作した本開示の実施形態の概要を説明する。図７は、本開示の実施形態の概要を説明するための説明図である。
　本開示の実施形態においては、アーティスト６００の選択動作として、選択した視聴者に向けて指差しを行う指差ジェスチャを採用する。このような動作は、先に説明したように、日常生活の中で選択した物体等を指し示すために行う動作であり、自然で、且つ、直感的な動作であることから、アーティスト６００に負担がかかることはない。さらに、このような動作は、視聴者等からも直感的にその意味を把握することができることから、好ましい動作であるといえる。なお、本開示の実施形態においては、上述のような指差ジェスチャに限定されるものではなく、他のジェスチャであってもよく、アーティスト６００の身体による所定の動き（例えば、ダンス、ボディランゲージ等）であってもよく、空中に仮想的に軌跡を描くような行為を行うような空中ペインティング動作等であってもよい。
　そして、本開示の実施形態に係る双方向視聴システム１の配信者側サーバ１００は、以下のようにして、アーティスト６００が選択した視聴者を検出することができる。詳細には、配信者側サーバ１００は、アーティスト６００が指差ジェスチャにより選択した視聴者を検出する検出ユニット１００ａ（図８　参照）を有する。当該検出ユニット１００ａは、図７に示すように、指差ジェスチャに対応するアーティスト（ユーザ）６００の手６０２の手首の位置を示す基準点（第１の基準点）Ａと、当該指差ジェスチャに対応するアーティスト６００の腕６０４の付け根（基準点Ｃ）から床面７００へ垂直におろした垂線（第１の垂線）５００上における手首の高さに対応する基準点（第２の基準点）Ｂとを結んだ線分（第１の線分）５１０から当該手首側へ向かって延長する延長線（第１の延長線）５２０に基づき、視聴者（オブジェクト）を選択オブジェクトとして検出する。より具体的には、上記検出ユニット１００ａは、延長線（第１の延長線）５２０上の点に対応する視聴者（オブジェクト）を選択オブジェクトとして検出する。なお、この際、アーティスト６００側で表現された仮想空間における、アーティスト６００と視聴者の像との相対的な位置関係が、視聴者側で表示された仮想空間における、視聴者とアーティスト６００の像との相対的な位置関係と対応しているものとする。
　本開示の実施形態においては、基準点Ａ及び基準点Ｃの相対位置と床面７００とを検出することにより、アーティスト６００が指差ジェスチャにより選択した視聴者を選択することができる。本開示の実施形態によれば、アーティスト６００の手６０２の手首の位置を示す基準点Ａ、及び、当該指差ジェスチャに対応するアーティスト６００の腕６０４の付け根の位置を示す基準点Ｃは、センサで容易に検出することができることから、上述した方法によってアーティスト６００が選択した視聴者を容易に選択することができる。さらに、本開示の実施形態においては、アーティスト６００の選択動作として、選択した視聴者に向けて指差を行う指差ジェスチャを採用しており、指差ジェスチャは、先に説明したように、日常生活の中で選択した物体等を指し示すために行う動作であり、自然で、且つ、直感的な動作であることから、アーティスト６００に負担がかかることはない。すなわち、本開示の実施形態によれば、アーティスト６００による、自然で、且つ、直感的な選択動作によって選択された視聴者を、精度よく、選択することができる。その結果、双方向視聴システム１により、アーティスト６００と特定の視聴者とが同一空間に存在して双方が直接的にやり取りを行っているように感じられるインタラクティブなコミュニケーション体験を当該視聴者に容易に提供することが可能となり、例えば、当該視聴者はアーティスト６００との一体感をより強く感じることができる。
　なお、上述の説明では、選択されるオブジェクトは、表示されたアーティスト６００の実写ボリュメトリックの周囲に存在する視聴者（ヒト）であるものとしたが、本開示の実施形態においては、これに限定されるものではない。例えば、選択されるオブジェクトは、アーティスト６００の周囲に存在する視聴者（ヒト）であってもよく、アーティスト６００又はアーティスト６００の像の周囲に存在する、動物、静物（本・文具・絵画・写真・花瓶・家具、各種装置（ロボット、照明、タブレット、スマートフォン、ディスプレイ、ＨＭＤ、スマートグラス、スピーカ等）（実オブジェクト）であることができる。さらに、本開示の実施形態においては、選択されるオブジェクトは、ディスプレイやプロジェクタ等の配信者側表示部１６０ａによって表示された各種表示（平面映像（ウィンドウ、メニュー）又は立体映像（立体グラフィックモデル、アバター等）（仮想オブジェクト）等であることができる。また、本開示の実施形態においては、アーティスト６００と選択されるオブジェクトとは、共有する仮想空間上に位置していることを前提に、同一実空間上に位置していてもよく、異なる実空間上に位置していてもよい。
　また、本実施形態においては、基準点Ａ及び基準点Ｃの位置を検出する方法としては、マルチカメラシステム１３０ａによって得られた撮像画像から検出してもよく、アーティスト６００の身体の一部に装着されたマーカ１３４ｂを撮像するＩＲカメラ１３４ａによる撮像画像から検出してもよく、アーティストの身体の姿勢を検出するデプスセンサ１３６によるセンシングデータから検出してもよい。また、本実施形態においては、基準点Ａ及び基準点Ｃの位置は、アーティスト６００の身体の一部に装着された複数のＩＭＵ（図示省略）、地磁気センサ（図示省略）、気圧センサ（図示省略）等によって得られたセンシングデータから検出してもよい。以下に、このような本開示の各実施形態の詳細を順次説明する。
　＜＜４．　第１の実施形態＞＞
　＜４．１　検出ユニット１００ａの詳細構成＞
　まずは、図８から図１１を参照して、上述した検出ユニット１００ａの詳細構成を説明する。図８は、第１の実施形態に係る検出ユニット１００ａの機能構成を示す図であり、図９から図１１は、第１の実施形態に係る判定部１１２の動作を説明するための説明図である。
　図８に示すように、検出ユニット１００ａは、配信者側データ取得部１０２と、ジェスチャ認識部１０４と、レーザポイント出力制御部ｍと、視聴者側データ取得部１０８と、検出部１１０と、判定部１１２と、対オブジェクト出力制御部１１４とを主に有する。なお、図８には、配信者側データ取得装置１３０、配信者側出力装置１６０、視聴者側データ取得装置２３０、及び視聴者側出力装置２６０も図示されており、詳細には、配信者側データ取得装置１３０は、上述したマルチカメラシステム１３０ａ等を含み、配信者側出力装置１６０は、上述した配信者側表示部１６０ａ等を含む。また、視聴者側データ取得装置２３０及び視聴者側出力装置２６０は、上述したＨＭＤ２６０ａやハプティクス・デバイス２６０ｃ等を含む。以下に、検出ユニット１００ａの各機能ブロックについて順次説明する。
　（配信者側データ取得部１０２）
　配信者側データ取得部１０２は、１人又は複数のアーティスト６００に関する少なくとも１つのセンシングデータ（例えば、撮像画像、モーションデータ、音声、位置情報等）を、マルチカメラシステム１３０ａ等から取得し、後述するジェスチャ認識部１０４に出力することができる。
　（ジェスチャ認識部１０４）
　ジェスチャ認識部１０４は、上記センシングデータに基づいて、アーティスト６００が指差ジェスチャによって視聴者を選択するポインティング行為を認識することができる。詳細には、ジェスチャ認識部１０４は、例えば、指差ジェスチャに対応するアーティスト６００の腕６０４の付け根の位置を示す基準点（第３の基準点）Ｃと、アーティスト６００の手６０２の手首の位置を示す基準点（第１の基準点）Ａとを結んだ線分（第２の線分）５１２（図９　参照）、及び、基準点Ｃから床面７００へ垂直におろした垂線（第１の垂線）５００を含む平面において、線分５１２と垂線５００とがなす角の角度が所定の範囲（例えば、２０°以上）にある場合に、ポインティング行為を認識する。そして、ジェスチャ認識部１０４は、後述するレーザポイント出力制御部１０６及び検出部１１０に、認識結果を出力する。
　（レーザポイント出力制御部１０６）
　レーザポイント出力制御部１０６は、上記指差ジェスチャで指し示す先をアーティスト６００が視認しやすくして、より安定して指差ジェスチャで選択先を明示することができるように、レーザポイントやビーム矢印を表示させることができる。具体的には、レーザポイント出力制御部１０６は、アーティスト６００の存在する実空間に、上記指差ジェスチャの指先に沿って、当該指先から所定の距離まで伸びるビーム矢印を表示させることができる。また、レーザポイント出力制御部１０６は、同様に、アーティスト６００の存在する実空間に、上記指差ジェスチャの指先に沿って、上記指差ジェスチャの指先から所定の距離分離れた位置にレーザポイントを表示することができる。この際、レーザポイント出力制御部１０６は、アーティスト６００の保持するタブレット（図示省略）やスマートフォン（図示省略）や、アーティスト６００の装着するＨＭＤ（図示省略）や、アーティスト６００の存在する実空間に設置されるプロジェクタ（図示省略）等を制御して、表示を行う。
　（視聴者側データ取得部１０８）
　視聴者側データ取得部１０８は、視聴者側クライアント２００から、１人又は複数の視聴者に関する少なくとも１つのセンシングデータ（例えば、撮像画像、モーションデータ、音声、位置情報等）もしくはこれらを処理して得られた配信データを取得し、後述する検出部１１０に出力することができる。
　（検出部１１０）
　検出部１１０は、アーティスト６００が指差ジェスチャにより選択した視聴者を選択オブジェクトとして検出することができる。詳細には、検出部１１０は、指差ジェスチャに対応するアーティスト６００の手６０２の手首の位置を示す基準点（第１の基準点）Ａと、指差ジェスチャに対応するアーティスト６００の腕６０４の付け根（基準点Ｃ）から床面７００へ垂直におろした垂線（第１の垂線）５００上における手首の高さに対応する基準点（第２の基準点）Ｂとを結んだ線分（第１の線分）５１０から手首側へ向かって延長する延長線（第１の延長線）５２０に基づき、選択した視聴者を検出することができる。より詳細には、検出部１１０は、延長線５２０上の点に対応する視聴者を選択オブジェクトとして検出することができる。そして、検出部１１０は、検出結果を後述する判定部１１２に出力することができる。
　（判定部１１２）
　判定部１１２は、アーティスト６００が指差ジェスチャによって視聴者を選択するポインティング行為が所定の安定条件を満たしているかを判定することができる。そして、判定部１１２は、判定結果を後述する対オブジェクト出力制御部１１４に出力することができる。
　例えば、判定部１１２は、図９に示すように、指差ジェスチャに対応するアーティスト６００の腕６０４の付け根の位置を示す基準点（第３の基準点）Ｃと、アーティスト６００の手６０２の手首の位置を示す基準点（第１の基準点）Ａとを結んだ線分（第２の線分）５１２、及び、基準点Ｃから床面７００へ垂直におろした垂線（第１の垂線）５００を含む平面において、線分５１２と垂線５００とがなす角の角度θが、所定の時間内において所定の範囲にある場合に、ポインティング行為が安定条件を満たしていると判定する。詳細には、判定部１１２は、所定の時間（例えば、１秒間）内に、上記角の角度θを所定の回数取得し、取得した値に基づき分散σ２を算出し、さらに算出した標準偏差σが所定の値内であれば、上記ポインティング行為が安定条件を満たしていると判定する。
　より具体的には、本実施形態においては、例えば、下記の数式（１）に従い、分散σ２及び標準偏差σを算出する。なお、数式（１）においては、θｉが所定の回数（ｉ＝１～ｎ）だけ取得された角度を示し、θ（上線付）がθｉの平均値を示す。
Figure JPOXMLDOC01-appb-M000001
　もしくは、本実施形態においては、判定部１１２は、図１０に示すように、空間原点Ｏ（アーティスト６００が存在する実空間上に仮想的に設定される）から指差ジェスチャに対応するアーティスト６００の手６０２の手首までの距離Ｄが、所定の時間内において所定の範囲にある場合に、ポインティング行為が安定条件を満たしていると判定してもよい。詳細には、判定部１１２は、所定の時間内に、上記距離Ｄを所定の回数取得し、取得した値に基づき分散σ２を算出し、さらに算出した標準偏差σが所定の値内であれば、ポインティング行為が安定条件を満たしていると判定する。
　より具体的には、本実施形態においては、下記の数式（１）に従い、分散σ２及び標準偏差σを算出することができる。なお、数式（１）においては、Ｄｉが所定の回数（ｉ＝１～ｎ）だけ取得された距離を示し、Ｄ（上線付）がＤｉの平均値を示す。
Figure JPOXMLDOC01-appb-M000002
　図１１に示すように、標準偏差σが小さい場合には、角度θ又は距離Ｄのばらつきが少なく、標準偏差σが大きい場合には、角度θ又は距離Ｄのばらつきが大きい。従って、算出された標準偏差σが所定の値内であれば、所定の時間において、アーティスト６００の指差ジェスチャは安定的に選択した視聴者を意図したように示していると考えることができる。本実施形態においては、アーティスト６００の指差ジェスチャが安定しているかどうかを統計的に判定することにより、指差ジェスチャやそれが指し示す先を誤って検出することを避けることができ、検出のロバスト性をより高めることができる。
　なお、本実施形態においては、分散σ２及び標準偏差σを用いて安定条件を満たしているかを判定することに限定されるものではなく、他の指標や他の統計値を用いて判定してもよい。
　（対オブジェクト出力制御部１１４）
　対オブジェクト出力制御部１１４は、例えば、複数の視聴者側デバイス（例えば、スマートフォン、ウェアラブルデバイス等）とアーティスト６００側デバイス（例えば、スマートフォン、ウェアラブルデバイス等）との間で通信を行い、選択された視聴者側のデバイスとアーティスト６００側のデバイスとの間を対話可能に接続することができる。
　また、対オブジェクト出力制御部１１４は、選択された視聴者に応じて、当該視聴者側デバイスや、近傍のデバイス（例えば、照明、プロジェクタ、スピーカ等）等に対して、点滅、音声出力等の所定の動作を行うように制御することができる。例えば、対オブジェクト出力制御部１１４は、選択された視聴者のＨＭＤ２６０ａに表示された仮想空間に、テキスト、アイコン又はアニメーション等といった様々な形態を有する仮想オブジェクト（所定の画像）を表示してもよい（ＶＲ空間共有）。若しくは、対オブジェクト出力制御部１１４は、選択された視聴者の存在する実空間に設置されたプロジェクタ（図示省略）を制御して、当該視聴者に、テキスト、アイコン又はアニメーション等といった様々な形態を有する仮想オブジェクト（所定の画像）を重畳して表示してもよい（ＡＲ空間共有）。
　さらに、本実施形態においては、対オブジェクト出力制御部１１４は、例えば、選択オブジェクトとしてのディスプレイ（図示省略）に表示された画像を消滅、拡大、縮小、変化させたり、テキスト、画像等のコンテンツの再生、停止させたりするような制御を行ってもよい。また、対オブジェクト出力制御部１１４は、例えば、スピーカ（図示省略）の音声を再生、停止させたり、スピーカの音声出力の指向を変化させたりしてもよい。また、対オブジェクト出力制御部１１４は、例えば、選択オブジェクトとしてのロボット（図示省略）を動作させてもよい。
　なお、本実施形態においては、検出ユニット１００ａに含まれる各機能ブロックは、図８に示される機能ブロックに限定されるものではない。
　＜４．２　情報処理方法＞
　以上、本実施形態に係る検出ユニット１００ａの各機能ブロックについて詳細に説明した。次に、本実施形態に係る情報処理方法について、図１２及び図１３を参照して説明する。図１２は、本実施形態に係る情報処理方法のフローチャート図であり、図１３は、本実施形態を説明するための説明図である。図１２に示すように、本実施形態に係る情報処理方法には、ステップＳ１０１からステップＳ１０７までの複数のステップが含まれている。以下に、本実施形態に係る情報処理方法に含まれる各ステップの詳細を説明する。
　まずは、検出ユニット１００ａは、１人又は複数のアーティスト６００に関する少なくとも１つのセンシングデータに基づいて、アーティスト６００が指差ジェスチャによって視聴者を選択するポインティング行為を行っているかどうかを判定する（ステップＳ１０１）。検出ユニット１００ａは、アーティスト６００が指差ジェスチャを行っている場合（ステップＳ１０１：Ｙｅｓ）には、ステップＳ１０２へ進み、アーティスト６００が指差ジェスチャを行っていない場合（ステップＳ１０１：Ｎｏ）には、上述したステップＳ１０１の処理へ戻る。
　検出ユニット１００ａは、上記指差ジェスチャで指し示す先をアーティスト６００が視認しやすくして、より安定して指差ジェスチャで選択先を明示することができるように、レーザポイント及びビーム矢印を表示させる（ステップＳ１０２）。
　検出ユニット１００ａは、図１３に示すように、上記延長線５２０上の点に対応する視聴者（オブジェクト）６１０が存在するかどうかを判定する（ステップＳ１０３）。例えば、本実施形態においては、検出ユニット１００ａは、アーティスト６００及び視聴者６１０の位置情報に基づき、アーティスト６００側で表現された仮想空間におけるアーティスト６００と視聴者６１０の像との相対的な位置関係を取得する。そして、検出ユニット１００ａは、当該相対的な位置関係に基づいて、図１３に示すように、上記延長線５２０上に視聴者（又は、視聴者に対応する座標）６１０が存在するかどうかを判定することができる。そして、検出ユニット１００ａは、延長線５２０上の点に対応する視聴者６１０ｂが存在する場合（ステップＳ１０３：Ｙｅｓ）には、ステップＳ１０４へ進み、延長線５２０上の点に対応する視聴者６１０が存在しない場合（ステップＳ１０３：Ｎｏ）には、上述したステップＳ１０１の処理へ戻る。
　さらに、検出ユニット１００ａは、選択された視聴者（オブジェクト）６１０が装着するＨＭＤ２６０ａ等を制御して、レーザポイント（図示省略）等の表示を継続する（ステップＳ１０４）。
　次に、検出ユニット１００ａは、アーティスト６００が指差ジェスチャによって視聴者６１０を選択するポインティング行為が所定の安定条件を満たしているかを判定する（ステップＳ１０５）。そして、検出ユニット１００ａは、所定の安定条件を満たしている場合（ステップＳ１０５：Ｙｅｓ）には、ステップＳ１０６へ進み、所定の安定条件を満たしていない場合（ステップＳ１０５：Ｎｏ）には、上述したステップＳ１０１の処理へ戻る。
　そして、検出ユニット１００ａは、アーティスト６００が指差ジェスチャにより選択した視聴者（オブジェクト）６１０を選択オブジェクトとして検出する（ステップＳ１０６）。
　次に、検出ユニット１００ａは、選択された視聴者６１０側のデバイスとアーティスト６００側のデバイスとの間を対話可能に接続する。さらに、検出ユニット１００ａは、各視聴者６１０が装着するＨＭＤ２６０ａ等を制御して、選択された視聴者６１０に重畳して、仮想オブジェクトを表示する（ステップＳ１０７）。そして、検出ユニット１００ａは、上述したステップＳ１０１の処理へ戻る。
　以上のように、本実施形態においては、基準点Ａ及び基準点Ｃを検出することにより、アーティスト６００が指差ジェスチャにより選択した視聴者６１０を検出する。詳細には、本実施形態によれば、アーティスト６００の手６０２の手首の位置を示す基準点Ａ、及び、当該指差ジェスチャに対応するアーティスト６００の腕６０４の付け根の位置を示す基準点Ｃは、容易に検出することができることから、上述した方法によってアーティスト６００が選択した視聴者６１０を容易に選択することができる。さらに、本実施形態においては、アーティスト６００の選択動作として、選択した視聴者６１０に向けて指差を行う指差ジェスチャを採用しており、指差ジェスチャは、先に説明したように、日常生活の中で選択した物体等を指し示すために行う動作であり、自然で、且つ、直感的な動作であることから、アーティスト６００に負担がかかることはない。すなわち、本実施形態によれば、アーティスト６００による、自然で、且つ、直感的な選択動作によって選択された視聴者６１０を、精度よく、選択することができる。
　＜４．３　変形例１＞
　上述した第１の実施形態においては、延長線５２０上の点に対応する視聴者６１０が存在するかどうかで、アーティスト６００が選択した視聴者６１０を検出していた。しかしながら、本実施形態では、このような方法で検出することに限定されるものではなく、他の方法で行うこともできる。そこで、以下においては、図１４及び図１５を参照して、本実施形態の変形例１として、他の方法に用いた選択した視聴者６１０の検出方法について説明する。図１４は、本実施形態の変形例１を説明するための説明図であり、図１５は、本実施形態の変形例１に係る情報処理方法のフローチャート図である。
　本変形例においては、第１の実施形態と同様に、検出ユニット１００ａは、指差ジェスチャに対応するアーティスト（ユーザ）６００の手６０２の手首の位置を示す基準点（第１の基準点）Ａと、指差ジェスチャに対応するアーティスト６００の腕６０４の付け根（基準点Ｃ）から床面７００へ垂直におろした垂線（第１の垂線）５００上における手首の高さに対応する基準点（第２の基準点）Ｂとを結んだ線分（第１の線分）５１０から手首側へ向かって延長する延長線（第１の延長線）５２０を取得する。さらに、本変形例においては、図１４に示すように、延長線５２０上に位置する点から床面７００へ垂直におろした垂線（第２の垂線）５０２上に、上記垂線５０２に沿って伸びる長辺を持つ矩形状のコライダを仮想的に設置する。そして、本変形例においては、当該コライダ内に位置する視聴者６１０ｃを選択オブジェクトとして検出する。なお、本変形例においては、当該コライダの大きさは、選択したオブジェクトの大きさや、目的に応じて、適宜変更することができる。
　以上のような、本変形例によれば、上述したコライダを視聴者６１０の存在する実空間上に仮想的に設定し、コライダ内に位置する視聴者６１０を検出することにより、精度よく、且つ、漏れなく、アーティスト６００が選択した視聴者６１０を容易に選択することができる。
　次に、本変形例に係る情報処理方法について、図１５を参照して説明する。図１５に示すように、本変形例に係る情報処理方法には、ステップＳ２０１からステップＳ２０８までの複数のステップが含まれている。本変形例のステップＳ２０２及びステップＳ２０３は、図１２に示される第１の実施形態におけるステップＳ１０１及びステップＳ１０２における処理と同様の処理を行う。さらに、本変形例のステップＳ２０５からステップＳ２０８までは、図１２に示される第１の実施形態におけるステップＳ１０４からステップＳ１０７までにおける処理と同様の処理を行う。従って、以下の説明においては、上述の第１の実施形態と異なるステップＳ２０１及びステップＳ２０４のみを説明し、第１の実施形態と共通する他のステップについては、その説明を省略する。
　検出ユニット１００ａは、選択オブジェクト（視聴者）６１０の検出モードを、上述したような、延長線５２０上に位置する点から床面７００へ垂直におろした垂線５０２上に仮想的に設置されるコライダを用いたモードに設定する（ステップＳ２０１）。
　検出ユニット１００ａは、図１４に示すように、上記コライダ内に視聴者（オブジェクト）６１０が存在するかどうかを判定する（ステップＳ２０４）。そして、検出ユニット１００ａは、コライダ内に視聴者６１０ｃが存在する場合（ステップＳ２０４：Ｙｅｓ）には、ステップＳ２０５へ進み、コライダ内に視聴者６１０が存在しない場合（ステップＳ２０４：Ｎｏ）には、上述したステップＳ２０２へ戻る。
　＜４．４　変形例２＞
　選択した視聴者６１０の検出は、以下のように変形することもできる。そこで、図１６を参照して、本実施形態の変形例２として、他の方法に用いた選択した視聴者の検出方法について説明する。図１６は、本実施形態の変形例２を説明するための説明図である。
　本変形例においては、第１の実施形態と同様に、検出ユニット１００ａは、指差ジェスチャに対応するアーティスト６００の手６０２の手首の位置を示す基準点（第１の基準点）Ａと、指差ジェスチャに対応するアーティスト６００の腕６０４の付け根（基準点Ｃ）から床面７００へ垂直におろした垂線（第１の垂線）５００上における手首の高さに対応する基準点（第２の基準点）Ｂとを結んだ線分（第１の線分）５１０から手首側へ向かって延長する延長線（第１の延長線）５２０を取得する。さらに、本変形例においては、図１６に示すように、延長線５２０を軸とし、且つ、基準点Ａを頂点とする円錐形状の空間５３０に含まれる視聴者６１０ｃをオブジェクトとして検出する。なお、本変形例においては、上記円錐形の軸の長さや、底面の径の大きさについては、選択された視聴者６１０の検出状況等に応じて、動的に変化させてもよい。
　本変形例によれば、上述したような円錐形状の空間５３０を視聴者６１０の存在する実空間上に仮想的に設定し、円錐形状の空間５３０内に含まれる視聴者６１０を検出することにより、精度よく、且つ、漏れなく、アーティスト６００が選択した視聴者６１０を容易に選択することができる。
　＜４．５　変形例３＞
　上述した第１の実施形態及び各変形例においては、延長線５２０に基づいて、一人の視聴者（オブジェクト）６１０を検出していた。しかしながら、本実施形態では、このように一人の視聴者６１０を検出することに限定されるものではなく、複数人の視聴者６１０を検出してもよい。そこで、以下においては、図１７を参照して、本実施形態の変形例３として、複数人の視聴者６１０を検出する例を説明する。図１７は、本実施形態の変形例３を説明するための説明図である。
　まずは、本変形例においては、検出ユニット１００ａは、図１７に示すように、延長線５２０上の点に対応する一人目の視聴者６１０ｂを選択オブジェクトとして検出する。そして、検出ユニット１００ａは、検出した視聴者６１０ｂに選択済のラベル付けを行い、視聴者６１０ｂの情報を取得する。次に、検出ユニット１００ａは、アーティスト６００の像から見て、視聴者６１０ｂの後方に位置して隠れてしまっている、延長線５２０上の点に対応する他の視聴者６１０ｃの検出を行う。そして、検出ユニット１００ａは、視聴者６１０ｂと同様に、視聴者６１０ｃの検出、ラベル付け、情報取得を行う。このような動作を繰り返すことにより、本変形例においては、複数の視聴者６１０を選択することができる。
　＜＜５．　第２の実施形態＞＞
　＜５．１　検出モード＞
　本開示の実施形態においては、アーティスト６００の指差ジェスチャの状態に応じて、選択した視聴者６１０を検出する検出モードを動的に変更してもよい。そこで、図９、図１８及び図１９を参照して、本開示の第２の実施形態として、検出モードを切り替える実施形態を説明する。図１８及び図１９は、本開示の第２の実施形態を説明するための説明図である。
　本実施形態においては、例えば、３つの検出モード間で、検出モードを切り替えるものとする。詳細には、本実施形態においては、図９に示すように、指差ジェスチャに対応するアーティスト（ユーザ）６００の腕６０４の付け根の位置を示す基準点（第３の基準点）Ｃと、指差ジェスチャに対応するアーティスト６００の手６０２の手首の位置を示す基準点（第１の基準点）Ａとを結んだ線分（第２の線分）５１２、及び、基準点Ｃから床面７００へ垂直におろした垂線（第１の垂線）５００を含む平面において、線分５１２と垂線５００とがなす角の角度θに応じて、検出モードを切り替える。
　本実施形態における、上記角度θと検出モードとの関係は、例えば、以下の表１にまとめることができる。
Figure JPOXMLDOC01-appb-T000003
　詳細には、例えば、図９に示すように、角度θが、２０°（第１の角度）以上、９０°（第２の角度）以下である場合には、第１の実施形態で説明したように、延長線（第１の延長線）５２０上の点に対応する視聴者６１０を選択オブジェクトとして検出する（第１の検出モード）。
　また、例えば、図１８に示すように、角度θが、９０°（第２の角度）よりも大きい場合には、第２の検出モードで検出を行う。第２の検出モードにおいては、図１８に示すように、線分（第２の線分）５１２から手首側へ向かって延長する延長線（第２の延長線）５２２上の点に対応する視聴者６１０を選択オブジェクトとして検出する。例えば、角度θが、９０°よりも大きい場合には、アーティスト６００は、指差ジェスチャによって自身の上方に位置する視聴者６１０を指し示したいと考えられる。そこで、本実施形態においては、このようなアーティスト６００の意図を反映させて当該アーティスト６００が選択した視聴者６１０を検出するために、第１の検出モードと異なる第２の検出モードで検出を行う。
　さらに、例えば、図１９に示すように、角度θが、２０°（第１の角度）よりも小さい場合には、選択オブジェクトを検出しない第３の検出モードを行う。例えば、角度θが、２０°よりも小さい場合には、アーティスト６００は、指差ジェスチャによって選択した視聴者６１０を指示しようとしていないと考えられる。そこで、本実施形態においては、このようなアーティスト６００の意図を反映させるために、選択オブジェクトの検出を実施しない。
　以上のように、本実施形態によれば、線分５１２と垂線５００とがなす角の角度θに応じて、検出モードを切り替えることにより、アーティスト６００の意図を反映させて、当該アーティスト６００が選択した視聴者６１０を選択する、選択しないようにすることができる。なお、上述の説明で示した具体的な角度の数値は、あくまでも例示であり、本実施形態においては、上述の数値に限定されるものではなく、閾値となる値は、アーティスト６００の意図をより反映させるように、選択されることが好ましい。
　＜５．２　情報処理方法＞
　次に、本実施形態に係る情報処理方法について、図２０を参照して説明する。図２０は、本実施形態に係る情報処理方法のフローチャート図である。図２０に示すように、本実施形態に係る情報処理方法には、ステップＳ３０１からステップＳ３０８までの複数のステップが含まれている。本実施形態のステップＳ３０１からステップＳ３０５までは、図１２に示される第１の実施形態におけるステップＳ１０１及びステップＳ１０５における処理と同様の処理を行う。さらに、本実施形態のステップＳ３０７及びステップＳ３０８は、図１２に示される第１の実施形態におけるステップＳ１０６及びステップＳ１０７における処理と同様の処理を行う。従って、以下の説明においては、上述の第１の実施形態と異なるステップＳ３０６のみを説明し、第１の実施形態と共通する他のステップについては、その説明を省略する。
　検出ユニット１００ａは、線分５１２と垂線５００とがなす角の角度θに応じて、検出モードを決定する（ステップＳ３０６）。
　以上のように、本実施形態によれば、線分５１２と垂線５００とがなす角の角度θに応じて、検出モードを切り替えることにより、アーティスト６００の意図を反映させて、当該アーティスト６００が選択した視聴者６１０を選択する、選択しないようにすることができる。
　＜＜６．　実施例＞＞
　以上、本開示の第１及び第２の実施形態について説明した。次に、具体的な実施例を示しながら、本実施形態の例をより具体的に説明する。なお、以下に示す実施例は、第１及び第２の実施形態のあくまでも一例であって、第１及び第２の実施形態が下記の実施例に限定されるものではない。
　＜６．１　実施例１＞
　まずは、実施例１について、図２１を参照して説明する。実施例１は、ＶＲ空間共有の実施例であり、図２１は、本開示の実施形態の実施例１を説明するための説明図である。本実施例においては、アーティスト６００と視聴者６１０とは異なる実空間に存在し、図２１は、アーティスト６００が存在する実空間を示している。当該実空間においては、視聴者６１０側の仮想空間に表示されたアーティスト６００の実写ボリュメトリックと各視聴者６１０との相対的な位置関係を保持しつつ、視聴者６１０に対応するアバター（立体ＣＧ画像）６１２ａ～６１２ｅが表示されているものとする。さらに、視聴者６１０側の仮想空間には、パフォーマンスを行うアーティスト６００の実写ボリュメトリックとともに、アーティスト６００が歌唱するサウンドも配信されているものとする。
　そして、本実施例においては、アーティスト６００が指差ジェスチャにより、対話を行う視聴者６１０に対応するアバター６１２ａを選択することにより、アーティスト６００と当該アバター６１２ａに対応する視聴者６１０との対話が可能となる。その際、選択したアバター６１２ａ上に、選択されたことを明示するレーザポイント表示６２０（仮想オブジェクト）が表示されてもよく、アバター６１２ａの形状、色彩、模様等が、選択されたことを明示するように変化してもよい。
　なお、本実施例においては、表示されたアバター６１２の代わりに、アーティスト６００が存在する実空間又は仮想空間に配置されたロボット（実オブジェクト）（図示省略）を用いてもよく、この場合、選択されたロボットは、移動したり、所定の動作をしたりすることができる。例えば、複数のロボットが、アーティストの指先ジェスチャに従って、移動したり、仮想空間上にマスゲームのような所定の形を形成したりしてもよい。
　＜６．２　実施例２＞
　次に、実施例２について、図２２を参照して説明する。実施例２は、ＡＲ空間共有の実施例であり、図２２は、本開示の実施形態の実施例２を説明するための説明図である。本実施例においては、パフォーマンス（例えば、ダンス等）を行うアーティスト６００と視聴者６１０とは同一実空間に存在し、図２１は、当該実空間を示している。
　そして、本実施例においては、アーティスト６００が指差ジェスチャにより指し示した壁等の上に、プロジェクタ２６０ｄによりレーザポイント表示６２０が表示される。さらに、本実施例においては、レーザポイント表示６２０が表示された場所に向かって、スピーカ２６０ｅが所定の音声を出力する。この際、スピーカ２６０ｅの音声出力の指向性を制御して、レーザポイント表示６２０が表示された場所に向かって所定の音声を出力してもよく、指向性を持つスピーカ２６０ｅの位置を移動させて、レーザポイント表示６２０が表示された場所に向かって所定の音声を出力してもよい。さらに、本実施例においては、ダンスするアーティストの指先ジェスチャの指し示す方向が移動することに従って、レーザポイント表示６２０が表示される位置が移動したり、レーザポイント表示６２０が変化したり、音声の出力先が移動したり、出力された音声が変化してもよい。
　本実施例においては、視聴者は、アーティスト６００のパフォーマンスを直接的に視聴するだけでなく、アーティスト６００の指差ジェスチャによって奏されるコンテンツ（表示、音声）も同時に楽しむことができる。
　また、本実施例においては、各視聴者６１０に装着されたＩＭＵ（図示省略）等からのモーションデータに基づいて、複数の視聴者６１０の動きの同期性（腕の振上げ動作の高さ成分ベクトルの変動タイミング等）を検出し、同期性のレベルに応じて、レーザポイント表示６２０の表示形態（例えば、パーティクル表示等）等を変化させてもよい。また、同期性が高い場合には、所定の表示（アーティスト６００が所定の動作を行う画像）等を追加的に行ってもよい。さらに、本実施例においては、アーティスト６００や視聴者６１０の撮像画像やモーションデータ等を格納しておき、格納したデータを用いてコンテンツを再編集する（背景等を入れ替える等）こともできる。
　＜６．３　実施例３＞
　次に、実施例３について、図２３を参照して説明する。実施例３は、ＶＲ空間共有の実施例であり、図２３は、本開示の実施形態の実施例３を説明するための説明図である。本実施例においては、アーティスト６００と視聴者６１０とは異なる実空間に存在する。図２３（詳細には、図２３の右側）は、視聴者６１０が、ＨＭＤ２６０ａ又はスマートフォン２６０ｆを用いて視聴しているＶＲ画像を示しているものとする。当該ＶＲ画像においては、視聴者６１０側の仮想空間に表示されたアーティスト６００の実写ボリュメトリック６００ａと、アーティスト６００が指差ジェスチャにより指し示した仮想空間上の壁に表示されたレーザポイント表示６２０とが含まれる。
　なお、本実施例においては、上記レーザポイント表示６２０は、アーティスト６００と視聴者６１０との間で共有される仮想空間上に表示されてもよい。また、上記レーザポイント表示６２０は、アーティスト６００の指差ジェスチャの変化に応じて、模様や色彩等が変化してもよく、指差ジェスチャの変化に応じて波紋が変化する等のアニメーションであってもよい。さらに、本実施例においては、アーティスト６００が対話を行う視聴者６１０を選択した場合、選択された視聴者６１０のみが、アーティスト６００の実写ボリュメトリック６００ａを視認できるようにしてもよく、もしくは、選択された視聴者６１０が視認する実写ボリュメトリック６００ａのみが、拡大、縮小したり、変化したりしてもよい。また、本実施例においては、アーティスト６００によるサウンドコンテンツは、ＨＭＤ２６０ａ又はスマートフォン２６０ｆを介して、視聴者６１０に提供されてもよい。本実施例においては、視聴者６１０とは異なる実空間に存在するアーティスト６００のパフォーマンスの画像やサウンドを、複数の視聴者６１０に同時に提供することができる。
　＜６．４　実施例４＞
　次に、実施例４について、図２４を参照して説明する。実施例４は、ＡＲ空間共有の実施例であり、図２４は、本開示の実施形態の実施例４を説明するための説明図である。本実施例においては、アーティスト６００と視聴者６１０とは異なる実空間に存在し、視聴者６１０が、プロジェクタ２６０ｄ（例えば、多軸駆動プロジェクタ等）により視聴者６１０側の実空間上の壁に表示されたアーティスト６００の実写ボリュメトリック６００ａを視認しているものとする。さらに、本実施例においては、視聴者６１０が存在する実空間には、複数の大型ディスプレイ２６０ｇ、２６０ｈが設置されているものとする。そして、本実施例においては、アーティスト６００が指差ジェスチャにより選択した大型ディスプレイ２６０ｇに、レーザポイント表示６２０が表示されることができる。
　＜６．５　実施例５＞
　次に、実施例５について、図２５を参照して説明する。実施例５は、ＡＲ空間共有の実施例であり、図２５は、本開示の実施形態の実施例５を説明するための説明図である。本実施例においては、アーティスト６００と視聴者６１０とは同一実空間に存在し、図２５は、当該実空間を示している。そして、本実施例においては、アーティスト６００が指差ジェスチャにより選択した視聴者６１０の保持する、双方向視聴システム１と通信可能なサイリウム２６０ｉが点灯する。なお、本実施例においては、アーティスト６００が選択した視聴者６１０のみを照明（スポットライト照射）するようにしてもよい（この場合、視聴者６１０を照明する照明装置は、双方向視聴システム１と通信可能であるものとする）。さらに、本実施例においては、サイリウム２６０ｉに限定されるものではなく、ハプティクス・デバイス２６０ｃであってもよく、視聴者６１０が着席する座席（図示省略）であってもよく、特に限定されるものではない。
　＜６．６　実施例６＞
　次に、実施例６について、図２６を参照して説明する。実施例６は、ＡＲ空間共有の実施例であり、図２６は、本開示の実施形態の実施例６を説明するための説明図である。本実施例においては、アーティスト６００と視聴者６１０とは同一実空間に存在し、図２６は、当該実空間を示している。さらに、本実施例においては、当該実空間には、双方向視聴システム１と通信可能な複数の照明２６０ｊが設置されているものとする。そして、本実施例においては、アーティスト６００が指差ジェスチャにより選択した照明２６０ｊが点灯する。なお、本実施例においては、照明２６０ｊが点灯することに限定されるものではなく、選択した照明２６０ｊの光の色や明るさが変化してもよい。
　なお、本開示の実施形態においては、指差ジェスチャを行うのはアーティスト６００に限定されるものではなく、例えば、アスリート（スポーツイベント）、教師（教育）、オペレータ（遠隔操作）、医師（遠隔医療支援）等であってもよい。
　＜６．７　実施例７＞
　次に、実施例７について、図２７を参照して説明する。実施例７は、ＶＲ空間共有及びＡＲ空間共有に共通の実施例であり、図２７は、本開示の実施形態の実施例７を説明するための説明図である。上述した本開示の実施形態は、例えば、ディスプレイ８００内の表示（ＶＲ空間共有の場合は仮想空間内に配置されたディスプレイ内の表示）を選択して、操作する際に用いることができる。例えば、図２７に示すように、ディスプレイ８００内の表示８０２をジェスチャによって選択し（図２７の左側に示す）、さらに異なるジェスチャを行うことにより、表示８０２を消すことができる（図２７の右側に示す）。なお、本実施例においては、検出ユニット１００ａは、手６０２の撮像画像やＩＭＵ等で取得したモーションデータ等により、手６０２によるジェスチャを認識することが可能であるものとする。
　＜６．８　実施例８＞
　次に、実施例８について、図２８を参照して説明する。実施例８は、ＶＲ空間共有及びＡＲ空間共有に共通の実施例であり、図２８は、本開示の実施形態の実施例８を説明するための説明図である。図２８に示すように、ディスプレイ８００内のウィンドウ８０４（ＶＲ空間共有の場合は仮想空間内に配置されたディスプレイ内のウィンドウ）を指差ジェスチャによって選択し（図２８の左側に示す）、さらに、指差ジェスチャで指し示す方向を移動させることにより、ウィンドウ８０４の位置を移動させることができる（図２８の右側に示す）。なお、本実施例においては、指差ジェスチャに限定されるものではなく、手のひらをにぎるようなジェスチャなど、種々のジェスチャを適用することが可能である。
　＜６．９　実施例９＞
　次に、実施例９について、図２９を参照して説明する。実施例９は、ＶＲ空間共有及びＡＲ空間共有に共通の実施例であり、図２９は、本開示の実施形態の実施例９を説明するための説明図である。図２９に示すように、ディスプレイ８００内のメニュー表示８０６（ＶＲ空間共有の場合は仮想空間内に配置されたディスプレイ内のメニュー表示）をジェスチャによって選択し、さらに異なるジェスチャを行うことにより、選択したメニュー表示８０６を確定させることができる。なお、本実施例においては、検出ユニット１００ａは、手６０２の撮像画像やＩＭＵ等で取得したモーションデータ等により、手６０２によるジェスチャを認識することが可能であるものとする。
　＜６．１０　実施例１０＞
　さらに、実施例１０について、図３０を参照して説明する。実施例１０は、ＶＲ空間共有及びＡＲ空間共有に共通の実施例であり、図３０は、本開示の実施形態の実施例１０を説明するための説明図である。図３０に示すように、ディスプレイ８００内のサブコンテンツ（例えば、動画、スライドショー等）８０８（ＶＲ空間共有の場合は仮想空間内に配置されたディスプレイ内のサブコンテンツ）をジェスチャによって選択し（図３０の左側に示す）、さらに異なるジェスチャを行うことにより、選択したサブコンテンツ８０８を停止させることができる（図３０の右側に示す）。なお、本実施例においては、検出ユニット１００ａは、手６０２の撮像画像やＩＭＵ等で取得したモーションデータ等により、手６０２によるジェスチャを認識することが可能であるものとする。
　＜＜７．　まとめ＞＞
　以上説明したように、本開示の実施形態及び変形例においては、基準点Ａ及び基準点Ｃを検出することにより、アーティスト６００が指差ジェスチャにより選択した視聴者を検出することができる。本実施形態によれば、アーティスト６００の手６０２の手首の位置を示す基準点Ａ、及び、当該指差ジェスチャに対応するアーティスト６００の腕６０４の付け根の位置を示す基準点Ｃは、センサで容易に検出することができることから、配信者であるアーティスト６００は指し示したい視聴者を容易に選択することができる。さらに、本実施形態においては、アーティスト６００の選択動作として、選択した視聴者に向けて指差を行う指差ジェスチャを採用しており、指差ジェスチャは、先に説明したように、日常生活の中で選択した物体等を指し示すために行う動作であり、自然で、且つ、直感的な動作であることから、アーティスト６００に（特に腕６０４に）負担がかかることはない。すなわち、本実施形態によれば、アーティスト６００による、自然で、且つ、直感的な選択動作によって選択された視聴者を、精度よく、選択することができる。その結果、双方向視聴システム１により、アーティスト６００と特定の視聴者とが同一空間に存在して、双方が直接的にやり取りを行っているように感じられるインタラクティブなコミュニケーション体験を当該視聴者に提供することが可能となり、当該視聴者はアーティスト６００との一体感を感じることができる。
　なお、本開示の実施形態は、音楽やスポーツ等のイベント、エンタテイメント等に適用するだけに限定されるものではなく、ロボット等の遠隔操作、教育、医療支援等にも適用することができる。
　＜＜８．　ハードウェア構成について＞＞
　上述してきた各実施形態に係る配信者側サーバ１００等の情報処理装置は、例えば図３１に示すような構成のコンピュータ１０００によって実現される。以下、本開示の各実施形態に係る配信者側サーバ１００を例に挙げて説明する。図３１は、配信者側サーバ１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ　ｃｈａｎｇｅ　ｒｅｗｒｉｔａｂｌｅ　Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ　ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が本開示の実施形態に係る配信者側サーバ１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、検出ユニット１００ａ等の機能を実現する。また、ＨＤＤ１４００には、本開示の実施形態に係る情報処理プログラム等が格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　また、本実施形態に係る情報処理装置は、例えばクラウドコンピューティング等のように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなるシステムに適用されてもよい。つまり、上述した本実施形態に係る情報処理装置は、例えば、複数の装置により本実施形態に係る情報処理方法に係る処理を行う情報処理システムとして実現することも可能である。
　＜＜９．　補足＞＞
　また、以上に説明した実施形態は、例えば、コンピュータを本実施形態に係る情報処理装置として機能させるためのプログラム、及びプログラムが記録された一時的でない有形の媒体を含むことができる。また、上記プログラムをインターネット等の通信回線（無線通信も含む）を介して頒布してもよい。
　さらに、上述した各実施形態の処理における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能ブロックによって他の方法で処理されていてもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　ユーザが指差ジェスチャにより選択したオブジェクトを選択オブジェクトとして検出する検出部を備え、
　前記検出部は、前記指差ジェスチャに対応する前記ユーザの手の手首の位置を示す第１の基準点と、前記指差ジェスチャに対応する前記ユーザの腕の付け根から床面へ垂直におろした第１の垂線上における前記手首の高さに対応する第２の基準点とを結んだ第１の線分から前記手首側へ向かって延長する第１の延長線に基づき、前記選択オブジェクトを検出する、
　情報処理装置。
（２）
　前記検出部は、前記第１の延長線上の点に対応する前記オブジェクトを前記選択オブジェクトとして検出する、上記（１）に記載の情報処理装置。
（３）
　前記検出部は、前記第１の延長線上に位置する点から前記床面へ垂直におろした第２の垂線に対応する前記オブジェクトを前記選択オブジェクトとして検出する、上記（１）に記載の情報処理装置。
（４）
　前記検出部は、前記第１の延長線を軸とし、且つ、前記第１の基準点を頂点とする円錐形状の空間に対応する前記オブジェクトを前記選択オブジェクトとして検出する、上記（１）に記載の情報処理装置。
（５）
　前記検出部は、複数の前記選択オブジェクトを検出する、上記（１）～（４）のいずれか１つに記載の情報処理装置。
（６）
　前記指差ジェスチャに対応する前記ユーザの腕の付け根の位置を示す第３の基準点と、前記第１の基準点とを結んだ第２の線分、及び、前記第１の垂線を含む平面において、前記第２の線分と前記第１の垂線とがなす角の角度に応じて、前記検出部の検出モードを切り替える、上記（１）に記載の情報処理装置。
（７）
　前記角の角度が、第１の角度以上、第２の角度以下である場合には、
　前記検出部は、前記第１の延長線に基づき、選択オブジェクトを検出する第１の検出モードを実行する、
　上記（６）に記載の情報処理装置。
（８）
　前記角の角度が前記第２の角度よりも大きい場合には、
　前記検出部は、前記第２の線分から前記手首側へ向かって延長する第２の延長線に基づき前記選択オブジェクトを検出する第２の検出モードを実行する、
　上記（７）に記載の情報処理装置。
（９）
　前記角の角度が前記第１の角度よりも小さい場合には、
　前記検出部は、前記選択オブジェクトを検出しない第３の検出モードを実行する、
　上記（７）又は（８）に記載の情報処理装置。
（１０）
　前記ユーザが前記指差ジェスチャによって前記選択オブジェクトを選択するポインティング行為が所定の安定条件を満たしているかを判定する判定部をさらに備え、
　前記判定部は、前記角の角度、又は、空間原点から前記指差ジェスチャに対応する前記ユーザの手の手首までの距離が、所定の時間内において所定の範囲にある場合に、前記ポインティング行為が前記安定条件を満たしていると判定し、
　前記検出部は、判定結果に基づいて前記選択オブジェクトを検出する、
　上記（６）～（９）のいずれか１つに記載の情報処理装置。
（１１）
　前記判定部は、前記角の角度、又は、前記距離の値を複数取得し、取得した値に基づき統計値を算出し、算出した前記統計値に基づき、前記ポインティング行為が前記安定条件を満たしているか否かを判定する、
　上記（１０）に記載の情報処理装置。
（１２）
　前記オブジェクトは、実空間上の実オブジェクトである、上記（１）～（１１）のいずれか１つに記載の情報処理装置。
（１３）
　前記実オブジェクトは、ヒト、動物、静物、ロボット、照明、通信機器、及び、ディスプレイのうちの少なくとも１つを含む、上記（１２）に記載の情報処理装置。
（１４）
　前記ロボット、前記照明、前記通信機器、及び、前記ディスプレイのうちの少なくとも１つに所定の動作を行わせるように制御する制御部をさらに備える、上記（１３）に記載の情報処理装置。
（１５）
　検出された前記選択オブジェクトに所定の画像を重畳して表示する表示部をさらに備える、上記（１２）に記載の情報処理装置。
（１６）
　前記オブジェクトは、仮想空間上の仮想オブジェクトである、上記（１）～（１１）のいずれか１つに記載の情報処理装置。
（１７）
　前記ユーザ及び前記オブジェクトは、同一実空間上に位置している、上記（１）～（１６）のいずれか１つに記載の情報処理装置。
（１８）
　前記ユーザ及び前記オブジェクトは、異なる空間上に位置している、上記（１）～（１６）のいずれか１つに記載の情報処理装置。
（１９）
　ユーザが指差ジェスチャにより選択したオブジェクトを選択オブジェクトとして検出する検出部を備え、
　前記検出部は、前記指差ジェスチャに対応する前記ユーザの手の手首の位置を示す第１の基準点と、前記指差ジェスチャに対応する前記ユーザの腕の付け根から床面へ垂直におろした第１の垂線上における前記手首の高さに対応する第２の基準点とを結んだ第１の線分から前記手首側へ向かって延長する第１の延長線に基づき、前記選択オブジェクトを検出する、
　情報処理システム。
（２０）
　ユーザが指差ジェスチャにより選択したオブジェクトを選択オブジェクトとして検出するための情報処理方法であって、
　情報処理装置により、前記指差ジェスチャに対応する前記ユーザの手の手首の位置を示す第１の基準点と、前記指差ジェスチャに対応する前記ユーザの腕の付け根から床面へ垂直におろした第１の垂線上における前記手首の高さに対応する第２の基準点とを結んだ第１の線分から前記手首側へ向かって延長する第１の延長線に基づき、前記選択オブジェクトを検出することを含む、
　情報処理方法。
　　１　　双方向視聴システム
　　１００　　配信者側サーバ
　　１００ａ　　検出ユニット
　　１０２　　配信者側データ取得部
　　１０４　　ジェスチャ認識部
　　１０６　　レーザポイント出力制御部
　　１０８　　視聴者側データ取得部
　　１１０　　検出部
　　１１２　　判定部
　　１１４　　対オブジェクト出力制御部
　　１１６　　画像データ生成部
　　１１８　　映像ストリーミング処理部
　　１２０　　身体位置情報生成部
　　１２２　　３Ｄモデル位置情報生成部
　　１２４　　コンテンツデータ生成部
　　１２６　　配信部
　　１３０　　配信者側データ取得装置
　　１３０ａ　　マルチカメラシステム
　　１３２　　カメラ
　　１３４ａ　　ＩＲカメラ
　　１３４ｂ　　マーカ
　　１３６　　デプスセンサ
　　１６０　　配信者側出力装置
　　１６０ａ　　配信者側表示部
　　２００　　視聴者側クライアント
　　２０２　　配信データ取得部
　　２０４　　コンテンツ処理部
　　２０６、２１２　　タイミング同期部
　　２０８　　出力制御部
　　２１０　　視聴者側データ取得部
　　２１４　　出力データ処理部
　　２１６　　配信部
　　２３０　　視聴者側データ取得装置
　　２６０　　視聴者側出力装置
　　２６０ａ　　ＨＭＤ
　　２６０ｂ　　視聴者側表示部
　　２６０ｃ　　ハプティクス・デバイス
　　２６０ｄ　　プロジェクタ
　　２６０ｅ　　スピーカ
　　２６０ｆ　　スマートフォン
　　２６０ｇ、２６０ｈ、８００　　ディスプレイ
　　２６０ｉ　　サイリウム
　　２６０ｊ　　照明
　　３００　　インターネット
　　５００、５０２　　垂線
　　５１０、５１２　　線分
　　５２０、５２２　　延長線
　　５３０　　空間
　　６００　　アーティスト
　　６００ａ　　実写ボリュメトリック
　　６０２　　手
　　６０４　　腕
　　６１０ａ、６１０ｂ、６１０ｃ、６１０ｄ、６１０ｅ、６１０ｆ　　視聴者
　　６１２ａ、６１２ｂ、６１２ｃ、６１２ｄ、６１２ｅ　　アバター
　　６２０　　レーザポイント表示
　　７００　　床面
　　８０２　　表示
　　８０４　　ウィンドウ
　　８０６　　メニュー表示
　　８０８　　サブコンテンツ
　　Ａ、Ｂ、Ｃ　　基準点
　　Ｄ　　距離
　　Ｏ　　原点

Claims (20)

  1. 　ユーザが指差ジェスチャにより選択したオブジェクトを選択オブジェクトとして検出する検出部を備え、
    　前記検出部は、前記指差ジェスチャに対応する前記ユーザの手の手首の位置を示す第１の基準点と、前記指差ジェスチャに対応する前記ユーザの腕の付け根から床面へ垂直におろした第１の垂線上における前記手首の高さに対応する第２の基準点とを結んだ第１の線分から前記手首側へ向かって延長する第１の延長線に基づき、前記選択オブジェクトを検出する、
    　情報処理装置。
  2. 　前記検出部は、前記第１の延長線上の点に対応する前記オブジェクトを前記選択オブジェクトとして検出する、請求項１に記載の情報処理装置。
  3. 　前記検出部は、前記第１の延長線上に位置する点から前記床面へ垂直におろした第２の垂線に対応する前記オブジェクトを前記選択オブジェクトとして検出する、請求項１に記載の情報処理装置。
  4. 　前記検出部は、前記第１の延長線を軸とし、且つ、前記第１の基準点を頂点とする円錐形状の空間に対応する前記オブジェクトを前記選択オブジェクトとして検出する、請求項１に記載の情報処理装置。
  5. 　前記検出部は、複数の前記選択オブジェクトを検出する、請求項１に記載の情報処理装置。
  6. 　前記指差ジェスチャに対応する前記ユーザの腕の付け根の位置を示す第３の基準点と、前記第１の基準点とを結んだ第２の線分、及び、前記第１の垂線を含む平面において、前記第２の線分と前記第１の垂線とがなす角の角度に応じて、前記検出部の検出モードを切り替える、請求項１に記載の情報処理装置。
  7. 　前記角の角度が、第１の角度以上、第２の角度以下である場合には、
    　前記検出部は、前記第１の延長線に基づき、選択オブジェクトを検出する第１の検出モードを実行する、
    　請求項６に記載の情報処理装置。
  8. 　前記角の角度が前記第２の角度よりも大きい場合には、
    　前記検出部は、前記第２の線分から前記手首側へ向かって延長する第２の延長線に基づき前記選択オブジェクトを検出する第２の検出モードを実行する、
    　請求項７に記載の情報処理装置。
  9. 　前記角の角度が前記第１の角度よりも小さい場合には、
    　前記検出部は、前記選択オブジェクトを検出しない第３の検出モードを実行する、
    　請求項７に記載の情報処理装置。
  10. 　前記ユーザが前記指差ジェスチャによって前記選択オブジェクトを選択するポインティング行為が所定の安定条件を満たしているかを判定する判定部をさらに備え、
    　前記判定部は、前記角の角度、又は、空間原点から前記指差ジェスチャに対応する前記ユーザの手の手首までの距離が、所定の時間内において所定の範囲にある場合に、前記ポインティング行為が前記安定条件を満たしていると判定し、
    　前記検出部は、判定結果に基づいて前記選択オブジェクトを検出する、
    　請求項６に記載の情報処理装置。
  11. 　前記判定部は、前記角の角度、又は、前記距離の値を複数取得し、取得した値に基づき統計値を算出し、算出した前記統計値に基づき、前記ポインティング行為が前記安定条件を満たしているか否かを判定する、
    　請求項１０に記載の情報処理装置。
  12. 　前記オブジェクトは、実空間上の実オブジェクトである、請求項１に記載の情報処理装置。
  13. 　前記実オブジェクトは、ヒト、動物、静物、ロボット、照明、通信機器、及び、ディスプレイのうちの少なくとも１つを含む、請求項１２に記載の情報処理装置。
  14. 　前記ロボット、前記照明、前記通信機器、及び、前記ディスプレイのうちの少なくとも１つに所定の動作を行わせるように制御する制御部をさらに備える、請求項１３に記載の情報処理装置。
  15. 　検出された前記選択オブジェクトに所定の画像を重畳して表示する表示部をさらに備える、請求項１２に記載の情報処理装置。
  16. 　前記オブジェクトは、仮想空間上の仮想オブジェクトである、請求項１に記載の情報処理装置。
  17. 　前記ユーザ及び前記オブジェクトは、同一実空間上に位置している、請求項１に記載の情報処理装置。
  18. 　前記ユーザ及び前記オブジェクトは、異なる空間上に位置している、請求項１に記載の情報処理装置。
  19. 　ユーザが指差ジェスチャにより選択したオブジェクトを選択オブジェクトとして検出する検出部を備え、
    　前記検出部は、前記指差ジェスチャに対応する前記ユーザの手の手首の位置を示す第１の基準点と、前記指差ジェスチャに対応する前記ユーザの腕の付け根から床面へ垂直におろした第１の垂線上における前記手首の高さに対応する第２の基準点とを結んだ第１の線分から前記手首側へ向かって延長する第１の延長線に基づき、前記選択オブジェクトを検出する、
    　情報処理システム。
  20. 　ユーザが指差ジェスチャにより選択したオブジェクトを選択オブジェクトとして検出するための情報処理方法であって、
    　情報処理装置により、前記指差ジェスチャに対応する前記ユーザの手の手首の位置を示す第１の基準点と、前記指差ジェスチャに対応する前記ユーザの腕の付け根から床面へ垂直におろした第１の垂線上における前記手首の高さに対応する第２の基準点とを結んだ第１の線分から前記手首側へ向かって延長する第１の延長線に基づき、前記選択オブジェクトを検出することを含む、
    　情報処理方法。
PCT/JP2021/002042 2020-01-29 2021-01-21 情報処理装置、情報処理システム及び情報処理方法 WO2021153413A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP21747621.7A EP4099275A4 (en) 2020-01-29 2021-01-21 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, AND INFORMATION PROCESSING METHOD
CN202180010474.2A CN115004132A (zh) 2020-01-29 2021-01-21 信息处理装置、信息处理系统和信息处理方法
JP2021574692A JPWO2021153413A1 (ja) 2020-01-29 2021-01-21
US17/790,413 US11907434B2 (en) 2020-01-29 2021-01-21 Information processing apparatus, information processing system, and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-012995 2020-01-29
JP2020012995 2020-01-29

Publications (1)

Publication Number Publication Date
WO2021153413A1 true WO2021153413A1 (ja) 2021-08-05

Family

ID=77079883

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002042 WO2021153413A1 (ja) 2020-01-29 2021-01-21 情報処理装置、情報処理システム及び情報処理方法

Country Status (5)

Country Link
US (1) US11907434B2 (ja)
EP (1) EP4099275A4 (ja)
JP (1) JPWO2021153413A1 (ja)
CN (1) CN115004132A (ja)
WO (1) WO2021153413A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP2016184203A (ja) * 2015-03-25 2016-10-20 トヨタ自動車株式会社 ポインティング入力装置
JP2017090615A (ja) * 2015-11-09 2017-05-25 三菱自動車工業株式会社 音声認識制御システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4035610B2 (ja) * 2002-12-18 2008-01-23 独立行政法人産業技術総合研究所 インタフェース装置
US8971572B1 (en) * 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
US9684372B2 (en) * 2012-11-07 2017-06-20 Samsung Electronics Co., Ltd. System and method for human computer interaction
TW201510771A (zh) * 2013-09-05 2015-03-16 Utechzone Co Ltd 指向位置偵測裝置及其方法、程式及電腦可讀取紀錄媒體
JP6851133B2 (ja) * 2014-01-03 2021-03-31 ハーマン インターナショナル インダストリーズ インコーポレイテッド ユーザに方向付けられた個人情報アシスタント
US20150309681A1 (en) * 2014-04-23 2015-10-29 Google Inc. Depth-based mode switching for touchless gestural interfaces
JPWO2016157951A1 (ja) * 2015-03-31 2018-01-25 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
JP2018528551A (ja) * 2015-06-10 2018-09-27 ブイタッチ・コーポレーション・リミテッド ユーザー基準空間座標系上におけるジェスチャー検出方法および装置
JP6488946B2 (ja) * 2015-08-21 2019-03-27 富士通株式会社 制御方法、プログラム及び制御装置
US11176745B2 (en) * 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037434A (ja) * 2007-08-02 2009-02-19 Tokyo Metropolitan Univ 制御機器操作ジェスチャ認識装置、制御機器操作ジェスチャ認識システムおよび制御機器操作ジェスチャ認識プログラム
JP2016184203A (ja) * 2015-03-25 2016-10-20 トヨタ自動車株式会社 ポインティング入力装置
JP2017090615A (ja) * 2015-11-09 2017-05-25 三菱自動車工業株式会社 音声認識制御システム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PISHED BUNNUNWALTERIO W. MAYOL-CUEVAS: "7th IEEE/ACM International Symposium on Mixed and Augmented Reality", 2008, IEEE, article "OutlinAR: an assisted interactive model building system with reduced computational effort"
See also references of EP4099275A4
YATA, YUKIHIRO; WATANABE, KEN; NAGAO, KATASHI: "Natural Interface of Personal Intelligent Vehicles by Hand Gesture Recognition", PROCEEDINGS OF THE 75TH NATIONAL CONVENTION OF THE INFORMATION PROCESSING SOCIETY OF JAPAN, 6 March 2013 (2013-03-06), pages 4-101 - 4-102, XP009530202 *

Also Published As

Publication number Publication date
EP4099275A1 (en) 2022-12-07
CN115004132A (zh) 2022-09-02
US20230071828A1 (en) 2023-03-09
US11907434B2 (en) 2024-02-20
EP4099275A4 (en) 2023-07-05
JPWO2021153413A1 (ja) 2021-08-05

Similar Documents

Publication Publication Date Title
JP7366196B2 (ja) 広範囲同時遠隔ディジタル提示世界
EP3427130B1 (en) Virtual reality
US7817104B2 (en) Augmented reality apparatus and method
US20150070274A1 (en) Methods and systems for determining 6dof location and orientation of head-mounted display and associated user movements
JP2022549853A (ja) 共有空間内の個々の視認
CN109643161A (zh) 动态进入和离开由不同hmd用户浏览的虚拟现实环境
US20210350604A1 (en) Audiovisual presence transitions in a collaborative reality environment
JP6470859B1 (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法
JP2023139098A (ja) 画像生成装置および画像生成方法
US20180299948A1 (en) Method for communicating via virtual space and system for executing the method
US20160320833A1 (en) Location-based system for sharing augmented reality content
US10564801B2 (en) Method for communicating via virtual space and information processing apparatus for executing the method
JP2023015061A (ja) プログラム
Suma et al. Sharing space in mixed and virtual reality environments using a low-cost depth sensor
WO2018115840A1 (en) Virtual reality content control
US20220405996A1 (en) Program, information processing apparatus, and information processing method
WO2021153413A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
WO2022075152A1 (ja) 情報処理装置、情報処理方法及び情報配信システム
US20220230357A1 (en) Data processing
JP2019160295A (ja) ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法
JP7111848B2 (ja) プログラム、情報処理装置、および方法
EP4206867A1 (en) Peripheral tracking system and method
WO2022107294A1 (ja) Ｖｒ映像空間生成システム
US20240078767A1 (en) Information processing apparatus and information processing method
JP2024047006A (ja) 情報処理システムおよびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21747621

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021574692

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021747621

Country of ref document: EP

Effective date: 20220829