JPWO2018155026A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JPWO2018155026A1
JPWO2018155026A1 JP2019501119A JP2019501119A JPWO2018155026A1 JP WO2018155026 A1 JPWO2018155026 A1 JP WO2018155026A1 JP 2019501119 A JP2019501119 A JP 2019501119A JP 2019501119 A JP2019501119 A JP 2019501119A JP WO2018155026 A1 JPWO2018155026 A1 JP WO2018155026A1
Authority
JP
Japan
Prior art keywords
user
content
information
output control
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019501119A
Other languages
English (en)
Other versions
JP7092108B2 (ja
Inventor
真里 斎藤
真里 斎藤
賢次 杉原
賢次 杉原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018155026A1 publication Critical patent/JPWO2018155026A1/ja
Application granted granted Critical
Publication of JP7092108B2 publication Critical patent/JP7092108B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/84Detection of presence or absence of voice signals for discriminating voice from noise
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本技術の一形態に係る情報処理装置は、ユーザ情報取得部と、オブジェクト情報取得部と、出力制御部とを具備する。前記ユーザ情報取得部は、ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得する。オブジェクト情報取得部は、前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得する。出力制御部は、前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行う。

Description

本技術は、コンテンツの再生制御に適用可能な情報処理装置、情報処理方法、及びプログラムに関する。
特許文献1には、カクテルパーティ効果を利用したタグ情報の提供について開示されている。ユーザが携帯端末のスピーカに耳をかざすと、携帯端末は、周囲の位置に対応付けられているタグ情報を同時に音声出力する。人間は、様々な雑音が存在する状況においても、自分が興味のあるワードや会話は自然と聞き分けることができる(カクテルパーティ効果)。従って、同時に出力されたタグ情報の中から、自分が興味のあるタグ情報を迅速に選択し、そのタグ情報の詳細情報を取得することが可能である(特許文献1の明細書段落[0027]〜[0029][0050]〜[0052]図3、9等)。
特開2013−101248号公報
このような人間の特性を利用した情報の提供方法のように、人間に対して効率よく情報を提供することを可能とする技術が求められている。例えばコンテンツの再生制御についても、コンテンツの内容を効率よく提供可能であることが望ましい。
以上のような事情に鑑み、本技術の目的は、コンテンツの内容を効率よく提供することを可能とする情報処理装置、情報処理方法、及びプログラムを提供することにある。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、ユーザ情報取得部と、オブジェクト情報取得部と、出力制御部とを具備する。
前記ユーザ情報取得部は、ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得する。
オブジェクト情報取得部は、前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得する。
出力制御部は、前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行う。
この情報処理装置では、ユーザの注視位置に関する情報、コンテンツを再生する音源の位置情報、及びユーザに注視されている第1オブジェクトの位置情報がそれぞれ取得される。そして第1オブジェクト内にある注視位置が音源に向かって移動した場合、上記の第1出力制御が実行される。これにより例えばユーザのリアクション等に応じた再生制御が可能となり、コンテンツの内容を効率よく提供することが可能となる。
本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得することを含む。
前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とが取得される。
前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御が行われる。
本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得するステップ。
前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得するステップ。
前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行うステップ。
以上のように、本技術によれば、コンテンツの内容を効率よく提供することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
一実施形態に係るコンテンツ提供システムの構成例を示す模式図である。 本実施形態に係る情報処理装置として機能するPC(Personal Computer)の機能的な構成例を示すブロック図である。 コンテンツの出力制御の基本的な処理例を示すフローチャートである。 コンテンツに対する興味の度合いの増加を判定するための処理例を示すフローチャートである。 注視位置の移動先が音源であるか否かを判定するための一例を説明するための模式図である。 コンテンツに対する興味の度合いの増加を判定するための他の処理例を示すフローチャートである。 コンテンツに対する興味の度合いの増加を判定するための他の処理例を示すフローチャートである。 コンテンツに対する興味の度合いの増加を判定するための他の処理例を示すフローチャートである。 第1及び第2の領域の設定例を説明するための模式図である。 人間の視野特性を説明するための模式図である。 第1及び第2の領域の他の設定例を説明するための模式図である。 コンテンツに対する興味の度合いの増加を判定するための他の処理例を示すフローチャートである。 コンテンツに対する興味の度合いの増加を判定するための他の処理例を示すフローチャートである。 コンテンツに対する興味の度合いの増加を判定するための他の処理例を示すフローチャートである。 コンテンツの再生制御の他の処理例を示すフローチャートである。 段階的な出力制御の他の処理例を示すフローチャートである。 ユーザのコンテンツに対する興味の度合いの増加に応じて実行される第1出力制御の他の例を説明するための図である。 本技術に係るヘッドマウントディスプレイの構成例を示す斜視図である。 本技術に係るヘッドマウントディスプレイの構成例を示す斜視図である。 第1出力制御としての表示部の制御例について説明するための図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
[コンテンツ提供システムの構成]
図1は、本技術の一実施形態に係るコンテンツ提供システムの構成例を示す模式図である。図2は、本実施形態に係る情報処理装置として機能するPC(Personal Computer)の機能的な構成例を示すブロック図である。
図1に示すように、コンテンツ提供システム100は、ユーザ1に使用されるPC10と、コンテンツを再生する音源として機能するテレビ装置30とを含む。PC10は、ユーザ1が作業を行う対象のデバイスであり、本実施形態において、ユーザ1に注視される第1オブジェクトに相当する。
図2に示すように、PC10は、通信部11、記憶部12、表示部13、操作部14、撮像部15、外部I/F(インタフェース)16、マイク17、スピーカ18、及びコントローラ19を有する。
通信部11は、LAN(Local Area Network)やWAN(Wide Area Network)等のネットワークを介して他のデバイスと通信するための通信モジュールである。Bluetooth(登録商標)等の近距離無線通信用の通信モジュールが備えられてもよい。またモデムやルータ等の通信機器が用いられてもよい。
本実施形態では、PC10は、通信部11を介して、ネットワーク3上の種々のサーバ装置5と通信可能に接続される。サーバ装置5としては、例えば種々のWebサービスを提供するWebサーバや、メールサーバ等の任意の種類のサーバ装置が含まれる。
例えば通信部11を介して、LINE(登録商標)やTwitter(登録商標)等のSNS(Social Networking Service)、Skype(登録商標)等のメッセンジャサービス等を提供するサーバ装置5に接続可能である。ユーザ1は、PC10を介して、これらのサービス(アプリケーション)を利用することが可能である。その他、AR(Augmented Reality:拡張現実感)やVR(Virtual Reality:仮想現実)等によるコミュニケーションを実現するサービスやニュース配信サービス等の、種々のWebサービスを利用することが可能である。
記憶部12は、不揮発性の記憶デバイスであり、例えばHDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリ、その他の固体メモリである。
記憶部12には、PC10の全体の動作を制御するための制御プログラム、本技術に係る情報処理方法を実行するためのアプリケーションプログラムや種々のデータが記憶される。アプリケーションプログラム等をPC10にインストールする方法は限定されない。例えば、種々の記録媒体やネットワーク等を介した任意の方法で、インストールが実行されてよい。
表示部13は、例えば液晶、EL(Electro-Luminescence)等を用いた表示デバイスである。操作部14は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。操作部14がタッチパネルを含む場合、そのタッチパネルは表示部13と一体となり得る。
撮像部15は、PC10を使用するユーザ1の顔や上半身等を撮影することが可能である。撮像部15としては、例えばCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Devices)センサ等のイメージセンサを備えるデジタルカメラが用いられる。
外部I/F16は、例えばUSBやHDMI(登録商標)(High-Definition Multimedia Interface)等の規格に基づいて、外部機器と接続するためのインタフェースである。マイク17は、ユーザ1から発せられる音声を集音することが可能である。スピーカ18は、音声を出力することが可能である。
コントローラ19は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等のコンピュータの構成に必要なハードウェアを有する。CPUが記憶部12に記憶されている制御プログラムをRAMにロードして実行することにより、種々の処理が実行される。
コントローラ19の具体的な構成は限定されず、例えばFPGA(Field Programmable Gate Array)、画像処理IC(Integrated Circuit)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。
本実施形態では、コントローラ19のCPUが本実施形態に係るプログラムを実行することで、機能ブロックとしてコンテンツ分析部21、出力音声制御部22、音源制御部23、視線検出部24、動作検出部25、及び音声判定部26が実現される。各機能ブロックを実現するために、専用のハードウェアが適宜用いられてもよい。
図1に示すように、音源として機能するテレビ装置30は、表示部31と、模式的に図示されたスピーカ32とを有する。本実施形態では、PC10の音源制御部23により、テレビ装置30の表示部31やスピーカ32の各々の動作が制御される。
例えばPC10及びテレビ装置30間に、通信部11を介してネットワーク通信や近距離無線通信が確立され制御信号が送信される。又は、外部I/F38を介して、有線/無線により制御信号が送信されてもよい。その他、赤外線(IR)通信等の任意の通信方法が用いられてよい。
(ユーザ情報の取得)
本実施形態では、PC10により、ユーザ1に関する種々のユーザ情報が取得される。例えばユーザ情報として、ユーザ1の注視位置Eに関する情報が含まれる。注視位置Eに関する情報とは、ユーザ1の注視位置Eを検出又は推定することが可能な情報であり、典型的には、ユーザ1の視線方向の情報である。もちろん視線方向の情報に限定されず、他の情報が注視位置Eに関する情報として取得されてよい。また注視位置E自体の情報が、注視位置Eに関する情報として取得されてもよい。
本実施形態では視線検出部24により、撮像部15で撮影されたユーザ1の画像に基づいて、ユーザ1の視線方向が検出される。そしてユーザ1の注視位置Eが推定される。例えばユーザ1の眼球の画像に基づいて視線方向が検出されてもよいし、ユーザ1の頭(顔)の向きに基づいて視線方向が検出されてもよい。その他、任意のアルゴリズムが採用されてよく、ディープラーニング等の機械学習が用いられてもよい。本実施形態では、撮像部15及び視線検出部24は、ユーザ情報取得部として機能する。
なおPC10とは異なるデバイス等により、ユーザ1の注視位置Eに関する情報が生成され、通信部11や外部I/F16を介して、PC10に送信されてもよい。例えばテレビ装置30側にカメラが設置され、当該カメラの撮影画像に基づいてユーザ1の視線方向等の情報が検出される。検出された視線方向等の情報が、注視位置Eに関する情報として、通信部11等を介してPC10に送信されてもよい。この場合、注視位置Eに関する情報を受信する通信部11等が、ユーザ情報取得部として機能する。
また本実施形態では、ユーザ情報として、注視位置Eに関する情報とは異なるユーザ1の行動に関する情報が取得される。ユーザ1の行動に関する情報とは、ユーザ1の動作量に関する情報を含み、ユーザ1の動作量が小さい場合には、ユーザ1の行動の情報量は小さくなる。またユーザ1の動作量が大きい場合には、ユーザ1の行動の情報量は大きくなる。
例えば動作検出部25により、撮像部15で撮影されたユーザ1の画像に基づいて、ユーザ1の表情、姿勢、顔(頭)の動作、手の動作等が検出される。そして姿勢や手の動作の変化等に基づいて、ユーザ1の行動に関する情報が生成される。
例えば表情が変化した、上半身が動いている、顔(頭)が左右に揺れている、両手でPC10のキーボード(操作部14)を操作している場合等においては、ユーザ1の行動に関する情報の情報量は大きくなる。一方、上半身の動きが止まった、顔(頭)の動きが止まった、両手の動きが止まった場合等においては、ユーザ1の行動に関する情報の情報量は小さくなる。
なおユーザ1がどのような行動を行っているかの具体的な情報、すなわち「両手でPC10のキーボード(操作部14)を操作している」、「両手の動きが止まった」等の情報が、ユーザ1の行動に関する情報に含まれてもよい。ユーザ1の行動に関する情報は、例えば機械学習を用いた行動解析等の任意の技術により取得可能である。動作検出部25は、ユーザ情報取得部として機能する。
またユーザ1の撮影画像が用いられる場合に限定されず、ユーザ1が操作するPC10への操作の有無、及びその操作量に基づいて、ユーザ1の行動に関する情報が生成されてもよい。例えばキーボードへの操作量、マウスの動き量等に基づいて、ユーザ1の行動に関する情報が生成されてもよい。さらにPC10とは異なるデバイスによりユーザ1の行動に関する情報が生成され、PC10に送信されてもよい。この場合、通信部11等がユーザ情報取得部として機能する。
また本実施形態では、ユーザ情報として、ユーザ1の音声に関する情報が取得される。ユーザ1の音声に関する情報は、例えばマイク17により集音されるユーザ1の音声、及び当該音声に関する種々の情報を含む。
本実施形態では、音声判定部26により、ユーザ1の音声が言語的音声か否かが判定される。言語的音声とは、意味のある言語を構成する音声であり、例えば機械学習等を利用した任意の音声解析技術を用いることで判定を実行することが可能である。
本実施形態では、ユーザ1が言語的音声か否かの判定結果が、ユーザ1の音声に関する情報に含まれる。またユーザ1が言語的音声ではないという判定結果が、非言語的音声に関する情報に相当する。例えばユーザ1から意味のある言語を構成しない、「お!」「ん?」等の非言語的音声が発せられるとする。そうすると音声判定部26により、ユーザ1の音声は言語的音声ではないと判定される。当該判定結果が得られることは、非言語的音声に関する情報が取得されることに相当する。もちろん音声判定部26により、ユーザ1の音声が非言語的音声であるか否かが判定されてもよい。
また例えばPC10に、音声による入力に用いられる言語が予め登録されており、マイク17に集音された音声が、登録された言語を構成する音声であるか否かが判定されてもよい。この場合、ユーザ1の音声が、音声入力用に登録された言語を構成しない場合は、無意味な非言語的音声として処理されてもよい。すなわちユーザ1の音声が、音声入力用の登録言語の音声ではないという判定結果が、非言語的音声に関する情報として扱われてもよい。
(オブジェクト情報の取得)
また本実施形態では、PC10により、オブジェクト情報が取得される。オブジェクト情報は、ユーザ1が位置する空間2に存在するテレビ装置30に関する位置情報、第1オブジェクトであるPC10に関する位置情報、及び空間2に存在する音源とは異なる第2オブジェクトに関する位置情報を含む。
音源とは異なる第2オブジェクトは、典型的には、ユーザ1が注視する可能性のあるオブジェクトであり、注目度を有するオブジェクトと言える。図1に示す例では、第2オブジェクトとして時計40が図示されている。これに限定されず、カレンダー、固定電話、本棚等が第2オブジェクトとして挙げられる。また家族やペット等の人や動物も、第2オブジェクトとして挙げられる。空間2内に存在する第2オブジェクトの数は限定されない。
本実施形態では、テレビ装置30に関する位置情報として、基準位置情報と、境界位置情報とが取得される。基準位置情報は、テレビ装置30の所定の基準点の位置情報である。基準点としては、例えばテレビ装置30の表示部31の中央や、スピーカ32の位置等、任意の位置に設定されてよい。本実施形態では、表示部31の中央に、基準点S1が設定される(図5参照)。
境界位置情報は、テレビ装置30の内部と外部との境界の位置情報である。境界位置情報は、典型的には、テレビ装置30の縁部B1の位置情報が用いられる(図5参照)。後に図5を参照して説明するように、基準位置情報は、ユーザ1の注視位置Eがテレビ装置30に向かって移動しているのか否かを判定する際に用いられる。境界位置情報は、注視位置Eが、テレビ装置30内にあるのか、テレビ装置30外にあるのかを判定する際に用いられる。
PC10に関する位置情報も同様に、PC10の所定の基準点の位置情報である基準位置情報が取得される。またPC10の内部と外部とを規定するための、境界位置情報が取得される。基準位置情報としては、例えば表示部13の中央に設定された基準点S2の位置情報が用いられる。境界位置情報としては、表示部13等の縁部B2の位置情報が用いられる(図5参照)。
第2オブジェクトである時計40に関する位置情報についても、基準位置情報及び境界位置情報が取得される。例えば時計40の中央に設定された基準点S3の位置情報が基準位置情報として取得され、時計40の縁部B3の位置情報が、境界位置情報として取得される(図5参照)。
テレビ装置30、PC10、及び時計40の各々に関する位置情報を取得する方法は限定されない。例えばPC10の撮像部15により空間2全体が撮影され、当該撮影画像に基づいて、PC10により各デバイスに関する位置情報が生成されてもよい。この場合、例えばコントローラ19により実現される位置情報を生成するための機能ブロックが、オブジェクト情報取得部として機能する。
または空間2全体の撮影画像等に基づいて、PC10とは異なる他のデバイス、例えば空間2内に配置されたマップ生成装置や、ネットワーク3上のマップ生成用のサーバ装置5等により、各デバイスに関する位置情報が生成されてもよい。この場合、生成された位置情報を受信する通信部11や外部I/F16が、オブジェクト情報取得部として機能する。また各デバイスに関する位置情報等を生成するためのアルゴリズム等は限定されず、機械学習等を含む任意のアルゴリズムが用いられてよい。
[コンテンツの出力制御]
コンテンツの内容をユーザ1に対して提供する出力制御について説明する。本実施形態では、コンテンツ分析部21、出力音声制御部22、及び音源制御部23により、出力制御部が実現され、コンテンツの出力制御が実行される。
ここでは、図1に模式的に示すように、ユーザ1を含む複数人で構成されたグループによりネットワーク3を介して行われる会話の内容が、テレビ装置30のスピーカ32により再生される場合を例に挙げる。ユーザ1は、スピーカ32から出力されるグループの会話を聞きながらPC10を用いて作業を行っている。
図3は、コンテンツの出力制御の基本的な処理例を示すフローチャートである。まずテレビ装置30のスピーカ32により、第1制御量で会話の内容が自動的に再生される(ステップ101)。
本実施形態では、ネットワーク3上のサーバ装置5により、グループ内の会話の内容を含むサービス情報が送信される。サービス情報には、コンテンツに関する種々の情報、例えば会話を行っているグループに関する情報、会話の開始時間、各発言の発話時間、会話のジャンル、盛り上がり度等の種々の情報が含まれる。コンテンツ分析部21は、サービス情報に基づいて、コンテンツの内容(ここではグループによる会話の内容)や、コンテンツに関する種々の情報を分析して、出力音声制御部22に出力する。
出力音声制御部22は、テレビ装置30のスピーカ32により出力される音声データに関する制御を実行する。本実施形態では、出力音声制御部22により、スピーカ32から再生される音声データが生成される。例えばグループで行われる会話がテキストを入力することが行われる場合には、各会話が音声合成された合成音声データが生成される。例えば任意のテキスト読み上げ(TTS:Text-To-Speech)技術が用いられてよい。
グループの会話が音声を入力することで行われる場合に、各会話の音声データがそのまま出力対象となる音声データとして用いられる。もちろん一度テキスト化されて合成音声データが生成されてもよい。
会話の全てが音声として出力される場合に限定されず、所定のキーワード(例:固有名詞、出現頻度の高い単語、強調して発話された単語等)が抽出され、当該キーワードの音声データが生成されてもよい。また会話の内容が適宜要約され、当該要約された音声データが生成されてもよい。キーワード抽出や要約の生成を実現するために、任意のアルゴリズムが用いられてよい。
またグループの各メンバーごとに、音声データの周波数が変えられてもよい。また盛り上がり度に応じて、盛り上がり度を表現するための音声データが生成されてもよい。例えば盛り上がり度が高い場合に、各メンバーの音声が大きく再生される。あるいは背景音(ざわざわ音)等の、会話とは異なる音声が出力されてもよい。その他、コンテンツの内容の再生に関する任意の音声出力が採用されてよく、それに応じた音声データへの制御が実行される。
音源制御部23は、テレビ装置30のスピーカ32を介した音声出力動作を制御する。例えばスピーカ32から出力される音声の音量や再生速度等が制御される。その他、音声出力に関する種々の制御が可能である。
図3のステップ101に示すように、出力音声制御部22による出力音声の制御、及び音源制御部23による音声出力動作の制御は、第1制御量にて実行される。ここで「制御量」とは、例えば音量、再生速度、コンテンツの内容の情報量、及び再生タイミング等の、コンテンツの再生に関する種々の制御に関する制御量を含む。
音量及び再生速度は、再生されるコンテンツの再生音量及び再生速度である。コンテンツの内容の情報量は、ユーザ1に提供する内容の情報量である。例えばコンテンツの内容からキーワードを抽出して再生する場合には、キーワード量が情報量に相当する。またコンテンツの内容を要約して再生する場合に、その要約の情報量が相当する。要約の情報量が高いほど、コンテンツの内容の詳細度が高い要約となる。
第1制御量は、例えばPC10を使用するユーザ1の作業を邪魔しない程度であり、カクテルパーティ効果により、興味のあるキーワード等を拾える程度に設定される。具体的な音量、情報量、及び再生速度等は限定されず、適宜設定されてよい。
図3に示すように、テレビ装置30により第1制御量でコンテンツの内容が自動再生されている間に、ユーザ1のコンテンツに対する興味の度合いが増加したかどうかが判定される(ステップ102)。本実施形態では、当該判定ステップは、視線検出部24、動作検出部25、及び音声判定部26の各々からの検出結果等に基づいて、出力音声制御部22により実行される。
ユーザ1のコンテンツに対する興味の度合いが増加しない場合は(ステップ102のNo)、ステップ101に戻り、第1制御量でのコンテンツの再生が継続される。ユーザ1のコンテンツに対する興味の度合いが増加した場合には(ステップ102のYes)、第2制御量でコンテンツの内容をユーザ1に対して提供する第1出力制御が実行される。すなわち「制御量」が第1制御量から第2制御量に変更され、第2制御量でコンテンツが再生される(ステップ103)。
第1出力制御の際に設定される第2制御量は、例えばユーザ1のコンテンツに対する興味の度合いの増加に応じて、コンテンツの内容をより詳細に提供可能なように設定される。なお、第1制御量と第2制御量の間の大小関係は、制御パラメータに応じて異なる。例えば、制御パラメータが再生音量である場合、第2制御量は第1制御量よりも大きい値となる。制御パラメータが再生速度である場合、第2制御量は第1制御量よりも小さい値となる。従って、例えば第1出力制御の際に再生速度と再生音量を同時に制御する場合、再生音量の第1制御量と第2制御量の大小関係と、再生速度の第1制御量と第2制御量の大小関係は異なる。もちろん、第1出力制御において、1種類の制御パラメータが用いられてもよく、2種類以上の制御パラメータの組み合わせが用いられてもよい。
例えば音源の再生音量は大きく設定される。従ってスピーカ32からは音量が増加されてコンテンツの内容が再生される。再生速度は、低く設定される。例えば第1制御量による再生時に早送り再生等が実行されている場合には、通常の再生速度でコンテンツの内容が再生される(例えば1.3〜2.0倍速再生→1.0倍速)。もちろんこれに限定される訳ではない。
また再生されるコンテンツの内容の情報量は大きく設定される。例えばキーワードが抽出されて再生される場合には、再生するキーワード量が増加される。またコンテンツの内容が要約されて再生される場合には、第1制御量で再生される要約よりも詳細なコンテンツの内容が再生される。例えばより詳細な要約が再生されてもよいし、コンテンツの内容が要約されることなく、そのまま再生されてもよい。
例えばカクテルパーティ効果等により、ユーザ1の興味のあるキーワードが耳に入り、コンテンツの対する興味の度合いが増加したとする。本実施形態では、PC10により当該興味の度合いの増加が検出され、第2制御量による第1出力制御が実行される。これによりユーザ1は興味のあるキーワードが含まれた会話の内容の詳細を容易に把握することが可能となる。
なおユーザ1のコンテンツに対する興味の度合い増加が検出された場合に、その検出タイミングの直前に再生されていたコンテンツの内容の少なくとも一部が再生されてもよい。例えばコンテンツの内容が所定の時間だけ巻き戻されて再生されてもよい。これによりユーザ1は、興味をひかれた会話の内容をさかのぼって確認することが可能となる。その他、興味の度合いの増加を検出したタイミングを基準として、第1出力制御として、コンテンツの再生タイミングが適宜制御されてよい。
ユーザ1のコンテンツに対する興味の度合いの増加を判定する方法としては、種々の方法が挙げられる。例えば、興味のあるキーワードに対するユーザ1の瞬間的なリアクションが検出される。例えば音源の方を向く、ふと顔を上げる、「お!」と声を上げる、作業を中断する、体が固まる等、種々のリアクションが考えられ、これらを検出することで興味の度合いの増加を判定することが可能である。
図4は、コンテンツに対する興味の度合いの増加を判定するための処理例を示すフローチャートである。ステップ201にて第1制御量でコンテンツが再生されている間に、第1オブジェクトであるPC10内にある注視位置Eが移動したか否かが判定される(ステップ202)。
注視位置EがPC10内にあるか否かは、PC10の境界位置情報を参照することで判定可能である。注視位置Eの移動がない場合には(ステップ202のNo)、ステップ201に戻り、第1制御量でのコンテンツの再生が継続される。
PC10内にある注視位置Eが移動した場合(ステップ202のYes)、その移動先が音源であるテレビ装置30であるか否かが判定される(ステップ203)。移動先がテレビ装置30ではない場合は(ステップ203のNo)、ステップ201に戻り、第1制御量でのコンテンツの再生が継続される。
移動先がテレビ装置30である場合には(ステップ203のYes)、第1制御量から第2制御量に変更されて第1出力制御が実行される(ステップ204)。すなわち本例では、PC10内にある注視位置Eがテレビ装置30に向かって移動した場合に、コンテンツに対する興味の度合いが増加したとして、第1出力制御が実行される。
図5は、注視位置Eの移動先が音源であるか否かを判定するための一例を説明するための模式図である。例えば図5に示すように、PC10(第1オブジェクト)、テレビ装置30(音源)、及び時計40(第2オブジェクト)が配置されているとする。そして各デバイスに関する位置情報(基準位置情報、境界位置情報)が記憶されているとする。
注視位置Eの移動先は、注視位置Eの移動方向に基づいて判定可能である。例えば移動前の注視位置E1とテレビ装置30の基準位置S1とを結ぶ直線L1が算出され、当該直線L1の方向が注視位置E1からテレビ装置30への方向として設定される。もちろん基準位置S1以外の点が用いられてもよい。
また移動前の注視位置E1と時計40とを結ぶ直線L2が算出され、当該直線L2の方向が注視位置E1から時計40への方向として設定される。そして移動前の注視位置E1から移動後の注視位置E2を結ぶ注視位置Eの移動方向(符号L3)が、注視位置E1からテレビ装置30への方向、及び注視位置E1から時計40への方向のいずれに近いかが判定される。具体的には、直線L1及びL2の各々と、注視位置Eの移動方向(符号L3)との角度が算出される。そして角度が小さい方の直線により表される方向が、注視位置Eの移動方向に近い方向として判定される。
図5に示す例では、注視位置Eの移動方向は、注視位置E1と時計40とを結ぶ直線L2に近い。この場合、注視位置Eはテレビ装置30ではなくむしろ時計40に向かって移動していると判定される。従ってステップ203はNoとなり、第1制御量でのコンテンツの再生が継続される。
このように注視位置Eの移動先が、テレビ装置30であるか時計40であるかが判定すされる。これにより注視位置Eは一見テレビ装置30に向かっているが、実際にはユーザ1は時計40を見ようしており、ユーザ1は音源に対して反応を示したわけでないといったことが判定可能である。すなわちコンテンツに対する興味の度合いの増加の有無を、高い精度で判定することが可能となる。
図6は、コンテンツに対する興味の度合いの増加を判定するための他の処理例を示すフローチャートである。図6に示すように、注視位置Eの移動先が音源である場合に(ステップ303のYes)、注視位置Eが第1オブジェクであるPC10の外に移動したか否かが判定されてもよい(ステップ304)。注視位置EがPC10の外に移動しない場合には(ステップ304のNo)、第1制御量でのコンテンツの再生が継続される(ステップ301)。注視位置EがPC10の外に移動した場合には(ステップ304のYes)、第2制御量による第1出力制御が実行される(ステップ305)。
このように注視位置Eがテレビ装置30に向かって移動しつつPC10の外に注視位置Eが移動した場合に第1出力制御が行われ、注視位置Eがテレビ装置30に向かって移動しつつPC10内に注視位置Eが留まった場合は第1出力制御が行われなくてもよい。
例えばPC10を使用するユーザ1の作業中に、表示部13内で視線(注視位置E)が行き来する場合が考えられる。図6に示す処理を実行することで、作業内における表示部13上の視線の移動を、コンテンツに対する興味の度合いの増加と区別して判定することが可能となる。この結果、第1出力制御を非常に高い精度で実行することが可能となる。
図7は、コンテンツに対する興味の度合いの増加を判定するための他の処理例を示すフローチャートである。図7に示す例では、注視位置Eの移動先が音源である場合に(ステップ403のYes)、移動直後に注視位置Eが実質的に停留したか否かが判定される(ステップ404)。注視位置Eが実質的に停留するとは、注視位置Eが同じ位置に完全に留まる場合と、注視位置Eが所定の狭い範囲内に留まる場合の両方を含む。
移動直後に注視位置Eが実質的に停留していない場合、すなわち注視位置Eの移動が継続している場合は(ステップ404のNo)、第1制御量でのコンテンツの再生が継続される(ステップ401)。注視位置Eが実質的に停留した場合は(ステップ404のYes)、第2制御量による第1出力制御が実行される(ステップ405)。
このように、注視位置Eがテレビ装置30に向かって移動した直後に注視位置Eが実質的に停留した場合に第1出力制御が行われ、注視位置Eがテレビ装置30に向かって移動を継続している間は前記第1出力制御が行われなくてもよい。これにより、例えば興味のあるキーワード等に対する瞬間的なリアクションであるか、他のオブジェクトへの視線の変更であるか、といったことを判定することが可能となる。すなわちコンテンツに対する興味の度合いの増加を精度よく判定することが可能となる。
図8は、コンテンツに対する興味の度合いの増加を判定するための他の処理例を示すフローチャートである。図9〜図11は、図8に示す処理例を説明するための模式図である。
図8に示す例では、注視位置Eが第2領域R2(図9参照)内からテレビ装置30に向かって移動した場合に、第1出力制御が実行される(ステップ502のYES、ステップ503のYes、ステップ504)。
本処理を実行するために、図9に示すように、テレビ装置30(音源)を囲む第1領域R1が設定される。例えばテレビ装置30の縁部b1を基準として所定の幅分の大きさの領域が、第1領域R1として設定される。縁部B1からの幅の大きさは、全て同じ大きさに設定されてもよいし、縁部B1の各々にて異なる幅が設定されてもよい。
第2領域R2は、第1領域R1の外側に設定される。すなわち図8に示す例では、テレビ装置30を見ていない状態からテレビ装置30に向けて視線(注視位置E)を移動させる動作を検出することで、ユーザ1のコンテンツに対する興味の度合いの増加が判定される。
このようにテレビ装置30の周囲に第1領域R1を設定し、その外側を第2領域R2とすることで、テレビ装置30への視線の変化を精度よく検出することが可能である。すなわちコンテンツに対して興味が増加したことを精度よく検出することが可能となる。
なお図8に示す処理では、移動前の注視位置EがPC10内であるか否かにかかわらず、ステップ502及び503が実行される。すなわち図9に示す符号L4及びL5の注視位置Eの移動の両方ともが、第1出力制御が実行される条件を満たしている。もちろん注視位置EがPC10内かつ第2の領域R2内であり、そこから注視位置Eがテレビ装置30に向かって移動した場合に、第1出力制御が実行されてもよい。
図10に模式的に示すように、人間の視野は、中心視野CFと周辺視野PFとに分類可能である。中心視野CFは、中心視CVを中心としたユーザ1により直視されている領域であり、対象物を十分に認識することが可能な領域である。典型的には、中心視野CFの中心である中心視CVの位置が、注視位置Eに相当する。周辺視野PFは、中心視野CFの周囲の領域であり、対象物を漠然と認識することができる領域である。
このような人間の視野特性に基づいて、第1領域R1の幅を設定することが可能である。具体的には、ユーザ1の視点を基準として、中心視野CFの半径に基づいて、第1領域R1の幅を設定することが可能である。ユーザ1の視点を基準とした中心視野CFの半径は、例えばPC10からテレビ装置30までの距離(ユーザ1から音源までの距離)等に基づいて算出される。あるいは予め定まった値が、中心視野CFの半径として用いられてもよい。また中心視野CFは典型的には楕円形状となる。本開示において、「中心視野の半径」は、水平方向や上下方向等の一方向における半径や、各方向における半径の最大値や平均値等、種々の値を含む。
例えば第1領域R1の水平方向の幅を、中心視野CFの半径の最大値(典型的には、水平方向における半径)の2分の1以上の大きさに設定する。第1領域R1の上下方向の幅を、中心視野CFの上下方向における半径の2分の1以上の値に設定される。
これにより中心視野CFがテレビ装置30に重なる状態では、注視位置E(中心視CV)が第1領域Rに含まれることになる。すなわち注視位置Eが第2領域R2内にありつつ、中心視野CFがテレビ装置30と重なるという状態が排除される。この結果、第2領域R2を、ユーザ1がテレビ装置30を直視していない領域として定義することが可能となる。この結果、テレビ装置30を見ていない状態からテレビ装置30に向けて視線を移動させる動作を高い精度で検出することが可能となる。またユーザ1がテレビ装置30を直視する前に、第2制御量による第1出力制御を開始することが可能である。
また図9に示すように、ユーザ1の視野特性を鑑み、第1領域R1の上下方向の幅を、左右方向の幅よりも小さく設定される。これにより視線の移動による興味の度合いの増加を高精度に判定することが可能となる。またユーザの視野の主な移動方向である水平方向における視線の移動にともなう判定精度が向上される。
図11に示すように、ユーザ1の視点を基準として、第1オブジェクトであるPC10と音源であるテレビ装置30とがオーバーラップする場合もあり得る。この場合、オーバーラップしている部分については、PC10の縁部B3を基準として、第1領域R1が設定されてもよい。これにより、オーバーラップしている部分においてテレビ装置30への注視位置Eの移動が、コンテンツに対する興味度の増加であるか否かを精度よく検出することが可能となる。
例えばコンテンツに対する興味の度合いの増加を判定するために、注視位置EがPC10内にある場合は、PC10内からテレビ装置30に向かう注視位置Eの移動の有無が判定される。注視位置EがPC10の外にある場合には、第2領域R2からテレビ装置30に向かう注視位置Eの移動の有無が判定される。このような処理を実行する場合には、オーバーラップする部分においては、第1領域R1は設定されなくてもよい。
図12は、コンテンツに対する興味の度合いの増加を判定するための他の処理例を示すフローチャートである。図12に示す例では、注視位置Eが第2の領域R2内に位置するときの、注視位置Eとテレビ装置30の間の距離の変化に基づいて、コンテンツに対する興味の度合いの増加が判定される。具体的には、注視位置Eとテレビ装置30の間の距離が減少と増加を繰り返した場合、コンテンツに対する興味の度合いが増加したと判定され、第1出力制御が実行される(ステップ602のYES、ステップ603のYes、ステップ604)。
この判定は、興味を有するキーワード等が耳に入った場合に、テレビ装置30の方向をちらちら見るという動作に基づいて実行される処理である。例えばコンテンツに興味を引かれながらも、PC10等により作業をしている場合に、テレビ装置30の方をちらちら見るといった動作が行われ得る。テレビ装置30が中心視野CFと重なるまで視線を動かす場合もあれば、作業中の注視位置Eを若干テレビ装置30に向けて移動させ、また戻すといった、狭い範囲での注視位置Eの移動もあり得る。このような動作を検出することで、興味の度合いの増加を高精度に検出することが可能となる。
なお注視位置Eとテレビ装置30との間の距離は、テレビ装置30の基準位置S1に基づいて算出されてもよい。あるいは縁部B1に基づいて算出されてもよい。また減少と増加の繰り返しの有無を判定するための周期等も適宜設定されてよい。
図13は、コンテンツに対する興味の度合いの増加を判定するための他の処理例を示すフローチャートである。図13に示す例では、動作検出部25により取得されたユーザ1の行動に関する情報に基づいて、ユーザ1の行動の情報量が所定の閾値以下であるか否かが判定される(ステップ702)。当該処理は、ユーザ1の行動に関する情報に基づいて、ユーザ1の動作量が所定の閾値以下であるか否かを判定することと見做すこともできる。
ユーザ1の行動の情報量が閾値以下でない場合は(ステップ702のNo)、ステップ701に戻り、第1制御量でのコンテンツの再生が継続される。ユーザ1の行動の情報量が閾値以下となる場合(ステップ702のYes)、情報量が閾値以下となったときを基準として所定時間が経過したかが判定される(ステップ703)。
所定時間が経過している場合は(ステップ703のYes)、ステップ701に戻り、第1制御量でのコンテンツの再生が継続される。所定の時間が経過していない場合(ステップ703のNo)、注視位置Eがテレビ装置30に向かって移動したか否かが判定される(ステップ704)。注視位置Eがテレビ装置30に向かって移動していない場合は(ステップ704のNo)、ステップ701に戻り、第1制御量でのコンテンツの再生が継続される。注視位置Eがテレビ装置30に向かって移動した場合は、第2制御量による第1出力制御が実行される(ステップ705)。
このように本例では、ユーザ1の行動の情報量が所定値以下となったときを基準とした所定時間以内の間に、注視位置Eがテレビ装置30に向かって移動した場合に第1出力制御が実行され、ユーザ1の行動の情報量が所定値より大きい場合は第1出力制御が実行されない。
これにより興味を有するキーワード等が耳に入ったときに作業を中断して、視線をテレビ装置30の方に向けるといったユーザ1のリアクションを高精度に検出することが可能となり、第1出力制御を精度よく実行することが可能となる。
なお図13に示す処理は、視線移動後に動作が停止するケース、及び視線移動前に動作が停止するケースの両方を検出可能である。従ってこれら両方のケースが発生した場合には、コンテンツに対する興味の度合いが増加されたとして第1出力制御が実行される。
なおステップ702の情報量に関する閾値は適宜設定されてよい。またステップ703の所定時間も任意に設定されてよく、例えば視線移動と動作の停止との間に関連性があると見做せる程度の時間が設定される。これによりコンテンツに対する興味の度合いの増加を精度よく判定することが可能となる。
図14は、コンテンツに対する興味の度合いの増加を判定するための他の処理例を示すフローチャートである。図14に示す例では、注視位置Eがテレビ装置30に向かって移動したか否かが判定される(ステップ802)。注視位置Eが移動していない場合(ステップ802のNo)、ステップ801に戻り、第1制御量でのコンテンツの再生が継続される。
注視位置Eが移動した場合(ステップ802のYes)、注視位置Eが移動中にマイク17を介して音声が取得されたか否かが判定される(ステップ803)。音声が取得されない場合は(ステップ803のNo)、ステップ801に戻り、第1制御量でのコンテンツの再生が継続される。注視位置Eの移動中に音声が取得された場合は(ステップ803のYes)、その音声が言語的音声か否かが判定される(ステップ804)。
取得された音声が言語的音声である場合は、ステップ801に戻り、第1制御量でのコンテンツの再生が継続される。音声が言語的音声でない場合は、非言語的音声が発せられたとして、第2制御量による第1出力制御が実行される(ステップ805)。
ステップ804における、取得された音声は言語的音声ではないという判定結果は、非言語的音声に関する情報に相当する。すなわちステップ804は、非言語的音声に関する情報の取得の有無の判定と見做すことができる。非言語的音声に関する情報が取得されない場合には、第1制御量でのコンテンツの再生が継続される。非言語的音声に関する情報が取得される場合には、第2制御量による第1出力制御が実行される。
上記したように、ステップ804にて、取得された音声が、音声入力用の登録言語の音声ではないという判定され場合に、非言語的音声に関する情報が取得されたとして、第2制御量による第1出力制御が実行されてもよい。
このように図14に示す例では、注視位置Eがテレビ装置30に向かって移動している間に非言語的音声に関する情報が取得された場合に第1出力制御が実行され、注視位置Eがテレビ装置30に向かって移動している間に非言語的音声に関する情報が取得されない場合には第1出力制御が実行されない。
これにより興味を有するワードが耳に入ったときに思わず「お!」「ん?」等の声をもらすといったユーザ1のリアクションを高精度に検出することが可能となり、コンテンツの内容を効率よく提供することが可能となる。
ユーザ1のコンテンツに対する興味の度合いの増加を判定するための処理は、上記したものに限定されず、任意に設定されてよい。例えば上記した各フローチャート内の各ステップが、任意に組み合わされて実行されてもよい。また各フローチャート内の各ステップが、単独で、コンテンツに対する興味の度合いの増加を判定する処理として実行されてもよい。例えば図13のステップ702の行動の情報量に関する判定ステップや、図14のステップ804の言語的音声/非言語的音声に関する判定ステップが、単独で、コンテンツに対する興味の度合いの増加を判定するための処理として実行されてもよい。その他、任意の処理が実行されてよい。
図15は、コンテンツの再生制御の他の処理例を示すフローチャートである。図15に示すように、ステップ903の第1出力制御の実行後に、コンテンツに対する興味の度合いの変化に基づいて、制御量が変更されてもよい。
例えば第1出力制御の実行後に、コンテンツに対する興味の度合いが変化したか否かが判定される(ステップ904)。興味の度合いの変化が検出されない場合は(ステップ904のNo)、ステップ901に戻り、第1制御量でのコンテンツが再生される。すなわち制御量が、第2制御量から第1制御量に戻される。
興味の度合いの変化が検出された場合(ステップ904のYes)、当該変化が増加であるか否かが判定される(ステップ905)。興味の度合いの変化が減少である場合(ステップ905のNo)、ステップ901に戻り、第1制御量にてコンテンツが再生される。興味の度合いの変化が増加である場合(ステップ905のYes)、制御量が増加され、当該増加された制御量でコンテンツの内容をユーザ1に対して提供する増加出力制御が実行される(ステップ906)。
その後、コンテンツに対する興味の度合いが減少した場合(ステップ907のYes)、ステップ901に戻り、第1制御量にてコンテンツが再生される。興味の度合いが減少しない場合(ステップ907のNo)、ユーザ1がテレビ装置30を直接注視しているか否かが判定される(ステップ908)。例えば注視位置Eがテレビ装置30内に移動した場合に、テレビ装置30が注視されていると判定される。あるいは図10に示す中心視野CFがテレビ装置30が重なった場合に、テレビ装置30が注視されていると判定されてもよい。
テレビ装置30が注視されていない場合は(ステップ908のNo)、ステップ906に戻り、増加された制御量による増加出力制御が継続される。テレビ装置30が注視されている場合には、テレビ装置30の直接制御が開始される(ステップ909)。テレビ装置30の直接制御は、典型的には、コンテンツの内容の提供とは異なる出力制御である。例えば提供するコンテンツの切替えや、テレビ装置30の再生モードの切替え、電源制御等が実行される。その他、視線による入力を利用した種々の制御が組み合わされてもよく、周知の制御が実行されてもよい。
なおステップ908に変えて、テレビ装置30を注視している注視時間が所定の閾値以上であるか否かが判定されてもよい。そして注視時間が閾値以上である場合、すなわちユーザ1が所定時間以上テレビ装置30を注視している場合に、テレビ装置30の直接制御が開始されてもよい。
図15の再生制御の具体例としては、ステップ902にて、注視位置Eが第2領域R2内から移動したかが判定され、判定の結果が肯定の場合には、第1出力制御が実行される(ステップ903)。ステップ904にて、注視位置Eがテレビ装置30に向かって移動している場合に、コンテンツの度合いが変化したと判定される。ステップ905にて、注視位置Eが第1領域R1内に移動した場合に、興味の度合いの変化は増加であると判定される。そして増加された制御量にて増加出力制御が実行される(ステップ906)。この場合、増加された制御量は第5制御量に相当し、増加出力制御は第4出力制御に相当する。第2の制御量は、第1制御量と第5制御量の間の値となる。
ステップ907にて、第1領域R1内にて注視位置Eがテレビ装置30に向かって移動している場合に、興味の度合いは減少しない(増加している)と判定される。そして注視位置Eがテレビ装置30上に移動した場合に、テレビ装置30の直接制御が開始される(ステップ909)。
このようにコンテンツに対する興味の度合いに応じてコンテンツの内容をユーザ1に対して提供する出力制御が、各々異なる制御量にて段階的に実行されてもよい。これによりユーザ1のリアクション等に応じたコンテンツの再生制御を精度よく実行することが可能となり、コンテンツの内容を効率よく提供することが可能となる。
ステップ902、904、905、及び907等の、ユーザ1のコンテンツに対する興味の度合いを判定するための具体的な処理方法は限定されず、任意に設定されてよい。例え上記で説明した各フローチャートの各ステップの処理や、これらの任意の組み合わせ等が適宜用いられてよい。
図16は、段階的な出力制御の他の処理例を示すフローチャートである。図16に示すように、第1出力制御の実行前に、第1制御量及び第2制御量の間の値である中間制御量でコンテンツの内容をユーザに対して提供する中間出力制御が実行されてもよい。
第1制御量でコンテンツが再生されている間に、ユーザ1のコンテンツに対する興味の度合いが変化したか否かが判定される(ステップ1002)。興味の度合いの変化が検出されない場合は(ステップ1002のNo)、ステップ1001に戻り、第1制御量でのコンテンツの再生が継続される。
興味の度合いの変化が検出された場合(ステップ1002のYes)、当該変化が増加であるか否かが判定される(ステップ1003)。興味の度合いの変化が減少である場合(ステップ1003のNo)、ステップ1001に戻り、第1制御量でのコンテンツの再生が継続される。興味の度合いの変化が増加である場合(ステップ1003のYes)、中間制御量による中間出力制御が実行される(ステップ1004)。
その後、コンテンツに対する興味の度合いが減少した場合(ステップ1005のYes)、ステップ1001に戻り、第1制御量でコンテンツが再生される。すなわち制御量が、中間制御量から第1制御量に戻される。興味の度合いが減少していない場合(ステップ1005のNo)、コンテンツに対する興味の度合いが増加したかが判定され、増加したと判定された場合は第2制御量よる第1出力制御が実行される(ステップ1006のYes、ステップ1007)。
第1出力制御後にコンテンツに対する興味の度合いが減少した場合(ステップ1008のYes)、ステップ1001に戻り、第1制御量でのコンテンツが再生される。すなわち制御量が、第2制御量から第1制御量に戻される。興味の度合いが減少しない場合(ステップ1008のNo)、ユーザ1がテレビ装置30を直接注視しているか否かが判定される(ステップ1009)。テレビ装置30が注視されている場合には(ステップ1009のYes)、テレビ装置30の直接制御が開始される(ステップ1010)。
例えばユーザ1の行動の情報量が所定値より大きい状態で注視位置Eがテレビ装置30に向かって移動した場合、中間制御量による中間出力制御が実行される。この場合、中間制御量は第3制御量に相当し、中間出力制御は第2出力制御に相当する。
そして注視位置Eの移動が継続されている状態で、ユーザ1の行動の情報量が所定値以下となった場合に、さらにコンテンツに対する興味の度合いが増加したとして、第2制御量による第1出力制御が実行される。このような段階的な出力制御により、視線のみが移動した場合にまず中間出力制御が実行され、ユーザ1の動作の停止にともなって第1出力制御が実行可能となる。この結果、コンテンツの内容を効率的に提供すること可能となる。
また例えば、注視位置Eがテレビ装置30に向かって移動している間に非言語的音声に関する情報が取得されていない場合、中間制御量による中間出力制御が実行される。この場合、中間制御量は第4制御量に相当し、中間出力制御は第3出力制御に相当する。なお第4制御量は上記の第3制御量と同じ値であってもよいし、異なる値であってもよい。
そして注視位置Eの移動が継続されている状態で、非源語的音声に関する情報が取得された場合に、さらにコンテンツに対する興味の度合いが増加したとして、第2制御量による第1出力制御が実行される。このような段階的な出力制御により、視線のみが移動した場合にまず中間出力制御が実行され、「お!」「ん?」等の非言語的音声のリアクションにともなって第1出力制御が実行可能となる。この結果、コンテンツの内容を効率的に提供すること可能となる。
ステップ1002、1003、1005、1006及び1007等の、ユーザ1のコンテンツに対する興味の度合いを判定するための具体的な処理方法は限定されず、任意に設定されてよい。例え上記で説明した各フローチャートの各ステップの処理や、これらの任意の組み合わせ等が適宜用いられてよい。
例えばユーザ1の音声及び動作を同時に判定して、複数のモーダルで興味の度合いが複数段階で判定されてもよい。もちろん複数のモーダルをディープラーニング等により解析し、ユーザ1の意図推定に用いられる各モーダルの重み付けが適宜制御/変更されてもよい。
図17は、ユーザ1のコンテンツに対する興味の度合いの増加に応じて実行される第1出力制御の他の例を説明するための図である。例えばユーザ1の視界内にある表示部を制御することで、第1出力制御が実行されてもよい。図17に示す例では、音源として機能するテレビ装置30の表示部31が制御されるが、音源として機能するデバイスとは異なる表示デバイスが、表示部として制御されてもよい。
図17に示すように、例えばテレビ装置30からコンテンツの内容としてキーワードが再生されている場合に、「お台場」というキーワードに対するユーザ1の反応が検出されたとする。この場合、お台場で行われるイベント等の、「お台場」に関するコンテンツの見出し50が表示される。これによりユーザ1は、興味のあるキーワードに関するコンテンツの内容を詳細に把握することが可能となる。
またコンテンツの内容の再生履歴の少なくとも一部が表示するように、表示部を制御することで、第1出力制御が実行されてもよい。例えばユーザ1の反応が検出されたキーワードやタイミング等に応じて、表示対象となる再生履歴が選択され、表示部に表示される。これにより過去に再生されたコンテンツの内容を把握することが可能となる。なお再生履歴として、過去に再生された内容がそのまま再生されてもよいし、要約が再生されてもよい。
その他、表示部の具体的な制御方法は限定されず、コンテンツの詳細等をユーザ1に提供可能な任意の制御が実行されてよい。例えば図17に示すように、コンテンツの内容に関連する表示が、ユーザ1の注視位置Eにて行われるように、表示部31が制御されてもよい。これによりコンテンツに関する情報を自然に注視することが可能となる。
以上、本実施形態に係るコンテンツ提供システムでは、ユーザ1の注視位置Eに関する情報、コンテンツを再生するテレビ装置30の位置情報、及びユーザ1に注視されているPC10の位置情報がそれぞれ取得される。そしてPC10内にある注視位置Eがテレビ装置30に向かって移動した場合、第2制御量による第1出力制御が実行される。これにより例えばユーザ1のリアクション等に応じた再生制御が可能となり、コンテンツの内容を効率よく提供することが可能となる。
作業中である場合等では、例えばグループが構成されて会話が始まった旨の視覚的な通知がPC10等の表示部13に表示されたとしても、当該通知に気付かない場合が多い。一方で、会話等の開始に応じて、その会話の内容を全て通知しようとすると、その時にユーザ1にとって興味がひかれるものであるかどうかが分からない。従ってユーザ1にとって煩わしいものとなり、作業を邪魔してしまう場合も考えられる。
本実施形態では、例えばユーザ1の作業を邪魔しない程度であり、カクテルパーティ効果により興味のあるキーワード等を拾える程度の第1制御量にて、コンテンツが再生される。そしてユーザ1のコンテンツに対する興味の度合いの増加に応じて、制御量が増加された第2の制御量による第1出力制御が実行される。これによりユーザ1が興味をもつコンテンツの内容の詳細等を、適当なタイミングでユーザ1に提供することが可能となる。またユーザ1にとっても、自分が興味をもつ内容が会話されているタイミングでグループの会話に参加することが可能となり、コミュニケーションを楽しむことが可能となる。
また図15及び図16に示すように、異なる制御量による段階的な出力制御が可能であるので、例えば一度ユーザ1がコンテンツに対して反応した後に、再び作業に戻るといった場合に、制御量を小さい値に戻すといった柔軟な処理が可能である。
なおグループによる会話に限定されず、チャットでの会話、メールの自動読み上げ、ニュースの自動読み上げ、再生中の動画の音声等、任意のコンテンツに対して、本技術は適用可能である。
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
図18及び図19は、本技術に係る情報処理装置として使用可能なヘッドマウントディスプレイ(HMD)の構成例を示す斜視図である。
図18に示すHMD200は、透過型のディスプレイを備えたメガネ型の装置であり、ユーザ1の頭部に装着されて使用される。HMD200は、左右のレンズ201L及び201R、左眼用ディスプレイ202L及び右眼用ディスプレイ202R、左眼用カメラ203L及び右眼用カメラ203R、及びセンサ部204を有する。
左右のレンズ201L及び201Rは、ユーザの左眼及び右眼の前方にそれぞれ配置される。左眼用及び右眼用ディスプレイ202L及び202Rは、ユーザ1の視野を覆うように、左右のレンズ201L及び201Rにそれぞれ設けられる。
左眼用及び右眼用ディスプレイ202L及び202Rは、透過型のディスプレイであり、左眼及び右眼用の画像等がそれぞれ表示される。HMD200を装着するユーザ1は、現実の景色を視認すると同時に、各ディスプレイに表示される画像を視認することが可能となる。これにより、ユーザは拡張現実感(AR)等を体験することが可能となる。
なお、左眼用及び右眼用ディスプレイ202L及び202Rの外側(ユーザ1の眼とは反対の側)に、調光素子(図示省略)等が設けられてもよい。調光素子は、当該素子を透過する光の量を調節可能な素子である。調光素子を設けることで、例えば各ディスプレイを透過してユーザに視認される現実の景色を規制し、各ディスプレイに表示される画像を強調してユーザに視認させることが可能である。これにより、ユーザは仮想現実(VR)等を体験することが可能となる。
左眼用及び右眼用ディスプレイ202L及び202Rとしては、例えば透過型の有機ELディスプレイやLCD(Liquid Crystal Display、液晶表示素子)ディスプレイ等が用いられる。また調光素子としては、例えば透過率を電気的に制御可能な調光ガラス、調光シート、及び液晶シャッター等が用いられる。
左眼用及び右眼用カメラ203L及び203Rは、ユーザの左眼及び右眼を撮像可能な任意の位置に設けられる。例えば左眼用及び右眼用カメラ203L及び203Rにより撮影された左眼及び右眼の画像に基づいて、視線方向等の注視位置Eに関する情報が取得される。
左眼用及び右眼用カメラ203L及び203Rとしては、例えばCMOS(Complementary Metal-Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサ等のイメージセンサを備えるデジタルカメラが用いられる。また、例えば赤外線LED等の赤外線照明を搭載した赤外線カメラが用いられてもよい。
センサ部204は、例えば加速度センサ、ジャイロセンサ及び地磁気センサ(9軸センサ)等を含み、ユーザ1の動きや姿勢(走行、歩行、停止等)を含む、上記したユーザ1の行動に関する情報を取得する。センサ部204により検出されるユーザ1の頭(顔)の向きに基づいて視線方向等の注視位置Eに関する情報が取得されてもよい。その他、センサ部204として、心拍センサ、発汗センサ、温度(体温)センサ、脳波センサ等の、ユーザ1の生体情報を取得可能なセンサが備えられてもよい。そしてユーザ1の生体情報の変化等に基づいて、ユーザ1のコンテンツに対する興味の度合いの増加等が検出されてもよい。
図19Aは、HMD300の外観を模式的に示す斜視図である。図19Bは、HMD300を分解した様子を模式的に示す斜視図である。HMD300は、ユーザ1の頭部に装着されるマウント部301と、ユーザ1の両眼の前方に配置されるディスプレイユニット302と、ディスプレイユニット302を覆うように構成されるカバー部303とを含む。HMD300は、ユーザの視野を覆うように構成された没入型のヘッドマウントディスプレイであり、仮想現実(VR)用のHMDとして用いられる。
図1に例示するPC10に代えて、図18及び図19に例示するHMD200及び300により、本技術に係るコンテンツ提供システムが実現されてもよい。例えばHMD200を装着し、音源として機能するテレビ装置30を含むAR空間内にて、ユーザ1のコンテンツに対する興味の度合いの増加等に応じたコンテンツの出力制御が実行されてもよい。またHMD300を装着することで体験可能なVR空間内にて、ユーザ1のコンテンツに対する興味の度合いの増加等に応じたコンテンツの出力制御が実行されてもよい。この場合、VR空間内にコンテンツを再生する音源が設けられ、HMD300に備えられたスピーカ等により、コンテンツが再生される。すなわち本技術において「ユーザがいる空間」とは、実空間及び仮想空間の両方を含む。
図20は、第1出力制御としての表示部の制御例について説明するための図である。例えばHMD200や300等が装着される場合には、コンテンツの内容に関連する表示を、AR空間やVR空間内において、自由に制御することが可能である。例えば図20に示すように、コンテンツの内容の見出し50等を、注視位置Eとテレビ装置30との間に配置することも可能である。すなわちユーザ1の視線に合わせてコンテンツに関連する表示を移動させることが可能であり、視線の先、または視線が移動する先に表示することも可能である。これによりコンテンツに関する情報を自然に注視することが可能となる。
第1制御量によりコンテンツの再生方法として、複数のコンテンツが同じタイミングで再生されてもよい。例えば複数のグループによる各々の会話が同じタイミングで再生される。この場合、各グループの会話が区別しやすいように、所定の時間で区切って、各グループの会話を順番に再生してもよい。例えばグループA〜Dの各々が存在する場合に、2分ごとにグループAからDまで順番に会話を再生する等である。
例えばマルチチャンネル再生等が可能な音源が用いられる場合には、複数のコンテンツの各々が、互いに異なるチャンネルから再生されてもよい。また複数のコンテンツの各々が、音量、音質、定位等が異なるように再生されてもよい。これにより複数のコンテンツの内容を、効率よくユーザ1に提供することが可能となる。
第1制御量によるコンテンツの再生、第2制御量による第1出力制御、中間制御量による中間出力制御、増加された制御量による増加出力制御として、任意の出力制御が適宜設定されてよい。
上記ではユーザ1により操作されるPC10、HMD200及び300等のコンピュータにより、本技術に係る情報処理方法が実行される場合を説明した。しかしながらユーザ1が操作するコンピュータとネットワーク等を介して通信可能な他のコンピュータとにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。またユーザ1が操作するコンピュータと、他のコンピュータとが連動して、本技術に係るコンテンツ提供システムが構築されてもよい。
すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えばユーザ情報の取得、各位置情報の取得、各制御量によるコンテンツの出力制御等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
すなわち本技術に係る情報処理方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
なお、本技術は以下のような構成も採ることができる。
(1)ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得するユーザ情報取得部と、
前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得するオブジェクト情報取得部と、
前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行う出力制御部と
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
前記オブジェクト情報取得部は、前記空間に存在する前記音源とは異なる第2オブジェクトに関する位置情報を取得し、
前記出力制御部は、前記注視位置が前記音源ではなくむしろ前記第2オブジェクトに向かって移動している場合、前記第1出力制御を行わない
情報処理装置。
(3)(1)又は(2)に記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記音源に向かって移動しつつ前記第1オブジェクトの外に前記注視位置が移動した場合に前記第1出力制御を行い、前記注視位置が前記音源に向かって移動しつつ前記第1オブジェクト内に前記注視位置が留まった場合は前記第1出力制御を行わない
情報処理装置。
(4)(1)から(3)のうちいずれか1つに記載の情報処理装置であって、
前記出力制御部は、前記注視位置が、前記音源を囲む第1領域の外側にある第2領域内から前記音源に向かって移動した場合、前記第1出力制御を行う
情報処理装置。
(5)(4)に記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記第2領域内に位置するとき前記注視位置と前記音源の間の距離が減少と増加を繰り返した場合、前記第1出力制御を行う
情報処理装置。
(6)(4)又は(5)に記載の情報処理装置であって、
前記ユーザの視点を基準として、前記音源を囲む第1領域の幅が、前記ユーザの中心視野の半径の2分の1以上である
情報処理装置。
(7)(1)から(6)のうちいずれか1つに記載の情報処理装置であって、
前記ユーザ情報取得部は、前記注視位置に関する情報とは異なる前記ユーザの行動に関する情報を取得し、
前記出力制御部は、前記ユーザの行動の情報量が所定値以下となったときを基準とした所定時間以内の間に、前記注視位置が前記音源に向かって移動した場合に前記第1出力制御を行い、前記ユーザの行動の情報量が所定値より大きい場合は前記第1出力制御を行わない
情報処理装置。
(8)(7)に記載の情報処理装置であって、
前記出力制御部は、前記ユーザの行動の情報量が所定値より大きい状態で前記注視位置が前記音源に向かって移動した場合、前記第1制御量及び前記第2制御量の間の値である第3制御量で前記コンテンツの内容を前記ユーザに対して提供する第2出力制御を行う
情報処理装置。
(9)(1)から(8)のうちいずれか1つに記載の情報処理装置であって、
前記ユーザ情報取得部は、前記ユーザの音声に関する情報を取得し、
前記出力制御部は、前記注視位置が前記音源に向かって移動している間に前記ユーザ情報取得部が前記ユーザの非言語的音声に関する情報を取得した場合に前記第1出力制御を行い、前記注視位置が前記音源に向かって移動している間に前記ユーザ情報取得部が前記ユーザの非言語的音声に関する情報を取得していない場合は前記第1出力制御を行わない
情報処理装置。
(10)(9)に記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記音源に向かって移動している間に前記ユーザ情報取得部が前記ユーザの非言語的音声に関する情報を取得していない場合、前記第1制御量及び前記第2制御量の間の値である第4制御量で前記コンテンツの内容を前記ユーザに対して提供する第3出力制御を行う
情報処理装置。
(11)(1)から(10)のうちいずれか1つに記載の情報処理装置であって、
前記出力制御部は、前記音源を制御することで前記第1出力制御を行う
情報処理装置。
(12)(11)に記載の情報処理装置であって、
前記第1制御量及び前記第2制御量は、少なくとも前記音源の音量に関連し、
前記出力制御部は、前記音源の音量を増加させることで前記第1出力制御を行う
情報処理装置。
(13)(11)又は(12)に記載の情報処理装置であって、
前記第1制御量及び前記第2制御量は、少なくとも前記再生されるコンテンツの内容の情報量に関連する
情報処理装置。
(14)(13)に記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記音源に向かって移動する直前に再生されていた前記コンテンツの内容の少なくとも一部を再生することで前記第1出力制御を行う
情報処理装置。
(15)(13)又は(14)に記載の情報処理装置であって、
前記出力制御部は、前記音源が前記コンテンツの内容からキーワードを抽出して再生している場合、再生するキーワード量を増加させることで前記第1出力制御を行う
情報処理装置。
(16)(1)から(15)のうちいずれか1つに記載の情報処理装置であって、
前記出力制御部は、前記ユーザの視界内にある表示部を制御することで前記第1出力制御を行う
情報処理装置。
(17)(16)に記載の情報処理装置であって、
前記出力制御部は、前記コンテンツの内容の再生履歴の少なくとも一部を表示するよう前記表示部を制御することで前記第1出力制御を行う
情報処理装置。
(18)(16)又は(17)に記載の情報処理装置であって、
前記出力制御部は、再生中の前記コンテンツの内容の見出しを表示するよう前記表示部を制御することで前記第1出力制御を行う
情報処理装置。
(19)
ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得し、
前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得し、
前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行う
ことをコンピュータシステムが実行する情報処理方法。
(20)
ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得するステップと、
前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得するステップと、
前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行うステップと
をコンピュータシステムに実行させるプログラム。
(21)(1)から(18)のうちいずれか1つに記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記音源に向かって移動した直後に前記注視位置が実質的に停留した場合に前記第1出力制御を行い、前記注視位置が前記音源に向かって移動を継続している間は前記第1出力制御を行わない
情報処理装置。
(22)(4)から(6)のうちいずれか1つに記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記第1領域内に移動した場合、前記第1制御量及び前記第2制御量とは異なる第5制御量で前記コンテンツの内容を前記ユーザに対して提供する第4出力制御を行い、
前記第2制御量は、前記第1制御量と前記第5制御量の間の値である
情報処理装置。
(23)(4)から(7)のうちいずれか1つに記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記音源上に移動した場合、前記コンテンツの内容の提供とは異なる出力制御を行う
情報処理装置。
(24)(1)から(18)のうちいずれか1つに記載の情報処理装置であって、
前記第1制御量及び前記第2制御量は、前記コンテンツの内容の再生速度に関連し、
前記出力制御部は、前記コンテンツの内容の再生速度を減少させることで前記第1出力制御を行う
情報処理装置。
(25)(13)から(15)のうちいずれか1つに記載の情報処理装置であって、
前記出力制御部は、前記音源が前記コンテンツの内容の要約を再生している場合、前記要約よりも詳細な前記コンテンツの内容を再生することで前記第1出力制御を行う
情報処理装置。
(26)(16)から(18)のうちいずれか1つに記載の情報処理装置であって、
前記出力制御部は、前記コンテンツの内容に関連する表示を前記注視位置又は前記注視位置と前記音源との間に配置するよう前記表示部を制御することで前記第1出力制御を行う
情報処理装置。
注視位置…E
R1…第1領域
R2…第2領域
2…空間
10…PC
21…コンテンツ分析部
22…出力音声制御部
23…音源制御部
24…視線検出部
25…動作検出部
26…音声判定部
30…テレビ装置
31…表示部
32…スピーカ
40…時計
100…コンテンツ提供システム
200、300…HMD

Claims (20)

  1. ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得するユーザ情報取得部と、
    前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得するオブジェクト情報取得部と、
    前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行う出力制御部と
    を具備する情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記オブジェクト情報取得部は、前記空間に存在する前記音源とは異なる第2オブジェクトに関する位置情報を取得し、
    前記出力制御部は、前記注視位置が前記音源ではなくむしろ前記第2オブジェクトに向かって移動している場合、前記第1出力制御を行わない
    情報処理装置。
  3. 請求項1に記載の情報処理装置であって、
    前記出力制御部は、前記注視位置が前記音源に向かって移動しつつ前記第1オブジェクトの外に前記注視位置が移動した場合に前記第1出力制御を行い、前記注視位置が前記音源に向かって移動しつつ前記第1オブジェクト内に前記注視位置が留まった場合は前記第1出力制御を行わない
    情報処理装置。
  4. 請求項1に記載の情報処理装置であって、
    前記出力制御部は、前記注視位置が、前記音源を囲む第1領域の外側にある第2領域内から前記音源に向かって移動した場合、前記第1出力制御を行う
    情報処理装置。
  5. 請求項4に記載の情報処理装置であって、
    前記出力制御部は、前記注視位置が前記第2領域内に位置するとき前記注視位置と前記音源の間の距離が減少と増加を繰り返した場合、前記第1出力制御を行う
    情報処理装置。
  6. 請求項4に記載の情報処理装置であって、
    前記ユーザの視点を基準として、前記音源を囲む第1領域の幅が、前記ユーザの中心視野の半径の2分の1以上である
    情報処理装置。
  7. 請求項1に記載の情報処理装置であって、
    前記ユーザ情報取得部は、前記注視位置に関する情報とは異なる前記ユーザの行動に関する情報を取得し、
    前記出力制御部は、前記ユーザの行動の情報量が所定値以下となったときを基準とした所定時間以内の間に、前記注視位置が前記音源に向かって移動した場合に前記第1出力制御を行い、前記ユーザの行動の情報量が所定値より大きい場合は前記第1出力制御を行わない
    情報処理装置。
  8. 請求項7に記載の情報処理装置であって、
    前記出力制御部は、前記ユーザの行動の情報量が所定値より大きい状態で前記注視位置が前記音源に向かって移動した場合、前記第1制御量及び前記第2制御量の間の値である第3制御量で前記コンテンツの内容を前記ユーザに対して提供する第2出力制御を行う
    情報処理装置。
  9. 請求項1に記載の情報処理装置であって、
    前記ユーザ情報取得部は、前記ユーザの音声に関する情報を取得し、
    前記出力制御部は、前記注視位置が前記音源に向かって移動している間に前記ユーザ情報取得部が前記ユーザの非言語的音声に関する情報を取得した場合に前記第1出力制御を行い、前記注視位置が前記音源に向かって移動している間に前記ユーザ情報取得部が前記ユーザの非言語的音声に関する情報を取得していない場合は前記第1出力制御を行わない
    情報処理装置。
  10. 請求項9に記載の情報処理装置であって、
    前記出力制御部は、前記注視位置が前記音源に向かって移動している間に前記ユーザ情報取得部が前記ユーザの非言語的音声に関する情報を取得していない場合、前記第1制御量及び前記第2制御量の間の値である第4制御量で前記コンテンツの内容を前記ユーザに対して提供する第3出力制御を行う
    情報処理装置。
  11. 請求項1に記載の情報処理装置であって、
    前記出力制御部は、前記音源を制御することで前記第1出力制御を行う
    情報処理装置。
  12. 請求項11に記載の情報処理装置であって、
    前記第1制御量及び前記第2制御量は、少なくとも前記音源の音量に関連し、
    前記出力制御部は、前記音源の音量を増加させることで前記第1出力制御を行う
    情報処理装置。
  13. 請求項11に記載の情報処理装置であって、
    前記第1制御量及び前記第2制御量は、少なくとも前記再生されるコンテンツの内容の情報量に関連する
    情報処理装置。
  14. 請求項13に記載の情報処理装置であって、
    前記出力制御部は、前記注視位置が前記音源に向かって移動する直前に再生されていた前記コンテンツの内容の少なくとも一部を再生することで前記第1出力制御を行う
    情報処理装置。
  15. 請求項13に記載の情報処理装置であって、
    前記出力制御部は、前記音源が前記コンテンツの内容からキーワードを抽出して再生している場合、再生するキーワード量を増加させることで前記第1出力制御を行う
    情報処理装置。
  16. 請求項1に記載の情報処理装置であって、
    前記出力制御部は、前記ユーザの視界内にある表示部を制御することで前記第1出力制御を行う
    情報処理装置。
  17. 請求項16に記載の情報処理装置であって、
    前記出力制御部は、前記コンテンツの内容の再生履歴の少なくとも一部を表示するよう前記表示部を制御することで前記第1出力制御を行う
    情報処理装置。
  18. 請求項16に記載の情報処理装置であって、
    前記出力制御部は、再生中の前記コンテンツの内容の見出しを表示するよう前記表示部を制御することで前記第1出力制御を行う
    情報処理装置。
  19. ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得し、
    前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得し、
    前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行う
    ことをコンピュータシステムが実行する情報処理方法。
  20. ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得するステップと、
    前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得するステップと、
    前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行うステップと
    をコンピュータシステムに実行させるプログラム。
JP2019501119A 2017-02-27 2018-01-19 情報処理装置、情報処理方法、及びプログラム Active JP7092108B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017034588 2017-02-27
JP2017034588 2017-02-27
PCT/JP2018/001535 WO2018155026A1 (ja) 2017-02-27 2018-01-19 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018155026A1 true JPWO2018155026A1 (ja) 2019-12-19
JP7092108B2 JP7092108B2 (ja) 2022-06-28

Family

ID=63252565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019501119A Active JP7092108B2 (ja) 2017-02-27 2018-01-19 情報処理装置、情報処理方法、及びプログラム

Country Status (6)

Country Link
US (1) US11205426B2 (ja)
EP (1) EP3588494B1 (ja)
JP (1) JP7092108B2 (ja)
KR (1) KR20190121758A (ja)
CN (1) CN110326300B (ja)
WO (1) WO2018155026A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11205426B2 (en) * 2017-02-27 2021-12-21 Sony Corporation Information processing device, information processing method, and program
WO2019133698A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for personalizing dialogue based on user's appearances
WO2019133689A1 (en) 2017-12-29 2019-07-04 DMAI, Inc. System and method for selective animatronic peripheral response for human machine dialogue
WO2019133694A1 (en) 2017-12-29 2019-07-04 DMAI, Inc. System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs
WO2019160613A1 (en) 2018-02-15 2019-08-22 DMAI, Inc. System and method for dynamic program configuration
JP7010073B2 (ja) * 2018-03-12 2022-01-26 株式会社Jvcケンウッド 出力内容制御装置、出力内容制御方法、及び出力内容制御プログラム
KR102661340B1 (ko) * 2018-09-21 2024-04-30 삼성전자주식회사 전자 장치 및 이의 제어 방법
US10770059B2 (en) * 2019-01-29 2020-09-08 Gridspace Inc. Conversational speech agent
JP7484377B2 (ja) 2020-04-22 2024-05-16 富士フイルムビジネスイノベーション株式会社 情報処理装置およびプログラム
US11990064B2 (en) * 2020-09-07 2024-05-21 Sony Group Corporation Display processing device, display processing method, storage medium, and information processing device
CN112489683A (zh) * 2020-11-24 2021-03-12 广州市久邦数码科技有限公司 基于关键词语定位实现音频快进快退的方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217444A (ja) * 2007-03-05 2008-09-18 Toshiba Corp 利用者と対話する装置、方法およびプログラム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4973149A (en) * 1987-08-19 1990-11-27 Center For Innovative Technology Eye movement detector
US5333029A (en) * 1990-10-12 1994-07-26 Nikon Corporation Camera capable of detecting eye-gaze
US5517021A (en) * 1993-01-19 1996-05-14 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5835083A (en) * 1996-05-30 1998-11-10 Sun Microsystems, Inc. Eyetrack-driven illumination and information display
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
WO2005018097A2 (en) * 2003-08-18 2005-02-24 Nice Systems Ltd. Apparatus and method for audio content analysis, marking and summing
US8145482B2 (en) * 2008-05-25 2012-03-27 Ezra Daya Enhancing analysis of test key phrases from acoustic sources with key phrase training models
US20100074460A1 (en) * 2008-09-25 2010-03-25 Lucent Technologies Inc. Self-steering directional hearing aid and method of operation thereof
JP5772069B2 (ja) * 2011-03-04 2015-09-02 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US9286711B2 (en) * 2011-09-30 2016-03-15 Microsoft Technology Licensing, Llc Representing a location at a previous time period using an augmented reality display
JP2013101248A (ja) 2011-11-09 2013-05-23 Sony Corp 音声制御装置、音声制御方法、およびプログラム
US9517776B2 (en) * 2011-12-29 2016-12-13 Intel Corporation Systems, methods, and apparatus for controlling devices based on a detected gaze
US10394320B2 (en) * 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US10488919B2 (en) * 2012-01-04 2019-11-26 Tobii Ab System for gaze interaction
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
US9423870B2 (en) * 2012-05-08 2016-08-23 Google Inc. Input determination method
US10134401B2 (en) * 2012-11-21 2018-11-20 Verint Systems Ltd. Diarization using linguistic labeling
US9661230B2 (en) * 2013-07-05 2017-05-23 Lg Electronics Inc. Image display apparatus and method of operating the image display apparatus
EP3036620B1 (en) * 2013-08-23 2017-03-29 Tobii AB Systems and methods for providing audio to a user based on gaze input
CN105899337B (zh) * 2013-11-06 2019-05-03 皇家飞利浦有限公司 用于处理身体部分的系统和方法
EP3074923A4 (en) * 2013-11-27 2017-07-05 Shenzhen Huiding Technology Co., Ltd. Eye tracking and user reaction detection
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US20160011657A1 (en) * 2014-07-14 2016-01-14 Futurewei Technologies, Inc. System and Method for Display Enhancement
US20160080874A1 (en) * 2014-09-16 2016-03-17 Scott Fullam Gaze-based audio direction
US20180004288A1 (en) * 2015-01-29 2018-01-04 Kyocera Corporation Electronic device
US10248194B2 (en) * 2015-05-01 2019-04-02 Massachusetts Institute Of Technology Methods and apparatus for retinal retroreflection imaging
US11269403B2 (en) * 2015-05-04 2022-03-08 Disney Enterprises, Inc. Adaptive multi-window configuration based upon gaze tracking
WO2017024118A1 (en) * 2015-08-04 2017-02-09 Google Inc. Hover behavior for gaze interactions in virtual reality
WO2017068634A1 (ja) * 2015-10-19 2017-04-27 富士通株式会社 作業支援システム、作業支援方法および作業支援プログラム
US9451210B1 (en) * 2015-12-10 2016-09-20 Google Inc. Directing communications using gaze interaction
US9906885B2 (en) * 2016-07-15 2018-02-27 Qualcomm Incorporated Methods and systems for inserting virtual sounds into an environment
US10638250B2 (en) * 2016-09-23 2020-04-28 Apple Inc. Systems and methods for determining estimated head orientation and position with ear pieces
US11205426B2 (en) * 2017-02-27 2021-12-21 Sony Corporation Information processing device, information processing method, and program
US20180032612A1 (en) * 2017-09-12 2018-02-01 Secrom LLC Audio-aided data collection and retrieval
JP2023512877A (ja) * 2020-02-06 2023-03-30 バルブ コーポレーション 空間変動偏光子を使用した視野ベースの光学補正

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008217444A (ja) * 2007-03-05 2008-09-18 Toshiba Corp 利用者と対話する装置、方法およびプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
米澤 朋子、外3名: "ユーザ視線に応じた看板案内ぬいぐるみインタラクション", 電子情報通信学会技術研究報告, vol. 107, no. 552, JPN6018012366, 15 March 2008 (2008-03-15), JP, pages 53 - 58, ISSN: 0004661852 *
駒木 亮伯、外3名: "顔の移動軌跡に基づくサービス制御機構", 情報処理学会研究報告, vol. 2006, no. 14, JPN6018012367, 17 February 2006 (2006-02-17), JP, pages 103 - 108, ISSN: 0004661853 *

Also Published As

Publication number Publication date
WO2018155026A1 (ja) 2018-08-30
EP3588494B1 (en) 2024-04-03
JP7092108B2 (ja) 2022-06-28
KR20190121758A (ko) 2019-10-28
US20200013401A1 (en) 2020-01-09
EP3588494A1 (en) 2020-01-01
CN110326300B (zh) 2021-12-21
EP3588494A4 (en) 2020-03-18
US11205426B2 (en) 2021-12-21
CN110326300A (zh) 2019-10-11

Similar Documents

Publication Publication Date Title
JP7092108B2 (ja) 情報処理装置、情報処理方法、及びプログラム
EP3616050B1 (en) Apparatus and method for voice command context
US11150738B2 (en) Wearable glasses and method of providing content using the same
EP3465680B1 (en) Automatic audio attenuation on immersive display devices
US20170277257A1 (en) Gaze-based sound selection
CN110874129A (zh) 显示系统
US11320655B2 (en) Graphic interface for real-time vision enhancement
US11209900B2 (en) Information processing device and information processing method
US10841534B2 (en) Real-world awareness for virtual reality
US11487354B2 (en) Information processing apparatus, information processing method, and program
US11836282B2 (en) Method and device for surfacing physical environment interactions during simulated reality sessions
US20170163866A1 (en) Input System
WO2019130992A1 (ja) 情報処理装置
US20240168548A1 (en) Dynamic content presentation for extended reality systems
WO2023058451A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2023058393A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN116997886A (zh) 扩展现实中的数字助理交互

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220131

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220530

R151 Written notification of patent or utility model registration

Ref document number: 7092108

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151