JPWO2018155026A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JPWO2018155026A1 JPWO2018155026A1 JP2019501119A JP2019501119A JPWO2018155026A1 JP WO2018155026 A1 JPWO2018155026 A1 JP WO2018155026A1 JP 2019501119 A JP2019501119 A JP 2019501119A JP 2019501119 A JP2019501119 A JP 2019501119A JP WO2018155026 A1 JPWO2018155026 A1 JP WO2018155026A1
- Authority
- JP
- Japan
- Prior art keywords
- user
- content
- information
- output control
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 101
- 238000003672 processing method Methods 0.000 title claims description 15
- 230000000007 visual effect Effects 0.000 claims description 25
- 230000001755 vocal effect Effects 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 11
- 230000007423 decrease Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 27
- 230000033001 locomotion Effects 0.000 description 41
- 238000000034 method Methods 0.000 description 38
- 230000008569 process Effects 0.000 description 28
- 230000006399 behavior Effects 0.000 description 22
- 238000004891 communication Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 12
- 210000001508 eye Anatomy 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
前記ユーザ情報取得部は、ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得する。
オブジェクト情報取得部は、前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得する。
出力制御部は、前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行う。
前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とが取得される。
前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御が行われる。
ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得するステップ。
前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得するステップ。
前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行うステップ。
図1は、本技術の一実施形態に係るコンテンツ提供システムの構成例を示す模式図である。図2は、本実施形態に係る情報処理装置として機能するPC(Personal Computer)の機能的な構成例を示すブロック図である。
本実施形態では、PC10により、ユーザ1に関する種々のユーザ情報が取得される。例えばユーザ情報として、ユーザ1の注視位置Eに関する情報が含まれる。注視位置Eに関する情報とは、ユーザ1の注視位置Eを検出又は推定することが可能な情報であり、典型的には、ユーザ1の視線方向の情報である。もちろん視線方向の情報に限定されず、他の情報が注視位置Eに関する情報として取得されてよい。また注視位置E自体の情報が、注視位置Eに関する情報として取得されてもよい。
また本実施形態では、PC10により、オブジェクト情報が取得される。オブジェクト情報は、ユーザ1が位置する空間2に存在するテレビ装置30に関する位置情報、第1オブジェクトであるPC10に関する位置情報、及び空間2に存在する音源とは異なる第2オブジェクトに関する位置情報を含む。
コンテンツの内容をユーザ1に対して提供する出力制御について説明する。本実施形態では、コンテンツ分析部21、出力音声制御部22、及び音源制御部23により、出力制御部が実現され、コンテンツの出力制御が実行される。
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
(1)ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得するユーザ情報取得部と、
前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得するオブジェクト情報取得部と、
前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行う出力制御部と
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
前記オブジェクト情報取得部は、前記空間に存在する前記音源とは異なる第2オブジェクトに関する位置情報を取得し、
前記出力制御部は、前記注視位置が前記音源ではなくむしろ前記第2オブジェクトに向かって移動している場合、前記第1出力制御を行わない
情報処理装置。
(3)(1)又は(2)に記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記音源に向かって移動しつつ前記第1オブジェクトの外に前記注視位置が移動した場合に前記第1出力制御を行い、前記注視位置が前記音源に向かって移動しつつ前記第1オブジェクト内に前記注視位置が留まった場合は前記第1出力制御を行わない
情報処理装置。
(4)(1)から(3)のうちいずれか1つに記載の情報処理装置であって、
前記出力制御部は、前記注視位置が、前記音源を囲む第1領域の外側にある第2領域内から前記音源に向かって移動した場合、前記第1出力制御を行う
情報処理装置。
(5)(4)に記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記第2領域内に位置するとき前記注視位置と前記音源の間の距離が減少と増加を繰り返した場合、前記第1出力制御を行う
情報処理装置。
(6)(4)又は(5)に記載の情報処理装置であって、
前記ユーザの視点を基準として、前記音源を囲む第1領域の幅が、前記ユーザの中心視野の半径の2分の1以上である
情報処理装置。
(7)(1)から(6)のうちいずれか1つに記載の情報処理装置であって、
前記ユーザ情報取得部は、前記注視位置に関する情報とは異なる前記ユーザの行動に関する情報を取得し、
前記出力制御部は、前記ユーザの行動の情報量が所定値以下となったときを基準とした所定時間以内の間に、前記注視位置が前記音源に向かって移動した場合に前記第1出力制御を行い、前記ユーザの行動の情報量が所定値より大きい場合は前記第1出力制御を行わない
情報処理装置。
(8)(7)に記載の情報処理装置であって、
前記出力制御部は、前記ユーザの行動の情報量が所定値より大きい状態で前記注視位置が前記音源に向かって移動した場合、前記第1制御量及び前記第2制御量の間の値である第3制御量で前記コンテンツの内容を前記ユーザに対して提供する第2出力制御を行う
情報処理装置。
(9)(1)から(8)のうちいずれか1つに記載の情報処理装置であって、
前記ユーザ情報取得部は、前記ユーザの音声に関する情報を取得し、
前記出力制御部は、前記注視位置が前記音源に向かって移動している間に前記ユーザ情報取得部が前記ユーザの非言語的音声に関する情報を取得した場合に前記第1出力制御を行い、前記注視位置が前記音源に向かって移動している間に前記ユーザ情報取得部が前記ユーザの非言語的音声に関する情報を取得していない場合は前記第1出力制御を行わない
情報処理装置。
(10)(9)に記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記音源に向かって移動している間に前記ユーザ情報取得部が前記ユーザの非言語的音声に関する情報を取得していない場合、前記第1制御量及び前記第2制御量の間の値である第4制御量で前記コンテンツの内容を前記ユーザに対して提供する第3出力制御を行う
情報処理装置。
(11)(1)から(10)のうちいずれか1つに記載の情報処理装置であって、
前記出力制御部は、前記音源を制御することで前記第1出力制御を行う
情報処理装置。
(12)(11)に記載の情報処理装置であって、
前記第1制御量及び前記第2制御量は、少なくとも前記音源の音量に関連し、
前記出力制御部は、前記音源の音量を増加させることで前記第1出力制御を行う
情報処理装置。
(13)(11)又は(12)に記載の情報処理装置であって、
前記第1制御量及び前記第2制御量は、少なくとも前記再生されるコンテンツの内容の情報量に関連する
情報処理装置。
(14)(13)に記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記音源に向かって移動する直前に再生されていた前記コンテンツの内容の少なくとも一部を再生することで前記第1出力制御を行う
情報処理装置。
(15)(13)又は(14)に記載の情報処理装置であって、
前記出力制御部は、前記音源が前記コンテンツの内容からキーワードを抽出して再生している場合、再生するキーワード量を増加させることで前記第1出力制御を行う
情報処理装置。
(16)(1)から(15)のうちいずれか1つに記載の情報処理装置であって、
前記出力制御部は、前記ユーザの視界内にある表示部を制御することで前記第1出力制御を行う
情報処理装置。
(17)(16)に記載の情報処理装置であって、
前記出力制御部は、前記コンテンツの内容の再生履歴の少なくとも一部を表示するよう前記表示部を制御することで前記第1出力制御を行う
情報処理装置。
(18)(16)又は(17)に記載の情報処理装置であって、
前記出力制御部は、再生中の前記コンテンツの内容の見出しを表示するよう前記表示部を制御することで前記第1出力制御を行う
情報処理装置。
(19)
ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得し、
前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得し、
前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行う
ことをコンピュータシステムが実行する情報処理方法。
(20)
ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得するステップと、
前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得するステップと、
前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行うステップと
をコンピュータシステムに実行させるプログラム。
(21)(1)から(18)のうちいずれか1つに記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記音源に向かって移動した直後に前記注視位置が実質的に停留した場合に前記第1出力制御を行い、前記注視位置が前記音源に向かって移動を継続している間は前記第1出力制御を行わない
情報処理装置。
(22)(4)から(6)のうちいずれか1つに記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記第1領域内に移動した場合、前記第1制御量及び前記第2制御量とは異なる第5制御量で前記コンテンツの内容を前記ユーザに対して提供する第4出力制御を行い、
前記第2制御量は、前記第1制御量と前記第5制御量の間の値である
情報処理装置。
(23)(4)から(7)のうちいずれか1つに記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記音源上に移動した場合、前記コンテンツの内容の提供とは異なる出力制御を行う
情報処理装置。
(24)(1)から(18)のうちいずれか1つに記載の情報処理装置であって、
前記第1制御量及び前記第2制御量は、前記コンテンツの内容の再生速度に関連し、
前記出力制御部は、前記コンテンツの内容の再生速度を減少させることで前記第1出力制御を行う
情報処理装置。
(25)(13)から(15)のうちいずれか1つに記載の情報処理装置であって、
前記出力制御部は、前記音源が前記コンテンツの内容の要約を再生している場合、前記要約よりも詳細な前記コンテンツの内容を再生することで前記第1出力制御を行う
情報処理装置。
(26)(16)から(18)のうちいずれか1つに記載の情報処理装置であって、
前記出力制御部は、前記コンテンツの内容に関連する表示を前記注視位置又は前記注視位置と前記音源との間に配置するよう前記表示部を制御することで前記第1出力制御を行う
情報処理装置。
R1…第1領域
R2…第2領域
2…空間
10…PC
21…コンテンツ分析部
22…出力音声制御部
23…音源制御部
24…視線検出部
25…動作検出部
26…音声判定部
30…テレビ装置
31…表示部
32…スピーカ
40…時計
100…コンテンツ提供システム
200、300…HMD
Claims (20)
- ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得するユーザ情報取得部と、
前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得するオブジェクト情報取得部と、
前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行う出力制御部と
を具備する情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記オブジェクト情報取得部は、前記空間に存在する前記音源とは異なる第2オブジェクトに関する位置情報を取得し、
前記出力制御部は、前記注視位置が前記音源ではなくむしろ前記第2オブジェクトに向かって移動している場合、前記第1出力制御を行わない
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記音源に向かって移動しつつ前記第1オブジェクトの外に前記注視位置が移動した場合に前記第1出力制御を行い、前記注視位置が前記音源に向かって移動しつつ前記第1オブジェクト内に前記注視位置が留まった場合は前記第1出力制御を行わない
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記出力制御部は、前記注視位置が、前記音源を囲む第1領域の外側にある第2領域内から前記音源に向かって移動した場合、前記第1出力制御を行う
情報処理装置。 - 請求項4に記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記第2領域内に位置するとき前記注視位置と前記音源の間の距離が減少と増加を繰り返した場合、前記第1出力制御を行う
情報処理装置。 - 請求項4に記載の情報処理装置であって、
前記ユーザの視点を基準として、前記音源を囲む第1領域の幅が、前記ユーザの中心視野の半径の2分の1以上である
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記ユーザ情報取得部は、前記注視位置に関する情報とは異なる前記ユーザの行動に関する情報を取得し、
前記出力制御部は、前記ユーザの行動の情報量が所定値以下となったときを基準とした所定時間以内の間に、前記注視位置が前記音源に向かって移動した場合に前記第1出力制御を行い、前記ユーザの行動の情報量が所定値より大きい場合は前記第1出力制御を行わない
情報処理装置。 - 請求項7に記載の情報処理装置であって、
前記出力制御部は、前記ユーザの行動の情報量が所定値より大きい状態で前記注視位置が前記音源に向かって移動した場合、前記第1制御量及び前記第2制御量の間の値である第3制御量で前記コンテンツの内容を前記ユーザに対して提供する第2出力制御を行う
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記ユーザ情報取得部は、前記ユーザの音声に関する情報を取得し、
前記出力制御部は、前記注視位置が前記音源に向かって移動している間に前記ユーザ情報取得部が前記ユーザの非言語的音声に関する情報を取得した場合に前記第1出力制御を行い、前記注視位置が前記音源に向かって移動している間に前記ユーザ情報取得部が前記ユーザの非言語的音声に関する情報を取得していない場合は前記第1出力制御を行わない
情報処理装置。 - 請求項9に記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記音源に向かって移動している間に前記ユーザ情報取得部が前記ユーザの非言語的音声に関する情報を取得していない場合、前記第1制御量及び前記第2制御量の間の値である第4制御量で前記コンテンツの内容を前記ユーザに対して提供する第3出力制御を行う
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記出力制御部は、前記音源を制御することで前記第1出力制御を行う
情報処理装置。 - 請求項11に記載の情報処理装置であって、
前記第1制御量及び前記第2制御量は、少なくとも前記音源の音量に関連し、
前記出力制御部は、前記音源の音量を増加させることで前記第1出力制御を行う
情報処理装置。 - 請求項11に記載の情報処理装置であって、
前記第1制御量及び前記第2制御量は、少なくとも前記再生されるコンテンツの内容の情報量に関連する
情報処理装置。 - 請求項13に記載の情報処理装置であって、
前記出力制御部は、前記注視位置が前記音源に向かって移動する直前に再生されていた前記コンテンツの内容の少なくとも一部を再生することで前記第1出力制御を行う
情報処理装置。 - 請求項13に記載の情報処理装置であって、
前記出力制御部は、前記音源が前記コンテンツの内容からキーワードを抽出して再生している場合、再生するキーワード量を増加させることで前記第1出力制御を行う
情報処理装置。 - 請求項1に記載の情報処理装置であって、
前記出力制御部は、前記ユーザの視界内にある表示部を制御することで前記第1出力制御を行う
情報処理装置。 - 請求項16に記載の情報処理装置であって、
前記出力制御部は、前記コンテンツの内容の再生履歴の少なくとも一部を表示するよう前記表示部を制御することで前記第1出力制御を行う
情報処理装置。 - 請求項16に記載の情報処理装置であって、
前記出力制御部は、再生中の前記コンテンツの内容の見出しを表示するよう前記表示部を制御することで前記第1出力制御を行う
情報処理装置。 - ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得し、
前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得し、
前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行う
ことをコンピュータシステムが実行する情報処理方法。 - ユーザがいる空間に存在する音源から第1制御量でコンテンツの内容が自動的に再生されている間の前記ユーザの注視位置に関する情報を取得するステップと、
前記音源に関する位置情報と、前記ユーザに注視されている第1オブジェクトに関する位置情報とを取得するステップと、
前記第1オブジェクト内にある前記注視位置が前記音源に向かって移動した場合、前記第1制御量とは異なる第2制御量で前記コンテンツの内容を前記ユーザに対して提供する第1出力制御を行うステップと
をコンピュータシステムに実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017034588 | 2017-02-27 | ||
JP2017034588 | 2017-02-27 | ||
PCT/JP2018/001535 WO2018155026A1 (ja) | 2017-02-27 | 2018-01-19 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018155026A1 true JPWO2018155026A1 (ja) | 2019-12-19 |
JP7092108B2 JP7092108B2 (ja) | 2022-06-28 |
Family
ID=63252565
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019501119A Active JP7092108B2 (ja) | 2017-02-27 | 2018-01-19 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11205426B2 (ja) |
EP (1) | EP3588494B1 (ja) |
JP (1) | JP7092108B2 (ja) |
KR (1) | KR20190121758A (ja) |
CN (1) | CN110326300B (ja) |
WO (1) | WO2018155026A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11205426B2 (en) * | 2017-02-27 | 2021-12-21 | Sony Corporation | Information processing device, information processing method, and program |
WO2019133698A1 (en) * | 2017-12-29 | 2019-07-04 | DMAI, Inc. | System and method for personalizing dialogue based on user's appearances |
WO2019133689A1 (en) | 2017-12-29 | 2019-07-04 | DMAI, Inc. | System and method for selective animatronic peripheral response for human machine dialogue |
WO2019133694A1 (en) | 2017-12-29 | 2019-07-04 | DMAI, Inc. | System and method for intelligent initiation of a man-machine dialogue based on multi-modal sensory inputs |
WO2019160613A1 (en) | 2018-02-15 | 2019-08-22 | DMAI, Inc. | System and method for dynamic program configuration |
JP7010073B2 (ja) * | 2018-03-12 | 2022-01-26 | 株式会社Jvcケンウッド | 出力内容制御装置、出力内容制御方法、及び出力内容制御プログラム |
KR102661340B1 (ko) * | 2018-09-21 | 2024-04-30 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
US10770059B2 (en) * | 2019-01-29 | 2020-09-08 | Gridspace Inc. | Conversational speech agent |
JP7484377B2 (ja) | 2020-04-22 | 2024-05-16 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置およびプログラム |
US11990064B2 (en) * | 2020-09-07 | 2024-05-21 | Sony Group Corporation | Display processing device, display processing method, storage medium, and information processing device |
CN112489683A (zh) * | 2020-11-24 | 2021-03-12 | 广州市久邦数码科技有限公司 | 基于关键词语定位实现音频快进快退的方法和装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008217444A (ja) * | 2007-03-05 | 2008-09-18 | Toshiba Corp | 利用者と対話する装置、方法およびプログラム |
Family Cites Families (36)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4973149A (en) * | 1987-08-19 | 1990-11-27 | Center For Innovative Technology | Eye movement detector |
US5333029A (en) * | 1990-10-12 | 1994-07-26 | Nikon Corporation | Camera capable of detecting eye-gaze |
US5517021A (en) * | 1993-01-19 | 1996-05-14 | The Research Foundation State University Of New York | Apparatus and method for eye tracking interface |
US5835083A (en) * | 1996-05-30 | 1998-11-10 | Sun Microsystems, Inc. | Eyetrack-driven illumination and information display |
US6152563A (en) * | 1998-02-20 | 2000-11-28 | Hutchinson; Thomas E. | Eye gaze direction tracker |
WO2005018097A2 (en) * | 2003-08-18 | 2005-02-24 | Nice Systems Ltd. | Apparatus and method for audio content analysis, marking and summing |
US8145482B2 (en) * | 2008-05-25 | 2012-03-27 | Ezra Daya | Enhancing analysis of test key phrases from acoustic sources with key phrase training models |
US20100074460A1 (en) * | 2008-09-25 | 2010-03-25 | Lucent Technologies Inc. | Self-steering directional hearing aid and method of operation thereof |
JP5772069B2 (ja) * | 2011-03-04 | 2015-09-02 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
US9897805B2 (en) * | 2013-06-07 | 2018-02-20 | Sony Interactive Entertainment Inc. | Image rendering responsive to user actions in head mounted display |
US9286711B2 (en) * | 2011-09-30 | 2016-03-15 | Microsoft Technology Licensing, Llc | Representing a location at a previous time period using an augmented reality display |
JP2013101248A (ja) | 2011-11-09 | 2013-05-23 | Sony Corp | 音声制御装置、音声制御方法、およびプログラム |
US9517776B2 (en) * | 2011-12-29 | 2016-12-13 | Intel Corporation | Systems, methods, and apparatus for controlling devices based on a detected gaze |
US10394320B2 (en) * | 2012-01-04 | 2019-08-27 | Tobii Ab | System for gaze interaction |
US10488919B2 (en) * | 2012-01-04 | 2019-11-26 | Tobii Ab | System for gaze interaction |
US9024844B2 (en) * | 2012-01-25 | 2015-05-05 | Microsoft Technology Licensing, Llc | Recognition of image on external display |
US9423870B2 (en) * | 2012-05-08 | 2016-08-23 | Google Inc. | Input determination method |
US10134401B2 (en) * | 2012-11-21 | 2018-11-20 | Verint Systems Ltd. | Diarization using linguistic labeling |
US9661230B2 (en) * | 2013-07-05 | 2017-05-23 | Lg Electronics Inc. | Image display apparatus and method of operating the image display apparatus |
EP3036620B1 (en) * | 2013-08-23 | 2017-03-29 | Tobii AB | Systems and methods for providing audio to a user based on gaze input |
CN105899337B (zh) * | 2013-11-06 | 2019-05-03 | 皇家飞利浦有限公司 | 用于处理身体部分的系统和方法 |
EP3074923A4 (en) * | 2013-11-27 | 2017-07-05 | Shenzhen Huiding Technology Co., Ltd. | Eye tracking and user reaction detection |
US10564714B2 (en) * | 2014-05-09 | 2020-02-18 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
US20160011657A1 (en) * | 2014-07-14 | 2016-01-14 | Futurewei Technologies, Inc. | System and Method for Display Enhancement |
US20160080874A1 (en) * | 2014-09-16 | 2016-03-17 | Scott Fullam | Gaze-based audio direction |
US20180004288A1 (en) * | 2015-01-29 | 2018-01-04 | Kyocera Corporation | Electronic device |
US10248194B2 (en) * | 2015-05-01 | 2019-04-02 | Massachusetts Institute Of Technology | Methods and apparatus for retinal retroreflection imaging |
US11269403B2 (en) * | 2015-05-04 | 2022-03-08 | Disney Enterprises, Inc. | Adaptive multi-window configuration based upon gaze tracking |
WO2017024118A1 (en) * | 2015-08-04 | 2017-02-09 | Google Inc. | Hover behavior for gaze interactions in virtual reality |
WO2017068634A1 (ja) * | 2015-10-19 | 2017-04-27 | 富士通株式会社 | 作業支援システム、作業支援方法および作業支援プログラム |
US9451210B1 (en) * | 2015-12-10 | 2016-09-20 | Google Inc. | Directing communications using gaze interaction |
US9906885B2 (en) * | 2016-07-15 | 2018-02-27 | Qualcomm Incorporated | Methods and systems for inserting virtual sounds into an environment |
US10638250B2 (en) * | 2016-09-23 | 2020-04-28 | Apple Inc. | Systems and methods for determining estimated head orientation and position with ear pieces |
US11205426B2 (en) * | 2017-02-27 | 2021-12-21 | Sony Corporation | Information processing device, information processing method, and program |
US20180032612A1 (en) * | 2017-09-12 | 2018-02-01 | Secrom LLC | Audio-aided data collection and retrieval |
JP2023512877A (ja) * | 2020-02-06 | 2023-03-30 | バルブ コーポレーション | 空間変動偏光子を使用した視野ベースの光学補正 |
-
2018
- 2018-01-19 US US16/482,508 patent/US11205426B2/en active Active
- 2018-01-19 WO PCT/JP2018/001535 patent/WO2018155026A1/ja active Application Filing
- 2018-01-19 KR KR1020197023610A patent/KR20190121758A/ko not_active Application Discontinuation
- 2018-01-19 EP EP18757337.3A patent/EP3588494B1/en active Active
- 2018-01-19 CN CN201880012920.1A patent/CN110326300B/zh not_active Expired - Fee Related
- 2018-01-19 JP JP2019501119A patent/JP7092108B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008217444A (ja) * | 2007-03-05 | 2008-09-18 | Toshiba Corp | 利用者と対話する装置、方法およびプログラム |
Non-Patent Citations (2)
Title |
---|
米澤 朋子、外3名: "ユーザ視線に応じた看板案内ぬいぐるみインタラクション", 電子情報通信学会技術研究報告, vol. 107, no. 552, JPN6018012366, 15 March 2008 (2008-03-15), JP, pages 53 - 58, ISSN: 0004661852 * |
駒木 亮伯、外3名: "顔の移動軌跡に基づくサービス制御機構", 情報処理学会研究報告, vol. 2006, no. 14, JPN6018012367, 17 February 2006 (2006-02-17), JP, pages 103 - 108, ISSN: 0004661853 * |
Also Published As
Publication number | Publication date |
---|---|
WO2018155026A1 (ja) | 2018-08-30 |
EP3588494B1 (en) | 2024-04-03 |
JP7092108B2 (ja) | 2022-06-28 |
KR20190121758A (ko) | 2019-10-28 |
US20200013401A1 (en) | 2020-01-09 |
EP3588494A1 (en) | 2020-01-01 |
CN110326300B (zh) | 2021-12-21 |
EP3588494A4 (en) | 2020-03-18 |
US11205426B2 (en) | 2021-12-21 |
CN110326300A (zh) | 2019-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7092108B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
EP3616050B1 (en) | Apparatus and method for voice command context | |
US11150738B2 (en) | Wearable glasses and method of providing content using the same | |
EP3465680B1 (en) | Automatic audio attenuation on immersive display devices | |
US20170277257A1 (en) | Gaze-based sound selection | |
CN110874129A (zh) | 显示系统 | |
US11320655B2 (en) | Graphic interface for real-time vision enhancement | |
US11209900B2 (en) | Information processing device and information processing method | |
US10841534B2 (en) | Real-world awareness for virtual reality | |
US11487354B2 (en) | Information processing apparatus, information processing method, and program | |
US11836282B2 (en) | Method and device for surfacing physical environment interactions during simulated reality sessions | |
US20170163866A1 (en) | Input System | |
WO2019130992A1 (ja) | 情報処理装置 | |
US20240168548A1 (en) | Dynamic content presentation for extended reality systems | |
WO2023058451A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2023058393A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN116997886A (zh) | 扩展现实中的数字助理交互 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220131 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20220131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220530 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7092108 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |