JP6848881B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6848881B2 JP6848881B2 JP2017556364A JP2017556364A JP6848881B2 JP 6848881 B2 JP6848881 B2 JP 6848881B2 JP 2017556364 A JP2017556364 A JP 2017556364A JP 2017556364 A JP2017556364 A JP 2017556364A JP 6848881 B2 JP6848881 B2 JP 6848881B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- result
- information processing
- prediction result
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 256
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000000034 method Methods 0.000 claims description 170
- 230000008569 process Effects 0.000 claims description 159
- 238000012545 processing Methods 0.000 claims description 122
- 238000001514 detection method Methods 0.000 claims description 54
- 238000010801 machine learning Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 description 33
- 210000003128 head Anatomy 0.000 description 25
- 230000004048 modification Effects 0.000 description 22
- 238000012986 modification Methods 0.000 description 22
- 238000003384 imaging method Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000004270 retinal projection Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010020675 Hypermetropia Diseases 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000004305 hyperopia Effects 0.000 description 1
- 201000006318 hyperopia Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
前記操作の予測結果に応じて、前記第1の入力情報に対応付けられた第2の入力情報の取得に関する処理を制御することと、を含む、情報処理方法が提供される。
1.概要
1.1.入出力装置の構成
1.2.システム構成
1.3.ユーザインタフェース
1.4.技術的課題
2.技術的特徴
2.1.動作原理
2.2.機能構成
2.3.処理
2.4.実施例
2.5.変形例1:機械学習との組み合わせの一例
2.6.変形例2:予測に係る動作の最適化
3.ハードウェア構成例
4.むすび
まず、本開示の一実施形態の概要について説明したうえで、本実施形態の技術的課題について説明する。
まず、図1を参照して本実施形態に係る入出力装置の概略的な構成の一例について説明する。図1は、本実施形態に係る入出力装置の概略的な構成の一例について説明するための説明図である。
次いで、図3を参照して、本実施形態に係る情報処理システム1のシステム構成の一例について説明する。図3は、本実施形態に係る情報処理システム1のシステム構成の一例について説明するための説明図である。
次いで、図4及び図5を参照して、本実施形態に係る情報処理システム1が提供するユーザインタフェースの一例について説明する。図4及び図5は、本実施形態に係る情報処理システム1が提供するユーザインタフェースの一例について説明するための説明図であり、入出力装置20を介してユーザに仮想空間を提示する状況を想定したユーザインタフェースの一例を示している。
次いで、図6を参照して、本実施形態に係る情報処理システム1の技術的課題について説明する。図6は、本実施形態に係る情報処理システム1の技術的課題について説明するための説明図である。なお、本説明では、図5を参照して前述したように、ユーザが手を用いたジェスチャ入力により、仮想空間内において手U11を所定の位置(例えば、オブジェクトV11が提示された位置)に動かすことで音声認識を開始する場合に着目して、本実施形態に係る情報処理システム1の技術的課題について説明する
以下に、本実施形態に係る情報処理システム1の技術的特徴について説明する。
まず、図7を参照して、本実施形態に係る情報処理システム1の動作原理について説明する。図7は、本実施形態に係る情報処理システム1の動作原理について説明するための説明図である。なお、本説明では、図6に示した例と同様に、ユーザが手を用いたジェスチャ入力により、仮想空間内において手U11を所定の位置(例えば、オブジェクトV11が提示された位置)に動かすことで音声認識を開始する場合に着目して、本実施形態に係る情報処理システム1の動作原理について説明する
次いで、図8を参照して、本実施形態に係る情報処理システム1の機能構成の一例について説明する。図8は、本実施形態に係る情報処理システム1の機能構成の一例について示したブロック図である。なお本説明では、本実施形態に係る情報処理システム1の特徴をよりわかりやすくするために、図3に示したコンテンツ制御装置30と音響処理装置40とが、情報処理装置10として一体的に構成され、当該情報処理装置10と入出力装置20とが連携して動作するものとして説明する。
次いで、図9を参照して、本実施形態に係る情報処理システム1の一連の動作の流れの一例について、特に、情報処理装置10の動作に着目して説明する。図9は、本実施形態に係る情報処理システム1の一連の動作の流れの一例について示したフローチャートである。なお、本説明では、情報処理装置10が、ユーザの頭部や手等の部位の動作の認識結果に基づき、以降に入力されるジェスチャ(即ち、当該部位の動作)に基づく操作を予測する場合に着目して、情報処理システム1の一連の動作の流れの一例について説明する。
次いで、本実施形態に係る情報処理システム1の実施例として、情報処理装置10が、ジェスチャ入力に基づく操作を予測し、予測結果に応じて処理を実行する動作の一例について説明する。
例えば、図10は、本実施形態の実施例に係る情報処理装置10の動作の一例について説明するための説明図である。図10は、図5を参照して説明した例のように、ユーザが、ジェスチャ入力により仮想空間内の仮想的な手U11を操作し、当該手U11をオブジェクトV11に重ねることで、音声認識処理の開始を指示する場合の一例を示している。図10に示す例では、情報処理装置10は、手U11とオブジェクトV11との間の距離d0を算出する。そして、情報処理装置10は、距離d0の算出結果に基づき、以降に入力されるジェスチャに応じて、手U11がオブジェクトV11の位置に移動するか否か(ひいては、手U11によりオブジェクトV11に対して操作が行われるか否か)を予測する。
また、図11は、本実施形態の実施例に係る情報処理装置10の動作の他の一例について説明するための説明図である。図11は、図5を参照して説明した例のように、ユーザが、ジェスチャ入力により仮想空間内の仮想的な手U11を操作し、当該手U11をオブジェクトV11に重ねることで、音声認識処理の開始を指示する場合の一例を示している。図11に示す例では、情報処理装置10は、手U11の動く方向と、当該手U11の動く速度とに基づき速度ベクトルV1を算出する。そして、情報処理装置10は、速度ベクトルV1の算出結果に基づき、以降に入力されるジェスチャに応じて、手U11がオブジェクトV11の位置に移動するか否か(ひいては、手U11によりオブジェクトV11に対して操作が行われるか否か)を予測する。
また、図12は、本実施形態の実施例に係る情報処理装置10の動作の他の一例について説明するための説明図である。図12は、ユーザは、ジェスチャ入力により仮想空間内の仮想的な手U11を操作し、当該手U11によりオブジェクトV11を掴むことで、音声認識処理の開始を指示する場合の一例を示している。図12に示す例では、情報処理装置10は、手U11の形状を認識し、当該形状の認識結果に応じて、以降に入力されるジェスチャに応じて、手U11の形状がオブジェクトV11を掴む形状になるか否か(ひいては、手U11によりオブジェクトV11に対して操作が行われるか否か)を予測する。
また、図13は、本実施形態の実施例に係る情報処理装置10の動作の他の一例について説明するための説明図である。図13は、図5を参照して説明した例のように、ユーザが、ジェスチャ入力により仮想空間内の仮想的な手U11を操作し、当該手U11をオブジェクトV11に重ねることで、音声認識処理の開始を指示する場合の一例を示している。図13に示す例では、情報処理装置10は、仮想的な手U11の位置や向きの変化を観測データとしてカルマンフィルタを適用することで、以降に入力されるジェスチャに応じて、手U11がオブジェクトV11の位置に移動するか否か(ひいては、手U11によりオブジェクトV11に対して操作が行われるか否か)を予測する。
次いで、本実施形態の変形例1として、音声認識処理の結果を所謂機械学習の教師データとして蓄積する場合における制御の一例について説明する。
次いで、本実施形態の変形例2として、ジェスチャ入力に基づく操作の予測に係る処理を最適化するための制御の一例について説明する。
次に、図17を参照して、本開示の一実施形態にかかる情報処理装置10のハードウェア構成について説明する。図17は、本開示の一実施形態にかかる情報処理装置10のハードウェア構成例を示すブロック図である。
以上、説明したように、本実施形態に係る情報処理システム1において、情報処理装置10は、ジェスチャの検出結果に応じた入力情報に基づき、以降に入力されるジェスチャに応じた操作を予測する。そして、情報処理装置10は、操作の予測結果に基づき、音声等のような他の入力情報の取得に関する処理を制御する。このような構成により、本実施形態に係る情報処理システム1は、例えば、音声認識のための音響の取得に係る処理(ひいては、音声認識処理)を、予測した操作が実際に行われる前に先行して開始することが可能となる。そのため、情報処理システム1は、例えば、音声認識を開始するための操作が行われてから、音声認識のための音響の取得に係る処理を開始する場合に比べて、音声認識処理をより早いタイミングで開始することが可能となる。即ち、本実施形態に係る情報処理システム1に依れば、ジェスチャの検出結果を、音声等のような他の入力情報の取得に利用するような状況下においても、ジェスチャの認識に伴う遅延の影響をより緩和し、より好適な態様で当該他の入力情報を取得することが可能となる。
(1)
ジェスチャの検出結果に応じた第1の入力情報に基づく、以降に入力される前記ジェスチャに応じた操作の予測結果を取得する取得部と、
前記操作の予測結果に応じて、前記第1の入力情報に対応付けられた第2の入力情報の取得に関する処理を制御する制御部と、
を備える、情報処理装置。
(2)
前記第2の入力情報は、音響情報であり、
前記制御部は、前記操作の予測結果に応じて、前記音響情報の取得と、取得される前記音響情報に基づく処理と、のうち少なくともいずれかに関する処理を制御する、
前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記操作の予測結果に応じて、前記音響情報に基づく認識に関する処理を制御する、前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記音響情報に基づく認識に関する処理として、ユーザが発話した音声に基づく音声認識に関する処理を制御する、前記(3)に記載の情報処理装置。
(5)
前記制御部は、
前記操作の予測結果が第1の条件を満たす場合にフラグを設定し、当該操作の予測結果が第2の条件を満たす場合に設定された前記フラグを解除し、
前記フラグの設定状況に応じて、前記音声認識に関する処理を制御する、
前記(4)に記載の情報処理装置。
(6)
前記制御部は、前記フラグの設定状況に応じて、前記音声認識の結果に応じた機械学習に関する処理を制御する、前記(5)に記載の情報処理装置。
(7)
前記制御部は、前記操作の予測結果に応じて、前記第2の入力情報の取得に関する処理の開始タイミングを制御する、前記(1)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記制御部は、前記第2の入力情報の取得に関する処理の状態に応じた情報を所定の通知部に通知させる、前記(1)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記制御部は、前記操作の予測結果が所定の条件を満たすか否かを判定し、当該判定の結果に基づき、前記第2の入力情報の取得に関する処理を制御する、前記(1)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記制御部は、前記操作の予測結果が、前記所定の条件である第3の条件を満たすか否かを判定するための閾値を、第4の条件に基づき制御する、前記(9)に記載の情報処理装置。
(11)
前記制御部は、前記第4の条件として、前記第2の入力情報の取得に関する処理の過去の実行結果に基づき、前記閾値を制御する、前記(10)に記載の情報処理装置。
(12)
前記制御部は、前記第4の条件として、所定の期間中に前記第2の入力情報として取得された音響情報に対する音声認識処理の結果に基づき、前記閾値を制御する、前記(10)に記載の情報処理装置。
(13)
前記制御部は、前記第4の条件として、ジェスチャの検出対象となる操作体とは異なる他の操作体の動きの検出結果に基づき、前記閾値を制御する、前記(10)に記載の情報処理装置。
(14)
前記制御部は、前記閾値を示す情報を所定の通知部に通知させる、前記(10)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記制御部は、前記操作の予測結果が前記所定の条件を満たすと判定した場合に、前記第2の入力情報の取得に関する処理を実行し、当該操作の予測結果が前記所定の条件を満たさないと判定した場合に、実行中の当該処理を終了する、前記(9)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記第1の入力情報は、ユーザの所定の部位の認識結果に基づく情報である、前記(1)〜(15)のいずれか一項に記載の情報処理装置。
(17)
前記取得部は、前記第1の入力情報に応じた前記部位の形状、動作、位置、及び向きのうちの少なくともいずれかの認識結果に基づく、前記操作の予測結果を取得する、前記(16)に記載の情報処理装置。
(18)
前記取得部は、前記第1の入力情報に基づく表示オブジェクトの態様に応じた、前記操作の予測結果を取得する、前記(1)〜(15)のいずれか一項に記載の情報処理装置。
(19)
前記取得部は、前記表示オブジェクトの前記態様である当該表示オブジェクトの動き及び形状のうちの少なくともいずれかに応じた、前記操作の予測結果を取得する、前記(18)に記載の情報処理装置。
(20)
前記制御部は、前記操作の予測結果に基づく前記表示オブジェクトが移動する位置の推定結果に応じて、前記第2の入力情報の取得に関する動作を制御する、
前記(18)または(19)に記載の情報処理装置。
(21)
前記制御部は、前記操作の予測結果に基づき推定される前記表示オブジェクトが移動する位置と、所定の領域と、の間の位置関係に応じて、前記第2の入力情報の取得に関する動作を制御する、前記(20)に記載の情報処理装置。
(22)
前記制御部は、前記操作の予測結果に基づき推定される第1の表示オブジェクトが移動する位置と、前記第1の表示オブジェクトとは異なる第2の表示オブジェクトと、の間の位置関係に応じて、前記第2の入力情報の取得に関する動作を制御する、前記(20)に記載の情報処理装置。
(23)
プロセッサが、
ジェスチャの検出結果に応じた第1の入力情報に基づく、以降に入力される前記ジェスチャに応じた操作の予測結果を取得することと、
前記操作の予測結果に応じて、前記第1の入力情報に対応付けられた第2の入力情報の取得に関する処理を制御することと、
を含む、情報処理方法。
(24)
コンピュータに、
ジェスチャの検出結果に応じた第1の入力情報に基づく、以降に入力される前記ジェスチャに応じた操作の予測結果を取得することと、
前記操作の予測結果に応じて、前記第1の入力情報に対応付けられた第2の入力情報の取得に関する処理を制御することと、
を実行させる、プログラム。
10 情報処理装置
101 出力制御部
103 音響処理部
105 ジェスチャ認識処理部
110 制御部
111 コンテンツ制御部
113 予測部
115 タイミング制御部
13 記憶部
20 入出力装置
201 表示部
202 音響出力部
203 集音部
205 検知部
207 撮像部
30 コンテンツ制御装置
40 音響処理装置
Claims (24)
- ジェスチャの検出結果に応じた第1の入力情報に基づく、以降に入力される前記ジェスチャに応じた操作の予測結果を取得する取得部と、
前記操作の予測結果に応じて、前記第1の入力情報に対応付けられた第2の入力情報の取得に関する処理を制御する制御部と、
を備え、
前記第2の入力情報は、音響情報であり、
前記制御部は、
前記操作の予測結果に応じて、前記音響情報の取得と、取得される前記音響情報に基づく認識に関する処理と、のうち少なくともいずれかに関する処理を制御し、
取得される前記音響情報に基づく認識に関する処理として、ユーザが発話した音声に基づく音声認識に関する処理を制御するとき、
前記操作の予測結果が第1の条件を満たす場合にフラグを設定し、当該操作の予測結果が第2の条件を満たす場合に設定された前記フラグを解除し、
前記フラグの設定状況に応じて、前記音声認識に関する処理を制御する、情報処理装置。 - 前記制御部は、前記フラグの設定状況に応じて、前記音声認識の結果に応じた機械学習に関する処理を制御する、請求項1に記載の情報処理装置。
- ジェスチャの検出結果に応じた第1の入力情報に基づく、以降に入力される前記ジェスチャに応じた操作の予測結果を取得する取得部と、
前記操作の予測結果に応じて、前記第1の入力情報に対応付けられた第2の入力情報の取得に関する処理を制御する制御部と、
を備え、
前記制御部は、
前記操作の予測結果が所定の条件を満たすか否かを判定し、当該判定の結果に基づき、前記第2の入力情報の取得に関する処理を制御する場合、
前記操作の予測結果が、前記所定の条件である第3の条件を満たすか否かを判定するための閾値を、第4の条件に基づき制御する、情報処理装置。 - 前記制御部は、前記第4の条件として、前記第2の入力情報の取得に関する処理の過去の実行結果に基づき、前記閾値を制御する、請求項3に記載の情報処理装置。
- 前記制御部は、前記第4の条件として、所定の期間中に前記第2の入力情報として取得された音響情報に対する音声認識処理の結果に基づき、前記閾値を制御する、請求項3に記載の情報処理装置。
- 前記制御部は、前記第4の条件として、ジェスチャの検出対象となる操作体とは異なる他の操作体の動きの検出結果に基づき、前記閾値を制御する、請求項3に記載の情報処理装置。
- 前記制御部は、前記閾値を示す情報を所定の通知部に通知させる、請求項3乃至請求項6の何れか1項に記載の情報処理装置。
- ジェスチャの検出結果に応じた第1の入力情報に基づく、以降に入力される前記ジェスチャに応じた操作の予測結果を取得する取得部と、
前記操作の予測結果に応じて、前記第1の入力情報に対応付けられた第2の入力情報の取得に関する処理を制御する制御部と、
を備え、
前記制御部は、
前記操作の予測結果が所定の条件を満たすか否かを判定し、当該判定の結果に基づき、前記第2の入力情報の取得に関する処理を制御するとき、
前記操作の予測結果が前記所定の条件を満たすと判定した場合に、前記第2の入力情報の取得に関する処理を実行し、当該操作の予測結果が前記所定の条件を満たさないと判定した場合に、実行中の当該処理を終了する、情報処理装置。 - ジェスチャの検出結果に応じた第1の入力情報に基づく、以降に入力される前記ジェスチャに応じた操作の予測結果を取得する取得部と、
前記操作の予測結果に応じて、前記第1の入力情報に対応付けられた第2の入力情報の取得に関する処理を制御する制御部と、
を備え、
前記取得部は、前記第1の入力情報に基づく表示オブジェクトの態様に応じた、前記操作の予測結果を取得し、
前記制御部は、
前記操作の予測結果に基づく前記表示オブジェクトが移動する位置の推定結果に応じて、前記第2の入力情報の取得に関する動作を制御する場合、
前記操作の予測結果に基づき推定される前記表示オブジェクトが移動する位置と、所定の領域と、の間の位置関係に応じて、前記第2の入力情報の取得に関する動作を制御する、情報処理装置。 - ジェスチャの検出結果に応じた第1の入力情報に基づく、以降に入力される前記ジェスチャに応じた操作の予測結果を取得する取得部と、
前記操作の予測結果に応じて、前記第1の入力情報に対応付けられた第2の入力情報の取得に関する処理を制御する制御部と、
を備え、
前記取得部は、前記第1の入力情報に基づく表示オブジェクトの態様に応じた、前記操作の予測結果を取得し、
前記制御部は、
前記操作の予測結果に基づく前記表示オブジェクトが移動する位置の推定結果に応じて、前記第2の入力情報の取得に関する動作を制御する場合、
前記操作の予測結果に基づき推定される第1の表示オブジェクトが移動する位置と、前記第1の表示オブジェクトとは異なる第2の表示オブジェクトと、の間の位置関係に応じて、前記第2の入力情報の取得に関する動作を制御する、情報処理装置。 - 前記取得部は、前記表示オブジェクトの前記態様である当該表示オブジェクトの動き及び形状のうちの少なくともいずれかに応じた、前記操作の予測結果を取得する、請求項9又は請求項10に記載の情報処理装置。
- 前記制御部は、前記操作の予測結果に応じて、前記第2の入力情報の取得に関する処理の開始タイミングを制御する、請求項1乃至請求項11の何れか1項に記載の情報処理装置。
- 前記制御部は、前記第2の入力情報の取得に関する処理の状態に応じた情報を所定の通知部に通知させる、請求項1乃至請求項12の何れか1項に記載の情報処理装置。
- 前記制御部は、前記操作の予測結果が所定の条件を満たすか否かを判定し、当該判定の結果に基づき、前記第2の入力情報の取得に関する処理を制御する、請求項1又は請求項2に記載の情報処理装置。
- 前記制御部は、前記操作の予測結果が、前記所定の条件である第3の条件を満たすか否かを判定するための閾値を、第4の条件に基づき制御する、請求項14に記載の情報処理装置。
- 前記制御部は、前記第4の条件として、前記第2の入力情報の取得に関する処理の過去の実行結果に基づき、前記閾値を制御する、請求項15に記載の情報処理装置。
- 前記制御部は、前記第4の条件として、所定の期間中に前記第2の入力情報として取得された音響情報に対する音声認識処理の結果に基づき、前記閾値を制御する、請求項15に記載の情報処理装置。
- 前記制御部は、前記第4の条件として、ジェスチャの検出対象となる操作体とは異なる他の操作体の動きの検出結果に基づき、前記閾値を制御する、請求項15に記載の情報処理装置。
- 前記制御部は、前記閾値を示す情報を所定の通知部に通知させる、請求項15乃至請求項18の何れか1項に記載の情報処理装置。
- 前記制御部は、前記操作の予測結果が前記所定の条件を満たすと判定した場合に、前記第2の入力情報の取得に関する処理を実行し、当該操作の予測結果が前記所定の条件を満たさないと判定した場合に、実行中の当該処理を終了する、請求項14乃至請求項19の何れか1項に記載の情報処理装置。
- 前記第1の入力情報は、ユーザの所定の部位の認識結果に基づく情報である、請求項1乃至請求項20の何れか1項に記載の情報処理装置。
- 前記取得部は、前記第1の入力情報に応じた前記部位の形状、動作、位置、及び向きのうちの少なくともいずれかの認識結果に基づく、前記操作の予測結果を取得する、請求項21に記載の情報処理装置。
- プロセッサが、
ジェスチャの検出結果に応じた第1の入力情報に基づく、以降に入力される前記ジェスチャに応じた操作の予測結果を取得することと、
前記操作の予測結果に応じて、前記第1の入力情報に対応付けられた第2の入力情報の取得に関する処理を制御することと、
を含み、
前記第2の入力情報は、音響情報であり、
前記プロセッサが、
前記操作の予測結果に応じて、前記音響情報の取得と、取得される前記音響情報に基づく認識に関する処理と、のうち少なくともいずれかに関する処理を制御することと、
取得される前記音響情報に基づく認識に関する処理として、ユーザが発話した音声に基づく音声認識に関する処理を制御するとき、
前記操作の予測結果が第1の条件を満たす場合にフラグを設定し、当該操作の予測結果が第2の条件を満たす場合に設定された前記フラグを解除することと、
前記フラグの設定状況に応じて、前記音声認識に関する処理を制御することと、
を含む、情報処理方法。 - コンピュータに、
ジェスチャの検出結果に応じた第1の入力情報に基づく、以降に入力される前記ジェスチャに応じた操作の予測結果を取得することと、
前記操作の予測結果に応じて、前記第1の入力情報に対応付けられた第2の入力情報の取得に関する処理を制御することと、
を実行させ、
前記第2の入力情報は、音響情報であり、
前記コンピュータに、
前記操作の予測結果に応じて、前記音響情報の取得と、取得される前記音響情報に基づく認識に関する処理と、のうち少なくともいずれかに関する処理を制御することと、
取得される前記音響情報に基づく認識に関する処理として、ユーザが発話した音声に基づく音声認識に関する処理を制御するとき、
前記操作の予測結果が第1の条件を満たす場合にフラグを設定し、当該操作の予測結果が第2の条件を満たす場合に設定された前記フラグを解除することと、
前記フラグの設定状況に応じて、前記音声認識に関する処理を制御することと、
を実行させる、プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015244868 | 2015-12-16 | ||
JP2015244868 | 2015-12-16 | ||
PCT/JP2016/078107 WO2017104207A1 (ja) | 2015-12-16 | 2016-09-23 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017104207A1 JPWO2017104207A1 (ja) | 2018-11-08 |
JP6848881B2 true JP6848881B2 (ja) | 2021-03-24 |
Family
ID=59055966
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017556364A Active JP6848881B2 (ja) | 2015-12-16 | 2016-09-23 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10725733B2 (ja) |
JP (1) | JP6848881B2 (ja) |
CN (1) | CN108431728A (ja) |
WO (1) | WO2017104207A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10288435B2 (en) * | 2013-05-24 | 2019-05-14 | Rakuten, Inc. | Information processing apparatus, information processing method, and information processing program |
WO2018162985A1 (en) * | 2017-03-10 | 2018-09-13 | Zyetric Augmented Reality Limited | Interactive augmented reality |
US10896545B1 (en) * | 2017-11-29 | 2021-01-19 | Facebook Technologies, Llc | Near eye display interface for artificial reality applications |
JP7256173B2 (ja) * | 2018-03-26 | 2023-04-11 | ソニーグループ株式会社 | 情報処理装置、情報処理装置およびプログラム |
US10860088B2 (en) * | 2018-05-03 | 2020-12-08 | Microsoft Technology Licensing, Llc | Method and system for initiating application and system modal control based on hand locations |
US10712901B2 (en) | 2018-06-27 | 2020-07-14 | Facebook Technologies, Llc | Gesture-based content sharing in artificial reality environments |
US10635895B2 (en) | 2018-06-27 | 2020-04-28 | Facebook Technologies, Llc | Gesture-based casting and manipulation of virtual content in artificial-reality environments |
US10783712B2 (en) | 2018-06-27 | 2020-09-22 | Facebook Technologies, Llc | Visual flairs for emphasizing gestures in artificial-reality environments |
CN109065055B (zh) * | 2018-09-13 | 2020-12-11 | 三星电子(中国)研发中心 | 基于声音生成ar内容的方法、存储介质和装置 |
CN111462548A (zh) * | 2019-01-21 | 2020-07-28 | 北京字节跳动网络技术有限公司 | 一种段落点读方法、装置、设备和可读介质 |
US10921879B2 (en) * | 2019-06-07 | 2021-02-16 | Facebook Technologies, Llc | Artificial reality systems with personal assistant element for gating user interface elements |
KR20190104282A (ko) * | 2019-08-20 | 2019-09-09 | 엘지전자 주식회사 | 영상 기반으로 정보를 제공하는 방법 및 이를 위한 이동 단말 |
CN112783321B (zh) | 2019-11-08 | 2024-07-12 | 苹果公司 | 使用多个传感器的基于机器学习的手势识别 |
WO2021091604A1 (en) * | 2019-11-08 | 2021-05-14 | Apple Inc. | Machine-learning based gesture recognition using multiple sensors |
EP4009143A1 (en) * | 2020-12-03 | 2022-06-08 | XRSpace CO., LTD. | Operating method by gestures in extended reality and head-mounted display system |
US11954248B1 (en) * | 2023-03-17 | 2024-04-09 | Microsoft Technology Licensing, Llc. | Pose prediction for remote rendering |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4012143B2 (ja) * | 2003-12-16 | 2007-11-21 | キヤノン株式会社 | 情報処理装置およびデータ入力方法 |
JP4845183B2 (ja) * | 2005-11-21 | 2011-12-28 | 独立行政法人情報通信研究機構 | 遠隔対話方法及び装置 |
JP2009069202A (ja) * | 2007-09-10 | 2009-04-02 | Teac Corp | 音声処理装置 |
JP2011204019A (ja) * | 2010-03-25 | 2011-10-13 | Sony Corp | ジェスチャ入力装置、ジェスチャ入力方法およびプログラム |
JP5757063B2 (ja) * | 2010-03-29 | 2015-07-29 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
US8782138B2 (en) * | 2010-05-10 | 2014-07-15 | Marko Anderson | Predictive data objects |
JP2011257943A (ja) * | 2010-06-08 | 2011-12-22 | Canon Inc | ジェスチャ操作入力装置 |
JP5601045B2 (ja) * | 2010-06-24 | 2014-10-08 | ソニー株式会社 | ジェスチャ認識装置、ジェスチャ認識方法およびプログラム |
WO2013033842A1 (en) * | 2011-09-07 | 2013-03-14 | Tandemlaunch Technologies Inc. | System and method for using eye gaze information to enhance interactions |
JP6316540B2 (ja) * | 2012-04-13 | 2018-04-25 | 三星電子株式会社Samsung Electronics Co.,Ltd. | カメラ装置及びその制御方法 |
US9182233B2 (en) * | 2012-05-17 | 2015-11-10 | Robert Bosch Gmbh | System and method for autocompletion and alignment of user gestures |
EP2869161B1 (en) * | 2012-06-28 | 2017-03-08 | NEC Corporation | Information processing device and method of controlling same, and program |
KR101418552B1 (ko) * | 2012-12-20 | 2014-07-16 | 주식회사 팬택 | 디밍 상태를 위한 사용자 인터페이스 장치 및 그 방법 |
JP6192104B2 (ja) * | 2013-09-13 | 2017-09-06 | 国立研究開発法人情報通信研究機構 | テキスト編集装置及びプログラム |
JP6427755B2 (ja) * | 2014-02-24 | 2018-11-28 | パナソニックIpマネジメント株式会社 | データ入力装置、データ入力方法、プログラム及び車載機 |
JP2015175983A (ja) * | 2014-03-14 | 2015-10-05 | キヤノン株式会社 | 音声認識装置、音声認識方法及びプログラム |
-
2016
- 2016-09-23 JP JP2017556364A patent/JP6848881B2/ja active Active
- 2016-09-23 US US15/777,403 patent/US10725733B2/en active Active
- 2016-09-23 CN CN201680072119.7A patent/CN108431728A/zh active Pending
- 2016-09-23 WO PCT/JP2016/078107 patent/WO2017104207A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
CN108431728A (zh) | 2018-08-21 |
US20180336008A1 (en) | 2018-11-22 |
US10725733B2 (en) | 2020-07-28 |
JPWO2017104207A1 (ja) | 2018-11-08 |
WO2017104207A1 (ja) | 2017-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6848881B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US11093045B2 (en) | Systems and methods to augment user interaction with the environment outside of a vehicle | |
JP6635049B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
JP7092028B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP7092108B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2016151956A1 (ja) | 情報処理システムおよび情報処理方法 | |
US20190286216A1 (en) | Attention-based rendering and fidelity | |
EP3677993A1 (en) | Information processing device, information processing method, and program | |
CN108369451B (zh) | 信息处理装置、信息处理方法及计算机可读存储介质 | |
US10771707B2 (en) | Information processing device and information processing method | |
JP6627775B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
EP3582068A1 (en) | Information processing device, information processing method, and program | |
JP7156301B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US11487355B2 (en) | Information processing apparatus and information processing method | |
JP2016180778A (ja) | 情報処理システムおよび情報処理方法 | |
WO2022155085A1 (en) | System for non-verbal hands-free user input |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190910 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210215 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6848881 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |