JPWO2017033513A1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JPWO2017033513A1 JPWO2017033513A1 JP2017536635A JP2017536635A JPWO2017033513A1 JP WO2017033513 A1 JPWO2017033513 A1 JP WO2017033513A1 JP 2017536635 A JP2017536635 A JP 2017536635A JP 2017536635 A JP2017536635 A JP 2017536635A JP WO2017033513 A1 JPWO2017033513 A1 JP WO2017033513A1
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- processing apparatus
- information
- input
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 444
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000004458 analytical method Methods 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 25
- 230000004044 response Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 description 88
- 238000000034 method Methods 0.000 description 60
- 230000004048 modification Effects 0.000 description 52
- 238000012986 modification Methods 0.000 description 52
- 230000008569 process Effects 0.000 description 43
- 238000010586 diagram Methods 0.000 description 42
- 238000012545 processing Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 17
- 239000003795 chemical substances by application Substances 0.000 description 13
- 238000001514 detection method Methods 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 11
- 230000007704 transition Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000007726 management method Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000012913 prioritisation Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
- H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
- H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
- H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Otolaryngology (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- User Interface Of Digital Computer (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
【解決手段】入力情報の取得元となる複数の対象領域それぞれから、当該入力情報を当該対象領域ごとに識別して取得する取得部と、少なくとも1以上のアプリケーションそれぞれを、前記複数の対象領域のうちのいずれかに関連付け、前記対象領域から取得された前記入力情報を、当該対象領域に関連付けられた前記アプリケーションに割り当てる制御部と、を備える、情報処理装置。
【選択図】図7
Description
1.1.第1の実施形態
1.1.構成例
1.2.制御の概要
1.2.1.各ユーザからの音声の取得
1.2.2.音声入力の入力先の特定
1.3.機能構成
1.4.処理
1.5.変形例
1.5.1.変形例1:入力先の候補が複数存在する場合の制御例1
1.5.2.変形例2:入力先の候補が複数存在する場合の制御例2
1.5.3.変形例3:各領域を示す情報の報知
1.5.4.変形例4:出力量の制御例
1.5.5.変形例5:領域の制御例
1.5.6.変形例6:入力情報の入力先の制御例
1.6.まとめ
2.第2の実施の形態
2.1.概要
2.2.機能構成
3.ハードウェア構成例
4.まとめ
[1.1.構成例]
まず、図面を参照しながら本開示の一実施形態に係る情報処理装置の構成例について説明する。図1は、本開示の一実施形態に係る情報処理装置の構成例を示す説明図である。以下、図1を用いて本開示の一実施形態に係る情報処理装置の構成例について説明する。
次に、本開示の一実施形態に係る情報処理装置100の特徴をよりわかりやすくするために、まず、本実施形態に係る情報処理装置100の課題について整理し、次いで、本実施形態に係る情報処理装置100による制御の概要について説明する。
まず、図5を参照して、本実施形態に係る情報処理装置100が、複数のユーザそれぞれから発せられた音声を識別して取得する仕組みの一例について説明する。図5は、本実施形態に係る情報処理装置100による制御の概要について説明するための説明図であり、当該情報処理装置100が各ユーザからの音声を識別して取得するための仕組みの一例について説明するための図である。
次に、図6及び図7を参照して、本実施形態に係る情報処理装置100が、入力部110を介して取得した音響情報の入力先を特定する仕組みの一例について説明する。図6及び図7は、本実施形態に係る情報処理装置100による制御の概要について説明するための説明図であり、当該情報処理装置100が取得した音響情報の入力先を特定するための仕組みについて説明するための説明図である。
まず、図8を参照して、本実施形態に係る情報処理装置100の機能構成の一例について説明する。図8は、本実施形態に係る情報処理装置100の機能構成の一例を示したブロック図である。なお、本説明では、情報処理装置100がプロジェクション型として構成されている場合を例に説明する。
次に、図9及び図10を参照して、本実施形態に係る情報処理装置100の一連の処理の流れの一例について説明する。図9及び図10は、本実施形態に係る情報処理装置100の一連の処理の流れの一例について示したフローチャートである。
情報処理装置100の割当て制御部125は、処理実行部126や出力制御部127から、動作中の各種アプリケーションの状態やコンテキストを示す情報を取得し、取得結果に基づき、アクティブ状態に遷移したアプリケーションを検出する。
アクティブ状態に遷移したアプリケーションが検出された場合には(ステップS101、YES)、割当て制御部125は、取得した当該アプリケーションの情報に基づき、当該アプリケーションを関連付ける部分領域R21を特定する。具体的な一例として、割当て制御部125は、アクティブ状態に遷移したアプリケーションに対応する表示オブジェクトの位置、向き、及びサイズ等に基づき、当該アプリケーションを操作するユーザの位置を推定し、当該ユーザが位置する部分領域R21を特定する。
また、割当て制御部125は、処理実行部126や出力制御部127から取得した各種アプリケーションの状態やコンテキストを示す情報に基づき、部分領域R21に関連付けられたアプリケーションのうち、インアクティブ状態に遷移したアプリケーションを検出する。なお、インアクティブ状態に遷移したアプリケーションが検出されなかった場合には(ステップS105、NO)、割当て制御部125は、後述するステップS107〜S111に係る処理を実行せずに、次処理に遷移する。
インアクティブ状態に遷移したアプリケーションが検出された場合には(ステップS101、YES)、割当て制御部125は、検出されたアプリケーションと、当該アプリケーションが関連付けられた部分領域R21との間の関連付けを解消する。
アプリケーションと部分領域R21との間の関連付けを解消した場合に、割当て制御部125は、当該部分領域R21に対して他のアプリケーションが関連付けられているか否かを確認する。
対象となる部分領域R21に対して他のアプリケーションが関連付けられていない場合には(ステップS109、YES)、割当て制御部125は、当該部分領域R21に対してOSレベルで動作する管理ソフトを関連付けてもよい。OSレベルで動作する管理ソフトとしては、例えば、音声エージェントが挙げられる。
情報処理装置100の入力解析部121は、ユーザが発する音声や情報処理装置100が置かれている環境の環境音等の音響情報の集音結果を、アレイマイクを構成する複数の集音部113それぞれから取得する。
入力解析部121の入力元判別部123は、図5を参照して前述したように、取得した集音結果に応じて、当該音響情報の音源が位置する集音領域R20中の部分領域R21(換言すると、当該音響情報の到来方向)を推定する。具体的な一例として、入力解析部121は、アレイマイクを構成する複数の集音部113により集音された音響情報それぞれの音量の比率に応じて、当該音響情報の音源が位置する集音領域R20中の部分領域R21を推定する。
入力先特定部124は、入力元判別部123から、複数の集音部113により集音された音響情報(例えば、ユーザが発した音声)の集音結果と、当該音響情報の音源が位置する部分領域R21の推定結果とを取得する。また、入力先特定部124は、割当て制御部125から、動作中の各アプリケーションと、当該アプリケーションが関連付けられた部分領域R21を示す情報とを取得する。
そして、入力先特定部124は、取得した音響情報の集音結果を処理実行部126に出力し、当該音響情報の入力先として、特定したアプリケーションを示す情報を当該処理実行部126に通知する。これにより、処理実行部126は、複数のアプリケーションが同時に動作する状況下においても、取得した音響情報の入力先となるアプリケーションを認識することが可能となる。
次に、本実施形態に係る情報処理装置100の変形例について説明する。
まず、変形例1として、図11〜図13を参照して、入力情報として取得された音響情報の入力先の候補となるアプリケーションが複数存在する場合(即ち、特定された部分領域R21に対してアプリケーションが複数関連付けられている場合)における、情報処理装置100の制御の一例について説明する。図11〜図13は、変形例1に係る情報処理装置100の制御の一例について説明するための説明図である。
次に、変形例2として、図14及び図15を参照して、入力情報として取得された音響情報の入力先の候補となるアプリケーションが複数存在する場合の、情報処理装置100の制御の他の一例について説明する。図14及び図15は、変形例2に係る情報処理装置100の制御の一例について説明するための説明図である。
次に、変形例3として、情報処理装置100が、ユーザに対して、各アプリケーションが関連付けられた部分領域R21を報知する方法の一例について説明する。
前述した実施形態及び変形例では、情報処理装置100が、部分領域ごとに取得した入力情報の入力先を制御する場合の一例について説明した。変形例4では、情報処理装置100が、各アプリケーションからの出力情報の出力量(例えば、ボリューム)を、部分領域ごとに制御する場合の一例について説明する。例えば、図17は、変形例4に係る情報処理装置100の概要について説明するための説明図であり、情報処理装置100が各アプリケーションからの音響情報の出力量を部分領域ごとに制御する場合の一例について示している。
次に、変形例5として、情報処理装置100が、ユーザ操作を受けて、当該操作に基づき指定された部分領域の態様や、当該部分領域に関連付けられた動作を制御する場合の一例について説明する。
次に、変形例6として、少なくとも一部の部分領域からの入力情報の入力先を、当該部分領域に関連付けられたアプリケーションから他のアプリケーションに一時的に変更することが可能な、情報処理装置100の制御の一例について説明する。例えば、図21は、変形例6に係る情報処理装置100の制御の一例について説明するための説明図である。
情報処理装置100は、各ユーザからの入力音声(即ち、音響情報)を部分領域ごとに識別して取得し、取得した入力音声の内容を、音声認識等の技術に基づき、例えば文字情報として認識する。そして、情報処理装置100は、文字情報として認識した入力音声の内容に対して、例えば、構文解析を施すことで、当該入力音声中に含まれる単語等の語句を抽出することが可能となる。
情報処理装置100は、取得した入力音声の内容を認識したら、認識した入力音声中にマジックワードが含まれるか否かを確認する。
認識した入力音声中にマジックワードが含まれる場合には(ステップS303、YES)、情報処理装置100は、当該マジックワードに続く音声を制御情報として認識し、当該制御情報に対して意味解析を施すことで、当該制御情報の内容を認識する。具体的な一例として、ユーザが、マジックワードの発話に続いて「システムを終了」と発話したものとする。この場合には、情報処理装置100は、「システムを終了」という音声を制御情報として認識し、認識した制御情報に対する意味解析の結果から、当該制御情報が、システムの終了に関する指示であることを認識する。
認識した制御情報に対する意味解析を施したら、情報処理装置100は、当該意味解析の結果から、当該制御情報に対応する制御を実行するためのコマンドを生成し(ステップS307)、生成したコマンドを実行する(ステップS309)。
以上、説明したように、本実施形態に係る情報処理装置100は、入力部110に含まれる複数の集音部113それぞれによる音響情報の集音結果に応じて、当該音響情報の音源が位置する部分領域R21(換言すると、当該音響情報の到来方向)を推定する。このような構成により、情報処理装置100は、集音領域R20中の各部分領域R21から到来する音響情報を、当該部分領域R21ごとに識別して取得する。
[2.1.概要]
次に、本開示の第2の実施形態に係る情報処理装置100の一例について説明する。前述した第1の実施形態では、情報処理装置100が、入力情報として、音声等の音響情報を取得し、当該音響情報の入力先を制御する例について説明した。一方で、入力情報は、必ずしも音響情報には限定されない。そこで、本実施形態では、情報処理装置100が、音響情報以外の他の入力情報として、映像情報を取得し、当該映像情報の入力先を制御する場合の一例について、ビデオチャットのアプリケーションを動作させる場合を例に説明する。
次に、図25を参照して、本実施形態に係る情報処理装置100の機能構成の一例について説明する。図25は、本実施形態に係る情報処理装置100の機能構成の一例を示したブロック図である。
以上、説明したように、本実施形態に係る情報処理装置100は、第2撮像部150により撮像された画像から、部分領域ごとに識別して、当該部分領域が撮像された部分画像を取得する。そして、情報処理装置100は、部分領域ごとに取得した部分画像を、当該部分領域に関連付けられたアプリケーションに割り当てる。
次に、図28を参照して、本開示の一実施形態にかかる情報処理装置100のハードウェア構成について説明する。図28は、本開示の一実施形態にかかる情報処理装置100のハードウェア構成例を示すブロック図である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
(1)
入力情報の取得元となる複数の対象領域それぞれから、当該入力情報を当該対象領域ごとに識別して取得する取得部と、
少なくとも1以上のアプリケーションそれぞれを、前記複数の対象領域のうちのいずれかに関連付け、前記対象領域から取得された前記入力情報を、当該対象領域に関連付けられた前記アプリケーションに割り当てる制御部と、
を備える、情報処理装置。
(2)
前記取得部は、前記入力情報として、前記対象領域から到来する音響入力を、当該対象領域ごとに識別して取得し、
前記制御部は、取得した前記対象領域からの前記音響入力を、当該対象領域に関連付けられた前記アプリケーションに割り当てる、
前記(1)に記載の情報処理装置。
(3)
前記音響入力を集音するための複数のマイクを備え、
前記取得部は、前記複数のマイクそれぞれの集音結果に基づき、前記複数の対象領域それぞれから到来する前記音響入力を、当該対象領域ごとに識別して取得する、
前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記対象領域に関連付けられた前記アプリケーションからの音響出力を、当該対象領域に向けて出力する、前記(2)または(3)に記載の情報処理装置。
(5)
前記音響出力を出力するための複数のスピーカを備え、
前記制御部は、前記複数のスピーカのうち、前記音響出力の出力先となる前記対象領域に応じたスピーカから、当該音響出力を出力させる、
前記(4)に記載の情報処理装置。
(6)
前記制御部は、複数の前記アプリケーションそれぞれからの前記音響出力の出力比を、前記対象領域ごとに制御する、前記(4)または(5)に記載の情報処理装置。
(7)
前記制御部は、表示領域中に表示された、前記アプリケーションが表示情報を提示するための表示オブジェクトの位置及び向きの少なくともいずれかを示す位置情報に応じて、当該アプリケーションに対する前記音響入力の取得元となる前記対象領域を決定する、前記(2)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記制御部は、前記表示オブジェクトの前記位置情報の変化に応じて、当該表示オブジェクトに対応する前記アプリケーションに対する前記音響入力の取得元となる前記対象領域を動的に更新する、前記(7)に記載の情報処理装置。
(9)
前記制御部は、前記対象領域を動的に更新する制御の有効及び無効を、ユーザからの指示に基づき切り替える、前記(8)に記載の情報処理装置。
(10)
前記表示領域を含む投影面に対して、前記表示オブジェクトが表示された画面を投影することで、当該表示領域に当該表示オブジェクトを表示させる表示部を備え、
前記制御部は、撮像された前記表示領域の画像の解析結果に応じて、前記画面を更新する、
前記(7)〜(9)のいずれか一項に記載の情報処理装置。
(11)
前記取得部は、前記入力情報として、前記対象領域が撮像された映像入力を、当該対象領域ごとに識別して取得し、
前記制御部は、取得した前記対象領域からの前記映像入力を、当該対象領域に関連付けられた前記アプリケーションに割り当てる、
前記(1)に記載の情報処理装置。
(12)
前記制御部は、前記入力情報の割り当て先となる前記アプリケーションの候補が複数存在する場合には、当該複数のアプリケーション間における優先度に応じて、当該入力情報を割り当てる前記アプリケーションを決定する、前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記制御部は、前記候補となる前記複数のアプリケーションそれぞれが、表示情報を提示するための表示オブジェクトの間の相対的な位置関係に基づき、当該複数のアプリケーション間における前記優先度を決定する、前記(12)に記載の情報処理装置。
(14)
前記制御部は、前記入力情報が取得される契機に応じて、前記優先度を更新する、前記(12)または(13)に記載の情報処理装置。
(15)
前記制御部は、前記候補となる前記アプリケーションが追加または削減される契機に応じて、前記優先度を更新する、前記(12)または(13)に記載の情報処理装置。
(16)
前記制御部は、ユーザに対して情報を報知するための報知部に、前記対象領域を提示するための報知情報を報知させる、前記(1)〜(15)のいずれか一項に記載の情報処理装置。
(17)
前記制御部は、前記対象領域と前記アプリケーションとの間の関連付けを、当該関連付けの変更に係る指示に基づき更新する、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記制御部は、少なくとも一部の前記対象領域に対するユーザからの指示を受けて、当該対象領域の位置及び広さのうち少なくともいずれかを更新する、前記(1)〜(17)のいずれか一項に記載の情報処理装置。
(19)
入力情報の取得元となる複数の対象領域それぞれから、当該入力情報を当該対象領域ごとに識別して取得することと、
プロセッサが、少なくとも1以上のアプリケーションそれぞれを、前記複数の対象領域のうちのいずれかに関連付け、前記対象領域から取得された前記入力情報を、当該対象領域に関連付けられた前記アプリケーションに割り当てることと、
を含む、情報処理方法。
(20)
コンピュータに、
入力情報の取得元となる複数の対象領域それぞれから、当該入力情報を当該対象領域ごとに識別して取得することと、
少なくとも1以上のアプリケーションそれぞれを、前記複数の対象領域のうちのいずれかに関連付け、前記対象領域から取得された前記入力情報を、当該対象領域に関連付けられた前記アプリケーションに割り当てることと、
を実行させる、プログラム。
110 入力部
111 撮像部
113 集音部
120 制御部
121 入力解析部
122 検出部
123 入力元判別部
124 入力先特定部
125 割当て制御部
126 処理実行部
127 出力制御部
130 出力部
131 映像出力部
133 音響出力部
150 第2撮像部
220 制御部
221 入力解析部
222 検出部
223 入力元判別部
224 入力先特定部
225 制御部
226 処理実行部
227 出力制御部
Claims (20)
- 入力情報の取得元となる複数の対象領域それぞれから、当該入力情報を当該対象領域ごとに識別して取得する取得部と、
少なくとも1以上のアプリケーションそれぞれを、前記複数の対象領域のうちのいずれかに関連付け、前記対象領域から取得された前記入力情報を、当該対象領域に関連付けられた前記アプリケーションに割り当てる制御部と、
を備える、情報処理装置。 - 前記取得部は、前記入力情報として、前記対象領域から到来する音響入力を、当該対象領域ごとに識別して取得し、
前記制御部は、取得した前記対象領域からの前記音響入力を、当該対象領域に関連付けられた前記アプリケーションに割り当てる、
請求項1に記載の情報処理装置。 - 前記音響入力を集音するための複数のマイクを備え、
前記取得部は、前記複数のマイクそれぞれの集音結果に基づき、前記複数の対象領域それぞれから到来する前記音響入力を、当該対象領域ごとに識別して取得する、
請求項2に記載の情報処理装置。 - 前記制御部は、前記対象領域に関連付けられた前記アプリケーションからの音響出力を、当該対象領域に向けて出力する、請求項2に記載の情報処理装置。
- 前記音響出力を出力するための複数のスピーカを備え、
前記制御部は、前記複数のスピーカのうち、前記音響出力の出力先となる前記対象領域に応じたスピーカから、当該音響出力を出力させる、
請求項4に記載の情報処理装置。 - 前記制御部は、複数の前記アプリケーションそれぞれからの前記音響出力の出力比を、前記対象領域ごとに制御する、請求項4に記載の情報処理装置。
- 前記制御部は、表示領域中に表示された、前記アプリケーションが表示情報を提示するための表示オブジェクトの位置及び向きの少なくともいずれかを示す位置情報に応じて、当該アプリケーションに対する前記音響入力の取得元となる前記対象領域を決定する、請求項2に記載の情報処理装置。
- 前記制御部は、前記表示オブジェクトの前記位置情報の変化に応じて、当該表示オブジェクトに対応する前記アプリケーションに対する前記音響入力の取得元となる前記対象領域を動的に更新する、請求項7に記載の情報処理装置。
- 前記制御部は、前記対象領域を動的に更新する制御の有効及び無効を、ユーザからの指示に基づき切り替える、請求項8に記載の情報処理装置。
- 前記表示領域を含む投影面に対して、前記表示オブジェクトが表示された画面を投影することで、当該表示領域に当該表示オブジェクトを表示させる表示部を備え、
前記制御部は、撮像された前記表示領域の画像の解析結果に応じて、前記画面を更新する、
請求項7に記載の情報処理装置。 - 前記取得部は、前記入力情報として、前記対象領域が撮像された映像入力を、当該対象領域ごとに識別して取得し、
前記制御部は、取得した前記対象領域からの前記映像入力を、当該対象領域に関連付けられた前記アプリケーションに割り当てる、
請求項1に記載の情報処理装置。 - 前記制御部は、前記入力情報の割り当て先となる前記アプリケーションの候補が複数存在する場合には、当該複数のアプリケーション間における優先度に応じて、当該入力情報を割り当てる前記アプリケーションを決定する、請求項1に記載の情報処理装置。
- 前記制御部は、前記候補となる前記複数のアプリケーションそれぞれが、表示情報を提示するための表示オブジェクトの間の相対的な位置関係に基づき、当該複数のアプリケーション間における前記優先度を決定する、請求項12に記載の情報処理装置。
- 前記制御部は、前記入力情報が取得される契機に応じて、前記優先度を更新する、請求項12に記載の情報処理装置。
- 前記制御部は、前記候補となる前記アプリケーションが追加または削減される契機に応じて、前記優先度を更新する、請求項12に記載の情報処理装置。
- 前記制御部は、ユーザに対して情報を報知するための報知部に、前記対象領域を提示するための報知情報を報知させる、請求項1に記載の情報処理装置。
- 前記制御部は、前記対象領域と前記アプリケーションとの間の関連付けを、当該関連付けの変更に係る指示に基づき更新する、請求項1に記載の情報処理装置。
- 前記制御部は、少なくとも一部の前記対象領域に対するユーザからの指示を受けて、当該対象領域の位置及び広さのうち少なくともいずれかを更新する、請求項1に記載の情報処理装置。
- 入力情報の取得元となる複数の対象領域それぞれから、当該入力情報を当該対象領域ごとに識別して取得することと、
プロセッサが、少なくとも1以上のアプリケーションそれぞれを、前記複数の対象領域のうちのいずれかに関連付け、前記対象領域から取得された前記入力情報を、当該対象領域に関連付けられた前記アプリケーションに割り当てることと、
を含む、情報処理方法。 - コンピュータに、
入力情報の取得元となる複数の対象領域それぞれから、当該入力情報を当該対象領域ごとに識別して取得することと、
少なくとも1以上のアプリケーションそれぞれを、前記複数の対象領域のうちのいずれかに関連付け、前記対象領域から取得された前記入力情報を、当該対象領域に関連付けられた前記アプリケーションに割り当てることと、
を実行させる、プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015164353 | 2015-08-24 | ||
JP2015164353 | 2015-08-24 | ||
PCT/JP2016/065029 WO2017033513A1 (ja) | 2015-08-24 | 2016-05-20 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017033513A1 true JPWO2017033513A1 (ja) | 2018-06-07 |
JP6809467B2 JP6809467B2 (ja) | 2021-01-06 |
Family
ID=58099787
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017536635A Active JP6809467B2 (ja) | 2015-08-24 | 2016-05-20 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10572073B2 (ja) |
EP (1) | EP3343339A4 (ja) |
JP (1) | JP6809467B2 (ja) |
WO (1) | WO2017033513A1 (ja) |
Families Citing this family (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
CN113470641B (zh) | 2013-02-07 | 2023-12-15 | 苹果公司 | 数字助理的语音触发器 |
US10652394B2 (en) | 2013-03-14 | 2020-05-12 | Apple Inc. | System and method for processing voicemail |
US10748529B1 (en) | 2013-03-15 | 2020-08-18 | Apple Inc. | Voice activated device for use with a voice-based digital assistant |
DE112014002747T5 (de) | 2013-06-09 | 2016-03-03 | Apple Inc. | Vorrichtung, Verfahren und grafische Benutzerschnittstelle zum Ermöglichen einer Konversationspersistenz über zwei oder mehr Instanzen eines digitalen Assistenten |
US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
CN105453026A (zh) | 2013-08-06 | 2016-03-30 | 苹果公司 | 基于来自远程设备的活动自动激活智能响应 |
TWI566107B (zh) | 2014-05-30 | 2017-01-11 | 蘋果公司 | 用於處理多部分語音命令之方法、非暫時性電腦可讀儲存媒體及電子裝置 |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
US10200824B2 (en) | 2015-05-27 | 2019-02-05 | Apple Inc. | Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device |
US20160378747A1 (en) | 2015-06-29 | 2016-12-29 | Apple Inc. | Virtual assistant for media playback |
US10740384B2 (en) | 2015-09-08 | 2020-08-11 | Apple Inc. | Intelligent automated assistant for media search and playback |
US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10331312B2 (en) | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US9740352B2 (en) * | 2015-09-30 | 2017-08-22 | Elo Touch Solutions, Inc. | Supporting multiple users on a large scale projected capacitive touchscreen |
US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
US10726832B2 (en) | 2017-05-11 | 2020-07-28 | Apple Inc. | Maintaining privacy of personal information |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
DK201770427A1 (en) | 2017-05-12 | 2018-12-20 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
US20180336892A1 (en) * | 2017-05-16 | 2018-11-22 | Apple Inc. | Detecting a trigger of a digital assistant |
US10818288B2 (en) | 2018-03-26 | 2020-10-27 | Apple Inc. | Natural assistant interaction |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US10892996B2 (en) | 2018-06-01 | 2021-01-12 | Apple Inc. | Variable latency device coordination |
DK201870355A1 (en) | 2018-06-01 | 2019-12-16 | Apple Inc. | VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS |
DK179822B1 (da) | 2018-06-01 | 2019-07-12 | Apple Inc. | Voice interaction at a primary device to access call functionality of a companion device |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
DK201970511A1 (en) | 2019-05-31 | 2021-02-15 | Apple Inc | Voice identification in digital assistant systems |
DK180129B1 (en) | 2019-05-31 | 2020-06-02 | Apple Inc. | USER ACTIVITY SHORTCUT SUGGESTIONS |
US11468890B2 (en) | 2019-06-01 | 2022-10-11 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
US11038934B1 (en) | 2020-05-11 | 2021-06-15 | Apple Inc. | Digital assistant hardware abstraction |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11755276B2 (en) | 2020-05-12 | 2023-09-12 | Apple Inc. | Reducing description length based on confidence |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013214259A (ja) * | 2012-04-04 | 2013-10-17 | Sharp Corp | 表示装置 |
WO2015098190A1 (ja) * | 2013-12-27 | 2015-07-02 | ソニー株式会社 | 制御装置、制御方法及びコンピュータプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1315071A1 (en) * | 2001-11-27 | 2003-05-28 | BRITISH TELECOMMUNICATIONS public limited company | User interface |
US8861756B2 (en) * | 2010-09-24 | 2014-10-14 | LI Creative Technologies, Inc. | Microphone array system |
JP2011102984A (ja) | 2010-11-30 | 2011-05-26 | Sony Corp | ナビゲーション装置、音声認識方法、およびプログラム |
JP2014241005A (ja) * | 2013-06-11 | 2014-12-25 | 株式会社東芝 | 表示制御装置、表示制御方法、及び表示制御プログラム |
JP6199736B2 (ja) * | 2013-12-27 | 2017-09-20 | 住友ゴム工業株式会社 | タイヤ用ゴム組成物及び空気入りタイヤ |
JP6149818B2 (ja) * | 2014-07-18 | 2017-06-21 | 沖電気工業株式会社 | 収音再生システム、収音再生装置、収音再生方法、収音再生プログラム、収音システム及び再生システム |
KR20160026317A (ko) * | 2014-08-29 | 2016-03-09 | 삼성전자주식회사 | 음성 녹음 방법 및 장치 |
JP6131989B2 (ja) * | 2015-07-07 | 2017-05-24 | 沖電気工業株式会社 | 収音装置、プログラム及び方法 |
-
2016
- 2016-05-20 US US15/735,466 patent/US10572073B2/en active Active
- 2016-05-20 EP EP16838860.1A patent/EP3343339A4/en not_active Ceased
- 2016-05-20 WO PCT/JP2016/065029 patent/WO2017033513A1/ja active Application Filing
- 2016-05-20 JP JP2017536635A patent/JP6809467B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013214259A (ja) * | 2012-04-04 | 2013-10-17 | Sharp Corp | 表示装置 |
WO2015098190A1 (ja) * | 2013-12-27 | 2015-07-02 | ソニー株式会社 | 制御装置、制御方法及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20180188840A1 (en) | 2018-07-05 |
WO2017033513A1 (ja) | 2017-03-02 |
JP6809467B2 (ja) | 2021-01-06 |
EP3343339A4 (en) | 2019-03-27 |
EP3343339A1 (en) | 2018-07-04 |
US10572073B2 (en) | 2020-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6809467B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US10546582B2 (en) | Information processing device, method of information processing, and program | |
US9423870B2 (en) | Input determination method | |
KR20160091725A (ko) | 음성 인식 방법 및 장치 | |
US20200258515A1 (en) | Information processing device, information processing method, and program | |
US20220057922A1 (en) | Systems and interfaces for location-based device control | |
WO2016151956A1 (ja) | 情報処理システムおよび情報処理方法 | |
US20220019288A1 (en) | Information processing apparatus, information processing method, and program | |
WO2018096827A1 (ja) | 表示制御装置、表示制御方法及びコンピュータプログラム | |
WO2015194291A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2018139036A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN113853529A (zh) | 用于空间音频捕获的装置和相关方法 | |
CN106462251B (zh) | 显示控制设备、显示控制方法以及程序 | |
WO2017033544A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20210294482A1 (en) | Information processing device, information processing method, and program | |
US11221684B2 (en) | Information processing device, information processing method, and recording medium | |
WO2017043141A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2014219800A (ja) | 携帯端末装置 | |
WO2018139050A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US11188206B2 (en) | Information processing apparatus and information processing method | |
JP7400531B2 (ja) | 情報処理システム、情報処理装置、プログラム、情報処理方法及び部屋 | |
US20240012599A1 (en) | Information processing apparatus, information processing method, and program | |
JP2016170584A (ja) | 情報処理装置、情報処理方法およびプログラム | |
WO2019187501A1 (ja) | 情報処理装置、情報処理方法、および、記録媒体 | |
JP2019191328A (ja) | プロジェクターシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190510 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190510 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190510 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200526 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201123 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6809467 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |