JPH0883093A - 音声認識装置及び該装置を用いた情報処理装置 - Google Patents
音声認識装置及び該装置を用いた情報処理装置Info
- Publication number
- JPH0883093A JPH0883093A JP6220404A JP22040494A JPH0883093A JP H0883093 A JPH0883093 A JP H0883093A JP 6220404 A JP6220404 A JP 6220404A JP 22040494 A JP22040494 A JP 22040494A JP H0883093 A JPH0883093 A JP H0883093A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- recognition
- unit
- voice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims description 12
- 238000001514 detection method Methods 0.000 claims abstract description 103
- 238000000034 method Methods 0.000 claims description 19
- 230000000007 visual effect Effects 0.000 claims description 14
- 230000000717 retained effect Effects 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 23
- 230000014509 gene expression Effects 0.000 description 12
- ATJFFYVFTNAWJD-UHFFFAOYSA-N Tin Chemical compound [Sn] ATJFFYVFTNAWJD-UHFFFAOYSA-N 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- GMVPRGQOIOIIMI-DODZYUBVSA-N 7-[(1R,2R,3R)-3-hydroxy-2-[(3S)-3-hydroxyoct-1-enyl]-5-oxocyclopentyl]heptanoic acid Chemical compound CCCCC[C@H](O)C=C[C@H]1[C@H](O)CC(=O)[C@@H]1CCCCCCC(O)=O GMVPRGQOIOIIMI-DODZYUBVSA-N 0.000 description 1
- 241000849798 Nita Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/24—Speech recognition using non-acoustical features
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/226—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
- G10L2015/228—Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Machine Translation (AREA)
Abstract
認識対象を制御することにより、音声認識率や認識速度
等の性能の向上を図る。 【構成】視線検出処理201においてユーザの視線がど
の方向を向いているのかを検出し、視線管理処理202
によって、検出された視線が表示画面上のどの位置存在
しているかを求める。求められた視線の位置と軌跡が表
示装置に表示される。認識対象制御処理203は、視線
位置(範囲)やその動きと、認識対象(単語,文,文法
やそれらの確率などの偏り)との関連を視線重みP()
として獲得する。ユーザが単語(または文)を発声する
と、音声入力処理205により、音声入力部101を介
して音声がA/D変換されて取り込まれる。次に、音声
認識処理206によって、音声認識率PS()が求めら
れ、視線重みP()と音声認識率PS()との積に基づ
いて音声認識が行われる。
Description
認識装置及びこれを用いた情報処理装置に関するもので
ある。
御することにより音声認識の精度を向上する手法が提案
されている。ここで、認識対象とは、単語,文,文法や
それらの確率などの偏りを表すものである。例えば、カ
レンダーのアプリケーションにおいて、「ネン」と入力
された音声は、「念」や「燃」等ではなく、「年」に相
当する確率を高く設定することで、認識対象を制御でき
る。又、画像情報等と音声認識を組み合わせて装置の性
能を向上するという方法も提案されている。
た音声認識手法では、ユーザの注意や興味を用いておら
ず、認識対象は、せいぜい対話状況等により制御される
程度のものであった。このため、対話状況等による制御
の精度で音声認識の精度は大きく左右されることにな
る。又、対話状況によって制御する場合は、ユーザによ
って異なる振舞い(対話状況)に対応することが困難で
あり、十分な音声認識率や認識速度を得ることができな
いという問題があった。
ことによりユーザの注意や興味を適切に把握し、この把
握に基づいて音声認識する認識対象を制御することによ
り、音声認識率や認識速度等の性能の向上を図る音声認
識装置を提供することを目的とする。
成する音声認識装置を具備し、入力された音声の認識結
果に基づいてアプリケーションの実行等を制御する情報
処理装置を提供することを目的とする。
装置は以下の構成を備える。即ち、ユーザの視線位置を
検出する検出手段と、前記検出手段により検出された視
線位置に基づいて音声認識のための認識対象を変更する
変更手段と、前記変更手段により変更された認識対象に
基づいて音声認識する認識手段とを備える。
音声認識処理のための認識対象が切替えられる。
成の音声認識装置は、ユーザの視線位置を検出する検出
手段と、前記検出手段により検出された視線位置に基づ
いて音声認識のための認識対象の重みを設定する設定手
段と、前記設定手段により設定された重みよって重みづ
けされた認識対象に基づいて音声認識する認識手段とを
備える。
音声認識処理のための認識対象に対する重みづけが設定
され、夫々重みづけがなされた認識対象を用いて音声認
識が行われる。
成の音声認識装置によれば、異なる認識対象が関連づけ
られた視線検出範囲に基づく範囲を表示する表示手段
と、ユーザの前記表示手段上の視線位置を検出する検出
手段と、前記検出手段により検出された視線位置と前記
表示手段により表示された各範囲の表示位置とに基づい
て音声認識のための認識対象の重みを設定する設定手段
と、前記設定手段により設定された重みよって重みづけ
された認識対象に基づいて音声認識する認識手段とを備
える。
検出された視線位置と、表示画面上の表示内容とに基づ
いて認識対象の重みづけが制御される。そして重みづけ
の制御された認識対象を用いて音声認識が実行される。
処理装置は、ユーザの視線位置を検出する検出手段と、
前記検出手段により検出された視線位置に基づいて音声
認識のための認識対象を変更する変更手段と、前記検出
手段により検出された視線位置に基づいて実行すべきア
プリケーションを特定する特定手段と、前記変更手段に
より変更された認識対象に基づいて音声認識する認識手
段と、前記認識手段によって認識された内容に基づい
て、前記特定手段で特定されたアプリケーションを実行
する実行手段とを備える。
基づいて変更される認識対象を用いて音声認識が行わ
れ、認識された内容に基づいてアプリケーションが実行
される。
他の構成の情報処理装置は、ユーザの視線位置を検出す
る検出手段と、前記検出手段により検出された視線位置
に基づいて音声認識のための認識対象の重みを設定する
設定手段と、前記設定手段により設定された重みよって
重みづけされた認識対象に基づいて音声認識する認識手
段と、前記認識手段によって認識された内容に基づい
て、前記特定手段で特定されたアプリケーションを実行
する実行手段とを備える。
基づいて重みづけが制御された認識対象を用いて音声認
識が行われ、我意音声認識の結果に基づいてアプリケー
ションの実行がなされる。
成による情報処理装置は、異なる認識対象が関連づけら
れた視線検出範囲に基づく範囲を表示する表示手段と、
ユーザの前記表示手段上の視線位置を検出する検出手段
と、前記検出手段により検出された視線位置と前記表示
手段により表示された各範囲の表示位置とに基づいて音
声認識のための認識対象の重みを設定する設定手段と、
前記設定手段により設定された重みよって重みづけされ
た認識対象に基づいて音声認識する認識手段と、前記認
識手段で持ちいたれた認識対象関連づけられたアプリケ
ーションを、我意認識手段で認識された内容に基づいて
実行する実行手段とを備える。
検出された視線位置と、表示画面上の表示内容とに基づ
いて認識対象の重みづけが制御される。そして重みづけ
の制御された認識対象を用いて音声認識が実行され、該
音声認識の結果に基づいてアプリケーションが実行され
る。
実施例を説明する。
理装置の概略の構成を表すブロック図である。同図にお
いて、101は音声を入力するマイク101aやA/D
変換器101bを含む音声入力部である。102は表示
装置であり、各種アイコンの表示や、視線の位置(範
囲)を表示する。103は視線検出部であり、カメラ1
03a等による撮像画像に基づいて視線を検出する検出
部103bを備える。104は音声認識部であり、入力
された音声を選択された認識対象を用いて認識する。本
実施例では、認識対象は各種アプリケーションに対応し
た単語,文,文法やそれらの確率などの偏りを有する辞
書である。
部106による視線位置の認識結果に従って認識対象を
制御する(即ち、辞書を選択する)。106は視線管理
部であり、視線検出部103によって検出された視線の
動き(表示装置102のどの部分にどのくらい停留した
か等)を管理する。107はコマンド処理部であり、音
声認識によって検出されたコマンドに基づいて各種の処
理を実行する。コマンド処理部107には、不図示のC
PUやROM、RAM等が備えられている。
認識処理について説明する。本実施例の音声認識処理
は、上記の101〜106で示される構成によって実現
される。図2は本実施例の音声認識処理の動作を説明す
る流れ図である。
あげると、視線検出処理201において、視線検出部1
03を用いてユーザの視線がどの方向を向いているのか
が検出される。次に、視線管理処理202によって、視
線検出処理201によって検出された視線が、表示画面
上およびその周辺のどの位置(範囲)に対応している
か、また、どのくらいの時間滞在しているかが視線管理
部106により求められる。又、求められた視線の位置
と軌跡が表示装置102に表示される。
視線位置(範囲)やその動きと、認識対象(単語,文,
文法やそれらの確率などの偏り)との関連が、視線重み
P()として獲得される。認識対象204の視線重みP
()は、視線の位置や動きに応じて制御される。
ると、音声入力処理205により、音声入力部101を
介して音声がA/D変換されて取り込まれる。次に、音
声認識処理206によって、音声認識率PS()が求め
られ、視線重みP()と音声認識率PS()との積が、
最終的な単語(または文)認識率PT()として得られ
る。
を用意し、ユーザの視線の動きに基づいて選択された辞
書の視線重みを1に、その他の辞書の視線重みをゼロと
することで、認識対象の選別を行う。尚、実施例1で
は、認識対象の重みが“1”か“0”かであるので、認
識対象が切替えられるかのように動作している。
する。図3は、ユーザが電源を入れて、本装置を立ち上
げた時の初期状態である。ここで、301は表示装置1
02の画面を表す。また、302、305、308は夫
々画面301上に表示された音声入力制御パネル、アプ
リケーションA(ここではカレンダー)、アプリケーシ
ョンB(ここでは電卓)のアイコンを表す。
コン(302、305、308)の視線検出範囲を表わ
す。即ち、視線検出範囲303は音声入力制御パネルの
視線検出範囲を示し、この視線検出範囲303に視線が
停留していると、ユーザの興味が音声入力制御パネルに
むいていると判定する。同様に、視線検出範囲306、
309は夫々アプリケーションA、アプリケーションB
の視線検出範囲を表す。尚、これらの視線検出範囲は画
面301上には表示されない。又、304は音声入力制
御辞書、307はアプリケーションA(ここではカレン
ダー)の辞書、310はアプリケーションBの辞書であ
る。
る。312は視線の軌跡であり過去の一定時間(例えば
1sec間)の、ユーザの画面上の視線の位置が表示さ
れる。視線の動きには停留(図において黒丸)と、飛越
運動(図において曲線)とがあり、それらが交互に繰り
返される。
る。図4は音声入力制御辞書304の内容であり、認識
単語は「開始(カイシ)」、「終了(シュウリョウ)」
である。図5はアプリケーションA(カレンダー)の辞
書307の内容であり、認識単語(または文)は、ここ
では一例として、「1990年(センキュウヒャクキュ
ウジュウネン)」、「1994年5月(センキュウヒャ
クキュウジュウヨネンゴガツ)」「終了(シュウリョ
ウ)」等である。図6はアプリケーションB(電卓)の
辞書310の内容であり、認識単語(または文)は、こ
こでは一例として、「3+6=(サンタスロクワ)」、
「終了(シュウリョウ)」等である。次に、図7〜図1
2を用いて、動作例を説明する。図7〜図9は実施例1
の動作例における画面の表示状態を表す図である。又、
図10は各視線位置における視線重みの変化を表す図で
ある。更に、図11、図12は実施例1の動作手順を説
明するフローチャートである。以下の説明で示されたス
テップ番号は、図11、図12のフローチャート中に示
されたステップ番号である。
はX1に視線がある)を検出し、その位置を画面上に表
示する(図7)。この時点では、音声認識制御辞書30
4が視線重みP(O)=0で、音声入力制御視線検出範
囲303と結び付けられており、アプリケーションAの
辞書とアプリケーションBの辞書は、視線検出範囲とは
結び付けられていない(図10(1))。
302上の位置X2に移す(図7)。今、視線の停留
が、一定時間(例えば1sec)の間に、音声入力制御
視線検出範囲303に、一定回数(例えば3回)以上存
在すれば、視線管理部202によって、ユーザが音声入
力制御パネル302を選択していると判定される(ステ
ップS10、ステップS11)。すると、音声認識制御
辞書304が視線重みP(O)=1で、音声入力制御の
視線検出範囲303と結び付けられる(図10(2)及
びステップS12)。但し、この時点におけるステップ
S12の処理では、他のアプリケーションの辞書と視線
検出範囲はまだ接続されていないので、他の辞書につい
ては何の設定もなされない。
2を見ながら「開始(カイシ)」と発声する(図10
(3))と、音声入力制御視線検出範囲303に結び付
けられた、音声入力制御辞書304内の各単語の音声認
識率PS()が次のように得られる(音声認識には公知
の手法を適用することが可能である)。
は、 PT(開始)=P(O)×PS(開始)=1×0.7=
0.7 PT(終了)=P(O)×PS(終了)=1×0.3=
0.3 となる。
ると、「開始」が選択されるので、音声入力制御が実行
されることになる。その結果、アプリケーションAの視
線検出範囲306とアプリケーションAの辞書307と
が、視線重みP(A)=0で結びつけられ、アプリケー
ションBの視線検出範囲309とアプリケーションBの
辞書310とが、視線重みP(B)=0で結びつけられ
る(図10(4)及びステップS14〜ステップS1
6)。
305上の位置X5に移す(図7)。視線の停留が、一
定時間(例えば1sec)の間に、アプリケーションA
の視線検出範囲306に、一定回数(例えば3回)以上
存在すれば、視線管理部202によって、ユーザがカレ
ンダー305を選択していると判定される(ステップS
10、ステップS20)。すると、アプリケーションA
の辞書307が視線重みP(A)=1で、アプリケーシ
ョンAの視線検出範囲306と結びつけられ、図5の辞
書単語(または文)が音声認識可能になる。また、アプ
リケーションBの辞書310とアプリケーションBの視
線検出範囲309とが結び付く視線重みがP(B)=0
となり、音声入力制御視線検出範囲303と音声入力制
御辞書310とが結び付く視線重みがP(O)=0とな
る(図10(5)及びステップS21)。
306を見ながら「1994年5月(センキュウヒャク
キュウジュウヨネンゴガツ)」と発声する(図10
(6))。すると、アプリケーションAの視線検出範囲
306に結びつけられた、アプリケーションAの辞書3
07内の各単語(または文)の音声認識率PS()が次
のように得られる。即ち、 PS(1990年1月)=0.1 … PS(1994年5月)=0.5 … PS(終了)=0.01 となる。 すると、単語認識率PT()=P()×PS()は、 PT(1990年1月)=P(A)×PS(1990年
1月)=0.1 … PT(1994年5月)=P(A)×PS(1994年
5月)=0.5 … PT(終了)=P(A)×PS(終了)=0.01 となる。
ると、「1994年5月」が選択され、実行される。す
ると、1994年5月のカレンダーウインドウ501が
開き(図8)、アプリケーションAの辞書307が視線
重みP(A)=1でカレンダーウインドウの視線検出範
囲501と結びつけられる(図10(7)及びステップ
S22〜ステップS24)。
がら「2001年12月(ニセンイチネンジュウニガ
ツ)」と発声する(図10(8))と、カレンダーウイ
ンドウ501がアプリケーションAの視線検出範囲の一
部であるので、処理は再びステップS20からステップ
S24へと進む。
ンAの辞書307内の各単語(または文)の音声認識率
PS()は次のように得られる。
S()は、 PT(1990年1月)=P(A)×PS(1990年
1月)=0.1 … PT(2001年12月)=P(A)×PS(2001
年12月)=0.5 … PT(終了)=P(A)×PS(終了)=0.1 のようになる。
ると、「2001年12月」が選択され、これに従って
ステップS24でコマンドが実行される。すると、カレ
ンダーウインドウの内容が、1994年5月のものから
2001年12月のものに切り替わる。次に、ユーザが
カレンダーウインドウの視線検出範囲501を見ながら
「終了(シュウリョウ)」と発声する(図10(9))
と、アプリケーションAの辞書307内の各単語(また
は文)の音声認識率PS()が、 PS(1990年1月)=0.1 … PS(終了)=0.6 のように得られる。
は、 PT(1990年1月)=P(A)×PS(1990年
1月)=0.1 … PT(終了)=P(A)×PS(終了)=0.6 のようになる。
ると、「終了」が選択され、カレンダーが終了して、カ
レンダーウインドウが閉じる。この時点で視線の位置が
X10にあれば(図9)、それは音声入力制御視線検出
範囲303、アプリケーションAの視線検出範囲30
6、アプリケーションBの視線検出範囲309のいずれ
の範囲にも入っていないので、状態重みP(O)=P
(A)=P(B)=0である(図10(10))。
上の位置X11に移す(図9)。今、視線の停留が、一
定時間(例えば1sec)の間に、アプリケーションB
の視線検出範囲309に、一定回数(例えば3回)以上
存在すれば、視線管理部202によって、ユーザが電卓
を選択していると判定される(ステップS10、ステッ
プS30)。すると、アプリケーションBの辞書310
が視線重みP(B)=1で、アプリケーションBの視線
検出範囲309と結びつけられ、図6の辞書の単語(ま
たは文または式)が音声認識可能になる。また、アプリ
ケーションAの辞書307とアプリケーションAの視線
検出範囲306とが結び付く視線重みがP(A)=0と
なり、音声入力制御視線検出範囲303と音声入力制御
辞書310とが結び付く視線重みがP(O)=0となる
(図10(11)及びステップS31)。ここではP
(B)=1となることによって、算術式と「終了」が音
声認識可能になる。
309を見ながら「2+3=(ニタスサンワ)」と発声
する(図10(12))。すると、アプリケーションB
の視線検出範囲306に結びつけられた、アプリケーシ
ョンBの辞書307で記述される算術式と「終了」の音
声認識率PS()が、 PS(1+1=)=0.1 … PS(2+3=)=0.5 … PS(終了)=0.01 の様に得られる。
P()×PS()は、 PT(1+1=)=P(B)×PS(1+1=)=0.1 … PT(2+3=)=P(B)×PS(2+3=)=0.5 … PT(終了)=P(B)×PS(終了)=0.01 の様に得られる。
術式)とすると、「2+3=」が選択され、実行され
る。すると、電卓ウインドウ(不図示)が開き、計算結
果「5」が表示される(ステップS32〜ステップS3
4)。電卓ウインドウには、上記のカレンダーウインド
ウと同様にアプリケーションBの辞書310が結び付け
られる。次に、ユーザがアプリケーションBの視線検出
範囲309或は電卓ウインドウを見ながら「終了(シュ
ウリョウ)」と発声する(図10(13))。
囲306に結びつけられた、アプリケーションBの辞書
307で記述される算術式と「終了」の音声認識率PS
()が、 PS(1+1=)=0.1 … PS(終了)=0.6 の様に得られる。
P()×PS()は、 PT(1+1=)=P(B)×PS(1+1=)=0.1 … PT(終了)=P(B)×PS(終了)=0.6 のようになる。
術式)とすると、「終了」が選択されて、電卓が終了し
て、電卓ウインドウが閉じる。この時点で視線の位置が
X14(図9)にあれば、それは音声入力制御視線検出
範囲303、アプリケーションAの視線検出範囲30
6、アプリケーションBの視線検出範囲309のいずれ
の範囲にも入っていないので、状態重みP(O)=P
(A)=P(B)=0である(図10(14)及びステ
ップS40)。
302上の位置X15に移す(図9)。今、視線の停留
が、一定時間(例えば1sec)の間に、音声入力視線
検出範囲303に、一定回数(例えば3回)以上存在す
れば、視線管理部202によって、ユーザが音声入力制
御パネル302を選択していると判定される。すると、
視線重みはそれぞれP(O)=1,P(A)=0,P
(B)=0となる(図10(15)及びステップS1
2)。
を見ながら「終了(シュウリョウ)」と発声する(図1
0(16))。すると、音声入力制御視線検出範囲30
3に結びつけられた、音声認識制御辞書304内の各単
語の音声認識率PS()が、 PS(開始)=0.3 PS(終了)=0.7 と得られる。
S()は、 PT(開始)=P(O)×PS(開始)=1×0.3=
0.3 PT(終了)=P(O)×PS(終了)=1×0.7=
0.7 PT()が最大になる単語を認識単語とすると、「終
了」が選択され、実行さのようになる。
範囲306とアプリケーションAの辞書307との辞書
307との結び付きが切り離されるとともに、アプリケ
ーションBの視線検出範囲309とアプリケーションB
の辞書310との結び付きが切り離される(図10(1
7)及びステップS17、S18)。
て、認識対象が動的に切り替わる。また、同じ「終了」
という発声でも、ユーザがカレンダーを見ている時はカ
レンダーが終了し、ユーザが電卓を見ている時には電卓
が終了する、というような制御が可能になる。
示画面上に設けられた視線検出範囲への視線の停留に基
づいて、視線の停留した範囲に関連づけられた音声認識
用辞書への切替えが行われる。従って、視線位置によっ
て音声認識用辞書(認識対象)が適切に切替えられるの
で、音声認識率や音声認識速度が向上する。
る。実施例1では、ある視線検出範囲に所定時間以上の
停留が所定回数以上存在することをアプリケーション選
択の条件とし視線重みP()を1に設定している。そし
て、非選択状態にあるアプリケーションの視線重み
P()はゼロに設定している。実施例2では、ある一定
時間内で、視線がある範囲にどれくらい留まっていたか
によって、画面上のアイコンや制御ボタンと結びつけら
れた、認識対象の各視線重みP()を制御する。
であり、ユーザが60秒間画面301を見ていた時の視
線の状態を示している。ここでは、1分間の停留回数
が、視線検出範囲303に5回、視線検出範囲306に
30回、視線検出範囲309に15回、その他の領域に
10回であるとする。又、図14は実施例2の動作手順
を表すフローチャートである。
の停留位置のサンプリングの結果、いずれかの視線検出
範囲における停留回数の合計が5+30+15=50で
あるので、各視線重みは、 P(O)=5/50=0.1 P(A)=30/50=0.6 P(B)=15/50=0.3 となる(ステップS50、ステップS51)。
声し、各単語(または文または算術式)の音声認識率P
S()が、 PS(1990年5月)=0.3 PS(1990+50=)=0.4 PS(その他)=0.1以下 と得られたとする。このとき、各単語の認識率PT()
=P()×PS()は、 PT(1990年5月)=P(A)×PS(1990年
5月)=0.6×0.3=0.18 PT(1990+5=)=P(B)×PS(1990+
5=)=0.3×0.4=0.12 PT(その他)=max{P(O),P(A),P
(B)}×PS(その他)=0.06以下 となる。
語(または文または算術式)とすると「1990年5
月」が選択される(ステップS52、ステップS5
3)。更に、認識単語の存在する辞書より関連するアプ
リケーションが特定され(ステップS54)、実行され
る(ステップS55)。
定時間内の視線位置をサンプリングし、そのサンプリン
グ結果に基づいて各認識対象(アプリケーションに関連
づけられた辞書)の重みづけを変化させるので、視線位
置に曖昧さが発生しても安定して辞書の重みづけが行わ
れる。従って、所望の視線検出範囲に視線を釘付けにす
る必要が無くなり、ユーザの負担が減少する。
て、視線が停留している位置から各制御対象までの距離
によって、画面上のアイコンや制御ボタンと結びつけら
れた、認識対象の視線重みP()を制御する。
り、ユーザの現時刻の視線の位置を示している。視線の
位置から、アプリケーションAの視線検出範囲306ま
での距離をd(A)、アプリケーションBの視線検出範
囲309までの距離をd(B)、音声入力制御視線検出
範囲までの距離をd(O)とし、d(A)=5cm,d
(B)=20cm,d(O)=25cm,であったとす
る。
の視線重みを、 P(A)=0.5×(d(B)+d(O))/(d
(A)+d(B)+d(O)) とおき、アイコンBに結びつけられた単語の視線重み
を、 P(B)=0.5×(d(A)+d(O))/(d
(A)+d(B)+d(O)) とおき、音声入力制御パネルに結びつけられた単語の視
線重みを、 P(O)=0.5×(d(A)+d(B))/(d
(A)+d(B)+d(O)) とおくと、各単語の視線重みは、 P(O)=0.25 P(A)=0.45 P(B)=0.3 となる。
声し、各単語(または文または算術式)の音声認識率P
S()が、 PS(1990年5月)=0.3 PS(1990+5=)=0.4 PS(その他)=0.1以下 と得られたとする。このとき、各単語の単語認識率PT
()=P()×PS()は、 PT(1990年5月)P(A)×PS(1990年5
月)=0.45×0.3=0.135 PT(1990+5=)=P(B)×PS(1990+
5=)=0.3×0.4=0.12 PT(その他)=max{P(O),P(A),P
(B)}×PS(その他)=0.045以下 となる。
語(または文または算術式)とすると「1990年5
月」が選択される。そして、認識単語の属する辞書から
該当するアプリケーションを特定し、実行する。ここで
は、視線重みP()を上記のように定義したが、距離の
増大に対して単調減少する関数(例えば、P(A)=e
xp(−d(A))等)であれば、どのようなものでも
よい。
に類似したものとなるので、ここでは図示を省略する。
と視線検出範囲の距離を検出し、その距離に基づいて認
識対象(アプリケーションに関連づけられた辞書)の重
みづけを制御するので、視線位置の曖昧さが許容され
る。即ち、視線検出範囲に視線を釘付けにせずとも、そ
の近辺に視線が向いていればよいので、ユーザの負担が
軽減される。
する。ここでは、視線が停留していた位置より、視線が
外れても一定時間の間は、認識対象の視線重みを直ちに
変更せず、保持しておく場合を説明する。
Aの視線検出範囲306に存在する最も最後の時刻をt
0とすれば、この時のアプリケーションAの辞書307
内の認識対象の視線重みはP(A)=1である。
線検出範囲306から出ていても、t1−t0>T(例
えば、T=1sec)ならば、視線重みは変化せずP
(A)=1である。更に、時刻t2において、視線の停
留位置が視線検出範囲306から出ていて、t2−t0
≧Tならば、視線重みはP1(A)=0となる。
外れた時、認識対象の視線重みを徐々に変更することも
できる。この場合には、時刻tにおけるアプリケーショ
ンAの視線重みP(A)を図16のようにすればよい。
図16は実施例4における視線重みの変化形態を表す図
である。この図において、T1,T2,(T2>T1)
は適当な値(例えば、T1=1sec,T2=3se
c)である。
早い動きに対して緩衝作用を提供するので、使用者はよ
り視線を意識的に固定する必要が無くなり、使いごこち
のより優れた情報処理装置を提供できる。
施例5では、視線によって制御される認識対象の視線重
みの感度を、各認識対象によって異なるようにした場合
を示す。いま、アイコンAに視線が入ってから視線重み
が1になるまでの時間をTin(A)、アイコンAから
視線が外れてから視線重みが0になるまでの時間をTo
ut(A)とする。同様に、アイコンBに対してもTi
n(B),Tout(B)が存在する。いま、Tin
(A)=1sec,Tout(B)=2sec,Tou
t(B)=1secとした場合の、各時刻の視線重みの
変化形態を図17に示す。
視線の動きに対する緩衝作用が提供される <実施例6>本発明の他の実施例について述べる。ここ
では、音声認識中において、視線の位置が変われば、変
わった視線の位置によって、認識対象の視線重みを制御
する場合について示す。図18は実施例6の動作例を表
す図である。
り、視線の位置がS1にある。この時点での各認識対象
の視線重みは、 P(O)=0 P(A)=0 P(B)=1 である。ここで、「1994年5月」と発声し、発声終
了直前の位置がS2にあったとすると、各認識対象の視
線重みはS2における、 P(O)=0 P(A)=1 P(B)=0 という値が用いられる。
処理に先立って視線位置を検出し、その視線位置に基づ
いて視線重みを算出するものである。その処理手順は当
業者には自明であるので、フローチャートによる図示は
省略する。
は、各視線検出領域の確定的な時空間で視線を検出した
が、確率等の曖昧な検出でも良い。図19は、実施例7
における視線検出範囲と視線重みとの対応を説明する図
である。ここでは、視線重みが、P(A)=0.9,
0.5,0.1の3種類の領域を設定する。即ち、視線
重みは、アイコンに近いほど大きな値に設定されてい
る。このため、ユーザの視線位置が近いアイコンほどユ
ーザの興味が高いと判定される。従って、ユーザの興味
の高いアイコンが選択される確率が高くなる。このよう
に、視線位置に対する曖昧さが許容されるので、操作者
への負担が軽減される。尚、実施例7において、視線重
みの算出は、所定時間内に視線が停留した位置の視線重
みの平均値を用いる。そして、得られた視線重みを音声
認識確率に掛け合わせるようにする。
像処理により視線検出を行っている例であるが、視線検
出眼鏡などの検出装置であっても一切問題はない。
とその確率で示したが、認識対象が文、文法やその確率
でも一切問題はない。
システムに適用しても1つの機器からなる装置に適用し
ても良い。また、本発明はシステム或いは装置に本発明
により規定される処理を実行させるプログラムを供給す
ることによって達成される場合にも適用できることはい
うまでもない。
ユーザの注意や興味を視線により確実に検出し、この視
線に応じて音声認識する認識対象を制御することが可能
となり、音声認識率や認識速度等の性能が向上する。
すブロック図である。
図である。
である。
である。
す図である。
す図である。
す図である。
である。
トである。
トである。
ある。
図である。
態を表す図である。
の対応を説明する図である。
Claims (14)
- 【請求項1】 ユーザの視線位置を検出する検出手段
と、 前記検出手段により検出された視線位置に基づいて音声
認識のための認識対象を変更する変更手段と、 前記変更手段により変更された認識対象に基づいて音声
認識する認識手段とを備えることを特徴とする音声認識
装置。 - 【請求項2】 異なる認識対象が関連づけられた視線検
出範囲に基づく範囲を表示する表示手段と、 前記検出手段により検出された視線位置に基づいて、前
記表示手段の表示中より視線の停留している視線検出範
囲を識別する識別手段とを更に備え、 前記変更手段は、該識別された視線検出範囲に関連づけ
られた認識対象に音声認識のための認識対象を変更する
ことを特徴とする請求項1に記載の音声認識装置。 - 【請求項3】 前記識別手段は、視線がある視線検出範
囲に停留していると識別するために、時間的かつ空間的
な範囲を設けて識別を行うことを特徴とする請求項1に
記載の音声認識装置。 - 【請求項4】 ユーザの視線位置を検出する検出手段
と、 前記検出手段により検出された視線位置に基づいて音声
認識のための認識対象の重みを設定する設定手段と、 前記設定手段により設定された重みよって重みづけされ
た認識対象に基づいて音声認識する認識手段とを備える
ことを特徴とする音声認識装置。 - 【請求項5】 異なる認識対象が関連づけられた視線検
出範囲に基づく範囲を表示する表示手段と、 ユーザの前記表示手段上の視線位置を検出する検出手段
と、 前記検出手段により検出された視線位置と前記表示手段
により表示された各範囲の表示位置とに基づいて音声認
識のための認識対象の重みを設定する設定手段と、 前記設定手段により設定された重みよって重みづけされ
た認識対象に基づいて音声認識する認識手段とを備える
ことを特徴とする音声認識装置。 - 【請求項6】 前記検出手段により検出された視線位置
を所定時間にわたって保持し、視線が各視線検出範囲に
存在した存在時間を獲得する獲得手段を更に備え、 前記設定手段は、前記獲得手段により獲得された各視線
検出範囲における視線の存在時間に基づいて夫々に関連
する認識対象の重みを設定することを特徴とする請求項
5に記載の音声認識装置。 - 【請求項7】 視線が留まっている位置と前記夫々の視
線検出範囲との距離を獲得する獲得手段とを更に備え、 前記設定手段は、前記獲得手段により獲得された各視線
検出位置との距離に基づいて夫々の視線検出範囲に関連
する認識対象の重みを設定することを特徴とする請求項
5に記載の音声認識装置。 - 【請求項8】 前記設定手段は、視線が留まっていた視
線検出範囲より視線が外れた場合に、一定時間の間はそ
の視線検出範囲に視線が存するものとして認識対象の重
みを設定する、 ことを特徴とする請求項5に記載の音声認識装置。 - 【請求項9】 前記設定手段は、視線検出範囲より視線
が外れた場合に、該視線検出範囲と関連づけられた認識
対象の重みを徐々に変更することを特徴とする請求項5
に記載の音声認識装置。 - 【請求項10】 各視線検出範囲への視線の出入りに際
して、関連する認識対象の重みの変化の形態を保持する
保持手段を更に備え、 前記設定手段は、視線検出範囲における視線の出入りが
あった場合に、関連する認識対象の変化の形態を前記保
持手段より獲得し、該変化の形態に基づいて当該認識対
象の重みを設定することを特徴とする請求項5に記載の
音声認識装置。 - 【請求項11】 前記認識手段による処理の実行中にお
いて、視線の位置が変化した場合には前記設定手段が実
行されることを特徴とする請求項5に記載の音声認識装
置。 - 【請求項12】 ユーザの視線位置を検出する検出手段
と、 前記検出手段により検出された視線位置に基づいて音声
認識のための認識対象を変更する変更手段と、 前記検出手段により検出された視線位置に基づいて実行
すべきアプリケーションを特定する特定手段と、 前記変更手段により変更された認識対象に基づいて音声
認識する認識手段と、 前記認識手段によって認識された内容に基づいて、前記
特定手段で特定されたアプリケーションを実行する実行
手段とを備えることを特徴とする情報処理装置。 - 【請求項13】 ユーザの視線位置を検出する検出手段
と、 前記検出手段により検出された視線位置に基づいて音声
認識のための認識対象の重みを設定する設定手段と、 前記設定手段により設定された重みよって重みづけされ
た認識対象に基づいて音声認識する認識手段と、 前記認識手段によって認識された内容に基づいて、前記
特定手段で特定されたアプリケーションを実行する実行
手段とを備えることを特徴とする情報処理装置。 - 【請求項14】 異なる認識対象が関連づけられた視線
検出範囲に基づく範囲を表示する表示手段と、 ユーザの前記表示手段上の視線位置を検出する検出手段
と、 前記検出手段により検出された視線位置と前記表示手段
により表示された各範囲の表示位置とに基づいて音声認
識のための認識対象の重みを設定する設定手段と、 前記設定手段により設定された重みよって重みづけされ
た認識対象に基づいて音声認識する認識手段と、 前記認識手段で持ちいたれた認識対象関連づけられたア
プリケーションを、我意認識手段で認識された内容に基
づいて実行する実行手段とを備えることを特徴とする情
報処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22040494A JP3530591B2 (ja) | 1994-09-14 | 1994-09-14 | 音声認識装置及びこれを用いた情報処理装置とそれらの方法 |
US08/524,949 US6076061A (en) | 1994-09-14 | 1995-09-08 | Speech recognition apparatus and method and a computer usable medium for selecting an application in accordance with the viewpoint of a user |
EP95306401A EP0702355B1 (en) | 1994-09-14 | 1995-09-13 | Speech recognition method and apparatus |
DE69524829T DE69524829T2 (de) | 1994-09-14 | 1995-09-13 | Verfahren und Vorrichtung zur Spracherkennung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP22040494A JP3530591B2 (ja) | 1994-09-14 | 1994-09-14 | 音声認識装置及びこれを用いた情報処理装置とそれらの方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0883093A true JPH0883093A (ja) | 1996-03-26 |
JP3530591B2 JP3530591B2 (ja) | 2004-05-24 |
Family
ID=16750591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP22040494A Expired - Fee Related JP3530591B2 (ja) | 1994-09-14 | 1994-09-14 | 音声認識装置及びこれを用いた情報処理装置とそれらの方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6076061A (ja) |
EP (1) | EP0702355B1 (ja) |
JP (1) | JP3530591B2 (ja) |
DE (1) | DE69524829T2 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1124694A (ja) * | 1997-07-04 | 1999-01-29 | Sanyo Electric Co Ltd | 命令認識装置 |
JP2006031475A (ja) * | 2004-07-16 | 2006-02-02 | Toyota Motor Corp | 情報提供装置及び情報提供方法 |
US7047198B2 (en) | 2000-10-11 | 2006-05-16 | Nissan Motor Co., Ltd. | Audio input device and method of controlling the same |
JP2007142724A (ja) * | 2005-11-17 | 2007-06-07 | Aisin Seiki Co Ltd | 車両周辺表示装置 |
JP2009251303A (ja) * | 2008-04-07 | 2009-10-29 | Sony Corp | 画像信号生成装置、画像信号生成方法、プログラム及び記憶媒体 |
JP2013037590A (ja) * | 2011-08-09 | 2013-02-21 | Fujitsu Ltd | 目視対象物判定装置、目視対象物判定方法および目視対象物判定プログラム |
CN104428832A (zh) * | 2012-07-09 | 2015-03-18 | Lg电子株式会社 | 语音识别装置及其方法 |
WO2015125274A1 (ja) * | 2014-02-21 | 2015-08-27 | 三菱電機株式会社 | 音声認識装置、システムおよび方法 |
JP2017525002A (ja) * | 2014-06-06 | 2017-08-31 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 改善された音声認識を容易にする視覚的コンテンツの修正 |
JP2017211608A (ja) * | 2016-05-27 | 2017-11-30 | トヨタ自動車株式会社 | 音声対話装置および音声対話方法 |
US9881605B2 (en) | 2014-02-26 | 2018-01-30 | Mitsubishi Electric Corporation | In-vehicle control apparatus and in-vehicle control method |
US10002610B2 (en) | 2015-03-18 | 2018-06-19 | Fujitsu Limited | Presentation supporting device, presentation supporting method, and computer-readable recording medium |
JP2019200651A (ja) * | 2018-05-17 | 2019-11-21 | オリンパス株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2019235135A1 (ja) * | 2018-06-07 | 2019-12-12 | ソニー株式会社 | タスク対応情報の表示位置を変更する情報処理装置 |
US20220366909A1 (en) * | 2019-10-30 | 2022-11-17 | Sony Group Corporation | Information processing apparatus and command processing method |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6308157B1 (en) * | 1999-06-08 | 2001-10-23 | International Business Machines Corp. | Method and apparatus for providing an event-based “What-Can-I-Say?” window |
JP3969908B2 (ja) | 1999-09-14 | 2007-09-05 | キヤノン株式会社 | 音声入力端末器、音声認識装置、音声通信システム及び音声通信方法 |
DE50104533D1 (de) * | 2000-01-27 | 2004-12-23 | Siemens Ag | System und verfahren zur blickfokussierten sprachverarbeitung |
JP3728172B2 (ja) | 2000-03-31 | 2005-12-21 | キヤノン株式会社 | 音声合成方法および装置 |
JP4632384B2 (ja) * | 2000-03-31 | 2011-02-16 | キヤノン株式会社 | 音声情報処理装置及びその方法と記憶媒体 |
JP2001282278A (ja) * | 2000-03-31 | 2001-10-12 | Canon Inc | 音声情報処理装置及びその方法と記憶媒体 |
US7039588B2 (en) * | 2000-03-31 | 2006-05-02 | Canon Kabushiki Kaisha | Synthesis unit selection apparatus and method, and storage medium |
JP3728177B2 (ja) | 2000-05-24 | 2005-12-21 | キヤノン株式会社 | 音声処理システム、装置、方法及び記憶媒体 |
US6795806B1 (en) * | 2000-09-20 | 2004-09-21 | International Business Machines Corporation | Method for enhancing dictation and command discrimination |
KR20030072332A (ko) | 2000-10-11 | 2003-09-13 | 캐논 가부시끼가이샤 | 정보 처리 장치, 정보 처리 방법 및 기억 매체 |
US7010490B2 (en) * | 2001-01-26 | 2006-03-07 | International Business Machines Corporation | Method, system, and apparatus for limiting available selections in a speech recognition system |
EP1654728A1 (en) * | 2003-08-01 | 2006-05-10 | Philips Intellectual Property & Standards GmbH | Method for driving a dialog system |
US7302392B1 (en) * | 2003-10-07 | 2007-11-27 | Sprint Spectrum L.P. | Voice browser with weighting of browser-level grammar to enhance usability |
EP1699042B1 (en) * | 2003-12-26 | 2010-02-17 | Kabushiki Kaisha Kenwood | Device control device, method and program |
JP4587160B2 (ja) * | 2004-03-26 | 2010-11-24 | キヤノン株式会社 | 信号処理装置および方法 |
US8131548B2 (en) * | 2006-03-06 | 2012-03-06 | Nuance Communications, Inc. | Dynamically adjusting speech grammar weights based on usage |
JP4767754B2 (ja) | 2006-05-18 | 2011-09-07 | 富士通株式会社 | 音声認識装置および音声認識プログラム |
JP4257661B2 (ja) | 2006-06-30 | 2009-04-22 | アイシン・エィ・ダブリュ株式会社 | ナビゲーション装置 |
JP2008058409A (ja) * | 2006-08-29 | 2008-03-13 | Aisin Aw Co Ltd | 音声認識方法及び音声認識装置 |
US20090196460A1 (en) * | 2008-01-17 | 2009-08-06 | Thomas Jakobs | Eye tracking system and method |
US9108513B2 (en) | 2008-11-10 | 2015-08-18 | Volkswagen Ag | Viewing direction and acoustic command based operating device for a motor vehicle |
US8700332B2 (en) | 2008-11-10 | 2014-04-15 | Volkswagen Ag | Operating device for a motor vehicle |
KR101581883B1 (ko) * | 2009-04-30 | 2016-01-11 | 삼성전자주식회사 | 모션 정보를 이용하는 음성 검출 장치 및 방법 |
CN102063282B (zh) * | 2009-11-18 | 2014-08-13 | 上海果壳电子有限公司 | 汉语语音输入系统及方法 |
GB2485145A (en) * | 2010-10-29 | 2012-05-09 | Displaylink Uk Ltd | Audio command routing method for voice-controlled applications in multi-display systems |
KR101295711B1 (ko) * | 2011-02-15 | 2013-08-16 | 주식회사 팬택 | 음성 인식으로 애플리케이션의 실행 가능한 이동통신 단말 장치 및 방법 |
AU2013205535B2 (en) * | 2012-05-02 | 2018-03-15 | Samsung Electronics Co., Ltd. | Apparatus and method of controlling mobile terminal based on analysis of user's face |
US9734839B1 (en) * | 2012-06-20 | 2017-08-15 | Amazon Technologies, Inc. | Routing natural language commands to the appropriate applications |
US9569174B2 (en) * | 2014-07-08 | 2017-02-14 | Honeywell International Inc. | Methods and systems for managing speech recognition in a multi-speech system environment |
JP6516585B2 (ja) * | 2015-06-24 | 2019-05-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 制御装置、その方法及びプログラム |
US10262555B2 (en) | 2015-10-09 | 2019-04-16 | Microsoft Technology Licensing, Llc | Facilitating awareness and conversation throughput in an augmentative and alternative communication system |
US10148808B2 (en) | 2015-10-09 | 2018-12-04 | Microsoft Technology Licensing, Llc | Directed personal communication for speech generating devices |
US9679497B2 (en) * | 2015-10-09 | 2017-06-13 | Microsoft Technology Licensing, Llc | Proxies for speech generating devices |
JP2021145788A (ja) * | 2020-03-17 | 2021-09-27 | ソニー・オリンパスメディカルソリューションズ株式会社 | 制御装置および医療用観察システム |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6237734A (ja) * | 1985-08-12 | 1987-02-18 | Matsushita Electric Ind Co Ltd | 命令選択装置 |
JPH02277196A (ja) * | 1989-03-20 | 1990-11-13 | Hitachi Ltd | マンマシンシステム |
JPH04329598A (ja) * | 1991-03-28 | 1992-11-18 | Internatl Business Mach Corp <Ibm> | 音声及び手書き動作の統合型情報を用いたメッセージ認識システム及び方法 |
JPH04372012A (ja) * | 1991-06-20 | 1992-12-25 | Fuji Xerox Co Ltd | 入力装置 |
JPH05143273A (ja) * | 1991-11-26 | 1993-06-11 | Matsushita Electric Ind Co Ltd | データ処理装置におけるウインドウ選択装置 |
JPH05298015A (ja) * | 1992-04-23 | 1993-11-12 | Matsushita Electric Ind Co Ltd | 視線検出システムおよび情報処理システム |
JPH05307432A (ja) * | 1992-04-30 | 1993-11-19 | Nippon Telegr & Teleph Corp <Ntt> | 時刻タグ付加による多チャネル間同期統合装置 |
JPH0651901A (ja) * | 1992-06-29 | 1994-02-25 | Nri & Ncc Co Ltd | 視線認識によるコミュニケーション装置 |
JPH06205766A (ja) * | 1993-01-07 | 1994-07-26 | Toshiba Corp | 医用操作器具 |
JPH06214711A (ja) * | 1992-09-25 | 1994-08-05 | Sextant Avionique | 対話システムの管理システム |
JPH06251287A (ja) * | 1993-02-23 | 1994-09-09 | Mitsubishi Electric Corp | 運転支援システム |
JPH0883158A (ja) * | 1994-09-14 | 1996-03-26 | Canon Inc | 情報処理方法及び装置 |
JPH0883157A (ja) * | 1994-09-14 | 1996-03-26 | Canon Inc | 情報処理方法及び装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3986030A (en) * | 1975-11-03 | 1976-10-12 | Teltscher Erwin S | Eye-motion operable keyboard-accessory |
US4406626A (en) * | 1979-07-31 | 1983-09-27 | Anderson Weston A | Electronic teaching aid |
US4595990A (en) * | 1980-12-31 | 1986-06-17 | International Business Machines Corporation | Eye controlled information transfer |
US4702575A (en) * | 1981-05-11 | 1987-10-27 | The United States Of America As Represented By The Secretary Of The Navy | Helmet mounted eye tracker using a position sensing detector |
JPS6332624A (ja) * | 1986-07-28 | 1988-02-12 | Canon Inc | 情報処理装置 |
JPH02239292A (ja) * | 1989-03-13 | 1990-09-21 | Canon Inc | 音声合成装置 |
JPH03163623A (ja) * | 1989-06-23 | 1991-07-15 | Articulate Syst Inc | 音声制御コンピュータ・インターフェース |
DE69028072T2 (de) * | 1989-11-06 | 1997-01-09 | Canon Kk | Verfahren und Einrichtung zur Sprachsynthese |
CA2081910C (en) * | 1990-05-01 | 2000-04-25 | Donald E. Drumm | Hands-free hardware keyboard |
DE69101527T2 (de) * | 1990-08-16 | 1994-07-14 | Fujitsu Ten Ltd | Spracherkennungseinrichtung für ein Fahrzeug mit einer Mikrophonanordnung zur Lokalisierung des Sitzes, von welchem ein Befehl kommt. |
WO1993014454A1 (en) * | 1992-01-10 | 1993-07-22 | Foster-Miller, Inc. | A sensory integrated data interface |
CA2481892C (en) * | 1992-12-31 | 2009-02-10 | Apple Computer, Inc. | A speech recognition system |
EP0618565A3 (en) * | 1993-04-02 | 1996-06-26 | Ibm | Speech recognition with interactive dynamic grammar restriction. |
-
1994
- 1994-09-14 JP JP22040494A patent/JP3530591B2/ja not_active Expired - Fee Related
-
1995
- 1995-09-08 US US08/524,949 patent/US6076061A/en not_active Expired - Lifetime
- 1995-09-13 EP EP95306401A patent/EP0702355B1/en not_active Expired - Lifetime
- 1995-09-13 DE DE69524829T patent/DE69524829T2/de not_active Expired - Lifetime
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6237734A (ja) * | 1985-08-12 | 1987-02-18 | Matsushita Electric Ind Co Ltd | 命令選択装置 |
JP2845926B2 (ja) * | 1989-03-20 | 1999-01-13 | 株式会社日立製作所 | マンマシンシステム |
JPH02277196A (ja) * | 1989-03-20 | 1990-11-13 | Hitachi Ltd | マンマシンシステム |
JPH04329598A (ja) * | 1991-03-28 | 1992-11-18 | Internatl Business Mach Corp <Ibm> | 音声及び手書き動作の統合型情報を用いたメッセージ認識システム及び方法 |
JPH04372012A (ja) * | 1991-06-20 | 1992-12-25 | Fuji Xerox Co Ltd | 入力装置 |
JPH05143273A (ja) * | 1991-11-26 | 1993-06-11 | Matsushita Electric Ind Co Ltd | データ処理装置におけるウインドウ選択装置 |
JPH05298015A (ja) * | 1992-04-23 | 1993-11-12 | Matsushita Electric Ind Co Ltd | 視線検出システムおよび情報処理システム |
JPH05307432A (ja) * | 1992-04-30 | 1993-11-19 | Nippon Telegr & Teleph Corp <Ntt> | 時刻タグ付加による多チャネル間同期統合装置 |
JPH0651901A (ja) * | 1992-06-29 | 1994-02-25 | Nri & Ncc Co Ltd | 視線認識によるコミュニケーション装置 |
JPH06214711A (ja) * | 1992-09-25 | 1994-08-05 | Sextant Avionique | 対話システムの管理システム |
JPH06205766A (ja) * | 1993-01-07 | 1994-07-26 | Toshiba Corp | 医用操作器具 |
JPH06251287A (ja) * | 1993-02-23 | 1994-09-09 | Mitsubishi Electric Corp | 運転支援システム |
JP3160108B2 (ja) * | 1993-02-23 | 2001-04-23 | 三菱電機株式会社 | 運転支援システム |
JPH0883158A (ja) * | 1994-09-14 | 1996-03-26 | Canon Inc | 情報処理方法及び装置 |
JPH0883157A (ja) * | 1994-09-14 | 1996-03-26 | Canon Inc | 情報処理方法及び装置 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1124694A (ja) * | 1997-07-04 | 1999-01-29 | Sanyo Electric Co Ltd | 命令認識装置 |
US7047198B2 (en) | 2000-10-11 | 2006-05-16 | Nissan Motor Co., Ltd. | Audio input device and method of controlling the same |
JP2006031475A (ja) * | 2004-07-16 | 2006-02-02 | Toyota Motor Corp | 情報提供装置及び情報提供方法 |
JP4586443B2 (ja) * | 2004-07-16 | 2010-11-24 | トヨタ自動車株式会社 | 情報提供装置 |
JP2007142724A (ja) * | 2005-11-17 | 2007-06-07 | Aisin Seiki Co Ltd | 車両周辺表示装置 |
US8115811B2 (en) | 2005-11-17 | 2012-02-14 | Aisin Seiki Kabushiki Kaisha | Vehicle surrounding area display device |
JP2009251303A (ja) * | 2008-04-07 | 2009-10-29 | Sony Corp | 画像信号生成装置、画像信号生成方法、プログラム及び記憶媒体 |
JP2013037590A (ja) * | 2011-08-09 | 2013-02-21 | Fujitsu Ltd | 目視対象物判定装置、目視対象物判定方法および目視対象物判定プログラム |
CN104428832A (zh) * | 2012-07-09 | 2015-03-18 | Lg电子株式会社 | 语音识别装置及其方法 |
JP5925401B2 (ja) * | 2014-02-21 | 2016-05-25 | 三菱電機株式会社 | 音声認識装置、システムおよび方法 |
WO2015125274A1 (ja) * | 2014-02-21 | 2015-08-27 | 三菱電機株式会社 | 音声認識装置、システムおよび方法 |
US9881605B2 (en) | 2014-02-26 | 2018-01-30 | Mitsubishi Electric Corporation | In-vehicle control apparatus and in-vehicle control method |
JP2017525002A (ja) * | 2014-06-06 | 2017-08-31 | マイクロソフト テクノロジー ライセンシング,エルエルシー | 改善された音声認識を容易にする視覚的コンテンツの修正 |
US10002610B2 (en) | 2015-03-18 | 2018-06-19 | Fujitsu Limited | Presentation supporting device, presentation supporting method, and computer-readable recording medium |
JP2017211608A (ja) * | 2016-05-27 | 2017-11-30 | トヨタ自動車株式会社 | 音声対話装置および音声対話方法 |
US10395653B2 (en) | 2016-05-27 | 2019-08-27 | Toyota Jidosha Kabushiki Kaisha | Voice dialog device and voice dialog method |
US10867607B2 (en) | 2016-05-27 | 2020-12-15 | Toyota Jidosha Kabushiki Kaisha | Voice dialog device and voice dialog method |
JP2019200651A (ja) * | 2018-05-17 | 2019-11-21 | オリンパス株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2019235135A1 (ja) * | 2018-06-07 | 2019-12-12 | ソニー株式会社 | タスク対応情報の表示位置を変更する情報処理装置 |
US20220366909A1 (en) * | 2019-10-30 | 2022-11-17 | Sony Group Corporation | Information processing apparatus and command processing method |
Also Published As
Publication number | Publication date |
---|---|
JP3530591B2 (ja) | 2004-05-24 |
DE69524829T2 (de) | 2002-06-20 |
EP0702355A2 (en) | 1996-03-20 |
US6076061A (en) | 2000-06-13 |
EP0702355B1 (en) | 2002-01-02 |
DE69524829D1 (de) | 2002-02-07 |
EP0702355A3 (en) | 1997-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3530591B2 (ja) | 音声認識装置及びこれを用いた情報処理装置とそれらの方法 | |
US10706853B2 (en) | Speech dialogue device and speech dialogue method | |
CN106796786B (zh) | 语音识别系统 | |
JP3943492B2 (ja) | ディクテーションとコマンドの区別を向上させる方法 | |
US7177816B2 (en) | System and method of handling problematic input during context-sensitive help for multi-modal dialog systems | |
US11145299B2 (en) | Managing voice interface devices | |
CN110534109B (zh) | 语音识别方法、装置、电子设备及存储介质 | |
JP6675078B2 (ja) | 誤認識訂正方法、誤認識訂正装置及び誤認識訂正プログラム | |
US8041576B2 (en) | Information processing apparatus and information processing method | |
JP3399674B2 (ja) | 画面制御装置とその方法 | |
US20220013117A1 (en) | Information processing apparatus and information processing method | |
JP2001067091A (ja) | 音声認識装置 | |
JP6522009B2 (ja) | 音声認識システム | |
US7526735B2 (en) | Aiding visual search in a list of learnable speech commands | |
EP1316944B1 (en) | Sound signal recognition system and method, and dialog control system and method using it | |
JP7215417B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP4056711B2 (ja) | 音声認識装置 | |
EP3816774A1 (en) | Information processing device for executing plurality of processes in parallel | |
JP2003263308A (ja) | 画面制御装置とその方法 | |
JP3006497B2 (ja) | 音声認識装置 | |
US11783828B2 (en) | Combining responses from multiple automated assistants | |
KR102456438B1 (ko) | 인공지능을 활용한 비주얼 웨이크 업 시스템 | |
JPH06259091A (ja) | 音声認識装置 | |
JPH06110495A (ja) | 音声認識装置 | |
CN117894310A (zh) | 语音交互系统、移动终端和服务器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040209 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040301 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080305 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090305 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100305 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100305 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110305 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120305 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140305 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |