JPH11143484A - 息検出機能付情報処理装置及び息検出による画像表示制御方法 - Google Patents
息検出機能付情報処理装置及び息検出による画像表示制御方法Info
- Publication number
- JPH11143484A JPH11143484A JP9302212A JP30221297A JPH11143484A JP H11143484 A JPH11143484 A JP H11143484A JP 9302212 A JP9302212 A JP 9302212A JP 30221297 A JP30221297 A JP 30221297A JP H11143484 A JPH11143484 A JP H11143484A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- breath
- voice
- input
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 title claims description 21
- 238000000034 method Methods 0.000 title claims description 15
- 230000005236 sound signal Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 abstract description 9
- 230000033764 rhythmic process Effects 0.000 abstract 1
- 238000007664 blowing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000029058 respiratory gaseous exchange Effects 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000007921 spray Substances 0.000 description 2
- 239000003610 charcoal Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 235000012171 hot beverage Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
Abstract
(57)【要約】 （修正有）
【課題】 ユーザは自分の息の吹きかけ・吸込みが画
像、ロボットに直接作用したような感じが得られ、違和
感が取除かれ、ユーザと表示画面上の仮想世界、ロボッ
トとの間の隔たり感がなくなる息の吹きかけ・吸込み検
出機能付情報処理装置。 【解決手段】 音声処理部２は、マイクロフォン１から
の入力音声を特徴付ける要素の音声パワー、音声素片の
特徴量３を検出し、音韻認識部４及び息音声認識部６
は、辞書41、61に格納の音声素片及び判断規則を参照
し、入力音声が息の吹きかけ・吸込みの音声であるかを
判断し、物理量変換部８は、息の吹きかけ・吸込みの入
力音声の場合は、音声パワー、音声素片の特徴量から定
まる音声の性質といった息音声認識結果７に基づき、音
声パワーの時系列データを寒暖時系列データ９に変換
し、表示制御部10は、この物理量情報を表面画面11上の
画像の表示色、移動速度、移動距離などの表示パラメー
タに変換する。
像、ロボットに直接作用したような感じが得られ、違和
感が取除かれ、ユーザと表示画面上の仮想世界、ロボッ
トとの間の隔たり感がなくなる息の吹きかけ・吸込み検
出機能付情報処理装置。 【解決手段】 音声処理部２は、マイクロフォン１から
の入力音声を特徴付ける要素の音声パワー、音声素片の
特徴量３を検出し、音韻認識部４及び息音声認識部６
は、辞書41、61に格納の音声素片及び判断規則を参照
し、入力音声が息の吹きかけ・吸込みの音声であるかを
判断し、物理量変換部８は、息の吹きかけ・吸込みの入
力音声の場合は、音声パワー、音声素片の特徴量から定
まる音声の性質といった息音声認識結果７に基づき、音
声パワーの時系列データを寒暖時系列データ９に変換
し、表示制御部10は、この物理量情報を表面画面11上の
画像の表示色、移動速度、移動距離などの表示パラメー
タに変換する。
Description
【０００１】
【発明の属する技術分野】本発明は、マイクロフォンの
ような音声入力手段により入力された音声が、息の音声
であるか否かを検出する機能を備えたパーソナルコンピ
ュータ（以下、パソコンという）、携帯用ゲーム機など
の情報処理装置、及びこのような情報処理装置における
息の検出による画像表示制御方法に関する。
ような音声入力手段により入力された音声が、息の音声
であるか否かを検出する機能を備えたパーソナルコンピ
ュータ（以下、パソコンという）、携帯用ゲーム機など
の情報処理装置、及びこのような情報処理装置における
息の検出による画像表示制御方法に関する。
【０００２】
【従来の技術】従来、パソコンのディスプレイ画面上で
画像を移動させたり、例えば風船を膨らませる場合のよ
うに画像の状態を変化させたりする場合、キーボードの
カーソル移動キー、マウスなどの操作により移動させ、
またこれらの操作により画像の状態を変化させるような
コマンドを与える方法が一般的である。
画像を移動させたり、例えば風船を膨らませる場合のよ
うに画像の状態を変化させたりする場合、キーボードの
カーソル移動キー、マウスなどの操作により移動させ、
またこれらの操作により画像の状態を変化させるような
コマンドを与える方法が一般的である。
【０００３】また、マイクロフォンから入力されたユー
ザの言葉を認識し、例えばディスプレイ画面上の仮想世
界に棲息する人工生物に、入力された言葉に応じた動作
を行わせたり、またはパソコンに接続されているロボッ
トを、入力された言葉に応じて動作させたりするアプリ
ケーション・プログラムが提供されている。
ザの言葉を認識し、例えばディスプレイ画面上の仮想世
界に棲息する人工生物に、入力された言葉に応じた動作
を行わせたり、またはパソコンに接続されているロボッ
トを、入力された言葉に応じて動作させたりするアプリ
ケーション・プログラムが提供されている。
【０００４】
【発明が解決しようとする課題】しかし、キーボード、
マウスなどを操作してディスプレイ画面上の風船に息を
吹きかけて飛ばしたり、風船を膨らましたりすること
は、現実の息の吹きかけ動作とかけ離れた動作であるた
めにユーザに違和感を与え、ディスプレイ画面上の仮想
世界との間に隔たりを感じさせる。
マウスなどを操作してディスプレイ画面上の風船に息を
吹きかけて飛ばしたり、風船を膨らましたりすること
は、現実の息の吹きかけ動作とかけ離れた動作であるた
めにユーザに違和感を与え、ディスプレイ画面上の仮想
世界との間に隔たりを感じさせる。
【０００５】前述のように、マイクロフォンから入力さ
れた言葉で人工生物、ロボットを動作させたりするアプ
リケーション・プログラムは、ユーザとディスプレイ画
面上の仮想世界、またはロボットとの間の隔たりを取り
除く効果はあるが、言葉ではない息の吹きかけ・吸い込
みに応じてディスプレイ画面上の画像を移動、変化させ
たり、またロボットを動作させたりする機能は備えてい
ない。
れた言葉で人工生物、ロボットを動作させたりするアプ
リケーション・プログラムは、ユーザとディスプレイ画
面上の仮想世界、またはロボットとの間の隔たりを取り
除く効果はあるが、言葉ではない息の吹きかけ・吸い込
みに応じてディスプレイ画面上の画像を移動、変化させ
たり、またロボットを動作させたりする機能は備えてい
ない。
【０００６】本発明はこのような問題点を解決するため
になされたものであって、マイクロフォンのような入力
手段により入力された息の音声を検出して音声パワーの
ような特徴量を、温度、移動速度などの他の物理量に変
換し、ディスプレイ画面上の画像の表示状態、またロボ
ットのような可動体の駆動状態を制御することにより、
ユーザは自分の息が画像、ロボットに直接作用したよう
な感じが得られ、違和感が取り除かれ、ユーザとディス
プレイ画面上の仮想世界、またはロボットとの間の隔た
り感がなくなるパソコン、携帯用ゲーム機などの息検出
機能付情報処理装置、及びこのような情報処理装置にお
ける息の検出による画像表示制御方法の提供を目的とす
る。
になされたものであって、マイクロフォンのような入力
手段により入力された息の音声を検出して音声パワーの
ような特徴量を、温度、移動速度などの他の物理量に変
換し、ディスプレイ画面上の画像の表示状態、またロボ
ットのような可動体の駆動状態を制御することにより、
ユーザは自分の息が画像、ロボットに直接作用したよう
な感じが得られ、違和感が取り除かれ、ユーザとディス
プレイ画面上の仮想世界、またはロボットとの間の隔た
り感がなくなるパソコン、携帯用ゲーム機などの息検出
機能付情報処理装置、及びこのような情報処理装置にお
ける息の検出による画像表示制御方法の提供を目的とす
る。
【０００７】
【課題を解決するための手段】第１発明の息検出機能付
情報処理装置は、音声信号から息の音声を検出し、検出
結果に基づき処理した所定の情報を出力する装置であっ
て、音声の入力手段と、該入力手段により入力された音
声を特徴付けている要素の特徴量を検出する手段と、息
の音声を構成する音声素片、及び該音声素片に基づいて
息の音声であるか否かを判断するための判断規則を格納
している辞書と、該辞書を参照して、前記入力手段によ
り入力された音声が息の音声か否かを判断する手段と、
該手段の判断の結果、前記入力手段により入力された音
声が息の音声の場合は、該音声の前記要素の特徴量に基
づいて該音声の所定要素の特徴量を他の物理量の情報に
変換する手段と、該物理量の情報を前記所定の情報に変
換する手段とを備えたことを特徴とする。
情報処理装置は、音声信号から息の音声を検出し、検出
結果に基づき処理した所定の情報を出力する装置であっ
て、音声の入力手段と、該入力手段により入力された音
声を特徴付けている要素の特徴量を検出する手段と、息
の音声を構成する音声素片、及び該音声素片に基づいて
息の音声であるか否かを判断するための判断規則を格納
している辞書と、該辞書を参照して、前記入力手段によ
り入力された音声が息の音声か否かを判断する手段と、
該手段の判断の結果、前記入力手段により入力された音
声が息の音声の場合は、該音声の前記要素の特徴量に基
づいて該音声の所定要素の特徴量を他の物理量の情報に
変換する手段と、該物理量の情報を前記所定の情報に変
換する手段とを備えたことを特徴とする。
【０００８】第２発明の息検出機能付情報処理装置は、
音声信号から息の音声を検出し、検出結果に基づき処理
した表示情報を表示する装置であって、音声の入力手段
と、画像を表示する画面と、該画面への画像の表示状態
を表示パラメータに応じて制御する手段と、前記入力手
段により入力された音声を特徴付けている要素の特徴量
を検出する手段と、息の音声を構成する音声素片、及び
該音声素片に基づいて息の音声であるか否かを判断する
ための判断規則を格納している辞書と、該辞書を参照し
て、前記手段により入力された音声が息の音声か否かを
判断する手段と、該手段の判断の結果、前記入力手段に
より入力された音声が息の音声の場合は、該音声の前記
要素の特徴量に基づいて該音声の所定要素の特徴量を他
の物理量の情報に変換する手段と、該物理量の情報を前
記表示パラメータに変換する手段とを備えたことを特徴
とする。
音声信号から息の音声を検出し、検出結果に基づき処理
した表示情報を表示する装置であって、音声の入力手段
と、画像を表示する画面と、該画面への画像の表示状態
を表示パラメータに応じて制御する手段と、前記入力手
段により入力された音声を特徴付けている要素の特徴量
を検出する手段と、息の音声を構成する音声素片、及び
該音声素片に基づいて息の音声であるか否かを判断する
ための判断規則を格納している辞書と、該辞書を参照し
て、前記手段により入力された音声が息の音声か否かを
判断する手段と、該手段の判断の結果、前記入力手段に
より入力された音声が息の音声の場合は、該音声の前記
要素の特徴量に基づいて該音声の所定要素の特徴量を他
の物理量の情報に変換する手段と、該物理量の情報を前
記表示パラメータに変換する手段とを備えたことを特徴
とする。
【０００９】第３発明の息検出機能付情報処理装置は、
音声信号から息の音声を検出し、検出結果に基づき処理
した所定の情報を出力する装置であって、音声の入力手
段と、可動体と、該可動体を動作させる駆動手段と、該
駆動手段の駆動状態を駆動パラメータに応じて制御する
手段と、前記入力手段により入力された音声を特徴付け
ている要素の特徴量を検出する手段と、息の音声を構成
する音声素片、及び該音声素片に基づいて息の音声であ
るか否かを判断するための判断規則を格納している辞書
と、該辞書を参照して、前記入力手段により入力された
音声が息の音声か否かを判断する手段と、該手段の判断
の結果、前記入力手段により入力された音声が息の音声
の場合は、該音声の前記要素の特徴量に基づいて該音声
の所定要素の特徴量を他の物理量の情報に変換する手段
と、該物理量の情報を前記駆動パラメータに変換する手
段とを備えたことを特徴とする。
音声信号から息の音声を検出し、検出結果に基づき処理
した所定の情報を出力する装置であって、音声の入力手
段と、可動体と、該可動体を動作させる駆動手段と、該
駆動手段の駆動状態を駆動パラメータに応じて制御する
手段と、前記入力手段により入力された音声を特徴付け
ている要素の特徴量を検出する手段と、息の音声を構成
する音声素片、及び該音声素片に基づいて息の音声であ
るか否かを判断するための判断規則を格納している辞書
と、該辞書を参照して、前記入力手段により入力された
音声が息の音声か否かを判断する手段と、該手段の判断
の結果、前記入力手段により入力された音声が息の音声
の場合は、該音声の前記要素の特徴量に基づいて該音声
の所定要素の特徴量を他の物理量の情報に変換する手段
と、該物理量の情報を前記駆動パラメータに変換する手
段とを備えたことを特徴とする。
【００１０】第４発明の息検出による画像表示制御方法
は、音声の入力手段と、画像を表示する画面と、該画面
への画像の表示状態を表示パラメータに応じて制御する
手段とを備えた情報処理装置において、入力された音声
信号から息の音声を検出し、検出結果に基づき処理した
表示情報を画面に表示する方法であって、前記入力手段
により入力された音声を特徴付けている要素の特徴量を
検出し、息の音声を構成する音声素片、及び該音声素片
に基づいて息の音声であるか否かを判断するための判断
規則を格納している辞書を参照して、入力された音声が
息の音声か否かを判断し、判断の結果、入力された音声
が息の音声の場合は、該音声の前記要素の特徴量に基づ
いて該音声の所定要素の特徴量を他の物理量の情報に変
換し、該物理量の情報をさらに表示パラメータに変換
し、該画面への画像の表示状態を該表示パラメータに応
じて制御することを特徴とする。
は、音声の入力手段と、画像を表示する画面と、該画面
への画像の表示状態を表示パラメータに応じて制御する
手段とを備えた情報処理装置において、入力された音声
信号から息の音声を検出し、検出結果に基づき処理した
表示情報を画面に表示する方法であって、前記入力手段
により入力された音声を特徴付けている要素の特徴量を
検出し、息の音声を構成する音声素片、及び該音声素片
に基づいて息の音声であるか否かを判断するための判断
規則を格納している辞書を参照して、入力された音声が
息の音声か否かを判断し、判断の結果、入力された音声
が息の音声の場合は、該音声の前記要素の特徴量に基づ
いて該音声の所定要素の特徴量を他の物理量の情報に変
換し、該物理量の情報をさらに表示パラメータに変換
し、該画面への画像の表示状態を該表示パラメータに応
じて制御することを特徴とする。
【００１１】第１発明では、マイクロフォンのような入
力手段により入力された音声を特徴付けている要素であ
る音声パワー、音声素片の特徴量を検出し、辞書に格納
されている音声素片及び判断規則を参照して、入力され
た音声が息の音声であるか否かを判断し、入力された音
声が息の音声の場合は、この音声の音声パワー、音声素
片の特徴量から定まる音声の性質といった特徴量に基づ
き、例えば音声パワーを温度、速度、圧力などの他の物
理量の情報に変換する。さらに第２発明及び第４発明で
はこの物理量の情報を画面上の画像の表示色、移動速
度、移動距離などの表示パラメータに変換する。これに
より、ユーザは、自分の息が画面上の画像に直接作用し
たような感じを得ることができる。
力手段により入力された音声を特徴付けている要素であ
る音声パワー、音声素片の特徴量を検出し、辞書に格納
されている音声素片及び判断規則を参照して、入力され
た音声が息の音声であるか否かを判断し、入力された音
声が息の音声の場合は、この音声の音声パワー、音声素
片の特徴量から定まる音声の性質といった特徴量に基づ
き、例えば音声パワーを温度、速度、圧力などの他の物
理量の情報に変換する。さらに第２発明及び第４発明で
はこの物理量の情報を画面上の画像の表示色、移動速
度、移動距離などの表示パラメータに変換する。これに
より、ユーザは、自分の息が画面上の画像に直接作用し
たような感じを得ることができる。
【００１２】また第３発明では、例えば音声パワーを変
換した速度、圧力などの他の物理量の情報を、ロボット
のような可動体の移動速度、移動距離、動作状態などの
駆動パラメータに変換する。これにより、ユーザは、自
分の息が可動体に直接作用したような感じを得ることが
できる。
換した速度、圧力などの他の物理量の情報を、ロボット
のような可動体の移動速度、移動距離、動作状態などの
駆動パラメータに変換する。これにより、ユーザは、自
分の息が可動体に直接作用したような感じを得ることが
できる。
【００１３】
【発明の実施の形態】図１は本発明の息検出機能付情報
処理装置（以下、本発明装置という）のブロック図であ
って、本発明装置がパソコンに適用された場合を例にし
て説明する。本形態の装置は音声認識の技術を応用した
ものである。図中、１は音声の入力手段としてのマイク
ロフォンであって、本形態では、ディスプレイ画面11の
下辺中央に配されている。
処理装置（以下、本発明装置という）のブロック図であ
って、本発明装置がパソコンに適用された場合を例にし
て説明する。本形態の装置は音声認識の技術を応用した
ものである。図中、１は音声の入力手段としてのマイク
ロフォンであって、本形態では、ディスプレイ画面11の
下辺中央に配されている。
【００１４】音響処理部２は、マイクロフォン１から入
力された音声信号に対して、例えば20〜30msec程度の短
い区間ごとに周波数分析、線形予測分析などの変換を行
って音声を分析し、これを、例えば数次元〜数十次元程
度の特徴ベクトルの系列に変換する。この変換によっ
て、マイクロフォン１から入力された音声信号の特徴量
３である、音声パワー31及び音声素片32のデータが得ら
れる。
力された音声信号に対して、例えば20〜30msec程度の短
い区間ごとに周波数分析、線形予測分析などの変換を行
って音声を分析し、これを、例えば数次元〜数十次元程
度の特徴ベクトルの系列に変換する。この変換によっ
て、マイクロフォン１から入力された音声信号の特徴量
３である、音声パワー31及び音声素片32のデータが得ら
れる。
【００１５】音声素片認識部４は、連続している音声信
号を、音声認識に都合が良い音韻単位または単音節単位
の音声素片に分割し、音声素片照合手段42は、この音声
素片を、音声辞書41の通常音声41a 、雑音41b 、息吹き
かけ音声41c 、及び息吸い込み音声41d の辞書群に格納
されている音声素片の音形と照合し、入力音声の各音声
素片（フレーム）が、母音、子音といった通常音声であ
るか、雑音であるか、息吹きかけ音声であるか、または
息吸い込み音声であるかの認識を行う。音声素片認識の
結果、各フレームの辞書データとの類似度を付加した音
声ラティス５（図２(a) 参照）が得られる。図２(a) で
は、通常音声、雑音、息吹きかけ音声、息吸い込み音声
の各フレームにおいて、辞書データとの類似度が高いフ
レームほど濃い色（高密度のハッチング）で示されてお
り、所定レベル以上の類似度を有するフレームがそれぞ
れの音声である（有効）とする。
号を、音声認識に都合が良い音韻単位または単音節単位
の音声素片に分割し、音声素片照合手段42は、この音声
素片を、音声辞書41の通常音声41a 、雑音41b 、息吹き
かけ音声41c 、及び息吸い込み音声41d の辞書群に格納
されている音声素片の音形と照合し、入力音声の各音声
素片（フレーム）が、母音、子音といった通常音声であ
るか、雑音であるか、息吹きかけ音声であるか、または
息吸い込み音声であるかの認識を行う。音声素片認識の
結果、各フレームの辞書データとの類似度を付加した音
声ラティス５（図２(a) 参照）が得られる。図２(a) で
は、通常音声、雑音、息吹きかけ音声、息吸い込み音声
の各フレームにおいて、辞書データとの類似度が高いフ
レームほど濃い色（高密度のハッチング）で示されてお
り、所定レベル以上の類似度を有するフレームがそれぞ
れの音声である（有効）とする。
【００１６】息音声認識部６では、息音声認識手段62
が、息音声及び息音声以外の音声と認識し得る継続フレ
ーム数、息音声と判断する音声パワーのしきい値、及び
後述するように、これらに基づいて息音声であるか否か
を判断するアルゴリズム（図４参照）が格納されている
判断規則辞書61を参照し、特徴量３として検出した音声
パワー31及び音声ラティス５の中から、息音声を認識す
る。息音声認識の結果、息音声と認識したフレームの音
声ラティス及び音声パワー、即ち息音声の特徴量の時系
列データからなる息音声認識結果７（図３参照）が得ら
れる。
が、息音声及び息音声以外の音声と認識し得る継続フレ
ーム数、息音声と判断する音声パワーのしきい値、及び
後述するように、これらに基づいて息音声であるか否か
を判断するアルゴリズム（図４参照）が格納されている
判断規則辞書61を参照し、特徴量３として検出した音声
パワー31及び音声ラティス５の中から、息音声を認識す
る。息音声認識の結果、息音声と認識したフレームの音
声ラティス及び音声パワー、即ち息音声の特徴量の時系
列データからなる息音声認識結果７（図３参照）が得ら
れる。
【００１７】物理量変換部８は、息音声認識結果７の特
徴量の時系列データに基づいて、音声パワーを温度、速
度、距離、圧力などの他の物理量に変換する。本例では
音声パワーを温度に変換した寒暖時系列データ９に変換
する。表示制御部10は寒暖時系列データ９を、表示色の
ような表示パラメータに変換し、ディスプレイ画面11の
画像の色を、温度が高くなるほど例えば赤くする。
徴量の時系列データに基づいて、音声パワーを温度、速
度、距離、圧力などの他の物理量に変換する。本例では
音声パワーを温度に変換した寒暖時系列データ９に変換
する。表示制御部10は寒暖時系列データ９を、表示色の
ような表示パラメータに変換し、ディスプレイ画面11の
画像の色を、温度が高くなるほど例えば赤くする。
【００１８】次に、本発明装置における息音声判定の手
順を図２及び図３の音声ラティス・音声パワーの図、及
び図４のフローチャートに基づいて説明する。なお、判
断規則辞書61の判断規則として、本例では息音声と判断
する音声パワーのしきい値を−4000、息音声及び息音声
以外の音声と認識し得る継続フレーム数を２とし、息音
声の継続フレーム数をカウントする変数をCF1 、息音声
以外の継続フレーム数をカウントする変数をCF2 とす
る。
順を図２及び図３の音声ラティス・音声パワーの図、及
び図４のフローチャートに基づいて説明する。なお、判
断規則辞書61の判断規則として、本例では息音声と判断
する音声パワーのしきい値を−4000、息音声及び息音声
以外の音声と認識し得る継続フレーム数を２とし、息音
声の継続フレーム数をカウントする変数をCF1 、息音声
以外の継続フレーム数をカウントする変数をCF2 とす
る。
【００１９】システムを初期化し（ステップS1）、息音
声であるか否かの判定処理が終了か否かを判断し（ステ
ップS2）、未処理フレームがあるか否かを判断して（ス
テップS3）、未処理フレームがある場合は、その音声パ
ワーが−4000以上であるか否かを判断する（ステップS
4）。
声であるか否かの判定処理が終了か否かを判断し（ステ
ップS2）、未処理フレームがあるか否かを判断して（ス
テップS3）、未処理フレームがある場合は、その音声パ
ワーが−4000以上であるか否かを判断する（ステップS
4）。
【００２０】音声パワーが−4000以上の場合は、類似度
が閾値以上（即ち、有効）であるか否かを判断する（ス
テップS5）。類似度が閾値以上の場合は、息音声の継続
フレーム数の変数CF1 を１だけインクリメントし（ステ
ップS6）、息音声の継続フレーム数が２以上になったか
否かを判断する（ステップS7）。
が閾値以上（即ち、有効）であるか否かを判断する（ス
テップS5）。類似度が閾値以上の場合は、息音声の継続
フレーム数の変数CF1 を１だけインクリメントし（ステ
ップS6）、息音声の継続フレーム数が２以上になったか
否かを判断する（ステップS7）。
【００２１】息音声の継続フレーム数が２以上になった
場合は、息音声以外の継続フレーム数の変数CF2 に０を
代入して（ステップS8）、継続フレーム数に該当するフ
レームを息音声フレームとする（ステップS9）。一方、
継続フレーム数が１の場合はステップS2に戻り、判定処
理が終了か否かを判断し（ステップS2）、未処理フレー
ムがあるか否かを判断して（ステップS3）、未処理フレ
ームがある場合は、このフレームの判定処理に移行す
る。
場合は、息音声以外の継続フレーム数の変数CF2 に０を
代入して（ステップS8）、継続フレーム数に該当するフ
レームを息音声フレームとする（ステップS9）。一方、
継続フレーム数が１の場合はステップS2に戻り、判定処
理が終了か否かを判断し（ステップS2）、未処理フレー
ムがあるか否かを判断して（ステップS3）、未処理フレ
ームがある場合は、このフレームの判定処理に移行す
る。
【００２２】一方、ステップS4の判断の結果、判定対象
のフレームの音声パワーが−4000未満の場合、また−40
00以上であっても、ステップS5の判断の結果、類似度が
閾値に達していない場合は、息音声以外の継続フレーム
数の変数CF2 を１だけインクリメントし（ステップS10
）、息音声以外の継続フレーム数が２以上になったか
否かを判断する（ステップS11 ）。
のフレームの音声パワーが−4000未満の場合、また−40
00以上であっても、ステップS5の判断の結果、類似度が
閾値に達していない場合は、息音声以外の継続フレーム
数の変数CF2 を１だけインクリメントし（ステップS10
）、息音声以外の継続フレーム数が２以上になったか
否かを判断する（ステップS11 ）。
【００２３】息音声以外の継続フレーム数が２以上にな
った場合は、息音声の継続フレーム数の変数CF1 に０を
代入して（ステップS12 ）、ステップS2に戻り、判定処
理が終了か否かを判断し（ステップS2）、未処理フレー
ムがあるか否かを判断して（ステップS3）、未処理フレ
ームがある場合は、このフレームの判定処理に移行す
る。以上を繰り返し、未処理フレームがなくなって判定
処理が終了すると、息音声認識結果７を生成するなどの
所定の終了処理を実行して（ステップS13 ）、判定処理
を終了する。
った場合は、息音声の継続フレーム数の変数CF1 に０を
代入して（ステップS12 ）、ステップS2に戻り、判定処
理が終了か否かを判断し（ステップS2）、未処理フレー
ムがあるか否かを判断して（ステップS3）、未処理フレ
ームがある場合は、このフレームの判定処理に移行す
る。以上を繰り返し、未処理フレームがなくなって判定
処理が終了すると、息音声認識結果７を生成するなどの
所定の終了処理を実行して（ステップS13 ）、判定処理
を終了する。
【００２４】物理量変換部８は、以上のようにして得ら
れた息音声認識結果７の音声パワーを、音声パワーのみ
に基づいて、又は音声の性質（「はーっ」という軟らか
い音声、「ふーっ」という硬い音声）と音声パワーとに
基づいて、寒暖時系列データ９に変換する。
れた息音声認識結果７の音声パワーを、音声パワーのみ
に基づいて、又は音声の性質（「はーっ」という軟らか
い音声、「ふーっ」という硬い音声）と音声パワーとに
基づいて、寒暖時系列データ９に変換する。
【００２５】図５及び図６は変換関数の一例を示した図
である。図５は、音声パワーが−6000から−2000の比較
的弱いパワーの区間では、プラスの温度変化がパワーに
比例して徐々に大きくなるように、また−2000から０の
比較的強いパワーの区間では、マイナスの温度変化がパ
ワーに比例して徐々に大きくなるような関数である。
である。図５は、音声パワーが−6000から−2000の比較
的弱いパワーの区間では、プラスの温度変化がパワーに
比例して徐々に大きくなるように、また−2000から０の
比較的強いパワーの区間では、マイナスの温度変化がパ
ワーに比例して徐々に大きくなるような関数である。
【００２６】図６は、「はーっ」という軟らかい息音声
の場合は（図６(a) ）、図５と同様に、パワーが比較的
弱い区間では、プラスの温度変化がパワーに比例して徐
々に大きくなるように、またパワーが比較的強い区間で
は、マイナスの温度変化がパワーに比例して徐々に大き
くなるような関数である。一方、「ふーっ」という硬い
息音声の場合は（図６(b) ）、音声パワーが−6000から
−4000の比較的弱いパワーの区間では、プラスの温度変
化がパワーに比例して徐々に大きくなるように、また−
4000から０の比較的強いパワーの区間では、マイナスの
温度変化がパワーに比例して徐々に大きくなるような関
数である。
の場合は（図６(a) ）、図５と同様に、パワーが比較的
弱い区間では、プラスの温度変化がパワーに比例して徐
々に大きくなるように、またパワーが比較的強い区間で
は、マイナスの温度変化がパワーに比例して徐々に大き
くなるような関数である。一方、「ふーっ」という硬い
息音声の場合は（図６(b) ）、音声パワーが−6000から
−4000の比較的弱いパワーの区間では、プラスの温度変
化がパワーに比例して徐々に大きくなるように、また−
4000から０の比較的強いパワーの区間では、マイナスの
温度変化がパワーに比例して徐々に大きくなるような関
数である。
【００２７】なお、本形態ではマイクロフォンが１つの
場合について説明したが、マイクロフォンを複数個用い
て息の方向を検出してもよく、またその設置場所も、デ
ィスプレイ画面の下辺中央に限らず、ユーザがディスプ
レイ画面上の画像に対して息の吹きかけ・吸い込みを可
及的に自然な姿勢で行える位置であれば、ディスプレイ
上のどこであってもよく、またディスプレイ装置とは別
に設置してもよい。
場合について説明したが、マイクロフォンを複数個用い
て息の方向を検出してもよく、またその設置場所も、デ
ィスプレイ画面の下辺中央に限らず、ユーザがディスプ
レイ画面上の画像に対して息の吹きかけ・吸い込みを可
及的に自然な姿勢で行える位置であれば、ディスプレイ
上のどこであってもよく、またディスプレイ装置とは別
に設置してもよい。
【００２８】また、本形態ではディスプレイ画面11の画
像の表示を制御する場合について説明したが、息音声の
パワーを他の物理量に変換し、この物理量を、パソコン
に接続されたロボットのような可動体の駆動パラメータ
に変換し、例えば息の吹きかけ・吸い込みにより花のロ
ボットを揺れさせるといったことも可能である。
像の表示を制御する場合について説明したが、息音声の
パワーを他の物理量に変換し、この物理量を、パソコン
に接続されたロボットのような可動体の駆動パラメータ
に変換し、例えば息の吹きかけ・吸い込みにより花のロ
ボットを揺れさせるといったことも可能である。
【００２９】さらに、本形態では本発明装置がパソコン
の場合について説明したが、本発明装置は、マイクロフ
ォンのような音声入力手段を備えた携帯用パソコン、携
帯用ゲーム機、家庭用ゲーム機などであってもよい。
の場合について説明したが、本発明装置は、マイクロフ
ォンのような音声入力手段を備えた携帯用パソコン、携
帯用ゲーム機、家庭用ゲーム機などであってもよい。
【００３０】また、本形態では音声認識の技術を応用し
た場合について説明したが、息音声のパワーのみを検出
して他の物理量に変換する簡単な構成の装置であっても
よく、その場合はマイクロフォンのような音声入力手段
からの息の吹きかけ・吸い込みを装置側に知らせるため
のボタンのような指示手段を設けてもよい。
た場合について説明したが、息音声のパワーのみを検出
して他の物理量に変換する簡単な構成の装置であっても
よく、その場合はマイクロフォンのような音声入力手段
からの息の吹きかけ・吸い込みを装置側に知らせるため
のボタンのような指示手段を設けてもよい。
【００３１】
【実施例】以下に、本発明装置を利用してディスプレイ
画面上の画像の表示状態を変化させる具体例を挙げる。
息の吹きかけの音声パワーを温度の時系列データに変換
する場合では、木炭を吹くと赤くなっていく、熱い飲み
物の湯気が少なくなっていく、ろうそくの炎・ランプの
灯が消えるなどが可能である。
画面上の画像の表示状態を変化させる具体例を挙げる。
息の吹きかけの音声パワーを温度の時系列データに変換
する場合では、木炭を吹くと赤くなっていく、熱い飲み
物の湯気が少なくなっていく、ろうそくの炎・ランプの
灯が消えるなどが可能である。
【００３２】また、息の吹きかけの音声パワーを速度、
移動距離、移動方向に変換した場合では、風船を飛ば
す、水面に波紋を広げる、絵の具のような液体をスプレ
ー状に散布する、絵の具に息を吹きかけて絵を描く、エ
ージェントに息を吹きかけてレースさせる、消しゴムの
くずを払うなどが可能である。
移動距離、移動方向に変換した場合では、風船を飛ば
す、水面に波紋を広げる、絵の具のような液体をスプレ
ー状に散布する、絵の具に息を吹きかけて絵を描く、エ
ージェントに息を吹きかけてレースさせる、消しゴムの
くずを払うなどが可能である。
【００３３】さらに、息の音声パワーを呼吸量に変換し
た場合では、風船を膨らます、風船を萎ます、キーボー
ドで音程を指定して管楽器のような楽器を演奏する、肺
活量を測定するなどが可能である。
た場合では、風船を膨らます、風船を萎ます、キーボー
ドで音程を指定して管楽器のような楽器を演奏する、肺
活量を測定するなどが可能である。
【００３４】
【発明の効果】以上のように、本発明の息検出機能付情
報処理装置及び息検出による画像表示制御方法は、マイ
クロフォンのような入力手段により入力された息の音声
を検出して音声パワーのような特徴量を、温度、移動速
度などの他の物理量に変換し、ディスプレイ画面上の画
像の表示状態、またロボットのような可動体の駆動状態
を制御するので、ユーザは自分の息が画像、ロボットに
直接作用したような感じが得られ、違和感が取り除か
れ、ユーザとディスプレイ画面上の仮想世界、またはロ
ボットとの間の隔たり感がなくなるという優れた効果を
奏する。
報処理装置及び息検出による画像表示制御方法は、マイ
クロフォンのような入力手段により入力された息の音声
を検出して音声パワーのような特徴量を、温度、移動速
度などの他の物理量に変換し、ディスプレイ画面上の画
像の表示状態、またロボットのような可動体の駆動状態
を制御するので、ユーザは自分の息が画像、ロボットに
直接作用したような感じが得られ、違和感が取り除か
れ、ユーザとディスプレイ画面上の仮想世界、またはロ
ボットとの間の隔たり感がなくなるという優れた効果を
奏する。
【図１】本発明装置のブロック図である。
【図２】息吹きかけの音声ラティス・音声パワーの図で
ある。
ある。
【図３】息音声認識結果の音声ラティス・音声パワーの
図である。
図である。
【図４】息音声判定のフローチャートである。
【図５】音声パワーから寒暖変化への変換関数の例（そ
の１）を示す図である。
の１）を示す図である。
【図６】音声パワーから寒暖変化への変換関数の例（そ
の２）を示す図である。
の２）を示す図である。
１ マイクロフォン ２ 音響処理部 ３ 特徴量 31 音声パワー 32 音声素片 ４ 音声素片認識部 41 音声素片辞書 41a 通常音声 41b 雑音 41c 息吹きかけ音声 41d 息吸い込み音声 ５ 音声ラティス ６ 息音声認識部 61 判断規則辞書 61a 息吹きかけ 61b 息吸い込み 62 息音声認識手段 ７ 息音声認識結果 ８ 物理量変換部 ９ 寒暖時系列データ 10 表示制御部 11 ディスプレイ画面
Claims (4)
- 【請求項１】 音声信号から息の音声を検出し、検出結
果に基づき処理した所定の情報を出力する装置であっ
て、 音声の入力手段と、 該入力手段により入力された音声を特徴付けている要素
の特徴量を検出する手段と、 息の音声を構成する音声素片、及び該音声素片に基づい
て息の音声であるか否かを判断するための判断規則を格
納している辞書と、 該辞書を参照して、前記入力手段により入力された音声
が息の音声か否かを判断する手段と、 該手段の判断の結果、前記入力手段により入力された音
声が息の音声の場合は、該音声の前記要素の特徴量に基
づいて該音声の所定要素の特徴量を他の物理量の情報に
変換する手段と、 該物理量の情報を前記所定の情報に変換する手段とを備
えたことを特徴とする息検出機能付情報処理装置。 - 【請求項２】 音声信号から息の音声を検出し、検出結
果に基づき処理した表示情報を表示する装置であって、 音声の入力手段と、 画像を表示する画面と、 該画面への画像の表示状態を表示パラメータに応じて制
御する手段と、 前記入力手段により入力された音声を特徴付けている要
素の特徴量を検出する手段と、 息の音声を構成する音声素片、及び該音声素片に基づい
て息の音声であるか否かを判断するための判断規則を格
納している辞書と、 該辞書を参照して、前記手段により入力された音声が息
の音声か否かを判断する手段と、 該手段の判断の結果、前記入力手段により入力された音
声が息の音声の場合は、該音声の前記要素の特徴量に基
づいて該音声の所定要素の特徴量を他の物理量の情報に
変換する手段と、 該物理量の情報を前記表示パラメータに変換する手段と
を備えたことを特徴とする息検出機能付情報処理装置。 - 【請求項３】 音声信号から息の音声を検出し、検出結
果に基づき処理した所定の情報を出力する装置であっ
て、 音声の入力手段と、 可動体と、 該可動体を動作させる駆動手段と、 該駆動手段の駆動状態を駆動パラメータに応じて制御す
る手段と、 前記入力手段により入力された音声を特徴付けている要
素の特徴量を検出する手段と、 息の音声を構成する音声素片、及び該音声素片に基づい
て息の音声であるか否かを判断するための判断規則を格
納している辞書と、 該辞書を参照して、前記入力手段により入力された音声
が息の音声か否かを判断する手段と、 該手段の判断の結果、前記入力手段により入力された音
声が息の音声の場合は、該音声の前記要素の特徴量に基
づいて該音声の所定要素の特徴量を他の物理量の情報に
変換する手段と、 該物理量の情報を前記駆動パラメータに変換する手段と
を備えたことを特徴とする息検出機能付情報処理装置。 - 【請求項４】 音声の入力手段と、画像を表示する画面
と、該画面への画像の表示状態を表示パラメータに応じ
て制御する手段とを備えた情報処理装置において、入力
された音声信号から息の音声を検出し、検出結果に基づ
き処理した表示情報を画面に表示する方法であって、 前記入力手段により入力された音声を特徴付けている要
素の特徴量を検出し、 息の音声を構成する音声素片、及び該音声素片に基づい
て息の音声であるか否かを判断するための判断規則を格
納している辞書を参照して、入力された音声が息の音声
か否かを判断し、 判断の結果、入力された音声が息の音声の場合は、該音
声の前記要素の特徴量に基づいて該音声の所定要素の特
徴量を他の物理量の情報に変換し、 該物理量の情報をさらに表示パラメータに変換し、 該画面への画像の表示状態を該表示パラメータに応じて
制御することを特徴とする息検出による画像表示制御方
法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30221297A JP4030162B2 (ja) | 1997-11-04 | 1997-11-04 | 息検出機能付情報処理装置及び息検出による画像表示制御方法 |
| US09/049,087 US6064964A (en) | 1997-11-04 | 1998-03-27 | Data processing apparatus having breath detecting function and image display control method using breath detection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30221297A JP4030162B2 (ja) | 1997-11-04 | 1997-11-04 | 息検出機能付情報処理装置及び息検出による画像表示制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11143484A true JPH11143484A (ja) | 1999-05-28 |
| JP4030162B2 JP4030162B2 (ja) | 2008-01-09 |
Family
ID=17906312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30221297A Expired - Fee Related JP4030162B2 (ja) | 1997-11-04 | 1997-11-04 | 息検出機能付情報処理装置及び息検出による画像表示制御方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6064964A (ja) |
| JP (1) | JP4030162B2 (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006145851A (ja) * | 2004-11-19 | 2006-06-08 | Nintendo Co Ltd | 息吹きかけ判別プログラム、息吹きかけ判別装置、ゲームプログラムおよびゲーム装置 |
| JP2006204877A (ja) * | 2005-04-13 | 2006-08-10 | Nintendo Co Ltd | ゲームプログラムおよびゲーム装置 |
| JP2007094002A (ja) * | 2005-09-29 | 2007-04-12 | Konami Digital Entertainment:Kk | 音声情報処理装置、音声情報処理方法、ならびに、プログラム |
| JP2007195830A (ja) * | 2006-01-27 | 2007-08-09 | Nintendo Co Ltd | ゲーム装置およびゲームプログラム |
| JP2007202695A (ja) * | 2006-01-31 | 2007-08-16 | Nintendo Co Ltd | ゲームプログラムおよびゲーム装置 |
| WO2008117628A1 (ja) * | 2007-03-27 | 2008-10-02 | Konami Digital Entertainment Co., Ltd. | ゲーム装置、ゲーム処理方法、情報記録媒体、ならびに、プログラム |
| JP2010026061A (ja) * | 2008-07-16 | 2010-02-04 | Univ Of Fukui | 口笛の吹音・吸音判定装置及び口笛音楽検定装置 |
| JP2012005890A (ja) * | 2011-10-11 | 2012-01-12 | Nintendo Co Ltd | ゲーム装置およびゲームプログラム |
| JP2012032557A (ja) * | 2010-07-30 | 2012-02-16 | Internatl Business Mach Corp <Ibm> | 音声に含まれる吸気音を検出する装置、方法、及びプログラム |
| JP2012045319A (ja) * | 2010-08-30 | 2012-03-08 | Casio Computer Co Ltd | ゲーム装置及びゲームプログラム |
| US9339725B2 (en) | 2005-01-26 | 2016-05-17 | Nintendo Co., Ltd. | Game program and game apparatus |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7739061B2 (en) * | 1999-02-12 | 2010-06-15 | Pierre Bonnat | Method and system for controlling a user interface of a device using human breath |
| ES2254141T3 (es) * | 1999-02-12 | 2006-06-16 | Pierre Bonnat | Procedimiento y dispositivo de control de un sistema electronico o informatico por medio de un flujo de fluido. |
| US20040100276A1 (en) * | 2002-11-25 | 2004-05-27 | Myron Fanton | Method and apparatus for calibration of a vector network analyzer |
| US8103873B2 (en) * | 2003-09-05 | 2012-01-24 | Emc Corporation | Method and system for processing auditory communications |
| US8209185B2 (en) * | 2003-09-05 | 2012-06-26 | Emc Corporation | Interface for management of auditory communications |
| US20060004818A1 (en) * | 2004-07-01 | 2006-01-05 | Claudatos Christopher H | Efficient information management |
| US8180743B2 (en) * | 2004-07-01 | 2012-05-15 | Emc Corporation | Information management |
| US20060004579A1 (en) * | 2004-07-01 | 2006-01-05 | Claudatos Christopher H | Flexible video surveillance |
| US9268780B2 (en) | 2004-07-01 | 2016-02-23 | Emc Corporation | Content-driven information lifecycle management |
| US8244542B2 (en) | 2004-07-01 | 2012-08-14 | Emc Corporation | Video surveillance |
| US8229904B2 (en) * | 2004-07-01 | 2012-07-24 | Emc Corporation | Storage pools for information management |
| US7618378B2 (en) * | 2005-06-13 | 2009-11-17 | The University Of Vermont And State Agricultural College | Breath biofeedback system and method |
| US9779751B2 (en) * | 2005-12-28 | 2017-10-03 | Breath Research, Inc. | Respiratory biofeedback devices, systems, and methods |
| US9788757B2 (en) * | 2005-12-28 | 2017-10-17 | Breath Research, Inc. | Breathing biofeedback device |
| US9753533B2 (en) * | 2008-03-26 | 2017-09-05 | Pierre Bonnat | Method and system for controlling a user interface of a device using human breath |
| US8545228B2 (en) * | 2008-11-04 | 2013-10-01 | Massachusetts Institute Of Technology | Objects that interact with a user at a visceral level |
| KR20100106738A (ko) * | 2009-03-24 | 2010-10-04 | 주식회사 팬택 | 마이크를 이용한 바람 인식 방법 및 시스템 |
| WO2011138794A1 (en) * | 2010-04-29 | 2011-11-10 | Narasingh Pattnaik | A breath actuated system and method |
| JP5811837B2 (ja) * | 2011-12-27 | 2015-11-11 | ヤマハ株式会社 | 表示制御装置及びプログラム |
| US9814438B2 (en) | 2012-06-18 | 2017-11-14 | Breath Research, Inc. | Methods and apparatus for performing dynamic respiratory classification and tracking |
| US10426426B2 (en) | 2012-06-18 | 2019-10-01 | Breathresearch, Inc. | Methods and apparatus for performing dynamic respiratory classification and tracking |
| JP6172770B2 (ja) * | 2013-03-19 | 2017-08-02 | Ｎｅｃソリューションイノベータ株式会社 | 要約筆記支援システム、情報配信装置、要約筆記支援方法、及びプログラム |
| US8719032B1 (en) | 2013-12-11 | 2014-05-06 | Jefferson Audio Video Systems, Inc. | Methods for presenting speech blocks from a plurality of audio input data streams to a user in an interface |
| DE102015212142B4 (de) | 2015-06-30 | 2017-08-10 | Hahn-Schickard-Gesellschaft für angewandte Forschung e.V. | Vorrichtung, Verfahren und maschinenlesbare Befehle zum Steuern eines graphischen Objekts auf einem Anzeigegerät |
| JP2019107393A (ja) * | 2017-12-20 | 2019-07-04 | 国立研究開発法人量子科学技術研究開発機構 | 医用装置、医用装置の制御方法、およびプログラム |
| GB2583117B (en) * | 2019-04-17 | 2021-06-30 | Sonocent Ltd | Processing and visualising audio signals |
| CN110134723A (zh) * | 2019-05-22 | 2019-08-16 | 网易（杭州）网络有限公司 | 一种存储数据的方法和数据库 |
| US20230045458A1 (en) * | 2020-01-31 | 2023-02-09 | Sony Group Corporation | Information processing apparatus and information processing method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4686999A (en) * | 1985-04-10 | 1987-08-18 | Tri Fund Research Corporation | Multi-channel ventilation monitor and method |
| IL108908A (en) * | 1994-03-09 | 1996-10-31 | Speech Therapy Systems Ltd | Speech therapy system |
| US5730140A (en) * | 1995-04-28 | 1998-03-24 | Fitch; William Tecumseh S. | Sonification system using synthesized realistic body sounds modified by other medically-important variables for physiological monitoring |
| US5778341A (en) * | 1996-01-26 | 1998-07-07 | Lucent Technologies Inc. | Method of speech recognition using decoded state sequences having constrained state likelihoods |
| US5853005A (en) * | 1996-05-02 | 1998-12-29 | The United States Of America As Represented By The Secretary Of The Army | Acoustic monitoring system |
-
1997
- 1997-11-04 JP JP30221297A patent/JP4030162B2/ja not_active Expired - Fee Related
-
1998
- 1998-03-27 US US09/049,087 patent/US6064964A/en not_active Expired - Lifetime
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7498505B2 (en) | 2004-11-19 | 2009-03-03 | Nintendo Co., Ltd. | Storage medium storing breath blowing determining program, breath blowing determining apparatus, breath blowing determining method, storage medium storing game program, game apparatus, and game control method |
| JP2006145851A (ja) * | 2004-11-19 | 2006-06-08 | Nintendo Co Ltd | 息吹きかけ判別プログラム、息吹きかけ判別装置、ゲームプログラムおよびゲーム装置 |
| JP4630646B2 (ja) * | 2004-11-19 | 2011-02-09 | 任天堂株式会社 | 息吹きかけ判別プログラム、息吹きかけ判別装置、ゲームプログラムおよびゲーム装置 |
| US9339725B2 (en) | 2005-01-26 | 2016-05-17 | Nintendo Co., Ltd. | Game program and game apparatus |
| JP2006204877A (ja) * | 2005-04-13 | 2006-08-10 | Nintendo Co Ltd | ゲームプログラムおよびゲーム装置 |
| JP2007094002A (ja) * | 2005-09-29 | 2007-04-12 | Konami Digital Entertainment:Kk | 音声情報処理装置、音声情報処理方法、ならびに、プログラム |
| JP4722653B2 (ja) * | 2005-09-29 | 2011-07-13 | 株式会社コナミデジタルエンタテインメント | 音声情報処理装置、音声情報処理方法、ならびに、プログラム |
| JP2007195830A (ja) * | 2006-01-27 | 2007-08-09 | Nintendo Co Ltd | ゲーム装置およびゲームプログラム |
| JP2007202695A (ja) * | 2006-01-31 | 2007-08-16 | Nintendo Co Ltd | ゲームプログラムおよびゲーム装置 |
| WO2008117628A1 (ja) * | 2007-03-27 | 2008-10-02 | Konami Digital Entertainment Co., Ltd. | ゲーム装置、ゲーム処理方法、情報記録媒体、ならびに、プログラム |
| JP2008237495A (ja) * | 2007-03-27 | 2008-10-09 | Konami Digital Entertainment:Kk | ゲーム装置、ゲーム処理方法、ならびに、プログラム |
| KR101056406B1 (ko) | 2007-03-27 | 2011-08-11 | 가부시키가이샤 코나미 데지타루 엔타테인멘토 | 게임장치, 게임처리방법 및 정보기록매체 |
| JP2010026061A (ja) * | 2008-07-16 | 2010-02-04 | Univ Of Fukui | 口笛の吹音・吸音判定装置及び口笛音楽検定装置 |
| JP2012032557A (ja) * | 2010-07-30 | 2012-02-16 | Internatl Business Mach Corp <Ibm> | 音声に含まれる吸気音を検出する装置、方法、及びプログラム |
| JP2012045319A (ja) * | 2010-08-30 | 2012-03-08 | Casio Computer Co Ltd | ゲーム装置及びゲームプログラム |
| JP2012005890A (ja) * | 2011-10-11 | 2012-01-12 | Nintendo Co Ltd | ゲーム装置およびゲームプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| US6064964A (en) | 2000-05-16 |
| JP4030162B2 (ja) | 2008-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH11143484A (ja) | 息検出機能付情報処理装置及び息検出による画像表示制御方法 | |
| US10242666B2 (en) | Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method | |
| JP4363590B2 (ja) | 音声合成 | |
| JP6751536B2 (ja) | 装置、ロボット、方法、及びプログラム | |
| Luettin | Visual speech and speaker recognition | |
| Fels | Designing for intimacy: Creating new interfaces for musical expression | |
| JP5119700B2 (ja) | 韻律修正装置、韻律修正方法、および、韻律修正プログラム | |
| JPH08339446A (ja) | 対話装置 | |
| WO2001052237A1 (fr) | Appareil, methode et support d'apprentissage de langues etrangeres | |
| JP2003271174A (ja) | 音声合成方法、音声合成装置、プログラム及び記録媒体、制約情報生成方法及び装置、並びにロボット装置 | |
| JP6747434B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| Fels | Glove-talkII: mapping hand gestures to speech using neural networks-an approach to building adaptive interfaces. | |
| JP7259817B2 (ja) | 電子楽器、方法及びプログラム | |
| JPWO2019160100A1 (ja) | 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム | |
| JP2023118866A (ja) | 電子楽器、方法及びプログラム | |
| JPWO2019160105A1 (ja) | 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム | |
| US20210291379A1 (en) | Robot, speech synthesizing program, and speech output method | |
| JPH10261099A (ja) | 画像処理装置 | |
| JP4774825B2 (ja) | 演技評価装置及び方法 | |
| JPWO2019160104A1 (ja) | 非言語情報生成装置、非言語情報生成モデル学習装置、方法、及びプログラム | |
| JP2003202892A (ja) | 音声ロボットシステム及び音声ロボット動作方法 | |
| JP2004170756A (ja) | ロボット制御装置および方法、記録媒体、並びにプログラム | |
| CN112017668A (zh) | 一种基于实时情感检测的智能语音对话方法、装置和系统 | |
| JP3869448B2 (ja) | 発声補助装置 | |
| JP2002258886A (ja) | 音声合成装置および音声合成方法、並びにプログラムおよび記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050705 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050831 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051101 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051228 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060130 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071016 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101026 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101026 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111026 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111026 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131026 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |