JP4030162B2 - 息検出機能付情報処理装置及び息検出による画像表示制御方法 - Google Patents
息検出機能付情報処理装置及び息検出による画像表示制御方法 Download PDFInfo
- Publication number
- JP4030162B2 JP4030162B2 JP30221297A JP30221297A JP4030162B2 JP 4030162 B2 JP4030162 B2 JP 4030162B2 JP 30221297 A JP30221297 A JP 30221297A JP 30221297 A JP30221297 A JP 30221297A JP 4030162 B2 JP4030162 B2 JP 4030162B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- breath
- power
- speech
- physical quantity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000001514 detection method Methods 0.000 title claims description 21
- 230000010365 information processing Effects 0.000 title claims description 15
- 230000029058 respiratory gaseous exchange Effects 0.000 claims description 8
- 230000005236 sound signal Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 description 21
- 238000007664 blowing Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241000989913 Gunnera petaloidea Species 0.000 description 1
- 239000003610 charcoal Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 235000012171 hot beverage Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
Description
【０００１】
【発明の属する技術分野】
本発明は、マイクロフォンのような音声入力手段により入力された音声が、息の音声であるか否かを検出する機能を備えたパーソナルコンピュータ（以下、パソコンという）、携帯用ゲーム機などの情報処理装置、及びこのような情報処理装置における息の検出による画像表示制御方法に関する。
【０００２】
【従来の技術】
従来、パソコンのディスプレイ画面上で画像を移動させたり、例えば風船を膨らませる場合のように画像の状態を変化させたりする場合、キーボードのカーソル移動キー、マウスなどの操作により移動させ、またこれらの操作により画像の状態を変化させるようなコマンドを与える方法が一般的である。
【０００３】
また、マイクロフォンから入力されたユーザの言葉を認識し、例えばディスプレイ画面上の仮想世界に棲息する人工生物に、入力された言葉に応じた動作を行わせたり、またはパソコンに接続されているロボットを、入力された言葉に応じて動作させたりするアプリケーション・プログラムが提供されている。
【０００４】
【発明が解決しようとする課題】
しかし、キーボード、マウスなどを操作してディスプレイ画面上の風船に息を吹きかけて飛ばしたり、風船を膨らましたりすることは、現実の息の吹きかけ動作とかけ離れた動作であるためにユーザに違和感を与え、ディスプレイ画面上の仮想世界との間に隔たりを感じさせる。
【０００５】
前述のように、マイクロフォンから入力された言葉で人工生物、ロボットを動作させたりするアプリケーション・プログラムは、ユーザとディスプレイ画面上の仮想世界、またはロボットとの間の隔たりを取り除く効果はあるが、言葉ではない息の吹きかけ・吸い込みに応じてディスプレイ画面上の画像を移動、変化させたり、またロボットを動作させたりする機能は備えていない。
【０００６】
本発明はこのような問題点を解決するためになされたものであって、マイクロフォンのような入力手段により入力された息の音声を検出して音声パワーのような特徴量を、温度、移動速度などの他の物理量に変換し、ディスプレイ画面上の画像の表示状態、またロボットのような可動体の駆動状態を制御することにより、ユーザは自分の息が画像、ロボットに直接作用したような感じが得られ、違和感が取り除かれ、ユーザとディスプレイ画面上の仮想世界、またはロボットとの間の隔たり感がなくなるパソコン、携帯用ゲーム機などの息検出機能付情報処理装置、及びこのような情報処理装置における息の検出による画像表示制御方法の提供を目的とする。
【０００７】
【課題を解決するための手段】
第１発明の息検出機能付情報処理装置は、音声信号から息の音声を検出し、検出結果に基づき処理した所定の情報を出力する装置であって、音声の入力手段と、該入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出する手段と、息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書と、該辞書を参照して、前記入力手段により入力された音声が息の音声か否かを判断する手段と、該手段の判断の結果、前記入力手段により入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換する手段と、該物理量の情報を前記所定の情報に変換する手段とを備え、前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なるようしてあることを特徴とする。
【０００８】
第２発明の息検出機能付情報処理装置は、音声信号から息の音声を検出し、検出結果に基づき処理した表示情報を表示する装置であって、音声の入力手段と、画像を表示する画面と、該画面への画像の表示状態を表示パラメータに応じて制御する手段と、前記入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出する手段と、息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書と、該辞書を参照して、前記手段により入力された音声が息の音声か否かを判断する手段と、該手段の判断の結果、前記入力手段により入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換する手段と、該物理量の情報を前記表示パラメータに変換する手段とを備え、前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なるようしてあることを特徴とする。
【０００９】
第３発明の息検出機能付情報処理装置は、音声信号から息の音声を検出し、検出結果に基づき処理した所定の情報を出力する装置であって、音声の入力手段と、可動体と、該可動体を動作させる駆動手段と、該駆動手段の駆動状態を駆動パラメータに応じて制御する手段と、前記入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出する手段と、息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書と、該辞書を参照して、前記入力手段により入力された音声が息の音声か否かを判断する手段と、該手段の判断の結果、前記入力手段により入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換する手段と、該物理量の情報を前記駆動パラメータに変換する手段とを備え、前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なるようしてあることを特徴とする。
【００１０】
第４発明の息検出による画像表示制御方法は、音声の入力手段と、画像を表示する画面と、該画面への画像の表示状態を表示パラメータに応じて制御する手段とを備えた情報処理装置において、入力された音声信号から息の音声を検出し、検出結果に基づき処理した表示情報を画面に表示する方法であって、前記入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出し、息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書を参照して、入力された音声が息の音声か否かを判断し、判断の結果、入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換し、該物理量の情報をさらに表示パラメータに変換し、該画面への画像の表示状態を該表示パラメータに応じて制御しており、前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なることを特徴とする。
【００１１】
第１発明では、マイクロフォンのような入力手段により入力された音声を特徴付けている要素である音声パワー、音声素片の特徴量を検出し、辞書に格納されている音声素片及び判断規則を参照して、入力された音声が息の音声であるか否かを判断し、入力された音声が息の音声の場合は、この音声の音声パワー、音声素片の特徴量から定まる音声の性質といった特徴量に基づき、例えば音声パワーを温度、速度、圧力などの他の物理量の情報に変換する。さらに第２発明及び第４発明ではこの物理量の情報を画面上の画像の表示色、移動速度、移動距離などの表示パラメータに変換する。
これにより、ユーザは、自分の息が画面上の画像に直接作用したような感じを得ることができる。
【００１２】
また第３発明では、例えば音声パワーを変換した速度、圧力などの他の物理量の情報を、ロボットのような可動体の移動速度、移動距離、動作状態などの駆動パラメータに変換する。
これにより、ユーザは、自分の息が可動体に直接作用したような感じを得ることができる。
【００１３】
【発明の実施の形態】
図１は本発明の息検出機能付情報処理装置（以下、本発明装置という）のブロック図であって、本発明装置がパソコンに適用された場合を例にして説明する。本形態の装置は音声認識の技術を応用したものである。
図中、１は音声の入力手段としてのマイクロフォンであって、本形態では、ディスプレイ画面11の下辺中央に配されている。
【００１４】
音響処理部２は、マイクロフォン１から入力された音声信号に対して、例えば20〜30msec程度の短い区間ごとに周波数分析、線形予測分析などの変換を行って音声を分析し、これを、例えば数次元〜数十次元程度の特徴ベクトルの系列に変換する。この変換によって、マイクロフォン１から入力された音声信号の特徴量３である、音声パワー31及び音声素片32のデータが得られる。
【００１５】
音声素片認識部４は、連続している音声信号を、音声認識に都合が良い音韻単位または単音節単位の音声素片に分割し、音声素片照合手段42は、この音声素片を、音声辞書41の通常音声41a 、雑音41b 、息吹きかけ音声41c 、及び息吸い込み音声41d の辞書群に格納されている音声素片の音形と照合し、入力音声の各音声素片（フレーム）が、母音、子音といった通常音声であるか、雑音であるか、息吹きかけ音声であるか、または息吸い込み音声であるかの認識を行う。
音声素片認識の結果、各フレームの辞書データとの類似度を付加した音声ラティス５（図２(a) 参照）が得られる。
図２(a) では、通常音声、雑音、息吹きかけ音声、息吸い込み音声の各フレームにおいて、辞書データとの類似度が高いフレームほど濃い色（高密度のハッチング）で示されており、所定レベル以上の類似度を有するフレームがそれぞれの音声である（有効）とする。
【００１６】
息音声認識部６では、息音声認識手段62が、息音声及び息音声以外の音声と認識し得る継続フレーム数、息音声と判断する音声パワーのしきい値、及び後述するように、これらに基づいて息音声であるか否かを判断するアルゴリズム（図４参照）が格納されている判断規則辞書61を参照し、特徴量３として検出した音声パワー31及び音声ラティス５の中から、息音声を認識する。
息音声認識の結果、息音声と認識したフレームの音声ラティス及び音声パワー、即ち息音声の特徴量の時系列データからなる息音声認識結果７（図３参照）が得られる。
【００１７】
物理量変換部８は、息音声認識結果７の特徴量の時系列データに基づいて、音声パワーを温度、速度、距離、圧力などの他の物理量に変換する。本例では音声パワーを温度に変換した寒暖時系列データ９に変換する。
表示制御部10は寒暖時系列データ９を、表示色のような表示パラメータに変換し、ディスプレイ画面11の画像の色を、温度が高くなるほど例えば赤くする。
【００１８】
次に、本発明装置における息音声判定の手順を図２及び図３の音声ラティス・音声パワーの図、及び図４のフローチャートに基づいて説明する。なお、判断規則辞書61の判断規則として、本例では息音声と判断する音声パワーのしきい値を−4000、息音声及び息音声以外の音声と認識し得る継続フレーム数を２とし、息音声の継続フレーム数をカウントする変数をCF1 、息音声以外の継続フレーム数をカウントする変数をCF2 とする。
【００１９】
システムを初期化し（ステップS1）、息音声であるか否かの判定処理が終了か否かを判断し（ステップS2）、未処理フレームがあるか否かを判断して（ステップS3）、未処理フレームがある場合は、その音声パワーが−4000以上であるか否かを判断する（ステップS4）。
【００２０】
音声パワーが−4000以上の場合は、類似度が閾値以上（即ち、有効）であるか否かを判断する（ステップS5）。類似度が閾値以上の場合は、息音声の継続フレーム数の変数CF1 を１だけインクリメントし（ステップS6）、息音声の継続フレーム数が２以上になったか否かを判断する（ステップS7）。
【００２１】
息音声の継続フレーム数が２以上になった場合は、息音声以外の継続フレーム数の変数CF2 に０を代入して（ステップS8）、継続フレーム数に該当するフレームを息音声フレームとする（ステップS9）。
一方、継続フレーム数が１の場合はステップS2に戻り、判定処理が終了か否かを判断し（ステップS2）、未処理フレームがあるか否かを判断して（ステップS3）、未処理フレームがある場合は、このフレームの判定処理に移行する。
【００２２】
一方、ステップS4の判断の結果、判定対象のフレームの音声パワーが−4000未満の場合、また−4000以上であっても、ステップS5の判断の結果、類似度が閾値に達していない場合は、息音声以外の継続フレーム数の変数CF2 を１だけインクリメントし（ステップS10 ）、息音声以外の継続フレーム数が２以上になったか否かを判断する（ステップS11 ）。
【００２３】
息音声以外の継続フレーム数が２以上になった場合は、息音声の継続フレーム数の変数CF1 に０を代入して（ステップS12 ）、ステップS2に戻り、判定処理が終了か否かを判断し（ステップS2）、未処理フレームがあるか否かを判断して（ステップS3）、未処理フレームがある場合は、このフレームの判定処理に移行する。
以上を繰り返し、未処理フレームがなくなって判定処理が終了すると、息音声認識結果７を生成するなどの所定の終了処理を実行して（ステップS13 ）、判定処理を終了する。
【００２４】
物理量変換部８は、以上のようにして得られた息音声認識結果７の音声パワーを、音声パワーのみに基づいて、又は音声の性質（「はーっ」という軟らかい音声、「ふーっ」という硬い音声）と音声パワーとに基づいて、寒暖時系列データ９に変換する。
【００２５】
図５及び図６は変換関数の一例を示した図である。
図５は、音声パワーが−6000から−2000の比較的弱いパワーの区間では、プラスの温度変化がパワーに比例して徐々に大きくなるように、また−2000から０の比較的強いパワーの区間では、マイナスの温度変化がパワーに比例して徐々に大きくなるような関数である。
【００２６】
図６は、「はーっ」という軟らかい息音声の場合は（図６(a) ）、図５と同様に、パワーが比較的弱い区間では、プラスの温度変化がパワーに比例して徐々に大きくなるように、またパワーが比較的強い区間では、マイナスの温度変化がパワーに比例して徐々に大きくなるような関数である。
一方、「ふーっ」という硬い息音声の場合は（図６(b) ）、音声パワーが−6000から−4000の比較的弱いパワーの区間では、プラスの温度変化がパワーに比例して徐々に大きくなるように、また−4000から０の比較的強いパワーの区間では、マイナスの温度変化がパワーに比例して徐々に大きくなるような関数である。
【００２７】
なお、本形態ではマイクロフォンが１つの場合について説明したが、マイクロフォンを複数個用いて息の方向を検出してもよく、またその設置場所も、ディスプレイ画面の下辺中央に限らず、ユーザがディスプレイ画面上の画像に対して息の吹きかけ・吸い込みを可及的に自然な姿勢で行える位置であれば、ディスプレイ上のどこであってもよく、またディスプレイ装置とは別に設置してもよい。
【００２８】
また、本形態ではディスプレイ画面11の画像の表示を制御する場合について説明したが、息音声のパワーを他の物理量に変換し、この物理量を、パソコンに接続されたロボットのような可動体の駆動パラメータに変換し、例えば息の吹きかけ・吸い込みにより花のロボットを揺れさせるといったことも可能である。
【００２９】
さらに、本形態では本発明装置がパソコンの場合について説明したが、本発明装置は、マイクロフォンのような音声入力手段を備えた携帯用パソコン、携帯用ゲーム機、家庭用ゲーム機などであってもよい。
【００３０】
また、本形態では音声認識の技術を応用した場合について説明したが、息音声のパワーのみを検出して他の物理量に変換する簡単な構成の装置であってもよく、その場合はマイクロフォンのような音声入力手段からの息の吹きかけ・吸い込みを装置側に知らせるためのボタンのような指示手段を設けてもよい。
【００３１】
【実施例】
以下に、本発明装置を利用してディスプレイ画面上の画像の表示状態を変化させる具体例を挙げる。
息の吹きかけの音声パワーを温度の時系列データに変換する場合では、木炭を吹くと赤くなっていく、熱い飲み物の湯気が少なくなっていく、ろうそくの炎・ランプの灯が消えるなどが可能である。
【００３２】
また、息の吹きかけの音声パワーを速度、移動距離、移動方向に変換した場合では、風船を飛ばす、水面に波紋を広げる、絵の具のような液体をスプレー状に散布する、絵の具に息を吹きかけて絵を描く、エージェントに息を吹きかけてレースさせる、消しゴムのくずを払うなどが可能である。
【００３３】
さらに、息の音声パワーを呼吸量に変換した場合では、風船を膨らます、風船を萎ます、キーボードで音程を指定して管楽器のような楽器を演奏する、肺活量を測定するなどが可能である。
【００３４】
【発明の効果】
以上のように、本発明の息検出機能付情報処理装置及び息検出による画像表示制御方法は、マイクロフォンのような入力手段により入力された息の音声を検出して音声パワーのような特徴量を、温度、移動速度などの他の物理量に変換し、ディスプレイ画面上の画像の表示状態、またロボットのような可動体の駆動状態を制御するので、ユーザは自分の息が画像、ロボットに直接作用したような感じが得られ、違和感が取り除かれ、ユーザとディスプレイ画面上の仮想世界、またはロボットとの間の隔たり感がなくなるという優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明装置のブロック図である。
【図２】息吹きかけの音声ラティス・音声パワーの図である。
【図３】息音声認識結果の音声ラティス・音声パワーの図である。
【図４】息音声判定のフローチャートである。
【図５】音声パワーから寒暖変化への変換関数の例（その１）を示す図である。
【図６】音声パワーから寒暖変化への変換関数の例（その２）を示す図である。
【符号の説明】
１ マイクロフォン
２ 音響処理部
３ 特徴量
31 音声パワー
32 音声素片
４ 音声素片認識部
41 音声素片辞書
41a 通常音声
41b 雑音
41c 息吹きかけ音声
41d 息吸い込み音声
５ 音声ラティス
６ 息音声認識部
61 判断規則辞書
61a 息吹きかけ
61b 息吸い込み
62 息音声認識手段
７ 息音声認識結果
８ 物理量変換部
９ 寒暖時系列データ
10 表示制御部
11 ディスプレイ画面
【発明の属する技術分野】
本発明は、マイクロフォンのような音声入力手段により入力された音声が、息の音声であるか否かを検出する機能を備えたパーソナルコンピュータ（以下、パソコンという）、携帯用ゲーム機などの情報処理装置、及びこのような情報処理装置における息の検出による画像表示制御方法に関する。
【０００２】
【従来の技術】
従来、パソコンのディスプレイ画面上で画像を移動させたり、例えば風船を膨らませる場合のように画像の状態を変化させたりする場合、キーボードのカーソル移動キー、マウスなどの操作により移動させ、またこれらの操作により画像の状態を変化させるようなコマンドを与える方法が一般的である。
【０００３】
また、マイクロフォンから入力されたユーザの言葉を認識し、例えばディスプレイ画面上の仮想世界に棲息する人工生物に、入力された言葉に応じた動作を行わせたり、またはパソコンに接続されているロボットを、入力された言葉に応じて動作させたりするアプリケーション・プログラムが提供されている。
【０００４】
【発明が解決しようとする課題】
しかし、キーボード、マウスなどを操作してディスプレイ画面上の風船に息を吹きかけて飛ばしたり、風船を膨らましたりすることは、現実の息の吹きかけ動作とかけ離れた動作であるためにユーザに違和感を与え、ディスプレイ画面上の仮想世界との間に隔たりを感じさせる。
【０００５】
前述のように、マイクロフォンから入力された言葉で人工生物、ロボットを動作させたりするアプリケーション・プログラムは、ユーザとディスプレイ画面上の仮想世界、またはロボットとの間の隔たりを取り除く効果はあるが、言葉ではない息の吹きかけ・吸い込みに応じてディスプレイ画面上の画像を移動、変化させたり、またロボットを動作させたりする機能は備えていない。
【０００６】
本発明はこのような問題点を解決するためになされたものであって、マイクロフォンのような入力手段により入力された息の音声を検出して音声パワーのような特徴量を、温度、移動速度などの他の物理量に変換し、ディスプレイ画面上の画像の表示状態、またロボットのような可動体の駆動状態を制御することにより、ユーザは自分の息が画像、ロボットに直接作用したような感じが得られ、違和感が取り除かれ、ユーザとディスプレイ画面上の仮想世界、またはロボットとの間の隔たり感がなくなるパソコン、携帯用ゲーム機などの息検出機能付情報処理装置、及びこのような情報処理装置における息の検出による画像表示制御方法の提供を目的とする。
【０００７】
【課題を解決するための手段】
第１発明の息検出機能付情報処理装置は、音声信号から息の音声を検出し、検出結果に基づき処理した所定の情報を出力する装置であって、音声の入力手段と、該入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出する手段と、息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書と、該辞書を参照して、前記入力手段により入力された音声が息の音声か否かを判断する手段と、該手段の判断の結果、前記入力手段により入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換する手段と、該物理量の情報を前記所定の情報に変換する手段とを備え、前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なるようしてあることを特徴とする。
【０００８】
第２発明の息検出機能付情報処理装置は、音声信号から息の音声を検出し、検出結果に基づき処理した表示情報を表示する装置であって、音声の入力手段と、画像を表示する画面と、該画面への画像の表示状態を表示パラメータに応じて制御する手段と、前記入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出する手段と、息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書と、該辞書を参照して、前記手段により入力された音声が息の音声か否かを判断する手段と、該手段の判断の結果、前記入力手段により入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換する手段と、該物理量の情報を前記表示パラメータに変換する手段とを備え、前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なるようしてあることを特徴とする。
【０００９】
第３発明の息検出機能付情報処理装置は、音声信号から息の音声を検出し、検出結果に基づき処理した所定の情報を出力する装置であって、音声の入力手段と、可動体と、該可動体を動作させる駆動手段と、該駆動手段の駆動状態を駆動パラメータに応じて制御する手段と、前記入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出する手段と、息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書と、該辞書を参照して、前記入力手段により入力された音声が息の音声か否かを判断する手段と、該手段の判断の結果、前記入力手段により入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換する手段と、該物理量の情報を前記駆動パラメータに変換する手段とを備え、前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なるようしてあることを特徴とする。
【００１０】
第４発明の息検出による画像表示制御方法は、音声の入力手段と、画像を表示する画面と、該画面への画像の表示状態を表示パラメータに応じて制御する手段とを備えた情報処理装置において、入力された音声信号から息の音声を検出し、検出結果に基づき処理した表示情報を画面に表示する方法であって、前記入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出し、息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書を参照して、入力された音声が息の音声か否かを判断し、判断の結果、入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換し、該物理量の情報をさらに表示パラメータに変換し、該画面への画像の表示状態を該表示パラメータに応じて制御しており、前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なることを特徴とする。
【００１１】
第１発明では、マイクロフォンのような入力手段により入力された音声を特徴付けている要素である音声パワー、音声素片の特徴量を検出し、辞書に格納されている音声素片及び判断規則を参照して、入力された音声が息の音声であるか否かを判断し、入力された音声が息の音声の場合は、この音声の音声パワー、音声素片の特徴量から定まる音声の性質といった特徴量に基づき、例えば音声パワーを温度、速度、圧力などの他の物理量の情報に変換する。さらに第２発明及び第４発明ではこの物理量の情報を画面上の画像の表示色、移動速度、移動距離などの表示パラメータに変換する。
これにより、ユーザは、自分の息が画面上の画像に直接作用したような感じを得ることができる。
【００１２】
また第３発明では、例えば音声パワーを変換した速度、圧力などの他の物理量の情報を、ロボットのような可動体の移動速度、移動距離、動作状態などの駆動パラメータに変換する。
これにより、ユーザは、自分の息が可動体に直接作用したような感じを得ることができる。
【００１３】
【発明の実施の形態】
図１は本発明の息検出機能付情報処理装置（以下、本発明装置という）のブロック図であって、本発明装置がパソコンに適用された場合を例にして説明する。本形態の装置は音声認識の技術を応用したものである。
図中、１は音声の入力手段としてのマイクロフォンであって、本形態では、ディスプレイ画面11の下辺中央に配されている。
【００１４】
音響処理部２は、マイクロフォン１から入力された音声信号に対して、例えば20〜30msec程度の短い区間ごとに周波数分析、線形予測分析などの変換を行って音声を分析し、これを、例えば数次元〜数十次元程度の特徴ベクトルの系列に変換する。この変換によって、マイクロフォン１から入力された音声信号の特徴量３である、音声パワー31及び音声素片32のデータが得られる。
【００１５】
音声素片認識部４は、連続している音声信号を、音声認識に都合が良い音韻単位または単音節単位の音声素片に分割し、音声素片照合手段42は、この音声素片を、音声辞書41の通常音声41a 、雑音41b 、息吹きかけ音声41c 、及び息吸い込み音声41d の辞書群に格納されている音声素片の音形と照合し、入力音声の各音声素片（フレーム）が、母音、子音といった通常音声であるか、雑音であるか、息吹きかけ音声であるか、または息吸い込み音声であるかの認識を行う。
音声素片認識の結果、各フレームの辞書データとの類似度を付加した音声ラティス５（図２(a) 参照）が得られる。
図２(a) では、通常音声、雑音、息吹きかけ音声、息吸い込み音声の各フレームにおいて、辞書データとの類似度が高いフレームほど濃い色（高密度のハッチング）で示されており、所定レベル以上の類似度を有するフレームがそれぞれの音声である（有効）とする。
【００１６】
息音声認識部６では、息音声認識手段62が、息音声及び息音声以外の音声と認識し得る継続フレーム数、息音声と判断する音声パワーのしきい値、及び後述するように、これらに基づいて息音声であるか否かを判断するアルゴリズム（図４参照）が格納されている判断規則辞書61を参照し、特徴量３として検出した音声パワー31及び音声ラティス５の中から、息音声を認識する。
息音声認識の結果、息音声と認識したフレームの音声ラティス及び音声パワー、即ち息音声の特徴量の時系列データからなる息音声認識結果７（図３参照）が得られる。
【００１７】
物理量変換部８は、息音声認識結果７の特徴量の時系列データに基づいて、音声パワーを温度、速度、距離、圧力などの他の物理量に変換する。本例では音声パワーを温度に変換した寒暖時系列データ９に変換する。
表示制御部10は寒暖時系列データ９を、表示色のような表示パラメータに変換し、ディスプレイ画面11の画像の色を、温度が高くなるほど例えば赤くする。
【００１８】
次に、本発明装置における息音声判定の手順を図２及び図３の音声ラティス・音声パワーの図、及び図４のフローチャートに基づいて説明する。なお、判断規則辞書61の判断規則として、本例では息音声と判断する音声パワーのしきい値を−4000、息音声及び息音声以外の音声と認識し得る継続フレーム数を２とし、息音声の継続フレーム数をカウントする変数をCF1 、息音声以外の継続フレーム数をカウントする変数をCF2 とする。
【００１９】
システムを初期化し（ステップS1）、息音声であるか否かの判定処理が終了か否かを判断し（ステップS2）、未処理フレームがあるか否かを判断して（ステップS3）、未処理フレームがある場合は、その音声パワーが−4000以上であるか否かを判断する（ステップS4）。
【００２０】
音声パワーが−4000以上の場合は、類似度が閾値以上（即ち、有効）であるか否かを判断する（ステップS5）。類似度が閾値以上の場合は、息音声の継続フレーム数の変数CF1 を１だけインクリメントし（ステップS6）、息音声の継続フレーム数が２以上になったか否かを判断する（ステップS7）。
【００２１】
息音声の継続フレーム数が２以上になった場合は、息音声以外の継続フレーム数の変数CF2 に０を代入して（ステップS8）、継続フレーム数に該当するフレームを息音声フレームとする（ステップS9）。
一方、継続フレーム数が１の場合はステップS2に戻り、判定処理が終了か否かを判断し（ステップS2）、未処理フレームがあるか否かを判断して（ステップS3）、未処理フレームがある場合は、このフレームの判定処理に移行する。
【００２２】
一方、ステップS4の判断の結果、判定対象のフレームの音声パワーが−4000未満の場合、また−4000以上であっても、ステップS5の判断の結果、類似度が閾値に達していない場合は、息音声以外の継続フレーム数の変数CF2 を１だけインクリメントし（ステップS10 ）、息音声以外の継続フレーム数が２以上になったか否かを判断する（ステップS11 ）。
【００２３】
息音声以外の継続フレーム数が２以上になった場合は、息音声の継続フレーム数の変数CF1 に０を代入して（ステップS12 ）、ステップS2に戻り、判定処理が終了か否かを判断し（ステップS2）、未処理フレームがあるか否かを判断して（ステップS3）、未処理フレームがある場合は、このフレームの判定処理に移行する。
以上を繰り返し、未処理フレームがなくなって判定処理が終了すると、息音声認識結果７を生成するなどの所定の終了処理を実行して（ステップS13 ）、判定処理を終了する。
【００２４】
物理量変換部８は、以上のようにして得られた息音声認識結果７の音声パワーを、音声パワーのみに基づいて、又は音声の性質（「はーっ」という軟らかい音声、「ふーっ」という硬い音声）と音声パワーとに基づいて、寒暖時系列データ９に変換する。
【００２５】
図５及び図６は変換関数の一例を示した図である。
図５は、音声パワーが−6000から−2000の比較的弱いパワーの区間では、プラスの温度変化がパワーに比例して徐々に大きくなるように、また−2000から０の比較的強いパワーの区間では、マイナスの温度変化がパワーに比例して徐々に大きくなるような関数である。
【００２６】
図６は、「はーっ」という軟らかい息音声の場合は（図６(a) ）、図５と同様に、パワーが比較的弱い区間では、プラスの温度変化がパワーに比例して徐々に大きくなるように、またパワーが比較的強い区間では、マイナスの温度変化がパワーに比例して徐々に大きくなるような関数である。
一方、「ふーっ」という硬い息音声の場合は（図６(b) ）、音声パワーが−6000から−4000の比較的弱いパワーの区間では、プラスの温度変化がパワーに比例して徐々に大きくなるように、また−4000から０の比較的強いパワーの区間では、マイナスの温度変化がパワーに比例して徐々に大きくなるような関数である。
【００２７】
なお、本形態ではマイクロフォンが１つの場合について説明したが、マイクロフォンを複数個用いて息の方向を検出してもよく、またその設置場所も、ディスプレイ画面の下辺中央に限らず、ユーザがディスプレイ画面上の画像に対して息の吹きかけ・吸い込みを可及的に自然な姿勢で行える位置であれば、ディスプレイ上のどこであってもよく、またディスプレイ装置とは別に設置してもよい。
【００２８】
また、本形態ではディスプレイ画面11の画像の表示を制御する場合について説明したが、息音声のパワーを他の物理量に変換し、この物理量を、パソコンに接続されたロボットのような可動体の駆動パラメータに変換し、例えば息の吹きかけ・吸い込みにより花のロボットを揺れさせるといったことも可能である。
【００２９】
さらに、本形態では本発明装置がパソコンの場合について説明したが、本発明装置は、マイクロフォンのような音声入力手段を備えた携帯用パソコン、携帯用ゲーム機、家庭用ゲーム機などであってもよい。
【００３０】
また、本形態では音声認識の技術を応用した場合について説明したが、息音声のパワーのみを検出して他の物理量に変換する簡単な構成の装置であってもよく、その場合はマイクロフォンのような音声入力手段からの息の吹きかけ・吸い込みを装置側に知らせるためのボタンのような指示手段を設けてもよい。
【００３１】
【実施例】
以下に、本発明装置を利用してディスプレイ画面上の画像の表示状態を変化させる具体例を挙げる。
息の吹きかけの音声パワーを温度の時系列データに変換する場合では、木炭を吹くと赤くなっていく、熱い飲み物の湯気が少なくなっていく、ろうそくの炎・ランプの灯が消えるなどが可能である。
【００３２】
また、息の吹きかけの音声パワーを速度、移動距離、移動方向に変換した場合では、風船を飛ばす、水面に波紋を広げる、絵の具のような液体をスプレー状に散布する、絵の具に息を吹きかけて絵を描く、エージェントに息を吹きかけてレースさせる、消しゴムのくずを払うなどが可能である。
【００３３】
さらに、息の音声パワーを呼吸量に変換した場合では、風船を膨らます、風船を萎ます、キーボードで音程を指定して管楽器のような楽器を演奏する、肺活量を測定するなどが可能である。
【００３４】
【発明の効果】
以上のように、本発明の息検出機能付情報処理装置及び息検出による画像表示制御方法は、マイクロフォンのような入力手段により入力された息の音声を検出して音声パワーのような特徴量を、温度、移動速度などの他の物理量に変換し、ディスプレイ画面上の画像の表示状態、またロボットのような可動体の駆動状態を制御するので、ユーザは自分の息が画像、ロボットに直接作用したような感じが得られ、違和感が取り除かれ、ユーザとディスプレイ画面上の仮想世界、またはロボットとの間の隔たり感がなくなるという優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明装置のブロック図である。
【図２】息吹きかけの音声ラティス・音声パワーの図である。
【図３】息音声認識結果の音声ラティス・音声パワーの図である。
【図４】息音声判定のフローチャートである。
【図５】音声パワーから寒暖変化への変換関数の例（その１）を示す図である。
【図６】音声パワーから寒暖変化への変換関数の例（その２）を示す図である。
【符号の説明】
１ マイクロフォン
２ 音響処理部
３ 特徴量
31 音声パワー
32 音声素片
４ 音声素片認識部
41 音声素片辞書
41a 通常音声
41b 雑音
41c 息吹きかけ音声
41d 息吸い込み音声
５ 音声ラティス
６ 息音声認識部
61 判断規則辞書
61a 息吹きかけ
61b 息吸い込み
62 息音声認識手段
７ 息音声認識結果
８ 物理量変換部
９ 寒暖時系列データ
10 表示制御部
11 ディスプレイ画面
Claims (4)
- 音声信号から息の音声を検出し、検出結果に基づき処理した所定の情報を出力する装置であって、
音声の入力手段と、
該入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出する手段と、
息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書と、
該辞書を参照して、前記入力手段により入力された音声が息の音声か否かを判断する手段と、
該手段の判断の結果、前記入力手段により入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換する手段と、
該物理量の情報を前記所定の情報に変換する手段と
を備え、
前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なるようしてあることを特徴とする息検出機能付情報処理装置。 - 音声信号から息の音声を検出し、検出結果に基づき処理した表示情報を表示する装置であって、
音声の入力手段と、
画像を表示する画面と、
該画面への画像の表示状態を表示パラメータに応じて制御する手段と、
前記入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出する手段と、
息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書と、
該辞書を参照して、前記手段により入力された音声が息の音声か否かを判断する手段と、
該手段の判断の結果、前記入力手段により入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換する手段と、
該物理量の情報を前記表示パラメータに変換する手段と
を備え、
前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なるようしてあることを特徴とする息検出機能付情報処理装置。 - 音声信号から息の音声を検出し、検出結果に基づき処理した所定の情報を出力する装置であって、
音声の入力手段と、
可動体と、
該可動体を動作させる駆動手段と、
該駆動手段の駆動状態を駆動パラメータに応じて制御する手段と、
前記入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出する手段と、
息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書と、
該辞書を参照して、前記入力手段により入力された音声が息の音声か否かを判断する手段と、
該手段の判断の結果、前記入力手段により入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換する手段と、
該物理量の情報を前記駆動パラメータに変換する手段と
を備え、
前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なるようしてあることを特徴とする息検出機能付情報処理装置。 - 音声の入力手段と、画像を表示する画面と、該画面への画像の表示状態を表示パラメータに応じて制御する手段とを備えた情報処理装置において、
入力された音声信号から息の音声を検出し、検出結果に基づき処理した表示情報を画面に表示する方法であって、
前記入力手段により入力された音声を特徴付けている、音声パワーを含む要素の特徴量を検出し、
息の音声を構成する音声素片、及び、該音声素片数並びに音声パワーに基づいて息の音声であるか否かを判断するための判断規則を格納している辞書を参照して、入力された音声が息の音声か否かを判断し、
判断の結果、入力された音声が息の音声の場合は、該音声の前記音声パワーに基づいて、音声パワーの区間を区切り、音声パワーと物理量の変化とを座標軸とする２次元座標平面上における該音声パワーと物理量の変化との相対関係を示す関数を用いて、前記音声パワーを他の物理量の情報に変換し、
該物理量の情報をさらに表示パラメータに変換し、
該画面への画像の表示状態を該表示パラメータに応じて制御しており、
前記関数は、前記２次元座標平面上において音声パワーの区間により物理量の変化の方向が異なることを特徴とする息検出による画像表示制御方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30221297A JP4030162B2 (ja) | 1997-11-04 | 1997-11-04 | 息検出機能付情報処理装置及び息検出による画像表示制御方法 |
| US09/049,087 US6064964A (en) | 1997-11-04 | 1998-03-27 | Data processing apparatus having breath detecting function and image display control method using breath detection |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30221297A JP4030162B2 (ja) | 1997-11-04 | 1997-11-04 | 息検出機能付情報処理装置及び息検出による画像表示制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11143484A JPH11143484A (ja) | 1999-05-28 |
| JP4030162B2 true JP4030162B2 (ja) | 2008-01-09 |
Family
ID=17906312
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30221297A Expired - Fee Related JP4030162B2 (ja) | 1997-11-04 | 1997-11-04 | 息検出機能付情報処理装置及び息検出による画像表示制御方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6064964A (ja) |
| JP (1) | JP4030162B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109999366A (zh) * | 2017-12-20 | 2019-07-12 | 东芝能源系统株式会社 | 医用装置、医用装置的控制方法以及程序 |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7739061B2 (en) * | 1999-02-12 | 2010-06-15 | Pierre Bonnat | Method and system for controlling a user interface of a device using human breath |
| WO2000048066A1 (fr) * | 1999-02-12 | 2000-08-17 | Pierre Bonnat | Procede et dispositif de commande d'un systeme electronique ou informatique au moyen d'un flux de fluide |
| US20040100276A1 (en) * | 2002-11-25 | 2004-05-27 | Myron Fanton | Method and apparatus for calibration of a vector network analyzer |
| US8209185B2 (en) * | 2003-09-05 | 2012-06-26 | Emc Corporation | Interface for management of auditory communications |
| US8103873B2 (en) * | 2003-09-05 | 2012-01-24 | Emc Corporation | Method and system for processing auditory communications |
| US8244542B2 (en) | 2004-07-01 | 2012-08-14 | Emc Corporation | Video surveillance |
| US8180743B2 (en) * | 2004-07-01 | 2012-05-15 | Emc Corporation | Information management |
| US9268780B2 (en) | 2004-07-01 | 2016-02-23 | Emc Corporation | Content-driven information lifecycle management |
| US20060004818A1 (en) * | 2004-07-01 | 2006-01-05 | Claudatos Christopher H | Efficient information management |
| US20060004579A1 (en) * | 2004-07-01 | 2006-01-05 | Claudatos Christopher H | Flexible video surveillance |
| US8229904B2 (en) * | 2004-07-01 | 2012-07-24 | Emc Corporation | Storage pools for information management |
| JP4630646B2 (ja) | 2004-11-19 | 2011-02-09 | 任天堂株式会社 | 息吹きかけ判別プログラム、息吹きかけ判別装置、ゲームプログラムおよびゲーム装置 |
| JP3734823B1 (ja) | 2005-01-26 | 2006-01-11 | 任天堂株式会社 | ゲームプログラムおよびゲーム装置 |
| JP4756896B2 (ja) * | 2005-04-13 | 2011-08-24 | 任天堂株式会社 | ゲームプログラムおよびゲーム装置 |
| WO2006138274A2 (en) * | 2005-06-13 | 2006-12-28 | The University Of Vermont And State Agricultural College | Breath biofeedback system and method |
| JP4722653B2 (ja) * | 2005-09-29 | 2011-07-13 | 株式会社コナミデジタルエンタテインメント | 音声情報処理装置、音声情報処理方法、ならびに、プログラム |
| US9779751B2 (en) * | 2005-12-28 | 2017-10-03 | Breath Research, Inc. | Respiratory biofeedback devices, systems, and methods |
| EP1968443A4 (en) * | 2005-12-28 | 2011-09-28 | Nirinjan Bikko | BIORETRACTION DEVICE FOR BREATHING |
| JP5048249B2 (ja) * | 2006-01-27 | 2012-10-17 | 任天堂株式会社 | ゲーム装置およびゲームプログラム |
| JP5022605B2 (ja) * | 2006-01-31 | 2012-09-12 | 任天堂株式会社 | プログラム、コンピュータシステムおよび情報処理方法 |
| JP4493678B2 (ja) * | 2007-03-27 | 2010-06-30 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム処理方法、ならびに、プログラム |
| US9753533B2 (en) * | 2008-03-26 | 2017-09-05 | Pierre Bonnat | Method and system for controlling a user interface of a device using human breath |
| JP5238935B2 (ja) * | 2008-07-16 | 2013-07-17 | 国立大学法人福井大学 | 口笛の吹音・吸音判定装置及び口笛音楽検定装置 |
| US8545228B2 (en) * | 2008-11-04 | 2013-10-01 | Massachusetts Institute Of Technology | Objects that interact with a user at a visceral level |
| KR20100106738A (ko) * | 2009-03-24 | 2010-10-04 | 주식회사 팬택 | 마이크를 이용한 바람 인식 방법 및 시스템 |
| WO2011138794A1 (en) * | 2010-04-29 | 2011-11-10 | Narasingh Pattnaik | A breath actuated system and method |
| JP5647455B2 (ja) * | 2010-07-30 | 2014-12-24 | インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ | 音声に含まれる吸気音を検出する装置、方法、及びプログラム |
| JP5617442B2 (ja) * | 2010-08-30 | 2014-11-05 | カシオ計算機株式会社 | ゲーム装置及びゲームプログラム |
| JP5341967B2 (ja) * | 2011-10-11 | 2013-11-13 | 任天堂株式会社 | ゲーム装置およびゲームプログラム |
| JP5811837B2 (ja) | 2011-12-27 | 2015-11-11 | ヤマハ株式会社 | 表示制御装置及びプログラム |
| US9814438B2 (en) | 2012-06-18 | 2017-11-14 | Breath Research, Inc. | Methods and apparatus for performing dynamic respiratory classification and tracking |
| US10426426B2 (en) | 2012-06-18 | 2019-10-01 | Breathresearch, Inc. | Methods and apparatus for performing dynamic respiratory classification and tracking |
| CN105378829B (zh) * | 2013-03-19 | 2019-04-02 | 日本电气方案创新株式会社 | 记笔记辅助系统、信息递送设备、终端、记笔记辅助方法和计算机可读记录介质 |
| US8719032B1 (en) | 2013-12-11 | 2014-05-06 | Jefferson Audio Video Systems, Inc. | Methods for presenting speech blocks from a plurality of audio input data streams to a user in an interface |
| DE102015212142B4 (de) | 2015-06-30 | 2017-08-10 | Hahn-Schickard-Gesellschaft für angewandte Forschung e.V. | Vorrichtung, Verfahren und maschinenlesbare Befehle zum Steuern eines graphischen Objekts auf einem Anzeigegerät |
| GB2583117B (en) * | 2019-04-17 | 2021-06-30 | Sonocent Ltd | Processing and visualising audio signals |
| CN110134723A (zh) * | 2019-05-22 | 2019-08-16 | 网易（杭州）网络有限公司 | 一种存储数据的方法和数据库 |
| JPWO2021153214A1 (ja) * | 2020-01-31 | 2021-08-05 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4686999A (en) * | 1985-04-10 | 1987-08-18 | Tri Fund Research Corporation | Multi-channel ventilation monitor and method |
| IL108908A (en) * | 1994-03-09 | 1996-10-31 | Speech Therapy Systems Ltd | Speech therapy system |
| US5730140A (en) * | 1995-04-28 | 1998-03-24 | Fitch; William Tecumseh S. | Sonification system using synthesized realistic body sounds modified by other medically-important variables for physiological monitoring |
| US5778341A (en) * | 1996-01-26 | 1998-07-07 | Lucent Technologies Inc. | Method of speech recognition using decoded state sequences having constrained state likelihoods |
| US5853005A (en) * | 1996-05-02 | 1998-12-29 | The United States Of America As Represented By The Secretary Of The Army | Acoustic monitoring system |
-
1997
- 1997-11-04 JP JP30221297A patent/JP4030162B2/ja not_active Expired - Fee Related
-
1998
- 1998-03-27 US US09/049,087 patent/US6064964A/en not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109999366A (zh) * | 2017-12-20 | 2019-07-12 | 东芝能源系统株式会社 | 医用装置、医用装置的控制方法以及程序 |
| CN109999366B (zh) * | 2017-12-20 | 2021-05-18 | 东芝能源系统株式会社 | 医用装置、医用装置的控制方法以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6064964A (en) | 2000-05-16 |
| JPH11143484A (ja) | 1999-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4030162B2 (ja) | 息検出機能付情報処理装置及び息検出による画像表示制御方法 | |
| JP6841167B2 (ja) | コミュニケーション装置、コミュニケーションロボットおよびコミュニケーション制御プログラム | |
| KR101056406B1 (ko) | 게임장치, 게임처리방법 및 정보기록매체 | |
| US6072467A (en) | Continuously variable control of animated on-screen characters | |
| KR102174188B1 (ko) | 발화 개선을 위한 두경부 물리 특성 기반의 발화 개선 가이드 및 피드백 및 피드백 시스템 | |
| JPH08314625A (ja) | コンピュータ制御装置およびコンピュータ制御システム | |
| US20050188821A1 (en) | Control system, method, and program using rhythm pattern | |
| Fels | Designing for intimacy: Creating new interfaces for musical expression | |
| JP2001029649A (ja) | 音声認識により音声視覚表示を行うゲーム機 | |
| JP4919467B2 (ja) | 活動支援装置 | |
| JP3337588B2 (ja) | 音声応答装置 | |
| JP2002049385A (ja) | 音声合成装置、疑似感情表現装置及び音声合成方法 | |
| Cotton et al. | The Body Electric: A NIME designed through and with the somatic experience of singing | |
| JP5399966B2 (ja) | ゲーム装置、ゲーム装置の制御方法、及びプログラム | |
| KR101652705B1 (ko) | 멀티 모달 정보를 이용하는 사용자 의도 추론 장치 및 방법 | |
| TWI402784B (zh) | Music detection system based on motion detection, its control method, computer program products and computer readable recording media | |
| JP4677543B2 (ja) | 表情付け音声発生装置 | |
| JP5629364B2 (ja) | ゲーム装置、ゲーム装置の制御方法、及びプログラム | |
| JP4774825B2 (ja) | 演技評価装置及び方法 | |
| JPH10261099A (ja) | 画像処理装置 | |
| JP2006038894A (ja) | ロボット制御装置および方法、記録媒体、並びにプログラム | |
| US20210291379A1 (en) | Robot, speech synthesizing program, and speech output method | |
| JP4254400B2 (ja) | 画像生成装置およびその画像生成方法、ならびにコンピュータ読み取り可能な記録媒体 | |
| JP3869448B2 (ja) | 発声補助装置 | |
| JP2004170756A (ja) | ロボット制御装置および方法、記録媒体、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050628 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050705 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050831 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051101 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051228 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060130 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071016 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101026 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101026 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111026 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111026 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131026 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |