JP5963975B2 - タッチレスユーザインタフェースのためのハイブリッド入力装置 - Google Patents

タッチレスユーザインタフェースのためのハイブリッド入力装置 Download PDF

Info

Publication number
JP5963975B2
JP5963975B2 JP2015553143A JP2015553143A JP5963975B2 JP 5963975 B2 JP5963975 B2 JP 5963975B2 JP 2015553143 A JP2015553143 A JP 2015553143A JP 2015553143 A JP2015553143 A JP 2015553143A JP 5963975 B2 JP5963975 B2 JP 5963975B2
Authority
JP
Japan
Prior art keywords
user
signal
breath
sensor
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015553143A
Other languages
English (en)
Other versions
JP2016511456A (ja
Inventor
リチャード ホワイト
リチャード ホワイト
ヤニ キヴィオヤ
ヤニ キヴィオヤ
アンドリュー ピーター マシューズ
アンドリュー ピーター マシューズ
マイケル アストリー
マイケル アストリー
ステファノ ボリニ
ステファノ ボリニ
Original Assignee
ノキア テクノロジーズ オーユー
ノキア テクノロジーズ オーユー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ノキア テクノロジーズ オーユー, ノキア テクノロジーズ オーユー filed Critical ノキア テクノロジーズ オーユー
Publication of JP2016511456A publication Critical patent/JP2016511456A/ja
Application granted granted Critical
Publication of JP5963975B2 publication Critical patent/JP5963975B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/24Speech recognition using non-acoustical features
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N27/00Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
    • G01N27/02Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance
    • G01N27/04Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance by investigating resistance
    • G01N27/12Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance by investigating resistance of a solid body in dependence upon absorption of a fluid; of a solid body in dependence upon reaction with a fluid, for detecting components in the fluid
    • G01N27/121Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance by investigating resistance of a solid body in dependence upon absorption of a fluid; of a solid body in dependence upon reaction with a fluid, for detecting components in the fluid for determining moisture content, e.g. humidity, of the fluid
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N27/00Investigating or analysing materials by the use of electric, electrochemical, or magnetic means
    • G01N27/02Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance
    • G01N27/04Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance by investigating resistance
    • G01N27/12Investigating or analysing materials by the use of electric, electrochemical, or magnetic means by investigating impedance by investigating resistance of a solid body in dependence upon absorption of a fluid; of a solid body in dependence upon reaction with a fluid, for detecting components in the fluid
    • G01N27/125Composition of the body, e.g. the composition of its sensitive layer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W12/00Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06Authentication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/497Physical analysis of biological material of gaseous biological material, e.g. breath
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Electrochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Description

背景
[技術分野]
本出願で開示する例示的かつ非限定的な実施形態は、概してタッチレスユーザインタフェースに関し、より具体的には呼気による制御でデータ入力システムのウェイクアップを行うことに関する。
[先行開発の概要]
タッチレスユーザインタフェースには種々のタイプが知られている。光センシングと三角測量に基づいて被制御要素を起動するタッチレスシステムが知られているが、音声によって装置の動作を制御するシステムもある。音声による装置動作の制御システムのあるタイプは、低電力ウェイクアップ回路を備える音声認識システムである(低電力ウェイクアップ回路とは、低電力オーディオチャネルであって、マイクロフォンと第2の標準オーディオチャネルの両方に接続され、2つのオーディオチャネル間を切り替えるプロセッサを備えるものである)。
摘要
以下の摘要は単なる例示であり、本願の特許請求の範囲を限定しようとするものではない。
ある態様によれば、装置はセンシング膜を備えたセンサと、前記センサに動作可能に関連するコントローラとを備え、前記センシング膜は、ユーザの呼気に基づいて信号を提供するように構成される。前記コントローラは、前記ユーザの呼気に基づく信号を受け取るように構成される。
別の態様によれば、別の装置はグラフェン酸化物膜を備える呼気センサとコントローラとを備え、前記グラフェン酸化物膜は、湿度勾配に基づいて電気的インピーダンスの変化を感知し、前記感知した変化を出力信号として出力するように構成され、前記コントローラは前記呼気センサからの出力信号を処理するように構成される。前記装置は、前記呼気センサからの出力信号を受け取り、それに応じて信号を提供するように構成される。
また別の態様によれば、薄膜を備えるセンサとコントローラとを備えるユーザインタフェースを提供することであって、前記薄膜は湿度の結果として信号を提供するように構成され、前記コントローラはプロセッサを備え、前記センサと動作可能に関連する、前記ユーザインタフェースを提供することと;前記ユーザインタフェースでユーザからの入力を受け取ることであって、前記入力は前記ユーザの呼気からの水分を湿度の形で含む、前記受け取ることと;前記ユーザの呼気に基づいて、前記入力から前記信号を生成することと;前記プロセッサで、前記ユーザの呼気からの前記入力から生成された前記信号を受け取り、前記信号を処理することを含む方法が提供される。
前述した態様とその他の特徴については、添付図面と合わせて以降の記述で説明される。
タッチレスユーザインタフェース(UI)用ハイブリッド入力装置のある例示的実施形態の概略的な回路図である。装置は音声識別システム方式である。 湿度の上昇に対する図1の装置のグラフェン酸化物(GO)薄膜の反応時間を示すプロットのグラフ表現である。 タッチレスUI用ハイブリッド入力装置の別の例示的実施形態の概略的な回路図である。装置は音声識別システム方式である。 音声認識システム方式のタッチレスUIに対する音声命令の音声波形のグラフ表現である。 湿度の上昇に対するドロップキャストGO膜の反応時間を示すプロットのグラフ表現である。 湿度のパルス変動に対する吹付けGO膜の湿度に対する反応時間を示すプロットのグラフ表現である。 音声認識システム方式のタッチレスUIを用いる例示的方法を示す略図である。 図7の方法に関する信号処理の例示的方法を示す略図である。
実施形態の詳細説明
ジェスチャーを使ったスワイプや近接、音声認識といったタッチレスユーザインタフェース(UI)は、将来の電子装置の開発のために考慮される技術の一部である。他に考慮される技術としては、電源管理モードから装置を起動する呼気センシング機構を利用する技術がある。
タッチレスUIの最も自然な実装の一つは、音声認識を利用することである。例示的な音声認識システムは音波を電気信号に変換するマイクロフォンを使用し、電気信号はプロセッサが音声認識アルゴリズムを用いて解釈される。しかし、こうしたシステムではマイクロフォンとプロセッサを備えるセットアップが過剰に電力を消費することがよくあり、携帯電話等のポータブルな家電において「常時オン」状態で使用するには適さない。こうした状況に対抗するために、通常、既存のマイクロフォン/プロセッサのセットアップは、二次的なユーザ入力であって、通常ユーザが話をする前にボタンを押すことによってウェイクアップされる。ボタンが押されるとなると、UIはもはや真のタッチレスとは言えず、自然で直感的に使用できるものではない。一方、二次的ユーザ入力が音声入力である場合、マイクロフォンはユーザの音声と周囲の雑音との識別に対応するため、装置が通話中の場合これらを分別することができない可能性がある。このため、騒音環境下ではこうしたUIの使用は制限されることになる。また、マイクロフォンには通常、ユーザが話す際にユーザが発する気流の速度や湿度の微妙な変化を検出するのには限られた感度しかない。こうした気流の速度や湿度は、ユーザの感情状態や体調、個性に依存する。こうした追加構成要素の検出と識別は、ユーザが話す言葉の分析をより豊かなものにすることができる。
本出願では、ハイブリッドユーザ入力装置で規定される、音声認識システム方式のタッチレスUIの例示的実施形態が開示される。ハイブリッドユーザ入力装置は、グラフェン酸化物(以下「GO」とする)を積層した薄膜と関連コントローラを組み込んだセンサを備える。コントローラは、GO膜の湿度勾配を介して起動可能なプロセッサを備える。ハイブリッドユーザ入力装置の例示的実施形態によっては、マイクロフォンを備えてもよい。プロセッサに関連するソフトウェアコードは、センサからの応答を解釈するように構成され、マイクロフォンが存在する場合は、そこからの応答とセンサからの応答を結合することもできる。別の例示的実施形態ではセンサがGO以外の材料を含んでもよく、例えばグラフェンや機能性グラフェン、フルオログラフェン、モリブデナイト、窒化硼素、そしてこうした材料の組合せ等を含んでもよい。
GO薄膜を組み込んだセンサは、ハイブリッドユーザ入力装置を低電力動作(ハイブリッドユーザ入力装置が節電のために消費電力を落とす「スリープ」モード)からウェイクアップするのに使用され、低遅延で動作してもよい。あるいは又は加えて、センサは雑音低減、感情状態認識、及び/又はユーザ識別を提供してもよい。
ある実施形態において、ユーザがハイブリッドユーザ入力装置に話し始めると、GO膜ベースのセンサは、ユーザが環境に放出する水分によって反応する。センサによる反応は通常、比較的短時間で検出される電気的インピーダンスの変化である。例えば、こうした反応の検出は通常「超高速」と考えられ、本出願ではこれを約10〜12ミリ秒(ms)の時間と考える。この応答によりコントローラが起動され、システムのタッチレスなインタラクションが開始される。プロセッサに関連する音声認識機能は、装置がスリープモードであっても、ユーザが話し始めるとセンサの反応を介して実質的に瞬時に起動することができる。
実施形態によっては、センサの反応時間で、ユーザが話し中にGO膜に向けて出した気流の分析が(例えば、プロセッサによって)可能であってもよい。この分析中に、選択された言葉のプロファイルの変化が、ユーザの感情状態の変化に関連して言及される。具体的には、類似する言葉が異なるイントネーションで話される場合、それぞれ異なる周波数と振幅を持ち、それらは異なった温度及び湿度の特徴だけでなく、異なった気流速度の特徴を示すことになる。センサは、ユーザの異なる感情の識別(感情認識)を行うために、気流速度や温度、湿度の特徴に基づいて言葉を適切に「学習」するように構成されてもよい。こうしたセンサを採用するシステムは、温度勾配と湿度勾配の分析だけでなく、ユーザが発する声の周波数と振幅の連続した分析によって、学習した言葉の連続的な改善を行うこともできる。このシステムとセンサは、周囲の湿度レベル(例えば、大気湿度)に対する温度勾配と湿度勾配を相殺するように構成されてもよい。
実施形態によっては、学習された話し言葉の湿度分析はユーザ識別に利用することもできる。この態様は、電話機等の装置をロック又はロック解除するセキュリティ対策としてセンサ(単独又はマイクロフォンと共に)を利用できるようにする。湿度分析が電話機をロック又はロック解除するセキュリティ対策として利用される場合、パスワードやコードといったセキュリティ対策の手動入力は不要であり、ユーザの呼気だけで電話機をロック解除して着信を受けることができる。システムが認識しないユーザが電話機を使用しようとした場合、受け取られた湿度特徴の違いによってその電話機がロック解除されるのを防止することができる(あるいは、温度特徴と速度特徴を組み合わせたり、周波数及び/又は振幅分析を用いた音声認識を組み合わせたりすることもできる)。これは追加的な安全機能である。
さらに、センサ応答をオーディオ信号のフィルタリング処理と組み合わせ、雑音を低減させることもできる。例えば、センサの応答が、ユーザの音声と関係のないオーディオ信号(例えば、湿度信号と相関のないオーディオ信号)をフィルタで除く信号処理と共に使用されてもよい。
実施形態によっては、センサの応答が、ユーザの感情認識のための信号を処理する信号処理と共に使用されてもよい。こうした例示的実施形態の一つでは、処理信号がユーザの呼気の速度特徴と相関があってもよい。例えば、処理信号の中にはユーザが落ち着いていることを示すゆっくりと深い呼吸と相関のあるものもあり、他の処理信号はユーザがストレスを受けていることを示す速く不規則な呼吸と相関があるものもある。信号装置におけるセンサとマイクロフォンの組合せによって、更に補間情報を与える測定が行え、それによってセンサ単独で使用するより改善された結果を提供することができる。例えば、センサとマイクロフォンの組合せにより、センサを単独で使用する実施形態と比べてユーザの感情をより詳細かつ正確に認識するような方式で、オーディオ信号の処理を行うことができる。
その結果、音声認識システム方式のタッチレスUIは、超高速の反応時間と低消費電力、そしてユーザが話しをする間に放出される水分に対する高い感度を有する湿度センサを備えることができる。
次に図1を参照する。音声認識システム方式のUIを規定するある回路の実施形態が、参照番号100で概括的に示されている。以降ではこれを「システム100」とする。システム100は、センサ110とマイクロフォンモジュール120、コントローラ130を備えてもよい。センサ110は(例えば電源から)レール電圧(VDD)が印加されている薄膜140を備える。薄膜140は、湿度勾配に対応する電気的インピーダンスの変化を検出することで湿度を感知することができる。薄膜140は、GO、又は電気的インピーダンスの変化を検出することで湿度を感知できる他のあらゆる材料を含むことができる。ある例示的実施形態において、薄膜140には可変抵抗及び固定抵抗が含まれる。固定抵抗は通常約10メガオームの基準抵抗値を与え、薄膜層の一部として限定されることはない。薄膜層はGOを規定するが、表面実装された金属膜を含んでもよい。
マイクロフォンモジュール120が存在する場合、音声信号150を電子信号160に変換するトランスデューサを組み込んでいる。実施形態によっては、マイクロフォンモジュール120のトランスデューサの周囲に保護スクリーンが配置され、薄膜140がこの保護スクリーンの中に組み込まれていてもよい。
コントローラ130は、プロセッサ180と少なくとも1種類のメモリ、ソフトウェアを備えてもよい。コントローラ130は、マイクロフォンモジュール120のトランスデューサと薄膜140から1つ又は複数の電子信号160を受け取り、プロセッサ180にデータ入力信号を提供するアナログ・デジタル変換器(ADC)170を備えてもよい。プロセッサ180は音声認識アルゴリズムによりデジタル信号処理(DSP)を行う。コントローラ130は割込みポート190を備えてもよい。薄膜140で感知された湿度は割込みポート190に伝わり、コントローラ130を「スリープ」モードから「ウェイクアップ」するのに使用することができる。プロセッサ180は更に、受電手段や1つ又は複数のスイッチを備えてもよい。
プロセッサ180は音声認識アルゴリズムでDSPを行うだけでなく、ナノワット程の電力を消費するだけの低電力モードで「スリープ」状態になることもできる。プロセッサ180は、割込みポート190にかかる直流(DC)電圧が所定の閾値を超えるとウェイクアップされるように構成することができる。このDC電圧の上昇はウェイクアップ機能を起動し、センサ110を立ち上げる。
センサ110の立ち上げは薄膜140の抵抗値を下げることで達成され、それに応じて電圧も上昇する。次に図2を参照する。ユーザがセンサ110に音声信号150を与えるか、少なくとも呼気をかける(薄膜140に湿気を与える)と、薄膜140の抵抗値が下がる。その結果、割込みポート190にかかる電圧がそれに応じて上昇し、プロセッサ180を起動することができる。これにより、センサ110とマイクロフォンモジュール120(備えられている場合)、プロセッサ180の音声認識アルゴリズムを備えるシステム100の動作を可能にする。こうした(音声の代替として又は音声と共に)湿度センシングを利用する態様は、周囲の雑音や他の環境条件から引き起こされる誤ったウェイクアップトリガーを回避する方法を提供し、音声認識処理の動作中での雑音低減を容易にすることができる。こうして、音声認識アルゴリズムへのデータ入力が、呼気によるコントローラ130の起動制御に繋げられる。
次に図3を参照する。音声認識システム方式のUIに関する別の実施形態が、参照番号200で概括的に示されている。以降ではこれを「システム200」とする。システム200の回路では、DC電圧を使ったセンサ110の立ち上げが、ユーザの呼気信号を分析するのに使用されてもよい。こうした分析を行う際、センサの値の読取りは不要である。しかし、システム100の回路とは異なり、DC電圧による割込みポート190の励起は適さないこともある。それは、センサや測定エレクトロニクスの何れかによってオフセット電圧(Voff)が生じる可能性があるためである。こうしたオフセット電圧(Voff)はセンサによるもの(例えば、電荷トラップや電気化学的効果、湿度変化及び/又は温度変化によるもの)や測定エレクトロニクスによるもの(例えば、ADCの不正確さや基準抵抗値に影響を及ぼす熱変動)、電源によるもの(例えば、電源に取り付けられ、電源と同じ働きをする他のコンポーネントのスイッチのオン・オフ)の何れであっても、通常その電圧の大きさは小さい。また、(例えば電源からの)レール電圧(VDD)は電子的なノイズを生じ、システム200の動作を損なわせることもある。したがって、システム200の回路では、割込みポート190からのDC励起電圧は制御機構220に渡される。制御機構220は、システムがウェイクアップされるとき、DC励起電圧を矩形波230に変換する。矩形波の高値は基準電圧(Vref)に設定され、低値はグランドである。ADC170で測定される電位差は次の通りである:
(Vref+Voff) Rmeas/(Rsense+Rmeas) - Voff Rmeas/(Rsense+Rmeas)
=Vref Rmeas/(Rsense+Rmeas)
この値はオフセット電圧に依存しない(ここで、Rsenseはセンサ110の抵抗値、Rmeasは直列測定抵抗の抵抗値である)。矩形波230の周波数は、薄膜140の並列電気容量(Csense)が、ADC170が測定する電圧の不正確さを生じさせないように選択される。より具体的には、読取り開始前にコンデンサが放電されるような放電時間を与えるように、1/RsenseCsense 又は 1/RmeasCsense は測定周波数よりも十分大きい。
次に図4を参照する。持続時間が1秒である音声命令の音声波形が参照番号300に概略的に示されている。音声波形300の拡大部分が参照番号310に示されている。拡大部分310に示すように、時刻ゼロ(t0)でユーザの音声は始まり、時刻tS(10ms付近)でセンサ110の応答が検出される。プロセッサ180がスリープ状態からウェイクアップするまでの時刻はtMに相当する。この時刻は、プロセッサの発振器が起動して安定するまでの時刻であり、起動して安定するまでの時間は1MHzのクロック周波数で通常約1000クロック周期、即ち1msである。これは、プロセッサが音声を記録し音声認識アルゴリズムの実行を開始するのは、ユーザが話し出してから約11ms後であることを意味する。このことは、音声制御ユーザインタフェースには適切な速さであり、音声波形300の主要部分を記録するのに十分な速さでもある。
プロセッサ180がウェイクアップすると、センサ110とマイクロフォンモジュール120に接続するADC170はそれぞれの出力信号をサンプリングする。次いで、音声認識アルゴリズムはADC170からの信号を(例えばDSPを通じて)解釈することができる。センサ110からの追加情報はマイクロフォンモジュール120からの電子信号160との相関が取られ、ユーザが話しているときの周囲の雑音を音声信号150から分別することができる。
如何なる実施形態においても、センサ110は例えば、(スクリーンとして又は配列の)基板のプリント電極の上部にGO薄膜140を吹付けたりインクジェットでプリントしたりして作成することができる。したがってセンサは装置表面に簡単に組み込むことができる。薄膜140は、センサ110に組み込まれる場合は通常透明である。
GO薄膜140を含むセンサ110の反応時間はGO膜の厚さに依存し、膜厚が薄いほど反応時間が短いことが分かる。例えば図5を参照すると、膜厚が約1マイクロメートル(μm)のドロップキャストGO膜の反応時間は約600msである。一方、図6を参照すると、膜厚が約15ナノメートル(nm)の吹付けGO膜の反応時間は約40msである。GO薄片には二次元的性質があるため、膜厚が平面に敷き詰めた原子一個分(約1nm)に等しいGO膜は、例えばラングミュア-ブロジェット(Langmuir-Blodgett)法を用いて実現することができる。したがって、40msよりずっと短い反応時間(例えば10ms以下)は、超薄GO膜を用いて実現することができる。
次に図7を参照する。音声認識システム方式のUIで、ハイブリッドユーザ入力装置を備えるUIを使用する例示的方法の1つが、参照番号400で概括的に示されている。以降ではこれを「方法400」とする。方法400はソフトウェアで規定され、コンピュータの非一時的記憶媒体に具現化されてもよい。方法400は、ユーザからの入力を受け取る受信ステップ410を含む。受信ステップ410では、入力は非触覚的(タッチレス)であり、ユーザから少なくとも呼気の形で行われてもよい。呼気は音声成分を有していてもよく、有していなくてもよい。信号420は、受信ステップ410から変換ステップ430に渡される。
変換ステップ430では、ユーザの呼気入力による水分(湿気)が薄膜140に与えられ、プロセッサ180の起動を許可する信号を生成する。これと同時に又は略同時に、呼気入力はADC170でデジタル信号に変換される。場合によっては、プロセッサ180の起動許可信号は、オフセット電圧とレール電圧により生じるノイズを相殺するために、矩形波230として受信ステップ410にフィードバックされてもよい。
参照番号440で示すデジタル信号は次に処理ステップ450で処理されるために、プロセッサ180の音声認識アルゴリズムに渡される。処理ステップ450では、ユーザから入力された種々の信号のプロファイルの変化が分析され、例えば、ユーザ識別やユーザの感情認識等を決定してもよい。
次に図8を参照する。UIの信号を処理する例示的方法の1つが、参照番号500で概括的に示されている。以降ではこれを「方法500」とする。方法500では、受信ステップ410からの入力が音声速度分析ステップ520、温度特徴分析ステップ530、及び湿度特徴分析ステップ540の1つ又は複数で分析される。音声速度分析ステップ520、温度特徴分析ステップ530、及び湿度特徴分析ステップ540の1つ又は複数からの分析結果出力は、学習ステップ545で使用される。このステップでは、ユーザの異なる感情を識別するためにセンサ110が言葉を学習する。
ある実施例では、装置はセンシング薄膜を備えたセンサと、前記センサに動作可能に関連するコントローラとを備え、前記センシング薄膜は、ユーザの呼気に基づいて信号を提供するように構成される。前記コントローラは、前記ユーザの呼気に基づく信号を受け取るように構成される。
別の実施例では、装置はグラフェン酸化物膜を備える呼気センサとコントローラとを備え、前記グラフェン酸化物膜は、湿度勾配に基づいて電気的インピーダンスの変化を感知し、前記感知した変化を出力信号として出力するように構成され、前記コントローラは前記呼気センサからの出力信号を処理するように構成される。前記装置は、前記呼気センサからの出力信号を受け取り、それに応じて信号を提供するように構成される。
別の実施例では、薄膜を備えるセンサとコントローラとを備えるユーザインタフェースを提供することであって、前記薄膜は湿度の結果として信号を提供するように構成され、前記コントローラはプロセッサを備え、前記センサと動作可能に関連する、前記ユーザインタフェースを提供することと;前記ユーザインタフェースでユーザからの入力を受け取ることであって、前記入力は前記ユーザの呼気からの水分を湿度の形で含む、前記受け取ることと;前記ユーザの呼気に基づいて、前記入力から前記信号を生成することと;前記プロセッサで、前記ユーザの呼気からの前記入力から生成された前記信号を受け取り、前記信号を処理することを含む方法が提供される。
別の実施例では、1つ又は複数の命令の1つ又は複数のシーケンスを含む非一時的コンピュータ可読記憶媒体であって、前記1つ又は複数の命令は、装置の1つ又は複数のプロセッサで実行されると、前記装置に少なくとも:ユーザからの入力を受け取ることであって、前記入力は前記ユーザの呼気からの水分を湿度の形で含む、前記受け取ることと;前記ユーザの呼気に基づいて、前記入力から信号を生成することと;前記プロセッサで、前記ユーザの呼気に基づく前記入力から生成された前記信号を受け取り、前記信号を処理することとを実行させる、前記非一時的コンピュータ可読記憶媒体が提供される。
前述した説明は一例に過ぎないという点に留意しなくてはならない。当業者であれば、種々の代替や変更を考え出すことができる。例えば、種々の従属請求項に記載した特徴は、あらゆる適切な組合せにおいて互いに組み合わせることができる。加えて、前述した別々の実施形態からの特徴を選択的に組み合わせて新たな実施形態にすることもできる。したがって、本出願での記述は、添付の請求項に記載する範囲内にあるこうした代替、変更、及び変形の全てを包含しているものである。

Claims (18)

  1. センシング薄膜を備えたセンサであって、前記センシング薄膜はユーザの呼気に基づいて信号を提供するように構成される、前記センサと;
    前記センサに動作可能に関連するコントローラであって、前記ユーザの呼気に基づく信号を受け取るように構成される、前記コントローラと;
    を備え、前記ユーザの呼気から放出された水分が、前記ユーザの識別に使用される、装置。
  2. 前記コントローラに動作可能に関連するマイクロフォンを更に備える、請求項1に記載の装置。
  3. 前記センシング薄膜は、グラフェン酸化物、グラフェン、機能性グラフェン、フルオログラフェン、モリブデナイト、窒化硼素、及び前項の組合せから成るグループから選択される、請求項1に記載の装置。
  4. 前記ユーザの呼気に基づく信号は、前記センシング薄膜で受け取られる電気的インピーダンスの変化である、請求項1に記載の装置。
  5. 前記コントローラは音声認識システムを備える、請求項1に記載の装置。
  6. 前記コントローラは、前記ユーザの音声から選択された部分の速度を分析する手段を備える、請求項1に記載の装置。
  7. 前記コントローラは、前記ユーザの呼気から選択された部分の温度特徴を分析する手段を備える、請求項1に記載の装置。
  8. 前記センサは、前記ユーザの呼気の湿度を感知する、請求項1に記載の装置。
  9. 前記ユーザの呼気に基づいて受け取られた信号は、前記装置のコンポーネントをスリープモードからウェイクアップする、請求項1に記載の装置。
  10. 薄膜を備える呼気センサであって、前記薄膜は、湿度勾配に基づいて電気的インピーダンスの変化を感知し、前記感知した変化を出力信号として出力するように構成される、前記呼気センサと;
    前記呼気センサからの出力信号を処理するように構成される、コントローラと;
    を備える装置であって、前記呼気センサからの出力信号を受け取り、前記受け取った出力信号に応じて信号を提供するように構成される、装置であって、前記呼気センサの出力信号に基づく水分分析の結果を、前記装置のユーザの識別に利用するように構成される、装置
  11. 前記コントローラは音声認識システムを備える、請求項10に記載の装置。
  12. ユーザの呼気に応じて提供される信号は、前記コントローラをスリープモードからウェイクアップする、請求項10に記載の装置。
  13. 前記コントローラに関連する制御機構であって、前記呼気センサからの信号を矩形波に変換するように構成される、前記制御機構を更に備える、請求項10に記載の装置。
  14. 前記コントローラに動作可能に関連するマイクロフォンであって、ユーザから音声信号を受け取るように構成される、前記マイクロフォンを更に備え、前記音声信号は、ユーザのユーザ識別及び感情認識の少なくとも1つに対して使用できる電子信号に変換される、請求項10に記載の装置。
  15. 薄膜を備えるセンサとコントローラとを備えるユーザインタフェースを提供することであって、前記薄膜は湿度の結果として信号を提供するように構成され、前記コントローラはプロセッサを備え、前記センサと動作可能に関連する、前記ユーザインタフェースを提供することと;
    前記ユーザインタフェースでユーザからの入力を受け取ることであって、前記入力は前記ユーザの呼気からの水分を湿度の形で含む、前記受け取ることと;
    前記ユーザの呼気に基づいて、前記入力から前記信号を生成することと;
    前記プロセッサで、前記ユーザの呼気からの前記入力から生成された前記信号を受け取り、前記信号を処理することと;
    を含み、前記湿度は前記ユーザの識別に使用される、方法。
  16. 前記プロセッサで前記信号を処理することは、音声速度、温度特徴、及び湿度特徴の少なくとも1つを決定するために、前記ユーザの呼気に基づく前記入力からの前記信号を分析することを含む、請求項15に記載の方法。
  17. 前記音声速度、温度特徴、及び湿度特徴の少なくとも1つを決定することは、前記コントローラをスリープモードからウェイクアップするために使用される、請求項16に記載の方法。
  18. 1つ又は複数の命令の1つ又は複数のシーケンスを含むコンピュータプログラムであって、前記1つ又は複数の命令は、装置の1つ又は複数のプロセッサで実行されると、前記装置に少なくとも:
    ユーザインタフェースでユーザからの入力を受け取ることであって、前記入力は前記ユーザの呼気に基づく水分を湿度の形で含む、前記受け取ることと;
    前記ユーザの呼気に基づいて、前記入力から信号を生成することと;
    前記プロセッサで、前記ユーザの呼気に基づく前記入力から生成された前記信号を受け取り、前記信号を処理することと;
    を実行させ、前記湿度は前記ユーザの識別に使用される、コンピュータプログラム。
JP2015553143A 2013-01-23 2014-01-07 タッチレスユーザインタフェースのためのハイブリッド入力装置 Active JP5963975B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/747,729 US9147398B2 (en) 2013-01-23 2013-01-23 Hybrid input device for touchless user interface
US13/747,729 2013-01-23
PCT/FI2014/050009 WO2014114847A1 (en) 2013-01-23 2014-01-07 Hybrid input device for touchless user interface

Publications (2)

Publication Number Publication Date
JP2016511456A JP2016511456A (ja) 2016-04-14
JP5963975B2 true JP5963975B2 (ja) 2016-08-03

Family

ID=51208398

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015553143A Active JP5963975B2 (ja) 2013-01-23 2014-01-07 タッチレスユーザインタフェースのためのハイブリッド入力装置

Country Status (5)

Country Link
US (1) US9147398B2 (ja)
EP (1) EP2948945A4 (ja)
JP (1) JP5963975B2 (ja)
CN (1) CN105051812B (ja)
WO (1) WO2014114847A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9785706B2 (en) * 2013-08-28 2017-10-10 Texas Instruments Incorporated Acoustic sound signature detection based on sparse features
GB2521832A (en) * 2014-01-02 2015-07-08 Nokia Corp An apparatus and/or method for sensing touch input
US9646607B2 (en) * 2014-03-10 2017-05-09 Dell Products, L.P. Managing wake-on-voice buffer quality based on system boot profiling
CN105469786A (zh) * 2014-08-22 2016-04-06 中兴通讯股份有限公司 语音识别的控制方法和装置
WO2016031080A1 (ja) 2014-08-29 2016-03-03 株式会社アロマビット 嗅覚システム、匂い識別装置、匂い識別方法
US9501810B2 (en) * 2014-09-12 2016-11-22 General Electric Company Creating a virtual environment for touchless interaction
US11262354B2 (en) 2014-10-20 2022-03-01 Boston Scientific Scimed, Inc. Disposable sensor elements, systems, and related methods
EP3012626B1 (en) * 2014-10-24 2020-02-19 Nokia Technologies Oy Method and apparatus for analysis of gases
EP3037806A1 (en) 2014-12-23 2016-06-29 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Gas and vapor sensing devices based on 2D nanosheet material
US10284957B2 (en) 2015-07-22 2019-05-07 Google Llc Devices and methods for a high performance electromagnetic speaker based on monolayers
GB2544257A (en) * 2015-09-19 2017-05-17 Philip Pisani Justin Greeting gesture device
US10014137B2 (en) 2015-10-03 2018-07-03 At&T Intellectual Property I, L.P. Acoustical electrical switch
US9704489B2 (en) 2015-11-20 2017-07-11 At&T Intellectual Property I, L.P. Portable acoustical unit for voice recognition
CN105700363B (zh) * 2016-01-19 2018-10-26 深圳创维-Rgb电子有限公司 一种智能家居设备语音控制装置的唤醒方法及系统
CN109310326B (zh) 2016-06-15 2022-03-01 波士顿科学国际有限公司 气体采样导管
CN106231038A (zh) * 2016-07-22 2016-12-14 柳州正高科技有限公司 一种通过语音识别监测环境温度的nfc手机壳
JP2019536013A (ja) 2016-10-21 2019-12-12 ボストン サイエンティフィック サイムド,インコーポレイテッドBoston Scientific Scimed,Inc. ガス採取用装置
US10575775B2 (en) 2016-10-31 2020-03-03 Motorola Solutions, Inc. Method and apparatus for monitoring hydration using a portable communication device
CN106653060B (zh) * 2017-01-11 2020-05-12 瑞声声学科技(深圳)有限公司 吹气声识别系统及采用该系统的吹气识别方法
WO2018213564A1 (en) * 2017-05-19 2018-11-22 Cardiac Pacemakers, Inc. Systems and methods for assessing the health status of a patient
US10852264B2 (en) 2017-07-18 2020-12-01 Boston Scientific Scimed, Inc. Systems and methods for analyte sensing in physiological gas samples
GB2569810A (en) * 2017-12-27 2019-07-03 Nokia Technologies Oy An apparatus for sensing comprising a microphone arrangement
WO2020112825A1 (en) 2018-11-27 2020-06-04 Boston Scientific Scimed, Inc. Systems and methods for detecting a health condition
WO2020131567A1 (en) 2018-12-18 2020-06-25 Boston Scientific Scimed, Inc. Systems and methods for measuring kinetic response of chemical sensor elements
CN109793520A (zh) * 2019-02-01 2019-05-24 电子科技大学 湿度和应变协同敏感的柔性织物呼吸传感器及其制备方法
JP7193392B2 (ja) * 2019-03-25 2022-12-20 旭化成エレクトロニクス株式会社 情報通信装置および情報通信方法
JP7291842B2 (ja) * 2019-03-25 2023-06-15 旭化成エレクトロニクス株式会社 情報通信装置および情報通信方法
JPWO2021153214A1 (ja) * 2020-01-31 2021-08-05
US11411750B2 (en) 2020-03-30 2022-08-09 Seagate Technology Llc Personal unclonnable function
CN117451795B (zh) * 2023-12-26 2024-03-08 江苏帝奥微电子股份有限公司 一种端口对地和对总电源的湿气检测电路及其检测方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130663A (en) 1997-07-31 2000-10-10 Null; Nathan D. Touchless input method and apparatus
US20110178613A9 (en) 2000-02-14 2011-07-21 Pierre Bonnat Method And System For Processing Signals For A MEMS Detector That Enables Control Of A Device Using Human Breath
US6675027B1 (en) 1999-11-22 2004-01-06 Microsoft Corp Personal mobile computing device having antenna microphone for improved speech recognition
JP3424652B2 (ja) 2000-04-18 2003-07-07 日本電気株式会社 移動電話機
JP2001309439A (ja) * 2000-04-24 2001-11-02 Nec Software Kyushu Ltd Wapアプリケーション搭載携帯電話機の受信データ通知システム
US6650322B2 (en) 2000-12-27 2003-11-18 Intel Corporation Computer screen power management through detection of user presence
GB0127989D0 (en) 2001-11-22 2002-01-16 Glaxo Group Ltd Medicament dispensing system
JP4168754B2 (ja) * 2003-01-08 2008-10-22 ソニー株式会社 生体情報連動システム
US7418392B1 (en) 2003-09-25 2008-08-26 Sensory, Inc. System and method for controlling the operation of a device by voice commands
JP2005214713A (ja) 2004-01-28 2005-08-11 Sony Corp 湿度状態検出システム
US7620316B2 (en) 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7978091B2 (en) 2006-08-24 2011-07-12 Navisense Method and device for a touchless interface
US20090060287A1 (en) 2007-09-05 2009-03-05 Hyde Roderick A Physiological condition measuring device
US8160311B1 (en) * 2008-09-26 2012-04-17 Philip Raymond Schaefer System and method for detecting facial gestures for control of an electronic device
JP4903911B2 (ja) * 2009-03-16 2012-03-28 シャープ株式会社 化学物質センシング装置およびそれを備える化学物質センシングシステム
JP5911796B2 (ja) 2009-04-30 2016-04-27 サムスン エレクトロニクス カンパニー リミテッド マルチモーダル情報を用いるユーザ意図推論装置及び方法
BR112012006952A2 (pt) 2009-09-29 2016-12-06 Edigma Com Sa método de dispositivo de detecção multi-ponto de elevada sensibilidade e seu uso na interação através de massas de ar, vapores ou sopros
JP5826999B2 (ja) * 2010-10-15 2015-12-02 京セラ株式会社 電子機器及び制御方法
EP2479963A1 (en) 2011-01-19 2012-07-25 Sensirion AG Input device
EP2479892B1 (en) * 2011-01-19 2013-08-28 Sensirion AG Input device
WO2012147274A1 (ja) * 2011-04-26 2012-11-01 Necカシオモバイルコミュニケーションズ株式会社 入力補助装置、入力補助方法及びプログラム
WO2012178071A2 (en) 2011-06-23 2012-12-27 Brown University Device and methods for temperature and humidity measurements using a nanocomposite film sensor
US20120331566A1 (en) 2011-06-23 2012-12-27 International Business Machines Corporation Capturing and manipulating content using biometric data
BR112013033418A2 (pt) 2011-07-01 2017-01-24 3M Innovative Properties Co método e aparelho para testar infratores no uso de drogas
US9288840B2 (en) 2012-06-27 2016-03-15 Lg Electronics Inc. Mobile terminal and controlling method thereof using a blowing action

Also Published As

Publication number Publication date
CN105051812B (zh) 2019-08-20
CN105051812A (zh) 2015-11-11
US20140207467A1 (en) 2014-07-24
EP2948945A1 (en) 2015-12-02
JP2016511456A (ja) 2016-04-14
WO2014114847A1 (en) 2014-07-31
US9147398B2 (en) 2015-09-29
EP2948945A4 (en) 2016-12-14

Similar Documents

Publication Publication Date Title
JP5963975B2 (ja) タッチレスユーザインタフェースのためのハイブリッド入力装置
US11676581B2 (en) Method and apparatus for evaluating trigger phrase enrollment
US20200257391A1 (en) Electronic Device Response to Force-Sensitive Interface
EP2849041B1 (en) Wakeup method and system for touch terminal and touch terminal
US20160171975A1 (en) Voice wakeup detecting device and method
US9799215B2 (en) Low power acoustic apparatus and method of operation
US20190087153A1 (en) Audio User Interface Apparatus And Method
TWI474317B (zh) 訊號處理裝置以及訊號處理方法
EP3612917B1 (en) Force-sensitive user input interface for an electronic device
US9547408B2 (en) Quantifying frustration via a user interface
WO2014086273A1 (zh) 手机接近唤醒方法和装置
CN111210021A (zh) 一种音频信号处理方法、模型训练方法以及相关装置
CN103139395A (zh) 移动终端及其控制方法
EP2584459A1 (en) System and method for changing an activation state of an electronic device using acoustic signals
US11914924B2 (en) System and method for voice recognition using a peripheral device
CN203167075U (zh) 移动终端
KR101340028B1 (ko) 사용자 단말의 터치 검출 방법, 장치 및 이를 이용한 사용자 단말

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160628

R150 Certificate of patent or registration of utility model

Ref document number: 5963975

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250