JP3355293B2 - 音声認識遠隔操作装置 - Google Patents

音声認識遠隔操作装置

Info

Publication number
JP3355293B2
JP3355293B2 JP24852097A JP24852097A JP3355293B2 JP 3355293 B2 JP3355293 B2 JP 3355293B2 JP 24852097 A JP24852097 A JP 24852097A JP 24852097 A JP24852097 A JP 24852097A JP 3355293 B2 JP3355293 B2 JP 3355293B2
Authority
JP
Japan
Prior art keywords
signal
word
voice
keyword
room
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24852097A
Other languages
English (en)
Other versions
JPH1185191A (ja
Inventor
靖夫 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Misawa Homes Co Ltd
Original Assignee
Misawa Homes Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Misawa Homes Co Ltd filed Critical Misawa Homes Co Ltd
Priority to JP24852097A priority Critical patent/JP3355293B2/ja
Publication of JPH1185191A publication Critical patent/JPH1185191A/ja
Application granted granted Critical
Publication of JP3355293B2 publication Critical patent/JP3355293B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Details Of Television Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、住宅等の建物内に
設けられたテレビジョン受信機、空調機および玄関扉施
錠装置等の建築設備を、居住者が発する音声により遠隔
操作する音声認識遠隔操作装置に関する。
【0002】
【背景技術】従来より、住宅等の建物内には、夜間にお
いて室内の明るさを維持する照明設備、室内環境の快適
性を維持する空調設備、および、便所や浴室等の衛生に
関する衛生設備等の様々な建築設備が備えられている。
また、情報を取り入れたり、娯楽を提供するために、テ
レビジョン放送受信機、音響機器およびビデオテープレ
コーダ等の家電設備が利用されている。さらに、火災の
発生やガス漏れを速やかに検知して知らせる災害報知設
備や、外部からの侵入者の侵入を検知して警報音を発す
る防犯設備等が導入されることもある。なお、窓や扉の
施錠装置は、留守時の盗難から家財を守るものであるこ
とから、一種の防犯設備といえる。
【0003】このような建築設備は、一般的に、各設備
本体またはその近傍に取り付けられた手元スイッチ等を
手動操作することで、起動・停止や各種の設定操作が行
えるようになっている。また、家電設備、例えば、テレ
ビジョン放送受信機等には、離れた場所から各種の操作
が行える赤外線式遠隔操作装置を備えたものがある。赤
外線式遠隔操作装置は、操作を行うたびに、設備に近づ
く必要がなく、高齢者や身体障害者等にとっては、操作
上、便利なものといえる。
【0004】このような赤外線式遠隔操作装置は、各設
備機器の個々に備えられるものであることから、すべて
の設備を遠隔操作しようとすると、遠隔操作装置の個数
が増え、操作が煩雑となるうえ、遠隔操作装置を手にし
ていない場合には、遠隔操作装置のある場所まで移動し
なければならないので、赤外線式遠隔操作装置では、高
齢者や身体障害者等の生活に対して充分な便宜を図れる
ものではない。このため、高齢者や身体障害者等の生活
に対して充分な便宜を図るために、音声認識の技術を利
用し、音声により建築設備の操作を一元的に行えるよう
にした音声認識遠隔操作装置の開発が進められている。
【0005】
【発明が解決しようとする課題】このような音声認識遠
隔操作装置では、操作者である居住者の発する音声によ
り動作するので、音声入力装置の感度が低いと、居住者
の命令に全く反応しないおそれがある一方、音声入力装
置の感度が高いと、居住者の会話が命令として入力さ
れ、居住者の意に反した誤動作をするおそれがあるとい
う問題がある。
【0006】本発明の目的は、命令に対するレスポンス
が良好となるうえ、誤動作が生じない音声認識遠隔操作
装置を提供することにある。
【0007】
【課題を解決するための手段】本発明は、建物内に設け
られた各建築設備を音声により遠隔操作する音声認識遠
隔操作装置であって、図面をも参照して説明すれば、入
力される音声命令を所定の電気信号に変換して音声信号
として出力する音声変換手段50と、この音声変換手段50
からの音声信号を所定の単語として認識し、前記単語に
相当する所定の電気信号であるワード信号を出力する音
声認識手段64と、前記建築設備に係る複数のキーワード
が記憶され、要求に応じて各キーワードに相当するキー
ワード信号を出力する記憶手段62と、前記音声認識手段
64からのワード信号と前記記憶手段62からのキーワード
信号とを比較し、当該ワード信号の示す単語が前記キー
ワードの中に含まれているか否かを判定し、この判定結
果に基づき操作許可信号を出力する比較判定手段65と、
前記ワード信号が入力され、前記比較判定手段65からの
操作許可信号が入力された場合に、入力された前記ワー
ド信号に該当する操作を行うための命令信号を出力する
命令信号出力手段67と、前記ワード信号の示す単語が前
記キーワードの中に含まれていないと、前記比較判定手
段が判定した場合、前記ワード信号の示す単語が形成す
る命令に最も近似した近似命令信号を出力する近似命令
選択手段と、前記命令信号および近似命令信号に応じた
操作を前記各建築設備に行わせるために、前記各建築設
備に応じた操作出力を発生する操作出力発生手段43,46
とを備えていることを特徴とする。このような本発明で
は、操作者が発した音声のすべてが音声認識手段で認識
されても、記憶手段に記憶されたキーワードに存在しな
い単語は、命令として実行されず、ノーオペレーション
処理されるため、音声変換手段の感度を高めることが可
能となる。このため、居住者が意図してキーワードを含
んだ命令を発しない限り、遠隔操作が実行されないの
で、居住者の会話から生じる誤動作が防止可能となる。
そのうえ、音声変換手段を高感度とできるので、居住者
の命令に対するレスポンスが向上されるようになる。
た、居住者が命令を多少言い間違えても、近似命令選択
手段が前記命令に最も近い近似命令を出力するので、居
住者の望む建築設備の操作を推測して実行す るようにな
るので、この点からも、居住者に対する便宜が図れるよ
うになる。
【0008】以上において、前記音声命令は、該当建築
設備の名称、操作対象および操作内容を示す単語のうち
の少なくとも一つを含むものであり、前記記憶手段に
は、前記各建築設備の名称、操作内容および操作命令を
それぞれ示すキーワードと、これらのキーワードの組み
合わせのうち、実際に実行可能となる組み合わせとが記
憶され、前記比較判定手段は、前記音声認識手段から複
数のワード信号が入力された場合、これらのワード信号
の示す複数の単語の各々が前記キーワードに含まれ、か
つ、これらの単語の組み合わせが記憶された前記キーワ
ードの組み合わせに該当するか否かを判定し、この判定
結果に基づき操作許可信号を出力するものであることが
望ましい。ここで、前記キーワードの組み合わせとして
は、複数のキーワードからなる組み合わせだけでなく、
単独のキーワードのみからなるものも、組み合わせとし
て含まれる。このようにすれば、日常会話の中で頻繁に
使用される単語がキーワードとなっていても、音声命令
が複数のキーワードからなる組み合わせでなければ、建
築設備に対する操作が実行されないので、居住者の便宜
を図るために、キーワードの数を増やしても、居住者の
会話から生じる誤動作が防止可能となる。
【0009】また、前記音声変換手段は、複数の部屋で
それぞれ発せられる音声命令が入力可能とされているも
のであり、前記音声命令は、該当建築設備が設置されて
いる部屋に関する単語、ならびに、当該建築設備の名
称、操作内容および操作命令を示す各単語のうちの少な
くとも一つを含むものであり、前記記憶手段には、該当
建築設備が設置されている部屋に関するキーワード、な
らびに、当該建築設備の名称、操作対象および操作内容
を示すキーワードと、これらのキーワードの組み合わせ
のうち、実際に実行可能となる組み合わせとが記憶さ
れ、前記比較判定手段は、前記音声認識手段から複数の
ワード信号が入力された場合、これらのワード信号の示
す複数の単語の各々が前記キーワードに含まれ、かつ、
これらの単語の組み合わせが記憶された前記キーワード
の組み合わせに該当するか否かを判定し、この判定結果
に基づき操作許可信号を出力するものとするのが好まし
い。ここで、前記音声変換手段としては、それぞれ異な
る箇所に設置されたマイクロフォンが接続されたものが
採用できる。このようにすれば、建物の任意の箇所で発
せられた音声が入力可能となり、建物内のどこからで
も、音声で建築設備の操作が行え、居住者に対する便宜
が図れるようになる。また、部屋名を音声で入力すれ
ば、その部屋の建築設備を指定できるよになるので、一
の部屋に備え付けられた建築設備について操作するにあ
たり、その部屋に在室する必要がなく、別の箇所から操
作を行うことが可能となる。
【0010】さらに、前記音声変換手段は、複数の部屋
でそれぞれ発せられる音声命令が入力可能とされるとと
もに、前記音声信号を出力するにあたり、前記音声命令
が発せられた部屋の部屋コードを前記音声信号に付与す
るものとされ、前記音声認識手段は、前記ワード信号を
出力するにあたり、当該ワード信号に前記部屋コードを
付与するものとされ、前記比較判定手段および前記命令
信号出力手段の間には、前記各部屋に設けられている設
備が前記部屋コードとともに登録され、入力されたワー
ド信号に付された部屋コードが示す部屋に、当該ワード
信号が示す設備が設けられていない場合に、前記比較判
定手段が出力した操作許可信号を無効にする部屋別フィ
ルタ手段が介装されていることが望ましい。このように
すれば、建物内に同一名称の建築設備が複数設けられて
いても、音声で部屋名が指定され、操作対象の建築設備
が特定されるので、操作対象に誤りを生じることがな
く、誤動作が防止される。
【0011】また、前記記憶手段から出力される部屋に
関するキーワード信号には、当該部屋の部屋コードが付
与されており、前記比較判定手段は、比較した前記ワー
ド信号に付与された部屋コードと、前記キーワード信号
に付与された部屋コードとが一致しない場合には、前記
キーワード信号に付された部屋コードを優先し、前記ワ
ード信号に付与された前記部屋コードを無効にするもの
が好ましい。このようにすれば、一の部屋から、この部
屋とは別の部屋に備え付けられた建築設備について操作
するにあたり、音声で入力された部屋名が優先されるよ
うになるので、両方の部屋に同一名称の建築設備が設け
られていても、操作対象に誤りを生じることがなく、こ
の点からも、誤動作が防止される。
【0012】さらに、前記建築設備としては、赤外線リ
モートコントロール装置で操作可能なものが含まれ、前
記操作出力発生手段としては、前記建築設備の前記赤外
線リモートコントロール装置が受信可能な赤外線信号を
送出するものが含まれていることが望ましい。このよう
な赤外線リモートコントロール装置は、テレビジョン放
送受信機、エアコン、照明器具等の家電設備に標準装備
されているので、前述のような操作出力発生手段を採用
すれば、様々な家電設備に対応可能となる。そのうえ、
赤外線リモートコントロール装置付きの家電設備とは、
電気的に直接接続されないので、操作出力発生手段との
信号の整合を行う必要がなく、信号の整合性が容易に確
保される。しかも、赤外線リモートコントロール装置を
備えた家電設備等を増設する場合、操作出力発生手段に
当該設備を操作するための赤外線信号を記憶させれば、
遠隔操作が可能となるので、増設にあたって信号線を配
線する必要がなく、その増設が容易に行える。
【0013】
【0014】また、前記記憶手段には、当該記憶手段に
記憶された各キーワードを一文字だけ異なるらせた文字
列からなる一字違いキーワード群が、元のキーワード毎
に分類されて記憶され、前記近似命令選択手段は、前記
ワード信号が示す文字列を前記一字違いキーワード群の
中に含まれているか否かを検索し、当該一字違いキーワ
ード群の中に含まれている際には、前記ワード信号が示
す文字列が元のキーワードであるとみなし、前記ワード
信号に含まれる全単語を、前記キーワードの中に含まれ
ている単語に変換することで、前記近似命令信号を形成
し、かつ、この近似命令信号を前記比較判定手段へ送出
するものであることが望ましい。このようにすれば、居
住者の望む命令に最も近似した近似命令信号の形成が迅
速に行われ、実行までの待ち時間が短縮可能となる。
【0015】また、前記近似命令選択手段が形成した前
記近似命令信号が示す命令を実行してよいか確認するた
めの質問文が前記記憶手段に各種記憶され、前記近似命
令選択手段が形成した前記近似命令信号が入力され、前
記記憶手段に記憶された前記質問文の中から、入力され
た近似命令信号に該当するものを選択して当該質問文を
デジタル信号で出力する質問文選択手段と、前記質問文
選択手段から出力された前記質問文を音声となる所定の
電気信号に変換する音声出力手段とを備え、前記近似命
令選択手段は、前記質問文の返答が肯定されたときの
み、前記近似命令信号を前記比較判定手段へ送出するよ
うに設定されていることが好ましい。このようにすれ
ば、近似命令選択手段が形成した近似命令が、居住者の
望むものであるか否かが判断可能となり、居住者の望ま
ない誤った近似命令は、実行されずに無視され、この点
からも、建築設備の誤動作が防止される。
【0016】さらに、マイクロフォンおよびスピーカが
内蔵された端末器が前記複数の部屋の各々に設けられ、
前記音声変換手段に前記マイクロフォンが接続され、前
記音声出力手段に前記スピーカが接続されていることが
望ましい。このようにすれば、マイクロフォンおよびス
ピーカとの接続用電線として、多芯ケーブルが採用でき
るようになるので、建物内の配線が容易となるうえ、マ
イクロフォンおよびスピーカとの接続をチェックする作
業も容易となる。
【0017】
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。図1には、本発明の第1実施形態
に係る住宅1が示されている。本実施形態の住宅1は、
工場で製造された箱状の建物ユニットを、建築現場で複
数組み合わせて建築されたものである。住宅1には、間
仕切壁が設けられ、複数の部屋が形成されている。さら
に具体的に説明すれば、住宅1の一階部分には、玄関11
およびリビングダイニングキッチン12が形成され、二階
部分には、主寝室13および浴室14が形成され、三階部分
には、副寝室15が形成されている。この住宅1に備えら
れている建築設備としては、屋外に湯沸器20が設けられ
ている。また、一階部分の玄関11には、玄関ドア21用の
施錠装置22および玄関用照明23が設けられている。リビ
ングダイニングキッチン12には、テレビジョン放送受信
機24、ビデオテープレコーダ25、居室用照明26、エアコ
ン室内機27およびガスレンジ用換気扇28が設けられてい
る。二階部分の主寝室13には、窓用シャッター13A 、居
室用照明29およびエアコン室内機30が設けられている。
このうち、居室用照明29としては、天井埋め込み型の照
明29A と、床置きの電気スタンド29B とが設けられてい
る。浴室14には、浴室用照明31が設けられている。三階
部分の副寝室15には、窓用シャッター15A 、居室用照明
32およびエアコン室内機33が設けられている。
【0018】これらの設備のうち、湯沸器20は、マイク
ロプロセッサを採用して全自動運転が可能となったもの
であり、ケーシングの内部に制御装置20A を備えてい
る。一方、窓用シャッター13A, 15A、施錠装置22、玄関
用照明23、テレビジョン放送受信機24、ビデオテープレ
コーダ25、居室用照明26,29,32、エアコン室内機27,30,
33、換気扇28および浴室用照明31は、赤外線リモートコ
ントロール装置により遠隔操作が可能とされたものであ
る。なお、居室用照明26には、電力制御用のサイリスタ
が設けられ、赤外線リモートコントロール装置により調
光可能とされている。住宅1の三階部分の収納部16に
は、前述した一連の建築設備20,22〜33を音声で遠隔操
作するための音声認識遠隔操作装置40の本体41が設置さ
れている。そして、部屋11〜15の各々には、音声認識遠
隔操作装置40の端末器42がそれぞれ設けられ、湯沸器20
の側面には、音声認識遠隔操作装置40の端末器としての
操作出力発生部43が取り付けられている。
【0019】図2には、音声認識遠隔操作装置40の電気
的な概略構成が示されている。図2において、端末器42
は、操作者である居住者が発する音声を受けるマイクロ
フォン44と、前述の建築設備13A,15A,22〜33へ赤外線信
号を送出する発光ダイオードを含む発信器45とを備えた
ものである。本体41は、入力される音声命令を所定の電
気信号に変換して音声信号として出力する音声変換手段
としての音声変換器50と、この音声変換器50からの音声
信号に基づき所定の処理を行い、当該音声信号に応じた
命令信号を出力するパーソナルコンピュータ60と、この
パーソナルコンピュータ60からの命令信号に応じて端末
器42の発信器45を駆動する赤外線LED駆動部46と、各
建築設備13A,15A,22〜33に応じた赤外線信号が記憶され
た赤外線コード記憶部47とを備えている。ここで、操作
出力発生部43および赤外線LED駆動部46は、建築設備
に応じた操作出力を発生する操作出力発生手段であり、
パーソナルコンピュータ60に設けられた、RS−232
C、RS−422またはUSB等のインターフェイスを
介してCPU61に接続されている。
【0020】音声変換器50は、複数の端末器42のマイク
ロフォン44が接続され、各マイクロフォン44からのアナ
ログ電気信号をサンプリングし、所定の電気信号である
デジタルの音声信号に変換して出力するものである。音
声変換器50には、所定の周期毎にマイクロフォン44との
電気的接続を切り換えるマルチプレクサ51と、アナログ
電気信号をデジタルの音声信号に変換するA/Dコンバ
ータ52と、マルチプレクサ51の切り替え周期に同期し
て、端末器42が設けられた各部屋の部屋コードを出力す
る部屋コード出力部53と、A/Dコンバータ52からの音
声信号に部屋コード出力部53からの部屋コードを付与し
て出力する音声信号出力部54とが設けられている。
【0021】パーソナルコンピュータ60は、音声認識遠
隔操作を行うためのアプリケーションプログラムがイン
ストールされたCPU61と、建築設備に係る複数のキー
ワードおよびその組み合わせが記憶され、要求に応じて
前述のキーワードに応じたキーワード信号を出力する、
記憶手段としての記憶部62とを有するものである。CP
U61には、音声変換器50からの多数の音声信号を部屋コ
ード毎に記憶するためのサンプルホールド部63が、その
内部メモリに形成されるとともに、前述のアプリケーシ
ョンプログラムにより、音声認識部64、比較判定部65、
部屋別フィルタ部66および命令信号出力部67が形成され
ている。
【0022】音声認識部64は、音声信号を所定の単語と
して認識する音声認識手段である。この音声認識部64に
は、サンプルホールド部63から送られてくる一連の音声
信号を所定の単語として認識し、当該単語に相当する所
定の電気信号であるワード信号を出力する機能を有して
いる。ここで、音声認識部64がワード信号を出力するに
あたり、音声認識部64は、出力される当該ワード信号
に、その音声命令が発しられた部屋の部屋コードを付す
るようになっている。
【0023】比較判定部65は、音声認識部64からのワー
ド信号と記憶部62からのキーワード信号とを比較し、当
該ワード信号の示す単語が前記キーワードの中に含まれ
ているか否かを判定する比較判断手段である。この比較
判定部65には、音声認識部64から複数のワード信号が入
力された場合、これらのワード信号の示す複数の単語の
各々が、記憶部62に記憶されたキーワードに含まれるか
否かを判定し、含まれている場合には、さらに、これら
の単語の組み合わせが、記憶部62に記憶されたキーワー
ドの組み合わせに該当するか否かを判定し、該当する場
合に、操作許可信号とともに、入力されたワード信号を
出力する機能を有している。記憶部62からのキーワード
信号としては、後で詳述するが、部屋コードが付与され
るものがある。ここで、部屋コード付のキーワード信号
が比較判定部65に入力された際に、ワード信号に付与さ
れた部屋コードと、キーワード信号に付与された部屋コ
ードとが一致しない場合がある。この場合、比較判定部
65は、キーワード信号に付された部屋コードを優先し、
ワード信号に付与された部屋コードを無効にする、具体
的に言えば、ワード信号を出力を行うにあたり、元々ワ
ード信号に付与された部屋コードを、キーワード信号に
付された部屋コードに置き換えて出力するようになって
いる。
【0024】部屋別フィルタ部66は、音声命令が示す部
屋に音声命令の対象となる建築設備が存在しない場合
に、当該音声命令を実行しない、いわゆるノーオペレイ
ションとしてしまう部屋別フィルタ手段である。より具
体的に説明すると、部屋別フィルタ部66には、各部屋に
設けられている建築設備が部屋コードとともに登録さ
れ、入力されたワード信号に付された部屋コードが示す
部屋に、当該ワード信号が示す建築設備が設けられてい
ない場合に、比較判定部65が出力した操作許可信号を無
効にする機能が設けられている。命令信号出力部67は、
入力されたワード信号に該当する操作を行うための命令
信号を出力する命令信号出力手段である。この命令信号
出力部67には、比較判定部65からワード信号と、操作許
可信号とが入力されるようになっている。命令信号出力
部67にワード信号および操作許可信号の両方が入力され
ると、命令信号出力部67からは、湯沸器用操作出力発生
部43および赤外線LED駆動部46のいずれかに、該当す
る建築設備を操作するためのコードを含んだ命令信号が
出力されるようになっている。一方、ワード信号が入力
されても、操作許可信号が入力されない場合には、湯沸
器用操作出力発生部43および赤外線LED駆動部46のい
ずれにも、命令信号を出力しないようになっている。
【0025】記憶部62は、ハードディスク装置等の大容
量の記憶装置である。この記憶部62には、音声命令とし
て使用されるキーワードの種類に応じて領域が設定さ
れ、これにより、トリガーキーワード記憶部68、部屋キ
ーワード記憶部69、設備名称キーワード記憶部70、操作
内容キーワード記憶部71、操作命令キーワード記憶部7
2、および、キーワード組合せ記憶部73が形成されてい
る。トリガーキーワード記憶部68は、命令を意味するも
のではないが、発声と連動して所定の設備機器の操作が
行われるトリガーキーワードが記憶されている領域であ
る。トリガーキーワードとしては、例えば、表1に示さ
れるように、挨拶に使われる単語等が採用されている。
これらのトリガーキーワードが発声されると、表1の如
く、所定の建築設備に対して所定の操作が行われるよう
になっている。
【0026】
【表1】
【0027】部屋キーワード記憶部69は、各部屋の名称
を意味する部屋キーワードが記憶されている領域であ
る。部屋キーワードとしては、例えば、表2に示される
ように、主として、各部屋の名称および住宅1の居住者
が使用する呼称が採用されている。部屋キーワードに
は、表2の如く、数字から構成された部屋コートが付さ
れている。部屋コードは、説明の便宜のため、図1で使
用した符号がそのまま用いられている。また、異なるキ
ーワードでも、同一の部屋を意味するものがある。
【0028】
【表2】
【0029】設備名称キーワード記憶部70は、各建築設
備の名称を意味する設備名称キーワードが記憶されてい
る領域である。設備名称キーワードとしては、例えば、
表3に示されるように、主として、居住者が使用する各
建築設備についての呼称が採用されている。
【0030】
【表3】
【0031】操作内容キーワード記憶部71は、各建築設
備の操作内容を特定する操作内容キーワードが記憶され
ている領域である。操作内容キーワードとしては、例え
ば、表4に示されるように、各建築設備の起動・停止以
外の操作対象についての呼称が設定され、この呼称が操
作内容キーワードとして採用されている。
【0032】
【表4】
【0033】操作命令キーワード記憶部72は、例えば、
表5に示されるように、各建築設備についての各操作命
令について設定された単語が操作命令キーワードとして
記憶されている領域である。
【0034】
【表5】
【0035】キーワード組合せ記憶部73は、上述のキー
ワードの組み合わせのうち、実際に実行可能となる組み
合わせとが記憶されている領域である。キーワードの組
み合わせとしては、例えば、表6に示されるように、各
建築設備について行われる通常の操作を示す組み合わせ
となるものが採用される一方、トリガーキーワードにつ
いては、それ一個で一つの組み合わせとなっている。な
お、音声命令に含まれる接続詞は、無視されるようにな
っており、図6に示されるキーワードの組み合わせに
は、説明の便宜上、接続詞が含まれているが、実際に
は、接続詞が存在しない状態で処理されるようになって
いる。
【0036】
【表6】
【0037】このような本実施形態では、部屋の名称、
建築設備の名称、操作内容および操作命令を示す単語、
または、トリガーキーワードとなる単語が音声命令とな
り、この音声命令を発声することにより、建築設備の遠
隔操作が行われる。ここで、音声命令を変換したワード
信号には、音声命令を受け取った端末器42が設けられた
部屋の部屋コードが付与されるので、部屋名を含まない
音声命令では、端末器42が取り付けられた部屋、すなわ
ち、音声命令が発せられた部屋の建築設備が操作対象と
なる。また、部屋キーワードに付与された部屋コードが
優先されるので、部屋名を含んだ音声命令では、音声命
令により指定された部屋の建築設備が操作対象となり、
音声命令が発せられた部屋とは別の部屋の建築設備も操
作対象となる。
【0038】前述のような本実施形態によれば、次のよ
うな効果が得られる。すなわち、記憶部62に遠隔操作に
関するキーワードを記憶しておき、操作者が発した音声
のすべてが音声認識部64で認識されても、記憶部62に記
憶されたキーワードに存在しない単語が命令として含ま
れている場合には、当該命令が実行されず、ノーオペレ
ーション処理されるようにしたので、音声変換器50の感
度を高めることが可能となるうえ、居住者が意図してキ
ーワードを含んだ命令を発しない限り、遠隔操作が実行
されないので、居住者の会話から生じる誤動作を未然に
防止できるとともに、居住者の命令に対するレスポンス
を向上できる。
【0039】また、記憶部62に実際に実行可能となるキ
ーワードの組み合わせを記憶しておき、音声認識部64か
ら複数のワード信号が入力された場合、これらのワード
信号の示す複数の単語の各々が記憶部62のキーワードに
含まれ、かつ、これらの単語の組み合わせが記憶された
キーワードの組み合わせに該当するか否かを判定し、こ
の判定結果に基づき比較判定部65が操作許可信号を出力
するようにしたので、所定の組み合わせでなければ、建
築設備に対する操作が実行されないことから、日常会話
の中で頻繁に使用される単語がキーワードとされ、か
つ、多数の単語がキーワードとなっていても、居住者の
会話から生じる誤動作を防止できる。
【0040】さらに、音声変換器50に、部屋11〜15の各
々に設置された端末器42のマイクロフォン44を接続した
ので、住宅1の任意の箇所で発せられた音声が入力可能
となり、住宅1内のどこからでも、音声で建築設備の操
作が行え、居住者に対する便宜を図ることができる。
【0041】また、音声認識部64がワード信号を出力す
る際に、音声命令が発せられた部屋の部屋コードをワー
ド信号に付与するようにし、部屋別フィルタ部66で、入
力されたワード信号に付された部屋コードが示す部屋
に、当該ワード信号が示す設備が設けられていない場合
に、比較判定部65が出力した操作許可信号を無効にする
ようにしたので、部屋11〜15の各々に同一名称の建築設
備が設けられていても、音声命令の発声箇所で部屋が指
定され、操作対象の建築設備が特定されるので、操作対
象に誤りを生じることがなく、この点からも誤動作を防
止できる。
【0042】さらに、記憶部62から出力される部屋キー
ワードに、当該部屋の部屋コードを付与し、比較判定部
65で、比較したワード信号に付与された部屋コードと、
部屋キーワード信号に付与された部屋コードとを比較
し、これらが一致しない場合には、部屋キーワード信号
に付された部屋コードを優先するようにしたので、一の
部屋から、この部屋とは別の部屋に備え付けられた建築
設備についての操作が行えるようになり、この点から
も、居住者に対する便宜を図ることができる。
【0043】さらに、建築設備の赤外線リモートコント
ロール装置が受信可能な赤外線信号を送出するために、
赤外線LED駆動部46および発信器45を設け、赤外線で
遠隔操作するようにしたので、赤外線リモートコントロ
ール装置を備えた家電設備等を増設する場合、増設にあ
たって信号線を配線する必要がなく、その増設を容易に
行うことができる。
【0044】図3には、本発明の第2実施形態が示され
ている。本第2実施形態は、前記第1実施形態に、居住
者が命令を多少言い間違えた場合に、居住者の望む建築
設備の操作を推測して実行する機能を追加したものであ
る。以下に、本実施形態を具体的に説明する。なお、以
下の説明では、既に説明した部位には同一符号を付し、
その説明を省略若しくは簡略にする。
【0045】図3において、比較判定部65には、ワード
信号の示す単語が記憶部62のキーワードの中に含まれて
いないと、当該比較判定部65が判定した場合、ワード信
号の示す単語が形成する命令に最も近似した近似命令信
号を形成する近似命令選択手段としての近似命令選択部
81が接続されている。記憶部62には、当該記憶部62の各
記憶部68〜72に記憶された各キーワードを一文字だけ異
なるらせた文字列からなる一字違いキーワード群を、元
のキーワード毎に分類されて記憶している一字違いキー
ワード記憶部82が設けられている。近似命令選択部81
は、音声認識部64からワード信号が入力され、このワー
ド信号が示す文字列を、一字違いキーワード記憶部82の
一字違いキーワード群の中に含まれているか否かを検索
するものである。そして、ワード信号の示す文字列が当
該一字違いキーワード群の中に含まれている際には、入
力されたワード信号が示す文字列が元のキーワードであ
るとみなし、ワード信号に含まれる全単語を、記憶部68
〜73に記憶されたキーワードの中に含まれている単語に
変換し、これにより近似命令信号を形成するものであ
る。この近似命令信号は、比較判定部65および後述する
質問選択部83へ送出されるようになっている。
【0046】一方、記憶部62には、近似命令選択部81が
形成した近似命令信号が示す命令を実行してよいか確認
するための質問文が各種記憶された質問文記憶部84が設
けられいる。質問文選択部83は、質問文選択手段であ
り、近似命令選択部81が形成した近似命令信号が入力さ
れると、質問文記憶部83に記憶された質問文の中から、
入力された近似命令信号に該当するものを選択して当該
質問文を所定のデジタル信号に変換し、このデジタル信
号を音声出力手段である音声出力部85へ出力するように
なっている。音声出力部85は、質問文選択部83から出力
されたデジタル信号を、端末器42に内蔵したスピーカ86
を駆動する所定の電気信号に変換し、前記質問文をスピ
ーカ86で音声とするものである。この質問文に対する返
答は、「はい」または「いいえ」等の簡単な単語からな
る返答語でなされ、この返答語は、ワード信号の一種類
である返答ワード信号として近似命令選択部81まで返送
されるようになっている。
【0047】ここで、近似命令選択部81は、返答ワード
信号を受けるとともに、返答ワード信号が前記質問文の
返答が肯定されたものであるときのみ、近似命令信号を
比較判定部65へ送出するように設定されている。近似命
令選択部81は、返答ワード信号を受けるとともに、返答
ワード信号が前記質問文の返答が肯定されたものである
ときのみ、近似命令信号を比較判定部65へ送出し、比較
判定部65に建築設備の操作を実行させ、前記質問文の返
答が否定的であるとき、または、前記質問文の返答が所
定時間内に返送されないときは、ノーオペレイションと
するようになっている。
【0048】このような本実施形態においても、前記第
1実施形態と同様な作用、効果を得ることができる他、
以下のような効果を付加できる。すなわち、音声命令で
あるワード信号の示す単語が記憶部62のキーワードの中
に含まれていないと比較判定部65が判定した場合でも、
近似命令選択部81が音声命令に最も近似した近似命令信
号を形成するので、居住者の望む建築設備の操作が自動
的に推測され実行され、この点からも、居住者に対する
便宜を図ることができる。
【0049】また、記憶部68〜72に記憶された各キーワ
ードを一文字だけ異なるらせた文字列からなる一字違い
キーワード群を、元のキーワード毎に分類されて記憶し
た一字違いキーワード群記憶部82を設け、ワード信号の
示す単語がキーワードの中に含まれていない場合に、ワ
ード信号が示す文字列を前記一字違いキーワード群の中
に含まれているか否かを検索し、当該一字違いキーワー
ド群の中に含まれている際には、前記ワード信号が示す
文字列が元のキーワードであるとみなし、前記ワード信
号に含まれる全単語を、前記キーワードの中に含まれて
いる単語からなる近似命令信号を形成する処理を近似命
令選択部81に行わせるようにし、かつ、この近似命令信
号を比較判定部65へ送出させたので、居住者の望む命令
に最も近似した近似命令信号の形成が迅速に行われ、実
行までの待ち時間を短縮することができる。
【0050】さらに、近似命令選択部81が形成した近似
命令信号を実行してよいか確認するための質問文を各種
記憶した質問文記憶部84と、近似命令選択部81が形成し
た近似命令信号に該当する質問文を選択して出力する質
問文選択部83と、質問文選択部83から出力された質問文
を音声となる所定の電気信号に変換する音声出力部85と
を設け、質問文の返答が肯定されたときのみ、近似命令
選択部81が近似命令信号を比較判定部83へ送出するよう
にしたので、近似命令選択部81の近似命令信号が、居住
者の望むものでない場合には、実行されずに無視される
ようになり、この点からも、建築設備の誤動作を防止で
きる。
【0051】また、質問部を音声として出力するスピー
カ86を、マイクロフォン45が内蔵された端末器42に設け
たので、スピーカ86との接続用電線として、マイクロフ
ォン45用の電線を含んだ多芯ケーブルが採用できるよう
になり、建物内の配線を容易とできるうえ、マイクロフ
ォン45およびスピーカ86との接続をチェックする作業を
容易とできるる。
【0052】なお、本発明は前述した実施形態に限定さ
れるものではなく、以下に示すような変形等も本発明に
含まれるものである。例えば、各部屋に取り付けられた
端末器42としては、マイクロフォン44および発信器45と
を備えたものに限らず、電子ブザー等の実行報知手段が
さらに付加されたものも採用できる。このようにすれ
ば、音声命令が実行される際に、特定のOK音を鳴動さ
せる一方、音声命令がノーオペレイション処理となる際
に、OK音と判別可能な別のNG音を鳴動させることが
可能となり、命令が実行されるか否かを操作者に迅速に
報知できる。
【0053】また、前記実施形態では、端末器をすべて
の部屋に設けたが、特定の一室に端末器を設けてもよ
い。このように、音声命令の入力を一系統とすれば、音
声認識遠隔操作装置の一部が省略可能となり、その構造
を簡単なものとできる。なお、記憶手段に記憶されるキ
ーワードおよびその組み合わせは、前述の実施形態に示
したものに限らず、建物に設けられた建築設備の種類と
数量に応じて適宜設定すればよい。
【0054】
【発明の効果】前述のように、本発明によれば、命令に
対するレスポンスを良好とできるうえ、誤動作の発生
防止できる。
【図面の簡単な説明】
【図1】本発明の第1実施形態に係る建物としての住宅
を示す模式断面図である。
【図2】前記実施形態の音声認識遠隔操作装置を示すブ
ロック図である。
【図3】本発明の第2実施形態の音声認識遠隔操作装置
を示すブロック図である。
【符号の説明】
1 建物としての住宅 13A, 15A 建築設備としての窓用シャッター 20 建築設備としての湯沸器 22 建築設備としての施錠装置 23,26,29,32 建築設備としての照明 24 建築設備としてのテレビジョン放送受信機 25 建築設備としてのビデオテープレコーダ 27,30,33 建築設備としてのエアコン室内機 28 建築設備としての換気扇 40 音声認識遠隔操作装置 42 端末器 43 操作出力発生手段としての湯沸器用操作出力発声部 45 マイクロフォン 46 操作出力発生手段としての赤外線LED駆動部 50 音声変換手段としての音声変換器 62 記憶手段としての記憶部 64 音声認識手段としての音声認識部 65 比較判定手段としての比較判定部 66 部屋別フィルタ手段としての部屋別フィルタ部 67 命令信号出力手段としての命令信号出力部 81 近似命令選択手段としての近似命令選択部 82 一字違いキーワード群を記憶した一字違いキーワー
ド群記憶部 83 質問文選択手段としての質問文選択部 84 質問文を記憶した質問文記憶部 85 音声出力手段としての音声出力部 86 スピーカ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI G10L 3/00 561F

Claims (9)

    (57)【特許請求の範囲】
  1. 【請求項1】建物内に設けられた各建築設備を音声によ
    り遠隔操作する音声認識遠隔操作装置であって、 入力される音声命令を所定の電気信号に変換して音声信
    号として出力する音声変換手段と、 この音声変換手段からの音声信号を所定の単語として認
    識し、前記単語に相当する所定の電気信号であるワード
    信号を出力する音声認識手段と、 前記建築設備に係る複数のキーワードが記憶され、要求
    に応じて各キーワードに相当するキーワード信号を出力
    する記憶手段と、 前記音声認識手段からのワード信号と前記記憶手段から
    のキーワード信号とを比較し、当該ワード信号の示す単
    語が前記キーワードの中に含まれているか否かを判定
    し、この判定結果に基づき操作許可信号を出力する比較
    判定手段と、 前記ワード信号が入力され、前記比較判定手段からの操
    作許可信号が入力された場合に、入力された前記ワード
    信号に該当する操作を行うための命令信号を出力する命
    令信号出力手段と、前記ワード信号の示す単語が前記キーワードの中に含ま
    れていないと、前記比較判定手段が判定した場合、前記
    ワード信号の示す単語が形成する命令に最も近似した近
    似命令信号を出力する近似命令選択手段と、 前記命令信号および近似命令信号 に応じた操作を前記各
    建築設備に行わせるために、前記各建築設備に応じた操
    作出力を発生する操作出力発生手段と、 を備えていることを特徴とする音声認識遠隔操作装置。
  2. 【請求項2】請求項1に記載の音声認識遠隔操作装置に
    おいて、 前記音声命令は、該当建築設備の名称、操作対象および
    操作内容を示す単語のうちの少なくとも一つを含むもの
    であり、 前記記憶手段には、前記各建築設備の名称、操作内容お
    よび操作命令をそれぞれ示すキーワードと、これらのキ
    ーワードの組み合わせのうち、実際に実行可能となる組
    み合わせとが記憶され、 前記比較判定手段は、前記音声認識手段から複数のワー
    ド信号が入力された場合、これらのワード信号の示す複
    数の単語の各々が前記キーワードに含まれ、かつ、これ
    らの単語の組み合わせが記憶された前記キーワードの組
    み合わせに該当するか否かを判定し、この判定結果に基
    づき操作許可信号を出力するものであることを特徴とす
    る音声認識遠隔操作装置。
  3. 【請求項3】請求項1に記載の音声認識遠隔操作装置に
    おいて、 前記音声変換手段は、複数の部屋でそれぞれ発せられる
    音声命令が入力可能とされているものであり、 前記音声命令は、該当建築設備が設置されている部屋に
    関する単語、ならびに、当該建築設備の名称、操作内容
    および操作命令を示す各単語のうちの少なくとも一つを
    含むものであり、 前記記憶手段には、該当建築設備が設置されている部屋
    に関するキーワード、ならびに、当該建築設備の名称、
    操作対象および操作内容を示すキーワードと、これらの
    キーワードの組み合わせのうち、実際に実行可能となる
    組み合わせとが記憶され、 前記比較判定手段は、前記音声認識手段から複数のワー
    ド信号が入力された場合、これらのワード信号の示す複
    数の単語の各々が前記キーワードに含まれ、かつ、これ
    らの単語の組み合わせが記憶された前記キーワードの組
    み合わせに該当するか否かを判定し、この判定結果に基
    づき操作許可信号を出力するものであることを特徴とす
    る音声認識遠隔操作装置。
  4. 【請求項4】請求項3に記載の音声認識遠隔操作装置に
    おいて、 前記音声変換手段は、複数の部屋でそれぞれ発せられる
    音声命令が入力可能とされるとともに、前記音声信号を
    出力するにあたり、前記音声命令が発せられた部屋の部
    屋コードを前記音声信号に付与するものとされ、 前記音声認識手段は、前記ワード信号を出力するにあた
    り、当該ワード信号に前記部屋コードを付与するものと
    され、 前記比較判定手段および前記命令信号出力手段の間に
    は、前記各部屋に設けられている設備が前記部屋コード
    とともに登録され、入力されたワード信号に付された部
    屋コードが示す部屋に、当該ワード信号が示す設備が設
    けられていない場合に、前記比較判定手段が出力した操
    作許可信号を無効にする部屋別フィルタ手段が介装され
    ていることを特徴とする音声認識遠隔操作装置。
  5. 【請求項5】請求項4に記載の音声認識遠隔操作装置に
    おいて、 前記記憶手段から出力される部屋に関するキーワード信
    号には、当該部屋の部屋コードが付与されており、 前記比較判定手段は、比較した前記ワード信号に付与さ
    れた部屋コードと、前記キーワード信号に付与された部
    屋コードとが一致しない場合には、前記キーワード信号
    に付された部屋コードを優先し、前記ワード信号に付与
    された前記部屋コードを無効にするものであることを特
    徴とする音声認識遠隔操作装置。
  6. 【請求項6】請求項1から請求項5までの何れかに記載
    の音声認識遠隔操作装置において、 前記建築設備としては、赤外線リモートコントロール装
    置で操作可能なものが含まれ、 前記操作出力発生手段としては、前記建築設備の前記赤
    外線リモートコントロール装置が受信可能な赤外線信号
    を送出するものが含まれていることを特徴とする音声認
    識遠隔操作装置。
  7. 【請求項7】請求項1〜6のいずれかに記載の音声認識
    遠隔操作装置において、 前記記憶手段には、当該記憶手段に記憶された各キーワ
    ードを一文字だけ異なるらせた文字列からなる一字違い
    キーワード群が、元のキーワード毎に分類されて記憶さ
    れ、 前記近似命令選択手段は、前記ワード信号が示す文字列
    を前記一字違いキーワード群の中に含まれているか否か
    を検索し、当該一字違いキーワード群の中に含まれてい
    る際には、前記ワード信号が示す文字列が元のキーワー
    ドであるとみなし、前記ワード信号に含まれる全単語
    を、前記キーワードの中に含まれている単語に変換する
    ことで、前記近似命令信号を形成し、かつ、この近似命
    令信号を前記比較判定手段へ送出するものとなっている
    ことを特徴とする音声認識遠隔操作装置。
  8. 【請求項8】請求項に記載の音声認識遠隔操作装置に
    おいて、 前記近似命令選択手段が形成した前記近似命令信号が示
    す命令を実行してよいか確認するための質問文が前記記
    憶手段に各種記憶され、 前記近似命令選択手段が形成した前記近似命令信号が入
    力され、前記記憶手段に記憶された前記質問文の中か
    ら、入力された近似命令信号に該当するものを選択して
    当該質問文をデジタル信号で出力する質問文選択手段
    と、 前記質問文選択手段から出力された前記質問文を音声と
    なる所定の電気信号に変換する音声出力手段とを備え、 前記近似命令選択手段は、前記質問文の返答が肯定され
    たときのみ、前記近似命令信号を前記比較判定手段へ送
    出するように設定されたものであることを特徴とする音
    声認識遠隔操作装置。
  9. 【請求項9】請求項に記載の音声認識遠隔操作装置に
    おいて、 マイクロフォンおよびスピーカが内蔵された端末器が前
    記複数の部屋の各々に設けられ、前記音声変換手段に前
    記マイクロフォンが接続され、前記音声出力手段に前記
    スピーカが接続されていることを特徴とする音声認識遠
    隔操作装置。
JP24852097A 1997-09-12 1997-09-12 音声認識遠隔操作装置 Expired - Fee Related JP3355293B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP24852097A JP3355293B2 (ja) 1997-09-12 1997-09-12 音声認識遠隔操作装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24852097A JP3355293B2 (ja) 1997-09-12 1997-09-12 音声認識遠隔操作装置

Publications (2)

Publication Number Publication Date
JPH1185191A JPH1185191A (ja) 1999-03-30
JP3355293B2 true JP3355293B2 (ja) 2002-12-09

Family

ID=17179416

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24852097A Expired - Fee Related JP3355293B2 (ja) 1997-09-12 1997-09-12 音声認識遠隔操作装置

Country Status (1)

Country Link
JP (1) JP3355293B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5059370B2 (ja) * 2006-10-16 2012-10-24 株式会社内田洋行 環境情報処理方法、環境情報処理装置及び環境情報処理プログラム
JP6282516B2 (ja) 2014-04-08 2018-02-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 複数機器の音声操作システム、音声操作方法及び、プログラム
JP6844446B2 (ja) * 2017-06-26 2021-03-17 積水ハウス株式会社 情報処理システム
US20210080141A1 (en) * 2017-07-14 2021-03-18 Daikin Industries, Ltd. Air conditioner, air-conditioning system, communication system, control system, device control system, device management system, and sound information analysis system
KR101944018B1 (ko) * 2018-06-04 2019-01-30 주식회사 레즐러 음성 인식을 이용한 건물 관리 시스템 및 방법

Also Published As

Publication number Publication date
JPH1185191A (ja) 1999-03-30

Similar Documents

Publication Publication Date Title
JP7364948B2 (ja) 機器制御システム
US10540873B2 (en) Multifunction per-room home automation device
EP3637243B1 (en) Customized interface based on vocal input
KR102551715B1 (ko) Iot 기반 알림을 생성 및 클라이언트 디바이스(들)의 자동화된 어시스턴트 클라이언트(들)에 의해 iot 기반 알림을 자동 렌더링하게 하는 명령(들)의 제공
KR100881243B1 (ko) 기기 제어 장치 및 기기 제어 방법
US11929844B2 (en) Customized interface based on vocal input
US20210080141A1 (en) Air conditioner, air-conditioning system, communication system, control system, device control system, device management system, and sound information analysis system
JP6660808B2 (ja) 音声出力制御装置、電子機器、および音声出力制御装置の制御方法
TW200421210A (en) A security system and a method of operating same
CN113739366A (zh) 家电设备和异常处理系统
JP3355293B2 (ja) 音声認識遠隔操作装置
JP7340764B2 (ja) 音声制御システム
JPH10276483A (ja) 音声式建物設備制御システム
JP2002315069A (ja) 遠隔制御装置
WO2020175293A1 (ja) 機器制御システム、機器制御方法及びプログラム
JP2008268517A (ja) 音声認識機能付き操作器
WO2021259289A1 (zh) 通信方法、装置、电子设备和计算机可读存储介质
KR100529950B1 (ko) 음성 대화형 에어컨 시스템 및 그 동작방법
JPH05219575A (ja) リモ−トコントロ−ル装置
WO2023149031A1 (ja) 情報通知方法、情報通知装置及びプログラム
JP7218232B2 (ja) 通知システム
CN117970903A (zh) 一种酒店客控系统判断电器状态的方法和装置
JP2019204460A (ja) 照明装置および照明システム
JP2009109535A (ja) 音声認識装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020827

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070927

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080927

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080927

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090927

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090927

Year of fee payment: 7

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100927

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100927

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110927

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110927

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120927

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120927

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130927

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees