JPH1011089A - 赤外線検出素子を用いた入力装置 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は赤外線検出素子を用いた入力装置に
関し、手による操作に代えて操作者の口の動作を赤外線
で検出して操作者の指示を解析し入力することを目的と
する。 【解決手段】 本発明の入力装置は、赤外線発光素子
１、赤外線検出素子２、判定回路３、駆動回路４、メモ
リ５、切換スイッチ６、を備える。赤外線発光素子１は
赤外線を操作者８の口付近の所定の範囲に照射する。メ
モリには、予め操作者に赤外線を照射し、反射してくる
赤外線を処理して得られた音声パターンを一定時間毎に
サンプリングし、サンプリング時刻毎のデジタル値とし
て書き込み、判定回路は、操作者が装置を実際に操作す
べく発声したときに赤外線検出素子により検出された信
号を同様にサンプリングして得られた各音声パターン
と、記憶部に書き込まれた音声パターンとを比較し、一
致しているか否かを判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、赤外線検出素子を
用いた入力装置に関し、特に、車載用ナビゲーションシ
ステムの操作パネルや、ロボット用コンピュータの操作
パネルを操作して入力する際に、運転者あるいは操作者
が他の動作により手が塞がっており操作パネルを操作で
きない場合、あるいは手に障害があって操作パネルの操
作が行えない場合に、操作パネルを用いずにこれらのシ
ステムに指示を与えることを可能にした入力装置に関す
る。

【０００２】

【従来の技術及び発明が解決しようとする課題】最近、
ＣＣＤカメラで操作者の口を撮影し、その口の開閉によ
り変化するＣＣＤ信号を画像処理し、操作者の発声をそ
の口の開閉パターンから解析し、入力すべき指示を音声
から得て、あたかも操作パネルに手で入力したと同等の
効果を得る入力装置が提案されている。

【０００３】また、例えば特開平４─２５７０６号公報
では、ＣＣＤカメラで運転者の眼の位置及び状態を撮影
し、瞬きの変化から運転状態の変化を検出し警告を発生
する装置が提案されている。しかしながら、ＣＣＤカメ
ラで操作者の口を撮影し、口の開閉によって変化するＣ
ＣＤ信号を画像処理して口の開閉パターンを検出し、操
作者の指示を入力するためには、高速で演算する画像処
理装置が必要になるが、このような装置は非常に高価で
あるため実用に至っていない。

【０００４】そこで、本発明の目的は、赤外線発光素子
と赤外線検出素子を用いて検出信号を処理することによ
り口の開閉動作を検出し、手により操作パネルを介して
入力することなく、例えば車載用ナビゲーションシステ
ムやロボットのコンピュータシステム等の操作パネルに
入力することにある。

【０００５】

【課題を解決するための手段】請求項１の発明では、例
えば、コンピュータの操作パネルを操作する操作者の顔
面の口を中心にした所定範囲に赤外線を照射し、所定範
囲から反射される赤外線の変動を検出し、一方、予め操
作者の口に赤外線を照射し得られた音声パターンを一定
時間毎にサンプリングし、サンプリング時刻毎のデジタ
ル値として格納しておく。そして、実際にコンピュータ
を操作すべく、操作者が発声して赤外線検出素子により
検出された検出信号の各音声毎のパターンと、記憶部に
格納された各音声パターンを比較し、一致しているか否
かを判定することにより操作者の指示を解析し、入力す
べき指示内容を認識する。

【０００６】このように構成することにより、手を使用
して入力することなくシステム等に容易に入力し操作す
ることができるので、入力装置としての効果が顕著であ
るばかりか、従来用いられている高価なＣＣＤカメラと
高速演算をする画像処理装置を使用せずに操作者の指示
を入力することができるのでコスト面でも効果が大き
い。

【０００７】請求項２の発明では、記憶部に書き込む書
込みモードと、判定回路により判定する判定モードを切
り換える切換スイッチを設け、切り換え信号をマイクロ
コンピュータに入力する。このように構成することによ
り、マイクロコンピュータは初期の書込みモードではメ
モリに当該操作者の音声パターンを書込み、操作者によ
る実際の操作の指示ではメモリから読み出して容易に判
定することができる。

【０００８】

【発明の実施の形態】図１は本発明の第１実施形態の構
成図である。図中、１は赤外線発光素子、２は赤外線検
出素子、３は判定回路、４は駆動回路、５はメモリ、６
は切換スイッチ、７は操作者の顔面の口周辺、８は操作
者、９は操作者の口、である。また、判定回路３はＡ／
Ｄ変換回路３ａとマイクロコンピュータ３ｂを有する。

【０００９】赤外線発光素子（ＬＥＤ）１は、駆動回路
４により電気信号から光信号に変換された赤外線を操作
者８の口付近に照射する。ここで、赤外線発光素子１と
しては、例えば、赤外線発光ＬＥＤ、レーザ、ヒータ等
を使用することができるが、コスト面ではＬＥＤが有利
である。赤外線は操作者の正面から口９を中心に所定の
範囲に照射される。この場合、照射範囲は顔面の正面の
口付近が望ましいが、操作者の口の動きを捉えることが
できるならば、操作者の前方のどの方向からでもよい。
また、照射範囲は口のみが捉えられる直径４０ｃｍ程度
の円内が望ましい。照射範囲が広すぎると、瞬き等の口
以外の動きも検出されてしまうため、検出ノイズが大き
くなり正確なデータが得られなくなる恐れがある。

【００１０】図２は赤外線の吸収及び散乱を説明するた
めの要部説明図である。図中、１１は赤血球による吸収
赤外線、２１は組織による散乱赤外線、６１は皮膚表面
（皮下組織）、６２は血管、６３は赤血球、６４は脈
動、である。照射された赤外線の一部は皮下組織６１の
血管６２を流れる血液に含まれる赤血球７により吸収さ
れる。そのために、赤外線検出素子２で検出される信号
は赤血球により吸収された赤外線の量（赤血球による吸
収赤外線１１に対応）だけ減衰する。

【００１１】一方、図１において、照射された赤外線は
顔面表面や皮下組織内で散乱され、その一部が赤外線検
出素子２により検出され、光信号から電気信号に変換さ
れる。ここで、赤外線検出素子２として、例えば、フォ
トダイオード、フォトトランジスタ等を使用することが
できる。赤外線検出素子２で検出された信号は判定回路
３へ送られ、判定回路３ではＡ／Ｄ変換され、マイクロ
コンピュータ３ｂに入力されて後述する判定処理を行
う。即ち、顔面の口周辺７から反射してくる赤外線は、
操作者が静止している場合には変動しないが、口の開閉
パターンにより変動する。判定回路３は以下に説明する
方法で操作者の口の開閉動作を解析し、操作パネルへの
手による指示と同等の入力信号を生成する。

【００１２】図３（Ａ）〜（Ｃ）は操作者の発声を赤外
線検出素子からの検出信号として得たグラフであり、横
軸は時間、縦軸は検出出力である。図２で説明したよう
に、顔面における吸収赤外線と顔面からの散乱赤外線と
があり、赤外線検出素子２は散乱赤外線を捉えて図３
（Ａ）〜（Ｃ）に示す検出出力を得る。この検出出力は
各音声ごとの音声パターンを示す。図示は、「あ」、
「い」、「う」を発声したときに赤外線検出素子２で検
出される信号であり、（Ａ）は「あ」を発声したとき、
（Ｂ）は「い」を発声したとき、（Ｃ）は「う」を発声
したときである。

【００１３】操作者による個人差は多少あるが、図示の
矢印のように、「あ」の音声に比べ「い」の音声は振幅
が小さく持続時間が長いという特徴がある。また、
「あ」の音声に比べ「う」の音声は振幅が小さく持続時
間が略同じという特徴がある。さらに、「い」の音声に
比べ「う」の音声は振幅が小さく持続時間が略同じとい
う特徴がある。さらに「あ」の音声には立上がりが鋭い
特徴がある（「Ａ」の矢印部分参照）。

【００１４】本図では「あ」、「い」、「う」の音声を
例に示したが、「みぎ（右）」、「ひだり（左）」等、
指示したい連続する単音であっても、（Ａ）〜（Ｃ）と
同様に、それぞれ口の動きに応じた音声パターンが得ら
れ、予め書き込んだ音声パターンと実際の操作での音声
パターンを判定することができる。図４は本発明の動作
フローチャートであり、図５は図１に示すメモリの内容
とアドレスの関係の説明図である。図１を参照しつつ、
本発明の動作を以下に説明する。

【００１５】まず、操作者はメモリ５をリセットし（Ｓ
５）、さらに書込み／判定切換スイッチ６を書込みモー
ドに設定する（Ｓ１０）。次にメモリの切換スイッチ
（図示せず。複数のメモリ若しくは複数の格納エリアを
順次切り換え可能なものであればよい。）をメモリ
（１）に設定して（Ｓ２０）、例えば、「あ」等の音
声、又は、例えば「右」等、指示したい連続音声を入力
する（Ｓ４０）。

【００１６】書込みモードにおいて、マイクロコンピュ
ータ３ｂは切換スイッチがメモリ（１）であることを確
認し（Ｓ３０）、口の開閉パターンにより変動する赤外
線検出素子２にて検出された検出信号の電圧の値（図３
参照）を、一定時間毎に（例えば、０．２秒毎に）計測
し（即ち、サンプリング間隔を０．２秒とし）、例えば
「あ」の音声の各時刻における電圧を得る。この値を図
示しないＡ／Ｄ変換器によりデジタル化してメモリに順
次格納する。図３（Ａ）に示す「あ」の音声パターンか
ら明らかなように、０，−４，−２，０，１，１，０，
０（ｖ）をメモリ（１）の各番地Ｄ１１，Ｄ１２，Ｄ１
３，Ｄ１４，Ｄ１５，Ｄ１６，Ｄ１７，Ｄ１
８，．．．．（図中のｎ＝１）に書き込む（Ｓ５０）。
この時、この信号で所定の駆動装置１が駆動されるよう
に設定する（Ｓ４５）。

【００１７】引き続いて、メモリ切換スイッチをメモリ
（２）に設定し（Ｓ２０）、第２の音声を、例えば
「い」の音声とすると、図３（Ｂ）の音声パターンを上
述と同様にサンプリングすると、各サンプリング時刻毎
の検出電圧値は、０，−３，−２，０，１，１，１，１
（ｖ）となり、これらの値をメモリの各番地Ｄ２１，Ｄ
２２，Ｄ２３，Ｄ２４，Ｄ２５，Ｄ２６，Ｄ２７，Ｄ２
８，．．．（図中のｎ＝２）に書き込む（Ｓ５１）。

【００１８】上述のメモリ（１）及び（２）と同様の処
理をメモリ切換スイッチ数（Ｎ）まで続け、メモリ切換
スイッチをメモリ（Ｎ）に設定し（Ｓ２０）、第Ｎの音
声として、例えば「う」の音声、０，−２，−１，０，
１，１，１，１（ｖ）をメモリ（Ｎ）の各番地ＤＮ１，
ＤＮ２，ＤＮ３，ＤＮ４，ＤＮ５，ＤＮ６，ＤＮ７，Ｄ
Ｎ８，．．．に書き込む（Ｓ５１）。

【００１９】メモリがメモリ（Ｎ）までフルに格納され
たときには、「メモリフル」の表示（図示せず）をして
（Ｓ３３）、使用者に知らせる。以上が初期段階におい
て操作者の音声をメモリに書込み（登録）しておくステ
ップである。次に、実際に音声により入力するステップ
に移る。ここで、操作者は前述の切換スイッチ６を判定
モードにして（Ｓ６０）、「あ」等の音声又は、例え
ば、「みぎ」等、指示したい音声を発生する。例えば、
赤外線検出素子２で検出された口の開閉パターンにより
変動する検出信号として、図３（Ｃ）に示す音声パター
ン、即ち、「う」の音声の電圧，０，−２，−１，０，
１，１，１，１，１ （ｖ）が入力される（Ｓ７０）。
マイクロコンピュータ３ｂは、メモリ５に記憶された音
声と電圧値との関係のテーブルから順次に読み出して比
較し（Ｓ７１）、メモリ５から読み出された値と同じで
あれば（Ｓ７５）、音声パターンが同じであり、起動信
号を該当する駆動装置（図示なし）に送る（Ｓ８２）。
上述の操作を繰り返すことにより必要な駆動装置１〜Ｎ
を繰返し作動することができる。

【００２０】なお、メモリ５内に該当する信号パターン
が無い場合には「検出不能」を表示し、ランプを作動さ
せ（Ｓ７０）、操作者に再度、書込みモードを実施して
もらうことになる。また、実際の信号は実施の度に変化
しやすいので、その操作者の音声毎に特徴抽出して（Ｓ
７２）、立上がりがＤＮ２、大きさが−２，継続時間が
ＤＮ８まで、というように、０，−２，−１，０，１，
１，１，１の特徴を比較する。

【図面の簡単な説明】

【図１】本発明の第１実施形態の構成図である。

【図２】赤外線の吸収及び散乱を説明するための要部説
明図である。

【図３】（Ａ）〜（Ｃ）は操作者の発声を赤外線検出素
子からの検出信号として得たグラフである。

【図４】本発明の動作フローチャートである。

【図５】図１に示すメモリの内容とアドレスの関係の説
明図である。

【符号の説明】

１…赤外線発光素子 ２…赤外線検出素子 ３…判定回路 ３ａ…Ａ／Ｄ変換器 ３ｂ…マイクロコンピュータ ４…駆動回路 ５…メモリ ６…切換スイッチ ７…口周辺 ８…顔面 ９…口

Claims (2)

【特許請求の範囲】
1. 【請求項１】 赤外線検出素子を用いた入力装置であっ
   て、 対象となる装置を操作する操作者の顔面の口を中心にし
   た所定範囲に赤外線を照射する赤外線発光素子と、 前記所定範囲から反射される赤外線の変動を検出する赤
   外線検出素子と、 予め操作者の口に赤外線を照射し、反射してくる赤外線
   を処理して得られた音声パターンを一定時間毎にサンプ
   リングし、サンプリング時刻毎のデジタル値として書き
   込む記憶部と、 操作者が前記装置を実際に操作すべく発声したときに前
   記赤外線検出素子により検出された信号を同様にサンプ
   リングして得られた各音声パターンと、前記記憶部に書
   き込まれた音声パターンとを比較し、一致しているか否
   かを判定することにより操作者の指示を解析し、入力す
   べき指示内容を認識する判定回路と、 を具備する入力装置。
2. 【請求項２】 前記記憶部に書き込む書込みモードと、
   前記判定回路により判定する判定モードを切り換える切
   換スイッチをさらに備えた請求項１に記載の入力装置。