JPH08211979A

JPH08211979A - 手振り入力装置及び方法

Info

Publication number: JPH08211979A
Application number: JP1595295A
Authority: JP
Inventors: Shinichi Sunakawa; 伸一砂川; Kazuhiro Matsubayashi; 一弘松林
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-02-02
Filing date: 1995-02-02
Publication date: 1996-08-20

Abstract

(57)【要約】（修正有）【目的】使い勝手を向上させ、高い入力効率を備え
た、好適な手振り入力装置及び方法を提供する。【構成】手の軌跡を入力して情報の入力を行う手振り
入力装置において、手の動作をＣＣＤカメラ１５等で入
力しＳ１００、この入力結果から手の位置座標を検出す
るＳ１０２。また、入力結果から手の形状動作を判別し
Ｓ１０３。判別の結果に応じた入力モードによって、検
出手段の検出入力位置座標を入力するＳ１０７、Ｓ１０
８。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、操作者の手の動きを入
力して情報の入力を行う手振り入力装置及び方法に関す
るものである。

【０００２】

【従来の技術】従来より、操作者の手の形状や動きを検
知して、情報入力を行う装置の研究が行われている。こ
れは、手を画像として入力する方式と特殊な器具を使用
する方式に大別できる。手を画像として入力する方式
は、操作者の手をビデオカメラ、スチルカメラで撮影
し、画像認識によって手の形状や動きを入力するもので
ある。画像認識の方法として、次のようなものが提案さ
れている。・輪郭検出による方法エッジ抽出処理によって手の輪郭を検出し、輪郭の重心
を手の中心とする。輪郭の曲率から特徴点を検出して、
正の極値を持つ部分を指先端とする。この指先端の座標
と手の中心座標から、指さす方向や指の本数を検出す
る。・領域検出による方法画像を均質な輝度を有する領域に分割し、手と同じ輝度
の領域を抽出する。この領域に対して細線化を行い、指
部分のベクトル化を行う。この指ベクトルから指先位
置、指さす方向や指の本数を検出する。

【０００３】一方、米国ＶＰＬ社のデータグローブ（商
標登録）のように、特殊な器具を装着することで手の動
きを検出する装置も実現されている。これは、グローブ
の指に沿って光ファイバをはわせたものであり、光ファ
イバの光透過率の変化によって指の曲げを検出する。ま
た、グローブに磁気センサを内蔵しており、手の３次元
位置を検出することもできる。

【０００４】これらの器具の応用として、カーソルの移
動、ジェスチャコマンド入力、仮想現実感での手の動作
入力、手話の入力、などか提案されている。また、指先
で空中に文字を書く動作を行った時、この軌跡を文字認
識して情報の入力を行う装置も考えられる。これらの装
置で、手で表現した情報を次々に入力するためには、何
らかの方法で前の情報と次の情報を切り分ける必要があ
る。すなわち、後者の応用例で言えば、空中に書いた文
字と文字、また、文字を構成するストローク間で切り分
けを行う必要がある。ストローク検出の必要性は、文字
ストロークでない部分の手の動きが人によって異なるこ
とから生じる認識率の低下を防ぐことにある。この手振
り動作の切り出しは次の方法で実現されていた。（１）別にスイッチを設け、これを押すことで手振り情
報の入力終了と判断する。（２）一定の時間を定め、この時間経過で一つの入力終
了する。

【０００５】また、座標入力装置においても、文字切り
出しとストローク検出の方法が各種提案されている。こ
の座標入力装置は、専用の入力ペンでタブレット上を押
下することで、指示座標の検出を行うものである。主な
方式として、感圧方式、電磁誘導方式、静電結合方式、
超音波方式などが知られている。これら座標入力装置に
おいて、特開平０１−２７０１８５号に記載された発明
では、「認識できない文字があると文字の切り出し時間
を長くする」という方法が提案されている。タブレット
上の一定の枠内に文字を入力する装置では、隣の文字枠
に入力があったときに一文字入力の終了と判断する処理
が実現している。また、手振り認識装置と同様に、別に
スイッチを設ける構成、時間の経過で文字切りを行う構
成も実現されている。さらに、ストローク検出に関連し
て、特開平０２−２１３９２１号公報に記載された発明
では、「ペンダウン後の入力値数点は入力しない」とい
う提案を行っている。

【０００６】

【発明が解決しようとしている課題】しかしながら、上
記従来例においては、ストローク検出に（１）のスイッ
チを使用すると、操作が煩雑となって使い勝手が低下す
るという問題点があった。また、ストローク検出に
（２）の時間検出を用いると、画数の多い文字の入力に
非常に長い時間がかかることになり、入力効率が低下す
るという問題点があった。

【０００７】本発明は、上記従来例に鑑みてなされたも
ので、使い勝手を向上させ、高い入力効率を備えた、好
適な手振り入力装置及び方法を提供することを目的とす
る。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に例えば本発明の一実施例においては以下の構成からな
る。即ち、手の軌跡を入力して情報の入力を行う手振り
入力装置において、手の動作を入力する動作入力手段
と、前記動作入力手段の入力結果から手の位置座標を検
出する位置座標検出手段と、前記動作入力手段の入力結
果から手の形状を判別する形状判別手段と、前記形状判
別手段の判別結果に応じて前記位置座標検出手段の検出
入力位置座標を入力する位置座標入力手段とを備えるこ
とを特徴とする。

【０００９】又は、手の軌跡を入力して情報の入力を行
う手振り入力装置において、手の動作を入力する動作入
力手段と、前記動作入力手段の入力結果から手の位置座
標を検出する位置座標検出手段と、前記動作入力手段の
入力結果から手と装置と距離を算出する距離算出手段
と、前記距離算出手段の算出結果に応じて前記位置座標
検出手段の検出入力位置座標を入力する位置座標入力手
段とを備えることを特徴とする。

【００１０】あるいはまた、手の軌跡を入力して情報の
入力を行う手振り入力装置において、手の動作を入力す
る動作入力手段と、前記動作入力手段の入力結果から手
の位置座標を検出する位置座標検出手段と、前記位置座
標検出手段の検出結果が所定時間停止していることを検
知する停止検知手段と、前記停止検知手段の検知結果に
応じて前記位置座標検出手段の検出結果を入力するモー
ドと前記位置座標検出手段の検出結果の入力を禁止する
入力禁止モードとを切替実行させる切替手段とを備える
ことを特徴とする。

【００１１】

【作用】以上の構成において、手形状または位置が設定
値と一致した時に、手の軌跡をストロークとして入力す
ることができ、切り換えスイッチなどが不要となり、装
置の使い勝手を向上させることができる。また、切り出
し時間などを用いずにストローク検出を行うことができ
るので、入力効率を大幅に向上させることができる。

【００１２】または、手が設定時間を越えて同一位置に
あったときに、ストローク入力の可否を切り換えること
ができるので、入力効率を大幅に向上させることができ
る。

【００１３】

【実施例】以下、添付図面を参照して、本発明に係る好
適な一実施例を詳細に説明する。［第１実施例］＜装置構成の説明（図２）＞図１は、本発明に係る一実
施例装置の概略構成を示す斜視図である。図１におい
て、８はキーボード、１１は情報の表示を行う液晶ディ
スプレイ、１２はＣＣＤカメラレンズ方向を調節するジ
ョイント、１５はユーザの手の動きを入力するＣＣＤカ
メラである。

【００１４】以上の構成を備える本実施例の手振り入力
装置は、画像入力デバイスとしてＣＣＤカメラ１２を用
いた携帯型パーソナルコンピュータである。ユーザの手
振り入力は、ＣＣＤカメラ１２で撮影され、詳細を後述
するが内部でマッチングを行った後に文字コードとして
入力される。また、本体上のキーボード８よっても各種
文字の入力を行うことができる。＜回路構成の説明（図２）＞次に、本実施例の装置の概
略の回路構成を図２を用いて説明する。

【００１５】図２中、１は装置全体の制御を行うＣＰＵ
であり、メモリ部３に格納されたプログラムにしたがっ
て演算及びＩ／Ｏ制御等を含む各種処理を実行する。周
辺機器コントローラ２はＣＰＵ１とセットで用いられ、
周辺機器を制御するのに必要なＩ／Ｏ（シリアル通信、
パラレル通信、リアルタイムクロツク、タイマ、割り込
み制御、ＤＭＡ制御等）の制御を行う。メモリ部３は、
メインメモリとして、ＤＲＡＭ、キャッシュＲＡＭ、Ｒ
ＯＭ等のメモリを含む。４はユーザデータや装置の設定
の記憶を行うハードディスクドライブである。

【００１６】キーボードユニット３１において、７はキ
ーボード制御部、８はキーボードである。ＦＤＤユニッ
ト３２において、５はＦＤＤ、６はフロッピーディスク
ドライブである。表示ユニット３３において、９は表示
制御部であり、ＶＲＡＭ１０から順次表示データを読み
出し、階調変換等を行いながら液晶パネル１１へ表示デ
ータを転送する。また、表示部９は、ＣＰＵ１からＶＲ
ＡＭ１０へのアクセスと、ＶＲＡＭ１０から表示部６へ
データ転送するアクセスが衝突しないようにバス制御も
行う。さらに、ＶＲＡＭ１０の内容に対して予め設定さ
れたパターンとのＡＮＤ，ＯＲ，ＥＸＯＲ等の論理演算
を行うこともできる。

【００１７】本実施例においては、液晶パネル１１は各
種ファイルの情報を表示すると共に、入力中の手の軌跡
を表示する。３５はユーザの手の動作を画像データとし
て入力する画像入力ユニットである。１５はＣＣＤカメ
ラ、１４はＣＣＤカメラ１５の出力信号を増幅し、画像
データとして出力する画像入力部である。＜処理動作の説明（図３〜図８）＞続いて、以下では、
以上の構成を備える本実施例の処理動作について説明を
行う。

【００１８】本実施例の動作は、まず、ユーザの手の動
作をＣＣＤカメラ１５より入力し、位置座標を検出する
と共に手形状のマッチングを行う。そして、手形状があ
らかじめ設定されたパターンと同一であった場合にの
み、その軌跡を入力する。次に、この軌跡列と文字パタ
ーンを照合し、文字コードとして入力する、という処理
を行う。＜入力動作の説明（図３、４）＞まず、本実施例におけ
る軌跡入力の様子について説明する。

【００１９】図３に示す（ａ）（ｂ）は、手で描かれた
軌跡の一例を示す図であり、ユーザが空中に書いた文字
「あ」の軌跡である。図３の（ａ）において、５０はユ
ーザの手が動いた軌跡そのものである。図３の（ｂ）に
おいて、５１、５３、５５は文字「あ」を構成するスト
ロークであり、５２、５４はストロークでない帰線部分
である。本実施例では、後述する処理によって、ストロ
ークである軌跡部分５１、５３、５５のみを切り出し、
文字ストロークとして入力する。

【００２０】次に、図４は、本実施例における、手形状
の設定パターンの一例を表す図である。図４の（ａ）は
手を開いた形状であり、ストロークでない帰線部分と認
識される。図４の（ｂ）は、手を握った状態であり、こ
のパターンの時にストローク入力を行う。すなわち、本
実施例では、手の形状が図４の（ｂ）に示す状態であれ
ば入力設定パターンとしており、この手を握って動かし
た軌跡はストロークとして入力され、手を開いて動かし
た軌跡はストロークとして入力されない。

【００２１】また、入力設定パターンは上述した（ａ）
（ｂ）の例に限定されるものではなく、図４の（ｃ）
（ｄ）のようであってもよい。図４の（ｃ）は、親指と
人差し指を離した状態であり、帰線部分と認識される。
図４の（ｄ）は、親指と人差し指をつけた状態であり、
ストローク入力がなされる入力設定パターンである。さ
らに、入力設定パターンは、後述する手形状マッチング
処理で判別できるものであれば良いので、特に図４に示
す形状に限定されるものではない。

【００２２】続いて、以下では、以上の本実施例の処理
の流れについて説明を行う。＜フレーム入力処理の説明（図５）＞次に、図５を用い
て本実施例における手振り入力処理である、ＣＣＤカメ
ラ１５で一フレームの入力毎に行うフレーム入力処理を
説明する。図５に示す処理では、ＣＣＤカメラ１５より
入力した撮影画像から手の位置と形状を判定し、設定パ
ターンと同一であったときに手の位置座標をストローク
バッファに入力する動作を行う。なお、ストロークバッ
ファは、図示しないがメモリ部３内に設けられ、ストロ
ークの開始コード、及びストロークを構成する座標デー
タで構成される。また、メモリ部３中に、前フレームが
ストローク入力中であるかを示す、ストロークフラグを
設ける。

【００２３】まずステツプＳ１００においてＣＰＵ１
は、画像入力部１４を介してＣＣＤカメラ１５から撮影
した画像データの入力を行ない、メモリ部３に格納す
る。続いてステップＳ１０１で、ノイズ除去やシェーデ
ィング補正などの公知の画像前処理を行って、画像デー
タから外乱の影響を除去する。次にステップＳ１０２で
詳細を後述する手の位置座標の検出を行う手位置座標検
出処理を実行する。続くステップＳ１０３では詳細を後
述する手形状のマッチングを行う手形状マッチング処理
を実行する。そして続くステップＳ１０４でステツプＳ
１０３でのマッチング処理の結果、手形状が設定パター
ンと同一か否かの判定処理を実行する。手形状が設定パ
ターンと同一でなければステップＳ１０９へ進み、スト
ロークフラグをクリアし、処理を終了する。

【００２４】一方、ステツプＳ１０４で手形状が設定パ
ターンと同一であればステップＳ１０５へ進み、現在の
状況がストローク中か否かを判定する。ここで、現在の
状況がストローク中であればステップＳ１０８へ進む。
一方、現在の状況がストローク中でなければステップＳ
１０６へ進む。ステップＳ１０６では、ストロークフラ
グをセットしてステップＳ１０７へ進む。ステップＳ１
０７では、ストロークバッファにストローク開始コード
を書き込む。そしてステツプＳ１０８に進む。

【００２５】ステップＳ１０８では、ストロークバッフ
ァにステップＳ１０２で検出された位置座標を入力し処
理を終了する。＜手の位置座標検出処理の説明（図６）＞図６を用い
て、本実施例における上述した図５のステツプＳ１０２
における手の位置座標検出の処理の詳細を説明する。な
お、図６の処理は、信学技報ＨＣ９１−３３に記載され
ている動き情報の検出方法を応用してものである。

【００２６】本実施例では、ユーザは長袖の衣服を着用
するものとし、画像中で一番動きの大きい部分が腕であ
ると仮定して、これを検出する。また、動き部分の中で
肌色の領域を検出して、これを掌であると判断する。そ
して、掌領域の重心座標を計算して、これを手の位置座
標として出力する動作を行う。即ち、図６に示す手位置
検出処理においては、まずステップＳ１２０で前フレー
ムとの差分画像を作成する。続いてステップＳ１２１で
エッジ付近の微小なノイズを除去するために、差分画像
のしきい値処理を行う。すなわち、差分値が一定値以下
の画素は差分値を０とする処理を行う。次のステツプＳ
１２２及びステツプＳ１２３では、動き部分の領域分割
を行う。まずステップＳ１２２で元画像についてフィル
タリング処理を行い、入力画像のエッジを抽出する。続
いてステップＳ１２３でステツプＳ１２２で抽出したエ
ッジ画像を元に領域分割を行う。

【００２７】そしてステップＳ１２４でステツプＳ１２
３で領域分割した各領域について色判定し、肌色領域の
検出を行う。すなわち、肌色の標準色のＲＧＢ成分から
一定の範囲内にある領域を検出する。次のステップＳ１
２５では、肌色領域の重心を算出してストロークの中心
位置を検出する。そしてこの手位置検出処理を終了す
る。

【００２８】以上の処理により、腕の写っているＣＣＤ
カメラ１５の撮影画像から掌部分を検出し、その位置座
標を求めることができる。なお、本実施例の手位置座標
検出方法はこれらに限られるものではなく、例えば、人
体モデルとマッチングさせて掌の位置を検出するもので
あってもよい。また、出力する位置座標として、肌色領
域の重心でなく、突出部の座標を用いるようにしても良
い。＜手形状マッチング処理の説明（図７）＞次に、図７を
用いて、図５のステツプＳ１０３に示す手形状マッチン
グ処理の詳細を説明する。図７に示す本実施例の手形状
マッチング処理は、信学技報ＨＣ９２−４１に記載され
ている指領域の抽出手順を応用したものである。本実施
例では、指の細線化を行って指本数を検出し、指本数に
よって設定パターンとの比較を行う。そして、判定結果
は、メモリ部３内に設けられている手形状レジスタに格
納される。また、本実施例における以下の説明の設定パ
ターンは、ストロークパターンが指０本の場合、帰線パ
ターンが指５本の場合である。

【００２９】図７に示す本実施例における手形状マッチ
ング処理においては、まずステップＳ１３０で掌の周囲
の画像に注目して、エッジ強調を行い、掌領域を２値化
する。この注目領域は、上述した図６に示す手位置座標
検出処理の出力結果を中心として、肌色領域を含むよう
に切り出す。続いてステップＳ１３１でステツプＳ１３
０で二値化した二値化画像から背景を分離し、掌だけの
画像を抽出する。ステップＳ１３２では、ステップＳ１
３１で抽出した画像に縮退／拡大処理を行って、指領域
と微細な凹凸を消滅させる。

【００３０】続くステップＳ１３３では、ステップＳ１
３１の処理結果画像とステップＳ１３２の処理結果画像
とを比較して、消滅した領域を抽出し、この抽出領域を
指領域の候補として検出する。そしてステップＳ１３４
で先のステップＳ１３３の抽出指領域候補画像に対して
８方向近傍のラベリング処理を行ない、一定面積以下の
領域を除去する。ステップＳ１３５では、ステップＳ１
３４での除去領域数を指の本数とする指本数検出処理を
実行する。ステップＳ１３６では、ステツプＳ１３４で
の指本数検出処理の結果の指の本数が５本であるか否か
を判定する。指の本数が５本でなければステップＳ１３
７へ進む。そしてステップＳ１３７で手形状レジスタに
「ストロークパターン」であることをセットして処理を
終了する。

【００３１】一方、ステツプＳ１３６の判定で指の本数
が５本であればステップＳ１３８へ進み、手形状レジス
タに「帰線パターン」であることをセットして処理を終
了する。以上の処理によって、画像から指本数を検出し
て、手形状の判別を行うことができる。

【００３２】なお、本発明の手形状のマッチング処理方
法はこれに限られるものでなく、他の方法も広く応用す
ることができる。例えば、手のエッジ抽出を行い、エッ
ジ方向の極値から指ベクトルを求め、指本数を検出する
方法でも良い。また、掌を剛体モデル化し、そのパラメ
ータから手形状を判別する方法であっても良い。さら
に、マッチング方法についても、指本数に限られること
なく、例えば、ダイナミックパターンマッチング（ＤＰ
法）などを用いて、手形状を直接比較するものであって
もよい。＜一文字入力処理の説明（図８）＞続いて、各フレーム
で検出された位置座標から、一文字分の情報を入力する
処理について、図８を用いて説明する。図８の処理によ
り、図５に示すストローク入力処理によって最後のスト
ローク入力から設定時間を経過した時に文字入力終了と
判定し、文字認識動作を行う。設定時間の測定は、メモ
リ部３内に設けた文字切りタイマレジスタ（図示せず）
を減算することで行う。

【００３３】図８において、まずステップＳ１１０で文
字切りタイマレジスタに、設定時間を表すカウント値の
書き込みを行う。続くステップＳ１１１でストローク入
力があったか否かを判定する。ストローク入力があれば
ステップＳ１１０へ進み、次のストローク入力に備え
る。一方、ストローク入力がなければステップＳ１１２
へ進む。なお、ストローク入力があるか否かの判定は、
前述のストロークフラグを読み込むことで行う。

【００３４】続くステップＳ１１２ではタイマレジスタ
の値を減算し、ステップＳ１１３へ進む。ステップＳ１
１３では、タイマレジスタがカウントアップしたか否か
を判定し、肯定であればステップＳ１１４へ、否定であ
ればステップＳ１１１へ進む。ステップＳ１１４では、
ストローク座標列を文字認識バッファに格納する。ステ
ップＳ１１５では、ストローク座標列を順次読み出して
文字認識を行う。オンライン文字認識の手法について
は、パターンマッチング法等公知の技術を利用できるた
め、ここでの説明は省略する。ステップＳ１１６では、
ステップＳ１１５により出力された文字コードを、文字
ファイル中に格納または表示を行って、処理を終了す
る。

【００３５】以上説明したように本実施例によれば、手
形状が設定パターンと同一であった時に、手の位置座標
を入力する動作を行うことで、ストロークを入力する時
の切り換えスイッチなどが不要となり、装置の使い勝手
を向上させることが可能となる。［第２実施例］前述した第１の実施例では、軌跡を描く
手の形状が設定パターンと同一であったときに手の位置
座標を入力する処理について説明を行った。しかしなが
ら本発明は以上の例に限定されるものではなく、軌跡を
描く手と、ストローク入力を指示する手が異なる場合で
あっても本発明を適用できる。以下、軌跡を描く手と、
ストローク入力を指示する手が異なる本発明に係る第２
実施例について説明する。

【００３６】第２実施例においては、画像入力するカメ
ラを２台備え、軌跡を描く手（主たる手とする）と、ス
トローク入力を指示する手（従たる手とする）のそれぞ
れを撮影する。そして、主たる手については手の位置、
従たる手については手の形状を検出して、ストローク入
力の判定を行う。＜装置構成の説明（図９）＞まず、図９を参照して第２
実施例の装置の構成を説明する。図９中、前述した第１
の実施例と同一の構成要素については同一番号を付し、
詳細説明を省略する。

【００３７】図９において、１６はＣＣＤカメラの出力
信号を増幅し、画像データとして出力する第二の画像入
力部、１７は第二のＣＣＤカメラである。第２実施例に
おいては、第一のＣＣＤカメラ１５は主たる手の画像を
入力し、第二のＣＣＤカメラ１７は従たる手の画像を入
力する。また、３６はストローク入力を指示する手の動
作を画像データとして入力する第二の画像入力ユニット
である。

【００３８】＜処理動作の説明（図１０）＞次に以上の
構成を備える第２実施例の処理動作について図１０を参
照して説明する。第２実施例の動作は、まず、ユーザの
両手の画像を２つのＣＣＤカメラ１５，１７で入力す
る。すなわち、軌跡を描く手（主たる手）と、ストロー
ク入力を指示する手（従たる手）それぞれの動作を検出
する。そして、従たる手の手形状のマッチングを行な
い、手形状が予め設定されたパターンと同一の場合にの
み、主たる手の軌跡を入力する動作を行う。次に、この
軌跡列と文字パターンの照合を行って、文字コードとし
て装置に入力処理を行う。

【００３９】以下、図１０に従って詳細に説明する。ま
ずステップＳ２００において、第二のＣＣＤカメラ１７
から画像データの入力を行ない、メモリ部３に格納す
る。次のステップＳ２０１では、ノイズ除去やシェーデ
ィング補正等の公知の前処理を行ない、画像データから
外乱の影響を除去する。そしてステップＳ２０２で前述
した第１の実施例と同様の処理で手の位置座標の検出を
行う。続くステップＳ２０３では、従たる手の形状マッ
チングを行う。そしてステップＳ２０４で手形状が設定
パターンと同一か否かを判定する。同一でなければステ
ツプＳ２１２に進み、ストロークフラグをクリアし、処
理を終了する。

【００４０】一方、ステツプＳ２０４で手形状が設定パ
ターンと同一である場合にはステップＳ２０５に進み、
第一のＣＣＤカメラ１５から画像データの入力を行ない
メモリ部３に格納する。次にステップＳ２０６でステッ
プＳ２０１と同様の外乱の除去処理等の前処理を実行す
る。そして続くステップＳ２０７で第一のＣＣＤカメラ
１５の画像について、主たる手の位置座標の検出を行
う。このステツプＳ２０７の検出方法は上述した第１の
実施例と同様である。続くステップＳ２０８では、現在
の状況がストローク中か否かを判定する。現在の状況が
ストローク中であればステップＳ２１１へ進み、ストロ
ークバッファにステップＳ２０７で検出された位置座標
を入力して処理を終了する。

【００４１】一方、ステツプＳ２０８で現在の状況がス
トローク中でなければステップＳ２０９へ進み、ストロ
ークフラグをセットする。そして続くステップＳ２１０
でストロークバッファにストローク開始コードを書き込
む。そしてステップＳ２１１に進み、ストロークバッフ
ァにステップＳ２０７で検出された位置座標を入力して
処理を終了する。

【００４２】なお、第２実施例の一文字入力の切り出
し、文字認識の処理は、上述した第１の実施例と同様の
処理とすることができるため、これらの処理の説明を省
略する。以上、説明したように第２実施例によれば、軌
跡を描く手とストローク入力を指示する手が異なった場
合にも、上述した第１の実施例と同様な効果を得ること
ができる。さらに、第２実施例においては、軌跡を描く
手の形状を一定にしたまま入力できるので、フレーム間
での指示位置の誤差が少なくなり、文字認識率を向上さ
せるという効果がある。

【００４３】なお、第２実施例では、両手の動きを入力
するのに２台のカメラを用いたが、１台で処理するよう
にしても良い。この場合、入力画像から動き部分を２箇
所検出し、それぞれの動き部分に対して手の位置の検出
を行うことで実現できる。［第３実施例］上述した各実施例では、手の形状が設定
パターンと同一であったときに手の軌跡を入力する処理
について説明を行った。しかし、本発明は以上の例に限
定されるものではなく、、手のおかれた座標、具体的に
は手と装置の距離を検出することで、ストロークの入力
判定を行うことも可能である。このように構成した本発
明に係る第３実施例を以下に説明する。＜装置構成の説明（図１１）＞図１１は本発明に係る第
３実施例の装置の構成を示す図である。図１１におい
て、前述した実施例と同一の構成要素については同一番
号を付し、詳細説明を省略する。

【００４４】図１１において、１８は距離センサ１９の
信号から距離を検出する距離検出部である。１９は距離
センサであり、ＰＺＴ（ジルコン・チタン酸鉛）などの
素材で構成される超音波振動子である。３７は装置から
手までの距離を計測する距離センサユニットであり、第
３本実施例においては超音波を用いた方式で構成する。
距離センサユニット３７は、距離センサ１９から超音波
を発信し、反射波が戻るまでの時間を計測することによ
って、距離の検出を行う。

【００４５】以上の構成を備える第３実施例の使用時の
動作原理を図１２を参照して以下に説明する。図１２は
使用時の第３実施例装置を上側から見た図である。図１
２において、２０は装置本体、１５はＣＣＤカメラ、１
９は距離センサである。また、３０は軌跡を描く手の重
心である。さらに、３２はストローク入力の最小距離、
３３はストローク入力の最大距離である。そして、第３
実施例においては、距離センサ１９と手の重心３０の間
の距離を検出して、距離３１が最小距離３２と最大距離
３３の間である時に位置座標を軌跡データとして入力す
る。＜処理動作の説明（図１３）＞続いて、以下、以上の構
成を備える第３実施例の処理動作について詳細に説明す
る。第３実施例の動作は、まず、ユーザの手までの距離
を距離センサで計測して、距離が設定値以内の時に手の
動作を画像入力し、位置座標を軌跡として入力する動作
を行う。そして次に、この軌跡列と文字パターンの照合
を行って、文字コードとして装置に入力処理を行う。＜フレーム入力処理の説明（図１３）＞以下では、図１
３を用いて、一フレームの入力毎に行う処理の流れを説
明する。同図の処理では、まず、ユーザの手までの距離
を距離センサで計測する。そして、距離が設定値以内の
時に、手の動作を画像入力し、位置座標を検出する。次
に、現在がストローク入力中であるかにしたがって区分
コードを書き込んだ後に、位置座標を軌跡列データの一
つとして入力する、という動作を行う。

【００４６】まず図１３のステップＳ３００において、
距離センサ１９を駆動して、センスデータの入力を行
う。ステップＳ３０１ではセンスデータを用いて、手と
装置間の距離を計算する。ここで、距離の算出法につい
て述べると、センサパルスの出力からセンサ入力までの
遅延時間をｔ、音速をｖとすると、距離ｄは、以下に示
す式（１）により求めることができる。

【００４７】

【数１】ｄ＝（ｔ×ｖ）／２・・・式（１）続いてステップＳ３０２で、手と装置間の距離が設定値
以内であるか否かを判定する。そして、所定値以内でな
ければステップＳ３１０へ進み、ストロークフラグをク
リアして処理を終了する。

【００４８】一方、ステツプＳ３０３で手と装置間の距
離が設定値以内であればステップＳ３０３へ進み、ＣＣ
Ｄカメラ１５から画像データの入力を行ないメモリ部３
に格納する。続くステップＳ３０４において上述の実施
例と同様外乱除去処理等の前処理を実行する。そして次
にステップＳ３０５でＣＣＤカメラ１５の画像につい
て、手の位置座標の検出を行う。続くステップＳ３０６
では現在の状況がストローク中か否かを判定する。スト
ローク中であればステップＳ３０９へ進み、ストローク
バッファにステップＳ３０５で検出された位置座標を入
力し、処理を終了する。

【００４９】一方、現在の状況がストローク中でなけれ
ばステップＳ３０７へ進み、ストロークフラグをセット
してステップＳ３０８へ進む。ステップＳ３０８では、
ストロークバッファに、ストローク開始コードを書き込
む。続いてステップＳ３０９でストロークバッファにス
テップＳ３０５で検出された位置座標を入力し、処理を
終了する。

【００５０】なお、第３実施例においても一文字入力の
切り出し処理及び文字認識の処理は、上述した第１の実
施例で述べた処理と同様であり、説明を省略する。以上
説明したように本実施例によれば、手と装置間の距離を
検出して、距離が設定値以内の時に手の位置座標を軌跡
として入力する処理を行うことにより、前述の実施例と
同様な効果を得ることができる。さらに、第３実施例に
おいては、手の形状マッチング処理が不要となるので、
処理の高速化が図れるという効果がある。

【００５１】なお、第３実施例において、距離検出手段
として超音波センサを用いた例を説明したが、本発明は
これに限られるものではない。例えば、赤外光をフレネ
ルレンズで拡散させる構成の、光センサであっても良
い。また、三次元物体計測に用いられるレンジファイン
ダ方式や、ステレオカメラを用いる方式であっても良
い。また、ストローク切り出しの距離範囲は、装置起動
時に任意に指定できるようにしよもよい。

【００５２】さらに、第３実施例のストローク切り出し
は、装置と手の間の距離で判定したが、これを手とユー
ザの身体の間の距離で判定するようにしてもよい。これ
により、ユーザと距離の装置にかかわらずに入力が行え
るようになる。また、第３実施例ではストローク切り出
しの処理について説明を行ったが、文字切り出しに応用
することもできる。例えば、図１１のストローク入力の
最小、最大距離の外側に、それぞれ文字切り出しの最
小、最大距離を設定する。そして、ストローク入力の最
小、最大距離に手があるときは同じ文字の入力として処
理を行い、この領域をはずれた時に文字入力を終了させ
る。以上の処理を行うことで、文字切り出しにも応用す
ることができる。

【００５３】［第４実施例］以上に説明した第１〜第３
の各実施例は、手の形状または位置が設定値と同一の時
に手の軌跡を入力する処理について説明を行った。しか
し本発明は以上の例に限定されるものではなく、手の移
動時間を検出してストロークとそうでない部分の切り換
えを行う様に制御することも本発明の範囲に含めること
ができる。この様に構成した本発明に係る第４実施例
の、手が設定時間以上同一位置にあったことを検出し
て、ストローク入力モードの切り換えを行う処理につい
て説明する。

【００５４】第４実施例の装置の構成は、上述した図２
に示す第１の実施例と同様構成とすることができる。な
お、第４実施例では図２の構成中のメモリ部３は、以下
に説明する構成を備えている。即ち、メモリ部３内に検
出した手の位置座標を一フレームの間保存する「座標バ
ッファ」を設ける。また、後述する端点切り換え処理を
行ったかを示す「端点フラグ」を設ける。そして、手が
同一座標に止まっていたことを計測する「端点カウン
タ」を設ける。さらに、現フレームがストローク中であ
るか否かを表す「ストロークステータス」を設ける。ス
トロークステータスの値は二値であり、それぞれ「スト
ローク」と「帰線」モードを表す。＜処理動作の説明＞以下では、図２の構成を備える第４
実施例の処理動作について説明を行う。第４実施例の動
作は、ユーザの手の動きをＣＣＤカメラ１５で入力し、
手の位置座標を検出する。次に、手が設定時間以上同一
位置にあったことを検出した場合は、軌跡の入力モード
を切り換える処理を行う。そして、軌跡がストロークモ
ードであったときにのみ、検出した座標をストロークバ
ッファに入力する、という動作を行う。＜フレーム入力処理の説明（図１４、図１５＞まず、図
１４を用いて、第４実施例における一フレームの入力毎
に行う処理の流れを説明する。図１４に示す処理では、
画像から手の位置座標を検出し、後述する端点検出処理
を行って設定時間以上、手が同一位置にあった場合に入
力モードを切り換える。そして、現フレームがストロー
ク中であれば、位置座標をストロークバッファに入力す
る、という動作を行う。

【００５５】まず、ステップＳ４００でＣＣＤカメラ１
５から画像データの入力を行ない、メモリ部３に格納す
る。続くステップＳ４０１で上述同様の画像データの外
乱除去処理等の前処理を行う。そして次のステップＳ４
０２で手の位置座標の検出を行う。続くステップＳ４０
３では、後述の手順に従って端点検出を行う。このステ
ツプＳ４０３の処理では、手が設定時間以上同一位置に
あった場合に、この位置の座標をストローク端点と判断
し、ストロークステータスを切り換える。そして、スト
ロークモードとなった場合は、次の端点が検出されるま
で手の位置座標がストロークバッファに格納されていく
ことになる。一方帰線モードとなった場合は、次の端点
が検出されるまでの間ストロークバッファへの格納は行
われない。

【００５６】さて、続くステップＳ４０４では、ステッ
プＳ４０２で検出した位置座標を座標バッファに格納す
る。そしてステップＳ４０５でストロークステータスを
参照して現フレームがストロークモードであるか否かを
判定する。現フレームがストロークモードであればステ
ップＳ４０６へ進み、位置座標をストロークバッファに
書き込み、処理を終了する。

【００５７】一方、現フレームがストロークモードでな
ければそのまま処理を終了する。続いて、図１５を用い
て第４実施例における端点検出処理の流れを説明する。
図１５に示す処理では、手が設定時間以上同一位置にあ
った場合にその時の手の位置座標がストローク端点と判
断し、ストロークステータスを切り換える、という動作
を行う。

【００５８】まず、ステップＳ４１０で座標バッファか
ら前フレームの位置座標を取り出す。続いてステップＳ
４１１でステップＳ４０２の位置座標と前フレームの位
置座標が同一であるか否かを判定する。ステップＳ４０
２の位置座標と前フレームの位置座標が同一であればス
テップＳ４１２以下の処理を実行する。ステップＳ４１
２からステップＳ４１８の処理は、手が同一座標にあっ
たときの処理である。ステップＳ４１２では、端点フラ
グがクリアされているか否かを判定する。端点フラグが
クリアされていなければ処理を終了する。

【００５９】一方、端点フラグがクリアされていればス
テップＳ４１３へ進み、端点カウンタの値をインクリメ
ントする。続いてステップＳ４１４で端点カウンタの値
が設定値に達し、設定時間が経過したか否かを判定す
る。端点カウンタの値が設定値に達しておらず、設定時
間が経過していない場合には処理を終了する。一方、ス
テツプＳ４１４で端点カウンタの値が設定値に達し、設
定時間が経過した場合にはステツプＳ４１５へ進み、ス
トロークステータスの値を書き換えて現在の実行モード
を変換する。すなわち、「ストローク」であれば「帰
線」に、「帰線」であれば「ストローク」に切り換え
る。そして次のステップＳ４１６で端点フラグをセット
する。ステップＳ４１７では、ストロークステータスが
「ストローク」であるか否かを判定する。ストロークス
テータスが「ストローク」でなければそのまま処理を終
了する。

【００６０】一方ステツプＳ４１７でストロークステー
タスが「ストローク」であればステップＳ４１８へ進
み、ストロークバッファにストローク開始コードを書き
込み、処理を終了する。一方、ステツプＳ４１１の処理
においてステップＳ４０２の位置座標と前フレームの位
置座標が同一でなければステップＳ４１９へ進む。ステ
ップＳ４１９以降は、前フレームと異なった位置に手が
存在する場合の処理であり、ステップＳ４１９では、端
点フラグをクリアする。そしてステップＳ４２０で端点
カウンタをクリアし、処理を終了する。

【００６１】以上の処理により、手が設定時間以上同一
位置に合った場合に軌跡のモードを切り換え、ストロー
クもどの時にのみストロークバッファに入力する、とい
う動作を行うことができる。なお、第４実施例の一文字
入力の切り出し処理と文字認識処理は、第１実施例で述
べた処理と同様であり、ここでの説明を省略する。以上
説明したように第４実施例によれば、手が設定時間以上
同一位置にあった場合に軌跡のモードを切り換えること
で、前述の実施例と同様な効果を得ることができる。さ
らに、第４実施例においては、手の形状マッチング処理
が不要となるので、処理の高速化が図れるという効果が
ある。また、ユーザにとっては、手の形状や装置との距
離を考えることなく入力が行えるので、より使い勝手の
より装置を実現することができるという効果がある。

【００６２】なお、本発明は上述の実施例に限定される
ものではなく、幅広く応用することができる。例えば、
実施例では、ストロークデータを文字認識に使用した
が、これを座標列のまま格納するようにしてもよい。ま
た、ストロークを直線、曲線に当てはめ、図形の入力に
用いることもできる。さらに、手の動きの入力手段とし
て、実施例ではカメラを使用したが、データグローブ
（登録商標）などの接触型のセンサを用いることができ
る。手の位置座標検出、形状マッチングについて様々な
方法が使用できることは前述した通りである。

【００６３】尚、本発明は、複数の機器から構成される
システムに適用しても１つの機器から成る装置に適用し
ても良い。また、本発明は、システムあるいは装置にプ
ログラムを供給することによって達成される場合にも適
用できることはいうまでもない。

【００６４】

【発明の効果】以上説明したように本発明によれば、手
形状または位置が設定値と一致した時に、手の軌跡をス
トロークとして入力することができ、切り換えスイッチ
などが不要となり、装置の使い勝手を向上させることが
できる。また、切り出し時間などを用いずにストローク
検出を行うことができるので、入力効率を大幅に向上さ
せることができる。

【００６５】または、手が設定時間を越えて同一位置に
あったときに、ストローク入力の可否を切り換えること
ができるので、入力効率を大幅に向上させることができ
る。

【図面の簡単な説明】

【図１】本発明に係る一実施例における手振り入力装置
の外観斜視図である。

【図２】本実施例における手振り入力装置の制御回路の
概略構成図を示すブロック図である。

【図３】本実施例における手の軌跡の様子を説明する図
である。

【図４】本実施例における入力時の手の形状を説明する
図である。

【図５】本実施例におけるフレーム入力の処理を示すフ
ローチャートである。

【図６】図５に示す手の位置座標検出処理の詳細を示す
フローチャートである。

【図７】図５における手形状マッチング処理の詳細を示
すフローチャートである。

【図８】本実施例における一文字入力の処理を示すフロ
ーチャートである。

【図９】本発明に係る第２実施例における手振り入力装
置の制御回路の概略構成を示すブロック図である。

【図１０】第２実施例におけるフレーム入力の処理を示
すフローチャートである。

【図１１】本発明に係る第３実施例における手振り入力
装置の制御回路の概略構成を示すブロック図である。

【図１２】第３実施例における手振り入力装置の使用時
の様子を説明する図である。

【図１３】第３実施例におけるフレーム入力の処理を示
すフローチャートである。

【図１４】本発明に係る第４実施例におけるフレーム入
力の処理を示すフローチャートである。

【図１５】第４実施例における端点検出処理を示すフロ
ーチャートである。

【符号の説明】

１ＣＰＵ２周辺コントローラ３メモリ部４ハードディスクドライブ５ＦＤＤ制御部６ＦＤＤドライブ７キーボード制御部８キーボード９表示制御部１０ＶＲＡＭ１１液晶ディスプレイ１２ジョイント１４画像入力部１５ＣＣＤカメラ１６第二の画像入力部１７第二のＣＣＤカメラ３１キーボードユニット３２ＦＤＤユニット３３表示ユニット３５画像入力ユニット３６第二の画像入力ユニット

Claims

【特許請求の範囲】

【請求項１】手の軌跡を入力して情報の入力を行う手
振り入力装置において、手の動作を入力する動作入力手段と、前記動作入力手段の入力結果から手の位置座標を検出す
る位置座標検出手段と、前記動作入力手段の入力結果から手の形状を判別する形
状判別手段と、前記形状判別手段の判別結果に応じて前記位置座標検出
手段の検出入力位置座標を入力する位置座標入力手段と
を備えることを特徴とする手振り入力装置。
【請求項２】手の軌跡を入力して情報の入力を行う手
振り入力装置において、手の動作を入力する動作入力手段と、前記動作入力手段の入力結果から手の位置座標を検出す
る位置座標検出手段と、前記動作入力手段の入力結果から手と装置と距離を算出
する距離算出手段と、前記距離算出手段の算出結果に応じて前記位置座標検出
手段の検出入力位置座標を入力する位置座標入力手段と
を備えることを特徴とする手振り入力装置。
【請求項３】手の軌跡を入力して情報の入力を行う手
振り入力装置において、手の動作を入力する動作入力手段と、前記動作入力手段の入力結果から手の位置座標を検出す
る位置座標検出手段と、前記位置座標検出手段の検出結果が所定時間停止してい
ることを検知する停止検知手段と、前記停止検知手段の検知結果に応じて前記位置座標検出
手段の検出結果を入力するモードと前記位置座標検出手
段の検出結果の入力を禁止する入力禁止モードとを切替
実行させる切替手段とを備えることを特徴とする手振り
入力装置。
【請求項４】前記動作入力手段は画像入力装置によっ
て構成されることを特徴とす、請求項１乃至３のいずれ
かに記載の手振り入力装置。
【請求項５】手の軌跡を入力して情報の入力を行う手
振り入力装置における手振り入力方法において、手の動作を入力可能とし、手の動作結果より手の形状を
判別すると共に手の動作結果から手の位置座標を検出
し、前記判別した手の形状に応じて前記手の入力位置座
標を入力することを特徴とする手振り入力方法。
【請求項６】手の軌跡を入力して情報の入力を行う手
振り入力装置における手振り入力方法において、手の動作を入力可能とし、手の動作結果より手と装置と
距離を算出すると共に手の動作結果から手の位置座標を
検出し、前記算出結果に応じて前記手の位置座標を入力
することを特徴とする手振り入力方法。
【請求項７】手の軌跡を入力して情報の入力を行う手
振り入力装置における手振り入力方法において、手の動作を入力可能とし、手の動作結果より手が所定時
間停止していることを検知してこの検知結果に応じて手
の動作位置座標を入力するモードと手の動作位置座標の
入力を禁止する入力禁止モードとを切替実行させること
を特徴とする手振り入力方法。