JPH06102993A - 指示入力装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は，指示に用いる物体の指示位置とし
てその端点を実時間で検出すると共にその端点が一定の
往復運動を行なったときにおける往復回数を実時間で計
数するようにすることを目的としている。 【構成】 ビデオカメラからの出力映像信号を，フレー
ムメモリ上に書込んでゆき，画像データとして読出し，
画素の値を水平走査線方向に順次加算して，水平走査線
上の画素データの水平位置の重み付き平均位置を計算す
るなどの処理にて，端点位置を実時間で検出するように
し，かつ運動検出−運動停止−運動検出のサイクルにも
とづいて端点の往復運動を検出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、デジタル映像データを
用いて実時間で動画像処理を行なう映像を用いた指示入
力装置，特に，コンピュータなどの装置などへの指示の
ために，手や指またはロッド状の物体を用いて指示入力
として与えようとするもので，指示に用いる物体をビデ
オカメラで撮影してその映像を処理することにより指示
情報を抽出してコンピュータなどに指示を与え，従来の
指示入力装置を直接操作することが困難な作業環境での
指示作業の効率向上を図るようにした指示入力装置に関
するものである。

【０００２】

【従来の技術】一般にコンピュータ等を操作するための
入力手段としては，マンマシンインタフェースの向上を
ねらってマウスに代表される指示入力装置がいろいろ考
案されている。マウスは、コンピュータのディスプレイ
に表示されたメニューまたは対象物から選択したいもの
をマウスに取付けられたボタンをクリックすることによ
り指示する。これと同じような指示内容を実現するもの
で他にタッチペン，ライトペン，タッチパネルがある。
このような指示入力装置の多くはコンピュータなどの装
置に精確に指示を与えるために必要な方法であるが，し
かしこれは通常人間が互いにコミュニケーションすると
きに身体の一部を用いたり簡単な用具を用いて指示する
方法とは異なっている。

【０００３】我々人間がもっと身体の手や指またはロッ
ド状の物体（指し棒やまた鉛筆など）を用いて日常的な
感覚で直感的にまた直接的に指示出来たほうがコンピュ
ータとマンマシンインタフェース上優れている利用環境
がある。たとえば立って移動しながら作業を行なう場合
の他，手作業が多く入力装置を直接操作することが困難
である場合などである。

【０００４】また，カメラで撮影した手の映像情報から
手の形状を認識してコンピュータへのコマンドとして入
力することが考えられておりそのための研究例も多い。

【０００５】

【発明が解決しようとする課題】しかし手の形状をコマ
ンドとして使用することを考えてみると，われわれが日
常身振り手振りを交えて意思伝達を行なう場合手や腕を
よく用いるが，手や腕の形は相当曖昧であって必ずしも
一定でない。したがってコンピュータへの指示でも，い
つも決まった手の形を作ることはなじまない。それより
も手の動きを利用したほうがよい。これは例えばわれわ
れが近くの人間を招き寄せるときに手招きで手を振ると
きには動作としては手の振る周期また手の振幅などは個
人によりほぼ決まっている。

【０００６】手の動きの周期や振幅を判断してコマンド
として入力することは静的に手の形を判断するよりも難
しい。手の動きと手の形状とを認識してそれぞれに意味
をあたえる研究報告はあるが，指示に必要な位置情報の
抽出が考えられていない。したがってこれまでの技術で
は手や指などの動作を用いたマウスと同等機能の実現は
行なわれていない。

【０００７】本発明は，上記従来の課題を解決するため
に，指示に用いる物体の指示位置としてその端点を実時
間で検出すると共にその端点が一定の往復運動を行なっ
たときにおける往復回数を実時間で計数するようにする
ことを目的としている。

【０００８】

【課題を解決するための手段】本発明においては，上記
の機能を実現するための手段として，次の如き手段を用
意している。なお，指示物体の撮影は単一のビデオカメ
ラによって上方から行ない，その物体の向きはその端点
として用いる部分が最初の水平走査線側に向いているこ
とを仮定しておく。 （１）端点位置を実時間で検出する まず指示に使用する物体をビデオカメラで撮影し，ビデ
オカメラからの出力映像信号をＡ／Ｄコンバータでデジ
タル情報に変換した信号を入力させるものとする。カメ
ラの撮影映像に指示物体以外の映像が背景画像として含
まれている場合には必要な処理（フレーム間差分を用い
た処理，また色情報を用いた処理など）を行なって指示
物体のみの信号を輝度画素データとして得てから入力す
るものとする。入力された画素データ（映像データ）を
水平走査速度と同じ早さで（Ａ／Ｄコンバータのサンプ
リングクロックに同期して）フレームメモリに書き込
む。このフレームメモリから画素データを水平走査速度
と同じかそれ以上の早さで順次読みだし，画素の値を水
平走査線方向に順次加算し，同時にその水平走査線上の
画素データの水平位置の重み付き平均位置を計算する
（累積加算器１６）。水平走査線上の画素データの累積
加算結果が決められた値（レジスタ１５に格納されてい
る）以上であることが検出されたらそのフレームでの計
算処理を停止する。停止時点での水平走査線の位置とそ
の水平走査線上の求めた重心位置が指示物体の端点のほ
ぼ中心点として得られる。 （２）指示物体の端点の一定の往復運動の検出 端点の往復運動として検出すべき内容は，運動の振幅が
一定の値以上であって，かつその往復運動の周期が一定
の範囲に入っていることである。このためフレーム更新
ごとに得られる端点座標値とひとつ前のフレームで得ら
れた端点座標値との差を常に計算し，それが一定以上の
値であったときに運動があったことを検出する。それと
並行して，運動検出−運動停止−運動検出のサイクルで
の運動検出間での経過時間をタイマーによって計測し，
その経過時間が一定の範囲内にあった場合それが連続し
て何回あったかをカウントすることによって指示物体の
往復運動をコマンドとして利用する。

【０００９】

【作用】本発明は，上述の手段により従来技術の問題点
を解決した。その端点は，撮影ビデオ映像をデジタル処
理し，画素データをビデオレートで計算処理する手段を
備えているので指示物体の移動に伴ってその端点座標位
置が時間遅れなく得られる。かつ端点の往復運動の特徴
を座標位置の小さな変化として検出する手段を備え，往
復運動の回数が計算結果として得られるのでこれをコマ
ンドとして各種装置に与える指示入力として利用するこ
とを可能にする。

【００１０】

【実施例】以上本発明の一実施例を図面を用いて詳細に
説明する。図１および図２は本発明の装置の一実施例を
示すブロック図である。まず図１について説明する。

【００１１】図中１０は画素データを格納するためのフ
レームメモリであって２ポート型のメモリで構成され
る。フレームメモリのシリアル入力へはＡ／Ｄコンバー
タからの画素データが供給され，サンプリングクロック
に同期して書き込みが行なわれる。１３は画像フレーム
の水平走査線方向のアドレスを保持するカウンタ型のア
ドレスレジスタＸＲである。１４は画像フレームの垂直
方向のアドレスを保持するカウンタ型のアドレスレジス
タＹＲである。１２はアドレスレジスタＸＲとＹＲとの
内容からフレームメモリ１０からデータを読みだすため
のメモリアドレスを生成するためのアドレス生成器であ
る。アドレスレジスタ１３，１４はフレームメモリから
画素の順次読みだしにしたがって増加するように制御さ
れる。

【００１２】１５は一定の値を保持するレジスタであっ
て，指示に用いる物体の検出すべき端部の水平方向の長
さを決定するための値を設定しておく。１６はフレーム
メモリから読みだされた画素データを水平走査線方向に
累積加算する累積加算器である。１７は比較器であっ
て，一本の水平走査が終了した時点で累積加算器１６の
累積結果とレジスタ１５の内容とを入力して両者の大小
関係の比較を行ない，累積結果がレジスタ１５の内容よ
りも大きい場合に信号を出力する。

【００１３】１８は乗算器であってフレームメモリから
の画素データとアドレスレジスタ（ＸＲ）１３の内容と
の積を出力する。１９は累積加算器であって乗算器１８
の結果を累積加算し，水平走査終了後に累積値を保持す
る。２０は除算器であって，水平走査終了後に累積加算
器１９の累積値を累積加算器１６の累積値で除算した商
を出力する。１１は実行制御部であって，比較器１７の
信号出力を受けて現在処理中のフレームでの実行の停止
制御を行なう。実行停止後に，指示物体の端点の中心座
標の水平方向座標（Ｘ）が除算器２０の出力から，また
垂直方向の座標（Ｙ）がアドレスレジスタ（ＹＲ）１４
から得ることができる。

【００１４】次に図２に指示物体の端点の往復運動の回
数を実時間で計数する実施例を示し，その詳細を説明す
る。図中２２は，レジスタＯＸであってその内容が図１
の除算器２０の出力である位置座標Ｘの値によって処理
フレーム更新時に書き変わるように制御され，つねにひ
とつ前のフレームの座標計算結果を保持している。２１
は差分器であって現在処理したフレームで得られた位置
座標の値とレジスタ２２で保持されている１フレーム前
の位置座標との差の絶対値を出力する。２３はレジスタ
であって当該レジスタには検出すべき端点の運動の振幅
の大きさを書き込んでおく。２４は比較器であって，差
分器２１の出力結果とレジスタ２３の内容とを比較し
て，差分器２１からの出力値の方が大きい場合に信号を
出力する。

【００１５】２５はタイマーであって比較器２４から信
号を受け取ったという遷移でその値を０にリセットし，
そうでなければ自動的に定期的にカウントアップを続け
る。２６と２７とは往復運動の検出すべき周期の範囲を
設定するレジスタであって，レジスタ２６には短いほう
の時間またレジスタ２７には長いほうの時間を書き込ん
でおく。２８は比較判定回路であって，タイマー２５の
値をレジスタ２６，２７の２つの値とそれぞれ比較し，
タイマー２５の値がレジスタ２６の値より大きくかつレ
ジスタ２７の値より小さい場合に信号“１”を，そうで
なければ信号“０”を出力する。

【００１６】比較器２４が振幅を検出して信号を出力し
た時点で，比較判定回路２８がタイマー２５のリセット
する前の値を用いて比較動作を行なう。２９はカウンタ
であって，比較判定回路２８より信号“１”の入力があ
った場合には＋１のカウントアップ動作を行ない，信号
“０”の入力があった場合には０へリセットされる。カ
ウンタ２９の値から指示物体の端点の往復運動の回数が
得られる。

【００１７】図２の構成の動作を詳しく説明する。フレ
ームごとの処理で比較器２４の出力からフレーム処理時
間経過後の座標の移動量が設定した値よりも大きいこ
と，つまり大きな運動があったことがわかる。物体を往
復運動させるときに運動方向が変わるところで運動を瞬
間的にほぼ停止した状態にすると，比較器からは，運動
検出−運動検出−運動停止−運動検出−運動検出のシー
ケンスが得られる。

【００１８】この結果を受けてタイマー２５は，シーケ
ンスでの運動停止状態から運動検出が発生するごとの経
過時間を計測する。この値がレジスタ２６とレジスタ２
７との設定値の範囲内にあればカウンタ２９が動作し１
増加する。もしタイマー計測値が設定範囲からはずれて
いればカウンタ２９はリセットされてしまう。このよう
に指示端点が一定の周期的な運動を行なえばその往復運
動回数がカウンタ２９から自動的に得られる。

【００１９】本実施例では，水平方向の座標値の変化を
運動の検出に利用したが，垂直方向の座標値も同じよう
に用いることができ，用途によって処理対象座標を変え
た構成でもよい。またレジスタ１５，２３，２６，２７
への設定値を変えることによって，指示物体の検出すべ
き端部の位置や大きさを変えることができるほか，その
運動の検出すべき振幅と周期を柔軟に変えることができ
る。

【００２０】

【発明の効果】以上説明したように，この発明によれ
ば，カメラからの撮影した指示物体（手または指先など
のほかロッド上の用具）を動画のまま処理することによ
り，指示に用いる端点（手先や指先またロッドの先な
ど）の座標位置を実時間で得られる。かつ端点を決まっ
た範囲の周期で往復して動かすことによってその運動回
数をコマンドとして利用できるので，作業を行ないなが
らのコンピュータなどへの指示入力を容易に行なうこと
ができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係わる指示入力装置のブロ
ック図である。

【図２】本発明の一実施例に係わる指示入力装置のブロ
ック図である。

【符号の説明】

１０ フレームメモリ １２ アドレス生成器 １６ 累積加算器 １７ 比較器 １８ 乗算器 １９ 累積加算器 ２０ 除算器 ２１ 差分器 ２２ レジスタ ２４ 比較器 ２５ タイマー ２８ 比較判定回路 ２９ カウンタ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 物体の画像を撮影する手段と，当該撮影
   手段からの物体のデジタル映像データを格納するフレー
   ムメモリ，フレームメモリを読みだすためのアドレスレ
   ジスタとアドレス生成器，水平走査線方向の画素データ
   の総和を求める累積加算器，その総和値から物体の走査
   開始線側の端点の水平位置を検出する比較器，その水平
   位置での水平走査線上の画素の分布の重心点を算出する
   ための乗算器と除算器および累積加算器，座標値を保持
   するレジスタと物体の往復運動の振幅を検出するための
   差分器と比較器，運動周期を計測するタイマーと時間値
   を検出するための比較判定回路，運動周期と時間とから
   運動回数を記録するカウンタ，変数用レジスタとからな
   り，物体の位置の指示と往復運動とによる指示内容を同
   時に取得するようにしたことを特徴とする指示入力装
   置。