JPH1185369A - 命令指示装置、命令指示方法、自動取引装置、自動取引方法 - Google Patents

Abstract

(57)【要約】 【課題】 命令指示装置、命令指示方法、自動取引装
置、自動取引方法等において、入力に習熟を要せず、万
人が簡単に入力することができ、人の日常的動作により
一連の入力を比較的短時間に為すことができるようにす
る。 【解決手段】 命令を発するものの動画像を取り込み、
この取り込んだ動画像の動きを解析し、この解析された
動きに予め対応せしめられた命令を以て動きによる命令
と認識し、その認識された命令に予め対応せしめられた
指示をするようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、命令指示装置、命
令指示方法、自動取引装置及び自動取引方法に関する。

【０００２】

【従来の技術】一般に、情報端末装置にて命令等をする
一般的な手段として用いられるのは、キーボード、マウ
ス、タブレット、タッチパネル等がある。また、人間の
動作を抽出する手段としてデータグローブがある。この
データグローブで人間の動作を抽出することによりその
動作から人間の意思を取り込むことができる。

【０００３】

【発明が解決しようとする課題】ところで、キーボー
ド、マウス等の入力手段は場所をとり、使用できる場所
が限られると言う問題がある。また、この入力手段はそ
れに習熟するのに時間がかかるので、万人が使いこなせ
るわけではないので、例えば、銀行等の自動取引装置
（ＡＴＭ）等万人に使用されるものには不適当である。
そして、データグローブの場合には更に装着する必要が
あるという問題がある。

【０００４】また、タッチパネルは入力画面がそのまま
表示部となり、表示に従って指示された部分に触るとい
う動作で入力できるので、比較的入力しやすい手段であ
り、銀行等の自動取引装置等に多く使用されている。し
かしながら、タッチパネルは一度に表示できるコマンド
が限られるため、希望の一連の動作を行うまでに表示画
面が何度も切り替わり、その切り替わり毎に或る時間が
かかるので、操作にかかる時間が長くなると言う問題が
あった。

【０００５】本発明は上記事情に鑑みてなされたもので
あり、本発明の目的は、人が日常的な動作をすることに
より命令を与えることができ、入力に習熟を要せず、万
人が簡単に入力することができ、人の日常的動作により
一連の入力を比較的短時間に為すことができる命令指示
装置、命令指示方法、自動取引装置及び自動取引方法を
提供することを目的とする。

【０００６】

【課題を解決するための手段】請求項１の命令指示装置
は、命令を発するものの動画像を取り込む動画像取込手
段と、この動画像取込手段により取り込んだ動画像の動
きを解析する画像解析手段と、この画像解析手段により
解析された動画像の動きから予めその動きに対応させた
命令を解析する命令解析手段と、を少なくとも有するこ
とを特徴とする。

【０００７】請求項２の命令指示装置は、命令を発する
ものの動画像を取り込む動画像取込手段と、この動画像
取込手段により取り込んだ動画像の動きを解析する画像
解析手段と、この画像解析手段により解析された動画像
の動きから予めその動きに対応させた命令を解析する命
令解析手段と、この命令解析手段により解析された命令
に応じて表示、各種出力等の指示をする手段とを少なく
とも有することを特徴とする。

【０００８】請求項１又は２記載の命令指示装置によれ
ば、動画像を取り込み、その取り込んだ動画像から画像
の動きを解析し、その解析した動きから命令を解析する
ので、人が日常的な動作をすることにより命令を与える
ことができ、入力に習熟を要せず、万人が簡単に入力す
ることができ、人の日常的動作により一連の入力を比較
的短時間に為すことができる。

【０００９】請求項３の命令指示装置は、請求項１又は
２記載の命令指示装置において、画像解析手段が、或る
画像とそれより後の画像とによる差分二値化画像を複数
求め、それぞれ均等な分割領域に分割し、各分割領域内
における画像の重心位置の移動量を検出することにより
画像の動きを解析するようにしてなることを特徴とす
る。

【００１０】請求項３の命令指示装置によれば、動画像
から求めた複数の差分二値化画像をそれぞれ均等な分割
領域に分け、各分割領域内における画像の重心位置の移
動量を検出するので、その各分割領域内におけるその移
動量を例えば画面全体に渡って積分するというような簡
単な演算によって画像の移動を検出することができる。

【００１１】請求項４の命令指示装置は、請求項１、２
又は３記載の命令指示装置において、画像解析手段が、
方向が反対になる対を成す動作が連続して行われたとき
そのことを検出し、その動作のうち後の動作が先の動作
よりも動作速度が遅いときこの遅い後の動作を無視する
ようにしてなることを特徴とする。

【００１２】請求項４の命令指示装置によれば、例えば
手あるいは顔等を例えば右或いは上というように動かす
とその反動として自然に元に戻そうとして左或いは下と
いうように逆に動かすという正逆連続した動きをしたと
き、後の動作の速度が先の動作よりも遅い場合には、斯
かる後の動作を無視するので、意思に反した後の動きが
命令として受け止められることを阻むことができる。
尚、後の動きが意思に合致している場合もあるが、その
場合は後の動きが命令に係ることを示すために先の動き
よりも激しく動かすのが普通であり、その場合には後の
方の動作は無視されないので、或いは後の動作を命令に
係るものとしたいときは速く動作をするということを使
用者に認識させておくことにより何等不都合が生じな
い。

【００１３】請求項５の命令指示装置は、請求項１、
２、３又は４記載の命令指示装置において、命令解析手
段が、解析した動作を時系列に沿ってに蓄積し、動作の
組合せに予め対応させた命令を以てその組み合わされた
複数の動作による命令と解析するようにされたことを特
徴とする。

【００１４】請求項５の命令指示装置によれば、解析し
た動作を時系列に沿ってに蓄積し、動作の組合せに予め
対応せしめられた命令を以てその組み合わされた複数の
動作による命令と解析するようにされたので、複数の動
作の組合せにより一つないし一連の命令を発することが
可能になり、多数の命令を動作の組合せにより発するこ
とが可能となる。

【００１５】請求項６の命令指示装置は、請求項５記載
の命令指示装置において、複数の動作の組合せによる命
令あるいは複数箇所での動作による命令を行う場合にお
けるところのその動作を行う直前又は直後に組合せによ
る命令あるいは複数箇所での動作による命令を発するこ
とを示す特定動作を記憶保持しておき、この特定動作が
為されたときはその直後のあるいは直前の動作が複数の
動作の組合せによる命令あるいは複数箇所での動作によ
る命令に係る動作であると認識して動作解析、命令解析
を行うようにされたことを特徴とする。

【００１６】請求項６の命令指示装置よれば、特定動作
を行うことにより命令指示装置に、複数の動作の組合せ
による命令あるいは複数箇所での動作による命令を行う
ことを認識させることができるので、そのような場合に
は当該命令の解析用の処理をすることが可能になり、延
いては認識率を高めることができる。

【００１７】請求項７の命令指示方法は、命令を発する
ものの動画像を取り込み、この取り込んだ動画像の動き
を解析し、この解析された動きに予め対応させた命令を
以て動きによる命令と認識することを特徴とする。

【００１８】請求項８の命令指示方法は、命令を発する
ものの動画像を取り込み、この取り込んだ動画像の動き
を解析し、この解析された動きに予め対応させた命令を
以て動きによる命令と認識し、その認識された命令に予
め対応付けられた指示をすることを特徴とする。

【００１９】請求項７又は８記載の命令指示方法によれ
ば、動画像を取り込み、その取り込んだ動画像から画像
の動きを解析し、その解析した動きから命令を解析する
ので、人が日常的な動作をすることにより命令を与える
ことができ、入力に習熟を要せず、万人が簡単に入力す
ることができ、人の日常的動作により一連の入力を比較
的短時間に為すことができる。

【００２０】請求項９の命令指示方法は、請求項７又は
８記載の命令指示方法において、或る画像とそれより後
の画像とによる差分二値化画像を複数求め、それぞれ均
等な分割領域に分割し、各分割領域内における画像の重
心位置の移動量を検出することにより画像の動きを解析
する。

【００２１】請求項９の命令指示方法によれば、動画像
から求めた複数の差分二値化画像をそれぞれ均等な分割
領域に分け、各分割領域内における画像の重心位置の移
動量を検出するので、その各分割領域内におけるその移
動量を例えば画面全体に渡って積分するというような簡
単な演算によって画像の移動を検出することができる。

【００２２】請求項１０の命令指示方法は、請求項７、
８又は９記載の命令指示方法において、方向が反対にな
る対を成す動作が連続して行われたときそのことを検出
し、その動作のうち後の動作が先の動作よりも動作速度
が遅いときこの遅い後の動作を無視するすることを特徴
とする。

【００２３】請求項１０の命令指示方法によれば、正逆
連続した動きをしたとき、後の動作の速度が先の動作よ
りも遅い場合には、斯かる後の動作を無視するので、意
思に反した後の動きが命令として受け止められることを
阻むことができる。尚、後の動きが意思に合致している
場合もあるが、その場合は後の動きが命令に係ることを
示すために先の動きよりも激しく動かすのが普通であ
り、その場合には後の方の動作は無視されないので、或
いは後の動作を命令に係るものとしたいときは速く動作
をするということを使用者に認識させておくことにより
何等不都合が生じない。

【００２４】請求項１１の命令指示方法は、請求項７、
８、９又は１０記載の命令指示方法において、複数組の
動作の組合せとこの各組合せに対応した命令とからなる
対応表を備えておき、解析した動作を時系列に沿って蓄
積し、この時系列的に蓄積された動作の組合せを上記対
応表に照らしてそれに対応する命令を検出しそれを以て
その複数の組み合わされた動作による命令を解析するこ
とを特徴とする。

【００２５】請求項１１の命令指示方法によれば、解析
した動作を時系列に沿ってに蓄積し、動作の組合せに予
め対応させた命令を以てその組み合わされた複数の動作
による命令と解析するようにされたので、複数の動作の
組合せにより一つないし一連の命令を発することが可能
になり、多数の命令を動作の組合せにより発することが
可能となる。

【００２６】請求項１２の命令指示方法は、請求項７、
８、９、１０又は１１記載の命令指示方法において、複
数の動作の組合せによる命令あるいは複数箇所での動作
による命令を行う場合におけるところのその動作を行う
直前又は直後に組合せによる命令あるいは複数箇所での
動作による命令を発することを示す特定動作を予め設定
し、記憶保持しておき、上記特定動作が為されたときは
その直後のあるいは直前の動作が複数の動作の組合せに
よる命令あるいは複数箇所での動作による命令に係る動
作であると認識して動作解析、命令解析を行うことを特
徴とする。

【００２７】請求項１２の命令指示方法によれば、特定
動作によって、複数の動作の組合せによる命令あるいは
複数箇所での動作による命令を行うべきであることを認
識できるので、そのような場合には当該命令の解析用の
処理をすることが可能になり、延いては認識率を高める
ことができる。

【００２８】請求項１３の自動取引装置は、顧客の動画
像を取り込む動画像取り込み手段と、この動画像取り込
み手段が取り込んだ動画像から画像の動きを解析する画
像解析手段と、上記画像解析手段により解析された画像
の動きからその動きに対応する命令を解析する命令解析
手段と、この命令解析手段により解析された命令に応じ
て表示、その他の出力の指示をする指示手段と、を有す
ることを特徴とする。

【００２９】請求項１４の自動取引方法は、顧客の動画
像を取り込み、この取り込んだ動画像の動きを解析し、
上記解析された動きに予め対応せしめられた命令を以て
動きによる命令と認識することを特徴とする。

【００３０】請求項１３、１４の自動取引装置、自動取
引方法によれば、顧客の動きを動画像として取り込み、
その取り込んだ動画像から画像の動きを解析し、その解
析した動きから命令を解析するので、人が日常的な動作
をすることにより取引に必要な命令を与えることがで
き、取引にあたり、入力に習熟を要せず、万人が簡単に
入力することができ、人の日常的動作により一連の入力
による取引を比較的短時間に為すことができる。

【００３１】

【発明の実施の形態】以下、本発明を図示実施の形態を
図面を参照して詳細に説明する。

【００３２】図１乃至図１２は本発明の第１の実施の態
様の命令指示装置を成す自動取引装置を説明するための
もので、図１は外観図、図２はブロック図、図３は全体
的な処理の流れを示すフローチャート、図４はタッチパ
ネルの画面表示例を示す図、図５は画像解析部が行う画
像処理の全体的流れを示すフローチャート、図６は移動
方向解析の全体的処理のフローチャート、図７は画面の
横方向及び縦方向の分割の説明図、図８は水平方向（横
方向）移動量算出処理の流れを示すフローチャート、図
９は垂直方向（縦方向）移動量算出処理の流れを示すフ
ローチャート、図１０は奥行き方向移動量算出処理の流
れを示すフローチャート、図１１は人の動作とそれに対
応する命令の対照表の例を示す図、図１２は正逆の対を
為す動作が連続的に行われたとき元に戻す逆の動作を無
視する処理の流れを示すフローチャートである。

【００３３】先ず、図１、図２に従って本自動取引装置
の構成について説明する。１は動画像を取り込むビデオ
カメラ（動画像取り込み部）で、これにより白黒のある
いはカラーの動画像を取り込む。具体的には、自動取引
装置の操作をする顧客の動作を取り込む。２は画像解析
部で、上記カメラ１が取り込んだ画像を解析し、人（例
えば顧客）の動作を判定する。３はこの画像解析部２に
よる判定の結果をそれに応じた判定に変換する命令解析
部である。この解析により顧客がその日常的な動作によ
り発した命令を認識することができる。

【００３４】４は情報端末装置において従来から用いら
れている表示装置（ディスプレイ）で、本自動取引装置
が顧客に対して自動取引に際して必要な情報を表示す
る。現在では入力部を兼ねたタッチパネルが主流であ
り、本実施の形態でもタッチパネルが使用されている。
５は顧客が情報を入力するための入力部であり、利用者
カード等の使用者を特定する媒体を挿入する機構（後述
するカード挿入／受取口２）も含む。尚、本実施の形態
においてはタッチパネル４が表示装置として用いられて
いるので、図１においてはそのタッチパネル４がそのま
ま入力部５としての機能を果たすが、図２の回路ブロッ
ク図では別の存在である。また、本自動取引装置におい
ては、カメラ１により顧客の動作を検出して命令を判定
するのが、命令検出の基本であるが、補助的入力手段と
してタッチパネルによる入力手段が備え付けられている
のである。しかし、斯かる補助的な入力手段は必ずしも
必要ではない。

【００３５】６は必要な情報や物体（例えば紙幣、貨
幣、カード、取引明細書等）を顧客に渡すための出力部
を成すハードウェアで、銀行用の自動取引装置の場合に
は、紙幣や硬貨を扱う機構がそれに該当する。尚、命令
指示装置が例えば発券端末装置の場合には、チケットの
予約や印刷をする機構がそれに該当する。７は自動取引
装置の上記各装置の制御などを行う制御装置であり、例
えばパーソナルコンピュータからなる。８は該パーソナ
ルコンピュータ７のメモリ、１０は同じく該パーソナル
コンピュータ７のハードディスクである。

【００３６】９は自動取引装置の表示部４に表示させる
画像の一時記憶等に使用する画像メモリである。

【００３７】図３に従って本自動取引装置（命令指示装
置）の全体的な処理について説明する。先ず大雑把に説
明すると、始めに初期画面を表示しておき、コマンドが
あればそれに応じた表示をし、次のコマンドを促し、次
のコマンドがあればそれに応じた表示画面を表示をし、
一連の表示画面の表示が終わるとその処理を終了すると
いうものであり、この点に関しては従来と共通するが、
従来においてはそのコマンドはボタンを押すというよう
な動作で行うようにされていたが、本発明では人間の日
常的な動作をすることによりコマンドを発するようにさ
れているのである。

【００３８】図３に示す全体的処理を具体的に説明する
と、表示しようとする画面の番号ｉを記憶するレジスタ
の値を０にセットし（ステップＳ１）、一連の取引手続
の過程で表示すべき画面数Ｎをセットし（ステップＳ
２）、上記ｉ番目の画面を表示する（ステップＳ３）。
フローが開始したばかりのときはｉ＝０なので、０番目
の画面、即ち初期画面が表示されることになる。

【００３９】そして、自動取引装置を操作する人の動作
があったか否かの判定が為される（ステップＳ４）。そ
の判定結果がＹｅｓであれば、画像解析処理が為され
（ステップＳ５）、Ｎｏであれば、コマンドが入力され
たか否かの判定が為される（ステップＳ６）。このステ
ップＳ６におけるコマンドはカメラ１を通じて撮像され
た画像の動作分析をして得られるコマンドではなく、例
えばタッチパネルを押す等補助的入力手段によるコマン
ドを指す。

【００４０】画像解析処理（ステップＳ５）が終わった
ときあるいはコマンドが入力されたか？の判定（ステッ
プＳ６）の結果がＹｅｓであった場合、当該命令を実行
する。その後、現在の表示画面の番号ｉが一連の取引手
続の過程で表示すべき画面数Ｎ以上か否かという判定を
し（ｉ≧Ｎ？ ステップＳ８）、その判定結果がＹｅｓ
であれば、そのフローは終了し、Ｎｏであれば、表示し
ようとする画面の番号ｉを記憶するレジスタの値を＋１
し（ｉ＝ｉ＋１ ステップＳ９）、ステップＳ３に戻
る。このような動作は当初０であったｉがＮに達するま
で繰り返されることになる。

【００４１】尚、人の動作による命令の仕方の別の例で
あるが、例えば図４に示すようにボタンが配置された画
面の表示がされている場合、タッチパネルに触れる代わ
りに、使用者が上下左右に指を向けたり、希望するボタ
ンの方向に手、腕を動かすことによって命令を発するよ
うにすることもでき得る。

【００４２】また、「はい」、「いいえ」で応えるとい
う形での命令は頭を上下あるいは左右に振るようにする
ことによって行うようにすることができる。そのような
場合、動かす部分は手、指、顔、体全体等、画像解析部
（例えばカメラ等）１が検出できる程度の動きができる
部位が良いといえる。

【００４３】尚、カメラで取り込む画像の全領域に渡っ
て処理を施すと、処理時間が長くなりすぎるとか、背景
内の余分な動きをも検出してしまう場合がある。そこ
で、動きを検出する領域を予め限定しておき、使用者
（顧客）にその限定された領域内で動作をしてもらうよ
うにすることにより、効率の良い、迅速な処理、取引が
実現するようにすることもできる。

【００４４】このように、人の日常的な動作により命令
を発することができるので、操作に不慣れな人でも違和
感なく、命令指示装置例えば自動取引装置を使用するこ
とができるのである。

【００４５】次に、画像解析部２が行う処理について説
明する。先ず、図５に従って画像解析処理の全体的なフ
ローを説明する。説明の前提として、例えば画像Ａ、
Ｂ、Ｃを或る連続した３フレームの入力画像とし、画像
ＡとＢとの差分二値化後の画像をＤ、画像ＢとＣとの差
分二値化後の画像をＥとする。

【００４６】先ず、取り込み画像の番号ｉを記憶するレ
ジスタの値を０にセットし（ステップＳ１０）、画像を
取り込む（ステップＳ１１）。この画像の番号はｉ（最
初は０）であり、その重心位置をＰ（ｉ）とする。その
重心座標Ｐ（ｉ）を画像メモリ９に記憶する（ステップ
Ｓ１２）。その後、画像の番号ｉを記憶するレジスタの
値を＋１する（ｉ＝ｉ＋１ ステップＳ１３）。そし
て、画像を取り込む（ステップＳ１４）。そして、その
重心座標Ｐ（ｉ）を画像メモリ９に記憶する（ステップ
Ｓ１５）。そして、Ａ＝Ｐ（ｉ）−Ｐ（ｉ−１）の演
算、換言すれば、ステップＳ１４で取り込んだときの画
像の重心と、ステップＳ１１で取り込んだときの画像の
重心との位置ずれを検出する（ステップＳ１６）。そし
て、その値がＡとして例えばレジスタに記憶される。

【００４７】次に、画像番号を記憶するレジスタの値ｉ
を＋１し（ｉ＝ｉ＋１ ステップＳ１７）、また新たに
画像を取り込む（ステップＳ１８）。そして、その取り
込んだ画像の重心座標Ｐ（ｉ）を画像メモリ９に記憶す
る（ステップＳ１９）。そして、Ｂ＝Ｐ（ｉ）−Ｐ（ｉ
−１）の演算をする（ステップＳ２０）。要するに今取
り込んだ画像とその一つ前に取り込んだ画像との重心画
像の位置ずれを検出し、それをＢとする。

【００４８】次にＢの値から移動方向解析処理をする
（ステップＳ２１）。そして、解析結果から移動があっ
たか否かの判定をし（ステップ２２）、その判定結果が
Ｙｅｓであれば、命令解析処理が為される（ステップＳ
２３）。そして、その命令解析処理が終了したとき又は
ステップＳ２２の判定結果がＮｏであったとき処理を続
行すべきか否かの判定を行い（ステップＳ２４）、その
判定結果がＮｏであればその一連の処理が終了すること
になる。また、その判定結果がＹｅｓであれば、上記値
Ａを記憶するレジスタの値をＢに書き換え（ステップＳ
２５）、ステップＳ１７に戻る。以後、ステップＳ１７
以降の動作が処理を続行？の判定（ステップＳ２４）の
結果がＮｏとなるまで繰り返される。

【００４９】次に、図５のフローの移動方向解析処理
（ステップＳ２１）の全体的処理を図６に従って説明す
る。

【００５０】先ず、横方向移動量算出処理を行い（ステ
ップＳ２６）、横方向移動量ＤＸを求め、記憶する（ス
テップＳ２７）。次に、縦方向移動量算出処理を行い
（ステップＳ２８）、縦方向移動量ＤＹを求め、記憶す
る（ステップＳ２９）。次に、奥行き方向移動量算出処
理を行い（ステップＳ３０）、奥行き縦方向移動量ＤＺ
を求め、記憶する（ステップＳ３１）。

【００５１】次に、移動量の算出に関して説明すると、
基本的な原理は次のとおりである。例えば画像Ａ、Ｂ、
Ｃを或る連続した３フレームの入力画像とし、画像Ａと
Ｂとの差分二値化後の画像をＤ、画像ＢとＣとの差分二
値化後の画像をＥとする。そして、図７に示すように、
Ｄ、Ｅにおいて縦方向に或る一定の幅を持った帯状領域
（垂直方向の帯状領域）に切り出し、それぞれの帯状領
域内の重心位置の動きを算出することにより画像全体の
上下方向における移動量を算出することができる。同様
に、Ｄ、Ｅにおいて横方向（水平方向）の等幅の帯に分
割し、各帯状領域内における動き量を求めると、画像全
体の左右方向における移動量を算出することができる。

【００５２】具体的には、Ｐｘを帯状領域内における画
像の重心位置のｘ座標とすると、重心位置の水平方向移
動量ＤｘはＤｘ（ｎ）＝Ｐｘ（ｉ）−Ｐｘ（ｉ−１）で
表され、全画像中の水平方向移動量の合計Ｄｘallは下
記の式数１で表される。

【００５３】

【数１】

【００５４】但し、ｉ：帯状領域の番号、ｎ：注目して
いる帯状領域番号、Ｎ：帯状領域の数（画面の分割数）
である。

【００５５】横方向移動量算出と同様に、差分二値化画
像をいくつかの等幅で垂直な帯状領域に分割し、上記方
向における動きを検出する。即ち、Ｐｙを帯状領域内に
おける画像の重心位置のｙ座標とすると、重心位置の縦
方向移動量ＤｙはＤｙ（ｎ）＝Ｐｙ（ｉ）−Ｐｙ（ｉ−
１）で表され、全画像中の水平方向移動量の合計Ｄｙal
lは下記の式数２で表される。

【００５６】

【数２】

【００５７】ここで、水平方向と垂直方向の移動量を比
較し、画像全体として物体が上下左右のどの方向に移動
したかを判定する。水平方向と垂直方向の両方に移動が
あるという判定結果が生じた場合には、斜めに物体が移
動したことになる。

【００５８】本実施の形態は斯かる原理を利用して水平
方向と縦方向の移動を検出するわけであるが、図８のフ
ローは水平方向（横方向）移動量算出処理を示すもので
あり、この図に従って水平方向移動量算出処理を詳細に
説明する。

【００５９】先ず、連続したフレームの画像Ａ、Ｂ、Ｃ
からＤ、Ｅという二値化した差分画像を得て、一つの差
分二値化画像１をＡとして記憶し（Ａ＝差分画像１ ス
テップＳ３２）、もう一つの差分二値化画像二をＢとし
て記憶する（Ｂ＝差分画像２ステップＳ３３）。次に、
画面を縦に分割する横長の帯状領域（水平方向の帯状領
域）の高さｈを設定する（ステップＳ３４）。現在の帯
状領域の番号ｉ（縦方向に移動する毎に増える番号）を
記憶するレジスタの値を０に設定する（ｉ＝０ ステッ
プＳ３５）。そして、ＤＸを記憶するレジスタの値を０
に設定する（ステップＳ３７）。

【００６０】次に、座標ｘ１を０に、ｘ２を画像の幅
に、座標ｙ１をｉ＊ｈに、ｙ２を（ｉ＋１）＊ｈに設定
して記憶する（ステップＳ３７）。そして、Ａ画像（ス
テップＳ３２で求めた差分画像）の（ｘ１，ｙ１）と
（ｘ２，ｙ２）で囲まれた帯状領域内における画像の重
心位置のＸ座標Ｐａｘを求める（ステップＳ３８）。次
に、Ｂ画像（ステップＳ３３で求めた差分画像２）の
（ｘ１，ｙ１）と（ｘ２，ｙ２）で囲まれた帯状領域内
における画像の重心位置のＸ座標Ｐｂｘを求める（ステ
ップＳ３９）。次に、Ｄｘ＝Ｄｘ＋Ｐｂｘ−Ｐａｘの演
算をする（ステップＳ４０）。その後、画像終わりか否
かの判定（例えば帯状領域の番号ｉが帯状領域の数Ｎに
達した場合には画像が終わりになる。）をし（ステップ
Ｓ４１）、判定結果がＹｅｓであれば、図９に示す縦方
向移動量算出処理に移る。判定結果がＮｏであれば、上
記帯状領域の番号ｉを記憶するレジスタの値を＋１（ｉ
＝ｉ＋１）する（ステップＳ４２）。その後、ステップ
Ｓ３７に戻り、次の番号の帯状領域についてＳ３７以降
の動作を繰り返す。これにより重心のＸ座標の検出対象
となる横長の帯状領域がその高さｈ分ずつ縦方向に移動
して行く。そして、縦方向に移動し尽くすと図９の縦方
向（垂直方向）移動量算出処理に移ること前述の通りで
ある。

【００６１】次に、図９に従って縦方向移動量算出処理
について説明すると、図８に示したフローにおけるステ
ップＳ３２、Ｓ３３、Ｓ３４、Ｓ３５、Ｓ３６と同様に
してＡ＝差分画像１、Ｂ＝差分画像２、ｗ：帯状領域の
幅（ここでいう幅とは縦方向移動量算出処理の場合にお
けるところの高さではなく、横幅である。）の設定を行
い、現在の帯状領域の番号ｊ（横方向に数える番号）を
記憶するレジスタの値を０に設定し、そして、Ｄｙを記
憶するレジスタの値を０に設定する。これがステップＳ
４３〜Ｓ４７である。

【００６２】次に、座標ｘ１をｊ＊ｗに、ｘ２をｗ（ｊ
＋１）＊ｗに、座標ｙ１を０に、ｙ２を画像の高さに設
定して記憶する（ステップＳ４８）。そして、Ａ画像
（ステップＳ４３で求めた差分画像１）の（ｘ１，ｙ
１）と（ｘ２，ｙ２）で囲まれた帯状領域内における画
像の重心位置のＹ座標Ｐａｙを求める（ステップＳ４
９）。次に、Ｂ画像（ステップＳ４４で求めた差分画像
２）の（ｘ１，ｙ１）と（ｘ２，ｙ２）で囲まれた帯状
領域内における画像の重心位置のＹ座標Ｐｂｙを求める
（ステップＳ５０）。次に、Ｄｙ＝Ｄｙ＋Ｐａｙ−Ｐｂ
ｙの演算をする（ステップＳ５１）。その後、画像終わ
りか否かの判定（例えば帯状領域の番号ｊが帯状領域の
数Ｎに達した場合には画像が終わりになる。）をし（ス
テップＳ５２）、判定結果がＹｅｓであれば、図１０に
示す奥行き方向移動量算出処理に移る。判定結果がＮｏ
であれば、上記帯状領域の番号ｊを記憶するレジスタの
値を＋１（ｉ＝ｉ＋１）する（ステップＳ５３）。その
後、ステップＳ４８に戻り、次の番号の帯状領域につい
てＳ４８以降の動作を繰り返す。これにより重心のＹ座
標の検出対象となる縦長の横方向分割帯状領域が横方向
に移動して行く。そして、横方向に移動し尽くすと図１
０の奥行き方向移動量算出処理に移る。

【００６３】この図８に示す横方向移動量算出処理と、
図９に示す横方向移動量算出処理とにより、画像の重心
位置の検出を画面全体に亘って検出し、ｘ方向及びｙ方
向の画像の動きを積分し終えたことになる。

【００６４】図１０に示す奥行き方向移動量算出処理の
基本原理は、各縦横両方に分割した各縦横分割領域（図
７のハッチングを施したマス目領域）における画像重心
が外方向に向かっているときはカメラ１の被写体（例え
ば顧客の体）がそのカメラに近づいているといえ、逆に
内方向に向かっているときは被写体がカメラ１から遠ざ
かっているといえることから、連続する差分二値化画像
において横方向及び縦方向に或る幅を持った縦横分割領
域（マス目領域）に分割し、それぞれの縦横分割領域毎
にその領域内における重心位置の動きを算出処理を画面
全体に渡って行い、各領域の重心が全体的に外方向に向
かっているか内方向に向かっているかを検出して奥行き
方向の画像の動きを判定するのである。以下にこの奥行
き方向移動量算出処理を図１０に従って詳細に説明す
る。

【００６５】図８に示したフローにおけるステップＳ３
２、Ｓ３３、Ｓ３４、Ｓ３５と略同様にしてＡ＝差分画
像１、Ｂ＝差分画像２、ｗ：帯状領域の幅、ｈ：帯状領
域の高さの設定を行い、現在の帯状縦横分割領域の縦方
向における番号ｉを記憶するレジスタの値を０に設定
し、同じく横方向における番号ｊを記憶するレジスタの
値を０に設定する。これがステップＳ５４〜Ｓ４６であ
る。

【００６６】次に、座標ｘ１をｊ＊ｗに、ｘ２を（j＋
１）＊ｗに、座標ｙ１をｉ＊ｈに、ｙ２を（ｉ＋１）＊
ｈに設定して記憶する（ステップＳ５７）。そして、Ａ
画像（ステップＳ５２で求めた差分画像１）の（ｘ１，
ｙ１）と（ｘ２，ｙ２）で囲まれた帯状領域内における
画像の重心位置の座標Ｐａを求める（ステップＳ５
８）。次に、Ｂ画像（ステップＳ５３で求めた差分画像
２）の（ｘ１，ｙ１）と（ｘ２，ｙ２）で囲まれた帯状
領域内における画像の重心位置の座標Ｐｂを求める（ス
テップＳ５９）。次に、Ｄｘ（ｉ，ｊ）＝Ｐｂｘ−Ｐａ
ｘの演算をする（ステップＳ６０）。次に、Ｄｙ（ｉ，
ｊ）＝Ｐｂｙ−Ｐａｙの演算をする（ステップＳ６
１）。その後、（ｊ＋１）＊ｗ＞画像の幅？の判定を行
う（ステップｓ６２）。これは横方向における検出を対
象の移動を終えたか否かの判定に他ならない。この判定
結果がＮｏであれば、ｊを記憶するレジスタの値を＋１
し（ｊ＝ｊ＋１ ステップＳ６３）、その後、ステップ
Ｓ５７に戻る。

【００６７】次に、画像全体に渡る重心位置の座標の検
出を終えたか否か、具体的には、（ｉ＋１）＊ｈ＞画像
の高さ？の判定を行う（ステップＳ６４）。その判定結
果がＹｅｓであれば奥行き方向移動量検出処理のフロー
が終わる。Ｎｏであれば、ｉを記憶するレジスタの値を
＋１し（ｉ＝ｉ＋１ ステップＳ６５）、ステップＳ５
７に戻る。

【００６８】以上に述べたように、第１の実施の形態に
よれば、画像の左右上下及び奥行き方向における移動を
検出することができるので、その検出結果から命令を判
断することができるようにすることが可能である。具体
的には、動きの方向とそれが意味する命令との対応関係
をルールとして例えば図１１に示すように決めておき、
顧客等ユーザにそのルールに則って命令しようとする内
容に応じた動きをして貰うようにすることにより動作だ
けで命令を発して貰うことができるのである。

【００６９】ところで、以上の処理により体の動きの方
向と動き量を解析することができるが、人間の動作には
正と逆の動作が対になっているものが少なくない。例え
ば手を右に振ると次に元に戻すために左に振ってしま
う。このようなときに、もしこの元に戻す動作を命令を
示す動作として動作解析すると使用者の意図と異なる命
令を本来の命令として受けて処理が為されてしまうおそ
れがある。そこで、この元に戻す動作を排除するように
すると良いが、図１２はそれを可能にする処理のフロー
である。以下に図１２に従ってその正逆の動作のうちの
逆（正の動作に続く元に戻す方向）の動作を排除する処
理を説明する。

【００７０】本処理は、基本的には、前述の図８、図９
に示す横方向及び縦方向の移動方向、移動量の解析を
し、連続して対になる動きが検出されたとき、つまり方
向が反対である動きが連続して検出され、且つ後の動き
の方が動きの速度が遅ければ後の動きの方を無視するこ
ととするものである。尚、この場合、重心の速度を以て
速度とする。

【００７１】先ず、現在のフレーム番号ｉをレジスタに
記憶し（ステップＳ６６）、そのｉ番目のフレームにお
ける水平方向移動量Ｄｘ（ｉ）を求める（ステップＳ６
７）。次に、同じく垂直方向移動量Ｄｙ（ｉ）を求める
（ステップＳ６８）。

【００７２】次に、Ｄｘ（ｉ）＝Ｄｘ（ｉ−１）＊−１
？と、Ｄｙ（ｉ）＝Ｄｙ（ｉ−１）＊−１？の判定を行
う（ステップＳ６９）。即ち、或るフレームと次のフレ
ームとで画像の動く方向が反対になるということがあっ
たか否かを水平方向についてと垂直方向について検出す
るのであり、Ｎｏという判定結果が得られた場合には、
即ち、水平方向にも垂直方向にも連続的な連続的な二つ
の動きの方向が逆になるということがなかった場合に
は、このフローはエンドになり排除は行われない。

【００７３】ステップＳ７０の判定結果がＹｅｓであれ
ば、即ち水平方向と垂直方向のいずれかの方向において
連続的な連続的な二つの動きの方向が逆になるというこ
とがあった場合には、Ｄｘ（ｉ）＜Ｄｘ（ｉ＋１）？と
Ｄｙ（ｉ）＜Ｄｙ（ｉ＋１）？の判定を行う（ステップ
Ｓ７０）。これは、一つのフレームにおける画像の移動
速度がその一つ前のフレームにおけるその画像の移動速
度よりも遅くなっているか否かを検出するものである。
その検出結果がＮｏであれば、このフローはエンドにな
り排除は行われない。その検出結果がＹｅｓであれば、
移動速度が遅くなっている逆方向の動きであるとしてＤ
ｘ（ｉ）及びＤｙ（ｉ）を０ではないにも拘わらず強制
的に０にしてしまう。これによりその動きを実質的に無
視することができる。

【００７４】次に、本発明の第２の実施の形態について
説明する。この実施の形態は第１の実施の形態に短縮命
令が可能なるようにしたものであり、図１３はこの第２
の実施の形態のフローチャートである。この動作の流れ
の説明をするに先立って第２の実施の形態の概要を簡単
に説明する。

【００７５】第１の実施の形態の場合は、例えばタッチ
パネルを押す代わりに動作により命令をするようにした
ものであり、一つの動作で発する命令の数は１である。
しかし、習熟した利用者（顧客）には特定の動作により
複数の命令を迅速に行えるようにしてあげることができ
ると好ましい。ここで、特定の動作とは、具体的には、
例えば物を掴んで回転するというような謂わば単独動作
であるが少し複雑な動作とか、単純な動作の組合せを指
し、このような動作により組み合わせ命令を発すること
ができるようにしようとするのである。このようにする
ことにより、多数のボタンを押すという時間がかかる動
作を行わなくても、例えば「振込通帳の何番目に記載さ
れている顧客に振り込む」というような組合せ命令がで
き、操作時間の短縮を図ることができる。

【００７６】そして、動作の組合せにより命令を発する
ことができるようにする場合には、事前に組み合わせ命
令を意味する動作を命令指示装置（自動取引装置）が記
憶保持しておくことにより、認識率を高めることができ
る。図１３のフローは特定動作があったときは組合せ命
令が発せられたとしてその組合せに係る命令を順次解析
することができるものである。

【００７７】第１３図に従って動作の説明をする。先
ず、画像の取込をし（ステップＳ７２）、移動方向の解
析処理を施し（ステップＳ７３）、画像に移動があった
か否かを判定し（ステップＳ７４）、その判定結果がＹ
ｅｓ（移動があった）であれば、命令解析処理を行う
（ステップＳ７５）。そして、次にその命令が組合せ命
令であることを示す特定動作に係るものである（特定動
作が為された）か否かを判定し（ステップＳ７６）、そ
の判定結果がＹｅｓであれば、フレーム番号ｉを記憶す
るレジスタの値を０にする（ｉ＝０ ステップＳ７
７）。

【００７８】その後、移動方向解析処理を行い（ステッ
プＳ７８）、今回の動作（ｉ）の解析結果を保持し（ス
テップＳ７９）、命令解析処理を行い（ステップＳ８
０）、次に、組合せ命令が終了したか否かを判定し、そ
の判定結果がＹｅｓであれば、組合せに係る命令を解析
処理し（ステップＳ８２）、この解析処理が終わったと
き又はステップＳ７６の判定結果がＮｏであったとき
は、処理が続行？という判定を行い（ステップＳ８
３）、その判定結果がＮｏであればこのフローは終了
し、ＹｅｓであればステップＳ７２に戻る、つまり最初
に戻る。

【００７９】ステップＳ８１の判定の結果がＮｏであれ
ば、画像のフレーム番号ｉを記憶するレジスタの値を＋
１する（ｉ＝ｉ＋１ ステップＳ８４）。その後、その
次のフレームの画像を取り込み（ステップＳ８５）、し
かる後ステップＳ７８に戻り、組合せ命令が終了するま
でステップＳ７８、Ｓ７９、Ｓ８０、Ｓ８４、Ｓ８５の
動作が繰り返される。） 次に、本発明の第３の実施の形態について説明する。こ
の実施の形態は第１又は第２の実施の形態に対して同時
命令が可能なるようにする機能を付加したものである。
図１４はこの第３の実施の形態の要部を示すフローチャ
ートである。この動作の流れの説明をするに先立って第
３の実施の概要を簡単に説明する。

【００８０】第１及び第２の実施の形態の場合は、体の
１箇所の動きに注目してその動きを解析するが、体は複
数箇所動かすことができる。例えば左右の手を同時に動
かしたり、手と顔を同時に動かしたりすることが可能で
ある。従って、複数箇所の動きを同時に検出することに
より複数の命令を同時発することができれば、自動取引
装置の操作に要する時間を短縮することができるが、第
３の実施の形態はそれを可能にするのである。

【００８１】フローの流れを詳細に説明する前に、その
概要を説明すると、画像解析部２は第１の実施の形態と
同様に動画像連続フレームの差分二値化処理を行い、画
像をまとまった領域毎にラベリング等の一般的画像処理
手法を用いて領域分割し、これらの各領域それぞれに対
して第１又は第２の実施の形態で駆使したと同じ手法に
よって動作解析を行う。そして、これによって第２の実
施の形態の場合よりも更に複雑な命令を発することがで
きるようにすることが可能になり、また、複数の命令を
同時に発信することができるため、操作に習熟した利用
者（自動取引装置の場合は顧客）の操作時間を第２の実
施の形態の場合よりも更に短縮を図ることが可能であ
る。

【００８２】図１３に示す第２の実施の形態の場合のス
テップＳ７２、Ｓ７３、Ｓ７４、Ｓ７５と全く同様に、
画像の取込、移動方向の解析処理、画像に移動があった
か否かの判定、その判定結果がＹｅｓ（移動があった）
であれば、命令解析処理を行う。ここまでの動作のステ
ップがＳ８６、Ｓ８７、Ｓ８８、Ｓ８９である。

【００８３】そして、次にその命令が複数領域命令であ
るか否かを判定し（ステップＳ９０）、その判定結果が
Ｙｅｓであれば、領域分割処理を施し、その分割数をＮ
とする（ステップＳ９１）。その後、分割領域番号ｉを
記憶するレジスタの値を０にする（ｉ＝０ ステップＳ
９２）。その後、移動方向解析処理を行い（ステップＳ
９３）、命令解析処理を行う（ステップＳ９４）。その
処理が終わると、ｉ＝Ｎ？の判定を行う（ステップＳ９
５）。この判定結果がＮｏのときは、その分割領域番号
を記憶するレジスタの値を＋１し（ステップＳ９６）、
その後、ステップＳ９４に戻る。そして、ステップＳ９
３、Ｓ９４、Ｓ９５、Ｓ９６の動作がｉ＝Ｎになるまで
繰り返される。

【００８４】ステップＳ９５の判定結果がＹｅｓになっ
たとき、複数領域命令が終了したか否かを判定し（ステ
ップＳ９７）、その判定結果がＹｅｓであれば、あるい
はステップＳ９０の判定結果がＮｏであったときは、処
理が続行？という判定を行う（ステップＳ９８）。ま
た、ステップＳ９７の判定結果がＮｏであれば、ステッ
プＳ９２に戻る。そして、ステップＳ９８の判定結果が
Ｎｏであればこのフローは終了し、Ｙｅｓであればステ
ップＳ８６に戻る、つまり最初に戻る。

【００８５】以上の実施の形態は、本発明を社会情報端
末である自動取引装置に適用したものであったが、本発
明は画像取り込み手段（例えばカメラ）を備えたあらゆ
る端末への適用が可能であり、パーソナルコンピュータ
（所謂パソコン）アプリケーションへの応用も充分に可
能であり、パソコンにカメラを連動させ、カメラで撮影
した画像を動作解析することにより、例えば三次元空間
を自由に歩き回る、コンピュータグラフィックキャラク
タを自在に動かす、バーチャルペットを育成する、等の
各種アプリケーションに対して命令を動作により行うよ
うにすることがことが可能になる。

【００８６】

【発明の効果】本発明の命令指示装置、命令指示方法に
よれば、動画像を取り込み、その取り込んだ動画像から
画像の動きを解析し、その解析した動きから命令を解析
するので、人が日常的な動作をすることにより命令を与
えることができ、入力に習熟を要せず、万人が簡単に入
力することができ、人の日常的動作により一連の入力を
比較的短時間に為すことができる。

【００８７】また、本発明の命令指示装置、命令指示方
法によれば、動画像から求めた複数の差分二値化画像を
それぞれ均等な分割領域に分け、各分割領域内における
画像の重心位置の移動量を検出するので、その各分割領
域内におけるその移動量を例えば画面全体に渡って積分
するというような簡単な演算によって画像の移動を検出
することができる。

【００８８】また、本発明の命令指示装置、命令指示方
法によれば、正逆連続した動きをしたとき、後の動作の
速度が先の動作よりも遅い場合には、斯かる後の動作を
無視するので、意思に反した後の動きが命令として受け
止められることを阻むことができる。尚、後の動きが意
思に合致している場合もあるが、その場合は後の動きが
命令に係ることを示すために先の動きよりも激しく動か
すのが普通であり、その場合には後の方の動作は無視さ
れないので、或いは後の動作を命令に係るものとしたい
ときは速く動作をするということを使用者に認識させて
おくことにより何等不都合が生じない。

【００８９】また、本発明の命令指示装置、命令指示方
法によれば、画像の複数箇所での動きを解析し、その各
箇所における動作に対応する複数の命令を解析してその
命令に対応する複数の指示を為すので、一連の命令を極
めて短時間に為すことができる。

【００９０】また、本発明の命令指示装置、命令指示方
法によれば、複数の動作の組合せによる命令あるいは複
数箇所での動作による命令を行う場合におけるところの
その動作を行う直前又は直後に組合せによる命令あるい
は複数箇所での動作による命令を発することを示す特定
動作を予め設定し、記憶保持しておき、上記特定動作が
為されたときはその直後のあるいは直前の動作が複数の
動作の組合せによる命令あるいは複数箇所での動作によ
る命令に係る動作であると認識して動作解析、命令解析
を行うので、特定動作によって、複数の動作の組合せに
よる命令あるいは複数箇所での動作による命令を行うべ
きであることを認識でき、そのような場合には当該命令
の解析用の処理をすることが可能になり、延いては認識
率を高めることができる。

【００９１】また、本発明の自動取引装置、自動取引方
法によれば、顧客の動きを動画像として取り込み、その
取り込んだ動画像から画像の動きを解析し、その解析し
た動きから命令を解析するので、人が日常的な動作をす
ることにより取引に必要な命令を与えることができ、取
引にあたり、入力に習熟を要せず、万人が簡単に入力す
ることができ、人の日常的動作により一連の入力による
取引を比較的短時間に為すことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の命令指示装置であ
る自動取引装置の外観図である。

【図２】本発明の第１の実施の形態のブロック図であ
る。

【図３】本発明の第１の実施の形態の処理の全体を示す
フローチャートである。

【図４】本発明の第１の実施の形態において使用可能な
ボタンが配置されたタッチパネルによる画面例を示す図
である。

【図５】本発明の第１の実施の形態における画像解析処
理のフローチャートである。

【図６】本発明の第１の実施の形態における移動方向解
析処理のフローチャートである。

【図７】本発明の第１の実施の形態における差分二値化
画像の分割の説明図である。

【図８】本発明の第１の実施の形態における水平方向
（横方向）移動量算出処理のフローチャートである。

【図９】本発明の第１の実施の形態における垂直方向
（縦方向）移動量算出処理のフローチャートである。

【図１０】本発明の第１の実施の形態における奥行き方
向移動量算出処理のフローチャートである。

【図１１】本発明の第１の実施の形態における正逆対を
為す連続した動きのうちの後の動きを無視する処理のフ
ローチャートである。

【図１２】本発明の第１の実施の形態における動作とそ
れに対応する命令の対応表の一例を示す図である。

【図１３】本発明の第２の実施の形態の全体処理を示す
フローチャートである。

【図１４】本発明の第３の実施の形態の全体処理を示す
フローチャートである。

【符号の説明】

１ 動画像取込手段（カメラ） ２ 画像解析手段 ３ 命令解析手段 ４ 表示手段 ６ 出力手段 ７ 制御部（パーソナルコンピュータ）

Claims (14)

【特許請求の範囲】
1. 【請求項１】 命令を発するものの動画像を取り込む動
   画像取込手段と、 上記動画像取込手段により取り込んだ動画像の動きを解
   析する画像解析手段と、 上記画像解析手段により解析された動画像の動きから予
   めその動きに対応させた命令を解析する命令解析手段
   と、 を少なくとも有することを特徴とする命令指示装置。
2. 【請求項２】 命令を発するものの動画像を取り込む動
   画像取込手段と、 上記動画像取込手段により取り込んだ動画像の動きを解
   析する画像解析手段と、 上記画像解析手段により解析された動画像の動きから予
   めその動きに対応させた命令を解析する命令解析手段
   と、 上記命令解析手段により解析された命令に応じて表示、
   各種出力等の指示をする手段と、 を少なくとも有することを特徴とする命令指示装置。
3. 【請求項３】 画像解析手段が、或る画像とそれより後
   の画像とによる差分二値化画像を複数求め、それぞれ均
   等な分割領域に分割し、各分割領域内における画像の重
   心位置の移動量を検出することにより画像の動きを解析
   するようにしてなることを特徴とする請求項１又は２記
   載の命令指示装置。
4. 【請求項４】 画像解析手段が、方向が反対になる対を
   成す動作が連続して行われたときそのことを検出し、そ
   の動作のうち後の動作が先の動作よりも動作速度が遅い
   ときこの遅い後の動作を無視するようにしてなることを
   特徴とする請求項１、２又は３記載の命令指示装置。
5. 【請求項５】 命令解析手段が、解析した動作を時系列
   に沿って蓄積し、動作の組合せに予め対応させた命令を
   以てその組み合わされた複数の動作による命令と解析す
   るようにされたことを特徴とする請求項１、２、３又は
   ４記載の命令指示装置。
6. 【請求項６】 複数の動作の組合せによる命令あるいは
   複数箇所での動作による命令を行う場合におけるところ
   のその動作を行う直前又は直後に組合せによる命令ある
   いは複数箇所での動作による命令を発することを示す特
   定動作を記憶保持しておき、 上記特定動作が為されたときはその直後のあるいは直前
   の動作が複数の動作の組合せによる命令あるいは複数箇
   所での動作による命令に係る動作であると認識して動作
   解析、命令解析を行うようにされたことを特徴とする請
   求項５記載の命令指示装置。
7. 【請求項７】 命令を発するものの動画像を取り込み、 上記取り込んだ動画像の動きを解析し、 上記解析された動きに予め対応せしめられた命令を以て
   動きによる命令と認識することを特徴とする命令指示方
   法。
8. 【請求項８】 命令を発するものの動画像を取り込み、 上記取り込んだ動画像の動きを解析し、 上記解析された動きに予め対応させた命令を以て動きに
   よる命令と認識し、 その認識された命令に予め対応付けられた指示をするこ
   とを特徴とする命令指示方法。
9. 【請求項９】 或る画像とそれより後の画像とによる差
   分二値化画像を複数求め、それぞれ均等な分割領域に分
   割し、各分割領域内における画像の重心位置の移動量を
   検出することにより画像の動きを解析する請求項７又は
   ８記載の命令指示方法。
10. 【請求項１０】 方向が反対になる対を成す動作が連続
    して行われたときそのことを検出し、その動作のうち後
    の動作が先の動作よりも動作速度が遅いときこの遅い後
    の動作を無視することを特徴とする請求項７、８又は９
    記載の命令指示方法。
11. 【請求項１１】 複数組の動作の組合せとこの各組合せ
    に対応した命令とからなる対応表を備えておき、 解析した動作を時系列に沿って蓄積し、 上記時系列的に蓄積された動作の組合せを上記対応表に
    照らしてそれに対応する命令を検出しそれを以てその複
    数の組み合わされた動作による命令を解析することを特
    徴とする請求項７、８、９又は１０記載の命令指示方
    法。
12. 【請求項１２】 複数の動作の組合せによる命令あるい
    は複数箇所での動作による命令を行う場合におけるとこ
    ろのその動作を行う直前又は直後に組合せによる命令あ
    るいは複数箇所での動作による命令を発することを示す
    特定動作を予め設定し、記憶保持しておき、 上記特定動作が為されたときはその直後のあるいは直前
    の動作が複数の動作の組合せによる命令あるいは複数箇
    所での動作による命令に係る動作であると認識して動作
    解析、命令解析を行うことを特徴とする請求項７、８、
    ９、１０又は１１記載の命令指示方法。
13. 【請求項１３】 顧客の動画像を取り込む動画像取り込
    み手段と、 上記動画像取り込み手段が取り込んだ動画像から画像の
    動きを解析する画像解析手段と、 上記画像解析手段により解析された画像の動きからその
    動きに対応する命令を解析する命令解析手段と、 上記命令解析手段により解析された命令に応じて表示、
    その他の出力の指示をする指示手段と、 を有することを特徴とする自動取引装置。
14. 【請求項１４】 顧客の動画像を取り込み、 上記取り込んだ動画像の動きを解析し、 上記解析された動きに予め対応せしめられた命令を以て
    動きによる命令と認識することを特徴とする自動取引方
    法。