JPH0784714A - コマンド処理装置 - Google Patents

Abstract

(57)【要約】 【目的】手の形を変えるだけで簡単にスクロールを行う
ことのできるコマンド処理装置を提供することを目的と
する。 【構成】メインメモリ９内の情報を表示メモリ１０を介
して表示部１１に表示出力する。一方、表示部１１に置
かれた手の形をカメラ４で撮影し、画像認識部６で所定
時間毎に手のパターン画像として認識して画像メモリ７
に格納する。画像処理部８は、画像メモリ７に格納した
手のパターン画像がスクロールコマンド用の初期パター
ン画像であると認識すると、その後画像メモリ７に書き
込まれる手のパターン画像を比較して、人差し指が左右
方向と上下方向のどの方向にどれだけ動いたかを認識
し、表示部１１の表示情報を人差し指が動いた方向に動
いた量だけスクロールさせる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コマンド処理装置に係
り、詳細には、手の動きを検出して表示画面のスクロー
ルを行うコマンド処理装置に関する。

【０００２】

【従来の技術】従来、コマンド処理装置としては、例え
ば、パーソナルコンピュータ（Personal Computer；以
下、パソコンと略す）やワードプロセッサ（Word P-roc
essor；以下、ワープロと略す）等では、通常、キーボ
ードが使用されており、キーボードから入力されるキー
コマンドに対応する処理、例えば、表示情報のスクロー
ル処理がパソコンやワープロ等で実行されて、その処理
結果がディスプレイ装置に表示出力される。

【０００３】すなわち、表示対象の情報が表示画面に全
て表示できないときには、表示内容をスクロールさせる
必要があり、従来、キーボードのスクロールキーを操作
することにより、スクロールを行わせている。

【０００４】また、近時、アイコンを表示装置に表示
し、アイコンをマウス等のポインティング装置により操
作することにより、スクロールを行うパソコンやワープ
ロ等が出現している。

【０００５】

【発明が解決しようとする課題】しかしながら、このよ
うな従来のコマンド処理装置にあっては、キーボード等
のスクロールキーを操作してスクロールさせたり、表示
装置に表示されるアイコンによりスクロール指示を行う
ようになっていたため、スクロールを行う度に、キー操
作を行ったり、アイコンをポインティング装置により操
作する必要があり、スクロール操作が面倒であるという
問題があった。

【０００６】そこで、本発明は、手の形を変えるだけ
で、簡単にスクロールを行うコマンド処理装置を提供す
ることを目的としている。

【０００７】

【課題を解決するための手段】本発明のコマンド処理装
置は、所定の情報を所定量だけ表示出力する表示手段
と、人の手の形を認識するとともに、当該認識した手の
形の一連の動きを認識する認識手段と、前記認識手段の
認識した一連の手の動きに基づいて前記情報を上下方向
あるいは左右方向にスクロールして前記表示手段に表示
出力させる制御手段と、を備えることにより、上記目的
を達成している。

【０００８】この場合、前記認識手段は、例えば、請求
項２に記載するように、カメラにより撮影した映像とし
て手の形を認識するとともに、該手の映像の変化により
一連の手の動きを認識するものであってもよい。

【０００９】また、例えば、請求項３に記載するよう
に、前記コマンド処理装置は、スクロールコマンド用の
所定の手の形を記憶するフォーム記憶手段を、さらに備
え、前記制御手段は、前記認識手段の認識した手の形を
該フォーム記憶手段の記憶するスクロールコマンド用の
手の形と比較して、スクロールコマンドであると認識し
たときのみ、前記認識手段の認識した手の形の一連の動
きに基づいて前記情報のスクロールを行うものであって
もよい。

【００１０】さらに、例えば、請求項４に記載するよう
に、前記認識手段は、前記一連の手の動きとして、人差
し指の先端部の略上下あるいは略左右の移動方向とその
移動量を認識し、前記制御手段は、前記認識手段の検出
した前記人差し指の移動方向に対応した方向に移動量に
対応した量だけ前記情報のスクロールを行うものであっ
てもよい。

【００１１】

【作用】本発明のコマンド処理装置によれば、認識手段
により、人の手の形を認識するとともに、当該認識した
手の形の一連の動きを認識し、該認識手段の認識した一
連の手の動きに基づいて、制御手段が、表示手段に表示
出力する情報を上下方向あるいは左右方向にスクロール
しているので、手の形を変えたり、手を動かすだけで、
簡単にスクロールさせることができる。

【００１２】この場合、認識手段を、カメラにより撮影
した映像として手の形を認識するとともに、該手の映像
の変化により一連の手の動きを認識するものとすると、
簡単に手の形や一連の手の動きを認識することができ、
コマンド処理装置を簡単な構成とすることができる。

【００１３】また、スクロールコマンド用の所定の手の
形をフォーム記憶手段に記憶し、認識手段の認識した手
の形を該フォーム記憶手段の記憶するスクロールコマン
ド用の手の形と比較して、スクロールコマンドであると
認識したときのみ、手の形の一連の動きに基づいて情報
のスクロールを行うようにすると、スクロールコマンド
を誤りなく実行することができ、コマンド処理の正確性
を向上させることができる。

【００１４】さらに、前記一連の手の動きとして、人差
し指の先端部の略上下あるいは略左右の移動方向とその
移動量を認識し、該人差し指の移動方向に対応した方向
に移動量に対応した量だけ情報のスクロールを行うよう
にすると、人差し指の動きだけでコマンド処理を行わせ
ることができ、スクロールをより一層簡単に入力するこ
とができる。

【００１５】

【実施例】以下、図面を参照して実施例を説明する。

【００１６】図１〜図５は、本発明のコマンド処理装置
の一実施例を示す図である。

【００１７】まず、構成を説明する。

【００１８】図１は、コマンド処理装置１の外観図であ
り、コマンド処理装置１は、背面投射型表示方式の表示
部とカメラによる撮影部とを備えている。

【００１９】すなわち、コマンド処理装置１は、箱型ケ
ース２内にプロジェクター３とカメラ４が収納されてお
り、箱型ケース２は、その表面が視認性及び操作性を向
上させるために斜めに傾斜した傾斜面となっている。こ
の箱型ケース２の斜めの傾斜面には、半透明のスクリー
ン５が張られており、スクリーン５に箱型ケース２内の
プロジェクター３から文字や映像等の情報及び種々のコ
マンド用のアイコン映像が背面から投影されて、スクリ
ーン５上に表示される。

【００２０】本コマンド処理装置１では、このスクリー
ン５上に置かれた手の形や一連の手の動きを認識して、
コマンド処理を行う。

【００２１】プロジェクター３は、例えば、レンズ、液
晶パネル及び光源等が順次並べられており、液晶パネル
の背面から光源の光を投射して液晶パネルの表示内容を
レンズを介してスクリーン５上に投射する。

【００２２】カメラ４は、例えば、ＣＣＤ（Charge Cou
pled Device ）カメラ等により構成され、スクリーン５
上の手の形や一連の手の動きを撮影する。

【００２３】図２は、コマンド処理装置１のブロック構
成図である。

【００２４】この図において、コマンド処理装置１は、
カメラ４、画像認識部６、画像メモリ７、画像処理部
８、メインメモリ９、表示メモリ１０及び表示部１１等
を備えており、表示部１１は、前記図１のプロジェクタ
ー３及びスクリーン５を総称したものである。

【００２５】カメラ４は、図１に示したものであり、撮
影した手の形や手の動きの映像を逐次画像認識部６に出
力する。

【００２６】画像認識部６は、カメラ４から入力される
映像を所定タイミング毎にサンプリングして、手の形や
一連の手の動きをパターン認識し、認識した手の形のパ
ターン画像を画像メモリ７に出力する。

【００２７】画像メモリ７は、画像認識部６から入力さ
れる手の形のパターン画像を複数画像分記憶し、画像メ
モリ７に記憶されたパターン画像は、画像処理部８によ
り読み出される。また、画像メモリ７には、所定のコマ
ンド、特に、スクロールコマンドに対応した手の初期パ
ターン画像を記憶している。なお、この初期パターン画
像は、画像メモリ７に記憶するものに限るものではな
く、例えば、メインメモリ９に記憶しておいてもよい。

【００２８】メインメモリ９は、画像処理部８が実行す
る各種処理プログラムを格納するとともに、システムデ
ータや表示部１１に表示する各種データ等を記憶する。
特に、メインメモリ９には、文字データや画像データ等
の種々の大量の情報を記憶しており、後述するように、
この情報のスクリーン５への表示のスクロールを手の動
きによるコマンド入力により画像処理部８が行う。

【００２９】画像処理部８は、メインメモリ９に格納さ
れているプログラムに従ってコマンド処理装置１の各部
を制御して、コマンド処理装置１としての処理、特に、
カメラ４の撮影した手の形とその一連の動きにより表示
部１１に表示する情報のスクロール処理等を行う。

【００３０】表示メモリ１０は、表示部１１の表示領域
に対応するメモリエリアを有し、画像処理部８によりメ
インメモリ７から読み出される情報やアイコン情報が順
次書き込まれると、その情報を表示部１１に順次転送し
て、表示部１１に表示出力させる。

【００３１】なお、図２には示していないが、コマンド
処理装置１は、外部のコンピュータ等との間のデータの
授受を制御するＩ／Ｏを備え、外部のコンピュータから
のデータを表示部１１に表示出力するようにしてもよ
い。

【００３２】次に、本実施例の動作を説明する。

【００３３】コマンド処理装置１は、メインメモリ９に
記憶されている種々の情報やアイコン及び画像メモリ７
に記憶している画像をプロジェクター３からスクリーン
５に投影して表示出力し、コマンド処理装置１の使用者
は、スクリーン５上に表示される情報をスクリーン５上
に表示されるアイコンを使用して編集したり、スクリー
ン５上に手を置いて、手の形を変化させたり、手を動か
すことにより、スクリーン５に表示されている情報のス
クロールを行う。

【００３４】すなわち、コマンド処理装置１の使用者
は、スクリーン５に表示されている情報のスクロールを
行わせるためには、スクリーン５上に手を載せ、手をス
クロールコマンド入力用の初期パターン画像に対応する
形、例えば、図３に示すように、人差し指のみを伸ばし
た形にした後、上下方向にスクロールさせたいときに
は、スクロールさせたい量に応じて、スクリーン５上で
人差し指を上方向あるいは下方向に動かし、また、左右
方向にスクロールさせたいときには、スクロールさせた
い量に応じて、スクリーン５上で人差し指を左方向ある
いは右方向に動かす。

【００３５】この手の形と動きに基づくスクロール処理
は、以下のように行われる。

【００３６】すなわち、コマンド処理装置１は、図４に
示すように、スクリーン５上の画像、特に、手の画像を
カメラ４で読み取り、画像認識部６で、カメラ４から入
力される手の画像を所定時間毎に手のパターン画像とし
て取り込んで、画像メモリに７に出力する。画像処理部
８は、このパターン画像を画像メモリ７のアドレスｉに
書き込み（ステップＳ１）、この書き込んだ手のパター
ン画像を画像メモリ７に予め記憶されている初期パター
ン画像と比較する（ステップＳ２）。

【００３７】ステップＳ２で、読み取った画像がスクロ
ール用の初期パターン画像以外の他の初期パターン画像
と一致するときには、当該初期パターン画像用のコマン
ドに対応する処理に移行して、当該他の処理を行う（ス
テップＳ３）。

【００３８】ステップＳ２で、読み取った手のパターン
画像が画像メモリ７に記憶されているいずれの初期パタ
ーン画像にも一致しないときには、ステップＳ１に戻っ
て、画像の読み取りから再度繰り返して行う。

【００３９】ステップＳ２で、読み取った手のパターン
画像がスクロール用の初期パターン画像と一致すると、
画像処理部８は、メインメモリ９に予め記憶されている
スクロール応答モードに入ったことを知らせるメッセー
ジを表示出力するスクロール応答表示を行う（ステップ
Ｓ４）。

【００４０】スクロール応答表示を行うと、次の画像を
読み取って当該読み取った画像のパターン画像を画像メ
モリ７のアドレスｊに書き込んで記憶する（ステップＳ
５）。

【００４１】次に、画像メモリ７のアドレスｉに記憶し
たパターン画像とアドレスｊに記憶したパターン画像と
を比較して、アドレスｊのパターン画像がアドレスｉの
パターン画像から所定値以上変化したかどうか、詳細に
は、両方のパターン画像の人差し指の位置が所定値以上
変化したかどうかチェックし（ステップＳ６）、所定値
以上変化していないときには、スクロールに充分な距離
だけ人差し指が移動していないと判断して、ステップＳ
５に戻り、次の画像を読み取って、上記同様に、当該読
み取った画像のパターン画像を画像メモリ７のアドレス
ｊに記憶するとともに、そのパターン画像とアドレスｉ
のパターン画像とを比較する（ステップＳ５、Ｓ６）。

【００４２】ステップＳ６で、両方のパターン画像が所
定値以上変化すると、アドレスｉのパターン画像に対す
るアドレスｊのパターン画像の人差し指の相対座標（Ｘ
ｊ、Ｙｊ）を求め（ステップＳ７）、当該求めた相対座
標のＸｊの絶対値（｜Ｘｊ｜）がＹｊの絶対値（｜Ｙｊ
｜）よりもはるかに大きいか（｜Ｘｊ｜＞＞｜Ｙｊ｜）
どうかチェックする（ステップＳ８）。

【００４３】ステップＳ８で、ＹＥＳのときには、人差
し指がスクリーン５の左右方向に移動したと判断して、
Ｘｊの符号をチェックする（ステップＳ９）。

【００４４】すなわち、コマンド処理装置１では、スク
リーン５に対して、図５に示すように、アドレスｉを基
点としてスクリーン５の左右方向をＸとし、上下方向を
Ｙとする（Ｘ、Ｙ）座標を設定し、右方向をＸ方向の正
方向、上方向をＹ方向の正方向として設定して、ステッ
プＳ９において、Ｘｊがこの（Ｘ、Ｙ）座標に対して正
方向であるか負方向であるかをチェックしている。

【００４５】ステップＳ９で、Ｘｊの符号が負のときに
は、人差し指がスクリーン５の左方向に移動したと判断
し、スクリーン５上の表示情報をＸｊの絶対値（｜Ｘｊ
｜）の大きさに対応する分だけスクリーン５の左方向へ
スクロールさせて、ステップＳ１に戻る（ステップＳ１
０）。

【００４６】ステップＳ９で、Ｘｊの符号が正のときに
は、人差し指がスクリーン５の右方向に移動したと判断
し、スクリーン５上の表示情報をＸｊの絶対値（｜Ｘｊ
｜）の大きさに対応する分だけスクリーン５の右方向へ
スクロールさせて、ステップＳ１に戻る（ステップＳ１
１）。

【００４７】また、ステップＳ８で、ＮＯのときには、
相対座標のＸｊの絶対値（｜Ｘｊ｜）がＹｊの絶対値
（｜Ｙｊ｜）よりもはるかに小さいか（｜Ｘｊ｜＜＜｜
Ｙｊ｜）どうかチェックし（ステップＳ１２）、ステッ
プＳ１２でＹＥＳのときには、人差し指がスクリーン５
の上下方向に移動したと判断して、Ｙｊの符号をチェッ
クする（ステップＳ１３）。

【００４８】ステップＳ１３で、Ｙｊの符号が負のとき
には、人差し指がスクリーン５の下方向に移動したと判
断し、スクリーン５上の表示情報をＹｊの絶対値（｜Ｙ
ｊ｜）の大きさに対応する分だけスクリーン５の下方向
へスクロールさせて、ステップＳ１に戻る（ステップＳ
１４）。

【００４９】ステップＳ９で、Ｙｊの符号が正のときに
は、人差し指がスクリーン５の上方向に移動したと判断
し、スクリーン５上の表示情報をＹｊの絶対値（｜Ｙｊ
｜）の大きさに対応する分だけスクリーン５の上方向へ
スクロールさせて、ステップＳ１に戻る（ステップＳ１
５）。

【００５０】さらに、ステップＳ１２で、ＮＯのときに
は、人差し指がスクリーン５の左右方向及び上下方向に
対してスクロールさせるに充分な量だけ移動していない
と判断して、スクロールを行うことなく、ステップＳ１
に戻り、上記同様に処理する。

【００５１】なお、上記実施例では、左右もしくは上下
方向へスクロールするようにしたが、人差し指を動かし
た任意の方向へスクロールすることもできる。

【００５２】この場合、図４のステップＳ１〜ステップ
Ｓ７までは、上記同様の処理を行い、ステップＳ７の次
に、ステップＳ９〜ステップＳ１１の処理を実行して、
さらに、この処理に続けてステップＳ１３〜ステップＳ
１５の処理行った後、ステップＳ１に戻る処理フローを
実行する。

【００５３】以上説明したように、本実施例によれば、
スクリーン５上に手を載せ、手の形をスクロールコマン
ド用の所定の初期パターン画像の形にした後、スクロー
ルさせる方向にスクロールさせたい量だけ人差し指を動
かすだけで、コマンド処理装置１が、この手の人差し指
の動きを検出して、スクリーン５上に表示している情報
を上下方向及び左右方向にスクロールさせる。その結
果、人差し指をスクロール方向にスクロールさせたい量
だけ移動させるだけで、簡単に表示情報をスクロールさ
せることができる。

【００５４】また、本実施例では、人の手の形をカメラ
４により撮影して認識するとともに、該手の映像の変化
により一連の手の動きを認識しているので、簡単に手の
形や一連の手の動きを認識することができ、コマンド処
理装置１を簡単な構成とすることができる。

【００５５】さらに、スクロールコマンド用の所定の手
の形を画像メモリ７に記憶し、スクリーン５上の手の形
を該画像メモリ７に記憶するスクロールコマンド用の手
の形と比較して、スクロールコマンドであると認識した
ときのみ、人差し指の動きに基づいてスクロールを行う
ようにしているので、スクロールコマンドを誤りなく実
行することができ、コマンド処理の正確性を向上させる
ことができる。

【００５６】また、手の動きとして、人差し指の動きを
認識し、人差し指の動きの方向と動いた量に応じてスク
ロールするようにしているので、人差し指の動きのみで
コマンド処理をさせることができ、スクロールコマンド
をより一層簡単に入力することができる。

【００５７】なお、上記実施例に置いては、手の形を箱
型ケース５内のカメラ４で撮影しているが、カメラに限
るものではなく、また箱型ケース５内に設けるものに限
るものではなく、箱型ケース５の外部に設けてもよい。

【００５８】また、上記実施例では、図３に示したよう
に、右手の動きでコマンド指示しているが、右手に限る
ものではなく、左手であってもよい。

【００５９】さらに、手の動きも、上記実施例の内容に
限るものでないことは、いうまでもない。

【００６０】また、コマンド処理装置としては、上記実
施例のコマンド処理装置１の形態に限るものではなく、
パソコンやワープロ等にも適用することができる。

【００６１】

【発明の効果】本発明によれば、人の手の形や手の一連
の動きを認識して、当該一連の手の動きに基づいて、表
示情報を上下方向あるいは左右方向にスクロールさせる
ことができ、手の形を変えて動かすだけで、簡単にスク
ロールさせることができる。

【００６２】また、カメラにより撮影した映像として手
の形を認識するとともに、該手の映像の変化により一連
の手の動きを認識するようにすると、簡単に手の形や一
連の手の動きを認識することができ、コマンド処理装置
を簡単な構成とすることができる。

【００６３】さらに、スクロールコマンド用の所定の手
の形を記憶し、認識した手の形を該記憶するスクロール
コマンド用の手の形と比較して、スクロールコマンドで
あると認識したときのみ、手の形の一連の動きに基づい
て情報のスクロールを行うようにすると、スクロールコ
マンドを誤りなく実行することができ、コマンド処理の
正確性を向上させることができる。

【００６４】また、一連の手の動きとして、人差し指の
先端部の略上下あるいは略左右の移動方向とその移動量
を認識し、該人差し指の移動方向に対応した方向と移動
量に対応した量だけ情報のスクロールを行うようにする
と、人差し指の動きだけでコマンド処理を行わせること
ができ、スクロールをより一層簡単に入力することがで
きる。

【図面の簡単な説明】

【図１】本発明のコマンド処理装置の一実施例の外観構
成図。

【図２】図１のコマンド処理装置の回路ブロック図。

【図３】人差し指によりするを指示している様子を示す
図。

【図４】図１のコマンド処理装置によるコマンド指示処
理を示すフローチャート。

【図５】図１のコマンド処理装置のスクリーン上の設定
座標を示す図。

【符号の説明】

１ コマンド処理装置 ２ 箱型ケース ３ プロジェクター ４ カメラ ５ スクリーン ６ 画像認識部 ７ 画像メモリ ８ 画像処理部 ９ メインメモリ １０ 表示メモリ １１ 表示部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 3/14 ３６０ Ｄ Ｇ０６Ｔ 1/00 Ｈ０４Ｎ 7/18 Ｕ

Claims (4)

【特許請求の範囲】
1. 【請求項１】所定の情報を所定量だけ表示出力する表示
   手段と、 人の手の形を認識するとともに、当該認識した手の形の
   一連の動きを認識する認識手段と、 前記認識手段の認識した一連の手の動きに基づいて前記
   情報を上下方向あるいは左右方向にスクロールして前記
   表示手段に表示出力させる制御手段と、 を備えたことを特徴とするコマンド処理装置。
2. 【請求項２】前記認識手段は、カメラにより撮影した映
   像として手の形を認識するとともに、該手の映像の変化
   により一連の手の動きを認識することを特徴とする請求
   項１記載のコマンド処理装置。
3. 【請求項３】前記コマンド処理装置は、 スクロールコマンド用の所定の手の形を記憶するフォー
   ム記憶手段を、さらに備え、 前記制御手段は、前記認識手段の認識した手の形を該フ
   ォーム記憶手段の記憶するスクロールコマンド用の手の
   形と比較して、スクロールコマンドであると認識したと
   きのみ、前記認識手段の認識した手の形の一連の動きに
   基づいて前記情報のスクロールを行うことを特徴とする
   請求項１または請求項２記載のコマンド処理装置。
4. 【請求項４】前記認識手段は、前記一連の手の動きとし
   て、人差し指の先端部の略上下あるいは略左右の移動方
   向とその移動量を認識し、 前記制御手段は、前記認識手段の検出した前記人差し指
   の移動方向に対応した方向に移動量に対応した量だけ前
   記情報のスクロールを行うことを特徴とする請求項１か
   ら請求項３のいずれかに記載のコマンド処理装置。