JP3355708B2 - コマンド処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、コマンド処理装置に係
り、詳細には、手の動きを検出して表示画面のスクロー
ルを行うコマンド処理装置に関する。

【０００２】

【従来の技術】従来、コマンド処理装置としては、例え
ば、パーソナルコンピュータ（Personal Computer；以
下、パソコンと略す）やワードプロセッサ（Word P-roc
essor；以下、ワープロと略す）等では、通常、キーボ
ードが使用されており、キーボードから入力されるキー
コマンドに対応する処理、例えば、表示情報のスクロー
ル処理がパソコンやワープロ等で実行されて、その処理
結果がディスプレイ装置に表示出力される。

【０００３】すなわち、表示対象の情報が表示画面に全
て表示できないときには、表示内容をスクロールさせる
必要があり、従来、キーボードのスクロールキーを操作
することにより、スクロールを行わせている。

【０００４】また、近時、アイコンを表示装置に表示
し、アイコンをマウス等のポインティング装置により操
作することにより、スクロールを行うパソコンやワープ
ロ等が出現している。

【０００５】

【発明が解決しようとする課題】しかしながら、このよ
うな従来のコマンド処理装置にあっては、キーボード等
のスクロールキーを操作してスクロールさせたり、表示
装置に表示されるアイコンによりスクロール指示を行う
ようになっていたため、スクロールを行う度に、キー操
作を行ったり、アイコンをポインティング装置により操
作する必要があり、スクロール操作が面倒であるという
問題があった。

【０００６】そこで、本発明は、手の一連の動きによ
り、簡単に表示データのスクロール制御を行うことがで
きるコマンド処理装置を提供することを目的としてい
る。

【０００７】

【課題を解決するための手段】本発明のコマンド処理装
置は、入力された手の画像を認識し、これが予め記憶さ
れている初期パターン画像に相当するかを比較する比較
手段と、初期パターン画像に相当する場合は、指の動き
の検出モードに入り、特定の指が所定値以上移動したこ
と及びその移動方向を検出する検出手段と、特定の指が
所定値以上移動し、その移動方向が第１の方向である場
合に、第１の表示制御コマンドを、前記特定の指の移動
方向が第２の方向である場合に、第２の表示制御コマン
ドを発生するコマンド発生手段と、前記第１の表示制御
コマンドもしくは第２の表示制御コマンドに基づいて第
１の方向もしくは第２の方向へ表示データをスクロール
制御する表示制御手段を備える。

【０００８】この場合、前記コマンド発生手段が発生す
る第１の表示制御コマンド及び第２の表示制御コマンド
は、請求項２に記載したように、前記表示手段に表示さ
れている表示データを上方向及び下方向もしくは左方向
及び右方向へスクロールする表示制御コマンドであって
もよい。

【０００９】また、前記検出手段は、請求項３に記載し
たように、特定の指の移動方向及び移動量を検出し、前
記コマンド発生手段は、前記移動方向及び移動量に応じ
た第１の表示制御コマンドもしくは第２の表示制御コマ
ンドを発生し、表示制御手段は前記第１の表示制御コマ
ンドもしくは第２の表示制御コマンドに基づいて前記移
動方向及び移動量に応じた表示データのスクロール制御
を行うようにしてもよい。

【００１０】

【００１１】

【作用】本発明のコマンド処理装置によれば、入力され
た手の画像を認識し、これが予め記憶されている初期パ
ターン画像に相当する場合は、指の動きの検出モードに
入り、特定の指が所定値以上移動したこと及びその移動
方向を検出し、特定の指が所定値以上移動し、その移動
方向が第１の方向である場合に、第１の表示制御コマン
ドを、前記特定の指の移動方向が第２の方向である場合
に、第２の表示制御コマンドを発生することにより、手
の一連の動きで表示データのスクロール制御を行うこと
ができる。

【００１２】この場合、前記第１の表示制御コマンド及
び第２の表示制御コマンドによって、前記表示手段に表
示されている表示データを上方向及び下方向もしくは左
方向及び右方向へスクロールすることもできる。

【００１３】また、特定の指の移動方向及び移動量の検
出に基づいく第１の表示制御コマンドもしくは第２の表
示制御コマンドによって、前記移動方向及び移動量に応
じた表示データのスクロールを行うこともできる。

【００１４】

【００１５】

【実施例】以下、図面を参照して実施例を説明する。

【００１６】図１〜図５は、本発明のコマンド処理装置
の一実施例を示す図である。

【００１７】まず、構成を説明する。

【００１８】図１は、コマンド処理装置１の外観図であ
り、コマンド処理装置１は、背面投射型表示方式の表示
部とカメラによる撮影部とを備えている。

【００１９】すなわち、コマンド処理装置１は、箱型ケ
ース２内にプロジェクター３とカメラ４が収納されてお
り、箱型ケース２は、その表面が視認性及び操作性を向
上させるために斜めに傾斜した傾斜面となっている。こ
の箱型ケース２の斜めの傾斜面には、半透明のスクリー
ン５が張られており、スクリーン５に箱型ケース２内の
プロジェクター３から文字や映像等の情報及び種々のコ
マンド用のアイコン映像が背面から投影されて、スクリ
ーン５上に表示される。

【００２０】本コマンド処理装置１では、このスクリー
ン５上に置かれた手の形や一連の手の動きを認識して、
コマンド処理を行う。

【００２１】プロジェクター３は、例えば、レンズ、液
晶パネル及び光源等が順次並べられており、液晶パネル
の背面から光源の光を投射して液晶パネルの表示内容を
レンズを介してスクリーン５上に投射する。

【００２２】カメラ４は、例えば、ＣＣＤ（Charge Cou
pled Device ）カメラ等により構成され、スクリーン５
上の手の形や一連の手の動きを撮影する。

【００２３】図２は、コマンド処理装置１のブロック構
成図である。

【００２４】この図において、コマンド処理装置１は、
カメラ４、画像認識部６、画像メモリ７、画像処理部
８、メインメモリ９、表示メモリ１０及び表示部１１等
を備えており、表示部１１は、前記図１のプロジェクタ
ー３及びスクリーン５を総称したものである。

【００２５】カメラ４は、図１に示したものであり、撮
影した手の形や手の動きの映像を逐次画像認識部６に出
力する。

【００２６】画像認識部６は、カメラ４から入力される
映像を所定タイミング毎にサンプリングして、手の形や
一連の手の動きをパターン認識し、認識した手の形のパ
ターン画像を画像メモリ７に出力する。

【００２７】画像メモリ７は、画像認識部６から入力さ
れる手の形のパターン画像を複数画像分記憶し、画像メ
モリ７に記憶されたパターン画像は、画像処理部８によ
り読み出される。また、画像メモリ７には、所定のコマ
ンド、特に、スクロールコマンドに対応した手の初期パ
ターン画像を記憶している。なお、この初期パターン画
像は、画像メモリ７に記憶するものに限るものではな
く、例えば、メインメモリ９に記憶しておいてもよい。

【００２８】メインメモリ９は、画像処理部８が実行す
る各種処理プログラムを格納するとともに、システムデ
ータや表示部１１に表示する各種データ等を記憶する。
特に、メインメモリ９には、文字データや画像データ等
の種々の大量の情報を記憶しており、後述するように、
この情報のスクリーン５への表示のスクロールを手の動
きによるコマンド入力により画像処理部８が行う。

【００２９】画像処理部８は、メインメモリ９に格納さ
れているプログラムに従ってコマンド処理装置１の各部
を制御して、コマンド処理装置１としての処理、特に、
カメラ４の撮影した手の形とその一連の動きにより表示
部１１に表示する情報のスクロール処理等を行う。

【００３０】表示メモリ１０は、表示部１１の表示領域
に対応するメモリエリアを有し、画像処理部８によりメ
インメモリ７から読み出される情報やアイコン情報が順
次書き込まれると、その情報を表示部１１に順次転送し
て、表示部１１に表示出力させる。

【００３１】なお、図２には示していないが、コマンド
処理装置１は、外部のコンピュータ等との間のデータの
授受を制御するＩ／Ｏを備え、外部のコンピュータから
のデータを表示部１１に表示出力するようにしてもよ
い。

【００３２】次に、本実施例の動作を説明する。

【００３３】コマンド処理装置１は、メインメモリ９に
記憶されている種々の情報やアイコン及び画像メモリ７
に記憶している画像をプロジェクター３からスクリーン
５に投影して表示出力し、コマンド処理装置１の使用者
は、スクリーン５上に表示される情報をスクリーン５上
に表示されるアイコンを使用して編集したり、スクリー
ン５上に手を置いて、手の形を変化させたり、手を動か
すことにより、スクリーン５に表示されている情報のス
クロールを行う。

【００３４】すなわち、コマンド処理装置１の使用者
は、スクリーン５に表示されている情報のスクロールを
行わせるためには、スクリーン５上に手を載せ、手をス
クロールコマンド入力用の初期パターン画像に対応する
形、例えば、図３に示すように、人差し指のみを伸ばし
た形にした後、上下方向にスクロールさせたいときに
は、スクロールさせたい量に応じて、スクリーン５上で
人差し指を上方向あるいは下方向に動かし、また、左右
方向にスクロールさせたいときには、スクロールさせた
い量に応じて、スクリーン５上で人差し指を左方向ある
いは右方向に動かす。

【００３５】この手の形と動きに基づくスクロール処理
は、以下のように行われる。

【００３６】すなわち、コマンド処理装置１は、図４に
示すように、スクリーン５上の画像、特に、手の画像を
カメラ４で読み取り、画像認識部６で、カメラ４から入
力される手の画像を所定時間毎に手のパターン画像とし
て取り込んで、画像メモリに７に出力する。画像処理部
８は、このパターン画像を画像メモリ７のアドレスｉに
書き込み（ステップＳ１）、この書き込んだ手のパター
ン画像を画像メモリ７に予め記憶されている初期パター
ン画像と比較する（ステップＳ２）。

【００３７】ステップＳ２で、読み取った画像がスクロ
ール用の初期パターン画像以外の他の初期パターン画像
と一致するときには、当該初期パターン画像用のコマン
ドに対応する処理に移行して、当該他の処理を行う（ス
テップＳ３）。

【００３８】ステップＳ２で、読み取った手のパターン
画像が画像メモリ７に記憶されているいずれの初期パタ
ーン画像にも一致しないときには、ステップＳ１に戻っ
て、画像の読み取りから再度繰り返して行う。

【００３９】ステップＳ２で、読み取った手のパターン
画像がスクロール用の初期パターン画像と一致すると、
画像処理部８は、メインメモリ９に予め記憶されている
スクロール応答モードに入ったことを知らせるメッセー
ジを表示出力するスクロール応答表示を行う（ステップ
Ｓ４）。

【００４０】スクロール応答表示を行うと、次の画像を
読み取って当該読み取った画像のパターン画像を画像メ
モリ７のアドレスｊに書き込んで記憶する（ステップＳ
５）。

【００４１】次に、画像メモリ７のアドレスｉに記憶し
たパターン画像とアドレスｊに記憶したパターン画像と
を比較して、アドレスｊのパターン画像がアドレスｉの
パターン画像から所定値以上変化したかどうか、詳細に
は、両方のパターン画像の人差し指の位置が所定値以上
変化したかどうかチェックし（ステップＳ６）、所定値
以上変化していないときには、スクロールに充分な距離
だけ人差し指が移動していないと判断して、ステップＳ
５に戻り、次の画像を読み取って、上記同様に、当該読
み取った画像のパターン画像を画像メモリ７のアドレス
ｊに記憶するとともに、そのパターン画像とアドレスｉ
のパターン画像とを比較する（ステップＳ５、Ｓ６）。

【００４２】ステップＳ６で、両方のパターン画像が所
定値以上変化すると、アドレスｉのパターン画像に対す
るアドレスｊのパターン画像の人差し指の相対座標（Ｘ
ｊ、Ｙｊ）を求め（ステップＳ７）、当該求めた相対座
標のＸｊの絶対値（｜Ｘｊ｜）がＹｊの絶対値（｜Ｙｊ
｜）よりもはるかに大きいか（｜Ｘｊ｜＞＞｜Ｙｊ｜）
どうかチェックする（ステップＳ８）。

【００４３】ステップＳ８で、ＹＥＳのときには、人差
し指がスクリーン５の左右方向に移動したと判断して、
Ｘｊの符号をチェックする（ステップＳ９）。

【００４４】すなわち、コマンド処理装置１では、スク
リーン５に対して、図５に示すように、アドレスｉを基
点としてスクリーン５の左右方向をＸとし、上下方向を
Ｙとする（Ｘ、Ｙ）座標を設定し、右方向をＸ方向の正
方向、上方向をＹ方向の正方向として設定して、ステッ
プＳ９において、Ｘｊがこの（Ｘ、Ｙ）座標に対して正
方向であるか負方向であるかをチェックしている。

【００４５】ステップＳ９で、Ｘｊの符号が負のときに
は、人差し指がスクリーン５の左方向に移動したと判断
し、スクリーン５上の表示情報をＸｊの絶対値（｜Ｘｊ
｜）の大きさに対応する分だけスクリーン５の左方向へ
スクロールさせて、ステップＳ１に戻る（ステップＳ１
０）。

【００４６】ステップＳ９で、Ｘｊの符号が正のときに
は、人差し指がスクリーン５の右方向に移動したと判断
し、スクリーン５上の表示情報をＸｊの絶対値（｜Ｘｊ
｜）の大きさに対応する分だけスクリーン５の右方向へ
スクロールさせて、ステップＳ１に戻る（ステップＳ１
１）。

【００４７】また、ステップＳ８で、ＮＯのときには、
相対座標のＸｊの絶対値（｜Ｘｊ｜）がＹｊの絶対値
（｜Ｙｊ｜）よりもはるかに小さいか（｜Ｘｊ｜＜＜｜
Ｙｊ｜）どうかチェックし（ステップＳ１２）、ステッ
プＳ１２でＹＥＳのときには、人差し指がスクリーン５
の上下方向に移動したと判断して、Ｙｊの符号をチェッ
クする（ステップＳ１３）。

【００４８】ステップＳ１３で、Ｙｊの符号が負のとき
には、人差し指がスクリーン５の下方向に移動したと判
断し、スクリーン５上の表示情報をＹｊの絶対値（｜Ｙ
ｊ｜）の大きさに対応する分だけスクリーン５の下方向
へスクロールさせて、ステップＳ１に戻る（ステップＳ
１４）。

【００４９】ステップＳ９で、Ｙｊの符号が正のときに
は、人差し指がスクリーン５の上方向に移動したと判断
し、スクリーン５上の表示情報をＹｊの絶対値（｜Ｙｊ
｜）の大きさに対応する分だけスクリーン５の上方向へ
スクロールさせて、ステップＳ１に戻る（ステップＳ１
５）。

【００５０】さらに、ステップＳ１２で、ＮＯのときに
は、人差し指がスクリーン５の左右方向及び上下方向に
対してスクロールさせるに充分な量だけ移動していない
と判断して、スクロールを行うことなく、ステップＳ１
に戻り、上記同様に処理する。

【００５１】なお、上記実施例では、左右もしくは上下
方向へスクロールするようにしたが、人差し指を動かし
た任意の方向へスクロールすることもできる。

【００５２】この場合、図４のステップＳ１〜ステップ
Ｓ７までは、上記同様の処理を行い、ステップＳ７の次
に、ステップＳ９〜ステップＳ１１の処理を実行して、
さらに、この処理に続けてステップＳ１３〜ステップＳ
１５の処理行った後、ステップＳ１に戻る処理フローを
実行する。

【００５３】以上説明したように、本実施例によれば、
スクリーン５上に手を載せ、手の形をスクロールコマン
ド用の所定の初期パターン画像の形にした後、スクロー
ルさせる方向にスクロールさせたい量だけ人差し指を動
かすだけで、コマンド処理装置１が、この手の人差し指
の動きを検出して、スクリーン５上に表示している情報
を上下方向及び左右方向にスクロールさせる。その結
果、人差し指をスクロール方向にスクロールさせたい量
だけ移動させるだけで、簡単に表示情報をスクロールさ
せることができる。

【００５４】また、本実施例では、人の手の形をカメラ
４により撮影して認識するとともに、該手の映像の変化
により一連の手の動きを認識しているので、簡単に手の
形や一連の手の動きを認識することができ、コマンド処
理装置１を簡単な構成とすることができる。

【００５５】さらに、スクロールコマンド用の所定の手
の形を画像メモリ７に記憶し、スクリーン５上の手の形
を該画像メモリ７に記憶するスクロールコマンド用の手
の形と比較して、スクロールコマンドであると認識した
ときのみ、人差し指の動きに基づいてスクロールを行う
ようにしているので、スクロールコマンドを誤りなく実
行することができ、コマンド処理の正確性を向上させる
ことができる。

【００５６】また、手の動きとして、人差し指の動きを
認識し、人差し指の動きの方向と動いた量に応じてスク
ロールするようにしているので、人差し指の動きのみで
コマンド処理をさせることができ、スクロールコマンド
をより一層簡単に入力することができる。

【００５７】なお、上記実施例に置いては、手の形を箱
型ケース５内のカメラ４で撮影しているが、カメラに限
るものではなく、また箱型ケース５内に設けるものに限
るものではなく、箱型ケース５の外部に設けてもよい。

【００５８】また、上記実施例では、図３に示したよう
に、右手の動きでコマンド指示しているが、右手に限る
ものではなく、左手であってもよい。

【００５９】さらに、手の動きも、上記実施例の内容に
限るものでないことは、いうまでもない。

【００６０】また、コマンド処理装置としては、上記実
施例のコマンド処理装置１の形態に限るものではなく、
パソコンやワープロ等にも適用することができる。

【００６１】

【発明の効果】本発明によれば、手の画像を認識し、こ
れが予め記憶されている初期パターン画像に相当する場
合は、指の動きの検出モードに入り、その後の指の動作
で表示制御コマンドを発生するようにしているので、段
階的な認識により手と指一連の動きの認識を正確に行う
ことができ、更に、特定の指が所定値以上移動したこと
及びその特定の指の移動方向により異なる表示制御コマ
ンドを発生しているので、指の動きの特徴をより正確に
認識して、表示データをスクロールするための複数のコ
マンドを発生させることが可能である。

【００６２】

【００６３】

【００６４】

【図面の簡単な説明】

【図１】本発明のコマンド処理装置の一実施例の外観構
成図。

【図２】図１のコマンド処理装置の回路ブロック図。

【図３】人差し指によりするを指示している様子を示す
図。

【図４】図１のコマンド処理装置によるコマンド指示処
理を示すフローチャート。

【図５】図１のコマンド処理装置のスクリーン上の設定
座標を示す図。

【符号の説明】

１ コマンド処理装置 ２ 箱型ケース ３ プロジェクター ４ カメラ ５ スクリーン ６ 画像認識部 ７ 画像メモリ ８ 画像処理部 ９ メインメモリ １０ 表示メモリ １１ 表示部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/033 310 G06F 3/03 380 G06F 3/14 360 G06T 1/00 H04N 7/18

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】入力された手の画像を認識し、これが予め
   記憶されている初期パターン画像に相当するかを比較す
   る比較手段と、 初期パターン画像に相当する場合は、指の動きの検出モ
   ードに入り、特定の指が所定値以上移動したこと及びそ
   の移動方向を検出する検出手段と、 特定の指が所定値以上移動し、その移動方向が第１の方
   向である場合に、第１の表示制御コマンドを、前記特定
   の指の移動方向が第２の方向である場合に、第２の表示
   制御コマンドを発生するコマンド発生手段と、 前記第１の表示制御コマンドもしくは第２の表示制御コ
   マンドに基づいて第１の方向もしくは第２の方向へ表示
   データをスクロール制御する表示制御手段と、を備えた
   ことを特徴とするコマンド処理装置。
2. 【請求項２】前記コマンド発生手段が発生する第１の表
   示制御コマンド及び第２の表示制御コマンドは前記表示
   手段に表示されている表示データを上方向及び下方向も
   しくは左方向及び右方向へスクロールする表示制御コマ
   ンドであることを特徴とする請求項１記載のコマンド処
   理装置。
3. 【請求項３】前記検出手段は、特定の指の移動方向及び
   移動量を検出し、前記コマンド発生手段は、前記移動方
   向及び移動量に応じた第１の表示制御コマンドもしくは
   第２の表示制御コマンドを発生し、表示制御手段は前記
   第１の表示制御コマンドもしくは第２の表示制御コマン
   ドに基づいて前記移動方向及び移動量に応じた表示デー
   タのスクロール制御を行うことを特徴する請求項１記載
   のコマンド処理装置。