JP3458543B2

JP3458543B2 - 手形状認識機能付き情報処理装置

Info

Publication number: JP3458543B2
Application number: JP18882395A
Authority: JP
Inventors: 君吉待井; 俊史荒井; 壮四郎葛貫
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-07-25
Filing date: 1995-07-25
Publication date: 2003-10-20
Anticipated expiration: 2015-07-25
Also published as: JPH0935066A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、オブジェクトを人の手
で操作する手法に関し、特に、表示手段に表示されたオ
ブジェクトを人の手で操作することが可能な情報処理装
置に関する。

【０００２】

【従来の技術】従来の手形状認識では、手の輪郭を抽出
する手法が主に用いられてきた。例えば、特開平6−200
55号公報では、ビデオカメラで手を撮影し、その画像か
ら手のエッジのイメージラインを抽出し、それをHough
変換することによって、指の向きを検出する手法が用い
られている。

【０００３】また、電子情報通信学会技術報告ＨＣ９４
−９３“手の大きさ，方向の変化に対応可能な手形状認
識方法の一提案”のように、手の領域全体を細線化し、
８近傍に１個の画素を持つ画素の座標が指先であるとし
たり、あるいは、電子情報通信学会技術報告ＨＣ９３−
６“非接触手形状認識とその応用”のように、指の幅と
掌の幅の違いをもとに指の領域を切り出し、それに対し
て細線化処理を施して指の本数や指先を求める方法があ
る。

【０００４】手を用いた操作としては、特開平7−84715
号公報にあるように、両手もしくは片手でオブジェクト
を押さえたかどうかで異なる操作を施したり、親指と人
差指のくぼみ点座標を用いて計算機に指示を与えたりす
る方法がある。

【０００５】

【発明が解決しようとする課題】手は紙のような薄い平
面ではなく、曲面に囲まれた立体である。それをビデオ
カメラで撮影し、エッジラインを抽出しようとする場
合、光の当たり具合や影などの影響により、完全な形が
得られるとは限らず、誤認識する可能性が高い。

【０００６】また、指にバンソウコウや指輪などの異物
をつけていた場合、エッジラインはその異物の輪郭に沿
った形で得られ、異物から指先側は検出されない可能性
がある。指にバンソウコウや指輪などをつけることはご
く普通のことであるから、このような状況でも正認識で
きなければならない。

【０００７】指の幅と掌の幅が大きく異なることを用い
て指を切り出そうとした場合、真横に近い手から指を切
り出すことは困難である。すなわち、手の傾き具合によ
っては誤認識することが有り得る。

【０００８】以上のように、手のエッジラインや指の幅
と掌の幅を用いた手法を用いると、利用者の意図した操
作とは違う操作になってしまうことが考えられ、使い勝
手が悪くなる。

【０００９】また、以上に挙げた手法は何らかの指を伸
ばしていることを前提としており、指を伸ばさずに手を
握っている場合を考慮していない。したがって、指を伸
ばしていないにもかかわらず指を認識しようとしてお
り、無駄な処理をしてしまう場合もある。これによっ
て、無駄な処理時間をかけてしまう。また、手の領域を
細線化する場合も処理時間がかかる。

【００１０】これらの手法をマン・マシンインタフェー
スに適用しても、誤認識が生じたり、あるいはリアルタ
イムの操作が困難になり、使い勝手が悪くなる可能性が
ある。

【００１１】親指と人差指のくぼみ点座標を用いて計算
機に指示を与える方法は、直感的でない。現実世界で親
指と人差指のくぼみ点座標を用いる場面は、ほとんどな
いと考えられる。それを計算機を用いるときだけに用い
るとしても、手の中でもほとんど使ったことのない場所
を用いれば、ユーザの混乱は避けられない。

【００１２】本発明の目的は、以上の課題を解決し、人
間の指を正確かつ高速に検出してそれをマン・マシンイ
ンタフェースに適用し、利用者に対して直感的な操作を
提供し得る情報処理装置を提供することにある。

【００１３】

【課題を解決するための手段】本発明は、利用者の手を
撮影するビデオカメラと、前記ビデオカメラで得られた
画像を走査して手の色の範囲に入っている画素を１個探
し、その画素を中心に手の大きさの４個分の領域を調
べ、手の色の範囲に入っている画素の個数とその領域の
外接矩形を求める段階と、当該外接矩形内の手の色の範
囲に入っている領域の形状を調べる手段とを有する。

【００１４】前記形状を調べる段階は、最初に握り手か
開き手かを判定する段階と、その結果がどちらでもない
場合にその全体に対してHough 変換を施して指の候補と
なる直線を検出し、もしこの処理で複数の直線が得られ
た場合にそれらの中から指となる直線を検出する段階と
を有し、このときに検出された直線の本数が、伸ばして
いる指の本数となる。さらに、検出された直線の端点座
標を求め、そのうちの一方を指先座標とする段階を有す
る。

【００１５】また、伸ばしている指の本数とその指先の
座標が特定された後、その本数と指先座標に応じて、操
作対象オブジェクトと当該オブジェクトに対する操作の
種類を決定する段階を有し、さらに、当該操作の結果を
表示するための手段を有する。前記操作の種類を決定す
る段階は、２本指の場合は当該指の長さの差が所定値よ
り大きい場合は、当該指の指先座標の中間点座標が操作
対象オブジェクトを指定し、当該指の長さの差が所定値
より小さい場合は、当該指のうち長い方の指の指先座標
が操作対象オブジェクトを指定する。

【００１６】

【作用】本発明によれば、手の色の範囲に入っている領
域の外接矩形を求めるため、指にバンソウコウや指輪な
どをつけていて、その部分が欠けてしまい、手の領域が
複数個に分割されてしまった場合でも、それらを一つの
領域として扱うことができ、その全体に対してHough 変
換を施すので、異物を指に巻いていた場合などで手の領
域が分断されていても指を検出することができる。ま
た、エッジラインを検出する方法や細線化する方法が必
要でないので、エッジラインが完全に検出されたかどう
かに関係なく指を検出することができる。したがって、
手に異物をつけたことによる誤認識、あるいは光の当た
り具合などの影響で、手のエッジラインが完全に検出さ
れなかったことによる誤認識を避けることができ、手に
よる操作の安定度が増す。

【００１７】また、操作に使用しない形状をあらかじめ
判定しておくことによって、処理速度の向上を図ること
ができ、操作のリアルタイム性を確保することができ
る。細線化処理をせずに済むということも、処理速度向
上に寄与する。

【００１８】手を使って操作する場合、指の本数，指先
の位置，伸ばしている指の長さ，手の動きによって操作
対象オブジェクト，当該オブジェクトに対する操作の種
類を決定するので、現実世界の手の動作に近く、利用者
にとって親和性がよい。

【００１９】

【実施例】本発明の実施例について、図面を参照しなが
ら示す。図１は、本発明の一実施例である装置の構成図
である。まず、ビデオカメラ１０１で撮影された映像は
画像バッファ１０２に格納される。画像バッファ１０２
には、それぞれの画素のＲＧＢの値が格納される。画像
バッファ１０２に格納された映像から手の領域を、手領
域切出し部１０３で切り出す。手領域切出し部１０３で
手が見つかった場合は、前処理部１０４で、認識しなく
てもよい形状かどうかを判定する。もし認識しなくても
よい形状であると判定された場合は、ここで処理を打ち
切り、そうでない場合は、見つかった手領域をHough 変
換部１０５でHough 変換し、直線を検出する。ここで検
出された直線が指の候補となる。また、Hough 変換部１
０５では、検出された直線の両端点も求める。次に、指
検出部１０６で、距離の近い直線どうしをまとめ、その
結果残った直線の本数が指の本数となる。なお、指検出
部１０６では、複数本の直線をまとめて１本にする際、
一定以上の本数の直線がまとまった場合にその直線を指
として扱う。また、距離の近い直線が一定以下の本数で
あった場合、それらの直線はすべて指としては扱われな
い。これによって、例えば、指がない場所に直線が１本
だけ検出されたとしても、それを指として扱うことはな
い。また、長さが一定以下の直線も指の候補とはしな
い。また、指検出部１０６では、検出された直線の両端
点のうちの一方を指先とする。操作判定部１０７では、
指検出部１０６で得られた指の本数と指先座標によっ
て、計算機への処理を決定する。最後にその結果を表示
部１０８に表示する。

【００２０】次に、それぞれの処理の詳細について述べ
る。最初に、手領域切出し部１０３について図２を参照
しながら述べる。手領域切出し部１０３では、手の領域
の外接矩形を求める。まず、画像バッファ１０２に格納
されているＲＧＢの値を、色相，彩度，輝度に変換し、
その結果を画像バッファ１０２とは別のバッファに格納
する（ステップ２０１）。次に、そのバッファを走査
し、あらかじめ定めた手の色の範囲に入っている画素を
見つけ、基準画素とする（ステップ２０２）。当該基準
画素の座標を中心とし、手の領域の最大外接矩形４個分
の大きさの領域を調べる。なお、この最大外接矩形の大
きさはt_max_xとt_max_yで表され、あらかじめ定められ
ている値である。調べる範囲はステップ２０３で設定さ
れる。次に、ステップ２０３で設定された範囲を走査
し、手の領域の外接矩形のｘ座標，ｙ座標の最小値，最
大値を求める。これらの値はそれぞれ、r_min_x，r_max
_x，r_min_y，r_max_yに格納されるものとし、初期値は
ステップ２０４でそれぞれ、機械最大値、０、機械最大
値、０に設定されるものとする。ここで機械最大値と
は、使用する処理装置で扱える数値の最大値である。ス
テップ２０３で設定された範囲を走査する途中で、手の
色の範囲に入っている画素が見つかった場合、その画素
のｘ座標をr_min_x，r_max_xと比較し(ステップ２０
８，ステップ２１２)、ｙ座標をr_min_y，r_max_yと比
較する（ステップ２１０，ステップ２１４）。当該ｘ座
標がr_min_xより小さければ、当該ｘ座標はr_min_xに格
納され（ステップ２０９）、当該ｘ座標がr_max_xより
大きければ、当該ｘ座標はr_max_xに格納される（ステ
ップ２１３）。ｙ座標についても同様に、r_min_yとr_m
ax_yと比較する。こうして最終的に得られたr_min_x，r
_min_y，r_max_x，r_max_yで手の領域の外接矩形の頂点
座標を表すことができ、それぞれ外接矩形の頂点のｘ座
標の最小値，ｙ座標の最小値，ｘ座標の最大値，ｙ座標
の最大値を表す。

【００２１】以上の処理で、手が一つ見つかったことに
なる。次に、ここで見つかった以外の手を探す。これ
は、上記の処理で見つかった手の領域以外の領域から、
基準画素となる画素を見つけ、再び上記の処理を行う。
そして、見つかった手の個数があらかじめ定められた最
大出現個数になるか、画像の全領域をスキャンしたら終
了する。

【００２２】なお、この処理には、本実施例で挙げた色
相，彩度，輝度に変換せずにＲＧＢの値をそのまま用い
てもよいし、画素ごとに初期の背景との差分を取り、差
分の大きいところを手領域としたりしてもよい。また、
手の色の範囲や手の領域の最大外接矩形の大きさは、利
用者によって変えるようにしてもよく、例えば、利用す
る前にあらかじめ定めた一色の背景の上に手を置き、当
該色と違う部分を手として切り出し、切り出した手の色
から、手の色の範囲を設定したり、その大きさから手の
領域の最大外接矩形の大きさを設定したりしてもよい。

【００２３】また、色情報によらず、周囲よりも動きの
大きいところを手として切り出すことも可能である。

【００２４】次に、前処理部１０４について述べる。前
処理部１０４では、指先座標を求めなくてもよい形状か
どうかを判定するが、ここでは、指を１本も伸ばさずに
握っている例と、全部の指を伸ばしている例を判定する
場合について述べる。

【００２５】まず、指を１本も伸ばしていない場合の判
定方法を、図３を参照しながら述べる。図３において、
矩形３１０は、手領域切出し部１０３で切り出した手領
域３３１の外接矩形である。矩形３１０を同じ大きさの
矩形領域３２１，３２２，３２３，３２４に分割し、そ
れぞれの領域に含まれる手の画素の個数を求める。例え
ば、矩形領域３２３に含まれる手の画素とは、領域３０
１である。その個数が、手を構成する画素の個数の何％
を占めるかを求める。その割合が２０〜３５％を占める
領域が３個以上存在した場合、指を１本も伸ばしていな
いと判定される。この処理の流れを、図４を参照しなが
ら述べる。まず、ステップ４０１で、手の画素の個数の
割合が全体の２０〜３５％を占める領域の個数が格納さ
れるカウンタを初期化する。ステップ４０２では、手の
外接矩形３２３の縦方向，横方法の大きさを２等分す
る。これらはそれぞれ矩形領域３２１，３２２，３２
３，３２４の縦の大きさ，横の大きさとなる。最初にス
テップ４０３で、矩形領域３２１の範囲を設定する。次
に、矩形領域内に含まれる手の画素の個数を数える。ス
テップ４１１で矩形領域内に含まれる手の画素の個数が
格納される変数npixelを初期化し、ステップ４１２，４
１３で最初に調べる画素の座標を設定する。次に、ステ
ップ４１４で、現在の（ｘ，ｙ）の位置の画素の色が手
の色の範囲内かどうかを判定する。もし、手の色の範囲
内であれば、ステップ４１５でnpixelをインクリメント
する。ステップ４１６〜ステップ４１９で次の画素の座
標を設定し、同じ処理を繰り返す。矩形領域内のすべて
の画素を判定した後、ステップ４２０で、カウントされ
た画素の個数の手の面積に対する割合を求め、それが
０.２から０.３５の間に入っていれば、counter をイン
クリメントする。以下、矩形領域３２２，３２３，３２
４についても同様である。ステップ４０４で矩形領域３
２２の範囲を、ステップ４０５で矩形領域３２３の範囲
を、ステップ４０６で矩形領域３２４の範囲をそれぞれ
設定し、それぞれの領域に対して、ステップ４１１〜ス
テップ４２１の処理を行う。その後、counter の値が３
以上かどうかを判定し（ステップ４０７）、３以上なら
ば指を１本も伸ばしていないと判定する。

【００２６】次に、全部の指を伸ばしている場合を判定
する例について述べる。手領域切出し部１０３で切り出
した手領域の外接矩形３１０内に含まれる手の画素の個
数を数え、一定以上の個数があれば全部の指を伸ばして
いると判定する。次に、図５を参照しながら更に述べ
る。手領域切出し部１０３で切り出した外接矩形のう
ち、ｘ座標とｙ座標が一番小さい画素から順に、手の色
の範囲に入っているかどうかを調べる（ステップ５０
３）。もし、手の色の範囲に入っていたら、手の色の範
囲に入っている画素数npixelをインクリメントする（ス
テップ５０４）。これを、手領域切出し部１０３で切り
出した領域のすべての画素について行う。これが終わっ
た後、npixelの値としきい値Ｔｈとを比較し(ステップ
５０９)、npixelがＴｈより大きければ開き手であると
判定する。

【００２７】次に、Hough 変換部１０５について、図６
を参照しながら述べる。手領域切出し部１０３で切り出
した外接矩形のうち、ｘ座標とｙ座標が一番小さい画素
から順に、手の色の範囲に入っているかどうかを調べる
（ステップ６０３）。もし手の色の範囲内ならばθを−
９０°〜１８０°まで変化させてそれぞれのθに対して
ρ＝ｘsinθ＋ｙcosθを計算する（ステップ６０５）。
この計算結果が出るごとに（θ，ρ）空間を表す配列ａ
［θ］［ρ］の対応する場所の値をインクリメントする
（ステップ６０６）。また、ここで求められた（θ，
ρ）の値と同じ値になったときの（ｘ，ｙ）のうち、ｙ
座標が最大になるときとｙ座標が最小になるときの
(ｘ，ｙ)の組を探す。ここで、当該ｙ座標が最大になる
ときの(ｘ，ｙ)のうち、ｘ座標は配列max_x［θ］
［ρ］に、ｙ座標は配列max_y［θ］［ρ］に格納され
ており、当該ｙ座標が最小になるときの（ｘ，ｙ）のう
ち、ｘ座標は配列min_x［θ］［ρ］に、ｙ座標は配列m
in_y［θ］［ρ］に格納されているものとする。次に、
ステップ６０７〜ステップ６１４で（θ，ρ）を求めた
ときの（ｘ，ｙ）と、max_x［θ］［ρ］，max_y［θ］
［ρ］，min_x［θ］［ρ］，min_y［θ］［ρ］とを比
較し、必要があればmax_x［θ］［ρ］，max_y［θ］
［ρ］，min_x［θ］［ρ］，min_y［θ］［ρ］の値を
更新する。

【００２８】手の領域全体に対してこれらの処理が終了
したら、指の候補となる直線を検出する。この処理につ
いて次に述べる。まず、指の候補となる直線の本数が格
納される変数ｎを初期化し（ステップ６２１）、次に配
列ａ［θ］［ρ］の値を調べる（ステップ６２３）。こ
の値がしきい値Ｔｈ１より大きい場合は、原点からの距
離がρであり、原点から下ろした垂線とｘ座標軸との角
度がθである直線があったものとみなす。このとき、当
該直線の端点は（max_x［θ］［ρ］，max_y［θ］
［ρ］）と（min_x［θ］［ρ］，min_y［θ］［ρ］）
である。次に、当該直線の長さを求め、しきい値Ｔｈ２
と比較する（ステップ６２５）。ここで直線の長さは、
（max_x［θ］［ρ］，max_y［θ］［ρ］）と(min_x
［θ］［ρ］，min_y［θ］［ρ］）との距離である。
もし直線の長さがしきい値Ｔｈ２よりも長い場合は、こ
の直線を指の候補とし、その両端点を配列ｌ＿min_x
［ｎ］，ｌ＿min_y［ｎ］，ｌ＿max_x［ｎ］，ｌ＿max_
y［ｎ］に格納する(ステップ626)。また、指の候補とな
った直線の本数ｎをインクリメントする(ステップ６２
７)。これを、配列ａのすべてについて行う。この処理
によって、直線が検出され、その端点はｌ＿min_x
［ｉ］，ｌ＿min_y［ｉ］，ｌ＿max_x［ｉ］，ｌ＿max_
y［ｉ］（ｉ＝０，１，２・・・ｎ）に格納されている
ことになる。

【００２９】次に、図７を参照しながら、指検出部１０
６について述べる。これらの処理では、指の候補となっ
た直線の端点どうしの距離を求め、近くにある直線どう
しをまとめる。ここで検出された直線が指であり、検出
された直線の端点のうちのいずれか一方が指先となる。
これについて詳しく述べる。まず、指と判定された直線
の本数が格納される変数ｋを初期化する（ステップ７０
１）。次に、検出された直線の端点どうしの距離を求め
る。端点どうしの距離として、直線の両端点のうちｙ座
標が大きい方の端点どうしの距離を求める。

【００３０】ここで、ｙ座標は手首側から指先側に向か
って大きくなるとし、手が上から出てくることはないと
仮定しているので、もし指の候補の直線が得られた場
合、指先の座標は当該直線の両端点のうち、ｙ座標が大
きい方となり、(ｌ＿max_x［］，ｌ＿max_y［］)が指先
の候補となる点である。すなわち、指先どうしの距離が
近いものを１本の直線としてまとめる。

【００３１】このとき、基準直線の端点を（ｌ＿max_x
［ｉ］，ｌ＿max_y［ｉ］）とし、比較対象の直線の端
点を（ｌ＿max_x［ｊ］，ｌ＿max_y［ｊ］）とする。こ
れら２点間の距離としきい値Ｔｈ２を比較する（ステッ
プ７０７）。もし、Ｔｈ２以下ならば変数ｌをインクリ
メントし（ステップ７０８）、調べ終わったことを示す
フラグflag［ｊ］に１を代入する（ステップ７０９）。
ここで、変数ｌは、当該基準直線に近いと判定された直
線の本数である。当該基準直線とそれ以外の直線との比
較がすべて終わった時点で、変数ｌの値をしきい値Ｔｈ
３と比較する（ステップ７１０)。もし、しきい値Ｔｈ
３以上ならば、ｌ＿max_x［ｉ］,ｌ＿max_y［ｉ］の値
を指先座標としてそれぞれ配列ｆｘ［ｋ］，ｆｙ［ｋ］
に登録し（ステップ７１３）、変数ｋの値をインクリメ
ントし（ステップ７１４）、フラグflag［ｉ］に１を代
入する（ステップ７０３）。以下、フラグflag［］の値
が１でない直線を基準直線とし、当該直線以外でフラグ
flag［］の値が１でない直線を比較対象の直線とし、同
じ処理を繰り返す。すべての処理が終了した時点でのｋ
の値が検出された指の本数であり、（ｆｘ［ｍ］，ｆｙ
［ｍ］）（ｍ＝０，１，・・・ｎ）が指先の座標にな
る。

【００３２】なお、ｙ座標が指先側から手首側に向かっ
て大きくなる場合には、ｙ座標が小さい方の端点が指先
の座標になる。上記の実施例の場合には、指先の座標は
（ｌ＿min_x［］，ｌ＿min_y［］）となる。

【００３３】最後に、操作判定部１０７で、検出された
指の本数と指先座標に応じて操作内容を決定する。指を
使った操作例を次に述べる。

【００３４】まず、指１本でボタンを押す例を、図８を
参照しながら述べる。図８は、表示部１０８に表示され
ているボタン８０３を押している例であり、（ａ）はボ
タンを押したところ、（ｂ）はボタンを押した後であ
る。手８０５について上記の処理を行った結果、直線８
０４が検出されたとする。そのとき、指先の座標は端点
８０１，８０２のうち８０１である。これは、手が下か
ら出てくるという仮定に基づく。このとき、指先８０１
がボタン８０３の範囲内に入っていれば、ボタン８０３
の色が反転し、（ｂ）のような状態になる。その後、ボ
タンが押されたときの処理をする。そして、（ｂ）の状
態になった後、再び（ａ）の状態に戻る。なお、指先８
０１は、必ずしも表示手段１０８に触れていなくてもよ
く、指先８０１の位置がボタン８０３の範囲内に入って
いるだけでよい。

【００３５】なお、ボタンを１回押した後、指先８０１
の位置，手８０５の形状をそのままにした場合は、ボタ
ンは押されない。この処理について、図９を参照しなが
ら述べる。まず、ステップ９０１で、ボタン８０３が押
されたかどうかを示すフラグpress を初期化する。次
に、ステップ９０２で、認識結果が１本指かどうかを確
かめる。１本指であったら、指先８０１がボタン８０３
の範囲内に入っているかどうかを判定する。もし入って
いれば、フラグpress の値が０かどうかを調べる（ステ
ップ９０５）。もし０ならば、ボタンが押されたときの
処理をし（ステップ９０６）、press の値を１にする。
もしpress の値が１ならば、何もせずに、次の認識結果
を調べる。

【００３６】次に、２本指による表示オブジェクトの移
動について述べる。まず、移動対象となるオブジェクト
の指定について図１０を参照しながら述べる。図１０で
は、手１００４から指先１００１，指先１００２が検出
された例を示している。このとき、オブジェクト１００
６が移動対象かどうかは、指先１００１と指先1002の中
間点座標１００３がオブジェクト１００６の範囲内にあ
るかどうかで判定する。図１０の例では、中間点座標１
００３がオブジェクト１００６の範囲内なので、オブジ
ェクト１００６は移動対象のオブジェクトになる。この
とき、２本指というだけでなく、検出された指の長さの
差が一定以上ならば、２本のうち１本が親指であるとし
て、上記に従い、検出された指の長さの差が一定以下な
らば、長い方の指の指先座標がオブジェクトの範囲内に
あるかどうかで移動対象オブジェクトを判定してもよ
い。

【００３７】なお、移動対象オブジェクトの指定の際、
指先１００１と指先１００２の中間点座標１００３がオ
ブジェクトの範囲内にあるというだけでなく、指先１０
０１と指先１００２の距離を考慮してもよい。例えば、
図１１（ａ）のように、指先１００１と指先１００２の
距離Ｌ１がしきい値Ｔｈ４以下ならばオブジェクトを指
定しているとし、図１１（ｂ）のように、指先１００１
と指先１００２の距離Ｌ２がしきい値Ｔｈ４以上ならば
オブジェクトを指定していないとしてもよい。次に、指
定されたオブジェクトの移動について述べる。上記のよ
うにオブジェクトを指定した後、指先１００１と指先１
００２の中間点１００３がオブジェクト１００６の範囲
内に存在する状態を維持しながら手１００４を動かす。
すると、オブジェクト１００６は、手１００４との位置
関係を維持しながら手１００４の動きに追従して動く。
そして、検出された指の本数が変わったらオブジェクト
の移動が終了する。なお、この場合も図１１（ａ）のよ
うに、指先どうしの距離Ｌ１がしきい値Ｔｈ４以下の場
合にオブジェクトを動かし、図１１（ｂ）のように、動
かしている途中で指先どうしの距離Ｌ２がしきい値Ｔｈ
４以下になったらオブジェクトの移動を終了するように
してもよい。

【００３８】さらに、片手でオブジェクトを動かしなが
らもう一方の手で入力手段を持ち、作業することも可能
である。これについて図１２を参照しながら述べる。図
１２では、右手１２０１で入力手段１２０２を持ち、表
示手段１０８に表示されている文書１２０３に対し、入
力手段１２０２によって筆跡１２０４を入力したところ
である。このとき、筆跡１２０４とは違う場所に筆跡を
入力したい場合に、左手１２０５で文書１２０３を、筆
跡を入力しやすい位置に移動させる。この例が図１３で
ある。図１３は、文書１２０３を上に移動し、筆跡１３
０１を入力した例である。このように、手と他の入力手
段を組み合わせて使うことが可能である。なお、右手１
２０１と左手１２０５の役割は逆になってもよい。すな
わち、左手１２０５で入力手段１２０２を持って筆跡を
入力し、右手１２０１で文書を移動させてもよい。

【００３９】

【発明の効果】人間の指を正確かつ高速に検出すること
が可能となるので、直感的な操作を利用者に提供するこ
とができる。

【図面の簡単な説明】

【図１】本発明の一実施例である装置の構成図である。

【図２】入力画像から手の領域を切り出す処理手順を示
すフローチャートである。

【図３】握り手を判定する処理を示す図である。

【図４】握り手を判定する処理手順を示すフローチャー
トである。

【図５】開き手を判定する処理手順を示すフローチャー
トである。

【図６】手の領域のHough 変換の処理を示すフローチャ
ートである。

【図７】Hough 変換で検出された直線から指を抽出する
処理手順を示すフローチャートである。

【図８】１本指によるポインティングの一実施例を示す
図である。

【図９】１本指によるポインティングの際にボタンの２
度押しを防止する処理手順を示すフローチャートであ
る。

【図１０】２本指による移動対象表示オブジェクトの指
定の一実施例を示す図である。

【図１１】２本指で移動対象表示オブジェクトを指定す
る場合と指定しない場合の手形状の例を示す図である。

【図１２】手と他の入力手段を組み合わせて使用する場
合の一実施例を示す図である。

【図１３】手と他の入力手段を組み合わせて使用する場
合の一実施例を示す図である。

【符号の説明】

１０１…ビデオカメラ、１０２…画像バッファ、１０３
…手領域切出し部、１０４…前処理部、１０５…Hough
変換部、１０６…指検出部、１０７…操作判定部、１０
８…表示部。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平６−20055（ＪＰ，Ａ) 特開平１−134672（ＪＰ，Ａ) 特開平２−105265（ＪＰ，Ａ) 特開昭60−233777（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 G06F 3/00 G06F 3/03 - 3/037 G06T 1/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】表示手段と、カメラと、前記カメラが撮影
した映像中の操作者の手の領域を検出する手領域検出手
段と、伸ばしている指の本数を認識する指本数認識手段
と、前記指の指先の位置を認識する指先認識手段と、前
記指の本数と指先の位置より操作対象となるオブジェク
トと前記オブジェクトに対する操作を決定する手段と、
前記操作の結果を前記表示手段に表示する手段とを有す
る情報処理装置であって、前記指本数認識手段は、前記手領域検出手段によって検
出された領域から検出された複数の直線のうち、一方の
端点どうしの距離が一定以内の直線群を１本の直線とし
て、前記直線群に含まれる直線が一定本数以上であれば
前記１本の直線を１本の指とし、前記指先認識手段は、前記指本数認識手段により得られ
た前記１本の直線の一端点を指先の位置とすることを特
徴とする手形状認識機能付き情報処理装置。
【請求項２】請求項１において、前記指本数認識手段は、前記複数の直線の端点どうしの
距離が一定以内の直線群を１本の直線とする処理は、長
さが一定以上の直線が一定以上の本数検出された場合
に、前記直線群のうちの１本の直線に置き換えて前記１
本の直線を指とすることを特徴とした手形状認識機能付
き情報処理装置。
【請求項３】請求項１において、伸ばしている指の本数と当該指の指先の位置を認識する
前に、伸ばしている指がない場合を認識する手段と、５
本の指すべてを伸ばしている場合を認識する手段とを有
することを特徴とする手形状認識機能付き情報処理装
置。
【請求項４】請求項１において、操作対象となるオブジェクトの決定は、検出された直線
の本数が１本の場合は伸ばしている指の本数が１本であ
るとして当該直線の端点の位置が含まれるオブジェクト
を操作対象とし、検出された直線の本数が２本の場合は
伸ばしている指の本数が２本であるとして当該検出され
た２本の直線の長さの差が一定以上である場合は当該指
の指先どうしの中間点の位置が含まれるオブジェクトを
操作対象とし、２本の直線の長さの差が一定以下である
場合は長い方の直線の一端点の位置が含まれるオブジェ
クトとすることを特徴とする手形状認識機能付き情報処
理装置。
【請求項５】請求項４において、検出された２本の直線の長さの差が一定以下の場合、指
先どうしの距離が一定以下の場合は操作対象のオブジェ
クトをつかむ動作とし、オブジェクトをつかんでいる手
を動かした場合には、つかんでいるオブジェクトが当該
手の動きに追従して動き、指先どうしの距離が一定以上
の場合はそれまでつかんでいたオブジェクトを離す動作
とすることを特徴とする手形状認識機能付き情報処理装
置。