JP4415227B2 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は情報処理装置、情報処理方法及び記録媒体に関し、例えばノートブック型パーソナルコンピュータ（以下、これをノートパソコンと呼ぶ）に適用して好適なものである。
【０００２】
【従来の技術】
従来、ノートパソコンにおいては液晶ディスプレイ等の表示手段と、所定のコマンドや文字を入力するためのキーボードあるいはマウス等の入力手段とによって構成され、キー操作によって入力されたコマンドに応じて所定の処理を実行し、その実行結果を表示部に表示するようになされている。
【０００３】
また最近のノートパソコンにおいては、キーボードやマウス以外の入力手段として例えば当該ノートパソコンの筐体側面から僅かに突出するように設けられた所定形状の回転操作子いわゆるジョグダイヤルが用いられ、当該ジョグダイヤルに対する回転操作及び押圧操作に応動して、メニュー項目の選択及びコマンドの決定等の命令が入力されるようになされている。
【０００４】
【発明が解決しようとする課題】
ところでかかる構成のノートパソコンにおいては、ジョグダイヤルに対する回転操作によってメニュー項目の選択を行う場合、ユーザがジョグダイヤルを実際に操作してみるまでは回転操作が左右方向又は上下方向のいずれに有効であるのかを認識し得ないという問題があった。
【０００５】
本発明は以上の点を考慮してなされたもので、ユーザの入力動作がどのように認識されたかをユーザに対して通知しながら所定の処理を実行し得る情報処理装置、情報処理方法及び記録媒体を提案しようとするものである。
【０００６】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、撮像手段によって認識対象を撮像することにより得られた画像の色成分に基づいてユーザの顔部分や手の平部分の肌色領域と、服装部分の非肌色領域とを判別し、肌色領域が画像の中に存在することを判別したとき、画像の現フレームと隣接フレームとにおける肌色領域の座標値の差分に基づいて当該肌色領域の移動距離及び移動方向を求め、当該移動距離に対応した動き速度に基づいて当該肌色領域が顔部分であるのか、或は手の平部分であるのかを判別し、肌色領域が手の平部分であることを判別したとき当該手の平部分の動きを認識し、手の平部分の動きを表した軌跡と、当該動きに対する認識過程とを、所定のフィードバック画面において手の平部分の動きに合わせて所定方向へ配列された所定形状でなる複数のターゲットを介して表示し、手の平部分の動きに応じた所定の処理を実行することにより、手の平部分を動かしたときの動きと正確に認識し、その動きに応じた所定の処理を確実に実行することができる。
【０００７】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する。
【０００８】
（１）第１の実施の形態
（１−１）ノートブック型パーソナルコンピュータの外観構成
図１において、１は全体として本発明を適用した情報処理装置としてのノートブック型パーソナルコンピュータ（以下、これをノートパソコンと呼ぶ）を示し、本体２と当該本体２に対して開閉自在に取り付けられた表示部３とによって構成されている。
【０００９】
本体２は、その上面に各種文字や記号及び数字等を入力するための複数の操作キー４、マウスカーソルの移動に用いられるスティック式ポインティングデバイス（以下、これを単にスティックと呼ぶ）５、通常のマウスにおける左ボタン及び右ボタンに相当する左クリックボタン５Ａ及び５Ｂ、マウスカーソルをスクロールボタンに合わせることなくスクロールバーを操作するためのセンタボタン５Ｃ、内蔵スピーカ６Ａ及び６Ｂ、押圧式の電源スイッチ７、表示部３に設けられたＣＣＤ（Charge Coupled Device ）カメラ８用のシャッタボタン９、ＬＥＤ（Light Emitting Diode）で構成された電源ランプＰＬ、電池ランプＢＬ及びメッセージランプＭＬ等が設けられている。
【００１０】
表示部３は、その正面に例えば８．９型（１０２４×４８０ピクセル）対応のＴＦＴ（Thin Film Transisitor ）カラー液晶でなる液晶ディスプレイ１０が設けられると共に、正面の中央上端部には撮像手段としてのＣＣＤカメラ８を備えた撮像部１１が当該表示部３に対して回動自在に設けられている。
【００１１】
この撮像部１１においては、ＣＣＤカメラ８が表示部３の正面方向から背面方向までの１８０度程度の角度範囲で回動して任意の角度で位置決めし得ると共に、当該ＣＣＤカメラ８によって所望の撮像対象を撮像する際のフォーカス調整を当該撮像部１１の上端部に設けられた調整リング１２の回転操作により容易に行い得るようになされている。
【００１２】
また表示部３は、撮像部１１の左端近傍における正面側及び背面側にマイクロフォン１３が設けられており、当該マイクロフォン１３を介して当該表示部３の正面側から背面側までの広範囲に渡って集音し得るようになされている。
【００１３】
さらに表示部３は、液晶ディスプレイ１０の左端近傍及び右端近傍にそれぞれつめ１４及び１５が設けられ、当該つめ１４及び１５と対応する本体２の所定位置には孔部１６及び１７が設けられており、表示部３を本体２に閉塞した状態でつめ１４及び１５がそれぞれ対応する孔部１６及び１７に嵌合される。
【００１４】
これに対して表示部３は、本体２に閉塞された当該表示部３の前側が持ち上げられたときに、孔部１６及び１７とつめ１４及び１５の嵌合状態が解除され、その結果、当該表示部３が本体２から展開し得るようになされている。
【００１５】
また本体２は、その右側面にＩｒＤＡ（Infrared Data Association ）準拠の赤外線ポート１８、ヘッドフォン端子１９、マイクロフォン用入力端子２０、ＵＳＢ（Universal Serial Bus）端子２１、外部電源コネクタ２２、外部ディスプレイ出力用コネクタ２３、回転操作子の回転操作及び押圧操作によって所定の処理を実行するための命令を入力し得るジョグダイヤル２４及びモジュラージャック用のモデム端子２５が設けられている。
【００１６】
一方、図２に示すように本体２は、その左側面に排気孔２６、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association ）規格のＰＣ（Personal Computer ）カードに対応したＰＣカードスロット２７及び４ピン対応のＩＥＥＥ（Institute of Electrical and Electronics Engineers ）１３９４端子２８が設けられている。
【００１７】
さらに図３に示すように本体２は、その後側面にバッテリコネクタ２９が設けられており、底面にはバッテリパック３０（図１）を取り外すためのスライド式取り外しレバー３１及び当該スライド式取り外しレバー３１のスライド操作をロックするロックレバー３２が設けられると共に、本体２の動作を中断して電源投入時の環境を再構築するためのリセットスイッチ３３が設けられている。なおバッテリパック３０は、バッテリコネクタ２９に対して着脱自在に接続される。
【００１８】
（１−２）ノートブック型パーソナルコンピュータの回路構成
次にノートパソコン１の回路構成について図４を用いて詳細に説明する。ノートパソコン１の本体２においては、当該本体２の各種機能を統括的に制御するＣＰＵ（Central Processing Unit ）５０がホストバス５２に接続されており、当該ＣＰＵ５０によってＲＡＭ（Random Access Memory）５３にロードされた各種プログラムやアプリケーションソフトウェアに応じた処理を、クロックジェネレータ６０から与えられるシステムクロックに基づいて所定の動作速度で実行することにより各種機能を実現し得るようになされている。
【００１９】
またホストバス５２には、キャッシュメモリ５１が接続されており、ＣＰＵ５０が使用するデータをキャッシュし、高速アクセスを実現し得るようになされている。
【００２０】
このホストバス５２は、ＰＣＩ（Peripheral Component Interconnect ）バス５５とホスト−ＰＣＩブリッジ５４を介して接続されており、当該ＰＣＩバス５５にはビデオコントローラ５６、ＩＥＥＥ１３４９インターフェース５７、ビデオキャプチャ処理チップ８３及びＰＣカードインターフェース５８が接続されている。
【００２１】
ここでホスト−ＰＣＩブリッジ５４は、ＣＰＵ５０と、ビデオコントローラ５６、ビデオキャプチャ処理チップ８３、ＩＥＥＥ１３４９インターフェース５７及びＰＣカードインターフェース５８との間で行われる各種データの授受を制御すると共に、メモリバス５９を介して接続されたＲＡＭ５３のメモリコントロールを行うようになされている。
【００２２】
またホスト−ＰＣＩブリッジ５４は、ビデオコントローラ５６とＡＧＰ（Accelerated Graphics Port ）に沿った信号線を介して接続されており、これにより当該ホスト−ＰＣＩブリッジ５４及びビデオコントローラ５６間で画像データを高速転送し得るようになされている。
【００２３】
ビデオキャプチャ処理チップ８３は、シリアルバスでなるＩ² Ｃバス８２（一般的にＳＭ（System Management ）バスとも呼ばれている）と接続されており、当該Ｉ² Ｃバス８２を介してＣＣＤカメラ８で撮像された画像データが供給されると、これを内蔵のフレームメモリ（図示せず）に一旦格納し、ＪＰＥＧ（Joint Photographic Experts Group）規格に従って画像圧縮処理を施すことによりＪＰＥＧ画像データを生成した後、当該ＪＰＥＧ画像データを再度フレームメモリに格納するようになされている。
【００２４】
そしてビデオキャプチャ処理チップ８３は、ＣＰＵ５０からの要求に応じて、フレームメモリに格納されているＪＰＥＧ画像データをバスマスタ機能を用いてＲＡＭ５３へ転送した後、ＪＰＥＧ画像（静止画）データ又はＭｏｔｉｏｎＪＰＥＧ画像（動画）データとしてハードディスクドライブ（ＨＤＤ）６７へ転送する。
【００２５】
またビデオコントローラ５６は、適時供給される各種アプリケーションソフトウェアに基づく画像データや、ＣＣＤカメラ８で撮像された画像データを表示部３の液晶ディスプレイ１０に出力することにより、複数のウィンドウ画面を表示し得るようになされている。
【００２６】
ＩＥＥＥ１３４９インターフェース５７は、ＩＥＥＥ１３９４端子２８と直結されており、当該ＩＥＥＥ１３９４端子２８を介して他のコンピュータ装置やディジタルビデオカメラ等の外部デバイスと接続し得るようになされている。
【００２７】
ＰＣカードインターフェース５８は、オプション機能を追加するときに適宜ＰＣカードスロット２７に装填されるＰＣカード（図示せず）と接続され、当該ＰＣカードを介して例えばＣＤ−ＲＯＭ（Compact Disc-Read Only Memory ）ドライブやＤＶＤ（Digital Versatile Disc）ドライブ等の外部デバイスと接続し得るようになされている。
【００２８】
ＰＣＩバス５５は、ＩＳＡ（Industrial Standard Architecture）バス６５とＰＣＩ−ＩＳＡブリッジ６６を介して接続されており、当該ＰＣＩ−ＩＳＡブリッジ６６にはＨＤＤ６７及びＵＳＢ端子２１が接続されている。
【００２９】
ここでＰＣＩ−ＩＳＡブリッジ６６は、ＩＤＥ（Integrated Drive Electronics）インターフェース、コンフィギュレーションレジスタ、ＲＴＣ（Real-Time Clock ）回路及びＵＳＢインターフェース等によって構成されており、クロックジェネレータ６０から与えられるシステムクロックを基にＩＤＥインターフェースを介してＨＤＤ６７の制御を行う。
【００３０】
ＨＤＤ６７のハードディスクには、 Windows９８（商標）等のＯＳ（Operating System）、電子メールプログラム、オートパイロットプログラム、ジョグダイヤルサーバプログラム、ジョグダイヤルドライバ、キャプチャーソフトウェア、ディジタル地図ソフトウェア及びこれら以外の各種アプリケーションソフトウェアが格納されており、起動処理の過程で適時ＲＡＭ５３に転送されてロードされる。
【００３１】
またＰＣＩ−ＩＳＡブリッジ６６は、ＵＳＢ端子２１を介して接続される図示しないフロッピーディスクドライブ、プリンタ及びＵＳＢマウス等の外部デバイスをＵＳＢインターフェースを介して制御すると共に、ＩＳＡバス６５に接続されるモデム６９及びサウンドコントローラ７０の制御を行う。
【００３２】
モデム６９は、モデム端子２５から図示しない公衆電話回線を介してインターネットサービスプロバイダ（以下、これをプロバイダと呼ぶ）に接続し、当該プロバイダを介してインターネットへダイヤルアップＩＰ接続するようになされている。
【００３３】
サウンドコントローラ７０は、マイクロフォン１３で集音された音声信号をディジタル変換することにより音声データを生成し、これをＣＰＵ５０に出力すると共に、当該ＣＰＵ５０から供給される音声データをアナログ変換することにより音声信号を生成し、これを内蔵スピーカ６を介して外部に出力する。
【００３４】
またＩＳＡバス６５には、Ｉ／Ｏ（In/Out）コントローラ７３が接続されており、外部電源コネクタ２２から電源供給充電制御回路８５を介して外部電源の電力供給を受け、電源スイッチ７がオンされたときに各回路へ電力の供給を行う。なお、ここでもＩ／Ｏコントローラ７３は、クロックジェネレータ６０から供給されるシステムクロックを基に動作する。
【００３５】
また電源供給充電制御回路８５は、Ｉ／Ｏコントローラ７３によって制御され、バッテリコネクタ２９（図３）に接続されたバッテリパック３０の充電を制御する。
【００３６】
Ｉ／Ｏコントローラ７３は、マイクロコントローラ、Ｉ／Ｏインターフェース、ＣＰＵ、ＲＯＭ、ＲＡＭ等によって構成されており、フラッシュメモリ７９に格納されているＢＩＯＳ（Basic Input/Output System ）に基づいてＯＳやアプリケーションソフトウェアと液晶ディスプレイ１０やＨＤＤ６７等の各種周辺機器との間におけるデータの入出力を制御する。
【００３７】
またＩ／Ｏコントローラ７３は、赤外線ポート１８と接続され、例えば他のコンピュータ装置との間で赤外線通信を実行し得るようになされている。
【００３８】
さらにＩ／Ｏコントローラ７３は、反転スイッチ７７と接続されており、撮像部１１が液晶ディスプレイ１０の背面側方向に１８０度回転されたとき当該反転スイッチ７７がオンされ、その旨をＰＣＩ−ＩＳＡブリッジ６６及びホスト−ＰＣＩブリッジ５４を介してＣＰＵ５０に通知する。
【００３９】
これに加えてＩ／Ｏコントローラ７３は、全押し／半押しスイッチ７８と接続されており、本体２の上面に設けられたシャッタボタン９が半押し状態にされたとき全押し／半押しスイッチ７８が半押し状態にオンされ、その旨をＣＰＵ５０に通知すると共に、シャッタボタン９が全押し状態にされたとき全押し／半押しスイッチ７８が全押し状態にオンされ、その旨をＣＰＵ５０に通知する。
【００４０】
すなわちＣＰＵ５０は、ＨＤＤ６７のハードディスクからキャプチャーソフトウェアをＲＡＭ５３上に立ち上げた状態で、ユーザによってシャッタボタン９が半押し状態にされると静止画像モードに入り、ＣＣＤカメラ８を制御して静止画像のフリーズを実行し、全押し状態にされるとフリーズされた静止画像データを取り込みビデオコントローラ５６に送出する。
【００４１】
これに対してＣＰＵ５０は、キャプチャーソフトウェアを立ち上げない状態で、ユーザによってシャッタボタン９が全押し状態にされると動画像モードに入り、最大６０秒程度までの動画像を取り込んでビデオコントローラ５６に送出するようになされている。
【００４２】
ところで、Ｉ／Ｏコントローラ７３のＲＯＭには、ウェイクアッププログラム、キー入力監視プログラム、ＬＥＤ制御プログラム及びジョグダイヤル状態監視プログラム、その他種々の制御プログラムが格納されている。
【００４３】
ここでジョグダイヤル状態監視プログラムは、ＨＤＤ６７のハードディスクに格納されているジョグダイヤルサーバプログラムと連動して用いられるプログラムであり、ジョグダイヤル２４が回転操作又は押圧操作されたか否かを監視するためのものである。
【００４４】
ウェイクアッププログラムは、ＰＣＩ−ＩＳＡブリッジ６６内のＲＴＣ回路から供給される現在時刻が予め設定した開始時刻と一致すると、ＣＰＵ５０によって所定の処理を実行するように制御されたプログラムであり、キー入力監視プログラムは操作キー４及びその他の各種キースイッチからの入力を監視するプログラムである。ＬＥＤ制御プログラムは、電源ランプＰＬ、電池ランプＢＬ、メッセージランプＭＬ（図１）等の各種ランプの点灯を制御するプログラムである。
【００４５】
またＩ／Ｏコントローラ７３のＲＡＭには、ジョグダイヤル状態監視プログラム用のＩ／Ｏレジスタ、ウェイクアッププログラム用の設定時刻レジスタ、キー入力監視プログラム用のキー入力監視レジスタ、ＬＥＤ制御プログラム用のＬＥＤ制御レジスタ及びその他の各種プログラム用のレジスタが設けられている。
【００４６】
設定時刻レジスタは、ウェイクアッププログラムで用いるためにユーザが予め任意に設定した開始時刻の時間情報を格納するようになされている。従ってＩ／Ｏコントローラ７３は、ウェイクアッププログラムに基づいてＲＴＣ回路から供給される現在時刻が任意に設定した開始時刻と一致するか否かを判別し、当該開始時刻と一致したときにはその旨をＣＰＵ５０に通知する。
【００４７】
これによりＣＰＵ５０は、開始時刻で予め設定された所定のアプリケーションソフトウェアを立ち上げ、当該アプリケーションソフトウェアに従って所定の処理を実行する。
【００４８】
またキー入力監視レジスタは、操作キー４、スティック５、左クリックボタン５Ａ、右クリックボタン５Ｂ及びセンタボタン５Ｃ等の入力操作に応じた操作キーフラグを格納するようになされている。
【００４９】
従ってＩ／Ｏコントローラ７３は、キー入力監視プログラムに基づいて例えばスティック５によるポインティング操作や、左クリックボタン５Ａ、右クリックボタン５Ｂ及びセンタボタン５Ｃのクリック操作が行われたか否かを操作キーフラグの状態に基づいて判別し、ポインティング操作やクリック操作が行われたときにはその旨をＣＰＵ５０に通知する。
【００５０】
ここでポインティング操作とは、スティック５を指で上下左右に押圧操作することによりマウスカーソルを画面上の所望位置に移動する操作のことであり、クリック操作とは左クリックボタン５Ａ又は右クリックボタン５Ｂを指で素早く押して離す操作のことである。
【００５１】
これによりＣＰＵ５０は、ポインティング操作によるマウスカーソルの移動やクリック操作に応じた所定の処理を実行する。
【００５２】
またＬＥＤ制御レジスタは、電源ランプＰＬ、電池ランプＢＬ、メッセージランプＭＬ等の各種ランプの点灯状態を示す点灯フラグを格納するようになされている。
【００５３】
従ってＩ／Ｏコントローラ７３は、例えばジョグダイヤル２４の押圧操作によりＣＰＵ５０がＨＤＤ６７のハードディスクから電子メールプログラムを立ち上げ、当該電子メールプログラムに従って電子メールを受け取ったときに点灯フラグを格納すると共に、当該点灯フラグに基づいてＬＥＤ８１を制御することによりメッセージランプＭＬを点灯させる。
【００５４】
またジョグダイヤル状態監視プログラム用のＩ／Ｏレジスタは、ジョグダイヤル２４に対する回転操作及び押圧操作に応じた回転操作フラグ及び押圧操作フラグを格納するようになされている。
【００５５】
従ってＩ／Ｏコントローラ７３は、回転検出部８８を介して接続されたジョグダイヤル２４の回転操作及び押圧操作により複数のメニュー項目の中からユーザ所望のメニュー項目が選択されたとき、Ｉ／Ｏレジスタに格納されている回転操作フラグ及び押圧操作フラグを立てると共に、その旨をＣＰＵ５０に通知する。
【００５６】
これによりＣＰＵ５０は、ＨＤＤ６７から読み出してＲＡＭ５３上に立ち上げたジョグダイヤルサーバプログラムに従って、ジョグダイヤル２４の回転操作及び押圧操作によって決定されたメニュー項目に該当するアプリケーションソフトウェアを立ち上げて所定の処理を実行する。
【００５７】
ここでＩ／Ｏコントローラ７３は、電源スイッチ７がオフでＯＳが起動していない状態であっても、電源供給充電制御回路８５の制御によって常時動作しており、専用キーを設けることなく省電力状態又は電源オフ時のジョグダイヤル２４の押圧操作によってユーザ所望のアプリケーションソフトウェアやスクリプトファイルを起動し得るようになされている。
【００５８】
なおＩ／Ｏコントローラ７３は、Ｉ² Ｃバス８２とも接続されており、操作キー４やジョグダイヤル２４によって設定されたＣＣＤカメラ８に対する各種設定パラメータをＩ² Ｃバス８２を介して供給することにより、ＣＣＤカメラ８における明るさやコントラストを調整するようになされている。
【００５９】
（１−３）ジェスチャー認識処理
かかる構成に加えてノートパソコン１は、ＣＣＤカメラ８で撮像されたユーザの手の動き（ジェスチャー）を認識するためのサイバージェスチャープログラムと呼ばれるアプリケーションソフトウェアをＨＤＤ６７のハードディスクから立ち上げ、当該サイバージェスチャープログラムに基づいてＣＣＤカメラ８で撮像したユーザの手の動きを認識し、その認識結果に応じた所定の処理をアプリケーションソフトウェアに基づくアクティブウィンドウ画面上で実行するようになされている。
【００６０】
すなわちノートパソコン１は、例えば撮像された静止画を加工することが可能な画像編集プログラムを立ち上げ、加工対象となる静止画を選択するためにＨＤＤ６７のハードディスクに格納されている複数枚の静止画を液晶ディスプレイ１０に順次表示する場合、ユーザによるジョグダイヤル２４の回動操作に応じて液晶ディスプレイ１０に表示した静止画を１枚づつ送り進めたり送り戻すような画像送り動作を行うが、本発明においてはＣＣＤカメラ８で撮像されたユーザの手の動きをＣＰＵ５０に認識させることにより、当該ＣＰＵ５０の制御により上述の画像送り動作をジョグダイヤル２４に触れることなく非接触で実行し得るようになされている。
【００６１】
因みにノートパソコン１では、ジョグダイヤル２４がユーザから見て奥行側に所定角度以上回転されたときに液晶ディスプレイ１０に表示した静止画を１枚だけ送り進め、ジョグダイヤル２４がユーザから見て手前側に所定角度以上回転されたときに液晶ディスプレイ１０に表示した静止画を１枚だけ送り戻すようになされている。
【００６２】
実際上ノートパソコン１のＣＰＵ５０は、図５のルーチンＲＴ１の開始ステップから入って次のステップＳＰ１に移り、ユーザの操作に応じてＨＤＤ６７のハードディスクからサイバージェスチャープログラムを立ち上げ、当該サイバージェスチャープログラムに従って図６に示すようなジェスチャー認識画面１００を生成し、これを画像編集プログラムに応じたアクティブウィンドウ画面の静止画に重ねて表示した後、次のステップＳＰ２に移る。
【００６３】
ここで、図７に示すようにジェスチャー認識画面１００は、１６４×１３６ピクセルの画面サイズで構成され、当該ジェスチャー認識画面１００の上端部にサイバージェスチャープログラムであることを示す「CYBERGESTURE」（ソニー（株）商標）のタイトル文字部１０１、機能のオプション選択を行うためのオプションボタン１０２、ヘルプボタン１０３、最小化ボタン１０４及び閉じるボタン１０５が設けられている。
【００６４】
このジェスチャー認識画面１００は、液晶ディスプレイ１０の画面サイズ（１０２４×４８０ピクセル）に比べて極めて小さな画面サイズで形成されており、これにより当該ジェスチャー認識画面１００の背景に表示されているアクティブウィンドウ画面の静止画に対する隠蔽面積を極力小さくするようになされている。
【００６５】
なおノートパソコン１のＣＰＵ５０は、ジェスチャー認識画面１００においてオプションボタン１０２、ヘルプボタン１０３、最小化ボタン１０４及び閉じるボタン１０５のいずれかにマウスカーソルが合わせられたときには、そのボタン部分を盛り上がった状態に表示し、クリックされた選択後にはそのボタン部分を凹んだ状態に表示するようになされており、これによりボタン部分に対する選択及び決定操作を視覚的に容易に実行し得るようになされている。
【００６６】
またノートパソコン１のＣＰＵ５０は、ジェスチャー認識画面１００におけるジェスチャー認識表示エリア１０６を２５６階調のグレースケールで表示すると共に、当該ジェスチャー認識表示エリア１０６のほぼ中央部分に、５個の正方形状に形成されたターゲット１０７Ａ〜１０７Ｅからなるターゲット部１０７を横一列に配列して表示するようになされている。
【００６７】
これによりＣＰＵ５０は、ジェスチャー認識画面１００のジェスチャー認識表示エリア１０６に表示したターゲット部１０７によって、ユーザの手が動かされたときの左右方向の動作をノートパソコン１が認識するようになされていることを当該ユーザに対して容易に想像させて通知し得るようになされている。
【００６８】
また各ターゲット１０７Ａ〜１０７Ｅは、図８に示すように全体が８ピクセル×８ピクセルのサイズで、それぞれ１ピクセル幅の枠部分１０７ＡＦ〜１０７ＥＦによって形成されると共に、枠部分１０７ＡＦ〜１０７ＥＦが赤色で表示されるようになされていおり、これにより背景のグレースケール表示に対してターゲット１０７Ａ〜１０７Ｅを視認し易くしている。
【００６９】
なおジェスチャー認識画面１００のジェスチャー認識表示エリア１０６は、走査線の２水平ライン毎に黒色のライン表示（図示せず）がなれており、これにより通常の画像を表示するような画面とは異なり、ジェスチャー認識画面１００であることをユーザに対して容易に認識させるようになされている。
【００７０】
ステップＳＰ２においてＣＰＵ５０は、表示部３の正面に存在するユーザを撮像部１１のＣＣＤカメラ８で撮像し、その結果得られる入力画像をジェスチャー認識画面１００のジェスチャー認識表示エリア１０６に表示し、次のサブルーチンＳＲＴ２に移る。
【００７１】
図９に示すように、サブルーチンＳＲＴ２のステップＳＰ２１においてＣＰＵ５０は、ジェスチャー認識画面１００のジェスチャー認識表示エリア１０６に表示した入力画像を色成分に基づいて複数種類の色領域に分割し、次のステップＳＰ２２に移る。
【００７２】
因みに色領域とは、図１０に示すように所定のＹＵＶ色度空間上に表され、当該ＹＵＶ色度空間上の例えば斜線で示された＋Ｙ、−Ｕ、−Ｖ象限の所定領域をユーザの手の平の色と等価な色領域Ｒ（以下、これを肌色領域Ｒと呼ぶ）であると見なしている。
【００７３】
ステップＳＰ２２においてＣＰＵ５０は、ＹＵＶ（輝度・色差）色度空間上の肌色領域Ｒに対応する所定の肌色テーブルと入力画像の各色領域とをそれぞれ比較し、次のステップＳＰ２３に移る。
【００７４】
この場合、入力画像の各色領域は例えばユーザの顔領域や手の平領域等の肌色領域Ｒと、服装部分の非肌色領域とに大きく分けられる。
【００７５】
ステップＳＰ２３においてＣＰＵ５０は、肌色テーブルと入力画像の各色領域とをそれぞれ比較した結果、入力画像の中に肌色であると認められる肌色領域Ｒが存在するか否かを判定する。
【００７６】
ここで否定結果が得られると、このことは肌色テーブルに対応する肌色領域Ｒが入力画像の中には存在していないことを表しており、このときＣＰＵ５０は次のステップＳＰ２９に移る。
【００７７】
ステップＳＰ２９においてＣＰＵ５０は、肌色領域Ｒが入力画像の中に存在しておらず、ユーザの手の動きを認識することはできないので次のフレームの入力画像へ進み、上述のステップＳＰ２１に戻る。
【００７８】
これに対してステップＳＰ２３で肯定結果が得られると、このことは肌色テーブルに対応する肌色領域Ｒが入力画像の中に存在していることを表しており、このときＣＰＵ５０は次のステップＳＰ２４に移る。
【００７９】
ステップＳＰ２４においてＣＰＵ５０は、現フレームの入力画像における肌色領域Ｒの動きを当該現フレームと前フレームとの座標値の変化に基づいて検出し、次のステップＳＰ２５に移る。
【００８０】
ステップＳＰ２５においてＣＰＵ５０は、動きのある肌色領域Ｒが入力画像の中に存在しているか否かを判定する。ここで否定結果が得られると、このことは動きのある肌色領域Ｒが入力画像の中に存在していないことを表しており、このときＣＰＵ５０は次のステップＳＰ２９に移り、次のフレームの入力画像へ進んで上述のステップＳＰ２１に戻る。
【００８１】
これに対してステップＳＰ２５で肯定結果が得られると、このことは動きのある肌色領域Ｒが入力画像の中に存在していることを表しており、このときＣＰＵ５０は次のステップＳＰ２６に移る。
【００８２】
ステップＳＰ２６においてＣＰＵ５０は、動きのある肌色領域Ｒのうち最大面積の肌色領域Ｒを検出し、これを仮に手の平領域として判断した後、次のステップＳＰ２７に移る。
【００８３】
ステップＳＰ２７においてＣＰＵ５０は、ステップＳＰ２６で判断した手の平領域全体の座標値を取得し、次のステップＳＰ２８に移る。
【００８４】
ステップＳＰ２８においてＣＰＵ５０は、ステップＳＰ２７で取得した手の平領域全体の座標値に基づいて当該手の平領域の重心を算出した後、当該重心に対する垂直方向上方に相当する手の平領域の上端位置の座標を検出し、これを手の指先に該当する重心上部データとして取得することにより、サブルーチンＳＲＴ２における手の位置情報に関する取得処理手順を終了し、ルーチンＲＴ１（図５）のステップＳＰ３に移る。
【００８５】
ステップＳＰ３においてＣＰＵ５０は、サブルーチンＳＲＴ２で取得した重心上部データに基づいてユーザの手がジェスチャー認識画面１００のジェスチャー認識表示エリア１０６に存在するか否かを判定する。
【００８６】
ここで否定結果が得られると、このことはサブルーチンＳＲＴ２で重心上部データが取得されておらず、すなわちユーザの手がジェスチャー認識画面１００のジェスチャー認識表示エリア１０６に存在していないことを表しており、このときＣＰＵ５０は、次のステップＳＰ４に移る。
【００８７】
ステップＳＰ４においてＣＰＵ５０は、ユーザの手がジェスチャー認識画面１００のジェスチャー認識表示エリア１０６に表示されていないので、現在ユーザの手を認識するためのサーチ状態であることを示すアニメーション表示を行い、上述のステップＳＰ２に戻る。
【００８８】
この場合、図１１に示すようにＣＰＵ５０は、ジェスチャー認識画面１００のジェスチャー認識表示エリア１０６にユーザの肌色部分が殆ど表示されておらず、現時点ではユーザの手を認識し得ていないので、肌色領域Ｒのサーチ状態であることをターゲット部１０７を用いたアニメーション表示によってユーザに容易に認識させ得るようになされている。
【００８９】
すなわちＣＰＵ５０は、各ターゲット１０７Ａ〜１０７Ｅにおける枠部分１０７ＡＦ〜１０７ＥＦの内部領域（破線で示す）を矢印Ａ及びＢで示す左右方向に沿って赤色で順番に交互表示することによりグラデュエーション効果をもたらし、サイバージェスチャープログラムが起動中でユーザの手をサーチ中であることをユーザに対して容易に想像させ得るようになされている。
【００９０】
これに対してステップＳＰ３で肯定結果が得られると、このことはサブルーチンＳＲＴ２で重心上部データが取得された、すなわちユーザの手がジェスチャー認識画面１００のジェスチャー認識表示エリア１０６に存在していることを表しており、このときＣＰＵ５０は、次のステップＳＰ５に移る。
【００９１】
ステップＳＰ５においてＣＰＵ５０は、図１２に示すように取得した重心上部データに対応する位置に所定形状のポインタ１０８を表示すると共に、当該ポインタ１０８を含みユーザの手の平領域全体に渡って囲われた手の平領域認識枠１０９をジェスチャー認識表示エリア１０６の入力画像上にオーバーラップ表示し、次のサブルーチンＳＲＴ３に移る。
【００９２】
ここでＣＰＵ５０は、手の平領域認識枠１０９を１ピクセル幅で白色表示し、ターゲット部１０７の各１０７Ａ〜１０７Ｅと同様の形状及びサイズで形成されたポインタ１０８における１ピクセル幅のポインタ枠１０８Ｆを白色表示すると共に、その内部を赤色表示するようになされている。
【００９３】
これによりＣＰＵ５０は、各ターゲット１０７Ａ〜１０７Ｅにおける枠部分１０７ＡＦ〜１０７ＥＦの赤色表示と、ポインタ１０８におけるポインタ枠１０８Ｆの白色表示とによって、各ターゲット１０７Ａ〜１０７Ｅとポインタ１０８とをユーザに対して明確に区別させるようになされている。
【００９４】
なおＣＰＵ５０は、ユーザの手の動きに応じて手の平領域認識枠１０９及びポインタ１０８を連動して動かせながら表示するようになされている。
【００９５】
続いて図１３に示すように、サブルーチンＳＲＴ３のステップＳＰ３１においてＣＰＵ５０は、ＲＡＭ５３を用いてリングバッファ状に格納された現フレームと、当該現フレームに隣合う前フレームとの隣接フレーム間における重心上部データの座標値の差分に基づいて指先移動距離を求め、次のステップＳＰ３２に移る。
【００９６】
ステップＳＰ３２においてＣＰＵ５０は、ステップＳＰ３１で算出した隣接フレーム間の指先移動距離が所定の上限閾値以下であるか否かを判定する。ここで否定結果が得られると、このことは前フレームの指先を示す位置から現フレームの指先を示す位置までの距離が極端に離れ過ぎていることにより、手の動きを認識するためのデータとして指先移動距離が不適切であることを表しており、このときＣＰＵ５０は次のステップＳＰ３３に移る。
【００９７】
ステップＳＰ３３においてＣＰＵ５０は、隣接フレーム間の指先移動距離をデータとして使用することが不適切であるので、ステップＳＰ３４以降で行う指先移動距離の算出を停止し、ルーチンＲＴ１（図５）のステップＳＰ２に戻って上述の処理を繰り返す。
【００９８】
これに対してステップＳＰ３２で肯定結果が得られると、このことは前フレームの指先を示す位置から現フレームの指先を示す位置までの距離が極端に離れ過ぎてはおらず、手の動きを認識するためのデータとして指先移動距離が適切であることを表しており、このときＣＰＵ５０は次のステップＳＰ３４に移る。
【００９９】
ステップＳＰ３４においてＣＰＵ５０は、図１４に示すようにリングバッファ状に順次格納された現フレームの指先を示す重心上部データと、所定範囲の過去数フレームの中から選ばれた任意の過去フレームの指先を示す重心上部データとの座標値の差分が最大長さとなるものを最大指先移動距離として算出し、当該最大指先移動距離が所定の下限閾値よりも大きいか否かを判定する。
【０１００】
ここで否定結果が得られると、このことは複数フレームに渡る入力画像の状態遷移に基づく最大指先移動距離が所定の下限閾値よりも小さいこと、すなわち手の動きとして認識するに値しない程度でしか動いていないことを表しており、このときＣＰＵ５０は最大指先移動距離を認識処理から除外し、ステップＳＰ３１に戻って上述の処理を繰り返す。
【０１０１】
これに対してステップＳＰ３４で肯定結果が得られると、このことは最大指先移動距離が所定の下限閾値よりも大きく、確実に手の指先が左右に移動したと認められることを表しており、このときＣＰＵ５０は次のステップＳＰ３５に移る。
【０１０２】
ステップＳＰ３５においてＣＰＵ５０は、現フレームの指先を示す重心上部データと最大指先移動距離を算出したときに用いられた過去フレームの指先を示す重心上部データとの移動ベクトルに基づいて指先移動距離の移動方向（右方向又は左方向）を検出し、ルーチンＲＴ１（図５）のステップＳＰ６に戻る。
【０１０３】
ステップＳＰ６においてＣＰＵ５０は、最大指先移動距離及び当該最大指先移動距離の移動方向を検出したので、当該検出した手の平領域全体の現フレームの画素データと前フレームの画素データとの座標値の単位時間当たりの変化に基づいて当該検出した手の平領域全体の動き速度が所定の速度を超えているか否かを判定する。
【０１０４】
ここで否定結果が得られると、このことは検出した手の平領域全体の動き速度が所定の速度を超えていない、すなわち比較的遅く動いているので実際には手の平領域ではなく顔領域である可能性があると判断し、再度ステップＳＰ２に戻って上述の処理を繰り返す。
【０１０５】
これに対してステップＳＰ６で肯定結果が得られると、このことは検出した手の平領域全体の動き速度が所定の速度を超えている、すなわち比較的速く動いているので手の平領域である可能性が一段と高いと判断し、次のステップＳＰ７に移る。
【０１０６】
この場合ＣＰＵ５０は、単一フレームの入力画像に手の平領域と思われる候補が２つ以上存在したときに、手の平領域と顔領域とを一段と正確に判別し得るようになされている。
【０１０７】
ステップＳＰ７においてＣＰＵ５０は、図１５に示すようにサイバージェスチャープログラム１８０に基づいて認識した手の平領域のジェスチャー動作の認識結果をジョグダイヤル用のＡＰＩ（Application Programming Interface ）１８１を介してジョグダイヤルサーバープログラム１８２に供給すると共に、ユーザが動かした手の動き（ジェスチャー）を表す軌跡と、当該ジェスチャーをノートパソコン１がどのように認識したのかを示す認識過程を、ジェスチャー認識画面１００にビジュアルフィードバック表示し、次のステップＳＰ８に移る。
【０１０８】
ここでＡＰＩとは、ＯＳがアプリケーションソフトウェアに対して公開しているプログラムインターフェースであり、アプリケーションソフトウェアは基本的に全ての処理を当該ＡＰＩを経由して行うようになされている。因みに、現在一般的なＯＳのＡＰＩは、関数の形式をとっており、アプリケーションソフトウェアからは適当な引数（パラメータ）を指定してＡＰＩの関数を呼び出すようになされている。
【０１０９】
因みにＣＰＵ５０は、ジョグダイヤル２４の動作結果とサイバージェスチャープログラム１８０に基づく認識結果を同一の入力形式で取り込み、兼用のジョグダイヤル用のＡＰＩ１８１を介してジョグダイヤルサーバープログラム１８２に供給するようになされており、これによりソフトウェア的な処理を簡素化し得るようになされている。
【０１１０】
実際上ＣＰＵ５０は、図１６（Ａ）に示すようなビジュアルフィードバック画面１９１を生成し、当該ビジュアルフィードバック画面１９１を介して、ユーザが実際に動かした手の動き（ジェスチャー）を示す軌跡に対応して、軌跡表示枠１２０内に予め斜めに配置されたターゲット１０７Ａ〜１０７Ｅ上にポインタ１０８を重ねて矢印Ｃ方向に移動させながら表示することにより、実際の手の動きの認識過程をユーザに対して視覚的に確認させ得るようになされている。
【０１１１】
続いてＣＰＵ５０は、図１６（Ｂ）に示すようなビジュアルフィードバック画面１９２を生成し、これをビジュアルフィードバック画面１９１に置き換えて表示する。
【０１１２】
このビジュアルフィードバック画面１９２は、ビジュアルフィードバック画面１９１における軌跡表示枠１２０を変形することによりターゲット１０７Ａ〜１０７Ｅの高さを横一列に揃えた状態の方向表示枠１２１を形成して線素化すると共に、当該方向表示枠１２１内の右端にターゲット１０７Ｅを、左端にポインタ１０８を表示するようになされており、当該方向表示枠１２１を介してユーザの手が矢印Ｄ方向（右方向から左方向へ）に動かされたことを簡略的に示すようになされている。
【０１１３】
最後にＣＰＵ５０は、図１６（Ｃ）に示すようなビジュアルフィードバック画面１９３を生成し、これをビジュアルフィードバック画面１９２に置き換えて表示する。
【０１１４】
このビジュアルフィードバック画面１９３は、ビジュアルフィードバック画面１９２の方向表示枠１２１を消去すると共に、横一列に配列した各ターゲット１０７Ａ〜１０７Ｅ上にポインタ１０８を重ねて矢印Ｄ方向に向かって移動させながら繰り返し表示するようになされており、ユーザの手が右側から左側（矢印Ｄ方向）へ動かされたとノートパソコン１が認識したことをユーザに対して容易に認識させ得るようになされている。
【０１１５】
なおＣＰＵ５０は、各ターゲット１０７Ａ〜１０７Ｅ上にポインタ１０８を重ねて矢印Ｄ方向に向かって移動させながら表示する際、ユーザの手の動きを認識したときと同じ手の移動速度でポインタ１０８を移動させるようになされており、これによりノートパソコン１が認識可能な手の移動速度をユーザに対して知らしめるようになされている。
【０１１６】
ステップＳＰ８においてＣＰＵ５０は、ユーザの手を動きを認識した後、当該手の動きに応じた所定のコマンドをジョグダイヤルサーバープログラム１８２（図１５）からアプリケーションソフトウェア１８３に供給して所定の処理を実行するが、このとき認識結果に応じた所定の処理を実行中であるので、手の動きの認識直後については数フレーム分の入力画像に対してジェスチャー認識処理を実行せず、再度ステップＳＰ２に戻って上述の処理を繰り返す。
【０１１７】
これによりＣＰＵ５０は、誤動作を起こすことがなく確実にユーザの手の動きに応じた処理をアクティブウィンドウ画面上で実行した後に、次のユーザの手の動きの応じた処理を実行することができる。
【０１１８】
このようにノートパソコン１のＣＰＵ５０は、サイバージェスチャープログラム１８０に従ってユーザの手の動きを認識した後、当該認識結果に応じた所定のコマンドをジョグダイヤルサーバープログラム１８２を介してアプリケーションソフトウェア１８３に供給し、当該アプリケーションソフトウェア１８３に基づくアクティブウィンドウ画面上でコマンドに応じた所定の画像送り動作を実行し得るようになされている。
【０１１９】
実際上ノートパソコン１のＣＰＵ５０は、手のジェスチャーが左側から右側への動き（矢印Ｄ方向とは逆方向）であると認識した場合、ジェスチャー認識画面１００の背景に表示されているアクティブウィンドウ画面の静止画を１枚分だけ送り進め、手のジェスチャーが右側から左側への動き（矢印Ｄ方向）であると認識した場合、ジェスチャー認識画面１００の背景に表示されているアクティブウィンドウ画面の静止画を１枚分だけ送り戻すようになされている。
【０１２０】
これによりユーザは、ジョグダイヤル２４を直接操作することなく、撮像部１１のＣＣＤカメラ８に手をかざして左右いずれかに動かすだけで、ジェスチャー認識画面１００の背景に表示されているアクティブウィンドウ画面の静止画を所望方向に画像送りすることができる。
【０１２１】
（１−４）第１の実施の形態における動作及び効果
以上の構成において、ノートパソコン１のＣＰＵ５０は、画像編集プログラムを立ち上げて液晶ディスプレイ１０にアクティブウィンドウ画面を表示した状態でサイバージェスチャープログラム１８０を起動することにより、アクティブウィンドウ画面の静止画にジェスチャー認識画面１００を重ねて表示する。
【０１２２】
このときノートパソコン１のＣＰＵ５０は、ジェスチャー認識画面１００におけるジェスチャー認識表示エリア１０６のほぼ中央部分に５個の正方形状に形成されたターゲット１０７Ａ〜１０７Ｅからなるターゲット部１０７を横一列に順次配列して表示する。
【０１２３】
これによりノートパソコン１のＣＰＵ５０は、ユーザの手が動かれたときの移動方向として左右方向の動作を当該ノートパソコン１が認識可能であることを当該ユーザに対して容易に想像させることができるので、認識可能な移動方向をユーザに対して予め確実に通知することができる。
【０１２４】
またノートパソコン１のＣＰＵ５０は、各ターゲット１０７Ａ〜１０７Ｅの枠部分１０７ＡＦ〜１０７ＥＦを赤色表示することにより、背景のグレースケール表示に対してターゲット１０７Ａ〜１０７Ｅをユーザに対して視認し易く表示することができる。
【０１２５】
以上の構成によれば、ノートパソコン１はサイバージェスチャープログラム１８０に従ってジェスチャー認識画面１００におけるジェスチャー認識表示エリア１０６のほぼ中央部分に５個の正方形状に形成されたターゲット１０７Ａ〜１０７Ｅからなるターゲット部１０７を横一列に順次配列して表示することにより、ユーザの手が動かれたときの移動方向として左右方向の動作を当該ノートパソコン１が認識可能であることを当該ユーザに対して予め確実に通知することができる。
【０１２６】
（２）第２の実施の形態
（２−１）ネットワークシステムの全体構成
図１７において、２００は全体として本発明を適用した携帯電話機ＭＳ３が接続されているネットワークシステムを示し、通信サービスの提供エリアを所望の大きさに分割したセル内にそれぞれ固定無線局である基地局ＣＳ１〜ＣＳ４が設置されている。
【０１２７】
これらの基地局ＣＳ１〜ＣＳ４には、移動無線局である携帯情報端末ＭＳ１及びＭＳ２やカメラ付ディジタル携帯電話機ＭＳ３及びＭＳ４が例えばＷ−ＣＤＭＡ（Wideband-Code Division Multiple Access）と呼ばれる符号分割多元接続方式によって無線接続されるようになされており、２[GHz] の周波数帯域を使用して最大２[Mbps]のデータ転送速度で大容量データを高速にデータ通信し得るようになされている。
【０１２８】
このように携帯情報端末ＭＳ１及びＭＳ２やカメラ付ディジタル携帯電話機ＭＳ３及びＭＳ４は、Ｗ−ＣＤＭＡ方式によって大容量データを高速にデータ通信し得るようになされていることにより、音声通話だけでなく電子メールの送受信、簡易ホームページの閲覧、画像の送受信等の多種に及ぶデータ通信を実行し得るようになされている。
【０１２９】
また基地局ＣＳ１〜ＣＳ４は、有線回線を介して公衆回線網ＩＮＷに接続されており、当該公衆回線網ＩＮＷにはインターネットＩＴＮや、図示しない多くの加入者有線端末、コンピュータネットワーク及び企業内ネットワーク等が接続されている。
【０１３０】
公衆回線網ＩＮＷには、インターネットサービスプロバイダのアクセスサーバＡＳも接続されており、当該アクセスサーバＡＳには当該インターネットサービスプロバイダが保有するコンテンツサーバＴＳが接続されている。
【０１３１】
このコンテンツサーバＴＳは、加入者有線端末や携帯情報端末ＭＳ１、ＭＳ２及びカメラ付ディジタル携帯電話機ＭＳ３、ＭＳ４からの要求に応じて例えば簡易ホームページ等のコンテンツを例えばコンパクトＨＴＭＬ（Hyper Text Markup Language）形式のファイルとして提供するようになされている。
【０１３２】
ところでインターネットＩＴＮには、多数のＷＷＷサーバＷＳ１〜ＷＳｎが接続され、ＴＣＰ／ＩＰプロトコルに従って加入者有線端末や携帯情報端末ＭＳ１、ＭＳ２及びカメラ付ディジタル携帯電話機ＭＳ３、ＭＳ４からＷＷＷサーバＷＳ１〜ＷＳｎに対してアクセスし得るようになされている。
【０１３３】
因みに携帯情報端末ＭＳ１、ＭＳ２及びカメラ付ディジタル携帯電話機ＭＳ３、ＭＳ４は、図示しない基地局ＣＳ１〜ＣＳ４までを２ [Mbps] の簡易トランスポートプロトコルで通信し、当該基地局ＣＳ１〜ＣＳ４からインターネットＩＴＮを介してＷＷＷサーバＷＳ１〜ＷＳｎまでをＴＣＰ／ＩＰプロトコルで通信するようになされている。
【０１３４】
なお管理制御装置ＭＣＵは、公衆回線網ＩＮＷを介して加入者有線端末や携帯情報端末ＭＳ１、ＭＳ２及びカメラ付ディジタル携帯電話機ＭＳ３、ＭＳ４に接続されており、当該加入者有線端末や携帯情報端末ＭＳ１、ＭＳ２及びカメラ付ディジタル携帯電話機ＭＳ３、ＭＳ４に対する認証処理や課金処理等を行うようになされている。
【０１３５】
（２−２）カメラ付ディジタル携帯電話機の外観構成
次に本発明を適用したカメラ付ディジタル携帯電話機ＭＳ３の外観構成について説明する。図１８に示すようにカメラ付ディジタル携帯電話機ＭＳ３は、中央のヒンジ部２１１を境に表示部２１２と本体２１３とに分けられており、当該ヒンジ部２１１を介して折り畳み可能に形成されている。
【０１３６】
表示部２１２には、上端左部に送受信用のアンテナ２１４が引出し及び収納可能な状態に取り付けられており、当該アンテナ２１４を介して基地局ＣＳ３との間で電波を送受信するようになされている。
【０１３７】
また表示部２１２には、上端中央部にほぼ１８０度の角度範囲で回動自在なカメラ部２１５が設けられており、当該カメラ部２１５のＣＣＤカメラ２１６によって所望の撮像対象を撮像し得るようになされている。
【０１３８】
ここで表示部２１２は、カメラ部２１５がユーザによってほぼ１８０度回動されて位置決めされた場合、図１９に示すように当該カメラ部２１５の背面側中央に設けられたスピーカ２１７が正面側に位置することになり、これにより通常の音声通話状態に切り換わるようになされている。
【０１３９】
さらに表示部２１２には、その正面に液晶ディスプレイ２１８が設けられており、電波の受信状態、電池残量、電話帳として登録されている相手先名や電話番号及び発信履歴等の他、電子メールの内容、簡易ホームページ、カメラ部２１５のＣＣＤカメラ２１６で撮像した画像を表示し得るようになされている。
【０１４０】
一方、本体２１３には、その表面に「０」〜「９」の数字キー、発呼キー、リダイヤルキー、終話及び電源キー、クリアキー及び電子メールキー等の操作キー２１９が設けられており、当該操作キー２１９を用いて各種指示を入力し得るようになされている。
【０１４１】
また本体２１３には、操作キー２１９の下部にメモボタン２２０やマイクロフォン２２１が設けられており、当該メモボタン２２０によって通話中の相手の音声を録音し得ると共に、マイクロフォン２２１によって通話時のユーザの音声を集音するようになされている。
【０１４２】
さらに本体２１３には、操作キー２１９の上部に回動自在なジョグダイヤル２２２が当該本体２１３の表面から僅かに突出した状態で設け等られており、当該ジョグダイヤル２２２に対する回動操作に応じて液晶ディスプレイ２１８に表示されている電話帳リストや電子メールのスクロール動作、簡易ホームページのページ捲り動作及び画像の送り動作等の種々の動作を実行するようになされている。
【０１４３】
例えば本体２１３は、ユーザによるジョグダイヤル２２２の回動操作に応じて液晶ディスプレイ２１８に表示された電話帳リストの複数の電話番号の中から所望の電話番号が選択され、当該ジョグダイヤル２２２が本体２１３の内部方向に押圧されると、選択された電話番号を確定して当該電話番号に対して自動的に発呼処理を行うようになされている。
【０１４４】
なお本体２１３は、背面側に図示しないバッテリパックが挿着されており、終話及び電源キーがオン状態になると、当該バッテリパックから各回路部に対して電力が供給されて動作可能な状態に起動する。
【０１４５】
ところで本体２１３には、当該本体２１３の左側面上部に抜差自在なメモリスティック（ソニー（株）商標）２２３を挿着するためのメモリスティックスロット２２４が設けられており、メモボタン２２０が押下されるとメモリスティック２２３に通話中の相手の音声を記録したり、ユーザの操作に応じて電子メール、簡易ホームページ、ＣＣＤカメラ２１６で撮像した画像を記録し得るようになされている。
【０１４６】
ここでメモリスティック２２３は、本願出願人であるソニー株式会社によって開発されたフラッシュメモリカードの一種である。このメモリスティック２２３は、縦21.5×横50×厚さ2.8[mm] の小型薄型形状のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory ）の一種であるフラッシュメモリ素子を格納したものであり、１０ピン端子を介して画像や音声、音楽等の各種データの書き込み及び読み出しが可能となっている。
【０１４７】
またメモリスティック２２３は、大容量化等による内蔵フラッシュメモリの仕様変更に対しても、使用する機器で互換性を確保することができる独自のシリアルプロトコルを採用し、最大書込速度1.5[MB/S] 、最大読出速度2.45[MB/S]の高速性能を実現していると共に、誤消去防止スイッチを設けて高い信頼性を確保している。
【０１４８】
従ってカメラ付ディジタル携帯電話機ＭＳ３は、このようなメモリスティック２２３を挿着可能に構成されているために、当該メモリスティック２２３を介して他の電子機器との間でデータの共有化を図ることができるようになされている。
【０１４９】
（２−３）カメラ付ディジタル携帯電話機の回路構成
図２０に示すように、カメラ付ディジタル携帯電話機ＭＳ３は、表示部２１２及び本体２１３の各部を統括的に制御するようになされた主制御部２５０に対して、電源回路部２５１、操作入力制御部２５２、画像エンコーダ２５３、カメラインターフェース部２５４、ＬＣＤ（Liquid Crystal Display）制御部２５５、画像デコーダ２５６、多重分離部２５７、記録再生部２６２、変復調回路部２５８及び音声コーデック２５９がメインバス２６０を介して互いに接続されると共に、画像エンコーダ２５３、画像デコーダ２５６、多重分離部２５７、変復調回路部２５８及び音声コーデック２５９が同期バス２６１を介して互いに接続されて構成されている。
【０１５０】
電源回路部２５１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話機ＭＳ３を動作可能な状態に起動する。
【０１５１】
カメラ付ディジタル携帯電話機ＭＳ３は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部２５０の制御に基づいて、音声通話モード時にマイクロフォン２２１で集音した音声信号を音声コーデック２５９によってディジタル音声データに変換し、これを変復調回路部２５８でスペクトラム拡散処理し、送受信回路部２６２でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ２１４を介して送信する。
【０１５２】
またカメラ付ディジタル携帯電話機ＭＳ３は、音声通話モード時にアンテナ２１４で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部２５８でスペクトラム逆拡散処理し、音声コーデック２５９によってアナログ音声信号に変換した後、これをスピーカ２１７を介して出力する。
【０１５３】
さらにカメラ付ディジタル携帯電話機ＭＳ３は、データ通信モード時に電子メールを送信する場合、操作キー２１９及びジョグダイヤル２２２の操作によって入力された電子メールのテキストデータを操作入力制御部２５２を介して主制御部２５０に送出する。
【０１５４】
主制御部２５０は、テキストデータを変復調回路部２５８でスペクトラム拡散処理し、送受信回路部２６２でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ２１４を介して基地局ＣＳ３（図１７）へ送信する。
【０１５５】
これに対してカメラ付ディジタル携帯電話機ＭＳ３は、データ通信モード時に電子メールを受信する場合、アンテナ２１４を介して基地局ＣＳ３から受信した受信信号を変復調回路部２５８でスペクトラム逆拡散処理して元のテキストデータを復元した後、ＬＣＤ制御部２５５を介して液晶ディスプレイ２１８に電子メールとして表示する。
【０１５６】
この後カメラ付ディジタル携帯電話機ＭＳ３は、ユーザの操作に応じて受信した電子メールを記録再生部２６２を介してメモリスティック２２３に記録することも可能である。
【０１５７】
一方カメラ付ディジタル携帯電話機ＭＳ３は、データ通信モード時に画像データを送信する場合、ＣＣＤカメラ２１６で撮像された画像データをカメラインターフェース部２５４を介して画像エンコーダ２５３に供給する。
【０１５８】
因みにカメラ付ディジタル携帯電話機ＭＳ３は、画像データを送信しない場合には、ＣＣＤカメラ２１６で撮像した画像データをカメラインターフェース部２５４及びＬＣＤ制御部２５５を介して液晶ディスプレイ２１８に直接表示することも可能である。
【０１５９】
画像エンコーダ２５３は、ＣＣＤカメラ２１６から供給された画像データを例えばＭＰＥＧ（Movig Picture Experts Group ）２やＭＰＥＧ４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部２５７に送出する。
【０１６０】
このとき同時にカメラ付ディジタル携帯電話機ＭＳ３は、ＣＣＤカメラ２１６で撮像中にマイクロフォン２２１で集音した音声を音声コーデック２５９を介してディジタルの音声データとして多重分離部２５７に送出する。
【０１６１】
多重分離部２５７は、画像エンコーダ２５３から供給された符号化画像データと音声コーデック２５９から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部２５８でスペクトラム拡散処理し、送受信回路部２６２でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ２１４を介して送信する。
【０１６２】
これに対してカメラ付ディジタル携帯電話機ＭＳ３は、データ通信モード時に例えば簡易ホームページ等の画像データを受信する場合、アンテナ２１４を介して基地局ＣＳ３から受信した受信信号を変復調回路部２５８でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部２５７に送出する。
【０１６３】
多重分離部２５７は、多重化データを分離することにより符号化画像データと音声データとに分け、同期バス２６１を介して当該符号化画像データを画像デコーダ２５６に供給すると共に当該音声データを音声コーデック２５９に供給する。
【０１６４】
画像デコーダ２５６は、符号化画像データをＭＰＥＧ２やＭＰＥＧ４等の所定の符号化方式に対応した復号化方式でデコードすることにより再生画像データを生成し、これをＬＣＤ制御部２５５を介して液晶ディスプレイ２１８に、例えば簡易ホームページにリンクされた画像として表示する。
【０１６５】
このとき同時に音声コーデック２５９は、音声データをアナログ音声信号に変換した後、これをスピーカ２１７を介して、例えば簡易ホームページにリンクされた音声として出力する。
【０１６６】
この場合も電子メールの場合と同様にカメラ付ディジタル携帯電話機ＭＳ３は、受信した簡易ホームページの画像データをユーザの操作により記録再生部２６２を介してメモリスティック２２３に記録することが可能である。
【０１６７】
かかる構成に加えてカメラ付ディジタル携帯電話機ＭＳ３は、主制御部２５０のＲＯＭに第１の実施の形態と同様のサイバージェスチャープログラム１８０（図１５）及びジョグダイヤルサーバプログラム１８２が格納されており、所定のアプリケーションソフトウェア１８３に基づくアクティブウィンドウ画面を液晶ディスプレイ２１８に表示した状態で、サイバージェスチャープログラム１８０に基づいてアクティブウィンドウ画面にジェスチャー認識画面１００（図６）を重ねて表示し得ると共に、当該ジェスチャー認識画面１００のジェスチャー認識表示エリア１０６にＣＣＤカメラ２１６で撮像したユーザの画像を表示し得るようになされている。
【０１６８】
次にカメラ付ディジタル携帯電話機ＭＳ３は、第１の実施の形態と同様に図５〜図１６に示したように、主制御部２５０の制御によりジェスチャー認識画面１００のジェスチャー認識表示エリア１０６に表示したユーザの画像の中から肌色領域Ｒを検出し、そのうち動きのある肌色領域Ｒを手の平領域として認識した後、当該手の平領域のジェスチャー動作に応じた所定のコマンドをジョグダイヤルサーバプログラム１８２を介してアプリケーションソフトウェア１８３に供給する。
【０１６９】
これによりカメラ付ディジタル携帯電話機ＭＳ３は、第１の実施の形態におけるノートパソコン１と同様に、主制御部２５０の制御によりアプリケーションソフトウェア１８３に従ってジェスチャー認識画面１００の背景に表示されているアクティブウィンドウ画面の静止画をコマンドに応じて所望方向に画像送りし得るようになされている。
【０１７０】
（２−４）第２の実施の形態における動作及び効果
以上の構成においてカメラ付ディジタル携帯電話機ＭＳ３は、主制御部２５０がサイバージェスチャープログラム１８０を起動することにより、ジェスチャー認識画面１００におけるジェスチャー認識表示エリア１０６のほぼ中央部分に、５個の正方形状に形成されたターゲット１０７Ａ〜１０７Ｅからなるターゲット部１０７を横一列に順次配列して表示する。
【０１７１】
これによりカメラ付ディジタル携帯電話機ＭＳ３は、第１の実施の形態と同様に、ユーザの手が動かされたときの移動方向として左右方向の動作を当該カメラ付ディジタル携帯電話機ＭＳ３が認識可能であることを当該ユーザに対して想像させることができるので、認識可能な移動方向をユーザに対して予め確実に通知することができる。
【０１７２】
またカメラ付ディジタル携帯電話機ＭＳ３は、各ターゲット１０７Ａ〜１０７Ｅの枠部分１０７ＡＦ〜１０７ＥＦを赤色表示することにより、背景のグレースケール表示に対してターゲット１０７Ａ〜１０７Ｅを視認し易く表示することができる。
【０１７３】
以上の構成によればカメラ付ディジタル携帯電話機ＭＳ３は、サイバージェスチャープログラム１８０に従ってジェスチャー認識画面１００におけるジェスチャー認識表示エリア１０６のほぼ中央部分に、５個の正方形状に形成されたターゲット１０７Ａ〜１０７Ｅからなるターゲット部１０７を横一列に順次配列して表示することにより、ユーザの手が動かされたときの移動方向として左右方向の動作を当該カメラ付ディジタル携帯電話機ＭＳ３が認識可能であることを当該ユーザに対して予め確実に通知することができる。
【０１７４】
（３）他の実施の形態
なお上述の第１及び第２の実施の形態においては、ノートパソコン１及びカメラ付ディジタル携帯電話機ＭＳ３がユーザの手に関する移動方向として左右方向の動きを認識可能であることを認識可能移動方向イメージ画像としてのジェスチャー認識画面１００によってユーザに想像させて通知するようにした場合について述べたが、本発明はこれに限らず、縦一列に配列したターゲット部１０７を含むジェスチャー認識画面によって上下方向の動きを認識可能であることをユーザに対して想像させて通知するようにしても良い。
【０１７５】
また上述の第１及び第２の実施の形態においては、ジェスチャー認識画面１００に表示した所定形状のマークとして正方形状に形成された各ターゲット１０７Ａ〜１０７Ｅを用いるようにした場合について述べたが、本発明はこれに限らず、例えば円形等の他の種々の形状に形成された各ターゲットを用いるようにしたり、任意のアニメーション画像を用いるようにしても良い。
【０１７６】
さらに上述の第１及び第２の実施の形態においては、認識対象としてユーザの動作を認識するようにした場合について述べたが、本発明はこれに限らず、例えばユーザ以外にロボットや動物等の他の種々の認識対象の動作を認識するようにしても良い。
【０１７７】
さらに上述の第１及び第２の実施の形態においては、移動方向認識手段及び制御手段としてのＣＰＵ５０及び２５０がＨＤＤ６７のハードディスクやＲＯＭに予め格納されたサイバージェスチャープログラム１８０に基づいてジェスチャー認識画面１００を表示することにより認識可能な移動方向をユーザに予め通知するようにした場合について述べたが、本発明はこれに限らず、サイバージェスチャープログラム１８０が格納されたプログラム格納媒体をノートパソコン１及びカメラ付ディジタル携帯電話機ＭＳ３にインストールすることにより、上述のジェスチャー認識画面１００を表示するようにしても良い。
【０１７８】
このように上述した一連の処理を実行するサイバージェスチャープログラム１８０をノートパソコン１及びカメラ付ディジタル携帯電話機ＭＳ３にインストールし、当該ノートパソコン１及びカメラ付ディジタル携帯電話機ＭＳ３にインストールにおいて実行可能な状態にするために用いられるプログラム格納媒体としては、例えばフロッピーディスク、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory)、ＤＶＤ（Digital Versataile Disc ）等のパッケージメディアのみならず、サイバージェスチャープログラム１８０が一時的もしくは永続的に格納される半導体メモリや磁気ディスク等で実現しても良い。また、これらプログラム格納媒体にサイバージェスチャープログラム１８０を格納する手段としては、ローカルエリアネットワークやインターネット、ディジタル衛生放送等の有線及び無線通信媒体を利用しても良く、ルータやモデム等の各種通信インターフェースを介して格納するようにしても良い。
【０１７９】
さらに上述の第１及び第２の実施の形態においては、本発明の情報処理装置としてノートパソコン１及びカメラ付ディジタル携帯電話機ＭＳ３に適用するようにした場合について述べたが、携帯情報端末ＭＳ１及びＭＳ２等の他の種々の情報処理装置に適用するようにしても良い。
【０１８０】
【発明の効果】
上述のように本発明によれば、撮像手段によって認識対象を撮像することにより得られた画像の色成分に基づいてユーザの顔部分や手の平部分の肌色領域と、服装部分の非肌色領域とを判別し、肌色領域が画像の中に存在することを判別したとき、画像の現フレームと隣接フレームとにおける肌色領域の座標値の差分に基づいて当該肌色領域の移動距離及び移動方向を求め、当該移動距離に対応した動き速度に基づいて当該肌色領域が顔部分であるのか、或は手の平部分であるのかを判別し、肌色領域が手の平部分であることを判別したとき当該手の平部分の動きを認識し、手の平部分の動きを表した軌跡と、当該動きに対する認識過程とを、所定のフィードバック画面において手の平部分の動きに合わせて所定方向へ配列された所定形状でなる複数のターゲットを介して表示し、手の平部分の動きに応じた所定の処理を実行することにより、手の平部分を動かしたときの動きと正確に認識し、その動きに応じた所定の処理を確実に実行し得る情報処理装置、情報処理方法及び記録媒体を実現することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態によるノートブック型パーソナルコンピュータの全体構成を示す略線的斜視図である。
【図２】本体の左側面の構成を示す略線図である。
【図３】本体の後側面及び底面の構成を示す略線図である。
【図４】ノートブック型パーソナルコンピュータの回路構成を示すブロツク図である。
【図５】ジェスチャー認識処理手順を示すフローチャートである。
【図６】アクティブウィンドウ画面上に重ねて表示されたジェスチャー認識画面を示す略線図である。
【図７】ジェスチャー認識画面の構成を示す略線図である。
【図８】ターゲットの構成を示す略線図である。
【図９】手の位置情報に関する取得処理手順を示すフローチャートである。
【図１０】ＹＵＶ色度空間上に表される色領域を示す略線図である。
【図１１】サーチ状態のジェスチャー認識画面を示す略線図である。
【図１２】ポインタ及び手の平領域認識枠がオーバーラップ表示されたジェスチャー認識画面を示す略線図である。
【図１３】ジェスチャー動作に関する判断処理手順を示すフローチャートである。
【図１４】指先移動距離の算出の説明に供する略線図である。
【図１５】ソフトウェア的な処理の流れの説明に供する略線図である。
【図１６】ビジュアルフィードバック画面を示す略線図である。
【図１７】第２の実施の形態におけるネットワークシステムの全体構成を示す略線図である。
【図１８】カメラ付ディジタル携帯電話機の外観構成を示す略線的斜視図である。
【図１９】カメラ部を回動したときの表示部を示す略線的斜視図である。
【図２０】カメラ付ディジタル携帯電話機の回路構成を示すブロック図である。
【符号の説明】
１……ノートブック型パーソナルコンピュータ、２、２１３……本体、３、２１２……表示部、４、２１９……操作キー、８、２１６……ＣＣＤカメラ、１０、２１８……液晶ディスプレイ、１１……撮像部、２４、２２２……ジョグダイヤル、５０……ＣＰＵ、５３……ＲＡＭ、１００……ジェスチャー認識画面、１０７……ターゲット部、１０８……ポインタ、１０９……手の平領域認識枠、１２０……軌跡表示枠、１２１……方向表示枠、２００……ネットワークシステム、ＭＳ１、ＭＳ２……携帯情報端末、ＭＳ３、ＭＳ４……カメラ付ディジタル携帯電話機、ＣＳ１〜ＣＳ４……基地局、ＩＮＷ……公衆回線網、２１４……アンテナ、２２３……メモリスティック、２５０……主制御部、２５１……電源回路部、２５２……操作入力制御部、２５３……画像エンコーダ、２５４……カメラインターフェース部、２５５……ＬＣＤ制御部、２５６……画像デコーダ、２５７……多重分離部、２５８……変復調回路部、２５９……音声コーデック、２６０……メインバス、２６１……同期バス、２６２……記録再生部。

Claims (5)

1. 撮像手段によって認識対象を撮像することにより得られた画像の色成分に基づいてユーザの顔部分や手の平部分の肌色領域と、服装部分の非肌色領域とを判別する色領域判別手段と、
   上記色領域判別手段によって上記肌色領域が上記画像の中に存在することを判別したとき、上記画像の現フレームと隣接フレームとにおける上記肌色領域の座標値の差分に基づいて当該肌色領域の移動距離及び移動方向を求め、当該移動距離に対応した動き速度に基づいて当該肌色領域が上記顔部分であるのか、或は上記手の平部分であるのかを判別する手の平部分判別手段と、
   上記手の平部分判別手段によって上記肌色領域が上記手の平部分であることを判別したとき、当該手の平部分の動きを認識する認識手段と、
   上記認識手段によって認識された上記手の平部分の動きを表した軌跡と、当該動きに対する認識過程とを、所定のフィードバック画面において上記手の平部分の動きに合わせて所定方向へ配列された所定形状でなる複数のターゲットを介して表示する認識結果フィードバック手段と、
   上記認識手段によって認識された上記手の平部分の動きに応じた所定の処理を実行する制御手段と
   を具える情報処理装置。
2. 上記制御手段は、上記手の平部分の動きを認識した直後の所定数フレーム分の上記画像に対しては上記所定の処理を実行中であるため上記認識手段に対する認識処理を実行させないようにする
   請求項１に記載の情報処理装置。
3. 上記認識結果フィードバック手段は、上記複数のターゲットに対して所定色のポインタを重ね、上記手の平部分の動きに応じた移動速度で当該ポインタを移動させながら表示する
   請求項２に記載の情報処理装置。
4. 撮像手段によって認識対象を撮像することにより得られた画像の色成分に基づいて色領域判別手段によりユーザの顔部分や手の平部分の肌色領域と、服装部分の非肌色領域とを判別する色領域判別ステップと、
   上記色領域判別ステップによって上記肌色領域が上記画像の中に存在することを判別したとき、手の平部分判別手段により、上記画像の現フレームと隣接フレームとにおける上記肌色領域の座標値の差分に基づいて当該肌色領域の移動距離及び移動方向を求め、当該移動距離に対応した動き速度に基づいて当該肌色領域が上記顔部分であるのか、或は上記手の平部分であるのかを判別する手の平部分判別ステップと、
   上記手の平部分判別ステップによって上記肌色領域が上記手の平部分であることを判別したとき、認識手段により当該手の平部分の動きを認識する認識ステップと、
   上記認識ステップによって認識された上記手の平部分の動きを表した軌跡と、当該動きに対する認識過程とを、認識結果フィードバック手段により、所定のフィードバック画面において上記手の平部分の動きに合わせて所定方向へ配列された所定形状でなる複数のターゲットを介して表示する認識結果フィードバックステップと、
   上記認識ステップによって認識された上記手の平部分の動きに応じた所定の処理を制御手段により実行する処理実行ステップと
   を具える情報処理方法。
5. コンピュータに、
   撮像手段によって認識対象を撮像することにより得られた画像の色成分に基づいてユーザの顔部分や手の平部分の肌色領域と、服装部分の非肌色領域とを判別する色領域判別ステップと、
   上記色領域判別ステップによって上記肌色領域が上記画像の中に存在することを判別したとき、上記画像の現フレームと隣接フレームとにおける上記肌色領域の座標値の差分に基づいて当該肌色領域の移動距離及び移動方向を求め、当該移動距離に対応した動き速度に基づいて当該肌色領域が上記顔部分であるのか、或は上記手の平部分であるのかを判別する手の平部分判別ステップと、
   上記手の平部分判別ステップによって上記肌色領域が上記手の平部分であることを判別したとき、当該手の平部分の動きを認識する認識ステップと、
   上記認識ステップによって認識された上記手の平部分の動きを表した軌跡と、当該動きに対する認識過程とを、所定のフィードバック画面において上記手の平部分の動きに合わせて所定方向へ配列された所定形状でなる複数のターゲットを介して表示する認識結果フィードバックステップと、
   上記認識ステップによって認識された上記手の平部分の動きに応じた所定の処理を実行する処理実行ステップと
   を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images