JP5782061B2 - 移動物体の動作を認識する方法および携帯式コンピュータ - Google Patents

Description

本発明は、カメラが撮影した静止画像から移動物体の動作を認識する技術に関し、さらには、少ないフレームで移動物体の動作を認識する技術に関する。

デスクトップ型コンピュータ、ノートブック型コンピュータ（ノートＰＣ）、タブレット型コンピュータまたはスマートフォンなどでは、リアルタイムの映像をモニターに映すことができるＷｅｂカメラを搭載して、テレビ電話をしたり写真やビデオ動画の撮影をしたりすることができる。

特許文献１は、カメラが撮影したモーション・ブラーのパラメータから人物の動きのパターンを認識する発明を開示する。同文献にはモーション・ブラーの範囲を物体の速度を示す指標として使用することが記載されている。またモーション・ブラーの方向の変化から物体の軌道を得ることが記載されている。さらに、モーション・ブラーをジェスチャに関連付けることも記載されている。特許文献２は、対象物の明るさやカメラの揺れといった撮影環境に変動があったときに高い精度で移動物体を検出する発明を開示する。同文献には、第１の画像とその直前に入力された第２の画像の濃度の差分に相当する差分画像から移動物体を検出することが記載されている。

特表２００９−５００７０９号公報 特開平１０−９３９５７号公報

コンピュータは、キーボード、タッチパッド、タッチスクリーン、ポインティング・デバイス、および操作ボタンなどのさまざまな入力デバイスを備えている。これまでＷｅｂカメラは静止画や動画の撮影に利用することがほとんどであったが、入力デバイスの一部として利用することも可能である。たとえば、待機状態のコンピュータをウェイクさせるには、キーボードやポインティング・デバイスを操作することが一般的であるが、Ｗｅｂカメラで撮影したユーザが手を振る動作のようなモーション・ジェスチャ（以下、単にジェスチャ）を認識してウェイクさせることも可能である。

ジェスチャを認識する従来の方法では、手のひらのようなジェスチャを行う物体を画像のフレームごとに認識して、その物体の中心の軌跡のベクトルがジェスチャとして定義された軌跡を辿るかどうかを判断していた。その方法で手を振るジェスチャを認識するには、ジェスチャの毎秒のサイクル数の２倍以上のフレーム・レート（ｆｐｓ）で画像を取得しないと画像の取りこぼしができて認識できなくなるためフレーム・レートは高くなる傾向にあった。

Ｗｅｂカメラでは電子シャッターのシャッター速度（露光時間または電荷蓄積時間）を調整して露光制御を行う。ジェスチャ認識のためにフレーム・レートを上げると必然的に露光時間が短くなる。したがって、従来の方法で暗所においてジェスチャを認識する際には光量が不足する。またそれを補うためにＡＧＣゲインを上げるとノイズも多くなるため安定した認識ができない。暗所での光量不足を補うためにＷｅｂカメラはフレーム・レートを下げて露光時間を長くすることができるが、露光時間を長くすると動く物体の画像にはモーション・ブラーが発生して物体の形を認識できなくなる。

したがって、Ｗｅｂカメラを使った従来の方法で安定したジェスチャ認識を行うことができるのは、フレーム・レートを高くできる明るい場所に限られ、暗い場所では原理的にジェスチャ認識ができなかった。高感度のイメージ・センサを採用したり、光学系の性能向上で対策をしたりすることも可能であるが、コンピュータに搭載するＷｅｂカメラとしては必要以上の機能になってしまうため採用が困難である。

特に電池で動作する携帯式コンピュータではジェスチャ認識のために消費電力が増加することは好ましくない。ウェイクのためにいつ行われるか不明なジェスチャを認識するためには、システムが待機状態の間継続してジェスチャを認識できる状態を維持する必要がある。これまでのジェスチャ認識の方法は、高度な認識が可能である一方で、高いフレーム・レートで多量の情報を処理しているため、カメラ、インターフェースおよびプロセッサの消費電力が大きく、長時間に渡ってジェスチャの認識が可能な状態にしておくことはできない。

そこで本発明の目的は、カメラが撮影した静止画像で移動物体の動作を認識する方法を提供することにある。さらに本発明の目的は、環境の明るさの変化に対して安定して移動物体の動作を認識する方法を提供することにある。さらに本発明の目的は、ジェスチャでコンピュータの動作を制御する方法を提供することにある。さらに本発明の目的は、低消費電力で移動物体の動作を認識する方法を提供することにある。さらに本発明の目的は、そのような方法を実現する携帯式コンピュータ、カメラ・システムおよびコンピュータ・プログラムを提供することにある。

本発明は物体が所定の経路を移動する動作をコンピュータが認識する方法を提供する。最初に基準パターンを定義する。つぎに、物体を撮影したイメージ・センサからフレームを受け取る。つぎに受け取ったフレームが含む物体のブラー画像の形状を特定する。そして、基準パターンと特定したブラー画像の形状を比較して物体の動作を認識する。ブラー画像の形状は、所定の経路を移動する間に物体の輪郭が描く軌跡で形成される。

ブラー画像を撮影するためには、露光時間を長く設定することになるため暗所でも安定して認識できる。また、露光時間を長くするとフレーム・レートも必然的に下がるためシステムの消費電力を低減することができる。物体の所定の動作は人間の体で行うジェスチャとすることができる。ジェスチャの場合の基準パターンの形状は、肘または肩を中心とする腕の往復動作によりブラー画像が形成される扇形とすることができる。認識が完了するまでに受け取るフレームの数は１個でもよいが、所定のフレーム・レートで撮影された連続する複数のフレームでもよい。ブラー画像の形状を特定する際には、複数のフレームがそれぞれ含むブラー画像を合成して合成画像を生成することができる。

ブラー画像の形状を特定するときには、背景画像と各フレームを比較して階調値の差を計算して２値化したブラー画像を生成することができる。あるいは、フレーム同士を比較して対応する画素の階調値の差を計算して２値化したブラー画像を生成することでブラー画像の形状を特定することができる。合成画像は、２値化したブラー画像の論理和を計算して生成することができる。物体の所定の動作は往復動作とすることができる。認識した結果は、コンピュータのコマンドとしてシステムに送ることができる。システムは、受け取ったコマンドでコンピュータのパワー・ステートを制御したり、特定のアプリケーションを起動したりすることができる。

本発明により、カメラが撮影した静止画像で移動物体の動作を認識する方法を提供することができた。さらに本発明により、環境の明るさの変化に対して安定して移動物体の動作を認識する方法を提供することができた。さらに本発明により、ジェスチャでコンピュータの動作を制御する方法を提供することができた。さらに本発明により、低消費電力で移動物体の動作を認識する方法を提供することができた。さらに本発明により、そのような方法を実現する携帯式コンピュータ、カメラ・システムおよびコンピュータ・プログラムを提供することができた。

ノートＰＣで実現したカメラ・システム１０のハードウェアの構成を説明するための機能ブロック図である。 カメラ・モジュール１００の構成を説明するための機能ブロック図である。 カメラ・システム１０のソフトウェアの構成を説明するための機能ブロック図である。 フレーム・レートと露光時間の関係を説明する図である。 ジェスチャ認識アプリケーション２０１の構成を説明するための機能ブロック図である。 カメラ・システム１０がジェスチャを認識する手順を説明するフローチャートである。 背景画像２９１とその前景に存在する人間が手を周期的に振っている様子を抽象的に示す図である。 基準画像登録部２６３に登録された基準パターンの形状を示す図である。 背景画像２９１とフレーム・シーケンス３００から差分画像データ群３５０および合成画像データ群４００を生成する例を説明するための図である。 フレーム転送周期Ｔｆとジェスチャ周期Ｔｊの関係を説明する図である。 フレーム・シーケンス３００から差分画像データ群５００および合成画像データ群５５０を生成する例を説明するための図である。

［ノートＰＣのハードウェア構成］
図１は、ノートＰＣに実現したカメラ・システム１０のハードウェアの構成を説明するための機能ブロック図である。ＣＰＵ１１はメモリ・コントローラとＰＣＩ Ｅｘｐｒｅｓｓコントローラを内蔵しており、メイン・メモリ１３、ビデオ・カード１５およびチップ・セット１９に接続されている。ビデオ・カード１５にはＬＣＤ１７が接続されている。チップ・セット１９は、ＳＡＴＡ、ＵＳＢ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＬＰＣなどのコントローラおよびＲＴＣ（Real Time Clock）などを内蔵している。ＳＡＴＡコントローラにはＨＤＤ２１が接続されている。ＵＳＢコントローラはＵＳＢホスト・コントローラ、ルート・ハブ、および入出力ポートを構成する複数のハブで構成されている。

カメラ・モジュール１００は、ＵＳＢ２．０規格またはＵＳＢ３．０規格に適合するＵＳＢデバイスである。カメラ・モジュール１００は、差動信号でデータ転送する１対または３対のＵＳＢバス５０でＵＳＢコントローラのＵＳＢポートに接続されている。カメラ・モジュール１００が接続されるＵＳＢポートは、ハブを他のＵＳＢデバイスと共用してもよいが、ＵＳＢシステムの選択サスペンド機構を利用してカメラ・モジュール１００の電力を効果的に制御するためには当該ＵＳＢポートがカメラ・モジュール１００の専用のハブに接続されていることが望ましい。

ここに、ＵＳＢシステムの選択サスペンドでは、ＵＳＢクライアント・ドライバが、ＵＳＢデバイスがアイドルであると決定したときにＵＳＢバス・ドライバにリクエスト・パケットを送る。当該ＵＳＢハブに接続されているすべてのＵＳＢデバイスがアイドルになると、それを受けてＵＳＢバス・ドライバが当該ＵＳＢハブに繋がるＵＳＢバスをアイドル状態に遷移させ、そのバスの状態遷移を検知したＵＳＢデバイスが選択サスペンド状態に遷移する。したがって、カメラ・モジュール１００がアイドル状態になる時間が長いほどＵＳＢバスがアイドル状態になる時間が長くなり、結果としてカメラ・モジュール１００が選択サスペンド状態に遷移する時間も長くなる。

カメラ・モジュール１００は、ノートＰＣの筐体に組み込む組込タイプでもよいし、ノートＰＣの筐体に取り付けたＵＳＢコネクタに接続する外付けタイプでもよい。また、カメラ・モジュール１００は、ワイヤレスＵＳＢでノートＰＣに接続してもよい。本発明にかかるカメラ・システム１０は従来から存在していた動画を撮影する動画モードに加えて本発明で導入したジェスチャ・モードで画像データを転送することができる。ジェスチャ・モードは、図３のジェスチャ認識アプリケーション２０１がジェスチャを認識するためのフレームを取得する際に使用する転送モードである。

ジェスチャ・モードではカメラ・モジュール１００が、露光時間を長くして各フレームがジェスチャのモーション・ブラーを撮影できるように動画モードに比べて低いフレーム・レートでフレームを転送する。ここにフレームは、すべての水平ラインで構成された画像データで静止画像の１単位に相当する。インターレース方式では１フレームが２つのフィールドで構成される。ジェスチャ・モードの詳細は後に説明する。

カメラ・モジュール１００は、動画モードおよびジェスチャ・モードに加えて、静止画像を撮影する際の画像を確認するためのモニタリング・モードでも動作する。モニタリング・モードでは動画モードに比べてフレームの画素数を低くすることができる。ノートＰＣ１０のＣＰＵ１１、チップ・セット１９、メイン・メモリ１３などのハードウェアと、図３に示すジェスチャ認識アプリケーション２０１、各階層のデバイス・ドライバ２０７、２０９、２１１、２１３、静止画像転送サービス２０３およびオペレーティング・システム２０５などのソフトウェアはカメラ・システム１０の主要な要素を構成する。

ＥＣ２５は、コンピュータ１０の筐体内部の温度を制御したり、デバイスの電力を制御したりするマイクロ・コントローラである。ＥＣ２５は、ＣＰＵ１１とは独立して動作する。ＥＣ２５には加速度センサー２７およびＤＣ／ＤＣコンバータ２９が接続され、さらに、図示しないキーボード、マウス、充電器、および排気ファンなどが接続される。図示しない電池またはＡＣ／ＤＣアダプタはＤＣ／ＤＣコンバータ２９に電力を供給する。ＤＣ／ＤＣコンバータ２９は、コンピュータ１０を構成するデバイスに電力を供給する。

［カメラ・モジュール］
図２は、カメラ・モジュール１００の構成を説明するための機能ブロック図である。図３は、カメラ・システム１０のソフトウェアの構成を説明するための機能ブロック図である。カメラ・モジュール１００は、ジェスチャ・モードにおいてＶＧＡ（６４０×４８０）、ＱＶＧＡ（３２０×２４０）、ＷＶＧＡ（８００×４８０）およびＷＱＶＧＡ（４００×２４０）などの画面解像度（画素数）のフレームを転送することができる。光学機構１０１は、光学レンズおよび光学フィルタなどで構成され、被写体の像をイメージ・センサ１０３に結像させる。

イメージ・センサ１０３は、画素を構成するフォト・ダイオードに蓄積された光量に対応する電荷を電気信号に変換して出力するＣＭＯＳイメージ・センサ、ノイズを抑圧するＣＤＳ回路、ゲインを調整するＡＧＣ回路、アナログ信号をディジタル信号に変換するＡＤ変換回路などで構成され、被写体の像の輝度に対応するディジタル信号を出力する。イメージ・センサ１０３は、動画モードで動作するときに３０ｆｐｓのフレーム・レートで画像データを転送することができる。

ＣＭＯＳイメージ・センサは、ローリング・シャッターといわれる電子シャッターを備えている。ローリング・シャッターはシステムが指定しなければ、１ラインまたは数ラインを１ブロックにして撮影環境に最適になるように露光時間を制御する。ローリング・シャッターは１フレーム期間またはインターレース方式の場合は１フィールド期間に各画素を構成するフォト・ダイオードに蓄積される信号電荷を撮影の途中にリセットして露光時間を制御する。なお、イメージ・センサ１０３は、ＣＭＯＳイメージ・センサに代えてＣＣＤイメージ・センサを採用することもできる。

イメージ・シグナル・プロセッサ（ＩＳＰ）１０５は、画素欠陥およびシェーディングを補正する補正処理、イメージ・センサ１０３の分光特性を人間の視感度に合わせて補正するホワイト・バランス処理、ＲＧＢベイヤー配列の信号から一般的なＲＧＢデータを出力する補間処理、イメージ・センサ１０３のカラー・フィルターが持つ分光特性を理想特性に近づける色補正処理などを行う画像信号処理回路である。ＩＳＰ１０５はさらに、被写体の解像感を高めるための輪郭補正処理およびＬＣＤ１７の非線形な入出力特性を補正するガンマ処理などを行う。

エンコーダ１０７は、ＩＳＰ１０５から受け取った画像データを圧縮する。エンド・ポイント・バッファ１０９は、システムとの間で双方向に転送するデータを一時的に記憶することでＵＳＢ転送のための複数のパイプを形成する。シリアル・インターフェース・エンジン（ＳＩＥ）１１１は、エンド・ポイント・バッファ１０９から受け取った画像データをＵＳＢ規格に適合するようにパケット化してトランシーバ１１３に送ったり、トランシーバ１１３から受け取ったパケットを解析してペイロードをＭＰＵ１１５に送ったりする。

ＳＩＥ１１１は、ＵＳＢバス５０が所定の時間以上アイドル状態のときに、選択サスペンド状態に遷移するためにＭＰＵ１１５に割り込みをかける。ＳＩＥ１１１は、ＵＳＢバス５０がレジュームしたときにサスペンドしているＭＰＵ１１５を動作させる。トランシーバ１１３は、ＵＳＢ通信のための送信用のトランシーバと受信用のトランシーバを含む。ＭＰＵ１１５は、ＵＳＢ転送のためのエニュメレーションを実行し、さらに撮影および画像データの転送をするためにカメラ・モジュール１００の動作を制御する。カメラ・モジュール１００は、ＵＳＢ規格に規定するパワー・マネジメントに準拠する。ＭＰＵ１１５は、ＳＩＥ１１１から割り込みがかかったときに、内部クロックを中断させて自らも含めてカメラ・モジュール１００をサスペンド状態に遷移させることができる。

ＭＰＵ１１５は、ＵＳＢバス５０がレジュームしたときにカメラ・モジュール１００をパワー・オン状態または撮影状態に復帰させることができる。ＭＰＵ１１５は、システムから受け取ったコマンドを解釈して動画モード（含むモニタリング・モード）またはジェスチャ・モードで画像データを転送するように各部の動作を制御する。ＭＰＵ１１５は、ジェスチャ・モードによるフレームを転送するときにＵＳＢバス５０がアイドル状態のときは、ＵＳＢバス・ドライバ２１１にアイドル状態を解除するための再開信号を送る。

ジェスチャ認識アプリケーション２０１は、ジェスチャ・モードを有効にするコマンドをＭＰＵ１１５に送る際に、さまざまなパラメータを指定して露光時間を設定することができる。１つの方法では、ジェスチャ認識アプリケーション２０１がカメラ・モジュール１００に対して静止画像を転送するフレーム・レートだけを指定する。ＭＰＵ１１５は、ローリング・シャッターの露光時間、ホワイト・バランス、およびＡＧＣ回路のゲインなどのキャリブレーションを行ったあとに、指定されたフレーム・レートに対して現在の撮影条件で可能な最大の露光時間を設定する。

ＭＰＵ１１５はさらに設定した露光時間に対して現在の撮影条件で最適となるその他のパラメータをイメージ・センサ１０３およびＩＳＰ１０５の所定のレジスタに設定する。他の方法では、ジェスチャ認識アプリケーション２０１が露光時間、ＡＣＧゲイン、ガンマ・カーブ、コントラストおよび絞りなどのブラー画像の撮影に影響を与えるいくつかのパラメータを指定する。ＭＰＵ１１５は指定されたパラメータに対して現在の撮影条件で最適となる他のパラメータを設定する。露光時間が指定されたときにＭＰＵ１１５はそれに応じたフレーム・レートを設定することができる。

このときの様子を図４で説明する。図４（Ａ）は動画モードのときにフレーム・レートＦ１が３０ｆｐｓの画像データを転送する様子を示し、図４（Ｂ）はジェスチャ・モードのときに一例としてフレーム・レートＦ２が５ｆｐｓの画像データを転送する様子を示している。ここではノンインターレース方式を例にして説明するが本発明はインターレース方式で出力するカメラ・モジュールを採用してもよい。

図４（Ａ）では、各フレーム転送周期Ｔｆ１（１／Ｆ１）において１行〜Ｎ行までのラインが順次走査されてデータが出力される。各ラインの時間は、露光時間１５１と読み取り時間１５３で構成されている。図４（Ｂ）では、フレーム周期Ｔｆ２（１／Ｆ２）において１行〜Ｎ行までのラインが順次走査されてデータが出力される。各ラインは、露光時間１５５と読み取り時間１５３で構成されている。

読み取り時間１５３と１５７は駆動周波数と解像数に依存する。フレーム・レートＦ２がＦ１の１／６になってフレーム転送周期Ｔｆ２が６倍になると、露光時間を最大で６倍程度まで延長できる。露光時間が長いほど、移動物体を撮影したときのブラー画像の面積が大きくなる。後に説明するようにブラー画像の面積は、パターン認識に利用する情報量に相当する。ここにブラー画像とは、１フレームにおいて撮影した移動物体の輪郭が形成する画像をいう。ジェスチャ認識アプリケーション２０１は、ブラー画像の輪郭からブラー画像の形状を特定する。本実施の形態では一例として移動物体はジェスチャをする人間の腕としているが、本発明はこれに限定するものではなく、移動する機械装置や自然物などの他の物体とすることもできる。

ジェスチャ・モードでは、フレームを転送しないときにカメラ・モジュール１００が選択サスペンド状態に遷移して、設定していたパラメータが消失する場合がある。ＭＰＵ１１５は、一度設定したパラメータをフラッシュＲＯＭ１１９に記憶し、各フレーム転送周期でパラメータをフラッシュＲＯＭ１１９から読み出して設定することもできる。フラッシュＲＯＭは、ＭＰＵ１１５が実行するプログラムを格納する。ＭＰＵ１１５は、システムから受け取ったコマンドを解釈して、カメラ・モジュール１００をジェスチャ・モードまたは動画モードで動作させることができる。

カメラ・モジュール１００は、ＵＳＢバス５０から電力の供給を受けて動作するバス・パワード・デバイスである。ただし、カメラ・モジュール１００は、独自の電力で動作するセルフ・パワード・デバイスであってもよい。セルフ・パワード・デバイスである場合は、ＭＰＵ１１５はＵＳＢバス５０の状態に追従するように独自に供給を受けている電力を制御する。

カメラ・モジュール１００は、ＵＳＢ規格に基づいて選択サスペンド状態とパワー・オン状態の間を遷移する。カメラ・モジュール１００は、選択サスペンド状態のときに複数のロー・パワー状態に遷移してよい。カメラ・モジュール１００は、ジェスチャ・モードで動作してフレーム転送周期が長いときには、フレームを送らない時間帯にイメージ・センサ１０３だけを動作させて最も消費電力の少ないロー・パワー状態に遷移することができる。

なお、図１および図２は本実施の形態を説明するために、本実施の形態に関連する主要なハードウェアの構成および接続関係を簡略化して記載したに過ぎないものである。ここまでの説明で言及した以外にも、カメラ・システム１０を構成するには多くのデバイスが使われる。しかしそれらは当業者には周知であるので、ここでは詳しく言及しない。図で記載した複数のブロックを１個の集積回路もしくは装置としたり、逆に１個のブロックを複数の集積回路もしくは装置に分割して構成したりすることも、当業者が任意に選択することができる範囲においては本発明の範囲に含まれる。たとえば、カメラ・モジュール１００のインターフェースを、ＭＩＰＩ（Mobile Industry Processor Interface）とし、システムをＳＯＣ（System-on-a-chip）で構成することでもよい。

［カメラ・システムのソフトウェア構成］
図３は、カメラ・システム１０のソフトウェアの構成を説明するための機能ブロック図である。図３に示すソフトウェアはＨＤＤ２１に格納されメイン・メモリ１３にロードされてＣＰＵ１１により実行される。動画像アプリケーション２０４は、カメラ・モジュール１００から動画データを取得してＬＣＤ１７に表示したりＨＤＤ２１に記録したりする周知のプログラムである。動画像アプリケーション２０４は、テレビ電話プログラムまたは動画像撮影プログラムとすることができる。動画像アプリケーション２０４は、従来の方法で高度のジェスチャ認識するジェスチャ・エンジンとすることもできる。

ジェスチャ・アプリケーション２０１は、ジェスチャ・モードのときにカメラ・モジュール１００からフレーム・シーケンスを取得してブラー画像のパターン認識を行い、認識したジェスチャに対応するコマンドを出力する新規なプログラムである。なおフレーム・シーケンスは、動画データとしては不自然な映像になるほど低いフレーム・レートで転送される静止画像の連続的なフレーム群をいう。一例としては、ジェスチャ認識アプリケーション２０１が出力するコマンドにより、ノートＰＣ１０のパワー・ステートを制御したり、動画像アプリケーション２０４を起動したりすることができる。

ジェスチャ・アプリケーション２０１は、ユーザがジェスチャ・モードに適用するカメラ・システム１０のパラメータを設定したりジェスチャ・モードをイネーブルに設定したりするためのユーザ・インターフェースを含むことができる。ジェスチャ・アプリケーション２０１は、ノートＰＣがＡＣ／ＤＣアダプタから電力の供給を受けている間だけ実行するようにしてもよいが、カメラ・システム１０は小さい消費電力で動作するので、特に電池パックから電力の供給を受けている間に動作させる場合に適している。

ストリーミング・サービス２０６は、ＯＳ２０５が提供するサービス・プログラムで動画モードまたはモニタリング・モードでのフレームを動画像アプリケーション２０４に送ったり、動画像アプリケーション２０４が発行したコマンドをＵＳＢカメラ・ドライバ２０７に渡したりする。静止画像転送サービス２０３は、ＯＳ２０５のユーザ・モードで動作するプログラムで、ジェスチャ・モードで転送されるフレーム・シーケンスをジェスチャ認識アプリケーション２０１に送ったり、ジェスチャ認識アプリケーション２０１から受け取ったコマンドやパラメータをＵＳＢカメラ・ドライバ２０７に送ったりする。

ＵＳＢカメラ・ドライバ２０７は、カメラ・モジュール１００の動作を制御したりデータ転送を制御したりするデバイス・ドライバである。ＵＳＢクラス・ドライバ２０９は、ＵＳＢビデオ・クラスに定義された共通の処理を行うデバイス・ドライバである。ＵＳＢバス・ドライバ２１１は、ＵＳＢコントローラに接続されたＵＳＢバスの動作を制御する。

ＵＳＢバス・ドライバ２１１は、ＵＳＢカメラ・ドライバ２０７からカメラ・モジュール１００を選択サスペンドに遷移させる指示を受け取ったときに、カメラ・モジュール１００に接続されたＵＳＢバス５０をアイドル状態に遷移させ、レジュームさせる指示またはデータ転送の指示を受け取ったときにＵＳＢバスをアクティブ状態（レジューム状態）に遷移させる。ＵＳＢホスト・コントロール・ドライバ２１３は、カメラ・モジュール１００に対するデータ転送とＵＳＢホスト・コントローラの動作を制御する。

［ジェスチャ認識アプリケーション］
図５はジェスチャ認識アプリケーション２０１の構成を説明するための機能ブロック図である。インターフェース部２５１は、ジェスチャ・モードのときに静止画像転送サービス２０３から受け取ったフレームを順番に差分画像生成部２５７に送る。ＯＳ２０５は、加速度センサー２７が検出した加速度値が所定値を越えたあとに所定値以下まで低下したときに、ノートＰＣの位置が変化してカメラ・モジュール１００が撮影する背景画像が変化したことを示す通知をする。

通知を受け取ったインターフェース部２５１は、静止画像転送サービス２０３から受け取った複数のフレームを背景画像生成部２５３に記憶する。これに加えてインターフェース部２５１はジェスチャ・モードにおいて定期的に複数のフレームを取得して背景画像生成部２５５に記憶する。インターフェース部２５１は、ユーザが設定したジェスチャ・モードのイネーブル／ディスエーブル設定、フレーム・レート、露光時間、コントラストおよびＡＧＣゲインなどのパラメータを静止画像転送サービス２０３に送る。

背景画像生成部２５３は、インターフェース部２５１から受け取ったフレームから背景画像を生成する。ジェスチャ・モードで撮影した静止画像は、移動物体を撮影した場合にブラー画像を含む。背景画像生成部２５３は、受け取ったブラー画像を含む可能性のある複数のフレームの対応する画素について階調値の差を計算し２値化してブラー画像を特定する。背景画像生成部２５３はフレームから特定したブラー画像を除いた複数の背景画像の論理和を計算してブラー画像を含まない背景画像を生成し背景画像記憶部２５５に記憶する。

差分画像生成部２５７は、インターフェース部２５１から受け取ったフレームと背景画像記憶部２５５から受け取った背景画像のフレームの対応する画素について階調差を計算して２値化した差分画像を生成し合成画像生成部２５９に送る。合成画像生成部２５９は、受け取った差分画像を論理和計算で順番に合成して合成画像を生成しパターン認識部２６１に送る。基準画像登録部２６５は、所定のコマンドに関連付けられた複数の基準パターンを登録する。

パターン認識部２６１は、合成画像生成部２５９が生成した合成画像の特徴を周知のアルゴリズムで抽出して基準画像登録部２６３に登録された複数の基準パターンと比較する。パターン認識部２６１は、合成画像がいずれかの基準パターンに一致すると判断したときに当該基準パターンに関連付けられたコマンドをＯＳ２０５に出力する。図５に示した各要素は、ＣＰＵ１１、メイン・メモリ１３などのハードウェアと協働して、ノートＰＣに特定の機能をもたらすハードウェア要素となる。

［ジェスチャ認識の手順］
つぎにカメラ・システム１０が、大きな消費電力を必要とする高度なジェスチャ認識を行うジェスチャ・エンジンを起動するために、本実施の形態にかかる簡易な方法でジェスチャを認識する手順を図６のフローチャートを参照して説明する。図７はブラー画像を生成する移動物体の一例として、背景画像２９１とその前景に存在する人間が腕２９３を周期的に振っている様子を抽象的に示している。図８は、基準画像登録部２６３に登録された基準パターンの形状を示している。図８（Ａ）は、カメラに正対した人間が腕２９３を下に下げて肩を中心に左右に振っているときのブラー画像の基準パターンに対応する。

図８（Ｂ）は、カメラに正対している人間が前方に突き出した腕２９３を肘で曲げてカメラ・モジュール１００に対して左右に振っているときのブラー画像の基準パターンに対応する。図８（Ｃ）と（Ｄ）は、カメラ・モジュール１００に対して左横または右横を向いた人間が前方に突き出した腕を肘で曲げて自身に対して前後に振ったときのブラー画像の基準パターンに対応する。図９は、背景画像２９１とフレーム・シーケンス３００から差分画像群３５０および合成画像群４００を生成する例を説明するための図である。

ブロック６０１でインターフェース部２５１はカメラ・モジュール１００にジェスチャ・モードをイネーブルにするコマンドと露光時間に関連するパラメータを送る。ブロック６０３でカメラ・モジュール１００がジェスチャ・モードに移行し指定されたパラメータとその他の適切なパラメータを設定する。ブロック６０５でカメラ・モジュール１００は、たとえばフレーム・レートを５ｆｐｓに設定し露光時間をその範囲で可能な最大値に設定して撮影したフレーム・シーケンス３００の転送を開始する。

ユーザは適当なタイミングでカメラ・モジュール１００に対してジェスチャをする。ジェスチャを開始するタイミングとフレームを転送するタイミングは同期しないため、フレーム転送周期に対する任意の時刻でジェスチャの撮影を開始する。ブロック６０７で、背景画像を更新するタイミングが到来しているときはブロック６３１に移行する。背景画像を更新するタイミングは、加速度センサー２７がノートＰＣの移動を検知したときまたはあらかじめ定めた定期的な周期で到来する。ブロック６３１で背景画像生成部２５３が新たに生成した複数のフレームを背景画像記憶部２５５に記憶する。

ブロック６０９で差分画像生成部２５７は、フレーム・シーケンス３００を構成するフレーム３０１〜３０９を順番に受け取る。フレーム３０１〜３０９は、カメラの前で前方に延ばした手を、肘を中心に右から左に１往復したジェスチャを撮影したときの画像である。ジェスチャの周期に対して露光時間が適切に設定されることにより各フレームはジェスチャをする腕の動作に対応するブラー画像３０１ａ〜３０９ａを含む。差分画像生成部２５７は各フレーム３０１〜３０９について、その時点で背景画像記憶部２５５に記憶されている最新の背景画像の対応する画素との階調差を計算して２値化した差分画像３５１〜３５９を生成する。

計算した階調差は、ブラー画像３０１ａ〜３０９ａのように表示が変化している画素では大きな値になるが、変化のない背景画像２９１を表示する画素では小さな値になる。したがって、ジェスチャを撮影する前はインターフェース部２５１が背景画像２９１だけを受け取るため、差分画像の階調はほとんどの画素で無意味な小さな値になる。

差分画像生成部２５７は、階調差を計算した各画素に対して一定の閾値を設定し各画素の階調を２値化する。差分画像生成部２５７は、たとえば、閾値を超えた画素については論理値１を設定し、閾値未満の画素については論理値０を設定する。差分画像３５１〜３５９では、背景画像２９１が取り除かれ、ブラー画像３０１ａ〜３０９ａが２値化した差分画像３５１ａ〜３５９ａに変換される。

差分画像生成部２５７は差分画像３５１〜３５９を合成画像生成部２５９に送る。差分画像３５１〜３５９は、フレーム３０１〜３０９がジェスチャとは無関係な物体の移動とともに撮影されたノイズとなるブラー画像（ノイズ・ブラー）も含む。ノイズ・ブラーは、パターン認識の精度を低下させるが、基準パターン２８１〜２８７はノイズ・ブラーと区別できるように比較的単純な形状にしており、パターン認識の過程でその影響は排除される。差分画像生成部２５７はジェスチャを認識するまでブロック６１５からブロック６０５に戻るパスでフレーム３０１〜３０９を受け取るたびに差分画像３５１〜３５９を生成して合成画像生成部２５９に送る。

ブロック６１３で合成画像生成部２５９は、受け取った差分画像３５１〜３５９と１つ前に受け取った差分画像の各画素について設定された論理値の論理和を計算し、合成画像群４００を生成する。差分画像３５１と論理和計算をする画像は２値化したブラー画像を含まないためブラー画像３５１と合成画像４０１は同じ画像となっている。差分画像４０１を生成したあとは、合成画像生成部２５９はつぎに受け取った差分画像３５３と直近に生成した合成画像４０１との論理和計算をして新たな合成画像４０３を生成する。差分画像３５５〜３５７が追加されるたびに、合成画像４０５〜４０９が生成されてブラー画像３０１ａ〜３０９ａの情報量は増加し基準パターン２８３の形状に近付いていく。

合成画像４０９は、ほぼ基準パターン２８３に近い形状になる。ブロック６１５でパターン認識部２６１は、合成画像４０１〜４０９を受け取るたびに、基準パターン２８１〜２８７のそれぞれと比較する特徴を周知のアルゴリズムを採用して比較する。特徴は、たとえば扇形が開いている向き、中心角または面積などとすることができる。基準パターン２８１〜２８７は比較的単純なパターンで構成されているため、パターン認識をするＣＰＵ１１の負担を軽くすることができる。

パターン認識部２６１は、合成画像の抜けている部分を補完して合成画像４０５または４０７でジェスチャが基準パターン２８３に一致していると判断することもできる。パターン認識部２６１は、合成画像４０１〜４０９がいずれかの基準パターン２８１〜２８７に一致したと判断したときにブロック６３３で当該基準パターンに関連付けられたコマンドをＯＳ２０５に送る。ブロック６３５でＯＳ２０５は、ノートＰＣを操作するための高度な処理を行うジェスチャ・エンジンを起動する。

ブロック６３５からブロック６０５に戻って、インターフェース部２５１はさらにフレーム・シーケンスを受け取る。コマンドを出力した直後は、合成画像生成部２５９にそれまでの合成画像が残っているためそれらを認識対象から除外する必要がある。パターン認識部２６１はコマンドを出力したあとの所定の数の合成画像を無視することができる。その後、前回のコマンド出力の基礎になった２値化されたブラー画像の影響がなくなった合成画像を受け取るようになった時点で、パターン認識部２６１は新たなジェスチャの認識を再開する。ジェスチャ・モードでは露光時間を意図的に長くして撮影するため、明るい場所から暗い場所まで撮影環境の影響を受けないでジェスチャを認識することができる。

本発明における認識の対象は、ブラー画像全体の輪郭が形成する形状である。ジェスチャの速度および露光時間自体は直接輪郭形状に影響しないが、それを適切に選択することで、認識までに必要とするジェスチャの回数、認識時間、消費電力および暗所撮影の点で有利になる。図１０は、フレーム転送周期Ｔｆとジェスチャ周期Ｔｊの関係を説明する図である。

ジェスチャが往路で位置Ｐ１から位置Ｐ２まで腕を振り、復路で位置Ｐ２から位置Ｐ１まで腕を振る動作であるとする。フレーム・レートＦの逆数であるフレーム転送周期Ｔｆが露光時間にほぼ等しいと仮定して説明すると、フレーム転送周期Ｔｆを長くするほど、１フレームが含むブラー画像の基準パターンとの比較に利用できる情報量は多くなる。しかし、フレーム転送周期Ｔｆを長くするとジェスチャを開始してからジェスチャ認識アプリケーション２０１が最初のフレームを取得するまでの時間が長くなってジェスチャの認識が遅れることになる。

ジェスチャの往路（位置Ｐ１から位置Ｐ２）または復路（位置Ｐ２から位置Ｐ１）の全体に渡って内部が充足するように描かれたブラー画像は基準パターンとの比較に必要な十分な情報量といえる。ただし、補完法を採用したり基準パターンの数が少なかったりする場合は必ずしもそれだけの情報量がなくても正確に認識できる。フレーム転送周期Ｔｆを長くしても、往路または復路ですでに得た情報以上の情報が得られない場合は、認識時間の遅延をもたらすだけとなるのでフレーム転送周期Ｔｆには上限を設定することができる。

ここにフレーム転送周期Ｔｆの上限は認識に利用できる十分な情報量を得ることができる最低の時間として定義することが可能になる。ジェスチャを開始する時刻ｔ０とフレーム転送のタイミングは同期させることができない。図１０の例ではジェスチャ周期Ｔｊより短いフレーム転送周期Ｔｆ１を設定して、時刻ｔ１で撮影を開始して時刻ｔ２で終了したフレームには、往路および復路でジェスチャの位置Ｐ１からＰ３までのブラー画像の情報が欠けることになる。

その情報は、２回目の往路のジェスチャの撮影が終わる時刻ｔ３で得ることができる。一方、ジェスチャ周期Ｔｊに等しいフレーム転送周期Ｔｆ２を設定して、時刻ｔ１で撮影を開始して時刻ｔ４で終了したフレームには、１回目の復路のジェスチャの全体を撮影したブラー画像の情報が含まれる。したがって、フレーム転送周期Ｔｆをジェスチャ周期Ｔｊより長くしても、すでに得た情報以上に合成画像に加える有用な情報は得られず、認識までの時間が長くなるだけである。したがって発明を限定する必要はないが、フレーム転送周期Ｔｆの最大値（フレーム・レートの最小値）はジェスチャ周期Ｔｊと露光時間が一致するように定めることができる。

本発明は、ジェスチャの方向を認識してコマンドの数を増やすこともできる。そのためにジェスチャ認識アプリケーション２０１は、図１０で位置Ｐ１から開始するジェスチャまたは位置Ｐ２から開始するジェスチャのいずれが行われたかを認識する。この場合に、ジェスチャの開始位置を認識するためにはフレーム転送周期Ｔｆの最大値をＴｆ＜Ｔｊ／４とすることができる。

フレーム転送周期Ｔｆを短くすると暗所でのジェスチャ認識が困難になり、システムの消費電力が増大する。許容できるカメラ・システムの消費電力はシステムごとに異なる。したがって、フレーム転送周期Ｔｆの最小値は、これらの点を考慮してシステムごとに定めることができる。なお、ジェスチャを認識するためにカメラ・モジュール１００に設定するパラメータは、カメラ・モジュール１００とパターン認識部２６１などのカメラ・システム１０の性能、撮影環境、基準パターンの数および許容されるジェスチャ回数などに依存するため、カメラ・システムごとに実験で決めることができる。

つぎに、カメラ・システム１０の省電力機能について説明する。カメラ・モジュール１００はジェスチャ・モードのときに低いフレーム・レートに設定される。図４の例では動画モードのフレーム・レート３０ｆｐｓに比べてジェスチャ・モードのフレーム・レートは５ｆｐｓと１／６になる。その結果、カメラ・モジュール１００は、フレームを転送しない時間が増加するために、選択サスペンド状態に入る時間が長くなり消費電力が低下する。

また、ＵＳＢバス５０を使用してデータ転送する時間が１／６になるため、ＵＳＢバスがアイドル状態に遷移する時間が長くなる。さらに、ジェスチャ・モードではフレーム・レートが低く、さらに基準パターンも比較的単純な数個のパターンに限定すればパターン認識をするＣＰＵ１１の負担が軽くなるため、ＣＰＵ１１はより深いスリープ・ステートに遷移することができる。このようにカメラ・システム１０はカメラ・モジュール１００、ＵＳＢバス５０、およびＣＰＵ１１の消費電力が低下するため、不特定のタイミングで行われる移動物体の動作を撮影できる状態を低消費電力で長時間維持することが必要な用途に適している。

［用途］
このような撮影環境の影響を受けないで低消費電力で待機しながらパターン認識ができるという特徴を利用して、本発明にかかるジェスチャ認識の方法をさまざまな用途に適用することができる。１つの用途として電子機器のパワー・ステートの制御がある。ノートＰＣでは、ＡＣＰＩが規定するパワー・オン状態（Ｓ０ステート）において、アイドル状態のデバイスの消費電力をランタイム・アイドル検出またはＳ０アイドルというマイクロソフト（登録商標）社が提唱する手法を採用して低減する場合がある。

ランタイム・アイドル状態検出では、システムがアイドル状態のときにＣＰＵ１１がアクティブ状態とスリープ状態の間を定期的にまたは割り込みに応じて遷移しながらＬＣＤ１７やその他の多くのデバイスが省電力状態に遷移する。このときジェスチャ・モードで動作するカメラ・システム１０がジェスチャを認識してシステムをウェイクさせることができる。あるいは強制的にアイドル状態に遷移させることもできる。カメラ・システム１０が認識する対象は、人体の部位の動作によるジェスチャに限定するものではなく、移動物体の動作全般に適用することができる。たとえば、特定の場所を通過する動物の姿、機械の動作、または自然環境の変化などの特有の動作をブラー画像として検出してコマンドを発行し静止画像や動画像を撮影することができる。

図８には複数の基準パターン２８１〜２８７を示したが、基準パターンは１個でもよい。その場合パターン認識部２６１はノイズ・ブラーとジェスチャのブラー画像を区別できればよいため、パターン認識をするＣＰＵ１１の負担は一層軽くなる。カメラ・システム１０をノートＰＣにおいて実現する例を説明したが、ジェスチャ認識アプリケーション２０１を、カメラ・モジュール１００のフラッシュＲＯＭ１１９に格納してＭＰＵ１１５が認識とコマンドの出力まで行うようにしてもよい。その場合は、ノートＰＣ１０をＣＰＵ１１の電力が停止するサスペンド状態（Ｓ３ステート）からウェイクさせることもできるようになる。

［他の合成画像の生成方法］
図９を参照して背景画像２９１とフレーム・シーケンス３００から差分画像群３５０および合成画像群４００を生成する例を説明したが、図１１を参照して合成画像を生成する他の方法を説明する。図１１は、図９と同じようにインターフェース部２５１が受け取るフレーム・シーケンス３００、差分画像生成部２５７が生成する差分画像群５００および合成画像生成部２５９が生成する合成画像群５５０を示している。図１１の方法では、背景画像生成部２５３および背景画像記憶部２５５は必要としない。

差分画像生成部２５７は、各フレーム３０１〜３０９を順番に受け取って差分画像５０１〜５０９を生成する。このとき差分画像生成部２５７は、連続する２個のフレームから差分画像を生成する。たとえば、背景画像のフレームとフレーム３０１から差分画像５０１を生成し、フレーム３０１とフレーム３０３から差分画像５０３を生成する。

合成画像生成部２５９は差分画像５０１〜５０９を受け取るたびに最新の合成画像との間で論理和計算を繰り返して合成画像５５１〜５５９を生成する。この方法では、背景画像の生成および更新をする必要がなくなるが、往路のジェスチャを撮影したフレームと復路のジェスチャを撮影したフレームのブラー画像が重なった画素領域は２値化したブラー画像として抽出できなくなる。この場合片道のジェスチャで認識できるように露光時間を長くするか、ジェスチャの往路と復路の周期を変えるようにして対処することができる。

これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。

１０ カメラ・システム
１００ カメラ・モジュール
１５１、１５５ 露光時間
１５３、１５７ 読み取り時間
２８１〜２８７ 基準パターン
２９１ 背景画像
２９３ 人間の腕
３００ フレーム・シーケンス
３０１〜３０９ フレーム
３０１ａ〜３０９ａ ブラー画像
３５１〜２５９、５０１〜５０９ 差分画像
３５１ａ〜３５９ａ ２値化したブラー画像
４０１〜４０９、５５１〜５５９ 合成画像

Claims (8)

1. 物体の所定の周期による往復動作を携帯式コンピュータが認識する方法であって、
   基準パターンを定義するステップと、
   前記物体を撮影したイメージ・センサから連続する複数のフレームを受け取るステップと、
   背景画像と各フレームが含むブラー画像を比較し、対応する画素の階調値の差を計算して２値化した差分画像を生成し、該差分画像を合成した合成画像から前記物体の往復動作に対応するブラー画像の形状を特定するステップと、
   前記基準パターンと前記特定したブラー画像の形状を比較するステップと、
   前記携帯式コンピュータが所定値以上の加速度を検出したときに前記背景画像を更新するステップと
   を有する方法。
2. 前記ブラー画像の形状を特定するステップが、前記差分画像の論理和を計算するステップを含む請求項１に記載の方法。
3. 所定の周期で往復動作をするジェスチャで携帯式コンピュータの動作を制御する方法であって、
   コマンドを関連付けた基準パターンを定義するステップと、
   前記ジェスチャが描くブラー画像を撮影するために前記携帯式コンピュータが搭載するイメージ・センサの露光時間を設定するステップと、
   前記イメージ・センサから前記ジェスチャを撮影した連続する複数のフレームを受け取るステップと、
   背景画像と各フレームが含むブラー画像を比較し、対応する画素の階調値の差を計算して２値化した差分画像を生成し、該差分画像を合成した合成画像から前記ジェスチャのブラー画像の形状を特定するステップと、
   前記ブラー画像の形状が前記基準パターンに一致すると判断したときに前記コマンドをシステムに送るステップと、
   前記携帯式コンピュータが所定値以上の加速度を検出したときに前記背景画像を更新するステップと
   を有する方法。
4. 前記コマンドに応答して前記携帯式コンピュータがパワー・ステートを変更するステップを有する請求項３に記載の方法。
5. 前記コマンドに応答して前記携帯式コンピュータが所定のアプリケーション・プログラムを起動するステップを有する請求項３に記載の方法。
6. 前記基準パターンの形状が肘または肩を中心とする腕の往復動作によりブラー画像が形成される扇形である請求項３から請求項５のいずれかに記載の方法。
7. 所定の周期で往復動作をするジェスチャを撮影することが可能なカメラ・モジュールを搭載する携帯式コンピュータであって、
   コマンドが関連付けられた基準パターンを格納する基準画像登録部と、
   前記ジェスチャの背景画像を生成する背景画像生成部と、
   前記背景画像と前記ジェスチャを撮影した各フレームの対応する画素の階調差を計算して２値化した差分画像を生成する差分画像生成部と、
   前記差分画像の論理和を計算して合成画像を生成する合成画像生成部と、
   前記合成画像と前記基準パターンを比較して両者が一致したと判断したときに前記コマンドを出力するパターン認識部とを有し、
   前記背景画像生成部は、前記携帯式コンピュータが所定値以上の加速度を検出したときに前記背景画像を更新する携帯式コンピュータ。
8. イメージ・センサを搭載する携帯式コンピュータに、
   基準パターンを格納する機能と、
   人体の部位が往復動作をするジェスチャを撮影した前記イメージ・センサから連続する複数のフレームを受け取る機能と、
   背景画像と各フレームを比較して対応する画素の階調値の差を計算し２値化した差分画像を生成して前記ジェスチャのブラー画像の形状を特定する機能と、
   前記基準パターンと前記特定したブラー画像の形状を比較する機能と、
   前記携帯式コンピュータが所定値以上の加速度を検出したときに前記背景画像を更新する機能と
   を実現させるためのコンピュータ・プログラム。

Images