JP4238278B2 - ジェスチャ・インターフェースの適応型追跡 - Google Patents

Description

発明者： ユーリ イワノフ
関連出願への参照
本出願は、２００４年１１月２日に出願された米国仮特許出願第６０／６２４，６３４号、「ジェスチャ・インターフェースの適応型追跡（Adaptive Tracking For Gesture Interfaces）」および２００５年９月１２日に出願された米国実用特許出願第１１／２２５，４１５号、「ジェスチャ・インターフェースの適応型追跡（Adaptive Tracking For Gesture Interfaces）」に基づいて、米国法典（ＵＳＣ）の第３５巻第１１９（ｅ）による優先権を主張するものであり、これらの内容のすべては参照により本明細書中に含まれるものとする。

本発明は、一般的には、ジェスチャ・インターフェースの分野に関し、より詳細には、視野内の移動体を特定し、追跡するアルゴリズムに関する。

ジェスチャ・インターフェースは、身体の動きを通して、ユーザがコンピュータシステムに指令を伝えることができる手段である。これはコンピュータが前景物体をその動きによって特定して、背景から前景物体を区別できることを必要とする。したがって、ジェスチャ認識アルゴリズムは、このような目的で開発されている。

従来のジェスチャ認識アルゴリズムは、様々な制限を受けている。追跡に対する多くの既存のアプローチは、移動領域を特定する中間ステップとして、何らかの背景除去方式（background subtraction）の形を含む。この背景除去方式を実行するため、長時間に亘って背景のモデルを作成する必要がある。背景モデルを維持する必要性により、カメラの動作が大きいモバイル用途にこのような方法を使用することは制限を受けることになる。追跡に対する既存のアプローチの第２の制限は、特に移動物体が固有の軌道を戻る際に、移動物体に属するピクセルを特定するときに発生する誤差である。この制限については、特定のアルゴリズムであるウォールフラワーアルゴリズム（Wallflower Algorithm）を参照して以下に述べる。ウォールフラワーアルゴリズムは、コンピュータビジョンに関する第７回国際会議（Seventh International Conference on Computer Vision）の第２５５−２６１ページ（１９９９年）に記載された、ケンタロウ・トヤマ（Kentaro Toyama），ジョン・クルム（John Krumm），バリー・ブルミット（Barry Brumitt）およびブライアン・メイヤーズ（Brian Meyers）著による「ウォールフラワー：背景維持の原理と実践（Wallflower: Principles and practice of background maintenance）」に詳述されており、その記載内容のすべては、参照により本明細書に含まれるものとする。

ウォールフラワーアルゴリズムは３つの部分からなる。すなわち、長時間に亘って背景のモデルを作成するピクセルベース（pixel-based）と、移動物体に属する色の領域を検出して物体のセグメント化を行う領域ベース（region-based）と、追跡システムのスーパーバイザーとして機能して、いつ追跡条件が再初期化またはコンテクストの切替えを必要とするかを決定するフレームベース（frame-based）である。移動物体に属するものとしてピクセルを誤認する問題は、ウォールフラワーアルゴリズムの領域ベース部分に起因する。図１は、ウォールフラワーアルゴリズムが、移動物体に属しているものとしてどのようにピクセルを特定し、どのようにして誤認が生じるかを説明するものである。最初のステップは、三連のビデオフレームのうちの２つの連続する組どうしの相違を検出することである。便宜上、ビデオフレームの時間をｔ−１，ｔ，ｔ＋１として参照する。ボックス１０１および１０２はビデオカメラの視野を表しており、３つの時間に亘る長方形物体の動きを示している。Ｒ１は時間ｔ−１における移動物体の位置を示し、Ｒ２は時間ｔにおける移動物体の位置を示し、Ｒ３は時間ｔ＋１における移動物体の位置を示す。したがって、ボックス１０１は、時間ｔにおけるビデオフレームを重ねた時間ｔ−１におけるビデオフレームの合成画像である。ボックス１０２は、時間ｔにおけるビデオフレームを重ねた時間ｔ＋１におけるビデオフレームの合成画像である。マスク１０３は、時間ｔ−１におけるビデオフレームと時間ｔにおけるビデオフレームとの差異を示す。同様にマスク１０４は、時間ｔにおけるビデオフレームと時間ｔ＋１におけるビデオフレームとの差異を示す。マスク１０３と１０４において、黒色の領域は２つの時間でピクセルの色彩が変化しなかったことを示しており、白色の領域はピクセルの色彩が変化したことを示している。ボックス１０５は、マスク１０３とマスク１０４との交差部分を示す。ウォールフラワーアルゴリズムによると、ボックス１０５における白色領域１０６と１０７は、時間ｔでピクセルが背景ではなく移動物体に属することを示している。しかしながら、この状況において、三連の連続するフレームが、白色領域１０７におけるピクセルのように、交互に被覆および露出されるピクセルのグループを含む場合、実際には背景の一部であったとしても、そのグループは移動物体に属していると誤認される。ウォールフラワーアルゴリズムは、領域１０７におけるピクセルが背景に属していると特定すべきところ、時間ｔでは移動物体に属していると誤認する。

上述したことより、たとえカメラの動作が大きい状況であっても、移動物体に属するピクセルと任意の背景に属するピクセルとを正確に区別するシステムおよび方法に対する必要性が存在する。

本発明は、短期背景モデル（short-term background model）および符号差演算（signed difference operation）を用いて、一連の画像における移動物体に属するピクセルを特定するジェスチャ認識システムおよび方法を含む。

一例として、均一色の物体が黒色背景の前で動く場合を想定する。本発明の一実施形態によると、第１画像と第２の後の画像との間では、物体が動くことでその領域で背景が覆われるので、暗色から明色へと変化するピクセルには正符号が割り当てられる。一方、物体の動きによってその領域が露出されると、明色から暗色へと変化するピクセルには負符号が割り当てられる。換言すると、符号差演算は、第１画像と第２画像を比較するために用いられる。同様に、符号差演算は、第２画像と第３の後の画像を比較するのに用いられる。２つの符号差画像の間で符号が正から負へと変化したピクセルは、背景ではなく、第２画像における移動物体に属する。

別の例では、任意の有色背景が、フレームを差別化した結果の符号に影響を及ぼすこともある。結果の符合は、単純背景モデルと比較して正規化されなければならない。最初に、第１の時間に対して短期背景モデルが生成される。短期背景モデルは、少なくとも２つのフレームで一致するかまたは不変のピクセルの最新値を含む。２つのフレーム間での符号差が決定される。最新画像および短期背景モデルから符号補正マスクを決定する。符号正規差マスクが決定される。第２の後の時間に対して、短期背景モデルが生成される。第２の時間に対する符号差が決定される。第２の時間における画像および第２の時間に対する短期背景モデルから、符号補正マスクが決定される。第２の時間に対して、符号正規差マスクが決定される。そして、第１の符号正規差マスクにおいて正符号を有するピクセルと、第２の符号正規差マスクにおいて負符号を有するピクセルは、たとえその移動物体が固有の軌道を戻る場合であっても、背景ではなく、第２画像における移動物体に属すると識別される。

本明細書に記載された特徴および利点は、すべてを包括するものではなく、特に、図面、明細書、特許請求の範囲を踏まえて、多くの他の特徴および利点が当業者に明らかになる。さらに明細書中で使用する用語は、主に読み易くしたり、理解し易くしたりするために選択されたものであり、本発明の主題を制限したり、限定したりする目的で選択したものではないことに留意すべきである。

本発明の他の利点および特徴は、添付の図面と共に、後述する発明の詳細な説明および添付の特許請求の範囲を参照することで、より簡単に明確になる。

図面において、同様または類似の参照符号が使用される場合には、同様または類似の機能を示しうることに留意されたい。図面は、単なる例示の目的で本発明の実施形態を示すに過ぎない。当業者であれば、以下の説明により、明細書に記載した本発明の原理を逸脱しない限り、明細書に例示した構成と方法に対する代替的な実施形態を採用できることが容易に理解できる。

図面および以下の説明は、本発明の特定の実施形態を例示するに過ぎない。以下の説明から、特許請求の範囲に記載された発明の原則から逸脱することなく採用できる実施可能な変形例として、ここに開示された構成および方法の別の実施形態が容易に理解できる。

本発明の幾つかの実施形態の詳細について参照する。これらの例は、添付の図面に記載されている。

本発明は、移動物体に属するピクセルを特定する方法２００を含む。この方法は、時間ｔ２０１で、時間ｔに対する不一致マスクを作成するステップ２０２から開始する。一実施形態では、前回の時間（例えば、ｔ−１）から時間ｔまでのピクセルの値における変化の絶対値が、小さい正の値εよりも大きいピクセルをすべて選択することで、不一致マスクＩが検出される。εの値は、画像ノイズの平均値よりも大きくなるように選択される。例えば、各カラーチャンネル（color channel）において２５６段階を提供する共通の２４ビットＲＧＢ画像エンコードでは、εの値は典型的には１０または１５に設定される。時間ｔにおける不一致マスクＩは、下記の方程式によって検出できる。

この方程式において、Ｒは各ピクセルの値を示す。したがって、時間ｔ−１における各ピクセルの値は、ピクセル対ピクセルベースで、時間ｔにおける各ピクセルの値から減算される。得られたマスクは、Ｒ_ｔおよびＲ_ｔ−１の値が異なるすべての位置で１の値を含むか、さもなければ０を含む。

ステップ２０３では、ステップ２０２で生成されたマスクを用いて、時間ｔに対する一致画像を更新する。一致マスクは短期背景モデルとして作用する。一致マスクは、少なくとも２つのフレームで「一致する」かまたは不変であるピクセルの最新値を保持することで帰納的に形成される。一実施形態では、時間ｔにおける一致画像Ｖは、下記の方程式によって検出できる。

第１項の「Ｉ_ｔＶ_ｔ−１」は、前回の時間ｔ−１からの前回の一致画像Ｖから保持される必要があるピクセルの値を示す。これらは時間ｔ−１と時間ｔの間で変化しているものとして、方程式（１）で特定されたピクセルである。したがって、これらのピクセルの最新値は一致していないので、これらは一致画像では使用されない。代わりに、前回の一致画像からのピクセルの値が使用される。第２項の「（１−Ｉ_ｔ）Ｒ_ｔ」は、新たな一致値が保持され、前回の一致画像を更新するピクセルの値を示す。係数「（１−Ｉ_ｔ）」は、不一致マスクＩの補数を示す。したがって、これは時間ｔ−１と時間ｔとの間で一致するかまたは不変のままであるピクセルを示す。この係数にＲ_ｔを乗算する。この方程式は、時間ｔにおける一致画像Ｖを形成するために加えられる時間ｔにおけるこれらピクセルのそれぞれの値であるからである。

ステップ２０４では、時間ｔに対する符号フレーム差を決定する。一実施形態では、符号フレーム差Ｓ_ｔが下記の方程式によって検出される。

この方程式において、符号は重要であるが、結果の正確な値は無視できる。結果の符合は、下記の方程式（５）で正式に抽出される。

ステップ２０５では、時間ｔに対する符号補正マスクが決定される。ピクセル値が暗色から明色へと変化している画像領域に対しては、符号補正マスクが、この変化の符号を正規化された表現形式に補正する。このマスクは、明るい背景の前に暗い物体が位置する場合と同様に、暗い背景の前に位置する明るい物体の均一な処理を許容する。一実施形態では、下記の方程式により、最新画像と一致画像から符号補正マスクＦ_ｔが決定される。

注意すべき事項として、移動物体によって覆われない背景ピクセルは一致画像Ｖと同じである。一つのアプローチとして、これらのピクセルには明確な差が割り当てられる。そのため、現在の値と一致画像値との差に対して階段関数Ｈを適用し、ノイズに起因する差を考慮して閾値βを用いる。階段関数Ｈは、すべての負の値に対して０の値を有し、それ以外では１を有する。したがって、Ｆ_ｔは−１または１である。換言すると、現在の画像Ｒ_ｔと一致画像Ｖ_ｔとの差が閾値βよりも小さいすべてのピクセルに対して符号が変更される。

ステップ２０６では、時間ｔに対する符号正規差マスクが決定される。一実施形態では、下記の方程式より、時間ｔに対する符号正規差マスクが決定される。

マスクＭは、符号正規差マスクの符号が正から負へと変化したピクセルを含む。負の値は０に設定され、正の値は１に設定される。このマスクＭは、たとえ物体が固有の軌道を戻る場合であっても、背景ではなく、時間ｔでフレーム内の物体に属するピクセルを含む。

図３を参照すると、本発明の方法の一実施形態が図示されている。この例では、説明を簡略化するため、均一な色の物体が黒色背景の前で動いている。本発明の原理から逸脱しない限り、移動物体がどのような形状または色の構成でも良く、移動物体が複雑な背景の前で動くことも可能であることは、当業者であれば理解できる。

図１と同様に、図３のＲ１は時間ｔ−１における移動物体の位置を示し、Ｒ２は時間ｔにおける移動物体の位置を示し、Ｒ３は時間ｔ＋１における移動物体の位置を示す。したがって、ボックス１０１は、時間ｔにおけるビデオフレームを重ねた時間ｔ−１におけるビデオフレームの合成画像である。ボックス１０２は、時間ｔにおけるビデオフレームを重ねた時間ｔ＋１におけるビデオフレームの合成画像である。上記ステップ２０２乃至２０６で説明したように、以下の説明では、どのように背景（黒一色の背景の場合）が画像から効率的に除去され、符号正規差マスクが決定されるのかを説明する。

ステップ２０２を参照して上述したように、前回の時間からのピクセルの値における変化の絶対値が、小さい正の値εよりも大きいピクセルをすべて選択することで、不一致マスクが生成される。図３に図示した例では、ボックス１０１の不一致マスクは、領域３１０のピクセルを除き、Ｒ１とＲ２内のすべてのピクセルを含むことになる。領域３１０のピクセルは、時間ｔにおいて時間ｔ−１と同じ値を保持している。なぜならこれらのピクセルは、２つの時間において移動物体の一部であるからである。そして、ステップ２０３を参照して上述したように、不一致マスクを用いて一致画像が更新される。したがって、短期背景モデルが更新される。ステップ２０４を参照して上述したように、時間ｔ−１におけるビデオフレームと時間ｔにおけるビデオフレームとの間で符号差が決定される。その後、時間ｔにおけるビデオフレームと時間ｔ＋１におけるビデオフレームとの間で符号差が決定される。この例は黒色背景の前で移動する単一色の物体を含むので、ステップ２０５で決定される符合補正マスクは、いずれかの場合でも符号差の符号を変更することはない。したがって、ステップ２０６で決定された符号正規差マスクは、それぞれの場合において元の符号差と同一の符号を有する。

図３において、符号正規差マスクは、マスク１０３とマスク１０４である。マスク１０３は、時間ｔ−１におけるビデオフレームと時間ｔにおけるビデオフレームとの差異を示す。同様にマスク１０４は、時間ｔにおけるビデオフレームと時間ｔ＋１におけるビデオフレームとの差異を示す。マスク１０３と１０４において、黒色の領域は２つの時間でピクセルの色彩が変化しなかったことを示しており、白色の領域はピクセルの色彩が変化したことを示している。図１とは対照的に、変化を示す符号が保持される。白色領域３０１は、この例では時間ｔ−１と時間ｔとの間でピクセルの値が暗色（黒色背景の値）から明色（移動物体の値）へと変化したことにより、正の符号が割り当てられる。白色領域３０２は、ピクセルの値が明色から暗色へと変化したことにより、負の符号が割り当てられる。符号の割り当ては、本発明から逸脱することなく、この方法全体を通して切り替えることができることは明らかである。

ステップ２０９では、符号正規差マスクの符号が正から後に負へと変化するピクセルの組が特定される。図３の例では、ボックス１０５は、マスク１０３と１０４との交差部を示し、符号が変化したピクセルを特定することを許容する。注意すべき事項として、符号正規差マスク１０３と１０４からの符号を保持することで、白色領域３０５は白色領域３０６から区別される。白色領域３０５では符号が正から負へと変化する一方で、白色領域３０６では符号が負から正へと変化する。本発明の方法では、移動物体の一部であるとして、符号正規差マスクの符号が時間ｔにおける正から時間ｔ＋１における負へと変化するピクセルの組を特定して、符号正規差マスクの符号が負から正へと変化するピクセルの組を除外するので、本発明による方法は、移動物体に属するピクセルを正確に特定することができる。ウォールフラワーアルゴリズムでは、図１に示す白色領域１０７のピクセルを移動物体に属するものとして誤認するのに対して、本発明の方法によると、これらのピクセルは背景に属するものとして正確に特定されることになる。

符号差を維持する結果、真のピクセル（true pixel）と擬似ピクセル（phantom pixel）は異なる方向に符号変化が起こる。この事は、たとえ物体がこの例のように固有の軌道を戻る場合であっても、移動物体の一部である真のピクセルと偽の正符号とを区別するのに用いることができる。

当該技術分野では公知のように、移動物体に属するピクセルを正確に特定することは、適切な物体色モデルを形成するために重要である。正確な物体色モデルにより、移動物体の追跡が支援される。図４を参照すると、動いている手の連続映像に対して、ウォールフラワーアルゴリズム法と比較した本発明の技法が示されている。第１列４０１は、２つの技法を試験するために使用された連続映像から選択した画像を示す。第２列４０２は、カラーモデルを形成するために、ウォールフラワーアルゴリズムによって選択されたピクセルを示す。第２列４０２の非黒色のピクセルによって示されるように、ウォールフラワーアルゴリズムによって選択されたピクセルは、人物のシャツと、人物の背後にあるガラスの反射のみならず、背景の一部も含んでいる。移動物体の一部ではないにも拘らず列４０２と列４０３に表れた非黒色のピクセルを見る限りでは、（ウォールフラワーアルゴリズムでは）移動物体用のカラーモデルの選択は十分ではない。第３列４０３は、本発明の方法によって同一の連続映像から選択したピクセルを示す。列４０３に示すように、本発明の方法による選択感度（selectivity）は高いことがわかる。したがって、移動物体用の選択性カラーモデルの取得に関して、本発明の性能がウォールフラワーアルゴリズムよりも優れていることが示される。

この開示を読むことによって、当業者は、本発明の開示した原理を通して、ピクセルの組を特定するシステムおよび方法に対する更に別の代替的な構成設計や機能設計が可能であることが理解できる。以上、本発明の特定の実施例と適用例について図解して説明したが、本発明は明細書で開示された通りの構成や構成要素に限定されるものではなく、添付の特許請求の範囲に記載された本発明の精神および範囲を逸脱することなく、明細書に開示された本発明の方法および装置の配置、処理、および詳細に対して、様々な改変、変更、および変形を行うことができることは当業者に明らかである。

移動物体に属するピクセルを特定する従来の方法を示す。 本発明の一実施形態により移動物体に属するピクセルを特定する方法を示す流れ図である。 本発明の一実施形態により移動物体に属するピクセルを特定する方法の各ステップを示す。 ウォールフラワーアルゴリズムによって生成した結果と、本発明の方法の一実施形態によって生成した結果との比較を示す。

Claims (20)

1. 第１画像、第２画像、および第３画像を含む少なくとも３つの画像において第１物体の位置が異なる場合に、ピクセルを収集するステップを含み、この第１物体の形状を特定する方法であって、
   （ａ）前記第１画像と前記第２画像との間でピクセル位置における値の第１差を決定するステップと、
   （ｂ）前記第１差に応じた第１符合を割り当てるステップと、
   （ｃ）前記第１画像および前記第２画像における第１組のピクセル位置のそれぞれに対して、前記（ａ）乃至（ｂ）のステップを繰り返すステップと、
   （ｄ）前記第２画像と前記第３画像との間でピクセル位置における値の第２差を決定するステップと、
   （ｅ）前記第２差に応じた第２符合を割り当てるステップと、
   （ｆ）前記第２画像および前記第３画像における第１組のピクセル位置のそれぞれに対して、前記（ｄ）乃至（ｅ）のステップを繰り返すステップと、
   （ｇ）前記各ピクセル位置に応じた第１符合および第２符合が第１パターンを有するようなピクセル位置を特定するステップと、
   からなることを特徴とするコンピュータを利用した方法。
2. 前記第１パターンは、負の第１符号と正の第２符号とを含むことを特徴とする請求項１に記載の方法。
3. 前記第１パターンは、正の第１符号と負の第２符号とを含むことを特徴とする請求項１に記載の方法。
4. 前記第１画像は前記第２画像よりも時間的に早く、前記第２画像は前記第３画像よりも時間的に早いことを特徴とする請求項１に記載の方法。
5. 前記第１組のピクセル位置は、前記第１画像におけるすべてのピクセル位置を含むことを特徴とする請求項１に記載の方法。
6. 前記値の第１差が正であるとき、前記第１差に応じた前記第１符合は正であることを特徴とする請求項１に記載の方法。
7. 前記値の第１差が正であるとき、前記第１差に応じた前記第１符号は負であることを特徴とする請求項１に記載の方法。
8. 第１画像、第２画像、および第３画像を含む少なくとも３つの画像において第１物体の位置が異なる場合に、ピクセルを収集するステップを含み、この第１物体の形状を特定する方法であって、
   （ａ）前記第１画像と前記第２画像との間でピクセル位置における値の第１差を決定するステップと、
   （ｂ）前記第１差に応じた第１符合を割り当てるステップと、
   （ｃ）前記第２画像と前記第３画像との間でピクセル位置における値の第２差を決定するステップと、
   （ｄ）前記第２差に応じた第２符合を割り当てるステップと、
   （ｅ）前記少なくとも３つの画像における第１組のピクセル位置のそれぞれに対して、前記（ａ）乃至（ｄ）のステップを繰り返すステップと、
   （ｆ）前記各ピクセル位置に応じた第１符合および第２符合が第１パターンを有するようなピクセル位置を特定するステップと、
   からなることを特徴とするコンピュータを利用した方法。
9. 前記第１パターンは、負の第１符号と正の第２符号とを含むことを特徴とする請求項８に記載の方法。
10. 前記第１パターンは、正の第１符号と負の第２符号とを含むことを特徴とする請求項８に記載の方法。
11. 前記第１画像は前記第２画像よりも時間的に早く、前記第２画像は前記第３画像よりも時間的に早いことを特徴とする請求項８に記載の方法。
12. 前記第１組のピクセル位置は、前記第１画像におけるすべてのピクセル位置を含むことを特徴とする請求項８に記載の方法。
13. 前記値の第１差が正であるとき、前記第１差に応じた前記第１符合は正であることを特徴とする請求項８に記載の方法。
14. 前記値の第１差が正であるとき、前記第１差に応じた前記第１符合は負であることを特徴とする請求項８に記載の方法。
15. 第１画像、第２画像、および第３画像を含む少なくとも３つの画像において第１物体の位置が異なる場合に、ピクセルを収集するステップを含み、この第１物体の形状を特定するシステムであって、
    前記第１画像と前記第２画像との間で、少なくとも２つのピクセル位置における値の第１差を決定する第１決定手段と、
    前記少なくとも２つのピクセル位置のそれぞれで、前記第１差に応じた第１符合を割り当てる第１割り当て手段と、
    前記第２画像と前記第３画像との間で、前記少なくとも２つのピクセル位置における値の第２差を決定する第２決定手段と、
    前記少なくとも２つのピクセル位置のそれぞれで、前記第２差に応じた第２符合を割り当てる第２割り当て手段と、
    前記各ピクセル位置に応じた第１符合および第２符合が第１パターンを有するようなピクセル位置を特定する特定手段と、
    からなることを特徴とするコンピュータを利用したシステム。
16. 前記第１パターンは、負の第１符号と正の第２符号とを含むことを特徴とする請求項１５に記載のシステム。
17. 前記第１パターンは、正の第１符号と負の第２符号とを含むことを特徴とする請求項１５に記載のシステム。
18. 前記第１画像は前記第２画像よりも時間的に早く、前記第２画像は前記第３画像よりも時間的に早いことを特徴とする請求項１５に記載のシステム。
19. 前記少なくとも２つのピクセル位置は、前記第１画像におけるすべてのピクセル位置を含むことを特徴とする請求項１５に記載のシステム。
20. 前記値の第１差が正であるとき、前記第１差に応じた前記第１符合は正であることを特徴とする請求項１５に記載のシステム。

Images