JP5742583B2

JP5742583B2 - 画像処理装置、画像処理方法及び画像処理プログラム

Info

Publication number: JP5742583B2
Application number: JP2011179969A
Authority: JP
Inventors: 勝山　裕; 裕勝山; 明洋皆川; 堀田　悦伸; 悦伸堀田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2011-08-19
Filing date: 2011-08-19
Publication date: 2015-07-01
Anticipated expiration: 2031-08-19
Also published as: US20130044197A1; US8913117B2; JP2013041553A

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

人の身振りや手振り、いわゆるジェスチャをマンマシンインタフェースに利用する試みがなされている。かかるジェスチャを認識する技術の一例としては、対象物の移動軌跡を用いてジェスチャを認識するジェスチャ認識装置が挙げられる。

このジェスチャ認識装置は、異なる時刻に得られる複数の画像フレームからそれぞれ抽出されたユーザの手に対応する対象領域の中から着目点を抽出する。そして、ジェスチャ認識装置は、先に抽出した着目点の移動方向に基づいて対象領域の移動方向を判定した上で、移動方向の判定結果を時系列に並べることにより得られる遷移データを用いて、ユーザの手の移動軌跡を検出する。

特開２０１１−７６２５５号公報

しかしながら、上記の従来技術には、以下に説明するように、ユーザが意図しない動作をジェスチャと誤認識してしまうという問題がある。

すなわち、上記のジェスチャ認識装置では、ユーザがジェスチャを繰り返して行う場合に、ジェスチャを繰り返すための予備動作がジェスチャと誤認識されてしまうおそれがある。例えば、ユーザが手を右から左へ移動させるジェスチャを繰り返して行う場合には、ユーザが手を右から左へ移動させる意図通りの動作だけがジェスチャと認識される訳ではない。すなわち、次のジェスチャを行うために左に移動させていた手を右へ戻す予備動作もジェスチャと認識されてしまうおそれがある。

開示の技術は、上記に鑑みてなされたものであって、ユーザの意図しない動作がジェスチャと誤認識されるのを防止できる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本願の開示する画像処理装置は、画像を取得する画像取得部を有する。さらに、前記画像処理装置は、前記画像取得部によって取得された画像からジェスチャを認識する対象を特徴付ける領域を抽出する領域抽出部を有する。さらに、画像処理装置は、前記画像のフレーム間で前記領域抽出部によって抽出された領域同士を対応付ける対応付け部を有する。さらに、前記画像のフレーム前後で前記対応付け部によって対応付けられた領域が移動した移動方向を抽出する方向抽出部を有する。さらに、画像処理装置は、前記画像のフレーム前後で前記対応付け部によって対応付けられた領域が移動した移動距離が所定の閾値よりも大きい場合に、前記方向抽出部によって抽出された移動方向を出力する方向出力部を有する。さらに、画像処理装置は、前記閾値を超えた移動距離を用いて前記閾値を更新する閾値更新部を有する。

本願の開示する画像処理装置の一つの態様によれば、ユーザの意図しない動作がジェスチャと誤認識されるのを防止できるという効果を奏する。

図１は、実施例１に係る画像処理装置の機能的構成を示すブロック図である。図２は、フレームｔ−１、フレームｔ、差分画像及び重複画像の一例を示す図である。図３は、閾値の変動および移動距離の相関関係を示す図である。図４は、実施例１に係る手振り方向出力処理の手順を示すフローチャートである。図５は、実施例１に係る第１の対応付け処理の手順を示すフローチャートである。図６は、実施例１及び実施例２に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。

以下に、本願の開示する画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［画像処理装置の構成］
まず、本実施例に係る画像処理装置の機能的構成について説明する。図１は、実施例１に係る画像処理装置の機能的構成を示すブロック図である。図１に示す画像処理装置１０は、カメラ２０によって撮像された画像から人の身振りや手振り、いわゆるジェスチャを認識するものである。

図１に示すカメラ２０は、図示しない表示部の表裏のうち画面が表示される表側と同じ方向を撮像可能に設置される。このカメラ２０によって経時的に撮像された画像には、表示部の表側に相対するユーザが映る場合がある。そして、ユーザが映る画像の中には、ユーザがカメラ２０に向けてジェスチャを行った様子が含まれる場合がある。このカメラ２０によって撮像された画像は、画像処理装置１０に入力される。

図１に示すように、画像処理装置１０は、画像取得部１１と、画像記憶部１２と、領域抽出部１３と、対応付け部１４と、方向抽出部１５と、方向出力部１６と、閾値更新部１７とを有する。なお、画像処理装置１０は、図１に示した機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイスなどを始め、他の装置との通信を制御する通信インターフェースなどの機能部を有することとしてもかまわない。

画像取得部１１は、画像を取得する処理部である。一態様としては、画像取得部１１は、カメラ２０によって撮像される画像を順次取得する。他の一様としては、画像取得部１１は、インターネットやＬＡＮ（Local Area Network）などのネットワークを介して画像を取得することもできる。更なる一態様としては、画像取得部１１は、メモリカードやＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から画像を取得することもできる。なお、以下では、カメラ２０を始めとする各種の入手経路を介して取得される画像であって後段の処理部によって加工される前の画像のことを「原画像」と記載する場合がある。

画像記憶部１２は、画像を記憶する記憶部である。例えば、画像記憶部１２には、画像取得部１１によって取得された原画像が蓄積して登録される。また、画像記憶部１２には、画像取得部１１によって取得された原画像の他、後述の領域抽出部１３によって閾値処理やラベリング処理されたラベルの情報も併せて登録される。

領域抽出部１３は、画像取得部１１によって取得された画像からジェスチャを認識する対象を特徴付ける領域を抽出する処理部である。一態様としては、領域抽出部１３は、画像取得部１１によって取得されたフレームｔの原画像に対し、閾値処理やラベリング処理を実行する。これによって、領域抽出部１３は、ジェスチャを行うユーザの手を特徴付ける肌色の画素が連結された領域を「ラベル」として抽出する。

これを説明すると、領域抽出部１３は、原画像の濃度値が低い方から順に、輪郭及びエッジの一致度を評価尺度として算出した閾値で原画像を２値化する。２回目以降は、領域抽出部１３は、以前の閾値で求まるエッジ部分を除外して同じ尺度で閾値を決定して、原画像を２値化する。これを再帰的に繰り返すことによって、異なる閾値によって２値化された複数の２値画像を生成する。その後、領域抽出部１３は、各２値画像においてその２値画像をマスクとして使用し、マスク内の肌画像の部分領域の濃淡値の一致度、面積、縦横長さ、形状を評価することによって、最も手らしい２値画像があるものを選択する。

このように、輪郭とエッジの一致度に基づく複数の閾値によって２値化された２値画像を用いて手の領域を抽出することにより、肌色に近い背景とともにユーザの手が映った原画像であっても手の領域を抽出することができる。

対応付け部１４は、画像のフレーム間で領域抽出部１３によって抽出されたラベル同士を対応付ける処理部である。一態様としては、対応付け部１４は、領域抽出部１３によって今回抽出されたフレームｔのラベルと、画像記憶部１２に記憶された前フレームｔ−１のラベルとが画像上で重複するか否かを判定する。このとき、対応付け部１４は、フレームｔのラベルとフレームｔ−１のラベルとが重複する場合には、ラベル間の重複を利用した第１の対応付け処理を実行する。

これを説明すると、対応付け部１４は、フレームｔの画像からフレームｔ−１の画像を差し引くことによって「差分画像」を生成する。さらに、対応付け部１４は、フレームｔの画像及びフレームｔ−１の画像の積をとることによって「重複画像」を生成する。これら差分画像及び重複画像についてもラベリング処理を実行することによって差分画像のラベル及び重複画像のラベルを抽出する。このようにして、対応付け部１４は、フレームｔのラベル集合、フレームｔ−１のラベル集合、差分画像のラベル集合及び重複画像のラベル集合を揃える。なお、以下では、差分画像のラベルのことを「差分ラベル」と記載し、重複画像のラベルことを「重複ラベル」と記載する場合がある。

このような準備を行った上で、対応付け部１４は、フレームｔ、フレームｔ−１のそれぞれのラベルに対して重複ラベルおよび差分ラベルを対応付ける。図２は、フレームｔ−１、フレームｔ、差分画像及び重複画像の一例を示す図である。図２に示す符号４０は、フレームｔ−１の２値画像を指す。図２に示す符号５０は、フレームｔの２値画像を指す。図２に示す符号６０は、差分画像を指す。また、図２に示す符号７０は、重複画像を指す。

図２に示す例で言えば、重複ラベル７１には、フレームｔ−１のラベル４１、フレームｔのラベル５１がそれぞれ対応する。また、重複ラベル７２には、フレームｔ−１のラベル４２、フレームｔのラベル５３が対応する。

続いて、対応付け部１４は、フレームｔの画像ＡのラベルＬａとフレームｔ−１の画像ＢのラベルＬｂとを対応付ける方法として、次のような方法を用いる。まず、対応付け部１４は、フレームｔのラベルＬａの中の各画素に対して、フレームｔ−１の各ラベルと重複する画素数を算出する。そして、対応付け部１４は、フレームｔ−１の中のラベルで、Ｌａと重複する画素数が最も大きなものＬｂをＬａと対応づける。図２の例で言えば、フレームｔのラベル５１とフレームｔ−１のラベル４１が、フレームｔのラベル５３とフレームｔ−１のラベル４２が対応付けられる。

この対応関係を用いることにより、差分画像のラベルに対応するフレームｔのラベルを算出した上で、それに対応する重複ラベルを導くことができる。図２の例で言えば、差分ラベル６２と、フレームｔのラベル５３と、重複ラベル７２とが対応付けられる。このため、フレームｔ上のラベル５３は、これに対する差分画像のラベル差分ラベル６２があるので、動きを持つものとし、それに対応するフレームｔ−１上のラベル４２と対応しているとみなし対応を選定する。

一方、差分画像のラベルに対応する重複画像のラベルがない場合には、出現、消失または大きな動きの物体とみなすことができる。この場合には、対応付け部１４は、モーメント特徴（０次：面積、２次：慣性主軸）を用いた第２の対応付け処理を実行することによって大きな動きがあった物体であるのか、あるいは出現や消失が行ったのかを判別する。図２に示す例で言えば、フレームｔ−１のラベル４３とフレームｔのラベル５２とが該当する。これらは重複ラベルを同一に持たないため、出現、消失、または大きな動きによるものと推定できる。

これを説明すると、対応付け部１４は、下記の式（１）を用いて、各フレームのラベルのうち、重複ラベルにない、あるいは対応がつかないラベルの０次のモーメント特徴、すなわち面積を算出する。なお、下記の式（１）における「δ_ａｂ」は、クロネッカーのデルタを表す。そして、対応付け部１４は、フレームｔ−１のラベル４３の面積をフレームｔのラベル５２の面積で除算した除算値が下限値及び上限値の範囲内に存在するか否かを判定する。すなわち、対応付け部１４は、「下限値Ｕ１＜フレームｔ−１のラベル４３の面積／フレームｔのラベル５２の面積＜上限値Ｌ１」であるか否かを判定する。かかる除算値は、その値が「１」に近づくほどラベル４３及びラベル５２の大きさが類似することを示す。なお、除算値が下限値及び上限値の範囲内にない場合には、ラベル間の大きさ自体が異なると推定できるので、ラベル４３及びラベル５２は出現または消失とみなすことができる。

そして、対応付け部１４は、先の除算値が下限値及び上限値の範囲内にある場合には、２次のモーメント特徴、すなわち慣性主軸方向のモーメント量と慣性主軸に直交する方向のモーメント量を算出する。

すなわち、対応付け部１４は、下記の式（２）を用いてＭ１０を計算するとともに、式（３）を用いてＭ０１を計算する。その上で、対応付け部１４は、Ｍ１０をＭ００で除算するとともにＭ０１をＭ００で除算することによって１次のモーメント特徴、すなわち重心位置（μ_ｘ，μ_ｙ）を算出する。そして、対応付け部１４は、先に算出した重心位置を下記の式（４）〜式（６）に代入することによってＭ２０、Ｍ０２及びＭ１１を算出する。その後、対応付け部１４は、下記の式（７）を下記の式（８）へ変形した上で式（４）〜式（６）を用いて算出しておいたＭ２０、Ｍ０２及びＭ１１を代入することによって慣性主軸θを算出する。そして、対応付け部１４は、慣性主軸θ、Ｍ０２、Ｍ１１及びＭ２０を下記の式（９）に代入することによって慣性主軸方向の重心周りの２次モーメントを導出する。なお、下記の数式における「ａ∧ｂ」は、ａのｂ乗を意味することとする。

その上で、対応付け部１４は、フレームｔのラベル５２の慣性主軸方向のモーメント量をフレームｔ−１のラベル４３の慣性主軸方向のモーメント量で除した除算値が下限値Ｌ２及び上限値Ｕ２の範囲内であるかを判定する。すなわち、対応付け部１４は、「下限値Ｌ２＜フレームｔのラベル５２の慣性主軸方向のモーメント量／フレームｔ−１のラベル４３の慣性主軸方向のモーメント量＜上限値Ｕ２」であるか否かを判定する。

このとき、対応付け部１４は、除算値が下限値Ｌ２及び上限値Ｕ２の範囲内である場合には、次のような判定をさらに実行する。すなわち、対応付け部１４は、フレームｔのラベル５２の慣性主軸直交方向のモーメント量をフレームｔ−１のラベル４３の慣性主軸直交方向のモーメント量で除した除算値が下限値Ｌ３及び上限値Ｕ３の範囲内であるかを判定する。つまり、「下限値Ｌ３＜フレームｔのラベル５２の慣性主軸直交方向のモーメント量／フレームｔ−１のラベル４３の慣性主軸直交方向のモーメント量＜上限値Ｕ３」であるか否かを判定する。

ここで、対応付け部１４は、除算値が下限値Ｌ３及び上限値Ｕ３の範囲内である場合には、フレームｔのラベル５２及びフレームｔ−１のラベル４３は大きさのみならず、形まで類似していることになる。この場合には、フレームｔ−１のラベル４３がフレームｔのラベル５２に移動したと判断し、これらフレームｔ−１のラベル４３及びフレームｔのラベル５２を対応付ける。一方、上記の３つの条件を１つでも満たさない場合には、ノイズと推定し、対応付けは行わない。なお、モーメント特徴は、回転に対して不変となるので、正しく回転すれば、上記の値は「１」となる。

このように、０次のモーメント特徴及び２次のモーメント特徴を用いて面積及び形状特徴に関する判定を重複ラベルに対応付けのない差分ラベルに対して実行することで、フレームｔ、フレームｔ−１の中で離れた位置のラベルの対応付けを高精度に実行する。

方向抽出部１５は、画像のフレーム前後で対応付け部１４によって対応付けられたラベルが移動した移動方向を抽出する処理部である。一態様としては、方向抽出部１５は、対応付け部１４によってフレームｔ及びフレームｔ−１の間で対応付けられたラベルの重心位置を算出する。その上で、方向抽出部１５は、フレームｔ−１のラベルの重心位置からフレームｔのラベルの重心位置に向かう方向を手振り方向として抽出する。さらに、方向抽出部１５は、フレームｔ−１のラベルの重心位置及びフレームｔのラベルの重心位置の距離を移動距離として算出する。なお、フレームｔ及びフレームｔ−１の間で複数の組のラベルが対応付けられている場合には、両者の移動距離の統計値、例えば相加平均値や加重平均値などを算出するようにしてもよい。

方向出力部１６は、方向抽出部１５によって抽出された移動方向を出力する処理部である。一態様としては、方向出力部１６は、方向抽出部１５によって算出された移動距離が後述の閾値更新部１７によって更新される閾値よりも大きいか否かを判定する。このとき、方向出力部１６は、移動距離が閾値よりも大きい場合に、方向抽出部１５によって抽出された手振り方向を後段の認識部３０へ出力する。一方、方向出力部１６は、移動距離が閾値以下である場合には、方向抽出部１５によって抽出された移動方向を後段の認識部３０へ出力しない。

閾値更新部１７は、閾値を超えた移動距離を用いて閾値を更新する処理部である。一態様としては、閾値更新部１７は、方向出力部１６によって移動距離が閾値よりも大きいと判定された場合に、方向出力部１６が判定に使用する閾値を移動距離に設定する。このように、閾値を固定とせずに閾値を超えた移動距離を新たな閾値とするのは、ユーザがジェスチャを意図して動作している場合と意図せずに動作を行う場合とでは手を動かす速度が異なるからである。すなわち、ジェスチャを意図して手を動かしている方が予備動作等で意図せずに手を動かす場合よりも手を動かす速度が速いことを鑑み、意図していない場合の手振りの速度から閾値を遠ざけるためである。一方、閾値更新部１７は、方向出力部１６によって移動距離が閾値以下であると判定された場合に、所定の係数、例えば「１」よりも小さい０．８などを閾値に乗算することによって閾値を減少させる。これは、ジェスチャを意図して手を動かしている速度まで閾値が超えてしまうのを防止するためである。なお、閾値の初期値には、ユーザがジェスチャの意思をもって動かされると推定できる速度から換算される値が設定される。

図３は、閾値の変動および移動距離の相関関係を示す図である。図３に示す符号８０、符号８１、符号８２及び符号８３は、ユーザがジェスチャを繰り返して行う場合における意図しない手振りの動きを指す。また、図３に示す符号９０、符号９１及び符号９２は、ユーザがジェスチャを繰り返して行う場合における意図した手振りの動きを指す。

図３に示すように、最初に意図しない予備動作から開始されたときには、手振り方向が出力されるので、ジェスチャと誤認識されるおそれがあるが、以降は閾値が変動して意図しない手振りの動きで動かされる移動距離から閾値が遠ざかっている。また、閾値を超えた移動距離が閾値に設定されるので、ユーザの特性に合わせて閾値が変わり、手振りが速い人の閾値は高く、手振りが遅い人の閾値は低くでき、多様なパターンの人に対応できる。

［処理の流れ］
次に、本実施例に係る画像処理装置の処理の流れについて説明する。なお、ここでは、画像処理装置１０によって実行される（１）手振り方向出力処理を説明した後に、サブフローとして実行される（２）第１の対応付け処理を説明する。

（１）手振り方向出力処理
図４は、実施例１に係る手振り方向出力処理の手順を示すフローチャートである。この手振り方向出力処理は、電源がＯＮ状態である限り、繰り返し実行される処理であり、カメラ２０から画像が取得された場合に処理が起動する。

図４に示すように、画像取得部１１は、カメラ２０から画像を順次取得する（ステップＳ１０１）。すると、領域抽出部１２は、画像取得部１１によって取得された画像にラベリング処理を実行する（ステップＳ１０２）。

このとき、対応付け部１４は、領域抽出部１２によってラベリング処理されたラベルが前フレームでラベリングされたラベルとの間で重複するか否かを判定する（ステップＳ１０３）。そして、フレーム間で重複する場合（ステップＳ１０３肯定）には、対応付け部１４は、フレーム間でラベルが重複するラベルを対象に、後述する第１の対応付け処理を実行する（ステップＳ１０４）。なお、ラベルがフレーム間で重複しない場合（ステップＳ１０３否定）には、そのままステップＳ１０５へ移行する。

その後、第１の対応付け処理で対応付けが行われなかったラベルが存在する場合（ステップＳ１０５肯定）には、対応付け部１４は、０次および２次のモーメント特徴を用いた第２の対応付け処理を実行する（ステップＳ１０６）。なお、第１の対応付け処理で対応付けが行われなかったラベルが残っていない場合（ステップＳ１０５否定）には、そのままステップＳ１０７へ移行する。

そして、方向抽出部１５は、フレーム間で対応付け部１４によって対応付けられたラベルが移動した移動方向を抽出する（ステップＳ１０７）。その後、方向出力部１６は、移動距離が閾値よりも大きいか否かを判定する（ステップＳ１０８）。

このとき、移動距離が閾値よりも大きい場合（ステップＳ１０８肯定）には、方向出力部１６は、方向抽出部１５によって抽出された手振り方向を出力する（ステップＳ１０９）。その後、閾値更新部１７は、方向出力部１６が判定に使用する閾値を移動距離に設定し（ステップＳ１１０）、処理を終了する。

一方、移動距離が閾値以下である場合（ステップＳ１０８否定）には、閾値更新部１７は、方向出力部１６が判定に使用する閾値に所定の係数を乗算することによって閾値を減少させ（ステップＳ１１１）、処理を終了する。

［第１の対応付け処理］
図５は、実施例１に係る第１の対応付け処理の手順を示すフローチャートである。この第１の対応付け処理は、図４に示したステップＳ１０４に対応する処理であり、フレーム間で重複があるラベルを対象に実行される。

図５に示すように、対応付け部１４は、差分画像及び重複画像を生成し（ステップＳ３０１）、差分画像及び重複画像をラベリング処理する（ステップＳ３０２）。そして、対応付け部１４は、重複ラベルをキーにしてフレームｔ及びフレームｔ−１のラベルを対応付ける（ステップＳ３０３）。最後に、対応付け部１４は、差分ラベルと対応付けられた移動ラベルを選択し（ステップＳ３０４）、処理を終了する。

［実施例１の効果］
上述してきたように、本実施例に係る画像処理装置１０は、画像からジェスチャを認識する対象を特徴付ける領域を抽出する。さらに、本実施例に係る画像処理装置１０は、画像のフレーム間で領域同士を対応付ける。さらに、本実施例に係る画像処理装置１０は、画像のフレーム前後で領域が移動した移動方向を抽出する。さらに、本実施例に係る画像処理装置１０は、画像のフレーム前後で領域が移動した移動距離が所定の閾値よりも大きい場合に、移動方向を出力する。さらに、本実施例に係る画像処理装置１０は、閾値を超えた移動距離を用いて閾値を更新する。

このように、本実施例に係る画像処理装置１０は、閾値を超えた移動距離を用いて閾値を更新するので、意図していない場合の手振りの速度から閾値を遠ざけることができる結果、ユーザの意図しない動作がジェスチャと誤認識されるのを防止できる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［閾値更新の応用例］
例えば、上記の実施例１では、閾値を超えた移動距離そのものを閾値に設定する場合を例示したが、閾値を超えた移動距離を加工して閾値とすることもできる。例えば、開示の装置は、閾値を超えた移動距離の最小値および最大値の中間値を閾値に設定したり、あるいは、閾値を超えた移動距離の平均値を閾値に設定したりすることもできる。これによって、閾値をより適切な値に収束させることができる。

［画像処理プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図６を用いて、上記の実施例と同様の機能を有する画像処理プログラムを実行するコンピュータの一例について説明する。

図６は、実施例１及び実施例２に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。図６に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０と有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図６に示すように、上記の実施例１で示した画像取得部１１と、領域抽出部１３と、対応付け部１４と、方向抽出部１５と、方向出力部１６と、閾値更新部１７と同様の機能を発揮する画像処理プログラム１７０ａが予め記憶される。この画像処理プログラム１７０ａについては、図１に示した各々の画像取得部１１、領域抽出部１３、対応付け部１４、方向抽出部１５、方向出力部１６及び閾値更新部１７の各構成要素と同様、適宜統合又は分離しても良い。すなわち、ＨＤＤ１７０に格納される各データは、常に全てのデータがＨＤＤ１７０に格納される必要はなく、処理に必要なデータのみがＨＤＤ１７０に格納されれば良い。

そして、ＣＰＵ１５０が、画像処理プログラム１７０ａをＨＤＤ１７０から読み出してＲＡＭ１８０に展開する。これによって、図ＸＸに示すように、画像処理プログラム１７０ａは、画像処理プロセス１８０ａとして機能する。この画像処理プロセス１８０ａは、ＨＤＤ１７０から読み出した各種データを適宜ＲＡＭ１８０上の自身に割り当てられた領域に展開し、この展開した各種データに基づいて各種処理を実行する。なお、画像処理プロセス１８０ａは、図１に示した画像取得部１１、領域抽出部１３、対応付け部１４、方向抽出部１５、方向出力部１６及び閾値更新部１７にて実行される処理、例えば図４及び図５に示す処理を含む。また、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。

なお、上記の画像処理プログラム１７０ａについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

１０画像処理装置
１１画像取得部
１２画像記憶部
１３領域抽出部
１４対応付け部
１５方向抽出部
１６方向出力部
１７閾値更新部

Claims

画像を取得する画像取得部と、
前記画像取得部によって取得された画像からジェスチャを認識する対象を特徴付ける領域を抽出する領域抽出部と、
前記画像のフレーム間で前記領域抽出部によって抽出された領域同士を対応付ける対応付け部と、
前記画像のフレーム前後で前記対応付け部によって対応付けられた領域が移動した移動方向を抽出する方向抽出部と、
前記画像のフレーム前後で前記対応付け部によって対応付けられた領域が移動した移動距離が所定の閾値よりも大きい場合に、前記方向抽出部によって抽出された移動方向を出力する方向出力部と、
前記閾値を超えた移動距離を前記閾値に設定した上で、前記移動距離が閾値を超えるまで閾値を時間経過にしたがって減少させる閾値更新部と
を有することを特徴とする画像処理装置。
コンピュータが、
画像を取得し、
取得された画像からジェスチャを認識する対象を特徴付ける領域を抽出し、
前記画像のフレーム間で領域同士を対応付け、
前記画像のフレーム前後で領域が移動した移動方向を抽出し、
前記画像のフレーム前後で領域が移動した移動距離が所定の閾値よりも大きい場合に、抽出された移動方向を出力し、
前記閾値を超えた移動距離を前記閾値に設定した上で、前記移動距離が閾値を超えるまで閾値を時間経過にしたがって減少させる
各処理を実行することを特徴とする画像処理方法。
コンピュータに、
画像を取得し、
取得された画像からジェスチャを認識する対象を特徴付ける領域を抽出し、
前記画像のフレーム間で領域同士を対応付け、
前記画像のフレーム前後で領域が移動した移動方向を抽出し、
前記画像のフレーム前後で領域が移動した移動距離が所定の閾値よりも大きい場合に、抽出された移動方向を出力し、
前記閾値を超えた移動距離を前記閾値に設定した上で、前記移動距離が閾値を超えるまで閾値を時間経過にしたがって減少させる
各処理を実行させることを特徴とする画像処理プログラム。