JPH10255058A - 動作検出装置および動作検出方法 - Google Patents
動作検出装置および動作検出方法Info
- Publication number
- JPH10255058A JPH10255058A JP6139297A JP6139297A JPH10255058A JP H10255058 A JPH10255058 A JP H10255058A JP 6139297 A JP6139297 A JP 6139297A JP 6139297 A JP6139297 A JP 6139297A JP H10255058 A JPH10255058 A JP H10255058A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- motion vector
- probability distribution
- detecting
- specific
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】ＴＶカメラ等の撮像手段を用いて人物等の特定
の動作を検出する動作検出装置装置を提供する。 【解決手段】動作検出装置１０は、複数の画像を時系列
画像として蓄積する画像蓄積部１１と、時系列画像での
動きベクトルを算出する動きベクトル算出部１２と、算
出された動きベクトルの確率分布を算出する確率分布算
出部１３と、動きベクトルと予め求められた確率分布と
から特定の動作を検出する動作検出部１４とからなり、
人物動作等の時系列画像から動き情報を取り出して統計
学習することによって、特定の動作を自動検出できるよ
うにするとともに検出対象の動作以外の誤検出を大幅に
減少させる。
の動作を検出する動作検出装置装置を提供する。 【解決手段】動作検出装置１０は、複数の画像を時系列
画像として蓄積する画像蓄積部１１と、時系列画像での
動きベクトルを算出する動きベクトル算出部１２と、算
出された動きベクトルの確率分布を算出する確率分布算
出部１３と、動きベクトルと予め求められた確率分布と
から特定の動作を検出する動作検出部１４とからなり、
人物動作等の時系列画像から動き情報を取り出して統計
学習することによって、特定の動作を自動検出できるよ
うにするとともに検出対象の動作以外の誤検出を大幅に
減少させる。
Description
【０００１】
【発明の属する技術分野】本発明は、たとえばＴＶカメ
ラ等の撮像手段を用いて人物等の特定の動作を検出する
動作検出装置に関する。
ラ等の撮像手段を用いて人物等の特定の動作を検出する
動作検出装置に関する。
【０００２】
【従来の技術】ＴＶカメラ等の撮像手段を用いて人物の
手振り動作等のジェスチャを自動検出・認識する画像処
理技術は、コンピュータやロボット、電化製品等への動
作指示を効率よく行う目的や、挙動不審者の監視や介護
が必要な病人等の映像モニタリングの目的で適用するこ
とができるため、その実現が強く望まれている。
手振り動作等のジェスチャを自動検出・認識する画像処
理技術は、コンピュータやロボット、電化製品等への動
作指示を効率よく行う目的や、挙動不審者の監視や介護
が必要な病人等の映像モニタリングの目的で適用するこ
とができるため、その実現が強く望まれている。
【０００３】また、これまでにも実験室内等の制限され
た撮影条件の下でのジェスチャ認識等の技術が開発され
ているが、これらは一般の室内環境（事務室や家庭、工
場、病院等）や屋外のような環境変動の大きな場合に
は、認識対象となるジェスチャ以外のノイズによる誤認
識が多く、実用には適さなかった。
た撮影条件の下でのジェスチャ認識等の技術が開発され
ているが、これらは一般の室内環境（事務室や家庭、工
場、病院等）や屋外のような環境変動の大きな場合に
は、認識対象となるジェスチャ以外のノイズによる誤認
識が多く、実用には適さなかった。
【０００４】
【発明が解決しようとする課題】このように、従来の撮
像手段を用いた人物動作の自動検出・認識技術では、認
識対象となる動作以外のノイズによる誤検出が多いた
め、一般環境での実用が困難であった。
像手段を用いた人物動作の自動検出・認識技術では、認
識対象となる動作以外のノイズによる誤検出が多いた
め、一般環境での実用が困難であった。
【０００５】本発明はこのような事情を考慮してなされ
たものであり、撮像手段により得られた人物動作等の時
系列の画像から動き情報を取り出して統計学習すること
によって、特定の動作を自動検出できるようにするとと
もに検出対象の動作以外の誤検出を大幅に減少させるこ
とを可能とする動作検出装置および動作検出方法を提供
することを目的とする。
たものであり、撮像手段により得られた人物動作等の時
系列の画像から動き情報を取り出して統計学習すること
によって、特定の動作を自動検出できるようにするとと
もに検出対象の動作以外の誤検出を大幅に減少させるこ
とを可能とする動作検出装置および動作検出方法を提供
することを目的とする。
【０００６】
【課題を解決するための手段】本発明の動作検出装置
は、複数の画像を時系列に蓄積する画像蓄積手段と、こ
の画像蓄積手段に蓄積された連続する画像間での動きベ
クトルを算出する動きベクトル算出手段と、前記特定の
動作に関する動きベクトルの確率分布を記憶する確率分
布記憶手段と、前記動きベクトル算出手段で算出された
動きベクトルと前記確率分布手段で記憶された確率分布
とから得られる評価値により前記特定の動作を検出する
動作検出手段とからなるものである。
は、複数の画像を時系列に蓄積する画像蓄積手段と、こ
の画像蓄積手段に蓄積された連続する画像間での動きベ
クトルを算出する動きベクトル算出手段と、前記特定の
動作に関する動きベクトルの確率分布を記憶する確率分
布記憶手段と、前記動きベクトル算出手段で算出された
動きベクトルと前記確率分布手段で記憶された確率分布
とから得られる評価値により前記特定の動作を検出する
動作検出手段とからなるものである。
【０００７】本発明によれば、撮像手段により得られた
人物動作等の時系列の画像から動き情報を取り出して統
計学習することによって、特定の動作を自動検出できる
ようにするとともに検出対象の動作以外の誤検出を大幅
に減少させることが可能となる。
人物動作等の時系列の画像から動き情報を取り出して統
計学習することによって、特定の動作を自動検出できる
ようにするとともに検出対象の動作以外の誤検出を大幅
に減少させることが可能となる。
【０００８】
【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。 （第１実施形態）まず、この発明の第１実施形態を説明
する。図１は、第１実施形態に係る動作検出装置の概略
構成を示す図である。図１に示すように、この第１実施
形態の動作検出装置１０は、画像蓄積部１１と、画像蓄
積部１１に蓄積されている時系列画像（時系列に撮像さ
れた複数の画像）での動きベクトルを算出する動きベク
トル算出部１２と、動きベクトル算出部１２にて算出さ
れた動きベクトルからその確率分布を算出する確率分布
部１３と、動きベクトル算出部１２で求められる動きベ
クトルと予め確率分布算出部１３にて求められた確率分
布とから動作を検出する動作検出部１４とからなる。こ
の動作検出装置１０では、撮像装置２０で逐次撮像され
る画像を時系列画像として画像蓄積部１１に蓄積する。
また、動作検出部１４が検出対象とする特定の動作を検
出したときは、その旨を表示装置３０により表示する。
施形態を説明する。 （第１実施形態）まず、この発明の第１実施形態を説明
する。図１は、第１実施形態に係る動作検出装置の概略
構成を示す図である。図１に示すように、この第１実施
形態の動作検出装置１０は、画像蓄積部１１と、画像蓄
積部１１に蓄積されている時系列画像（時系列に撮像さ
れた複数の画像）での動きベクトルを算出する動きベク
トル算出部１２と、動きベクトル算出部１２にて算出さ
れた動きベクトルからその確率分布を算出する確率分布
部１３と、動きベクトル算出部１２で求められる動きベ
クトルと予め確率分布算出部１３にて求められた確率分
布とから動作を検出する動作検出部１４とからなる。こ
の動作検出装置１０では、撮像装置２０で逐次撮像され
る画像を時系列画像として画像蓄積部１１に蓄積する。
また、動作検出部１４が検出対象とする特定の動作を検
出したときは、その旨を表示装置３０により表示する。
【０００９】そして、この動作検出装置１０は、検出す
べき動作を予め学習するモード（学習モード）と、学習
結果を用いて逐次撮影される映像から動作を検出するモ
ード（検出モード）との２つのモードをもつ。
べき動作を予め学習するモード（学習モード）と、学習
結果を用いて逐次撮影される映像から動作を検出するモ
ード（検出モード）との２つのモードをもつ。
【００１０】まず、学習モードについて説明する。この
処理の流れを図２に示す。最初に、画像蓄積部１１に時
系列画像が蓄積される（ステップＡ１）。ここでは、画
像蓄積部１１に貯えられている時系列画像をＩ（ｘ，
ｙ，ｔ）と表す（図３参照）。ｘ，ｙは画像中の画素の
座標（ｘ：［１…Ｘ］，ｙ［１…Ｙ］）であり、ｔはそ
の画像が撮影された時刻あるいはフレーム番号（ｔ：
［１…Ｔ］）である。この時系列画像は、撮像装置２０
で撮影される画像の全画面であってもよいし、予め定め
られた領域であってもよい。以下の学習モードの説明で
は、映像中で人がある動作ａ（例えば図３のように手を
振っている等）を行っている画像領域に時系列画像Ｉ
（ｘ，ｙ，ｔ）が設定されているものとする。
処理の流れを図２に示す。最初に、画像蓄積部１１に時
系列画像が蓄積される（ステップＡ１）。ここでは、画
像蓄積部１１に貯えられている時系列画像をＩ（ｘ，
ｙ，ｔ）と表す（図３参照）。ｘ，ｙは画像中の画素の
座標（ｘ：［１…Ｘ］，ｙ［１…Ｙ］）であり、ｔはそ
の画像が撮影された時刻あるいはフレーム番号（ｔ：
［１…Ｔ］）である。この時系列画像は、撮像装置２０
で撮影される画像の全画面であってもよいし、予め定め
られた領域であってもよい。以下の学習モードの説明で
は、映像中で人がある動作ａ（例えば図３のように手を
振っている等）を行っている画像領域に時系列画像Ｉ
（ｘ，ｙ，ｔ）が設定されているものとする。
【００１１】動きベクトル算出部１２で求められる動き
ベクトルＦ（ｘ，ｙ，ｔ）は、時系列画像の２つの連続
するフレームＩ（ｘ，ｙ，ｔ）とＩ（ｘ，ｙ，ｔ）間で
の画像の動き、言い換えれば時刻ｔでの座標（ｘ，ｙ）
の画素での画像の動きを表す（図４参照）。この動きベ
クトルは、別名オプティカルフローとも呼ばれるが、Ｈ
ｏｒｎ＆Ｓｃｈｕｎｃｋの方法に代表される濃淡画像の
時空間勾配から求める方法と、ＭＰＥＧ等の映像圧縮に
用いられるような相関演算によるブロックマッチングに
よって求める方法がある（参考文献：Ｄ．Ｈ．Ｂａｌｌ
ａｒｄ，Ｃ．Ｍ．Ｂｒｏｗｎ 著 福島他訳 コンピュ
ータサイエンス研究書シリーズ２９「コンピュータ・ビ
ジョン」日本コンピュータ協会）。
ベクトルＦ（ｘ，ｙ，ｔ）は、時系列画像の２つの連続
するフレームＩ（ｘ，ｙ，ｔ）とＩ（ｘ，ｙ，ｔ）間で
の画像の動き、言い換えれば時刻ｔでの座標（ｘ，ｙ）
の画素での画像の動きを表す（図４参照）。この動きベ
クトルは、別名オプティカルフローとも呼ばれるが、Ｈ
ｏｒｎ＆Ｓｃｈｕｎｃｋの方法に代表される濃淡画像の
時空間勾配から求める方法と、ＭＰＥＧ等の映像圧縮に
用いられるような相関演算によるブロックマッチングに
よって求める方法がある（参考文献：Ｄ．Ｈ．Ｂａｌｌ
ａｒｄ，Ｃ．Ｍ．Ｂｒｏｗｎ 著 福島他訳 コンピュ
ータサイエンス研究書シリーズ２９「コンピュータ・ビ
ジョン」日本コンピュータ協会）。
【００１２】動きベクトル算出部１２では、任意の動き
ベクトル算出方法のうちの１つを用いて画像蓄積部１１
に貯えられている時系列画像Ｉ（ｘ，ｙ，ｔ）の動きベ
クトルＦ（ｘ，ｙ，ｔ）を算出する（ステップＡ２）。
この時、動きベクトルはＩ（ｘ，ｙ，ｔ）の全画素につ
いて求めてもよいし、予め定められた画素のみについて
求めてもよい。動きベクトルＦ（ｘ，ｙ，ｔ）のｘ軸方
向成分およびｙ軸方向成分を各々ｕ（ｘ，ｙ，ｔ）およ
びｖ（ｘ，ｙ，ｔ）とすれば、動きベクトルＦ（ｘ，
ｙ，ｔ）は以下の式［式１］で表される２次元ベクトル
である。
ベクトル算出方法のうちの１つを用いて画像蓄積部１１
に貯えられている時系列画像Ｉ（ｘ，ｙ，ｔ）の動きベ
クトルＦ（ｘ，ｙ，ｔ）を算出する（ステップＡ２）。
この時、動きベクトルはＩ（ｘ，ｙ，ｔ）の全画素につ
いて求めてもよいし、予め定められた画素のみについて
求めてもよい。動きベクトルＦ（ｘ，ｙ，ｔ）のｘ軸方
向成分およびｙ軸方向成分を各々ｕ（ｘ，ｙ，ｔ）およ
びｖ（ｘ，ｙ，ｔ）とすれば、動きベクトルＦ（ｘ，
ｙ，ｔ）は以下の式［式１］で表される２次元ベクトル
である。
【００１３】
【数１】
【００１４】学習モード時の確率分布算出部１３では、
まず動きベクトル算出部１２で求められた全ての動きベ
クトルＦ（ｘ，ｙ，ｔ）のｘ軸およびｙ軸方向成分のヒ
ストグラムｈ（ｕ，ｖ）を求める。動きベクトルの総数
をＮ（時系列画像Ｉ（ｘ，ｙ，ｔ）の全画素について動
きベクトルＦ（ｘ，ｙ，ｔ）を求めた場合Ｎ＝Ｘ×Ｙ×
Ｔ）とした場合、学習モード時に人が行っている動作ａ
についての動きベクトルの確率分布Ｐa （ｕ，ｖ）は以
下の式［式２］で求められる。
まず動きベクトル算出部１２で求められた全ての動きベ
クトルＦ（ｘ，ｙ，ｔ）のｘ軸およびｙ軸方向成分のヒ
ストグラムｈ（ｕ，ｖ）を求める。動きベクトルの総数
をＮ（時系列画像Ｉ（ｘ，ｙ，ｔ）の全画素について動
きベクトルＦ（ｘ，ｙ，ｔ）を求めた場合Ｎ＝Ｘ×Ｙ×
Ｔ）とした場合、学習モード時に人が行っている動作ａ
についての動きベクトルの確率分布Ｐa （ｕ，ｖ）は以
下の式［式２］で求められる。
【００１５】
【数２】
【００１６】このようにして、いま学習する対象の動作
ａに関する確率分布Ｐa （ｕ，ｖ）が求められれば（ス
テップＡ３）、確率分布算出部１３でこのＰa （ｕ，
ｖ）を記憶しておき、学習モードは終了する。学習され
た確率分布の例を図５に示す。この図では、手を左右に
振っている人の動作を学習したものを想定し、図中ａの
部分が確率値の高い部分を示している。
ａに関する確率分布Ｐa （ｕ，ｖ）が求められれば（ス
テップＡ３）、確率分布算出部１３でこのＰa （ｕ，
ｖ）を記憶しておき、学習モードは終了する。学習され
た確率分布の例を図５に示す。この図では、手を左右に
振っている人の動作を学習したものを想定し、図中ａの
部分が確率値の高い部分を示している。
【００１７】以上では、ある１人の動作のみについて学
習する流れを説明したが、その人が動作ａを何度も行っ
たり、複数の人が動作するのを画像蓄積部１１に蓄積し
ておき、それらをまとめて時系列画像Ｉ（ｘ，ｙ，ｔ）
として学習モードを行うことにより、より多くの動作ａ
の例について学習することができる。
習する流れを説明したが、その人が動作ａを何度も行っ
たり、複数の人が動作するのを画像蓄積部１１に蓄積し
ておき、それらをまとめて時系列画像Ｉ（ｘ，ｙ，ｔ）
として学習モードを行うことにより、より多くの動作ａ
の例について学習することができる。
【００１８】次に検出モードでの処理の流れを説明す
る。この処理の流れを図６に示す。画像蓄積部１１に
は、学習モード時と同様に、撮像装置２０からの映像が
画像列Ｉ′（ｘ，ｙ，ｔ）（ｘ：［１…Ｘ′］，ｙ［１
…Ｙ′］ｔ：［１…Ｔ′］）として蓄積されている（ス
テップＢ１）。
る。この処理の流れを図６に示す。画像蓄積部１１に
は、学習モード時と同様に、撮像装置２０からの映像が
画像列Ｉ′（ｘ，ｙ，ｔ）（ｘ：［１…Ｘ′］，ｙ［１
…Ｙ′］ｔ：［１…Ｔ′］）として蓄積されている（ス
テップＢ１）。
【００１９】ただし、撮像装置２０において撮影された
映像の全画面中から動作を検出するために、映像中の任
意の場所に画像列Ｉ′（ｘ，ｙ，ｔ）が設定される。動
きベクトル算出部１２でも、学習モード時と同様に画像
列Ｉ′（ｘ，ｙ，ｔ）における動きベクトルＦ′（ｘ，
ｙ，ｔ）が求められ（ステップＢ２）、また、確率分布
算出部１３では予め学習モード時に学習された動作ａの
確率分布Ｐa （ｕ，ｖ）が記憶されている。
映像の全画面中から動作を検出するために、映像中の任
意の場所に画像列Ｉ′（ｘ，ｙ，ｔ）が設定される。動
きベクトル算出部１２でも、学習モード時と同様に画像
列Ｉ′（ｘ，ｙ，ｔ）における動きベクトルＦ′（ｘ，
ｙ，ｔ）が求められ（ステップＢ２）、また、確率分布
算出部１３では予め学習モード時に学習された動作ａの
確率分布Ｐa （ｕ，ｖ）が記憶されている。
【００２０】動作検出部１４では、学習モード時の確率
分布Ｐa （ｕ，ｖ）と、検出モード時の動きベクトル
Ｆ′（ｘ，ｙ，ｔ）＝（ｕ′（ｘ，ｙ，ｔ），ｖ′
（ｘ，ｙ，ｔ））とから、時系列画像Ｉ′（ｘ，ｙ，
ｔ）の動作ａらしさを表す評価値Ｑaを、Ｈa を任意の
評価関数として以下の式［式２］で求める（ステップＢ
３）。
分布Ｐa （ｕ，ｖ）と、検出モード時の動きベクトル
Ｆ′（ｘ，ｙ，ｔ）＝（ｕ′（ｘ，ｙ，ｔ），ｖ′
（ｘ，ｙ，ｔ））とから、時系列画像Ｉ′（ｘ，ｙ，
ｔ）の動作ａらしさを表す評価値Ｑaを、Ｈa を任意の
評価関数として以下の式［式２］で求める（ステップＢ
３）。
【００２１】
【数３】
【００２２】例えば、もっとも単純に全ての動きベクト
ルについての動作ａらしさの確率Ｐa の和として評価関
数Ｈa を定めるならば、Ｈa は以下のような式［式４］
になる。
ルについての動作ａらしさの確率Ｐa の和として評価関
数Ｈa を定めるならば、Ｈa は以下のような式［式４］
になる。
【００２３】
【数４】 また、動きベクトルが０ベクトルのときを無視するよう
な確率Ｐa の結合確率として評価値Ｑa を求めるのであ
れば、Ｈa は以下のような式［式５］となる。
な確率Ｐa の結合確率として評価値Ｑa を求めるのであ
れば、Ｈa は以下のような式［式５］となる。
【００２４】
【数５】
【００２５】このようにして、評価関数Ｈa によって求
められた動作ａらしさの評価値Ｑaが、予め定められた
しきい値ｔｈをこえたときに（ステップＢ４のＹ）、時
系列画像Ｉ′（ｘ，ｙ，ｔ）は動作ａの画像列であると
して（ステップＢ５）、動作ａの検出モードを終了す
る。このとき、撮像装置２０からの映像において設定し
うる全ての場所に時系列画像Ｉ′（ｘ，ｙ，ｔ）を設定
し、評価値Ｑa がしきい値ｔｈを超える場所を全て求め
て、動作ａを全画面中で探索してもよいし、全てのＩ′
（ｘ，ｙ，ｔ）の評価値Ｑa のうちで最大であって、か
つ、しきい値ｔｈを超えるもの１つを検出してもよい。
められた動作ａらしさの評価値Ｑaが、予め定められた
しきい値ｔｈをこえたときに（ステップＢ４のＹ）、時
系列画像Ｉ′（ｘ，ｙ，ｔ）は動作ａの画像列であると
して（ステップＢ５）、動作ａの検出モードを終了す
る。このとき、撮像装置２０からの映像において設定し
うる全ての場所に時系列画像Ｉ′（ｘ，ｙ，ｔ）を設定
し、評価値Ｑa がしきい値ｔｈを超える場所を全て求め
て、動作ａを全画面中で探索してもよいし、全てのＩ′
（ｘ，ｙ，ｔ）の評価値Ｑa のうちで最大であって、か
つ、しきい値ｔｈを超えるもの１つを検出してもよい。
【００２６】（第２実施形態）次にこの発明の第２実施
形態を説明する。この第２実施形態では、ある動作ａの
みについて学習するのではなく、他の複数の動作あるい
は検出対象外の画像の動きｂ，ｃ…を含めて学習し、動
作検出の精度を高める方法について述べる。
形態を説明する。この第２実施形態では、ある動作ａの
みについて学習するのではなく、他の複数の動作あるい
は検出対象外の画像の動きｂ，ｃ…を含めて学習し、動
作検出の精度を高める方法について述べる。
【００２７】学習モードは、第１の実施形態と同様であ
るが、確率分布算出部１３では動作ａの確率分布Ｐa
（ｕ，ｖ）だけを求めるのではなく、他の複数の動作
ｂ，ｃ…の確率分布Ｐb （ｕ，ｖ），Ｐc （ｕ，ｖ），
…も同時に学習する。他の動作についての学習は、第１
実施形態での動作ａの学習と全く同様に、画像蓄積部１
１に別々に蓄積されている動作ａ，ｂ，ｃ，…の時系列
画像について、動きベクトル算出部１２で動きベクトル
を算出し、確率分布算出部１３で各々の確率分布Ｐa
（ｕ，ｖ），Ｐb （ｕ，ｖ），Ｐc （ｕ，ｖ），…を別
々に求め、学習モードを終了する。
るが、確率分布算出部１３では動作ａの確率分布Ｐa
（ｕ，ｖ）だけを求めるのではなく、他の複数の動作
ｂ，ｃ…の確率分布Ｐb （ｕ，ｖ），Ｐc （ｕ，ｖ），
…も同時に学習する。他の動作についての学習は、第１
実施形態での動作ａの学習と全く同様に、画像蓄積部１
１に別々に蓄積されている動作ａ，ｂ，ｃ，…の時系列
画像について、動きベクトル算出部１２で動きベクトル
を算出し、確率分布算出部１３で各々の確率分布Ｐa
（ｕ，ｖ），Ｐb （ｕ，ｖ），Ｐc （ｕ，ｖ），…を別
々に求め、学習モードを終了する。
【００２８】検出モードでは、各動作ａ，ｂ，ｃ，…の
評価値Ｑa ，Ｑb ，Ｑc ，…が任意の評価関数Ｈa ，Ｈ
b ，Ｈc ，…により第１実施形態と全く同様にして求め
られるものとする。この第２実施形態では、これらの評
価値を組み合わせて最終的な評価値Ｑ′を求めることに
よって検出の精度を高める。ここで、任意の関数Ｈ′a
を用い、以下の式［式６］で動作ａに関する最終評価値
をＱ′a を求める。
評価値Ｑa ，Ｑb ，Ｑc ，…が任意の評価関数Ｈa ，Ｈ
b ，Ｈc ，…により第１実施形態と全く同様にして求め
られるものとする。この第２実施形態では、これらの評
価値を組み合わせて最終的な評価値Ｑ′を求めることに
よって検出の精度を高める。ここで、任意の関数Ｈ′a
を用い、以下の式［式６］で動作ａに関する最終評価値
をＱ′a を求める。
【００２９】
【数６】
【００３０】ここでの評価関数Ｈ′a は、検出目的の動
作ａの評価値Ｑa が大きな値のときにはＱ′a が大きく
なり、検出目的外の他のＱb やＱc が大きいときには
Ｑ′aが小さくなるような関数であることが特徴であ
る。ここでのｂ，ｃの学習のように、その効果が評価値
を低める方向に働く学習を「負の学習」と呼ぶ。動作ａ
が他の動作や画像の動きｂ，ｃ，…と紛らわしい場合で
も、このように負の学習を行うことにより、精度よく動
作ａのみを検出することができる。学習動作がａ，ｂ，
ｃの３つの時のＨ′a の最も単純な例としては、以下の
ようなもの［式７］があげられる。
作ａの評価値Ｑa が大きな値のときにはＱ′a が大きく
なり、検出目的外の他のＱb やＱc が大きいときには
Ｑ′aが小さくなるような関数であることが特徴であ
る。ここでのｂ，ｃの学習のように、その効果が評価値
を低める方向に働く学習を「負の学習」と呼ぶ。動作ａ
が他の動作や画像の動きｂ，ｃ，…と紛らわしい場合で
も、このように負の学習を行うことにより、精度よく動
作ａのみを検出することができる。学習動作がａ，ｂ，
ｃの３つの時のＨ′a の最も単純な例としては、以下の
ようなもの［式７］があげられる。
【００３１】
【数７】
【００３２】なお、前述した実施形態では、映像中の任
意の場所に少なくとも一つ以上の画像列Ｉ′（ｘ，ｙ，
ｔ）を予め設定しておく例を示したが、たとえば映像中
の人物を検出する手段（ＴＶカメラなどが撮像した画像
から検出するものであってもよいし、画像を撮像するＴ
Ｖカメラなどと併設されるセンサなどによって検出する
ものであってもよい）を備え、その検出結果に基づいて
動的に画像列Ｉ′（ｘ，ｙ，ｔ）を設定することも有効
である。
意の場所に少なくとも一つ以上の画像列Ｉ′（ｘ，ｙ，
ｔ）を予め設定しておく例を示したが、たとえば映像中
の人物を検出する手段（ＴＶカメラなどが撮像した画像
から検出するものであってもよいし、画像を撮像するＴ
Ｖカメラなどと併設されるセンサなどによって検出する
ものであってもよい）を備え、その検出結果に基づいて
動的に画像列Ｉ′（ｘ，ｙ，ｔ）を設定することも有効
である。
【００３３】
【発明の効果】以上詳述したように、本発明の動作検出
装置および動作検出方法によれば、従来の方法では検出
目的以外の動作や画像の動きによる誤検出が多いために
目的とする動作の検出が困難な環境においても、人物動
作等の時系列画像から動き情報を取り出して統計学習す
ることによって、特定の動作を自動検出できるようにな
るとともに検出対象の動作以外の誤検出を大幅に減少さ
せることが可能となる等の実用上多大なる効果が奏せら
れる。
装置および動作検出方法によれば、従来の方法では検出
目的以外の動作や画像の動きによる誤検出が多いために
目的とする動作の検出が困難な環境においても、人物動
作等の時系列画像から動き情報を取り出して統計学習す
ることによって、特定の動作を自動検出できるようにな
るとともに検出対象の動作以外の誤検出を大幅に減少さ
せることが可能となる等の実用上多大なる効果が奏せら
れる。
【図１】本発明の第１および第２実施形態の動作検出装
置の概略構成を示す図。
置の概略構成を示す図。
【図２】同実施形態の動作検出装置の学習モードでの処
理の流れを示すフローチャート。
理の流れを示すフローチャート。
【図３】同実施形態の時系列画像を説明するための図。
【図４】同実施形態の動きベクトルを説明するための
図。
図。
【図５】同実施形態の確率分布の一例を示す図。
【図６】同実施形態の動作検出装置の検出モードでの処
理の流れを示すフローチャート。
理の流れを示すフローチャート。
１０…動作検出装置、１１…画像蓄積部、１２…動きベ
クトル算出部、１３…確率分布算出部、１４…動作検出
部、２０…撮像装置、３０…表示装置。
クトル算出部、１３…確率分布算出部、１４…動作検出
部、２０…撮像装置、３０…表示装置。
Claims (6)
- 【請求項１】 時系列に撮像された複数の画像から被写
体の特定の動作を検出する動作検出装置であって、 前記複数の画像を時系列に蓄積する画像蓄積手段と、 この画像蓄積手段に蓄積された連続する画像間での予め
定められた領域内の動きベクトルを算出する動きベクト
ル算出手段と、 前記特定の動作に関する動きベクトルの確率分布を記憶
する確率分布記憶手段と、 前記動きベクトル算出手段で算出された動きベクトルと
前記確率分布手段で記憶された確率分布とから得られる
評価値によって前記特定の動作を検出する動作検出手段
とを具備してなることを特徴とする動作検出装置。 - 【請求項２】 時系列に撮像された複数の画像から被写
体の特定の動作を検出する動作検出装置であって、 前記複数の画像を時系列に蓄積する画像蓄積手段と、 前記画像内で監視対象とする被写体を検出し、この検出
結果に基づいて動作検出対象領域を設定する動作検出対
象領域設定手段と、 前記画像蓄積手段に蓄積された連続する画像間での前記
動作検出対象領域内の動きベクトルを算出する動きベク
トル算出手段と、 前記特定の動作に関する動きベクトルの確率分布を記憶
する確率分布記憶手段と、 前記動きベクトル算出手段で算出された動きベクトルと
前記確率分布手段で記憶された確率分布とから得られる
評価値によって前記特定の動作を検出する動作検出手段
とを具備してなることを特徴とする動作検出装置。 - 【請求項３】 前記動きベクトル算出手段で算出された
動きベクトルからその確率分布を算出する確率分布算出
手段をさらに具備してなることを特徴とする請求項１ま
たは２記載の動作検出装置。 - 【請求項４】 前記確率分布記憶手段は、前記特定の動
作以外の他の動作に関する動きベクトルの確率分布を前
記特定の動作に関連づけて記憶する手段を具備し、 前記動作検出手段は、前記他の動作に関する評価値を用
いて前記特定の動作の評価値を下方向に適性化する手段
を具備してなることを特徴とする請求項１、２または３
記載の動作検出装置。 - 【請求項５】 時系列に撮像された複数の画像から被写
体の特定の動作を検出する動作検出方法であって、 前記特定の動作に関する動きベクトルの確率分布を取得
するステップと、 前記複数の画像を時系列に蓄積するステップと、 前記時系列に蓄積された連続する画像間での予め定めら
れた領域内の動きベクトルを算出するステップと、 前記算出された動きベクトルと前記取得された確率分布
とから得られる評価値によって前記特定の動作を検出す
るステップとからなることを特徴とする動作検出方法。 - 【請求項６】 時系列に撮像された複数の画像から被写
体の特定の動作を検出する動作検出方法であって、 前記特定の動作に関する動きベクトルの確率分布を取得
するステップと、 前記複数の画像を時系列に蓄積するステップと、 前記画像内で監視対象とする被写体を検出し、この検出
結果に基づいて動作検出対象領域を設定するステップ
と、 前記時系列に蓄積された連続する画像間での前記動作検
出対象領域内の動きベクトルを算出するステップと、 前記算出された動きベクトルと前記取得された確率分布
とから得られる評価値によって前記特定の動作を検出す
るステップとからなることを特徴とする動作検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6139297A JPH10255058A (ja) | 1997-03-14 | 1997-03-14 | 動作検出装置および動作検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6139297A JPH10255058A (ja) | 1997-03-14 | 1997-03-14 | 動作検出装置および動作検出方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10255058A true JPH10255058A (ja) | 1998-09-25 |
Family
ID=13169856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6139297A Pending JPH10255058A (ja) | 1997-03-14 | 1997-03-14 | 動作検出装置および動作検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10255058A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005531845A (ja) * | 2002-06-28 | 2005-10-20 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 確率分布関数を用いて行動をモデル化するための方法及び装置 |
| JP2006092328A (ja) * | 2004-09-24 | 2006-04-06 | National Institute Of Advanced Industrial & Technology | 動画像時間分割処理方法および装置 |
| US7250966B1 (en) * | 1999-03-05 | 2007-07-31 | Robert Bosch Gmbh | Method and device for determining a displacement of images in an image sequence |
| JP2009151359A (ja) * | 2007-12-18 | 2009-07-09 | Nippon Telegr & Teleph Corp <Ntt> | 動物体追跡装置、動物体追跡方法及び動物体追跡プログラム並びに動物体追跡プログラムを記録した記録媒体 |
| US11676286B2 (en) | 2020-02-07 | 2023-06-13 | Casio Computer Co., Ltd. | Information management apparatus, information management method, and non-transitory recording medium |
-
1997
- 1997-03-14 JP JP6139297A patent/JPH10255058A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7250966B1 (en) * | 1999-03-05 | 2007-07-31 | Robert Bosch Gmbh | Method and device for determining a displacement of images in an image sequence |
| JP2005531845A (ja) * | 2002-06-28 | 2005-10-20 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 確率分布関数を用いて行動をモデル化するための方法及び装置 |
| JP2011081823A (ja) * | 2002-06-28 | 2011-04-21 | Koninkl Philips Electronics Nv | 確率分布関数を用いて行動をモデル化するための方法及び装置 |
| JP2006092328A (ja) * | 2004-09-24 | 2006-04-06 | National Institute Of Advanced Industrial & Technology | 動画像時間分割処理方法および装置 |
| JP4660736B2 (ja) * | 2004-09-24 | 2011-03-30 | 独立行政法人産業技術総合研究所 | 動画像時間分割処理方法および装置 |
| JP2009151359A (ja) * | 2007-12-18 | 2009-07-09 | Nippon Telegr & Teleph Corp <Ntt> | 動物体追跡装置、動物体追跡方法及び動物体追跡プログラム並びに動物体追跡プログラムを記録した記録媒体 |
| US11676286B2 (en) | 2020-02-07 | 2023-06-13 | Casio Computer Co., Ltd. | Information management apparatus, information management method, and non-transitory recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8314854B2 (en) | Apparatus and method for image recognition of facial areas in photographic images from a digital camera | |
| JP5567853B2 (ja) | 画像認識装置および方法 | |
| WO2019023921A1 (zh) | 一种手势识别方法、装置及设备 | |
| CN110348270B (zh) | 影像物件辨识方法与影像物件辨识系统 | |
| JP2004192637A (ja) | 顔検出 | |
| EP2336949A1 (en) | Apparatus and method for registering plurality of facial images for face recognition | |
| JP6362085B2 (ja) | 画像認識システム、画像認識方法およびプログラム | |
| JP4764172B2 (ja) | 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム | |
| US11394870B2 (en) | Main subject determining apparatus, image capturing apparatus, main subject determining method, and storage medium | |
| JP2014128002A (ja) | 被写体領域追跡装置、その制御方法及びプログラム | |
| WO2019083509A1 (en) | PEOPLE SEGMENTATIONS FOR BACKGROUND REPLACEMENTS | |
| KR20180086048A (ko) | 카메라 및 카메라의 영상 처리 방법 | |
| CN110378183B (zh) | 图像解析装置、图像解析方法及记录介质 | |
| US12002279B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
| JPH10255058A (ja) | 動作検出装置および動作検出方法 | |
| Yadav et al. | Human Illegal Activity Recognition Based on Deep Learning Techniques | |
| JP6555940B2 (ja) | 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法 | |
| US20060010582A1 (en) | Chin detecting method, chin detecting system and chin detecting program for a chin of a human face | |
| JP2013179614A (ja) | 撮像装置 | |
| CN113408435A (zh) | 一种安全监控方法、装置、设备和存储介质 | |
| CN113052087A (zh) | 基于yolov5模型的人脸识别方法 | |
| JP5995610B2 (ja) | 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム | |
| Iwata et al. | Lfir2pose: Pose estimation from an extremely low-resolution fir image sequence | |
| Schmidt Feris et al. | Detection and tracking of facial features in video sequences | |
| US20240242476A1 (en) | Image recognition apparatus, training apparatus, control method, and storage medium |