JP4481663B2 - 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム - Google Patents

動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム Download PDF

Info

Publication number
JP4481663B2
JP4481663B2 JP2004007924A JP2004007924A JP4481663B2 JP 4481663 B2 JP4481663 B2 JP 4481663B2 JP 2004007924 A JP2004007924 A JP 2004007924A JP 2004007924 A JP2004007924 A JP 2004007924A JP 4481663 B2 JP4481663 B2 JP 4481663B2
Authority
JP
Japan
Prior art keywords
person
image data
similarity
motion
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004007924A
Other languages
English (en)
Other versions
JP2005202653A (ja
Inventor
優和 真継
克彦 森
美絵 石井
裕輔 御手洗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004007924A priority Critical patent/JP4481663B2/ja
Priority to US11/035,240 priority patent/US8094881B2/en
Publication of JP2005202653A publication Critical patent/JP2005202653A/ja
Application granted granted Critical
Publication of JP4481663B2 publication Critical patent/JP4481663B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラムに関する。
従来、画像から人物の行動パターンを検出する手法としては、隠れマルコフモデルを用い、標準的な行動の確率モデルを自動的に習得する行動検出システム（例えば、特許文献１，２）や、いわゆるジェスチャ認識方法の技術（例えば、特許文献３）が提案されている。
また、得られた行動パターンや動作の情報を利用した応用技術が提案され（例えば、特許文献４〜１１）、一方、動作パターンから個人認証を行う方法が提案されている（例えば、特許文献１２〜１４）。
また、パスワード解析や指紋判定等から操作員を個別に識別し、その操作員にあった操作画面を備えるインターフェースがある（例えば、特許文献１５）。
特開平１１−２５９６４３号公報 米国特許第６２１２５１０号明細書 特開平１０−１６２１５１号公報 特開平８−２５７０１７号公報 特開平９−８１３０９号公報 特開平９−１６１１０２号公報 特開平１１−２４９７７３号公報 特開２０００−２９３６８５号公報 特開２０００−１０１８９８号公報 特許第２８０１３６２号公報 特許第３１４０９１１号公報 特開２０００−２２２３６１号公報 特開２００１−３４７６４号公報 特開２００１−２０２５２４号公報 特開平１０−１４９２０７号公報
しかしながら、上記の行動パターンを検出する手法及び検出された行動パターン情報を利用する方法では、対象となる人物等の動物体を個別に特定し、その特定された動物体に固有な動作や状態を認識し、学習することはできない。例えば、上記特許文献６に開示される方式においては、歩行パターンから個人の識別を行うので、歩行パターンが類似する人物の間での識別は困難である。従って、個人別にジェスチャ等の動作パターンに応じた環境設定、各種機器の操作方法又は機器の動作モードの設定（パーソナル化）を自動的に行うことは困難であり、行動の癖や習慣的な行動や日常的に常用している物のカテゴリを個人別に自動学習することは困難であった。
動作パターンから個人認証をする方法に関する上記従来例では、認証すべき対象の数が増えるほど該当する動作を厳格に規定しておかなければならず、一方では認証のために登録した動作が忠実に再現されるように利用者側が注意して動作を行わなければならないという点で負担が大きいものであった。そのため動作パターンのみでは個人認証を行うことは困難であった。
本発明の目的は、対象別の動作の学習を簡便に行うことができ、高い信頼度で対象を認識することができ、対象の動作に基づいて機器操作制御することができる動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラムを提供することにある。
上述の目的を達成するために、請求項１記載の動作認識装置は、画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段と、前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段と、前記時系列画像データから、前記特定手段で特定された人物の動作パターンを検出する状態検出手段と、前記検出された動作パターンのデータを前記人物特有の動作パターンに関するモデルデータとして、前記特定された人物に固有の意味的情報に対応付けて保存する学習手段と、を備えることを特徴とする。
請求項２記載の動作認識装置は、請求項１記載の動作認識装置において、前記状態検出手段で検出された前記人物の動作パターンに対応するモデルデータが保存されているか否か判別する判別手段と、前記判別手段で前記モデルデータが保存されていると判別した場合、当該モデルデータに対応付けて保存されている前記人物に固有の意味的情報を出力する出力手段と、を更に備え、前記学習手段は、前記判別手段が前記モデルデータが保存されていないと判別した場合に、前記検出された動作パターンのデータを、前記人物特有の動作パターンに関するモデルデータとして、前記特定された人物に固有の意味的情報に対応付けて保存することを特徴とする。
請求項３記載の動作認識装置は、画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段と、前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段と、前記時系列画像データから前記特定手段で特定された人物が一定時間以上接触する物体を検出し、当該特定された人物が前記検出された物体に接触する頻度が所定の閾値より高い場合に、当該物体を当該特定された人物が常用する常用物として判定する常用物検出手段と、を備えることを特徴とする。
請求項４記載の動作認識装置は、画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段と、前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段と、前記時系列画像データから、前記特定手段で特定された人物の居場所と動作パターンとを検出する状態検出手段と、
前記状態検出手段で所定の居場所と所定の動作パターンとが検出された頻度が、所定閾値以上である場合、当該所定の動作パターンを前記特定された人物の習慣的行動として判定する習慣的行動判定手段と、備えることを特徴とする。
請求項５記載の動作識装置は、画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段と、前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段と、を備えることを特徴とする。
請求項６記載の機器制御装置は、所定の機器を制御する機器制御装置であって、画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段と、前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段と、前記時系列画像データから前記特定手段で特定された人物の動作パターンを検出する状態検出手段と、前記検出された動作パターンのデータを前記人物特有の動作パターンに関するモデルデータとして、前記特定された人物に固有の機器制御情報であって前記所定の機器を制御するための機器制御情報に対応付けて保存する学習手段と、前記状態検出手段で検出された前記人物の動作パターンに対応するモデルデータが保存されている場合、当該モデルデータに対応付けて保存されている前記機器制御情報を出力する出力手段と、を備えることを特徴とする。
請求項７記載の動作認識方法は、認識装置の動体検出手段が、画像入力装置により入力された時系列画像データから動領域を検出する動体検出ステップと、認識装置の特定手段が、前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定ステップと、を備えることを特徴とする。
請求項８記載のコンピュータプログラムは、コンピュータを、画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段、前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段、前記時系列画像データから、前記特定手段で特定された人物の動作パターンを検出する状態検出手段、前記検出された動作パターンのデータを前記人物特有の動作パターンに関するモデルデータとして、前記特定された人物に固有の意味的情報に対応付けて保存する学習手段、として機能させる。
請求項９記載のコンピュータプログラムは、コンピュータを、画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段、前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段、前記時系列画像データから前記特定手段で特定された人物が一定時間以上接触する物体を検出し、当該特定された人物が前記検出された物体に接触する頻度が所定の閾値より高い場合に、当該物体を当該特定された人物が常用する常用物として判定する常用物検出手段、として機能させる。
請求項１０記載のコンピュータプログラムは、コンピュータを、画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段と、前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段、
前記時系列画像データから、前記特定手段で特定された人物の居場所と動作パターンとを検出する状態検出手段、前記状態検出手段で所定の居場所と所定の動作パターンとが検出された頻度が、所定閾値以上である場合、当該所定の動作パターンを前記特定された人物の習慣的行動として判定する習慣的行動判定手段、として機能させる。
請求項１１記載のコンピュータプログラムは、コンピュータを、画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段、前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段、として機能させる。
請求項１２記載のコンピュータプログラムは、コンピュータを、画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段、前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段、前記時系列画像データから前記特定手段で特定された人物の動作パターンを検出する状態検出手段、前記検出された動作パターンのデータを前記人物特有の動作パターンに関するモデルデータとして、前記特定された人物に固有の機器制御情報であって前記所定の機器を制御するための機器制御情報に対応付けて保存する学習手段、前記状態検出手段で検出された前記人物の動作パターンに対応するモデルデータが保存されている場合、当該モデルデータに対応付けて保存されている前記機器制御情報を出力する出力手段、として機能させる。
本発明によれば、検出された動作パターンのデータを特定された人物に固有の意味的情報に対応付けて学習するので、対象別の動作の学習を簡便に行うことができる。また、動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、第１類似度と第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定するので、高い信頼度で対象を認識することができる。更に、検出された動作パターンのデータを人物特有の動作パターンに関するモデルデータとして、特定された人物に固有の機器制御情報であって所定の機器を制御するための機器制御情報に対応付けて学習し、検出された人物の動作パターンに対応するモデルデータが保存されている場合、このモデルデータに対応付けて保存されている機器制御情報であって前記所定の機器を制御するための機器制御情報を出力するので、対象の動作に基づいて機器操作制御することができる。
以下、本発明の実施の形態を図面を参照しながら説明する。
図１は、本発明の第１の実施の形態に係る動作認識装置の概略構成を示す図である。
図１において、動作認識装置は、不図示の撮像装置又はデータベースから動画像データを入力する画像入力装置１と、入力された動画像データから動きベクトルその他の特徴を用いて動領域を検出して出力する動体検出装置２と、検出された動領域にある人物や物体等の対象の認識を行って、その認識結果を出力する被写体認識装置３と、被写体認識装置３が認識した対象となる人物の動作や状態を検出する状態検出装置４と、状態検出装置４が検出した動作又は状態がその対象となる人物に対応した固有の意味を有する内容を学習し、所定の記憶手段に格納する学習装置５と、動体検出装置２、被写体認識装置３、状態検出装置４、及び学習装置５が夫々行う処理の起動、停止及び処理モードの変更等を制御する処理制御装置６とを備える。
ここで、動作とは、対象が人物である場合、身振り、手振り、目付き、表情の変化等、身体の動きを伴う変化を指す。また、状態とは、「座っている」、「倒れている」等の殆ど静止している所定の姿勢、又は「食事をしている」、「笑っている」等一連の動作の変化の組み合わせであって、特に何らかの意味的解釈ができる場合をいう。以下で用いる動作又は状態カテゴリは、「食事をしている」、「歩いている」等複数の身体部分を同時に動かす意味的動作のほか、「手を振る」、「髪の毛を触る」、「手を挙げる」等のように身体の限られた部分を使った運動を表すものであってもよい。
図２は、図１の動作認識装置によって実行される機器制御処理のフローチャートである。
図２において、まず、動体検出装置２は、画像入力装置１により入力された時系列画像データから動領域を検出し（ステップＳ１０１）、被写体認識装置３は、後述する図３の被写体認識処理を実行して、動領域の画像データを用いて動作を行う主体である対象となる人物の認識を行い（ステップＳ１０２）、状態検出装置４は、後述する図４の動作認識処理を実行して、その対象となる人物の動作に対応した動作カテゴリを抽出し（ステップＳ１０３）、この対象となる人物及び動作カテゴリに固有の機器制御情報を学習装置５内の不図示の辞書データ作成部から抽出する（ステップＳ１０４）。
次いで、処理制御装置６は、対象となる人物に対し、ディスプレイへのメッセージ表示又は音声により、抽出された機器制御情報の内容の確認動作（例えば、身振り、表情、頷き又は首振りの動作、音声による肯定又は否定等）を要求し（ステップＳ１０５）、対象となる人物が抽出した機器制御情報に対して肯定する確認動作をしたか否かを判別し（ステップＳ１０６）、肯定する確認動作をしたときは、抽出された機器制御情報を機器制御信号として出力して（ステップＳ１０７）、本処理を終了し、肯定する確認動作をしなかったときは、機器制御信号を出力することなく、本処理を終了する。対象となる人物からの確認動作は、対象となる人物毎に予め設定してもよく、又は、共通のサインやメッセージにしてもよい。
図２の処理によれば、対象となる人物及び動作カテゴリに固有の機器制御情報を学習装置５内の不図示の辞書データ作成部から抽出する（ステップＳ１０４）ので、対象となる人物の動作に基づいて機器操作制御することができる。
機器制御情報は、例えば、左手の指を握り、部屋の中のある機器に向かって突き出すというある対象となる人物の動作に対して、「その機器を起動する」という機器制御内容を設定することができる。機器操作内容は、「テレビをＯＮにする（ＯＦＦにする）」、「テレビの音量を上げる（下げる）」、「照明をＯＮにする（ＯＦＦにする）」、「お湯を沸かす」、「コンピュータを起動する」、「コンピュータの特定のプログラムを起動する」等、多種多様に設定することができる。なお、動作によって制御すべき機器が特定されるので、必ずしも制御したい機器に対してその対象となる人物が注目している状態にあることを示す行為を行わなくてもよい。
また、機器制御内容は、上記のような単一の操作制御カテゴリに分類付けられる内容以外に、例えば、「テレビをＯＮにして、照明を暗くする」のように、一連の制御の組み合わせであってもよい。
このようにして対応付けられる動作と機器制御内容とは、個々の対象となる人物に応じて設定さされ、上述したように姿と動作とから認証された人物以外は操作又は制御を行えないように設定することもできる。
また、機器制御情報を抽出する為の動作は、日常的にその対象がとる動作とは明らかに異なる動作であればよい。
図３は、図２のステップＳ１０２の被写体認識処理のフローチャートである。
本処理において、学習装置５は、予め特定人物の複数の姿勢に対応した画像データのモデルデータ、及び人物特有の動作に関するモデルデータを被写体カテゴリと対応付けて不図示の記録装置に記録しているものとする。
図３において、まず、動領域の画像データから画像データの幾何学的特徴又は色成分に関する特徴を抽出し（ステップＳ２０１）、抽出した画像データの特徴と予め対象となる人物ごとに設定されたモデルデータとの類似度を評価する（ステップＳ２０２）。この類似度は、モデルデータとの相関係数の値、又は特定被写体カテゴリの顕著度として評価する。顕著度は、例えばモデルデータとの相関係数最大値Ｃｍａｘと次の順位の相関係数値Ｃｎｅｘｔとの比Ｃｍａｘ／Ｃｎｅｘｔ、又は被写体カテゴリ別の相関係数分布の尖度即ちkurtosisを用いて評価する。ここに分布ａのkurtosisは、ａの分散σと平均ａ及びサンプル数Ｎを用いて
kurtosis（ａ）＝（１／Ｎ）・（ａ−ａ）４／σ（ａ）４−３
で与えられる。平均ａはａの平均を示す。
幾何学的特徴の類似度は、例えば、局所的な領域で検出される複数の特徴を比較的単純なパターン（例えば、所定の方向成分を有する線分レベル、その組み合わせで得られるＶ字、Ｌ字、Ｔ字型コーナパターンレベル等）、単純なパターンの組み合わせ又は相対位置関係等により記述される中程度の複雑さを有するパターン、及び中程度の複雑さを有するパターンの組み合わせにより得られる上位の複雑パターンと、階層的に用意しておき、各階層レベルにおける局所的なテンプレートマッチングすることにより評価する（本出願人による特許第３０７８１６６号公報）。
次いで、被写体認識装置３は、状態検出装置４から抽出された動作パターンの特徴を入力し、動作パターンの特徴と、動作に関するモデルデータとの類似度評価を行い（ステップＳ２０３）、画像データの特徴と動作パターンの特徴についての信頼度を算出し（ステップＳ２０４）、算出した信頼度に応じて各特徴の類似度を重み付けして出力し（ステップＳ２０５）、出力された類似度を検出して最大検出レベルが閾値以上であるか否かを判別し（ステップＳ２０６）、最大検出レベルが閾値以上であるときは、最大検出レベルを与えるモデルデータに対応する被写体カテゴリを被写体認識結果として出力し（ステップＳ２０７）、最大検出レベルが閾値以上でないときは、画像データ又は動作パターンの特徴に対応付けた被写体カテゴリの学習を行って（ステップＳ２０８）、本処理を終了する。
本処理は、例えば、人物の上半身、特に、頭部の検出を行って得られる頭部の画像とその人物の動作とから行う。学習装置５は、予め特定人物の複数の姿勢に対応した人物頭部のモデルデータ、及び人物特有の動作パターンに関するモデルデータを不図示の記録装置に格納している。なお、モデルデータの生成を行うべき人物の姿勢は、離散的に所定の角度幅でサンプリングしておけばよく、連続的に殆ど全ての姿勢状態をカバーするようにモデルデータを大量に用意する必要はない。
ここで行うマッチングの処理方式としては、既存のモデルデータのサイズを動体検出装置２で検出される動領域のサイズに応じて変えて生成し、テンプレートマッチングを行う方式、又はマッチングの処理性能が被写体サイズの変化に対して不変であるような方式（本出願人による特許第３０７８１６６号公報）のいずれを用いてもよい。
また、マッチング結果の信頼度が低いと予測される場合（例えば、対象が後ろ姿である場合、照明の影響で頭部の顔画像のコントラストが低い場合等）には、被写体カテゴリの抽出は、動作カテゴリとの整合性判定により行う。具体的には、画像ベースで推定された対象に固有の動作特徴（例えば、歩行パターン、姿勢）を有しているか否かの判定を行う。この場合、被写体認識装置３は学習装置５内部の辞書データを参照し、その対象が顕著な動作特徴を有していない場合には、対象の判別が困難であることを出力し、これを受けて処理制御装置６は以降の処理を中断する。
画像データの特徴についての信頼度は、被写体カテゴリの候補を検出するのに必要な特徴の類似度の検出レベルと、その画像データに対応する視点位置（正面位置か背面位置か等）と、検出された被写体の向きとによって重み付けをして評価し、被写体の認識に最適な視点位置又は方向で最も重み係数が高く、逆に認識に適さない視点位置からの画像については重み係数を低くする。
例えば、人物の認証のために正面の顔を所定サイズ以上検出できたときは、最大の信頼度とし、後ろ向きの姿は正面と比べて一般的にパターンとしての識別性が低い場合が多いので、低い信頼度を与えるように予め設定しておく。ただし、後ろ向きの姿であってもその特定人物に顕著な特徴を有しており、その特徴が検出された場合には、信頼度は高くなるように修正する必要がある。従って信頼度は、顕著度（個性の指標）のファクタ−を乗算した値を用いる。なお、顕著度がある閾値より低い場合には、所定の定数（例えば１）となるようにしておく。
顕著度（個性の指標）の算出手順としては、例えば、平均的な人物頭部の後ろ姿（男女別）を画像ベクトル又は特徴抽出後の特徴ベクトルにより求め、その特徴ベクトルに関する共分散行列から固有ベクトルを求める。次に、顕著度を固有ベクトル空間での座標値の平均ベクトルからの偏差（差の絶対値）として抽出する。
一方、動作パターンの特徴の信頼度は、時系列特徴データのＳＮ比、時系列特徴データのモデルデータに対する類似度と閾値の比、又は所定時間幅で算出される最大類似度の分散値等により評価される。また、検出された動作パターンが対象となる人物に特有なものか否かを表す指標（即ち、個性の程度）を予めその動作特徴カテゴリについて評価しておき、その指標を信頼度に乗じてもよい。
動作パターンを検出する目的は、機器制御のための意味的情報を抽出することと個体の認証を行うことの２つがある。画像データで姿のみから被写体認識を行って動作パターンを検出して後述するような機器制御を行うか、又は、動作パターンのみから被写体認識を行い、更に異なる動作パターンから機器制御情報を抽出することにより、機器制御を対象となる人物の動作に基づいてパーソナライズすることができる。また、画像パターンの特徴と動作パターンの特徴とから被写体の認証を行い、特定の動作パターンから機器制御を行うこともできる。
上述した認証目的の動作検出においても信頼度を上げるために、対象となる人物の動作パターンと画像データとを組み合わせて認証を行う。例えば、対象となる人物の歩行パターンデータと頭部の画像とにより行う。歩行パターンの検出は画像からシルエットパターンを抽出して、そのシルエットの輪郭線から特徴量（水平・垂直方向のヒストグラム等）を抽出し、その特徴量の変化のパターンを照合する方式等を用いればよい。
動作の個性に関する特徴量として、動作パターン検出に使われる時系列特徴データから平均的な動作パターンを抽出し、更に時系列特徴データの共分散行列から固有動作ベクトルを抽出し、その固有ベクトル空間内の座標値の平均ベクトルからの偏差を個性として抽出してもよい。
図３の処理によれば、姿と動作とを組み合わせて認証を行うことにより（ステップＳ２０２〜ステップＳ２０３）、高い信頼度で対象となる人物を認識することができる。
図４は、図２のステップＳ１０３の動作認識処理のフローチャートである。
本処理は、上記図２の被写体認識処理（ステップＳ１０２）の終了後に実行され、特定された人物が意図する所定の意味を持った動作又は状態の検出を行う。ここでは、動作に関与する身体各部（顔、目付き、腕、手先、足等）の検出、検出された特徴点又は特徴量の抽出、及び特徴点又は特徴量の時系列的変化の分析を行うが、それ以外の方法で行ってもよい。
学習装置５内部の記録装置には、画像データから抽出される特徴点又は特徴量のモデルデータと対応付けられた動作カテゴリが予め格納されているものとする。
図４において、被写体認識装置３から認識結果である被写体カテゴリを入力し（ステップＳ３０１）、動作パターンの特徴を抽出する前段階としての被写体に関するプリミティブな特徴量を抽出する（ステップＳ３０２）。ここでは、動作パターンの検出に用いる特徴量として、背景画像との差分画像から抽出される幾何学的特徴又は色成分ベースの特徴量を用いるか、又はエッジ抽出を画像フレーム毎に行い、そのフレーム間差分により得られるエッジ特徴を用いる。
次いで、被写体の画像に形状モデルを当てはめる（ステップＳ３０３）。例えば、被写体が人物である場合には、動作パターン検出のための特徴抽出は、予め単純化された３次元パーツモデル（円筒、楕円体、super-quadrics等）により近似された人体各部の形状モデルを用いた人体モデルに基づき、人体各部のパーツ検出と各パーツの特徴量を検出することにより行うか、又は、人体頭部の検出を先に行い、次に頭部の位置・姿勢を基準として腕、手、足等の存在範囲を推定する。後者の場合、該当する領域で肌色検出又は動きベクトル分布の検出を行うことにより各パーツの検出を行ってもよい。
次いで、対象となる人物を構成するパーツごとの特徴量（局所的かつ幾何学的な特徴、動きベクトル、色成分特徴等）をパーツの代表点付近での平均的特徴量として所定の記憶手段に格納し、パーツ単位での代表点位置の時系列画像データを抽出し（ステップＳ３０４）、抽出した時系列画像データとモデルデータとの照合を行い（ステップＳ３０５）、時系列画像データに対応するモデルデータが存在する否かを判別し（ステップＳ３０６）、時系列画像データに対応するモデルデータが存在するときは、モデルデータとの類似度が最も高い動作カテゴリを出力して（ステップＳ３０７）、本処理を終了し、時系列画像データに対応するモデルデータが存在しないときは、時系列画像データに対応付けた動作カテゴリの学習を行って（ステップＳ３０８）、本処理を終了する。
図４の処理によれば、時系列画像データに対応するモデルデータが存在しないときは（ステップＳ３０６でＮＯ）、時系列画像データに対応付けた動作カテゴリの学習を行う（ステップＳ３０８）ので、対象となる人物別の動作の学習を簡便に行うことができる。
なお、人物動作の抽出技術の詳細については、文献（星野、「人物動作における個性の抽出と再構成」画像電子学会誌第３０巻、ｐｐ．６３１−６４０， ２００１）等に記載の技術を用いればよい。モデルデータとのマッチング処理の基本的な方法としては、入力画像の遷移系列とモデルとの対応付けをDynamic time warpingという手法で行う方法（T.J.Darell and A.P.Pentland, 1993 “Space-Time Gestures,”）、動作の状態遷移を確率モデルで行う隠れマルコフモデルを用いた手法(J.Yamato, J.Ohya, and K.Ishii, 1992 “Recognizing Human Action in Time-Sequential Images Using Hidden Markov Model,” Proc. CVPR, pp. 379-385) 、時空間エッジ画像ベクトル列の連続動的計画法 (Continuous Dynamic Programming) による方法（西村、岡「ジェスチャ動画像の逆時間動作や静止動作をスポッティング認識するためのNon-monotonic連続ＤＰ」、信学技報、PRMU96-32、pp. 49-56, 1996）等がある。
状態検出装置４で行われる動作の認識は、上述した方法以外に、動作カテゴリに対応するモデル特徴量の時系列パターンと検出された特徴量の時系列パターンとの所定の特徴量空間での距離を求め、最小距離を与えるような動作カテゴリを認識結果としてもよい。また、その最小距離が所定の閾値以下であることを条件とし、最小距離がその閾値より大となる場合には、未分類の動作カテゴリが検出されたことを表すようにしてもよい。
学習装置５で行われる動作パターンの学習処理（ステップＳ３０８）は、動作パターンを表す特徴量系列とモデル特徴量系列データとの距離が一定閾値より小さくならない場合は、検出された動作に対応する特徴点又は特徴量に関する時系列画像データ又は時系列画像データを保存し、またその動作パターンに対して仮のラベルが与えられ、該当する動作パターンの意味的情報を登録する為の学習シーケンスが処理制御装置６により起動される。学習シーケンスとしては、音声ベースでの対話により行う方法を用いてもよい。
また、動作カテゴリの照合ができずに記録保持された動作パターンの画像データを所定のディスプレイに再生し、その動作パターンを人物が確認した後で該当する機器の操作を行うと動作パターンと機器操作との対応付けが自動的に行われるようにしてもよい。なお、この確認は、音声、動作、キーボード操作、ボタンスイッチの操作等、予め定められた方法で行えばよい。
さらに、動作カテゴリの照合ができなかったことを人物に示す表示をディスプレイ上の表示又は所定のランプの点灯、又は音声等により行うことにより、システムが直前に行われた動作に対応する意味的情報を登録可能な状態にあることを人物に知らせたうえで、その人物が機器操作を行うと、その機器操作内容が直前の動作と自動的に対応付けられるようにしてもよい。
登録済みの動作パターンと機器制御情報との関連付けに対して、修正や再登録を行うこともできる。修正とは、同じ動作パターンであっても異なる機器制御情報に変更することであり、再登録とは、所定の機器制御情報と対応付けられた所定の動作を類似の動作パターンに変更することを意味するものとする。
その方法としては、修正又は再登録モードを意味するものとして対象となる人物によらずに予め標準的に定められる動作又は状態をその対象となる人物が本発明に係る動作認識装置に対して示すか、動作認識装置が埋め込まれた機器に付属する所定の端末上のボタン操作等により修正又は再登録モードに自動的にセットされるように構成しておけばよい。
更に、本実施の形態で説明した動作認識装置を用いれば、同一機器を複数の人物が動作により操作することができると共に、人物間で優先順位をつけておくこともできる。また、人物別の優先順位を時間帯ごとに設定してもよい。
本実施の形態で説明した動作認識装置をマンマシンインターフェースに用いる場合には、身振り等の動作と対応付けられた操作意志の伝達に先立って機器操作を意図しているか否かにかかわらず、対象となる人物の認証が自動的に行われる。また対象となる人物の行う動作は機器操作情報と対応付けられているので、人物は操作対象の注目意志の伝達を前もって行わなくてよいことはいうまでもない。
上述した動作認識装置は、自律的にユーザの意図を学習するマンマシンインターフェース装置として家庭又はオフィス内の機器（例えば、テレビ、ステレオ、パソコン、ディスプレイ、ロボット、照明器具、エアコン、冷蔵庫）や、机、ロボット等に搭載し、機器制御に用いることができる。また、建物内部の天井、壁面、扉等に埋め込んで身振り、表情等から個々の人物の意図する機器操作内容を学習し、検出する自動機器制御システムを構成することができる。
上記第１の実施例によれば、図４の処理により対象別の動作の学習を簡便に行うことができ、図３の処理により高い信頼度で対象を認識することができ、図２の処理により対象の動作に基づいて機器操作制御することができる。
図５は、本発明の第２の実施の形態に係る動作認識装置の概略構成を示す図である。
図５の動作認識装置は、学習装置５が後述する図６に示す構成を有する点、状態検出装置４及び学習装置５に接続され、常用物の検出及び登録を行う常用物検出装置７を備えている点で図１の装置と異なるのみであって、他の構成要素は図１のものと同じである。常用物とは、対象となる人物が日ごろ使う頻度の高い道具、器具、装置等の物体（例えば、対象となる人物が日常的に用いるコーヒーカップ、寝具、歯ブラシ、本）をいう。
本実施の形態の動作認識装置は、建物内に設置された状態監視システム（複数台のカメラと一つ又は複数の本実施の形態に係る動作認識装置とを含む）に組み込むことにより、特定人物の常用物の所在を特別な発信機やマーカを取り付けずに短時間で検出することができる。
図６は、図５における学習装置５の内部構成を示すブロック図である。
図６において、学習装置５は、カテゴリを学習して記録する物体カテゴリ辞書データ生成記録装置５０と、音声又はディスプレイ上の表示により対象となる人物に質問をするダイアローグプロセス制御装置５１とを備える。
図７は、図５における常用物検出装置７によって実行される常用物検出処理のフローチャートである。
図７において、常用物の検出に先立って、特定人物を検出し（ステップＳ４０１）、後述する図８の常用物候補抽出処理を行って、その特定人物が一定時間（例えば３秒）以上接触する物体を検出し（ステップＳ４０２）、学習装置５の内部にある物体カテゴリ辞書データ生成記録装置５０を検索して、既に登録されている常用物候補のモデルデータと検出された特徴データとの類似度の評価を行い（ステップＳ４０３）、検出された特徴データに対応する物体カテゴリが物体カテゴリ辞書データ生成記録装置５０に登録されているか否かを判別する（ステップＳ４０４）。
ステップＳ４０２において、接触とは、手、足、又は体全体が所定の物体に触れる行為（例えば、把持する、掴む、寝る、履く、撫でる、叩く、着る）をいい、この接触状態を検出するためには、接触する身体の各部の検出と接触対象である物体の検出を行う必要がある。ここでは接触の例として物体を把持する場合を考えているが、この場合には手首から先の運動と一体的に動く物体を接触された物体として検出する。
ステップＳ４０４の判別の結果、検出された特徴データに対応する物体カテゴリが登録されていないか、又は判別が困難であるときは、常用物候補の学習を行った（ステップＳ４０５）後、検出された物体の特徴データに対応する物体カテゴリが登録されているときは、ステップＳ４０５の学習を行うことなく、常用物候補が特定人物の手の先と接触する頻度を週単位又は月単位で算出し（ステップＳ４０６）、算出した頻度が所定の閾値（例えば週５回等）より高ければ常用物と判定し（ステップＳ４０７）、本処理を終了する。
ステップＳ４０５の学習処理は、学習装置５の内部にあるダイアローグプロセス制御装置５１が起動され、対象となる人物に対して音声又はディスプレイ上の表示により、その物体の名称を示すよう要求する。例えば、常用物候補の画像を所定のディスプレイに表示して、「この物は何ですか？」という質問を音声又は文字表示により行う。この質問に対する音声又は文字入力等による応答を認識、解析して得られる物体の名称を、既に格納されている画像データ及び関連情報と共に物体カテゴリ辞書に登録する。例えば、接触を行っている主体である特定人物の名称とその常用物カテゴリ名称又は常用物候補の画像データ、及び接触の平均頻度又は累積回数とを記録保存すればよい。
図８は、図７のステップＳ４０２の常用物候補抽出処理のフローチャートである。
図８において、まず、動領域としての人物頭部を検出する（ステップＳ５０１）。頭部の検出は、画像中の動きを伴う楕円近似可能な動領域であって、顔の検出が行われること、又は、毛髪色の検出（後頭部の場合）又は肌色成分の検出（正面から側面の範囲で検出される場合）がされることを条件として行われる。
次いで、手の先（又は手のひら、手の甲、指先等）を検出する（ステップＳ５０２）。手の先の検出は、頭部近傍にある肌色成分を有する動領域であって頭部ではない領域の先端領域を手領域候補として検出し、その候補領域について手首から先の部分に関するテンプレートマッチング等を適用して行う。ここで先端領域は手首から指先までの領域を指し、該当する領域の３次元形状モデルを用い、その形状モデルを用いて透視変換により生成される画像データと実際の画像データとの類似度評価又は対応付けを行うことにより抽出する。手領域候補の大きさは検出された頭部サイズを基準に定められ、頭部サイズより著しく大きいか又は小さい領域は候補から除かれる。手の先の検出としては、このような方法に特に限定せず他の方法を用いてもよいことは言うまでもない。
次いで、予め動きに関する一体性を評価するために、手先領域の動きベクトルを検出し（ステップＳ５０３）、手の領域（手先を含む）に隣接する領域であって動きベクトルがほぼ手領域と一致する領域を動きベクトルの分布に基づいて領域分割することにより抽出し（ステップＳ５０４）、その領域の物体を常用物の候補とし（ステップＳ５０５）、その物体領域の追跡を行う（ステップＳ５０６）。把持動作後の非接触状態、即ち手の先が候補物体から離れた後、この検出された物体の画像データを所定の記憶手段に格納し（ステップＳ５０７）、常用物候補を認識するための特徴抽出を行い（ステップＳ５０８）、本処理を終了する。
上記第２の実施の形態によれば、図７において、図８の常用物候補抽出処理を行って特定人物が一定時間以上接触する物体を検出し（ステップＳ４０２）、検出された特徴データに対応する物体カテゴリが物体カテゴリ辞書データ生成記録装置５０に登録されていないか、又は判別が困難であるときは、常用物候補の学習を行う（ステップＳ４０５）ので、特定人物の常用物の検出をその人物と対応付けて学習することにより、ある物体が不特定多数の人により使われるのか否かを判定することができる。
また、本実施の形態に係る動作認識装置を監視システム又はロボット等に組み込むことにより、特定人物が常用する物体を第三者が使おうとした場合に警告を発することができる。
図９は、本発明の第３の実施の形態に係る動作認識装置の概略構成を示す図である。
図９の動作認識装置は、状態検出装置４に接続され、後述する図１２の注視物体カテゴリ抽出処理を行う注視対象検出装置９と、状態検出装置４に接続され、対象となる人物の習慣的行動の検出及び学習を所定の視点位置からの時系列画像を用いて行う習慣的行動判定装置１０とを備えている点で図５の装置と異なるのみであり、他の構成要素は図５のものと同じである。
習慣的行動とは、ある対象となる人物がとる行動のうち場所と時間帯の少なくとも一方に関連付けられ、かつ、頻度の比較的高いものをいう。このような習慣的行動を学習し、検出することにより、人物の認証への適用や習慣的行動パターンに対応した機器や環境の自動設定を行うことができる。人物の認証へ適用する場合には、このような習慣的行動パターンの検出を主とし、当該人物の顔その他の姿からの認証を補助的に行うことにより、視点位置から比較的遠方に居る人物の認証を行う目的等に使うことができる。
状態検出装置４により検出される状態とは、一般的には前述したように殆ど静止の所定の姿勢又は動きの変化が小さい場合である。ここでは、状態検出装置４は後述する図１０の状態カテゴリ２０に対応する時系列画像と特徴量データを記録し、対象となる人物の姿勢、表情、基本動作カテゴリ２１の検出、及びその対象となる人物が注視している又は接触している目的物体カテゴリ２３の検出により、意味解釈のできる状態カテゴリの抽出を行う。
意味的解釈ができる状態とは、「テレビを見ている」、「本を読んでいる」、「食事をしている」、「瞑想をしている」等のように目的物体（テレビ、本等）と動作（見る、する等）との対応付けが可能な場合、又は、「食事」、「瞑想」等のように目的物体が物理的実体ではなく、かつ一義的に動作との対応付けは存在せず、予め意味のある状態として表情又は手足の動作に関する複数の動作パターン及び場所又は時間帯が学習装置５の辞書データ作成記録手段５０内部の記憶手段に記憶されている場合をいう。
図１０は、状態カテゴリの辞書データ内部での表現形式を示す図であり、（ａ）は行為の対象となる目的物体を有する場合、（ｂ）は目的物体を有しない場合を示す。
図１０（ｂ）において、目的物体を有する状態カテゴリ２０は、姿勢、表情、基本動作カテゴリ２１、観測される居場所又は時間帯２２、及び目的物体カテゴリ２３により記述される。目的物体カテゴリ２３は、接触物体カテゴリ２４及び注視物体カテゴリ２５の少なくとも１つから成る。
例えば、「テレビを見ている」という状態カテゴリ２０は、「注視している」という基本動作カテゴリ２１、及び「テレビ」という注視物体カテゴリの２つのカテゴリを検出することにより状態が記述される。
図１０（ａ）において、目的物体を有しない状態カテゴリ２０（例えば、「瞑想している」等）は、姿勢、表情、基本動作カテゴリ２１、及び観測される居場所又は時間帯２２により記述される。
これにより、注視物体も接触物体も有しない状態（例えば、「瞑想」については、目を閉じて体を起こした姿勢を所定時間継続した状態として定義）についても意味的解釈のある状態として予め簡単な複数の構成要素（例えば、「瞑想」については、「目を閉じている」、「上半身の（半）直立固定姿勢」、「前方固定の顔の向き」等のように）の組み合わせとして表現しておくことができる。
本実施の形態においては、殆どの場合、少なくとも接触物体及び注視物体の少なくとも１つからなる物体カテゴリ、及び動作カテゴリを検出することにより特定可能な状態カテゴリが検出される。状態カテゴリを特定する際に、前述したように観測される場所又時間帯に関する情報２２を更に抽出してもよい。
これにより、例えば、ダイニングテーブルを前にして（居場所に関する情報）接触又は注視対象として「料理の盛られた食器」が検出され、動作カテゴリとして「手を口の近傍に動かす」が検出された場合を「食事をする」の状態カテゴリとする。なお、同じ状態カテゴリであっても接触対象（注視対象）カテゴリ及び動作カテゴリがそれぞれ特定の一つのカテゴリが検出されるような場合にのみ限定する必要はない。即ち、ある状態カテゴリを記述するとき、接触物体カテゴリ及び動作カテゴリをそれぞれ複数個用意しておきそのうちのいずれかが検出されることにより、その状態カテゴリを特定するようにしてもよい。
図１１は、図９における習慣的行動判定装置１０によって実行される習慣的行動判定処理のフローチャートである。
図１１において、状態カテゴリと時系列特徴データとの対応付けを行う（ステップＳ６０１）。状態カテゴリと時系列特徴データとの対応付けは、前述したように、学習装置５内部の辞書データ生成装置を用いて対話的に行うか、予め標準的な状態カテゴリに対応する動作パターンに関する特徴量の時系列画像データとして辞書データ作成装置の記憶手段に格納されているものとする。次いで、入力された動画像から対象となる人物を検出し、前記実施の形態と同様の被写体認識処理を人物の示す動作パターン又は姿に基づいて行う（ステップＳ６０２）。
次に、その特定された人物の動作パターンの特徴量時系列画像データ（対象となる人物を構成するパーツの代表点ごとの時系列位置情報等）を検出し（ステップＳ６０３）、状態検出装置４はその時系列画像データと辞書内部の状態カテゴリとの照合を行う（ステップＳ６０４）。ステップＳ６０４では、前述した注視物体カテゴリ又は接触物体カテゴリの抽出、及び動作カテゴリの抽出を行い、次にそれらのデータを用いた状態カテゴリの分類をニューラルネットワーク、統計的処理、又はファジー推論等の技術を用いて行う。
次いで、時系列画像データと辞書内部の状態カテゴリの対応付けが可能であるか否かを判別し（ステップＳ６０５）、時系列画像データと辞書内部の状態カテゴリの対応付けが可能でないか、又は困難であるときは、状態カテゴリの学習を行い（ステップＳ６０６）、時系列画像データと辞書内部の状態カテゴリの対応付けが可能であるときは、さらに状態カテゴリと関連付けられる場所、時間帯の少なくとも一方と共に所定の記憶装置に格納する（ステップＳ６０７）。
ステップＳ６０６の学習は、学習装置５により時系列特徴量データと動作・状態カテゴリとの対応付けの辞書データを作成することによって行われる。学習処理はユーザとシステムとの間で対話的に行ってもよい。
次いで、抽出された状態カテゴリの観測頻度を算出して、例えば、週に３回以上の頻度の状態又は動作を習慣的行動とすることにより、習慣性の判定を行って（ステップＳ６０８）、本処理を終了する。
図１１の処理によれば、その特定された人物の動作パターンの特徴量時系列画像データを検出し（ステップＳ６０３）、時系列画像データと辞書内部の状態カテゴリの対応付けが可能でないか、又は困難であるときは、状態カテゴリの学習を行う（ステップＳ６０６）ので、状態カテゴリを学習し、その状態カテゴリの頻度を算出することにより習慣性の判定を行うことができる。
次に、図１０における注視物体カテゴリ２５の検出処理の流れについて説明する。先ず、対象となる人物の視線方向、又は顔の向きの検出を行う。その検出された方向が一定時間以上ほぼ同じ方向（視野角にして±１０度以内）に留まっていることが検出された場合に「注視している」という状態にあると判定される。但し、顔の向きはほぼ一定であっても、視線方向は定まっていないことが検出できる場合には「注視している」の状態には該当しないものとする。
なお、顔の向きは判別できても、正面の顔画像を検出できないために目が開いているか分からない場合には、目が開いているものとして処理するが、「注視している」という状態に対応する動作や姿勢に関する状態は必ずしも一つに定まらないので、他の動作・姿勢を検出してもよいことはいうまでもない。
注視対象検出装置９が行う注視物体カテゴリの抽出処理は、視線方向又は顔の向きの方向にある物体であって、注視対象となり得る物体を注視物体カテゴリとして状態認識装置４内部の記憶部に記憶し、画像データを記憶された注視物体カテゴリと照合して最大類似度を与える注視物体カテゴリを抽出することにより行う。
図１２は、図９における注視対象検出装置９によって実行される注視物体カテゴリ抽出処理を説明するのに用いられる図であり、（ａ）は観測位置が人物の上方である場合、（ｂ）は観測位置が人物の後方である場合を示す。
図１２（ａ）に示すように、観測位置が人物の上方であるとき、例えば、カメラが天井に設置される等、人物の存在位置より充分に高い所にあって下を見下ろすようなときは、注視対象は、人物の顔の向き（又は視線方向）を中心とする所定範囲（例えば、３０度が目安となる）の視野角内にある注視物体カテゴリに属する物体をいう。顔の向きは頭部中心と鼻の頂点（又は上から見た頭部の凸部頂点）を結ぶ方向とする。
図１２（ｂ）に示すように、観測位置が人物の後方であり、かつ人物の注視対象がその人物により遮蔽されていないときは、画像中にある物体であって人物の（後ろ姿の）近傍領域にあるものから該当する物体カテゴリを抽出する。この注視対象の探索範囲は一般的には、動作認識装置の視点位置から見た人物及び注視対象となり得る物体の相対距離に依存する。ここでは、動作認識装置の視点位置から見た人物頭部のサイズから人物までの距離を推定し、その人物を中心とした所定の視野角範囲を探索範囲とする。
この場合、可能であれば動作認識装置は後頭部の画像から予め行う画像ベースでの対応付け（キャリブレーション）等により顔の向きを大まかに推定し、その推定された方向を中心とする範囲であって人物位置を基準とする所定の視野角範囲を探索範囲としてもよい。
注視物体カテゴリの特定は、複数の観測位置からの画像を用いて行ってもよい。例えば、人物の上方及び後方の観測位置から候補となる注視物体カテゴリをそれぞれ抽出し、共通するカテゴリから特定してもよい。また、上記いずれにも該当しない位置に動作認識装置の画像入力手段（撮像装置）が存在する場合、例えば、人物の横顔が観測されるような場合には、その観測位置からの注視対象の推定を行わない。
図１２の処理によれば、対象が注視する物体の注視物体カテゴリを抽出することができる。
上記第３の実施の形態によれば、図１２の処理により注視物体カテゴリを抽出し、図１１の処理により状態カテゴリを学習し、その状態カテゴリの頻度を算出することにより習慣性の判定を行うことができる。
上記第１〜第３の実施の形態によれば、画像データ及び動作パターンの両方からそれぞれの信頼度に基づいて人物等の対象となる人物を特定することができ、対象となる人物が比較的遠方にいる場合や照明条件等が大きく変動してもその対象となる人物の特定を高い精度で行うことができる。また、動作の意味をその特定の対象となる人物と対応付けて学習することにより、機器制御のパーソナライズ化を行うことができる。更に、特定の人物の常用物、習慣的行動パターンの検出及び学習を簡便に行うことができる。
また、本発明の目的は、上記実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システム又は装置に供給し、そのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出して実行することによっても達成されることは言うまでもない。
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(ＯＳ)などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
また、上記プログラムは、上述した実施の形態の機能をコンピュータで実現することができればよく、その形態は、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給されるスクリプトデータ等の形態を有するものでもよい。
プログラムを供給する記録媒体としては、例えば、ＲＡＭ、ＮＶ−ＲＡＭ、フロッピー（登録商標）ディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ）、磁気テープ、不揮発性のメモリカード、他のＲＯＭ等の上記プログラムを記憶できるものであればよい。又は、上記プログラムは、インターネット、商用ネットワーク、若しくはローカルエリアネットワーク等に接続される不図示の他のコンピュータやデータベース等からダウンロードすることにより供給される。
本発明の第１の実施の形態に係る動作認識装置の概略構成を示す図である。 図１の動作認識装置によって実行される動作認識処理のフローチャートである。 図２のステップＳ１０２の被写体認識処理のフローチャートである。 図２のステップＳ１０３の動作パターン抽出処理のフローチャートである。 本発明の第２の実施の形態に係る動作認識装置の概略構成を示す図である。 図５における学習装置５の内部構成を示すブロック図である。 図５における常用物検出装置７によって実行される常用物検出処理のフローチャートである。 図７のステップＳ４０２の常用物候補抽出処理のフローチャートである。 本発明の第３の実施の形態に係る動作認識装置の概略構成を示す図である。 状態カテゴリの辞書データ内部での表現形式を示す図であり、（ａ）は行為の対象となる目的物体を有しない場合、（ｂ）は目的物体を有する場合を示す。 図９における習慣的行動判定装置１０によって実行される習慣的行動判定処理のフローチャートである。 図９における注視対象検出装置９によって実行される注視物体カテゴリ抽出処理を説明するのに用いられる図であり、（ａ）は観測位置が人物の上方である場合、（ｂ）は観測位置が人物の後方である場合を示す。
符号の説明
１ 画像入力装置
２ 動体検出装置
３ 被写体認識装置
４ 状態検出装置
５ 学習装置
６ 処理制御装置
７ 常用物検出装置
８ 表示装置
９ 注視対象検出装置
１０ 習慣的行動判定装置

Claims (12)

  1. 画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段と、
    前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段と、
    前記時系列画像データから、前記特定手段で特定された人物の動作パターンを検出する状態検出手段と、
    前記検出された動作パターンのデータを前記人物特有の動作パターンに関するモデルデータとして、前記特定された人物に固有の意味的情報に対応付けて保存する学習手段と、を備えることを特徴とする動作認識装置。
  2. 前記状態検出手段で検出された前記人物の動作パターンに対応するモデルデータが保存されているか否か判別する判別手段と、
    前記判別手段で前記モデルデータが保存されていると判別した場合、当該モデルデータに対応付けて保存されている前記人物に固有の意味的情報を出力する出力手段と、を更に備え、
    前記学習手段は、前記判別手段が前記モデルデータが保存されていないと判別した場合に、前記検出された動作パターンのデータを、前記人物特有の動作パターンに関するモデルデータとして、前記特定された人物に固有の意味的情報に対応付けて保存することを特徴とする請求項１記載の動作認識装置。
  3. 画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段と、
    前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段と、
    前記時系列画像データから前記特定手段で特定された人物が一定時間以上接触する物体を検出し、当該特定された人物が前記検出された物体に接触する頻度が所定の閾値より高い場合に、当該物体を当該特定された人物が常用する常用物として判定する常用物検出手段と、を備えることを特徴とする動作認識装置。
  4. 画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段と、
    前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段と、
    前記時系列画像データから、前記特定手段で特定された人物の居場所と動作パターンとを検出する状態検出手段と、
    前記状態検出手段で所定の居場所と所定の動作パターンとが検出された頻度が、所定閾値以上である場合、当該所定の動作パターンを前記特定された人物の習慣的行動として判定する習慣的行動判定手段と、備えることを特徴とする動作認識装置。
  5. 画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段と、
    前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段と、を備えることを特徴とする動作認識装置。
  6. 所定の機器を制御する機器制御装置であって、
    画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段と、
    前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段と、
    前記時系列画像データから前記特定手段で特定された人物の動作パターンを検出する状態検出手段と、
    前記検出された動作パターンのデータを前記人物特有の動作パターンに関するモデルデータとして、前記特定された人物に固有の機器制御情報であって前記所定の機器を制御するための機器制御情報に対応付けて保存する学習手段と、
    前記状態検出手段で検出された前記人物の動作パターンに対応するモデルデータが保存されている場合、当該モデルデータに対応付けて保存されている前記機器制御情報を出力する出力手段と、を備えることを特徴とする機器制御装置。
  7. 認識装置の動体検出手段が、画像入力装置により入力された時系列画像データから動領域を検出する動体検出ステップと、
    認識装置の特定手段が、前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定ステップと、を備えることを特徴とする動作認識方法。
  8. コンピュータを、
    画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段、
    前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段、
    前記時系列画像データから、前記特定手段で特定された人物の動作パターンを検出する状態検出手段、
    前記検出された動作パターンのデータを前記人物特有の動作パターンに関するモデルデータとして、前記特定された人物に固有の意味的情報に対応付けて保存する学習手段、
    として機能させるためのコンピュータプログラム。
  9. コンピュータを、
    画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段、
    前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段、
    前記時系列画像データから前記特定手段で特定された人物が一定時間以上接触する物体を検出し、当該特定された人物が前記検出された物体に接触する頻度が所定の閾値より高い場合に、当該物体を当該特定された人物が常用する常用物として判定する常用物検出手段、として機能させるためのコンピュータプログラム。
  10. コンピュータを、
    画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段と、
    前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段、
    前記時系列画像データから、前記特定手段で特定された人物の居場所と動作パターンとを検出する状態検出手段、
    前記状態検出手段で所定の居場所と所定の動作パターンとが検出された頻度が、所定閾値以上である場合、当該所定の動作パターンを前記特定された人物の習慣的行動として判定する習慣的行動判定手段、として機能させるためのコンピュータプログラム。
  11. コンピュータを、
    画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段、
    前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段、として機能させるためのコンピュータプログラム。
  12. コンピュータを、
    画像入力装置により入力された時系列画像データから動領域を検出する動体検出手段、
    前記動領域の画像データから抽出される幾何学的特徴と予め対象となる人物ごとに設定されている幾何学的特徴に関するモデルデータとの間の第１類似度を評価し、前記時系列画像データの前記動領域から抽出される動作パターンの特徴と人物特有の動作パターンに関するモデルデータとの間の第２類似度を評価し、前記第１類似度と前記第２類似度とに重み付けを行って出力される検出レベルに基づいて前記動領域の画像データに対応する人物を特定する特定手段、
    前記時系列画像データから前記特定手段で特定された人物の動作パターンを検出する状態検出手段、
    前記検出された動作パターンのデータを前記人物特有の動作パターンに関するモデルデータとして、前記特定された人物に固有の機器制御情報であって前記所定の機器を制御するための機器制御情報に対応付けて保存する学習手段、
    前記状態検出手段で検出された前記人物の動作パターンに対応するモデルデータが保存されている場合、当該モデルデータに対応付けて保存されている前記機器制御情報を出力する出力手段、として機能させるためのコンピュータプログラム。
JP2004007924A 2004-01-15 2004-01-15 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム Expired - Lifetime JP4481663B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004007924A JP4481663B2 (ja) 2004-01-15 2004-01-15 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
US11/035,240 US8094881B2 (en) 2004-01-15 2005-01-13 Action recognition apparatus and method, moving-object recognition apparatus and method, device control apparatus and method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004007924A JP4481663B2 (ja) 2004-01-15 2004-01-15 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2005202653A JP2005202653A (ja) 2005-07-28
JP4481663B2 true JP4481663B2 (ja) 2010-06-16

Family

ID=34747158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004007924A Expired - Lifetime JP4481663B2 (ja) 2004-01-15 2004-01-15 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム

Country Status (2)

Country Link
US (1) US8094881B2 (ja)
JP (1) JP4481663B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101298023B1 (ko) * 2010-09-17 2013-08-26 엘지디스플레이 주식회사 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
KR101326230B1 (ko) * 2010-09-17 2013-11-20 한국과학기술원 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008126069A2 (en) * 2007-04-15 2008-10-23 Xtr - Extreme Reality An apparatus system and method for human-machine-interface
JP4910312B2 (ja) * 2005-06-03 2012-04-04 ソニー株式会社 撮像装置および撮像方法
US8306277B2 (en) 2005-07-27 2012-11-06 Canon Kabushiki Kaisha Image processing apparatus and image processing method, and computer program for causing computer to execute control method of image processing apparatus
US7551801B2 (en) * 2006-04-17 2009-06-23 Honda Motor Co., Ltd. Classification of composite actions involving interaction with objects
JP4240108B2 (ja) * 2006-10-31 2009-03-18 ソニー株式会社 画像記憶装置、撮像装置、画像記憶方法およびプログラム
US8165405B2 (en) * 2006-12-18 2012-04-24 Honda Motor Co., Ltd. Leveraging temporal, contextual and ordering constraints for recognizing complex activities in video
US8295542B2 (en) 2007-01-12 2012-10-23 International Business Machines Corporation Adjusting a consumer experience based on a 3D captured image stream of a consumer response
US8588464B2 (en) 2007-01-12 2013-11-19 International Business Machines Corporation Assisting a vision-impaired user with navigation based on a 3D captured image stream
US8269834B2 (en) 2007-01-12 2012-09-18 International Business Machines Corporation Warning a user about adverse behaviors of others within an environment based on a 3D captured image stream
US8610787B2 (en) * 2007-06-22 2013-12-17 Panasonic Corporation Camera device including privacy protection method
JP4420081B2 (ja) 2007-08-03 2010-02-24 株式会社デンソー 行動推定装置
JP2009075868A (ja) * 2007-09-20 2009-04-09 Toshiba Corp 画像から対象を検出する装置、方法およびプログラム
US8280115B2 (en) 2007-10-30 2012-10-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2009134693A (ja) * 2007-10-30 2009-06-18 Canon Inc 画像処理装置、画像処理方法
JP2009146333A (ja) * 2007-12-18 2009-07-02 Panasonic Corp 空間入力動作表示装置
JP4966896B2 (ja) * 2008-03-24 2012-07-04 ローレルバンクマシン株式会社 行動管理装置
JP4384240B2 (ja) 2008-05-28 2009-12-16 株式会社東芝 画像処理装置、画像処理方法、画像処理プログラム
JP5217754B2 (ja) * 2008-08-06 2013-06-19 株式会社デンソー 行動推定装置、プログラム
JP5014307B2 (ja) * 2008-10-29 2012-08-29 三菱電機株式会社 画像認識システムおよび空気調和機
JP4613999B2 (ja) * 2008-12-22 2011-01-19 株式会社デンソー 行動推定装置、プログラム
KR20100086262A (ko) * 2009-01-22 2010-07-30 삼성전자주식회사 로봇 및 그 제어방법
US8704767B2 (en) * 2009-01-29 2014-04-22 Microsoft Corporation Environmental gesture recognition
WO2010086866A1 (en) * 2009-02-02 2010-08-05 Eyesight Mobile Technologies Ltd. System and method for object recognition and tracking in a video stream
JP4945617B2 (ja) * 2009-09-18 2012-06-06 株式会社東芝 画像処理装置、画像処理方法、画像処理プログラム
JP5360406B2 (ja) * 2009-10-29 2013-12-04 株式会社ニコン 画像表示装置
US8639042B2 (en) 2010-06-22 2014-01-28 Microsoft Corporation Hierarchical filtered motion field for action recognition
JP2012098988A (ja) * 2010-11-04 2012-05-24 Sony Corp 画像処理装置および方法、並びにプログラム
JP5645646B2 (ja) * 2010-12-22 2014-12-24 綜合警備保障株式会社 把持物体認識装置、把持物体認識方法、及び把持物体認識プログラム
US9665767B2 (en) * 2011-02-28 2017-05-30 Aic Innovations Group, Inc. Method and apparatus for pattern tracking
KR20120118383A (ko) * 2011-04-18 2012-10-26 삼성전자주식회사 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들
JP6031735B2 (ja) 2011-06-13 2016-11-24 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
JP2013016070A (ja) * 2011-07-05 2013-01-24 Interman Corp ログオン支援システム
DE102011079187A1 (de) * 2011-07-14 2013-01-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Schritterkennung eines Fußgängers für ein tragbares Endgerät
JP5904730B2 (ja) * 2011-08-25 2016-04-20 キヤノン株式会社 動作認識装置および動作認識方法
CN107818243B (zh) 2012-02-24 2020-12-08 河谷控股Ip有限责任公司 通过基于交互的认证的内容激活、系统和方法
JP2013206292A (ja) * 2012-03-29 2013-10-07 Japan Research Institute Ltd 認証処理を行う顧客端末、認証方法、及び、認証用プログラム
JP2014067333A (ja) * 2012-09-27 2014-04-17 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US9369869B2 (en) 2012-12-14 2016-06-14 Interman Corporation Method and system for automatic logon support without manual input of credentials
US9355105B2 (en) * 2012-12-19 2016-05-31 International Business Machines Corporation Indexing of large scale patient set
US9501718B1 (en) * 2013-01-15 2016-11-22 Marvell International Ltd. Image-based control of lighting systems
JP2014139734A (ja) * 2013-01-21 2014-07-31 Sony Corp 情報処理装置および方法、並びにプログラム
US9344414B2 (en) 2013-02-01 2016-05-17 Interman Corporation User similarity provision method
JP6017343B2 (ja) * 2013-02-25 2016-10-26 Kddi株式会社 データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム
KR20230044041A (ko) * 2013-03-11 2023-03-31 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
US9996740B2 (en) 2013-09-30 2018-06-12 Sony Interactive Entertainment Inc. Information processing device, information processing method, program, and information storage medium
JP6091407B2 (ja) * 2013-12-18 2017-03-08 三菱電機株式会社 ジェスチャ登録装置
WO2015133206A1 (ja) * 2014-03-05 2015-09-11 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
US20150308178A1 (en) * 2014-04-24 2015-10-29 Vivint, Inc. Sensors indicating from which side a barrier is accessed
US9807983B2 (en) 2014-08-22 2017-11-07 Panasonic Intellectual Property Corporation Of America Device control method for estimating a state of an animal and for determining a control detail for an electronic device
WO2016103651A1 (ja) * 2014-12-22 2016-06-30 日本電気株式会社 情報処理システム、情報処理方法、及び、記録媒体
GB201511334D0 (en) * 2015-06-29 2015-08-12 Nokia Technologies Oy A method, apparatus, computer and system for image analysis
KR102034021B1 (ko) * 2015-08-10 2019-10-18 한국전자통신연구원 헬스케어 유닛 기반 시뮬레이터 및 이를 이용한 시뮬레이션 방법
JP2016012370A (ja) * 2015-10-06 2016-01-21 株式会社日本総合研究所 認証処理を行う顧客端末、認証方法、及び、認証用プログラム
JP6472363B2 (ja) * 2015-10-16 2019-02-20 キヤノン株式会社 計測装置、計測方法および物品の製造方法
CN108369451B (zh) * 2015-12-18 2021-10-29 索尼公司 信息处理装置、信息处理方法及计算机可读存储介质
US10242266B2 (en) 2016-03-02 2019-03-26 Mitsubishi Electric Research Laboratories, Inc. Method and system for detecting actions in videos
JP6688990B2 (ja) * 2016-04-28 2020-04-28 パナソニックＩｐマネジメント株式会社 識別装置、識別方法、識別プログラムおよび記録媒体
JP6909986B2 (ja) * 2016-04-28 2021-07-28 パナソニックＩｐマネジメント株式会社 識別装置
CN106127125B (zh) * 2016-06-16 2019-04-02 山东大学 基于人体行为特征的分布式dtw人体行为识别方法
JP6841608B2 (ja) * 2016-07-07 2021-03-10 株式会社日立システムズ 振る舞い検知システム
JP6258442B1 (ja) * 2016-10-28 2018-01-10 三菱電機インフォメーションシステムズ株式会社 動作特定装置、動作特定方法及び動作特定プログラム
JP6341299B2 (ja) * 2017-01-04 2018-06-13 ソニー株式会社 画像処理システム、プログラム及び画像処理方法
JP6572943B2 (ja) * 2017-06-23 2019-09-11 カシオ計算機株式会社 ロボット、ロボットの制御方法及びプログラム
JP6909657B2 (ja) * 2017-07-12 2021-07-28 株式会社日立製作所 映像認識システム
US10210391B1 (en) 2017-08-07 2019-02-19 Mitsubishi Electric Research Laboratories, Inc. Method and system for detecting actions in videos using contour sequences
US11003916B2 (en) * 2017-11-03 2021-05-11 Toyota Research Institute, Inc. Systems and methods for object historical association
WO2019140129A1 (en) * 2018-01-11 2019-07-18 End Cue, Llc Pre-production tools and improved operation of same
JP6586184B2 (ja) 2018-03-13 2019-10-02 株式会社日立製作所 データ分析支援装置、及びデータ分析支援方法
JP6939999B2 (ja) * 2018-06-06 2021-09-22 日本電気株式会社 情報処理システム、情報処理方法及び記憶媒体
JP7099526B2 (ja) 2018-07-04 2022-07-12 富士通株式会社 判定方法、判定プログラムおよび情報処理装置
JP7283037B2 (ja) 2018-07-26 2023-05-30 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP6647489B1 (ja) * 2018-11-27 2020-02-14 株式会社アジラ 不審体・異常体検出装置
JP7263094B2 (ja) * 2019-04-22 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN110059661B (zh) * 2019-04-26 2022-11-22 腾讯科技（深圳）有限公司 动作识别方法、人机交互方法、装置及存储介质
US11003957B2 (en) 2019-08-21 2021-05-11 Advanced New Technologies Co., Ltd. Method and apparatus for certificate identification
US10974537B2 (en) 2019-08-27 2021-04-13 Advanced New Technologies Co., Ltd. Method and apparatus for certificate identification
US11743723B2 (en) 2019-09-16 2023-08-29 Microstrategy Incorporated Predictively providing access to resources
JP7320261B2 (ja) * 2019-12-03 2023-08-03 株式会社Agama-X 情報処理システム、方法、及びプログラム
KR102242308B1 (ko) * 2020-03-17 2021-04-19 이대화 행동패턴 분석을 통한 반려동물 식별시스템
JP7130155B2 (ja) * 2020-03-24 2022-09-02 三菱電機株式会社 動作モデル生成装置、動作モデル生成方法及び動作モデル生成プログラム
JP7459679B2 (ja) 2020-06-23 2024-04-02 富士通株式会社 行動認識方法、行動認識プログラム及び行動認識装置
JP7485217B2 (ja) * 2020-10-29 2024-05-16 日本電気株式会社 分類装置、分類方法及びプログラム
JP7568913B2 (ja) * 2020-11-24 2024-10-17 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP7016936B1 (ja) * 2020-11-25 2022-02-07 日立建機株式会社 動作把握システム
US12400122B2 (en) 2021-02-09 2025-08-26 RivetAI, Inc. Narrative-based content discovery employing artificial intelligence
TWI768852B (zh) 2021-04-28 2022-06-21 緯創資通股份有限公司 人體方向之偵測裝置及人體方向之偵測方法
US20230023202A1 (en) * 2021-07-26 2023-01-26 Ancestry. com Operations Inc. Efficient record facet search based on image faceting
CN114120180B (zh) * 2021-11-12 2023-07-21 北京百度网讯科技有限公司 一种时序提名的生成方法、装置、设备及介质
JP7766474B2 (ja) * 2021-11-17 2025-11-10 キヤノン株式会社 画像処理装置、撮像装置、制御方法及びプログラム
CN114565968A (zh) * 2021-11-29 2022-05-31 杭州好学童科技有限公司 一种基于学习桌的学习环境动作行为识别方法
US20230360364A1 (en) * 2022-05-05 2023-11-09 International Business Machines Corporation Compositional Action Machine Learning Mechanisms
JP2024065888A (ja) 2022-10-31 2024-05-15 富士通株式会社 照合支援プログラム、照合支援方法、および情報処理装置
JP2024065990A (ja) 2022-10-31 2024-05-15 富士通株式会社 照合支援プログラム、照合支援方法、および情報処理装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2801362B2 (ja) * 1990-05-24 1998-09-21 日本電信電話株式会社 個人識別装置
US5502774A (en) * 1992-06-09 1996-03-26 International Business Machines Corporation Automatic recognition of a consistent message using multiple complimentary sources of information
US5564005A (en) * 1993-10-15 1996-10-08 Xerox Corporation Interactive system for producing, storing and retrieving information correlated with a recording of an event
JP3078166B2 (ja) 1994-02-02 2000-08-21 キヤノン株式会社 物体認識方法
JP3140911B2 (ja) * 1994-06-22 2001-03-05 東京瓦斯株式会社 人間活動監視補助装置
JP3697286B2 (ja) * 1995-03-24 2005-09-21 株式会社東芝 状態監視装置
CN1183151A (zh) * 1995-04-28 1998-05-27 松下电器产业株式会社 接口装置
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JPH09161102A (ja) * 1995-12-04 1997-06-20 Nippon Signal Co Ltd:The 行動認識型自動券売装置
JPH10149207A (ja) * 1996-11-19 1998-06-02 Toshiba Corp マンマシンインタフェース装置
JP3607440B2 (ja) * 1996-12-03 2005-01-05 日本電気株式会社 ジェスチャー認識方法
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
JP3812985B2 (ja) * 1997-04-04 2006-08-23 富士通株式会社 自動監視装置
CA2227361A1 (en) * 1998-01-19 1999-07-19 Taarna Studios Inc. Method and apparatus for providing real-time animation utilizing a database of expressions
US6212510B1 (en) * 1998-01-30 2001-04-03 Mitsubishi Electric Research Laboratories, Inc. Method for minimizing entropy in hidden Markov models of physical signals
JP3844874B2 (ja) * 1998-02-27 2006-11-15 株式会社東芝 マルチモーダルインタフェース装置およびマルチモーダルインタフェース方法
JPH11338614A (ja) * 1998-05-27 1999-12-10 Noritz Corp 操作入力装置
JP4013100B2 (ja) * 1998-09-21 2007-11-28 富士フイルム株式会社 電子カメラ
JP3550038B2 (ja) * 1999-02-04 2004-08-04 株式会社東芝 モーションを利用した認証方法及び装置
JP2000293685A (ja) * 1999-04-06 2000-10-20 Toyota Motor Corp シーン認識装置
JP2001034764A (ja) * 1999-05-18 2001-02-09 Sanyo Electric Co Ltd 動画像処理方法、及び装置並びに媒体
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
US6347261B1 (en) * 1999-08-04 2002-02-12 Yamaha Hatsudoki Kabushiki Kaisha User-machine interface system for enhanced interaction
US6901561B1 (en) * 1999-10-19 2005-05-31 International Business Machines Corporation Apparatus and method for using a target based computer vision system for user interaction
JP4432181B2 (ja) * 2000-01-18 2010-03-17 ソニー株式会社 認証装置および認証方法、データ処理装置およびデータ処理方法、並びに記録媒体
ES2241598T3 (es) * 2000-05-16 2005-11-01 Swisscom Mobile Ag Procedimiento biometrico de identificacion y autenticacion.
JP2002251235A (ja) * 2001-02-23 2002-09-06 Fujitsu Ltd 利用者インタフェースシステム
JP2002259978A (ja) * 2001-02-28 2002-09-13 Hitachi Ltd パターン認識装置
JP4846924B2 (ja) * 2001-05-31 2011-12-28 キヤノン株式会社 パターン認識装置
US7680295B2 (en) * 2001-09-17 2010-03-16 National Institute Of Advanced Industrial Science And Technology Hand-gesture based interface apparatus
US7324246B2 (en) * 2001-09-27 2008-01-29 Fujifilm Corporation Apparatus and method for image processing
JP3996015B2 (ja) * 2002-08-09 2007-10-24 本田技研工業株式会社 姿勢認識装置及び自律ロボット
US7113636B2 (en) * 2002-08-30 2006-09-26 Lockheed Martin Corporation Method and computer program product for generating training data for a new class in a pattern recognition classifier
JP3699434B2 (ja) * 2002-10-03 2005-09-28 三菱電機株式会社 車両盗難防止装置
US7305132B2 (en) * 2003-11-19 2007-12-04 Mitsubishi Electric Research Laboratories, Inc. Classification in likelihood spaces

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101298023B1 (ko) * 2010-09-17 2013-08-26 엘지디스플레이 주식회사 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치
KR101326230B1 (ko) * 2010-09-17 2013-11-20 한국과학기술원 사용자 동적 기관 제스처 인식 방법 및 인터페이스와, 이를 사용하는 전기 사용 장치

Also Published As

Publication number Publication date
US8094881B2 (en) 2012-01-10
US20050157908A1 (en) 2005-07-21
JP2005202653A (ja) 2005-07-28

Similar Documents

Publication Publication Date Title
JP4481663B2 (ja) 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
Zhang et al. EgoGesture: A new dataset and benchmark for egocentric hand gesture recognition
TWI411935B (zh) 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法
Junker et al. Gesture spotting with body-worn inertial sensors to detect user activities
US6421453B1 (en) Apparatus and methods for user recognition employing behavioral passwords
Turk et al. Perceptual interfaces
JP6125670B2 (ja) 収集された生物物理的信号の時間的パターンおよび空間的パターンに基づく脳‐コンピューターインターフェース（ｂｃｉ）システム
CN104364733B (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
US7680295B2 (en) Hand-gesture based interface apparatus
Kolsch Vision based hand gesture interfaces for wearable computing and virtual environments
KR102351008B1 (ko) 감정 인식 장치 및 감정 인식 방법
US20130300650A1 (en) Control system with input method using recognitioin of facial expressions
EP2793167A2 (en) Expression estimation device, control method, control program, and recording medium
US20140062861A1 (en) Gesture recognition apparatus, control method thereof, display instrument, and computer readable medium
CN105809144A (zh) 一种采用动作切分的手势识别系统和方法
JPH11175246A (ja) 視線検出装置及びその方法
Ding et al. Designs of human–robot interaction using depth sensor-based hand gesture communication for smart material-handling robot operations
CN110476141A (zh) 视线跟踪方法及用于执行该方法的用户终端
Mendels et al. User identification for home entertainment based on free-air hand motion signatures
JP3886660B2 (ja) 人物認識装置における登録装置及びその方法
Dael et al. Measuring body movement: Current and future directions in proxemics and kinesics.
Yin Real-time continuous gesture recognition for natural multimodal interaction
KR20200081529A (ko) 사회적 수용성을 고려한 hmd 기반 사용자 인터페이스 방법 및 장치
Just Two-handed gestures for human-computer interaction
JP2018200592A (ja) 顔認証装置、顔認証方法、及びプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060418

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061207

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20070626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100316

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100318

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140326

Year of fee payment: 4