WO2021010342A1 - 行動認識装置、行動認識方法、及び行動認識プログラム - Google Patents

行動認識装置、行動認識方法、及び行動認識プログラム Download PDF

Info

Publication number
WO2021010342A1
WO2021010342A1 PCT/JP2020/027113 JP2020027113W WO2021010342A1 WO 2021010342 A1 WO2021010342 A1 WO 2021010342A1 JP 2020027113 W JP2020027113 W JP 2020027113W WO 2021010342 A1 WO2021010342 A1 WO 2021010342A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
action
behavior
desired subject
subject
Prior art date
Application number
PCT/JP2020/027113
Other languages
English (en)
French (fr)
Inventor
峻司 細野
泳青 孫
島村　潤
淳 嵯峨田
清仁 澤田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/626,073 priority Critical patent/US20220277592A1/en
Publication of WO2021010342A1 publication Critical patent/WO2021010342A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the technology of this disclosure relates to a behavior recognition device, a behavior recognition method, and a behavior recognition program.
  • the display unit 16 is, for example, a liquid crystal display and displays various types of information.
  • the display unit 16 may adopt a touch panel method and function as an input unit 15.
  • the communication interface 17 is an interface for communicating with other devices, and for example, standards such as Ethernet (registered trademark), FDDI, and Wi-Fi (registered trademark) are used.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the learning device 10.
  • the action recognition unit 26 recognizes the action label of a desired subject with respect to the image after the action direction alignment composed of the adjusted images, based on the parameters of the action recognizer stored in the storage device 30.
  • the optimization unit 28 performs at least one of rotation and inversion so that the action direction of the desired subject becomes the reference direction, and obtains each adjustment image and an action label.
  • the parameters of the behavior recognizer are learned. Specifically, the recognized action label and the input action label are compared with each video composed of the adjusted images, and the parameters of the action recognizer are updated based on the correctness of the recognition result. Learning is performed by repeating this operation a certain number of times.
  • each part of the learning device 10 will be described in detail.
  • FIG. 1 is a block diagram showing a hardware configuration of the behavior recognition device 50 of the present embodiment.
  • the input unit 15 receives an input of a video that is a time series of images in which a desired subject is captured.
  • the direction alignment unit 56 estimates the action direction of the subject by using the object detection and the calculation result of the optical flow, so that the estimated action direction is unified with the reference direction. At least one of rotation and inversion is performed on the input video, and an adjusted image is acquired.
  • step S108 the CPU 11, as the action recognition unit 26, recognizes the action label for each image after the action direction alignment consisting of the adjusted images based on the parameters of the action recognizer stored in the storage device 30. ..
  • step S126 the CPU 11 performs at least one of rotation and inversion for each frame image of the video so that the action direction estimated for each frame image is unified to the reference direction as the direction alignment unit 56. , Get the adjusted image.
  • the action recognition device when the image in which the desired subject is captured is input, rotates and inverts the image according to the action direction of the desired subject in the image. Do at least one of the above to get the adjusted image.
  • the behavior recognition device receives the adjusted image as an input and recognizes the behavior of a desired subject. As a result, the behavior of the subject can be recognized with high accuracy.
  • the dominant moving direction is calculated from the object area for each frame image.
  • a movement direction histogram is generated from the angle of the motion vector of the optical flow included in the object area of each frame image, and the median value thereof is set as the action direction of the frame.
  • the value of each bin b of the movement direction histogram H i at the i-th frame image H i (b), each bin of the moving direction histogram H of the entire image value H (b) Is calculated by the above formula (3), and the median value is taken as the action direction of the entire image.
  • the direction alignment unit 56 calculates one action direction from the entire image, performs at least one of rotation and inversion for all frame images, and acquires an adjusted image.
  • the rotation is performed on all the frame images, the rotation is performed at the same angle of rotation, and when the inversion is performed, the inversion is performed on the all frame images.
  • the action recognition unit 58 recognizes the action label for the image after the action direction alignment composed of the adjusted images, based on the parameters of the action recognizer stored in the storage device 30.
  • the learned parameters in Kinetics Dataset (Reference 6) published by the authors were used. Learning was performed only for SVM, and the RBF kernel was used as the SVM kernel. The object area was given manually, and it was assumed that it was estimated by object detection or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

被写体の行動を精度良く認識する。　方向整列部２４が、画像内における所望の被写体の行動方向に応じて画像に対して回転及び反転の少なくとも一方を行い、調整画像を取得する。行動認識部２６が、調整画像を入力とし、所望の被写体の行動を認識する。

Description

行動認識装置、行動認識方法、及び行動認識プログラム
　本開示の技術は、行動認識装置、行動認識方法、及び行動認識プログラムに関する。
　入力された映像中の人がどのような行動を取っているかを機械で認識する行動認識技術は、監視カメラやスポーツ映像の解析、ロボットの人間行動理解等、幅広い産業応用を持つ。
　公知の技術の中でも精度の高いものは、Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ（ＣＮＮ）等の深層学習を活用し、高い認識精度を実現している（図１３参照）。例えば、非特許文献１ではまず、入力映像からフレーム画像群と、それらに対応する動き特徴であるオプティカルフロー群を抽出する。そして、これらに対し時空間フィルタを畳み込む３Ｄ　ＣＮＮを用いることで、行動認識器の学習及び行動認識を行っている。
J. Carreira and A. Zisserman, "Quo vadis, action recognition? a new model and the kinetics dataset," in Proc. on Int. Conf. on Computer Vision and Pattern Recognition, 2018.
　しかしながら、非特許文献１のようなＣＮＮを活用した手法で高い性能を発揮するためには、一般に大量の学習データが必要となる。これは、図１４に示すように、一つの行動種別であっても映像上で多様な見えパターンを持つことが一因であると考えられる。例えば、「車で右折」という行動に限った場合でも、映像上の下から右に向かって曲がる場合や、左から下に曲がる場合等、行動方向の多様性により無数の見えのパターンがある。このような様々な見えのパターンに頑健な行動認識器を構築するために、公知の技術では大量の学習データが必要となると考えられる。
　一方、行動認識の学習データ構築には、行動の種別、発生時刻、及び位置を映像に付与する必要があり、その作業の人的コストは高く、十分な学習データを準備することは容易ではない。また、監視カメラ映像等、一般公開されている学習データ量が少ない場合、公開データの活用も見込めない。以上のように、高精度な行動認識を実現するためには、様々な見えのパターンを含む大量の学習データが必要となるが、そのような学習データの構築は容易ではないという問題がある。
　開示の技術は、上記の点に鑑みてなされたものであり、被写体の行動を精度良く認識することができる行動認識装置、行動認識方法、及び行動認識プログラムを提供することを目的とする。
　本開示の第１態様は、行動認識装置であって、所望の被写体が撮像された画像が入力されると、前記所望の被写体の行動を認識する行動認識装置であって、前記画像内における前記所望の被写体の行動方向又は前記所望の被写体とは別の被写体の行動方向に応じて前記画像に対して回転及び反転の少なくとも一方を行い、調整画像を取得する方向整列部と、前記調整画像を入力とし、前記所望の被写体の行動を認識する行動認識部と、を含んで構成される。
　本開示の第２態様は、行動認識方法であって、所望の被写体が撮像された画像が入力されると、前記所望の被写体の行動を認識する行動認識方法であって、方向整列部が、前記画像内における前記所望の被写体の行動方向又は前記所望の被写体とは別の被写体の行動方向に応じて前記画像に対して回転及び反転の少なくとも一方を行い、調整画像を取得し、行動認識部が、前記調整画像を入力とし、前記所望の被写体の行動を認識する。
　本開示の第３態様は、行動認識プログラムであって、所望の被写体が撮像された画像が入力されると、前記所望の被写体の行動を認識するための行動認識プログラムであって、前記画像内における前記所望の被写体の行動方向又は前記所望の被写体とは別の被写体の行動方向に応じて前記画像に対して回転及び反転の少なくとも一方を行い、調整画像を取得し、前記調整画像を入力とし、前記所望の被写体の行動を認識することをコンピュータに実行させるためのプログラムである。
　開示の技術によれば、被写体の行動を精度良く認識することができる。
本実施形態に係る行動認識及び学習の処理の概要を示す図である。 第１実施形態及び第２実施形態に係る学習装置及び行動認識装置として機能するコンピュータの一例の概略ブロック図である。 第１実施形態及び第２実施形態に係る学習装置の構成を示すブロック図である。 行動方向の整列方法を説明するための図である。 第１実施形態及び第２実施形態に係る行動認識装置の構成を示すブロック図である。 第１実施形態及び第２実施形態に係る学習装置の学習処理ルーチンを示すフローチャートである。 第１実施形態及び第２実施形態に係る行動認識装置の行動認識処理ルーチンを示すフローチャートである。 行動方向の整列方法を説明するための図である。 実験例における行動認識の処理の概要を示す図である。 実験例における認識結果を示す図である。 実験例における行動方向の整列前の画像及びオプティカルフローを示す図である。 実験例における行動方向の整列後の画像及びオプティカルフローを示す図である。 従来の行動認識の一例を示す図である。 入力画像の行動方向の一例を示す図である。
　以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
＜本実施形態の概要＞
　本実施形態では、見えのパターンの多様性の影響を抑制するために、行動方向をある一つの方向に整列させる手段を備える。具体的には、映像中の人もしくは人が操作している物体について、前後のフレーム画像からその物体の画像上での動きの方向（行動方向）を算出する。そして、行動方向が事前に定められた基準方向（例えば左から右）になるよう、学習及び認識に用いられる画像を回転させる。学習及び認識には、フレーム画像のみを用いてもよいし、画像間の動きを画像で表現したオプティカルフロー画像をさらに用いてもよい（図１参照）。つまり、本実施形態では、１つのニューラルネットワークが学習すべきデータの多様性を減らすことで推定精度の向上を狙う。例えば図１４の場合、人間が各画像を基準として様々な方向に向かって荷物を運んでいる。このような画像群をそのまま学習に用いると、どの方向に向かっていても荷物を運んでいると推定するよう学習される必要がある。つまり、各方向毎に十分な学習用画像がなければ学習が十分に収束せず、結果として精度が低いモデルとなってしまう場合がある。本実施形態では、学習用画像を回転若しくは/及び反転し、”一定の方向に向かっている”学習用画像群を生成することで、ニューラルネットワークが学習すべきデータの多様性を減らしつつ、十分な数の学習用画像の生成を可能とする。
　このとき、行動ラベルが、行動方向の経時変化を含む行動（例えば右左折）を表している場合、フレーム画像を１枚ずつ回転させた場合にその行動の特徴を消失させてしまう（例えば右左折が直進になる）恐れがある。このような場合、映像の回転はフレーム画像毎ではなく、映像全体で画一的に回転させる方が望ましいと考えられる。
　そこで、以下の実施形態では、行動ラベルが示す行動に応じて、回転をフレーム画像毎に施す実施形態と、回転を映像全体に施す実施形態とに分けて説明する。これは、行動方向の経時変化の重要性が、人が操作する物体の種別に依存する場合に有効である。例えば、監視カメラ映像解析では、違法行為を監視するため、人の行動を表す行動ラベルとして、「物を運ぶ」「荷物を積み下ろしする」といったような行動方向の経時変化を含まない行動を認識する必要があることが多い。一方、車の行動を表す行動ラベルについては「右左折する」といった行動方向の経時変化を含む行動を認識する必要があることが多い。
　なお、本実施形態では、行動とは、単一の運動である行為、及び複数の運動を含む活動の双方を含む概念である。
［第１実施形態］
＜第１実施形態に係る学習装置の構成＞
　図２は、本実施形態の学習装置１０のハードウェア構成を示すブロック図である。
　図２に示すように、学習装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。
　ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、ニューラルネットワークを学習するための学習プログラムが格納されている。学習プログラムは、１つのプログラムであっても良いし、複数のプログラム又はモジュールで構成されるプログラム群であっても良い。
　ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
　入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。
　入力部１５は、所望の被写体が時系列に撮像された複数の画像からなる画像群である映像と、当該所望の被写体の行動の種別を示す行動ラベルとの組の入力を受け付ける。
　表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。
　通信インタフェース１７は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。
　次に、学習装置１０の機能構成について説明する。図３は、学習装置１０の機能構成の例を示すブロック図である。
　学習装置１０は、機能的には、図３に示すように、物体検出部２０、オプティカルフロー算出部２２、方向整列部２４、行動認識部２６、及び最適化部２８を備えている。
　物体検出部２０は、入力された映像の各フレーム画像について、被写体の種別と当該被写体を表す物体領域を推定する。
　オプティカルフロー算出部２２は、フレーム画像間での各画素の動きベクトルであるオプティカルフローを算出する。物体検出部２０及びオプティカルフロー算出部２２の各処理は、並行して実行されるようにしてもよい。
　方向整列部２４は、入力された映像の各フレーム画像において、物体検出とオプティカルフローの算出結果を用いて、物体領域における行動方向を推定し、各フレーム画像において推定された行動方向が、基準方向に統一されるように、入力された映像に対して回転及び反転の少なくとも一方を行い、調整画像を取得する。
　行動認識部２６は、記憶装置３０に格納された行動認識器のパラメータに基づき、調整画像からなる行動方向整列後の映像に対し、所望の被写体の行動ラベルを認識する。
　最適化部２８は、所望の被写体が撮像された各フレーム画像において、所望の被写体の行動方向が基準方向となるよう回転及び反転の少なくとも一方が施されて取得された各調整画像と、行動ラベルとを関連付けることで、行動認識器のパラメータを学習する。具体的には、各調整画像からなる映像に対して認識された行動ラベルと入力された行動ラベルを比較し、認識結果の正否に基づき行動認識器のパラメータを更新する。この操作を一定回数繰り返すことで学習を行う。以降、学習装置１０の各部について詳説する。
　物体検出部２０は、所望の被写体（例えば、人、又は人が操作する物体）の種類と位置を検出する。物体検出方法には有為なものを用いることができる。例えば、参考文献１に記されるような物体検出手法を各フレーム画像に施すことで実施することができる。また、１フレーム目に対する物体検出結果に、参考文献２に記されるような物体追跡手法を用いることで、２フレーム目以降の物体種別及び位置を推定してもよい。
［参考文献１］K. He, G. Gkioxari, P. Dollar and R.Grishick, “Mask R-CNN,” in Proc. IEEE Int Conf. on Computer Vision, 2017.
［参考文献２］A. Bewley, Z. Ge, L. Ott, F. Ramos, B. Upcroft, “Simple online and realtime tracking,” in Proc. IEEE Int. Conf. on Image Processing, 2017.
　オプティカルフロー算出部２２は、各フレーム画像の各画素もしくは特徴的な点について、隣接フレーム画像間での物体の動きベクトルを算出する。オプティカルフローの算出には参考文献３等、有為な手法を用いることができる。
［参考文献３］C. Zach, T. Pock,and H. Bischof, "A duality based approach for realtime TV-L1 optical flow," Pattern Recognition, Vol. 4713, pp. 214--223, 2007. インターネット<URL: https://pequan.lip6.fr/~bereziat/cours/master/vision/papers/zach07.pdf>
　方向整列部２４は、物体検出結果とオプティカルフロー算出結果に基づき、所望の被写体の行動方向が基準方向となるように映像に対して回転及び反転の少なくとも一方を行い、調整画像を取得する。
　映像に映る被写体の行動方向を推定するため、まず、各フレーム画像に対し、所望の被写体を表す物体領域から支配的な移動方向を算出する。具体的には、各フレーム画像の物体領域に含まれるオプティカルフローの動きベクトルの角度から移動方向ヒストグラムを生成し、その中央値をそのフレーム画像の行動方向とする。このとき、ｉ番目のフレームにおける移動方向ヒストグラムＨｉの各ビンｂの値Ｈｉ（ｂ）は下記式で定義される。
Figure JPOXMLDOC01-appb-M000001
                                                        （１）
　ここで、ｒはフレーム画像中の所望の被写体を表す物体領域ｑ（本実施例では人領域もしくは車領域）に含まれる画素の位置、Ｏｉ ｒはｉフレーム目のオプティカルフロー画像における位置ｒの動きベクトルの角度、Ｑ（Ｏｉ ｒ，ｂ）はある角度Ｏｉ ｒがビンｂに属する場合に１となり、それ以外の場合に０となる関数、Ｂはヒストグラムのビン数である。このヒストグラムの代表値（例えば、中央値）を行動方向とすることで、背景や手足の動きといったノイズに対し頑健に行動方向を推定することができる。
　次に、先に求めた行動方向に基づき各フレーム画像を回転させて調整画像を取得する。以下では、行動方向を右向き（０度）である基準方向に整列する場合について記す。この場合、行動方向の角度分だけ、画像を時計回りに回転させればよい。このとき、映像の天地が反転する場合（０度にそろえる場合は行動方向が９０度から２７０度の場合）、映像の見えが大きく変化してしまい行動認識に悪影響を及ぼすおそれがある。そこで、事前に画像と行動方向の値を縦軸中心に反転させた後に整列させることで、天地の反転を防ぐ。つまり行動方向をθとすると回転角θ’は下記式で表される。
Figure JPOXMLDOC01-appb-M000002
                                                 （２）
　ここで、行動方向θが、予め定められた反転角度範囲（０度以上９０度未満、又は２７０度より大きく３６０度以下）である場合は、θ’は反転後に施す回転角となる。このとき、行動認識器の入力にオプティカルフローが必要な場合は、オプティカルフローも同様に回転させる。
　本実施形態では、所望の被写体の行動を表す行動ラベルとして、行動方向の経時変化を含まない行動を認識するため、フレーム毎にフレーム画像の回転又は反転を行って調整画像を取得する（図４参照）。本実施形態における行動ラベルは、行動方向の経時変化を含まない行動を表し、例えば、「荷物を運ぶ」、「歩く」、「走る」などである。
　行動認識部２６は、行動方向が整列された調整画像からなる映像から、記憶装置３０に格納された行動認識器のモデル及びパラメータ情報に基づき、映像の被写体の行動を表す行動ラベルを認識する。行動認識器は、上記非特許文献１に記載されている方法等、有為なものを用いることができる。
　最適化部２８は、入力された行動ラベルと、行動認識部２６で認識された行動ラベルに基づき行動認識器のパラメータを最適化し、その結果を記憶装置３０に格納することで、行動認識器の学習を行なう。このとき、パラメータ最適化のアルゴリズムには、非特許文献１に記載されている方法等、有為なアルゴリズムを用いることができる。
＜第１実施形態に係る行動認識装置の構成＞
　上記図１は、本実施形態の行動認識装置５０のハードウェア構成を示すブロック図である。
　上記図１に示すように、行動認識装置５０は、学習装置１０と同様に、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６及び通信インタフェース（Ｉ／Ｆ）１７を有する。本実施形態では、ＲＯＭ１２又はストレージ１４には、映像を行動認識するための行動認識プログラムが格納されている。
　入力部１５は、所望の被写体が撮像された画像の時系列である映像の入力を受け付ける。
　次に、行動認識装置５０の機能構成について説明する。図５は、行動認識装置５０の機能構成の例を示すブロック図である。
　行動認識装置５０は、機能的には、図５に示すように、物体検出部５２、オプティカルフロー算出部５４、方向整列部５６、及び行動認識部５８を備えている。
　物体検出部５２は、入力された映像の各フレーム画像について、物体検出部２０と同様に、被写体の種別と当該被写体を表す物体領域を推定する。
　オプティカルフロー算出部５４は、オプティカルフロー算出部２２と同様に、フレーム画像間での各画素の動きベクトルであるオプティカルフローを算出する。物体検出部５２及びオプティカルフロー算出部５４の各処理は、並行して実行されるようにしてもよい。
　方向整列部５６は、方向整列部２４と同様に、物体検出とオプティカルフローの算出結果を用いて、被写体の行動方向を推定し、推定された行動方向が、基準方向に統一されるように、入力された映像に対して回転及び反転の少なくとも一方を行い、調整画像を取得する。
　行動認識部５８は、記憶装置３０に格納された行動認識器のパラメータに基づき、調整画像からなる行動方向整列後の映像に対し、被写体の行動を表す行動ラベルを認識する。
＜第１実施形態に係る学習装置の作用＞
　次に、学習装置１０の作用について説明する。図６は、学習装置１０による学習処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から学習プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、学習処理が行なわれる。また、学習装置１０に、所望の被写体が撮像された映像と行動ラベルとの組が複数入力される。
　ステップＳ１００において、ＣＰＵ１１は、物体検出部２０として、各映像の各フレーム画像について被写体の種別と当該被写体を表す物体領域を推定する。
　ステップＳ１０２では、ＣＰＵ１１は、オプティカルフロー算出部２２として、各映像について、フレーム画像間での各画素の動きベクトルであるオプティカルフローを算出する。
　ステップＳ１０４では、ＣＰＵ１１は、方向整列部２４として、各映像について、上記ステップＳ１００の物体検出の結果と上記ステップＳ１０２のオプティカルフローの算出結果を用いて、フレーム画像毎に被写体の行動方向を推定する。
　ステップＳ１０６では、ＣＰＵ１１は、方向整列部２４として、各映像について、フレーム画像毎に推定された行動方向が、基準方向に統一されるように、当該映像の各フレーム画像に対して回転及び反転の少なくとも一方を行い、調整画像を取得する。
　ステップＳ１０８では、ＣＰＵ１１は、行動認識部２６として、各映像について、記憶装置３０に格納された行動認識器のパラメータに基づき、調整画像からなる行動方向整列後の映像に対し、行動ラベルを認識する。
　ステップＳ１１０では、ＣＰＵ１１は、最適化部２８として、各映像について、認識された行動ラベルと入力された行動ラベルを比較し、認識結果の正否に基づき、記憶装置３０に格納された行動認識器のパラメータを更新する。
　ステップＳ１１２では、ＣＰＵ１１は、繰り返しを終了するか否かを判定する。繰り返しを終了する場合には、学習処理を終了する。一方、繰り返しを終了しない場合には、ステップＳ１０８へ戻る。
＜第１実施形態に係る行動認識装置の作用＞
　次に、行動認識装置５０の作用について説明する。
　図７は、行動認識装置５０による行動認識処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から行動認識プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、行動認識処理が行なわれる。また、行動認識装置５０に、所望の被写体が撮像された映像が入力される。
　ステップＳ１２０で、ＣＰＵ１１は、物体検出部５２として、映像の各フレーム画像について被写体の種別と当該被写体を表す物体領域を推定する。
　ステップＳ１２２では、ＣＰＵ１１は、オプティカルフロー算出部５４として、フレーム画像間での各画素の動きベクトルであるオプティカルフローを算出する。
　ステップＳ１２４では、ＣＰＵ１１は、方向整列部５６として、上記ステップＳ１２０の物体検出の結果と上記ステップＳ１２２のオプティカルフローの算出結果を用いて、フレーム画像毎に被写体の行動方向を推定する。
　ステップＳ１２６では、ＣＰＵ１１は、方向整列部５６として、フレーム画像毎に推定された行動方向が、基準方向に統一されるように、当該映像の各フレーム画像に対して回転及び反転の少なくとも一方を行い、調整画像を取得する。
　ステップＳ１２８では、ＣＰＵ１１は、行動認識部５８として、記憶装置３０に格納された行動認識器のパラメータに基づき、調整画像からなる行動方向整列後の映像に対し、行動ラベルを認識し、表示部１６により表示して、行動認識処理を終了する。
　以上説明したように、第１実施形態に係る行動認識装置は、所望の被写体が撮像された画像が入力されると、画像内における所望の被写体の行動方向に応じて画像に対して回転及び反転の少なくとも一方を行い、調整画像を取得する。行動認識装置は、調整画像を入力とし、所望の被写体の行動を認識する。これにより、被写体の行動を精度良く認識することができる。
　また、第１実施形態に係る学習装置は、同一ラベルの行動が、行動方向の多様性により、画像上での写像パターンを多く持つ行動であっても、少数の学習データで高精度に行動認識が可能な行動認識器を学習することができる。
　また、学習及び認識時に行動方向が統一されるよう、入力映像の行動方向を整列させることにより、行動方向の多様性による見えパターンの増加を抑制でき、少数の学習データでも高精度な行動認識器の学習が可能となる。
［第２実施形態］
　次に、第２実施形態に係る学習装置及び行動認識装置について説明する。なお、第２実施形態に係る学習装置及び行動認識装置は、第１実施形態と同様の構成であるため、同一符号を付して説明を省略する。
＜第２実施形態の概要＞
　「右左折」等、行動ラベルが、行動方向の経時変化を含む行動を示す場合、フレーム画像ごとに回転させることで、行動認識精度が低下してしまうと考えられる。そこで、本実施形態では、図８に示すように、映像全体から一つの行動方向を算出し、全フレーム画像を同一の回転角で回転させることが望ましいと考えられる。また、行動方向が映像中で大きく変化することを鑑みると、行動方向は映像の一部から推定することが望ましいと考えられる。例えば、映像の前半分から行動方向を算出する。その場合には、映像全体における移動方向ヒストグラムＨ（ｂ）の各ビンの値Ｈ（ｂ）を下記式により算出する。
Figure JPOXMLDOC01-appb-M000003
                                                 （３）
　ここで、Ｉは映像のフレーム数を示す。このヒストグラムの中央値を映像全体の行動方向とし、上記第１実施形態と同様に各フレーム画像を回転させることで、行動方向を整列させる。
＜第２実施形態の学習装置の構成＞
　上記図１に示すように、本実施形態の学習装置１０のハードウェア構成は、第１実施形態の学習装置１０と同様である。
　次に、学習装置１０の機能構成について説明する。
　学習装置１０の方向整列部２４は、物体検出結果とオプティカルフロー算出結果に基づき、所望の被写体の行動方向が基準方向となるように映像に対して回転及び反転の少なくとも一方を行い、調整画像を取得する。
　具体的には、映像に映る被写体の行動方向を推定するため、まず、各フレーム画像に対し、物体領域から支配的な移動方向を算出する。例えば、各フレーム画像の物体領域に含まれるオプティカルフローの動きベクトルの角度から移動方向ヒストグラムを生成し、その中央値をそのフレームの行動方向とする。そして、映像の前半分に含まれる、ｉ番目のフレーム画像における移動方向ヒストグラムＨｉの各ビンｂの値Ｈｉ（ｂ）から、映像全体における移動方向ヒストグラムＨの各ビンの値Ｈ（ｂ）を上記式（３）により算出し、中央値を、映像全体の行動方向とする。
　そして、本実施形態では、人の行動を表す行動ラベルとして、行動方向の経時変化を含む行動を認識するため、映像毎にフレーム画像の回転又は反転を行う。本実施形態における行動ラベルは、例えば「前進」、「右折」、「左折」、「後退」、「Ｕターン」などである。
　上述したように、方向整列部２４では、映像全体から一つの行動方向を算出し、全フレーム画像に対して回転及び反転の少なくとも一方を行い、調整画像を取得する。ここで、全フレーム画像に対して回転を行うとき、同一の回転角で回転させ、反転を行うとき、全フレーム画像に対して反転を行う。
　行動認識部２６は、調整画像からなる行動方向整列後の映像から、記憶装置３０に格納された行動認識器のモデル及びパラメータ情報に基づき、映像の被写体の行動を表す行動ラベルを認識する。このとき、方向整列部２４で映像が反転されていて、且つ、認識される行動ラベルが、映像が反転された場合に行動ラベルが変化する行動（右左折等）を表している場合に、反転後の映像に対応するよう行動ラベルも変換する。
　最適化部２８は、入力された行動ラベルと、行動認識部２６で認識された行動ラベルに基づき行動認識器のパラメータを最適化し、その結果を記憶装置３０に格納することで、行動認識器の学習を行なう。このとき、行動認識部２６で行動ラベルが反転後の映像に対応付くように変更されていた場合は、行動ラベルも併せて反転後に対応するものに変換する。
　なお、学習装置１０の他の構成及び作用は、第１実施形態と同様であるため、説明を省略する。
＜第２実施形態の行動認識装置の構成＞
　上記図１に示すように、本実施形態の行動認識装置５０のハードウェア構成は、第１実施形態の行動認識装置５０と同様である。
　次に、行動認識装置５０の機能構成について説明する。
　行動認識装置５０の方向整列部５６は、方向整列部２４と同様に、物体検出とオプティカルフローの算出結果を用いて、所望の被写体の行動方向を推定し、推定された行動方向が、基準方向に統一されるように、入力された映像に対して回転及び反転の少なくとも一方を行い、調整画像を取得する。
　このとき、方向整列部５６は、映像全体から一つの行動方向を算出し、全フレーム画像に対して回転及び反転の少なくとも一方を行い、調整画像を取得する。ここで、全フレーム画像に対して回転を行うとき、同一の回転角で回転させ、反転を行うとき、全フレーム画像に対して反転を行う。
　行動認識部５８は、記憶装置３０に格納された行動認識器のパラメータに基づき、調整画像からなる行動方向整列後の映像に対し、行動ラベルを認識する。
　なお、行動認識装置５０の他の構成及び作用は、第１実施形態と同様であるため、説明を省略する。
　以上説明したように、第２実施形態に係る行動認識装置は、所望の被写体が撮像された映像が入力されると、各フレーム画像内における所望の被写体の行動方向に応じて、映像全体に対して回転及び反転の少なくとも一方を行い、調整画像を取得する。行動認識装置は、調整画像からなる映像を入力とし、所望の被写体の行動を認識する。これにより、被写体の行動を精度良く認識することができる。
［実験例］
　上記第２実施形態で説明した行動認識装置を用いた実験例について説明する。実験例では、図９に示すように、オプティカルフローの算出に、ＴＶ－ＬＩアルゴリズム（参考文献４）を使用した。行動認識器として、Ｉ３Ｄ（参考文献５）とＳＶＭを使用し、可視光画像とオプティカルフローを入力とした。
［参考文献４］Zach, C., Pock, T. and Bischof, H.: A Duality Based Approach for Realtime TV-L1 Optical Flow, Pattern Recognition, Vol. 4713, pp. 214{223 (2007).
［参考文献５］Carreira, J. and Zisserman, A.: Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset, IEEE Conf. on Computer Vision and Pattern Recognition(2017).
　Ｉ３Ｄのネットワークパラメータは著者らが公開しているＫｉｎｅｔｉｃｓ　Ｄａｔａｓｅｔ（参考文献６）での学習済みパラメータを用いた。学習はＳＶＭのみに対して行ない、ＳＶＭのカーネルにはＲＢＦカーネルを用いた。物体領域については人手で与え、それを、物体検出等で推定されたものと仮定した。
［参考文献６］Kay, W., Carreira, J., Simonyan, K., Zhang, B., Hillier, C., Vijayanarasimhan, S., Viola, F., Green, T., Back, T., Natsev, P., Suleyman, M. and Zisserman, A.: The Kinetics Human Action Video Dataset, arXiv preprint arXiv:1705.06950 (2017).
　ＡｃｔＥＶデータセット（参考文献７）のうち、車の右折、左折、Ｕターンのデータのみ（約３００映像）で実験を行った。
［参考文献７］Awad, G., Butt, A., Curtis, K., Lee, Y., Fiscus, J., Godil, A., Joy, D., Delgado, A., Smeaton, A. F., Graham, Y., Kraaij, W., Qunot, G., Magalhaes, J., Semedo, D. and Blasi, S.: TRECVID 2018: Benchmarking Video Activity Detection, Video Captioning and Matching, Video Story-telling Linking and Video Search, TRECVID 2018 (2018).
　評価指標は行動ラベルの正解率とし、５分割交差検定により評価した。表１に、行動方向の整列の有無による行動認識精度の比較結果を示す。参考文献５に倣い、Ｉ３Ｄでの特徴抽出は、ＲＧＢ　映像のみ（ＲＧＢ－Ｉ３Ｄ）、オプティカルフローのみ（Ｆｌｏｗ－Ｉ３Ｄ）、ＲＧＢ映像とオプティカルフロー（Ｔｗｏ－Ｓｔｒｅａｍ－Ｉ３Ｄ）を入力した場合について評価した。
Figure JPOXMLDOC01-appb-T000004
 
　表１から、Ｉ３Ｄへの入力に関わらず、行動方向の整列を加えることで、認識精度が向上していることが分かる。特に、ＲＧＢ映像とオプティカルフロー（Ｔｗｏ－Ｓｔｒｅａｍ－Ｉ３Ｄ）を入力した場合では、移動方向の整列を加えることで、正解率が約１４ポイント向上することを確認した（図１０参照）。このように、オプティカルフローが入力に含まれる場合、行動方向の整列を加えることで大きな精度向上が見られた。これは、動き特徴であるオプティカルフローが、行動方向の多様性の影響をＲＧＢ映像に比べより受けやすかったためであると考えられる。また、図１１に行動方向の整列前のフレーム画像と可視化したオプティカルフローの例を示す。図１２に行動方向の整列後のフレーム画像と可視化したオプティカルフローの例を示す。図１１、図１２の上段がフレーム画像を示し、下段が、オプティカルフローと、動きベクトルと色の対応とを示している。行動方向整列前に比べ行動方向整列後の方がオプティカルフローの動きベクトル（下段の色）が似通ったものになっていることが分かる。すなわち、映像中の車の行動方向が、一定の向きになるよう整列されていることが分かる。以上の結果から、行動方向の整列が、行動認識の精度向上に寄与することが分かった。
　なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
　例えば、上記第１実施形態では、フレーム画像毎に、所望の被写体の行動方向が基準方向となるように回転及び反転の少なくとも一方を行い、調整画像を取得し、調整画像から所望の被写体の行動ラベルを認識する場合を例に説明したが、これに限定されるものではない。例えば、所望の被写体の行動方向とは別の被写体の行動方向が基準方向となるように回転及び反転の少なくとも一方を行い、調整画像を取得し、調整画像から、所望の被写体の行動ラベルを認識するようにしてもよい。
　また、上記第２実施形態では、映像全体から所望の被写体の一つの行動方向を算出し、全フレーム画像に対して回転及び反転の少なくとも一方を行い、調整画像を取得し、調整画像から所望の被写体の行動ラベルを認識する場合を例に説明したが、これに限定されるものではない。例えば、映像全体から所望の被写体とは別の被写体の一つの行動方向を算出し、全フレーム画像に対して回転及び反転の少なくとも一方を行い、調整画像を取得し、調整画像から、所望の被写体の行動ラベルを認識するようにしてもよい。
　また、上記第２実施形態では、全フレーム画像に対して同一の回転角で回転させる場合を例に説明したが、これに限定されるものではなく、全フレーム画像に対してほぼ同一の回転角で回転させるようにしてもよい。
　上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、学習処理及び行動認識処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　また、上記各実施形態では、学習処理プログラム及び行動認識処理プログラムがストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　所望の被写体が撮像された画像が入力されると、前記所望の被写体の行動を認識する行動認識装置であって、
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　前記画像内における前記所望の被写体の行動方向又は前記所望の被写体とは別の被写体の行動方向に応じて前記画像に対して回転及び反転の少なくとも一方を行い、調整画像を取得し、
　前記調整画像を入力とし、前記所望の被写体の行動を認識する、
行動認識装置。
　（付記項２）
　所望の被写体が撮像された画像が入力されると、前記所望の被写体の行動を認識する行動認識処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
　前記行動認識処理は、
　前記画像内における前記所望の被写体の行動方向又は前記所望の被写体とは別の被写体の行動方向に応じて前記画像に対して回転及び反転の少なくとも一方を行い、調整画像を取得し、
　前記調整画像を入力とし、前記所望の被写体の行動を認識する、
　非一時的記憶媒体。
１０ 学習装置
１４ ストレージ
１５ 入力部
１６ 表示部
１７ 通信インタフェース
１９ バス
２０ 物体検出部
２２ オプティカルフロー算出部
２４ 方向整列部
２６ 行動認識部
２８ 最適化部
３０ 記憶装置
５０ 行動認識装置
５２ 物体検出部
５４ オプティカルフロー算出部
５６ 方向整列部
５８ 行動認識部

Claims (8)

  1. 　所望の被写体が撮像された画像が入力されると、前記所望の被写体の行動を認識する行動認識装置であって、
    　前記画像内における前記所望の被写体の行動方向又は前記所望の被写体とは別の被写体の行動方向に応じて前記画像に対して回転及び反転の少なくとも一方を行い、調整画像を取得する方向整列部と、
    　前記調整画像を入力とし、前記所望の被写体の行動を認識する行動認識部と、
    　を含む行動認識装置。
  2. 　認識する前記所望の被写体の行動が、行動方向の経時変化を含む行動であって、
    　入力される画像が、時系列に並んだ複数の画像であって、
    　前記方向整列部は、前記複数の画像からなる画像群毎にほぼ画一的に回転及び反転の少なくとも一方を行い、前記調整画像の各々を取得し、
    　前記行動認識部は、前記複数の画像に対応する前記調整画像の各々を入力とし、前記所望の被写体の行動を認識する請求項１記載の行動認識装置。
  3. 　認識する前記所望の被写体の行動が、行動方向の経時変化を含まない行動であって、
    　入力される画像が、時系列に並んだ複数の画像であって、
    　前記方向整列部は、前記複数の画像に含まれる画像毎に回転及び反転の少なくとも一方を行い、前記調整画像の各々を取得し、
    　前記行動認識部は、前記複数の画像に対応する前記調整画像の各々を入力とし、前記所望の被写体の行動を認識する請求項１記載の行動認識装置。
  4. 　前記行動認識部は、
    　前記所望の被写体が撮像された第二の画像と第三の画像において、前記第二の画像の前記所望の被写体の行動方向又は前記所望の被写体とは別の被写体の行動方向と、前記第三の画像の前記所望の被写体の行動方向又は前記所望の被写体とは別の被写体の行動方向と、が同一の方向となるよう回転及び反転の少なくとも一方が施された画像を関連付けることで得られた処理に基づき前記所望の被写体の行動を認識する
    　請求項１～請求項３の何れか１項記載の行動認識装置。
  5. 　前記方向整列部は、前記画像内における前記所望の被写体を表す領域での、オプティカルフローの動きベクトルの角度から、前記行動方向を算出し、前記行動方向が、基準方向となるように、前記画像に対して回転及び反転の少なくとも一方を行い、前記調整画像を取得する請求項１～請求項４の何れか１項記載の行動認識装置。
  6. 　前記方向整列部は、前記算出した前記行動方向を、前記基準方向とするために必要な回転角度が、予め定められた反転角度範囲である場合に、前記画像に対して反転を行った上で、前記行動方向が、基準方向となるように、前記反転した前記画像に対して回転を行い、前記調整画像を取得する請求項５記載の行動認識装置。
  7. 　所望の被写体が撮像された画像が入力されると、前記所望の被写体の行動を認識する行動認識方法であって、
    　方向整列部が、前記画像内における前記所望の被写体の行動方向又は前記所望の被写体とは別の被写体の行動方向に応じて前記画像に対して回転及び反転の少なくとも一方を行い、調整画像を取得し、
    　行動認識部が、前記調整画像を入力とし、前記所望の被写体の行動を認識する
    　行動認識方法。
  8. 　所望の被写体が撮像された画像が入力されると、前記所望の被写体の行動を認識するための行動認識プログラムであって、
    　前記画像内における前記所望の被写体の行動方向又は前記所望の被写体とは別の被写体の行動方向に応じて前記画像に対して回転及び反転の少なくとも一方を行い、調整画像を取得し、
    　前記調整画像を入力とし、前記所望の被写体の行動を認識する
    　ことをコンピュータに実行させるための行動認識プログラム。
PCT/JP2020/027113 2019-07-12 2020-07-10 行動認識装置、行動認識方法、及び行動認識プログラム WO2021010342A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/626,073 US20220277592A1 (en) 2019-07-12 2020-07-10 Action recognition device, action recognition method, and action recognition program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019130055A JP7207210B2 (ja) 2019-07-12 2019-07-12 行動認識装置、行動認識方法、及び行動認識プログラム
JP2019-130055 2019-07-12

Publications (1)

Publication Number Publication Date
WO2021010342A1 true WO2021010342A1 (ja) 2021-01-21

Family

ID=74209902

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027113 WO2021010342A1 (ja) 2019-07-12 2020-07-10 行動認識装置、行動認識方法、及び行動認識プログラム

Country Status (3)

Country Link
US (1) US20220277592A1 (ja)
JP (1) JP7207210B2 (ja)
WO (1) WO2021010342A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11176682B2 (en) * 2019-11-27 2021-11-16 Nvidia Corporation Enhanced optical flow estimation using a varied scan order
US12039742B2 (en) * 2020-11-13 2024-07-16 Qualcomm Incorporated Supervised learning and occlusion masking for optical flow estimation
KR102642995B1 (ko) * 2020-12-31 2024-03-05 한국과학기술연구원 안전성이 고려된 계층적 클래스 학습을 사용하는 사람 행동 인식 시스템 및 방법
JP2022175748A (ja) * 2021-05-14 2022-11-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
WO2024127589A1 (ja) * 2022-12-15 2024-06-20 日本電信電話株式会社 映像処理装置、方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012221250A (ja) * 2011-04-08 2012-11-12 Sony Corp 画像処理装置、表示制御方法及びプログラム
US20150023607A1 (en) * 2013-07-22 2015-01-22 Lsi Corporation Gesture recognition method and apparatus based on analysis of multiple candidate boundaries
JP2018124801A (ja) * 2017-02-01 2018-08-09 株式会社エクスビジョン ジェスチャ認識装置およびジェスチャ認識プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100663483B1 (ko) * 2005-08-09 2007-01-02 삼성전자주식회사 전방향 카메라를 이용한 무인 감시 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012221250A (ja) * 2011-04-08 2012-11-12 Sony Corp 画像処理装置、表示制御方法及びプログラム
US20150023607A1 (en) * 2013-07-22 2015-01-22 Lsi Corporation Gesture recognition method and apparatus based on analysis of multiple candidate boundaries
JP2018124801A (ja) * 2017-02-01 2018-08-09 株式会社エクスビジョン ジェスチャ認識装置およびジェスチャ認識プログラム

Also Published As

Publication number Publication date
JP7207210B2 (ja) 2023-01-18
US20220277592A1 (en) 2022-09-01
JP2021015479A (ja) 2021-02-12

Similar Documents

Publication Publication Date Title
WO2021010342A1 (ja) 行動認識装置、行動認識方法、及び行動認識プログラム
Jiang et al. Scalor: Generative world models with scalable object representations
Xiong et al. Transferable two-stream convolutional neural network for human action recognition
US11543830B2 (en) Unsupervised real-to-virtual domain unification for end-to-end highway driving
US9361510B2 (en) Efficient facial landmark tracking using online shape regression method
US11386293B2 (en) Training image signal processors using intermediate loss functions
US10254845B2 (en) Hand gesture recognition for cursor control
EP3198373B1 (en) Tracking hand/body pose
CN104834922B (zh) 基于混合神经网络的手势识别方法
KR20100014092A (ko) 오브젝트 궤적에 기반한 모션 검출 시스템 및 방법
Lu et al. Learning transform-aware attentive network for object tracking
CN111080671B (zh) 一种基于深度神经网络的运动预测方法和智能终端
CN103985143A (zh) 基于字典学习的视频中判别性在线目标跟踪方法
Probst et al. Unsupervised learning of consensus maximization for 3D vision problems
Imani et al. Neural computation for robust and holographic face detection
CN107798329B (zh) 基于cnn的自适应粒子滤波目标跟踪方法
Khellal et al. Pedestrian classification and detection in far infrared images
Younesi et al. A Comprehensive Survey of Convolutions in Deep Learning: Applications, Challenges, and Future Trends
WO2021090777A1 (ja) 行動認識学習装置、行動認識学習方法、行動認識装置、及びプログラム
CN106250878B (zh) 一种结合可见光和红外图像的多模态目标跟踪方法
WO2015176502A1 (zh) 一种图像特征的估计方法和设备
Firouznia et al. Adaptive chaotic sampling particle filter to handle occlusion and fast motion in visual object tracking
CN116486151A (zh) 图像分类模型训练方法、图像分类方法、设备及存储介质
Balatkan et al. Improving regression performance on monocular 3D object detection using bin-mixing and sparse voxel data
JP7549841B2 (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20841272

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20841272

Country of ref document: EP

Kind code of ref document: A1