JP7098972B2

JP7098972B2 - Behavior recognition device, behavior recognition system, behavior recognition method and program

Info

Publication number: JP7098972B2
Application number: JP2018044782A
Authority: JP
Inventors: 隆史牧
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2018-03-12
Filing date: 2018-03-12
Publication date: 2022-07-12
Anticipated expiration: 2038-03-12
Also published as: JP2019159726A

Description

本発明は、行動認識装置、行動認識システム、行動認識方法およびプログラムに関する。 The present invention relates to a behavior recognition device, a behavior recognition system, a behavior recognition method and a program.

人の行動を分析するための手段として、画像認識技術を用いる方法が知られている。特に、画像認識と被験者に装着したセンサが検出した加速度等の情報との組み合わせによって、行動分析の精度を向上させる行動認識システムが知られている（例えば、特許文献１）。 As a means for analyzing human behavior, a method using image recognition technology is known. In particular, there is known a behavior recognition system that improves the accuracy of behavior analysis by combining image recognition with information such as acceleration detected by a sensor attached to the subject (for example, Patent Document 1).

しかし、このような従来の行動認識システムでは、人の行動を検出するための検出手段として、センサとカメラを備えて、センサの検出結果と、カメラで撮像した画像からの検出結果と、を単に補完する目的で組み合わせていた。したがって、それぞれの検出手段によって認識された人の行動の種類に齟齬が生じた場合についての扱いが明確でないという問題があった。例えば、行動検出対象の人が歩行状態、或いは静止状態にあることは、センサと画像認識のどちらでも認識することが可能である。ところが、センサは歩行状態を検出しているにも関わらず、画像認識では静止状態と認識される場合、どちらの検出結果を採用すべきかを判断するための基準を設けることが望まれていた。 However, such a conventional behavior recognition system is provided with a sensor and a camera as detection means for detecting a person's behavior, and simply obtains the detection result of the sensor and the detection result from the image captured by the camera. It was combined for the purpose of complementing. Therefore, there is a problem that it is not clear how to handle the case where the type of human behavior recognized by each detection means is inconsistent. For example, it is possible to recognize that the person to be behavior-detected is in a walking state or a stationary state by either a sensor or image recognition. However, when the sensor detects a walking state but is recognized as a stationary state by image recognition, it has been desired to provide a standard for determining which detection result should be adopted.

例えば、特許文献１には、複数のセンサで検出した情報を統合して活用しているが、どのセンサの検出結果を採用するかは、ユーザが入力したテキスト情報に基づいて決定している。そのため、ユーザが介在しない状態であっても、行動の認識精度を高めることが望まれる。 For example, in Patent Document 1, information detected by a plurality of sensors is integrated and utilized, but which sensor's detection result is adopted is determined based on text information input by a user. Therefore, it is desired to improve the recognition accuracy of the behavior even in a state where the user does not intervene.

本発明は、上記に鑑みてなされたものであり、ユーザの介在なしに、複数の検出手段の検出結果に基づく、対象物の行動の推定精度を向上させることを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to improve the estimation accuracy of the behavior of an object based on the detection results of a plurality of detection means without the intervention of a user.

前記した課題を解決し、目的を達成するために、本発明の行動認識装置は、対象物の動きを検出する複数の動き検出部と、前記動き検出部の各検出結果に基づいて、検出結果の種類に応じた固定的な信頼度を付与する信頼度算出部と、前記動き検出部の各検出結果と前記信頼度とに基づいて、前記対象物の行動を認識する行動認識部と、を備える。 In order to solve the above-mentioned problems and achieve the object, the behavior recognition device of the present invention has a plurality of motion detection units for detecting the movement of an object, and detection results based on each detection result of the motion detection unit. A reliability calculation unit that imparts a fixed reliability according to the type of the object, and an action recognition unit that recognizes the behavior of the object based on each detection result of the motion detection unit and the reliability. Be prepared.

本発明によれば、ユーザの介在なしに、対象物の行動の認識精度を向上させることができる。 According to the present invention, it is possible to improve the recognition accuracy of the behavior of an object without the intervention of a user.

図１は、実施形態に係る行動認識装置のシステム構成を示すブロック図である。FIG. 1 is a block diagram showing a system configuration of an action recognition device according to an embodiment. 図２は、行動認識装置のハードウェア構成の一例を示すハードウェアブロック図である。FIG. 2 is a hardware block diagram showing an example of the hardware configuration of the action recognition device. 図３は、行動認識装置の機能構成の一例を示す機能ブロック図である。FIG. 3 is a functional block diagram showing an example of the functional configuration of the action recognition device. 図４は、センサタグの出力に基づく分析結果の一例を示す図である。FIG. 4 is a diagram showing an example of an analysis result based on the output of the sensor tag. 図５は、カメラが撮像した画像の分析結果の一例を示す図である。FIG. 5 is a diagram showing an example of the analysis result of the image captured by the camera. 図６は、２台のカメラで同一時刻に撮像される画像の一例を示す図である。FIG. 6 is a diagram showing an example of images captured at the same time by two cameras. 図７は、行動認識装置が行う処理の流れの一例を示すフローチャートである。FIG. 7 is a flowchart showing an example of the flow of processing performed by the action recognition device.

以下、添付図面を参照して、本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

（行動認識装置の構成の説明）
図１は、本実施形態の行動認識装置１のシステム構成を示すブロック図である。行動認識装置１は、行動を認識される検出対象である人１０に装着されたセンサタグ２と、無線ＡＰ（アクセスポイント）３と、複数のカメラ４ａ、４ｂ、４ｃと、サーバ５とを備える。なお、カメラの台数は３台に限定されるものではない。また、検出対象である人１０は１人とは限らない。したがって、人１０に装着されるセンサタグ２は、検出対象となる人１０の人数分が使用される。なお、行動認識装置１は、サーバ装置の一例としてのサーバ５と、動き検出装置としての動き検出部２０（図３参照）と、を備える行動認識システムの一例である。 (Explanation of the configuration of the behavior recognition device)
FIG. 1 is a block diagram showing a system configuration of the behavior recognition device 1 of the present embodiment. The action recognition device 1 includes a sensor tag 2 attached to a person 10 who is a detection target for recognizing actions, a wireless AP (access point) 3, a plurality of cameras 4a, 4b, 4c, and a server 5. The number of cameras is not limited to three. Further, the number of people 10 to be detected is not limited to one. Therefore, the sensor tag 2 attached to the person 10 is used for the number of people 10 to be detected. The behavior recognition device 1 is an example of a behavior recognition system including a server 5 as an example of a server device and a motion detection unit 20 (see FIG. 3) as a motion detection device.

センサタグ２は、検出対象である人１０の動きを検出する。そして、センサタグ２は、検出したデータを、所定の時間間隔で無線ＡＰ３に送信する。なお、センサタグ２は、少なくとも、加速度検出機能と、角速度検出機能と、気圧計測機能と、地磁気検出機能と、無線通信機能と、を備える。なお、センサタグ２は第２のセンサの一例である。 The sensor tag 2 detects the movement of the person 10 to be detected. Then, the sensor tag 2 transmits the detected data to the wireless AP3 at predetermined time intervals. The sensor tag 2 has at least an acceleration detection function, an angular velocity detection function, a barometric pressure measurement function, a geomagnetic detection function, and a wireless communication function. The sensor tag 2 is an example of the second sensor.

無線ＡＰ３は、無線ＬＡＮとしてのＷｉ－Ｆｉ（登録商標）や、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信規格を用いてセンサタグ２と接続されている。無線ＡＰ３は、センサタグ２が検出したデータを受信する。また、無線ＡＰ３は、センサタグ２から受信したデータをサーバ５に送信する。 The wireless AP3 is connected to the sensor tag 2 using a wireless communication standard such as Wi-Fi (registered trademark) as a wireless LAN or Bluetooth (registered trademark). The wireless AP 3 receives the data detected by the sensor tag 2. Further, the wireless AP 3 transmits the data received from the sensor tag 2 to the server 5.

カメラ４ａ、４ｂ、４ｃは、いずれも、人１０を含む画像Ｉａ、Ｉｂ、Ｉｃを、例えば、サーバ５の指示により、所定の時間間隔で、略同時刻に撮像する（外部同期による撮像動作）。なお、画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）はカメラ４ｉ（ｉ＝ａ、ｂ、ｃ）で撮像された画像であるとする。そして、カメラ４ａ、４ｂ、４ｃは、撮像した画像Ｉａ、Ｉｂ、Ｉｃをサーバ５に送信する。なお、カメラ４ａ、４ｂ、４ｃは、第１のセンサの一例である。ここで、カメラ４ａ、４ｂ、４ｃは、例えば、カメラ４ａの指示により、所定の時間間隔で、略同時刻に画像Ｉａ、Ｉｂ、Ｉｃを撮像する構成であってもよい（内部同期による撮像動作）。 The cameras 4a, 4b, and 4c all capture images Ia, Ib, and Ic including the human 10 at substantially the same time at predetermined time intervals according to the instruction of the server 5, for example (imaging operation by external synchronization). .. It is assumed that the image Ii (i = a, b, c) is an image captured by the camera 4i (i = a, b, c). Then, the cameras 4a, 4b, and 4c transmit the captured images Ia, Ib, and Ic to the server 5. The cameras 4a, 4b, and 4c are examples of the first sensor. Here, the cameras 4a, 4b, and 4c may be configured to capture images Ia, Ib, and Ic at substantially the same time at predetermined time intervals, for example, according to the instruction of the camera 4a (imaging operation by internal synchronization). ).

サーバ５は、画像Ｉａ、Ｉｂ、Ｉｃと、無線ＡＰ３から送信されたデータと、を受信する。また、サーバ５は、画像Ｉａ、Ｉｂ、Ｉｃと、無線ＡＰ３から送られてきたデータと、を分析する処理を行う。そして、サーバ５は、分析結果を時系列で記録する。なお、センサタグ２が検出したデータの分析は、サーバ５が行う代わりに、センサタグ２が備えるＣＰＵ（Central Processing Unit）２ａ（図２参照）が行ってもよい。 The server 5 receives the images Ia, Ib, Ic and the data transmitted from the wireless AP3. Further, the server 5 performs a process of analyzing the images Ia, Ib, Ic and the data sent from the wireless AP3. Then, the server 5 records the analysis result in time series. The data detected by the sensor tag 2 may be analyzed by the CPU (Central Processing Unit) 2a (see FIG. 2) included in the sensor tag 2 instead of being performed by the server 5.

（行動認識装置のハードウェア構成の説明）
図２は、行動認識装置１のハードウェア構成の一例を示すハードウェアブロック図である。 (Explanation of hardware configuration of behavior recognition device)
FIG. 2 is a hardware block diagram showing an example of the hardware configuration of the action recognition device 1.

センサタグ２は、ＣＰＵ２ａと、ＲＡＭ（Random Access Memory）２ｂと、ＲＯＭ（Read Only Memory）２ｃと、加速度センサ２ｄと、角速度センサ２ｅと、気圧センサ２ｆと、地磁気センサ２ｇと、無線通信Ｉ／Ｆ（Interface）２ｈとを備える。 The sensor tag 2 includes a CPU 2a, a RAM (Random Access Memory) 2b, a ROM (Read Only Memory) 2c, an acceleration sensor 2d, an angular velocity sensor 2e, a barometric pressure sensor 2f, a geomagnetic sensor 2g, and a wireless communication I / F. (Interface) 2h and the like.

ＣＰＵ２ａは、ＲＯＭ２ｃに記憶された制御プログラムＰ１を読み出して、ＲＡＭ２ｂに展開して実行する。これによって、ＣＰＵ２ａは、センサタグ２の動作を制御して、加速度センサ２ｄと、角速度センサ２ｅと、気圧センサ２ｆと、地磁気センサ２ｇと、の出力を、略同時刻に取得する。このように、センサタグ２は、一般のコンピュータの構成を有する。 The CPU 2a reads out the control program P1 stored in the ROM 2c, expands it into the RAM 2b, and executes it. As a result, the CPU 2a controls the operation of the sensor tag 2 and acquires the outputs of the acceleration sensor 2d, the angular velocity sensor 2e, the barometric pressure sensor 2f, and the geomagnetic sensor 2g at substantially the same time. As described above, the sensor tag 2 has a general computer configuration.

加速度センサ２ｄは、例えば、ｘｙｚ３軸方向に沿う梁を備えて、各梁に貼り付けられた歪ゲージの撓み量に基づいて、当該加速度センサ２ｄが装着された人１０の３軸各方向の加速度、すなわち、直線運動の大きさと向きを検出する。なお、加速度を検出する方法としては、その他にも、圧電素子を用いる方法、静電容量を用いる方法等が提案されており、加速度センサ２ｄは、そのいずれの方法に基づくセンサであってもよい。 The acceleration sensor 2d is provided with, for example, a beam along the xyz3 axis direction, and the acceleration in each of the three axes of the person 10 to which the acceleration sensor 2d is attached is based on the amount of deflection of the strain gauge attached to each beam. That is, the magnitude and direction of the linear motion are detected. In addition, as a method for detecting acceleration, a method using a piezoelectric element, a method using a capacitance, and the like have been proposed, and the acceleration sensor 2d may be a sensor based on any of these methods. ..

角速度センサ２ｅは、例えばジャイロセンサで構成されて、当該角速度センサ２ｅが装着された人１０の角速度、すなわち、回転運動の大きさと向きを検出する。 The angular velocity sensor 2e is composed of, for example, a gyro sensor, and detects the angular velocity of the person 10 to which the angular velocity sensor 2e is attached, that is, the magnitude and direction of the rotational motion.

気圧センサ２ｆは、例えば大気圧に応じて変化する静電容量の大きさ、または大気圧に応じて変化する抵抗値の大きさを計測することによって、当該気圧センサ２ｆが装着された人１０に作用する大気圧の大きさを検出する。 The barometric pressure sensor 2f is attached to the person 10 to which the barometric pressure sensor 2f is attached, for example, by measuring the magnitude of the capacitance that changes according to the atmospheric pressure or the magnitude of the resistance value that changes according to the atmospheric pressure. Detects the magnitude of the acting atmospheric pressure.

地磁気センサ２ｇは、例えば、磁界の変化に応じて出力電圧値が変化する、いわゆるホール効果を有する素子（ホール素子）を用いて、当該地磁気センサ２ｇが装着された人１０に作用する地磁気の大きさを検出する。 The geomagnetic sensor 2g uses, for example, an element (Hall element) having a so-called Hall effect in which the output voltage value changes according to a change in the magnetic field, and the magnitude of the geomagnetism acting on the person 10 to which the geomagnetic sensor 2g is attached is large. Detect.

なお、センサタグ２が備えるセンサの種類は、図２に記載したものに限定されない。すなわち、センサタグ２には、行動認識装置１の認識対象となる人１０がとる行動の種類に対応する出力を得ることができるセンサが、適宜備えられる。例えば、センサタグ２は、ＧＰＳ衛星からの電波を受信することによって、受信者の現在位置を検出するＧＰＳ（Global Positioning Sensor）受信機等を備えていてもよい。 The type of sensor included in the sensor tag 2 is not limited to that shown in FIG. That is, the sensor tag 2 is appropriately provided with a sensor capable of obtaining an output corresponding to the type of action taken by the person 10 to be recognized by the action recognition device 1. For example, the sensor tag 2 may include a GPS (Global Positioning Sensor) receiver or the like that detects the current position of the receiver by receiving radio waves from GPS satellites.

無線通信Ｉ／Ｆ２ｈは、無線ＡＰ３との間で無線通信を確立させる。無線通信Ｉ／Ｆ２ｈは、センサタグ２が備える各センサ（加速度センサ２ｄ、角速度センサ２ｅ、気圧センサ２ｆ、地磁気センサ２ｇ）の出力を、無線ＡＰ３に送信する。 The wireless communication I / F2h establishes wireless communication with the wireless AP3. The wireless communication I / F2h transmits the output of each sensor (accelerometer 2d, angular velocity sensor 2e, barometric pressure sensor 2f, geomagnetic sensor 2g) included in the sensor tag 2 to the wireless AP3.

無線ＡＰ３は、無線通信Ｉ／Ｆ３ａを備える。無線通信Ｉ／Ｆ３ａは、センサタグ２から、前記した各センサの出力を受信する。また、無線ＡＰ３は、受信した各センサの出力を、サーバ５に送信する。 The wireless AP3 includes a wireless communication I / F3a. The wireless communication I / F3a receives the output of each of the above-mentioned sensors from the sensor tag 2. Further, the wireless AP 3 transmits the output of each received sensor to the server 5.

カメラ４ａ、４ｂ、４ｃは、予め設定された範囲の画像を撮像して、撮像した画像Ｉａ、Ｉｂ、Ｉｃを、それぞれ、サーバ５に送信する。カメラ４ａ、４ｂ、４ｃは、一般的に使用されている、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを受光素子とするカメラである。 The cameras 4a, 4b, and 4c capture images in a preset range, and transmit the captured images Ia, Ib, and Ic to the server 5, respectively. The cameras 4a, 4b, and 4c are cameras that use a commonly used CCD (Charge Coupled Device) sensor or CMOS (Complementary Metal Oxide Semiconductor) sensor as a light receiving element.

サーバ５は、ＣＰＵ５ａと、ＲＡＭ５ｂと、ＲＯＭ５ｃと、ＨＤＤ５ｄと、キーボード５ｅと、モニタ５ｆと、を備える。 The server 5 includes a CPU 5a, a RAM 5b, a ROM 5c, an HDD 5d, a keyboard 5e, and a monitor 5f.

ＣＰＵ５ａは、ＲＯＭ５ｃに記憶された制御プログラムＰ２を読み出して、ＲＡＭ５ｂに展開して実行する。これによって、ＣＰＵ５ａは、サーバ５の動作を制御して、センサタグ２の出力を無線ＡＰ３の無線通信Ｉ／Ｆ３ａから受信する。また、ＣＰＵ５ａは、サーバ５の動作を制御して、カメラ４ａ、４ｂ、４ｃが撮像した画像Ｉａ、Ｉｂ、Ｉｃを受信する。そして、ＣＰＵ５ａは、センサタグ２の出力、および画像Ｉａ、Ｉｂ、Ｉｃを用いて、人１０の行動認識を行い、さらに、認識された行動に対する信頼度を算出する。なお、信頼度について詳しくは後述する。 The CPU 5a reads out the control program P2 stored in the ROM 5c, expands it into the RAM 5b, and executes it. As a result, the CPU 5a controls the operation of the server 5 and receives the output of the sensor tag 2 from the wireless communication I / F3a of the wireless AP3. Further, the CPU 5a controls the operation of the server 5 to receive the images Ia, Ib, and Ic captured by the cameras 4a, 4b, and 4c. Then, the CPU 5a recognizes the behavior of the person 10 by using the output of the sensor tag 2 and the images Ia, Ib, and Ic, and further calculates the reliability of the recognized behavior. The reliability will be described in detail later.

さらに、ＣＰＵ５ａは、センサタグ２の出力に基づいて認識された人１０の行動および信頼度を、センサタグ２の出力を受信した日付および時刻とともに、ＨＤＤ５ｄに記憶する。また、ＣＰＵ５ａは、画像Ｉａ、Ｉｂ、Ｉｃに基づいて認識された人１０の行動および信頼度を、画像Ｉａ、Ｉｂ、Ｉｃを受信した日付および時刻とともに、ＨＤＤ５ｄに記憶する。なお、センサタグ２の出力を受信した日付および時刻と、画像Ｉａ、Ｉｂ、Ｉｃを受信した日付および時刻とは、ＣＰＵ５ａが備える計時手段としてのタイマの出力を参照することによって取得される。このように、サーバ５は、一般のコンピュータの構成を有する。 Further, the CPU 5a stores the behavior and reliability of the person 10 recognized based on the output of the sensor tag 2 in the HDD 5d together with the date and time when the output of the sensor tag 2 is received. Further, the CPU 5a stores the behavior and reliability of the person 10 recognized based on the images Ia, Ib, and Ic in the HDD 5d together with the date and time when the images Ia, Ib, and Ic are received. The date and time when the output of the sensor tag 2 is received and the date and time when the images Ia, Ib, and Ic are received are acquired by referring to the output of the timer as the timekeeping means provided in the CPU 5a. As described above, the server 5 has a general computer configuration.

ＨＤＤ５ｄは、認識された人１０の行動を、データベースＤＢに記憶する。なお、ＨＤＤ５ｄは、さらに、センサタグ２の出力および画像Ｉａ、Ｉｂ、Ｉｃを記憶してもよい。 The HDD 5d stores the recognized behavior of the person 10 in the database DB. The HDD 5d may further store the output of the sensor tag 2 and the images Ia, Ib, and Ic.

キーボード５ｅは、ユーザの操作を受け付けて、受け付けた操作情報をＣＰＵ５ａに伝達する。 The keyboard 5e accepts the user's operation and transmits the accepted operation information to the CPU 5a.

モニタ５ｆは、キーボード５ｅの操作に応じた情報を表示する。 The monitor 5f displays information according to the operation of the keyboard 5e.

（行動認識装置の機能構成の説明）
図３は、行動認識装置１の機能構成の一例を示す機能ブロック図である。 (Explanation of the functional configuration of the behavior recognition device)
FIG. 3 is a functional block diagram showing an example of the functional configuration of the action recognition device 1.

サーバ５のＣＰＵ５ａは、ＲＯＭ５ｃに記憶された制御プログラムＰ２を読み出して、ＲＡＭ５ｂに展開する。そして、ＣＰＵ５ａは、ＲＡＭ５ｂに展開された制御プログラムＰ２を実行することによって、図３に示す動き検出部２０と、信頼度算出部３０と、行動認識部４０と、を機能部として実現する。 The CPU 5a of the server 5 reads out the control program P2 stored in the ROM 5c and expands it in the RAM 5b. Then, the CPU 5a realizes the motion detection unit 20, the reliability calculation unit 30, and the action recognition unit 40 shown in FIG. 3 as functional units by executing the control program P2 expanded in the RAM 5b.

動き検出部２０は、人１０の動きを検出する。なお、人１０は、対象物の一例である。動き検出部２０は、人１０を含む画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）を撮像する複数のカメラ４ｉ（ｉ＝ａ、ｂ、ｃ）と、人１０の動きに伴って発生する信号を検出する、人１０に装着されたセンサタグ２と、を備える。センサタグ２は、前記した異なる複数のセンサ（例えば、加速度センサ２ｄ、角速度センサ２ｅ、気圧センサ２ｆ、地磁気センサ２ｇ等）を備える（図２参照）。なお、カメラ４ｉ（ｉ＝ａ、ｂ、ｃ）は第１のセンサの一例である。また、センサタグ２は、第２のセンサの一例である。 The motion detection unit 20 detects the motion of the person 10. The person 10 is an example of an object. The motion detection unit 20 transmits a plurality of cameras 4i (i = a, b, c) that capture an image Ii (i = a, b, c) including the person 10 and a signal generated by the movement of the person 10. It includes a sensor tag 2 attached to the person 10 for detection. The sensor tag 2 includes a plurality of different sensors (for example, an acceleration sensor 2d, an angular velocity sensor 2e, a barometric pressure sensor 2f, a geomagnetic sensor 2g, etc.) (see FIG. 2). The camera 4i (i = a, b, c) is an example of the first sensor. Further, the sensor tag 2 is an example of the second sensor.

また、動き検出部２０は、カメラ４ｉ（ｉ＝ａ、ｂ、ｃ）の出力である画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）に基づいて、人１０の動きに伴って発生する挙動を分析する画像分析部２４と、センサタグ２の出力に基づいて、人１０の動きに伴って発生する信号を分析するセンサデータ分析部２２と、を備える。 Further, the motion detection unit 20 analyzes the behavior generated with the movement of the person 10 based on the image Ii (i = a, b, c) which is the output of the camera 4i (i = a, b, c). An image analysis unit 24 is provided, and a sensor data analysis unit 22 that analyzes a signal generated with the movement of the person 10 based on the output of the sensor tag 2.

信頼度算出部３０は、センサデータ分析部２２の分析結果に対する信頼度３２ａを算出する。また、信頼度算出部３０は、画像分析部２４の分析結果に対する信頼度３２ｂを算出する。 The reliability calculation unit 30 calculates the reliability 32a for the analysis result of the sensor data analysis unit 22. Further, the reliability calculation unit 30 calculates the reliability 32b for the analysis result of the image analysis unit 24.

行動認識部４０は、センサデータ分析部２２の分析結果と、当該分析結果に対する信頼度３２ａと、画像分析部２４の分析結果と、当該分析結果に対する信頼度３２ｂと、に基づいて、人１０の行動を認識する。 The behavior recognition unit 40 is based on the analysis result of the sensor data analysis unit 22, the reliability 32a for the analysis result, the analysis result of the image analysis unit 24, and the reliability 32b for the analysis result. Recognize actions.

（信頼度の説明）
次に、図４、図５を用いて、本実施形態の行動認識装置１で利用する信頼度３２ａ、３２ｂについて説明する。図４は、センサタグ２の出力に基づく分析結果の一例を示す図である。なお、図４に示すデータは、ＨＤＤ５ｄ（図２参照）に記憶される。また、図５は、カメラ４ｉ（ｉ＝ａ、ｂ、ｃ）が撮像した画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）の分析結果の一例を示す図である。なお、図５に示すデータも、ＨＤＤ５ｄに記憶される。ここで、図４、図５は、フォークリフトを用いて作業を行っている人１０の行動分析に、行動認識装置１を適用した例を示すものである。 (Explanation of reliability)
Next, the reliability 32a and 32b used in the behavior recognition device 1 of the present embodiment will be described with reference to FIGS. 4 and 5. FIG. 4 is a diagram showing an example of an analysis result based on the output of the sensor tag 2. The data shown in FIG. 4 is stored in the HDD 5d (see FIG. 2). Further, FIG. 5 is a diagram showing an example of the analysis result of the image Ii (i = a, b, c) captured by the camera 4i (i = a, b, c). The data shown in FIG. 5 is also stored in the HDD 5d. Here, FIGS. 4 and 5 show an example in which the behavior recognition device 1 is applied to the behavior analysis of the person 10 who is working using the forklift.

図４において、センサタグ２の出力に基づく分析結果は、センサタグ２の出力を取得した日付Ｄ１と、センサタグ２の出力を取得した時刻Ｔ１と、認識された人１０の行動Ｂ１と、信頼度３２ａとを含む。 In FIG. 4, the analysis results based on the output of the sensor tag 2 include the date D1 when the output of the sensor tag 2 was acquired, the time T1 when the output of the sensor tag 2 was acquired, the action B1 of the recognized person 10, and the reliability 32a. including.

行動認識装置１は、センサタグ２の出力を分析することによって、「歩行状態」、「停止状態」、「フォーリフトに乗車した状態」、「フォークリフトで移動している状態」等の人１０の行動Ｂ１を認識する。 By analyzing the output of the sensor tag 2, the action recognition device 1 analyzes the actions of the person 10 such as "walking state", "stopped state", "riding on a forklift", and "moving with a forklift". Recognize B1.

信頼度３２ａは、行動Ｂ１をどの程度の確からしさで認識したかを示す値である。より具体的には、信頼度３２ａは、行動Ｂ１を最も信頼できる状態で認識した状態を１００、全く信頼できない状態で認識した状態を０として、１００段階で数値化した値である。図４の例では、例えば、歩行の信頼度が７０、停止の信頼度が９０であることを示している。 The reliability 32a is a value indicating how certainty the action B1 is recognized. More specifically, the reliability 32a is a value quantified in 100 steps, where 100 is the state in which the action B1 is recognized in the most reliable state and 0 is the state in which the action B1 is recognized in the unreliable state. In the example of FIG. 4, for example, it is shown that the reliability of walking is 70 and the reliability of stopping is 90.

例えば、人１０が「停止状態」であることは、センサタグ２が備える加速度センサ２ｄの出力がゼロに近い所定値以下の状態が継続していることを検出することによって認識することができる。 For example, the fact that the person 10 is in the "stopped state" can be recognized by detecting that the output of the acceleration sensor 2d included in the sensor tag 2 continues to be in a state of being close to zero and equal to or less than a predetermined value.

また、人１０が「歩行状態」であることは、人１０の歩行に起因する所定の時間間隔毎の加速度の推移パターンをモデルとして、加速度センサ２ｄの出力と、加速度の推移パターンのモデルとの相関を取ることによって認識することができる。しかしながら、「歩行状態」において発生する加速度には個人差が存在する。すなわち、歩行行動自体のぶれ（急いでいるかゆっくり歩いているか）が存在するため、信頼度３２ａは、一般には高くない。そのため、行動認識装置１は、画像Ｉｉから分析した人１０の行動Ｂ２の信頼度３２ｂと、センサタグ２の出力から分析した人１０の行動Ｂ１の信頼度３２ａと、の両者に基づいて、人１０の行動を認識する。 Further, the fact that the person 10 is in the "walking state" means that the output of the acceleration sensor 2d and the model of the acceleration transition pattern are modeled on the acceleration transition pattern at predetermined time intervals caused by the walking of the person 10. It can be recognized by taking a correlation. However, there are individual differences in the acceleration generated in the "walking state". That is, the reliability 32a is generally not high because there is a blurring of the walking behavior itself (whether it is hurrying or walking slowly). Therefore, the action recognition device 1 is based on both the reliability 32b of the action B2 of the person 10 analyzed from the image Ii and the reliability 32a of the action B1 of the person 10 analyzed from the output of the sensor tag 2. Recognize the behavior of.

なお、図４に示す、「フォークリフトに乗車」する行動は、例えば、人１０が上方へ移動していることに基づいて検出することができる。すなわち、上方に移動する加速度を検出することによって、フォークリフトに乗車したことを検出することができる。また、「フォークリフトで移動」する行動は、例えば、人１０の存在位置が、時間の経過とともに、歩行動作を超える速度で移動していることに基づいて検出することができる。 The behavior of "getting on a forklift" shown in FIG. 4 can be detected, for example, based on the fact that the person 10 is moving upward. That is, by detecting the acceleration moving upward, it is possible to detect that the vehicle has entered the forklift. Further, the behavior of "moving by forklift" can be detected, for example, based on the fact that the position of the person 10 is moving at a speed exceeding the walking motion with the passage of time.

図５において、カメラ４ｉ（ｉ＝ａ、ｂ、ｃ）が撮像した画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）に基づく分析結果は、画像Ｉｉを取得した日付Ｄ２と、画像Ｉｉを取得した時刻Ｔ２と、認識された人１０の行動Ｂ２と、信頼度３２ｂとを含む。 In FIG. 5, the analysis results based on the image Ii (i = a, b, c) captured by the camera 4i (i = a, b, c) are the date D2 at which the image Ii was acquired and the time when the image Ii was acquired. Includes T2, the recognized behavior B2 of the person 10, and the reliability 32b.

画像認識に基づく行動検出では、センサタグ２によると識別が困難な細かい手の動き等を検出することが可能である。認識の手段としては、例えば、画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）から抽出した特徴量の時間変化と、モデルとなる行動の特徴量の時間変化と、を比較する方法を用いる。この方法は、センサタグ２による「歩行状態」の検出と同様、モデルとなる加速度の推移パターンとの比較によるため、モデルとの類似度によって検出結果の信頼度３２ｂは変動する。 In behavior detection based on image recognition, it is possible to detect fine hand movements and the like that are difficult to identify according to the sensor tag 2. As a means of recognition, for example, a method of comparing the time change of the feature amount extracted from the image Ii (i = a, b, c) with the time change of the feature amount of the behavior as a model is used. Since this method is based on comparison with the transition pattern of the acceleration as a model, similar to the detection of the "walking state" by the sensor tag 2, the reliability 32b of the detection result varies depending on the degree of similarity with the model.

次に、図６を用いて、複数のカメラで同一時刻に撮像される画像の違いについて説明する。図６は、２台のカメラ４ａ、４ｂで同一時刻に撮像される画像Ｉａ、Ｉｂの一例を示す図である。図６に示すように、カメラ４ａ、４ｂの設置位置と人１０との位置関係に応じて、画像Ｉａ、Ｉｂに映る人１０の大きさや向きが変化する。例えば、図６の例では、人１０とカメラ４ａとの距離ｄ１は、人１０とカメラ４ｂとの距離ｄ２よりも大きくなっている。したがって、人１０は、画像Ｉａよりも画像Ｉｂにおいて大きく観測される。 Next, the difference between the images captured at the same time by a plurality of cameras will be described with reference to FIG. FIG. 6 is a diagram showing an example of images Ia and Ib captured at the same time by two cameras 4a and 4b. As shown in FIG. 6, the size and orientation of the person 10 reflected in the images Ia and Ib change according to the positional relationship between the installation position of the cameras 4a and 4b and the person 10. For example, in the example of FIG. 6, the distance d1 between the person 10 and the camera 4a is larger than the distance d2 between the person 10 and the camera 4b. Therefore, the person 10 is observed larger in the image Ib than in the image Ia.

図６の状態にあっては、人１０が異なる大きさで観測されるため、一般に、画像Ｉａから検出した特徴量に基づく人１０の動きに伴う挙動（標準動作）の信頼度は、画像Ｉｂから検出した同じ挙動の信頼度よりも小さくなる。そのため、行動認識を行う過程で算出した、人１０の動きに伴う挙動と当該挙動のモデルとの類似度を信頼度３２ｂに反映させる際に、人１０の大きさを考慮するのが望ましい。具体的には、人１０がより大きく観測された画像Ｉｂから算出した挙動とモデルとの類似度には、より高い信頼度を与える。すなわち、信頼度３２ｂの値を、人１０の観測サイズに応じて動的に決定する。 In the state of FIG. 6, since the human 10 is observed with different sizes, the reliability of the behavior (standard motion) accompanying the movement of the human 10 based on the feature amount detected from the image Ia is generally determined by the image Ib. It is less than the reliability of the same behavior detected from. Therefore, it is desirable to consider the size of the person 10 when reflecting the similarity between the behavior accompanying the movement of the person 10 and the model of the behavior calculated in the process of performing the behavior recognition in the reliability 32b. Specifically, a higher degree of reliability is given to the degree of similarity between the behavior calculated from the image Ib observed by the person 10 and the model. That is, the value of the reliability 32b is dynamically determined according to the observation size of the person 10.

具体的には、撮像された画像（図６の例では、画像Ｉａ、Ｉｂ）の中から、人１０の動きを特徴付ける特徴量を検出する際に、まず、画像Ｉａ、Ｉｂの中に人１０がどの位の大きさで観測されているかを見積もる。そして、人１０が大きく観測された画像ほど、当該画像から検出した人１０の動きを特徴付ける特徴量（例えば類似度）に高い信頼度３２ｂを付与する。なお、単にモデルとの類似度に応じて、類似度が高いほど高い信頼度３２ｂを付与するようにしてもよい。 Specifically, when detecting the feature amount that characterizes the movement of the person 10 from the captured images (images Ia and Ib in the example of FIG. 6), first, the person 10 is included in the images Ia and Ib. Estimate how large the image is observed. Then, the larger the image in which the person 10 is observed, the higher the reliability 32b is given to the feature amount (for example, the degree of similarity) that characterizes the movement of the person 10 detected from the image. In addition, depending on the degree of similarity with the model, the higher the degree of similarity, the higher the reliability 32b may be given.

そして、同一被写体に対して複数のカメラ４ｉ（ｉ＝ａ、ｂ、ｃ）、すなわち同種の検出原理に基づく複数のカメラ４ｉ（第１のセンサ）が撮像した画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）に基づく検出結果の中から、信頼度３２ｂが最も高い検出結果を採用することで、総合的に高い信頼度３２ｂの検出結果を得ることができる。 Then, the images Ii (i = a, b, By adopting the detection result having the highest reliability 32b from the detection results based on c), the detection result having the highest reliability 32b can be obtained comprehensively.

ここで、加速度センサ２ｄ（センサタグ２）とカメラ４ｉ（ｉ＝ａ、ｂ、ｃ）とは、ともに、人１０の同一の行動を検出することができる。例えば、図４、図５に示すように、「歩行状態」は、加速度センサ２ｄとカメラ４ａ、４ｂ、４ｃのいずれでも検出可能である。しかしながら、加速度センサ２ｄとカメラ４ｉでは検出原理が異なるため、検出結果に対する信頼度３２ａ、３２ｂは異なる。「歩行状態」の検出については、一般に、加速度センサ２ｄの出力に基づく検出結果の方が高い信頼度が得られることが知られている。このため、信頼度３２ａ、３２ｂとして、予め評価した結果に基づく固定値を割り当てるのが望ましい。 Here, both the accelerometer 2d (sensor tag 2) and the camera 4i (i = a, b, c) can detect the same behavior of the person 10. For example, as shown in FIGS. 4 and 5, the "walking state" can be detected by any of the accelerometer 2d and the cameras 4a, 4b, and 4c. However, since the detection principle is different between the accelerometer 2d and the camera 4i, the reliability 32a and 32b for the detection result are different. Regarding the detection of the "walking state", it is generally known that the detection result based on the output of the acceleration sensor 2d can obtain higher reliability. Therefore, it is desirable to assign fixed values based on the results of prior evaluation as the reliability 32a and 32b.

例えば、図４の例では、加速度センサ２ｄの出力に基づく「歩行状態」との検出結果には、信頼度３２ａとして、一律に７０を割り当てている。一方、図５に示すように、画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）に基づく「歩行状態」との検出結果には、信頼度３２ｂとして、７０よりも低い４０を一律に割り当てている。 For example, in the example of FIG. 4, 70 is uniformly assigned as the reliability 32a to the detection result of the “walking state” based on the output of the acceleration sensor 2d. On the other hand, as shown in FIG. 5, 40, which is lower than 70, is uniformly assigned as the reliability 32b to the detection result of the "walking state" based on the image Ii (i = a, b, c).

なお、同一時刻におけるカメラ４ｉ（第１のセンサ）が撮像した画像Ｉｉに基づく分析結果と、センサタグ２（第２のセンサ）の出力に基づく分析結果と、が等しい場合は、いずれのセンサの出力に基づく分析結果を採用しても問題ない。しかし、両者が異なる分析結果であった場合には、例えば、信頼度３２ａ、３２ｂの高い方の分析結果を採用するものとする。具体的には、図５において、時刻「１５：３３：３７」のとき、画像Ｉｉに基づく分析結果は「歩行状態」であるが、図４において、同一時刻における加速度センサ２ｄの出力に基づく分析結果は「停止状態」を示している。このときの信頼度３２ａ、３２ｂを比較すると、画像Ｉｉに基づく信頼度３２ｂが４０、加速度センサ２ｄに基づく信頼度３２ａが９０であるため、時刻「１５：３３：３７」における人１０の行動Ｂ２として、加速度センサ２ｄに基づく検出結果である「停止状態」を採用するのが望ましい。 If the analysis result based on the image Ii captured by the camera 4i (first sensor) at the same time and the analysis result based on the output of the sensor tag 2 (second sensor) are equal, the output of any sensor is equal. There is no problem even if the analysis result based on is adopted. However, if the analysis results are different from each other, for example, the analysis result having the higher reliability 32a or 32b shall be adopted. Specifically, in FIG. 5, when the time is “15:33:37”, the analysis result based on the image Ii is “walking state”, but in FIG. 4, the analysis based on the output of the acceleration sensor 2d at the same time is performed. The result indicates a "stopped state". Comparing the reliability 32a and 32b at this time, since the reliability 32b based on the image Ii is 40 and the reliability 32a based on the acceleration sensor 2d is 90, the action B2 of the person 10 at the time "15:33:37". As a result, it is desirable to adopt a "stop state" which is a detection result based on the acceleration sensor 2d.

（行動認識装置が行う処理の流れの説明）
次に、図７を用いて、行動認識装置１が行う処理の流れについて説明する。図７は、行動認識装置１が行う処理の流れの一例を示すフローチャートである。 (Explanation of the flow of processing performed by the action recognition device)
Next, the flow of processing performed by the action recognition device 1 will be described with reference to FIG. 7. FIG. 7 is a flowchart showing an example of the flow of processing performed by the action recognition device 1.

まず、センサタグ２は、人１０に装着された各センサ（加速度センサ２ｄ、角速度センサ２ｅ、気圧センサ２ｆ、地磁気センサ２ｇ）の出力を取得する（ステップＳ１０）。 First, the sensor tag 2 acquires the output of each sensor (accelerometer 2d, angular velocity sensor 2e, barometric pressure sensor 2f, geomagnetic sensor 2g) attached to the person 10 (step S10).

次に、カメラ４ｉ（ｉ＝ａ、ｂ、ｃ）（第１のセンサ）は、人１０を含む画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）を撮像する（ステップＳ１２）。 Next, the camera 4i (i = a, b, c) (first sensor) captures an image Ii (i = a, b, c) including the person 10 (step S12).

サーバ５は、無線ＡＰ３を介して、センサタグ２の出力を受信する（ステップＳ１４）。 The server 5 receives the output of the sensor tag 2 via the wireless AP3 (step S14).

また、サーバ５は、カメラ４ｉが撮像した画像Ｉｉを受信する（ステップＳ１６）。 Further, the server 5 receives the image Ii captured by the camera 4i (step S16).

センサデータ分析部２２は、センサタグ２の出力を分析する（ステップＳ１８）。 The sensor data analysis unit 22 analyzes the output of the sensor tag 2 (step S18).

信頼度算出部３０は、センサタグ２の出力の分析結果に信頼度３２ａを付与する（ステップＳ２０）。 The reliability calculation unit 30 imparts reliability 32a to the analysis result of the output of the sensor tag 2 (step S20).

画像分析部２４は、画像Ｉｉを分析する（ステップＳ２２）。 The image analysis unit 24 analyzes the image Ii (step S22).

信頼度算出部３０は、画像Ｉｉの分析結果に信頼度３２ｂを付与する（ステップＳ２４）。 The reliability calculation unit 30 imparts reliability 32b to the analysis result of the image Ii (step S24).

行動認識部４０は、センサタグ２の出力の分析結果と、画像Ｉｉの分析結果と、に基づいて、人１０の行動を認識する（ステップＳ２６）。 The action recognition unit 40 recognizes the action of the person 10 based on the analysis result of the output of the sensor tag 2 and the analysis result of the image Ii (step S26).

行動認識部４０は、人１０の行動の認識結果を、データベースＤＢに蓄積する（ステップＳ２８）。 The action recognition unit 40 stores the recognition result of the action of the person 10 in the database DB (step S28).

行動認識部４０は、処理を終了するかを判定する。処理を終了すると判定される（Ｓ３０：Ｙｅｓ）と、図７の処理を終了する。一方、処理を終了すると判定されない（Ｓ３０：Ｎｏ）と、ステップＳ１０に戻って、前記した一連の処理を繰り返す。なお、処理の終了の判定は、例えば、予め設定した所定時間が経過したことを条件として処理を終了すると判定してもよいし、画像Ｉｉの中から人１０が検出できなくなったら処理を終了すると判定してもよい。 The action recognition unit 40 determines whether to end the process. When it is determined that the process is completed (S30: Yes), the process of FIG. 7 is terminated. On the other hand, if it is not determined that the process is completed (S30: No), the process returns to step S10 and the series of processes described above is repeated. The determination of the end of the process may be determined, for example, to end the process on the condition that a predetermined predetermined time has elapsed, or when the process is terminated when the person 10 cannot be detected from the image Ii. You may judge.

以上説明したように、本実施の形態に係る行動認識装置１によれば、動き検出部２０が、カメラ４ｉ（ｉ＝ａ、ｂ、ｃ）（第１のセンサ）が撮像した画像Ｉｉ（ｉ＝ａ、ｂ、ｃ）を分析して、人１０（対象物）の動きを検出する。また、動き検出部２０が、センサタグ２（第２のセンサ）の出力を分析して、人１０の動きを検出する。そして、信頼度算出部３０が、センサタグ２の出力に基づく人１０の動きの検出結果に対して信頼度３２ａを付与する。また、信頼度算出部３０が、画像Ｉｉに基づく人１０の動きの検出結果に対して信頼度３２ｂを付与する。さらに、行動認識部４０が、動き検出部２０が検出した人１０の動きの検出結果と当該検出結果の信頼度３２ａ、３２ｂとに基づいて、ユーザの介在なしに、人１０の行動を認識する。したがって、ユーザの介在なしに、複数の検出手段の検出結果に基づく、人１０の行動の認識精度を向上させることができる。 As described above, according to the behavior recognition device 1 according to the present embodiment, the motion detection unit 20 captures the image Ii (i) captured by the camera 4i (i = a, b, c) (first sensor). = A, b, c) is analyzed to detect the movement of the person 10 (object). Further, the motion detection unit 20 analyzes the output of the sensor tag 2 (second sensor) to detect the motion of the person 10. Then, the reliability calculation unit 30 assigns the reliability 32a to the detection result of the movement of the person 10 based on the output of the sensor tag 2. Further, the reliability calculation unit 30 assigns the reliability 32b to the detection result of the movement of the person 10 based on the image Ii. Further, the behavior recognition unit 40 recognizes the behavior of the person 10 based on the detection result of the movement of the person 10 detected by the motion detection unit 20 and the reliability 32a and 32b of the detection result without the intervention of the user. .. Therefore, it is possible to improve the recognition accuracy of the behavior of the person 10 based on the detection results of the plurality of detection means without the intervention of the user.

また、本実施の形態に係る行動認識装置１によれば、動き検出部２０は、人１０（対象物）を撮像する少なくとも１つのカメラ４ｉ（ｉ＝ａ、ｂ、ｃ、…）（第１のセンサ）と、カメラ４ｉが撮像した画像Ｉｉ（ｉ＝ａ、ｂ、ｃ、…）を分析することによって人１０の動きを検出する画像分析部２４と、を含む。したがって、人１０の、例えば手の動きのような細かい動作を検出することができる。 Further, according to the behavior recognition device 1 according to the present embodiment, the motion detection unit 20 has at least one camera 4i (i = a, b, c, ...) (1st) that images a person 10 (object). Sensor) and an image analysis unit 24 that detects the movement of the person 10 by analyzing the image Ii (i = a, b, c, ...) Captured by the camera 4i. Therefore, it is possible to detect fine movements of the person 10, such as the movement of a hand.

また、本実施の形態に係る行動認識装置１によれば、複数の動き検出部２０は、人１０（対象物）に装着された、少なくとも加速度センサ２ｄを備えて、人１０の動きに応じた検出結果を出力するセンサタグ２（第２のセンサ）と、センサタグ２の出力を分析することによって、人１０の動きを分析するセンサデータ分析部２２と、を含む。したがって、人１０の歩行状態、停止状態、フォークリフトへの乗車状態等のおおまかな行動を精度よく検出することができる。 Further, according to the behavior recognition device 1 according to the present embodiment, the plurality of motion detection units 20 are provided with at least an acceleration sensor 2d attached to the person 10 (object) and respond to the movement of the person 10. It includes a sensor tag 2 (second sensor) that outputs a detection result, and a sensor data analysis unit 22 that analyzes the movement of the person 10 by analyzing the output of the sensor tag 2. Therefore, it is possible to accurately detect the rough behavior of the person 10, such as the walking state, the stopped state, and the riding state on the forklift.

また、本実施の形態に係る行動認識装置１によれば、行動認識部４０は、カメラ４ｉ（第１のセンサ）による人１０（対象物）の動きの検出結果に対する信頼度３２ｂと、センサタグ２（第２のセンサ）による人１０の動きの検出結果に対する信頼度３２ａと、のうち、同一時刻において、より高い信頼度を有する検出結果に基づく行動を、人１０の行動として認識する。したがって、カメラ４ｉとセンサタグ２とが、人１０の行動を互いに異なる行動として認識した場合であっても、信頼度３２ａ、３２ｂの大小に応じて人１０の正しい行動を容易に認識することができる。 Further, according to the behavior recognition device 1 according to the present embodiment, the behavior recognition unit 40 has a reliability 32b for the detection result of the movement of the person 10 (object) by the camera 4i (first sensor) and the sensor tag 2. Of the reliability 32a for the detection result of the movement of the person 10 by the (second sensor), the action based on the detection result having a higher reliability at the same time is recognized as the action of the person 10. Therefore, even when the camera 4i and the sensor tag 2 recognize the behavior of the person 10 as different behaviors from each other, the correct behavior of the person 10 can be easily recognized according to the magnitude of the reliability 32a and 32b. ..

また、本実施の形態に係る行動認識装置１によれば、信頼度算出部３０は、動き検出部２０の各検出結果に対して、該検出結果の種類に応じた固定的な信頼度３２ａ、３２ｂを付与する。したがって、認識された人１０の行動種別に応じて、信頼度３２ａ、３２ｂを即座に付与することができるため、行動認識の結果を素早く出力することができる。 Further, according to the behavior recognition device 1 according to the present embodiment, the reliability calculation unit 30 has a fixed reliability 32a for each detection result of the motion detection unit 20 according to the type of the detection result. 32b is given. Therefore, since the reliability 32a and 32b can be immediately given according to the action type of the recognized person 10, the result of the action recognition can be quickly output.

また、本実施の形態に係る行動認識装置１によれば、信頼度算出部３０は、画像分析部２４の分析結果に対して、人１０の観測サイズが大きいほど高い（観測サイズが小さいほど低い）信頼度３２ｂを付与する。したがって、画像分析部２４の分析結果に基づいて、適応的に（動的に）信頼度３２ｂを付与することにより、信頼度３２ｂに人１０の状態を反映することができる。これにより、人１０の行動推定の精度を高めることができる。 Further, according to the behavior recognition device 1 according to the present embodiment, the reliability calculation unit 30 is higher as the observation size of the person 10 is larger than the analysis result of the image analysis unit 24 (the smaller the observation size, the lower the value). ) The reliability 32b is given. Therefore, by adaptively (dynamically) imparting the reliability 32b based on the analysis result of the image analysis unit 24, the state of the person 10 can be reflected in the reliability 32b. Thereby, the accuracy of the behavior estimation of the person 10 can be improved.

また、本実施の形態に係る行動認識装置１によれば、信頼度算出部３０は、動き検出部２０の各検出結果と人１０の標準動作との類似度に応じて、類似度が高いほど高い信頼度３２ａ、３２ｂを付与する。したがって、信頼度３２ａ、３２ｂを定量的に算出することができる。 Further, according to the behavior recognition device 1 according to the present embodiment, the reliability calculation unit 30 has a higher degree of similarity according to the degree of similarity between each detection result of the motion detection unit 20 and the standard operation of the person 10. High reliability 32a and 32b are imparted. Therefore, the reliability 32a and 32b can be calculated quantitatively.

また、本実施の形態に係る行動認識装置１によれば、信頼度算出部３０は、予め設定した値の範囲内で信頼度３２ａ、３２ｂを算出する。したがって、動き検出部２０の各検出結果に突発的な変動が発生した場合に、それに伴って信頼度３２ａ、３２ｂが突発的に変動するのを抑止することができる。 Further, according to the behavior recognition device 1 according to the present embodiment, the reliability calculation unit 30 calculates the reliability 32a and 32b within the range of the preset values. Therefore, when a sudden change occurs in each detection result of the motion detection unit 20, it is possible to prevent the reliability 32a and 32b from suddenly changing accordingly.

以上、本発明の実施の形態について説明したが、前記した実施の形態は、例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な実施の形態は、その他の様々な形態で実施されることが可能である。また、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、この実施の形態は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiments of the present invention have been described above, the above-described embodiments are presented as examples and are not intended to limit the scope of the present invention. This novel embodiment can be implemented in various other embodiments. In addition, various omissions, replacements, and changes can be made without departing from the gist of the invention. Further, this embodiment is included in the scope and gist of the invention, and is also included in the scope of the invention described in the claims and the equivalent scope thereof.

例えば、本実施の形態の例では、行動認識装置１は、ＣＰＵ５ａ（２ａ）が、各種処理を制御プログラムＰ２（Ｐ１）で実現することとしたが、その一部または全部を、ＩＣ（Integrated Circuit）等のハードウェアで実現してもよい。また、制御プログラムＰ２（Ｐ１）は、インストール可能な形式、または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ、ブルーレイディスク（登録商標）、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。ＤＶＤは、「Digital Versatile Disc」の略記である。また、制御プログラムＰ２（Ｐ１）は、インターネット等のネットワーク経由でインストールする形態で提供してもよい。また、制御プログラムＰ２（Ｐ１）は、機器内のＲＯＭ等に予め組み込んで提供してもよい。 For example, in the example of the present embodiment, in the action recognition device 1, the CPU 5a (2a) realizes various processes by the control program P2 (P1), but a part or all of them are IC (Integrated Circuit). ) And other hardware may be used. The control program P2 (P1) is a file in an installable format or an executable format, such as a CD-ROM, a flexible disk (FD), a CD-R, a DVD, a Blu-ray disk (registered trademark), or a semiconductor memory. It may be recorded and provided on a recording medium readable by a computer device. DVD is an abbreviation for "Digital Versatile Disc". Further, the control program P2 (P1) may be provided in the form of being installed via a network such as the Internet. Further, the control program P2 (P1) may be provided by incorporating it into a ROM or the like in the device in advance.

１行動認識装置（行動認識システム）
２センサタグ（第２のセンサ）
２ｄ加速度センサ
２ｅ角速度センサ
２ｆ気圧センサ
２ｇ地磁気センサ
３無線ＡＰ
４ａ、４ｂ、４ｃ、４ｉカメラ（第１のセンサ）
５サーバ（サーバ装置）
１０人（対象物）
２０動き検出部（動き検出装置）
２２センサデータ分析部
２４画像分析部
３０信頼度算出部
３２ａ、３２ｂ信頼度
４０行動認識部
Ｉａ、Ｉｂ、Ｉｃ、Ｉｉ画像 1 Behavior recognition device (behavior recognition system)
2 Sensor tag (second sensor)
2d accelerometer
2e Angular velocity sensor
2f barometric pressure sensor
2g geomagnetic sensor
3 Wireless AP
4a, 4b, 4c, 4i camera (first sensor)
5 Server (server device)
10 people (object)
20 Motion detection unit (motion detection device)
22 Sensor data analysis unit
24 Image Analysis Department
30 Reliability calculation unit
32a, 32b reliability
40 Behavior recognition unit Ia, Ib, Ic, Ii images

特許第５９０４０２１号公報Japanese Patent No. 5904021

Claims

Multiple motion detectors that detect the motion of an object,
Based on each detection result of the motion detection unit, a reliability calculation unit that imparts a fixed reliability according to the type of detection result, and a reliability calculation unit.
An action recognition unit that recognizes the behavior of the object based on each detection result of the motion detection unit and the reliability.
Behavior recognition device equipped with.

The motion detection unit includes at least one first sensor that images the object, and the motion detection unit.
Includes an image analysis unit that analyzes the movement of the object by analyzing the image captured by the first sensor.
The behavior recognition device according to claim 1.

The motion detection unit includes at least an acceleration sensor attached to the object, and a second sensor that outputs a detection result according to the motion of the object.
A sensor data analysis unit that analyzes the movement of the object by analyzing the output of the second sensor, and the like.
The behavior recognition device according to claim 2 , wherein the behavior recognition device is characterized by the above.

The action recognition unit determines the action based on the detection result having higher reliability at the same time among the reliability of the detection result of the movement of the object by the first sensor and the second sensor. Recognize as the behavior of an object,
The behavior recognition device according to claim 3 , wherein the behavior recognition device is characterized by the above.

The reliability calculation unit imparts a dynamically calculated reliability to the analysis result of the image analysis unit.
The behavior recognition device according to claim 2 , wherein the behavior recognition device is characterized by the above.

The reliability calculation unit imparts higher reliability to the analysis result of the image analysis unit according to the observation size of the object, as the observation size is larger.
The behavior recognition device according to claim 5 .

The reliability calculation unit imparts higher reliability as the degree of similarity is higher, depending on the degree of similarity between each detection result of the motion detection unit and the standard operation of the object.
The behavior recognition device according to claim 5 .

The reliability calculation unit calculates the reliability within a range of preset values.
The behavior recognition device according to any one of claims 5 to 7 , wherein the behavior recognition device is characterized by the above.

A behavior recognition system including a plurality of motion detection devices for detecting the movement of an object and a server device for recognizing the behavior of the object based on the detection result of each of the motion detection devices.
The server device is
Based on each detection result of the motion detection device, a reliability calculation unit that gives a fixed reliability according to the type of detection result, and a reliability calculation unit.
An action recognition unit that recognizes the behavior of the object based on each detection result of the motion detection device and the reliability.
Behavior recognition system with.

A motion detection step that detects the motion of an object by multiple motion detectors,
Based on each detection result of the motion detection step, a reliability calculation step that imparts a fixed reliability according to the type of detection result, and a reliability calculation step.
An action recognition step that recognizes the behavior of the object based on each detection result of the motion detection step and the reliability,
Behavior recognition methods including.

On the computer
Multiple motion detectors that detect the motion of an object,
Based on each detection result of the motion detection unit, a reliability calculation unit that imparts a fixed reliability according to the type of detection result, and a reliability calculation unit.
An action recognition unit that recognizes the behavior of the object based on each detection result of the motion detection unit and the reliability.
A program to execute.