JP4027294B2 - Moving object detection apparatus, moving object detection method, and moving object detection program - Google Patents
Moving object detection apparatus, moving object detection method, and moving object detection program Download PDFInfo
- Publication number
- JP4027294B2 JP4027294B2 JP2003335311A JP2003335311A JP4027294B2 JP 4027294 B2 JP4027294 B2 JP 4027294B2 JP 2003335311 A JP2003335311 A JP 2003335311A JP 2003335311 A JP2003335311 A JP 2003335311A JP 4027294 B2 JP4027294 B2 JP 4027294B2
- Authority
- JP
- Japan
- Prior art keywords
- moving
- image
- person
- fixed
- moving body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本発明は、移動体の移動位置及び当該移動体の所定部位の姿勢を検出する移動体検出装置、移動体検出方法及び移動体検出プログラム、特に、人物の移動位置及び頭部姿勢を検出する移動体検出装置、移動体検出方法及び移動体検出プログラムに関するものである。 The present invention relates to a moving body detection device, a moving body detection method, and a moving body detection program for detecting a moving position of a moving body and a posture of a predetermined part of the moving body, and in particular, a movement for detecting a moving position and a head posture of a person. The present invention relates to a body detection apparatus, a mobile body detection method, and a mobile body detection program.
人間が知覚する五感情報の中でも視覚情報は聴覚情報に並んで重要度が高いため、人間の体験及び行動の記録及び解析において映像情報の果たす役割は大きく、体験の記録にとって映像情報は不可欠である。また、映像情報には人の表情やジェスチャ、注視方向、人と物との位置関係など本人および周囲の環境に関する多くの情報が同時に含まれるため、記録手段としての利便性も高い。そのため、映像情報を利用して個人の行動や人間同士のインタラクションを記録する手法が広く検討されている。 Among the five senses perceived by humans, visual information is highly important along with auditory information, so video information plays a major role in recording and analyzing human experience and behavior, and video information is indispensable for recording experience. . In addition, since the video information includes a lot of information about the person and the surrounding environment such as the facial expression and gesture of the person, the gaze direction, and the positional relationship between the person and the object, it is highly convenient as a recording means. For this reason, methods for recording individual actions and human interactions using video information have been widely studied.
例えば、各人物および環境に取り付けられた多数のカメラと赤外線タグ等の他のセンサとから構成される移動体検出装置を用いて各人物の移動位置を検出し、人間の行動及び人間同士のインタラクションを記録及び解析するシステムが開発されている（非特許文献１参照）。
しかしながら、上記のシステムでは、検出対象物である人物等に赤外線タグを装着する必要があるため、システムの構成が複雑になるとともに、システムのコストが高くなる。また、上記のシステムでは、赤外線タグを用いた対象物の特定にとどまり、人間の移動位置及び頭部姿勢を検出することはできない。 However, in the above-described system, since it is necessary to attach an infrared tag to a person who is a detection target, the configuration of the system becomes complicated and the cost of the system increases. Further, in the above-described system, it is not possible to detect the moving position and the head posture of a human being, only specifying the object using the infrared tag.
本発明の目的は、簡略な構成で移動体の移動位置及び当該移動体の所定部位の姿勢を検出することができる移動体検出装置、移動体検出方法及び移動体検出プログラムを提供することである。 An object of the present invention is to provide a moving body detection apparatus, a moving body detection method, and a moving body detection program capable of detecting the moving position of a moving body and the posture of a predetermined part of the moving body with a simple configuration. .
本発明に係る移動体検出装置は、移動体の位置を特定するための位置特定情報を検出する位置検出手段と、位置検出手段により検出された位置特定情報を取得する位置特定情報取得手段と、移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段と、移動撮影手段により撮影された光軸方向の画像を移動画像として取得する移動画像取得手段と、位置特定情報取得手段により取得された位置特定情報及び移動画像取得手段により取得された移動画像を基に移動体の移動位置及び当該移動体の部位の姿勢を検出する検出手段とを備え、前記位置検出手段は、前記移動体が位置する空間内の構造物に固定された複数の固定撮影手段を含み、前記位置特定情報取得手段は、前記複数の固定撮影手段により撮影された移動体を含む画像を固定画像として取得する固定画像取得手段を含み、前記検出手段は、前記固定画像取得手段により取得された固定画像及び前記移動画像取得手段により取得された移動画像を用いて移動体の移動位置及び当該移動体の前記部位の姿勢を検出するものである。 A moving body detection apparatus according to the present invention includes position detection means for detecting position specifying information for specifying the position of a moving body, position specifying information acquisition means for acquiring position specifying information detected by the position detecting means, A moving photographing means having an optical axis attached to a predetermined part of the moving body and substantially coincided with a predetermined direction of the part, and a moving image obtaining means for obtaining an image in the optical axis direction photographed by the moving photographing means as a moving image If, e Bei and detection means for detecting the posture of parts of the moving position and the moving body of the moving body based on the movement image acquired by the position specifying information acquired by the position specifying information acquiring means and the moving image acquisition unit The position detecting means includes a plurality of fixed photographing means fixed to a structure in the space where the moving body is located, and the position specifying information acquiring means is photographed by the plurality of fixed photographing means. Fixed image acquisition means for acquiring an image including the moving body as a fixed image, and the detection means uses the fixed image acquired by the fixed image acquisition means and the moving image acquired by the moving image acquisition means Thus, the moving position of the moving body and the posture of the part of the moving body are detected .
本発明に係る移動体検出装置では、位置検出手段により検出された移動体の位置を特定するための位置特定情報を取得するとともに、移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得し、取得された位置特定情報及び移動画像を基に移動体の移動位置及び移動体の部位の姿勢を検出しているので、赤外線タグ等を用いることなく、簡略な構成で移動体の移動位置及び当該移動体の所定部位の姿勢を検出することができる。 In the mobile body detection apparatus according to the present invention, the position specifying information for specifying the position of the mobile body detected by the position detection means is acquired, and the mobile body detection apparatus is attached to a predetermined part of the mobile body and is substantially in a predetermined direction of the part. An image in the direction of the optical axis taken by the moving photographing means having the matched optical axis is acquired as a moving image, and the moving position of the moving body and the position of the moving body based on the acquired position specifying information and moving image Therefore, it is possible to detect the moving position of the moving body and the posture of the predetermined part of the moving body with a simple configuration without using an infrared tag or the like.
また、移動体が位置する空間内の構造物に固定された複数の固定撮影手段により撮影された移動体を含む画像を固定画像として取得するとともに、移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得し、取得された固定画像及び移動画像を基に移動体の移動位置及び移動体の部位の姿勢を検出しているので、画像情報を用いた簡略な構成で移動体の移動位置及び当該移動体の所定部位の姿勢を検出することができる。 In addition, an image including a moving body photographed by a plurality of fixed photographing means fixed to a structure in a space in which the moving body is located is acquired as a fixed image, and is attached to a predetermined part of the moving body and An image in the optical axis direction captured by a moving imaging unit having an optical axis substantially matched with a predetermined direction is acquired as a moving image, and the moving position of the moving object and the moving object are acquired based on the acquired fixed image and moving image. Since the posture of the part is detected, the moving position of the moving body and the posture of the predetermined part of the moving body can be detected with a simple configuration using image information.
移動体は人物を含み、固定撮影手段は人物が位置する空間内の構造物に固定され、固定画像取得手段は複数の固定撮影手段により撮影された人物を含む画像を固定画像として取得し、部位は人物の頭部を含み、移動撮影手段は人物の頭部に装着され且つ人物の視線方向に略一致させた光軸を有し、移動画像取得手段は移動撮影手段により撮影された人物の視線方向の画像を移動画像として取得し、検出手段は、固定画像上の人物の二次元位置を検出する第１の検出手段と、移動画像上の人物の二次元位置及び頭部姿勢変化量を検出する第２の検出手段と、人物の三次元位置及び頭部姿勢を検出する第３の検出手段とを含み、第１の検出手段は、固定画像取得手段により取得された固定画像及び第３の検出手段により検出された人物の三次元位置を用いて固定画像上の人物の二次元位置を検出し、第２の検出手段は、移動画像取得手段により取得された移動画像及び第３の検出手段により検出された人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出し、第３の検出手段は、固定画像取得手段により取得された固定画像及び第１の検出手段により検出された固定画像上の人物の二次元位置と、移動画像取得手段により取得された移動画像並びに第２の検出手段により検出された移動画像上の人物の二次元位置及び頭部姿勢変化量とを基に人物の三次元位置及び頭部姿勢を検出することことが好ましい。 The moving body includes a person, the fixed photographing unit is fixed to a structure in a space where the person is located, the fixed image obtaining unit obtains an image including the person photographed by the plurality of fixed photographing units as a fixed image, Includes the head of the person, the moving photographing means has an optical axis that is attached to the head of the person and substantially coincides with the direction of the line of sight of the person, and the moving image acquisition means is the line of sight of the person photographed by the moving photographing means. A direction image is acquired as a moving image, and the detection means detects a two-dimensional position of the person on the moving image, and a head posture change amount. Second detection means for performing detection, and third detection means for detecting the three-dimensional position and head posture of the person, wherein the first detection means includes the fixed image acquired by the fixed image acquisition means and the third detection means. The three-dimensional position of the person detected by the detection means The two-dimensional position of the person on the fixed image is detected by using the moving image acquired by the moving image acquiring means and the three-dimensional position of the person detected by the third detecting means. The two-dimensional position and head posture change amount of the person on the moving image are detected, and the third detection means detects the fixed image acquired by the fixed image acquisition means and the fixed image detected by the first detection means. Based on the two-dimensional position of the person, the moving image acquired by the moving image acquisition means, and the two-dimensional position and head posture change amount of the person on the moving image detected by the second detection means It is preferable to detect the original position and the head posture.
この場合、取得された固定画像及び検出された人物の三次元位置を用いて固定画像上の人物の二次元位置を検出し、取得された移動画像及び検出された人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出し、取得された固定画像及び検出された固定画像上の人物の二次元位置と、取得された移動画像並びに検出された移動画像上の人物の二次元位置及び頭部姿勢変化量とを基に人物の三次元位置及び頭部姿勢を検出しているので、各検出結果を相互に利用して固定画像上の人物の二次元位置、移動画像上の人物の二次元位置及び頭部姿勢変化量並びに人物の三次元位置及び頭部姿勢を高精度に検出することができ、簡略な構成で人物の三次元位置及び頭部姿勢を最終的に高精度に検出することができる。 In this case, the two-dimensional position of the person on the fixed image is detected using the acquired fixed image and the detected three-dimensional position of the person, and the acquired moving image and the detected three-dimensional position of the person are used. The two-dimensional position and head posture change amount of the person on the moving image are detected, the acquired fixed image, the two-dimensional position of the person on the detected fixed image, the acquired moving image, and the detected moving image Since the three-dimensional position and head posture of the person are detected based on the two-dimensional position of the upper person and the amount of head posture change, the detection results are mutually used to It is possible to detect the position, the two-dimensional position and head posture change amount of the person on the moving image, the three-dimensional position and head posture of the person with high accuracy, and the three-dimensional position and head posture of the person with a simple configuration. Can be finally detected with high accuracy.
第２の検出手段は、移動画像上に人物領域を設定し、人物領域の移動量と人物領域以外の背景領域の移動量とを基に移動画像上の人物の二次元位置及び頭部姿勢変化量を検出することが好ましい。この場合、移動画像上の人物の二次元位置及び頭部姿勢変化量を高精度に検出することができる。 The second detection means sets a person area on the moving image, and changes the two-dimensional position and head posture of the person on the moving image based on the movement amount of the person area and the movement amount of the background area other than the person area. It is preferred to detect the amount. In this case, the two-dimensional position and head posture change amount of the person on the moving image can be detected with high accuracy.
第３の検出手段は、時系列フィルタを用いて人物の三次元位置及び頭部姿勢を推定することが好ましい。この場合、固定撮影手段による観測情報及び移動撮影手段による観測情報を高精度に統合して人物の三次元位置及び頭部姿勢をより高精度に検出することができる。 The third detecting means preferably estimates the three-dimensional position and head posture of the person using a time series filter. In this case, the observation information from the fixed photographing means and the observation information from the moving photographing means can be integrated with high accuracy, and the three-dimensional position and head posture of the person can be detected with high accuracy.
本発明に係る移動体検出方法は、位置検出手段により検出された移動体の位置を特定す
るための位置特定情報を取得するステップと、移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得するステップと、取得された位置特定情報及び移動画像を基に移動体の移動位置及び当該移動体の部位の姿勢を検出するステップとを含み、前記位置検出手段は、前記移動体が位置する空間内の構造物に固定された複数の固定撮影手段を含み、前記位置特定情報を取得するステップは、前記複数の固定撮影手段により撮影された移動体を含む画像を固定画像として取得するステップを含み、前記移動体の移動位置及び当該移動体の前記部位の姿勢を検出するステップは、前記固定画像を取得するステップにおいて取得された固定画像及び前記移動画像を取得するステップにおいて取得された移動画像を用いて移動体の移動位置及び当該移動体の前記部位の姿勢を検出するステップを含むものである。
The moving body detection method according to the present invention includes a step of acquiring position specifying information for specifying the position of the moving body detected by the position detecting means, and a position attached to a predetermined part of the moving body and in a predetermined direction of the part. A step of acquiring, as a moving image, an image in the direction of the optical axis captured by a moving image capturing unit having a substantially matched optical axis, a moving position of the moving body based on the acquired position specifying information and the moving image, and the moving body see containing and detecting the site of the orientation, step said position detecting means, which comprises a plurality of fixed photographing means which is fixed to the structure of the space where the moving body is located, obtains the position specifying information Includes a step of acquiring, as a fixed image, an image including a moving body imaged by the plurality of fixed imaging means, and detecting a moving position of the moving body and an attitude of the part of the moving body. The step detects the moving position of the moving body and the posture of the part of the moving body using the fixed image acquired in the step of acquiring the fixed image and the moving image acquired in the step of acquiring the moving image. Includes steps .
本発明に係る移動体検出プログラムは、位置検出手段により検出された移動体の位置を特定するための位置特定情報を取得する位置特定情報取得手段と、移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得する移動画像取得手段と、位置特定情報取得手段により取得された位置特定情報及び移動画像取得手段により取得された移動画像を基に移動体の移動位置及び当該移動体の部位の姿勢を検出する検出手段としてコンピュータを機能させ、前記位置検出手段は、前記移動体が位置する空間内の構造物に固定された複数の固定撮影手段を含み、前記位置特定情報取得手段は、前記複数の固定撮影手段により撮影された移動体を含む画像を固定画像として取得する固定画像取得手段を含み、前記検出手段は、前記固定画像取得手段により取得された固定画像及び前記移動画像取得手段により取得された移動画像を用いて移動体の移動位置及び当該移動体の前記部位の姿勢を検出するものである。 The moving body detection program according to the present invention includes a position specifying information acquiring unit that acquires position specifying information for specifying the position of the moving body detected by the position detecting unit, a predetermined part of the moving body, and the portion A moving image acquisition unit that acquires, as a moving image, an image in the optical axis direction captured by a moving imaging unit having an optical axis substantially matched with a predetermined direction, and the position specification information and movement acquired by the position specification information acquisition unit The computer functions as detection means for detecting the movement position of the moving body and the posture of the part of the moving body based on the moving image acquired by the image acquisition means, and the position detection means is a space in which the moving body is located. A plurality of fixed photographing means fixed to the internal structure, wherein the position specifying information obtaining means fixes an image including a moving body photographed by the plurality of fixed photographing means. Fixed image acquisition means for acquiring as an image, wherein the detection means uses the fixed image acquired by the fixed image acquisition means and the moving image acquired by the moving image acquisition means, and the moving position of the moving body and the movement The posture of the body part is detected .
本発明によれば、取得された位置特定情報及び移動画像を基に移動体の移動位置及び移動体の部位の姿勢を検出しているので、赤外線タグ等を用いることなく、簡略な構成で移動体の移動位置及び当該移動体の所定部位の姿勢を検出することができる。 According to the present invention, since the moving position of the moving body and the posture of the moving body are detected based on the acquired position specifying information and the moving image, the moving body can be moved with a simple configuration without using an infrared tag or the like. The moving position of the body and the posture of the predetermined part of the moving body can be detected.
以下、本発明の一実施の形態による移動体検出装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による移動体検出装置の構成を示すブロック図である。なお、以下の説明では、移動体の一例として人物（人間）を例に説明するが、この例に特に限定されず、自立走行ロボット等の他の移動体にも本発明を同様に適用することができる。 Hereinafter, a moving object detection device according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a moving object detection apparatus according to an embodiment of the present invention. In the following description, a person (human) is described as an example of a moving body. However, the present invention is not particularly limited to this example, and the present invention is similarly applied to other moving bodies such as a self-supporting traveling robot. Can do.
図１に示す移動体検出装置は、固定画像処理部１、移動画像処理部２、追跡処理部３、固定画像取得部４、移動画像取得部５、複数の固定撮影部１１〜１ｍ及び複数の移動撮影部２１〜２ｎを備える。 1 includes a fixed image processing unit 1, a moving image processing unit 2, a tracking processing unit 3, a fixed image acquisition unit 4, a moving image acquisition unit 5, a plurality of fixed photographing units 11 to 1m, and a plurality of fixed image processing units. The mobile photographing units 21 to 2n are provided.
固定撮影部１１〜１ｍの各々は、移動体である人物が位置する部屋の壁及び天井等に固定されたビデオカメラ等から構成され、人物を含む全体状況等を表す画像を撮影して固定画像取得部４へ出力する。移動撮影部２１〜２ｎの各々は、人物の頭部に装着され且つ人物の視線方向に略一致させた光軸を有するＣＣＤカメラ等から構成され、人物の視線方向の画像を移動画像取得部５へ出力する。なお、本実施の形態では、複数の移動撮影部を用いているが、一つの移動撮影部のみを用いてもよい。 Each of the fixed photographing units 11 to 1m is composed of a video camera or the like fixed to a wall and a ceiling of a room where a person who is a moving body is located. Output to the acquisition unit 4. Each of the moving photographing units 21 to 2n includes a CCD camera or the like that is mounted on the head of the person and has an optical axis that is substantially coincident with the direction of the person's line of sight. Output to. In the present embodiment, a plurality of moving image capturing units are used, but only one moving image capturing unit may be used.
固定画像処理部１、移動画像処理部２、追跡処理部３、固定画像取得部４及び移動画像取得部５は、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、画像用インタフェース部等を備えるコンピュータ等から構成され、ＲＯＭ等に記憶されている固定画像処理プログラム、移動画像処理プログラム及び追跡処理プログラムをＣＰＵ等で実行することにより、固定画像処理部１、移動画像処理部２、追跡処理部３、固定画像取得部４及び移動画像取得部５として機能する。なお、固定画像処理部１、移動画像処理部２及び追跡処理部３等の構成は、上記の例に特に限定されず、専用のハードウエア等により構成してもよい。 The fixed image processing unit 1, moving image processing unit 2, tracking processing unit 3, fixed image acquisition unit 4 and moving image acquisition unit 5 are ROM (read only memory), CPU (central processing unit), RAM (random access memory). ), A fixed image processing unit 1, which is composed of a computer or the like provided with an image interface unit and the like, and which is stored in a ROM or the like, is executed by a CPU or the like. It functions as a moving image processing unit 2, a tracking processing unit 3, a fixed image acquisition unit 4, and a moving image acquisition unit 5. The configurations of the fixed image processing unit 1, the moving image processing unit 2, the tracking processing unit 3, and the like are not particularly limited to the above example, and may be configured by dedicated hardware or the like.
固定画像取得部４は、複数の固定撮影部１１〜１ｍにより撮影された人物を含む画像を固定画像として取得し、固定画像処理部１及び追跡処理部３へ出力する。移動画像取得部５は、複数の移動撮影部２１〜２ｎにより撮影された人物の視線方向の画像を移動画像として取得し、移動画像処理部２及び追跡処理部３へ出力する。 The fixed image acquisition unit 4 acquires an image including a person imaged by the plurality of fixed imaging units 11 to 1m as a fixed image, and outputs the acquired image to the fixed image processing unit 1 and the tracking processing unit 3. The moving image acquisition unit 5 acquires images of the person's line-of-sight direction captured by the plurality of moving imaging units 21 to 2n as moving images, and outputs them to the moving image processing unit 2 and the tracking processing unit 3.
固定画像処理部１は、固定画像取得部４により取得された固定画像及び追跡処理部３により検出された人物の三次元位置を用いて固定画像上の人物の二次元位置を検出する。移動画像処理部２は、移動画像取得部５により取得された移動画像及び追跡処理部３により検出された人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出する。このとき、移動画像処理部２は、移動画像上に人物領域を設定し、人物領域の移動量と人物領域以外の背景領域の移動量とから移動画像上の人物の二次元位置及び頭部姿勢変化量を検出する。 The fixed image processing unit 1 detects the two-dimensional position of the person on the fixed image using the fixed image acquired by the fixed image acquisition unit 4 and the three-dimensional position of the person detected by the tracking processing unit 3. The moving image processing unit 2 uses the moving image acquired by the moving image acquisition unit 5 and the three-dimensional position of the person detected by the tracking processing unit 3 to change the two-dimensional position and head posture change amount of the person on the moving image. Is detected. At this time, the moving image processing unit 2 sets a person area on the moving image, and determines the two-dimensional position and head posture of the person on the moving image from the movement amount of the person area and the movement amount of the background area other than the person area. Detect the amount of change.
追跡処理部３は、固定画像取得部４により取得された固定画像及び固定画像処理部１により検出された固定画像上の人物の二次元位置と、移動画像取得部５により取得された移動画像並びに移動画像処理部２により検出された移動画像上の人物の二次元位置及び頭部姿勢変化量とを基に人物の三次元位置及び頭部姿勢を検出する。このとき、追跡処理部３は、時系列フィルタ、例えば、カルマンフィルタを用いて人物の三次元位置及び頭部姿勢を推定する。なお、時系列フィルタは、カルマンフィルタに特に限定されず、他の時系列フィルタを用いてもよい。また、追跡処理部３は、固定画像取得部４により取得された固定画像及び移動画像取得部５により取得された移動画像を直接入力されるのではなく、固定画像処理部１及び移動画像処理部２により処理された位置情報等の観測情報を固定画像処理部１及び移動画像処理部２から取得し、固定画像及び移動画像ではなく、この観測情報を直接用いてもよい。 The tracking processing unit 3 includes the fixed image acquired by the fixed image acquisition unit 4, the two-dimensional position of the person on the fixed image detected by the fixed image processing unit 1, the moving image acquired by the moving image acquisition unit 5, The three-dimensional position and head posture of the person are detected based on the two-dimensional position and head posture change amount of the person on the moving image detected by the moving image processing unit 2. At this time, the tracking processing unit 3 estimates the three-dimensional position and head posture of the person using a time series filter, for example, a Kalman filter. The time series filter is not particularly limited to the Kalman filter, and other time series filters may be used. The tracking processing unit 3 does not directly input the fixed image acquired by the fixed image acquisition unit 4 and the moving image acquired by the moving image acquisition unit 5, but the fixed image processing unit 1 and the moving image processing unit. Observation information such as position information processed by 2 may be acquired from the fixed image processing unit 1 and the moving image processing unit 2, and this observation information may be directly used instead of the fixed image and the moving image.
本実施の形態では、固定撮影部１１〜１ｍが位置検出手段及び固定撮影手段の一例に相当し、移動撮影部２１〜２ｎが移動撮影手段の一例に相当し、固定画像取得部４が固定画像取得手段及び位置特定情報取得手段の一例に相当し、移動画像取得部５が移動画像取得手段の一例に相当し、固定画像処理部１、移動画像処理部２及び追跡処理部３が検出手段の一例に相当し、固定画像処理部１が第１の検出手段の一例に相当し、移動画像処理部２が第２の検出手段の一例に相当し、追跡処理部３が第３の検出手段の一例に相当する。 In the present embodiment, the fixed photographing units 11 to 1m correspond to an example of the position detection unit and the fixed photographing unit, the moving photographing units 21 to 2n correspond to an example of the moving photographing unit, and the fixed image acquisition unit 4 includes the fixed image. The moving image acquisition unit 5 corresponds to an example of the moving image acquisition unit, and the fixed image processing unit 1, the moving image processing unit 2, and the tracking processing unit 3 correspond to an example of the acquisition unit and the position specifying information acquisition unit. The fixed image processing unit 1 corresponds to an example of a first detection unit, the moving image processing unit 2 corresponds to an example of a second detection unit, and the tracking processing unit 3 corresponds to an example of a third detection unit. It corresponds to an example.
次に、図１に示す移動体検出装置において使用される世界座標系及びカメラ座標系について説明する。図２は、図１に示す移動体検出装置において使用される世界座標系及びカメラ座標系を示す模式図である。 Next, the world coordinate system and camera coordinate system used in the moving object detection apparatus shown in FIG. 1 will be described. FIG. 2 is a schematic diagram showing a world coordinate system and a camera coordinate system used in the moving object detection apparatus shown in FIG.
図２に示すように、全てのカメラに共通する座標系として、環境に固定された世界座標系（Ｘ，Ｙ，Ｚ）が設定され、各人物に装着した移動撮影部Ｃｉ（移動撮影部２１〜２ｎ）には画面上の軸をｘｉ，ｙｉ、光軸をｚｉとするカメラ座標系（ｘ，ｙ，ｚ）が設定される。なお、世界座標系は、移動体検出装置の使用環境及び使用目的等に応じて任意に設定される。 As shown in FIG. 2, a world coordinate system (X, Y, Z) fixed to the environment is set as a coordinate system common to all cameras, and a moving photographing unit C i (moving photographing unit) attached to each person 21 to 2n) is set with a camera coordinate system (x, y, z) where the axes on the screen are x i , y i and the optical axis is z i . The world coordinate system is arbitrarily set according to the use environment and purpose of use of the moving object detection apparatus.
上記の各座標系により、人物の頭部姿勢は世界座標系からカメラ座標系への相対姿勢θｉ＝〔αｉ，βｉ，γｉ〕として計算され、αｉ，βｉ，γｉはｚ，ｙ，ｚ軸の順に回転させたオイラー角である。また、頭部位置については、固定撮影部１１〜１ｍの観測情報により推定される人物の位置と移動撮影部２１〜２ｎの装着位置にはズレがあるため、以下のようにしてオフセットを考慮する。 With each of the coordinate systems described above, the human head posture is calculated as the relative posture θ i = [α i , β i , γ i ] from the world coordinate system to the camera coordinate system, and α i , β i , γ i are Euler angles rotated in the order of z, y and z axes. In addition, regarding the head position, since there is a difference between the position of the person estimated from the observation information of the fixed photographing units 11 to 1m and the mounting position of the moving photographing units 21 to 2n, the offset is considered as follows. .
まず、人物の頭部が頭部中心Ｘｐｉを中心に回転するものとし、固定撮影部１１〜１ｍから得られる世界座標系における人物の三次元位置をＸｉ、移動撮影部Ｃｉの装着位置をＸＣｉ、頭部姿勢θｉからなる回転行列をＲθｉ、Ｘｉ及びＸｐｉ間のオフセットをΔＸｉとし、ＸＣｉ及びＸｐｉ間のオフセットΔＸＣｉを予め測定しておくとすると、ＸＣｉは次式により計算できる。
ＸＣｉ＝Ｘｉ−ΔＸｉ＋ＲθｉΔＸＣｉ …（１）
First, it is assumed that the head of the person is rotated around the head center Xp i, the three-dimensional position of the person in the world coordinate system obtained from a fixed imaging section 11-1m X i, the mounting position of the moving imaging unit C i Is X Ci , the rotation matrix composed of head orientation θ i is Rθ i , the offset between X i and Xp i is ΔX i, and the offset ΔX Ci between X Ci and Xp i is measured in advance. Ci can be calculated by the following equation.
X Ci = X i −ΔX i + Rθ i ΔX Ci (1)
上記の世界座標系及びカメラ座標系を用いて、後述する固定画像処理部１による固定画像処理、移動画像処理部２による移動画像処理及び追跡処理部３による追跡処理がそれぞれ実行される。 Using the world coordinate system and the camera coordinate system, fixed image processing by the fixed image processing unit 1 described later, moving image processing by the moving image processing unit 2, and tracking processing by the tracking processing unit 3 are executed.
次に、図１に示す固定画像処理部１による固定画像処理について説明する。図３は、図１に示す固定画像処理部１による固定画像処理を説明するためのフローチャートである。ここでは、時刻ｔｓ＋１において固定撮影部１１〜１ｍのいずれかにより撮影が行われたものとする。 Next, fixed image processing by the fixed image processing unit 1 shown in FIG. 1 will be described. FIG. 3 is a flowchart for explaining the fixed image processing by the fixed image processing unit 1 shown in FIG. Here, it is assumed that photographing is performed by any one of the fixed photographing units 11 to 1m at time ts + 1.
まず、固定画像処理部１は、固定撮影部１１〜１ｍのいずれかにより撮影された固定画像Ｊｉ （ｔｓ＋１）を固定画像取得部４から取得し（ステップＳ１１）、取得した固定画像Ｊｉ （ｔｓ＋１）から背景差分により人物領域を検出して頭頂点ｘｈ，ｉ１ （ｔｓ＋１），…，ｘｈ，ｉＭ （ｔｓ＋１）を特徴点として抽出する特徴抽出処理を実行する（ステップＳ１２）。図４は、特徴抽出処理を説明するための模式図である。図４に示すように、各人物の頭頂点ＨＰ（図中の×印）が抽出される。 First, the fixed image processing unit 1 acquires the fixed image J i (ts + 1) captured by any of the fixed imaging units 11 to 1m from the fixed image acquisition unit 4 (step S11), and acquires the acquired fixed image J i ( A person region is detected from the background difference from ts + 1) , and a feature extraction process is performed to extract the head vertices xh, i1 (ts + 1) ,... , xh, iM (ts + 1) as feature points (step S12). FIG. 4 is a schematic diagram for explaining the feature extraction processing. As shown in FIG. 4, the head vertex HP (x mark in the figure) of each person is extracted.
次に、固定画像処理部１は、固定画像Ｊｉ （ｔｓ＋１）の観測時刻ｔｓ＋１を追跡処理部３へ送信し（ステップＳ１３）、各人物の三次元予測位置ＸＰ１ （ｔｓ＋１），…，ＸＰＮ （ｔｓ＋１）を追跡処理部３から取得する（ステップＳ１４）。 Next, the fixed image processing unit 1 transmits the observation time ts + 1 of the fixed image J i (ts + 1) to the tracking processing unit 3 (step S13), and the three-dimensional predicted positions XP 1 (ts + 1) ,. N (ts + 1) is acquired from the tracking processing unit 3 (step S14).
次に、固定画像処理部１は、各人物の三次元予測位置ＸＰ１ （ｔｓ＋１），…，ＸＰＮ （ｔｓ＋１）から固定画像上における各人物の二次元観測位置ｘｐｈ，１ （ｔｓ＋１），…，ｘｐｈ，Ｎ （ｔｓ＋１）を推定し（ステップＳ１５）、ステップＳ１２で抽出した特徴点ｘｈ，ｉ１ （ｔｓ＋１），…，ｘｈ，ｉＭ （ｔｓ＋１）と、推定した二次元観測位置ｘｐｈ，１ （ｔｓ＋１），…，ｘｐｈ，Ｎ （ｔｓ＋１）との対応付けを行う（ステップＳ１６）。 Next, the fixed image processing unit 1 uses the three-dimensional predicted positions XP 1 (ts + 1) ,..., XP N (ts + 1) of each person, and the two-dimensional observation positions xph , 1 (ts + 1) , .., Xph , N (ts + 1) are estimated (step S15), the feature points xh, i1 (ts + 1) ,... , Xh, iM (ts + 1) extracted in step S12 and the estimated two-dimensional observation position xp Association with h, 1 (ts + 1) ,..., xph , N (ts + 1) is performed (step S16).
次に、固定画像処理部１は、特徴点ｘｈ，ｉ１ （ｔｓ＋１），…，ｘｈ，ｉＭ （ｔｓ＋１）のうち対応付けができたものを追跡処理部３へ送信し（ステップＳ１７）、その後、ステップＳ１１以降の処理を繰り返し、固定撮影部１１〜１ｍのいずれかにより撮影された固定画像を順次処理していく。なお、対応付けができない特徴点については他の固定撮影部の固定画像を用いて対応する人物を発見して対応付けを行う。 Next, the fixed image processing unit 1 transmits the feature points xh, i1 (ts + 1) ,... , Xh, iM (ts + 1) that can be associated to the tracking processing unit 3 (step S17). Thereafter, the processing after step S11 is repeated, and the fixed images photographed by any of the fixed photographing units 11 to 1m are sequentially processed. For feature points that cannot be associated, a corresponding person is found using a fixed image of another fixed photographing unit and associated.
次に、図１に示す移動画像処理部２による移動画像処理について説明する。図５は、図１に示す移動画像処理部２による移動画像処理を説明するためのフローチャートである。ここでは、時刻ｔｓ＋１において移動撮影部２１〜２ｎのいずれかにより撮影が行われたものとする。 Next, moving image processing by the moving image processing unit 2 shown in FIG. 1 will be described. FIG. 5 is a flowchart for explaining the moving image processing by the moving image processing unit 2 shown in FIG. Here, it is assumed that photographing is performed by any of the moving photographing units 21 to 2n at time ts + 1.
まず、移動画像処理部２は、移動撮影部２１〜２ｎのいずれかにより撮影された移動画像Ｊｉ （ｔｓ＋１）を移動画像取得部５から取得し（ステップＳ２１）、移動画像Ｊｉ （ｔｓ＋１）の観測時刻ｔｓ＋１を追跡処理部３へ送信し（ステップＳ２２）、各人物の三次元予測位置ＸＰ１ （ｔｓ＋１），…，ＸＰＮ （ｔｓ＋１）を追跡処理部３から取得する（ステップＳ２３）。 First, the moving image processing unit 2 acquires the moving image J i (ts + 1) captured by any of the moving imaging units 21 to 2n from the moving image acquisition unit 5 (step S21), and the moving image J i (ts + 1). Observation time ts + 1 is transmitted to the tracking processing unit 3 (step S22), and the three-dimensional predicted positions XP 1 (ts + 1) ,..., XP N (ts + 1) of each person are acquired from the tracking processing unit 3 (step S23).
次に、移動画像処理部２は、前フレームの移動画像Ｊｉ （ｔｓ）内の各人物の投影領域Ｈｉ （ｔｓ）を算出し（ステップＳ２４）、その後、現フレームの移動画像Ｊｉ （ｔｓ＋１）内の各人物の投影領域Ｈｉ （ｔｓ＋１）及び背景の投影領域Ｂ（ｔｓ＋１）を算出する（ステップＳ２５）。 Next, the moving image processing unit 2 calculates the projection area H i (ts) of each person in the moving image J i (ts) of the previous frame (step S24), and then the moving image J i ( current frame). ts + 1) projection area H i (ts + 1 for each person in) and calculates a projected area B (ts + 1) of the background (step S25).
ここで、移動撮影部２１〜２ｎにより得られる観測情報として、移動画像上での周囲の人物の投影位置及び背景の変化量から頭部姿勢変化量を推定する方法について詳細に説明する。まず、人物ｋに装着した移動撮影部Ｃｋについて考える。なお、移動撮影部Ｃｋの内部パラメータは既知であるとし、時刻ｔｓ，ｔｓ＋１において移動撮影部Ｃｋにより撮影された移動画像Ｊｋ （ｔｓ），Ｊｋ （ｔｓ＋１）が得られたとする。図６は、移動画像の一例を示す図であり、（ａ）は時刻ｔｓにおける移動画像Ｊｋ （ｔｓ）であり、（ｂ）は時刻ｔｓ＋１における移動画像Ｊｋ （ｔｓ＋１）であり、図７は、図６に示す移動画像Ｊｋ （ｔｓ），Ｊｋ （ｔｓ＋１）を重ね合わせた図である。 Here, a method of estimating the head posture change amount from the projection position of the surrounding person on the moving image and the background change amount as the observation information obtained by the moving photographing units 21 to 2n will be described in detail. First, consider the moving photographing unit C k attached to the person k. It is assumed that the internal parameters of the moving image capturing unit C k are known and moving images J k (ts) and J k (ts + 1) captured by the moving image capturing unit Ck at the times ts and ts + 1 are obtained. FIG. 6 is a diagram illustrating an example of a moving image, where (a) is the moving image J k (ts) at time ts, (b) is the moving image J k (ts + 1) at time ts + 1, and FIG. FIG. 7 is a diagram in which moving images J k (ts) and J k (ts + 1) shown in FIG. 6 are superimposed.
このとき、時刻ｔｓまでの観測により、各人物ｉ（ｉ＝１，…，Ｎ）の位置推定値ＸＥｉ （ｔｓ）及び位置予測値ＸＰｉ （ｔｓ＋１）と、移動撮影部Ｃｋの姿勢推定値θｅｋ （ｔｓ）及び姿勢予測値θｐｋ （ｔｓ＋１）とが得られているとすると、移動画像Ｊｋ （ｔｓ），Ｊｋ （ｔｓ＋１）上で観測される人物ｉ（ｉ＝ｉ１，…，ｉＭ、Ｍは移動撮影部Ｃｋ上の投影人数）の予測投影領域Ｈｉ （ｔｓ），Ｈｉ （ｔｓ＋１）を推定することができる。但し、予測投影領域Ｈｉ （ｔｓ）内での人物ｉの頭頂点位置をｘｈ，ｉ （ｔｓ）、予測投影領域Ｈｉ （ｔｓ＋１）内での人物ｉの頭頂点位置をｘｈ，ｉ （ｔｓ＋１）とする。 At this time, the position estimation value XE i (ts) and the position prediction value XP i (ts + 1) of each person i (i = 1,..., N ) and the posture estimation of the moving image capturing unit C k are obtained by observation until time ts. Assuming that the value θe k (ts) and the posture prediction value θp k (ts + 1) are obtained, the person i (i = i 1 , ) observed on the moving images J k (ts) and J k (ts + 1) .., I M , M can be estimated projection areas H i (ts) , H i (ts + 1) of the number of projections on the moving photographing unit C k . However, the position of the head vertex of the person i in the predicted projection area H i (ts) is x h, i (ts) , and the position of the head vertex of the person i in the predicted projection area H i (ts + 1) is x h, i. Let (ts + 1) .
ここで、移動画像Ｊｋ （ｔｓ），Ｊｋ （ｔｓ＋１）間の人物領域の移動を表す行列をＡｉとすると、時刻ｔｓ＋１における人物ｉの投影領域Ｈｉ （ｔｓ＋１）は、次式で表される。ここで、ｘは人物領域Ｈｉに含まれる画素の二次元位置である。
Ｈｉ （ｔｓ＋１）＝｛Ａｉｘ｜ｘ ∈Ｈｉ （ｔｓ）｝ …（２）
Here, if the matrix representing the movement of the person area between the moving images J k (ts) and J k (ts + 1) is A i , the projection area H i (ts + 1) of the person i at time ts + 1 is expressed by the following equation. Is done. Here, x is a two-dimensional position of a pixel included in the person area H i .
H i (ts + 1) = {A i x | x ∈ H i (ts) } (2)
上記と同様に背景領域について考え、２画像間の観測時間差が小さいとすると、人物ｋ（移動撮影部Ｃｋ）の移動による背景領域の変化（運動視差）を無視することができ、背景領域の変化は、時刻ｔｓ，ｔｓ＋１間における移動撮影部の姿勢変化Δθｋによって決定される。ここで、背景の移動を表す行列をＡｂとすると、時刻ｔｓ＋１における背景領域Ｂ（ｔｓ＋１）は、次式で表される。
Ｂ（ｔｓ＋１）＝｛Ａｂｘ｜ｘ ∈Ｂ（ｔｓ）｝ …（３）
Considering the background area in the same manner as described above, if the observation time difference between the two images is small, the change in the background area (motion parallax) due to the movement of the person k (moving photographing unit C k ) can be ignored. The change is determined by the posture change Δθ k of the moving photographing unit between time ts and ts + 1. Here, the matrix representing the movement of the background and A b, the background area B at the time ts + 1 (ts + 1) is expressed by the following equation.
B (ts + 1) = {A b x | x ∈ B (ts) } (3)
ここで、Ｂ（ｔ）＝Ω−Ｕｉ＝ｉ１ ｉＭＨｉ （ｔｓ）であり、Ωは画像全体であり、Δθｋ＝〔Δαｋ，Δβｋ，Δγｋ〕は時刻ｔｓ，ｔｓ＋１間における移動撮影部Ｃｋの姿勢変化であり、Δαｋ，Δβｋ，Δγｋは、図７に示す移動撮影部Ｃｋのカメラ座標系におけるｘ，ｙ，ｚ軸回りの微小回転変化量である。 Here, B (t) = Ω−U i = i1 iM H i (ts) , Ω is the entire image, and Δθ k = [Δα k , Δβ k , Δγ k ] is between time ts and ts + 1. It is a posture change of the moving image capturing unit C k , and Δα k , Δβ k , Δγ k are minute rotation change amounts around the x, y, z axes in the camera coordinate system of the moving image capturing unit C k shown in FIG.
移動画像Ｊｋ （ｔｓ）の位置ｘの画素値をｐｋ （ｔｓ）（ｘ）とすると、人物領域及び背景領域のそれぞれについて下記の関係が成り立つ。
ｐｋ （ｔｓ）（ｘ）＝ｐｋ （ｔｓ＋１）（Ａｉｘ） （ｘ∈Ｈｉ （ｔｓ），ｉ＝ｉ１，…，ｉＭ） …（４）
ｐｋ （ｔｓ）（ｘ）＝ｐｋ （ｔｓ＋１）（Ａｂｘ） （ｘ∈Ｂ（ｔｓ）） …（５）
If the pixel value at the position x of the moving image J k (ts) is p k (ts) (x), the following relationship is established for each of the person area and the background area.
p k (ts) (x) = p k (ts + 1) (A i x) (x∈H i (ts) , i = i 1 ,..., i M ) (4)
p k (ts) (x) = p k (ts + 1) (A b x) (x∈B (ts) ) (5)
ここで、時刻ｔｓ，ｔｓ＋１間における移動撮影部Ｃｋの姿勢変化Δθｋを既知とすると、移動画像Ｊｋ （ｔｓ），Ｊｋ （ｔｓ＋１）間では下式の関係が得られる。 Here, assuming that the posture change Δθ k of the moving image capturing unit C k between the times ts and ts + 1 is known, the following relationship is obtained between the moving images J k (ts) and J k (ts + 1) .
実際の観測では、各人物の位置及び姿勢の推定値及び予測値に誤差が含まれるため、各人物の予測投影領域Ｈｉ （ｔｓ），Ｈｉ （ｔｓ＋１）に正確には投影されない。このため、各人物について予測投影位置からの誤差をΔｘ（ｔｓ），Δｘ（ｔｓ＋１）として、予測位置の周辺を探索することにより、画像上での人物ｉの投影位置を決定する。 In actual observation, since an error is included in the estimated value and predicted value of the position and orientation of each person, they are not accurately projected onto the predicted projection areas H i (ts) and H i (ts + 1) of each person. Therefore, the projection position of the person i on the image is determined by searching the vicinity of the predicted position with Δx (ts) and Δx (ts + 1) as errors from the predicted projected position for each person.
背景の移動量は、背景領域の変換行列Ａｂに関する最小化により推定されるが、変換行列ＡｂはΔθｋの関数であるから、Δθｋ＝〔Δαｋ，Δβｋ，Δγｋ〕について探索することにより、背景の変化量すなわち頭部姿勢の変化量を推定することができる。すなわち、下式を最小化することにより移動画像上での各人物の投影位置及び頭部姿勢変化量Δθｋを推定することができる。 The amount of movement of the background, but is estimated by minimizing about the conversion matrix A b of the background region, because the transformation matrix A b is a function of [Delta] [theta] k, [Delta] [theta] k = [Δα k, Δβ k, Δγ k] search for By doing so, the amount of change in the background, that is, the amount of change in the head posture can be estimated. That is, by minimizing the following expression, it is possible to estimate the projection position and head posture change amount Δθ k of each person on the moving image.
再び、図５を参照して、次に、移動画像処理部２は、各投影領域の近傍の画素を比較して上記の式（７）を最小にするΔｘｐｉ１ （ｔｓ＋１），…，ΔｘｐｉＭ （ｔｓ＋１），Δθｐを求め（ステップＳ２６）、式（８）を用いて予測投影位置ｘｐｈ，ｉ１ （ｔｓ＋１），…，ｘｐｈ，ｉＭ （ｔｓ＋１）を算出する（ステップＳ２７）。 Referring to FIG. 5 again, next, the moving image processing unit 2 compares Δxp i1 (ts + 1) ,..., Δxp iM that compares the pixels in the vicinity of each projection region and minimizes the above equation (7). (Ts + 1) and Δθp are obtained (step S26), and predicted projection positions xph , i1 (ts + 1) ,..., Xph , iM (ts + 1) are calculated using equation (8) (step S27).
次に、移動画像処理部２は、上記のようにして求めたｘｐｈ，ｉ１ （ｔｓ＋１），…，ｘｐｈ，ｉＭ （ｔｓ＋１）及びΔθｐを投影位置ｘｈ，ｉ１ （ｔｓ＋１），…，ｘｈ，ｉＭ （ｔｓ＋１）及び頭部姿勢変化量Δθｋ （ｔｓ＋１）として追跡処理部３へ送信し（ステップＳ２８）、各人物の三次元推定位置ＸＥ１ （ｔｓ＋１），…，ＸＥＮ （ｔｓ＋１）を追跡処理部３から取得し（ステップＳ２９）、その後、ステップＳ２１以降の処理を繰り返し、移動撮影部２１〜２ｎのいずれかにより撮影された移動画像を順次処理していく。 Next, the moving image processing unit 2 uses xph , i1 (ts + 1) ,..., Xph , iM (ts + 1) and Δθp obtained as described above as projection positions xh , i1 (ts + 1) ,. h, iM (ts + 1) and head posture change amount Δθ k (ts + 1) are transmitted to the tracking processing unit 3 (step S28), and the three-dimensional estimated positions XE 1 (ts + 1) ,..., XE N (ts + 1) of each person Is acquired from the tracking processing unit 3 (step S29), and thereafter, the processing after step S21 is repeated, and the moving images captured by any of the moving imaging units 21 to 2n are sequentially processed.
次に、図１に示す追跡処理部３による追跡処理について説明する。図８は、図１に示す追跡処理部３による追跡処理を説明するためのフローチャートである。 Next, the tracking process by the tracking processing unit 3 shown in FIG. 1 will be described. FIG. 8 is a flowchart for explaining the tracking processing by the tracking processing unit 3 shown in FIG.
まず、追跡処理部３は、固定画像処理部１又は移動画像処理部２から送信された観測時刻ｔｓ＋１を受信し（ステップＳ３１）、既に求めている時刻ｔｓにおける人物の三次元推定位置ＸＥ１ （ｔｓ），…，ＸＥＮ （ｔｓ）及び頭部推定姿勢θｅ１ （ｔｓ），…，θｅＮ （ｔｓ）から時刻ｔｓ＋１における人物の三次元予測位置ＸＰ１ （ｔｓ＋１），…，ＸＰＮ （ｔｓ＋１）及び頭部予測姿勢θｐ１ （ｔｓ＋１），…，θｐＮ （ｔｓ＋１）を予測し（ステップＳ３２）、予測した人物の三次元予測位置ＸＰ１ （ｔｓ＋１），…，ＸＰＮ （ｔｓ＋１）及び頭部予測姿勢θｐ１ （ｔｓ＋１），…，θｐＮ （ｔｓ＋１）を固定画像処理部１又は移動画像処理部２へ送信する（ステップＳ３３）。 First, the tracking processing unit 3 receives the observation time ts + 1 transmitted from the fixed image processor 1 or the moving image processing unit 2 (step S31), the person at time ts which has already determined the three-dimensional position estimate XE 1 ( ts), ..., XE N ( ts) and the head estimated posture θe 1 (ts), ..., a three-dimensional estimated position of the person from θe N (ts) at the time ts + 1 XP 1 (ts + 1), ..., XP N (ts + 1 ) and head predicted position θp 1 (ts + 1), ..., predicts θp N (ts + 1) (step S32), the three-dimensional estimated position of the person who predicted XP 1 (ts + 1), ..., XP N (ts + 1) and head part predicted position θp 1 (ts + 1), ..., transmits theta] p N a (ts + 1) to the fixed image processor 1 or the moving image processing unit 2 (step S33).
次に、追跡処理部３は、固定画像取得部４又は移動画像取得部５から観測情報を受信し（ステップＳ３４）、受信した観測情報が固定画像取得部４から送信された観測情報であるか否かを判断し（ステップＳ３５）、受信した観測情報が固定画像取得部４から送信された観測情報である場合はステップＳ３６へ処理を移行し、受信した観測情報が移動画像取得部５から送信された観測情報である場合はステップＳ３８へ処理を移行する。 Next, the tracking processing unit 3 receives the observation information from the fixed image acquisition unit 4 or the moving image acquisition unit 5 (step S34), and whether the received observation information is the observation information transmitted from the fixed image acquisition unit 4 If the received observation information is the observation information transmitted from the fixed image acquisition unit 4, the process proceeds to step S 36, and the received observation information is transmitted from the moving image acquisition unit 5. If it is the observed information, the process proceeds to step S38.
ここで、固定撮影部１１〜１ｍによる観測結果と移動撮影部２１〜２ｎによる観測結果を、カルマンフィルタを用いて統合することにより、シーン中の各人物の三次元位置を推定する処理について詳細に説明する。 Here, the process of estimating the three-dimensional position of each person in the scene by integrating the observation results from the fixed photographing units 11 to 1m and the observation results from the moving photographing units 21 to 2n using the Kalman filter will be described in detail. To do.
シーン中にＮ人が存在する場合、系全体の状態ベクトルＸは下式で表される。
Ｘ＝〔Ｘ１ θ１ ｄＸ１ ｄθ１ … ＸＮ θＮ ｄＸＮ ｄθＮ〕 …（９）
When there are N persons in the scene, the state vector X of the entire system is expressed by the following equation.
X = [X 1 θ 1 dX 1 dθ 1 ... X N θ N dX N dθ N ] (9)
ここで、Ｘｉ及びθｉは人物ｉの位置及び頭部姿勢であり、ｄＸｉ及びｄθｉはそれぞれの速度である。 Here, X i and θ i are the position and head posture of the person i, and dX i and dθ i are the respective velocities.
時刻ｔｓから時刻ｔｓ＋１への状態遷移行列をＦとし、時刻ｔｓの状態ベクトルＸｔｓの推定値をＸＥｔｓとし、時刻ｔ＋１の予測値をＸＰｔｓ＋１とすると、
ＸＰｔｓ＋１＝ＦＸＥｔｓ …（１０）
ＰＰｔｓ＋１＝ＦＰＥｔｓＦ’＋Ｑ …（１１）
If the state transition matrix from time ts to time ts + 1 is F, the estimated value of state vector X ts at time ts is XE ts, and the predicted value at time t + 1 is XP ts + 1 ,
XP ts + 1 = FXE ts (10)
PP ts + 1 = FPE ts F ′ + Q (11)
ここで、Δｔ＝（ｔｓ＋１）−（ｔｓ）であり、Ｑは状態遷移の共分散であり、ＰＥはＸＥの共分散である。 Here, Δt = (ts + 1) − (ts), Q is a covariance of state transitions, and PE is a covariance of XE.
次に、ある固定撮影部又は移動撮影部において観測が得られた場合、観測ベクトルをＺ、観測行列をＨ、観測誤差をｅとすると、下式の関係が得られる。
Ｚ＝ＨＸ＋ｅ …（１３）
Next, when observation is obtained in a certain fixed photographing unit or moving photographing unit, the relationship of the following equation is obtained, assuming that the observation vector is Z, the observation matrix is H, and the observation error is e.
Z = HX + e (13)
上記の結果から、Ｋをカルマンゲイン、Ｒを観測誤差とすると、状態ベクトルは下式により更新される。
ＸＥｔｓ＝ＸＰｔｓ−１＋Ｋｔｓ（Ｚｔｓ−ＨＸＰｔｓ−１） …（１４）
Ｋｔｓ＝ＰＰｔｓ−１Ｈ’（ＨＰＰｔｓ−１Ｈ’＋Ｅｔ）−１ …（１５）
ＰＥｔｓ＝ＰＰｔｓ−１−ＫｔＨＰＰｔｓ−１ …（１６）
From the above results, when K is the Kalman gain and R is the observation error, the state vector is updated by the following equation.
XE ts = XP ts−1 + K ts (Z ts −HXP ts−1 ) (14)
K ts = PP ts−1 H ′ (HPP ts−1 H ′ + E t ) −1 (15)
PE ts = PP ts-1 -K t HPP ts-1 (16)
ここで、固定撮影部１１〜１ｍによる観測に用いられる観測ベクトルＺ及び観測行列Ｈについて説明する。図９は、図１に示す固定撮影部１１〜１ｍに対する観測モデルを説明するための模式図である。時刻ｔｓ＋１において固定撮影部により人物ｊに関する観測が得られた場合、時刻ｔｓにおける人物ｊの位置推定値をＸＥｊ （ｔ）、固定画像上の二次元観測位置をｘｈ，ｊとすると、固定撮影部のレンズ中心Ｃと姿勢情報から、世界座標系上における観測方向（レンズ中心Ｃと固定画像上の点ｘｈ，ｊとを結ぶ直線）を決定することができ、この方向を２つの角度φ，θで表す。但し、φは人物ｊの観測方向とＹ−Ｚ平面とのなす角であり、θは人物ｊの観測方向のＹ−Ｚ平面への投影とＺ軸とのなす角である。また、φ，θによる回転行列をＲφ、Ｒθとすると、Ｒφ，Ｒθは人物ｊの観測方向をｚ軸と平行にする回転行列となる。 Here, the observation vector Z and the observation matrix H used for observation by the fixed photographing units 11 to 1m will be described. FIG. 9 is a schematic diagram for explaining an observation model for the fixed photographing units 11 to 1m shown in FIG. When observation regarding the person j is obtained by the fixed photographing unit at time ts + 1, if the position estimated value of the person j at time ts is XE j (t) and the two-dimensional observation position on the fixed image is x h, j , the fixed position is fixed. An observation direction (a straight line connecting the lens center C and the point xh, j on the fixed image) on the world coordinate system can be determined from the lens center C of the photographing unit and the posture information, and this direction is determined by two angles. Represented by φ and θ. Here, φ is an angle formed by the observation direction of the person j and the YZ plane, and θ is an angle formed by projection of the observation direction of the person j on the YZ plane and the Z axis. If the rotation matrix by φ and θ is Rφ and Rθ, Rφ and Rθ are rotation matrices that make the observation direction of the person j parallel to the z-axis.
ここで、固定撮影部によって人物ｊが観測された場合の観測ベクトルＺを下式で表す。 Here, the observation vector Z when the person j is observed by the fixed photographing unit is expressed by the following equation.
このとき、固定撮影部の三次元位置をＣ＝〔ｘｃ，ｙｃ，ｚｃ〕とすると、回転行列Ｒφ及びＲθによりＸｊ （ｔ）及びＣはｚ軸に平行な直線上に移るため、下式の関係が得られる。 At this time, if the three-dimensional position of the fixed photographing unit is C = [x c , y c , z c ], X j (t) and C move on a straight line parallel to the z axis by the rotation matrices Rφ and Rθ. The following relationship is obtained.
ここで、ｅは観測誤差、Ｉ３は三次元の単位行列、０ｉ，ｊはｉ×ｊ要素からなるゼロ行列である。 Here, e is an observation error, I 3 is a three-dimensional unit matrix, and 0 i, j is a zero matrix composed of i × j elements.
次に、移動撮影部２１〜２ｎによる観測に用いられる観測ベクトルＺ及び観測行列Ｈについて説明する。図１０及び図１１は、図１に示す移動撮影部２１〜２ｎに対する第１及び第２の観測モデルを説明するための模式図である。時刻ｔｓ＋１において人物ｋが装着している移動撮影部Ｃｋにより人物ｊが観測された場合、連続する２フレーム間での頭部姿勢の変動は微小であり、移動撮影部Ｃｋの光軸（ｚ軸）と世界座標系Ｘ−Ｙ平面とのなす角が小さいと仮定すると、移動撮影部Ｃｋの姿勢αｋは世界座標系Ｚ軸回転で、βｋはＺ軸に垂直なＸ−Ｙ平面上の軸回転の角度で近似できる。 Next, the observation vector Z and the observation matrix H used for observation by the moving imaging units 21 to 2n will be described. 10 and 11 are schematic diagrams for explaining the first and second observation models for the moving photographing units 21 to 2n shown in FIG. When the person j is observed by the moving photographing unit C k worn by the person k at the time ts + 1, the variation in the head posture between two consecutive frames is very small, and the optical axis of the moving photographing unit C k ( When z-axis) and assuming that the angle between the world coordinate system the X-Y plane is small, the attitude alpha k of the moving imaging unit C k in the world coordinate system Z-axis rotation, beta k is Z perpendicular to the axis of X-Y It can be approximated by the angle of axial rotation on the plane.
時刻ｔｓ＋１における観測により、移動撮影部Ｃｋの相対姿勢変化Δθｋ＝〔Δαｋ，Δβｋ，Δγｋ〕とカメラ座標系ｚ軸に対する人物ｊの観測方向がなす角φ，ψが得られたとし、人物ｋ，ｊの予測位置をＸＰｋ，ＸＰｊ、推定位置をＸＥｋ，ＸＥｊとし、図１０を参照して姿勢αについて考える。 By observation at time ts + 1, it is assumed that the relative orientation changes Δθ k = [Δα k , Δβ k , Δγ k ] of the moving image capturing unit C k and angles φ and ψ formed by the observation direction of the person j with respect to the camera coordinate system z-axis are obtained. Then, assuming that the predicted positions of the persons k and j are XP k and XP j and the estimated positions are XE k and XE j , the posture α is considered with reference to FIG.
ここで、Ｘ−Ｙ平面上で（ＸＰｊ−ＸＰｋ）に直交する単位ベクトル（ｐ，ｑ）を下記のように定義する。
ｌα＝（（ｘｐｊ−ｘｐｋ）２＋（ｙｐｊ−ｙｐｋ）２）１／２ …（２０）
ｐ＝（ｙｐｊ−ｙｐｋ）／ｌα，ｑ＝−（ｘｐｊ−ｘｐｋ）／ｌα …（２１）
Here, a unit vector (p, q) orthogonal to (XP j −XP k ) on the XY plane is defined as follows.
lα = ((xp j −xp k ) 2 + (yp j −yp k ) 2 ) 1/2 (20)
p = (yp j −yp k ) / lα, q = − (xp j −xp k ) / lα (21)
上記のｐ，ｑを用いて、図１０中のΔφは下式で表される。
Δφ＝（ｐ／ｌα）（ｙｅｊ−ｙｅｋ）＋（ｑ／ｌα）（ｘｅｊ−ｘｅｋ） …（２２）
Using the above p and q, Δφ in FIG. 10 is expressed by the following equation.
Δφ = (p / lα) (ye j −ye k ) + (q / lα) (x e j −x e k ) (22)
したがって、α，φに関して以下の関係が得られる。
αｋ＋Δαｋ＝ｔａｎ−１（（ｙｐｊ−ｙｐｋ）／（ｘｐｊ−ｘｐｋ））＋φ＋（ｐ／ｌα）（ｙｅｊ−ｙｅｋ）＋（ｑ／ｌα）（ｘｅｊ−ｘｅｋ） …（２３）
Therefore, the following relationship is obtained with respect to α and φ.
α k + Δα k = tan −1 ((yp j −yp k ) / (xp j −xp k )) + φ + (p / lα) (ye j −ye k ) + (q / lα) (x e j −x e k ... (23)
同様に、図１１に示すβ，ψに関して以下の関係が得られる。
βｋ＋Δβｋ＝ｔａｎ−１（（ｚｐｊ−ｚｐｋ）／（（ｘｐｊ ２＋ｙｐｊ ２）１／２−（ｘｐｋ ２＋ｙｐｋ ２）１／２））＋ψ＋（ｒ／ｌβ）（ｚｅｊ−ｚｅｋ）＋（ｓ／ｌβ）（ｘｅｊ−ｘｅｋ） …（２４）
Similarly, the following relationship is obtained with respect to β and ψ shown in FIG.
β k + Δβ k = tan −1 ((zp j −zp k ) / ((xp j 2 + yp j 2 ) 1/2 − (xp k 2 + yp k 2 ) 1/2 )) + ψ + (r / lβ) ( ze j −ze k ) + (s / lβ) (x e j −x e k ) (24)
上記の結果から、ｅを観測誤差とすると、下式が得られる。 From the above results, when e is an observation error, the following equation is obtained.
再び、図８を参照して、受信した観測情報が固定画像取得部４から送信された観測情報である場合、追跡処理部３は、上記の式（１９）から固定撮影部１１〜１ｍによる観測に用いられる観測行列Ｈを生成し（ステップＳ３６）、観測行列Ｈと特徴点ｘｈ，ｉ１ （ｔｓ＋１），…，ｘｈ，ｉＭ （ｔｓ＋１）とにより人物モデルを更新して人物の三次元推定位置ＸＥ１ （ｔｓ＋１），…，ＸＥＮ （ｔｓ＋１）を算出し（ステップＳ３７）、その後、ステップＳ３１以降の処理を繰り返す。 Referring to FIG. 8 again, when the received observation information is the observation information transmitted from the fixed image acquisition unit 4, the tracking processing unit 3 performs the observation by the fixed imaging units 11 to 1m from the above equation (19). Is generated (step S36), and the person model is updated with the observation matrix H and the feature points xh, i1 (ts + 1) ,... , Xh, iM (ts + 1), and the person is three-dimensionally estimated. The positions XE 1 (ts + 1) ,..., XE N (ts + 1) are calculated (step S37), and then the processing after step S31 is repeated.
一方、受信した観測情報が移動画像取得部５から送信された観測情報である場合、追跡処理部３は、上記の式（２７）、（２８）から移動撮影部２１〜２ｎによる観測に用いられる観測行列Ｈを生成し（ステップＳ３８）、観測行列Ｈと投影位置ｘｈ，ｉ１ （ｔｓ＋１），…，ｘｈ，ｉＭ （ｔｓ＋１）及び頭部姿勢変化量Δθｋ （ｔｓ＋１）とにより人物モデルを更新して人物の三次元推定位置ＸＥ１ （ｔｓ＋１），…，ＸＥＮ （ｔｓ＋１）及び頭部推定姿勢θｅ１ （ｔｓ＋１），…，θｅＮ （ｔｓ＋１）を算出する（ステップＳ３９）。 On the other hand, when the received observation information is the observation information transmitted from the moving image acquisition unit 5, the tracking processing unit 3 is used for observation by the moving imaging units 21 to 2n from the above formulas (27) and (28). An observation matrix H is generated (step S38), and a human model is obtained from the observation matrix H, the projection positions x h, i1 (ts + 1) ,..., X h, iM (ts + 1) and the head posture change amount Δθ k (ts + 1). The three-dimensional estimated positions XE 1 (ts + 1) ,..., XE N (ts + 1) and head estimated postures θe 1 (ts + 1) ,..., Θe N (ts + 1) are calculated by updating (step S39).
次に、追跡処理部３は、人物の三次元推定位置ＸＥ１ （ｔｓ＋１），…，ＸＥＮ （ｔｓ＋１）を移動画像処理部２へ送信し（ステップＳ４０）、その後、ステップＳ３１以降の処理を繰り返す。 Next, the tracking processing unit 3 transmits the three-dimensional estimated positions XE 1 (ts + 1) ,..., XE N (ts + 1) of the person to the moving image processing unit 2 (step S40), and thereafter the processing after step S31 is performed. repeat.
上記の各処理により、本実施の形態では、固定画像処理部１により固定画像及び人物の三次元位置を用いて固定画像上の人物の二次元位置を検出し、移動画像処理部２により移動画像及び人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出し、追跡処理部３により固定画像及び固定画像上の人物の二次元位置と、移動画像並びに移動画像上の人物の二次元位置及び頭部姿勢変化量とを用いて人物の三次元位置及び頭部姿勢を検出しているので、各検出結果を相互に利用して固定画像上の人物の二次元位置、移動画像上の人物の二次元位置及び頭部姿勢変化量並びに人物の三次元位置及び頭部姿勢を高精度に検出することができ、簡略な構成で人物の三次元位置及び頭部姿勢を最終的に高精度に検出することができる。 Through the above processes, in the present embodiment, the fixed image processing unit 1 detects the two-dimensional position of the person on the fixed image using the fixed image and the three-dimensional position of the person, and the moving image processing unit 2 moves the moving image. And the two-dimensional position of the person on the moving image and the head posture change amount are detected using the three-dimensional position of the person, and the tracking processing unit 3 detects the two-dimensional position of the person on the fixed image and the fixed image, the moving image, and Since the three-dimensional position and head posture of the person are detected using the two-dimensional position and head posture change amount of the person on the moving image, the detection results of the person on the fixed image are mutually used. The two-dimensional position, the two-dimensional position of the person on the moving image and the head posture change amount, the three-dimensional position and the head posture of the person can be detected with high accuracy, and the three-dimensional position and head of the person can be detected with a simple configuration. The head position can be finally detected with high accuracy. Kill.
次に、上記の移動体検出装置の検出精度について具体例を挙げて説明する。図１２乃至図１４は、図１に示す移動体検出装置による三次元位置及び頭部姿勢の第１乃至第３の検出結果を示す図である。本例は、３人の人物Ａ〜Ｃが部屋の中を移動しているときに、複数の固定撮影部により人物Ａ〜Ｃの固定画像を撮影するとともに、人物Ａ，Ｂが移動撮影部を頭部に装着し、人物Ｃは移動撮影部を装着せず、人物Ａ，Ｂの移動撮影部により移動画像を撮影した例であり、図１２は人物Ａの三次元位置及び頭部姿勢の検出結果を示し、図１３は人物Ｂの三次元位置及び頭部姿勢の検出結果を示し、図１４は人物Ｃの三次元位置の検出結果を示している。また、各図において、実線は、図１に示す移動体検出装置の三次元位置及び頭部姿勢の検出結果を示し、破線は、比較例として従来の光学マーカを用いたモーションキャプチャシステムによる三次元位置及び頭部姿勢の検出結果を示している。 Next, the detection accuracy of the above mobile body detection device will be described with a specific example. 12 to 14 are diagrams illustrating first to third detection results of the three-dimensional position and the head posture by the moving body detection device illustrated in FIG. In this example, when three persons A to C are moving in a room, the fixed images of the persons A to C are shot by a plurality of fixed shooting sections, and the persons A and B are moved to the moving shooting section. FIG. 12 shows an example in which the person C wears a moving image by the moving photographing unit of the persons A and B without wearing the moving photographing unit, and FIG. FIG. 13 shows the detection result of the three-dimensional position and head posture of the person B, and FIG. 14 shows the detection result of the three-dimensional position of the person C. Moreover, in each figure, a continuous line shows the detection result of the three-dimensional position and head attitude | position of the moving body detection apparatus shown in FIG. 1, and a broken line shows the three-dimensional by the motion capture system using the conventional optical marker as a comparative example. The detection result of a position and a head posture is shown.
図１２乃至図１４から、人物Ａ〜Ｃの三次元位置及び頭部姿勢を高精度に検出できたことがわかり、このときの姿勢推定誤差の平均は８．１ｄｅｇ、位置推定誤差の平均は１０．４ｃｍであった。 12 to 14, it can be seen that the three-dimensional positions and head postures of the persons A to C can be detected with high accuracy. The average posture estimation error at this time is 8.1 deg, and the average position estimation error is 10 4 cm.
なお、上記の説明では、頭部姿勢として３軸の検出を行ったが、１軸又は２軸のみ検出するようにしてもよい。また、固定撮影部１１〜１ｍ及び固定画像取得部４により固定画像を取得したが、固定画像に代えて又は加えて、位置センサ等の他のセンサにより検出された移動体の位置を特定するための位置特定情報、例えば、移動体の三次元位置等を取得することにより、移動体の移動位置及び当該移動体の所定部位の姿勢を検出するようにしてもよい。 In the above description, three axes are detected as the head posture, but only one or two axes may be detected. Moreover, although the fixed image was acquired by the fixed imaging | photography parts 11-1m and the fixed image acquisition part 4, in order to pinpoint the position of the mobile body detected by other sensors, such as a position sensor, instead of or in addition to a fixed image By acquiring the position specifying information, for example, the three-dimensional position of the moving body, the moving position of the moving body and the posture of the predetermined part of the moving body may be detected.
１ 固定画像処理部
２ 移動画像処理部
３ 追跡処理部
４ 固定画像取得部
５ 移動画像取得部
１１〜１ｍ 固定撮影部
２１〜２ｎ 移動撮影部
DESCRIPTION OF SYMBOLS 1 Fixed image processing part 2 Moving image processing part 3 Tracking processing part 4 Fixed image acquisition part 5 Moving image acquisition part 11-1m Fixed imaging | photography part 21-2n Moving imaging | photography part
Claims (6)
前記位置検出手段により検出された位置特定情報を取得する位置特定情報取得手段と、
前記移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段と、
前記移動撮影手段により撮影された光軸方向の画像を移動画像として取得する移動画像取得手段と、
前記位置特定情報取得手段により取得された位置特定情報及び前記移動画像取得手段により取得された移動画像を基に移動体の移動位置及び当該移動体の前記部位の姿勢を検出する検出手段とを備え、
前記位置検出手段は、前記移動体が位置する空間内の構造物に固定された複数の固定撮影手段を含み、
前記位置特定情報取得手段は、前記複数の固定撮影手段により撮影された移動体を含む画像を固定画像として取得する固定画像取得手段を含み、
前記検出手段は、前記固定画像取得手段により取得された固定画像及び前記移動画像取得手段により取得された移動画像を用いて移動体の移動位置及び当該移動体の前記部位の姿勢を検出することを特徴とする移動体検出装置。 Position detecting means for detecting position specifying information for specifying the position of the moving body;
Position specifying information acquiring means for acquiring position specifying information detected by the position detecting means;
Mobile imaging means having an optical axis attached to a predetermined part of the moving body and substantially aligned with a predetermined direction of the part;
Moving image acquisition means for acquiring an image in the optical axis direction imaged by the moving imaging means as a movement image;
Detecting means for detecting the moving position of the moving body and the posture of the part of the moving body based on the position specifying information acquired by the position specifying information acquiring means and the moving image acquired by the moving image acquiring means; e,
The position detection means includes a plurality of fixed photographing means fixed to a structure in a space where the moving body is located,
The position specifying information acquisition means includes a fixed image acquisition means for acquiring an image including a moving body imaged by the plurality of fixed imaging means as a fixed image,
The detecting means detects the moving position of the moving body and the posture of the part of the moving body using the fixed image acquired by the fixed image acquiring means and the moving image acquired by the moving image acquiring means. A moving object detection apparatus characterized by the above.
前記部位は人物の頭部を含み、前記移動撮影手段は人物の頭部に装着され且つ人物の視線方向に略一致させた光軸を有し、前記移動画像取得手段は前記移動撮影手段により撮影された人物の視線方向の画像を移動画像として取得し、
前記検出手段は、
固定画像上の人物の二次元位置を検出する第１の検出手段と、
移動画像上の人物の二次元位置及び頭部姿勢変化量を検出する第２の検出手段と、
人物の三次元位置及び頭部姿勢を検出する第３の検出手段とを含み、
前記第１の検出手段は、前記固定画像取得手段により取得された固定画像及び前記第３の検出手段により検出された人物の三次元位置を用いて固定画像上の人物の二次元位置を検出し、
前記第２の検出手段は、前記移動画像取得手段により取得された移動画像及び前記第３の検出手段により検出された人物の三次元位置を用いて移動画像上の人物の二次元位置及び頭部姿勢変化量を検出し、
前記第３の検出手段は、前記固定画像取得手段により取得された固定画像及び前記第１の検出手段により検出された固定画像上の人物の二次元位置と、前記移動画像取得手段により取得された移動画像並びに前記第２の検出手段により検出された移動画像上の人物の二次元位置及び頭部姿勢変化量とを基に人物の三次元位置及び頭部姿勢を検出することを特徴とする請求項１記載の移動体検出装置。 The moving body includes a person, the fixed photographing unit is fixed to a structure in a space where the person is located, and the fixed image obtaining unit uses an image including the person photographed by the plurality of fixed photographing units as a fixed image. Acquired,
The part includes a person's head, the moving photographing means has an optical axis that is attached to the person's head and substantially coincides with the line of sight of the person, and the moving image acquisition means is photographed by the moving photographing means. The image of the person's gaze direction is acquired as a moving image,
The detection means includes
First detection means for detecting a two-dimensional position of a person on a fixed image;
Second detection means for detecting a two-dimensional position and a head posture change amount of the person on the moving image;
A third detection means for detecting a three-dimensional position and a head posture of the person,
The first detection unit detects a two-dimensional position of the person on the fixed image using the fixed image acquired by the fixed image acquisition unit and the three-dimensional position of the person detected by the third detection unit. ,
The second detection means uses the moving image acquired by the moving image acquisition means and the three-dimensional position of the person detected by the third detection means, and the two-dimensional position and head of the person on the moving image. Detect the amount of posture change,
The third detection means is acquired by the fixed image acquired by the fixed image acquisition means, the two-dimensional position of the person on the fixed image detected by the first detection means, and the moving image acquisition means. The person's three-dimensional position and head posture are detected based on the moving image and the two-dimensional position and head posture change amount of the person on the moving image detected by the second detection means. Item 4. A moving body detection apparatus according to Item 1 .
前記移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得するステップと、
取得された位置特定情報及び移動画像を基に移動体の移動位置及び当該移動体の前記部位の姿勢を検出するステップとを含み、
前記位置検出手段は、前記移動体が位置する空間内の構造物に固定された複数の固定撮影手段を含み、
前記位置特定情報を取得するステップは、前記複数の固定撮影手段により撮影された移動体を含む画像を固定画像として取得するステップを含み、
前記移動体の移動位置及び当該移動体の前記部位の姿勢を検出するステップは、前記固定画像を取得するステップにおいて取得された固定画像及び前記移動画像を取得するステップにおいて取得された移動画像を用いて移動体の移動位置及び当該移動体の前記部位の姿勢を検出するステップを含むことを特徴とする移動体検出方法。 Obtaining position specifying information for specifying the position of the moving object detected by the position detecting means;
Obtaining an image in the optical axis direction taken by a moving imaging means having an optical axis attached to a predetermined part of the moving body and substantially coincident with a predetermined direction of the part as a moving image;
See containing and detecting a posture of the site of the moving position and the moving body of the moving body acquired position identification information and the moving image based on,
The position detection means includes a plurality of fixed photographing means fixed to a structure in a space where the moving body is located,
The step of acquiring the position specifying information includes a step of acquiring an image including a moving body imaged by the plurality of fixed imaging means as a fixed image,
The step of detecting the moving position of the moving body and the posture of the part of the moving body uses the fixed image acquired in the step of acquiring the fixed image and the moving image acquired in the step of acquiring the moving image. And a step of detecting the moving position of the moving body and the posture of the part of the moving body.
前記移動体の所定部位に装着され且つ当該部位の所定方向に略一致させた光軸を有する移動撮影手段により撮影された光軸方向の画像を移動画像として取得する移動画像取得手段と、
前記位置特定情報取得手段により取得された位置特定情報及び前記移動画像取得手段により取得された移動画像を基に移動体の移動位置及び当該移動体の前記部位の姿勢を検出する検出手段としてコンピュータを機能させ、
前記位置検出手段は、前記移動体が位置する空間内の構造物に固定された複数の固定撮影手段を含み、
前記位置特定情報取得手段は、前記複数の固定撮影手段により撮影された移動体を含む画像を固定画像として取得する固定画像取得手段を含み、
前記検出手段は、前記固定画像取得手段により取得された固定画像及び前記移動画像取得手段により取得された移動画像を用いて移動体の移動位置及び当該移動体の前記部位の姿勢を検出することを特徴とする移動体検出プログラム。 Position specifying information acquiring means for acquiring position specifying information for specifying the position of the moving body detected by the position detecting means;
Moving image acquisition means for acquiring, as a moving image, an image in the optical axis direction, which is photographed by a moving imaging means having an optical axis that is attached to a predetermined part of the moving body and substantially coincides with a predetermined direction of the part;
A computer as detection means for detecting the moving position of the moving body and the posture of the part of the moving body based on the position specifying information acquired by the position specifying information acquiring means and the moving image acquired by the moving image acquiring means. Make it work
The position detection means includes a plurality of fixed photographing means fixed to a structure in a space where the moving body is located,
The position specifying information acquisition means includes a fixed image acquisition means for acquiring an image including a moving body imaged by the plurality of fixed imaging means as a fixed image,
The detecting means detects the moving position of the moving body and the posture of the part of the moving body using the fixed image acquired by the fixed image acquiring means and the moving image acquired by the moving image acquiring means. A moving object detection program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003335311A JP4027294B2 (en) | 2003-09-26 | 2003-09-26 | Moving object detection apparatus, moving object detection method, and moving object detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003335311A JP4027294B2 (en) | 2003-09-26 | 2003-09-26 | Moving object detection apparatus, moving object detection method, and moving object detection program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005098927A JP2005098927A (en) | 2005-04-14 |
| JP4027294B2 true JP4027294B2 (en) | 2007-12-26 |
Family
ID=34462719
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003335311A Expired - Fee Related JP4027294B2 (en) | 2003-09-26 | 2003-09-26 | Moving object detection apparatus, moving object detection method, and moving object detection program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4027294B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4227037B2 (en) * | 2004-02-25 | 2009-02-18 | 株式会社国際電気通信基礎技術研究所 | Imaging system and calibration method |
| JP2016125956A (en) | 2015-01-07 | 2016-07-11 | ソニー株式会社 | Information processor, information processing method and information processing system |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04146091A (en) * | 1990-10-08 | 1992-05-20 | Nec Corp | Manipulator system |
| JPH0588721A (en) * | 1991-09-30 | 1993-04-09 | Fujitsu Ltd | Controller for articulated robot |
| JP3560216B2 (en) * | 1998-01-08 | 2004-09-02 | 日本電信電話株式会社 | Work support device |
| JP3363861B2 (en) * | 2000-01-13 | 2003-01-08 | キヤノン株式会社 | Mixed reality presentation device, mixed reality presentation method, and storage medium |
-
2003
- 2003-09-26 JP JP2003335311A patent/JP4027294B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005098927A (en) | 2005-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4532856B2 (en) | Position and orientation measurement method and apparatus | |
| JP4889351B2 (en) | Image processing apparatus and processing method thereof | |
| US20180190014A1 (en) | Collaborative multi sensor system for site exploitation | |
| JP6587489B2 (en) | Image processing apparatus, image processing method, and image processing system | |
| JP2019536170A (en) | Virtually extended visual simultaneous localization and mapping system and method | |
| JP2019522851A (en) | Posture estimation in 3D space | |
| US9071819B2 (en) | System and method for providing temporal-spatial registration of images | |
| JP2016525842A (en) | Method for camera motion prediction and correction | |
| JP2008506953A5 (en) | ||
| JP2008204384A (en) | Image pickup device, object detection method and posture parameter calculation method | |
| JP4132068B2 (en) | Image processing apparatus, three-dimensional measuring apparatus, and program for image processing apparatus | |
| Brunetto et al. | Fusion of inertial and visual measurements for rgb-d slam on mobile devices | |
| JP2019032218A (en) | Location information recording method and device | |
| JP6922348B2 (en) | Information processing equipment, methods, and programs | |
| JP6410231B2 (en) | Alignment apparatus, alignment method, and computer program for alignment | |
| CN113587934A (en) | Robot, indoor positioning method and device and readable storage medium | |
| JP2007025863A (en) | Photographing system, photographing method, and image processing program | |
| JP4227037B2 (en) | Imaging system and calibration method | |
| JP6288770B2 (en) | Face detection method, face detection system, and face detection program | |
| US20180350216A1 (en) | Generating Representations of Interior Space | |
| US20220084244A1 (en) | Information processing apparatus, information processing method, and program | |
| JP2021193538A (en) | Information processing device, mobile device, information processing system and method, and program | |
| JP4027294B2 (en) | Moving object detection apparatus, moving object detection method, and moving object detection program | |
| CN111699453A (en) | Control method, device and equipment of movable platform and storage medium | |
| JP3401512B2 (en) | Moving object tracking device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050421 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061023 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071001 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071009 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101019 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111019 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121019 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |