JP4949106B2 - Person tracking device, person tracking method and program thereof - Google Patents

Person tracking device, person tracking method and program thereof Download PDF

Info

Publication number
JP4949106B2
JP4949106B2 JP2007088078A JP2007088078A JP4949106B2 JP 4949106 B2 JP4949106 B2 JP 4949106B2 JP 2007088078 A JP2007088078 A JP 2007088078A JP 2007088078 A JP2007088078 A JP 2007088078A JP 4949106 B2 JP4949106 B2 JP 4949106B2
Authority
JP
Japan
Prior art keywords
location
person
movement
distance
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007088078A
Other languages
Japanese (ja)
Other versions
JP2008250430A (en
Inventor
貴史 北口
順一 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2007088078A priority Critical patent/JP4949106B2/en
Publication of JP2008250430A publication Critical patent/JP2008250430A/en
Application granted granted Critical
Publication of JP4949106B2 publication Critical patent/JP4949106B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、人物追跡装置に関し、特に、動画像から人物の動きを検出し、追跡する人物追跡装置に関する。   The present invention relates to a person tracking apparatus, and more particularly, to a person tracking apparatus that detects and tracks the movement of a person from a moving image.

従来、カメラで撮像した画像を用いて、人物の検出や追跡を行うものが知られており、ビデオ画像から人物を抽出し、各人物の位置を示す座標を時系列に結ぶことによって人物の動線を復元するもの(例えば、特許文献1参照)などがある。
特開2003−256843号公報
Conventionally, it is known that a person is detected or tracked using an image captured by a camera. A person is extracted from a video image, and a person's movement is obtained by connecting coordinates indicating the position of each person in time series. There is one that restores a line (for example, see Patent Document 1).
JP 2003-256843 A

しかしながら、コンピュータが動画像から人間の動きを解析するには膨大な計算量が必要となる。したがって、実時間で動画像から人間の動きを解析し、例えばアラームを鳴らすなどの自動処理を行うことは困難である。   However, an enormous amount of calculation is required for a computer to analyze a human motion from a moving image. Therefore, it is difficult to analyze human movement from a moving image in real time and perform automatic processing such as sounding an alarm.

そこで、本発明は、動画像情報をコンピュータが解析容易な情報へ変換することができる人物追跡装置を提供することを目的とする。   Accordingly, an object of the present invention is to provide a person tracking device that can convert moving image information into information that can be easily analyzed by a computer.

上記課題を解決する第1の発明は、鉛直下向きに取り付けられたカメラと、前記カメラが撮像した画像から人物の位置を特定し、前記人物の位置に基づいて該位置と画像中央とを結ぶ直線の基準方向からの偏角を所在方向、画像中央からの距離を所在距離として求めるとともに、前または後のフレームでの位置と前記位置とを結ぶ直線の基準方向からの偏角を移動方向、前または後のフレームでの位置と前記位置との距離を移動量として求め、横軸に角度、縦軸に所在距離および移動量をとった追跡空間に、所在方向および所在距離に基づいて所在位置をプロットし、移動方向および移動量に基づいて移動情報をプロットし、前記追跡空間にプロットした前記所在位置および前記移動情報のプロット点の挙動により前記人物の挙動を検出する演算処理手段とを備えたことを特徴とするものである。 A first invention that solves the above-described problem is a straight line connecting a camera mounted vertically downward, a position of a person from an image captured by the camera, and connecting the position and the center of the image based on the position of the person. The deviation angle from the reference direction is determined as the location direction and the distance from the center of the image as the location distance. Alternatively, the distance between the position in the subsequent frame and the position is obtained as a movement amount, and the location position is determined based on the location direction and the location distance in a tracking space where the horizontal axis indicates the angle and the vertical axis indicates the location distance and the movement amount. plotting, to plot the movement information based on the movement direction and the movement amount, detects the behavior of the person by the behavior of the plot points of the location and the movement information is plotted on the track space It is characterized in that a calculation processing unit.

この発明では、検出された人物の位置が所在方向、所在距離として求められ、検出された人物の動きが移動方向、移動量として求められる。したがって、人の移動形態についての数値化または記号化が容易となり、コンピュータが解析容易な情報となる。   In the present invention, the position of the detected person is obtained as the location direction and the location distance, and the movement of the detected person is obtained as the movement direction and the movement amount. Therefore, it becomes easy to digitize or symbolize the movement form of the person, and the computer can easily analyze the information.

上記課題を解決する第2の発明は、上記第1の発明の構成に加え、前記カメラに魚眼レンズを付けたことを特徴とするものである。   A second invention for solving the above-described problems is characterized in that a fisheye lens is attached to the camera in addition to the configuration of the first invention.

この発明では、魚眼レンズにより標準的画角カメラでは得られない広いエリアを監視エリアとするこがとができる。   According to the present invention, a wide area that cannot be obtained by a standard angle-of-view camera can be set as a monitoring area by using a fisheye lens.

本発明によれば、人の位置を所在方向、所在距離により表し、人の動きを移動方向、移動量により表しているので、人の移動形態についての数値化または記号化が容易となり、コンピュータが解析容易な情報を提供することができる。   According to the present invention, the position of a person is represented by a location direction and a distance, and the movement of the person is represented by a movement direction and a movement amount. Information that can be easily analyzed can be provided.

また、カメラに魚眼レンズを付ければ、標準的画角カメラでは得られない広いエリアを監視エリアとすることができる。   If a fisheye lens is attached to the camera, a wide area that cannot be obtained with a standard angle-of-view camera can be set as a monitoring area.

以下、本発明を図面を参照して説明する。   The present invention will be described below with reference to the drawings.

図1は本発明の一実施形態の人物追跡装置を示す図である。   FIG. 1 is a diagram showing a person tracking apparatus according to an embodiment of the present invention.

図1において、本実施形態の人物追跡装置は、鉛直下向きに取り付けられ、魚眼レンズ2を付けられたカメラ1と、カメラ1で撮像された動画像を処理し、人物の位置および動きを、角度と距離と移動量で表現する追跡空間の情報へ変換するパーソナルコンピュータ(PC)3とを備えている。   In FIG. 1, the person tracking apparatus of the present embodiment is mounted vertically downward and has a camera 1 with a fisheye lens 2, a moving image captured by the camera 1, and the position and movement of a person as an angle. And a personal computer (PC) 3 for converting the information into tracking space information expressed by distance and amount of movement.

PC3で動作するプログラムにより、PC3は、カメラ1で撮像されたアナログの動画像データをデジタルデータに変換する画像入力部31、画像入力部31で変換した画像データから追跡空間の情報への変換を行う演算処理部32として動作し、演算処理部32の算出した追跡空間の情報は、ハードディスクなどの記憶媒体からなるデータベース33に記憶される。   According to a program operating on the PC 3, the PC 3 converts the analog moving image data captured by the camera 1 into digital data, and converts the image data converted by the image input unit 31 into tracking space information. The information of the tracking space calculated by the arithmetic processing unit 32 is stored in a database 33 including a storage medium such as a hard disk.

図2は、本実施形態の人物追跡装置の人物追跡処理を説明するためのフローチャートである。   FIG. 2 is a flowchart for explaining the person tracking process of the person tracking apparatus of this embodiment.

図2に示すように、まず、1フレームの画像データが入力され(S11)、予め設定された初期状態の画像(人物が映っていない状態での画像)である背景画像と入力画像データの差分から変化領域を抽出し(S12)、抽出した変化領域の画像データについて雑音除去およびクラスタリングを行い、隣同士の画素を連結することにより画素の集団としての塊を検出し、連番を付ける(S13)。   As shown in FIG. 2, first, image data of one frame is input (S11), and a difference between a background image that is a preset initial state image (an image in which no person is shown) and input image data A change area is extracted from the image (S12), noise removal and clustering are performed on the image data of the extracted change area, and a cluster as a group of pixels is detected by connecting adjacent pixels, and serial numbers are assigned (S13). ).

そして、各塊に対して慣性等価楕円を当てはめ、楕円の画像中央側端点の座標位置を検出する(S14)。   Then, an inertia equivalent ellipse is applied to each block, and the coordinate position of the image center side end point of the ellipse is detected (S14).

塊の各画素の平面的座標位置についての0次モーメントをm00、1次モーメントをm10、m01、2次モーメントをm20、m11、m02として画素の塊の領域の重心G(xg,yg)および慣性主軸の傾きaを数1、数2により求め、長径lおよび短径sを数3により求める。 The center-of-gravity G of the region of the pixel block G (0) with respect to the planar coordinate position of each pixel of the block, where m 00 is the first moment, m 10 , m 01 , and the second moments are m 20 , m 11 , m 02. x g , y g ) and the inclination “a” of the principal axis of inertia are obtained by Equations 1 and 2, and the major axis l and the minor axis s are obtained by Equation 3.

min、Mmajは重心Gを通る直線の周りの慣性モーメントの最小値と最大値を示す。 M min and M maj indicate the minimum and maximum values of the moment of inertia around the straight line passing through the center of gravity G.

このようにして得られる楕円は、図3に示すように、データ点(画素)の広がり具合とそのサイズを、おおよそではあるが知ることができるため、効率のよいモデルである。   As shown in FIG. 3, the ellipse thus obtained is an efficient model because the extent and size of data points (pixels) can be known roughly.

この楕円情報において、長径の長さは人の高さを、また短径は人の幅をそれぞれ示す。また主軸の傾きは像の向きを示し、これは、実空間では、人が立っている(または移動している)場合とその他の姿勢(例えば、横たわっている場合)との区別に利用することができる。重心位置は、主に垂直方向での姿勢変化(立っている、しゃがむ、屈む、転倒など)の検出に利用することができる。   In this ellipse information, the length of the major axis indicates the height of the person, and the minor axis indicates the width of the person. In addition, the inclination of the main axis indicates the orientation of the image, and this is used in real space to distinguish between a person standing (or moving) and another posture (for example, lying down). Can do. The center-of-gravity position can be used mainly for detecting posture changes (standing, squatting, bending, falling, etc.) in the vertical direction.

塊が複数検出されれば、それぞれについて楕円情報を求める。また、複数人が連結して(または重なって)撮像されている場合は、長径の長さ、塊の面積が大きいことから、一人では無いと判断する。この場合、それぞれの人がいる位置を検出することは難しいことから、集団としての大きさの検出のみを行う。   If a plurality of chunks are detected, ellipse information is obtained for each. When a plurality of persons are connected (or overlapped) and are picked up, it is determined that the person is not alone because the length of the major axis and the area of the lump are large. In this case, since it is difficult to detect the position where each person is, only the size of the group is detected.

カメラ1を鉛直下向きに取り付けた場合、視野内に移動する人については、画像中央付近において肩より上が撮像され、中央付近以外の領域では、足下から頭頂部までが観測エリアの広い範囲において撮像される。また、立っている人の像は、頭頂部と足下とを結ぶ直線が画像中央に向く。   When the camera 1 is mounted vertically downward, for a person moving within the field of view, the image above the shoulder is imaged near the center of the image, and in the area other than near the center, the image is captured from the foot to the top of the head in a wide range of the observation area Is done. Further, in the image of a standing person, a straight line connecting the top of the head and the feet is directed to the center of the image.

すなわち、人が普通に立っている場合は、楕円長軸が画像中央に向く。しかし、足の開き具合や手の振り具合などによって、必ずしも長軸が画像中央に向くとは限らない。そこで、長軸の傾きを用いて長軸を画像中央に向ける楕円傾き変換を行う。   That is, when a person is standing normally, the major axis of the ellipse faces the center of the image. However, the long axis does not always face the center of the image, depending on how the legs open and how the hands swing. Therefore, elliptic inclination transformation is performed by using the inclination of the long axis so that the long axis is directed to the center of the image.

図4に示すように、重心をG(xg,yg)、楕円の傾きをθ、長径の長さをl、短径の長さをs、画像中央O(0,0)と重心Gを結んだ直線と長径との角度をβl、短径との角度をβsとし、βlとβsの角度の大きさを比較し、βsが大きければ長軸を採用し、βlが大きければ短軸を採用する。 As shown in FIG. 4, the center of gravity is G (x g , y g ), the inclination of the ellipse is θ, the length of the major axis is l, the length of the minor axis is s, the image center O (0, 0), and the center of gravity G angle beta l and connecting it straight and major axis, and the angle between the minor axis and beta s, and comparing the magnitude of the angle beta l and beta s, beta s adopts a major axis larger, beta l If is large, the short axis is adopted.

そして、採用した軸(主軸)を画像中央に向ける。図4の場合、線分を画像中央に向けるための修正角度βlは、数4で求められ、主軸の傾きをθから修正角度βlを引いた角度に修正することで、主軸を画像中央に向ける。 Then, the adopted axis (principal axis) is directed to the center of the image. In the case of FIG. 4, the correction angle β l for directing the line segment to the center of the image is obtained by Equation 4, and the main axis is corrected to the angle obtained by subtracting the correction angle β l from θ. Turn to.

こうして採用された軸の長さを人物領域の表現モデルの線分の長さとし、採用されなかった軸の長さの半分を線分の太さとする。このように決定する線分は、画像上での人物領域の長さと幅を示す。   The length of the axis adopted in this way is taken as the length of the line segment of the expression model of the human area, and half of the length of the axis not adopted is taken as the thickness of the line segment. The line segment thus determined indicates the length and width of the person area on the image.

この線分の画像中心側の端点座標を人物位置として以降の処理を行う。   The following processing is performed with the end point coordinates on the image center side of the line segment as the person position.

次に、線分の画像中心側の端点座標を、魚眼レンズ2の撮像式の逆の計算を行うことによって、魚眼画像のゆがみを解消した補正画像での座標位置に変換する(S15)。   Next, the end point coordinates on the image center side of the line segment are converted into the coordinate positions in the corrected image in which the distortion of the fisheye image is eliminated by performing the inverse calculation of the imaging method of the fisheye lens 2 (S15).

端点の座標を(u1,v1)、焦点距離をf、補正平面と撮像面(CCD)との距離をAとすると、魚眼撮像式r=fθより、数5となり、補正平面上での端点の座標を(u2,v2)とし、その角度をφとすると、数6、数7となる。この座標変換は、毎回の入力画像について行う。 When the coordinates of the end point are (u 1 , v 1 ), the focal length is f, and the distance between the correction plane and the imaging surface (CCD) is A, the following equation is obtained from the fish-eye imaging equation r = fθ, and on the correction plane: If the coordinates of the end points of ( 2 ) are (u 2 , v 2 ) and the angle is φ, then Equations 6 and 7 are obtained. This coordinate conversion is performed for each input image.

次に、変換した補正画像での座標位置に基づいて、人物の位置および動きを、角度と距離と移動量で表現する追跡空間の情報である行動情報を作成する(S16)。   Next, based on the coordinate position in the converted corrected image, action information that is information on a tracking space that expresses the position and movement of a person with an angle, a distance, and a movement amount is created (S16).

補正画像での座標位置と補正画像中央を結ぶ直線の基準方向(水平右方向)からの偏角(角度)を所在方向とし、補正画像中央からの距離(画素)を所在距離として求める。図5(a)の線分Aの場合、所在方向はα、所在距離はdとなる。   The declination (angle) from the reference direction (horizontal right direction) of the straight line connecting the coordinate position in the correction image and the center of the correction image is taken as the location direction, and the distance (pixel) from the center of the correction image is obtained as the location distance. In the case of line segment A in FIG. 5A, the location direction is α and the location distance is d.

また、次の時刻(前の時刻でもよい)の画像データから得られる同一人の位置情報も用いて、両者間の速度ベクトルを計算し、該ベクトルの基準方向(水平右方向)からの角度を移動方向とし、該ベクトルの長さを移動量(画素)として求める。図5(a)の線分Aから線分Bへの移動の場合、移動方向はβ、移動量はρとなる。   Also, using the same person's position information obtained from the image data of the next time (or the previous time), the velocity vector between them is calculated, and the angle of the vector from the reference direction (horizontal right direction) is calculated. The direction of movement is determined, and the length of the vector is obtained as a movement amount (pixel). In the case of movement from the line segment A to the line segment B in FIG. 5A, the movement direction is β, and the movement amount is ρ.

このようにして求めた所在方向、所在距離、移動方向、移動量は、関連付けられて時刻情報とともにデータベース33に記憶される。   The location direction, the location distance, the movement direction, and the movement amount obtained in this way are associated and stored in the database 33 together with time information.

また、このようにして求めた所在方向、所在距離、移動方向、移動量に基づいて、図5(b)に示すような、横軸に所在方向および移動方向の角度をとり、左側の縦軸に所在距離、右側の縦軸に移動量(移動の速さ)をとった追跡空間に所在位置(●)および移動情報(▲)をプロットし表示する(S17)。   Also, based on the location direction, location distance, direction of movement, and amount of movement obtained in this way, the horizontal axis represents the angle of the location direction and direction of movement, as shown in FIG. The location (●) and the movement information (() are plotted and displayed in a tracking space where the location distance is taken on the right side and the movement amount (speed of movement) is taken on the right vertical axis (S17).

この追跡空間は、位置と移動の情報を同時に扱えるというだけでなく、更に、移動情報に一つの有用な特徴がある。それは、追跡空間でのプロットの単調な挙動が、人の移動形態を一義的に表現していることである。   This tracking space not only can handle position and movement information at the same time, but also has one useful feature in movement information. That is, the monotonous behavior of the plot in the tracking space uniquely represents the movement form of the person.

図6は、実空間での人の移動と追跡空間でのプロット点の挙動の例を示す図である。なお、図6は、人が等速運動をしている場合を想定した例である。   FIG. 6 is a diagram illustrating an example of the movement of a person in the real space and the behavior of the plot points in the tracking space. FIG. 6 is an example in which a person is exercising at a constant speed.

また、図6の左側の図は実空間での人の移動(AからBへの移動)を示しており、本実施形態の魚眼レンズ2を付けたカメラ1での撮像範囲は、地面において半径約20mである。   6 shows the movement of a person in real space (movement from A to B). The imaging range of the camera 1 with the fisheye lens 2 of this embodiment is about a radius on the ground. 20m.

図6の右側の図は追跡空間での所在位置(●)および移動情報(▲)の動き(AからBへの移動)を示している。   The diagram on the right side of FIG. 6 shows the location (●) and movement of movement information (() (movement from A to B) in the tracking space.

図6(a)は、人が直進している場合であり、この動きは、追跡空間の移動情報(▲)では一点に留まることとなる。   FIG. 6A shows a case where a person is moving straight, and this movement remains at one point in the tracking space movement information ()).

図6(b)は、人がクランク状に進んでいる場合であり、この動きは、追跡空間の移動情報(▲)では二点間を切り替えて留まることとなる。   FIG. 6B shows a case where a person is moving in a crank shape, and this movement is switched between two points in the tracking space movement information (▲).

図6(c)は、人が弧を描いて進んでいる場合であり、この動きは、追跡空間の移動情報(▲)では横方向に一定の速さで直進することとなる。   FIG. 6C shows a case where the person is moving in an arc, and this movement goes straight at a constant speed in the horizontal direction in the movement information (▲) in the tracking space.

また、人が四角を描いて歩く場合は、追跡空間の移動情報では横方向へ四ヶ所に場所を変えて留まり、円を描いて歩く場合は、追跡空間の移動情報では横方向に一定の速さで移動して元の位置に戻り、S字を描いて歩く場合は、追跡空間の移動情報では横方向でほぼ180度異なる場所の間を一定の速さで往復する。   In addition, when a person walks in a square, the movement information in the tracking space stays at four different locations in the horizontal direction. When moving to the original position and walking while drawing an S-shape, the movement information in the tracking space reciprocates at a constant speed between places that differ by approximately 180 degrees in the horizontal direction.

人が複雑な移動をする場合は、上記の単純な歩行の場合の移動情報の挙動を組み合わせればよい。   When a person moves complicatedly, the behavior of movement information in the case of simple walking may be combined.

このような追跡空間で人の挙動を検出するには、人の移動の速さにより決まる縦方向での位置から、横方向への移動を検出すればよく、その横方向での位置により人の移動形態を検出できる。   In order to detect human behavior in such a tracking space, it is only necessary to detect the movement in the horizontal direction from the position in the vertical direction determined by the speed of movement of the person. The movement form can be detected.

このように、特定座標位置に注目して点の比較的単調な挙動を解釈するだけで人の移動形態を検出することができる。これは、画像データについて軌道解析を行うことによって移動形態を検出する従来の方法に比べて、扱いやすく、また移動形態を一義的に知ることができる。   In this way, it is possible to detect a person's movement form simply by interpreting the relatively monotonous behavior of a point while paying attention to a specific coordinate position. This is easier to handle than the conventional method of detecting the moving form by performing trajectory analysis on the image data, and the moving form can be uniquely known.

人の移動形態についての数値化または記号化が容易であるため、動画像から実時間で人の動きを解析し処理を行いたいシステムにとって、扱い易くまた組み込み易いデータを提供することができる。   Since it is easy to digitize or symbolize the movement form of a person, it is possible to provide easy-to-use and easy-to-embed data for a system that wants to analyze and process a person's movement from a moving image in real time.

また、魚眼レンズ2を使っているので、標準的画角カメラでは得られない広いエリアを監視エリアとすることができる。   In addition, since the fisheye lens 2 is used, a wide area that cannot be obtained with a standard field-of-view camera can be set as a monitoring area.

また、人の移動の速さも情報として収集することができるので、人の行動をより詳細に分析することができる。分析結果の利用として、店舗設計、公園設計、工場設備配置設計、オフィス設計など様々な設計への利用が考えられる。   Moreover, since the speed of a person's movement can also be collected as information, a person's action can be analyzed in detail. The analysis results can be used for various designs such as store design, park design, factory facility layout design, and office design.

なお、人の移動の速さを不要とする場合、追跡空間へ移動情報をプロットする際、移動の速さに対応するパラメータの値を0としてプロットすればよい。その場合、追跡空間での移動情報の挙動は、下辺上での挙動となり、移動情報の取り扱いが更に容易になる。   If the movement speed of the person is unnecessary, the parameter value corresponding to the movement speed may be plotted as 0 when the movement information is plotted in the tracking space. In that case, the behavior of the movement information in the tracking space is the behavior on the lower side, and the handling of the movement information is further facilitated.

本発明の一実施形態における人物追跡装置の全体構成図1 is an overall configuration diagram of a person tracking device according to an embodiment of the present invention 本発明の一実施形態における人物追跡装置の人物追跡処理を説明するためのフローチャートThe flowchart for demonstrating the person tracking process of the person tracking apparatus in one Embodiment of this invention. 本発明の一実施形態における人物追跡装置の楕円当てはめを示す図The figure which shows the ellipse fitting of the person tracking device in one Embodiment of this invention 本発明の一実施形態における人物追跡装置の線分の角度補正を示す図The figure which shows the angle correction of the line segment of the person tracking apparatus in one Embodiment of this invention. 本発明の一実施形態における人物追跡装置の追跡空間へのプロット例を示す図The figure which shows the example of a plot to the tracking space of the person tracking device in one Embodiment of this invention 本発明の一実施形態における人物追跡装置の人の動きに対応した追跡空間での移動情報の動きを示す図The figure which shows the motion of the movement information in the tracking space corresponding to the motion of the person of the person tracking device in one Embodiment of this invention.

符号の説明Explanation of symbols

1 カメラ
2 魚眼レンズ
3 パーソナルコンピュータ
31 画像入力部
32 演算処理部
33 データベース
1 Camera 2 Fisheye Lens 3 Personal Computer 31 Image Input Unit 32 Arithmetic Processing Unit 33 Database

Claims (4)

鉛直下向きに取り付けられたカメラと、前記カメラが撮像した画像から人物の位置を特定し、前記人物の位置に基づいて該位置と画像中央とを結ぶ直線の基準方向からの偏角を所在方向、画像中央からの距離を所在距離として求めるとともに、前または後のフレームでの位置と前記位置とを結ぶ直線の基準方向からの偏角を移動方向、前または後のフレームでの位置と前記位置との距離を移動量として求め、横軸に角度、縦軸に所在距離および移動量をとった追跡空間に、所在方向および所在距離に基づいて所在位置をプロットし、移動方向および移動量に基づいて移動情報をプロットし、前記追跡空間にプロットした前記所在位置および前記移動情報のプロット点の挙動により前記人物の挙動を検出する演算処理手段とを備えたことを特徴とする人物追跡装置。 A camera mounted vertically downward, and the position of the person is identified from the image captured by the camera, and the declination from the reference direction of a straight line connecting the position and the center of the image based on the position of the person, The distance from the center of the image is obtained as the location distance, and the deviation angle from the reference direction of the straight line connecting the position in the previous or subsequent frame and the position is the moving direction, the position in the previous or subsequent frame and the position The distance is calculated as a movement amount, and the location position is plotted based on the location direction and the distance in the tracking space with the angle on the horizontal axis and the location distance and the movement amount on the vertical axis. characterized in that plotting the movement information, and a processing means for detecting the behavior of the person by the behavior of the plot points of the location and the movement information is plotted on the track space Person tracking device for. 前記カメラに魚眼レンズを付けたことを特徴とする請求項1に記載の人物追跡装置。   The person tracking apparatus according to claim 1, wherein a fisheye lens is attached to the camera. 鉛直下向きに取り付けられたカメラが撮像した画像から人物の位置を特定するステップと、
前記人物の位置に基づいて該位置と画像中央とを結ぶ直線の基準方向からの偏角を所在方向、画像中央からの距離を所在距離として求めるステップと、
前または後のフレームでの位置と前記位置とを結ぶ直線の基準方向からの偏角を移動方向、前または後のフレームでの位置と前記位置との距離を移動量として求めるステップと、
横軸に角度、縦軸に所在距離および移動量をとった追跡空間に、所在方向および所在距離に基づいて所在位置をプロットし、移動方向および移動量に基づいて移動情報をプロットするステップと
前記追跡空間にプロットした前記所在位置および前記移動情報のプロット点の挙動により前記人物の挙動を検出するステップとを備えたことを特徴とする人物追跡方法。
Identifying a position of a person from an image captured by a vertically attached camera;
Obtaining a deviation angle from a reference direction of a straight line connecting the position and the center of the image based on the position of the person as a location direction and a distance from the image center as a location distance;
Obtaining a declination from a reference direction of a straight line connecting the position in the previous or subsequent frame and the position as a movement direction, and a distance between the position in the previous or subsequent frame and the position as a movement amount;
Plotting the location position based on the location direction and the distance in the tracking space with the angle on the horizontal axis and the location distance and the movement amount on the vertical axis, and plotting the movement information based on the movement direction and the movement amount ;
And a step of detecting the behavior of the person based on the location of the location plotted in the tracking space and the behavior of the plot point of the movement information .
コンピュータに、鉛直下向きに取り付けられたカメラが撮像した画像から人物の位置を特定するステップ、
前記人物の位置に基づいて該位置と画像中央とを結ぶ直線の基準方向からの偏角を所在方向、画像中央からの距離を所在距離として求めるステップ、
前または後のフレームでの位置と前記位置とを結ぶ直線の基準方向からの偏角を移動方向、前または後のフレームでの位置と前記位置との距離を移動量として求めるステップ、
横軸に角度、縦軸に所在距離および移動量をとった追跡空間に、所在方向および所在距離に基づいて所在位置をプロットし、移動方向および移動量に基づいて移動情報をプロットするステップ、
前記追跡空間にプロットした前記所在位置および前記移動情報のプロット点の挙動により前記人物の挙動を検出するステップ、を実行させるためのプログラム。
Identifying the position of a person from an image captured by a camera mounted vertically downward on the computer;
Obtaining a declination from a reference direction of a straight line connecting the position and the image center based on the position of the person as a location direction and a distance from the image center as a location distance;
Obtaining a declination from a reference direction of a straight line connecting the position in the previous or subsequent frame and the position as a movement direction, and a distance between the position in the previous or subsequent frame and the position as a movement amount;
Plotting a location position based on the location direction and distance in a tracking space with the angle on the horizontal axis and the location distance and the movement amount on the vertical axis, and plotting the movement information based on the movement direction and the movement amount;
A program for executing the step of detecting the behavior of the person based on the location of the location plotted in the tracking space and the behavior of the plotted points of the movement information .
JP2007088078A 2007-03-29 2007-03-29 Person tracking device, person tracking method and program thereof Expired - Fee Related JP4949106B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007088078A JP4949106B2 (en) 2007-03-29 2007-03-29 Person tracking device, person tracking method and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007088078A JP4949106B2 (en) 2007-03-29 2007-03-29 Person tracking device, person tracking method and program thereof

Publications (2)

Publication Number Publication Date
JP2008250430A JP2008250430A (en) 2008-10-16
JP4949106B2 true JP4949106B2 (en) 2012-06-06

Family

ID=39975343

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007088078A Expired - Fee Related JP4949106B2 (en) 2007-03-29 2007-03-29 Person tracking device, person tracking method and program thereof

Country Status (1)

Country Link
JP (1) JP4949106B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6512793B2 (en) 2014-11-07 2019-05-15 キヤノン株式会社 Imaging device, surveillance camera system, control method and program for imaging device

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3523847B2 (en) * 2001-05-02 2004-04-26 株式会社リオスコーポレーション Moving object association system
JP4507243B2 (en) * 2004-03-25 2010-07-21 独立行政法人理化学研究所 Behavior analysis method and system

Also Published As

Publication number Publication date
JP2008250430A (en) 2008-10-16

Similar Documents

Publication Publication Date Title
Ceseracciu et al. Markerless analysis of front crawl swimming
CN110142785A (en) A kind of crusing robot visual servo method based on target detection
WO2020098299A1 (en) Method and system for detecting flow rate of high-temperature molten fluid
JP5055092B2 (en) Video processing apparatus and video processing method
CN110083202A (en) With the multi-module interactive of near-eye display
JP6159179B2 (en) Image processing apparatus and image processing method
WO2011013299A1 (en) Mobile body detection apparatus and mobile body detection method
JP2004187298A5 (en)
TWI438702B (en) Method for setting dynamic enviromental image borders and method for instantly determining the content of staff member activities
CN104423569A (en) Pointing position detecting device, method and computer readable recording medium
CN111199556B (en) Indoor pedestrian detection and tracking method based on camera
Seo et al. A comparative study of in-field motion capture approaches for body kinematics measurement in construction
US20130202212A1 (en) Information processing apparatus, information processing method, and computer program
WO2013051681A1 (en) Finger shape estimation device, finger shape estimation method, and finger shape estimation program
CN114140745A (en) Method, system, device and medium for detecting personnel attributes of construction site
JP4464902B2 (en) Camera control apparatus and camera control program
JP4821355B2 (en) Person tracking device, person tracking method, and person tracking program
WO2008032375A1 (en) Image correcting device and method, and computer program
JP4949106B2 (en) Person tracking device, person tracking method and program thereof
JP6977337B2 (en) Site recognition method, device, program, and imaging control system
JP5083715B2 (en) 3D position and orientation measurement method and apparatus
JP6206405B2 (en) Information processing apparatus, information processing method, program, and surveillance camera system
JP2008217330A (en) Speed estimation method and speed estimation program
JP6810442B2 (en) A camera assembly, a finger shape detection system using the camera assembly, a finger shape detection method using the camera assembly, a program for implementing the detection method, and a storage medium for the program.
CN113408435A (en) Safety monitoring method, device, equipment and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120306

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120307

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4949106

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees