WO2016035924A1 - 달리기 감지 방법 및 시스템 - Google Patents

달리기 감지 방법 및 시스템 Download PDF

Info

Publication number
WO2016035924A1
WO2016035924A1 PCT/KR2014/010015 KR2014010015W WO2016035924A1 WO 2016035924 A1 WO2016035924 A1 WO 2016035924A1 KR 2014010015 W KR2014010015 W KR 2014010015W WO 2016035924 A1 WO2016035924 A1 WO 2016035924A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
height
foot
print
coordinates
Prior art date
Application number
PCT/KR2014/010015
Other languages
English (en)
French (fr)
Inventor
조민국
이동성
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to US15/507,760 priority Critical patent/US10205911B2/en
Priority to CN201480081707.8A priority patent/CN106796726B/zh
Publication of WO2016035924A1 publication Critical patent/WO2016035924A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present invention relates to a run detection method and system.
  • the existing run detection method detects a run by converting the real world three-dimensional coordinates to the two-dimensional coordinates of the image through camera calibration, and calculates the distance traveled by the object using the converted image.
  • a camera calibration method for converting real world three-dimensional coordinates (hereinafter referred to as 'world coordinates') into two-dimensional coordinates of an image is important.
  • a method using a lattice planar pattern is generally used.
  • Camera calibration performance depends on the calculation of a transformation matrix that converts world coordinates to image coordinates, and this transformation matrix is called a homography matrix.
  • Equation 1 Equation 1 below.
  • A is a matrix for correcting camera internal distortion
  • Is a rotation / movement transformation matrix for transforming world coordinates into image coordinates
  • X, Y, and Z are world coordinates
  • x and y are image coordinates.
  • Is called a homography matrix
  • f x , f y , c x , c y , and skew_c are the focal lengths, the principal points, and the asymmetric coefficients for x and y of the image, respectively.
  • the principal point is generated by the aspect ratio of the image sensor (CMOS, CCD, etc.), and the asymmetry coefficient is caused by the error of the camera manufacturing process. In the early days when cameras were rolled up, these variables were largely impacted by technology.
  • FIG. 1 is a diagram showing a lattice planar pattern used to obtain a homography matrix.
  • An object of the present invention is to provide a method and system for detecting a run using user input information without using a flat pattern.
  • a run detection system may include: an object detector detecting a moving object in an image captured by a camera, a foreground edge detector detecting a foreground edge with respect to the object, and extracting foot-print image coordinates using the foreground edge, Foot-print and head coordinate extraction unit for extracting the head coordinates that are the coordinates of the head of the object, a camera installation angle calculation unit for calculating the inclination angle of the camera is installed, the foot-print image coordinates, the angle, And using the height of the camera is installed, the coordinate conversion unit for obtaining the foot-print actual coordinates of the object is a coordinate away from the camera, a height extraction unit for calculating the height of the object, and the foot-print actual coordinates Running situation determination unit for determining whether the object is running using the height of the object It can hamhal.
  • the height at which the camera is installed may be a value arbitrarily set by a user.
  • the height extracting unit may calculate the height of the object using the height at which the camera is installed, the foot-print image coordinates, and the head coordinates.
  • the camera installation angle calculator may calculate the angle by using the vertical angle of view of the camera, the number of vertical pixels of the image, and the number of Y-axis coordinate pixels away from the center of the camera.
  • the coordinate transformation unit may obtain the foot-print actual coordinates based on a reverse perspective transformation method.
  • the coordinate converting unit may calculate a first distance from which the foot-print is vertically separated from the camera, and uses the first distance to determine a second distance that is the distance from the camera to the horizontal direction.
  • the first distance and the second distance may be the foot-print actual coordinates.
  • the foot-print actual coordinates and the height of the object may vary depending on the height at which the camera is installed.
  • the running situation determination unit may calculate the distance traveled by the object using the foot-print actual coordinates, and may determine that the object is running when the distance traveled is greater than the height of the object.
  • the object detector may detect the object through a background modeling method.
  • the foreground edge detector detects an image edge from the entire image of the object, and detects a time edge using a current image of the object and an image that is temporally continuous to the current image of the object, and the image edge and the time. A common component of the edge can be extracted to the foreground edge.
  • the camera may be a pinhole camera.
  • a method of detecting an object's running using an image captured by a camera in a running detection system may be provided.
  • the running detection method may include detecting a moving object in the image, detecting a foreground edge with respect to the object, extracting a foot-print image coordinate using the foreground edge, and using the foreground edge.
  • Extracting head coordinates which are coordinates of the head of the object, calculating an inclination angle at which the camera is installed, using the foot-print image coordinates, the angle, and a height at which the camera is installed, Obtaining foot-print actual coordinates, the coordinates of which the object is actually away from the camera, calculating a height of the object, and using the foot-print actual coordinates and the height of the object, whether the object is running It may include the step of determining.
  • the height at which the camera is installed may be a value arbitrarily set by a user.
  • the calculating of the height of the object may include calculating the height of the object by using the height at which the camera is installed, the foot-print image coordinates, and the head coordinates.
  • the foot-print actual coordinates and the height of the object may depend on the height at which the camera is installed.
  • the calculating of the angle may include calculating the angle by using the vertical angle of view of the camera, the number of vertical pixels of the image, and the number of Y-axis coordinate pixels away from the center of the camera.
  • Acquiring the foot-print actual coordinates includes: calculating a first coordinate, the foot-print being a vertically spaced coordinate from the camera, and using the first coordinate, the foot-print from the camera And calculating second coordinates that are horizontally spaced coordinates.
  • the determining may include calculating a distance traveled by the object using the foot-print coordinates, and comparing the moved distance with the height of the object.
  • the determining may further include determining that the object is running when the moved distance is greater than the height of the object.
  • 1 is a diagram showing a lattice planar pattern used to obtain a homography matrix.
  • FIG. 2 is a view showing a run detection system according to an embodiment of the present invention.
  • FIG. 3 is a view showing a pinhole camera model according to an embodiment of the present invention.
  • FIG. 4 is a view showing the installation of the pinhole camera according to an embodiment of the present invention.
  • FIG. 5 shows a top view of the situation of FIG. 4.
  • FIG. 6 is a diagram illustrating a case where the camera is installed in parallel with the floor surface.
  • FIG. 7 is a view showing the side when the camera is installed at a constant angle ( ⁇ 1 ) with the bottom surface.
  • FIG. 8 is a diagram illustrating a relationship between an object height Human_Height and a camera height H.
  • FIG. 9 is a flowchart illustrating a run detection method according to an embodiment of the present invention.
  • FIG. 2 is a view showing a run detection system according to an embodiment of the present invention.
  • the run detection system 100 may include an object detector 110, a foreground edge detector 120, a foot-print and head coordinate extractor 130, and a coordinate converter ( 140, a camera installation angle calculator 150, a height extractor 160, and a running situation determiner 170.
  • the object detector 110 detects a moving object by applying a tracking algorithm to the image photographed by the camera.
  • Tracking algorithms exist in the field of video surveillance, and among them, objects can be detected through a background modeling method based on a codebook.
  • the background modeling method detects an object by considering a foreground of a pixel having a threshold value or more defined by learning a distribution of values of each pixel in an image. Background modeling method can be known to those of ordinary skill in the art to which the present invention belongs, detailed description thereof will be omitted below.
  • the foreground edge detector 120 detects the foreground edge of the object detected by the object detector 110.
  • the foreground edge detector 120 detects edges of several images on the time axis of each pixel of the detected object.
  • the foreground edge detector 120 detects an edge (hereinafter, referred to as an “image edge”) from the entire image of one object that is input first, and then uses the plurality of object images input according to time.
  • the component hereinafter referred to as 'time edge'
  • the foreground edge detector 120 extracts a common component between the detected image edge and the time edge and defines an edge satisfying the common component as the foreground edge.
  • the method for obtaining the foreground edge is described in detail in Korean Patent No. 10-1398684, and thus the detailed description thereof will be omitted.
  • the foreground edge detected by the foreground edge detector 120 is set to a rectangular area smaller than the rectangular area of the object detected by the object detector 110.
  • foot-print and head coordinate extractor 130 extracts a foot-print image coordinate by using a rectangular area with respect to the foreground edge and coordinates corresponding to the head of the object (hereinafter, 'head' Coordinates').
  • Foot-print and head coordinate extractor 130 is a foot-print of the object of the pixel position and the x-axis center point of the bottom of the y-axis in the rectangular area with respect to the foreground edge detected by the foreground edge detector 120 Set to video coordinates.
  • the foot-print and head coordinate extractor 130 sets the pixel position of the upper end of the y-axis and the center point of the x-axis in the rectangular region of the foreground edge detected by the foreground edge detector 120 as the head coordinates of the corresponding object.
  • the foot-print coordinates extracted by the foot-print and head coordinate extractor 130 are input to the coordinate converter 140 and the height extractor 160, and the head coordinates are input to the height extractor 160.
  • the coordinate conversion unit 140 obtains coordinates (hereinafter, referred to as 'foot-print actual coordinates') in which the object is separated from the actual camera by using the foot-print image coordinates of the object based on the reverse perspective transformation method.
  • the reverse perspective conversion method is based on a pinhole camera model as shown in FIG. 3 below.
  • FIG 3 is a view showing a pinhole camera model according to an embodiment of the present invention
  • Figure 4 is a view showing the installation situation of a pinhole camera according to an embodiment of the present invention.
  • the coordinate transformation unit 140 first calculates the distance Dy from which the object is moved away from the camera in the vertical direction, and then calculates the distance Dx of the object away from the camera in the horizontal direction.
  • the foot-free actual coordinates are (Dx, Dy).
  • the height H of the camera is a value arbitrarily set by the user, and the tilted camera angle ⁇ 1 is automatically calculated by the camera installation angle calculator 150.
  • ⁇ 2 is the vertical angle of view of the camera, which is already set by the camera.
  • ⁇ 3 is a vertical angle of object foot print of the object, and the coordinate converter 140 may calculate ⁇ 3 using the foot-print coordinates. Therefore, the relationship between the distance Dy the object is moved away from the camera in the vertical direction and the installation height H of the camera is expressed by Equation 2 below.
  • Equation 3 Solving and arranging the left side of Equation 2 is as in Equation 3.
  • Equation 3 Equations 3 and 4 are summarized as in Equation 5 below.
  • FIG. 5 shows a top view of the situation of FIG. 4.
  • ⁇ 4 is a horizontal angle of view of the camera, which is a value already set by the camera.
  • ⁇ 5 is a horizontal angle of view of an object foot print, and the coordinate transformation unit 140 may calculate ⁇ 5 using the foot-print coordinates.
  • L is the geometrical distance L from Camera Is defined as
  • Equation 7 The relationship between the horizontal distance Dx of the object and ⁇ 5 is shown in Equation 7.
  • the coordinate transformation unit 140 In order for the coordinate transformation unit 140 to calculate the foot-print actual coordinates Dx and Dy, information about an angle ⁇ 1 of the tilted camera and a height H of the camera is required. Industrial sites, such as factories and workplaces that handle dangerous goods, are large and large, and more than hundreds of cameras are installed and monitored. Therefore, in the embodiment of the present invention, the tilted camera angle ⁇ 1 is automatically calculated by the camera installation angle calculator 150, and the height H of the camera is set to an arbitrary value by the user.
  • the camera installation angle calculator 150 calculates the tilt angle ⁇ 1 of the camera. This will be described with reference to FIGS. 6 and 7.
  • FIG. 6 is a diagram illustrating a case where the camera is installed in parallel with the floor surface.
  • Figure 6 (a) shows the installation of the camera
  • Figure 6 (b) is a view showing the image taken by the camera.
  • FIG. 7 is a view showing the side when the camera is installed at a constant angle ( ⁇ 1 ) with the bottom surface.
  • the installation angle ( ⁇ 1 ) of the camera is calculated as shown in Equation 10 below.
  • Equation 10 Im is the number of Y-axis coordinate pixels away from the camera center, and is calculated using two parallel lines on the sea plane.
  • ⁇ 2 is the vertical angle of view of the camera and Height is the number of vertical pixels of the image (Height pixels in FIG. 9).
  • the camera installation angle calculation unit 150 automatically calculates the installation angle ⁇ 1 of the camera as shown in Equation 10, and outputs the calculated value to the coordinate conversion unit 140. .
  • the installation height (H) of the camera according to the embodiment of the present invention is a value arbitrarily set by the user. Therefore, the coordinate conversion unit 140 according to the embodiment of the present invention calculates the actual coordinates of the foot-print depending on the installation height H of the camera arbitrarily set. That is, as the installation height H of the camera arbitrarily set is larger or smaller than the actual height, the actual foot-print actual coordinates Dx and Dy output from the coordinate conversion unit 140 also vary.
  • the height extracting unit 160 calculates the height of the object using the foot-print image coordinates, the head coordinates, and the installation height H of the camera arbitrarily set.
  • FIG. 8 is a diagram illustrating a relationship between an object height Human_Height and a camera height H.
  • the height extractor 160 may calculate dist1forHum using head coordinates, and calculate DFC_Y using foot-print image coordinates.
  • dist2forHum is dist1forHum minus DFC_Y.
  • Equation 11 the relation between the height of the object Human_Height and the height H of the camera is expressed by Equation 11 below.
  • the height (Human_Height) of the object also depends on the height (H, Camera_Height) of the camera like the foot-print actual coordinates.
  • the running situation determination unit 170 finally determines the running situation using the foot-print actual coordinates Dx and Dy and the height of the object Human_Height.
  • both the foot-print actual coordinates and the height of the camera are values that vary depending on the height H of the camera.
  • the distance traveled by the object during the arbitrary time t and t-n time is calculated as in Equation 12 below. That is, the running situation determiner 170 may calculate the moving distance of the object only by using the foot-print actual coordinates Dx and Dy.
  • the running situation determination unit 170 is the final run object when the moving distance of the object calculated as shown in Equation 12 is greater than the height (Human_Height) of the calculated object as shown in Equation 11 I think that.
  • the moving distance of the object calculated in Equation 12 is also a value depending on the height H of the camera, and the height H of the camera is also proportional to the height Human_Height. Therefore, even if the exact distance that the object is actually moved is not known, if the threshold value is set to the calculated height (Human_Height), the running situation of the object can be determined.
  • FIG. 9 is a flowchart illustrating a run detection method according to an embodiment of the present invention.
  • an image photographed by the camera is input to the object detector 110 (S610).
  • the object detector 110 detects a moving object by using a tracking algorithm on the input image (S620).
  • the foreground edge detector 120 detects the foreground edge of the object detected by the object detector 110 (S630). That is, the foreground edge detector 120 extracts a common component of the image edge and the time edge and detects an edge satisfying the common component as the foreground edge.
  • the foot-print and head coordinate extractor 130 extracts a foot-print image coordinate by using a rectangular region for the foreground edge and extracts a coordinate corresponding to the head of the object (S640). ).
  • the camera installation angle calculator 150 calculates an installation angle ⁇ 1 of the camera (S650). That is, the camera installation angle calculation unit 150 automatically calculates the installation angle ⁇ 1 of the camera as shown in Equation 10. On the other hand, this step S650 may be performed only once when the image is initially input.
  • the coordinate conversion unit 140 calculates the actual foot-print coordinates using the installation angle of the camera, the height H of the camera set to an arbitrary value, and the foot-print image coordinates (S660). That is, the coordinate conversion unit 140 calculates the foot-print actual coordinates by using Equations 6 and 9 below.
  • the running situation determination unit 170 calculates a moving distance of the object using the foot-print actual coordinates (S670). That is, the running situation determiner 170 calculates the moving distance of the object by using Equation 12.
  • the object height extracting unit 160 calculates the height of the object by using the foot-print image coordinates, the head coordinates, and the installation height H of the camera arbitrarily set (S680). That is, the object height extracting unit 160 calculates the height (Human_Height) of the object by using Equation 11.
  • the running situation determination unit 170 determines whether the object is running by comparing the moving distance of the object calculated in step S670 with the height of the object extracted in step S680 (S690). The running situation determiner 170 determines that the object is running when the moving distance of the object is greater than the height of the object (S691). In addition, when the moving distance of the object is not greater than the height of the object, the running state determination unit 170 determines that the object does not run (S692).
  • the present invention relates to a run detection system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

달리기 감지 방법 및 시스템이 개시된다. 달리기 감지 시스템은 입력되는 영상에서 움직이는 객체를 검출하고, 객체에 대해서 전경 에지를 검출한다. 그리고 달리기 감지 시스템은 전경 에지를 이용하여 풋-프린트 영상 좌표 및 객체의 머리 좌표를 추출하며, 풋-프린트 영상 좌표, 카메라가 기울어진 각도, 그리고 카메라가 설치된 높이를 이용하여 풋-프린트 실제 좌표를 획득한다. 여기서, 달리기 감지 시스템은 객체의 풋-프린트 실제 좌표와 객체의 높이를 이용하여, 객체가 달리는지 여부를 판단한다.

Description

달리기 감지 방법 및 시스템
본 발명은 달리기 감지 방법 및 시스템에 관한 것이다.
사회 안전에 대한 관심이 증가하고 환경 안전을 중시하는 시대적 상황에 따라, 달리기 상황을 감지하는 방법 및 시스템에 대한 사회적 요구가 증가하고 있다.
기존의 달리기 감지 방법은 카메라 교정을 통해 실세계 3차원 좌표를 영상의 2차원 좌표로 변환하고, 변환된 영상을 이용하여 객체가 이동한 거리를 계산함으로써 달리기를 감지한다.
여기서, 실세계 3차원 좌표(이하, '월드좌표'라 함)를 영상의 2차원의 좌표로 변환하는 카메라 교정 방법이 중요하다. 이를 위해, 격자 모양의 평면 패턴을 이용하는 방법이 일반적으로 사용된다. 카메라 교정 성능은 월드 좌표를 영상 좌표로 변환하는 변환행렬의 계산에 의해 좌우되며, 이러한 변환행렬을 호모그래피 매트릭스라 한다. 카메라 교정 방법을 수식으로 나타내면 아래의 수학식 1과 같다.
수학식 1
Figure PCTKR2014010015-appb-M000001
상기 수학식 1에서, A는 카메라 내부 왜곡을 보정하기 위한 행렬이고,
Figure PCTKR2014010015-appb-I000001
는 월드좌표를 영상좌표 변환하기 위한 회전/이동변환 행렬이고, X, Y, Z는 월드좌표이고, x,y는 영상좌표이다. 여기서,
Figure PCTKR2014010015-appb-I000002
를 호모그래피 매트릭스라고 하며, fx, fy, cx, cy, skew_c는 각각 영상의 x,y에 대한 초점거리, 주점, 비대칭 계수하고 한다. 주점은 이미지 센서(CMOS, CCD 등)의 가로/세로 비율에 의해 발생하며, 비대칭 계수는 카메라 제작과정의 오차에서 발생한다. 카메라가 말들어진 초창기에는 이러한 변수의 영향이 컸지만 기술 발로 인해 영향이 거의 없다.
따라서, 호모그래피 매트릭스를 구하기 위해서는 나머지 파라미터(초점 및 회전.이동변환 행렬, 월드 좌표)를 계산해야 하며, 이때 도 1과 같은 격자 모양의 평면 패턴을 이용하여 월드좌표와 영상좌표를 매칭한다. 도 1은 호모그래피 매트릭스를 구하는데 사용되는 격자 모양의 평면 패턴을 나타내는 도면이다.
이러한 나머지 파라미터를 계산하기 위해서는 카메라의 기본적인 스펙(초점 길이, 수직/수평 화각 등), 카메라의 설치 높이 및 각도 정보 등이 필요하다. 또한 카메라가 설치되면 해당 도 1의 격자 모양의 평면 패턴을 이용하여 월드좌표에 대한 정보를 획득하여야만 한다. 하지만 취급하는 공장, 사업장 등의 산업 현장은 대개 규모가 커서 수백대 이상의 카메라를 설치하므로, 기존의 카메라 교정 방법을 적용하기 힘들다.
본 발명이 해결하고자 하는 과제는 평면 패턴을 사용하지 않고 사용자 입력정보를 이용하여 달리기를 감지하는 방법 및 시스템을 제공하는 것이다.
본 발명의 실시예에 따르면, 달리기 감지 시스템이 제공된다. 상기 달리기 감지 시스템은, 카메라를 통해 촬영된 영상에서 움직이는 객체를 검출하는 객체 검출부, 상기 객체에 대해서 전경 에지를 검출하는 전경 에지 검출부, 상기 전경 에지를 이용하여, 풋-프린트 영상 좌표를 추출하고, 상기 객체의 머리 부분에 대한 좌표인 머리 좌표를 추출하는 풋-프린트 및 머리 좌표 추출부, 상기 카메라가 설치되어 기울어진 각도를 계산하는 카메라 설치 각도 계산부, 상기 풋-프린트 영상 좌표, 상기 각도, 그리고 상기 카메라가 설치된 높이를 이용하여, 상기 객체가 상기 카메라로부터 떨어진 좌표인 풋-프린트 실제 좌표를 획득하는 좌표 변환부, 상기 객체의 높이를 계산하는 높이 추출부, 그리고 상기 풋-프린트 실제 좌표와 상기 객체의 높이를 이용하여, 상기 객체가 달리는지 여부를 판단하는 달리기 상황 판단부를 포함할 수 있다.
상기 카메라가 설치된 높이는 사용자에 의해 임의로 설정된 값일 수 있다.
상기 높이 추출부는 상기 카메라가 설치된 높이, 상기 풋-프린트 영상 좌표, 그리고 상기 머리 좌표를 이용하여, 상기 객체의 높이를 계산할 수 있다.
상기 카메라 설치 각도 계산부는 상기 카메라의 수직 화각, 상기 영상의 수직 픽셀의 수, 그리고 상기 카메라의 중심에서 떨어진 Y축 좌표 픽셀 수를 이용하여, 상기 각도를 계산할 수 있다.
상기 좌표 변환부는 역투시 변환 방법을 기반으로 상기 풋-프린트 실제 좌표를 획득할 수 있다.
상기 좌표 변환부는, 상기 풋-프린트가 상기 카메라로부터 수직방향으로 떨어진 제1 거리를 계산할 수 있으며, 상기 제1 거리를 이용하여 상기 풋-프린트가 상기 카메라로부터 수평방향으로 떨어진 거리인 제2 거리를 계산할 수 있으며, 상기 제1 거리와 상기 제2 거리가 상기 풋-프린트 실제 좌표일 수 있다.
상기 풋-프린트 실제 좌표 및 상기 객체의 높이는 상기 카메라가 설치된 높이에 따라 변동될 수 있다.
상기 달리기 상황 판단부는 상기 풋-프린트 실제 좌표를 이용하여 상기 객체가 이동한 거리를 계산할 수 있으며, 상기 이동한 거리가 상기 객체의 높이보다 큰 경우 상기 객체가 달리는 것으로 판단할 수 있다.
상기 객체 검출부는 배경 모델링 방법을 통해 상기 객체를 검출할 수 있다.
상기 전경 에지 검출부는, 상기 객체의 전체 영상으로부터 영상 에지를 검출하고, 상기 객체의 현재 영상과 상기 객체의 현재 영상에 시간적으로 연속하는 영상을 이용하여 시간 에지를 검출하며, 상기 영상 에지와 상기 시간 에지의 공통 성분을 상기 전경 에지로 추출할 수 있다.
상기 카메라는 핀홀 카메라일 수 있다.
달리기 감지 시스템에서 카메라를 통해 촬영된 영상을 이용하여 객체의 달리기를 감지하는 방법이 제공될 수 있다. 상기 달리기 감지 방법은, 상기 영상에서 움직이는 객체를 검출하는 단계, 상기 객체에 대해서 전경 에지를 검출하는 단계, 상기 전경 에지를 이용하여, 풋-프린트 영상 좌표를 추출하는 단계, 상기 전경 에지를 이용하여, 상기 객체의 머리 부분에 대한 좌표인 머리 좌표를 추출하는 단계, 상기 카메라가 설치되어 기울어진 각도를 계산하는 단계, 상기 풋-프린트 영상 좌표, 상기 각도, 그리고 상기 카메라가 설치된 높이를 이용하여, 상기 객체가 상기 카메라부터 실제 떨어진 좌표인 풋-프린트 실제 좌표를 획득하는 단계, 상기 객체의 높이를 계산하는 단계, 그리고 상기 풋-프린트 실제 좌표와 상기 객체의 높이를 이용하여, 상기 객체의 달리기 여부를 판단하는 단계를 포함할 수 있다.
상기 카메라가 설치된 높이는 사용자에 의해 임의로 설정된 값일 수 있다.
상기 객체의 높이를 계산하는 단계는, 상기 카메라가 설치된 높이, 상기 풋-프린트 영상 좌표, 그리고 상기 머리 좌표를 이용하여, 상기 객체의 높이를 계산하는 단계를 포함할 수 있다.
상기 풋-프린트 실제 좌표 및 상기 객체의 높이는 상기 카메라가 설치된 높이에 의존할 수 있다.
상기 각도를 계산하는 단계는, 상기 카메라의 수직 화각, 상기 영상의 수직 픽셀의 수, 그리고 상기 카메라의 중심에서 떨어진 Y축 좌표 픽셀 수를 이용하여, 상기 각도를 계산하는 단계를 포함할 수 있다.
상기 풋-프린트 실제 좌표를 획득하는 단계는, 상기 풋-프린트가 상기 카메라로부터 수직방향으로 떨어진 좌표인 제1 좌표를 계산하는 단계, 그리고 상기 제1 좌표를 이용하여 상기 풋-프린트가 상기 카메라로부터 수평방향으로 떨어진 좌표인 제2 좌표를 계산하는 단계를 포함할 수 있다.
상기 판단하는 단계는, 상기 풋-프린트 좌표를 이용하여 상기 객체가 이동한 거리를 계산하는 단계, 그리고 상기 이동한 거리와 상기 객체의 높이를 비교하는 단계를 포함할 수 있다.
상기 판단하는 단계는 상기 이동한 거리가 상기 객체의 높이보다 큰 경우, 상기 객체가 달리는 것으로 판단하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 사용자의 입력 정보만을 이용하여 자동으로 객체의 달리기 여부를 감지할 수 있다.
도 1은 호모그래피 매트릭스를 구하는데 사용되는 격자 모양의 평면 패턴을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 달리기 감지 시스템을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 핀홀 카메라 모델을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 핀홀 카메라의 설치 상황을 나타내는 도면이다.
도 5는 도 4의 상황에 대한 평면도(top view)를 나타낸다.
도 6은 카메라가 바닥 면과 평행하게 설치된 경우를 나타내는 도면이다.
도 7은 카메라가 바닥 면과 일정한 각도(Θ1)로 설치시 측면을 나타내는 도면이다.
도 8은 객체의 높이(Human_Height)와 카메라의 높이(H)의 관계를 나타내는 도면이다.
도 9는 본 발명의 실시예에 따른 달리기 감지 방법을 나타내는 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시예에 따른 달리기 감지 방법 및 시스템에 대하여 도면을 참조하여 상세하게 설명한다.
도 2는 본 발명의 실시예에 따른 달리기 감지 시스템을 나타내는 도면이다.
도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 달리기 감지 시스템(100)은 객체 검출부(110), 전경 에지 검출부(120), 풋-프린트 및 머리 좌표 추출부(130), 좌표 변환부(140), 카메라 설치 각도 계산부(150), 높이 추출부(160) 및 달리기 상황 판단부(170)를 포함한다.
객체 검출부(110)는 카메라에 의해 촬영된 영상에 트랙킹 알고리즘을 적용하여, 움직이는 객체를 검출한다. 영상감시 분야에서 트랙킹 알고리즘은 다양하게 존재하며, 그 중에서 코드북을 기반으로 하는 배경 모델링 방법을 통해 객체를 검출할 수 있다. 여기서, 객체 검출부(110)에 의해 객체가 검출되면 객체에 대한 사각 영역이 만들어진다. 배경 모델링 방법은 영상에서 각 픽셀이 가지는 값의 분산을 학습하여 정의된 임계치 이상을 가지는 픽셀을 전경을 간주함으로써 객체를 검출한다. 배경 모델링 방법은 본 발명이 속하는 기술분야의 통상을 지식을 가진 자라면 알 수 있으므로 이하 구체적인 설명은 생략한다.
전경 에지 검출부(120)는 객체 검출부(110)에 의해 검출된 객체에 대해서 전경 에지를 검출한다. 전경 에지 검출부(120)는 검출된 객체의 각 픽셀에 대한 시간 축 상에 있는 여러 장의 영상들에 대해 에지를 검출한다. 더욱 상세히 설명하면, 전경 에지 검출부(120)는 먼저 입력되는 하나의 객체의 전체 영상으로부터 에지(이하, '영상 에지'라 함)를 검출하고, 시간에 따라 입력되는 복수의 객체 영상을 이용하여 에지 성분(이하, '시간 에지'라 함)을 검출한다. 그리고 전경 에지 검출부(120)는 검출한 영상 에지와 시간 에지의 공통 성분을 추출하고 공통 성분을 만족하는 에지를 전경 에지로 정의한다. 이와 같이 전경 에지를 구하는 방법은 국내 등록특허 번호 제 10-1398684에 구체적으로 기재되어 있으므로, 이하 구체적인 설명은 생략한다. 한편, 전경 에지 검출부(120)에 검출된 전경 에지는 객체 검출부(110)에서 검출된 객체의 사각 영역보다 작은 사각 영역이 설정된다.
한편, 풋-프린트 및 머리 좌표 추출부(130)는 전경 에지에 대한 사각 영역을 이용하여, 풋-프린트(foot-print) 영상 좌표를 추출하며 객체의 머리 부분에 대응하는 좌표(이하, '머리 좌표'라 함)를 추출한다. 풋-프린트 및 머리 좌표 추출부(130)는 전경 에지 검출부(120)에 검출된 전경 에지에 대한 사각 영역에서 y축 하단의 픽셀 위치, x축 중심점을 해당 객체의 풋-프린트(foot-print) 영상 좌표로 설정한다. 그리고, 풋-프린트 및 머리 좌표 추출부(130)는 전경 에지 검출부(120)에 검출된 전경 에지에 대한 사각 영역에서 y축 상단의 픽셀 위치, x축 중심점을 해당 객체의 머리 좌표로 설정한다. 풋-프린트 및 머리 좌표 추출부(130)에서 추출된 풋-프린트 좌표는 좌표 변환부(140) 및 높이 추출부(160)로 입력되며, 머리 좌표는 높이 추출부(160)로 입력된다.
좌표 변환부(140)는 역투시 변환 방법을 기반으로 객체의 풋-프린트 영상 좌표를 이용하여 해당 객체가 실제 카메라에서 떨어진 좌표(이하, '풋-프린트 실제 좌표'라 함)를 획득한다. 역투시 변환 방법은 아래의 도 3과 같이 핀홀(Pinhole) 카메라 모델을 기반으로 한다.
도 3은 본 발명의 실시예에 따른 핀홀 카메라 모델을 나타내는 도면이며, 도 4는 본 발명의 실시예에 따른 핀홀 카메라의 설치 상황을 나타내는 도면이다.
본 발명의 실시예에서는 도 4와 같이 일정 높이에 카메라가 설치되고 카메라가 임의의 각도로 기울어져 영상을 촬영한다고 가정한다. 좌표 변환부(140)는 역투시 변환을 위해, 먼저 객체가 카메라로부터 수직 방향으로 떨어진 거리(Dy)를 계산하고, 다음으로 객체가 카메라로부터 수평 방향으로 떨어진 거리(Dx)를 계산한다. 여기서, 풋-프리트 실제 좌표가 (Dx, Dy) 이다.
여기서, 아래에서 설명하는 바와 같이 카메라의 높이(H)는 사용자에 의해 임의로 설정되는 값이며, 기울어진 카메라 각도(Θ1)는 카메라 설치 각도 계산부(150)에 의해 자동적으로 계산된다. 그리고 Θ2는 해당 카메라의 수직 화각(Vertical Angle of View)으로서 카메라에 의해 이미 설정된 값이다. 그리고 Θ3는 객체의 풋-프린트에 대한 수직 화각(Vertical Angle of Object Foot-Print)으로서, 좌표 변환부(140)는 풋-프린트 좌표를 이용하여 Θ3를 계산할 수 있다. 따라서, 객체가 카메라에서 수직방향으로 떨어진 거리(Dy)와 카메라라의 설치 높이(H)의 관계는 아래의 수학식 2와 같다.
수학식 2
Figure PCTKR2014010015-appb-M000002
수학식 2의 좌변을 풀어서 정리하면 수학식 3과 같다.
수학식 3
Figure PCTKR2014010015-appb-M000003
한편, Θ2와 초점 거리(f)의 관계는 수학식 4와 같다.
수학식 4
Figure PCTKR2014010015-appb-M000004
수학식 3과 수학식 4를 정리하면, 아래의 수학식 5와 같다.
수학식 5
Figure PCTKR2014010015-appb-M000005
객체가 카메라에서 수직방향으로 떨어진 거리인 Dy는 수학식 2과 수학식 5를 이용하여, 최종적으로 수학식 6과 같이 계산된다.
수학식 6
Figure PCTKR2014010015-appb-M000006
상기 수학식 6을 이용하여 Dy가 계산되면, 이를 이용하여 객체가 카메라를 중심으로 떨어진 수평 방향의 거리(Dx)를 계산할 수 있다.
도 5는 도 4의 상황에 대한 평면도(top view)를 나타낸다. 도 5에서 Θ4는 카메라의 수평 화각(Horizontal Angle of View)으로서 카메라에 의해 이미 설정된 값이다. Θ5는 객체의 풋-프린트에 대한 수평 화각(Horizontal of Angle of Object Foot-Print)으로서, 좌표 변환부(140)는 풋-프린트 좌표를 이용하여 Θ5를 계산할 수 있다. 그리고 L은 카메라로부터의 기하학적인 거리(Diagonal Distance L from Camera)이며
Figure PCTKR2014010015-appb-I000003
로 정의된다.
객체의 수평 방향의 거리(Dx)와 Θ5의 관계는 수학식 7과 같다.
수학식 7
Figure PCTKR2014010015-appb-M000007
여기서, Θ4, Θ5와 초점 거리 f와의 관계는 다음의 수학식 8과 같이므로, 최종적으로 객체의 수평 방향의 거리(Dx)는 수학식 9와 같이 계산된다.
수학식 8
Figure PCTKR2014010015-appb-M000008
수학식 9
Figure PCTKR2014010015-appb-M000009
이와 같이 수학식 6과 수학식 9와 같이 최종적으로 풋-프린트(foot-print) 실제 좌표(Dx, Dy)가 계산된다.
좌표 변환부(140)가 풋-프린트 실제 좌표(Dx, Dy)를 계산하기 위해서는 기울어진 카메라의 각도(Θ1)와 카메라의 높이(H)의 정보가 필요한다. 위험물을 취급하는 공장, 사업장 등의 산업 현장은 크모가 커서 수백대 이상의 카메라를 설치하여 감시하므로, 카메라 설치 이러한 정보를 모두 확보하여 입력하기 힘들다. 따라서, 본 발명의 실시예에서는 기울어진 카메라의 각도(Θ1)은 카메라 설치 각도 계산부(150)에 의해 자동적으로 계산되며, 카메라의 높이(H)는 사용자에 의해 임의의 값으로 설정된다.
카메라 설치 각도 계산부(150)는 카메라의 기울어진 각도(Θ1)를 계산한다. 이에 대해서 도 6 및 도 7을 참조하여 설명한다.
도 6은 카메라가 바닥 면과 평행하게 설치된 경우를 나타내는 도면이다. 더욱 상세히 설명하면, 도 6의 (a)는 카메라의 설치 상황을 나타내며, 도 6의 (b)는 카메라에 의해 촬영된 영상을 나타내는 도면이다.
도 6의 (a)의 설치 상황에서 객체가 점점 카메라로부터 멀어지는 경우, 도 6의 (b)에 나타낸 바와 같이, 영상의 소실점은 카메라의 영상 중심이 된다. 이때, 바닥 면의 평행선은 영상의 소실점과 만나게 된다.
도 7은 카메라가 바닥 면과 일정한 각도(Θ1)로 설치시 측면을 나타내는 도면이다.
영상에서 바닥 면의 평행선이 주어지면 카메라의 설치 각도(Θ1)는 아래의 수학식 10과 같이 계산된다.
수학식 10
Figure PCTKR2014010015-appb-M000010
수학식 10에서, Im은 카메라 중심에서 떨어진 Y축 좌표 픽셀 수이며, 바다 면의 평행한 두선을 이용하여 계산된다. 그리고 Θ2는 카메라의 수직 화각이고 Height는 영상의 수직 픽셀 수(도 9에서 Height pixel)이다.
이와 같이 본 발명의 실시예에 따른 카메라 설치 각도 계산부(150)는 수학식 10과 같이 카메라의 설치 각도(Θ1)를 자동적으로 계산하고, 계산한 값은 좌표 변환부(140)로 출력한다.
한편, 본 발명의 실시예에 따른 카메라의 설치 높이(H)는 사용자에 의해 임의로 설정된 값이다. 따라서, 본 발명의 실시예에 따른 좌표 변환부(140)는 임의로 설정된 카메라의 설치 높이(H)에 의존하여 풋-프린트의 실제 좌표를 계산한다. 즉, 임의로 설정된 카메라의 설치 높이(H)가 실제 높이보다 크거나 작음에 따라, 좌표 변환부(140)에서 출력하는 풋-프린트 실제 좌표(Dx, Dy)도 변동된다.
높이 추출부(160)는 풋-프린트 영상 좌표, 머리 좌표, 그리고 임의로 설정된 카메라의 설치 높이(H)를 이용하여, 객체의 높이를 계산한다.
도 8은 객체의 높이(Human_Height)와 카메라의 높이(H)의 관계를 나타내는 도면이다.
도 8을 참조하면, 높이 추출부(160)는 머리 좌표를 이용하여 dist1forHum을 계산할 수 있으며, 풋-프린트 영상 좌표를 이용하여 DFC_Y를 계산할 수 있다. 여기서, dist2forHum은 dist1forHum에서 DFC_Y를 뺀 값이다.
따라서, 객체의 높이(Human_Height)와 카메라의 높이(H)의 관계는 아래의 수학식 11과 같이 된다.
수학식 11
Figure PCTKR2014010015-appb-M000011
Figure PCTKR2014010015-appb-I000004
수학식 11에 나타낸 바와 같이, 객체의 높이(Human_Height)도 풋-프린트 실제 좌표와 같이 카메라의 높이(H, Camera_Height)에 의존한다.
다음으로, 본 발명의 실시예에 따른 달리기 상황 판단부(170)는 풋-프린트 실제 좌표(Dx, Dy)와 객체의의 높이(Human_Height)를 이용하여 최종적으로 달리기 상황을 판단한다. 여기서, 풋-프린트 실제 좌표와 카메라의 높이 모두 카메라의 높이(H)에 따라 변동되는 값이다.
임의의 시간 t와 t-n 시간 동안 객체가 이동한 거리는 아래의 수학식 12와 같이 계산된다. 즉, 달리기 상황 판단부(170)는 풋-프린트 실제 좌표(Dx, Dy)를 이용하야 객체의 이동 거리를 계산할 수 있다.
수학식 12
Figure PCTKR2014010015-appb-M000012
여기서, 본 발명의 실시예에 따른 달리기 상황 판단부(170)는 수학식 12와 같이 계산된 객체의 이동 거리가 수학식 11과 같이 계산된 객체의 높이(Human_Height)보다 큰 경우 최종적으로 객체가 달리는 것으로 판단한다. 수학식 12에서 계산된 객체의 이동 거리도 카메라의 높이(H)에 의존하는 값이고, 카메라의 높이(H)도 객체의 높이(Human_Height)에 비례한다. 따라서, 객체가 실제로 이동한 정확한 거리를 알 수 없더라도, 계산된 객체의 높이(Human_Height)로 임계치로 설정하면, 객체의 달리기 상황을 판별할 수 있다.
도 9는 본 발명의 실시예에 따른 달리기 감지 방법을 나타내는 흐름도이다.
도 9에 나타낸 바와 같이, 카메라에 의해 촬영된 영상이 객체 검출부(110)로 입력된다(S610). 객체 검출부(110)는 입력 영상에 트랙킹 알고리즘을 이용하여 움직이는 객체를 검출한다(S620).
전경 에지 검출부(120)는 객체 검출부(110)에서 검출된 객체에 대해서 전경 에지를 검출한다(S630). 즉, 전경 에지 검출부(120)는 영상 에지와 시간 에지의 공통 성분을 추출하고 공통 성분을 만족하는 에지를 전경 에지로서 검출한다.
한편, 풋-프린트 및 머리 좌표 추출부(130)는 전경 에지에 대한 사각 영역을 이용하여, 풋-프린트(foot-print) 영상 좌표를 추출하며 객체의 머리 부분에 대응하는 좌표를 추출한다(S640).
카메라 설치 각도 계산부(150)는 카메라의 설치 각도(Θ1)를 계산한다(S650). 즉, 카메라 설치 각도 계산부(150)는 수학식 10과 같이 카메라의 설치 각도(Θ1)를 자동적으로 계산한다. 한편, 이러한 S650단계는 최초에 영상이 입력될 때만 한번 수행될 수 있다.
좌표 변환부(140)는 카메라의 설치 각도, 임의의 값으로 설정된 카메라의 높이(H), 풋-프린트 영상 좌표를 이용하여, 풋-프린트 실제 좌표를 계산한다(S660). 즉, 좌표 변환부(140)는 수학식 6과 수학식 9를 이용하여 풋-프린트 실제 좌표를 계산한다.
그리고 달리기 상황 판단부(170)는 풋-프린트 실제 좌표를 이용하여 객체의 이동 거리를 계산한다(S670). 즉, 달리기 상황 판단부(170)는 수학식 12를 이용하여 객체의 이동 거리를 계산한다.
객체 높이 추출부(160)는 풋-프린트 영상 좌표, 머리 좌표, 그리고 임의로 설정된 카메라의 설치 높이(H)를 이용하여, 객체의 높이를 계산한다(S680). 즉, 객체 높이 추출부(160)는 수학식 11을 이용하여 객체의 높이(Human_Height)를 계산한다.
한편, 달리기 상황 판단부(170)는 S670 단계에서 계산된 객체의 이동 거리와 S680 단계에서 추출된 객체의 높이를 비교하여, 객체가 달리고 있는지 여부를 판단한다(S690). 달리기 상황 판단부(170)는 객체의 이동 거리가 객체의 높이보다 큰 경우에는 객체가 달리는 것으로 판단한다(S691). 그리고 달리기 상황 판단부(170)는 객체의 이동 거리가 객체의 높이보다 크지 않는 경우에는 객체가 달리지 않는 것으로 판단한다(S692).
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
본 발명은 달리기 감지 시스템에 관한 것이다.

Claims (19)

  1. 카메라를 통해 촬영된 영상에서 움직이는 객체를 검출하는 객체 검출부,
    상기 객체에 대해서 전경 에지를 검출하는 전경 에지 검출부,
    상기 전경 에지를 이용하여, 풋-프린트 영상 좌표를 추출하고, 상기 객체의 머리 부분에 대한 좌표인 머리 좌표를 추출하는 풋-프린트 및 머리 좌표 추출부,
    상기 카메라가 설치되어 기울어진 각도를 계산하는 카메라 설치 각도 계산부,
    상기 풋-프린트 영상 좌표, 상기 각도, 그리고 상기 카메라가 설치된 높이를 이용하여, 상기 객체가 상기 카메라로부터 떨어진 좌표인 풋-프린트 실제 좌표를 획득하는 좌표 변환부,
    상기 객체의 높이를 계산하는 높이 추출부, 그리고
    상기 풋-프린트 실제 좌표와 상기 객체의 높이를 이용하여, 상기 객체가 달리는지 여부를 판단하는 달리기 상황 판단부를 포함하는 달리기 감지 시스템.
  2. 제1항에 있어서,
    상기 카메라가 설치된 높이는 사용자에 의해 임의로 설정된 값인 달리기 감지 시스템.
  3. 제2항에 있어서,
    상기 높이 추출부는 상기 카메라가 설치된 높이, 상기 풋-프린트 영상 좌표, 그리고 상기 머리 좌표를 이용하여, 상기 객체의 높이를 계산하는 달리기 감지 시스템.
  4. 제1항에 있어서,
    상기 카메라 설치 각도 계산부는 상기 카메라의 수직 화각, 상기 영상의 수직 픽셀의 수, 그리고 상기 카메라의 중심에서 떨어진 Y축 좌표 픽셀 수를 이용하여, 상기 각도를 계산하는 달리기 감지 시스템.
  5. 제1항에 있어서,
    상기 좌표 변환부는 역투시 변환 방법을 기반으로 상기 풋-프린트 실제 좌표를 획득하는 달리기 감지 시스템.
  6. 제5항에 있어서,
    상기 좌표 변환부는, 상기 풋-프린트가 상기 카메라로부터 수직방향으로 떨어진 제1 거리를 계산하며, 상기 제1 거리를 이용하여 상기 풋-프린트가 상기 카메라로부터 수평방향으로 떨어진 거리인 제2 거리를 계산하며,
    상기 제1 거리와 상기 제2 거리가 상기 풋-프린트 실제 좌표인 달리기 감지 시스템.
  7. 제2항에 있어서,
    상기 풋-프린트 실제 좌표 및 상기 객체의 높이는 상기 카메라가 설치된 높이에 따라 변동되는 달리기 감지 시스템.
  8. 제1항에 있어서,
    상기 달리기 상황 판단부는 상기 풋-프린트 실제 좌표를 이용하여 상기 객체가 이동한 거리를 계산하며, 상기 이동한 거리가 상기 객체의 높이보다 큰 경우 상기 객체가 달리는 것으로 판단하는 달리기 감지 시스템.
  9. 제1항에 있어서,
    상기 객체 검출부는 배경 모델링 방법을 통해 상기 객체를 검출하는 달리기 감지 시스템.
  10. 제1항에 있어서,
    상기 전경 에지 검출부는, 상기 객체의 전체 영상으로부터 영상 에지를 검출하고, 상기 객체의 현재 영상과 상기 객체의 현재 영상에 시간적으로 연속하는 영상을 이용하여 시간 에지를 검출하며, 상기 영상 에지와 상기 시간 에지의 공통 성분을 상기 전경 에지로 추출하는 달리기 감지 시스템.
  11. 제1항에 있어서,
    상기 카메라는 핀홀 카메라인 달리기 감지 시스템.
  12. 달리기 감지 시스템에서 카메라를 통해 촬영된 영상을 이용하여 객체의 달리기를 감지하는 방법으로서,
    상기 영상에서 움직이는 객체를 검출하는 단계,
    상기 객체에 대해서 전경 에지를 검출하는 단계,
    상기 전경 에지를 이용하여, 풋-프린트 영상 좌표를 추출하는 단계,
    상기 전경 에지를 이용하여, 상기 객체의 머리 부분에 대한 좌표인 머리 좌표를 추출하는 단계,
    상기 카메라가 설치되어 기울어진 각도를 계산하는 단계,
    상기 풋-프린트 영상 좌표, 상기 각도, 그리고 상기 카메라가 설치된 높이를 이용하여, 상기 객체가 상기 카메라부터 실제 떨어진 좌표인 풋-프린트 실제 좌표를 획득하는 단계,
    상기 객체의 높이를 계산하는 단계, 그리고
    상기 풋-프린트 실제 좌표와 상기 객체의 높이를 이용하여, 상기 객체의 달리기 여부를 판단하는 단계를 포함하는 달리기 감지 방법.
  13. 제12항에 있어서,
    상기 카메라가 설치된 높이는 사용자에 의해 임의로 설정된 값인 달리기 감지 방법.
  14. 제12항에 있어서,
    상기 객체의 높이를 계산하는 단계는, 상기 카메라가 설치된 높이, 상기 풋-프린트 영상 좌표, 그리고 상기 머리 좌표를 이용하여, 상기 객체의 높이를 계산하는 단계를 포함하는 달리기 감지 방법.
  15. 제13항에 있어서,
    상기 풋-프린트 실제 좌표 및 상기 객체의 높이는 상기 카메라가 설치된 높이에 의존하는 달리기 감지 방법.
  16. 제12항에 있어서,
    상기 각도를 계산하는 단계는, 상기 카메라의 수직 화각, 상기 영상의 수직 픽셀의 수, 그리고 상기 카메라의 중심에서 떨어진 Y축 좌표 픽셀 수를 이용하여, 상기 각도를 계산하는 단계를 포함하는 달리기 감지 방법.
  17. 제12항에 있어서,
    상기 풋-프린트 실제 좌표를 획득하는 단계는,
    상기 풋-프린트가 상기 카메라로부터 수직방향으로 떨어진 좌표인 제1 좌표를 계산하는 단계, 그리고
    상기 제1 좌표를 이용하여 상기 풋-프린트가 상기 카메라로부터 수평방향으로 떨어진 좌표인 제2 좌표를 계산하는 단계를 포함하는 달리기 감지 방법.
  18. 제12항에 있어서,
    상기 판단하는 단계는,
    상기 풋-프린트 좌표를 이용하여 상기 객체가 이동한 거리를 계산하는 단계, 그리고
    상기 이동한 거리와 상기 객체의 높이를 비교하는 단계를 포함하는 달리기 감지 방법.
  19. 제18항에 있어서,
    상기 판단하는 단계는 상기 이동한 거리가 상기 객체의 높이보다 큰 경우, 상기 객체가 달리는 것으로 판단하는 단계를 더 포함하는 달리기 감지 방법.
PCT/KR2014/010015 2014-09-04 2014-10-23 달리기 감지 방법 및 시스템 WO2016035924A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/507,760 US10205911B2 (en) 2014-09-04 2014-10-23 Method and system for detecting running
CN201480081707.8A CN106796726B (zh) 2014-09-04 2014-10-23 运动检测方法和系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0117977 2014-09-04
KR1020140117977A KR101620580B1 (ko) 2014-09-04 2014-09-04 달리기 감지 방법 및 시스템

Publications (1)

Publication Number Publication Date
WO2016035924A1 true WO2016035924A1 (ko) 2016-03-10

Family

ID=55439974

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/010015 WO2016035924A1 (ko) 2014-09-04 2014-10-23 달리기 감지 방법 및 시스템

Country Status (4)

Country Link
US (1) US10205911B2 (ko)
KR (1) KR101620580B1 (ko)
CN (1) CN106796726B (ko)
WO (1) WO2016035924A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11995864B2 (en) 2019-04-29 2024-05-28 Bae Systems Plc System and method for localisation using footprints

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6764533B2 (ja) * 2017-06-20 2020-09-30 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN108900805B (zh) * 2018-07-11 2021-01-12 长沙理工大学 一种基于计算机网络的艺术设计用品移动实时监控系统
CA3113919A1 (en) * 2018-09-27 2020-04-02 Hti Digital Gmbh System and method for detecting the number of users on at least one ski resort run
US12063456B2 (en) * 2022-08-12 2024-08-13 Haier Us Appliance Solutions, Inc. Adjustable camera assembly in a refrigerator appliance

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009301494A (ja) * 2008-06-17 2009-12-24 Sumitomo Electric Ind Ltd 画像処理装置及び画像処理方法
KR101051390B1 (ko) * 2009-08-31 2011-07-22 주식회사 이미지넥스트 감시카메라의 객체 정보 추정장치 및 방법
US20120327241A1 (en) * 2011-06-24 2012-12-27 Honeywell International Inc. Video Motion Detection, Analysis and Threat Detection Device and Method
KR101398684B1 (ko) * 2013-01-10 2014-05-27 주식회사 에스원 승강기 도어 개폐 감지 방법 및 장치
KR20140071188A (ko) * 2012-12-03 2014-06-11 삼성테크윈 주식회사 카메라와 목표물 사이의 수평 거리를 구하는 방법, 이 방법을 채용한 카메라 및 감시 시스템

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377514B1 (en) * 1999-04-06 2002-04-23 Q-Dot, Inc. Acoustic lens-based swimmer's sonar
JP3649277B2 (ja) 2000-12-21 2005-05-18 日本電気株式会社 画像認識による速度測定システム及び速度測定方法
US20060047363A1 (en) * 2004-08-31 2006-03-02 Farrelly Philip J Machine vision system for lab workcells
KR100999206B1 (ko) * 2005-04-18 2010-12-07 인텔 코오퍼레이션 보행자 추적을 통한 비디오 시퀀스들로부터의 삼차원적 로드 레이아웃 추정을 위한 방법, 장치, 및 그것을 위한 컴퓨터 판독 가능한 기록 매체
KR100811832B1 (ko) 2006-05-30 2008-03-10 주식회사 에스원 단일 카메라를 이용한 영상의 실제 크기 측정 방법 및 장치
KR101375665B1 (ko) 2007-08-08 2014-03-18 삼성전자주식회사 배경 변화 추정 방법 및 장치, 및 이를 이용한 움직임 검출 방법 및 장치
KR100965129B1 (ko) 2008-08-11 2010-06-23 (주)제이티 보행자 검지 및 보행밀도 계산방법
US8582867B2 (en) * 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US9916538B2 (en) * 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US8873813B2 (en) * 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
KR20130062489A (ko) 2011-12-05 2013-06-13 웅진보안시스템(주) 객체추적 시스템 및 그 운영방법
KR101309366B1 (ko) 2012-02-16 2013-09-17 부경대학교 산학협력단 영상 기반 이상 동작 감시 시스템 및 방법
CN103925920B (zh) * 2014-04-10 2016-08-17 西北工业大学 一种基于图像透视的微型无人机室内自主导航方法
CN106054931B (zh) * 2016-07-29 2019-11-05 北方工业大学 一种基于视觉定位的无人机定点飞行控制系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009301494A (ja) * 2008-06-17 2009-12-24 Sumitomo Electric Ind Ltd 画像処理装置及び画像処理方法
KR101051390B1 (ko) * 2009-08-31 2011-07-22 주식회사 이미지넥스트 감시카메라의 객체 정보 추정장치 및 방법
US20120327241A1 (en) * 2011-06-24 2012-12-27 Honeywell International Inc. Video Motion Detection, Analysis and Threat Detection Device and Method
KR20140071188A (ko) * 2012-12-03 2014-06-11 삼성테크윈 주식회사 카메라와 목표물 사이의 수평 거리를 구하는 방법, 이 방법을 채용한 카메라 및 감시 시스템
KR101398684B1 (ko) * 2013-01-10 2014-05-27 주식회사 에스원 승강기 도어 개폐 감지 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11995864B2 (en) 2019-04-29 2024-05-28 Bae Systems Plc System and method for localisation using footprints

Also Published As

Publication number Publication date
US10205911B2 (en) 2019-02-12
US20170287145A1 (en) 2017-10-05
CN106796726A (zh) 2017-05-31
KR20160028875A (ko) 2016-03-14
KR101620580B1 (ko) 2016-05-12
CN106796726B (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
WO2016035924A1 (ko) 달리기 감지 방법 및 시스템
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
WO2011052826A1 (ko) 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
JP4681856B2 (ja) カメラの校正方法及びカメラの校正装置
WO2014073841A1 (ko) 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기
WO2012011713A2 (ko) 차선 인식 시스템 및 방법
WO2011013862A1 (ko) 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
WO2017099510A1 (ko) 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
WO2013125768A1 (ko) 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출 및 깊이 정보 추정장치 및 방법
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2020067751A1 (ko) 이종 센서 간의 데이터 융합 장치 및 방법
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2016072625A1 (ko) 영상방식을 이용한 주차장의 차량 위치 확인 시스템 및 그 제어방법
WO2017195984A1 (ko) 3차원 스캐닝 장치 및 방법
WO2020256517A2 (ko) 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
WO2016064107A1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
WO2013022153A1 (en) Apparatus and method for detecting lane
WO2019231127A1 (ko) 저조도 영상 내 소실점에 기반하여 방향을 추정하는 로봇 및 방법
WO2015196878A1 (zh) 一种电视虚拟触控方法及系统
WO2014058165A1 (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
WO2014035050A1 (ko) 영상 밝기 조절 방법 및 그 장치와, 스테레오 카메라
WO2014051309A1 (en) Stereo matching apparatus using image property
WO2018038300A1 (ko) 이미지 제공 장치, 방법 및 컴퓨터 프로그램
WO2019151555A1 (ko) 물체 검출 방법 및 로봇 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14901165

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15507760

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14901165

Country of ref document: EP

Kind code of ref document: A1