WO2014035103A1 - 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법 - Google Patents

촬영영상으로부터 객체를 감시하기 위한 장치 및 방법 Download PDF

Info

Publication number
WO2014035103A1
WO2014035103A1 PCT/KR2013/007629 KR2013007629W WO2014035103A1 WO 2014035103 A1 WO2014035103 A1 WO 2014035103A1 KR 2013007629 W KR2013007629 W KR 2013007629W WO 2014035103 A1 WO2014035103 A1 WO 2014035103A1
Authority
WO
WIPO (PCT)
Prior art keywords
interest
image
pixel
candidate
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2013/007629
Other languages
English (en)
French (fr)
Inventor
이희열
조영관
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Telecom Co Ltd
Original Assignee
SK Telecom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Telecom Co Ltd filed Critical SK Telecom Co Ltd
Priority to CN201380045430.9A priority Critical patent/CN104603838B/zh
Publication of WO2014035103A1 publication Critical patent/WO2014035103A1/ko
Priority to US14/634,618 priority patent/US9367742B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present embodiment relates to an apparatus and a method for monitoring an object from a captured image.
  • a color change of a pixel is detected, the pixel having a color change is observed for a predetermined time, and the pixel of the neglected and stolen object is determined using the gradient information.
  • the present embodiment generates an edge image and a reference image based on the gradient information of a frame, sets an object of interest by comparing the edge image and the reference image, and monitors an event such as theft and neglect of the set object of interest. It is a primary object to provide an apparatus and method for monitoring an object from a network.
  • the image receiving unit for receiving a frame of the captured image;
  • An edge image generation unit for generating an edge image by detecting contours of objects appearing in the frame;
  • a reference image generator for generating a reference image representing a contour repeatedly appearing a plurality of times in a plurality of frames as a background edge;
  • An object candidate extracting unit extracting an object candidate pixel by comparing the edge image and the reference image and extracting the extracted plurality of object candidate pixels as a group object candidate;
  • an object-of-interest determiner that determines whether the object is an object of interest based on the size of the object candidate and the detection duration.
  • an image receiving process of receiving a frame from an image photographing apparatus An edge image generation process of generating an edge image by detecting contours of objects appearing in the frame; A reference image generation process of generating a reference image representing a contour repeatedly appearing a plurality of times in the plurality of frames as a background edge; An object candidate extraction process for extracting an object candidate by comparing the edge image with the reference image; And an object-of-interest determination process for determining whether the object candidate is an object of interest.
  • the edge image and the reference image are generated based on the gradient information of the frame, the object of interest is set by comparing the edge image and the reference image, theft and neglect of the set object of interest, and the like.
  • the edge image and the reference image are generated based on the gradient information of the frame, the object of interest is set by comparing the edge image and the reference image, theft and neglect of the set object of interest, and the like.
  • FIG. 1 is a block diagram schematically illustrating an object monitoring system for monitoring theft and neglect according to the present embodiment
  • FIG. 2 is a block diagram schematically illustrating an updater for updating a reference image in the object monitoring apparatus according to the present embodiment
  • FIG. 3 is a flowchart illustrating an object monitoring method for monitoring theft and neglect according to the present embodiment
  • FIG 4 is an exemplary view for explaining the operation of the object monitoring apparatus according to the present embodiment.
  • FIG. 1 is a block diagram schematically showing an object monitoring system for monitoring theft and neglect according to the present embodiment.
  • the object monitoring system includes an image photographing apparatus 110 and an object monitoring apparatus 120.
  • the object monitoring apparatus 120 includes an image receiver 130, an edge image generator 140, a reference image generator 150, an updater 160, an object candidate extractor 170, and an object of interest.
  • the determination unit 180 and the display unit 190 are included.
  • the image capturing apparatus 110 refers to a device capable of capturing an image, and the image capturing apparatus 110 according to the present embodiment is a CCTV camera for capturing an object surveillance image for surveillance of the theft and neglect of an object, and a surveillance camera. It is preferably implemented by a camera or the like.
  • the image capturing apparatus 110 transmits the photographed captured image to the object monitoring apparatus 120 to monitor theft and neglect.
  • the image photographed by the image capturing apparatus 110 may include a plurality of frames.
  • the object monitoring apparatus 120 generates an edge image and a reference image, and extracts a detection candidate based on a relative difference value calculated by applying a pixel value of the edge image and a pixel value of the reference image to a predetermined function. In addition, the object monitoring apparatus 120 registers the extracted detection candidate as an object of interest according to a predetermined criterion to monitor events such as theft and neglect.
  • the components included in the object monitoring apparatus 120 according to the present embodiment will be described in more detail as follows.
  • the image receiving unit 130 receives a frame among the captured images captured by the image capturing apparatus 110 connected to the object monitoring apparatus 120.
  • the frame is preferably a frame captured from the captured image, but is not necessarily limited thereto.
  • the frame may be a frame selected from among a plurality of frames.
  • the edge image generation unit 140 generates edge images by detecting the outlines of the objects appearing in the frame using edge information using the gradient information of the frame.
  • the gradient information is a value generated from a difference value between adjacent pixels among predetermined pixels in a frame and may mean a sum of absolute values of differences.
  • the edge means the boundary between the objects using the gradient information.
  • the reference image generator 150 generates a reference image by detecting a portion of the frame corresponding to the background as a background edge.
  • the reference image may be an image obtained by detecting the contours of the objects of the preset area with the background edge, but may also be an image obtained by comparing the plurality of frames and repeating a predetermined number of times or more as the background edge.
  • the object candidate extracting unit 170 extracts the object candidate pixels by comparing the edge image and the reference image, and groups the extracted plurality of object candidate pixels into the object candidates.
  • the object candidate extracting unit 170 applies a pixel value of an edge image and a pixel value of a reference image to a predetermined function to calculate a relative difference (RD) and has a state equal to or greater than a predetermined threshold. If it is maintained for a predetermined time, the pixel having the corresponding relative difference value is determined as the object candidate pixel and extracted.
  • the predetermined time means a time set by comparing an edge image and a reference image so that an object having a movement between frames is not extracted as an object candidate.
  • the relative difference value is proportional to the square of the difference between the pixel value of the edge image and the pixel value of the reference image, and is inversely proportional to the maximum value of the pixel value of the edge image and the pixel value of the reference image.
  • Equation 1 An example for obtaining a relative difference value RD for extracting an object candidate pixel by comparing an edge image pixel value and a reference image pixel value is shown in Equation 1 below.
  • the object candidate extracting unit 170 calculates a relative difference value of 1.6 when the pixel value of the edge image is 10 pixels and the pixel value of the reference image is 6 pixels. . Since the relative difference is less than or equal to the threshold, it is determined that there is no object candidate pixel in the corresponding image frame.
  • the threshold for extracting the object candidate pixel is 2 if the pixel value of the edge image is 10 pixels and the pixel value of the reference image is 4 pixels, the relative difference value 3.6 is calculated. In this case, since the relative difference is greater than or equal to the threshold value, if the predetermined difference lasts for a predetermined time, the pixel having the corresponding state difference is determined as the object candidate pixel.
  • the object candidate extracting unit 170 groups the plurality of object candidate pixels determined as the object candidate pixels into object candidates.
  • the object candidate extractor 170 groups the plurality of object candidate pixels in which a relative difference value that is equal to or greater than a predetermined threshold value lasts for a predetermined time or more into an object candidate.
  • the object-of-interest determination unit 180 determines that the object candidate is the object of interest when the edge portion of the object candidate does not change in the object candidate group for a predetermined time or more and the size of the object candidate is larger than a preset reference size. Meanwhile, the object-of-interest determination unit 180 determines that the edge of the object candidate has no change in the object candidate group for more than a predetermined time and the size of the object candidate is smaller than the preset reference size.
  • the reference image is updated through the unit 160.
  • the updater 181 updates the object candidate determined by the interest object determiner 180 as the background edge to the reference image.
  • the update means adding or deleting only the changed part by comparing the reference image generated by the reference image generator 150 with the object candidate determined as the background edge.
  • the object-of-interest monitoring unit 182 registers the object candidate determined by the object-of-interest determination unit 180 as the object of interest, measures the duration in the captured image from the time when the object of interest is registered, and the measured time is measured.
  • an event such as theft and neglect is generated and an event signal (eg, theft and neglect signal) is generated.
  • the event is preferably stolen and neglected, but any field can be applied as long as it can be applied using the detection of an object of interest.
  • the preset reference time is a time inputted by the user and, for example, when the neglect function is used to monitor the vehicle's stoppage violation, the reference time is set to 5 minutes and the vehicle is left at the same position for 5 minutes or more.
  • a reference time can be set to 3 seconds to generate a stolen signal for the art object when the art object disappears for 3 seconds or more.
  • the object-of-interest monitoring unit 182 detects an event such as theft or neglect, and if the pixel value of the predetermined edge image and the pixel value of the predetermined reference image are A and B, respectively, the object of interest corresponds to the region of interest.
  • an event such as theft or neglect
  • the pixel value of the predetermined edge image and the pixel value of the predetermined reference image are A and B, respectively, the object of interest corresponds to the region of interest.
  • the difference between the pixel value of the edge image and the pixel value of the reference image is greater than 0 (AB> 0) in the object-of-interest monitoring unit 182, pixels not present in the reference image appear (hereinafter referred to as generation pixel). If the difference between the pixel value for the edge image and the pixel value for the reference image is less than 0 (AB ⁇ 0) at 182, the pixels in the reference image disappear (hereinafter, referred to as erased pixels).
  • erased pixels For example, when the object-of-interest monitoring unit 182 monitors an idle event, a generation pixel appears in the outline portion of the object in the reference image, and an existing background edge is hidden by the object and appears as a deletion pixel at the center of the object.
  • the object-of-interest monitoring unit 182 monitors the theft event, the generation pixel appears in the center of the object that is hidden by the object in the reference image, and the deletion pixel for the missing object appears in the outline of the object.
  • the object-of-interest monitoring unit 182 detects an event such as theft or neglect based on the difference between the pixel value of the edge image and the pixel value of the reference image, and weights the distance from the center of the object of interest as a weight. By summation, events such as theft and neglect can be detected. For example, when the object-of-interest monitoring unit 182 monitors an idle event, it is determined that the pixels (generated pixels) appearing in the outline of the object have a greater distance from the object-of-interest area and are larger than the number of missing pixels (erased pixels). Thus, the sum of the weights using the distance from the center of the object of interest as a weight may determine that the object is neglected by calculating a positive value.
  • Equation 2 an example for calculating the sum of weights using the distance from the center of the object of interest as a weight is shown in Equation 2.
  • the display 190 receives an event signal (eg, theft and neglect signal) generated according to a preset reference time by the object-of-interest monitoring unit 182 and displays the same on the object of interest (eg, circle display, square display, etc.). To display on the monitor.
  • an event signal eg, theft and neglect signal
  • FIG. 2 is a block diagram schematically illustrating an updater for updating a reference image in the object monitoring apparatus according to the present embodiment.
  • the update unit 160 includes an update start unit 210, an update execution unit 220, and an update end unit 230.
  • the update starter 210 transmits an initialization signal to the reference image generator 150 to update the reference image.
  • the update start unit 210 is described as performing the update on the reference image only according to the determination of the object of interest determiner 180, but is not necessarily limited to this, by comparing the edge image and the reference image is set in advance When the background area is changed, the reference image may be updated through the update execution unit 220.
  • the update execution unit 220 performs an update on the reference image.
  • the update execution unit 220 compares the object candidate determined as the background edge and the reference image, and adds or deletes only the changed edges, but groups the object candidates.
  • the reference image may be generated by resetting the edges.
  • the update terminator 230 transmits an update completion signal to the reference image generator 150 to extract the object candidate using the updated reference image when the update of the reference image is terminated.
  • FIG. 3 is a flowchart illustrating an object monitoring method for monitoring theft and neglect according to the present embodiment.
  • the object monitoring apparatus 120 receives a frame among the images captured by the image capturing apparatus 110 (S310).
  • the frame is preferably a frame captured from the captured image, but is not necessarily limited thereto.
  • the frame may be a frame selected from among a plurality of frames.
  • the object monitoring apparatus 120 generates edge images by detecting contours of objects included in the frame as edges using gradient information (S320).
  • the object monitoring apparatus 120 generates a reference image by detecting an outline repeatedly appearing a predetermined number of times in a plurality of frames as a background edge (S330).
  • the object monitoring apparatus 120 extracts the object candidate by grouping different edge portions by comparing the edge image and the reference image (S340).
  • the object monitoring apparatus 120 calculates a relative difference value by applying the pixel value of the edge image and the pixel value of the reference image to a predetermined function, and when the state that is equal to or greater than a predetermined threshold value lasts for a predetermined time, The extracted pixels are determined as object candidate pixels and extracted.
  • the object monitoring apparatus 120 groups a plurality of object candidate pixels in which a relative difference value of more than a predetermined threshold value lasts for a predetermined time or more into an object candidate.
  • the object monitoring apparatus 120 determines whether the object candidate extracted in step S340 is an object of interest using a predetermined criterion (S350). If the object candidate is not an object of interest, the object monitoring apparatus 120 determines that the object candidate is a background edge of the reference image. The update is performed (S352). Here, the object monitoring apparatus 120 determines that the object candidate is not the object of interest when the edge portion of the object candidate does not change in the object candidate group for more than a predetermined time and the size of the object candidate is smaller than the preset reference size. .
  • the object monitoring apparatus 120 Registers the object candidate as an object of interest (S360).
  • the object monitoring apparatus 120 monitors an event such as theft and neglect of an object of interest (S370), and when an event such as theft or neglect of an object of interest occurs (S380), the area of the object of interest may be, for example, circle or The display is highlighted with a square border (S390).
  • steps S310 to S390 are described as being sequentially executed. However, this is merely illustrative of the technical idea of an embodiment of the present invention, and the general knowledge in the technical field to which an embodiment of the present invention belongs. Those having a variety of modifications and variations may be applicable by changing the order described in FIG. 3 or executing one or more steps of steps S310 to S390 in parallel without departing from the essential characteristics of an embodiment of the present invention. 3 is not limited to the time series order.
  • FIG 4 is an exemplary view for explaining the operation of the object monitoring apparatus according to the present embodiment.
  • the photographed image 410 is an image photographed by the image photographing apparatus 110 and is an image of a person leaving a bag in an empty room.
  • the edge image 420 is an image generated by the object detecting apparatus 120 detecting edges of a plurality of objects appearing in a frame of the captured image 410 using the gradient information.
  • the reference image 430 is an image generated by detecting a portion of the frame corresponding to the background as a background edge.
  • the reference image may be an image obtained by detecting the contours of the objects of the preset area with the background edge, but may also be an image obtained by comparing the plurality of frames and repeating a predetermined number of times or more as the background edge.
  • the edge comparison image 440 is an image obtained by extracting the object candidate 442 by comparing the edge image 420 and the reference image 430.
  • the object detecting apparatus 120 applies the pixel value of the edge image 420 and the pixel value of the reference image 430 to a predetermined function to extract the object candidate 442 extracted from the edge comparison image 440.
  • the pixel having the relative difference value is determined as the pixel for the object candidate 442.
  • the object-of-interest image 450 is an image extracted by determining the object of interest 452 among the object candidates 442 based on a predetermined criterion.
  • the object detecting device 120 is determined that the edge portion of the object candidate 442 does not change the difference value of the pixel for a predetermined time or more and the size of the object candidate is larger than the preset reference size, the object candidate 442 Is determined to be the object of interest 452.
  • the event detection result image 460 is an image outputted by highlighting the event result 462 when an event for the object of interest 452 occurs.
  • the object detecting apparatus 120 measures the duration of the object of interest 452, and if the measured time reaches a preset reference time, determines that an event such as theft or neglect has occurred and highlights the event result 462.
  • the display may be displayed (eg, circle display, rectangular display, etc.) so as to output to the monitor.
  • the present embodiment is applied to a field to reduce an error due to a change in lighting (shade, lighting, lighting, etc.) generated when detecting an object of interest using color information, and using edge information. It is a useful invention that generates the effect that can quickly and accurately detect the object of interest.
  • image receiving unit 140 edge image generating unit
  • reference image generation unit 170 object candidate extraction unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
본 실시예는 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
종래에는 객체를 감시하는 데 있어서 화소의 컬러 변화를 검출하여, 컬러 변화가 있는 화소를 일정시간 주시하고 있다가 이를 그래디언트 정보를 이용해서 방치 및 도난 객체의 화소를 판정하였다.
하지만 전체 혹은 부분적인 조명(그늘짐, 점등 및 소등)에 의한 컬러변화는 실시간 감시 영상에서 빈번하게 나타나는데, 컬러에 의한 검출기법은 이러한 조명의 변화에 민감하게 반응하여 잘못된 판정을 일으킬 발생 확률이 높은 문제점이 있다. 또한, 조명에 의한 컬러변화의 문제점 이외에도, 방치 및 도난을 판단하는 과정이 객체후보 추출 과정과는 별도로 진행되기 때문에 감지속도가 저하되는 문제점이 있다. 또한, 방치 및 도난을 판단하는데 그래디언트 정보를 이용하면, 3차원의 컬러정보에 그래디언트 정보까지 추출하여 많은 계산시간이 필요로 하여 실시간 처리가 힘들다는 문제점이 있다.
본 실시예는 프레임의 그래디언트 정보에 근거하여 에지영상 및 참조영상을 생성하고, 에지영상과 참조영상을 비교하여 관심객체를 설정하고, 설정된 관심객체에 대한 도난 및 방치 등의 이벤트를 감시하는 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법을 제공하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면 촬영영상의 프레임을 수신하는 영상 수신부; 상기 프레임 내에 나타나는 객체들의 윤곽을 검출하여 에지(Edge)영상을 생성하는 에지영상 생성부; 복수 개의 프레임에 소정의 횟수로 반복하여 나타나는 윤곽을 배경에지로 나타내는 참조영상을 생성하는 참조영상 생성부; 상기 에지영상과 상기 참조영상을 비교하여 객체후보 화소를 추출하고, 추출된 복수 개의 상기 객체후보 화소를 그룹화한 객체후보로 추출하는 객체후보 추출부; 및 상기 객체후보의 크기 및 검출 지속시간에 근거하여 관심객체인지 여부를 판단하는 관심객체 판단부를 포함하는 것을 특징으로 하는 객체 감시장치를 제공한다.
본 실시예의 다른 측면에 의하면 영상 촬영장치로부터 프레임을 수신하는 영상 수신과정; 상기 프레임 내에 나타나는 객체들의 윤곽을 검출하여 에지영상을 생성하는 에지영상 생성과정; 복수 개의 상기 프레임에 소정의 횟수로 반복하여 나타나는 윤곽을 배경에지로 나타내는 참조영상을 생성하는 참조영상 생성과정; 상기 에지영상과 상기 참조영상을 비교하여 객체후보를 추출하는 객체후보 추출과정; 및 상기 객체후보가 관심객체인지 여부를 판단하는 관심객체 판단과정을 포함하는 것을 특징으로 하는 객체 감시방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 프레임의 그래디언트 정보에 근거하여 에지영상 및 참조영상을 생성하고, 에지영상과 참조영상을 비교하여 관심객체를 설정하고, 설정된 관심객체에 대한 도난 및 방치 등의 이벤트를 감시함으로써, 컬러정보를 이용하여 관심객체를 감지할 때 발생하는 조명의 변화(그늘짐, 점등 및 소등 등)에 의한 오류를 줄일 수 있고, 에지정보를 이용하여 관심객체를 빠르고 정확하게 감지할 수 있는 효과가 있다.
도 1은 본 실시예에 따른 도난 및 방치를 감시하기 위한 객체 감시시스템을 개략적으로 나타낸 블록 구성도,
도 2는 본 실시예에 따른 객체 감시장치에서 참조영상을 업데이트하기 위한 업데이트부를 개략적으로 나타낸 블록 구성도,
도 3은 본 실시예에 따른 도난 및 방치를 감시하기 위한 객체 감시방법을 설명하기 위한 순서도,
도 4는 본 실시예에 따른 객체 감시장치의 동작을 설명하기 위한 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 도난 및 방치를 감시하기 위한 객체 감시시스템을 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 객체 감시시스템은 영상 촬영장치(110), 객체 감시장치(120)를 포함한다. 여기서, 객체 감시장치(120)는 영상 수신부(130), 에지(Edge)영상 생성부(140), 참조영상 생성부(150), 업데이트부(160), 객체후보 추출부(170), 관심객체 판단부(180) 및 디스플레이부(190)를 포함한다.
영상 촬영장치(110)는 영상을 촬영할 수 있는 장치를 말하며, 본 실시예에 따른 영상 촬영장치(110)는 물체의 도난 및 방치 등의 감시를 위해 객체 감시 영상을 촬영할 수 있는 CCTV용 카메라, 감시 카메라 등으로 구현되는 것이 바람직하다. 영상 촬영장치(110)는 도난 및 방치를 감시하기 위해 촬영된 촬영영상을 객체 감시장치(120)로 전송한다. 영상 촬영장치(110)로 촬영된 영상은 복수 개의 프레임을 포함하여 구성될 수 있다.
객체 감시장치(120)는 에지영상과 참조영상을 생성하고, 에지영상에 대한 화소값과 참조영상에 대한 화소값을 소정의 함수에 적용하여 산출된 상대 차이값에 근거하여 검출후보를 추출한다. 또한, 객체 감시장치(120)는 추출된 검출후보를 소정의 기준에 따라 관심객체로 등록하여 도난 및 방치 등의 이벤트를 감시한다.
본 실시예에 따른 객체 감시장치(120)에 포함된 구성요소에 대해 더 자세히 설명하자면 다음과 같다.
영상 수신부(130)는 객체 감시장치(120)와 연결된 영상 촬영장치(110)로부터 촬영된 촬영영상 중 프레임을 수신한다. 여기서, 프레임은 촬영영상에서 캡쳐된 프레임인 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 복수 개의 프레임을 수신하여 그 중 선택된 하나의 프레임일 수 있다.
에지영상 생성부(140)는 프레임의 그래디언트(Gradient) 정보를 이용하여 프레임 내에 나타나는 객체들의 윤곽을 에지(Edge)로 검출하여 에지영상을 생성한다. 여기서, 그래디언트 정보는 프레임에서 소정의 화소들 중 인접하는 화소들 간의 차이값으로부터 생성된 값으로서, 차이의 절대값의 합을 의미할 수 있다. 여기서, 에지는 그래디언트 정보를 이용하여 객체 간의 경계를 표현한 것을 의미한다.
참조영상 생성부(150)는 프레임에서 배경에 해당하는 부분을 배경에지로 검출하여 참조영상을 생성한다. 여기서, 참조영상은 기 설정된 영역의 객체들의 윤곽을 배경에지로 검출한 영상일 수 있으나, 복수 개의 프레임을 비교하여 소정의 횟수 이상 반복하여 동일하게 나타나는 윤곽을 배경에지로 검출한 영상일 수도 있다.
객체후보 추출부(170)는 에지영상과 참조영상을 비교하여 객체후보 화소를 추출하고, 추출된 복수 개의 객체후보 화소를 객체후보로 그룹화한다.
본 실시예에 따른 객체후보 추출부(170)는 에지영상의 화소값과 참조영상의 화소값을 소정의 함수에 적용하여 상대 차이값(RD: Relative Difference)을 산출하고 소정의 임계값 이상인 상태가 기 설정된 시간동안 지속되면, 해당 상대 차이값을 갖는 화소를 객체후보 화소로 판단하여 추출한다. 여기서, 기 설정된 시간은 에지영상과 참조영상을 비교하여 프레임 간에 움직임이 있는 객체가 객체후보로 추출되지 않도록 설정된 시간을 의미한다. 여기서, 상대 차이값은 에지영상의 화소값과 참조영상의 화소값의 차이의 제곱에 비례하고, 에지영상의 화소값과 참조영상의 화소값 중 최대값에 반비례한다.
에지영상 화소값과 참조영상 화소값을 비교하여 객체후보 화소를 추출하기 위한 상대 차이값(RD)을 구하기 위한 일 예는 수학식 1과 같다.
수학식 1
Figure PCTKR2013007629-appb-M000001
(RD: 상대 차이값, A: 에지영상의 화소값, B: 참조영상의 화소값)
객체후보 추출부(170)는 예컨대, 객체후보 화소를 추출하기 위한 임계값은 2일 경우, 에지영상의 화소값이 10 화소, 참조영상의 화소값이 6 화소이면 상대 차이값은 1.6이 계산된다. 여기서, 상대 차이값은 임계값 이하이므로 해당 영상 프레임에 객체후보 화소가 없는 것으로 판단한다. 한편, 객체후보 화소를 추출하기 위한 임계값은 2일 경우, 에지영상의 화소값이 10 화소, 참조영상의 화소값이 4 화소이면 상대 차이값은 3.6이 계산된다. 여기서, 상대 차이값은 임계값 이상이므로 기 설정된 시간동안 지속되면 해당 상태 차이값을 갖는 화소를 객체후보 화소로 판단한다.
또한, 객체후보 추출부(170)는 객체후보 화소로 판단된 복수 개의 객체후보 화소를 객체후보로 그룹화한다. 여기서, 객체후보 추출부(170)는 소정의 임계값 이상인 상대 차이값이 기 설정된 시간 이상 지속되는 복수 개의 객체후보 화소를 객체후보로 그룹화한다.
관심객체 판단부(180)는 객체후보에 대한 에지부분이 소정의 시간 이상 객체후보 그룹의 변화가 없고 객체후보의 크기가 기 설정된 기준크기보다 크면, 객체후보를 관심객체인 것으로 판단한다. 한편, 관심객체 판단부(180)는 객체후보에 대한 에지부분이 소정의 시간 이상 객체후보 그룹의 변화가 없고 객체후보의 크기가 기 설정된 기준크기보다 작으면, 참조영상에 배경에지로 판단하여 업데이트부(160)를 통해 참조영상에 업데이트한다.
업데이트부(181)는 관심객체 판단부(180)에서 배경에지로 판단된 객체후보를 참조영상에 업데이트한다. 여기서, 업데이트는 참조영상 생성부(150)에서 생성된 참조영상을 배경에지로 판단된 객체후보와 비교하여 변화된 부분만을 추가 또는 삭제하는 것을 의미한다.
관심객체 감시부(182)는 관심객체 판단부(180)에서 판단된 객체후보를 관심객체로 등록하고, 관심객체가 등록된 시간부터 촬영영상 내에서의 지속시간을 측정하고, 측정된 시간이 기 설정된 기준시간에 도달하면 도난 및 방치 등의 이벤트가 발생한 것으로 인지하여 이벤트신호(예컨대, 도난 및 방치신호)를 생성한다. 여기서, 이벤트는 도난 및 방치 등의 것이 바람직하나 관심객체의 감지를 이용하여 적용될 수 있는 분야라면 그 어떤 분야도 가능하다. 또한, 기 설정된 기준시간은 사용자가 입력하여 설정된 시간으로서 예컨대, 차량의 정차위반을 감시하기 위해 방치기능을 사용하는 경우 기준시간을 5분으로 설정하여 5분 이상 동일 위치에 방치된 차량에 대한 방치신호를 생성할 수 있고, 미술관의 미술품 도난을 감시하기 위한 도난기능을 사용하는 경우 기준시간을 3초로 설정하여 3초 이상 미술품이 없어지면 미술품에 대한 도난신호를 생성할 수 있다.
관심객체 감시부(182)는 도난 및 방치 등의 이벤트를 감지하는 데 있어서, 소정의 에지영상에 대한 화소값과 소정의 참조영상에 대한 화소값을 각각 A, B라고 하면, 관심객체 영역에 해당하는 복수 개의 화소들의 (A-B)값들을 조합하여 관심객체에 대한 에지 분포를 이용함으로써, 도난 및 방치 등의 이벤트를 감지할 수 있다.
관심객체 감시부(182)에서 에지영상에 대한 화소값과 참조영상에 대한 화소값의 차가 0보다 크면(A-B>0), 참조영상에 없던 화소가 나타나고(이하, 생성화소), 관심객체 감시부(182)에서 에지영상에 대한 화소값과 참조영상에 대한 화소값의 차가 0보다 작으면(A-B<0), 참조영상에 있던 화소가 사라진다(이하, 삭제화소). 예컨대, 관심객체 감시부(182)가 방치 이벤트를 감시하는 경우, 참조영상 내에서 객체의 외곽선 부분에 생성화소가 나타나고, 기존의 배경에지는 객체에 가려져 객체의 중심부분에 삭제화소로 나타난다. 한편, 관심객체 감시부(182)가 도난 이벤트를 감시하는 경우, 참조영상 내에서 객체에 가려져 있던 객체의 중심부분에 생성화소가 나타나고, 객체의 외곽선 부분에 사라진 객체에 대한 삭제화소가 나타난다.
관심객체 감시부(182)는 에지영상에 대한 화소값과 참조영상에 대한 화소값의 차이에 근거하여 도난 및 방치 등과 같은 이벤트를 감지하는 데 있어서, 관심객체의 중심에서의 거리를 가중치로 하는 가중치의 합을 구함으로써 도난 및 방치 등과 같은 이벤트를 감지할 수 있다. 예컨대, 관심객체 감시부(182)가 방치 이벤트를 감시하는 경우, 객체의 외곽선 부분에 나타난 화소(생성화소)는 관심객체 영역과의 거리가 크고, 사라진 화소(삭제화소)의 개수보다 많을 것으로 판단되어 관심객체의 중심에서의 거리를 가중치로 하는 가중치의 합은 양수의 값이 산출되어 방치된 객체임을 판단할 수 있다.
여기서, 관심객체의 중심에서의 거리를 가중치로 하는 가중치의 합을 구하기 위한 일 예는 수학식 2와 같다.
수학식 2
Figure PCTKR2013007629-appb-M000002
(P: 생성 또는 삭제된 화소, d(P): 화소(P)와 관심객체 영역의 중심 사이의 거리, RD(P): 화소(P)에 대한 상대 차이값, type: 생성화소(예컨대, +1) 또는 삭제화소(예컨대, -1) 타입, ROI(Region of Interest): 관심객체에 대한 영역)
디스플레이부(190)는 관심객체 감시부(182)에서 기 설정된 기준시간에 따라 생성된 이벤트신호(예컨대, 도난 및 방치신호)를 수신하여 해당 관심객체에 표시(예컨대, 원 표시, 사각 표시 등)를 하여 모니터에 출력한다.
도 2는 본 실시예에 따른 객체 감시장치에서 참조영상을 업데이트하기 위한 업데이트부를 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 업데이트부(160)는 업데이트 시작부(210), 업데이트 실행부(220) 및 업데이트 종료부(230)를 포함한다.
업데이트 시작부(210)는 관심객체 판단부(180)에서 객체후보가 참조영상에 배경에지로 판단되면, 참조영상을 업데이트하기 위해 참조영상 생성부(150)에 초기화 신호를 전송한다. 한편, 업데이트 시작부(210)는 관심객체 판단부(180)의 판단에 따라서만 참조영상에 대한 업데이트를 수행하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 에지영상 과 참조영상을 비교하여 기 설정된 배경영역이 변경된 경우, 업데이트 실행부(220)를 통해 참조영상을 업데이트할 수도 있다.
업데이트 실행부(220)는 참조영상에 대한 업데이트를 수행한다. 여기서, 업데이트 실행부(220)는 배경에지로 판단된 객체후보와 참조영상을 비교하여 변화된 에지만을 추가 또는 삭제하는 것이 바람직하나 객체후보로 그룹화한다. 에지를 리셋(Reset)하여 참조영상을 생성할 수도 있다.
업데이트 종료부(230)는 참조영상에 대한 업데이트가 종료되면 업데이트된 참조영상을 이용하여 객체후보를 추출하도록 참조영상 생성부(150)에 업데이트 완료신호를 전송한다.
도 3은 본 실시예에 따른 도난 및 방치를 감시하기 위한 객체 감시방법을 설명하기 위한 순서도이다.
객체 감시장치(120)는 영상 촬영장치(110)로부터 촬영된 영상 중 프레임을 수신한다(S310). 여기서, 프레임은 촬영영상에서 캡쳐된 프레임인 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 복수 개의 프레임을 수신하여 그 중 선택된 하나의 프레임일 수 있다.
객체 감시장치(120)는 그래디언트 정보를 이용하여 상기 프레임 내에 포함된 객체들의 윤곽을 에지로 검출하여 에지영상을 생성한다(S320).
객체 감시장치(120)는 복수 개의 프레임에서 소정의 횟수로 반복하여 나타나는 윤곽을 배경에지로 검출하여 참조영상을 생성한다(S330).
한편, 객체 감시장치(120)는 참조영상에 대한 업데이트가 필요하지 않은 경우, 에지영상과 참조영상을 비교하여 상이한 에지부분을 그룹화하여 객체후보를 추출한다(S340). 객체 감시장치(120)는 에지영상의 화소값과 참조영상의 화소값을 소정의 함수에 적용하여 상대 차이값을 산출하고 소정의 임계값 이상인 상태가 기 설정된 시간동안 지속되면, 해당 상대 차이값을 갖는 화소를 객체후보 화소로 판단하여 추출한다. 또한, 객체 감시장치(120)는 소정의 임계값 이상인 상대 차이값이 기 설정된 시간 이상 지속되는 복수 개의 객체후보 화소를 객체후보로 그룹화한다.
객체 감시장치(120)는 단계 S340에서 추출된 객체후보가 소정의 기준을 이용하여 관심객체인지 여부를 판단하여(S350), 객체후보가 관심객체가 아닌 경우 참조영상의 배경에지로 판단하여 참조영상에 대한 업데이트를 수행한다(S352). 여기서, 객체 감시장치(120)는 객체후보에 대한 에지부분이 소정의 시간 이상 객체후보 그룹의 변화가 없고 객체후보의 크기가 기 설정된 기준크기보다 작으면, 객체후보를 관심객체가 아닌 것으로 판단한다.
한편, 단계 S350를 확인한 결과, 객체후보에 대한 에지부분이 소정의 시간 이상 객체후보 그룹의 변화가 없고 객체후보의 크기가 기 설정된 기준크기보다 커서 관심객체로 판단된 경우, 객체 감시장치(120)는 객체후보를 관심객체로 등록한다(S360).
객체 감시장치(120)는 관심객체의 도난 및 방치 등의 이벤트를 감시하고(S370), 관심객체에 대한 도난 및 방치 등의 이벤트가 발생하면(S380), 관심객체에 대한 영역을 예컨대, 원 또는 사각 테두리로 부각시켜 디스플레이한다(S390).
도 3에서는 단계 S310 내지 단계 S390를 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 3에 기재된 순서를 변경하여 실행하거나 단계 S310 내지 단계 S390 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
도 4는 본 실시예에 따른 객체 감시장치의 동작을 설명하기 위한 예시도이다.
촬영영상(410)은 영상 촬영장치(110)에서 촬영된 영상으로서 빈 방안에 사람이 가방을 두고 가는 영상이다.
에지영상(420)은 객체 감지장치(120)가 그래디언트 정보를 이용하여 촬영영상(410)의 프레임 내에 나타나는 복수 개의 객체들의 윤곽을 에지로 검출하여 생성한 영상이다.
참조영상(430)은 프레임에서 배경에 해당하는 부분을 배경에지로 검출하여 생성한 영상이다. 여기서, 참조영상은 기 설정된 영역의 객체들의 윤곽을 배경에지로 검출한 영상일 수 있으나, 복수 개의 프레임을 비교하여 소정의 횟수 이상 반복하여 동일하게 나타나는 윤곽을 배경에지로 검출한 영상일 수도 있다.
에지 비교영상(440)은 에지영상(420)과 참조영상(430)을 비교하여 객체후보(442)를 추출한 영상이다. 여기서, 객체 감지장치(120)는 에지 비교영상(440)에 추출된 객체후보(442)를 추출하기 위해 에지영상(420)의 화소값과 참조영상(430)의 화소값을 소정의 함수에 적용하여 상대 차이값을 산출하고 소정의 임계값 이상인 상태가 기 설정된 시간동안 지속되면, 해당 상대차이 값을 갖는 화소를 객체후보(442)에 대한 화소로 판단한다.
관심객체 영상(450)은 소정의 기준에 근거하여 객체후보(442) 중 관심객체(452)를 판단하여 추출한 영상이다. 여기서, 객체 감지장치(120)는 객체후보(442)에 대한 에지부분이 소정의 시간 이상 화소의 차이값 변화가 없고 객체후보의 크기가 기 설정된 기준크기보다 큰 것으로 확인되면, 객체후보(442)를 관심객체(452)인 것으로 판단한다
이벤트 탐지 결과영상(460)은 관심객체(452)에 대한 이벤트가 발생하면, 이벤트 결과(462)를 부각시켜 출력된 영상이다. 여기서, 객체 감지장치(120)는 관심객체(452)의 지속시간을 측정하고, 측정된 시간이 기 설정된 기준시간에 도달하면 도난 및 방치 등의 이벤트가 발생한 것으로 판단하여 이벤트 결과(462)를 부각되도록 표시(예컨대, 원 표시, 사각 표시 등)하여 모니터에 출력할 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 객체후보로 그룹화한다. 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 실시예은 분야에 적용되어, 컬러정보를 이용하여 관심객체를 감지할 때 발생하는 조명의 변화(그늘짐, 점등 및 소등 등)에 의한 오류를 줄일 수 있고, 에지정보를 이용하여 관심객체를 보다 빠르고 정확하게 감지할 수 있는 효과를 발생하는 유용한 발명이다.
(부호의 설명)
110: 영상 촬영장치 120: 객체 감시장치
130: 영상 수신부 140: 에지영상 생성부
150: 참조영상 생성부 170: 객체후보 추출부
180: 관심객체 판단부 181: 업데이트부
182: 관심객체 감시부 190: 디스플레이부
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2012년 08월 31일 한국에 출원한 특허출원번호 제 10-2012-0096805 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (17)

  1. 촬영영상의 프레임을 수신하는 영상 수신부;
    상기 프레임 내에 나타나는 객체들의 윤곽을 검출하여 에지(Edge)영상을 생성하는 에지영상 생성부;
    복수 개의 프레임에 소정의 횟수로 반복하여 나타나는 윤곽을 배경에지로 나타내는 참조영상을 생성하는 참조영상 생성부;
    상기 에지영상과 상기 참조영상을 비교하여 객체후보 화소를 추출하고, 추출된 복수 개의 상기 객체후보 화소를 그룹화한 객체후보로 추출하는 객체후보 추출부; 및
    상기 객체후보의 크기 및 검출 지속시간에 근거하여 관심객체인지 여부를 판단하는 관심객체 판단부
    를 포함하는 것을 특징으로 하는 객체 감시장치.
  2. 제 1 항에 있어서,
    상기 관심객체 판단부에서 상기 객체후보가 상기 관심객체가 아닌 것으로 판단되는 경우, 상기 객체후보를 상기 참조영상에 업데이트하는 업데이트부
    를 추가로 포함하는 것을 특징으로 하는 객체 감시장치.
  3. 제 2 항에 있어서,
    상기 업데이트부는,
    상기 객체후보가 소정의 시간 이상 화소의 차이값 변화가 없고, 상기 객체후보의 크기가 기 설정된 기준크기보다 작은 경우 상기 객체후보를 상기 참조영상에 업데이트하는 것을 특징으로 하는 객체 감시장치.
  4. 제 1 항에 있어서,
    상기 이벤트가 발생하면, 상기 관심객체 영역을 부각시켜 출력하는 디스플레이부
    를 추가로 포함하는 것을 특징으로 하는 객체 감시장치.
  5. 제 1 항에 있어서,
    상기 객체후보 추출부는,
    상기 에지영상과 상기 참조영상의 상대 차이값에 근거하여 상기 객체후보 화소를 추출하는 것을 특징으로 하는 객체 감시장치.
  6. 제 5 항에 있어서,
    상기 상대 차이값은,
    상기 에지영상의 화소값과 상기 참조영상의 화소값의 차이의 제곱에 비례하고, 상기 에지영상의 화소값과 상기 참조영상의 화소값 중 최대값에 반비례하는 것을 특징으로 하는 객체 감시장치.
  7. 제 6 항에 있어서,
    상기 객체후보 추출부는,
    상기 상대 차이값이 소정의 임계값보다 큰 상태가 기 설정된 시간 이상 유지되면 상기 객체후보 화소로 추출하고 상기 객체후보로 그룹화하는 것을 특징으로 하는 객체 감시장치.
  8. 제 1 항에 있어서,
    상기 에지영상 생성부는,
    상기 프레임의 그래디언트(Gradient) 정보를 이용하여 상기 에지를 검출하는 것을 특징으로 하는 객체 감시장치.
  9. 제 1 항에 있어서,
    상기 객체후보가 소정의 시간 이상 화소의 차이값 변화가 없고 상기 객체후보의 크가가 기 설정된 기준크기보다 큰 경우, 상기 객체후보를 상기 관심객체로 등록하여 이벤트 발생 여부를 감지하는 관심객체 감시부
    를 추가로 포함하는 것을 특징으로 하는 객체 감시장치.
  10. 제 9 항에 있어서,
    상기 관심객체 감시부는,
    상기 관심객체가 등록된 시간부터 상기 촬영영상 내에서의 지속시간을 측정하고, 측정된 상기 지속시간이 기 설정된 기준시간에 도달하게 되면 상기 이벤트가 발생한 것으로 인지하는 것을 특징으로 하는 객체 감시장치.
  11. 제 9 항에 있어서,
    상기 관심객체 감시부는,
    상기 에지영상에 대한 화소값과 상기 참조영상에 대한 화소값의 차를 이용하여 생성된 복수 개의 생성화소 및 삭제화소를 조합하여 상기 관심객체에 대한 에지를 생성하는 것을 특징으로 하는 객체 감시장치.
  12. 제 11 항에 있어서,
    상기 관심객체 감시부는,
    상기 에지영상에 대한 화소값과 상기 참조영상에 대한 화소값의 차가 O보다 크면 상기 생성화소가 나타나고, 상기 에지영상에 대한 화소값과 상기 참조영상에 대한 화소값의 차가 O보다 작으면 상기 삭제화소가 나타나되,
    상기 관심객체 감시부에서 상기 이벤트가 도난을 감시하는 이벤트인 경우, 상기 참조영상 내에서 상기 관심객체에 가려져 있던 상기 관심객체의 중심부분에 상기 생성화소를 나타내고, 상기 관심객체의 외곽선 부분에 상기 삭제화소를 나타내는 것을 특징으로 하는 객체 감시장치.
  13. 제 12 항에 있어서,
    상기 관심객체 감시부는,
    상기 관심객체의 중심에서 상기 생성화소 및 상기 삭제화소까지의 거리를 가중치로 하는 상기 가중치의 합을 구하여 상기 관심객체에 대한 상기 이벤트를 감시하되,
    상기 가중치의 합을 산출하는 데,
    수학식2
    Figure PCTKR2013007629-appb-I000001
    (P: 생성 또는 삭제된 화소, d(P): 화소(P)와 관심객체 영역의 중심 사이의 거리, RD(P): 화소(P)에 대한 상대 차이값, type: 생성화소(예컨대, +1) 또는 삭제화소(예컨대, -1) 타입, ROI(Region of Interest): 관심객체에 대한 영역)
    의 수학식을 적용하는 것을 특징으로 하는 객체 감시장치.
  14. 영상 촬영장치로부터 프레임을 수신하는 영상 수신과정;
    상기 프레임 내에 나타나는 객체들의 윤곽을 검출하여 에지영상을 생성하는 에지영상 생성과정;
    복수 개의 상기 프레임에 소정의 횟수로 반복하여 나타나는 윤곽을 배경에지로 나타내는 참조영상을 생성하는 참조영상 생성과정;
    상기 에지영상과 상기 참조영상을 비교하여 객체후보를 추출하는 객체후보 추출과정; 및
    상기 객체후보가 관심객체인지 여부를 판단하는 관심객체 판단과정
    을 포함하는 것을 특징으로 하는 객체 감시방법.
  15. 제 14 항에 있어서,
    상기 객체후보 추출과정은,
    상기 에지영상과 상기 참조영상을 비교하여 산출된 상대 차이값에 근거하여 객체후보 화소를 추출하고, 추출된 복수 개의 상기 객체후보 화소를 그룹화한 객체후보로 추출하는 것을 특징으로 하는 객체 감시방법.
  16. 제 14 항에 있어서,
    상기 관심객체 판단과정은,
    상기 객체후보가 소정의 시간 이상 화소의 차이값 변화가 없고 상기 객체후보의 크기가 기 설정된 기준크기보다 큰 경우, 상기 객체후보가 상기 관심객체인 것으로 판단하는 것을 특징으로 하는 객체 감시방법.
  17. 제 14 항에 있어서,
    상기 객체후보가 상기 관심객체로 판단되면, 상기 객체후보를 상기 관심객체로 등록하여 이벤트 발생 여부를 감시하는 관심객체 감시과정; 및
    상기 관심객체 감시과정에서 상기 이벤트가 발생하면, 상기 관심객체 영역을 부각시켜 출력하는 디스플레이 과정
    을 추가로 포함하는 것을 특징으로 하는 객체 감시방법.
PCT/KR2013/007629 2012-08-31 2013-08-26 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법 Ceased WO2014035103A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201380045430.9A CN104603838B (zh) 2012-08-31 2013-08-26 从采集的图像监测对象的设备和方法
US14/634,618 US9367742B2 (en) 2012-08-31 2015-02-27 Apparatus and method for monitoring object from captured image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0096805 2012-08-31
KR1020120096805A KR101921610B1 (ko) 2012-08-31 2012-08-31 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/634,618 Continuation US9367742B2 (en) 2012-08-31 2015-02-27 Apparatus and method for monitoring object from captured image

Publications (1)

Publication Number Publication Date
WO2014035103A1 true WO2014035103A1 (ko) 2014-03-06

Family

ID=50183856

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/007629 Ceased WO2014035103A1 (ko) 2012-08-31 2013-08-26 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법

Country Status (4)

Country Link
US (1) US9367742B2 (ko)
KR (1) KR101921610B1 (ko)
CN (1) CN104603838B (ko)
WO (1) WO2014035103A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102131896B1 (ko) 2014-09-23 2020-07-09 에스케이텔레콤 주식회사 영상 감시 방법 및 장치
KR102366521B1 (ko) 2015-01-19 2022-02-23 한화테크윈 주식회사 이동 물체 탐지 시스템 및 방법
US20160342845A1 (en) * 2015-04-28 2016-11-24 Arcsoft Inc. Detection zones
KR102631964B1 (ko) * 2016-11-23 2024-01-31 엘지이노텍 주식회사 차량 주행 정보를 이용한 이미지 분석 방법, 장치, 시스템, 프로그램 및 저장 매체
CN108428228A (zh) * 2018-03-05 2018-08-21 深圳市奥拓电子股份有限公司 Led灯智能检测方法、检测系统及存储介质
JP6915575B2 (ja) * 2018-03-29 2021-08-04 京セラドキュメントソリューションズ株式会社 制御装置及び監視システム
WO2020178926A1 (ja) * 2019-03-01 2020-09-10 株式会社日立製作所 置去り物検知装置および置去り物検知方法
CN113574849B (zh) 2019-07-29 2025-01-14 苹果公司 用于后续对象检测的对象扫描
KR102108326B1 (ko) * 2019-12-19 2020-05-12 주식회사 세오 레이더 신호 및 카메라 영상 정보 기반 인공지능 객체 식별 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100023786A (ko) * 2008-08-22 2010-03-04 정태우 영상에 포함된 객체를 색인하는 방법
KR20120006593A (ko) * 2010-07-13 2012-01-19 한국과학기술연구원 영상 내의 관심 영역에서의 물체 추출 장치 및 그 방법
KR20120025718A (ko) * 2010-09-08 2012-03-16 중앙대학교 산학협력단 이상행위 검출장치 및 방법
KR20120049636A (ko) * 2010-11-09 2012-05-17 삼성전자주식회사 영상 처리 장치 및 방법
JP2012128877A (ja) * 2012-03-19 2012-07-05 Toshiba Corp 不審行動検知システム及び方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0532052B1 (en) * 1991-09-12 2008-02-13 FUJIFILM Corporation Method for extracting object images and method for detecting movements thereof
JP5617246B2 (ja) * 2010-01-12 2014-11-05 ソニー株式会社 画像処理装置、物体選択方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100023786A (ko) * 2008-08-22 2010-03-04 정태우 영상에 포함된 객체를 색인하는 방법
KR20120006593A (ko) * 2010-07-13 2012-01-19 한국과학기술연구원 영상 내의 관심 영역에서의 물체 추출 장치 및 그 방법
KR20120025718A (ko) * 2010-09-08 2012-03-16 중앙대학교 산학협력단 이상행위 검출장치 및 방법
KR20120049636A (ko) * 2010-11-09 2012-05-17 삼성전자주식회사 영상 처리 장치 및 방법
JP2012128877A (ja) * 2012-03-19 2012-07-05 Toshiba Corp 不審行動検知システム及び方法

Also Published As

Publication number Publication date
US9367742B2 (en) 2016-06-14
KR20140029069A (ko) 2014-03-10
CN104603838B (zh) 2017-04-19
CN104603838A (zh) 2015-05-06
KR101921610B1 (ko) 2018-11-23
US20150169958A1 (en) 2015-06-18

Similar Documents

Publication Publication Date Title
KR101921610B1 (ko) 촬영영상으로부터 객체를 감시하기 위한 장치 및 방법
KR101237089B1 (ko) 랜덤 포레스트 분류 기법을 이용한 산불연기 감지 방법
WO2017039259A1 (ko) 열화상 카메라를 이용한 전력설비 진단 장치 및 방법
CN111047568A (zh) 一种漏汽缺陷检测识别方法及系统
WO2013168998A1 (en) Apparatus and method for processing 3d information
WO2014058248A1 (ko) 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법
CN114882251A (zh) 一种物联网大数据智能视频安防监控方法及装置
WO2015182904A1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
CN111612104B (zh) 车辆定损图像获取方法、装置、介质和电子设备
JP4653207B2 (ja) 煙検出装置
CN108182396A (zh) 一种自动识别拍照行为的方法及装置
WO2018101746A2 (ko) 도로면 폐색 영역 복원 장치 및 방법
WO2020173258A1 (zh) 图像识别系统及其方法
JP2018169831A (ja) 画像比較装置
WO2011136407A1 (ko) 스테레오 카메라를 이용한 영상인식장치 및 방법
WO2016204402A1 (ko) 부품 결함 검사 방법 및 그 장치
CN209895386U (zh) 图像识别系统
WO2015069063A1 (en) Method and system for creating a camera refocus effect
WO2014058165A1 (ko) 단일객체의 크기를 추정하는 영상 감시장치 및 방법
WO2019098421A1 (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
CN112597829A (zh) 一种交通诱导屏故障检测的方法和装置及设备
WO2011136405A1 (ko) 3ｄ 카메라를 이용한 영상인식장치 및 방법
JPH06308256A (ja) 雲霧検出方法
CN114332948A (zh) 基于yolov5算法的人头检测方法、模型训练方法和装置
WO2015026002A1 (ko) 영상 정합 장치 및 이를 이용한 영상 정합 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13833112

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 17.06.2015)

122 Ep: pct application non-entry in european phase

Ref document number: 13833112

Country of ref document: EP

Kind code of ref document: A1