KR102336284B1 - Moving Object Detection Method and System with Single Camera - Google Patents
Moving Object Detection Method and System with Single Camera Download PDFInfo
- Publication number
- KR102336284B1 KR102336284B1 KR1020170003980A KR20170003980A KR102336284B1 KR 102336284 B1 KR102336284 B1 KR 102336284B1 KR 1020170003980 A KR1020170003980 A KR 1020170003980A KR 20170003980 A KR20170003980 A KR 20170003980A KR 102336284 B1 KR102336284 B1 KR 102336284B1
- Authority
- KR
- South Korea
- Prior art keywords
- difference value
- divided
- object detection
- optical flow
- regions
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 25
- 230000003287 optical effect Effects 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000005192 partition Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000003709 image segmentation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H04N5/225—
Abstract
단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템이 제공된다. 본 발명의 실시예에 따른 객체 검출 방법은, 입력 영상 시퀀스로부터 광류 영상을 생성하고, 광류 영상에서 분할 영역들을 추출하며, 추출한 분할 영역들로부터 움직임 영역을 생성한다. 이에 의해, 객체 검출 성능을 향상시킬 수 있게 되며, 지능형 무인 자동차 드의 상황 인지 기술에 적용 가능하다.A method and system for detecting a moving object in an image using a single camera are provided. An object detection method according to an embodiment of the present invention generates an optical flow image from an input image sequence, extracts divided regions from the optical flow image, and generates a motion region from the extracted divided regions. Thereby, the object detection performance can be improved, and it can be applied to the situational awareness technology of the intelligent driverless car.
Description
본 발명은 객체 검출 방법에 관한 것으로, 더욱 상세하게는 단일 카메라로 획득한 영상 시퀀스로부터 움직이는 물체를 결정하고 검출하는 방법 및 시스템에 관한 것이다.The present invention relates to an object detection method, and more particularly, to a method and system for determining and detecting a moving object from an image sequence acquired with a single camera.
움직이는 객체를 검출하기 위해, 스테레오 카메라를 사용하거나 단일 카메라를 이용할 수 있으며, 카메라의 움직임을 계산하고 이로부터 검출을 수행하게 된다.To detect a moving object, a stereo camera or a single camera may be used, and the motion of the camera is calculated and detection is performed therefrom.
가격 경쟁력을 확보하기 위해서는, 단일 카메라 기반의 방법을 이용하는데, 카메라의 움직임을 추정하는 기술은 움직이는 객체가 많이 존재할 경우 정확도가 저하되는 문제가 있다.In order to secure price competitiveness, a single camera-based method is used, but the technique for estimating camera motion has a problem in that accuracy is lowered when there are many moving objects.
이에, 단일 카메라를 이용하는 경우, 카메라의 움직임 추정 없이 움직이는 객체를 검출 방안의 모색이 요청된다.Accordingly, in the case of using a single camera, a search for a method for detecting a moving object without estimating the motion of the camera is requested.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 단일 카메라 기반으로 움직이는 객체를 검출함에 있어, 정확도를 향상시킬 수 있는 객체 검출 방법 및 시스템을 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to provide an object detection method and system capable of improving accuracy in detecting a moving object based on a single camera.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 객체 검출 방법은, 입력 영상 시퀀스로부터 광류(Optical Flow) 영상을 생성하는 단계; 광류 영상에서 분할 영역들을 추출하는 단계; 및 추출한 분할 영역들로부터 움직임 영역을 생성하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, there is provided a method for detecting an object, comprising: generating an optical flow image from an input image sequence; extracting segmented regions from the optical flow image; and generating a motion region from the extracted divided regions.
움직임 영역 생성단계는, 분할 영역과 이웃하는 분할 영역의 색상 비교를 통해, 분할 영역들을 통합 또는 유지하여, 움직임 영역을 생성할 수 있다.The motion region generating step may generate a motion region by integrating or maintaining the divided regions through color comparison between the divided region and the neighboring divided regions.
움직임 영역 생성단계는, 분할 영역들 간의 색상 차이 값과 경계선에서의 차이 값을 비교하여, 분할 영역들을 통합 또는 유지할 수 있다.In the step of generating the motion region, the divided regions may be integrated or maintained by comparing a color difference value between the divided regions with a difference value at a boundary line.
움직임 영역 생성단계는, 분할 영역의 크기가 작을수록 통합될 가능성을 높게 적용하고, 분할 영역의 크기가 클수록 통합될 가능성을 낮게 적용할 수 있다.In the step of generating the motion region, the smaller the size of the divided region, the higher the possibility of integration, and the lower the likelihood of integration as the size of the divided region is larger.
움직임 영역 생성단계는, 광류 영상에서 분할 영역의 크기와 위치를 기초로, 분할 영역을 유지 또는 제거하여, 움직임 영역을 생성할 수 있다.In the step of generating the motion region, the motion region may be generated by maintaining or removing the divided region based on the size and position of the divided region in the optical flow image.
분할 영역의 크기는, 분할 영역의 높이이고, 분할 영역의 위치는, 분할 영역의 최하단의 y 좌표일 수 있다.The size of the divided area may be the height of the divided area, and the location of the divided area may be the y-coordinate of the lowermost end of the divided area.
입력 영상 시퀀스는, 단일 카메라를 이용하여 생성할 수 있다.The input image sequence may be generated using a single camera.
한편, 본 발명의 다른 실시예에 따른, 객체 검출 시스템은, 입력 영상 시퀀스를 생성하는 카메라; 및 카메라에서 생성된 입력 영상 시퀀스로부터 광류(Optical Flow) 영상을 생성하며, 광류 영상에서 분할 영역들을 추출하고, 추출한 분할 영역들로부터 움직임 영역을 생성하는 프로세서;를 포함한다.Meanwhile, according to another embodiment of the present invention, an object detection system includes: a camera for generating an input image sequence; and a processor that generates an optical flow image from an input image sequence generated by the camera, extracts divided regions from the optical flow image, and generates a motion region from the extracted divided regions.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 단일 카메라를 이용하여 광류(Optical Flow) 영상, 영상 분할 기법 및 움직이는 객체의 대략적인 크기를 이용한 객체 검출을 통해, 객체 검출 성능을 향상시킬 수 있게 된다.As described above, according to embodiments of the present invention, object detection performance can be improved through object detection using an optical flow image, an image segmentation technique, and an approximate size of a moving object using a single camera. there will be
또한, 본 발명의 실시예들은 지능형 무인 자동차에 적용 가능하며, 이와 같은 상황을 인지할 수 있는 기술에 적용 가능하다.In addition, embodiments of the present invention are applicable to an intelligent unmanned vehicle, and is applicable to a technology capable of recognizing such a situation.
도 1은 본 발명의 일 실시예에 따른 객체 검출 방법의 설명에 제공되는 흐름도,
도 2는 입력 영상을 예시한 도면,
도 3은, 도 2에 대한 광류 영상을 예시한 도면,
도 4는 광류 영상에서 분할 영역들을 추출한 결과를 예시한 도면,
도 5 내지 도 8은, 움직임 영역들에 대한 후처리 과정의 부연 설명에 제공되는 도면들,
도 9 내지 도 12는, 본 발명의 실시예에 따른 방법으로 단일 카메라 영상으로부터 움직이는 객체를 검출한 결과들을 예시한 도면들, 그리고,
도 13은 본 발명의 다른 실시예에 따른 객체 검출 시스템의 블럭도이다.1 is a flowchart provided for explaining an object detection method according to an embodiment of the present invention;
2 is a diagram illustrating an input image;
3 is a view illustrating an optical flow image of FIG. 2;
4 is a diagram illustrating a result of extracting segmented regions from an optical flow image;
5 to 8 are diagrams provided for a further explanation of the post-processing process for motion regions;
9 to 12 are diagrams illustrating results of detecting a moving object from a single camera image by a method according to an embodiment of the present invention, and
13 is a block diagram of an object detection system according to another embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 객체 검출 방법의 설명에 제공되는 흐름도이다. 본 발명의 실시예에 따른 객체 검출 방법은, 단일 카메라를 이용하여 생성한 영상 시퀀스에서 움직이는 객체를 정확하게 검출한다.1 is a flowchart provided to explain an object detection method according to an embodiment of the present invention. The object detection method according to an embodiment of the present invention accurately detects a moving object in an image sequence generated using a single camera.
이를 위해, 본 발명의 실시예에 따른 객체 검출 방법은, 단일 카메라로 획득한 영상 시퀀스를 이용하여 픽셀들의 이동량을 광류(Optical Flow)로 계산하고, Flow의 크기와 방향을 통해서 영상을 분할하여 움직이는 객체를 검출하며, 움직이는 객체의 대략적인 크기를 통해 객체 검출의 성능을 향상시킨다.To this end, the object detection method according to an embodiment of the present invention calculates the movement amount of pixels as an optical flow using an image sequence acquired with a single camera, and divides and moves the image through the size and direction of the flow. It detects an object and improves the performance of object detection through the approximate size of a moving object.
구체적으로, 본 발명의 실시예에 따른 객체 검출 방법은, 도 1에 도시된 바와 같이, 단일 카메라를 이용하여 생성한 영상 시퀀스에서 입력 영상(현재 영상)과 이전 영상을 비교하여, 광류(Optical Flow) 영상을 생성한다(S110).Specifically, in the object detection method according to an embodiment of the present invention, as shown in FIG. 1 , an input image (current image) and a previous image are compared in an image sequence generated using a single camera, and the optical flow (Optical Flow) ) to create an image (S110).
S110단계에서 생성된 광류 영상에는, 모든 픽셀의 이동방향과 이동량에 대한 정보가 색상으로 나타난다. 도 2에는 입력 영상을 예시하였고, 도 3에는 도 2에 대한 광류 영상을 예시하였다.In the optical flow image generated in step S110, information on the movement direction and amount of movement of all pixels is displayed in color. 2 illustrates an input image, and FIG. 3 illustrates an optical flow image for FIG. 2 .
다음, S110단계에서 생성된 광류 영상에서 움직임이 발생한 것으로 판단되는 동일 색상들을 갖는 인접한 픽셀들을 구분하여 분할 영역들을 추출한다(S120). 도 4에는 광류 영상에서 분할 영역들을 추출한 결과를 예시하였다.Next, in the optical flow image generated in step S110, the divided regions are extracted by dividing adjacent pixels having the same colors that are determined to have moved (S120). 4 exemplifies the result of extracting segmented regions from the optical flow image.
이후, S120단계에서 얻어진 분할 영역들로부터 움직임 영역들을 생성한다(S130). S130단계에서의 움직임 영역 생성은, S120단계에서 얻어진 분할 영역들을 합쳐 그룹핑하거나 일부를 제거/배제하는 과정을 통해 이루어진다.Thereafter, motion regions are generated from the divided regions obtained in step S120 (S130). The motion region generation in step S130 is performed through a process of grouping or removing/excluding some of the divided regions obtained in step S120.
움직임 영역의 생성에는 효과적인 그래프 기반의 영상 분할 기술이 이용된다. 구체적으로, 각 분할 영역을 그래프에서 노드(node)로 구성하고, 이웃하는 분할 영역들을 에지(edge)로 연결하여 색상의 비교를 통해서 두 분할 영역을 통합할지 아니면 분리된 분할 영역들로 남겨둘지를 결정한다.An effective graph-based image segmentation technique is used to generate a motion region. Specifically, each partition is configured as a node in the graph, and neighboring partitions are connected by an edge to determine whether to combine the two partitions or leave them as separate partitions through color comparison. decide
이를 위해서 먼저 분할 영역 내에서 최대 색상 값을 아래의 수학식 1로 계산한다.To this end, first, the maximum color value in the divided area is calculated by
[수학식 1][Equation 1]
그리고 이웃하는 두 분할 영역 사이의 경계선에서 최소 색상 차이 값을 아래의 수학식 2로 계산한다.Then, the minimum color difference value at the boundary line between two neighboring divided regions is calculated by Equation 2 below.
[수학식 2][Equation 2]
그리고 아래의 수학식 3에 따라, 두 분할 영역 내부의 최대 색상 값 간의 차이 값인 최대 색상 차이 값이 경계선에서의 최소 색상 차이 값 보다 작으면 두 분할 영역은 분할된 상태로 그대로 유지하고, 그와 반대일 경우 두 분할 영역을 합쳐서 하나의 분할 영역으로 그룹핑 한다.And according to Equation 3 below, if the maximum color difference value, which is the difference value between the maximum color values inside the two divided areas, is less than the minimum color difference value at the boundary, the two divided areas are maintained in a divided state, and vice versa In this case, the two partitions are combined and grouped into one partitioned area.
[수학식 3][Equation 3]
여기서, k는 상수값을 나타내며, τ는 분할 영역에 소속된 픽셀의 개수를 나타낸다.Here, k denotes a constant value, and τ denotes the number of pixels belonging to the divided region.
이에 따라, 분할 영역의 크기가 작을수록 값이 커서 분할 영역이 합쳐질 확률은 높아지게 된다. 반면, 분할 영역의 크기가 클수록 분할 영역이 합쳐질 확률이 낮아지게 된다.Accordingly, the smaller the size of the divided regions, the higher the value, and thus the probability of merging the divided regions increases. On the other hand, as the size of the divided regions increases, the probability of merging the divided regions decreases.
다음, 움직임 영역들에 대한 후처리 과정으로써, 움직임 영역들의 크기가 실제 움직이는 객체들의 크기에 상응하는지 추론하여 실제 움직이는 객체가 아니라고 판단되는 움직임 영역들을 제거한다.Next, as a post-processing process for the motion regions, it is determined whether the sizes of the motion regions correspond to the sizes of the actual moving objects, and the motion regions determined not to be the actual moving objects are removed.
이를 위해 먼저 검출하고자 하는 실제 움직이는 객체의 크기 범위를 정의/설정하여야 한다. 이를 테면, 1m로부터 3m까지의 높이값을 가지는 객체를 검출하기 위해, 도 5에 도시된 바와 같이 해당 높이의 가상 물체를 영상에 투영하여 영상에서의 객체 높이 h와 최하단의 y 좌표를 계산하여, 상관관계를 모델링한다.To do this, first, define/set the size range of the actual moving object to be detected. For example, in order to detect an object having a height value from 1m to 3m, as shown in FIG. 5 , a virtual object of the corresponding height is projected onto the image, and the height h of the object in the image and the y coordinate of the lowermost end are calculated, Model the correlation.
y 좌표와 h 간의 상관관계는 아래의 수학식 4에 제시된 선형적인 관계식으로부터 계산한다. 이때 실제 높이 1m에서 3m까지 약 10cm를 간격으로 영상으로 투영하여(도 6 참조) 선형 함수를 계산할 수 있으며, 아래와 같이 행렬 A를 계산하고 SVD(Singular Value Decomposition)으로부터 eigenvector와 eigenvalue값 들을 계산하고, eigenvalue의 크기가 가장 큰 eigenvector가 구하고자 하는 선형식의 파라미터 a와 b가 된다.The correlation between the y-coordinate and h is calculated from the linear relational expression presented in Equation 4 below. At this time, the linear function can be calculated by projecting the image at intervals of about 10 cm from the actual height of 1 m to 3 m (see Fig. 6), and calculate the matrix A as shown below, and calculate the eigenvector and eigenvalue values from SVD (Singular Value Decomposition), The eigenvector with the largest eigenvalue becomes the parameters a and b of the linear expression to be found.
[수학식 4][Equation 4]
이에 따르면 도 7에 도시된 바와 같이 y 좌표에 해당하는 hmin과 hmax를 계산할 수 있고, 분할 영역의 높이 값인 h가 이 범위에 포함되는지 확인하여, 만약 높이 h가 이 범위 내에 존재하지 않을 경우 분할 영역은 실제 움직이는 객체가 아닌 것으로 판단하여 제거한다.According to this, as shown in FIG. 7 , h min and h max corresponding to the y coordinate can be calculated, and it is checked whether the height value h of the divided region is included in this range, and if the height h does not exist within this range, The divided area is determined to be not an actual moving object and removed.
이와 같은 방법에 따라 도 4에 제시된 움직임 영역들 중 실제 움직이는 객체에 해당하지 않는 영역들을 제거한 결과를 도 8에 제시하였다.According to this method, the result of removing the regions that do not correspond to the actual moving object among the movement regions shown in FIG. 4 is shown in FIG. 8 .
지금까지, 단일 카메라로 획득한 영상에 대해 광류 영상을 생성하여 움직이는 객체를 검출하고, 실제 움직이는 객체의 크기 검증을 통해 객체 검출의 성능을 향상시키는 방법에 대해, 바람직한 실시예를 들어 상세히 설명하였다.Up to now, a method for detecting a moving object by generating an optical flow image for an image acquired with a single camera and improving the performance of object detection by verifying the size of an actual moving object has been described in detail with reference to a preferred embodiment.
도 9 내지 도 12에는 본 발명의 실시예에 따른 방법으로 단일 카메라 영상으로부터 움직이는 객체를 검출한 결과들을 예시하였다. 단일 카메라의 한계점인 거리정보 없이 움직임을 추정해야 하는 한계를 극복하고 강인하게 움직이는 물체를 검출할 수 있음을 확인할 수 있다.9 to 12 illustrate results of detecting a moving object from a single camera image by a method according to an embodiment of the present invention. It can be confirmed that it can overcome the limitation of estimating motion without distance information, which is a limitation of a single camera, and robustly detect moving objects.
도 13은 본 발명의 다른 실시예에 따른 객체 검출 시스템의 블럭도이다. 본 발명의 실시예에 따른 객체 검출 시스템은, 도 13에 도시된 바와 같이, 카메라(110), 영상 프로세서(120) 및 출력부(130)를 포함한다.13 is a block diagram of an object detection system according to another embodiment of the present invention. As shown in FIG. 13 , the object detection system according to an embodiment of the present invention includes a camera 110 , an image processor 120 , and an output unit 130 .
카메라(110)는 단일 카메라 시스템으로 영상 시퀀스를 생성하고, 영상 프로세서(120)는 도 1에 제시된 알고리즘을 통해 단일 카메라 영상으로부터 움직이는 객체를 검출한다.The camera 110 generates an image sequence with a single camera system, and the image processor 120 detects a moving object from the single camera image through the algorithm shown in FIG. 1 .
출력부(130)는 움직이는 객체의 검출 결과 출력/저장하는 다양한 수단, 이를 테면, 디스플레이, 인터페이스, 메모리 등이다.The output unit 130 is various means for outputting/storing the detection result of the moving object, such as a display, an interface, a memory, and the like.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.On the other hand, it goes without saying that the technical idea of the present invention can also be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, the technical ideas according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium. The computer-readable recording medium may be any data storage device readable by the computer and capable of storing data. For example, the computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like. In addition, the computer-readable code or program stored in the computer-readable recording medium may be transmitted through a network connected between computers.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention as claimed in the claims In addition, various modifications are possible by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
110 : 카메라
120 : 영상 프로세서
130 : 출력부110: camera
120: image processor
130: output unit
Claims (8)
광류 영상에서 분할 영역들을 추출하는 단계; 및
추출한 분할 영역들로부터 움직임 영역을 생성하는 단계;를 포함하고,
움직임 영역 생성단계는,
'분할 영역 내부의 최대 색상 값과 이웃하는 분할 영역 내부의 최대 색상 값 간 차이 값인 제1 차이 값'이 '분할 영역과 이웃하는 분할 영역 사이 경계선에서 최소 색상 차이 값인 제2 차이 값' 보다 작으면 분할 영역들을 유지하고,
제1 차이 값이 제2 차이 값 이상이면 분할 영역들을 통합하는 것을 특징으로 하는 객체 검출 방법.
generating an optical flow image from the input image sequence;
extracting segmented regions from the optical flow image; and
Including; generating a motion region from the extracted divided regions;
The step of creating a motion region is
If the 'first difference value that is the difference value between the maximum color value inside the slice and the maximum color value inside the neighboring slice' is less than the 'second difference value that is the minimum color difference value at the boundary between the slice and the neighboring slice' keep partitions,
If the first difference value is greater than or equal to the second difference value, the divided regions are integrated.
움직임 영역 생성단계는,
분할 영역의 크기가 작을수록 통합될 가능성을 높게 적용하고, 분할 영역의 크기가 클수록 통합될 가능성을 낮게 적용하는 것을 특징으로 하는 객체 검출 방법.
The method according to claim 1,
The step of creating a motion region is
An object detection method, characterized in that the smaller the size of the divided region, the higher the probability of integration is applied, and the larger the size of the divided region is, the lower the probability of integration is applied.
움직임 영역 생성단계는,
광류 영상에서 분할 영역의 크기와 위치를 기초로, 분할 영역을 유지 또는 제거하여, 움직임 영역을 생성하는 것을 특징으로 하는 객체 검출 방법.
The method according to claim 1,
The step of creating a motion region is
An object detection method comprising: maintaining or removing a segmented area based on the size and position of the segmented area in an optical flow image to generate a motion area.
분할 영역의 크기는, 분할 영역의 높이이고,
분할 영역의 위치는, 분할 영역의 최하단의 y 좌표인 것을 특징으로 하는 객체 검출 방법.
6. The method of claim 5,
The size of the divided area is the height of the divided area,
The position of the divided region is an object detection method, characterized in that the y-coordinate of the lowermost end of the divided region.
입력 영상 시퀀스는,
단일 카메라를 이용하여 생성하는 것을 특징으로 하는 객체 검출 방법.
The method according to claim 1,
The input video sequence is
An object detection method, characterized in that it is created using a single camera.
카메라에서 생성된 입력 영상 시퀀스로부터 광류(Optical Flow) 영상을 생성하며, 광류 영상에서 분할 영역들을 추출하고, 추출한 분할 영역들로부터 움직임 영역을 생성하는 프로세서;를 포함하고,
프로세서는,
'분할 영역 내부의 최대 색상 값과 이웃하는 분할 영역 내부의 최대 색상 값 간 차이 값인 제1 차이 값'이 '분할 영역과 이웃하는 분할 영역 사이 경계선에서 최소 색상 차이 값인 제2 차이 값' 보다 작으면 분할 영역들을 유지하고,
제1 차이 값이 제2 차이 값 이상이면 분할 영역들을 통합하는 것을 특징으로 하는 객체 검출 시스템.
a camera that generates an input image sequence; and
a processor for generating an optical flow image from an input image sequence generated by the camera, extracting segmented regions from the optical flow image, and generating a motion region from the extracted segmented regions;
The processor is
If the 'first difference value that is the difference value between the maximum color value inside the slice and the maximum color value inside the neighboring slice' is less than the 'second difference value that is the minimum color difference value at the boundary between the slice and the neighboring slice' keep partitions,
If the first difference value is greater than or equal to the second difference value, the object detection system is characterized in that the divided regions are integrated.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2017/000359 WO2018131729A1 (en) | 2017-01-11 | 2017-01-11 | Method and system for detection of moving object in image using single camera |
| KR1020170003980A KR102336284B1 (en) | 2017-01-11 | 2017-01-11 | Moving Object Detection Method and System with Single Camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170003980A KR102336284B1 (en) | 2017-01-11 | 2017-01-11 | Moving Object Detection Method and System with Single Camera |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180082739A KR20180082739A (en) | 2018-07-19 |
| KR102336284B1 true KR102336284B1 (en) | 2021-12-08 |
Family
ID=62840539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170003980A KR102336284B1 (en) | 2017-01-11 | 2017-01-11 | Moving Object Detection Method and System with Single Camera |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR102336284B1 (en) |
| WO (1) | WO2018131729A1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110007107B (en) * | 2019-04-02 | 2021-02-09 | 上海交通大学 | Optical flow sensor integrated with cameras with different focal lengths |
| WO2020242179A1 (en) * | 2019-05-29 | 2020-12-03 | (주) 애니펜 | Method, system and non-transitory computer-readable recording medium for providing content |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004088599A (en) | 2002-08-28 | 2004-03-18 | Toshiba Corp | Image monitoring apparatus and method therefor |
| JP2008226261A (en) | 2008-04-07 | 2008-09-25 | Toshiba Corp | Object detection method |
| KR101141936B1 (en) * | 2010-10-29 | 2012-05-07 | 동명대학교산학협력단 | Method of tracking the region of a hand based on the optical flow field and recognizing gesture by the tracking method |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101089029B1 (en) * | 2010-04-23 | 2011-12-01 | 동명대학교산학협력단 | Crime Preventing Car Detection System using Optical Flow |
| EP2601782A4 (en) * | 2010-08-02 | 2016-09-28 | Univ Beijing | Representative motion flow extraction for effective video classification and retrieval |
| KR101316848B1 (en) * | 2011-12-27 | 2013-10-10 | 중앙대학교 산학협력단 | Apparatus and method for automatic object segmentation for background composition |
| KR102234376B1 (en) * | 2014-01-28 | 2021-03-31 | 엘지이노텍 주식회사 | Camera system, calibration device and calibration method |
| KR20150113751A (en) * | 2014-03-31 | 2015-10-08 | (주)트라이큐빅스 | Method and apparatus for acquiring three-dimensional face model using portable camera |
-
2017
- 2017-01-11 KR KR1020170003980A patent/KR102336284B1/en active IP Right Grant
- 2017-01-11 WO PCT/KR2017/000359 patent/WO2018131729A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004088599A (en) | 2002-08-28 | 2004-03-18 | Toshiba Corp | Image monitoring apparatus and method therefor |
| JP2008226261A (en) | 2008-04-07 | 2008-09-25 | Toshiba Corp | Object detection method |
| KR101141936B1 (en) * | 2010-10-29 | 2012-05-07 | 동명대학교산학협력단 | Method of tracking the region of a hand based on the optical flow field and recognizing gesture by the tracking method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180082739A (en) | 2018-07-19 |
| WO2018131729A1 (en) | 2018-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6972757B2 (en) | Control programs, control methods, and information processing equipment | |
| JP6972756B2 (en) | Control programs, control methods, and information processing equipment | |
| US10510159B2 (en) | Information processing apparatus, control method for information processing apparatus, and non-transitory computer-readable storage medium | |
| CN110807350B (en) | System and method for scan-matching oriented visual SLAM | |
| US9524562B2 (en) | Object tracking method and device | |
| US9142011B2 (en) | Shadow detection method and device | |
| US9672634B2 (en) | System and a method for tracking objects | |
| US9443137B2 (en) | Apparatus and method for detecting body parts | |
| KR20130121202A (en) | Method and apparatus for tracking object in image data, and storage medium storing the same | |
| US9280703B2 (en) | Apparatus and method for tracking hand | |
| WO2014132490A1 (en) | Vehicle specifications measurement processing device, vehicle specifications measuring method, and recording medium | |
| CN112200131A (en) | Vision-based vehicle collision detection method, intelligent terminal and storage medium | |
| KR102336284B1 (en) | Moving Object Detection Method and System with Single Camera | |
| KR101656618B1 (en) | Method and Device for Providing Augmented Reality to Physical Object | |
| EP2797033A1 (en) | Method and apparatus for processing sparse disparity map, and method and apparatus for detecting object | |
| CN108597036B (en) | Virtual reality environment danger sensing method and device | |
| KR101506812B1 (en) | Head pose estimation method using random forests and binary pattern run length matrix | |
| CN115494856A (en) | Obstacle avoidance method and device, unmanned aerial vehicle and electronic equipment | |
| US20220410942A1 (en) | Apparatus and method for determining lane change of surrounding objects | |
| KR101566448B1 (en) | Method for detecting and removing floor area using depth information and apparutus for detecting and removing floor area using depth information and program recording medium for detecting and removing floor area using depth information | |
| KR101437228B1 (en) | Obstacle detection device and method using boundary weighting | |
| KR101187481B1 (en) | Method and apparatus for extracting hand color to use image recognition based interface and image recognition based interface device | |
| US9721151B2 (en) | Method and apparatus for detecting interfacing region in depth image | |
| KR102145959B1 (en) | Method and Apparatus for multiple ground plane extimation | |
| KR101894731B1 (en) | System and method for vehicle collision avoidance |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |