KR20130052393A - Apparatus and method for detecting object using 3d image - Google Patents

Apparatus and method for detecting object using 3d image Download PDF

Info

Publication number
KR20130052393A
KR20130052393A KR1020110117802A KR20110117802A KR20130052393A KR 20130052393 A KR20130052393 A KR 20130052393A KR 1020110117802 A KR1020110117802 A KR 1020110117802A KR 20110117802 A KR20110117802 A KR 20110117802A KR 20130052393 A KR20130052393 A KR 20130052393A
Authority
KR
South Korea
Prior art keywords
image
detection mask
pyramid
size
detection
Prior art date
Application number
KR1020110117802A
Other languages
Korean (ko)
Other versions
KR101282742B1 (en
Inventor
김종환
이충희
임영철
박지호
권순
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020110117802A priority Critical patent/KR101282742B1/en
Publication of KR20130052393A publication Critical patent/KR20130052393A/en
Application granted granted Critical
Publication of KR101282742B1 publication Critical patent/KR101282742B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0092—Image segmentation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: An object detecting device using a 3D image and a method thereof are provided to shorten object detection time by detecting an object according to a size change of the object by using distance information of the object. CONSTITUTION: An image processing unit(120) generates an image pyramid about a 2D image of an object obtained from an image obtaining unit(110), divides a 3D image obtained from the image obtaining unit into one or more object candidate areas by using distance information, and estimates an object size of each object candidate area. An object detecting unit(130) selects a 2D image level corresponding to the object size from the image pyramid and detects the object from the 2D image included in the level by using a detection mask. [Reference numerals] (111) 2D image obtaining unit; (112) 3D image obtaining unit; (121) Image pyramid generating unit; (122) Area dividing unit; (123) Object size estimating unit; (131) Image level selecting unit; (132) Object extracting unit

Description

3차원 영상을 이용한 객체 검출 장치 및 그 방법{APPARATUS AND METHOD FOR DETECTING OBJECT USING 3D IMAGE}Object detection apparatus using 3D image and its method {APPARATUS AND METHOD FOR DETECTING OBJECT USING 3D IMAGE}

본 발명은 3차원 영상을 이용한 객체 검출 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 객체에 대한 3차원 영상의 거리 정보를 이용하여 객체를 검출하는 기술이 개시된다.The present invention relates to an apparatus for detecting an object using a 3D image and a method thereof, and more particularly, to a technology for detecting an object using distance information of a 3D image of an object.

컴퓨터 비전 분야에서는 컴퓨터가 영상에 포함되어 있는 다양한 객체들을 사람의 눈으로 인식하는 것처럼 할 수 있도록 하기 위해서 많은 연구가 진행되고 있다. 컴퓨터 비전 분야의 기술들은 복잡한 수학을 기반으로 하는 방법들이 발표되고 있다. 하지만 개발되어진 방법들은 현재까지도 인간이 눈으로 객체를 인식하는 만큼의 정확성이나 객체 인식 속도 측면에서의 성능이 만족스럽지 못한 상태이다. 영상에 포함되어 있는 객체를 인식하는데 있어서 이를 어렵게 만드는 원인은 주로 영상에 있는 객체의 형태가 변화하는 것에 있다. 객체는 그 위치 또는 촬영 시점에 따라 확대, 축소(이상 크기변화), 회전하며 포즈도 변화하게 된다.In the field of computer vision, a lot of research is being conducted to make the computer recognize the various objects included in the image with the human eye. Techniques in the field of computer vision are being presented with methods based on complex mathematics. However, the developed methods are still not satisfactory in terms of accuracy or object recognition speed as humans recognize objects with their eyes. The main reason for making this difficult in recognizing the objects included in the image is mainly the change in the shape of the objects in the image. The object is enlarged, reduced (abnormal size change), rotates and pose changes according to its position or time of shooting.

특히 객체의 크기변화에 강인한 인식을 하기 위해서 많은 연구자들은 영상 피라미드(스케일-스페이스 : Scale-Space)기법을 사용하고 있다. 객체의 가능한 모든 크기의 모습에 대해 대응하기 위해서 이것을 영상 피라미드로 구성하는 방법이다. 영상피라미드를 적용하는 객체 검출 기법은 크기 두 가지 방법으로 분류할 수 있다. 첫 번째로 입력 영상을 피라미드로 구성하여 일정한 크기의 검출 마스크를 이용하여 검출하는 방법이 있다. 두 번째로 입력되는 영상의 크기는 고정되어 있고 검출하는 마스크를 피라미드로 구성하여 객체의 크기변화에 대응하는 방법이 있다.In particular, many researchers use the image pyramid (Scale-Space) technique in order to recognize the robustness of the object size change. To cope with all possible sizes of an object, it is a way to construct an image pyramid. Object detection techniques using image pyramid can be classified into two methods. First, there is a method of detecting an input image using a detection mask having a constant size by constructing a pyramid. Second, the size of the input image is fixed, and there is a method of responding to the size change of an object by constructing a pyramid of a detecting mask.

하지만 이러한 영상 피라미드를 이용하는 방법은 영상에서 나타날 수 있는 객체의 모든 크기에 대하여 적용 할 수 있다는 장점을 가지고 있지만, 영상 피라미드 전체 영역을 탐색해야 함으로써 탐색시간이 오래 걸리게 되고, 탐색이 필요하지 않은 부분까지 탐색하게 되어 오 검출의 결과가 나타날 수 있는 문제점을 가지고 있다. However, the method of using the image pyramid has the advantage that it can be applied to all sizes of objects that can appear in the image, but it requires a long search time because the entire area of the image pyramid needs to be searched. There is a problem that the search results can result in false detections.

이에 본 발명자는 이러한 문제점에 대하여 3차원 영상을 이용하여 객체를 검출함으로써, 보다 신속하고 정확하게 객체를 탐색하는 기술을 연구하게 되었다. 본 발명의 배경이 되는 기술은 대한민국 특허공개공보 제10-2005-0063991호(2005. 06. 29)에 개시되어 있다.Accordingly, the present inventors have studied a technique for searching for an object more quickly and accurately by detecting an object using a 3D image. The background technology of the present invention is disclosed in Korean Patent Publication No. 10-2005-0063991 (June 29, 2005).

본 발명이 이루고자 하는 기술적인 과제는, 영상에 포함된 객체를 검출함에 있어서, 3차원 영상을 이용하여 객체의 거리 정보를 이용하여 객체의 크기 변화에 따라 객체를 검출하는 기술이 개시된다.Technical problem of the present invention is to detect an object in accordance with the size change of the object using the distance information of the object using a three-dimensional image in detecting the object included in the image.

본 발명의 일 실시예에 따른 3차원 영상을 이용한 객체 검출 장치는, 객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득부와, 상기 2차원 영상에 대한 영상 피라미드를 생성하고, 상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리부와, 상기 영상 피라미드에서 상기 객체 크기에 대응하는 2차원 영상 레벨을 선택하고, 선택된 2차원 영상 레벨에 포함되는 2차원 영상으로부터 검출 마스크를 이용하여 상기 객체를 검출하는 객체 검출부를 포함한다.An object detecting apparatus using a 3D image according to an embodiment of the present invention includes an image obtaining unit obtaining a 2D image and a 3D image of an object, generating an image pyramid of the 2D image, and generating the 3D image. Splitting the dimensional image into one or more object candidate regions using distance information, an image processor for estimating an object size for each object candidate region, selecting a 2D image level corresponding to the object size in the image pyramid, And an object detector configured to detect the object from the two-dimensional image included in the selected two-dimensional image level by using a detection mask.

또한, 상기 영상 획득부는, 하나 이상의 객체를 포함하는 2차원 영상을 획득하는 2차원 영상 획득부와, 상기 객체의 거리 정보를 포함하는 3차원 영상을 획득하는 3차원 영상 획득부를 포함할 수 있다.The image acquisition unit may include a two-dimensional image acquisition unit that acquires a two-dimensional image including one or more objects, and a three-dimensional image acquisition unit that obtains a three-dimensional image including distance information of the object.

상기 영상 처리부는, 상기 2차원 영상에 대한 영상 피라미드를 생성하는 영상 피라미드 생성부와, 상기 3차원 영상을 상기 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하는 영역 분할부와, 상기 객체 후보 영역에 해당하는 객체의 크기를 추정하는 객체 크기 추정부를 포함할 수 있다.The image processing unit may include an image pyramid generator for generating an image pyramid for the 2D image, a region divider for dividing the 3D image into one or more object candidate regions using the distance information, and the object candidate region It may include an object size estimator for estimating the size of the object corresponding to the.

상기 객체 검출부는, 상기 영상 피라미드에서 상기 객체 크기에 대응하는 2차원 영상 레벨을 선택하는 영상 레벨 선택부와, 상기 선택된 2차원 영상 레벨에 포함되는 2차원 영상으로부터 검출 마스크를 이용하여 상기 객체를 추출하는 객체 추출부를 포함할 수 있다.The object detector extracts the object from an image level selector that selects a 2D image level corresponding to the object size in the image pyramid, and a detection mask from a 2D image included in the selected 2D image level. It may include an object extraction unit.

본 발명의 또 다른 실시예에 따른 3차원 영상을 이용한 객체 검출 장치는, 객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득부와, 상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리부와, 검출 마스크에 대해 검출 마스크 피라미드를 생성하는 검출 마스크 피라미드 생성부와, 상기 검출 마스크 피라미드에서 상기 객체 크기에 대응하는 검출 마스크 레벨을 선택하고, 선택된 검출 마스크 레벨에 포함되는 검출 마스크를 이용하여, 상기 2차원 영상으로부터 상기 객체를 검출하는 객체 검출부를 포함한다.In accordance with still another aspect of the present invention, there is provided an apparatus for detecting an object using a 3D image, including: an image obtaining unit obtaining a 2D image and a 3D image of an object, and at least one object using distance information on the 3D image; An image processing unit for dividing into candidate regions and estimating an object size for each object candidate region, a detection mask pyramid generator for generating a detection mask pyramid for the detection mask, and a detection corresponding to the object size in the detection mask pyramid And an object detector configured to select a mask level and detect the object from the 2D image by using a detection mask included in the selected detection mask level.

또한, 상기 영상 획득부는, 하나 이상의 객체를 포함하는 2차원 영상을 획득하는 2차원 영상 획득부와, 상기 객체의 거리 정보를 포함하는 3차원 영상을 획득하는 3차원 영상 획득부를 포함할 수 있다.The image acquisition unit may include a two-dimensional image acquisition unit that acquires a two-dimensional image including one or more objects, and a three-dimensional image acquisition unit that obtains a three-dimensional image including distance information of the object.

또한, 상기 영상 처리부는, 상기 3차원 영상을 상기 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하는 영역 분할부와, 상기 객체 후보 영역에 해당하는 객체의 크기를 추정하는 객체 크기 추정부를 포함할 수 있다.The image processing unit may include a region dividing unit for dividing the 3D image into at least one object candidate region using the distance information, and an object size estimating unit estimating a size of an object corresponding to the object candidate region. Can be.

또한, 상기 객체 검출부는, 상기 검출 마스크 피라미드에서 상기 객체 크기에 대응하는 검출 마스크 레벨을 선택하는 검출 마스크 레벨 선택부와, 상기 선택된 검출 마스크 레벨에 포함되는 검출 마스크를 이용하여, 상기 2차원 영상으로부터 상기 객체를 추출하는 객체 추출부를 포함할 수 있다.The object detector may further include a detection mask level selector configured to select a detection mask level corresponding to the object size in the detection mask pyramid, and a detection mask included in the selected detection mask level. It may include an object extraction unit for extracting the object.

본 발명의 또 다른 실시예에 따른 3차원 영상을 이용한 객체 검출 방법은, 객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득 단계와, 상기 2차원 영상에 대한 영상 피라미드를 생성하고, 상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리 단계와, 상기 영상 피라미드에서 상기 객체 크기에 대응하는 2차원 영상 레벨을 선택하고, 선택된 2차원 영상 레벨에 포함되는 2차원 영상으로부터 검출 마스크를 이용하여 상기 객체를 검출하는 객체 검출 단계를 포함한다.Object detection method using a three-dimensional image according to another embodiment of the present invention, the image acquisition step of obtaining a two-dimensional image and a three-dimensional image of the object, generates an image pyramid for the two-dimensional image, An image processing step of dividing a 3D image into one or more object candidate regions using distance information, estimating an object size for each object candidate region, and selecting a 2D image level corresponding to the object size in the image pyramid And detecting the object from the two-dimensional image included in the selected two-dimensional image level by using a detection mask.

본 발명의 또 다른 실시예에 따른 3차원 영상을 이용한 객체 검출 방법은, 객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득 단계와, 상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리 단계와, 검출 마스크에 대해 검출 마스크 피라미드를 생성하는 검출 마스크 피라미드 생성 단계와, 상기 검출 마스크 피라미드에서 상기 객체 크기에 대응하는 검출 마스크 레벨을 선택하고, 선택된 검출 마스크 레벨에 포함되는 검출 마스크를 이용하여, 상기 2차원 영상으로부터 상기 객체를 검출하는 객체 검출 단계를 포함한다.Object detection method using a three-dimensional image according to another embodiment of the present invention, the image acquisition step of obtaining a two-dimensional image and a three-dimensional image of the object, the three-dimensional image using the distance information one or more objects An image processing step of dividing into candidate regions and estimating an object size for each object candidate region, generating a detection mask pyramid for generating a detection mask pyramid for the detection mask, and corresponding to the object size in the detection mask pyramid Selecting an detection mask level and detecting the object from the 2D image by using a detection mask included in the selected detection mask level.

이와 같이, 본 발명에 따르면 영상에 포함된 객체를 검출함에 있어서, 3차원 영상을 이용하여 객체의 거리 정보를 이용하여 객체의 크기 변화에 따라 객체를 검출함으로써, 객체 검출의 시간의 단축시킬 수 있으며, 객체 검출의 정확도를 향상시킬 수 있다. As described above, according to the present invention, in detecting an object included in an image, the object is detected according to a change in the size of the object using distance information of the object using a 3D image, thereby shortening the time for detecting the object. The accuracy of object detection can be improved.

도 1은 본 발명의 일 실시예에 따른 3차원 영상을 이용한 객체 검출 장치의 구성도,
도 2는 도 1에 따른 객체 검출 장치의 객체 검출 방법의 흐름도,
도 3은 본 발명의 또 다른 실시예에 따른 3차원 영상을 이용한 객체 검출 장치의 구성도,
도 4는 도 3에 따른 객체 검출 장치의 객체 검출 방법의 흐름도,
도 5는 도 1에 따른 객체 검출 장치를 이용하여 2차원 영상의 영상 피라미드를 생성하는 것을 설명하기 위한 예시도,
도 6은 도 1에 따른 객체 검출 장치를 이용하여 3차원 영상으로부터 객체 후보 영역을 설정하는 것을 설명하기 위한 예시도,
도 7은 도 1에 따른 객체 검출 장치를 이용하여 객체의 크기에 따른 검출 마스크를 선택하는 것을 설명하기 위한 예시도,
도 8은 도 1에 따른 객체 검출 장치를 이용하여 2차원 영상 내에 포함되는 객체를 검출하는 것을 설명하기 위한 예시도,
도 9는 도 3에 따른 객체 검출 장치를 이용하여 검출 마스크 피라미드를 생성하는 것을 설명하기 위한 예시도이다.1 is a block diagram of an object detecting apparatus using a 3D image according to an embodiment of the present invention;
2 is a flowchart of an object detecting method of the object detecting apparatus according to FIG. 1;
3 is a block diagram of an object detecting apparatus using a 3D image according to another embodiment of the present invention;
4 is a flowchart of an object detecting method of the object detecting apparatus according to FIG. 3;
5 is an exemplary diagram for describing generating an image pyramid of a 2D image by using the object detecting apparatus according to FIG. 1.
6 is an exemplary diagram for describing setting an object candidate region from a 3D image by using the object detecting apparatus according to FIG. 1.
7 is an exemplary diagram for explaining selecting a detection mask according to the size of an object using the object detecting apparatus according to FIG. 1;
8 is an exemplary diagram for describing detecting an object included in a 2D image by using the object detecting apparatus according to FIG. 1.
FIG. 9 is an exemplary diagram for describing generating a detection mask pyramid using the object detecting apparatus according to FIG. 3.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다. 사용되는 용어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 사용자, 운용자의 의도 또는 판례 등에 따라 달라질 수 있다. 그러므로 후술하는 실시예들에서 사용된 용어의 의미는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The terms used are terms selected in consideration of the functions in the embodiments, and the meaning of the terms may vary depending on the user, the intention or the precedent of the operator, and the like. Therefore, the meaning of the terms used in the following embodiments is defined according to the definition when specifically defined in this specification, and unless otherwise defined, it should be interpreted in a sense generally recognized by those skilled in the art.

도 1은 본 발명의 일 실시예에 따른 3차원 영상을 이용한 객체 검출 장치의 구성도이고, 도 2는 도 1에 따른 객체 검출 장치의 객체 검출 방법의 흐름도이다.1 is a configuration diagram of an object detecting apparatus using a 3D image according to an embodiment of the present invention, and FIG. 2 is a flowchart of an object detecting method of the object detecting apparatus according to FIG. 1.

도 1을 참조하면, 객체 검출 장치(100)는 영상 획득부(110), 영상 처리부(120), 객체 검출부(130)를 포함한다. 영상 획득부(110)는 2차원 영상 획득부(111)와3차원 영상 획득부(112)를 포함하며, 객체에 대한 2차원 영상과 3차원 영상을 획득한다. 예를 들어, 수동 방식의 센서인 경우 같은 방식의 두 가지 센서(CCD, IR, etc.)를 스테레오 구조를 이용하고, 능동 방식의 센서인 경우 키넥트(Kinect)나 TOF(Time of Flight)를 이용하여 거리 정보를 포함하는 3차원 영상을 생성한다.Referring to FIG. 1, the object detecting apparatus 100 includes an image obtaining unit 110, an image processing unit 120, and an object detecting unit 130. The image acquisition unit 110 includes a 2D image acquisition unit 111 and a 3D image acquisition unit 112, and acquires a 2D image and a 3D image of an object. For example, in case of passive sensor, two sensors (CCD, IR, etc.) of the same method use stereo structure, and in case of active sensor, Kinect or Time of Flight (TOF) is used. A 3D image including distance information is generated using the image.

한편, 영상 처리부(120)는 영상 피라미드 생성부(121), 영역 분할부(122), 객체크기 추정부(123)를 포함한다. 영상 피라미드 생성부(121)는 영상 획득부(110)의 2차원 영상 획득부(111)로부터 2차원 영상을 입력받아 영상 피라미드를 생성한다. 영역 분할부(122)는 3차원 영상 획득부(112)로부터 3차원 영상을 입력받아 거리 정보를 이용하여 영역을 분할하고, 하나 이상의 객체 후보 영역을 생성한다. 여기서, 객체 후보 영역은 영상 내에 포함되는 객체로 인식되는 영역을 의미한다. 객체 크기 추정부(123)는 객체 후보 영역에 따른 객체 크기를 추정한다.The image processor 120 includes an image pyramid generator 121, an area divider 122, and an object size estimator 123. The image pyramid generator 121 receives a 2D image from the 2D image acquirer 111 of the image acquirer 110 and generates an image pyramid. The region dividing unit 122 receives the 3D image from the 3D image obtaining unit 112 and divides the region using the distance information, and generates one or more object candidate regions. Here, the object candidate region refers to a region recognized as an object included in the image. The object size estimator 123 estimates an object size according to the object candidate area.

한편, 객체 검출부(130)는 영상 레벨 선택부(131), 객체 추출부(132)를 포함한다. 영상 레벨 선택부(131)는 영상 처리부(120)의 영상 피라미드 생성부(121)로부터 생성된 2차원 영상 피라미드에 포함되는 복수의 2차원 영상 중에 객체 후보 영역에 포함되는 객체 크기에 대응하는 2차원 영상 레벨을 선택한다. 또한, 객체 추출부(132)는 영상 레벨 선택부(131)에서 선택된 2차원 영상 레벨에서 객체 크기에 대응하는 검출 마스크를 이용하여 객체를 추출한다.The object detector 130 includes an image level selector 131 and an object extractor 132. The image level selector 131 is a two-dimensional image corresponding to an object size included in an object candidate region among a plurality of two-dimensional images included in the two-dimensional image pyramid generated from the image pyramid generator 121 of the image processor 120. Select the picture level. In addition, the object extractor 132 extracts an object using a detection mask corresponding to the object size at the 2D image level selected by the image level selector 131.

이하, 도 2를 참조하여 3차원 영상을 이용한 객체 검출 방법을 설명하며, 도 1의 객체 검출 장치의 구성을 이용하여 설명하도록 한다.
Hereinafter, an object detection method using a 3D image will be described with reference to FIG. 2 and will be described using the configuration of the object detection apparatus of FIG. 1.

도 2를 참조하면, 먼저 영상 획득부(110)는 객체에 대한 2차원 영상 및 3차원 영상을 입력받는다(S200). 이 경우, 2차원 영상 획득부(111)와 3차원 영상 획득부(112)는 하나로 구성될 수 있으며, 2차원 영상으로부터 3차원 영상을 구현하는 것도 가능하다. 3차원 영상 획득부(112)가 획득한 3차원 영상은 객체에 대한 깊이 정보 또는 거리 정보로 불리우는 3차원 정보가 포함된다. 영상 획득부(110)는 획득된 2차원 영상 및 3차원 영상을 영상 처리부(120)로 출력한다.Referring to FIG. 2, first, the image acquisition unit 110 receives a 2D image and a 3D image of an object (S200). In this case, the 2D image acquisition unit 111 and the 3D image acquisition unit 112 may be configured as one, and it is also possible to implement a 3D image from the 2D image. The 3D image obtained by the 3D image acquirer 112 includes 3D information called depth information or distance information about the object. The image acquisition unit 110 outputs the obtained 2D and 3D images to the image processing unit 120.

다음으로, 영상 처리부(120)는 영상 피라미드 생성부(121)에서 2차원 영상에 대한 영상 피라미드를 생성하고, 영역 분할부(122)에서3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 객체 크기 추정부(123)에서 각 객체 후보 영역에 대한 객체 크기를 추정한다(S210).Next, the image processor 120 generates an image pyramid for the 2D image in the image pyramid generator 121, and in the area divider 122, converts the 3D image to one or more object candidate regions using distance information. The object size estimator 123 estimates the object size of each object candidate region (S210).

이하, 도 5 또는 도6을 참조하여 S210 단계에 대해 구체적으로 설명하도록 한다.
Hereinafter, the step S210 will be described in detail with reference to FIG. 5 or FIG. 6.

도 5는 도 1에 따른 객체 검출 장치를 이용하여 2차원 영상의 영상 피라미드를 생성하는 것을 설명하기 위한 예시도이다.FIG. 5 is an exemplary diagram for describing generation of an image pyramid of a 2D image by using the object detecting apparatus of FIG. 1.

도 5를 참조하면, 영상 피라미드 생성부(121)는 2차원 영상 획득부(111)가 획득한 2차원 영상(500)에 대하여 크기를 달리 설정하여 영상 피라미드(510)를 생성한다. 영상 피라미드(510)에는 복수의 2차원 영상(500)들이 크기를 달리하여 생성된다. 영상 피라미드(510) 내에 포함된 2차원 영상(500)에 대하여 특징을 추출할 수 있다. 예를 들어, 영상 피라미드 생성부(121)는 Hessian 행렬 기반의 필터를 이용하여 특징을 추출할 수 있다. 이 방법은 스케일 스페이스 상에서 특징을 추출하여 영상 내에 존재하는 객체의 크기변화에 대하여 대응하기 위해 크기변화가 발생하였을 때 객체에서 추출되는 특징을 미리 추출할 수 있다.
Referring to FIG. 5, the image pyramid generator 121 generates an image pyramid 510 by setting different sizes of the 2D image 500 acquired by the 2D image acquirer 111. In the image pyramid 510, a plurality of two-dimensional images 500 are generated with different sizes. Features may be extracted from the 2D image 500 included in the image pyramid 510. For example, the image pyramid generator 121 may extract a feature using a Hessian matrix-based filter. In this method, a feature extracted from an object may be extracted in advance when a size change occurs to extract a feature on a scale space and cope with a size change of an object existing in an image.

도 6은 도 1에 따른 객체 검출 장치를 이용하여 3차원 영상으로부터 객체 후보 영역을 설정하는 것을 설명하기 위한 예시도이다.6 is an exemplary diagram for describing setting an object candidate region from a 3D image by using the object detecting apparatus of FIG. 1.

도 6을 참조하면, 영역 분할부(122)는 3차원 영상 획득부(112)에서 획득한 3차원 영상(600)에서 거리 정보를 이용하여 3차원 분할 영상(610)을 생성한다. 이 경우, 3차원 분할 영상(610)은 3차원 영상(600)에서 동일한 명암값을 가지거나 거리 정보가 일치하는 영역을 동일 영역으로 판단하여 복수의 영역으로 분할된 영상을 의미한다.Referring to FIG. 6, the area divider 122 generates a 3D divided image 610 using distance information from the 3D image 600 acquired by the 3D image acquirer 112. In this case, the 3D divided image 610 refers to an image divided into a plurality of areas by determining an area having the same contrast value or the same distance information as the same area in the 3D image 600.

또한, 영역 분할부(122)는 3차원 분할 영상(610)에서 객체로 추정되는 영역인 객체 후보 영역(611)을 설정한다. 예를 들어, 영상 내에 자동차, 사람, 나무 등과 같은 객체가 포함되는 경우에는 해당 객체에 대한 거리 정보를 이용하여 영역 분할이 이뤄지고, 이를 기초로 객체 후보 영역(611)으로 설정한다.Also, the area divider 122 sets an object candidate area 611 which is an area estimated as an object in the 3D divided image 610. For example, when an object such as a car, a person, a tree, etc. is included in the image, region division is performed using distance information about the object, and based on this, the object candidate region 611 is set.

또한, 객체 크기 추정부(123)는 영역 분할부(122)로부터 입력된 3차원 분할 영상(610) 내에 존재하는 객체 후보 영역(611)을 분석하여 객체 크기를 추정한다. 예를 들어, 객체 후보 영역(611)의 넓이 등을 기초로 객체의 크기를 추정하는 것이 가능하다.
In addition, the object size estimator 123 estimates the object size by analyzing the object candidate region 611 existing in the 3D divided image 610 input from the region divider 122. For example, it is possible to estimate the size of the object based on the width of the object candidate region 611 and the like.

다시 도 2를 참조하면, 다음으로 객체 검출부(130)는 영상 피라미드에서 객체 크기에 대응하는 2차원 영상 레벨을 선택하고, 선택된 2차원 영상 레벨에 포함되는 2차원 영상으로부터 검출 마스크를 이용하여 객체를 검출한다(S220). 객체 검출부(130)는 영상 레벨 선택부(131)와 객체 추출부(132)를 포함한다. 영상 레벨 선택부(131)는 영상 피라미드에서 3차원 분할 영상의 객체 크기에 대응하는 2차원 영상 레벨을 선택한다. 이 경우, 선택되는 2차원 영상은 복수 개의 영상이 선택될 수 있으며, 사용자의 설정에 따라 선택되는 2차원 영상의 레벨이 달라질 수 있다. 객체 추출부(132)는 영상 레벨 선택부(131)에서 선택된 2차원 영상 레벨에 포함되는 2차원 영상으로부터 검출 마스크를 이용하여 객체를 추출한다.Referring back to FIG. 2, next, the object detector 130 selects the 2D image level corresponding to the object size in the image pyramid, and selects the object from the 2D image included in the selected 2D image level using a detection mask. It is detected (S220). The object detector 130 includes an image level selector 131 and an object extractor 132. The image level selector 131 selects a 2D image level corresponding to the object size of the 3D divided image in the image pyramid. In this case, a plurality of images may be selected as the selected 2D image, and the level of the selected 2D image may vary according to a user's setting. The object extractor 132 extracts an object from the 2D image included in the 2D image level selected by the image level selector 131 using a detection mask.

이하, 도 7 및 도 8을 참조하여 S220 단계에 대해 구체적으로 설명하도록 한다.
Hereinafter, the step S220 will be described in detail with reference to FIGS. 7 and 8.

도 7은 도 1에 따른 객체 검출 장치를 이용하여 객체의 크기에 따른 검출 마스크를 선택하는 것을 설명하기 위한 예시도이고, 도 8은 도 1에 따른 객체 검출 장치를 이용하여 2차원 영상 내에 포함되는 객체를 검출하는 것을 설명하기 위한 예시도이다.FIG. 7 is an exemplary diagram for selecting a detection mask according to the size of an object using the object detecting apparatus of FIG. 1, and FIG. 8 is included in a 2D image using the object detecting apparatus of FIG. 1. It is an exemplary diagram for demonstrating detecting an object.

도 7을 참조하면, 객체 DB(700)에는 복수의 객체에 대한 검출 마스크(710) 자료가 저장된다. 객체 추출부(332)는 객체 후보 영역의 객체 크기를 추정하고, 그 크기에 대응하는 검출 마스크(710)를 추출하게 된다. 이러한 추출과정은 기계학습 알고리즘을 이용하여 이뤄질 수 있다. 검출 마스크(710)는 복수의 객체에 따라 추출된다.Referring to FIG. 7, the object DB 700 stores the detection mask 710 data for a plurality of objects. The object extractor 332 estimates an object size of the object candidate region and extracts a detection mask 710 corresponding to the size. This extraction process can be accomplished using machine learning algorithms. The detection mask 710 is extracted according to the plurality of objects.

도 8을 참조하면, 객체 추출부(332)는 2차원 영상(800)에 검출 마스크를 적용하여 객체 후보 영역에 해당하는 객체(810)가 무엇인지 분석하게 된다. 예를 들어, 사용자가 도로를 주행하는 자동차를 인식하도록 설정한 경우, 자동차에 대응하는 검출 마스크를 추출하여 2차원 영상(800)에 맵핑을 하게 된다. 이 경우, 선택된 2차원 영상 레벨내에서만 검출 마스크 맵핑 과정이 이뤄지기 때문에 객체 인식 시간이 단축되고, 정확도가 향상될 수 있다.
Referring to FIG. 8, the object extractor 332 analyzes what the object 810 corresponding to the object candidate area is by applying a detection mask to the 2D image 800. For example, when the user is configured to recognize a car driving on a road, a detection mask corresponding to the car is extracted and mapped to the 2D image 800. In this case, since the detection mask mapping process is performed only within the selected 2D image level, object recognition time can be shortened and accuracy can be improved.

도 3은 본 발명의 또 다른 실시예에 따른 3차원 영상을 이용한 객체 검출 장치의 구성도이고, 도 4는 도 3에 따른 객체 검출 장치의 객체 검출 방법의 흐름도이다.3 is a block diagram of an object detecting apparatus using a 3D image according to another embodiment of the present invention, and FIG. 4 is a flowchart of an object detecting method of the object detecting apparatus according to FIG. 3.

도 3 및도 4를 참조하면, 객체 검출 장치(300)는 영상 획득부(310), 영상 처리부(320), 검출 마스크 피라미드 생성부(325), 객체 검출부(330)를 포함한다. 먼저, 영상 획득부(310)는 하나 이상의 객체를 포함하는 2차원 영상을 획득하는 2차원 영상 획득부(311)와, 객체의 거리 정보를 포함하는 3차원 영상을 획득하는 3차원 영상 획득부(312)를 포함하며, 객체에 대한 2차원 영상과 3차원 영상을 획득한다(S400). 영상 획득부(310)는 도 1의 영상 획득부(110)와 같은 기능을 가지므로 이에 대한 설명은 생략하기로 한다.3 and 4, the object detecting apparatus 300 includes an image acquirer 310, an image processor 320, a detection mask pyramid generator 325, and an object detector 330. First, the image acquisition unit 310 may include a two-dimensional image acquisition unit 311 for acquiring a two-dimensional image including one or more objects, and a three-dimensional image acquisition unit for acquiring a three-dimensional image including distance information of the object ( 312), a two-dimensional image and a three-dimensional image of the object are obtained (S400). Since the image acquisition unit 310 has the same function as the image acquisition unit 110 of FIG. 1, a description thereof will be omitted.

다음으로, 영상 처리부(320)는 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하는 영역 분할부(122)와, 객체 후보 영역에 해당하는 객체의 크기를 추정하는 객체 크기 추정부(322)를 포함하며, 3차원 영상에 포함되는 객체 후보 영역에 대한 객체의 크기를 추정한다(S410). 3차원 영상에 대해 영역을 분할하고, 객체 후보 영역을 설정하여 객체의 크기를 추정하는 것은 앞서 도 6을 참조하여 설명한 것과 동일하므로 이에 대한 설명은 생략하기로 한다.Next, the image processor 320 divides the 3D image into one or more object candidate regions using distance information, and an object size estimator that estimates the size of an object corresponding to the object candidate region. In operation 410, the size of the object for the object candidate region included in the 3D image is estimated. Since the segmentation of the 3D image and the object candidate region are set to estimate the size of the object as described above with reference to FIG. 6, description thereof will be omitted.

다음으로, 검출 마스크 피라미드 생성부(325)는 검출 마스크에 대해 검출 마스크 피라미드를 생성한다(S420). 검출 마스크 피라미드는 2차원 영상의 객체를 인식하기 위한 검출 마스크를 크기에 따라 분류한 모델을 의미한다. 검출 마스크는 앞서 도 7의 객체 DB로부터 학습된 객체에 대한 검출 식별자를 의미한다.Next, the detection mask pyramid generator 325 generates a detection mask pyramid with respect to the detection mask (S420). The detection mask pyramid refers to a model in which detection masks for recognizing objects of a 2D image are classified according to sizes. The detection mask means a detection identifier for an object learned from the object DB of FIG. 7.

다음으로, 객체 검출부(330)는 검출 마스크 피라미드에서 객체 크기에 대응하는 검출 마스크 레벨을 선택하는 검출 마스크 레벨 선택부(331)와, 선택된 검출 마스크 레벨에 포함되는 검출 마스크를 이용하여, 2차원 영상으로부터 객체를 추출하는 객체 추출부(332)를 포함하며, 검출 마스크 피라미드에서 선택된 검출 마스크 레벨에 포함되는 검출 마스크를 이용하여, 2차원 영상으로부터 객체를 검출한다(S430).Next, the object detector 330 uses the detection mask level selector 331 to select a detection mask level corresponding to the object size in the detection mask pyramid, and the detection mask included in the selected detection mask level, thereby obtaining a two-dimensional image. The object extracting unit 332 extracts an object from the object, and detects the object from the 2D image using a detection mask included in the detection mask level selected in the detection mask pyramid (S430).

이하, 도 9를 참조하여 S430 단계에 대해 구체적으로 설명하도록 한다.
Hereinafter, the operation S430 will be described in detail with reference to FIG. 9.

도 9는 도 3에 따른 객체 검출 장치를 이용하여 검출 마스크 피라미드를 생성하는 것을 설명하기 위한 예시도이다.FIG. 9 is an exemplary diagram for describing generating a detection mask pyramid using the object detecting apparatus according to FIG. 3.

도 9를 참조하면, 검출 마스크 피라미드 생성부(325)는 복수의 검출 마스크(910)를 크기를 달리 설정하여 생성한다. 이 후, 생성된 복수의 검출 마스크(910) 중 객체 크기 추정부(322)로부터 객체 후보 영역에 대한 객체 크기 정보를 입력받고, 검출 마스크 피라미드(900) 중 객체 크기에 대응하는 검출 마스크(910) 레벨을 선택한다. 이 경우, 선택되는 검출 마스크(910) 레벨은 사용자 설정에 따라 달리 설정될 수 있다. 검출 마스크(910)가 선택되면 해당 검출 마스크를 2차원 영상에 맵핑하여 영상에 포함된 객체를 인식하게 된다.
Referring to FIG. 9, the detection mask pyramid generator 325 generates a plurality of detection masks 910 with different sizes. Thereafter, the object size information of the object candidate area is received from the object size estimator 322 among the generated detection masks 910, and the detection mask 910 corresponding to the object size in the detection mask pyramid 900 is received. Select a level. In this case, the selected detection mask 910 level may be set differently according to a user setting. When the detection mask 910 is selected, the detection mask 910 is mapped to a 2D image to recognize an object included in the image.

한편, 본 발명의 실시예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.Meanwhile, embodiments of the present invention can be implemented by computer readable codes on a computer readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록 매체의 예로는ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, which may also be implemented in the form of carrier waves (for example, transmission over the Internet). Include. In addition, the computer-readable recording medium may be distributed over network-connected computer systems so that computer readable codes can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily deduced by programmers skilled in the art to which the present invention pertains.

이상에서 본 발명은 도면을 참조하면서 기술되는 바람직한 실시예를 중심으로 설명되었지만 이에 한정되는 것은 아니다. 따라서 본 발명은 기재된 실시예로부터 도출 가능한 자명한 변형예를 포괄하도록 의도된 특허청구범위의 기재에 의해 해석되어져야 한다.
The present invention has been described above with reference to the preferred embodiments described with reference to the drawings, but is not limited thereto. Accordingly, the invention should be construed by the description of the claims, which are intended to cover obvious variations that can be derived from the described embodiments.

이와 같이, 본 발명에 따르면 영상에 포함된 객체를 검출함에 있어서, 3차원 영상을 이용하여 객체의 거리 정보를 이용하여 객체의 크기 변화에 따라 객체를 검출함으로써, 객체 검출의 시간의 단축시킬 수 있으며, 객체 검출의 정확도를 향상시킬 수 있다.As described above, according to the present invention, in detecting an object included in an image, the object is detected according to a change in the size of the object using distance information of the object using a 3D image, thereby shortening the time for detecting the object. The accuracy of object detection can be improved.

100, 300 : 객체 검출 장치 110, 310 : 영상 획득부
111, 311 : 2차원 영상 획득부 112, 312 : 3차원 영상 획득부
120, 320 : 영상 처리부 121 : 영상 피라미드 생성부
122, 321 : 영역 분할부 123, 322 : 객체 크기 추정부
130, 330 : 객체 검출부 131 : 영상 레벨 선택부
132, 332 : 객체 추출부 325 : 검출 마스크 피라미드 생성부
331 : 검출 마스크 레벨 선택부 500, 800 : 2차원 영상
510 : 영상 피라미드 600 : 3차원 영상
610 : 3차원 분할 영상 611 : 객체 후보 영역
700 : 객체 DB 710, 910 : 검출 마스크
810 : 객체 900 : 검출 마스크 피라미드100, 300: object detection device 110, 310: image acquisition unit
111, 311: 2D image acquisition unit 112, 312: 3D image acquisition unit
120, 320: image processing unit 121: image pyramid generating unit
122, 321: region division unit 123, 322: object size estimation unit
130, 330: object detection unit 131: image level selection unit
132, 332: object extraction unit 325: detection mask pyramid generation unit
331: detection mask level selection unit 500, 800: two-dimensional image
510: image pyramid 600: three-dimensional image
610: three-dimensional segmented image 611: object candidate region
700: object DB 710, 910: detection mask
810 Object 900: Detection Mask Pyramid

Claims (10)

객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득부;
상기 2차원 영상에 대한 영상 피라미드를 생성하고, 상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리부; 및
상기 영상 피라미드에서 상기 객체 크기에 대응하는 2차원 영상 레벨을 선택하고, 선택된 2차원 영상 레벨에 포함되는 2차원 영상으로부터 검출 마스크를 이용하여 상기 객체를 검출하는 객체 검출부를 포함하는 3차원 영상을 이용한 객체 검출 장치.An image acquisition unit obtaining a 2D image and a 3D image of an object;
An image processor which generates an image pyramid for the 2D image, divides the 3D image into one or more object candidate regions using distance information, and estimates an object size for each object candidate region; And
Selecting a 2D image level corresponding to the object size in the image pyramid, and using a 3D image including an object detector for detecting the object from a 2D image included in the selected 2D image level using a detection mask Object detection device. 제1항에 있어서, 상기 영상 획득부는,
하나 이상의 객체를 포함하는 2차원 영상을 획득하는 2차원 영상 획득부; 및
상기 객체의 거리 정보를 포함하는 3차원 영상을 획득하는 3차원 영상 획득부를 포함하는 3차원 영상을 이용한 객체 검출 장치.The method of claim 1, wherein the image acquisition unit,
A 2D image obtaining unit obtaining a 2D image including at least one object; And
An apparatus for detecting an object using a 3D image including a 3D image obtaining unit which obtains a 3D image including distance information of the object. 제1항에 있어서, 상기 영상 처리부는,
상기 2차원 영상에 대한 영상 피라미드를 생성하는 영상 피라미드 생성부;
상기 3차원 영상을 상기 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하는 영역 분할부; 및
상기 객체 후보 영역에 해당하는 객체의 크기를 추정하는 객체 크기 추정부를 포함하는 3차원 영상을 이용한 객체 검출 장치.The image processing apparatus of claim 1, wherein the image processor comprises:
An image pyramid generator for generating an image pyramid for the 2D image;
An area dividing unit dividing the 3D image into one or more object candidate areas using the distance information; And
And an object size estimator configured to estimate a size of an object corresponding to the object candidate region. 제1항에 있어서, 상기 객체 검출부는,
상기 영상 피라미드에서 상기 객체 크기에 대응하는 2차원 영상 레벨을 선택하는 영상 레벨 선택부; 및
상기 선택된 2차원 영상 레벨에 포함되는 2차원 영상으로부터 검출 마스크를 이용하여 상기 객체를 추출하는 객체 추출부를 포함하는 3차원 영상을 이용한 객체 검출 장치.The method of claim 1, wherein the object detector,
An image level selector for selecting a 2D image level corresponding to the object size in the image pyramid; And
And an object extractor which extracts the object from a two-dimensional image included in the selected two-dimensional image level by using a detection mask. 객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득부;
상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리부;
검출 마스크에 대해 검출 마스크 피라미드를 생성하는 검출 마스크 피라미드 생성부; 및
상기 검출 마스크 피라미드에서 상기 객체 크기에 대응하는 검출 마스크 레벨을 선택하고, 선택된 검출 마스크 레벨에 포함되는 검출 마스크를 이용하여, 상기 2차원 영상으로부터 상기 객체를 검출하는 객체 검출부를 포함하는 3차원 영상을 이용한 객체 검출 장치.An image acquisition unit obtaining a 2D image and a 3D image of an object;
An image processor for dividing the 3D image into one or more object candidate regions using distance information and estimating an object size of each object candidate region;
A detection mask pyramid generator for generating a detection mask pyramid with respect to the detection mask; And
Selecting a detection mask level corresponding to the object size in the detection mask pyramid, and using a detection mask included in the selected detection mask level, a 3D image including an object detection unit to detect the object from the 2D image; Object detection device used. 제5항에 있어서, 상기 영상 획득부는,
하나 이상의 객체를 포함하는 2차원 영상을 획득하는 2차원 영상 획득부; 및
상기 객체의 거리 정보를 포함하는 3차원 영상을 획득하는 3차원 영상 획득부를 포함하는 3차원 영상을 이용한 객체 검출 장치.The method of claim 5, wherein the image acquisition unit,
A 2D image obtaining unit obtaining a 2D image including at least one object; And
An apparatus for detecting an object using a 3D image including a 3D image obtaining unit which obtains a 3D image including distance information of the object. 제5항에 있어서, 상기 영상 처리부는,
상기 3차원 영상을 상기 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하는 영역 분할부; 및
상기 객체 후보 영역에 해당하는 객체의 크기를 추정하는 객체 크기 추정부를 포함하는 3차원 영상을 이용한 객체 검출 장치.The method of claim 5, wherein the image processing unit,
An area dividing unit dividing the 3D image into one or more object candidate areas using the distance information; And
And an object size estimator configured to estimate a size of an object corresponding to the object candidate region. 제5항에 있어서, 상기 객체 검출부는,
상기 검출 마스크 피라미드에서 상기 객체 크기에 대응하는 검출 마스크 레벨을 선택하는 검출 마스크 레벨 선택부; 및
상기 선택된 검출 마스크 레벨에 포함되는 검출 마스크를 이용하여, 상기 2차원 영상으로부터 상기 객체를 추출하는 객체 추출부를 포함하는 3차원 영상을 이용한 객체 검출 장치.The method of claim 5, wherein the object detector,
A detection mask level selection unit for selecting a detection mask level corresponding to the object size in the detection mask pyramid; And
And an object extractor configured to extract the object from the 2D image by using a detection mask included in the selected detection mask level. 객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득 단계;
상기 2차원 영상에 대한 영상 피라미드를 생성하고, 상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리 단계; 및
상기 영상 피라미드에서 상기 객체 크기에 대응하는 2차원 영상 레벨을 선택하고, 선택된 2차원 영상 레벨에 포함되는 2차원 영상으로부터 검출 마스크를 이용하여 상기 객체를 검출하는 객체 검출 단계를 포함하는 3차원 영상을 이용한 객체 검출 방법.An image acquiring step of acquiring a two-dimensional image and a three-dimensional image of the object;
An image processing step of generating an image pyramid for the 2D image, dividing the 3D image into one or more object candidate regions using distance information, and estimating an object size for each object candidate region; And
Selecting a 2D image level corresponding to the object size in the image pyramid, and detecting the object from a 2D image included in the selected 2D image level using a detection mask. Object detection method used. 객체에 대한 2차원 영상과 3차원 영상을 획득하는 영상 획득 단계;
상기 3차원 영상을 거리 정보를 이용하여 하나 이상의 객체 후보 영역으로 분할하고, 각 객체 후보 영역에 대한 객체 크기를 추정하는 영상 처리 단계;
검출 마스크에 대해 검출 마스크 피라미드를 생성하는 검출 마스크 피라미드 생성 단계; 및
상기 검출 마스크 피라미드에서 상기 객체 크기에 대응하는 검출 마스크 레벨을 선택하고, 선택된 검출 마스크 레벨에 포함되는 검출 마스크를 이용하여, 상기 2차원 영상으로부터 상기 객체를 검출하는 객체 검출 단계를 포함하는 3차원 영상을 이용한 객체 검출 방법.An image acquiring step of acquiring a two-dimensional image and a three-dimensional image of the object;
An image processing step of dividing the 3D image into one or more object candidate regions using distance information and estimating an object size for each object candidate region;
A detection mask pyramid generation step of generating a detection mask pyramid for the detection mask; And
Selecting an detection mask level corresponding to the object size in the detection mask pyramid, and detecting an object from the 2D image by using a detection mask included in the selected detection mask level; Object detection method using
KR1020110117802A 2011-11-11 2011-11-11 Apparatus and method for detecting object using 3d image KR101282742B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110117802A KR101282742B1 (en) 2011-11-11 2011-11-11 Apparatus and method for detecting object using 3d image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110117802A KR101282742B1 (en) 2011-11-11 2011-11-11 Apparatus and method for detecting object using 3d image

Publications (2)

Publication Number Publication Date
KR20130052393A true KR20130052393A (en) 2013-05-22
KR101282742B1 KR101282742B1 (en) 2013-07-05

Family

ID=48662020

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110117802A KR101282742B1 (en) 2011-11-11 2011-11-11 Apparatus and method for detecting object using 3d image

Country Status (1)

Country Link
KR (1) KR101282742B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9262691B2 (en) 2013-12-17 2016-02-16 Catholic University Industry Academic Cooperation Foundation Method for extracting salient object from stereoscopic image
KR101652485B1 (en) * 2015-02-27 2016-08-31 삼성중공업(주) Apparatus and method for generating 3d sonar image
KR101721655B1 (en) * 2015-12-28 2017-03-30 재단법인대구경북과학기술원 System and method for object detection
WO2022034295A1 (en) 2020-08-10 2022-02-17 Johnson Matthey Public Limited Company Exhaust gas treatment system
WO2023135405A1 (en) 2022-01-14 2023-07-20 Johnson Matthey Public Limited Company Treatment system for exhaust gas comprising ammonia

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101982258B1 (en) 2014-09-19 2019-05-24 삼성전자주식회사 Method for detecting object and object detecting apparatus

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4561380B2 (en) 2005-01-24 2010-10-13 コニカミノルタホールディングス株式会社 Detection apparatus, detection method, and detection program
KR20110129158A (en) * 2010-05-25 2011-12-01 경북대학교 산학협력단 Method and system for detecting a candidate area of an object in an image processing system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9262691B2 (en) 2013-12-17 2016-02-16 Catholic University Industry Academic Cooperation Foundation Method for extracting salient object from stereoscopic image
KR101652485B1 (en) * 2015-02-27 2016-08-31 삼성중공업(주) Apparatus and method for generating 3d sonar image
KR101721655B1 (en) * 2015-12-28 2017-03-30 재단법인대구경북과학기술원 System and method for object detection
WO2022034295A1 (en) 2020-08-10 2022-02-17 Johnson Matthey Public Limited Company Exhaust gas treatment system
GB2603979A (en) 2020-08-10 2022-08-24 Johnson Matthey Plc Exhaust gas treatment system
WO2023135405A1 (en) 2022-01-14 2023-07-20 Johnson Matthey Public Limited Company Treatment system for exhaust gas comprising ammonia

Also Published As

Publication number Publication date
KR101282742B1 (en) 2013-07-05

Similar Documents

Publication Publication Date Title
KR101282742B1 (en) Apparatus and method for detecting object using 3d image
KR101856401B1 (en) Method, apparatus, storage medium, and device for processing lane line data
CN104217208B (en) Object detection method and device
US9165211B2 (en) Image processing apparatus and method
KR102214934B1 (en) Stereo matching apparatus and method using unary confidences learning and pairwise confidences learning
US9679384B2 (en) Method of detecting and describing features from an intensity image
KR101822185B1 (en) Method and apparatus for poi detection in 3d point clouds
KR101789071B1 (en) Apparatus and method for extracting feature of depth image
US9443137B2 (en) Apparatus and method for detecting body parts
KR20200060194A (en) Method of predicting depth values of lines, method of outputting 3d lines and apparatus thereof
US10650535B2 (en) Measurement device and measurement method
JP2019164842A (en) Human body action analysis method, human body action analysis device, equipment, and computer-readable storage medium
US10607350B2 (en) Method of detecting and describing features from an intensity image
US10726309B2 (en) Subject recognizing method and apparatus
JP6119409B2 (en) Object area dividing method and object area dividing apparatus
KR20110021500A (en) Method for real-time moving object tracking and distance measurement and apparatus thereof
EP3223035A1 (en) Estimation apparatus, estimation method and computer-readable medium
EP3410345A1 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
JP5217917B2 (en) Object detection and tracking device, object detection and tracking method, and object detection and tracking program
JP6127958B2 (en) Information processing apparatus, information processing method, and program
JP6098498B2 (en) Information processing apparatus, information processing method, and program
KR101339616B1 (en) Object detection and tracking method and device
KR20160052256A (en) Three-dimensional space Mapping apparatus using a virtual feature point and method therefor
KR20160063039A (en) Method of Road Recognition using 3D Data
KR20180082739A (en) Moving Object Detection Method and System with Single Camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170628

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 7