KR101104296B1 - 물체 인식 방법 및 장치 - Google Patents

물체 인식 방법 및 장치 Download PDF

Info

Publication number
KR101104296B1
KR101104296B1 KR1020090115232A KR20090115232A KR101104296B1 KR 101104296 B1 KR101104296 B1 KR 101104296B1 KR 1020090115232 A KR1020090115232 A KR 1020090115232A KR 20090115232 A KR20090115232 A KR 20090115232A KR 101104296 B1 KR101104296 B1 KR 101104296B1
Authority
KR
South Korea
Prior art keywords
image
depth
unit
correlation
reference image
Prior art date
Application number
KR1020090115232A
Other languages
English (en)
Other versions
KR20110058437A (ko
Inventor
김은수
김승철
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020090115232A priority Critical patent/KR101104296B1/ko
Publication of KR20110058437A publication Critical patent/KR20110058437A/ko
Application granted granted Critical
Publication of KR101104296B1 publication Critical patent/KR101104296B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 물체 인식 장치는 물체를 촬영하여 참조 영상을 생성하는 제1 픽업부, 상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 복원부, 상기 평면 복원 영상을 픽업하여 대상 영상을 생성하는 제2 픽업부, 상기 참조 영상과 상기 대상 영상의 단위 블록 간의 상관도를 산출하는 상관도 산출부, 상기 참조 영상의 단위 블록에 상응하는 상기 상관도 중 최대인 상관도에 상응하는 깊이를 상기 단위 블록에 상응하는 깊이로 검출하는 깊이 검출부 및 상기 단위 블록을 깊이 별로 분류하고, 분류된 상기 단위 블록을 포함하는 깊이 별 분류 집적 영상을 생성하는 분류부를 포함한다. 본 발명의 일 실시예에 따르면 평면 복원 영상의 노이즈가 제거됨에 따라, 물체의 형태가 선명하게 나타낼 수 있다.
물체 인식, 참조 영상, 3차원.

Description

물체 인식 방법 및 장치{Method and apparatus for detecting object}
본 발명은 3차원 영상 기술에 관한 것으로, 상세하게는 3차원 영상에 포함된 물체를 인식하는 방법 및 장치에 관한 것이다.
최근 3차원 물체 인식에 관한 연구 및 시스템 구현에 대해 많은 연구가 진행되고 있다. 특히 3차원 물체 인식을 위해 3차원 영상을 기록하고 복원할 수 있는 집적영상 기술이 도입되고 있다.
집적영상 기술은 픽업과 복원 과정을 포함한다. 픽업 과정은 3차원 물체에 대한 렌즈 배열을 통하여 요소 영상 배열(EIA : Elemental Image Array)의 형태로 저장하는 단계이다.
복원 과정은 요소 영상 배열을 디스플레이하고, 다시 렌즈 배열을 통과시켜 원래의 위치에 3차원 영상을 복원하는 단계이다.
복원 과정을 거친 3차원 영상은 깊이 별 평면 영상으로 표현할 수 있다. 이 때, 종래 물체 인식 방법은 각 평면 영상들과 특정 물체를 나타내는 참조 영상 간 의 코릴레이션을 이용하여 3차원 영상에 포함된 참조 영상이 나타내는 물체를 인식한다.
이러한 물체 인식 방법은 참조 영상을 미리 저장하여야 하는 제약 조건이 있다.
본 발명이 해결하고자 하는 과제는 집적 영상을 복원한 평면 복원 영상을 컴퓨터적 픽업 방법을 이용하여 다시 픽업함으로써, 미리 저장된 참조 영상 없이 물체의 깊이를 제공하는 것이다.
본 발명의 해결하고자 하는 또 다른 과제는 단위 블록을 깊이 별로 분류함으로써, 노이즈가 적은 평면 복원 영상을 제공하는 것이다.
본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 물체를 촬영하여 참조 영상을 생성하는 제1 픽업부;상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 복원부; 상기 평면 복원 영상을 픽업하여 대상 영상을 생성하는 제2 픽업부; 상기 참조 영상과 상기 대상 영상의 단위 블록 간의 상관도를 산출하는 상관도 산출부; 상기 참조 영 상의 단위 블록에 상응하는 상기 상관도 중 최대인 상관도에 상응하는 깊이를 상기 단위 블록에 상응하는 깊이로 검출하는 깊이 검출부; 및 상기 단위 블록을 깊이 별로 분류하고, 분류된 상기 단위 블록을 포함하는 깊이 별 분류 집적 영상을 생성하는 분류부를 포함하는 물체 인식 장치가 제공된다.
본 발명의 다른 측면에 따르면, 물체 인식 장치가 물체를 인식하는 방법에 있어서,물체를 촬영하여 참조 영상을 생성하는 단계; 상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 단계; 상기 평면 복원 영상을 픽업하여 대상 영상을 생성하는 단계; 상기 참조 영상과 상기 대상 영상의 단위 블록 간의 상관도를 산출하는 단계; 상기 참조 영상의 단위 블록에 상응하는 상기 상관도 중 최대인 상관도에 상응하는 깊이를 상기 단위 블록에 상응하는 깊이로 검출하는 단계; 및 상기 단위 블록을 깊이 별로 분류하고, 분류된 상기 단위 블록을 포함하는 깊이 별분류 집적 영상을 생성하는 단계를 포함하는 깊이 검출 방법이 제공된다.
본 발명의 일 실시예에 따르면, 미리 저장된 참조 영상 없이 3차원 영상에 포함된 물체의 3차원 좌표를 제공함으로써, 참조 영상이 준비되지 않은 물체에 대한 깊이를 추출할 수 있다.
본 발명의 일 실시예에 따르면, 평면 복원 영상의 노이즈가 제거됨에 따라, 물체의 형태가 선명하게 나타낼 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 물체 인식 장치를 예시한 도면이다.
도 1을 참조하면, 물체 인식 장치는 렌즈부(110), 광학 픽업부(120), 복원부(140), 컴퓨터 픽업부(150), 상관도 산출부(160), 깊이 검출부(170) 및 분류부(180)를 포함한다.
렌즈부(110)는 집적 영상의 촬상 및 디스플레이를 위한 복수의 렌즈 또는 핀홀로 구성된 배열을 포함한다.
광학 픽업부(120)는 렌즈부(110)를 투과하여 투사된 빛을 감지하여 영상 데이터를 생성한다. 즉, 광학 픽업부(120)는 렌즈부(110)를 투과하여 투사된 빛을 감지하여 복수의 요소 영상(Elemental Image)를 포함하는 집적 영상인 참조 영상을 생성한다. 이하 참조 영상을 구성하는 요소 영상을 참조 요소 영상이라 지칭한다. 광학 픽업부(120)는 CCD 또는 CMOS를 포함할 수 있다.
복원부(140)는 참조 영상을 컴퓨터적 복원 방법을 이용하여 평면 복원 영상(POI: Plane Object Image)를 생성한다. 이하, 참조 영상을 복원한 평면 복원 영상을 참조 복원 영상이라 지칭하도록 한다.
컴퓨터 픽업부(150)는 복원부(140)에서 복원된 각 평면 복원 영상을 렌즈 배열 또는 핀홀 배열을 통해 생성되는 과정을 시뮬레이션하여 집적 영상을 생성한다. 이하 시뮬레이션을 통해 생성된 집적 영상을 대상 영상이라 지칭하도록 한다. 즉, 컴퓨터 픽업부(150)는 가상의 컴퓨터 그래픽 모델을 렌즈 배열을 통해 감지하는 과정을 가상으로 수행하는 시뮬레이션을 통해 집적 영상을 생성하는 컴퓨터적 픽업 방법을 이용하여, 각 평면 복원 영상에 상응하는 집적 영상인 대상 영상을 생성한다. 이 때, 대상 영상을 구성하는 요소 영상을 대상 요소 영상이라 지칭하도록 한다. 평면 복원 영상의 대상 영상을 생성하는 과정은 추후 도 5를 참조하여 상세히 설명하도록 한다. 컴퓨터 픽업부(150)는 픽업한 대상 영상을 상관도 산출부(160)로 전송한다.
상관도 산출부(160)는 광학 픽업부(120)로부터 참조 영상을 수신하고, 컴퓨터 픽업부(150)로부터 대상 영상을 수신한다.
상관도 산출부(160)는 참조 영상과 이에 상응하는 대상 영상 간의 상관도를 산출한다. 본 실시예에서는 상관도를 NCC(Normalized Cross-Correlation)인 것으로 하여 설명하도록 하지만, 상관도가 NCC 이외의 다른 코릴레이션 방식으로 산출될 수 있음은 당업자에게 자명하다.
상관도 산출부(160)는 대상 영상과 참조 영상 간의 상관도를 하기 수학식 1을 통해 산출할 수 있다.
[수학식 1]
Figure 112009072878454-pat00001
이 때, S는 대상 영상에 포함된 특정 픽셀의 값이고, T는 참조 영상의 포함된 특정 픽셀의 값이고, S와 T는 동일 좌표에 위치한 픽셀의 값이고, NCC(S, T)는 대상 영상 및 참조 영상의 픽셀 간의 상관도이고, E(T)는 T가 포함된 참조 영상에 포함된 픽셀의 값들의 평균이고, E(S)는 S가 포함된 참조 영상에 포함된 픽셀의 값들의 평균이다.
즉, 상관도 산출부(160)는 수학식 1을 이용하여 깊이 별 대상 영상과 참조 영상에 포함된 동일 좌표의 픽셀 간의 상관도를 산출한다. 상관도 산출부(160)는 산출한 상관도를 위치 검출부(170)로 전송한다.
깊이 검출부(170)는 참조 요소 영상 별 최대 상관도를 검출하고, 최대 상관도에 상응하는 대상 요소 영상의 깊이를 참조 요소 영상의 깊이로 검출한다. 예를 들어, 깊이 검출부(170)는 대상 요소 영상 및 참조 요소 영상을 구성하는 각 픽셀 간의 상관도를 그룹화한다. 깊이 검출부(170)는 각 그룹의 상관도 중 최대값을 해당 그룹의 대표 상관도로 검출한다. 즉, 깊이 검출부(170)는 대상 요소 영상과 참조 요소 영상의 짝에 상응하는 대표 상관도를 검출한다. 깊이 검출부(170)는 대표 상관도와 상응하는 참조 요소 영상의 위치가 동일한 대표 상관도끼리 그룹화한다. 이어서, 깊이 검출부(170)는 각 그룹의 대표 상관도 중 최대값인 최대 상관도를 검 출한다. 깊이 검출부(170)는 각 최대 상관도에 상응하는 대상 요소 영상의 깊이를 해당 최대 상관도에 상응하는 참조 요소 영상의 깊이로 검출한다.
분류부(180)는 각 참조 요소 영상의 깊이를 기준으로 참조 요소 영상을 분류한다. 즉, 분류부(180)는 전체 참조 요소 영상 중 깊이가 동일한 참조 요소 영상끼리 그룹화하여 분류한다. 이어서, 분류부(180)는 분류된 요소 영상을 각 요소 영상에 상응하는 좌표에 배치하고, 빈 좌표에 빈 요소 영상(예를 들어, 모든 픽셀의 값이 0인 요소 영상)을 배치하여 집적 영상(이하 분류 집적 영상이라 지칭)을 생성한다. 따라서, 분류부(180)는 깊이 별 분류 집적 영상을 생성한다.
도 2a는 본 발명의 일 실시예에 따른 픽업 과정을 예시한 도면이고, 도 2b는 본 발명의 일 실시예에 따른 복원 과정을 예시한 도면이다.
도 2a를 참조하면, 3차원 물체로부터 반사된 빛이 렌즈부(110)를 통해 픽업부(120)로 투사되고, 픽업부(120)는 투사된 빛을 CCD 또는 CMOS 등의 센서를 통해 감지하여 디지털 영상을 생성한다. 픽업부(120)가 생성한 영상은 복수의 요소 영상을 포함하는 집적 영상으로 렌즈부(110)를 통해 역투사될 경우, 입체 영상이 디스플레이될 수 있다.
도 2b를 참조하면, 픽업부(120)를 통해 픽업된 영상을 디스플레이 패널(dispaly panel)과 같은 디스플레이 장치를 통해 렌즈부(110)로 집적 영상을 투사하면, 렌즈부(110)의 전면에 입체 영상이 디스플레이될 수 있다.
집적 영상을 복원하는 방법으로는 광학적 집적 영상 복원 방식(OIIR : Optical Integral Imaging Reconstruction) 또는 컴퓨터적 집적 영상 복원 방식(CIIR : Computational Integral Imaging Reconstruction)이 있다.
도 2b에 예시된 복원 방식은 상술한 광학적 집적 영상 복원 방식이다. 광학적 집적 영상 복원 방식은 회적과 수차 등과 같은 광학적 장치의 물리적인 제한에 의해 야기되는 요소 영상들 간의 불충분한 오버랩과 디스플레이된 3차원 영상의 저하된 화질로 인해 저해상도의 3차원 영상이 디스플레이되는 등의 문제점이 있다. 이러한 결점을 보완하기 위해 기하광학의 디지털 시뮬레이션을 통해 컴퓨터로 3차원 영상을 복원하는 컴퓨터적 집적 영상 복원 방식이 복원 방식으로 사용된다. 이하 컴퓨터적 집적 영상 복원 방식을 도 3을 참조하여 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 컴퓨터적 집적 영상 복원 방식을 예시한 개념도이다.
도 3을 참조하면, 복원부(150)는 핀홀 배열을 통하여 복원 평면으로 집적 영상을 투사한다. 이 때, 핀홀 배열 대신 렌즈 배열을 이용하여 집적 영상을 복원 평면으로 투사할 수 있음은 자명하다. 도 3에 예시된 바와 같이, 복원부(150)는 핀홀 어레이로부터 z만큼 떨어진 복원 평면에 투사된 각 요소 영상 간의 일부는 중첩되어 평면 복원 영상(POI)를 생성한다. 이 때, 복원부(150)는 z를 변경하여 복수의 평면 복원 영상을 생성할 수 있다. 즉, 복원부(150)는 복수의 깊이 별 평면 복원 영상을 생성할 수 있다.
복원부(150)는 상술한 과정을 기하광학에 따른 디지털 시뮬레이션을 통해, 핀홀 배열 또는 렌즈 배열을 이용하지 않고 깊이 별 평면 복원 영상을 생성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 물체 인식 장치가 각 요소 영상의 깊이를 검출하는 방법을 예시한 도면이다.
도 4를 참조하면, 렌즈부(110)로부터 거리가 z만큼 떨어진 물체를 광학 픽업부(120)가 픽업하여 참조 영상(410)을 생성한다.
복원부(140)는 도 3을 참조하여 상술한 컴퓨터적 집적 영상 복원 방법(CIIR)을 이용하여 참조 복원 영상(420)을 각 깊이 별로 생성한다.
이어서, 컴퓨터 픽업부(150)는 각 참조 복원 영상을 컴퓨터적 픽업 방법을 이용하여 픽업한다. 즉, 컴퓨터 픽업부(150)는 평면 영상인 참조 복원 영상을 물체로 지정하고, 이를 렌즈 배열을 통해 픽업하는 과정을 가상의 시뮬레이션을 통해 픽업하여 대상 영상(430)을 생성한다. 광학 픽업부(120), 복원부(140) 및 컴퓨터 픽업부(150)의 기능 수행 과정은 추후 도 5를 참조하여 상세히 설명하도록 한다.
상관도 산출부(160)는 참조 영상(410)과 각 대상 영상(430) 간의 상관도를 산출한다.
깊이 검출부(170)는 참조 영상(410)과 각 대상 영상(430)에 상관도 중 최대값인 최대 상관도를 검출한다. 예를 들어, 도 4와 같이 깊이 검출부(170)는 참조 영상(410)의 (4,5)에 위치한 참조 요소 영상과 대상 영상(431)의 (4,5)에 위치한 대상 요소 영상에 포함된 픽셀에 상응하는 상관도 중 최대값인 대표 상관도를 검출 한다. 깊이 검출부(170)는 참조 영상(410)의 (4,5)에 위치한 참조 요소 영상과 나머지 대상 영상(431)의 (4,5)에 위치한 대상 요소 영상들에 상응하는 대표 상관도를 각각 검출한다. 대표 상관도를 깊이에 따라 그래프로 나타내면 440과 같이 예시된다. 이어서 깊이 검출부(160)는 검출한 대표 상관도 중 최대값인 최대 상관도를 검출한다. 예를 들어, 440에 따르면, 깊이 30mm에서 대표 상관도가 가장 크다. 따라서, 깊이 검출부(170)는 깊이 30mm에 상응하는 최대 상관도를 검출한다.
깊이 검출부(170)는 각 참조 요소 영상의 깊이를 해당 참조 요소 영상과의 대표 상관도가 최대 상관도인 대상 요소 영상의 깊이로 검출한다. 각 참조 요소 영상의 깊이를 색으로 나타낸 깊이 맵을 450과 같이 나타낼 수 있다.
도 5는 본 발명의 일 실시예에 따른 광학적 픽업 및 컴퓨터 픽업 과정을 예시한 도면이다.
도 5를 참조하면, 광학 픽업부(120)는 렌즈부(110)를 통과한 물체에서 반사된 빛을 감지하여 참조 영상을 생성한다.
이어서, 복원부(140)는 참조 영상 깊이 zi(i = 1,..., n, n은 임의의 자연수)에 상응하는 평면 복원 영상인 참조 복원 영상을 생성한다.
컴퓨터 픽업부(150)는 복원부(140)로부터 참조 복원 영상을 깊이 zi 에 위치한 평면 물체로 설정하여 픽업 과정을 수행한다. 이 때, 참조 복원 영상은 디지털 데이터 형태이기 때문에 컴퓨터적 픽업 방식을 이용하여 픽업할 수 있다. 즉, 컴퓨 터 픽업부(150)는 컴퓨터적 픽업 방식을 이용하여 하나의 참조 복원 영상에 상응하는 하나의 집적 영상인 대상 영상을 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 분류부가 참조 영상을 깊이 맵을 참조하여 분류하는 과정을 예시한 도면이다.
도 6을 참조하면, 분류부(180)는 깊이 맵을 참조한 각 참조 요소 영상의 깊이에 따라 각 참조 요소 영상을 깊이 별로 분류한다. 예를 들어, 분류부(180)는 참조 영상을 분류하여 깊이 별로 분류한다. 분류부(180)는 분류된 참조 요소 영상들을 참조 영상 상에 위치하였던 좌표로 배치하고, 참조 요소 영상이 배치되지 않은 좌표에는 빈 요소 영상을 배치한 분류 집적 영상을 생성한다.
본 발명의 일 실시예에 따르면, 각 분류 집적 영상에 상응하는 깊이의 평면 복원 영상을 복원하면, 일반적인 집적 영상을 복원한 평면 복원 영상에 비해, 선명한 물체를 검출할 수 있다. 예를 들어, 복원부(140)가 (b)를 깊이 30mm에서 복원한 평면 복원 영상을 생성하면 (g)와 같은 특정 물체에 대한 영상을 획득할 수 있다.
도 1 내지 도 5를 참조하여 상술한 물체 인식 장치는 요소 영상을 단위로 대표 상관도를 산출하는 것으로 설명하였지만, 구현 방법에 따라 대상 영상 및 참조 영상을 지정된 크기의 블록으로 분할하고, 각 블록 별로 대표 상관도를 산출하여 깊이 검출 과정을 수행할 수 있음은 당업자에게 자명하다.
도 7a는 본 발명의 일 실시예에 따른 요소 영상을 단위로 산출된 대표 상관도를 깊이에 따라 나타낸 그래프이고, 도 7b는 본 발명의 다른 실시예에 따른 요소 영상을 2x2로 분할한 크기의 블록을 단위로 산출된 대표 상관도를 깊이에 따라 나타낸 그래프이다.
도 7a와 같이 요소 영상을 단위로 대표 상관도를 산출하는 방식에 비해, 도 7b는 요소 영상보다 작은 블록 별로 대표 상관도를 생성함으로써, 대표 상관도의 개수가 증가하여 좀 더 정확한 물체의 깊이를 검출할 수 있다.
도 8은 본 발명의 일 실시예에 따른 물체 인식 장치의 깊이를 검출하는 과정을 예시한 순서도이다.
물체 인식 장치는 물체를 광학적 픽업 방법을 이용하여 참조 영상을 생성한다(810).
물체 인식 장치는 참조 영상을 컴퓨터적 집적 영상 복원 방법을 이용하여 평면 복원 영상으로 복원한다(820).
물체 인식 장치는 컴퓨터적 픽업 방식을 이용하여 복원된 평면 복원 영상을 픽업하여 대상 영상을 생성한다(830). 예를 들어, 물체 인식 장치는 단계 820에서 복원된 평명 복원 영상 각각을 컴퓨터적 픽업 방식을 이용하여 픽업함으로써, 복수의 대상 영상을 생성한다.
물체 인식 장치는 대상 영상과 참조 영상 간의 상관도를 산출한다(840). 예를 들어, 물체 인식 장치는 대상 영상의 각 픽셀과 참조 영상의 픽셀 중 동일한 픽 셀 간의 상관도를 산출한다.
물체 인식 장치는 단위 블록 별로 상관도를 그룹화한다(850). 즉, 물체 인식 장치는 대상 영상 및 참조 영상의 픽셀을 단위 블록 별로 분할하고, 각 픽셀에 상응하는 상관도를 단위 블록 별로 그룹화한다.
물체 인식 장치는 단위 블록 별 최대 상관도를 검출한다(860).
물체 인식 장치는 참조 영상의 각 단위 블록에 상응하는 깊이를 검출한다(870). 즉, 물체 인식 장치는 참조 영상의 각 단위 블록에 상응하는 최대 상관도가 검출된 대상 영상의 깊이를 해당 참조 영상의 깊이로 검출한다.
물체 인식 장치는 각 단위 블록에 상응하는 깊이에 따라 각 단위 블록의 영상을 분류한다(880).
물체 인식 장치는 깊이에 따라 분류된 각 단위 블록의 영상을 배치하여 분류 집적 영상을 생성한다(890).
물체 인식 장치는 각 분류 집적 영상에 상응하는 깊이에서 해당 분류 집적 영상을 복원하여 평면 복원 영상을 생성한다(895). 이 때, 생성된 평면 복원 영상은 일반적인 집적 영상을 복원한 영상에 비해 선명한 이미지를 포함한다.
도 9는 본 발명의 일 실시예에 따른 물체 인식 장치의 효과를 설명하기 위한 도면이고, 도 10a는 일반 집적 영상을 복원한 평면 복원 영상을 예시한 도면이고, 도 10b는 본 발명의 일 실시예에 따른 분류 집적 영상을 복원한 평면 복원 영상을 예시한 도면이고, 도 11a 및 도 11b는 본 발명의 일 실시예에 따른 평면 복원 영상 과 일반 집적 영상을 복원한 평면 복원 영상의 상관도를 예시한 그래프이다.
도 9, 도 10a 및 도 10b를 참조하면, 핀홀 배열 또는 렌즈 배열과 물체와의 거리가 30mm인 마크과 45mm인 마크를 광학적으로 픽업한 집적 영상을 일반적으로 복원하면 도 9a와 같이 깊이 별 평면 복원 영상이 생성된다. 도 9a에는 각 평면 복원 영상에 초점이 맞지 않은 물체가 흐리게 나타난다.
이에 비해, 본 발명의 일 실시예에 따른 분류 집적 영상을 복원한 평면 복원 영상인 9b는 도 9a에 비해 선명한 영상을 나타내고 있다. 따라서 본 발명의 일 실시예에 따른 물체 인식 장치는 해당 물체를 초점이 맞지 않은 물체를 제거함으로써, 선명한 물체의 이미지를 제공하는 효과를 제공한다. 도 11a 및 도 11b를 참조하면, 핀홀 배열 또는 렌즈 배열과 물체와의 거리가 30mm인 마크과 45mm인 마크에 대한 깊이 별 평면 복원 영상에 대한 상관도가 본 발명의 일 실시예에 따른 평면 복원 영상이 깊이 30mm 및 깊이 45mm에서 급격히 증가하는 모습을 보인다. 즉, 본 발명의 일 실시예에 따른 물체 인식 방법은 일반적인 평면 복원 방법에 비해 정확한 물체의 깊이를 산출할 수 있다.
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되 어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 물체 인식 장치를 예시한 도면.
도 2a는 본 발명의 일 실시예에 따른 픽업 과정을 예시한 도면.
도 2b는 본 발명의 일 실시예에 따른 복원 과정을 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 컴퓨터적 집적 영상 복원 방식을 예시한 개념도.
도 4는 본 발명의 일 실시예에 따른 물체 인식 장치가 각 요소 영상의 깊이를 검출하는 방법을 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 광학적 픽업 및 컴퓨터 픽업 과정을 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 분류부가 참조 영상을 깊이 맵을 참조하여 분류하는 과정을 예시한 도면.
도 7a는 본 발명의 일 실시예에 따른 요소 영상을 단위로 산출된 대표 상관도를 깊이에 따라 나타낸 그래프.
도 7b는 본 발명의 다른 실시예에 따른 요소 영상을 2x2로 분할한 크기의 블록을 단위로 산출된 대표 상관도를 깊이에 따라 나타낸 그래프.
도 8은 본 발명의 일 실시예에 따른 물체 인식 장치의 깊이를 검출하는 과정을 예시한 순서도.
도 9는 본 발명의 일 실시예에 따른 물체 인식 장치의 효과를 설명하기 위한 도면.
도 10a는 일반 집적 영상을 복원한 평면 복원 영상을 예시한 도면.
도 10b는 본 발명의 일 실시예에 따른 분류 집적 영상을 복원한 평면 복원 영상을 예시한 도면.
도 11a 및 도 11b는 본 발명의 일 실시예에 따른 평면 복원 영상과 일반 집적 영상을 복원한 평면 복원 영상의 상관도를 예시한 그래프.

Claims (15)

  1. 물체를 인식하여 3차원 영상으로 복원하는 물체 인식 장치에 있어서,
    물체를 촬영하여 참조 영상을 생성하는 제1 픽업부;
    상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 복원부;
    상기 평면 복원 영상을 픽업하여 대상 영상을 생성하는 제2 픽업부;
    상기 참조 영상과 상기 대상 영상의 단위 블록 간의 상관도를 산출하는 상관도 산출부;
    상기 참조 영상의 단위 블록에 상응하는 상기 상관도 중 최대인 상관도에 상응하는 깊이를 상기 참조 영상의 단위 블록에 상응하는 깊이로 검출하는 깊이 검출부; 및
    상기 참조 영상의 단위 블록을 깊이 별로 분류하고, 분류된 상기 참조 영상의 단위 블록을 포함하는 깊이 별 분류 집적 영상을 생성하는 분류부를 포함하고,
    상기 분류 집적 영상을 깊이 별로 배열하여 상기 물체에 대한 3차원 영상을 생성하는, 물체 인식 장치.
  2. 제 1항에 있어서,
    렌즈 배열 또는 핀홀 배열을 포함하는 렌즈부를 더 포함하고,
    상기 제1 픽업부는 상기 렌즈부를 통해 상기 물체를 촬영하여 상기 집적 영상을 생성하는 것을 특징으로 하는 물체 인식 장치.
  3. 삭제
  4. 제 1항에 있어서,
    상기 제2 픽업부는 상기 평면 복원 영상을 대상으로 하여 컴퓨터적 픽업 방식을 통해 상기 대상 영상을 생성하는 것을 특징으로 하는 물체 인식 장치.
  5. 제 1항에 있어서,
    상기 상관도 산출부는 상기 참조 영상 및 상기 대상 영상에서 동일한 위치의 상기단위 블록 간의 상관도를 산출하는 것을 특징으로 하는 물체 인식 장치.
  6. 제 1항에 있어서,
    상기 상관도 산출부는 상기 참조 영상에 상응하는 상기 단위 블록에 포함된 픽셀들을 상기 대상 영상에 상응하는 상기 단위 블록에 포함된 픽셀과 비교하여 상관도를 산출하고, 상기 픽셀에 상응하는 상관도들의 평균값을 상기 단위 블록 간의 상관도로 산출하는 것을 특징으로 하는 물체 인식 장치.
  7. 제 1항에 있어서,
    상기 분류 집적 영상의 상기 단위 블록이 배치된 영역 이외의 영역에는 정해진 단색으로 이루어진 참조 영상이 위치하는 것을 특징으로 하는 물체 인식 장치.
  8. 제 1항에 있어서,
    상기 복원부는 상기 분류 집적 영상을 복원하여 평면 복원 영상으로 생성하되,
    상기 분류 집적 영상에 상응하는 깊이의 평면 복원 영상만을 생성하는 것을 특징으로 하는 물체 인식 장치.
  9. 물체 인식 장치를 이용하여 물체를 인식하고 3차원 영상으로 복원하는 물체 인식 방법에 있어서,
    물체를 촬영하여 참조 영상을 생성하는 단계;
    상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 단계;
    상기 평면 복원 영상을 픽업하여 대상 영상을 생성하는 단계;
    상기 참조 영상과 상기 대상 영상의 단위 블록 간의 상관도를 산출하는 단계;
    상기 참조 영상의 단위 블록에 상응하는 상기 상관도 중 최대인 상관도에 상응하는 깊이를 상기 참조 영상의 단위 블록에 상응하는 깊이로 검출하는 단계; 및
    상기 참조 영상의 단위 블록을 깊이 별로 분류하고, 분류된 상기 참조 영상의 단위 블록을 포함하는 깊이 별분류 집적 영상을 생성하는 단계를 포함하고,
    상기 분류 집적 영상을 깊이 별로 배열하여 상기 물체에 대한 3차원 영상을 생성하는, 물체 인식 방법.
  10. 제 9항에 있어서,
    상기 참조 영상을 생성하는 단계는 렌즈 배열 또는 핀홀 배열을 통해 상기 물체를 촬영하여 상기 참조 영상을 생성하는 단계인 것을 특징으로 하는 물체 인식 방법.
  11. 제 9항에 있어서,
    상기 대상 영상을 생성하는 단계는 상기 평면 복원 영상을 대상으로 하여 컴퓨터적 픽업 방식을 통해 상기 대상 영상을 생성하는 단계인 것을 특징으로 하는 물체 인식 방법.
  12. 제 9항에 있어서,
    상기 상관도를 산출하는 단계는 상기 참조 영상 및 상기 대상 영상에서 동일한 위치의 상기 단위 블록 간의 상관도를 산출하는 단계인 것을 특징으로 하는 물체 인식 방법.
  13. 제 12항에 있어서,
    상기 상관도를 산출하는 단계는 상기 참조 영상에 상응하는 상기 단위 블록에 포함된 픽셀들을 상기 대상 영상에 상응하는 상기 단위 블록에 포함된 픽셀과 비교하여 상관도를 산출하고, 상기 픽셀에 상응하는 상관도들의 평균값을 상기 단위 블록 간의 상관도로 산출하는 단계인 것을 특징으로 하는 물체 인식 방법.
  14. 제 9 항에 있어서,
    상기 분류 집적 영상의 상기 단위 블록이 배치된 영역 이외의 영역에는 정해진 단색으로 이루어진 참조 영상이 위치하는 것을 특징으로 하는 물체 인식 방법.
  15. 제 9항에 있어서,
    상기 평면 복원 영상을 생성하는 단계는 상기 분류 집적 영상을 복원한 평면 복원 영상을 생성하되,
    상기 분류 집적 영상에 상응하는 깊이의 평면 복원 영상만을 생성하는 것을 특징으로 하는 물체 인식 방법.
KR1020090115232A 2009-11-26 2009-11-26 물체 인식 방법 및 장치 KR101104296B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090115232A KR101104296B1 (ko) 2009-11-26 2009-11-26 물체 인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090115232A KR101104296B1 (ko) 2009-11-26 2009-11-26 물체 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110058437A KR20110058437A (ko) 2011-06-01
KR101104296B1 true KR101104296B1 (ko) 2012-01-11

Family

ID=44393936

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090115232A KR101104296B1 (ko) 2009-11-26 2009-11-26 물체 인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101104296B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160121707A (ko) * 2015-04-10 2016-10-20 충북대학교 산학협력단 집적영상 현미경 장치 및 심도범위 개선 방법
KR101874778B1 (ko) * 2017-05-01 2018-08-02 (주)휴러스트 3차원 입체 영상 기반의 연속 줌 및 연속 배율 전환을 지원하는 의료용 현미경 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102321138B1 (ko) * 2020-08-28 2021-11-04 (주)씽킹메이킹 블록 인식장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080102785A (ko) * 2007-05-22 2008-11-26 광운대학교 산학협력단 3차원 집적 영상 복원 방식의 위치 검출 방법 및 장치
KR20090023752A (ko) * 2007-09-03 2009-03-06 동서대학교산학협력단 원형매핑을 사용하는 부피형 3차원 영상 재생 장치
KR100927236B1 (ko) 2007-07-30 2009-11-16 광운대학교 산학협력단 영상 복원 방법, 영상 복원 장치 및 영상 복원 방법을 실행하는 프로그램이 기록된 컴퓨터에서 판독될 수 있는 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080102785A (ko) * 2007-05-22 2008-11-26 광운대학교 산학협력단 3차원 집적 영상 복원 방식의 위치 검출 방법 및 장치
KR100927236B1 (ko) 2007-07-30 2009-11-16 광운대학교 산학협력단 영상 복원 방법, 영상 복원 장치 및 영상 복원 방법을 실행하는 프로그램이 기록된 컴퓨터에서 판독될 수 있는 기록매체
KR20090023752A (ko) * 2007-09-03 2009-03-06 동서대학교산학협력단 원형매핑을 사용하는 부피형 3차원 영상 재생 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160121707A (ko) * 2015-04-10 2016-10-20 충북대학교 산학협력단 집적영상 현미경 장치 및 심도범위 개선 방법
KR101715470B1 (ko) * 2015-04-10 2017-03-14 충북대학교 산학협력단 집적영상 현미경 장치 및 심도범위 개선 방법
KR101874778B1 (ko) * 2017-05-01 2018-08-02 (주)휴러스트 3차원 입체 영상 기반의 연속 줌 및 연속 배율 전환을 지원하는 의료용 현미경 시스템

Also Published As

Publication number Publication date
KR20110058437A (ko) 2011-06-01

Similar Documents

Publication Publication Date Title
JP7250709B2 (ja) 畳み込み画像変換を使用して同時位置特定およびマッピングを実施する方法およびシステム
CN109376667B (zh) 目标检测方法、装置及电子设备
US9619933B2 (en) Model and sizing information from smartphone acquired image sequences
US10311595B2 (en) Image processing device and its control method, imaging apparatus, and storage medium
JP2011505610A (ja) 画像センサデータに距離センサデータをマッピングする方法及び装置
CN106993112A (zh) 基于景深的背景虚化方法及装置和电子装置
TW201118791A (en) System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
JP5977591B2 (ja) 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
KR102169309B1 (ko) 정보 처리장치 및 그 제어방법
KR100891161B1 (ko) 3차원 집적 영상 복원 방식의 위치 검출 방법 및 장치
CN108876835A (zh) 深度信息检测方法、装置和系统及存储介质
US20210295467A1 (en) Method for merging multiple images and post-processing of panorama
CN109447902B (zh) 一种图像拼接方法、装置、储存介质及设备
CN107992073A (zh) 无人机定点飞行方法、无人机定点飞行装置和无人机
CN112102141B (zh) 水印的检测方法、装置、存储介质以及电子设备
US11361455B2 (en) Systems and methods for facilitating the identifying of correspondences between images experiencing motion blur
KR101104296B1 (ko) 물체 인식 방법 및 장치
JP2018195070A (ja) 情報処理装置、情報処理方法、及びプログラム
KR101995466B1 (ko) 특징점을 이용한 스테레오 카메라의 이미지 매칭 방법 및 장치
JP6409769B2 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
KR101100784B1 (ko) 물체 인식 방법 및 장치
KR101088722B1 (ko) 물체의 깊이 검출 방법 및 장치
KR20090012998A (ko) 깊이 정보를 이용한 집적 영상 복원 방법 및 장치
JP6080424B2 (ja) 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置
US11302073B2 (en) Method for texturing a 3D model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141121

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190104

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 9