KR101100784B1 - 물체 인식 방법 및 장치 - Google Patents

물체 인식 방법 및 장치 Download PDF

Info

Publication number
KR101100784B1
KR101100784B1 KR1020090108102A KR20090108102A KR101100784B1 KR 101100784 B1 KR101100784 B1 KR 101100784B1 KR 1020090108102 A KR1020090108102 A KR 1020090108102A KR 20090108102 A KR20090108102 A KR 20090108102A KR 101100784 B1 KR101100784 B1 KR 101100784B1
Authority
KR
South Korea
Prior art keywords
image
correlation
reference image
reconstructed
planar
Prior art date
Application number
KR1020090108102A
Other languages
English (en)
Other versions
KR20110051494A (ko
Inventor
김은수
김승철
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020090108102A priority Critical patent/KR101100784B1/ko
Publication of KR20110051494A publication Critical patent/KR20110051494A/ko
Application granted granted Critical
Publication of KR101100784B1 publication Critical patent/KR101100784B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시예는 대상 영상 및 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하고, 대상 영상과 참조 영상의 깊이가 동일한 평면 복원 영상 간의 상관도를 산출하고, 상관도에 상응하는 평면 복원 영상 상의 좌표 및 깊이를 상기 물체의 3차원 좌표로 산출한다. 본 발명의 일 실시예에 따르면, 3차원 영상에 포함된 물체의 3차원 좌표를 제공할 수 있다
물체 인식, 참조 영상, 3차원.

Description

물체 인식 방법 및 장치{Method and apparatus for recognizing object }
본 발명은 물체 인식 방법 및 장치에 관한 것으로, 특히 3차원 참조 영상을 이용한 물체 인식 방법 및 장치에 관한 것이다.
최근 3차원 물체 인식에 관한 연구 및 시스템 구현에 대해 많은 연구가 진행되고 있다. 특히 3차원 물체 인식을 위해 3차원 영상을 기록하고 복원할 수 있는 집적영상 기술이 도입되고 있다.
집적영상 기술은 픽업과 복원 과정을 포함한다. 픽업 과정은 3차원 물체에 대한 렌즈 배열을 통하여 요소 영상 배열(EIA : Elemantal Image Array)의 형태인 집적 영상으로 저장하는 단계이다.
복원 과정은 요소 영상 배열을 디스플레이하고, 다시 렌즈 배열을 통과시켜 원래의 위치에 3차원 영상을 복원하는 단계이다.
복원 과정을 거친 3차원 영상은 깊이 별 평면 영상으로 표현할 수 있다. 이 때, 종래 물체 인식 방법은 각 평면 영상들과 특정 물체를 나타내는 2차원 참조 영 상 간의 코릴레이션을 이용하여 3차원 영상에 포함된 참조 영상이 나타내는 물체를 인식한다.
하지만, 깊이 별 평면 영상은 초점 상에 위치하는 물체의 영역만이 선명하게 표현되고 이 외의 영역은 흐려진 이미지가 표현된다. 따라서, 전체적으로 선명한 2차원 참조 영상과 깊이 별 평면 영상간의 코릴레이션은 물체 인식을 위한 정확한 기준이 될 수 없는 문제가 있다. 또한 2차원 참조 영상과 깊이 별 평면 영상간의 코릴레이션은 물체의 깊이만을 인식할 수 있다.
본 발명이 해결하고자 하는 과제는 3차원 참조 영상과 깊이 별 평면 영상의 코릴레이션을 이용하여 정확한 물체의 3차원 위치를 제공하는 것이다.
본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 물체를 포함하는 환경을 촬영하여 대상 영상을 생성하는 픽업부; 상기 물체에 상응하는 참조 영상을 저장하는 저장부; 상기 대상 영상 및 상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 복원부; 상기 대상 영상의 평면 복원 영상과 동일한 깊이에서 복원된 상기 참조 영상의 평 면 복원 영상 간의 상관도를 산출하는 상관도 산출부; 및 상기 참조 영상의 각 평면 복원 영상 상응하는 대표 상관도를 산출하고, 상기 대표 상관도 중 최대값에 상응하는 상기 평면 복원 영상 상의 좌표 및 깊이를 상기 물체의 3차원 좌표로 산출하는 위치 산출부를 포함하는 물체 인식 장치가 제공된다.
본 발명의 다른 측면에 따르면, 물체에 상응하는 참조 영상을 저장하는 물체 인식 장치가 상기 물체를 인식하는 방법에 있어서,
상기 물체를 포함하는 환경을 촬영하여 집적 영상을 생성하는 단계;
상기 집적 영상 및 상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 단계;
상기 대상 영상의 평면 복원 영상과 동일한 깊이에서 복원된 상기 참조 영상의 평면 복원 영상 간의 상관도를 산출하는 단계; 상기 참조 영상의 각 평명 복원 영상에 상응하는 대표 상관도를 산출하는 단계; 및 상기 대표 상관도 중 최대값에 상응하는 평면 복원 영상 상의 좌표 및 깊이를 상기 물체의 3차원 좌표로 산출하는 단계를 포함하는 물체 인식 방법이 제공된다.
본 발명의 일 실시예는 3차원 영상에 포함된 물체의 3차원 좌표를 제공할 수 있다.
본 발명의 일 실시예는 3차원 영상에 포함된 물체를 인식하는 기능을 제공할 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않 는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 물체 인식 장치를 예시한 도면이다.
도 1을 참조하면, 물체 인식 장치는 렌즈부(110), 픽업부(130), 저장부(140), 복원부(150), 상관도 산출부(160) 및 위치 검출부(170)를 포함한다.
렌즈부(110)는 집적 영상의 촬상 및 디스플레이를 위한 복수의 렌즈 또는 핀홀로 구성된 배열을 포함한다.
픽업부(130)는 렌즈부(110)를 투과하여 투사된 빛을 감지하여 영상 데이터를 생성한다. 즉, 픽업부(130)는 렌즈부(110)를 투과하여 투사된 빛을 감지하여 복수의 요소 영상(Elemental Image)를 포함하는 집적 영상인 대상 영상을 생성한다. 픽업부(130)는 CCD 또는 CMOS를 포함할 수 있다.
저장부(140)는 픽업부(130)에서 생성한 대상 영상을 저장한다. 또한, 저장부(140)는 인식할 물체에 대한 참조 영상을 대상 영상과 별도로 저장한다. 이 때, 참조 영상은 특정 물체를 포함하는 집적 영상이다. 예를 들어, 저장부(140)는 특정 기종의 차량에 대한 참조 영상을 미리 저장한다.
복원부(150)는 저장부(140)에 저장된 대상 영상 및 참조 영상에 상응하는 깊이 별 평면 복원 영상(Plane Object Image)를 생성한다. 즉, 복원부(150)는 저장부(140)에 저장된 대상 영상 및 참조 영상을 복원하여 깊이 방향의 각 거리에 상응하는 평면 복원 영상을 생성한다.
상관도 산출부(160)는 복원부(150)로부터 대상 영상 및 참조 영상이 복원된 평면 복원 영상을 수신한다. 이하, 대상 영상이 복원된 평면 복원 영상을 대상 복원 영상이라 하고, 참조 영상이 복원된 평면 복원 영상을 참조 복원 영상이라 지칭하도록 한다.
상관도 산출부(160)는 동일한 깊이의 대상 복원 영상과 참조 복원 영상을 매칭시킨다. 이후, 상관도 산출부(160)는 매칭된 대상 복원 영상과 참조 복원 영상간의 상관도를 산출한다. 상관도는 대상 복원 영상과 참조 복원 영상 간의 관계를 나타내는 수치이다. 본 실시예에서는 상관도를 NCC( Normalized Cross-Correlation)인 것으로 하여 설명하도록 하지만, 상관도가 NCC 이외의 다른 코릴레이션 방식으로 산출될 수 있음은 당업자에게 자명하다.
상관도 산출부(160)는 대상 복원 영상과 참조 복원 영상 간의 상관도를 하기 수학식 1의 NCC 산출 공식을 통해 산출할 수 있다.
[수학식 1]
Figure 112009068995088-pat00001
이 때, S는 대상 복원 영상에 포함된 특정 픽셀의 값이고, T는 참조 복원 영상에 포함된 특정 픽셀의 값이고, S와 T는 동일 좌표에 위치한 픽셀의 값이고, NCC(S, T)는 대상 복원 영상 및 참조 복원 영상의 픽셀 간의 상관도이고, E(T)는 T가 포함된 참조 복원 영상에 포함된 픽셀의 값들의 평균이고, E(S)는 S가 포함된 참조 복원 영상에 포함된 픽셀의 값들의 평균이다.
즉, 상관도 산출부(160)는 수학식 1을 이용하여 깊이 별 대상 복원 영상과 참조 복원 영상에 포함된 동일 좌표의 픽셀 간의 상관도를 산출한다. 상관도 산출부(160)는 산출한 상관도를 위치 검출부(170)로 전송한다.
위치 검출부(170)는 상관도 산출부(160)로부터 수신한 상관도를 분석하여 물체의 위치를 검출한다. 즉, 위치 검출부(170)는 깊이 별 대상 복원 영상과 참조 복원 영상의 상관도 중 평균값(이하 대표 상관도라 지칭)을 산출하고, 깊이 별 대표 상관도 중 최대값을 가지는 대표 상관도에 상응하는 깊이를 물체의 깊이로 검출한다. 이어서, 위치 검출부(170)는 검출된 깊이에 상응하는 대상 복원 영상과 참조 복원 영상의 각 픽셀 중 대표 상관도에 상응하는 픽셀의 좌표를 물체의 평면 좌표로 검출한다. 즉, 위치 검출부(170)는 검출된 깊이, 평면 좌표를 이용하여 물체의 3차원 좌표를 검출할 수 있다.
도 2a는 본 발명의 일 실시예에 따른 픽업 과정을 예시한 도면이고, 도 2b는 본 발명의 일 실시예에 따른 복원 과정을 예시한 도면이다.
도 2a를 참조하면, 3차원 물체로부터 반사된 빛이 렌즈부(110)를 통해 픽업 부(120)로 투사되고, 픽업부(120)는 투사된 빛을 CCD 또는 CMOS 등의 센서를 통해 감지하여 디지털 영상을 생성한다. 픽업부(120)가 생성한 영상은 복수의 요소 영상을 포함하는 집적 영상으로 렌즈부(110)를 통해 역투사될 경우, 입체 영상이 디스플레이될 수 있다.
도 2b를 참조하면, 픽업부(120)를 통해 픽업된 영상을 디스플레이 패널(dispaly panel)과 같은 디스플레이 장치를 통해 렌즈부(110)로 집적 영상을 투사하면, 렌즈부(110)의 전면에 입체 영상이 디스플레이될 수 있다.
집적 영상을 복원하는 방법으로는 광학적 집적 영상 복원 방식(OIIR : Optical Integral Imaging Reconstruction) 또는 컴퓨터적 집적 영상 복원 방식(CIIR : Computational Integral Imaging Reconstruction)이 있다.
도 2b에 예시된 복원 방식은 광학적 집적 영상 복원 방식이다. 광학적 집적 영상 복원 방식은 회절과 수차 등과 같은 광학적 장치의 물리적인 제한에 의해 야기되는 요소 영상들 간의 불충분한 오버랩과 디스플레이된 3차원 영상의 저하된 화질로 인해 저해상도의 3차원 영상이 디스플레이되는 등의 문제점이 있다. 이러한 결점을 보완하기 위해 기하광학의 디지털 시뮬레이션을 통해 컴퓨터로 3차원 영상을 복원하는 컴퓨터적 집적 영상 복원 방식이 복원 방식으로 사용된다. 이하 컴퓨터적 집적 영상 복원 방식을 도 3을 참조하여 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 컴퓨터적 집적 영상 복원 방식을 예시한 개념도이다.
도 3을 참조하면, 복원부(150)는 핀홀 배열을 통하여 복원 평면으로 집적 영상을 투사한다. 이 때, 핀홀 배열 대신 렌즈 배열을 이용하여 집적 영상을 복원 평면으로 투사할 수 있음은 자명하다. 도 3에 예시된 바와 같이, 복원부(150)는 핀홀 어레이로부터 z만큼 떨어진 복원 평면에 투사된 각 요소 영상 간의 일부가 중첩되어 평면 복원 영상(POI)를 생성한다. 이 때, 복원부(150)는 z를 변경하여 복수의 평면 복원 영상을 생성할 수 있다. 즉, 복원부(150)는 복수의 깊이 별 평면 복원 영상을 생성할 수 있다.
복원부(150)는 상술한 과정을 기하광학에 따른 디지털 시뮬레이션을 통해, 핀홀 배열 또는 렌즈 배열을 이용하지 않고 깊이 별 평면 복원 영상을 생성하는 컴퓨터적 집적 영상 복원 방식으로 집적 영상을 복원할 수 있다.
도 4는 본 발명의 일 실시예에 따른 깊이 별 복원된 평면 복원 영상을 예시한 도면이다.
도 4를 참조하면, 3가지 차량의 평면 영상을 상이한 거리에 배치하고, 이에 대한 대상 영상(410)을 렌즈부(110)를 통해 픽업부(130)가 생성한다.
복원부(150)는 대상 영상(410)을 깊이 별 평면 복원 영상(420)을 생성한다. 즉, 도 3의 z값 변동에 따른 복원 평면 영상을 생성한다.
도 4의 420은 렌즈 배열에서 대상 물체까지의 거리인 z가 특정 실수 g의 배수인 평면 복원 영상을 예시한 것이다. z의 변화에 따라 깊이가 다르게 배치된 대상 물체(Car1, Car2, Car3) 중 선명해지는 물체가 달라진다. 예를 들어, z가 짧을 수록 가까운 대상 물체가 선명해진다.
물론, 복원부(150)는 대상 영상(410)뿐만 아니라 참조 영상에 상응하는 깊이 별 평면 복원 영상을 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 깊이 별 대상 복원 영상과 참조 복원 영상의 산출 과정을 예시한 도면이다.
도 5를 참조하면, 픽업부(130)는 510과 같이 대상 물체들(말, 코끼리, 사슴)의 대상 영상을 생성한다. 이 때, 저장부(140)는 대상 물체 각각(말, 코끼리, 사슴)에 대한 참조 영상을 미리 저장할 수 있다. 또한 저장부(140)는 단일 대상 물체와 렌즈 배열간의 거리를 달리하여 촬영하여 생성한 참조 영상 각각을 저장할 수 있다. 도 5의 511, 512 및 513은 단일 대상 물체인 코끼리가 렌즈 배열과 거리를 달리 하여 촬영된 각 참조 영상이다. 이 때, 본 발명의 일 실시예에 따른 저장부(140)는 복수의 물체에 대한 참조 영상을 저장할 수 있음은 자명하다.
복원부(150)는 520과 같이 깊이 별 대상 복원 영상과 각 참조 영상에 대한 참조 복원 영상을 생성한다. 즉, 복원부(150)는 대상 영상을 복원하여 깊이 별 대상 복원 영상을 생성한다. 도 5의 512, 525 및 526은 깊이 별 대상 복원 영상이다.
또한 복원부(150)는 각 물체(말, 코끼리, 사슴)에 상응하는 참조 영상을 복원하여 참조 복원 영상을 생성한다. 이 때, 복원부(150)가 생성한 참조 복원 영상은 저장부(140)에 저장할 수 있다. 즉, 복원부(150)는 참조 영상 511을 복원하여 참조 복원 영상 522, 527 및 528을 생성한다. 이 때, 522, 527 및 528는 521,525 및 526과 복원된 깊이가 동일하다고 가정한다. 복원부(150)는 참조 영상 512 및 513에 대해서도 참조 영상 511과 같이 참조 복원 영상을 생성한다.
이어서, 상관도 산출부(160)는 대상 복원 영상 및 참조 복원 영상에 상응하는 상관도를 산출한다. 즉, 상관도 산출부(160)는 깊이 별 대상 복원 영상과, 깊이 및 물체 별 참조 복원 영상을 매칭하고, 매칭된 대상 복원 영상과 참조 복원 영상 간의 상관도를 산출한다. 예를 들어, 상관도 산출부(160)는 대상 복원 영상(521, 525, 526)과 참조 영상 511이 복원된 참조 복원 영상들(522, 527, 528)을 매칭하고, 매칭된 대상 복원 영상과 참조 복원 영상 간의 상관도(521과 522, 525과 527, 526과 528 간의 상관도)를 산출한다. 상관도 산출부(160)는 대상 복원 영상(521) 이외의 대상 복원 영상에 대하여 상술한 매칭 및 상관도 산출을 수행한다. 이 때, 산출된 상관도는 픽셀 별로 산출되기 때문에 3차원 그래프인 530과 같이 나타낼 수 있다.
상관도 산출부(160)는 매칭된 대상 복원 영상 및 참조 복원 영상에 상응하는 대표 상관도를 각각 추출하고, 추출된 대표 상관도 중 최대값을 검출한다. 예를 들어, 상관도 산출부(160)는 동일한 깊이에서 복원된 대상 복원 영상과 참조 복원 영상 간의 상관도를 각 참조 영상 별로 그룹화한다. 530은 참조 영상 별로 그룹화된 상관도를 그래프로 나타낸 것이다. 이어서 상관도 산출부(160)는 각 그룹의 동일 좌표에 상응하는 상관도의 평균을 산출한다. 예를 들어, 상관도 산출부(160)는 대상 복원 영상(521, 525, 526)과 참조 복원 영상들(522, 527, 528) 간의 상관도 중 동일 좌표의 픽셀에 상응하는 상관도의 평균을 산출한다. 이어서, 상관도 산출 부(160)는 각 그룹의 상관도의 평균 중 최대값인 대표 상관도를 검출한다. 즉, 상관도 산출부(160)는 각 참조 영상에 상응하는 상관도의 평균 중 최대값인 대표 상관도를 산출한다. 이어서 상관도 산출부(160)는 산출된 대표 상관도 중 최대값을 검출한다.
도 5의 꺾은 선 그래프 540는 각 참조 영상에 상응하는 각 참조 영상에 상응하는 대표 상관도를 나타낸 그래프이고, 3차원 그래프 550는 대표 상관도의 최대값에 상응하는 참조 영상의 상관도를 픽셀 별로 나타낸 그래프이다. 위치 검출부(170)는 대표 상관도의 최대값에 상응하는 참조 영상을 검출하고, 검출된 참조 영상의 대표 상관도를 갖는 픽셀의 좌표와 해당 참조 영상의 깊이를 물체의 위치로 검출한다. 예를 들어, 위치 검출부(170)는 코끼리에 대한 참조 영상에 상응하는 깊이를 물체의 깊이로 검출한다. 또한 위치 검출부(170)는 검출된 참조 영상의 대표 상관도를 갖는 픽셀의 좌표를 물체의 평면 좌표로 검출한다. 즉, 위치 검출부(170)는 그래프 550에서 상관도를 나타내는 축(예를 들어, y축)에서 최대인 점의 평면 좌표(예를 들어, x 및 z축의 좌표)를 물체의 평면 좌표로 검출한다. 따라서, 위치 검출부(170)는 산출된 평면 좌표와 깊이를 3차원 좌표로 하는 물체의 위치를 검출한다.
도 6은 본 발명의 일 실시예에 따른 물체 인식 장치가 물체 인식하는 과정을 예시한 도면이다.
도 6을 참조하면, 물체 인식 장치는 대상에 대한 요소 영상인 대상 영상을 생성한다(610).
물체 인식 장치는 대상 영상을 복원하여 깊이 별 대상 복원 영상을 생성한다(620).
물체 인식 장치는 깊이 별 대상 복원 영상 및 참조 복원 영상의 상관도를 산출한다(630). 즉, 물체 인식 장치는 깊이 별 대상 복원 영상과 특정 물체에 상응하는 참조 복원 영상을 매칭하고, 매칭된 영상간의 상관도를 산출한다. 상관도 산출 과정은 도 1을 참조하여 상관도 산출부(160)을 설명하면서 상술하였기 때문에, 그 설명을 생략하기로 한다.
물체 인식 장치는 각 대상 복원 영상 및 참조 복원 영상의 대표 상관도를 검출한다(640). 즉, 물체 인식 장치는 각 대상 복원 영상 및 참조 복원 영상의 대응하는 픽셀에 상응하는 상관도 중 최대값인 대표 상관도를 검출한다.
물체 인식 장치는 단계 640에서 검출된 대표 상관도 중 최대값을 검출한다(650). 즉, 물체 인식 장치는 깊이 별로 매칭된 대상 복원 영상 및 참조 복원 영상의 대표 상관도들을 비교하여, 대표 상관도 중 최대값인 최대 상관도를 검출한다.
물체 인식 장치는 단계 640에서 검출된 최대 상관도를 포함하는 픽셀의 평면 좌표를 검출한다(660). 이 때, 물체 인식 장치는 단계 640에서 검출된 평면 좌표와 단계 650에서 검출된 최대 상관도에 상응하는 깊이를 이용하여 3차원 좌표를 검출한다.
상술한 물체 인식 장치의 물체 인식 과정은 단일 참조 영상에 상응하는 물체 를 인식하는 것으로 설명하였으나, 물체 인식 장치는 도 5를 참조하여 상술한 바와 같이 복수의 물체의 각각에 상응하는 복수의 참조 영상으로 단계 610 내지 660의 과정을 독립적으로 수행할 수 있음은 당업자에게 자명하다. 즉, 본 발명의 일 실시예에 따른 물체 인식 장치는 대상 영상에 포함된 복수의 물체에 상응하는 각 참조 영상을 이용하여, 각 물체의 위치를 검출할 수 있다.
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 물체 인식 장치를 예시한 도면.
도 2a는 본 발명의 일 실시예에 따른 픽업 과정을 예시한 도면.
도 2b는 본 발명의 일 실시예에 따른 복원 과정을 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 컴퓨터적 집적 영상 복원 방식을 예시한 개념도.
도 4는 본 발명의 일 실시예에 따른 깊이 별로 복원된 평면 복원 영상을 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 깊이 별 대상 복원 영상과 참조 복원 영상의 산출 과정을 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 물체 인식 장치가 물체 인식하는 과정을 예시한 도면.

Claims (10)

  1. 물체를 인식하여 3차원 좌표를 계산하는 물체 인식 장치에 있어서,
    물체를 포함하는 환경을 촬영하여 대상 영상을 생성하는 픽업부;
    상기 물체에 상응하는 참조 영상을 저장하는 저장부;
    상기 대상 영상 및 상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 복원부;
    상기 대상 영상의 평면 복원 영상과 동일한 깊이에서 복원된 상기 참조 영상의 평면 복원 영상 간의 상관도를 산출하는 상관도 산출부;
    상기 참조 영상의 각 평면 복원 영상 상응하는 대표 상관도를 산출하고, 상기 대표 상관도 중 최대값에 상응하는 상기 참조 영상의 평면 복원 영상 상의 좌표 및 깊이를 상기 물체의 3차원 좌표로 산출하는 위치 검출부를 포함하는 물체 인식 장치.
  2. 제 1항에 있어서,
    상기 위치 검출부는 상기 참조 영상에 상응하는 상관도 중 동일 좌표에 상응하는 상관도들의 평균값을 상기 참조 영상의 각 좌표에 대해 산출하고,
    상기 평균값 중 최대값을 상기 대표 상관도로 산출하는 것을 특징으로 하는 물체 인식 장치.
  3. 제 1항에 있어서,
    상기 저장부는 상기 참조 영상을 복원한 깊이 별 평면 복원 영상을 더 저장하는 것을 특징으로 하는 물체 인식 장치.
  4. 제 1항에 있어서,
    상기 픽업부는 복수의 렌즈를 포함하는 렌즈 배열을 통해 상기 물체에 상응하는 빛을 감지하여 상기 대상 영상을 생성하는 것을 특징으로 하는 물체 인식 장치.
  5. 제 4항에 있어서,
    상기 저장부는 상기 물체와 상기 렌즈 배열과의 거리가 상이한 복수의 참조 영상을 저장하는 것을 특징으로 하는 물체 인식 장치.
  6. 물체 인식 장치를 이용하여 물체를 인식하고 3차원 좌표를 계산하는 물체 인식 방법에 있어서,
    상기 물체를 포함하는 환경을 촬영하여 대상 영상을 생성하는 단계;
    상기 대상 영상 및 상기 물체에 상응하는 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 단계;
    상기 대상 영상의 평면 복원 영상과 동일한 깊이에서 복원된 상기 참조 영상의 평면 복원 영상 간의 상관도를 산출하는 단계;
    상기 참조 영상의 각 평면 복원 영상에 상응하는 대표 상관도를 산출하는 단계; 및
    상기 대표 상관도 중 최대값에 상응하는 상기 참조 영상의 평면 복원 영상 상의 좌표 및 깊이를 상기 물체의 3차원 좌표로 산출하는 단계를 포함하는 물체 인식 방법.
  7. 제 6항에 있어서,
    상기 대표 상관도를 산출하는 단계는 상기 참조 영상에 상응하는 상관도 중 동일 좌표에 상응하는 상관도들의 평균값을 상기 참조 영상의 각 좌표에 대해 산출하고,
    상기 평균값 중 최대값을 상기 대표 상관도로 산출하는 단계인 것을 특징으로 하는 물체 인식 방법.
  8. 제 6항에 있어서,
    상기 물체 인식 장치는 상기 참조 영상을 복원한 깊이 별 평면 복원 영상을 더 저장하는 것을 특징으로 하는 물체 인식 방법.
  9. 제 6항에 있어서,
    상기 대상 영상을 생성하는 단계는 복수의 렌즈를 포함하는 렌즈 배열을 통해 상기 물체에 상응하는 빛을 감지하여 상기 대상 영상을 생성하는 것을 특징으로 하는 물체 인식 방법.
  10. 제 9항에 있어서,
    상기 참조 영상은 상기 물체와 상기 렌즈 배열과의 거리가 상이한 복수의 참조 영상인 것을 특징으로 하는 물체 인식 방법.
KR1020090108102A 2009-11-10 2009-11-10 물체 인식 방법 및 장치 KR101100784B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090108102A KR101100784B1 (ko) 2009-11-10 2009-11-10 물체 인식 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090108102A KR101100784B1 (ko) 2009-11-10 2009-11-10 물체 인식 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110051494A KR20110051494A (ko) 2011-05-18
KR101100784B1 true KR101100784B1 (ko) 2012-01-02

Family

ID=44361747

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090108102A KR101100784B1 (ko) 2009-11-10 2009-11-10 물체 인식 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101100784B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733798B2 (en) * 2013-03-14 2020-08-04 Qualcomm Incorporated In situ creation of planar natural feature targets
KR101639949B1 (ko) * 2015-06-05 2016-07-15 성균관대학교산학협력단 시각 피로도를 줄일 수 있는 입체 영상 후처리 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080102785A (ko) * 2007-05-22 2008-11-26 광운대학교 산학협력단 3차원 집적 영상 복원 방식의 위치 검출 방법 및 장치
KR20090012998A (ko) * 2007-07-30 2009-02-04 광운대학교 산학협력단 깊이 정보를 이용한 집적 영상 복원 방법 및 장치
KR20090012982A (ko) * 2007-07-30 2009-02-04 광운대학교 산학협력단 깊이 정보 생성 방법, 그 장치 및 그 방법을 실행하는프로그램이 기록된 기록매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080102785A (ko) * 2007-05-22 2008-11-26 광운대학교 산학협력단 3차원 집적 영상 복원 방식의 위치 검출 방법 및 장치
KR20090012998A (ko) * 2007-07-30 2009-02-04 광운대학교 산학협력단 깊이 정보를 이용한 집적 영상 복원 방법 및 장치
KR20090012982A (ko) * 2007-07-30 2009-02-04 광운대학교 산학협력단 깊이 정보 생성 방법, 그 장치 및 그 방법을 실행하는프로그램이 기록된 기록매체

Also Published As

Publication number Publication date
KR20110051494A (ko) 2011-05-18

Similar Documents

Publication Publication Date Title
CN108961327B (zh) 一种单目深度估计方法及其装置、设备和存储介质
US9619933B2 (en) Model and sizing information from smartphone acquired image sequences
Bonfort et al. General specular surface triangulation
JP6570327B2 (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
US20120242795A1 (en) Digital 3d camera using periodic illumination
KR100891161B1 (ko) 3차원 집적 영상 복원 방식의 위치 검출 방법 및 장치
JP5977591B2 (ja) 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体
US11348262B1 (en) Three-dimensional imaging with spatial and temporal coding for depth camera assembly
CN112184811B (zh) 单目空间结构光系统结构校准方法及装置
CN112700502A (zh) 双目相机系统和双目相机空间标定方法
CN112816967A (zh) 图像距离测量方法、装置、测距设备和可读存储介质
JP7184203B2 (ja) 画像処理装置、３次元計測システム、画像処理方法
JP6411188B2 (ja) ステレオマッチング装置とステレオマッチングプログラムとステレオマッチング方法
KR101100784B1 (ko) 물체 인식 방법 및 장치
CN110476043B (zh) 用于采集电磁场的波前的断层成像分布的方法和光学系统
KR102317836B1 (ko) 회절 격자를 이용한 3차원 이미지 재구성 방법 및 장치
JP2007304721A (ja) 画像処理装置及び画像処理方法
JP6409769B2 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
KR101104296B1 (ko) 물체 인식 방법 및 장치
JP2004126905A (ja) 画像処理装置
JP5727969B2 (ja) 位置推定装置、方法、及びプログラム
KR101088722B1 (ko) 물체의 깊이 검출 방법 및 장치
KR101121132B1 (ko) 집적 영상 복원 방법 및 장치
CN113269857A (zh) 坐标系关系获取方法及装置
JP6468755B2 (ja) 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141121

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151221

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161213

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171106

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191202

Year of fee payment: 9