KR20140001168A - Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치 - Google Patents

Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치 Download PDF

Info

Publication number
KR20140001168A
KR20140001168A KR1020130074403A KR20130074403A KR20140001168A KR 20140001168 A KR20140001168 A KR 20140001168A KR 1020130074403 A KR1020130074403 A KR 1020130074403A KR 20130074403 A KR20130074403 A KR 20130074403A KR 20140001168 A KR20140001168 A KR 20140001168A
Authority
KR
South Korea
Prior art keywords
image
depth
feature
vector
rgb
Prior art date
Application number
KR1020130074403A
Other languages
English (en)
Other versions
KR101478709B1 (ko
Inventor
우운택
박노영
장영균
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of KR20140001168A publication Critical patent/KR20140001168A/ko
Application granted granted Critical
Publication of KR101478709B1 publication Critical patent/KR101478709B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상의 픽셀별 깊이 영상 함수관계를 통해 픽셀별 위치에 기반한 깊이 그래디언트(gradient)를 생성하는 과정과, 생성된 상기 깊이 그래디언트에 기초하여 상기 깊이 영상의 소정 정점(vertex)을 기준으로 인접한 세 정점을 계산하는 과정과, 계산된 상기 세 정점을 사용하여 기설정된 벡터를 산출하고, 산출된 상기 벡터의 외적(cross-product)연산으로부터 정규화(normalized)된 표면 정규 벡터(surface normal vector)를 추출하는 과정과, 추출된 상기 표면 정규 벡터에 의해 구성된 해당 깊이 영상 벡터 정보를 이용하여 렌더링을 수행하여 3차원 벡터를 2차원 영상으로 영상화하는 과정과, SIFT(Scale Invariant Feature Transform) 알고리즘을 적용하여 상기 2차원 영상으로부터 특징 기술자(feature descriptor)를 산출하는 과정을 포함함을 특징으로 한다.

Description

RGB-D 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치{METHOD AND APPARATUS FOR EXTRACTING AND GENERATING FEATURE POINT AND FEATURE DESCRIPTOR RGB-D IMAGE}
본 발명은 RGB-D 영상센서로부터 얻어지는 깊이 영상(depth image) 기반의 영상 특징점(feature point) 및 특징 기술자(feature descriptor) 생성에 관한 것이다.
컴퓨터 비젼, 로보틱스, 증강현실 분야에서 3차원 공간 및 3차원 객체 검출 및 인식기술의 중용성이 대두되고 있다. 특히, 텍스처가 부족한(low-detailed texture) 대상이나 다양한 조명 조건의 변화(light change) 속에서도 객체의 검출 및 인식을 강건하게 하는 다양한 연구들이 진행되고 있다.
마이크로소프트사의 키넥트(Microsoft Kinect) 방식을 사용하는 영상 센서를 통하여 RGB 영상과 깊이 영상을 실시간 획득하는 것이 가능해짐으로 인하여 객체 검출, 추적 및 인식 연구에 많은 변화를 가져오고 있다[1, 2].
기존의 RGB 영상만을 사용할 경우, SIFT[3], SURF[4] 등의 다양한 특징점 검출 및 기술자 생성방법을 사용하여 표현할 수 있다.
하지만 텍스처가 부족한 경우나 조명변화가 극심한 경우에 RGB 영상에서의 특징점 추출 및 기술자의 매칭(matching)이 불가능하여 객체 인식률을 떨어뜨리는 주요한 요인으로 작용한다[5][6].
따라서 본 발명은 이와 같은 문제를 해결하기 위해 키넥트 방식의 영상센서를 사용하여 RGB 특징 기술자의 깊이 영상 기반의 특징 기술자를 동시에 사용하여 객체를 학습한 후, 영상 기반의 특징 기술자를 동시에 사용하여 객체를 학습한 후, 다양한 환경 변화에도 객체의 인식률을 높이는 방법을 제안하고자 한다.
본 발명의 일 견지에 따르면, 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상의 픽셀별 깊이 영상 함수관계를 통해 픽셀별 위치에 기반한 깊이 그래디언트(gradient)를 생성하는 과정과, 생성된 상기 깊이 그래디언트에 기초하여 상기 깊이 영상의 소정 정점(vertex)을 기준으로 인접한 세 정점을 계산하는 과정과, 계산된 상기 세 정점을 사용하여 기설정된 벡터를 산출하고, 산출된 상기 벡터의 외적(cross-product)연산으로부터 정규화(normalized)된 표면 정규 벡터(surface normal vector)를 추출하는 과정과, 추출된 상기 표면 정규 벡터에 의해 구성된 해당 깊이 영상 벡터 정보를 이용하여 렌더링을 수행하여 3차원 벡터를 2차원 영상으로 영상화하는 과정과, SIFT(Scale Invariant Feature Transform) 알고리즘을 적용하여 상기 2차원 영상으로부터 특징 기술자(feature descriptor)를 산출하는 과정을 포함함을 특징으로 한다.
본 발명의 다른 견지에 따르면, RGB-D 영상 특징점 추출 및 특징 기술자 생성 장치의 전반적인 동작을 제어하는 제어부의 제어 하에 3차원 영상의 픽셀별 깊이 영상 함수관계를 통해 픽셀별 위치에 기반한 깊이 그래디언트(gradient)를 생성하는 그래디언트 생성부와, 모드 전환을 통해 촬영부로부터 깊이 정보를 포함하는 3차원 영상 및 RGB 영상을 각각 획득하고, 상기 그래디언트 생서부로부터 생성된 깊이 그래디언트에 기초하여 상기 깊이 영상의 소정 정접(vertex)을 기준으로 인접한 세 정점을 계산하고, 상기 계산된 세 정점을 사용하여 기설정된 벡터를 산출하여 표면 정규 벡터로의 변환을 통해 생성된 영상으로부터 깊이 영상의 특징점 및 특징 기술자를 추출하는 제어부와, 상기 제어부로부터 산출된 벡터의 외적(cross-product)연산으로부터 정규화(normalized)된 표면 정규 벡터(surface normal vector)를 추출하는 표면 정규 벡터 추출부와, 상기 제어부의 제어 하에 상기 표면 정규 벡터에 의해 구성된 해당 깊이 영상 벡터 정보를 이용하여 랜더링을 수행하는 랜더링부를 포함함을 특징으로 한다.
본 발명은 카메라의 회전 및 이동 변화, 텍스쳐가 부족한 대상이나 다양한 조명 조건의 변화 속에서도 객체의 검출 및 인식을 강건하게 하는 효과가 있다.
도 1은 본 발명의 일 실시 예에 따른 RGB-D 영상 특징점 추출 및 특징 기술자 생성 방법에 관한 전체 흐름도.
도 2는 본 발명의 일 실시 예에 따른 RGB-D 영상 특징점 추출 및 특징 기술자 생성에 관한 화면 예시도.
도 3은 본 발명의 일 실시 예에 따른 RGB-D 영상 특징점 추출 및 특징 기술자 생성 방법이 적용된 표면 정규 벡터 메쉬 랜더링 결과 및 그레이 스케일 변환 결과를 보인 화면 예시도.
도 4는 본 발명의 일 실시 예에 따른 RGB-D 영상 특징점 추출 및 특징 기술자 생성 방법이 적용된 테스트 환경.
도 5는 본 발명의 일 실시 예에 따른 RGB-D 영상 특징점 추출 및 특징 기술자 생성 장치에 관한 블록도.
도 6은 본 발명의 일 실시 예에 따른 RGB-D 영상 특징점 추출 및 특징 기술자 생성 방법에서 검출 방법에 따른 객체 별 인식률을 보인 그래프.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
본 발명은 마이크로소프트사의 키넥트(Microsoft Kinect) 방식의 RGB-D 영상센서로부터 얻어지는 깊이 영상(depth image) 기반의 영상 특징점(feature point) 및 특징 기술자(feature descriptor) 생성에 관한 것으로, 더욱 상세하게는 획득된 깊이 영상으로부터 3차원 객체의 기하정보를 표현하는 표면 정규 벡터(Surface Normal Vector)를 추출하여 그 결과를 영상화함으로써 텍스쳐 유무, 카메라 회전 및 이동 변화 등의 환경변화에 강건한 3차원 객체 인식 성능을 향상 가능한 기술을 제공하고자 한다.
이하, 본 발명의 일 실시 예에 따른 RGB-D 영상 특징점 추출 및 특징 기술자 생성 방법에 대해 도 1 및 도 4를 참조하여 자세히 살펴보기로 한다.
우선, 도 1은 본 발명의 일 실시 예에 따른 RGB-D 영상 특징점 추출 및 특징 기술자 생성 방법에 관한 전체 흐름도이다.
도 1을 참조하면, 먼저 110 과정에서 제어부의 제어 하에 설정된 설정 모드별 영상을 획득한다. 상기 설정 모드는 깊이 정보가 포함된 3차원 영상 및 RGB 영상 획득 모드로 구분된다.
112 과정에서는 획득된 영상이 3차원 영상인지의 여부를 체크하여 3차원 영상인 경우, 116 과정으로 이동하여 해당 3차원 영상의 픽셀별 깊이 영상 함수관계를 통해 픽셀별 위치에 기반한 깊이 그래디언트(gradient)를 생성한다.
더욱 상세하게는, 상기 3차원 영상의 픽셀 위치 x에 대한 깊이 영상 함수 D(x)는 하기 수학식 같은 형태이다.
Figure pat00001
이를 통해 깊이 영상의 픽셀 위치 x를 기준으로 임의의 오프셋(offset) dx는
Figure pat00002
로 나타낼 수 있으며, 상기 그래디언트
Figure pat00003
의 최소 제곱법(least-square)으로부터 추정 가능하다.
120 과정에서는 116 과정의 동작으로 생성된 상기 깊이 그래디언트에 기초하여 상기 깊이 영상의 소정 정점(vertex)을 기준으로 인접한 세 정점을 계산하고, 122 과정에서는 상기 계산된 세 정점을 이용하여 기설정된 벡터를 산출한다.
124 과정에서는 산출된 상기 벡터의 외적(cross-product)연산으로부터 정규화(normalized)된 표면 정규 벡터(surface normal vector)를 추출한다.
본 발명에 따르면 깊이 카메라의 상태 변화에도 대상 객체의 3차원 표면정보를 3차원 벡터로 일정하게 표현하는 표면 정규 벡터 변환 방식을 사용하며, 이는 깊이 영상으로부터 3차원 기하정보를 표현하는 영상 특징을 정의하기 위해서는 깊이 영상을 카메라의 회전(rotation), 이동(translation), 어파인(affine) 변화에도 일정한 형태를 유지 할 수 있는 영상 변환이 필요하기 때문이다.
즉, 3차원 공간에 존재하는 인접한 세 개의 정점
Figure pat00004
,
Figure pat00005
,
Figure pat00006
는 각각 하기의 수학식과 같이 표현될 수 있다.
Figure pat00007
이때
Figure pat00008
는 깊이 센서 카메라의 주점(principal point)으로부터 픽셀 위치 X를 지나 3차원 포인트인 X로 향하는 벡터를 나타내므로 하기의 수학식을 이용하여 깊이센서 카메라의 내부 파라미터(internal parameter) K를 통해 계산될 수 있다.
Figure pat00009
이와 같이 계산된 3차원 공간의 세 개의 포인트
Figure pat00010
,
Figure pat00011
,
Figure pat00012
를 사용하여, 정점
Figure pat00013
로부터 시작하는 두 개의 벡터
Figure pat00014
-
Figure pat00015
및
Figure pat00016
-
Figure pat00017
로 표현할 수 있고, 이 두 벡터의 외적(cross-product) 연산으로부터 정규화(normalized)된 표면 정규 벡터의 추출이 가능하다.
여기서, 도 2을 참조하면 도 2는 본 발명의 일 실시 예에 따른 RGB-D 영상 특징점 추출 및 특징 기술자 생성에 관한 화면 예시도로서, 도 2의 상단은 깊이 영상 기반 그래디언트 가시화 결과를 보인 예시도이고, 도 2의 하단은 깊이 영상 기반 표면 정규 벡터 가시와 결과를 보인 화면 예시도이다.
계속해서 126 과정에서는 깊이 영상의 한 정점
Figure pat00018
을 기준으로 반시계 방향(CCW)으로 인접한 세 정점
Figure pat00019
,
Figure pat00020
,
Figure pat00021
를 연결하는 하나의 폴리곤 메쉬(polygon mesh)를 랜더링한다.
이 과정에서 생성되는 폴리곤 메쉬의 법선벡터의 방향은 각 4개의 정점의 표면 정규 벡터
Figure pat00022
,
Figure pat00023
,
Figure pat00024
,
Figure pat00025
의 평균값으로 지정한다.
이러한 126 과정의 동작을 통해 x. y, z 방향의 3차원 벡터를 2차원 영상으로 영상화한다.
여기서, 도 3을 참조하면, 도 3은 본 발명의 일 실시 예에 따른 RGB-D 영상 특징점 추출 및 특징 기술자 생성 방법이 적용된 화면 예시도서, 도 3의 왼쪽에는 표면 정규 벡터 메쉬 랜더링 결과이고, 오른쪽에는 그레이 스케일 변환 결과가 도시된 화면 예시도이다.
128 과정에서는 SIFT(Scale Invariant Feature Transform) 알고리즘을 적용하고, 130 과정에서 상기 2차원 영상으로부터 특징 기술자(feature descriptor)를 산출한다.
한편, 112 과정에의 3차원 영상 여부 체크 결과, 3차원 영상이 아닌 경우 114 과정으로 이동하여 RGB 영상을 118 과정을 통해 그레이 스케일(Grey Scale)영상으로 변환하고, 128 과정으로 이동하여 변환된 상기 그레이 스케일 영상에 SIFT 알고리즘을 적용하여 특징 기술자를 산출한다.
상술한 바와 같이, 본 발명에 따른 RGB-D 영상 특징점 추출 및 특징 기술자 생성이 적용된 기술은 키넥트 타입의 카메라로부터 RGB 영상과 깊이 영상을 획득 후, 획득된 각각의 영상으로부터 각각 SIFT 특징점(feature point)을 추출하고, 특징 기술자(feature point)를 생성한다.
이렇게 생성된 기술자는 Rondom Forest(RF) 기반의 코드북(CodeBook)학습을 통해 히스토그램으로 배깅(bagging)된다. 이 배깅하는 방법은, 동일 차원을 가지는 제안된 특징 기술자들이 코드북을 통해 잎새 노드(leaf node)에 도달했을 때 각 특징 기술자들이 가장 잘 구분될 수 있도록 학습된 코드북을 사용한다[6, 7].
도 2에 도시된 영상에서 검출된 임의의 특징점들은 코드북을 통과해서 잎새 노드에 도달했을 때 그 해당 잎새 노드에 상응하는 히스토그램의 인덱스(index)에 누적된다. 이와 같은 과정을 통해 영상에서 생성된 모든 특징 기술자들이 코드북을 통과함으로써 객체 자체를 나타내는 새로운 히스토그램으로 재생성된다.
이렇게 생성된 각 학습된 레퍼런스 히스토그램(reference histogram)들은 매칭 시에 생성된 히스토그램과 k-NN(nearest neighbor) 알고리즘을 사용함으로써 매칭된다.
학습 시에 SVM(Support Vector Machine)이나 RF와 같이 복잡하게 학습된 구분자(classifier)를 사용하면 보다 좋은 성능을 낼 것으로 예상하지만, 본 발명에서는 기술자 자체가 가지는 유의성을 강조하기 위해 매칭은 가장 유사도가 높게 나타나는 것을 선택하는 1-NN를 사용하였다.
실험 및 결론
본 발명의 RGB-D 영상 특징점 추출 및 특징 기술자 생성의 성능을 입증하기 위하여 도 4에 도시된 바와 같이 10개의 서로 다른 객체를 사용하여 테스트 환경을 구성하였다.
대상 객체들은 텍스처의 유무, 카메라의 회전 및 이동 변화를 포함하는 테스트 세트와 25 프레임의 상의한 트레이닝 세트를 기반으로 실험 환경을 구성하였다.
실험 환경은 Core i7 3.40Ghz CPU와 GPUSift[8] 사용을 위한 GTX580 그래픽프로세서 환경에서 실험하였다.
실험을 위한 기본 인식률 확인은 Fast Corner 검출 방식과 SURF 특징 기술자 검출 방식, RGB 영상 기반의 SIFT 특징 검출 방식, RGB-D 영상 기반 SIFT 특징 검출로 나누어 성능 향상을 확인하였다.
도 6에 도시된 바와 같이 본 발명이 적용된 기술 방식을 사용한 결과 인식률의 향상을 확인할 수 있었다. 수치적으로는 RGB 영상 특징만을 사용한 경우에 비하여 12.2%의 인식률 향상을 확인하였으며 주어진 테스트 환경에 74.4%의 인식률을 확인하였다.
이상에서는, 본 발명의 일 실시 예에 따른 RGB-D 영상 특징점 추출 및 특징 기술자 생성 방법에 관해 살펴보았다.
이하, 본 발명의 일 실시 예에 따른 RGB-D 영상 특징점 추출 및 특징 기술자 생성 장치에 관하여 도 5를 참조하여 살펴보기로 한다.
도 5는 본 발명의 일 실시 예에 따른 RGB-D 영상 특징점 추출 및 특징 기술자 생성 장치에 관한 블록도이다.
도 5를 참조하면, 본 발명이 적용된 RGB-D 영상 특징점 추출 및 특징 기술자 생성 장치(500)는 촬영부(510), 그래디언트 생성부(512), 제어부(514), 랜더링부(516) 및 표면 정규벡터 추출부(518)을 포함한다.
상기 그래디언트 생성부(512)는 RGB-D 영상 특징점 추출 및 특징 기술자 생성 장치의 전반적인 동작을 제어하는 제어부(514)의 제어 하에 3차원 영상의 픽셀별 깊이 영상 함수관계를 통해 픽셀별 위치에 기반한 깊이 그래디언트(gradient)를 생성한다.
상기 제어부(514)는 모드 전환을 통해 촬영부로부터 깊이 정보를 포함하는 3차원 영상 및 RGB 영상을 각각 획득하고, 상기 그래디언트 생성부(512)로부터 생성된 깊이 그래디언트에 기초하여 상기 깊이 영상의 소정 정접(vertex)을 기준으로 인접한 세 정점을 계산하고, 상기 계산된 세 정점을 사용하여 기설정된 벡터를 산출하여 표면 정규 벡터로의 변환을 통해 생성된 영상으로부터 깊이 영상의 특징점 및 특징 기술자를 추출한다.
그리고 상기 제어부(514)는 SIFT(Scale Invariant Feature Transform) 알고리즘을 적용하여 상기 2차원 영상으로부터 특징 기술자(feature descriptor)를 산출한다.
또한, 상기 제어부(514)는 상기 3차원 영상 획득 모드와 다른 모드에서 획득된 RGB 영상을 그레이 스케일(Grey Scale) 영상을 변환하고, 변환된 상기 그레이 스케일 영상에 SIFT 알고리즘을 적용하여 특징 기술자를 산출한다.
상기 표면 정규 벡터 추출부(518)은 제어부(514)로부터 산출된 벡터의 외적(cross-product)연산으로부터 정규화(normalized)된 표면 정규 벡터(surface normal vector)를 추출한다.
즉, 세 정점을 사용하여 소정 정점으로부터 시작하는 두 개 벡터의 외적(cross-product) 연산으로부터 정규화(normalized)된 표면 정규 벡터를 추출한다.
상기 랜더링부(516)는 제어부(514)의 제어 하에 상기 표면 정규 벡터에 의해 구성된 해당 깊이 영상 벡터 정보를 이용하여 렌더링을 수행한다.
즉, 깊이 영상의 한 정접을 기준으로 반시계 방향으로 인접한 세 정점을 연결하는 하나의 폴리곤 메쉬(polygon mesh)를 랜더링하고, 이를 통해 생성된 폴리곤 메쉬의 법선벡터의 방향은 각 4개 정점의 표면 정규 벡터의 평균값으로 지정한다.
상기와 같이 본 발명에 따른 RGB-D 영상 특징점 추출 및 특징 기술자 생성에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
510: 촬영부 512: 그래디언트 생성부
514: 사용자 인터페이스부 516: 랜더링부
518: 표면 정규 벡터 추출부
[참고 문헌]
Figure pat00026

Claims (12)

  1. 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상의 픽셀별 깊이 영상 함수관계를 통해 픽셀별 위치에 기반한 깊이 그래디언트(gradient)를 생성하는 과정과,
    생성된 상기 깊이 그래디언트에 기초하여 상기 깊이 영상의 소정 정점(vertex)을 기준으로 인접한 세 정점을 계산하는 과정과,
    계산된 상기 세 정점을 사용하여 기설정된 벡터를 산출하고, 산출된 상기 벡터의 외적(cross-product)연산으로부터 정규화(normalized)된 표면 정규 벡터(surface normal vector)를 추출하는 과정과,
    추출된 상기 표면 정규 벡터에 의해 구성된 해당 깊이 영상 벡터 정보를 이용하여 렌더링을 수행하여 3차원 벡터를 2차원 영상으로 영상화하는 과정과,
    SIFT(Scale Invariant Feature Transform) 알고리즘을 적용하여 상기 2차원 영상으로부터 특징 기술자(feature descriptor)를 산출하는 과정을 포함함을 특징으로 하는 RGB-D 영상 특징점 추출 및 특징 기술자 생성 방법.
  2. 제1항에 있어서,
    상기 3차원 영상 획득 모드와 다른 모드에서 획득된 RGB 영상을 그레이 스케일(Grey Scale) 영상으로 변환하고, 변환된 상기 그레이 스케일 영상에 SIFT 알고리즘을 적용하여 특징 기술자를 산출하는 과정을 더 포함함을 특징으로 하는 RGB-D 영상 특징점 추출 및 특징 기술자 생성 방법.
  3. 제1항에 있어서,
    소정 픽셀 위치 x에 대한 깊이 영상 함수 D(x)는 하기의 수학식 형태이고, 이를 통해 깊이 영상의 픽셀 위치 X를 기준으로 임의의 오프셋(offset) dx는
    Figure pat00027
    로 나타낼 수 있으며, 상기 그래디언트
    Figure pat00028
    의 최소 제곱법(least-square)으로부터 추정 가능함을 특징으로 하는 RGB-D 영상 특징점 추출 및 특징 기술자 생성 방법.
    Figure pat00029
  4. 제1항에 있어서,
    상기 소정 정점을 기준으로 인접한 세 정점은 하기의 수학식같이 표현될 수 있으며, 하기의 수학식
    Figure pat00030
    는 깊이 센서 카메라의 주점(principat point)으로부터 픽셀위치 x를 지나 3차원 포인트인 X로 향하는 벡터를 나타냄을 특징으로 RGB-D 영상 특징점 추출 및 특징 기술자 생성 방법.
    Figure pat00031
  5. 제4항에 있어서, 상기
    Figure pat00032
    는,
    상기 깊이 센서 카메라의 내부 파라미터(internal parameter) K를 통해 하기의 수학식을 이용하여 계산됨을 특징으로 하는 RGB-D 영상 특징점 추출 및 특징 기술자 생성 방법.
    Figure pat00033
  6. 제1항에 있어서, 상기 정규 벡터를 추출하는 과정은,
    상기 세 정점을 사용하여 소정 정점으로부터 시작하는 두 개 벡터의 외적(cross-product) 연산으로부터 정규화(normalized)된 표면 정규 벡터를 추출하여 수행됨을 특징으로 하는 RGB-D 영상 특징점 추출 및 특징 기술자 생성 방법.
  7. 제1항에 있어서, 상기 렌더링은,
    상기 깊이 영상의 한 정점을 기준으로 반시계 방향으로 인접한 세 정점을 연결하는 하나의 폴리곤 메쉬(polygon mesh)를 렌더링하고, 이를 통해 생성된 폴리곤 메쉬의 법선벡터의 방향은 각 4개 정점의 표면 정규 벡터의 평균값으로 지정됨을 특징으로 하는 RGB-D 영상 특징점 추출 및 특징 기술자 생성 방법.
  8. RGB-D 영상 특징점 추출 및 특징 기술자 생성 장치의 전반적인 동작을 제어하는 제어부의 제어 하에 3차원 영상의 픽셀별 깊이 영상 함수관계를 통해 픽셀별 위치에 기반한 깊이 그래디언트(gradient)를 생성하는 그래디언트 생성부와,
    모드 전환을 통해 촬영부로부터 깊이 정보를 포함하는 3차원 영상 및 RGB 영상을 각각 획득하고, 상기 그래디언트 생서부로부터 생성된 깊이 그래디언트에 기초하여 상기 깊이 영상의 소정 정접(vertex)을 기준으로 인접한 세 정점을 계산하고, 상기 계산된 세 정점을 사용하여 기설정된 벡터를 산출하여 표면 정규 벡터로의 변환을 통해 생성된 영상으로부터 깊이 영상의 특징점 및 특징 기술자를 추출하는 제어부와,
    상기 제어부로부터 산출된 벡터의 외적(cross-product)연산으로부터 정규화(normalized)된 표면 정규 벡터(surface normal vector)를 추출하는 표면 정규 벡터 추출부와,
    상기 제어부의 제어 하에 상기 표면 정규 벡터에 의해 구성된 해당 깊이 영상 벡터 정보를 이용하여 랜더링을 수행하는 랜더링부를 포함함을 특징으로 하는 RGB-D 영상 특징점 추출 및 특징 기술자 생성 장치.
  9. 제8항에 있어서, 상기 제어부는,
    SIFT(Scale Invariant Feature Transform) 알고리즘을 적용하여 상기 2차원 영상으로부터 특징 기술자(feature descriptor)를 산출함을 특징으로 하는 RGB-D 영상 특징점 추출 및 특징 기술자 생성 장치.
  10. 제8항에 있어서, 상기 제어부는,
    상기 3차원 영상 획득 모드와 다른 모드에서 획득된 RGB 영상을 그레이 스케일(Grey Scale) 영상을 변환하고, 변환된 상기 그레이 스케일 영상에 SIFT 알고리즘을 적용하여 특징 기술자를 산출함을 특징으로 하는 RGB-D 영상 특징점 추출 및 특징 기술자 생성 장치.
  11. 제8항에 있어서, 상기 표면 정규 벡터 추출부는,
    상기 세 정점을 사용하여 소정 정점으로부터 시작하는 두 개 벡터의 외적(cross-product) 연산으로부터 정규화(normalized)된 표면 정규 벡터를 추출함을 특징으로 하는 RGB-D 영상 특징점 추출 및 특징 기술자 생성 장치.
  12. 제8항에 있어서, 상기 랜더링부는,
    상기 깊이 영상의 한 정접을 기준으로 반시계 방향으로 인접한 세 정점을 연결하는 하나의 폴리곤 메쉬(polygon mesh)를 랜더링하고, 이를 통해 생성된 폴리곤 메쉬의 법선벡터의 방향은 각 4개 정점의 표면 정규 벡터의 평균값으로 지정함을 특징으로 하는 RGB-D 영상 특징점 추출 및 특징 기술자 생성 장치.
KR20130074403A 2012-06-27 2013-06-27 Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치 KR101478709B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120069193 2012-06-27
KR1020120069193 2012-06-27

Publications (2)

Publication Number Publication Date
KR20140001168A true KR20140001168A (ko) 2014-01-06
KR101478709B1 KR101478709B1 (ko) 2015-01-05

Family

ID=50138783

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130074403A KR101478709B1 (ko) 2012-06-27 2013-06-27 Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101478709B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318582A (zh) * 2014-11-14 2015-01-28 西南交通大学 一种基于图像不变性目标定位的高铁接触网旋转双耳部件销钉不良状态检测方法
CN104766317A (zh) * 2015-03-31 2015-07-08 浙江理工大学 一种基于五要素的刚性纹理图像力触觉生成方法
CN105224942A (zh) * 2015-07-09 2016-01-06 华南农业大学 一种rgb-d图像分类方法及系统
WO2018110722A1 (ko) * 2016-12-12 2018-06-21 주식회사 디플즈 Vr글러브 기반 게임 시스템 및 이를 이용한 게임 진행 방법
CN112288819A (zh) * 2020-11-20 2021-01-29 中国地质大学（武汉） 多源数据融合的视觉引导机器人抓取及分类系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709568B (zh) * 2016-12-16 2019-03-22 北京工业大学 基于深层卷积网络的rgb-d图像的物体检测和语义分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101637229B1 (ko) * 2008-12-23 2016-07-08 고려대학교 산학협력단 Ｓｉｆｔ 기반의 특징점 추출 장치 및 방법과 이를 이용한 얼굴 인식 시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104318582A (zh) * 2014-11-14 2015-01-28 西南交通大学 一种基于图像不变性目标定位的高铁接触网旋转双耳部件销钉不良状态检测方法
CN104318582B (zh) * 2014-11-14 2017-05-17 西南交通大学 一种高铁接触网旋转双耳部件销钉不良状态检测方法
CN104766317A (zh) * 2015-03-31 2015-07-08 浙江理工大学 一种基于五要素的刚性纹理图像力触觉生成方法
CN105224942A (zh) * 2015-07-09 2016-01-06 华南农业大学 一种rgb-d图像分类方法及系统
CN105224942B (zh) * 2015-07-09 2020-02-04 华南农业大学 一种rgb-d图像分类方法及系统
WO2018110722A1 (ko) * 2016-12-12 2018-06-21 주식회사 디플즈 Vr글러브 기반 게임 시스템 및 이를 이용한 게임 진행 방법
CN112288819A (zh) * 2020-11-20 2021-01-29 中国地质大学（武汉） 多源数据融合的视觉引导机器人抓取及分类系统及方法

Also Published As

Publication number Publication date
KR101478709B1 (ko) 2015-01-05

Similar Documents

Publication Publication Date Title
CA3035298C (en) Predicting depth from image data using a statistical model
CN107330439B (zh) 一种图像中物体姿态的确定方法、客户端及服务器
Huang et al. Indoor depth completion with boundary consistency and self-attention
JP6560480B2 (ja) 画像処理システム、画像処理方法、及びプログラム
KR101478709B1 (ko) Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치
US20210183083A1 (en) Self-supervised depth estimation method and system
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
US8447114B2 (en) Method and apparatus for calculating pixel features of image data
US20130215113A1 (en) Systems and methods for animating the faces of 3d characters using images of human faces
WO2017119940A1 (en) Hand gesture recognition for cursor control
CN107958446B (zh) 信息处理设备和信息处理方法
KR20100000671A (ko) 영상 처리 방법
WO2018227216A1 (en) Learning-based matching for active stereo systems
JPWO2019021456A1 (ja) 学習装置、認識装置、学習方法、認識方法及びプログラム
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
JP6052533B2 (ja) 特徴量抽出装置および特徴量抽出方法
KR101125061B1 (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
JP2014120079A (ja) 陰影情報導出装置、陰影情報導出方法及びプログラム
JP2017033556A (ja) 画像処理方法及び電子機器
US11417063B2 (en) Determining a three-dimensional representation of a scene
JP7298687B2 (ja) 物体認識装置及び物体認識方法
CN113724329A (zh) 融合平面与立体信息的目标姿态估计方法、系统和介质
Howells et al. Depth maps comparisons from monocular images by MiDaS convolutional neural networks and dense prediction transformers
JP6276504B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP5719277B2 (ja) 物体座標系変換行列推定成否判定装置および物体座標系変換行列推定成否判定方法ならびにそのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171124

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee