KR100640761B1 - 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법 - Google Patents

단일카메라 기반의 영상 특징점의 3차원 위치 검출방법 Download PDF

Info

Publication number
KR100640761B1
KR100640761B1 KR1020050102992A KR20050102992A KR100640761B1 KR 100640761 B1 KR100640761 B1 KR 100640761B1 KR 1020050102992 A KR1020050102992 A KR 1020050102992A KR 20050102992 A KR20050102992 A KR 20050102992A KR 100640761 B1 KR100640761 B1 KR 100640761B1
Authority
KR
South Korea
Prior art keywords
feature point
feature
brightness
image
dimensional
Prior art date
Application number
KR1020050102992A
Other languages
English (en)
Inventor
박창우
이종배
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020050102992A priority Critical patent/KR100640761B1/ko
Application granted granted Critical
Publication of KR100640761B1 publication Critical patent/KR100640761B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20108—Interactive selection of 2D slice in a 3D data set

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 단일카메라를 통해 순차적으로 입력된 두 영상 프레임 내의 특징점과 그 특징점들의 각 특징벡터를 추출하고 인접한 두 영상 프레임에 속하는 각 특징점의 특징벡터를 비교하여 크기 유사도에 따라 대응되는 특징점들을 검출한 후, 그 검출한 대응되는 특징점들과 상기 산출한 각 특징점의 크기 계수를 사용하여 해당 특징점의 3차원 좌표를 산출하는 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법에 관한 것으로서, 단가절감 및 프로세서의 처리 부담을 줄일 수 있으며, 각 특징점의 크기 계수와 공지된 핀홀 카메라 모델을 사용해 영상 특징점의 3차원 위치를 용이하게 검출할 수 있다.
카메라, 영상, 특징점, 3차원, 위치, 검출

Description

단일카메라 기반의 영상 특징점의 3차원 위치 검출방법{Method of extracting 3 Dimension Coordinate of Landmark Image By Single Camera}
도 1은 본 발명이 적용된 3차원 위치 검출장치를 도시한 도면
도 2는 본 발명에 따라 차영상을 구하는 양태를 설명하기 위한 도면,
도 3은 본 발명에 따라 특징점을 추출하는 양태를 설명하기 위한 도면,
도 4는 본 발명에 따라 각 특징점의 변화량과 변화방향을 구하는 양태를 설명하기 위한 도면
도 5는 본 발명에 따라 각 특징점의 특징벡터를 구하는 양태를 설명하기 위한 도면
도 6은 본 발명에 따라 대응되는 특징점들을 구하는 양태를 설명하기 위한 도면
도 7a 및 도 7b는 본 발명에 따른 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법을 도시한 도면
* 도면의 주요 부분에 대한 부호의 설명 *
100 : IR LED 모듈 101 : CCD 카메라
102 : 프레임 그레버 103 : 메모리
104 : 마이크로 컴퓨터
본 발명은 영상 특징점의 크기 계수와 공지된 핀홀 카메라(Pinhole camera) 모델을 적용해 단일 카메라를 통해 입력된 영상 프레임내의 각 특징점의 3차원 위치를 용이하게 검출하는 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법에 관한 것이다.
통상적으로, 영상 특징점의 3차원 위치를 검출하는 방식은 스테레오 카메라를 구성하는 서브 카메라 등에서 각기 입력된 2개의 휘도 데이터를 '대응점 결정' 패턴 매칭의 방법에 따라 검출하는 방식과 단일 카메라에서 삼각측량법을 이용해 검출하는 방식 등이 알려져 있다.
하지만, 전술한 스테레오 카메라를 사용해 영상 특징점의 3차원 위치를 검출하는 방식은 그에 장착된 고가의 부품들 예컨대, 소자(Sonar), 레인지 센서(Range sensor)부품 등으로 인해 비용이 많이 요구되고, 후자의 단일 카메라에서 삼각측량법을 이용해 검출하는 방식은 계산량이 상당히 많아 알고리즘의 실시간 구현이 용이하지 않은 문제점이 있다.
본 발명은 상기한 문제점을 해소시키기 위하여 개발된 것으로, 저렴한 비용으로 영상 특징점의 3차원 위치를 용이하게 검출하기 위한 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법을 제공하는데 그 목적이 있다.
이러한 목적에 따른 본 발명의 영상 특징점의 3차원 위치 검출방법은
로봇에 설치된 단일 카메라를 통해 순차적으로 입력된 두 영상 프레임 내의 특징점들을 추출하여 각 특징점의 크기 계수를 설정하는 단계;상기 추출한 각 특징점의 주변픽셀들의 밝기의 변화방향을 구해 기준되는 다수의 변화방향으로 양자화시켜 각 특징점별로 양자화된 밝기의 변화방향들을 산출하는 단계;상기 추출한 각 특징점의 주변픽셀들의 밝기의 변화량을 구해 상기 양자화된 밝기의 변화방향별로 합하여 그 합한 값들의 조합으로 각 특징점의 특징 벡터를 설정하는 단계;상기 인접한 두 영상 프레임에 속하는 각 특징점의 특징벡터를 상호 비교하여 크기 유사도에 따라 대응되는 특징점들을 검출하는 단계;상기 검출한 대응되는 특징점들과 상기 산출한 각 특징점의 크기 계수를 사용하여 해당 특징점의 3차원좌표를 산출하는 단계를 구비한 것을 특징으로 한다.
그리고, 상기 각 특징점의 3차원 좌표를 산출하는 단계는 하기의 수학식1에 따라 산출하는 것을 특징으로 한다.
X' = Z' (c - u)/f , Y' = Z' (v - r)/f, Z' = (s/s')Z
{여기서, (X', Y', Z'): 다음번째 영상프레임의 각 특징점의 3차원 좌표,
Z는 Z'에 대응되는 이전 영상프레임의 z축 좌표,
s'는 다음번째 영상프레임의 각 특징점의 크기 계수,
s는 이전 영상프레임의 각 특징점의 크기 계수,
r은 다음번째 영상프레임의 각 특징점의 화면상에서의 2차원 x좌표값,
c는 다음번째 영상프레임의 각 특징점의 화면상에서의 2차원 y좌표값,
u는 화면상에서의 중심점에 대응되는 2차원 x좌표값,
v는 화면상에서의 중심점에 대응되는 2차원 y좌표값,
f는 단일 카메라의 초점거리이다.)
상기 크기 계수를 설정하는 단계는 로봇에 설치된 단일 카메라를 통해 순차적으로 입력된 두 영상 프레임 각각에 소정의 공분산을 가진 가우시안 마스크(Gaussian Mask)를 사용해 최초의 표본 영상을 생성하고, 다음부터는 바로 이전의 표본 영상에 상기 가우시안 마스크를 사용해 다음번째의 표본 영상을 생성하는 동작을 설정 횟수(n)만큼 반복 수행하여 다수의 표본 영상을 생성하는 단계;상기 생성한 다수의 표본 영상을 사용해 인접한 두 표본 영상들의 차영상을 다수개 생성하는 단계;상기 다수개 생성한 차영상 중에서, 바로 이전의 차영상의 픽셀들의 계조값과 동일 위치에 속한 다음번째 차영상의 픽셀들의 계조값을 비교하여 계조값이 상이한 픽셀을 특징점으로 추출하는 단계; 및 상기 표본 영상 생성시 사용된 공분산들의 콘볼루션(convolution)한 결과를 크기 계수로 구하고 표본 영상을 사용해 추출한 해당 특징점에 매칭시켜 각 특징점별로 크기 계수를 설정하는 단계를 포함한 것을 특징으로 한다.
그리고, 상기 표본 영상에 대해 동일한 가우시안 마스크(Gaussian Mask)를 적용하는 것을 특징으로 하며, 예를 들면, 상기 가우시안 마스크(Gaussian Mask)는 공분산이
Figure 112005062398502-pat00001
인 것을 사용할 수 있다.
또한, 상기 주변픽셀들의 밝기의 변화량과 밝기의 변화방향은 하기의 수학식2에 따라 산출되는 것을 특징으로 한다.
Figure 112005062398502-pat00002
Figure 112005062398502-pat00003
(여기서,
Figure 112005062398502-pat00004
는 밝기의 변화량(Gradient)이고,
Figure 112005062398502-pat00005
는 밝기의 변화방향(orientation)이며,
Figure 112005062398502-pat00006
는 픽셀(A)들의 위치좌표이다.)
이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세히 설명한다.
도 1에 도시된 검출장치는 본 발명이 적용된 영상 특징점의 3차원 위치 검출장치의 일예로, 크게, IR LED(Infrared Luminescent Diode)모듈(100), CCD카메라(101), 프레임 그레버(102), 메모리(103), 마이크로 컴퓨터(104)로 이루어진다.
본 발명은 외부의 이미지를 촬영하여 부스팅(boosting)된 아날로그 영상신호를 출력하는 이미지 센서인 CCD카메라(101)와 더불어 IR LED모듈(100)을 구비하는데, 상기의 IR LED모듈(100)은 CCD카메라(101)를 둘러싸게 원형으로 배치되어 방사상으로 넓게 확장된 패턴을 가진다.
프레임 그레버(102)는 상기의 CDD카메라(101), IR LED모듈(100), 메모리(103) 및 마이크로 컴퓨터(104)와 각기 연결된 것으로서, 마이크로 컴퓨터(104)에서 입력하는 제어신호에 따라 활성화되어 상기 CCD카메라(101)와 IR LED모듈(100)에서 촬상한 아날로그 영상신호를 디지타이징(digitizing)하고 프레임별로 나누어 메모리에 출력하는 것이다. 프레임의 구분은 시작과 마지막에 해당하는 영상정보에 프라임(prime) 정보를 부여하여 이루어질 수 있는데, 이외에도 통상적인 방식이 적용될 수 있다.
메모리(103)는 상기 프레임 그레버(102)에 연결되어 상기 프레임 그레버(102)에서 출력하는 영상정보를 지정된 저장공간에 저장한다. 저장공간은 마이크로 컴퓨터(104)에서 지정되며, 이러한 정보는 프레임 그레버(102)가 입력받아 그를 사용해 해당되는 저장공간에 프레임별로 저장한다. 상기 메모리(103)는 프레임 메모리로 사용하는 것도 가능하다.
마이크로 컴퓨터(104)는 외부로부터 입력되는 사용자 명령에 따라 프레임그레버(102)를 제어하고, 메모리(103)에 저장된 영상프레임 내의 특징점들의 3차원위치를 검출하는 것이다.
즉, 상기 마이크로 컴퓨터(104)는 메모리(103)에 저장된 인접한 두 영상 프레임 내의 특징점들을 추출하여 각 특징점의 크기 계수를 설정한다.
그리고, 그 추출한 각 특징점의 주변픽셀들의 밝기의 변화방향을 구해 기준되는 다수의 변화방향으로 양자화시켜 각 특징점별로 양자화된 밝기의 변화방향들을 산출한 후, 상기 추출한 각 특징점의 주변픽셀들의 밝기의 변화량을 구해 상기 양자화된 밝기의 변화방향별로 합하여 그 합한 값들의 조합으로 각 특징점의 특징 벡터를 설정한다.
그런 후, 상기 인접한 두 영상 프레임에 속하는 각 특징점의 특징벡터를 상호 비교하여 크기 유사도에 따라 대응되는 특징점들을 검출하고, 그 검출한 대응되는 특징점들과 상기 산출한 각 특징점의 크기 계수를 사용하여 해당 특징점의 3차원 좌표를 산출하는데, 좀 더 상세한 동작은 후술한다.
상기 마이크로 컴퓨터는 내부에 영상프레임 내의 특징점을 검출하는 SIFT(Scale Invariant Feature Transform)모듈, 각 특징점의 3차원좌표를 구하는 3차원 좌표 계산모듈을 구비할 수 있다.
도 2 내지 도 6은 본 발명에 따른 영상 특징점의 3차원 좌표를 검출하는 동작을 좀 더 상세히 설명하기 위해 마련된 것이다.
우선, 도 2에 도시된 바와 같이, 소정의 영상프레임에 대해 공분산을 가진 가우시안 마스크(Gaussian Mask)를 사용해 블러링(Blurring)된 표본 영상을 생성하고, 다음부터는 바로 이전의 표본 영상에 상기 가우시안 마스크를 사용해 다음번째의 표본 영상을 생성하는 동작을 설정 횟수(n)만큼 반복 수행하여 좌측에 도시된 다수의 표본 영상을 얻는다.
그런 후, 그 다수의 표본 영상을 사용해 우측에 도시된 인접한 두 표본 영상들의 차영상을 다수개 생성하는데, 상기 가우시안 마스크(Gaussian Mask)는 공분산이
Figure 112005062398502-pat00007
인 것을 사용할 수 있다.
다음, 도 3에 도시된 바와 같이, 상기 생성한 차영상을 사용해 소정의 영상프레임내의 특징점들을 추출한다.
즉, 전술한 바에 따라 다수개 생성한 차영상 중에서, 바로 이전의 차영상의 픽셀들의 계조값과 동일 위치에 속한 다음번째 차영상의 픽셀들의 계조값을 비교하여 계조값이 상이한 픽셀을 특징점으로 추출한다.
예를 들면, 차영상(302)의 소정 픽셀(i, j)에 대하여 인접된 8개의 픽셀값들과 다른 차영상(301, 303)내에서 상기 픽셀들과 동일한 위치에 속한 픽셀들, 즉 (i-1, j), (i+1, j), (i-1, j+1), (i, j+1), (i+1, j+1), (i-1, j-1), (i, j-1), (i+1, j-1)위치의 픽셀들에 대한 계조값을 각기 비교하여 그 비교할 결과가 크거나 작으면 특징점으로 추출한다.
이렇게 특징점이 추출되면, 상기 표본 영상 생성시 사용된 공분산들의 콘볼루션(convolution)한 결과(
Figure 112005062398502-pat00008
)를 크기 계수로 구하고 표본 영상을 사용해 추출한 해당 특징점에 매칭시켜 각 특징점별로 크기 계수를 설정한다.
예를 들면,
Figure 112005062398502-pat00009
에 대응되는 특징점,
Figure 112005062398502-pat00010
에 대응되는 특징점 등과 같이, 소정의 표본 영상을 사용해 추출한 특징점과 그 표본 영상 생성시 사용된 공분산들의 콘볼루션(convolution)한 결과인 크기 계수를 각 특징점별로 설정한다.
계속해서, 소정 영상 프레임의 각 특징점이 추출되면, 각 특징점의 주변픽셀들의 밝기의 변화량과 밝기의 변화방향을 구한다.
즉, 각 특징점을 중심으로 8×8윈도우의 설정 영역 내에 위치한 64개의 주변픽셀들의 밝기의 변화량인 그레디언트(Gradient), 밝기의 변화방향인 오리엔테이션(Orientation)을 하기의 수학식3에 따라 구한다.
Figure 112005062398502-pat00011
Figure 112005062398502-pat00012
여기서,
Figure 112005062398502-pat00013
는 그래디언트(Gradient)이고,
Figure 112005062398502-pat00014
는 오리엔테이션(Orientation)이며,
Figure 112005062398502-pat00015
는 주변픽셀(A)들의 위치좌표를 나타낸다.
도 4는 바로 이러한 특징점의 주변 픽셀들의 밝기의 변화량(Gradient)과 밝기의 변화방향(Orientation)을 도시한 것이다.
다음, 상기에서 구한 각 특징점에 대한 밝기의 변화량과 밝기의 변화방향을 사용해 특징벡터를 설정한다.
즉, 상기에서 구한 각 특징점의 주변픽셀들의 밝기의 변화방향을 구해 기준되는 다수의 변화방향으로 양자화시켜 각 특징점별로 양자화된 밝기의 변화방향들을 산출하고, 상기 각 특징점의 주변픽셀들의 밝기의 변화량을 구해 상기 양자화된 밝기의 변화방향별로 합하여 그 합한 값들의 조합으로 각 특징점의 특징 벡터를 설정한다.
예를 들면, 도 5에 도시된 바와 같이, 8개의 기준되는 변화방향으로 설정된 경우, 도 4에 도시된 소정 특징점의 주변픽셀들의 변화방향을 그 8개의 기준되는 변화방향으로 양자화시켜 8개로 양자화된 밝기의 변화방향을 산출한다. 그런 후, 그 특징점의 주변픽셀들의 밝기의 변화량을 구해 상기 8개의 양자화된 밝기의 변화방향별로 합하여 그 합한 값들의 조합으로 각 특징점의 특징벡터, 즉 [10, 3, 12, 10, 26, 25, 20, 8]를 설정한다.
다음, 각 특징점의 특징벡터를 산출하면, 인접한 두 영상 프레임에 속하는 각 특징점의 특징벡터를 상호 비교하여 크기 유사도에 따라 대응되는 특징점들을 검출한다.
예를 들면, 상기 도 6에 도시된 바와 같이, 3번째로 입력된 영상프레임의 어느 하나의 특징점의 특징벡터를 2번째로 입력된 영상프레임의 각 특징점의 특징벡터와 비교하여 그 중에서 가장 유사한 특징점의 특징벡터를 찾아, 그를 상기 어느 하나의 특징점에 대응되는 특징점으로 검출하며, 이러한 동작을 반복적으로 수행하여 3번째로 입력된 영상프레임의 각 특징점의 대응되는 특징점들을 모두 검출한다.
마지막으로, 상기 검출한 대응되는 특징점들과 상기 산출한 각 특징점의 크기 계수를 하기의 수학식 4에 적용하여 해당 특징점의 3차원 좌표를 산출한다.
X' = Z' (c - u)/f , Y' = Z' (v - r)/f, Z' = (s/s')Z
(X', Y', Z': 다음번째 영상프레임의 각 특징점의 3차원 좌표,
Z는 Z'에 대응되는 이전 영상프레임의 z축 좌표,
s'는 다음번째 영상프레임의 각 특징점의 크기 계수,
s는 이전 영상프레임의 각 특징점의 크기 계수,
r은 다음번째 영상프레임의 각 특징점의 화면상에서의 2차원 x좌표값,
c는 다음번째 영상프레임의 각 특징점의 화면상에서의 2차원 y좌표값,
u는 화면상에서의 중심점에 대응되는 2차원 x좌표값,
v는 화면상에서의 중심점에 대응되는 2차원 y좌표값,
f는 단일 카메라의 초점거리)
도 7a 및 도 7b는 본 발명에 따른 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법을 도시한 도면이다.
먼저, 본 발명에 따른 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법은 N+1번째(N은 2이상의 자연수)로 영상프레임을 입력받는다(S700).
그리고, 단계(S700)에서 N+1번째(N은 2이상의 자연수)로 입력받은 영상프레임내의 특징점들을 추출한다(S701).
이를 위해, 우선 단계(S700)에서 N+1번째(N은 2이상의 자연수)로 입력받은 영상프레임에 대해 공분산을 가진 가우시안 마스크(Gaussian Mask)를 적용해 블러링(Blurring)된 표본 영상을 생성하고, 다음부터는 바로 이전의 표본 영상에 상기 가우시안 마스크를 사용해 다음번째의 표본 영상을 생성하는 동작을 설정 횟수(n)만큼 반복 수행하여 좌측에 도시된 다수의 표본 영상을 얻는다.
그런 후, 그 다수의 표본 영상을 사용해 우측에 도시된 인접한 두 표본 영상들의 차영상을 다수개 생성하는데, 상기 가우시안 마스크(Gaussian Mask)는 공분산 이
Figure 112005062398502-pat00016
인 것을 사용할 수 있다.
다음, 상기 생성한 차영상을 사용해 소정의 영상프레임내의 특징점들을 추출한다.
즉, 전술한 바에 따라 다수개 생성한 차영상 중에서, 바로 이전의 차영상의 픽셀들의 계조값과 동일 위치에 속한 다음번째 차영상의 픽셀들의 계조값을 비교하여 계조값이 상이한 픽셀을 특징점으로 추출한다.
이렇게 특징점이 추출되면, N+1번째 영상 프레임내의 각 특징점이 추출되면, 상기 표본 영상 생성시 사용된 공분산들의 콘볼루션(convolution)한 결과(
Figure 112005062398502-pat00017
)를 크기 계수로 구하고 표본 영상을 사용해 추출한 해당 특징점에 매칭시켜 각 특징점별로 크기 계수를 설정한다.
예를 들면,
Figure 112005062398502-pat00018
에 대응되는 특징점,
Figure 112005062398502-pat00019
에 대응되는 특징점 등과 같이, 소정의 표본 영상을 사용해 추출한 특징점과 그 표본 영상 생성시 사용된 공분산들의 콘볼루션(convolution)한 결과인 크기 계수를 각 특징점별로 설정한다.
계속해서, 단계(S701)에서 N+1번째로 입력된 영상 프레임의 각 특징점이 추출되면, 그 추출된 각 특징점의 특징벡터를 추출한다(S702).
이를 위해, 우선 각 특징점의 주변픽셀들의 밝기의 변화량과 밝기의 변화방향을 구한다.
예를 들면, 각 특징점을 중심으로 8×8윈도우의 설정 영역 내에 위치한 64개 의 주변픽셀들의 밝기의 변화량인 그레디언트(Gradient), 밝기의 변화방향인 오리엔테이션(Orientation)을 하기의 수학식 5에 따라 구한다.
Figure 112005062398502-pat00020
Figure 112005062398502-pat00021
여기서,
Figure 112005062398502-pat00022
는 그래디언트(Gradient)이고,
Figure 112005062398502-pat00023
는 오리엔테이션(Orientation)이며,
Figure 112005062398502-pat00024
는 주변픽셀(A)들의 위치좌표를 나타낸다.
그런 후, 각 특징점에 대한 밝기의 변화량과 밝기의 변화방향을 사용해 특징벡터를 설정한다.
즉, 상기에서 구한 각 특징점의 주변픽셀들의 밝기의 변화방향을 구해 기준되는 다수의 변화방향으로 양자화시켜 각 특징점별로 양자화된 밝기의 변화방향들을 산출하고, 상기 각 특징점의 주변픽셀들의 밝기의 변화량을 구해 상기 양자화된 밝기의 변화방향별로 합하여 그 합한 값들의 조합으로 각 특징점의 특징 벡터를 설정한다.
예를 들면, 8개의 기준되는 변화방향으로 설정된 경우, 각 특징점의 주변픽셀들의 0°~ 360°까지의 다양한 변화방향을 그 8개의 기준되는 변화방향으로 양자화시켜 8개로 양자화된 밝기의 변화방향을 산출한다. 그런 후, 그 특징점의 주변픽셀들의 밝기의 변화량을 구해 상기 8개의 양자화된 밝기의 변화방향별로 합하여 그 합한 값들의 조합으로 각 특징점의 특징벡터, 예컨대, [10, 3, 12, 10, 26, 25, 20, 8]를 설정한다.
다음, 단계(S702)에서 각 특징점의 특징벡터를 산출하면, 인접한 N번째 영상 프레임에 속하는 각 특징점의 특징벡터와 비교하여 크기 유사도에 따라 대응되는 특징점들을 검출한다(S703).
즉, N+1번째로 입력된 영상프레임의 어느 하나의 특징점의 특징벡터를 N번째로 입력된 영상프레임의 각 특징점의 특징벡터와 비교하여 그 중에서 가장 유사한 특징점의 특징벡터를 찾아, 그를 상기 어느 하나의 특징점에 대응되는 특징점으로 검출하며, 이러한 동작을 반복적으로 수행하여 N+1번째로 입력된 영상프레임의 각 특징점의 대응되는 특징점들을 모두 검출한다.
마지막으로, 단계(S703)에서 검출한 대응되는 특징점들과 상기 산출한 각 특징점의 크기 계수를 하기의 수학식 6에 적용하여 해당 특징점의 3차원 좌표를 산출한다.
X' = Z' (c - u)/f , Y' = Z' (v - r)/f, Z' = (s/s')Z
(X', Y', Z': 다음번째 영상프레임의 각 특징점의 3차원 좌표,
Z는 Z'에 대응되는 이전 영상프레임의 z축 좌표,
s'는 다음번째 영상프레임의 각 특징점의 크기 계수,
s는 이전 영상프레임의 각 특징점의 크기 계수,
r은 다음번째 영상프레임의 각 특징점의 화면상에서의 2차원 x좌표값,
c는 다음번째 영상프레임의 각 특징점의 화면상에서의 2차원 y좌표값,
u는 화면상에서의 중심점에 대응되는 2차원 x좌표값,
v는 화면상에서의 중심점에 대응되는 2차원 y좌표값,
f는 단일 카메라의 초점거리)
주목할 것은, 본 발명은 첫 번째로 특징점의 3차원 좌표를 구할 때는, 즉, 첫번째로 입력된 영상프레임과 두 번째로 입력된 영상프레임내의 각 특징점의 특징벡터를 사용해 해당 특징점의 3차원 좌표를 구할 때는 공지된 삼각측량법을 이용하며, 실제적으로 두 번째부터, 즉 두 번째로 입력된 영상프레임과 세 번째로 입력된 영상프레임 내의 각 특징점의 특징벡터를 사용해 해당 특징점의 3차원 좌표를 구하는 것이다.
이상에서 상세히 설명한 바와 같이, 본 발명은 단일카메라를 사용하므로 단가절감 및 프로세서의 처리 부담을 줄일 수 있는 효과를 얻으며, 또한 특징점의 크기 계수와 상기의 수학식 6 등과 관련된 공지된 '핀홀 카메라' 모델을 사용해 영상 특징점의 3차원 위치를 용이하게 검출할 수 있는 효과를 얻는다.

Claims (4)

  1. 로봇에 설치된 단일 카메라를 통해 순차적으로 입력된 두 영상 프레임 내의 특징점들을 추출하여 각 특징점의 크기 계수를 설정하는 단계;
    상기 추출한 각 특징점의 주변픽셀들의 밝기의 변화방향을 구해 기준되는 다수의 변화방향으로 양자화시켜 각 특징점별로 양자화된 밝기의 변화방향들을 산출하는 단계;
    상기 추출한 각 특징점의 주변픽셀들의 밝기의 변화량을 구해 상기 양자화된 밝기의 변화방향별로 합하여 그 합한 값들의 조합으로 각 특징점의 특징 벡터를 설정하는 단계;
    상기 인접한 두 영상 프레임에 속하는 각 특징점의 특징벡터를 상호 비교하여 크기 유사도에 따라 대응되는 특징점들을 검출하는 단계;
    상기 검출한 대응되는 특징점들과 상기 산출한 각 특징점의 크기 계수를 사용하여 해당 특징점의 3차원 좌표를 산출하는 단계로 이루어진 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법.
  2. 제 1 항에 있어서,
    상기 특징점의 3차원 좌표를 산출하는 단계는
    하기의 수학식 6에 따라 산출하는 것을 특징으로 하는 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법.
    수학식 6
    X' = Z' (c - u)/f , Y' = Z' (v - r)/f, Z' = (s/s')Z
    {여기서,
    X', Y', Z': 다음번째 영상프레임의 각 특징점의 3차원 좌표,
    Z는 Z'에 대응되는 이전 영상프레임의 z축 좌표,
    s'는 다음번째 영상프레임의 각 특징점의 크기 계수,
    s는 이전 영상프레임의 각 특징점의 크기 계수,
    r은 다음번째 영상프레임의 각 특징점의 화면상에서의 2차원 x좌표값,
    c는 다음번째 영상프레임의 각 특징점의 화면상에서의 2차원 y좌표값,
    u는 화면상에서의 중심점에 대응되는 2차원 x좌표값,
    v는 화면상에서의 중심점에 대응되는 2차원 y좌표값,
    f는 단일 카메라의 초점거리이다.}
  3. 제 1 항에 있어서, 상기 크기 계수를 설정하는 단계는,
    로봇에 설치된 단일 카메라를 통해 순차적으로 입력된 두 영상 프레임 각각에 소정의 공분산을 가진 가우시안 마스크(Gaussian Mask)를 사용해 최초의 표본 영상을 생성하고, 다음부터는 바로 이전의 표본 영상에 상기 가우시안 마스크를 사용해 다음번째의 표본 영상을 생성하는 동작을 설정 횟수(n)만큼 반복 수행하여 다수의 표본 영상을 생성하는 단계;
    상기 생성한 다수의 표본 영상을 사용해 인접한 두 표본 영상들의 차영상을 다수개 생성하는 단계;
    상기 다수개 생성한 차영상 중에서, 바로 이전의 차영상의 픽셀들의 계조값과 동일 위치에 속한 다음번째 차영상의 픽셀들의 계조값을 비교하여 계조값이 상이한 픽셀을 특징점으로 추출하는 단계; 및
    상기 표본 영상 생성시 사용된 공분산들의 콘볼루션(convolution)한 결과를 크기 계수로 구하고 표본 영상을 사용해 추출한 해당 특징점에 매칭시켜 각 특징점별로 크기 계수를 설정하는 단계로 이루어진 것을 특징으로 하는 포함한 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법.
  4. 제 1 항에 있어서,
    상기 주변픽셀들의 밝기의 변화량과 밝기의 변화방향은 하기의 수학식 5에 따라 산출되는 것을 특징으로 하는 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법.
    수학식 5
    Figure 112005062398502-pat00025
    Figure 112005062398502-pat00026
    (여기서,
    Figure 112005062398502-pat00027
    는 밝기의 변화량(Gradient)이고,
    Figure 112005062398502-pat00028
    는 밝기의 변화방향(orientation)이며,
    Figure 112005062398502-pat00029
    는 픽셀(A)들의 위치좌표이다.)
KR1020050102992A 2005-10-31 2005-10-31 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법 KR100640761B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050102992A KR100640761B1 (ko) 2005-10-31 2005-10-31 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050102992A KR100640761B1 (ko) 2005-10-31 2005-10-31 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법

Publications (1)

Publication Number Publication Date
KR100640761B1 true KR100640761B1 (ko) 2006-11-01

Family

ID=37621344

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050102992A KR100640761B1 (ko) 2005-10-31 2005-10-31 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법

Country Status (1)

Country Link
KR (1) KR100640761B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100784125B1 (ko) 2006-09-28 2007-12-12 전자부품연구원 단일 카메라를 이용한 이동 로봇의 랜드 마크의 좌표 추출방법
KR100944903B1 (ko) 2008-03-18 2010-03-03 한국전자통신연구원 비디오 신호의 특징 추출 장치 및 그 추출 방법, 비디오인식 시스템 및 그 인식 방법
CN104484873A (zh) * 2014-11-28 2015-04-01 浙江大学 植株三维点云的叶杆分离方法
KR102249769B1 (ko) * 2019-12-06 2021-05-12 주식회사 모빌테크 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
US11317879B2 (en) 2017-03-06 2022-05-03 Korea Institute Of Science And Technology Apparatus and method for tracking location of surgical tools in three dimension space based on two-dimensional image

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100784125B1 (ko) 2006-09-28 2007-12-12 전자부품연구원 단일 카메라를 이용한 이동 로봇의 랜드 마크의 좌표 추출방법
KR100944903B1 (ko) 2008-03-18 2010-03-03 한국전자통신연구원 비디오 신호의 특징 추출 장치 및 그 추출 방법, 비디오인식 시스템 및 그 인식 방법
US8620107B2 (en) 2008-03-18 2013-12-31 Electronics And Telecommunications Research Institute Apparatus and method for extracting features of video, and system and method for identifying videos using same
CN104484873A (zh) * 2014-11-28 2015-04-01 浙江大学 植株三维点云的叶杆分离方法
CN104484873B (zh) * 2014-11-28 2018-01-23 浙江大学 植株三维点云的叶杆分离方法
US11317879B2 (en) 2017-03-06 2022-05-03 Korea Institute Of Science And Technology Apparatus and method for tracking location of surgical tools in three dimension space based on two-dimensional image
KR102249769B1 (ko) * 2019-12-06 2021-05-12 주식회사 모빌테크 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
WO2021112462A1 (ko) * 2019-12-06 2021-06-10 주식회사 모빌테크 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법

Similar Documents

Publication Publication Date Title
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
Murase et al. Moving object recognition in eigenspace representation: gait analysis and lip reading
US9589177B2 (en) Enhanced face detection using depth information
CN110998659B (zh) 图像处理系统、图像处理方法、及程序
US7929728B2 (en) Method and apparatus for tracking a movable object
EP2531980B1 (en) Depth camera compatibility
EP2531979B1 (en) Depth camera compatibility
JP2019125057A (ja) 画像処理装置及びその方法、プログラム
JP2004334819A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
KR20210051242A (ko) 멀티 렌즈 영상 복원 장치 및 방법
JP6521626B2 (ja) 被写体追跡装置、方法およびプログラム
KR100640761B1 (ko) 단일카메라 기반의 영상 특징점의 3차원 위치 검출방법
US20180213201A1 (en) Generating a disparity map based on stereo images of a scene
CN111383252A (zh) 多相机目标追踪方法、系统、装置及存储介质
CN113822942A (zh) 一种基于二维码的单目摄像头测量物体尺寸的方法
Satish et al. Hardware implementation of template matching algorithm and its performance evaluation
Tasson et al. FPGA-based pedestrian detection under strong distortions
KR100649384B1 (ko) 저조도 환경에서의 영상특징 추출방법
JP2007200364A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
CN111126508A (zh) 一种基于hopc改进的异源图像匹配方法
Pandey et al. Implementation of 5-block convolutional neural network (cnn) for saliency improvement on flying object detection in videos
KR20160049639A (ko) 부분 선형화 기반의 3차원 영상 정합 방법
Bai et al. An integrated design of a smartphone interface with multiple image processing methods to reduce shining light from a digital projector
KR101156547B1 (ko) 알지비 이미지 및 깊이 이미지를 이용한 얼굴 및 손 탐색 방법
CN112016495A (zh) 人脸识别的方法、装置和电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120711

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20120720

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140924

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160722

Year of fee payment: 10

R401 Registration of restoration
LAPS Lapse due to unpaid annual fee