KR20030072880A

KR20030072880A - 영상신호로부터 대상물체를 추적하는 방법 및 그 장치

Info

Publication number: KR20030072880A
Application number: KR1020020012155A
Authority: KR
Inventors: 이성희; 이종하
Original assignee: 삼성전자주식회사
Priority date: 2002-03-07
Filing date: 2002-03-07
Publication date: 2003-09-19
Also published as: DE60301987T2; EP1343067A2; DE60301987D1; EP1343067B1; US20030185434A1; JP4663966B2; US7263207B2; EP1343067A3; KR100480780B1; JP2004005462A

Abstract

본 발명은 카메라로 촬영된 영상신호를 분석하여 소정의 대상물체의 위치, 자세 및 방향정보를 추정하는 방법 및 장치에 관한 것이다. 본 발명에 따른 카메라 영상을 통한 대상물체의 움직임 추적장치는 상기 카메라의 내부 파라미터를 구하는 카메라 켈리브레이션부, 상기 카메라로부터 특징점들이 표시된 대상물의 영상신호를 입력받고, 상기 영상신호의 왜곡을 제거하는 카메라 왜곡보상부, 상기 왜곡이 제거된 영상신호를 입력받아 상기 대상물에 표시된 특징점의 2차원좌표를 추출하는 특징점 좌표추출부 및 상기2차원좌표 값, 상기 내부 파라미터 값 및 상기 대상물에 표시되어 있는 특징점의 3차원좌표 값에 기초하여 상기 대상물의 위치, 자세 및 방향을 추정하여 외부로 출력하는 대상물의 위치, 자세 및 방향 추정부를 포함하는 것을 특징으로 한다.

본 발명에 따르면 본 발명에 따르면 소정의 대상물에 특징점을 표시하고 이를 촬영한 영상신호를 처리하여 상기 대상물의 위치, 자세 및 방향 정보를 추정할 수 있게 된다.

Description

영상신호로부터 대상물체를 추적하는 방법 및 그 장치{Method and apparatus for tracking an object from video data }

본 발명은 카메라로 촬영된 영상신호를 분석하여 소정의 대상물체의 위치, 자세 및 방향정보를 추정하는 방법 및 장치에 관한 것으로, 특히 본 발명은 헤드 마운트 디스플레이(HMD, Head Mounted Display) 장치의 위치, 자세 및 방향을 추적하여 사용자가 바라보는 방향에 대응되는 영상을 출력하는 장치에 관한 것이다.

HMD(Head Mounted Display)는 사용자의 머리에 장착되어 사용자의 눈 가까이에서 영상을 디스플레이하는 장치이다. HMD가 가상 현실과 같이 사용자의 움직임과의 상호작용(interaction)이 필요한 분야에 사용되기 위해서는 사용자의 머리의 위치, 자세 및 방향에 대한 정보를 감지하는 장치가 필요하게 된다.

사용자에 대한 정보를 감지하는 수준은 그 목적에 따라서 다양한데 (예를 들어 마우스나 조이스틱과 같이 사용자의 버튼 조작을 입력으로 받는 수준에서부터 사용자의 전신의 관절각을 감지하여 이를 이용하는 수준까지) HMD와 관련한 최저수준의 사용자 감지 장치는 사용자의 머리의 위치 및 자세를 감지하여 HMD에 디스플레이하는 영상을 결정하는데 이용하는 장치이다.

현재 일반적으로 사용되고 있는 사용자 머리 추적 장치는 자이로스코프를 이용한 장치이다 ( 자이로스코프를 HMD에 이용한 특허 - US 6162191). 이는 자이로스코프를 HMD에 부착하여 사용자의 머리를 추적하는 장치이나 자이로스코프의 특성상 사용자의 자세를 감지할 뿐 위치를 감지할 수는 없는 한계를 가지며, 또한 HMD에 장착해야 하기 때문에 HMD가 무거워지고, 사용자의 움직임을 감응하는 속도가 느린 단점이 있다.

두 번째로 이용되는 사용자 머리 추적 장치는 자기 센서를 이용한 장치이다 ( 자기 센서 추적 장치 특허 - US 3983474 ). 자기 센서는 사용자 머리의 움직임을 정밀하게 측정하는 것이 가능하나, 자이로스코프의 경우와 마찬가지로 자기 센서를 HMD에 장착하기 때문에 HMD가 무거워지고 주변에 금속성의 물체가 존재할 때 이로 인한 측정의 왜곡이 생긴다.

세 번째로 사용자의 머리 추적 장치로서 컴퓨터 비전 기술을 이용한 방법이 제시되고 있다. US 5742263, US 5856844는 HMD에 카메라를 장착하고 카메라가 비추는 벽에 마커를 부착하여 이를 인식함으로써 사용자의 위치 및 자세를 감지할 수 있다. 그러나 이 방법은 전술한 방법과 마찬가지로 HMD의 무게를 증가시키며, 실내에 마커(marker)를 부착해야 하기 때문에 특별히 꾸며진 공간이외의 장소에서는 기능을 수행 할 수 없고 일반 가정에서 사용할 수 없는 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는 특징점이 표시된 HMD 등의 대상물체를 촬영한 영상신호를 통하여 상기 대상물체의 움직임을 추적하는 장치 및 방법을 제공하는데 있다.

또한 본 발명이 이루고자 하는 기술적 과제는 본 발명에 따른 영상신호를 통한 대상물체의 움직임 추적장치를 이용한 화면출력장치를 제공하는데 있다.

도 1은 본 발명에 따른 카메라 영상신호를 통한 대상물체의 위치, 자세 및 방향을 추적하는 장치의 바람직한 실시예의 기능적 블럭도이다.

도 2는 도 1의 특징점 결정부의 세부적인 기능적 블록도이다.

도 3은 본 발명에 따른 카메라 영상신호를 통한 대상물체의 위치, 자세 및 방향을 추적하는 장치를 적용한 개인용 디스플레이 장치의 바람직한 실시예의 기능적 블록도이다.

도 4는 본 발명에 따른 카메라 영상신호를 통한 대상물체의 위치, 자세 및 방향을 추적하는 방법의 바람직한 실시예를 순서도로 보이고 있다.

도 5는 도 4의 403단계의 세부적인 방법을 순서도로 보이고 있다.

도 6은 본 발명을 적용하여 HMD(Head Mounted Display)의 방향을 추정한 바람직한 실시예를 보이고 있다.

도 7은 카메라의 켈리브레이션의 원리를 보이고 있다.

도 8은 형태학적 영상처리기법으로 특징점 영역에서 노이즈를 제거한 바람직한 실시예를 보이고 있다.

도 9a는 왜곡을 제거하기 전의 카메라로부터 입력받은 영상을 보이고 있으며, 도 9b는 위 영상에서 왜곡이 제거된 영상을 보이고 있다.

도 10은 카메라의 내부 파라미터를 구하기 위한 테스트 영상의 바람직한 예를 보이고 있다.

도 11은 카메라의 내부 파라미터를 구한 바람직한 예를 보이고 있다.

도 12는 도 10의 테스트 영상에서 체크 무늬 판넬의 위치 및 자세를 추정한 결과를 보이고 있다.

상기 문제점을 해결하기 위한 본 발명에 따른 카메라 영상을 통한 대상물체의 움직임 추적장치는 카메라의 특성을 나타내는 내부 파라미터를 구하는 카메라 켈리브레이션부, 상기 카메라로부터 적어도 하나 이상의 특징점이 표시된 소정의 대상물이 촬영된 영상신호를 입력받고, 상기 입력받은 영상신호의 왜곡을 상기 카메라의 내부 파라미터 값을 이용하여 제거하는 카메라 왜곡보상부, 상기 카메라 왜곡보상부로부터 왜곡이 제거된 상기 영상신호를 입력받아 상기 대상물의 특징점의 상기 영상에서의 2차원좌표를 추출하는 특징점 좌표추출부 및 상기 특징점 좌표추출부로부터 입력받은 상기 2차원좌표 값, 상기 카메라 켈리브레이션부로부터 입력받은 상기 카메라의 내부 파라미터 값 및 상기 대상물에 표시되어 있는 특징점의 3차원좌표 값에 기초하여 상기 대상물의 위치, 자세 및 방향을 추정하여 외부로 출력하는 대상물의 위치, 자세 및 방향 추정부를 포함하는 것을 특징으로 한다.

또한 상기 카메라 영상을 통한 대상물체의 움직임 추적장치의 상기 특징점 좌표추출부는 상기 카메라 왜곡보상부로부터 왜곡이 제거된 상기 영상신호를 입력받아 특징점에 해당하는 화소들의 각 색상 값에 기초하여 각각의 색에 다른 라벨을할당하여 주요특징점과 부가 특징점을 구분하는 특징점 라벨링부, 상기 특징점 라벨링부로부터 상기 주요특징점 및 부가 특징점 정보를 제공받아, 상기 특징점 영역들에 존재하는 노이즈를 제거하는 노이즈 제거부 및 상기 노이즈 제거부로부터 노이즈가 제거된 주요특징점 및 부가 특징점 정보를 제공받고, 상기 영상에서의 상기 특징점들의 2차원좌표 값을 구하는 특징점 결정부를 포함하는 것을 특징으로 할 수 있다.

또한 상기 카메라 영상을 통한 대상물체의 움직임 추적장치의 상기 특징점 좌표추출부는 상기 특징점 결정부로부터 상기 영상신호의 특징점의 2차원좌표정보를 제공받아, 상기 특징점의 움직임을 예측하는 움직임 예측부를 더 포함하는 것을 특징으로 할 수 있으며, 상기 특징점 결정부는 상기 노이즈 제거부로부터 노이즈가 제거된 라벨링된 영상신호를 입력받고, 상기 영상에 존재하는 각 특징점의 영역에 해당하는 픽셀들의 연결정보를 기초로 특징점 영역을 상기 영상에서 구분하는 연결정보 해석부, 상기 연결정보 해석부로부터 상기 특징점 영역 정보를 입력받고, 상기 대상물에 표시된 특징점들의 크기 정보 또는 각 특징점들간의 관계정보에 기초하여 특상기 특징점 영역 중에서 실제로 특징점이 아닌 영역을 제거하여 특징점 영역을 추출하는 특징점 추출부 및 상기 추출된 특징점 영역 정보를 제공받고, 상기 특징점 픽셀들의 좌표 값의 평균을 구하여 상기 특징점의 좌표값을 구하는 1차 모멘트 계산부를 포함하는 것을 특징으로 한다.

또한 상기 카메라 영상을 통한 대상물체의 움직임 추적장치의 상기 대상물의 위치, 자세 및 방향 추정부는 상기 카메라의 켈리브레이션부로부터 제공받은 상기카메라의 내부 파라미터 값, 상기 특징점 결정부로부터 제공받은 상기 특징점들의 좌표값, 상기 대상물에 표시된 특징점들의 3차원좌표값에 기초하여 상기 대상물의 위치, 자세 정보를 추정하는 자세 및 위치추정부 및 상기 특징점 결정부로부터 제공받은 상기 특징점들의 좌표값 중에서 주요특징점의 좌표값에 기초하여 상기 대상물이 촬영된 방향정보를 추정하는 방향 추정부를 포함하는 것을 특징으로 할 수 있다.

상기 문제점을 해결하기 위한 본 발명에 따른 화면출력장치는 하나 이상의 특징점이 표시되어 있는 소정의 대상물을 촬영하여 제1 영상신호를 발생시키는 영상 입력부, 상기 제1 영상신호를 처리하여 상기 대상물의 위치, 자세 및 방향정보를 추출하는 위치, 자세 및 방향 추적부, 상기 대상물의 위치, 자세 및 방향 정보를 입력받아, 상기 대상물의 위치, 자세 및 방향정보에 대응되는 제2 영상을 사용자에게 제공하도록 하는 제어신호를 발생시키는 화면출력 제어부 및 상기 제어신호에 따라서 상기 제2 영상신호를 사용자에게 제공하는 화면출력부를 포함하는 것을 특징으로 한다.

또한 상기 화면출력장치의 상기 위치, 자세 및 방향 추적부는 카메라의 특성을 나타내는 내부 파라미터를 구하는 카메라 켈리브레이션부, 상기 카메라로부터 적어도 하나 이상의 특징점이 표시된 소정의 대상물이 촬영된 영상신호를 입력받고, 상기 입력받은 영상신호의 왜곡을 상기 카메라의 내부 파라미터 값을 이용하여 제거하는 카메라 왜곡보상부, 상기 카메라 왜곡보상부로부터 왜곡이 제거된 상기 영상신호를 입력받아 상기 대상물의 특징점의 상기 영상에서의 2차원좌표를 추출하는 특징점 좌표추출부 및 상기 특징점 좌표추출부로부터 입력받은 상기 2차원좌표 값, 상기 카메라 켈리브레이션부로부터 입력받은 상기 카메라의 내부 파라미터 값 및 상기 대상물에 표신되어 있는 특징점의 3차원좌표 값에 기초하여 상기 대상물의 위치, 자세 및 방향을 추정하여 외부로 출력하는 대상물의 위치, 자세 및 방향 추정부를 포함하는 것을 특징으로 한다.

상기 문제점을 해결하기 위한 본 발명에 따른 카메라 영상을 통한 대상물체의 움직임 추적방법은 (a) 카메라의 내부 파라미터 값을 구하는 단계, (b) 상기 카메라로부터 영상신호를 입력받는 단계, (c) 상기 입력받은 영상에서의 특징점들의 2차원 좌표값을 계산하는 단계 및 (d) 상기 내부 파라미터 값, 상기 특징점들의 좌표값에 기초하여 상기 대상물의 방향, 위치 및 자세 정보를 추정하여 출력하는 단계를 포함하는 것을 특징으로 한다.

또한 상기 카메라 영상을 통한 대상물체의 움직임 추적방법의 상기 (c) 단계는 (c1) 상기 영상신호에 포함되어 있는 대상물에 표시된 특징점의 영역을 추출하는 단계, (c2) 상기 특징점 영역의 노이즈를 제거하는 단계 및 (c3) 상기 입력받은 영상에서의 특징점들의 2차원 좌표값을 계산하는 단계를 포함하는 것을 특징으로 한다.

또한 상기 카메라 영상을 통한 대상물체의 움직임 추적방법의 상기 (c3) 단계는 상기 특징점들의 움직임을 예측하여 구하는 것을 특징으로 한다.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 위 실시예에서는 움직임이 추적되는 대상물체로써 HMD의 움직임을 추적하는 예이다.

본 발명에 따라 움직임이 추적되는 대상물체인 HMD는 특징점이 표시되어 있다. 상기 HMD의 특징점은 HMD의 전영역에 부착되어 있으며 따라서 어느 한 방향에서 상기 HMD를 촬영하는 경우 상기 특징점들 중에서 가려져 촬영되지 않는 특징점들이 있게 된다. 따라서 촬영된 영상이 대략적으로 어떤 자세를 취하고 있는지 알기 위해서는 촬영된 특징점이 상기 HMD의 어느 부위에 표시된 특징점인지를 판별할 수 있어야 한다. 이하에서 설명되는 실시예의 HMD에서는 이를 위해 일정 간격으로 다른 색이나 모양의 특징점(중요특징점)을 부착하였으며, 정확한 자세와 위치를 추정하기 위해 부가적인 특징점(부가특징점)들을 부착하였다. 중요특징점은 상기 HMD를 어느 방향에서 촬영하든 적어도 1개 이상이 촬영되도록 표시되어야 하며, 그 각각은 특징점들의 상호관계나 색상, 모양 등에 의해 구분 가능해야 한다. 부가특징점은 중요특징점들로부터 추정된 HMD의 방향 정보를 기반으로 중요특징점들과 함께 HMD의 정확한 자세와 위치를 계산하기 위해 부착이 된다.

도 1은 본 발명에 따른 영상신호를 통한 대상물체의 움직임 추적장치의 바람직한 실시예의 기능적 블록도이다. 본 발명에 따른 영상신호를 통한 대상물체의 움직임 추적장치는 카메라 켈리브레이션부(101), 카메라 왜곡 보상부(102), 특징점 좌표 추출부(103), 대상물의 위치, 자세 및 방향 추정부(104)를 포함하며, 상기 특징점 좌표 추출부(103)는 특징점 라벨링부(1031), 노이즈 제거부(1032), 특징점 결정부(1033)를 포함하며, 여기에 움직임 예측부(1034)를 더 포함할 수 있다. 또한 상기 대상물의 위치, 자세 및 방향 추정부(104)는 자세 및 위치 예측부(1041), 방향 추정부(1042)를 포함한다.

상기 카메라 켈리브레이션부(101)는 외부로붙 테스트 영상신호를 입력받아 움직임을 추정할 대상물을 촬영하는 카메라의 내부 파라미터를 켈리브레이션을 통하여 구한다. 도 10은 카메라의 내부 파라미터를 구하기 위한 테스트 영상의 바람직한 예를 보이고 있으며, 도 7은 카메라의 켈리브레이션의 원리를 보이고 있다. 이하에서는 도 7을 참조하여 켈리브레이션을 통하여 카메라의 파라미터를 구하는 방법을 설명한다.

먼저 카메라의 내부 파라미터 A는 수학식 1을 통하여 구할 수 있다.

, 여기서 ({c}_{x}, {c}_{y})는 도 7의 principle point의 좌표를 의미하며, ({f}_{x}, {f}_{y})는 focal lengths를 의미한다.

그리고 카메라의 외부 파라미터는 [Rt]는 다음의 수학식 2를 통하여 구할 수 있다.

[Rt] == R·t

여기서 R은 로테이션 매트릭스로의 값을 가지며, t는 translation vector로의 값을 갖는다.

또한 카메라에 촬영된 대상물체에 표시된 소정의 점의 3차원좌표 값 과 상기 카메라로 상기 대상물체를 촬영한 영상에 나타난 상기 점의 2차원좌표 값과의 관계식은 다음의 수학식 3에 의해서 나타내 진다.

m== A·[R·t]·M

여기서 M은 실제 대상물에 표시된 소정의 점(위치)의 3차원 좌표 값을 의미하며, m은 투영된 2차원 좌표 값을 의미한다.

카메라는 카메라의 특성을 나타내는 내부 파라미터(intrinsic parameter)와 위치와 자세를 나타내는 외부 파라미터(extrinsic parameter)를 사용하여 모델링이 가능하며 그 파라미터 형태는 위에서 기술한 바와 같으며, 도 11은 카메라의 내부 파라미터를 구한 바람직한 예를 보이고 있다.

상기 카메라 왜곡 보상부(102)는 외부로부터 움직임을 추적할 대상물체를 촬영한 2차원 디지털 영상신호를 입력받고, 상기 카메라 켈리브레이션부(101)로부터 상기 카메라의 내부 파라미터 값을 입력받는다. 그리고 상기 내부 파라미터 값에 기초하여 상기 입력받는 영상신호에 존재하는 왜곡을 제거한다. 위 왜곡은 주로 카메라는 특히 렌즈에서 발생하며 이것은 4개의 왜곡 계수를 구해서 보정이 가능한데, 일반적인 랜즈의 왜곡은 랜즈의 곡면에 의한 radial distortion이며 이는 2개의 왜곡 계수()만으로 보정이 가능하다.

왜곡계수 K == {[{k}_{1}, {k}_{2}]}^{T}는 다음 수학식 4 및 수학식 5를 만족한다.

여기서,

(x, y)는 ideal normalized image coordinates이고,

는 real normalized image coordinates이다.

여기서,

(u,v)는 ideal(distortion-free) pixel image coordinates이고,

는 real(distorted) observed image coordinates이고,

(x, y)는 ideal normalized image coordinates이고,

는 real normalized image coordinates이고,

,이고,

{u}_{0}, {v}_{0}, α, β는 카메라의 내부 파라미터이다.

카메라의 내부 파라미터 값을 아는 경우에는 수학식 5로부터 수학식 6을 얻을 수 있다.

⇔ DK==d이고,

그러면 K=={({D}^{T}D)}^{-1}{D}^{T}d이다.

위 식을 이용하여 {k}_{1}, {k}_{2}를 구하면 왜곡이 보정된 영상을 구할 수 있으며, 도 9A는 왜곡을 제거하기 전의 카메라로부터 입력받은 영상을 보이고 있으며, 도 9B는 위 영상에서 왜곡이 제거된 영상을 보이고 있다.

상기 특징점 라벨링부(1031)는 상기 카메라 왜곡 보상부(102)로부터 왜곡이 보상된 특징점이 표시된 HMD를 촬영한 영상신호를 입력받는다. 그리고 위 HMD 영상으로부터 각 색상에 대한 이진화를 통해서 특징점에 해당하는 화소들을 얻는다. 이때 각각의 색에 대해 다른 라벨을 할당하여 중요특징점들 각각과 부가특징점들을 구분할 수 있으며, 이렇게 얻어진 영상을 라벨링 영상이라 한다.

이러한 라벨링 과정은 다음의 수학식 7을 통하여 수행된다.

여기서, l(x,y)는 포인트(x,y)의 라벨(label)을 의미하고 {p}_{c}(x,y)는 칼라채널(color channel) c와 포인트(x,y)의 세기값(intensity value)을 의미하고 L은 라벨 번호를 의미하고, {T }`_{n,c } ^{upper } 과 {T}`_{n,c}^{lower}는 채널 c와 라벨n의 위와 아래의 문턱 값을 의미하고,는 조건을 만족하는 집합을 의미한다.

위의 수학식 7을 통하여 세기 값(intensity value)가 0에서 L까지인 그레이(gray) 영상 즉 라벨링(labeling) 영상을 얻는다.

상기 노이즈 제거부(1032)는 상기 특징점 라벨링부(1031)로부터 라벨링된 영상신호를 입력받아 노이즈를 제거하는 기능을 수행한다. 상기 라벨링 영상은 거의 대부분 배경이나 노이즈에 의해 영향을 받게되는데, 이러한 노이즈들은 오프닝 기법(opening)과 같은 형태학적 영상처리 방법을 통하여 제거되며, 도 8은 형태학적 영상처리기법으로 특징점 영역에서 노이즈를 제거한 바람직한 실시예를 보이고 있다.

상기 특징점 결정부(1033)는 상기 노이즈가 제거된 영상으로부터 특징점들의 2차원좌표를 구하거나, 움직임 예측부(1034)로부터 예측된 특징점들의 2차원좌표 값을 대상물의 위치, 자세 및 방향 추정부(104)에 제공한다. 이 단계에서 상기 노이즈가 제거된 영상으로부터 구해진 특징점들의 2차원좌표과 상기 움직임 예측부(1034)로부터 제공받은 특징점들의 2차원좌표 중 어느 좌표값을 출력할 것인지는 사용자의 선택에 의해 결정할 수 있다. 상기 노이즈가 제거된 영상으로부터 구해진 특징점들의 2차원좌표 값은 정확도가 높으나, 상기 움직임 예측부(1034)로부터 제공받은 특징점들의 2차원좌표 값을 이용하면 특징점의 위치추적을 빠른 속도로 할 수 있는 장점이 있게된다.

도 2는 도 1의 특징점 결정부의 세부적인 기능적 블록도를 보이고 있다. 먼저 연결정보 해석부(201)는 노이즈가 제거된 라벨링 영상신호를 입력받는다. 이러한 라벨링 영상은 각각의 라벨 값을 밝기 강도라고 가정하면 일종의 그레이 영상과 유사하며, 이러한 영상에 대해 동일한 색의 특징점 영역을 구분 짓기 위해서 각 특징점 영역에 대한 픽셀들의 연결정보를 얻어서 모든 특징점 영역을 구분하게 된다.

특징점 추출부(202)는 상기 연결정보 해석부(201)로부터 연결정보를 통해서 얻어진 특징점 영역에 관한 정보를 제공받고, 상기 특징점 영역으로 판별된 영역 중에서 일부 매우 작은 영역이나 특징점들 간의 관계에 대한 정의를 통해서 특징점이 아닌 영역을 제거한다. 이러한 과정을 통하여 최종적으로 라벨링된 각각의 영역은 2차원 영상에서 특징점에 해당하는 영역이 된다.

1차 모멘트 계산부(203)는 상기 특징점 추출부(202)로부터 특징점 영역에 라벨링된 2차원 영상을 입력받고 상기 특징점 영역의 중심점 좌표를 구한다. 상기 좌표를 구하는 방법은 1차 모멘트 즉, 각 특징점 영역의 중심에 대한 평균을 구함으로써 얻을 수 있다.

상기 움직임 예측부(1034)는 상기 특징점 결정부(1033)로부터 특징점의 2차원 좌표 값을 제공받는다, 그리고 칼라 히스토그램(color histogram)과 칼만 필터(Kalman filter)를 사용한 칼라 대상 추적방법(color object tracking)을 통하여 상기 영상의 다음 프레임에서 상기 특징점의 움직임을 예측하여 그 위치를 추적하는 기능을 수행한다. 이하에서는 특징점의 움직임을 예측하여 그 위치를 추적하는 방법을 설명한다.

N 번째 프레임에서 i 번째의 특징점 ( { f}`_{i } ^{N } , i=1,2,...,I) 영역의 칼라 히스토그램(color histogram) ({h}_{j}, j=1,2,...,J) 을 구한다. 그리고 N+1 번째 프레임에서 { f}`_{i } ^{N }을 중심으로 하는 검색영역에 대해 칼라 히스토그램({H}_{j})을 구한다. 여기서 I와 J는 검출된 특징점의 수와 히스토그램의 빈(bin)수를 각각 의미한다. 그 후에 검색영역에서 히스토그램 확률을 구한다.

검색 영역에서 각 픽셀에서의 해당 특징점일 확률은 픽셀의 bin 숫자에 해당하는 histogram 확률이 되며 이것을 histogram 확률맵이라고 한다. 위에서 구한 히스토그램(histogram) 확률맵과 여기에 weighting을 줄 수 있는 커넬(kernel)인 칼만 필터(Kalman filter) 을 곱한다. 이 결과에 대해 좌표값에 대한 평균을 구하면 이것이 N+1 번째 프레임에서의 i 번째 특징점 {f}`_{i} ^{N+1} 의 좌표값이 된다. 이에 대한 반복을 통해 특징점을 추적하게 된다.

상기 자세 및 위치 예측부(1041)는 상기 카메라 켈리브레이션부(101)로부터 카메라의 내부 파라미터 값을 입력받고, 상기 특징점 결정부로부터 특징점들의 2차원 좌표값을 입력받는다. 그리고고, 상기 카메라의 내부 파라미터 값, 특징점들의 2차원 좌표값 및 상기 HMD에 표시된 특징점들의 3차원좌표값에 기초하여 상기 수학식 2를 이용하여 상기 HMD의 자세 및 위치 정보를 포함하는 카메라의 외부 파라미터 [Rt]의 값을 구하여 외부로 출력하는 기능을 수행한다. 카메라의 외부파라미터를 이용하여 위치 및 자세를 추정한 예인 도 12는 도 10의 테스트 영상에서 체크무늬 판넬의 위치 및 자세를 추정한 결과를 보이고 있다.

상기 방향 추적부(1042)는 상기 특징점 결정부91033)으로부터 HMD를 촬영한 영상에 나타난 특징점들의 2차원 좌표 값을 입력받아, 상기 특징점들중에서 중요특징점이 상기 HMD의 어는 부위에 표시된 것인가를 판단하여 카메라의 HMD에 대한 대략적인 시점을 판정하여 외부로 출력하는 기능을 수행한다. 도 6은 본 발명을 적용하여 HMD(Head Mounted Display)의 방향을 추정한 바람직한 실시예를 보이고 있다.

도 3은 본 발명에 따른 카메라 영상신호를 통한 대상물체의 위치, 자세 및 방향을 추적하는 장치를 적용한 개인용 디스플레이 장치(HMD)의 바람직한 실시예의 기능적 블록도이다. 먼저 영상입력부(301)는 사용자의 머리에 부착되어 있는 HMD를 외부 카메라에 촬영한 영상을 입력받아 위치, 자세 및 방향 추정부(302)에 제공하는 기능을 수행한다.

상기 위치, 자세 및 방향 추정부(302)는 상기 HMD를 촬영한 영상신호로부터 상기 HMD의 위치 및 자세 정보와 HMD를 촬영한 시점 정보 즉 HMD의 방향정보를 추출하여 상기 위치, 자세 및 방향정보를 화면출력 제어부(303)으로 출력한다.

상기 화면 출력제어부(303)은 상기 위치, 자세 및 방향정보을 입력받아 화면 출력부를 제어하는 제어신호를 발생시킨다.

화면출력부(304)는 화면 출력 제어부로부터 제어신호를 입력받고, 상기 제어신호에 따라서 HMD의 위치, 자세 및 방향정보에 대응하는 영상신호를 화면에 출력하는 기능을 수행한다.

도 4는 본 발명에 따른 카메라 영상신호를 통한 대상물체의 위치, 자세 및방향을 추적하는 방법의 바람직한 실시예를 순서도로 보이고 있다. 먼저 카메라의 내부 파라미터를 구하고(401), 그 후에 위 카메라로부터 위치, 자세 및 방향 정보를 추정할 대상물이 촬영된 영상신호를 입력받는다(402). 그 후에 위 입력받은 영상신호에서 위 대상물에 표시된 특징점들의 2차원 좌표값을 계산(403)한다. 그리고 상기 내부 파라미터 값, 위 특징점들의 2차원 좌표값 및 위 대상물에 표시된 특징점들의 3차원 좌표값에 기초하여 위 대상물의 위치, 자세 및 방향 정보를 추출하여 외부로 출력(404)한다.

도 5는 도 4의 403단계의 세부적인 방법을 순서도로 보이고 있다. 먼저 위 영상신호에 포함된 대상물의 영상에서 특징점 영역을 추출(501)하고, 위 특징점 영역의 노이즈를 제거(502)한 후에 위 특징점들의 2차원 좌표값을 계산(503)한다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 씨디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

본 발명에 따르면 소정의 대상물에 특징점을 표시하고 이를 촬영한 영상신호를 처리하여 상기 대상물의 위치, 자세 및 방향 정보를 추정할 수 있게 됨에 따라, 상기 대상물(예를 들면 HMD)에 카메라 혹은 센서(자기 센서 혹은 자이로스코프 등)를 부착하지 않아도 된다. 따라서 상기 대상물의 무게를 줄일 수 있게되어 사용자가 상기 대상물을 신체에 착용하기 쉬운 효과가 있다.

또한 자기센서를 이용한 경우와 같이 주변에 금속성 물체에 의한 왜곡이 없으며, 또한 자이로스크프를 이용한 경우와 같은 종래기술의 대상물의 위치를 측정할 수 없는 단점을 극복하는 효과가 있으며, 대상물을 추적하는 센서로 카메라를 이용함으로써 운반성이 좋은 효과가 있다.

Claims

카메라의 특성을 나타내는 내부 파라미터를 구하는 카메라 켈리브레이션부;

상기 카메라로부터 적어도 하나 이상의 특징점이 표시된 소정의 대상물이 촬영된 영상신호를 입력받고, 상기 입력받은 영상신호의 왜곡을 상기 카메라의 내부 파라미터 값을 이용하여 제거하는 카메라 왜곡보상부;

상기 카메라 왜곡보상부로부터 왜곡이 제거된 상기 영상신호를 입력받아 상기 대상물의 특징점의 상기 영상에서의 2차원좌표를 추출하는 특징점 좌표추출부; 및

상기 특징점 좌표추출부로부터 입력받은 상기 2차원좌표 값, 상기 카메라 켈리브레이션부로부터 입력받은 상기 카메라의 내부 파라미터 값 및 상기 대상물에 표시되어 있는 특징점의 3차원좌표 값에 기초하여 상기 대상물의 위치, 자세 및 방향을 추정하여 외부로 출력하는 대상물의 위치, 자세 및 방향 추정부를 포함하는 것을 특징으로 하는 카메라 영상을 통한 대상물체의 움직임 추적장치.
제1항에 있어서, 상기 특징점 좌표추출부는

상기 카메라 왜곡보상부로부터 왜곡이 제거된 상기 영상신호를 입력받아 특징점에 해당하는 화소들의 각 색상 값에 기초하여 각각의 색에 다른 라벨을 할당하여 주요특징점과 부가 특징점을 구분하는 특징점 라벨링부;

상기 특징점 라벨링부로부터 상기 주요특징점 및 부가 특징점 정보를 제공받아, 상기 특징점 영역들에 존재하는 노이즈를 제거하는 노이즈 제거부; 및

상기 노이즈 제거부로부터 노이즈가 제거된 주요특징점 및 부가 특징점 정보를 제공받고, 상기 영상에서의 상기 특징점들의 2차원좌표 값을 구하는 특징점 결정부를 포함하는 것을 특징으로 하는 카메라 영상을 통한 대상물체의 움직임 추적장치.
제2항에 있어서, 상기 특징점 좌표추출부는

상기 특징점 결정부로부터 상기 영상신호의 특징점의 2차원좌표정보를 제공받아, 상기 특징점의 움직임을 예측하는 움직임 예측부를 더 포함하는 것을 특징으로 하는 카메라 영상을 통한 대상물체의 움직임 추적장치.
제2항에 있어서, 상기 특징점 결정부는

상기 노이즈 제거부로부터 노이즈가 제거된 라벨링된 영상신호를 입력받고, 상기 영상에 존재하는 각 특징점의 영역에 해당하는 픽셀들의 연결정보를 기초로 특징점 영역을 상기 영상에서 구분하는 연결정보 해석부;

상기 연결정보 해석부로부터 상기 특징점 영역 정보를 입력받고, 상기 대상물에 표시된 특징점들의 크기 정보 또는 각 특징점들간의 관계정보에 기초하여 특상기 특징점 영역 중에서 실제로 특징점이 아닌 영역을 제거하여 특징점 영역을 추출하는 특징점 추출부; 및

상기 추출된 특징점 영역 정보를 제공받고, 상기 특징점 픽셀들의 좌표 값의 평균을 구하여 상기 특징점의 좌표값을 구하는 1차 모멘트 계산부를 포함하는 것을 특징으로 하는 카메라 영상을 통한 대상물체의 움직임 추적장치.
제1항에 있어서, 상기 대상물의 위치, 자세 및 방향 추정부는

상기 카메라의 켈리브레이션부로부터 제공받은 상기 카메라의 내부 파라미터 값, 상기 특징점 결정부로부터 제공받은 상기 특징점들의 좌표값, 상기 대상물에표시된 특징점들의 3차원좌표값에 기초하여 상기 대상물의 위치, 자세 정보를 추정하는 자세 및 위치추정부; 및

상기 특징점 결정부로부터 제공받은 상기 특징점들의 좌표값 중에서 주요특징점의 좌표값에 기초하여 상기 대상물이 촬영된 방향정보를 추정하는 방향 추정부를 포함하는 것을 특징으로 하는 카메라 영상을 통한 대상물체의 움직임 추적장치.
하나 이상의 특징점이 표시되어 있는 소정의 대상물을 촬영하여 제1 영상신호를 발생시키는 영상 입력부;

상기 제1 영상신호를 처리하여 상기 대상물의 위치, 자세 및 방향정보를 추출하는 위치, 자세 및 방향 추적부;

상기 대상물의 위치, 자세 및 방향 정보를 입력받아, 상기 대상물의 위치, 자세 및 방향정보에 대응되는 제2 영상을 사용자에게 제공하도록 하는 제어신호를 발생시키는 화면출력 제어부; 및

상기 제어신호에 따라서 상기 제2 영상신호를 사용자에게 제공하는 화면출력부를 포함하는 것을 특징으로 하는 화면출력장치.
제6항에 있어서, 상기 위치, 자세 및 방향 추적부는

카메라의 특성을 나타내는 내부 파라미터를 구하는 카메라 켈리브레이션부;

상기 카메라로부터 적어도 하나 이상의 특징점이 표시된 소정의 대상물이 촬영된 영상신호를 입력받고, 상기 입력받은 영상신호의 왜곡을 상기 카메라의 내부파라미터 값을 이용하여 제거하는 카메라 왜곡보상부;

상기 카메라 왜곡보상부로부터 왜곡이 제거된 상기 영상신호를 입력받아 상기 대상물의 특징점의 상기 영상에서의 2차원좌표를 추출하는 특징점 좌표추출부; 및

상기 특징점 좌표추출부로부터 입력받은 상기 2차원좌표 값, 상기 카메라 켈리브레이션부로부터 입력받은 상기 카메라의 내부 파라미터 값 및 상기 대상물에 표신되어 있는 특징점의 3차원좌표 값에 기초하여 상기 대상물의 위치, 자세 및 방향을 추정하여 외부로 출력하는 대상물의 위치, 자세 및 방향 추정부를 포함하는 것을 특징으로 하는 화면출력장치.
(a) 카메라의 내부 파라미터 값을 구하는 단계;

(b) 상기 카메라로부터 영상신호를 입력받는 단계;

(c) 상기 입력받은 영상에서의 특징점들의 2차원 좌표값을 계산하는 단계; 및

(d) 상기 내부 파라미터 값, 상기 특징점들의 좌표값에 기초하여 상기 대상물의 방향, 위치 및 자세 정보를 추정하여 출력하는 단계를 포함하는 것을 특징으로 하는 카메라 영상을 통한 대상물체의 움직임 추적방법.
제8항에 있어서, 상기 (c) 단계는

(c1) 상기 영상신호에 포함되어 있는 대상물에 표시된 특징점의 영역을 추출하는 단계;

(c2) 상기 특징점 영역의 노이즈를 제거하는 단계; 및

(c3) 상기 입력받은 영상에서의 특징점들의 2차원 좌표값을 계산하는 단계를 포함하는 것을 특징으로 하는 카메라 영상을 통한 대상물체의 움직임 추적방법.
제8항에 있어서, 상기 (c3) 단계는

상기 특징점들의 움직임을 예측하여 구하는 것을 특징으로 하는 카메라 영상을 통한 움직임 추적방법.
제8항 내지 제10항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.