KR20090012874A - 휴대단말에서의 3차원 이미지를 생성하는 방법 및 장치 - Google Patents

Abstract

본 발명은 카메라를 구비한 휴대 단말기에서의 3차원 이미지 획득 방법에 있어서, 소정의 사물을 촬영하여 상기 사물에 해당하는 제 1이미지를 획득함과 동시에 공간상에서의 상기 카메라의 움직임을 인식하는 센서의 동작을 개시하는 과정과, 상기 사물을 중심으로 제 1 이미지를 획득한 위치에서 이동하여, 상이한 위치에서 제 2 이미지를 획득함과 동시에 촬영 시각을 저장하는 과정과, 상기 저장된 시각정보에 해당하는 이미지 픽셀 데이터로부터 특징점(corner point)을 식별하고, 상기 식별된 특징점을 기준으로 해당 이미지 데이터를 촬영한 카메라의 축과 이루는 방향각을 연산하는 과정과, 상기 저장된 시각정보에 해당하는 데이터를 통해 서로 다른 위치에서 순차적으로 획득된 각 이미지 데이터에서의 카메라의 이동 위치를 계산하는 과정과, 상기 카메라의 이동 위치 정보 및 방향각 정보를 통해 공간상에서의 각 이미지 데이터의 특징점의 위치를 연산하는 과정을 포함함을 특징한다.

카메라, 특징점, 관성센서

Description

휴대단말에서의 3차원 이미지를 생성하는 방법 및 장치{METHOD AND APPARATUS FOR GENERATING THREE DIMENSION IMAGE IN PORTABLE TERMINAL}

본 발명은 카메라가 장착된 휴대 단말기에 관한 것으로 , 더욱 상세하게는 하나의 카메라를 통해 촬영된 소정의 사물에 대한 이미지 데이터로부터 특징점 정보를 식별하고, 카메라의 움직임을 인식하는 관성 센서를 이용하여 3차원 공간상에서의 카메라 움직임 정보를 추출하여 이를 통해 3차원 이미지를 획득하기 위한 3차원 이미지 촬영 방법 및 장치에 관한 것이다.

최근 이동 통신 단말기는 소비자의 욕구에 따라 그 기능이 다양해 지고 있다. 이동 통신 단말기는 기본적인 통화 기능 이외에, 게임이나 인터넷 검색, 이메일(E-mail) 수신 및 발신, 대금 결재 등 다양한 기능이 구비되고 있으며, 최근에는 카메라 렌즈가 설치되어 사물의 형상을 찍을 수 있는 카메라 폰이 상용화되고 있다.

카메라 폰은 널리 보급됨에 따라 그 기능이 증대되고 있으며, 특히 근래에는 평면적인 영상뿐만 아니라 입체적인 영상을 촬영할 수 있는 카메라 폰이 등장하게 되었다. 이와 같은 카메라 폰은 다수 개의 카메라 센서를 사용하여 3차원 입체 영 상을 촬영한다.

일반적으로 3차원 이미지는 사람의 눈과 같이 동시에 시차가 있는 화면을 조합할 때 생성되는 것으로, 카메라로 촬영된 사진의 경우는 3차원 이미지를 생성하기 위한 별도의 처리 과정을 필요로 한다.

이와 관련하여, 대한민국 특허출원 10-2005-0094747호 "카메라를 이용하여 3차원 이미지를 생성하는 방법 및 그 장치"에는 하나의 카메라를 이용하여 좌우 이동 또는 수직 이동시켜 촬영된 2개의 이미지를 이용하여 3차원 이미지를 생성하는 기술이 개시되어 있다.

그러나, 상기 특허출원에 개시된 기술은 미리 설정된 기준에 따라 카메라의 위치를 이동하여 사물의 이미지를 획득하는 것으로, 각 사물의 특성을 고려하지 않으므로 다양한 사물에 적용하는데는 한계가 발생한다.

또한, 상기한 3차원 입체 영상을 촬영하는 방법 중 카메라의 초점 거리를 이용하는 경우, 그 오차를 고려해 볼 때 피사체의 크기에 제약이 있으며, 횡단면으로의 거리 측정에는 적용하기 곤란하고, 각기 다른 방향에서 조사되는 빛으로 촬영된 이미지를 이용하는 경우에는, 별도의 조명 장치의 필요성과 실내 촬영이 아닌 장소에서는 적용할 수 없으므로, 이동성이 보장되는 이동통신 단말기에 임의의 지역에서의 촬영에는 부적합하고, 또한, 이동통신 단말기에 다수 개의 카메라를 장착하는 경우에는 카메라 상호 간의 거리의 제약으로 인해 일정거리 이상의 피사체에 대해서는 그 정확도가 감소되는 문제가 발생한다.

따라서, 종래의 다수의 카메라를 이용하거나 보조 센서등을 이용하는 경우에 는 비용, 휴대성, 야외 촬영시 등을 고려해 볼 경우 개인 휴대용 단일 기기에 적용하기에는 부적합한 문제가 발생한다.

본 발명의 목적은 단일 카메라를 구비한 휴대 단말기에서 이미지 데이터의 특징점 정보 및 상기 카메라의 움직임 정보를 이용하여 공간상의 제약없이 3차원 이미지를 획득하기 3차원 이미지 촬영 방법 및 장치에 관한 것이다.

상기한 목적을 달성하기 위해서 본 발명의 일 견지에 따르면, 카메라를 구비한 휴대 단말기에서의 3차원 이미지 획득 방법에 있어서, 소정의 사물을 촬영하여 상기 사물에 해당하는 제 1이미지를 획득함과 동시에 공간상에서의 상기 카메라의 움직임을 인식하는 센서의 동작을 개시하는 과정과, 상기 사물을 중심으로 제 1 이미지를 획득한 위치에서 이동하여, 상이한 위치에서 제 2 이미지를 획득함과 동시에 촬영 시각을 저장하는 과정과, 상기 저장된 시각정보에 해당하는 이미지 픽셀 데이터로부터 특징점(corner point)을 식별하고, 상기 식별된 특징점을 기준으로 해당 이미지 데이터를 촬영한 카메라의 축과 이루는 방향각을 연산하는 과정과, 상기 저장된 시각정보에 해당하는 데이터를 통해 서로 다른 위치에서 순차적으로 획득된 각 이미지 데이터에서의 카메라의 이동 위치를 계산하는 과정과, 상기 카메라의 이동 위치 정보 및 방향각 정보를 통해 공간상에서의 각 이미지 데이터의 특징점의 위치를 연산하는 과정을 포함함을 특징한다.

상기한 목적을 달성하기 위해서 본 발명의 다른 견지에 따르면, 카메라가 구비된 휴대 단말기에서의 3차원 이미지 획득 장치에 있어서, 임의의 공간상에서 상 기 카메라의 움직임을 인식하는 센서부와, 촬영된 이미지의 픽셀 데이터로부터 특징점을 식별하는 영상처리부와, 상기 카메라의 움직임 정보와 상기 식별된 특징점을 이용하여 카메라 축에서의 방향각 및 이동위치를 계산하는 항법 정보처리부와, 상기 카메라의 위치와 방향각 정보로부터 상기 특징점의 3차원 공간상에서의 위치를 계산하는 3차원 위치계산부를 포함한다.

상술한 바와 같이 본 발명은 하나의 카메라를 이용한 저렴한 구성으로 장소의 제약 없이 촬영하고자 하는 피사체의 크기나 거리 측정이 가능하므로, 이로부터 용이하게 3차원 이미지의 생성이 가능한 효과가 있다.

이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

본 발명은 단일 카메라를 구비한 휴대 단말이 사물의 특성을 고려하여 상기 사물을 중심으로 적어도 한 번 이상의 촬영을 수행하여, 상기 촬영된 이미지로부터 획득된 다수의 이미지 데이터들에서 3차원 공간상에서의 위치 및 각도 등의 정보를 추출하여, 이를 통해 3차원 이미지를 획득하는 것에 관한 것으로, 본 발명을 설명하는데 있어서, 카메라와 휴대단말의 용어를 혼용하여 사용하기로 한다. 즉, 본 발 명은 소정의 대상물을 촬영하는 카메라의 움직임을 중심으로 동작이 수행되나, 상기 카메라는 휴대단말의 일부 구성이기 때문이다.

도 1은 본 발명의 일 실시 예에 따른 휴대단말에서의 3차원 이미지 획득 방법을 간략하게 보인 예시도 이다. 도 1을 참조하면, 사용자는 촬영하고자 하는 소정 사물(100)의 제1이미지를 획득하기 위하여 초기위치(10)에서 촬영을 개시하고, 상기 초기위치(10)에서 상기 소정의 사물(100)을 중심으로 다음 위치(12)로 이동하여 제 2이미지를 획득한다. 이때, 임의의 위치에서 획득되는 상기 소정 사물(100)의 이미지 데이터는 피사체의 특성에 따라 사용자가 임의로 촬영횟수를 변경하여 다수의 이미지 데이터들을 획득할 수 있다. 그리고, 상기 초기위치(10)에서의 카메라는 사물(100)에 대한 제1이미지를 획득함과 동시에, 3차원 공간상에서의 카메라의 움직임을 인식하여,

상기 카메라의 움직임 좌표를 계산하기 위하여 다음 위치(12)로의 이동 전에 초기위치 즉, 기준이 되는 위치에서 상기 카메라의 가속도 및 각속도의 측정을 개시한다. 그리고, 카메라가 상기 초기위치(10)에서 다음 위치(12)로 이동함에 따라 측정된 카메라의 가속도 및 각속도의 측정치를 저장함과 동시에 촬영 시각도 함께 저장한다.

상기의 카메라의 가속도 및 각속도의 측정치를 저장함과 동시에 촬영 시각을 저장하는 동작은 촬영이 개시된 초기위치(10)를 제외한 이동한 각 위치에서 마다 수행된다. 이는 각 위치에서 획득되는 소정의 사물(100)에 대한 이미지 데이터의 각도 정보 및 상기 카메라의 가속도 및 각속도의 측정치를 이용하여 소정의 사물에 대한 특징점들의 3차원 좌표를 계산하기 위하여 수행되는 것으로, 이로부터 촬영하고자 하는 사물에 대한 3차원 이미지 획득이 가능하다.

도 2는 본 발명의 일 실시 예에 휴대단말에서의 3차원 이미지를 획득함에 있어서, 이미지의 픽셀 데이터로부터 특징점의 각도를 획득하는 연산을 보인 예시도 이다. 도 2를 참조하면, 미리 설정된 카메라의 화각 즉, 앵글(angle)을 통해 보여 지는 화면의 중심으로부터의 사물이 차지하는 픽셀의 위치를 알면, 카메라의 중심축과 이루는 특징점의 각도를 하기의 <수학식 1>을 이용하여 획득할 수 있다.

sin θα/sin θβ = α/ β ----> α = ( αsin θα/N)

상기한 <수학식 1>로부터 획득된 사물의 특징점과 특정 위치에서의 카메라의 중심축이 이루는 각도를 통해 3차원 공간상에서 특정 사물의 상기 특정 위치에서의 거리를 인식할 수 있다.

도 3은 본 발명의 일 실시 예에 따른 단일 카메라를 구비한 휴대단말의 이미지를 획득함에 있어서, 3차원 공간상에서 사물의 특징점의 위치 계산을 보인 예시도 이다.

도 3을 참조하면, 임의의 공간 즉, 3차원 공간상에서 카메라가 특정의 사물(P)을 중심으로 3축의 (

,

,

)의 값을 갖는 초기 위치에서, 다음의 위치로 이동 시 (

,

,

)의 값을 갖는다. 이때, 상기 초기위치 (

,

,

)와, 다음 위치 (

,

,

)에서의 상기 카메라의 위 치값은 3축 가속도부와 각속도부에서 측정된 값을 근거로 산출된 값이며, 상기 카메라의 각 위치에서 사물(P)을 중심으로 수평거리의 직선이 교차하는 점, 즉 사물의 특징점의 위치를 연산할 수 있다. 이는, 촬영하고자 하는 사물의 특징점과 카메라의 축이 이루는 방향각을 통해 촬영 대상물의 3차원 공간상에서의 거리를 입체적으로 표현하기 위하여 실행되는 것이다.

도 4는 본 발명의 일 실시 예에 따른 휴대단말에 있어서, 3차원 이미지 획득 방법에 관한 흐름도이다. 도 4를 참조하면, 임의의 공간상에서 촬영하고자 하는 촬영 대상물의 이미지를 촬영하고, 휴대단말의 움직임의 인식을 개시한다(410과정). 여기서, 상기 움직임이란, 임의의 공간상에서 상기 휴대단말의 가속도 및 회전 각도를 측정하는 것을 의미하고, 사용자가 처음 촬영을 개시한 곳에서의 상기 휴대단말의 위치를 초기위치로 인식한다. 상기 초기위치는 상기 휴대단말의 움직임을 감지하기 위한 기준이 되는 위치를 의미하고, 이로부터 휴대단말의 움직임에 의한 이동 경로 연산이 가능하다. 그리고, 상기 초기위치에서 획득되는 이미지를 촬영 대상물의 제 1 이미지로 저장한다.

상기 초기위치에서 촬영 대상물의 제1이미지를 획득한 후, 상기 촬영 대상물을 중심으로 상기 초기위치와 다른 위치로 이동하여 해당 위치에서 촬영 대상물의 제2이미지를 획득하고, 이와 동시에 촬영 시각을 저장한다(412과정). 상기 촬영 시각 정보는 순차적으로 획득되는 다수의 이미지 데이터들을 식별하기 위함이다.

상기 과정 412를 수행한 후, 이로부터 획득된 이미지 데이터들의 수가 촬영 대상물의 특성을 반영할 수 있는 촬영 횟수라 판단되면, 다음의 과정을 수행하고, 상기 촬영 대상물 특성을 반영하기에 부족한 촬영 횟수라 판단되면, 상기 412과정을 반복하여 수행하도록 한다(414과정). 이는, 촬영 대상이 되는 사물을 보고, 사용자가 임의로 판단할 수 있으며, 상기 412 과정을 반복 수행한다면, 이로부터 임의의 3차원 공간상에서 획득되는 이미지 데이터는 보다 정밀한 3차원 이미지 영상을 획득할 수 있음은 자명할 것이다.

상기 저장된 각 촬영 시각정보 즉, 각 시점에서 촬영된 각 해당 이미지의 특징점과 상기 각 시점에서의 해당 카메라 위치에서의 카메라 축과 이루는 방향각 및 이전 위치 즉, 이전시각에서부터 현재 위치까지의 카메라가 움직인 이동위치의 연산을 수행한다(416과정). 상기 이미지의 특징점은, 촬영 대상물의 3차원 공간상에서의 각 코너점(coner point)을 의미하는 것이고, 촬영된 이미지 픽셀 데이터로부터의 특징점과 각 특징점과 해당 이미지가 촬영된 카메라의 위치에서 카메라 축이 이루는 방향각을 연산한다.

더욱 상세하게는, 상기의 도 3에 도시된 바와 같이, 미리 설정된 카메라의 화각 즉, 앵글(angle)을 통해 보여지는 화면의 중심으로부터의 사물이 차지하는 픽셀의 위치를 알면, 카메라의 중심 축과 이루는 특징점의 각도를 상기의 <수학식 1>을 이용하여 획득할 수 있다.

그리고, 저장된 각 시각정보와 측정된 3차원 공간상에서의 카메라의 가속도 및 회전 각도의 값을 이용하여 상기 카메라의 이동위치를 연산한다.

더욱 상세하게는, 임의의 공간 즉, 3차원 공간상에서 카메라가 특정의 사 물(P)을 중심으로 3축의 (

,

,

)의 값을 갖는 초기 위치에서, 다음의 위치로 이동 시 (

,

,

)의 값을 갖는다. 이때, 상기 초기위치 (

,

,

)와, 다음위치 (

,

,

)에서의 상기 카메라의 위치 값은 3축 가속도부와 각속도부에서 측정된 값을 근거로 산출된 값이며, 상기 카메라의 각 위치에서 사물(P)을 중심으로 수평거리의 직선이 교차하는 점, 즉 사물의 특징점의 위치를 연산할 수 있다. 이는, 촬영하고자 하는 사물의 특징점과 카메라의 축이 이루는 방향각을 통해 촬영 대상물의 3차원 공간상에서의 거리를 입체적으로 표현하기 위하여 실행되는 것이다.

상기 과정 416으로부터 획득된 카메라의 각 위치에서의 이미지 픽셀 데이터로부터 각 특징점의 3차원 위치의 연산을 수행하고(418과정), 상기 연산된 각 특징점들의 위치로부터 촬영 대상물의 3차원 공간상의 거리가 반영된 이미지를 추출하여, 3차원 이미지를 획득한다(420과정).

상술한 바와 같이 본 발명의 일 실시 예에 따른 단일 카메라를 구비한 휴대단말기에서의 3차원 이미지 획득 방법을 수행하는 장치에 관하여 도 5를 참조하여 하기에서 설명하기로 한다.

도 5는 본 발명의 일 실시 예에 따른 휴대단말기에서의 3차원 이미지 획득 장치의 블럭도이다. 도 5를 참조하면, 먼저, 이미지 센서부(510)에서 사용자가 촬영하고자 하는 촬영 대상물의 이미지를 획득하고, 상기 이미지를 저장부(520)에서 저장함과 동시에, 상기 촬영 대상물이 획득된 시각의 정보를 타이머(512)에서 저장 한다. 이는 각 이미지 데이터가 획득된 위치에서의 카메라의 움직임을 인식하기 위한 것으로, 수행되는 것이다. 그리고, 관성센서부(514)는 상기 카메라의 움직임을 인식하기 위한 것으로, 3축 가속도부(516)에서는, 카메라가 3차원 공간상에서 즉, 3축(x,y,z)에서의 단위시간 동안의 움직임의 방향 및 속도를 측정하고, 3축 각속도부(518)에서는, 상기 카메라의 회전 각도를 서로 직교하는 3축에서 동시에 측정하기 위함이다.

그리고, 상기 각 위치에서 획득된 이미지 데이터와 대응되는 각 시각정보와 3축 가속도 및 각속도 정보는 각각 영상처리부(522)와 항법정보처리부(524)로 출력되어, 상기 영상처리부(522)에서는, 각 이미지 픽셀데이터로부터 획득되는 상기 촬영 대상물의 특징점을 출력하고, 상기 항법정보처리부(525)에서는, 상기 카메라의 움직임 정보로부터의 카메라의 위치와 이로부터 획득되는 촬영 대상물과 카메라의 축이 이루는 방향각 정보를 출력하여, 3차원 위치 계산부(526)에서 각 이미지 데이터 픽셀로부터의 특징점들의 위치로부터 촬영 대상물의 3차원 공간상의 거리가 반영된 이미지를 추출하여 표시부(528)로 출력한다.

상기와 같이 본 발명의 일 실시 예에 따른 휴대단말에서의 3차원 이미지 획득 방법 및 장치에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

도 1은 본 발명의 일실시예에 따른 휴대단말에서의 3차원 이미지를 생성하는 방법을 간략하게 보인 예시도

도 2는 본 발명의 일실시예에 따른 휴대단말에서의 3차원 이미지를 생성함에 있어서, 이미지의 픽셀 데이터로부터 특징점의 각도를 획득하는 연산을 보인 예시도

도 3 본 발명의 일실시예에 따른 휴대단말에서의 3차원 이미지를 생성함에 있어서, 3차원 공간상에서 사물의 특징점의 위치 계산을 보인 예시도

도 4는 본 발명의 일실시예에 따른 휴대단말에 있어서, 3차원 이미지 생성 방법에 관한 흐름도

도 5는 본 발명의 일실시예에 따른 휴대단말에서의 3차원 이미지 생성 장치의 블록도

Claims (8)

1. 카메라를 구비한 휴대 단말에서의 3차원 이미지 획득 방법에 있어서,

   사물을 촬영하여 상기 사물에 해당하는 제 1 이미지를 획득함과 동시에 공간상에서의 상기 카메라의 움직임을 인식하는 센서의 동작을 개시하는 과정과,

   상기 사물을 중심으로 제 1 이미지를 획득한 위치에서 이동하여, 상이한 위치에서 제 2 이미지를 획득함과 동시에 촬영 시각을 저장하는 과정과,

   상기 저장된 시각정보에 해당하는 이미지 픽셀 데이터로부터 특징점(corner point)을 식별하고, 상기 식별된 특징점을 기준으로 해당 이미지 데이터를 촬영한 카메라의 축과 이루는 방향각을 연산하는 과정과,

   상기 저장된 시각정보에 해당하는 데이터를 통해 서로 다른 위치에서 순차적으로 획득된 각 이미지 데이터에서의 카메라의 이동 위치를 계산하는 과정과,

   상기 카메라의 이동 위치 정보 및 방향각 정보를 통해 공간상에서의 각 이미지 데이터의 특징점의 위치를 연산하는 과정을 포함함을 특징으로 하는 휴대단말에서의 3차원 이미지를 생성하는 방법.
2. 제1항에 있어서, 상기 상이한 위치에서 제 2 이미지를 획득함과 동시에 촬영 시각을 저장하는 과정은,

   촬영하고자 하는 사물의 특성에 따라 사용자의 판단에 의하여 수회 반복함으로써 다수의 이미지를 획득함을 특징으로 하는 휴대단말에서의 3차원 이미지를 생 성하는 방법.
3. 제1항에 있어서, 상기 카메라의 움직임은,

   임의의 공간상에서 카메라의 가속도 및 회전 각도임을 특징으로 하는 휴대단말에서의 3차원 이미지를 생성하는 방법.
4. 제1항에 있어서, 상기 특징점은,

   사물이 해당 이미지 데이터에서 차지하는 픽셀로부터 이미지 프로세싱(image processing)기법을 통해 획득됨을 특징으로 하는 휴대단말에서의 3차원 이미지를 생성하는 방법.
5. 제1항에 있어서, 상기 특징점의 위치를 연산하는 과정은,

   상기 카메라가 이동한 각각의 위치에서 촬영하고자 하는 사물을 중심으로 각 위치에서의 카메라와 사물의 이루는 직선이 교차하는 점을 이용하여 연산하는 것을 특징으로 하는 휴대단말에서의 3차원 이미지를 생성하는 방법.
6. 카메라가 구비된 휴대 단말기에서의 3차원 이미지 획득 장치에 있어서,

   임의의 공간상에서 상기 카메라의 움직임을 인식하는 관성센서부와,

   촬영된 이미지의 픽셀 데이터로부터 특징점을 식별하는 영상처리부와,

   상기 카메라의 움직임 정보와 상기 식별된 특징점을 이용하여 카메라 축에서 의 방향각 및 이동위치를 계산하는 항법 정보처리부와,

   상기 카메라의 위치와 방향각 정보로부터 상기 특징점의 3차원 공간상에서의 위치를 계산하는 3차원 위치계산부를 포함함을 특징으로 하는 휴대단말에서의 3차원 이미지를 생성하는 장치.
7. 제6항에 있어서, 상기 관성센서부는,

   상기 카메라의 움직임 방향 및 위치를 서로 직교하는 3축에서 동시에 측정하는 3축 가속도센서와,

   상기 카메라의 회전 각도를 서로 직교하는 3축에서 동시에 측정하는 3축 각속도센서를 포함함을 특징으로 하는 휴대단말에서의 3차원 이미지를 생성하는 장치.
8. 제6항에 있어서,

   임의의 사물이 촬상되는 시점마다 상기 시각정보를 저장하는 타이머부를 더 포함함을 특징으로 하는 휴대단말에서의 3차원 이미지를 생성하는 장치.

Images