KR101340555B1 - 기준 시점 영상 생성 장치 및 방법 - Google Patents

Abstract

본 발명은 카메라 시점 영상을 기준 시점 영상으로 생성하는 장치 및 방법에 관한 것이다. 본 발명은 카메라의 자세 정보를 기초로 오브젝트에 대한 기준 시점과 오브젝트에 대한 카메라 시점 간 시점차를 계산하는 시점차 계산부; 및 시점차를 이용하여 카메라 시점 영상을 기준 시점 영상으로 실시간 생성하는 기준 시점 영상 생성부를 포함하는 것을 특징으로 하는 기준 시점 영상 생성 장치를 제안한다. 본 발명에 따르면, 각속도를 측정하여 카메라 시점 영상을 기준 시점 영상으로 생성함으로써 카메라 시점 영상을 기준 시점 영상으로 교정하는 데에 걸리는 시간을 단축시킬 수 있으며, 수평면 객체에 대해 임의의 회전을 갖는 카메라에서 획득한 영상으로부터 정면 시점 영상을 자동으로 생성할 수 있다.

Description

기준 시점 영상 생성 장치 및 방법 {Apparatus and method for generating base view image}

본 발명은 카메라 시점 영상을 기준 시점 영상으로 생성하는 장치 및 방법에 관한 것이다. 보다 상세하게는, 객체를 인식하거나 추적하기 위해 카메라 시점 영상을 기준 시점 영상으로 생성하는 장치 및 방법에 관한 것이다.

최근 스마트폰의 확산과 더불어 모바일 증강현실 응용에 관한 관심이 증가하고 있다. 모바일 증강현실 응용을 위해서는 대상 객체의 학습 및 인식/추적이 필수적이다. 그런데 모바일 기기에 탑재된 CPU의 낮은 계산 성능으로 인해 주로 2D 객체를 인식/추적의 대상으로 사용하고 있다. 2D 객체를 학습하기 위해서는 객체의 정면 시점에서 획득한 영상을 필요로 한다. 그러나 실제 환경에서 대상물의 정면 시점 영상은 항상 얻을 수 있는 것이 아니므로, 실제 환경에서 임의의 객체를 학습하고 인식/추적하는 것이 불가능한 경우가 많다.

이러한 제약을 벗어나기 위하여 종래에는 가속도를 측정하여 카메라 입력 영상으로부터 정면 시점 영상을 생성하는 방법이 제안되었다. 그러나 이 방법은 대상 객체와 카메라 사이의 회전 자유도를 1 자유도로 제한하고 있기 때문에 카메라가 2D 객체에 대해 임의의 회전을 가지고 있는 경우는 정면 시점의 생성이 불가능한 문제점이 있다.

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 각속도를 측정하여 카메라 시점 영상을 기준 시점 영상으로 생성하는 기준 시점 영상 생성 장치 및 방법을 제안함을 목적으로 한다.

본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 카메라의 자세 정보를 기초로 오브젝트에 대한 기준 시점과 상기 오브젝트에 대한 카메라 시점 간 시점차를 계산하는 시점차 계산부; 및 상기 시점차를 이용하여 카메라 시점 영상을 기준 시점 영상으로 실시간 생성하는 기준 시점 영상 생성부를 포함하는 것을 특징으로 하는 기준 시점 영상 생성 장치를 제안한다.

바람직하게는, 상기 시점차 계산부는 상기 시점차로 상기 기준 시점과 상기 카메라 시점 사이의 호모그래피(homography)를 계산한다. 더욱 바람직하게는, 상기 시점차 계산부는 상기 카메라의 자세 정보 및 상기 기준 시점으로부터 상기 오브젝트까지의 거리를 이용하여 상기 호모그래피를 계산한다.

바람직하게는, 상기 기준 시점 영상 생성 장치는 상기 카메라에 작용하는 중력 방향을 측정하는 중력 방향 측정부; 및 상기 중력 방향을 기준으로 위치 이동된 상기 카메라의 위치 변화량을 측정하는 위치 변화량 측정부를 더욱 포함한다. 더욱 바람직하게는, 상기 기준 시점 영상 생성 장치는 각 축에 대한 상기 위치 변화량을 기초로 각 축마다 회전 행렬을 생성하며, 생성된 모든 회전 행렬을 결합하여 상기 기준 시점과 상기 카메라 시점 간 회전 변환 행렬을 계산하는 회전 변환 행렬 계산부; 상기 위치 변화량과 상기 카메라의 일지점 좌표값을 기초로 상기 카메라에 대한 이동 벡터 성분을 계산하는 이동 벡터 계산부; 및 상기 회전 변환 행렬과 상기 이동 벡터 성분을 상기 카메라의 자세 정보로 획득하는 카메라 자세 정보 획득부를 더욱 포함한다.

바람직하게는, 상기 중력 방향 측정부는 가속도 센서를 이용하여 상기 중력 방향을 측정하며, 상기 위치 변화량 측정부는 자이로스코프 센서를 이용하여 상기 위치 변화량을 측정한다.

바람직하게는, 상기 시점차 계산부는 상기 카메라를 통해 영상을 획득할 때마다 상기 시점차를 계산한다.

바람직하게는, 상기 기준 시점 영상 생성부는 2차원 오브젝트를 인식할 때, 또는 상기 2차원 오브젝트를 추적할 때, 또는 상기 2차원 오브젝트를 이용하여 증강현실을 구현할 때 상기 기준 시점 영상을 생성한다.

바람직하게는, 상기 시점차 계산부는 상기 오브젝트에 대한 정면 시점을 상기 기준 시점으로 이용한다.

바람직하게는, 상기 기준 시점 영상 생성 장치는 모바일 기기에 장착되는 것이다.

또한, 본 발명은 카메라의 자세 정보를 기초로 오브젝트에 대한 기준 시점과 상기 오브젝트에 대한 카메라 시점 간 시점차를 계산하는 시점차 계산 단계; 및 상기 시점차를 이용하여 카메라 시점 영상을 기준 시점 영상으로 실시간 생성하는 기준 시점 영상 생성 단계를 포함하는 것을 특징으로 하는 기준 시점 영상 생성 방법을 제안한다.

바람직하게는, 상기 시점차 계산 단계는 상기 카메라의 자세 정보 및 상기 기준 시점으로부터 상기 오브젝트까지의 거리를 이용하여 상기 시점차로 상기 기준 시점과 상기 카메라 시점 사이의 호모그래피(homography)를 계산한다.

바람직하게는, 상기 시점차 계산 단계 이전에, 상기 카메라에 작용하는 중력 방향을 측정하는 중력 방향 측정 단계; 상기 중력 방향을 기준으로 위치 이동된 상기 카메라의 위치 변화량을 측정하는 위치 변화량 측정 단계; 각 축에 대한 상기 위치 변화량을 기초로 각 축마다 회전 행렬을 생성하며, 생성된 모든 회전 행렬을 결합하여 상기 기준 시점과 상기 카메라 시점 간 회전 변환 행렬을 계산하는 회전 변환 행렬 계산 단계; 상기 위치 변화량과 상기 카메라의 일지점 좌표값을 기초로 상기 카메라에 대한 이동 벡터 성분을 계산하는 이동 벡터 계산 단계; 및 상기 회전 변환 행렬과 상기 이동 벡터 성분을 상기 카메라의 자세 정보로 획득하는 카메라 자세 정보 획득 단계를 포함한다. 더욱 바람직하게는, 상기 중력 방향 측정 단계는 가속도 센서를 이용하여 상기 중력 방향을 측정하며, 상기 위치 변화량 측정 단계는 자이로스코프 센서를 이용하여 상기 위치 변화량을 측정한다.

바람직하게는, 상기 시점차 계산 단계는 상기 카메라를 통해 영상을 획득할 때마다 상기 시점차를 계산하거나, 또는 상기 시점차 계산 단계는 상기 오브젝트에 대한 정면 시점을 상기 기준 시점으로 이용하거나, 또는 상기 기준 시점 영상 생성 단계는 2차원 오브젝트를 인식할 때, 또는 상기 2차원 오브젝트를 추적할 때, 또는 상기 2차원 오브젝트를 이용하여 증강현실을 구현할 때 상기 기준 시점 영상을 생성한다.

본 발명은 각속도를 측정하여 카메라 시점 영상을 기준 시점 영상으로 생성함으로써 다음 효과를 얻을 수 있다. 첫째, 카메라 시점 영상을 기준 시점 영상으로 교정하는 데에 걸리는 시간을 단축시킬 수 있다. 둘째, 수평면 객체에 대해 임의의 회전을 갖는 카메라에서 획득한 영상으로부터 정면 시점 영상을 자동으로 생성할 수 있다. 세째, 센서를 이용하기 때문에 복잡한 영상 처리 과정을 생략할 수 있다. 네째, 자유 시점 영상을 실시간으로 교정할 수 있어 모바일 기기의 활용도를 높일 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 기준 시점 영상 생성 장치를 개략적으로 도시한 블록도이다.
도 2는 도 1의 기준 시점 영상 생성 장치에 부가되는 구성을 개략적으로 도시한 블록도이다.
도 3은 카메라 시점 영상을 기준 시점 영상으로 생성하는 구성을 설명하기 위한 일실시 예시도이다.
도 4는 본 발명에 대한 실험 결과 예시도이다.
도 5는 본 발명의 바람직한 실시예에 따른 기준 시점 영상 생성 방법을 도시한 흐름도이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 본 발명의 바람직한 실시예에 따른 기준 시점 영상 생성 장치를 개략적으로 도시한 블록도이다. 도 2는 도 1의 기준 시점 영상 생성 장치에 부가되는 구성을 개략적으로 도시한 블록도이다. 이하 설명은 도 1과 도 2를 참조한다.

도 1에 따르면, 기준 시점 영상 생성 장치(100)는 시점차 계산부(110), 기준 시점 영상 생성부(120), 전원부(130) 및 주제어부(140)를 포함한다. 기준 시점 영상 생성 장치(100)는 모바일 기기에 장착되는 디바이스로 구현될 수 있으나, 모바일 기기에서 사용 가능한 소프트웨어 형태로 구현되는 것도 가능하다.

시점차 계산부(110)는 카메라의 자세 정보를 기초로 오브젝트에 대한 기준 시점과 오브젝트에 대한 카메라 시점 간 시점차를 계산하는 기능을 수행한다. 시점차는 두 시점 사이의 관계를 의미하며, 본 실시예에서는 호모그래피(homography)로 정의할 수 있다. 따라서, 시점차 계산부(110)는 시점차로 기준 시점과 카메라 시점 사이의 호모그래피(homography)를 계산할 수 있다. 시점차 계산부(110)는 카메라의 자세 정보 및 기준 시점으로부터 오브젝트까지의 거리를 이용하여 호모그래피를 계산한다.

시점차 계산부(110)는 카메라를 통해 영상을 획득할 때마다 시점차를 계산할 수 있다. 시점차 계산부(110)는 오브젝트에 대한 정면 시점(fronto-parallel view image)을 기준 시점(base view image)으로 이용할 수 있다.

기준 시점 영상 생성부(120)는 시점차를 이용하여 카메라 시점 영상을 기준 시점 영상으로 실시간 생성하는 기능을 수행한다. 기준 시점 영상 생성부(120)는 2차원 오브젝트를 인식할 때, 2차원 오브젝트를 추적할 때, 2차원 오브젝트를 이용하여 증강현실을 구현할 때 기준 시점 영상을 생성할 수 있다. 기준 시점 영상은 2차원 오브젝트를 학습할 때에 이용될 수 있다. 더불어, 2차원 오브젝트를 인식하는 과정에서 이용될 수 있으며, 인식된 오브젝트를 추적하거나 가상 오브젝트를 증강할 때에도 이용될 수 있다. 기준 시점 영상은 2D 객체를 인식할 때 인식율을 향상시키는 효과가 있다.

전원부(130)는 기준 시점 영상 생성 장치(100)를 구성하는 각 구성부에 전원을 공급하는 기능을 수행한다. 주제어부(140)는 기준 시점 영상 생성 장치(100)를 구성하는 각 구성부의 전체 작동을 제어하는 기능을 수행한다.

기준 시점 영상 생성 장치(100)는 도 2 (a)에 도시된 바와 같이 중력 방향 측정부(210)와 위치 변화량 측정부(220)를 더욱 포함할 수 있다. 중력 방향 측정부(210)는 카메라에 작용하는 중력 방향을 측정하는 기능을 수행한다. 중력 방향 측정부(210)는 가속도 센서를 이용하여 중력 방향을 측정한다. 위치 변화량 측정부(220)는 중력 방향을 기준으로 위치 이동된 카메라의 위치 변화량을 측정하는 기능을 수행한다. 위치 변화량 측정부(220)는 자이로스코프 센서를 이용하여 위치 변화량을 측정한다.

기준 시점 영상 생성 장치(100)는 도 2 (b)에 도시된 바와 같이 회전 변환 행렬 계산부(230), 이동 벡터 계산부(240) 및 카메라 자세 정보 획득부(250)를 더욱 포함할 수 있다. 회전 변환 행렬 계산부(230)는 각 축에 대한 위치 변화량을 기초로 각 축마다 회전 행렬을 생성하며, 생성된 모든 회전 행렬을 결합하여 기준 시점과 카메라 시점 간 회전 변환 행렬을 계산하는 기능을 수행한다. 이동 벡터 계산부(240)는 위치 변화량과 카메라의 일지점 좌표값을 기초로 카메라에 대한 이동 벡터 성분을 계산하는 기능을 수행한다. 카메라 자세 정보 획득부(250)는 회전 변환 행렬과 이동 벡터 성분을 카메라의 자세 정보로 획득하는 기능을 수행한다.

이하에서는 본 발명에 대한 일실시예로 수평면에 위치하고 있는 2D 객체에 대하여 카메라로부터 입력된 영상을 자동으로 정면 시점 영상으로 교정하는 방법을 제안한다. 제안된 방법은 모바일 기기에 탑재된 가속도 센서와 자이로스코프 센서를 이용하여 수평면의 2D 객체에 대한 카메라의 회전 변환을 측정하고, 이를 통해 카메라 입력 영상을 정면 시점의 영상으로 자동 변환한다. 이 방법은 센서들을 활용하여 복잡한 영상 처리 과정을 피함으로써 보다 빠르게 정면 시점 영상을 생성할 수 있으며, 임의의 시점에서 획득된 영상일지라도 교정이 가능해지는 장점을 갖는다. 이하, 가속도 센서와 자이로스코프 센서를 이용한 정면 시점 영상 생성 방법을 설명한다. 도 3은 카메라 시점 영상을 기준 시점 영상으로 생성하는 구성을 설명하기 위한 일실시 예시도이다. 이하 설명은 도 3을 참조한다.

카메라로부터 입력된 영상을 정면 시점 영상으로 생성하기 위해서는 두 시점 사이의 호모그래피(homography)가 필요하다. 서로 다른 두 카메라 C(310)와 C'(320)의 자세를 각각 P=K[I|0], P'=K[R|t]라고 할 때, 두 카메라 사이의 호모그래피 H(330)는 수학식 1과 같이 계산할 수 있다. C가 기준 시점이 되며, C'가 현재 카메라 시점이 된다.

여기서, K는 카메라 내부 변수를 의미하고, t는 C'에서의 이동 벡터를 의미하며, T는 전치행렬(transposed matrix)를 의미한다. n과 d는 평면 Π(340)의 인자로서 수학식 2와 같이 정의된다.

수학식 2는 2D 평면을 정의하는 기본식이다. 상기에서, Π는 평면을 의미하며, n은 노르말 벡터(normal vector)를 의미한다. d는 전역 좌표계(world coordinate)의 원점과 평면 사이의 거리를 의미한다.

수학식 1과 수학식 2를 통해 호모그래피를 계산하기 위해서는 카메라의 자세 R과 t, 그리고 평면까지의 거리 d가 필요하다. 문제를 단순화하기 위해서 평면 Π(340)까지의 거리 d는 카메라의 초점 거리와 같다고 가정한다.

카메라의 자세 R과 t는 다음과 같이 계산한다. 스마트폰의 가속도 센서는 카메라의 지역 좌표계에 대해 중력 방향에 대한 정보를 제공하며, 자이로스코프 센서는 특정 기준 좌표계에 대해 3 자유도의 회전 정보를 제공한다. 중력 방향은 수평면에 대해 수직이므로, 수평면에 위치한 2D 객체의 노르말 벡터(normal vector)가 된다. 따라서 가속도 센서를 통해 얻은 중력 방향에 대해 자이로스코프 센서를 초기화함으로써 스마트폰의 회전을 수평면의 2D 대상 객체에 대해 3 자유도로 측정할 수 있다.

스마트폰에 탑재된 자이로스코프 센서로부터 회전 정보인 피치(Pitch), 롤(Roll), 요(Yaw) 값을 획득하고 각각 축에 관한 회전 행렬(rotation matrix)을 생성한다. 모바일 기기의 세 축에 따라 피치는 x 축에 관한 회전, 롤은 y 축에 관한 회전, 그리고 요는 z 축에 관한 회전에 해당한다. 카메라 시점에서 가상의 정면 시점으로의 회전 행렬 R을 구하면 수학식 3과 같다.

정면 시점으로의 이미지 교정을 위한 평면 호모그래피 계산은 카메라 시점과 정면 시점 사이의 회전 행렬과 이동 벡터(translation vector)가 필요하다. 이동 벡터 t의 경우 수학식 4와 같이 회전 정보와 카메라 중심점 c를 이용하여 구한다.

결과적으로 위에서 얻은 R, t 및 d 값을 수학식 1에 대입함으로써 호모그래피를 계산하고 정면 시점 영상을 생성할 수 있다.

다음으로, 본 발명에 대한 실험 결과를 설명한다. 도 4는 본 발명에 대한 실험 결과 예시도이다. 이하 설명은 도 4를 참조한다.

실험에는 480×360 영상을 사용하였고, 카메라의 내부 파라미터는 미리 계산된 값을 사용하였다. 제안된 방법을 통해 영상을 정면 시점으로 교정한 결과는 도 4 (a)와 같다. 도 4 (a)는 세 축의 회전에 따른 이미지 교정 결과를 보여주는 도면이며, 상측 이미지들과 하측 이미지들은 각각 입력 이미지와 결과 이미지를 의미한다. 또한 좌측 상하 세개의 이미지들은 각각 피치, 요, 롤 방향으로 회전된 이미지이고 최우측 상하 이미지들은 세 방향에 대하여 회전된 경우의 이미지이다. 결과에서 볼 수 있듯이 입력 영상으로부터 정면 시점 영상을 얻을 수 있었다.

수평면 객체의 경우 3 자유도의 회전 요소들 중, 요 방향의 회전은 카메라 좌표계에서 영상을 Z 축으로 회전한 것과 같으므로 실제로 정면 시점 생성시에는 고려하지 않아도 무방하다. 도 4 (b)는 요 성분을 제외하고 나머지 2 자유도의 회전 요소들만을 가지고 정면 시점을 생성한 결과이다. 도 4 (a)의 경우와 같이 상측 이미지들과 하측 이미지들은 각각 입력 이미지와 결과 이미지를 의미한다. 얻어진 정면 시점 영상은 기준 영상의 좌측 하단을 기준으로 할 때 Z 축을 기준으로 회전한 것과 같다는 것을 볼 수 있으며, 도 4 (b)의 결과와 같이 얻어진 영상을 객체 학습에 사용하여도 인식/추적에 무리가 없었다.

스마트폰의 자이로스코프 센서는 시간이 지날수록 오차가 누적되는 드리프트 현상을 가지고 있으므로 초기화 이후 시간이 지날수록 정면 시점 생성의 정확도가 떨어지는 현상이 나타난다. 이러한 문제점은 자이로스코프 센서를 중력 방향에 대해 다시 초기화함으로써 피할 수 있다.

다음으로, 기준 시점 영상 생성 장치(100)의 기준 시점 영상 생성 방법에 대해서 설명한다. 도 5는 본 발명의 바람직한 실시예에 따른 기준 시점 영상 생성 방법을 도시한 흐름도이다. 이하 설명은 도 5를 참조한다.

먼저, 카메라의 자세 정보를 기초로 오브젝트에 대한 기준 시점과 오브젝트에 대한 카메라 시점 간 시점차를 계산한다(시점차 계산 단계, S60). 시점차 계산 단계(S60)에서는 카메라의 자세 정보 및 기준 시점으로부터 오브젝트까지의 거리를 이용하여 시점차로 기준 시점과 카메라 시점 사이의 호모그래피(homography)를 계산할 수 있다. 시점차 계산 단계(S60)에서는 카메라를 통해 영상을 획득할 때마다 시점차를 계산하거나, 오브젝트에 대한 정면 시점을 기준 시점으로 이용할 수 있다.

시점차 계산 단계(S60) 이후, 시점차를 이용하여 카메라 시점 영상을 기준 시점 영상으로 실시간 생성한다(기준 시점 영상 생성 단계, S70). 기준 시점 영상 생성 단계(S70)에서는 2차원 오브젝트를 인식할 때, 2차원 오브젝트를 추적할 때, 2차원 오브젝트를 이용하여 증강현실을 구현할 때 기준 시점 영상을 생성할 수 있다.

시점차 계산 단계(S60) 이전에는 다음 단계들(S10 ~ S50)이 더욱 수행될 수 있다. 먼저, 카메라에 작용하는 중력 방향을 측정한다(중력 방향 측정 단계, S10). 중력 방향 측정 단계(S10)에서는 가속도 센서를 이용하여 중력 방향을 측정한다. 이후, 중력 방향을 기준으로 위치 이동된 카메라의 위치 변화량을 측정한다(위치 변화량 측정 단계, S20). 위치 변화량 측정 단계(S20)에서는 자이로스코프 센서를 이용하여 위치 변화량을 측정한다. 이후, 각 축에 대한 위치 변화량을 기초로 각 축마다 회전 행렬을 생성하며, 생성된 모든 회전 행렬을 결합하여 기준 시점과 카메라 시점 간 회전 변환 행렬을 계산한다(회전 변환 행렬 계산 단계, S30). 이후, 위치 변화량과 카메라의 일지점 좌표값을 기초로 카메라에 대한 이동 벡터 성분을 계산한다(이동 벡터 계산 단계, S40). 이후, 회전 변환 행렬과 이동 벡터 성분을 카메라의 자세 정보로 획득한다(카메라 자세 정보 획득 단계, S50).

이상 설명한 기준 시점 영상 생성 방법은 모바일 기기에서 패치 학습을 위한 센서 기반 이미지 교정 기법으로서, 자이로스코프 센서와 가속도 센서를 사용한 이미지 교정 기법이다. 제안된 이 기법은 센서를 통해 복잡했던 기존의 계산을 줄이고 가속도 센서 및 자이로스코프 센서를 활용함으로써 수평면 객체에 대해 임의의 회전을 갖는 카메라에서 획득한 영상으로부터 정면 시점 영상을 자동으로 생성할 수 있다. 생성된 정면 시점 영상을 통해 대상 객체를 학습하고, 강건하게 인식/추적하는 것도 가능해지는 효과가 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 기준 시점 영상 생성 장치 110 : 시점차 계산부
120 : 기준 시점 영상 생성부 130 : 전원부
140 : 주제어부 210 : 중력 방향 측정부
220 : 위치 변화량 측정부 230 : 회전 변환 행렬 계산부
240 : 이동 벡터 계산부 250 : 카메라 자세 정보 획득부

Claims (15)

1. 중력 방향을 감지하는 가속도 센서;
   상기 중력 방향에 대한 카메라의 회전 각도를 감지하는 자이로스코프 센서;
   상기 카메라의 회전 각도에 기초하여 오브젝트에 대한 기준 시점과 상기 오브젝트에 대한 상기 카메라의 촬영 시점 간의 각도차를 계산하는 시점차 계산부; 및
   상기 각도차를 이용하여 상기 카메라가 촬영한 영상으로부터 상기 기준 시점에 대한 영상을 생성하는 기준 시점 영상 생성부;를 포함하는
   기준 시점 영상 생성 장치.
2. 제1 항에 있어서,
   상기 시점차 계산부는, 상기 각도차를 이용하여 상기 기준 시점과 상기 카메라의 촬영 시점 간의 호모그래피(homography)를 산출하는
   기준 시점 영상 생성 장치.
3. 제2 항에 있어서,
   상기 시점차 계산부는, 상기 기준 시점으로부터 상기 오브젝트까지의 거리를 더 고려하여 상기 호모그래피를 계산하는
   기준 시점 영상 생성 장치.
4. 삭제
5. 삭제
6. 삭제
7. 제 1 항에 있어서,
   상기 시점차 계산부는, 상기 카메라가 영상을 촬영할 때마다 상기 각도차를 계산하는
   기준 시점 영상 생성 장치.
8. 제 1 항에 있어서,
   상기 기준 시점 영상 생성부는, 2차원 오브젝트의 인식(recognition), 상기 2차원 오브젝트의 추적(tracking) 및 상기 2차원 오브젝트를 이용하는 증강현실의 구현 중 적어도 하나를 수행하는 경우 상기 기준 시점에 대한 영상을 생성하는
   기준 시점 영상 생성 장치.
9. 제1 항에 있어서,
   상기 기준 시점은, 상기 오브젝트에 대한 정면 시점을 포함하는
   기준 시점 영상 생성 장치.
10. 제1 항에 있어서,
    상기 기준 시점 영상 생성 장치는, 모바일 기기에 탑재되는
    기준 시점 영상 생성 장치.
11. 중력 방향을 감지하는 단계;
    상기 중력 방향에 대한 카메라의 회전 각도를 감지하는 단계;
    상기 카메라의 회전 각도에 기초하여 오브젝트에 대한 기준 시점과 상기 오브젝트에 대한 상기 카메라의 촬영 시점 간의 각도차를 계산하는 단계; 및
    상기 각도차를 이용하여 상기 카메라가 촬영한 영상으로부터 상기 기준 시점에 대한 영상을 생성하는 단계;를 포함하는
    기준 시점 영상 생성 방법.
12. 제11 항에 있어서,
    상기 각도차를 이용하여 상기 기준 시점과 상기 카메라의 촬영 시점 간의 호모그래피를 산출하는 단계;를 더 포함하는
    기준 시점 영상 생성 방법.
13. 제12 항에 있어서,
    상기 호모그래피를 산출하는 단계에서, 상기 기준 시점으로부터 상기 오브젝트까지의 거리를 더 고려하여 상기 호모그래피를 산출하는
    기준 시점 영상 생성 방법.
14. 제11 항에 있어서,
    상기 기준 시점은, 상기 오브젝트에 대한 정면 시점을 포함하는
    기준 시점 영상 생성 방법.
15. 제11 항에 있어서,
    상기 각도차를 계산하는 단계는, 상기 카메라가 영상을 촬영할 때마다 수행되는
    기준 시점 영상 생성 방법.

Images