KR20120074493A - 영상 촬영 단말기 및 그 촬영 방법 - Google Patents

Abstract

본 발명은 2차원 또는 3차원 파노라마 영상을 합성하는데 사용되는 단위 화면들을 촬영하는 단말기 및 그 촬영 방법에 관한 것으로서, 단위화면들 촬영을 용이하게 하도록 하는 것이다. 본 발명의 실시 형태인 영상 촬영 방법은, 카메라센서가 향하는 촬영 방향으로 촬영하여 단위화면을 획득하는 최초 단위화면 획득 과정과, 상기 촬영 방향을 기준으로 하여, 일정 방향각 단위로 구획시킨 분면으로 이루어진 전개 가이드를 구성하는 과정과, 상기 획득한 단위화면을 상기 전개 가이드의 중심에 있는 중심분면에 위치시켜 표시하며, 다른 분면에 대한 단위화면을 획득하기 위한 촬영이 이루어지도록 유도하는 유도 가이드를 표시하는 과정과, 상기 유도 가이드의 안내에 따라 상기 전개 가이드의 각 분면에 채워질 단위화면을 순차적으로 획득하는 단위화면 획득 과정을 포함한다.

Description

영상 촬영 단말기 및 그 촬영 방법{Terminal for capturing image and method for capturing image}

본 발명은 2차원 또는 3차원 파노라마 영상을 합성하는데 사용되는 단위 화면들을 촬영하는 단말기 및 그 촬영 방법에 관한 것으로서, 단위화면들 촬영을 용이하게 하도록 하는 것이다.

통상적으로 디지털 영상 촬영 장치에서 영상을 획득할 수 있는 촬영부는 렌즈의 초점거리에 맺히는 화상을 획득할 수 있다. 이때 획득한 화상은 사람의 시각범위(약 150 ~　200 deg.)보다 작은 화각(일반적인 카메라에서는약 30 ~ 50deg.) 범위이다. 이에, 여러 장의 화상을 획득하기 위해 촬영 각도를 적당히 변화시켜 가며 각각 촬영하고 촬영한 화상들을 순서적으로 연결함으로써 하나의 영상으로 재구성하여 사람의 시야각과 비슷하게 또는 그 이상의 화각에 따른 사진을 얻도록 하는 방식이 제공되고 있으며, 이를 파노라마 사진 촬영 방식이라 한다.

카메라 촬영에서 2차원 평면 파노라마 촬영을 하기 위해서는 촬영자가 피사 체의 촬영 각도를 임의로 설정하여 순차적으로 촬영하여 다수의 사진을 얻은후에, 파노라마 효과를 낼 수 있도록 다수의 사진을 연결하여 편집하는 방식으로 이루어진다. 즉, 촬영자는 파노라마 촬영 대상의 범위를 정하여, 첫 번째 사진을 촬영하고, 다음에 첫 번째 촬영된 범위의 끝으로부터 다음 범위를 설정하여 두 번째 사진을 촬영하고, 계속해서 세 번째, 네 번째 촬영을 수행하는 방식을 취하였다.

이러한 방식은 전적으로 촬영자의 수작업에 의해 이루어지므로 촬영자의 숙련도에 따라서 파노라마 효과가 달라지게 되며, 특히 좌우의 촬영 범위의 좌우 간격이 균일하지 못하여 많이 겹쳐지거나 또는 겹쳐지지 않게 촬영되는 경우가 발생하고, 카메라의 촬영 높이가 상이하여 여러장의 사진을 연결하였을 때 이음매가 상하로 일치하지 않는 경우도 발생할 수 있다.

한편, 3차원 영상으로서 입체적으로 촬영이 이루어지는 3차원 입체 촬영의 경우에는, 촬영을 위한 안내 가이드가 없어서 360°의 파노라마를 완성하기에는 실질적으로 불가능한 문제가 있다. 예를 들어, 실내 거실의 천정, 바닥, 네벽이 모두 포함되는 3차원 영상을 완성하기 위해서는, 촬영자가 단말기(카메라)를 3차원 방향 전체적으로 여러장을 이어서 촬영해야 하지만, 촬영자가 3차원 피사체를 입체적으로 연속해서 이어서 촬영하기에는 불가능한 문제가 있다. 이는 2차원 파노라마 합성을 위한 촬영의 경우에도 마찬가지이다.

본 발명의 기술적 과제는 파노라마 영상 합성 시에 사용되는 단위화면들을 손쉽게 획득하도록 하는데 있다. 또한, 단말기 내의 센서를 이용하여 촬영 방향각을 감지하는데 있다. 또한, 다수개의 분면으로 구획된 전개 가이드를 표시하여 사용자가 촬영된 영역을 손쉽게 확인하도록 하는데 있다. 또한, 파노라마 촬영 모드 시에 다음 번째로 촬영할 방향을 안내하는 유도 가이드를 표시하는데 있다. 또한, 3차원 입체 영상을 방위각 및 기울기각을 이용하여 손쉽게 획득하는데 있다. 또한, 파노라마 영상 합성에 사용되는 단위화면들을 동영상에서 획득하도록 하는데 있다.

본 발명의 실시 형태인 단말기는 촬영되는 광 신호를 영상 신호로 변환하는 카메라센서와, 상기 카메라센서의 촬영 방향을 감지하는 촬영 방향 감지부와, 다수개의 분면으로 구획된 전개 가이드과 상기 카메라센서의 촬영 방향을 유도하는 유도 가이드가 표시되는 표시부와, 촬영되는 단위화면을 상기 전개 가이드의 각 분면에 표시하며, 상기 촬영 방향을 감지하여 상기 전개 가이드의 각 분면을 채우는 촬영이 이루어지도록 상기 유도 가이드를 구성하는 제어부를 포함한다.

또한, 주파수를 상승 변환하는 RF 송신기 및 하강 변환하는 RF 수신기를 구비하는 RF부와, 상기 RF부의 송수신되는 데이터를 복조하여 출력하는 스피커 및 입력되는 음성을 변조하여 상기 RF부로 전송하는 마이크부를 구비하는 오디오 처리부와, 사용자 입력 인터페이스로서 숫자키 및 기능키를 구비하는 입력부와, 상기 카메라센서에서 출력되는 영상신호를 프레임 단위로 변환하여 상기 표시부에 출력하는 영상처리부를 포함한다.

본 발명의 실시 형태인 영상 촬영 방법은, 카메라센서가 향하는 촬영 방향으로 촬영하여 단위화면을 획득하는 최초 단위화면 획득 과정과, 상기 촬영 방향을 기준으로 하여, 일정 방향각 단위로 구획시킨 분면으로 이루어진 전개 가이드를 구성하는 과정과, 상기 획득한 단위화면을 상기 전개 가이드의 중심에 있는 중심분면에 위치시켜 표시하며, 다른 분면에 대한 단위화면을 획득하기 위한 촬영이 이루어지도록 유도하는 유도 가이드를 표시하는 과정과, 상기 유도 가이드의 안내에 따라 상기 전개 가이드의 각 분면에 채워질 단위화면을 순차적으로 획득하는 단위화면 획득 과정을 포함한다.

본 발명의 다른 실시 형태인 영상 촬영 방법은, 동영상 촬영 시에 각 프레임마다 촬영되는 시점의 방향각을 해당 프레임의 헤더에 기록하는 과정과, 일정 방향각 단위의 조합으로 분할시킨 분면으로 이루어진 전개 가이드를 구성하는 과정과, 상기 전개 가이드의 각 분면의 방향각을 가지는 프레임을 상기 동영상에서 추출하는 과정과, 상기 추출된 프레임을 상기 전개 가이드에서 대응하는 분면에 위치시키는 과정을 포함한다.

본 발명의 실시예에 따르면 파노라마 영상 합성 시에, 특히, 3차원 파노라마 영상 합성 시에 사용되는 단위화면들을 손쉽게 획득할 수 있다. 또한, 현재 촬영된 영역을 전개 가이드를 통해 촬영자가 실시간으로 확인할 수 있어 파노라마 합성을 위한 중복 촬영을 방지할 수 있다. 또한, 유도 가이드를 통해 촬영 방향을 안내해줌으로써, 촬영자가 촬영 방향을 용이하게 결정할 수 있다. 또한, 파노라마 영상 합성에 사용되는 단위화면들을 동영상 촬영을 통해 용이하게 획득할 수 있다.

도 1은 본 발명의 실시 예에 따른 3차원 입체 영상 촬영을 수행하는 카메라폰의 블록도이다.
도 2는 본 발명의 실시예에 따라 카메라폰에서 감지되는 방위각을 도시한 그림이다.
도 3은 본 발명의 실시예에 따라 카메라폰에서 감지되는 기울기각을 도시한 그림이다.
도 4는 본 발명의 실시예에 따라 카메라폰이 회전된 모습을 도시한 그림이다.
도 5는 본 발명의 실시예에 따라 방향각 단위별로 구획된 분면을 도시한 그림이다.
도 6은 본 발명의 실시예에 따른 전개 가이드를 도시한 그림이다.
도 7은 본 발명의 실시예에 따른 유도 가이드를 도시한 그림이다.
도 8은 본 발명의 실시예에 따른 영상 촬영 과정을 도시한 플로차트이다.
도 9는 본 발명의 실시예에 따라 카메라센서가 감지하는 분면을 도시한 그림이다.
도 10은 본 발명의 실시예에 따른 전개 가이드 및 유도 가이드가 함께 도시된 도면이다
도 11은 본 발명의 실시예에 따라 동영상을 통해 파노라마 합성 영상의 단위화면들을 획득하는 과정을 도시한 플로차트이다.
도 12는 본 발명의 실시예에 따라 동영상의 각 프레임의 촬영 방향각을 도시한 그림이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 더욱 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상에서 동일 부호는 동일한 요소를 지칭한다.

도 1은 본 발명의 실시 예에 따른 3차원 입체 영상 촬영을 수행하는 카메라폰의 블록도이다.

이하에서는, 3차원 영상 촬영에 사용되는 단말기로서 카메라폰을 예를 들어 설명하겠으나, 디지털 카메라, 유무선 화상폰, 인터넷화상폰, PMP, 노트북PC, 넷부PC, 태블릿PC 등과 같이 카메라와 위치감지센서가 구비된 단말기라면 본 발명이 적용됨에 제한이 없을 것이다.

RF부(130)는 WCDMA와 같은 무선 통신 프로토콜에 따른 무선 통신 기능을 수행한다. 상기 RF부는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등을 포함한다.

데이터처리부(140)는 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화하는 수신기 등을 구비한다. 즉, 상기 데이터 처리부(140)는 모뎀(MODEM) 및 코덱(CODEC)으로 구성될 수 있다. 여기서 상기 코덱은 패킷데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비한다.

오디오 처리부(150)는 상기 데이터 처리부(140)의 오디오 코덱에서 출력되는 수신 오디오신호를 스피커(151)를 통해 재생하거나 또는 마이크(152)로부터 발생되는 송신 오디오신호를 상기 데이터 처리부(140)의 오디오 코덱에 전송하는 기능을 수행한다.

전원부(190)는 각 기능부에 전원을 공급하는 DC/AC전원 또는 배터리로서, 배터리의 사용시간을 늘리기 위하여 전력소모를 최소로 설계한다.

입력부(170)는 숫자 및 문자 정보를 입력하기 위한 숫자 키들 및 각종 기능들을 설정하기 위한 기능 키로서 동작한다. 상기 기능키로는 스피커 온/오프 버튼, 음량조절버튼이 구비된다.

카메라센서(110)는 영상을 촬영하며 촬영된 광 신호를 전기적 신호로 변환하는 CCD 이미지 센서로서, 상기 카메라센서를 통해 촬영된 영상은 영상처리부(320;ISP;Image Signal Processor)로 전송된다.

영상처리부(120)는 상기 카메라 센서(110)에서 출력되는 영상신호를 표시하기 위한 화면 데이터를 발생하는 기능을 수행하는데, 별도의 모듈로 구현될수도 있지만 제어부내 CPU에서 영상처리를 수행할 수도 있다. 상기 영상처리부(120)는 카메라 센서(110)에서 출력되는 영상신호를 프레임 단위로 처리하며, 프레임 영상데이터를 LCD의 특성 및 크기에 맞춰 출력한다. 또한 상기 영상처리부(120)는 영상코덱을 구비하며, 상기 LCD등의 표시부에 표시되는 프레임 영상데이터를 설정된 방식으로 압축하거나, 압축된 프레임 영상데이터를 원래의 프레임 영상데이터로 복원하는 기능을 수행한다. 여기서 상기 영상코덱은 JPEG 코덱, MPEG4 코덱, Wavelet 코덱 등이 될 수 있다.

촬영 방향 감지부(160)는, 카메라폰의 촬영 방향을 감지하는 기능을 수행하는데, 카메라폰의 카메라센서가 현재 향하는 방향의 방위각 및 기울기각을 감지하고, 아울러 카메라센서의 회전각을 감지한다.

이를 위하여 촬영 방향 감지부(160)는 카메라폰의 카메라 센서가 향하는 방향의 방위각을 감지하는 방위각센서(161)와, 카메라폰의 기울어진 각도를 감지하는 기울기센서(162)와, 카메라센서의 회전을 감지하는 회전센서(163)를 구비한다. 상기 방위각센서(161), 기울기센서(162) 및 회전센서(163)는 일반적인 휴대폰에서 방향 및 상태 감지를 위하여 구비되는 3축센서 또는 6축센서로서 구현된다.

방위각센서(161)는 나침반과 같이 북쪽을 중심으로 소정 단위(예컨대,0.1°단위)로서 360°방향의 각도를 측정할 수 있는 지자기센서로 구현된다. 예컨대, 도 2(a)에 도시한 바와 같이 진북 방향이 0°이고, 수평상태의 기울기가 0°라고 가정할 때, 카메라 센서가 향하는 방향에 대해서, 진북 방향을 기준으로 0°~ 360°의 방위각으로서 검출한다. 따라서 방위각센서는 도 2(b)와 같이 360°전체 방면에 대해서 카메라센서의 향하는 방향에 따라 단위화면들을 얻을 때의 방위각을 각각 측정할 수 있다.

기울기센서(162)는 카메라폰이 수평을 기준으로 얼마만큼 기울어졌는지를 각도로 표현하는 센서이다. 예컨대, 도 3(a)에 도시한 바와 같이 카메라폰의 수직상에서의 -90°~ 90° 기울기각을 검출할 수 있다. 따라서 기울기센서는 도 3(b)에 도시한 바와 같이 수직상에서 카메라센서의 기울어짐에 따른 단위화면들을 얻을 때의 기울기각을 각각 측정할 수 있다.

회전센서(163)는 카메라폰의 회전 각도를 검출하는 센서로서, 도 4(a)와 같이 카메라폰의 하우징 몸체의 회전각을 검출할 수 있다. 즉, 카메라폰의 하우징 몸체가 비틀어져 놓여져 있는 경우, 즉, 카메라폰의 카메라센서가 회전되어 있는 경우, 도 4(b)에 도시한 바와 같이 정확한 위치의 단위화면을 획득할 수 얻기 때문에 회전센서를 두어서 카메라센서의 회전각을 검출하는 것이다.

표시부(180)는 LCD, LED 등의 액정표시장치로서, 영상처리부(120)에서 출력되는 영상신호를 화면으로 표시하며, 또한, 제어부(100)에서 출력되는 사용자 데이터를 표시하는 디스플레이 장치(터치스크린 포함)이다.

또한, 표시부(180)에는 전개 가이드 및 유도 가이드가 디스플레이창에 표시된다. 상기 전개 가이드는 현재 카메라폰에서 찍힌 화면이 전체 3차원 영상에서 어느 부분인지를 안내하는 화면이다.

만약, 도 5에 도시한 바와 같이 3차원 영역을 방위각 0°~ 360°전체 구간에서 -135°, -90°, -45°, 0°, 45°, 90°, 135°, 180°방향에서 감지되는 분면으로 구획하고, 기울기가 -90°~ 90°구간에서 0°, -45°, 45°방향에서 감지되는 분면으로 구획하여, 28개의 분면으로서 3차원 영역 전체를 구획한다고 가정할 경우, 도 6(a)와 같이 24개의 분면을 갖는 원구 형태의 전개 가이드로 표시할 수 있다. 참고로, 렌즈 화각이 45°인 경우, 카메라센서의 기울기각이 45°를 향하고 있다면, 기울기각 45°의 ±45°화각을 가지게 되어 0°~ 90°까지의 영상을 취할 수 있다. 마찬가지로, 카메라센서의 기울기각이 0°를 향하고 있다면 -45°~ 45°까지의 영상을 취할 수 있게 되며, 카메라센서의 기울기각이 -45°를 -90°~ 0°까지의 영상을 취할 수 있게 된다. 따라서 -45°,0°,45°기울기각을 취하여 단위화면을 얻을 시에 천정부터 바닥까지 전체를 파노라마 합성하여 담을 수 있다.

한편, 3차원 영역을 -135°, -90°, -45°, 0°, 45°, 90°, 135°, 180°방향에서 감지되는 화면으로 구획하고, 기울기가 0°~ 90°구간에서 0°, 45°방향에서 감지되는 화면으로 구획할 시에 도 6(b)와 같이 반구 형태로 나타낼 수 있다. 또는, 다른 실시예로서 이들의 전개 가이드로서 도 6(c)와 같이 화면 전개도로서 나타낼 수 있으며, 또는, 원구 형태가 아닌 다각형 형태로서 도 6(d)와 같은 전개 가이드를 나타낼 수 있다. 한편, 도 6(c)와 같이 전개도로서 표시할 경우, 각 단위 화면을 표시부에 표시할 때 가이드선이 화면 변함에 따라 상대적으로 나타나도록 구현할 수 있다. 예컨대, 카메라폰의 촬영 방향이 제1분면 방향인 경우, 카메라폰의 표시부에는 제1분면에 있는 피사체의 영상이 표시되면서 아울러 제1분면에 있는 가이드선을 함께 표시한다. 이때, 촬영 방향이 제6분면 방향으로 움직이게 되면 그에 따라 제6분면의 가이드선이 카메라폰의 표시부에 나타난다.

한편, 상기와 같이 전개 가이드를 구성하기 위한 분면의 갯수는 카메라센서의 렌즈 화각에 따라 분할되는 갯수를 달리한다. 예컨대, 일반 렌즈는 45°화각을 가질 때 45°단위로 28개의 분면으로 3차원 영상을 구현한다고 하면, 60°화각을 가지는 광각렌즈의 경우는 28개보다 더 적은 분면 갯수로 3차원 영상이 구현될 수 있다.

상기와 같이 다수개의 분면으로 구성되는 전개 가이드 상에서, 지금까지 찍힌 단위화면(이하, '촬영완료 단위화면'이라 함) 및 현재 카메라센서에 의해 감지되는 단위화면(이하, '촬영예정 단위화면'이라 함)을 전개 가이드 상에 나타낸다. 예컨대, 도 6(a)에 도시된 바와 같이 제11,14분면이 촬영완료 단위화면인 경우 이들이 전개 가이드의 해당 위치에 표시되며, 제17분면이 촬영예정 단위화면인 경우 전개 가이드의 17번 단위화면 위치에서 깜박거림으로 표시된다.

한편, 유도 가이드는 촬영자의 카메라폰 촬영 방향을 유도하는 화면을 표시하는 화면이다. 예컨대, 좌우 방위 방향으로 유도하는 경우에는 도 7(a)와 같이 표시부의 디스플레이창의 좌우측에 방위 유도 화살표(701)를 나타내고, 유도하려는 방위 유도 화살표(701)를 깜박거림으로써 촬영자가 파지한 카메라폰을 깜박거리는 방위 유도 화살표 방향으로 움직이도록 한다. 마찬가지로, 카메라폰의 기울기 방향을 유도하는 경우에도 도 7(b)와 같이 표시부의 디스플레이창의 기울기 유도 화살표(702)를 나타내고, 유도하려는 기울기 유도 화살표(702)를 깜박거림으로써 촬영자가 카메라폰을 기울기 유도 화살표 방향으로 기울이도록 한다.

또한, 도 4(a)에 도시한 바와 같이 카메라폰이 회전되어 있어 비틀어져 있는 경우 도 7(c)와 같이 회전 유도 화살표(703)를 나타내고, 비틀림없이 정상적인 위치에 놓이도록 회전 유도 화살표를 깜박거림으로써, 촬영자가 카메라폰을 움직여서 정상적인 위치에 놓이도록 한다.

또한, 상기 화살표들은 하나의 디스플레이창에 함께 표시될 수 있는데, 도 7(d)에 도시한 바와 같이 방위 유도 화살표(701), 기울기 유도 화살표(702), 회전 유도 화살표(703)가 하나의 창에 표시되어 촬영자의 카메라폰 방향을 유도할 수 있다. 도 7(d)에 도시한 기울기 유도 화살표(703)는 도 7(b)의 기울기 유도 화살표(703)와 달리 표시하였는데, 이와 같이 지시 표식의 모양은 도 7에 도시된 화살표 모양 이외에도 다양하게 구현할 수 있을 것이다.

제어부(100)는 O/S(Operating System)의 운영체제 하에서 카메라폰의 전반적인 동작을 제어하는 기능을 수행한다. 아울러 본 발명의 실시예에 따라 전개 가이드 및 유도 가이드를 표시부에 표시하여 촬영자의 촬영 방향을 유도하여 3차원 영상의 각 단위화면을 획득한다. 이밖에, 제어부는 상기 획득한 단위화면들을 파노라마 형태로 합성하여 3차원 뷰 이미지로 디스플레이하는데, 파노라마 합성 및 3차원 뷰 디스플레이 방식은 기존에 공지된 다양한 방식으로 수행한다.

본 발명의 실시예와 관련하여, 제어부는 촬영 방향 감지부에서 감지되는 촬영 방향을 감지하여, 전개 가이드의 각 분면에 채워질 단위화면을 획득하도록 유도 가이드를 구성하여 촬영자의 촬영 방향을 유도하는데, 이러한 제어부의 동작 알고리즘은 단말기 내 S/W 애플리케이션, 또는, 이러한 S/W 애플리케이션이 저장된 기록매체(내장/외장 메모리)에 기록될 수 있다. 따라서 제어부는 본 발명의 알고리즘이 구동되는 S/W 애플리케이션, 기록매체에 해당된다고도 할 수 있다.

제어부의 동작 알고리즘의 구체적인 과정들을 도 8의 플로차트와 함께 상술한다.

도 8은 본 발명의 실시 예에 따른 영상 촬영 과정을 도시한 플로차트이다.

이하, 설명에서는 3차원 파노라마 합성을 위한 영상 촬영 과정을 설명하겠으나, 2차원 파노라마 합성을 위한 영상 촬영 과정도 마찬가지로 적용될 수 있다.

우선, 카메라폰의 회전각이 0°가 되도록 유도 가이드 상에서 회전 유도 화살표를 지시한다(S801). 상기에서 회전각이란 도 4에서 설명한 바와 같이 카메라폰의 바디체의 중심점을 기준으로 하여 카메라폰의 바디체가 얼마만큼 회전되어 비틀려져 있는지를, 즉, 카메라센서의 회전각을 나타내는 값이다. 예컨대, 카메라폰이 수직으로 놓여져 있는 상태를 회전각 0°라고 가정할 경우, 카메라폰의 비틀림 정도에 따라 카메라센서의 회전각이 달라진다.

상기 유도 화살표의 지시 방향에 따라 촬영자가 카메라폰을 바르게 파지하여 카메라센서의 회전각이 0°가 되었는지를 판단(S802)하여, 회전없이 정상적으로 카메라폰이 위치할 경우 사진을 찍어도 좋다는 안내 화면을 표시한다(S803).

참고로, 상기에서 촬영자의 카메라폰 위치 조정에 따라 회전각이 0°가 되었다는 것은, 카메라폰이 정확히 0.00°가 되어야만 한다는 것을 의미하는 것이 아니라, 추후에 촬영된 단위화면들을 하나의 3차원 영상으로 파노라마 합성할 시에 용인될 수 있는 오차 범위 내의 각도임을 의미한다. 이는 이하에서 설명할 방위각, 기울기각에서도 마찬가지로 적용된다.

촬영자가 촬영을 수행하여 현재 위치에서의 단위화면(최초 단위화면)을 획득하면(S804), 최초 단위화면을 획득할 때의 방위각 및 기울기각을 갖는 분면을 기준분면으로 하여 전개 가이드를 구성한다(S805). 즉, 상기의 최초 단위화면을 획득할 때의 방위각 및 기울기각을 갖는 분면을 중심분면으로 하여, 상기 중심분면을 중심으로 일정 방향각 단위씩 분할시킨 다수개의 분면으로서 전개 가이드를 구성한다(S805). 그후, 최초 단위화면을 전개 가이드의 중심 분면에 표시한다(S806).

예컨대, 3차원 영역은 도 5에 도시한 바와 같이 45°단위로서 구획되어 24개로 표현될 수 있는데, 3차원 영역이 방위각 0°~ 360°전체 구간에서 45°단위로, 기울기는 -90°~ 90°구간에서 0°, 45°, -45°단위로 구획되어 24개의 방향각을 갖는 분면으로서 상하 360°및 좌우방위 360°의 3차원 영역 전체로 구획되어 도 6과 같이 전개 가이드로 표시된다. 이때, 상기 과정에서 찍힌 최초 단위화면을 방위각 0°, 기울기 0°위치인 전개 가이드의 중심분면인 제11분면에 표시한다.

상기와 같이 중심분면에 최초 단위화면을 표시한 후에는 다음번째 촬영할 촬영 방향을 유도하는 유도 가이드를 구성하여 표시한다(S807). 상기 유도 가이드에는 방위 유도 화살표, 기울기 유도 화살표, 회전 유도 화살표가 표시되어 있어, 촬영하고자 하는 방향을 지시한다.

중심분면인 제11분면에 표시할 단위화면을 획득한 후에, 현재 카메라센서가 감지하는 위치에 따라서 유도 가이드를 구성한다. 카메라센서의 현재 향하는 방향과 가장 인접한 분면으로 촬영 방향을 유도한다.

예를 들어, 도 9에 도시한 바와 같이 제11분면을 획득후 현재 카메라센서가 향하는 방향 위치가 제13,14,17,18분면을 모두 포함하는 방향에 위치하고 있다면, 이때, 가장 면적을 많이 차지하는 제13분면, 즉, 방위각 45°, 기울기각 45°의 방향으로 카메라센서의 촬영 방향을 유도하는 유도 가이드를 구성한다. 카메라센서에서 감지되는 분면들중에서 제13분면이 가장 면적을 많이 차지한다는 것은, 현재 카메라센서가 향하는 방향 위치가 제13분면에 제일 가깝다는 것을 의미한다. 만약, 제13분면이 이전에 찍힌 화면이라 새롭게 단위화면을 획득할 필요가 없다면, 그 다음으로 면적이 큰 분면으로 방향을 유도한다.

유도 가이드는 도 9에서 찍고자 하는 제13분면의 방향으로 카메라센서의 방향이 향하도록 하기 위하여, 현재의 카메라센서의 방향에서 방위 유도 화살표를 좌측을 지시하도록 하며, 기울기 유도 화살표를 상측을 지시하도록 표시한다. 상기에서 카메라센서가 향하는 방향 위치를 감지할 수 있는 것은, 카메라폰에 구비된 방위센서 및 기울기센서에서 실시간으로 측정되는 방위각 및 기울기각을 통하여 감지할 수 있다.

한편, 다음번째의 단위화면 유도 방향은 상기 면적별 크기에 따른 유도 이외에도 다양한 방식으로 유도 가능하다. 사선 방향, 또는 수평 방향, 또는 수직방향으로 촬영 방향 유도가 이루어지도록 구현할 수 있다.

도 5를 참고하여, 사선 방향 유도 방식을 설명하면, 이전에 제8분면, 그 이전에 제4분면이 촬영되어, 즉, 제4분면->제8분면으로 좌상 +45°의 사선 방향으로 촬영이 이루어지고 있다면 그 사선 방향을 유지하여 다음번째에는 제12분면으로 촬영 방향을 유도할 수 있다. 마찬가지로, 제15분면->제17분면->제19분면 방향으로 촬영이 이루어졌다면 그 다음에 제16분면으로 촬영을 유도한다.

마찬가지로, 수평 방향 유도 방식은, 제1분면->6분면-제7분면->...으로 이루어지는 방식을 말하며, 수직 방향 유도 방식은, 제1분면->2분면->3분면->4분면->5분면->....으로 이루어진다. 결국, 현재 촬영되고 있는 방향을 유지하여 수평 방향, 수직 방향, 사선 방향으로 촬영 유도를 할 수 있다. 참고로, 상기 유도 가이드는 방위 유도 화살표, 기울기 유도 화살표 이외에도 회전 유도 화살표도 함께 표시하여, 카메라센서가 회전없이 정상적으로 놓여지도록 유도할 수 있다. 참고로, 도 10은 반구형태의 전개 가이드 및 유도 가이드가 카메라폰의 표시부에 함께 표시되는 모습을 도시한 그림으로서, 좌측 및 상측으로 카메라폰의 방향을 지시하는 유도 가이드를 도시하였다.

카메라폰의 움직임에 의해 카메라센서가 향하는 방향이 촬영 유도하고자 하는 분면으로 오차 범위 내에서 향하고 있는지를 판단하여(S808), 촬영 유도하고자 하는 방향으로 카메라폰의 카메라센서가 향하고 있다면, 현재 상태에서 촬영가능하다는 촬영 지시 안내를 화면에 표시한다(S809).

상기 촬영 가능하다는 지시 안내에 따라 촬영자가 촬영을 하게 됨으로써, 현재 향하는 방향의 단위화면을 획득하게 된다(S810). 상기 획득된 단위화면은 전개 가이드 상의 해당 분면에 표시되어 디스플레이된다.

상기 획득한 단위화면에 대한 전개 가이드에 디스플레이(S811)가 이루어진 후, 3차원 영상을 위한 모든 단위화면이 획득되었는지를 판단한다(S812). 판단결과, 획득되지 않은 단위화면이 존재한다면 획득되지 않은 단위화면을 획득하기 위하여 해당 방향을 향하도록 하는 유도 가이드를 구성하여 디스플레이하고 상기 과정들을 반복한다.

상기의 과정들을 반복함으로써, 전체 24개의 분면에 대한 각각의 단위화면을 획득함으로써, 3차원 영상을 구현할 수 있다.

한편, 상기 획득된 3차원 영상의 각 단위화면들을 이용하여, 공지된 다양한 파노라마 합성 방식과 같이 각 단위화면의 경계선을 서로 연결하여 3차원 뷰 이미지를 얻을 수 있다. 또한, 파노라마 합성된 3차원 뷰 이미지는 공지된 로드뷰, 스트리트뷰와 같이 클릭의 선택 및 끌림에 의해 3차원 영상을 입체적으로 감상할 수 있다.

한편, 상기 전개 가이드는, 거실 내의 촬영자가 거실을 촬영하듯이 3차원 영역의 공간을 내부에서 바라볼 시에 다수개의 분면으로 구성한 예이다.

그런데, 상기 설명한 실시예 이외에 본 발명의 다른 실시예에 따른 전개가이드는, 3차원 피사체를 외부에서 바라볼 시에 상기 피사체의 형상을 다수개의 분면으로 이루도록 구성할 수 있다. 피사체의 외부면을 다수개의 분면으로 나누어 촬영된 단위화면들은 3차원 리버스 파노라마(reverse panorama)로 합성되어 이용된다.

즉, 3차원 리버스 파노라마란 하나의 촬영체의 외부면을 360°방향에서 촬영되어 합성된 3차원 화면을 말한다. 예컨대, 사과, 컵 등과 같이 하나의 피사체의 외주면를 360°방향에서 조망 가능하도록 하는 화면이다. 따라서 본 발명의 전개 가이드는 리버스 파노라마 합성을 위한 단위화면을 얻도록 다수의 분면이 구성될 수 있다.

한편, 본 발명의 실시예는 정지 화면을 촬영하고, 이들의 정지 화면을 3차원 영상으로 합성하는데 이용하고 있다. 그런데, 본 발명의 다른 실시예로서 동영상을 촬영하고 이를 3차원 영상으로 합성하는데 이용하도록 구현할 수 있다.

즉, 기울기센서 및 방위센서가 구비된 카메라폰을 통하여 동영상을 촬영하고, 촬영된 동영상에서 3차원 영상 합성에 이용되는 특정 프레임을 추출하는 방식으로 구현할 수 있다.

도 11은 본 발명의 실시예에 따라 동영상을 통해 파노라마 합성 영상의 단위화면들을 획득하는 과정을 도시한 플로차트이다.

피사체 동영상 촬영 시에 각 프레임마다 촬영되는 시점의 방향각(방위각 및 기울기각)을 해당 프레임의 헤더에 구비되는 방향각 필드에 기록한다(S1101). 즉, MPEG, H.263 등의 동영상 각 프레임의 헤더 영역에 해당 프레임의 촬영시의 방향각(방위각 및 기울기각)을 기록하는 방향각 필드를 구비한다. 상기 방향각은 방위각, 기울기각 중 어느 하나 이상의 각도를 말한다. 3차원 입체 영상 합성에 사용되는 경우에는 방위각 및 기울기각을 모두 필요로 하지만, 만약, 3차원 입체 영상이 아니고 2차원 파노라마 합성에 사용되는 경우에는 방위각 또는 기울기각 중에서 어느 하나의 각도만을 저장하여 2차원 파노라마 합성에 이용할 수 있다.

프레임의 헤더 영역의 방향각 필드는 방위각 필드와 기울기각 필드를 포함한다. 상기 방위각 필드는 카메라센서가 향하는 방향을 방위각을 기록하는 필드로서, 진북방향을 0°라고 할때, 진북방향과 이루는 방위각이 기록된다. 기울기각 필드는 수평을 0°라 할때 수평에서 수직으로 기울어진 기울기각이 기록되는 필드를 말한다. 초당 60 프레임으로 동영상으로 촬영된다고 가정할 때, 1/60초 간격으로 찍히는 각 프레임의 헤더 정보에는 도 12에 도시한 바와 같이 찍히는 순간의 방위각 및 기울기각이 기록된다.

그 후, 영역(2차원영역,3차원영역)을 일정 방향각 단위의 조합으로 분할시킨 분면으로 이루어진 전개 가이드를 구성한다(S1102).

3차원 영역을 방위각 및 기울기각 단위의 조합으로 분할시키는 경우, 예컨대, 방위각 45°단위로 8방향, 기울기 -45°, 0°, 45°기준으로 3방향으로서 3차원 영상을 구현할 경우, 24개의 방향각을 갖는 24개의 분면을 갖는 전개 가이드를 구성할 수 있다.

{방위각,기울기각} =

{-135°,-45°}, {-135°,0°}, {-135°,45°},

{-90°,-45°}, {-90°,0°}, {-90°,45°},

{-45°,-45°}, {-45°,0°}, {-45°,45°},

{0°,-45°}, {0°,0°}, {0°,45°},

{45°,-45°}, {45°,0°}, {45°,45°},

{90°,-45°}, {90°,0°}, {90°,45°},

{135°,-45°}, {135°,0°}, {135°,45°},

{180°,-45°}, {180°,0°}, {180°,45°}

그 후, 전개 가이드의 각 분면의 방향각(방위각 및 기울기각)을 가지는 프레임을 촬영된 동영상에서 추출하는 과정을 갖는다(S1103). 예컨대, 도 12의 프레임들로 이루어진 동영상의 경우, {방위각,기울기각}이라고 할때, 전체의 동영상 프레임 중에서 {0°,0°}를 갖는 제1프레임을 추출하고, {45°,90°}를 갖는 제6프레임을 추출한다. 추출된 프레임은 해당 방향각을 갖는 전개 가이드의 분면에 배치하여 전개 가이드를 채울 수 있다(S1104).

추후, 상기 전개 가이드의 각 분면에 영상을 채우게 되면, 각 분면의 영상들을 2차원 또는 3차원 파노라마 합성하여 사용자에게 뷰(view) 제공할 수 있게 된다.

본 발명을 첨부 도면과 전술된 바람직한 실시예를 참조하여 설명하였으나, 본 발명은 그에 한정되지 않으며, 후술되는 특허청구범위에 의해 한정된다. 따라서, 본 기술분야의 통상의 지식을 가진 자라면 후술되는 특허청구범위의 기술적 사상에서 벗어나지 않는 범위 내에서 본 발명을 다양하게 변형 및 수정할 수 있다.

100:제어부 110:카메라센서
120:영상처리부 130:RF부
140:데이터처리부 150:오디오처리부
160:촬영방향 감지부 170:입력부
180:표시부 190:전원부

Claims (17)

1. 촬영되는 광 신호를 영상 신호로 변환하는 카메라센서;
   상기 카메라센서의 촬영 방향을 감지하는 촬영 방향 감지부;
   다수개의 분면으로 구획된 전개 가이드과 상기 카메라센서의 촬영 방향을 유도하는 유도 가이드가 표시되는 표시부;
   촬영되는 단위화면을 상기 전개 가이드의 각 분면에 표시하며, 상기 촬영 방향을 감지하여 상기 전개 가이드의 각 분면을 채우는 촬영이 이루어지도록 상기 유도 가이드를 구성하는 제어부
   를 포함하는 단말기.
2. 청구항 1에 있어서,
   주파수를 상승 변환하는 RF 송신기 및 하강 변환하는 RF 수신기를 구비하는 RF부;
   상기 RF부의 송수신되는 데이터를 복조하여 출력하는 스피커 및 입력되는 음성을 변조하여 상기 RF부로 전송하는 마이크부를 구비하는 오디오 처리부;
   사용자 입력 인터페이스로서 숫자키 및 기능키를 구비하는 입력부;
   상기 카메라센서에서 출력되는 영상신호를 프레임 단위로 변환하여 상기 표시부에 출력하는 영상처리부
   를 포함하는 단말기.
3. 청구항 1 또는 2에 있어서, 상기 촬영 방향 감지부는,
   상기 카메라센서가 향하는 방향의 방위각을 감지하는 방위각센서;
   상기 카메라센서가 향하는 방향의 기울어진 각도를 감지하는 기울기센서;
   상기 카메라센서의 회전각을 감지하는 회전센서
   중에서 어느 하나 이상 포함하는 단말기.
4. 청구항 1 또는 2에 있어서, 상기 유도 가이드는,
   촬영하고자 하는 방위각으로 상기 카메라센서의 촬영 방향을 유도하는 방위 유도 화살표;
   촬영하고자 하는 기울기각으로 상기 카메라센서의 촬영 방향을 유도하는 기울기 유도 화살표;
   상기 카메라센서의 회전없이 수평에 위치하도록 유도하는 회전 유도 화살표
   중에서 어느 하나 이상 포함하는 단말기.
5. 카메라센서가 향하는 촬영 방향으로 촬영하여 단위화면을 획득하는 최초 단위화면 획득 과정;
   상기 촬영 방향을 기준으로 하여, 일정 방향각 단위로 구획시킨 분면으로 이루어진 전개 가이드를 구성하는 과정;
   상기 획득한 단위화면을 상기 전개 가이드의 중심에 있는 중심분면에 위치시켜 표시하며, 다른 분면에 대한 단위화면을 획득하기 위한 촬영이 이루어지도록 유도하는 유도 가이드를 표시하는 과정;
   상기 유도 가이드의 안내에 따라 상기 전개 가이드의 각 분면에 채워질 단위화면을 순차적으로 획득하는 단위화면 획득 과정
   을 포함하는 영상 촬영 방법.
6. 청구항 5에 있어서, 상기 최초 단위화면 획득 과정은, 상기 카메라센서의 촬영 방향에 대한 회전이 있을 경우, 촬영 방향의 회전없도록 하는 회전 유도 가이드를 표시하여 촬영자로 하여금 회전없는 촬영이 이루어지도록 하는 영상 촬영 방법.
7. 청구항 5에 있어서, 상기 전개 가이드를 구성하는 과정은,
   상기의 최초 단위화면을 획득할 때의 방향각을 갖는 분면을 중심분면으로 하여, 상기 중심분면을 중심으로 일정 방향각 단위씩 분할시킨 분면으로서 전개 가이드를 구성하는 영상 촬영 방법.
8. 청구항 5에 있어서, 상기 유도 가이드는,
   촬영하고자 하는 방위각으로 상기 카메라센서의 촬영 방향을 유도하는 방위 유도 화살표;
   촬영하고자 하는 기울기각으로 상기 카메라센서의 촬영 방향을 유도하는 기울기 유도 화살표;
   상기 카메라센서의 회전없이 수평에 위치하도록 유도하는 회전 유도 화살표
   중에서 어느 하나 이상 포함하는 영상 촬영 방법.
9. 청구항 5에 있어서, 상기 유도 가이드는, 카메라센서의 현재 향하는 방향과 가장 인접한 분면으로 촬영 방향을 유도하는 영상 촬영 방법.
10. 청구항 5에 있어서, 상기 유도 가이드는, 수평 방향 또는 수직 방향 또는 사선 방향으로 유도가 이루어지도록 구현하여 분면들에 대한 순차적인 촬영이 이루어지도록 구현되는 영상 촬영 방법.
11. 동영상 촬영 시에 각 프레임마다 촬영되는 시점의 방향각을 해당 프레임의 헤더에 기록하는 과정;
    일정 방향각 단위의 조합으로 분할시킨 분면으로 이루어진 전개 가이드를 구성하는 과정;
    상기 전개 가이드의 각 분면의 방향각을 가지는 프레임을 상기 동영상에서 추출하는 과정;
    상기 추출된 프레임을 상기 전개 가이드에서 대응하는 분면에 위치시키는 과정
    을 포함하는 영상 촬영 방법.
12. 청구항 5 또는 청구항 11에 있어서, 상기 방향각은 방위각 및 기울기각 중 어느 하나 이상 포함하는 영상 촬영 방법.
13. 청구항 5 또는 청구항 11에 있어서, 상기 전개 가이드는, 3차원 영역의 공간을 내부에서 바라볼 시에 다수개의 분면으로 이루도록 구현됨을 특징으로 하는 영상 촬영 방법.
14. 청구항 5 또는 청구항 11에 있어서, 상기 전개 가이드는, 3차원 피사체를 외부에서 바라볼 시에 상기 피사체의 형상을 다수개의 분면으로 이루도록 구현됨을 특징으로 하는 영상 촬영 방법.
15. 청구항 5 또는 청구항 11에 있어서, 상기 전개 가이드는, 상기 카메라센서의 렌즈 화각에 따라 전개 가이드를 구성하는 분면의 개수를 달리하는 영상 촬영 방법.
16. 청구항 14에 있어서, 상기 전개 가이드는, 방위각 0°~ 360°전체 구간에서 -135°, -90°, -45°, 0°, 45°, 90°, 135°, 180°방향과, 기울기각 -90°~ 90°구간에서 0°, -45°, 45°방향의 조합으로 된 다수개의 분면으로 이루어짐을 특징으로 하는 영상 촬영 방법.
17. 청구항 5 또는 청구항 11에 있어서, 상기 전개 가이드는, 원구형태, 반구형태, 다각형태, 전개도 형태 중 어느 하나 이상의 형태로 구현되는 영상 촬영 방법.

Images