KR20090045643A

KR20090045643A - 휴대 단말기 및 그 파노라마 이미지 촬영 모드 수행 방법

Info

Publication number: KR20090045643A
Application number: KR1020070111571A
Authority: KR
Inventors: 김남진; 조승현
Original assignee: 삼성전자주식회사
Priority date: 2007-11-02
Filing date: 2007-11-02
Publication date: 2009-05-08
Also published as: US8411133B2; KR101336951B1; US20090115840A1

Abstract

본 발명은 카메라를 구비한 휴대 단말기 및 그 파노라마 이미지를 촬영하는 방법에 관한 것으로 파노라마 촬영 모드가 선택되면, 프리뷰 이미지를 표시하는 과정; 촬영 신호가 입력되면, 제1 및 제2 부분 이미지를 연속적으로 획득하는 과정; 상기 획득한 제1 및 제2 부분 이미지를 비교하여 촬영 방향을 설정하는 과정; 및 상기 설정된 촬영 방향에 따른 파노라마 이미지를 생성하는 과정을 갖는다. 이에 따라 사용자가 휴대 단말기를 통해 파노라마 이미지를 촬영시, 촬영 방향을 설정하지 않고 파노라마 이미지를 촬영할 수 있다.

휴대 단말기, 카메라, 파노라마 이미지, 기준 블록, 비교 블록

Description

휴대 단말기 및 그 파노라마 이미지 촬영 모드 수행 방법{MOBILE TERMINAL AND METHOD FOR EXECUTING MODE PHOTOGRAPHING PANORAMA IMAGE THEREOF}

본 발명은 휴대 단말기 및 그 기능 수행 방법에 관한 것으로 특히 카메라를 통해 파노라마 이미지를 생성하기 위한 다수 개의 부분 이미지를 촬영하는 휴대 단말기 및 그 파노라마 이미지 촬영 모드 수행 방법에 관한 것이다.

일반적으로 휴대 단말기는 음성 통화 기능뿐만 아니라 다양한 기능을 구비한다. 이러한 다양한 기능들로는 화상 통화 기능, 메시지 송수신 기능, MP3 기능, 카메라 기능 등이 있다. 특히 카메라 기능은 언제 어디서든지 사용자가 원하는 이미지를 촬영할 수 있다는 이점이 있어 많이 사용되고 있다.

사용자는 휴대 단말기에 구비된 카메라를 통해 홈페이지 등에 사용할 수 있는 작은 사이즈의 사진부터 동영상까지 다양한 종류의 이미지들을 촬영할 수 있다. 이중 파노라마 이미지는 일반 이미지보다 넓은 범위로 촬영되며, 촬영되는 다수개의 부분 이미지를 일정 방향으로 연결하여 생성되는 이미지이다.

파노라마 이미지를 촬영하고자 할 때, 사용자는 촬영하고자 하는 방향을 미리 설정해야 한다. 다시 말해 사용자가 휴대 단말기의 카메라를 통해 파노라마 이미지를 촬영할 때, 이미지가 촬영되는 방향이 위쪽으로 진행되는지, 아래쪽으로 진행되는지, 오른쪽으로 진행되는지, 왼쪽으로 진행되는지 미리 설정해야하는 불편함이 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 파노라마 이미지 촬영시, 입력되는 프레임들을 비교하여 이동 방향을 설정하는 파노라마 이미지 촬영 모드 수행 방법 및 그 휴대 단말기를 제공하는데 있다.

상기와 같은 목적을 달성하기 위해 본 발명의 실시예에 따른 파노라마 이미지 촬영 모드 수행 방법은 파노라마 촬영 모드가 선택되면, 프리뷰 이미지를 표시하는 과정; 촬영 신호가 입력되면, 제1 및 제2 부분 이미지를 연속적으로 획득하는 과정; 상기 획득한 제1 및 제2 부분 이미지를 비교하여 촬영 방향을 설정하는 과정; 및 상기 설정된 촬영 방향에 따른 파노라마 이미지를 생성하는 과정을 포함한다.

또한 상기와 같은 목적을 달성하기 위해 본 발명의 실시예에 따른 휴대 단말기는 부분 이미지들을 촬영하는 카메라부; 상기 촬영된 이미지들로 생성되는 파노라마 이미지를 표시하는 표시부; 및 파노라마 이미지 촬영 모드시, 상기 카메라부 를 통해 제1 부분 이미지와 제2 부분 이미지를 획득하여, 상기 획득한 제1 부분 이미지와 제2 부분 이미지를 비교하여 촬영 방향을 확인하고, 상기 확인된 촬영 방향에 따른 파노라마 이미지를 생성하여, 상기 표시부에 표시하도록 제어하는 제어부를 포함한다.

본 발명에 따르면, 휴대 단말기에서 파노라마 이미지 촬영 모드 수행시, 휴대 단말기는 카메라를 통해 연속적으로 프레임이 입력되면, 입력된 프레임에 기준 블록과 비교 블록을 설정하고, 각 블록에 포함된 픽셀의 밝기값을 비교하여 이동 방향을 확인할 수 있다. 이에 따라 사용자가 휴대 단말기에서 파노라마 이미지를 촬영할 때, 미리 파노라마 이미지가 촬영될 방향을 설정하지 않아도, 파노라마 이미지를 촬영할 수 있다.

'휴대 단말기'는 데이터를 생성하여, 다른 단말기로 전송할 수 있고, 다른 단말기로부터 데이터를 수신하여 저장할 수 있으며, 사용자가 휴대할 수 있는 단말기를 의미한다. 여기서 휴대 단말기는 이동 통신 단말기, 디지털 카메라 등 카메라를 구비한 소형 단말기를 의미한다.

'부분 이미지'는 파노라마 이미지를 생성하기 위해 입력되는 다수개의 프레임들을 의미한다.

이하 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다.

도 1은 본 발명에 따른 휴대 단말기의 구성을 나타낸 블록도이다.

도 1을 참조하면, 휴대 단말기는 무선 통신부(110), 카메라부(120), 영상 처리부(130), 표시부(140), 제어부(150), 입력부(160), 저장부(170)로 구성된다.

무선 통신부(110)는 휴대 단말기와 기지국 간의 주파수 통신 기능을 수행한다. 통신부는 송수신 기능을 분리하는 듀플렉서와 송신 신호의 주파수를 상승 변환하는 송신부와 수신 신호의 주파수를 하강 변환하는 수신부로 구성될 수 있다.

카메라부(120)는 영상 데이터를 촬영하는 기능을 수행한다. 여기서 카메라부(120)는 촬영된 광 신호를 아날로그 영상 신호로 변환하는 카메라 센서와 카메라 센서로부터 변환된 아날로그 영상 신호를 디지털 데이터로 변환하는 신호 처리부를 구비한다. 카메라 센서는 CCD 센서로, 신호 처리부는 DSP(Digital Signal Processor)로 구현될 수 있다. 또한 카메라 센서 및 신호 처리부는 일체형으로 구현되거나, 따로 분리해서 구현될 수 있다. 카메라부(120)는 파노라마 이미지 촬영 모드시, 파노라마 이미지를 구성하는 다수개의 부분 이미지를 촬영할 수 있다.

영상 처리부(130)는 카메라부(120)에서 출력되는 영상 신호를 표시하기 위한 화면 데이터를 발생하는 기능을 수행한다. 이러한 영상 처리부(130)는 카메라부(120)에서 출력되는 영상 신호를 프레임 단위의 영상 데이터로 변환하며, 이렇게 변환된 프레임 영상 데이터를 표시부(140)의 크기에 맞추어 출력한다. 또한 영상 처리부(130)는 영상 코덱을 구비하여, 표시부(140)에 표시되는 프레임 영상 데이터를 설정된 방식으로 압축하거나, 압축된 프레임 영상 데이터를 원래의 프레임 영상 데이터로 복원하는 기능을 수행한다. 이 때, 영상 코덱은 JPEG 코덱, MPEG4 코덱, Wavelet 코덱 등이 될 수 있다.

표시부(140)는 휴대 단말기의 상태 및 동작에 관련된 각종 정보를 표시할 수 있으며, 특히 영상 처리부(130)에서 출력되는 프레임 영상 데이터를 표시할 수 있다. 표시부(140)는 LCD를 사용할 수 있으며, 이러한 경우 표시부(140)는 LCD 제어부, 영상 데이터를 저장할 수 있는 메모리 및 LCD 표시 소자 등을 구비하여, 터치스크린(Touch screen)방식으로 구현될 수 있다. 이렇게 터치스크린 방식으로 구현된 경우에 표시부(140)는 입력부(160)로도 동작할 수 있다. 여기서 표시부(140)는 카메라부(120)를 통해 촬영되는 파노라마 이미지를 표시할 수 있다.

제어부(150)는 휴대 단말기를 구성하는 구성들의 전반적인 상태 및 동작을 제어한다. 제어부(150)는 송신되는 신호를 부호화 및 변조하는 송신기와, 수신되는 신호를 복조 및 복호화하는 수신기 등을 구비하는 데이터 처리부를 포함할 수 있다. 여기서 데이터 처리부는 모뎀(MODEM) 및 코덱(CODEC)으로 구성되며, 코덱은 데이터 등을 처리할 수 있는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비한다.

특히 제어부(150)는 평균 절대 오차값 산출부(155)를 구비한다. 그래서 제어부(150)는 파노라마 이미지 촬영 모드 수행시, 블록 정합 방법을 이용하여, 파노라마 이미지가 촬영될 방향을 설정할 수 있다. 여기서 블록 정합 방법은 연속적인 이미지들 안에 일정한 크기의 블록을 지정하여, 블록 안의 픽셀들에 대한 밝기 값을 통해 이동 방향에 대한 평균 절대 오차(Mean absolute difference; MAD)값을 산출하고, 산출된 MAD값이 가장 작은 블록을 검색함으로써, 이동 방향을 구할 수 있는 방법이다.

좀 더 자세히 설명하자면, 평균 절대 오차값 산출부(155)는 연속적으로 입력된 이미지 중에 첫 번째로 입력된 이미지에서 기준 블록을 설정한다. 그리고 평균 절대 오차값 산출부(155)는 다음으로 입력된 이미지에서 매크로 블록(16*16) 단위의 크기로 나누어진 비교 블록들을 설정한 다음, 기준 블록에 포함되는 픽셀들의 밝기 값과 각 비교 블록들에 포함되는 픽셀의 밝기 값을 통해 비교 블록들의 MAD값을 산출한다.

여기서 MAD값은 다음과 같은 수학식 1을 이용하여 산출할 수 있다.

[수학식 1]

mn은 블록이 나누어지는 크기, F(i, j)는 기준 블록을 구성하는 픽셀들의 밝기 값, G(i+dx, j+dy)는 비교 블록을 구성하는 픽셀들의 밝기 값을 의미한다.

비교 블록별로 MAD값이 산출된 다음, 제어부(150)는 산출된 MAD값에서 가장 작은 MAD값을 확인한다. 그리고 제어부(150)는 확인된 가장 작은 MAD값에 해당하는 블록을 확인하고, 확인된 블록의 위치를 기준으로 이동 방향으로 설정한다. 일반적으로 블록 정합 방법은 정확한 움직임 벡터를 구하기 위해 사용되나, 본 발명에서는 파노라마 이미지의 촬영 방향을 예측하기 위한 것임으로, 제어부(150)는 기준 블록을 중심으로 상, 하, 좌, 우 방향에 위치한 블록들의 MAD값만을 확인하여, 파노라마 이미지를 촬영하기 위한 방향을 설정할 수 있다. 이에 따라서 제어부(150) 는 도 2a와 같이 첫 번째 부분 이미지의 중심 부분에 기준 블록이 설정되었다면, 두 번째 부분 이미지에는 도 2b와 같이 기준 블록을 중심으로 상, 하, 좌, 우에 비교 블록을 설정한다.

입력부(160)는 숫자 또는 문자를 입력하기 위한 입력키들과 각종 기능들을 설정하기 위한 기능키들을 포함한다. 상기 기능키들은 특정 기능들을 수행하도록 설정된 방향키, 측면키 및 단축키 등을 포함할 수 있다. 여기서 입력부(160)는 카메라 기능을 실행할 수 있는 기능키를 구비한다.

저장부(170)는 휴대 단말기의 일반적인 동작들을 제어하기 위한 각종 프로그램과 휴대 단말기의 동작 중 발생되는 각종 데이터를 저장한다. 특히 저장부(170)는 휴대 단말기에서 파노라마 촬영 모드를 수행하기 위한 프로그램들을 저장할 수 있다.

이와 같은 구성을 구비한 휴대 단말기에서 입력부(160)를 통해 파노라마 촬영 모드가 선택되면, 제어부(150)는 카메라부(120)를 구동하고, 카메라부(120)를 통해 연속적으로 입력되는 부분 이미지들을 통해 파노라마 이미지가 촬영될 방향을 설정하여, 파노라마 이미지를 촬영할 수 있다. 특히 제어부(150)는 부분 이미지들에서 기준 블록과 비교 블록을 지정하여, 블록별 픽셀의 밝기값에 따른 평균 절대 오차를 산출한다. 이렇게 산출된 평균 절대 오차가 가장 작은 블록을 확인하여, 제어부(150)는 평균 절대 오차가 가장 작은 블록 위치를 기준으로 파노라마 이미지가 촬영될 방향으로 설정한다.

도 3는 본 발명의 실시예에 따른 파노라마 촬영 모드 수행 방법을 나타낸 흐 름도이다.

도 3를 참조하면, 사용자가 입력부(160)에 구비된 기능키를 입력하거나, 메뉴 등을 통해 카메라 기능을 선택하면, 제어부(150)는 310단계에서 이를 감지하여, 카메라 기능을 실행한다. 그리고 제어부(150)는 315단계에서 카메라부(120)를 통해 입력되는 프리뷰 이미지를 표시부(140)에 표시한다. 다음으로 제어부(150)는 320단계에서 파노라마 촬영 모드가 선택되는지 판단한다. 본 발명은 파노라마 촬영 모드를 수행할 때, 사용자가 이동 방향을 설정하지 않고 파노라마 이미지를 촬영할 수 있는 방법을 제공한다. 다시 말해 파노라마 촬영 모드시, 제어부(150)는 카메라부(120)를 통해 연속적으로 입력되는 부분 이미지를 이용하여, 이동 방향을 설정할 수 있는 방법을 제공한다.

320단계에서 파노라마 촬영 모드가 선택되지 않으면, 제어부(150)는 330단계에서 입력부(160)를 통해 선택되는 기능들을 수행한다. 여기서 해당 기능들을 동영상 촬영, 정지 영상(사진) 촬영, 분할 촬영, 연속 촬영 등이 될 수 있으며, 촬영될 이미지의 해상도, 이미지 사이즈 등을 설정하는 설정 기능 등이 포함될 수 있다.

반면에 320단계에서 파노라마 촬영 모드가 선택되면, 제어부(150)는 340단계에서 입력부(160)를 통해 촬영 시작 신호가 입력되는지 판단한다. 사용자가 입력부(160)에 구비된 촬영키나 확인키 등을 입력하면, 제어부(150)는 이를 촬영 시작 신호로 감지하고, 파노라마 이미지 촬영을 시작한다.

파노라마 이미지 촬영이 시작되면, 제어부(150)는 345단계에서 파노라마 이미지가 촬영될 방향을 설정한다. 여기서 345단계는 도 4를 참조하여 설명한다. 도 4는 본 발명의 실시예에 따른 촬영 방향을 설정하는 방법에 대해 나타낸 흐름도이다.

도 4를 참조하면, 제어부(150)는 410단계에서 연속적인 부분 이미지들이 입력되는지 판단한다. 다시 말해 제어부(150)는 부분 이미지들이 연속적으로 획득되는지 판단한다. 연속적인 부분 이미지들이 입력되면, 제어부(150)는 415단계에서 입력된 부분 이미지들에서 기준 블록과 비교 블록을 설정한다. 기준 블록은 입력된 부분 이미지 중에서 첫 번째로 입력된 부분 이미지에 설정되고, 기준 블록의 크기는 16X16인 매크로 블록 단위로 설정한다. 이때 기준 블록의 중심 위치는 x축과 y축의 교차점인 (0,0)에 위치시키고, 설정된 기준 블록에서 x축, y축을 각각 만나는 점을 (-1, 0), (0, -1), (1, 0), (0, 1)으로 설정한다. 그리고 비교 블록은 입력된 부분 이미지 중 두 번째로 입력된 부분 이미지에 설정된다. 이 때, 비교 블록의 위치는 첫 번째 부분 이미지에 설정된 기준 블록의 위치값들을 기준으로 설정된다. 예를 들어 비교 블록을 설정할 때, 기준 블록에서 오른쪽에 해당하는 위치값 (1,0)을 기준으로 비교 블록의 중심을 설정한다.

다음으로 제어부(150)는 420단계에서 부분 이미지들에서 설정된 기준 블록과 비교 블록들의 밝기값을 추출한다. 그리고 제어부(150)는 425단계에서 추출된 기준 블록과 비교 블록들의 밝기값을 통해 각 비교 블록들의 MAD값을 산출한다. MAD값을 산출하는 방법에 대해서는 도 1에서 설명하였음으로 상세한 설명을 생략한다.

부분 이미지에 지정된 비교 블록들의 MAD값이 산출되었으면, 제어부(150)는 430단계에서 가장 적은 MAD값을 확인하여, 확인된 가장 적은 MAD값을 가지는 블록 을 체크한다. 가장 적은 MAD값을 가지는 블록을 체크한 제어부(150)는 435단계에서 확인된 블록의 위치를 기준으로 파노라마 이미지를 촬영할 방향을 설정한다.

파노라마 이미지를 촬영할 방향을 설정한 제어부(150)는 350단계에서 입력되는 부분 이미지를 통해 파노라마 이미지를 생성한다. 다시 말해 제어부(150)는 입력되는 부분 이미지들을 설정된 방향으로 연결하여 파노라마 이미지를 생성한다.

본 발명에서 파노라마 이미지 촬영 시, 제어부(150)는 연속으로 입력된 부분 이미지들을 이용하여 파노라마 이미지가 촬영될 방향을 설정할 수 있다. 다시 말해 제어부(150)는 연속적으로 입력된 부분 이미지들에 기준 블록과 비교 블록들을 지정하여, 지정된 블록에서의 밝기를 확인하고, 확인된 밝기를 이용하여, 기준 블록과 매칭되는 비교 블록을 확인할 수 있다. 제어부(150)는 이렇게 확인된 블록의 위치를 기준으로 파노라마 이미지가 촬영될 방향을 설정할 수 있다. 이로 인해 사용자는 파노라마 이미지 촬영 모드를 선택할 때, 파노라마 이미지를 촬영할 방향을 설정하지 않아도 된다.

이상에서는 본 발명에서 특정의 바람직한 실시 예에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시 예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.

도 1은 본 발명에 따른 휴대 단말기의 구성을 나타낸 블록도.

도 2a 내지 도 2b는 본 발명에 따른 부분 이미지에 기준 블록 및 비교 블록을 설정한 화면을 예시하는 화면 예시도.

도 3는 본 발명의 실시예에 따른 파노라마 촬영 모드 수행 방법을 나타낸 흐름도.

도 4는 본 발명의 실시예에 따른 이동 방향을 설정하는 방법에 대해 나타낸 흐름도.

Claims

파노라마 촬영 모드가 선택되면, 프리뷰 이미지를 표시하는 과정;

촬영 신호가 입력되면, 제1 및 제2 부분 이미지를 연속적으로 획득하는 과정;

상기 획득한 제1 및 제2 부분 이미지를 비교하여 촬영 방향을 설정하는 과정; 및

상기 설정된 촬영 방향에 따른 파노라마 이미지를 생성하는 과정을 포함하는 파노라마 이미지 촬영 모드 수행 방법.
제1 항에 있어서, 상기 촬영 방향을 설정하는 과정은

상기 제1 및 제2 부분 이미지들의 밝기값을 산출하는 과정;

상기 밝기값에 따른 평균 절대 오차(MAD)값을 산출하는 과정; 및

상기 평균 절대 오차에 따른 방향을 설정하는 과정임을 특징으로 하는 파노라마 이미지 촬영 모드 수행 방법.
제2 항에 있어서, 상기 밝기값을 산출하는 과정은

상기 제1 및 제2 부분 이미지에 기준 블록과 비교 블록들을 설정하는 과정; 및

상기 설정된 블록들을 구성하는 픽셀들의 밝기값을 산출하는 과정임을 특징 으로 하는 파노라마 이미지 촬영 모드 수행 방법.
제3 항에 있어서, 상기 기준 블록과 비교 블록들을 설정하는 과정은

상기 제1 부분 이미지에서 x축과 y축의 교차점을 기준으로 기준 블록을 설정하는 과정; 및

상기 제2 부분 이미지에서 상기 기준 블록의 상, 하, 좌, 우에 해당하는 위치에 비교 블록들을 설정하는 과정임을 특징으로 하는 파노라마 이미지 촬영 모드 수행 방법.
제2 항에 있어서, 상기 평균 절대 오차값은

수학식
로 산출되며, mn은 블록이 나누어지는 크기, F(i, j)는 기준 블록을 구성하는 픽셀들의 밝기 값, G(i+dx, j+dy)는 비교 블록을 구성하는 픽셀들의 밝기 값임을 특징으로 하는 파노라마 이미지 촬영 모드 수행 방법.
제5 항에 있어서, 상기 평균 절대 오차값에 따른 방향을 설정하는 과정은

상기 평균 절대 오차값이 가장 작은 비교 블록을 확인하여, 상기 비교 블록의 위치를 기준으로 촬영 방향을 설정하는 과정임을 특징으로 하는 파노라마 이미지 촬영 모드 수행 방법.
부분 이미지들을 촬영하는 카메라부;

상기 촬영된 이미지들로 생성되는 파노라마 이미지를 표시하는 표시부; 및

파노라마 이미지 촬영 모드시, 상기 카메라부를 통해 제1 부분 이미지와 제2 부분 이미지를 획득하여, 상기 획득한 제1 부분 이미지와 제2 부분 이미지를 비교하여 촬영 방향을 확인하고, 상기 확인된 촬영 방향에 따른 파노라마 이미지를 생성하여, 상기 표시부에 표시하도록 제어하는 제어부를 포함하는 휴대 단말기.
제7 항에 있어서, 상기 제어부는

상기 제1 부분 이미지에는 기준 블록을, 제2 부분 이미지에서는 상기 기준 블록의 상, 하, 좌, 우에 해당하는 위치에 비교 블록들을 설정함을 특징으로 하는 휴대 단말기.
제8 항에 있어서, 상기 제어부는

상기 설정된 기준 블록과 비교 블록들을 구성하는 픽셀들의 밝기값을 산출하고, 상기 산출된 밝기값을 통해 상기 비교 블록들의 평균 절대 오차값을 산출함을 특징으로 하는 휴대 단말기.
제9 항에 있어서, 상기 제어부는

상기 산출된 평균 절대 오차값이 가장 적은 블록을 기준으로 촬영 방향을 설 정함을 특징으로 하는 휴대 단말기.