KR101952684B1

KR101952684B1 - 이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체

Info

Publication number: KR101952684B1
Application number: KR1020120089729A
Authority: KR
Inventors: 우성민; 주성범; 김학해
Original assignee: 엘지전자 주식회사
Priority date: 2012-08-16
Filing date: 2012-08-16
Publication date: 2019-02-27
Also published as: US20140049611A1; CN103595909A; EP2698984A3; CN103595909B; US9628703B2; KR20140033531A; EP2698984A2

Abstract

본 발명은, 복수의 이미지를 촬영하기 위한 카메라; 상기 복수의 촬영 이미지 중 어느 하나를 대표 이미지로 디스플레이하거나 상기 복수의 촬영 이미지 중 적어도 두개의 이미지를 합성한 제 1 합성 이미지를 상기 대표 이미지로 디스플레이하기 위한 터치스크린; 및 상기 대표 이미지가 디스플레이되는 동안 터치 입력이 가하여지면, 상기 복수의 촬영 이미지로부터 상기 터치 입력에 의해 선택된 객체 또는 영역에 대해 최상의 선명도를 갖는 이미지를 추출하고, 상기 추출된 이미지가 상기 터치스크린을 통해 출력될 수 있도록 제어하는 제어부를 포함하는 이동 단말기를 제공한다.

Description

이동 단말기 및 이의 제어 방법, 이를 위한 기록 매체{MOBILE TERMINAL AND CONTROLLING METHOD THEROF, AND RECORDING MEDIUM THEREOF}

본 발명은 영상을 촬영한 후 초점을 조절할 수 있는 카메라를 구비한 이동 단말기 및 그 제어방법에 관한 것이다.

단말기는 이동 가능 여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mount terminal)로 나뉠 수 있다.

이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.

단말기의 기능이 다양화되면서, 단말기를 이용한 멀티미디어 컨텐트의 생성 및 관리에 대한 필요성도 점차 증대하고 있다. 이에 따라, 단말기에서 카메라의 기능도 점차 중요하게 변화하고 있는 추세이다.

카메라를 통해 사진을 촬영하고자 하는 경우, 촬영하고자 하는 피사체에 초점을 맞추는 과정이 수반되어야 한다. 촬영하고자 하는 피사체에 초점이 맞추어지지 않은 상태에서 촬영을 진행하게 되면, 촬영을 의도한 피사체가 흐릿하게 출력된다는 문제점이 있다.

촬영하고자 하는 피사체에 초점이 맞춰지도록 설정한 뒤 사진을 촬영한다 하더라도, 사용자는 사진 촬영된 결과물을 확인하여 설정된 피사체에 초점이 맞춰져 있는가를 일일이 확인하여야 한다는 불편함이 있다.

본 발명은 사용자의 조작 편의를 향상시킨 이동 단말기를 제공하기 위한 것이다.

구체적으로, 본 발명은 사진이 촬영된 이후 사용자가 선택한 피사체에 초점이 맞춰진 촬영 이미지를 디스플레이할 수 있는 이동 단말기를 제공하기 위한 것이다.

나아가, 본 발명은 촬영된 사진을 기초로 3D 이미지를 생성할 수 있는 이동 단말기를 제공하기 위한 것이다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일실시예에 따른 이동 단말기는, 복수의 이미지를 촬영하기 위한 카메라; 상기 복수의 촬영 이미지 중 어느 하나를 대표 이미지로 디스플레이하거나 상기 복수의 촬영 이미지 중 적어도 두개의 이미지를 합성한 제 1 합성 이미지를 상기 대표 이미지로 디스플레이하기 위한 터치스크린; 및 상기 대표 이미지가 디스플레이되는 동안 터치 입력이 가하여지면, 상기 복수의 촬영 이미지로부터 상기 터치 입력에 의해 선택된 객체 또는 영역에 대해 최상의 선명도를 갖는 이미지를 추출하고, 상기 추출된 이미지가 상기 터치스크린을 통해 출력될 수 있도록 제어하는 제어부를 포함할 수 있다.

본 발명에서 얻을 수 있는 기술적 해결 수단은 이상에서 언급한 해결 수단들로 제한되지 않으며, 언급하지 않은 또 다른 해결 수단들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명은 사용자의 조작 편의를 향상시킨 이동 단말기를 제공할 수 있다.

구체적으로, 본 발명은 사진이 촬영된 이후 사용자가 선택한 피사체에 초점이 맞춰진 촬영 이미지를 디스플레이할 수 있는 이동 단말기를 제공할 수 있다.

나아가, 본 발명은 촬영된 사진을 기초로 3D 이미지를 생성할 수 있는 이동 단말기를 제공할 수 있다. 3D 이미지를 생성함에 있어서, 본 발명에 따른 이동 단말기는 사용자가 자유롭게 장벽 제로점(Parallax Zero Point)를 조절할 수 있는 효과를 제공할 수 있다.

도 1은 본 발명의 일 실시예와 관련된 이동 단말기의 블록 구성도(block diagram).
도 2는 본 발명과 관련된 이동 단말기 또는 휴대 단말기의 일 예를 전면에서 바라본 사시도.
도 3은 도 2에 도시된 이동 단말기의 후면 사시도.
도 4는 도 1에 도시된 카메라의 세부 구성을 도시한 블록도.
도 5는 본 발명의 일실시예에 따른 이동 단말기의 동작 흐름도.
도 6은 프리뷰 영상과 함께 디스플레이되는 설정 메뉴를 이용하여 카메라의 촬영 모드를 멀티 포커싱 촬영 모드로 설정하는 것의 예시도.
도 7은 멀티 포커싱 촬영 모드에서 생성되는 촬영 이미지를 설명하기 위한 예시도.
도 8은 촬영 이미지에 포착된 소정 객체에 대한 선명도 값을 엑시프 데이터에 기록하는 것을 설명하기 위한 예시도.
도 9는 촬영 이미지 전 영역에 걸친 선명도 값을 엑시프 데이터에 기록하는 것을 설명하기 위한 예시도.
도 10은 사용자가 설정한 관심 영역에서 최상의 선명도를 갖는 촬영 이미지를 디스플레이하는 것을 설명하기 위한 예시도.
도 11은 아이 트래킹 알고리즘을 적용하여 촬영 이미지속의 인물이 응시하고 있는 객체에 초점이 맞춰지도록 설정되는 것을 설명하기 위한 예시도.
도 12는 대표 이미지에 복수의 관심 영역이 설정된 경우, 복수의 관심 영역 모두에서 최상의 선명도를 갖는 다초점 이미지를 생성하는 것을 설명하기 위한 예시도.
도 13은 촬영된 객체 모두에 초점이 맞춰진 다초점 이미지를 생성하는 것을 설명하기 위한 예시도.
도 14는 모든 영역에서 최상의 선명도를 갖는 전초점 이미지를 생성하는 것을 설명하기 위한 예시도.
도 15는 대표 이미지에 복수의 관심 영역이 설정된 경우, 복수의 관심 영역 모두에서 가장 낮은 선명도를 갖는 탈초점 이미지를 생성하는 것을 설명하기 위한 예시도.
도 16은 복수의 촬영 이미지를 기초로 3D 이미지를 생성하는 것을 설명하기 위한 예시도.
도 17은 갤러리 모드에서의 출력 예시도.
도 18은 촬영 명령 인가 전 사용자 입력을 기초로 대표 이미지가 선정되는 것을 설명하기 위한 예시도.

이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, DSLR(Digital Single-Lens Reflex) 카메라, DSLT(Digital Single-Lens Translucent) 카메라, 미러리스 카메라, 콤팩트 카메라(Compact Camera) 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.

도 1은 본 발명의 일 실시예와 관련된 이동 단말기의 블록 구성도(block diagram)이다.

상기 이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.

이하, 상기 구성요소들에 대해 차례로 살펴본다.

무선 통신부(110)는 이동 단말기(100)와 무선 통신 시스템 사이 또는 이동 단말기(100)와 이동 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.

방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 적어도 두 개의 방송 채널들에 대한 동시 방송 수신 또는 방송 채널 스위칭을 위해 둘 이상의 상기 방송 수신 모듈(1100)이 상기 이동단말기(100)에 제공될 수 있다.

상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.

상기 방송 관련 정보는 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미한다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.

상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.

상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), DVB-CBMS (Convergence of Broadcasting and Mobile Service), OMA-BCAST (Open Mobile Alliance-BroadCAST), CMMB (China Multimedia Mobile Broadcasting), MBBMS (Mobile Broadcasting Business Management System), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.

방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.

이동통신 모듈(112)은, GSM(Gobal System for Mobile communications), CDMA(Code Division Multiple Access), WCDMA(Wideband CDMA)(이에 한정되지 않음)와 같은 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access), GSM, CDMA, WCDMA, LTE(Long Term Evolution)(이에 한정되지 않음) 등이 이용될 수 있다.

Wibro, HSDPA, GSM, CDMA, WCDMA, LTE 등에 의한 무선인터넷 접속은 이동통신망을 통해 이루어진다는 관점에서 본다면, 상기 이동통신망을 통해 무선인터넷 접속을 수행하는 상기 무선 인터넷 모듈(113)은 상기 이동통신 모듈(112)의 일종으로으로 이해될 수도 있다.

근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.

위치정보 모듈(115)은 이동 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다. 현재 기술에 의하면, 상기 GPS모듈(115)은 3개 이상의 위성으로부터 떨어진 거리 정보와 정확한 시간 정보를 산출한 다음 상기 산출된 정보에 삼각법을 적용함으로써, 위도, 경도, 및 고도에 따른 3차원의 현 위치 정보를 정확히 산출할 수 있다. 현재, 3개의 위성을 이용하여 위치 및 시간 정보를 산출하고, 또다른 1개의 위성을 이용하여 상기 산출된 위치 및 시간 정보의 오차를 수정하는 방법이 널리 사용되고 있다. 또한, GPS 모듈(115)은 현 위치를 실시간으로 계속 산출함으로써 속도 정보를 산출할 수 있다.

도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.

카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.

마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.

사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.

센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 이동 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(140)는 근접 센서(141)를 포함할 수 있다.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(152), 알람부(153), 및 햅틱 모듈(154) 등이 포함될 수 있다.

디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 이동 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.

디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.

이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디의 후방에 위치한 사물을 볼 수 있다.

이동 단말기(100)의 구현 형태에 따라 디스플레이부(151)이 2개 이상 존재할 수 있다. 예를 들어, 이동 단말기(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.

디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.

터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다.

터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.

상기 근접 센서(141)는 상기 터치스크린에 의해 감싸지는 이동 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.

상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.

이하에서는 설명의 편의를 위해, 상기 터치스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 호칭하고, 상기 터치스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 호칭할 수 있다. 상기 터치스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치스크린에 대해 수직으로 대응되는 위치를 의미할 수 있다.

상기 근접센서는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.

음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 이동 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

알람부(153)는 이동 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 이동 단말기에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(153)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동으로 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음성 출력 모듈(152)을 통해서도 출력될 수 있으므로, 이 경우 상기 디스플레이부(151) 및 음음성출력모듈(152)은 알람부(153)의 일종으로 분류될 수도 있다.

햅틱 모듈(haptic module)(154)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(154)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 있다. 햅택 모듈(154)이 발생하는 진동의 세기와 패턴 등은 제어가능하다. 예를 들어, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.

햅틱 모듈(154)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.

햅틱 모듈(154)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(154)은 이동 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.

메모리부(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들(예를 들어, 전화번호부, 메시지, 오디오, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. 상기 메모리부(160)에는 상기 데이터들 각각에 대한 사용 빈도(예를 들면, 각 전화번호, 각 메시지, 각 멀티미디어에 대한 사용빈도)가 저장될 수 있다.

또한, 상기 메모리부(160)에는 상기 터치스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.

인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(100) 내부의 각 구성 요소에 전달하거나, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다.

식별 모듈은 이동 단말기(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identify Module, UIM), 가입자 인증 모듈(Subscriber Identify Module, SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module, USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 포트를 통하여 단말기(100)와 연결될 수 있다.

상기 인터페이스부는 이동단말기(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 이동단말기(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 이동단말기로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 이동단말기가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.

제어부(controller)(180)는 통상적으로 이동 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.

상기 제어부(180)는 상기 터치스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.

여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.

도 2는 본 발명과 관련된 이동 단말기 또는 휴대 단말기의 일 예를 전면에서 바라본 사시도이다.

개시된 이동 단말기(100)는 바 형태의 단말기 바디를 구비하고 있다. 다만, 본 발명은 여기에 한정되지 않고, 2 이상의 바디들이 상대 이동 가능하게 결합되는 슬라이드 타입, 폴더 타입, 스윙 타입, 스위블 타입 등 다양한 구조에 적용이 가능하다.

바디는 외관을 이루는 케이스(케이싱, 하우징, 커버 등)를 포함한다. 본 실시예에서, 케이스는 프론트 케이스(101)와 리어 케이스(102)로 구분될 수 있다. 프론트 케이스(101)와 리어 케이스(102)의 사이에 형성된 공간에는 각종 전자부품들이 내장된다. 프론트 케이스(101)와 리어 케이스(102) 사이에는 적어도 하나의 중간 케이스가 추가로 배치될 수도 있다.

케이스들은 합성수지를 사출하여 형성되거나 금속 재질, 예를 들어 스테인레스 스틸(STS) 또는 티타늄(Ti) 등과 같은 금속 재질을 갖도록 형성될 수도 있다.

단말기 바디, 주로 프론트 케이스(101)에는 디스플레이부(151), 음향출력부(152), 카메라(121), 사용자 입력부(130/131,132), 마이크(122), 인터페이스(170) 등이 배치될 수 있다.

디스플레이부(151)는 프론트 케이스(101)의 주면의 대부분을 차지한다. 디스플레이부(151)의 양단부 중 일 단부에 인접한 영역에는 음향출력부(151)와 카메라(121)가 배치되고, 다른 단부에 인접한 영역에는 사용자 입력부(131)와 마이크(122)가 배치된다. 사용자 입력부(132)와 인터페이스(170) 등은 프론트 케이스(101) 및 리어 케이스(102)의 측면들에 배치될 수 있다.

사용자 입력부(130)는 이동 단말기(100)의 동작을 제어하기 위한 명령을 입력받기 위해 조작되는 것으로서, 복수의 조작 유닛들(131,132)을 포함할 수 있다. 조작 유닛들(131,132)은 조작부(manipulating portion)로도 통칭 될 수 있다.

제1 또는 제2조작 유닛들(131, 132)에 의하여 입력되는 내용은 다양하게 설정될 수 있다. 예를 들어, 제1 조작 유닛(131)은 시작, 종료, 스크롤 등과 같은 명령을 입력받고, 제2 조작 유닛(132)은 음향출력부(152)에서 출력되는 음향의 크기 조절 또는 디스플레이부(151)의 터치 인식 모드 활성화/비활성화 등과 같은 명령을 입력받을 수 있다.

도 3은 도 2에 도시된 이동 단말기의 후면 사시도이다.

도 3을 참조하면, 단말기 바디의 후면, 다시 말해서 리어 케이스(102)에는 카메라(121')가 추가로 장착될 수 있다. 카메라(121')는 카메라(121, 도 2a 참조)와 실질적으로 반대되는 촬영 방향을 가지며, 카메라(121)와 같거나 서로 다른 화소를 가지는 카메라일 수 있다.

예를 들어, 카메라(121)는 화상 통화 등의 경우에 사용자의 얼굴을 촬영하여 상대방에 전송함에 무리가 없도록 저 화소를 가지며, 카메라(121')는 일반적인 피사체를 촬영하고 바로 전송하지는 않는 경우가 많기에 고 화소를 가지는 것이 바람직하다. 카메라(121,121')는 회전 또는 팝업(pop-up) 가능하게 단말기 바디에 설치될 수도 있다.

카메라(121')에 인접하게는 플래쉬(123)와 거울(124)이 추가로 배치될 수 있다. 플래쉬(123)는 카메라(121')로 피사체를 촬영하는 경우에 피사체를 향해 빛을 비추게 된다. 거울(124)은 사용자가 카메라(121')를 이용하여 자신을 촬영(셀프 촬영)하고자 하는 경우에, 사용자 자신의 얼굴 등을 비춰볼 수 있게 한다.

단말기 바디의 후면에는 음향 출력부(152')가 추가로 배치될 수도 있다. 음향 출력부(152')는 음향 출력부(152, 도 2a 참조)와 함께 스테레오 기능을 구현할 수 있으며, 통화시 스피커폰 모드의 구현을 위하여 사용될 수도 있다.

통화 등을 위한 안테나 외에 방송신호 수신용 안테나(116)가 단말기 바디의 측면에 추가적으로 배치될 수 있다. 방송수신모듈(111, 도 1 참조)의 일부를 이루는 안테나(116)는 단말기 바디에서 인출 가능하게 설치될 수 있다.

단말기 바디에는 이동 단말기(100)에 전원을 공급하기 위한 전원공급부(190)가 장착된다. 전원공급부(190)는 단말기 바디에 내장되거나, 단말기 바디의 외부에서 직접 탈착될 수 있게 구성될 수 있다.

리어 케이스(102)에는 터치를 감지하기 위한 터치 패드(135)가 추가로 장착될 수 있다. 터치 패드(135)는 디스플레이부(151)를 위해 광 투과형으로 구성될 수도 있다. 이 경우에, 디스플레이부(151)가 양면에서(즉, 이동단말기의 전면 및 후면 둘 다의 방향으로) 시각 정보를 출력하도록 구성된다면, 터치 패드(135)를 통해서도 상기 시각 정보를 인지할 수 있게 된다. 상기 양면에 출력되는 정보는 상기 터치 패드(135)에 의해 모두 제어될 수도 있다.

한편, 터치 패드(135) 전용 디스플레이가 별도로 장착됨으로써, 리어 케이스(102)에도 터치 스크린이 배치될 수도 있다.

터치 패드(135)는 프론트 케이스(101)의 디스플레이부(151)와 상호 관련되어 작동한다. 터치 패드(135)는 디스플레이부(151)의 후방에 평행하게 배치될 수 있다. 이러한 터치 패드(135)는 디스플레이부(151)와 동일하거나 작은 크기를 가질 수 있다.

도 4는 도 1에 도시된 카메라의 세부 구성을 도시한 블록도이다. 도 4를 참조하면, 이동 단말기(100)의 카메라(121)는 렌즈(121-1), 촬상 소자(121-2), 렌즈 구동부(121-3) 을 포함할 수 있다.

렌즈(121-1)는 이동 단말기(100)의 외부로부터 입사된 피사체의 영상을 입력받아 굴절시켜, 촬상소자(121-2)에 전달하는 역할을 한다. 도면상으로는 렌즈(121-1)가 하나의 볼록렌즈로 도시되어 있으나, 이는 편의를 위한 것이고 복수개의 렌즈를 이용할 수도 있다.

렌즈 구동부(121-3)는 렌즈(121-1)를 전후 좌우로 이동하여 상기 촬상소자(121-2)에 입력되는 영상의 초점거리를 변환시킨다. 일반적으로 자동 초점기능을 탑재한 이동 단말기(100)의 경우 렌즈 구동부(121-3)가 선택된 사물에 초점이 맞도록 자동으로 렌즈(121-1)를 이동시킬 수 있다. 또는 수동으로 사용자가 임의로 렌즈 구동부(121-3)를 조정하여 초점을 맞출 수 있다.

특히 본 발명의 렌즈 구동부(121-3)는 렌즈(121-1)를 광축방향으로 반복적으로 이동하여 촬상 소자(121-2)에 입력되는 영상의 초점거리가 다변화되도록 조절하는 것을 특징으로 한다. 이때 렌즈 구동부(121-3)는 렌즈(121-1)의 물리적인 이동거리가 균일하도록 작동할 수도 있고, 또는 렌즈(121-1)의 초점거리가 균일하게 증가 또는 감소될 수 있도록 렌즈를 이동시킬 수 있다. 본 발명의 렌즈 구동부(121-3)는 렌즈(121-1)의 위치를 조절하기 위해, 스테핑 모터(stepping motor), 압전 소자, VCM(voice-coil Motor) 및 VCA(voice-coil actuator) 중 적어도 하나를 포함할 수 있다.

촬상소자(121-2)는 렌즈(121-1)를 통해 입력된 아날로그 영상을 디지털 이미지로 변환하는 장치이다. 선명도, 해상도, 디지털 이미지의 타입 등에 따라 용량은 달라지며, 고해상도의 디지털 이미지를 생성할 수 있는 촬상소자(121-2)가 점점 개발되고 있다.

초기의 촬상소자(121-2)는 촬영명령이 입력되는 순간의 영상만을 디지털 이미지로 변환하여 저장하였으나, 최근에는 파인더가 아닌 디스플레이부(151)를 보고 촬영을 하기 때문에 입력되는 영상을 지속적으로 디지털 이미지로 변환시켜야 한다. 동영상이 부드럽게 보이기 위해서는 최소 초당 12개의 디지털 이미지가 필요하며, 경우에 따라서는 그 이상의 디지털 이미지를 생성하여 상기 디스플레이부(151)에 제공할 수 있다.

설명의 편의를 위해, 본 발명에서 설명하는 이동 단말기(100)는 도 1에 도시된 구성요소 중 적어도 하나를 포함하는 것으로 가정한다. 구체적으로, 본 발명에 따른 이동 단말기(100)는 도 1에 도시된 구성 요소 중 카메라(121), 메모리(160), 디스플레이부(151) 및 제어부(180)를 포함할 수 있다. 본 발명은 디스플레이부(151)가 터치스크린(151)으로 구현되는 경우, 더욱 용이하게 실시될 수 있으므로, 이하에서는 디스플레이부(151)가 터치스크린(151)인 것으로 가정하여 본 발명을 설명하기로 한다.

도 5는 본 발명의 일실시예에 따른 이동 단말기의 동작 흐름도이다. 도 5를 참조하면, 먼저 사용자의 적절한 조작(manipulation)에 의해 카메라(121) 모듈이 활성화되면(S501), 제어부(180)는 카메라(121)를 통해 실시간 입력되는 프리뷰(Preview) 영상이 디스플레이되도록 터치스크린(151)을 제어할 수 있다(S502). 프리뷰 영상을 디스플레이함과 동시에, 제어부(180)는 카메라(121) 촬영 모드를 조절할 수 있는 설정 메뉴가 터치스크린(151)에 디스플레이되도록 제어할 수 있다.

이후, 카메라(121)의 촬영 모드가 멀티 포커싱 촬영 모드로 설정된 뒤(S503), 사진 촬영이 시작되면(S504), 제어부(180)는 초점 거리를 달리하는 복수의 촬영 이미지를 생성할 수 있다(S505).

도 5에 도시된 멀티 포커싱 촬영 모드에 대해서는 도 6 내지 도 8에 도시된 도면을 통해 더욱 상세히 설명하기로 한다.

도 6은 프리뷰 영상과 함께 디스플레이되는 설정 메뉴를 이용하여 카메라의 촬영 모드를 멀티 포커싱 촬영 모드로 설정하는 것의 예시도이다. 먼저, 도 6a에 도시된 바와 같이, 제어부(180)는 카메라(121)를 통해 입력되는 프리뷰 영상과 함께, 카메라(121)의 설정을 조절할 수 있는 설정 메뉴가 디스플레이되도록 터치스크린(151)을 제어할 수 있다. 도 6a의 예에서는, 설정 메뉴로 줌(zooming) 설정(601), 밝기(Brightness) 설정(603), 플래시(flash) 활성화 여부 설정(605), 촬영 모드 설정(605) 등의 항목이 디스플레이되는 것으로 예시하였다.

이 중, 촬영 모드 설정 항목(605)을 통해, 사용자는 일반 촬영 모드(607-1), 연속 촬영 모드(607-2) 및 멀티 포커싱 촬영 모드(607-3) 중 어느 하나로 카메라(121)의 촬영 모드를 조절할 수 있다(도 6b 참조). 일반 촬영 모드(607-1)는 사용자가 촬영 버튼(610)을 눌러, 촬영명령이 인가되면, 촬영명령이 인가되는 순간의 영상만을 디지털 이미지로 변환하여 촬영 이미지를 생성하는 것이고, 연속 촬영 모드(607-2)는 촬영 버튼(610)을 누르고 있는 동안에는 연속적인 촬영명령이 입력되도록 제어하여, 연속적인 복수의 촬영 이미지를 생성하기 위한 것이다. 일반 촬영 모드(607-1) 및 연속 촬영 모드(607-2)에 대해서는 이미 기 공지의 사항이므로, 상세한 설명은 생략하기로 한다.

본 발명에 따른 이동 단말기(100)는 카메라(121)의 촬영 모드로 멀티 포커싱 촬영 모드(607-3)를 더욱 선택할 수 있다. 멀티 포커싱 촬영 모드(607-3)는 초점거리를 달리하는 복수의 촬영 이미지를 생성하고 촬영이 완료된 이후, 초점을 후(後) 초점 보정 기능을 제공하기 위한 것이다. 즉, 연속 촬영 모드(607-2)가 렌즈(121-1)의 초점거리를 일정하게 유지하면서 연속되는 촬영 이미지를 생성하는 것임에 반면 멀티 포커싱 촬영 모드(607-3)는 소정시간동안 렌즈(121-1)의 초점 거리를 다변화하면서 연속되는 촬영 이미지를 생성하는 것으로 이해될 수 있다. 연속 촬영 모드(607-2)는 렌즈(121-1)의 초점 거리를 일정하게 유지하면서 촬영 이미지를 생성하므로, 연속되는 촬영 이미지는 동일한 피사체에 초점이 맞춰지지만, 멀티 포커싱 촬영 모드(607-3)에서의 촬영 이미지는 렌즈(121-1)의 초점 거리를 변화시키면서 촬영 이미지를 생성하므로, 촬영 이미지마다 초점이 맞춰진 피사체가 다를 수 있다. 이에 대해서는 도 7을 참조하여 보다 상세히 설명하기로 한다.

도 7은 멀티 포커싱 촬영 모드에서 생성되는 촬영 이미지를 설명하기 위한 예시도이다. 설명의 편의를 위해, 멀티 포커싱 촬영 모드에서 생성되는 촬영 이미지는 총 4장인 것으로 예시한다. 나아가 설명의 편의를 위해, 도시된 좌우 순서대로 4장의 촬영 이미지를 각각 제1 내지 4 촬영 이미지(1-4)라 칭하기로 한다.

카메라(121)의 촬영 모드가 멀티 포커싱 촬영 모드로 설정된 이후, 촬영 명령이 인가되면, 제어부(180)는 도 7에 도시된 예에서와 같이 렌즈(121-1)의 위치(구체적으로, 렌즈(121-1)의 초점 거리)를 변경시키면서 복수의 촬영 이미지를 촬영할 수 있다. 즉, 사용자의 촬영 명령이 인가되면, 제어부(180)는 렌즈(121-1)를 광축 방향으로 이동시키면서(도 7 에서는 렌즈(121-1)의 초점 거리가 증차 증가하는 방향으로 렌즈(121-1)가 움직이는 것으로 예시) 복수의 촬영 이미지가 생성되도록 제어할 수 있다.

도 7에 도시된 예에서와 같이, 복수의 촬영 이미지가 촬영될 당시 렌즈(121-1)의 위치(초점 거리)는 상이하므로, 각각의 촬영 이미지에서 초점이 맞춰진 피사체 역시 일정하게 유지되지는 않을 것이다. 렌즈(121-1)의 초점 거리가 짧을수록 근거리 피사체에 초점이 맞춰지고, 렌즈(121-1)의 초점 거리가 길수록 원거리 피사체에 초점이 맞춰지므로, 렌즈(121-1)의 초점 거리가 길어질 때 촬영된 촬영 이미지는 렌즈(121-1)의 초점 거리가 짧을 때 촬영된 촬영 이미지보다 원거리 피사체에 초점이 맞춰질 것이다.

예컨대, 도 7에 도시된 예에서와 같이, 렌즈(121-1)의 초점 거리가 d1 인 상태에서 촬영된 제1 촬영 이미지(1)는 1번 물체(11)에 초점이 맞춰지고, 2~4번 물체(12-14)에는 탈초점 상태일 수 있다. 반대로 초점 거리가 d2인 상태에서 촬영된 제2 촬영 이미지(2)는 2번 물체(12)에 초점이 맞춰지고, 1, 3, 4번 물체(11,13,14)에 대해서는 탈초점 상태일 수 있다. 제3 촬영 이미지(3) 및 제4 촬영 이미지(4)는 각각 3번 물체(13) 및 4번 물체(14)에 초점이 맞춰진 상태임이 예시되었다. 설명의 편의를 위해, 도 7에서는 촬영 이미지에 포착된 4개의 물체를 카메라(121)와의 이격 거리에 따라 1-4번 물체(11-14)로 호칭하였다.

상술한 예에서와 같이, 멀티 포커싱 촬영 모드에서는 렌즈(121-1)의 초점 거리를 변화시키면서 다양한 촬영 이미지를 촬영할 수 있다. 촬영 이미지마다 렌즈(121-1)의 초점 거리가 상이하고, 이에 따라 초점이 맞춰진 부분도 일정치 않으므로, 촬영 이미지마다 선명도가 최대가 되는 지점도 상이하게 설정될 수 있을 것이다. 예컨대, 1번 물체(11) 주변에서의 선명도는 제1 촬영 이미지(1)가 최대 선명도를 갖게 됨에 반해, 2번 물체(12) 주변에서의 선명도는 제1 촬영 이미지(1)가 아닌 제2 촬영 이미지(2)가 최대 선명도를 갖게 될 것이다.

후술될 예에서 설명할 예와 같이, 멀티 포커스 촬영 모드는 위와 같이 초점 거리를 달리하는 복수의 촬영 이미지를 생성한 후, 설정된 관심 영역(ROI : Region of Interest)에서 최상의 선명도를 갖는 촬영 이미지를 추출하기 위한 것으로 이해될 수 있다.

렌즈(121-1)를 광축 방향으로 이동 시키면서 복수의 촬영 이미지를 생성함에 있어, 제어부(180)는 렌즈(121-1)가 기 설정된 렌즈(121-1) 위치(Lens Position)에 도착할 때 마다 촬영 이미지가 촬영 되도록 제어할 수 있다. 렌즈(121-1)의 초기 위치(initial position) 및 최종 위치(end position) 사이에 복수의 기 설정된 렌즈(121-1) 위치가 설정될 수 있으며, 제어부(180)는 렌즈(121-1)가 기 설정된 렌즈(121-1) 위치를 통과할 때 마다 피사체를 촬영한 촬영 이미지가 생성되도록 제어할 수 있다. 이때, 복수의 기 설정된 렌즈(121-1) 위치 사이의 간격은 등(等) 간격일 수도 있지만, 반드시 등 간격으로 설정되어야 하는 것은 아니라 할 것이다.

제어부(180)는 렌즈(121-1)를 광축방향으로 움직이기 위해 렌즈(121-1) 구동부에 가하여지는 전류값을 기초로 렌즈(121-1)가 기 설정된 렌즈(121-1) 위치에 도달하였는가를 판단할 수 있다. 렌즈(121-1)가 기 설정된 렌즈(121-1) 위치에 도달한 경우라면, 제어부(180)는 촬상소자에 입사된 영상을 기초로 촬영 이미지가 생성되도록 제어할 수 있을 것이다.

상술한 예에서는, 렌즈(121-1)가 기 설정된 렌즈(121-1) 위치를 통과할 때마다 촬영 이미지가 생성되는 것으로 예시하였지만, 이와 달리 소정 시간 간격으로 촬영 이미지가 생성되도록 제어할 수도 있다. 예컨대, 렌즈(121-1)가 초기 위치로부터 최종 위치까지 이동하는데 소요되는 시간이 t라고 한다면, 제어부(180)는 촬영 명령이 인가된 이후 t/N 만큼의 시간이 소요될 때 마다 촬영 이미지를 생성하여, N개의 촬영 이미지가 생성되도록 제어할 수 있을 것이다(촬영 명령이 인가되자마다 최초 촬영 이미지가 생성되는 경우에는 N+1개의 촬영 이미지가 생성될 수도 있다).

생성된 촬영 이미지는 헤더 영역과 데이터 영역으로 구분될 수 있다. 데이터 영역은 영상 데이터를 기록하는 부분이고, 헤더 영역은 촬영 정보를 기록한 엑시프(Exif) 데이터를 기록하는 부분으로 이해될 수 있다. 헤더 영역에 엑시프(Exif : Exchangable Image File format) 데이터를 기록하는 경우, 제어부(180)는 데이터 영역을 디코딩하지 않고서도, 촬영 이미지의 정보를 확인할 수 있다.

본 발명에 따른 제어부(180)는 촬영 이미지를 생성함에 있어, 촬영 이미지의 헤더 영역에 엑시프 데이터가 연계되어 저장되도록 제어할 수 있다. 이때, 엑시프 데이터에 포함되는 촬영 정보는 카메라(121) 제조사, 카메라(121) 모델, 촬영 시각 등의 기본적인 정보 외에도 촬영 이미지의 촬영 순번, 촬영 당시의 초점 거리, 초점이 맞춰진 피사체와의 이격 거리, 촬영 이미지의 선명도 정보 중 적어도 하나를 더욱 포함할 수 있다.

촬영 이미지의 촬영 순번은 멀티 포커스 모드에서 1회의 촬영 명령 인가 결과로 생성되는 복수의 촬영 이미지 각각을 촬영 순서를 표기하기 위한 것일 수 있다. 도 7에 도시된 예에서, 멀티 포커스 촬영 모드 하에서 렌즈(121-1)의 초점 거리를 변화시키면서 4장의 촬영 이미지(1-4)가 생성된 경우라면, 순서대로 1-4의 순번이 각각의 촬영 이미지에 할당될 수 있을 것이다.

초점 거리는 촬영 이미지가 생성될 당시 렌즈(121-1)의 초점 거리를 의미하는 것일 수 있다. 초점 거리를 엑시프 데이터에 포함시킴으로써, 사용자는 촬영 이미지가 생성될 당시의 초점 거리를 손쉽게 확인할 수 있다.

초점이 맞춰진 피사체와의 이격 거리는 촬영 이미지내 최대 선명도를 갖는 지점에 놓인물체와 이동 단말기(100) 사이의 실제 이격 거리를 의미하는 것일 수 있다. 여기서 피사체와의 이격 거리는 이동 단말기(100)(또는 이동 단말기(100)로부터 파생되는 연장선)와 피사체 사이의 수직 거리를 의미하는 것일 수도 있다.

예컨대, 도 7의 예에서, 1번 물체 내지 4번 물체(11-14)가 이동 단말기(100)와 각각 1, 2, 3 및 4m 이격되어 있다면, 제1 촬영 이미지(1)는 초점이 맞춰진 피사체와의 이격 거리를 1m로, 제2 촬영 이미지(2)는 초점이 맞춰진 피사체와의 이격 거리를 2m로, 제3 촬영 이미지(3)는 초점이 맞춰진 피사체와의 이격 거리를 3m로, 제4 촬영 이미지(4)는 초점이 맞춰진 피사체와의 이격 거리를 4m로 기록될 수 있을 것이다.

촬영 이미지의 선명도 정보는 촬영 이미지에 포착된 소정 객체에 대한 선명도 값 또는 촬영 이미지 전 영역에 걸친 선명도 값 중 적어도 하나를 포함할 수 있다. 촬영 이미지의 선명도 정보가 Exif 데이터에 기록되는 것은 후술될 도 8 및 도 9를 참조하여 더욱 상세히 설명하기로 한다. 설명의 편의를 위해, 복수의 촬영 이미지는 앞서 도 7에서 예시한 4개의 촬영 이미지(1-4)인 것으로 가정한다.

도 8은 촬영 이미지에 포착된 소정 객체에 대한 선명도 값을 엑시프 데이터에 기록하는 것을 설명하기 위한 예시도이다. 도 8에 도시된 촬영 이미지에는 4개의 물체(11-14)가 포착되는 것으로 예시되었다. 제어부(180)는 촬영 이미지에 포함되는 객체(물체 또는 인물 등)를 감지하여, 감지된 객체의 선명도 값을 엑시프 데이터에 기록할 수 있다. 즉, 제어부(180)는 제1 내지 제4 촬영 이미지(1-4) 각각의 엑시프 데이터에 1번 내지 4번 물체(11-14)에 대한 선명도 정보를 엑시프 데이터에 기록할 수 있다.

이에 따라, 제어부(180)는 촬영 이미지의 데이터 영역을 디코딩 하지 않고서도, 헤더 영역의 엑시프 데이터만을 조회함으로써 각 물체별 최대 선명도 값을 갖는 촬영 이미지를 추출할 수 있다.

촬영 이미지에 포착된 소정 객체에 대한 선명도 값을 기록한다는 것은 반드시 촬영된 모든 물체에 대한 선명도 값을 기록해야 한다는 것을 의미하지는 않는다. 예컨대, 도 7의 제1 촬영 이미지(1)에서 1번 내지 4번 물체(11-14) 모두에 대한 선명도 값이 엑시프 데이터에 포함되어야 하는 것은 아니다. 제1 촬영 이미지(1)의 경우, 근거리 위치한 1번 물체(11)에 초점이 맞춰진 상태이므로, 원거리 위치한 4번 물체(14)에 대해서는 인식률이 현격히 떨어질 수 있다. 이 경우, 제어부(180)는 제1 촬영 이미지(1)를 통해 감지 가능한 물체에 한하는 선명도 값을 기록할 수 있다. 예컨대, 제1 촬영 이미지(1)를 통해 4번 물체(14)를 제외한 1-3번 물체(11-13)만을 감지할 수 있다면, 1-3번 물체(11-13)에 대해서만 선명도 값을 기록하고, 4번 물체(14)에 대한 선명도 값의 기록은 생략할 수 있다.

도 9는 촬영 이미지 전 영역에 걸친 선명도 값을 엑시프 데이터에 기록하는 것을 설명하기 위한 예시도이다. 촬영 이미지의 전 영역에 걸친 선명도 값을 엑시프 데이터에 기록하기 위해, 제어부(180)는 촬영 이미지를 M개의 영역으로 구획하고 각 영역에서의 선명도 값을 엑시프 데이터에 기록할 수 있다. 도 9에서는 촬영 이미지가 16개의 영역(좌측 상단부터 우측 하단의 순서로 제1 영역 내지 제16 영역으로 호칭하기로 함)으로 구획되어 있으므로, 제어부(180)는 제1 내지 제16 영역에 대한 선명도 값을 기록할 수 있을 것이다.

이에 따라, 제어부(180)는 촬영 이미지의 데이터 영역을 디코딩 하지 않고서도, 헤더 영역의 엑시프 데이터만을 조회함으로써, 소망 영역에서 최대 선명도 값을 갖는 촬영 이미지를 추출할 수 있다. 도 9에서는 촬영 이미지가 16개 영역으로 구획되는 것으로 예시되었지만, 이는 설명의 편의를 위한 것일 뿐 본 발명을 한정하는 것이 아님은 자명하다 할 것이다.

도 8 및 도 9에 예시된 바와 같이, 제어부(180)는 촬영 이미지에 포착된 객체 또는 촬영 이미지를 M개로 구획한 뒤 각 영역에서의 선명도 값을 엑시프 데이터에 기록할 수 있는 것으로 예시하였다. 다만, 엑시프 데이터에 기록되는 선명도 값은 반드시 선명도의 절대량일 필요는 없다. 일예로, 제어부(180)는 최초 촬영 이미지를 제외한 잔여 촬영 이미지에 대해서는 최초 촬영 이미지와의 선명도 차분 또는 이전 촬영 이미지와의 선명도 차분값을 엑시프 데이터에 기록할 수도 있다.

예컨대, 도 8의 예에서, 제1 촬영 이미지(1) 및 제2 촬영 이미지(2)에서의 1번 물체(11)에 대한 선명도 절대량이 각각 10, 8로 측정된 경우, 제2 촬영 이미지(2)의 엑시프 데이터에는 1번 물체(11)에 대한 선명도 값으로 절대량 8이 아닌 -2의 선명도 차분이 기록될 수도 있다. 선명도의 절대량이 아닌 선명도 차분을 엑시프 데이터에 기록함으로써, 별도의 연산 없이 선명도 차분의 부호만으로도 선명도의 고저를 판단할 수 있는 이점이 있다. 즉, 선명도 차분의 부호가 + 라면, 당해 촬영 이미지는 해당 객체(또는 영역)에 대해 이전 촬영 이미지보다 높은 선명도를 갖는 것으로, - 인 경우에는 당해 촬영 이미지는 해당 객체(또는 영역)에 대해 이전 촬영 이미지보다 낮은 선명도를 갖는 것으로 이해될 수 있다.

여기서 언급한 이전 순번의 촬영 이미지는 바로 앞 순번의 촬영 이미지만을 의미하는 것은 아니다. 이전 순번은 비교하고자 하는 촬영 이미지의 순번보다 앞서 있는 것으로 족하고, 나아가 최초 순번의(즉, 최초 촬영된) 촬영 이미지로 고정될 수도 있다. 예컨대, 제3 촬영 이미지(3)의 엑시프 데이터를 기록함에 있어서, 제2 촬영 이미지(2)와의 선명도 차분을 기록할 수도 있지만, 제1 촬영 이미지(1)와의 선명도 차분을 기록할 수도 있다.

다시 도 5로 복귀하여 본 발명을 설명하면, 제어부(180)는 복수의 촬영 이미지 중 적어도 하나를 대표 이미지로 선택하여, 선택한 대표 이미지를 디스플레이할 수 있다(S506). 이후, 사용자가 대표 이미지의 소정 영역 또는 대표 이미지에 표시된 소정 객체에 터치 입력을 가하면(S507), 제어부(180)는 복수의 촬영 이미지 중 터치가 가하여진 소정 영역 또는 터치 입력이 가하여진 소정 객체에 대해 최상의 선명도를 갖는 촬영 이미지를 추출하여, 대표 이미지에 갈음하여 추출된 촬영 이미지가 터치스크린(151)에 디스플레이되도록 제어할 수 있다(S508). 바꾸어 말하면, 제어부(180)는 복수의 촬영 이미지 중 사용자가 터치 입력을 가한 지점에 초점이 맞춰진 촬영 이미지가 터치스크린(151)에 디스플레이되도록 제어할 수 있다. 이에 따라, 특정 피사체에 초점을 맞추지 않고 촬영에 임한 경우라 하더라도, 촬영 후 특정 피사체에 초점이 맞춰진 촬영 이미지를 디스플레이할 수 있다.

사용자가 설정한 관심 영역(ROI)에서 최상의 선명도를 갖는 촬영 이미지를 디스플레이하는 것은 도 10의 예시를 통해 상세히 설명하기로 한다. 설명의 편의를 위해, 복수의 촬영 이미지는 앞서 도 7에서 예시한 4개의 촬영 이미지(1-4)인 것으로 가정하고, 사용자가 설정한 관심 영역(ROI)은 도 8의 예시에서와 같이 촬영 이미지에 표시된 객체를 단위로 설정되는 것으로 가정한다.

복수의 촬영 이미지가 생성되면, 제어부(180)는 도 10a에 도시된 예에서와 같이, 복수의 촬영 이미지 중 어느 하나를 대표 이미지로 선택하여 선택된 촬영 이미지를 터치스크린(151)에 디스플레이할 수 있다. 도 10a에서는 1번 물체(11)에 초점이 맞춰진 제1 촬영 이미지(1)가 대표 이미지로 선택되는 것으로 예시하였지만, 반드시 최초 생성된 촬영 이미지가 대표 이미지로 선정되어야 하는 것은 아니라 할 것이다. 최초 촬영 이미지 이후 순번의 촬영 이미지가 대표 이미지로 설정될 수도 있고, 경우에 따라서는 두개 이상의 이미지를 합성한 다초점 이미지가 대표 이미지로 디스플레이될 수도 있다. 다초점 이미지에 대해서는 후술될 'All focus' 항목에서 상세히 설명하기로 한다.

대표 이미지가 디스플레이되는 도중, 사용자가 터치스크린(151)에 터치 입력을 가하면, 제어부(180)는 사용자가 터치 입력에 대응하는 객체(도 8b 참조)에서 최대 선명도 값을 갖는 촬영 이미지를 추출할 수 있다. 도 10a에서는 2번 물체(12)에 터치 입력(1001)이 가하여졌으므로, 제어부(180)는 2번 물체(12)에 대해 가장 높은 선명도 값을 갖는 제2 촬영 이미지(2)를 추출하여, 제2 촬영 이미지(2)가 터치스크린(151)에 디스플레이되도록 제어할 수 있다(도 10b 참조). 제2 촬영 이미지(2)가 디스플레이되는 상태에서 다시, 3번 물체(13)에 터치 입력(1003)이 가하여진 경우라면, 제어부(180)는 3번 물체(13)에 대해 최상의 선명도 값을 갖는 제3 촬영 이미지(3)를 추출하여, 제3 촬영 이미지(3)가 터치스크린(151)에 디스플레이되도록 제어할 수 있다(도 10c 참조). 최상의 선명도 값을 갖는 촬영 이미지를 추출함에 있어서, 제어부(180)는 복수의 촬영 이미지 각각의 엑시프 데이터를 이용할 수 있다. 엑시프 데이터를 이용하는 경우 데이터 영역의 디코딩 과정이 생략될 수 있으므로, 단시간내 터치 지점에서 최상의 선명도 값을 갖는 촬영 이미지를 추출할 수 있을 것다.

다만, 엑시프 데이터에 선명도 정보가 포함되어 있지 않다면, 촬영 이미지 각각의 데이터 영역을 디코딩 하여 터치 입력이 가하여진 지점에서 최상의 선명도 값을 갖는 촬영 이미지를 추출하여야 할 것이다.

도 10에 도시된 예에서와 같이, 사용자는 촬영 당시가 아닌 촬영이 완료된 이후, 초점을 맞추고자 하는 지점에 터치 입력을 가함으로써 초점을 조절할 수 있다. 이에 따라, 사용자가 초점을 조절하지 않고 사진 촬영을 행한 경우에도 초점을 조절할 수 있어, 원치 않는 피사체에 초점이 맞춰지거나 소망하는 피사체가 탈초점 상태가 되는 것을 방지할 수 있다.

도 10에서는 사용자의 터치 입력이 가하여진 지점이 관심 영역으로 설정되어, 관심 영역에서 최상의 선명도를 갖는 촬영 이미지가 추출되는 것으로 예시되었다. 다만, 반드시 사용자가 터치한 지점이 관심 영역으로 설정되어야 하는 것은 아니다. 본 발명의 다른 실시예에 따르면, 제어부(180)는 촬영 이미지에 포착된 객체의 성질에 따라 자동으로 관심 영역을 설정할 수도 있다. 이에 대해서는 도 11를 참조하여 상세히 설명하기로 한다.

도 11은 아이 트래킹 알고리즘을 적용하여 촬영 이미지속의 인물이 응시하고 있는 객체에 초점이 맞춰지도록 설정되는 것을 설명하기 위한 예시도이다. 설명의 편의를 위해, 복수의 촬영 이미지지는 앞서 도 7에서 예시한 4개의 촬영 이미지(1-4)인 것으로 가정하되, 4개의 촬영 이미지(1-4)에는 인물(1003)의 눈(또는 동물의 눈)이 더욱 표시된 것으로 가정한다.

사용자가 도 11a에 도시된 아이 트래킹 버튼(1001)을 선택하면, 제어부(180)는 아이 트래킹 알고리즘을 적용하여 촬영 이미지에 포착된 인물(1103)의 시선이 향하는 객체 또는 영역을 판단할 수 있다. 이때, 제어부(180)는 도 11b에 도시된 예에서와 같이, 포착된 인물(1103)의 응시 경로(1105)가 디스플레이되도록 제어할 수 있다. 포착된 인물이 응시하고 있는 영역이 판단되면, 제어부(180)는 포착된 인물이 응시하고 있는 영역에서 최상의 선명도 값을 갖는 촬영 이미지를 추출하여 디스플레이할 수 있다. 일예로, 도 11b의 예에서, 촬영 이미지속 포착된 인물이 3번 물체(13)를 응시하고 있는 경우라면, 제어부(180)는 도 11c에 도시된 예에서와 같이, 3번 물체(13)에 대해 최상의 선명도 값을 갖는 촬영 이미지를 추출하여, 터치스크린(151)에 디스플레이할 수 있다.

도 11의 예시에서 아이 트래킹 알고리즘을 촬영 이미지속에 인물(1103)(또는 동물)의 눈이 표시된 경우에만 아이 트래킹 알고리즘을 이용할 수 있으므로, 촬영 이미지에서 인물(1103)의 눈이 감지된 경우에 한하여 아이 트래킹 버튼이 표시되도록 제어할 수 있다.

만약 촬영 이미지에 복수의 인물이 포착된 경우라면, 복수의 인물 중 사용자 입력에 의해 선택된 인물이 응시하는 영역 또는 복수의 인물 각각이 응시하는 영역을 조합한 다초점 이미지가 디스플레이부(151)를 통해 출력되도록 제어할 수 있을 것이다. 다초점 이미지에 대해서는 후술될 도 12을 참조한다.

도 10 및 도 11에서는 사용자의 터치 입력 및 촬영 이미지 속 포착된 인물이 응시하는 영역에 따라 하나의 관심 영역이 설정되는 것으로 예시되었지만, 관심 영역이 반드시 하나만 설정되어야 하는 것은 아니다. 복수의 관심 영역이 경우 이동 단말기(100)의 동작은 도 12을 통해 더욱 상세히 설명하기로 한다.

도 12는 대표 이미지에 복수의 관심 영역이 설정된 경우, 복수의 관심 영역 모두에서 최상의 선명도를 갖는 다초점 이미지를 생성하는 것을 설명하기 위한 예시도이다. 설명의 편의를 위해, 복수의 촬영 이미지는 앞서 도 7에서 예시한 4개의 촬영 이미지(1-4)인 것으로 가정한다.

터치스크린(151)을 통해 대표 이미지가 출력되는 도중 사용자가 '인포커스(InFocus)' 버튼(1201)을 선택하면(도 12a 참조) 제어부(180)는 사용자의 터치 입력을 기다리는 대기 모드 상태로 전환될 수 있다. 이후, 사용자가 인포커스 효과를 부여하고자 하는 영역을 선택하면, 제어부(180)는 사용자가 선택한 모든 영역에 초점이 맞춰진 이미지가 디스플레이되도록 제어할 수 있다. 만약 인포커스 효과를 부여하고자 하는 영역이 1곳이라면, 앞서 도 10을 통해 설명한 바와 같이, 선택된 영역에서 최상의 선명도를 갖는 촬영 이미지를 터치스크린(151)에 디스플레이할 수 있을 것이다. 그렇지 않고, 도 12b에 도시된 바와 같이, 복수의 영역(도 12b에서는 2개의 영역이 선택된 것으로 예시, 1203,1205)에 인포커스 효과를 부여하고자 하는 경우에는, 제어부(180)는 두개 이상의 이미지를 합쳐 모든 선택된 영역에 초점이 맞춰진 다초점 이미지가 디스플레이되도록 제어할 수 있다.

예컨대, 도 12b에서와 같이, 2번 물체(12)와 3번 물체(13)에 터치 입력이 가하여진 경우, 제어부(180)는 2번 물체(12)에 대해 가장 높은 선명도 값을 갖는 제2 촬영 이미지(2)와 3번 물체(13)에 대해 가장 높은 선명도 값을 갖는 제3 촬영 이미지(3)를 추출하여, 제2 촬영 이미지(2) 및 제3 촬영 이미지(3)를 합성한 다초점 이미지가 디스플레이되도록 제어할 수 있다.

제어부(180)는 추출된 복수의 이미지 중 어느 하나를 기본 이미지로 설정하고, 다른 추출된 이미지의 적어도 일부를 기본 이미지에 붙여넣기 함으로써 다초점 이미지를 생성할 수 있다. 도면을 예를 들어 설명하면, 제어부(180)는 도 12c에 도시된 바와 같이, 2번 물체(12)에 초점이 맞춰진 제2 촬영 이미지(2)를 기본 이미지로 삼고, 제2 촬영 이미지(2)에 3번 물체(13)가 표시되던 영역을 제3 촬영 이미지(3)에 3번 물체(13)가 표시되던 영역으로 교체함으로써, 제2 촬영 이미지(2) 및 제3 촬영 이미지(3)가 합성된 다초점 이미지를 생성할 수 있다.

도 12에서는 사용자가 설정한 소정의 관심 영역(ROI)에 대해 최상의 선명도를 갖는 다초점 이미지가 생성되는 것으로 예시하였다. 본 발명에 따른 이동 단말기(100)는, 사용자의 입력을 기다리지 않고 자동으로 촬영 이미지에 표시된 모든 객체에 초점이 맞춰진 다초점 이미지를 생성할 수도 있다. 이에 대해서는 도 13을 참조하여 상세히 설명하기로 한다.

도 13은 촬영된 객체 모두에 초점이 맞춰진 다초점 이미지를 생성하는 것을 설명하기 위한 예시도이다. 설명의 편의를 위해, 복수의 촬영 이미지는 앞서 도 7에서 예시한 4개의 촬영 이미지(1-4)인 것으로 가정한다.

터치스크린(151)을 통해 대표 이미지가 출력되는 도중 사용자가 '스마트 포커스(SmartFocus)' 버튼(1301)을 선택하면(도 13a 참조) 제어부(180)는 촬영된 객체에 대해 최상의 선명도 값을 갖는 부분만을 추출하여 합성된 다초점 이미지가 생성되도록 제어할 수 있다.

예를 들어, 도 13b에 도시된 바와 같이, 4장의 촬영 이미지(1-4)가 존재하는 경우, 제어부(180)는 복수의 촬영 이미지 중 어느 하나를 기본 이미지로 선정한 뒤, 촬영된 객체에 대해 최상의 선명도를 유지하는 부분을 다른 이미지로부터 추출하여 기본 이미지에 붙여넣기 함으로써, 모든 객체에 초점이 맞춰진 다초점 이미지가 생성되도록 제어할 수 있다.

예컨대, 도 13b에서와 같이, 촬영된 객체가 4개(1-4번 물체(11-14))인 경우, 제어부(180)는 4개의 객체 모두에 대해 초점이 맞춰진 다초점 이미지가 디스플레이되도록 제어할 수 있다. 구체적으로, 제1 촬영 이미지(1) 및 제 4 촬영 이미지(4) 중 제1 촬영 이미지(1)를 기본 이미지로 선택하였다면, 1번 물체(11)에 대해서는 제1 촬영 이미지(1)에서 최대 초점을 가지므로, 다른 촬영 이미지로부터 1번 물체(11)에 대한 영상을 추출할 필요는 없다. 이와 반대로, 2번 물체(12)에 대해서는 제2 촬영 이미지(2)에서 최대 초점을 가지므로, 제2 촬영 이미지(2)로부터 2번 물체(12)에 대한 영상을 추출한 뒤, 제1 촬영 이미지(1)와 합성할 수 있다. 이와 같은 방법으로, 3번 물체(13) 및 4번 물체(14)에 대한 영상을 각각 제3 촬영 이미지(3) 및 제 4 촬영 이미지(4)로부터 추출한 뒤 제1 촬영 이미지(1)와 합성함으로써, 도 13b에서와 같이 모든 물체에 초점이 맞춰진 촬영 이미지를 획득할 수 있다.

도 10 내지 도 13에서는 설명의 편의를 위해, 관심 영역(예컨대, 사용자의 터치 지점 또는 객체가 표시되는 지점)이 도 8의 예에서와 같이 객체 단위로 설정되는 것으로 예시하였다. 이는 설명의 편의를 위한 것일 뿐 반드시 도 8에서와 같이 객체 단위로 관심 영역이 설정되어야 하는 것은 아니다. 도 9에서와 같이, 관심 영역은 촬영 이미지의 구획된 영역 단위로 설정될 수도 있다. 예컨대, 도 10의 예에서, 제어부(180)는 사용자의 터치 지점에 대응하는 영역에서 최상의 선명도 값을 갖는 촬영 이미지가 터치스크린(151)에 디스플레이되도록 제어할 수 있다. 더욱 구체적인 예시로, 사용자의 터치 입력이 도 9에 예시된 영역 중 9번 영역에 대응한다면, 제어부(180)는 9번 영역에서 최상의 선명도 값을 갖는 제1 촬영 이미지(1)가 터치스크린(151)에 디스플레이 되도록 제어할 수 있다.

도 10 내지 도 13에서는 소정의 관심 영역(ROI)에서 최상의 선명도를 갖는 촬영 이미지(또는 다초점 이미지)가 터치스크린(151)에 디스플레이되는 것으로 예시하였다. 본 발명에 따른 이동 단말기(100)는, 모든 영역에서 최상의 선명도를 갖는 이미지(이하, 전초점 이미지라 함)가 디스플레이되도록 제어할 수도 있다. 이에 대해서는 도 14를 통해 상세히 설명하기로 한다.

도 14는 모든 영역에서 최상의 선명도를 갖는 전초점 이미지를 생성하는 것을 설명하기 위한 예시도이다. 설명의 편의를 위해, 복수의 촬영 이미지는 앞서 도 7에서 예시한 4개의 촬영 이미지인 것으로 가정한다.

터치스크린(151)을 통해 대표 이미지가 출력되는 도중 사용자가 '올포커스(Allfocus)' 버튼(1401)을 선택하면(도 14a 참조) 제어부(180)는 모든 영역에 초점이 맞춰진 전초점 이미지가 디스플레이되도록 제어할 수 있다.

예컨대, 도 14b에서와 같이, 각각의 촬영 이미지가 16개의 영역으로 구획되어 있는 경우, 제어부(180)는 복수의 촬영 이미지 각각을 비교하여, 제1 내지 제 16 영역 각각에 대해 최상의 선명도를 갖는 촬영 이미지를 추출할 수 있다. 이후, 제어부(180)는 복수의 촬영 이미지들로부터 최상의 선명도를 갖는 영역을 잘라내 이를 어젬블(assemble) 함으로써 전초점 이미지가 생성되도록 제어할 수 있다.

예컨대, 도 14b에 도시된 예에서와 같이, 제1 촬영 이미지(1)가 제5, 9, 13 및 14영역에서(V로 표시됨), 제2 촬영 이미지(2)가 제7, 11, 12, 15 및 16영역에서, 제3 촬영 이미지(3)가 제2, 6 및 10 영역에서(Y로 표시됨), 제 4 촬영 이미지(4)가, 제1, 3, 4 및 8영역에서(O로 표시됨) 최상의 선명도를 갖는다면, 제어부(180)는 복수의 촬영 이미지 각각으로부터 최상의 선명도값을 갖는 영역만을 취합하여 도 14c에서와 같은 전초점 이미지가 생성되도록 제어할 수 있다(16개의 영역에 대한 넘버링은 도 9에서와 동일한 기준을 적용하였다 - 즉, 좌측 상단부터 우측 하단의 순서로 제1 영역 내지 제16 영역으로 호칭하였음). 도 13에서 설명한 스마트 포커스 기능과 달리, 이 경우 촬영된 객체뿐만 아니라, 촬영된 객체가 놓인 배경에 대해서도 최상의 선명도를 갖는 전초점 이미지를 획득할 수 있다.

도 5의 S508 단계에서, 이동 단말기(100)는 설정된 관심 영역에서 가장 높은 선명도 값을 갖는 이미지를 디스플레이할 수 있는 것으로 예시하였다. 이와 달리, 본 발명에 따른 이동 단말기(100)는 설정된 관심 영역에서 가장 낮은 선명도 값을 갖는 이미지가 디스플레이되도록 제어할 수도 있다. 이에 대해서는 도 15를 통해 상세히 설명하기로 한다.

도 15는 대표 이미지에 복수의 관심 영역이 설정된 경우, 복수의 관심 영역 모두에서 가장 낮은 선명도를 갖는 탈초점 이미지를 생성하는 것을 설명하기 위한 예시도이다. 설명의 편의를 위해, 복수의 촬영 이미지는 앞서 도 7에서 예시한 4개의 촬영 이미지인 것으로 가정한다.

터치스크린(151)을 통해 대표 이미지가 출력되는 도중 사용자가 '아웃포커스(OutFocust)' 버튼(1501)을 선택하면(도 15a 참조) 제어부(180)는 사용자의 터치 입력을 기다리는 대기 모드 상태로 전환될 수 있다. 이후, 사용자가 아웃 포커스 효과를 부여하고자 하는 영역을 선택하면, 제어부(180)는 사용자가 선택한 모든 영역에 대해 탈초점 상태인 이미지가 디스플레이되도록 제어할 수 있다.

만약, 아웃포커스 효과를 부여하고자 하는 영역이 1곳이라면, 제어부(180)는 선택된 영역에서 최저 선명도 값을 갖는 촬영 이미지가 디스플레이되도록 제어할 수 있을 것이다. 그렇지 않고, 도 15b에 도시된 예에서와 같이, 아웃 포커스 효과를 부여하고자 하는 영역이 복수개인 경우, 제어부(180)는 적어도 두개의 이미지를 합성함으로써 탈초점 이미지를 생성할 수 있을 것이다.

예컨대, 도 15b에서와 같이, 1번 물체(11) 및 3번 물체(13)에 대해 터치 입력이 입력된 경우, 제어부(180)는 1번 물체(11) 및 3번 물체(13)에 대해 최저 선명도 값을 갖는 촬영 이미지를 추출하고, 추출된 촬영 이미지를 합쳐 선택된 영역에 탈초점 상태인 탈초점 이미지가 디스플레이되도록 제어할 수 있다.

1번 물체(11) 및 3번 물체(13)에 대해 최저 선명도 값을 갖는 촬영 이미지를 각각 제 4 촬영 이미지(4), 제1 촬영 이미지(1)라 한다면, 제어부(180)는 도 15c에 도시된 예에서와 같이, 제 4 촬영 이미지(4)와 제1 촬영 이미지(1)를 합하여 1번 물체(11) 및 3번 물체(13)에 대해 최저 선명도 값을 갖는 탈초점 이미지를 생성할 수 있다.

도 12, 도 13 및 도 15에서는 설정된 관심 영역에 대해 최상 혹은 최저 선명도 값을 갖는 촬영 이미지를 추출한 뒤, 추출된 촬영 이미지 중 어느 하나를 기본 이미지로 삼아 이미지 합성을 진행하는 것으로 설명하였다. 그러나, 도 12, 도 13 및 도 15 에서와 같이, 추출된 이미지 중 어느 하나를 기본이미지로 설정해야 하는 것은 아니다. 설정된 관심 영역에 대해 최상 혹은 최저 선명도 값을 갖지 못하는 촬영 이미지라 하더라도, 이미지 합성의 근간이 되는 기본 이미지로 활용될 수 있다. 예컨대, 도 12의 예에서, 제어부(180)는 2번 물체(12)나 3번 물체(13)에 초점이 맞춰져 있지 않은 대표 이미지(즉, 제1 촬영 이미지(1))를 기본 이미지로 설정할 수도 있다. 이 경우, 제어부(180)는 제2 촬영 이미지(2) 및 제3 촬영 이미지(3)로부터 각각 2번 물체(12)에 대한 영상과 3번 물체(13)에 대한 영상을 획득한 뒤, 이를 대표 이미지에 붙여넣기 함으로써 다초점 이미지가 생성되도록 제어할 수 있다.

본 발명에 따른 이동 단말기(100)는 복수의 촬영 이미지를 기초로, 3D 이미지를 생성할 수도 있다. 구체적으로, 제어부(180)는 복수의 촬영 이미지 각각의 선명도 값을 기초로 카메라(121)와 촬영된 물체 사이와의 거리를 역산한 뒤, 산출된 거리에 따라 좌안 이미지와 우안 이미지를 생성하여 3D 이미지가 생성되도록 제어할 수 있다. 이에 대해서는 도 16을 통해 상세히 설명하기로 한다.

도 16은 복수의 촬영 이미지를 기초로 3D 이미지를 생성하는 것을 설명하기 위한 예시도이다. 설명의 편의를 위해, 복수의 촬영 이미지는 앞서 도 7에서 예시한 4개의 촬영 이미지인 것으로 가정한다.

터치스크린(151)을 통해 대표 이미지가 출력되는 동안 사용자가 '3D' 버튼(1601)을 선택한 뒤(도 16b 참조), 사용자가 소정 지점에 터치 입력을 입력하면, 제어부(180)는 터치 입력이 가하여진 지점을 장벽 제로점(parallax zero point)으로 설정할 수 있다(도 16b 참조). 장벽 제로점은 돌출 영역(Negative 영역)으로 설정될 부분과 후퇴 영역(Positive 영역)으로 설정될 부분을 결정하는 기준이 되는 지점으로, 제어부(180)는 장벽 제로점에 위치한 객체와 이동 단말기(100) 사이의 수직 거리를 기준으로 돌출 영역과 후퇴 영역을 설정할 수 있다. 예컨대, 임의의 객체와 이동 단말기(100) 사이의 수직 거리가 장벽 제로점에 위치한 객체와 이동 단말기(100) 사이의 수직 거리보다 짧다면, 제어부(180)는 3D 이미지 속 임의의 객체의 표시 영역을 돌출 영역으로 설정할 수 있을 것이다. 반대로, 임의의 객체와 이동 단말기(100) 사이의 수직 거리가 장벽 제로점에 위치한 객체와 이동 단말기 사이의 수직 거리보다 길다면, 제어부(180)는 3D 이미지 속 임의의 객체의 표시 영역을 후퇴 영역으로 설정할 수 있을 것이다.

도 16c를 참조로 하여 설명하면, 도 16b에서 사용자의 터치 입력이 가하여진 3번 물체(13)는 장벽 제로점에 놓여있으므로, 3D 이미지 생성시 돌출 또는 후퇴 효과가 적용되지 않을 것이다. 이에 따라, 제어부(180)는 좌안(左眼)용 영상 및 우안(右眼)용 영상을 생성할 때, 3번 물체(13)가 동일한 좌표에 표시되도록 제어함으로써, 3번 물체(13)에 3D 효과가 적용되지 않도록 제어할 수 있다.

이와 달리, 2번 물체(12) 및 1번 물체(11)의 경우, 3번 물체(13)에 비해 이동 단말기(100)에 더 가까이 위치하므로(즉 3번 물체(13)에 비해 이동 단말기(100)와의 수직 거리가 더 짧으므로), 3D 이미지 생성시 돌출 효과가 적용되어야 할 것이다. 1번 물체(11) 및 2번 물체(12) 중에서도, 카메라(121)와 더욱 근접 위치하는 1번 물체(11)에 돌출 효과가 더 많이 적용되어야 할 것이다. 1번 물체(11) 및 2번 물체(12)에 돌출 효과를 부여하기 위해, 제어부(180)는 좌안용 영상 및 우안용 영상에서, 1번 물체(11) 및 2번 물체(12)가 표시되는 좌표의 x 축값이 달리 설정되도록 제어할 수 있다.

예컨대, (x1, y1) 좌표를 중심으로 표시되던 1번 물체(11)를, 좌안용 영상에서는 (x1-a, y1)(a는 양수) 좌표에, 우안용 영상에서는 (x1+a, y1)좌표에 표시되도록 제어함으로써, 1번 물체(11)에 돌출효과가 적용되도록 제어할 수 있다. 이와 동시에, (x2, y2) 좌표를 중심으로 표시되던 2번 물체(12)를 좌안용 영상에서는 (x2-b, y2)(b는 양수) 좌표에, 우안용 영상에서는 (x2+b, y2) 좌표에 표시되도록 제어함으로써, 2번 물체(12)에도 돌출 효과가 적용되도록 제어할 수 있다. 여기서, 1번 물체(11)에 적용되는 돌출 효과는 2번 물체(12)에 적용되는 돌출 효과보다 크므로, a>b 인 관계가 성립할 수 있다.

반대로, 3번 물체(13)에 비해 카메라(121)에 더 멀리 위치하는(즉 3번 물체(13)에 비해 이동 단말기(100)와의 수직 거리가 더 긴) 4번 물체(14)에는 돌출 효과가 아닌 후퇴 효과가 적용되어야 할 것이다. 이에 따라, 제어부(180)는 (x4, y4) 좌표를 중심으로 표시되던 4번 물체(14)를, 좌안용 영상에서는 (x4-c, y4)(c는 양수) 좌표에, 우안용 영상에서는 (x4+c, y4) 좌표에 표시되도록 제어함으로써, 4번 물체(14)에 후퇴 효과가 적용되도록 제어할 수 있다.

더불어, 제어부(180)는 촬영 이미지에서 배경에 해당하는 부분은 좌안용 영상 및 우안용 영상에서의 좌표값을 동일하게 설정함으로써, 돌출 또는 후퇴 영역으로 설정되지 않도록 제어할 수 있다.

촬영된 객체와의 거리는 앞서 설명한 엑시프 데이터로부터 가늠할 수 있다. 엑시프 데이터에는 초점이 맞춰진 피사체와의 이격 거리가 포함될 수 있으므로, 이를 통해, 장벽 제로점과 촬영된 객체 사이의 거리를 가늠할 수 있다.

엑시프 데이터에 초점이 맞춰진 피사체와의 거리가 저장되어 있지 않더라도, 엑시프 데이터에 기록된 촬영 당시의 초점 거리와 최대 선명도 값을 이용하여, 초점이 맞춰진 피사체와의 거리를 연산할 수 있다.

도 16의 예에서, 촬영된 객체들의 돌출 및 후퇴 정도(즉, 3D 이미지의 깊이 정도)는 고정되어야 하는 것은 아니다. 제어부(180)는 사용자의 설정에 의거, 촬영된 객체들의 돌출 및 후퇴 정도를 가감할 수 있다. 즉, 앞서, 도 16c를 통해 설명한 a, b, c 값은 고정되어 있지 않으며, 사용자 설정에 의해 얼마든지 변경할 수 있다.

도 16d는 3D 이미지의 깊이 정도를 조절하기 위한 설정 화면의 예시도이다. 도 16b의 예에서, 장벽 제로점이 설정된 이후, 또는 좌안용 영상 및 우안용 영상이 생성된 이후의 사용자 조작을 기초로 제어부(180)는 도 16d에 도시된 예에서와 같은 3D 깊이 설정 메뉴(1610)가 디스플레이되도록 제어할 수 있다.

도 16d에 예시된 설정 화면을 통해 제어부(180)는 3D 이미지의 깊이를 수동으로 조절할 수 있다. 도 16d의 예시에서, 3D 효과가 고레벨로 설정될수록 제어부(180)는 촬영된 객체의 돌출 또는 후퇴 정도가 더욱 증가되도록 제어할 수 있다. 즉, 도 16d의 예시에서, 3D 효과가 고레벨로 설정될수록, 도 16c에서 설명한, a, b, c 값은 점차 증가할 수 있다.

다시 도 5로 복귀하여 본 발명을 설명하면, 제어부(180)는 초점 조절이 완료되었음을 알리는 사용자 명령에 기초하여, 초점 조절이 완료된 것으로 판단되는 경우(S509), 디스플레이되는 촬영 이미지 외 잔여 이미지는 메모리(160)에서 삭제되도록 제어할 수 있다(S510). 예컨대, 도 10의 예에서, 제1 촬영 이미지(1) 내지 제 4 촬영 이미지(4) 중 적어도 하나가 디스플레이된 상태에서 초점 조절이 완료되었음을 알리는 사용자 명령이 입력된다면, 디스플레이 중인 이미지를 제외한 잔여 이미지를 메모리(160)에서 삭제함으로써 이동 단말기(100)의 저장 공간 확보를 도모할 수 있다.

만약, 도 11 내지 도 16에서와 같이 두개의 촬영 이미지를 합성한 합성 이미지(다초점 이미지, 전초점 이미지 또는 3D 이미지)가 디스플레이되는 상태에서 초점 조절이 완료되었음을 알리는 사용자 명령이 입력된다면, 합성 이미지를 제외한 모든 촬영 이미지가 삭제되도록 제어할 수도 있다.

도 5에서는 복수의 촬영 이미지가 생성되면, 제어부(180)가 자동으로 대표 이미지를 선정하여, 선정된 대표 이미지를 디스플레이하는 것으로 예시하였다. 다만, 본 발명에 따른 이동 단말기(100)가 반드시 자동으로 대표 이미지를 선정해야 하는 것은 아니라 할 것이다. 제어부(180)는 사용자의 선택을 기초로 복수의 촬영 이미지 중 어느 하나를 대표 이미지로 선정할 수도 있다. 이에 대해서는 후술될 도 17을 통해 상세히 설명하기로 한다.

도 17은 갤러리 모드에서의 출력 예시도이다. 사용자가 이동 단말기(100)의 메모리(160)에 저장된 사진을 감상하고자, 갤러리 모드로의 진입 명령을 인가하는 경우, 제어부(180)는 도 17a에서와 같이 메모리(160)에 저장된 사진 파일을 각각의 썸네일과 함께 제공할 수 있다. 멀티 포커싱 촬영 모드하에서 촬영된 복수의 촬영 이미지의 썸네일을 제공함에 있어서, 제어부(180)는 도 17a에 도시된 바와 같이, 복수의 촬영 이미지 각각의 썸네일이 포개어진 계단 구조(1701)를 갖도록 제어할 수 있다. 복수의 촬영 이미지 각각의 썸네일이 포개어진 계단 구조(1701)를 갖도록 제어함으로써, 제어부(180)는 일반 촬영 모드에서 촬영된 촬영 이미지와 멀티 포커싱 촬영 모드하에서 촬영된 복수의 촬영 이미지가 구분되도록 제어할 수 있다. 즉, 일반 촬영 모드에서 촬영된 촬영 이미지와 달리, 멀티 포커싱 촬영 모드하에서 촬영된 복수의 촬영 이미지는 복수의 썸네일이 포개어진 형태로 디스플레이 되므로, 일방 촬영 모드하에서 촬영된 촬영 이미지와 멀티 포커싱 촬영 모드하에서 촬영된 복수의 촬영 이미지를 손쉽게 구분할 수 있다.

계단 구조(1701)의 썸네일에 사용자 명령이 인가되면(예컨대, 계단 구조의 썸네일을 터치), 제어부(180)는 도 17b에 도시된 예에서와 같이 계단 구조(1701)로 포개어진 복수의 썸네일을 펼쳐 복수의 촬영 이미지 각각의 썸네일이 리스트 형태로 디스플레이되도록 제어할 수 있다. 이후, 사용자가 리스트 형태로 디스플레이되는 복수의 썸네일 중 어느 하나를 선택하면, 제어부(180)는 선택된 썸네일에 대응하는 촬영 이미지를 대표 이미지로 디스플레이할 수 있다.

이때, 사용자의 대표 이미지 선정을 돕기 위해, 제어부(180)는 복수의 촬영 이미지 각각의 엑시프 데이터가 디스플레이되도록 제어할 수 있다. 일예로, 도 17b의 예에서, 적절한 사용자 명령이 입력되면, 제어부(180)는 도 17c에 도시된 메뉴 화면(1710)이 디스플레이되도록 제어할 수 있다. 도 17c의 메뉴 화면에서 '세부 정보' 항목이 선택되면, 제어부(180)는 도 17d의 예에서와 같이, 각 촬영 이미지의 엑시프 데이터가 썸네일 위에 디스플레이되도록 제어할 수 있다. 도 17d에서는 엑시프 데이터 중 촬영 이미지의 순번(1711)과 초점이 맞춰진 피사체와의 이격 거리(1713)가 디스플레이되는 것으로 예시하였다.

또 다른 예로, 복수의 촬영 이미지 중 어느 하나를 대표 이미지로 디스플레이하는 동안에도 제어부(180)는 사용자 명령에 따라 대표 이미지의 엑시프 데이터가 디스플레이되도록 제어할 수 있다. 일예로, 도 17e에 도시된 예에서와 같이, 복수의 촬영 이미지 중 어느 하나가 대표 이미지로 디스플레이되는 도중, 사용자 명령이 인가되면(예컨대, 대표 이미지를 롱 프레스 함), 제어부(180)는 도 17f에 도시된 메뉴 화면(1720)이 디스플레이되도록 제어할 수 있다. 도 17f의 메뉴 화면에서, '세부 정보' 항목을 선택하면, 제어부(180)는 도 17g에 도시된 예에서와 같이, 대표 이미지의 엑시프 데이터가 디스플레이 되도록 제어할 수 있다. 도 17g에서는 파일 명과 함께, 촬영 이미지의 최대 선명도 값, 최대 선명도 값을 갖는 피사체와의 거리 및 촬영 순번이 제공되는 것으로 예시되었다.

도 17에 도시된 예에서와 같이, 제어부(180)는 사용자 입력을 기초로 복수의 촬영 이미지 중 어느 하나를 대표 이미지로 선정할 수 있다. 이와 더불어, 제어부(180)는 복수의 촬영 이미지 각각의 엑시프 데이터가 디스플레이되도록 제어할 수도 있다.

앞서, S509 및 S510에서 살펴본 바와 같이, 사용자의 명령에 의해 초점 조절이 완료된 것으로 판단된 경우, 제어부(180)는 디스플레이되는 이미지 외 잔여 이미지를 메모리(160)로부터 삭제할 수 있다. 잔여 이미지가 삭제된 이후 갤러리 모드로 재진입하면, 제어부(180)는 도 17a에 도시된 계단 구조(1701)의 썸네일 뷰를 탈피하고, 최종 선택된 이미지의 썸네일(1740)만이 디스플레이되도록 제어할 수 있다(도 17h 참조).

도 17에서는 복수의 촬영 이미지 중 사용자가 선택한 어느 하나의 촬영 이미지를 대표 이미지로 선정하는 것으로 예시하였다.

본 발명의 다른 실시예에 의하면, 제어부(180)는 촬영 명령이 인가(S504)되기 전 사용자 입력을 기초로 대표 이미지를 선정할 수도 있다. 이에 대해서는 도 18을 참조하여 상세히 설명하기로 한다.

도 18은 촬영 명령 인가 전 사용자 입력을 기초로 대표 이미지가 선정되는 것을 설명하기 위한 예시도이다. 멀티 포커싱 촬영 모드에 진입하면, 제어부(180)는 주변 환경에 대한 프리뷰 영상을 디스플레이하면서, 도 18a에 도시된 예에서와 같이, 자동 초점 버튼(1810)이 디스플레이되도록 제어할 수 있다. 사용자가 도 18a에 도시된 자동 초점 버튼(1810)을 선택하면, 제어부(180)는 프리뷰 영상 속 객체(도 18a에서는 1 내지 4번 물체(11-14)로 예시됨)를 인식하고, 인식된 객체를 선택하여 선택된 객체가 시각적으로 식별되어 표시되도록 제어할 수 있다(도 18b에서는 1 내지 4번 물체(11-14)에 점선의 테두리(1811-1814)가 표시된 것으로 예시됨). 이 상태에서, 사용자는 터치 입력을 통해 프리뷰 영상 속 객체를 선택 혹은 선택해제할 수 있다. 예컨대, 도 18b에 예시된 바와 같이, 3번 물체(13)에 터치 입력이 가하여진다면, 제어부(180)는 3번 물체(13)가 선택 해제되도록 제어할 수 있다(도 18c에서는, 3번 물체(13)의 점선 테두리(1813)가 사라진 것으로 예시됨).

이후, 사용자가 촬영 명령을 입력한다면, 제어부(180)는 선택된 객체에 초점이 맞춰진 이미지가 대표 이미지로 선정되어 디스플레이되도록 제어할 수 있다. 일예로, 도 18c에서와 같이 1, 2 및 4번 물체(11,12,14)가 선택된 상태에서 촬영 명령이 입력된 다면(예컨대, 촬영 버튼을 터치), 제어부(180)는 도 18d에 도시된 예에서와 같이 1, 2 및 4번 물체(11,12,14)에 초점이 맞춰진 다초점 이미지가 대표이미지로 디스플레이되도록 제어할 수 있다. 다초점 이미지를 생성하는 것은 앞서 도 12를 통해 설명한 바 있으므로, 이에 대한 상세한 설명은 생략한다.

만약, 촬영 명령 인가 당시 선택된 객체가 하나라면, 제어부(180)는 복수의 촬영 이미지 중 선택된 객체에 초점이 맞춰진 촬영 이미지가 대표 이미지로 디스플레이되도록 제어할 수 있을 것이다.

멀티 포커싱 촬영 모드에서 촬영 명령이 인가되면, 일반 촬영 모드에서 촬영 명령이 인가되는 것 보다 더 많은 촬영 이미지를 생성하게 된다. 예컨대, 멀티 포커싱 촬영 모드에서 초점 거리를 달리하는 20장의 촬영 이미지를 생성한다면, 일반 촬영 모드에 비해 20배의 저장 공간을 더욱 필요로 하게 된다.

멀티 포커싱 촬영 모드에서 복수의 촬영 이미지 생성으로 인한 메모리(160) 과다 점유 문제를 해결하기 위해, 제어부(180)는 복수의 촬영 이미지가 생성되면 복수의 촬영 이미지 중 무의미한 촬영 이미지는 삭제하고, 유의미한 촬영 이미지만을 대상으로 후 초점 보정 과정(즉, 도 5의 S506-S511 단계)이 진행되도록 제어할 수 있다. 구체적으로, 제어부(180)는 잔여 촬영 이미지보다 더 높은 선명도 값의 객체 또는 영역을 갖는 촬영 이미지만을 저장하도록 설정될 수 있다.

예를 들어 설명하면, 앞서 도 8의 예에서와 같이, 촬영 이미지에 4개의 물체가 포함되어 있는 경우, 제어부(180)는 복수의 촬영 이미지 중, 1번 물체(11)에 대해 최상의 선명도를 갖는 촬영 이미지, 2번 물체(12)에 대해 최상의 선명도를 갖는 촬영 이미지, 3번 물체(13)에 대해 최상의 선명도를 갖는 촬영 이미지 및 4번 물체(14)에 대해 최상의 선명도를 갖는 촬영 이미지만을 저장하고, 잔여 이미지는 삭제할 수 있다. 이 경우, 최대 4장의 촬영 이미지를 이용하여 후 초점 보정 과정을 진행할 수 있을 것이다.

또 다른 예로, 도 9의 예에서와 같이, 촬영 이미지가 16개의 영역으로 구획된 경우 제어부(180)는 각 영역에서 최대 선명도를 갖는 이미지만을 저장하고, 잔여 이미지는 삭제할 수 있다. 바꾸어 말하면, 복수의 촬영 이미지 중 어느 하나가 잔여 촬영 이미지 대비 어느 영역에서도 최상의 선명도 값을 표출하는 부분이 없다면, 제어부(180)는 당해 촬영 이미지를 메모리(160)에서 삭제한 뒤 후 초점 보정 과정이 진행되도록 제어할 수 있다. 이 경우, 최대 16장의 촬영 이미지를 이용하여 후 초점 보정 과정을 진행할 수 있을 것이다.

제어부(180)는 촬영 이미지가 잔여 촬영 이미지 대비 더 높은 선명도 값을 갖는 객체 또는 영역이 있는 가를 판단하기 위해 각각의 촬영 이미지와 연계된 엑시프 데이터를 이용할 수 있다. 즉, 제어부(180)는 엑시프 데이터에 포함된 각 객체에 대한 선명도 값(도 8 참조) 또는 각 영역에 대한 선명도 값(도 9 참조)을 비교함으로써, 당해 촬영 이미지가 잔여 촬영 이미지 대비 더 높은 선명도 값을 갖는 객체 또는 영역이 있는가를 판단할 수 있다.

다만, 도 5에 도시된 잔여 이미지의 삭제 단계(S511)는 필수적으로 수반되어야 하는 것은 아니라 할 것이다. 경우에 따라, 도 5에 도시된 잔여 이미지의 삭제 단계(S511)를 생략한 채 본 발명을 실시할 수도 있다.

도 4를 통해 설명한 본 발명에 따른 이동 단말기(100)는 터치 입력에 의해 선택된 객체 또는 영역에 대해 최상의 선명도 값을 갖는 촬영 이미지를 추출하는 것으로 예시되었다. 이를 응용하여, 제어부(180)는 터치 입력에 의해 선택된 객체 또는 영역에 대해 최상의 밝기를 갖는 촬영 이미지를 추출할 수도 있다. 터치 입력에 의해 선택된 객체 또는 영역에 대해 최상의 밝기를 갖는 촬영 이미지를 추출하기 위해, 엑시프 데이터에는 히스토그램이 기록될 수 있다. 제어부(180)는 엑시프 데이터에 기록된 히스토그램으로부터 터치 입력에 의해 선택된 객체 또는 영역에 대한 색상값(RGB, YCbCr, YUV 등)을 추출하여, 터치 입력에 의해 선택된 객체 또는 영역에 대해 최상의 밝기를 갖는 촬영 이미지를 추출할 수 있다.

본 발명의 일실시예에 의하면, 전술한 방법(동작 흐름도)은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

상기와 같이 설명된 이동 단말기(100)는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

100 : 이동 단말기
121 : 카메라
151 : 디스플레이부
160 : 메모리
180 : 제어부

Claims

카메라;
멀티 포커스 촬영 모드 내에서 상기 카메라를 통해 실시간으로 입력되는 프리뷰 영상을 표시하는 터치스크린; 및
상기 프리뷰 영상 내에서 객체들을 인식하고,
상기 인식된 객체들 중 둘 이상의 객체들이 선택되면, 상기 프리뷰 영상 내에서 상기 선택된 객체들이 시각적으로 구별되게 표시하고,
촬영 명령이 수신되면, 상기 카메라를 통해 둘 이상의 이미지들을 촬영하고,
상기 촬영된 이미지들 중 상기 선택된 객체들에 대해 최상의 선명도를 가지는 적어도 두 개의 이미지를 합성한 멀티포커스 이미지를 대표 이미지로 표시하고,
상기 대표 이미지가 표시되는 동안 제 1 터치 입력이 수신되면, 상기 촬영된 이미지들로부터 제 1 터치 입력에 의해 선택된 객체 또는 영역에 대해 최상의 선명도를 갖는 이미지를 추출하고,
상기 추출된 이미지를 상기 터치스크린을 통해 표시하는 제어부;를 포함하는 이동 단말기.
제 1 항에 있어서,
상기 촬영된 이미지들은, 초점 거리를 달리하는 연속 촬영 이미지를 포함하고,
상기 제어부는, 상기 카메라의 렌즈를 광 축 방향으로 이동시키면서, 상기 렌즈가 기 설정된 위치에 도달할 때마다 상기 이미지들이 생성되도록 제어하는 이동 단말기.
삭제
제 1 항에 있어서,
상기 제어부는 상기 촬영된 이미지들 각각의 엑시프(Exif) 데이터를 생성하고,
상기 엑시프 데이터는, 상기 복수의 촬영 이미지 각각의 선명도 정보를 포함하는 이동 단말기.
삭제
삭제
제 4 항에 있어서,
상기 제어부는, 상기 촬영된 이미지들 각각의 엑시프 데이터를 비교하여 상기 제 1 터치 입력에 의해 선택된 객체 또는 영역에 대해 최상의 선명도를 갖는 이미지를 추출하는 이동 단말기.
삭제
제 1 항에 있어서,
상기 제 1 터치 입력에 의해 제 1 객체 및 제 2 객체 또는 제 1 영역 및 제 2 영역이 선택된 경우,
상기 제어부는, 상기 촬영된 이미지들 중 상기 제 1 객체 또는 상기 제 1 영역에서 최상의 선명도를 갖는 제 1 이미지 및 상기 제 2 객체 또는 상기 제 2 영역에서 최상의 선명도를 갖는 제 2 이미지를 추출하는 이동 단말기.
제 9 항에 있어서,
상기 제어부는 상기 제 1 및 제 2 촬영 이미지를 합성한 합성 이미지가 상기 터치스크린에 표시되도록 제어하는 이동 단말기.
제 1 항에 있어서,
상기 촬영된 이미지들 중 적어도 하나에 인물이 포함되어 있는 경우,
상기 제어부는, 아이 트래킹 알고리즘을 적용하여 상기 인물의 응시 지점을 판단하고, 상기 판단된 인물이 응시하는 지점에 위치하는 객체 또는 영역을 상기 제 1 터치 입력에 의해 선택된 객체 또는 영역으로 취급하는 이동 단말기.
삭제
제 4 항에 있어서,
상기 엑시프 데이터는, 최대 선명도 값을 갖는 객체와 상기 카메라와의 거리 정보를 더욱 포함하고,
상기 제어부는, 상기 복수의 촬영 이미지를 기초로 3차원 이미지가 생성되도록 더욱 제어하는 이동 단말기.
삭제
제 13 항에 있어서,
상기 제어부는, 제 2 터치 입력에 의해 선택된 객체를 장벽 제로점(parallax zero point)으로 설정하고, 상기 장벽 제로점보다 상기 카메라와 근접 위치한 객체에는 돌출 효과가 적용되고, 상기 장벽 제로점보다 상기 카메라와 원거리에 위치한 객체에는 후퇴 효과가 적용될 수 있도록 상기 3차원 이미지를 구성하는 이동 단말기.
삭제
삭제
삭제