KR102022444B1 - 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말 - Google Patents

복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말 Download PDF

Info

Publication number
KR102022444B1
KR102022444B1 KR1020130018761A KR20130018761A KR102022444B1 KR 102022444 B1 KR102022444 B1 KR 102022444B1 KR 1020130018761 A KR1020130018761 A KR 1020130018761A KR 20130018761 A KR20130018761 A KR 20130018761A KR 102022444 B1 KR102022444 B1 KR 102022444B1
Authority
KR
South Korea
Prior art keywords
images
camera
image
cameras
photographed
Prior art date
Application number
KR1020130018761A
Other languages
English (en)
Other versions
KR20140104806A (ko
Inventor
나진희
이기혁
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130018761A priority Critical patent/KR102022444B1/ko
Priority to US14/053,905 priority patent/US9185286B2/en
Publication of KR20140104806A publication Critical patent/KR20140104806A/ko
Application granted granted Critical
Publication of KR102022444B1 publication Critical patent/KR102022444B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

본 발명은 휴대 단말에서의 영상 합성 방법을 제공한다. 이를 위해 본 발명은 복수개의 카메라를 통해 연속 촬영된 영상들 중 미리 정해진 분류 기준을 적용하여 각각 하나씩의 영상을 선택한 후, 선택된 영상들을 합성하여 저장하는 과정으로 이루어진다. 이때, 미리 정해진 분류 기준은 영상 내 블러(blur)의 양, 인물의 표정, 촬영 구도 등을 각각 수치화한 값을 나타낸다. 이렇게 함으로써 미리 정해진 분류 기준을 만족하는 영상들을 이용하여 합성 영상을 생성할 수 있어, 합성 영상의 품질이 향상되는 효과가 있다.

Description

복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말{METHOD FOR SYNTHESIZING VALID IMAGES IN MOBILE TERMINAL HAVING MULTI CAMERA AND THE MOBILE TERMINAL THEREFOR}
본 발명은 유효한 영상들을 합성하기 위한 장치 및 방법에 관한 것으로, 특히 복수의 카메라를 이용하여 촬영된 영상들 중에서 유효한 영상들을 합성하는 장치 및 방법에 관한 것이다.
최근 들어, 통신 기술의 급속한 발전으로 인해 휴대 단말에서의 기능이 점차 확대되고 있으며, 이에 맞추어 보다 다양한 사용자인터페이스(User Interface: UI) 및 그를 이용한 다양한 기능들이 제공되고 있다. 이러한 휴대 단말의 효용 가치를 높이고 사용자들의 다양한 욕구를 만족시키기 위해서 휴대 단말에서 실행 가능한 다양한 애플리케이션들이 개발되고 있다.
최근에는 휴대 단말을 이용하여 사물의 형상을 촬영하는 카메라 폰 기능과 자신의 형상을 카메라로 촬영하여 상대방에게 전송하는 화상 휴대폰 기능에 이르기까지 카메라를 이용한 애플리케이션의 기능은 이미 다양화되고 있는 추세이다. 예를 들면, 사용자가 무선 인터넷 서비스를 통해 다운로드 받은 영상 합성 애플리케이션의 경우 사용자가 촬영한 사진의 헤어스타일을 합성하는 등의 다양한 영상 합성 애플리케이션이 소개되고 있다.
게다가 사용자의 다양한 기호를 충족시키기 위해 최근에는 기본적으로 두 개의 카메라가 휴대 단말에 장착되어 출시되고 있다. 이와 같이 듀얼 카메라를 장착한 휴대 단말에서는 하나의 카메라를 통해 촬영한 주영상을 프리뷰 화면에 표시하고, 다른 카메라를 통해 촬영한 부영상을 주영상에 PIP(Picture In Picture) 형태로 오버레이하여 표시한다. 이러한 듀얼 카메라를 장착한 휴대 단말의 경우 휴대 단말의 후면 카메라는 휴대 단말의 후면 방향을 향하도록 고정되어 있으며, 휴대 단말의 전면 카메라는 사용자를 촬영할 수 있도록 전면 방향을 향하도록 고정되어 있다.
그러나 서로 다른 방향을 향하도록 배치된 카메라를 통해 동시에 양방향 영상을 확인할 수 있지만 실제 촬영 시에는 동시에 둘 이상의 촬영 구도를 확보하기에는 본질적인 한계를 가지게 된다. 또한 PIP 형태로 주영상에 비해 작게 표시되는 부영상의 경우 프리뷰 화면에서의 부영상의 크기 제약으로 인해 사용자는 부영상의 품질을 육안으로 확인하기 어려운 경우가 발생한다. 또한, 실제 듀얼 카메라로 찍은 영상에 대해 각각을 합성하는 경우에는 서로 다른 영상을 합성하더라도 손떨림 등이 발생할 경우에는 사용자의 기호를 충족시킬 수 없는 수준의 합성 영상이 생성된다. 상기한 바와 같이 종래에는 휴대 단말에서 영상을 합성할 때 합성 영상의 품질을 보장할 수 있는 방법은 제공되지 않고 있다.
따라서 본 발명은 복수의 카메라를 이용하여 실시간으로 촬영되는 서로 다른 영상들 중에서 유효한 영상들을 합성하기 위한 장치 및 방법을 제공한다.
또한 본 발명은 합성 영상의 품질을 보장할 수 있도록 복수의 카메라를 이용함으로써 동시에 촬영되거나 시간차를 가지고 촬영된 영상들 중에서 미리 정해진 기준을 만족하는 두 개의 영상을 합성하는 장치 및 방법을 제공한다.
상기한 바를 달성하기 위한 본 발명은, 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법에 있어서, 촬영 신호 입력 시 제1카메라를 통해 연속 촬영된 영상들을 임시로 저장하는 과정과, 상기 제1카메라를 통해 연속 촬영된 영상들 중 미리 정해진 분류 기준을 만족하는 제1영상을 선택하는 과정과, 제2카메라를 통해 촬영된 제2영상과 상기 제1영상을 합성하는 과정을 포함함을 특징으로 한다.
또한 본 발명은, 유효한 영상들을 합성하기 위한 복수의 카메라를 구비한 휴대 단말에 있어서, 촬영 신호 입력 시 연속 촬영하는 제1카메라와, 제2영상을 촬영하는 제2카메라와, 상기 제1카메라를 통해 연속 촬영된 영상들 중 미리 정해진 분류 기준을 만족하는 제1영상을 선택하고, 상기 제2카메라를 통해 촬영된 상기 제2영상과 상기 제1영상을 합성하는 제어부를 포함함을 특징으로 한다.
본 발병에 따르면, 복수의 카메라를 이용하여 서로 다른 영상을 합성할 때, 미리 정해진 기준을 만족하는 영상들을 합성함으로써 합성 영상의 품질이 향상되는 효과가 있으며, 그 미리 정해진 기준을 이용함으로써 합성 기능 이용 시의 편의성이 증대되는 이점이 있다.
또한, 본 발명은 촬영 명령 시 사용자가 전/후면 중 어느 하나의 카메라에 초점을 맞추어 촬영한 후 다른 카메라를 통해 다른 방향의 영상을 촬영함으로써 동시에 둘 이상의 촬영 구도를 확보하기 어려운 경우에도 영상 합성 기능을 이용할 수 있는 이점이 있다.
또한 본 발명은 촬영 이전에 합성될 영상의 밝기 및 톤을 조정한 후 촬영함으로써 합성된 영상에 대한 이질감을 감소시킬 수 있는 효과가 있다. 또한 본 발명은 듀얼 샷 촬영시 촬영된 영상들 중 어느 하나의 영상의 품질만 기준치 이하일 경우에는 다른 영상은 저장해놓았다가 재촬영된 영상과 합성함으로써 재촬영 시의 편의성을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 휴대 단말의 내부 블록 구성도,
도 2는 본 발명의 일 실시예에 따른 휴대 단말의 전면 사시도,
도 3은 본 발명일 실시예에 따른 휴대 단말의 후면 사시도,
도 4는 본 발명의 제1실시예에 따른 영상 합성 과정을 나타낸 동작 흐름도,
도 5는 상기 도 4의 영상 합성 방법을 설명하기 위한 예시도,
도 6은 상기 도 4의 다른 영상 합성 방법을 설명하기 위한 예시도,
도 7은 본 발명의 제2실시예에 따른 영상 합성 과정을 나타낸 동작 흐름도,
도 8은 상기 도 7의 영상 합성 방법을 설명하기 위한 예시도,
도 9는 본 발명의 제3실시예에 따른 영상 합성 과정을 나타낸 동작 흐름도,
도 10은 상기 도 9의 영상 합성 방법을 설명하기 위한 예시도,
도 11은 본 발명의 제4실시예에 따른 영상 합성 과정을 나타낸 동작 흐름도,
도 12는 상기 도 11의 영상 합성 방법을 설명하기 위한 예시도.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 다만, 본 발명이 예시적 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하않는 한, 복수의 표현을 포함한다.
이하에서 설명되는 실시예들은 휴대(hand-held) 단말을 예로 들어 설명되나, 본 발명에 따른 영상 합성 방법은 휴대폰, 스마트폰, 태블릿 PC 등과 같은 단말 뿐만 아니라, 카메라, 네비게이션 장치, 텔레비전(TV), 은행의 ATM, 상점의 POS 장치 등 다양한 전자 장치들에 적용될 수 있다. 또한 본 발명에서 휴대 단말은 플렉서블 장치 또는 플렉서블 디스플레이 장치일 수 있다. 이러한 휴대 단말의 대표적인 구성은 휴대폰에 대한 것이며, 이러한 휴대 단말의 대표적인 구성에서 일부 구성 소자는 필요에 따라 생략되거나 변경될 수 있다.
본 발명은 휴대 단말에서의 영상 합성 방법을 제공한다. 이를 위해 본 발명은 복수개의 카메라를 통해 연속 촬영된 영상들 중 미리 정해진 분류 기준을 적용하여 각각 하나씩의 영상을 선택한 후, 선택된 영상들을 합성하여 저장하는 과정으로 이루어진다. 이때, 미리 정해진 분류 기준은 영상 내 블러(blur)의 양, 인물의 표정, 촬영 구도 등을 각각 수치화한 값을 나타낸다. 이렇게 함으로써 미리 정해진 분류 기준을 만족하는 영상들을 이용하여 합성 영상을 생성할 수 있어, 합성 영상의 품질이 향상되는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 휴대 단말을 나타내는 개략적인 블록도이다.
도 1을 참조하면, 휴대 단말(100)은 통신 모듈(120), 커넥터(165), 및 이어폰 연결잭(167) 중 적어도 하나를 이용하여 외부 전자 장치(도시되지 아니함)와 연결될 수 있다. 이러한, 전자 장치는 상기 휴대 단말(100)에 탈착되어 유선으로 연결 가능한 이어폰(Earphone), 외부 스피커(External speaker), USB(Universal Serial Bus) 메모리, 충전기, 크래들/도크(Cradle/Dock), DMB 안테나, 모바일 결제 관련 장치, 건관리 장치(혈당계 등), 게임기, 자동차 네비게이션 장치 등 다양한 장치들 중의 하나를 포함할 수 있다. 또한, 전자 장치는 무선으로 연결 가능한 블루투스 통신 장치, NFC(Near Field Communication) 장치, 와이파이 다이렉트(WiFi Direct) 통신 장치, 무선 액세스 포인트(AP, Access Point)를 포함할 수 있다. 그리고, 휴대 단말(100)은 유선 또는 무선을 이용하여 다른 휴대 단말 또는 전자 장치, 예를 들어, 휴대폰, 스마트폰, 태블릿 PC, 데스크탑 PC 및 서버 중의 하나와 연결될 수 있다.
도 1을 참조하면, 휴대 단말(100)은 하나의 터치 스크린(190) 및 적어도 하나의 터치 스크린 컨트롤러(195)를 포함한다. 또한, 휴대 단말(100)은 제어부(110), 통신 모듈(120), 멀티미디어 모듈(140), 카메라 모듈(150), 입/출력 모듈(160), 센서 모듈(170), 저장부(175) 및 전원 공급부(180)를 포함한다.
통신 모듈(120)은 이동통신 모듈(121), 서브 통신 모듈(130) 및 방송통신 모듈(141)을 포함한다.
서브 통신 모듈(130)은 무선랜 모듈(131) 및 근거리 통신 모듈(132) 중 적어도 하나를 포함하고, 멀티미디어 모듈(140)은 오디오 재생 모듈(142) 및 동영상재생 모듈(143) 중 적어도 하나를 포함한다. 카메라 모듈(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함한다. 또한, 본 발명의 휴대 단말(100)의 카메라 모듈(150)은 휴대 단말(100)의 주 용도에 따라 제1 및/또는 제2 카메라(151, 152)의 줌 인/줌 아웃을 위한 경통부(155), 상기 경통부(155)의 줌 인/줌 아웃을 위해 경통부(155)의 움직임을 제어하는 모터부(154), 촬영을 위해 광원을 제공하는 플래시(153) 중 적어도 하나를 포함할 수 있다. 그리고, 입/출력 모듈(160)은 버튼(161), 마이크(162), 스피커(163), 진소자(164), 커넥터(165) 및 키패드(166) 중 적어도 하나를 포함한다.
제어부(110)는 CPU(111), 휴대 단말(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 112) 및 휴대 단말(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 휴대 단말(100)에서 수행되는 작업을 위한 기억 영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어, 듀얼 코어, 트리플 코어 또는 쿼드 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부 버스(bus)를 통해 상호 연결될 수 있다.
또한, 제어부(110)는 통신 모듈(120), 멀티미디어 모듈(140), 카메라 모듈(150), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원 공급부(180), 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 제어할 수 있다.
제어부(110)는 터치 스크린(190) 상에 복수의 객체 또는 아이템이 표시된 상태에서 입력 유닛(168), 사용자의 손가락 등의 터치 가능한 사용자 입력 수단이 어느 하나의 객체를 터치하거나, 그에 접근하거나, 그에 근접하게 위치함에 따른 사용자 입력을 감지하고, 사용자 입력이 발생한 터치 스크린(190) 상의 위치에 대응하는 객체를 식별한다. 터치 스크린(190)을 통한 사용자 입력은 객체를 직접 터치하는 직접 터치 입력과, 미리 설정된 인식 거리 이내로 객체에 접근하지만 객체를 직접 터치하지 않는 간접 터치 입력인 호버링 입력 중의 하나를 포함한다. 예를 들어, 입력 유닛(168)을 터치 스크린(190)에 가까이 위치시키면, 입력 유닛(168)의 연직 하방에 위치하는 객체가 선택될 수 있다. 본 발명에서 사용자 입력은, 터치 스크린(190)을 통한 사용자 입력 외에, 카메라 모듈(150)을 통한 제스처 입력, 버튼(161) 또는 키패드(166)를 통한 스위치/버튼 입력, 마이크(162)를 통한 음성 입력 등을 포함한다.
객체 또는 아이템(또는 기능 아이템)은 휴대 단말(100)의 터치 스크린(190) 상에 표시되거나, 표시될 수 있는 것으로서, 예를 들어, 애플리케이션, 메뉴, 문서, 위젯, 사진, 동영상, 이메일, SMS 메시지 및 MMS 메시지 중 적어도 하나를 나타내며, 사용자 입력 수단에 의해 선택, 실행, 삭제, 취소, 저장 및 변경될 수 있다. 이러한 아이템은 버튼, 아이콘(또는 단축 아이콘), 썸네일 영상 또는 휴대 단말에서 적어도 하나의 객체를 저장하고 있는 폴더를 포괄하는 의미로도 사용될 수 있다. 또한, 이러한 아이템은 영상(image), 텍스트 등의 형태로 표시될 수 있다.
단축 아이콘은 각각의 애플리케이션 또는 휴대 단말(100)에서 기본적으로 제공되는 통화, 연락처, 메뉴 등의 빠른 실행을 위해 휴대 단말(100)의 터치 스크린(190) 상에 표시되는 이미지로서, 이를 실행하기 위한 명령 또는 선택이 입력되면 해당 애플리케이션을 실행한다.
또한, 제어부(110)는 입력 유닛(168)이 터치 스크린(190)에 접근하거나, 그에 근접하게 위치함에 따른 호버링(Hovering) 이벤트와 같은 사용자 입력 이벤트를 감지할 수 있다.
제어부(110)는 미리 설정된 아이템에 대해, 또는 미리 설정된 방식에 따라 사용자 입력 이벤트가 발생되면, 사용자 입력 이벤트에 대응하는 미리 설정된 프로그램 동작을 수행한다.
제어부(110)는 제어 신호를 입력 유닛(168) 또는 진동 소자(164)로 출력할 수 있다. 이러한 제어 신호는 진동 패턴에 대한 정보를 포함할 수 있으며, 입력 유닛(168) 또는 진동 소자(164)는 이러한 진동 패턴에 따른 진동을 생성한다. 이러한 진동 패턴에 대한 정보는 진동 패턴 자체, 진동 패턴의 식별자 등을 나타낼 수 있다. 또는, 이러한 제어 신호는 단순히 진동 생성의 요청만을 포함할 수도 있다.
휴대 단말(100)은 성능에 따라 이동 통신 모듈(121), 무선랜 모듈(131), 및 근거리 통신 모듈(132) 중 적어도 하나를 포함할 수 있다.
이동 통신 모듈(121)은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 휴대 단말(100)이 외부 전자 장치와 연결되도록 할 수 있다. 이동 통신 모듈(121)은 휴대 단말(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿 PC 또는 다른 전자 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.
서브 통신 모듈(130)은 무선랜 모듈(131)과 근거리 통신 모듈(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜 모듈(131)만 포함하거나, 근거리 통신 모듈(132)만 포함하거나 또는 무선랜 모듈(131)과 근거리 통신 모듈(132)을 모두 포함할 수 있다.
무선랜 모듈(131)은 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜 모듈(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리 통신 모듈(132)은 제어부(110)의 제어에 따라 휴대 단말(100)과 외부 전자 장치 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신 방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.
이러한, 서브 통신 모듈(130)을 통해서 제어부(110)는 햅틱 패턴에 따른 제어 신호를 입력 유닛(168)으로 전송할 수 있다.
방송 통신 모듈(141)은 제어부(110)의 제어에 따라 방송통신 안테나(도시되지 아니함)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호) 및 방송부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다.
멀티미디어 모듈(140)은 오디오 재생 모듈(142) 또는 동영상 재생 모듈(143)을 포함할 수 있다. 오디오 재생 모듈(142)은 제어부(110)의 제어에 따라 저장부(175)에 저장되거나 또는 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 재생할 수 있다. 동영상 재생 모듈(143)은 제어부(110)의 제어에 따라 저장되거나 또는 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 재생할 수 있다.
멀티미디어 모듈(140)은 제어부(110)에 통합될 수 있다.
카메라 모듈(150)은 제어부(110)의 제어에 따라 정지 영상 또는 동영상을 촬영하는 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함할 수 있다. 또한, 카메라 모듈(150)은 피사체를 촬영하기 위해 줌 인/줌 아웃을 수행하는 경통부(155), 상기 경통부(155)의 움직임을 제어하는 모터부(154), 피사체를 촬영하기 위해 필요한 보조 광원을 제공하는 플래시(153) 중 적어도 하나를 포함할 수 있다. 제1 카메라(151)는 상기 휴대 단말(100) 전면에 배치되고, 제2 카메라(152)는 상기 휴대 단말(100)의 후면에 배치될 수 있다.
제1 및 제2 카메라(151, 152)는 각각 렌즈계, 이미지 센서 등을 포함할 수 있다. 제1 및 제2 카메라(151, 152)는 각각 렌즈계를 통해 입력되는(또는 촬영되는) 광신호를 전기적인 이미지 신호로 변환하여 제어부(110)로 출력하고, 사용자는 이러한 제1 및 제2 카메라(151, 152)를 통해 동영상 또는 정지 영상을 촬영할 수 있다.
입/출력 모듈(160)은 적어도 하나의 버튼(161), 적어도 하나의 마이크(162), 적어도 하나의 스피커(163), 적어도 하나의 진동 소자(164), 커넥터(165), 키패드(166), 이어폰 연결잭(167) 및 입력 유닛(168) 중 적어도 하나를 포함할 수 있다. 그리고, 이러한 입/출력 모듈(160)은 이에 국한되지 않으며, 마우스, 트랙볼, 조이스틱 또는 커서 방향 키들과 같은 커서 컨트롤(cursor control)이 터치 스크린(190) 상의 커서의 움직임을 제어하기 위해 제공될 수 있다.
버튼(161)은 상기 휴대 단말(100)의 하우징(또는 케이스)의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼, 볼륨 버튼, 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼 중 적어도 하나를 포함할 수 있다.
마이크(162)는 제어부(110)의 제어에 따라 음성(voice) 또는 소리를 입력 받아 전기적인 신호를 생성한다.
스피커(163)는 제어부(110)의 제어에 따라 다양한 신호 또는 데이터(예를 들어, 무선 데이터, 방송 데이터, 디지털 오디오 데이터, 디지털 동영상 데이터 등)에 대응되는 소리를 휴대 단말(100)의 외부로 출력할 수 있다. 스피커(163)는 휴대 단말(100)이 수행하는 기능에 대응되는 소리(예를 들어, 전화 통화에 대응되는 버튼 조작음, 통화 연결음, 상대방 사용자의 음성 등)를 출력할 수 있다. 스피커(163)는 상기 휴대 단말(100)의 하우징의 적절한 위치 또는 위치들에 하나 또는 복수로 형성될 수 있다.
진동 소자(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 휴대 단말(100)은 다른 장치(도시되지 아니함)로부터 음성 또는 화상 통화가 수신되는 경우, 진동 소자(164)가 동작한다. 진동 소자(164)는 상기 휴대 단말(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동 소자(164)는 터치 스크린(190)을 통한 사용자 입력에 대응하여 동작할 수 있다.
커넥터(165)는 상기 휴대 단말(100)과 외부 전자 장치 또는 전원 소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부(110)는 커넥터(165)에 연결된 유선 케이블을 통해 휴대 단말(100)의 저장부(175)에 저장된 데이터를 외부 전자 장치로 전송하거나 외부 전자 장치로부터 데이터를 수신할 수 있다. 휴대 단말(100)은 커넥터(165)에 연결된 유선 케이블을 통해 전원 소스로부터 전력을 수신하거나, 전원 소스를 이용하여 배터리(도시되지 아니함)를 충전할 수 있다.
키패드(166)는 휴대 단말(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 휴대 단말(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치 스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 휴대 단말(100)에 형성되는 물리적인 키패드는 휴대 단말(100)의 성능 또는 구조에 따라 제외될 수 있다.
이어폰(도시되지 아니함)은 이어폰 연결잭(Earphone Connecting Jack, 167)에 삽입되어 상기 휴대 단말(100)에 연결될 수 있다.
입력 유닛(168)은 휴대 단말(100) 내부에 삽입되어 보관될 수 있으며, 사용시에는 상기 휴대 단말(100)로부터 인출 또는 분리될 수 있다. 이러한, 입력 유닛(168)이 삽입되는 휴대 단말(100) 내부의 일 영역에는 상기 입력 유닛(168)의 장착 및 탈착에 대응하여 동작하는 탈/부착 인식 스위치(169)가 구비되어 있고, 탈/부착 인식 스위치(169)는 상기 입력 유닛(168)의 장착 및 분리에 대응하는 신호를 제어부(110)로 출력할 수 있다. 탈/부착 인식 스위치(169)는 상기 입력 유닛(168)의 장착시 직·간접적으로 접촉되도록 구성될 수 있다. 이에 따라, 탈/부착 인식 스위치(169)는 상기 입력 유닛(168)과의 접촉 여부에 기초하여, 상기 입력 유닛(168)의 장착 또는 분리에 대응하는 신호(즉, 입력 유닛(168)의 장착 또는 분리를 통지하는 신호)를 생성하여 제어부(110)로 출력한다.
센서 모듈(170)은 휴대 단말(100)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서 모듈(170)은 사용자의 휴대 단말(100)에 대한 접근 여부를 검출하는 근접 센서, 휴대 단말(100) 주변의 빛의 양을 검출하는 조도 센서(도시되지 아니함), 또는 휴대 단말(100)의 동작(예를 들어, 휴대 단말(100)의 회전, 휴대 단말(100)의 가속 또는 진동)을 검출하는 모션 센서(도시되지 아니함), 지구 자기장을 이용해 휴대 단말(100)의 방위(point of the compass)를 검출하는 지자기 센서(Geo-magnetic Sensor), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter), GPS 모듈(157) 중 적어도 하나의 센서를 포함할 수 있다.
GPS 모듈(157)은 지구 궤도상에 있는 복수의 GPS 위성(도시되지 아니함)으로부터 전파를 수신하고, GPS 위성으로부터 휴대 단말(100)까지의 전파 도달 시간(Time of Arrival)을 이용하여 휴대 단말(100)의 위치를 산출할 수 있다.
저장부(175)는 제어부(110)의 제어에 따라 통신 모듈(120), 멀티미디어 모듈(140), 카메라 모듈(150), 입/출력 모듈(160), 센서 모듈(170) 또는 터치 스크린(190)의 동작에 따라 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 휴대 단말(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 애플리케이션들을 저장할 수 있다.
“저장부”라는 용어는 저장부(175), 제어부(110) 내 롬(112), 램(113) 또는 휴대 단말(100)에 장착되는 메모리 카드(예를 들어, SD 카드, 메모리 스틱) 등의 임의의 데이터 저장 장치를 지칭하는 용어로 사용된다. 저장부(175)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수도 있다.
또한, 저장부(175)는 네비게이션, 화상 통화, 게임, 사용자에게 시간을 기반으로 하는 알람 애플리케이션 등과 같은 다양한 기능들의 애플리케이션들과 이와 관련된 그래픽 사용자 인터페이스(graphical user interface: GUI)를 제공하기 위한 이미지들, 사용자 정보, 문서, 터치 입력을 처리하는 방법과 관련된 데이터베이스들 또는 데이터, 휴대 단말(100)을 구동하는데 필요한 배경 이미지들(메뉴 화면, 대기 화면 등) 또는 운영 프로그램들, 카메라 모듈(150)에 의해 촬영된 영상들 등을 저장할 수 있다.
또한, 저장부(175)는 합성 영상 제공 방법과 관련된 데이터를 저장할 수 있다.
저장부(175)는 기계(예를 들어, 컴퓨터)로 읽을 수 있는 매체이며, 기계로 읽을 수 있는 매체라는 용어는 기계가 특정 기능을 수행할 수 있도록 상기 기계로 데이터를 제공하는 매체로 정의될 수 있다. 저장부(175)는 비휘발성 매체(non-volatile media) 및 휘발성 매체를 포함할 수 있다. 이러한 모든 매체는 상기 매체에 의해 전달되는 명령들이 상기 명령들을 상기 기계로 읽어 들이는 물리적 기구에 의해 검출될 수 있도록 유형의 것이어야 한다.
상기 기계로 읽을 수 있는 매체는, 이에 한정되지 않지만, 플로피 디스크(floppy disk), 플렉서블 디스크(flexible disk), 하드 디스크, 자기 테이프, 시디롬(compact disc read-only memory: CD-ROM), 광학 디스크, 펀치 카드(punch card), 페이퍼 테이프(paper tape), 램, 피롬(Programmable Read-Only Memory: PROM), 이피롬(Erasable PROM: EPROM) 및 플래시-이피롬(FLASH-EPROM) 중의 적어도 하나를 포함한다.
전원 공급부(180)는 제어부(110)의 제어에 따라 휴대 단말(100)의 하우징에 배치되는 하나 또는 복수의 배터리에 전력을 공급할 수 있다. 하나 또는 복수의 배터리는 휴대 단말(100)에 전력을 공급한다. 또한, 전원 공급부(180)는 커넥터(165)와 연결된 유선 케이블을 통해 외부의 전원 소스로부터 입력되는 전원을 휴대 단말(100)로 공급할 수 있다. 또한, 전원 공급부(180)는 무선 충전 기술을 통해 외부의 전원 소스로부터 무선으로 입력되는 전원을 휴대 단말(100)로 공급할 수도 있다.
그리고, 휴대 단말(100)은 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 사용자 그래픽 인터페이스를 제공하는 적어도 하나의 터치 스크린(190)을 포함할 수 있다.
터치 스크린(190)은 사용자 그래픽 인터페이스에 입력되는 적어도 하나의 사용자 입력에 대응되는 아날로그 신호를 터치 스크린 컨트롤러(195)로 출력할 수 있다.
터치 스크린(190)은 사용자의 신체(예를 들어, 엄지를 포함하는 손가락) 또는 입력 유닛(168)(예를 들어, 스타일러스 펜, 전자 펜)을 통해 적어도 하나의 사용자 입력을 수신할 수 있다.
터치 스크린(190)은 하나의 터치의 연속적인 움직임(즉, 드래그 입력)을 수신할 수도 있다. 터치 스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치 스크린 컨트롤러(195)로 출력할 수 있다.
본 발명에서 터치는 터치 스크린(190)과 손가락 또는 입력 유닛(168)과의 접촉에 한정되지 않고, 비접촉(예를 들어, 터치 스크린(190)과의 직접 접촉 없이 사용자 입력 수단을 검출할 수 있는 인식 거리(예를 들어, 1cm) 이내에 사용자 입력 수단이 위치하는 경우)을 포함할 수 있다. 터치 스크린(190)에서 사용자 입력 수단을 인식할 수 있는 거리 또는 간격은 휴대 단말(100)의 성능 또는 구조에 따라 변경될 수 있으며, 특히 터치 스크린(190)은 사용자 입력 수단과의 접촉에 의한 직접 터치 이벤트와, 간접 터치 이벤트(즉, 호버링 이벤트)를 구분하여 검출 가능하도록, 상기 직접 터치 이벤트와 호버링 이벤트에 의해 검출되는 값(예컨대, 아날로그 값으로 전압 값 또는 전류 값을 포함)이 다르게 출력될 수 있도록 구성될 수 있다.
이러한, 터치 스크린(190)은 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식, 초음파(acoustic wave) 방식, 또는 이들의 조합으로 구현될 수 있다.
또한, 터치 스크린(190)은 손가락 및 입력 유닛(168)에 의한 입력을 각각 입력 받을 수 있도록, 손가락 및 입력 유닛(168)의 터치나 접근을 각각 감지할 수 있는 적어도 두 개의 터치 패널을 포함할 수 있다. 적어도 두 개의 터치 패널은 서로 다른 출력 값을 터치 스크린 컨트롤러(195)에 제공하고, 터치 스크린 컨트롤러(195)는 상기 적어도 두 개의 터치스크린 패널에서 입력되는 값을 서로 다르게 인식하여, 터치 스크린(190)으로부터의 입력이 손가락에 의한 입력인지, 입력 유닛(168)에 의한 입력인지를 구분할 수 있다.
터치 스크린 컨트롤러(195)는 터치 스크린(190)으로부터 입력된 아날로그 신호를 디지털 신호로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치 스크린 컨트롤러(195)부터 수신한 디지털 신호를 이용하여 터치 스크린(190)을 제어할 수 있다. 예를 들어, 제어부(110)는 직접 터치 이벤트 또는 호버링 이벤트에 응답하여 터치 스크린(190)에 표시된 단축 아이콘(도시되지 아니함) 또는 객체가 선택 또는 실행되도록 할 수 있다. 또한, 터치 스크린 컨트롤러(195)는 제어부(110)에 통합될 수도 있다.
터치 스크린 컨트롤러(195)는 터치 스크린(190)을 통해 출력되는 값(예컨대, 전류값 등)을 검출하여 사용자 입력 위치뿐만 아니라 호버링 간격 또는 거리를 확인할 수 있고, 확인된 거리 값을 디지털 신호(예컨대, Z좌표)로 변환하여 제어부(110)로 제공할 수도 있다. 또한, 터치 스크린 컨트롤러(195)는 터치 스크린(190)을 통해 출력되는 값(예컨대, 전류값 등)을 검출하여 사용자 입력 수단이 터치 스크린(190)을 누르는 압력을 검출할 수 있고, 확인된 압력 값을 디지털 신호로 변환하여 제어부(110)로 제공할 수도 있다.
도 2는 본 발명의 실시 예에 따른 휴대 단말의 전면 사시도를 나타낸 도면이고, 도 3은 본 발명의 실시 예에 따른 휴대 단말의 후면 사시도를 나타낸 도면이다.
도 2 및 도 3을 참조하면, 휴대 단말(100)의 전면(101) 중앙에는 터치 스크린(190)이 배치된다. 터치 스크린(190)은 휴대 단말(100)의 전면(101)의 대부분을 차지하도록 크게 형성될 수 있다. 도 2에서는, 상기 터치 스크린(190)에 메인 홈 화면이 표시된 예를 나타낸다. 메인 홈 화면은 휴대 단말(100)의 전원을 켰을 때 터치 스크린(190) 상에 표시되는 첫 화면이다. 또한, 휴대 단말(100)이 여러 페이지의 서로 다른 홈 화면들을 가질 경우, 메인 홈 화면은 상기 여러 페이지의 홈 화면들 중 첫 번째 홈 화면일 수 있다. 홈 화면에는 자주 사용되는 애플리케이션들을 실행하기 위한 단축 아이콘들(191-1, 191-2, 191-3), 메인 메뉴 전환키(191-4), 시간, 날씨 등이 표시될 수 있다. 사용자가 메인 메뉴 전환키(191-4)를 선택하면, 상기 터치 스크린(190)에 메뉴 화면이 표시된다. 또한, 상기 터치 스크린(190)의 상단에는 배터리 충전 상태, 수신 신호의 세기, 현재 시각과 같은 휴대 단말(100)의 상태를 표시하는 상태 바(Status Bar, 192)가 형성될 수도 있다.
상기 터치 스크린(190)의 하부에는 홈 버튼(161a), 메뉴 버튼(161b), 및 뒤로 가기 버튼(161c)이 형성될 수 있다.
홈 버튼(161a)은 터치 스크린(190)에 메인 홈 화면(main Home screen)을 표시한다. 예를 들어, 터치 스크린(190)에 상기 메인 홈 화면과 다른 홈 화면(any Home screen) 또는 메뉴 화면이 표시된 상태에서, 상기 홈 버튼(161a)이 선택되면, 터치 스크린(190)에 메인 홈 화면이 표시될 수 있다. 또한, 터치 스크린(190) 상에서 애플리케이션들이 실행되는 도중 홈 버튼(161a)이 선택되면, 상기 터치 스크린(190) 상에는 도 2에 도시된 메인 홈 화면이 디스플레이될 수 있다. 또한 홈 버튼(161a)은 상기 터치 스크린(190) 상에 최근에(recently) 사용된 애플리케이션들을 표시하도록 하거나, 태스크 매니저(Task Manager)를 표시하기 위하여 사용될 수도 있다.
메뉴 버튼(161b)은 터치 스크린(190) 상에 표시될 수 있는 연결 메뉴를 제공한다. 상기 연결 메뉴에는 위젯 추가 메뉴, 배경화면 변경 메뉴, 검색 메뉴, 편집 메뉴, 환경 설정 메뉴 등이 포함될 수 있다.
뒤로 가기 버튼(161c)은 현재 실행되고 있는 화면의 바로 이전에 실행되었던 화면을 표시하거나, 가장 최근에 사용된 애플리케이션을 종료시키는 경우에 사용될 수 있다.
휴대 단말(100)의 전면(101)의 가장자리에는 제1 카메라(151)와 조도 센서(170a) 및 근접 센서(170b)가 배치될 수 있다. 휴대 단말(100)의 후면(103)에는 제2 카메라(152), 플래시(flash, 153), 스피커(163)가 배치될 수 있다.
휴대 단말(100)의 측면(102)에는 예를 들어 전원/잠금 버튼(161d), 볼륨 증가 버튼(161f) 및 볼륨 감소 버튼(161g)을 갖는 볼륨 버튼(161e), 방송 수신을 위한 지상파 DMB 안테나(141a), 하나 또는 복수의 마이크들(162) 등이 배치될 수 있다. 상기 DMB 안테나(141a)는 휴대 단말(100)에 고정되거나, 착탈 가능하게 형성될 수도 있다.
또한, 휴대 단말(100)의 하단 측면에는 커넥터(165)가 형성된다. 커넥터(165)에는 다수의 전극들이 형성되어 있으며 외부 장치와 유선으로 연결될 수 있다. 휴대 단말(100)의 상단 측면에는 이어폰 연결잭(167)이 형성될 수 있다. 이어폰 연결잭(167)에는 이어폰이 삽입될 수 있다.
또한, 휴대 단말(100)의 하단 측면에는 입력 유닛(168)이 장착될 수 있다. 입력 유닛(168)은 휴대 단말(100) 내부에 삽입되어 보관될 수 있으며, 사용시에는 상기 휴대 단말(100)로부터 인출 및 분리될 수 있다.
한편, 전술한 도 1에서는 2개의 카메라(151, 152)를 예시하나, 서로 다른 위치에 둘 이상의 카메라가 장착될 수도 있음은 물론이다. 이에 따라 복수개의 카메라를 통해 촬영된 각각의 영상들을 합성하여 하나의 합성 영상으로 만드는 과정에 있어, 본 발명이 동일하게 적용될 수 있다. 즉, 제1카메라(151)를 통해 촬영된 영상들 중 하나의 영상을 선택하고, 제2카메라(152)를 통해 촬영된 영상들 중 하나의 영상을 선택하며, 제3카메라(도시하지 않음)를 통해 촬영된 영상들 중에서도 하나의 영상을 선택한 후, 선택된 각각의 영상을 합성하여 하나의 합성 영상으로 만들 수도 있다. 다만, 이하의 설명에서는 설명의 편의를 위하여 제1카메라(151) 및 제2카메라(152)를 이용하는 경우를 예로 들어 설명한다.
본 발명은 제2 카메라(152)에 의해 촬영된 후방 영상에 제1 카메라(151)에 의해 촬영된 전방 영상을 합성한 영상을 제공한다. 후방은 휴대 단말(100)의 후면과 대면하는 방향이고, 전방은 휴대 단말(100)의 후면과 대면하는 방향이며, 전방은 일 방향을 나타내고, 후방은 일 방향에 반대인 방향을 나타낸다. 즉, 제1카메라(151)는 사용자의 모습을 촬영할 수 있도록 구성될 수 있으며, 제2카메라부(152)는 촬영 대상인 피사체 또는 사용자가 바라보는 방향의 전경을 촬영하도록 구성될 수 있다.
제어부(110)는 휴대 단말(100)의 전반적인 동작을 제어하며, 제어부(110)는 휴대 단말(100) 내 다른 구성 소자들을 제어하여 합성 영상 제공 방법을 수행한다. 특히 제어부(110)는 휴대 단말(100)에 장착된 복수의 카메라들을 제어하여 사용자 및 피사체 촬영으로부터 얻어진 각각의 전방 및 후방 영상들을 대상으로 영상 분석을 수행하여 전방 영상들 및 후방 영상들 중 각각의 유효 영상을 선택한 후, 선택된 전방 및 후방의 유효 영상들을 합성하기 위한 동작을 제어하는 기능을 수행한다. 본 발명의 실시예에서 영상 분석은 각각의 카메라를 통해 수신되는 전후방 영상들 중에서 미리 정해진 분류 기준을 적용하여, 그 분류 기준을 만족하는 각각의 전후방 유효 영상들이 있는지를 분석하는 동작을 의미한다.
본 발명을 설명하기에 앞서, 본 발명에서 이용되는 듀얼 샷(shot)과 베스트 샷(shot)을 간략하게 살펴보면 다음과 같다.
듀얼 샷(dual shot)은 서로 다른 위치의 카메라를 이용하여 두 영상을 동시 또는 순차 촬영하고 두 영상을 하나의 영상으로 합성하는 기능을 의미하며, 베스트 샷(best shot)은 정지영상 촬영 시 다수의 영상을 연속 촬영하고, 미리 정해진 분류 기준에 따라 최적의 영상 하나를 선택하는 기능을 의미한다. 여기서, 미리 정해진 분류 기준은 영상 내 블러(blur)의 양, 인물의 표정, 촬영 구도 등을 각각 수치화한 값을 나타낸다.
듀얼 샷 모드에서는 제1카메라(151) 및 제2카메라(152)를 통해 동시 또는 시차를 두고 촬영을 할 경우 전방 및 후방 영상 중 적어도 하나 영상에서 품질 저하가 발생할 수 있다. 예를 들면, 사용자가 제2카메라(152)를 이용하여 피사체를 촬영하는 경우 제2카메라(152)의 화각 내에 피사체가 들어올 수 있도록 제2카메라(152)의 방향을 조절해야 하며, 이때 손떨림에 의한 영상 흐려짐이나 촬영 구도 예컨대 수평선 유지 등도 고려해야 한다. 이와 동시에 사용자는 제1카메라(151)를 이용하여 사용자 자신의 얼굴이 원하는 위치에 표시되며 눈 깜빡임 없이 촬영될 수 있도록 신경을 써야 한다. 이와 같이 듀얼 샷 모드에서는 하나의 카메라를 이용하는 기존의 촬영 방식에 비해 사용자가 촬영 시에 제어해야 할 여러 조건들로 인해 실제 촬영된 영상의 만족도가 떨어질 우려가 있으며, 이에 따라 촬영된 영상들을 합성할 경우에는 품질 저하가 발생할 수 있으므로, 본 발명에서는 이러한 듀얼 샷 모드에서 촬영된 영상들에 대한 분석을 통해 미리 정해진 분류 기준을 만족하는 영상들에 대해서만 합성을 수행함으로써 합성 영상의 품질을 보장할 수 있는 방법을 제안한다.
도 4는 본 발명의 제1실시예에 따른 영상 합성을 위한 동작 흐름도로, 이하에서는 도 4에서의 설명의 이해를 돕기 위해 도 5를 참조한다.
도 4를 참조하면, 카메라 애플리케이션이 실행되면 제어부(110)는 400단계에서 제1 및 제2카메라를 통해 각각 실시간으로 수신되는 제1 및 제2 프리뷰 영상을 터치스크린(190) 상에 출력한다. 이에 따라 사용자는 제1카메라를 통해 수신되는 전방 영상 예컨대, 사용자에 대한 영상을 프리뷰할 수 있으며, 이와 동시에 제2카메라를 통해 수신되는 후방 영상 예컨대, 외부 피사체에 대한 영상을 프리뷰할 수 있다. 이와 같이 프리뷰 영상들이 출력되는 화면을 통해 사용자는 언제 사진을 찍을지를 결정할 수 있다. 여기서, 프리뷰 영상들이 출력되는 화면의 구성 예는 PIP 형태로 구성될 수 있으며, 다르게는 사용자에 의해 지정된 위치 및 크기로 제1 및 제2카메라를 통해 수신되는 프리뷰 영상들 예컨대, 전후방 프리뷰 영상들이 표시될 수 있다. 이러한 프리뷰 영상들이 출력되는 상태에서 제어부(110)는 405단계에서 촬영 신호가 입력되면, 410단계에 제1 및 제2카메라를 통해 연속 촬영된 전방 및 후방 영상들을 버퍼에 저장한다.
도 5에서는 제1카메라를 통해 연속 촬영된 영상들(A, B, C, D, E, F) 및 제2카메라를 통해 연속 촬영된 영상들(1, 2, 3, 4, 5, 6)을 예시하고 있다. 버퍼에는 촬영 신호가 입력된 시점의 전후를 기준으로 도 5에 도시된 바와 같이 일정 개수의 연속 촬영된 전방 및 후방 영상들이 순차적으로 저장된다.
이어, 제어부(110)는 415단계에서 제1 및 제2카메라를 통해 연속 촬영된 전방 및 후방 영상들 중 미리 정해진 분류 기준을 각각 만족하는 전방 및 후방 영상이 있는지를 분석한다. 여기서, 미리 정해진 분류 기준은 영상 내 블러의 양, 인물에 대한 특정 패턴, 촬영 구도 중 적어도 하나를 포함하며, 이들을 수치화한 것을 의미한다. 또한 전방 및 후방 영상 각각에 대해 동일한 분류 기준이 적용될 수 있으나, 전방 및 후방 영상의 특성에 따라 서로 다른 분류 기준이 적용될 수 있음은 물론이다. 예를 들어, 전방 영상은 사용자를 촬영한 영상이므로, 인물의 특정 패턴을 기준으로 할 수도 있으며, 후방 영상은 외부 피사체를 촬영한 영상이므로 블러의 양에 초점을 맞추어 분석을 수행할 수도 있다.
이때, 본 발명의 실시예에 따른 미리 정해진 분류 기준 중 블러의 양은 영상의 컨트라스트의 크기를 수치화한 값이다. 즉, 블러의 양은 사용자에 의한 손떨림 정도(degree), 화각 내 피사체의 움직임 정도, 카메라의 초점이 맞지 않는 정도 등을 수치화한 값으로, 이러한 수치화는 학습된 또는 미리 설정된 정보에 근거하여 정해질 수 있다. 이에 따라 제어부(110)는 영상 분석을 수행할 때 전방 영상들 및 후방 영상들 각각에 대한 블러의 양을 판단한다. 이때, 블러는 사용자에 의한 손떨림, 화각 내 피사체의 움직임, 카메라의 초점이 맞지 않는 경우 등에 발생할 수 있다.
또한 미리 정해진 분류 기준 중 인물의 특정 패턴은 영상 내에서 예컨대, 인물의 특정 표정(웃음, 놀람 등), 눈 감음 여부, 정면 응시 여부, 적목 현상 여부 중 적어도 하나를 포함하며, 이들을 수치화한 값으로 표현될 수 있다. 구체적으로, 외부 피사체 또는 사용자를 촬영한 인물 영상의 경우 웃음 정도를 웃음의 단계별로 미리 입력된 학습 모델과 비교하여 웃음 정도와 가장 유사도가 높은 그 학습 모델의 웃음 단계를 결정한 후, 눈 감음, 적목 현상, 얼굴이 정면을 향하는지 여부를 가중치로 결정함으로써 상기 결정된 웃음 단계와 상기 가중치로 이루어진 표정 점수를 수치화한 것이다.
또한 미리 정해진 분류 기준 중 촬영 구도는 사용자의 얼굴 위치와 피사체의 위치를 삼분할 촬영 구도 또는 이분할 촬영 구도 등과 비교하여 상기 위치들 간의 일치 정도를 수치화한 것을 나타낸다. 이러한 촬영 구도의 적절성 여부는 사용자 및 외부 피사체를 동시에 촬영하기에 최적의 촬영 구도인지를 판단하는 동작 즉, 영상 분석을 통해 판단된 촬영 구도가 최적의 촬영 구도인지를 판단한다. 여기서, 촬영 구도는 영상 내 특징점, 얼굴의 위치 및 크기 등의 인자를 검출할 수 있는 돌출(Saliency) 정보를 이용함으로써 구해진다.
이러한 분류 기준을 적용함으로써 제어부(110)는 420단계에서 연속 촬영된 전후방 영상들 중에서 상기 분류 기준을 각각 만족하는 전방 영상 및 후방 영상이 있는지를 판단한다.
예를 들어, 미리 정해진 분류 기준 중 블러의 양을 적용하는 경우에는, 제어부(110)는 연속 촬영된 전방 영상들 및 후방 영상들 각각에 대한 블러의 양이 임계치 이하인지를 판단한다. 만일 블러의 양이 임계치 이하인 경우에는 해당 영상은 분류 기준을 만족하는 영상이라고 판단한다. 이때, 연속 촬영된 영상들이 복수개이므로, 분류 기준을 만족하는 영상도 복수개일 수 있다. 이러한 경우에는 임계치 이하의 블러의 양을 가지는 영상들 중 가장 적은 양의 블러를 포함하는 영상을 최적의 영상으로써 선택한다.
또한 미리 정해진 분류 기준 중 인물의 특정 패턴을 적용하는 경우에는 연속 촬영된 전방 영상들 및 후방 영상들 각각에 대해 인물의 특정 패턴을 나타내는 값을 산출한다. 이러한 인물의 특정 패턴에 해당하는 분류 기준을 적용함으로써 전방 영상들 및 후방 영상들 각각에 대한 순위를 정할 수 있다. 이때, 인물의 특정 패턴을 적용하는 경우 임계치와 비교하여 최적의 전방 또는 후방 영상을 선택할 수도 있다.
또한 미리 정해진 분류 기준 중 촬영 구도를 적용하는 경우에는 연속 촬영된 전방 영상들 및 후방 영상들 내의 사용자의 얼굴 위치와 외부 피사체의 위치를 삼분할 촬영 구도 또는 이분할 촬영 구도 등과 비교하여 상기 위치들 간의 일치 정도를 수치화한 값을 임계치와 비교한다. 이러한 촬영 구도에 해당하는 분류 기준을 적용함으로써 전방 영상들 및 후방 영상들 각각에 대한 순위를 정할 수 있다. 이때, 촬영 구도를 적용하는 경우 임계치와 비교하여 최적의 전방 또는 후방 영상을 선택할 수도 있다.
다르게는 연속 촬영된 전방 영상들 및 후방 영상들에 대해 블러의 양, 인물의 특정 패턴, 촬영 구도를 모두 적용했을 때 기준치에 가장 유사한 값을 가지는 전방 영상 및 후방 영상이 각각 하나씩 선택되도록 구현될 수도 있다.
상기와 같은 분류 기준을 만족하는 전방 영상 및 후방 영상이 각각 하나씩 있을 경우에는 제어부(110)는 425단계에서 분류 기준을 만족하는 전방 영상 및 후방 영상을 선택한 후, 430단계에서 선택된 전방 영상 및 후방 영상을 합성 후 저장부(175)에 저장한다. 이에 따라 도 5에서 제1카메라를 통해 연속 촬영된 영상들(A, B, C, D, E, F) 중 제1분류 기준을 만족하는 전방 영상이 B번 영상이며, 제2카메라를 통해 연속 촬영된 영상들(1, 2, 3, 4, 5, 6) 중 제2분류 기준을 만족하는 후방 영상이 3번 영상이라고 할 경우, B번 영상과 3번 영상을 합성하여 하나의 합성 영상(500)이 생성된다.
반면, 420단계에서 분류 기준을 만족하는 전후방 영상이 없는 경우 예컨대, 전방 영상들 및 후방 영상들 중에서 상기 분류 기준을 만족하는 전방 영상 및/또는 후방 영상이 없다고 판단되면 400단계로 되돌아간다.
예를 들어, 듀얼 샷 모드에서 최적의 전후방 영상을 얻기 위해서는 외부 피사체와 휴대 단말(100)과 사용자가 일직선상에 위치하여야 한다. 하지만 예를 들어, 외부 피사체(610), 휴대 단말(100) 및 사용자(620)가 장애물(615)로 인해 일직선상에 위치할 수 없는 경우 즉, 외부 피사체와 휴대 단말(100) 사이의 아래쪽 장애물이 존재할 경우 도 6(a)에서와 같이 장애물(615)을 피해 사용자는 장애물을 피해 휴대 단말(100)을 위로 올려 촬영하게 된다. 이와 유사하게 접사 촬영 시에는 휴대 단말(100)을 낮은 위치에서 조작해야 한다. 이러한 경우에는 외부 피사체와 휴대 단말(100)과 사용자가 일직선상에 위치하기 어렵게 된다.
또한, 야외의 밝은 조명에 의해 촬영 시 화면이 잘 보이지 않는 경우가 있다. 예를 들면 역광 또는 빛의 반사에 의해 시인성이 떨어지는 경우 휴대 단말(100)의 디스플레이의 각도를 변경하면 시인성이 확보되나, 듀얼 샷의 경우 이러한 움직임이 불가능하여 프리뷰를 확인하지 못하고 촬영을 해야한다. 이러한 경우에는 사용자 표정이 부자연스럽거나 화각 내 얼굴의 위치 등 구도가 의도한 바와 다르게 구성될 수도 있다. 이러한 상태에서 촬영된 전방 영상들 및 후방 영상들에는 외부 피사체와 사용자의 얼굴이 정상적으로 포함되어 있지 않게 되므로, 촬영 구도가 부적절하다고 판단하게 된다. 이에 따라 제어부(110)는 분류 기준을 만족하는 전방 또는 후방 영상이 없다고 판단할 수 있다.
이러한 경우에는 도 6(a)에서와 같이 제2카메라의 촬영 범위(600) 내에 외부 피사체(610)가 위치하므로, 외부 피사체(610)에 대한 베스트 샷을 얻을 수 있다. 이에 따라 분류 기준을 만족하는 후방 영상을 얻을 수 있지만, 전방 영상은 분류 기준을 만족하지 못할 것이다. 그러므로 제어부(110)는 400단계로 되돌아가 제1카메라만을 다시 구동하여 그 제1카메라를 통해 수신되는 전방 프리뷰 영상을 표시한 후, 405단계에서 촬영 신호가 입력되면 제1카메라를 통해 연속 촬영된 전방 영상들에 대한 분석을 수행한다.
예를 들면, 도 6(a)에서와 같이 제2카메라를 통한 외부 피사체(610)에 대한 베스트 샷을 얻은 후, 도 6(b)에서와 같이 휴대 단말(100)을 이동시켜 촬영한다면, 제2카메라의 촬영 범위(600) 내에 장애물(615)이 존재하더라도 제1카메라의 촬영 범위(805) 내에 위치하는 사용자(620)에 대한 베스트 샷을 얻을 수 있다. 다르게는 촬영 도중에 사용자가 휴대 단말(100)을 이동시켜 다양한 촬영 구도를 연속 촬영하게 되면, 제어부(110)가 영상 분석을 통해 최적의 촬영 구도를 추천하도록 구현될 수도 있다. 이와 같이 본 발명에 따르면, 외부 피사체와 휴대 단말(100)과 사용자가 일직선상에 위치하더라도 최적의 촬영 구도로 촬영된 합성 영상을 얻는 것이 가능하다.
상기한 바와 같이 420단계에서 전방 또는 후방 영상 중 어느 하나라도 분류 기준을 만족하지 않는 경우가 발생하면 제어부(110)는 재촬영을 위한 동작을 제어한다. 이에 따라 400단계로 되돌아간다. 또한 420단계에서 전방 및 후방 영상 모두 분류 기준을 만족하지 않는 경우에는 제1 및 제2카메라를 모두 구동하여 전방 영상 및 후방 영상을 다시 촬영한다. 만일 어느 하나의 영상만이 분류 기준을 만족하지 않는 경우에는 해당 영상을 촬영하기 위한 카메라만을 구동할 수 있다. 예를 들어, 전방 영상들 중에서 분류 기준을 만족하는 영상이 있을 경우에는 그 분류 기준을 만족하는 전방 영상을 저장한 후, 분류 기준을 만족하는 후방 영상을 얻기 위한 재촬영을 수행한다. 이러한 재촬영을 통해 연속 재촬영된 후방 영상들 중에서 분류 기준을 만족하는 후방 영상을 찾은 경우 그 후방 영상과 앞서 저장해놓은 전방 영상을 합성하여 저장하게 된다.
한편, 도 7은 본 발명의 제2실시예에 따른 영상 합성 과정을 나타낸 동작 흐름도이다. 도 7에서는 제1 및 제2카메라 중 하나의 카메라만 한번 촬영하고 다른 하나의 카메라로는 연속 촬영한 후, 연속 촬영된 영상들 중 베스트 샷에 해당하는 영상과 한번 촬영해놓은 영상을 합성하여 저장하는 과정을 예시하고 있다.
도 7을 참조하면, 700단계 및 705단계는 도 4의 400단계 및 405단계와 동일하게 동작하므로 구체적인 설명은 생략하기로 한다. 다만, 710단계에서 촬영 신호가 입력되면 제1카메라를 통해 촬영된 제1영상 및 제2카메라를 통해 연속 촬영된 영상들을 버퍼에 저장하며, 715단계에서 연속 촬영된 영상들 중에서 분류 기준을 만족하는 영상이 있는지를 분석한다는 점에서 도 4의 410 및 415단계와 차이가 있다. 여기서, 제2카메라를 통해 1회 촬영하며, 제1카메라를 통해 연속 촬영하는 경우도 상기 과정이 동일하게 수행될 수 있다. 이어, 720단계에서 연속 촬영된 영상들 중에서 분류 기준을 만족하는 영상이 있는지를 판단하여, 725단계에서 분류 기준을 만족하는 제2영상을 선택한 후, 730단계에서 제1영상 및 제2영상을 합성 후 저장한다.
도 8에서는 제1카메라를 통해 한번 촬영된 영상(A) 및 제2카메라를 통해 연속 촬영된 영상들(1, 2, 3, 4, 5, 6)을 예시하고 있다. 버퍼에는 촬영 신호가 입력된 시점의 전후를 기준으로 도 8에 도시된 바와 같이 하나의 영상 및 일정 개수의 연속 촬영된 영상들이 순차적으로 저장된다. 도 8을 참조하면, 제1카메라를 통해 촬영된 영상(A)과, 제2카메라를 통해 연속 촬영된 영상들(1, 2, 3, 4, 5, 6) 중 분류 기준을 만족하는 영상이 3번 영상이라고 할 경우, A번 영상과 3번 영상을 합성하여 하나의 합성 영상(800)이 생성된다.
한편, 도 9는 본 발명의 제3실시예에 따른 영상 합성 과정을 나타낸 동작 흐름도로, 전방 및 후방 영상을 촬영하기 이전에 촬영 환경에 의한 영향을 최소화하기 위해 영상 처리를 위한 조건을 조정한 후 합성할 영상들을 선택하는 과정을 예시하고 있다.
도 9를 참조하면, 제어부(110)는 900단계에서 제1및 제2카메라를 통해 수신되는 제1 및 제2프리뷰 영상을 출력하는 상태에서 905단계에서 제1 및 제2프리뷰 영상의 밝기, 톤 등을 분석한다. 이러한 분석은 촬영 환경이 어떠한 상태인지를 판단하기 위함이다. 이어, 910단계에서 제1및 제2프리뷰 영상 간의 밝기, 톤 등의 차이가 임계치 이상인지를 판단한다. 여기서, 밝기 비교는 제1 및 제2카메라 중 적어도 하나의 카메라의 센서 이득과 노출 시간을 일정 수준 이하로 제한하였을 때의 밝기를 비교하는 동작을 의미한다. 또한 톤 비교는 영상 내 다이나믹 레인지 또는 히스토그램 형상 중 적어도 하나를 비교하는 동작을 의미한다.
만일 임계치 이상인 경우에는 제1 및 제2프리뷰 영상을 합성했을 경우 이질감이 느낄 수 있으므로, 915단계에서 제어부(110)는 제1 및 제2프리뷰 영상 간에 밝기 및 톤이 유사해지도록 노출 조건을 조절하는 동작을 수행한다. 이와 달리 임계치 이하인 경우에는 제1 및 제2프리뷰 영상 간에 밝기 및 톤이 유사한 상태이므로 합성 시 자연스러운 합성 영상을 얻을 수 있을 것이다.
본 발명의 실시예에서는 노출 조건을 조절하는 방법의 예로, HDR(High Dynamic Range), LLS(Low Light Shot) 등의 노출 보정 모드를 설정할 수 있다. 예를 들어, 전방 영상의 계조차가 후방 영상의 계조차 보다 큰 경우, HDR의 노출조건을 전방 영상에 대해서는 노출 선도에 따른 단계(step) 간 차이가 작게 (+1,0,-1)로 설정하고, 후방 영상에 대해서는 노출 선도에 따른 단계간 차이가 크게 (+2,0,-2)로 설정할 수 있다. 또한, 전방 영상의 밝기가 후방 영상의 밝기보다 밝은 경우, LLS 노출시 전방 영상에 대한 센서 이득은 낮게 예컨대, (ISO 100)로 설정하고, 후방 영상에 대한 센서 이득은 상대적으로 높게 예컨대, (ISO 200)로 설정할 수 있다.
상기한 바와 같이 주변 촬영 환경의 영향으로 인한 전방 영상과 후방 영상 간의 밝기, 톤 등의 차이를 줄이기 위해 촬영 이전에 수신되는 전방 영상과 후방 영상 간의 밝기, 톤 등의 차이를 비교한 후, 유사한 밝기 및 톤을 가질 수 있도록 노출(exposure) 조건을 조정하는 과정이 실제 사진을 찍기 전에 수행된다.
그리고나서 제어부(110)는 920단계에서 촬영 신호가 입력되면 925단계에서 제1카메라를 통해 촬영된 제1영상 및 제2카메라를 통해 촬영된 제2영상을 선택한 후, 930단계에서 제1영상 및 제2영상을 합성 후 저장한다.
도 10에서는 HDR 노출 보정 모드에 따라 제1카메라를 통해 촬영되어 버퍼에 저장되는 영상들(1-1, 1-2, 1-3)이 하나의 HDR 영상(1)으로 만들어지며, 제2카메라를 통해 촬영되어 버퍼에 저장되는 영상들(2-1, 2-2, 2-3)이 하나의 HDR 영상(2)으로 만들어지게 된다. 이러한 전방 및 후방에 해당하는 HDR 영상(1) 및 HDR 영상(2)이 합성되어 하나의 합성 영상(1000)이 만들어지게 된다. 또한 LLS 노출 보정 모드의 경우에는 LLS 전방 영상 및 LLS 후방 영상이 하나의 합성 영상으로 만들어지게 된다. 도 10에서는 전후방 영상들 모두에 HDR 노출 보정 모드를 적용한 경우를 예시하고 있으나, 어느 하나의 영상에 대해서만 HDR 노출 보정 모드를 적용할 수도 있다.
이와 같은 방식으로 조정된 노출 조건 하에 촬영된 영상들 중 각각 하나씩의 유효 영상들을 선택하게 되면, 최적의 합성 영상을 얻을 수 있게 된다. 예를 들어, 제1카메라를 통해 촬영된 피사체가 인물인 경우에는 그 인물을 세분화(segmentation)하여 제2카메라를 통해 촬영된 영상에 합성할 경우 최적의 합성 영상을 얻을 수 있게 된다. 전술한 바에서는 노출(exposure) 보정을 예로 들어 설명하였지만, 이외에도 색상 보정(color correction), 화이트 밸런스(white balance) 등의 동작을 수행할 수도 있다.
한편, 도 11은 본 발명의 제4실시예에 따른 영상 합성 과정을 나타낸 동작 흐름도로, 제1카메라 및 제2카메라(151, 152) 중 어느 하나의 카메라는 베스트 샷 모드로 동작하도록 설정하고, 다른 카메라는 노출 보정 모드로 동작하도록 설정한 경우 각각의 카메라를 통해 촬영된 영상들 중 유효한 영상들을 선택하여 합성 영상을 생성하는 과정을 예시하고 있다.
도 11을 참조하면, 1100단계 내지 1120단계는 도 9의 900단계 내지 920단계에서의 동작과 동일하므로, 그 구체적인 설명은 생략하기로 한다. 다만, 도 11에서는 촬영 신호가 입력되면 1125단계에서 제1카메라를 통해 연속 촬영된 영상들 중 미리 정해진 분류 기준에 해당하는 제1영상을 선택한다. 또한 1130단계에서 노출 보정 모드에서 제2카메라를 통해 촬영된 제2영상을 선택한다. 이어, 1135단계에서 제1영상 및 제2영상을 합성 후 저장한다.
도 12에서는 베스트 샷 모드로 동작하는 제1카메라를 통해 연속 촬영되어 버퍼에 저장되는 영상들(A, B, C, D, E, F) 및 노출 보정 모드로 동작하는 제2카메라를 통해 촬영되어 버퍼에 저장되는 영상들(1-1, 1-2, 1-3)을 예시하고 있다. 도 12를 참조하면, 버퍼에 저장되는 영상들(1-1, 1-2, 1-3)이 하나의 HDR 영상(1)으로 만들어지면, 베스트 샷 모드에 따라 영상들(A, B, C, D, E, F) 중 영상 분석을 통해 분류 기준을 만족하는 영상이 B번 영상이라고 할 경우 이러한 제1카메라를 통한 베스트 샷에 해당하는 B번 영상과 노출 보정된 HDR 영상(1)이 합성되어 하나의 합성 영상(1200)이 만들어지게 된다.
상기한 바에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니한다. 예를 들면, 전/후방 영상 간의 어울림 정도를 고려하여 하나의 영상으로 합성하는 방법이 있다. 이러한 어울림 정도를 고려한 방법의 일례로, 촬영자와 외부 피사체 인물의 표정의 유사성으로 합성할 이미지를 선택하는 방법을 들 수 있으며, 그 피사체 인물의 웃음 단계를 미리 모델링된 웃음 단계별 이미지와 비교하여 가장 유사도가 높은 단계로 분류하고, 촬영자의 웃음 단계가 피사체의 웃음과 가장 유사한 단계인 경우 해당 영상들을 합성할 영상들로 선택하는 과정으로 이루어진다.
이러한 어울림 정도를 고려한 방법의 다른 예로, 촬영자 및 피사체 인물을 얼굴 인식을 이용하여 인식하고, 친분 정도에 따라 합성시 배치를 다르게 하는 방법이 있다. 피사체가 여러 명인 경우, 촬영자와 친분도가 높은 피사체에 가깝게 촬영자의 이미지를 배치하는 방법도 있다. 이때, 친분도는 통화 횟수, 통화 시간, 메시지 전송 횟수, SNS 열람 횟수 등을 종합하여 수치화한 것이다. 또는 이러한 어울림 정도를 고려한 방법의 또다른 예들로는, 촬영자와 피사체 인물의 얼굴 크기를 비교하고, 얼굴의 크기가 유사하도록 리사이즈하여 배치하는 방법, 촬영자와 피사체의 조명 조건 또는 화면 배색에 따라 분위기의 차이가 있는 경우, 색상 톤 변경을 통해 전/후면 이미지의 분위기를 통일시키고, 해당 톤에 맞는 노출조건을 설정하여 촬영하는 방법 등이 있다.
상기 어울림 정도를 고려한 방법에 의해 추천된 최적의 영상들의 조합을 사용자가 바꾸고자 하는 경우, 다음과 같은 방식에 의해 바꿀 수 있다. 예를 들어, 전/후방 영상의 조합을 매뉴얼로 바꾸고자 하는 경우, 후보 영상들을 어울림 정도에 따라 순서대로 배치하고, 사용자의 선택에 따라 조합의 종류를 달리하는 방법이 있다. 다르게는 상기 매뉴얼 조합에서 후보 영상들을 표시하지 않고, 조합된 영상에서 전/후방 영상을 선택 시 다음 후보 영상으로 교체하는 방법이 있다. 또는 전방 영상을 교체할 경우 후방 영상도 가장 어울림 정도가 높은 영상으로 자동 교체하는 방법도 있다.
전술한 예들에서, 제1 카메라는 전방 카메라로, 제2 카메라는 후방 카메라로, 전방 이미지는 제1 이미지로, 후방 이미지는 제2 이미지로 기술할 수도 있다.
또한, 전술한 예들에서, 화면을 표시하는 디스플레이 유닛의 대표적인 예로 터치스크린을 예시하고 있으나, 터치스크린 대신에 터치 감지 기능이 없는 액정표시장치(Liquid Crystal Display: LCD), 유기발광다이오드(Organic Light Emitting Diodes: OLED), LED 등과 같은 통상의 디스플레이 유닛을 사용할 수도 있다.
본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 휴대 단말 내에 포함될 수 있는 저장부는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 상기 휴대 단말은 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 휴대 단말이 기설정된 휴대 단말에 의해 촬영된 영상들을 합성하는 방법을 수행하도록 하는 지시들을 포함하는 프로그램 등을 저장하기 위한 메모리와, 상기 휴대 단말과의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 휴대 단말의 요청 또는 자동으로 해당 프로그램을 상기 휴대 단말로 전송하는 제어부를 포함할 수 있다.
상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.

Claims (17)

  1. 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법에 있어서,
    촬영 신호 입력 시 제1카메라를 통해 연속 촬영된 영상들 및 제2카메라를 통해 연속 촬영된 영상들을 임시로 저장하는 과정과,
    상기 제1카메라를 통해 연속 촬영된 영상들 중 미리 정해진 분류 기준을 만족하는 제1영상을 선택하는 과정과,
    상기 제2카메라를 통해 연속 촬영된 영상들 중 상기 미리 정해진 분류 기준을 만족하는 제2영상을 선택하는 과정과,
    상기 제2영상과 상기 제1영상을 합성하는 과정을 포함함을 특징으로 하는 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1카메라를 통해 연속 촬영된 영상들 및 상기 제2카메라를 통해 연속 촬영된 영상들 중 상기 분류 기준을 만족하는 영상이 없는 경우 상기 제1카메라 및/또는 상기 제2카메라를 통해 재촬영하는 과정과,
    상기 제1카메라 및/또는 상기 제2카메라를 통해 연속 재촬영된 영상들 중 상기 분류 기준을 만족하는 영상이 있는지를 판단하는 과정을 더 포함함을 특징으로 하는 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법.
  4. 제1항에 있어서, 상기 미리 정해진 분류 기준은,
    영상 내 블러(blur)의 양, 인물의 특정 패턴, 촬영 구도 중 적어도 하나를 수치화한 것임을 특징으로 하는 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법.
  5. 제4항에 있어서, 상기 블러의 양은,
    영상의 컨트라스트 크기를 수치화한 것임을 특징으로 하는 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법.
  6. 제4항에 있어서, 상기 인물의 특정 패턴은,
    상기 인물의 특정 표정, 눈 감음 여부, 정면 응시 여부, 적목 현상 여부 중 적어도 하나를 이용하여 수치화한 것임을 특징으로 하는 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법.
  7. 제4항에 있어서, 상기 촬영 구도는,
    영상 내 사용자의 얼굴 위치와 피사체의 위치를 삼분할 촬영 구도 또는 이분할 촬영 구도와 비교하여 상기 위치들 간의 일치 정도를 수치화한 것임을 특징으로 하는 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법.
  8. 제1항에 있어서, 상기 제1카메라 및 상기 제2카메라를 통해 수신되는 영상들을 프리뷰하는 과정과,
    상기 프리뷰하는 영상들 간의 밝기, 톤 중 적어도 하나에 대한 차이를 분석하는 과정과,
    상기 프리뷰하는 영상들 간의 차이가 임계치 이상인 경우 노출 조건을 조절하는 과정을 더 포함함을 특징으로 하는 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법.
  9. 제8항에 있어서,
    상기 조절된 노출 조건에 따라 동작하는 상기 제1카메라 및 상기 제2카메라를 통해 촬영된 영상들을 합성함을 특징으로 하는 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법.
  10. 유효한 영상들을 합성하기 위한 복수의 카메라를 구비한 휴대 단말에 있어서,
    촬영 신호 입력 시 연속 촬영하는 제1카메라와,
    제2카메라와,
    상기 제1카메라를 통해 연속 촬영된 영상들 중 미리 정해진 분류 기준을 만족하는 제1영상을 선택하고, 상기 촬영 신호 입력 시 상기 제2카메라를 통해 연속 촬영된 영상들을 임시로 저장한 후, 상기 제2카메라를 통해 연속 촬영된 영상들 중 상기 미리 정해진 분류 기준을 만족하는 제2영상을 선택하고, 상기 제2영상과 상기 제1영상을 합성하는 제어부를 포함함을 특징으로 하는 유효한 영상들을 합성하기 위한 복수의 카메라를 구비한 휴대 단말.
  11. 삭제
  12. 제10항에 있어서, 상기 제어부는,
    상기 제1카메라를 통해 연속 촬영된 영상들 및 상기 제2카메라를 통해 연속 촬영된 영상들 중 상기 분류 기준을 만족하는 영상이 없는 경우 상기 제1카메라 및/또는 상기 제2카메라를 통해 재촬영한 후, 상기 제1카메라 및/또는 상기 제2카메라를 통해 연속 재촬영된 영상들 중 상기 분류 기준을 만족하는 영상이 있는지를 판단함을 특징으로 하는 유효한 영상들을 합성하기 위한 복수의 카메라를 구비한 휴대 단말.
  13. 제10항에 있어서, 상기 미리 정해진 분류 기준은,
    영상 내 블러(blur)의 양, 인물의 특정 패턴, 촬영 구도 중 적어도 하나를 수치화한 것임을 특징으로 하는 유효한 영상들을 합성하기 위한 복수의 카메라를 구비한 휴대 단말.
  14. 제13항에 있어서, 상기 블러의 양은 영상의 컨트라스트 크기를 수치화한 것이며, 상기 인물의 특정 패턴은 상기 인물의 특정 표정, 눈 감음 여부, 정면 응시 여부, 적목 현상 여부 중 적어도 하나를 이용하여 수치화한 것이며, 상기 촬영 구도는 영상 내 사용자의 얼굴 위치와 피사체의 위치를 삼분할 촬영 구도 또는 이분할 촬영 구도와 비교하여 상기 위치들 간의 일치 정도를 수치화한 것임을 특징으로 하는 유효한 영상들을 합성하기 위한 복수의 카메라를 구비한 휴대 단말.
  15. 제10항에 있어서,
    상기 제1카메라 및 상기 제2카메라를 통해 수신되는 영상들을 프리뷰하는 표시부를 더 포함함을 특징으로 하는 유효한 영상들을 합성하기 위한 복수의 카메라를 구비한 휴대 단말.
  16. 제15항에 있어서, 상기 제어부는,
    상기 프리뷰하는 영상들 간의 밝기, 톤 중 적어도 하나에 대한 차이를 분석하고, 상기 프리뷰하는 영상들 간의 차이가 임계치 이상인 경우 상기 촬영 신호가 입력되기 전에 노출 조건을 조절함을 특징으로 하는 유효한 영상들을 합성하기 위한 복수의 카메라를 구비한 휴대 단말.
  17. 제16항에 있어서, 상기 제1카메라 및 상기 제2카메라를 통해 촬영된 영상들 중 적어도 하나는 상기 조절된 노출 조건에 따른 HDR(High Dynamic Range), LLS(Low Light Shot) 중 어느 하나의 영상인 것임을 특징으로 하는 유효한 영상들을 합성하기 위한 복수의 카메라를 구비한 휴대 단말.
KR1020130018761A 2013-02-21 2013-02-21 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말 KR102022444B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130018761A KR102022444B1 (ko) 2013-02-21 2013-02-21 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말
US14/053,905 US9185286B2 (en) 2013-02-21 2013-10-15 Combining effective images in electronic device having a plurality of cameras

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130018761A KR102022444B1 (ko) 2013-02-21 2013-02-21 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말

Publications (2)

Publication Number Publication Date
KR20140104806A KR20140104806A (ko) 2014-08-29
KR102022444B1 true KR102022444B1 (ko) 2019-09-18

Family

ID=51350903

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130018761A KR102022444B1 (ko) 2013-02-21 2013-02-21 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말

Country Status (2)

Country Link
US (1) US9185286B2 (ko)
KR (1) KR102022444B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11831980B2 (en) 2020-06-10 2023-11-28 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014160982A (ja) * 2013-02-20 2014-09-04 Sony Corp 画像処理装置および撮影制御方法、並びにプログラム
KR102063102B1 (ko) * 2013-08-19 2020-01-07 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
KR20150051085A (ko) * 2013-11-01 2015-05-11 삼성전자주식회사 하이 다이나믹 레인지 영상을 표시하는 방법 및 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 영상 처리 장치.
KR102138521B1 (ko) * 2013-12-12 2020-07-28 엘지전자 주식회사 이동단말기 및 그 제어방법
JP6351271B2 (ja) * 2014-01-17 2018-07-04 オリンパス株式会社 画像合成装置、画像合成方法、およびプログラム
US9319576B2 (en) 2014-01-29 2016-04-19 Google Technology Holdings LLC Multi-processor support for array imagers
US9973671B2 (en) * 2014-08-27 2018-05-15 Symbol Technologies, Llc Method and apparatus for directing data capture devices in a mobile unit with a single operation
KR101598710B1 (ko) * 2014-09-11 2016-02-29 엘지전자 주식회사 이동단말기 및 그 제어방법
DK3209355T3 (da) 2014-10-21 2020-07-06 Sanofi Aventis Deutschland Registrering af dosisdata fra lægemiddelinjektionsanordninger ved anvendelse af optisk karaktergenkendelse (ocr)
EP3209354B1 (en) * 2014-10-21 2020-04-08 Sanofi-Aventis Deutschland GmbH Recording dose data from drug injection devices using optical character recognition (ocr)
CN106488108A (zh) * 2015-08-31 2017-03-08 中兴通讯股份有限公司 成像的方法及装置
CN105516612B (zh) * 2015-11-27 2019-01-11 三星电子（中国）研发中心 一种拍照方法和智能终端
US10200632B2 (en) * 2016-08-01 2019-02-05 Microsoft Technology Licensing, Llc Low-illumination photo capture with reduced noise and blur
KR102593824B1 (ko) 2016-08-31 2023-10-25 삼성전자주식회사 카메라를 제어하기 위한 방법 및 그 전자 장치
US10771697B2 (en) 2016-09-06 2020-09-08 Apple Inc. Still image stabilization/optical image stabilization synchronization in multi-camera image capture
CN108174112B (zh) * 2016-12-07 2020-11-13 中兴通讯股份有限公司 一种摄像中的处理方法及装置
TWI744536B (zh) * 2018-06-19 2021-11-01 宏正自動科技股份有限公司 直播系統及其直播方法
WO2020019356A1 (zh) * 2018-07-27 2020-01-30 华为技术有限公司 一种终端切换摄像头的方法及终端
CN109873946A (zh) * 2019-01-25 2019-06-11 努比亚技术有限公司 拍摄控制方法、终端及计算机可读存储介质
CN112954219A (zh) 2019-03-18 2021-06-11 荣耀终端有限公司 一种多路录像方法及设备
US10924661B2 (en) * 2019-05-02 2021-02-16 International Business Machines Corporation Generating image capture configurations and compositions
JP7379884B2 (ja) * 2019-06-27 2023-11-15 株式会社リコー 撮像装置、画像処理システム、方法およびプログラム
CN110784674B (zh) * 2019-10-30 2022-03-15 北京字节跳动网络技术有限公司 视频处理的方法、装置、终端及存储介质
CN110661960B (zh) * 2019-10-30 2022-01-25 Oppo广东移动通信有限公司 摄像模组和电子设备
CN113132643B (zh) * 2019-12-30 2023-02-07 Oppo广东移动通信有限公司 图像处理方法及相关产品
WO2021217584A1 (zh) * 2020-04-30 2021-11-04 深圳市大疆创新科技有限公司 相机调用方法以及设备
CN112954210B (zh) * 2021-02-08 2023-04-18 维沃移动通信（杭州）有限公司 拍照方法、装置、电子设备及介质
KR20230065034A (ko) * 2021-11-04 2023-05-11 삼성전자주식회사 Hdr 이미지들을 촬영하는 전자 장치와 이의 동작 방법
US20230237623A1 (en) * 2022-01-24 2023-07-27 Samsung Electronics Co., Ltd. System and method for noise reduction for blending blurred frames in a multi-frame system
CN116347220B (zh) * 2023-05-29 2023-07-21 合肥工业大学 人像拍摄方法及相关设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090207279A1 (en) * 2007-01-15 2009-08-20 Panasonic Corporation Imaging device
US20120162356A1 (en) * 2009-09-11 2012-06-28 Koninklijke Philips Electronics N.V. Image processing system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101442153B1 (ko) * 2008-01-15 2014-09-25 삼성전자 주식회사 저조도 영상 처리 방법 및 시스템
US9584735B2 (en) * 2010-11-12 2017-02-28 Arcsoft, Inc. Front and back facing cameras
US8866943B2 (en) * 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090207279A1 (en) * 2007-01-15 2009-08-20 Panasonic Corporation Imaging device
US20120162356A1 (en) * 2009-09-11 2012-06-28 Koninklijke Philips Electronics N.V. Image processing system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11831980B2 (en) 2020-06-10 2023-11-28 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device

Also Published As

Publication number Publication date
US20140232904A1 (en) 2014-08-21
KR20140104806A (ko) 2014-08-29
US9185286B2 (en) 2015-11-10

Similar Documents

Publication Publication Date Title
KR102022444B1 (ko) 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
CN109905852B (zh) 通过使用呼叫方电话号码来提供附加信息的装置和方法
US9582168B2 (en) Apparatus, method and computer readable recording medium for displaying thumbnail image of panoramic photo
KR102028952B1 (ko) 휴대 단말에 의해 촬영된 이미지들을 합성하는 방법, 기계로 읽을 수 있는 저장 매체 및 휴대 단말
KR102216246B1 (ko) 이동단말기 및 그 제어방법
US20200201446A1 (en) Apparatus, method and recording medium for controlling user interface using input image
KR20180129432A (ko) 이동 단말기 및 그 제어방법
KR20180095331A (ko) 이동단말기 및 그 제어 방법
KR20170112491A (ko) 이동 단말기 및 그 제어방법
KR20180019392A (ko) 이동 단말기 및 그 제어방법
KR20170112497A (ko) 이동 단말기 및 그 제어방법
CN111246300B (zh) 剪辑模板的生成方法、装置、设备及存储介质
KR20150107476A (ko) 이동 단말기
US11500533B2 (en) Mobile terminal for displaying a preview image to be captured by a camera and control method therefor
KR20160133781A (ko) 이동단말기 및 그 제어방법
KR102072509B1 (ko) 그룹 리코딩 방법, 저장 매체 및 전자 장치
US20140267435A1 (en) Image editing method, machine-readable storage medium, and terminal
KR20190008610A (ko) 이동 단말기 및 그 제어 방법
KR20180133743A (ko) 이동 단말기 및 그 제어 방법
KR20140081470A (ko) 문자 확대 표시 방법, 상기 방법이 적용되는 장치, 및 상기 방법을 수행하는 프로그램을 저장하는 컴퓨터로 읽을 수 있는 저장 매체
KR20180131908A (ko) 이동 단말기 및 그것의 동작방법
KR101751348B1 (ko) 이동단말기 및 그 제어방법
KR102076629B1 (ko) 휴대 장치에 의해 촬영된 이미지들을 편집하는 방법 및 이를 위한 휴대 장치
CN113095163A (zh) 视频处理方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant