KR20150005270A

KR20150005270A - 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치

Info

Publication number: KR20150005270A
Application number: KR1020130079005A
Authority: KR
Inventors: 김문수
Original assignee: 삼성전자주식회사
Priority date: 2013-07-05
Filing date: 2013-07-05
Publication date: 2015-01-14
Also published as: KR102114377B1; EP2822267A2; EP2822267B1; EP2822267A3; US9307153B2; US20150009349A1; CN104284064A; CN104284064B

Abstract

본 발명은 전자 장치에서 듀얼 이미지 센서를 이용하여 후방 이미지에 피사체의 일부만을 정확하게 포함하는 이미지를 위치시켜 프리뷰하는 방법에 관한 것이다. 이를 위해 본 발명은, 전자 장치에서 촬영자와 전경을 촬영할 때, 이미지 센서 모듈에서 획득한 이미지에 대하여 촬영자의 일부 예컨대, 얼굴이 포함되도록 결정된 관심 픽셀 영역의 정보를 기반으로 한 제어 신호를 상기 이미지 센서 모듈에 전달함으로써, 실제 이미지 센서 모듈로부터는 관심 픽셀 영역의 이미지 즉, 정확하게 촬영자의 얼굴만을 포함하는 이미지를 출력하며, 전경을 촬영한 후방 이미지에 그 얼굴 이미지를 중첩시켜 표시한다. 이렇게 함으로써, 이미지 신호 프로세서에서 상대적으로 작은 면적의 얼굴 이미지에 대해 이미지 처리가 수행되므로, 이에 따른 전력 소모를 줄일 수 있는 이점이 있다.

Description

전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치{METHOD FOR PREVIEWING IMAGES CAPTURED BY ELECTRONIC DEVICE AND THE ELECTRONIC DEVICE THEREFOR}

본 발명은 이미지 프리뷰 방법에 관한 것으로서, 특히 전자 장치에 의해 촬영된 전방 및 후방 이미지들을 프리뷰하는 방법에 관한 것이다.

최근 들어, 통신 기술의 급속한 발전으로 인해 전자 장치에서의 기능이 점차 확대되고 있으며, 이에 맞추어 보다 다양한 사용자인터페이스(User Interface: UI) 및 그를 이용한 다양한 기능들이 제공되고 있다. 이러한 전자 장치의 효용 가치를 높이고 사용자들의 다양한 욕구를 만족시키기 위해서 전자 장치에서 실행 가능한 다양한 어플리케이션들이 개발되고 있다.

최근에는 전자 장치를 이용하여 사물의 형상을 촬영하는 카메라 폰 기능과 사용자 자신의 모습을 카메라로 촬영하여 상대방에게 전송하는 화상 휴대폰 기능에 이르기까지 카메라를 이용한 애플리케이션의 기능은 이미 다양화되고 있는 추세이다. 예를 들면, 사용자가 무선 인터넷 서비스를 통해 다운로드 받은 이미지 합성 어플리케이션의 경우 사용자가 촬영한 사진의 헤어스타일을 합성하는 등의 다양한 이미지 합성 어플리케이션이 소개되고 있다.

게다가 사용자의 다양한 기호를 충족시키기 위해 최근에는 기본적으로 두 개의 카메라가 전자 장치에 장착되어 출시되고 있다. 이와 같이 듀얼 카메라를 장착한 전자 장치에서는 하나의 카메라를 통해 촬영한 메인 이미지를 프리뷰 화면에 표시하고, 다른 카메라를 통해 촬영한 서브 이미지를 메인 이미지에 PIP(Picture In Picture) 형태로 오버레이하여 표시한다. 이러한 듀얼 카메라를 장착한 전자 장치의 경우 전자 장치의 후면 카메라는 전자 장치의 후면 방향을 향하도록 고정되어 있으며, 전자 장치의 전면 카메라는 사용자를 촬영할 수 있도록 전면 방향을 향하도록 고정되어 있다.

이와 같이 전자 장치에서 사용자를 향하는 전방 카메라에 의해 촬영된 전방 이미지와 사용자가 바라보는 방향을 향하는 후방 카메라에 의해 촬영된 후방 이미지를 한 화면에 동시에 보여주는 듀얼 샷(dual shot) 모드가 종래에 개시된 바 있다. 즉, 종래의 듀얼 샷 모드에서는 후방 이미지에 전방 이미지를 합성한다.

그러나 서로 다른 방향을 향하도록 배치된 카메라를 통해 동시에 양방향 이미지를 확인할 수 있지만 실제 촬영 시에는 동시에 둘 이상의 촬영 구도를 확보하기에는 본질적인 한계를 가지게 된다.

종래의 듀얼 샷 모드에서는 전방 이미지가 PIP(Picture In Picture) 방식으로 후방 이미지의 미리 지정된 위치에 보이게 된다. 이러한 경우 전방 카메라와 후방 카메라를 동시에 프리뷰하는 경우 얼굴의 위치에 따른 구도를 맞추기 어려울 뿐만 아니라 전방 카메라의 화각이 클 경우 얼굴이 전방 이미지의 한쪽에 치우쳐 위치하게 되는 문제점이 있다.

또한 PIP 방식으로 메인 이미지에 비해 작게 표시되는 서브 이미지의 경우 프리뷰 화면에서의 서브 이미지의 크기 제약으로 인해 사용자는 서브 이미지의 품질을 육안으로 확인하기 어려운 경우가 발생한다. 게다가 사용자는 자신의 얼굴 또는 모습을 촬영하기 위해 전자 장치를 한 손으로 쥔 채로 다른 손으로 촬영 메뉴를 터치하기 때문에 이로 인해 전자 장치가 흔들리게 되어 결국 초점이 맞지 않는 이미지가 촬영될 수 있다. 이에 따라 실제 듀얼 카메라로 찍은 이미지에 대해 각각을 합성하는 경우에는 서로 다른 이미지를 합성하더라도 손떨림 등이 발생할 경우에는 사용자의 기호를 충족시킬 수 없는 수준의 합성 이미지가 생성된다.

본 발명의 특정 실시 예들의 목적은 종래기술과 관련된 문제점들 및/또는 단점들 중의 적어도 하나를 적어도 부분적으로 해결, 경감 또는 제거하는 것이다.

본 발명의 일 목적은 복수의 이미지 센서들이 탑재된 전자 장치에서 복수의 이미지를 획득하여 이를 프리뷰하기 위한 방법 및 이를 위한 전자 장치를 제공함에 있다.

또한 본 발명의 다른 목적은 후방 이미지에 피사체 일부만을 정확하게 포함하는 전방 이미지를 위치시켜서 프리뷰 또는 듀얼 샷 촬영을 할 수 있는 방법을 제공함에 있다.

또한 본 발명의 또 다른 목적은 미리 정해진 크기로 피사체 일부만을 포함하는 이미지를 프리뷰함으로써 합성 이미지의 품질을 보장할 수 있는 방법 및 이를 위한 전자 장치를 제공함에 있다.

상기한 바를 달성하기 위한 본 발명은, 촬영되는 이미지들을 프리뷰하기 위한 전자 장치에 있어서, 전방을 촬영하는 제1이미지 센서와, 후방을 촬영하는 제2이미지 센서와, 상기 제1이미지 센서에 의해 촬영되는 이미지 및 상기 제2이미지 센서에 의해 촬영되는 이미지에 대한 처리를 수행하는 이미지 신호 프로세서와, 상기 제1이미지 센서의 전체 픽셀 영역 중 피사체 인식에 따라 결정되는 관심 픽셀 영역을 설정하고, 상기 제1이미지 센서가 상기 관심 픽셀 영역의 이미지만을 출력하도록 제어하고, 상기 이미지 신호 프로세서에서 상기 후방 이미지에 상기 관심 픽셀 영역의 이미지를 위치시킨 하나의 이미지를 생성하도록 제어하는 제어부와, 상기 하나의 이미지에 대한 프리뷰를 출력하는 디스플레이부를 포함함을 특징으로 한다.

또한 본 발명은, 제1이미지 센서 및 제2이미지 센서를 구비하는 전자 장치에서 촬영된 이미지들을 프리뷰하기 위한 방법에 있어서, 상기 제1이미지 센서의 전체 픽셀 영역에서 피사체를 인식하는 동작과, 상기 전체 픽셀 영역에서 피사체 인식에 따라 결정되는 관심 픽셀 영역을 설정하는 동작과, 상기 제1이미지 센서로부터 상기 관심 픽셀 영역의 이미지가 출력되도록 제어하는 동작과, 상기 제1이미지 센서로부터 상기 관심 픽셀 영역의 이미지가 출력되면, 상기 제2이미지 센서로부터 출력되는 후방 이미지에 상기 관심 픽셀 영역의 이미지를 위치시킨 하나의 이미지를 생성하는 동작과, 상기 하나의 이미지에 대한 프리뷰를 수행하는 동작을 포함함을 특징으로 한다.

본 발명에 따르면, 전자 장치에서 촬영자와 촬영 대상이 되는 피사체를 촬영할 때, 이미지 센서 모듈에서 획득한 이미지에 대하여 촬영자의 일부 예컨대, 얼굴이 포함되도록 보정한 결과를 기반으로 한 제어 신호를 상기 이미지 센서 모듈에 전달함으로써, 실제 이미지 센서 모듈로부터는 정확하게 촬영자의 얼굴만을 포함하는 이미지를 프리뷰할 수 있다.

또한 본 발명에 따르면, 기존의 전방 이미지 크기에 비해 작으면서도 촬영자의 일부가 정확하게 포함된 이미지를 출력할 수 있어, 상대적으로 작은 면적에 대해 이미지 처리가 수행되므로, 이에 따른 전력 소모를 줄일 수 있는 이점이 있다.

또한 본 발명에 따르면, 촬영자의 일부만이 정확하게 포함된 이미지를 후방 이미지에 위치시켜 미리보기 또는 듀얼 샷 촬영을 할 수 있을 뿐만 아니라 이러한 두 이미지를 합성하여 보다 자연스러운 합성 결과를 얻을 수 있게 된다.

또한 본 발명에 따르면, 사용자는 듀얼 샷 촬영을 하기 위한 프리뷰를 보는 경우 전경을 촬영한 후방 이미지에 정확한 구도로 자신의 얼굴이 배치되는 프리뷰를 볼 수 있어 손쉽게 듀얼 샷 촬영을 할 수 있다.

도 1은 본 발명의 바람직한 실시 예에 따른 전자 장치를 나타내는 개략적인 블록도,
도 2는 본 발명의 실시 예에 따른 전자 장치의 전면 사시도를 나타낸 도면,
도 3은 본 발명의 실시 예에 따른 전자 장치의 후면 사시도를 나타낸 도면,
도 4는 본 발명의 실시 예에 따른 전자 장치의 듀얼 이미지 센서를 이용하여 피사체를 촬영하는 경우를 예시한 도면,
도 5는 본 발명의 실시 예에 따른 이미지 프리뷰를 위한 상세 블록도,
도 6은 본 발명의 실시 예에 따른 이미지 프리뷰 방법을 설명하기 위한 도면,
도 7은 본 발명의 실시 예에 따른 이미지 프리뷰 방법을 설명하기 위한 동작 흐름도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명에서 전자 장치는 디스플레이부를 구비하는 임의의 장치일 수 있으며, 전자 장치는 휴대 장치, 이동 단말, 통신 단말, 휴대용 통신 단말, 휴대용 이동 단말 등으로 칭할 수 있다.

예를 들어, 전자 장치는 스마트폰, 휴대폰, 게임기, TV, 디스플레이 장치, 차량용 헤드 유닛, 노트북 컴퓨터, 랩탑 컴퓨터, 태블릿(Tablet) 컴퓨터, PMP(Personal Media Player), PDA(Personal Digital Assistants) 등 일 수 있다. 전자 장치는 무선 통신 기능을 갖는 포켓 사이즈의 휴대용 통신 단말로서 구현될 수 있다. 또한, 전자 장치는 플렉서블 디스플레이 장치일 수 있다. 이외에도 이미지 센서 장착이 가능한 장치이면 모두 본 발명이 적용 가능함은 물론이다.

이러한 전자 장치의 대표적인 구성은 휴대폰에 대한 것이며, 이러한 전자 장치의 대표적인 구성에서 일부 구성 소자는 필요에 따라 생략되거나 변경될 수 있다.

도 1은 본 발명의 일 실시 예에 따른 전자 장치를 나타내는 개략적인 블록도이다.

도 1을 참조하면, 전자 장치(100)는 하나의 터치 스크린(190) 및 적어도 하나의 터치 스크린 컨트롤러(195)를 포함한다. 본 발명에서는 디스플레이부 및 디스플레이부 컨트롤러의 일 예로, 각각 터치 스크린(190) 및 터치 스크린 컨트롤러(195)인 경우를 예로 들어 설명한다. 또한, 전자 장치(100)는 제어부(110), 통신 모듈(120), 이미지 센서 모듈(150), 입/출력 모듈(160), 센서 모듈(170), 저장부(175) 및 전원 공급부(180)를 포함한다.

먼저, 제어부(110)는 CPU(111), 전자 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 112) 및 전자 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 전자 장치(100)에서 수행되는 작업을 위한 기억 영역으로 사용되는 램(RAM, 113)을 포함할 수 있다. CPU(111)는 싱글 코어뿐만 아니라 듀얼 코어, 트리플 코어 또는 쿼드 코어와 같이 다수 개의 코어를 포함할 수 있다. CPU(111), 롬(112) 및 램(113)은 내부 버스(bus)를 통해 상호 연결될 수 있다.

또한, 제어부(110)는 통신 모듈(120), 이미지 센서 모듈(150), 입/출력 모듈(160), 센서 모듈(170), 저장부(175), 전원 공급부(180), 터치 스크린(190) 및 터치 스크린 컨트롤러(195)를 제어할 수 있다.

통신 모듈(120)은 이동 통신 모듈, 무선랜 모듈, 및 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.

이동 통신 모듈은 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 전자 장치(100)가 외부 전자 장치와 연결되도록 할 수 있다. 이동 통신 모듈은 전자 장치(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿 PC 또는 다른 전자 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신한다.

무선랜 모듈은 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)를 통해 인터넷에 연결될 수 있다. 무선랜 모듈은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다.

근거리 통신 모듈은 제어부(110)의 제어에 따라 전자 장치(100)와 외부 전자 장치 사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신 방식은 블루투스(Bluetooth), 적외선 통신(IrDA, Infrared Data Association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.

이미지 센서 모듈(150)은 제어부(110)의 제어에 따라 정지 영상 또는 동영상을 촬영하는 제1 이미지 센서(151) 및 제2 이미지 센서(152) 중 적어도 하나를 포함할 수 있다. 또한, 이미지 센서 모듈(150)은 피사체를 촬영하기 위해 줌 인/줌 아웃을 수행하는 경통부(155), 상기 경통부(155)의 움직임을 제어하는 모터부(154), 피사체를 촬영하기 위해 필요한 보조 광원을 제공하는 플래시(153) 중 적어도 하나를 포함할 수 있다. 제1 이미지 센서(151)는 상기 전자 장치(100) 전면에 배치되고, 제2 이미지 센서(152)는 상기 전자 장치(100)의 후면에 배치될 수 있다.

또한 이미지 센서 모듈(150)은 추가로 제3이미지 센서를 더 포함할 수 있다. 이러한 경우 제1이미지 센서(151)와 제3이미지 센서(도시하지 않음)는 인접(예, 제1 이미지 센서(151)와 제3 이미지 센서의 간격이 1 cm 보다 크고, 8 cm 보다는 작은)하게 배치되어 3차원 정지이미지 또는 3차원 동영상을 촬영할 수도 있다.

제1 및 제2 이미지 센서(151, 152)는 각각 렌즈계, 이미지 센서 등을 포함할 수 있다. 제1 및 제2 이미지 센서(151, 152)는 각각 렌즈계를 통해 입력되는 광신호를 전기적인 이미지 신호로 변환하여 제어부(110)로 출력하고, 사용자는 이러한 제1 및 제2 이미지 센서(151, 152)를 통해 동영상 또는 정지 영상을 촬영할 수 있다.

입/출력 모듈(160)은 적어도 하나의 버튼(161), 적어도 하나의 진동 소자(164), 키패드(166) 중 적어도 하나를 포함할 수 있다. 그리고, 이러한 입/출력 모듈(160)은 이에 국한되지 않으며, 적어도 하나의 마이크, 적어도 하나의 스피커, 이어폰 연결잭 이외에도 마우스, 트랙볼, 조이스틱 또는 커서 방향 키들과 같은 커서 컨트롤(cursor control)이 터치 스크린(190) 상의 커서의 움직임을 제어하기 위해 제공될 수 있다.

버튼(161)은 상기 전자 장치(100)의 하우징(또는 케이스)의 전면, 측면 또는 후면에 형성될 수 있으며, 전원/잠금 버튼, 볼륨 버튼, 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button) 및 검색 버튼 중 적어도 하나를 포함할 수 있다.

진동 소자(164)는 제어부(110)의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 예를 들어, 진동 모드에 있는 전자 장치(100)는 다른 장치(도시되지 아니함)로부터 음성 또는 화상 통화가 수신되는 경우, 진동 소자(164)가 동작한다. 진동 소자(164)는 상기 전자 장치(100)의 하우징 내에 하나 또는 복수로 형성될 수 있다. 진동 소자(164)는 터치 스크린(190)을 통한 사용자 입력에 대응하여 동작할 수 있다.

키패드(166)는 전자 장치(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 전자 장치(100)에 형성되는 물리적인 키패드(도시되지 아니함) 또는 터치 스크린(190)에 표시되는 가상의 키패드(도시되지 아니함)를 포함한다. 전자 장치(100)에 형성되는 물리적인 키패드는 전자 장치(100)의 성능 또는 구조에 따라 제외될 수 있다.

센서 모듈(170)은 전자 장치(100)의 상태 및 전자 장치(100) 주변의 상황을 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서 모듈(170)은 사용자의 전자 장치(100)에 대한 접근 여부를 검출하는 근접 센서, 전자 장치(100) 주변의 빛의 양을 검출하는 조도 센서(도시되지 아니함), 또는 전자 장치(100)의 동작(예를 들어, 전자 장치(100)의 회전, 전자 장치(100)의 가속 또는 진동)을 검출하는 모션 센서(도시되지 아니함), 지구 자기장을 이용해 전자 장치(100)의 방위(point of the compass)를 검출하는 지자기 센서(Geo-magnetic Sensor), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter) 중 적어도 하나의 센서를 포함할 수 있다. 또한, 사용자를 촬영하기 위한 이미지 센서 센서도 센서 모듈(170)에 포함될 수 있다. 센서 모듈(170)에 구비되는 센서는 본 발명에서 예시하는 센서 이외의 센서가 전자 장치(100)의 성능에 따라 추가되거나 삭제될 수 있음은 물론이다.

저장부(175)는 제어부(110)의 제어에 따라 통신 모듈(120), 이미지 센서 모듈(150), 입/출력 모듈(160), 센서 모듈(170) 또는 터치 스크린(190)의 동작에 따라 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 전자 장치(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 어플리케이션들을 저장할 수 있다.

“저장부”라는 용어는 저장부(175), 제어부(110) 내 롬(112), 램(113) 또는 전자 장치(100)에 장착되는 메모리 카드(예를 들어, SD 카드, 메모리 스틱) 등의 임의의 데이터 저장 장치를 지칭하는 용어로 사용된다. 저장부(175)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수도 있다.

또한, 저장부(175)는 네비게이션, 화상 통화, 게임, 사용자에게 시간을 기반으로 하는 알람 어플리케이션 등과 같은 다양한 기능들의 어플리케이션들과 이와 관련된 그래픽 사용자 인터페이스(graphical user interface: GUI)를 제공하기 위한 이미지들, 사용자 정보, 문서, 터치 입력을 처리하는 방법과 관련된 데이터베이스들 또는 데이터, 전자 장치(100)를 구동하는데 필요한 배경 이미지들(메뉴 화면, 대기 화면 등) 또는 운영 프로그램들, 이미지 센서 모듈(150)에 의해 촬영된 이미지들 등을 저장할 수 있다.

저장부(175)는 기계(예를 들어, 컴퓨터)로 읽을 수 있는 매체이며, 기계로 읽을 수 있는 매체라는 용어는 기계가 특정 기능을 수행할 수 있도록 상기 기계로 데이터를 제공하는 매체로 정의될 수 있다. 저장부(175)는 비휘발성 매체(non-volatile media) 및 휘발성 매체를 포함할 수 있다. 이러한 모든 매체는 상기 매체에 의해 전달되는 명령들이 상기 명령들을 상기 기계로 읽어 들이는 물리적 기구에 의해 검출될 수 있도록 유형의 것이어야 한다.

상기 기계로 읽을 수 있는 매체는, 이에 한정되지 않지만, 플로피 디스크(floppy disk), 플렉서블 디스크(flexible disk), 하드 디스크, 자기 테이프, 시디롬(compact disc read-only memory: CD-ROM), 광학 디스크, 펀치 카드(punch card), 페이퍼 테이프(paper tape), 램, 피롬(Programmable Read-Only Memory: PROM), 이피롬(Erasable PROM: EPROM) 및 플래시-이피롬(FLASH-EPROM) 중의 적어도 하나를 포함한다.

전원 공급부(180)는 제어부(110)의 제어에 따라 전자 장치(100)의 하우징에 배치되는 하나 또는 복수의 배터리에 전력을 공급할 수 있다. 하나 또는 복수의 배터리는 전자 장치(100)에 전력을 공급한다. 또한, 전원 공급부(180)는 커넥터와 연결된 유선 케이블을 통해 외부의 전원 소스로부터 입력되는 전원을 전자 장치(100)로 공급할 수 있다. 또한, 전원 공급부(180)는 무선 충전 기술을 통해 외부의 전원 소스로부터 무선으로 입력되는 전원을 전자 장치(100)로 공급할 수도 있다.

그리고, 전자 장치(100)는 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 사용자 그래픽 인터페이스를 제공하는 적어도 하나의 터치 스크린(190)을 포함할 수 있다.

터치 스크린(190)은 전자 장치(100)의 운영체제(OS; Operation System)에 기초하여, 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영)에 대응되는 사용자 인터페이스를 디스플레이할 수 있다. 터치 스크린(190)은 사용자 그래픽 인터페이스에 입력되는 적어도 하나의 사용자 입력에 대응되는 아날로그 신호를 터치 스크린 컨트롤러(195)로 출력할 수 있다. 터치 스크린(190)은 사용자의 신체(예를 들어, 검지를 포함하는 손가락) 를 통해 적어도 하나의 사용자 입력을 수신할 수 있다. 터치 스크린(190)은 하나의 터치의 연속적인 움직임을 수신할 수도 있다. 터치 스크린(190)은 입력되는 터치의 연속적인 움직임에 대응되는 아날로그 신호를 터치 스크린 컨트롤러(195)로 출력할 수 있다.

본 발명에서 터치는 터치 스크린(190)과 손가락 등의 사용자 입력 수단과의 접촉에 한정되지 않고, 비접촉(예를 들어, 터치 스크린(190)과의 직접 접촉 없이 사용자 입력 수단을 검출할 수 있는 인식 거리(예를 들어, 1cm) 이내에 사용자 입력 수단이 위치하는 경우)을 포함할 수 있다. 터치 스크린(190)에서 사용자 입력 수단을 인식할 수 있는 거리 또는 간격은 전자 장치(100)의 성능 또는 구조에 따라 변경될 수 있으며, 특히 터치 스크린(190)은 사용자 입력 수단과의 접촉에 의한 직접 터치 이벤트와, 간접 터치 이벤트(즉, 호버링 이벤트)를 구분하여 검출 가능하도록, 상기 직접 터치 이벤트와 호버링 이벤트에 의해 검출되는 값(예컨대, 아날로그 값으로 전압 값 또는 전류 값을 포함)이 다르게 출력될 수 있도록 구성될 수 있다.

이러한, 터치 스크린(190)은 예를 들어, 정전용량(capacitive) 방식, 적외선(infrared) 방식, 초음파(acoustic wave) 방식, 또는 이들의 조합으로 구현될 수 있다.

터치 스크린 컨트롤러(195)는 터치 스크린(190)으로부터 입력된 아날로그 신호를 디지털 신호로 변환하여 제어부(110)로 전송한다. 제어부(110)는 터치 스크린 컨트롤러(195)부터 수신한 디지털 신호를 이용하여 터치 스크린(190)에 표시되는 유저 인터페이스를 제어할 수 있다. 예를 들어, 제어부(110)는 직접 터치 이벤트 또는 호버링 이벤트에 응답하여 터치 스크린(190)에 표시된 단축 아이콘(도시되지 아니함) 또는 객체가 선택 또는 실행되도록 할 수 있다. 또한, 터치 스크린 컨트롤러(195)는 제어부(110)에 통합될 수도 있다.

터치 스크린 컨트롤러(195)는 터치 스크린(190)을 통해 출력되는 값(예컨대, 전류값 등)을 검출하여 사용자 입력 위치뿐만 아니라 호버링 간격 또는 거리를 확인할 수 있고, 확인된 거리 값을 디지털 신호(예컨대, Z좌표)로 변환하여 제어부(110)로 제공할 수도 있다. 또한, 제어부(110)는 상기 터치 스크린(190)뿐만 아니라 이미지 센서 모듈(150), 입/출력 모듈(160), 및 센서모듈(170) 등을 통해 수신되는 다양한 사용자 입력을 검출할 수 있다. 상기 사용자 입력은 상기 터치뿐만 아니라, 사용자의 제스처(gesture), 음성, 눈동자 움직임, 생체신호 등 상기 장치(100) 내로 입력되는 다양한 형태의 정보를 포함할 수 있다. 제어부(110)는 상기 검출된 사용자 입력에 대응하는 미리 정해진 동작 또는 기능이 전자 장치(100) 내에서 수행되도록 제어할 수 있다.

도 2는 본 발명의 실시 예에 따른 전자 장치의 전면 사시도를 나타낸 도면이고, 도 3은 본 발명의 실시 예에 따른 전자 장치의 후면 사시도를 나타낸 도면이다.

도 2 및 도 3을 참조하면, 전자 장치(100)의 전면(101) 중앙에는 터치 스크린(190)이 배치된다. 터치 스크린(190)은 전자 장치(100)의 전면(101)의 대부분을 차지하도록 크게 형성될 수 있다. 도 2에서는, 상기 터치 스크린(190)에 메인 홈 화면이 표시된 예를 나타낸다. 메인 홈 화면은 전자 장치(100)의 전원을 켰을 때 터치 스크린(190) 상에 표시되는 첫 화면이다. 또한, 전자 장치(100)가 여러 페이지의 서로 다른 홈 화면들을 가질 경우, 메인 홈 화면은 상기 여러 페이지의 홈 화면들 중 첫 번째 홈 화면일 수 있다. 홈 화면에는 자주 사용되는 어플리케이션들을 실행하기 위한 단축 아이콘들(191-1, 191-2, 191-3), 메인 메뉴 전환키(191-4), 시간, 날씨 등이 표시될 수 있다.

상기 터치 스크린(190)의 하부에는 홈 버튼(161a), 메뉴 버튼(161b), 및 뒤로 가기 버튼(161c)이 형성될 수 있다.

홈 버튼(161a)은 터치 스크린(190)에 메인 홈 화면(main Home screen)을 표시한다. 메뉴 버튼(161b)은 터치 스크린(190) 상에 표시될 수 있는 연결 메뉴를 제공한다. 상기 연결 메뉴에는 위젯 추가 메뉴, 배경화면 변경 메뉴, 검색 메뉴, 편집 메뉴, 환경 설정 메뉴 등이 포함될 수 있다. 뒤로 가기 버튼(161c)은 현재 실행되고 있는 화면의 바로 이전에 실행되었던 화면을 표시하거나, 가장 최근에 사용된 어플리케이션을 종료시키는 경우에 사용될 수 있다.

전자 장치(100)의 전면(101)의 가장자리에는 제1 이미지 센서(151)와 조도 센서(170a) 및 근접 센서(170b)가 배치될 수 있다. 전자 장치(100)의 후면(103)에는 제2 이미지 센서(152), 플래시(flash, 153), 스피커(163)가 배치될 수 있다. 전자 장치(100)의 측면(102)에는 예를 들어 전원/잠금 버튼(161d), 볼륨 버튼(161e), 하나 또는 복수의 마이크들(162) 등이 배치될 수 있다.

한편, 전술한 도 1에서는 2개의 이미지 센서(151, 152)를 예시하나, 서로 다른 위치에 둘 이상의 이미지 센서가 장착될 수도 있음은 물론이다. 이에 따라 복수개의 이미지 센서를 통해 촬영된 각각의 이미지들을 합성하여 하나의 합성 이미지로 만드는 과정에 있어, 본 발명이 동일하게 적용될 수 있다. 즉, 제1이미지 센서(151)를 통해 촬영된 이미지들 중 하나의 이미지를 선택하고, 제2이미지 센서(152)를 통해 촬영된 이미지들 중 하나의 이미지를 선택하며, 제3이미지 센서(도시하지 않음)를 통해 촬영된 이미지들 중에서도 하나의 이미지를 선택한 후, 선택된 각각의 이미지를 합성하여 하나의 합성 이미지로 만들 수도 있다. 다만, 이하의 설명에서는 설명의 편의를 위하여 제1이미지 센서(151) 및 제2이미지 센서(152)를 이용하는 경우를 예로 들어 설명한다.

본 발명은 제2 이미지 센서(152)에 의해 촬영된 후방 이미지에 제1 이미지 센서(151)에 의해 촬영된 전방 이미지를 합성한 이미지를 제공한다. 후방은 전자 장치(100)의 후면과 대면하는 방향이고, 전방은 전자 장치(100)의 전면과 대면하는 방향이며, 전방은 일 방향을 나타내고, 후방은 일 방향에 반대인 방향을 나타낸다. 즉, 제1이미지 센서(151)는 사용자의 모습을 촬영할 수 있도록 구성될 수 있으며, 제2이미지 센서(152)는 촬영 대상인 피사체 또는 사용자가 바라보는 방향의 전경을 촬영하도록 구성될 수 있다.

제어부(110)는 전자 장치(100)의 전반적인 동작을 제어하며, 제어부(110)는 전자 장치(100) 내 다른 구성 소자들을 제어하여 합성 이미지를 프리뷰하는 방법을 수행한다. 특히 제어부(110)는 전자 장치(100)에 장착된 제1이미지 센서(151)룰 제어하여 사용자를 촬영하여 얻어지는 전체 픽셀 영역 중에서 실제 사용자의 일부 예컨대, 얼굴, 손 등이 포함되는 관심 픽셀 영역을 설정하여, 그 관심 픽셀 영역의 이미지가 제1이미지 센서(151)로부터 출력되도록 제어하며, 제2이미지 센서(152)를 제어하여 피사체 촬영으로부터 얻어진 후방 이미지가 상기 제2이미지 센서(152)로부터 출력되도록 제어하여, 상기 후방 이미지와 상기 관심 픽셀 영역의 이미지를 합성한 이미지를 생성하기 위한 동작을 제어하는 기능을 수행한다. 여기서, 본 발명에 따르면, 제1이미지 센서(151)에서는 촬영된 전방 이미지를 그대로 출력하는 것이 아닌 관심 픽셀 영역에 해당하는 이미지를 출력하므로, 그 관심 픽셀 영역의 이미지는 제1이미지 센서(151)의 전체 픽셀 영역의 이미지의 크기보다 작다.

본 발명을 설명하기에 앞서, 본 발명에서 이용되는 듀얼 샷(shot)과 베스트 샷(shot)을 간략하게 살펴보면 다음과 같다.

듀얼 샷(dual shot)은 서로 다른 위치의 이미지 센서를 이용하여 두 영상을 동시 또는 순차 촬영하고 두 영상을 하나의 영상으로 합성하는 기능을 의미하며, 베스트 샷(best shot)은 정지영상 촬영 시 다수의 영상을 연속 촬영하고, 미리 정해진 분류 기준에 따라 최적의 영상 하나를 선택하는 기능을 의미한다. 여기서, 미리 정해진 분류 기준은 영상 내 블러(blur)의 양, 인물의 표정, 촬영 구도 등을 각각 수치화한 값을 나타낸다.

본 발명에서 이용되는 듀얼 샷 모드를 구체적으로 설명하기 위해 도 4를 참조한다. 도 4는 본 발명의 실시 예에 따른 전자 장치의 듀얼 이미지 센서를 이용하여 피사체를 촬영하는 경우를 예시한 도면이다.

도 4를 참조하면, 제1이미지 센서(151) 및 제2이미지 센서(152)를 통해 동시 또는 시차를 두고 촬영을 할 경우 예를 들면, 사용자가 제2이미지 센서(152)를 이용하여 피사체(400)를 촬영하는 경우 제2이미지 센서(152)의 화각 내에 피사체(400)가 들어올 수 있도록 제2이미지 센서(152)의 방향을 조절해야 하며, 이와 동시에 사용자는 제1이미지 센서(151)를 이용하여 사용자 자신의 얼굴(405)이 원하는 위치에 표시되도록 자세를 조정하거나 이동하게 된다. 하지만 본 발명에서는 촬영이 시작되면 사용자의 얼굴(405)을 먼저 인식하여 인식된 얼굴을 포함하는 영역의 이미지에 대한 프리뷰 화면을 출력하므로, 사용자가 자세를 조정하지 않아도 되므로 손쉽게 촬영 여부를 결정할 수 있다. 이와 같이 본 발명은 제1이미지 센서(151)에 의해 촬영된 정지 이미지 내에서 사용자 얼굴 영역을 추출한 후 추출된 영역을 후방 이미지에 합성하는 것이 아닌, 프레임 단위로 사용자 얼굴을 포함하는 일정 크기의 이미지를 출력하여 이를 후방 이미지에 합성한 이미지를 실시간으로 출력하는 것이다. 이에 따라 사용자는 실제 사진을 찍기 전에 실시간으로 사용자 얼굴 부분만이 추적되어 표시되는 프리뷰 화면을 통해 자신의 얼굴을 손쉽게 확인할 수 있게 된다.

본 발명에서는 이러한 듀얼 샷 모드에서 제1이미지 센서(151) 및 제2이미지 센서(152)를 통해 각각 실시간으로 수신되는 또는 시간차를 가지고 수신되는 제1프리뷰 이미지 및 제2프리뷰 이미지를 한 화면에 표시하며, 이러한 프리뷰 이미지들이 출력되는 화면을 통해 사용자는 언제 사진을 찍을지를 결정할 수 있다. 여기서, 프리뷰 이미지들이 출력되는 화면의 구성 예는 PIP 형태로 구성될 수 있으며, 다르게는 사용자에 의해 지정된 위치 및 크기로 제1 및 제2이미지 센서(151, 152)를 통해 수신되는 프리뷰 이미지들 예컨대, 전후방 프리뷰 이미지들이 표시될 수 있다.

제1이미지 센서(151)를 통해 수신되는 프리뷰 이미지의 해상도는 제2이미지 센서(152)를 통해 수신되는 프리뷰 이미지의 해상도와 다르게 출력될 수 있다. 즉, 제2이미지 센서(152)의 이미지 해상도는 제1이미지 센서(151)의 이미지 해상도보다 클 수 있다. 이때, 본 발명의 실시 예에서는 제1이미지 센서(151)로부터 출력되는 이미지가 그대로 터치스크린(190) 상에 표시되도록 하는 것이 아니라, 후방 이미지와 합성하기 이전에 얼굴 검출을 통해 제1이미지 센서(151)로부터 사용자 얼굴만을 포함하는 이미지를 출력하도록 상기 제1이미지 센서(151)를 제어하는 것이다. 이에 따라 후방 이미지와 사용자 얼굴만을 포함하는 이미지를 하나의 이미지로 생성하는 데 있어, 기존의 사용자 얼굴이 포함된 전체 픽셀 정보가 아닌 사용자 얼굴만을 포함하는 줄어든 크기의 이미지에 대한 픽셀 정보만을 처리하면 되므로 이미지 처리에 따른 계산량이 현저히 줄어들게 되어 소비 전력도 줄일 수 있는 효과가 있다.

도 5는 본 발명의 실시 예에 따른 복수의 이미지 프리뷰를 위한 상세 블록도이다. 도 1에 도시된 전자 장치(100)는 이미지 신호 프로세서(image signal processor: ISP, 156)를 더 포함할 수 있다.

이미지 신호 프로세서(156)는 이미지 센서 모듈(150)에 의해 촬영되는 실시간 이미지를 수신하며, 이미지 신호 프로세서(156)는 이미지를 터치 스크린(190)의 화면 특성(크기, 화질, 해상도 등) 또는 다른 디스플레이 유닛의 화면 특성에 맞도록 처리(즉, 고화질 이미지로 변환)하고, 고화질 이미지를 터치 스크린(190)으로 출력한다. 즉, 상기 제1이미지 센서(151)에 의해 촬영되는 이미지 및 상기 제2이미지 센서(152)에 의해 촬영되는 이미지에 대한 처리를 수행한다. 이러한 이미지 처리 기능의 예로, 감마교정, 인터폴레이션, 공간적 변화, 이미지 효과, 이미지 스케일, AWB, AE, AF등과 같은 기능이 해당된다.

터치 스크린(190)은 이미지 신호 프로세서(156)로부터 수신한 고화질 이미지를 화면에 표시한다.

제어부(110)는 이러한 이미지 처리가 수행될 수 있도록 이미지 센서 모듈(150) 및/또는 이미지 신호 프로세서(156)를 제어한다.

구체적으로, 이미지 센서 어플리케이션이 실행되면 제1이미지 센서(151)가 구동되어, 제1이미지 센서(151)의 이미지 센서를 구성하는 복수의 픽셀들로부터 출력되는 이미지 신호(500)가 이미지 신호 프로세서(156)로 출력된다. 그러면 이미지 신호 프로세서(156)는 전체 픽셀 영역에 해당하는 이미지 신호(500)를 프레임 단위로 일정 규격의 이미지를 생성하기 위한 신호 처리를 수행한다. 이때, 이미지 신호 프로세서(156)에서 출력되는 전체 픽셀 정보는 특정 피사체 예컨대, 사용자의 얼굴, 손 등의 신체 일부를 검출하여 인식하는 것을 목표로 하기 때문에, 피사체의 검출 및 인식이 용이하게 실시될 수 있는 정도로 처리되는 것이 바람직하다. 즉, 터치 스크린(190)의 화면 특성에 맞도록 고화질 이미지로 변환하지 않고 단지 저화질 이미지에서도 피사체의 검출 및 인식만 가능하다면 그 저화질 이미지를 생성하기 위한 정도의 처리만 수행되어도 된다.

그러면 제어부(110)는 이미지 신호 프로세서(156)로부터 그 처리된 전체 픽셀 정보를 제공받는다. 이에 따라 제어부(110)는 그 전체 픽셀 중에서 피사체를 중심으로 하는 일정 크기의 이미지를 생성하기 위해 일부 픽셀들을 이용하여 관심 픽셀로 지정한다.

본 발명에서는 인식된 피사체만을 포함하는 이미지를 생성할 때 이용되는 픽셀을 관심 픽셀이라고 정의하며, 관심 픽셀로 지정되는 픽셀들의 수는 전방 이미지를 생성할 때 필요한 전체 픽셀들의 수보다는 작으며 그 피사체를 둘러쌀 수 있는 정도의 픽셀들의 수 이상이 된다. 예를 들어, 제어부(110)에 의한 피사체 인식에 따라 결정되는 관심 픽셀의 이미지의 크기는 얼굴을 포함하는 최소한의 사각형 크기(510)에 해당하는 크기를 가지게 된다.

여기서, 제어부(110)는 전방 이미지에 해당하는 전체 픽셀 정보를 분석하여 후방 이미지에 중첩되기에 적합한 관심 픽셀 영역을 설정할 수 있다. 구체적으로 제어부(110)는 전방 이미지에 해당하는 전체 픽셀 정보의 특징점들을 이용하여 피사체를 인식하고, 그 피사체를 포함하는 영역을 관심 픽셀 영역으로 설정한다.

여기서, 특징점들은 이미지 패턴일 수 있으며, 제어부(110)는 데이터베이스로 미리 저장된 얼굴, 손 등의 이미지 패턴들과 같은 학습된 정보에 근거하여 관심 픽셀 영역을 설정할 수 있다. 이와 같이 제어부(110)는 전체 픽셀 영역에서 피사체에 해당하는 관심 픽셀 영역을 설정하기 위해 얼굴 검출 알고리즘 등 복수개의 학습 모델 알고리즘을 기반으로 피사체를 인식할 수 있다.

이에 따라 제어부(110)는 전체 픽셀 정보의 특징점들을 이용하여 피사체를 인식하게 되면, 그 피사체의 위치에 해당하는 정보를 토대로 한 제어 신호를 제1이미지 센서(151)로 보내서 그 제1이미지 센서(151)를 제어한다. 이에 따라 제1이미지 센서(151)에서는 피사체의 위치에 해당하는 정보 즉, 관심 픽셀에 대해서만 신호를 출력하여, 관심 픽셀의 이미지 신호(510)가 이미지 신호 프로세서(156)로 전달된다. 이때, 본 발명에서는 피사체 인식 후 추적을 통해 실시간으로 프리뷰 화면을 표시하기 위해 제1이미지 센서(151)의 전체 픽셀 영역 중 상기 피사체의 위치 변화가 감지되는지를 판단한다. 만일 피사체의 위치 변화가 감지되면 위치 변화된 피사체가 포함되도록 상기 관심 픽셀을 수정한다. 이에 따라 수정된 관심 픽셀을 토대로 제어 신호를 제1이미지 센서(151)로 보내서 그 제1이미지 센서(151)가 상기 수정된 관심 픽셀의 이미지만을 출력하도록 제어한다.

그러면, 이미지 신호 프로세서(156)는 자동으로, 또는 사용자 입력에 따라 관심 픽셀의 이미지(510)를 후방 이미지(505)에 중첩시킴으로써 후방 이미지(505)에 피사체를 포함하는 이미지(510)의 합성 이미지(515)를 생성한다. 여기서, 이미지 신호 프로세서(156)는 촬영 모드가 합성 모드일 경우에는 후방 이미지(505)의 미리 정해진 위치 또는 사용자에 의해 지정된 위치에 관심 픽셀의 이미지(510)를 위치시켜 두 이미지들을 합성한다. 이때, 이미지 신호 프로세서(156)는 후방 이미지(505)에 중첩시킬 관심 픽셀의 이미지(510)의 크기를 그 후방 이미지(505)의 크기, 후방 이미지(505) 내에 존재하는 피사체 등을 고려하여 조절할 수 있다. 관심 픽셀의 이미지(510)는 투명하거나 불투명하게 후방 이미지(505)에 중첩될 수 있다. 즉, 관심 픽셀의 이미지(510)는 그 중첩 위치의 후방 이미지(505) 부분이 보이지 않도록 중첩되거나(즉, 불투명 중첩), 관심 픽셀의 이미지(510)는 그 중첩 위치의 후방 이미지(505) 부분이 겹쳐서 보이도록 중첩될 수도 있다(즉, 투명 중첩)

상기와 같이 제어부(110)는 제1 및 제2이미지 센서(151, 152)로부터 실시간으로 동시에 또는 시간차를 두고 피사체를 촬영하도록 제어할 수 있다. 이때, 본 방법은 순차로 입력 또는 독취되는 실시간 이미지 또는 실시간 이미지 프레임들에 대해 적용된다.

터치스크린(190)은 생성된 합성 이미지(515)를 표시한다. 이를 위해 이미지 신호 프로세서(156)는 후방 이미지(505) 및 피사체를 포함하는 이미지(510)를 합성할 때, 터치스크린(190)의 특성 및 크기에 맞춰 합성 이미지(515)를 터치스크린(190)으로 출력한다.

이때, 사용자가 순차 촬영의 명령을 내렸을 경우 제2이미지 센서(152)에 의해 입사되는 피사체를 먼저 촬영한 후 미리 설정된 시간이 경과한 후에 제1이미지 센서(151)에 의해 입사되는 피사체를 촬영하도록 설정할 수 있다.

도 6은 본 발명의 실시 예에 따른 이미지 프리뷰 방법을 설명하기 위한 도면이다.

도 6(a)는 제2이미지 센서(152)의 화각 내에서 촬영 가능한 피사체를 예시하며, 도 6(b)는 제1이미지 센서(151)의 화각 내에서 촬영 가능한 피사체를 예시하고 있다. 사용자가 이미지 센서 어플리케이션을 실행하면, 제2이미지 센서(152)에 의해서는 도 6(a)에서와 같은 후방 이미지(600)가 촬영될 수 있다. 즉, 도 6(a)에서는 제2이미지 센서(152)에 입사되어 촬영된 피사체의 이미지를 예시하고 있다.

반면, 도 6(b)에서는 제1이미지 센서(151)에 입사되는 피사체의 이미지(605)를 예시하며, 상기 피사체의 이미지(605)는 도 5의 제1이미지 센서(151)로부터 출력되어 이미지 신호 프로세서(156)를 통해 제어부(110)로 전달되는 전체 픽셀로부터 출력되는 이미지 신호(500)에 해당한다. 구체적으로, 전체 픽셀의 이미지(605)가 도 6(a)에서와 같다고 가정하면, 제어부(110)는 전체 픽셀의 이미지 프레임(605)에 대하여 얼굴이 인식되는지의 여부를 판단한다. 만일 얼굴이 인식되면 그 인식된 얼굴을 기준으로 일정 크기의 픽셀들로 이루어진 영역(610)을 정하여 이를 제1이미지 센서(151)에 전달한다. 그러면 제1이미지 센서(151)에서는 인식된 얼굴 영역에 해당하는 픽셀들로부터 신호를 출력하여 이를 이미지 신호 프로세서(156)로 전달하며, 이미지 신호 프로세서(156)에서는 그 일부 픽셀의 이미지(610)를 출력하게 된다.

이에 따라 이미지 신호 프로세서(156)는 도 6(c)에서와 같이 후방 이미지(600)에 인식된 얼굴 영역의 이미지(620)를 위치시킨 하나의 이미지(615)를 생성한다. 이와 같이 얼굴 영역의 이미지(620)는 그 얼굴을 중심으로 하는 일정 크기의 픽셀 영역의 크기를 가진다. 또한, 후방 이미지(600)에 인식된 얼굴 영역의 이미지(620)를 위치시킬 때 미리 정해진 위치에 PIP 방식으로 합성시켜 한 화면에 표시할 수 있다.

이에 따라 터치스크린(190) 상에는 도 6(c)에서와 같이 합성 이미지에 대한 프리뷰가 보여질 수 있으며, 이러한 프리뷰 상태에서 촬영 신호가 입력되면, 상기 제2이미지 센서(152) 및 상기 제1이미지 센서(151)에 의해 각각 촬영되는 해당 촬영 시점의 후방 이미지 및 관심 픽셀 영역의 이미지를 각각 캡쳐하여 하나의 정지 이미지로 저장부(175)에 저장될 수 있다.

도 7은 본 발명의 실시 예에 따른 이미지 프리뷰 방법을 설명하기 위한 동작 흐름도이다.

도 7을 참조하면, 이미지 센서 애플리케이션이 실행되면 제어부(110)는 700단계에서 제1 및 제2이미지 센서(151, 152)를 구동한다. 이에 따라 제1 및 제2이미지 센서(151, 152)를 통해 각각 동시에 또는 시간차를 가지고 실시간으로 제1 및 제2이미지를 생성하기 위한 픽셀 정보를 이미지 신호 프로세서(156)로 전달한다. 이에 따라 제어부(110)는 이미지 신호 프로세서(156)로부터 제1이미지 센서(151)에 의한 전체 픽셀의 이미지인 제1이미지를 전달받아, 그 제1이미지에서 피사체의 존재 여부를 분석한다. 이어, 제어부(110)는 710단계에서 제1이미지에서 예컨대, 사용자의 얼굴, 손 등에 해당하는 피사체가 존재하는지를 판단한다. 본 발명의 실시 예에서는 전방 이미지에서 사용자의 얼굴, 손 등을 피사체라고 정의하나, 사용자가 전자 장치(100)를 사용자 얼굴을 비켜서 전방의 다른 사물, 건물을 촬영하는 경우에는 사용자의 신체 일부에 해당하는 피사체가 촬영되지 않을 수 있다.

이에 따라 만일 피사체가 존재하지 않는다고 판단되면, 제1이미지에서의 특징점들을 기반으로 건물, 사물, 물체의 일 표면에 해당하는 특징점들을 찾아 그 특징점들이 분포된 영역을 이용하여 미리 학습된 물체에 해당하는 영역이라고 설정할 수 있다. 이에 따라 제어부(110)는 720단계에서 미리 학습된 물체에 해당하는 영역을 포함하는 미리 정해진 크기의 제3이미지를 출력한다. 이에 따라 사용자의 신체 일부에 해당하는 것이 아닌 미리 학습된 물체 예컨대, 건물, 동물, 사물 등에 해당하는 이미지가 출력될 수 있다. 이를 위해 제어부(110)는 미리 학습된 물체에 대한 정보를 데이터베이스 예컨대, 저장부(175)에 저장하고 있고, 제1이미지에서 학습된 물체에 해당하는 영역을 관심 픽셀 영역으로 설정할 수 있다.

반면, 피사체가 존재한다고 판단되면 그 피사체를 중심으로 일정 크기의 픽셀들에 해당하는 영역을 관심 픽셀 영역으로 설정할 수 있다. 이에 따라 제어부(110)는 715단계에서 그 피사체를 포함하는 미리 정해진 크기의 제3이미지를 출력한 후, 자동으로, 또는 사용자 입력에 따라 725단계에서 후방 이미지인 제2이미지 및 피사체만을 포함하는 제3이미지를 합성 후 표시한다.

이에 따라 사용자는 제1이미지 센서(151)를 통해 수신되는 전방 이미지 전체가 아닌 예컨대, 사용자의 신체 일부만을 포함하는 이미지를 프리뷰할 수 있으며, 이와 동시에 제2이미지 센서(152)를 통해 수신되는 후방 이미지 예컨대, 외부 피사체에 대한 이미지를 프리뷰할 수 있다. 이와 같이 프리뷰 이미지들이 출력되는 화면을 통해 사용자는 언제 사진을 찍을지를 결정할 수 있다. 이러한 프리뷰 이미지들이 출력되는 상태에서 제어부(110)는 촬영 신호가 입력되면, 제1 및 제2이미지 센서(151, 152)를 통해 연속 촬영되는 전방의 사용자 신체 일부를 포함하는 이미지 및 후방 이미지들을 저장하게 된다.

전술한 예들에서, 제1 이미지 센서는 전방 이미지 센서로, 제2 이미지 센서는 후방 이미지 센서로, 전방 이미지는 제1 이미지로, 후방 이미지는 제2 이미지로 기술할 수도 있다.

또한, 전술한 예들에서, 화면을 표시하는 디스플레이부(display unit)의 대표적인 예로 터치스크린을 예시하고 있으나, 터치스크린 대신에 터치 감지 기능이 없는 액정표시장치(Liquid Crystal Display: LCD), 유기발광다이오드(Organic Light Emitting Diodes: OLED), LED 등과 같은 통상의 디스플레이부를 사용할 수도 있다.

본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 전자 장치 내에 포함될 수 있는 저장부는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.

또한, 상기 전자 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법을 수행하도록 하는 지시들을 포함하는 프로그램 등을 저장하기 위한 메모리와, 상기 전자 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 전자 장치의 요청 또는 자동으로 해당 프로그램을 상기 전자 장치로 전송하는 제어부를 포함할 수 있다.

상술한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 여러 가지 변형이 본 발명의 범위에서 벗어나지 않고 실시할 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위의 균등한 것에 의해 정해져야 한다.

Claims

촬영되는 이미지들을 프리뷰하기 위한 전자 장치에 있어서,
전방을 촬영하는 제1이미지 센서와,
후방을 촬영하는 제2이미지 센서와,
상기 제1이미지 센서에 의해 촬영되는 이미지 및 상기 제2이미지 센서에 의해 촬영되는 이미지에 대한 처리를 수행하는 이미지 신호 프로세서와,
상기 제1이미지 센서의 전체 픽셀 영역 중 피사체 인식에 따라 결정되는 관심 픽셀 영역을 설정하고, 상기 제1이미지 센서가 상기 관심 픽셀 영역의 이미지만을 출력하도록 제어하고, 상기 이미지 신호 프로세서에서 상기 후방 이미지에 상기 관심 픽셀 영역의 이미지를 위치시킨 하나의 이미지를 생성하도록 제어하는 제어부와,
상기 하나의 이미지에 대한 프리뷰를 출력하는 디스플레이부를 포함함을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 전자 장치.
제1항에 있어서, 상기 제어부는,
상기 전체 픽셀 영역 내에서 상기 피사체가 존재하는지를 판단하고, 상기 피사체가 존재한다고 판단되면, 상기 전체 픽셀 영역 중 상기 피사체를 포함하는 일부의 픽셀 영역을 상기 관심 픽셀 영역으로 설정함을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 전자 장치.
제2항에 있어서, 상기 제어부는,
상기 피사체를 중심으로 하는 일정 크기의 픽셀 영역을 상기 관심 픽셀 영역으로 설정함을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 전자 장치.
제2항에 있어서, 상기 제어부는,
얼굴 검출 알고리즘을 기반으로 상기 전체 픽셀 영역 내에서 상기 피사체가 존재하는지를 판단함을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 전자 장치.
제1항에 있어서, 상기 이미지 신호 프로세서는,
상기 후방 이미지에 상기 관심 픽셀 영역의 이미지를 미리 정해진 위치에 PIP(Picture In Picture) 방식으로 합성시킨 상기 하나의 이미지를 생성함을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 전자 장치.
제1항에 있어서, 상기 관심 픽셀 영역의 이미지는,
상기 제1이미지 센서의 전체 픽셀 영역의 이미지보다 크기가 작음을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 전자 장치.
제1항에 있어서, 제2이미지 센서는,
상기 제어부의 제어 하에 상기 관심 픽셀 영역에 대한 정보를 기반으로 상기 관심 픽셀 영역의 이미지를 상기 이미지 신호 프로세서로 전달함을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 전자 장치.
제1항에 있어서, 상기 후방 이미지 및 상기 관심 픽셀 영역의 이미지는,
상기 제2이미지 센서 및 상기 제1이미지 센서 각각에 의해 실시간으로 촬영되어 상기 디스플레이부상에 프리뷰되는 것임을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 전자 장치.
제1항에 있어서, 상기 제어부는,
상기 디스플레이부 상에 상기 하나의 이미지가 프리뷰되는 상태에서 촬영 신호가 입력되면, 상기 제2이미지 센서 및 상기 제1이미지 센서에 의해 각각 촬영되는 촬영 시점의 후방 이미지 및 관심 픽셀 영역의 이미지를 각각 캡쳐하여 하나의 정지 이미지로 저장부에 저장함을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 전자 장치.
제1항에 있어서, 상기 제어부는,
상기 제1이미지 센서의 전체 픽셀 영역에서 상기 피사체의 위치 변화를 감지하면, 상기 변화된 피사체가 포함되도록 상기 관심 픽셀 영역을 수정하며, 상기 제1이미지 센서가 상기 수정된 관심 픽셀 영역의 이미지만을 출력하도록 제어함을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 전자 장치.
제1이미지 센서 및 제2이미지 센서를 구비하는 전자 장치에서 촬영된 이미지들을 프리뷰하기 위한 방법에 있어서,
상기 제1이미지 센서의 전체 픽셀 영역에서 피사체를 인식하는 동작과,
상기 전체 픽셀 영역에서 피사체 인식에 따라 결정되는 관심 픽셀 영역을 설정하는 동작과,
상기 제1이미지 센서로부터 상기 관심 픽셀 영역의 이미지가 출력되도록 제어하는 동작과,
상기 제1이미지 센서로부터 상기 관심 픽셀 영역의 이미지가 출력되면, 상기 제2이미지 센서로부터 출력되는 후방 이미지에 상기 관심 픽셀 영역의 이미지를 위치시킨 하나의 이미지를 생성하는 동작과,
상기 하나의 이미지에 대한 프리뷰를 수행하는 동작을 포함함을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 방법.
제11항에 있어서, 상기 관심 픽셀 영역의 이미지는,
상기 제1이미지 센서의 전체 픽셀 영역의 이미지보다 크기가 작음을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 방법.
제11항에 있어서, 상기 관심 픽셀 영역을 설정하는 동작은,
상기 전체 픽셀 영역 내에서 상기 피사체가 존재하는지를 판단하는 동작과,
상기 피사체가 존재한다고 판단되면, 상기 전체 픽셀 영역 중 상기 피사체를 포함하는 일부의 픽셀 영역을 지정하는 동작을 포함함을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 방법.
제13항에 있어서, 상기 관심 픽셀 영역은,
상기 피사체를 중심으로 하는 일정 크기의 픽셀 영역인 것을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 방법.
제13항에 있어서, 상기 피사체가 존재하는지를 판단하는 동작은,
얼굴 검출 알고리즘에 근거하여 인식하는 동작임을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 방법.
제15항에 있어서, 상기 관심 픽셀 영역은,
상기 얼굴 검출 알고리즘에 의해 인식된 얼굴 영역을 포함하는 일정 크기의 영역인 것을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 방법.
제13항에 있어서, 상기 하나의 이미지는,
상기 후방 이미지에 상기 관심 픽셀 영역의 이미지를 미리 정해진 위치에 PIP(Picture In Picture) 방식으로 합성시킨 이미지인 것을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 방법.
제11항에 있어서, 상기 후방 이미지 및 상기 관심 픽셀 영역의 이미지는,
상기 제2이미지 센서 및 상기 제1이미지 센서 각각에 의해 실시간으로 촬영되어 프리뷰되는 것임을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 방법.
제11항에 있어서,
상기 하나의 이미지가 프리뷰되는 상태에서 촬영 신호 입력 시 상기 제2이미지 센서 및 상기 제1이미지 센서 각각에 의해 촬영되는 촬영 시점의 후방 이미지 및 관심 픽셀 영역의 이미지를 각각 캡쳐하는 동작과,
상기 캡처된 이미지들로 구성된 상기 하나의 이미지를 저장하는 동작을 더 포함함을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 방법.
제11항에 있어서,
상기 제1이미지 센서의 전체 픽셀 영역에서 상기 피사체의 위치 변화를 감지하는 동작과,
상기 위치 변화가 감지되면, 상기 변화된 피사체가 포함되도록 상기 관심 픽셀 영역을 수정하는 동작과,
상기 제1이미지 센서로부터 상기 수정된 관심 픽셀 영역의 이미지가 출력되면, 상기 제2이미지 센서로부터 출력되는 후방 이미지에 상기 수정된 관심 픽셀 영역의 이미지를 중첩시켜 표시하는 동작을 더 포함함을 특징으로 하는 촬영된 이미지들을 프리뷰하기 위한 방법.