KR20200101230A

KR20200101230A - 구도를 추천하기 위한 전자 장치 및 그의 동작 방법

Info

Publication number: KR20200101230A
Application number: KR1020190019561A
Authority: KR
Inventors: 윤성욱; 이서영; 김세훈; 최대웅; 손병준; 안성주; 오양근; 홍태화; 박지윤
Original assignee: 삼성전자주식회사
Priority date: 2019-02-19
Filing date: 2019-02-19
Publication date: 2020-08-27
Also published as: US20230319396A1; US11671701B2; US20200267313A1; WO2020171512A1; US11128795B2; KR102665654B1; US20220006951A1

Abstract

본 개시의 다양한 실시 예들은, 카메라의 프리뷰 화면을 사용자에게 제공하는 도중 최적의 구도를 사용자에게 추천하기 위한 전자 장치 및 그의 동작 방법에 관한 것이다.
본 개시의 다양한 실시 예들에 따른 전자 장치는 디스플레이, 이미지 센서, 상기 디스플레이 및 이미지 센서와 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는 상기 디스플레이에 표시된 상기 이미지 센서의 프리뷰 화면 내 지정된 위치에 제1 인디케이터를 표시하고, 상기 프리뷰 화면에서 타겟을 식별하고, 상기 식별된 타겟을 포함하는 복수의 후보 타겟 영역들에 부여되는 미학적 스코어(aesthetic score)에 기반하여, 상기 복수의 후보 타겟 영역들 중에서, 상기 식별된 타겟에 대응하는 타겟 영역을 식별하고, 상기 식별된 타겟 영역에 대응하는 제2 인디케이터를 표시하고, 상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동되는 경우, 지정된 시점의 프리뷰 화면에 대응하는 사진 이미지(photographing image)를 생성하도록 설정될 수 있다.
그 외에도 다양한 실시 예들이 가능하다.

Description

구도를 추천하기 위한 전자 장치 및 그의 동작 방법{ELECTRONIC DEVICE FOR RECOMMENDING COMPOSITION AND OPERATING METHOD THEREOF}

본 개시의 다양한 실시 예들은, 카메라의 프리뷰 화면을 사용자에게 제공하는 도중 최적의 구도를 사용자에게 추천하기 위한 전자 장치 및 그의 동작 방법에 관한 것이다.

스마트 폰과 같은 휴대용 전자 장치는 전화 통화, 문자 발신 등과 같은 기본적인 서비스에 국한되지 않고, 사진 촬영, 멀티미디어 재생, 금융 서비스 등과 같은 다양하고 복잡한 서비스들을 제공할 수 있다. 특히, 휴대용 전자 장치는 사용자의 입력에 따라 다양한 종류의 사진 이미지(예: 스틸 이미지 또는 무빙 이미지, 파노라마 이미지)를 촬영할 수 있다. 휴대용 전자 장치는 사용자에게 촬영을 가이드하기 위한 다양한 부가 정보를, 사진 이미지를 촬영하기 전(예를 들어 프리뷰 화면에 중첩하여), 사용자에게 제공할 수 있다.

촬영을 가이드하기 위한 다양한 부가 정보를 제공하는 예로서, 전자 장치는 프리뷰 화면 상에 포함된 이미지로부터 특징 요소들을 검출한 후, 검출된 이미지의 특정 요소를 다르게 배치하여 구도를 추천하거나, 프리뷰 화면의 중심 위치를 목표 위치(target position)로 이동할 것을 가이드하는 유저 인터페이스를 제공할 수 있다. 그러나, 알려진 구도 추천 방식은 프리뷰 이미지의 구도가, 특정한 구도에 대응하는 경우(예를 들어, 미리 설정되어 저장된 구도와 기준 범위 이상 유사할 때)에만 활용될 수 있다는 단점이 있으며, 알려진 가이드 유저 인터페이스 제공 방식은, 실제 촬영 시나리오를 고려하지 않아 사용자의 실제 의도와 다르게 동작할 수 있다(예를 들어, 사용자의 실제 의도와 다르게, 가이드를 제공하거나, 가이드 제공을 유지)는 단점이 있다.

본 개시의 다양한 실시 예들에 따른 전자 장치는 디스플레이, 이미지 센서, 상기 디스플레이 및 이미지 센서와 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는 상기 디스플레이에 표시된 상기 이미지 센서의 프리뷰 화면 내 지정된 위치에 제1 인디케이터를 표시하고, 상기 프리뷰 화면에서 타겟을 식별하고, 상기 식별된 타겟을 포함하는 복수의 후보 타겟 영역들에 부여되는 미학적 스코어(aesthetic score)에 기반하여, 상기 복수의 후보 타겟 영역들 중에서, 상기 식별된 타겟에 대응하는 타겟 영역을 식별하고, 상기 식별된 타겟 영역에 대응하는 제2 인디케이터를 표시하고, 상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동되는 경우, 지정된 시점의 프리뷰 화면에 대응하는 사진 이미지(photographing image)를 생성하도록 설정될 수 있다.

본 개시의 다양한 실시 예들에 따른 이미지 센서 및 디스플레이를 포함하는 전자 장치의 동작 방법은, 상기 디스플레이에 표시된 상기 이미지 센서의 프리뷰 화면 내 지정된 위치에 제1 인디케이터를 표시하는 동작, 상기 프리뷰 화면에서 타겟을 식별하는 동작, 상기 식별된 타겟을 포함하는 복수의 후보 타겟 영역들에 부여되는 미학적 스코어에 기반하여, 상기 복수의 후보 타겟 영역들 중에서, 상기 식별된 타겟에 대응하는 타겟 영역을 식별하는 동작, 상기 식별된 타겟 영역에 대응하는 제2 인디케이터를 표시하는 동작, 상기 제1 인디케이터가 상기 화면의 지정된 위치에 이동되는 경우, 지정된 시점의 프리뷰 화면에 대응하는 사진 이미지를 생성하는 동작을 포함할 수 있다.

다양한 실시 예들에 따른 전자 장치 및 그의 동작 방법은, 프리뷰 화면 이미지에 포함된 객체들의 배치가 미리 지정된 배치에 대응하지 않더라도, 가장 적합한 구도를 사용자에게 제공할 수 있다.

또한, 다양한 실시 예들에 따른 전자 장치 및 그의 동작 방법은, 프리뷰 화면에서 촬영 대상을 담는 프레이밍에서부터 실제 촬영에 이르기까지 각 단계에서 사용자의 의도에 적합한 가이드를 제공할 수 있다.

도 1은, 본 개시의 다양한 실시 예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는, 다양한 실시예들에 따른, 카메라 모듈을 예시하는 블록도이다.
도 3은 본 개시의 다양한 실시 예들을 설명하기 위한 전자 장치의 블록도이다.
도 4는 본 개시의 다양한 실시 예들에 따른 전자 장치의 동작을 나타낸 흐름도이다.
도 5는 본 개시의 다양한 실시 예들에 따른 사용자의 촬영 의도를 파악하기 위한 전자 장치의 동작을 나타낸 흐름도이다.
도 6은 본 개시의 다양한 실시 예들에 따른 얼굴 위치 기반 추천 구도를 제공하기 위한 전자 장치의 동작을 나타낸 흐름도이다.
도 7은, 본 개시의 다양한 실시 예들에 따른 인물 전신 위치 기반 추천 구도를 제공하기 위한 전자 장치의 동작을 나타낸 흐름도이다.
도 8은, 본 개시의 다양한 실시 예들에 따른 타겟 영역을 식별하기 위한 전자 장치의 동작을 나타낸 흐름도이다.
도 9는 본 개시의 다양한 실시 예들에 따른 타겟 영역을 식별하기 위한 전자 장치의 동작을 설명하기 위한 도면이다.
도 10은 본 개시의 다양한 실시 예들에 따른 사진 이미지를 생성하기 위한 전자 장치의 동작을 나타낸 흐름도이다.
도 11은 본 개시의 다양한 실시 예들에 따른, 사진 이미지를 생성하기 위한 전자 장치의 동작을 설명하기 위한 도면이다.
도 12은 본 개시의 다양한 실시 예들에 따라 전자 장치의 기울기를 나타내는 인디케이터를 표시하기 위한 전자 장치의 동작을 나타낸 흐름도이다.
도 13은 본 개시의 다양한 실시 예들에 따라 전자 장치의 수평 상태와 연관된 인디케이터를 표시하기 위한 전자 장치의 동작을 나타낸 흐름도이다.
도 14는 본 개시의 다양한 실시 예들에 따른, 사진 이미지를 생성하기 위한 전자 장치의 동작을 설명하기 위한 도면이다.
도 15는 본 개시의 다양한 실시 예들에 따른, 가이드 취소 의도가 인식되는지를 판단하기 위한 전자 장치의 동작을 나타낸 흐름도이다.
도 16는 본 개시의 다양한 실시 예들에 따른, 추천 구도 가이드를 다시 제공하기 위한 전자 장치의 동작을 나타낸 흐름도이다.
도 17은 본 개시의 다양한 실시 예들에 따른, 사진 이미지를 생성하기 위한 전자 장치의 동작을 설명하기 위한 도면이다.
도 18은 본 개시의 다양한 실시 예들에 따라 전자 장치의 수평 상태와 연관된 인디케이터를 표시하기 위한 전자 장치의 동작을 설명하기 위한 도면이다.

도 1은, 본 개시의 다양한 실시 예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다

프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)은 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.

보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.

메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.

프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.

입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)은, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.

음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.

표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.

오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150) 를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.

센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.

인터페이스(177)는 전자 장치(101)이 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.

연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.

햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.

카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.

전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.

배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.

통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.

안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 하나 이상의 안테나들을 포함할 수 있고, 이로부터, 제 1 네트워크 198 또는 제 2 네트워크 199와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다.

상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.

일 실시 예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, or 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다.. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.

본 문서에 발명된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.

본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.

본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.

본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

도 2는, 다양한 실시예들에 따른, 카메라 모듈(180)을 예시하는 블럭도(200)이다. 도 2를 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(260)를 포함할 수 있다. 렌즈 어셈블리(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)를 형성할 수 있다. 복수의 렌즈 어셈블리(210)들 중 일부는 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 다른 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.

플래쉬(220)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 일실시예에 따르면, 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다. 이미지 센서(230)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(210) 를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일실시예에 따르면, 이미지 센서(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용하여 구현될 수 있다.

이미지 스태빌라이저(240)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(230)를 특정한 방향으로 움직이거나 이미지 센서(230)의 동작 특성을 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 이는 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향의 적어도 일부를 보상하게 해 준다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 일실시예에 따르면, 이미지 스태빌라이저(240)은 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(180) 또는 전자 장치(101)의 그런 움직임을 감지할 수 있다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있다. 메모리(250)는 이미지 센서(230)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 또는 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(260)에 의해 획득되어 처리될 수 있다. 일실시예에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.

이미지 시그널 프로세서(260)는 이미지 센서(230)을 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 상기 하나 이상의 이미지 처리들은, 예를 들면, 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening)을 포함할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(260)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장 되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 표시 장치(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 제공될 수 있다. 일실시예에 따르면, 이미지 시그널 프로세서(260)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(260)이 프로세서(120)과 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(260)에 의해 처리된 적어도 하나의 이미지는 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(160)를 통해 표시될 수 있다.

일실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다. 유사하게, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 전면 카메라이고, 적어도 다른 하나는 후면 카메라일 수 있다.

도 3은 본 개시의 다양한 실시 예들을 설명하기 위한 전자 장치의 블록도이다.

도 3를 참고할 때, 전자 장치(101)는 프로세서(120), 메모리(130), 표시 장치(160), 카메라 모듈(180), 모션 센서(360)를 포함할 수 있다.

일 실시 예에서, 메모리(130)는 본 개시의 다양한 실시 예들을 실시하기 위한 명령어(혹은 명령어들의 집합, 또는 어플리케이션)를 저장할 수 있다. 일 실시 예에서, 메모리(130)는 본 개시의 다양한 실시 예들을 실시하기 위한 임계 값 정보를 저장할 수 있다. 일 실시 예에서, 메모리(130)는 본 개시의 다양한 실시 예들을 실시하기 위한 통계 모델 혹은 통계 엔진(예를 들어, 머신 러닝 모델)에 대한 정보를 저장할 수 있다.

일 실시 예에서, 표시 장치(160)는 카메라 모듈(180, 혹은 이미지 센서)의 프리뷰 화면을 표시할 수 있다. 표시 장치(160)는 카메라 모듈(180)로부터 획득되는 복수의 이미지 프레임들에 기반하여 프리뷰 화면을 표시할 수 있다. 표시 장치(160)에 표시되는 프리뷰 화면은 주기적으로 갱신될 수 있다. 일 실시 예에서, 표시 장치(160)는 프리뷰 화면에 중첩하여, 구도를 추천하기 위한 다양한 사용자 인터페이스(예: 인디케이터)를 표시할 수 있다. 예를 들어, 표시 장치(160)는 프리뷰 화면에 중첩하여, 프리뷰 화면의 특정 위치, 혹은 지정된 위치(예: 프리뷰 화면의 중심)을 나타내는 인디케이터를 표시할 수 있다.

일 실시 예에서, 카메라 모듈(180)은 복수의 이미지 프레임들을 획득할 수 있다. 획득한 복수의 이미지 프레임들은 프리뷰 화면을 갱신하거나, 사진 이미지를 생성하는 데 이용될 수 있다.

일 실시 예에서, 모션 센서(360)는 전자 장치(101)의 움직임과 관련된 센싱 데이터를 획득할 수 있다. 모션 센서(360)는 도 1에 개시된 센서 모듈(176)에 대응할 수 있다. 예를 들어, 모션 센서(360)는 전자 장치(101)의 이동과 관련된 센싱 데이터를 획득할 수 있다. 다른 예를 들어, 모션 센서(360)는 전자 장치(101)의 회전 혹은 틸팅과 관련된 센싱 데이터를 획득할 수 있다.

일 실시 예에서, 프로세서(120)는 촬영 의도 파악 모듈(310), 최적 구도 결정 모듈(320), 가이드 제공 모듈(330), 트래킹 모듈(340), 사진 이미지 생성 모듈(350)을 포함할 수 있다. 프로세서(120)는 촬영 의도 파악 모듈(310), 최적 구도 결정 모듈(320), 가이드 제공 모듈(330), 트래킹 모듈(340), 사진 이미지 생성 모듈(350) 각각에 지정된 적어도 하나의 기능 또는 동작을 수행하기 위한 명령 혹은 데이터를 메모리(130, 예: 휘발성 메모리(132))에 로드하고, 로드된 명령 혹은 데이터를 처리할 수 있다. 프로세서(120)는 메모리(130), 표시 장치(160), 카메라 모듈(180), 모션 센서(360)와 작동적 혹은 전기적으로 연결되어, 데이터 혹은 신호를 주고받을 수 있다.

일 실시 예에서, 촬영 의도 파악 모듈(310)은 사용자의 촬영 의도를 파악할 수 있다. 일 실시 예에서, 촬영 의도는, 현재 프리뷰 화면에 표시된 이미지를 사진 이미지로 획득하고자 하는 사용자 의도, 다시 말해서 촬영 의도는 촬영 아이콘을 누르기 직전의 사용자 의도에 대응할 수 있다.

일 실시 예에서, 촬영 의도 파악 모듈(310)은 전자 장치(101)에 설치된 카메라 어플리케이션의 구동(및 카메라 모듈(180)의 활성화) 후, 동작할 수 있다. 예를 들어, 촬영 의도 파악 모듈(310)은 표시 장치(160)에 카메라 모듈(180)의 프리뷰 화면이 표시됨에 응답하여, 동작할 수 있다.

일 실시 예에서, 촬영 의도 파악 모듈(310)은 촬영 의도를 파악하기 위하여, 전자 장치(101)가 안정된 상황에 있는지 여부를 확인할 수 있다. 촬영 의도 파악 모듈(310)은 전자 장치(101)가 안정된 상황에 있는지 여부를 확인하기 위하여, 카메라 모듈(180)을 통해 획득되는 복수의 이미지 프레임들 혹은 모션 센서(360)를 통해 획득되는 센싱 정보를 이용할 수 있다.

일 실시 예에서, 촬영 의도 파악 모듈(310)은 카메라 모듈(180)을 통해 획득되는 복수의 이미지 프레임들에 대한 정보(예: 오토 포커스 정보)에 기반하여, 사용자의 촬영 의도를 파악할 수 있다. 예를 들어, 촬영 의도 파악 모듈(310)은 카메라 모듈(180)을 통해 획득되는 복수의 이미지 프레임들 중에, 오토 포커스가 맞는 연속된 프레임의 수가, 제1 임계 값 이상인지 여부를 확인할 수 있다. 일 실시 예에서, 촬영 의도 파악 모듈(310)은 제2 임계 값 이하의 밝기 차이를 가지는 연속된 프레임의 수가, 제3 임계 값 이상인지 여부를 확인할 수 있다.

일 실시 예에서, 촬영 의도 파악 모듈(310)은, 전자 장치(101)의 움직임과 관련된 센싱 정보(예: 가속도 센서의 센싱 정보)에 기반하여 사용자의 촬영 의도를 파악할 수 있다. 예를 들어, 촬영 의도 파악 모듈(310)은, 전자 장치(101)의 이동과 관련된 모션 센서(360)의 센싱 정보가 제4 임계 값 이하로, 제5 임계 값의 시간 동안 유지되는지 여부를 확인할 수 있다.

일 실시 예에서, 촬영 의도 파악 모듈(310)은 카메라 모듈(180)을 통해 획득되는 복수의 이미지 프레임들에 대한 정보 및 전자 장치(101)의 움직임과 관련된 센싱 정보에 모두 기반하여, 사용자의 촬영 의도를 파악할 수 있다.

일 실시 예에서, 최적 구도 결정 모듈(320)은 프리뷰 화면에 포함된 적어도 하나의 객체에 대한 최적의 구도를 결정할 수 있다. 일 실시 예에서, 최적 구도 결정 모듈(320)은 프리뷰 화면에 포함된 적어도 하나의 객체의 종류에 따라, 최적의 구도를 결정하는데 사용되는 기준을 달리 할 수 있다. 예를 들어, 프리뷰 화면에 사람의 얼굴이 한 개 존재하는 경우, 최적 구도 결정 모듈(320)은 사람의 얼굴에 기반한 최적 구도를 결정할 수 있다. 다른 예를 들어, 프리뷰 화면에 사람의 전신이 한 개 존재하는 경우, 최적 구도 결정 모듈(320)은 사람의 전신에 기반한 최적 구도를 결정할 수 있다. 또 다른 예를 들어, 프리뷰 화면에 사람이 포함되어 있지 않거나, 사람의 전신이 두 개 이상 존재하는 경우, 최적 구도 결정 모듈(320)은 복수의 영역들에 부여되는 미학적 스코어(aesthetic score)에 기반한 최적 구도를 결정할 수 있다. 또 다른 예를 들어, 복수의 영역들에 부여되는 미학적 스코어에 기반한 최적 구도가 적합하지 않다고 판단되는 경우, 최적 구도 결정 모듈(320)은 미리 결정된 정책(policy) 혹은 룰(rule)에 기반한 최적 구도를 결정할 수 있다.

일 실시 예에서, 가이드 제공 모듈(330)은 사용자에게 촬영을 가이드하기 위한(혹은 추천 구도를 제공하기 위한) 사용자 인터페이스(예: 인디케이터)를 표시하도록 표시 장치(160)를 제어할 수 있다. 예를 들어, 가이드 제공 모듈(330)은 프리뷰 화면에 표시된 특정한 객체에 대응하는 인디케이터(예: 제2 인디케이터)를 표시하도록 표시 장치(160)를 제어할 수 있다. 가이드 제공 모듈(330)은 상기 특정한 객체가 더 이상 프리뷰 화면에 표시되지 않는 경우, 상기 특정한 객체에 대응하는 인디케이터를 더 이상 표시하지 않도록 표시 장치(160)를 제어할 수도 있다. 다른 예를 들어, 가이드 제공 모듈(330)은 프리뷰 화면의 지정된 위치를 나타내는 인디케이터(예: 제1 인디케이터)를 표시하도록 표시 장치(160)를 제어할 수도 있다.

일 실시 예에서, 가이드 제공 모듈(330)은, 프리뷰 화면에 표시된 특정한 객체에 대응하는 인디케이터(예: 제2 인디케이터)를 표시함에 있어서, 프리뷰 화면 상 상기 특정한 객체의 표시 위치의 이동에 따라, 상기 인디케이터(예: 제2 인디케이터)의 표시 위치를 변경할 수 있다. 예를 들어, 전자 장치(101) 혹은 카메라 모듈(180)의 이동, 혹은 상기 특정한 객체에 대응하는 현실 객체(real object)의 이동에 따라 특정한 객체의 프리뷰 화면 상 표시 위치는 변경될 수 있으며, 이와 같은 표시 위치의 변경에 따라, 가이드 제공 모듈은 상기 인디케이터(예: 제2 인디케이터)의 표시 위치를 변경할 수 있다.

일 실시 예에서, 가이드 제공 모듈(330)은, 제2 인디케이터를 표시함과 동시에, 제2 인디케이터의 의미를 명확하게 전달하기 위하여, 제2 인디케이터 아래에 "best shot" 혹은 "best composition" 과 같은 메시지를 표시할 수 있다.

일 실시 예에서 가이드 제공 모듈(330)은 제1 인디케이터 및 제2 인디케이터의 적어도 하나의 표시 특성을 변경할 수 있다. 예를 들어, 제2 인디케이터의 표시 위치의 변경에 따라, 가이드 제공 모듈(330)은 제2 인디케이터의 표시 특성을 변경할 수 있다. 구체적인 예를 들어, 제2 인디케이터가 제1 인디케이터와 가까워질수록, 제2 인디케이터를 이전보다 상대적으로 강조하여 표시할 수 있다(예를 들어, 색깔을 변경하거나 명도 혹은 투명도를 진하게 변경). 다른 예를 들어, 새로운 추천 구도를 분석해야할 필요성이 있을 때(예를 들어, 프리뷰 화면의 심한 변동이 감지되거나 전자 장치(101)의 움직임이 지정된 값 이상 감지되는 경우), 가이드 제공 모듈(330)은 제1 인디케이터 혹은 제2 인디케이터의 적어도 하나의 표시 특성(예: 표시 유무, 표시 형태, 색깔, 애니메이션 효과의 유무)을 변경할 수 있다. 또 다른 예를 들어, 제1 인디케이터 혹은 제2 인디케이터가 프리뷰 화면에 포함된 사람의 얼굴, 혹은 주요 피사체들에 겹치는 경우, 가이드 제공 모듈(330)은 겹치는 인디케이터의 투명도 혹은 농도를 변경하거나, 표시 위치를 변경할 수 있다.

일 실시 예에서, 트래킹 모듈(340)은 프리뷰 화면에 표시된 특정한 객체에 대응하는 인디케이터(예: 제2 인디케이터), 혹은 상기 인디케이터가 화면의 지정된 위치로 이동되는지 여부를 추적(track)할 수 있다. 일 실시 예에서, 트래킹 모듈(340)는 카메라 모듈(180)로부터 획득되는 매 이미지 프레임마다, 상기 특정한 객체에 대응하는 인디케이터의 위치를 갱신함으로써, 상기 인디케이터가 화면의 지정된 위치로 이동되는지 여부를 추적할 수 있다. 일 실시 예에서, 트래킹 모듈(340)는 미리 결정된 트래킹 알고리즘을 이용하여, 상기 인디케이터를 추적할 수 있다. 일 실시 예에서, 트래킹 모듈(340)은 얼굴 관심 영역(face region of interest)을 이용하여, 상기 인디케이터를 추적할 수도 있다. 예를 들어, 트래킹 모듈은 도 6의 630동작에서 얼굴 위치 기반 추천 구도를 제공함에 있어서, 얼굴 관심 영역을 이용하여 상기 인디케이터를 추적할 수 있다.

일 실시 예에서, 사진 이미지 생성 모듈(350)은, 사진 이미지를 생성할 수 있다.

사진 이미지 생성 모듈(350)은 특정한 시점에 대응하는 사진 이미지를 생성할 수 있다. 사진 이미지 생성 모듈(350)은, 특정한 시점의 프리뷰 화면에 대응하는 사진 이미지를 생성할 수 있다. 사진 이미지 생성 모듈(180)은 프리뷰 화면보다 더 높은 화질(예: 고해상도)을 가지는 사진 이미지를 생성할 수 있다.

일 실시 예에서, 사진 이미지 생성 모듈(350)은 사용자 입력에 기반하여 사진 이미지를 생성할 수 있으며, 프리뷰 화면 상에 표시된 인디케이터와과 관련된 조건 및/또는 전자 장치(101)의 수평 상태(혹은 틸팅 상태)와 관련된 특정 조건이 만족되면, 사용자 입력이 없더라도 사진 이미지를 생성할 수 있다.

예를 들어, 사진 이미지 생성 모듈(350)은, 촬영 혹은 캡처를 위한 아이콘(예: 도 9a의 셔터 버튼(915))에 대한 사용자 입력에 기반하여(혹은, 사용자 입력에 응답하여) 사진 이미지를 생성할 수 있다.

다른 예를 들어, 프리뷰 화면에 표시된 특정한 객체에 대응하는 제2 인디케이터의 적어도 일부가, 프리뷰 화면의 지정된 위치를 나타내는 제1 인디케이터의 적어도 일부와 겹치는 경우, 사진 이미지 생성 모듈(350)은 촬영 혹은 캡처를 위한 아이콘에 대한 사용자 입력이 없더라도, 상기 인디케이터들의 겹치는 시점에 대응하는 사진 이미지를 생성할 수 있다.

또 다른 예를 들어, 프리뷰 화면에 표시된 특정한 객체에 대응하는 제2 인디케이터의 적어도 일부가, 프리뷰 화면에 지정된 위치를 나타내는 제1 인디케이터의 적어도 일부와 겹치고, 전자 장치(101)의 기준 축(예: 수직 축, 혹은 z축)으로부터 기준 방향(예: y축)으로 기울어진 각도가 지정된 범위 이내(예를 들어, -3도 내지 +3도)인 경우, 사진 이미지 생성 모듈(350)은 촬영 혹은 캡처를 위한 아이콘에 대한 사용자 입력이 없더라도, 상기 인디케이터들의 겹치는 시점, 혹은 전자 장치(101)의 기울어진 각도가 지정된 범위 이내로 진입하는 시점에 대응하는 사진 이미지를 생성할 수 있다.

도 4는 본 개시의 다양한 실시 예들에 따른 전자 장치의 동작을 나타낸 흐름도이다.

도 4에 개시된 적어도 하나의 동작은 전자 장치(101) 혹은 프로세서(120)에 의해 수행될 수 있다.

일 실시 예에서, 프로세서(120)는 410동작에서, 프리뷰 화면의 지정된 위치에 대응하는 제1 인디케이터를 표시할 수 있다. 이하, 프로세서의 표시 동작은, 프로세서(120)의 표시 장치(160)에 대한 제어 동작을 나타낼 수 있다. 예를 들어, 프로세서(120)는 프리뷰 화면의 지정된 위치에 대응하는 제1 인디케이터를 표시하도록 표시 장치(160)를 제어할 수 있다. 표시 장치(160)는 프리뷰 화면의 중앙에, 제1 인디케이터를 표시할 수 있다. 일 실시 예에서, 제1 인디케이터는, 전자 장치(101)의 이동과 무관하게, 항상 프리뷰 화면의 지정된 위치(예를 들어, 중앙)에 고정적으로 표시될 수 있다.

일 실시 예에서, 프로세서(120)는 420동작에서, 타겟을 식별할 수 있다. 프로세서(120)는 표시 장치(160)에 표시된 프리뷰 화면에 포함된 타겟을 식별할 수 있다. 프로세서(120)는 프리뷰 화면에 포함된 복수 개의 객체들 중에서, 타겟을 식별할 수 있다. 식별된 타겟은, 프리뷰 화면에 포함된 복수 개의 객체들 중 하나의 객체이거나, 둘 이상의 객체들의 조합일 수 있다.

예를 들어, 도 9a를 참고할 때, 프로세서(120)는 프리뷰 화면에 포함된 타겟(910)을 식별할 수 있다.

일 실시 예에서, 프로세서(120)는 복수 개의 객체들 중, 프리뷰 화면 내에서 차지하는 크기, 색채, 타입(혹은 복수의 타입에 부여되는 우선 순위), 기하학적 특성 중 적어도 하나에 기반하여 타겟을 식별할 수 있다. 예를 들어, 프로세서(120)는 복수 개의 객체들 중에서, 프리뷰 화면 내에서 가장 넓은 크기를 차지하는 객체에 기반하여 타겟을 식별할 수 있다. 다른 예를 들어, 프로세서(120)는 복수 개의 객체들 중에서, 다른 객체(혹은 배경)와 가장 두드러지는 색상 차이를 보이는 객체에 기반하여 타겟을 식별할 수 있다. 또 다른 예를 들어, 프로세서(120)는 복수 개의 객체들 중에서, 우선 순위가 가장 높은 종류(예: 사람)의 객체에 기반하여 타겟을 식별할 수 있다.

일 실시 예에서, 프로세서(120)는 430동작에서, 타겟 영역을 식별할 수 있다. 프로세서(120)는 식별된 타겟을 포함하는 복수의 타겟 후보 영역들 중에서, 하나의 타겟 영역을 식별할 수 있다. 예를 들어, 프로세서(120)는 복수의 타겟 후보 영역들에, 미리 결정된 기준에 따라 계산된 점수(score)를 부여하고, 부여된 점수에 기반하여 하나의 타겟 영역을 식별할 수 있다.

이 경우, 프로세서(120)는 타겟 영역을 식별하는 도중 혹은 타겟을 식별하는 도중, 제1 인디케이터를 깜박거리는 시각적 효과와 함께 표시하고, 타겟 영역의 식별이 완료된 경우에는 깜박거리는 시각적 효과를 제한할 수 있다.

일 실시 예에서, 프로세서(120)는 440동작에서, 타겟 영역에 대응하는 제2 인디케이터를 표시할 수 있다. 예를 들어, 표시 장치(160)는 320동작에서 식별된 타겟 영역의 중앙에, 제2 인디케이터를 표시할 수 있다. 일 실시 예에서, 제2 인디케이터의 표시 위치는, 전자 장치(101)의 이동에 따라, 프리뷰 화면 상에서 변경될 수 있다. 예를 들어, 전자 장치(101)가 오른쪽으로 이동되는 경우, 제2 인디케이터의 표시 위치는 프리뷰 화면 상 왼쪽으로 이동될 수 있다.

예를 들어, 도 11a를 참고할 때, 프로세서(120)는 타겟 영역(1125)에 대응하는 제2 인디케이터(1120) 및 프리뷰 화면의 지정된 위치에 대응하는 제1 인디케이터(1110)를 표시할 수 있다. 전자 장치(101)는 제1 인디케이터(1110) 및 제2 인디케이터(1120)를 표시함으로써, 제2 인디케이터(1120)를 화면의 지정된 위치(1110)로 이동하도록 가이드할 수 있다.

일 실시 예에서, 프로세서(120)는 제1 인디케이터와 동일한 기준선(상하 기준선 혹은 좌우 기준선 혹은 대각선) 상에 위치하도록 제2 인디케이터를 표시할 수도 있다. 일 실시 예에서, 프로세서(120)는 프리뷰 화면에 포함된 객체의 종류를 식별하고, 식별된 객체의 종류가 미리 결정된 조건을 만족하는 경우, 제1 인디케이터와 동일한 기준선상에 위치하도록 제2 인디케이터를 표시할 수 있다. 예를 들어, 프로세서(120)는 프리뷰 화면에 하늘이 식별되는 경우, 프리뷰 화면을 상하로 이등분하는 좌우 기준선 상에 위치하도록 제2 인디케이터를 표시할 수 있다. 이 경우, 프로세서(120)는 제2 인디케이터가 오직 좌우 기준선을 따라서 이동하도록 가이드할 수 있으며, 만약 제2 인디케이터가 상하 방향으로 이동되는 경우에는 제2 인디케이터의 크기를 감소시키거나 지정된 효과의 알림(예를 들어, 진동 효과)을 사용자에게 제공할 수 있다. 프로세서(120)는 프리뷰 화면에 사람의 전신이 식별되는 경우, 프리뷰 화면을 상하로 이등분하는 좌우 기준선 상에 위치하도록 제2 인디케이터를 표시할 수 있으며, 이 경우, 제2 인디케이터는 오직 좌우 기준선을 따라서만 이동하도록 가이드될 수 있다. 제2 인디케이터가 좌우 기준선을 따라서만 이동하도록 가이드하는 이유는, 상하 방향으로 제2 인디케이터가 이동되면, 식별된 사람의 얼굴이나 발의 표시가 프리뷰 화면 상에서 제한될 가능성이 있기 때문이다.

일 실시 예에서, 프리뷰 화면에 포함된 객체의 종류를 식별함에 있어, 프로세서(120)는 머신 러닝에 기반한 객체 검출 모델을 활용할 수 있으며, 상기 객체 검출 모델은 440동작 혹은 도 7의 710동작에서 활용될 수 있다.

미도시되었지만, 프로세서(120)는 타겟 영역이 식별됨에 응답하여 제1 인디케이터 및 제2 인디케이터를 표시할 수도 있다.

일 실시 예에서, 프로세서(120)는 450동작에서, 사진 이미지를 생성할 수 있다.

일 실시 예에서, 프로세서(120)는 촬영 혹은 캡처를 위한 아이콘에 대한 사용자 입력에 기반하여, 사진 이미지를 생성할 수 있다. 프로세서(120)는 표시 장치(160)에 표시된 제1 인디케이터의 적어도 일부가, 제2 인디케이터의 적어도 일부와 겹치는 경우, 사용자에게 현재 구도로 사진을 촬영할 것을 제안 혹은 가이드 하는 제3 인디케이터를 표시할 수 있으며, 제3 인디케이터가 표시된 후 촬영 혹은 캡처를 위한 아이콘에 대한 사용자 입력의 수신에 기반하여 사진 이미지를 생성할 수 있다.

다른 실시 예를 들어, 촬영 혹은 캡처를 위한 아이콘에 대한 사용자 입력이 없더라도, 프리뷰 화면 상에 표시된 인디케이터와 관련된 조건이 만족되면, 사진 이미지를 생성할 수 있다. 예를 들어, 표시 장치(160)에 표시된 제1 인디케이터의 적어도 일부가, 제2 인디케이터의 적어도 일부와 겹치는 경우, 프로세서(120)는 촬영 혹은 캡처를 위한 아이콘에 대한 사용자 입력이 없더라도, 제1 인디케이터의 적어도 일부가 제2 인디케이터의 적어도 일부와 겹치는 시점에 기반하여 사진 이미지를 생성할 수 있다. 다른 예를 들어, 제1 인디케이터의 적어도 일부가, 제2 인디케이터의 적어도 일부와 겹치는 경우, 프로세서(120)는 사진 촬영을 위해 확인할 필요가 있는, 카메라와 관련된 다른 조건들(예: 오토 포커스, 프리뷰 화면의 평균 밝기 등)들을 확인하고, 상기 확인 결과에 따라 사진 이미지를 생성할 수도 있다. 예를 들어, 오토 포커스 및 프리뷰 화면의 평균 밝기가 지정된 조건을 충족하는 경우, 프로세서(120)는 제1 인디케이터의 적어도 일부가 제2 인디케이터의 적어도 일부와 겹치는 시점, 혹은 상기 조건들이 확인된 시점에 기반하여 사진 이미지를 생성할 수 있다. 다른 예를 들어, 오토 포커스 및 프리뷰 화면의 평균 밝기 중 적어도 하나가 지정된 조건을 충족하지 않는 경우, 프로세서(120)는 사진 이미지를 생성하지 않거나, 지정된 조건을 충족하기 위하여 카메라 설정 값을 자동으로 변경한 후, 카메라 설정 값의 변경 시점에 기반하여 사진 이미지를 생성할 수도 있다.

일 실시 예에서, 프로세서(120)는 사진 이미지를 생성하기 전, 사진 이미지를 생성할 것임을 사용자에게 알리는 메시지를 출력할 수 있다. 예를 들어, 제1 인디케이터의 적어도 일부가 제2 인디케이터의 적어도 일부와 겹치는 경우, 프로세서(120)는 현재 구도가 최적 구도에 해당함을 알리는 메시지를 표시할 수 있다.

일 실시 예에서, 프로세서(120)는 사진 이미지를 생성한 후, 제1 인디케이터, 제2 인디케이터 혹은 제3 인디케이터(도 10에서 후술)의 표시를 제한할 수 있다.

도 5는 본 개시의 다양한 실시 예들에 따른 사용자의 촬영 의도를 파악하기 위한 전자 장치의 동작을 나타낸 흐름도이다.

일 실시 예에서, 도 5에 개시된 적어도 하나의 동작은, 410동작이 수행되기 전 수행될 수 있다.

일 실시 예에서, 프로세서(120)는 510동작에서, 오토 포커스가 맞는 연속된 이미지 프레임의 개수가 제1 임계 값 이상인지 여부를 확인할 수 있다. 프로세서(120)는 카메라 모듈(180)로부터 획득되는 복수의 이미지 프레임들 중에서, 오토 포커스가 맞는 연속된 이미지 프레임의 개수가 제1 임계 값 이상인지 여부를 확인할 수 있다. 일 실시 예에서 촬영 의도는, 현재 프리뷰 화면에 표시된 이미지를 사진 이미지로 획득하고자 하는 사용자 의도를 나타내므로, 우선적으로, 오토 포커스가 맞는 이미지 프레임이 연속하여 획득되는지 여부를 확인될 필요가 있기 때문이다.

일 실시 예에서, 프로세서(120)는 오토 포커스가 맞는 이미지 프레임들이 제1 임계 값 이상의 시간 동안 연속하여 획득되는지 여부를 확인할 수도 있다.

오토 포커스가 맞는 연속된 이미지 프레임의 개수가 제1 임계 값 이상이라면(510동작에서 네), 프로세서(120)는 520동작을 수행할 수 있다. 오토 포커스가 맞는 연속된 이미지 프레임의 개수가 제1 임계 값 미만이라면(510동작에서 아니오), 프로세서(120)는 510동작을 다시 수행할 수 있다.

일 실시 예에서, 프로세서(120)는 520동작에서, 제2 임계 값 이하의 밝기 차이를 가지는 연속된 이미지 프레임의 개수가 제3 임계 값 이상인지 여부를 확인할 수 있다. 프로세서(120)는 프리뷰 화면(혹은 프리뷰 화면에 대응하는 이미지 프레임)의 평균 밝기 정보를 이용할 수 있다. 일 실시 예에서, 프로세서(120)는 510동작에서 확인한, 오토 포커스가 맞는 연속된 이미지 프레임들을 대상으로, 520동작을 수행할 수도 있고, 510동작에서 확인한 이미지 프레임들보다 이후에 획득된 이미지 프레임들을 대상으로, 520동작을 수행할 수도 있다.

제2 임계 값 이하의 밝기 차이를 가지는 연속된 이미지 프레임들의 개수가 제3 임계 값 이상이라면(520동작에서 네), 프로세서(120)는 530동작을 수행할 수 있다. 제2 임계 값 이하의 밝기 차이를 가지는 연속된 이미지 프레임들의 개수가 제3 임계 값 미만이라면(520동작에서 아니오), 프로세서(120)는 510동작을 다시 수행할 수 있다.

일 실시 예에서, 프로세서(120)는 530동작에서, 모션 센서(예: 도 3의 모션 센서(360))의 센서 데이터가 제4 임계 값 이하로 제5 임계 값 이상의 시간 동안 유지되는지 여부를 확인할 수 있다. 일 실시 예에서, 모션 센서의 센서 데이터는 전자 장치(101)의 이동량을 나타내는 센서 데이터(예: 가속도 센서 데이터)일 수 있다.

모션 센서의 센서 데이터가 제4 임계 값 이하로 제5 임계 값 이상의 시간 동안 유지되는 경우, 프로세서(120)는 610동작을 수행할 수 있다. 모션 센서의 센서 데이터가 제4 임계 값 이하로 제5 임계 값 이상의 시간 동안 유지되지 않는 경우, 프로세서(120)는 510동작을 다시 수행할 수 있다.

도 5에 개시된 실시 예를 통하여, 프로세서(120)는 전자 장치(101)가 지정된 시간 동안 안정(stable)한 상태로 유지되고 있는지 여부를 확인할 수 있다. 상기 지정된 시간 동안, 오토 포커스가 맞는 연속하는 이미지 프레임들이 획득되고, 획득된 이미지 프레임들의 평균 밝기 차이는 제2 임계 값 이하일 수 있으며, 모션 센서의 센서 데이터가 제4 임계 값 이하로 유지될 수 있다.

도 6은 본 개시의 다양한 실시 예들에 따른 얼굴 위치 기반 추천 구도를 제공하기 위한 전자 장치의 동작을 나타낸 흐름도이다.

일 실시 예에서, 도 6에 개시된 적어도 하나의 동작은 도 5에 개시된 적어도 하나의 동작이 수행된 후, 그리고 도 4의 410동작이 수행되기 전 수행될 수 있다.

일 실시 예에서, 프로세서(120)는 610동작에서, 프리뷰 화면 내에서 사람의 얼굴이 존재하는지 여부를 확인할 수 있다. 일 실시 예에서 프로세서(120)는 프리뷰 화면에 포함된 복수 개의 객체들 중, 윤곽선의 모양, 색채, 특징 요소들(예: 눈, 코, 입 등)의 배치 중 적어도 하나에 기반하여, 사람의 얼굴이 존재하는지 여부를 확인할 수 있다. 다른 실시 예에서, 프로세서(120)는 머신 러닝에 기반하여 훈련된 통계 모델에, 프리뷰 화면 이미지를 입력함으로써, 프리뷰 화면 내에 사람의 얼굴이 존재하는지 여부를 확인할 수 있다.

프리뷰 화면 내에 사람의 얼굴이 존재하지 않는 경우(610동작에서 아니오), 프로세서(120)는 710동작을 수행할 수 있다. 프리뷰 화면 내에 사람의 얼굴이 존재하는 경우(610동작에서 네), 프로세서(120)는 620동작을 수행할 수 있다.

일 실시 예에서, 프로세서(120)는 620동작에서, 사람의 얼굴의 개수가 지정된 범위에 포함되는지 여부를 확인할 수 있다. 프로세서(120)는 610동작에서 확인된 사람의 얼굴의 개수가 지정된 범위에 포함되는지 여부를 확인할 수 있다. 예를 들어, 지정된 범위는 1개 내지 3개 일 수 있다.

사람의 얼굴의 개수가 지정된 범위에 포함되지 않을 경우, 프로세서(120)는 710동작을 수행할 수 있다.

사람의 얼굴의 개수가 지정된 범위에 포함될 경우, 프로세서(120)는 630동작에서, 얼굴 위치 기반 추천 구도를 제공할 수 있다. 프로세서(120)는 사람 얼굴 혹은 사람의 얼굴들이, 프리뷰 화면의 지정된 위치에 위치하도록 하는 추천 구도를 제공할 수 있다. 프로세서(120)는 사람 얼굴의 크기에 기반하여 프리뷰 화면의 지정된 위치를 결정할 수 있다. 사람의 얼굴이 1개인 경우, 프로세서(120)는 얼굴이 바라보고 있는 방향에 기반하여, 프리뷰 화면의 지정된 위치를 결정할 수도 있다. 예를 들어, 사람의 얼굴이 왼쪽을 바라보고 있는 경우, 프로세서(120)는 사람의 얼굴이 프리뷰 화면의 우측 영역에 위치하도록 하는 추천 구도를 제공할 수 있다.

일 실시 예에서, 프로세서(120)는 추천 구도를 제공함에 있어서, 화살표 혹은 추천 이동 궤적을 프리뷰 화면 상에 표시할 수 있다.

일 실시 예에서, 프로세서(120)는 640동작에서 사진 이미지를 생성할 수 있다. 예를 들어, 프로세서(120)는, 얼굴 위치에 기반하여 추천 구도를 제공한 후, 제공된 추천 구도에 따라 전자 장치(101)를 이동시키는 사용자 입력에 응답하여 사진 이미지를 생성할 수 있다. 다른 예를 들어, 프로세서(120)는 제공된 추천 구도에 따라 전자 장치(101)를 이동시키는 사용자 입력 및 촬영 혹은 캡처를 위한 아이콘에 대한 사용자 입력에 응답하여 사진 이미지를 생성할 수 있다.

도 7은, 본 개시의 다양한 실시 예들에 따른 인물 전신 위치 기반 추천 구도를 제공하기 위한 전자 장치의 동작을 나타낸 흐름도이다.

일 실시 예에서, 도 7에 개시된 적어도 하나의 동작은 도 6에 개시된 적어도 하나의 동작이 수행된 후, 그리고 도 4의 410동작이 수행되기 전 수행될 수 있다.

일 실시 예에서, 프로세서(120)는 710동작에서, 인물의 전신이 검출되는지 여부를 확인할 수 있다. 일 실시 예에서, 프로세서(120)는 프리뷰 화면에서 사람의 얼굴이 존재하지 않거나 사람의 얼굴의 개수가 지정된 범위(예: 1개 내지 3개)에 해당하지 않는 경우, 프리뷰 화면에서 인물의 전신이 검출되는지 여부를 확인할 수 있다. 인물의 전신이 검출되는지 여부를 확인함에 있어서, 프로세서(120)는 머신 러닝에 기반한 객체 검출 모델(혹은 객체 검출 엔진)을 활용할 수 있다. 또한, 프로세서(120)는 머신 러닝에 기반한 객체 검출 모델의 검출 결과에 따라 추천 구도를 제공할 수 있다. 미도시되었지만, 인물의 전신이 검출되지 않더라도, 머신 러닝에 기반한 객체 검출 모델을 통해 검출된 객체의 종류에 따라, 검출된 객체에 특화된 추천 구도를 제공할 수 있다.

일 실시 예에서, 프로세서(120)는 지정된 크기 이상의 인물의 전신이 검출되는지 여부를 확인할 수도 있다. 프로세서(120)는 지정된 크기 이상의 인물의 전신이 검출되는 경우에만 720동작을 수행할 수 있다. 프로세서(120)는 지정된 크기 이상의 인물의 전신이 검출되는지 여부를 확인함으로써, 프리뷰 화면에서 메인 피사체(main subject)가 인물 전신인지 여부를 확인할 수 있다.

일 실시 예에서, 프로세서(120)는 720동작에서, 인물 전신의 위치 기반한 추천 구도를 제공할 수 있다. 프로세서(120)는 인물의 전신이 프리뷰 화면의 지정된 위치에 위치하도록 하는 추천 구도를 제공할 수 있다. 프로세서(120)는 인물의 전신의 크기, 인물의 숫자에 기반하여, 프리뷰 화면의 지정된 위치를 결정할 수 있다.

일 실시 예에서, 프로세서(120)는 제공된 추천 구도를 보정할 수 있다. 예를 들어, 프로세서(120)는 인물의 머리, 혹은 손이나 발이 잘리지 않도록, 프리뷰 화면의 지정된 위치에 위치하도록, 제공된 추천 구도를 보정할 수 있다.

일 실시 예에서, 프로세서(120)는 머신 러닝에 기반한 객체 검출 모델을 통해 검출된 객체의 종류에 따라, 추천 구도의 제공 동작 또는 제공된 추천 구도의 보정 동작을 생략하거나 바이패스(bypass)할 수도 있다.

일 실시 예에서, 프로세서(120)는 730동작에서, 사진 이미지를 생성할 수 있다. 예를 들어, 프로세서(120)는, 인물 전신의 위치에 기반하여 추천 구도를 제공한 후, 제공된 추천 구도에 따라 전자 장치(101)를 이동시키는 사용자 입력에 응답하여 사진 이미지를 생성할 수 있다.

도 8은, 본 개시의 다양한 실시 예들에 따른 타겟 영역을 식별하기 위한 전자 장치의 동작을 나타낸 흐름도이다.

일 실시 예에서, 도 8에 개시된 적어도 하나의 동작은 도 4의 430동작의 세부 흐름도일 수 있다.

일 실시 예에서, 프로세서(120)는 810동작에서, 식별된 타겟을 포함하는 복수의 타겟 후보 영역들을 식별할 수 있다. 프로세서(120)는 식별된 타겟을 포함하는, 프리뷰 화면의 복수의 크롭된 영역들을, 복수의 타겟 후보 영역들로 식별할 수 있다.

예를 들어, 도 9b를 참고할 때, 프로세서(120)는 식별된 타겟(910)을 포함하는 복수의 타겟 후보 영역들(920a, 920b, 920c, 920d)을 식별할 수 있다.

일 실시 예에서, 프로세서(120)는 820동작에서, 식별된 복수의 타겟 후보 영역들에 대응하는 미학적 스코어(aesthetic score)들을 결정할 수 있다.

일 실시 예에서, 프로세서(120)는 머신 러닝에 기반하여 훈련된 통계 모델을 이용하여, 식별된 복수의 타겟 후보 영역들에 대응하는 미학적 스코어들을 결정할 수 있다. 예를 들어, 프로세서(120)는 최적 영역 검출 알고리즘(adjustment region detection algorithm)을 이용하여, 식별된 복수의 타겟 후보 영역들에 대응하는 미학적 스코어들을 결정할 수 있다.

일 실시 예에서, 머신 러닝에 기반하여 훈련된 통계 모델은 유저 데이터(예: 유저 선호도)에 기반하여 훈련될 수 있다.

일 실시 예에서, 프로세서(120)는 830동작에서, 최대 미학적 스코어가 임계 값 이상인지 여부를 확인할 수 있다. 예를 들어, 복수의 타겟 후보 영역들에 대응하는 미학적 스코어들 중에서 가장 높은 미학적 스코어가 임계 값 이상인지 여부를 확인할 수 있다.

최대 미학적 스코어가 임계 값 이상이 아닌 경우(830동작에서 예), 프로세서(120)는 840동작에서, 룰 기반 추천 구도를 제공할 수 있다. 예를 들어, 프로세서(120)는 프리뷰 화면 내에서 지배 선분(dominant line), 소실점(vanishing point), 돌출 영역(saliency region) 중 적어도 하나를 검출하고, 검출된 정보에 기반하여 추천 구도를 제공할 수 있다.

일 실시 예에서, 프로세서(120)는 850동작에서, 사진 이미지를 생성할 수 있다. 예를 들어, 룰 기반 추천 구도를 제공한 후, 프로세서(120)는 제공된 추천 구도에 따라 전자 장치(101)를 이동시키는 사용자 입력에 응답하여 사진 이미지를 생성할 수 있다.

최대 미학적 스코어가 임계 값 이상인 경우, 프로세서(120)는 860동작에서, 최대 심미 스코어에 대응하는 타겟 후보 영역을 타겟 영역으로 결정할 수 있다. 예를 들어, 도 9b를 참고할 때, 프로세서(120)는 복수의 타겟 후보 영역들(920a, 920b, 920c, 920d) 중에서, 하나의 타겟 후보 영역(920a)을 타겟 영역으로 결정할 수 있다.

일 실시 예에서, 미학적 스코어에 따른 영역 기반 추천 구도가 분석된 후 룰 기반 추천 구도(850동작)가 제공될 수 있으며, 미학적 스코어에 따른 영역 기반 추천 구도가 분석되기 전 얼굴 위치 기반 추천 구도(도 6), 인물 전신 위치 기반 추천 구도(도 7)가 제공될 수 있지만, 이러한 순서는 예시적인 것으로서, 본 개시의 권리범위를 제한하는 것은 아니며, 각각의 추천 구도의 제공 순서는 변경될 수 있는 것은 통상의 기술자에게 자명하다.

도 10은 본 개시의 다양한 실시 예들에 따른 사진 이미지를 생성하기 위한 전자 장치의 동작을 나타낸 흐름도이다.

일 실시 예에서, 도 10에 개시된 적어도 하나의 동작은, 도 4의 450동작의 세부 흐름도일 수 있다.

일 실시 예에서, 프로세서(120)는 1010동작에서, 제2 인디케이터의 프리뷰 화면 상 위치가, 제1 인디케이터의 프리뷰 화면 상 위치에 대응하는지 여부를 확인할 수 있다. 예를 들어, 프로세서(120)는 제2 인디케이터의 적어도 일부가, 제1 인디케이터의 적어도 일부와 겹치는지 여부를 확인할 수 있다.

일 실시 예에서, 제2 인디케이터는 식별된 타겟 영역에 대응하며, 식별된 타겟 영역의 중심에 표시될 수 있고, 제1 인디케이터는 프리뷰 화면의 지정된 위치(예를 들어, 중심)에 대응하며, 프리뷰 화면의 지정된 위치에 표시될 수 있다.

예를 들어, 도 11a, 11b를 참고할 때, 프로세서(120)는 식별된 타겟 영역(1125)에 대응하는 제2 인디케이터(1120)의 적어도 일부가, 제1 인디케이터(1110)의 적어도 일부와 겹치지 않다는 것을 확인할 수 있다.

제2 인디케이터의 프리뷰 화면 상 위치가, 제1 인디케이터의 프리뷰 화면 상 위치에 대응하지 않는 경우(1010동작에서 아니오), 프로세서(120)는 1040동작에서, 가이드 취소 의도가 인식되는지 여부를 확인할 수 있다. 가이드 취소 의도는, 제공된 가이드(혹은 사용자 인터페이스, 예: 제1 인디케이터 및 제2 인디케이터)가 불필요하다고 생각하는 사용자 의도를 나타낼 수 있다. 예를 들어, 지정된 시간 동안 제2 인디케이터의 프리뷰 화면 상 위치 변화량이 제 6 임계 값 이하인 경우, 프로세서(120)는 가이드 취소 의도가 인식되었다고 판단할 수 있다.

가이드 취소 의도가 인식되지 않는 경우(1040동작에서 아니오), 프로세서(120)는 1010동작을 다시 수행할 수 있다. 즉, 프로세서(120)는 사용자의 가이드 취소 의도가 인식되지 않았으므로, 제공된 가이드에 따라 프리뷰 화면이 변경되었는지 여부를 다시 확인할 수 있다.

가이드 취소 의도가 인식되는 경우(1040동작에서 네), 프로세서(120)는 1050동작에서, 제1 인디케이터 및/또는 제2 인디케이터의 표시를 변경할 수 있다. 예를 들어, 프로세서(120)는 제1 인디케이터 및/또는 제2 인디케이터가 프리뷰 화면에서 더 이상 표시되지 않도록 표시 장치(160)를 제어할 수 있다. 다른 예를 들어, 프로세서(120)는 제1 인디케이터 및/또는 제2 인디케이터의 표시 특성을 변경(모양을 변경하거나(예를 들어, 원 모양에서 타원모양으로), 크기를 변경하거나, 색채, 투명도를 변경)할 수도 있다.

일 실시 예에서, 프로세서(120)는 제1 인디케이터 및/또는 제2 인디케이터의 표시를 변경한 후, 1610동작을 수행할 수 있다. 도 16에서 후술하겠지만, 프로세서(120)는 도 16에 개시된 동작을 수행함으로써, 사용자가 또 다른 가이드의 제공을 원하는지 여부를 판단할 수 있다.

제2 인디케이터의 프리뷰 화면 상 위치가, 제1 인디케이터의 프리뷰 화면 상 위치에 대응하는 경우(1010동작에서 네), 프로세서(120)는 1020동작에서, 현재 구도로 사진을 촬영할 것을 제안하는 제3 인디케이터를 표시할 수 있다.

예를 들어, 도 11c를 참고할 때, 식별된 타겟 영역(1125)에 대응하는 제2 인디케이터(1120)의 적어도 일부가, 제1 인디케이터(1110)의 적어도 일부와 겹치는 경우, 프로세서(120)는 현재 구도로 사진을 촬영할 것을 제안하는 제3 인디케이터(1130)를 표시할 수 있다. 제3 인디케이터(1130)는 제1 인디케이터(1110)와 유사하게, 프리뷰 화면의 지정된 위치(예: 프리뷰 화면의 중심)에 표시될 수 있다. 제3 인디케이터(1130)는, 제2 인디케이터(1120)와 동일 혹은 유사한 표시 특성을 가질 수 있다. 예를 들어, 제1 인디케이터(1110)는 비어있는 서클(empty circle) 형태이며 제2 인디케이터(1120)는 솔리드 서클(solid circle) 형태인 경우, 제3 인디케이터(1130)는 솔리드 서클 형태로 표시될 수 있다. 제3 인디케이터(1130)가 표시됨과 동시에, 프로세서(120)는 제1 인디케이터(1110) 및 제2 인디케이터(1120)의 표시를 제한할 수 있다.

일 실시 예에서, 프로세서(120)는 1030동작에서, 사진 이미지를 생성할 수 있다.

예를 들어, 프로세서(120)는 제3 인디케이터를 표시한 후, 촬영 혹은 캡처를 위한 아이콘에 대한 사용자 입력에 기반하여(혹은, 사용자 입력에 응답하여) 사진 이미지를 생성할 수 있다.

다른 예를 들어, 프로세서(120)는 제3 인디케이터를 표시함과 동시에(혹은 제3 인디케이터를 표시한 후 지정된 시간 이후에), 촬영 혹은 캡처를 위한 아이콘에 대한 사용자 입력에 독립적으로, 사진 이미지를 생성할 수 있다.

일 실시 예에서, 프로세서(120)는 특정한 시점의 프리뷰 화면에 표시된 이미지에 대응하는 사진 이미지를 생성할 수 있다.

예를 들어, 프로세서(120)는 제3 인디케이터를 표시한 후, 촬영 혹은 캡처를 위한 아이콘에 대한 사용자 입력이 수신된 시점의 프리뷰 화면에 표시된 이미지에 대응하는 사진 이미지를 생성할 수 있다.

다른 예를 들어, 프로세서(120)는 제3 인디케이터가 표시된 시점(혹은 제3 인디케이터를 표시한 후 지정된 시간 이후의 시점)의 프리뷰 화면에 표시된 이미지에 대응하는 사진 이미지를 생성할 수 있다.

도 12은 본 개시의 다양한 실시 예들에 따라 전자 장치의 기울기를 나타내는 인디케이터를 표시하기 위한 전자 장치의 동작을 나타낸 흐름도이다.

일 실시 예에서, 도 12에 개시된 적어도 하나의 동작은, 도 4의 440동작의 세부 흐름도일 수 있다.

일 실시 예에서, 프로세서(120)는 1210동작에서, 타겟 영역에 대응하는 제2 인디케이터를 표시할 수 있다. 예를 들어, 프로세서(120)는 430동작에서 식별된 타겟 영역의 중앙에, 제2 인디케이터를 표시할 수 있다.

일 실시 예에서, 프로세서(120)는 1220동작에서, 전자 장치(101)의 기울기를 나타내는 제4 인디케이터를 표시할 수 있다. 일 실시 예에서, 프로세서(120)는 회전 센서(rotation sensor) 혹은 자이로 센서의 센싱 데이터를 이용하여, 전자 장치(101)의 현재 기울어진 정도를 확인하고, 확인 결과에 따라 제4 인디케이터를 표시할 수 있다.

일 실시 예에서, 1210동작 및 1220동작의 실행 순서는 변경될 수 있으며, 병렬적으로 (혹은 실질적으로 동시에) 수행될 수 있다.

프로세서는 제4 인디케이터를 프리뷰 화면에 중첩하여 표시할 수 있으며, 제1 인디케이터 및/또는 제2 인디케이터와 인접하여 제4 인디케이터를 표시할 수 있다. 프로세서(120)는 지정된 축(예를 들어, 연직 방향을 z축, 전방을 x축이라고 가정했을 때, y축)에 대한 전자 장치(101)의 기울기와 연관된 제4 인디케이터를 표시할 수 있다. 예를 들어, 도 18을 참고할 때, 전자 장치(101)가 y+ 방향으로 10도 기울어진 경우 (예를 들어, 전자 장치(101)가 x축을 회전축으로 시계 방향으로 10도 회전된 후의 상태), 프로세서(120)는 가상의 상하 기준선(1830)과 이루는 각도가 10도인 제4 인디케이터(1440)를 표시할 수 있다. 가상의 상하 기준선(1830)은 프리뷰 화면 혹은 디스플레이를 상하로 이등분하는 선일 수 있으며, 제4 인디케이터(1440)는 가상의 상하 기준선(1830)을 반시계 방향으로 10도 회전한 직선에 대응할 수 있다.

일 실시 예에서, 지정된 축에 대해 전자 장치(101)가 기울어진 각도(1810)와, 제4 인디케이터(1440) 및 가상의 상하 기준선(1830)이 이루는 각도(1820)는 서로 동일하거나 서로 대응할 수 있다.

도 14b를 참고할 때, 프로세서(120)는 제4 인디케이터(1440)를 표시할 수 있다. 예를 들어, 전자 장치(101)가 y- 방향으로 10도 기울어져 있는 경우(예를 들어, 전자 장치(101)가 x축을 회전축으로 반시계 방향으로 10도 회전된 후의 상태), 프로세서(120)는 오른쪽 아래로 10도 기울어진 적어도 하나의 직선을 제4 인디케이터(1440)로 표시할 수 있으며, 이 때 제4 인디케이터(1440)은 가상의 상하 기준선을 시계 방향으로 10도 회전한 직선에 대응할 수 있다.

다른 실시 예를 들어, 전자 장치(101)가 y- 방향 (혹은 y+ 방향)으로 기울어지지 않거나, y- 방향 (혹은 y+ 방향) 으로 기울어진 정도가 지정된 범위 내에 포함될 경우, 프로세서(120)는 기울기가 0인 적어도 하나의 직선을 제4 인디케이터로 표시할 수 있다.

프로세서(120)는 제4 인디케이터를 표시한 후, 450동작에서 사진 이미지를 생성할 수 있다. 프로세서(120)는 도 10에서 설명한 바와 같이, 제1 인디케이터 및 제2 인디케이터와 관련된 조건이 만족되는 경우(예: 제1 인디케이터의 위치와 제2 인디케이터의 위치가 서로 대응하는 경우) 사진 이미지를 생성할 수도 있지만, 도 12에서 개시된 바와 같이 제4 인디케이터가 추가로 표시되는 경우에는, 제1 인디케이터 및 제2 인디케이터와 관련된 조건 및 추가로 제4 인디케이터와 관련된 조건이 만족되는 경우 사진 이미지를 생성할 수 있다.

미도시되었지만, 프로세서(120)는 제4 인디케이터를 표시하기 전, 수평과 관련된 전자 장치의 현재 상태를 확인할 수 있다. 전자 장치의 현재 상태가 수평 상태에 대응하는 경우, 프로세서(120)는 제4 인디케이터를 표시하지 않을 수 있다. 전자 장치의 현재 상태가 수평 상태에 대응하지 않는 경우에만, 프로세서(120)는 전자 장치의 기울기를 조정할 것을 가이드하기 위하여, 제4 인디케이터를 표시할 수 있다.

도 13은 본 개시의 다양한 실시 예들에 따라 전자 장치의 수평 상태와 연관된 인디케이터를 표시하기 위한 전자 장치의 동작을 나타낸 흐름도이다.

일 실시 예에서, 도 13에 개시된 적어도 하나의 동작은, 도 10의 1010동작 또는 1020동작의 세부 흐름도일 수 있다.

일 실시 예에서, 프로세서(120)는 1310동작에서, 제2 인디케이터의 프리뷰 화면상 위치가 제1 인디케이터의 프리뷰 화면상 위치에 대응하고, 전자 장치(101)의 현재 상태가 수평 상태에 대응하는지 여부를 확인할 수 있다.

일 실시 예에서, 프로세서(120)는 제2 인디케이터의 프리뷰 화면상 위치가 제1 인디케이터의 프리뷰 화면상 위치에 대응하는 경우, 전자 장치(101)의 현재 상태가 수평 상태에 대응하는지 여부를 확인하고, 제2 인디케이터의 프리뷰 화면상 위치가 제1 인디케이터의 프리뷰 화면상 위치에 대응하지 않는 경우, 전자 장치(101)의 현재 상태가 수평 상태에 대응하는지 여부와 무관하게, 1040동작을 수행할 수 있다. 혹은 그 반대도 가능하다.

예를 들어, 도 14b를 참고할 때, 제2 인디케이터(1120)의 프리뷰 화면상 위치가 제1 인디케이터(1110)의 프리뷰 화면상 위치에 대응하지 않으므로, 프로세서(120)는 1040동작에서, 가이드 취소 의도가 인식되는지 확인할 수 있다.

다른 예를 들어, 도 14c를 참고할 때, 제2 인디케이터(1120)의 프리뷰 화면상 위치가, 도 14b에 비하여 상대적으로 제1 인디케이터(1110)의 프리뷰 화면상 위치와 가깝지만, 여전히 제2 인디케이터(1120)의 프리뷰 화면상 위치가 제1 인디케이터(1110)의 프리뷰 화면상 위치에 대응하지 않으므로, 프로세서(120)는 1040동작에서, 가이드 취소 의도가 인식되는지 확인할 수 있다.

일 실시 예에서, 프로세서(120)는 전자 장치(101)의 현재 상태가 수평 상태에 대응하는지 여부를 확인함에 있어서, 모션 센서(예: 도 3의 모션 센서(360))의 센싱 데이터에 기반할 수 있다. 예를 들어, 프로세서(120)는 전자 장치(101)가 제1 기준 축(예: 수직 축 혹은 z축)으로부터 제2 기준 축(예: y축)까지 기울어진 각도를 결정하고, 상기 결정된 각도가 수평 상태에 대응하는 각도 범위에 포함되는지 여부를 판단할 수 있다. 다른 예를 들어, 프로세서(120)는 제4 인디케이터가 기울어진 각도에 기반하여 전자 장치(101)의 현재 상태가 수평 상태에 대응하는지 여부를 판단할 수도 있다.

제2 인디케이터의 프리뷰 화면상 위치가 제1 인디케이터의 프리뷰 화면상 위치에 대응하지만 전자 장치(101)의 현재 상태가 수평 상태에 대응하지 않는 경우, 프로세서(120)는 1040동작에서, 가이드 취소 의도가 인식되는지 여부를 확인할 수 있다.

제2 인디케이터의 프리뷰 화면상 위치가 제1 인디케이터의 프리뷰 화면상 위치에 대응하고, 전자 장치(101)의 현재 상태가 수평 상태에 대응하는 경우(1310동작에서 네), 프로세서(120)는 1320동작에서, 현재 구도로 사진을 촬영할 것을 제안하는 제5 인디케이터를 표시할 수 있다. 제5 인디케이터는 제3 인디케이터 및 추가 인디케이터의 조합일 수 있다. 예를 들어, 제5 인디케이터는, 제3 인디케이터 및 기울기가 0인 직선을 포함할 수 있다. 프로세서(120)는 제5 인디케이터를 표시함으로써, 현재 구도가 추천 구도에 대응하며, 현재 전자 장치(101)의 상태가 수평 상태에 대응하기 때문에, 사진 이미지를 촬영할 적절한 타이밍이라는 점을 사용자에게 알릴 수 있다.

예를 들어, 도 14d를 참고할 때, 프로세서(120)는 현재 구도로 사진을 촬영할 것을 제안하는 제5 인디케이터(1150)를 포함할 수 있다. 제5 인디케이터(1150)는 제3 인디케이터(1130) 및 기울기가 0인 직선을 포함할 수 있다. 제3 인디케이터(1130)는 제1 인디케이터(1110)의 프리뷰 화면상 위치가 제2 인디케이터(1120)의 프리뷰 화면상 위치에 대응함을 나타낼 수 있으며, 기울기가 0인 직선은 전자 장치(101)의 현재 상태가 수평 상태에 대응함을 나타낼 수 있다.

도 15는 본 개시의 다양한 실시 예들에 따른, 가이드 취소 의도가 인식되는지를 판단하기 위한 전자 장치의 동작을 나타낸 흐름도이다.

일 실시 예에서, 도 15에 개시된 적어도 하나의 동작은 도 10의 1040동작의 세부 흐름도일 수 있다.

일 실시 예에서, 프로세서(120)는 1510동작에서, 지정된 시간동안 제2 인디케이터의 프리뷰 화면상 위치 변화량이 제6 임계 값 이하인지 여부를 확인할 수 있다.

지정된 시간 동안 제2 인디케이터의 프리뷰 화면상 위치 변화량이 제6 임계 값 이하인 경우(1510동작에서 네), 프로세서(120)는 1050동작을 수행할 수 있다. 즉, 프로세서(120)는 제공된 가이드(예: 제1 인디케이터 및 제2 인디케이터)에 따라 구도를 변경하고자 하는 사용자 의도가 인식되지 않는다고 판단할 수 있다. 혹은, 프로세서(120)는 제공된 가이드를 취소하고자 하는 사용자 의도가 인식된다고 판단할 수 있다.

지정된 시간 동안 제2 인디케이터의 프리뷰 화면상 위치 변화량이 제6 임계 값 초과인 경우(1510동작에서 아니오), 프로세서(120)는 1520동작에서, 제2 인디케이터의 프리뷰 화면상 위치와 제1 인디케이터의 프리뷰 화면상 위치 간 거리가 증가하는지 여부를 확인할 수 있다. 예를 들어, 프로세서(120)는 제2 인디케이터의 프리뷰 화면상 위치가 제1 인디케이터의 프리뷰 화면상 위치와 멀어짐에 따라, 제2 인디케이터가 더 이상 프리뷰 화면에 표시되지 않는지 여부를 확인할 수 있다.

제2 인디케이터의 프리뷰 화면상 위치와 제1 인디케이터의 프리뷰 화면상 위치 간 거리가 증가하는 경우(1520동작에서 네), 프로세서(120)는 1050동작을 수행할 수 있다. 즉, 프로세서(120)는 제공된 가이드(예: 제1 인디케이터 및 제2 인디케이터)에 따라 구도를 변경하고자 하는 사용자 의도가 인식되지 않는다고 판단할 수 있다. 혹은, 프로세서(120)는 제공된 가이드를 취소하고자 하는 사용자 의도가 인식된다고 판단할 수 있다.

미도시되었지만, 제2 인디케이터의 프리뷰 화면상 위치와 제1 인디케이터의 프리뷰 화면상 위치 간 거리가 증가하여, 결과적으로 제2 인디케이터가 프리뷰 화면상 더 이상 표시되지 않는 경우, 프로세서(120)는 1050동작을 수행할 수 있다. 혹은, 제2 인디케이터가 일정 시간 동안 프리뷰 화면상 표시되지 않는 경우(target loss), 프로세서(120)는 1050동작을 수행할 수 있다.

제2 인디케이터의 프리뷰 화면상 위치와 제1 인디케이터의 프리뷰 화면상 위치 간 거리가 증가하지 않는 경우(1520동작에서 아니오), 프로세서(120)는 1010동작을 다시 수행할 수 있다. 즉, 프로세서(120)는 제공된 가이드를 취소하고자 하는 사용자 의도가 인식되지 않다고 판단하고, 이후 제2 인디케이터의 프리뷰 화면상 위치가 제1 인디케이터의 프리뷰 화면상 위치와 대응하는지 여부를 다시 확인할 수 있다.

도 16는 본 개시의 다양한 실시 예들에 따른, 추천 구도 가이드를 다시 제공하기 위한 전자 장치의 동작을 나타낸 흐름도이다.

일 실시 예에서, 도 16에 개시된 적어도 하나의 동작은, 도 10의 1050동작이 수행된 후 수행될 수 있다.

미도시되었지만, 도 16에 개시된 적어도 하나의 동작은, 도 10의 1030동작이 수행된 후 수행될 수 있다.

일 실시 예에서, 프로세서(120)는 1610동작에서, 연속된 프레임간 이동 거리가 제7 임계 값 이상인지 여부를 확인할 수 있다. 예를 들어, 프로세서(120)는 카메라 모듈(예: 카메라 모듈(180))로부터 획득되는 복수의 이미지 프레임들 중 연속된 이미지 프레임에서 동일한 특정 객체가 표시되는 각각의 위치에 기반하여, 연속된 프레임간 이동 거리가 제7 임계 값 이상인지 여부를 판단할 수 있다. 다른 예를 들어, 프로세서(120)는 연속된 이미지 프레임에서 특정 영역(예를 들어, 중심 영역)을 추적함으로써, 연속된 프레임간 이동 거리가 제7 임계 값 이상인지 여부를 확인할 수도 있다.

일 실시 예에서, 프로세서(120)는 1620동작에서, 연속된 프레임간 밝기 차이가 제8 임계 값 이상인지 여부를 확인할 수 있다. 일 실시 예에서, 1620동작에서 확인한 연속된 프레임은, 1610동작에서 확인한 연속된 프레임과 동일할 수도 있고, 1610동작에서 확인한 연속된 프레임의 이후 프레임일 수도 있다.

일 실시 예에서, 프로세서(120)는 1630동작에서, 모션 센서의 센서 데이터가 제9 임계 값 이상인지 여부를 확인할 수 있다. 일 실시 예에서, 모션 센서는 가속도 센서일 수 있으며, 모션 센서의 센서 데이터는 전자 장치(101)의 이동 혹은 가속도 정보와 관련된 센서 데이터일 수 있다.

연속된 프레임간 이동 거리가 제7 임계 값 미만이고(1610동작에서 아니오), 연속된 프레임간 밝기 차이가 제8 임계 값 미만이고(1620동작에서 아니오), 모션 센서의 센서데이터가 제9 임계 값 미만인 경우(1630동작에서 아니오), 프로세서(120)는 1610동작을 다시 수행할 수 있다. 프로세서(120)는 세 가지 조건들(1610 내지 1630) 중 어느 하나를 충족한 경우, 사용자가 또 다른 가이드의 제공을 원한다고 판단하고, 510동작을 수행할 수 있다. 즉, 프로세서(120)는 사용자의 의도와 달리 가이드를 제공함으로써, 사용자에게 불편을 주는 것을 막기 위하여, 도 16에 개시된 동작들을 수행할 수 있다.

미도시되었지만, 세 가지 조건들(1610 내지 1630)이 모두 충족되지 않는 경우, 1610동작을 다시 수행하지 않고 해당 알고리즘을 종료하거나 활성화된 카메라 어플리케이션을 비활성화할 수 있다.

도 17은 본 개시의 다양한 실시 예들에 따른, 사진 이미지를 생성하기 위한 전자 장치의 동작을 설명하기 위한 도면이다.

도 17a를 참고할 때, 프로세서(120)는 프리뷰 화면에 중첩하여, 프리뷰 화면의 중심 위치에 대응하는 제1 인디케이터(1110) 및 타겟 영역(1125)의 중심 위치에 대응하는 제2 인디케이터(1120)를 표시할 수 있다.

일 실시 예에서, 프로세서(120)는 제2 인디케이터(1120)를, 사각형 형태로 표시할 수 있다.

일 실시 예에서, 프로세서(120)는 제1 인디케이터(1110)를, 사다리꼴 형태로 표시할 수 있다.

일 실시 예에서, 프로세서(120)는 제1 인디케이터(1110)의 프리뷰 화면상 위치가 제2 인디케이터(1120)의 프리뷰 화면상 위치에 대응하는지 여부를 확인할 수 있다. 예를 들어 도 17b를 참고할 때, 프로세서(120)는 제1 인디케이터(1110)와 제2 인디케이터(1120)의 겹치는 영역이 지정된 범위(예: 제1 지정된 범위)에 속한다는 것을 확인할 수 있다.

일 실시 예에서, 제2 인디케이터(1120)는 전자 장치(101)의 회전에 따라 모양이 달라질 수 있다. 예를 들어, 피치(pitch)와 관련된 전자 장치(101)의 회전에 따라, 제2 인디케이터(1120)의 모양이 직사각형에서, 윗변과 아랫변이 평행한 사다리꼴로 변경될 수 있다. 다른 예를 들어, 요(yaw)와 관련된 전자 장치(101)의 회전에 따라, 제2 인디케이터(1120)의 모양이 직사각형에서, 왼쪽변과 오른쪽변이 평행한 사다리꼴로 변경될 수도 있다.

일 실시 예에서, 프로세서(120)는 전자 장치(101)의 회전을 감지할 수 있다. 프로세서(120)는 지정된 방향으로 회전하는 전자 장치(101)의 회전을 감지할 수 있다. 상기 지정된 방향은, 제1 인디케이터(1110)와 제2 인디케이터(1120)가 대응하는 시점에서의 제1 인디케이터(1110) 및 제2 인디케이터(1120)의 형태로부터 유추될 수 있다. 예를 들어, 도 17b를 참고할 때, 제2 인디케이터(1120)는 현재 전자 장치(101)의 형태에 대응할 수 있으며, 제1 인디케이터(1110)는 전자 장치(101)의 추천 형태에 대응할 수 있다.

일 실시 예에서, 프로세서(120)는 모션 센서의 센서 데이터에 기반하여, 전자 장치(101)의 회전을 감지할 수 있다. 일 실시 예에서, 제1 인디케이터(1110)가, 오른쪽변과 왼쪽변이 평행한 평행사변형인 경우, 프로세서(120)는 요(yaw)와 관련된 전자 장치의 회전을 감지할 수 있다. 제1 인디케이터(1110)가, 오른쪽변과 왼쪽변이 평행하며, 오른쪽변이 더 긴 평행사변형인 경우, 프로세서(120)는, z+ 방향에서 바라보았을 때, 시계 방향으로 회전하는 전자 장치(101)의 회전을 감지할 수 있다.

미도시되었지만, 제1 인디케이터(1110)가, 윗변 및 아랫변이 평행한 평행사변형인 경우, 프로세서(120)는 피치(pitch)와 관련된 전자 장치의 회전을 감지할 수 있다. 제1 인디케이터(1110)가 윗변 및 아랫변이 평행하며, 아랫변이 더 긴 평행사변형인 경우, 프로세서(120)는 y+ 방향에서 바라보았을 때, 시계 방향으로 회전하는 전자 장치(101)의 회전을 감지할 수 있다.

일 실시 예에서, 프로세서(120)는 지정된 방향으로 지정된 각도만큼 회전하는 전자 장치(101)의 회전을 감지할 수 있다.

일 실시 예에서, 프로세서(120)는 전자 장치(101)의 회전을 감지하기 전, 전자 장치(101)의 회전을 가이드하기 위한 별도의 객체를 표시할 수도 있다. 예를 들어, 프로세서(120)는 지정된 방향 및 지정된 각도 중 적어도 하나를 나타내는 시각적 객체를 프리뷰 화면에 중첩하여 표시할 수도 있다.

일 실시 예에서, 프로세서(120)는 제1 인디케이터(1110)와 제2 인디케이터(1120)의 겹치는 영역이 지정된 범위(예: 상기 제1 지정된 범위보다 큰 제2 지정된 범위)에 속하는 경우, 제3 인디케이터(1130)을 표시할 수 있다. 프로세서(120)는 지정된 방향으로 지정된 각도만큼 회전하는 전자 장치(101)의 회전이 감지된 경우, 제3 인디케이터(1130)를 표시할 수도 있다. 제3 인디케이터(1130)의 표시 위치 및 표시 형태는 제1 인디케이터(1110)의 표시 위치(프리뷰 화면의 중심) 및 표시 형태(사다리꼴)에 대응할 수 있다. 제3 인디케이터(1130)의 표시 특성(예: 색채)은 제2 인디케이터(1120)의 표시 특성에 대응할 수 있다.

도 17에 개시된 실시 예에 의하여, 전자 장치(101)는 사용자에게 추천 구도를 구체적으로 제공할 수 있다. 전자 장치(101)는 최적의 구도로 사진을 촬영하기 위하여, 상, 하, 좌, 우 중 적어도 하나의 방향으로의 전자 장치(101)의 이동을 가이드할 수 있을 뿐 아니라, 팬(pan) 동작과 같이, 지정된 방향으로의 전자 장치(101)의 회전을 가이드할 수 있다.

컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD, 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

그리고 본 명세서와 도면에 개시된 실시 예들은 본 발명의 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

101: 전자 장치 120: 프로세서

Claims

전자 장치에 있어서,
디스플레이;
이미지 센서;
상기 디스플레이 및 이미지 센서와 작동적으로 연결된 프로세서를 포함하고;
상기 프로세서는,
상기 디스플레이에 표시된 상기 이미지 센서의 프리뷰 화면 내 지정된 위치에 제1 인디케이터를 표시하고;
상기 프리뷰 화면에서 타겟을 식별하고;
상기 식별된 타겟을 포함하는 복수의 후보 타겟 영역들에 부여되는 미학적 스코어(aesthetic score)에 기반하여, 상기 복수의 후보 타겟 영역들 중에서, 상기 식별된 타겟에 대응하는 타겟 영역을 식별하고;
상기 식별된 타겟 영역에 대응하는 제2 인디케이터를 표시하고; 및
상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동되는 경우, 지정된 시점의 프리뷰 화면에 대응하는 사진 이미지(photographing image)를 생성하도록 설정된 전자 장치.
제 1항에 있어서,
상기 복수의 후보 타겟 영역들은, 사이즈 또는 가로 길이와 세로 길이의 비율을 나타내는 길이 비율 중 적어도 하나가 서로 다른 전자 장치.
제 2항에 있어서,
상기 미학적 스코어는, 머신 러닝을 통해 훈련된 통계 모델에 기반하여 부여되는, 전자 장치.
제 1항에 있어서,
상기 프로세서는, 상기 사진 이미지를 생성함에 있어서,
상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동되는 시점의 프리뷰 화면에 대응하는 사진 이미지를 생성하도록 설정된 전자 장치.
제 1항에 있어서,
상기 프로세서는, 상기 사진 이미지를 생성함에 있어서,
상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동된 후, 사진 이미지 생성을 위한 사용자 입력의 수신에 응답하여, 상기 사용자 입력의 수신 시점의 프리뷰 화면에 대응하는 사진 이미지를 생성하도록 설정된 전자 장치.
제 1항에 있어서,
상기 프로세서는 상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동되는지 여부를 확인하도록 더 설정되고,
상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동되지 않는 경우, 가이드 취소 의도가 인식되는지 여부를 확인하도록 더 설정된 전자 장치.
제 6항에 있어서,
상기 프로세서는 상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동되는 경우, 현재 구도로 사진을 촬영할 것을 제안하기 위한 제3 인디케이터를 표시하도록 더 설정된 전자 장치.
제 6항에 있어서,
상기 프로세서는 상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동되는 경우, 상기 전자 장치가 지정된 방향으로 지정된 각도만큼 회전되는지 여부를 확인하도록 더 설정되며,
여기서 상기 지정된 방향은, 상기 제1 인디케이터 및 상기 제2 인디케이터의 형태에 따라 결정되고,
상기 프로세서는 상기 전자 장치가 상기 지정된 방향으로 상기 지정된 각도만큼 회전된 경우, 현재 구도로 사진을 촬영할 것을 제안하기 위한 제3 인디케이터를 표시하도록 더 설정된 전자 장치.
제 6항에 있어서,
상기 프로세서는, 상기 가이드 취소 의도가 인식되는 경우, 추천 구도를 위한 또 다른 가이드 제공을 요청하는 사용자 의도에 대응하는 전자 장치의 움직임이 검출되는지 여부를 확인하도록 더 설정된 전자 장치.
제 1항에 있어서,
상기 프로세서는, 상기 전자 장치의 수평 상태와 연관된 제4 인디케이터를 표시하도록 더 설정되고,
상기 프로세서는, 상기 사진 이미지를 생성함에 있어서, 상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동되고, 상기 전자 장치의 현재 상태가 수평 상태에 대응하면, 지정된 시점의 프리뷰 화면에 대응하는 사진 이미지를 생성하도록 설정된 전자 장치.
제 1항에 있어서,
상기 프로세서는, 상기 타겟 영역을 식별함에 있어서,
상기 복수의 후보 타겟 영역들에 부여되는 미학적 스코어 중에서 최대 미학적 스코어가 임계 값 이상인지 여부를 확인하고,
상기 최대 미학적 스코어가 상기 임계 값 이상인 경우, 최대 미학적 스코어에 대응하는 타겟 후보 영역을 타겟 영역으로 결정하고,
상기 최대 미학적 스코어가 상기 임계 값 미만인 경우, 미리 결정된 룰에 기반한 추천 구도를 제공하도록 설정되며,
상기 프로세서는, 상기 미리 결정된 룰에 기반한 추천 구도를 제공함에있어서, 상기 프리뷰 화면 내에서 지배 선분, 소실점, 돌출 영역에 대한 정보 중 적어도 하나를 검출하고, 상기 검출된 정보에 기반하여 추천 구도를 제공하도록 설정된 전자 장치.
이미지 센서 및 디스플레이를 포함하는 전자 장치의 동작 방법에 있어서,
상기 디스플레이에 표시된 상기 이미지 센서의 프리뷰 화면 내 지정된 위치에 제1 인디케이터를 표시하는 동작;
상기 프리뷰 화면에서 타겟을 식별하는 동작;
상기 식별된 타겟을 포함하는 복수의 후보 타겟 영역들에 부여되는 미학적 스코어에 기반하여, 상기 복수의 후보 타겟 영역들 중에서, 상기 식별된 타겟에 대응하는 타겟 영역을 식별하는 동작;
상기 식별된 타겟 영역에 대응하는 제2 인디케이터를 표시하는 동작;
상기 제1 인디케이터가 상기 화면의 지정된 위치에 이동되는 경우, 지정된 시점의 프리뷰 화면에 대응하는 사진 이미지를 생성하는 동작을 포함하는 방법.
제 12항에 있어서,
상기 복수의 후보 타겟 영역들은, 사이즈 또는 가로 길이와 세로 길이의 비율을 나타내는 길이 비율 중 적어도 하나가 서로 다른 방법.
제 13항에 있어서,
상기 미학적 스코어는, 머신 러닝을 통해 훈련된 통계 모델에 기반하여 부여되는, 방법
제 12항에 있어서,
상기 사진 이미지를 생성하는 동작은, 상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동되는 시점의 프리뷰 화면에 대응하는 사진 이미지를 생성하는 동작을 포함하는 방법.
제 12항에 있어서,
상기 사진 이미지를 생성하는 동작은, 상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동된 후, 사진 이미지 생성을 위한 사용자 입력의 수신에 응답하여, 상기 사용자 입력의 수신 시점의 프리뷰 화면에 대응하는 사진 이미지를 생성하는 동작을 포함하는 방법.
제 12항에 있어서,
상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동되는지 여부를 확인하는 동작을 더 포함하고,
상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동되지 않는 경우, 가이드 취소 의도가 인식되는지 여부를 확인하는 동작을 더 포함하는 방법.
제 17항에 있어서,
상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동되는 경우, 현재 구도로 사진을 촬영할 것을 제안하기 위한 제3 인디케이터를 표시하는 동작을 더 포함하는 방법.
제 17항에 있어서,
상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동되는 경우, 상기 전자 장치가 지정된 방향으로 지정된 각도만큼 회전되는지 여부를 확인하는 동작을 더 포함하고,
여기서 상기 지정된 방향은 상기 제1 인디케이터 및 상기 제2 인디케이터의 형태에 따라 결정되고,
상기 전자 장치가 상기 지정된 방향으로 상기 지정된 각도만큼 회전된 경우, 현재 구도로 사진을 촬영할 것을 제안하기 위한 제3 인디케이터를 표시하는 동작을 더 포함하는 방법.
제 17항에 있어서,
상기 가이드 취소 의도가 인식되는 경우, 추천 구도를 위한 또 다른 가이드 제공을 요청하는 사용자 의도에 대응하는 전자 장치의 움직임이 검출되는지 여부를 확인하는 동작을 더 포함하는 방법.
제 12항에 있어서,
상기 전자 장치의 수평 상태와 연관된 제4 인디케이터를 표시하는 동작을 더 포함하고,
상기 사진 이미지를 생성하는 동작은, 상기 제2 인디케이터가 상기 화면의 지정된 위치에 이동되고, 상기 전자 장치의 현재 상태가 수평 상태에 대응하면, 상기 지정된 시점의 프리뷰 화면에 대응하는 사진 이미지를 생성하는 동작을 포함하는 방법.
제 12항에 있어서,
상기 타겟 영역을 식별하는 동작은,
상기 복수의 후보 타겟 영역들에 부여되는 미학적 스코어 중에서 최대 미학적 스코어가 임계 값 이상인지 여부를 확인하는 동작,
상기 최대 미학적 스코어가 상기 임계 값 이상인 경우, 최대 미학적 스코어에 대응하는 타겟 후보 영역을 타겟 영역으로 결정하는 동작,
상기 최대 미학적 스코어가 상기 임계 값 미만인 경우, 미리 결정된 룰에 기반한 추천 구도를 제공하는 동작을 포함하며,
상기 미리 결정된 룰에 기반한 추천 구도를 제공하는 동작은, 상기 프리뷰 화면 내에서 지배 선분, 소실점, 돌출 영역에 대한 정보 중 적어도 하나를 검출하는 동작 및 상기 검출된 정보에 기반하여 추천 구도를 제공하는 동작을 포함하는 방법.