KR102598109B1 - 이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법 - Google Patents

이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법 Download PDF

Info

Publication number
KR102598109B1
KR102598109B1 KR1020180092230A KR20180092230A KR102598109B1 KR 102598109 B1 KR102598109 B1 KR 102598109B1 KR 1020180092230 A KR1020180092230 A KR 1020180092230A KR 20180092230 A KR20180092230 A KR 20180092230A KR 102598109 B1 KR102598109 B1 KR 102598109B1
Authority
KR
South Korea
Prior art keywords
image
feedback
electronic device
processor
guidance
Prior art date
Application number
KR1020180092230A
Other languages
English (en)
Other versions
KR20200017072A (ko
Inventor
김기석
유윤선
박광규
유용호
윤찬희
장진원
조경수
이우용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180092230A priority Critical patent/KR102598109B1/ko
Priority to PCT/KR2019/009833 priority patent/WO2020032555A1/en
Priority to EP19846691.4A priority patent/EP3811608A4/en
Priority to US16/536,198 priority patent/US10924677B2/en
Publication of KR20200017072A publication Critical patent/KR20200017072A/ko
Application granted granted Critical
Publication of KR102598109B1 publication Critical patent/KR102598109B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors

Abstract

다양한 실시예들에 따른 전자 장치는, 적어도 하나의 카메라, 명령어들을 저장하는 적어도 하나의 메모리, 디스플레이, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 적어도 하나의 카메라를 통해 이미지를 획득하고, 상기 이미지의 획득과 관련된 복수의 파라미터들을 획득하고, 상기 획득된 복수의 파라미터들에 기반하여, 사용자에게 제공 가능한 복수의 피드백들 중에서, 상기 복수의 피드백들의 우선순위에 따라, 상기 사용자에게 제공하기 위한 피드백을 식별하고, 상기 식별된 피드백에 대응하는 가이던스를, 상기 디스플레이를 통해 표시하도록 설정될 수 있다.

Description

이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법{ELECTRONIC DEVICE AND METHOD FOR PROVIDING NOTIFICATION RELATIVE TO IMAGE DISPLAYED VIA DISPLAY AND IMAGE STORED IN MEMORY BASED ON IMAGE ANALYSIS}
다양한 실시예들은 이미지 분석에 기반하여 영상 촬영과 관련된 피드백을 제공하는 방법 및 전자 장치에 관한 것이다.
최근, 이동 통신 단말기, 스마트폰, 태블릿(tablet) PC(personal computer), 또는 웨어러블 디바이스(wearable device) 등의 다양한 전자 장치에서의 카메라 기술이 발달되고 있다. 다양한 전자 장치에서 카메라는, 정지 영상 또는 동영상을 촬영할 수 있다. 뿐만 아니라 카메라는, 버스트 모드(burst mode)(또는 연속 촬영 모드(continuous shooting mode))나 파노라마 모드 등, 다양한 효과를 가지는 다양한 촬영 모드(shooting mode)를 제공할 수 있다. 다양한 실시예들은, 이미지 촬영을 위한 기술과 관련될 수 있다.
전자 장치는, 카메라 어플리케이션을 통해, 다양한 효과를 가지는 다양한 촬영 모드를 제공할 수 있다. 그런데, 사용자는 다양한 촬영 모드를 이용하기 위해, 각각의 촬영 모드의 존재나 기능을 사전에 인지하고 있어야 할 수 있다. 따라서, 사용자는 촬영 모드의 존재나 기능에 대한 인지가 없는 경우, 이미지 촬영과 관련된 다양한 기능을 이용하지 못할 수 있고, 품질이 낮은 이미지를 촬영하면서도 문제를 해결하지 못할 수 있다.
다양한 실시예들은, 이미지를 촬영하는 상황에 따라 사용자에게 최적의 피드백을 제공함으로써, 상황에 맞는 촬영 방법을 가이드하기 위한 전자 장치 및 방법을 제공할 수 있다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시예들에 따른 전자 장치는, 적어도 하나의 카메라, 명령어들을 저장하는 적어도 하나의 메모리, 디스플레이, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 적어도 하나의 카메라를 통해 이미지를 획득하고, 상기 이미지의 획득과 관련된 복수의 파라미터들을 획득하고, 상기 획득된 복수의 파라미터들에 기반하여, 사용자에게 제공 가능한 복수의 피드백들 중에서, 상기 복수의 피드백들의 우선순위에 따라, 상기 사용자에게 제공하기 위한 피드백을 식별하고, 상기 식별된 피드백에 대응하는 가이던스를, 상기 디스플레이를 통해 표시하도록 설정될 수 있다.
다양한 실시예들에 따른 전자 장치는, 카메라, 디스플레이, 메모리, 및 프로세서를 포함하고, 상기 프로세서는, 제1 촬영 모드로 설정된 상기 카메라를 이용하여 획득된 외부 객체에 대한 복수의 제1 이미지들을 상기 디스플레이를 통해 표시하고, 상기 복수의 제1 이미지들을 표시하는 동안에, 지정된 이미지 분석 방식을 통해 분석된 상기 복수의 제1 이미지들 중 적어도 일부 이미지가 지정된 조건을 만족하는지 여부를 판단하고, 상기 적어도 일부 이미지가 상기 지정된 조건을 만족함을 판단하는 것에 적어도 기반하여, 상기 지정된 조건에 대응하는 제2 촬영 모드와 관련된 알림을 상기 디스플레이를 통해 표시하고, 상기 알림과 관련된 입력에 적어도 기반하여, 상기 제2 촬영 모드로 상기 카메라를 설정하고, 및 상기 제2 촬영 모드로 설정된 카메라를 이용하여 획득된 상기 외부 객체에 대한 복수의 제2 이미지들을 상기 디스플레이를 통해 표시하도록 설정될 수 있다.
다양한 실시예들에 따른 전자 장치는, 카메라, 디스플레이, 메모리, 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라를 이용하여, 외부 객체에 대한 복수의 이미지들을 획득하고, 상기 복수의 이미지들을 획득하는 적어도 일부 동안, 상기 복수의 이미지들 중 적어도 일부 이미지를 상기 디스플레이를 통해 표시하고, 상기 적어도 일부 이미지를 표시하는 동안에, 제1 지정된 이미지 분석 방식을 통해 분석된 상기 적어도 일부 이미지가 제1 지정된 조건에 대응하면, 상기 제1 지정된 조건과 관련된 제1 알림을 상기 디스플레이를 통해 표시하고, 상기 적어도 일부 이미지를 표시하는 동안에, 상기 복수의 이미지들 중 사용자 촬영과 관련된 입력에 따라 획득된 하나 이상의 이미지들을 상기 메모리를 이용하여 저장하고, 및 제2 지정된 이미지 분석 방식을 이용하여 분석된 상기 하나 이상의 이미지들이 제2 지정된 조건에 대응하면, 상기 제2 지정된 조건에 대응하는 제2 알림을 상기 디스플레이를 통해 표시하도록 설정될 수 있다.
다양한 실시예들에 따른 장치 및 방법은, 이미지를 촬영하는 상황에 따라 사용자에게 최적의 피드백을 제공할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는 다양한 실시예들에 따른, 카메라 모듈을 예시하는 블럭도이다.
도 3은 다양한 실시예들에 따른 전자 장치의 프로세서에서 이용되는 모듈들의 예를 도시한다.
도 4는 다양한 실시예들에 따른 프로세서의 동작의 예를 도시한다.
도 5는 다양한 실시예들에 따른 전자 장치의 동작의 예를 도시한다.
도 6은 다양한 실시예들에 따른 전자 장치에서 사용자에게 제공하기 위한 피드백을 식별하는 동작의 예를 도시한다.
도 7은 다양한 실시예들에 따른 전자 장치에서 가이던스에 대하여 사용자의 응답을 수신하는 동작의 예를 도시한다.
도 8은 다양한 실시예들에 따른 전자 장치에서 재촬영을 유도하는 피드백을 제공하기 위한 화면의 예를 도시한다.
도 9는 다양한 실시예들에 따른 전자 장치에서 촬영에 관한 기능을 추천하는 피드백을 제공하기 위한 화면의 예를 도시한다.
도 10는 다양한 실시예들에 따른 전자 장치에서 재촬영을 유도하는 다른 피드백을 제공하기 위한 화면의 예를 도시한다.
도 11은 다양한 실시예들에 따른 전자 장치에서 촬영에 관한 기능을 추천하는 다른 피드백을 제공하기 위한 화면의 예를 도시한다.
도 12는 다양한 실시예들에 따른 전자 장치에서 촬영에 관한 기능을 추천하는 다른 피드백을 제공하기 위한 화면의 예를 도시한다.
도 13은 다양한 실시예들에 따른 전자 장치에서 다양한 피드백을 제공하기 위한 화면의 예를 도시한다.
도 14는 다양한 실시예들에 따른 전자 장치에서 복수의 이미지들을 표시하는 동안 알림에 기반하여 카메라의 촬영 모드를 변경하기 위한 동작의 예를 도시한다.
도 15는 다양한 실시예들에 따른 전자 장치에서 우선순위에 따라 분석된 이미지에 대하여 알림을 제공하기 위한 동작의 예를 도시한다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블럭도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)은 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150) 를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)이 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, or 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는, 다양한 실시예들에 따른, 카메라 모듈(180)을 예시하는 블럭도(200)이다. 도 2를 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(260)를 포함할 수 있다. 렌즈 어셈블리(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)를 형성할 수 있다. 복수의 렌즈 어셈블리(210)들 중 일부는 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 다른 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.
플래쉬(220)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 일실시예에 따르면, 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다. 이미지 센서(230)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(210)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일실시예에 따르면, 이미지 센서(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용하여 구현될 수 있다.
이미지 스태빌라이저(240)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(230)를 특정한 방향으로 움직이거나 이미지 센서(230)의 동작 특성을 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 이는 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향의 적어도 일부를 보상하게 해 준다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(180) 또는 전자 장치(101)의 그런 움직임을 감지할 수 있다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있다. 메모리(250)는 이미지 센서(230)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 또는 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(260)에 의해 획득되어 처리될 수 있다. 일실시예에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(260)는 이미지 센서(230)를 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 상기 하나 이상의 이미지 처리들은, 예를 들면, 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening)을 포함할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(260)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 표시 장치(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 제공될 수 있다. 일실시예에 따르면, 이미지 시그널 프로세서(260)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(260)이 프로세서(120)과 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(260)에 의해 처리된 적어도 하나의 이미지는 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(160)를 통해 표시될 수 있다.
일실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다. 유사하게, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 전면 카메라이고, 적어도 다른 하나는 후면 카메라일 수 있다.
도 3은, 다양한 실시예들에 따른 전자 장치(101)의 프로세서(300)에서 이용되는 모듈들의 예를 도시한다. 프로세서(300)은, 프로세서(120) 또는 이미지 시그널 프로세서(260) 중 적어도 하나를 포함할 수 있다. 도 4는, 다양한 실시예들에 따른 프로세서(300)의 동작의 예를 도시한다.
도 3을 참조하면, 프로세서(300)에서 이용되는 모듈들은, 분석부(analysis unit)(310), 결정부(determination unit)(320) 및 사용자 응답 관리부(user response management unit)(330)을 포함할 수 있다. 도 4의 단계 410은 분석부(310)의 동작에 상응할 수 있고, 단계 420은 결정부(320)의 동작에 상응할 수 있다.
다양한 실시예들에서, 프로세서(300)는, 입력(input)으로써, 이미지, 이미지에 대한 메타데이터, 또는 전자 장치(101)에 관한 장치 정보 중 적어도 하나를 획득할 수 있다. 도 4를 참조하면, 프로세서(300)는, 프리뷰 이미지(401)를 표시하는 동안 상기 입력을 획득할 수 있다. 프로세서(300)는, 이미지를 촬영하는 것에 응답하여 상기 입력을 획득할 수도 있다. 예를 들면, 프로세서(300)는, 단일 이미지(402)를 촬영하는 것에 응답하여, 버스트 이미지(403)를 촬영하는 것에 응답하여, 또는 동영상(미도시)을 촬영하는 것에 응답하여 상기 입력을 획득할 수 있다.
상기 입력되는 이미지는, 이미지 센서(230)를 통해 획득된 이미지 또는 메모리(250)에 저장(또는 임시적으로(temporarily) 저장)된 이미지를 포함할 수 있다. 예를 들면, 이미지는, 프리뷰로써 획득되는(being acquired) 복수의 이미지들(401), 촬영된 단일 이미지(402), 촬영된 버스트(burst) 이미지(403), 또는 촬영된 동영상 중 적어도 하나일 수 있다.
메타데이터는, 이미지에 관한 속성 정보를 포함할 수 있다. 예를 들면, 메타데이터는, 제조사(manufacturer), 모델, 회전방향(orientation or rotation), 날짜와 시간(date and time), 노출 시간(exposure time), 플래시(flash), 초점 거리(focal length), 색 공간(color space), ISO, 조리개(aperture), 셔터 속도, 또는 GPS (global positioning system) 정보 중 적어도 하나를 포함할 수 있다. 장치 정보는, 예를 들면, 전자 장치(101)의 센서 데이터에 대한 정보를 포함할 수 있다.
장치 정보는, 예를 들면, 이미지를 촬영한 시점에 전자 장치(101)의 자이로 센서 값 또는 조도 센서 값을 포함할 수 있다. 자이로 센서 값 또는 조도 센서 값은, 이미지를 촬영한 시점에 전자 장치(101)가 흔들렸는지 또는 이미지를 촬영한 시점에 주변이 저조도인지 여부를 판단하기 위해 이용될 수 있다.
프로세서(300)는, 분석부(310)을 이용하여, 상기 입력된 이미지, 메타데이터, 및/또는 장치 정보를 이용하여 복수의 파라미터들을 획득(또는 검출, 분석, 식별)할 수 있다. 예를 들어, 도 4의 단계 410을 참조하면, 복수의 파라미터들은, 이미지의 역광(backlight)의 정도에 대한 파라미터, 렌즈에 이물(dirt)이 묻었는지 여부를 식별하기 위한 파라미터, 이미지의 조도에 관한 파라미터, 이미지가 어떤 장면(scene)인지에 관한 파라미터, 이미지가 흐린(blur) 정도에 관한 파라미터, 전자 장치(101)의 수평의 정도에 관한 파라미터, 전자 장치(101)의 흔들림(shake) 정도에 관한 파라미터, 이미지에 포함된 얼굴의 흐림 정도에 관한 파라미터, 또는 이미지에 포함된 사람이 눈을 감은 정도에 관한 파라미터 중 적어도 하나를 포함할 수 있다. 다만, 이에 한정되지 않는다.
분석부(310)는, 복수의 파라미터들 각각을 획득하기 위하여, 제1 분석부, 제2 분석부, 내지 제n 분석부를 포함할 수 있다. 프로세서(300)는, 입력된 이미지, 메타데이터, 및/또는 장치 정보로부터, 제1 분석부 내지 제n 분석부를 이용하여, 복수의 파라미터들 각각을 획득할 수 있다. 예를 들면, 프로세서(300)는, 제1 분석부를 이용하여, 이미지의 역광(backlight)의 정도에 대한 파라미터를 획득할 수 있다. 프로세서(300)은, 제2 분석부를 이용하여, 렌즈에 이물(dirt)이 묻었는지 여부를 식별하기 위한 파라미터를 획득할 수 있다. 프로세서(300)는, 제n 분석부를 이용하여, 이미지가 어떤 장면(scene)인지에 관한 파라미터를 획득할 수 있다. 예를 들면, 제n 분석부는, 이미지에 대하여 장면 분석을 수행하고, 이미지가 어떤 장면인지 식별할 수 있다. 제n 분석부는, 이미지의 장면을, 음식, 풍경, 얼굴, 또는 문서를 포함하는 장면들 중에서 하나로 식별할 수 있다. 다만 이에 한정되지 않는다.
프로세서(300)는, 결정부(320)를 통해, 상기 획득된 복수의 파라미터들을 이용하여, 사용자에게 제공 가능한 복수의 피드백들 중에서 사용자에게 제공하기 위한 피드백을 식별(또는 결정)할 수 있다. 사용자에게 제공 가능한 복수의 피드백들은, 이미지 촬영과 관련된 피드백일 수 있다. 복수의 피드백들은 예를 들면, 재촬영을 유도하는 피드백 또는 촬영에 관한 특정 기능을 추천하는 피드백을 포함할 수 있다. 복수의 피드백들은 우선순위를 가질 수 있다. 결정부(320)는, 복수의 피드백들의 우선순위에 따라, 사용자에게 제공 가능한 복수의 피드백들 중에서, 사용자에게 제공하기 위한 피드백을 결정할 수 있다.
Type Feedback
제1 타입 Device shake, Dirty lens, Backlight, Blurred face, Closed eyes, Tilt
제2 타입 Live focus recommend, Bixby vision recommend, Panorama recommend, Food recommend, Wide selfie recommend, Today's selfie recommend, Animated GIF recommend, Video Summary recommend, Mode Shortcut recommend
표 1은, 사용자에게 제공 가능한 복수의 피드백들의 예시를 나타낼 수 있다. 예를 들면, 사용자에게 제공 가능한 복수의 피드백들은, 제1 타입 및 제2 타입을 포함할 수 있다. 제1 타입은, 재촬영을 유도하는 피드백을 나타낼 수 있다. 제2 타입은, 촬영에 관한 특정 기능을 추천하는 피드백을 나타낼 수 있다. 제2 타입은, 촬영 모드(shooting mode)를 추천하는 피드백을 나타낼 수 있다.
예를 들면, 전자 장치(101)에서, 제1 타입의 피드백이, 제2 타입의 피드백보다 우선적으로 제공될 수 있다. 즉, 제1 타입의 피드백이, 제2 타입의 피드백보다 우선순위가 높을 수 있다. 또한, 제1 타입에 포함되는 복수의 피드백들도 우선순위를 가질 수 있으며, 제2 타입에 포함되는 복수의 피드백들도 우선순위를 가질 수 있다.
이하에서, 다양한 실시예들에 따른 프로세서(300)의 동작의 예시로써, 제1 타입의 피드백의 제공과 관련하여 프로세서(300)의 동작이 기술된다.
프로세서(300)는, 사용자에게 제공하기 위한 피드백을 결정하기 위해, 복수의 파라미터들을 이용하여, 이미지가 역광(backlight)을 포함하는지 여부, 렌즈에 이물(dirt)이 묻었는지 여부, 전자 장치(101)가 흔들렸는지 여부, 이미지에 포함된 얼굴이 흔들렸는지 여부, 이미지에 포함된 사람이 눈을 감았는지 여부, 또는 이미지의 수평이 기울어졌는지 여부 등과 같은 항목들을 판단할 수 있다. 상술한 바와 같은 항목들에 대한 판단의 결과에 따라, 전자 장치(101)는, 사용자에게 이미지의 재촬영을 유도하는 피드백을 제공할 수 있다. 예를 들어, 전자 장치(101)는, 사진이 흔들린 것을 판단한 것에 응답하여, "사진이 흔들렸어요. 카메라를 잘 잡고 촬영해 보세요."라는 가이던스(guidance)를 출력할 수 있다.
프로세서(300)는, 상술한 바와 같은 항목들 각각을 판단하기 위해, (분석부(310)에서 획득된) 복수의 파라미터들 중 하나 이상의 파라미터들을 이용할 수 있다. 예를 들면, 상술한 바와 같은 항목들 각각을 판단하기 위해, 복수의 파라미터들이 각각 가중치(weight)를 가지고 적용될 수 있다.
일 실시예에 따르면, 프로세서(300)는, 이미지에 포함된 얼굴이 흔들렸는지 여부를 판단하기 위해, 분석부(310)에서 획득된 복수의 파라미터들을 (가중치와 함께) 이용할 수 있다. 예를 들면, 프로세서(300)는, 복수의 파라미터들을 이용하여, 전자 장치(101)가 흔들리지 않은 것을 식별하고, 이미지가 얼굴을 포함하는 장면(scene)임을 식별하고, 및 이미지에 포함된 얼굴이 흐린(blur) 것을 식별하는 것에 기반하여, 이미지에 포함된 얼굴이 흔들렸음을 결정할 수 있다. 즉, 사진 촬영의 대상(즉, 얼굴)이 움직인 것으로 결정할 수 있다. 프로세서(300)는, 얼굴이 흔들렸음을 결정하는 것에 응답하여, "Blurred face"에 대한 피드백에 대응하는 가이던스(guidance)를 제공할 수 있다. 다만, 이에 한정되지 않는다.
도 4의 단계 420을 참조하면, 프로세서(300)는, 상술한 바와 같은 항목들을, 우선순위에 따라 순차적으로 판단할 수 있다.
Priority Feedback Priority Feedback Priority Feedback
1 Device shake 6 Tilt 11 Wide selfie recommend
2 Dirty lens 7 Live focus recommend 12 Today's selfie recommend
3 Backlight 8 Bixby vision recommend 13 Animated GIF recommend
4 Blurred face 9 Panorama recommend 14 Video Summary recommend
5 Closed eyes 10 Food recommend 15 Mode Shortcut recommend
표 2는, 사용자에게 제공 가능한 복수의 피드백들의 우선순위의 예시를 나타낼 수 있다. 다만 이에 한정되지 않는다. 예를 들면, 초기에는 지정된 우선순위가 저장되고, 이후 사용에 따라 우선순위가 적응적으로 변경될 수 있다.
프로세서(300)는, 제1 순위의 피드백을 위한 조건이 만족되는지 여부를 가장 먼저 판단할 수 있다. 프로세서(300)는, 제1 순위의 피드백을 위한 조건이 만족되면, 제2 순위의 피드백을 위한 조건이 만족되는지 여부를 판단하지 않고, 제1 순위의 피드백에 대응하는 가이던스를 제공할 수 있다. 프로세서(300)는, 제1 순위의 피드백을 위한 조건이 만족되지 않는 경우에만, 제2 순위의 피드백을 위한 조건이 만족되는지 여부를 판단할 수 있다. 상술한 바와 같이 우선순위를 둠으로써, 메모리 또는 리소스 사용을 최소화할 수 있고, 사용자에게 최적의 피드백을 제공할 수 있다.
예를 들면, 재촬영을 유도하는 제1 타입의 피드백이, 특정 기능을 추천하는 제2 타입의 피드백보다 우선적으로 제공될 수 있다. 이를 위하여, 프로세서(300)는, 제1 타입의 피드백을 제공하기 위한 조건이 만족되는지 여부를, 제2 타입의 피드백을 제공하기 위한 조건이 만족되는지 여부보다, 먼저 판단할 수 있다.
결정부(320)는, 상술한 바와 같이, 복수의 피드백들의 우선순위에 기반하여, 사용자에게 제공하기 위한 하나의 피드백을 출력(output)할 수 있다. 프로세서(300)는, 상기 피드백에 대응하는 가이던스(guidance)를, 디스플레이(예: 표시 장치(160))을 통해 표시할 수 있다.
피드백이 제공되는 시점 또는 가이던스가 표시되는 시점은 다양할 수 있다. 예를 들면, 프로세서(300)는, 카메라 어플리케이션에 진입한 뒤, 지정된 시간이 경과된 시점에 피드백을 제공할 수 있다. 프로세서(300)는, 프리뷰 상태에서 지정된 시간 동안 전자 장치(101)의 자세(posture)가 유지되는 것을 식별하는 것에 응답하여 피드백을 제공할 수 있다. 프로세서(300)는, 단일 이미지를 촬영하는 것에 응답하여 피드백을 제공할 수 있다. 프로세서(300)는, 버스트 이미지를 촬영하는 것에 응답하여 (예를 들면, n장 이상의 버스트 촬영이 완료된 시점에) 피드백을 제공할 수 있다. 프로세서(300)는, 동영상을 촬영하는 것에 응답하여 (예를 들면, n초 이상의 동영상 촬영이 완료된 시점에) 피드백을 제공할 수 있다.
일 실시예에 따르면, 피드백이 제공되는 시점은, 피드백의 종류에 따라 달라질 수 있다. 예를 들면, "Dirty lens"에 대한 피드백은, 카메라 어플리케이션에 진입한 뒤 지정된 시간이 경과된 시점에 제공될 수 있다. "Backlight"에 대한 피드백은, 프리뷰 상태에서 지정된 시간 동안 전자 장치(101)의 자세(posture)가 유지되는 경우 제공되거나, 단일 이미지를 촬영하는 것에 응답하여 제공될 수 있다. "Animated GIF recommend" 피드백은, 버스트 촬영이 완료된 시점에 제공될 수 있다.
피드백을 제공하는 동작은, 디스플레이를 통해 피드백에 대응하는 가이던스를 표시하는 동작을 포함할 수 있다.
프로세서(300)는, 상기 가이던스에 대한 사용자의 응답을 수신할 수 있다. 상기 가이던스에 대한 사용자의 응답은, 긍정적 응답과 부정적 응답을 포함할 수 있다. 긍정적 응답은, 가이던스에서 제안(또는 추천)하는 기능을 적용하기 위한 버튼 또는 아이콘에 대한 터치 입력일 수 있다. 부정적 응답은, 가이던스를 무시하거나 상기 가이던스를 제거하기 위한 사용자 입력일 수 있다.
프로세서(300)는, 사용자 응답 관리부(330)를 이용하여, 사용자의 응답에 관한 데이터를 저장 및 관리할 수 있다. 프로세서(300)는, 전자 장치(101)에서 제공한 피드백과 그에 대한 사용자의 응답을 연계하여 저장할 수 있다. 프로세서(300)는, 저장된 데이터에 기반하여, 복수의 피드백들의 우선순위를 적응적으로(adaptively) 변경할 수 있다. 예를 들면, 프로세서(300)는, 긍정적 응답이 많이 수신된 피드백의 우선순위를, 부정적 응답이 많이 수신된 피드백의 우선순위보다 높게 설정할 수 있다. 적응적으로 변경된 우선순위는 다시 결정부(320)가 사용자에게 제공하기 위한 피드백을 식별할 때 이용될 수 있다.
프로세서(300)는, 어떤 피드백에 대하여 부정적 응답이 수신된 경우, 지정된 시간 동안 상기 피드백을 검출하지 않거나 제공하지 않을 수 있다.
도 5는, 다양한 실시예들에 따른 전자 장치(101)의 동작의 예를 도시한다. 도 5에 도시된 동작들은, 프로세서(300)(즉, 프로세서(120) 또는 이미지 시그널 프로세서(260) 중 적어도 하나)에 의해 수행될 수 있다.
도 5를 참조하면, 동작 501에서, 프로세서(300)는, 이미지를 획득할 수 있다. 예를 들면, 프로세서(300)는, 카메라 어플리케이션을 통해 프리뷰 이미지를 표시하는 동안 복수의 이미지들을 획득할 수 있다. 프로세서(300)는, 이미지를 촬영하는 것에 응답하여, 촬영된 이미지를 획득할 수도 있다. 예를 들면, 프로세서(300)는, 촬영된 단일 이미지, 촬영된 버스트 이미지, 촬영된 동영상에 관한 복수의 이미지들을 획득할 수 있다. 프로세서(300)는, 이미지와 함께, 이미지에 대한 메타데이터, 또는 전자 장치(101)에 관한 장치 정보를 획득할 수 있다.
동작 502에서, 프로세서(300)(예: 분석부(310))는, 이미지의 획득과 관련된 복수의 파라미터들을 획득할 수 있다. 프로세서(300)는, 프리뷰 상태에서 획득되는 이미지들에 대하여 또는 촬영된 이미지에 대하여, 복수의 파라미터들을 획득할 수 있다. 예를 들면, 복수의 파라미터들은, 이미지의 역광(backlight)의 정도에 대한 파라미터, 렌즈에 이물(dirt)이 묻었는지 여부를 식별하기 위한 파라미터, 이미지의 조도에 관한 파라미터, 이미지가 어떤 장면(scene)인지에 관한 파라미터, 이미지가 흐린(blur) 정도에 관한 파라미터, 전자 장치(101)의 수평의 정도에 관한 파라미터, 전자 장치(101)의 흔들림(shake) 정도에 관한 파라미터, 이미지에 포함된 얼굴의 흐림 정도에 관한 파라미터, 또는 이미지에 포함된 사람이 눈을 감은 정도에 관한 파라미터 중 적어도 하나를 포함할 수 있다. 다만, 이에 한정되지 않는다.
동작 503에서, 프로세서(300)(예: 결정부(320))는, 복수의 파라미터들에 기반하여, 사용자에게 제공 가능한 복수의 피드백들 중에서 사용자에게 제공하기 위한 피드백을 식별할 수 있다. 프로세서(300)는, 상기 복수의 피드백들의 우선순위에 따라, 사용자에게 제공하기 위한 피드백을 식별할 수 있다.
복수의 피드백들은 예를 들면, 재촬영을 유도하는 피드백 또는 촬영에 관한 특정 기능을 추천하는 피드백을 포함할 수 있다. 재촬영을 유도하는 피드백은, "Device shake"에 대한 피드백, "Dirty lens"에 대한 피드백, "Backlight"에 대한 피드백, "Blurred face"에 대한 피드백, "Closed eyes"에 대한 피드백, 또는 "Tilt""에 대한 피드백 중 적어도 하나를 포함할 수 있다. 촬영에 관한 기능을 추천하는 피드백은, 촬영 모드(shooting mode)를 추천하는 피드백을 포함할 수 있다. 촬영에 관한 기능을 추천하는 피드백은, "Live focus recommend", "Bixby vision recommend", "Panorama recommend", "Food recommend", "Wide selfie recommend", "Today's selfie recommend", "Animated GIF recommend", "Video Summary recommend", "Mode Shortcut recommend" 중 적어도 하나를 포함할 수 있다. 다만 이에 한정되지 않는다.
복수의 피드백들은 우선순위를 가질 수 있다. 예를 들면, 재촬영을 유도하는 피드백은, 촬영에 관한 기능을 추천하는 피드백보다 우선할 수 있다. 프로세서(300)는, 복수의 피드백들 중에서 우선순위가 높은 피드백이 요구되는지 여부를 우선적으로 식별(또는 판단)할 수 있다. 예를 들어, 제1 피드백이 제2 피드백보다 우선순위가 높은 경우, 프로세서(300)는, 제1 피드백이 요구되는지 여부를 제2 피드백이 요구되는지 여부보다 먼저 판단할 수 있다. 제1 피드백이 요구되는 경우, 프로세서(300)는, 사용자에게 제공하기 위한 피드백을 제1 피드백으로 식별할 수 있다. 제1 피드백이 요구되지 않는 경우, 프로세서(300)는, 제2 피드백이 요구되는지 여부를 식별하고, 제2 피드백이 요구되는 경우 사용자에게 제공하기 위한 피드백을 제2 피드백으로 식별할 수 있다.
예를 들어, 프로세서(300)는, 제1 피드백이 요구되는지 여부를 판단하기 위하여, 동작 502에서 획득된 복수의 파라미터들 중 하나 이상을 이용할 수 있다. 예를 들면, 프로세서(300)는, 복수의 파라미터들 중 하나 이상에 대하여 가중치를 적용함으로써, 제1 피드백이 요구되는지 여부를 판단할 수 있다.
일 실시예에 따르면, 프로세서(300)는, 동작 502에서 획득된 복수의 파라미터들 중 하나 이상을 이용하여, "Blurred face"에 대한 피드백이 요구되는지 여부를 판단할 수 있다. 예를 들면, 프로세서(300)는, 전자 장치(101)가 지정된 수준 미만으로 흔들리고, 장면(scene) 분석 결과 얼굴(face)을 식별하고, 이미지에 포함된 얼굴이 흐린(blur) 것을 식별하는 것에 기반하여, "Blurred face"에 대한 피드백이 요구됨을 판단할 수 있다.
프로세서(300)(예: 결정부(320))는, 상술한 바와 같이, 복수의 피드백들의 우선순위에 따라, 복수의 피드백들 중에서 사용자에게 제공하기 위한 하나의 피드백을 식별할 수 있다.
동작 504에서, 프로세서(300)는, 식별된 피드백에 대응하는 가이던스(guidance)를 표시할 수 있다. 프로세서(300)는 디스플레이(160)를 통해, 카메라 어플리케이션 화면 내에서 상기 가이던스(guidance)를 표시할 수 있다. 다만 이에 한정되지 않는다. 예를 들면, 프로세서(300)는, 식별된 피드백에 대응하는 가이던스를, 스피커를 통해 출력할 수도 있다.
프로세서(300)는, 프리뷰 이미지를 표시하는 동안 및/또는 이미지를 촬영하는 것에 응답하여, 가이던스를 제공할 수 있다. 예를 들면, 프로세서(300)는, 카메라 어플리케이션에 진입한 뒤 지정된 시간이 경과된 시점에, 또는 프리뷰 상태에서 지정된 시간 동안 전자 장치(101)의 자세(posture)가 유지되는 것을 식별하는 것에 응답하여 가이던스를 표시할 수 있다. 프로세서(300)는, 단일 이미지, 버스트 이미지, 또는 동영상을 촬영하는 것에 응답하여 가이던스를 표시할 수 있다.
다양한 실시예들에 따른 전자 장치(101)는, 이미지 촬영과 관련하여 복수의 피드백들을 제공할 수 있는 상황이더라도, 우선순위를 이용함으로써 최적의 피드백을 사용자에게 제공할 수 있다.
도 6은, 다양한 실시예들에 따른 전자 장치(101)에서 사용자에게 제공하기 위한 피드백을 식별하는 동작의 예를 도시한다. 도 6에 도시된 동작들은, 프로세서(300)(즉, 프로세서(120) 또는 이미지 시그널 프로세서(260) 중 적어도 하나)에 의해 수행될 수 있다.
도 6을 참조하면, 동작 601에서, 프로세서(300)(예: 분석부(310))는, 이미지의 획득과 관련된 복수의 파라미터들을 획득할 수 있다. 프로세서(300)는, 프리뷰 상태에서 획득되는(being acquired) 이미지들에 대하여 복수의 파라미터들을 획득할 수 있다. 프로세서(300)는, 촬영된 이미지(예: 단일 이미지, 버스트 이미지, 동영상)에 대하여 복수의 파라미터들을 획득할 수 있다. 동작 601은, 도 5의 동작 502에 대응할 수 있다.
동작 602에서, 프로세서(300)는, 사용자에게 제공 가능한 복수의 피드백들을 결정하거나 또는 상기 복수의 피드백들의 우선순위를 결정할 수 있다. 사용자에게 제공 가능한 복수의 피드백들 또는 복수의 피드백들의 우선순위는, 이미지를 획득하는 상황에 따라 적응적으로(adaptively) 변경될 수 있다.
다양한 실시예들에서, 사용자에게 제공 가능한 복수의 피드백들은, 입력된 이미지가, 프리뷰 이미지, 촬영된(captured) 단일 이미지, 버스트(burst) 이미지, 및 동영상 중에서 무엇인지 여부에 따라 달라질 수 있다. 예를 들면, 프리뷰 이미지를 획득하는 동안에는, "Device shake", "Blurred face", "Closed eyes", 또는 "Tilt"에 대한 피드백이 요구되지 않을 수 있다. 따라서, 입력된 이미지가 프리뷰 이미지인 경우에는, 프로세서(300)는, "Device shake", "Blurred face", "Closed eyes", 또는 "Tilt"에 대한 피드백을, 복수의 피드백들에서 제외시키거나 또는 우선순위를 후순위로 변경할 수 있다. 다른 예를 들면, 프로세서(300)는, 입력된 이미지가 동영상인 경우, "Video Summary recommend" 피드백의 우선순위를 높일 수 있다. 프로세서(300)는, 입력된 이미지가 버스트 이미지인 경우, "Animated GIF recommend" 피드백의 우선순위를 높일 수 있다.
다양한 실시예들에서, 복수의 피드백들의 우선순위는, 이미지가 어떤 장면(scene)인지에 따라 적응적으로 변경될 수 있다. 프로세서(300)는, 분석부(310)를 이용하여 획득된 복수의 파라미터들 중에서, 이미지가 어떤 장면(scene)인지에 관한 파라미터에 기반하여, 복수의 피드백들의 우선순위를 변경할 수 있다. 예를 들면, 이미지가 얼굴(face)을 포함하는 장면임을 식별하는 것에 응답하여, 프로세서(300)는, "Wide selfie recommend" 피드백의 우선순위를 높일 수 있다. 이미지가 풍경(landscape)을 포함하는 장면임을 식별하는 것에 응답하여, 프로세서(300)는, "Panorama recommend" 피드백의 우선순위를 높일 수 있다. 이미지가 음식(food)을 포함하는 장면임을 식별하는 것에 응답하여, 프로세서(300)는, "Food recommend" 피드백의 우선순위를 높일 수 있다.
다양한 실시예들에서, 복수의 피드백들의 우선순위는, 전면 카메라(front camera)로 획득된 이미지인지, 후면 카메라(rear camera)로 획득된 이미지인지 여부에 따라 적응적으로 변경될 수 있다. 프로세서(300)는, 입력된 메타데이터에 기반하여, 입력된 이미지가 전면 카메라로 획득되었는지, 후면 카메라로 획득되었는지 여부를 식별할 수 있다. 예를 들면, 프로세서(300)는, 이미지가 전면 카메라로 획득됨을 식별하는 것에 응답하여, "Wide selfie recommend" 피드백의 우선순위를 높일 수 있다. 프로세서(300)는, 이미지가 후면 카메라로 획득됨을 식별하는 것에 응답하여, "Panorama recommend" 피드백의 우선순위를 높일 수 있다. 다만, 이에 한정되지 않는다.
이하에서, 복수의 피드백들 중 제1 피드백은 제2 피드백보다 우선순위가 높은 피드백을 나타낼 수 있다.
동작 603에서, 프로세서(300)는, 복수의 피드백들의 우선순위에 따라 제1 피드백을 제공하기 위한 조건이 만족되는지 여부를 식별할 수 있다. 제1 피드백을 위한 조건이 만족됨을 식별하는 경우, 프로세서(300)는, 동작 604에서, 제1 피드백에 대응하는 가이던스를 표시할 수 있다.
제1 피드백을 위한 조건이 만족되지 않음을 식별하는 경우, 프로세서(300)는, 동작 605에서, 제2 피드백을 제공하기 위한 조건이 만족되는지 여부를 식별할 수 있다. 제2 피드백을 위한 조건이 만족됨을 식별하는 경우, 프로세서(300)는, 동작 606에서, 제2 피드백에 대응하는 가이던스를 표시할 수 있다.
도시되지는 않았지만, 제2 피드백을 위한 조건이 만족되지 않음을 식별하는 경우, 프로세서(300)는, 제2 피드백보다 후순위의 우선순위를 가지는 피드백들에 대하여 동작 603 내지 동작 606에 대응하는 동작을 반복할 수 있다. 이하 표 3은, 복수의 피드백들 각각을 제공하기 위한 조건의 예시를 나타낼 수 있다.
Feedback Timing Condition Guidance
Blurred face 단일 이미지 촬영 직후 (1) 전자 장치가 흔들리지 않음을 식별 (2) 역광이 아님을 식별
(3) 이미지가 얼굴을 포함함을 인식
(4) 인식된 얼굴의 영역이 이미지 전체 영역의 지정된 비율(n %) 이상인 경우를 large face라고 했을 때, large face가 1개 이상 n개 이하임을 식별
(5) 흐림(blur)이 발생한 얼굴이 1개 이상임을 식별 		1단계: "얼굴이 흔들린 채 촬영되었어요. 다시 촬영해보세요."
2단계: "얼굴이 또 흔들렸어요. 다시 촬영해보세요."
Closed eyes 단일 이미지 촬영 직후 (1) 이미지가 얼굴을 포함함을 인식 (2) Blurred face가 아님을 식별
(3) 얼굴의 영역이 이미지 전체 영역의 지정된 비율(n %) 이상인 large face가 1개임을 인식
(4) 얼굴의 방향이, 카메라를 향하는 방향으로부터 좌우(yaw) n도 이내, 상하(pitch) n도 이내임을 식별
(5) 인식된 Eye 영역의 가로 대 세로 비율을 eye ratio라고 했을 때, 최대 eye open 상태에서 eye ratio가 25% 이상이고, 촬영된 이미지에서의 eye ratio가 최대 eye open 상태에서 eye ratio의 50% 이하임을 식별 		1단계: "눈이 감긴 채 촬영되었어요. 다시 촬영해보세요."
2단계: "눈이 또 감겼어요. 다시 촬영해보세요."
Device shake 단일 이미지 촬영 직후 자이로 센서를 이용하여 촬영된 시점에 전자 장치가 흔들린 것을 판단 (전자 장치의 흔들림 여부를 판단하기 위한 임계치(threshold)는, 노출 시간에 따라 적응적으로 변경될 수 있다.) 1단계: "사진이 흔들렸어요. 카메라를 잘 잡고 촬영해보세요."
2단계: "움직이면서 촬영하면 사진이 흔들릴 수 있어요."
3단계: "선명한 사진을 위해 카메라를 잘 잡고 촬영해보세요."
Tilt 단일 이미지 촬영 직후 (1) 셀카 모드(selfie)가 아닌 경우 (2) 장면 분석 결과, 풍경에 관한 이미지임을 인식
(3) 초점 거리가 지정된 범위 이내인 경우
(4) 전자 장치가 상하로 바라보는 각도가 지정된 범위 이내(예: 30도 이내)임을 식별
(5) 전자 장치가 좌우로 기울어진 정도가 지정된 범위 이내(예: 3도 이상 25도 이내)임을 식별 		1단계(안내선이 꺼진 경우): "수직/수평 안내선을 켜고 촬영해보세요." (작용(action) 객체 제공)
2단계(안내선이 켜진 경우): "안내선을 보고 수평을 맞추고 촬영해보세요."
Back-light Preview aiming 직후 또는 단일 이미지 촬영 직후 프리뷰 이미지 또는 촬영된 이미지가 역광을 포함함을 식별 1단계(HDR이 꺼진 경우): "HDR을 켜면 역광에서 피사체가 더 밝게 나와요." (작용(action) 객체 제공)
2단계(HDR이 켜진 경우): "역광이네요. 피사체를 터치하여 밝기를 조절해보세요."
Dirty lens 카메라 진입 직후 이미지 분석에 적어도 기반하여, 렌즈에 이물(dirt)이 묻음을 식별 1단계: "카메라 렌즈를 깨끗하게 닦아주세요." 2단계: "선명한 사진을 위해 카메라 렌즈를 닦아주세요."
Panorama recommend Preview aiming 직후 또는 단일 이미지 촬영 직후 (1) 장면 분석 결과, 풍경에 관한 이미지임을 인식 (예를 들면, 장면 분석 결과, 하위 카테고리가 "open_country", "mountain", "coast", "cloud", "sunset" 중 하나임을 식별)
(2) 초점 거리가 지정된 범위 이내인 경우
(3) 전자 장치가 상하로 바라보는 각도가 지정된 범위 이내(예: 30도 이내)임을 식별
(4) 지정된 시간 동안 유사한 풍경에 관한 이미지를 연속으로 촬영함을 식별 		1단계: "파노라마 모드로 풍경을 담아보는 건 어떨까요?" (작용(action) 객체 제공)
2단계: "파노라마 모드로 멋진 풍경을 촬영해보세요." (작용(action) 객체 제공)
Food recommend Preview aiming 직후 또는 단일 이미지 촬영 직후 (1) 장면 분석 결과, 음식에 관한 이미지임을 인식 (예를 들면, 장면 분석 결과, 하위 카테고리가 "with_plate"임을 식별)
(2) 초점 거리가 지정된 범위 이상인 경우
(3) 전자 장치가 아래로 바라보는 각도가 n도 이상임을 식별 		1단계: "음식을 더 맛있게 음식 모드로 촬영해볼까요?" (작용(action) 객체 제공)
2단계: "음식 모드로 더 맛있게 촬영해보세요." (작용(action) 객체 제공)
Wide-selfie recommend Preview aiming 직후 또는 단일 이미지 촬영 직후 (1) 이미지가 얼굴을 포함함을 인식
(2) 인식된 얼굴의 영역이 이미지 전체 영역의 지정된 비율(n %) 이상인 경우를 large face라고 했을 때, large face가 지정된 개수(예: 3개) 이상임을 식별
(3) 이미지의 중심으로부터 지정된 범위의 영역을 벗어나는 얼굴이 1개 이상임을 식별. 		1단계: "여러 명이 함께 찍기 좋은 와이드 셀피 어때요?" (작용(action) 객체 제공)
2단계: "와이드 셀피로 다 함께 그룹 셀피를 찍을 수 있어요." (작용(action) 객체 제공)
Live focus recommend Preview aiming 직후 또는 단일 이미지 촬영 직후 (1) 이미지가 얼굴을 포함함을 인식
(2) 인식된 얼굴의 영역이 이미지 전체 영역의 지정된 비율 이내(예: n% 이상 m% 미만)임을 식별
(3) 인식된 얼굴의 개수가 지정된 개수(예: 1개)임을 식별
(4) 주변 조도(luminance) 값이 지정된 범위임을 식별 		1단계: "라이브 포커스 모드로 심도 있는 촬영을 해보세요." (작용(action) 객체 제공)
Bixby vision recommend Preview aiming 직후 또는 단일 이미지 촬영 직후 이미지가 문자, QR 코드, 또는 바코드를 포함함을 식별 (예를 들면, 장면 분석 결과, 카테고리가 "document", "qr_code", 또는 "barcode"임을 식별) 문자인 경우: "Bixby vision으로 텍스트를 인식해보세요." (작용(action) 객체 제공)
QR 코드인 경우: "Bixby vision으로 QR 코드를 인식해보세요." (작용(action) 객체 제공)
바코드인 경우: "Bixby vision으로 바코드를 인식해보세요." (작용(action) 객체 제공)
Today's selfie recommend 단일 이미지 촬영 직후 (1) 이미지가 얼굴을 포함함을 인식 (2) 얼굴의 영역이 이미지 전체 영역의 지정된 비율(n %) 이상임을 식별 1단계: "오늘의 셀피를 찍어볼래요?" (작용(action) 객체 제공)
Mode shortcut recommend Preview aiming 직후 또는 단일 이미지 촬영 직후 (1) 카메라 어플리케이션 진입 후 자동(auto) 모드 또는 셀피(selfie) 모드로 촬영하지 않고 바로 특정 촬영 모드(shooting mode)로 진입하는 것이 지정된 횟수 이상 누적됨을 식별
(2) 다음 회에 상기 특정 촬영 모드로 진입한 경우 발생 		1단계: "홈 화면에 모드 바로가기를 추가해 보시겠어요?" (작용(action) 객체 제공)
Animated GIF recommend 버스트 이미지 촬영 직후 버스트 이미지를 n장 이상 촬영한 경우 1단계: "움직이는 GIF로 만들어 보시겠어요?" (작용(action) 객체 제공)
Video summary recommend 동영상 촬영 직후 (1) 일반 비디오 녹화(recording)로 n초 이상 촬영한 경우 (2) 촬영된 동영상으로부터, 서머리(summary)를 추출 가능한 경우 1단계: "비디오 하이라이트를 확인해 보시겠어요?" (작용(action) 객체 제공)
표 3은, 각각의 피드백을 위한 조건의 예시를 나타낼 수 있다. 표 3의 첫 번째 열은, 제공 가능한 복수의 피드백들을 나타낼 수 있다. 두 번째 열은, 각각의 피드백이 제공되는 시점을 나타낼 수 있다. 피드백이 제공되는 시점들 중에서, preview aiming이란, 프리뷰 상태에서 지정된 시간 동안 전자 장치(101)의 자세(posture)가 유지되는 것을 나타낼 수 있다. 세 번째 열은, 각각의 피드백을 위한 조건을 나타낼 수 있다. 네 번째 열은, 각각의 피드백에 대응하는 가이던스를 나타낼 수 있다. 표 3은 예시일 뿐, 이에 한정되지 않는다.
표 3에서 Today's selfie 모드는, 날마다 selfie에 특화된 기능(예: AR sticker, stamp, filter, play selfie 등)을 추천해주는 모드를 나타낼 수 있다.
표 3에서 Mode shortcut 기능은, 사용 빈도가 높은 촬영 모드(shooting mode)에 대한 바로가기 아이콘을, 홈 화면에 생성하는 기능을 나타낼 수 있다.
표 3에서 작용(action) 객체란, 가이던스에서 추천하는 기능을 적용(또는 실행)하기 위한 객체를 나타낼 수 있다. 예를 들면, 프로세서(300)는, 작용 객체(action object)에 대한 사용자 입력(예: 터치)을 수신하는 것에 응답하여, 가이던스에서 추천하는 기능을 (심리스하게(seamlessly)) 적용 또는 실행할 수 있다.
다양한 실시예들에 따르면, 복수의 피드백들은, 검출될 때마다 제공되는 피드백 및 사용에 따라 제공 빈도가 조절되는 피드백으로 구분될 수 있다. 예를 들면, "Blurred face"에 대한 피드백 및 "Closed eyes"에 대한 피드백은, 검출될 때마다 제공될 수 있다. "Device shake", "Tilt", "Backlight", 또는 "Dirty lens"는, 사용에 따라 제공 빈도가 조절될 수 있다. 다만, 이에 한정되지 않는다. 일 실시예에 따르면, 사용자는, 검출시마다 제공되는 피드백 및 제공 빈도가 조절되는 피드백을 각각 설정할 수도 있다.
도 7은, 다양한 실시예들에 따른 전자 장치(101)에서 가이던스에 대하여 사용자의 응답을 수신하는 동작의 예를 도시한다. 도 7에 도시된 동작들은, 프로세서(300)(즉, 프로세서(120) 또는 이미지 시그널 프로세서(260) 중 적어도 하나)에 의해 수행될 수 있다. 도 7에 도시된 동작들은, 도 5의 동작 504에 이어서 수행될 수 있다. 도 7에 도시된 동작들은, 도 6의 동작 604 또는 동작 606에 이어서 수행될 수 있다.
도 7을 참조하면, 동작 701에서, 프로세서(300)는, 사용자에게 제공하기 위한 피드백에 대응하는 가이던스를 표시할 수 있다. 동작 701은, 도 5의 동작 504에 대응할 수 있다. 가이던스는, 카메라 어플리케이션의 화면 내에서 팝업 또는 알림의 형태로 표시될 수 있다. 가이던스는, 카메라 어플리케이션의 화면 상에 플로팅(float)될 수 있다.
일부 실시예에 따르면, 촬영에 관한 기능을 추천하는 가이던스(즉, 제2 타입의 피드백에 대응하는 가이던스)는, 가이던스에서 추천하는 기능을 적용(또는 실행)하기 위한 객체(object)를 포함할 수 있다. 예를 들어, "Panorama recommend" 피드백에 대응하는 가이던스는, 파노라마 모드를 적용하기 위한 버튼 또는 아이콘을 포함할 수 있다. 프로세서(330)는, 촬영에 관한 기능을 추천하는 가이던스와, 상기 기능을 적용(또는 실행)하기 위한 객체(이하, 작용 객체(action object))를 함께 표시할 수 있다. 일부 실시예에 따르면, 재촬영을 유도하는 가이던스(즉, 제1 타입의 피드백에 대응하는 가이던스)는, 상기 작용 객체를 포함하지 않을 수 있다. 다만, 이에 한정되지 않는다.
동작 702에서, 프로세서(300)는, 가이던스에 대한 사용자의 응답을 수신할 수 있다. 가이던스에 대한 사용자의 응답은, 긍정적 응답과 부정적 응답을 포함할 수 있다. 긍정적 응답은, 가이던스에서 추천하는 기능을 적용하기 위한 작용 객체(action object)에 대한 사용자 입력일 수 있다. 예를 들면, 긍정적 응답은, 가이던스에서 추천하는 기능을 적용하기 위한 버튼 또는 아이콘에 대한 터치 입력일 수 있다. 부정적 응답은, 가이던스를 제거하기 위한 사용자 입력일 수 있다. 가이던스를 제거하기 위한 사용자 입력은, 가이던스 이외의 영역에 대한 탭(tap) 입력을 포함할 수 있다.
동작 703에서, 프로세서(300)는, 사용자의 응답에 대응하는 동작을 수행할 수 있다. 다양한 실시예들에서, 프로세서(300)는, 가이던스에 포함된 작용 객체(action object)에 대한 사용자 입력(즉, 긍정적 응답)을 수신하는 것에 응답하여, 상기 가이던스에서 추천하는 기능을 (심리스하게(seamlessly)) 적용 또는 실행할 수 있다. 상기 적용 또는 실행에 응답하여, 프로세서(300)는, 카메라 어플리케이션을 통해 상기 기능이 적용된 이미지를 표시할 수 있다. 예를 들면, 프로세서(300)는, 상기 기능이 적용된 프리뷰 이미지를 표시하거나, 또는 촬영된 이미지에 대하여 상기 기능이 적용된 이미지를 결과물로써 표시할 수 있다. 이로써, 사용자는 촬영 상황에 따라 최적의 기능을 추천받고, 추천된 기능을 바로 적용할 수 있다.
다양한 실시예들에서, 프로세서(300)는, 가이던스를 제거하기 위한 사용자 입력(즉, 부정적 응답)을 수신하는 것에 응답하여, 가이던스의 표시를 제거할 수 있다. 예를 들면, 프로세서(300)는, 가이던스 이외의 영역에 대한 탭(tap) 입력을 수신하는 것에 응답하여, 가이던스의 표시를 제거할 수 있다.
다양한 실시 예들에서, 프로세서(300)는, 가이던스를 표시하는 동안 사용자 입력을 수신하지 않을 수 있다. 프로세서(300)는, 지정된 시간 동안 가이던스와 관련된 사용자 입력이 수신되지 않는 것(즉, 부정적 응답)에 응답하여, 가이던스의 표시를 제거할 수 있다.
동작 704에서, 프로세서(300)는, 사용자의 응답에 관한 데이터를 메모리(예: 메모리(130) 또는 메모리(250))에 저장할 수 있다. 프로세서(300)는, 전자 장치(101)에서 제공한 피드백과 그에 대한 사용자의 응답을 연계하여 저장할 수 있다. 예를 들면, 프로세서(300)는, 복수의 피드백들 각각에 대한 사용자의 긍정적 응답 및 부정적 응답을 기록(또는 로깅)할 수 있다.
동작 705에서, 프로세서(300)는, 저장된 데이터에 기반하여 복수의 피드백들의 우선순위를 결정할 수 있다. 예를 들면, 프로세서는, 사용자의 응답에 관한 데이터에 기반하여 복수의 피드백들의 우선순위를 적응적으로(adaptively) 변경할 수 있다. 예를 들면, 프로세서(300)는, 특정 피드백에 대하여 긍정적 응답이 많이 수신되면, 상기 피드백의 우선순위를 높일 수 있다. 프로세서(300)는, 특정 피드백에 대하여 부정적 응답이 많이 수신되면, 상기 피드백의 우선순위를 낮출 수 있다. 변경된 우선순위는, 도 6의 동작 602에서, 프로세서(300)(예: 결정부(320))가 사용자에게 제공 가능한 복수의 피드백들을 결정하거나 또는 복수의 피드백들의 우선순위를 결정할 때 이용될 수 있다.
프로세서(300)는, 특정 피드백에 대하여 부정적 응답이 수신된 경우, 지정된 시간 동안 상기 피드백을 검출하지 않거나 제공하지 않을 수 있다.
도 8은, 다양한 실시예들에 따른 전자 장치(101)에서 재촬영을 유도하는 피드백을 제공하기 위한 화면의 예를 도시한다.
도 8을 참조하면, 전자 장치(101)는, 카메라 어플리케이션에 진입하고, 디스플레이(예: 표시 장치(160))을 통해 화면 810을 표시할 수 있다. 화면 810은, 프리뷰 이미지를 나타낼 수 있다. 전자 장치(101)는, 이미지를 촬영(capture)하기 위한 버튼(811)에 대한 입력(예: 터치)을 수신하는 것에 응답하여, 이미지를 촬영(capture)할 수 있다. 전자 장치(101)는, 이미지를 촬영하는 것에 응답하여, 촬영된 이미지를 이용하여, 도 5 또는 도 6에 도시된 동작들을 수행할 수 있다. 전자 장치(101)는, 제공 가능한 복수의 피드백들의 우선순위에 따라, "Device shake"에 대한 피드백을 사용자에게 제공하기 위한 피드백으로 식별할 수 있다. 전자 장치(101)는, 상기 식별에 기반하여, 화면 820을 표시할 수 있다. 예를 들면, 전자 장치(101)는, 이미지를 촬영하는 것에 응답하여, 화면 820을 표시할 수 있다. 화면 820은, "Device shake"에 대한 피드백에 대응하는 가이던스(821)를 포함할 수 있다. 일 실시예에 따르면, "Device shake"에 대한 피드백은, 재촬영을 유도하는 피드백으로써, 작용 객체(action object)을 포함하지 않을 수 있다. 가이던스(821)이 표시된 시점으로부터 지정된 시간이 지나면, 전자 장치(101)는, 가이던스(821)이 제거된 화면 830을 표시할 수 있다. 또는, 가이던스(821) 이외의 영역에 대한 탭(tap) 입력을 수신하는 것에 응답하여, 전자 장치(101)는, 가이던스(821)이 제거된 화면 830을 표시할 수 있다.
다만 이에 한정되지 않으며, 다른 실시예에 따르면, 가이던스(821)는 작용 객체(action object) 버튼을 포함할 수도 있다. 전자 장치(101)는, 가이던스(821)에 포함된 작용 객체에 대한 사용자 입력을 수신하는 것에 응답하여, 재촬영을 위하여, 다시 프리뷰 화면 810을 표시할 수도 있다.
도 9는, 다양한 실시예들에 따른 전자 장치(101)에서 촬영에 관한 기능을 추천하는 피드백을 제공하기 위한 화면의 예를 도시한다.
도 9를 참조하면, 전자 장치(101)는, 카메라 어플리케이션을 통해 화면 910을 표시할 수 있다.
일 실시예에 따르면, 화면 910은, 프리뷰 화면을 나타낼 수 있다. 화면 910의 프리뷰 이미지는, 역광(backlight)을 포함할 수 있다. 전자 장치(101)는, 프리뷰 상태에서 획득되는 복수의 이미지들을 이용하여, 도 5 또는 도 6에 도시된 동작들을 수행할 수 있다. 전자 장치(101)는, 제공 가능한 복수의 피드백들의 우선순위에 따라, "Backlight"에 대한 피드백을 사용자에게 제공하기 위한 피드백으로 식별할 수 있다. 예를 들면, 전자 장치(101)는, 프리뷰 상태에서 지정된 시간 동안 전자 장치(101)의 자세(posture)가 유지되는 것을 식별하는 것에 응답하여 상기 피드백을 식별할 수 있다. 전자 장치(101)는, 상기 식별에 기반하여, 화면 920을 표시할 수 있다. 화면 920은, "Backlight"에 대한 피드백에 대응하는 가이던스(921)를 표시할 수 있다. 일 실시예에 따르면, "Backlight"에 대한 피드백은, 작용 객체(922)을 포함할 수 있다. 전자 장치(101)는, 가이던스(921)에 포함된 작용 객체(922)에 대한 사용자 입력을 수신하는 것에 응답하여, HDR이 적용된 프리뷰 화면 930을 표시할 수 있다. 전자 장치(101)는, 가이던스(921)이 표시된 시점으로부터 사용자 입력 없이 지정된 시간이 지나면, 가이던스(921)을 제거할 수 있다. 또는, 전자 장치(101)는, 가이던스(921) 이외의 영역에 대한 탭(tap) 입력을 수신하는 것에 응답하여, 가이던스(921)을 제거할 수 있다.
다른 실시예에 따르면, 화면 910은, 단일 이미지를 촬영한 직후의 화면일 수 있다. 화면 910의 촬영된 이미지는, 역광(backlight)을 포함할 수 있다. 전자 장치(101)는, 촬영된 이미지를 이용하여 도 5 또는 도 6에 도시된 동작들을 수행할 수 있다. 전자 장치(101)는, 제공 가능한 복수의 피드백들의 우선순위에 따라, 촬영된 이미지가 "Backlight"에 대한 피드백이 요구됨을 식별할 수 있다. 전자 장치(101)는, 상기 식별에 기반하여, 화면 920을 표시할 수 있다. 예를 들면, 전자 장치(101)는, 화면 910을 표시한 상태에서 이미지를 촬영하는 것에 응답하여, 가이던스(921)을 포함하는 화면 920을 표시할 수 있다. 전자 장치(101)는, 작용 객체(922)에 대한 사용자 입력을 수신하는 것에 응답하여, 화면 930을 표시할 수 있다. 예를 들면, 화면 930은, HDR이 적용된 프리뷰 화면일 수 있다. 다른 예를 들면, 화면 930은, 촬영된 이미지에서 밝기가 보정된 결과 이미지를 나타낼 수도 있다.
도 10는, 다양한 실시예들에 따른 전자 장치(101)에서 재촬영을 유도하는 다른 피드백을 제공하기 위한 화면의 예를 도시한다.
도 10를 참조하면, 전자 장치(101)는, 카메라 어플리케이션에 진입하는 것에 응답하여, 화면 1010(즉, 프리뷰 화면)을 표시할 수 있다. 전자 장치(101)는, 카메라 어플리케이션에 진입하는 것에 응답하여, 프리뷰 상태에서 획득되는 복수의 이미지들을 이용하여, 렌즈에 이물(dirt)이 묻었는지 여부를 식별할 수 있다. 전자 장치(101)는, 카메라 어플리케이션에 진입한 시점으로부터 지정된 시간(예: 10초)이 경과된 뒤에, 렌즈에 이물이 묻었음을 식별할 수 있다. 따라서 전자 장치(101)는, 화면 1010을 표시한 시점으로 지정된 시간이 경과된 뒤에, "Dirty lens"에 대한 피드백에 대응하는 가이던스(1021)을 표시할 수 있다(화면 1020). 화면 1020는, 화면 1010 상에 가이던스(1021)가 플로팅된 화면을 나타낼 수 있다.
전자 장치(101)는, 가이던스(1021)이 표시된 시점으로부터 사용자 입력 없이 지정된 시간이 지나면, 가이던스(1021)이 제거된 화면 1010을 다시 표시할 수 있다. 또는, 전자 장치(101)는, 가이던스(1021) 이외의 영역에 대한 탭(tap) 입력을 수신하는 것에 응답하여, 가이던스(1021)이 제거된 화면 1010을 표시할 수 있다.
전자 장치(101)는, "Dirty lens"에 대응하는 가이던스(1021)를 표시한 시점으로부터 지정된 시간(예: 24시간) 동안은, 상기 가이던스(1021)의 표시를 제한할 수 있다. 예를 들면, 가이던스(1021)를 표시한 시점으로부터 지정된 시간 동안은, 카메라(예: 카메라 모듈(180))를 통해 획득되는 이미지로부터, 렌즈에 이물(dirt)이 묻었는지 여부를 식별하지 않을 수 있다.
전자 장치(101)는, 상기 가이던스(1021)를 표시한 시점으로부터 지정된 시간(예: 24시간)이 경과하면, 렌즈에 이물(dirt)이 묻었는지 여부를 다시 식별할 수 있다.
사용자는, 전자 장치(101)를 통해, "Dirty lens"에 대한 피드백을 제공받을 지 여부를 설정할 수도 있다. 예를 들면, 사용자는 "Dirty lens"에 대한 피드백을 제공받지 않기를 원하는 경우, 전자 장치(101)를 통해 이를 설정할 수 있다. 이를 위해, 전자 장치(101)는, "Dirty lens"에 대한 피드백의 제공 여부를 설정하기 위한 사용자 인터페이스(예: 설정 메뉴)를 제공할 수 있다. 이는, "Dirty lens"에 대한 피드백에만 한정되는 것은 아니며, 전자 장치(101)는, 복수의 피드백들 각각에 대하여 제공 여부를 설정할 수 있다.
도 11은, 다양한 실시예들에 따른 전자 장치(101)에서 촬영에 관한 기능을 추천하는 다른 피드백을 제공하기 위한 화면의 예를 도시한다.
도 11를 참조하면, 화면 1110은, 동영상을 촬영 화면을 나타낼 수 있다. 전자 장치(101)는, 동영상을 촬영하는 동안, 화면 1110을 표시할 수 있다. 전자 장치(101)는 동영상 촬영이 완료되는 것에 응답하여, (예를 들면, stop 버튼에 대한 입력에 응답하여,) 촬영된 동영상 이미지들에 대하여 도 5 또는 도 6의 동작들을 수행할 수 있다. 전자 장치(101)는, 동영상에 대한 복수의 피드백들의 우선순위에 따라, "Video Summary recommend" 피드백이 요구됨을 식별할 수 있다. 전자 장치(101)는, 상기 식별에 기반하여, 화면 1120 내에서 가이던스(1121)을 표시할 수 있다. 가이던스(1121)는, 가이던스(1121)에서 추천하는 기능을 적용(또는 실행)하기 위한 작용 객체(1122)를 포함할 수 있다. 전자 장치(101)는, 작용 객체(1122)에 대한 입력을 수신하는 것에 기반하여, 가이던스(1121)에 대응하는 기능을 수행할 수 있다. 예를 들면, 전자 장치(101)는, 작용 객체(1122)에 대한 입력을 수신하는 것에 응답하여, 촬영된 동영상과 함께, 동영상에 대한 하이라이트 영상을 저장할 수 있다. 하이라이트 영상은, 예를 들면, 동영상에 대한 장면 분석에 적어도 기반하여 식별될 수 있다. 예를 들면, 전자 장치(101)는, 동영상에서 지정된 수준 이상의 음성 신호가 포함된 프레임들을 포함하도록, 하이라이트 영상을 식별할 수 있다. 전자 장치(101)는, 동영상에서 프레임들 간의 이미지 변화량이 지정된 수준 이상인 프레임들을 포함하도록, 하이라이트 영상을 식별할 수도 있다.
도 12는, 다양한 실시예들에 따른 전자 장치(101)에서 촬영에 관한 기능을 추천하는 다른 피드백을 제공하기 위한 화면의 예를 도시한다.
도 12를 참조하면, 화면 1210은, 프리뷰 화면 또는 촬영된(captured) 이미지를 나타낼 수 있다. 전자 장치(101)는, 화면 1210에서 이미지를 획득하는 것에 응답하여, 상기 이미지에 대하여 도 5 또는 도 6의 동작들을 수행할 수 있다. 예를 들면, 전자 장치(101)는, 장면 분석에 기반하여, 이미지가 얼굴을 포함하는 장면임을 식별할 수 있다. 전자 장치(101)는, 적응적으로 결정된 복수의 피드백들의 우선순위에 따라, "Wide selfie recommend" 피드백이 요구됨을 식별할 수 있다. 전자 장치(101)는, 상기 식별에 기반하여, 화면 1220 내에서 가이던스(1221)을 표시할 수 있다. 가이던스(1221)는, 작용 객체(1222)를 포함할 수 있다. 전자 장치(101)는, 작용 객체(1222)에 대한 입력을 수신하는 것에 기반하여, 가이던스(1221)에 대응하는 기능을 수행할 수 있다. 예를 들면, 전자 장치(101)는, 작용 객체(1222)에 대한 입력을 수신하는 것에 응답하여, Wide selfie mode가 적용된 프리뷰 화면 1230을 표시할 수 있다.
도 13은, 다양한 실시예들에 따른 전자 장치(101)에서 다양한 피드백을 제공하기 위한 화면의 예를 도시한다.
도 13을 참조하면, 전자 장치(101)는, 우선순위에 따라, "backlight"에 대한 피드백이 요구됨을 식별하는 것에 응답하여, 현재의 촬영 환경이 역광 상태임을 나타내기 위한 텍스트로 구성된(configured with) 가이던스(1313)를 포함하는 화면 1310을 표시할 수 있다. 전자 장치(101)는, 우선순위에 따라, "tilt"에 대한 피드백이 요구됨을 식별하는 것에 응답하여, 현재 전자 장치(101)의 자세가 수평 상태가 아님을 나타내기 위한 텍스트로 구성된 가이던스(1323)를 포함하는 화면 1320을 표시할 수 있다. 전자 장치(101)는, 우선순위에 따라, "Panorama recommend" 피드백이 요구됨을 식별하는 것에 응답하여, 이미지의 씬(scene)이 파노라마 모드에 적합함을 나타내기 위한 텍스트로 구성된 가이던스(1333)를 포함하는 화면 1330을 표시할 수 있다. 전자 장치(101)는, 우선순위에 따라, "food recommend" 피드백이 요구됨을 식별하는 것에 응답하여, 이미지의 씬이 푸드 모드에 적합함을 나타내기 위한 텍스트로 구성된 가이던스(1343)를 포함하는 화면 1340을 표시할 수 있다.
도 14는, 다양한 실시예들에 따른 전자 장치(101)에서 복수의 이미지들을 표시하는 동안 알림에 기반하여 카메라의 촬영 모드를 변경하기 위한 동작의 예를 도시한다. 도 14에 도시된 동작들은, 프로세서(300)(즉, 프로세서(120) 또는 이미지 시그널 프로세서(260) 중 적어도 하나)에 의해 수행될 수 있다.
도 14를 참조하면, 동작 1401에서, 프로세서(300)는, 제1 촬영 모드로 설정된 카메라(예: 카메라 모듈(180))를 이용하여, 획득된 외부 객체에 대한 복수의 제1 이미지들을 디스플레이(예: 표시 장치(160))를 통해 표시할 수 있다. 제1 촬영 모드는, 예를 들면, 카메라 어플리케이션에 진입하는 것에 응답하여 자동으로 적용되도록 설정된 촬영 모드(shooting mode)일 수 있다. 제1 촬영 모드는, 자동 모드(Auto mode) 또는 셀카 모드(selfie mode) 중 하나를 포함할 수 있다. 복수의 제1 이미지들은, 프리뷰로써 획득되는 복수의 이미지들일 수 있다.
동작 1402에서, 프로세서(300)는, 상기 복수의 제1 이미지들을 표시하는 동안에, 지정된 이미지 분석 방식을 통해 분석된 상기 제1 복수의 이미지들 중 적어도 일부 이미지가 지정된 조건을 만족하는지 여부를 판단할 수 있다.
지정된 이미지 분석 방식은, 복수의 피드백들의 우선순위에 따라, 사용자에게 제공하기 위한 피드백을 식별하기 위한 방식을 나타낼 수 있다. 지정된 이미지 분석 방식은, 프리뷰 이미지에 대응하는 우선순위에 따른 분석 방식을 나타낼 수 있다. 지정된 이미지 분석 방식은, 장면 분석을 적어도 일부 포함할 수 있다.
상기 제1 복수의 이미지들 중 적어도 일부 이미지가 지정된 조건을 만족하는지 판단하는 동작은, 특정 촬영 모드(shooting mode)를 추천하는 피드백이 요구되는지 판단하는 동작을 나타낼 수 있다. 예를 들면, 지정된 조건은, 표 3에 기술된 조건에 상응할 수 있다.
예를 들면, 프로세서(300)는, 우선순위에 따라, 제1 복수의 이미지들 중 적어도 일부 이미지가, 음식을 포함하는 장면(scene)인지 여부를 판단할 수 있다. 또는 프로세서(300)는, 우선순위에 따라, 제1 복수의 이미지들 중 적어도 일부 이미지가, 풍경을 포함하는 장면(scene)인지 여부를 판단할 수도 있다. 상술한 바와 같은 판단 동작은, 장면(scene) 분석에 적어도 일부 기반할 수 있다.
동작 1403에서, 프로세서(300)는, 상기 적어도 일부 이미지가 상기 지정된 조건을 만족하는 판단에 적어도 기반하여, 상기 지정된 조건에 대응하는 제2 촬영 모드와 관련된 알림을, 디스플레이를 통해 표시할 수 있다.
예를 들면, 프로세서(300)는, 제1 복수의 이미지들 중 적어도 일부 이미지가, 음식을 포함하는 장면(scene)임을 판단하는 것에 적어도 기반하여, 복수의 피드백들의 우선순위에 따라, "Food recommend" 피드백이 요구됨을 결정할 수 있다. 프로세서(300)는, "Food recommend" 피드백이 요구되는 것을 판단하는 것에 기반하여, "Food recommend"와 관련된 알림을 표시할 수 있다. 이 경우, 동작 1403에서 제2 촬영 모드는 음식 모드(food mode)일 수 있다. 제2 촬영 모드와 관련된 알림은, "Food recommend" 피드백에 대응하는 가이던스(guidance)일 수 있다.
동작 1404에서, 프로세서(300)는, 알림과 관련된 입력에 적어도 기반하여, 제2 촬영 모드로 카메라를 설정할 수 있다. 알림과 관련된 입력은, 알림(또는 가이던스)에서 추천하는 기능을 적용하기 위한 사용자 입력을 나타낼 수 있다. 예를 들면, 알림과 관련된 입력은, 알림(또는 가이던스)에 포함된 작용 객체(action object)에 대한 사용자 입력을 포함할 수 있다.
예를 들면, 프로세서(300)는, "Food recommend" 피드백에 대응하는 가이던스(guidance)에 포함된 작용 객체에 대한 사용자 입력에 적어도 기반하여, 음식 모드로 카메라를 설정할 수 있다.
동작 1405에서, 프로세서(300)는, 제2 촬영 모드로 설정된 카메라를 이용하여 획득된 상기 외부 객체에 대한 복수의 제2 이미지들을 디스플레이를 통해 표시할 수 있다. 복수의 제2 이미지들은, 카메라가 제2 촬영 모드로 설정된 상태에서 디스플레이에 표시되는 프리뷰 이미지일 수 있다.
예를 들면, 프로세서(300)는, 음식 모드로 설정된 상태에서 획득되는(being acquired) 복수의 제2 이미지들을, 디스플레이를 통해 표시할 수 있다.
도 14에 도시된 동작들은, 프리뷰 상태에서, 지정된 이미지 분석 방식에 기반하여, 촬영에 관한 기능을 추천하는 피드백을 제공하는 동작에 상응할 수 있다.
도 15는, 다양한 실시예들에 따른 전자 장치(101)에서 우선순위에 따라 분석된 이미지에 대하여 알림을 제공하기 위한 동작의 예를 도시한다. 도 15에 도시된 동작들은, 프로세서(300)(즉, 프로세서(120) 또는 이미지 시그널 프로세서(260) 중 적어도 하나)에 의해 수행될 수 있다.
도 15를 참조하면, 동작 1501에서, 프로세서(300)는, 카메라(예: 카메라 모듈(180))를 이용하여, 외부 객체에 대한 복수의 이미지들을 획득할 수 있다. 복수의 이미지들은, 프리뷰 상태에서 획득되는 복수의 이미지들일 수 있다.
동작 1502에서, 프로세서(300)는, 상기 복수의 이미지들을 획득하는 적어도 일부 동안, 상기 복수의 이미지들 중 적어도 일부 이미지를 디스플레이를 통해 표시할 수 있다.
동작 1503에서, 프로세서(300)는, 상기 적어도 일부 이미지를 표시하는 동안에, 제1 지정된 이미지 분석 방식을 통해 분석된 상기 적어도 일부 이미지들이, 제1 지정된 조건에 대응하면, 제1 지정된 조건과 관련된 제1 알림을 디스플레이를 통해 표시할 수 있다.
제1 지정된 이미지 분석 방식은, 프리뷰 이미지에 대한 이미지 분석 방식을 나타낼 수 있다. 예를 들면, 제1 이미지 분석 방식은, 프리뷰 이미지에 대응하는 우선순위에 따라, 사용자에게 제공하기 위한 피드백을 식별하기 위한 이미지 분석 방식일 수 있다. 예를 들어 프리뷰 상태에서는 "Blurred face"나 "Closed eyes"에 대한 피드백이 요구되지 않을 수 있으므로, 제1 이미지 분석 방식은, "Blurred face"나 "Closed eyes"에 대한 분석 이외의 분석 방식을 포함할 수 있다.
제1 지정된 조건은, 프리뷰 이미지에 대응하는 우선순위에 따라 특정 피드백을 제공하기 위한 조건을 나타낼 수 있다. 예를 들면, 제1 지정된 조건은, 표 3에 기술된 조건에 상응할 수 있다. 제1 지정된 조건과 관련된 제1 알림은, 상기 특정 피드백에 대응하는 가이던스를 나타낼 수 있다. 즉, 프로세서(300)는, 상기 적어도 일부 이미지들이 특정 피드백을 제공하기 위한 제1 지정된 조건을 만족하면, 상기 특정 피드백에 대응하는 가이던스(또는 제1 알림)를 표시할 수 있다.
동작 1504에서, 프로세서(300)는, 상기 적어도 일부 이미지를 표시하는 동안에, 상기 복수의 이미지들 중 사용자 촬영과 관련된 입력에 따라 획득된 하나 이상의 이미지들을 메모리(예: 메모리(130) 또는 메모리(250))에 저장할 수 있다. 사용자 촬영과 관련된 입력은, 예를 들면, 촬영 버튼에 대한 입력(예: 터치)을 포함할 수 있다. 동영상 촬영의 경우, 사용자 촬영과 관련된 입력은, 촬영을 완료하기 위한 입력(예: 정지(stop) 버튼에 대한 입력)을 포함할 수 있다. 사용자 촬영과 관련된 입력에 따라 획득된 하나 이상의 이미지들은, 단일 이미지, 버스트 이미지, 또는 동영상을 포함할 수 있다.
동작 1505에서, 프로세서(300)는, 제2 지정된 이미지 분석 방식을 이용하여 분석된 상기 하나 이상의 이미지들이 제2 지정된 조건에 대응하면, 상기 제2 지정된 조건에 대응하는 제2 알림을 디스플레이를 통해 표시할 수 있다.
제2 지정된 이미지 분석 방식은, 촬영된 이미지(즉, 상기 하나 이상의 이미지들)에 대한 이미지 분석 방식을 나타낼 수 있다. 예를 들면, 촬영된 이미지가 단일 이미지인 경우, 제2 지정된 이미지 분석 방식은, 단일 이미지에 대응하는 우선순위에 따른 분석 방식일 수 있다. 촬영된 이미지가 버스트 이미지인 경우, 제2 지정된 이미지 분석 방식은, 버스트 이미지에 대응하는 우선순위에 따른 분석 방식일 수 있다. 촬영된 이미지가 동영상인 경우, 제2 지정된 이미지 분석 방식은, 동영상에 대응하는 우선순위에 따른 분석 방식일 수 있다. 제2 지정된 이미지 분석 방식은, 제1 지정된 이미지 분석 방식과 상이할 수 있다.
제2 지정된 조건은, 촬영된 이미지에 대응하는 우선순위에 따라 특정 피드백을 제공하기 위한 조건을 나타낼 수 있다. 제2 지정된 조건에 대응하는 제2 알림은, 상기 특정 피드백에 대응하는 가이던스를 나타낼 수 있다. 즉, 프로세서(300)는, 상기 하나 이상의 이미지들이 특정 피드백을 제공하기 위한 제2 지정된 조건을 만족하면, 상기 특정 피드백에 대응하는 가이던스(또는 제2 알림)를 표시할 수 있다.
도 15에 도시된 동작들은, 프리뷰 상태에서 프리뷰 이미지들이 제1 지정된 조건을 만족하면 제1 알림을 표시하고, 이후, 촬영된 하나 이상의 이미지들이 제2 지정된 조건을 만족하면 제2 알림을 표시하는 동작에 상응할 수 있다.
상술한 바와 같은 다양한 실시예들에 따른 전자 장치(예: 전자 장치(101))는, 적어도 하나의 카메라(예: 카메라 모듈(180)), 명령어들을 저장하는 적어도 하나의 메모리(예: 메모리(130)), 디스플레이(예: 표시 장치(160)), 및 적어도 하나의 프로세서(예: 프로세서(120), 이미지 시그널 프로세서(260), 및/또는 프로세서(300))를 포함하고, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 적어도 하나의 카메라를 통해 이미지를 획득하고, 상기 이미지의 획득과 관련된 복수의 파라미터들을 획득하고, 상기 획득된 복수의 파라미터들에 기반하여, 사용자에게 제공 가능한 복수의 피드백들 중에서, 상기 복수의 피드백들의 우선순위에 따라, 상기 사용자에게 제공하기 위한 피드백을 식별하고, 상기 식별된 피드백에 대응하는 가이던스를, 상기 디스플레이를 통해 표시하도록 설정될 수 있다.
다양한 실시예들에서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 획득된 이미지의 종류에 기반하여 상기 복수의 피드백들의 상기 우선순위를 결정하도록 더 설정될 수 있다.
다양한 실시예들에서, 상기 가이던스는, 촬영에 관한 기능을 추천하기 위해 표시되고, 상기 가이던스는, 상기 촬영에 관한 기능을 실행하기 위한 객체를 포함할 수 있다.
다양한 실시예들에서, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 가이던스에 대한 사용자 응답을 수신하고, 상기 수신에 응답하여, 상기 사용자 응답에 대응하는 동작을 수행하도록 더 설정될 수 있다.
예를 들면, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 식별된 피드백과 상기 가이던스에 대한 사용자 응답에 관한 데이터를 연계하여 저장하고, 상기 저장된 데이터에 기반하여, 상기 복수의 피드백들의 상기 우선순위를 결정하도록 더 설정될 수 있다.
예를 들면, 상기 가이던스에 대한 사용자 응답은, 상기 가이던스에서 추천하는 기능을 적용하기 위한 제1 사용자 응답과 상기 가이던스를 무시하기 위한 제2 사용자 응답을 포함할 수 있다.
예를 들면, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 가이던스에 대하여 제1 사용자 응답을 수신하는 것에 적어도 기반하여 상기 식별된 피드백의 우선순위를 높이고, 상기 가이던스에 대하여 제2 사용자 응답을 수신하는 것에 기반하여 상기 식별된 피드백의 우선순위를 낮추도록 설정될 수 있다.
예를 들면, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 가이던스에 대하여 상기 제1 사용자 응답을 수신하는 것에 응답하여, 상기 가이던스에서 추천하는 기능이 적용된, 상기 적어도 하나의 카메라를 통해 획득되는 이미지를 표시하도록 설정될 수 있다.
예를 들면, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시, 상기 가이던스에 대하여 상기 제2 사용자 응답을 수신한 시점으로부터 지정된 시간 동안 상기 피드백을 식별하는 것을 제한하도록 더 설정될 수 있다.
다양한 실시예들에서, 상기 적어도 하나의 카메라를 통해 획득되는 이미지는, 프리뷰로써 획득되는 복수의 이미지들, 촬영된 단일 이미지, 촬영된 버스트 이미지, 또는 촬영된 동영상 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에서, 상기 사용자에게 제공 가능한 복수의 피드백들은, 재촬영을 유도하는 피드백 또는 촬영에 관한 기능을 추천하는 피드백 중 적어도 하나를 포함할 수 있다.
예를 들면, 상기 재촬영을 유도하는 피드백의 우선순위는, 상기 촬영에 관한 기능을 추천하는 피드백의 우선순위보다 높을 수 있다.
다양한 실시예들에서, 상기 복수의 파라미터들은, 상기 이미지의 역광(backlight)의 정도에 대한 파라미터, 상기 적어도 하나의 카메라의 렌즈에 이물(dirt)이 묻었는지 여부를 식별하기 위한 파라미터, 상기 이미지의 조도에 관한 파라미터, 상기 이미지가 어떤 장면(scene)인지에 관한 파라미터, 상기 이미지가 흐린(blur) 정도에 관한 파라미터, 상기 전자 장치의 수평의 정도에 관한 파라미터, 상기 전자 장치의 흔들림(shake) 정도에 관한 파라미터, 상기 이미지에 포함된 얼굴의 흐림 정도에 관한 파라미터, 또는 상기 이미지에 포함된 사람이 눈을 감은 정도에 관한 파라미터 중 적어도 하나를 포함할 수 있다.
상술한 바와 같은 다양한 실시예들에 따른 전자 장치(예: 전자 장치(101)는, 카메라(예: 카메라 모듈(180)), 디스플레이(예: 표시 장치(160)), 메모리(예: 메모리(130)), 및 프로세서(예: 프로세서(120), 이미지 시그널 프로세서(260), 및/또는 프로세서(300))를 포함하고, 상기 프로세서는, 제1 촬영 모드로 설정된 상기 카메라를 이용하여 획득된 외부 객체에 대한 복수의 제1 이미지들을 상기 디스플레이를 통해 표시하고, 상기 복수의 제1 이미지들을 표시하는 동안에, 지정된 이미지 분석 방식을 통해 분석된 상기 복수의 제1 이미지들 중 적어도 일부 이미지가 지정된 조건(예: 촬영에 관한 기능을 추천하는 피드백을 위한 조건)을 만족하는지 여부를 판단하고, 상기 적어도 일부 이미지가 상기 지정된 조건을 만족함을 판단하는 것에 적어도 기반하여, 상기 지정된 조건에 대응하는 제2 촬영 모드와 관련된 알림(예: 가이던스)을 상기 디스플레이를 통해 표시하고, 상기 알림과 관련된 입력에 적어도 기반하여, 상기 제2 촬영 모드로 상기 카메라를 설정하고, 및 상기 제2 촬영 모드로 설정된 카메라를 이용하여 획득된 상기 외부 객체에 대한 복수의 제2 이미지들을 상기 디스플레이를 통해 표시하도록 설정될 수 있다.
다양한 실시예들에서, 상기 프로세서는, 상기 제1 촬영 모드에 더 기반하여, 상기 지정된 조건을 만족하는지 여부를 판단하도록 설정될 수 있다.
다양한 실시예들에서, 상기 프로세서는, 상기 복수의 제1 이미지들 중 적어도 일부 이미지가 다른 지정된 조건(예: 재촬영을 유도하는 피드백을 위한 조건)을 만족하는지 여부를 판단하고, 상기 복수의 제1 이미지들 중 적어도 일부 이미지가 상기 다른 지정된 조건을 만족함을 판단하는 것에 기반하여, 상기 제1 촬영 모드에 따른 촬영 가이드를 제공하도록 설정될 수 있다.
예를 들면, 상기 프로세서는, 가이드 제공과 관련된 파라미터(예: 복수의 파라미터들, 복수의 피드백들, 및/또는 복수의 피드백들의 우선순위)에 기반하여 상기 촬영 가이드를 제공하고, 상기 촬영 가이드와 관련하여 수신된 사용자 입력에 기반하여, 상기 가이드 제공과 관련된 파라미터를 조정하도록 설정된 전자 장치.
상술한 바와 같은 다양한 실시예들에 따른 전자 장치(예: 전자 장치(101))는, 카메라(예: 카메라 모듈(180)), 디스플레이(예: 표시 장치(160)), 메모리(예: 메모리(130)), 및 프로세서(예: 프로세서(120), 이미지 시그널 프로세서(260), 및/또는 프로세서(300))를 포함하고, 상기 프로세서는, 상기 카메라를 이용하여, 외부 객체에 대한 복수의 이미지들을 획득하고, 상기 복수의 이미지들을 획득하는 적어도 일부 동안, 상기 복수의 이미지들 중 적어도 일부 이미지를 상기 디스플레이를 통해 표시하고, 상기 적어도 일부 이미지를 표시하는 동안에, 제1 지정된 이미지 분석 방식을 통해 분석된 상기 적어도 일부 이미지가 제1 지정된 조건에 대응하면, 상기 제1 지정된 조건과 관련된 제1 알림(예: 가이던스)을 상기 디스플레이를 통해 표시하고, 상기 적어도 일부 이미지를 표시하는 동안에, 상기 복수의 이미지들 중 사용자 촬영과 관련된 입력에 따라 획득된 하나 이상의 이미지들을 상기 메모리를 이용하여 저장하고, 및 제2 지정된 이미지 분석 방식을 이용하여 분석된 상기 하나 이상의 이미지들이 제2 지정된 조건에 대응하면, 상기 제2 지정된 조건에 대응하는 제2 알림(예: 가이던스)을 상기 디스플레이를 통해 표시하도록 설정된 전자 장치.
다양한 실시예들에서, 상기 프로세서는, 상기 카메라에 대한 동영상 촬영과 관련된 입력을 수신하는 것에 기반하여, 상기 복수의 이미지들 중 적어도 일부의 복수의 이미지들에 대하여 동영상을 생성하고, 제3 지정된 이미지 분석 방식을 이용하여, 상기 적어도 일부의 복수의 이미지들이 제3 지정된 조건을 만족하는지 여부를 판단하고, 상기 적어도 일부의 복수의 이미지들이 상기 제3 지정된 조건을 만족함을 판단하는 것에 기반하여, 상기 제3 지정된 조건에 대응하는 제3 알림을 제공하도록 설정될 수 있다.
다양한 실시예들에서, 상기 프로세서는, 상기 저장하는 동작에 기반하여, 상기 전자 장치의 상황 정보(예: 복수의 파라미터들, 복수의 피드백들, 및/또는 복수의 피드백들의 우선순위)를 획득하고, 상기 상황 정보를 더 이용하여 상기 하나 이상의 이미지들이 상기 제2 지정된 조건을 만족하는지 여부를 판단하도록 설정될 수 있다.
한편, 본 개시의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 전자 장치에 있어서,
    적어도 하나의 카메라;
    명령어들을 저장하는 적어도 하나의 메모리;
    디스플레이; 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 적어도 하나의 카메라를 통해 이미지를 획득하고,
    상기 이미지의 획득과 관련된 복수의 파라미터들을 획득하고,
    상기 획득된 복수의 파라미터들의 적어도 일부에 기반하여, 사용자에게 제공 가능한 복수의 피드백들 중에서, 상기 복수의 피드백들의 우선순위에 따라, 상기 사용자에게 제공하기 위한 피드백을 식별하고,
    상기 식별된 피드백에 대응하는 가이던스를, 상기 디스플레이를 통해 표시하도록 설정되고,
    상기 사용자에게 제공 가능한 복수의 피드백들은, 재촬영을 유도하는 피드백 또는 촬영에 관한 기능을 추천하는 피드백 중 적어도 하나를 포함하고,
    상기 가이던스에 대한 사용자 응답을 수신하고,
    상기 수신에 응답하여, 상기 사용자 응답에 대응하는 지정된 동작을 수행하고,
    상기 식별된 피드백과 상기 가이던스에 대한 사용자 응답에 관한 데이터를 연계하여 저장하고,
    상기 저장된 데이터에 기반하여, 상기 복수의 피드백들의 상기 우선순위를 결정하도록 설정되는 전자 장치.
  2. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 획득된 이미지의 종류에 기반하여 상기 복수의 피드백들의 상기 우선순위를 결정하도록 더 설정된 전자 장치.
  3. 청구항 1에 있어서, 상기 가이던스는, 상기 카메라의 촬영과 관련된 기능의 활성화와 관련된 객체를 포함하고,
    상기 프로세서는, 상기 명령어들을 실행할 시,
    상기 가이던스와 관련된 입력의 수신에 기반하여, 상기 촬영과 관련된 기능을 활성화 하도록 설정된 전자 장치.
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    상기 가이던스에 대한 사용자 응답은,
    상기 가이던스에서 추천하는 기능을 적용하기 위한 제1 사용자 응답 또는 상기 가이던스를 무시하기 위한 제2 사용자 응답 중 적어도 하나를 포함하고,
    상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 제1 사용자 응답 또는 상기제 2 사용자 응답에 기반하여 상기 우선순위를 결정하도록 설정된 전자 장치.
  7. 청구항 6에 있어서,
    상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 가이던스에 대하여 제1 사용자 응답을 수신하는 것에 적어도 기반하여 상기 식별된 피드백의 우선순위를 높이고, 상기 가이던스에 대하여 제2 사용자 응답을 수신하는 것에 기반하여 상기 식별된 피드백의 우선순위를 낮춤으로써 상기 우선순위를 결정하도록 설정된 전자 장치.
  8. 청구항 6에 있어서,
    상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 가이던스에 대하여 상기 제1 사용자 응답을 수신하는 것에 응답하여, 상기 가이던스에서 추천하는 기능이 적용된, 상기 적어도 하나의 카메라를 통해 획득되는 이미지를 표시하도록 설정된 전자 장치,
  9. 청구항 6에 있어서,
    상기 적어도 하나의 프로세서는, 상기 명령어들을 실행할 시,
    상기 가이던스에 대하여 상기 제2 사용자 응답을 수신한 시점으로부터 지정된 시간 동안 상기 피드백을 식별하는 것을 제한하도록 더 설정된 전자 장치.
  10. 청구항 1에 있어서,
    상기 적어도 하나의 카메라를 통해 획득되는 이미지는, 프리뷰 이미지로써 획득되는 복수의 이미지들, 촬영된 단일 이미지, 촬영된 버스트 이미지, 또는 촬영된 동영상 중 적어도 하나를 포함하는 전자 장치.
  11. 삭제
  12. 청구항 1에 있어서,
    상기 재촬영을 유도하는 피드백의 우선순위는, 상기 촬영에 관한 기능을 추천하는 피드백의 우선순위보다 높은 전자 장치.
  13. 청구항 1에 있어서,
    상기 복수의 파라미터들은,
    상기 이미지의 역광(backlight)의 정도에 대한 파라미터, 상기 적어도 하나의 카메라의 렌즈에 이물(dirt)이 묻었는지 여부를 식별하기 위한 파라미터, 상기 이미지의 조도에 관한 파라미터, 상기 이미지가 어떤 장면(scene)인지에 관한 파라미터, 상기 이미지가 흐린(blur) 정도에 관한 파라미터, 상기 전자 장치의 수평의 정도에 관한 파라미터, 상기 전자 장치의 흔들림(shake) 정도에 관한 파라미터, 상기 이미지에 포함된 얼굴의 흐림 정도에 관한 파라미터, 또는 상기 이미지에 포함된 사람이 눈을 감은 정도에 관한 파라미터 중 적어도 하나를 포함하는 전자 장치.
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020180092230A 2018-08-08 2018-08-08 이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법 KR102598109B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180092230A KR102598109B1 (ko) 2018-08-08 2018-08-08 이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법
PCT/KR2019/009833 WO2020032555A1 (en) 2018-08-08 2019-08-06 Electronic device and method for providing notification related to image displayed through display and image stored in memory based on image analysis
EP19846691.4A EP3811608A4 (en) 2018-08-08 2019-08-06 ELECTRONIC DEVICE AND METHOD FOR PROVIDING NOTIFICATION REGARDING AN IMAGE DISPLAYED ON A DISPLAY AND AN IMAGE STORED IN MEMORY BASED ON IMAGE ANALYSIS
US16/536,198 US10924677B2 (en) 2018-08-08 2019-08-08 Electronic device and method for providing notification related to image displayed through display and image stored in memory based on image analysis

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180092230A KR102598109B1 (ko) 2018-08-08 2018-08-08 이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200017072A KR20200017072A (ko) 2020-02-18
KR102598109B1 true KR102598109B1 (ko) 2023-11-06

Family

ID=69406640

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180092230A KR102598109B1 (ko) 2018-08-08 2018-08-08 이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법

Country Status (4)

Country Link
US (1) US10924677B2 (ko)
EP (1) EP3811608A4 (ko)
KR (1) KR102598109B1 (ko)
WO (1) WO2020032555A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11763538B2 (en) * 2018-08-31 2023-09-19 Canon Kabushiki Kaisha Image processing apparatus and electronic apparatus
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
USD941326S1 (en) * 2019-04-16 2022-01-18 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
USD933090S1 (en) * 2019-07-31 2021-10-12 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD933097S1 (en) * 2019-10-10 2021-10-12 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD944855S1 (en) * 2020-02-05 2022-03-01 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
CN111263066B (zh) * 2020-02-18 2021-07-20 Oppo广东移动通信有限公司 构图指导方法、装置、电子设备及存储介质
WO2021230507A1 (ko) * 2020-05-12 2021-11-18 삼성전자 주식회사 영상 촬영 가이드를 제공하는 방법 또는 장치
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11431895B2 (en) * 2020-06-24 2022-08-30 International Business Machines Corporation Photography guidance based on crowdsourced photographs
US11212449B1 (en) * 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112114925B (zh) 2020-09-25 2021-09-21 北京字跳网络技术有限公司 用于用户引导的方法、装置、设备和存储介质
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
CN114528433B (zh) * 2022-01-14 2023-10-31 抖音视界有限公司 一种模板选择方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160006945A1 (en) * 2013-03-27 2016-01-07 Olympus Corporation Imaging apparatus, composition assisting apparatus, composition assisting method, and non-transitory storage medium storing composition assisting program
JP2017055182A (ja) * 2015-09-07 2017-03-16 オムロン株式会社 撮影装置、撮影方法及び撮影プログラム
WO2018092016A1 (en) * 2016-11-19 2018-05-24 Yogesh Chunilal Rathod Providing location specific point of interest and guidance to create visual media rich story

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007184733A (ja) 2006-01-05 2007-07-19 Fujifilm Corp 撮像装置及び撮影モード表示方法
KR101641513B1 (ko) 2010-10-22 2016-07-21 엘지전자 주식회사 이동 단말기의 영상 촬영 장치 및 그 방법
US8570381B2 (en) 2011-03-08 2013-10-29 Neal Solomon Multi-functional modular digital imaging system
EP2789159A4 (en) * 2011-12-07 2015-06-17 Intel Corp GUIDED IMAGE CAPTURE
US9036069B2 (en) 2012-02-06 2015-05-19 Qualcomm Incorporated Method and apparatus for unattended image capture
JP2014052426A (ja) * 2012-09-05 2014-03-20 Canon Inc 撮像装置、撮像装置の制御方法及びプログラム
US9338348B2 (en) * 2012-10-23 2016-05-10 Snapaid Ltd. Real time assessment of picture quality
US9253375B2 (en) 2013-04-02 2016-02-02 Google Inc. Camera obstruction detection
US9100572B2 (en) * 2013-05-24 2015-08-04 Xerox Corporation Methods and systems for confidence-based image processing
KR101810447B1 (ko) * 2013-07-23 2017-12-20 삼성전자주식회사 영상 촬영 장치 및 이의 촬영 방법
KR20150014226A (ko) 2013-07-29 2015-02-06 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 촬영 방법
KR102063102B1 (ko) 2013-08-19 2020-01-07 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
EP2890112A1 (en) * 2013-12-30 2015-07-01 Nxp B.V. Method for video recording and editing assistant
US10140517B2 (en) * 2014-08-06 2018-11-27 Dropbox, Inc. Event-based image classification and scoring
US9723200B2 (en) * 2014-10-15 2017-08-01 Microsoft Technology Licensing, Llc Camera capture recommendation for applications
KR102367828B1 (ko) * 2015-06-05 2022-02-25 삼성전자주식회사 이미지 운용 방법 및 이를 지원하는 전자 장치
WO2019183775A1 (zh) * 2018-03-26 2019-10-03 华为技术有限公司 一种智能辅助控制方法和终端设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160006945A1 (en) * 2013-03-27 2016-01-07 Olympus Corporation Imaging apparatus, composition assisting apparatus, composition assisting method, and non-transitory storage medium storing composition assisting program
JP2017055182A (ja) * 2015-09-07 2017-03-16 オムロン株式会社 撮影装置、撮影方法及び撮影プログラム
WO2018092016A1 (en) * 2016-11-19 2018-05-24 Yogesh Chunilal Rathod Providing location specific point of interest and guidance to create visual media rich story

Also Published As

Publication number Publication date
US10924677B2 (en) 2021-02-16
US20200053288A1 (en) 2020-02-13
KR20200017072A (ko) 2020-02-18
EP3811608A4 (en) 2021-11-24
WO2020032555A1 (en) 2020-02-13
EP3811608A1 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
KR102598109B1 (ko) 이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법
KR102338576B1 (ko) 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
CN110581948A (zh) 提供质量定制图像的电子装置及其控制方法、服务器
KR20230150925A (ko) 이미지 안정화를 위한 전자 장치 및 그의 동작 방법
US11671701B2 (en) Electronic device for recommending composition and operating method thereof
EP3718296B1 (en) Electronic device and method for controlling autofocus of camera
US11582391B2 (en) Electronic device capable of controlling image display effect, and method for displaying image
KR20190075654A (ko) 복수 개의 카메라를 포함하는 전자 장치 및 그 동작 방법
EP4096218A1 (en) Video recording method using plurality of cameras, and device therefor
KR102641738B1 (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
EP3621292B1 (en) Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof
KR20190014959A (ko) 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
KR102146856B1 (ko) 렌즈 특성 기반의 촬영 모드 제시 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 촬영 장치.
KR20190123869A (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
US20220385814A1 (en) Method for generating plurality of content items and electronic device therefor
KR20210128736A (ko) 멀티 카메라를 포함하는 전자 장치 및 촬영 방법
KR20220005283A (ko) 이미지 개선을 위한 전자장치 및 그 전자장치의 카메라 운용 방법
US8531553B2 (en) Digital photographing apparatus, method of controlling the same and computer readable medium having recorded thereon program for executing the method
KR102457559B1 (ko) 이미지에 포함된 오브젝트에 기반하여 이미지를 보정하기 위한 전자 장치 및 방법
KR20200092762A (ko) 전자 장치 및 이를 이용한 카메라의 가림을 인식하는 방법
KR20190141866A (ko) 사용자의 사진 촬영 의도를 식별하기 위한 전자 장치 및 방법
KR102661185B1 (ko) 전자 장치 및 그의 이미지 촬영 방법
KR102661983B1 (ko) 이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치
KR20210137799A (ko) 이미지 처리 방법 및 그 전자 장치
KR20200043818A (ko) 전자 장치 및 그의 이미지 촬영 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant