KR102661983B1 - 이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치 - Google Patents

이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치 Download PDF

Info

Publication number
KR102661983B1
KR102661983B1 KR1020180092707A KR20180092707A KR102661983B1 KR 102661983 B1 KR102661983 B1 KR 102661983B1 KR 1020180092707 A KR1020180092707 A KR 1020180092707A KR 20180092707 A KR20180092707 A KR 20180092707A KR 102661983 B1 KR102661983 B1 KR 102661983B1
Authority
KR
South Korea
Prior art keywords
image
electronic device
scene
processor
tag
Prior art date
Application number
KR1020180092707A
Other languages
English (en)
Other versions
KR20200017299A (ko
Inventor
조정찬
김무정
강창훈
김대희
신영일
조성훈
이경재
이서영
최병근
박지윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180092707A priority Critical patent/KR102661983B1/ko
Priority to PCT/KR2019/009516 priority patent/WO2020032464A1/en
Priority to US16/533,197 priority patent/US11076087B2/en
Publication of KR20200017299A publication Critical patent/KR20200017299A/ko
Application granted granted Critical
Publication of KR102661983B1 publication Critical patent/KR102661983B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

카메라, 메모리, 프로세서를 포함하는 전자 장치가 개시된다. 프로세서는, 카메라를 이용하여, 하나 이상의 외부 객체들에 대한 복수의 이미지들을 획득하고, 상기 복수의 이미지들을 획득하는 적어도 일부 동안, 상기 복수의 이미지들 중 하나 이상의 이미지들을 이용하여, 적어도 하나의 관심 영역 및 상기 적어도 하나의 배경 영역을 확인하고, 상기 하나 이상의 외부 객체들 중 상기 관심 영역에 포함된 적어도 하나의 제1 객체를 인식하고, 상기 하나 이상의 외부 객체들 중 상기 배경 영역에 포함된 적어도 하나의 제2 객체를 인식하여 상기 배경 영역의 유형을 확인하고, 상기 인식된 적어도 하나의 제1 객체 및 상기 유형에 적어도 기반하여, 상기 하나 이상의 이미지들에 대응하는 장면을 결정하고, 및 상기 장면에 대응하는 지정된 화질 설정을 이용하여, 상기 카메라에 연관된 화질 설정 또는 상기 하나 이상의 이미지들에 연관된 화질 설정 중 적어도 하나를 조정하도록 설정될 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시예가 가능하다.

Description

이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치{METHOD FOR PROCESSING IMAGE BASED ON SCENE RECOGNITION OF IMAGE AND ELECTRONIC DEVICE THEREFOR}
본 문서에서 개시되는 실시예들은 이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치에 관한 것이다.
이미지 기반 서비스는 이미지를 분석하여 추출된 정보에 기반하여 수행되는 서비스를 지칭할 수 있다. 사용자 경험의 향상을 위하여, 다양한 이미지 기반 서비스들이 제공될 수 있다. 예를 들어, 이미지 분석에 기반한 검색 서비스, 이미지 편집 서비스, 이미지 변환 서비스, 또는 화질 추천 서비스가 제공될 수 있다.
이미지의 분석에 기반하여, 전자 장치는 이미지의 화질을 설정할 수 있다. 예를 들어, 전자 장치는 획득된 이미지에 대한 이미지 파라미터를 변경함으로써 이미지를 보정할 수 있다. 이미지의 분석에 기반하여, 전자 장치는 최적의 촬영 환경을 추천할 수 있다. 예를 들어, 전자 장치는 이미지에 대응하는 촬영 설정 값을 이용하여 조정된 화질 설정에 따라 획득된 이미지를 사용자에게 제공할 수 있다.
전자 장치는 다양한 이미지의 화질 설정 조정 방법을 제공할 수 있다. 예를 들어, 전자 장치는 획득된 이미지의 화질 설정 조정을 위하여 다양한 필터들을 제공할 수 있다. 다른 예를 들어, 전자 장치는 이미지의 화질 설정 조정을 위하여 다양한 촬영 모드들을 제공할 수 있다. 이 경우, 필터 또는 촬영 모드의 선택으로 인한 복잡성이 증가될 수 있다.
전자 장치는 로우(raw) 데이터에 기반하여 이미지 분석을 수행할 수 있다. 로우 데이터에 기반한 이미지 분석의 경우, 이미지가 가진 컨텍스트(context) 정보가 아닌 이미지의 픽셀 값에 기반하여 이미지가 분석될 수 있다. 따라서, 로우 데이터에 기반한 이미지 분석에 있어서, 전자 장치는 사용자의 컨텍스트에 대응하지 않는 결과를 제공할 수 있다.
본 문서의 다양한 실시예들에서, 사용자의 컨텍스트에 대응하는 이미지 보정 방법이 제공될 수 있다.
본 문서의 일 실시예에 따른 전자 장치는, 카메라, 메모리, 상기 카메라 및 상기 메모리에 작동적으로(operatively) 연결된 프로세서를 포함하고, 상기 프로세서는 상기 카메라를 이용하여, 하나 이상의 외부 객체들에 대한 복수의 이미지들을 획득하고, 상기 복수의 이미지들을 획득하는 적어도 일부 동안, 상기 복수의 이미지들 중 하나 이상의 이미지들을 이용하여, 적어도 하나의 관심 영역 및 상기 적어도 하나의 배경 영역을 확인하고, 상기 하나 이상의 외부 객체들 중 상기 관심 영역에 포함된 적어도 하나의 제1 객체를 인식하고, 상기 하나 이상의 외부 객체들 중 상기 배경 영역에 포함된 적어도 하나의 제2 객체를 인식하여 상기 배경 영역의 유형을 확인하고, 상기 인식된 적어도 하나의 제1 객체 및 상기 유형에 적어도 기반하여, 상기 하나 이상의 이미지들에 대응하는 장면을 결정하고, 및 상기 장면에 대응하는 지정된 화질 설정을 이용하여, 상기 카메라에 연관된 화질 설정 또는 상기 하나 이상의 이미지들에 연관된 화질 설정 중 적어도 하나를 조정하도록 설정될 수 있다.
또한, 본 문서의 일 실시예에 따른 전자 장치는, 카메라, 디스플레이, 상기 카메라 및 상기 디스플레이에 작동적으로(operatively) 연결된 프로세서, 및 상기 프로세서에 작동적으로 연결된 메모리를 포함하고, 상기 메모리는 실행되었을 때 상기 프로세서로 하여금: 이미지를 획득하고, 상기 획득된 이미지의 일부 영역으로부터 적어도 하나의 객체를 식별하고, 상기 식별된 적어도 하나의 객체에 대응하는 적어도 하나의 제1 태그를 식별하고, 상기 획득된 이미지의 전체 영역에 대응하는 적어도 하나의 제2 태그를 식별하고, 상기 적어도 하나의 제1 태그 및 상기 적어도 하나의 제2 태그의 신뢰도에 기반하여, 상기 획득된 이미지에 대응하는 장면 태그를 식별하고, 상기 장면 태그에 대응하는 적어도 하나의 화질 설정 파라미터를 이용하여 상기 카메라의 이미지 획득에 연관된 적어도 하나의 화질 설정 파라미터를 조정하도록 하는 인스트럭션들(instructions)을 포함할 수 있다.
또한, 본 문서의 일 실시예에 따른 전자 장치의 화질 설정 방법은, 이미지를 획득하는 동작, 상기 획득된 이미지의 일부 영역으로부터 적어도 하나의 객체를 식별하는 동작, 상기 식별된 적어도 하나의 객체에 대응하는 적어도 하나의 제1 태그를 식별하는 동작, 상기 획득된 이미지의 전체 영역에 대응하는 적어도 하나의 제2 태그를 식별하는 동작, 상기 적어도 하나의 제1 태그 및 상기 적어도 하나의 제2 태그의 신뢰도에 기반하여, 상기 획득된 이미지에 대응하는 장면 태그를 식별하는 동작, 및 상기 장면 태그에 대응하는 적어도 하나의 화질 설정 파라미터를 이용하여 이미지 획득에 연관된 적어도 하나의 화질 설정 파라미터를 조정하는 동작을 포함할 수 있다.
본 문서에 개시되는 다양한 실시예들에 따르면, 획득된 이미지의 컨텍스트에 부합하는 이미지의 화질 설정 조정 방법이 제공될 수 있다.
본 문서에 개시되는 다양한 실시예들에 따르면, 이미지의 유사도에 기반하여 화질 설정 파라미터들을 획득하여 전력 소모가 감소될 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 다양한 실시예들에 따른 네트워크에서 전자 장치의 블록도를 도시한다.
도 2는 다양한 실시예들에 따른 카메라 모듈을 예시하는 블록도이다.
도 3은 다양한 실시예들에 따른 전자 장치의 블록도를 도시한다.
도 4는 다양한 실시예들에 따른 장면 인식 결정 방법의 흐름도를 도시한다.
도 5는 다양한 실시예들에 따른 배경 이미지 유형 결정 방법의 흐름도를 도시한다.
도 6은 다양한 실시예들에 따른 객체 식별 방법의 흐름도를 도시한다.
도 7은 다양한 실시예들에 따른 장면 결정 방법의 흐름도를 도시한다.
도 8은 다양한 실시예들에 따른 보조 장면 결정 방법의 흐름도를 도시한다.
도 9는 다양한 실시예들에 따른 화질 설정 조정 방법의 흐름도를 도시한다.
도 10은 다양한 실시예들에 따른 장면 인식 방법의 개념도를 도시한다.
도 11은 다양한 실시예들에 따른 신뢰도 결정 방법을 설명하기 위한 이미지를 도시한다.
도 12는 다양한 실시예들에 따른 객체 인식 방법을 설명하기 위한 이미지들을 도시한다.
도 13은 다양한 실시예들에 따른 장면 결정 방법을 설명하기 위한 이미지들을 도시한다.
도 14는 다양한 실시예들에 따른 장면 결정 방법을 설명하기 위한 이미지를 도시한다.
도 15는 다양한 실시예들에 따른 화질 설정 조정 방법의 흐름도를 도시한다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)은 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스(stylus) 펜)를 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)이 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 안테나 모듈은, 일실시예에 따르면, 도전체 또는 도전성 패턴으로 형성될 수 있고, 어떤 실시예에 따르면, 도전체 또는 도전성 패턴 이외에 추가적으로 다른 부품(예: RFIC)을 더 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 하나 이상의 안테나들을 포함할 수 있고, 이로부터, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, or 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 디스플레이(160), 카메라(180), 및/또는 통신 회로(190)를 포함할 수 있다.
다양한 실시예들에 따르면, 카메라(180)는 적어도 하나의 카메라 모듈을 포함할 수 있다. 예를 들어, 카메라(180)는 복수의 카메라 모듈들을 포함하고, 프로세서(120)의 제어 하에 복수의 카메라 모듈들 중 적어도 하나의 카메라 모듈을 이용하여 이미지를 획득할 수 있다. 일 실시예에 따르면, 카메라(180)는 촬영에 연관된 복수의 파라미터들에 따라서 제어될 수 있다. 예를 들어, 촬영에 연관된 파리미터는, 광감도, 렌즈, 조리개 크기, 셔터 스피드, 포커스(focus), 노출, 색조, 색온도, 또는 화이트 밸런스(white balance) 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 디스플레이(160)의 적어도 일부에 이미지를 표시할 수 있다. 예를 들어, 프로세서(120)는 카메라(180)를 이용하여, 또는 통신 회로(190)를 이용하여 외부 전자 장치(예: 도 1의 전자 장치(104))로부터 이미지를 획득할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)는 장면 인식을 수행할 수 있다. 예를 들어, 전자 장치(101)는 이미지의 전경(예: 객체(object) 영역)과 배경(background)을 인식하고, 인식된 전경과 배경에 기반하여 장면 인식을 수행할 수 있다. 예를 들어, 전경은 객체 영역에 대응하고, 배경은 객체 영역을 포함하는 이미지의 전체 영역에 대응할 수 있다. 다른 예를 들어, 전경은 객체 영역에 대응하고, 배경은 객체 영역의 적어도 일부를 제외한 나머지 이미지의 영역에 대응할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 지정된 조건에 기반하여 장면 인식을 수행할 수 있다. 예를 들어, 전자 장치(101)는 이전 획득된 이미지와 현재 획득된 이미지 사이의 유사도에 기반하여 장면 인식을 결정할 수 있다. 다른 예를 들어, 전자 장치(101)는 지정된 시간, 카메라(180)의 상태(예: 포커스 및 노출), 또는 획득된 이미지의 밝기 중 적어도 하나에 기반하여 장면 인식을 결정할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)는 인식된 장면에 기반하여 이미지의 화질 설정을 조정할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 카메라(180)의 이미지 획득에 연관된 적어도 하나의 파라미터를 조정함으로써 화질 설정을 조정할 수 있다. 예를 들어, 전자 장치(101)는 카메라(180)의 광감도, 렌즈, 조리개 크기, 노출, 셔터 스피드, 포커스(focus), 색조, 색온도, 또는 화이트 밸런스(white balance) 중 적어도 하나를 조정할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 전자 장치(101)는 획득된 이미지의 적어도 하나의 이미지 파라미터를 조정함으로써 화질 설정을 조정할 수 있다. 예를 들어, 전자 장치(101)는 이미지의 밝기, 대비, 감마(gamma), 색조, 색공간, 선명도, 흐림(blur), 또는 색온도를 조정함으로써 이미지 보정을 수행할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)는 인식된 장면에 기반하여 이미지 검색을 수행할 수 있다. 예를 들어, 전자 장치(101)는 인식된 장면의 객체가 꽃, 동물, 새, 또는 나무에 대응하는 경우, 해당 객체의 이름을 검색할 수 있다. 다른 예를 들어, 전자 장치(101)는 인식된 장면의 객체가 음식에 대응하는 경우, 해당 음식의 이름 및/또는 레시피(recipe)를 검색할 수 있다. 다른 예를 들어, 전자 장치(101)는 인식된 장면이 거리에 대응하는 경우, 인식된 장면에 대응하는 사용자 컨텍스트(예: 길 찾기)를 추정하고, 추정된 사용자 컨텍스트에 따라서 전자 장치(101)의 현재 위치 정보를 획득할 수 있다. 다른 예를 들어, 전자 장치(101)는 이미지에 포함된 텍스트를 인식하고, 텍스트의 번역, 텍스트 검색, 및/또는 문서 스캔을 수행할 수 있다.
다양한 실시예들에 따르면, 상술된 전자 장치(101)의 동작들 중 적어도 일부는 외부 전자 장치(예: 도 1의 전자 장치(104))에 의하여 수행될 수 있다. 일 실시예에 따르면, 장면 인식은 외부 전자 장치에 의하여 수행되고, 전자 장치(101)는 장면 인식 결과를 외부 전자 장치(예: 전자 장치 (104))로부터 수신될 수 있다. 일 실시예에 따르면, 장면 인식이 외부 전자 장치에 의하여 수행되고, 전자 장치(101)는 외부 전자 장치로부터 장면 인식에 대응하는 화질 설정 파라미터를 수신할 수 있다. 일 실시예에 따르면, 장면 인식 및 화질 설정의 조정이 외부 전자 장치에 의하여 수행될 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치로부터 조정된 화질 설정에 따라서 보정된 이미지를 수신할 수 있다.
도 2는, 다양한 실시예들에 따른, 카메라 모듈(180)을 예시하는 블럭도(200)이다.
도 2를 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(210), 플래쉬(220), 이미지 센서(230), 이미지 스태빌라이저(240), 메모리(250)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(260)를 포함할 수 있다. 렌즈 어셈블리(210)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(210)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(210)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)를 형성할 수 있다. 복수의 렌즈 어셈블리(210)들 중 일부는 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 다른 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(210)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.
플래쉬(220)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 일실시예에 따르면, 플래쉬(220)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다. 이미지 센서(230)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(210) 를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일실시예에 따르면, 이미지 센서(230)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(230)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용하여 구현될 수 있다.
이미지 스태빌라이저(240)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 렌즈 어셈블리(210)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(230)를 특정한 방향으로 움직이거나 이미지 센서(230)의 동작 특성을 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 이는 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향의 적어도 일부를 보상하게 해 준다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 일실시예에 따르면, 이미지 스태빌라이저(240)은 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(180) 또는 전자 장치(101)의 그런 움직임을 감지할 수 있다. 일실시예에 따르면, 이미지 스태빌라이저(240)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있다. 메모리(250)는 이미지 센서(230)을 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 또는 높은 해상도의 이미지)는 메모리(250)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 표시 장치(160)을 통하여 프리뷰될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(250)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(260)에 의해 획득되어 처리될 수 있다. 일실시예에 따르면, 메모리(250)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(260)는 이미지 센서(230)을 통하여 획득된 이미지 또는 메모리(250)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 상기 하나 이상의 이미지 처리들은, 예를 들면, 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening)을 포함할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(260)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(230))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(260)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(250)에 다시 저장 되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 표시 장치(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 제공될 수 있다. 일실시예에 따르면, 이미지 시그널 프로세서(260)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(260)이 프로세서(120)과 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(260)에 의해 처리된 적어도 하나의 이미지는 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 표시 장치(160)를 통해 표시될 수 있다.
일실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다. 유사하게, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 전면 카메라이고, 적어도 다른 하나는 후면 카메라일 수 있다.
이하에서, 도 3 내지 도 15를 참조하여, 전자 장치(101)의 동작들이 설명된다. 상술된 바와 같이, 후술되는 전자 장치(101)의 동작들 중 적어도 일부는 외부 전자 장치(예: 도 1의 전자 장치(104))에 의하여 수행될 수 있다.
도 3은 다양한 실시예들에 따른 전자 장치(101)의 블록도(300)를 도시한다.
도 3을 참조하여, 도 3에 도시된 전자 장치(101)의 구성들은 예시적인 것으로서, 전자 장치(101)의 구성이 도 3에 도시된 구성들에 제한되는 것은 아니다. 도 3에 도시된 전자 장치(101)의 구성들은 소프트웨어 모듈일 수 있다. 예를 들어, 도 3의 전자 장치(101)의 구성들은 전자 장치(101)의 메모리(예: 도 1의 메모리(130))에 저장된 인스트럭션들이 프로세서(예: 도 1의 프로세서(120))에 의하여 실행됨으로써 생성된 소프트웨어 기능 및/또는 데이터일 수 있다.
다양한 실시예들에 따르면, 장면 인식 결정 모듈(301)은 획득된 이미지에 기반한 장면 인식 여부를 결정할 수 있다. 장면 인식 결정 모듈(301)은 다양한 기준에 기반하여 장면 인식 여부를 결정할 수 있다. 장면 인식 결정 모듈(301)은 장면 인식으로 인한 전력 소모 감소, 장면 인식의 일관성 유지, 및 장면 인식의 오류 방지를 위하여 이용될 수 있다. 일 실시예에 따르면, 장면 인식 결정 모듈(301)은 카메라 상태, 타이머, 이미지 밝기, 이미지 유사도, 또는 전자 장치(101)의 움직임 정보에 적어도 기반하여 장면 인식 여부를 결정할 수 있다.
일 실시예에 따르면, 장면 인식 결정 모듈(301)은 카메라(예: 도 1의 카메라(180))의 상태에 적어도 기반하여 장면 인식을 결정할 수 있다. 예를 들어, 장면 인식 결정 모듈(301)은 카메라가 자동 노출 및 자동 포커스를 획득한 경우에 장면 인식을 결정할 수 있다. 장면 인식 결정 모듈(301)은 자동 노출의 상태가 수렴(converged)되고, 자동 포커스가 포커스된(focused) 상태이면 장면 인식을 결정할 수 있다.
일 실시예에 따르면, 장면 인식 결정 모듈(301)은 타이머에 기반하여 장면 인식을 결정할 수 있다. 예를 들어, 장면 인식 결정 모듈(301)은 가장 최근에(lastly) 수행된 장면 인식으로부터 지정된 제1 시간이 경과되지 않으면 장면 인식을 수행하지 않도록 결정할 수 있다. 이 경우, 장면 인식 결정 모듈(301)은 최근에 수행된 장면 인식으로부터 지정된 제1 시간이 경과된 후에 장면 인식을 수행하도록 결정할 수 있다. 다른 예를 들어, 장면 인식 결정 모듈(301)은 가장 최근에 수행된 장면 인식으로부터 지정된 제2 시간이 경과되면 장면 인식을 수행하도록 결정할 수 있다. 이 경우, 장면 인식 결정 모듈(301)은 지정된 제2 시간이 경과되면 이전의 장면 인식에 대한 유효기간이 만료된 것으로 간주하고, 새로운 장면 인식을 수행하도록 결정할 수 있다.
일 실시예에 따르면, 장면 인식 결정 모듈(301)은 전자 장치(101)의 움직임에 기반하여 장면 인식을 결정할 수 있다. 예를 들어, 장면 인식 모듈(301)은 전자 장치(101)의 움직임이 지정된 범위 이상이면 장면 인식을 수행하지 않도록 결정할 수 있다. 장면 인식 모듈(301)은 전자 장치(101)의 움직임이 지정된 범위 미만이면 장면 인식을 수행하도록 결정할 수 있다. 다른 예를 들어, 장면 인식 결정 모듈(301)은 전자 장치(101)의 움직임이 지정된 시간 이상 지정된 범위 미만이면 장면 인식을 수행하도록 결정할 수 있다.
일 실시예에 따르면, 장면 인식 결정 모듈(301)은 이미지의 밝기에 기반하여 장면 인식을 결정할 수 있다. 예를 들어, 장면 인식 결정 모듈(301)은 이미지의 밝기(예: 이미지의 평균 밝기)가 지정된 값 미만이면 해당 이미지에 기반한 장면 인식을 수행하지 않도록 결정할 수 있다. 장면 인식 결정 모듈(301)은 이미지의 밝기가 지정된 값 이상인 경우에 해당 이미지에 기반한 장면 인식을 수행하도록 결정할 수 있다.
일 실시예에 따르면, 장면 인식 결정 모듈(301)은 이미지 유사도에 기반하여 장면 인식을 결정할 수 있다. 예를 들어, 이전에 인식된 장면이 지정된 시간 내에 존재하는 경우, 장면 인식 모듈(301)은 이전 장면의 인식에 이용된 이전 이미지와 현재 이미지 사이의 유사도가 지정된 값 이상이면 장면 인식을 수행하지 않도록 결정할 수 있다. 장면 인식 모듈(301)은 이전 이미지와 현재 이미지 사이의 유사도가 지정된 값 미만인 경우에 장면 인식을 수행하도록 결정할 수 있다.
다양한 실시예들에 따르면, 상술된 장면 인식의 조건들은 서로 조합될 수 있다. 일 실시예에 따르면, 장면 인식 결정 모듈(301)은 지난 장면 인식으로부터 지정된 시간이 경과되면 카메라(180)의 상태를 확인할 수 있다. 이 경우, 카메라(180)의 상태가 지정된 상태(예: 자동 노출 및 자동 포커스 획득)에 대응하면, 장면 인식 결정 모듈(301)은 전자 장치(101)의 움직임 정보를 획득할 수 있다. 예를 들어, 획득된 움직임 정보가 지정된 범위 미만이면, 장면 인식 결정 모듈(301)은 이미지의 밝기 정보를 획득할 수 있다. 다른 예를 들어, 획득된 움직임 정보가 지정된 범위 미만이면, 장면 인식 결정 모듈(301)은 지정된 시간 경과 후에 카메라(180)의 상태가 지정된 상태에 대응하는지 결정하고, 카메라(180)의 상태가 지정된 상태에 대응하면 이미지의 밝기 정보를 획득할 수 있다. 획득된 밝기 정보가 지정된 값 이상이면, 장면 인식 결정 모듈(301)은 이전 이미지와의 유사도를 판단할 수 있다. 이전 이미지와의 유사도가 지정된 범위 미만이면, 장면 인식 결정 모듈(301)은 장면 인식을 수행하도록 결정할 수 있다. 다른 예를 들어, 이전에 수행된(예: 지정된 시간 내에 수행된) 장면 인식이 존재하지 않는 경우, 장면 인식 결정 모듈(301)은 이전 이미지와의 유사도와는 무관하게 장면 인식을 수행하도록 결정할 수 있다.
다양한 실시예들에 따르면, 장면 인식 모듈(303)은 전체 이미지 분석기(310) 및/또는 객체 이미지 분석기(320)를 이용하여 이미지를 분석하고, 분석된 결과를 장면 결정 모듈(305)에 전달할 수 있다. 일 실시예에 따르면, 장면 인식 모듈(303)은 이미지 내의 객체 인식(예: 사람, 동물, 꽃, 또는 나무) 결과와 이미지 전체의 의미론적(semantic) 분석을 이용하여 장면의 유형(예: 장면 태그(tag))을 결정할 수 있다.
다양한 실시예들에 따르면, 전체 이미지 분석기(310)는 이미지 전체의 특징 정보를 이용하여 이미지의 유형을 결정할 수 있다. 예를 들어, 전체 이미지 분석기(310)는 이미지의 장면 유형을 획득할 수 있다. 예를 들어, 전체 이미지 분석기(310)는 전체 이미지에 대응하는 태그(예: 의미론적 태그)를 식별할 수 있다. 일 실시예에 따르면, 전체 이미지 분석기(310)는 이미지의 객체 영역을 제외한 배경 영역에 대한 특징 정보를 이용하여 이미지의 장면 유형을 결정할 수 있다. 일 실시예에 따르면, 전체 이미지 분석기(310)의 이미지의 장면 유형은 장면을 설명하는 적어도 하나의 카테고리(예: 태그)를 포함할 수 있다. 예를 들어, 장면 유형은 산, 일출, 일몰, 풍경, 해변, 하늘, 눈, 야경, 길거리, 집안, 물가, 폭포, 도시, 그리너리(greenery), 나무, 산, 꽃밭, 또는 무효(invalid) 중 적어도 하나를 포함할 수 있다. 예를 들어, 크기가 지정된 크기보다 작아 관심 영역이 사람, 얼굴, 또는 객체로 식별되지 않는 경우에도, 전체 이미지 분석기(310)는 객체에 대응하는 유형을 검출할 수 있다.
다양한 실시예들에 따르면, 객체 이미지 분석기(320)는 이미지의 관심 영역으로부터 적어도 하나의 객체를 식별할 수 있다. 예를 들어, 객체 이미지 분석기(320)는 이미지의 일부 영역으로부터 적어도 하나의 객체를 식별할 수 있다. 예를 들어, 객체 이미지 분석기(320)는 식별된 객체에 대응하는 태그를 식별할 수 있다. 일 실시예에 따르면, 객체 이미지 분석기(320)는 얼굴 검출기(321), 사람 검출기(323), 객체 검출기(325), 및/또는 객체 식별기(327)를 포함할 수 있다.
다양한 실시예들에 따르면, 얼굴 검출기(321)는 관심 영역으로부터 얼굴을 검출할 수 있다. 일 실시예에 따르면, 얼굴 검출기(321)는 이미지로부터 지정된 조건을 만족하는 얼굴 이미지가 검출되면 장면 결정 모듈(305)에 얼굴에 대응하는 객체 정보(예: 태그)를 전달할 수 있다. 예를 들어, 얼굴 검출기(321)는 지정된 크기 이상의 얼굴이 검출되면 얼굴이 검출된 것으로 결정할 수 있다. 다른 예를 들어, 얼굴 검출기(321)는 전체 이미지에 대한 지정된 비율 이상의 얼굴 이미지가 검출되면 얼굴이 검출된 것으로 결정할 수 있다. 또 다른 예를 들어, 얼굴 검출기(321)는 얼굴 이미지가 이미지의 경계(boundaries)로부터 지정된 거리 이상 이격된 경우, 또는 얼굴 이미지가 이미지의 중앙부에 위치된 경우에 얼굴이 검출된 것으로 결정할 수 있다. 일 실시예에 따르면, 얼굴 검출기(321)는 사람의 얼굴과 사물의 얼굴(예: 마네킹 또는 석상)을 구분하기 위한 별도의 알고리즘을 수행할 수 있다.
다양한 실시예들에 따르면, 사람 검출기(323)는 관심 영역으로부터 사람을 검출할 수 있다. 예를 들어, 사람 검출기(323)는 관심 영역으로부터 사람에 대응하는 사람 영역을 검출할 수 있다. 다른 예를 들어, 사람 검출기(323)는 관심 영역으로부터 사람 영역을 검출하고, 얼굴 검출기(321)에 의하여 검출된 지정된 크기 미만의 얼굴 영역을 이용하여 사람을 검출할 수 있다. 사람 검출기(323)는 사람 영역과 얼굴 영역의 중첩도에 기반하여 사람이 검출되었는지 결정할 수 있다. 일 실시예에 따르면, 사람 검출기(323)는 사람이 검출되면, 장면 결정 모듈(305)에 사람에 대응하는 객체 정보(예: 태그)를 전달할 수 있다.
다양한 실시예들에 따르면, 객체 검출기(325)는 관심 영역으로부터 객체 영역을 식별할 수 있다. 일 실시예에 따르면, 객체 검출기는 이미지의 정보(예: 돌극성 맵(saliency map) 및/또는 인덱스 맵(index map))를 이용하여 이미지로부터 관심 영역을 식별함으로써 객체 영역을 식별할 수 있다. 예를 들어, 객체 검출기(325)는 객체에 대응하는 경계(boundary)를 식별함으로써 객체 영역을 식별할 수 있다. 일 실시예에 따르면, 객체 검출기(325)는 식별된 객체 영역이 지정된 크기 이상인 경우에 객체 영역의 정보를 객체 식별기(327)에 전달할 수 있다. 일 실시예에 따르면, 객체 검출기는 얼굴 검출기(321) 및 사람 검출기(323)에 의하여 얼굴 또는 사람이 검출되지 않은 경우에 객체 영역을 식별할 수 있다. 지정된 크기 이상의 객체 영역이 식별되지 않는 경우, 객체 검출기(325)는 장면 결정 모듈(305)에 무효(invalid)에 대응하는 태그를 전달할 수 있다.
다양한 실시예들에 따르면, 객체 식별기(327)는 객체 영역으로부터 객체를 식별할 수 있다. 예를 들어, 객체 식별기(327)는 동물, 새, 나무, 음식, 또는 꽃 등의 객체를 식별할 수 있다. 객체 식별기(327)는 식별된 객체의 정보를 장면 결정 모듈(305)에 전달할 수 있다.
다양한 실시예들에 따르면, 장면 결정 모듈(305)은 전체 이미지 분석기(310)로부터의 장면 유형(예: 태그) 및 객체 이미지 분석기(320)로부터의 객체 정보(예: 태그)에 기반하여 장면(예: 장면에 대응하는 태그)을 결정할 수 있다. 일 실시예에 따르면, 장면 결정 모듈(305)은 얼굴 검출기(321) 또는 사람 검출기(323)로부터 유의미한 얼굴 또는 사람 검출 결과가 수신되면, 해당 이미지를 인물 사진으로 결정할 수 있다. 일 실시예에 따르면, 장면 결정 모듈(305)은 객체 식별기(327)로부터 객체 정보가 수신되면, 객체에 대응하는 객체 영역의 위치 및/또는 객체의 신뢰도에 기반하여 이미지를 객체에 대응하는 사진으로 결정할 수 있다. 예를 들어, 장면 결정 모듈(305)은 객체 영역의 위치가 이미지의 중앙부에 위치한 경우 및/또는 식별된 객체에 대한 신뢰도가 지정된 값 이상인 경우에 이미지를 객체에 대응하는 사진으로 결정할 수 있다. 예를 들어, 장면 결정 모듈(305)은 전자 장치(101) 또는 외부 전자 장치(예: 도 1의 전자 장치(104))의 인식 엔진(예: 딥 네트워크(deep network))를 이용하여 식별된 이미지의 신뢰도를 결정할 수 있다. 일 실시예에 따르면, 장면 결정 모듈(305)은 이미지가 얼굴, 인물, 및 객체에 대응하지 않는 것으로 결정되면 전체 이미지 분석기(310)에 의하여 분석된 이미지의 장면 유형에 기반하여 이미지의 장면을 결정할 수 있다. 예를 들어, 장면 결정 모듈(305)은 전체 이미지 분석기(310)에 의한 장면 유형의 신뢰도가 지정된 값 이상이면 이미지의 장면을 장면 유형에 따라 결정할 수 있다.
일 실시예에 따르면, 장면 결정 모듈(305)은 전체 이미지 분석기(310)에 의하여 분석된 장면 유형에 대한 유효성(validity)을 분석할 수 있다. 예를 들어, 전체 이미지 분석기(310)에 의하여 야경에 대응하는 장면 유형이 검출된 경우, 이미지의 획득 시간이 낮이나 아침이면 장면 결정 모듈(305)은 전체 이미지 분석기(310)의 장면 유형 분석은 무시할 수 있다.
일 실시예에 따르면, 장면 결정 모듈(305)은 전체 이미지 분석기(310)로부터의 장면 유형(예: 태그)의 신뢰도 및 객체 이미지 분석기(320)로부터의 객체 정보(예: 태그)의 신뢰도에 기반하여 장면(예: 장면에 대응하는 태그)을 결정할 수 있다. 예를 들어, 객체 이미지 분석기(320)로부터 검출된 얼굴 또는 사람에 대한 신뢰도는 다른 객체 정보보다 높게 설정될 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 전체 이미지 분석기(310)로부터 분석된 장면 유형의 신뢰도를 전자 장치(101) 또는 외부 전자 장치(예: 도 1의 전자 장치(104))의 인식 엔진(예: 딥 네트워크(deep network))를 이용하여 획득할 수 있다.
다양한 실시예들에 따르면, 장면 인식 모듈(303)은 전체 이미지 분석기(310)를 객체 이미지 분석기(320)의 분석 결과에 기반하여 사용할 수 있다. 예를 들어, 장면 인식 모듈(303)은 얼굴 검출기(321)에서 지정된 크기보다 큰 유효한 얼굴 영역이 검출되면, 사람 검출기(323), 객체 검출기(325), 객체 식별기(327), 및 전체 이미지 분석기(310)를 사용하지 않을 수 있다. 다른 예를 들어, 장면 인식 모듈(303)은 객체 이미지 분석기(320)에서 얼굴 또는 사람이 검출되거나, 지정된 신뢰도 이상의 객체가 검출되면, 전체 이미지 분석기(310)를 사용하지 않을 수 있다. 장면 인식 모듈(303)은 객체 이미지 분석기(320)에서 얼굴, 사람, 및 지정된 신뢰도 이상의 객체가 검출되지 않으면 전체 이미지 분석기(310)를 이용하여 이미지의 장면 유형을 결정할 수 있다.
다양한 실시예들에 따르면, 장면 인식 모듈(303)은 전체 이미지 분석기(310)를 객체 이미지 분석기(320)와는 독립적으로 이용할 수 있다. 예를 들어, 장면 인식 모듈(303)은 객체 이미지 분석기(320)와 전체 이미지 분석기(310)를 병렬적으로 이용할 수 있다.
다양한 실시예들에 따르면, 보조 장면 결정 모듈(307)은 장면 결정 모듈(305)에 의하여 장면이 결정되지 않은 이미지에 대한 장면을 결정할 수 있다. 예를 들어, 장면 결정 모듈(305)이 장면을 결정할 수 없는 경우(예: 얼굴, 사람 및 객체가 식별되지 않고 장면 유형의 신뢰도가 지정된 범위 미만인 경우)에, 보조 장면 결정 모듈(307)은 장면 결정 모듈(305)에 의하여 식별된 장면 유형들의 상위 카테고리의 합으로 신뢰도를 결정할 수 있다. 예를 들어, 사진으로부터 장면 유형이 산, 물가, 및 해변으로 식별되고, 각각의 신뢰도가 지정된 값 미만일 수 있다. 이 경우, 보조 장면 결정 모듈은 산, 물가, 및 해변의 신뢰도의 합이 지정된 값 이상이면 산, 물가 및 해변의 상위 카테고리인 풍경으로 장면을 결정할 수 있다. 일 실시예에 따르면, 보조 장면 결정 모듈(307)은 결정된 장면의 유효성(validity)를 분석할 수 있다. 예를 들어, 보조 장면 결정 모듈(307)은 이미지의 획득 시간 및/또는 획득 장소 정보에 기반하여 결정된 장면의 유효성을 결정할 수 있다.
일 실시예에 따르면, 장면 결정 모듈(305)은 전체 이미지 분석기(310) 및 객체 이미지 분석기(320)에 의하여 도출된 가장 높은 신뢰도를 갖는 결과를 이용하여 장면을 결정할 수 있다. 보조 장면 결정 모듈(307)은 장면 결정 모듈(305)에서 고려되지 않은 결과(예: 지정된 신뢰도 미만의 장면 유형) 및 가장 높은 신뢰도를 갖는 결과를 모두 이용하여 장면을 결정할 수 있다.
예를 들어, 보조 장면 결정 모듈(307)은 생략될 수 있다. 다른 예를 들어, 보조 장면 결정 모듈(307)은 장면 결정 모듈(305)에 포함될 수 있다.
다양한 실시예들에 따르면, 화질 처리 모듈(309)은 장면 결정 모듈(305) 또는 보조 장면 결정 모듈(307)에 의하여 결정된 장면(예: 장면 태그)를 이용하여 화질 설정을 조정할 수 있다. 일 실시예에 따르면, 화질 처리 모듈(309)은 획득된 이미지에 대한 이미지 파라미터를 수정하여 화질 설정이 조정된 이미지를 생성할 수 있다. 예를 들어, 이미지 파라미터는, 밝기, 대비, 감마(gamma), 색조, 선명도, 흐림(blur), 또는 색온도 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 화질 처리 모듈(309)은 카메라(180)의 이미지 획득에 연관된 적어도 하나의 파라미터를 조정하여 화질 설정을 조정할 수 있다. 예를 들어, 이미지 획득에 연관된 적어도 하나의 파라미터는 광감도, 렌즈, 조리개 크기, 셔터 스피드, 노출, 포커스(focus), 색조, 색온도, 또는 화이트 밸런스(white balance) 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 장면 결정 모듈(305) 및 보조 장면 결정 모듈(307)로부터 유의미한 결과를 전달받지 못하면, 화질 처리 모듈(309)은 지정된 이미지 파라미터 또는 이미지 획득에 연관된 파라미터를 이용하여 화질 설정 조정을 수행할 수 있다.
도 4는 다양한 실시예들에 따른 장면 인식 결정 방법의 흐름도(400)를 도시한다.
도 4를 참조하여, 전자 장치(예: 도 1의 전자 장치(101))의 일 실시예에 따른 장면 인식 결정 방법이 설명된다. 예를 들어, 도 4의 장면 인식 결정 방법은 도 3의 장면 인식 결정 모듈(301)의 장면 인식 여부 결정의 일 예시일 수 있다.
다양한 실시예들에 따르면, 동작 405에서, 전자 장치(101)(예: 프로세서(120))는 제1 이미지를 획득할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 카메라(예: 도 1의 카메라(180))를 이용하여 제1 이미지를 획득할 수 있다. 일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 획득된 제1 이미지를 이용하여 제1 이미지에 대한 화질 설정을 조정할 수 있다.
다양한 실시예들에 따르면, 동작 410에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지를 획득할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 카메라(180)를 이용하여 제2 이미지를 획득할 수 있다. 일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 제1 이미지의 획득으로부터 지정된 시간 이후에 제2 이미지를 획득할 수 있다. 일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 카메라 상태(예: 자동 노출 및 자동 포커스 상태) 및/또는 전자 장치(101)의 움직임 정보에 기반하여 제2 이미지를 획득할 수 있다.
다양한 실시예들에 따르면, 동작 415에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지의 밝기가 지정된 범위 이상인지 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지의 밝기(예: 평균 밝기)까 지정된 제1 범위에 해당하면 제2 이미지를 유효한 이미지로 결정할 수 있다. 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지의 밝기가 지정된 제1 범위 미만의 제2 범위에 해당하면, 제2 이미지를 무효한 이미지로 결정할 수 있다. 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지가 무효한 이미지로 결정되면 새로운 제2 이미지를 획득할 수 있다.
다양한 실시예들에 따르면, 제2 이미지의 밝기가 지정된 범위 이상이면, 동작 420에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 제1 이미지와 제2 이미지 사이의 유사도가 지정된 범위 이상인지 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 제1 이미지와 제2 이미지 사이의 차이, 제1 이미지와 제2 이미지의 특징점(feature), 및/또는 제1 이미지와 제2 이미지의 상관도에 기반하여 유사도를 결정할 수 있다. 일 실시예에 따르면, 제1 이미지와 제2 이미지 사이의 유사도가 지정된 제1 범위 미만의 지정된 제2 범위에 속하면, 동작 425에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지에 기반한 장면 인식을 결정할 수 있다. 일 실시예에 따르면, 제1 이미지와 제2 이미지 사이의 유사도가 지정된 제2 범위를 초과하는 지정된 제1 범위에 속하면, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지에 대한 장면 인식을 수행하지 않도록 결정할 수 있다. 이 경우, 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 제1 이미지에 대하여 결정된 화질 설정에 따라서 제2 이미지의 화질 설정을 조정할 수 있다.
도 5는 다양한 실시예들에 따른 배경 이미지 유형 결정 방법(500)의 흐름도를 도시한다.
도 5를 참조하여, 전자 장치(예: 도 1의 전자 장치(101))의 일 실시예에 따른 배경 이미지 유형 결정 방법(예: 장면 유형)이 설명된다. 예를 들어, 도 5의 배경 이미지 유형 결정 방법은 도 3의 전체 이미지 분석기(310)의 장면 유형 결정 방법의 일 예시일 수 있다.
다양한 실시예들에 따르면, 동작 505에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지(예: 도 4의 제2 이미지)에 기반하여 적어도 하나의 태그를 식별할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지의 전체 이미지 영역으로부터 제2 이미지의 장면 유형에 대응하는 적어도 하나의 태그를 식별할 수 있다. 일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 전체 이미지 영역으로부터 식별된 적어도 하나의 태그 및 적어도 하나의 태그에 대응하는 신뢰도를 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 적어도 하나의 태그의 신뢰도를 적어도 하나의 태그에 연관된 이미지 영역이 비율에 적어도 기반하여 결정할 수 있다.
다양한 실시예들에 따르면, 동작 510에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 식별된 태그를 장면 결정 모듈(예: 도 3의 장면 결정 모듈(305)에 전달할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 적어도 하나의 태그 및 적어도 하나의 태그의 신뢰도 정보를 장면 결정 모듈에 전달할 수 있다.
예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 제 2 이미지로부터 객체가 식별되지 않은 경우에 도 5의 이미지 유형 결정 방법을 수행할 수 있다.
도 6은 다양한 실시예들에 따른 객체 식별 방법의 흐름도(600)를 도시한다.
도 6를 참조하여, 전자 장치(예: 도 1의 전자 장치(101))의 일 실시예에 따른 객체 식별 방법(예: 객체 태그)이 설명된다. 예를 들어, 도 6의 객체 식별 방법은 도 3의 객체 이미지 분석기(320)의 장면 객체 식별 방법의 일 예시일 수 있다.
다양한 실시예들에 따르면, 동작 605에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지(예: 도 4의 제2 이미지)로부터 얼굴 영역이 검출되는지 결정할 수 있다. 예를 들어, 전자 장치(101)는 제2 이미지로부터 지정된 크기(예: 지정된 비율) 이상의 유효한 얼굴 영역이 검출되면 얼굴 영역이 검출된 것으로 결정할 수 있다. 동작 607에서, 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 검출된 얼굴 영역에 대응하는 태그를 장면 결정 모듈(예: 도 3의 장면 결정 모듈(305)에 전달할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 지정된 크기 이상의 유효한 복수의 얼굴 영역들이 검출되는 복수의 얼굴 영역들에 대응하는 태그를 장면 결정 모듈(305)에 전달할 수 있다.
다양한 실시예들에 따르면, 얼굴 영역이 검출되지 않으면 동작 610에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 사람 영역이 검출되는지 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지로부터 사람에 대응하는 객체를 식별함으로써 사람 영역을 검출할 수 있다. 다른 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지로부터 검출된 사람에 대응하는 객체와, 얼굴 영역(예: 지정된 크기 미만의 얼굴 영역)의 중첩 여부에 기반하여 사람 영역을 검출할 수 있다. 일 실시예에 따르면, 동작 612에서, 사람 영역이 검출되면 전자 장치(101)(예: 도 1의 프로세서(120))는 사람 영역에 대응하는 태그를 장면 결정 모듈(305)에 전달할 수 있다.
다양한 실시예들에 따르면, 사람 영역이 검출되지 않으면 동작 615에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지로부터 객체가 검출되는지 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지로부터 지정된 크기 이상의 객체 영역이 검출되면, 동작 620에서, 객체 영역에 대응하는 객체를 식별할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 객체의 경계(boundary) 식별 및/또는 객체 영역의 특징점에 기반하여 객체를 식별할 수 있다. 일 실시예에 따르면, 동작 625에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 식별된 객체에 대응하는 태그를 장면 결정 모듈(305)에 전달할 수 있다.
일 실시예에 따르면, 동작 615에서 객체가 검출되지 않은 경우(예: 지정된 크기 미만의 객체 영역이 검출된 경우, 검출된 객체 영역의 신뢰도가 지정된 신뢰도 미만인 경우, 또는 객체 영역이 검출되지 않은 경우)에, 전자 장치(101)(예: 도 1의 프로세서(120))는 도 5와 관련하여 상술된 이미지 유형 결정 방법에 따라서 이미지 유형을 장면 결정 모듈(305)에 전달할 수 있다.
도 7은 다양한 실시예들에 따른 장면 결정 방법의 흐름도(700)를 도시한다.
도 7을 참조하여, 전자 장치(예: 도 1의 전자 장치(101))의 일 실시예에 따른 장면 결정 방법(예: 장면 태그 결정 방법)이 설명된다. 예를 들어, 도 7의 장면 결정 방법은 도 3의 장면 결정 모듈(305)의 장면 식별 방법의 일 예시일 수 있다.
다양한 실시예들에 따르면, 동작 705에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 식별된 태그로부터 적어도 하나의 장면 태그를 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 얼굴 또는 사람이 식별되면 장면 태그를 얼굴 또는 사람에 대응하는 태그로 결정할 수 있다. 다른 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 객체가 식별되면 식별된 객체의 신뢰도에 적어도 기반하여 장면 태그를 식별된 객체에 대응하는 태그로 결정할 수 있다. 또 다른 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 장면 유형에 대응하는 태그가 식별되면 장면 유형의 신뢰도에 기반하여 장면 유형에 대응하는 태그를 장면 태그로서 결정할 수 있다.
다양한 실시예들에 따르면, 동작 710에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 적어도 하나의 장면 태그가 유효한지 결정할 수 있다. 일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지의 획득 시간 또는 제2 이미지의 획득 장소 중 적어도 하나에 기반하여 장면 태그의 유효성을 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 장면 태그가 획득 시간 정보에 대응하지 않는 경우, 장면 태그를 무효하다고(invalid) 결정할 수 있다. 장면 태그가 아침에 대응하는데 획득 시간 정보가 점심, 저녁, 또는 밤에 대응하는 경우, 전자 장치(101)(예: 도 1의 프로세서(120))는 장면 태그가 무효한 것으로 결정할 수 있다. 다른 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 장면 태그가 획득 장소 정보에 대응하지 않는 경우, 장면 태그를 무효하다고 결정할 수 있다. 장면 태그가 일출(sun rising)이고 장소 정보가 서쪽 해안가(west coast)에 대응하는 경우, 전자 장치(101)(예: 도 1의 프로세서(120))는 장면 태그가 무효한 것으로 결정할 수 있다.
일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 장면 태그가 유효하지 않은 것으로 판단되면, 시간 정보 및/또는 위치 정보에 기반하여 장면 태그를 변경할 수 있다. 예를 들어, 장면 태그가 아침에 대응하는데 획득 시간 정보가 저녁인 경우, 전자 장치(101)(예: 도 1의 프로세서(120))는 장면 태그를 저녁에 대응하는 태그로 변경할 수 있다.
다양한 실시예들에 따르면, 장면 태그가 유효하다고 결정되면, 동작 715에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 장면 태그를 화질 처리 모듈(예: 도 3의 화질 처리 모듈(309))에 전달할 수 있다.
도 8은 다양한 실시예들에 따른 보조 장면 결정 방법의 흐름도(800)를 도시한다.
도 8을 참조하여, 전자 장치(예: 도 1의 전자 장치(101))의 일 실시예에 따른 장면 결정 방법(예: 장면 태그 결정 방법)이 설명된다. 예를 들어, 도 8의 보조 장면 결정 방법은 도 3의 보조 장면 결정 모듈(307)의 장면 식별 방법의 일 예시일 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 도 8의 보조 장면 결정 방법을 장면 태그가 무효이거나 식별된 객체 또는 장면 유형이 존재하지 않는 경우(예: 적어도 하나의 장면 태그가 1) 도 5의 이미지 유형 결정 방법에 따른 이미지 유형이 식별되지 않거나 이미지 유형의 신뢰도가 지정된 값 미만인 경우 및 2) 도 6의 객체 식별 방법에 따라서 얼굴 및 사람 영역이 식별되지 않고 식별된 객체의 신뢰도가 지정된 값 미만인 경우)에 수행할 수 있다.
다양한 실시예들에 따르면, 동작 805에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 식별된 태그들의 신뢰도가 지정된 범위 이상인지 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 식별된 태그들(예: 장면 유형에 대응하는 태그, 얼굴 영역에 대응하는 태그, 사람 영역에 대응하는 태그, 및/또는 객체 영역에 대응하는 태그) 중 신뢰도가 지정된 범위 이상인 태그만을 이용하여 장면 결정을 수행할 수 있다.
다양한 실시예들에 따르면, 동작 810에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 지정된 범위 이상의 신뢰도를 갖는 적어도 하나의 식별된 태그가 이미지의 획득 시간 및/또는 위치 정보에 대응하는지 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 신뢰도가 지정된 범위 이상인 태그들 중 시간 및/또는 위치 정보에 대응하는 태그(예: 유효한 태그)만을 이용하여 장면 결정을 수행할 수 있다.
다양한 실시예들에 따르면, 동작 815에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 식별된 태그들 중 지정된 신뢰도 이상의 유효한 태그들의 상위 카테고리에 대응하는 적어도 하나의 장면 태그를 화질 처리 모듈(도 3의 화질 처리 모듈(309))에 전달할 수 있다. 일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 지정된 신뢰도 이상의 유효한 태그들의 신뢰도의 합에 기반하여 복수의 상위 카테고리 중 가장 높은 신뢰도를 갖는 상위 카테고리에 대응하는 태그를 장면 태그로 설정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))가 제2 이미지로부터 산(예: 신뢰도 33%), 꽃(예: 신뢰도 34%), 및 동물(예: 신뢰도 20%)을 식별할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 산과 꽃의 신뢰도의 합에 기반하여 산과 꽃의 공통 상위 카테고리인 숲을 제2 이미지의 장면 태그로 설정할 수 있다.
도 9는 다양한 실시예들에 따른 화질 설정 조정 방법의 흐름도(900)를 도시한다.
도 9를 참조하여, 전자 장치(예: 도 1의 전자 장치(101))의 일 실시예에 따른 화질 설정 조정 방법이 설명된다. 예를 들어, 도 9의 화질 설정 조정 방법은 도 3의 화질 처리 모듈(309)의 화질 설정 조정 방법의 일 예시일 수 있다.
다양한 실시예들에 따르면, 동작 905에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 적어도 하나의 장면 태그를 획득할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 도 7의 장면 결정 방법 또는 도 8의 보조 장면 결정 방법에 따라서 설정된 장면 태그를 획득할 수 있다.
다양한 실시예들에 따르면, 동작 910에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 적어도 하나의 장면 태그 정보에 대응하는 화질 설정 파라미터를 획득할 수 있다. 예를 들어, 화질 설정 파라미터는 밝기, 대비, 감마(gamma), 색조, 선명도, 흐림(blur), 또는 색온도 중 적어도 하나를 포함할 수 있다. 다른 예를 들어, 화질 설정 파라미터는, 광감도, 렌즈, 조리개 크기, 셔터 스피드, 노출, 포커스(focus), 색조, 색온도, 또는 화이트 밸런스(white balance) 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 장면 태그 정보를 외부 전자 장치(예: 도 1의 전자 장치(104))에 송신하고, 외부 전자 장치로부터 화질 설정 파라미터를 획득할 수 있다.
다양한 실시예들에 따르면, 동작 915에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 획득된 화질 설정 파라미터에 기반하여 제2 이미지의 화질을 설정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 획득된 화질 설정 파라미터를 이용하여 획득된 제2 이미지의 화질 설정 파라미터를 조정할 수 있다. 다른 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 획득된 화질 설정 파라미터를 이용하여 카메라(예: 도 1의 카메라(180))의 촬영 파라미터를 변경함으로써 카메라(180)에 의하여 획득되는 제2 이미지의 화질을 설정할 수 있다.
다양할 실시예들에 따르면, 동작 920에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지를 디스플레이(예: 도 1의 디스플레이(160))에 제공할 수 있다. 예를 들어, 디스플레이에 표시된 제2 이미지는 화질 설정 파라미터에 기반하여 조정된 화질 설정에 따른 이미지일 수 있다.
도 10은 다양한 실시예들에 따른 장면 인식 방법의 개념도(1000)를 도시한다.
다양한 실시예들에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 획득된 이미지(1010)에 대한 장면 인식을 수행할 수 있다.
일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 획득된 이미지(1010)로부터 객체 영역 이미지(1020)를 추출하고, 객체 영역 이미지(1020)로부터 객체를 식별할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 객체 영역을 신뢰도 90%의 꽃, 신뢰도 30%의 나무, 및 신뢰도 4%의 음식으로 식별할 수 있다.
일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 획득된 이미지(1010)의 전체 이미지(1030)로부터 장면 유형을 식별할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 전체 이미지(1030)를 신뢰도 33%의 하늘로 식별할 수 있다.
일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 식별된 객체 및 장면 유형의 신뢰도에 기반하여 획득된 이미지(1010)에 대응하는 장면을 결정할 수 있다. 예를 들어, 객체 영역들 중 지정된 신뢰도 이상의 객체가 존재하는 경우, 가장 높은 신뢰도를 갖는 객체에 따라서 장면을 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 가장 신뢰도가 높은 객체인 “꽃”으로 획득된 이미지(1010)의 장면을 결정할 수 있다.
도 11은 다양한 실시예들에 따른 신뢰도 결정 방법을 설명하기 위한 이미지(1100)를 도시한다.
도 11을 참조하여, 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 전자 장치(101)의 카메라(180)를 이용하여 일출(sunrise)에 해당하는 이미지(1100)를 획득할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 이미지(1100)를 일몰(sunset)에 대응하는 장면으로 결정할 수 있다. 일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 이미지(1100)의 획득 시간 정보가 일몰에 대응하는 시간이 아니면, 결정된 장면을 무효한(invalid) 것으로 결정할 수 있다. 일 실시예에 따르면, 이미지(1100)의 획득 지역 정보가 동쪽 해안(east coast)에 대응하면 전자 장치(101)(예: 도 1의 프로세서(120))는 결정된 장면 일몰을 무효한 것으로 결정할 수 있다.
도 12는 다양한 실시예들에 따른 객체 인식 방법을 설명하기 위한 이미지들을 도시한다.
도 12를 참조하여, 전자 장치(101)(예: 도 1의 프로세서(120))는 제1 이미지(1200) 및 제2 이미지(1210)로부터 얼굴 영역을 검출할 수 있다. 일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 검출된 얼굴 영역의 크기 및 위치에 적어도 기반하여, 유효한 얼굴 영역이 검출된 것인지 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 얼굴 영역이 검출되더라도, 검출된 얼굴 영역의 크기 및 위치에 적어도 기반하여, 얼굴 영역이 검출 여부를 결정할 수 있다.
제1 이미지(1200)에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 얼굴 영역을 인식할 수 있다. 일 실시예에 따르면, 얼굴 영역의 위치가 제1 이미지(1200)의 경계에 붙어 있는 경우에 전자 장치(101)(예: 도 1의 프로세서(120))는 얼굴 영역을 얼굴 영역으로서 검출하지 않을 수 있다. 예를 들어, 얼굴 영역의 위치가 제1 이미지(1200)의 경계에 위치되면, 사용자는 해당 얼굴 영역에 대응하는 사람을 의도하지 않고 제1 이미지(1200) 이미지를 획득한 것일 수 있다. 예를 들어, 제1 이미지(1200)의 사람은 사용자의 의도에 부합하지 않는 인물(예: 지나가는 사람)일 수 있다. 이 경우, 전자 장치(101)(예: 도 1의 프로세서(120))는 얼굴 영역이 아닌 장면 유형(예: 일출)에 기반하여 장면을 결정할 수 있다.
제2 이미지(1210)에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 얼굴 영역을 인식할 수 있다. 예를 들어, 제2 이미지(1210)의 인물은 제2 이미지(1210)의 중심부 또는 제2 이미지(1210)의 경계로부터 지정된 거리 이상 이격되어 위치될 수 있다. 이 경우, 전자 장치(101)(예: 도 1의 프로세서(120))는 인식된 얼굴 영역에 기반하여 장면을 결정할 수 있다.
도 13은 다양한 실시예들에 따른 장면 결정 방법을 설명하기 위한 이미지들을 도시한다.
도 13을 참조하여, 전자 장치(101)(예: 도 1의 프로세서(120))는 제1 이미지(1300) 및 제2 이미지(1310)로부터 얼굴 영역 및 사람 영역을 검출할 수 없을 수 있다.
일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 제1 이미지(1300)로부터 객체 “꽃”을 식별할 수 있다. 전자 장치(101)(예: 도 1의 프로세서(120))는 식별된 “꽃”을 제1 이미지(1300)의 장면으로 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 식별된 객체의 크기(예: 전체 이미지에 대한 비율)이 지정된 크기 이상이면, 식별된 객체에 대응하는 “꽃”을 제1 이미지(1300)의 장면으로 결정할 수 있다.
일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지(1310)로부터 장면 유형 “꽃”을 식별할 수 있다. 제2 이미지(1310)에 있어서, 각각의 꽃은 객체 영역의 크기가 지정된 크기 미만일 수 있다. 따라서, 전자 장치(101)(예: 도 1의 프로세서(120))는 객체 영역으로부터의 객체 식별에 기반하여 “꽃”을 식별하지 못할 수 있다. 이 경우, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지(1310)의 전체 영역으로부터 장면 유형 “꽃”을 식별할 수 있다. 전자 장치(101)(예: 도 1의 프로세서(120))는 식별된 장면 유형의 신뢰도에 기반하여 제2 이미지(1310)의 장면을 “꽃”으로 식별할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 제2 이미지(1310) 중에서 “꽃” 대응하는 영역의 크기에 기반하여 식별된 장면 유형의 신뢰도를 결정할 수 있다.
도 14는 다양한 실시예들에 따른 장면 결정 방법을 설명하기 위한 이미지(1400)를 도시한다.
도 14를 참조하여, 전자 장치(101)(예: 도 1의 프로세서(120))는 이미지(1400)로부터 객체(예: 얼굴, 사람, 및/또는 객체) 인식에 실패한 것으로 가정될 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 이미지(1400)로부터 식별된 장면 유형에 기반하여 장면을 결정할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 이미지(1400)로부터 복수의 장면 유형들을 식별할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 제1 영역(1410)으로부터 하늘을, 제2 영역(1420)으로부터 도시를, 제3 영역(1430)으로부터 물가(waterside)를, 그리고 제4 영역(1440)으로부터 산을 식별할 수 있다. 제1 영역(1410), 제2 영역(1420), 제3 영역(1430), 및 제4 영역(1440)은 이미지(1400) 내에서의 크기가 서로 유사할 수 있다. 이 경우, 제1 영역(1410), 제2 영역(1420), 제3 영역(1430), 및 제4 영역(1440)에 대한 신뢰도는 유사할 수 있다. 예를 들어, 제1 영역(1410), 제2 영역(1420), 제3 영역(1430), 및 제4 영역(1440) 중 이미지(1400) 내에서 우세한(dominant) 영역이 존재 하지 않기 때문에, 도 3의 장면 결정 모듈(305)은 모든 장면 유형의 신뢰도가 지정된 신뢰도 이하인 것으로 판단할 수 있다. 따라서, 예를 들어, 전자 장치(101)의 장면 결정 모듈(305)은 해당 이미지(1400)를 특정한 장면으로 결정하지 못할 수 있다.
일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 식별된 장면 유형의 상위 카테고리를 이미지(1400)의 장면으로 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 식별된 장면 유형의 상위 카테고리들 중 하나의 상위 카테고리를 이미지(1400)의 장면으로 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 상위 카테고리에 속한 장면 유형의 신뢰도의 합에 적어도 기반하여 상위 카테고리를 이미지(1400)의 장면으로 결정할 수 있다. 전자 장치(101)(예: 도 1의 프로세서(120))는 상위 카테고리에 속한 장면 유형의 신뢰도의 합이 지정된 값 이상이면 해당 상위 카테고리를 이미지(1400)의 장면으로 결정할 수 있다.
일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 하늘, 산, 물가, 및 도시의 상위 카테고리인 풍경을 이미지(1400)의 장면으로 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 도 3의 보조 장면 결정 모듈(307)을 이용하여 이미지(1400)의 장면을 풍경으로 결정할 수 있다.
도 15는 다양한 실시예들에 따른 이미지 화질 설정 조정 방법의 흐름도(1500)를 도시한다.
다양한 실시예들에 따르면, 전자 장치(예: 도 1의 전자 장치(101))는 카메라(예: 도 1의 카메라(180)), 메모리(예: 도 1의 메모리(130)), 및 카메라(180) 및 메모리(130)에 작동적으로 연결된 프로세서(예: 도 1의 프로세서(120))를 포함할 수 있다. 예를 들어, 프로세서(120)는 후술하는 전자 장치(101)의 동작들을 수행할 수 있다.
다양한 실시예들에 따르면, 동작 1505에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 복수의 이미지들을 획득할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 카메라(180)를 이용하여 하나 이상의 외부 객체들에 대한 복수의 이미지들을 획득할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 복수의 이미지들의 획득 이전에 장면의 결정에 이용된 이전 이미지와 복수의 이미지들 중 하나의 이상의 이미지들의 유사도가 지정된 범위 미만이면, 복수의 이미지들 중 하나 이상의 이미지들을 이용한 관심 영역 및 배경 영역의 식별(예: 동작 1510)을 수행할 수 있다. 다른 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 복수의 이미지들의 획득 이전에 장면의 결정에 이용된 이전 이미지와 복수의 이미지들 중 하나의 이상의 이미지들의 유사도가 지정된 범위이면, 이전 이미지에 대하여 설정된 보정 방식을 이용하여 복수의 이미지들 적어도 일부가 보정된 하나 이상의 보정 이미지들을 생성할 수 있다.
다양한 실시예들에 따르면, 동작 1510에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 복수의 이미지 획득 동안, 하나 이상의 이미지로부터 관심 영역 및 배경 영역을 식별할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 도 3의 장면 인식 결정 모듈(301)에 의하여 장면 인식이 결정되면 관심 영역 및 배경 영역을 식별할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 도 3의 전체 이미지 분석기(310)를 이용하여 배경 영역을 식별하고, 도 3의 객체 이미지 분석기(320)의 객체 검출기(325)를 이용하여 관심 영역을 식별할 수 있다.
다양한 실시예들에 따르면, 동작 1515에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 관심 영역으로부터 적어도 하나의 제1 객체를 식별할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 도 3의 객체 식별기(327)를 이용하여 관심 영역에 대응하는 제1 객체를 식별할 수 있다.
다양한 실시예들에 따르면, 동작 1520에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 배경 영역에 포함된 적어도 하나의 제2 객체에 기반하여 배경 영역의 유형을 식별할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 전체 이미지 분석기(310)를 이용하여 배경 영역의 유형을 식별할 수 있다.
다양한 실시예들에 따르면, 동작 1525에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 제1 객체 및 유형에 적어도 기반하여 상기 하나 이상의 이미지들에 대응하는 장면을 결정할 수 있다. 일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 제1 객체 및 유형의 신뢰도에 기반하여 장면을 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 제1 객체의 신뢰도가 지정된 제1 값 미만이면 유형의 신뢰도에 기반하여 하나 이상의 이미지들에 대응하는 장면을 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 유형의 신뢰도가 지정된 제2 값 미만이면, 배경 영역에 포함된 적어도 하나의 제2 객체에 대응하는 적어도 하나의 유형의 신뢰도의 합에 기반하여 적어도 하나의 유형을 포함하는 상위 카테고리를 하나 이상의 이미지들에 대응하는 장면으로 결정할 수 있다. 일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 시간 정보 또는 전자 장치(101)의 위치 정보 중 적어도 하나에 기반하여 유형의 신뢰도에 기반하여 결정된 장면의 유형성을 결정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 도 3의 장면 결정 모듈(305) 및/또는 보조 장면 결정 모듈(307)을 이용하여 장면을 결정할 수 있다.
다양한 실시예들에 따르면, 동작 1530에서, 전자 장치(101)(예: 도 1의 프로세서(120))는 장면에 대응하는 화질 설정을 이용하여 복수의 이미지들 중 하나 이상의 이미지들의 화질 설정을 조정할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 도 3의 화질 처리 모듈(309)을 이용하여 장면에 대응하는 화질 설정 조정을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 복수의 이미지들에 대한 적어도 하나의 화질 설정 파라미터를 수정함으로써 화질 설정이 조정된 이미지들을 생성할 수 있다. 예를 들어, 적어도 하나의 화질 설정 파라미터는, 밝기, 대비, 감마(gamma), 색조, 선명도, 흐림(blur), 또는 색온도 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)(예: 도 1의 프로세서(120))는 카메라(180)의 이미지 획득에 연관된 적어도 하나의 화질 설정 파라미터를 조정함으로써 화질 설정이 조정된 이미지들을 생성하도록 설정될 수 있다. 예를 들어, 카메라(180)의 이미지 획득에 연관된 적어도 하나의 화질 설정 파라미터는, 광감도, 렌즈, 조리개 크기, 셔터 스피드, 노출, 포커스(focus), 색조, 색온도, 또는 화이트 밸런스(white balance) 중 적어도 하나를 포함할 수 있다. 예를 들어, 전자 장치(101)(예: 도 1의 프로세서(120))는 적어도 하나의 화질 설정 파라미터를 이용하여 조정된 카메라(180)를 이용하여 획득된 이미지를 프리뷰(preview)로서 디스플레이(160)에 표시하도록 설정될 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 도 1의 전자 장치(101))는 카메라(예: 도 1의 카메라(180)), 메모리(예: 도 1의 메모리(130)), 상기 카메라 및 상기 메모리에 작동적으로(operatively) 연결된 프로세서(예: 도 1의 프로세서(120))를 포함할 수 있다. 예를 들어, 프로세서는, 상기 카메라를 이용하여, 하나 이상의 외부 객체들에 대한 복수의 이미지들을 획득하고, 상기 복수의 이미지들을 획득하는 적어도 일부 동안, 상기 복수의 이미지들 중 하나 이상의 이미지들을 이용하여, 적어도 하나의 관심 영역 및 상기 적어도 하나의 배경 영역을 확인하고, 상기 하나 이상의 외부 객체들 중 상기 관심 영역에 포함된 적어도 하나의 제1 객체를 인식하고, 상기 하나 이상의 외부 객체들 중 상기 배경 영역에 포함된 적어도 하나의 제2 객체를 인식하여 상기 배경 영역의 유형을 확인하고, 상기 인식된 적어도 하나의 제1 객체 및 상기 유형에 적어도 기반하여, 상기 하나 이상의 이미지들에 대응하는 장면을 결정하고, 및 상기 장면에 대응하는 지정된 화질 설정을 이용하여, 상기 카메라에 연관된 화질 설정 또는 상기 하나 이상의 이미지들에 연관된 화질 설정 중 적어도 하나를 조정하도록 설정될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 복수의 이미지들의 획득 이전에 장면의 결정에 이용된 이전 이미지와 상기 하나 이상의 이미지들의 유사도가 지정된 제 1 범위를 만족한 것에 기반하여, 상기 하나 이상의 이미지들을 이용하여, 적어도 하나의 관심 영역 및 상기 적어도 하나의 배경 영역을 확인하도록 설정될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 이전 이미지와 상기 하나 이상의 이미지들 사이의 유사도가 상기 제 1 범위와는 다른 지정된 제 2 범위를 만족하는 것에 기반하여, 상기 이전 이미지에 대하여 설정된 화질 설정을 이용하여 상기 카메라에 연관된 화질 설정 또는 상기 하나 이상의 이미지들에 연관된 화질 설정 중 적어도 하나를 조정하도록 설정될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 인식된 적어도 하나의 제1 객체의 신뢰도에 적어도 기반하여, 상기 하나 이상의 이미지들에 대응하는 장면을 결정 하도록 설정될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 상기 인식된 적어도 하나의 제1 객체의 신뢰도가 지정된 제1 값 미만이면, 상기 유형의 신뢰도에 기반하여 상기 하나 이상의 이미지들에 대응하는 장면을 결정하도록 설정될 수 있다.
일 실싱예에 따르면, 상기 프로세서는, 상기 유형의 신뢰도가 지정된 제2 값 미만이면, 상기 배경 영역에 포함된 상기 적어도 하나의 제2 객체에 대응하는 적어도 하나의 유형의 신뢰도의 합에 기반하여 상기 적어도 하나의 유형을 포함하는 상위 카테고리를 결정하고, 상기 결정된 상위 카테고리를 상기 하나 이상의 이미지들에 대응하는 장면으로서 결정하도록 설정될 수 있다.
일 실시예에 따르면, 상기 프로세서는, 시간 정보 또는 상기 전자 장치의 위치 정보 중 적어도 하나에 기반하여 상기 유형의 신뢰도에 기반하여 결정된 장면의 유효성을 결정하도록 설정될 수 있다.
일 실시예에 따르면, 상기 하나 이상의 이미지들에 연관된 화질 설정은, 밝기, 대비, 감마(gamma), 색조, 선명도, 흐림(blur), 또는 색온도 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 카메라에 연관된 화질 설정은, 광감도, 렌즈, 조리개 크기, 셔터 스피드, 노출, 포커스(focus), 색조, 색온도, 또는 화이트 밸런스(white balance) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 전자 장치는 디스플레이(예: 도 1의 표시 장치(160))를 더 포함할 수 있다. 예를 들어, 프로세서는, 상기 화질 설정을 이용하여 조정된 상기 카메라를 이용하여 획득된 이미지를 프리뷰(preview)로서 상기 디스플레이에 표시하도록 설정될 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 도 1의 전자 장치(101))는 디스플레이(예: 도 1의 표시 장치(160)), 카메라(예: 도 1의 카메라(180)), 상기 카메라 및 상기 디스플레이에 작동적으로(operatively) 연결된 프로세서(예: 도 1의 프로세서(120)), 및 상기 프로세서에 작동적으로 연결된 메모리(예: 도 1의 메모리(130))를 포함할 수 있다. 예를 들어 메모리는 실행되었을 때 상기 프로세서로 하여금, 이미지를 획득하고, 상기 획득된 이미지의 일부 영역으로부터 적어도 하나의 객체를 식별하고, 상기 식별된 적어도 하나의 객체에 대응하는 적어도 하나의 제1 태그를 식별하고, 상기 획득된 이미지의 전체 영역에 대응하는 적어도 하나의 제2 태그를 식별하고, 상기 적어도 하나의 제1 태그 및 상기 적어도 하나의 제2 태그의 신뢰도에 기반하여, 상기 획득된 이미지에 대응하는 장면 태그를 식별하고, 상기 장면 태그에 대응하는 적어도 하나의 화질 설정 파라미터를 이용하여 상기 카메라의 이미지 획득에 연관된 적어도 하나의 화질 설정 파라미터를 조정하도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
일 실시예에 따르면, 상기 인스트럭션들은, 실행되었을 때 상기 프로세서로 하여금, 상기 획득된 이미지 이전에 획득된 이전 이미지와 상기 획득된 이미지 사이의 유사도가 지정된 범위 미만이면, 상기 적어도 하나의 객체, 상기 적어도 하나의 제1 태그, 및 상기 적어도 하나의 제2 태그를 식별하도록 할 수 있다.
일 실시예에 따르면, 상기 인스트럭션들은, 실행되었을 때 상기 프로세서로 하여금, 상기 이전 이미지와 상기 획득된 이미지 사이의 유사도가 상기 지정된 범위이면, 상기 이전 이미지에 대하여 설정된 화질 설정 파라미터를 이용하여 상기 카메라의 이미지 획득에 연관된 적어도 하나의 화질 설정 파라미터를 조정하도록 할 수 있다.
일 실시예에 따르면, 상기 인스트럭션들은, 실행되었을 때 상기 프로세서로 하여금, 상기 적어도 하나의 제1 태그 각각의 신뢰도 및 상기 적어도 하나의 제2 태그 각각의 신뢰도가 지정된 신뢰도 미만이면, 상기 적어도 하나의 제2 태그의 적어도 하나의 상위 카테고리 중 동일한 상위 카테고리에 속한 제2 태그들의 신뢰도의 합에 기반하여 상기 적어도 하나의 상위 카테고리 중 하나의 상위 카테고리에 대응하는 태그를 상기 장면 태그로 식별하도록 할 수 있다.
일 실시예에 따르면, 상기 인스트럭션들은 실행되었을 때 상기 프로세서로 하여금, 시간 정보 또는 상기 전자 장치의 위치 정보 중 적어도 하나에 기반하여 상기 장면 태그의 유효성을 결정하고, 상기 장면 태그가 유효하다고 결정되면, 상기 장면 태그에 대응하는 상기 적어도 하나의 화질 설정 파라미터를 이용하여 상기 카메라의 이미지 획득에 연관된 적어도 화질 설정 파라미터를 조정하도록 할 수 있다.
일 실시예에 따르면, 상기 인스트럭션들은 실행되었을 때 상기 프로세서로 하여금, 상기 적어도 하나의 제1 태그 중 지정된 태그가 존재하는 경우, 상기 적어도 하나의 제2 태그를 식별하지 않고 상기 지정된 태그에 따라서 상기 장면 태그를 식별하도록 할 수 있다.
일 실시예에 따르면, 상기 카메라의 이미지 획득에 연관된 적어도 하나의 화질 설정 파라미터는, 광감도, 렌즈, 조리개 크기, 셔터 스피드, 노출, 포커스(focus), 색조, 색온도, 또는 화이트 밸런스(white balance) 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 상기 인스트럭션들은 실행되었을 때 상기 프로세서로 하여금, 상기 적어도 하나의 화질 설정 파라미터를 이용하여 조정된 상기 카메라를 이용하여 획득된 이미지를 프리뷰(preview)로서 상기 디스플레이에 표시하도록 할 수 있다.
다양한 실시예들에 따르면, 전자 장치의 화질 설정 방법은, 이미지를 획득하는 동작, 상기 획득된 이미지의 일부 영역으로부터 적어도 하나의 객체를 식별하는 동작, 상기 식별된 적어도 하나의 객체에 대응하는 적어도 하나의 제1 태그를 식별하는 동작, 상기 획득된 이미지의 전체 영역에 대응하는 적어도 하나의 제2 태그를 식별하는 동작, 상기 적어도 하나의 제1 태그 및 상기 적어도 하나의 제2 태그의 신뢰도에 기반하여, 상기 획득된 이미지에 대응하는 장면 태그를 식별하는 동작, 및 상기 장면 태그에 대응하는 적어도 하나의 화질 설정 파라미터를 이용하여 이미지 획득에 연관된 적어도 하나의 화질 설정 파라미터를 조정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 이미지 획득에 연관된 적어도 하나의 화질 설정 파라미터는, 광감도, 렌즈, 조리개 크기, 셔터 스피드, 노출, 포커스(focus), 색조, 색온도, 또는 화이트 밸런스(white balance) 중 적어도 하나를 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", “A 또는 B 중 적어도 하나,”"A, B 또는 C," "A, B 및 C 중 적어도 하나,”및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    카메라;
    메모리;
    상기 카메라 및 상기 메모리에 작동적으로(operatively) 연결된 프로세서를 포함하고, 상기 프로세서는,
    상기 카메라를 이용하여, 하나 이상의 외부 객체들에 대한 복수의 이미지들을 획득하고,
    상기 복수의 이미지들을 획득하는 적어도 일부 동안, 상기 복수의 이미지들 중 하나 이상의 이미지들을 이용하여, 적어도 하나의 관심 영역 및 상기 적어도 하나의 배경 영역을 확인하고,
    상기 하나 이상의 외부 객체들 중 상기 관심 영역에 포함된 적어도 하나의 제1 객체를 인식하고,
    상기 하나 이상의 외부 객체들 중 상기 배경 영역에 포함된 적어도 하나의 제2 객체를 인식하여 상기 배경 영역의 유형을 확인하고,
    상기 인식된 적어도 하나의 제1 객체 및 상기 유형에 적어도 기반하여, 상기 하나 이상의 이미지들에 대응하는 장면을 결정하고, 및
    상기 장면에 대응하는 지정된 화질 설정을 이용하여, 상기 카메라에 연관된 화질 설정 또는 상기 하나 이상의 이미지들에 연관된 화질 설정 중 적어도 하나를 조정하도록 설정된, 전자 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는, 상기 복수의 이미지들의 획득 이전에 장면의 결정에 이용된 이전 이미지와 상기 하나 이상의 이미지들의 유사도가 지정된 제 1 범위를 만족한 것에 기반하여, 상기 하나 이상의 이미지들을 이용하여, 적어도 하나의 관심 영역 및 상기 적어도 하나의 배경 영역을 확인하도록 설정된, 전자 장치.
  3. 제 2 항에 있어서,
    상기 프로세서는, 상기 이전 이미지와 상기 하나 이상의 이미지들 사이의 유사도가 상기 제 1 범위와는 다른 지정된 제 2 범위를 만족하는 것에 기반하여, 상기 이전 이미지에 대하여 설정된 화질 설정을 이용하여 상기 카메라에 연관된 화질 설정 또는 상기 하나 이상의 이미지들에 연관된 화질 설정 중 적어도 하나를 조정하도록 설정된, 전자 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는, 상기 인식된 적어도 하나의 제1 객체의 신뢰도에 적어도 기반하여, 상기 하나 이상의 이미지들에 대응하는 장면을 결정 하도록 설정된, 전자 장치.
  5. 제 4 항에 있어서,
    상기 인식된 적어도 하나의 제1 객체의 신뢰도가 지정된 제1 값 미만이면, 상기 유형의 신뢰도에 기반하여 상기 하나 이상의 이미지들에 대응하는 장면을 결정하도록 설정된, 전자 장치.
  6. 제 5 항에 있어서,
    상기 프로세서는,
    상기 유형의 신뢰도가 지정된 제2 값 미만이면, 상기 배경 영역에 포함된 상기 적어도 하나의 제2 객체에 대응하는 적어도 하나의 유형의 신뢰도의 합에 기반하여 상기 적어도 하나의 유형을 포함하는 상위 카테고리를 결정하고,
    상기 결정된 상위 카테고리를 상기 하나 이상의 이미지들에 대응하는 장면으로서 결정하도록 설정된, 전자 장치.
  7. 제 5 항에 있어서,
    상기 프로세서는,
    시간 정보 또는 상기 전자 장치의 위치 정보 중 적어도 하나에 기반하여 상기 유형의 신뢰도에 기반하여 결정된 장면의 유효성을 결정하도록 설정된, 전자 장치.
  8. 제 1 항에 있어서,
    상기 하나 이상의 이미지들에 연관된 화질 설정은, 밝기, 대비, 감마(gamma), 색조, 선명도, 흐림(blur), 또는 색온도 중 적어도 하나를 포함하는, 전자 장치.
  9. 제 1 항에 있어서,
    상기 카메라에 연관된 화질 설정은, 광감도, 렌즈, 조리개 크기, 셔터 스피드, 노출, 포커스(focus), 색조, 색온도, 또는 화이트 밸런스(white balance) 중 적어도 하나를 포함하는, 전자 장치.
  10. 제 9 항에 있어서,
    디스플레이를 더 포함하고,
    상기 프로세서는, 상기 화질 설정을 이용하여 조정된 상기 카메라를 이용하여 획득된 이미지를 프리뷰(preview)로서 상기 디스플레이에 표시하도록 설정된, 전자 장치.
  11. 전자 장치에 있어서,
    카메라;
    디스플레이;
    상기 카메라 및 상기 디스플레이에 작동적으로(operatively) 연결된 프로세서; 및
    상기 프로세서에 작동적으로 연결된 메모리를 포함하고, 상기 메모리는 실행되었을 때 상기 프로세서로 하여금:
    이미지를 획득하고,
    상기 획득된 이미지의 일부 영역으로부터 적어도 하나의 객체를 식별하고,
    상기 식별된 적어도 하나의 객체에 대응하는 적어도 하나의 제1 태그를 식별하고,
    상기 획득된 이미지의 전체 영역에 대응하는 적어도 하나의 제2 태그를 식별하고,
    상기 적어도 하나의 제1 태그 및 상기 적어도 하나의 제2 태그의 신뢰도에 기반하여, 상기 획득된 이미지에 대응하는 장면 태그를 식별하고,
    상기 장면 태그에 대응하는 적어도 하나의 화질 설정 파라미터를 이용하여 상기 카메라의 이미지 획득에 연관된 적어도 하나의 화질 설정 파라미터를 조정하도록 하는 인스트럭션들(instructions)을 포함하는, 전자 장치.
  12. 제 11 항에 있어서,
    상기 인스트럭션들은, 실행되었을 때 상기 프로세서로 하여금, 상기 획득된 이미지 이전에 획득된 이전 이미지와 상기 획득된 이미지 사이의 유사도가 지정된 범위 미만이면, 상기 적어도 하나의 객체, 상기 적어도 하나의 제1 태그, 및 상기 적어도 하나의 제2 태그를 식별하도록 하는, 전자 장치.
  13. 제 12 항에 있어서,
    상기 인스트럭션들은, 실행되었을 때 상기 프로세서로 하여금, 상기 이전 이미지와 상기 획득된 이미지 사이의 유사도가 상기 지정된 범위이면, 상기 이전 이미지에 대하여 설정된 화질 설정 파라미터를 이용하여 상기 카메라의 이미지 획득에 연관된 적어도 하나의 화질 설정 파라미터를 조정하도록 하는, 전자 장치.
  14. 제 11 항에 있어서,
    상기 인스트럭션들은, 실행되었을 때 상기 프로세서로 하여금,
    상기 적어도 하나의 제1 태그 각각의 신뢰도 및 상기 적어도 하나의 제2 태그 각각의 신뢰도가 지정된 신뢰도 미만이면, 상기 적어도 하나의 제2 태그의 적어도 하나의 상위 카테고리 중 동일한 상위 카테고리에 속한 제2 태그들의 신뢰도의 합에 기반하여 상기 적어도 하나의 상위 카테고리 중 하나의 상위 카테고리에 대응하는 태그를 상기 장면 태그로 식별하도록 하는, 전자 장치.
  15. 제 11 항에 있어서,
    상기 인스트럭션들은 실행되었을 때 상기 프로세서로 하여금,
    시간 정보 또는 상기 전자 장치의 위치 정보 중 적어도 하나에 기반하여 상기 장면 태그의 유효성을 결정하고,
    상기 장면 태그가 유효하다고 결정되면, 상기 장면 태그에 대응하는 상기 적어도 하나의 화질 설정 파라미터를 이용하여 상기 카메라의 이미지 획득에 연관된 적어도 화질 설정 파라미터를 조정하도록 하는, 전자 장치.
  16. 제 11 항에 있어서,
    상기 인스트럭션들은 실행되었을 때 상기 프로세서로 하여금,
    상기 적어도 하나의 제1 태그 중 지정된 태그가 존재하는 경우, 상기 적어도 하나의 제2 태그를 식별하지 않고 상기 지정된 태그에 따라서 상기 장면 태그를 식별하도록 하는, 전자 장치.
  17. 제 11 항에 있어서,
    상기 카메라의 이미지 획득에 연관된 적어도 하나의 화질 설정 파라미터는, 광감도, 렌즈, 조리개 크기, 셔터 스피드, 노출, 포커스(focus), 색조, 색온도, 또는 화이트 밸런스(white balance) 중 적어도 하나를 포함하는, 전자 장치.
  18. 제 11 항에 있어서,
    상기 인스트럭션들은 실행되었을 때 상기 프로세서로 하여금,
    상기 적어도 하나의 화질 설정 파라미터를 이용하여 조정된 상기 카메라를 이용하여 획득된 이미지를 프리뷰(preview)로서 상기 디스플레이에 표시하도록 하는, 전자 장치.
  19. 전자 장치의 화질 설정 방법에 있어서,
    이미지를 획득하는 동작;
    상기 획득된 이미지의 일부 영역으로부터 적어도 하나의 객체를 식별하는 동작;
    상기 식별된 적어도 하나의 객체에 대응하는 적어도 하나의 제1 태그를 식별하는 동작;
    상기 획득된 이미지의 전체 영역에 대응하는 적어도 하나의 제2 태그를 식별하는 동작;
    상기 적어도 하나의 제1 태그 및 상기 적어도 하나의 제2 태그의 신뢰도에 기반하여, 상기 획득된 이미지에 대응하는 장면 태그를 식별하는 동작; 및
    상기 장면 태그에 대응하는 적어도 하나의 화질 설정 파라미터를 이용하여 이미지 획득에 연관된 적어도 하나의 화질 설정 파라미터를 조정하는 동작을 포함하는, 화질 설정 방법.
  20. 제 19 항에 있어서,
    상기 이미지 획득에 연관된 적어도 하나의 화질 설정 파라미터는, 광감도, 렌즈, 조리개 크기, 셔터 스피드, 노출, 포커스(focus), 색조, 색온도, 또는 화이트 밸런스(white balance) 중 적어도 하나를 포함하는, 화질 설정 방법.
KR1020180092707A 2018-08-08 2018-08-08 이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치 KR102661983B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180092707A KR102661983B1 (ko) 2018-08-08 2018-08-08 이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치
PCT/KR2019/009516 WO2020032464A1 (en) 2018-08-08 2019-07-31 Method for processing image based on scene recognition of image and electronic device therefor
US16/533,197 US11076087B2 (en) 2018-08-08 2019-08-06 Method for processing image based on scene recognition of image and electronic device therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180092707A KR102661983B1 (ko) 2018-08-08 2018-08-08 이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치

Publications (2)

Publication Number Publication Date
KR20200017299A KR20200017299A (ko) 2020-02-18
KR102661983B1 true KR102661983B1 (ko) 2024-05-02

Family

ID=69406626

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180092707A KR102661983B1 (ko) 2018-08-08 2018-08-08 이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치

Country Status (3)

Country Link
US (1) US11076087B2 (ko)
KR (1) KR102661983B1 (ko)
WO (1) WO2020032464A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6705533B2 (ja) * 2018-10-19 2020-06-03 ソニー株式会社 センサ装置、パラメータ設定方法
US11699213B2 (en) * 2018-10-23 2023-07-11 Samsung Electronics Co., Ltd. Image-capturing device and method for controlling same
CN111277759B (zh) * 2020-02-27 2021-08-31 Oppo广东移动通信有限公司 构图提示方法、装置、存储介质及电子设备
CN111866373B (zh) 2020-06-19 2021-12-28 北京小米移动软件有限公司 一种显示拍摄预览图像的方法、装置及介质
CN112287174A (zh) * 2020-09-22 2021-01-29 长沙市到家悠享网络科技有限公司 信息查看与信息处理方法、设备及存储介质
JP7110293B2 (ja) * 2020-09-28 2022-08-01 楽天グループ株式会社 情報処理装置、情報処理方法およびプログラム
CN113014992A (zh) * 2021-03-09 2021-06-22 四川长虹电器股份有限公司 智能电视的画质切换方法及装置
CN113489895B (zh) * 2021-06-23 2022-05-31 荣耀终端有限公司 确定推荐场景的方法及电子设备
CN113780262A (zh) * 2021-08-28 2021-12-10 特斯联科技集团有限公司 人脸识别智能光照补偿方法、装置、设备及系统
CN115516525A (zh) * 2021-12-15 2022-12-23 商汤国际私人有限公司 状态识别方法、装置、电子设备及计算机可读存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8717456B2 (en) 2002-02-27 2014-05-06 Omnivision Technologies, Inc. Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing
AU2003213651A1 (en) 2002-02-27 2003-09-09 Cdm Optics, Inc. Optimized image processing for wavefront coded imaging systems
US8514303B2 (en) 2006-04-03 2013-08-20 Omnivision Technologies, Inc. Advanced imaging systems and methods utilizing nonlinear and/or spatially varying image processing
US7911501B2 (en) 2006-04-03 2011-03-22 Omnivision Technologies, Inc. Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing
JP4568918B2 (ja) * 2007-01-30 2010-10-27 富士フイルム株式会社 撮像装置および撮像制御方法
KR101434564B1 (ko) * 2008-02-13 2014-08-29 삼성전자 주식회사 촬영 정보 자동 추출 시스템 및 방법
KR20090125602A (ko) * 2008-06-02 2009-12-07 삼성디지털이미징 주식회사 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기위한 프로그램을 저장한 기록매체
TWI374400B (en) * 2008-06-11 2012-10-11 Vatics Inc Method for auto-exposure control
KR101624648B1 (ko) 2009-08-05 2016-05-26 삼성전자주식회사 장면에 따른 해상도 및 화질 변경 기능을 갖는 디지털 영상 신호 처리 방법, 상기 방법을 기록한 기록 매체, 디지털 영상 처리 장치
KR20140098009A (ko) 2013-01-30 2014-08-07 삼성전자주식회사 컨텍스트 기반 카메라 콜라주를 생성하는 방법 및 시스템
CN104243787B (zh) * 2013-06-06 2017-09-05 华为技术有限公司 拍照方法、照片管理方法及设备
KR20160051390A (ko) 2014-11-03 2016-05-11 삼성전자주식회사 전자장치 및 전자장치의 필터 제공 방법
KR20160093293A (ko) * 2015-01-29 2016-08-08 한국전자통신연구원 영상에서 장면 단위 컨텍스트 정보를 이용한 객체 검출 장치 및 방법
US9826149B2 (en) * 2015-03-27 2017-11-21 Intel Corporation Machine learning of real-time image capture parameters
TWI640199B (zh) * 2016-06-24 2018-11-01 聚晶半導體股份有限公司 影像擷取裝置及其攝影構圖的方法
US10692220B2 (en) * 2017-10-18 2020-06-23 International Business Machines Corporation Object classification based on decoupling a background from a foreground of an image
CN110580487A (zh) * 2018-06-08 2019-12-17 Oppo广东移动通信有限公司 神经网络的训练方法、构建方法、图像处理方法和装置
CN108810418B (zh) * 2018-07-16 2020-09-11 Oppo广东移动通信有限公司 图像处理方法、装置、移动终端及计算机可读存储介质

Also Published As

Publication number Publication date
US20200053276A1 (en) 2020-02-13
WO2020032464A1 (en) 2020-02-13
US11076087B2 (en) 2021-07-27
KR20200017299A (ko) 2020-02-18

Similar Documents

Publication Publication Date Title
KR102661983B1 (ko) 이미지의 인식된 장면에 기반하여 이미지를 처리하는 방법 및 이를 위한 전자 장치
CN110581948A (zh) 提供质量定制图像的电子装置及其控制方法、服务器
US11107198B2 (en) Method and apparatus for incorporating noise pattern into image on which bokeh processing has been performed
KR102383129B1 (ko) 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
US11258962B2 (en) Electronic device, method, and computer-readable medium for providing bokeh effect in video
US11941368B2 (en) Method for providing text translation managing data related to application, and electronic device thereof
US10885609B2 (en) Electronic device for processing image based on priority and method for operating thereof
US10819897B2 (en) Electronic device and method for controlling autofocus of camera
KR102552923B1 (ko) 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치
US11144197B2 (en) Electronic device performing function according to gesture input and operation method thereof
US12003867B2 (en) Electronic device and method for displaying image in electronic device
US20240214691A1 (en) Electronic device with camera and method thereof
US20220417446A1 (en) Electronic device for editing video using objects of interest and operating method thereof
US10970587B2 (en) Electronic device for notifying of update of image signal processing and method for operating the same
US20220385814A1 (en) Method for generating plurality of content items and electronic device therefor
KR102592061B1 (ko) 전자 장치 및 전자 장치의 이미지 처리 방법
KR20210144151A (ko) Awb를 수행하여 이미지를 생성하는 전자 장치 및 방법
KR102646750B1 (ko) 표시 객체의 확산 정도에 기반하여 초점을 조절하는 방법 및 이를 구현한 전자 장치
EP4228246A1 (en) Electronic device capable of auto-focusing and method for operating same
KR102608127B1 (ko) 이미지 프로세싱을 수행하는 전자 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right