KR20200138639A - 이미지 센서를 포함하는 전자 기기의 동작 방법 - Google Patents

이미지 센서를 포함하는 전자 기기의 동작 방법 Download PDF

Info

Publication number
KR20200138639A
KR20200138639A KR1020190156527A KR20190156527A KR20200138639A KR 20200138639 A KR20200138639 A KR 20200138639A KR 1020190156527 A KR1020190156527 A KR 1020190156527A KR 20190156527 A KR20190156527 A KR 20190156527A KR 20200138639 A KR20200138639 A KR 20200138639A
Authority
KR
South Korea
Prior art keywords
preview screen
electronic device
input
depth
machine learning
Prior art date
Application number
KR1020190156527A
Other languages
English (en)
Inventor
이용구
신정용
임준서
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/848,602 priority Critical patent/US11647277B2/en
Priority to CN202010478453.0A priority patent/CN112019737A/zh
Publication of KR20200138639A publication Critical patent/KR20200138639A/ko

Links

Images

Classifications

    • H04N5/238—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N5/2257—
    • H04N5/369—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 실시예에 따른 전자 기기의 동작 방법은, 카메라 애플리케이션이 실행되면, 미리보기 화면을 표시하는 단계, 상기 미리보기 화면에서 특징 정보를 추출하는 단계, 상기 미리보기 화면에서 사용자 입력이 발생하면, 상기 사용자 입력을 소정의 입력 값으로 변환하고, 상기 특징 정보와 상기 입력 값에 기초하여 심도(depth)를 설정하는 단계, 및 상기 미리보기 화면에서 촬영이 실행되면, 상기 심도에 따라 결과 이미지를 생성하는 단계를 포함한다.

Description

이미지 센서를 포함하는 전자 기기의 동작 방법{OPERATING METHOD OF ELECTRONIC DEVICE INCLUDING IMAGE SENSOR}
본 발명은 이미지 센서를 포함하는 전자 기기의 동작 방법에 관한 것이다.
이미지 센서는 외부에서 들어오는 빛에 반응하여 전기 신호를 생성하고, 전기 신호를 기초로 이미지를 생성할 수 있는 반도체 장치로서, 다양한 전자 기기들에 채택되고 있다. 최근에는 이미지 센서로 촬영하는 이미지의 품질을 개선하고, 사용자의 요구에 적합한 이미지를 생성할 수 있도록, 이미지 센서에 다양한 부가 기능이 추가되거나, 또는 이미지 센서를 탑재한 전자 기기에서 실행 가능한 다양한 애플리케이션들이 개발되는 추세이다.
본 발명의 기술적 사상이 이루고자 하는 과제 중 하나는, 미리보기 화면에서 획득할 수 있는 특징 정보, 및/또는 미리보기 화면에서 발생하는 사용자 입력 등에 기초하여 결과 이미지의 심도를 결정함으로써, 사용자의 다양한 요구를 충족시킬 수 있는 전자 기기의 동작 방법을 제공하고자 하는 데에 있다.
본 발명의 일 실시예에 따른 전자 기기의 동작 방법은, 카메라 애플리케이션이 실행되면, 미리보기 화면을 표시하는 단계, 상기 미리보기 화면에서 특징 정보를 추출하는 단계, 상기 미리보기 화면에서 사용자 입력이 발생하면, 상기 사용자 입력을 소정의 입력 값으로 변환하고, 상기 특징 정보와 상기 입력 값에 기초하여 심도(depth)를 설정하는 단계, 및 상기 미리보기 화면에서 촬영이 실행되면, 상기 심도에 따라 결과 이미지를 생성하는 단계를 포함한다.
본 발명의 일 실시예에 따른 전자 기기의 동작 방법은, 카메라 애플리케이션이 실행되면, 조리개 형상을 갖는 조리개 아이콘을 미리보기 화면에 표시하는 단계, 상기 미리보기 화면에서 발생하는 사용자 입력에 응답하여 상기 미리보기 화면에 표시되는 상기 조리개 아이콘의 개방 면적을 조절하는 단계, 및 상기 사용자 입력에 응답하여 상기 미리보기 화면에 표시되는 배경에 대한 블러 강도를 조절하는 단계를 포함한다.
본 발명의 일 실시예에 따른 전자 기기의 동작 방법은, 메모리에 저장된 이미지들 각각에서 추출한 특징 정보를 입력 파라미터들로 적용하고, 상기 이미지들 각각에서 추출한 블러 강도를 출력 파라미터로 적용하여 기계 학습 모델을 학습하는 단계, 카메라 애플리케이션이 실행되면, 미리보기 화면에서 상기 특징 정보를 추출하여 상기 기계 학습 모델에 입력하는 단계, 및 상기 기계 학습 모델의 출력에 기초하여 상기 미리보기 화면에 포함되는 배경에 대한 블러 강도를 결정하는 단계를 포함한다.
본 발명의 일 실시예에 따르면, 카메라 애플리케이션이 실행됨에 따라 미리보기 화면이 표시되며, 주변 환경 정보, 및 미리보기 화면으로부터 추출한 촬영 정보 등에 기초하여 결과 이미지에 적용될 심도를 설정할 수 있다. 또한, 미리보기 화면에서 발생하는 사용자 입력에 기초하여, 결과 이미지에 적용될 심도를 설정할 수도 있다. 결과 이미지에 적용되는 심도에 따라, 결과 이미지에 포함되는 배경에 대한 블러(blur) 강도가 달라질 수 있다. 따라서, 피사체와 배경, 구도, 및 미리보기 화면에서 사용자가 발생시킨 사용자 입력 등에 따라 사용자의 요구와 감성에 부합하는 결과 이미지를 제공하는 전자 기기를 구현할 수 있다.
본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시 형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.
도 1a 및 도 1b는 본 발명의 일 실시예에 따른 전자 기기를 간단하게 나타낸 도면들이다.
도 2는 본 발명의 일 실시예에 따른 전자 기기를 간단하게 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 이미지 센서를 간단하게 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 이미지 센서의 픽셀 어레이를 간단하게 나타낸 도면이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 이미지 센서의 픽셀을 간단하게 나타낸 회로도들이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 전자 기기의 동작 방법을 설명하기 위해 제공되는 흐름도들이다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 전자 기기의 동작 방법을 설명하기 위해 제공되는 도면들이다.
도 12는 본 발명의 일 실시예에 따른 전자 기기의 동작을 설명하기 위해 제공되는 도면이다.
도 13은 본 발명의 일 실시예에 따른 전자 기기에서 이용하는 룩업 테이블을 나타낸 도면이다.
도 14는 본 발명의 일 실시예에 따른 전자 기기의 동작 방법을 설명하기 위해 제공되는 흐름도이다.
도 15는 본 발명의 일 실시예에 따른 전자 기기의 동작 방법을 설명하기 위해 제공되는 도면이다.
도 16은 본 발명의 일 실시예에 따른 전자 기기가 이용하는 인공 신경망을 설명하기 위해 제공되는 도면이다.
도 17은 본 발명의 일 실시예에 따른 전자 기기의 동작을 설명하기 위해 제공되는 도면이다.
도 18은 본 발명의 일 실시예에 따른 전자 기기의 동작을 설명하기 위해 제공되는 도면이다.
도 19는 본 발명의 일 실시예에 따른 전자 기기의 동작 방법을 설명하기 위해 제공되는 흐름도이다.
도 20 내지 도 23은 본 발명의 일 실시예에 따른 전자 기기의 동작을 설명하기 위해 제공되는 도면들이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 다음과 같이 설명한다.
도 1a 및 도 1b는 본 발명의 일 실시예에 따른 전자 기기를 간단하게 나타낸 도면들이다.
도 1a와 도 1b를 참조하면, 본 발명의 일 실시예에 따른 전자 기기(1)는 스마트폰과 같은 모바일 기기일 수 있다. 다만, 본 발명의 일 실시예에 따른 전자 기기(1)는 스마트폰과 같은 모바일 기기로 한정되지 않으며, 이미지를 촬영할 수 있는 카메라 기능을 제공하는 모든 기기를 포함하는 것으로 해석될 수 있을 것이다.
도 1a 및 도 1b를 참조하면, 전자 기기(1)는 하우징(2), 디스플레이(5), 카메라(6-8) 등을 포함할 수 있다. 일 실시예에서 디스플레이(5)는 하우징(2)의 전면 전체를 실질적으로 커버할 수 있으며, 전자 기기(1)의 동작 모드, 또는 실행 중인 애플리케이션 등에 따라 제1 영역(3)과 제2 영역(4) 등으로 구분되어 동작할 수 있다.
먼저 도 1a를 참조하면, 전면 카메라(6, 7)는 서로 다른 특성을 갖는 제1 전면 카메라(6)와 제2 전면 카메라(7) 등을 포함할 수 있다. 일례로, 제1 전면 카메라(6)와 제2 전면 카메라(7)는 조리개 값, 초점 거리, 화각 등에서 서로 다른 값을 가질 수 있다. 또한 일 실시예에서, 제1 전면 카메라(6)는 일반 카메라일 수 있으며, 제2 전면 카메라(7)는 ToF(Time-of-Flight) 카메라일 수 있다. 제2 전면 카메라(7)가 ToF 카메라일 경우, 별도의 광원과 결합하여 거리 측정, 깊이 맵 생성, 및 얼굴 인식 등의 기능을 제공할 수 있다.
전자 기기(1)의 후면을 나타낸 도 1b를 참조하면, 전자 기기(1)는 후면 카메라(8)와 발광부(9)를 포함할 수 있다. 후면 카메라(8)는, 전면 카메라(6, 7)와 마찬가지로, 조리개 값, 화각, 이미지 센서의 화소 수 중 적어도 하나가 서로 다른 복수의 후면 카메라들(8A-8C)을 포함할 수 있다. 발광부(9)는 LED 등을 광원으로 채용할 수 있으며, 후면 카메라(8)를 이용하는 애플리케이션에서 플래시로 동작할 수 있다.
도 1a와 도 1b를 참조하여 설명한 바와 같이, 사용자가 요구하는 다양한 영상 촬영 기능을 제공할 수 있도록, 최근에는 조리개 값, 이미지 센서의 화소 수, 화각, 초점 거리 등의 특성이 서로 다른 복수의 카메라들(6-8)를 탑재한 전자 기기(1)가 점점 증가하는 추세이다. 또한 본 발명의 일 실시예에서는, 사용자가 직접 조리개 값을 조절할 수 있는 기능을 제공함으로써, 사용자 편의성을 개선할 수 있다. 일례로, 조리개 값을 사용자가 직접 조절할 수 있는 기능은, 전자 기기(1)에서 실행되는 카메라 애플리케이션의 미리보기 화면에서 제공될 수 있다.
다만, 미리보기 화면에서 조리개 값을 조절하는 사용자 입력에 응답하여, 카메라들(6-8) 중에서 미리보기 화면을 제공하는 카메라의 조리개 값이 직접 변경되지는 않을 수 있다. 본 발명의 일 실시예에서는, 미리보기 화면에서 조리개 값을 조절하는 사용자 입력에 응답하여, 전자 기기(1)가 소정의 이미지 처리 프로세스를 실행함으로써, 미리보기 화면 및/또는 결과 이미지에 포함되는 배경의 블러(blur) 강도를 변경할 수 있다. 따라서, 사용자 입력에 따라 카메라의 조리개 값 및 결과 이미지의 심도(depth)가 변경된 것과 같은 효과를 얻을 수 있다.
사용자가 미리보기 화면에서 사용자 입력을 발생시켜 조리개 값을 결정하면, 전자 기기(1)는 미리보기 화면에 포함되는 피사체, 배경 등의 종류와 구도, 및 주변 환경 정보 등을 수집하고, 수집한 정보들과 사용자 입력을 이용하여 결과 이미지의 심도를 설정할 수 있다. 예를 들어, 미리 저장된 룩업 테이블 및/또는 미리 학습된 기계 학습 모델 등을 이용하여, 사용자가 현재 촬영하고자 하는 피사체의 종류와 주변 환경 정보, 및 사용자 입력 등에 최적화된 촬영 파라미터들이 자동으로 설정될 수 있다. 전자 기기(1)에 의해 설정되는 촬영 파라미터들은 결과 이미지에 포함된 배경의 블러 강도에 대응하는 심도, 결과 이미지의 색감 등을 포함할 수 있다. 일 실시예에서 룩업 테이블 및/또는 기계 학습 모델은, 사용자가 과거에 촬영한 이미지들 및/또는 클라우드 서비스 등을 통해 다른 사용자들이 촬영 이미지들을 이용하여 생성될 수 있다.
도 2는 본 발명의 일 실시예에 따른 전자 기기를 간단하게 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 전자 기기(10)는 디스플레이(11), 이미지 센서(12), 메모리(13), 프로세서(14), 및 통신부(15) 등을 포함할 수 있다. 전자 기기(10)에 포함되는 구성 요소들(11-15)은 버스(16)를 통해 서로 데이터를 주고받을 수 있다. 도 2에 도시한 구성 요소들(11-15)은 예시적인 것이며, 전자 기기(10)는 도 2에 도시한 구성 요소들(11-15) 외에 다른 추가적인 구성 요소들을 더 포함할 수 있다.
이미지 센서(12)는 앞서 도 1a 및 도 1b를 참조하여 설명한 바와 같이, 전자 기기(10)의 전면 및/또는 후면 등에 배치되어 카메라 기능을 제공할 수 있다. 프로세서(14)는 애플리케이션 프로세서, 중앙 처리 장치 등일 수 있으며, 이미지 센서(12)의 동작을 제어할 수 있다.
사용자가 카메라 애플리케이션을 실행함에 따라, 디스플레이(11)에 미리보기 화면이 표시될 수 있다. 사용자는 디스플레이(11)에 미리보기 화면과 함께 나타나는 셔터 아이콘을 터치하거나, 또는 전자 기기(10)의 하우징에 별도로 마련된 입력부를 이용하여 피사체를 촬영함으로써 결과 이미지를 생성할 수 있다. 본 발명의 일 실시예에서는, 미리보기 화면과 함께, 미리보기 화면에 포함되는 배경 등에 대한 블러 강도를 사용자가 직접 조절할 수 있는 사용자 인터페이스가 디스플레이(11)에 표시될 수 있다.
사용자가 상기 사용자 인터페이스에서 소정의 사용자 입력을 발생시키면, 전자 기기(10)는 사용자 입력과 함께, 주변 환경 정보, 및 미리보기 화면에 포함되는 피사체 정보 및/또는 배경 정보 등을 이용하여 촬영 파라미터들을 결정하고, 결정한 촬영 파라미터들을 이용하여 결과 이미지를 생성할 수 있다. 일례로, 전자 기기(10)는 메모리(13) 등에 저장된 룩업 테이블 및/또는 기계 학습 모델 등을 이용하여, 촬영 파라미터들을 결정할 수 있다.
일례로 촬영 파라미터들은 결과 이미지의 색감이나 심도 등을 포함할 수 있다. 사용자가 상기 사용자 인터페이스에서 발생시킨 사용자 입력에 의해 결과 이미지의 심도가 달라질 수 있다. 일 실시예에서 사용자 입력에 의해 결과 이미지에서 아웃포커스 효과가 나타나는 정도가 달라질 수 있다. 따라서 전자 기기(10)는, 수동 카메라에서 조리개를 직접 열고 닫아서 원하는 심도를 구현하는 것과 같은 기능을, 미리보기 화면에서 발생하는 사용자 입력에 의해 제공할 수 있다. 또한 미리보기 화면에서 발생하는 사용자 입력에 따라 미리보기 화면에 표시된 사용자 인터페이스, 예를 들어 조리개 아이콘의 개방 면적을 변경함으로써, 결과 이미지의 심도 변화를 가져오는 조리개 값의 변화를 사용자에게 직관적으로 전달할 수 있다.
도 3은 본 발명의 일 실시예에 따른 이미지 센서를 간단하게 나타낸 블록도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 이미지 센서(100)는 픽셀 어레이(110), 및 컨트롤러(120)를 포함할 수 있으며, 컨트롤러(120)는 로우 드라이버(121), 리드아웃 회로(122), 칼럼 드라이버(123) 및 컨트롤 로직(124) 등을 포함할 수 있다.
이미지 센서(100)는 외부에서 수신한 빛을 전기 신호로 변환하여 이미지 데이터를 생성할 수 있다. 이미지 센서(100)에 포함되는 픽셀 어레이(110)는 복수의 픽셀들(PX)을 포함할 수 있으며, 복수의 픽셀들(PX)은 빛을 받아들여 전하를 생성하는 광전 소자, 예를 들어 포토 다이오드(Photo Diode, PD)를 포함할 수 있다. 일 실시예에서, 복수의 픽셀들(PX) 각각은 둘 이상의 포토 다이오드들을 포함할 수도 있다. 픽셀들(PX) 각각이 여러 색상의 빛에 대응하는 픽셀 신호를 생성하거나, 또는 자동 초점(Auto Focus) 기능을 제공하기 위한 목적으로 복수의 픽셀들(PX) 각각에 둘 이상의 포토 다이오드들이 포함될 수 있다.
한편 복수의 픽셀들(PX) 각각은 포토 다이오드들이 생성하는 전하로부터 픽셀 신호를 생성하기 위한 픽셀 회로를 포함할 수 있다. 일 실시예로, 픽셀 회로는 전송 트랜지스터, 구동 트랜지스터, 선택 트랜지스터, 및 리셋 트랜지스터 등을 포함할 수 있다. 픽셀 회로는 복수의 픽셀들(PX) 각각으로부터 리셋 전압과 픽셀 전압을 검출하고, 그 차이를 계산함으로써 픽셀 신호를 획득할 수 있다. 픽셀 전압은, 복수의 픽셀들(PX) 각각에 포함된 포토 다이오드들에서 생성된 전하가 반영된 전압일 수 있다. 일 실시예에서, 서로 인접한 둘 이상의 픽셀들(PX)은 하나의 픽셀 그룹을 구성할 수 있으며, 픽셀 그룹에 포함되는 둘 이상의 픽셀들(PX)은 전송 트랜지스터, 구동 트랜지스터, 선택 트랜지스터, 및 리셋 트랜지스터 중 적어도 일부를 서로 공유할 수 있다.
로우 드라이버(121)는 픽셀 어레이(110)를 행(row) 단위로 구동할 수 있다. 예를 들어, 로우 드라이버(121)는 픽셀 회로의 전송 트랜지스터를 제어하는 전송 제어 신호, 리셋 트랜지스터를 제어하는 리셋 제어 신호, 선택 트랜지스터를 제어하는 선택 제어 신호 등을 생성할 수 있다.
리드아웃 회로(122)는 샘플링 회로, 아날로그-디지털 컨버터(Analog-to-Digital Converter, ADC) 등을 포함할 수 있다. 샘플링 회로는 복수의 샘플러들을 포함할 수 있으며, 일 실시예에서 샘플러는 상관 이중 샘플러(Correlated Double Sampler, CDS)일 수 있다. 샘플러는, 로우 드라이버(121)가 선택하는 로우 라인에 포함되는 픽셀들(PX)과 칼럼 라인들을 통해 연결되며, 해당 픽셀들(PX)로부터 리셋 전압 및 픽셀 전압을 검출할 수 있다. 샘플러들은, 리셋 전압과 픽셀 전압 각각을 램프 전압과 비교하고, 그 결과를 출력할 수 있다. 아날로그-디지털 컨버터는 샘플러들이 출력하는 비교 결과를 디지털 신호로 변환하여 출력할 수 있다.
칼럼 드라이버(123)는 디지털 신호를 임시로 저장할 수 있는 래치 또는 버퍼 회로와 증폭 회로 등을 포함할 수 있으며, 리드아웃 회로(122)로부터 수신한 디지털 신호를 처리할 수 있다. 로우 드라이버(121), 리드아웃 회로(122) 및 칼럼 드라이버(123)는 컨트롤 로직(124)에 의해 제어될 수 있다. 컨트롤 로직(124)은 로우 드라이버(121), 리드아웃 회로(122) 및 칼럼 드라이버(123)의 동작 타이밍을 제어하기 위한 타이밍 컨트롤러, 이미지 데이터 처리를 위한 이미지 신호 프로세서(Image Signal Processor) 등을 포함할 수 있다.
실시예들에 따라, 이미지 데이터를 처리하는 이미지 신호 프로세서는 프로세서(150)에 포함될 수도 있다. 프로세서(150)는 이미지 데이터를 처리하여 결과 이미지를 생성하고, 결과 이미지를 디스플레이에 표시하거나 메모리에 저장하는 등의 동작을 실행할 수 있다.
이미지 센서(100)의 컨트롤러(120) 및 프로세서(150) 중 적어도 하나는, 미리보기 화면에서 발생하는 사용자 입력, 및/또는 미리보기 화면에서 획득한 촬영 정보와 주변 환경 정보 등에 기초하여, 결과 이미지의 특성을 결정하는 촬영 파라미터를 변경할 수 있다. 일례로 촬영 파라미터는 결과 이미지의 심도를 구현하는 블러(blur) 강도 등을 포함할 수 있다. 예를 들어, 블러 강도가 높아지면, 결과 이미지에서 피사체로 인식된 개체 외의 주변 배경이 흐려져서 결과 이미지의 심도가 얕아지는 효과를 가져올 수 있다. 반대로, 블러 강도가 낮아지면, 결과 이미지에서 주변 배경이 선명해짐에 따라 심도가 깊어지는 효과를 가져올 수 있다.
사용자 입력에 따라 촬영 파라미터를 결정하는 방법은, 실시예들에 따라 달라질 수 있다. 일례로, 미리 저장된 룩업 테이블을 참조하여, 사용자 입력에 대응하는 촬영 파라미터를 읽어와서 이미지 센서(100)에 적용할 수 있다. 또는, 미리 학습된 기계 학습 모델에 사용자 입력으로부터 생성된 입력 값 등을 입력하고, 기계 학습 모델의 출력을 촬영 파라미터로서 이미지 센서(100)에 적용할 수도 있다. 실시예들에 따라, 기계 학습 모델에는 사용자 입력으로부터 생성된 입력 값 외에 사용자가 촬영하고자 하는 피사체의 종류, 배경의 종류, 피사체와 배경의 배치에 따른 구도 정보, 및 주변 조도 등이 함께 입력될 수도 있다.
도 4는 본 발명의 일 실시예에 따른 이미지 센서의 픽셀 어레이를 간단하게 나타낸 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 이미지 센서의 픽셀 어레이(PA)는 복수의 픽셀들(PX)을 포함할 수 있다. 복수의 픽셀들(PX)은 복수의 로우 라인들(ROW1-ROWm: ROW)과 복수의 칼럼 라인들(COL1-COLn: COL)에 연결될 수 있다. 이미지 센서는 복수의 픽셀들(PX)을 복수의 로우 라인들(ROW) 단위로 구동할 수 있다. 일례로, 복수의 로우 라인들(ROW) 중에서 선택 구동 라인을 구동하고 선택 구동 라인에 연결된 픽셀들(PX)로부터 리셋 전압과 픽셀 전압을 읽어오는 데에 필요한 시간은, 하나의 수평 주기로 정의될 수 있다. 이미지 센서는 복수의 로우 라인들(ROW) 각각에 연결된 픽셀들(PX)을 순차적으로 빛에 노출시키는 롤링 셔터 방식 또는 모든 로우 라인들(ROW)에 연결된 픽셀들을 동시에 빛에 노출시키는 글로벌 셔터 방식 등으로 동작할 수 있다.
한편, 이미지 센서의 프레임 주기(FT)는, 픽셀 어레이(PA)에 포함되는 모든 픽셀들로부터 리셋 전압과 픽셀 전압을 읽어오는 데에 필요한 시간들로 정의될 수 있다. 일례로, 프레임 주기(FT)는 복수의 로우 라인들(ROW)의 개수와 수평 주기의 곱과 같거나, 그보다 클 수 있다. 이미지 센서의 프레임 주기(FT)가 짧을수록, 이미지 센서는 같은 시간 동안 더 많은 개수의 이미지 프레임을 생성할 수 있다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 이미지 센서의 픽셀을 간단하게 나타낸 회로도들이다.
먼저 도 5를 참조하면, 이미지 센서에 포함되는 픽셀은 빛에 반응하여 전하를 생성하는 포토 다이오드(PD) 및 포토 다이오드(PD)가 생성한 전하를 처리하여 전기 신호를 출력하는 복수의 회로 소자들을 포함할 수 있다. 일례로 복수의 회로 소자들은, 리셋 트랜지스터(RX), 구동 트랜지스터(DX), 선택 트랜지스터(SX), 및 전송 트랜지스터(TX) 등을 포함할 수 있다.
리셋 트랜지스터(RX)는 리셋 제어 신호(RG)에 의해 턴-온 및 턴-오프되며, 리셋 트랜지스터(RX)가 턴-온되면 플로팅 디퓨전(FD)의 전압이 전원 전압(VDD)으로 리셋될 수 있다. 플로팅 디퓨전(FD)의 전압이 리셋되면, 선택 트랜지스터(SX)가 선택 제어 신호(SG)에 의해 턴-온되어 리셋 전압을 칼럼 라인(Col)으로 출력될 수 있다.
일 실시예에서, 포토 다이오드(PD)는 빛에 반응하여 전자 또는 홀을 주 전하 캐리어로 생성할 수 있다. 리셋 전압이 칼럼 라인(Col)으로 출력된 후 전송 트랜지스터(TX)가 턴-온되면, 포토 다이오드(PD)가 빛에 노출되어 생성한 전하가 플로팅 디퓨전(FD)으로 이동할 수 있다. 일례로, 포토 다이오드(PD)가 생성한 전하는, 플로팅 디퓨전(FD)에 존재하는 커패시터(CFD)에 저장되는 것으로 이해될 수 있을 것이다. 구동 트랜지스터(DX)는 플로팅 디퓨전(FD)의 전압을 증폭하는 소스-팔로워 증폭기로 동작할 수 있으며, 선택 트랜지스터(SX)가 선택 제어 신호(SG)에 의해 턴-온되면 포토 다이오드(PD)가 생성한 전하에 대응하는 픽셀 전압이 칼럼 라인(Col)으로 출력될 수 있다.
리셋 전압과 픽셀 전압 각각은, 칼럼 라인(COL)에 연결된 샘플링 회로에 의해 검출될 수 있다. 샘플링 회로는 제1 입력단 및 제2 입력단을 갖는 샘플러를 복수 개 포함하며, 샘플러는 제1 입력단으로 램프 전압을 입력받을 수 있다. 샘플러는 제1 입력단으로 입력되는 램프 전압과, 제2 입력단으로 입력되는 리셋 전압 및 픽셀 전압을 비교할 수 있다. 샘플러의 출력단에는 아날로그-디지털 컨버터(ADC)가 연결될 수 있으며, 아날로그-디지털 컨버터는 램프 전압과 리셋 전압의 비교 결과에 대응하는 리셋 데이터, 및 램프 전압과 픽셀 전압의 비교 결과에 대응하는 픽셀 데이터를 출력할 수 있다. 컨트롤 로직은 리셋 데이터와 픽셀 데이터의 차이에 대응하는 픽셀 신호를 이용하여 이미지 데이터를 생성할 수 있다.
다음으로 도 6에 도시한 일 실시예에서, 픽셀은 포토 다이오드(PD), 리셋 트랜지스터(RX), 구동 트랜지스터(DX), 선택 트랜지스터(SX), 전송 트랜지스터(TX), 및 스위치 소자(SW) 등을 포함할 수 있다. 도 6에 도시한 픽셀 회로에서는, 스위치 소자(SW)의 온/오프에 따라 변환 이득(conversion gain)이 조절될 수 있다.
픽셀 회로의 변환 이득은 전하에 의해 발생하는 전압 변화에 대응하며, 플로팅 디퓨전의 정전 용량에 반비례할 수 있다. 다시 말해, 플로팅 디퓨전의 정전 용량이 증가하면 픽셀 회로의 변환 이득이 감소하고, 플로팅 디퓨전의 정전 용량이 감소하면 픽셀 회로의 변환 이득이 증가할 수 있다. 따라서, 스위치 소자(SW)를 턴-온함으로써 변환 이득을 높이고, 스위치 소자(SW)를 턴-오프시켜 변환 이득을 낮출 수 있다.
변환 이득은 이미지 센서의 성능에 영향을 미칠 수 있다. 일례로, 픽셀 회로의 변환 이득이 저조도 환경에 맞게 설정되면, 고조도 환경에서 생성되는 픽셀 전압이 이미지 센서의 다이나믹 레인지를 초과할 수 있으며, 그에 따라 이미지의 품질이 열화될 수 있다. 한편, 픽셀 회로의 변환 이득이 고조도 환경에 맞게 설정되면, 저조도 환경에서 구동 트랜지스터(DX)가 충분히 구동하지 않을 수 있으며, 그에 따라 이미지에서 어두운 부분이 충분히 표현되지 않는 등의 문제가 나타날 수 있다. 도 6에 도시한 일 실시예에서는, 스위치 소자(SW)를 턴-온 또는 턴-오프시켜 픽셀 회로의 변환 이득을 동적으로 조절할 수 있다.
일례로, 스위치 소자(SW)가 턴-오프되면, 포토 다이오드(PD)에서 생성되는 전하를 저장하는 플로팅 디퓨전(FD)의 정전 용량은 제1 정전 용량(CFD1)으로 결정될 수 있다. 반면, 스위치 소자(SW)가 턴-온되면, 플로팅 디퓨전(FD)의 정전 용량은 제1 정전 용량(CFD1)과 제2 정전 용량(CFD2)의 합으로 결정될 수 있다. 다시 말해, 스위치 소자(SW)를 턴-오프시켜 플로팅 디퓨전(FD)의 정전 용량을 감소시키고 변환 이득을 증가시킬 수 있으며, 스위치 소자(SW)를 턴-온시켜 플로팅 디퓨전(FD)의 정전 용량을 증가시키고 변환 이득을 낮출 수 있다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 전자 기기의 동작 방법을 설명하기 위해 제공되는 흐름도들이다.
먼저 도 7을 참조하면, 본 발명의 일 실시예에 따른 전자 기기의 동작 방법은, 카메라 애플리케이션이 실행되는 것으로 시작될 수 있다(S100). 카메라 애플리케이션이 실행되면, 전자 기기는 주변 조도를 감지하고(S110), 감지한 주변 조도에 따라 이미지 센서의 변환 이득을 설정할 수 있다(S120). 일 실시예에서, 전자 기기는 S110 단계에서 주변 조도 외에 주변 광의 색 온도 등을 함께 수집할 수도 있다.
앞서 도 6을 참조하여 설명한 바와 같이, 이미지 센서의 변환 이득은 플로팅 디퓨전의 정전 용량에 따라 결정될 수 있다. 일례로, S110 단계에서 감지한 주변 조도가 높으면, 이미지 센서의 변환 이득은 감소할 수 있다. 반대로 S110 단계에서 감지한 주변 조도가 낮으면, 이미지 센서의 변환 이득은 증가할 수 있다.
이미지 센서의 변환 이득이 결정되면, 전자 기기는 결과 이미지에 적용할 블러(blur) 강도를 결정할 수 있다(S130). S130 단계에서, 블러 강도를 적용하기 위해 전자 기기는 미리 저장된 룩업 테이블 등을 참조할 수 있다. 일례로 룩업 테이블에는 주변 조도와 이미지 센서의 변환 이득, 및 그에 따라 결정되는 블러 강도가 저장될 수 있다.
일 실시예에서, 룩업 테이블은 주변 조도가 어두울수록 변환 이득을 높이고 결과 이미지가 얕은 심도로 생성되도록 세팅될 수 있다. 이 경우, 저조도 환경에서 촬영한 결과 이미지의 랜덤 노이즈 특성이 개선될 수 있다. 또한 룩업 테이블은 주변 조도가 밝을수록 변환 이득을 낮추고 결과 이미지가 깊은 심도로 생성되도록 세팅될 수 있다. 이 경우, 고조도 환경에서 촬영한 결과 이미지의 신호대 잡음비 특성이 개선될 수 있다. 다만 이는 하나의 실시예일 뿐이며, 룩업 테이블은 사용자의 선호도에 따라 다른 다양한 방식들로 주변 조도와 변환 이득, 및 블러 강도의 관계를 저장할 수 있다. 일례로, 고조도 환경에서 결과 이미지가 얕은 심도로 생성되고 저조도 환경에서 결과 이미지가 깊은 심도로 생성되도록 룩업 테이블이 세팅될 수도 있다.
다음으로 도 8을 참조하면, 본 발명의 일 실시예에 따른 전자 기기의 동작 방법은, 카메라 애플리케이션이 실행되는 것으로 시작될 수 있다(S200). 카메라 애플리케이션이 실행되면, 전자 기기는 미리보기 화면을 표시하고(S210), 미리보기 화면에서 특징 정보를 추출할 수 있다(S220). 미리보기 화면에서 추출하는 특징 정보는, 피사체 정보, 배경 정보, 피사체와 배경의 배치에 따른 구도 정보, 주변 조도 정보, 촬영 시간과 장소 정보 등을 포함할 수 있다.
다음으로 전자 기기는, 미리보기 화면에서 사용자 입력이 발생하는지 여부를 판단할 수 있다(S230). 일례로, 사용자는 전자 기기의 화면에 터치 입력을 인가하거나, 또는 전자 기기에 포함된 기계식 키를 조작함으로써, 미리보기 화면이 표시된 상태에서 사용자 입력을 발생시킬 수 있다.
S230 단계에서 사용자 입력이 발생하면, 전자 기기는 특징 정보와 사용자 입력에 기초하여 심도를 결정할 수 있다(S240). 반면, S230 단계에서 사용자 입력이 발생하지 않으면, 전자 기기는 특징 정보에 기초하여 심도를 결정할 수 있다(S250). 심도가 결정되면, 미리보기 화면에서 실행되는 촬영 기능에 응답하여 결과 이미지가 생성될 수 있다(S260). 또는, 일 실시예에서, 미리보기 화면에서 추출한 특징 정보를 이용하여 먼저 블러 강도를 결정하고, 이후 미리보기 화면에서 발생하는 사용자 입력에 따라 블러 강도를 변경할 수도 있다. 이때 사용자 편의성을 높이기 위해, 사용자 입력에 따른 블러 강도 변화가 미리보기 화면에 실시간으로 표현될 수 있다.
실시예들에 따라 전자 기기는 카메라의 실제 조리개 값을 바꿀 수 있다. 카메라의 실제 조리개 값을 바꿀 수 있는 경우, S240 단계 또는 S250 단계에서 결정되는 심도는, 카메라의 실제 조리개 값에 의해 결과 이미지에 표현될 수 있다. 반면 카메라가 고정된 조리개 값을 갖는 경우, S240 단계 또는 S250 단계에서 결정되는 심도는 이미지 처리 프로세스에 의해 결과 이미지의 배경에 적용되는 블러 강도를 증가 또는 감소시키는 방식으로 표현될 수 있다. 일례로 배경에 적용되는 블러 강도를 증가시켜 얕은 심도를 표현하고, 배경에 적용되는 블러 강도를 감소시켜 깊은 심도를 표현할 수 있다.
일 실시예에서 전자 기기는, 사용자 입력에 응답하여 생성한 입력 값과, 미리보기 화면에서 추출한 특징 정보를 미리 학습된 기계 학습 모델의 입력 노드들에 입력하고, 상기 기계 학습 모델의 출력 노드로 출력되는 값을 이용하여 블러 강도를 결정할 수 있다. 상기 기계 학습 모델에 대해서는 후술하기로 한다.
다시 말해, 본 발명의 일 실시예에 따른 전자 기기는, 미리보기 화면이 실행 중인 상태에서 발생하는 사용자 입력, 및/또는 전자 기기가 미리보기 화면으로부터 추출한 특징 정보 등으로부터 심도를 적응적으로(adaptive) 결정할 수 있다. 카메라가 고정된 조리개 값을 갖는 경우, 심도는 블러 강도를 조절함으로써 결과 이미지에 표현될 수 있다. 일 실시예에서, 블러 강도를 결정하기 위해 미리 학습된 기계 학습 모델을 이용할 수 있으며, 따라서 사용자 경험에 근거한 결과 이미지를 사용자에게 제공할 수 있다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 전자 기기의 동작 방법은, 카메라 애플리케이션이 실행되는 것으로 시작될 수 있다(S300). 카메라 애플리케이션이 실행되면, 전자 기기는 미리보기 화면 및 조리개 아이콘을 표시할 수 있다(S310). 일 실시예에서, 조리개 아이콘은 수동 카메라의 아날로그 조리개 형상을 가질 수 있다.
전자 기기는 미리보기 화면에서 특징 정보를 추출할 수 있다(S320). 특징 정보는, 피사체 정보, 배경 정보, 피사체와 배경의 배치에 따른 구도 정보, 주변 조도 정보, 촬영 시간과 장소 정보 등을 포함할 수 있다. 일 실시예에서 전자 기기는 S320 단계에서 추출한 특징 정보에 기초하여 결과 이미지에 적용할 블러 강도를 결정하고, 이를 미리보기 화면에 미리 표현할 수도 있다.
전자 기기는, 미리보기 화면에서 발생하는 사용자 입력에 응답하여, 조리개 아이콘의 개방 면적을 조절할 수 있다(S330). 일례로, 사용자는 미리보기 화면에서 터치 입력을 인가하거나, 또는 전자 기기에 포함된 기계식 키를 조작할 수 있다.
예를 들어, 미리보기 화면에서 발생하는 제1 입력에 의해 조리개 아이콘의 개방 면적이 증가할 수 있다. 또한, 제1 입력과 다른 제2 입력이 발생하면, 조리개 아이콘의 개방 면적이 감소할 수 있다. 일례로 제1 입력은 간격이 증가하는 멀티 터치 입력이거나 제1 방향으로 이동하는 슬라이드 제스처 입력일 수 있다. 제2 입력은 간격이 감소하는 멀티 터치 입력이거나, 제1 방향과 반대되는 제2 방향으로 이동하는 슬라이드 제스처 입력일 수 있다.
전자 기기는 사용자 입력으로부터 생성된 입력 값, 및 미리보기 화면에서 추출한 특징 정보에 기초하여, 미리보기 화면의 블러 강도를 조절할 수 있다(S340). 도 9에 도시한 일 실시예에서는, 미리보기 화면이 실행 중인 상태에서 전자 기기가 수신하는 사용자 입력에 의해, 미리보기 화면의 배경에 적용되는 블러 강도가 실시간으로 변할 수 있다. 사용자가 촬영을 실행하면, 촬영이 실행된 시점의 블러 강도로 결과 이미지가 생성될 수 있다(S350). 따라서 사용자가 원하는 심도를 표현하기 위한 배경의 블러 강도를 미리보기 화면에서 미리 확인한 후 촬영을 실행하여, 원하는 결과 이미지를 획득할 수 있다.
도 10 및 도 11은 본 발명의 일 실시예에 따른 전자 기기의 동작을 설명하기 위해 제공되는 도면들이다.
도 10 및 도 11에 도시한 일 실시예에서, 사용자는 전자 기기(200)로 이미지를 촬영하기 위해, 카메라 애플리케이션을 실행할 수 있다. 전자 기기(200)는 하우징(210), 디스플레이(220), 전면 카메라(231, 232) 등을 포함할 수 있으며, 하우징(210)는 하나 이상의 입력 버튼들(211-213)이 구비될 수 있다. 일례로 입력 버튼들(211-213)은 전원 버튼(211) 및 볼륨 조절 버튼들(212-213)을 포함할 수 있다.
카메라 애플리케이션이 실행되면, 디스플레이(220)는 도 10 및 도 11에 도시한 바와 같은 아이콘들(221-223)을 표시할 수 있다. 일례로, 제1 아이콘(221)은 사용자의 입력에 따라 변하는 블러 강도를 직관적으로 나타낼 수 있는 아이콘일 수 있다. 제1 아이콘(221)은 도 7 및 도 8에 도시한 바와 같이, 수동 카메라에서 물리적으로 개방/폐쇄되는 조리개의 형상을 가질 수 있다.
일반적인 수동 카메라에서는 카메라의 조리개 값에 따라 심도가 결정되고, 심도에 따라 피사체 주변 배경의 블러 강도가 결정될 수 있다. 본 발명의 일 실시예에서는, 심도를 얕은 심도로 설정하고자 하는 사용자 입력이 발생하면 조리개 형상의 제1 아이콘(221)의 개방 면적을 증가시키고 배경에 대한 블러 강도를 증가시킬 수 있다. 반면 심도를 깊은 심도로 설정하고자 하는 사용자 입력이 발생하면, 조리개 형상의 제1 아이콘(221)의 개방 면적을 감소시키고 배경에 대한 블러 강도를 감소시킬 수 있다. 따라서, 수동 카메라의 조리개를 열고 닫는 느낌으로 결과 이미지의 심도를 조절할 수 있는 인터페이스를 사용자에게 제공할 수 있다.
제2 아이콘(222)은 스마트 촬영 기능의 활성화 여부를 나타내는 아이콘일 수 있다. 일례로 사용자는 제2 아이콘(222)을 터치하여 스마트 촬영 기능을 활성화하거나 비활성화할 수 있다. 스마트 촬영 기능은 본 발명의 일 실시예에 따른 촬영 기능으로서, 제1 아이콘(221)에 대응하는 사용자 입력과 함께 미리 저장된 룩업 테이블 등을 참조하여 최적화된 결과 이미지를 제공하기 위한 기능일 수 있다. 한편, 디스플레이(220)의 일측에는 사용자의 터치 입력에 응답하여 결과 이미지를 촬영하는 제3 아이콘(223)이 표시될 수 있다.
일 실시예에서 사용자는, 디스플레이(220) 상에 소정의 제스처 입력(240)을 인가하여 조리개 값을 변경할 수 있다. 도 10을 참조하면, 사용자가 두 손가락을 디스플레이(220)에 터치한 상태에서 두 손가락 사이의 간격을 벌리는 제스처를 입력하는 경우, 제1 아이콘(221)의 개방 면적이 증가할 수 있다. 제1 아이콘(221)의 개방 면적은 카메라에서 F값으로 정의되는 조리개 값에 대응할 수 있다.
한편, 사용자가 두 손가락을 디스플레이(220)에 터치한 상태에서 두 손가락 사이의 간격을 오므리는 제스처를 입력하는 경우, 제1 아이콘(221)의 개방 면적이 감소할 수 있다. 도 11을 참조하면, 사용자가 두 손가락을 오므리는 제스처를 입력함으로써 제1 아이콘(221)의 개방 면적이 감소할 수 있다.
본 발명의 일 실시예에서, 사용자 입력에 따라 제1 아이콘(221)의 개방 면적이 증가 또는 감소되는 동시에, 미리보기 화면 및 결과 이미지의 배경에 적용되는 블러 강도가 증가 또는 감소할 수 있다. 일례로, 도 10에 도시한 일 실시예와 같이 제1 아이콘(221)의 개방 면적을 증가시키는 사용자 입력이 발생하면, 미리보기 화면에 포함되는 배경의 블러 강도가 증가할 수 있다. 따라서 제1 아이콘(221)의 개방 면적이 증가한 상태에서 촬영 기능이 실행되면, 아웃포커스 효과가 큰 결과 이미지가 생성될 수 있다. 반대로 도 11에 도시한 일 실시예와 같이 제1 아이콘(221)의 개방 면적을 감소시키는 사용자 입력이 발생하면, 미리보기 화면에 포함되는 배경의 블러 강도가 감소할 수 있다. 제1 아이콘(221)의 개방 면적이 감소한 상태에서 촬영 기능이 실행되면, 아웃포커스 효과가 작은 결과 이미지가 생성될 수 있다. 블러 강도는 전자 기기가 실행하는 이미지 처리 프로세스를 통해 변경될 수 있다.
한편, 제1 아이콘(221)의 개방 면적을 조절하는 사용자 입력은 두 손가락을 벌리거나 오므리는 제스처 외에 다른 제스처로 구현될 수도 있다. 일례로, 디스플레이(220)의 경계를 따라 손가락을 제1 방향으로 움직이는 경우 제1 아이콘(221)의 개방 면적이 증가하고, 상기 제1 방향과 반대되는 제2 방향으로 손가락이 움직이는 경우 제1 아이콘(221)의 개방 면적이 감소할 수 있다.
또는, 전자 기기(200)에 포함된 입력 버튼들(211-213) 중 적어도 일부를 이용하여 조리개 값을 조절할 수도 있다. 예를 들어, 볼륨 증가 버튼(212)을 누르면 조리개 값이 증가하고, 볼륨 감소 버튼(213)을 누르면 조리개 값이 감소할 수 있다. 볼륨 조절 버튼들(212, 213)과 조리개 값의 증가/감소는 반대로 대응할 수도 있다. 볼륨 조절 버튼들(212, 213)에 조리개 값 조절 기능을 할당함으로써, 사용자가 디스플레이(220)에 표시된 미리보기 화면 전체를 확인하면서 조리개 값을 조절하는 효과를 느낄 수 있으며, 그에 따른 심도 변화를 확인할 수 있다.
실시예들에 따라, 조리개 형상을 갖는 제1 아이콘(221)은 미리보기 화면에서 생략되거나, 또는 소정의 투명도를 갖도록 표시될 수 있다. 또한 미리보기 화면에서 일정 시간 동안 사용자 입력이 발생하지 않으면 제1 아이콘(221)이 사라져서 표시되지 않을 수 있다. 제1 아이콘(221)이 사라진 상태에서 미리보기 화면에 터치 입력이 발생하면, 제1 아이콘(221)은 다시 표시될 수 있다. 또한 촬영의 편의성을 높이기 위해, 미리보기 화면에 나타나는 제1 아이콘(221)의 위치를 사용자가 직접 조절할 수도 있다.
도 12는 본 발명의 일 실시예에 따른 전자 기기의 동작을 설명하기 위해 제공되는 도면이다.
도 12를 참조하면, 본 발명의 일 실시예에 따른 전자 기기(300)는 신경망 프레임워크(Neural Network Framework, 310) 및 메모리(320) 등을 포함할 수 있다. 신경망 프레임워크(310)는 소프트웨어, 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있다. 메모리(320)에는 사용자가 촬영한 이미지들(321) 및 카메라의 촬영 파라미터를 조절하는 데에 필요한 파라미터 데이터베이스(322) 등이 저장될 수 있다.
일례로, 파라미터 데이터베이스(322)는 룩업 테이블(323) 및 라이브러리(324) 등을 포함할 수 있다. 룩업 테이블(323)에는, 이미지의 특징 정보와 사용자 입력에 대응하는 입력 값, 및 결과 이미지의 심도를 결정하는 블러 강도 등이 저장될 수 있다. 일 실시예에서 룩업 테이블(323)은, 전자 기기(300)와 통신 가능하도록 연결되는 클라우드(400)로부터 전자 기기(300)가 수신하여 저장할 수 있다. 전자 기기(300)는 소정의 주기마다, 또는 사용자의 입력에 응답하여 클라우드(400)로부터 새로운 데이터를 수신하여 룩업 테이블(323)을 갱신할 수 있다.
일례로 클라우드(400)는, 전자 기기(300)의 제조사, 또는 전자 기기(300)를 이용한 통신 서비스를 제공하는 통신사 등에 의해 제공될 수 있다. 클라우드(400)는, 클라우드(400)에 접속 가능한 사용자들이 촬영한 이미지들을 분석하고, 이를 기초로 데이터베이스(DB, 410)를 생성하여 저장할 수 있다. 일례로 클라우드(400)는 이미지들에 포함된 피사체 정보 및/또는 배경 정보, 이미지가 촬영된 시간, 이미지가 촬영된 장소, 이미지를 촬영한 사용자들의 나이, 성별 등에 따라 이미지들 및/또는 사용자들을 복수의 그룹들로 분류할 수 있다. 클라우드(400)는 복수의 그룹들 각각에 대해 이미지에 적용된 블러 강도, 혹은 필터나 색감 등의 정보를 데이터베이스(410)화하여 저장할 수 있다.
전자 기기(300)로부터 룩업 테이블(323)에 대한 갱신 요청을 수신하면, 클라우드(400)는 전자 기기(300)의 사용자가 촬영한 이미지들에 포함된 피사체 및/또는 배경의 종류, 이미지 촬영 시간과 장소, 사용자의 나이나 성별 등을 참조하여, 데이터베이스(410)로부터 전자 기기(300)의 사용자에게 적합한 데이터들을 추출하여 새로운 룩업 테이블(323)을 만들고 이를 전자 기기(300)에 전송할 수 있다. 사용자의 취향과 개인 정보 등에 따라 룩업 테이블(323)이 갱신될 수 있으므로, 전자 기기(300)에 탑재된 카메라 애플리케이션의 성능이 개선될 수 있다.
라이브러리(324)는 신경망 프레임워크(310)에 의해 관리될 수 있으며, 기계 학습 모델(312)에 의해 결정된 블러 강도 등이 라이브러리(324)에 포함될 수 있다. 이하, 신경망 프레임워크(310)에 의한 기계 학습 모델(312)의 학습 과정 및 그에 따른 라이브러리(324)의 구성 등을 설명하기로 한다.
신경망 프레임워크(310)는 파라미터 추출 모듈(311), 기계 학습 모델(312), 및 매니저 모듈(313) 등을 포함할 수 있다. 파라미터 추출 모듈(311)은 메모리(320)에 저장된 이미지들(321)로부터, 기계 학습 모델(312)의 학습에 필요한 입력 파라미터들 및 출력 파라미터들을 산출할 수 있다. 메모리(320)에 저장된 이미지들(321)은, 전자 기기(300)의 사용자가 촬영 및 저장한 결과 이미지들로서, 사용자에 의해 추가 및 삭제될 수 있다.
일례로, 파라미터 추출 모듈(311)은, 메모리(320)에 저장된 이미지들(321) 중 적어도 일부에서, 이미지를 촬영할 때 미리보기 화면에서 발생한 사용자 입력에 대응하는 입력 값과 이미지를 촬영할 때의 주변 환경 정보, 및 이미지에서 추출되는 촬영 정보 등을 획득할 수 있다. 일례로 상기 입력 값은, 이미지를 촬영할 때 사용자가 직접 블러 강도를 조절하기 위해 미리보기 화면에서 발생시킨 사용자 입력에 대응하는 값일 수 있으며, 카메라의 조리개 값과 같은 수치로 표현될 수 있다. 또한, 주변 환경 정보는 이미지를 촬영할 때의 시간, 장소, 주변 광의 조도, 색 온도 등의 정보를 포함할 수 있다. 촬영 정보는, 이미지에 포함된 피사체와 배경의 종류, 구도, 색감, 명암비 등의 정보를 포함할 수 있다. 한편, 파라미터 추출 모듈(311)은 메모리(320)에 저장된 이미지들(321) 각각의 블러 강도를 나타내는 정보 등을 획득할 수 있다.
파라미터 추출 모듈(311)은 이미지들 각각에 대한 주변 환경 정보, 촬영 정보, 및 입력 값 등을 기계 학습 모델(312)의 입력 노드들에 입력 파라미터들로서 입력할 수 있다. 일례로, 신경망 프레임워크(310)는, 입력 값, 주변 환경 정보, 및 촬영 정보 등을 입력받은 기계 학습 모델(312)의 출력 노드로 출력되는 출력 파라미터가, 해당 이미지의 심도를 표현하는 블러 강도에 대응하도록 기계 학습 모델(312)을 학습시킬 수 있다. 예를 들어 신경망 프레임워크(310)는 기계 학습 모델(312)의 히든 레이어에 포함되는 히든 노드들 각각에 부여되는 가중치들을 조절함으로써, 기계 학습 모델(312)을 학습시킬 수 있다. 기계 학습 모델(312)에 대한 학습이 완료되면, 매니저 모듈(313)은 학습 완료된 기계 학습 모델(312) 및 기계 학습 모델(312)의 입력 파라미터들과 출력 파라미터 등을 라이브러리(324)에 저장할 수 있다.
사용자가 전자 기기(300)를 사용하는 동안, 메모리(320)에 저장된 이미지들(321)은 삭제 및 추가될 수 있다. 메모리(320)에 저장된 이미지들(321)에서 미리 정해진 기준 개수 이상이 변경된 것으로 확인되면, 신경망 프레임워크(310)는 기계 학습 모델(312)을 다시 학습시키고 라이브러리(324)를 갱신할 수 있다. 또는, 기계 학습 모델(312)에 대한 학습이 완료되고 소정의 시일이 경과한 후에, 신경망 프레임워크(310)가 기계 학습 모델(312)을 다시 학습시키고 라이브러리(324)를 갱신할 수도 있다.
다시 말해, 본 발명의 일 실시예에서는, 사용자가 전자 기기(300)를 사용하며 촬영한 과거의 이미지들(321)을 참조하여 기계 학습 모델(312)을 학습시킬 수 있다. 사용자가 앞서 도 10 및 도 11 등을 참조하여 설명한 스마트 촬영 기능을 활성화하면, 미리보기 화면에서 특징 정보로서 추출한 촬영 정보와 주변 환경 정보, 및 사용자가 미리보기 화면에 발생시킨 사용자 입력에 대응하는 입력 값 등이 기계 학습 모델(312)에 입력될 수 있다. 또한 전자 기기는, 기계 학습 모델(312)의 출력을 참조하여, 사용자의 선호도에 최적화된 결과 이미지를 제공할 수 있다. 일례로 전자 기기는, 기계 학습 모델(312)의 출력을 참조하여 결과 이미지의 블러 강도 등을 결정함으로써 아웃포커스 효과를 조절할 수 있다.
일례로, 사용자가 과거에 촬영한 이미지들(321)에서, 높은 조도 환경에서 피사체로 인물이 포함되고 자연이 배경인 이미지들의 심도가 얕은 경우를 가정하자. 심도가 얕으므로, 높은 조도 환경에서 자연을 배경으로 인물을 촬영할 때, 전자 기기(300)의 사용자는 큰 블러 강도를 선호하는 것으로 판단될 수 있다. 기계 학습 모델(312)은, 높은 조도 환경에서 미리보기 화면에 피사체로 인물이 포함되고 배경이 자연으로 인식되면, 얕은 심도를 표현할 수 있는 큰 블러 강도를 출력하도록 학습될 수 있다. 전자 기기(300)는 기계 학습 모델(312)의 출력을 참조하여 배경에 적용되는 블러 강도를 높여서 얕은 심도의 결과 이미지를 생성할 수 있다.
한편, 사용자가 과거에 촬영한 이미지들(321)에서, 피사체로 인물이 포함되는 경우에도, 조도가 낮거나 피사체인 인물이 한 명이 아닌 경우에는 이미지의 심도가 깊게 나타날 수 있다. 심도가 깊기 때문에, 피사체로 여러 인물이 포함되거나, 조도가 낮은 경우에는, 사용자가 작은 블러 강도를 선호하는 것으로 판단될 수 있다. 기계 학습 모델(312)은 여러 인물이 미리보기 화면에서 확인되거나, 조도가 낮은 것으로 확인될 경우, 작은 블러 강도를 출력할 수 있다. 전자 기기(300)는 기계 학습 모델(312)의 출력을 참조하여 배경에 대한 블러 강도를 낮춤으로써 깊은 심도의 결과 이미지를 생성할 수 있다.
도 13은 본 발명의 일 실시예에 따른 전자 기기에서 이용하는 룩업 테이블을 나타낸 도면이다.
도 13을 참조하면, 본 발명의 일 실시예에 따른 전자 기기에 저장된 룩업 테이블은, 조도, 및 이미지의 심도를 결정하는 블러 강도의 관계를 저장할 수 있다. 일례로, 조도가 낮은 경우에는 조리개가 개방되므로 전자 기기가 얕은 심도의 결과 이미지를 생성하고 조도가 높은 경우에는 조리개가 닫히므로 전자 기기가 깊은 심도의 결과 이미지를 생성하도록 설정될 수 있다. 전자 기기에서 카메라 애플리케이션이 실행되면, 주변의 조도 및 룩업 테이블을 참조하여 최적의 결과 이미지를 얻을 수 있는 블러 강도(Blur Strength)가 자동으로 설정될 수 있다. 블러 강도가 변경됨에 따라, 결과 이미지에 나타나는 보케(Bokeh) 효과도 달라질 수 있다.
도 13에 도시한 일 실시예를 참조하면, 조도에 따라 이미지 센서의 블러 강도가 달라질 수 있으며, 또한 룩업 테이블에서는 조도 외의 다른 파라미터들에 따라 블러 강도가 달라질 수도 있다. 일례로, 룩업 테이블에는 조도 및 변환 이득에 따른 결과 이미지의 심도가 저장될 수도 있다.
예를 들어, 이미지 센서의 변환 이득은 조도가 낮으면 증가하고, 조도가 높으면 감소할 수 있다. 조도가 낮을 때 변환 이득을 증가시켜 어두운 곳에서도 이미지를 생성하기에 충분한 세기의 픽셀 신호를 확보할 수 있다. 또한, 조도가 높을 때에는 변환 이득을 감소시킴으로써, 픽셀 신호가 포화되는 것을 방지할 수 있다. 따라서, 변환 이득이 증가하면 얕은 심도의 결과 이미지가 생성되고, 변환 이득이 감소하면 깊은 심도의 결과 이미지가 생성되도록 변환 이득과 블러 강도가 룩업 테이블에 저장될 수 있다.
룩업 테이블은, 복수의 샘플 이미지들을 참조하여 생성될 수 있다. 즉, 복수의 샘플 이미지들 각각에서 조리개 값과 블러 강도 등을 수집하고 이를 이용하여 룩업 테이블을 생성할 수 있다. 룩업 테이블은 전자 기기와 연동되는 클라우드 서버 등에 저장될 수 있으며, 샘플 이미지들이 추가되는 경우에, 또는 소정의 주기마다 새로운 샘플 이미지들을 수집하여 갱신될 수 있다.
한편 도 13에 도시한 일 실시예에서, 중간 심도의 결과 이미지를 생성하기 위한 데이터, 예를 들어 P6와 P7, P8 중 적어도 하나는 조절 가능할 수 있다. 전자 기기를 제조하는 제조사들에 따라 이미지 센서의 튜닝 기준 및 방향이 서로 다를 수 있으므로, 본 발명의 일 실시예에서는 전자 기기 제조사들 각각의 요구에 맞게 룩업 테이블에서 중간 조도와 중간 변환 이득에 대응하는 블러 강도를 증가 또는 감소시킬 수 있다. 따라서, 다양한 제조사들의 서로 다른 요구에 부합하여 이미지 센서를 튜닝할 수 있다.
도 14는 본 발명의 일 실시예에 따른 전자 기기의 동작 방법을 설명하기 위해 제공되는 흐름도이다.
도 14를 참조하면, 본 발명의 일 실시예에 따른 전자 기기의 동작 방법은, 메모리에 저장된 이미지들을 이용하여 기계 학습 모델을 학습하는 것으로 시작할 수 있다(S400). 일례로, 이미지들 각각의 촬영 파라미터들에 대응하는 특징 정보를 이미지들 각각에서 추출하여 기계 학습 모델의 입력 파라미터들로 적용하고, 이미지들 각각에서 획득한 블러 강도를 출력 파라미터로 적용하여 기계 학습 모델을 학습시킬 수 있다. 기계 학습 모델의 학습은, 앞서 설명한 바와 같이 신경망 프레임워크에 의해 실행될 수 있다.
이후 전자 기기에서 카메라 애플리케이션이 실행되고(S410), 미리보기 화면이 표시될 수 있다(S420). 미리보기 화면이 표시되면, 전자 기기는 미리보기 화면에서 특징 정보를 추출하여 기계 학습 모델에 입력할 수 있다(S430). 일례로, S430 단계에서 미리보기 화면으로부터 특징 정보를 추출하는 방법은, S400 단계에서 기계 학습 모델을 학습하기 위해 메모리에 저장된 이미지들 각각에서 특징 정보를 추출하는 방법과 같을 수 있다.
전자 기기는, 미리보기 화면에서 추출된 특징 정보를 입력받은 기계 학습 모델의 출력을 이용하여, 블러 강도를 결정할 수 있다(S440). 메모리에 저장된 이미지들에 의해 기계 학습 모델의 학습이 완료된 상태에서 카메라 애플리케이션이 실행되므로, S440 단계에서 결정되는 블러 강도는, 미리보기 화면과 같거나 또는 유사한 이미지에서 사용자가 선호한 블러 강도에 대응할 수 있다. S440 단계에서 결정된 블러 강도는 미리보기 화면에 실시간으로 반영될 수 있다. 사용자는 미리보기 화면에 나타난 블러 강도를 확인하고 촬영 기능을 실행함으로써 결과 이미지를 생성할 수 있다(S450).
S440 단계에서 기계 학습 모델에 의해 결정된 블러 강도가 만족스럽지 않으면, 사용자는 미리보기 화면이 표시 중인 상태에서 입력을 발생시켜 블러 강도를 조절할 수도 있다. 이하, 도 15를 참조하여 설명하기로 한다.
도 15는 본 발명의 일 실시예에 따른 전자 기기의 동작 방법을 설명하기 위해 제공되는 도면이다.
도 15를 참조하면, 전자 기기는 미리보기 화면(PRE)의 복수의 영역들(A1-A4)에서 특징 정보를 추출할 수 있다. 복수의 영역들(A1-A4)의 개수는 다양하게 변형될 수 있으며, 전자 기기는 복수의 영역들(A1-A4)에서 추출한 특징 정보에 기초하여 미리보기 화면(PRE)에 포함된 피사체 정보, 배경 정보, 주변 광의 조도와 색온도 등의 정보를 획득할 수 있다.
앞서 도 14를 참조하여 설명한 바와 같이, 특징 정보는 미리 학습이 완료된 기계 학습 모델에 입력될 수 있다. 기계 학습 모델은 특징 정보를 입력받아 사용자에게 최적화된 결과 이미지를 제공하는 데에 필요한 블러 강도를 출력할 수 있다. 기계 학습 모델이 출력한 블러 강도는 미리보기 화면(PRE)에 실시간으로 반영될 수 있다. 일례로 블러 강도는 미리보기 화면(PRE)의 배경에 적용되는 블러 강도일 수 있다.
사용자가 미리보기 화면(PRE)에 반영된 블러 강도에 만족하지 못할 경우, 별도의 제스처 입력(GES)을 통해 블러 강도를 더 조절할 수도 있다. 일례로 사용자가 미리보기 화면(PRE)에 반영된 블러 강도가 약하다고 판단한 경우, 사용자는 두 손가락을 벌리는 제스처를 입력하여 블러 강도를 증가시킬 수 있다. 반대로, 사용자가 미리보기 화면(PRE)에 반영된 블러 강도가 너무 강하다고 판단한 경우, 사용자는 두 손가락을 오므리는 제스처를 입력하여 블러 강도를 감소시킬 수 있다.
도 16 및 도 17은 본 발명의 일 실시예에 따른 전자 기기에서, 조리개 값에 따라 촬영 파라미터를 결정하기 위해 이용하는 기계 학습 모델을 설명하기 위해 제공되는 도면들이다.
먼저 도 16을 참조하면, 기계 학습 모델(500)은 입력 레이어(510), 히든 레이어(520) 및 출력 레이어(530)를 포함할 수 있다. 입력 레이어(510)는 복수의 입력 노드들(511)을 포함하며, 히든 레이어(520)는 복수의 히든 노드들(521)을 포함하고, 출력 레이어(530)는 출력 노드(531)를 포함할 수 있다. 일 실시예에서, 출력 레이어(530)는 하나의 출력 노드(531)를 포함할 수 있다. 다만, 실시예들에 따라, 출력 노드(531)의 개수는 변형될 수 있다.
복수의 입력 노드들(511)에는 복수의 입력 파라미터들이 입력될 수 있다. 복수의 입력 파라미터들은 사용자가 과거에 촬영하여 전자 기기의 메모리에 저장된 이미지들로부터 추출되는 특징 정보에 대응할 수 있다. 일례로, 복수의 입력 파라미터들은, 이미지들 각각을 촬영할 때의 조도, 이미지들 각각에 포함된 피사체 및/또는 배경의 종류, 피사체와 배경의 배치에 따른 구도, 이미지를 촬영할 때 미리보기 화면에서 발생한 사용자 입력에 대응하는 입력 값 등의 정보에 대응할 수 있다. 입력 값은 해당 이미지를 촬영할 때 미리보기 화면에서 블러 강도를 조절하기 위해 사용자가 발생시킨 사용자 입력에 의해 결정되는 값일 수 있으며, 조리개 값의 수치로 표현될 수 있다. 다만, 입력 값은 해당 이미지를 촬영한 카메라의 실제 조리개 값과 일치하지 않을 수 있다. 예를 들어 사용자는 제2 이미지를 촬영할 때 가장 강한 블러 강도가 설정되고, 제3 이미지를 촬영할 때 가장 약한 블러 강도가 설정되도록 미리보기 화면에서 입력을 발생시킬 수 있으나, 제2 이미지와 제3 이미지를 촬영할 때 카메라의 조리개 값은 서로 같을 수 있다.
전자 기기의 메모리에 저장된 이미지로부터 추출되는 상기 정보들이 소정의 순서에 따라 배열되어 입력 노드들(511)에 입력되면, 기계 학습 모델(500)의 히든 레이어(520)는 입력 노드들(511)에 입력된 값들을 이용하여 소정의 연산을 수행함으로써 출력 노드(531)로 출력 값을 내보낼 수 있다. 일 실시예로, 히든 레이어(520)는, 복수의 히든 노드들(521) 각각에 입력되는 값들을 전부 더하거나, 복수의 히든 노드들(521) 각각에 입력되는 값들을 모두 더한 합이 소정의 임계값보다 크면 1 또는 0을 다음 노드로 전달하거나, 또는 복수의 히든 노드들(521) 사이에서 전달되는 값에 소정의 가중치(weighting value)를 부여하는 방식으로 상기 연산을 수행할 수 있다.
일 실시예에서, 출력 노드(531)로 출력되는 출력 값은, 해당 이미지의 심도를 나타내는 블러 강도에 대응하는 값일 수 있다. 출력 노드(531)로 출력되는 출력 값이 해당 이미지의 실제 심도를 나타내는 블러 강도와 일치하지 않거나, 출력 값과 블러 강도의 차이가 소정의 기준을 초과하면, 기계 학습 모델(500)은 복수의 히든 노드들(521)에 적용되는 상기 임계값이나 상기 가중치를 조절할 수 있다. 기계 학습 모델(500)은 상기 출력 값이 해당 이미지의 실제 심도를 나타내는 블러 강도와 일치하거나, 출력 값과 블러 강도의 차이가 소정의 기준보다 작아질 때까지, 상기 임계값이나 상기 가중치를 조절하는 학습 과정을 반복 수행할 수 있다. 일례로, 상기와 같은 학습 과정은, 메모리에 저장된 이미지들에 대해 실행될 수 있다.
다음으로, 도 16과 함께 도 17을 참조하여, 전자 기기에 저장된 제1 내지 제4 이미지들을 이용하여 기계 학습 모델(500)을 학습시키는 과정을 설명하기로 한다. 도 17을 참조하면, 제1 내지 제4 이미지들 각각으로부터 입력 값, 조도, 피사체, 구도, 배경 등의 정보를 입력 파라미터들로 산출할 수 있다. 예를 들어, 제1 이미지로부터 산출한 입력 파라미터들이 기계 학습 모델(500)의 입력 노드들(511)에 입력되면, 출력 노드(531)의 출력 값이 제1 이미지의 블러 강도를 나타내는 8이 되도록 기계 학습 모델(500)이 학습될 수 있다. 마찬가지로, 제2 이미지로부터 산출한 입력 파라미터들을 기계 학습 모델(500)의 입력 노드들(511)에 입력하고, 출력 노드(531)의 출력 값이 제2 이미지의 블러 강도를 나타내는 10이 되도록 기계 학습 모델(500)이 학습될 수 있다. 여기서 기계 학습 모델(500)을 학습하는 과정은, 히든 노드들(521)에 부여된 가중치들이 조절되는 등의 과정을 포함할 수 있다.
즉, 전자 기기에 저장된 이미지들 각각으로부터 획득한 입력 파라미터들을 기계 학습 모델(500)에 입력했을 때, 기계 학습 모델(500)의 출력 파라미터가 이미지들 각각의 블러 강도에 대응하도록 기계 학습 모델(500)이 학습될 수 있다. 따라서, 기계 학습 모델(500)은 카메라 애플리케이션이 실행되고 조리개 값, 조도, 피사체와 배경의 종류, 구도 등이 결정되면, 사용자의 취향에 최적화된 결과 이미지를 생성할 수 있는 블러 강도를 출력할 수 있다.
본 발명의 일 실시예에서는, 카메라 애플리케이션이 실행되면, 미리보기 화면에서 추출한 입력 파라미터들을 학습 완료된 기계 학습 모델(500)에 입력하여 최적화된 블러 강도를 결정할 수 있으며, 결과적으로 사용자가 선호하는 심도의 결과 이미지를 제공할 수 있다. 실시예들에 따라, 기계 학습 모델(500)은 블러 강도 외에 다른 값들, 예를 들어 색감, 명암비 등을 더 출력할 수도 있다.
도 18은 본 발명의 일 실시예에 따른 전자 기기의 동작을 설명하기 위해 제공되는 도면이다.
도 18을 참조하면, 본 발명의 일 실시예에 따른 전자 기기(600)는 룩업 테이블(610) 및 기계 학습 모델(620) 등을 포함할 수 있다.
카메라 애플리케이션이 실행되면, 전자 기기는 조도(631)를 판단할 수 있다. 일례로, 맑은 날 야외에서는 조도(631)가 매우 높은 값을 가질 수 있으며, 흐린 날이나 저녁, 실내와 같은 환경에서는 상대적으로 조도(631)가 작은 값을 가질 수 있다. 조도(631)는 룩업 테이블(610)과 기계 학습 모델(620)에 전달될 수 있다. 룩업 테이블(610)은 조도(631) 및 그에 따라 이미지 센서에 설정되는 변환 이득 등을 참조하여 결과 이미지의 심도를 결정하는 블러 강도(641)를 출력할 수 있다.
한편, 카메라 애플리케이션이 실행되면, 미리보기 화면에서 조리개 값(632)을 직접 조절할 수 있는 기능이 사용자에게 제공될 수 있다. 미리보기 화면에서 발생하는 사용자 입력에 대응하는 입력 값(632)은, 조리개 값의 수치로 표현될 수 있다. 다만 입력 값(632)에 의해 카메라의 실제 조리개 값이 변경되지는 않을 수 있다. 입력 값(632)은 기계 학습 모델(620)에 입력될 수 있다. 전자 기기는 입력 값(632) 외에, 미리보기 화면에서 획득한 특징 정보(633)를 기계 학습 모델(620)에 입력할 수 있다. 일례로, 특징 정보(633)는 피사체 정보와 배경 정보, 피사체와 배경의 구도 등을 포함할 수 있다. 기계 학습 모델(620)은 조도(631)와 입력 값(632) 및 특징 정보(633) 등을 입력받을 수 있으며, 결과 이미지의 심도를 결정하는 블러 강도(642)를 출력할 수 있다.
카메라 애플리케이션은, 룩업 테이블(610) 및/또는 기계 학습 모델(620)이 출력하는 블러 강도(641, 642)를 참조하여, 사용자가 촬영한 결과 이미지의 심도를 결정할 수 있다. 일례로, 카메라 애플리케이션은 블러 강도(641, 642)가 높으면, 피사체 주변의 배경을 흐릿하게 처리하여 결과 이미지의 심도를 얕은 심도로 설정할 수 있다. 전자 기기에 탑재된 이미지 센서가 복수 개인 경우, 이미지 센서들이 출력하는 신호의 위상차를 이용하여 피사체 및 주변 배경의 심도를 계산함으로써 배경을 흐릿하게 처리할 수 있다. 이미지 센서가 하나만 탑재된 경우에는, 소프트웨어 알고리즘을 이용하여 피사체의 윤곽선을 인식함으로써, 배경을 흐릿하게 처리할 수 있다.
일 실시예에서, 룩업 테이블(610)이 출력하는 블러 강도(641)는 조도(631)에 의해 결정될 수 있다. 일례로 조도가 낮으면 얕은 심도가 적용되고 블러 강도가 감소될 수 있으며, 조도가 높으면 깊은 심도가 적용되고 블러 강도가 증가할 수 있다. 다만 이는 하나의 실시예일 뿐이며 룩업 테이블(610)의 데이터에 따라 블러 강도(641)와 조도(631)의 관계는 다양하게 변형될 수 있다.
기계 학습 모델(620)이 출력하는 블러 강도(641)는 조도(631) 외에 입력 값(632) 및 특징 정보(633) 등에 의해 결정될 수 있다. 기계 학습 모델(620)은, 사용자가 과거에 촬영하여 저장한 이미지들을 기초로 학습될 수 있다. 따라서, 기계 학습 모델(620)이 출력하는 블러 강도는, 사용자의 취향에 따라 동적으로 결정될 수 있다. 본 발명의 일 실시예에서는 전자 기기의 제조사에서 제공하는 룩업 테이블(610)이 출력하는 블러 강도(641)와, 기계 학습 모델(620)이 출력하는 블러 강도(642)를 모두 이용함으로써, 최적의 품질을 갖는 이미지를 사용자에게 제공할 수 있다.
도 19는 본 발명의 일 실시예에 따른 전자 기기의 동작 방법을 설명하기 위해 제공되는 흐름도이다.
도 19를 참조하면, 본 발명의 일 실시예에 따른 전자 기기의 동작 방법은 카메라 애플리케이션이 실행되고(S500), 주변 조도를 감지하는 것으로 시작될 수 있다(S510). 주변 조도가 감지되면, 그에 따라 이미지 센서의 변환 이득이 설정될 수 있다(S520). 앞서 설명한 바와 같이, 주변 조도가 높으면 변환 이득이 감소하고, 주변 조도가 낮으면 변환 이득이 증가할 수 있다. 또한 전자 기기는 블러 강도를 결정할 수 있다(S530). S530 단계에서 블러 강도는, 일례로 전자 기기에 저장된 룩업 테이블에 의해 결정될 수 있다. 룩업 테이블은 주변 조도와 변환 이득, 및 블러 강도의 관계를 정의하는 데이터를 포함할 수 있다.
전자 기기는 S530 단계에서 결정된 블러 강도를 적용하여 미리보기 화면을 표시하고(S540), 미리보기 화면에서 특징 정보를 추출할 수 있다(S550). 특징 정보는 미리보기 화면에 포함되는 피사체 정보, 배경 정보, 피사체와 배경의 배치에 따른 구도 정보 등을 포함할 수 있다. 사용자는 전자 기기가 S530 단계에서 결정한 블러 강도가 반영된 미리보기 화면을 확인하고, 블러 강도를 변경할지 여부를 판단하여 사용자 입력을 발생시킬 수 있다(S560). 일례로 사용자는, 미리보기 화면에서 블러 강도를 높이거나 낮추기 위한 소정의 제스처 입력 등을 발생시킬 수 있다.
S560 단계에서 사용자 입력이 발생하면, 전자 기기는 사용자 입력에 대응하는 입력 값과, 앞서 미리보기 화면에서 추출한 특징 정보에 기초하여 블러 강도를 결정할 수 있다(S570). 반면 S560 단계에서 사용자 입력이 발생하지 않으면, 전자 기기는 특징 정보에 추출하여 블러 강도를 결정할 수 있다(S580). S570 단계 또는 S580 단계에서 결정되는 블러 강도는, S530 단계의 블러 강도를 기준으로 결정될 수 있다. 이후 사용자가 촬영 기능을 실행하면, S570 단계 또는 S580 단계에서 결정된 블러 강도를 적용한 결과 이미지가 생성될 수 있다(S590).
도 20 내지 도 23은 본 발명의 일 실시예에 따른 전자 기기의 동작을 설명하기 위해 제공되는 도면들이다.
먼저 도 20과 도 21을 참조하면, 전자 기기(700)의 카메라 애플리케이션이 실행됨에 따라, 디스플레이(720)에 미리보기 화면이 표시될 수 있다. 도 20에 도시한 미리보기 화면에서는, 두 개의 피사체(721, 722)가 존재하며, 제1 피사체(721)가 제2 피사체(722)보다 전자 기기(700)에 더 가까이 위치할 수 있다. 도 20과 같이 전자 기기(700)로부터 서로 다른 거리에 존재하는 피사체들(721, 722)이 겹쳐서 미리보기 화면에 나타나면, 전자 기기(700)에 탑재된 기계 학습 모델에 의해 블러 강도가 약하게 설정되고, 피사체들(721, 722) 모두에 초점이 맞을 수 있다.
다음으로 도 21에 도시한 일 실시예에서는, 도 20과 비교하여 제2 피사체(722)가 미리보기 화면에 존재하지 않을 수 있다. 도 21에 도시한 일 실시예에서는 하나의 피사체(721)만이 존재하므로, 전자 기기(700)에 탑재된 기계 학습 모델에 의해 블러 강도가 강하게 설정될 수 있다. 따라서, 도 21에 도시한 바와 같이 초점이 피사체(721)에 맞고, 배경(723)은 상대적으로 흐릿하게 처리되어 블러 효과가 강하게 나타날 수 있다. 도 20과 도 21을 참조하여 설명한 바와 같이, 전자 기기(700)의 기계 학습 모델에 의해 스마트 촬영 기능이 제공될 수 있다.
즉, 본 발명의 일 실시예에서는 동일한 화각과 조도, 조리개 값 등의 조건에서 피사체들(721, 722)의 개수 및 위치가 변경되는 것만으로도 블러 강도와 같은 촬영 파라미터가 달라질 수 있다. 다만 도 20과 도 21을 참조하여 설명한 내용은 예시적인 것으로, 스마트 촬영 기능을 제공하는 기계 학습 모델을 학습하는 데에 쓰인 이미지들에 따라 실제 구현 사례는 달라질 수 있다.
다음으로 도 22를 참조하면, 전자 기기(800)의 카메라 애플리케이션이 실행됨에 따라, 디스플레이(820)에 미리보기 화면이 표시될 수 있다. 도 15에 도시한 미리보기 화면에는, 결과 이미지에 적용될 블러 강도를 직관적으로 표시하기 위한 조리개 형상의 제1 아이콘(821), 스마트 촬영 기능의 활성화 여부를 나타내는 제2 아이콘(822), 및 촬영 버튼에 대응하는 제3 아이콘(823) 등이 표시될 수 있다.
도 22에 도시한 일 실시예에서 전자 기기(800)는, 스마트 촬영 기능이 활성화된 상태에서 클라우드로부터 수신한 추천 설정들(824)을 사용자에게 제공할 수 있다. 추천 설정들(824)은 전자 기기(800)가 이미지를 촬영하는 장소, 시간은 물론, 미리보기 화면으로부터 수집되는 피사체 정보와 배경 정보, 조도, 및 사용자가 블러 강도를 조절하기 위해 입력한 조리개 값 등을 참조하여 전자 기기(800)가 클라우드 서버로부터 수신하는 설정일 수 있다.
추천 설정들(824)은, 전자 기기(800)가 현재 이미지를 촬영하는 조건과 같거나 유사한 조건에서, 다른 사용자들이 많이 선택한 설정들일 수 있으며, 결과 이미지에 영향을 주는 블러 강도, 색감 필터 등을 포함할 수 있다. 전자 기기(800)의 사용자는 추천 설정들(824) 중 하나를 선택하는 터치 입력(840)을 통해 촬영 파라미터들을 자동으로 설정하거나, 또는 추천 설정들(824)을 무시하고 제1 아이콘(821)의 개방 면적을 증가 또는 감소시키는 입력을 발생시킴으로써 블러 강도 등을 직접 변경할 수도 있다.
다음으로 도 23을 참조하면, 전자 기기(900)의 디스플레이(920)에 표시된 미리보기 화면에서, 사용자가 스마트 촬영 기능을 비활성화할 수 있다. 일례로, 사용자가 제2 아이콘(922)을 터치하여 스마트 촬영 기능을 비활성화하면, 앞서 설명한 다른 실시예들과 달리 결과 이미지에 적용될 블러 강도를 표시하기 위한 조리개 형상의 아이콘이 사라질 수 있다. 스마트 촬영 기능이 비활성화되면, 블러 강도는 스마트 촬영 기능이 비활성화되기 직전의 값으로 유지될 수 있다. 또는, 주변 조도 및 그에 따른 블러 강도가 저장된 룩업 테이블 등을 참조하여 전자 기기(900)가 자동으로 블러 강도를 설정할 수 있다.
일례로 스마트 촬영 기능이 비활성화되면, 도 16에 도시한 바와 같이 블러 강도를 조절할 수 있는 제4 아이콘(924)이 추가로 표시될 수 있다. 사용자는 제4 아이콘(924)의 바를 움직이는 제스처 입력(940)을 이용하여 블러 강도를 조절할 수 있으며, 이때 조절되는 블러 강도는 전자 기기(900)에 저장된 기계 학습 모델의 관여 없이, 소프트웨어 알고리즘 등에 의해 조절될 수 있다.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되는 것이 아니며 첨부된 청구범위에 의해 한정하고자 한다. 따라서, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 당 기술분야의 통상의 지식을 가진 자에 의해 다양한 형태의 치환, 변형 및 변경이 가능할 것이며, 이 또한 본 발명의 범위에 속한다고 할 것이다.

Claims (10)

  1. 카메라 애플리케이션이 실행되면, 미리보기 화면을 표시하는 단계;
    상기 미리보기 화면에서 특징 정보를 추출하는 단계;
    상기 미리보기 화면에서 사용자 입력이 발생하면, 상기 사용자 입력을 소정의 입력 값으로 변환하고, 상기 특징 정보와 상기 입력 값에 기초하여 심도(depth)를 설정하는 단계; 및
    상기 미리보기 화면에서 촬영이 실행되면, 상기 심도에 따라 결과 이미지를 생성하는 단계; 를 포함하는 전자 기기의 동작 방법.
  2. 제1항에 있어서,
    상기 미리보기 화면에 조리개 아이콘을 표시하는 단계; 및
    상기 미리보기 화면에서 상기 사용자 입력이 발생하면, 상기 사용자 입력에 응답하여 상기 조리개 아이콘의 개방 면적을 조절하여 표시하는 단계; 를 더 포함하는 전자 기기의 동작 방법.
  3. 제2항에 있어서,
    상기 사용자 입력이 두 개의 터치 영역들 사이의 거리가 증가하는 터치 입력이면, 상기 조리개 아이콘의 개방 면적을 증가시키고 상기 심도를 얕은 심도로 설정하며,
    상기 사용자 입력이 두 개의 터치 영역들 사이의 거리가 감소하는 터치 입력이 발생하면, 상기 조리개 아이콘의 개방 면적을 감소시키고 상기 심도를 깊은 심도로 설정하는 전자 기기의 동작 방법.
  4. 제1항에 있어서,
    상기 특징 정보는 상기 미리보기 화면으로부터 추출한 촬영 정보 및 주변 환경 정보 중 적어도 하나를 포함하는 전자 기기의 동작 방법.
  5. 제4항에 있어서,
    상기 촬영 정보는 상기 미리보기 화면에 포함되는 피사체 정보, 배경 정보, 및 상기 피사체와 상기 배경의 배치에 따른 구도 정보 중 적어도 하나를 포함하는 전자 기기의 동작 방법.
  6. 제4항에 있어서,
    미리 학습된 기계 학습 모델에 상기 촬영 정보와 상기 주변 환경 정보 중 적어도 하나, 및 상기 입력 값을 입력하고, 상기 기계 학습 모델의 출력 값에 기초하여 상기 심도를 결정하는 전자 기기의 동작 방법.
  7. 제1항에 있어서,
    상기 촬영이 실행되기 이전에 상기 미리보기 화면에서 사용자 입력이 발생하지 않으면, 상기 특징 정보 및 미리 저장된 룩업 테이블에 기초하여 심도(depth)를 설정하는 단계; 를 더 포함하는 전자 기기의 동작 방법.
  8. 제1항에 있어서,
    상기 심도에 따라 상기 미리보기 화면에 포함되는 배경에 대한 블러(blur) 강도를 결정하는 전자 기기의 동작 방법.
  9. 카메라 애플리케이션이 실행되면, 조리개 형상을 갖는 조리개 아이콘을 미리보기 화면에 표시하는 단계;
    상기 미리보기 화면에서 발생하는 사용자 입력에 응답하여 상기 미리보기 화면에 표시되는 상기 조리개 아이콘의 개방 면적을 조절하는 단계; 및
    상기 사용자 입력에 응답하여 상기 미리보기 화면에 표시되는 배경에 대한 블러 강도를 조절하는 단계; 를 포함하는 전자 기기의 동작 방법.
  10. 메모리에 저장된 이미지들 각각에서 추출한 특징 정보를 입력 파라미터들로 적용하고, 상기 이미지들 각각에서 추출한 블러 강도를 출력 파라미터로 적용하여 기계 학습 모델을 학습하는 단계;
    카메라 애플리케이션이 실행되면, 미리보기 화면에서 상기 특징 정보를 추출하여 상기 기계 학습 모델에 입력하는 단계; 및
    상기 기계 학습 모델의 출력에 기초하여 상기 미리보기 화면에 포함되는 배경에 대한 블러 강도를 결정하는 단계; 를 포함하는 전자 기기의 동작 방법.
KR1020190156527A 2019-05-31 2019-11-29 이미지 센서를 포함하는 전자 기기의 동작 방법 KR20200138639A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/848,602 US11647277B2 (en) 2019-05-31 2020-04-14 Method of dynamic image adjustment in an electronic device including image sensor
CN202010478453.0A CN112019737A (zh) 2019-05-31 2020-05-29 操作包括图像传感器的电子装置的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190064237 2019-05-31
KR1020190064237 2019-05-31

Publications (1)

Publication Number Publication Date
KR20200138639A true KR20200138639A (ko) 2020-12-10

Family

ID=73790415

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190156527A KR20200138639A (ko) 2019-05-31 2019-11-29 이미지 센서를 포함하는 전자 기기의 동작 방법

Country Status (1)

Country Link
KR (1) KR20200138639A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965687A (zh) * 2021-11-30 2022-01-21 维沃移动通信有限公司 拍摄方法、装置和电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965687A (zh) * 2021-11-30 2022-01-21 维沃移动通信有限公司 拍摄方法、装置和电子设备

Similar Documents

Publication Publication Date Title
JP4149467B2 (ja) カメラの露出調節方法
CN101742101B (zh) 成像设备和成像设备中的显示控制方法
JP4452891B2 (ja) キャプチャ装置の設定を深度情報によって最適化する方法及び装置
US7525579B2 (en) Image sensing apparatus and image processing method for use therein
CN113518210B (zh) 图像自动白平衡的方法及装置
KR20200134374A (ko) 이미지 신호 프로세서의 모델링 방법, 및 전자 기기
US20110007177A1 (en) Photographing apparatus and method
US20130057713A1 (en) Automatic image capture
US20110187914A1 (en) Digital photographing apparatus, method of controlling the same, and computer-readable medium
US10095941B2 (en) Vision recognition apparatus and method
JP2010263647A (ja) 撮像装置及び撮像方法
US20130222635A1 (en) Digital photographing apparatus and method of controlling the same
CN104754212A (zh) 电子装置以及通过使用该电子装置捕获移动对象的方法
US11647277B2 (en) Method of dynamic image adjustment in an electronic device including image sensor
JP6270578B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
US20130293735A1 (en) Imaging control device, imaging apparatus, and control method for imaging control device
KR20200138639A (ko) 이미지 센서를 포함하는 전자 기기의 동작 방법
KR20100091844A (ko) 촬상 장치 및 촬상 방법
KR20150014226A (ko) 전자 장치 및 전자 장치의 이미지 촬영 방법
WO2022268132A1 (zh) 图像处理方法、装置及电子设备
JPWO2019187648A1 (ja) 撮像装置、撮像方法、プログラム及び記録媒体
CN116055855B (zh) 图像处理方法及其相关设备
JP6810298B2 (ja) 画像位置合わせ補助装置、方法及びプログラム並びに撮像装置
JP4720118B2 (ja) 撮像装置
TW202428035A (zh) 電子設備及曝光收斂方法