KR20210053096A - 프리뷰를 제공하는 방법 및 프리뷰를 표시하는 전자 장치 - Google Patents
프리뷰를 제공하는 방법 및 프리뷰를 표시하는 전자 장치 Download PDFInfo
- Publication number
- KR20210053096A KR20210053096A KR1020190138961A KR20190138961A KR20210053096A KR 20210053096 A KR20210053096 A KR 20210053096A KR 1020190138961 A KR1020190138961 A KR 1020190138961A KR 20190138961 A KR20190138961 A KR 20190138961A KR 20210053096 A KR20210053096 A KR 20210053096A
- Authority
- KR
- South Korea
- Prior art keywords
- display
- preview
- image frame
- brightness
- processor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000013507 mapping Methods 0.000 claims abstract description 37
- 230000004044 response Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 203
- 238000004458 analytical method Methods 0.000 claims description 56
- 238000001454 recorded image Methods 0.000 claims description 52
- 230000006870 function Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 15
- 230000003068 static effect Effects 0.000 claims description 13
- 238000004891 communication Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 27
- 230000008859 change Effects 0.000 description 11
- 238000004590 computer program Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H04N5/232939—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/009—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/3406—Control of illumination source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H04N5/232935—
-
- H04N5/2355—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
- G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
- G09G2320/0653—Controlling or limiting the speed of brightness adjustment of the illumination source
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/12—Frame memory handling
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명의 다양한 실시 예들은 프리뷰를 제공하는 방법 및 프리뷰를 표시하는 전자 장치에 관한 것으로, 상기 전자 장치는 카메라 모듈; 디스플레이; 상기 카메라 모듈 및 상기 디스플레이와 작동적으로(operatively) 연결되는 프로세서; 및 상기 프로세서와 작동적으로 연결되는 메모리를 포함하고, 상기 메모리는 실행 시에, 상기 프로세서가, 상기 카메라 모듈을 통해 원본 이미지 프레임들을 획득하고, 상기 획득되는 원본 이미지 프레임들에 대응하는 제1 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시하고, 동적 톤 맵(dynamic tone mapping) 기반의 녹화를 요청하는 입력을 수신하고, 상기 입력의 수신에 대응하여, 상기 동적 톤 맵 기반의 녹화를 수행하고, 및 상기 동적 톤 맵 기반의 녹화를 수행하는 동안 상기 입력이 수신된 시점 이후에 획득되는 제1 프리뷰 이미지 프레임들을 동적 톤 매핑 처리하여 제2 프리뷰 이미지 프레임들을 생성하고, 및 상기 생성된 제2 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시하도록 하는 인스트럭션들을 저장할 수 있다. 그 밖의 다양한 실시 예들이 가능하다.
Description
본 발명의 다양한 실시 예들은 프리뷰를 제공하는 방법 및 프리뷰를 표시하는 전자 장치에 관한 것이다.
전자 장치들(예: 이동 단말, 스마트 폰, 또는 착용형(wearable) 단말)은 다양한 기능(예: 음악 재생 기능, 네비게이션 기능, 근거리 무선 통신(예: 블루투스(bluetooth), 와이파이(Wi-Fi), 또는 NFC(near field communication)) 기능, 지문 인식 기능, 전자 결제 기능 등)을 제공할 수 있다.
또 다른 예로, 전자 장치들은 사진(정지 영상) 촬영 또는 동영상 촬영(녹화) 기능을 제공할 수 있다. 예를 들어, 전자 장치는 전면에 위치한 전면 카메라 또는 후면에 위치한 후면 카메라를 이용하여 사진 촬영 또는 동영상 촬영을 수행할 수 있다.
전자 장치는 동적 톤 매핑(dynamic tone mapping: DTM)을 이용한 동영상 촬영 기능을 제공하고 있다. 예를 들어, 동적 톤 매핑은 HDR(high dynamic range)10+TM, 또는 돌비 비전TM(dolby vision)을 포함할 수 있다. 동적 톤 매핑은 각 프레임 또는 각 신(scene) 별로 톤 맵을 각각 적용하여 영상을 보다 실감나게 생성할 수 있다. 동적 톤 매핑 기반의 동영상 촬영 시 획득되는 영상 프레임을 분석하여, 해당 영상 프레임에 적합한 톤 매핑 정보를 생성해야 한다. 하지만, 상기 톤 매핑 정보의 생성을 위해 일정 시간이 소요되어, 전자 장치는 동적 톤 매핑이 적용된 프리뷰 영상을 실시간으로 제공하는 것은 어려움이 있다.. 이에, 전자 장치는 동적 톤 매핑 기반의 동영상 촬영 시, 프리뷰 영상에 동적 톤 매핑을 적용하지 않은 프리뷰 영상을 제공할 수 있다. 이로 인하여, 전자 장치는 저장된 동영상과 프리뷰 영상 사이에 화질이 상이할 수 있다. 또한, 사용자는 프리뷰 영상을 통해 저장되는 동영상의 화질을 미리 확인할 수 없어 불편함을 느낄 수 있다.
본 발명의 다양한 실시 예들은 동적 톤 매핑이 적용된 프리뷰 영상을 실시간으로 제공할 수 있는 방법 및 프리뷰를 표시하는 전자 장치를 제공할 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 예를 들면, 카메라 모듈; 디스플레이; 상기 카메라 모듈 및 상기 디스플레이와 작동적으로(operatively) 연결되는 프로세서; 및 상기 프로세서와 작동적으로 연결되는 메모리를 포함하고, 상기 메모리는 실행 시에, 상기 프로세서가, 상기 카메라 모듈을 통해 원본 이미지 프레임들을 획득하고, 상기 획득되는 원본 이미지 프레임들에 대응하는 제1 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시하고, 동적 톤 맵(dynamic tone mapping) 기반의 녹화를 요청하는 입력을 수신하고, 상기 입력의 수신에 대응하여, 상기 동적 톤 맵 기반의 녹화를 수행하고, 및 상기 동적 톤 맵 기반의 녹화를 수행하는 동안 상기 입력이 수신된 시점 이후에 획득되는 제1 프리뷰 이미지 프레임들을 동적 톤 매핑 처리하여 제2 프리뷰 이미지 프레임들을 생성하고, 및 상기 생성된 제2 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시하도록 하는 인스트럭션들을 저장할 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치의 프리뷰를 제공하는 방법은, 예를 들면, 카메라 모듈을 통해 원본 이미지 프레임들을 획득하는 동작; 상기 획득되는 원본 이미지 프레임들에 대응하는 제1 프리뷰 이미지 프레임들을 디스플레이 상에 표시하는 동작; 동적 톤 맵(dynamic tone mapping) 기반의 녹화를 요청하는 입력을 수신하는 동작; 상기 입력의 수신에 대응하여, 상기 동적 톤 맵 기반의 녹화를 수행하는 동작; 및 상기 동적 톤 맵 기반의 녹화를 수행하는 동안 상기 입력이 수신된 시점 이후에 획득되는 제1 프리뷰 이미지 프레임들을 동적 톤 매핑 처리하여 제2 프리뷰 이미지 프레임들을 생성하고, 및 상기 생성된 제2 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시하는 동작을 포함할 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치는, 예를 들면, 카메라 모듈; 디스플레이; 상기 카메라 모듈 및 상기 디스플레이와 작동적으로(operatively) 연결되는 프로세서; 및 상기 프로세서와 작동적으로 연결되는 메모리를 포함하고, 상기 메모리는 실행 시에, 상기 프로세서가, 상기 카메라 모듈을 통해 획득되는 원본 이미지 프레임들에 대응하는 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시하고, 및 동적 톤 맵(dynamic tone mapping) 기반의 녹화 기능을 인에이블하는 제1 사용자 입력 또는 상기 동적 톤 맵 기반의 녹화를 요청하는 제2 사용자 입력의 수신에 대응하여, 지정된 밝기, 정적 톤 맵 정보, 또는 상기 제1 사용자 입력이 수신된 시점 이후의 프리뷰 이미지 프레임의 분석 결과 중 적어도 하나에 기초하여 상기 디스플레이의 밝기를 조절하도록 하는 인스트럭션들을 저장할 수 있다.
본 발명의 다양한 실시 예들에 따른 전자 장치는 동적 톤 매핑이 적용된 것과 유사한 프리뷰 영상 또는 동적 톤 매핑이 적용된 프리뷰 영상을 실시간으로 제공할 수 있다. 이로 인하여, 본 발명의 다양한 실시 예들은 프리뷰 영상과 저장된 영상의 화질이 동일 또는 유사할 수 있다. 본 발명의 다양한 실시 예들의 전자 장치의 사용자는 프리뷰 영상을 통해 저장된 영상의 화질을 용이하게 인지할 수 있다.
도 1은 본 발명의 한 실시 예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 본 발명의 한 실시 예에 따른 전자 장치의 블록도이다.
도 3은 본 발명의 한 실시 예에 따른 동적 톤 맵 기반의 동영상 프레임을 설명하기 위한 도면이다.
도 4는 본 발명의 한 실시 예에 따른 전자 장치의 동적 톤 맵 기반의 동영상 녹화 시 프리뷰를 제공하는 방법을 설명하는 흐름도이다.
도 5a는 본 발명의 한 실시 예에 따른 전자 장치의 프리뷰 처리 데이터를 이용한 프리뷰를 제공하는 방법을 설명하는 흐름도이다.
도 5b는 본 발명의 한 실시 예에 따른 메모리의 구성을 도시한 도면이다.
도 5c는 본 발명의 한 실시 예에 따른 프리뷰 처리 데이터의 톤 맵 커브를 도시한 그래프이다.
도 5d는 본 발명의 한 실시 예에 따른 이미지 프레임들의 파이프 라인을 도시한 도면이다.
도 6a는 본 발명의 한 실시 예에 따른 전자 장치의 프리뷰 처리 데이터를 이용한 프리뷰를 제공하는 방법을 설명하는 흐름도이다.
도 6b는 본 발명의 한 실시 예에 따른 메모리의 구성을 도시한 도면이다.
도 6c는 본 발명의 한 실시 예에 따른 프리뷰 처리 데이터를 선택하는 예를 도시한 도면이다.
도 6d는 본 발명의 한 실시 예에 따른 프리뷰 처리 데이터의 추가 및 업데이트를 설명하는 도면이다.
도 6e는 본 발명의 한 실시 예에 따른 전자 장치의 프리뷰 처리 데이터를 이용하여 프리뷰를 제공하는 방법을 설명하기 위한 예시도이다.
도 6f는 본 발명의 한 실시 예에 따른 이미지 프레임들의 파이프 라인을 도시한 도면이다.
도 7a는 본 발명의 한 실시 예에 따른 전자 장치의 동적 톤 맵 기반의 동영상 녹화 중 생성된 동적 톤 맵 메타 데이터를 이용하여 프리뷰를 제공하는 방법을 설명하기 위한 흐름도이다.
도 7b는 본 발명의 한 실시 예에 따른 메모리의 구성을 도시한 도면이다.
도 7c는 본 발명의 한 실시 예에 따른 전자 장치의 동적 톤 맵 기반의 동영상 녹화 중 생성된 동적 톤 맵 메타 데이터를 이용하여 프리뷰를 제공하는 방법을 설명하기 위한 예시도이다.
도 7d는 본 발명의 한 실시 예에 따른 이미지 프레임들의 파이프 라인을 도시한 도면이다.
도 8a는 본 발명의 한 실시 예에 따른 전자 장치의 프리뷰 영상의 밝기 조절 방법을 설명하는 흐름도이다.
도 8b는 본 발명의 한 실시 예에 따른 전자 장치의 프리뷰 영상의 밝기 조절 방법을 설명하는 도면이다.
도 2는 본 발명의 한 실시 예에 따른 전자 장치의 블록도이다.
도 3은 본 발명의 한 실시 예에 따른 동적 톤 맵 기반의 동영상 프레임을 설명하기 위한 도면이다.
도 4는 본 발명의 한 실시 예에 따른 전자 장치의 동적 톤 맵 기반의 동영상 녹화 시 프리뷰를 제공하는 방법을 설명하는 흐름도이다.
도 5a는 본 발명의 한 실시 예에 따른 전자 장치의 프리뷰 처리 데이터를 이용한 프리뷰를 제공하는 방법을 설명하는 흐름도이다.
도 5b는 본 발명의 한 실시 예에 따른 메모리의 구성을 도시한 도면이다.
도 5c는 본 발명의 한 실시 예에 따른 프리뷰 처리 데이터의 톤 맵 커브를 도시한 그래프이다.
도 5d는 본 발명의 한 실시 예에 따른 이미지 프레임들의 파이프 라인을 도시한 도면이다.
도 6a는 본 발명의 한 실시 예에 따른 전자 장치의 프리뷰 처리 데이터를 이용한 프리뷰를 제공하는 방법을 설명하는 흐름도이다.
도 6b는 본 발명의 한 실시 예에 따른 메모리의 구성을 도시한 도면이다.
도 6c는 본 발명의 한 실시 예에 따른 프리뷰 처리 데이터를 선택하는 예를 도시한 도면이다.
도 6d는 본 발명의 한 실시 예에 따른 프리뷰 처리 데이터의 추가 및 업데이트를 설명하는 도면이다.
도 6e는 본 발명의 한 실시 예에 따른 전자 장치의 프리뷰 처리 데이터를 이용하여 프리뷰를 제공하는 방법을 설명하기 위한 예시도이다.
도 6f는 본 발명의 한 실시 예에 따른 이미지 프레임들의 파이프 라인을 도시한 도면이다.
도 7a는 본 발명의 한 실시 예에 따른 전자 장치의 동적 톤 맵 기반의 동영상 녹화 중 생성된 동적 톤 맵 메타 데이터를 이용하여 프리뷰를 제공하는 방법을 설명하기 위한 흐름도이다.
도 7b는 본 발명의 한 실시 예에 따른 메모리의 구성을 도시한 도면이다.
도 7c는 본 발명의 한 실시 예에 따른 전자 장치의 동적 톤 맵 기반의 동영상 녹화 중 생성된 동적 톤 맵 메타 데이터를 이용하여 프리뷰를 제공하는 방법을 설명하기 위한 예시도이다.
도 7d는 본 발명의 한 실시 예에 따른 이미지 프레임들의 파이프 라인을 도시한 도면이다.
도 8a는 본 발명의 한 실시 예에 따른 전자 장치의 프리뷰 영상의 밝기 조절 방법을 설명하는 흐름도이다.
도 8b는 본 발명의 한 실시 예에 따른 전자 장치의 프리뷰 영상의 밝기 조절 방법을 설명하는 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시 예들을 설명한다. 본 문서는 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 이는 본 발명의 다양한 실시 예들을 특정한 형태로 한정하려는 것이 아니다. 예를 들어, 본 발명의 실시 예들은 다양하게 변경될 수 있다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
도 1은, 다양한 실시 예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시 예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시 예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비 휘발성 메모리(134)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)은 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비 휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예:스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)이 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(178)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시 예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, or 108) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 본 발명의 한 실시 예에 따른 전자 장치의 블록도이고, 도 3은 본 발명의 한 실시 예에 따른 동적 톤 맵 기반의 동영상 프레임을 설명하기 위한 도면이다.
도 2 및 도 3을 참조하면, 본 발명의 한 실시 예에 따른 전자 장치(201)(예: 전자 장치(101))는 카메라 모듈(280)(예: 카메라 모듈(180)), 프로세서(220)(예: 프로세서(120)), 디스플레이(260)(예: 표시 장치(160)) 및/또는 메모리(230)(예: 메모리(130))를 포함할 수 있다.
다양한 실시 예에 따르면, 카메라 모듈(280)은 정지 영상 및/또는 동영상을 촬영할 수 있다. 상기 카메라 모듈(280)은 렌즈(281), 또는 이미지 센서(283)를 포함할 수 있다. 렌즈(281)는, 예를 들어, 빛을 굴절시키는 투명 유리체로, 적어도 하나의 볼록 렌즈 또는 적어도 하나의 오목 렌즈 중 적어도 하나의 조합으로 형성될 수 있다. 렌즈(281)는 표준 렌즈, 광각 렌즈, 망원 렌즈 또는 줌 렌즈 중 적어도 하나를 포함할 수 있다. 이미지 센서(283)는 렌즈(281)를 통해 입사된 빛을 감지하여 이미지 데이터(예: 로 이미지 데이터(low image data))(이하, 원본 이미지 프레임)를 생성할 수 있다. 예를 들어, 이미지 데이터는 프레임 단위로 생성될 수 있다.
다양한 실시 예에 따르면, 프로세서(220)는 카메라 모듈(280)을 통해 획득되는 이미지의 처리를 제어할 수 있다. 상기 프로세서(220)는 예를 들어, 이미지 시그널 프로세서(221)를 포함할 수 있다. 상기 이미지 시그널 프로세서(221)는, 도 3에 도시된 바와 같이, 원본 이미지 프레임을 이미지 처리하여 프리뷰 이미지 프레임 및 레코딩 이미지 프레임을 생성할 수 있다. 예를 들어, 이미지 시그널 프로세서(221)는 원본 이미지 프레임의 해상도(resolution) 및/또는 사이즈(size)를 조절하여 프리뷰 이미지 프레임 및 레코딩 이미지 프레임을 생성할 수 있다. 상기 프리뷰 이미지 프레임 및 레코딩 이미지 프레임의 해상도 및/또는 사이즈는 상이할 수 있다.
다양한 실시 예에 따르면, 프리뷰 이미지 프레임은 휘도(Y)와 색상신호 2개(U, V)로 표현하는 방식인 YUV를 지원하는 포맷으로 생성될 수 있다. 레코딩 이미지 프레임은 빛의 삼원색을 표현하는 RGB를 지원하는 포맷으로 생성될 수 있다.
다양한 실시 예에 따르면, 프리뷰 이미지 프레임 및 레코딩 이미지 프레임은 초당 생성되는 프레임 수(frames per second: FPS)가 다를 수도 있으나, 본 개시의 다양한 실싱예들에서는 설명의 편의를 위해 초당 생성되는 프레임 수는 동일한 것으로 간주하여 설명하기로 한다.
다양한 실시 예에 따르면, 이미지 시그널 프로세서(221)는, 일반적인 동영상 녹화 중인 경우, 디스플레이(260)의 규격에 적합하도록 원본 이미지 프레임의 해상도 및/또는 사이즈를 변환하여 프리뷰 이미지 프레임을 생성할 수 있다.
다양한 실시 예에 따르면, 이미지 시그널 프로세서(221)는, 동적 톤 맵 기반의 동영상 녹화 중인 경우, 동적 톤 맵을 적용한 것과 유사하도록 이미지 처리하거나 동적 톤 맵을 적용(또는, 활용)하여 프리뷰 이미지 프레임을 생성할 수 있다. 이하에서는, 설명의 편의를 위하여, 동적 톤 맵(또는, 동적 톤 맵과 유사하도록 하는 이미지 처리)이 적용되지 않은 프리뷰 이미지 프레임을 제1 프리뷰 이미지 프레임으로 설명하고, 동적 톤 맵을 적용한 것과 유사하도록 이미지 처리되거나 동적 톤 맵이 적용된 프리뷰 이미지 프레임을 제2 프리뷰 이미지 프레임으로 설명하기로 한다. 다양한 실시 예에 따르면, 제1 프리뷰 이미지 프레임 및 제2 프리뷰 이미지 프레임은 이미지 처리 방법에 따라 구분될 수 있고, 각 프리뷰 이미지 프레임들에 포함되는 이미지 데이터 또는 내용은 프리뷰 이미지 프레임이 생성되는 시점에 따라 다를 수 있다. 예를 들어, 제1 프리뷰 이미지 프레임은 제1 방법에 따라 이미지 처리된 프리뷰 이미지 프레임이고, 제2 프리뷰 이미지 프레임은 제1 방법과 다른 제2 방법에 따라 이미지 처리된 프리뷰 이미지 프레임일 수 있다. 동일한 시점에 대응하는 제1 프리뷰 이미지 프레임에 대한 제2 프리뷰 이미지 프레임은 동일한 이미지 데이터 또는 내용(예: 상기 시점의 장면)을 포함할 수 있다.
상기 동적 톤 맵은 다양한 방식으로 적용될 수 있다. 이에 대한 다양한 실시 예들의 상세한 설명은 도 5a 내지 도 7d를 참조하여 후술하기로 한다. 어떤 실시 예에 따르면, 동적 톤 맵의 적용은 프로세서(220) 또는 디스플레이(260)의 디스플레이 구동 집적회로(261)에 의해 수행될 수 있다.
다양한 실시 예에 따르면, 이미지 시그널 프로세서(221)는 프리뷰 이미지 프레임 및 레코딩 이미지 프레임을 다른 경로로 출력(전달 또는 전송)할 수 있다. 예를 들어, 이미지 시그널 프로세서(221)는 제1 프리뷰 이미지 프레임(301-1) 내지 제N 프리뷰 이미지 프레임(301-N)을 디스플레이(260)로 출력할 수 있다. 상기 이미지 시그널 프로세서(221)는 제1 레코딩 이미지 프레임(303-1) 내지 제N 레코딩 이미지 프레임(303-N)을 메모리(230)로 출력할 수 있다. 이미지 시그널 프로세서(221)는 카메라 모듈(280)의 이미지 센서(283)를 통해 획득한 제1 원본 이미지 프레임(300-1) 내지 제N 원본 이미지 프레임(300-N)을 이미지 처리없이 제1 레코딩 이미지 프레임(303-1) 내지 제N 레코딩 이미지 프레임(303-N)으로 메모리(230)에 전달하거나, 이미지 처리(예: 노이즈 제거 필터링, 해상도 및/또는 크기 조절) 후 제1 레코딩 이미지 프레임(303-1) 내지 제N 레코딩 이미지 프레임(303-N)으로 메모리(230)에 전달할 수 있다.
본 발명의 한 실시 예에 따른 프로세서(220)는, 동적 톤 맵 기반의 동영상 녹화 시, 레코딩 이미지 프레임을 분석하고, 분석 결과에 기초하여 동적 톤 맵(DTM) 메타 데이터를 생성할 수 있다. 어떤 실시 예에 따르면, 프로세서(220)는 원본 이미지 프레임 또는 레코딩 이미지 프레임의 분석 결과를 이미지 시그널 프로세서(221)로부터 수신하고, 수신된 분석 결과를 기초로 동적 톤 맵 메타 데이터를 생성할 수 있다. 일 실시 예에서, 동적 톤 맵 메타 데이터는, 예를 들어, <표 1>과 같을 수 있다.
| 값(Value) (4bits) | 메타 데이터(metadata) | 설명(description) |
| 0 | 최소/최대 밝기 | 영상의 최소/최대 밝기 |
| 1 | 백라이트 피킹 정보(backlight peaking information) | 디스플레이 BLU(back light unit) 휘도 매핑 파라미터 |
| 2 | 색상 규격 | 영상의 색상의 색역(gamut) & 온도 |
| 3 | 트랜스퍼 파라미터(transfer parameter) | 감마 및 CE(contrast enhancement) 제어 파라미터 |
| 4 | 신 정보 | 실내/외, 밤/낮 등의 장면 정보 |
| 5 | 히스토그램 정보 | 최저/최고/최적 화소 값 정보 |
| 6 | 샤프니스 파라미터(sharpness parameter) | 영상의 경계 영역의 강도 정보 |
| 7-15 | N차의 톤 커브 앵커(anchor) | 동적 톤 커브에 대한 정보 |
다양한 실시 예에 따르면, 프로세서(220)는 생성된 동적 톤 맵 메타 데이터를 레코딩 이미지 프레임과 함께 메모리(230)에 저장할 수 있다. 상기 프로세서(220)는 레코딩 이미지 프레임에 대한 처리(예: 압축)를 수행할 수도 있다. 어떤 실시 예에 따르면, 전자 장치(201)는 동적 톤 맵 메타 데이터의 생성을 위한 별도의 프로세서(예: 도 1의 보조 프로세서(123))를 포함할 수 있다.
본 발명의 다양한 실시 예에 따른 프로세서(220)는 동적 톤 맵 기반의 동영상 녹화 시 디스플레이(260)의 밝기 조절을 수행할 수 있다. 이에 대한 다양한 실시 예들의 상세한 설명은 도 8a 및 도 8b를 참조하여 후술하기로 한다.
다양한 실시 예에 따르면, 디스플레이(260)는 정지 영상 및/또는 동영상을 표시할 수 있다. 상기 디스플레이(260)는 디스플레이(260)를 제어하기 위한 디스플레이 드라이버 집적회로(display driver integrated circuit: DDI)(261)를 포함할 수 있다. 디스플레이 드라이버 집적회로(261)는 영상 데이터, 또는 상기 영상 데이터를 제어하기 위한 명령에 대응하는 영상 제어 신호를 포함하는 영상 정보를 전자 장치(201)의 다른 구성요소로부터 수신할 수 있다. 예를 들면, 영상 정보는 프로세서(220)로부터 수신될 수 있다. 디스플레이 드라이버 집적회로(261)는 수신된 영상 정보 중 적어도 일부를 버퍼 메모리(미도시)에, 예를 들면, 프레임 단위로 저장할 수 있다. 디스플레이 드라이버 집적회로(261)는, 예를 들면, 상기 영상 데이터의 적어도 일부를 상기 영상 데이터의 특성 또는 디스플레이(260)의 특성에 적어도 기반하여 전처리 또는 후처리(예: 해상도, 밝기, 또는 크기 조정)를 수행할 수 있다. 디스플레이 드라이버 집적회로(261)는 전처리 또는 후처리된 상기 영상 데이터에 대응하는 전압 값 또는 전류 값을 생성하고, 상기 전압 값 또는 전류 값에 적어도 일부 기반하여 디스플레이(260)의 적어도 일부 픽셀들을 구동함으로써 상기 영상 데이터에 대응하는 시각적 정보(예: 텍스트, 이미지, 또는 아이콘)가 디스플레이(260)를 통해 표시되도록 할 수 있다.
본 발명의 한 실시 예에 따른 디스플레이(260)는 카메라 모듈(280)을 통해 획득되는 영상에 대응하는 프리뷰 영상을 실시간으로 표시할 수 있다. 예를 들어, 상기 프리뷰 영상은 일반 녹화의 경우 상기 획득되는 영상을 디스플레이에 적합하도록 변환한 영상이고, 동적 톤 맵 기반의 녹화 시 동적 톤 맵이 적용된 영상일 수 있다. 상기 동적 톤 맵은 다양한 방식으로 프리뷰 영상에 적용될 수 있다. 이에 대한 상세한 설명은 도 5a 내지 도 7d를 참조하여 후술하기로 한다.
다양한 실시 예에 따르면, 메모리(230)는 동적 톤 맵 기반의 동영상 녹화 데이터를 저장할 수 있다. 상기 동영상 녹화 데이터는 예를 들어, 다수의 레코딩 이미지 프레임 및 각 레코딩 이미지 프레임을 분석하여 생성된 다수의 동적 톤 맵 메타 데이터를 포함할 수 있다. 일 실시 예에서, 상기 동적 톤 맵 메타 데이터는 제2 프리뷰 이미지 프레임을 생성하기 위해 제1 프리뷰 이미지 프레임에 적용될 수 있다. 예를 들어, 동적 톤 맵 기반의 동영상 녹화 시 N번째 프리뷰 이미지 프레임에 이전(예: N-1 번째 또는 N-2 번째)에 생성된 이미지 프레임에 대응하는 동적 톤 맵 메타 데이터가 적용될 수 있다. 이에 대한 상세한 설명은 도 7a 내지 도 7d를 참조하여 후술하기로 한다.
본 발명의 한 실시 예에 따른 메모리(230)는 제1 프리뷰 이미지 프레임에 적용될 수 있는 적어도 하나의 프리뷰 처리 데이터를 저장할 수 있다. 예를 들어, 상기 프리뷰 처리 데이터는 카메라 모듈(280)을 통해 실시간으로 획득되는 원본 이미지 프레임 또는 레코딩 이미지 프레임을 분석하여 생성된 것이 아니라, 전자 장치(201)의 제조 시 또는 다운로드를 통해 상기 메모리(230)에 저장될 수 있다. 프리뷰 처리 데이터는 동적 톤 맵 메타 데이터의 형식과 적어도 일부가 동일할 수 있다. 상기 적어도 하나의 프리뷰 처리 데이터는 제2 프리뷰 이미지 프레임을 생성하기 위하여 이용될 수 있다. 이에 대한 상세한 설명은 도 5a 내지 도 6f를 참조하여 후술하기로 한다.
한편, 상기 도 2에서는 이미지 시그널 프로세서(221)가 프로세서(220)에 포함된 것으로 설명하였지만, 어떤 실시 예에 따르면, 이미지 시그널 프로세서(221)는 다른 구성(예: 카메라 모듈(280))에 포함되거나, 별도의 구성일 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201))는, 카메라 모듈(예: 도1의 카메라 모듈(180), 도2의 카메라 모듈(280)); 디스플레이(예: 도1의 표시 장치(160), 도 2의 디스플레이(260)); 상기 카메라 모듈 및 상기 디스플레이와 작동적으로(operatively) 연결되는 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(220)); 및 상기 프로세서와 작동적으로 연결되는 메모리(예: 도 1의 메모리(130), 도 2의 메모리(230))를 포함하고, 상기 메모리는 실행 시에, 상기 프로세서가, 상기 카메라 모듈을 통해 원본 이미지 프레임들을 획득하고, 상기 획득되는 원본 이미지 프레임들에 대응하는 제1 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시하고, 동적 톤 맵(dynamic tone mapping) 기반의 녹화를 요청하는 입력을 수신하고, 상기 입력의 수신에 대응하여, 상기 동적 톤 맵 기반의 녹화를 수행하고, 및 상기 동적 톤 맵 기반의 녹화를 수행하는 동안 상기 입력이 수신된 시점 이후에 획득되는 제1 프리뷰 이미지 프레임들을 동적 톤 매핑 처리하여 제2 프리뷰 이미지 프레임들을 생성하고, 및 상기 생성된 제2 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 메모리는 실행 시에 상기 프로세서가, 상기 획득된 원본 이미지 프레임을 변환하여 레코딩 이미지 프레임을 생성하고, 상기 획득된 원본 이미지 프레임 또는 상기 레코딩 이미지 프레임을 분석하고, 상기 분석 결과에 기초하여, 동적 톤 맵 메타 데이터를 생성하고, 및 상기 레코딩 이미지 프레임 및 상기 생성된 동적 톤 맵 메타 데이터를 상기 메모리에 함께 저장하는 상기 동적 톤 맵 기반의 녹화를 수행하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 메모리는 실행 시에 상기 프로세서가 상기 메모리에 저장되며, 비선형적인 커브 형태를 가지는 적어도 하나의 프리뷰 처리 데이터 중 하나, 또는 가장 최근에 생성된 동적 톤 맵 메타 데이터를 상기 입력이 수신된 시점 이후에 획득된 제1 프리뷰 이미지 프레임들에 적용하여 상기 동적 톤 매핑 처리를 수행하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 메모리는 실행 시에 상기 프로세서가, 상기 프리뷰 처리 데이터가 다수인 경우 사용자의 선택 또는 상기 전자 장치의 촬영 환경 정보에 기초하여 상기 입력이 수신된 시점 이후의 제1 프리뷰 이미지 프레임에 적용될 프리뷰 처리 데이터를 선택하도록 하는 인스트럭션들을 더 저장할 수 있다.
다양한 실시 예에 따르면, 상기 메모리는 실행 시에 상기 프로세서가, 상기 프리뷰 처리 데이터가 다수인 경우 상기 입력이 수신된 시점 이후의 제1 프리뷰 이미지 프레임을 분석하고, 상기 분석 결과에 기초하여 상기 다수의 프리뷰 처리 데이터들 중 하나를 선택하고, 및 상기 선택된 프리뷰 처리 데이터를 상기 입력이 수신된 시점 이후의 제1 프리뷰 이미지 프레임에 적용하도록 하는 인스트럭션들을 더 저장할 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프리뷰 처리 데이터는 학습을 통해 추가 또는 업데이트될 수 있다.
다양한 실시 예에 따르면, 상기 메모리는 실행 시에 상기 프로세서가, 상기 제1 프리뷰 이미지 프레임 또는 상기 생성된 제2 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시할 때 상기 디스플레이의 밝기를 제어하도록 하는 인스트럭션을 더 저장할 수 있다.
다양한 실시 예에 따르면, 상기 디스플레이의 밝기를 제어하는 인스트럭션은 상기 프로세서가, 지정된 밝기로 상기 디스플레이의 밝기를 고정하거나, 상기 제1 프리뷰 이미지 프레임을 분석하고, 상기 분석 결과에 기초하여 결정된 밝기로 상기 디스플레이의 밝기를 조정하거나, 가장 최근에 생성된 제1 동적 톤 맵 메타 데이터를 기초로 결정된 밝기로 상기 디스플레이의 밝기를 조정하도록 할 수 있다.
다양한 실시 예에 따르면, 상기 디스플레이의 밝기를 제어하는 인스트럭션은 상기 프로세서가, 상기 디스플레이의 전체 영역의 밝기를 상기 지정된 밝기 또는 상기 결정된 밝기로 조정하도록 할 수 있다.
다양한 실시 예에 따르면, 상기 디스플레이의 밝기를 제어하는 인스트럭션은 상기 프로세서가, 상기 디스플레이를 다수의 영역으로 구분하고, 각 영역별로 상기 디스플레이의 밝기를 조정하도록 할 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201))는, 카메라 모듈(예: 도1의 카메라 모듈(180), 도2의 카메라 모듈(280)); 디스플레이(예: 도1의 표시 장치(160), 도 2의 디스플레이(260)); 상기 카메라 모듈 및 상기 디스플레이와 작동적으로(operatively) 연결되는 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(220)); 및 상기 프로세서와 작동적으로 연결되는 메모리(예: 도 1의 메모리(130), 도 2의 메모리(230))를 포함하고, 상기 메모리는 실행 시에, 상기 프로세서가, 상기 카메라 모듈을 통해 획득되는 원본 이미지 프레임들에 대응하는 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시하고, 및 동적 톤 맵(dynamic tone mapping) 기반의 녹화 기능을 인에이블하는 제1 사용자 입력 또는 상기 동적 톤 맵 기반의 녹화를 요청하는 제2 사용자 입력의 수신에 대응하여, 지정된 밝기, 정적 톤 맵 정보, 또는 상기 제1 사용자 입력이 수신된 시점 이후의 프리뷰 이미지 프레임의 분석 결과 중 적어도 하나에 기초하여 상기 디스플레이의 밝기를 조절하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시 예에 따르면, 상기 메모리는 실행 시에 상기 프로세서가, 상기 제2 사용자 입력의 수신에 대응하여 상기 동적 톤 맵 기반의 녹화를 수행하도록 하는 인스트럭션을 더 저장하고, 상기 디스플레이의 밝기를 제어하는 인스트럭션은 상기 프로세서가, 상기 녹화를 수행하는 동안 상기 조절된 밝기를 유지하거나, 현재 프리뷰 이미지 프레임을 기준으로 가장 최근에 생성된 동적 톤 맵 메타 데이터에 기초하여 상기 디스플레이의 밝기를 재조절하도록 할 수 있다.
도 4는 본 발명의 한 실시 예에 따른 전자 장치의 동적 톤 맵 기반의 동영상 녹화 시 프리뷰를 제공하는 방법을 설명하는 흐름도 이다.
도 4를 참조하면, 본 발명의 한 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201))의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(220))는, 401 동작에서, 제1 프리뷰 이미지 프레임들을 표시하도록 디스플레이(예: 도 1의 표시 장치(160), 도 2의 디스플레이(260))를 제어할 수 있다. 예를 들어, 상기 프로세서는 카메라 기능의 활성화(예: 카메라 어플리케이션의 실행) 시 디스플레이를 이용하여 카메라 모듈(예: 도 1의 카메라 모듈(180), 도 2의 카메라 모듈 (280))을 통해 획득되는 원본 이미지 프레임에 대응하는 제1 프리뷰 이미지 프레임들을 표시할 수 있다. 상기 제1 프리뷰 이미지 프레임은 예를 들어, 디스플레이의 규격에 적합하도록 카메라 모듈을 통해 획득되는 원본 이미지 프레임을 프로세서가 변환(예: 해상도 및/또는 사이즈의 조정)하여 생성될 수 있다. 어떤 실시 예에 따르면, 상기 변환은 이미지 시그널 프로세서(예: 도 2의 이미지 시그널 프로세서(221))에 의해 수행될 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 403 동작에서, 동적 톤 맵(DTM) 기반 레코딩의 시작 요청을 수신할 수 있다. 예를 들어, 상기 요청은 디스플레이의 일측에 표시된 소프트 메뉴(예: 도 6e의 녹화 버튼(651))의 터치 입력 또는 동적 톤 맵(DTM) 기반 레코딩이 지정된 메뉴로 진입 시 또는 지정된 물리 키 입력 등을 통해 수신될 수 있으나 이에 한정하는 것이 아님을 당업자는 용이하게 이해할 수 있을 것이다. 예를 들어, 도 1의 입력장치(150)(예: 마이크, 마우스, 키보드, 또는 디지털 펜)을 통해 수신한 다양한 입력을 포함할 수도 있다.
본 발명의 한 실시 예에 따르면, 상기 입력에 대응하여 상기 프로세서는 동적 톤 맵(DTM) 기반의 레코딩을 수행할 수 있다. 예를 들어, 프로세서는 원본 이미지 프레임을(또는 원본 이미지 프레임을 변환하여) 레코딩 이미지 프레임으로 저장할 수 있다. 또 다른 예로, 상기 프로세서는 원본 이미지 프레임 또는 레코딩 이미지 프레임을 분석하고, 상기 분석 결과를 기초로 동적 톤 맵 메타 데이터를 생성할 수 있다. 어떤 실시 예에 따르면, 이미지 시그널 프로세서가 원본 이미지 프레임 또는 레코딩 이미지 프레임을 분석하고, 프로세서는 이미지 시그널 프로세서로부터 원본 이미지 프레임 또는 레코딩 이미지 프레임의 분석 결과를 수신하고, 수신된 분석 결과를 기초로 동적 톤 맵 메타 데이터를 생성할 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 405 동작에서, 동적 톤 맵 기반의 레코딩을 수행하는 동안 제2 프리뷰 이미지 프레임을 생성할 수 있다. 예를 들어, 상기 제2 프리뷰 이미지 프레임은 제1 프리뷰 이미지 프레임을 이미지 처리(예: 동적 톤 매핑 처리)하여 생성될 수 있다. 예를 들어, 상기 동적 톤 매핑 처리는 동적 톤 맵을 적용한 것과 유사하도록 이미지 처리하거나 동적 톤 맵을 적용하는 것일 수 있다. 상기 제2 프리뷰 이미지 프레임의 적어도 일부는 제1 프리뷰 이미지 프레임과 색상, 톤(tone), 및/또는 밝기 중 적어도 일부가 상이할 수 있다.
다양한 발명의 한 실시 예에 따르면, 제2 프리뷰 이미지 프레임은 다양한 방식을 이용하여 생성될 수 있다. 어떤 실시 예에 따르면, 프로세서는 상기 제1 프리뷰 이미지 프레임에 전자 장치의 제조사 또는 사용자가 지정한 기본 프리뷰 처리 데이터(또는 디폴트 동적 톤 맵 메타 데이터로 명칭됨)를 적용하여 제2 프리뷰 이미지 프레임을 생성할 수 있다. 이때, 디폴트 동적 톤 맵 메타 데이터는 연속적으로 수신되는 제1 프리뷰 이미지 프레임들에 동일하게 적용될 수 있다. 이에 대한 다양한 실시 예들은 도 5a 내지 도 5d를 참조하여 후술하기로 한다.
다른 실시 예에 따르면, 프로세서는 제1 프리뷰 이미지 프레임에 정적 톤 매핑(static tone mapping) 정보(예: 정적 톤 맵 데이터)를 적용하여 제2 프리뷰 이미지 프레임을 생성할 수 있다. 동적 톤 맵 파일의 규격에 따르면, 동적 톤 맵 기반의 녹화 영상(파일)은 마스터링 시의 디스플레이 컬러 볼륨, 화이트 포인트 및 루미넌스와 관련된 정보들을 포함하는 정적 톤 매핑 정보를 포함할 수 있다. 예를 들어, 정적 톤 매핑 정보는 동적 톤 맵 파일의 첫 번째 시퀀스에 포함될 수 있다. 상기 동적 톤 맵 기반의 녹화가 요청되면, 프로세서는 동적 톤 맵 기반의 녹화 영상(파일)에 포함되는 정적 톤 맵 정보에 기초하여 제1 프리뷰 이미지 프레임에 정적 톤 매핑을 적용(예: 정적 톤 매핑 처리)하여 제2 프리뷰 이미지 프레임을 생성할 수 있다. 이를 통해, 본 발명의 한 실시 예에 따른 전자 장치는 보통의 SDR(standard dynamic range) 레코딩 시의 프리뷰 이미지보다 개선(예: 밝기 증가 또는 감소, 또는 선명도 증가)된 프리뷰 이미지를 제공할 수 있다.
또 다른 실시 예에 따르면, 상기 프로세서는 제1 프리뷰 이미지 프레임을 분석하고, 상기 분석 결과에 기초하여 전자 장치(201)의 제조 시 또는 다운로드를 통해 상기 메모리(230)에 저장된 다수의 프리뷰 처리 데이터(또는 동적 톤 맵 메타데이터로 명칭됨)들 중 하나의 프리뷰 처리 데이터를 선택하고, 선택된 프리뷰 처리 데이터를 해당 제1 프리뷰 이미지 프레임에 적용하여 제2 프리뷰 이미지 프레임을 생성할 수 있다. 이에 대한 다양한 실시 예들은 도 6a 내지 도 6f를 참조하여 후술하기로 한다.
또 다른 실시 예에 따르면, 상기 프로세서는 동적 톤 맵 기반의 녹화 도중 원본 이미지 프레임 또는 레코딩 이미지 프레임을 분석하여 생성된 동적 톤 맵 메타 데이터를 제1 프리뷰 이미지 프레임에 적용하여 제2 프리뷰 이미지 프레임을 생성할 수 있다. 일 실시 예에서, 상기 제1 프리뷰 이미지 프레임에 적용되는 동적 톤 맵 메타 데이터는 동적 톤 맵 기반의 레코딩 수행 중 가장 최근에 생성된 동적 톤 맵 메타 데이터일 수 있다. 예를 들어, 상기 프로세서는 N번째 제1 프리뷰 이미지 프레임에 N-1번째 또는 N-2 번째 원본 이미지 프레임 또는 레코딩 이미지 프레임을 분석하여 생성된 N-1번째 또는 N-2 번째 동적 톤 맵 메타 데이터를 적용할 수 있다. 이는 현재 이미지 프레임과 이전의 이미지 프레임은 유사할 가능성이 많기 때문일 수 있다. 이에 대한 다양한 실시 예들은 도 7a 내지 도 7d를 참조하여 후술하기로 한다.
어떤 실시 예에 따르면, 405 동작에서, 제2 프리뷰 이미지 프레임은 디스플레이 드라이버 집적 회로(예: DDI(261))에서 생성될 수도 있다. 예를 들어, 상기 디스플레이 드라이버 집적 회로는 프로세서(또는 이미지 시그널 프로세서)로부터 제1 프리뷰 이미지 프레임을 수신하고, 제1 프리뷰 이미지 프레임을 상술한 다양한 방법으로 이미지 처리(예: 동적 톤 매핑 처리)하여 제2 프리뷰 이미지를 생성할 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 407 동작에서, 동적 톤 맵(DTM) 기반의 레코딩을 수행하는 동안 디스플레이를 이용하여 상기 405 동작에서 생성된 제2 프리뷰 이미지 프레임들을 표시할 수 있다.
다양한 실시 예에 따르면, 상기 도 4에 도시하지는 않았지만, 프로세서는 동적 톤 맵 기반의 녹화 기능(또는 동적 톤 맵 기반의 녹화 모드)의 인에이블(enable)(또는 활성화) 시 또는 동적 톤 맵 기반의 레코딩 요청 시 프리뷰 이미지 프레임을 표시하는 디스플레이의 밝기를 제어할 수 있다. 예를 들어, 프로세서는 보통의 SDR(standard dynamic range) 레코딩 시의 프리뷰 밝기보다 더 밝은 지정된 밝기로 디스플레이의 밝기를 고정하거나, 현재 밝기를 기준으로 소수 배(예를 들어 1.0 보다 큰 값)하여 디스플레이의 밝기를 더 밝게 할 수 있다. 이러한 두 가지 방식은 제 1 프리뷰 이미지 프레임 또는 레코딩 이미지 프레임의 분석이 추가로 필요하지 않으므로, 동적 톤 맵 기반의 레코딩 동작 인식 시, 제 1 프리뷰 이미지 자체에 바로 적용이 가능하다.
다른 예로, 프로세서는 프리뷰 이미지 프레임의 특징에 따라 디스플레이의 밝기를 조정하거나, 현재 프리뷰 이미지 프레임을 기준으로 가장 최근에 생성된 동적 톤 맵 메타 데이터를 기초로 디스플레이의 밝기를 조정(또는 조절)할 수 있다. 또 다른 예로, 프로세서는 정적 톤 맵 정보를 기초로 디스플레이의 밝기를 조정(또는 조절)할 수 있다. 이에 대한 상세한 설명은 도 8a 및 도 8b를 참조하여 후술하기로 한다. 어떤 실시 예에 따르면, 상기 프로세서는 디스플레이의 밝기를 전체적으로 동일하게 하거나, 부분적으로 다르게 할 수 있다.
도 4에서는, 설명의 편의를 위하여, 본 발명의 다양한 실시 예들이 프레임 단위로 적용되는 것으로 설명하였지만 이는 일 예일 뿐, 본 발명의 다양한 실시 예들을 한정하지는 않는다. 예를 들어, 본 발명의 다양한 실시 예들은 신(scene) 단위로도 적용될 수 있다. 여기서, 신은, 예를 들면, 프레임 별로 이미지 데이터의 특성(예: 밝기, 색)의 변동이 크지 않은 프레임들의 집합일 수 있다. 예를 들어, 해변을 일정 시간 동안 촬영하다가, 산을 촬영하는 경우 밝기의 변화가 지정된 임계치를 초과하여 각 신이 구분될 수 있다. 이 때, 해변을 촬영한 구간(다수의 프레임을 포함) 및 산을 촬영한 구간(다수의 프레임을 포함)이 각각의 하나의 신이 될 수 있다.
도 5a는 본 발명의 한 실시 예에 따른 전자 장치의 프리뷰 처리 데이터를 이용한 프리뷰를 제공하는 방법을 설명하는 흐름도이고, 도 5b는 본 발명의 한 실시 예에 따른 메모리의 구성을 도시한 도면이고, 도 5c는 본 발명의 한 실시 예에 따른 프리뷰 처리 데이터의 톤 맵 커브를 도시한 그래프이고, 도 5d는 본 발명의 한 실시 예에 따른 이미지 프레임들의 파이프 라인을 도시한 도면이다.
도 5a 내지 도 5d를 참조하면, 본 발명의 한 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201))의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(220))는, 501 동작에서, 제1 프리뷰 이미지 프레임들을 표시하도록 디스플레이(display)(예: 도 1의 표시 장치(160), 도 2의 디스플레이(260))를 제어할 수 있다. 예를 들어, 도 5b를 참조하면, 프로세서는 카메라 앱(521)이 실행되면, 이미지 시그널 처리 모듈(image signal processing module)(524)이 카메라 인터페이스(522)를 통해 카메라 모듈(예: 도 1의 카메라 모듈(180), 도 2의 카메라 모듈(280))로부터 원본 이미지 프레임들을 수신하여 프리뷰 처리 모듈(preview processing module)(525)로 전달하도록 제어할 수 있다. 상기 프로세서는 프리뷰 처리 모듈(525)이 원본 이미지 프레임들을 디스플레이의 규격에 적합하도록 변환(또는 이미지 처리)(예: 노이즈 제거 필터링, 해상도 및/또는 사이즈의 조정)하여 제1 프리뷰 이미지 프레임들을 생성하고, 제1 프리뷰 이미지 프레임들을 메모리(230)의 일부 영역(예: 휘발성 메모리(132)) 또는 디스플레이에 포함된 버퍼 메모리(미도시)에 프리뷰 이미지 프레임(528)으로 저장하도록 제어할 수 있다. 디스플레이는 디스플레이 인터페이스(523)를 통해 프리뷰 이미지 프레임(528)을 리드하여 제1 프리뷰 이미지 프레임들을 표시할 수 있다. 어떤 실시 예에 따르면, 프리뷰 처리 모듈(525)은 이미지 시그널 처리 모듈(524)에 포함될 수도 있다.
어떤 실시 예에 따르면, 이미지 시그널 처리 모듈(524)은 다른 하드웨어 구성(예: 프로세서 또는 카메라 모듈)에 포함되거나, 별도로 구성으로 전자 장치에 포함되는 하드웨어(예: 이미지 시그널 프로세서(image signal processor, ISP))로 구현될 수 있고, 프리뷰 처리 모듈(525) 역시 다른 하드웨어 구성(예: 프로세서 또는 카메라 모듈)에 포함되거나, 별도로 구성으로 전자 장치에 포함되는 하드웨어(예: 멀티 스케일러)로 구현될 수 있다. 어떤 실시 예에 따르면, 멀티 스케일러는 이미지 시그널 프로세서에 포함될 수도 있다.
본 발명의 한 실시 예에 따른 프로세서는, 503 동작에서, 동적 톤 맵(DTM) 기반 레코딩을 시작할 수 있다. 예를 들어, 상기 프로세서는 디스플레이의 일측에 표시된 소프트 메뉴(예: 도 6e의 녹화 버튼(651))의 터치 입력 또는 지정된 물리 키 입력 시 동적 톤 맵 기반의 레코딩을 시작할 수 있다. 상기 도 5b를 참조하여 설명하면, 상기 프로세서는 레코딩 처리 모듈(recording processing module)(526)이 원본 이미지 프레임들을 레코딩 규격에 적합하도록 변환(또는 이미지 처리)(예: 해상도 및/또는 사이즈의 조정)하여 레코딩 이미지 프레임(529)을 생성하고, 메모리(230)의 다른 일부 영역(예: 휘발성 메모리(132) 또는 비휘발성 메모리(134))에 저장하도록 제어할 수 있다. 어떤 실시 예에 따르면, 상기 레코딩 처리 모듈(526)은 원본 이미지 프레임의 변환없이 원본 이미지 프레임을 레코딩 이미지 프레임(529)으로 저장할 수도 있다. 프로세서는 레코딩 처리 모듈(526)이 레코딩 이미지 프레임(529)을 분석하고, 상기 분석 결과를 기초로 동적 톤 맵 메타 데이터(530)를 생성하여 메모리(230)의 또 다른 일부 영역에 저장하도록 제어할 수 있다. 동적 톤 맵 메타 데이터(530)는 레코딩 이미지 프레임(529)과 연동(또는 매핑)되어 저장될 수 있다. 어떤 실시 예에 따르면, 레코딩 처리 모듈(526)은 이미지 시그널 처리 모듈(524)로부터 원본 이미지 프레임의 분석 결과를 수신하고, 수신된 분석 결과를 기초로 동적 톤 맵 메타 데이터(530)를 생성하여 저장할 수 있다. 어떤 실시 예에 따르면, 레코딩 처리 모듈(526)은 레코딩 이미지 프레임(529)과 동일한 시간 또는 이전 시간의 제1 프리뷰 이미지 프레임을 분석하여 동적 톤 맵 메타 데이터(530)를 생성할 수 있다.
어떤 실시 예에 따르면, 레코딩 처리 모듈(526)은 이미지 시그널 처리 모듈(524)에 포함될 수도 있다. 상기 도 5b에서는 상기 레코딩 처리 모듈(526)을 프로세서에 의해 실행되는 소프트웨어로 도시하였지만, 상기 레코딩 처리 모듈(526)은 다른 하드웨어 구성(예: 프로세서, 이미지 시그널 프로세서, 또는 카메라 모듈)에 포함되거나, 별도로 구성으로 전자 장치에 포함되는 하드웨어(예: 멀티 스케일러)로 구현될 수 있다. 어떤 실시 예에 따르면, 멀티 스케일러는 프리뷰 처리 기능(모듈) 및 레코딩 처리 기능(모듈)을 지원할 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 505 동작에서, 기본 프리뷰 처리 데이터를 식별할 수 있다. 예를 들어, 상기 기본 프리뷰 처리 데이터는 동적 톤 맵 메타 데이터 형식과 적어도 일부가 동일할 수 있다. 또 다른 예로, 상기 기본 프리뷰 처리 데이터는 디폴트 동적 톤 맵 메타 데이터로 불리울 수 있다. 일 실시 예에서, 상기 식별된 기본 프리뷰 처리 데이터는 동적 톤 맵 기반의 동영상 녹화 시 메모리에 로드되어 제1 프리뷰 이미지 프레임을 이미지 처리하는데 이용될 수 있다. 예를 들어, 도 5b를 참조하면, 상기 프로세서는 톤 맵(tone map: TM) 처리 모듈(527)이 메모리(230)로부터 기본 프리뷰 처리 데이터를 로드하도록 제어할 수 있다.
본 발명의 한 실시 예에 따르면, 상기 기본 프리뷰 처리 데이터는 동적 톤 맵 기반의 동영상 녹화 수행 중에 생성되는 제1 프리뷰 이미지 프레임들에 동일하게 적용될 수 있다. 일 실시 예에서, 상기 기본 프리뷰 처리 데이터의 톤 맵 커브(Tone mapping curve)는 비교를 위한 비교 예에 따른 UHDA(ultra high definition alliance) 인증을 위한 톤 맵 커브와 다른 형태를 가질 수 있다. 예를 들어, 도 5c를 참조하면, 비교를 위한 비교 예에 따른 UHDA(ultra high definition alliance) 인증을 위한 톤 맵 커브는, 식별 부호 550의 그래프와 같이, 선형적인 형태를 가질 수 있다. 이에 반하여, 본 발명의 다양한 실시 예들에 따른 기본 프리뷰 처리 데이터의 톤 맵 커브는, 식별 부호 560의 도면에 도시된 바와 같이, 비선형적인 커브 형태를 가질 수 있다. 이와 같이, 기본 프리뷰 처리 데이터의 톤 맵 커브는 자유도가 클 수 있다. 도 5c의 톤 맵 커브 그래프들은 원본 영상의 밝기 값(nit)을 X축(source)으로 하고, 디스플레이에 표시될 밝기 값을 Y축(destination)으로 할 수 있다. 예를 들어, 도 5c의 그래프들을 참조하면, 원본 영상에서 약 4000 nit의 밝기 값을 가지는 부분은 약 500 nit의 밝기 값으로 표시되고, 4000 nit 미만의 밝기 값을 가지는 부분들은 톤 맵 커브에 따라 다양한 밝기 값으로 표시될 수 있다.
본 발명의 한 실시 예에 따르면, 상기 기본 프리뷰 처리 데이터는 적어도 하나 이상일 수 있다. 예를 들어, 상기 메모리(230)는 각각 다른 색, 톤 및/또는 밝기의 조합을 가지는 다수의 프리뷰 처리 데이터(531)를 포함할 수 있다. 상기 프리뷰 처리 데이터(531)는 아래의 <표 2>와 같이 저장될 수 있다.
| 인덱스(Index) | 색 | 톤 |
| 제1 프리뷰 처리 데이터 | Vibrance 10 Saturation 15 |
Gamma 0.79 Exposure 0.5 Shadow 27 Highlight -10 |
| 제2 프리뷰 처리 데이터 | Vibrance -10 Saturation 15 |
Gamma 0.40 Exposure 1.5 Shadow 15 Highlight -8 |
일 실시 예에서, 상기 프리뷰 처리 데이터(531)는 전자 장치의 제조 시 제조사에 의해 제공(또는 저장)될 수 있으며, 업데이트될 수 있다. 또 다른 예로, 상기 프리뷰 처리 데이터(531)는 사용자에 의해 다운로드되어 저장될 수도 있다. 어떤 실시 예에 따르면, 상기 프리뷰 처리 데이터(531)는 이전의 동적 톤 맵 기반의 레코딩 시 사용한 톤 맵 커브들의 평균 값을 사용하여 생성 또는 업데이트될 수 있다. 한편, 상기 <표 2>의 프리뷰 처리 데이터(531)는 일 예일 뿐, 본 발명의 실시 예를 한정하지는 않는다. 예를 들어, 프리뷰 처리 데이터(531)는 <표 1> 과 적어도 일부가 동일할 수도 있고, 다른 구성을 더 포함하거나, 색, 톤 및/또는 밝기 중 일부가 포함되지 않을 수도 있다.
본 발명의 한 실시 예에 따르면, 상기 프로세서는 다수의 프리뷰 처리 데이터(531)를 포함하는 경우 사용자의 입력에 따라 다수의 프리뷰 처리 데이터들(531) 중 하나를 기본 프리뷰 처리 데이터로 식별(또는, 결정)할 수 있다. 예를 들어, 상기 프로세서는 동적 톤 맵 기반의 녹화 요청이 감지되면, 프리뷰 처리 데이터들(531)의 리스트를 표시하고, 사용자의 선택에 기초하여 기본 프리뷰 처리 데이터를 식별할 수 있다. 어떤 실시 예에 따르면, 상기 프로세서는 촬영 환경 정보를 기초로, 다수의 프리뷰 처리 데이터들(531) 중 하나를 기본 프리뷰 처리 데이터로 식별할 수 있다. 상기 촬영 환경 정보는 적어도 하나의 센서(예: 도 1의 센서 모듈(176))를 통해 획득할 수 있다. 예를 들어, 조도 센서 및/또는 움직임 센서를 통해 획득되는 센싱 정보(예: 어두운 환경, 밝은 환경, 전자 장치가 빠르게 이동하는 동적인 환경)를 포함할 수 있다. 어떤 실시 예에 따르면, 상기 프로세서는 촬영 환경 정보의 변경 시 변경된 촬영 정보를 기초로, 다수의 프리뷰 처리 데이터들(531) 중 하나를 기본 프리뷰 처리 데이터로 재식별할 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 507 동작에서, 제1 프리뷰 이미지 프레임을 로드할 수 있다. 예를 들어, 프로세서는 톤 맵 처리 모듈(527)이 메모리(230)로부터 제1 프리뷰 이미지 프레임을 로드하도록 제어할 수 있다. 다양한 실시 예들에 따라 507 동작에서 로드하는 제1 프리뷰 이미지 프레임은 501 동작에서 표시된 제1 프리뷰 이미지 프레임들보다 이후 시간(예: DTM 기반 레코딩의 시작 시점)에 로드되며, 서로 다른 이미지 데이터 또는 내용을 포함할 수 있음을 당업자라면 용이하게 이해할 것이다. 예를 들어, 도 5d를 참조하면, 507 동작에서 로드하는 제1 프리뷰 이미지 프레임은 N번 째 원본이미지 프레임에 대응하는 N번 째 프리뷰 이미지 프레임이고, 501 동작에서 표시하는 제1 프리뷰 이미지 프레임들은 N번 째 프리뷰 이미지 프레임보다 앞 선 시각의 원본 이미지 프레임들(예: 카메라 모듈이 활성화된 후 DTM 기반의 녹화가 시작되기 전까지 카메라 모듈을 통해 획득되는 원본 이미지 프레임들)에 대응하는 제1 프리뷰 이미지 프레임일 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 509 동작에서, 상기 식별된 기본 프리뷰 처리 데이터에 기반하여 상기 제1 프리뷰 이미지 프레임을 이미지 처리(예: 동적 톤 맵을 적용한 것과 유사하도록 이미지 처리)하여 제2 프리뷰 이미지 프레임을 생성할 수 있다. 예를 들어, 도 5b를 참조하면, 프로세서는 톤 맵 처리 모듈(527)이 상기 로드된 제1 프리뷰 이미지 프레임에 상기 식별된 기본 프리뷰 처리 데이터를 적용하여 제2 프리뷰 이미지 프레임을 생성하도록 제어할 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 511 동작에서, 상기 생성된 제2 프리뷰 이미지 프레임을 디스플레이에 표시하도록 제어할 수 있다. 예를 들어, 프로세서는 톤 맵 처리 모듈(527)이 상기 생성된 제2 프리뷰 이미지 프레임을 디스플레이 인터페이스(523)를 통해 디스플레이 드라이버 집적회로(DDI)로 전달하여 디스플레이에 표시되도록 제어할 수 있다. 어떤 실시 예에 따르면, 톤 맵 처리 모듈(527)은 생성된 제2 프리뷰 이미지 프레임을 프리뷰 이미지 프레임(528)으로 저장할 수 있다. 디스플레이는 디스플레이 인터페이스(523)를 통해 프리뷰 이미지 프레임(528)을 리드하여 제2 프리뷰 이미지 프레임을 표시할 수 있다.
어떤 실시 예에 따르면, 톤 맵 처리 모듈(527)은 이미지 시그널 처리 모듈(524)에 포함될 수 있다. 한편, 상기 도 5b에서는 상기 톤 맵 처리 모듈(527)을 소프트웨어로 도시하였지만, 상기 톤 맵 처리 모듈(527)은 다른 하드웨어 구성(예: 프로세서, 이미지 시그널 프로세서, 디스플레이 드라이버 집적회로(예: DDI(261))에 포함되거나, 별도의 구성으로 전자 장치에 포함되는 하드웨어로 구현될 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 513 동작에서, 동적 톤 맵 기반 동영상 녹화가 종료되는지 확인할 수 있다. 상기 513 동작의 확인 결과, 동적 톤 맵 기반의 동영상 녹화가 종료되지 않은 경우 상기 프로세서는 상기 507 동작으로 복귀하여 507 내지 513 동작들을 반복할 수 있다.
반면에, 본 발명의 한 실시 예에 따라, 상기 513 동작의 확인 결과, 동적 톤 맵 기반의 동영상 녹화가 종료된 경우 상기 프로세서는 동적 톤 맵 기반의 제2 프리뷰 이미지의 표시를 종료할 수 있다.
본 발명의 한 실시 예에 따른 전자 장치는, 상기 도 5d에 도시된 바와 같이, 원본 이미지 프레임을 변환한 제1 프리뷰 이미지 프레임에 기본 프리뷰 처리 데이터를 적용하여 제2 프리뷰 이미지 프레임을 실시간으로 생성 및 표시할 수 있다. 한편, 상기 도 5d는 제2 프리뷰 이미지 프레임이 제1 프리뷰 이미지 프레임의 생성과 동시에 생성 및 표시되는 것으로 도시하였지만, 일정 시간 후(예: 기본 프리뷰 처리 데이터의 적용에 따른 이미지 처리 시간) 제2 프리뷰 이미지 프레임이 생성 및 표시될 수 있다. 상기 일정 시간은, 예를 들어, 매우 짧은 시간으로 프리뷰 이미지가 실시간으로 표시되는 것처럼 사용자가 인지할 수 있는 정도의 값을 가질 수 있다.
도 6a는 본 발명의 한 실시 예에 따른 전자 장치의 프리뷰 처리 데이터를 이용하여 프리뷰를 제공하는 방법을 설명하는 흐름도이고, 도 6b는 본 발명의 한 실시 예에 따른 메모리의 구성을 도시한 도면이고, 도 6c는 본 발명의 한 실시 예에 따른 프리뷰 처리 데이터를 선택하는 예를 도시한 도면이고, 도 6d는 본 발명의 한 실시 예에 따른 프리뷰 처리 데이터의 추가 및 업데이트를 설명하는 도면이고, 도 6e는 본 발명의 한 실시 예에 따른 전자 장치의 프리뷰 처리 데이터를 이용하여 프리뷰를 제공하는 방법을 설명하기 위한 예시도이고, 도 6f는 본 발명의 한 실시 예에 따른 이미지 프레임들의 파이프 라인을 도시한 도면이다.
도 6a 내지 도 6f를 참조하면, 본 발명의 한 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201))의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(220))는, 601 동작에서, 제1 프리뷰 이미지 프레임들을 표시하도록 디스플레이(예: 도 1의 표시 장치(160), 도 2의 디스플레이(260))를 제어할 수 있다. 도 6b를 참조하면, 프로세서는 카메라 앱(621)이 실행되면, 이미지 시그널 처리 모듈(624)이 카메라 인터페이스(622)를 통해 카메라 모듈(예: 도 1의 카메라 모듈(180), 도 2의 카메라 모듈(280))로부터 원본 이미지 프레임들을 수신하여 프리뷰 처리 모듈(625)로 전달하고, 프리뷰 처리 모듈(625)이 원본 이미지 프레임들을 디스플레이의 규격에 적합하도록 변환하여 제1 프리뷰 이미지 프레임들을 생성하고, 생성된 제1 프리뷰 이미지 프레임들을 프리뷰 이미지 프레임(628)으로 저장하도록 제어할 수 있다. 디스플레이는 디스플레이 인터페이스(623)를 통해 프리뷰 이미지 프레임(628)을 리드하여 제1 프리뷰 이미지 프레임들을 표시할 수 있다. 예를 들어, 디스플레이는, 도 6e의 식별 부호 650의 도면에 도시된 바와 같이, 제1 프리뷰 이미지 프레임을 표시할 수 있다. 상기 디스플레이는 녹화 버튼(651)을 제1 프리뷰 이미지 프레임의 일 영역에 표시할 수 있다.
어떤 실시 예에 따르면, 이미지 시그널 처리 모듈(624) 및/또는 프리뷰 처리 모듈(625)은 도 5b의 이미지 시그널 처리 모듈(524) 및/또는 프리뷰 처리 모듈(525)와 같이 하드웨어로 구현될 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 603 동작에서, 동적 톤 맵(DTM) 기반 레코딩을 시작할 수 있다. 예를 들어, 상기 프로세서는, 도 6e의 식별 부호 650의 도면에 도시된 바와 같이, 디스플레이의 일측에 표시된 녹화 버튼(651)의 터치 입력 시 동적 톤 맵 기반 레코딩을 시작할 수 있다. 어떤 실시 예에 따르면, 상기 프로세서는 지정된 물리 키 입력 시 동적 톤 맵 기반 레코딩을 시작할 수 있다. 상기 601 동작 및 603 동작은 상술한 501 동작 및 503 동작과 유사할 수 있다. 예를 들어, 프로세서는 동적 톤 맵 기반 레코딩이 시작되면, 레코딩 처리 모듈(626)이 레코딩 이미지 프레임(629) 및 동적 톤 맵 메타 데이터(630)를 생성하여 저장하도록 제어할 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 605 동작에서, 제1 프리뷰 이미지 프레임을 분석할 수 있다. 예를 들어, 도 6b를 참조하면, 프로세서는 분석 모듈(632)이 DTM 기반 레코딩의 시작 시점의 제1 프리뷰 이미지 프레임(601 동작에서 표시된 제1 프리뷰 이미지 데이터와 다른 이미지 데이터를 포함)을 로드하고, 로드된 제1 프리뷰 이미지 프레임을 분석하도록 제어할 수 있다. 예를 들어, 상기 분석 모듈(632)은 이웃된 픽셀(pixel)간의 차 값만으로 표현하는 DPCM 영상 분석을 통해 제1 프리뷰 이미지 프레임을 분석할 수 있다. 어떤 실시 예에 따르면, 분석 모듈(632)은, 이미지 분석 분야에서 널리 알려진 기술들(예: 제1 프리뷰 이미지 프레임에 대한 특징 점 분석, 엣지(edge) 분석, 또는 주파수 영역 분석) 중 적어도 하나를 이용하여 제1 프리뷰 이미지 프레임을 분석할 수 있고, 분석하기 위한 방법에 제한은 없다.. 어떤 실시 예에 따르면, 분석 모듈(632)은 제1 프리뷰 이미지 프레임의 일부 영역(예: 중심을 기준으로 일부 영역) 또는 서브 샘플링된 제1 프리뷰 이미지 프레임을 이용하여 분석을 수행할 수 있다. 이를 통해 분석 시간이 감소될 수 있다. 어떤 실시 예에 따르면, 분석 모듈(632)은 톤 맵 처리 모듈(627)에 포함될 수도 있다. 도 6b는 분석 모듈(632)을 소프트웨어로 도시하였지만, 어떤 실시 예에 따르면, 분석 모듈(632)은 다른 하드웨어 구성(예: 프로세서, 이미지 시그널 프로세서, 톤 맵 프로세서)에 포함되거나, 별도의 구성으로 전자 장치에 포함되는 하드웨어로 구현될 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 607 동작에서, 분석 결과에 기반하여 프리뷰 처리 데이터(631) 중 하나를 선택할 수 있다. 상기 프로세서는, 도 6c에 도시된 바와 같이, 선택 모듈(633)이 상기 분석 결과에 기반하여 다수의 프리뷰 처리 데이터들(631a, 631b, 631c, 631d) 중 제1 프리뷰 이미지 프레임에 적용할 프리뷰 처리 데이터를 선택하도록 제어할 수 있다. 다양한 실시 예에 따르면, 상기 다수의 프리뷰 처리 데이터들은 제조사에 의해 저장되거나, 사용자에 의해 다운로드될 수 있다. 어떤 실시 예에 따르면, 상기 다수의 프리뷰 처리 데이터들은 영화사 또는 스튜디오에서 전문가들에 의해 마스터링(또는, 후처리)된 영상 데이터들에서 특징 점 및/또는 동적 톤 맵 메타 데이터를 추출하여 생성될 수도 있다.
다양한 실시 예들에 따르면, 다수의 프리뷰 처리 데이터들은 특징 점에 해당하는 값과 매핑되어 저장될 수 있다. 특징 점에 해당하는 값은 데이터 베이스 내의 이미지 자체의 값 또는 위에서 기술한 프리뷰 이미지 프레임을 분석할 수 있고, 분석하기 위한 방법 들을 이미지에 반영한 값들 중 하나일 수 있다. 상기 선택 모듈(633)은 상기 분석 결과에 기반하여 상기 제1 프리뷰 이미지 프레임의 특징 점과 각 프리뷰 처리 데이터에 매핑된 특징 점을 비교하고, 가장 유사한 특징 점을 가지는 프리뷰 처리 데이터(예: 톤 맵 커브 데이터)를 선택할 수 있다. 각 프리뷰 처리 데이터는, 예를 들어 도 6c에 도시된 바와 같이, 톤 맵 커브 그래프로 표현될 수 있고, 다른 형상의 커브를 가질 수 있다.
어떤 실시 예에 따르면, 본 발명의 한 실시 예에 따른 프로세서는 새로운 프리뷰 처리 데이터를 추가하거나, 저장된 프리뷰 처리 데이터들 중 적어도 일부를 업데이트할 수 있다. 예를 들어, 상기 프로세서는, 도 6d에 도시된 바와 같이, 마스터링 컨텐츠를 기초로 학습을 수행하고, 학습 결과에 기초하여, N+1 프리뷰 처리 데이터(631e)를 추가하거나, 제3 프리뷰 처리 데이터(631c) 및 제N 프리뷰 처리 데이터(631d)를 업데이트할 수 있다. 프로세서는 특징 점과 톤 맵 커브를 페어(pair)로 업데이트하여 프리뷰 처리 데이터를 업데이트할 수 있다.
어떤 실시 예에 따르면, 선택 모듈(633)은 분석 모듈(632) 또는 톤 맵 처리 모듈(627)에 포함될 수도 있다. 도 6b는 선택 모듈(633)을 소프트웨어로 도시하였지만, 어떤 실시 예에 따르면, 선택 모듈(633)은 다른 하드웨어 구성(예: 프로세서, 이미지 시그널 프로세서, 톤 맵 프로세서)에 포함되거나, 별도의 구성으로 전자 장치에 포함되는 하드웨어로 구현될 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 609 동작에서, 상기 선택된 프리뷰 처리 데이터에 기반하여 상기 제1 프리뷰 이미지 프레임을 이미지 처리(예: 동적 톤 맵을 적용한 것과 유사하도록 이미지 처리)하여 제2 프리뷰 이미지 프레임을 생성할 수 있다. 예를 들어, 도 6b를 참조하면, 프로세서는 톤 맵 처리 모듈(627)이 상기 제1 프리뷰 이미지 프레임에 상기 선택된 기본 프리뷰 처리 데이터를 적용하여 제2 프리뷰 이미지 프레임을 생성하도록 제어할 수 있다. 어떤 실시 예에 따르면, 톤 맵 처리 모듈(627)은, 도 5b의 톤 맵 처리 모듈(527)과 유사하게, 이미지 시그널 처리 모듈(624)에 포함되거나, 하드웨어로 구현될 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 611 동작에서, 상기 생성된 제2 프리뷰 이미지 프레임을 표시하도록 디스플레이를 제어할 수 있다. 예를 들어, 상기 프로세서는, 도 6e의 식별 부호 660의 도면에 도시된 바와 같이, 제2 프리뷰 이미지 프레임을 표시하도록 디스플레이를 제어할 수 있다. 또 다른 예로, 상기 프로세서는 동적 톤 맵 기반 레코딩 상태임을 나타내는 인디케이터(661)를 디스플레이의 일측(예: 좌측 상단)에 표시할 수 있다. 또 다른 예로, 상기 프로세서는 녹화 버튼(651)을 녹화 중지(stop)를 위한 중지 버튼(653)으로 변경할 수 있다. 또 다른 예로, 상기 프로세서는 녹화 시간을 디스플레이의 일측(예: 하측 중앙)에 표시할 수 있다. 상기 식별 부호 650 및 660의 도면을 참조하면, 상기 제1 프리뷰 이미지 프레임에 프리뷰 처리 데이터(제1 프리뷰 처리 데이터)가 적용되어, 상기 제2 프리뷰 이미지 프레임의 적어도 일부 영역(예: 식별 부호 663의 영역)의 화질이 변경(예: 밝기 증가 또는 감소, 또는 선명도 증가)될 수 있다. 예를 들어, 제2 프리뷰 이미지 프레임은 제1 프리뷰 이미지 프레임에서 보이지 않던 적어도 하나의 객체를 포함할 수 있다. 예를 들어, 밝은 빛 또는 어두움으로 인하여 제1 프리뷰 이미지 프레임에서 흰색으로 표현된 부분(예: 화이트 홀 현상이 발생한 부분) 또는 암부에 제1 프리뷰 처리 데이터(예: 동적 톤 맵)가 적용됨에 따라, 제1 프리뷰 이미지 프레임에서 보이지 않던 적어도 하나의 객체가 제2 프리뷰 이미지 프레임에서 보일 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 613 동작에서, , 동적 톤 맵 기반 레코딩이 종료되는지 확인할 수 있다. 상기 613 동작의 확인 결과, 동적 톤 맵 기반의 레코딩이 종료되지 않은 경우 상기 프로세서는 상기 605 동작으로 복귀하여 605 내지 613 동작들을 반복할 수 있다. 예를 들어, 프로세서는 다음의 제1 프리뷰 이미지 프레임을 로드하여 분석(605 동작)하고, 분석 결과에 기반하여 프리뷰 처리 데이터(제2 프리뷰 처리 데이터)를 선택(607 동작)하고, 선택된 제2 프리뷰 처리 데이터에 기초하여 제2 프리뷰 이미지 프레임을 생성(609 동작)하여 표시(611)할 수 있다. 예를 들어, 상기 식별 부호 670 및 680의 도면을 참조하면, 상기 다음 제1 프리뷰 이미지 프레임에 제2 프리뷰 처리 데이터가 적용되어, 제2 프리뷰 이미지 프레임의 적어도 일부 영역(예: 식별 부호 665의 영역)의 화질이 변경(예: 밝기 증가 또는 감소, 또는 선명도 증가)되었고, 상기 식별 부호 663 영역의 화질이 더 변경(예: 선명도 증가, 색상 변경(예: 밝기 변화에 따라 색상이 어두워지거나 밝아짐))될 수 있다.
어떤 실시 예에 따르면, 동적 톤 맵 레코딩과 관련된 UI 객체들(예: 녹화 버튼(651), 중지 버튼(653), 인디케이터(661), 녹화 시간) 중 적어도 일부는 프리뷰가 표시되는 레이어(layer)(이하, 프리뷰 레이어)와 다른 레이어(이하, UI 레이어) 또는 상태 바를 이용하여 표시될 수 있다. 상기 UI 레이어 또는 상태 바는 사용자의 입력(예: 프리뷰 화면을 터치) 시 화면에 표시(예: UI 레이어가 프리뷰 레이어에 중첩되어 표시, 또는 상태바가 화면의 상단에서 하단으로 슬라이딩되어 표시)되고, 일정 시간 경과 후 사라질 수 있다.
본 발명의 한 실시 예에 따른 전자 장치는, 상기 도 6f에 도시된 바와 같이, 원본 이미지 프레임을 변환한 제1 프리뷰 이미지 프레임의 분석 결과에 기초하여 선택된 프리뷰 처리 데이터를 제1 프리뷰 이미지 프레임에 적용하여 제2 프리뷰 이미지 프레임을 실시간으로 생성 및 표시할 수 있다. 일 실시 예에서, N번째 프리뷰 처리 데이터, N+1번째 프리뷰 처리 데이터, N+2번째 프리뷰 처리 데이터, 및/또는 N+3번째 프리뷰 처리 데이터 중 적어도 하나는 상이할 수 있다. 또 예를 들어, 원본 이미지 프레임에 대응하는 서로 다른 예로 이미지 데이터를 포함할 수 있다. 한편, N번째 제1 프리뷰 이미지 프레임, N+1번째 제1 프리뷰 이미지 프레임, N+2번째 제1 프리뷰 이미지 프레임, 및 N+3번째 제1 프리뷰 이미지 프레임의 분석 결과가 동일 또는 유사한 경우 N번째 프리뷰 처리 데이터, N+1번째 프리뷰 처리 데이터, N+2번째 프리뷰 처리 데이터, 및 N+3번째 프리뷰 처리 데이터는 동일한 프리뷰 처리 데이터일 수 있다.
한편, 상기 도 6f는 제2 프리뷰 이미지 프레임들이 프리뷰 처리 데이터들과 시간 축에 동일하게 위치되는 것으로 도시하였지만, 제2 프리뷰 이미지 프레임들은 프리뷰 처리 데이터의 적용에 따른 이미지 처리 시간만큼 지연되어 위치될 수 있다.
도 7a는 본 발명의 한 실시 예에 따른 전자 장치의 동적 톤 맵 기반의 동영상 녹화 중 생성된 동적 톤 맵 메타 데이터를 이용하여 프리뷰를 제공하는 방법을 설명하기 위한 흐름도이고, 도 7b는 본 발명의 한 실시 예에 따른 메모리의 구성을 도시한 도면이고, 도 7c는 본 발명의 한 실시 예에 따른 전자 장치의 동적 톤 맵 기반의 동영상 녹화 중 생성된 동적 톤 맵 메타 데이터를 이용하여 프리뷰를 제공하는 방법을 설명하기 위한 예시도이고, 도 7d는 본 발명의 한 실시 예에 따른 이미지 프레임들의 파이프 라인을 도시한 도면이다.
도 7a 내지 도 7d를 참조하면, 본 발명의 한 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201))의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(220))는, 701 동작에서, 제1 프리뷰 이미지 프레임들을 표시하도록 디스플레이(예: 도 1의 표시 장치(160), 도 2의 디스플레이(260))를 제어할 수 있다. 도 7b를 참조하면, 프로세서는 카메라 앱(721)이 실행되면, 이미지 시그널 처리 모듈(724)이 카메라 인터페이스(722)를 통해 카메라 모듈(예: 도 1의 카메라 모듈(180), 도 2의 카메라 모듈(280))로부터 원본 이미지 프레임들을 수신하여 프리뷰 처리 모듈(725)로 전달하고, 프리뷰 처리 모듈(725)이 원본 이미지 프레임들을 디스플레이의 규격에 적합하도록 변환하여 제1 프리뷰 이미지 프레임들을 생성하고, 생성된 제1 프리뷰 이미지 프레임들을 프리뷰 이미지 프레임(728)으로 저장하도록 제어할 수 있다. 디스플레이는 디스플레이 인터페이스(723)를 통해 프리뷰 이미지 프레임(728)을 리드하여 제1 프리뷰 이미지 프레임들을 표시할 수 있다. 예를 들어, 프로세서는, 도 7c의 식별 부호 750의 도면에 도시된 바와 같이, 제1 프리뷰 이미지 프레임을 디스플레이 상에 표시할 수 있다. 어떤 실시 예에 따르면, 이미지 시그널 처리 모듈(724) 및/또는 프리뷰 처리 모듈(725)은, 도 5b의 이미지 시그널 처리 모듈(524) 및/또는 프리뷰 처리 모듈(525)와 유사하게, 하드웨어로 구현될 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 703 동작에서, 동적 톤 맵(DTM) 기반 레코딩을 시작할 수 있다. 상기 701 동작 및 703 동작은 상술한 501 동작 및 503 동작과 유사할 수 있다. 예를 들어, 프로세서는 동적 톤 맵 기반 레코딩이 시작되면, 레코딩 처리 모듈(726)이 레코딩 이미지 프레임(729) 및 동적 톤 맵 메타 데이터(730)를 생성하여 저장하도록 제어할 수 있다. 다만, 본 발명의 한 실시 예는, 도 7c의 식별 부호 760의 도면에 도시된 바와 같이, 동적 톤 맵 메타 데이터의 생성에 소요되는 시간으로 인하여, 동적 톤 맵 기반의 녹화 시작 후 일정 시간(예: 1 ~ 2 프레임) 동안 제2 프리뷰 이미지 프레임이 아닌, 제1 프리뷰 이미지 프레임이 표시될 수 있다. 어떤 실시 예에 따르면, 동적 톤 맵 기반의 녹화 시작 후 일정 시간 동안 상기 도 5a 내지 5d 또는 도 6a 내지 도 6f의 실시 예들 중 하나를 이용하여 제2 프리뷰 이미지를 표시할 수도 있다. 어떤 실시 예에 따르면, 레코딩 처리 모듈(726)은, 도 5b의 레코딩 처리 모듈(526)과 유사하게, 이미지 시그널 처리 모듈(724)에 포함되거나, 하드웨어로 구현될 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 705 동작에서, 제1 프리뷰 이미지 프레임을 로드할 수 있다. 예를 들어, 프로세서는 톤 맵 처리 모듈(727)이 메모리(230)로부터 제1 프리뷰 이미지 프레임을 로드하도록 제어할 수 있다. 상기 705 동작은 상술한 507 동작과 유사할 수 있다. 어떤 실시 예에 따르면, 톤 맵 처리 모듈(727)은, 도 5b의 도 5b의 톤 맵 처리 모듈(527)과 유사하게, 이미지 시그널 처리 모듈(724)에 포함되거나, 하드웨어로 구현될 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 707 동작에서, 가장 최근에 저장된 동적 톤 맵 메타 데이터를 결정할 수 있다. 예를 들어, 상기 프로세서는, 도 7b에 도시된 바와 같이, 톤 맵 처리 모듈(727)이 레코딩 처리 모듈(525)의해 생성되어 저장된 동적 톤 맵 메타 데이터들(530) 중 가장 최근에 저장된 동적 톤 맵 메타 데이터를 제1 프리뷰 이미지 프레임에 적용할 동적 톤 맵 메타 데이터로 결정하도록 제어할 수 있다. 일 실시 예에 따르면, 상기 결정된 동적 톤 맵 메타 데이터는, 예를 들어, 도 7d에 도시된 바와 같이, 동적 톤 맵 메타 데이터의 생성이 원본 이미지 프레임 보다 약 1프레임 정도 지연되는 경우, N번째 원본 이미지 프레임(또는 레코딩 이미지 프레임)을 분석하여 생성된 N번째 동적 톤 맵 메타 데이터는 N+1번째 제1 프리뷰 이미지 프레임이 표시될 때, 또는 표시되는 중에 생성이 완료될 수 있다. 다양한 실시 예에 따르면, N번째 동적 톤 맵 메타 데이터는 N+2번째 제1 프리뷰 이미지 프레임에 적용할 동적 톤 맵 메타 데이터로 결정될수 있다. 어떤 실시 예에 따르면, N+1번째 제1 프리뷰 프레임이 표시되기 전에 N번째 동적 메타 데이터의 생성이 끝나면, N번째 동적 메타 데이터는 N+1번째 제1 프리뷰 프레임에 적용할 동적 톤 맵 메타 데이터로 결정될 수도 있다. 상기 결정된 동적 톤 맵 메타 데이터는 톤 맵 처리 모듈(727)로 전달(또는 톤 맵 처리 모듈(727)에 의해 로드)될 수 있다. 상기 결정된 동적 톤 맵 메타 데이터는 프리뷰 처리 데이터로 사용될 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 709 동작에서, 상기 결정된 동적 톤 맵 메타 데이터에 기반하여 상기 로드된 제1 프리뷰 이미지 프레임을 이미지 처리(예: 동적 톤 매핑 처리)하여 제2 프리뷰 이미지 프레임을 생성할 수 있다. 예를 들어, 프로세서는 톤 맵 처리 모듈(727)이 상기 로드된 제1 프리뷰 이미지 프레임에 상기 결정된 동적 톤 맵 데이터(예: 톤 맵 커브)를 적용하여 제2 프리뷰 이미지 프레임을 생성하도록 제어할 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 711 동작에서, 상기 생성된 제2 프리뷰 이미지 프레임을 표시하도록 제어할 수 있다. 예를 들어, 상기 프로세서는, 도 7c의 식별 부호 770의 도면에 도시된 바와 같이, 제2 프리뷰 이미지 프레임을 표시하도록 디스플레이를 제어할 수 있다. 상기 제2 프리뷰 이미지 프레임의 적어도 일부 영역(예: 식별 부호 771의 영역)은 상기 결정된 동적 톤 맵 메타 데이터가 적용되어 화질이 변경(예: 밝기 증가 또는 감소, 또는 선명도 증가)될 수 있다. 예를 들어, 제2 프리뷰 이미지 프레임은 제1 프리뷰 이미지 프레임에서 보이지 않던 적어도 하나의 객체를 포함할 수 있다. 본 발명의 한 실시 예에 따른 프로세서는, 713 동작에서, 동적 톤 맵 기반 레코딩이 종료되는지 확인할 수 있다. 상기 713 동작의 확인 결과, 동적 톤 맵 기반의 레코딩이 종료되지 않은 경우 상기 프로세서는 상기 705 동작으로 복귀하여 705 내지 713 동작들을 반복할 수 있다. 예를 들어, 상기 식별 부호 780의 도면을 참조하면, 상기 제1 프리뷰 이미지 프레임에 다른 동적 톤 맵 메타 데이터가 적용되어, 상기 식별 부호 771 영역의 화질이 변경(예: 선명도 증가, 색상 변경(예: 밝기 변화에 따라 색상이 어두워지거나 밝아짐))될 수 있다. 어떤 실시 예에 따르면, 동적 톤 맵 레코딩과 관련된 UI 객체들 중 적어도 일부는 프리뷰 레이어와 구별되는 UI 레이어 또는 상태 바를 이용하여 표시될 수 있다. 상기 UI 레이어 또는 상태 바는 사용자의 입력(예: 프리뷰 화면을 터치) 시 화면에 표시(예: UI 레이어가 프리뷰 레이어에 중첩되어 표시, 또는 상태바가 화면의 상단에서 하단으로 슬라이딩되어 표시)되고, 일정 시간 경과 후 사라질 수 있다.
본 발명의 한 실시 예에 따른 전자 장치는, 상기 도 7d에 도시된 바와 같이, 상기 제1 프리뷰 이미지 프레임에 상기 원본 이미지 프레임을 분석하여 생성된 동적 톤 맵 메타 데이터들 중 현재 표시 중인(또는 다음 프레임에 표시될) 제1 프리뷰 이미지 프레임을 기준으로 가장 최근에 생성된 동적 톤 맵 메타 데이터를 적용할 수 있다.
어떤 실시 예에 따르면, 프로세서는 장면 변경이 감지되면, 장면 변경 이후의 제1 프리뷰 이미지 프레임들에 적용할 동적 톤 맵 메타 데이터는 장면 변경 이후에 생성된 동적 톤 맵 메타 데이터들 중에서 선택할 수 있다. 이때, 상기 장면 변경 이후 최초 동적 톤 맵 메타 데이터가 생성되기 전까지 도 5a 내지 도 5d에서 설명한 바와 같이 기본 프리뷰 처리 데이터를 제1 프리뷰 이미지 프레임에 적용하거나, 도 6a 내지 도 6f에서 설명한 바와 같이 제1 프리뷰 이미지 프레임을 분석 후 선택되는 프리뷰 처리 데이터를 제1 프리뷰 이미지 프레임에 적용할 수 있다.
한편, 상기 도 7d는 제2 프리뷰 이미지 프레임들이 제1 프리뷰 이미지 프레임들과 동일한 시간 축에 위치되는 것으로 도시하였지만, 제2 프리뷰 이미지 프레임들은 동적 톤 맵 메타 데이터의 적용에 따른 시간만큼 지연되어 위치될 수 있다.
도 8a는 본 발명의 한 실시 예에 따른 전자 장치의 프리뷰 영상의 밝기 조절 방법을 설명하는 흐름도이고, 도 8b는 본 발명의 한 실시 예에 따른 전자 장치의 프리뷰 영상의 밝기 조절 방법을 설명하는 도면이다.
도 8a 및 도 8b를 참조하면, 본 발명의 한 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201))의 프로세서(예: 도 1의 프로세서(120), 도 2의 프로세서(220))는, 801 동작에서, 프리뷰 이미지 프레임들을 표시하도록 디스플레이(예: 도 1의 표시 장치(160), 도 2의 디스플레이(260))를 제어할 수 있다. 예를 들어, 상기 프로세서는 카메라 기능의 활성화(예: 카메라 어플리케이션의 실행) 시 디스플레이를 이용하여 카메라 모듈(예: 도 1의 카메라 모듈(180), 도 2의 카메로 모듈(280))을 통해 획득되는 원본 이미지 프레임에 대응하는 프리뷰 이미지 프레임들을 표시할 수 있다. 상기 프리뷰 이미지 프레임은 디스플레이의 규격에 적합하도록 카메라 모듈을 통해 획득되는 원본 이미지 프레임을 프로세서가 변환(예: 노이즈 제거 필터링, 해상도 및/또는 사이즈의 조정)하여 생성될 수 있다. 어떤 실시 예에 따르면, 상기 변환은 이미지 시그널 프로세서(예: 이미지 시그널 프로세서(221))에 의해 수행될 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 803 동작에서, 동적 톤 맵(DTM) 기반의 레코딩을 시작할 수 있다. 예를 들어, 상기 프로세서는 동적 톤 맵(DTM) 기반 레코딩의 시작 요청의 수신에 대응하여 동적 톤 맵(DTM) 기반 레코딩을 시작할 수 있다. 상기 요청은 디스플레이의 일측에 표시된 소프트 메뉴(예: 도 6e의 녹화 버튼(651))의 터치 입력 또는 지정된 물리 키 입력을 통해 수신될 수 있다.
상기 동적 톤 맵 기반의 레코딩이 시작되면, 상기 프로세서는, 805 동작에서, 동적 톤 맵 레코딩(녹화)을 수행할 수 있다. 예를 들어, 상기 프로세서는 원본 이미지 프레임을(또는 원본 이미지 프레임을 변환하여) 레코딩 이미지 프레임으로 저장할 수 있다. 또한, 상기 프로세서는 원본 이미지 프레임 또는 레코딩 이미지 프레임을 분석하고, 상기 분석 결과를 기초로 동적 톤 맵 메타 데이터를 생성할 수 있다. 어떤 실시 예에 따르면, 프로세서는 이미지 시그널 프로세서로부터 원본 이미지 프레임 또는 레코딩 이미지 프레임의 분석 결과를 수신하고, 수신된 분석 결과를 기초로 동적 톤 맵 메타 데이터를 생성할 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 807 동작에서, 디스플레이의 밝기를 조절할 수 있다. 예를 들어, 프로세서는 디스플레이의 밝기를 지정된 밝기로 조절할 수 있다. 상기 지정된 밝기는 제조사에 의해 설정된 값 또는 사용자에 의해 설정된 값일 수 있다. 상기 지정된 밝기는 제조사 또는 사용자에 의해 업데이트될 수 있다.
어떤 실시 예에 따르면, 상기 프로세서는 원본 이미지 프레임, 레코딩 이미지 프레임 또는 프리뷰 이미지 프레임을 분석하고, 분석 결과에 따라 디스플레이의 밝기를 조절할 수 있다. 예를 들어, 프로세서는 이미지 프레임의 특징점 분석, DPCM 영상 분석, 엣지(edge) 분석, 또는 주파수 영역 분석 중 적어도 하나를 이용하여 프리뷰 이미지 프레임을 분석하고, 분석 결과에 기초하여 디스플레이의 밝기를 조절할 수 있다. 본 발명의 다양한 실시 예에서 이미지 프레임을 분석하는 방법에는 제한이 없다.
다른 실시 예에 따르면, 상기 프로세서는 정적 톤 맵 정보를 기초로 디스플레이의 밝기를 조절할 수 있다.
또 다른 실시 예에 따르면, 상기 프로세서는 현재(또는 다음 프레임에 표시될) 프리뷰 이미지 프레임을 기준으로 가장 최근에 생성된 동적 톤 맵 메타 데이터를 기초로 디스플레이의 밝기를 조절할 수 있다. 예를 들어, 상기 프로세서는, 도 8b에 도시된 바와 같이, N-1번째 동적 톤 맵 메타 데이터 또는 N번째 동적 톤 맵 메타 데이터를 기초로 N+1번째 프리뷰 이미지 프레임 또는 N+2번째 프리뷰 이미지 프레임의 밝기를 조절할 수 있다. 예를 들어, 프로세서는 N-1번째 동적 톤 맵 메타 데이터 또는 N번째 동적 톤 맵 메타 데이터를 해석하여 얻어지는 정보(예: 백분위수(percentile) 정보, 백분율(percentage) 정보 또는 톤 맵 커브 정보) 중 적어도 하나를 기초로 N+1번째 프리뷰 이미지 프레임 또는 N+2번째 프리뷰 이미지 프레임의 밝기를 조절할 수 있다. 상기 정보는 지정된 값 또는 지정된 범위의 밝기 값을 가지는 픽셀이 현재 프레임에서 차지하는 비율을 의미할 수 있다.
또 다른 실시 예에 따르면, 상기 프로세서는 지정된 밝기, 정적 톤 맵 정보, 프리뷰 이미지 프레임의 분석 결과, 또는 가장 최근에 생성된 동적 톤 맵 메타 데이터 중 적어도 하나에 기초하여 디스플레이의 밝기를 조절할 수 있다.
어떤 실시 예에 따르면, 프로세서는 상술한 다양한 방법에 의해 결정된 밝기로 디스플레이의 전체 영역의 밝기를 조절할 수 있다. 다른 실시 예에 따르면, 프로세서는 상술한 다양한 방법에 의해 결정된 밝기로 디스플레이의 일부 영역의 밝기를 조절할 수 있다. 디스플레이의 일부 영역은 지정된 값 이하를 가지는 픽셀들의 그룹, 지정된 범위의 값을 가지는 픽셀들의 그룹, 및/또는 영상 분석을 통해 검출된 객체의 내부 영역을 포함할 수 있다. 또 다른 실시 예에 따르면, 상기 프로세서는 디스플레이를 다수의 영역으로 분할하고, 각 영역별로 밝기를 조절할 수 있다. 예를 들어, 하나의 이미지 프레임에 서로 다른 다수의 동적 톤 맵 메타 데이터를 적용할 수 있다. 각 동적 톤 맵 메타 데이터는 서로 다른 윈도우 범위를 가져 프리뷰 이미지 프레임의 해당 영역의 밝기를 조절하도록 설정될 수 있다.
본 발명의 한 실시 예에 따른 프로세서는, 809 동작에서, 동적 톤 맵 기반의 레코딩이 종료되는지 확인할 수 있다. 상기 809 동작의 확인 결과, 동적 톤 맵 기반의 레코딩이 종료되지 않는 경우 상기 프로세서는 805 동작으로 복귀하여 상술한 동작들을 반복할 수 있다. 상기 809 동작의 확인 결과, 동적 톤 맵 기반의 레코딩이 종료되는 경우 상기 프로세서는 프리뷰 영상의 밝기 조절 절차를 종료할 수 있다.
상술한 도 8a 및 도 8b의 밝기 조절 방법은 상술한 도 5a 내지 도 7d에 설명한 제2 프리뷰 이미지의 생성 시 함께 적용되거나, 제2 프리뷰 이미지의 생성 후 적용될 수 있다.
이상에서는 동적 톤 맵 기반의 녹화를 수행하는 동안 디스플레이의 밝기를 조절하는 경우를 예로 하여 설명하였지만, 상기 디스플레이의 밝기를 조절하는 방법은 동적 톤 맵 기반의 녹화를 위한 메뉴 선택 시 수행될 수도 있다. 예를 들어, 상기 메뉴를 선택하는 제1 사용자 입력을 통해 동적 톤 맵 기반의 녹화 기능(또는 동적 톤 맵 기반의 녹화 모드)이 인에이블(enable)(또는 활성화)되면, 프로세서는 지정된 밝기, 정적 톤 맵 정보, 또는 상기 제1 사용자 입력이 수신된 시점 이후(또는 직전)의 프리뷰 이미지 프레임의 분석 결과 중 적어도 하나에 기초하여 디스플레이의 밝기를 조절할 수 있다. 여기서, 상기 동적 톤 맵 기반의 녹화 기능이 인에이블된 상태는 동적 톤 맵 기반의 녹화 대기 중인 상태(녹화는 녹화 버튼의 입력 시 수행됨)로, 디스플레이의 밝기 조절을 통해 동적 톤 맵 처리가 적용된 것과 유사한 프리뷰 이미지를 제공할 수 있다.
상기 프로세서는 상기 동적 톤 맵 기반의 녹화를 요청하는 제2 사용자 입력을 수신하고, 상기 제2 사용자 입력의 수신에 대응하여 상기 동적 톤 맵 기반의 녹화를 수행하고, 상기 녹화를 수행하는 동안 상기 조절된 밝기를 유지하거나, 현재 프리뷰 이미지 프레임을 기준으로 가장 최근에 생성된 동적 톤 맵 메타 데이터에 기초하여 상기 디스플레이의 밝기를 재조절할 수 있다.
상술한 본 발명의 한 실시 예는 상기 디스플레이의 밝기 조절을 통해 상기 프리뷰 이미지 프레임의 화질을 조정하여, 프리뷰 이미지 프레임의 화질이 동적 톤 맵 기반의 녹화를 통해 생성되는 동영상의 화질과 유사하도록 조절할 수 있다. 이를 통해, 본 발명의 한 실시 예에 따른 전자 장치는 프리뷰 영상과 녹화 영상 사이의 화질의 이질감을 감소시킬 수 있다.
본 발명의 다양한 실시 예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 2의 전자 장치(201))의 프리뷰를 제공하는 방법은, 카메라 모듈(예: 도1의 카메라 모듈(180), 도2의 카메라 모듈(280))을 통해 원본 이미지 프레임들을 획득하는 동작; 상기 획득되는 원본 이미지 프레임들에 대응하는 제1 프리뷰 이미지 프레임들을 디스플레이(예: 도1의 표시 장치(160), 도 2의 디스플레이(260)) 상에 표시하는 동작; 동적 톤 맵(dynamic tone mapping) 기반의 녹화를 요청하는 입력을 수신하는 동작; 상기 입력의 수신에 대응하여, 상기 동적 톤 맵 기반의 녹화를 수행하는 동작; 및 상기 동적 톤 맵 기반의 녹화를 수행하는 동안 상기 입력이 수신된 시점 이후에 획득되는 제1 프리뷰 이미지 프레임들을 동적 톤 매핑 처리하여 제2 프리뷰 이미지 프레임들을 생성하고, 및 상기 생성된 제2 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 동적 톤 맵 기반의 녹화를 수행하는 동작은 상기 획득된 원본 이미지 프레임을 변환하여 레코딩 이미지 프레임을 생성하는 동작; 상기 획득된 원본 이미지 프레임 또는 상기 레코딩 이미지 프레임을 분석하는 동작; 상기 분석 결과에 기초하여, 동적 톤 맵 메타 데이터를 생성하는 동작; 및 상기 생성된 레코딩 이미지 프레임 및 상기 생성된 동적 톤 맵 메타 데이터를 메모리에 함께 저장하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 동적 톤 매핑 처리하는 동작은 비선형적이 커브 형태를 가지며, 메모리에 저장된 적어도 하나의 프리뷰 처리 데이터 중 하나, 또는 가장 최근에 생성된 동적 톤 맵 메타 데이터를 상기 입력이 수신된 시점 이후에 획득된 제1 프리뷰 이미지 프레임들에 적용하는 동작을 포함할 수 있다.
다양한 실시 예에 따르면, 상기 프리뷰 처리 데이터가 다수인 경우 사용자의 선택 또는 상기 전자 장치의 촬영 환경 정보에 기초하여 상기 입력이 수신된 시점 이후의 제1 프리뷰 이미지 프레임들에 적용될 프리뷰 처리 데이터를 선택하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 프리뷰 처리 데이터가 다수인 경우 상기 입력이 수신된 시점 이후의 제1 프리뷰 이미지 프레임을 분석하는 동작; 상기 분석 결과에 기초하여 상기 다수의 프리뷰 처리 데이터들 중 하나를 선택하는 동작; 및 상기 선택된 프리뷰 처리 데이터를 상기 입력이 수신된 시점 이후의 제1 프리뷰 이미지 프레임에 적용하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 적어도 하나의 프리뷰 처리 데이터는 학습을 통해 추가 또는 업데이트될 수 있다.
다양한 실시 예에 따르면, 상기 제1 프리뷰 이미지 프레임 또는 상기 생성된 제2 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시할 때 상기 디스플레이의 밝기를 제어하는 동작을 더 포함할 수 있다.
다양한 실시 예에 따르면, 상기 디스플레이의 밝기를 제어하는 동작은 지정된 밝기로 상기 디스플레이의 밝기를 고정하는 동작; 상기 제1 프리뷰 이미지 프레임을 분석하고, 상기 분석 결과에 기초하여 상기 디스플레이의 밝기를 결정하고, 상기 결정된 밝기로 상기 디스플레이의 밝기를 조정하는 동작; 또는 가장 최근에 생성된 제1 동적 톤 맵 메타 데이터를 기초로 상기 디스플레이의 밝기를 결정하고, 상기 결정된 밝기로 상기 디스플레이의 밝기를 조정하는 동작 중 하나를 포함할 수 있다.
다양한 실시 예에 따르면, 상기 디스플레이의 밝기를 제어하는 동작은 상기 디스플레이의 전체 영역의 밝기를 상기 지정된 밝기 또는 상기 결정된 밝기로 조정하는 동작; 또는 상기 디스플레이를 다수의 영역으로 구분하고, 각 영역별로 상기 디스플레이의 밝기를 조정하는 동작을 포함할 수 있다.
본 문서에 개시된 다양한 실시 예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시 예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시 예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시 예들로 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시 예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시 예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시 예에 따르면, 본 문서에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시 예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
Claims (21)
- 전자 장치에 있어서,
카메라 모듈;
디스플레이;
상기 카메라 모듈 및 상기 디스플레이와 작동적으로(operatively) 연결되는 프로세서; 및
상기 프로세서와 작동적으로 연결되는 메모리를 포함하고,
상기 메모리는 실행 시에, 상기 프로세서가,
상기 카메라 모듈을 통해 원본 이미지 프레임들을 획득하고,
상기 획득되는 원본 이미지 프레임들에 대응하는 제1 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시하고,
동적 톤 맵(dynamic tone mapping) 기반의 녹화를 요청하는 입력을 수신하고,
상기 입력의 수신에 대응하여, 상기 동적 톤 맵 기반의 녹화를 수행하고, 및
상기 동적 톤 맵 기반의 녹화를 수행하는 동안 상기 입력이 수신된 시점 이후에 획득되는 제1 프리뷰 이미지 프레임들을 동적 톤 매핑 처리하여 제2 프리뷰 이미지 프레임들을 생성하고, 및 상기 생성된 제2 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시하도록 하는 인스트럭션들을 저장하는 전자 장치.
- 제 1 항에 있어서,
상기 메모리는 실행 시에 상기 프로세서가,
상기 획득된 원본 이미지 프레임을 변환하여 레코딩 이미지 프레임을 생성하고,
상기 획득된 원본 이미지 프레임 또는 상기 레코딩 이미지 프레임을 분석하고,
상기 분석 결과에 기초하여, 동적 톤 맵 메타 데이터를 생성하고, 및
상기 레코딩 이미지 프레임 및 상기 생성된 동적 톤 맵 메타 데이터를 상기 메모리에 함께 저장하는 상기 동적 톤 맵 기반의 녹화를 수행하도록 하는 인스트럭션들을 저장하는 전자 장치.
- 제 1 항에 있어서,
상기 메모리는 실행 시에 상기 프로세서가
상기 메모리에 저장되며, 비선형적인 커브 형태를 가지는 적어도 하나의 프리뷰 처리 데이터 중 하나, 또는 가장 최근에 생성된 동적 톤 맵 메타 데이터를 상기 입력이 수신된 시점 이후에 획득된 제1 프리뷰 이미지 프레임들에 적용하여 상기 동적 톤 매핑 처리를 수행하도록 하는 인스트럭션들을 포함하는 전자 장치.
- 제 3 항에 있어서,
상기 메모리는 실행 시에 상기 프로세서가,
상기 프리뷰 처리 데이터가 다수인 경우 사용자의 선택 또는 상기 전자 장치의 촬영 환경 정보에 기초하여 상기 입력이 수신된 시점 이후의 제1 프리뷰 이미지 프레임에 적용될 프리뷰 처리 데이터를 선택하도록 하는 인스트럭션들을 더 저장하는 전자 장치.
- 제 3 항에 있어서,
상기 메모리는 실행 시에 상기 프로세서가,
상기 프리뷰 처리 데이터가 다수인 경우 상기 입력이 수신된 시점 이후의 제1 프리뷰 이미지 프레임을 분석하고,
상기 분석 결과에 기초하여 상기 다수의 프리뷰 처리 데이터들 중 하나를 선택하고, 및
상기 선택된 프리뷰 처리 데이터를 상기 입력이 수신된 시점 이후의 제1 프리뷰 이미지 프레임에 적용하도록 하는 인스트럭션들을 더 저장하는 전자 장치.
- 제 3 항에 있어서,
상기 적어도 하나의 프리뷰 처리 데이터는
학습을 통해 추가 또는 업데이트되는 전자 장치.
- 제 1 항에 있어서,
상기 메모리는 실행 시에 상기 프로세서가,
상기 제1 프리뷰 이미지 프레임 또는 상기 생성된 제2 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시할 때 상기 디스플레이의 밝기를 제어하도록 하는 인스트럭션을 더 저장하는 전자 장치.
- 제 7 항에 있어서,
상기 디스플레이의 밝기를 제어하는 인스트럭션은 상기 프로세서가,
지정된 밝기로 상기 디스플레이의 밝기를 고정하거나,
상기 제1 프리뷰 이미지 프레임을 분석하고, 상기 분석 결과에 기초하여 결정된 밝기로 상기 디스플레이의 밝기를 조정하거나,
가장 최근에 생성된 제1 동적 톤 맵 메타 데이터를 기초로 결정된 밝기로 상기 디스플레이의 밝기를 조정하도록 하는 전자 장치.
- 제 8 항에 있어서,
상기 디스플레이의 밝기를 제어하는 인스트럭션은 상기 프로세서가,
상기 디스플레이의 전체 영역의 밝기를 상기 지정된 밝기 또는 상기 결정된 밝기로 조정하도록 하는 전자 장치.
- 제 7 항에 있어서,
상기 디스플레이의 밝기를 제어하는 인스트럭션은 상기 프로세서가,
상기 디스플레이를 다수의 영역으로 구분하고, 각 영역별로 상기 디스플레이의 밝기를 조정하도록 하는 전자 장치.
- 전자 장치의 프리뷰를 제공하는 방법에 있어서,
카메라 모듈을 통해 원본 이미지 프레임들을 획득하는 동작;
상기 획득되는 원본 이미지 프레임들에 대응하는 제1 프리뷰 이미지 프레임들을 디스플레이 상에 표시하는 동작;
동적 톤 맵(dynamic tone mapping) 기반의 녹화를 요청하는 입력을 수신하는 동작;
상기 입력의 수신에 대응하여, 상기 동적 톤 맵 기반의 녹화를 수행하는 동작; 및
상기 동적 톤 맵 기반의 녹화를 수행하는 동안 상기 입력이 수신된 시점 이후에 획득되는 제1 프리뷰 이미지 프레임들을 동적 톤 매핑 처리하여 제2 프리뷰 이미지 프레임들을 생성하고, 및 상기 생성된 제2 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시하는 동작을 포함하는 방법.
- 제 11 항에 있어서,
상기 동적 톤 맵 기반의 녹화를 수행하는 동작은
상기 획득된 원본 이미지 프레임을 변환하여 레코딩 이미지 프레임을 생성하는 동작;
상기 획득된 원본 이미지 프레임 또는 상기 레코딩 이미지 프레임을 분석하는 동작;
상기 분석 결과에 기초하여, 동적 톤 맵 메타 데이터를 생성하는 동작; 및
상기 생성된 레코딩 이미지 프레임 및 상기 생성된 동적 톤 맵 메타 데이터를 메모리에 함께 저장하는 동작을 포함하는 방법.
- 제 11 항에 있어서,
상기 동적 톤 매핑 처리하는 동작은
비선형적이 커브 형태를 가지며, 메모리에 저장된 적어도 하나의 프리뷰 처리 데이터 중 하나, 또는 가장 최근에 생성된 동적 톤 맵 메타 데이터를 상기 입력이 수신된 시점 이후에 획득된 제1 프리뷰 이미지 프레임들에 적용하는 동작을 포함하는 방법.
- 제 13 항에 있어서,
상기 프리뷰 처리 데이터가 다수인 경우 사용자의 선택 또는 상기 전자 장치의 촬영 환경 정보에 기초하여 상기 입력이 수신된 시점 이후의 제1 프리뷰 이미지 프레임들에 적용될 프리뷰 처리 데이터를 선택하는 동작을 더 포함하는 방법.
- 제 13 항에 있어서,
상기 프리뷰 처리 데이터가 다수인 경우 상기 입력이 수신된 시점 이후의 제1 프리뷰 이미지 프레임을 분석하는 동작;
상기 분석 결과에 기초하여 상기 다수의 프리뷰 처리 데이터들 중 하나를 선택하는 동작; 및
상기 선택된 프리뷰 처리 데이터를 상기 입력이 수신된 시점 이후의 제1 프리뷰 이미지 프레임에 적용하는 동작을 더 포함하는 방법.
- 제 13 항에 있어서,
상기 적어도 하나의 프리뷰 처리 데이터는
학습을 통해 추가 또는 업데이트되는 방법.
- 제 11 항에 있어서,
상기 제1 프리뷰 이미지 프레임 또는 상기 생성된 제2 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시할 때 상기 디스플레이의 밝기를 제어하는 동작을 더 포함하는 방법.
- 제 17 항에 있어서,
상기 디스플레이의 밝기를 제어하는 동작은
지정된 밝기로 상기 디스플레이의 밝기를 고정하는 동작;
상기 제1 프리뷰 이미지 프레임을 분석하고, 상기 분석 결과에 기초하여 상기 디스플레이의 밝기를 결정하고, 상기 결정된 밝기로 상기 디스플레이의 밝기를 조정하는 동작; 또는
가장 최근에 생성된 제1 동적 톤 맵 메타 데이터를 기초로 상기 디스플레이의 밝기를 결정하고, 상기 결정된 밝기로 상기 디스플레이의 밝기를 조정하는 동작 중 하나를 포함하는 방법.
- 제 18 항에 있어서,
상기 디스플레이의 밝기를 제어하는 동작은
상기 디스플레이의 전체 영역의 밝기를 상기 지정된 밝기 또는 상기 결정된 밝기로 조정하는 동작; 또는
상기 디스플레이를 다수의 영역으로 구분하고, 각 영역별로 상기 디스플레이의 밝기를 조정하는 동작을 포함하는 방법.
- 전자 장치에 있어서,
카메라 모듈;
디스플레이;
상기 카메라 모듈 및 상기 디스플레이와 작동적으로(operatively) 연결되는 프로세서; 및
상기 프로세서와 작동적으로 연결되는 메모리를 포함하고,
상기 메모리는 실행 시에, 상기 프로세서가,
상기 카메라 모듈을 통해 획득되는 원본 이미지 프레임들에 대응하는 프리뷰 이미지 프레임들을 상기 디스플레이 상에 표시하고, 및
동적 톤 맵(dynamic tone mapping) 기반의 녹화 기능을 인에이블하는 제1 사용자 입력 또는 상기 동적 톤 맵 기반의 녹화를 요청하는 제2 사용자 입력의 수신에 대응하여, 지정된 밝기, 정적 톤 맵 정보, 또는 상기 제1 사용자 입력이 수신된 시점 이후의 프리뷰 이미지 프레임의 분석 결과 중 적어도 하나에 기초하여 상기 디스플레이의 밝기를 조절하도록 하는 인스트럭션들을 저장하는 전자 장치.
- 제 20 항에 있어서,
상기 메모리는 실행 시에 상기 프로세서가,
상기 제2 사용자 입력의 수신에 대응하여 상기 동적 톤 맵 기반의 녹화를 수행하도록 하는 인스트럭션을 더 저장하고,
상기 디스플레이의 밝기를 제어하는 인스트럭션은 상기 프로세서가,
상기 녹화를 수행하는 동안 상기 조절된 밝기를 유지하거나, 현재 프리뷰 이미지 프레임을 기준으로 가장 최근에 생성된 동적 톤 맵 메타 데이터에 기초하여 상기 디스플레이의 밝기를 재조절하도록 하는 전자 장치.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190138961A KR102664723B1 (ko) | 2019-11-01 | 2019-11-01 | 프리뷰를 제공하는 방법 및 프리뷰를 표시하는 전자 장치 |
| CN202080076304.XA CN114631306B (zh) | 2019-11-01 | 2020-10-29 | 用于提供预览的方法和用于显示预览的电子装置 |
| EP20880689.3A EP4011058A4 (en) | 2019-11-01 | 2020-10-29 | METHOD FOR PROVIDING A PREVIEW AND ELECTRONIC DEVICE FOR DISPLAYING A PREVIEW |
| PCT/KR2020/014889 WO2021086040A1 (en) | 2019-11-01 | 2020-10-29 | Method for providing preview and electronic device for displaying preview |
| US17/083,907 US11477383B2 (en) | 2019-11-01 | 2020-10-29 | Method for providing preview and electronic device for displaying preview |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190138961A KR102664723B1 (ko) | 2019-11-01 | 2019-11-01 | 프리뷰를 제공하는 방법 및 프리뷰를 표시하는 전자 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210053096A true KR20210053096A (ko) | 2021-05-11 |
| KR102664723B1 KR102664723B1 (ko) | 2024-05-09 |
Family
ID=75689162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190138961A KR102664723B1 (ko) | 2019-11-01 | 2019-11-01 | 프리뷰를 제공하는 방법 및 프리뷰를 표시하는 전자 장치 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11477383B2 (ko) |
| EP (1) | EP4011058A4 (ko) |
| KR (1) | KR102664723B1 (ko) |
| CN (1) | CN114631306B (ko) |
| WO (1) | WO2021086040A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102367853B1 (ko) * | 2021-09-15 | 2022-02-25 | 주식회사 이너스시스템 | 맞춤형 스튜디오 구축 방법 |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7073715B2 (ja) * | 2017-12-28 | 2022-05-24 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置及び画像処理プログラム |
| KR20210001762A (ko) * | 2019-06-28 | 2021-01-06 | 삼성전자주식회사 | 영상을 처리하는 전자 장치 및 그 영상 처리 방법 |
| US11908109B1 (en) * | 2019-11-04 | 2024-02-20 | madVR Holdings LLC | Enhanced video processor |
| DE102021117397A1 (de) * | 2020-07-16 | 2022-01-20 | Samsung Electronics Co., Ltd. | Bildsensormodul, bildverarbeitungssystem und bildkomprimierverfahren |
| CN112911387A (zh) * | 2021-01-29 | 2021-06-04 | 联想(北京)有限公司 | 处理方法及处理装置 |
| CN117378208A (zh) * | 2021-05-27 | 2024-01-09 | Oppo广东移动通信有限公司 | 用于生成图像的方法、电子设备、装置和计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110048811A (ko) * | 2009-11-03 | 2011-05-12 | 중앙대학교 산학협력단 | 입력 영상의 동적 범위를 변환하는 방법 및 장치 |
| KR20170098089A (ko) * | 2016-02-19 | 2017-08-29 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
| KR20170134749A (ko) * | 2015-05-11 | 2017-12-06 | 삼성전자주식회사 | 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법 |
| KR20180032750A (ko) * | 2016-09-22 | 2018-04-02 | 삼성디스플레이 주식회사 | 영상 처리 방법 및 이를 수행하는 표시 장치 |
| KR20190017303A (ko) * | 2017-08-10 | 2019-02-20 | 엘지전자 주식회사 | 이동 단말기 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8314847B2 (en) * | 2010-05-25 | 2012-11-20 | Apple Inc. | Automatic tone mapping curve generation based on dynamically stretched image histogram distribution |
| KR101917650B1 (ko) * | 2012-08-03 | 2019-01-29 | 삼성전자 주식회사 | 이미지 처리 방법 및 장치 |
| DE102013020611B4 (de) * | 2012-12-21 | 2019-05-29 | Nvidia Corporation | Ein Ansatz für eine Kamerasteuerung |
| US9449374B2 (en) * | 2014-03-17 | 2016-09-20 | Qualcomm Incoporated | System and method for multi-frame temporal de-noising using image alignment |
| WO2016104386A1 (ja) | 2014-12-26 | 2016-06-30 | オリンパス株式会社 | 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム |
| EP3295451B1 (en) | 2015-05-12 | 2020-07-01 | Dolby Laboratories Licensing Corporation | Metadata filtering for display mapping for high dynamic range images |
| KR102398027B1 (ko) * | 2015-07-03 | 2022-05-17 | 삼성전자주식회사 | 전자 장치의 동적 프리뷰 디스플레이 방법 및 그 전자 장치 |
| US9749543B2 (en) * | 2015-07-21 | 2017-08-29 | Lg Electronics Inc. | Mobile terminal having two cameras and method for storing images taken by two cameras |
| KR102445699B1 (ko) * | 2016-02-18 | 2022-09-21 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
| US9961236B2 (en) | 2016-06-13 | 2018-05-01 | Gopro, Inc. | 3D color mapping and tuning in an image processing pipeline |
| KR20180027047A (ko) * | 2016-09-05 | 2018-03-14 | 엘지전자 주식회사 | Hdr 영상 촬영 장치 및 그 제어 방법 |
| US10599912B2 (en) * | 2016-12-23 | 2020-03-24 | Aware, Inc. | Analysis of reflections of projected light in varying colors, brightness, patterns, and sequences for liveness detection in biometric systems |
| CN109691119B (zh) | 2017-06-21 | 2022-04-19 | 松下知识产权经营株式会社 | 影像显示系统及影像显示方法 |
| US11030728B2 (en) * | 2018-05-29 | 2021-06-08 | Apple Inc. | Tone mapping techniques for increased dynamic range |
-
2019
- 2019-11-01 KR KR1020190138961A patent/KR102664723B1/ko active IP Right Grant
-
2020
- 2020-10-29 CN CN202080076304.XA patent/CN114631306B/zh active Active
- 2020-10-29 WO PCT/KR2020/014889 patent/WO2021086040A1/en unknown
- 2020-10-29 EP EP20880689.3A patent/EP4011058A4/en active Pending
- 2020-10-29 US US17/083,907 patent/US11477383B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110048811A (ko) * | 2009-11-03 | 2011-05-12 | 중앙대학교 산학협력단 | 입력 영상의 동적 범위를 변환하는 방법 및 장치 |
| KR20170134749A (ko) * | 2015-05-11 | 2017-12-06 | 삼성전자주식회사 | 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법 |
| KR20170098089A (ko) * | 2016-02-19 | 2017-08-29 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
| KR20180032750A (ko) * | 2016-09-22 | 2018-04-02 | 삼성디스플레이 주식회사 | 영상 처리 방법 및 이를 수행하는 표시 장치 |
| KR20190017303A (ko) * | 2017-08-10 | 2019-02-20 | 엘지전자 주식회사 | 이동 단말기 |
Non-Patent Citations (1)
| Title |
|---|
| 2016년 대한전자공학회 추계학술대회 논문집, 박미선 외 8명, 양방향필터와 전역적 톤매핑기법을 이용한 광다이나믹레인지 이미지 표현방법, p. 1171-1174* * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102367853B1 (ko) * | 2021-09-15 | 2022-02-25 | 주식회사 이너스시스템 | 맞춤형 스튜디오 구축 방법 |
| KR102503581B1 (ko) | 2021-09-15 | 2023-02-24 | 주식회사 이너스시스템 | 맞춤형 스튜디오 공간 제공을 위한 디스플레이 표시 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP4011058A4 (en) | 2022-10-12 |
| WO2021086040A1 (en) | 2021-05-06 |
| KR102664723B1 (ko) | 2024-05-09 |
| US11477383B2 (en) | 2022-10-18 |
| EP4011058A1 (en) | 2022-06-15 |
| CN114631306A (zh) | 2022-06-14 |
| CN114631306B (zh) | 2024-05-28 |
| US20210136297A1 (en) | 2021-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102664723B1 (ko) | 프리뷰를 제공하는 방법 및 프리뷰를 표시하는 전자 장치 | |
| KR102338576B1 (ko) | 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법 | |
| US10924677B2 (en) | Electronic device and method for providing notification related to image displayed through display and image stored in memory based on image analysis | |
| KR102488410B1 (ko) | 복수의 카메라들을 이용하여 영상을 촬영하는 전자 장치와 이의 동작 방법 | |
| KR20190035116A (ko) | Ar 객체를 표시하기 위한 장치 및 방법 | |
| KR102423295B1 (ko) | 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법 | |
| KR20200101741A (ko) | 영상에 보케 효과를 적용하는 전자 장치 및 그 제어 방법 | |
| US11416974B2 (en) | Image processing method and electronic device supporting the same | |
| KR20210090476A (ko) | 단일 카메라로 줌 시나리오에서 화질 향상 방법과 이를 포함하는 전자장치 | |
| KR20190021108A (ko) | 이미지의 표시 효과를 제어할 수 있는 전자 장치 및 영상 표시 방법 | |
| KR20200067027A (ko) | 복수의 카메라들 또는 깊이 센서 중 적어도 하나를 이용하여 깊이 정보를 획득하는 전자 장치 | |
| EP4096218A1 (en) | Video recording method using plurality of cameras, and device therefor | |
| KR20200117695A (ko) | 외부 전자 장치를 이용하여 카메라를 제어하는 전자 장치 및 방법 | |
| US20160212318A1 (en) | Information processing device, information processing method, and program | |
| KR102412591B1 (ko) | 다른 노출값을 갖는 복수의 영상들을 이용하여 합성 영상을 생성하는 방법 및 이를 지원하는 전자 장치 | |
| KR20200113522A (ko) | 제스처 입력에 따라 기능을 실행하는 전자 장치 및 이의 동작 방법 | |
| KR102339223B1 (ko) | 전자 장치 및 전자 장치에서 카메라 기능과 연관된 콘텐트 제공 방법 | |
| KR20200009922A (ko) | 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법 | |
| KR20190123869A (ko) | 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법 | |
| KR20190057993A (ko) | 이미지와 관련된 링크 정보를 이용하여 외부 전자 장치와 이미지를 공유하는 방법 및 전자 장치 | |
| KR20210100444A (ko) | 필터를 제공하는 방법 및 이를 지원하는 전자 장치 | |
| KR20200101048A (ko) | 영상을 처리하는 전자 장치 및 그 영상 처리 방법 | |
| KR20200101226A (ko) | 촬영된 이미지를 처리하기 위한 방법 및 그 전자 장치 | |
| EP4102451A1 (en) | Method for generating image and electronic device therefor | |
| KR20210042683A (ko) | 사용자 인터페이스에 대한 시인성 개선을 지원하기 위한 전자 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right |