KR20210083840A - 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법 - Google Patents

다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR20210083840A
KR20210083840A KR1020190176520A KR20190176520A KR20210083840A KR 20210083840 A KR20210083840 A KR 20210083840A KR 1020190176520 A KR1020190176520 A KR 1020190176520A KR 20190176520 A KR20190176520 A KR 20190176520A KR 20210083840 A KR20210083840 A KR 20210083840A
Authority
KR
South Korea
Prior art keywords
image
dynamic tone
tone metadata
processor
electronic device
Prior art date
Application number
KR1020190176520A
Other languages
English (en)
Inventor
박찬식
김용철
서정익
조재헌
김현수
염동현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190176520A priority Critical patent/KR20210083840A/ko
Priority to US17/106,973 priority patent/US11669944B2/en
Priority to PCT/KR2020/017674 priority patent/WO2021132932A1/en
Priority to CN202080089865.3A priority patent/CN114846809A/zh
Priority to EP20904583.0A priority patent/EP4014505A4/en
Publication of KR20210083840A publication Critical patent/KR20210083840A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/007—Dynamic range modification
    • G06T5/009—Global, i.e. based on properties of the image as a whole
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/793—Processing of colour television signals in connection with recording for controlling the level of the chrominance signal, e.g. by means of automatic chroma control circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Abstract

본 발명의 다양한 실시예들은 전자 장치에서 다이나믹 톤 메타 데이터를 포함하는 영상의 편집을 위한 장치 및 방법에 관한 것이다. 전자 장치는, 표시 장치와 상기 표시 장치와 작동적으로 연결되는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 영상 콘텐트에 포함되는 다수 개의 영상 중 시간적으로 연결된 제 1 영상 및 제 2 영상 사이에 삽입하기 위한 제 3 영상을 생성하고, 상기 제 1 영상 및 상기 제 2 영상의 다이나믹 톤 메타데이터에 기반하여 상기 제 3 영상의 다이나믹 톤 메타데이터를 생성하고, 상기 제 3 영상 및 상기 제 3 영상의 다이나믹 톤 메타데이터가 추가된 상기 영상 콘텐트를 저장할 수 있다. 다른 실시예들도 가능할 수 있다.

Description

다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법{ELECTRONIC DEVICE FOR VIDEO EDITING WITH DYNAMIC TONE METADATA AND OPERATING METHOD THEREOF}
본 발명의 다양한 실시예들은 전자 장치에서 다이나믹 톤 메타 데이터를 포함하는 영상의 편집을 위한 장치 및 방법에 관한 것이다.
영상의 동적 영역(DR: dynamic range)은 해당 영상 내에서 가장 밝은 화소 값과 가장 어두운 화소 값의 비율로 정의될 수 있다. 인간의 눈은 일반적인 전자 장치의 카메라 센서나 디스플레이보다 상대적으로 높은 동적 영역을 인지할 수 있다. 이에 따라, 전자 장치는 인간이 인지하는 동적 영역의 영상을 그대로 획득 또는 표현할 수 없다. 예를 들어, 전자 장치는 역광 촬영과 같이 고조도 영역(아주 밝은 영역)과 저조도 영역(아주 어두운 영역)이 공존하는 영상을 촬영하는 경우, 고조도 영역이나 저조도 영역의 정보가 누락된 영상을 획득할 수 있다. 또한, 전자 장치를 통해 획득한 영상은 인간이 인지하는 색감 또는 톤(또는 밝기)을 표현할 수 없다.
전자 장치는 사용자가 필요로 하는 품질의 영상을 제공하기 위해 인간이 인지할 수 있는 영상과 유사한 느낌의 영상을 표현할 수 있는 다이나믹 톤 매핑(dynamic tone mapping) 기술을 제공할 수 있다. 예를 들어, 다이나믹 톤 매핑 기술은 HDR(high dynamic range) 10+ 또는 돌비 비전(dolby vision)에서 지원될 수 있다.
다이나믹 톤 매핑 기술은 영상 콘텐트를 구성하는 각 프레임(또는 영상) 별로 독립적인 톤 매핑 기술을 적용하여 사용자가 영상 콘텐트의 제작 의도를 상대적으로 정확히 인지할 수 있다. 다이나믹 톤 매핑 기술은 마스터링 디스플레이(또는 모니터)의 밝기(예: 약 1000 ~ 10000 nit)에서의 영상 콘텐트의 톤을 밝기가 다른 전자 장치의 디스플레이(예: 약 300 ~ 500 nit의 밝기)에서 영상 제작자의 의도대로 자연스럽게 표현하기 위한 톤 매핑 정보를 메타 데이터(다이나믹 톤 메타데이터)의 형태로 제공할 수 있다.
전자 장치는 FRC(frame rate conversion) 또는 영상 접합(video concatenation)과 같은 영상 편집 기술에 기반하여 영상 콘텐트를 편집할 수 있다. 예를 들어, 전자 장치는 FRC 편집 기술을 적용하는 경우, 타켓 프레임율(frame rate)에 대응하도록 영상 콘텐트의 n번째 프레임(또는 영상)과 n+1번째 프레임(또는 영상) 사이에 적어도 하나의 새로운 프레임(또는 영상)을 생성 및 삽입할 수 있다.
하지만, 전자 장치는 FRC 편집 기술에 기반하여 생성한 새로운 프레임(또는 영상)에 대응하는 다이나믹 톤 메타데이터의 생성 방식이 존재하지 않는다. 전자 장치는 재생하는 영상 콘텐트의 적어도 일부 프레임(또는 영상)에 대응하는 다이나믹 톤 메타데이터가 존재하지 않는 경우, 해당 전자 장치의 디스플레이 특성(예: 밝기)에 대응하는 HDR 처리가 제한될 수 있다. 이 경우, 전자 장치는 영상 콘텐트 재생 시, 화질이 저하되거나 이질감이 발생할 수 있다.
본 발명의 다양한 실시예들은 전자 장치에서 다이나믹 톤 메타 데이터를 포함하는 영상의 편집을 위한 장치 및 방법에 대해 개시한다.
다양한 실시예에 따르면, 전자 장치는, 표시 장치와 상기 표시 장치와 작동적으로 연결되는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 영상 콘텐트에 포함되는 다수 개의 영상 중 제 1 영상 및 제 2 영상 사이에 삽입하기 위한 제 3 영상을 생성하고, 상기 제 1 영상 및 상기 제 2 영상의 다이나믹 톤 메타데이터에 기반하여 상기 제 3 영상의 다이나믹 톤 메타데이터를 생성하고, 상기 제 3 영상 및 상기 제 3 영상의 다이나믹 톤 메타데이터가 추가된 상기 영상 콘텐트를 저장할 수 있다.
다양한 실시예에 따르면, 전자 장치는, 표시 장치와 상기 표시 장치와 작동적으로 연결되는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 제 1 영상 콘텐트에 포함되는 적어도 하나의 영상과 제 2 영상 콘텐트에 포함되는 적어도 하나의 영상을 시간적으로 연결하여 제 3 영상 콘텐트를 생성하고, 상기 제 3 영상 콘텐트에 포함되는 다수 개의 영상 중 다이나믹 톤 메타 데이터를 포함하지 않는 제 1 영상이 존재하는 경우, 상기 제 1 영상 콘텐트 또는 상기 제 2 영상 콘텐트 중 상기 제 1 영상이 포함되는 원본 영상 콘텐트를 확인하고, 상기 원본 영상 콘텐트에 포함되는 다수 개의 영상 중 다이나믹 톤 메타 데이터를 포함하는 적어도 하나의 영상을 확인하고, 상기 다이나믹 톤 메타 데이터를 포함하는 적어도 하나의 영상 중 재생 시점이 지정된 조건을 만족하는 영상을 선택하고, 상기 선택된 영상의 다이나믹 톤 메타 데이터에 기반하여 상기 제 1 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다.
다양한 실시예에 따르면, 전자 장치는, 다이나믹 톤 메타 데이터를 포함하는 다수 개의 영상을 저장하는 메모리와 표시 장치, 및 상기 메모리 및 상기 표시 장치와 작동적으로 연결되는 적어도 하나의 프로세서를 포함하며, 상기 적어도 하나의 프로세서는, 영상 편집에 기반하여 영상 콘텐트에 포함되는 다수 개의 영상 중 제1 영상을 갱신하고, 상기 메모리에 저장된 상기 다수 개의 영상 또는 다른 전자 장치에 저장된 다수 개의 영상 중 상기 갱신된 제 1 영상에 대응하는 제 2 영상을 선택하고, 상기 갱신된 제 1 영상에 대응하는 상기 제 2 영상의 다이나믹 톤 메타데이터에 기반하여 상기 갱신된 제 1 영상의 다이나믹 톤 메타데이터를 갱신할 수 있다.
본 발명의 다양한 실시예들에 따르면, 전자 장치는 다이나믹 톤 메타데이터를 포함하는 영상 콘텐트를 편집(예: frame rate up conversion)하는 경우, 적어도 하나의 참조 영상의 다이나믹 톤 메타 데이터에 기반하여 새로운 영상의 다이나믹 톤 메타 데이터를 생성함으로써, 새로운 영상의 다이나믹 톤 메타 데이터의 생성 시간을 단축하여 다이나믹 톤 매핑을 적용할 수 있다.
다양한 실시예들에 따르면, 전자 장치는 다이나믹 톤 메타데이터를 포함하는 영상 콘텐트를 편집(예: frame rate down conversion 또는 video concatenation)하는 경우, 인접한 영상들 사이의 다이나믹 톤 메타 데이터의 차이에 기반하여 적어도 하나의 영상의 다이나믹 톤 메타 데이터를 편집함으로써, 영상 콘텐트에서 톤에 대한 영상의 이질감을 줄일 수 있다.
도 1은 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른 다이나믹 톤 메타데이터를 편집하기 위한 전자 장치의 블록도이다.
도 3은 다양한 실시예들에 따른 전자 장치에서 추가 영상의 다이나믹 톤 메타데이터를 생성하기 위한 흐름도이다.
도 4는 다양한 실시예들에 따른 전자 장치에서 추가 영상을 생성하기 위한 예시이다.
도 5는 다양한 실시예들에 따른 전자 장치에서 톤 매핑된 영상에 기반하여 추가 영상을 생성하기 위한 예시이다.
도 6은 다양한 실시예들에 따른 전자 장치에서 톤 매핑된 영상 및 다이나믹 톤 메타데이터에 기반하여 추가 영상을 생성하기 위한 예시이다.
도 7은 다양한 실시예들에 따른 전자 장치에서 다이나믹 톤 메타데이터를 생성하기 위한 예시이다.
도 8은 다양한 실시예들에 따른 전자 장치에서 다이나믹 톤 메타데이터를 생성하기 위한 흐름도이다.
도 9는 다양한 실시예들에 따른 전자 장치에서 추가 영상의 생성 방식에 기반하여 다이나믹 톤 메타데이터를 생성하기 위한 예시이다.
도 10은 다양한 실시예들에 따른 전자 장치에서 참조 영상의 참조 비율에 기반하여 다이나믹 톤 메타데이터를 생성하기 위한 예시이다.
도 11은 다양한 실시예들에 따른 전자 장치에서 참조 영상과의 거리에 기반하여 다이나믹 톤 메타데이터를 생성하기 위한 예시이다.
도 12는 다양한 실시예들에 따른 전자 장치에서 기 정의된 다이나믹 톤 메타데이터에 기반하여 추가 영상의 다이나믹 톤 메타데이터를 생성하기 위한 흐름도이다.
도 13은 다양한 실시예들에 따른 전자 장치에서 FRC 편집이 적용된 영상의 다이나믹 톤 메타데이터를 편집하기 위한 흐름도이다.
도 14는 다양한 실시예들에 따른 전자 장치에서 FRC 편집을 통해 적어도 하나의 영상을 제거하기 위한 구성이다.
도 15a는 다양한 실시예들에 따른 전자 장치에서 영상 접합 기술이 적용된 영상 콘텐트의 다이나믹 톤 메타데이터를 생성 및 편집하기 위한 흐름도이다.
도 15b는 다양한 실시예들에 따른 전자 장치에서 영상 접합 기술이 적용된 영상 콘텐트의 다이나믹 톤 메타데이터를 편집하기 위한 흐름도이다.
도 16은 다양한 실시예들에 따른 전자 장치에서 영상 접합 기술을 통해 영상 콘텐트를 생성하기 위한 구성이다.
도 17은 다양한 실시예들에 따른 전자 장치에서 잘라내기 편집이 적용된 영상 콘텐트의 다이나믹 톤 메타데이터를 편집하기 위한 흐름도이다.
도 18은 다양한 실시예들에 따른 전자 장치에서 잘라내기 편집을 통해 영상 콘텐트를 생성하기 위한 구성이다.
도 19는 다양한 실시예들에 따른 전자 장치에서 편집 영상의 다이나믹 톤 메타 데이터를 갱신하기 위한 흐름도이다.
도 20a 내지 도 20c는 다양한 실시예들에 따른 전자 장치에서 영상 콘텐트의 인코딩 방식이다.
이하 다양한 실시예들이 첨부된 도면을 참고하여 상세히 설명된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 장치(150), 음향 출력 장치(155), 표시 장치(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(160) 또는 카메라 모듈(180))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(176)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(160)(예: 디스플레이)에 임베디드된 채 구현될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 로드하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 장치(150)는, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(150)는, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(155)는 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 장치(155)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(160)는 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(160)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(160)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 장치(150)를 통해 소리를 획득하거나, 음향 출력 장치(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 및 인증할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부 전자 장치(102, 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다.. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101))에 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는 다양한 실시예들에 따른 다이나믹 톤 메타데이터를 편집하기 위한 전자 장치의 블록도이다. 예를 들어, 전자 장치(201)는 도 1의 전자 장치(101) 일 수 있다.
도 2를 참조하면, 전자 장치(201)의 프로세서(processor)(210)는 디코딩 모듈(212), 영상 편집 모듈(214), 메타 데이터 편집 모듈(216) 및 인코딩 모듈(218)을 포함할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 1의 프로세서(120)와 동일하거나, 프로세서(120)에 포함될 수 있다. 일예로, 프로세서(210)는 어플리케이션 프로세서(AP: application processor), 이미지 시그널 프로세서(ISP: image signal processor) 또는 디스플레이 구동 집적회로(DDI: display drive IC)를 포함할 수 있다. 일예로, 프로세서(210)에 포함되는 각각의 모듈(212, 214, 216 및/또는 218)은 소프트웨어로 구성되어, 프로세서(210)가 관련된 명령어들을 메모리(예: 도 1의 메모리(130))로부터 로딩하여 실행될 수 있다.
다양한 실시예들에 따르면, 디코딩 모듈(212)은 메모리(예: 도 1의 메모리(130))에 저장된 인코딩된 영상 콘텐트를 디코딩할 수 있다. 일 실시예에 따르면, 디코딩 모듈(212)은 메모리에 저장된 다수 개의 인코딩된 영상 콘텐트 중 편집하기 위해 선택된 영상 콘텐트를 디코딩할 수 있다. 일예로, 영상 콘텐트는 시간적으로 연결되는 다수 개의 영상을 포함할 수 있다. 일예로, 영상 콘텐트에 포함되는 각각의 영상은 영상 콘텐트를 구성하는 각각의 프레임에 대응될 수 있다.
다양한 실시예들에 따르면, 영상 편집 모듈(214)은 디코딩 모듈(212)에서 디코딩된 영상 콘텐트와 관련된 적어도 하나의 영상을 생성 또는 편집할 수 있다. 일예로, 영상 편집은 FRC(frame rate conversion), 영상 접합(video concatenation), 잘라내기(clip), 스케일링(예: 영상 확대 또는 영상 축소), 객체(예: 그래픽 데이터 또는 텍스트) 삽입, 또는 필터링 중 적어도 하나를 포함할 수 있다.
일 실시예에 따르면, 영상 편집 모듈(214)은 제 1 FRC 편집 방식(예: frame rate up conversion)에 기반하여 타켓 프레임율에 대응하도록 영상들 사이에 적어도 하나의 새로운 영상을 생성 및 삽입할 수 있다. 일예로, 새로운 영상은 영상 콘텐트에 포함되는 적어도 하나의 인접한 영상에 기반한 보간법(interpolation)을 통해 생성될 수 있다.
일 실시예에 따르면, 영상 편집 모듈(214)은 제 2 FRC 편집 방식(예: frame rate down conversion)에 기반하여 타켓 프레임율에 대응하도록 영상 콘텐트에 포함되는 연속적인 영상들에서 적어도 하나의 영상을 생략(skip)할 수 있다.
일 실시예에 따르면, 영상 편집 모듈(214)은 영상 접합 편집 방식에 기반하여 제 1 영상 콘텐트의 적어도 일부와 제 2 영상 콘텐트의 적어도 일부를 접합하여 제 3 영상 콘텐트를 생성할 수 있다.
일 실시예에 따르면, 영상 편집 모듈(214)은 스케일링 편집 방식에 기반하여 영상 콘텐트의 포함되는 적어도 하나의 영상의 크기를 조절할 수 있다. 예를 들어, 영상 편집 모듈(214)은 적어도 하나의 영상의 전체 또는 적어도 일부 영역의 크기를 확대 또는 축소할 수 있다.
일 실시예에 따르면, 영상 편집 모듈(214)은 객체 삽입 편집 방식에 기반하여 영상 콘텐트의 포함되는 적어도 하나의 영상의 적어도 일부 영역에 그래픽 데이터 또는 텍스트를 삽입할 수 있다.
일 실시예에 따르면, 영상 편집 모듈(214)은 잘라내기 편집 방식에 기반하여 제 1 영상 콘텐트의 적어도 일부를 추출하여 제 4 영상 콘텐트를 생성할 수 있다.
다양한 실시예들에 따르면, 메타 데이터 편집 모듈(216)은 영상 편집 모듈(214)에서의 영상 콘텐트의 편집에 기반하여 적어도 하나의 영상에 대응하는 다이나믹 톤 메타 데이터를 생성 또는 편집할 수 있다. 일예로, 다이나믹 톤 메타 데이터는 영상을 표현하기 위한 톤(tone) (또는 밝기)과 관련된 정보를 포함할 수 있다.
일 실시예에 따르면, 메타 데이터 편집 모듈(216)은 제 1 FRC 편집 방식(예: frame rate up conversion)에 기반하여 적어도 하나의 영상이 생성된 경우, 적어도 하나의 참조 영상의 다이나믹 톤 메타 데이터에 기반하여 새로운 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다. 예를 들어, 메타 데이터 편집 모듈(216)는 새로운 영상과 관련된 다수 개의 참조 영상의 다이나믹 톤 메타 데이터의 평균에 기반하여 새로운 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다. 다른 예를 들어, 메타 데이터 편집 모듈(216)는 새로운 영상과 관련된 다수 개의 참조 영상의 다이나믹 톤 메타 데이터에 가중치를 적용하여 새로운 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다. 일예로, 가중치는 새로운 영상과 참조 영상과의 시간 간격, 새로운 영상 생성과 관련된 참조 영상의 참조 비율 또는 새로운 영상의 인코딩과 관련된 참조 영상의 참조 비율 중 적어도 하나에 기반하여 결정될 수 있다. 일예로, 새로운 영상 생성과 관련된 참조 영상의 참조 비율은 새로운 영상을 생성하는데 참조된 참조 영상의 비율을 포함할 수 있다. 일예로, 새로운 영상의 인코딩과 관련된 참조 영상의 참조 비율은 새로운 영상을 인코딩하는데 참조된 참조 영상의 비율을 포함할 수 있다. 또 다른 예를 들어, 메타 데이터 편집 모듈(216)는 메모리(예: 도 1의 메모리(130)) 또는 서버(예: 도 1의 서버(108))에 저장된 다이나믹 톤 메타 데이터를 포함하는 적어도 하나의 영상 중 새로운 영상에 매칭되는 영상의 다이나믹 톤 메타 데이터를 새로운 영상의 다이나믹 톤 메타 데이터로 사용할 수 있다. 일예로, 메모리 또는 서버에 저장된 다이나믹 톤 메타 데이터를 포함하는 적어도 하나의 영상은 전자 장치(201)에서 이전에 생성(또는 획득)된 적어도 하나의 영상 및/또는 전문가에 의해 생성된 적어도 하나의 영상을 포함할 수 있다. 또 다른 예를 들어, 메타 데이터 편집 모듈(216)는 영상 편집 모듈(214)에서 새로운 영상과 관련된 참조 영상의 다이나믹 톤 메타 데이터를 복사하여 새로운 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다.
일 실시예에 따르면, 메타 데이터 편집 모듈(216)은 제 2 FRC 편집 방식(예: frame rate down conversion)에 의해 영상들 사이에서 적어도 하나의 영상을 생략한 경우, 생략되지 않은 영상의 다이나믹 톤 메타 데이터를 편집(또는 갱신)할 수 있다. 예를 들어, 메타 데이터 편집 모듈(216)은 영상 콘텐트에서 생략되지 않은 영상들 중 재생 시간이 인접한 영상들 간의 다이나믹 톤 메타 데이터의 차이(또는 차이 값)가 기준 값을 초과하는 경우, 영상의 다이나믹 톤 메타 데이터를 편집하는 것으로 판단할 수 있다. 메타 데이터 편집 모듈(216)은 현재 영상 및/또는 적어도 하나의 인접 영상의 다이나믹 톤 메타데이터에 기반하여 현재 영상의 다이나믹 톤 메타 데이터를 갱신할 수 있다. 일예로, 다이나믹 톤 메타 데이터의 차이는 각각의 영상에 대응하는 톤(또는 밝기)을 나타내는 톤 매핑 곡선(tone mapping curve)의 차이를 포함할 수 있다.
일 실시예에 따르면, 메타 데이터 편집 모듈(216)은 영상 접합 편집 방식에 의해 제 3 영상 콘텐트를 생성한 경우, 제 3 영상 콘텐트에 포함되는 적어도 하나의 영상의 다이나믹 톤 메타 데이터를 생성 또는 편집할 수 있다. 예를 들어, 메타 데이터 편집 모듈(216)은 제 3 영상 콘텐트에 포함된 제 1 영상의 다이나믹 톤 메타데이터가 없는 경우, 원본 영상 콘텐트(예: 제 1 영상 콘텐트 또는 제 2 영상 콘텐트)에 포함되는 다른 영상의 다이나믹 톤 메타 데이터에 기반하여 제 1 영상의 다이나믹 톤 메타데이터를 생성할 수 있다. 일예로, 제 1 영상의 다이나믹 톤 메타데이터는 다른 영상의 다이나믹 톤 메타데이터가 복사되어 생성될 수 있다. 일예로, 제 1 영상은 제 3 영상 콘텐트 내에서 다이나믹 톤 메타 데이터를 포함하지 않는 모든 영상을 포함할 수 있다. 일예로, 제 1 영상은 제 3 영상 콘텐트 내에서 각각의 원본 영상 콘텐트(예:제 1 영상 콘텐트 및/또는 제 2 영상 콘텐트)의 시작 위치의 영상을 포함할 수 있다. 일예로, 다른 영상은 원본 영상 콘텐트에서 제 1 영상보다 재생시점이 앞선 다이나믹 톤 메타데이터를 포함하는 적어도 하나의 영상 중 제 1 영상과 재생시점이 가장 인접한 영상을 포함할 수 있다. 일예로, 다른 영상은 원본 영상 콘텐트에서 다이나믹 톤 메타데이터를 포함하는 적어도 하나의 영상 중 제 1 영상과 재생시점이 가장 인접한 영상을 포함할 수 있다. 예를 들어, 메타 데이터 편집 모듈(216)은 서로 다른 영상 콘텐트가 접합된 시점(예: 시간적 경계 시점)의 영상들 간의 다이나믹 톤 메타 데이터의 차이가 기준 값을 초과하는 경우, 영상의 다이나믹 톤 메타 데이터를 편집하는 것으로 판단할 수 있다. 메타 데이터 편집 모듈(216)은 현재 영상, 적어도 하나의 이전 영상 또는 적어도 하나의 이후 영상 중 적어도 하나의 영상의 다이나믹 톤 메타데이터에 기반하여 현재 영상의 다이나믹 톤 메타 데이터를 갱신할 수 있다. 일예로, 시간적 경계 시점과 관련된 영상은 영상 접합 편집 방식에 기반하여 생성된 제 3 영상 콘텐트 내에서 제 1 영상 콘텐트와 제 2 영상 콘텐트가 접합된 지점에 배치된 적어도 하나의 영상을 포함할 수 있다.
일 실시예에 따르면, 메타 데이터 편집 모듈(216)은 영상 편집(예: 영상 확대, 영상 축소, 또는 객체 삽입)에 기반하여 영상 콘텐트에 포함되는 적어도 하나의 영상이 편집된 경우, 편집된 영상의 다아나믹 톤 메타 데이터를 편집(또는 갱신)할 수 있다. 예를 들어, 메타 데이터 편집 모듈(216)은 적어도 하나의 영상의 편집에 대응하는 영상 편집 방식에 기반하여 적어도 하나의 영상의 다이나믹 톤 메타 데이터를 편집할 수 있다. 다른 예를 들어, 메타 데이터 편집 모듈(216)은 메모리(예: 도 1의 메모리(130)) 또는 서버(예: 도 1의 서버(108))에 저장된 다이나믹 톤 메타 데이터를 포함하는 적어도 하나의 영상 중 편집된 영상에 매칭되는 영상의 다이나믹 톤 메타 데이터를 편집된 영상의 다이나믹 톤 메타 데이터로 사용할 수 있다. 일예로, 편집된 영상의 다이나믹 톤 메타 데이터의 편집(또는 갱신)은 영상 콘텐트에서 편집된 영상과 재생 시간이 인접한 영상 및 편집된 영상 사이의 다이나믹 톤 메타 데이터의 차이가 기준 값을 초과하는 경우 수행될 수 있다..
일 실시예에 따르면, 메타 데이터 편집 모듈(216)은 잘라내기 편집 방식에 의해 제 4 영상 콘텐트를 생성한 경우, 제 4 영상 콘텐트에 포함되는 적어도 하나의 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다. 예를 들어, 메타 데이터 편집 모듈(216)은 제 4 영상 콘텐트에 포함된 제 1 영상의 다이나믹 톤 메타데이터가 없는 경우, 원본 영상 콘텐트(예: 제 1 영상 콘텐트)에 포함되는 다른 영상의 다이나믹 톤 메타 데이터를 복사하여 제 1 영상의 다이나믹 톤 메타데이터를 생성할 수 있다. 일예로, 다른 영상은 원본 영상 콘텐트에서 제 1 영상보다 재생시점이 앞선 다이나믹 톤 메타데이터를 포함하는 적어도 하나의 영상 중 제 1 영상과 재생시점이 가장 인접한 영상을 포함할 수 있다. 일예로, 다른 영상은 원본 영상 콘텐트에서 다이나믹 톤 메타데이터를 포함하는 적어도 하나의 영상 중 제 1 영상과 재생시점이 가장 인접한 영상을 포함할 수 있다.
다양한 실시예들에 따르면, 인코딩 모듈(218)은 영상 편집 모듈(214)에서 편집(또는 생성)된 영상 데이터와 메타 데이터 편집 모듈(216)에서 편집(또는 생성)된 다이나믹 톤 메타 데이터를 매칭시켜 기 정의된 인코딩방식으로 인코딩할 수 있다. 일 실시예에 따르면, 인코딩 모듈(218)은 영상 콘텐트의 원 영상의 비트 스크림에 새로운 영상 및 다이나믹 톤 메타데이터를 추가하여 편집된 영상 콘텐트를 다시 인코딩할 수 있다. 일 실시예에 따르면, 인코딩 모듈(218)은 새로운 영상 및 다이나믹 톤 메타데이터를 원 영상과 별도(또는 독립적)로 인코딩하여 원 영상의 비트 스트림에 삽입할 수 있다. 예를 들어, 새로운 영상 및 다이나믹 톤 메타데이터는 모두 인트라 픽쳐(예: I 픽쳐)로 인코딩될 수 있다. 다른 예를 들어, 새로운 영상 및 다이나믹 톤 메타데이터는 원 영상의 기준(예: I 픽쳐)을 참조하는 P 픽쳐로 인코딩될 수 있다. 일예로, 기 정의된 인코딩 방식은 HEVC(high efficienecy video coding) 또는 H.264의 인코딩 방식을 포함하지만, 이에 한정되지 않는다.
다양한 실시예들에 따르면, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(201))는 표시 장치(예: 도 1의 표시 장치(160)), 및 상기 표시 장치와 작동적으로 연결되는 적어도 하나의 프로세서(예: 도 1의 프로세서(120))를 포함하며, 상기 적어도 하나의 프로세서는, 영상 콘텐트에 포함되는 다수 개의 영상 중 시간적으로 연결되는 제 1 영상과 제 2 영상의 사이에 삽입하기 위한 제 3 영상을 생성하고, 상기 제 1 영상 및 상기 제 2 영상의 다이나믹 톤 메타데이터에 기반하여 상기 제 3 영상의 다이나믹 톤 메타데이터를 생성하고, 상기 제 3 영상 및 상기 제 3 영상의 다이나믹 톤 메타데이터가 추가된 상기 영상 콘텐트를 저장할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는, 상기 제 1 영상 및 상기 제 2 영상의 다이나믹 톤 메타데이터의 평균에 기반하여 상기 제 3 영상의 다이나믹 톤 메타데이터를 생성할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는, 상기 제 1 영상 및 상기 제 2 영상의 참조 비율, 상기 제 1 영상 및 상기 제 2 영상과 상기 제 3 영상 사이의 시간 간격, 상기 제 1 영상과 상기 제 2 영상 및 상기 제 3 영상이 포함되는 시퀀스 또는 상기 제 1 영상과 상기 제 2 영상 및 상기 제 3 영상이 포함되는 GOP(group of picture) 정보 중 적어도 하나에 기반하여 상기 제 1 영상과 상기 제 2 영상에 대응하는 가중치를 확인하고, 상기 제 1 영상과 상기 제 2 영상의 다이나믹 톤 메타데이터에 상기 가중치를 적용하여 상기 제 3 영상의 다이나믹 톤 메타데이터를 생성할 수 있다. 일예로, 영상의 시퀀스 및/또는 GOP는 장면 전환(scene change)을 기준으로 설정될 수 있다.
다양한 실시예들에 따르면, 다이나믹 톤 메타 데이터를 포함하는 다수 개의 영상을 저장하는 메모리(예: 도 1의 메모리(130))를 더 포함하며, 상기 적어도 하나의 프로세서는, 상기 메모리에 저장된 상기 다수 개의 영상 또는 다른 전자 장치에 저장된 다수 개의 영상 중 상기 제 3 영상에 대응하는 영상을 선택하고, 상기 제 3 영상에 대응하는 영상의 다이나믹 톤 메타데이터를 상기 제 3 영상의 다이나믹 톤 메타데이터로 설정할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는, 상기 제 1 영상과 상기 제 2 영상의 차이가 지정된 조건을 만족하는 경우, 상기 제 2 영상에 기반하여 상기 제 3 영상을 생성하고, 상기 제 1 영상과 상기 제 2 영상의 차이가 상기 지정된 조건을 만족하지 않는 경우, 상기 제 1 영상 및 상기 제 2 영상에 기반하여 상기 제 3 영상을 생성할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는, 상기 제 2 영상에 기반하여 상기 제 3 영상을 생성한 경우, 상기 제 2 영상의 다이나믹 톤 메타데이터를 상기 제 3 영상의 다이나믹 톤 메타데이터로 설정할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(201))는 표시 장치(예: 도 1의 표시 장치(160)), 및 상기 표시 장치와 작동적으로 연결되는 적어도 하나의 프로세서(예: 도 1의 프로세서(120))를 포함하며, 상기 적어도 하나의 프로세서는, 하나 또는 그 이상의 영상 콘텐트에 포함되는 적어도 하나의 영상을 추출하여 제 1 영상 콘텐트를 생성하고, 상기 제 1 영상 콘텐트에 포함되는 적어도 하나의 영상 중 다이나믹 톤 메타 데이터를 포함하지 않는 제 1 영상이 존재하는 경우, 상기 하나 또는 그 이상의 영상 콘텐트 중 상기 제 1 영상이 포함되는 원본 영상 콘텐트를 확인하고, 상기 원본 영상 콘텐트에 포함되는 다수 개의 영상 중 다이나믹 톤 메타 데이터를 포함하는 적어도 하나의 영상을 확인하고, 상기 다이나믹 톤 메타 데이터를 포함하는 적어도 하나의 영상 중 재생 시점이 지정된 조건을 만족하는 영상을 선택하고, 상기 선택된 영상의 다이나믹 톤 메타 데이터에 기반하여 상기 제 1 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는, 상기 원본 영상 콘텐트에 포함되는 다이나믹 톤 메타 데이터를 포함하는 적어도 하나의 영상 중 상기 제 1 영상보다 재생 시점이 앞서는 적어도 하나의 영상을 확인하고, 상기 제 1 영상보다 재생 시점이 앞서는 적어도 하나의 영상 중 재생 시점이 상기 제 1 영상과 가장 근접한 영상을 선택할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는, 상기 원본 영상 콘텐트에 포함되는 다이나믹 톤 메타 데이터를 포함하는 적어도 하나의 영상 중 재생 시점이 상기 제 1 영상과 가장 근접한 영상을 선택할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는, 상기 선택된 영상의 다이나믹 톤 메타 데이터를 복사하여 상기 제 1 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는, 제 2 영상 콘텐트에 포함되는 적어도 하나의 영상을 추출하여 상기 제 1 영상 콘텐트를 생성할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는, 제 2 영상 콘텐트에 포함되는 적어도 하나의 영상과 제 3 영상 콘텐트에 포함되는 적어도 하나의 영상을 시간적으로 연결하여 상기 제 1 영상 콘텐트를 생성할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는, 상기 제 1 영상 콘텐트 내에서 시간적으로 연결되는 상기 제 2 영상 콘텐트에 포함되는 적어도 하나의 영상 중 마지막인 제 2 영상과 상기 제 3 영상 콘텐트에 포함되는 적어도 하나의 영상 중 첫 번째인 제 3 영상의 다이나믹 톤 메타데이터를 비교하고, 상기 제 2 영상과 상기 제 3 영상의 다이나믹 톤 메타데이터의 차이가 지정된 조건을 만족하는 경우, 상기 제 2 영상의 다이나믹 톤 메타 데이터에 기반하여 상기 제 3 영상의 다이나믹 톤 메타데이터를 갱신할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는, 상기 제 2 영상과 상기 제 3 영상의 다이나믹 톤 메타데이터의 차이가 상기 지정된 조건을 만족하는 경우, 상기 제 2 영상, 상기 제 3 영상 또는 상기 제 3 영상과 시간적으로 연결되는 제 4 영상 중 적어도 하나의 영상의 다이나믹 톤 메타 데이터에 기반하여 상기 제 3 영상의 다이나믹 톤 메타 데이터를 갱신할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는, 상기 제 2 영상, 상기 제 3 영상 또는 상기 제 4 영상 중 적어도 두 개의 영상들의 다이나믹 톤 메타 데이터의 평균에 기반하여 상기 제 3 영상의 다이나믹 톤 메타 데이터를 갱신할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는, 상기 제 2 영상, 상기 제 3 영상 및 상기 제 4 영상이 포함되는 시퀀스 또는 상기 제 2 영상, 상기 제 3 영상 및 상기 제 4 영상이 포함되는 GOP(group of picture) 정보 중 적어도 하나에 기반하여 상기 제 2 영상, 상기 제 3 영상 및 상기 제 4 영상에 대응하는 가중치를 확인하고, 상기 제 2 영상, 상기 제 3 영상 또는 상기 제 4 영상 중 적어도 하나의 영상의 다이나믹 톤 메타데이터에 상기 가중치를 적용하여 상기 제 3 영상의 다이나믹 톤 메타데이터를 갱신할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는, 상기 제 2 영상과 상기 제 3 영상의 다이나믹 톤 메타데이터의 차이가 상기 지정된 조건을 만족하지 않는 경우, 상기 제 3 영상의 다이나믹 톤 메타데이터를 유지할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 도 1의 전자 장치(101) 또는 도 2의 전자 장치(201))는 다이나믹 톤 메타 데이터를 포함하는 다수 개의 영상을 저장하는 메모리(예: 도 1의 메모리(130)), 표시 장치(예: 도 1의 표시 장치(160)), 및 상기 메모리 및 상기 표시 장치와 작동적으로 연결되는 적어도 하나의 프로세서(예: 도 1의 프로세서(120))를 포함하며, 상기 적어도 하나의 프로세서는, 영상 편집에 기반하여 영상 콘텐트에 포함되는 다수 개의 영상 중 제1 영상을 갱신하고, 상기 메모리에 저장된 상기 다수 개의 영상 또는 다른 전자 장치에 저장된 다수 개의 영상 중 상기 갱신된 제 1 영상에 대응하는 제 2 영상을 선택하고, 상기 갱신된 제 1 영상에 대응하는 상기 제 2 영상의 다이나믹 톤 메타데이터에 기반하여 상기 갱신된 제 1 영상의 다이나믹 톤 메타데이터를 갱신할 수 있다.
다양한 실시예들에 따르면, 상기 적어도 하나의 프로세서는, 상기 갱신된 제 1 영상에 대응하는 상기 제 2 영상의 다이나믹 톤 메타데이터를 복사하여 상기 갱신된 제 1 영상의 다이나믹 톤 메타데이터를 설정할 수 있다.
다양한 실시예들에 따르면, 상기 영상 편집은, 스케일링, 객체 삽입, 또는 필터링 중 적어도 하나를 포함할 수 있다.
도 3은 다양한 실시예들에 따른 전자 장치에서 추가 영상의 다이나믹 톤 메타데이터를 생성하기 위한 흐름도(300)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 예를 들어, 전자 장치는 도 1의 전자 장치(101) 또는 도 2의 전자 장치(201) 일 수 있다. 이하 설명에서 도 3의 적어도 일부 구성은 도 4, 도 5, 도 6 및 도 7을 참조하여 설명할 것이다. 도 4는 다양한 실시예들에 따른 전자 장치에서 추가 영상을 생성하기 위한 예시이다. 도 5는 다양한 실시예들에 따른 전자 장치에서 톤 매핑된 영상에 기반하여 추가 영상을 생성하기 위한 예시이다. 도 6은 다양한 실시예들에 따른 전자 장치에서 톤 매핑된 영상 및 다이나믹 톤 메타데이터에 기반하여 추가 영상을 생성하기 위한 예시이다. 도 7은 다양한 실시예들에 따른 전자 장치에서 다이나믹 톤 메타데이터를 생성하기 위한 예시이다.
도 3을 참조하면, 다양한 실시예들에 따르면, 전자 장치(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(210))는 동작 301에서, 영상 편집 이벤트의 발생을 검출할 수 있다. 일 실시예에 따르면, 프로세서(210)는 사용자의 입력에 기반하여 영상 콘텐트의 편집 메뉴의 선택이 감지된 경우, 편집 메뉴에 대응하는 영상 편집 이벤트가 발생한 것으로 판단할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 303에서, 영상 편집 이벤트에 대응하는 영상 편집을 통해 영상 콘텐트에 삽입하기 위한 추가 영상을 생성할 수 있다. 일 실시예에 따르면, 프로세서(210)는 영상 편집 이벤트에 기반하여 제 1 FRC 편집(예: frame rate up conversion)을 수행하는 경우, 타켓 프레임율에 대응하도록 영상 콘텐트에 포함되는 영상들 사이에 삽입하기 위한 적어도 하나의 새로운 영상을 생성할 수 있다. 예를 들어, 프로세서(210)는 도 4와 같이, n번째 영상(400)과 (n+1)번째 영상(410)에 기반한 보간법을 통해 (n+0.5)번째 영상(420)을 생성할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 305에서, 적어도 하나의 참조 영상의 다이나믹 톤 메타 데이터에 기반하여 추가 영상에 대응하는 다이나믹 톤 메타데이터를 생성할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 4와 같이, (n+0.5)번째 영상(420)을 생성한 경우, n번째 영상(400)의 다이나믹 톤 메타 데이터(402) 및 (n+1)번째 영상(410)의 다이나믹 톤 메타 데이터(412)에 기반하여 (n+0.5)번째 영상(420)의 다이나믹 톤 메타 데이터(422)를 생성할 수 있다. 일예로, (n+0.5)번째 영상(420)의 참조 영상은 (n+0.5)번째 영상(420)를 생성하는데 참조된 n번째 영상(400) 및 (n+1)번째 영상(410)을 포함할 수 있다. 예를 들어, 프로세서(210)는 도 7의 (a)와 같이, n번째 영상의 다이나믹 톤 메타 데이터(700) 및 (n+1)번째 영상의 다이나믹 톤 메타 데이터(710)의 평균에 기반하여 (n+0.5)번째 영상의 다이나믹 톤 메타 데이터(720)를 생성할 수 있다. 다른 예를 들어, 프로세서(210)는 도 7의 (b)와 같이, n번째 영상의 다이나믹 톤 메타 데이터(730) 및 (n+1)번째 영상의 다이나믹 톤 메타 데이터(740)의 평균에 기반하여 (n+0.5)번째 영상의 다이나믹 톤 메타 데이터(750)를 생성할 수 있다. 일예로, 다이나믹 톤 메타 데이터는 영상을 작가의 의도에 맞게 표현하기 위한 톤(또는 밝기)과 관련된 정보로, 도 7과 같이, 소스 니트 대비 타켓 니트의 비율에 대응하는 톤 매핑 곡선(tone mapping curve)을 포함할 수 있다. 일예로, 소스 니트는 영상 콘텐트의 제작 당시 마스터링 디스플레이(또는 모니터)의 밝기를 포함하고, 타켓 니트는 영상 콘텐트를 재생하기 위한 전자 장치(예: 전자 장치(201))의 디스플레이의 밝기를 포함할 수 있다. 일예로, n은 영상 콘텐트에 포함되는 영상의 식별 정보로, 정수 값을 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 307에서, 추가 영상 및 추가 영상에 대응하는 다이나믹 톤 메타 데이터를 포함하는 영상 콘텐트를 저장할 수 있다. 일 실시예에 따르면, 프로세서(210)는 영상 콘텐트의 비트스트림에 추가 영상 및 추가 영상에 대응하는 다이나믹 톤 메타 데이터를 삽입하여 저장할 수 있다. 예를 들어, 프로세서(210)는 FPS 편집에 기반하여 제 1 FPS(예: 240 FPS)의 영상 콘텐트에 추가 영상 및 추가 영상의 다이나믹 톤 메타 데이터를 삽입하여 제 2 FPS(예: 480 FPS 또는 960 FPS)의 영상 콘텐트를 생성할 수 있다. 이 경우, 제 2 FPS의 영상 콘텐트는 기준 FPS(예: 30FPS)로 인코딩되는 경우, 제 1 FPS의 영상 콘텐트에 비해 객체의 움직임이 느린 영상(예: slow motion)으로 재생될 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 톤 매핑된 영상에 기반하여 추가 영상을 생성할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 5와 같이, 톤 매핑된 n번째 영상(504)과 톤 매핑된 (n+1)번째 영상(514)에 기반한 움직임 추정(motion estimation)을 통해, 움직임 벡터(motion vector)를 생성할 수 있다. (n+0.5)번째 영상(520)은 움직임 벡터를 이용한 톤 매핑되지 않은 n번째 영상(500)과 톤 매핑되지 않은 (n+1)번째 영상(510)의 움직임 보정(motion compensation)을 통해 생성될 수 있다. (n+0.5)번째 영상(520)의 다이나믹 톤 메타 데이터(522)은 n번째 영상(500)의 다이나믹 톤 메타 데이터(502) 및 (n+1)번째 영상(510)의 다이나믹 톤 메타 데이터(512)에 기반하여 생성될 수 있다. 일예로, 톤 매핑된 n번째 영상(504)은 n번째 영상(500)의 다이나믹 톤 메타 데이터(502)에 기반하여 전자 장치(201)의 디스플레이의 밝기에 매핑된 n번째 영상(500)을 포함할 수 있다.
일 실시예에 따르면, 프로세서(210)는 도 6과 같이, 톤 매핑된 n번째 영상(604)과 톤 매핑된 (n+1)번째 영상(614)에 기반한 보간법을 통해 톤 매핑된 (n+0.5)번째 영상(624)을 생성할 수 있다. 프로세서(210)는 n번째 영상(600)의 다이나믹 톤 메타 데이터(602) 및 (n+1)번째 영상(610)의 다이나믹 톤 메타 데이터(612)에 기반하여 (n+0.5)번째 영상(620)의 다이나믹 톤 메타 데이터(622)를 생성할 수 있다. (n+0.5)번째 영상(620)은 다이나믹 톤 메타 데이터(622)에 기반한 톤 매핑된 (n+0.5)번째 영상(624)의 역 톤 매핑(inverse tone mapping)을 통해 생성될 수 있다.
도 8은 다양한 실시예들에 따른 전자 장치에서 다이나믹 톤 메타데이터를 생성하기 위한 흐름도(800)이다. 이하 설명되는 도 8의 동작들은 도 3의 동작 303 및 동작 305의 상세한 동작일 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 예를 들어, 전자 장치는 도 1의 전자 장치(101) 또는 도 2의 전자 장치(201) 일 수 있다. 이하 설명에서 도 3의 적어도 일부 구성은 도 9, 도 10 및 도 11을 참조하여 설명할 것이다. 도 9는 다양한 실시예들에 따른 전자 장치에서 추가 영상의 생성 방식에 기반하여 다이나믹 톤 메타데이터를 생성하기 위한 예시이다. 도 10은 다양한 실시예들에 따른 전자 장치에서 참조 영상의 참조 비율에 기반하여 다이나믹 톤 메타데이터를 생성하기 위한 예시이다. 도 11은 다양한 실시예들에 따른 전자 장치에서 참조 영상과의 거리에 기반하여 다이나믹 톤 메타데이터를 생성하기 위한 예시이다.
도 8을 참조하면, 다양한 실시예들에 따르면, 전자 장치(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(210))는 영상 편집을 위한 이벤트의 발생을 검출한 경우(예: 도 3의 동작 301), 동작 801에서, 추가 영상이 삽입되는 영상(예: 참조 영상)들 사이의 차이가 제 1 기준 값을 초과하는지 확인할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 9와 같이, n번째 영상(900)과 (n+1)번째 영상(910) 사이에 삽입할 추가 영상을 생성하는 경우, n번째 영상(900)과 (n+1)번째 영상(910)의 차이를 검출할 수 있다. 일예로, 영상들의 차이는 제 1 영상과 제 2 영상의 픽셀 값의 차이 또는 특징 점의 차이를 포함할 수 있다. 일예로, 제 1 기준 값은 영상들의 유사 여부를 판단하기 위한 기준 값을 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 추가 영상이 삽입되는 영상들 사이의 차이가 제 1 기준 값을 초과하는 경우(예: 동작 801의 '예'), 동작 803에서, 제 1 방식(예: 폴백(fallback) 방식)을 통해 추가 영상을 생성할 수 있다. 일 실시예에 따르면, 프로세서(210)는 추가 영상이 삽입되는 영상들 사이의 차이가 제 1 기준 값을 초과하는 경우, 장면 전환(scene change)이 발생하거나 객체의 움직임이 상대적으로 크게 발생한 것으로 판단할 수 있다. 이 경우, 프로세서(210)는 도 9와 같이, 제 1 방식(예: 폴백 방식)에 기반하여 (n+1)번째 영상(910)을 복사하여 (n+0.5)번째 영상(920)을 생성할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 805에서, 제 1 방식(예: 폴백 방식)으로 추가 영상을 생성하는데 참조된 영상의 다이나믹 톤 메타 데이터를 복사하여 추가 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 9와 같이, (n+1)번째 영상(910)을 복사하여 (n+0.5)번째 영상(920)이 생성된 경우, (n+1)번째 영상(910)의 다이나믹 톤 메타 데이터(912)를 복사하여 (n+0.5)번째 영상(920)의 다이나믹 톤 메타 데이터(922)를 생성할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 추가 영상이 삽입되는 영상들 사이의 차이가 제 1 기준 값 이하인 경우(예: 동작 801의 '아니오'), 동작 807에서, 제 2 방식(예: 보간법)을 통해 추가 영상을 생성할 수 있다. 일 실시예에 따르면, 프로세서(210)는 추가 영상이 삽입되는 영상들 사이의 차이가 제 1 기준 값 이하인 경우, 추가 영상이 삽입되는 영상들이 상대적으로 유사한 것으로 판단할 수 있다. 이 경우, 프로세서(210)는 도 4와 같이, n번째 영상(400)과 (n+1)번째 영상(410)에 기반한 제 2 방식(예: 보간법)을 통해 (n+0.5)번째 영상(420)을 생성할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 809에서, 제 2 방식(예: 보간법)으로 추가 영상을 생성하는데 참조된 영상들의 다이나믹 톤 메타 데이터에 기반하여 추가 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다. 일 실시예에 따르면, 프로세서(210)는 추가 영상을 생성하는데 참조된 참조 영상의 비율(예: 참조 비율)에 대응하는 가중치를 참조 영상의 다이나믹 톤 메타 데이터에 적용하여 추가 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다. 예를 들어, (n+0.5)번째 영상은 (n)번째 영상을 약 80% 참조하고 (n+1)번째 영상을 약 20% 참조하여 생성될 수 있다. 이 경우, (n+0.5)번째 영상의 다이나믹 톤 메타데이터(1020)는 도 10의 (a)와 같이, (n)번째 영상의 다이나믹 톤 메타데이터(1000)에 제 1 가중치(예: 약 0.8)를 적용하고, (n+1)번째 영상의 다이나믹 톤 메타데이터(1010)에 제 2 가중치(예: 약 0.2)를 적용하여 생성될 수 있다. 다른 예를 들어, (n+0.5)번째 영상은 (n)번째 영상을 약 20% 참조하고 (n+1)번째 영상을 약 80% 참조하여 생성될 수 있다. 이 경우, (n+0.5)번째 영상의 다이나믹 톤 메타데이터(1050)는 도 10의 (b)와 같이, (n)번째 영상의 다이나믹 톤 메타데이터(1030)에 제 2 가중치(예: 약 0.2)를 적용하고, (n+1)번째 영상의 다이나믹 톤 메타데이터(1040)에 제 1 가중치(예: 약 0.8)를 적용하여 생성될 수 있다.
일 실시예에 따르면, 프로세서(210)는 추가 영상과 참조 영상의 시간 간격에 대응하는 가중치를 참조 영상의 다이나믹 톤 메타 데이터에 적용하여 추가 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다. 예를 들어, (n+0.5)번째 영상(1120)은 도 11과 같이, (n)번째 영상(1100)과 (n+1)번째 영상(1110)의 중간에 삽입될 수 있다. 이 경우, 프로세세서(210)는 (n)번째 영상(1100)의 다이나믹 톤 메타데이터와 (n+1)번째 영상(1110)의 다이나믹 톤 메타데이터에 동일하게 제 3 가중치(예: 약 0.5)를 적용하여 (n+0.5)번째 영상(1120)의 다이나믹 톤 메타데이터를 생성할 수 있다. 다른 예를 들어, (n+0.25)번째 영상(1122)은 도 11과 같이, (n+1)번째 영상(1110)보다 (n)번째 영상(1100)에 상대적으로 가까운 위치(예: 약 0.25)에 삽입될 수 있다. 이 경우, 프로세세서(210)는 (n)번째 영상(1100)의 다이나믹 톤 메타데이터에 제 4 가중치(예: 약 0.75)를 적용하고, (n+1)번째 영상(1110)의 다이나믹 톤 메타데이터에 제 5 가중치(예: 약 0.25)를 적용하여 (n+0.25)번째 영상(1122)의 다이나믹 톤 메타데이터를 생성할 수 있다. 또 다른 예를 들어, (n+0.75)번째 영상(1124)은 도 11과 같이, (n)번째 영상(1100)보다 (n+1)번째 영상(1110)에 상대적으로 가까운 위치(예: 약 0.75)에 삽입될 수 있다. 이 경우, 프로세세서(210)는 (n)번째 영상(1100)의 다이나믹 톤 메타데이터에 제 5 가중치(예: 약 0.25)를 적용하고, (n+1)번째 영상(1110)의 다이나믹 톤 메타데이터에 제 4 가중치(예: 약 0.75)를 적용하여 (n+0.75)번째 영상(1124)의 다이나믹 톤 메타데이터를 생성할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 추가 영상을 포함하는 영상 콘텐트를 인코딩하는 경우, 추가 영상을 인코딩하는데 참조된 참조 영상의 비율(예: 참조 비율)에 대응하는 가중치를 참조 영상의 다이나믹 톤 메타 데이터에 적용하여 추가 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 장면 전환(scene change)의 시퀀스 단위 또는 GOP(group of picture) 단위로 생성된 추가 영상이 참조 영상과 동일한 장면 또는 GOP에 포함되는지 여부에 기반하여 참조 영상의 다이나믹 톤 메타 데이터에 적용할 가중치를 설정할 수 있다. 일 실시예에 따르면, 전자 장치는 추가 영상과 참조 영상들이 동일한 시퀀스 또는 GOP에 포함되는 경우, 참조 영상의 참조 비율 또는 참조 영상과의 시간 간격 중 적어도 하나에 기반하여 추가 영상의 다이나믹 톤 메타데이터를 생성하기 위해 참조 영상의 다이나믹 톤 메타 데이터에 적용할 가중치를 설정할 수 있다. 일 실시예에 따르면, 전자 장치는 참조 영상들 중 적어도 하나의 참조 영상이 추가 영상과 다른 시퀀스 또는 다른 GOP에 포함되는 경우, 다른 시퀀스 또는 다른 GOP에 포함되는 참조 영상의 다이나믹 톤 메타 데이터에 적용할 가중치를 최소화하거나 0으로 설정할 수 있다.
도 12는 다양한 실시예들에 따른 전자 장치에서 기 정의된 다이나믹 톤 메타데이터에 기반하여 추가 영상의 다이나믹 톤 메타데이터를 생성하기 위한 흐름도(1200)이다. 이하 설명되는 도 12의 동작들은 도 3의 동작 305의 상세한 동작일 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 예를 들어, 전자 장치는 도 1의 전자 장치(101) 또는 도 2의 전자 장치(201) 일 수 있다.
도 12를 참조하면, 다양한 실시예들에 따르면, 전자 장치(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(210))는 영상 편집에 기반하여 추가 영상을 생성한 경우(예: 도 3의 동작 303), 동작 1201에서, 메모리(예: 도 1의 메모리(130)) 또는 서버(예: 도 1의 서버(108))에 저장된 다이나믹 톤 메타 데이터를 포함하는 영상들 중 추가 영상에 매칭되는 영상을 검출할 수 있다. 일 실시예에 따르면, 프로세서(210)는 메모리 또는 서버에 저장된 영상들 중 추가 영상과의 차이가 가장 작은 영상을 추가 영상에 매칭되는 영상으로 선택할 수 있다. 일예로, 추가 영상과의 차이는 메모리 또는 서버에 저장된 영상과 추가 영상의 픽셀 값의 차이 또는 특징 점의 차이를 포함할 수 있다. 일예로, 메모리 또는 서버에 저장된 영상은 전자 장치(201)에서 카메라(예: 도 1의 카메라 모듈(180))를 이용하여 생성된 적어도 하나의 영상 및/또는 전문가에 의해 생성된 적어도 하나의 영상을 포함할 수 있다. 일예로, 메모리 또는 서버에 저장된 영상은 영상 데이터 자체로 저장되거나, 서브 샘플링된(sub sampling) 데이터, DPCM(differential pulse code modulation) 영상, 특징 점 또는 주파수 영역 데이터 중 적어도 하나의 형태로 저장될 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 1203에서, 추가 영상에 매칭되는 영상의 다이나믹 톤 메타 데이터를 확인할 수 있다. 일예로, 추가 영상에 매칭되는 영상은 추가 영상과의 차이가 제 1 기준 값 이하인 영상을 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 1205에서, 추가 영상에 매칭되는 영상의 다이나믹 톤 메타 데이터에 기반하여 추가 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다. 일 실시예에 따르면, 프로세서(210)는 추가 영상과 매칭되는 영상의 다아나믹 톤 메타 데이터를 추가 영상의 다이나믹 톤 메타 데이터로 사용할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 영상 콘텐트에 삽입된 추가 영상 및 추가 영상의 다이나믹 톤 메타 데이터를 원영상 및 원영상의 다이나믹 톤 메타 데이터와 식별되도록 표기할 수 있다. 일 실시예에 따르면, 프로세서(210)는 추가 영상의 식별 번호를 원영상과 별도로 설정할 수 있다. 일 실시예에 따르면, 프로세서(210)는 추가 영상에 다이나믹 톤 메타데이터를 두 번 연속 기술하여 해당 추가 영상이 영상 편집을 통해 삽입된 영상임을 나타낼 수 있다. 일 실시예에 따르면, 프로세서(210)는 추가 영상의 페이로드의 마지막 영역에 더미(dummy)로 설정된 특정 정보를 삽입하여 해당 추가 영상이 영상 편집을 통해 삽입된 영상임을 나타낼 수 있다. 예를 들어, 추가 영상은 JPEG(joint photography experts group) 방식으로 인코딩되는 경우, "end of picture"의 뒤쪽에 추가 영상을 식별하기 위한 더미로 설정된 특정 정보가 삽입될 수 있다. 다른 예를 들어, 추가 영상은 HEVC(high efficiency video coding) 방식으로 인코딩되는 경우, 슬라이스 데이터(slice data)의 마지막의 "slice_segment_header_extension_data_byte"에 추가 영상을 식별하기 위한 더미로 설정된 특정 정보가 삽입될 수 있다. 이에 따라, 전자 장치(201)(또는 사용자)는 영상을 편집(또는 재편집)하는 경우, 사용자가 원하는 영상(예: 원영상)만을 이용하여 편집(또는 재 편집)하여 영상 콘텐트의 화질 열화를 방지할 수 있다.
도 13은 다양한 실시예들에 따른 전자 장치에서 FRC 편집이 적용된 영상의 다이나믹 톤 메타데이터를 편집하기 위한 흐름도(1300)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 예를 들어, 전자 장치는 도 1의 전자 장치(101) 또는 도 2의 전자 장치(201) 일 수 있다. 이하 설명에서 도 13의 적어도 일부 동작은 도 14를 참조하여 설명할 것이다. 도 14는 다양한 실시예들에 따른 전자 장치에서 FRC 편집을 통해 적어도 하나의 영상을 제거하기 위한 구성이다.
도 13을 참조하면, 다양한 실시예들에 따르면, 전자 장치(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(210))는 동작 1301에서, 제 2 FRC 편집 방식(예: frame rate down conversion)에 기반하여 영상 콘텐트에 포함되는 적어도 하나의 영상을 생략할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 14와 같이, 타켓 프레임율에 대응하도록 연속적인 영상들(1400, 1410 및 1420) 중 적어도 일부의 영상(1410)을 생략할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 1303에서, 제 2 FRC 편집 방식으로 편집된 영상 콘텐트에 포함되는 다수 개의 영상의 다이나믹 톤 메타 데이터의 차이를 확인할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 14의 경우, 제 2 FRC 편집 방식으로 편집된 영상 콘텐트에서 인접한 0번 영상(1400)과 2번 영상(1420)의 다이나믹 톤 메타 데이터(1402 및 1422)의 차이를 검출할 수 있다. 일예로, 다이나믹 톤 메타 데이터의 차이는 다이나믹 톤 메타 데이터에 정의된 구문(syntax) 값의 차이로, 각각의 영상에 대응하는 톤(또는 밝기)을 나타내는 톤 매핑 곡선(tone mapping curve)의 차이를 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 1305에서, 재생 시점이 인접한 영상들의 다이나믹 톤 메타 데이터의 차이가 제 2 기준 값을 초과하는지 확인할 수 있다. 일예로, 제 2 기준 값은 다이나믹 톤 메타 데이터의 유사 여부를 판단하기 위한 기준 값으로, 다이나믹 톤 메타 데이터에 포함되는 구문 마다 다르게 설정되거나, 다이나믹 톤 메타 데이터에 포함되는 구문의 차이의 합에 대응하도록 설정될 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 인접한 영상들의 다이나믹 톤 메타 데이터의 차이가 제 2 기준 값을 초과하는 경우(예: 동작 1305의 '예'), 동작 1307에서, 적어도 하나의 인접한 영상의 다이나믹 톤 메타 데이터를 갱신할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 14에서 0번 영상(1400)과 2번 영상(1420)의 다이나믹 톤 메타 데이터(1402 및 1422)의 차이가 제 2 기준 값을 초과하는 경우, 2번 영상(1420)의 다이나믹 톤 메타 데이터를 갱신할 수 있다(1424). 예를 들어, 프로세서(210)는 2번 영상(1420), 2번 영상(1420)과 인접한 0번 영상(1400) 또는 4번 영상(1430) 중 적어도 하나의 영상의 다이나믹 톤 메타 데이터에 기반하여 2번 영상(1420)의 다이나믹 톤 메타 데이터를 갱신할 수 있다(1424). 일예로, 갱신된 다이나믹 톤 메타 데이터는 참조 영상의 다이나믹 톤 메타 데이터의 평균 또는 가중치가 적용된 다이나믹 톤 메타 데이터의 합을 포함할 수 있다. 예를 들어, (n+1) 번째 영상의 다이나믹 톤 메타 데이터는 하기 표 1과 같이 참조 영상의 다이나믹 톤 메타 데이터의 평균에 기반하여 갱신될 수 있다.
Dynamic tone matadata syntax Dynamic tone metadata syntax 값
N N+1 N+1 변경 값
tone_mapping_flag 1 1 1
knee_point_x [0] 150 300 225
knee_point_y [0] 1000 1200 1100
num_bezier_curve_anchors [0] 9 9 9
bezier_curve_achors[0][0] 500 700 600
bezier_curve_achors[0][1] 700 700 700
bezier_curve_achors[0][2] 800 900 850
bezier_curve_achors[0][3] 850 1000 925
bezier_curve_achors[0][4] 850 1000 925
bezier_curve_achors[0][5] 900 1200 1050
bezier_curve_achors[0][6] 950 1200 1075
bezier_curve_achors[0][7] 980 1300 1140
bezier_curve_achors[0][8] 1200 1400 1300
일예로, 표 1은 SMPTE(society of motion picture and television engineers) 또는 ST 2094-40 구문에 의해 표현되는 다이나믹 톤 메타 데이터를 나타낼 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 인접한 영상들의 다이나믹 톤 메타 데이터의 차이가 제 2 기준 값 이하인 경우(예: 동작 1305의 '아니오'), 동작 1309에서, 인접한 영상들의 다이나믹 톤 메타 데이터를 유지할 수 있다. 일 실시예에 따르면, 프로세서(210)는 인접한 영상들의 다이나믹 톤 메타 데이터의 차이가 제 2 기준 값 이하인 경우, 인접한 영상들 간 톤 매핑 방식이 유사하다고 판단할 수 있다. 이에 따라, 프로세서(210)는 인접한 영상들의 다이나믹 톤 메타 데이터를 유지하는 것으로 판단할 수 있다.
도 15a는 다양한 실시예들에 따른 전자 장치에서 영상 접합 기술이 적용된 영상 콘텐트의 다이나믹 톤 메타데이터를 생성 및 편집하기 위한 흐름도(1500)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 예를 들어, 전자 장치는 도 1의 전자 장치(101) 또는 도 2의 전자 장치(201) 일 수 있다. 이하 설명에서 도 15a의 적어도 일부 동작은 도 16을 참조하여 설명할 것이다. 도 16은 다양한 실시예들에 따른 전자 장치에서 영상 접합 기술을 통해 영상 콘텐트를 생성하기 위한 구성이다.
도 15a를 참조하면, 다양한 실시예들에 따르면, 전자 장치(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(210))는 동작 1501에서, 영상 접합 기술에 기반하여 다수 개의 영상 콘텐트의 적어도 일부를 포함하는 영상 콘텐트를 생성할 수 있다. 일 실시예에 따르면, 프로세서(210)는 영상 접합 편집을 수행하는 경우, 도 16과 같이, A 콘텐트(1600)의 적어도 일부(1602)와 B 콘텐트(1610)의 적어도 일부(1612)를 포함하는 별도의 C 콘텐트(1620)를 생성할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 1503에서, 영상 접합 기술에 기반하여 생성된 영상 콘텐트에 포함되는 다수 개의 영상 중 다이나믹 톤 메타 데이터를 포함하지 않는 영상이 존재하는지 확인할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 16의 경우, 영상 접합 기술에 기반하여 생성된 C 콘텐트(1620)에 포함되는 A 콘텐트에서 추출한 4번 영상(1630) 및/또는 B 콘텐트에서 추출한 5번 영상(1624)이 다이나믹 톤 메타 데이터를 포함하지 않는 것으로 판단할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 다이나믹 톤 메타 데이터를 포함하지 않는 적어도 하나의 영상이 존재하는 경우(예: 동작 1503의 '예'), 동작 1505에서, 영상 접합 기술에 기반하여 생성된 영상 콘텐트에서 다이나믹 톤 메타 데이터를 포함하지 않는 적어도 하나의 영상에 대응하는 다이나믹 톤 메타 데이터를 생성할 수 있다. 일 실시예에 따르면, 프로세서(210)는 원본 영상 콘텐트 내에서 재생 시점이 앞서며 가장 인접한 다른 영상의 다이나믹 톤 메타 데이터에 기반하여 적어도 하나의 영상에 대응하는 다이나믹 톤 메타 데이터를 생성할 수 있다. 예를 들어, 프로세서(210)는 도 16의 C 콘텐트(1620)에 포함되는 4번 영상(1630)이 다이나믹 톤 메타 데이터를 포함하지 않는 경우, 4번 영상(1630)의 원본 영상 콘텐트인 A 콘텐트(1600)를 확인할 수 있다. 프로세서(210)는 A 콘텐트(1600)에서 4번 영상(1630)보다 재생 시점이 앞서며, 다이나믹 톤 메타데이터를 포함하는 적어도 하나의 다른 영상(예: 0번 영상 및/또는 1번 영상(1632)) 중 4번 영상(1630)과 재생시점이 가장 인접한 1번 영상(1632)을 확인할 수 있다. 프로세서(210)는 A 콘텐트(1600)의 1번 영상(1632)의 다이나믹 톤 메타 데이터를 복사하여 C 콘텐트(1620)에 포함되는 4번 영상(1630)의 다이나믹 톤 메타 데이터를 생성할 수 있다. 다른 예를 들어, 프로세서(210)는 도 16의 C 콘텐트(1620)에 포함되는 5번 영상(1624)이 다이나믹 톤 메타 데이터를 포함하지 않는 경우, 5번 영상(1624)의 원본 영상 콘텐트인 B 콘텐트(1610)를 확인할 수 있다. 프로세서(210)는 B 콘텐트(1610)에서 5번 영상(1624)보다 재생 시점이 앞서며, 다이나믹 톤 메타데이터를 포함하는 적어도 하나의 다른 영상(예: 1번 영상 및/또는 3번 영상(1642)) 중 5번 영상(1624)과 재생시점이 가장 인접한 3번 영상(1642)을 확인할 수 있다. 프로세서(210)는 B 콘텐트(1610)의 3번 영상(1642)의 다이나믹 톤 메타 데이터를 복사하여 C 콘텐트(1620)에 포함되는 5번 영상(1624)의 다이나믹 톤 메타 데이터를 생성할 수 있다. 일예로, 원본 영상 콘텐트는 영상 접합 기술에 기반하여 생성된 영상 콘텐트에 포함되는 영상이 영상 접합 기술을 적용하기 이전에 포함되었던 영상 콘텐트를 포함할 수 있다.
일 실시예에 따르면, 프로세서(210)는 원본 영상 콘텐트 내에서 재생 시점이 가장 인접한 다른 영상의 다이나믹 톤 메타 데이터에 기반하여 적어도 하나의 영상에 대응하는 다이나믹 톤 메타 데이터를 생성할 수 있다. 예를 들어, 프로세서(210)는 A 콘텐트(1600)에서 다이나믹 톤 메타데이터를 포함하는 적어도 하나의 다른 영상(예: 0번 영상, 1번 영상(1632) 및/또는 6번 영상(1634)) 중 4번 영상(1630)과 재생시점이 가장 인접한 6번 영상(1634)을 확인할 수 있다. 프로세서(210)는 A 콘텐트(1600)의 6번 영상(1634)의 다이나믹 톤 메타 데이터를 복사하여 C 콘텐트(1620)에 포함되는 4번 영상(1630)의 다이나믹 톤 메타 데이터를 생성할 수 있다. 다른 예를 들어, 프로세서(210)는 B 콘텐트(1610)에서 다이나믹 톤 메타데이터를 포함하는 적어도 하나의 다른 영상(예: 1번 영상, 3번 영상(1642) 및/또는 7번 영상(1644)) 중 5번 영상(1624)과 재생시점이 가장 인접한 3번 영상(1642)을 확인할 수 있다. 프로세서(210)는 B 콘텐트(1610)의 3번 영상(1642)의 다이나믹 톤 메타 데이터를 복사하여 C 콘텐트(1620)에 포함되는 5번 영상(1624)의 다이나믹 톤 메타 데이터를 생성할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 다이나믹 톤 메타 데이터를 포함하지 않는 영상이 존재하지 않거나(예: 동작 1503의 '아니오'), 영상의 다이나믹 톤 메타 데이터를 생성한 경우(예: 동작 1505), 동작 1507에서, 영상 접합 기술에 기반하여 생성된 영상 콘텐트에 포함되는 다수 개의 영상의 다이나믹 톤 메타 데이터의 차이를 확인할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 16의 경우, C 콘텐트(1620)에서 시간적 경계 시점에서 서로 인접한 A 콘텐트(1600)의 10번 영상(1622)과 B 콘텐트(1610)의 5번 영상(1624)의 다이나믹 톤 메타 데이터의 차이를 검출할 수 있다. 일예로, 다이나믹 톤 메타 데이터의 차이는 다이나믹 톤 메타 데이터에 정의된 구문(syntax) 값의 차이로, 각각의 영상에 대응하는 톤(또는 밝기)을 나타내는 톤 매핑 곡선(tone mapping curve)의 차이를 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 1509에서, 인접한 영상들의 다이나믹 톤 메타 데이터의 차이가 제 2 기준 값을 초과하는지 확인할 수 있다. 일예로, 제 2 기준 값은 다이나믹 톤 메타 데이터의 유사 여부를 판단하기 위한 기준 값으로, 다이나믹 톤 메타 데이터에 포함되는 구문 마다 다르게 설정되거나, 다이나믹 톤 메타 데이터에 포함되는 구문의 차이의 합에 대응하도록 설정될 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 인접한 영상들의 다이나믹 톤 메타 데이터의 차이가 제 2 기준 값을 초과하는 경우(예: 동작 1509의 '예'), 동작 1511에서, 적어도 하나의 인접한 영상의 다이나믹 톤 메타 데이터를 갱신할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 16에서 A 콘텐트(1600)의 10번 영상(1622)과 B 콘텐트(1610)의 5번 영상(1624)의 다이나믹 톤 메타 데이터의 차이가 제 2 기준 값을 초과하는 경우, C 콘텐트(1620)에 포함되는 5번 영상(1624)의 다이나믹 톤 메타 데이터를 갱신할 수 있다. 예를 들어, 프로세서(210)는 C 콘텐트(1620)에 포함되는 5번 영상(1624), 5번 영상(1624)과 인접한 10번 영상(1622) 또는 6번 영상(1626) 중 적어도 하나의 영상의 다이나믹 톤 메타 데이터에 기반하여 C 콘텐트(1620)에 포함되는 5번 영상(1624)의 다이나믹 톤 메타 데이터를 갱신할 수 있다. 일예로, 갱신된 다이나믹 톤 메타 데이터는 참조 영상의 다이나믹 톤 메타 데이터의 평균 또는 가중치가 적용된 다이나믹 톤 메타 데이터의 합을 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 인접한 영상들의 다이나믹 톤 메타 데이터의 차이가 제 2 기준 값 이하인 경우(예: 동작 1509의 '아니오'), 동작 1513에서, 인접한 영상들의 다이나믹 톤 메타 데이터를 유지할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 영상 접합 편집에 기반하여 생성된 영상 콘텐트에서 다이나믹 톤 메타 데이터를 포함하지 않는 영상 중 적어도 일부 영상에 대한 다이나믹 톤 메타 데이터를 생성할 수 있다. 일예로, 적어도 일부 영상은 영상 접합 편집에 기반하여 생성된 영상 콘텐트 내에서 각각의 원본 영상 콘텐트의 시작 위치에 대응하는 영상을 포함할 수 있다.
일 실시예에 따르면, 프로세서(210)는 도 16과 같이, 영상 접합 편집에 기반하여 생성된 C 콘텐트(1620)가 다이나믹 톤 메타 데이터를 포함하지 않는 영상을 포함하는 경우, 다이나믹 톤 메타 데이터를 포함하지 않는 영상이 원본 영상 콘텐트의 시작 영상인지 여부를 판단할 수 있다. 예를 들어, 원본 영상 콘텐트의 시작 영상은 도 16의 C 콘텐트(1620)에 포함되는 A 콘텐트(1600)의 적어도 일부(1602) 중 재생 시점이 가장 빠른 4번 영상(1630) 및/또는 B 콘텐트(1610)의 적어도 일부(1612) 중 재생 시점이 가장 빠른 5번 영상(1624)을 포함할 수 있다.
일 실시예에 따르면, 프로세서(210)는 도 16의 C 콘텐트(1620)에서 다이나믹 톤 메타 데이터를 포함하지 않는 영상이 원본 영상 콘텐트의 시작 영상인 경우, 해당 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다. 예를 들어, 프로세서(210)는 도 16의 C 콘텐트(1620)에 포함되는 A 콘텐트(1600)에서 추출한 4번 영상(1630)의 다이나믹 톤 메타 데이터가 존재하지 않는 경우, A 콘텐트(1600)에서 다이나믹 톤 메타데이터를 포함하는 다른 영상의 다이나믹 톤 메타데이터에 기반하여 C 콘텐트(1620)에 포함되는 4번 영상(1630)의 다이나믹 톤 메타 데이터를 생성할 수 있다. 일예로, C 콘텐트(1620)에 포함되는 4번 영상(1630)의 다이나믹 톤 메타 데이터는 A 콘텐트(1600)(예: 원본 영상 콘텐트)에서 4번 영상(1630)보다 재생 시점이 앞서며 다이나믹 톤 메타데이터를 포함하는 다른 영상 중 4번 영상(1630)과 가장 인접한 영상 또는 A 콘텐트(1600)에서 다이나믹 톤 메타데이터를 포함하는 다른 영상 중 4번 영상(1630)과 가장 인접한 영상의 다이나믹 톤 메타 데이터에 기반하여 생성될 수 있다.
일 실시예에 따르면, 프로세서(210)는 도 16의 C 콘텐트(1620)에서 다이나믹 톤 메타 데이터를 포함하지 않는 영상이 원본 영상 콘텐트의 시작 영상이 아닌 경우, 해당 영상에 대응하는 다이나믹 톤 메타 데이터의 생성을 제한할 수 있다. 예를 들어, 프로세서(210)는 도 16의 C 콘텐트(1620)에 포함되는 A 콘텐트(1600)에서 추출한 6번 영상의 다이나믹 톤 메타 데이터가 존재하지 않는 경우, C 콘텐트(1620)에 포함되는 6번 영상에 대응하는 다이나믹 톤 메타 데이터의 생성을 제한할 수 있다. 일예로, C 콘텐트(1620)이 인코딩되는 시점에 C 콘텐트(1620) 내에서 6번 영상보다 재생 시점이 앞선 영상(예: 4번 영상(1630) 또는 5번 영상)의 다이나믹 톤 메타 데이터는 6번 영상의 다이나믹 톤 메타 데이터로 사용(또는 복사)될 수 있다.
도 15b는 다양한 실시예들에 따른 전자 장치에서 영상 접합 기술이 적용된 영상 콘텐트의 다이나믹 톤 메타데이터를 편집하기 위한 흐름도(1530)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 예를 들어, 전자 장치는 도 1의 전자 장치(101) 또는 도 2의 전자 장치(201) 일 수 있다. 이하 설명에서 도 15b의 적어도 일부 동작은 도 16을 참조하여 설명할 것이다.
도 15b를 참조하면, 다양한 실시예들에 따르면, 전자 장치(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(210))는 동작 1531에서, 영상 접합 기술에 기반하여 다수 개의 영상 콘텐트의 적어도 일부를 추출하여 별도의 영상 콘텐트를 생성할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 16과 같이, A 콘텐트(1600)의 적어도 일부(1602)와 B 콘텐트(1610)의 적어도 일부(1612)를 추출하여 C 콘텐트(1620)를 생성할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 1533에서, 영상 접합 기술에 기반하여 생성된 별도의 영상 콘텐트에 포함되는 다수 개의 영상의 다이나믹 톤 메타 데이터의 차이를 확인할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 16의 경우, C 콘텐트(1620)에서 시간적 경계 시점에서 서로 인접한 A 콘텐트(1600)의 10번 영상(1622)과 B 콘텐트(1610)의 5번 영상(1624)의 다이나믹 톤 메타 데이터의 차이를 검출할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 1535에서, 별도의 영상 콘텐트 내에서 재생 시간이 인접한 영상들의 다이나믹 톤 메타 데이터의 차이가 제 2 기준 값을 초과하는지 확인할 수 있다. 일예로, 제 2 기준 값은 다이나믹 톤 메타 데이터의 유사 여부를 판단하기 위한 기준 값으로, 다이나믹 톤 메타 데이터에 포함되는 구문마다 다르게 설정되거나, 다이나믹 톤 메타 데이터에 포함되는 구문의 차이의 합에 대응하도록 설정될 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 재생 시간이 인접한 영상들의 다이나믹 톤 메타 데이터의 차이가 제 2 기준 값을 초과하는 경우(예: 동작 1535의 '예'), 동작 1537에서, 적어도 하나의 인접한 영상의 다이나믹 톤 메타 데이터를 갱신할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 16의 경우, C 콘텐트(1620)에 포함되는 A 콘텐트(1600)에서 추출한 10번 영상(1622)과 B 콘텐트(1610)에서 추출한 5번 영상(1624)의 다이나믹 톤 메타 데이터의 차이가 제 2 기준 값을 초과하는 경우, C 콘텐트(1620)에 포함되는 5번 영상(1624)의 다이나믹 톤 메타 데이터를 갱신할 수 있다. 예를 들어, 프로세서(210)는 C 콘텐트(1620)에 포함되는 5번 영상(1624), 5번 영상(1624)과 인접한 10번 영상(1622) 또는 6번 영상(1626) 중 적어도 하나의 영상의 다이나믹 톤 메타 데이터에 기반하여 5번 영상(1624)의 다이나믹 톤 메타 데이터를 갱신할 수 있다. 일예로, 5번 영상(1624)의 다이나믹 톤 메타 데이터는 참조 영상(예: 10번 영상(1622), 5번 영상(1624) 및/또는 6번 영상(1626))의 다이나믹 톤 메타 데이터의 평균 또는 가중치가 적용된 다이나믹 톤 메타 데이터의 합에 기반하여 갱신될 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 재생 시간이 인접한 영상들의 다이나믹 톤 메타 데이터의 차이가 제 2 기준 값 이하인 경우(예: 동작 1535의 '아니오'), 동작 1539에서, 영상 접합 기술에 기반하여 생성된 영상 콘텐트에 포함되는 영상들의 다이나믹 톤 메타 데이터를 유지할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 도 16과 같이, 영상 접합 편집 방식으로 생성된 C 콘텐트(1620)의 경우, C 콘텐트(1620)를 구성하는 시퀀스 또는 GOP(group of picture)에 기반하여 다이나믹 톤 메타 데이터를 갱신하기 위한 가중치를 설정할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 16의 C 콘텐트(1620)에서 시간적으로 연결되는 A 콘텐트(1600)에서 추출한 10번 영상(1622), B 콘텐트(1610)에서 추출한 5번 영상(1624) 및 B 콘텐트(1610)에서 추출한 6번 영상(1626)의 다이나믹 메타 데이터에 가중치를 적용하여 B 콘텐트(1610)에서 추출한 5번 영상(1624)의 다이나믹 톤 메타 데이터를 갱신할 수 있다. 일예로, B 콘텐트(1610)에서 추출한 5번 영상(1624) 및 6번 영상(1626)의 다아니믹 톤 메타 데이터는 A 콘텐트(1600)에서 추출한 10번 영상(1622)의 다이니믹 톤 메타 데이터보다 상대적으로 큰 가중치가 설정될 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 편집된 영상 콘텐트 내에서 영상들 간 다이나믹 톤 메타 데이터의 차이에 기반하여 영상들의 다이나믹 톤 메타 데이터를 지속적으로 갱신할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 16의 C 콘텐트(1620)에서 시간적 경계 시점의 영상(예: A 콘텐트(1600)의 10번 영상(1622) 또는 B 콘텐트(1610)의 5번 영상(1624))뿐만 아니라 B 콘텐트(1610)에서 추출한 다른 영상(예: B 콘텐트(1610)의 6번 영상(1626))의 다이나믹 톤 메타 데이터를 지속적으로 갱신할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 기 정의된 다이나믹 톤 메타 데이터에 기반하여 영상 콘텐트(또는 편집된 영상 콘텐트)에 포함되는 영상의 다이나믹 톤 메타 데이터를 갱신할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 16과 같이, 영상 접합 편집에 기반하여 다수 개의 영상 콘텐트(1600 및 1610)의 적어도 일부(1602 및 1612)를 연결하여 별도의 C 콘텐트(1620)를 생성할 수 있다. 프로세서(210)는 시간적 경제 시점의 이질감이 감소되도록 A 콘텐트(1600)에서 추출한 10번 영상(1622) 및/또는 B 콘텐트(1610)에서 추출한 5번 영상(1624)의 다이나믹 톤 메타 데이터를 기 정의된 다이나믹 톤 메타 데이터에 기반하여 갱신할 수 있다. 예를 들어, 프로세서(210)는 메모리(예: 도 1의 메모리(130)) 및/또는 서버(예: 도 1의 서버(108))에 저장된 다이나믹 톤 메타 데이터를 포함하는 다수 개의 영상 중 10번 영상(1622)과 매칭되는 영상을 검출할 수 있다. 일예로, 10번 영상(1622)의 다이나믹 톤 메타 데이터는 10번 영상(1622)과 매칭되는 영상의 다이나믹 톤 메타 데이터에 기반하여 갱신될 수 있다. 다른 예를 들어, 프로세서(210)는 메모리(예: 도 1의 메모리(130)) 및/또는 서버(예: 도 1의 서버(108))에 저장된 다이나믹 톤 메타 데이터를 포함하는 다수 개의 영상 중 5번 영상(1624)과 매칭되는 영상을 검출할 수 있다. 일예로, 5번 영상(1624)의 다이나믹 톤 메타 데이터는 5번 영상(1624)과 매칭되는 영상의 다이나믹 톤 메타 데이터에 기반하여 갱신될 수 있다. 일예로, 메모리 또는 서버에 저장된 다이나믹 톤 메타 데이터를 포함하는 적어도 하나의 영상은 전자 장치(201)에서 이전 시점에 생성(또는 획득)된 적어도 하나의 영상 및/또는 전문가에 의해 생성된 적어도 하나의 영상을 포함할 수 있다.
도 17은 다양한 실시예들에 따른 전자 장치에서 잘라내기 편집이 적용된 영상 콘텐트의 다이나믹 톤 메타데이터를 편집하기 위한 흐름도(1700)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 예를 들어, 전자 장치는 도 1의 전자 장치(101) 또는 도 2의 전자 장치(201) 일 수 있다. 이하 설명에서 도 17의 적어도 일부 동작은 도 18을 참조하여 설명할 것이다. 도 18은 다양한 실시예들에 따른 전자 장치에서 잘라내기 편집을 통해 영상 콘텐트를 생성하기 위한 구성이다
도 17을 참조하면, 다양한 실시예들에 따르면, 전자 장치(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(210))는 동작 1701에서, 잘라내기 편집 방식에 기반하여 제 1 영상 콘텐트의 적어도 일부를 추출하여 제 4 영상 콘텐트를 생성할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 18과 같이, A 콘텐트(1800)의 적어도 일부(1802)를 포함하는 D 콘텐트(1810)를 생성할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 1703에서, 잘라내기 편집 방식에 기반하여 생성된 제 4 영상 콘텐트에 포함되는 다수 개의 영상 중 다이나믹 톤 메타 데이터를 포함하지 않는 영상이 존재하는지 확인할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 18의 경우, D 콘텐트(1810)에서 2번 영상(1820)이 다이나믹 톤 메타 데이터를 포함하지 않는 것으로 판단할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 다이나믹 톤 메타 데이터를 포함하지 않는 적어도 하나의 영상이 존재하는 경우(예: 동작 1703의 '예'), 동작 1705에서, 다이나믹 톤 메타 데이터를 포함하지 않는 적어도 하나의 영상에 대응하는 다이나믹 톤 메타 데이터를 생성할 수 있다. 일 실시예에 따르면, 프로세서(210)는 원본 영상 콘텐트 내에서 재생 시점이 앞서며 가장 인접한 다른 영상의 다이나믹 톤 메타 데이터에 기반하여 적어도 하나의 영상에 대응하는 다이나믹 톤 메타 데이터를 생성할 수 있다. 예를 들어, 프로세서(210)는 도 18의 D 콘텐트(1810)에 포함되는 2번 영상(1820)의 원본 영상 콘텐트인 A 콘텐트(1800)에서 2번 영상(1820)보다 재생 시점이 앞서며, 다이나믹 톤 메타데이터를 포함하는 적어도 하나의 다른 영상 중 2번 영상(1820)과 재생시점이 가장 인접한 0번 영상(1632)을 확인할 수 있다. 프로세서(210)는 A 콘텐트(1800)의 0번 영상(1822)의 다이나믹 톤 메타 데이터를 복사하여 2번 영상(1820)의 다이나믹 톤 메타 데이터를 생성할 수 있다. 일 실시예에 따르면, 프로세서(210)는 원본 영상 콘텐트 내에서 재생 시점이 가장 인접한 다른 영상의 다이나믹 톤 메타 데이터에 기반하여 적어도 하나의 영상에 대응하는 다이나믹 톤 메타 데이터를 생성할 수 있다. 예를 들어, 프로세서(210)는 도 18의 A 콘텐트(1800)에서 다이나믹 톤 메타데이터를 포함하는 적어도 하나의 다른 영상(예: 0번 영상(1822) 및/또는 3번 영상(1824)) 중 2번 영상(1820)과 재생시점이 가장 인접한 3번 영상(1824)을 확인할 수 있다. 프로세서(210)는 A 콘텐트(1800)의 3번 영상(1824)의 다이나믹 톤 메타 데이터를 복사하여 2번 영상(1820)의 다이나믹 톤 메타 데이터를 생성할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 다이나믹 톤 메타 데이터를 포함하지 않는 영상이 존재하지 않는 경우(예: 동작 1703의 '아니오'), 잘라내기 편집 방식에 기반하여 생성된 제 4 영상 콘텐트를 저장할 수 있다. 일예로, 제 4 영상 콘텐트는 전자 장치(201)의 메모리(예: 도 1의 메모리(130)) 또는 서버(예: 도 1의 서버(108))에 저장될 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 잘라내기 편집에 기반하여 생성된 영상 콘텐트에서 다이나믹 톤 메타 데이터를 포함하지 않는 영상 중 적어도 일부 영상에 대한 다이나믹 톤 메타 데이터를 생성할 수 있다. 일예로, 적어도 일부 영상은 잘라나개 편집에 기반하여 생성된 영상 콘텐트 내에서 원본 영상 콘텐트의 시작 위치에 대응하는 영상을 포함할 수 있다.
일 실시예에 따르면, 프로세서(210)는 도 18과 같이, 잘라내기 편집에 기반하여 생성된 D 콘텐트(1810)가 다이나믹 톤 메타 데이터를 포함하지 않는 영상을 포함하는 경우, 다이나믹 톤 메타 데이터를 포함하지 않는 영상이 원본 영상 콘텐트(예: A 콘텐트(1800))의 시작 영상인지 여부를 판단할 수 있다. 예를 들어, 원본 영상 콘텐트의 시작 영상은 도 18의 D 콘텐트(1810)에 포함되는 A 콘텐트(1800)의 적어도 일부(1802) 중 재생 시점이 가장 빠른 2번 영상(1820)을 포함할 수 있다.
일 실시예에 따르면, 프로세서(210)는 도 18의 D 콘텐트(1810)에서 다이나믹 톤 메타 데이터를 포함하지 않는 영상이 원본 영상 콘텐트의 시작 영상인 경우, 해당 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다. 예를 들어, 프로세서(210)는 도 18의 D 콘텐트(1810)에 포함되는 2번 영상(1820)의 다이나믹 톤 메타 데이터가 존재하지 않는 경우, A 콘텐트(1800)에서 다이나믹 톤 메타데이터를 포함하는 다른 영상의 다이나믹 톤 메타데이터에 기반하여 2번 영상(1820)의 다이나믹 톤 메타 데이터를 생성할 수 있다. 일예로, 2번 영상(1820)의 다이나믹 톤 메타 데이터는 A 콘텐트(1800)에서 2번 영상(1820)보다 재생 시점이 앞서며 다이나믹 톤 메타데이터를 포함하는 다른 영상 중 2번 영상(1820)과 가장 인접한 영상 또는 A 콘텐트(1800)에서 다이나믹 톤 메타데이터를 포함하는 다른 영상 중 2번 영상(1820)과 가장 인접한 영상의 다이나믹 톤 메타 데이터에 기반하여 생성될 수 있다.
일 실시예에 따르면, 프로세서(210)는 도 18의 D 콘텐트(1810)에서 다이나믹 톤 메타 데이터를 포함하지 않는 영상이 원본 영상 콘텐트의 시작 영상이 아닌 경우, 해당 영상에 대응하는 다이나믹 톤 메타 데이터의 생성을 제한할 수 있다. 예를 들어, 프로세서(210)는 도 18의 D 콘텐트(1810)에 포함되는 4번 영상의 다이나믹 톤 메타 데이터가 존재하지 않는 경우, 4번 영상에 대응하는 다이나믹 톤 메타 데이터의 생성을 제한할 수 있다. 일예로, D 콘텐트(1810)이 인코딩되는 시점에 D 콘텐트(1810) 내에서 4번 영상보다 재생 시점이 앞선 영상(예: 2번 영상(1820) 또는 3번 영상)의 다이나믹 톤 메타 데이터는 4번 영상의 다이나믹 톤 메타 데이터로 사용(또는 복사)될 수 있다.
다양한 실시예들에 따르면, 전자 장치(201)는 영상 접합 기술 또는 잘라내기 편집 방식을 적용하여 생성된 영상 콘텐트에서 다수 개의 다른 영상에 기반하여 다이나믹 톤 메타 데이터를 포함하지 않는 영상의 다이나믹 톤 메타 데이터를 생성할 수도 있다. 일 실시예에 따르면, 프로세서(210)는 원본 영상 콘텐트 내에서 다이나믹 톤 메타 데이터를 포함하는 다른 영상이 다수 개인 경우, 다른 영상들의 다아니믹 톤 메타 데이터의 평균에 기반하여 다이나믹 톤 메타 데이터를 포함하지 않는 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다. 일 실시예에 따르면, 프로세서(210)는 원본 영상 콘텐트 내에 포함되는 다이나믹 톤 메타 데이터를 포함하는 다른 영상에 다이나믹 톤 메타 데이터를 포함하지 않는 영상과의 재생 시점의 차에 대응하는 가중치를 적용하여 다이나믹 톤 메타 데이터를 포함하지 않는 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다.
도 19는 다양한 실시예들에 따른 전자 장치에서 편집 영상의 다이나믹 톤 메타 데이터를 갱신하기 위한 흐름도(1900)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 예를 들어, 전자 장치는 도 1의 전자 장치(101) 또는 도 2의 전자 장치(201) 일 수 있다.
도 19를 참조하면, 다양한 실시예들에 따르면, 전자 장치(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(210))는 동작 1901에서, 영상 편집 방식(예: 스케일링, 객체 삽입 또는 필터링)에 기반하여 영상 콘텐트에 포함되는 적어도 하나의 영상을 편집할 수 있다. 일 실시예에 따르면, 프로세서(210)는 스케일링 편집 방식에 기반하여 영상 콘텐트의 포함되는 적어도 하나의 영상의 전체 또는 적어도 일부 영역의 크기를 확대 또는 축소할 수 있다. 일 실시예에 따르면, 프로세서(210)는 객체 삽입 편집 방식에 기반하여 영상 콘텐트의 포함되는 적어도 하나의 영상의 적어도 일부 영역에 그래픽 데이터 또는 텍스트를 삽입할 수 있다. 일 실시예에 따르면, 프로세서(210)는 필터링 편집 방식에 기반하여 영상 콘텐트의 포함되는 적어도 하나의 영상의 전체 또는 적어도 일부 영역을 필터링할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 1903에서, 메모리(예: 도 1의 메모리(130)) 또는 서버(예: 도 1의 서버(108))에 저장된 다이나믹 톤 메타 데이터를 포함하는 영상들 중 편집된 영상에 매칭되는 영상을 검출할 수 있다. 일 실시예에 따르면, 프로세서(210)는 메모리 또는 서버에 저장된 영상들 중 편집된 영상과의 차이가 가장 작은 영상을 편집된 영상에 매칭되는 영상으로 선택할 수 있다. 일예로, 편집된 영상과의 차이는 메모리 또는 서버에 저장된 영상과 편집된 영상의 픽셀 값의 차이 또는 특징 점의 차이를 포함할 수 있다. 일예로, 메모리 또는 서버에 저장된 영상은 전자 장치(201)에서 카메라(예: 도 1의 카메라 모듈(180))를 이용하여 기 생성된 적어도 하나의 영상 및/또는 전문가에 의해 생성된 적어도 하나의 영상을 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 1905에서, 편집된 영상에 매칭되는 영상의 다이나믹 톤 메타 데이터를 확인할 수 있다. 일예로, 편집된 영상에 매칭되는 영상은 메모리 또는 서버에 저장된 영상들 중 편집된 영상과의 차이가 제 1 기준 값 이하인 영상을 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 동작 1907에서, 편집된 영상에 매칭되는 영상의 다이나믹 톤 메타 데이터에 기반하여 편집된 영상의 다이나믹 톤 메타 데이터를 생성할 수 있다. 일 실시예에 따르면, 프로세서(210)는 편집된 영상과 매칭되는 영상의 다아나믹 톤 메타 데이터를 복사하여 편집된 영상의 다이나믹 톤 메타 데이터를 갱신할 수 있다. 일예로, 프로세서(210)는 영상 콘텐트 내에서 편집된 모든 영상의 다이나믹 톤 메타 데이터를 갱신할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 영상 편집 방식에 기반하여 편집된 영상의 다이나믹 톤 메타 데이터를 해당 영상 편집 방식에 대응하도록 갱신할 수 있다. 일 실시예에 따르면, 프로세서(210)는 스케일링 방식에 기반하여 영상 콘텐트에 포함되는 적어도 하나의 영상의 크기를 확대한 경우, 확대된 적어도 하나의 영상의 다이나믹 톤 메타 데이터를 확대된 영상에 대응하도록 갱신할 수 있다.
도 20a 내지 도 20c는 다양한 실시예들에 따른 전자 장치에서 영상 콘텐트의 인코딩 방식이다. 예를 들어, 전자 장치는 도 1의 전자 장치(101) 또는 도 2의 전자 장치(201) 일 수 있다.
다양한 실시예들에 따르면, 영상 콘텐트에서 다이나믹 톤 메타 데이터를 포함하는 영상들의 비트 스트림은 도 20a와 같이 구성될 수 있다. 일예로, 각각의 영상(2000 내지 2030)은 영상 데이터(P0, P1, P2, P3)의 앞에 다이나믹 톤 메타 데이터(M0, M1, M2, M3)가 위치하는 형태로 구성될 수 있다. 예를 들어, 다이나믹 톤 메타 데이터는 HDR 10+의 경우, SEI(supplemental enhancement information)에 포함될 수 있다. 일예로, 영상 콘텐트의 각 영상(2000 내지 2030)의 POC(picture of count)는 표시 순서(display order)를 나타내는 것으로, 슬라이스 헤더(slice header)에 포함될 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 FRC 편집 방식에 기반하여 적어도 하나의 추가 영상을 영상 콘텐트에 삽입할 수 있다. 일 실시예에 따르면, 프로세서(210)는 도 20b와 같이, 0.5 번째 영상(2040), 1.5 번째 영상(2042) 및 2.5 번째 영상(2044)를 생성하여 영상 콘텐트에 삽입할 수 있다. 일예로, 각각의 추가 영상(2040, 2042 또는 2044)은 영상 데이터(P0.5, P1.5 또는 P2.5)의 앞단에 다이나믹 톤 메타 데이터(M0.5, M1.5 또는 M2.5)가 위치하는 형태로 구성될 수 있다. 일 실시예에 따르면, 영상 콘텐트는 시간 축을 기준으로 추가 영상들(2040, 2042 및 2044)이 삽입됨에 따라 도 20a와 같이 설정된 영상들(2000 내지 2030)의 POC가 변경될 수 있다. 예를 들어, 추가 영상들(2040, 2042 및 2044)은 표시 순서에 기반하여 POC가 1, 3 및 5로 설정되고, 원영상들(2010 내지 2030)의 POC가 2, 4 및 6으로 변경될 수 있다(2012 내지 2032).
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 FRC 편집 방식에 기반하여 영상 콘텐트에 삽입한 추가 영상들(2040, 2042 및 2044)을 원 영상의 비트스트림에 추가하여 인코딩할 수 있다. 일 실시예에 따르면, 영상 콘텐트의 원영상들(2000 내지 2030)은 도 20a와 같이, 0번째 영상(2000)이 인트라 픽쳐(예: I 픽쳐)로 인코딩되고, 1번째 영상(2010), 2번째 영상(2020) 및 3번째 영상(2030)은 P 픽쳐로 인코딩될 수 있다. 일예로, 3번째 영상(2030)은 2번째 영상(2020)을 참조하고, 2번째 영상(2020)은 1번째 영상(2010)을 참조하고, 1번째 영상(2010)은 0번째 영상(2000)을 참조하는 형태로 인코딩 될 수 있다. 일 실시예에 따르면, 영상 콘텐트에 삽입된 추가 영상들(2040, 2042 및 2044)은 원영상(2000, 2010, 2020 및 2030)의 비트스트림에 추가되어 인코딩될 수 있다. 예를 들어, 추가 영상들(2040, 2042 및 2044)은 인트라 픽쳐로 인코딩될 수 있다. 다른 예를 들어, 추가 영상들(2040, 2042 및 2044)은 P 픽쳐로 0번째 영상(2000)을 참조하여 인코딩될 수 있다. 또 다른 예를 들어, 추가 영상들(2040, 2042 및 2044)은 P 픽쳐로 앞선 POC의 영상을 참조하는 방식으로 인코딩될 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(120 또는 210))는 FRC 편집 방식에 기반하여 영상 콘텐트에 삽입한 추가 영상들(2040, 2042 및 2044)을 도 20c와 같이, 원 영상과 독립적으로 인코딩할 수 있다. 일 실시예에 따르면, 영상 콘텐트의 추가 영상들(2060, 2062 및 2064)은 도 20c와 같이, 1번째 영상(2060)이 인트라 픽쳐(예: I 픽쳐)로 인코딩되고, 3번째 영상(2062) 및 5번째 영상(2064)은 P 픽쳐로 인코딩될 수 있다. 일예로, 5번째 영상(2064)은 3번째 영상(2062)을 참조하고, 3번째 영상(2062)은 1번째 영상(2060)을 참조하는 형태로 인코딩 될 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시예들은 본 발명의 실시예에 따른 기술 내용을 쉽게 설명하고 본 발명의 실시예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 실시예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 다양한 실시예의 범위는 여기에 개시된 실시예들 이외에도 본 발명의 다양한 실시예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시예의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 전자 장치에 있어서,
    표시 장치; 및
    상기 표시 장치와 작동적으로 연결되는 적어도 하나의 프로세서를 포함하며,
    상기 적어도 하나의 프로세서는,
    영상 콘텐트에 포함되는 다수 개의 영상 중 시간적으로 연결되는 제 1 영상과 제 2 영상의 사이에 삽입하기 위한 제 3 영상을 생성하고,
    상기 제 1 영상 및 상기 제 2 영상의 다이나믹 톤 메타데이터에 기반하여 상기 제 3 영상의 다이나믹 톤 메타데이터를 생성하고,
    상기 제 3 영상 및 상기 제 3 영상의 다이나믹 톤 메타데이터가 추가된 상기 영상 콘텐트를 저장하는 전자 장치.
  2. 제 1항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 제 1 영상 및 상기 제 2 영상의 다이나믹 톤 메타데이터의 평균에 기반하여 상기 제 3 영상의 다이나믹 톤 메타데이터를 생성하는 전자 장치.
  3. 제 1항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 제 1 영상 및 상기 제 2 영상의 참조 비율, 상기 제 1 영상 및 상기 제 2 영상과 상기 제 3 영상 사이의 시간 간격, 상기 제 1 영상과 상기 제 2 영상 및 상기 제 3 영상이 포함되는 시퀀스 또는 상기 제 1 영상과 상기 제 2 영상 및 상기 제 3 영상이 포함되는 GOP(group of picture) 정보 중 적어도 하나에 기반하여 상기 제 1 영상과 상기 제 2 영상에 대응하는 가중치를 확인하고,
    상기 제 1 영상과 상기 제 2 영상의 다이나믹 톤 메타데이터에 상기 가중치를 적용하여 상기 제 3 영상의 다이나믹 톤 메타데이터를 생성하는 전자 장치.
  4. 제 1항에 있어서,
    다이나믹 톤 메타 데이터를 포함하는 다수 개의 영상을 저장하는 메모리를 더 포함하며,
    상기 적어도 하나의 프로세서는,
    상기 메모리에 저장된 상기 다수 개의 영상 또는 다른 전자 장치에 저장된 다수 개의 영상 중 상기 제 3 영상에 대응하는 영상을 선택하고,
    상기 제 3 영상에 대응하는 영상의 다이나믹 톤 메타데이터를 상기 제 3 영상의 다이나믹 톤 메타데이터로 설정하는 전자 장치.
  5. 제 1항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 제 1 영상과 상기 제 2 영상의 차이가 지정된 조건을 만족하는 경우, 상기 제 2 영상에 기반하여 상기 제 3 영상을 생성하고,
    상기 제 1 영상과 상기 제 2 영상의 차이가 상기 지정된 조건을 만족하지 않는 경우, 상기 제 1 영상 및 상기 제 2 영상에 기반하여 상기 제 3 영상을 생성하는 전자 장치.
  6. 제 5항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제 2 영상에 기반하여 상기 제 3 영상을 생성한 경우, 상기 제 2 영상의 다이나믹 톤 메타데이터를 상기 제 3 영상의 다이나믹 톤 메타데이터로 설정하는 전자 장치.
  7. 전자 장치에 있어서,
    표시 장치; 및
    상기 표시 장치와 작동적으로 연결되는 적어도 하나의 프로세서를 포함하며,
    상기 적어도 하나의 프로세서는,
    하나 또는 그 이상의 영상 콘텐트에 포함되는 적어도 하나의 영상을 추출하여 제 1 영상 콘텐트를 생성하고,
    상기 제 1 영상 콘텐트에 포함되는 적어도 하나의 영상 중 다이나믹 톤 메타 데이터를 포함하지 않는 제 1 영상이 존재하는 경우, 상기 하나 또는 그 이상의 영상 콘텐트 중 상기 제 1 영상이 포함되는 원본 영상 콘텐트를 확인하고,
    상기 원본 영상 콘텐트에 포함되는 다수 개의 영상 중 다이나믹 톤 메타 데이터를 포함하는 적어도 하나의 영상을 확인하고,
    상기 다이나믹 톤 메타 데이터를 포함하는 적어도 하나의 영상 중 재생 시점이 지정된 조건을 만족하는 영상을 선택하고,
    상기 선택된 영상의 다이나믹 톤 메타 데이터에 기반하여 상기 제 1 영상의 다이나믹 톤 메타 데이터를 생성하는 전자 장치.
  8. 제 7항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 원본 영상 콘텐트에 포함되는 다이나믹 톤 메타 데이터를 포함하는 적어도 하나의 영상 중 상기 제 1 영상보다 재생 시점이 앞서는 적어도 하나의 영상을 확인하고,
    상기 제 1 영상보다 재생 시점이 앞서는 적어도 하나의 영상 중 재생 시점이 상기 제 1 영상과 가장 근접한 영상을 선택하는 전자 장치.
  9. 제 7항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 원본 영상 콘텐트에 포함되는 다이나믹 톤 메타 데이터를 포함하는 적어도 하나의 영상 중 재생 시점이 상기 제 1 영상과 가장 근접한 영상을 선택하는 전자 장치.
  10. 제 7항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 선택된 영상의 다이나믹 톤 메타 데이터를 복사하여 상기 제 1 영상의 다이나믹 톤 메타 데이터를 생성하는 전자 장치.
  11. 제 7항에 있어서,
    상기 적어도 하나의 프로세서는, 제 2 영상 콘텐트에 포함되는 적어도 하나의 영상을 추출하여 상기 제 1 영상 콘텐트를 생성하는 전자 장치.
  12. 제 7항에 있어서,
    상기 적어도 하나의 프로세서는, 제 2 영상 콘텐트에 포함되는 적어도 하나의 영상과 제 3 영상 콘텐트에 포함되는 적어도 하나의 영상을 시간적으로 연결하여 상기 제 1 영상 콘텐트를 생성하는 전자 장치.
  13. 제 12항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 제 1 영상 콘텐트 내에서 시간적으로 연결되는 상기 제 2 영상 콘텐트에 포함되는 적어도 하나의 영상 중 마지막인 제 2 영상과 상기 제 3 영상 콘텐트에 포함되는 적어도 하나의 영상 중 첫 번째인 제 3 영상의 다이나믹 톤 메타데이터를 비교하고,
    상기 제 2 영상과 상기 제 3 영상의 다이나믹 톤 메타데이터의 차이가 지정된 조건을 만족하는 경우, 상기 제 2 영상의 다이나믹 톤 메타 데이터에 기반하여 상기 제 3 영상의 다이나믹 톤 메타데이터를 갱신하는 전자 장치.
  14. 제 13항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제 2 영상과 상기 제 3 영상의 다이나믹 톤 메타데이터의 차이가 상기 지정된 조건을 만족하는 경우, 상기 제 2 영상, 상기 제 3 영상 또는 상기 제 3 영상과 시간적으로 연결되는 제 4 영상 중 적어도 하나의 영상의 다이나믹 톤 메타 데이터에 기반하여 상기 제 3 영상의 다이나믹 톤 메타 데이터를 갱신하는 전자 장치.
  15. 제 14항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 제 2 영상, 상기 제 3 영상 또는 상기 제 4 영상 중 적어도 두 개의 영상들의 다이나믹 톤 메타 데이터의 평균에 기반하여 상기 제 3 영상의 다이나믹 톤 메타 데이터를 갱신하는 전자 장치.
  16. 제 14항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 제 2 영상, 상기 제 3 영상 및 상기 제 4 영상이 포함되는 시퀀스 또는 상기 제 2 영상, 상기 제 3 영상 및 상기 제 4 영상이 포함되는 GOP(group of picture) 정보 중 적어도 하나에 기반하여 상기 제 2 영상, 상기 제 3 영상 및 상기 제 4 영상에 대응하는 가중치를 확인하고,
    상기 제 2 영상, 상기 제 3 영상 또는 상기 제 4 영상 중 적어도 하나의 영상의 다이나믹 톤 메타데이터에 상기 가중치를 적용하여 상기 제 3 영상의 다이나믹 톤 메타데이터를 갱신하는 전자 장치.
  17. 제 13항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 제 2 영상과 상기 제 3 영상의 다이나믹 톤 메타데이터의 차이가 상기 지정된 조건을 만족하지 않는 경우, 상기 제 3 영상의 다이나믹 톤 메타데이터를 유지하는 전자 장치
  18. 전자 장치에 있어서,
    다이나믹 톤 메타 데이터를 포함하는 다수 개의 영상을 저장하는 메모리;
    표시 장치; 및
    상기 메모리 및 상기 표시 장치와 작동적으로 연결되는 적어도 하나의 프로세서를 포함하며,
    상기 적어도 하나의 프로세서는,
    영상 편집에 기반하여 영상 콘텐트에 포함되는 다수 개의 영상 중 제1 영상을 갱신하고,
    상기 메모리에 저장된 상기 다수 개의 영상 또는 다른 전자 장치에 저장된 다수 개의 영상 중 상기 갱신된 제 1 영상에 대응하는 제 2 영상을 선택하고,
    상기 갱신된 제 1 영상에 대응하는 상기 제 2 영상의 다이나믹 톤 메타데이터에 기반하여 상기 갱신된 제 1 영상의 다이나믹 톤 메타데이터를 갱신하는 전자 장치.
  19. 제 18항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 갱신된 제 1 영상에 대응하는 상기 제 2 영상의 다이나믹 톤 메타데이터를 복사하여 상기 갱신된 제 1 영상의 다이나믹 톤 메타데이터를 설정하는 전자 장치.
  20. 제 18항에 있어서,
    상기 영상 편집은, 스케일링, 객체 삽입, 또는 필터링 중 적어도 하나를 포함하는 전자 장치.
KR1020190176520A 2019-12-27 2019-12-27 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법 KR20210083840A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020190176520A KR20210083840A (ko) 2019-12-27 2019-12-27 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법
US17/106,973 US11669944B2 (en) 2019-12-27 2020-11-30 Electronic device for video editing with dynamic tone metadata and operation method thereof
PCT/KR2020/017674 WO2021132932A1 (en) 2019-12-27 2020-12-04 Electronic device for video editing with dynamic tone metadata and operation method thereof
CN202080089865.3A CN114846809A (zh) 2019-12-27 2020-12-04 具有动态色调元数据的视频编辑的电子装置及其运行方法
EP20904583.0A EP4014505A4 (en) 2019-12-27 2020-12-04 ELECTRONIC VIDEO EDITING DEVICE WITH DYNAMIC TONE METADATA AND METHOD OF OPERATION

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190176520A KR20210083840A (ko) 2019-12-27 2019-12-27 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
KR20210083840A true KR20210083840A (ko) 2021-07-07

Family

ID=76546424

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190176520A KR20210083840A (ko) 2019-12-27 2019-12-27 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법

Country Status (5)

Country Link
US (1) US11669944B2 (ko)
EP (1) EP4014505A4 (ko)
KR (1) KR20210083840A (ko)
CN (1) CN114846809A (ko)
WO (1) WO2021132932A1 (ko)

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008244820A (ja) 2007-03-27 2008-10-09 Sharp Corp 映像表示システム及び映像出力装置
WO2010105036A1 (en) * 2009-03-13 2010-09-16 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
US8737738B2 (en) 2010-02-19 2014-05-27 Thomson Licensing Parameters interpolation for high dynamic range video tone mapping
EP2539895B1 (en) * 2010-02-22 2014-04-09 Dolby Laboratories Licensing Corporation Video display with rendering control using metadata embedded in the bitstream.
WO2012012446A2 (en) 2010-07-22 2012-01-26 Dolby Laboratories Licensing Corporation System, apparatus and methods for mapping between video ranges of image data and display
US20140176745A1 (en) 2012-12-21 2014-06-26 Nvidia Corporation Approach for camera control
KR101775938B1 (ko) * 2013-07-30 2017-09-07 돌비 레버러토리즈 라이쎈싱 코오포레이션 장면 안정 메타데이터를 발생하기 위한 시스템 및 방법들
CN105379263B (zh) * 2013-11-13 2017-09-22 杜比实验室特许公司 用于指导图像的显示管理的方法和设备
US10271054B2 (en) * 2014-02-25 2019-04-23 Apple, Inc. Display-side adaptive video processing
JP2016059015A (ja) 2014-09-12 2016-04-21 株式会社東芝 画像出力装置
US10432946B2 (en) 2014-12-23 2019-10-01 Apple Inc. De-juddering techniques for coded video
KR102638468B1 (ko) * 2015-05-06 2024-02-21 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10007412B2 (en) * 2015-06-24 2018-06-26 Samsung Electronics Co., Ltd. Tone mastering system with creative intent metadata
US10412462B2 (en) 2016-11-08 2019-09-10 Ati Technologies Ulc Video frame rate conversion using streamed metadata
US10803641B2 (en) * 2017-01-05 2020-10-13 Hulu, LLC Derivation and application of color accents for images in a video delivery system interface
EP3688978B1 (en) * 2017-09-28 2021-07-07 Dolby Laboratories Licensing Corporation Frame-rate-conversion metadata
KR102495753B1 (ko) * 2017-10-10 2023-02-03 삼성전자주식회사 카메라를 이용하여 획득한 원시 이미지를 외부 전자 장치를 이용하여 처리하는 방법 및 전자 장치
JP6528290B1 (ja) * 2017-12-06 2019-06-12 株式会社大都技研 遊技台
CN108053381B (zh) 2017-12-22 2022-04-22 深圳创维－Rgb电子有限公司 动态色调映射方法、移动终端及计算机可读存储介质
KR102550846B1 (ko) 2018-03-06 2023-07-05 삼성디스플레이 주식회사 이미지-적응 톤 맵핑 방법 및 이를 채용한 표시 장치
KR102489265B1 (ko) * 2018-04-10 2023-01-17 엘지전자 주식회사 비디오 신호를 처리하는 멀티미디어 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
US20210201455A1 (en) 2021-07-01
CN114846809A (zh) 2022-08-02
EP4014505A4 (en) 2022-10-19
WO2021132932A1 (en) 2021-07-01
EP4014505A1 (en) 2022-06-22
US11669944B2 (en) 2023-06-06

Similar Documents

Publication Publication Date Title
KR102495753B1 (ko) 카메라를 이용하여 획득한 원시 이미지를 외부 전자 장치를 이용하여 처리하는 방법 및 전자 장치
KR102495763B1 (ko) 제1 이미지 처리 방식으로 보정된 이미지를 제2 이미지 처리 방식을 이용하여 외부 전자 장치에서 보정하기 위한 전자 장치 및 방법
KR102386385B1 (ko) 전자 장치 및 전자 장치의 이미지 압축 방법
KR20200092631A (ko) 슬로 모션 영상 생성 방법 및 장치
TWI709331B (zh) 經由多視圖壓縮/解壓縮減少記憶體頻寬的系統與方法
KR102330264B1 (ko) 움직임 정보에 기반하여 동영상을 재생하기 위한 장치 및 그의 동작 방법
KR20210101009A (ko) 복수의 카메라를 이용한 동영상 촬영 방법 및 그 장치
US11922607B2 (en) Electronic device for processing image and image processing method thereof
KR20210038129A (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
KR102422448B1 (ko) 이미지와 관련된 링크 정보를 이용하여 외부 전자 장치와 이미지를 공유하는 방법 및 전자 장치
KR20210100853A (ko) 이미지를 저장하는 전자 장치 및 방법
US10958833B2 (en) Electronic device for controlling frame rate of image sensor and method thereof
KR20190065066A (ko) 전자 장치 및 그의 이미지 획득 방법
KR20210083840A (ko) 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법
US11825235B2 (en) Electronic device for processing image and image processing method thereof
KR102434417B1 (ko) 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터의 크기에 기반하여, 이미지 데이터 및 이미지 촬영의 제어와 관련된 데이터를 전송하는 방법 및 이를 지원하는 전자 장치
KR20190065096A (ko) 이미지 합성 방법 및 장치
KR20210101571A (ko) 이미지의 생성 방법 및 그 전자 장치
KR20210056733A (ko) 스트리밍 데이터를 제공하는 전자 장치 및 그 작동 방법
KR20210101790A (ko) 전자 장치 및 전자 장치의 타임 랩스 영상 생성 방법
JP6207203B2 (ja) 表示制御装置、表示制御装置の制御方法、プログラム及び記録媒体
KR20220090178A (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
KR20190108833A (ko) 카메라를 이용하여 획득한 이미지에 대한 복원 정보를 이용하여 압축 처리하는 전자 장치 및 방법
KR20210053096A (ko) 프리뷰를 제공하는 방법 및 프리뷰를 표시하는 전자 장치
KR20200094525A (ko) 서로 연관된 복수의 데이터를 포함하는 하나의 파일을 처리하는 전자 장치