KR20170021384A - 장면 안정 메타데이터를 발생하기 위한 시스템 및 방법들 - Google Patents
장면 안정 메타데이터를 발생하기 위한 시스템 및 방법들 Download PDFInfo
- Publication number
- KR20170021384A KR20170021384A KR1020177004730A KR20177004730A KR20170021384A KR 20170021384 A KR20170021384 A KR 20170021384A KR 1020177004730 A KR1020177004730 A KR 1020177004730A KR 20177004730 A KR20177004730 A KR 20177004730A KR 20170021384 A KR20170021384 A KR 20170021384A
- Authority
- KR
- South Korea
- Prior art keywords
- scene
- metadata
- video
- stability
- scenes
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 2
- 238000009877 rendering Methods 0.000 abstract description 6
- 230000006641 stabilisation Effects 0.000 abstract description 6
- 238000011105 stabilization Methods 0.000 abstract description 6
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000013507 mapping Methods 0.000 description 24
- 238000004519 manufacturing process Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 238000005562 fading Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000035987 intoxication Effects 0.000 description 2
- 231100000566 intoxication Toxicity 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000019646 color tone Nutrition 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
- G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
- G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
비디오 데이터 스트림에 대한 장면 안정 메타데이터를 발생하여 적용하기 위한 방법들 및 시스템들이 본 명세서에 개시된다. 비디오 데이터 스트림은 장면들로 나뉘거나 분할되고 제 1 세트의 메타데이터가 비디오 데이터의 주어진 장면에 대해 발생될 수 있다. 상기 제 1 세트의 메타데이터는 (예를 들면, 휘도) 비디오 콘텐트의 원하는 기능으로서 어떠한 공지된 메타데이터가 될 수 있다. 상기 제 1 세트의 메타데이터는 프레임 단위로 발생될 수 있다. 한 실시예에 있어서, 상기 장면에 대한 상기 제 1 세트의 메타데이터와는 다를 수 있는 장면 안정 메타데이터가 발생될 수 있다. 상기 장면 안정 메타데이터는 상기 장면으로 원하는 특징을 모니터링함으로써 발생될 수 있으며, 수용가능한 범위의 값들 내에 상기 원하는 특징을 유지하도록 사용될 수 있다. 이러한 것은 비디오 데이터를 렌더링할 때 현저하고 아마도 못마땅한 시각적 아티팩트들을 피하게 할 수 있다.
Description
본 출원은 2013년 7월 30일 출원된 미국 가 출원 번호 61/859,956에 대한 우선권을 주장하며, 그 전체가 본 명세서에 참조로 포함되어 있다.
본 발명은 비디오 컨텐트 생성 및 렌더링에 관한 것이며, 특히 타겟 디스플레이들에 대한 비디오 데이터의 렌더링을 개선하기 위한 연관된 메타데이터를 생성하기 위한 시스템들 및 방법들에 관한 것이다.
비디오 파일에서 메타데이터는 일반적으로 매 프레임마다 또는 키 프레임들 동안 발생된다. 하지만, 많은 경우들에 있어서, 비디오 재생이 비디오 컨텐트의 시청자(viewer)에게 불쾌한 아티팩트들을 갖게 할 수 있다. 이들 아티팩트들은 예를 들면 어떤 공통적인 특징들을 가질 수 있는 장면들에 대해서 처럼, 장면들 사이에서 현저하게(noticeable) 될 수 있다. 예를 들면, 카메라가 공간과 시간에서 이동하는, 예를 들면 불빛이 어두운 방에서의 한 순간과 야외에서 햇빛이 비치는 공간으로 이동하는 단일 배우의 비디오를 캡처할 수 있다.
그러한 주변 조건들의 변경은 시청자에게 현저한 아티팩트들을 초래할 수 있다(예를 들면, 상기한 배우의 얼굴 색조들(facial color tones)을 변화시킴). 이러한 것은, 예를 들면 휘도, 색 영역(gamut) 등에 대한 그 실행에 관해 제한들을 가질 수 있는 타겟 디스플레이 상에 비디오 컨텐트가 디스플레이될 때 특히 현저한 아티팩트들을 초래할 수 있다. (디렉터 또는 포스트-프로덕션 전문가와 같은) 콘텐트 생성자에 의해, 장면 기반의 메타데이터를 생성함으로써 그러한 아티팩트들을 완화시킬 수 있다.
원하는 비디오 데이터 스트림에 대한 장면 안정 메타데이터(scene-stable metadata)를 발생하여 적용하기 위한 방법들 및 시스템들이 본 명세서에 개시된다. 비디오 데이터 스트림이 장면들로 나뉘거나 분할되고 제 1 세트의 메타데이터가 비디오 데이터의 주어진 장면에 대해 발생될 수 있는 시스템들 및/또는 방법들이 제공된다. 상기 제 1 세트의 메타데이터는 (예를 들면, 휘도, 색 영역 등과 같은) 비디오 콘텐트의 원하는 기능으로서 어떠한 공지된 메타데이터가 될 수 있다. 상기 제 1 세트의 메타데이터는 프레임 단위로 발생될 수 있다. 한 실시예에 있어서, 상기 장면에 대한 상기 제 1 세트의 메타데이터와는 다를 수 있는 장면 안정 메타데이터가 발생될 수 있다. 상기 장면 안정 메타데이터는 상기 장면으로 원하는 특징을 모니터링함으로써 발생될 수 있으며, 수용가능한 범위의 값들 내에 상기 원하는 특징을 유지하도록 사용될 수 있다. 이러한 것은 비디오 데이터를 렌더링할 때 현저하고 아마도 못마땅한 시각적 아티팩트들을 피하게 할 수 있다.
한 실시예에 있어서, 비디오 데이터 스트림에 장면 안정 메타데이터를 사용하기 위한 방법은: 상기 비디오 데이터 스트림을 장면들의 세트로 분할하는 단계와; 상기 장면들의 세트 내의 제 1 장면과 연관된 제 1 메타데이터를 발생하는 단계와; 장면 안정 메타데이터를 발생하는 단계와; 상기 장면 안정 메타데이터를 상기 제 1 장면과 연관시키는 단계를 구비한다.
또 다른 실시예에 있어서, 비디오 데이터에 대해 장면 안정 메타데이터를 사용하기 위한 시스템은: 프로세서와; 상기 프로세서와 연관된 메모리를 구비하고, 상기 메모리는 또한 상기 프로세서가 프로세서-판독 가능한 명령들을 판독할 때 상기 프로세서로 하여금: 장면들의 세트를 구비하는 비디오 데이터 스트림을 수신하고; 상기 장면들의 세트에 대해 상기 장면들의 세트와 연관된 제 1 메타데이터를 발생하고; 장면 안정 메타데이터의 세트를 발생하고; 적어도 하나의 장면에 대해 장면 안정 메타데이터를 상기 적어도 하나의 장면과 연관시키는 지시들을 실행하도록 하는 상기 프로세서-판독 가능한 명령들을 구비한다.
또 다른 실시예에 있어서, 비디오 프로세서는: 프로세서와; 상기 프로세서와 연관된 메모리를 구비하고, 상기 메모리는 또한 상기 프로세서가 프로세서-판독 가능한 명령들을 판독할 때 상기 프로세서로 하여금: 장면들의 세트를 구비하는 인입하는 비디오 데이터 스트림을 수신하고; 적어도 하나의 장면과 연관된 제 1 세트의 메타데이터를 수신하고; 장면 커트가 상기 인입하는 비디오 데이터 스트림의 실질적으로 다음 프레임인 표시(indication)를 수신하고; 장면 안정 메타데이터를 수신하고; 상기 장면 안정 메타데이터를 상기 인입하는 비디오 데이터 스트림의 실질적으로 다음 프레임과 연관시키는 지시들을 실행하도록 하는 상기 프로세서-판독 가능한 명령들을 구비한다.
본 시스템의 다른 특징들 및 이점들은 본 출원 내에 제공된 도면들과 관련하여 나타낸 상세한 설명에서 하기에 설명된다.
예시적인 실시예들이 도면들을 참조하여 설명된다. 여기에 개시된 실시예들 및 도면들은 제한하려는 것이 아니라 설명하기 위한 것으로 고려되도록 의도되었다.
도 1은 본 출원의 원리들에 따라 이루어진 비디오 파이프라인 시스템의 환경 및 구성의 한 실시예를 도시하는 도면.
도 2a 및 도 2b는 본 출원의 목적들에 적합할 수 있는 비디오 파이프라인 흐름도들의 두 실시예를 도시하는 도면.
도 3은 예시적인 타겟 디스플레이의 디스플레이 관리에서 일어날 수 있는 비디오 프로세싱의 하이 레벨 흐름도의 한 실시예를 도시하는 도면.
도 4는 비디오 파일에 대한 장면 안정 메타데이터의 생성 및 연계에 대한 비디오 프로세싱의 한 실시예를 도시한 도면.
도 5는 비디오 파이프라인에서 장면 변경들의 어드밴스트 통지(advanced notice)를 포함하는 흐름도의 한 실시예를 도시한 도면.
도 6은 장면 변경의 표시를 구비하는 장면 내의 한 프레임 및 장면들로 분할된 한 예시적 비디오 파일을 도시한 도면.
도 2a 및 도 2b는 본 출원의 목적들에 적합할 수 있는 비디오 파이프라인 흐름도들의 두 실시예를 도시하는 도면.
도 3은 예시적인 타겟 디스플레이의 디스플레이 관리에서 일어날 수 있는 비디오 프로세싱의 하이 레벨 흐름도의 한 실시예를 도시하는 도면.
도 4는 비디오 파일에 대한 장면 안정 메타데이터의 생성 및 연계에 대한 비디오 프로세싱의 한 실시예를 도시한 도면.
도 5는 비디오 파이프라인에서 장면 변경들의 어드밴스트 통지(advanced notice)를 포함하는 흐름도의 한 실시예를 도시한 도면.
도 6은 장면 변경의 표시를 구비하는 장면 내의 한 프레임 및 장면들로 분할된 한 예시적 비디오 파일을 도시한 도면.
여기서 활용되는 용어, "구성요소", "시스템", "인터페이스" 등은 컴퓨터 관련 엔티티, 하드웨어나 소프트웨어(실행시), 및/또는 펌웨어를 참조하도록 의도된다. 예를 들면, 구성요소는 프로세서에서 구동하는 프로세스, 프로세서, 오브젝트, 실행 프로그램, 및/또는 컴퓨터가 될 수 있다. 설명의 목적으로, 서버에서 구동하는 애플리케이션 및 상기 서버 양쪽 모두가 구성요소가 될 수 있다. 하나 이상의 구성요소들이 프로세스 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터에 국한될 수 있으며 및/또는 둘 이상의 컴퓨터들 사이에 분포될 수 있다. 구성요소는 또한 통신 관련 엔티티, 하드웨어나 소프트웨어(실행시), 및/또는 펌웨어를 참조하도록 의도될 수 있으며, 또한 통신에 영향을 주기에 충분한 유선 또는 무선 하드웨어를 구비할 수 있다.
다음의 설명 전반에 걸쳐, 당업자들에게 더욱 완전한 이해를 주도록 구체적인 세부사항들을 설명한다. 하지만, 널리 알려진 요소들은 본 개시를 불필요하게 모호하게 하는 것을 피하도록 도시되지 않거나 또는 상세히 기술되지 않을 수 있다. 따라서, 본 설명 및 도면들은 제한적인 것이 아니라 실례로서의 의미와 관련하게 된다.
시간적 안정성(예를 들면, 플리커, 펄싱, 페이딩 등이 없음)을 보장하기 위해 및 타겟 디스플레이에서의 비디오 재생에서 잠재적으로 불쾌할 수 있는 시각적 아티팩트를 완화하기 위해, 비디오 데이터와 연관된 메타데이터가 일반적으로 시간에 걸쳐 안정한 것이 바람직할 수 있다. 몇몇의 실시예들에 있어서, 이러한 것은 장면의 지속기간 동안 메타데이터에 대해 안정성을 수행함으로써 달성될 수 있다. 그러한 메타데이터는 각각의 장면 컷에서 변경하도록 허용될 수 있다. 그러한 경우에 있어서, 컨텐트에 접합한 상기 메타데이터에서의 변경들은 시청자에게 두드러지지 않을 수 있다.
단지 예시적인 예로서, 디스플레이 직전에 프레임 단위로 비디오/이미지 데이터 메타데이터를 추정하는 것이 가능하다. 하지만, 이러한 것은 아마도 장면의 중간에서 장면의 모습에 대한 불쾌하고 현저한 변경들을 일으킬 수 있다.
본 발명의 몇몇의 실시예들에서, 비디오 데이터와 관련한 및/또는 그와 연관된 메타데이터를 발생하기 위한 또는 생성하기 위한 시스템들 및 방법들이 본 명세서에 기술된다. 본 발명의 많은 실시예들에서, 연관된 메타데이터가 장면 단위로 발생될 수 있으며, 본 명세서에 보다 상세히 설명될 것이다. 그러한 메타데이터는 비디오 데이터 스트림의 앞 단(front end)에서 생성될 수 있거나, 또는 상기 비디오 데이터 스트림의 어떠한 다른 적절한 부분에서 생성될 수 있다. 비디오 데이터는, 영화 극장이든, 가정의 시청 환경이든, 비디오 회의든 또는 비디오 데이터가 시청 및/또는 소비될 어느 곳에서든, 상기 비디오 데이터의 사용자/소비자/시청자로 전송되거나 및/또는 보내질 수 있다.
많은 메타데이터 발생 및/또는 메타데이터 소비 기술들이 다음의 공동 소유 특허들 및/또는 특허 출원들에 기술된다:
(1) 2013년 3월 28일 공개되고 제목이 "톤 및 색영역 매핑 방법들 및 장치"인 메스머 등의 미국 특허 출원 20130076763;
(2) 2013년 6월 27일 공개되고 제목이 "색영역 밖(OUT-OF-GAMUT) 색 좌표를 사용한 데이터 전송"인 메스머 등의 미국 특허 출원 20130162666;
(3) 2013년 6월 6일 공개되고 제목이 "색 그레이딩에 사용하기 위한 메타데이터"인 롱허스트 등의 미국 특허 출원 20130141647; 및
(4) 2012년 12월 13일 공개되고 제목이 "비디오 데이터의 오버라이팅(overwriting)에 의한 비디오 전달 및 제어"인 메스머 등의 미국 특허 출원 20120315011, 이며 이들은 그 전체가 본 명세서에 참조로 구비된다.
도 1, 도 2a 및 도 2b는 본 출원의 시스템들 및/또는 방법들이 있게 되는 몇몇의 일반적인 환경의 시스템들(각각, 100, 200, 206)이다. 이들 시스템들은 가능한 단-대-단 비디오 발생/전송/뷰잉 파이프 라인들을 나타내며, 예를 들면, 비디오가 캡처되어, 장면 단위의 메타데이터가 추출되고, 분배를 위해 비디오 스트림에 위치되어 시청용 타겟 디스플레이에 보내지게 된다.
도 1에서, 시스템(100)(또는 그 부분들)은 여기에서 설명된 하나 이상의 방법들을 실행하도록 구성될 수 있다. 시스템(100)의 구성요소들은 소프트웨어, 펌웨어, 하드웨어 및/또는 그 조합으로서 구현될 수 있다. 시스템(100)은 비디오 캡처 서브시스템(102), 포스트 프로덕션 서브시스템(post-production subsystem)(103) 및 디스플레이 서브시스템(104)을 구비한다. 비디오 데이터의 스트림(123)(구체적으로는, 비디오 스트림 파이프라인에서 상이한 지점들에 대한 123-1, 123-2, 123-3)은 비디오 캡처 서브시스템(102)에 의해 발생되어, 프로세싱 및 편집을 위해 포스트 프로덕션 서브시스템(103)으로 전달된다. 디비오 이미지들은 비디오 데이터(123)를 편집하는 과정에서 포스트 프로덕션 서브시스템(103)의 참조 디스플레이(111) 상에 디스플레이 및 뷰잉될 수 있다. 상기 편집된 비디오 데이터(123)는 추가의 프로세싱 및 디스플레이를 위해 (인코더(127A) 및 디코더(127B)를 경유한 분배 매체(125)를 통해) 디스플레이 서브시스템(104)으로 전달된다. 서브시스템들(102, 103 및 104)의 각각은 비디오 데이터(123) 내의 메타데이터(225)를 인코딩하도록 구성될 수 있다. 다운스트림 서브시스템들이 업스트림 디바이스로부터 비디오 데이터(123)를 수신하고 그에 삽입되어 있는 메타데이터(225)를 디코딩하도록 구성될 수 있다. 메타데이터(225)는 비디오 스트림(123)의 프로세싱 및/또는 디스플레이를 안내(guide)하도록 다운스트림 서브시스템들(예를 들면, 서브시스템들(103 및 104))에 의해 사용될 수 있다. 메타데이터(225)는 디스플레이 서브시스템(104)의 디스플레이(118) 상의 비디오 재생을 제어 및/또는 안내하도록 디스플레이 특징 파라미터들(120)과 함께 디스플레이 시스템(104)에 의해 사용된다.
도 1에 도시된 바와 같이, 서브시스템들(102, 103 및 104)은 각각의 프로세서(106, 108 및 116) 및 상기 각각의 프로세서에 액세스가능한 프로그램 메모리(107, 109 및 117)를 구비할 수 있다. (여기에서 및 다른 곳에서 기술되는) 각각의 프로세서는 중앙 처리 장치(CPUs), 하나 이상의 마이크로프로세서들, 하나 이상의 필드 프로그램 가능한 게이트 어레이들(FPGAs), 또는 임의의 그 조합, 또는 여기에서 기술된 바와 같이 기능할 수 있는 하드웨어 및/또는 소프트웨어를 구비하는 어떠한 다른 적절한 프로세싱 유닛(들)을 구비할 수 있다. 각각의 서브시스템에 있어서, 상기 프로세서는 상기 프로그램 메모리에 저장된 소프트웨어에 의해 제공된 지시들을 수행한다. 상기 소프트웨어는 메타데이터 발생, 인코딩, 디코딩, 및 여기에서 기술된 프로세싱 단계들을 실행하는 루틴들(routines)을 구비할 수 있으며, 상기 루틴들은 예를 들면:
(1) 메타데이터(225)를 발생하거나 메타데이터(225)에 대한 파라미터들을 수신하고;
(2) 비디오 데이터(123)가 다운스트림 디바이스로 전달되기 전에 그러한 비디오 데이터 내의 메타데이터(225)를 인코딩하고;
(3) 업스트림 디바이스로부터 수신된 비디오 데이터(123)로부터의 메타데이터(225)를 디코딩하고;
(4) 비디오 데이터의 프로세싱 및/또는 디스플레이를 안내하도록 메타데이터(225)를 처리 및 적용하고;
(5) 이미지 및/또는 비디오 데이터(123)에 기초하여 메타데이터(225)를 인코딩하기 위한 방법을 선택하고;
(6) 등등이다.
시스템(100)은 서브시스템들(102, 103 및 104)에 액세스 가능한 저장소(110)를 포함할 수 있다. 저장소(110)는 (예를 들면, 메타데이터를 어떻게 발생 및/또는 판독하는지에 대해 메타데이터 인코더들 및 디코더들에 알려주는 것과 같은) 메타데이터 정의들(112)의 라이브러리 및 (예를 들면, 보호된 화소 값들 또는 예약된 메타데이터 워드들과 같은) 예약어들(reserved words)(114)의 리스트를 포함할 수 있다. 메타데이터 정의들(112)의 라이브러리는 메타데이터를 발생, 인코딩 및/또는 프로세싱하는데 있어 서브시스템들(102, 103 및 104)에 의해 액세스될 수 있다. 메타데이터(225)를 인코딩 또는 디코딩하는데 있어, 예약어의 전달을 방지하기 위해 상기 메타데이터 스트림에 삽입할 (또는 삽입된) 가드 비트들의 시퀀스들을 식별하도록 예약어들(114)이 인코딩된/디코딩된 메타데이터 비트들과 비교될 수 있다. 도 1에서 보여주는 실시예에서는 공유된 저장소(110)가 도시되어 있지만, 다른 실시예들에서 서브시스템들(102, 103 및 104)의 각각은 그 서브시스템에 액세스 가능한 저장 매체에 저장된 국부적 저장소(110)를 포함할 수 있다.
도 2a는 특정 실시예에 따라 비디오 전달 파이프라인(200)을 통한 데이터 흐름을 도시하는 흐름도이다. 비디오 전달 파이프라인(200)은 도 1의 비디오 전달 파이프라인(100)에서 설명된 것과 유사한 스테이지들을 포함한다. 비디오 전달 파이프라인(200)의 하나 이상의 스테이지들에서, 메타데이터(225)가 발생되어 다운스트림 스테이지에서의 사용을 위해 비디오 데이터(123)의 스트림에 삽입될 수 있다. 메타데이터(225)는 비디오 전달 파이프라인(200)을 통해 비디오 데이터(123)와 함께 전송되어, 블록(210)에서 상기 비디오 데이터를 프로세싱하는데 있어 다운스트림 디바이스들을 안내하거나 및/또는 디스플레이 서브시스템에서 비디오 재생을 안내한다. 삽입된 메타데이터(225)를 포함하는 비디오 데이터(123)는 비디오 콘텐트 전달의 유형에 적합한 시스템들, 장치들 및 방법들(예를 들면, 위성, 케이블 또는 고선명 네트워크를 통한 텔레비전 방송; IP 또는 무선 네트워크를 통한 스트리밍 메타데이터; DVD 또는 다른 저장 매체로부터의 재생, 등)을 사용하여 블록(206)에서 상기 디스플레이 서브시스템으로 전달될 수 있다.
도 2a의 실시예에서, 카메라 메타데이터(225A)가 발생되어, 블록(202)에서 비디오 데이터(123-1)에 삽입된다. 카메라 메타데이터(225A)는 카메라 설정들 및 비디오 프레임 캡처 환경에 기초하여 발생될 수 있다. 카메라 메타데이터(225A)는 예를 들면 비디오 프레임 캡처 동안 카메라 설정들의 스냅숏(snapshot)을 제공하는 카메라 파라미터들을 구비할 수 있다. 그러한 카메라 파라미터들은 애퍼쳐(에프-스톱들(f-stops)), 렌즈들, 셔터 속도, 감도(ISO 레이팅들) 등을 포함할 수 있다. 이들 카메라 파라미터들은, 블록(204)에서의 포스트 프로덕션 편집 동안의 색 조정들(예를 들면, 색 타이밍) 또는 블록(210)에서의 디스플레이 구성과 같은, 비디오 전달 파이프라인(200)에서의 후속하는 단계들을 안내하는데 사용될 수 있다.
블록(204)에서, 포스트 프로덕션 메타데이터(225B)가 발생되어 비디오 데이터(123-2)에 삽입된다. 포스트 프로덕션 메타데이터(225B)는 참조 디스플레이 및 환경 메타데이터(225B1) 및 소스 비디오 콘텐트 특징 메타데이터(225B2)를 포함할 수 있다. 포스트 프로덕션 메타데이터(225B)는 블록(210)에서 디스플레이 구성과 같은 비디오 전달 파이프라인(200)에서의 후속하는 단계들을 안내하는데 사용될 수 있다.
참조 디스플레이 및 환경 메타데이터(225B1)는 블록(204) 포스트 프로덕션 편집에서 사용되는 참조 디스플레이 구성 및 스튜디오 또는 뷰잉 환경을 기술할 수 있다. 예를 들면, 블록(204)의 포스트 프로덕션 편집 동안 비디오 데이터(123)를 디스플레이하는데 사용되는 참조 디스플레이와 관련하여, 참조 디스플레이 및 환경 메타데이터(225B1)는 다음과 같은 파라미터들을 포함할 수 있다:
(1) 상세한 해상도로 상기 참조 디스플레이의 톤 및 색 영역 경계들을 기술하는 3D 색 영역 매핑;
(2) (3D 색 영역 매핑을 추정하는데 사용될 수 있는) 상기 참조 디스플레이의 톤 및 색 영역 경계들을 정의하는 감소된 세트의 파라미터들;
(3) 각각의 크로미넌스 채널에 대한 참조 디스플레이의 토널 응답을 기술하는 시스템 토널 응답 파라미터들;
(4) 스크린 크기;
(5) 등등.
참조 디스플레이 및 환경 메타데이터(225B1)는 또한 블록(204)의 포스트 프로덕션 편집 동안 참조 디스플레이 상에서 비디오 콘텐트가 색-타이밍되거나 또는 편집된 스튜디오 환경을 기술하는 파라미터들을 포함할 수 있다. 그러한 파라미터들은 주변 휘도 및 주변 색 온도를 포함할 수 있다.
소스 비디오 콘텐트 특징 메타데이터(225B2)는 다음의 항목을 식별하거나 또는 제공할 수 있는 정보를 포함하는 포스트 프로덕션 편집된 비디오 콘텐트를 기술할 수 있다:
(1) 톤 매핑(예를 들면, 디스플레이에서 톤 확장을 안내하는데 사용될 수 있는 주문형 톤 매핑 파라미터들 또는 곡선들); 및 색 영역 매핑(예를 들면, 디스플레이에서 색 영역 확장을 안내하는데 사용될 수 있는 주문형 색 영역 매핑 파라미터들);
(2) (예를 들면, 차 아래의 그늘과 같이) 장면에서 중요하게 여겨지는 최소 블랙 레벨의 레벨;
(3) (예를 들면, 배우의 얼굴과 같이) 장면의 가장 중요한 부분에 대응하는 레벨;
(4) (예를 들면, 백열 전구의 중심과 같이) 장면에서 중요하게 여겨지는 최대 화이트 레벨의 레벨;
(5) (예를 들면, 네온 불빛 등과 같이) 장면에서의 최상의 유채색;
(6) 이미지에서의 광원들, 또는 이미지에서의 반사 또는 방출 오브젝트들의 위치 맵;
(7) 비디오 소스 콘텐트의 색 영역;
(8) 참조 디스플레이의 색 영역 밖으로 의도적으로 색-타이밍된(color-timed) 이미지의 영역들;
(9) 비디오 프로세서에 의한 사전-디스플레이 프로세싱 동안 또는 디스플레이 구성 동안 변경되지 않아야 될 보호 색들;
(10) 휘도 또는 색 영역과 관련한 상기 이미지를 특징화한 이미지 히그토그램(예를 들면, 그러한 정보는 톤 및 색 영역 매핑을 정제(refine)하도록 평균 휘도를 결정하기 위해 다운스트림 디바이스들에 의해 사용될 수 있다);
(11) 이전의 비디오 프레임들로부터 어떠한 통계 또는 이력(hysteresis)도 더 이상 유효하지 않다는 것을 다운스트림 디바이스들에 알리는 장면 변경 또는 리셋 플래그;
(12) 톤 및 색 영역 매핑을 안내하도록 상기 광원 위치 맵과 조합하여 다운스트림 디바이스들에 의해 사용될 수 있는, 움직이는 오브젝트들을 식별하기 위해 상기 비디오 콘텐트를 특징화하는 모션 맵(motion map);
(13) 색-타이밍된 콘텐트의 소스의 표시(예를 들면, 카메라로부터 직접 또는 포스트 프로덕션 편집);
(14) 디코더/텔레비전 또는 다른 디스플레이와 같은 다운스트림 디바이스들을 제어하는데 사용될 수 있는 디렉터의 창조적 의도의 설정들. 예를 들면, 그러한 설정들은: 특정 모드(예를 들면, 비비드(vivid), 시네마, 표준, 전문가 등)에서 동작하도록 상기 디스플레이를 제어하는 능력을 제공하는 디스플레이 모드 제어; 적절한 색 영역 또는 톤 매핑 등을 결정하는데 사용될 수 있는 콘텐트 유형(예를 들면, 에니메이션, 드라마, 스포츠, 게임 등)을 포함할 수 있다;
(15) 및/또는 기타.
비디오 데이터(123-2)는 블록(206)에서 디스플레이 서브시스템에 전달된다. 도 2b에 도시된 바와 같이, 전달 파이프라인(206)은 위성, 케이블 또는 고선명 네트워크들; IP 또는 무선 네트워크들; 또는 DVD 또는 다른 저장 매체 등과 같은 비디오 분배 매체(125)를 통해 비디오 데이터(123)의 분배, 방송 또는 전송을 진행하기(drive)위한 인코더 스테이지(127A)를 포함할 수 있다. 디코더 스테이지(127B)는 매체(125)를 통해 분배된 비디오 데이터(123)를 디코딩하기 위해 블록(206)의 디스플레이 끝에 제공될 수 있다. 디코더 스테이지(127B)는 셋-톱 박스에 의해, 예를 들면 또는 디스플레이 서브시스템 내의 디코더에 의해 수행될 수 있다. 블록(206) 및/또는 블록(208)에서, 시청 환경 메타데이터(225C) 및/또는 다른 메타데이터(225)가 비디오 데이터(123)에 삽입될 수 있다.
시청 환경 메타데이터(225C)는 예를 들면: 참조 환경 톤 매핑 또는 색 영역 곡선들 또는 참조 환경의 주변 휘도를 제공하는 어드밴스트 비디오 코딩(AVC) VDR 인코더 데이터를 포함할 수 있다. 이러한 정보의 적어도 일부는 (예를 들면, 디스플레이의 확장된 디스플레이 식별 데이터(EDID)를 판독함으로써) 디스플레이 특징들의 확인 및 디스플레이 서브시스템의 환경에 의해 비디오 프로세서에 의해 결정될 수 있다. 일부 실시예들에서, 이러한 정보의 적어도 일부는 상기 비디오 데이터의 포스트 프로덕션 프로세싱 동안 스튜디오에서 결정될 수 있다.
디스플레이 서브시스템의 디스플레이가 위치되는 환경을 기술하는 파라미터들로서, 그러한 파라미터들은 예를 들면, 주변 휘도 및/또는 톤 또는 색 온도를 포함할 수 있다.
시청 환경 메타데이터(225C)는 블록(208)에서의 비디오 데이터의 프로세싱 및/또는 블록(210)에서의 디스플레이 구성을 안내하는데 사용될 수 있다.
상기 디스플레이 서브시스템은 블록(208)에서 인입하는 비디오 데이터(123-3)를 프로세싱하기 위한 비디오 프로세서를 구비한다. 상기 디스플레이 서브시스템의 비디오 프로세서는 비디오 데이터(123)로부터 추출된 메타데이터(225)(예를 들면, 메타데이터(225A)) 및/또는 상기 디스플레이 서브시스템의 디스플레이와 연관된 공지된 디스플레이 특징들에 기초하여 비디오 데이터(123-3)에 대한 신호 프로세싱을 수행할 수 있다. 비디오 데이터(123)는 디스플레이 특징 파라미터들(226) 및/또는 메타데이터(225)에 따라 디스플레이를 위해 프로세싱 및 조절될 수 있다.
블록(206)에서 또는 비디오 전달 파이프라인(200)의 다른 스테이지들에서 비디오 데이터(123)에 삽입될 수 있는 다른 메타데이터(225)가 예를 들면 다음과 같은 (예를 들면, 분배 권리 등을 관리하기 위한) 하우스키핑 메타데이터(225D)를 포함한다:
(1) 비디오 콘텐트가 발생, 분배, 수정 등등이 된 곳을 표시하는 워터마킹 데이터;
(2) 검색 또는 인덱싱 목적 등을 위해 비디오 콘텐트의 디스크립션을 제공하는 핑거프린팅 데이터;
(3) 비디오 콘테트를 누가 소유하는지 및/또는 누가 비디오 콘텐트에 액세스를 하는지를 표시하는 프로텍션 데이터;
(4) 및/또는 기타.
뷰잉 환경 메타데이터(225C)는 적어도 부분적으로 상기 디스플레이 서브시스템의 디스플레이와 연관된 디스플레이 특징 파라미터들(206)에 기초하여 발생될 수 있다. 일부 실시예들에서, 뷰잉 환경 메타데이터(225C), 소스 비디오 콘텐트 특징 메타데이터(225B2), 및/또는 하우스키핑 메타데이터(225D)는 인코더 스테이지(127A), 디코더 스테이지(127B)에서 비디오 데이터(103)의 분석에 의해 및/또는 블록(208)에서 비디오 프로세서에 의해 생성되어 제공될 수 있다.
블록(210)에서, 디스플레이 구성은 디스플레이 서브시스템의 디스플레이에서 실행될 수 있다. 디스플레이 구성의 적절한 파라미터들은, 디스플레이 특징 파라미터들(226) 및/또는 시네마 메타데이터(225A), (참조 디스플레이 및 환경 메타데이터(225B1) 및 소스 비디오 콘텐트 특징 메타데이터(225B2)를 포함하는) 포스트 프로덕션 메타데이터(225B) 및 시청 환경 메타데이터(225C)와 같은 메타데이터(225)에 기초하여 결정될 수 있다. 상기 디스플레이는 그러한 파라미터들에 따라 구성된다. 비디오 데이터(123)는 디스플레이로 출력된다.
블록(208)에서 비디오 데이터(123)의 프로세싱 및 블록(210)에서 디스플레이 구성에 사용되는 메타데이터(225)는 상기 비디오 데이터 스트림으로 전달되어, 메타데이터(225)는 그 적용 전에 (상기 비디오 프로세서 및 디스플레이를 포함하는) 디스플레이 서브시스템에서 수신된다. 일부 실시예에서, 메타데이터(225)가 적용될 프레임의 적어도 한 비디오 프레임 앞에 상기 디스플레이 서브시스템에 의해 상기 메타데이터(225)가 수신되도록 상기 메타데이터(225)가 전달된다. 어떤 실시예들에 있어서, 메타데이터(225)는 한 비디오 프레임 앞에 전달되며 블록(208) 및/또는 블록(210)에서 메타데이터(225)의 적용은 인입하는 비디오 스트림에서 새로운 비디오 프레임의 검출시 트리거될 수 있다.
장면 단위 "안정" 메타데이터
앞서 언급된 바와 같이, 장면 단위로 비디오 파일에서 메타데이터를 캡처하는 것이 바람직할 수 있다. 여기에서 기술된 바와 같이, 본 출원의 몇몇 실시예들은 장면 단위로 (예를 들면, 휘도, 색 영역 등에 기초하여) 메타데이터를 캡처할 수 있다. 특히, 한 실시예는 동일 및/또는 유사한 장면들에 걸쳐 적용될 수 있는 "안정" 메타데이터의 세트를 제공할 수 있다.
한 실시에에서, 각각의 장면은 예를 들면 각 프레임에서 최소, 최대 및 중간휘도 값들과 같은 장면 내의 프레임-의존 특징들에 응답하여 발생될 수 있는 글로벌 장면 메타데이터와 연관될 수 있다. 유사한 특징들을 갖는 장면들은 또한 동일한 메타데이터를 공유하도록 강요될 수 있어, 디스플레이 동안 이들은 동일한 모습과 느낌을 유지하게 된다. 다른 실시예에서, 수신기는 또한 "어드밴스트 통지 메타데이터" 즉, 예를 들면 장래 장면에 대한 메타데이터를 수신할 수 있으며, DM 프로세싱과 관련된 파라미터들을 앞서 준비할 수도 있다.
"안정" 장면 메타데이터의 콘텐트를 인정하기 위해, 다음의 설명들이 제공되며, 이는 본 발명을 제한하고자 의도하지 않았으며 단지 설명에 목적을 두고 있다. 몇몇의 장면들 동안 색과 밝기를 안정적으로 하는 것이 바람직할 수 있다. 한 예에서, 어떤 "장면"에 두 배우들이 있지만, 카메라가 비디오 프레임들의 시퀀스에서, 예를 들면 한 세트에서 두 배우들 간의 길어진 대화에서, 한 배우에서 다른 배우로 장면이 바뀌게 될 경우 가정하자. 이러한 것은 "장면"을 연극 같이 구성할 수 있기는 하지만, 두 개의 상이한 카메라 컷들이 시청자에게 현저하고도 불쾌할 수 있는 색 및/또는 휘도 시프트를 야기할 수 있다. 일부 실시예들에서, 예를 들면 전체 장면의 안정된 표현(appearance)를 생성하기 위해, 각각의 컷에 대해 상이한 메타데이터를 갖게 할 수 있다.
다른 예에서는, "장면"에 단일 배우가 있지만 배우가 매우 분주하고 카메라가 상기 배우를 쫓는지를 고려한다. 다시금 이러한 것은 연극 같이 단일 장면이 되기는 하지만, 시청자에게 현저하게 및/또는 불쾌하게 될 수 있는 휘도 및/또는 색 시프트들이 있게 될 수 있다. 또 다른 예에서, 디렉터는 "디졸브(dissolve)" (또는, "크로스-페이드(cross-fade)" 기술을 활용할 수 있으며, 여기서 하나의 장면이 그 휘도를 감소시키는(가능한 한 제로까지) 동안, 다른 장면이 몇몇 프레임들의 기간에 걸쳐 저 휘도(예를 들면, 제로)에서 최대 휘도까지 시작될 수 있다. 그러한 디졸브 또는 크로스-페이드는 스크린 상에서의 배우의 플래시백(flashback)을 설명하는데 사용될 수 있다.
이들 상황들은 디렉터가 캡처된 비디오의 포스트 프로덕션 프로세싱에 참여될 수 있는 경우들에서 관련될 수 있다. 그러한 디렉터는 예를 들면 대략 5000 nits 휘도까지 갖는 전문가 그레이드 모니터 상에서의 비디오에 대한 색 그레이딩(color grading), 휘도 매핑이 될 수 있다. 하지만, 영화는 가정용 비디오 세트 또는 더 낮은 휘도를 가질 수 있는 일부 다른 타겟 디스플레이 상에서 시청될 수 있다. 이러한 것을 사전에 아는 것은 디렉터 또는 다른 콘텐트 제작자가 상기 콘텐트의 시청자 경험을 개선하는 기회를 갖게 할 수 있다.
이들 몇몇 예들(및 여기에 언급되지 않는 다른 예들)에 기초하여, 시청자의 관점(그렇지 않다면, 비디오 콘텐트 제작자/디렉터의 관점)으로부터 장면 단위로 메타데이터를 적용하거나, 및/또는 장면 및/또는 프레임들의 시퀀스(현재 장면/프레임에 대해 상이한, 가능한 한 프레임 단위의 메타데이터를 사용한)에 대해 "안정" 메타데이터를 적용할 때 결정할 수 있는 프로세스를 갖는 것이 바람직할 수 있다.
가정용 비디오 상황에서, 홈 디스플레이에 비디오 데이터의 "최상의" (또는 "보다 나은") 매핑을 제공하도록 추구할 수 있는 디스플레이 관리(DM) 프로세서가 있는 경우가 종종 있을 수 있다. 보통, DM들은 이용할 수 있는 비디오 데이터로부터 타겟 디스플레이에 매칭하는 양호한 휘도를 제공하도록 동적 범위 매핑을 제공한다. 동적 범위 매핑은 휘도 통계에 기반하는 메타데이터, 예를 들면 상기 매핑을 준비하기 위한 최대 휘도, 중간 휘도 및/또는 최소 휘도를 사용할 수 있다.
몇몇의 공동 소유 특허 출원들이 디스플레이 관리(DM) 시스템들 및 기술들을 개시하며, 본 출원의 시스템들 및 방법들에 대해 유용할 수 있다:
(1) 2011년 8월 11일 공개되고 제목이 "높은 동적 범위, 시각적 동적 범위, 및 넓은 색 영역 비디오의 호환가능한 압축"인 기쉬 등의 미국 특허 출원 20110194618;
(2) 2012년 9월 13일 공개되고 제목이 "타겟 디스플레이 상의 디스플레이를 위한 색 영역의 보간"인 롱허스트의 미국 특허 출원 20120229495;
(3) 2012년 12월 20일 공개되고 제목이 "삽입된 메타데이터를 사용하는 비디오 디스플레이 제어"인 메스머의 미국 특허 출원 20120321273; 및
(4) 2013년 2월 14일 공개되고 제목이 "디스플레이 관리 방법 및 장치"인 시트젠 등의 미국 특허 출원 20130038790, 이며 이들은 그 전체가 본 명세서에 참조로 포함된다.
안정적인 장면 메타데이터의 한 실시예
도 3은 본 출원의 하이-레벨 블록 흐름도의 한 실시예를 도시한다. 비디오 파이프라인(300)은 인코딩된 비트 스트림(301)을 수신할 수 있으며, 상기 인코딩된 비트 스트림은 또한 비디오/이미지 데이터와, 예를 들면 프레임 단위, 장면 단위, 및 휘도 통계 기반의 메타데이터, 색 매핑 메타데이터 등을 구비할 수 있는 어떤 유용한 포맷으로 있을 수 있는 메타데이터를 구비할 수 있다.
이러한 인코딩된 비트 스트림(301)은 파서(parser)(304)를 더 포함할 수 있는 디코더(302)에 의해 수신될 수 있다. 디코더(302)는 암호화되거나 압축되거나 또는 종래 기술에 공지된 다른 방식으로 인코딩될 수 있는 인입하는 비트 스트림을 디코딩할 수 있다. 디코딩될 때, 상기 인입하는 비트 스트림은 파서(304)에 의해 파싱될 수 있다. 파서(304)는 상기 비디오/이미지 데이터로부터의 메타데이터를 분할할 수 있다.
추출된 비디오/이미지 데이터는 중간 비트 스트림(303)으로서 그 연관 메타데이터와 함께 보내질 수 있다. 비트 스트림(303)은 또한 이후 더 설명될 바와 같이 어떤 메타데이터가 적용될지 등을 다운스트림 프로세서(들)에 알려줄 수 있는 하나 이상의 플래그들(또는 어떤 다른 표시, 신호 등)을 구비할 수 있다.
상기 중간 비트 스트림(303) 및/또는 어떤 플래드들(305)도 디스플레이 관리(DM) 모듈(306)에 의해 수신될 수 있다. DM 모듈(306)은 최종 이미지/비디오 데이터가 타겟 디스플레이(308)로 보내지기 전에 어떠한 적절한 이미지/비디오 매핑을 적용할 수 있다. 타겟 디스플레이(308)는 이미지 및/또는 비디오 데이터를 시청자에게 디스플레이할 수 있는 어떠한 적절한 디바이스가 될 수 있다. 단지 일부의 예들로서, 그러한 타겟 디스플레이들(308)은 HD 텔레비전들, 영화 프로젝터들, 데스크탑 모니터들, 랩탑들, 테블릿, 스마트 디바이스 등이 될 수 있다.
언급한 바와 같이, 본 발명의 몇몇의 실시예들은 장면 단위 메타데이터, 예를 들면 가능한 한 "안정적인" 장면 메타데이터의 세트의 산출 및/또는 유도를 수반할 수 있다. 그러한 안정적인 장면 메타데이터는 시청자에 대한 있을 수 있는 현저한 및/또는 불쾌한 아티팩트들을 완화하기 위해 (장면 기반이든 프레임 기반이든 다른 이용가능한 메타데이터를 가능한 대로 대용하는) 안정적인 장면 메타데이터가 사용될 수 있는 동안에 상기 파이프라인에 의해 신중하게 사용될 수 있다.
단지 하나의 예로서 어두운 동굴에서의 장면을 고려하자. 이미지는 상기 동굴의 모든 어두운 디테일을 보여줄 수도 있다. 하지만, 카메라가 (밝은) 상기 동굴의 열려진 부분(opening)으로 가로질러 파노라마 촬영(pan)한다면, 그에 따라서 적합한 매핑이 상기 이미지를 조절할 수 있다. 예를 들면, 새롭게 보다 밝아진 화소들을 수용하도록 동굴 벽들의 어두운 디테일을 낮출 수 있다. 장면-안정적인 메타데이터의 발생 및 사용으로, 상기 매핑은 전체 장면에 대해 최적화될 수 있다. 예를 들면, 현저한 중간-장면 변경(noticeable change mid-scene)이 있지 않을 것이다.
도 4는 안정적인 장면 메타데이터 프로세싱의 하이 레벨 흐름도(400)의 한 실시예를 도시한다. 402에서, 비디오 데이터는 장면들의 세트로 분할될 수 있다. 비디오를 장면들의 세트로 이와 같이 분할 및/또는 나누는 것은 여러 방법들로 달성될 수 있다. 먼저, 상기 분할은 예를 들면, 디렉터, 영화 편집자, 포스트 프로덕션의 누군가 등의 인간 사용자에 의해 이루어질 수 있다. 예를 들면, 한 실시예에서, 장면 컷들은, 복수의 상이한 쇼트들로부터 영화를 생성하는데 사용될 수 있는 편집 결정 리스트(EDL: Edit Decision List)로부터 이미 공지된 것일 수 있다. 한 실시예에서, 상기 EDL을 추출하여 이를 장면의 경계들을 정하는데 사용하는 것이 가능하다. 이러한 방법으로 추가의 요구되는 노력은 거의 없거나 전혀 없다. 또한, 사용자는 자동으로 결정된 (또는 추출된) 장면 컷들을 오버라이트하는 옵션을 가질 수 있다.
대안적으로, 장면 분할의 식별은 프레임 단위로 비디오 데이터를 분석함으로써 그러한 결정들을 이룰 수 있는 비디오 프로세서에 의해 자동적으로 행해질 수 있다. 예를 들면, 프레임들 사이에 휘도 데이터, 색 데이터 또는 다른 이미지 데이터 메트릭의 측정 가능할 정도로 큰 변동이 있을 경우, 비디오 프로세서는 이러한 차이가 두 장면들의 경계를 표시할 수 있는 것으로 결정할 수 있다. 그러한 자동적인 결정은 미리 보기(look-ahead) 또는 멀티-패스 프로세스에서 강화될 수 있으며, 그에 의해 몇몇의 프레임들이 분석될 수 있고, 만일 이미지 데이터 메트릭의 초기 차이가 주목되고, 이후 많은 프레임들에서 그 메트릭이 그러한 초기 차이와 실질적으로 일치한다면, 그때 장면 변경이 일어난 것을 높은 정도의 확률로 평가할 수 있다.
본 출원의 목적을 위해, 공지된 어떠한 방식으로 비디오 데이터 내에서 장면들이 식별될 수 있다. 404에서, 메타데이터는 장면 단위로 계산, 측정 또는 그렇지 않다면 추출될 수 있다. 단지 하나의 예로서, 주어진 장면을 구성하는 50 개의 프레임들이 있다면, 그때 전체 장면에 대해 휘도 데이터가 측정 및 추출될 수 있다. 최소 휘도, 중간 및/또는 평균 휘도 및 최대 휘도와 같은 장면 메타데이터가 산출될 수 있다. 다른 이미지/비디오 메트릭들이 다른 장면 기반의 메타데이터를 형성하도록 유사하게 측정 및/또는 추출될 수 있다.
다음은 비디오 스트림 내의 장면 안정 메타데이터를 발생하는 하나의 실시예다:
(1) MIN, MID 및 MAX 휘도가 장면 내의 각 프레임에 대해 계산된다. 다음에 그 결과들이 전체 장면에 대해 결합된다.
a. MIN에 대해, 장면에서의 모든 프레임들의 모든 최소치들 중 최소를
취함;
b. MID에 대해, 장면에서의 모든 프레임들의 모든 중간치들의 중간(평
균)을 취함;
c. MAX에 대해, 장면에서의 모든 프레임들의 모든 최대치들 중 최대를
취함;
유사한 통계들이 예를 들면 색 영역 등의 다른 비디오/이미지 메트릭들에 대해 유도될 수 있음을 이해할 것이다. 다른 실시예에서, 예를 들면 장면 내의 이미지 데이터에 얼마나 많은 샤프닝(sharpening) 및 스무딩(smoothing)이 적용되는지와 같은, 다른 장면-의존 메타데이터를 발생하는 것이 가능할 수 있다.
406에서, "안정적인" 메타데이터의 세트가 장면에 대해 계산될 수 있다. 상기 안정적인 메타데이터는, 그러한 메타데이터의 사용에 의존하는, 앞서 계산된 장면 기반의(또는 프레임 기반의) 메타데이터와는 다를 수 있다. 예를 들면, 보다 앞서 계산된 장면 기반의 메타데이터가 시청을 위한 장면을 렌더링하는데 사용되었다 하더라도, 비디오 데이터에서 현저한 및/또는 불쾌할 수 있는 변경을 잠재적으로 생성할 수 있는 일부 모니터링된 특징, 양상 및/또는 메트릭에 가능한 한 따라서 장면 안정 메타데이터가 장면에 대해 계산 및/또는 발생될 수 있다. 예를 들면, 상이한 배경을 가로질러 공간적으로 및 시간에 거쳐 이동하는 한 배우의 경우(예를 들면, 한 컷 내에서 어두운 폐쇄된 방으로부터 밝은 야외의 햇빛이 비치는 세팅으로 가는)에 있어서, 상기 배우의 얼굴 또는 그렇지 않으면 피부 톤에서 색 또는 색조(tint)의 현저한 및/또는 불쾌할 수 있는 변경들을 생성할 수 있다. 일부 실시예에서, 제 2 장면의 메타데이터가 또한, 모니터링된 특징, 양상 및/또는 메트릭에 따라 두 개의 장면들이 지각적으로 유사한 것으로 고려될 수 있다면, (예를 들면, 제 2 장면과는 다른) 제 1 장면에 대해 계산된 메타데이터로 교체될 수 있다. 상기 제 2 장면은 상기 제 1 장면에 이어지는 또는 앞선 것이 될 수 있다.
예를 들면, 피부 톤, 빛나는 특징들/오브젝트들, 어두운 특징들/오브젝트들, 착색된 특징들/오브젝트들 등과 같은 다른 특징들, 양상들 및/또는 메트릭들이 가능하다. 그러한 변경들은 안정적인 장면 메타데이터로 완화될 수 있다. 장면 안정 메타데이터는, 장면의 진행 동안 모니터링되는 특징, 양상 및/또는 메트릭이 수용가능한 값들로 다시 돌아가거나 및/또는 그 값들 내에서 유지되도록 완화될 수 있다. 408에서, 상기 프로세스는 상기 장면과 이전에 연관될 수 있는 또는 연관되지 않을 수 있는 어떠한 다른 메타데이터에 대해 안정적인 장면 메타데이터를 연관시키거나 및/또는 대체할 수 있다. 예를 들면, 아마도 다른 메타데이터가 그러한 특징들, 양상들 및/또는 메트릭들을 수용가능한 범위 밖으로 벗어나게 한다면, 안정적인 장면 메타데이터의 이러한 연관 및/또는 대체는 그러한 특징들, 양상들 및/또는 메트릭들을 수용가능한 범위 내로 다시 돌아가도록 제공될 수 있다. 특징들, 양상들 및/또는 메트릭들에 대한 상기 수용가능한 값들의 범위는 이미지 프로세싱/렌더링 및/또는 영화 편집을 수반하는 휴리스틱(heuristics) 및/또는 특정 규칙들에 따라, 또는 수동으로(예를 들면, 디렉터 및/또는 영화 편집자에 의해) 결정될 수 있다.
도 4에 설명된 프로세싱은 상기 비디오/이미지 파이프라인에서 많은 상이한 지점들에서 일어날 수도 있음을 이해해야한다. 예를 들면, 비디오를 장면들로 분할하는 것은 사람에 의해, 또는 그렇지 않으면 상기 파이프라인의 프로세서에 의해 포스트 프로덕션에서 행해질 수 있다. 또한, 이후 장면-기반의 메타데이터의 계산 및/또는 추출은 포스트 프로덕션 또는 그렇지 않으면 상기 파이프라인에서 행해질 수 있다. 유사하게, "안정적인" 장면 메타데이터의 연관은 포스트 프로덕션에서 일어날 수 있으며, 또는 추가의 다운스트림, 예를 들면 상기 DM 또는 최종 비디오/이미지 데이터를 렌더링을 위해 타겟 디스플레이로 보내기 전 다른 비디오 프로세서에 의해 달성될 수 있다.
대안적인 실시예들
일부 실시예들에서, 최대 성능을 달성하기 위해 매핑 동작들이 이미지-콘텐트에 의존할 수 있다. 그러한 이미지 의존 매핑은 소스 콘텐트로부터 발생된 메타데이터에 의해 제어될 수 있다. 시간적 안정성(예를 들면, 플리커, 펄싱, 페이딩 등이 없음)을 보장하기 위해, 메타데이터는 일반적으로 실간에 걸쳐 안정적인 것이 바람직할 수 있다. 한 실시예에서, 이러한 것은 장면의 지속 기간 동안 상기 메타데이터에 대한 안정성을 강제함으로써 영향을 받을 수 있다. 상기 메타데이터는 각각의 장면 컷에서 변경하도록 허용될 수 있다. 상기 콘텐트에 적응한 메타데이터의 갑작스러운 변경은 그러한 경우에 시청자에게는 현저하지 않을 수 있다.
한 실시예에서, 장면-안정적인 메타데이터를 발생하는 단계들은 다음을 구비할 수 있다:
(1) 비디오 데이터에서 장면 컷들의 위치를 습득. 한 실시예에서, 이러한 것은 상기 편집 결정 리스트(EDL)로부터 얻어낼 수 있다. 대안적으로, 이러한 것은 사람에 의해 수동으로 입력될 수 있거나, 또는 프로세서에 의해 자동으로 검출될 수 있다.
(2) 상기 장면에서 각 프레임에 대한 메타데이터를 계산 및/또는 발생:
a. 상기 이미지를 선택적으로 다운스트림. (이러한 것은 프로세싱을
빠르게 하고 몇몇 아웃라잉 화소 값들의 효과를 최소화한다.)
b. 이미지를 원하는 색 공간으로 변환(예를 들면, IPT-PQ)
c. 상기 이미지의 최소값을 계산(예를 들면, I 채널)
d. 상기 이미지의 최대값을 계산(예를 들면, I 채널)
e. 상기 이미지의 평균값을 계산(예를 들면, I 채널)
(3) 프레임 마다의 결과들(per-frame results)을 장면 마다의 결과(per-scene result)와 결합:
a. 상기 프레임 최소치들의 각각의 최소치를 계산
b. 상기 프레임 최대치들의 각각의 최대치를 계산
c. 상기 프레임 평균치들의 각각의 평균치를 계산
(4) 상기 메타데이터를 상기 장면과 연관시킴, 또는 대안적으로 상기 장면 내의 각각의 프레임과 연관시킴
상기한 실시예들의 변형들이 가능하며 본 출원의 범위하에서 예상될 수 있음을 인정할 것이다. 예를 들면, 단계(2)에서 상기 장면의 각 프레임을 분석하는 대신에, 단일의 대표적인 프레임이 선택될 수 있으며 이후 전체 장면과 연관되는 메타데이터를 계산 및/또는 발생하는데 사용될 수 있다.
또한, 크로스-페이드들이 상기 크로스-페이드의 양측 상에 상기 장면들에 대한 메타데이터를 표시하고, 이후 중간 프레임들에 대해 보간함으로써 지원될 수 있다. 그러한 보간은 코사인 또는 유사 함수를 통해 선형적이거나 또는 점근선(asymptote)이 될 수 있다.
단계(4)에서, 메타데이터는 올바른 비디오 프레임과 적절한 동기화로 인코딩된 비트 스트림에 삽입될 수 있다. 상기 메타데이터는 상기 스트림으로의 랜덤 엔트리를 허용하도록 규칙적으로 반복될 수 있다.
또 다른 실시예에서, 상기 디코딩된 비디오를 원하는 색 공간(예를 들면, IPT-PQ)로 변환하는 것을 돕도록 일부 사전 계산된 값들을 상기 메타데이터에 포함하는 것이 가능하다. 이러한 것은, 분할(divides) 및 지수(exponents)와 같은 어떤 수학적 연산들로 잘 행해지지 않을 수 있는, 상기 변환이 종종 고정된-지점의 프로세서들을 갖는 디바이스들 상에서 행해지기 때문에 바람직할 수 있다. 상기 사전 계산된 값들을 사용하는 것과 이들을 상기 메타데이터에 삽입하는 것은 유익할 것이다.
장면-안정화된 메타데이터/"어드밴스트 통지(Advanced Notice)" 메타데이터
비디오 디코더에서, 새로운 장면 메타데이터가 새로운 장면의 제 1 프레임과 동일한 프레임에 도달할 수 있다. 대안적으로, 상기 메타데이터는 상기 장면의 제 1 프레임 전에 도달할 수 있는데, 이는 메타데이터가 상기 비디오를 처리하기 위해 적시에 적용되도록 상기 메타데이터를 디코딩하여 보간하기 위한 시간을 제공하기 위함이다. 이러한 "어드밴스트 통지 메타데이터" 및 다른 기술들은 비트 스트림 전송에 걸친 상기 장면-안정화된 메타데이터의 견고함을 개선하는데 바람직할 수 있다. 몇몇의 개선들이 다음과 같은 사항을 개별적인 개선들이나 몇몇의 개선들을 조합하여 구비할 수 있다:
(1) 동일한 장면 내의 모든 각각의 프레임에 상기 메타데이터를 반복;
(2) 메타데이터 바디(body) 내에 실질적으로 다음 프레임에서 일어나는 장면 컷의 인디케이터/플래그를 부가;
(3) 메타데이터 바디 내에 현재의 프레임에 일어나는 장면 컷의 인디케이터/플래그를 부가;
(4) 다음 프레임의 메타데이터가 현재 프레임의 메타데이터와 실질적으로 일치하는(또는, 그와 실질적으로 다른) 것을 나타내는 인디케이터/플래그를 부가;
(5) 에러 체킹을 위해 메타데이터 내에 데이터 무결성 필드(data integrity field)를 부가(예를 들면, CRC32).
도 5는 그러한 어드밴스트 통지 메타데이터 흐름도(500)의 한 실시예를 도시한다. 502에서, 시스템/파이프라인은 장면 단위로 메타데이터를 계산 및/또는 발생할 수 있다. (안정적인 장면 메타데이터이든 또는 그렇지 않든) 이러한 메타데이터는 504에서 비디오 데이터 비트 스트림내의 장면과 연관될 수 있다. 이후 시스템/파이프라인은 506에서 새로운 장면의 실제 제 1 프레임에 원하는 수(예를 들면, 하나 이상)의 프레임들만큼 앞서 임박한 장면 변경의 표시를 부가할 수 있다. 이러한 표시 및/또는 플래그는 비트 스트림의 일부를 구비할 수 있으며, 상기 DM(또는, 상기 파이프라인 내의 다른 적절한 프로세서)에 의해 통지될 수 있다. 508에서, 상기 시스템은 상기 장면 변경에 앞서 파라미터들 및/또는 매핑들을 설치하도록 DM(또는 적절한 프로세서) 시간을 허용할 수 있다. 이러한 추가적인 시간은 상기 시스템이 상기 비디오 콘텐트의 시청자에게 불쾌할 수 있는 어떠한 현저한 아티팩트를 피할 수 있도록 하는 기회를 허용할 수 있다.
이러한 것은 장면 컷들의 위치들에 사전에 액세스하지 않을 수 있는 메타데이터를 안정화시키는 전통적인 방법들을 넘어서는 개선이 될 수 있다. 예를 들면, 상기 장면 컷들이 사전에 공지되지 않는다면, 메타데이터는 상기 비디오 데이터의 분석에 의해 대충대충 상황에 따라 추정될 수 있거나, 또는 메타데이터를 시간에 걸쳐 평활하게(smoothly) 변경하게 할 것이다. 이러한 것은 플리커링, 펄싱, 페이딩 등과 같은 이미지 아티팩트들을 야기할 것이다. 다른 실시예에서, (예를 들면, 비디오 압축 전에) 소스에서 상기 메타데이터를 계산함으로써, 계산을 줄일 수 있으며, 그에 따라 성능이 낮아진 소비자 디바이스들에 의해 요구된 비용을 줄일 수 있다.
도 6은 복수의 장면들(장면 1 내지 장면 N)로 분할된 비디오 데이터(600)의 한 예이다. 장면들은 결국 복수의 프레임들(예를 들면, 프레임(602a))을 구비한다. 장면(1)의 프레임(602m)은, 상기 DM이 장면(2)을 보다 양호하게 렌더링하도록 파라미터들 및/또는 매핑을 설정할 시간을 가질 수 있도록, 프레임과 연관된 어드밴스트 통지 플래그를 가질 수 있으며, 이러한 것이 차례로 이어진다.
첨부된 도면들과 함께 본 발명의 원리들을 설명하는 본 발명의 하나 이상의 실시예들의 상세한 설명이 이제까지 주어졌다. 본 발명은 그러한 실시예들과 관련하여 기술되었지만 본 발명은 어떠한 실시예에도 제한되지 않는다는 것을 인정해야 한다. 본 발명의 범위는 청구범위에 의해서만 제한되며, 본 발명은 수많은 수정들, 변경들 및 등가물들을 망라한다. 본 발명의 완전한 이해를 제공하기 위해 본 명세서에 수많은 특정 세부사항들이 설명되었다. 이러한 세부사항들은 예시적인 목적으로 제공되었으며, 본 발명은 이들 특정의 세부사항들의 일부 또는 전부와 상관없이 청구범위에 따라 실행될 수 있다. 명료함을 위해, 본 발명과 관련된 기술 분야들에서 공지된 기술 자료가 상세히 기술되지 않았는데, 이는 본 발명이 불필요하게 모호하게 하지 않기 위함이었다.
Claims (15)
- 복수의 장면들을 포함하는 비디오 스트림을 프로세싱하기 위한 비디오 인코더에서 장면 안정 메타데이터(scene-stable metadata)를 사용하기 위한 방법으로서, 상기 방법은:
상기 비디오 스트림에서 장면들의 세트 내에 제 1 장면과 연관된 메타데이터의 제 1 세트를 발생하는 단계;
상기 비디오 스트림에서 장면들의 상기 세트 내에 제 2 장면과 연관된 메타데이터의 제 2 세트를 발생하는 단계;
장면 안정 메타데이터를 발생하는 단계; 및
장면들의 상기 세트 내에 상기 장면 안정 메타데이터를 상기 제 2 장면과 연관시키는 단계를 포함하는, 장면 안정 메타데이터를 사용하기 위한 방법. - 제 1 항에 있어서,
장면들은 장면 컷들을 사용하여 결정되고 장면 컷들은 프로세서에 의해 자동으로, 수동으로, 또는 편집 결정 리스트로부터 검출되는 것을 포함하는 하나 이상의 장면 변경 검출 방법들에 의해 검출되는, 장면 안정 메타데이터를 사용하기 위한 방법. - 제 1 항에 있어서,
상기 장면들의 상기 세트 내에 제 1 장면과 연관된 메타데이터의 제 1 세트를 발생하는 단계는:
상기 장면에서 각 프레임에 대한 최소, 중간, 및 최대 휘도를 계산하는 단계; 및
상기 장면에 대한 모든 프레임들 사이의 최소, 중간, 및 최대 휘도를 계산하는 단계를 포함하는, 장면 안정 메타데이터를 사용하기 위한 방법. - 제 1 항에 있어서,
상기 장면 안정 메타데이터를 발생하는 단계는:
상기 장면에 대한 상기 장면 안정 메타데이터를 결정하도록 장면 내의 특징을 모니터링하는 단계를 추가로 포함하는, 장면 안정 메타데이터를 사용하기 위한 방법. - 제 1 항에 있어서,
상기 제 2 장면은 상기 제 1 장면에 이어지는, 장면 안정 메타데이터를 사용하기 위한 방법. - 제 1 항에 있어서,
상기 제 2 장면은 상기 제 1 장면에 앞선, 장면 안정 메타데이터를 사용하기 위한 방법. - 제 1 항에 있어서,
상기 장면 안정 메타데이터를 상기 제 2 장면과 연관시키는 단계는:
상기 제 2 장면 내의 모든 프레임에 대해 상기 메타데이터를 반복하는 단계를 추가로 포함하는, 장면 안정 메타데이터를 사용하기 위한 방법. - 제 1 항에 있어서,
상기 장면 안정 메타데이터를 상기 제 2 장면과 연관시키는 단계는:
상기 제 1 장면에서 장면 컷의 표시(indication)를 실질적으로 다음 프레임에 부가하는 단계를 추가로 포함하는, 장면 안정 메타데이터를 사용하기 위한 방법. - 제 1 항에 있어서,
상기 장면 안정 메타데이터를 상기 제 2 장면과 연관시키는 단계는:
장면 컷의 표시를 현재 프레임에 부가하는 단계를 추가로 포함하는, 장면 안정 메타데이터를 사용하기 위한 방법. - 복수의 장면들을 포함하는 비디오 스트림을 프로세싱하기 위한 비디오 인코더에서 장면 안정 메타데이터를 사용하기 위한 방법으로서, 상기 방법은:
장면들의 세트를 포함하는 인입하는 비디오 데이터 스트림을 수신하는 단계;
현재 장면에서 장면 안정 메타데이터의 세트를 수신하는 단계;
상기 인입하는 비디오 데이터 스트림에서 제 1 장면에 대한 인입하는 장면 변경의 어드밴스트 표시(advanced indication)를 수신하는 단계; 및
상기 제 1 장면에서 장면 안정 메타데이터의 상기 세트를 비디오 스트림들과 연관시키는 단계를 포함하는, 장면 안정 메타데이터를 사용하기 위한 방법. - 제 10 항에 있어서,
상기 인입하는 비디오 데이터 스트림에서 제 2 장면에 대한 인입하는 장면 변경의 표시를 수신하는 단계; 및
상기 제 2 장면에서 장면 안정 메타데이터의 상기 세트를 비디오 스트림들과 연관시키는 단계를 추가로 포함하는, 장면 안정 메타데이터를 사용하기 위한 방법. - 제 10 항에 있어서,
장면 안정 메타데이터의 상기 세트는 장면에 대한 최소, 중간, 및 최대 휘도를 포함하는, 장면 안정 메타데이터를 사용하기 위한 방법. - 제 10 항에 있어서,
장면 안정 메타데이터의 상기 세트는 장면 내의 모니터링된 특징이 수용가능한 값들의 범위 내에서 유지되는데 기초하는, 장면 안정 메타데이터를 사용하기 위한 방법. - 제 13 항에 있어서,
상기 모니터링된 특징은 피부 톤, 빛나는 특징들, 어두운 특징들 및 착색된 특징들로 구성되는 그룹에서 그 중 하나인, 장면 안정 메타데이터를 사용하기 위한 방법.. - 제 10 항에 있어서,
상기 제 1 장면에 대한 상기 인입하는 장면 변경에 앞서 상기 제 1 장면에서 프레임들을 디스플레이하기 위해 디스플레이 관리 파라미터들을 준비하는 단계를 추가로 포함하는, 장면 안정 메타데이터를 사용하는 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361859956P | 2013-07-30 | 2013-07-30 | |
| US61/859,956 | 2013-07-30 | ||
| PCT/US2014/048387 WO2015017314A1 (en) | 2013-07-30 | 2014-07-28 | System and methods for generating scene stabilized metadata |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167002689A Division KR101775938B1 (ko) | 2013-07-30 | 2014-07-28 | 장면 안정 메타데이터를 발생하기 위한 시스템 및 방법들 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170021384A true KR20170021384A (ko) | 2017-02-27 |
| KR102051798B1 KR102051798B1 (ko) | 2019-12-04 |
Family
ID=51392348
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167002689A KR101775938B1 (ko) | 2013-07-30 | 2014-07-28 | 장면 안정 메타데이터를 발생하기 위한 시스템 및 방법들 |
| KR1020177004730A KR102051798B1 (ko) | 2013-07-30 | 2014-07-28 | 장면 안정 메타데이터를 발생하기 위한 시스템 및 방법들 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167002689A KR101775938B1 (ko) | 2013-07-30 | 2014-07-28 | 장면 안정 메타데이터를 발생하기 위한 시스템 및 방법들 |
Country Status (10)
| Country | Link |
|---|---|
| US (2) | US9607658B2 (ko) |
| EP (2) | EP3028446A1 (ko) |
| JP (2) | JP6227778B2 (ko) |
| KR (2) | KR101775938B1 (ko) |
| CN (2) | CN108831511B (ko) |
| BR (1) | BR122020018850B1 (ko) |
| HK (2) | HK1259138A1 (ko) |
| RU (1) | RU2627048C1 (ko) |
| TW (2) | TWI542206B (ko) |
| WO (1) | WO2015017314A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020009365A1 (ko) * | 2018-07-03 | 2020-01-09 | 삼성전자(주) | 디스플레이장치 및 그 제어방법과 기록매체 |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6042583B2 (ja) | 2013-11-13 | 2016-12-14 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Ｅｄｒビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフロー |
| US10009632B2 (en) * | 2014-03-05 | 2018-06-26 | Qualcomm Incorporated | Flicker detection and mitigation in video coding |
| JP6421504B2 (ja) * | 2014-07-28 | 2018-11-14 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| WO2016056787A1 (en) | 2014-10-06 | 2016-04-14 | Samsung Electronics Co., Ltd. | Display device and method of controlling the same |
| CN115209186A (zh) * | 2014-10-10 | 2022-10-18 | 索尼公司 | 再现装置和再现方法 |
| WO2016129891A1 (ko) * | 2015-02-11 | 2016-08-18 | 엘지전자 주식회사 | 방송 신호 송수신 방법 및 장치 |
| US10430664B2 (en) * | 2015-03-16 | 2019-10-01 | Rohan Sanil | System for automatically editing video |
| KR101974137B1 (ko) * | 2015-05-11 | 2019-08-23 | 삼성전자주식회사 | 메타데이터에 기초한 영상 처리 장치 및 영상 처리 방법 |
| US10242627B2 (en) | 2015-05-12 | 2019-03-26 | Dolby Laboratories Licensing Corporation | Backlight control and display mapping for high dynamic range images |
| GB201511450D0 (en) * | 2015-06-30 | 2015-08-12 | British Broadcasting Corp | Audio-video content control |
| EP3185570A1 (en) * | 2015-12-22 | 2017-06-28 | Thomson Licensing | Method and apparatus for transmission-based smoothing of rendering |
| US10167694B2 (en) * | 2016-08-31 | 2019-01-01 | Weatherford Technology Holdings, Llc | Pressure control device, and installation and retrieval of components thereof |
| US10847073B2 (en) * | 2016-10-17 | 2020-11-24 | Huawei Technologies Co., Ltd. | Image display optimization method and apparatus |
| EP3316248A1 (en) * | 2016-10-28 | 2018-05-02 | Thomson Licensing | Method for adapting a luminance of a multimedia content, corresponding computer program product and apparatus |
| US10346756B2 (en) | 2017-01-25 | 2019-07-09 | Centurylink Intellectual Property Llc | Machine discovery and rapid agglomeration of similar states |
| US10438124B2 (en) | 2017-01-25 | 2019-10-08 | Centurylink Intellectual Property Llc | Machine discovery of aberrant operating states |
| JP7278955B2 (ja) * | 2017-10-12 | 2023-05-22 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、送信装置、送信方法および受信装置 |
| KR102413839B1 (ko) * | 2017-11-15 | 2022-06-28 | 삼성전자 주식회사 | 컨텐츠 제공장치, 그 제어방법 및 기록매체 |
| US10657627B2 (en) | 2018-01-23 | 2020-05-19 | Gopro, Inc. | Temporal smoothing in image capture systems |
| US10298895B1 (en) | 2018-02-15 | 2019-05-21 | Wipro Limited | Method and system for performing context-based transformation of a video |
| US11030728B2 (en) * | 2018-05-29 | 2021-06-08 | Apple Inc. | Tone mapping techniques for increased dynamic range |
| EP3808068B1 (en) * | 2018-06-18 | 2022-06-29 | Dolby Laboratories Licensing Corporation | Image capture methods and systems |
| GB2578625A (en) | 2018-11-01 | 2020-05-20 | Nokia Technologies Oy | Apparatus, methods and computer programs for encoding spatial metadata |
| US11184551B2 (en) | 2018-11-07 | 2021-11-23 | Canon Kabushiki Kaisha | Imaging apparatus and control method thereof |
| JP7246894B2 (ja) * | 2018-11-07 | 2023-03-28 | キヤノン株式会社 | 撮像装置およびその制御方法 |
| CN109525901B (zh) * | 2018-11-27 | 2020-08-25 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备及计算机可读介质 |
| KR102666909B1 (ko) | 2019-06-19 | 2024-05-20 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
| US11669944B2 (en) * | 2019-12-27 | 2023-06-06 | Samsung Electronics Co., Ltd. | Electronic device for video editing with dynamic tone metadata and operation method thereof |
| WO2021242873A1 (en) * | 2020-05-26 | 2021-12-02 | Dolby Laboratories Licensing Corporation | Picture metadata for variable frame-rate video |
| US11930189B2 (en) * | 2021-09-30 | 2024-03-12 | Samsung Electronics Co., Ltd. | Parallel metadata generation based on a window of overlapped frames |
| JP2024538575A (ja) | 2021-10-01 | 2024-10-23 | ドルビー ラボラトリーズ ライセンシング コーポレイション | メタデータを使用した複数意図画像およびビデオのエンコードおよびデコード |
| US11734806B2 (en) * | 2021-11-24 | 2023-08-22 | Roku, Inc. | Dynamic tone mapping |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080195977A1 (en) * | 2007-02-12 | 2008-08-14 | Carroll Robert C | Color management system |
| KR20100106513A (ko) * | 2008-01-31 | 2010-10-01 | 톰슨 라이센싱 | 보기 데이터 정의 및 송신을 위한 방법 및 시스템 |
| WO2012166382A2 (en) * | 2011-05-27 | 2012-12-06 | Dolby Laboratories Licensing Corporation | Scalable systems for controlling color management comprising varying levels of metadata |
| JP2013520874A (ja) * | 2010-02-22 | 2013-06-06 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ビデオデータへの上書きによるビデオ配信および制御 |
Family Cites Families (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5724456A (en) * | 1995-03-31 | 1998-03-03 | Polaroid Corporation | Brightness adjustment of images using digital scene analysis |
| GB9705999D0 (en) * | 1997-03-22 | 1997-05-07 | Philips Electronics Nv | Video signal analysis and storage |
| JP3825615B2 (ja) * | 2000-08-11 | 2006-09-27 | 株式会社東芝 | 動画像符号化装置および動画像符号化方法およびプログラムを記録した媒体 |
| JP4362265B2 (ja) * | 2002-04-05 | 2009-11-11 | ソニー株式会社 | 映像コンテンツ編集支援システム，記録装置，編集者端末装置，コンピュータプログラム，記録媒体，映像コンテンツ編集支援方法 |
| JP4212290B2 (ja) * | 2002-04-08 | 2009-01-21 | オリンパス株式会社 | 撮像システム |
| EP2202978A1 (en) | 2002-04-12 | 2010-06-30 | Mitsubishi Denki Kabushiki Kaisha | Hint information describing method for manipulating metadata |
| JP4263933B2 (ja) * | 2003-04-04 | 2009-05-13 | 日本放送協会 | 映像提示装置、映像提示方法及び映像提示プログラム |
| US7986372B2 (en) * | 2004-08-02 | 2011-07-26 | Microsoft Corporation | Systems and methods for smart media content thumbnail extraction |
| CN101032165B (zh) * | 2004-08-17 | 2010-06-16 | 松下电器产业株式会社 | 制作装置、制作方法 |
| EP1854293A2 (en) * | 2005-02-07 | 2007-11-14 | Thomson Licensing | METHOD AND APPARATUS FOR REPLAYING A VIDEO SIGNAL AND ONE OR MORE AUDIO SIGNALS RELATED TO AUDIO/VIDEO DATA THAT ARE BASED ON A 24Hz FRAME FREQUENCY VIDEO SIGNAL |
| JP4536015B2 (ja) * | 2005-02-14 | 2010-09-01 | 富士フイルム株式会社 | 輝度変換曲線作成装置および方法，ならび輝度変換曲線作成プログラム |
| JP2006331591A (ja) * | 2005-05-30 | 2006-12-07 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| US7656462B2 (en) * | 2005-06-17 | 2010-02-02 | Martin Weston | Systems and methods for modifying master film for viewing at different viewing locations |
| JP4592652B2 (ja) * | 2005-09-09 | 2010-12-01 | 株式会社東芝 | 電子透かし埋め込み装置及び方法、電子透かし検出装置及び方法、並びにプログラム |
| US7639893B2 (en) * | 2006-05-17 | 2009-12-29 | Xerox Corporation | Histogram adjustment for high dynamic range image mapping |
| US8458595B1 (en) * | 2006-05-31 | 2013-06-04 | Adobe Systems Incorporated | Video editing including simultaneously displaying timelines and storyboards |
| JP4197014B2 (ja) * | 2006-07-18 | 2008-12-17 | 株式会社日立製作所 | 映像の検索方法および装置 |
| WO2008032739A1 (fr) * | 2006-09-12 | 2008-03-20 | Panasonic Corporation | Dispositif de formation d'image de contenu |
| US20080242988A1 (en) * | 2007-03-28 | 2008-10-02 | Tetsuya Yoshida | Ultrasound diagnostic apparatus, ultrasound image processing apparatus, and ultrasound image processing method |
| US8478331B1 (en) | 2007-10-23 | 2013-07-02 | Clearwire Ip Holdings Llc | Method and system for transmitting streaming media content to wireless subscriber stations |
| US8237864B2 (en) | 2007-11-12 | 2012-08-07 | Cyberlink Corp. | Systems and methods for associating metadata with scenes in a video |
| EP2144444B1 (en) | 2008-07-10 | 2012-06-27 | The University Of Warwick | HDR video data compression devices and methods |
| JP5004305B2 (ja) * | 2008-09-04 | 2012-08-22 | 株式会社リコー | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
| JP4588120B2 (ja) * | 2009-02-19 | 2010-11-24 | パナソニック株式会社 | 再生装置、記録方法、記録媒体再生システム |
| RU2504011C2 (ru) | 2009-03-13 | 2014-01-10 | Долби Лабораторис Лайсэнзин Корпорейшн | Многоуровневое сжатие видеоизображения с расширенным динамическим диапазоном, визуальным динамическим диапазоном и широкой цветовой гаммой |
| JP5493531B2 (ja) | 2009-07-17 | 2014-05-14 | 三菱電機株式会社 | 映像音声記録再生装置および映像音声記録再生方法 |
| EP2539895B1 (en) * | 2010-02-22 | 2014-04-09 | Dolby Laboratories Licensing Corporation | Video display with rendering control using metadata embedded in the bitstream. |
| WO2011106247A2 (en) | 2010-02-24 | 2011-09-01 | Dolby Laboratories Licensing Corporation | Display management methods and apparatus |
| JP2011223054A (ja) * | 2010-04-02 | 2011-11-04 | Canon Inc | 画像処理装置および画像処理方法 |
| WO2011156074A2 (en) | 2010-06-08 | 2011-12-15 | Dolby Laboratories Licensing Corporation | Tone and gamut mapping methods and apparatus |
| EP2617184B1 (en) | 2010-09-13 | 2019-01-16 | Dolby Laboratories Licensing Corporation | Data transmission using out-of-gamut color coordinates |
| US9113130B2 (en) * | 2012-02-06 | 2015-08-18 | Legend3D, Inc. | Multi-stage production pipeline system |
| EP2498499B1 (en) | 2011-03-08 | 2018-04-18 | Dolby Laboratories Licensing Corporation | Interpolation of color gamut for display on target display |
| TWI538473B (zh) * | 2011-03-15 | 2016-06-11 | 杜比實驗室特許公司 | 影像資料轉換的方法與設備 |
| US9035965B2 (en) | 2011-12-06 | 2015-05-19 | Dolby Laboratories Licensing Corporation | Metadata for use in color grading |
| TWI556629B (zh) | 2012-01-03 | 2016-11-01 | 杜比實驗室特許公司 | 規定視覺動態範圍編碼操作及參數 |
| EP3053335B1 (en) * | 2013-10-02 | 2018-04-11 | Dolby Laboratories Licensing Corporation | Transmitting display management metadata over hdmi |
| JP6042583B2 (ja) * | 2013-11-13 | 2016-12-14 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Ｅｄｒビデオのコンテンツ生成および支援ディスプレイ管理を行うためのワークフロー |
-
2014
- 2014-07-28 EP EP14755201.2A patent/EP3028446A1/en not_active Ceased
- 2014-07-28 EP EP18185788.9A patent/EP3425899B1/en active Active
- 2014-07-28 RU RU2016102884A patent/RU2627048C1/ru active
- 2014-07-28 TW TW103125711A patent/TWI542206B/zh active
- 2014-07-28 CN CN201810682570.1A patent/CN108831511B/zh active Active
- 2014-07-28 US US14/906,306 patent/US9607658B2/en active Active
- 2014-07-28 KR KR1020167002689A patent/KR101775938B1/ko active IP Right Grant
- 2014-07-28 JP JP2016531791A patent/JP6227778B2/ja active Active
- 2014-07-28 WO PCT/US2014/048387 patent/WO2015017314A1/en active Application Filing
- 2014-07-28 CN CN201480042828.1A patent/CN105409203B/zh active Active
- 2014-07-28 TW TW105113276A patent/TWI555392B/zh active
- 2014-07-28 KR KR1020177004730A patent/KR102051798B1/ko active IP Right Grant
- 2014-07-28 BR BR122020018850-2A patent/BR122020018850B1/pt active IP Right Grant
-
2016
- 2016-04-29 HK HK19101100.4A patent/HK1259138A1/zh unknown
- 2016-04-29 HK HK16104981.5A patent/HK1217068A1/zh unknown
-
2017
- 2017-01-17 US US15/408,262 patent/US10553255B2/en active Active
- 2017-10-11 JP JP2017197969A patent/JP6334799B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080195977A1 (en) * | 2007-02-12 | 2008-08-14 | Carroll Robert C | Color management system |
| KR20100106513A (ko) * | 2008-01-31 | 2010-10-01 | 톰슨 라이센싱 | 보기 데이터 정의 및 송신을 위한 방법 및 시스템 |
| JP2013520874A (ja) * | 2010-02-22 | 2013-06-06 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ビデオデータへの上書きによるビデオ配信および制御 |
| WO2012166382A2 (en) * | 2011-05-27 | 2012-12-06 | Dolby Laboratories Licensing Corporation | Scalable systems for controlling color management comprising varying levels of metadata |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020009365A1 (ko) * | 2018-07-03 | 2020-01-09 | 삼성전자(주) | 디스플레이장치 및 그 제어방법과 기록매체 |
| KR20200004210A (ko) * | 2018-07-03 | 2020-01-13 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법과 기록매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108831511A (zh) | 2018-11-16 |
| JP6334799B2 (ja) | 2018-05-30 |
| KR101775938B1 (ko) | 2017-09-07 |
| KR102051798B1 (ko) | 2019-12-04 |
| BR112016001639A2 (pt) | 2017-08-01 |
| CN105409203A (zh) | 2016-03-16 |
| EP3425899A1 (en) | 2019-01-09 |
| CN105409203B (zh) | 2018-07-31 |
| BR122020018850B1 (pt) | 2023-01-31 |
| CN108831511B (zh) | 2020-10-23 |
| HK1259138A1 (zh) | 2019-11-29 |
| TWI542206B (zh) | 2016-07-11 |
| RU2627048C1 (ru) | 2017-08-03 |
| EP3425899B1 (en) | 2019-12-25 |
| EP3028446A1 (en) | 2016-06-08 |
| KR20160027975A (ko) | 2016-03-10 |
| TW201630429A (zh) | 2016-08-16 |
| TW201521435A (zh) | 2015-06-01 |
| US20170125063A1 (en) | 2017-05-04 |
| WO2015017314A1 (en) | 2015-02-05 |
| HK1217068A1 (zh) | 2016-12-16 |
| RU2016102884A (ru) | 2017-08-03 |
| TWI555392B (zh) | 2016-10-21 |
| US9607658B2 (en) | 2017-03-28 |
| US10553255B2 (en) | 2020-02-04 |
| US20160254028A1 (en) | 2016-09-01 |
| JP2018042253A (ja) | 2018-03-15 |
| JP6227778B2 (ja) | 2017-11-08 |
| JP2016528826A (ja) | 2016-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101775938B1 (ko) | 장면 안정 메타데이터를 발생하기 위한 시스템 및 방법들 | |
| JP7612062B2 (ja) | 様々なレベルのメタデータを含む色管理を制御するスケーラブルシステム | |
| JP5588022B2 (ja) | 表示サブシステムにビデオデータを提供する方法、およびシステム | |
| JP5829758B2 (ja) | ビデオ等化のための方法およびシステム | |
| JP5577415B2 (ja) | ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示 | |
| JP6562992B2 (ja) | デジタルビデオストリーミングにおけるトリック再生 | |
| CN115668958B (zh) | 用于可变帧速率视频的图片元数据 | |
| BR112016001639B1 (pt) | Sistema para gerar metadados estabilizados de cena |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| PA0104 | Divisional application for international application |
Comment text: Divisional Application for International Patent Patent event code: PA01041R01D Patent event date: 20170220 Application number text: 1020167002689 Filing date: 20160129 |
|
| PG1501 | Laying open of application | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20190319 Comment text: Request for Examination of Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20190530 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20191022 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20191128 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20191129 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20221025 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20241029 Start annual number: 6 End annual number: 6 |