KR101993593B1 - 오버레이 그래픽스를 합성하기 위한 어피어런스 매핑을 위한 시스템들 및 방법들 - Google Patents

오버레이 그래픽스를 합성하기 위한 어피어런스 매핑을 위한 시스템들 및 방법들 Download PDF

Info

Publication number
KR101993593B1
KR101993593B1 KR1020197013165A KR20197013165A KR101993593B1 KR 101993593 B1 KR101993593 B1 KR 101993593B1 KR 1020197013165 A KR1020197013165 A KR 1020197013165A KR 20197013165 A KR20197013165 A KR 20197013165A KR 101993593 B1 KR101993593 B1 KR 101993593B1
Authority
KR
South Korea
Prior art keywords
image
images
dynamic range
mapping
display
Prior art date
Application number
KR1020197013165A
Other languages
English (en)
Other versions
KR20190052173A (ko
Inventor
티모 쿤켈
닝 쉬
타오 첸
봉순 이
사미르 엔. 훌?카르
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20190052173A publication Critical patent/KR20190052173A/ko
Application granted granted Critical
Publication of KR101993593B1 publication Critical patent/KR101993593B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4661—Deriving a combined profile for a plurality of end-users of the same client, e.g. for family members within a home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H04N5/58—Control of contrast or brightness in dependence upon ambient light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Abstract

제 1 이미지/비디오 데이터 상에 제 2 이미지/비디오 데이터를 오버레이하기 위한 시스템들 및 방법들이 본 명세서에 기술된다. 제 1 이미지/비디오 데이터는 특정한 특징들 - 예를 들면, HDR, EDR, VDR 또는 UHD 능력들 - 을 가진 디스플레이 상에 렌더링되기 위한 것일 수 있다. 제 2 이미지/비디오 데이터는 그래픽스, 폐쇄 자막, 텍스트, 광고 - 또는 제 1 이미지/비디오 데이터 상에 오버레이 및/또는 합성되기를 원할 수 있는 임의의 데이터 - 를 포함할 수 있다. 제 2 이미지/비디오 데이터는 제 1 이미지/비디오 데이터의 이미지 통계들 및/또는 특징들에 따라 어피어런스 매핑될 수 있다. 또한, 이러한 어피어런스 매핑은 합성 데이터가 렌더링되는 디스플레이의 특징들에 따라 이루어질 수 있다. 이러한 어피어런스 매핑은 뷰어에게 시각적으로 즐거운 합성 데이터를 렌더링하기를 원하며, 원하는 디스플레이 상에 렌더링된다.

Description

오버레이 그래픽스를 합성하기 위한 어피어런스 매핑을 위한 시스템들 및 방법들{SYSTEMS AND METHODS FOR APPEARANCE MAPPING FOR COMPOSITING OVERLAY GRAPHICS}
관련 출원들에 대한 교차-참조
이 출원은, 전체 내용이 본 명세서에 참조로 포함되는, 2013년 2월 21일에 출원된 미국 가 특허 출원 제61/767,553호에 대한 우선권을 주장한다. 이 출원은 또한, 전체 내용이 본 명세서에 참조로 포함되는, 2013년 2월 21에 출원된 미국 가특허 출원 제61/767,522호에 관련된다.
기술 분야
본 발명은 이미지 처리에 관한 것으로, 특히 그래픽스 및 합성 이미지들을 이미지/비디오 데이터 상에 매핑하기 위한 방법들 및 시스템들에 관한 것이다.
동적 범위(DR: dynamic range)는 이미지에서 세기(예를 들면, 휘도, 루마)의 범위에 관련된다. 실제 장면들에서의 DR은 일반적으로 크다. 이미지 및 비디오 신호들의 캡처, 표현 및 제공을 위한 상이한 이미지 및 비디오 애플리케이션들은 상이한 DR을 가질 수 있다. 예를 들면, 사진 원판들(photographic negatives)은 비교적 큰 동적 범위를 가질 수 있지만, 사진 인화들, 일부 현존하는(예를 들면, 종래의) 텔레비전(TV) 세트들, 및 컴퓨터 모니터들은 더 작은 DR을 가질 수 있다.
DR은 또한, 이미지에서 세기(예를 들면, 휘도, 루마)의 범위, 예를 들면 가장 어두운 어둠들에서 가장 밝은 밝음들까지를 지각하기 위한 인간 심리시각 시스템(HVS: humanpsychovisual system)의 능력에 관련된다. 이러한 의미에서, DR은 "장면 - 참조된(scene - referred)" 세기에 관련된다. DR은 또한 특정 폭의 세기 범위를 충분히 또는 대략적으로 렌더링하기 위한 디스플레이 디바이스의 능력에 관련될 수 있다. 이러한 의미에서, DR은 "디스플레이 - 참조된(display - referred)" 세기에 관련된다. 다른 의미에서, DR은 또한 "신호 - 참조된(signal - referred)" 세기에 관련될 수 있고 - 이것은 어느 정도 이론적일 수 있다. 예를 들면, VDR 신호는 최대 10,000 nits까지의 범위일 수 있고 HDR 신호들은 훨씬 더 높은 범위일 수 있다. 대부분, 그 범위를 위한 등급의 디스플레이들은 존재하지 않는다. 특정 의미가 본 명세서의 기술에서의 임의의 지점에 특별한 의미를 가지도록 명시적으로 지정되지 않는 한, 용어는 어떤 의미에서나, 예를 들면 교환 가능하게 이용될 수 있음이 내포되어야 한다.
종래의 TV 세트들 및 컴퓨터 모니터들에 의한 렌더링은 흔히 대략 3 자릿수의 동적 범위 - 표준 동적 범위(SDR)로도 칭해지는 로우 동적 범위(LDR) - 로 제한된다. LDR 이미지들과 대조적으로, 하이 동적 범위(HDR) 이미지들은 원본 장면에 모든 동적 범위를 필수적으로 포함한다. HDR은 약 14 - 15 자릿수의 동적 범위에 미칠 수 있다. HDR 이미지들은 임의의 비트 심도에 의해 표현될 수 있지만, 통상적으로 10 - 16 비트들 이상이 과도하게 큰 단계 크기들을 감소시키는데 이용된다.
배포를 위한 압축과 같은 다수의 애플리케이션들에 대해, HDR 이미지들에 대한 인코딩은 불필요할 수 있고 사실상 다소 계산적으로 비용이 많이 들거나 대역폭 소모적일 수 있다. 반면에, LDR 이미지들은 단순히 어느 것도 충분하지 않을 수 있다. 대신에, 이러한 애플리케이션들은, 시각적 동적 범위 또는 가변 동적 범위, VDR에 의해 특징지워질 수 있는 이미지들을 유리하게 이용, 생성, 저장, 전송 또는 렌더링할 수 있다. HDR에 관련되어 절단된(truncated) VDR 이미지들은, 통상적인 HVS가 동시에 지각(예를 들면, 임의의 주어진 시간에 시각적으로 지각)할 수 있는 모든 휘도 및 컬러를 필수적으로 포함한다. VDR은 약 5 - 6 자릿수의 동적 범위에 미친다. 따라서 VDR은 HDR에 비해 협소하긴 하지만, 넓은 DR 폭을 표현한다. HDR과 VDR 이미지들 사이의 DR 차들에도 불구하고, 본 명세서에 이용된 용어 EDR은 LDR에 비해 동적 범위가 확장된 임의의 이미지를 특징짓는다.
본 발명은 그래픽스 및 합성 이미지들을 이미지/비디오 데이터 상에 매핑하기 위한 개선된 방법들 및 시스템들을 제공한다.
이들을 제작 및 이용하는 디스플레이 시스템들 및 방법들의 여러 실시예들이 본 명세서에 개시된다.
제 1 이미지/비디오 데이터 상에 제 2 이미지/비디오 데이터를 오버레이하기 위한 시스템들 및 방법들이 본 명세서에 기술된다. 제 1 이미지/비디오 데이터는 특정한 특징들 - 예를 들면, HDR, EDR, VDR 또는 초 - 고화질(UHD, 예를 들면, 4K 또는 8K 수평 해상도) 능력들 - 을 가진 디스플레이 상에 렌더링되기 위한 것일 수 있다. 제 2 이미지/비디오 데이터는 그래픽스, 폐쇄 자막, 텍스트, 광고 - 또는 제 1 이미지/비디오 데이터 상에 오버레이 및/또는 합성되기를 원할 수 있는 임의의 데이터를 포함할 수 있다. 제 2 이미지/비디오 데이터는 제 1 이미지/비디오 데이터의 이미지 통계들 및/또는 특징들에 따라 어피어런스 매핑될 수 있다. 또한, 이러한 어피어런스 매핑은 합성 데이터가 렌더링되는 디스플레이의 특징들에 따라 이루어질 수 있다. 이러한 어피어런스 매핑은 뷰어에게 시각적으로 즐거운 합성 데이터를 렌더링하기를 원하며, 원하는 디스플레이 상에 렌더링된다.
일 실시예에서, 제 1 이미지 데이터 상에 제 2 이미지 데이터를 오버레이하기 위한 방법이 개시되고 -- 상기 방법은: 제 1 이미지 및 제 2 이미지를 수신하는 단계로서, 제 1 이미지는 제 2 이미지와 동적 범위 및 크기가 상이한, 상기 이미지 수신 단계; 제 1 이미지에 관한 제 1 메타데이터를 수신하는 단계; 제 2 이미지에 관한 제 2 메타데이터를 수신하는 단계; 제 1 메타데이터 및 제 2 메타데이터에 따라, 조정된 제 2 이미지를 결정하기 위해 제 2 이미지의 어피어런스 매핑을 수행하는 단계로서, 상기 조정된 제 2 이미지는 제 2 이미지와 동적 범위가 상이한, 상기 어피어런스 매핑 수행 단계; 제 1 이미지의 적어도 일부 상에 조정된 제 2 이미지를 오버레이하는 합성 이미지를 형성하는 단계를 포함한다.
다른 실시예에서, 제 1 이미지 데이터 상에 제 2 이미지 데이터를 합성하기 위한 시스템이 개시되고 -- 상기 시스템은: 제 1 이미지를 수신할 수 있는 디스플레이 관리 모듈; 제 2 이미지를 수신할 수 있는 합성기 모듈로서, 또한 제 1 이미지에 관한 메타데이터를 수신할 수 있고 제 1 이미지에 관한 상기 메타데이터에 따라 어피어런스 매핑된 제 2 이미지를 형성하기 위해 제 2 이미지의 어피어런스 매핑을 수행할 수 있는 합성기 모듈; 및 합성 이미지를 형성하기 위해 제 1 이미지 상에 어피어런스 매핑된 제 2 이미지를 믹싱할 수 있는 믹싱 모듈로서, 합성 이미지는 디스플레이 상에 렌더링되도록 하기 위한 것인, 상기 믹싱 모듈을 포함한다.
다른 실시예에서, 기존의 합성 이미지 - 제 1 이미지/비디오 데이터와 제 2 오버레이된 이미지/비디오 데이터로부터 형성된 - 가, 제 2 오버레이된 이미지/비디오 데이터의 전부 또는 일부가 제 3 오버레이된 이미지/비디오 데이터에 의해 대체될 수 있는 다른 합성 이미지로 매핑 및/또는 변환될 수 있는 동적 광고를 위한 시스템들 및 방법들이 개시된다.
본 시스템의 다른 특징들 및 이점들은 이 출원 내에 제공된 도면들과 관련하여 판독될 때 상세한 기술의 하기에 제공된다.
예시적 실시예들은 도면들을 참조하여 예시된다. 본 명세서에 개시된 실시예들 및 도면들이 제한적인 것보다는 예시적인 것으로 간주되는 것이 의도된다.
도 1은 본 출원의 일 실시예가 동작할 수 있는 일 예시적 환경을 도시한 도면.
도 2a 및 도 2b는 EDR/VDR 이미지 데이터를 포함하는 렌더링된 이미지 및 그래픽스와 폐쇄 자막의 오버레이의, 첫 번째는 어피어런스 매핑이 적용되지 않은, 그 후엔 어피어런스 매핑이 적용된 각각의 두 예들을 도시한 도면들.
도 3은 3개의 가능한 처리 시나리오들, 이미지, 장면 및 영화 각각의 이미지/비디오 처리를 도시한 도면.
도 4 및 도 5는 EDR/VDR - 가능 디스플레이들 상의 시각적으로 즐거운 합성 이미지/비디오 신호에 영향을 미칠 수 있는 본 시스템의 두 실시예들을 도시한 도면들.
도 6은 레거시 디스플레이 상의 시각적으로 즐거운 합성 이미지/비디오 신호에 영향을 미칠 수 있는 본 시스템의 일 실시예를 도시한 도면.
도 7은 디스플레이 상에 후속 렌더링을 위해 제 1 이미지/비디오 데이터 상에 오버레이/합성 이미지/비디오 데이터를 어피어런스 매핑하기 위한 모듈/루틴의 일 예시적 실시예를 도시한 도면.
도 8은 동적 범위, 최소 휘도, 반사 백색점 및 절대 최대에 관한 어피어런스 매핑의 일 예시적 실시예를 도시한 도면.
도 9의 (A), (B), (C) 및 (D)는 색 재현율에 관한 어피어런스 매핑의 일 예시적 실시예를 도시한 도면들.
도 10a, 도 10b 및 도 10c는 동적 컨텐트 대체를 수행하는 일 예시적 실시예를 도시한 도면들.
도 11은 동적 컨텐트 대체의 다른 실시예를 도시한 도면.
다음의 기술 전반에 걸쳐, 본 기술분야의 통상의 기술자들에게 더욱 철저한 이해를 제공하기 위해 특정 세부사항들이 기재된다. 그러나, 잘 알려진 요소들이 개시내용을 불필요하게 모호하게 하는 것을 회피하기 위해 상세히 도시하거나 기술되지 않을 수 있다. 따라서, 기술 및 도면들은 제한적인 의미보다는 예시적인 의미로 간주되어야 한다.
도입
현재 레거시 컨슈머 TV들의 일반적인 시각 경험에서, Rec.709 및 DCI Specs.과 같은 표준들을 이용한 인커밍 비디오 스트림의 어피어런스 및 매핑에 대한 제어가 거의 없다. 이것은 특히, 제 1 비디오 스트림으로 통합되고, 믹싱된 후에 개인에 의한 뷰잉을 위해 렌더링되기를 원할 수 있는 그래픽 또는 비디오 오버레이들에 해당된다. 본 시스템의 일 실시예에서, 합성 이미지 및/또는 비디오의 뷰어에게 어피어런스 매칭 및/또는 개선된 시각 경험을 제공하는 방식으로 제 1 이미지/비디오 데이터 스트림 상에 이러한 오버레이들의 적합한 이미지 처리 및/또는 믹싱을 제공하는 것이 바람직할 수 있다.
도 1은 시스템(104)의 일 실시예가 본 출원에 따라 만들어진 환경(100)을 예시한다. 이 환경(100)에서, 본 시스템(104)은 디스플레이(114) 상에 렌더링될 제 1 데이터 및/또는 메타데이터(102)(예를 들면 VDR, EDR, HDR 또는 일부 다른 이미지 및/또는 비디오 데이터/메타데이터)를 수신할 수 있다. 또한, 외부 데이터/컨텐트(106)의 다른 스트림(예를 들면, 잠재적인 복수의 소스들 - 인터넷, IP, 다른 데이터 소스들, 등으로부터)이 있을 수 있다. 이러한 데이터/컨텐트의 다른 스트림은 그래픽스, 이미지들 및/또는 제 1 데이터 스트림과 합성되거나 믹싱되는 비디오를 표현할 수 있다. 스트림들(102 및 106)도 또한 동일한 소스로부터 및 동일한 방식으로 시스템(104)에 나올 수 있음을 알아야 한다.
데이터 스트림(102)은 디스플레이(114) 상의 렌더링에 적합한 이미지 처리를 위해 디스플레이 관리(DM: Display Management) 모듈(108)에 입력될 수 있다. 합성기(110)는 합성 데이터 스트림(106) - 뿐만 아니라 DM(108)으로부터의 데이터 및/또는 메타데이터 - 을 입력하는 다른 이미지 처리/비디오 처리 모듈일 수 있다. 합성기(110)는 합성 데이터 스트림을 GUI, 폐쇄 자막(CC: Closed Captioning), 화면속 화면(PIP: Picture In Picture), 또는 합성 데이터가 제 1 데이터 스트림과 믹싱 및/또는 합성되기 위한 임의의 다른 가능한 포맷으로 포맷할 수 있다. 메타데이터는 또한 합성 이미지가 렌더링될 수 있는 디스플레이의 렌더링 특징들에 관한 메타데이터를 포함할 수 있다. 이러한 메타데이터는 평균, 최소/중간/최대 휘도, 반사 백색, 백색점, 색 재현율 및 임의의 다른 알려진 이미지 렌더링 특징 및/또는 명세를 포함할 수 있다.
뷰어는 이러한 합성 렌더링에 대한 뷰어의 요망들 또는 요구들을 입력하기 위해 합성기(110)에 대한 선택적 제어 입력 - 예를 들면, 원격 제어, 랩톱, 태블릿, 스마트 폰 또는 다른 적합한 제어기(116) - 을 가질 수 있다.
합성 이미지/비디오 데이터 및 제 1 비디오 스트림은 (어떤 처리이든 DM(108)에 의해 적용된 후) 믹싱 모듈(112)에 입력될 수 있다. 믹싱 모듈(112)은 즐거운 뷰잉 경험을 제공하기 위해 - 예를 들면 본 명세서에 기술되고 알려진 임의의 고급 이미지/비디오 처리 알고리즘을 이용하여 - 합성 이미지/비디오 데이터를 제 1 데이터 스트림 상에 적합하게 오버레이할 수 있다. 본 명세서에 부가로 기술된 바와 같이, 이러한 즐거운 뷰잉 경험은 합성 이미지/비디오 데이터를 제 1 이미지 데이터의 특징들 및/또는 최종 합성 이미지/비디오가 렌더링되어야 하는 디스플레이(114)의 특징들에 어피어런스 매칭시킴으로써 향상될 수 있다.
DM, 합성기 및 믹싱 모듈들이 어느 곳이나 물리적으로 상주할 수 있고 - DM, 합성기 및 믹싱 모듈들이 디스플레이 자체(기능 모듈들로서)에 상주될 수 있지만 - 서로 원격일 수 있음이 가능하다는 것을 알아야 한다. 예를 들면, 하나 이상의 이들 모듈들을 셋톱 박스에 배치하고 디스플레이와 통신하게 하는 것(예를 들면, 임의의 알려진 유선 또는 무선 구성에 의해)이 가능할 수 있다. 다른 실시예에서, DM, 합성기 및/또는 믹서는 디스플레이가 상주하는 물리적 공간의 외부에 있을 수 있다. 다른 실시예들에서, 3개의 이들 모듈들 중 일부 또는 전부의 기능을 단일 모듈에 배치하는 것이 가능할 수 있다. 예를 들면, DM 모듈은 통상적인 DM들의 기능 - 뿐만 아니라 합성기 및 믹서의 기능 - 을 포함하도록 구성될 수 있다.
일 실시예에서, 이미지 처리에 알려진(또한 본 명세서에 부가로 기술된) 다양한 통계들의 계산을 위한 이미지 통계들 계산 모듈을 구비하는 것이 바람직할 수 있다. 이러한 통계들(예를 들면, 제 1 이미지/비디오 데이터, 제 2 오버레이 이미지/비디오 데이터 등의)은 제 1 이미지/비디오 데이터 상의 제 2 오버레이 이미지/비디오 데이터의 어피어런스 매핑시 지원하기 위해 본 시스템에 의해 더 이용될 수 있다. 본 명세서에 언급된 임의의 모듈들은 본 기술분야에 알려진 바와 같이, 이미지 통계들 모듈을 포함할 수 있다.
일 실시예에서, 이들 모듈들은 이미지/비디오 전단 공급기(예를 들면, 케이블 오퍼레이터, 위성 오퍼레이터 및/또는 다른 미디어 공급기들)에 상주할 수 있다. 따라서, 그래픽스 오버레이는 - 예를 들면, 컨텐트 제작측(예를 들면, 자막), 방송 회사(예를 들면, 로고들), 셋톱 박스(예를 들면, UI, TV 가이드, cc), TV 자체(예를 들면, UI), AV 수신기(예를 들면, 볼륨 바 그래픽스 오버레이), 또는 그래픽스를 추가하거나 입력 비디오 스트림을 다르게 수정할 수 있는 임의의 신호 스위치/수정기/AV 처리기에서 생성되는 - 컨텐트에 삽입되는 장소를 구별 및/또는 표기하는 것이 바람직할 수 있다. 임의의 이러한 단계에서, 오버레이 및 합성은 상이하게 다루어질 수 있다. UI 및 오버레이 삽입 지점들을 서로 인식(즉, 파이프라인 - 인식: pipeline - awareness)시키는 것이 또한 바람직할 수 있다. 이러한 경우, 비디오 스트림에 이미 임베딩된 UI 그래픽스(예를 들면, 방송 로고들은 일반적으로 스트림의 초기에 임베딩된다)를 재분석 및 재매핑하는 것을 회피하는 것이 가능할 수 있다. 일반적 UI 렌더링 외에도, 모든 이러한 정보는 또한, 예를 들면 스마트 TV 상에서 실행하는 웹 브라우저가 이에 액세스할 수 있도록 방송 송출 장치의 오퍼레이팅 시스템에 제공될 수 있다.
상기에 언급된 바와 같이, 일 실시예에서, 비디오 스트림은 HDR, EDR 및/또는 VDR 데이터/메타데이터 스트림일 수 있고, 이와 같이, 비디오 처리 시스템의 일부 부분은 HDR, EDR 및/또는 VDR 이미지/비디오 처리에 영향을 미칠 수 있다. HDR, EDR 및 VDR 데이터 및 메타데이터 처리를 관련시키는 다양한 시스템들, 기법들 및/또는 기술들은 다음의 공유 특허 출원들에서 찾을 수 있다:
(1) Li에 의한, 2013년 1월 31일에 공개되고 발명의 명칭이 "QUALITY ASSESSMENT OF HIGH DYNAMIC RANGE, VISUAL DYNAMIC RANGE AND WIDE COLOR GAMUT IMAGE AND VIDEO"인 미국 특허 출원 제20130027615호;
(2) Gish에 의한, 2013년 1월 3일에 공개되고 발명의 명칭이 "QUALITY ASSESSMENT OF IMAGES WITH EXTENDED DYNAMIC RANGE"인 미국 특허 출원 제20130004074호;
(3) Messmer에 의한, 2012년 12월 20일에 공개되고 발명의 명칭이 "VIDEO DISPLAY CONTROL USING EMBEDDED METADATA"인 미국 특허 출원 제20120321273호;
(4) Messmer 등에 의한, 2012년 12월 13일에 공개되고 발명의 명칭이 "VIDEO DELIVERY AND CONTROL BY OVERWRITING VIDEO DATA"인 미국 특허 출원 제20120315011호;
(5) Ninan 등에 의한, 2012년 12월 13일에 공개되고 발명의 명칭이 "HIGH DYNAMIC RANGE, BACKWARDS - COMPATIBLE, DIGITAL CINEMA"인 미국 특허 출원 제20120314944호;
(6) Gish 등에 의한, 2012년 12월 13일에 공개되고 발명의 명칭이 "DRIFT - FREE, BACKWARDS COMPATIBLE, LAYERED VDR CODING"인 미국 특허 출원 제20120314773호;
(7) Atkins 등에 의한, 2012년 11월 29일에 공개되고 발명의 명칭이 "SYSTEMS AND METHODS OF IMAGE PROCESSING THAT ADJUST FOR VIEWER POSITION, SCREEN SIZE AND VIEWING DISTANCE"인 미국 특허 출원 제20120299817호;
(8) Longhurst에 의한, 2012년 9월 13일에 공개되고 발명의 명칭이 "INTERPOLATION OF COLOR GAMUT FOR DISPLAY ON TARGET DISPLAY"인 미국 특허 출원 제20120229495호;
(9) Messmer 등에 의한, 2012년 2월 16일에 공개되고 발명의 명칭이 "VDR METADATA TIMESTAMP TO ENHANCE DATA COHERENCY AND POTENTIAL OF METADATA"인 미국 특허 출원 제20120038782호;
(10) Atkins에 의한, 2009년 12월 31일에 공개되고 발명의 명칭이 "METHOD AND APPARATUS IN VARIOUS EMBODIMENTS FOR HDR IMPLEMENTATION IN DISPLAY DEVICES"인 미국 특허 출원 제20090322800호;
(11) Gish에 의한, 2013년 1월 3일에 공개되고 발명의 명칭이 "QUALITY ASSESSMENT OF IMAGES WITH EXTENDED DYNAMIC RANGE"인 미국 특허 출원 제20130004074호;
(12) Demos에 의한, 2010년 5월 13일에 공개되고 발명의 명칭이 "VIDEO IMAGE COMPRESSION USING UNEQUAL WEIGHTS"인 미국 특허 출원 제20100118957호;
(13) Demos에 의한, 2010년 1월 21일에 공개되고 발명의 명칭이 "INTERPOLATION OF VIDEO COMPRESSION FRAMES"인 미국 특허 출원 제20100014587호;
(14) Demos에 의한, 2008년 11월 6일에 공개되고 발명의 명칭이 "METHOD AND SYSTEM FOR IMPROVING COMPRESSED IMAGE CHROMA INFORMATION"인 미국 특허 출원 제20080273809호;
(15) Demos에 의한, 2007년 11월 22일에 공개되고 발명의 명칭이 "INTERPOLATION OF VIDEO COMPRESSION FRAMES"인 미국 특허 출원 제20070268967호;
(16) Demos 등에 의한, 2011년 5월 5일에 공개되고 발명의 명칭이 "HIGH PRECISION ENCODING AND DECODING OF VIDEO IMAGES"인 미국 특허 출원 제20110103470호;
- 이들 모두는 전체 내용이 본 명세서에 참조로 포함된다.
또한, 디스플레이 관리 서브시스템들은 제 1 데이터 스트림 상의 이러한 합성된 이미지/비디오 데이터에 대한 즐거운 뷰잉 경험을 제공하기 위한 시스템의 일부를 포함할 수 있다. DM 시스템들은 통상적으로 처리기, 컴퓨터 판독 가능한 저장장치 및 컴퓨터 판독 가능한 명령들의 세트를 포함하며, 이들 명령들은 다수의 이미지 처리 알고리즘들 및 기법들에 영향을 미치기에 적합하며 - 예를 들면 휘도 매핑, 색 재현율 매핑, 동적 범위 매핑이다.
DM 시스템들은 다음의 공유 미국 특허 출원들에 부가로 기술된다:
(1) Messmer에 의한, 2012년 12월 20일에 공개되고 발명의 명칭이 "VIDEO DISPLAY CONTROL USING EMBEDDED METADATA"인 미국 특허 출원 제20120321273호;
(2) Messmer 등에 의한, 2012년 12월 13일에 공개되고 발명의 명칭이 "VIDEO DELIVERY AND CONTROL BY OVERWRITING VIDEO DATA"인 미국 특허 출원 제20120315011호;
(3) Longhurst에 의한, 2012년 9월 13일에 공개되고 발명의 명칭이 "INTERPOLATION OF COLOR GAMUT FOR DISPLAY ON TARGET DISPLAY"인 미국 특허 출원 제20120229495호;
(4) Todd 등에 의한, 2012년 8월 9일에 공개되고 발명의 명칭이 "RESOLUTION MANAGEMENT FOR MULTI - VIEW DISPLAY TECHNOLOGIES"인 미국 특허 출원 제20120200593호;
(5) Dickens 등에 의한, 2012년 5월 24일에 공개되고 발명의 명칭이 "METHOD AND SYSTEM FOR DISPLAY CHARACTERIZATION OR CALIBRATION USING A CAMERA DEVICE"인 미국 특허 출원 제20120127324호;
(6) Hovanky 등에 의한, 2012년 3월 29일에 공개되고 발명의 명칭이 "METHOD AND SYSTEM FOR 3D DISPLAY CALIBRATION WITH FEEDBACK DETERMINED BY A CAMERA DEVICE"인 미국 특허 출원 제20120075435호;
(7) Erinjippurath에 의한, 2012년 3월 29일에 공개되고 발명의 명칭이 "METHOD AND SYSTEM FOR DISPLAY CALIBRATION WITH FEEDBACK DETERMINED BY A CAMERA DEVICE"인 미국 특허 출원 제20120074851호;
(8) Pahalawatta 등에 의한, 2011년 12월 22일에 공개되고 발명의 명칭이 "QUALITY EVALUATION OF SEQUENCES OF IMAGES"인 미국 특허 출원 제20110311147호;
(9) Gish 등에 의한, 2011년 8월 11일에 공개되고 발명의 명칭이 "COMPATIBLE COMPRESSION OF HIGH DYNAMIC RANGE, VISUAL DYNAMIC RANGE, AND WIDE COLOR GAMUT VIDEO"인 미국 특허 출원 제20110194618호;
(10) Leontaris 등에 의한, 2009년 4월 2일에 공개되고 발명의 명칭이 "VIDEO COMPRESSION AND TRANSMISSION TECHNIQUES"인 미국 특허 출원 제20090086816호;
- 이들 모두는 전체 내용이 본 명세서에 참조로 포함된다.
합성 이미지 일례
일 실시예에서, 즐거운 시각적 경험을 제공하기 위해, 제 1 신호의 특징들 및/또는 디스플레이의 특징들에 따라 합성 신호를 제 1 이미지/비디오 신호와 믹싱하는 것이 바람직할 수 있다. 예를 들면, 비디오 및 디스플레이 기술들이 개선됨에 따라, VDR/EDR/HDR 데이터를 렌더링할 수 있는 디스플레이들을 지향하려는 경향이 있다. 이러한 데이터 -- 및 이러한 데이터를 렌더링할 수 있는 디스플레이들 - 는 디렉터가 의도한 방식으로 - 즉 데이터를 보여주는데 및/또는 렌더링하는데 이용되는 디스플레이 하드웨어의 능력들 내에서 - 영화/비디오를 충실히 재생하기에 적합한 수단을 제공한다. 어떤 경우에는, 특히 하이라이트들에 대해 더 높은 휘도 레벨들이 재생될 수 있다 -- 이것은 통상적으로 레거시 방식들로는 가능하지 않았다.
디스플레이/TV에 배포되는 더 높은 품질의 이미지/비디오 데이터 외에, 다른 이미지 요소들(실제 영화/비디오 컨텐트를 반드시 포함하지 않음)은 다른 사용자 인터페이스 요소들이다 - 예를 들면, 메뉴들, 커서들, 및 폐쇄 자막 또는 BluRay 디스크 메뉴와 같은 다른 스크린 디스플레이 요소들. 그러나, 이들 요소들의 어피어런스 렌더링은 통상적으로 EDR/VDR에 규정되지 않는다 -- 통상적으로 레거시 비디오에 관련되지도 않는다.
따라서, 본 시스템의 일 실시예는 - 이전에 언급된 사용자 인터페이스(UI) 요소들 및 다른 이미지/비디오 컨텐트의 비색적, 지각적 및 미적으로 정확한 렌더링에 영향을 미치기 위해 - 본 명세서에 개시된 시스템 및 방법들을 이용한 디스플레이 디바이스 상의 사용자 인터페이스 요소들의 지각적으로 정확한 렌더링에 영향을 미친다.
도 2a 및 도 2b는 렌더링된 이미지(각각 200 및 200')의 두 예이다. 이미지(200)에서는 높은 동적 범위 콘트라스트 -- 예를 들면, 매우 어두운 부분들(음영들에서, 예를 들면 단어 "Text"가 디스플레이되는 곳에서 보여지는 바와 같이) 부근의 매우 높은 휘도 부분들(아크 용접기의 빛에 의해 보여지는 바와 같이) -- 를 포함하는 이미지가 묘사된다. 또한 높은 동적 범위 이미지와 합성된 그래픽스 및 텍스트 요소들이 오버레이되어 있다(예를 들면, 메뉴(202) 및 자막 판독 "Max. Codeword Closed Captioning Text").
도 2a에는 표기할 많은 시각적 특징들이 있다. 예를 들면, 메뉴(202)는 휘도 밴딩 - 즉, 휘도의 그라데이션(gradation), 상부에는 고 휘도, 하부에는 더 어두운 휘도로의 테이퍼링 - 을 나타내는 것을 알 수 있다. 또한, 텍스트가 예를 들면 용접 토치 불꽃과 동일한 휘도로 디스플레이되게 할 수 있는 최대 코드워드 세기 레벨로 폐쇄 자막이 디스플레이에 전송되는 것을 알 수 있다. 이것은, 또한 제 1 이미지/비디오 부분들에서 낮아진 휘도의 영역들(예를 들면 단어 "Text" 주위)이 있는 경우에 특히, 강렬한 밝기로 인해 텍스트의 뷰어에게 산만하게 보이거나 불편감을 만들 수 있다.
도 2a의 레거시 방식을 조사하면, 전체 코드 워드로서 렌더링된 백색 텍스트는 EDR/VDR TV 상에서 너무 밝아지는 경향이 있다. 대신에 EDR TV 상의 텍스트는 반사 백색 레벨(예를 들면, 300cd/m2) 및 우세한 백색점(여기서 4000K의 CCT)으로 렌더링될 수 있다. 상기 이미지들은 4000cd/m2max로 등급화될 수 있는 것처럼 나타남을 유념할 수 있다. 이러한 케이퍼블 TV 상에 디스플레이되면, 도 2b의 텍스트는 반사되는(또는 "페이퍼 화이트(paper white)"와 유사하게) 것처럼 나타나고 도 2a의 텍스트는 빛나게 나타난다.
최대 가능한 코드 값(예를 들면, 12 - 비트에서 EDR 코드 값 4096의 약간 아래)을 가진 백색 메뉴 텍스트의 렌더링이 텍스트를 빛나는 것처럼 지각되게 하려는 경향이 있을 수 있지만, 텍스트와 영화/필름 배경 사이의 극심한 동적 범위 차로 인해 불편감을 만들 수도 있다. 미리 설정된 코드 값으로 렌더링하는 대신에, EDR 입력 및 디스플레이 디바이스 능력들에 의해 부가로 규정되는 바와 같이, 백색점(예를 들면 장면, 챕터 또는 전체 영화에 걸쳐 평균된) 뿐만 아니라 절대 휘도 레벨(예를 들면, 300nits 또는 VDR 제한 연구들로부터의 결과들에 기초하여)을 적용하는 것이 가능할 수 있다. 또한, 오버레이된 텍스트 및 그래픽스에 의해 이용되는 크로마 범위를 조정(예를 들면, 흑백 장면 상에서 고도로 포화된 녹색 텍스트를 회피)하기 위해 색 재현율의 범위가 고려될 수 있다.
이들 효과들은 또한 DVD 및 Blu-ray에서 자막들을 렌더링하는데 가능하다. 많은 영화들에서 자막들은 컬러로 될 수 있다. 밝기 및 컬러들의 일관성을 유지하기 위해, 오버레이된 자막 이미지들을 컨텐트의 특징들에 매핑하는 것이 바람직할 수 있다. 이러한 매핑은 매핑이 장면 - 적응적일 수 있는 경우, 오버레이들이 나중에 컨텐트와의 디스플레이 능력에 다운 매핑될 수 있기 때문에 장면 기반 파라미터들로 영향을 받을 수 있다. 매핑 업 및 다운 처리들의 쌍은 자막들을 지각적으로 정확하고 일관되게 나타나게 하려는 경향이 있을 수 있다.
대조적으로, 도 2b는 실질적으로 동일한 높은 동적 범위 이미지(즉, 어두운 차고에서의 용접공) 및 유사한 메뉴(202') 및 CC 텍스트를 포함하는 합성 이미지(200')를 도시한다. 이 경우, 메뉴(202') 및 CC 텍스트는 - 제 1 HDR 이미지의 특징들(및 가능하게 이를 렌더링하는 디스플레이의 특징들)에 따라 - 합성되었다. 메뉴(202)에서 보이는 바와 같이 새로운 합성 이미지는 넓은 휘도 밴딩/그라데이션을 보이지 않는 것을 알 수 있다. 또한, 텍스트 및 메뉴의 높은 휘도는 제 1 HDR 이미지의 낮은 휘도 부분들의 상세들로부터 뷰어가 산만하게 하지 않는다.
일 실시예
도 3은 본 시스템의 부분들에 의해 영향을 받은 모듈들 및/또는 처리를 포함할 수 있는 임의의 이미지/비디오 처리(300)의 일 실시예이다. 도 3은 3개의 가능한 처리 시나리오들 - 이미지, 장면(예를 들면, 관련 이미지들의 수집) 및 영화(예를 들면, 관련 장면들의 수집) - 을 도시한다. 이미지(302)의 경우에, 메타데이터는 계산되고 수집될 수 있다. 예를 들면, 이미지 통계들이 - 이미지의 평균 휘도, 최소/중간/최대 휘도, 반사 백색, 색 온도 및/또는 백색점과 같이 - 계산될 수 있다. 장면(304)에 대해, 유사한 통계들이 - 장면 내의 이미지마다 - 계산될 수 있고 그 후에 장면 자체에 대해 계산될 수 있다. 영화(306)에 대해, 유사한 통계들이 - 장면 내의 이미지마다 - 계산될 수 있고 그 후에 장면 자체에 대해 계산될 수 있고 그 후에 전체 영화에 대해 계산될 수 있다. 사실상 정적인 메타데이터 또는 이미지 통계들 외에도, 장면 내의 이미지들의 변화들, 또는 영화 내의 장면들의 변화들의 시간적 거동(temporal behavior)을 특징지을 수 있는 메타데이터가 또한 있을 수 있다.
언급된 이들 이미지 통계들 외에도, - 예를 들면 히스토그램, 공간 픽셀 상관들(spatial pixel correlations) 또는 다른 이미지 및/또는 장면 고유의 특성들을 분석함으로써 - 이미지, 장면 및/또는 영화마다 컬러 팔레트가 계산될 수 있다. 이미지 통계들 및/또는 컬러 팔레트의 조합은 메타데이터(예를 들면, 각각 302', 304' 및 306')의 세트를 포함할 수 있다. 또한, 유사한 메타데이터가 디스플레이의 능력에 관련하여 - 예를 들면, 휘도(최소, 중간, 최대), 색 온도, 반사 백색점, 색 재현율, 프라이머리들 등 - 수집될 수 있다. 이러한 메타데이터는 그 후에 시스템의 일부 - 예를 들면 합성기, 또는 DM(그 기능이 DM 자체에 통합된 경우) - 에 의해 이용될 수 있다.
EDR TV 관련 실시예들
이전에 언급된 바와 같이, TV 및/또는 디스플레이들은 더 높은 동적 범위 이미지/비디오를 렌더링하기 위한 더 많은 능력을 보여주고 있다. EDR/VDR 렌더링 - 가능한 디스플레이들(예를 들면, 초고화질(UHD: Ultra High Definition) 세트들)은 소비자에 의해 더욱 받아들여지고 있다. 이와 같이 도 4 및 도 5는 이러한 세트들에 대한 시각적으로 즐거운 합성 이미지/비디오 신호에 영향을 미칠 수 있는 본 시스템의 두 실시예들이다. 도 4에서, 시스템(400)은 제 1 EDR/VDR/HDR 이미지/비디오 데이터를 수신할 수 있는 UHD EDR 디코더(404)로 시작할 수 있다. 실질적으로 동시에, 디스플레이 관리 모듈(406)은 입력 이미지/비디오 데이터와 오버레이 이미지 데이터 및/또는 합성될 다른 이미지 데이터를 수신할 수 있다. EDR 메타데이터가 계산되어 모듈(406)과 공유될 수 있고 모듈(406)은 뷰어에게 더욱 시각적으로 받아들일 수 있는 경향이 있을 수 있는 합성될 이미지 데이터를 출력 처리할 수 있다.
제 1 이미지 데이터 및 합성 이미지 데이터는 믹싱 모듈(408)에 의해 믹싱되거나 오버레이될 수 있다. 그 출력은 HDMI 전송 모듈(410)에 입력될 수 있다. 모듈(410)은 입력으로서: EDR 메타데이터, 합성된 이미지 데이터(즉, 합성 이미지 데이터와 믹싱된 제 1 이미지 데이터) - 뿐만 아니라 EDR 이미지 데이터를 디스플레이할 디스플레이의 능력들에 관한 정보 - 를 받아들일 수 있다.
도 2a에서 알 수 있는 바와 같이, 점선(402)은 이미지 및 처리가 디스플레이 세트의 외부(예를 들면, 선(402)의 좌측)로부터 나오고 처리가 세트 자체 및/또는 셋톱 박스(예를 들면, 선(402)의 우측) 내부에서 나오는 선을 개념적으로 표시할 수 있다. 상기 언급된 바와 같이, 본 시스템은 - 처리가 이 파이프라인의 많은 부분들에 상주할 수 있으므로 - 이들 경계선들에 제한될 필요가 없고 본 출원의 범위를 손실하지 않는다. 이 정보는 디스플레이의 EDID로부터 나올 수 있다. 일 실시예에서, TV/디스플레이의 EDID는 디스플레이가 EDR TV/디스플레이인지 또는 레거시 TV/디스플레이인지에 관해 STB(또는 이미지 처리의 체인의 더 상부 쪽의 처리)에 통보할 수 있다. 디스플레이가 레거시인 경우, STB(등)는 EDR 신호들을 처리하고 그래픽스 오버레이를 적절하게 렌더링하기를 원할 수 있다. 디스플레이가 EDR - 가능인 경우, EDID는 정보를 STB(또는 더 상부 쪽)에 다시 공급하도록 구성될 수 있고 - 이것은 그래픽스 오버레이들을 처리(예를 들면, 지각적으로 매핑)하도록 도울 수 있고, (동시에) TV 자체 내의 더욱 양호한 어피어런스 매핑 처리를 위해 디스플레이에 관한 더욱 정확한 데이터를 제공할 수 있다.
합성된 신호는 HDMI 수신기 모듈(412)에 의해 수신될 수 있고 그 신호를 (부가 처리를 하거나 하지 않고) DM 모듈(414)에 넘길 수 있다. DM 모듈은 이미지 데이터가 뷰어에 대한 즐거운 시각적 경험을 위해 디스플레이(416)의 능력들에 따르는 것을 보장하기 위해 일부 부가 처리를 제공할 수 있다.
도 5는 EDR/VDR 인에이블드 디스플레이 상에서 이미지/비디오 데이터를 처리하기 위한 본 시스템의 또 다른 실시예이다. 유사하게 번호가 매겨진 요소들(예를 들면, 416 및 516)은 도 4 및 도 5 둘다에서 실질적으로 유사한 기능들을 수행한다. 그러나, 도 5에서는, 디스플레이의 능력들에 관한 정보의 백채널이 이미지 처리 파이프라인에서 다시 - 예를 들면 디스플레이 관리 모듈(506)(도 1의 합성기 모듈과 유사함)에 - 부가로 전송되는 것을 알 수 있다. 이러한 시나리오에서, 제 1 이미지 컨텐트의 전단/제작자에 더 근접하여 더 많은 합성 처리가 발생할 수 있다. 이것은 컨텐트 배포자의 경우에 오버레이 컨텐트의 더 많은 양태들을 제어하는 것이 바람직할 수 있다 - 광고에 관해 본 명세서에 부가로 기술될 것이다.
레거시 TV/디스플레이들 관련 실시예
도 6은 TV/디스플레이가 레거시인 - 즉 높은 동적 범위 및/또는 넓은 색 재현율 이미지/비디오 데이터를 디스플레이하는 능력을 가지지 않거나 매우 제한적으로 가지는 일 실시예이다. 이 실시예에서, 시스템(600)은 디코더(602)에서 EDR/VDR 이미지 데이터를 수신할 수 있다. 메타데이터가 계산되어, 또한 오버레이/합성 이미지/비디오 데이터를 수신할 수 있는 오버레이 맵퍼(606; overlay mapper)에 전송될 수 있다. DM 모듈(608)은 - 부가의 처리를 위해 - 제 1 이미지/비디오 데이터, EDR 메타데이터 및 디스플레이의 색 재현율 데이터(예를 들면, xvYCC 또는 Rec 709)를 수신할 수 있다. 선택적 스케일러(610; optional scaler)는 이미지 처리 파이프라인에 배치될 수 있다. 일 실시예에서, 스케일러는 공간 해상도가 자연스러운 컨텐트를 생성하기 위해 이용될 수 있다. 예를 들면, UHD EDR 디코더(604)에 대한 입력이 UHD 해상도를 가지고 디스플레이(618)가 1080p만을 가지는 경우, 스케일러는 입력 신호의 공간 해상도를 1080p로 감소시킬 수 있다.
제 1 이미지/비디오 데이터는 믹서 모듈(612)에서 합성 이미지/비디오 데이터와 믹싱되거나 합성될 수 있고 - 그 후에 HDMI 송수신기(614)에 전송될 수 있다. 모듈(614)은 HDMI 수신기 모듈(616)(EDID 인터페이스를 통해)로부터 디스플레이 능력들을 수신할 수 있고 디스플레이(618) 능력들과 조화되도록 적절한 이미지 처리가 발생될 수 있다.
다른 실시예에서, EDR 능력들이 없는 레거시 디바이스(예를 들면 PC, 게임 콘솔, VCR 등)가 화면속 화면(PIP) 컨텐트를 디스플레이할 수 있는 경우, VDR 이미지에 중첩되는 동안 그 컨텐트의 동적 범위가 관리되는 것이 바람직하다. 이러한 관리/매핑 정보는 예를 들면 DM 처리로부터의 최소/최대 반사 백색 및 백색점일 수 있다. 또 다른 실시예에서, 접속된 디바이스가 개인용 컴퓨터인 경우, 이들 값들은 또한 이를 디스플레이에 전송하기 전에 그래픽스 카드의 렌더링을 조정하기 위해 PC에 (예를 들면, HDMI 백 채널을 통해) 다시 통신될 수 있다.
일 처리 실시예
제 1 이미지/비디오 데이터 상에 제 2 이미지/비디오 데이터를 오버레이 및/또는 합성하기 위한 다수의 가능한 구성들을 포함할 수 있는 본 명세서에 개시된 다양한 실시예들을 망라하여, 도 7은 합성 처리 모듈 및/또는 루틴의 일 가능한 실시예이다. 이러한 처리 모듈/루틴(700)은 합성기, DM 모듈, 이러한 모듈들의 조합 - 또는 대안적으로 적합한 처리기 및 컴퓨터 판독 가능한 저장장치가 있는 임의의 장소 - 내에 상주할 수 있다.
단계(700)에서 시작하여, 합성 모듈/루틴은 단계(702)에서 오버레이/합성 이미지/비디오 데이터(제 2 이미지/비디오 데이터라고도 알려진)의 메타데이터를 입력할 수 있다. 이러한 메타데이터는 이미지 통계들 또는 컬러 팔레트(예를 들면, 이전에 논의된 바와 같이) 또는 임의의 다른 알려진 방식(예를 들면, 제 2 이미지/비디오 데이터와의 스트리밍 메타데이터)으로서 계산 및/또는 컴파일될 수 있다. 단계(704)에서, 모듈/루틴은 제 1 이미지/비디오 데이터에 관한 메타데이터(예를 들면, 휘도, 동적 범위, 백색점 등)를 입력할 수 있다. 이러한 메타데이터는 이미지 통계들 또는 컬러 팔레트(예를 들면, 이전에 논의된 바와 같이) 또는 임의의 다른 알려진 방식(예를 들면, 제 1 이미지/비디오 데이터와의 스트리밍 메타데이터)으로서 계산 및/또는 컴파일될 수 있다. 단계(706)에서, 모듈/루틴은 합성된 이미지/비디오 데이터(즉, 오버레이/합성 이미지/비디오 데이터와 함께 제 1 이미지/비디오 데이터)가 렌더링되는 디스플레이의 특징들에 관한 메타데이터를 입력할 수 있다. 단계(708)에서, 모듈/루틴은 합성 이미지/비디오 데이터를 형성하거나 제작하기 위해 오버레이/합성 이미지/비디오 데이터 -- 즐거운 시각적 어피어런스를 제공하는 - 의 어피어런스 매핑 또는 합성을 수행할 수 있다. 이 매핑은 이러한 즐거운 어피어런스를 제공하는 모듈/루틴에 임베딩되는 많은 가능한 휴리스틱 규칙들(heuristic rules)및/또는 목표들을 고려할 수 있다. 대안적으로, 모듈/루틴은 원하거나 적절한 경우, 제 1 이미지/비디오 데이터 상의 어피어런스 매핑을 수행할 수 있다.
이러한 규칙 및/또는 목표들은 다양한 기법들을 이용하여 휘도, 동적 범위, 색 재현율, 컬러 어피어런스 등에 대한 근사하게 양호한 맞춤(fit)에 영향을 미칠 수 있다. 디스플레이 설정(예를 들면, 동적 범위 및 구현 컬러 어피어런스 모델들)을 수정하기 위한 일부 이러한 방법들 및/또는 기법들은 공유 US 특허 출원들에 부가로 개시된다:
(1) Kunkel등에 의한, 2012년 3월 1일에 공개되고 발명의 명칭이 "LIGHT DETECTION, COLOR APPEARANCE MODELS, AND MODIFYING DYNAMIC RANGE FOR IMAGE DISPLAY"인 미국 특허 출원 제20120051635호;
(2) Kunkel등에 의한, 2011년 12월 15일에 공개되고 발명의 명칭이 "IMAGE PROCESSING AND DISPLAYING METHODS FOR DEVICES THAT IMPLEMENT COLOR APPEARANCE MODELS"인 미국 특허 출원 제20110305391호;
(3) Longhurst 등에 의한, 2012년 12월 20일에 공개되고 발명의 명칭이 "SYSTEM AND METHOD FOR ADJUSTING DISPLAY BASED ON DETECTED ENVIRONMENT"인 미국 특허 출원 제20120320014호;
(4) Atkins 등에 의한, 2012년 2월 2일에 공개되고 발명의 명칭이 "SYSTEM AND METHOD OF CREATING OR APPROVING MULTIPLE VIDEO STREAMS"인 미국 특허 출원 제20120026405호;
(5) Kang에 의한, 2010년 9월 16일에 공개되고 발명의 명칭이 "ARTIFACT MITIGATION METHOD AND APPARATUS FOR IMAGES GENERATED USING THREE DIMENSIONAL COLOR SYNTHESIS"인 미국 특허 출원 제20100231603호;
- 이들 모두는 전체 내용이 본 명세서에 참조로 포함된다.
이러한 매핑이 계산 및/또는 근사화되면, 단계(710)에서 합성 이미지가 형성될 수 있고 결과로서 생긴 이미지/비디오 데이터는 디스플레이에 전송될 수 있다. 이러한 처리는 오버레이될 이미지들/비디오가 있는 동안 무한정 계속될 수 있다.
HDR/EDR/VDR 처리의 실시예
도 8은 동적 범위, 최소 휘도, 반사 백색점 및 절대 최대에 대한 디바이스 상의 렌더링을 위해 제 1 이미지/비디오 데이터 상으로의 오버레이/합성 이미지/데이터의 어피어런스 매핑의 일 예시적 실시예를 도시한다. 도 8에 도시된 모든 동적 범위 바(bar)들은 전체 VDR 신호 범위(804)를 반영하는 802에 도시된 기준 동적 범위에 관련된다. 각각의 동적 범위 바는 최소 휘도에서 최대 휘도까지의 범위로서 예시된다. 동적 범위 바 내의 중간 교차선은 반사 백색을 표현하는 휘도 값을 참조한다.
도 8은 한 장면씩의 동적 범위들이 808로 표현된 것처럼 동적 범위를 포함하는 디스플레이 상에 매핑될 수 있는 방법을 도시한다. 입력 VDR 신호(804)는 물리적 디스플레이 디바이스의 최대 동적 범위(808)에 매핑될 가능성이 있을 수 있다. 그러나, 입력 VDR 장면에 존재하는 실제 동적 범위에 기초하여, 디스플레이 관리(DM) 모듈은 상이한 동적 범위 간격들 및 반사 백색점들을 프라이머리 디스플레이들 상의, 장면 1, 2 및 3(각각 810a, 810b 및 810c)으로 도시된 각각의 장면에 할당할 수 있다.
이러한 매핑 정보는 합성기(또는 이전에 언급된 바와 같이 합성기와 유사한 처리를 가진 임의의 모듈)에 전송될 수 있다. 이 합성기(등)는 오버레이/합성 컨텐트를 입력으로서 수신할 수 있고 이 컨텐트를 각각 810a', 810b' 및 810c'로 도시된 DR 범위들에 매핑할 수 있다.
오버레이/합성 입력 이미지 데이터(예를 들면, UI, CC, 텍스트 등)에 대한 실제 컨텐트의 동적 범위는 디스플레이의 전체 동적 범위를 이용하지 않을 수 있음을 유념해야 한다. 대신에, 시스템은 제 1 이미지 데이터에 가능한 한 근접한 동적 범위 및 밝기와 디스플레이의 능력들에 있어 지각적 매칭이 있게 될 범위를 선택한다.
크로마 매핑의 실시예
동적 범위에 관한 시각적으로 즐거운 매핑 외에도, 또한, 이미지/비디오 데이터를 시각적으로 즐거운 색 재현율에 매핑 및/또는 합성하는 것이 바람직할 수 있다. 도 9의 (A), (B), (C) 및 (D)는 색 재현율에 관한 디스플레이 디바이스 상의 렌더링을 위해 제 1 이미지/비디오 데이터 상으로의 오버레이/합성 이미지/비디오 데이터의 매핑의 일 예시적 실시예를 도시한다. 도 9의 (A)는 제 1 이미지/비디오 데이터 스트림으로 존재할 수 있을 때 색 재현율(예를 들면, CIE xy 색도도(900) 내에 위치된 902)을 표현한다. 이 이미지/비디오 데이터는 흑체 곡선(904; blackbody curve)상의 어디에나 또는 색도도 내부의 다른 어디에나 놓일 수 있는 백색점(906)을 포함할 수 있다.
DM 처리(도 9의 (B)에 도시된 바와 같이) 동안, 색 재현율은 제 1 이미지/비디오 데이터에서 이용 가능한 전체 색 재현율에 관해 수축될 수 있다. 이러한 가능한 더 작은 색 재현율(908)은 물리적 디스플레이 재현율의 한정을 표현할 수 있고 - 이것은 또한 상이한 백색점(910)을 나타낼 수 있다.
도 9의 (C)는 디스플레이에 의해 및 제 1 이미지 컨텐트의 동적 컬러 매핑(한 이미지씩, 한 장면씩 기초하여 발생할 수 있는 바와 같이) 동안 나타나는 작은 재현율을 고려한다. 주어진 이미지(C)에 대한 전체 크로마 벡터 및 색 재현율의 외부 범위가 이미지 - 대 - 이미지로부터 변할 수 있음(다양한 실선 및 점선 재현율 원들로 표시된 바와 같이)을 알 수 있다.
합성 이미지(즉 제 1 이미지/비디오 데이터 및 오버레이 데이터)가 디스플레이 상에 매핑되는 것일 때, 다른 재현율 매핑(도 9의 (D)에 도시된 바와 같이)이 발생할 수 있다. 도 9의 (C)와 마찬가지로, 다양한 색 재현율들(즉, 914, 916, 918)이 전체 재현율(912) 내에서 적응하기 위해, 한 이미지씩 - 각각이 그 자신의 가능한 전체 재현율 벡터 C 및 백색점 WP를 가지고 - 나타날 수 있다. 오버레이/합성된 그래픽스를 DM'd VDR 스트림의 실제 재현율에 지각적으로 매칭하게 하기 위하여, 프레임/장면 재현율, 크로마 및/또는 백색점 설정들이 도 9의 (C) 및 (D) 사이에 실질적으로 동일하게 또는 적어도 유사하게 하는 것이 바람직할 수 있다.
가능한 광고 예/실시예
본 명세서에 언급된 합성 이미지 처리의 일 가능한 응용으로서, 이미지들/장면들 및/또는 영화들과의 다이내믹 컨텐트 대체를 고려하는 것이 가능 및/또는 바람직할 수 있다. 일 예시적 경우는 기존의 컨텐트에 광고들을 내거나 - 또는 기존의 컨텐트에 있는 광고들을 다른 광고들로 대체하는 것이다. 도 10a, 도 10b 및 도 10c는 본 시스템들 및/또는 방법들에 의해 영향을 받을 수 있는 동적 컨텐트 대체의 일 실시예를 도시하고 - 이 경우, 새로운 컨텐트는 광고이다. 다른 실시예들에서, 광고 외에도, 임의의 다른 컨텐트 - 예를 들면, 날씨 정보, 주식 시장 정보, 웹사이트 및 소셜 미디어 컨텐트 등 - 가 중첩될 수 있다. 이러한 정보는 또한 원하는 대로 동적으로 삽입 및/또는 업데이트될 수 있다. 일 실시예에서, 동적 매핑은 제 1 이미지/비디오 데이터, 또는 대안적으로 제 2, 오버레이 이미지/비디오 데이터 - 예를 들면 제 1 이미지/비디오 데이터와 이미 합성되었을 수 있는 - 의 제 3 및/또는 상이한 이미지/비디오 데이터로의 대체일 수 있다. 한 세트의 이미지/비디오 데이터의 다른 세트의 이미지/비디오 데이터로의 이러한 대체는 전체 대체(total replacement)가 될 수 있다 - 또는 대체된 이미지/비디오 데이터의 서브세트의 대체일 수 있다. 일 실시예에서, 본 시스템은 본 명세서에 기술된 바와 같이, 한 세트의 이미지/비디오 데이터의 다른 세트의 이미지/비디오 데이터로의 이러한 대체가 가능한 동적 매핑 모듈을 포함할 수 있다.
도 10a는 일 예시적 이미지/장면(예를 들면, 이 예에서 길 및 광고 게시판(1002)의 장면)을 도시한다. 게시판(1002)은 상이한 광고들을 오버레이할 기회 - 컨텐트 원작자들 및/또는 소유자들이 원하는 바와 같이 - 를 위해 이 이미지/장면 내의 영역을 표현한다. 예를 들면, 뷰어/소비자에 대한 "타겟(targeted)" 광고들을 하는 것이 가능하다(뷰어들, 그들의 호불호들에 관한 이러한 정보가 - 예를 들면 소셜 미디어 네트워크들을 분석함으로써 - 알려지거나, 추측되거나 또는 통계적으로 도출될 수 있는 경우). 다른 예에서, 더 긴 시간 기간에 걸쳐 이미지들을 업데이트하는 것이 가능할 수 있다. 이러한 일례는 구식 영화들, TV 컨텐트 또는 그 게시판에 현재 파산/말소 회사를 올리는 다른 이러한 구식/레거시 컨텐트를 업데이트하는 것일 수 있다. 영화를 업데이트하기 위해(그리고 그것을 현재 관련있는 것처럼 만들기 위해), 새로운 게시판 컨텐트가 그 영역에 추가될 수 있고, 따라서 게시판 내의 구식 이미지 데이터를 겹쳐 쓰기할 수 있다.
도 10a에서, 게시판 컨텐트는 광고를 표현하는 실제 픽셀 정보(1004), 및 경계 박스(1008)에 의해 조합될 수 있는 알파 채널(1006)로 구성될 수 있는 것을 알 수 있다. 이 경계 박스는 게시판 상의 광고의 적절한 오버레이 및/또는 합성을 위해 이미지 처리를 수행하는 영역을 규정할 수 있다. 1008 내의 모든 픽셀들(이것의 실제 크기뿐만 아니라)은 프레임마다 변할 수 있다.
도 10b는 교환된 컨텐트(예를 들면, 1002 대신에, 1010을 가지는 것이 가능함)의 차를 가진 도 10a의 컨텐트를 도시한다. 주요 장면 프레임은 실질적으로 동일하게 유지될 수 있지만, 광고(또는 다른 컨텐트)는 동적으로 변경될 수 있음을 알아야 한다. 예를 들면, 컨텐트(1002)는 실질적으로 1004일 수 있고 - 컨텐트(1010)는 실질적으로 1012일 수 있다. 일 실시예에서, 1002 또는 1010로서 디스플레이된 정보는 외부 컨텐트(106)로서 합성기(예를 들면, 110 등)에 제공될 수 있다. 이것은 오리지널 VDR 스트림(102) 또는 이것의 임의의 가능한 서브세트(예를 들면, 수퍼 - 샘플링 또는 서브 - 샘플링된, 낮아진 비트 심도, 또는 임의의 다른 형태의 압축)로서 전체 신호 명세에 있을 수 있지만; 제 1 이미지/비디오 데이터에 합성(1008)하기 위해 휘도 및/또는 컬러 기준이 제공될 수 있다.
도 10c는 동적 광고 - 예를 들면 1개의 프레임이 동일한 장면의 후속 프레임(아마도 예를 들면, 10 프레임 뒤에 등)과 비교되는 것과 같이 - 를 위한 처리의 다른 양태를 도시한다. 도 10c에서 알 수 있는 바와 같이, 게시판의 영역 내에 오브젝트(예를 들면, 가로등 기둥)가 있을 수 있다. 또한, 게시판의 이미지와 상호작용할 수 있는 이미지의 다른 부분(예를 들면, 웅덩이(1002') - 게시판 상의 이미지를 반사할 수 있는)이 있을 수 있다. 이 경우, 본 시스템은 이들 효과들의 적절한 처리를 유지하는 것이 바람직할 수 있다. 예를 들면, 라인(1012)은 게시판 상으로 넘어갈 수 있는 특정 광고에 상관없이, 게시판 이미지의 전경에 영구적인 것으로 고려될 수 있다. 또한, 본 시스템은 - 게시판 상에 새로운 및/또는 상이한 광고들을 적절하게 합성하기 위해 - 별도의 영역을 경계 박스 구조(1008)에 포함시킬 수 있다.
다른 실시예는 텍스처(texture)를 제공할 수 있고 텍스처는 그 후에 기하학적 변환 모듈 -- 예를 들면, 그래픽스 처리 유닛(GPU) -- 을 이용함으로써 게시판 상의 장소에 매핑될 수 있다.
또한, 기존의 EDR 비디오 스트림으로 실시간 합성하기 위해, 알파 채널들과 조합한 어피어런스/DM 메타데이터가 비디오 이미지에 정보를 합성하는데 이용될 수 있다. 이것은 영화 영상(movie footage)에 나타난 게시판들 상에서 광고들을 교환하는 것을 지원하는데 이용될 수 있다. 영화의 어피어런스 파라미터들이 알려진 경우, 광고는 뷰어가 그 합성을 실감하지 않게 매핑될 수 있다. 재생 디바이스들(play-out devices)에서 연산력을 증가시키면, 이것은 가까운 미래에 실현 가능하다.
부가 컨텐트의 기존의 이미지/비디오에의 추가
레거시 이미지/비디오 컨텐트를 복원 및/또는 재포맷할 때, 새로운 부가 컨텐트를 추가하기 위해 이러한 레거시 컨텐트 내의 영역들을 식별하는 것이 바람직할 수 있다. 예를 들면, 레거시 영화들/TV 쇼들에서 가치있는 광고 영역들을 식별할 수 있는 것이 가능할 수 있다. 일 실시예에서, VDR - 등급화된 영화들에 대한 기하학 매핑 기능이 이 합성을 수행하는 것을 돕기 위해 이용될 수 있다. 픽셀/버텍스 쉐이더 프로그램(예를 들면, 컴퓨터 그래픽스/게임들에서 흔히 이용되는 바와 같이)은 또한 하기에 논의되는 바와 같이, 새로운 컨텐트의 이러한 VDR 스트림들에의 합성을 지원하는데 이용될 수 있다.
도 11은 새로운 컨텐트에 대한 영역들의 식별을 수행하고 이러한 새로운 컨텐트의 기존 및/또는 레거시 컨텐트에의 합성을 수행하는 일 실시예(1100)이다.
레거시 컨텐트를 복원/재등급화할 때, 시스템(1100)은 영화/TV 쇼(1104)의 소유주와 협력하여 가치있는 광고 영역들을 식별할 수 있다. 이것은 오프-라인 처리(1102)에 의해 수행될 수 있고 버텍스 및 픽셀 쉐이더 프로그램(1106)을 제작하는데 이용될 수 있다. 이러한 쉐이더 프로그램은 임의의 텍스처(예를 들면 직사각 이미지(1112))를, 이를 VDR 스트림에 합성하는데 필요한 2D 형태들로 매핑하는 방법을 기술한다. 일 실시예에서, 이러한 쉐이더 프로그램(1106)을 제작하는 것은 전체 영화가 아니라 관심있는 영역들(예를 들면 광고)에 대해서만 행해져야 하므로, 적은 부가 비용/수고를 유발할 수 있다. 이것은 자동적, 반자동적(특징 추적, 움직임 벡터 분석 등과 같은 컴퓨터 비전 방식들을 이용하여), 또는 수동적(예술가에 의한 수행)일 수 있다.
버텍스 및 픽셀 쉐이더 프로그램(1106)은 그 후에 영화/TV 쇼가 제공되고, VDR 스트림에 첨부된 메타데이터로서 또는 외부 수단(예를 들면 인터넷)을 통해 제공되는 VDR 메타데이터의 서브세트를 생성한다.
이 매핑 기능(1106)은 이제, 기하학 맵퍼 및 쉐이더(1116)와 함께 버텍스 및 픽셀 쉐이더 프로그램(1106)을 이용함으로써 직사각 텍스처(1112)로부터 적절한 경계 박스(1118)의 적절한 매핑된 픽셀 데이터(1112')로 이동하는데 이용될 수 있다.
최종 경계 박스(1118)는 이제, 제 1 이미지/비디오 데이터의 매핑된 출력(1104', 1130 후)을 매칭하거나 실질적으로 매칭하기 위해 DM 모듈(1120)을 이용하여 동적 범위 및/또는 색 재현율 (또는 다른 이미지 특징)에 매핑될 수 있다. 두 DM 모듈들(1120 및 1130)은 매칭하는 매핑 결과를 만들기 위해 동일한 또는 유사한 세트의 VDR 메타데이터(1108)를 이용할 수 있음을 유념해야 한다. 이제, 이것은 이미지 합성기 모듈(1128)을 이용함으로써 도 10a, 도 10b 및 도 10c에 기술된 것과 동일한 방식으로 임의의 다른 원하는 합성들(예를 들면, GUI, CC 등 1122 및 1126과 같은 입력들을 이용하여)과 함께 VDR 영화(1132)에 합성될 수 있다. 이것은 디스플레이(1134)될 수 있는 지각적으로 정확하게 합성된 광고를 포함하는 VDR 영화를 유발한다.
일 실시예에서, 프로그램(1106)은 (일단 제작되면) 임의의 새로운 컨텐트(1108)와 무한정 재사용될 수 있다. 광고주들은 단지 텍스처를 제공해야 하고, 일부 실시예들에서는 어피어런스 매핑 데이터(예를 들면, 로그들 또는 제품들과 같이, 그들 광고들의 요소들의 정확한 비색 기술(colorimetric description))를 제공해야 한다. 영화를 VDR로 복원/재등급화하는 동안 생성되는 버텍스 및 픽셀 쉐이더 프로그램들을 이용하여 그 텍스처를 VDR 영화로 적당하게 매핑하는 것이 가능하다. 이 실시예는 단일 프레임 텍스처들에 제한되지 않음을 유념해야 한다. 이것은 또한 광고 클립들(예를 들면, 단편 영화들)을 이용하면 유효하다.
본 발명의 원리들을 예시한 첨부 도면들과 함께 판독되는 본 발명의 하나 이상의 실시예들의 상세한 기술이 지금까지 제공되었다. 본 발명은 이러한 실시예들에 관련되어 기술되었지만, 본 발명은 어떠한 실시예에도 제한되지 않음을 알아야 한다. 본 발명의 범위는 청구항들에 의해서만 제한되고 본 발명은 많은 대안물들, 수정물들 및 등가물들을 포함한다. 본 발명의 철저한 이해를 제공하기 위해 많은 특정 세부사항들이 이 기술에 기재되었다. 이들 세부사항들은 예시의 목적으로 제공되고 본 발명은 이들 특정 세부사항들의 일부 또는 전부 없이 청구항들에 따라 실시될 수 있다. 명확성을 위해, 본 발명에 관련된 기술 분야에 알려진 기술적 자료는 본 발명이 불필요하게 모호해지지 않도록 상세히 기술되지 않았다.
108: 디스플레이 관리 모듈
110: 합성기
112: 믹싱 모듈
114: 디스플레이
116: 원격 제어

Claims (18)

  1. 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 방법으로서,
    상기 제 1 이미지들 및 상기 제 2 이미지를 수신하는 단계로서, 상기 제 1 이미지들은 상기 제 2 이미지와 동적 범위 및 크기가 상이한, 상기 제 1 이미지들 및 상기 제 2 이미지를 수신하는 단계;
    상기 제 1 이미지들에 관한 제 1 메타데이터를 수신하는 단계로서, 이미지 통계를 수신하는 단계를 포함하는, 상기 제 1 메타데이터를 수신하는 단계;
    상기 제 2 이미지에 관한 제 2 메타데이터를 수신하는 단계:
    상기 제 1 메타데이터에 기초하여, 조정된 제 1 이미지들을 생성하기 위해 상기 제 1 이미지들의 동적 범위(804)의 적응적(adaptive) 매핑을 디스플레이의 동적 범위(810a, 810b, 810c)에 적용하는 단계로서, 상기 제 1 이미지들의 상기 매핑된 동적 범위(810a, 810b, 810c)는 상기 디스플레이의 최대 동적 범위(808)와는 상이한, 상기 적용하는 단계;
    조정된 제 2 이미지를 결정하기 위해 상기 제 2 이미지의 어피어런스 매핑(appearance mapping)을 수행하는 단계로서, 상기 조정된 제 2 이미지는 상기 제 2 이미지와 동적 범위가 상이하고, 상기 제 2 이미지의 어피어런스 매핑을 수행하는 단계는 상기 제 1 이미지들의 상기 매핑된 동적 범위(810a, 810b, 810c)에 관한 적응적 매핑 정보 및 상기 제 2 메타데이터에 따라 수행되는, 상기 어피어런스 매핑을 수행하는 단계; 및
    상기 조정된 제 1 이미지들 중 적어도 하나의 일부 상에 상기 조정된 제 2 이미지를 오버레이함으로써 합성 이미지를 형성하는 단계를 포함하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 방법.
  2. 제 1 항에 있어서,
    조정된 제 2 이미지를 결정하기 위해 상기 제 2 이미지의 어피어런스 매핑을 수행하는 단계는 상기 제 1 이미지들의 동적 범위 및 상기 디스플레이의 능력과 가능한 근접한 동적 범위 및 밝기로 지각적 매칭이 있는 동적 범위를 선택하는 것을 수반하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 제 1 이미지들은 그룹 중 하나를 포함하고, 상기 그룹은: HDR(High Dynamic Range) 이미지들, EDR(Extended Dynamic Range) 이미지들 및 VDR(Visual Dynamic Range) 이미지들을 포함하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 이미지 통계는 각각의 제 1 이미지와 관련된 이미지 통계로부터 계산되고, 상기 이미지 통계는 그룹 중 하나를 포함하고, 상기 그룹은: 평균 휘도(average luminance), 최소 휘도, 중간 휘도(mean luminance), 최대 휘도, 동적 범위, 반사 백색(reflective white), 색 온도, 백색점, 색 재현율(color gamut) 및 컬러 팔레트(color palette)를 포함하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 방법.
  5. 제 2 항에 있어서,
    상기 제 2 이미지는 그룹 중 하나를 포함하고, 상기 그룹은: 그래픽스, 폐쇄 자막(close captioning), 텍스트, 비디오 오버레이, GUI(Graphical User Interface), 텔레비전(TV) 가이드들, 방송 회사로부터의 신호들, 컨텐트 제작으로부터의 신호들, 자막들(subtitles), 셋톱 박스로부터의 신호들 및 오디오-비디오(AV) 수신기로부터의 신호들을 포함하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 방법.
  6. 제 4 항에 있어서,
    상기 제 2 이미지에 관한 제 2 메타데이터를 수신하는 단계는 또한:
    상기 제 2 이미지에 관한 이미지 통계들을 수신하는 단계를 포함하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 방법.
  7. 제 5 항에 있어서,
    상기 제 2 이미지에 관한 상기 이미지 통계는 그룹 중 하나를 포함하고, 상기 그룹은: 평균 휘도, 최소 휘도, 중간 휘도, 최대 휘도, 동적 범위, 반사 백색, 색 온도, 백색점, 색 재현율 및 컬러 팔레트를 포함하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 방법.
  8. 제 1 항에 있어서,
    어피어런스 매핑을 수행하는 단계는 또한:
    상기 조정된 제 1 이미지들의 동적 범위에 따라 상기 제 2 이미지의 동적 범위를 매핑하는 단계를 포함하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 방법.
  9. 제 1 항에 있어서,
    어피어런스 매핑을 수행하는 단계는 또한:
    상기 조정된 제 1 이미지들의 색 재현율에 따라 상기 제 2 이미지의 색 재현율을 매핑하는 단계를 포함하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 방법.
  10. 제 1 항에 있어서,
    어피어런스 매핑을 수행하는 단계는 또한:
    상기 조정된 제 1 이미지의 휘도에 따라 상기 제 2 이미지의 휘도를 매핑하는 단계를 더 포함하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 방법.
  11. 제 1 항에 있어서,
    상기 디스플레이의 특징들에 관한 메타데이터를 수신하는 단계를 더 포함하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 방법.
  12. 제 11 항에 있어서,
    상기 디스플레이의 특징들에 관한 상기 메타데이터는 그룹 중 하나를 포함하고, 상기 그룹은: 평균 휘도, 최소 휘도, 중간 휘도, 최대 휘도, 반사 백색, 색 온도, 백색점 및 색 재현율을 포함하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 방법.
  13. 제 12 항에 있어서,
    어피어런스 매핑을 수행하는 단계는 또한:
    상기 디스플레이의 특징들에 관한 상기 메타데이터에 따라 상기 제 2 이미지를 매핑하는 단계를 포함하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 방법.
  14. 제 1 항에 있어서,
    제 3 이미지를 상기 제 1 이미지들과 합성하기 위해 상기 제 3 이미지의 동적 매핑을 수행하는 단계를 더 포함하고, 상기 제 3 이미지는 상기 제 1 이미지들과 이전에 합성된 상기 제 2 이미지의 일부를 대체하기 위한 것인, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 방법.
  15. 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 시스템으로서,
    상기 제 1 이미지들을 수신할 수 있는 디스플레이 관리 모듈;
    상기 제 2 이미지를 수신할 수 있고; 상기 제 1 이미지들에 관한 제 1 메타데이터를 수신할 수 있고; 상기 제 2 이미지에 관한 제 2 메타데이터를 수신할 수 있는 합성기 모듈로서, 상기 제 1 메타데이터는 상기 제 1 이미지들에 대한 이미지 통계를 포함하는, 상기 합성기 모듈을 포함하는, 오버레이하기 위한 시스템에 있어서,
    상기 합성기 모듈은:
    상기 제 1 메타데이터에 기초하여, 조정된 제 1 이미지들을 생성하기 위해 상기 제 1 이미지들의 동적 범위의 적응적 매핑을 디스플레이의 동적 범위에 적용하고, 상기 제 1 이미지들의 상기 매핑된 동적 범위는 상기 디스플레이의 최대 동적 범위와는 상이한, 상기 적용하고;
    조정된 제 2 이미지를 형성하기 위해 상기 제 2 이미지의 어피어런스 매핑을 수행하는 것으로서, 상기 조정된 제 2 이미지는 상기 제 2 이미지와 동적 범위가 상이하고, 상기 제 2 이미지의 어피어런스 매핑을 수행하는 것은 상기 제 1 이미지들의 상기 매핑된 동적 범위(810a, 810b, 810c)에 관한 적응적 매핑 정보 및 상기 제 2 메타데이터에 따라 수행되는, 상기 어피어런스 매핑을 수행하도록 추가로 구성되고,
    상기 시스템은 합성 이미지들을 형성하기 위해 상기 조정된 제 1 이미지들 중 적어도 하나 상에 상기 조정된 제 2 이미지를 믹싱할 수 있는 믹싱 모듈로서, 상기 합성 이미지들은 상기 디스플레이 상에 렌더링되도록 하기 위한 것인, 상기 믹싱 모듈을 포함하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 시스템.
  16. 제 15 항에 있어서,
    상기 이미지 통계는 각각의 제 1 이미지에 관련된 이미지 통계로부터 계산되고, 상기 이미지 통계는 그룹 중 하나를 포함하고, 상기 그룹은: 평균 휘도, 최소 휘도, 중간 휘도, 최대 휘도, 동적 범위, 반사 백색, 색 온도, 백색점, 색 재현율 및 컬러 팔레트를 포함하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 시스템.
  17. 제 16 항에 있어서,
    상기 합성기 모듈은 어피어런스 매핑을 수행할 수 있고, 상기 어피어런스 매핑은 또한 그룹 중 하나를 포함하고, 상기 그룹은: 휘도 매핑, 동적 범위 매핑 및 색 재현율 매핑을 포함하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 시스템.
  18. 제 15 항에 있어서,
    제 1 이미지와 합성된 상기 제 2 이미지의 일부를 제 3 이미지로 대체할 수 있는 동적 매핑 모듈을 더 포함하는, 복수의 제 1 이미지들 상에 제 2 이미지를 오버레이하기 위한 시스템.
KR1020197013165A 2013-02-21 2014-01-27 오버레이 그래픽스를 합성하기 위한 어피어런스 매핑을 위한 시스템들 및 방법들 KR101993593B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361767553P 2013-02-21 2013-02-21
US61/767,553 2013-02-21
PCT/US2014/013218 WO2014130213A1 (en) 2013-02-21 2014-01-27 Systems and methods for appearance mapping for compositing overlay graphics

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177008771A Division KR101978935B1 (ko) 2013-02-21 2014-01-27 오버레이 그래픽스를 합성하기 위한 어피어런스 매핑을 위한 시스템들 및 방법들

Publications (2)

Publication Number Publication Date
KR20190052173A KR20190052173A (ko) 2019-05-15
KR101993593B1 true KR101993593B1 (ko) 2019-06-28

Family

ID=50069343

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020157022620A KR101724312B1 (ko) 2013-02-21 2014-01-27 오버레이 그래픽스를 합성하기 위한 어피어런스 매핑을 위한 시스템들 및 방법들
KR1020177008771A KR101978935B1 (ko) 2013-02-21 2014-01-27 오버레이 그래픽스를 합성하기 위한 어피어런스 매핑을 위한 시스템들 및 방법들
KR1020197013165A KR101993593B1 (ko) 2013-02-21 2014-01-27 오버레이 그래픽스를 합성하기 위한 어피어런스 매핑을 위한 시스템들 및 방법들

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020157022620A KR101724312B1 (ko) 2013-02-21 2014-01-27 오버레이 그래픽스를 합성하기 위한 어피어런스 매핑을 위한 시스템들 및 방법들
KR1020177008771A KR101978935B1 (ko) 2013-02-21 2014-01-27 오버레이 그래픽스를 합성하기 위한 어피어런스 매핑을 위한 시스템들 및 방법들

Country Status (7)

Country Link
US (2) US10497162B2 (ko)
EP (2) EP2959676B1 (ko)
JP (4) JP6104411B2 (ko)
KR (3) KR101724312B1 (ko)
CN (1) CN105009567B (ko)
PL (1) PL3783883T3 (ko)
WO (1) WO2014130213A1 (ko)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015038180A1 (en) * 2013-09-16 2015-03-19 Thomson Licensing Method and apparatus for color detection to generate text color
JP6381215B2 (ja) * 2014-01-29 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム
CN105393549A (zh) * 2014-06-27 2016-03-09 松下知识产权经营株式会社 数据输出装置、数据输出方法及数据生成方法
US9729801B2 (en) * 2014-10-02 2017-08-08 Dolby Laboratories Licensing Corporation Blending images using mismatched source and display electro-optical transfer functions
MX2017005983A (es) * 2014-11-10 2017-06-29 Koninklijke Philips Nv Metodo de codificacion, procesador de video, metodo de decodificacion, decodificador de video.
GB2532940B (en) * 2014-12-01 2021-12-15 Advanced Risc Mach Ltd Method of and apparatus for providing an output surface in a data processing system
JP6741975B2 (ja) 2014-12-09 2020-08-19 パナソニックＩｐマネジメント株式会社 送信方法および送信装置
WO2016092759A1 (ja) 2014-12-09 2016-06-16 パナソニックＩｐマネジメント株式会社 送信方法、受信方法、送信装置および受信装置
US9414130B2 (en) 2014-12-15 2016-08-09 At&T Intellectual Property, L.P. Interactive content overlay
WO2016125691A1 (ja) * 2015-02-03 2016-08-11 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
EP3292686B1 (en) * 2015-05-06 2021-12-01 Dolby Laboratories Licensing Corporation Thermal compensation in image projection
US10368105B2 (en) 2015-06-09 2019-07-30 Microsoft Technology Licensing, Llc Metadata describing nominal lighting conditions of a reference viewing environment for video playback
JP6519329B2 (ja) * 2015-06-09 2019-05-29 ソニー株式会社 受信装置、受信方法、送信装置および送信方法
WO2017018333A1 (ja) * 2015-07-24 2017-02-02 シャープ株式会社 受信装置、表示制御方法、及びプログラム
KR20230131967A (ko) * 2015-11-09 2023-09-14 인터디지털 브이씨 홀딩스 인코포레이티드 기본 스트림들로부터 디코딩된 비디오 콘텐츠를 디스플레이의 특성들에 적응시키기 위한 방법 및 디바이스
BR112018010367A2 (pt) * 2015-11-24 2018-12-04 Koninklijke Philips Nv aparelho para combinar duas imagens ou dois vídeos de imagens, e método para combinar duas imagens ou dois vídeos de imagens
JP6831389B2 (ja) * 2015-11-24 2021-02-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 複数のｈｄｒ画像ソースの処理
US9858686B2 (en) * 2016-02-10 2018-01-02 Google Llc Dynamic color determination for user interface components of a video player
CN107292807B (zh) * 2016-03-31 2020-12-04 阿里巴巴集团控股有限公司 一种图形合成方法、窗口设置方法及系统
EP3745390B1 (en) * 2016-05-27 2023-10-04 Dolby Laboratories Licensing Corporation Transitioning between video priority and graphics priority
US10861420B2 (en) * 2016-06-30 2020-12-08 I-Cubed Research Center Inc. Image output apparatus, image output method, for simultaneous output of multiple images
KR102521289B1 (ko) * 2016-07-01 2023-04-13 엘지전자 주식회사 방송 신호 송신 방법, 방송 신호 수신 방법, 방송 신호 송신 장치 및 방송 신호 수신 장치
WO2018012244A1 (ja) * 2016-07-11 2018-01-18 シャープ株式会社 映像信号変換装置、映像信号変換方法、映像信号変換システム、制御プログラム、および記録媒体
US11183147B2 (en) 2016-10-07 2021-11-23 Sony Semiconductor Solutions Corporation Device and method for processing video content for display control
CN106686363B (zh) * 2016-11-01 2019-08-09 青岛海信电器股份有限公司 显示终端中的信号混合处理方法及装置
US10482327B1 (en) * 2017-01-18 2019-11-19 Snap Inc. Media overlay selection system
JP6381701B2 (ja) * 2017-02-09 2018-08-29 シャープ株式会社 受信装置、テレビジョン受像機、映像信号生成装置、送信装置、映像信号伝送システム、受信方法、プログラム、及び記録媒体
WO2018147196A1 (ja) * 2017-02-09 2018-08-16 シャープ株式会社 表示装置、テレビジョン受像機、映像処理方法、バックライト制御方法、受信装置、映像信号生成装置、送信装置、映像信号伝送システム、受信方法、プログラム、制御プログラム、及び記録媒体
US10388250B2 (en) * 2017-04-18 2019-08-20 Google Llc Methods, systems, and media for modifying user interface colors in connection with the presentation of a video
CN109644289B (zh) 2017-04-21 2021-11-09 松下知识产权经营株式会社 再现装置、再现方法、显示装置、以及显示方法
US10824910B2 (en) * 2017-05-04 2020-11-03 Htc Corporation Image processing method, non-transitory computer readable storage medium and image processing system
WO2018235338A1 (ja) 2017-06-21 2018-12-27 パナソニックＩｐマネジメント株式会社 映像表示装置及び映像表示方法
US10939158B2 (en) 2017-06-23 2021-03-02 Samsung Electronics Co., Ltd. Electronic apparatus, display apparatus and control method thereof
EP3654656A4 (en) 2017-07-14 2020-05-27 Panasonic Intellectual Property Management Co., Ltd. VIDEO MONITORING SYSTEM AND VIDEO DISPLAY METHOD
US10504263B2 (en) * 2017-08-01 2019-12-10 Samsung Electronics Co., Ltd. Adaptive high dynamic range (HDR) tone mapping with overlay indication
US10992877B2 (en) 2017-10-06 2021-04-27 Panasonic Intellectual Property Management Co., Ltd. Video display apparatus and video display method
CN111345034B (zh) * 2017-10-31 2022-08-26 索尼公司 再现设备、再现方法、程序及记录介质
KR102523672B1 (ko) 2017-11-14 2023-04-20 삼성전자주식회사 디스플레이장치 및 그 제어방법과 기록매체
KR101866363B1 (ko) * 2017-11-24 2018-06-12 공간정보기술 주식회사 사용자 기반 조건에 따른 3차원(3d) 모델링 생성과 제공 시스템
JP7187158B2 (ja) * 2018-03-12 2022-12-12 キヤノン株式会社 画像処理装置、表示装置、画像処理装置の制御方法、プログラム
CN110392243B (zh) * 2018-04-16 2021-04-09 华为技术有限公司 色域映射的方法和装置
WO2019239396A1 (en) * 2018-06-12 2019-12-19 Kliots Shapira Ela Method and system for automatic real-time frame segmentation of high resolution video streams into constituent features and modifications of features in each frame to simultaneously create multiple different linear views from same video source
WO2020000135A1 (zh) 2018-06-25 2020-01-02 华为技术有限公司 一种包含字幕的高动态范围视频处理的方法及装置
US10931930B2 (en) * 2018-07-06 2021-02-23 Mediatek Singapore Pte. Ltd. Methods and apparatus for immersive media content overlays
CN109600681B (zh) * 2018-11-29 2021-05-25 上海华绰信息科技有限公司 字幕显示方法、装置、终端及存储介质
US10832389B2 (en) 2018-12-13 2020-11-10 Ati Technologies Ulc Method and system for improved visibility in blended layers for high dynamic range displays
US10964290B2 (en) * 2018-12-28 2021-03-30 Disney Enterprises, Inc. Selective reduction of pixel intensity to enhance energy efficiency during display of an image
WO2020155072A1 (zh) * 2019-01-31 2020-08-06 华为技术有限公司 一种混合图层处理方法及装置
JP7256663B2 (ja) * 2019-03-26 2023-04-12 キヤノン株式会社 画像出力装置およびその制御方法
KR20210006130A (ko) * 2019-07-08 2021-01-18 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11493165B2 (en) * 2019-08-27 2022-11-08 International Business Machines Corporation Monitor position adjustment based on application metadata
KR102273920B1 (ko) * 2019-10-30 2021-07-06 이남기 위치 정보 기반의 사진 이미지 분류 및 탐색을 위한 이미지 생성 시스템, 이를 위한 사진 이미지 분류 및 탐색을 위한 이미지 생성 방법
KR20210074880A (ko) 2019-12-12 2021-06-22 삼성전자주식회사 디스플레이 장치 및 그 동작 방법
CN111294655B (zh) * 2020-02-20 2021-10-22 深圳创维－Rgb电子有限公司 Hdr片源播放方法、装置及存储介质
CN111415636B (zh) * 2020-03-31 2022-03-11 惠州华阳通用电子有限公司 一种画面共享系统及其实现方法
CN114327317A (zh) * 2020-09-30 2022-04-12 华为技术有限公司 镜像投屏方法、装置及系统
US11818514B2 (en) * 2021-11-08 2023-11-14 Gdc Technology (Shenzhen) Limited Integrated DCI compliant movie player and DLP projection equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080129877A1 (en) * 2006-12-05 2008-06-05 Canon Kabushiki Kaisha Image control apparatus and image control method
WO2012172460A1 (en) * 2011-06-14 2012-12-20 Koninklijke Philips Electronics N.V. Graphics processing for high dynamic range video

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000050158A (ja) * 1998-07-27 2000-02-18 Fujitsu General Ltd 映像合成装置
JP4508330B2 (ja) * 1999-01-25 2010-07-21 キヤノン株式会社 表示装置
US6571255B1 (en) 1999-04-16 2003-05-27 Robert Gonsalves Modification of media with common attributes on a digital nonlinear editing system
US20030046401A1 (en) 2000-10-16 2003-03-06 Abbott Kenneth H. Dynamically determing appropriate computer user interfaces
US7050109B2 (en) 2001-03-02 2006-05-23 General Instrument Corporation Methods and apparatus for the provision of user selected advanced close captions
US8374237B2 (en) 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
US7266150B2 (en) 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US20030112863A1 (en) 2001-07-12 2003-06-19 Demos Gary A. Method and system for improving compressed image chroma information
US6980224B2 (en) 2002-03-26 2005-12-27 Harris Corporation Efficient digital map overlays
TWI289291B (en) 2003-04-29 2007-11-01 Sunplus Technology Co Ltd Sub-screen image decoder
US7064759B1 (en) 2003-05-29 2006-06-20 Apple Computer, Inc. Methods and apparatus for displaying a frame with contrasting text
US20070121005A1 (en) 2003-11-10 2007-05-31 Koninklijke Philips Electronics N.V. Adaptation of close-captioned text based on surrounding video content
US7394565B2 (en) 2003-12-30 2008-07-01 Microsoft Corporation System and method for dynamically controlling gamut mapping functions
US7184063B2 (en) 2004-09-01 2007-02-27 Microsoft Corporation Adaptive color schemes
DE602007001796D1 (de) 2006-03-10 2009-09-10 Hoffmann Marlit Sequenz von videoeinzelbildern, vorrichtung und verfahren zur bereitstellung eines szenenmodells, szenenmodell, vorrichtung und verfahren zum erzeugen einer menüstruktur und computerprogramm
CN101438579B (zh) * 2006-03-31 2012-05-30 皇家飞利浦电子股份有限公司 基于附加内容帧的视频内容的自适应再现
US8074168B2 (en) 2006-06-09 2011-12-06 Oracle America, Inc. Automated context-compensated rendering of text in a graphical environment
US8091038B1 (en) 2006-11-29 2012-01-03 Adobe Systems Incorporated Adaptive graphical interface
WO2008099318A1 (en) 2007-02-13 2008-08-21 Nxp B.V. Visual display system and method for displaying a video signal
US9607408B2 (en) 2007-06-08 2017-03-28 Apple Inc. Rendering semi-transparent user interface elements
JP2009081542A (ja) * 2007-09-25 2009-04-16 Toshiba Corp 電子機器および補正方法
EP2191651A1 (en) 2007-09-28 2010-06-02 Dolby Laboratories Licensing Corporation Video compression and tranmission techniques
US20090322800A1 (en) 2008-06-25 2009-12-31 Dolby Laboratories Licensing Corporation Method and apparatus in various embodiments for hdr implementation in display devices
CN104333766B (zh) * 2008-08-22 2018-08-07 汤姆逊许可证公司 用于内容传送的方法和系统
US9330630B2 (en) * 2008-08-30 2016-05-03 Sharp Laboratories Of America, Inc. Methods and systems for display source light management with rate change control
WO2010033642A2 (en) 2008-09-16 2010-03-25 Realnetworks, Inc. Systems and methods for video/multimedia rendering, composition, and user-interactivity
WO2010083493A1 (en) 2009-01-19 2010-07-22 Dolby Laboratories Licensing Corporation Image processing and displaying methods for devices that implement color appearance models
US8422795B2 (en) 2009-02-12 2013-04-16 Dolby Laboratories Licensing Corporation Quality evaluation of sequences of images
US9378685B2 (en) 2009-03-13 2016-06-28 Dolby Laboratories Licensing Corporation Artifact mitigation method and apparatus for images generated using three dimensional color synthesis
EP2406959B1 (en) 2009-03-13 2015-01-14 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
EP2230839A1 (en) * 2009-03-17 2010-09-22 Koninklijke Philips Electronics N.V. Presentation of video content
KR101456874B1 (ko) 2009-05-11 2014-10-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 이미지 디스플레이에 대한 광 검출, 컬러 표현 모델들, 및 동적 범위의 수정
CN102771109B (zh) 2010-02-22 2016-10-26 杜比实验室特许公司 通过盖写视频数据进行视频传递和控制的方法、设备和系统
WO2011103258A2 (en) 2010-02-22 2011-08-25 Dolby Laboratories Licensing Corporation Video display control using embedded metadata
US8786585B2 (en) 2010-02-22 2014-07-22 Dolby Laboratories Licensing Corporation System and method for adjusting display based on detected environment
US8760578B2 (en) 2010-04-19 2014-06-24 Dolby Laboratories Licensing Corporation Quality assessment of high dynamic range, visual dynamic range and wide color gamut image and video
US8525933B2 (en) 2010-08-02 2013-09-03 Dolby Laboratories Licensing Corporation System and method of creating or approving multiple video streams
US9549197B2 (en) 2010-08-16 2017-01-17 Dolby Laboratories Licensing Corporation Visual dynamic range timestamp to enhance data coherency and potential of metadata using delay information
US8736674B2 (en) 2010-09-23 2014-05-27 Dolby Laboratories Licensing Corporation Method and system for 3D display calibration with feedback determined by a camera device
US8994714B2 (en) 2010-09-23 2015-03-31 Dolby Laboratories Licensing Corporation Method and system for display calibration with feedback determined by a camera device
US8836796B2 (en) 2010-11-23 2014-09-16 Dolby Laboratories Licensing Corporation Method and system for display characterization or calibration using a camera device
US9117385B2 (en) 2011-02-09 2015-08-25 Dolby Laboratories Licensing Corporation Resolution management for multi-view display technologies
US10152951B2 (en) * 2011-02-28 2018-12-11 Varian Medical Systems International Ag Method and system for interactive control of window/level parameters of multi-image displays
EP2498499B1 (en) 2011-03-08 2018-04-18 Dolby Laboratories Licensing Corporation Interpolation of color gamut for display on target display
CN103547580B (zh) 2011-03-22 2016-12-07 阿迪维纳斯疗法有限公司 取代的稠合三环化合物、其组合物及医药用途
WO2012153290A1 (en) 2011-05-10 2012-11-15 Nds Limited Adaptive presentation of content
USRE49692E1 (en) * 2011-05-10 2023-10-10 Koninklijke Philips N.V. High dynamic range image signal generation and processing
US9442562B2 (en) 2011-05-27 2016-09-13 Dolby Laboratories Licensing Corporation Systems and methods of image processing that adjust for viewer position, screen size and viewing distance
US9060180B2 (en) 2011-06-10 2015-06-16 Dolby Laboratories Licensing Corporation Drift-free, backwards compatible, layered VDR coding
US8891863B2 (en) 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
US8660352B2 (en) 2011-06-29 2014-02-25 Dolby Laboratories Licensing Corporation Quality assessment of images with extended dynamic range
PE20141864A1 (es) * 2011-09-27 2014-12-12 Koninkl Philips Nv Aparato y metodo para transformacion del rango dinamico de imagenes
US10055866B2 (en) 2013-02-21 2018-08-21 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080129877A1 (en) * 2006-12-05 2008-06-05 Canon Kabushiki Kaisha Image control apparatus and image control method
WO2012172460A1 (en) * 2011-06-14 2012-12-20 Koninklijke Philips Electronics N.V. Graphics processing for high dynamic range video

Also Published As

Publication number Publication date
EP2959676A1 (en) 2015-12-30
JP2016515327A (ja) 2016-05-26
KR20150108911A (ko) 2015-09-30
EP3783883A1 (en) 2021-02-24
KR101724312B1 (ko) 2017-04-07
KR20170039764A (ko) 2017-04-11
KR101978935B1 (ko) 2019-05-16
JP6833953B2 (ja) 2021-02-24
US10977849B2 (en) 2021-04-13
JP2019033531A (ja) 2019-02-28
CN105009567A (zh) 2015-10-28
PL3783883T3 (pl) 2024-03-11
JP6104411B2 (ja) 2017-03-29
KR20190052173A (ko) 2019-05-15
US20180322679A1 (en) 2018-11-08
JP2020043586A (ja) 2020-03-19
US10497162B2 (en) 2019-12-03
JP2017127007A (ja) 2017-07-20
US20200074710A1 (en) 2020-03-05
CN105009567B (zh) 2018-06-08
JP6621898B2 (ja) 2019-12-18
EP2959676B1 (en) 2020-09-23
WO2014130213A1 (en) 2014-08-28
JP6426220B2 (ja) 2018-11-21
EP3783883B1 (en) 2023-10-04

Similar Documents

Publication Publication Date Title
KR101993593B1 (ko) 오버레이 그래픽스를 합성하기 위한 어피어런스 매핑을 위한 시스템들 및 방법들
US10055866B2 (en) Systems and methods for appearance mapping for compositing overlay graphics
US11183143B2 (en) Transitioning between video priority and graphics priority
JP6934908B2 (ja) ビデオコンテンツ配信方法およびビデオ処理装置
ES2913154T3 (es) Sistemas escalables para controlar la gestión del color que comprenden niveles variables de metadatos
RU2640750C2 (ru) Устройство и способ для преобразования динамического диапазона изображений

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right