KR102567633B1 - 오버레이 지시를 사용하는 적응적 하이 다이나믹 레인지 톤 매핑 - Google Patents

오버레이 지시를 사용하는 적응적 하이 다이나믹 레인지 톤 매핑 Download PDF

Info

Publication number
KR102567633B1
KR102567633B1 KR1020207000018A KR20207000018A KR102567633B1 KR 102567633 B1 KR102567633 B1 KR 102567633B1 KR 1020207000018 A KR1020207000018 A KR 1020207000018A KR 20207000018 A KR20207000018 A KR 20207000018A KR 102567633 B1 KR102567633 B1 KR 102567633B1
Authority
KR
South Korea
Prior art keywords
tone mapping
overlaid
video
scene
overlay
Prior art date
Application number
KR1020207000018A
Other languages
English (en)
Other versions
KR20200027491A (ko
Inventor
김영태
오성남
현수지
리 타오
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20200027491A publication Critical patent/KR20200027491A/ko
Application granted granted Critical
Publication of KR102567633B1 publication Critical patent/KR102567633B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

비디오 톤 매핑(video tone mapping)을 위한 방법은 입력 데이터 스트림(input data stream)으로부터 그래픽이 하이 다이나믹 레인지(high dynamic range: HDR) 장면에 대한 이미지 데이터 상에 오버레이되고 있는 중인지 여부를 지시하는 오버레이 지시(overlay indication)를 수신하는 과정을 포함한다. 상기 오버레이 지시를 기반으로, 하드웨어 프로세서는 제1 톤 매핑 비디오를 생성하는 제1 톤 매핑 기능, 혹은 제2 톤 매핑 비디오를 생성하는 제2 톤 매핑 기능을 사용하여 비디오 스트림(video stream)을 프로세싱한다.

Description

오버레이 지시를 사용하는 적응적 하이 다이나믹 레인지 톤 매핑
본 개시는 일반적으로 비디오 톤 매핑(video tone mapping)을 위한 방법 및 그 장치에 관한 것이다. 또한, 하나 혹은 그 이상의 실시 예들은 일반적으로 하이 다이나믹 레인지(high dynamic range: HDR) 장면(scene)들 상의 그래픽 오버레이(graphic overlay)들에 관한 것이고, 특히 톤 매핑(tone mapping: TM)을 적용하기 위해 HDR 장면들에 대한 오버레이 그래픽들 지시(overlay graphics indication)를 제공하는 것에 관한 것이다.
그래픽은 블루-레이 디스크 플레이어(blu-ray disc player: BDP), 셋 탑 박스(set top box: STB), 혹은 방송국에서의 다이나믹 TM 메타데이터(metadata)를 가지는 HDR 장면에 오버레이될 수 있다. 현재는 오버레이 그래픽들에 대한 어떤 정보도 톤 매핑이 발생되는 수신기로 HDR 장면과 함께 전달되지 않는다.
하나 혹은 그 이상의 실시 예들은 TM을 적용하기 위해 하이 다이나믹 레인지(high dynamic range: HDR) 장면들에 대한 오버레이 그래픽들 지시(overlay graphics indication)를 제공하는 것에 관한 것이다.
몇몇 실시 예들에서, 비디오 톤 매핑(video tone mapping)을 위한 방법은 입력 데이터 스트림(input data stream)으로부터 그래픽이 HDR 장면에 대한 이미지 데이터 상에 오버레이되고 있는 중인지 여부를 지시하는 오버레이 지시(overlay indication)를 수신하는 과정을 포함한다. 상기 오버레이 지시를 기반으로, 하드웨어 프로세서는 제1 톤 매핑 비디오를 생성하는 제1 톤 매핑 기능, 혹은 제2 톤 매핑 비디오를 생성하는 제2 톤 매핑 기능을 사용하여 비디오 스트림(video stream)을 프로세싱한다.
몇몇 실시 예들에서, 장치는 명령어(instruction)들을 저장하는 메모리를 포함한다. 적어도 하나의 프로세서는 입력 데이터 스트림으로부터 그래픽이 HDR 장면에 대한 이미지 데이터 상에 오버레이되고 있는 중인지 여부를 지시하는 오버레이 지시를 수신하고; 및 상기 오버레이 지시를 기반으로, 제1 톤 매핑 비디오를 생성하는 제1 톤 매핑 기능, 혹은 제2 톤 매핑 비디오를 생성하는 제2 톤 매핑 기능을 사용하여 비디오 스트림을 프로세싱하도록 구성되는 프로세스를 포함하는 상기 명령어들을 실행한다.
몇몇 실시 예들에서, 프로세서에 의해 실행될 때: 하드웨어 프로세서가 입력 데이터 스트림으로부터 그래픽이 HDR 장면에 대한 이미지 데이터 상에 오버레이되고 있는 중인지 여부를 지시하는 오버레이 지시를 수신하는 과정을 포함하는 방법을 수행하는 프로그램을 포함하는 비-일시적 프로세서-리드 가능 매체가 제공된다. 상기 오버레이 지시를 기반으로, 상기 하드웨어 프로세서는 제1 톤 매핑 비디오를 생성하는 제1 톤 매핑 기능, 혹은 제2 톤 매핑 비디오를 생성하는 제2 톤 매핑 기능을 사용하여 비디오 스트림(video stream)을 프로세싱한다.
상기 하나 혹은 그 이상의 실시 예들의 이런 및 다른 특징들과, 측면들과 이점들은 하기의 설명과, 첨부 청구항들 및 첨부 도면들을 참조하여 이해되게 될 것이다.
도 1은 몇몇 실시 예들에 따른, 오버레이 향상 메카니즘(overlay enhancement mechanism)을 사용하는 전자 시스템을 도시하고 있다;
도 2는 몇몇 실시 예들에 따른, 시스템의 예제 하이-레벨 블록 다이아그램(high-level block diagram)을 도시하고 있다;
도 3은 하이 다이나믹 레인지(High Dynamic Range: HDR) 장면 상에 오버레이되어 있는 예제 그래픽을 도시하고 있다;
도 4는 다이나믹 톤 매핑(tone mapping: TM)이 적용된 HDR 장면 상에 오버레이되어 있는 예제 그래픽을 도시하고 있다;
도 5는 몇몇 실시 예들에 따른, 오버레이 지시(overlay indication)가 적용된 HDR 장면 상에 오버레이되어 있는 예제 그래픽을 도시하고 있다;
도 6은 몇몇 실시 예들에 따른, 적응적 TM이 적용된, 오버레이 지시가 적용된 HDR 장면 상에 오버레이되어 있는 예제 그래픽을 도시하고 있다;
도 7은 몇몇 실시 예들에 따른, HDR 장면들 및 TM 기능 어플리케이션의 그래픽 오버레이들에 대한 오버레이 지시를 삽입하는 그래픽 오버레이 프로세싱에 대한 블록 다이아그램을 도시하고 있다;
도 8은 몇몇 실시 예들에 따른, 오버레이 지시가 없을 경우에 대해 다이나믹 TM이 적용되고, 오버레이 지시에 대해 적응적 TM이 적용되는 HDR 장면 상에 오버레이되어 있는 예제 그래픽을 도시하고 있다;
도 9는 몇몇 실시 예들에 따른, TM 어플리케이션들을 사용하는 HDR 장면들에 대한 오버레이 프로세싱에 대한 블록 다이아그램을 도시하고 있다; 및
도 10은 개시되어 있는 실시 예들을 구현하는데 유용한 컴퓨터 시스템을 포함하는 정보 프로세싱 시스템을 도시하고 있는 예제 하이-레벨 블록 다이아그램이다.
하기의 설명은 하나 혹은 그 이상의 실시 예들의 일반적인 원리들을 설명하기 위한 목적들을 위해 이루어지며, 여기에서 청구되는 발명의 컨셉들을 제한하는 것을 의미하지는 않는다. 또한, 여기에서 설명되는 특정 특징들은 상기 다양한 가능한 결합들 및 치환들 각각에서 설명되는 다른 특징들과 결합되어 사용될 수 있다. 여기에서 특별하게 정의되지 않는 한, 모든 용어들은 해당 기술 분야의 당업자들에 의해 이해되는 의미들 및/혹은 사전들, 논문, 등에서 정의되어 있는 바와 같은 의미들 뿐만 아니라 상세한 설명으로부터 암시되는 의미들을 포함하는 주어진 가장 넓은 가능한 해석이 될 것이다.
몇몇 실시 예들은 톤 매핑(tone mapping: TM) 어플리케이션(application)들에 대한 하이 다이나믹 레인지(high dynamic range: HDR) 장면들에 대한 오버레이 그래픽들 지시(overlay graphics indication)를 제공한다. 몇몇 실시 예들에서, 비디오 톤 매핑(video tone mapping)을 위한 방법은 입력 데이터 스트림(input data stream)으로부터 그래픽이 HDR 장면에 대한 이미지 데이터 상에 오버레이되고 있는 중인지 여부를 지시하는 오버레이 지시(overlay indication)를 수신하는 과정을 포함한다. 상기 오버레이 지시를 기반으로, 하드웨어 프로세서는 제1 톤 매핑 비디오를 생성하는 제1 톤 매핑 기능, 혹은 제2 톤 매핑 비디오를 생성하는 제2 톤 매핑 기능을 사용하여 비디오 스트림(video stream)을 프로세싱한다.
해당 기술 분야의 당업자는 이미지 정보가 표현되는 포맷(format)이 몇몇 실시 예들에서는 중요하지 않다는 것을 인식할 것이다. 일 예로, 몇몇 실시 예들에서, 이미지 정보는 I (X, Y)의 포맷으로 제시되며, 여기서, X 및 Y는 상기 이미지에 포함되어 있는 픽셀의 위치를 정의하는 2개의 좌표들이다. 3차원 이미지 정보는 상기 픽셀의 색상에 대한 관련 정보를 가지는 I (X, Y, Z)이 포맷으로 제시될 수 있으며, X, Y, Z는 상기 이미지에 포함되어 있는 픽셀의 위치를 정의하는 3개의 좌표들이다. 일 실시 예에서, 상기 이미지 정보는 또한 강도(intensity) 혹은 밝기(brightness) 엘리먼트를 포함한다.
설명의 목적들을 위해, 여기에서 사용되는 용어 "수평(horizontal)"은 "도(FIG)"의 도면 명칭으로 지시되는 바와 같이 도면을 볼 때 보여지는 수평 방향을 나타낸다. 용어 "수직(vertical)"은 직전에 바로 정의된 바와 같은 수평에 수직인 방향을 나타낸다. "위(above)", "아래(below)", "하단(bottom)", "상단(top)", "사이드(side)", "더 높은(higher)", "더 낮은(lower)", "위(upper)", "위(over)"및 "아래(under)"와 같은 용어들은 도면들에 도시되어 있는 바와 같이, 상기 수평에 관해 정의된다.
여기에서 칭해지는 용어 "이미지"는 2차원 이미지, 3차원 이미지, 비디오 프레임(video frame), 컴퓨터 파일 표현, 카메라로부터의 이미지 혹은 그들의 결합을 포함할 수 있다. 일 예로, 상기 이미지는 머신 리드 가능 디지털 파일(machine readable digital file), 물리적 사진, 디지털 사진, 모션 픽쳐 프레임(motion picture frame), 비디오 프레임, x-레이 이미지, 스캔된 이미지, 혹은 그들의 결합이 될 수 있다. 상기 이미지는 직사각 어레이(rectangular array)로 배열된 픽셀(pixel)들로부터 생성될 수 있다. 상기 이미지는 상기 행들의 방향을 따르는 x-축과 상기 열들의 방향을 따르는 y-축을 포함할 수 있다. 상기 용어 "이미지"는 스틸 이미지(still image) 혹은 비디오의 동영상, 즉 상기 비디오 자체를 지시하는 후자를 지시할 수 있다. 상기 용어 "이미지"는 스틸 이미지(일 예로, 사진) 혹은 비디오 이외에도 디스플레이 상에 디스플레이 가능한 부분 혹은 전체 스크린 이미지를 포함할 수 있다. 또한, 상기 용어 "이미지"는 원래 스틸 이미지(일 예로, 사진) 혹은 비디오 이외에도 사용자 인터페이스 혹은 웹 페이지와 같은 디스플레이 가능한 스크린 이미지 자체를 포함할 수 있다.
용어 "색 영역(color gamut)"은 상기 전체 빛 영역에서 이미지로 디스플레이 가능한 색 공간 영역을 지시한다. 일 예로, 영역 정보(gamut information)는 상기 이미지가 디스플레이 되는 GBR(red, green, and blue) 및 CMYK(cyan, magenta, yellow, and black) 색 시스템들 중 어느 하나에 따라 변경될 수 있다. 상기 영역 정보에 따라, 상기 이미지는 넓은 영역 이미지 혹은 좁은 영역 이미지로 분류될 수 있다. 일 예로, 상기 넓은 영역 이미지는 넓은 영역을 가지는 이미지를 지시할 수 있고, DCP(digital cinema package), DCI(digital cinema initiatives), 혹은 Adobe RGB 색 시스템, 혹은 높은 광도 및 넓은 영역으로 마스터된 HDR 이미지를 가지는 이미지를 포함할 수 있다. 상기 좁은 영역 이미지는 좁은 영역을 가지는 이미지를 지시할 수 있고, 색 레벨 혹은 sRGB 색 시스템을 가지는 이미지를 포함할 수 있다.
일반적으로, 용어 "다이나믹 레인지(dynamic range)"는 물리적으로 측정된 양의 최대 값 대 그 최소 값의 비를 지시할 수 있다. 일 예로, 이미지의 다이나믹 레인지는 상기 이미지에서 가장 밝은 파트 대 그에서 가장 어두운 파트의 비를 지시할 수 있다. 다른 예로서, 디스플레이 장치의 다이나믹 레인지는 스크린으로부터 발산될 수 있는 빛의 최소 밝기와 그 최대 밝기의 비를 지시할 수 있다. 현실 세계에서, 다이나믹 레인지는 0 니트(nit)에 가까운 완전한 암흑으로부터 햇빛에 가까운 매우 높은 밝기까지이다.
이미지의 최대 밝기 대 최소 밝기의 비율이 높아지면, 상기 이미지는 로우 다이나믹 레인지 이미지, 스탠다드 다이나믹 레인지 이미지, 및 하이 다이나믹 레인지 이미지로 분류될 수 있다. 예를 들어, 하나의 픽셀의 R, G, B 컴포넌트들 각각에 대해 16 비트 혹은 그 보다 적은 개수의 비트들의 비트 깊이(bit depth)를 갖는 이미지는 로우 다이나믹 레인지 이미지를 나타낼 수 있다. 또한, 하나의 픽셀의 R, G, B 컴포넌트들 각각에 대해 32 비트 혹은 그 보다 많은 개수의 비트들의 비트 깊이를 가지는 이미지는 로우 다이나믹 레인지 이미지 내지 하이 다이나믹 레인지 이미지를 나타낼 수 있다.
하이 다이나믹 레인지 이미지가 정정되지 않고 로우 다이나믹 레인지를 가지는 디스플레이 장치 상에 디스플레이 될 때, 상기 하이 다이나믹 레인지 이미지의 원래의 의도는 왜곡되어 디스플레이될 수 있다. 용어 "톤 매핑(tone mapping: TM)은 이미지의 다이나믹 레인지의 변환 동작을 지시할 수 있다. TM은 한 세트의 색들을 다른 세트로 매핑하여 보다 제한된 다이나믹 레인지를 가지는 매체에서 HDR 이미지들의 모양을 근사화하기 위해 이미지 프로세싱 및 컴퓨터 그래픽들에서 사용되는 기술이다. TM은 원래의 장면 컨텐트를 인식하는 데 중요한 이미지 세부 사항들과 색 모양을 유지하면서 장면 빛(scene radiance)으로부터 디스플레이 가능한 레인지로의 강한 대비 감소(contrast reduction) 문제를 처리한다. TM은 이미지의 다이나믹 레인지를 좁히는 동작을 지시할 수 있다. 일 예로, 상기 TM은 HDR 이미지를 로우 다이나믹 레인지 이미지로 변환하는 동작을 지시할 수 있다. 추가적으로, 상기 TM은 이미지의 다이나믹 레인지를 넓히는 동작을 지시할 수 있다. 일 예로, 상기 TM은 로우 다이나믹 레인지 이미지를 HDR 이미지로 변환하는 동작을 지시할 수 있다. 이미지의 다이나믹 레인지가 상기 이미지가 디스플레이되는 디스플레이 장치의 다이나믹 레인지에 포함되어 있지 않을 때, 상기 디스플레이 장치는 톤-매핑된 이미지를 사용하여 원래의 이미지의 의도를 유지할 수 있다.
도 1은 몇몇 실시 예들에서의 오버레이 향상 메카니즘(overlay enhancement mechanism)을 사용하는 전자 시스템(50)을 도시하고 있다. 상기 전자 시스템(50)은 클라이언트(client) 혹은 서버와 같은 제2 디바이스(56)에 연결되어 있는, 클라이언트 혹은 서버와 같은 제1 디바이스(52)를 포함한다. 상기 제1 디바이스(52)는 무선 혹은 유선 네트워크와 같은 통신 경로(54)를 사용하여 상기 제2 디바이스(56)와 통신할 수 있다.
일 예에서, 상기 제1 디바이스(52)는 초고화질(ultra-high definition: UD) 텔레비젼 (UD television: UDTV)), 4K TV, 8K TV, 태블릿 디바이스(tablet device), 스마트 폰, 개인용 정보 단말기(personal digital assistant: PDA), 노트북 컴퓨터, 액정 크리스탈 디스플레이(liquid crystal display: LCD) 시스템, 웨어러블 디바이스(wearable device), 이동 컴퓨팅 디바이스, 프로젝션 디바이스(projection device), 혹은 다른 다-기능 디스플레이들 혹은 엔터테인먼트(entertainment) 디바이스들과 같은 DU, 4K (8K, 등) 디스플레이 디바이스들과 같은 다양한 디스플레이 디바이스들 중 어느 하나가 될 수 있다. 상기 제1 디바이스(52)는 상기 제2 디바이스(56)와 통신하기 위해 상기 통신 경로(54)에 직접적으로 혹은 간접적으로 연결할 수 있거나, 혹은 스탠드-얼론(stand-alone) 디바이스일 수 있다.
설명의 목적을 위해서, 상기 전자 시스템(50)은 디스플레이 디바이스로서 상기 제1 디바이스(52)로 설명하지만, 상기 제1 디바이스(52)가 다양한 다른 타입들의 디바이스들이 될 수 있다는 것이 이해될 것이다. 일 예로, 상기 제1 디바이스(52)는 또한 이미지들 혹은 멀티-미디어 프리젠테이션을 프리젠트하는 디바이스가 될 수 있다. 멀티-미디어 프리젠테이션은 사운드(sound), 일련의 스트리밍 이미지(streaming image)들, 혹은 비디오 피드(video feed), 혹은 그들의 결합을 포함하는 프리젠테이션이 될 수 있다. 일 예로, 상기 제1 디바이스(52)는 UDTV, 혹은 임의의 다른 타입의 UD 디스플레이 디바이스(일 예로, 모니터, 비디오 패널, HUD, 스마트 전화기, 태블릿 디바이스, 비디오 디바이스, 게이밍 디바이스(gaming device), 등)가 될 수 있다.
상기 제2 디바이스(56)는 다양한 중앙 집중형 혹은 분산형 컴퓨팅 디바이스들, 이미지 혹은 비디오 송신 디바이스들 중 어느 하나가 될 수 있다. 일 예로, 상기 제2 디바이스(56)는 멀티미디어 컴퓨터, 태블릿, 랩탑 컴퓨터, 데스크탑 컴퓨터, 비디오 게임 콘솔, 그리드-컴퓨팅 자원들(grid-computing resources), 가상 컴퓨터 자원, 클라우드 컴퓨팅 자원(cloud computing resource), 라우터들, 스위치들, 피어-투-피어(peer-to-peer) 분산 컴퓨팅 디바이스들, 미디어 플레이백 디바이스(media playback device), 디지털 비디오 디스크(digital video disk: DVD) 플레이어, 3차원 이네이블 DVD 플레이어(three-dimension enabled DVD player), 블루-레이 디스크 플레이어(blu-ray disc player: BDP), 카메라 혹은 비디오 카메라와 같은 기록 디바이스, 혹은 그들의 결합이 될 수 있다. 다른 예에서, 상기 제2 디바이스(56)는 텔레비젼 수신기, 셋탑 박스(set top box: STB), 케이블 박스, 위성 접시 수신기, 혹은 웹 이네이블 디바이스(web enabled device)와 같은 방송 혹은 라이브(live) 스트림 장면호들을 수신하는 장면호 수신기가 될 수 있다.
상기 제2 디바이스(56)는 단일 룸(room)에 중앙 집중되어 있을 수 있고, 다른 룸들에 걸쳐 분산되어 있을 수 있고, 다른 지형적 위치들에 걸쳐 분산되어 있을 수 있고, 통신 네트워크, 등 내에 삽입되어 있을 수도 있다. 상기 제2 디바이스(56)는 상기 제1 디바이스(52)와 통신하기 위해 상기 통신 경로(54)에 연결하는 수단을 가지고 있을 수 있다.
설명의 목적들을 위해서, 상기 전자 시스템(50)은 상기 제2 디바이스(56)를 컴퓨팅 디바이스로서 설명하지만, 상기 제2 디바이스(56)는 다른 타입들의 디바이스들이 될 수 있다는 것이 이해될 수 있을 것이다. 또한, 설명의 목적들을 위해서, 상기 전자 시스템(50)은 상기 통신 경로(54)의 엔드 포인트(end point)들로서 상기 제1 디바이스(52)와 제2 디바이스(56)를 도시하고 있지만, 상기 전자 시스템(50)은 상기 제1 디바이스(52)와, 제2 디바이스(56) 및 통신 경로(54)간의 다른 파티션(partition)을 가질 수 있다는 것이 이해될 것이다. 일 예로, 상기 제1 디바이스(52)와, 제2 디바이스(56), 혹은 그들의 결합은 또한 상기 통신 경로(54)의 일부로서 기능할 수 있다.
상기 통신 경로(54)는 다양한 네트워크들이 될 수 있다. 일 예로, 상기 통신 경로(54)는 무선 통신, 유선 통신, 광, 초음파, 혹은 그들의 결합을 포함할 수 있다. 위성 통신, 셀룰라 통신, 블루투스(BLUETOOTH®), 적외선 데이터 연합 스탠다드(Infrared Data Association standard: IrDA), WiFi(wireless fidelity), WiMAX (worldwide interoperability for microwave access)는 상기 통신 경로(54)에 포함될 수 있는 무선 통신의 예제들이다. 이더넷, 디지털 가입자 선(digital subscriber line: DSL), FTTH(fiber to the home), 고화질 멀티미디어 인터페이스(high-definition multimedia interface: HDMI) 케이블, POTS (plain old telephone service)는 상기 통신 경로(54)에 포함될 수 있는 유선 통신의 예제들이다.
또한, 상기 통신 경로(54)는 다수의 네트워크 토팔러지(topology)들 및 거리들을 가로지를 수 있다. 일 예로, 상기 통신 경로(54)는 다이렉트 연결, 개인 영역 네트워크(personal area network: PAN), 근거리 통신 네트워크(local area network: LAN), 도시 지역 통신 네트워크(metropolitan area network: MAN), 광역 네트워크(wide area network: WAN), 혹은 그들의 결합을 포함할 수 있다.
도 2는 몇몇 실시 예들에 따른, 시스템(200)의 하이-레벨 블록 다이아그램을 도시하고 있다. 몇몇 실시 예들에서, 상기 시스템(200)은 오버레이 향상 프로세서(700)(일 예로, 집적 회로(integrated circuit: IC), 하드웨어 회로, 멀티-코어 프로세서, 응용 주문형 IC (application specific IC: ASIC), CPU, 하이브리드 디바이스, 어플리케이션 프로그래밍 인터페이스(application programming interface: API), 등)를 사용하여 (일 예로, 상기 도 1의 통신 경로(54)로부터) 입력 노드(201)에서 수신되는 입력 소스(input source)(210)(혹은 도 1의 디바이스 (52, 혹은 56))로부터의 입력 비디오 이미지들을 프로세싱하고, 상기 출력 노드(240)에서 (일 예로, 상기 통신 경로(54)로) 비디오 이미지들을 출력하고, 출력 소스(250)(혹은 도 1의 디바이스(52)) 상에 상기 이미지들을 디스플레이할 수 있다. 몇몇 실시 예들에서, 상기 출력 소스 (250)에 대한 디스플레이는 상기 이미지 혹은 멀티-미디어 프리젠테이션(multi-media presentation)들을 프리젠트(present)하는 물리 디바이스가 될 수 있다. 일 예로, 상기 디스플레이는 LCD 패널, 플라즈마 스크린(plasma screen), 프로젝션 스크린, 헤드-업-디스플레이(heads-up-display: HUD), 등을 포함하는 스크린이 될 수 있다. 다른 실시 예들에서, 상기 디스플레이는 물체 혹은 반사 디바이스 상에 프로젝트될 수 있다.
몇몇 실시 예들에서, 상기 입력 비디오 이미지들은 입력 소스(210)로부터 제공될 수 있고, 무선으로 혹은 유선 인터페이스(일 예로, 도 1의 통신 경로(54))를 통해서 송/수신될 수 있고, 비압축/압축 비디오 컨텐트(uncompressed/compressed video content)를 포함할 수 있다. 몇몇 실시 예들에서, 시스템(200)에서 비디오 이미징 컨텐트의 유선 혹은 무선 통신은 이더넷, 전화기(일 예로, POTS), 케이블, 전력-선, 광 섬유 시스템들, 및/혹은 코드 분할 다중 접속(code division multiple access (CDMA) 혹은 CDMA 2000) 통신 시스템, 주파수 분할 다중 접속(frequency division multiple access: FDMA) 시스템, GSM/범용 패킷 무선 서비스(general packet radio service: GPRS)/향상된 데이터 GSM 환경(enhanced data GSM environment: EDGE)과 같은 시분할 다중 접속(time division multiple access: TDMA) 시스템, TETRA (terrestrial trunked radio) 이동 전화 시스템, 광대역 코드 분할 다중 접속(wideband code division multiple access: WCDMA) 시스템, 높은 데이터 레이트(1 x EV-DO(enhanced voice-data only) 혹은 1 x EV-DO 골드 멀티캐스트(Gold Multicast)) 시스템, 전기 및 전자 기술자 협회(Institute of Electrical and Electronics Engineers: IEEE) 802.11x 시스템, 디지털 멀티미디어 방송(digital multimedia broadcasting: DMB) 시스템, 직교 주파수 분할 다중 접속(orthogonal frequency division multiple access: OFDM) 시스템, 휴대용 디지털 비디오 방송(digital video broadcasting-handheld: DVB-H) 시스템 등을 포함하는 무선 시스템 중 하나 혹은 그 이상에서/을 통한 통신을 포함할 수 있다.
몇몇 실시 예들에서, 상기 비디오 입력 소스(210)는 무선 네트워크(일 예로, 인터넷, 근거리 통신 네트워크(local area network: LAN), 광역 네트워크(wide-area network: WAN), 개인 영역 네트워크(personal area network: PAN), 캠퍼스 무선 네트워크(campus wireless network: CAN), 도시 지역 통신 네트워크(metropolitan area network: MAN), 등, 일 예로 도 1의 통신 경로(54))를 통해 송신될 수 있다. 상기 입력 소스(210)는 클라우드-기반 시스템(cloud-based system), 서버, 방송국, 비디오 디바이스/플레이어, 비디오 카메라, 이동 디바이스, 등에서 발생할 수 있다.
몇몇 실시 예들에서, 상기 입력 소스로부터의 비디오 이미지 입력은 상기 입력 노드(201)에 도착하기 전에 (일 예로, 디코더/인코더를 통해) 디코딩/인코딩될 수 있다. 상기 출력 노드(240)로부터 출력 소스(250)로 출력되는 상기 비디오 이미지는 상기 출력 노드(240)에 도착하기 전에 인코딩/디코딩될 수 있다. 몇몇 실시 예들에서, 상기 출력 소스(250)는 무선으로 혹은 유선 인터페이스를 통해 상기 출력 노드(240)로부터 출력 이미지를 수신할 수 있다.
몇몇 실시 예들에서, 입력 소스(210)로부터의 압축 비디오 이미지 컨텐트는 방송, 컴퓨터 네트워크, DVD 혹은 다른 컴퓨터 리드 가능 저장 매체, 혹은 비디오 장면호들의 임의의 다른 적합한 소스로부터의 아날로그 혹은 디지털 비디오를 제공할 수 있다. 일 실시 예에서, 상기 입력 소스(210)로부터의 압축 비디오는 (ATSC (Advanced Television Systems Committee) 방송들과 같은) 무선 주파수 인터페이스, 컴퓨터 네트워크, 컴포넌트 비디오 케이블, 디지털 비주얼 인터페이스(digital visual interface: DVI) 혹은 HDMI 비디오 인터페이스 등과 같은 유선 혹은 무선 연결을 통해 수신기에 연결될 수 있다. 일 실시 예에서, 상기 입력 소스(210)로부터의 비압축 비디오 이미지는 비디오 카메라, 혹은 임의의 적합한 비디오 인터페이스에 의해 수신기에 연결되는 디스크 드라이브와 같은 메모리 디바이스 중 하나 혹은 그 이상을 포함할 수 있다. 상기 입력 소스(210)로부터의 비압축 비디오는 휘도(luminance) 및 크로미넌스(chrominance)의 형태, 레드, 그린, 블루 등과 같은 개별 색상 강도들, 혹은 임의의 다른 적합한 형태를 포함하는 아날로그 혹은 디지털 형태로 비압축 비디오를 제공할 수 있다.
몇몇 실시 예들에서, 입력 소스(210)로부터 입력 비디오 컨텐트에 대한 디지털 비디오 포맷들은 다른 프레임 레이트(frame rate)들, 픽셀들의 다른 개수들의 선들 및 행(row)들, 인터레이스드(interlaced) 혹은 비-인터레이스드(non-interlaced) 등을 포함할 수 있다. 일 예로, 영화들은 일반적으로 24 fps (frames per second) 포맷으로 생성되고, NTSC (National Television System Committee)는 초당 30프레임이고, PAL(phase alternating line)은 초당 25 프레임이다. 상기 포맷은 인터레이스될 수 있거나 프로그레시브(progressive)할 수 있다. 일 예로, (디지털 비디오 방송 스탠다드들에 의해 지원되는 바와 같은) 고화질 포맷들은 출력 소스(250)의 디스플레이 디바이스의 포맷에 적합한 포맷으로 수정될 수 있다. 상기 출력 소스(250)의 디스플레이 디바이스는 NTSC, PAL, ATSC, DVB/T, 등을 수신하거나, 혹은 70 Hz, 75 Hz, 80 Hz, 등과 같은 프레임 레이트들로 실행되는 디바이스를 디스플레이하도록 구성될 수 있다.
몇몇 실시 예들에서, 프로세서(일 예로, 도 2, 도 7의 오버레이 향상 프로세서(700), 도 10의 프로세서(1001))는 다음을 수행할 수 있다. 그래픽이 HDR 장면에 대한 이미지 데이터 상에서 오버레이되고 있는 중인지 여부를 지시하는 제어 장면호는 입력 데이터 스트림으로부터 수신될 수 있다. 비디오 장면호에 상응하는 비디오 스트림이 획득될 수 있다. 상기 제어 장면호를 기반으로, 상기 프로세서는 제1 톤 매핑 비디오를 생성하는 제1 TM 기능(일 예로, 다이나믹 TM 기능), 혹은 제2 톤 매핑 비디오를 생성하는 제2 톤 매핑 기능(일 예로, 적응적 TM 기능)을 사용하여 상기 비디오 스트림을 프로세싱할 수 있다.
상기 제1 TM 기능은 그래픽이 오버레이되고 있는 중이 아닐 때 사용된다. 상기 제1 TM 기능은 오직 상기 HDR 장면 (즉, 그리고 그래픽 오버레이가 아닌) 에 대한 TM 메타데이터를 사용한다. 상기 제2 TM 기능은 그래픽이 오버레이되고 있는 중일 때 사용된다. 상기 제2 TM 기능은 상기 오버레이되는 그래픽에 대한 TM 메타데이터 및 상기 HDR 장면에 대한 TM 메타데이터를 사용한다. 상기 오버레이되는 그래픽에 대한 TM 메타데이터는 상기 HDR 장면 상에 오버레이되는 그래픽을 포함하는 입력 데이터 스트림의 모든 값들에 대한 최대 휘도를 추정함으로써 획득된다. 몇몇 실시 예들에서, 오버레이 플래그 입력은 상기 그래픽이 이미지 데이터 상에서 오버레이되고 있는 중인지 여부를 명시한다. 몇몇 실시 예들에서, 상기 오버레이되는 그래픽은 픽쳐-인-픽쳐(picture-in-picture: PIP) 데이터 스트림에 대한 이미지 데이터에 상응할 수 있다. 상기 최대 휘도는 상기 비디오 스트림에 포함되어 있는 픽셀들의 max (R,G,B)의 최대 값을 나타낸다.
도 3은 HDR 장면(310) 상에 오버레이되는 예제 그래픽(330)을 도시하고 있다. 그래픽(330)은 일 예로, BDP, STB, 혹은 방송국에서 다이나믹 TM 메타데이터(315)를 가지는 HDR 장면(310)에 적용되는 오버레이(320) 기능을 사용하여 오버레이될 수 있다. 상기 결과(311)는 상기 오버레이되는 그래픽(330)을 가지는 HDR 장면(310)이다. 하지만, 현재는 상기 오버레이되는 그래픽(330)에 대한 어떤 정보도 TM 어플리케이션이 발생되고 있는 중인, 수신기로 HDR 장면(310)과 함께 전달되지 않는다.
도 4는 다이나믹 TM (420)이 적용된 HDR 장면 (410) 상에 오버레이되는 예제 그래픽(430)을 도시하고 있다. 상기 다이나믹 TM 메타데이터 (415)를 가지고 있는 HDR 장면 (410)이 도시되어 있다. 상기 다이나믹 TM (420)이 상기 다이나믹 TM 메타데이터 (415)를 사용하여 상기 HDR 장면 (410)에 적용될 때, 상기 다이나믹 TM 메타데이터 (415)는 상기 HDR 장면 (410)의 메타데이터만을 포함하고 있기 때문에, 상기 오버레이되는 그래픽(430)의 다이나믹 TM 결과는 불확실하다. 발생되는 문제점은 그 값들이 최대값(신 휘도)(450)을 초과하는 그래픽 픽셀들에 대해 심각한 클리핑(clipping)이 발생하는 것이다. 상기 결과들은 상기 HDR 장면 (410)이 상기 다이나믹 TM (420)으로부터의 열악한 결과를 가지는 상기 오버레이되는 그래픽(431)을 도시하는 동안의 것이다. 상기 그래프는 상기 그래픽 픽셀들(460)에 대한 타겟 피크(target peak)(440), 휘도 및 상기 클리핑을 도시하고 있는 커브(curve)(470)를 도시한다.
도 5는 몇몇 실시 예들에 따른, 오버레이 지시(530)가 적용된 HDR 장면(510) 상에 오버레이되는 그래픽(440)의 예제(511)를 도시하고 있다. 상기 HDR 장면(510)은 상기 오버레이 기능(520)에 적용되는 상기 다이나믹 TM 메타데이터(515)를 포함한다. 상기 클리핑 이슈를 해결하기 위해, 몇몇 실시 예들은 그래픽이 TV, 수신기, 디바이스 등에 의해 오버레이될 때 상기 디바이스(일 예로, BDP, STB, 방송국, 등)에 대해 오버레이_플래그(overlay_flag), 비트맵, 장면호, 등과 같은 오버레이 지시(530)를 송신하는 것을 제공한다. 일 예에서, 그래픽이 상기 디바이스에 의해 오버레이된다는 것을 나타내기 위해 "Overlay_flag"는 1로 설정될 수 있다.
도 6은 몇몇 실시 예들에 따른, 적응적 TM(620)이 적용되는, 오버레이 지시(일 예로, Overlay_Flag =1)가 송신되는 HDR 장면(610) 상에 오버레이되는 예제 그래픽(630)을 도시하고 있다. 상기 수신기가 상기 오버레이 지시(일 예로, Overlay_Flag =1)를 수신할 경우, 그래픽 적응적 TM(620)은 상기 적응적 TM(620) 후에 상기 HDR 장면 (611)의 그래픽 (631) 파트를 적절하게 렌더링한다. 상기 그래프는 상기 그래픽 픽셀들(660)에 대한 상기 타겟 피크(target peak)(640), 그래픽 최대 값 (그래픽 휘도)(650)을 도시하고 있다. 상기 커브(670)는 상기 해결된 (일 예로, 도 4에서의) 클리핑 이슈를 도시하고 있다.
도 7은 몇몇 실시 예들에 따른, HDR 장면들 및 TM 기능 어플리케이션의 그래픽 오버레이들에 대한 오버레이 지시(760)(일 예로, Overlay_Flag, 제어 장면호, 비트맵, 등)를 삽입하는 그래픽 오버레이 프로세싱(700)에 대한 블록 다이아그램을 도시하고 있다. 상기 그래픽 오버레이 프로세싱(700)에 대해서, 상기 HDR 장면 입력(710)은 상기 다이나믹 TM 메타 데이터(720) 및 오버레이 지시(760)와 함께 수신된다. 몇몇 실시 예들에서, 상기 HDR 장면 입력(710)과 다이나믹 TM 메타 데이터(720)는 상기 다이나믹 TM 기능 (730)으로 제공되어 상기 출력 a를 초래하고; 상기 추정 그래픽 최대값 기능 (750)은 상기 오버레이 그래픽 x (711) 및 오버레이 지시(760)를 고려하여 상기 그래픽 최대 값 (그래픽 휘도)을 추정한다. 상기 그래픽 최대값 (755)은 상기 출력 b를 초래하는 상기 그래픽 TM 기능(740)에 대한 입력이다. 몇몇 실시 예들에서, 상기 출력들 a 및 b 및 오버레이 지시(760)는 상기 멀티플렉서(multiplexor: MUX)(770)에 대한 입력이고, 여기서, 상기 HDR TM 출력 (780) = a (1 - Overlay_Flag) + b (Overlay_Flag) 이다. 상기 그래픽 최대값 (755)은 수신기에서 추정될 수 있으며, 여기서 상기 입력 장면에서 x (711)의 모든 값들에 대해 Graphic max = max(x, Scene Max)이라는 것에 유의하여야만 할 것이다. 몇몇 실시 예들에서, 상기 추정된 그래픽 최대값 (750) 블록은 상기 오버레이 지시(760)가 설정될 때에만 (일 예로 Overlay_Flag=1)일 때에만) 프로세싱을 제공한다. 상기 그래픽 최대값 (750)은 상기 오버레이 지시가 설정되지 않을 때 (일 예로, Overlay_Flag=0일 때) 상기 장면 최대 값과 동일하다. 몇몇 실시 예들에서, 무한 임펄스 응답(infinite impulse response: IIR) 필터링 방식은 상기 추정 그래픽 최대값 기능 (750)과 결합될 수 있다.
도 8은 몇몇 실시 예들에 따른, HDR 장면 (810) 상에 오버레이되어 있는 예제 그래픽 (830)을 도시하고 있으며, 다이나믹 TM(730)은 오버레이 지시가 없을 경우에 대해 적용되고, 적응적 TM(620)은 오버레이 지시(760)에 대해 적용된다. PIP는 STB 혹은 TV 방송국들에서의 공통 비디오 프로세싱이다. 2개의 HDR 콘텐트들이 PIP로 믹스될 때, 실제 선택은 상기 메인 HDR 픽쳐(main HDR picture)의 다이나믹 메타데이터를 송신하는 것이다. 이 케이스에서, 상기 클리핑(clipping) 문제는 상기 서브-픽쳐(sub-picture)에 포함되어 있는 상기 HDR 픽쳐(즉, 상기 HDR 장면(811)에 포함되어 있는 PIP 장면(831))에 대해서 발생할 수 있다. 몇몇 실시 예들에서, 상기 오버레이 지시(760)는 상기 HDR 장면(812)에 포함되어 있는 PIP 장면(832)을 초래하는 적응적 TM (620) 기능을 적용하기 위해 사용될 수 있다.
몇몇 실시 예들에서, 서브-신(PIP (830))이 HDR 장면(810)에 대한 이미지 상에 오버레이되고 있는 중인지 여부를 지시하는 상기 오버레이 지시(760)는 제어 장면호로 송신될 수 있고, 입력 데이터 스트림으로부터 수신될 수 있다. 비디오 장면호에 상응하는 비디오 스트림이 획득될 수 있다. 상기 제어 장면호 및 오버레이 지시(760)를 기반으로, 상기 그래픽 오버레이 프로세싱(700)에 대한 프로세서는 제1 톤 매핑 비디오 HDR 장면(811)을 생성하는 제1 TM 기능(일 예로, 다이나믹 TM 기능(730)), 혹은 제2 톤 매핑 비디오 HDR 장면(812)을 생성하는 제2 톤 매핑 기능(일 예로, 적응적 TM 기능 (620))을 사용하여 상기 비디오 스트림을 프로세싱할 수 있다.
몇몇 실시 예들에서, 상기 제1 TM 기능은 그래픽이 오버레이되고 있는 중이 아닐 때 사용된다. 상기 제1 TM 기능 (일 예로, 상기 다이나믹 TM 기능(730))은 오직 상기 HDR 장면(810)에 대해서만 TM 메타데이터를 사용한다. 상기 제2 TM 기능 (일 예로, 상기 적응적 TM 기능(620))은 그래픽이 오버레이되고 있는 중일 경우 사용된다. 상기 제2 TM 기능은 상기 오버레이되는 그래픽에 대한 TM 메타데이터 및 상기 HDR 장면에 대한 TM 메타데이터를 사용한다. 상기 오버레이되는 그래픽에 대한 TM 메타데이터는 상기 HDR 장면(810) 상에 오버레이되는 그래픽(830)을 포함하는 상기 입력 데이터 스트림의 모든 값들에 대한 최대 휘도를 추정함으로써 획득된다.
도 9는 몇몇 실시 예들에 따른, TM 어플리케이션들을 사용하는 HDR 장면들에 대한 오버레이 프로세싱에 대한 프로세스(900)에 대한 블록 다이아그램을 도시하고 있다. 블록 910에서, 그래픽이 HDR 장면에 대한 이미지 데이터 상에 오버레이되고 있는 중인지 여부를 지시하는 오버레이 지시(일 예로, 오버레이 플래그, 비트맵, 제어 장면호, 등)가 입력 데이터 스트림으로부터 수신된다. 블록 920에서, 상기 오버레이 지시를 기반으로, 하드웨어 프로세서(일 예로, 도 2, 도 7의 오버레이 향상 프로세서(700), 도 10의 프로세서(1001))는 제1 톤 매핑 비디오를 생성하는 제1 톤 매핑 기능(일 예로, 다이나믹 TM 기능), 혹은 제2 톤 매핑 비디오를 생성하는 제2 톤 매핑 기능(일 예로, 적응적 TM 기능)을 사용하여 비디오 스트림을 프로세싱한다.
몇몇 실시 예들에서, 프로세스(900)에서, 상기 제1 톤 매핑 기능은 그래픽이 상기 HDR 장면 상에 오버레이되고 있는 중이 아닐 때 사용되고, 상기 제1 톤 매핑 기능은 오직 HDR 장면에 대해서만 톤 매핑 데이터를 사용한다. 몇몇 실시 예들에서, 프로세스(900)에서, 상기 제2 톤 매핑 기능은 그래픽이 상기 HDR 장면 상에 오버레이되고 있는 중일 때 사용되고, 상기 제2 톤 매핑 기능은 상기 오버레이되고 있는 중인 그래픽에 대한 톤 매핑 메타데이터 및 상기 HDR 장면에 대한 톤 매핑 메타데이터를 사용한다.
몇몇 실시 예들에서, 프로세스(900)에서, 상기 오버레이되고 있는 중인 그래픽에 대한 톤 매핑 메타데이터는 상기 HDR 장면 상에 오버레이되는 그래픽을 포함하는 상기 입력 데이터 스트림의 모든 값들에 대한 최대 휘도를 추정함으로써 획득된다. 프로세스(900)에서, 상기 오버레이 지시는 상기 그래픽이 이미지 데이터 상에 오버레이되고 있는 중인지 여부를 명시하는 오버레이 플래그를 포함할 수 있다.
몇몇 실시 예들에서, 프로세스(900)에서, 상기 오버레이되고 있는 중인 그래픽은 픽쳐-인-픽쳐(picture-in-picture) 데이터 스트림에 대한 이미지 데이터에 상응한다. 프로세스(900)에서, 상기 최대 휘도는 상기 비디오 스트림에 포함되어 있는 픽셀들의 max(R,G,B)의 최대값을 나타낸다.
도 10은 개시되어 있는 실시 예들을 구현하는데 유용한 컴퓨터 시스템(1000)을 포함하는 정보 프로세싱 시스템을 도시하고 있는 하이-레벨 블록 다이아그램이다. 컴퓨터 시스템(1000)은 도 1의 디바이스 (52, 56), 혹은 도 2의 디바이스들 (210, 혹은 250)에 통합될 수 있다. 상기 컴퓨터 시스템(1000)은 하나 혹은 그 이상의 프로세서들(1001)(일 예로, 도 2의 프로세서(들)(700))을 포함하고, (비디오, 그래픽들, 텍스트, 및 다른 데이터를 디스플레이하는) 전자 디스플레이 디바이스(1002), 메인 메모리(1003)(일 예로, 랜덤 억세스 메모리(random access memory: RAM)), 저장 디바이스(1004)(일 예로, 하드 디스크 드라이브), 제거 가능 저장 디바이스(1005)(일 예로, 제거 가능 저장 드라이브, 제거 가능 메모리 모듈, 마그네틱 테이프 드라이브, 광 디스크 드라이브, 그에 저장되어 있는 컴퓨터 소프트웨어 및/혹은 데이터를 가지는 컴퓨터 리드 가능 매체), 사용자 인터페이스 디바이스(1006)(일 예로, 키보드, 터치 스크린, 키패드, 포인팅 디바이스(pointing device)), 및 통신 인터페이스(1007)(일 예로, 모뎀, (이더넷 카드와 같은) 네트워크 인터페이스, 통신 포트, 혹은 PCMCIA 슬롯(slot) 및 카드)를 더 포함할 수 있다. 상기 통신 인터페이스(1007)는 소트프웨어 및 데이터가 상기 컴퓨터 시스템 및 외부 디바이스들간에 (일 예로, 도 1의 통신 경로(54)를 통해) 전달되는 것을 허락한다. 상기 시스템(1000)은 상기에서 설명한 바와 같은 디바이스들/모듈들(1001)이 1007을 통해 연결되는 통신 인프라스트럭쳐(infrastructure)(1008)(일 예로, 통신 버스(bus), 크로스-오버 바(cross-over bar, 혹은 네트워크)를 더 포함한다.
통신 인터페이스(1007)를 통해 전달되는 정보는 장면호들을 운반하는 통신 링크를 통해 통신 인터페이스(1007)에 의해 수신되는 것이 가능한 전자, 전자기, 광, 혹은 다른 장면호들과 같은 장면호들의 형태가 될 수 있거나, 혹은 유선 혹은 케이블, 광 섬유, 전화 선, 셀룰라 전화 링크, 무선 주파수(radio frequency: RF) 링크, 및/혹은 다른 통신 채널들을 사용하여 구현될 수 있다. 여기에서의 블록 다이아그램 및/혹은 플로우차트들을 나타내는 컴퓨터 프로그램 명령어들은 컴퓨터, 프로그램 가능 데이터 프로세싱 장치, 혹은 프로세싱 디바이스들에 로딩되어 그에서 수행되는 일련의 동작들이 컴퓨터 구현 프로세스를 생성하도록 할 수 있다.
몇몇 실시 예들에서, 700(도 7)에 대한 프로세싱 명령어들은 상기 프로세서(1001)에 의한 실행을 위해 상기 메모리(1003), 저장 디바이스(1004), 및 제거 가능 저장 디바이스(1005) 상에 프로그램 명령어들로서 저장될 수 있다.
본 개시의 일 실시 예에 따르면, 프로세서에 의해 실행될 때: 하드웨어 프로세서가 입력 데이터 스트림(input data stream)으로부터 그래픽이 하이 다이나믹 레인지(high dynamic range: HDR) 장면에 대한 이미지 데이터 상에 오버레이되고 있는 중인지 여부를 지시하는 오버레이 지시(overlay indication)를 수신하는 과정; 및 상기 오버레이 지시를 기반으로, 상기 하드웨어 프로세서가 제1 톤 매핑 비디오를 생성하는 제1 톤 매핑 기능, 혹은 제2 톤 매핑 비디오를 생성하는 제2 톤 매핑 기능을 사용하여 비디오 스트림(video stream)을 프로세싱하는 과정을 포함하는 방법을 수행하는 프로그램을 포함하는 비-일시적 프로세서-리드 가능 매체를 제공한다.
여기서, 상기 제1 톤 매핑 기능은 그래픽이 상기 HDR 장면 상에 오버레이되고 있는 중이 아닐 때 사용되고, 상기 제1 톤 매핑 기능은 오직 상기 HDR 장면에 대한 톤 매핑 메타데이터(tone mapping metadata)를 사용한다.
여기서, 상기 제2 톤 매핑 기능은 그래픽이 상기 HDR 장면 상에 오버레이되고 있는 중일 때 사용되고, 상기 제2 톤 매핑 기능은 상기 오버레이되고 있는 중인 그래픽에 대한 톤 매핑 메타데이터(tone mapping metadata) 및 상기 HDR 장면에 대한 톤 매핑 메타데이터(tone mapping metadata)를 사용하고, 상기 오버레이되고 있는 중인 그래픽에 대한 톤 매핑 메타데이터는 상기 HDR 장면 상에 오버레이되고 있는 그래픽을 포함하는 입력 데이터 스트림의 모든 값들에 대한 최대 휘도를 추정함으로써 획득된다.
여기서, 상기 오버레이 지시는 상기 그래픽이 이미지 데이터 상에서 오버레이되고 있는 중인지 여부를 명시하는 오버레이 플래그(overlay flag)를 포함한다.
여기서, 상기 오버레이되고 있는 중인 그래픽은 픽쳐-인-픽쳐 데이터 스트림(picture-in-picture data stream)에 대한 이미지 데이터에 상응한다.
여기서, 상기 최대 휘도는 상기 비디오 스트림에 포함되어 있는 픽셀들의 max (R,G,B)의 최대 값을 나타낸다.
실시 예들은 플로우차트 설명들, 및/혹은 방법들, 장치 (시스템들) 및 컴퓨터 프로그램 제품들을 참조하여 설명되었다. 그와 같은 설명들/다이아그램들의 각 블록 또는 그 조합들은 컴퓨터 프로그램 명령어들에 의해 구현될 수 있다. 프로세서로 제공될 때 상기 컴퓨터 프로그램 명령어들은 상기 프로세서를 통해 실행하는 상기 명령어들이 상기 플로우차트 및/혹은 블록 다이아그램에서 명시된 기능들/동작들을 구현하기 위한 수단을 생성할 수 있도록 머신을 생성한다. 상기 플로우차트/블록 다이아그램들에서의 각 블록은 하드웨어 및/또는 소프트웨어 모듈 또는 로직을 나타낼 수 있다. 대안적인 구현들에서, 상기 블록들에서 언급된 기능들은 도면들에서 언급된 순서를 벗어나서 동시에 발생할 수 있다.
상기 용어들 "컴퓨터 프로그램 매체", "컴퓨터 사용 가능 매체", "컴퓨터 리드 가능 매체" 및 "컴퓨터 프로그램 제품"은 일반적으로 메인 메모리, 보조 메모리, 이동식 저장 드라이브, 하드 디스크 드라이브에 인스톨된 하드 디스크 및 장면호들과 같은 매체들을 나타내는데 사용된다. 이러한 컴퓨터 프로그램 제품들은 상기 컴퓨터 시스템에 소프트웨어를 제공하기 위한 수단이다. 상기 컴퓨터 리드 가능 매체는 상기 컴퓨터 시스템이 상기 컴퓨터 리드 가능 매체로부터 데이터, 명령어들, 메시지들 또는 메시지 패킷들, 및 다른 컴퓨터 리드 가능 정보를 리드하는 것을 허락한다. 상기 컴퓨터 리드 가능 매체는, 일 예로, 플로피 디스크, ROM, 플래시 메모리, 디스크 드라이브 메모리, CD-ROM 및 다른 영구 저장 장치와 같은 비-휘발성 메모리를 포함할 수 있다. 이는 일 예로, 컴퓨터 시스템들간에 데이터 및 컴퓨터 명령어들과 같은 정보를 전송하는 데 유용하다. 컴퓨터 프로그램 명령어들은 컴퓨터 리드 가능 매체에 저장될 수 있으며, 컴퓨터, 다른 프로그램 가능 데이터 프로세싱 장치 또는 다른 디바이스들이 특정 방식으로 기능하도록 지시할 수 있으며, 상기 컴퓨터 리드 가능 매체에 저장되어 있는 명령어들은 상기 플로우차트 및/또는 블록 다이어그램 블록 혹은 블록들에 명시된 기능/액션을 구현하는 명령어들을 포함하는 제품을 생성한다.
상기 실시 예들의 측면들은 시스템, 방법, 혹은 컴퓨터 프로그램 제품으로 구현될 수 있다는 것이 해당 기술 분야의 당업자에 의해 인식될 것이다. 따라서, 상기 실시 예들의 측면들은 완전한 하드웨어 실시 예, 완전한 소프트웨어 실시 예, 여기에서 "회로", "모듈", 혹은 "시스템"이라고 일반적으로 칭해질 수 있는 소프트웨어 및 하드웨어 측면들을 결합하는 실시예의 형태를 가질 수 있다. 또한, 상기 실시 예들의 측면들은 하나 혹은 그 이상의 컴퓨터 리드 가능 매체(들)에 구현되는 컴퓨터 리드 가능 프로그램 코드를 가지는 상기 하나 혹은 그 이상의 컴퓨터 리드 가능 매체(들)에 구현되는 컴퓨터 프로그램 제품의 형태를 가질 수 있다.
하나 혹은 그 이상의 컴퓨터 리드 가능 매체(들)의 임의의 결합이 사용될 수 있다. 상기 컴퓨터 리드 가능 매체는 컴퓨터 리드 가능 저장 매체가 될 수 있다. 컴퓨터 리드 가능 저장 매체는 일 예로, 전자, 마그네틱, 광, 전자기, 적외선, 혹은 반도체 시스템, 장치, 혹은 디바이스, 혹은 상기에서 설명한 바와 같은 것들의 임의의 적합한 결합이 될 수 있으며, 그렇다고 이에 한정되지는 않는다. 상기 컴퓨터 리드 가능 저장 매체의 보다 특정한 예제들 (불완전 리스트(non-exhaustive list))은 다음을 포함할 것이다: 하나 혹은 그 이상의 유선들을 가지는 전자 연결, 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 억세스 메모리(random access memory: RAM), 리드-온니 메모리(read-only memory: ROM), 삭제 가능 프로그램 가능 리드-온니 메모리(erasable programmable read-only memory (EPROM) 혹은 플래쉬 메모리), 광 섬유, 휴대용 컴팩트 디스크 리드-온니 메모리(compact disc read-only memory: CD-ROM), 강 저장 디바이스, 마그네틱 저장 디바이스, 혹은 상기에서 설명한 바와 같은 것들의 임의의 적합한 결합. 이 문서의 컨텍스트에서, 컴퓨터 리드 가능 저장 매체는 명령어(instruction) 실행 시스템, 장치, 혹은 디바이스에 의한 사용을 위한, 혹은 명령어 실행 시스템, 장치, 혹은 디바이스와의 연결에서의 사용을 위한 프로그램을 포함하거나 혹은 저장할 수 있는 임의의 유형의(tangible) 저장 매체가 될 수 있다.
하나 혹은 그 이상의 실시 예들의 측면들에 대한 동작들을 수행하는 컴퓨터 프로그램 코드는 자바(Java), 소몰토크(Smalltalk), C++ 등과 같은 오브젝트 지향 프로그래밍 언어(object oriented programming language)와, 상기 "C" 프로그래밍 언어와 같은 일반적인 절차 프로그래밍 언어(procedural programming language)들, 혹은 유사한 프로그래밍 언어들을 포함하는 하나 혹은 그 이상의 프로그래핑 언어들의 임의의 결합으로 라이트될 수 있다. 상기 프로그램 코드는 상기 사용자의 컴퓨터 상에서 전체적으로, 상기 사용자의 컴퓨터 상에서 부분적으로, 스탠드-얼론(stand-alone) 소프트웨어 패키지로서, 상기 사용자의 컴퓨터 상에서 부분적으로, 원격 컴퓨터 상에서 부분적으로, 혹은 상기 원격 컴퓨터, 혹은 서버 상에서 전체적으로 실행될 수 있다. 후자의 시나리오에서, 상기 원격 컴퓨터는 LAN 혹은 WAN을 포함하는 임의의 타입의 네트워크를 통해서 상기 사용자의 컴퓨터에 연결될 수 있거나, 혹은 상기 연결은 (일 예로, 상기 인터넷 서비스 제공자를 사용하여 상기 인터넷을 통해) 외부 컴퓨터에 대해 이루어질 수 있다.
하나 혹은 그 이상의 실시 예들의 측면들은 플로우차트 설명들, 및/혹은 방법들, 장치 (시스템들) 및 컴퓨터 프로그램 제품들을 참조하여 상기에서 설명되고 있다. 상기 플로우차트 도시들 및/혹은 블록 다이아그램들, 및 상기 플로우차트 도시들 및/혹은 블록 다이아그램들이 블록들의 결합들의 각 블록은 컴퓨터 프로그램 명령어들에 의해 구현될 수 있다는 것이 이해될 수 있을 것이다. 이런 컴퓨터 프로그램 명령어들은 특수 목적 컴퓨터, 혹은 머신(machine)을 생성하는 다른 프로그램 가능 데이터 프로세싱 장치로 제공될 수 있으며, 따라서 상기 컴퓨터 혹은 다른 프로그램 가능 데이터 프로세싱 장치의 프로세서를 통해 실행되는 상기 명령어들은 상기 플로우차트 및/혹은 블록 다아이그램 블록 혹은 블록들에서 명시되어 있는 기능들/동작들을 구현하는 수단을 생성한다. 이런 컴퓨터 프로그램 명령어들은 또한 컴퓨터, 다른 프로그램 가능 데이터 프로세싱 장치, 혹은 특정 방식으로 기능하는 다른 디바이스들을 지시할 수 있는 컴퓨터 리드 가능 매체에 저장될 수 있고, 따라서 상기 컴퓨터 리드 가능 매체에 저장되어 있는 명령어들은 상기 플로우차트 및/혹은 블록 다아이그램 블록 혹은 블록들에서 명시되어 있는 기능/동작을 구현하는 명령어들을 포함하는 제조 물품을 생성한다.
상기 컴퓨터 프로그램 명령어들은 또한 컴퓨터, 다른 프로그램 가능 데이터 프로세싱 장치, 또는 다른 디바이스들에 로딩되어 일련의 동작 단계들이 상기 컴퓨터, 다른 프로그램 가능 장치, 또는 다른 디바이스들에서 수행되어 컴퓨터 구현 프로세스를 생성하게 할 수 있으며, 따라서 상기 컴퓨터, 또는 다른 프로그램 가능 장치에서 실행되는 상기 명령어들은 상기 플로우차트 및/또는 블록 다이아그램 블록 혹은 블록들에서 명시된 기능들/동작들을 구현하기 위한 프로세스들을 제공한다.
도면들에서의 상기 플로우차트 및 블록 다이아그램들은 다양한 실시 예들에 따른 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 가능한 구현들의 아키텍처, 기능성 및 동작을 도시하고 있다. 이와 관련하여, 상기 플로우차트 혹은 블록 다이아그램들에서의 각 블록은 상기 명시된 논리 기능(들)을 구현하기 위한 하나 혹은 그 이상의 실행 가능한 명령어들을 포함하는 모듈, 세그먼트, 또는 명령어들의 일부를 나타낼 수 있다. 몇몇 대안적인 구현 예들에서, 상기 블록에서 기재된 기능들은 도면들에 기재된 순서를 벗어나서 발생할 수 있다. 일 예로, 연속으로 도시되어 있는 2개의 블록들은 사실상 실질적으로 동시에 실행될 수 있거나, 또는 상기 블록들은 상기 관련되는 기능에 따라 때때로 역순으로 실행될 수 있다. 또한, 상기 블록 다이아그램들 및/또는 플로우차트 도시의 각 블록 및 상기 블록 다이아그램들 및/또는 플로우차트 도시의 블록들의 결합들은 상기 명시된 기능들 혹은 동작들을 수행하거나 혹은 특수 목적 하드웨어 및 컴퓨터 명령어들의 결합들을 수행하는 특수 목적 하드웨어-기반 시스템들에 의해 구현될 수 있다는 것에 유의하여야만 할 것이다.
단수의 엘리먼트에 대한 청구항들에서의 참조들은 명확하게 그렇게 명시하지 않을 경우, "오직 하나(one and only)"를 의미하는 의도를 가지는 것은 아니며, 오히려 "하나 혹은 그 이상(one or more)"을 의미하는 의도를 가진다. 해당 기술 분야의 당업자들에 의해 현재 알려져 있는 혹은 이후에 알려지게 될, 상기에서 설명한 바람직한 실시 예의 엘리먼트들에 대한 모든 구조적 및 기능적 균등물들은 제시되는 청구항들에 의해 포함되도록 하는 의도를 가진다.
여기에서 사용되는 용어는 단지 특정한 실시 예들을 설명하기 위한 목적으로 존재하며, 본 발명을 한정하려는 의도를 가지지 않는다. 여기에서 사용되는 바와 같은, 단수의 형태들 "한(a)", "한(an)", 및 "상기(the)"는 문맥 상 명백하게 다르게 지시하지 않는 한, 복수의 형식들을 포함하는 의도를 가진다. 또한, 본 명세서에서 사용될 때 "포함한다(comprises)" 및/또는 "포함하는(comprising)"이라는 용어들은 언급된 특징들, 정수들, 단계들, 동작들, 엘리먼트들, 및/또는 컴포넌트들의 존재를 명시하지만, 하나 혹은 그 이상의 다른 특징들, 정수들, 동작들, 엘리먼트들, 컴포넌트들, 및/혹은 그들의 그룹들의 존재 혹은 추가를 배제하는 것은 아니라는 것이 이해될 것이다.
하기의 청구항들에 포함되어 있는 모든 means 혹은 step plus function 엘리먼트들의 상응하는 구조들, 재료들, 동작들, 및 균등물들은 구체적으로 청구되는 다른 청구되는 엘리먼트들과 결합하여 상기 기능을 수행하는 임의의 구조, 재료, 혹은 동작을 포함하는 의도를 가진다. 상기 실시 예들의 설명은 예시 및 설명의 목적들을 위해 제시되었지만, 개시되어 있는 형태의 실시 예들에 대해 철저하게 의도되는 것은 아니고 또한 그로 한정되는 것도 아니다. 많은 수정들 및 변경들이 본 발명의 범위 및 사상으로부터 벗어남이 없이 해당 기술분야의 당업자들에게 명백할 것이다.
상기 실시 예들이 그 특정 버전들을 참조하여 설명되었지만; 다른 버전들도 가능하다. 따라서, 첨부된 청구항들의 사상 및 범위는 여기에 포함되어 있는 바람직한 버전들의 설명으로 제한되어서는 안 된다.

Claims (14)

  1. 비디오 톤 매핑(video tone mapping)을 위한 방법에 있어서,
    입력 데이터 스트림(input data stream)으로부터 그래픽이 하이 다이나믹 레인지(high dynamic range: HDR) 장면에 대한 이미지 데이터 상에 오버레이되는지 여부를 지시하는 오버레이 지시(overlay indication)를 수신하는 과정;
    상기 HDR 장면에 대한 다이나믹 톤 매핑 메타데이터(tone fmapping metadata)를 수신하는 과정;
    상기 오버레이 지시를 기반으로, 그래픽이 상기 HDR 장면 상에 오버레이되지 않을 때 제1 톤 매핑 비디오를 생성하는 제1 톤 매핑 기능을 사용하여 비디오 스트림(video stream)을 프로세싱하는 과정, 여기서 상기 제1 톤 매핑 기능은 상기 HDR 장면에 대한 상기 수신된 다이나믹 톤 매핑 메타데이터를 이용하고; 및
    상기 오버레이 지시를 기반으로, 그래픽이 상기 HDR 장면 상에 오버레이될 때 제2 톤 매핑 비디오를 생성하는 제2 톤 매핑 기능을 사용하여 비디오 스트림을 프로세싱하는 과정을 포함하고, 여기서 상기 제2 톤 매핑 기능은 상기 HDR 장면에 대한 상기 수신된 다이나믹 톤 매핑 메타데이터, 및 상기 HDR 장면 상에 오버레이되는 그래픽을 포함하는 상기 입력 데이터 스트림의 값들에 대한 최대 휘도를 추정함으로써 획득되는 추정된 톤 매핑 메타데이터를 이용하고,
    상기 수신된 다이나믹 톤 매핑 메타데이터는 그래픽이 오버레이되지 않은 상기 HDR 장면의 최대 휘도를 포함하고,
    상기 수신된 다이나믹 톤 매핑 메타데이터를 이용하는 상기 제1 톤 매핑 기능이 상기 HDR 장면 상에 오버레이되는 그래픽에 적용되면, 상기 수신된 다이나믹 톤 매핑 메타데이터에 포함된 상기 HDR 장면의 최대 휘도보다 큰 값들을 갖는 그래픽 픽셀들에 대하여 클리핑(clipping)이 발생하는, 비디오 톤 매핑을 위한 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 오버레이 지시는 상기 그래픽이 이미지 데이터 상에서 오버레이되는지 여부를 명시하는 오버레이 플래그(overlay flag)를 포함함을 특징으로 하는 비디오 톤 매핑을 위한 방법.
  6. 제1항에 있어서,
    상기 오버레이되는 그래픽은 픽쳐-인-픽쳐 데이터 스트림(picture-in-picture data stream)에 대한 이미지 데이터에 상응함을 특징으로 하는 비디오 톤 매핑을 위한 방법.
  7. 삭제
  8. 장치에 있어서,
    명령어(instruction)들을 저장하는 메모리; 및
    적어도 하나의 프로세서를 포함하고, 상기 명령어들은 상기 적어도 하나의 프로세서에 의해 실행될 때 상기 장치로 하여금,
    입력 데이터 스트림(input data stream)으로부터 그래픽이 하이 다이나믹 레인지(high dynamic range: HDR) 장면에 대한 이미지 데이터 상에 오버레이되는지 여부를 지시하는 오버레이 지시(overlay indication)를 수신하고;
    상기 HDR 장면에 대한 다이나믹 톤 매핑 메타데이터(tone mapping metadata)를 수신하고;
    상기 오버레이 지시를 기반으로, 그래픽이 상기 HDR 장면 상에 오버레이되지 않을 때 제1 톤 매핑 비디오를 생성하는 제1 톤 매핑 기능을 사용하여 비디오 스트림(video stream)을 프로세싱하고, 여기서 상기 제1 톤 매핑 기능은 상기 HDR 장면에 대한 상기 수신된 다이나믹 톤 매핑 메타데이터를 이용하고;
    상기 오버레이 지시를 기반으로, 그래픽이 상기 HDR 장면 상에 오버레이될 때 제2 톤 매핑 비디오를 생성하는 제2 톤 매핑 기능을 사용하여 비디오 스트림을 프로세싱하도록 하고, 여기서 상기 제2 톤 매핑 기능은 상기 HDR 장면에 대한 상기 수신된 다이나믹 톤 매핑 메타데이터, 및 상기 HDR 장면 상에 오버레이되는 그래픽을 포함하는 상기 입력 데이터 스트림의 값들에 대한 최대 휘도를 추정함으로써 획득되는 추정된 톤 매핑 메타데이터를 이용하고,
    상기 수신된 다이나믹 톤 매핑 메타데이터는 그래픽이 오버레이되지 않은 상기 HDR 장면의 최대 휘도를 포함하고,
    상기 수신된 다이나믹 톤 매핑 메타데이터를 이용하는 상기 제1 톤 매핑 기능이 상기 HDR 장면 상에 오버레이되는 그래픽에 적용되면, 상기 수신된 다이나믹 톤 매핑 메타데이터에 포함된 상기 HDR 장면의 최대 휘도보다 큰 값들을 갖는 그래픽 픽셀들에 대하여 클리핑(clipping)이 발생하는, 장치.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제8항에 있어서,
    상기 오버레이 지시는 상기 그래픽이 이미지 데이터 상에서 오버레이되는지 여부를 명시하는 오버레이 플래그(overlay flag)를 포함함을 특징으로 하는 장치.
  13. 제8항에 있어서,
    상기 오버레이되는 그래픽은 픽쳐-인-픽쳐 데이터 스트림(picture-in-picture data stream)에 대한 이미지 데이터에 상응함을 특징으로 하는 장치.
  14. 삭제
KR1020207000018A 2017-08-01 2018-08-01 오버레이 지시를 사용하는 적응적 하이 다이나믹 레인지 톤 매핑 KR102567633B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762540012P 2017-08-01 2017-08-01
US62/540,012 2017-08-01
US16/005,474 US10504263B2 (en) 2017-08-01 2018-06-11 Adaptive high dynamic range (HDR) tone mapping with overlay indication
US16/005,474 2018-06-11
PCT/KR2018/008749 WO2019027252A1 (en) 2017-08-01 2018-08-01 ADAPTIVE MAPPING OF DYNAMIC RANGE OF TONES WITH OVERLAY INDICATION

Publications (2)

Publication Number Publication Date
KR20200027491A KR20200027491A (ko) 2020-03-12
KR102567633B1 true KR102567633B1 (ko) 2023-08-17

Family

ID=65231653

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207000018A KR102567633B1 (ko) 2017-08-01 2018-08-01 오버레이 지시를 사용하는 적응적 하이 다이나믹 레인지 톤 매핑

Country Status (6)

Country Link
US (1) US10504263B2 (ko)
EP (1) EP3662441A4 (ko)
JP (1) JP7262877B2 (ko)
KR (1) KR102567633B1 (ko)
CN (1) CN111033557A (ko)
WO (1) WO2019027252A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109691119B (zh) 2017-06-21 2022-04-19 松下知识产权经营株式会社 影像显示系统及影像显示方法
EP3651471A1 (en) 2017-07-07 2020-05-13 Panasonic Intellectual Property Management Co., Ltd. Image processing system and image processing method
EP3654657B1 (en) 2017-07-14 2021-11-24 Panasonic Intellectual Property Management Co., Ltd. Video display device and video display method
WO2019069483A1 (ja) 2017-10-06 2019-04-11 パナソニックＩｐマネジメント株式会社 映像表示装置及び映像表示方法
JP7256663B2 (ja) * 2019-03-26 2023-04-12 キヤノン株式会社 画像出力装置およびその制御方法
KR102641738B1 (ko) 2019-09-30 2024-02-29 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
CN113630563B (zh) * 2020-05-08 2022-07-22 华为技术有限公司 一种高动态范围hdr视频的处理方法、编码设备和解码设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140210847A1 (en) 2011-09-27 2014-07-31 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
WO2014130213A1 (en) 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
WO2016074999A1 (en) * 2014-11-10 2016-05-19 Koninklijke Philips N.V. Method for encoding, video processor, method for decoding, video decoder
US9478054B1 (en) 2013-11-09 2016-10-25 Google Inc. Image overlay compositing

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020026642A1 (en) * 1999-12-15 2002-02-28 Augenbraun Joseph E. System and method for broadcasting web pages and other information
US20050243176A1 (en) * 2004-04-30 2005-11-03 James Wu Method of HDR image processing and manipulation
WO2008064349A1 (en) 2006-11-22 2008-05-29 Nik Software, Inc. Method for dynamic range editing
US20090096937A1 (en) * 2007-08-16 2009-04-16 Bauer Frederick T Vehicle Rearview Assembly Including a Display for Displaying Video Captured by a Camera and User Instructions
US8073234B2 (en) * 2007-08-27 2011-12-06 Acushnet Company Method and apparatus for inspecting objects using multiple images having varying optical properties
CN104486605B (zh) * 2009-03-10 2017-04-12 杜比实验室特许公司 扩展动态范围和扩展维数图像信号转换
JP5317825B2 (ja) 2009-05-18 2013-10-16 キヤノン株式会社 画像処理装置及び画像処理方法
US9087382B2 (en) 2009-06-29 2015-07-21 Thomson Licensing Zone-based tone mapping
US8606009B2 (en) 2010-02-04 2013-12-10 Microsoft Corporation High dynamic range image generation and rendering
CN103621084A (zh) * 2011-04-28 2014-03-05 皇家飞利浦有限公司 用于生成图像编码信号的方法和装置
EP3168809B1 (en) * 2012-08-08 2023-08-30 Dolby Laboratories Licensing Corporation Image processing for hdr images
US20140118541A1 (en) * 2012-10-26 2014-05-01 Sensormatic Electronics, LLC Transcoding mixing and distribution system and method for a video security system
US10104331B2 (en) * 2012-12-31 2018-10-16 Karl Storz Imaging, Inc. Camera control unit with stereoscopic video recording and archive
US10055866B2 (en) * 2013-02-21 2018-08-21 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
US9076270B2 (en) * 2013-05-14 2015-07-07 Google Inc. Generating compositions
US9503320B2 (en) * 2013-07-30 2016-11-22 Hewlett-Packard Development Company, L.P. Operation image manager
US9842418B1 (en) * 2013-09-07 2017-12-12 Google Inc. Generating compositions
US9852499B2 (en) 2013-12-13 2017-12-26 Konica Minolta Laboratory U.S.A., Inc. Automatic selection of optimum algorithms for high dynamic range image processing based on scene classification
US9584786B2 (en) * 2014-03-05 2017-02-28 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
US9230338B2 (en) * 2014-03-05 2016-01-05 Dolby Laboratories Licensing Corporation Graphics blending for high dynamic range video
US9460499B2 (en) 2014-05-30 2016-10-04 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Systems and methods for selective enhancement of a region of interest in an image
JP6733547B2 (ja) 2014-09-11 2020-08-05 ソニー株式会社 画像処理装置及び画像処理方法
JP6663214B2 (ja) * 2015-05-26 2020-03-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示方法および表示装置
US11245939B2 (en) * 2015-06-26 2022-02-08 Samsung Electronics Co., Ltd. Generating and transmitting metadata for virtual reality
US9571759B1 (en) 2015-09-30 2017-02-14 Gopro, Inc. Separate range tone mapping for component images in a combined image
WO2017089146A1 (en) * 2015-11-24 2017-06-01 Koninklijke Philips N.V. Handling multiple hdr image sources
US10104334B2 (en) * 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140210847A1 (en) 2011-09-27 2014-07-31 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
WO2014130213A1 (en) 2013-02-21 2014-08-28 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
US9478054B1 (en) 2013-11-09 2016-10-25 Google Inc. Image overlay compositing
WO2016074999A1 (en) * 2014-11-10 2016-05-19 Koninklijke Philips N.V. Method for encoding, video processor, method for decoding, video decoder

Also Published As

Publication number Publication date
US10504263B2 (en) 2019-12-10
US20190043233A1 (en) 2019-02-07
CN111033557A (zh) 2020-04-17
JP2020529672A (ja) 2020-10-08
EP3662441A4 (en) 2020-07-01
JP7262877B2 (ja) 2023-04-24
EP3662441A1 (en) 2020-06-10
KR20200027491A (ko) 2020-03-12
WO2019027252A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
KR102567633B1 (ko) 오버레이 지시를 사용하는 적응적 하이 다이나믹 레인지 톤 매핑
JP7065376B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP6573237B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
US11082710B2 (en) Embedding video watermarks without visible impairments
US11132758B2 (en) Embedding data in video without visible impairments
US8139081B1 (en) Method for conversion between YUV 4:4:4 and YUV 4:2:0
US9349188B2 (en) Creating details in an image with adaptive frequency strength controlled transform
CN108141576B (zh) 显示装置及其控制方法
KR102197579B1 (ko) 주파수 리프팅으로 이미지에서 디테일 생성
US9066025B2 (en) Control of frequency lifting super-resolution with image features
US11895309B2 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
KR102489265B1 (ko) 비디오 신호를 처리하는 멀티미디어 디바이스 및 그 제어 방법
US9319656B2 (en) Apparatus and method for processing 3D video data
US20200092441A1 (en) Perceptual hue preserved color-gamut transferring in non-uniform cie-1931 color space
US11930207B2 (en) Display device, signal processing device, and signal processing method
CN118540447A (zh) 一种色调映射方法及装置
Olaizola et al. Live HDR video broadcast production

Legal Events

Date Code Title Description
AMND Amendment
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)