KR20180103715A - 시각 효과들을 갖는 이미지의 역 톤 매핑을 위한 방법 - Google Patents

시각 효과들을 갖는 이미지의 역 톤 매핑을 위한 방법 Download PDF

Info

Publication number
KR20180103715A
KR20180103715A KR1020180026312A KR20180026312A KR20180103715A KR 20180103715 A KR20180103715 A KR 20180103715A KR 1020180026312 A KR1020180026312 A KR 1020180026312A KR 20180026312 A KR20180026312 A KR 20180026312A KR 20180103715 A KR20180103715 A KR 20180103715A
Authority
KR
South Korea
Prior art keywords
image
ldr
hdr
vfx
computer generated
Prior art date
Application number
KR1020180026312A
Other languages
English (en)
Other versions
KR102472088B1 (ko
Inventor
엠마뉘엘 졸리
쥐르겐 스토데
아싼느 게르무드
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20180103715A publication Critical patent/KR20180103715A/ko
Application granted granted Critical
Publication of KR102472088B1 publication Critical patent/KR102472088B1/ko

Links

Images

Classifications

    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/25—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

컴퓨터 발생된 이미지 성분들을 갖는 LDR 이미지의 역 톤 매핑을 위한 방법 및 장치가 개시되어 있는데, 이러한 성분들은 시각 효과들로 또한 지칭된다. 개시된 방법은 제1 LDR 이미지에 액세스하는 단계 - 제1 LDR 이미지는 LDR 참조 이미지 또는 배경 플레이트로 합성되며 렌더링되는 적어도 하나의 컴퓨터 발생된 이미지 성분으로부터 획득됨 -; 제1 LDR 이미지의 부분, 및 제1 패스의 역 톤 매핑을 상기 제1 LDR 이미지에 적용함으로써 획득된 제1 중간 HDR 이미지의 각각의 부분으로부터 추출되는 정보에 응답하여, HDR 조명 표시를 결정하는 단계; 제2 패스의 역 톤 매핑을 LDR 참조 이미지에 적용함으로써 제2 중간 HDR 이미지를 획득하는 단계; 및 HDR 조명 표시를 이용하여 렌더링되며 제2 중간 HDR 이미지로 합성되는 컴퓨터 발생된 이미지 성분들로부터 제1 HDR 이미지를 획득하는 단계를 포함한다.

Description

시각 효과들을 갖는 이미지의 역 톤 매핑을 위한 방법{METHOD FOR INVERSE TONE MAPPING OF AN IMAGE WITH VISUAL EFFECTS}
본 발명은 높은 동적 범위의 이미징 분야에 관한 것으로, 특히 시각 효과들을 포함하는 낮은 동적 범위의 콘텐츠의 역 톤 매핑(inverse tone mapping)의 문제를 해결한다.
이 란은 이하에 설명되고/되거나 이하에 청구되는 본 발명의 다양한 양태들과 연관될 수 있는 관련 기술의 다양한 양태들을 독자에게 소개하기 위해 의도된 것이다. 본 논의는 독자에게 본 발명의 다양한 양태들의 보다 나은 이해를 용이하게 하는 배경 정보를 제공하는데 도움이 될 것으로 믿어진다. 따라서, 이러한 진술들이 종래 기술의 인정이 아니라 이런 관점에서 읽혀져야 한다는 점을 이해해야 한다.
디스플레이 기술에서의 최근 발전들로 인해 확장된 범위의 색상, 휘도 및 대비가 표시되기 시작하고 있다. 이미지 콘텐츠의 휘도 또는 명도 범위에서의 확장들을 가능하게 하는 기술들은 흔히 HDR로 축약되는 높은 동적 범위(high dynamic range)의 이미징으로 알려져 있다. HDR 이미지들은 (이하, 낮은 동적 범위(low dynamic range)에 대해 LDR로 지칭되는) 기존의 이미지들보다 더 높은 백색 레벨, 더 높은 대비 또는 더 높은 비트 심도 중 적어도 하나를 갖는다. 오늘날, HDR 이미지들, 예를 들어 HDTV 방송 콘텐츠, 또는 고전 영화 영사를 위해 색상 보정된 장편 영화들로 확장될 필요가 있는 많은 양의 레거시 LDR 콘텐츠가 이용가능하다.
HDR 디스플레이 디바이스들에 대한 LDR 콘텐츠를 준비하기 위해, 리버스(reverse) 또는 역 톤 매핑 연산자들(inverse tone mapping operators)(iTMO)이 이용된다. 이러한 알고리즘들은 원래 장면의 외양을 복구하거나 재생성하는 것을 목표로 이미지 콘텐츠에서의 휘도 레벨, 대비, 색조 및 채도를 처리한다. 전형적으로, iTMO들은 기존의(즉, LDR) 이미지를 입력으로 받아들이고, 이 이미지의 색상들의 휘도 범위를 전역적 방식으로 확장하고, 후속하여 어둡거나 밝은 영역들을 로컬적으로 처리하여 이미지에서 색상들의 HDR 외양을 향상시킨다. 일반적으로, 생성된 HDR 이미지들은 신뢰할 수 있지만 HDR 이미지를 재생성할 때 LDR 이미지들에 존재하는 잡음, 클리핑 및 양자화가 증폭될 수 있다. 이는 시각 효과들을 포함하는 이미지들에서 특히 문제가 된다.
오늘날 영화 제작과 게임에서, 시각 효과들(이하, VFX로 지칭됨)은 실사 장면(이하, 자연적 이미지들로 지칭됨) 동안 이미지들을 캡처하는 작업흐름과는 별도로 컴퓨터 발생 이미지(computer generated imagery)가 생성 및/또는 조작되는 처리들을 커버한다. 비제한적인 예들로서, VFX는 생기 있는 오브젝트들 및 캐릭터들, 빛 효과들, 불, 연기 및 안개 등의 투명한 오브젝트들과 같은 인공적으로 생성된 시각적 요소들을 포함하며, 이러한 시각적 요소들은 자연적 이미지들에 더해져서 최종적으로 의도한 이미지(이하, VFX를 포함하는 이미지로 지칭됨)를 생성한다. 일부 VFX는 예를 들어 정반사들 및 그림자 붙이기(cast shadows)와 같은 빛 효과들과 관련이 있으며 특히 이미지들에서 어둡거나 밝은 부분들을 유발한다. VFX는 장면에서의 빛의 방출, 반사, 투과 및 흡수의 물리적 모델들로부터 흔히 생성된다. 이러한 물리적 빛 모델들은 소위 VFX 자산들의 일부이다. VFX 자산들은 VFX 생성에 필요한 모든 빛, 형상, 질감 및 동작 관련 정보를 포함한다. 물리적 빛 모델들은 높은 수치의 정밀도를 이용한다. 이미지들은 이러한 모델들로부터 렌더링된다. 이것은 고정밀도의 효과들이 예를 들어 색상 채널 및 픽셀 당 10 또는 12 비트로 양자화되는 것으로 인해 통상적으로 제한된 정밀도의 이미지들로 베이킹되는 단계이다. 게임과 관련된 다른 예에 따르면, 이미지들 및 인조(synthetic) 오브젝트들은 MPEG-4 Part 11에 따른 시청각 스트림에서 MPEG-4 장면용 이진 포맷(Binary Format for Scene: BIFS)을 이용하여 소비자 디바이스에 전송된다. 그 다음, 소비자 디바이스는 인조 오브젝트들을 렌더링하고 이들을 이미지들에 삽입한다. 이러한 유형의 인공 이미지들은 이미지 신호의 양자화까지 고정밀도의 하이라이트들, 채도가 높은 색상들 및 그 밖의 빛 효과들을 보여준다. VFX와 관련된 LDR 이미지들의 일부분들이 중요한 하이라이트들, 어두운 그림자들, 채도가 높은 색상들 및 일반적으로 높은 시각 품질의 빛 효과들을 나타내므로, VFX를 포함하는 LDR 이미지들로부터 역 톤 매핑 방법들에 의해 생성된 HDR 이미지들에서의 VFX의 조악한 품질이 특히 문제이다. 특히, 이러한 HDR 이미지들의 일부분들이 클리핑, 휘도 압축, 세부사항들 결여, 채도 수정, 잡음 증폭 및 밴딩을 겪는다는 것을 예상할 수 있다.
이미지의 일부분들에 따라 상이한 iTMO 또는 반복적인 iTMO 처리와 같은 몇몇 iTMO 해결책들이 존재하지만, 이러한 방법들 중 어떠한 방법도 특히 VFX를 갖고 생성된 이미지들의 특이성을 해결하지 못한다.
전술한 관점에서, VFX를 갖는 HDR 이미지들의 시각 품질을 향상시키는 것을 목표로 하는 신규한 iTMO가 필요하다. 본 원리들의 핵심적인 아이디어는 제1 패스의 역 톤 매핑을 이용하여 LDR 이미지로부터 HDR 이미지를 생성하고, 제1 패스의 iTMO에 의해 획득된 HDR 이미지로부터의 정보를 이용하여 VFX를 갖지 않는 HDR 이미지에 이용하기 위해 VFX를 재생성하는 것이다.
본 개시 내용의 제1 양태에 따르면, 적어도 하나의 컴퓨터 발생 이미지 성분(또는 적어도 하나의 시각 효과 또는 적어도 하나의 인조 성분)을 갖는 낮은 동적 범위의 이미지(제1 LDR 이미지(LDR w VFX)로 지칭됨)를 적어도 하나의 컴퓨터 발생 이미지 성분(또는 시각 효과)을 갖는 높은 동적 범위의 이미지(제1 HDR 이미지(HDR w VFX)로 지칭됨)에 역 톤 매핑하기 위한 방법이 개시된다. 이 방법은, 제1 LDR 이미지에 액세스하는 단계 - 제1 LDR 이미지는 LDR 참조 이미지(LDR w/o VFX)에 렌더링되고 합성된 적어도 하나의 컴퓨터 발생 이미지 성분(VFX 자산)에 의해 획득됨 -, 제1 LDR 이미지의 일부분 및 제1 중간 HDR 이미지의 각각의 부분으로부터 추출되는 정보에 응답하여 HDR 조명 표시를 결정하는 단계 - 제1 중간 HDR 이미지의 각각의 부분은 제1 LDR 이미지에 또는 변형예에서 제1 LDR 이미지의 서브부분에 역 톤 매핑을 적용하여 획득됨 -, LDR 참조 이미지에 역 톤 매핑을 적용하여 제2 중간 HDR 이미지를 획득하는 단계, 제2 중간 HDR 이미지에 HDR 조명 표시를 이용하여 렌더링되고, 합성된 적어도 하나의 컴퓨터 발생 이미지 성분(VFX 자산)으로부터 제1 HDR 이미지를 획득하는 단계를 포함한다. 따라서, VFX가 더 높은 백색 레벨, 더 높은 대비 또는 더 높은 비트 심도 중 적어도 하나를 갖는 HDR 이미지들 내에서 생성되기 때문에, VFX에 관련된 LDR 이미지들의 일부분에서의 클리핑, 휘도 압축, 세부사항들 결여, 채도 수정, 잡음 증폭 및 밴딩을 방지한다. 유리하게는, VFX에 관련된 HDR 이미지들 내의 일부분들에서의 이미지 품질은 정보가 이들 일부분들에 대한 VFX 자산들로부터 완전히 인출(retrieve)되기 때문에 크게 향상된다. 따라서, LDR 참조 이미지는 시각 효과들이 삽입되는 자연적 이미지들에 대응하고, 시각 효과들은 참조 이미지들을 캡처하는 작업흐름과는 별도로 생성되는 컴퓨터 발생 이미지 성분들이다. 따라서, 제1 HDR 이미지(HDR w VFX)를 획득하는데 이용되는 HDR 조명 정보는 톤 매핑된 제1 LDR 이미지(LDR w VFX)의 샘플들, 및 참조 이미지(즉, 합성에 이용되는 자연적 이미지)에 역 톤 매핑을 적용하여 계산된 제1 중간 HDR 이미지의 대응하는 샘플들로부터 생성된다.
특정한 실시예에 따르면, 이 방법은 적어도 하나의 투명한 오브젝트에 관련된 적어도 하나의 컴퓨터 발생 이미지 성분의 서브세트를 선택하는 단계를 더 포함하며, 적어도 하나의 컴퓨터 발생 이미지 성분의 선택된 서브세트는 LDR 참조 이미지에 포함되고, 선택된 서브세트에 없는 컴퓨터 발생 이미지 성분들은 HDR 조명 표시를 이용하여 렌더링된다. 따라서, 역 톤 매핑에서 문제를 야기하는 시각 효과들 또는 컴퓨터 발생 이미지 성분들 중 일부분들만이 2 패스 iTMO 방법으로 처리된다. 따라서, 이 변형예에서, 참조 LDR 이미지는 컴퓨터 발생 이미지 성분들의 일부를 포함하도록 추가로 처리된 자연적 이미지에 대응한다.
다른 특정한 실시예에 따르면, HDR 조명 표시를 결정하는 단계는 제1 LDR 이미지의 일부분과 제1 중간 HDR 이미지의 각각의 부분 간의 차이로부터 인자를 결정하는 단계를 더 포함하며, 인자는 적어도 하나의 컴퓨터 발생 이미지 성분(VFX 자산)의 광원들의 진폭들에 적용된다.
다른 특정한 실시예에 따르면, HDR 조명 표시를 결정하는 단계는 제1 LDR 이미지의 일부분과 제1 중간 HDR 이미지의 각각의 부분 간의 차이로부터 휘도 의존 인자를 결정하는 단계를 더 포함하며, 휘도 의존 인자는 LDR 이미지에 렌더링된 적어도 하나의 컴퓨터 발생 이미지 성분의 휘도에 대해 적어도 하나의 컴퓨터 발생 이미지 성분(VFX 자산)의 광원들의 진폭들에 적용된다.
다른 특정한 실시예에 따르면, HDR 조명 표시는 적어도 하나의 컴퓨터 발생 이미지 성분에 또한 응답한다. 유리하게는, 이 방법은 HDR 조명 표시를 변화시켜 최종 HDR w VFX 이미지를 제1 중간 HDR 이미지에 비교함으로써 최종 HDR w VFX 이미지의 차이를 최소화하기 위해 반복적으로 적용된다.
다른 특정한 실시예에 따르면, LDR 참조 이미지는 MPEG-4 비디오 코딩 표준을 이용하여 인코딩되며, 장면 오브젝트 또는 광원 중 적어도 하나는 MPEG-4 장면용 이진 포맷(BIFS)을 이용하여 인코딩된다. 유리하게는, 이 실시예는 LDR 이미지들의 자동 iTMO 처리를 유리하게 가능하게 하며, 이에 따라 소비자 디바이스들에 통합하거나 콘텐츠 제작 비용을 낮추는 것이 가능하다.
본 개시 내용의 제2 양태에 따르면, 적어도 하나의 컴퓨터 발생 이미지 성분을 갖는 낮은 동적 범위의 이미지(제1 LDR 이미지(LDR w VFX)로 지칭됨)를 적어도 하나의 컴퓨터 발생 이미지 성분을 갖는 높은 동적 범위의 이미지(제1 HDR 이미지(HDR w VFX)로 지칭됨)에 역 톤 매핑하기 위한 디바이스가 개시된다. 이 디바이스는, 제1 LDR 이미지에 액세스하기 위한 수단 - 제1 LDR 이미지는 LDR 참조 이미지(LDR w/o VFX)에 렌더링되고 합성된 적어도 하나의 컴퓨터 발생 이미지 성분(VFX 자산)으로부터 획득됨 -, 제1 LDR 이미지의 일부분, 및 제1 LDR 이미지에 역 톤 매핑을 적용하여 획득된 제1 중간 HDR 이미지의 각각의 부분으로부터 추출되는 정보에 응답하여 HDR 조명 표시를 결정하기 위한 수단, LDR 참조 이미지에 역 톤 매핑을 적용하여 제2 중간 HDR 이미지를 획득하기 위한 수단, 제2 중간 HDR 이미지에 HDR 조명 표시를 이용하여 렌더링되고, 합성된 컴퓨터 발생 이미지 성분들(VFX 자산)로부터 제1 HDR 이미지를 획득하기 위한 수단을 포함한다.
특정한 실시예에 따르면, 이 디바이스는 그 실시예들 중 임의의 실시예에서의 개시된 방법을 구현하는 프로세서를 포함한다.
특정한 실시예에 따르면, 이 디바이스는, 모바일 디바이스, 통신 디바이스, 게임 디바이스, 셋톱 박스, TV 세트, 블루레이 디스크 플레이어, 플레이어, 태블릿(또는 태블릿 컴퓨터), 랩톱, 디스플레이, 카메라 및 디코딩 칩을 포함하는 세트에 속한다.
본 개시 내용의 제3 양태에 따르면, 본 개시 내용의 제1 양태에 따른 방법의 단계들을 구현하기 위해 프로세서에 의해 실행가능한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램이 제공된다.
본 개시 내용의 제4 양태에 따르면, 비일시적 컴퓨터 판독가능 매체 상에 저장되고 본 개시 내용의 제1 양태에 따른 방법의 단계들을 구현하기 위해 프로세서에 의해 실행가능한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품이 제공된다.
제5 양태에 따르면, 프로세서로 하여금 적어도 개시된 방법들 중 임의의 방법의 단계들을 수행하게 하는 명령어들을 저장하는 프로세서 판독가능 매체가 개시된다.
제6 양태에 따르면, 컴퓨터에 의해 판독가능하고 개시된 방법들 중 임의의 방법을 수행하기 위해 컴퓨터에 의해 실행가능한 명령어들의 프로그램을 유형적으로 구현하는 비일시적 프로그램 저장 디바이스가 개시된다.
명확히 설명되지는 않았지만, 본 실시예들은 임의의 조합 또는 하위 조합으로 이용될 수 있다. 예를 들어, 본 발명은 설명된 색상 변환에 국한되지 않으며, 임의의 조정가능한 파라메트릭 함수가 보간 목적에 이용될 수 있다.
게다가, 본 방법들에 대해 설명된 임의의 특성 또는 실시예는 개시된 방법을 처리하도록 의도된 디바이스, 및 프로그램 명령어들을 저장하는 컴퓨터 판독가능 저장 매체와 호환가능하다.
본 개시 내용의 전술한 및 다른 목적들, 특징들 및 이점들은 도면들을 참조하여 본 개시 내용의 실시예들에 대한 아래의 설명들로부터 명백해질 것이다.
도 1은 본 개시 내용의 제1 실시예에 따라 VFX를 갖는 LDR 이미지의 역 톤 매핑을 위한 방법을 도시하는 흐름도이다.
도 2는 본 개시 내용의 제2 실시예에 따라 VFX를 갖는 LDR 이미지의 역 톤 매핑을 위한 방법을 도시하는 흐름도이다.
도 3은 본 개시 내용에 따라 VFX를 갖는 LDR 이미지의 역 톤 매핑을 위한 장치의 구조를 도시하는 개략도이다.
이하의 논의에서, 본 기법들의 특정한 실시예들의 특정 세부사항들이 제한이 아닌 설명의 목적들로 개시된다. 이들 특정 세부사항들과는 별개로 다른 실시예들이 이용될 수 있다는 것이 관련 기술분야의 통상의 기술자에 의해 이해될 것이다. 또한, 일부 예들에서는, 불필요한 세부사항에 의해 설명을 불명료하게 하지 않도록, 잘 알려진 방법들, 인터페이스들, 회로들 및 디바이스들에 대한 상세한 설명들이 생략되었다.
관련 기술분야의 통상의 기술자는 설명된 기능들 중 일부 또는 전부가 특수 기능, ASIC들, PLA들 등을 수행하도록 상호연결된 아날로그 및/또는 이산 논리 게이트들과 같은 하드웨어 회로를 이용하여 구현될 수 있다는 것을 이해할 것이다. 유사하게, 이들 기능들 중 일부 또는 전부는 하나 이상의 디지털 마이크로프로세서 또는 범용 컴퓨터와 함께 소프트웨어 프로그램들 및 데이터를 이용하여 구현될 수 있다.
이제, 본 개시 내용의 제1 실시예에 따라 VFX를 갖는 LDR 이미지의 역 톤 매핑을 위한 방법(100)을 도시하는 도 1을 참조할 것이다. 제1 실시예에 따르면, LDR w VFX로 지칭되는, VFX를 갖는 LDR 이미지는 예비 단계(S100)에서 LDR w/o VFX로 지칭되는, VFX를 갖지 않는 주어진 LDR 이미지 또는 LDR 참조 이미지 또는 LDR 배경 플레이트, 및 주어진 VFX 자산들을 이용하여 렌더링된 LDR 이미지를 합성(composite)함으로써 생성된다. 즉, 렌더링은 VFX 자산으로부터 LDR 인공 이미지를 생성한다. 그 다음, LDR 인공 이미지 및 LDR 참조 이미지는 합성에 의해 병합된다. LDR 렌더링/합성 단계(S100)는 제1 실시예에서의 방법의 범위 밖이다. 이 제1 실시예에서는 LDR VFX 이미지만이 필요하다. 그러나, 관련 기술분야의 통상의 기술자는 방법의 입력 정보에 따라, LDR 렌더링/합성 단계(S100)가 제2 실시예를 참조하여 이하에서 설명되는 방법의 일부일 수 있음을 이해한다. 비제한적인 예들에 따르면, VFX 자산은 인조 캐릭터들, 인조 자동차들, 인조 불 또는 인조 괴물들 등과 같은 2D 또는 3D 오브젝트들의 형상, 질감, 표면 반사 및 동작 또는 위치를 포함한다. 다른 비제한적인 예들에 따르면, VFX 자산은 가로등들, 불빛 또는 달빛과 같은 광원들의 강도, 색상, 크기 및 동작 또는 위치를 포함한다. 본 발명자들은 "3D Computer Graphics"(267-311 페이지)란 제목으로 Addison-Wesley가 발간한 Alan Watt의 책에 개시된 바와 같은 3D 영사 및 광선 추적에 기반한 잘 알려진 렌더링 기법들을 이용한다. 먼저, 광선 추적은 모든 3D 오브젝트들의 모든 표면들로부터 오는 빛의 양을 결정하고, 그 다음 이러한 오브젝트들은 이미지를 형성하기 위해 2D 평면에 영사된다. 이 예비 단계(S100)에서, 렌더링된 이미지는 LDR 이미지이며, 이에 따라, 렌더링된 이미지의 백색 레벨, 대비 또는 비트 심도는 LDR 조명 표시를 이용하여 낮은 동적 범위의 색상 좌표들에 적응된다. LDR 조명 표시는 LDR 이미지용의 정반사들 및 그림자 붙이기와 같은 VFX 자산의 빛 효과들을 제어한다. 그 다음, 합성은 렌더링에 의해 생성된 이미지를 이미 존재하는 이미지에 통합한다. 합성은 Alan Watt의 책(150-151 페이지)에 설명된 바와 같은 Z-버퍼링 방법들 및 투명성 방법들 또는 Tamara Berg가 "Computational Photography and Compositing and Blending" 강의에서 설명한 바와 같은 혼합 방법들 중 알려진 방법들을 이용한다. 이 예비 LDR 렌더링 및 합성 단계(S100)는 이에 따라 VFX를 갖는 LDR 이미지를 출력한다.
그 다음, 제1 단계(S110)에서, VFX를 갖는 LDR 이미지가 액세스된다. 전술한 바와 같이, VFX를 갖는 LDR 이미지는 LDR 조명 표시를 이용하여 렌더링된 적어도 하나의 시각 효과를 LDR 참조 이미지에 합성함으로써 획득된다. 예를 들어, VFX를 갖는 LDR 이미지는 디바이스(3)의 메모리로부터 인출된다.
제2 단계(S120)에서, 제1 중간 HDR 이미지, 즉 제1 HDR w VFX 이미지는 역 톤 매핑 연산자를 LDR w VFX 이미지에 적용함으로써 획득된다. iTMO로 지칭되는 역 톤 매핑 연산자는 낮은 백색 레벨, 낮은 대비 및 작은 비트 심도 중 적어도 하나를 갖는 LDR 이미지를, 높은 백색 레벨, 높은 대비 및 높은 비트 심도 중 적어도 하나를 갖는 HDR 이미지로 변환할 수 있다. 임의의 역 톤 매핑 기법은 본 원리들과 호환가능하다. 비제한적인 예에 따르면, 동일한 출원인의 EP3087730 A1에 설명된 기법이 이용된다. 이 기법은 특히 높은 피크 휘도를 갖는 디스플레이 디바이스들을 위한 콘텐츠를 준비하기 위해 낮은 동적 범위의 콘텐츠의 동적 범위를 확장하는 것에 대해 개시하고 있다. 이것은 이러한 색상들의 휘도 및 특히 이 휘도의 대비 범위를 변경하여 LDR 이미지의 색상들을 선택적 및 동적으로 리매핑(remapping)함으로써 수행된다. EP3087730 A1에 따르면, 픽셀 휘도-향상 값 Yenhance(p)는, 이미지의 각각의 픽셀(p)에 대해, 픽셀의 공간 이웃에서 픽셀들의 색상들의 휘도 값들의 고주파수들을 추출하고, 이미지의 각각의 픽셀(p)의 휘도 Y(p)를, 픽셀의 휘도 Y(p)를 이 픽셀에 대해 획득된 픽셀 확장 지수 값 E'(p) 거듭제곱한 값과, 픽셀에 대해 획득된 픽셀 휘도-향상 값을 1 이상인 지수 파라미터 c 거듭제곱한 값의 곱을 통하여 획득된 확장된 휘도 Yexp(p)에 역 톤 매핑함으로써 획득된다.
이는 Yexp(p) = Y(p)E'(p) × [Yenhance(p)]c를 의미한다.
지수 파라미터 c는 픽셀 휘도-향상 값에 의해 초래된 세부사항 향상의 양을 제어한다. 따라서, c의 값들이 클수록 이미지 에지들의 대비를 점차 증가시킨다. c=1.5의 값이 바람직하게 이용된다. 따라서, 이 제1 패스의 iTMO 단계(S120)에서는 본 원리들이 향상시키는 것에 초점을 맞춘 VFX를 갖는 제1 HDR 이미지를 출력한다.
제3 단계(S130)에서, HDR 조명 표시는 VFX를 갖는 LDR 이미지의 일부분 및 VFX를 갖는 제1 중간 HDR 이미지의 각각의 부분에 응답하여 추출된 정보로부터 결정된다. 유리하게는, HDR 조명 표시는 HDR 조명 표시에 의해 제어되는 VFX의 렌더링(S150)에 의해 생성된 HDR 이미지가 제2 iTMO 단계(S140)에서 생성된, VFX를 갖지 않는 제2 HDR 중간 이미지에 잘 들어맞게 하는 것이다. LDR 조명 표시에 대해 설명한 바와 같이, HDR 조명 표시는 비제한적인 예들로서 HDR 이미지용의 정반사들 및 그림자 붙이기와 같은 VFX 자산의 빛 효과들을 제어한다. 그 다음, 합성 단계(S160)는 자연스럽게 보이는 최종 HDR 이미지를 전달할 것이다. 관련 기술분야의 통상의 기술자는 HDR에 대한 VFX의 이러한 렌더링이 후술하는 바와 같이 iTMO 알고리즘에 의해 하이라이트들 및 그림자 붙이기와 같은 강한 빛 효과들의 LDR 색상 좌표들로의 표현에 기인하는 휘도 압축, 세부사항 결여, 채도 수정 및 특히 클리핑 및 잡음 증폭을 피한다는 점을 이해할 것이다. 사실, iTMO는 VFX에 대응하는 이미지 색상들의 생성에 직접 관여되지 않는다.
HDR 조명 표시의 결정은 일련의 입력 정보를 이용한다. 제1 입력 정보는 VFX를 갖는 LDR 이미지와 제1 중간 HDR 이미지, 즉 제1 HDR w VFX로 지칭되는 VFX를 갖는 제1 HDR 이미지 간의 비교의 결과이다. 실제로, LDR 이미지에 포함된 모든 VFX는 그 색상, 특히 그 휘도에서 수정될 것이다. 따라서, 이러한 수정을 관찰하는 비교는 유리하게는 VFX를 포함하는 (LDR 또는 제1 HDR인) 이미지의 일부분에 속하는 픽셀들로 제한된다. 이를 위해, 제2 입력 정보는 VFX 자산이다. VFX의 관찰된 색상 수정은 VFX 자산의 형상, 질감, 반사 및 동작뿐만 아니라 VFX에 관련된 LDR w VFX 이미지 및 제1 HDR w VFX 이미지의 일부분들의 강도, 색상, 크기 및 동작과 관련된다. 이러한 방식으로, HDR 조명 표시는, 이미지에 렌더링된 VFX 자산의 형상, 질감, 반사 및 동작이 제1 중간 HDR 이미지에서 관찰된 VFX의 수정된 색상들에 가까워지도록 계산된다. 즉, 이미지에 렌더링된 VFX 자산의 형상, 질감, 반사 및 동작과, 제1 중간 HDR 이미지에서 관찰된 VFX의 수정된 색상들 간의 차이가 최소화된다. HDR 조명을 이용하면, 제1 HDR 이미지에서의 VFX가 최상의 품질로 렌더링하여 재생성될 수 있지만 제1 중간 HDR 이미지에 있는 VFX는 클리핑 및 밴딩과 같은 iTMO의 알려진 제한들을 겪는다. 언급된 최소한의 차이는 다른 방식들로 이해될 수 있다. 첫 번째 신호 기반 방식은 렌더링된 모든 색상들과 제1 HDR w VFX에서의 색상들 간의 차이를 최소화하는 것이 목표이다. 두 번째 물리적 기반 방식은 사실주의를 목표로 하고, 이에 따라 렌더링된 흑색 레벨들, 렌더링된 백색 레벨들 또는 렌더링된 색상 범위와 같은 물리적 요소들을 제1 HDR w VFX에 정렬하는 것을 목표로 한다.
단일의 불투명하고 질감을 살린 램버시안 VFX 오브젝트 및 광원들로 구성된 VFX 자산들에 적응되는 제1 변형예에 대해 이제 설명한다. 게다가, 이 제1 변형예에서, 오브젝트 표면 상에서의 빛 효과들(쉐이딩) 또는 장면에서의 빛 효과들(그림자 붙이기)은 오브젝트 표면들 상에서의 빛의 확산 반사에 의해 특징지어진다. 이에 따라, 이 제1 변형예에서, HDR 효과는 반사된 빛 및 가시 광원들의 진폭들의 전체적인 증가에 의해 특징지어진다. 본 원리들에 따르면, HDR 조명은 VFX 자산들의 LDR 광원들의 진폭들에 대한 인자의 적용에 의해 추정된다. 이러한 인자는 제1 중간 HDR 이미지의 선택된 부분들과 VFX를 갖는 LDR 이미지를 비교함으로써 결정된다. 휘도 압축 또는 채도 수정과 같은 iTMO 효과들의 원하지 않는 영향을 피하기 위해, 선택된 부분들은 밝거나 백색의 오브젝트 표면들 상의 강한 확산 반사와 같은 물리적 특성 효과들을 포함한다. 클리핑과 같은 iTMO 효과의 원하지 않는 영향을 피하기 위해, 선택된 부분들은 가시 광원들을 포함하지 않는다. 잡음 증폭 또는 밴딩과 같은 iTMO 효과의 원하지 않는 영향을 피하기 위해, 선택된 부분들은 제1 중간 HDR 이미지 및 VFX를 갖는 LDR 이미지의 여러 이웃 픽셀들을 각각 포함한다. 이어서, 광원들에 대한 인자는 제1 중간 HDR 이미지 및 VFX를 갖는 LDR 이미지의 관련 픽셀들의 휘도 비율의 선택된 부분들에 대한 평균을 계산함으로써 획득된다. 변형예에서, 이 인자는 VFX 자산들의 광원들의 진폭에 적용되는 선형 승법 비율이다.
다른 변형예에서, 이 인자는 최종 HDR w VFX 이미지를 반복적으로 계산하고, 이를 제1 중간 HDR 이미지에 비교하며, 인자를 변화시킴으로써 이들 2개의 이미지의 차이를 반복적으로 최소화함으로써 VFX 자산에 응답하여 임의로 다듬어질 수 있다.
이 실시예는 전통적인 iTMO에 의해 클리핑될 수 있는 가시 광원들을 포함하는 LDR w VFX 이미지들에 특히 잘 적응된다.
특히, 이 실시예는 가시 광원들이 이용될 수 있기 때문에 그림자 붙이기의 더 나은 범위 확장을 가능하게 할 수 있다. 실제로, 그림자 붙이기는 제1 오브젝트가 광원의 빛을 방해하여 제2 오브젝트에 도달하는 경우 발생한다. 이 제2 오브젝트 상의 그림자 붙이기는 흔히 주변 장면보다 훨씬 더 어둡고 LDR 색상 좌표들이 매우 작은 이미지 영역들을 초래한다. LDR 색상 좌표들은 심지어는 영으로 클리핑되거나 영에 가까운 값들로 동적으로 강하게 압축될 수 있다. 인자가 LDR 광원 진폭들에 적용되고 LDR w VFX 이미지의 영 값들에 가깝지 않으므로, VFX 자산의 정밀도는 고정밀도의 HDR w VFX 이미지들을 생성하는데 유리하게 이용된다.
확산 및 정반사에 의해 특징지어지고 소위 불투명한 VFX 오브젝트들에 특히 적응되는 제2 변형예가 또한 설명된다. 이것은 이미지들에서의 VFX가 하이라이트들을 포함한다는 것을 의미한다. HDR 효과는 일부 비선형 빛 증가로 나타날 것이다. 사실, 하이라이트들은 일반적으로 하이라이트 중앙에 매우 밝은 색상들을 포함하고 하이라이트 테두리에 비교적 더 어두운 픽셀들을 포함한 큰 동적 범위의 색상들을 포함한다. 이러한 큰 동적 범위는 iTMO가 대개 비선형이기 때문에 iTMO에 의해 비선형 방식으로 수정될 것이다. LDR w VFX 이미지로부터 HDR 조명 표시를 평가하기 위해 하이라이트들이 고려된다. LDR 광원들의 진폭들에 적용될 휘도-의존 인자 F(L)를 결정하기 위해 하이라이트들이 있는 VFX의 선택된 부분들 내에서 LDR w VFX 이미지와 제1 중간 HDR 이미지가 비교된다. 광원들에 대한 휘도-의존 인자는 {L, F(L)}이 {L, R}에 가까워지도록 {L, R} 휘도비 투플들에 곡선을 맞춰서 획득한 휘도에 따른 곡선 F(L)로 표현된다. 이들 투플들에서, 휘도 값 L은 LDR w VFX 이미지의 선택된 부분들의 픽셀들의 휘도이고, 비율 R은 픽셀의 휘도 L과 제1 중간 HDR 이미지의 관련 픽셀의 휘도의 역 비율이다. 이어서, 휘도-의존 인자 F(L)는 다음과 같은 방식으로 VFX 자산의 진폭들에 적용된다. 각각의 광원(S)에 대해, 백색의 램버시안 참조 표면 상의 LDR 이미지에 렌더링될 휘도 값 LS가 결정된다. 그 다음, 인자 F(LS)가 이 광원의 진폭에 적용된다.
특히, 이 실시예는 정반사들의 더 나은 범위 확장을 추가로 가능하게 한다. 확산 반사들과 반대로 정반사들은 많은 양의 빛이 반사되는 오브젝트들의 광택이 있는 표면들에서 발생한다. 이 효과는 이미지들에서 소위 하이라이트들을 초래한다. 정반사들은 흔히 하이라이트 영역들 내에서 많은 양의 들어오는 빛으로 인해 휘도 압축, 세부사항들 손실, 및 심지어는 그 최대 법적 레벨에서의 색상 좌표들의 클리핑을 초래한다. 예를 들어, 색상 좌표들의 범위가 0 내지 1023인 경우, 정반사들의 영역들에서의 색상 좌표들은 클리핑될 수 있으며 흔히 1023으로 클리핑되거나 1023에 가까운 값들로 적어도 강하게 동적으로 압축된다. 다시, 휘도-의존 인자가 VFX 자산에 적용되고 LDR w VFX 이미지의 클리핑되거나 압축된 값들이 아닌 경우, 고정밀도의 HDR w VFX 이미지를 생성하기 위해 VFX 자산의 정밀도 및 품질이 유리하게 이용된다.
이러한 변형예들을 처리하기 위해, 선택 단계(S170)는 투명한 오브젝트들과 관련된 적어도 하나의 시각 효과의 서브세트를 선택한다. 투명한 오브젝트들과 관련된 시각 효과들은 LDR 참조 이미지에 포함되며, 시각 효과들의 선택되지 않은 서브세트(즉, 있더라도 선택되지 않은 시각 효과들)만이 단계(S150)에서 HDR 조명 표시를 이용하여 렌더링된다. 유리하게는, 선택 단계(S170)는 상이한 유형들의 VFX 자산, 즉 역 톤 매핑에서 품질 문제를 일으키지 않는 모든 VFX에 대해 본 원리들을 구현하는 것을 추가로 가능하게 한다. LDR 참조 이미지는 합성 및 렌더링 단계(S180)에 의해 생성되고, 그 후 본 원리들에 따라 이용된다. 다시 말해, 선택 단계(S170)는 이미지들로부터 HDR 조명 표시의 목표된 결정을 구현하는 것을 가능하게 하며, 즉 결정은 제1 및 제2 변형예들에서 각각 설명된 바와 같이 확산 반사를 위한 HDR 조명 표시 또는 정반사를 위한 HDR 조명 표시를 목표로 한다. 보다 일반적인 방식으로, 선택 단계(S170)는 이미지들로부터 HDR 조명 표시의 단순화된 결정을 구현하는 것을 가능하게 하며, 이러한 단순화된 결정은 VFX 자산이 안개, 유리 및 연기와 같은 부분적으로 투명한 오브젝트들을 포함할 때 잘 적응된다. 일단 이미지에 렌더링되면, 이러한 오브젝트들 및 관련된 빛 효과들은 투명도에 의해, 높은 비선형 동작에 의해, 공간적으로 변하지 않는 성질에 의해 특징지어지고 LDR 색상 좌표들에서 클리핑 또는 압축 특성들을 항상 나타내는 것은 아니며, 또는 이러한 특성들은 예술적 작업흐름에서 수용될 수 있다. HDR 조명 표시의 결정의 단순화된 구현을 가능하게 하기 위해, VFX 서브세트의 선택은 예를 들어 선택된 VFX 자산으로부터 이러한 부분적으로 투명한 오브젝트들을 제외할 것이다.
제4 단계(S140)에서, 제2 중간 HDR 이미지, 즉 제2 HDR w/o VFX 이미지는 LDR 참조 이미지에 역 톤 매핑을 적용함으로써 획득된다. 다른 변형예들에 따르면, iTMO 단계(S120)에서와 동일한 역 톤 매핑 기법 또는 상이한 기법이 이용된다. 이 단계는 VFX가 HDR 조명 표시로 렌더링된 VFX를 갖는 향상된 HDR 이미지를 생성하는 제2 합성 단계(S160)를 위해 HDR 이미지, 즉 제2 HDR w/o VFX를 제공한다. 관련 기술분야의 통상의 기술자는, VFX 자산의 선택의 변형예에 따라, LDR 참조 이미지가 VFX를 전혀 포함하지 않거나 선택(S170)으로부터 제외된 VFX의 제한된 서브세트를 포함할 것이라는 것을 이해할 것이다.
최종 제5 단계(S160)에서, 향상된 HDR w VFX 이미지는 HDR 조명 표시를 이용하여 렌더링된 시각 효과들을 제2 중간 HDR 이미지에 합성함으로써 획득된다. VFX가 HDR 색상 좌표들에서 직접 렌더링되기 때문에, 개시된 방법은 이에 따라 HDR 소비된 이미지에서 아티팩트를 유도하기 위해 일부 VFX의 LDR 색상 좌표들에서 클리핑, 압축 및 잡음 증폭을 방지한다.
도 2는 본 개시 내용의 제2 실시예에 따라 VFX를 갖는 LDR 이미지의 역 톤 매핑을 위한 방법(200)을 도시한다. 제2 실시예는 제1 실시예와 거의 유사한 처리이며, 그 차이에 대해서는 후술한다. 제1 실시예에 따른 방법(100)에 대해 설명된 임의의 조합에서의 변형 특징들은 제2 실시예에 따른 방법(200)과 호환가능하다. 제2 실시예에서, 입력 LDR 참조 이미지는 MPEG-4 비디오 코딩 표준을 이용하여 인코딩되며, 장면 오브젝트 또는 광원, 즉 VFX 자산 중 적어도 하나는 MPEG-4 장면용 이진 포맷(BIFS)을 이용하여 인코딩된다. 제2 실시예는 게임 디바이스 또는 가상 현실 머리 장착 디스플레이와 같은 소비자 디바이스 내에 구현되도록 잘 적응된다. 제2 실시예에 따르면, 단계(S210)에서, LDR w VFX 이미지는 MPEG-4 LDR 비디오 스트림으로부터 생성된다. 유리하게는, 제2 실시예는 장면 오브젝트들과 관련된 이미지의 일부분들에서 증가된 이미지 품질을 갖는 HDR 스트림을 생성하는 것을 가능하게 한다. 따라서, 제1 단계(S210)에서, LDR w VFX 이미지에 액세스하는 것은 LDR 참조 이미지(MPEG-4 스트림으로부터 디코딩되고, 스트림의 비디오 성분임)를 VFX의 렌더링에 의해 획득된 LDR 이미지(또한 MPEG-4 스트림으로부터 디코딩되고, 스트림의 BIFS 성분임)로 합성하는 것을 포함한다.
제2 단계(S220)에서, 제1 중간 HDR 이미지, 즉 제1 HDR w VFX 이미지는 LDR w VFX 이미지에 역 톤 매핑 연산자를 적용함으로써 획득된다.
제3 단계(S230)에서, HDR 조명 표시는 VFX 자산(즉, 장면 및 광원), 및 제1 실시예의 방법의 임의의 변형예들과 관련하여 설명한 바와 같이 LDR w VFX 이미지의 일부분 및 제1 중간 HDR 이미지의 각각의 부분에 응답하여 추출된 정보로부터 결정된다.
제4 단계(S240)에서, 제2 중간 HDR 이미지, 즉 제2 HDR w/o VFX 이미지는 LDR 참조 이미지에 역 톤 매핑을 적용함으로써 획득된다.
최종 제5 단계(S250)에서, 향상된 HDR w VFX 이미지는 HDR 조명 표시를 이용하여 렌더링된 시각 효과들을 제2 중간 HDR 이미지에 합성함으로써 획득된다.
도 3은 예시적이고 비제한적인 실시예에 따라 시각 효과들을 갖는 낮은 동적 범위의 이미지를 역 톤 매핑하기 위한 디바이스(3)의 예시적인 아키텍처를 나타낸다. 역 톤 매핑 디바이스(3)는 도 1 또는 도 2를 참조하여 설명된 방법들 중 임의의 방법을 실행하도록 구성된다. 역 톤 매핑 디바이스(3)는 예를 들어 내부 메모리(320)(예를 들어, RAM, ROM 및/또는 EPROM)와 함께 CPU, GPU 및/또는 DSP(디지털 신호 프로세서)를 포함할 수 있는 하나 이상의 프로세서(들)(310)를 포함한다. 역 톤 매핑 디바이스(3)는, 입력 정보를 획득하고, 출력 정보를 표시하고/하거나 이용자가 명령들 및/또는 데이터를 입력하게 하도록 각각 적응된 하나 이상의 입력/출력 인터페이스(들)(예를 들어, 키보드, 마우스, 터치패드, 웹캠)(330), 및 역 톤 매핑 디바이스(3) 외부에 있을 수 있는 전원(340)을 포함한다. 역 톤 매핑 디바이스는 또한 하나 이상의 네트워크 인터페이스(들)(도시되지 않음)를 포함할 수 있다. 역 톤 매핑 디바이스는 렌더링 및 합성을 위한 하나 이상의 전용 하드웨어 모듈 또는 상이한 단계들(도시되지 않음)의 순차적 또는 병렬적 처리를 위한 하나 이상의 iTMO를 또한 포함할 수 있다. 제1 실시예에 따르면, LDR w VFX 이미지, VFX 자산 및 LDR 참조 이미지는 소스로부터 획득되어 메모리(320)에 저장될 수 있다. 제2 실시예에 따르면, 비디오 스트림은 소스로부터 획득되어 메모리(320)에 저장될 수 있으며, 비디오 스트림은 예를 들어 MPEG-4 장면용 이진 포맷(BIFS)을 이용하는 장면 오브젝트들 및 MPEG-4 Part 11 비디오 인코딩에 부합한다. 그 후, LDR w VFX 이미지가 로컬적으로 생성되어 메모리(320)에 저장된다.
다른 실시예들에 따르면, HDR w VFX 이미지는 목적지, 예를 들어 HDR 디스플레이 디바이스에 보내질 수 있다. 예로서, 이미지의 HDR w VFX 이미지 버전은 원격 또는 로컬 메모리(320), 예를 들어 비디오 메모리 또는 RAM, 하드 디스크에 저장된다. 변형예에서, HDR w VFX 이미지는 저장 인터페이스, 예를 들어 대용량 저장소, ROM, 플래시 메모리, 광학 디스크 또는 자기 지지 요소를 갖는 인터페이스에 보내지고/지거나 통신 인터페이스, 예를 들어 포인트 대 포인트 링크, 통신 버스, 포인트 대 멀티포인트 링크 또는 방송 네트워크 용의 인터페이스를 통해 전송된다.
예시적이고 비제한적인 실시예에 따르면, 역 톤 매핑 디바이스(3)는 메모리(320)에 저장된 컴퓨터 프로그램을 또한 포함한다. 컴퓨터 프로그램은 역 톤 매핑 디바이스(3)에 의해, 특히 프로세서(310)에 의해 실행될 때 역 톤 매핑 디바이스(3)가 도 1(또는 도 2)을 참조하여 설명된 방법을 실행하게 하는 명령어들을 포함한다. 변형예에 따르면, 컴퓨터 프로그램은 역 톤 매핑 디바이스(3)의 외부에서 비일시적 디지털 데이터 지지 요소 상에, 예를 들어 관련 기술분야에서 모두 알려진 HDD, CD-ROM, DVD, 판독 전용 및/또는 DVD 드라이브 및/또는 DVD 판독/기입 드라이브와 같은 외부 저장 매체 상에 저장된다. 이에 따라, 역 톤 매핑 디바이스(3)는 컴퓨터 프로그램을 판독하기 위한 메커니즘을 포함한다. 또한, 역 톤 매핑 디바이스(3)는 대응하는 USB 포트들(도시되지 않음)을 통해 하나 이상의 USB형 저장 디바이스(예컨대, "메모리 스틱들")에 액세스할 수 있다.
예시적이고 비제한적인 실시예들에 따르면, 역 톤 매핑 디바이스(3)는,
- 모바일 디바이스,
- 통신 디바이스,
- 게임 디바이스,
- 셋톱 박스,
- TV 세트,
- 태블릿(또는 태블릿 컴퓨터),
- 랩톱,
- 비디오 플레이어, 즉 블루레이 디스크 플레이어,
- 디스플레이,
- 카메라, 및
- 디코딩 칩
일 수 있지만, 이에 국한되지는 않는다.

Claims (13)

  1. 적어도 하나의 컴퓨터 발생 이미지 성분을 갖는 낮은 동적 범위의 이미지(제1 LDR 이미지(LDR w VFX)로 지칭됨)를 상기 적어도 하나의 컴퓨터 발생 이미지 성분을 갖는 높은 동적 범위의 이미지(제1 HDR 이미지(HDR w VFX)로 지칭됨)에 역 톤 매핑하기 위한 방법으로서,
    상기 제1 LDR 이미지에 액세스하는 단계(S110) - 상기 제1 LDR 이미지는 LDR 참조 이미지(LDR w/o VFX)에 렌더링되고 합성된 적어도 하나의 컴퓨터 발생 이미지 성분(VFX 자산)에 의해 획득됨 -
    를 포함하고,
    상기 방법은,
    상기 제1 LDR 이미지의 일부분, 및 상기 제1 LDR 이미지에 역 톤 매핑을 적용하여 획득된 제1 중간 HDR 이미지의 각각의 부분으로부터 추출되는 정보에 응답하여 HDR 조명 표시를 결정하는 단계(S130);
    상기 LDR 참조 이미지에 상기 역 톤 매핑을 적용하여 제2 중간 HDR 이미지를 획득하는 단계(S140);
    상기 제2 중간 HDR 이미지에 상기 HDR 조명 표시를 이용하여 렌더링되고, 합성된 상기 적어도 하나의 컴퓨터 발생 이미지 성분(VFX 자산)으로부터 상기 제1 HDR 이미지를 획득하는 단계(S150)
    를 더 포함하는 것을 특징으로 하는 역 톤 매핑하기 위한 방법.
  2. 제1항에 있어서,
    상기 방법은 적어도 하나의 투명한 오브젝트에 관련된 상기 적어도 하나의 컴퓨터 발생 이미지 성분의 서브세트를 선택하는 단계(S170)를 더 포함하고,
    상기 적어도 하나의 컴퓨터 발생 이미지 성분의 선택된 서브세트는 상기 LDR 참조 이미지에 포함되고(S180),
    상기 선택된 서브세트에 없는 컴퓨터 발생 이미지 성분들은 상기 제2 중간 HDR 이미지에 HDR 조명 표시를 이용하여 렌더링되고(S150), 합성되는, 역 톤 매핑하기 위한 방법.
  3. 제1항에 있어서,
    상기 HDR 조명 표시를 결정하는 단계는 상기 제1 LDR 이미지의 일부분과 상기 제1 중간 HDR 이미지의 각각의 부분 간의 차이로부터 인자를 결정하는 단계를 더 포함하고, 상기 인자는 상기 적어도 하나의 컴퓨터 발생 이미지 성분(VFX 자산)의 광원들의 진폭들에 적용되는, 역 톤 매핑하기 위한 방법.
  4. 제1항에 있어서,
    상기 HDR 조명 표시를 결정하는 단계는 상기 제1 LDR 이미지의 일부분과 상기 제1 중간 HDR 이미지의 각각의 부분 간의 차이로부터 휘도 의존 인자를 결정하는 단계를 더 포함하고, 상기 휘도 의존 인자는 LDR 이미지에 렌더링된 상기 적어도 하나의 컴퓨터 발생 이미지 성분의 휘도에 대해 상기 적어도 하나의 컴퓨터 발생 이미지 성분(VFX 자산)의 광원들의 진폭들에 적용되는, 역 톤 매핑하기 위한 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 HDR 조명 표시는 상기 적어도 하나의 컴퓨터 발생 이미지 성분에 또한 응답하는, 역 톤 매핑하기 위한 방법.
  6. 제1항에 있어서,
    상기 LDR 참조 이미지는 MPEG-4 비디오 코딩 표준을 이용하여 인코딩되고, 장면 오브젝트 또는 광원 중 적어도 하나는 MPEG-4 장면용 이진 포맷(BIFS)을 이용하여 인코딩되는, 역 톤 매핑하기 위한 방법.
  7. 적어도 하나의 컴퓨터 발생 이미지 성분을 갖는 낮은 동적 범위의 이미지(제1 LDR 이미지로 지칭됨)를 상기 적어도 하나의 컴퓨터 발생 이미지 성분을 갖는 높은 동적 범위의 이미지(제1 HDR 이미지로 지칭됨)에 역 톤 매핑하기 위한 디바이스(3)로서,
    상기 제1 LDR 이미지에 액세스하기 위한 수단(330) - 상기 제1 LDR 이미지는 LDR 참조 이미지(LDR w/o VFX)에 렌더링되고 합성된 적어도 하나의 컴퓨터 발생 이미지 성분(VFX 자산)에 의해 획득됨 -
    을 포함하고,
    상기 디바이스는,
    상기 제1 LDR 이미지의 일부분, 및 상기 제1 LDR 이미지에 역 톤 매핑을 적용하여 획득된 제1 중간 HDR 이미지의 각각의 부분으로부터 추출되는 정보에 응답하여 HDR 조명 표시를 결정하기 위한 수단(310);
    상기 LDR 참조 이미지에 상기 역 톤 매핑을 적용하여 제2 중간 HDR 이미지를 획득하기 위한 수단(310);
    상기 제2 중간 HDR 이미지에 상기 HDR 조명 표시를 이용하여 렌더링되고, 합성된 컴퓨터 발생 이미지 성분들(VFX 자산)로부터 상기 제1 HDR 이미지를 획득하기 위한 수단(310)
    을 더 포함하는 것을 특징으로 하는 역 톤 매핑하기 위한 디바이스.
  8. 제7항에 있어서,
    상기 디바이스는 적어도 하나의 투명한 오브젝트에 관련된 상기 적어도 하나의 컴퓨터 발생 이미지 성분의 서브세트를 선택하기 위한 수단을 더 포함하고,
    상기 적어도 하나의 컴퓨터 발생 이미지 성분의 선택된 서브세트는 상기 LDR 참조 이미지에 포함되고,
    상기 선택된 서브세트에 없는 컴퓨터 발생 이미지 성분들은 상기 제2 중간 HDR 이미지에 상기 HDR 조명 표시를 이용하여 렌더링되고, 합성되는, 역 톤 매핑하기 위한 디바이스.
  9. 제7항에 있어서,
    상기 HDR 조명 표시는 상기 제1 LDR 이미지의 일부분과 상기 제1 중간 HDR 이미지의 각각의 부분 간의 차이로부터 결정된 인자에 응답하고, 상기 인자는 상기 적어도 하나의 컴퓨터 발생 이미지 성분(VFX 자산)의 광원들의 진폭들에 적용되는, 역 톤 매핑하기 위한 디바이스.
  10. 제7항에 있어서,
    상기 HDR 조명 표시는 상기 제1 LDR 이미지의 일부분과 상기 제1 중간 HDR 이미지의 각각의 부분 간의 차이로부터 결정된 휘도 의존 인자에 응답하고, 상기 휘도 의존 인자는 LDR 이미지에 렌더링된 상기 적어도 하나의 컴퓨터 발생 이미지 성분의 휘도에 대해 상기 적어도 하나의 컴퓨터 발생 이미지 성분(VFX 자산)의 광원들의 진폭들에 적용되는, 역 톤 매핑하기 위한 디바이스.
  11. 제9항 또는 제10항에 있어서,
    상기 HDR 조명 표시는 상기 적어도 하나의 컴퓨터 발생 이미지 성분에 또한 응답하는, 역 톤 매핑하기 위한 디바이스.
  12. 제7항에 있어서,
    상기 LDR 참조 이미지는 MPEG-4 비디오 코딩 표준을 이용하여 인코딩되고, 장면 오브젝트 또는 광원 중 적어도 하나는 MPEG-4 장면용 이진 포맷(BIFS)을 이용하여 인코딩되는, 역 톤 매핑하기 위한 디바이스.
  13. 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 제1항에 따른 방법의 단계들을 수행하게 하는 명령어들을 포함하는 컴퓨터 프로그램 판독가능 매체.
KR1020180026312A 2017-03-09 2018-03-06 시각 효과들을 갖는 이미지의 역 톤 매핑을 위한 방법 KR102472088B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17305256.4A EP3373585A1 (en) 2017-03-09 2017-03-09 Method for inverse tone mapping of an image with visual effects
EP17305256.4 2017-03-09

Publications (2)

Publication Number Publication Date
KR20180103715A true KR20180103715A (ko) 2018-09-19
KR102472088B1 KR102472088B1 (ko) 2022-11-30

Family

ID=58360944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180026312A KR102472088B1 (ko) 2017-03-09 2018-03-06 시각 효과들을 갖는 이미지의 역 톤 매핑을 위한 방법

Country Status (5)

Country Link
US (1) US10572984B2 (ko)
EP (2) EP3373585A1 (ko)
JP (1) JP7193236B2 (ko)
KR (1) KR102472088B1 (ko)
CN (1) CN108573475B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11303912B2 (en) * 2018-04-18 2022-04-12 Qualcomm Incorporated Decoded picture buffer management and dynamic range adjustment
WO2020049567A1 (en) * 2018-09-06 2020-03-12 Carmel Haifa University Economic Corporation Ltd. Model-free physics-based reconstruction of images acquired in scattering media
KR102127760B1 (ko) 2018-11-30 2020-06-29 고려대학교 산학협력단 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체
CN109785263B (zh) * 2019-01-14 2022-09-16 北京大学深圳研究生院 一种基于Retinex的逆色调映射图像转换方法
CN110288512B (zh) * 2019-05-16 2023-04-18 成都品果科技有限公司 用于图像合成的光照重映射方法、装置、存储介质和处理器
CN111882498A (zh) * 2020-07-10 2020-11-03 网易（杭州）网络有限公司 图像处理方法、装置、电子设备及存储介质
CN112270759B (zh) * 2020-10-30 2022-06-24 北京字跳网络技术有限公司 基于图像的光效处理方法、装置、设备及存储介质
CN112435306A (zh) * 2020-11-20 2021-03-02 上海北昂医药科技股份有限公司 G显带染色体hdr图像重建方法
JP2022099651A (ja) * 2020-12-23 2022-07-05 ソニーセミコンダクタソリューションズ株式会社 画像生成装置、画像生成方法、およびプログラム
US11544827B2 (en) * 2021-04-30 2023-01-03 Realnetworks, Inc. Hue-based video enhancement and rendering

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120013977A (ko) * 2009-05-11 2012-02-15 돌비 레버러토리즈 라이쎈싱 코오포레이션 이미지 디스플레이에 대한 광 검출, 컬러 표현 모델들, 및 동적 범위의 수정
KR20130120398A (ko) * 2012-04-25 2013-11-04 한국전자통신연구원 레퍼런스 시그널에 기초한 분석 알고리즘이 적용된, 증강방송 콘텐츠 처리 장치 및 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5411706B2 (ja) * 2006-11-27 2014-02-12 ドルビー ラボラトリーズ ライセンシング コーポレイション デジタル画像のダイナミックレンジを増強するための装置及び方法
US7983496B2 (en) * 2007-06-26 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes
CN102696220A (zh) * 2009-10-08 2012-09-26 国际商业机器公司 将数字图像从低动态范围图像转换为高动态范围图像的方法与系统
EP2689392B1 (en) * 2011-03-24 2015-09-02 Koninklijke Philips N.V. Apparatus and method for analyzing image gradings
TWI521973B (zh) * 2011-04-15 2016-02-11 杜比實驗室特許公司 高動態範圍影像的編碼、解碼及表示
CN103891294B (zh) * 2011-04-28 2017-09-01 皇家飞利浦有限公司 用于hdr图像编码和解码的装置与方法
EP2579591A1 (en) * 2011-10-04 2013-04-10 Thomson Licensing Method of and device for encoding an HDR image, method of and device for reconstructing an HDR image and non-transitory storage medium
US9699482B2 (en) * 2013-02-21 2017-07-04 Koninklijke Philips N.V. HDR image encoding and decoding methods and devices
CN105745914B (zh) * 2013-11-22 2018-09-07 杜比实验室特许公司 用于逆色调映射的方法和系统
CN105850114B (zh) 2013-12-27 2019-05-21 汤姆逊许可公司 用于图像的逆色调映射的方法
JP6292968B2 (ja) 2014-05-02 2018-03-14 日本放送協会 疑似ｈｄｒ画像推定装置及び方法
EP2958075A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and apparatus for dynamic range expansion of LDR video sequence
JP6478499B2 (ja) 2014-07-07 2019-03-06 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
CN104463820A (zh) * 2014-10-29 2015-03-25 广东工业大学 一种基于频域的反色调映射算法
EP3051488A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing A method and apparatus for inverse-tone mapping a picture
EP3131284A1 (en) * 2015-08-13 2017-02-15 Thomson Licensing Methods, systems and aparatus for hdr to hdr inverse tone mapping

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120013977A (ko) * 2009-05-11 2012-02-15 돌비 레버러토리즈 라이쎈싱 코오포레이션 이미지 디스플레이에 대한 광 검출, 컬러 표현 모델들, 및 동적 범위의 수정
KR20130120398A (ko) * 2012-04-25 2013-11-04 한국전자통신연구원 레퍼런스 시그널에 기초한 분석 알고리즘이 적용된, 증강방송 콘텐츠 처리 장치 및 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Wan-Duo Kurt Ma ET AL:"Synthesising radiance maps from legacy outdoor photographs for real-time IBL on HMDs", 2015 International Conference on Image and Vision Computing New Zealand (IVCNZ), 23-24 Nov. 2015(2015.11.23.) 1부.* *
Yusaku Nishina ET AL:"Photometric registration by adaptive high dynamic range image generation for augmented reality", 2008 7th IEEE/ACM International Symposium on Mixed and Augmented Reality, 15-18 Sept. 2008(2008.09.15.) 1부.* *

Also Published As

Publication number Publication date
JP2018170007A (ja) 2018-11-01
KR102472088B1 (ko) 2022-11-30
EP3373586A1 (en) 2018-09-12
JP7193236B2 (ja) 2022-12-20
EP3373586B1 (en) 2020-01-08
US10572984B2 (en) 2020-02-25
CN108573475A (zh) 2018-09-25
EP3373585A1 (en) 2018-09-12
US20180260942A1 (en) 2018-09-13
CN108573475B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
KR102472088B1 (ko) 시각 효과들을 갖는 이미지의 역 톤 매핑을 위한 방법
JP6276794B2 (ja) カラーレジームを定義する装置及び方法
RU2607981C2 (ru) Устройства и способы для анализа градуировок изображения
JP6262198B2 (ja) Ｈｄｒ画像符号化及び復号のための輝度領域ベース装置及び方法
Banterle et al. High dynamic range imaging and low dynamic range expansion for generating HDR content
Munkberg et al. High dynamic range texture compression for graphics hardware
JP2013527732A (ja) 階調および色再現域のマッピング方法および装置
CN107211182A (zh) 显示方法和显示装置
JP5731566B2 (ja) 情報処理装置、制御方法、及び記録媒体
EP2956910A2 (en) Method and device for enriching the content of a depth map
US9626774B2 (en) Saturation varying color space
US10225485B1 (en) Method and apparatus for accelerated tonemapping
JP2018509835A (ja) 適応的カラーグレード補間方法及びデバイス
US8942476B1 (en) Saturation varying and lighting independent color color control for computer graphics
JP4857601B2 (ja) シミュレーション画像生成装置、方法、演算プログラム、及びそのプログラムを記録した記録媒体
EP3139341A1 (en) Methods, systems and apparatus for specular highlight reconstruction
US11503310B2 (en) Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder
WO2023181904A1 (ja) 情報処理装置、情報処理方法および記録媒体
Jiang et al. Texture compression with variable data formats
JP2023048793A (ja) 情報処理装置、プログラム及び描画方法
Wei Backward-compatible high dynamic range imaging: acquisition, display and compression
Selan Merging live video with synthetic imagery
Tabellion Irradiance caching at DreamWorks.
Shum et al. Optimizing Rendering Performance using Sampling Analysis
Farouk Towards a filmic look and feel in real time computer graphics

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right