KR20160121444A - 제 1 명암비를 갖는 이미지들을 생성, 인코딩 또는 디코딩하기 위한 방법들 및 디바이스들, 및 대응하는 컴퓨터 프로그램 제품들 및 컴퓨터-판독가능 매체 - Google Patents
제 1 명암비를 갖는 이미지들을 생성, 인코딩 또는 디코딩하기 위한 방법들 및 디바이스들, 및 대응하는 컴퓨터 프로그램 제품들 및 컴퓨터-판독가능 매체 Download PDFInfo
- Publication number
- KR20160121444A KR20160121444A KR1020160043552A KR20160043552A KR20160121444A KR 20160121444 A KR20160121444 A KR 20160121444A KR 1020160043552 A KR1020160043552 A KR 1020160043552A KR 20160043552 A KR20160043552 A KR 20160043552A KR 20160121444 A KR20160121444 A KR 20160121444A
- Authority
- KR
- South Korea
- Prior art keywords
- dynamic range
- image
- generating
- encoding
- determining
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
- H04N21/2356—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages by altering the spatial resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
Abstract
제 1 명암비를 갖는 이미지들을 생성, 인코딩 또는 디코딩하기 위한 방법들 및 디바이스들, 및 대응하는 컴퓨터 프로그램 제품들 및 컴퓨터-판독가능 매체.
본 개시물은, 제 1 명암비보다 더 낮은 제 2 명암비를 갖는 이미지로부터, 제 1 명암비를 갖는 적어도 하나의 이미지를 생성하는 방법에 관한 것이고, 이 방법은,
- 제 1 에피토미라고 불리는, 제 1 명암비를 갖는 상기 이미지의 에피토미를 획득하는 단계 (11),
- 제 2 명암비를 갖는 이미지 및 제 1 에피토미로부터, 제 1 명암비를 갖는 상기 이미지를 생성하는 단계 (12) 를 포함한다.
본 개시물은, 제 1 명암비보다 더 낮은 제 2 명암비를 갖는 이미지로부터, 제 1 명암비를 갖는 적어도 하나의 이미지를 생성하는 방법에 관한 것이고, 이 방법은,
- 제 1 에피토미라고 불리는, 제 1 명암비를 갖는 상기 이미지의 에피토미를 획득하는 단계 (11),
- 제 2 명암비를 갖는 이미지 및 제 1 에피토미로부터, 제 1 명암비를 갖는 상기 이미지를 생성하는 단계 (12) 를 포함한다.
Description
1. 기술 분야
본 개시물은, 비디오라고도 불리는, 이미지들 또는 이미지들의 시퀀스들의 프로세싱 (processing) 에 관한 것이다.
보다 구체적으로, 본 개시물은, 보다 낮은 다이내믹 레인지를 갖는 적어도 하나의 이미지, 예를 들어 LDR 이미지 ("Low Dynamic Range") 또는 현재 다이내믹 레인지 이미지로부터, 보다 높은 다이내믹 레인지를 갖는 적어도 하나의 이미지, 예를 들어, HDR 이미지 ("High Dynamic Range") 를 생성하기 위한 기술을 제공한다.
본 개시물은 특히, HDR 비디오 제작, 배포 및 렌더링 (rendering) 에 관련된 임의의 애플리케이션들에 대해 적응된다. 본 개시물은 비디오 압축 및 표현들 뿐만 아니라 렌더링으로 또한 알려진 이미지 개선에도 관련된다.
특히, 본 개시물은 하이 다이내믹 레인지를 갖는 이미지들 또는 비디오의 인코딩 및 디코딩을 향싱시키는 것을 목적으로 한다.
본 개시의 적어도 하나의 실시형태는 또한, 역 톤 맵핑 오퍼레이터들 (inverse Tone Mapping Operators) 또는 초고해상도 기술들을 향상시키는 것을 목적으로 한다.
2. 배경 기술
이 섹션은 이하 설명 및/또는 청구되는 본 개시의 다양한 양태들에 관련될 수도 있는, 종래 기술의 다양한 양태들을 독자에게 소개하고자 하는 것이다. 이 논의는 독자에게 배경 정보를 제공하여 본 개시의 다양한 양태들의 더 나은 이해를 용이하게 하는데 도움이 될 것이라 믿는다. 따라서, 이들 진술들은 이러한 관점에서 읽혀져야 하고, 종래 기술의 인정으로서 읽혀져서는 아니됨을 이해하여야 한다.
다이내믹 레인지 (dynamic range) 란, 정의에 의해, 주어진 방향으로 이동하는 광의 단위 면적 당 광도의 광도계 측정치인 휘도 (luminance) 에 대응하는 가변 양의 최대 및 최소 가능 값 사이의 비이다 (휘도는 
로 표현된다).
보다 낮은 다이내믹 레인지를 갖는 이미지/비디오로부터 보다 높은 다이내믹 레인지를 갖는 이미지/비디오를 생성하기 위한 다른 기법들이 제안되었다.
첫 번째 알려진 기법은, 직접 HDR 이미지/비디오를 캡처 (capture) 하기 위해, (RED 또는 HARRI 카메라들과 같이) 보다 민감한 센서들, (시차 없이 노출 과다한 하나와 노출 부족한 하나를 갖는 스테레오 링 (stereo ring) 카메라를 이용한) 멀티 카메라 셋업 또는 (동일한 이미지를 상이한 구경들로 연속적으로 촬영하는) 시간적 브라켓팅 (temporal bracketing) 의 사용에 의존한다.
하지만, 이러한 디바이스들은 매우 비싸고, 캡처된 HDR 이미지들은 인코딩 및 전송되기 위해 보다 낮은 다이내믹 레인지 이미지들에서 변환될 필요성이 있다.
또한, 시간적 브라켓팅은 비디오에 대해 형성되는 모션 블러 (motion blur) 때문에 사진들/정적 이미지들에 대해 주로 사용된다.
두 번째 알려진 기법들은 수동적 형성에 의존한다. 컬러 관리 프로세스 동안, 기준 디스플레이 상의 렌더링에 기초하여 이미지의 컬러들 및 밝기를 확장하는 것이 가능하다. 이러한 기법은 영화에 대해 수행되는 전통적인 후처리이다.
하지만, 이러한 기법은 시간 소모적이고 자연광을 갖는 이미지를 생성하지 않는다.
세 번째 알려진 기법은 역 톤 맵핑 오퍼레이터들 (iTMO) 에 의존한다. ITMO 는 다이내믹 레인지를 하나의 범위로부터 더 높은 것으로 확장하기 위해 사용된다. 이러한 오퍼레이터들은, 모든 픽셀들에 대해 동일한 확장 함수가 사용되는 글로벌 오퍼레이터들 (global operators), 또는 확장 함수가 콘텐츠 (content) 에 의존하여 변화하는 로컬 오퍼레이터들 (local operators) 과 같이, 사용되는 이미지 프로세싱 알고리즘들에 기초하여 분류될 수 있다.
하지만, 이러한 오퍼레이터들은, 그것이 국소적 편차들을 가지고 시간적으로 일관성 있는 사실적 HDR 비디오를 획득하는 것이 어렵기 때문에, 오늘날 충분히 효율적이지 않다. 이것은 감소된 데이터 셋트로부터 정보를 추론하기를 시도할 때의 일반적인 문제이다.
본 개시는 상술된 결점들 중 적어도 하나를 극복한다.
3. 개요
본 개시는, 제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지로부터, 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 생성하는 방법에 관한 것이고, 이 방법은:
- 제 1 에피토미 (epitome) 라고 불리는, 제 1 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 획득하는 단계,
- 제 2 다이내믹 레인지를 갖는 이미지 및 제 1 에피토미로부터, 제 1 다이내믹 레인지를 갖는 상기 이미지를 생성하는 단계를 포함한다.
본 개시는 따라서, 보다 높은 다이내믹 레인지를 갖는 이미지 또는 비디오의 에피토미의 이용가능성을 가정하여, 보다 낮은 다이내믹 레인지 (제 2 다이내믹 레인지) 를 갖는 이미지 또는 비디오로부터, 보다 높은 다이내믹 레인지 (제 1 다이내믹 레인지) 를 갖는 이미지 또는 비디오를 효율적으로 생성하기 위한 새로운 기술을 제안한다.
제 1 에피토미라고도 불리는 이러한 에피토미는, 더 낮은 다이내믹 레인지를 갖는 이미지 또는 비디오의, 더 높은 다이내믹 레인지를 갖는 이미지 또는 비디오로의 변환을 돕기 위해 사용될 수 있는 정보 또는 메타-데이터 (meta-data) 를 포함한다.
특히, 제 1 다이내믹 레인지를 갖는 이미지는 하이 다이내믹 레인지 (High Dynamic Range; HDR) 이미지이고, 제 2 다이내믹 레인지를 갖는 이미지는 로우 다이내믹 레인지 (Low Dynamic Range; LDR) 이미지이다. HDR 이미지들은 실제 장면들에서 발견되는 강도 레벨들의 범위를 보다 정확하게 나타낼 수 있다.
본 개시의 일 실시형태에 따르면, 제 1 다이내믹 레인지를 갖는 이미지는 제 1 에피토미로부터 획득된 실제 빛 정보로 생성된다.
실제 빛 정보를 포함하는 제 1 에피토미는 따라서, 종래 기술의 기법들보다 더 사실적인 방식으로, 더 높은 다이내믹 레인지를 갖는 이미지를 생성하기 위해 사용될 수 있을 것이다.
이러한 실시형태는 역 톤 맵핑 오퍼레이터들 (inverse Tone Mapping Operators; iTMOs) 을 향상시키기 위한 수단을 제공한다.
본 개시의 다른 실시형태에 따르면, 제 1 다이내믹 레인지를 갖는 상기 이미지를 생성하는 단계는:
- 제 2 다이내믹 레인지를 갖는 이미지로부터, 제 2 에피토미라고 불리는, 제 2 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 결정하는 단계,
- 제 2 에피토미와, 제 2 다이내믹 레인지를 갖는 이미지 사이의 맵핑 함수 (mapping function) 를 결정하는 단계,
- 상기 맵핑 함수를 제 1 에피토미에 적용하여, 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 단계를 포함한다.
제 2 에피토미로부터, 제 2 다이내믹 레인지를 갖는 이미지로의 패스 (pass) 를 가능하게 하는 맵핑 함수는 따라서, 제 1 다이내믹 레인지를 갖는 이미지를 생성하기 위해 제 1 에피토미에 적용될 수 있다.
제 1 예에 따르면, 맵핑 함수는 제 2 에피토미와 제 2 다이내믹 레인지를 갖는 이미지 사이의 변환 맵이다.
이러한 변환 맵은 제 2 에피토미의 구성 동안 구축될 수 있을 것이다.
제 2 예에 따르면, 맵핑 함수는 제 2 다이내믹 레인지를 갖는 이미지에서의 적어도 하나의 블록과 제 2 에피토미에서의 K 패치들 (patches) 사이의 선형 결합이고, 여기서, K 는 K > 1 과 같은 정수이다.
이 제 2 예에 따르면, 맵핑 함수는 국부 선형 임베딩 (locally linear embedding; LLE) 함수로부터 결정될 수 있을 것이다.
맵핑 함수를 결정하는 단계는 따라서,
와 같이, 제 2 다이내믹 레인지를 갖는 이미지에서 적어도 하나의 블록 
를 획득하기 위해, 제 2 에피토미에서의 상기 K 패치들의 각 패치 
에 적용될 가중치들 
를 결정하는 단계를 포함하고, 여기서, 
이고, K 는 제 2 다이내믹 레인지를 갖는 이미지의 하나의 블록으로부터 획득된 제 2 에피토미에서의 패치들의 수이다.
상기 맵핑 함수를 제 1 에피토미에 적용하는 단계는, 제 2 에피토미에서의 상기 K 패치들에 대해, 제 1 에피토미에서의 K 개의 대응하는 패치들 (예를 들어 K 개의 공동국부화된 (co-localized) 패치들) 을 결정하는 단계를 포함한다.
그 다음, 가중치들 
은,
와 같이, 제 1 다이내믹 레인지를 갖는 이미지의 적어도 하나의 블록 
를 재구성 (reconstruct) 하기 위해, 제 1 에피토미에서의 상기 K 개의 대응하는 패치들의 각 패치 
에 적용된다.
제 3 예에 따르면, 맵핑 함수는 회귀 함수, 예를 들어 선형 회귀 (linear regression) 또는 커널 회귀 (Kernel regression) 로부터 결정된다.
또 다른 실시형태에 따르면, 제 1 다이내믹 레인지를 갖는 상기 이미지를 생성하는 단계는, 제 1 다이내믹 레인지를 갖는 업샘플링된 이미지를 생성하기 위해, 제 2 다이내믹 레인지를 갖는 이미지를 업샘플링하는 단계를 더 포함한다.
이러한 방식으로, 더 높은 다이내믹 레인지로의 업샘플링 및 변환이 동시에 또는 2 개의 연속적인 단계들에서 중 어느 일방으로 구현될 수 있을 것이다.
또 다른 실시형태에 따르면, 생성 방법은:
- 제 1 반복 동안 제 1 다이내믹 레인지를 갖는 상기 이미지로부터, 또는, 다음의 반복들 동안 제 1 다이내믹 레인지를 갖는 상기 정정된 이미지로부터, 제 2 다이내믹 레인지를 갖는 추정된 이미지를 획득하는 단계,
- 제 2 다이내믹 레인지를 갖는 이미지와 제 2 다이내믹 레인지를 갖는 추정된 이미지 사이의 추정 에러를 결정하는 단계, 및
- 제 1 다이내믹 레인지를 갖는 정정된 이미지를 획득하기 위해, 추정 에러에 응답하여, 제 1 다이내믹 레인지를 갖는 이미지를 정정하는 단계
의 적어도 하나의 반복 (iteration) 을 포함한다.
이러한 반복적인 역 투영 (back-projection) 기법은 제 1 다이내믹 레인지를 갖는 이미지가 일관성이 있는지 여부를 체크하기 위해 사용될 수 있다.
본 개시물은 또한, 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 인코딩하는 방법에 관한 것이고, 이 방법은:
- 제 1 에피토미라고 불리는, 제 1 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 결정하는 단계,
- 상기 제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지를 획득하는 단계,
- 제 2 다이내믹 레인지를 갖는 상기 이미지를 인코딩하는 단계, 및
- 상기 제 1 에피토미를 인코딩하는 단계를 포함한다.
이러한 인코딩 방법은 저장 또는 송신을 위해, 제 1 에피토미 및 제 2 다이내믹 레인지를 갖는 이미지를 인코딩하는 것을 제안한다.
제 1 다이내믹 레인지를 갖는 이미지를 인코딩하는 대신에, 본 개시에 따르면 제 1 다이내믹 레인지를 갖는 이미지에 대한 정보를 포함하는, 제 1 에피토미 및 제 2 다이내믹 레인지를 갖는 이미지를 인코딩하는 것이 제안된다.
이 인코딩은 송신될 데이터의 사이즈의 감소를 가능하게 한다.
또한, 에피토미들의 송신은, 디코딩 측에서, 제 2 다이내믹 레인지를 갖는 이미지 또는 비디오의, 제 1 다이내믹 레인지를 갖는 이미지 또는 비디오로의 변환을 돕는다.
또한, 이러한 에피토미는, 전통적인 LDR 이미지 또는 비디오와의 하위 호환성을 가지면서, HDR 이미지 또는 비디오를 인코딩하기 위해 표준화 및 전송될 수 있을 것이다.
특히, 인코딩 측에서, 제 2 다이내믹 레인지를 갖는 이미지는, 예를 들어 톤 맵핑 오퍼레이터들을 이용하여, 제 1 다이내믹 레인지를 갖는 이미지를 제 2 다이내믹 레인지를 갖는 이미지로 하향-변환 (down-converting) 함으로써 획득될 수 있을 것이다.
또 다른 예에 따르면, 제 2 다이내믹 레인지를 갖는 이미지는, 예를 들어 캡처 디바이스로부터, 인코딩 측에서 직접 이용가능할 수 있을 것이다.
본 개시는 또한, 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 디코딩하는 방법에 관한 것이고, 이 방법은:
- 상기 제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지를 디코딩하는 단계,
- 제 1 에피토미라고 불리는, 제 1 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 디코딩하는 단계,
- 제 2 다이내믹 레인지를 갖는 이미지 및 제 1 에피토미로부터, 제 1 다이내믹 레인지를 갖는 상기 이미지를 생성하는 단계를 포함한다.
특히, 제 1 에피토미 및 제 2 다이내믹 레인지를 갖는 이미지로부터 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 것은 상술한 바와 같은 생성 방법을 구현할 수 있다.
제안된 개시는 따라서, 제 1 다이내믹 레인지를 갖는 원래의 이미지들/비디오 상의 일부 정보의 이용가능성을 가정하여, HDR 이미지들/비디오와 같은, 제 1 다이내믹 레인지를 갖는 이미지/비디오의 인코딩 및 디코딩을 향상시키기 위한 새로운 솔루션 (solution) 을 제공한다.
특히, 제 1 다이내믹 레인지를 갖는 이미지를 인코딩 및 송신하는 대신에, 제 1 다이내믹 레인지를 갖는 이미지의 에피토미 및 제 2 다이내믹 레인지를 갖는 이미지를 인코딩 및 전송함으로써, HDR 이미지들/비디오의 전송/압축의 문제를 해결한다.
본 개시는 또한, 상기 제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지로부터, 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 생성하기 위한 디바이스에 관한 것이고, 이 디바이스는:
- 제 1 에피토미라고 불리는, 제 1 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 획득하기 위한 모듈,
- 제 2 다이내믹 레인지를 갖는 이미지 및 제 1 에피토미로부터, 제 1 다이내믹 레인지를 갖는 상기 이미지를 생성하기 위한 모듈을 포함한다.
이러한 디바이스는 여기서 상술된 생성 방법을 구현하도록 특별히 적응될 수 있다. 그것은, 결합되거나 분리되어 취해질 수 있는, 본 개시의 실시형태에 따른 생성 방법에 관한 상이한 특성들을 물론 포함할 수 있을 것이다. 따라서, 디바이스의 특성들 및 이점들은 생성 방법의 것들과 동일하고, 더 충분하게 자세히 설명되지 않는다.
또한, 본 개시는, 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 인코딩하기 위한 디바이스에 관한 것이고, 이 디바이스는:
- 제 1 에피토미라고 불리는, 제 1 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 결정하기 위한 모듈,
- 상기 제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지를 획득하기 위한 모듈,
- 제 2 다이내믹 레인지를 갖는 상기 이미지를 인코딩하기 위한 모듈, 및
- 상기 제 1 에피토미를 인코딩하기 위한 모듈을 포함한다.
이러한 디바이스는 여기서 상술된 인코딩 방법을 구현하도록 특별히 적응될 수 있다. 그것은, 결합되거나 분리되어 취해질 수 있는, 본 개시의 실시형태에 따른 인코딩 방법에 관한 상이한 특성들을 물론 포함할 수 있을 것이다. 따라서, 디바이스의 특성들 및 이점들은 인코딩 방법의 것들과 동일하고, 더 충분하게 자세히 설명되지 않는다.
또한, 본 개시는, 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 디코딩하기 위한 디바이스에 관한 것이고, 이 디바이스는:
- 제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지를 디코딩하기 위한 모듈,
- 제 1 에피토미라고 불리는, 제 1 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 디코딩하기 위한 모듈,
- 제 2 다이내믹 레인지를 갖는 이미지 및 제 1 에피토미로부터, 제 1 다이내믹 레인지를 갖는 상기 이미지를 생성하기 위한 모듈을 포함한다.
다시 한번, 이러한 디바이스는 여기서 상술된 디코딩 방법을 구현하도록 특별히 적응될 수 있다. 그것은, 결합되거나 분리되어 취해질 수 있는, 본 개시의 실시형태에 따른 디코딩 방법에 관한 상이한 특성들을 물론 포함할 수 있을 것이다. 따라서, 디바이스의 특성들 및 이점들은 디코딩 방법의 것들과 동일하고, 더 충분하게 자세히 설명되지 않는다.
본 개시의 또 다른 양태는, 생성 방법 및/또는 인코딩 방법 및/또는 디코딩 방법을 수행하도록 적응되는 소프트웨어 코드를 포함하는, 프로세서에 의해 실행가능하고/거나 컴퓨터에 의해 판독가능한 매체 상에 기록되고/거나 통신 네트워크로부터 다운로드가능한 컴퓨터 프로그램 제품에 관한 것이고, 여기서, 소프트웨어 코드는 상술된 방법들 중 적어도 하나의 단계들을 수행하도록 적응된다.
또한, 본 개시는, 전술된 방법들의 적어도 하나의 단계들을 구현하기 위한 프로그램 코드 명령들을 포함하는, 프로세서에 의해 실행될 수 있고 그 위에 기록된 컴퓨터 프로그램 제품을 포함하는 비일시적 (non-transitory) 컴퓨터 판독가능 매체에 관한 것이다.
개시된 실시형태들과 범위에서 상응하는 특정 양태들이 이하 전개된다. 이들 양태들은 단지 본 개시가 취할 수도 있을 소정 형태들의 간단한 개요를 독자에게 제공하기 위해 제시되는 것이고, 이들 양태들은 본 개시의 범위를 제한하도록 의도되지 않음을 이해하여야 한다. 실제로, 본 개시는 이하 전개되지 않을 수도 있는 다양한 양태들을 포함할 수도 있다.
4. 도면들의 간단한 설명
본 개시는, 첨부 도면들을 참조하여, 제한적인 방식이 아닌, 이하의 실시형태 및 실시 예들에 의해 더 잘 이해 및 예시될 것이다.
- 도 1 은 본 개시의 일 실시형태에 따른, 제 2 다이내믹 레인지를 갖는 이미지로부터 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 방법의 주요 단계들을 나타내는 흐름도이다.
- 도 2 는 본 개시의 일 실시형태에 따른, LDR 대 HDR 변환 및 업-스케일링에 적용되는 초고해상도 기술을 나타낸다.
- 도 3 은 본 개시의 일 실시형태에 따른, 제 1 다이내믹 레인지를 갖는 이미지를 인코딩하는 방법의 주요 단계들을 나타낸다.
- 도 4 는 본 개시의 일 실시형태에 따른, 제 1 다이내믹 레인지를 갖는 이미지를 디코딩하는 방법의 주요 단계들을 나타낸다.
- 도 5 내지 도 7 은 도 1 에 따른 생성 방법, 도 3 에 따른 인코딩 방법, 및 도 4 에 따른 디코딩 방법을 각각 구현하는 디바이스들의 블록도들이다.
도 1 및 도 3 내지 도 7 에서, 표현된 블록들은 순전히 기능적 실체들이고, 물리적인 별개의 엔티티들에 반드시 대응할 필요는 없다. 즉, 그것들은 소프트웨어, 하드웨어의 형태로 전개되거나, 하나 이상의 프로세서들을 포함하는 하나 또는 수개의 집적 회로들에서 구현될 수 있을 것이다.
본 개시는, 첨부 도면들을 참조하여, 제한적인 방식이 아닌, 이하의 실시형태 및 실시 예들에 의해 더 잘 이해 및 예시될 것이다.
- 도 1 은 본 개시의 일 실시형태에 따른, 제 2 다이내믹 레인지를 갖는 이미지로부터 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 방법의 주요 단계들을 나타내는 흐름도이다.
- 도 2 는 본 개시의 일 실시형태에 따른, LDR 대 HDR 변환 및 업-스케일링에 적용되는 초고해상도 기술을 나타낸다.
- 도 3 은 본 개시의 일 실시형태에 따른, 제 1 다이내믹 레인지를 갖는 이미지를 인코딩하는 방법의 주요 단계들을 나타낸다.
- 도 4 는 본 개시의 일 실시형태에 따른, 제 1 다이내믹 레인지를 갖는 이미지를 디코딩하는 방법의 주요 단계들을 나타낸다.
- 도 5 내지 도 7 은 도 1 에 따른 생성 방법, 도 3 에 따른 인코딩 방법, 및 도 4 에 따른 디코딩 방법을 각각 구현하는 디바이스들의 블록도들이다.
도 1 및 도 3 내지 도 7 에서, 표현된 블록들은 순전히 기능적 실체들이고, 물리적인 별개의 엔티티들에 반드시 대응할 필요는 없다. 즉, 그것들은 소프트웨어, 하드웨어의 형태로 전개되거나, 하나 이상의 프로세서들을 포함하는 하나 또는 수개의 집적 회로들에서 구현될 수 있을 것이다.
5. 실시형태들의 설명
본 개시의 도면들 및 설명들은 본 개시의 명확한 이해를 위해 관련되는 요소들을 나타내기 위해 단순화된 한편, 명료성을 위해, 통상적인 인코딩 및/또는 디코딩 디바이스들에서 발견되는 많은 다른 엘리먼트들은 제거되었음을 이해할 것이다.
5.1
제 2
다이내믹 레인지를 갖는 이미지/비디오로부터,
제 1
다이내믹 레인지를 갖는 이미지/비디오 생성
5.1.1 일반적 원리
제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지로부터 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 생성하는 방법의 주요 단계들이 도 1 에서 예시된다.
예를 들어, 제 1 다이내믹 레인지를 갖는 이미지가 HDR 이고 제 2 다이내믹 레인지를 갖는 이미지가 LDR 이미지라고 생각하자.
제 1 단계 (11) 동안, 제 1 에피토미 또는 에피토미 HDR 이라고 불리는, 제 1 다이내믹 레인지를 갖는 이미지 (HDR 이미지) 의 에피토미가 획득된다.
에피토미 접근법은, 이미지 내의 반복되는 콘텐츠를 이용함으로써 이미지에서의 중복적인 (redundant) 정보 (텍스처) 를 감소시키는 것을 목적으로 한다. 제 1 에피토미를 구성하기 위해 상이한 기법들이 이용될 수 있다. 예를 들어, H. Hoppe ("Factoring Repeated Content Within and Among Images" - ACM Transaction on Graphics, vol. 27, no. 3, pp. 1-10, 2008) 또는 S. Ch
rigui ("Epitome-based image compression using translational sub-pel mapping" - Proceedings of IEEE MMSP 2011) 에 의해 개시된 기법들, 또는 PCT 출원 WO2012/097919 ("Method and device for extracting an epitome" - THOMSON LICENSING) 에서 개시된 기법이, 제 1 에피토미를 계산하기 위해, 인코딩 측에서 이용가능한, 제 1 다이내믹 레인지를 갖는 원래의 이미지에 적용될 수 있을 것이다. 이들 기법들은 임의의 유형의 이미지들/비디오에 대해 기술됨에 따라, 그것들은 당연히 HDR 이미지들/비디오에도 적용된다.
또한, 제 1 에피토미의 인코딩은 전통적인 LDR 이미지들/비디오와의 하위 호환성을 갖는 HDR 이미지들을 인코딩하기 위해 표준화 및 전송될 수 있다.
제 2 단계 (12) 동안, 제 1 다이내믹 레인지를 갖는 이미지 (HDR 이미지) 가 제 2 다이내믹 레인지를 갖는 이미지 (LDR 이미지) 및 제 1 에피토미 (HDR 에피토미) 로부터 생성된다.
다시 말해, 본 개시는 더 높은 다이내믹 레인지를 갖는 HDR 이미지를 획득하기 위해, 더 낮은 다이내믹 레인지를 갖는 LDR 이미지의 픽셀들의 휘도 값들을 변경하는 것을 목적으로 한다.
예를 들어, 제 1 에피토미는 디코더에 의해 수신될 수 있을 것이고, 이 디코더는, 제 1 에피토미 및 제 2 다이내믹 레인지를 갖는 이미지로부터 제 1 다이내믹 레인지를 갖는 이미지를 생성할 수 있다. 제 1 에피토미는 따라서 LDR 에서 HDR 로의 변환을 돕기 위해 사용된다.
이제, 제 1 에피토미 및 제 2 다이내믹 레인지를 갖는 이미지로부터 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 제 2 단계 (12) 를 보다 자세히 설명하자.
5.1.2 실제 빛 정보 이용
본 개시의 적어도 하나의 실시형태에 따르면, 종래 기술로부터의 역 톤 맵핑 오퍼레이터들은 상술된 기법을 이용하여 향상될 수 있을 것이다.
EuroGraphics 2013 의 절차들에서의, Banterle 외 저 "Real-Time High Fidelity Inverse Tone Mapping for Low Dynamic Range Content" 에 의해 기술된 것과 같은 ITMO들은, 이미지/비디오의 다이내믹 레인지를 하나의 범위로부터 더 높은 범위로 확장하기 위해 일반적으로 이용된다.
이 기법에 따르면, LDR 이미지는 카메라 응답 함수 또는 감마 제거를 이용하여 처음 선형화된다. 선형화된 이미지는 그 다음, 제어가능한 비-선형 확장 곡선을 제공하는, 사진 오퍼레이터의 역을 이용하여 확장된다. 이것은 다음과 같이 정의된다:
여기서, 
는 선형화된 이미지의 픽셀 x 에서의 확장된 휘도이고, 
는 입력 선형화된 LDR 휘도이며, Lwhite 는 곡선의 신장을 결정하고, β 는 파라미터이고 원하는 최대 휘도 출력을 결정한다.
그 다음, 광원 (light source) 샘플들이 샘플링 알고리즘, 예컨대, 메디안-컷 (median-cut) 을 이용하여 선형화된 LDR 이미지로부터 추출된다. 그 다음, 부드러운 필드 Λ 가 다음과 같이 밀도 추정을 이용하여 생성된다:
여기서, x 는 평가할 현재 픽셀의 포지션이고, Ω 는 센터 x 및 반경 
의 구 내부의 샘플들의 셋트이고, V 는 Ω 의 체적이고, 
는 p-번째 샘플의 승수 (power) 이고, K 는 다음에 의해 정의된 커널 밀도 추정기이다:
샘플링 동안, 큰 저 휘도 면적들의 존재로 인해 몇몇 고립된 샘플들이 생성될 수 있다. 이들은 고립된 아웃라이어들 (outliers), 즉 확장될 필요가 없는 영역들을 생성할 수 있다. 이 이슈 (issue) 는, 
이고 여기서 
은 임계치인 경우에, 밀도 추정을 무효화하는 셋트들을 클램핑 (clamping) 함으로써 풀릴 수 있다.
일단 크로스-바이래터럴 필터 (cross-bilateral filter) 를 이용하여 부드러운 필드 Λ 가 계산되고 필터링되면, 확장된 값들 
및 선형화된 LDR 휘도 값들 
이, HDR 이미지의 최종 휘도 값들을 획득하기 위해 가중치들로서 Λ(x) 를 이용하여 선형적으로 보간된다.
본 개시의 적어도 하나의 실시형태에 따라 기존의 iTMOs 를 향상시키기 위해, Λ(x) 가중치들은, LDR 이미지로부터의 실제 빛 조건들 (real light conditions) 의 확장 대신에, 제 1 에피토미로부터 결정된 실제 빛 조건들에 기초할 수 있다.
종래 기술의 기법들에 따른 "블라인드 외삽 (blind extrapolation)" 은 인공적인 빛들을 정말로 생성할 수 있을 것인 반면, 에피토미는 실제 값들을 보장한다. 에피토미는 따라서, iTMO 가 사용할 수 있을, 그것이 희소 (sparse) 한 경우에도, 실제 빛 정보를 제공한다.
그 경우에, HDR 이미지를 생성하기 위해 LDR 이미지의 빛을 연장하는 것을 허용하는 가중 인자 맵 (weight factor map) 인 (Banterle 에 의해 명명된 바와 같은) 광 맵 또는 확장 맵으로부터 가장 가까운 에피토미 차트를 발견하기 위해 최근접 매칭 기준들이 이용될 수 있을 것이다. 대안적으로, (존재할 때) 동일한 로케이션으로부터의 에피토미가, 외삽된 값을 실제 값으로 대체하기 위해 사용될 수 있을 것이다. 그 다음, 공간적 필터링이 광 맵을 평활화한다. 이 기법은 모든 종류의 iTMOs 에 적용됨에 유의하여야 한다.
현재 블록에 대해 최근접 매칭 에피토미를 발견하기 위해, 한가지 솔루션은 현재의 블록과 모든 에피토미 블록들 사이의 차이를 계산하고 가장 낮은 차이 (최근접 매치) 를 갖는 것을 선택하는 것이다. 이 차이는 LDR 과 HDR 블록들 사이의 광 레벨 차이를 고려하기 위해 블록들의 평균 휘도 값을 제거한 후에 계산될 수 있을 것이다. 대안적으로, HDR 에피토미는, 그 후에 동일한 광 도메인에서 차이를 계산하기 위해, (전술된 바와 같이) 먼저 LDR 에피토미로 변환될 수 있다.
단계 (12) 동안, 제 1 다이내믹 레인지를 갖는 이미지는 따라서, 제 1 에피토미로부터 획득된 실제 빛 정보로 생성될 수 있다.
5.1.3
맵핑
함수 결정
본 개시의 적어도 하나의 실시형태에 따르면, 제 2 다이내믹 레인지를 갖는 이미지 및 제 1 에피토미로부터 제 1 다이내믹 레인지를 갖는 이미지를 생성하기 위해 맵핑 함수가 사용될 수 있을 것이다.
이러한 맵핑 함수는 제 2 에피토미라 불리는, 제 2 다이내믹 레인지를 갖는 이미지의 에피토미와, 제 2 다이내믹 레인지를 갖는 이미지 사이에서 결정될 수 있을 것이고, 그 다음, 제 1 다이내믹 레인지를 갖는 이미지를 생성하기 위해, 제 1 에피토미에 적용될 수 있을 것이다.
예를 들어 전술된 PCT 출원 WO2012/097919 에서 개시된 기법 또는 H. Hoppe 에 의해, S. Ch
rigui 에 의해 개시된 것과 같은, 어느 기법들을 이용하여 제 2 에피토미가 결정될 수 있을 것이다. 예를 들어, 제 1 및 제 2 에피토미들은, 양 에피토미들에 적절한 정보가 포함되도록, 동일한 기법을 이용하여 계산될 수 있을 것이다. 또 다른 양태에 따르면, 제 2 에피토미는, 제 1 에피토미의 계산을 위해 사용된 제 1 이미지의 블록들보다는 동일한 포지션에 위치된 제 2 이미지의 블록들로부터 계산된다.
맵핑 함수는 상이한 유형의 것일 수 있을 것이다.
제 1 예에 따르면, 맵핑 함수는 제 2 다이내믹 레인지를 갖는 이미지와 제 2 에피토미 사이의 변환 맵이다. 변환 맵은 제 2 에피토미를 제 2 다이내믹 레인지를 갖는 이미지에 맵핑하기 위해 설계된 할당 벡터들의 셋트를 포함한다.
이러한 변환 맵은 예를 들어 S. Ch
rigui 에 의해 개시된 에피토미를 계산하기 위한 상술된 기법을 이용하여 에피토미와 함께 출력된다.
제 1 다이내믹 레인지를 갖는 이미지는 따라서, 변환 맵을 제 1 에피토미에 적용함으로써, 즉, 제 1 에피토미에, 제 2 에피토미를 제 2 다이내믹 레인지를 갖는 이미지로 맵핑하기 위해 설계된 것들보다는 동일한 할당 벡터들을 적용함으로써, 간단하게 생성될 수 있다.
제 2 예에 따르면, 맵핑 함수는 국부 선형 임베딩 기법 (LLE) 으로부터 결정되고, 제 2 다이내믹 레인지를 갖는 이미지에서의 적어도 하나의 블록과, 제 2 에피토미에서의 K 패치들 사이의 선형 결합이고, 여기서, K > 1 이다 (여기서, 패치는 에피토미로부터 추출된 텍스처 정보의 조각이다).
제 2 예에 따르면, 제 2 다이내믹 레인지를 갖는 이미지에서 적어도 하나의 블록 
를 획득하기 위해, 제 2 에피토미에서 상기 K 패치들의 각각의 패치 
에 적용될 가중치들 
은
와 같이 결정되고, 
이고, K 는 제 2 다이내믹 레인지를 갖는 이미지의 하나의 블록으로부터 획득된 제 2 에피토미에서의 패치들의 수이다.
제 2 에피토미에서의 상기 K 패치들은 제 1 에피토미에서 선택된 K 개의 대응하는 패치들로부터 결정된다.
가중치들 
는 그 다음,
와 같이, 제 1 다이내믹 레인지를 갖는 이미지의 적어도 하나의 블록 
을 재구성하기 위해, 제 1 에피토미에서 K 개의 대응하는 패치들의 각 패치 
에 적용된다.
LLE 함수를 사용하는 대신에, 비-국부적 수단 (non-local means; NLM) 함수들이 맵핑 함수를 결정하기 위해 사용될 수 있을 것이다.
예를 들어, 제 3 예에 따르면, 맵핑 함수는 선형 회귀 또는 커널 회귀를 이용하여 결정된다. 그 다음, 예를 들어 LLE 대신에, 선형 또는 커널 회귀와 같은 다른 국부적 학습 기법을 이용할 수 있다.
예를 들어, 제 2 다이내믹 레인지를 갖는 이미지의 각각의 중첩하는 블록 (중첩 인자는 튜닝될 수 있고 8×8 블록에 대해 7 로 설정될 수 있을 파라미터이다) 에 대해, 제 2 에피토미에서 K 개의 최근접 이웃들 (neighbors) (K-NN) 패치들을 탐색한다. 제 1 에피토미에서의 대응하는 (즉, 공동국부화된 또는 동일한 포지션에 있는) 패치들이 또한 선택되고, 따라서, 회귀 (선형 회귀 또는 커널 회귀) 를 이용하여 맵핑 함수 
를 학습하기 위해 사용되는 패치들의 쌍들을 형성한다.
그 다음, 다변수의 선형 회귀를 고려하면, 문제는
를 최소화하는 함수 
을 찾는 것이다.
이러한 함수는 
형태이고, 따라서 선형 회귀 모델 
에 대응한다.
이러한 함수의 최소화는 최소 제곱 추정기:
를 주고, 여기서, 
는 제 1 에피토미 패치들 
에 의해 컬럼들 (columns) 이 형성되는 매트릭스이고, 
은 제 2 에피토미 대응 패치들 
에 의해 컬럼들이 형성되는 매트릭스이며, 여기서, 
이고, 
는 전치 오퍼레이터 (transpose operator) 이다.
제 2 에피토미 패치들 
은 제 2 다이내믹 레인지를 갖는 이미지로부터 취해지고, 그들의 포지션들은 제 1 에피토미 패치들 
의 포지션들과 일치한다.
5.1.4 초고해상도 기법들 개선
초고해상도 기법들은 또한 상술된 기술을 이용하여 향상될 수 있을 것이다.
보다 구체적으로, 고전적인 초고해상도 기법들은 미지의 고해상도 (HR) 이미지를 복원하기 위해 저해상도 (LR) 이미지들의 셋트를 융합시키는 것을 시도한다.
예를 들어, IEEE International Conference on Image Processing (ICIP) 2013, "Optimized Neighbor Embeddings For Single-Image Super-Resolution" M. Turkan 외 저, 및 IEEE International Conference on Image Processing (ICIP) 2014, "Iterated Neighbor-Embeddings For Image Super-Resolution" M. Turkan 외 저에서 임의의 외부 정보 또는 데이터베이스를 이용하지 않고 단일 저-해상도 이미지로부터의 피라미드식의 초고해상도 (super-resolution; SR) 방법이 제안되었다. 이 방법은 저-해상도 및 고-해상도 이미지 패치 공간들의 국부적 기하학적 유사성들에 의존한다. 입력 (평균 차감되거나 되지 않은) LR 패치 이웃의 고유한 기하학적 특성은 LR 이미지의 어크로스 스케일들로부터 취해진 입력 LR 패치 및 그것의 최근접 이웃들 (K-NN) 로부터 획득된다.
로컬 LR 지오메트리 (geometry) 는 그것의 K-NN 으로부터의 입력 LR 패치의 국부 선형 임베딩 (LLE) 재구성 계수들로 선형적으로 특성화된다. HR 임베딩은 그 다음, 로컬 LR 지오메트리가 HR 패치 공간에서 예약되었다고 가정함으로써, 입력 LR 패치의 발견된 K-NN 의 대응하는 (평균 차감되거나 되지 않은) HR 부모로부터 추정된다 (환각을 느낀다). 현재 HR 패치의 추정치는 그 다음, 입력 LR 패치의 평균 값을 가산함으로써 획득된다. LR 이미지에서의 각 패치에 대해, HR 임베딩이 계산되어 LR 이웃의 로컬 지오메트리를 보존한다. 패치들 사이의 오버랩은 타겟 HR 이미지에서의 로컬 호환성 (compatibility) 및 평활성 (smoothness) 을 적용하기 위해 가능한 한 많이 허용된다.
오버랩 구역 픽셀들은 그 다음, 가중 조치에 기초하여 희소한 표현에 의존하여 선형적으로 결합될 수 있다. 이 방법에서, 입력 LR 패치 및 추정된 HR 패치의 연쇄는 LR 이미지 및 그것의 어크로스 스케일들로부터 취해진 LR 및 HR 이미지 패치들로 구성되는 딕셔너리 (dictionary) 를 통해 분해되었다. 지수적 커널 (kernel) 을 이용하여, 패치들은 그들의 표현의 희소성 (sparseness) 에 의존하여 가중된다, 즉, 가장 희소한 표현은 최고의 가중이 주어지는 등이다.
본 개시의 적어도 하나의 실시형태에 따르면, 임의의 초고해상도 기술들은 에피토미의 이용가능성 덕분에 향상될 수 있다. 예를 들어, 상술된 멀티-레이어 스킴 (scheme) 은 다이내믹 레인지의 확장에 대해 적응될 수 있다.
예를 들어, 도 2 에 도시된 바와 같이, LR 이미지, 및 그것의 제 2 에피토미 (22) 에 대응하는, 제 2 다이내믹 레인지 (21) 를 갖는 이미지를 고려하자. 우리가 획득하기를 희망하는, HR 이미지에 대응하는, 제 1 다이내믹 레인지 (24) 를 갖는 이미지의 제 1 에피토미 (23) 를 또한 고려하자. 이 예에서, 우리가 생성하기를 원하는 제 1 다이내믹 레인지를 갖는 이미지가 제 2 다이내믹 레인지를 갖는 이미지에 비해 업-샘플링된다. 업-샘플링 및 다이내믹 레인지 변환은 따라서 동시에 또는 2 개의 연속적인 단계들에서 수행될 수 있다.
일 예로서, LLE 선형 보간은 K-NN 패치들을 이용하여 행해질 수 있을 것이고, 예를 들어, 도 2 에서 K = 2 이다. K-NN 패치들은 제 2 에피토미 (22) 에서 검색되고, 대응하는 패치들은 제 1 에피토미 (23) 에서 식별된다.
가중치들 
는 따라서, 이미지/비디오의 HDR 버전을 재구성하기 위해, "LR" 데이터에 대해 계산되고, 제 1 에피토미 (23) 에서 K 대응하는 패치들에 대해 적용된다.
가중치들 
는
로서 계산되고, 
이다.
여기서, i 는 보간될 제 2 다이내믹 레인지를 갖는 이미지 (LDR 블록) 에서의 블록 
의 현재 위치이고, k 는 제 2 에피토미 (LDR 에피토미) 에서의 K-NN 개의 선택된 패치들 
의 인덱스이다.
다시 말해서, 제 2 에피토미 (22) 에서 각 패치 
, 
에 각각 적용될 가중치들 
, 
은, 제 2 다이내믹 레인지를 갖는 이미지 (21) 에서 적어도 하나의 블록 
를 획득하기 위해, 
와 같이 결정된다.
LLE 는, 가중치들 
를 계산할 때, 평균 휘도 값을 제거한다는 것에 주목한다.
일단 가중치들 
가 계산되면, 그것들은, 다음과 같이 제 1 다이내믹 레인지를 갖는 이미지의 적어도 하나의 블록 
를 재구성하기 위해, 제 1 에피토미에서 K 대응하는 패치들의 각 패치 
에 적용될 수 있다:
다시 말해, 선형 보간은, HDR 블록을 재구성하기 위해 제 1 에피토미에서 패치들 
로부터 수행되고, 여기서, 패치들 
은 제 2 에피토미에서 선택된 패치들 
의 제 1 에피토미에서의 병치된 (i,k) K-NN 패치들이다.
예를 들어, 가중치들 
, 
는, 제 1 다이내믹 레인지를 갖는 이미지 (24) (HDR 블록) 의 적어도 하나의 블록 
를 재구성하기 위해, 제 1 에피토미 (23) 에서의 각 패치 
, 
에 각각 적용된다.
특히, LR/DR 레이어에서의 패치/블록의 사이즈는 HR/HDR 레이어의 사이즈보다 더 낮다 (비율은 HR 대 LR 레이어들의 해상도들의 비율이다).
기존의 초고해상도 기법들은 따라서 본 개시를 이용하여 향상될 수 있을 것이다.
대응 맵이 에피토미와 함께 이용가능한 경우에, K-NN 검색은 더 이상 필요하지 않음에 유의하여야 한다.
또한, 상술한 바와 같이, 맵핑 함수는 또한, LLE 대신에, 선형 회귀 또는 커널 회귀와 같은, NLM 을 이용하여 결정될 수 있을 것이다.
5.1.5 변형형태들
본 개시의 일 실시형태에 따르면, 도 2 에 도시된 바와 같이, 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 것은, 제 1 다이내믹 레인지를 갖는 업샘플링된 이미지를 생성하기 위해, 제 2 다이내믹 레인지를 갖는 이미지를 업샘플링하는 것을 더 포함한다.
이러한 방식으로, 더 높은 다이내믹 레인지로의 업-샘플링 및 변환은 동시에 수행될 수 있을 것이다. 다른 실시형태에 따르면, 더 높은 다이내믹 레인지로의 업-샘플링 및 변환은 2 개의 연속적인 단계들로 수행된다.
또 다른 실시형태에 따르면, 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 것은:
- 제 1 반복 동안 제 1 다이내믹 레인지를 갖는 상기 이미지로부터, 또는, 다음의 반복들 동안 제 1 다이내믹 레인지를 갖는 상기 정정된 이미지로부터, 제 2 다이내믹 레인지를 갖는 추정된 이미지를 획득하는 것,
- 제 2 다이내믹 레인지를 갖는 이미지와 제 2 다이내믹 레인지를 갖는 추정된 이미지 사이의 추정 에러를 결정하는 것, 및
- 제 1 다이내믹 레인지를 갖는 정정된 이미지를 획득하기 위해, 추정 에러에 응답하여, 제 1 다이내믹 레인지를 갖는 이미지를 정정하는 것
의 적어도 하나의 반복을 포함한다.
생성된 이미지들이 일치하는지 여부를 체크하기 위해 사용되는, 반복적 역-투영은, 다이내믹 레인지 변환 (HDR 재구성), 또는 HDR 재구성 및 업-스케일링 양자에 대해 선택적으로 부가될 수 있다. 역 투영은, 재구성된 HDR (/HR) 이미지들을 LDR (/LR) 이미지로 하향-변환하는 것, 이용가능한 LDR (/LR) 와의 차분을 계산하는 것, 및 이 차분을 다시 HDR (/HR) 차분으로 역으로 상향-변환하여 그것을 재구성된 HDR (/LR) 에 부가하는 것으로 이루어진다.
업-스케일링 동작을 위해, 동적 연산에 대해 우리가 TMO 및 iTMO 오퍼레이터들의 이용가능성을 가정할 때, 선형 보간 필터가 사용된다.
또한, 오버랩핑 블록들에 대해 상술한 기법들은 비-오버랩핑 블록들에 대해 이용될 수 있을 것이다.
5.2
제 2
다이내믹 레인지를 갖는 이미지/비디오로부터,
제 1
다이내믹 레인지를 갖는 이미지들/비디오의 인코딩/디코딩
제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를, 상기 제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지로부터 생성하는 방법은, 제 1 다이내믹 레인지를 갖는 이미지/비디오의 인코딩/디코딩을 향상시키기 위해 이용될 수 있을 것이다.
HDR 이미지/비디오의 인코딩/디코딩, 및 특히 송신/압축의 문제를 해결하기 위해 상이한 기법들이 제안되었었다.
예를 들어, HDR 이미지들을 지원하기 위한 그것의 코딩 스킴의 JPEG 표준화된 확장, 및 RGBE 및 다른 16-비트 및 32-비트 고정 점 컬러 컴포넌트 표현들로서 알려진 공유된-지수 부동점 컬러 포맷을 통해 HDR 을 또한 지원하는 JPEG-XR 포맷.
MPEG 는 또한 MPEG HEVC 에 대한 HDR 비디오의 지원을 고려하고 있다.
하지만, 이러한 기법들은, 전송될 데이터의 사이즈로부터 또는 재구성된 이미지들의 제한된 품질에 대해 고통받는다.
5.2.1 인코더
본 개시에 따라 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 인코딩하는 방법의 주요 단계들이 도 3 에서 예시된다.
제 1 단계 (31) 동안, 제 1 다이내믹 레인지를 갖는 이미지, 예를 들어 HDR 이미지, 의 에피토미가 결정된다. 원래의 HDR 이미지는 정말로 인코딩 측에서 이용가능할 수 있다.
제 2 단계 (32) 동안, 상기 제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지, 예를 들어 LDR 이미지, 가 획득된다.
예를 들어, LDR 이미지는, 톤 맵핑 오퍼레이터를 이용하여, HDR 이미지로부터 획득된다. 변형형태에서, 점선들로 도시된 바와 같이, LDR 이미지는 인코딩 측에서, 예를 들어 캡처 디바이스로부터 직접 이용가능하다.
제 3 단계 (33) 동안, 제 2 다이내믹 레인지 (LDR) 를 갖는 이미지 및 제 1 에피토미 (HDR 에피토미) 가 인코딩된다. 제 1 에피토미는 메타-데이터 인코딩을 위해 임의의 디바이스를 이용하여 인코딩될 수 있을 것이다 (331). 그것은 전통적인 인코딩 스킴 또는 전용 인코딩 스킴을 이용하여 인코딩될 수 있다. 제 2 다이내믹 레인지를 갖는 이미지는 임의의 이미지 또는 비디오 인코더 (MPEG, JPEG, ...) 를 이용하여 인코딩될 수 있을 것이다 (332).
LDR 이미지/비디오 및 HDR 에피토미는 그 다음, 디코더 측에서 제 1 및 제 2 다이내믹 레인지들 이미지/비디오 버전들을 재구성하기 위해, 예를 들어 2 개의 상이한 네트워크들 (브로드캐스트 및 IP) 또는 2 개의 IP 링크들을 이용함으로써 분리하여, 또는, 예를 들어 동일 스트림 내에서 LDR 이미지/비디오 및 HDR 에피토미를 함께 멀티플렉싱함으로써, 동시에 송신될 수 있을 것이다. 에피토미는 따라서, HDR 이미지들/비디오를 인코딩하기 위해 사용되는 메타-데이터로서 고려될 수 있다.
제 1 에피토미는, 전용 MPEG SEI 메시지로서, (예를 들어 MPEG 에서의 심도 맵들에 유사한) 연관된 이미지로서, 개인 데이터로서, 또는 예를 들어 MPEG-2 TS 신택스를 이용하여 송신될 수 있을 것이다.
에피토미가 희소한 경우에, 낮은 비트-레이트가 사용되어야 함에 유의하여야 한다.
5.2.2 디코더
본 개시에 따라 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 디코딩하는 방법의 주요 단계들이 도 4 에 예시된다.
디코딩의 제 1 단계 (41) 동안, 제 2 다이내믹 레인지 (LDR) 를 갖는 이미지 및 제 1 에피토미 (HDR 에피토미) 가 디코딩된다. 제 1 에피토미는 메타-데이터 디코딩을 위한 임의의 디바이스를 이용하여 디코딩될 수 있을 것이다 (411). 그것은 전통적인 디코딩 스킴 또는 전용 디코딩 스킴을 이용하여 디코딩될 수 있다. 제 2 다이내믹 레인지를 갖는 이미지는 임의의 이미지 또는 비디오 디코더 (MPEG, JPEG, ...) 를 이용하여 디코딩될 수 있을 것이다 (412).
제 2 단계 (42) 동안, 제 1 다이내믹 레인지 (HDR) 를 갖는 이미지는, (디코딩됨에 따라) 제 2 다이내믹 레인지를 갖는 이미지 및 제 1 에피토미로부터 생성 또는 재구성된다.
이러한 제 1 다이내믹 레인지를 갖는 이미지는 상술한 생성 방법을 이용하여 생성될 수 있을 것이다.
5.3
디바이스들
도 5 는 본 개시의 일 실시형태에 따른, 제 2 다이내믹 레인지를 갖는 이미지로부터, 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 생성하기 위한 디바이스의 일 예를 도식적으로 나타낸다. 생성 디바이스의 오직 필수적인 엘리먼트들만이 도시된다.
이러한 생성 디바이스는 적어도:
- 제 1 에피토미라고 불리는, 제 1 다이내믹 레인지를 갖는 이미지의 에피토미를 획득하기 위한 모듈 (51);
- 제 2 다이내믹 레인지를 갖는 이미지 및 제 1 에피토미로부터, 제 1 다이내믹 레인지를 갖는 이미지를 생성하기 위한 모듈 (52);
- 휘발성 메모리와 같은, 저장하는 수단 (53);
- 디바이스의 비-휘발성 메모리에 저장된 애플리케이션들 및 프로그램들을 실행하기 위한 하나 이상의 프로세서들 (54);
- 생성 디바이스 기능성들을 수행하기 위한 통상의 기술자에게 잘 알려진 다양한 모듈들 및 모든 수단들을 접속하기 위한 내부 버스 (B1)
를 포함한다.
도 6 은 본 개시의 일 실시형태에 따른, 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 인코딩하기 위한 디바이스의 일 예를 나타낸다. 인코딩 디바이스의 오직 필수적인 엘리먼트들만이 도시된다.
이러한 인코딩 디바이스는 적어도:
- 제 1 에피토미라고 불리는, 제 1 다이내믹 레인지를 갖는 이미지의 에피토미를 결정하기 위한 모듈 (61);
- 상기 제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지를 획득하기 위한 모듈 (62);
- 제 2 다이내믹 레인지를 갖는 이미지를 인코딩하기 위한 모듈 (63); 및
- 상기 제 1 에피토미를 인코딩하기 위한 모듈 (64);
- 휘발성 메모리와 같은, 저장하는 수단 (65);
- 디바이스의 비-휘발성 메모리에 저장된 애플리케이션들 및 프로그램들을 실행하기 위한 하나 이상의 프로세서들 (66);
- 인코딩 디바이스 기능성들을 수행하기 위한 통상의 기술자에게 잘 알려진 다양한 모듈들 및 모든 수단들을 접속하기 위한 내부 버스 (B2)
를 포함한다.
도 7 은 본 개시의 일 실시형태에 따른, 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 디코딩하기 위한 디바이스의 일 예를 나타낸다. 디코딩 디바이스의 오직 필수적인 엘리먼트들만이 도시된다.
이러한 디코딩 디바이스는 적어도:
- 상기 제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지를 디코딩하기 위한 모듈 (71);
- 제 1 에피토미라고 불리는, 제 1 다이내믹 레인지를 갖는 이미지의 에피토미를 디코딩하기 위한 모듈 (72);
- 제 2 다이내믹 레인지를 갖는 이미지 및 제 1 에피토미로부터, 제 1 다이내믹 레인지를 갖는 이미지를 생성하기 위한 모듈 (73);
- 휘발성 메모리와 같은, 저장하는 수단 (74);
- 디바이스의 비-휘발성 메모리에 저장된 애플리케이션들 및 프로그램들을 실행하기 위한 하나 이상의 프로세서들 (75);
- 디코딩 디바이스 기능성들을 수행하기 위한 통상의 기술자에게 잘 알려진 다양한 모듈들 및 모든 수단들을 접속하기 위한 내부 버스 (B3)
를 포함한다.
이러한 생성 디바이스, 인코딩 디바이스, 및/또는 디코딩 디바이스는 각각, 순전히 소프트웨어 구현에 따라, 순전히 하드웨어 구현에 따라 (예를 들어, ASIC, FPGA, VLSI, ... 에서와 같이 전용 컴포넌트의 형태로), 또는 디바이스 내로 통합된 수개의 전자 컴포넌트들의 형태로, 또는 하드웨어 엘리먼트들 및 소프트웨어 엘리먼트들의 혼합의 형태로 구현될 수 있을 것이다.
도면들에서의 플로우차트 및/또는 블록도들은, 본 개시의 다양한 실시형태들에 따른, 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 가능한 구현들의 구성, 동작 및 기능성을 나타낸다. 이와 관련하여, 플로우차트 또는 블록도들에서의 각 블록은, 특정된 논리적 기능(들)을 구현하기 위한 하나 이상의 실행가능한 명령들을 포함하는, 모듈, 세그먼트, 또는 코드의 부분을 나타낼 수도 있다.
예를 들어, 제 1 다이내믹 레인지를 갖는 이미지의 에피토미를 획득하기 위한 모듈 (51) 및 제 1 다이내믹 레인지를 갖는 이미지를 생성하기 위한 모듈 (52) 은 생성 디바이스의 메모리에 저장된 소프트웨어 컴포넌트들로서 제공될 수도 있다. 하나 이상의 프로세싱 유닛들 (54) 은, 다양한 실시형태들에 따라, 제 1 다이내믹 레인지를 갖는 이미지의 에피토미를 획득하는 것, 및 제 2 다이내믹 레인지를 갖는 이미지 및 제 1 에피토미로부터, 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 것의 각 기능들을 수행하기 위해, 다양한 소프트웨어 프로그램들 및/또는 소프트웨어 컴포넌트들의 명령들의 셋트들을 실행하도록 구성될 수도 있다.
제 1 다이내믹 레인지를 갖는 이미지의 에피토미를 결정하기 위한 모듈 (61), 제 2 다이내믹 레인지를 갖는 이미지를 획득하기 위한 모듈 (62), 제 2 다이내믹 레인지를 갖는 이미지를 인코딩하기 위한 모듈 (63), 및 상기 제 1 에피토미를 인코딩하기 위한 모듈 (64) 은 또한, 인코딩 디바이스의 메모리에 저장된 소프트웨어 컴포넌트들로서 제공될 수도 있다. 하나 이상의 프로세싱 유닛들 (66) 은, 다양한 실시형태들에 따라, 제 1 다이내믹 레인지를 갖는 이미지의 에피토미를 결정하는 것, 제 2 다이내믹 레인지를 갖는 이미지를 획득하는 것, 제 2 다이내믹 레인지를 갖는 이미지를 인코딩하는 것, 및 상기 제 1 에피토미를 인코딩하는 것의 각 기능들을 수행하기 위해, 다양한 소프트웨어 프로그램들 및/또는 소프트웨어 컴포넌트들의 명령들의 셋트들을 실행하도록 구성될 수도 있다.
제 2 다이내믹 레인지를 갖는 이미지를 디코딩하기 위한 모듈 (71), 제 1 다이내믹 레인지를 갖는 이미지의 에피토미를 디코딩하기 위한 모듈 (72), 제 1 다이내믹 레인지를 갖는 이미지를 생성하기 위한 모듈 (73) 은, 디코딩 디바이스의 메모리에 저장된 소프트웨어 컴포넌트들로서 제공될 수도 있다. 하나 이상의 프로세싱 유닛들 (75) 은, 다양한 실시형태들에 따라, 제 2 다이내믹 레인지를 갖는 이미지를 디코딩하는 것, 제 1 에피토미라고 불리는, 제 1 다이내믹 레인지를 갖는 이미지의 에피토미를 디코딩하는 것, 및 제 2 다이내믹 레인지를 갖는 이미지 및 제 1 에피토미로부터, 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 것의 각 기능들을 수행하기 위해, 다양한 소프트웨어 프로그램들 및/또는 소프트웨어 컴포넌트들의 명령들의 셋트들을 실행하도록 구성될 수도 있다.
일부 대안적인 구현형태들에서, 블록에서 언급된 기능들은 도면들에서 언급된 순서 외로 발생할 수도 있음에 또한 유의하여야 한다. 예를 들어, 연속하여 도시된 2 개의 블록들은, 사실, 수반되는 기능성에 의존하여, 실질적으로 동시에 실행될 수도 있고, 또는, 블록들은 때로는 역순으로 실행될 수도 있으며, 또는, 블록들은 교번 순서로 실행될 수도 있다. 블록도들 및/또는 플로우차트 예시의 각 블록, 및 블록도들 및/또는 플로우차트 예시에서의 블록들의 조합들은, 특정 기능들 또는 행위들을 수행하는 특수 목적 하드웨어-기반 시스템들에 의해, 또는 특수 목적 하드웨어 및 컴퓨터 명령들의 조합들에 의해 구현될 수 있다. 명시적으로 기술되지 않았지만, 본 실시형태들은 임의의 조합 또는 서브-조합으로 채용될 수도 있다.
통상의 기술자에 의해 이해되는 바와 같이, 본 원리들의 양태들은 시스템, 방법, 컴퓨터 프로그램 또는 컴퓨터 판독가능 매체로서 구현될 수 있다. 따라서, 본 원리들의 양태들은, 전체적으로 하드웨어 실시형태, (펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함하는) 전체적으로 소프트웨어 실시형태, 또는 "회로", "모듈", 또는 "시스템" 으로서 본 명세서에서 모두 일반적으로 지칭될 수 있는 소프트웨어 및 하드웨어 양태들을 결합하는 실시형태의 형태를 취할 수 있다. 또한, 본 원리들의 양태들은 컴퓨터 판독가능 저장 매체의 형태를 취할 수 있다. 하나 이상의 컴퓨터 판독가능 저장 매체(들)의 임의의 조합이 이용될 수도 있다.
컴퓨터 판독가능 저장 매체는 하나 이상의 컴퓨터 판독가능 매체(들)에 포함되고 컴퓨터에 의해 실행가능한, 거기에 포함된 컴퓨터 판독가능 프로그램 코드를 갖는 컴퓨터 판독가능 프로그램 제품의 형태를 취할 수 있다. 본 명세서에서 사용된 컴퓨터 판독가능 저장 매체는, 그 안에 정보를 저장하기 위한 고유한 능력 및 그것으로부터의 정보의 취출을 제공하기 위한 고유한 능력이 주어진 비-일시적 저장 매체로서 고려된다. 컴퓨터 판독가능 저장 매체는, 예를 들어, 하지만 비제한적으로, 전자적, 자기적, 광학적, 전자기적, 적외선, 또는 반도체 시스템, 장치, 또는 디바이스, 또는 전술한 것들의 임의의 적합한 조합일 수 있다. 다음의 것들은, 본 원리들이 적용될 수 있는 컴퓨터 판독가능 저장 매체들의 보다 구체적인 예들을 제공하지만, 통상의 기술자에 의해 쉽게 이해되는 바와 같이, 단지 예시적인 것이고, 망라적인 열거가 아님을 이해하여야 한다: 포터블 컴퓨터 디스크, 하드 디스크, 랜덤 액세스 메모리 (RAM), 판독-전용 메모리 (ROM), 소거가능 프로그래머블 판독-전용 메모리 (EPROM 또는 플래시 메모리), 포터블 콤팩트 디스크 판독-전용 메모리 (CD-ROM), 광학 저장 디바이스, 자기 저장 디바이스, 또는 전술한 것들의 임의의 적합한 조합.
Claims (19)
- 제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지로부터 상기 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 생성하는 방법으로서,
- 제 1 에피토미 (epitome) 라고 불리는, 제 1 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 획득하는 단계 (11),
- 제 2 다이내믹 레인지를 갖는 상기 이미지 및 상기 제 1 에피토미로부터, 제 1 다이내믹 레인지를 갖는 상기 이미지를 생성하는 단계 (12) 를 포함하는, 이미지를 생성하는 방법. - 제 1 항에 있어서,
상기 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 단계 (12) 는,
- 제 2 다이내믹 레인지를 갖는 이미지로부터, 제 2 에피토미라고 불리는, 제 2 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 결정하는 단계,
- 상기 제 2 에피토미와 제 2 다이내믹 레인지를 갖는 상기 이미지 사이의 변환 맵을 결정하는 단계,
- 상기 변환 맵을 상기 제 1 에피토미에 적용하여, 제 1 다이내믹 레인지를 갖는 상기 이미지를 생성하는 단계를 포함하는, 이미지를 생성하는 방법. - 제 1 항 또는 제 2 항에 있어서,
상기 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 단계는, 제 1 다이내믹 레인지를 갖는 업샘플링된 이미지를 생성하기 위해, 제 2 다이내믹 레인지를 갖는 상기 이미지를 업샘플링하는 단계를 더 포함하는, 이미지를 생성하는 방법. - 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
- 제 1 반복 동안 제 1 다이내믹 레인지를 갖는 상기 이미지로부터, 또는, 다음의 반복들 동안 제 1 다이내믹 레인지를 갖는 정정된 이미지로부터, 제 2 다이내믹 레인지를 갖는 추정된 이미지를 획득하는 단계,
- 제 2 다이내믹 레인지를 갖는 상기 이미지와 제 2 다이내믹 레인지를 갖는 상기 추정된 이미지 사이의 추정 에러를 결정하는 단계, 및
- 제 1 다이내믹 레인지를 갖는 정정된 이미지를 획득하기 위해, 상기 추정 에러에 응답하여, 제 1 다이내믹 레인지를 갖는 상기 이미지를 정정하는 단계
의 적어도 하나의 반복을 포함하는, 이미지를 생성하는 방법. - 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 디코딩하는 방법으로서,
- 상기 제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지를 디코딩하는 단계 (411),
- 제 1 에피토미 (epitome) 라고 불리는, 제 1 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 디코딩하는 단계 (412),
- 제 2 다이내믹 레인지를 갖는 상기 이미지 및 상기 제 1 에피토미로부터, 제 1 다이내믹 레인지를 갖는 상기 이미지를 생성하는 단계 (42) 를 포함하는, 이미지를 디코딩하는 방법. - 제 5 항에 있어서,
상기 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 단계는,
- 제 2 다이내믹 레인지를 갖는 이미지로부터, 제 2 에피토미라고 불리는, 제 2 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 결정하는 단계,
- 상기 제 2 에피토미와 제 2 다이내믹 레인지를 갖는 상기 이미지 사이의 변환 맵을 결정하는 단계,
- 상기 변환 맵을 상기 제 1 에피토미에 적용하여, 제 1 다이내믹 레인지를 갖는 상기 이미지를 생성하는 단계를 포함하는, 이미지를 디코딩하는 방법. - 제 5 항 또는 제 6 항에 있어서,
상기 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 단계는, 제 1 다이내믹 레인지를 갖는 업샘플링된 이미지를 생성하기 위해, 제 2 다이내믹 레인지를 갖는 상기 이미지를 업샘플링하는 단계를 더 포함하는, 이미지를 디코딩하는 방법. - 제 5 항에 있어서,
- 제 1 반복 동안 제 1 다이내믹 레인지를 갖는 상기 이미지로부터, 또는, 다음의 반복들 동안 제 1 다이내믹 레인지를 갖는 정정된 이미지로부터, 제 2 다이내믹 레인지를 갖는 추정된 이미지를 획득하는 단계,
- 제 2 다이내믹 레인지를 갖는 상기 이미지와 제 2 다이내믹 레인지를 갖는 추정된 이미지 사이의 추정 에러를 결정하는 단계, 및
- 제 1 다이내믹 레인지를 갖는 정정된 이미지를 획득하기 위해, 상기 추정 에러에 응답하여, 제 1 다이내믹 레인지를 갖는 상기 이미지를 정정하는 단계
의 적어도 하나의 반복을 포함하는, 이미지를 디코딩하는 방법. - 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 인코딩하는 방법으로서,
- 제 1 에피토미 (epitome) 라고 불리는, 제 1 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 결정하는 단계 (31),
- 상기 제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지를 획득하는 단계 (32),
- 제 2 다이내믹 레인지를 갖는 상기 이미지를 인코딩하는 단계 (331), 및
- 상기 제 1 에피토미를 인코딩하는 단계 (332) 를 포함하는, 이미지를 인코딩하는 방법. - 제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지로부터, 상기 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 생성하기 위한 디바이스로서,
- 제 1 에피토미 (epitome) 라고 불리는, 제 1 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 획득하기 위한 모듈 (51),
- 제 2 다이내믹 레인지를 갖는 상기 이미지 및 상기 제 1 에피토미로부터, 제 1 다이내믹 레인지를 갖는 상기 이미지를 생성하기 위한 모듈 (52) 을 포함하는, 이미지를 생성하기 위한 디바이스. - 제 10 항에 있어서,
상기 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 것은,
- 제 2 다이내믹 레인지를 갖는 상기 이미지로부터, 제 2 에피토미라고 불리는, 제 2 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 결정하는 것,
- 상기 제 2 에피토미와 제 2 다이내믹 레인지를 갖는 상기 이미지 사이의 변환 맵을 결정하는 것,
- 상기 변환 맵을 상기 제 1 에피토미에 적용하여, 제 1 다이내믹 레인지를 갖는 상기 이미지를 생성하는 것을 포함하는, 이미지를 생성하기 위한 디바이스. - 제 10 항 또는 제 11 항에 있어서,
상기 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 것은, 제 1 다이내믹 레인지를 갖는 업샘플링된 이미지를 생성하기 위해, 제 2 다이내믹 레인지를 갖는 상기 이미지를 업샘플링하는 것을 더 포함하는, 이미지를 생성하기 위한 디바이스. - 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 디코딩하기 위한 디바이스로서,
- 상기 제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지를 디코딩하기 위한 모듈 (71),
- 제 1 에피토미 (epitome) 라고 불리는, 제 1 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 디코딩하기 위한 모듈 (72),
- 제 2 다이내믹 레인지를 갖는 상기 이미지 및 상기 제 1 에피토미로부터, 제 1 다이내믹 레인지를 갖는 상기 이미지를 생성하기 위한 모듈 (73) 을 포함하는, 이미지를 디코딩하기 위한 디바이스. - 제 13 항에 있어서,
상기 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 것은,
- 제 2 다이내믹 레인지를 갖는 상기 이미지로부터, 제 2 에피토미라고 불리는, 제 2 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 결정하는 것,
- 상기 제 2 에피토미와 제 2 다이내믹 레인지를 갖는 상기 이미지 사이의 변환 맵을 결정하는 것,
- 상기 변환 맵을 상기 제 1 에피토미에 적용하여, 제 1 다이내믹 레인지를 갖는 상기 이미지를 생성하는 것을 포함하는, 이미지를 디코딩하기 위한 디바이스. - 제 13 항 또는 제 14 항에 있어서,
상기 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 것은, 제 1 다이내믹 레인지를 갖는 업샘플링된 이미지를 생성하기 위해, 제 2 다이내믹 레인지를 갖는 상기 이미지를 업샘플링하는 것을 더 포함하는, 이미지를 디코딩하기 위한 디바이스. - 제 1 다이내믹 레인지를 갖는 적어도 하나의 이미지를 인코딩하기 위한 디바이스로서,
- 제 1 에피토미 (epitome) 라고 불리는, 제 1 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 결정하기 위한 모듈 (61),
- 상기 제 1 다이내믹 레인지보다 더 낮은 제 2 다이내믹 레인지를 갖는 이미지를 획득하기 위한 모듈 (62),
- 제 2 다이내믹 레인지를 갖는 상기 이미지를 인코딩하기 위한 모듈 (63), 및
- 상기 제 1 에피토미를 인코딩하기 위한 모듈 (64) 을 포함하는, 이미지를 인코딩하기 위한 디바이스. - 비일시적 컴퓨터 판독가능 매체로서,
상기 비일시적 컴퓨터 판독가능 매체는 그 위에 기록되고 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 제품을 포함하고,
상기 컴퓨터 프로그램 제품은,
- 제 1 에피토미 (epitome) 라고 불리는, 제 1 다이내믹 레인지를 갖는 이미지의 에피토미를 획득하는 단계,
- 제 2 다이내믹 레인지를 갖는 이미지 및 상기 제 1 에피토미로부터, 제 1 다이내믹 레인지를 갖는 상기 이미지를 생성하는 단계를 포함하는 방법을 구현하기 위한 프로그램 코드 명령들을 포함하는, 비일시적 컴퓨터 판독가능 매체. - 제 17 항에 있어서,
상기 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 단계는,
- 제 2 다이내믹 레인지를 갖는 상기 이미지로부터, 제 2 에피토미라고 불리는, 제 2 다이내믹 레인지를 갖는 상기 이미지의 에피토미를 결정하는 단계,
- 상기 제 2 에피토미와 제 2 다이내믹 레인지를 갖는 상기 이미지 사이의 변환 맵을 결정하는 단계,
- 상기 변환 맵을 상기 제 1 에피토미에 적용하여, 제 1 다이내믹 레인지를 갖는 상기 이미지를 생성하는 단계를 포함하는, 비일시적 컴퓨터 판독가능 매체. - 제 17 항 또는 제 18 항에 있어서,
상기 제 1 다이내믹 레인지를 갖는 이미지를 생성하는 단계는, 제 1 다이내믹 레인지를 갖는 업샘플링된 이미지를 생성하기 위해, 제 2 다이내믹 레인지를 갖는 이미지를 업샘플링하는 단계를 더 포함하는, 비일시적 컴퓨터 판독가능 매체.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15305520.7 | 2015-04-09 | ||
| EP15305520.7A EP3079364A1 (en) | 2015-04-09 | 2015-04-09 | Methods and devices for generating, encoding or decoding images with a first dynamic range, and corresponding computer program products and computer-readable medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20160121444A true KR20160121444A (ko) | 2016-10-19 |
Family
ID=52946495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160043552A KR20160121444A (ko) | 2015-04-09 | 2016-04-08 | 제 1 명암비를 갖는 이미지들을 생성, 인코딩 또는 디코딩하기 위한 방법들 및 디바이스들, 및 대응하는 컴퓨터 프로그램 제품들 및 컴퓨터-판독가능 매체 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10271060B2 (ko) |
| EP (1) | EP3079364A1 (ko) |
| JP (1) | JP2016201800A (ko) |
| KR (1) | KR20160121444A (ko) |
| CN (1) | CN106060414A (ko) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6969541B2 (ja) * | 2016-04-12 | 2021-11-24 | ソニーグループ株式会社 | 送信装置および送信方法 |
| EP3418972A1 (en) * | 2017-06-23 | 2018-12-26 | Thomson Licensing | Method for tone adapting an image to a target peak luminance lt of a target display device |
| CN107942321B (zh) * | 2017-11-21 | 2019-09-24 | 中国电子科技集团公司第四十一研究所 | 一种基于fpga的侧音测距中的测距音处理方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7653261B2 (en) * | 2004-11-12 | 2010-01-26 | Microsoft Corporation | Image tapestry |
| US8014445B2 (en) * | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
| US8204338B2 (en) * | 2008-02-14 | 2012-06-19 | Microsoft Corporation | Factoring repeated content within and among images |
| US8340463B1 (en) * | 2008-08-29 | 2012-12-25 | Adobe Systems Incorporated | Candidate pruning for patch transforms |
| US8233739B1 (en) * | 2008-08-29 | 2012-07-31 | Adobe Systems Incorporated | Patch jittering for visual artifact correction |
| KR101791919B1 (ko) * | 2010-01-22 | 2017-11-02 | 톰슨 라이센싱 | 예시-기반의 초 해상도를 이용하여 비디오 압축을 위한 데이터 프루닝 |
| JP5844745B2 (ja) * | 2010-02-02 | 2016-01-20 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | パッチシフティングを通じてベクトル量子化誤差を低減する方法および装置 |
| CN102986214A (zh) * | 2010-07-06 | 2013-03-20 | 皇家飞利浦电子股份有限公司 | 从低动态范围图像生成高动态范围图像 |
| WO2012015359A1 (en) * | 2010-07-26 | 2012-02-02 | Agency For Science, Technology And Research | Method and device for image processing |
| FR2966679A1 (fr) * | 2010-10-25 | 2012-04-27 | France Telecom | Procedes et dispositifs de codage et de decodage d'au moins une image a partir d'un epitome, signal et programme d'ordinateur correspondants |
| FR2966680A1 (fr) * | 2010-10-25 | 2012-04-27 | France Telecom | Procedes et dispositifs de codage et de decodage d'au moins une image a partir d'un epitome hierarchique, signal et programme d'ordinateur correspondants |
| WO2012097881A1 (en) * | 2011-01-21 | 2012-07-26 | Thomson Licensing | Method of coding a sequence of images and corresponding reconstruction method |
| EP2666291A1 (en) | 2011-01-21 | 2013-11-27 | Thomson Licensing | Method and device for extracting an epitome |
| WO2012097882A1 (en) * | 2011-01-21 | 2012-07-26 | Thomson Licensing | Method of coding an image epitome |
| WO2012147018A2 (en) * | 2011-04-28 | 2012-11-01 | Koninklijke Philips Electronics N.V. | Apparatuses and methods for hdr image encoding and decoding |
| EP2903288A1 (en) * | 2014-01-30 | 2015-08-05 | Thomson Licensing | Method and apparatus for constructing an epitome from an image |
-
2015
- 2015-04-09 EP EP15305520.7A patent/EP3079364A1/en not_active Ceased
-
2016
- 2016-04-06 US US15/092,587 patent/US10271060B2/en not_active Expired - Fee Related
- 2016-04-08 CN CN201610216709.4A patent/CN106060414A/zh active Pending
- 2016-04-08 KR KR1020160043552A patent/KR20160121444A/ko not_active Application Discontinuation
- 2016-04-11 JP JP2016078891A patent/JP2016201800A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20160300335A1 (en) | 2016-10-13 |
| US10271060B2 (en) | 2019-04-23 |
| CN106060414A (zh) | 2016-10-26 |
| JP2016201800A (ja) | 2016-12-01 |
| EP3079364A1 (en) | 2016-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2801191B1 (en) | Method of and device for encoding an hdr video together with an ldr video, method of and device for reconstructing one of an hdr video and an ldr video coded together and non-transitory storage medium | |
| CN108028941B (zh) | 用于通过超像素编码和解码数字图像的方法和装置 | |
| CN110612722B (zh) | 对数字光场图像编码和解码的方法和设备 | |
| KR101878515B1 (ko) | 움직임 보상된 샘플 기반 초해상도를 이용한 비디오 인코딩 | |
| JP7416490B2 (ja) | ビデオコーディングにおけるディープ・ニューラル・ネットワークに基づくフレーム間予測のための方法及び装置、およびコンピュータプログラム | |
| US8396313B2 (en) | Image compression and decompression using the PIXON method | |
| JP5844745B2 (ja) | パッチシフティングを通じてベクトル量子化誤差を低減する方法および装置 | |
| KR20150123810A (ko) | 이미지 동적 범위 변환 오퍼레이터를 선택하는 방법 및 디바이스 | |
| KR20160121444A (ko) | 제 1 명암비를 갖는 이미지들을 생성, 인코딩 또는 디코딩하기 위한 방법들 및 디바이스들, 및 대응하는 컴퓨터 프로그램 제품들 및 컴퓨터-판독가능 매체 | |
| CN115552905A (zh) | 用于图像和视频编码的基于全局跳过连接的cnn滤波器 | |
| Schiopu et al. | Deep-learning-based macro-pixel synthesis and lossless coding of light field images | |
| US10091485B2 (en) | Method for encoding and reconstructing depth image using color image information | |
| Jung | Lossless embedding of depth hints in JPEG compressed color images | |
| WO2014156647A1 (ja) | 複数の入力画像をエンコーディングする方法、プログラムを格納する記憶媒体および装置 | |
| Alphonse et al. | Enhancement of video demosaicing techniques using optimization algorithm | |
| KR20130056441A (ko) | 깊이 영상을 위한 움직임 예측 부호화/복호화 장치 및 방법 | |
| Drynkin et al. | Non-Orthogonal Sampling as the Basis for Video Data Compression and Reconstruction | |
| Ebrahim et al. | Multi-view image compression for Visual Sensor Network based on Block Compressive Sensing and multi-phase joint decoding | |
| JP2023533416A (ja) | ビデオベースの点群コーディングのための条件付き再着色 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITB | Written withdrawal of application |