KR101768857B1 - 다시야 비디오 코딩에서 로우 다이내믹 레인지 이미지들로부터 하이 다이내믹 레인지 이미지들의 생성 - Google Patents

다시야 비디오 코딩에서 로우 다이내믹 레인지 이미지들로부터 하이 다이내믹 레인지 이미지들의 생성 Download PDF

Info

Publication number
KR101768857B1
KR101768857B1 KR1020137002942A KR20137002942A KR101768857B1 KR 101768857 B1 KR101768857 B1 KR 101768857B1 KR 1020137002942 A KR1020137002942 A KR 1020137002942A KR 20137002942 A KR20137002942 A KR 20137002942A KR 101768857 B1 KR101768857 B1 KR 101768857B1
Authority
KR
South Korea
Prior art keywords
dynamic range
image
high dynamic
field
view
Prior art date
Application number
KR1020137002942A
Other languages
English (en)
Other versions
KR20130124435A (ko
Inventor
빌헬무스 헨드리쿠스 알폰수스 브룰스
렘코 테오도루스 요하네스 무이스
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20130124435A publication Critical patent/KR20130124435A/ko
Application granted granted Critical
Publication of KR101768857B1 publication Critical patent/KR101768857B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

HDR 및 3D 이미지 구조 분석을 결합하고 코딩하기 위한 몇몇 방식들이 개시되고, 특히 제 1 시야 하이 다이내믹 레인지 이미지 및 제 2 시야 하이 다이내믹 레인지 이미지를 인코딩하기 위한 인코딩 장치로서, 상기 제 1 시야 하이 다이내믹 레인지 이미지 및 제 2 시야 하이 다이내믹 레인지 이미지를 수신하도록 구성된 제 1 및 제 2 HDR 이미지 수신기들(203, 1201); 상기 제 1 시야 하이 다이내믹 레인지 이미지의 로우 다이내믹 레인지 표현으로부터 상기 제 1 시야 하이 다이내믹 레인지 이미지를 예측하도록 구성된 예측기(209); 및 상기 제 1 시야 하이 다이내믹 레인지 이미지, 상기 제 2 시야 하이 다이내믹 레인지 이미지의 로우 다이내믹 레인지 표현, 또는 상기 제 1 시야 하이 다이내믹 레인지 이미지의 로우 다이내믹 레인지 표현 중 적어도 하나로부터 상기 제 2 시야 하이 다이내믹 레인지 이미지를 예측하기 위한 시야 예측기(1203)를 포함하는, 상기 인코딩 장치가 개시된다.

Description

다시야 비디오 코딩에서 로우 다이내믹 레인지 이미지들로부터 하이 다이내믹 레인지 이미지들의 생성{GENERATION OF HIGH DYNAMIC RANGE IMAGES FROM LOW DYNAMIC RANGE IMAGES IN MULTI-VIEW VIDEO CODING}
본 발명은 로우 다이내믹 레인지 이미지들로부터 하이 다이내믹 레인지 이미지들의 생성, 특히 하이 다이내믹 레인지 정보를 3D 정보와 결합하는 것에 관한 것이다.
다양한 소스 신호들의 디지털 인코딩은 디지털 신호 표현 및 통신이 아날로그 표현 및 통신을 점점 대체함에 따라 지난 수십년에 걸쳐 점점 중요해졌다. 인코딩된 이미지들 및 비디오 시퀀스들로부터 획득될 수 있는 품질을 개선하는 동시에 데이터 레이트를 수용가능한 레벨들로 유지하는 방법에 대한 계속적인 연구 및 개발이 진행중이다.
인지된 이미지 품질에 대한 중요한 인자는 이미지가 디스플레이될 때 재생될 수 있는 다이내믹 레인지이다. 그러나, 관습적으로, 상기 재생된 이미지들의 다이내믹 레인지는 정상 시력(normal vision)과 관련하여 실질적으로 감소되는 경향이 있다. 실제 장면들에서 상이한 조명 영역들의 상이한 객체들의 다이내믹 레인지는 10.000: 1 이상(14 비트 선형)에 용이하게 대응하여, 예를 들어, 좁은 빔 조사들로 조명된 동굴에서와 같이 매우 정밀한 휘도 열화들이 모든 휘도 레벨들에서 발생할 수 있어서, 특정한 디바이스에 대한 최종 최적의 어떠한 렌더링이 어떻든, 가능한 많은 유용한 정보를 포함(또한 예를 들어, 블루레이 디스크와 같은 고정된 메모리 공간 매체, 또는 제한된 대역폭 네트워크 접속들과 같이 가능한 적은 비트들을 소비하는)하는 이미지 인코딩이 바람직하다.
전통적으로, 이미지 센서들 및 디스플레이들의 다이내믹 레인지는 예를 들어, 인쇄에 대해서 또한 전형적인 레인지인, 40:1 다이내믹 레인지에 대해 전형적인 텔레비전이 이미징하도록 시도되는, 약 2 내지 3 자릿수로 제한되고, 즉, 이들 매체에 대해 8비트가 충분한 것으로 고려되지만, 최근에 생겨난 더 높은 품질 렌더링 디바이스들, 및/또는 이들 디바이스들에 대한 최적의 렌더링과 특히 관련된 더 스마트한 이미지 처리에 대해 더 이상 충분하지 않다. 즉, 이는 전통적인 렌더링 디바이스들 상의 지각적으로 인식할 수 있는 아티팩트들을 도입하지 않고 8-비트 감마-인코딩된 포맷들의 이미지들을 전통적으로 저장 및 송신할 수 있었다. 그러나, 더 정밀하고 생기 있는 이미지를 기록하기 위한 노력으로, 그들의 요구들로부터 6 자릿수까지의 다이내믹 레인지들을 기록할 수 있는 새로운 하이 다이내믹 레인지(HDR; High Dynamic Range) 이미지 센서들이 개발되었다. 또한, 대부분의 특수 효과들, 컴퓨터 그래픽 강화 및 다른 제작-후 작업은 더 높은 비트 깊이들로 이미 일상적으로 실시되어, 컴퓨터 상에 생성된 시각적 세계를 잠재적으로 무한하게 한다.
또한, 종래 디스플레이 시스템들의 콘트라스트 및 피크 휘도는 계속 증가한다. 최근에, 새로운 프로토타입 디스플레이들은 5000 Cd/m-2만큼 높은 피크 휘도 및 5 자릿수의 이론적 콘트라스트 비들을 갖게 되었다. 전통적으로 인코딩된 8-비트 신호들이 이러한 디스플레이들에 디스플레이될 때, 성가신 양자화 및 클립핑 아티팩트들(clipping artifacts)이 나타날 수 있고, 또한, 8비트 신호들의 제한된 정보가 이들 디바이스들로 충실히 렌더링될 수 있는 - 그레이 값들의 분포로 - 복합 이미지를 생성하기에는 일반적으로 불충분하다. 특히, 전통적인 비디오 포맷들은 새로운 HDR 이미지에 포함된 풍부한 정보를 전달하기에 불충분한 헤드룸(headroom) 및 정확도를 제안한다.
그 결과, 소비자들이 종래의 센서들 및 디스플레이 시스템들의 능력으로부터 충분히 이익을 취할 수 있도록 하는 새로운 비디오 포맷들에 대한 수요가 증가하고 있다. 바람직하게, 이러한 포맷들은 새로운 HDR-인에이블된 디바이스들이 상기 새로운 포맷에 의해 전달된 부가적인 정보를 완전히 이용하면서, 리거시 장비가 여전히 통상의 비디오 스트림들을 수신할 수 있도록 역방향-호환가능하다. 따라서, 인코딩된 비디오 데이터가 HDR 이미지들을 나타낼 뿐만 아니라 종래의 장비에 디스플레이될 수 있는 전통적인 로우 다이내믹 레인지(LDR: Low Dynamic Range) 이미지들의 인코딩을 가능하게 하는 것이 바람직하다.
가장 간단한 방식은 LDR 및 HDR 스트림들을 서로 독립적으로(동시 송출(simulcast)) 압축 및 저장하는 것이다. 그러나, 이는 높은 데이터 레이트를 초래할 것이다. 압축 효율을 향상시키기 위해, HDR 데이터가 LDR 스트림으로부터 예측되는 계층간 예측(inter-layer prediction)을 채용하는 것이 제안되어, 실제 HDR 데이터와 그 예측 간의 더 작은 차이들만이 인코딩되고 저장/송신될 필요가 있다.
그러나, LDR 데이터로부터 HDR 예측은 어렵고 비교적 부정확한 경향이 있다. 실제로, 대응하는 LDR과 HDR 간의 관계는 매우 복잡한 경향이 있고 이미지의 상이한 부분들 간에 종종 강하게 가변할 수 있다. 예를 들어, LDR 이미지가 HDR 이미지의 톤 맵핑 및 컬러 그레이딩(color grading)에 의해 종종 생성되었다. 정확한 톤 맵핑/컬러 그레이딩, 및 상기 HDR 및 LDR 이미지들 간의 관계는 컬러 그레이딩에 대해 선택된 특정한 알고리즘 및 파라미터들에 의존하고 소스에 따라 가변할 것이다. 실제로, 컬러 그레이딩은 상이한 콘텐트 아이템들에 대해서뿐만 아니라 상이한 이미지들 간 및 정말로 이미지의 상이한 부분들 간에 매우 자주 주관적이고 개별적으로 변경될 수 있다. 예를 들어, 컬러 그레이더(color grader)는 이미지의 상이한 객체들을 선택할 수 있고 별도의 개별적인 컬러 그레이딩을 각각의 객체에 적용할 수 있다. 결과적으로, LDR 이미지들로부터의 HDR 이미지들의 예측은 전형적으로 매우 어렵고 이상적으로 상기 HDR 이미지로부터 상기 LDR 이미지를 생성하기 위해 사용된 특정한 방식에 대한 조정을 필요로 한다.
HDR 이미지를 예측하기 위한 방식의 예는 Mantiuk, R., Efremov, A., Myszkowski, K., 및 Seidel, H. 2006. Backward compatible high dynamic range MPEG video compression. ACM Trans. Graph. 25, 3 (2006년 7월), 713 내지 723에 제공된다. 이러한 방식에서 전반적인 복원 기능(global reconstruction function)이 추정되고 계층간 예측을 수행하기 위해 사용된다. 그러나, 상기 방식은 차선의 결과들을 도출하는 경향이 있고 원하는 것보다 덜 정확한 경향이 있다. 특히, 전반적인 복원 기능의 사용은, 예를 들어, 상이한 컬러 그레이딩을 적용함에 따른 것과 같은 HDR 및 LDR 데이터 간의 관계에서 국부적인 변화(local variation)들을 고려할 수 없기 때문에 개략적인 추정만을 가능하게 한다.
다른 방식이 매크로블록(MB) 레벨에서 동작하는 계층간 예측에 대한 매커니즘이 제공되는 미국 특허 출원 US2009/0175338에 제안된다. 상기 방식에서, 상기 HDR 스트림은 매크로블록 데이터의 선형 회귀(linear regression)에 대응하는, 스케일 및 오프셋 파라미터를 추정함으로써 각 매크로블록에 대해 국부적으로 예측된다. 그러나, 이는 더 국부적인 예측을 가능하게 하지만, 상기 적용된 선형 모델의 간결함은 LDR 및 HDR 데이터 간의 복잡한 관계, 특히 높은 콘트라스트 및 컬러 에지들의 인접성을 정확하게 설명하는 것에 종종 실패한다.
따라서, HDR/LDR 데이터를 인코딩하고 및/또는 LDR 데이터로부터 HDR 데이터를 생성하기 위한 개선된 방식이 유익할 것이다. 특히 증가된 융통성, 용이한 구현 및/또는 동작, 개선 및/또는 자동화된 조정, 증가된 정확성, 감소된 인코딩 데이터 레이트들 및/또는 향상된 성능을 허용하는 시스템이 유익할 것이다.
최근에 생겨난 다른 중요한 트렌드는 텔레비전들, 게임 모니터들, 또는 모바일 디바이스들과 같은 많은 디스플레이 디바이스들이 적어도 어떤 형태의 3차원 정보를 렌더링하려고 한다는 것이다. 이는 시장이 이들 품질 양상들, 즉, 3D LDR 또는 2D HDR 중 어느 것 또는 둘 모두에 대해 동시에 진행하고 싶어하지 않지만, 동일한 낮은 용량 시스템들(예를 들어, 블루레이 디스크)에 대해 두 가지 품질 개선들을 동시에 갖기 원할 수도 있다.
따라서, 본 발명은 하나 이상의 상기한 단점들을 단독으로 또는 조합하여 바람직하게 완화, 경감 또는 제거하려고 하고, 특히 일부 HDR 정보 및 일부 3D 정보 모두를 용이하게 인코딩하기 위한 옵션들을, 특히 동일한 이미지들 장면 캡처링의 충실한 표현의 상이한 코딩 품질들 간의 기존의 관계들을 사용할 수 있는 효율적인 방식으로 제공하려고 한다. 한쪽의 HDR과 다른 쪽의 3D 간의 다소의 유사성들을 이용함으로써 재빨리 인코딩할 수 있다면 특히 흥미롭다. 특히, 많은 현재 코딩 기술들이 다른 것으로부터 하나의 표현의 예측에 의존하기 때문에(예를 들어, 개략적인 LDR 표현으로부터 더 높은 다이내믹 레인지 그레이딩), 이러한 하나의 개선(예를 들어, HDR)의 예측이 다른 개선(1차 시야에 더하여 부가적인 3D 시야들)의 예측들을 사용할 수 있다면 매우 유용하다. 한편으로 예를 들어 장면의 공간적 객체들을 정확하게 식별하기 위해(그리고 이들의 경계들을 정확하게 결정하기 위해) 예를 들어 3D 모듈에서 사용된 매우 복잡한 발견적 학습법(heuristic)들이 또한 LDR로부터 HDR로의 예측들에 재사용될 수 있다면(예를 들어, 정확하게 결정된 객체에 대해 국부적인 LDR-HDR 변환 전략을 정확하게 적용) 유용할 뿐만 아니라, 다른 한편으로, 하나의 모드의 부가적인 정보로부터 도출가능한 부가적인 정보(예를 들어, 부가적인 시야들로부터 도출가능한 정보)가 변환들, 예를 들어, 다른 모드의 예측들을 더 쉽고, 충실하게 행할 수 있게 한다(예를 들어, 상기 LDR/HDR 인코딩 전략이 영역들 또는 객체들의 더 나은 식별을 가능하게 하는 (메타)데이터를 포함하면, 깊이 맵은 LDR-HDR 변환을 위해 유용한 정보를 형성할 수 있고 그 역도 가능하며, 이는 3차원 장면 분석 및 표현/코딩을 보조할 수 있다).
본 발명의 일 양태에 따라, 입력 이미지를 인코딩하는 방법에 있어서: 상기 입력 이미지를 수신하는 단계; 기준 로우 다이내믹 레인지 이미지 및 대응하는 기준 하이 다이내믹 레인지 이미지에 응답하여 하이 다이내믹 레인지 화소 값들의 형태의 출력 데이터로 이미지 공간 위치들 및 상기 이미지 공간 위치들과 연관된 로우 다이내믹 레인지 화소 값들의 컬러 좌표들의 조합을 입력 세트들의 형태의 입력 데이터를 관련시키는 맵핑을 생성하는 단계; 및 상기 맵핑에 응답하여 상기 입력 이미지를 인코딩함으로써 출력 인코딩된 데이터 스트림을 생성하는 단계를 포함하는, 인코딩 방법이 제공된다.
본 발명은 개선된 인코딩을 제공할 수 있다. 예를 들어, 인코딩이 특정한 다이내믹 레인지 특성들, 특히 적절한 디코더에 의해 수행될 수 있는 다이내믹 레인지 확장 기술들과 연관된 특성들로 조정되고 타겟팅되도록 할 수 있다. 본 발명은 예를 들어 디코더로 하여금 수신된 인코딩된 로우 다이내믹 레인지 이미지를 하이 다이내믹 레인지 이미지로 향상하도록 할 수 있는 인코딩을 제공할 수 있다. 기준 이미지들에 기초한 맵핑의 사용은 특히 많은 실시예들에서 이미지 특성들에 대한 자동화된 및/또는 개선된 조정이 미리 결정된 규칙들 또는 알고리즘들을 필요로 하지 않고 특정한 이미지 특성들에 대해 개발되고 적용되는 것을 가능하게 할 수 있다.
상기 조합과 연관되는 것으로 고려될 수 있는 이미지 위치들은 상기 특정한 입력 세트에 대한 것일 수 있다. 예를 들어, 상기 특정한 입력 세트에 대한 이미지 공간 위치들에 대한 이웃 기준을 만족하는 이미지 위치들로서 결정될 수 있다. 예를 들어, 이는 상기 입력 세트의 위치로부터 주어진 거리보다 짧고, 상기 입력 세트의 위치와 동일한 이미지 객체에 속하고, 상기 입력 세트, 등에 대해 규정된 위치 범위들 내에 속하는 등의 이미지 위치들을 포함할 수 있다.
예를 들어 상기 조합은 복수의 컬러 좌표 값들을 더 작은 값들, 구체적으로 단일 값으로 조합하는 조합일 수 있다. 예를 들어, 상기 조합은 컬러 좌표들(RGB 값들과 같은)을 단일 휘도 값으로 결합할 수 있다. 다른 예로서, 상기 조합은 단일 평균 또는 미분 값으로 이웃 화소들의 값들을 조합할 수 있다. 다른 실시예들에서, 상기 조합은 대안적으로 또는 부가적으로 복수의 값들일 수 있다. 예를 들어, 상기 조합은 복수의 이웃 화소들 각각에 대한 화소 값을 포함하는 데이터 세트일 수 있다. 따라서, 일부 실시예들에서, 상기 조합은 상기 맵핑에 대한 하나의 부가적인 차원(즉, 상기 공간적 차원들에 부가하여)에 대응할 수 있고 다른 실시예들에서 상기 조합은 상기 맵핑의 복수의 부가적인 차원들에 대응할 수 있다.
컬러 좌표는 상기 화소의 시각적 특성을 반영하는 임의의 값일 수 있고 구체적으로 휘도 값, 채도 값(chroma value) 또는 색차 값(chrominance value)일 수 있다. 일부 실시예들에서 상기 조합은 상기 입력 세트에 대한 이미지 공간 위치에 대응하는 단 하나의 화소 값을 포함한다.
상기 방법은 상기 맵핑을 다이내믹하게 생성하는 단계를 포함할 수 있다. 예를 들어, 새로운 맵핑은 비디오 시퀀스의 각각의 이미지 또는 예를 들어, 각각의 N번째 이미지(N은 정수)에 대해 생성될 수 있다.
본 발명의 선택적 특징에 따라, 상기 입력 이미지는 입력 하이 다이내믹 레인지 이미지이고; 상기 방법은: 상기 입력 하이 다이내믹 레인지 이미지에 대응하는 입력 로우 다이내믹 레인지 이미지를 수신하는 단계; 상기 입력 로우 다이내믹 레인지 이미지로부터 예측 기반 이미지를 생성하는 단계; 상기 맵핑에 응답하여 상기 예측 기반 이미지로부터 예측된 하이 다이내믹 레인지 이미지를 예측하는 단계; 인코딩된 하이 다이내믹 레인지 데이터를 생성하기 위해 상기 예측된 하이 다이내믹 레인지 이미지 및 상기 입력 하이 다이내믹 레인지 이미지에 응답하여 상기 잔여 하이 다이내믹 레인지 이미지를 인코딩하는 단계; 및 상기 출력 인코딩된 데이터 스트림에 상기 인코딩된 하이 다이내믹 레인지 데이터를 포함하는 단계를 더 포함한다.
본 발명은 HDR 이미지들의 개선된 인코딩을 제공할 수 있다. 특히, LDR 이미지로부터 HDR 이미지의 개선된 예측이 달성될 수 있어서 감소된 잔여 신호, 따라서 더 효율적인 인코딩을 가능하게 한다. 따라서 상기 조합된 신호의 상기 향상 층의 데이터 레이트가 달성될 수 있다.
상기 방식은 예측이 HDR 및 LDR 이미지들 간의 특정한 관계에 대한 개선된 및/또는 자동 조정에 기초하도록 할 수 있다. 예를 들어, 상기 방식은 상이한 소스들, 이미지들 또는 이미지들의 실제 부분들에 대한 것인지에 관계없이, 상이한 톤 맵핑 및 컬러 그레이딩 방식들의 적용을 반영하도록 자동으로 조정될 수 있다. 예를 들어, 상기 방식은 개별 이미지 객체들 내 특정한 특성들로 조정할 수 있다.
많은 시나리오들에서 상기 방식은 단순히 상기 입력 이미지의 LDR 인코딩을 포함하는 베이스 층을 사용하는 기존의 LDR 장비와 역 호환가능하게 할 수 있다. 또한, 상기 방식은 낮은 복잡도 구현을 가능하게 하여 감소된 비용, 자원 요건들 및 사용, 또는 용이한 설계 또는 제작을 가능하게 한다.
상기 예측 기반 이미지는 구체적으로 인코딩된 데이터를 생성하기 위해 상기 입력 로우 다이내믹 레인지 이미지를 인코딩하고; 상기 인코딩된 데이터를 디코딩함으로써 상기 예측 기반 이미지를 생성함으로써 생성될 수 있다.
상기 방법은 상기 입력 이미지에 대한 인코딩된 데이터를 포함하는 제 1 층 및 상기 잔여 이미지에 대한 인코딩된 데이터를 포함하는 제 2 층을 갖도록 상기 출력 인코딩된 데이터 스트림을 생성하는 단계를 포함한다. 상기 제 2 층은 선택적인 층일 수 있고 구체적으로 상기 제 1 층은 베이스 층일 수 있고 상기 제 2 층은 향상 층일 수 있다.
상기 잔여 하이 다이내믹 레인지 이미지의 인코딩은 구체적으로 상기 입력 하이 다이내믹 레인지 이미지와 상기 예측된 다이내믹 레인지 이미지의 비교에 의해 상기 하이 다이내믹 레인지 이미지의 적어도 일부에 대한 잔여 데이터를 생성하는 단계; 및 상기 잔여 데이터를 인코딩함으로써 상기 인코딩된 하이 다이내믹 레인지 데이터의 적어도 일부를 생성하는 단계를 포함할 수 있다.
본 발명의 선택적인 특징에 따라, 각각의 입력 세트는 각각의 공간 이미지 차원에 대한 공간적 간격 및 상기 조합에 대한 적어도 하나의 값 간격에 대응하고, 상기 맵핑의 생성은 상기 기준 로우 다이내믹 레인지 이미지의 적어도 이미지 위치들의 그룹의 각각의 이미지 위치들에 대해: 상기 각각의 이미지 위치들에 대응하는 공간적 간격들을 갖는 적어도 하나의 매칭 입력 세트 및 상기 기준 로우 다이내믹 레인지 이미지의 상기 각각의 이미지 위치에 대한 조합 값에 대응하는 조합에 대한 값 간격을 결정하는 단계; 및 상기 기준 하이 다이내믹 레인지 이미지의 각각의 이미지 위치에 대한 하이 다이내믹 레인지 화소 값에 응답하여 상기 매칭 입력 세트에 대한 출력 하이 다이내믹 레인지 화소 값을 결정하는 단계를 포함한다.
이는 다이내믹 레인지 수정에 대한 적절한 맵핑을 결정하는데 효율적이고 정확한 방식을 제공한다.
일부 실시예들에서, 복수의 매칭 입력 세트들은, 이미지 위치들의 상기 적어도 한 그룹의 적어도 하나의 제 1 위치에 대해, 그리고 상기 맵핑 하이 다이내믹 레인지 이미지의 상기 제 1 위치에 대한 하이 다이내믹 레인지 화소 값에 응답하여 상기 복수의 매칭 입력 세트들의 각각에 대한 출력 하이 다이내믹 레인지 화소 값들을 결정하기 위하여 결정될 수 있다.
일부 실시예들에서, 상기 방법은 제 1 입력 세트를 매칭하는 이미지 위치들의 상기 적어도 하나의 그룹의 이미지 위치들에 대한 모든 하이 다이내믹 레인지 화소 값들로부터의 기여를 평균화하는 것에 응답하여 상기 제 1 입력 세트에 대한 상기 출력 하이 다이내믹 레인지 화소 값을 결정하는 단계를 더 포함한다.
본 발명의 선택적인 특징에 따라, 상기 맵핑은: 공간적으로 서브샘플링된 맵핑; 시간적으로 서브샘플링된 맵핑; 및 조합 값 서브샘플링된 맵핑 중 적어도 하나이다.
많은 실시예들에서 이는 여전히 유리한 동작을 가능하게 하면서 개선된 효율성 및/또는 감소된 데이터 레이트 또는 자원 요건들을 제공한다. 상기 일시적인 서브샘플링은 이미지들의 시퀀스의 이미지들의 서브세트에 대한 맵핑을 업데이트하는 것을 포함할 수 있다. 상기 조합 값 서브샘플링은 상기 화소 값들의 양자화 결과보다 상기 조합의 하나 이상의 값들의 거친 양자화(coarser quantization)의 적용을 포함할 수 있다. 상기 공간적 서브샘플링은 복수의 화소 위치들을 덮는 각각의 입력 세트들을 포함할 수 있다.
본 발명의 선택적인 특징에 따라, 상기 입력 이미지는 입력 하이 다이내믹 레인지 이미지이고; 상기 방법은: 상기 입력 하이 다이내믹 레인지 이미지에 대응하는 입력 로우 다이내믹 레인지 이미지를 수신하는 단계; 상기 입력 로우 다이내믹 레인지 이미지로부터 예측 기반 이미지를 생성하는 단계; 상기 맵핑에 응답하여 상기 예측 기반 이미지로부터 예측된 하이 다이내믹 레인지 이미지를 예측하는 단계; 및 상기 입력 하이 다이내믹 레인지 이미지 및 상기 예측된 하이 다이내믹 레인지 이미지의 비교에 응답하여 상기 예측된 하이 다이내믹 레인지 이미지에 대한 맵핑 및 잔여 하이 다이내믹 레인지 이미지 중 적어도 하나를 조정하는 단계를 더 포함한다.
이는 개선된 인코딩을 가능하게 하고 많은 실시예들에서 상기 데이터 레이트가 특정한 이미지 특성들로 조정되도록 할 수 있다. 예를 들어, 상기 데이터 레이트는 가변 최소 데이터 레이트를 달성하기 위해 데이터 레이트의 다이내믹 조정으로 주어진 품질 레벨에 대해 요구된 레벨로 감소될 수 있다.
일부 실시예들에서, 상기 조정은 맵핑의 일부 또는 전부를 수정할지 여부를 결정하는 것을 포함할 수 있다. 예를 들어, 상기 맵핑이 입력 하이 다이내믹 레인지 이미지로부터 주어진 양보다 많이 일탈하는 예측된 하이 다이내믹 레인지 이미지를 초래하면, 상기 맵핑은 개선된 예측을 도출하기 위해 부분적으로 또는 완전히 수정될 수 있다. 예를 들어, 상기 조정은 특정한 입력 세트들에 대한 맵핑에 의해 제공된 특정한 하이 다이내믹 레인지 화소 값들을 수정하는 것을 포함할 수 있다.
일부 실시예들에서, 상기 방법은 상기 입력 하이 다이내믹 레인지 이미지와 상기 예측된 하이 다이내믹 레인지 이미지의 비교에 응답하여 상기 출력 인코딩된 데이터 스트림에 포함하도록 적어도 하나의 맵핑 데이터 및 잔여 하이 다이내믹 레인지 이미지 데이터 중 원소들의 선택을 포함할 수 있다. 상기 맵핑 데이터 및/또는 상기 잔여 하이 다이내믹 레인지 이미지 데이터는 예를 들어 상기 입력 하이 다이내믹 레인지 이미지와 상기 예측된 하이 다이내믹 레인지 이미지 간의 차이가 주어진 문턱값을 초과하는 영역들로 제한될 수 있다.
본 발명의 선택적인 특징에 따라, 상기 입력 이미지는 기준 하이 다이내믹 레인지 이미지이고 기준 로우 다이내믹 레인지 이미지는 상기 입력 이미지에 대응하는 입력 로우 다이내믹 레인지 이미지이다.
이는 많은 실시예들에서 입력 로우 다이내믹 레인지 이미지로부터 하이 다이내믹 레인지 이미지의 매우 효율적인 예측을 가능하게 하고, 많은 시나리오들에서 로우 및 하이 다이내믹 레인지 이미지들 모두의 특히 효율적인 인코딩을 제공할 수 있다. 상기 방법은 또한 상기 출력 인코딩된 데이터 스트림의 맵핑의 적어도 일부를 특징으로 하는 데이터를 맵핑하는 단계를 더 포함할 수 있다.
본 발명의 선택적 특징에 따라, 상기 맵핑을 위한 입력 세트들은 이미지 공간 위치들과 연관된 깊이 표시들을 더 포함하고 상기 맵핑은 또한 깊이와 하이 다이내믹 레인지 화소 값들 간의 관계를 반영한다. 이는 개선된 맵핑을 제공할 수 있고 예를 들어 상기 입력 이미지에 대한 개선된 예측을 생성하도록 사용되는 맵핑을 가능하게 할 수 있다. 상기 방식은 주어진 품질 레벨에 대해 감소된 데이터 레이트를 가능하게 한다. 깊이 표시는 깊이(z 방향) 값 또는 디스패리티 값을 포함하는 상기 이미지의 깊이의 임의의 적절한 표시일 수 있다.
본 발명의 선택적인 특징에 따라, 상기 입력 이미지는 다-시야 이미지의 하이 다이내믹 레인지 제 1 시야 이미지에 대응하고 상기 방법은 상기 하이 다이내믹 레인지 제 1 시야 이미지에 응답하여 상기 다-시야 이미지에 대한 하이 다이내믹 레인지 제 2 시야 이미지를 인코딩하는 단계를 더 포함한다.
본 방식은 다-시야 이미지들의 특히 효율적인 인코딩을 가능하게 하고 품질비에 대해 개선된 데이터 레이트 및/또는 용이한 구현을 가능하게 할 수 있다. 상기 다-시야 이미지는 동일한 장면의 상이한 시야들에 대응하는 복수의 이미지들을 포함하는 이미지일 수 있다. 상기 다-시야 이미지는 구체적으로 오른쪽 및 왼쪽 이미지(예를 들어, 뷰어의 오른쪽 및 왼쪽 눈의 시야에 대응하는)를 포함하는 입체 이미지일 수 있다. 상기 하이 다이내믹 레인지 제 1 시야 이미지는 구체적으로 상기 하이 다이내믹 레인지 제 2 시야 이미지의 예측(또는 부가적인 예측)을 생성하도록 사용될 수 있다. 일부 경우들에서, 상기 하이 다이내믹 레인지 제 1 시야 이미지는 상기 하이 다이내믹 레인지 제 2 시야 이미지에 대한 예측으로서 바로 사용될 수 있다. 본 방식은 LDR/HDR 다시야 이미지들의 매우 효율적인 결합/조합된 인코딩을 가능하게 할 수 있다. 상기 하이 다이내믹 레인지 이미지는 구체적으로 하이 다이내믹 레인지 제 1 시야 이미지일 수 있다.
본 발명의 선택적인 특징에 따라, 상기 하이 다이내믹 레인지 제 1 시야 이미지 및 상기 하이 다이내믹 레인지 제 2 시야 이미지는 상기 하이 다이내믹 레인지 제 2 시야 이미지에 의존하지 않고 인코딩된 상기 하이 다이내믹 레인지 제 1 시야 이미지 및 상기 하이 다이내믹 레인지 제 1 시야 이미지로부터의 데이터를 사용하여 인코딩된 상기 하이 다이내믹 레인지 제 2 시야 이미지와 함께 공동으로 인코딩될 수 있고, 상기 인코딩된 데이터는 상기 하이 다이내믹 레인지 제 1 시야 이미지에 대한 데이터를 포함하는 1차 데이터 스트림 및 상기 하이 다이내믹 레인지 제 2 시야 이미지에 대한 데이터를 포함하는 2차 비트스트림을 포함하는 별도의 데이터 스트림들로 분할되고, 상기 1차 및 2차 비트스트림들은 별도의 코드들을 구비하는 상기 1차 및 2차 데이터 스트림들에 대한 데이터와 함께 상기 출력 인코딩된 데이터 스트림으로 멀티플렉싱된다.
이는 개선된 역 호환성을 가능하게 할 수 있는 다-시야 이미지들의 데이터 스트림의 특히 효율적인 인코딩을 제공할 수 있다. 본 방식은 완벽하게 가능하지는 않은 디코더들로 하여금 단일 시야 이미지들을 효율적으로 디코딩하게 하는 역 호환성과 다-시야 HDR 이미지들의 결합 인코딩의 장점들을 조합할 수 있다.
본 발명의 선택적인 특징에 따라, 인코딩 모듈은 인코딩될 이미지에 대한 이미지 데이터를 수신하기 위한 이미지 데이터 입력, 인코딩될 상기 이미지에 대한 예측을 수신하기 위한 예측 입력, 및 인코딩될 상기 이미지에 대한 인코딩 데이터를 출력하기 위한 데이터 출력을 포함하고, 상기 인코딩 모듈은 상기 예측 및 이미지 데이터로부터 상기 인코딩 데이터를 생성하도록 동작가능하고; 상기 하이 다이내믹 레인지 제 1 시야 이미지의 인코딩은 상기 이미지 데이터 입력 상의 상기 하이 다이내믹 레인지 이미지에 대한 예측 입력 및 이미지 데이터 상의 맵핑으로부터 생성된 예측을 수신할 때 상기 인코딩 모듈에 의해 수행되고, 상기 하이 다이내믹 레인지 제 2 시야 이미지의 인코딩은 상기 이미지 데이터 입력 상의 상기 하이 다이내믹 레인지 제 2 시야 이미지에 대한 예측 입력 및 이미지 데이터 상의 상기 하이 다이내믹 레인지 제 1 시야 이미지로부터 생성된 예측을 수신할 때 상기 인코딩 모듈에 의해 수행된다.
이는 특히 효율적이고 및/또는 낮은 복잡도 인코딩을 가능하게 할 수 있다. 상기 인코딩 모듈은 다른 기능에 대해 재사용되는 것이 바람직할 수 있다. 상기 인코딩 모듈은 예를 들어 H264 단일 시야 인코딩 모듈일 수 있다.
본 발명의 일 양태에 따라, 로우 다이내믹 레인지 이미지로부터 하이 다이내믹 레인지 이미지를 생성하는 방법이 제공되고, 상기 방법은: 상기 로우 다이내믹 레인지 이미지를 수신하는 단계; 하이 다이내믹 레인지 화소 값들의 형태의 출력 데이터로 이미지 공간 위치들과 연관된 로우 다이내믹 레인지 화소 값들의 컬러 좌표들의 조합 및 상기 이미지 공간 위치들의 입력 세트들의 형태의 입력 데이터를 관련시키는 맵핑을 제공하는 단계로서, 상기 맵핑은 기준 로우 다이내믹 레인지 이미지 및 대응하는 기준 하이 다이내믹 레인지 이미지 간의 다이내믹 레인지 관계를 반영하는, 상기 제공 단계; 및 상기 로우 다이내믹 레인지 이미지 및 상기 맵핑에 응답하여 하이 다이내믹 레인지 이미지를 생성하는 단계를 포함한다.
본 발명은 로우 다이내믹 레인지 이미지로부터 하이 다이내믹 레인지 이미지를 생성하기 위한 특히 효율적인 방식을 가능하게 할 수 있다.
상기 방법은 구체적으로 하이 다이내믹 레인지 이미지를 디코딩하는 방법일 수 있다. 상기 로우 다이내믹 레인지 이미지는 인코딩된 이미지로서 수신될 수 있고, 인코딩된 이미지로 먼저 디코딩되고, 그 후 맵핑이 상기 디코딩된 로우 다이내믹 레인지 이미지에 적용되어, 하이 다이내믹 레인지 이미지를 제공한다. 구체적으로, 상기 로우 다이내믹 레인지 이미지는 인코딩된 데이터 스트림의 베이스 층 이미지를 디코딩함으로써 생성될 수 있다.
상기 기준 로우 다이내믹 레인지 이미지 및 대응하는 기준 하이 다이내믹 레인지는 구체적으로 이전에 디코딩된 이미지들일 수 있다. 일부 실시예들에서, 상기 로우 다이내믹 레인지 이미지는 상기 기준 이미지들의 맵핑 및/또는 하나 또는 모두를 특징으로 하거나 식별하는 데이터를 또한 포함할 수 있는 인코딩된 데이터 스트림으로 수신될 수 있다.
본 발명의 선택적인 특징에 따라, 상기 하이 다이내믹 레인지 이미지를 생성하는 단계는 예측된 다이내믹 레인지 이미지의 적어도 일부의 각각의 위치에 의해 상기 예측된 하이 다이내믹 레인지 이미지의 적어도 일부를 결정하는 단계; 상기 각각의 위치와 연관된 로우 다이내믹 레인지 화소 값들의 컬러 좌표들의 제 1 조합과 상기 각각의 위치를 매칭시키는 적어도 하나의 매칭 입력 세트를 결정하는 단계; 상기 적어도 하나의 매칭 입력 세트에 대한 적어도 하나의 출력 하이 다이내믹 레인지 화소 값을 상기 맵핑으로부터 검색하는 단계; 상기 적어도 하나의 출력 하이 다이내믹 레인지 화소 값에 응답하여 상기 예측된 하이 다이내믹 레인지 이미지의 각각의 위치에 대한 하이 다이내믹 레인지 화소 값을 결정하는 단계; 및 상기 예측된 하이 다이내믹 레인지 이미지의 적어도 일부에 응답하여 상기 하이 다이내믹 레인지 이미지를 결정하는 단계를 포함한다.
이는 하이 다이내믹 레인지 이미지의 특히 유익한 생성을 제공할 수 있다. 많은 실시예들에서, 상기 방식은 로우 및 하이 다이내믹 레인지 이미지들 모두의 특히 효율적인 인코딩을 가능하게 할 수 있다. 특히, 로우 다이내믹 레인지 이미지로부터 하이 다이내믹 레인지 이미지의 예측의 정확하고, 자동적으로 조정 및/또는 효율적인 생성이 달성될 수 있다.
상기 예측된 하이 다이내믹 레인지 이미지의 적어도 일부에 응답하여 상기 하이 다이내믹 레인지 이미지의 생성은 상기 예측된 하이 다이내믹 레인지 이미지의 적어도 일부를 직접 사용하는 단계를 포함할 수 있거나 예를 들어, 상기 로우 다이내믹 레인지 이미지를 포함하는 층과 상이한 인코딩된 신호의 층에 포함될 수 있는, 잔여 하이 다이내믹 레인지 데이터를 사용하여 상기 예측된 하이 다이내믹 레인지 이미지의 적어도 일부를 향상시키는 단계를 포함할 수 있다.
본 발명의 선택적인 특징에 따라, 상기 로우 다이내믹 레인지 이미지는 로우 다이내믹 레인지 비디오 시퀀스의 이미지이고 상기 방법은 상기 기준 로우 다이내믹 레인지 이미지로서 상기 로우 다이내믹 레인지 비디오 시퀀스의 이전 로우 다이내믹 레인지 이미지 및 기준 하이 다이내믹 레인지 이미지로서 상기 이전 로우 다이내믹 레인지 이미지에 대해 생성된 이전 하이 다이내믹 레인지 이미지를 사용하여 맵핑을 생성하는 단계를 포함한다.
이는 효율적인 동작을 가능하게 할 수 있고 특히 대응하는 로우 및 하이 다이내믹 레인지 이미지들로 비디오 시퀀스들의 효율적인 인코딩을 가능하게 할 수 있다. 예를 들어, 상기 방식은 상기 인코더와 디코더 사이에서 통신될 상기 적용된 맵핑의 어떠한 정보도 필요로 하지 않고 로우 다이내믹 레인지 이미지로부터 하이 다이내믹 레인지 이미지의 적어도 일부의 예측에 기초하여 정확한 인코딩을 가능하게 할 수 있다.
본 발명의 선택적인 특징에 따라, 상기 이전 하이 다이내믹 레인지 이미지는 또한 상기 이전 로우 다이내믹 레인지 이미지에 대해 예측된 이미지 데이터에 관하여 상기 이전 로우 다이내믹 레인지 이미지에 대한 잔여 이미지 데이터에 응답하여 생성된다.
이는 특히 정확한 맵핑 및 그에 따른 개선된 예측을 제공할 수 있다.
본 발명의 선택적인 특징에 따라, 상기 로우 다이내믹 레인지 이미지는 로우 다이내믹 레인지 비디오 시퀀스의 이미지이고, 상기 방법은 상기 로우 다이내믹 레인지 비디오 시퀀스의 적어도 일부의 로우 다이내믹 레인지 이미지들에 대해 공칭적인 맵핑(nominal mapping)을 사용하는 단계를 더 포함한다.
이는 많은 이미지들에 대한 특히 효율적인 인코딩을 가능하게 할 수 있고 특히 비디오 시퀀스의 상이한 이미지들에 대한 효율적인 조정을 가능하게 할 수 있다. 예를 들어, 형식적인 맵핑은 예를 들어, 장면 변화에 이은 제 1 이미지와 같이, 적절한 기준 이미지들이 존재하지 않는 이미지들에 대해 사용될 수 있다.
일부 실시예들에서, 상기 다이내믹 레인지 비디오 시퀀스는 상기 기준 맵핑이 사용되는 상기 로우 다이내믹 레인지 이미지들에 대한 기준 맵핑 표시를 더 포함하는 인코딩된 비디오 신호의 일부로서 수신될 수 있다. 일부 실시예들에서, 상기 기준 맵핑 표시는 기준 맵핑의 미리 결정된 세트로부터 선택된 적용된 기준 맵핑을 나타낸다. 예를 들어, N개의 기준 맵핑들이 인코더와 디코더 사이에서 미리 결정될 수 있고 상기 인코딩은 기준 맵핑 중 어느 것이 상기 디코더에 의해 상기 특정한 이미지에 대해 사용되어야 하는지에 대한 표시를 포함할 수 있다.
본 발명의 선택적인 특징에 따라, 상기 조합은 이미지 공간 위치들에 대한 텍스처, 변화도, 및 공간적 화소 값 편차 중 적어도 하나를 나타낸다.
이는 하이 다이내믹 레인지 이미지의 특히 유리한 생성을 제공할 수 있고, 특히 더 흥미로운 하이 다이내믹 레인지 이미지들을 생성할 수 있다.
본 발명의 선택적인 특징에 따라, 상기 맵핑에 때한 입력 세트들은 이미지 공간 위치들과 연관된 깊이 표시들을 더 포함하고, 상기 맵핑은 또한 깊이와 하이 다이내믹 레인지 화소 값들 간의 관계들을 반영한다. 이는 개선된 맵핑을 제공할 수 있고 예를 들어 상기 하이 다이내믹 레인지 이미지의 개선된 예측을 생성하도록 상기 맵핑이 사용되도록 할 수 있다. 상기 방식은 예를 들어, 주어진 품질 레벨에 대해 감소된 데이터 레이트를 가능하게 할 수 있다. 깊이 표시는 깊이(z 방향) 값 또는 디스패리티 값을 포함하는 이미지의 깊이의 임의의 적절한 표시일 수 있다.
본 발명의 선택적인 특징에 따라, 상기 하이 다이내믹 레인지 이미지는 다-시야 이미지의 제 1 시야 이미지에 대응하고 상기 방법은 상기 하이 다이내믹 레인지 이미지에 응답하여 상기 다-시야 이미지에 대한 하이 다이내믹 레인지 제 2 시야 이미지를 생성하는 단계를 더 포함한다.
상기 방식은 다-시야 이미지들의 특히 효율적인 생성/디코딩을 가능하게 할 수 있고 품질 비에 대한 개선된 데이터 레이트 및/또는 용이한 구현을 가능하게 할 수 있다. 상기 다-시야 이미지는 동일한 장면의 상이한 시야들에 대응하는 복수의 이미지들을 포함하는 이미지일 수 있다. 상기 다-시야 이미지는 구체적으로 오른쪽 및 왼쪽 이미지(예를 들어, 뷰어의 오른쪽 및 왼쪽 눈에 대한 시야에 대응하는)를 포함하는 스테레오 이미지일 수 있다. 상기 하이 다이내믹 레인지 제 1 시야 이미지는 구체적으로 상기 하이 다이내믹 레인지 제 2 시야 이미지의 예측을 생성하도록 사용될 수 있다. 일부 경우들에서, 상기 하이 다이내믹 레인지 제 1 시야 이미지가 상기 하이 다이내믹 레인지 제 2 시야 이미지에 대한 예측으로서 직접 사용될 수 있다. 상기 방식은 LDR/HDR 다-시야 이미지들의 매우 효율적인 결합/조합된 디코딩을 가능하게 할 수 있다.
본 발명의 선택적인 특징에 따라, 디코딩 모듈은 인코딩된 이미지에 대한 인코딩된 데이터를 수신하기 위한 인코더 데이터 입력, 상기 인코딩된 이미지에 대한 예측 이미지를 수신하기 위한 예측 입력, 및 디코딩된 이미지를 출력하기 위한 데이터 출력을 포함하고, 상기 디코딩 모듈은 상기 예측 이미지 및 상기 인코더 데이터로부터 상기 디코딩된 이미지를 생성하도록 동작가능하게 되고; 상기 하이 다이내믹 레인지 이미지의 생성은 상기 인코더 데이터 입력 상의 상기 하이 다이내믹 레인지 이미지에 대한 상기 예측 입력 및 잔여 이미지 데이터에 대한 맵핑으로부터 생성된 예측을 수신할 때 상기 디코딩 모듈에 의해 수행되고, 상기 하이 다이내믹 레인지 제 2 시야 이미지의 생성은 상기 인코더 데이터 입력 상의 상기 하이 다이내믹 레인지 제 2 시야 이미지에 대한 상기 예측 입력 및 잔여 이미지 데이터에 대한 상기 하이 다이내믹 레인지 이미지로부터 생성된 예측 이미지를 수신할 때 상기 디코딩 모듈에 의해 수행된다.
이는 특히 효율적이고 및/또는 낮은 복잡도 디코딩을 가능하게 할 수 있다. 상기 디코딩 모듈은 상이한 기능을 위해 재사용되는 것이 바람직하다. 상기 디코딩 모듈은 예를 들어 H264 단일 시야 디코딩 모듈일 수 있다.
본 발명의 선택적인 특징에 따라, 상기 디코딩 모듈은 이전에 디코딩된 이미지들로부터 생성된 예측 이미지들을 저장하도록 구성된 복수의 예측 이미지 메모리들을 포함하고; 상기 디코딩 모듈은 상기 예측 입력에서 수신된 상기 예측 이미지로 상기 예측 이미지 메모리 중 하나에 덮어쓰기 한다.
이는 특히 효율적인 구현 및/또는 동작을 가능하게 할 수 있다.
본 발명의 선택적인 특징에 따라, 상기 하이 다이내믹 레인지 제 2 시야 이미지를 생성하는 단계는: 하이 다이내믹 레인지 화소 값들의 형태의 출력 데이터로 이미지 공간 위치들 및 상기 이미지 공간 위치들과 연관된 하이 다이내믹 레인지 화소 값들의 컬러 좌표들의 조합의 입력 세트들의 형태의 입력 데이터를 관련시키는 맵핑을 제공하는 단계로서, 상기 맵핑은 상기 제 1 시야에 대한 기준 하이 다이내믹 레인지 이미지 및 상기 제 2 시야에 대한 대응하는 기준 하이 다이내믹 레인지 이미지 간의 관계를 반영하는, 상기 제공 단계; 및 상기 하이 다이내믹 레인지 이미지 및 상기 맵핑에 응답하여 하이 다이내믹 레인지 제 2 시야 이미지를 생성하는 단계를 포함한다.
이는 상기 하이 다이내믹 레인지 제 1 시야 이미지에 기초하여 상기 다이내믹 레인지 제 2 시야 이미지를 생성하는데 특히 유리한 방식을 제공할 수 있다. 특히, 기준 이미지들에 기초하여 정확한 맵핑 또는 예측을 가능하게 할 수 있다. 상기 하이 다이내믹 레인지 제 2 시야 이미지의 생성은 맵핑의 자동 생성에 기초할 수 있고 예를 들어 이전 하이 다이내믹 레인지 제 2 시야 이미지 및 이전 하이 다이내믹 레인지 제 1 시야 이미지에 기초할 수 있다. 상기 방식은 예를 들어, 맵핑이 인코더 및 디코더 측에서 독립적으로 생성되도록 할 수 있어 상기 인코더로부터 상기 디코더로 통신될 임의의 부가적인 맵핑 데이터도 필요로 하지 않고 상기 맵핑에 기초하여 효율적인 인코더/디코더 예측을 가능하게 한다.
본 발명의 일 양태에 따라 입력 이미지를 인코딩하기 위한 디바이스가 제공되고, 상기 디바이스는: 상기 입력 이미지를 수신하기 위한 수신기; 기준 로우 다이내믹 레인지 이미지 및 대응하는 기준 하이 다이내믹 레인지 이미지에 응답하여 하이 다이내믹 레인지 화소 값들의 형태로 출력 데이터로 이미지 공간 위치들 및 상기 이미지 공간 위치들과 연관된 로우 다이내믹 레인지 화소 값들의 컬러 좌표들의 조합의 입력 세트들의 형태의 입력 데이터를 관련시키는 맵핑을 생성하기 위한 맵핑 생성기; 및 상기 맵핑에 응답하여 상기 입력 이미지를 인코딩함으로써 출력 인코딩된 데이터 스트림을 생성하기 위한 출력 처리기를 포함한다. 상기 디바이스는 예를 들어 집적 회로 또는 그 일부일 수 있다.
본 발명의 일 양태에 따라, 상기 단락의 디바이스; 상기 입력 이미지를 포함하는 신호를 수신하고 이를 상기 디바이스로 공급하기 위한 입력 접속 수단; 및 상기 디바이스로부터 상기 출력 인코딩된 데이터 스트림을 출력하기 위한 출력 접속 수단을 포함하는 장치가 제공된다.
본 발명의 일 양태에 따라, 로우 다이내믹 레인지 이미지로부터 하이 다이내믹 레인지 이미지를 생성하기 위한 디바이스가 제공되고, 상기 방법은: 상기 로우 다이내믹 레인지 이미지를 수신하기 위한 수신기; 하이 다이내믹 레인지 화소 값들의 형태의 출력 데이터로 이미지 공간 위치들 및 상기 입력 공간 위치들과 연관된 로우 다이내믹 레인지 화소 값들의 컬러 좌표들의 조합의 입력 세트들의 형태의 입력 데이터를 관련시키는 맵핑을 제공하기 위한 맵핑 처리기로서, 상기 맵핑은 기준 로우 다이내믹 레인지 이미지와 대응하는 기준 하이 다이내믹 레인지 이미지 간의 다이내믹 레인지 관계를 반영하는, 상기 맵핑 처리기; 및 상기 로우 다이내믹 레인지 이미지 및 상기 맵핑에 응답하여 상기 하이 다이내믹 레인지 이미지를 생성하기 위한 이미지 생성기를 포함한다. 상기 디바이스는 예를 들어 집적 회로 또는 그 일부일 수 있다.
본 발명의 일 양태에 따라, 상기 단락의 디바이스; 상기 로우 다이내믹 레인지 이미지를 수신하고 이를 상기 디바이스로 공급하기 위한 입력 접속 수단; 상기 디바이스로부터 상기 하이 다이내믹 레인지 이미지를 포함하는 신호를 출력하기 위한 출력 접속 수단을 포함하는 장치가 제공된다. 상기 장치는 예를 들어, 셋탑 박스, 텔레비전, 컴퓨터 모니터 또는 다른 디스플레이, 미디어 플레이어, DVD 또는 블루레이™ 플레이어 등일 수 있다.
본 발명의 일 양태에 따라, 인코딩된 로우 다이내믹 레인지 이미지; 및 상기 로우 다이내믹 레인지 이미지에 대한 잔여 이미지 데이터를 포함하는 인코딩된 신호가 제공되고, 상기 잔여 이미지 데이터의 적어도 일부는 상기 로우 다이내믹 레인지 이미지에 대응하는 바람직한 하이 다이내믹 레인지 이미지와 상기 인코딩된 로우 다이내믹 레인지 이미지로의 맵핑의 적용으로 초래된 예측된 하이 다이내믹 레인지 이미지 간의 차이를 나타내고, 상기 맵핑은 이미지 공간 위치들 및 상기 이미지 공간 위치들과 연관된 로우 다이내믹 레인지 화소 값들의 컬러 좌표들의 조합의 입력 세트들의 형태의 입력 데이터를 하이 다이내믹 레인지 화소 값들의 형태의 출력 데이터에 관련시키고, 상기 맵핑은 기준 로우 다이내믹 레인지 이미지와 대응하는 기준 하이 다이내믹 레인지 이미지 간의 다이내믹 레인지 관계를 반영한다.
본 발명의 특징에 따라, 상기 이전 단락의 인코딩된 신호를 포함하는 저장 매체가 제공된다. 상기 저장 매체는 예를 들어, DVD 또는 블루레이™ 디스크와 같은 데이터 캐리어일 수 있다.
본 발명의 임의의 양태들 또는 특징들의 방법을 실행하기 위한 컴퓨터 프로그램 제품이 제공될 수 있다. 또한, 본 발명의 임의의 양태들 또는 특징들의 방법을 실행하기 위한 실행가능한 코드를 포함하는 저장 매체가 제공될 수 있다.
본 발명의 이들 및 다른 양태들, 특징들 및 장점들이 이하에 기술될 실시예(들)를 참조하여 설명되고 이로부터 명백해질 것이다.
도 1은 본 발명의 일부 실시예들에 따른 송신 시스템의 예를 도시한 도면.
도 2는 본 발명의 일부 실시예들에 따른 인코더의 예를 도시한 도면.
도 3은 본 발명의 일부 실시예들에 따른 인코딩 방법의 예를 도시한 도면.
도 4 및 도 5는 본 발명의 일부 실시예들에 따른 맵핑의 예들을 도시한 도면들.
도 6은 본 발명의 일부 실시예들에 따른 인코더의 예를 도시한 도면.
도 7은 본 발명의 일부 실시예들에 따른 인코더의 예를 도시한 도면.
도 8은 본 발명의 일부 실시예들에 따른 디코딩 방법의 예를 도시한 도면.
도 9는 본 발명의 일부 실시예들에 따른 하이 다이내믹 레인지 이미지의 예측의 예를 도시한 도면.
도 10은 본 발명의 일부 실시예들에 따른 맵핑의 예를 도시한 도면.
도 11은 본 발명의 일부 실시예들에 따른 디코더의 예를 도시한 도면.
도 12는 본 발명의 일부 실시예들에 따른 인코더의 예를 도시한 도면.
도 13은 본 발명의 일부 실시예들에 따른 인코더들에서 사용될 수 있는 베이직 인코딩 모듈의 예를 도시한 도면.
도 14 내지 도 17은 도 13의 베이직 인코딩 모듈을 사용하는 인코더들의 예들을 도시한 도면.
도 18은 데이터 스트림들을 멀티플렉싱하는 예를 도시한 도면.
도 19는 본 발명의 일부 실시예들에 따른 디코더들에서 사용될 수 있는 베이직 디코딩 모듈의 예를 도시하는 도면.
도 20 내지 도 22는 도 18의 베이직 디코딩 모듈을 사용하는 디코더들의 예들을 도시한 도면.
본 발명의 실시예들이 도면들을 참조하여, 단지 예로서 기술될 것이다.
이하의 설명은 비디오 시퀀스들의 대응하는 로우 다이내믹 레인지 및 하이 다이내믹 레인지 이미지들의 인코딩 및 디코딩에 적용가능한 본 발명의 실시예들에 집중한다. 그러나, 본 발명은 이러한 애플리케이션으로 제한되지 않고 기술된 원리들은 다른 많은 시나리오들에 적용할 수 있고 예를 들어 매우 다양한 이미지들의 다이내믹 레인지들을 향상 또는 수정하는데 적용될 수 있다.
도 1은 본 발명의 일부 실시예들에 따른 비디오 신호의 통신을 위한 송신 시스템(100)을 도시한다. 상기 송신 시스템(100)은 구체적으로 인터넷 또는 예를 들어 디지털 텔레비전 방송 시스템과 같은 방송 시스템일 수 있는 네트워크(105)를 통해 수신기(103)에 결합된 송신기(101)를 포함한다.
특정한 실시예에서, 상기 수신기(103)는 신호 재생 디바이스이지만 다른 실시예들에서 상기 수신기가 다른 애플리케이션들 또는 다른 목적들을 위해 사용될 수 있다는 것이 이해될 것이다. 특정한 실시예에서, 상기 수신기(103)는 텔레비전과 같은 디스플레이일 수 있거나, 컴퓨터 모니터 또는 텔레비전과 같이 외부 디스플레이를 위해 디스플레이 출력 신호를 생성하기 위한 셋탑 박스일 수 있다.
특정한 실시예에서, 상기 송신기(101)는 로우 다이내믹 레인지 이미지들의 비디오 시퀀스 및 하이 다이내믹 레인지 이미지들의 대응하는 비디오 시퀀스를 제공하는 신호 소스(107)를 포함한다. 대응하는 이미지들은 상이한 다이내믹 레인지들을 갖는 동일한 장면/이미지를 나타낸다. 전형적으로, 상기 로우 다이내믹 레인지 이미지는 자동으로, 반-자동으로 또는 수동으로 수행된 적절한 컬러 그레이딩에 의해 상기 대응하는 하이 다이내믹 레인지 이미지로부터 생성될 수 있다. 일부 실시예들에서, 상기 하이 다이내믹 레인지 이미지는 로우 다이내믹 레인지 이미지로부터 생성될 수 있거나, 예를 들어 컴퓨터 생성된 이미지들에 대해서와 같이 동시에 생성될 수 있다.
용어 로우 다이내믹 레인지 이미지 및 하이 다이내믹 레인지 이미지는 이미지들에 대해 임의의 특정한 절대적 다이내믹 레인지들을 명시하는 것이 아니라 단순히 하이 다이내믹 레인지 이미지가 상기 로우 다이내믹 레인지 이미지보다 (잠재적으로) 더 높은 다이내믹 레인지를 갖도록 서로 상기 이미지들에 관련한 상대적인 용어라는 것이 이해될 것이다.
상기 신호 소스(107)는 스스로 로우 다이내믹 레인지 이미지, 하이 다이내믹 레인지 이미지 또는 로우 및 하이 다이내믹 레인지 이미지들 모두를 생성할 수 있거나 예를 들어 외부 소스로부터 이들 중 하나 또는 모두를 수신할 수 있다.
상기 신호 소스(107)는 이하에 상세히 기술될 인코딩 알고리즘에 따라 하이 및 로우 다이내믹 레인지 비디오 시퀀스들을 인코딩하도록 진행하는 인코더(109)에 결합된다. 상기 인코더(109)는 상기 인코딩된 신호를 수신하고 상기 통신 네트워크(105)로 인터페이스하는 네트워크 송신기(111)에 결합된다. 상기 네트워크 송신기는 상기 통신 네트워크(105)를 통해 상기 수신기(103)로 상기 인코딩된 신호를 송신할 수 있다. 이는 많은 다른 실시예들에서, 예를 들어, 지상파 또는 위성 방송 시스템과 같은 다른 분배 또는 통신 네트워크들이 사용될 수 있다는 것이 이해될 것이다.
상기 수신기(103)는 상기 통신 네트워크(105)에 인터페이스하고 상기 송신기(101)로부터 인코딩된 신호를 수신하는 수신기(113)를 포함한다. 일부 실시예들에서, 상기 수신기(113)는 예를 들어 인터넷 인터페이스, 또는 무선 또는 위성 수신기일 수 있다.
상기 수신기(113)는 디코더(115)에 결합된다. 상기 디코더(115)는 상기 수신된 인코딩된 신호를 공급하고 이하에 상세히 기술될 디코딩 알고리즘에 따라 이를 디코딩하도록 진행한다. 상기 디코더(115)는 구체적으로 상기 수신된 인코딩된 데이터로부터 하이 다이내믹 레인지 비디오 시퀀스를 생성할 수 있다.
신호 재생 기능이 지원되는 특정 실시예에서, 상기 수신기(103)는 디코더(115)로부터 디코딩된 비디오 신호를 수신하고 이를 적절한 기능을 사용하여 사용자에게 제공하는 신호 재생기(117)를 더 포함한다. 구체적으로, 상기 신호 재생기(117)는 상기 인코딩된 비디오 시퀀스를 제공할 수 있는 디스플레이를 자체적으로 포함할 수 있다. 대안적으로 또는 부가적으로, 상기 신호 재생기(117)는 외부 재생 장치에 대한 적절한 구동 신호를 생성할 수 있는 출력 회로를 포함할 수 있다. 따라서, 상기 수신기(103)는 상기 인코딩된 비디오 시퀀스를 수신하는 입력 접속 수단 및 디스플레이를 위한 출력 구동 신호를 제공하는 출력 접속 수단을 포함할 수 있다.
도 2는 본 발명의 일부 실시예들에 따른 인코더(109)의 예를 도시한다. 도 3은 본 발명의 일부 실시예들에 따른 인코딩 방법의 예를 도시한다.
상기 인코더는 이제부터 LDR 이미지들이라고 하는 로우 다이내믹 레인지 이미지들의 비디오 시퀀스(예를 들어 이용가능한 HDR 이미지 기반의 인코더를 포함하는 동일한 유닛에서 도출되거나 예를 들어 별도의 그레이딩과 같은 별도의 입력으로부터 공급될 수 있음, 예를 들면, 텔레비전 녹화 등으로 하드-디스크에 저장된 LDR 버전)를 수신하기 위한 수신기(201) 및 이하 HDR 이미지들이라고 하는 하이 다이내믹 레인지 이미지들의 대응하는 비디오 시퀀스를 수신하기 위한 수신기(203)를 포함한다.
처음에 상기 인코더(109)는 상기 LDR 비디오 시퀀스의 입력 LDR 이미지가 수신되는 단계 301을 수행한다. 상기 LDR 이미지들은 상기 LDR 비디오 시퀀스로부터의 상기 비디오 이미지들을 인코딩하는 LDR 인코더(205)로 공급된다. 임의의 적절한 비디오 또는 이미지 인코딩 알고리즘이 사용될 수 있고 상기 인코딩은 구체적으로 당업자에게 공지된 모션 보상, 양자화, 변환 전환 등을 포함할 수 있다는 것이 이해될 것이다. 구체적으로, 상기 LDR 인코더(205)는 H-264/AVC 표준 인코더일 수 있다.
따라서, 단계 301에 인코딩된 LDR 이미지를 생성하기 위해 상기 입력 LDR 이미지가 인코딩되는 단계 303이 이어진다.
그 다음 상기 인코더(109)는 상기 LDR 이미지로부터 예측된 HDR 이미지를 생성하도록 진행한다. 상기 예측은 예를 들어 입력 LDR 이미지 자체일 수 있는 예측 기반 이미지에 기초한다. 그러나, 많은 실시예들에서, 상기 예측 기반 이미지는 상기 인코딩된 LDR 이미지를 디코딩함으로써 상기 디코더에 의해 생성될 수 있는 상기 LDR 이미지에 대응하도록 생성될 수 있다.
도 2의 예에서, 상기 LDR 인코더(205)는 그에 따라 상기 LDR 이미지의 인코딩된 데이터를 디코딩함으로써 예측 기반 이미지를 생성하도록 진행하는 LDR 디코더(207)에 결합된다. 상기 디코딩은 실제 출력 데이터 스트림의 디코딩일 수 있거나 예를 들어, 최종 비-손실 엔트로피 코딩 전에 인코딩된 데이터 스트림의 디코딩과 같은, 중간 데이터 스트림의 디코딩일 수 있다. 따라서, 상기 LDR 디코더(207)는 상기 인코딩된 LDR 이미지를 디코딩함으로써 상기 예측 기반 이미지가 생성되는 단계 305를 수행한다.
상기 LDR 디코더(207)는 상기 예측 기반 이미지로부터 예측된 HDR 이미지를 생성하도록 진행하는 예측기(209)에 결합된다. 상기 예측은 맵핑 처리기(211)에 의해 제공된 맵핑에 기초한다.
따라서, 본 예에서, 단계 305에 상기 맵핑이 생성되는 단계 307이 이어지고 후속하여 상기 예측된 HDR 이미지를 생성하기 위해 예측이 수행되는 단계 309가 이어진다.
상기 예측기(209)는 상기 HDR 수신기(203)에 또한 결합된 HDR 인코더(213)에 또한 결합된다. 상기 HDR 인코더(213)는 입력 HDR 이미지 및 상기 예측된 HDR 이미지를 수신하고 상기 예측된 HDR 이미지에 기초하여 상기 입력 HDR 이미지를 인코딩하도록 진행한다.
설명을 위해 특정한 낮은 복잡도 예로서 기술하는 이하 상세한 설명에서, 상기 HDR 이미지의 인코딩은 상기 예측된 HDR 이미지에 관련한 잔여 HDR 이미지를 생성하는 것 및 상기 잔여 HDR 이미지를 인코딩하는 것에 기초할 수 있다. 그러나, 당업자는 본원에 기술된 몇몇 실시예들에 따른 3D(스테레오 또는 몇개의 화상들) 인코딩과 함께 LDR/HDR 인코딩을 위한 예측 전략들은 예를 들어, 객체들에 대해 국부적으로 복잡한 변환 기능들(알고리즘, LUT들, 또는 (중간 또는 마지막에 사용가능한) 이미지들 등과 같이 인코딩되는지)을 사용할 수 있는 것, 몇개의 화상들에 대한 LDR 화상의 시공간 수정들, 등과 같은 몇몇 예측 전략들과 함께 동작할 것이라는 것을 이해할 것이다. 따라서, 이러한 낮은 복잡도 예에서, 상기 HDR 인코더(213)는 상기 입력 HDR 이미지와 상기 예측된 HDR 이미지 간의 비교에 응답하여 잔여 HDR 이미지가 생성되는 단계 311을 수행하도록 진행할 수 있다. 구체적으로, 상기 HDR 인코더(213)는 상기 입력 HDR 이미지로부터 상기 예측된 HDR 이미지를 뺌으로써 상기 잔여 HDR 이미지를 생성할 수 있다. 따라서, 상기 잔여 HDR 이미지는 상기 입력 HDR 이미지 간의 에러를 나타내고 대응하는 (인코딩된) LDR 이미지에 기초하여 예측된다. 다른 실시예들에서, 다른 비교들이 행해질 수 있다. 예를 들어, 상기 예측된 HDR 이미지에 의한 상기 HDR 이미지의 분할이 채용될 수 있다.
그 다음 상기 HDR 인코더(213)는 상기 잔여 이미지가 인코딩된 잔여 데이터를 생성하도록 인코딩되는 단계 313을 수행할 수 있다.
상기 잔여 이미지를 인코딩하기 위한 임의의 적절한 인코딩 원리 또는 알고리즘이 사용될 수 있다는 것이 이해될 것이다. 실제로, 많은 실시예들에서, 상기 예측된 HDR 이미지는 몇 개 중 하나의 가능한 예측으로서 사용될 수 있다. 따라서, 일부 실시예들에서, 상기 HDR 인코더(213)는 상기 예측된 HDR 이미지를 포함하는 복수의 예측들 중에서 선택하도록 구성될 수 있다. 다른 예측들은 공간 또는 시간 예측들을 포함할 수 있다. 상기 선택은 상기 HDR 입력 이미지에 대한 잔여량과 같은 상이한 예측들에 대한 정확한 측정에 기초할 수 있다. 상기 선택은 전체 이미지에 대해 수행될 수 있거나 예를 들어 상기 HDR 이미지의 상이한 영역들 또는 구역들에 대해 개별적으로 수행될 수 있다.
예를 들어, 상기 HDR 인코더는 H264 인코더일 수 있다. 종래의 H264 인코더는 시간 예측(프레임들 간, 예를 들어 모션 보상) 또는 공간 예측(즉, 다른 것으로부터 이미지의 한 영역 예측)과 같은 상이한 예측들을 활용할 수 있다. 도 2의 방식에서, 이러한 예측은 LDR-HDR 이미지 예측에 의해 보완될 수 있다. 이후 상기 H.264 기반 인코더는 상이한 가능한 예측들 중에서 선택하도록 진행한다. 이러한 선택은 매크로블록 기반으로 수행되고 상기 매크로블록에 대해 가장 낮은 잔여물이 남도록 하는 예측을 선택하는 것에 기초한다. 구체적으로, 각각의 매크로블록에 대해 최상의 예측 방식들을 선택하도록 레이트 왜곡 분석이 수행될 수 있다. 따라서, 국부적인 결정이 이루어진다.
따라서, 상기 H264 기반 인코더는 상이한 매크로블록들에 대한 상이한 예측 방식들을 사용할 수 있다. 각각의 매크로블록에 대해 상기 잔여 데이터가 생성되고 인코딩될 수 있다. 따라서, 상기 입력 HDR 이미지에 대해 인코딩된 데이터는 상기 매크로블록에 대한 특정한 선택된 예측으로부터 도출된 각각의 매크로블록에 대한 잔여 데이터를 포함할 수 있다. 또한, 상기 인코딩된 데이터는 예측 방식이 각각의 개별적인 매크로블록에 대해 사용된다는 것의 표시를 포함할 수 있다.
따라서, LDR-HDR 예측은 상기 인코더에 의해 선택될 수 있는 부가적인 가능한 예측을 제공할 수 있다. 일부 매크로블록들에 대해, 이러한 예측은 다른 예측들에 비해 낮은 잔여물을 남길 수 있고 따라서 이러한 매크로블록에 대해 선택될 것이다. 이후 상기 블록에 대한 상기 결과적인 잔여 이미지는 상기 블록에 대한 입력 HDR 이미지와 상기 예측된 HDR 이미지 간의 차이를 나타낼 것이다.
상기 인코더는 본 예에서 전형적으로 서로 간섭하는 상이한 예측들을 도출하기 때문에, 이들의 조합보다 상이한 예측 방식들 간의 선택을 사용한다.
상기 LDR 인코더(205) 및 상기 HDR 인코더(213)가 상기 인코딩된 LDR 데이터 및 상기 인코딩된 잔여 데이터를 수신하는 출력 처리기(215)에 결합된다. 그 다음 상기 출력 처리기(215)는 상기 인코딩된 LDR 데이터 및 상기 인코딩된 잔여 데이터를 포함하도록 출력 인코딩된 데이터 스트림이 생성되는 단계 315를 수행하도록 진행한다.
본 예에서, 상기 생성된 출력 인코딩된 데이터 스트림은 적층된(layered) 데이터 스트림이고 상기 인코딩된 LDR 데이터는 제 2 층에 포함되는 상기 인코딩된 잔여 데이터와 함께 제 1 층에 포함된다. 상기 제 2 층은 구체적으로 상기 HDR 처리와 호환가능하지 않은 디코더들 또는 디바이스들에 의해 폐기될 수 있는 선택적인 층일 수 있다. 따라서, 상기 제 1 층은 선택적인 층인 상기 제 2 층과 함께 베이스 층일 수 있고, 구체적으로 상기 제 2 층은 향상 또는 선택적인 다이내믹 레인지 수정 층일 수 있다. 이러한 방식은 HDR 가능 장비로 하여금 상기 부가적인 HDR 정보를 사용하도록 하면서 역 호환가능하도록 할 수 있다. 또한, 예측 및 잔여 이미지 인코딩의 사용은 주어진 이미지 품질에 대해 낮은 데이터 레이트로 매우 효율적인 인코딩이 가능하게 한다.
도 2의 예에서, 상기 HDR 이미지의 예측은 맵핑에 기초한다. 상기 맵핑은 이미지 공간 위치들 및 상기 이미지 공간 위치들과 연관된 로우 다이내믹 레인지 화소 값들의 컬러 좌표들의 조합의 입력 세트들의 형태의 입력 데이터로부터 하이 다이내믹 레인지 화소 값들의 형태의 출력 데이터로 맵핑하도록 구성된다.
따라서, 구체적으로 룩-업-테이블로 구현될 수 있는 맵핑은 입력 세트들에 구성된 다수의 파라미터들에 의해 규정되는 입력 데이터에 기초한다. 따라서, 상기 입력 세트들은 다수의 파라미터들에 대한 값들을 포함하는 다-차원 세트들로 간주될 것이다. 상기 파라미터들은 공간적 차원을 포함하고 구체적으로 예를 들어, 수평 차원에 대한 파라미터(레인지) 및 수직 차원에 대한 파라미터(레인지)와 같은, 2차원 이미지 위치를 포함할 수 있다. 구체적으로, 상기 맵핑은 주어진 수평 및 수직 확장을 갖는 복수의 공간 블록들로 상기 이미지 영역을 분할할 수 있다.
각각의 공간 블록에 대해, 이후 상기 맵핑은 로우 다이내믹 레인지 화소 값들의 컬러 좌표들로부터 생성된 하나 이상의 파라미터들을 포함할 수 있다. 간단한 예로서, 각각의 입력 세트는 상기 공간 파라미터들에 부가하여 단일 휘도 값을 포함할 수 있다. 따라서, 이 경우 각각의 입력 세트는 2개의 공간 파라미터 및 하나의 휘도 파라미터를 포함하는 3차원 세트이다.
다양한 가능한 입력 세트들에 대해, 상기 맵핑은 출력 하이 다이내믹 레인지 화소 값을 제공한다. 따라서, 특정한 예에서 상기 맵핑은 3차원 입력 데이터로부터 단일 하이 다이내믹 레인지 화소 값으로의 맵핑일 수 있다.
따라서 상기 맵핑은 적절한 하이 다이내믹 레인지 화소 값으로의 맵핑에 의존하는 공간 및 컬러 성분(성분으로 휘도만을 포함) 모두를 제공한다.
상기 맵핑 처리기(211)는 기준 로우 다이내믹 레인지 이미지 및 대응하는 기준 하이 다이내믹 레인지 이미지에 응답하여 맵핑을 생성하도록 구성된다. 따라서, 상기 맵핑은 미리 결정되거나 고정된 맵핑은 아니지만 기준 이미지들에 기초하여 자동으로 및 유연하게 생성될/업데이트될 수 있는 맵핑이다.
상기 기준 이미지들은 구체적으로 상기 비디오 시퀀스들로부터의 이미지들이다. 따라서, 상기 맵핑은 상기 비디오 시퀀스의 이미지로부터 다이내믹하게 생성되어 상기 특정 이미지들에 대한 맵핑의 자동화된 조정을 제공한다.
구체적인 예로서, 상기 맵핑은 인코딩되는 실제 LDR 및 대응하는 HDR 이미지에 기초할 수 있다. 본 예에서, 상기 맵핑은 상기 입력 LDR 및 상기 입력 HDR 이미지들 간의 공간 및 컬러 성분 관계를 반영하도록 생성될 수 있다.
구체적인 예로서, 상기 맵핑은 NX x NY x NI bins(입력 세트들)의 3차원 그리드로서 생성될 수 있다. 이러한 그리드 방식은 상기 3차원에 적용된 양자화 차수의 항들에 많은 융통성을 제공한다. 본 예에서, 제 3(비-공간) 차원은 단순히 휘도 값에 대응하는 강도 파라미터이다. 이하의 예들에서, 상기 HDR 이미지의 예측은 매르코-블록 레벨에서 28 강도 bins(즉, 8비트 값 이용)로 수행된다. HD(High Definition) 이미지에 대해 이는 상기 그리드가 120x68x256(bins)의 크기를 갖는다는 것을 의미한다. 상기 각각의 빈들은 맵핑을 위한 입력 세트에 대응한다.
고려 중인 컬러 성분에 대한(예를 들어, 각 컬러 성분이 개별적으로 고려된다면) 상기 기준 이미지들의 위치(x,y)에서 각각의 LDR 입력 화소 및 상기 LDR 및 HDR 이미지 각각에 대한 강도들(VLDR 및 VHDR)에 대해, 위치 및 강도에 대한 매칭 빈이 먼저 식별된다.
본 예에서, 각각의 빈이 공간 수평 간격, 공간 수직 간격, 및 강도 간격에 대응한다. 상기 매칭 빈(즉, 입력 세트)은 가장 가까운 이웃 보간(interpolation)에 의해 결정될 수 있다:
Figure 112013010335572-pct00001
여기서, Ix, Iy 및 II는 각각 수평, 수직, 및 강도 방향들의 그리드 좌표들이고, sx, sy 및 sI는 이들 크기들을 따른 그리드 공간들(간격 길이들)이고 [ ]는 가장 가까운 정수 연산자를 나타낸다.
따라서, 본 예에서 상기 맵핑 처리기(211)는 상기 화소에 대한 각각의 이미지 위치에 대응하는 공간 간격들을 갖는 매칭 입력 세트/빈 및 특정한 위치에서 상기 기준 로우 다이내믹 레인지 이미지의 화소에 대한 상기 강도 값에 대응하는 강도 값 간격의 간격을 결정한다.
그 다음 상기 맵핑 처리기(211)는 상기 기준 HDR 이미지의 위치에 대한 하이 다이내믹 레인지 화소 값에 응답하여 상기 매칭하는 입력 세트/빈에 대한 출력 하이 다이내믹 레인지 화소 값을 결정하도록 진행한다.
구체적으로, 상기 그리드의 구성 동안, 강도 값 D 및 가중 값 W는 고려되는 각각의 새로운 위치에 대해 업데이트된다:
Figure 112013010335572-pct00002
이미지들의 모든 화소들이 평가된 후, 상기 강도 값은 상기 빈에 대한 출력 HDR 값 B를 도출하는 상기 가중 값에 의해 정규화된다:
B = D/W,
여기서, 각각의 값에 대한 상기 데이터 값 B는 특정한 빈/입력 세트에 대한 위치 및 입력 강도에 대응하는 출력 HDR 화소 값을 포함한다. 따라서, 상기 그리드 내의 위치는 기준 LDR 이미지에 의해 결정되고 반면에 상기 그리드에 저장된 데이터는 상기 기준 HDR 이미지에 대응한다. 따라서, 상기 맵핑 입력 세트들은 상기 기준 LDR 이미지로부터 결정되고 상기 맵핑 출력 데이터는 상기 기준 HDR 이미지로부터 결정된다. 구체적인 예에서, 상기 저장된 출력 HDR 값은 상기 입력 세트/빈에 속하는 화소들의 HDR 값의 평균이지만 다른 실시예들에서 다른 및 특히 더 진보된 방식들이 사용될 수 있다는 것이 이해될 것이다.
본 예에서, 상기 기준 LDR 및 HDR 이미지들 간의 공간 및 화소 값 관계를 반영하도록 자동으로 생성된다. 이는 상기 기준 이미지들이 인코딩될 상기 LDR 및 HDR 이미지들과 긴밀히 상관될 때 상기 LDR 이미지로부터 상기 HDR 이미지의 예측에 특히 유용하다. 이는 상기 기준 이미지들이 인코딩되는 이미지들과 실제로 동일한 이미지인 경우 특히 그렇다. 이 경우, 상기 입력 LDR 및 HDR 이미지들 간의 특정한 관계로 자동으로 조정되는 맵핑이 생성된다. 따라서, 이들 이미지들 간의 관계를 전형적으로 미리 알 수 없어서, 상기 기술된 방식이 어떠한 사전 정보도 없이 상기 관계로 자동으로 조정된다. 이는 상기 입력 HDR 이미지에 대해 차이들이 거의 없는 정확한 예측을 가능하게 하여, 잔여 이미지에서 더 효율적으로 인코딩될 수 있다.
인코딩되는 상기 입력 이미지들이 상기 맵핑을 생성하기 위해 직접 사용되는 실시예들에서, 이들 이미지들은 일반적으로 디코더 단에서 이용가능하지 않을 것이다. 따라서, 상기 디코더는 상기 맵핑을 스스로 생성할 수 없다. 따라서, 일부 실시예들에서, 상기 인코더는 또한 상기 출력 인코딩된 스트림의 맵핑의 적어도 일부를 특징으로 하는 데이터를 포함하도록 구성될 수 있다. 예를 들어, 고정 및 미리 결정된 입력 세트 간격들(즉, 고정된 빈들)들이 사용되는 시나리오들에서, 상기 인코더는 예를 들어, 상기 선택 층의 일부로서, 상기 출력 인코딩된 스트림의 모든 빈 출력 값들을 포함할 수 있다. 이것이 데이터 레이트를 증가시킬 수 있지만, 상기 그리드를 생성할 때 수행된 서브샘플링으로 인해 비교적 낮은 오버헤드를 가질 수 있다. 따라서, 정확하고 조정적인 예측 방식을 이용하는 것으로부터 달성된 데이터 감소는 상기 맵핑 데이터의 통신으로부터 결과하는 데이터 레이트의 어떠한 증가보다 클 것이다.
상기 예측된 이미지를 생성할 때, 상기 예측기(209)는 상기 이미지를 통해 한번에 한 화소로 단계를 진행할 수 있다. 각각의 화소에 대해, 상기 LDR 이미지의 화소에 대한 상기 공간 위치 및 강도 값이 상기 맵핑을 위해 특정한 입력 세트/빈을 식별하기 위해 사용된다. 따라서, 각각의 화소에 대해, 상기 화소에 대한 상기 공간 위치 및 상기 LDR 이미지 값에 기초하여 빈이 선택된다. 이러한 입력 세트/빈에 대한 상기 출력 HDR 화소 값이 검색되고 일부 실시예들에서 상기 화소에 대한 이미지 값으로서 직접 사용될 수 있다. 그러나, 상기 맵핑의 공간 서브샘플링으로 인한 약간의 블록화가 제공되는 경향 때문에, 많은 실시예들에서 상기 하이 다이내믹 레인지 화소 값은 복수의 입력 빈들로부터 출력 하이 다이내믹 레인지 화소 값들 간의 보간에 의해 생성될 것이다. 예를 들어, 이웃하는 빈들(공간 및 비-공간적 방향들 모두의)로부터의 상기 값들이 또한 추출될 수 있고 상기 화소 값은 이들의 보간으로서 생성될 수 있다.
구체적으로, 상기 예측된 HDR 이미지는 상기 공간 좌표들 및 상기 LDR 이미지에 의해 지시된 단편적인 위치들에서 상기 그리드에 슬라이싱함으로써 구성될 수 있다:
VHDR = Fint(B(x/sx, y/sy, I/sI)),
여기서 Fint는 가장 가까운 이웃 또는 바이큐빅(bicubic) 보간과 같이, 적절한 보간 연산자를 나타낸다.
많은 시나리오들에서 이미지들이 복수의 컬러 성분들(예를 들어, RGB 또는 YUV)에 의해 표현될 수 있고 상기 기술된 처리는 각각의 컬러 채널들에 개별적으로 적용될 수 있다. 특히, 상기 출력 하이 다이내믹 레인지 화소 값들은 각각의 상기 컬러 성분들에 대해 하나의 값을 포함할 수 있다.
맵핑 생성의 예들이 도 4 및 도 5에 제공된다. 본 예들에서, LDR 및 HDR 트레이닝 이미지들을 사용하여 상기 LDR-HDR 맵핑 관계가 확립되고 상기 맵핑 표의 위치는 도 4의 예에서 휘도(Y) 및 도 5의 예에서 엔트로피(E)와 같이, LDR 화소 값들의 조합에 의해서뿐만 아니라 상기 이미지의 수평(x) 및 수직(y) 화소 위치들에 의해 결정된다. 이전에 기술된 바와 같이 상기 맵핑 표는 명시된 위치에 상기 연관된 HDR 트레이닝 데이터를 저장한다. 예를 들어, V_HDR 화소 값에 대해 서브샘플링된(x,y,I_LDR) 조합 예측들은 아니지만(I가 휘도 또는 R,G,B 등이거나), (x,y,I_LDR, furthprops)는 V_HDR 추정으로 맵핑하도록 사용될 수 있고, 여기서, furthprops는 텍스처 추정, 깊이 추정 등과 같이, 하나 이상의 LDR 이미지들에 대해 도출가능한 추가의 이미지 정보(예를 들어, 상이한 LUT들에 대한 인덱스들 등과 같이 계산 단순성을 위해 또한 포함될 수 있는, 하나 이상의 다른 수들, 즉, 전형적으로 LUT 치수들) 속성들을 포함할 수 있다.
따라서 상기 인코더(115)는 상기 인코딩된 로우 다이내믹 레인지 이미지를 포함하는 인코딩된 신호를 생성한다. 이러한 이미지는 구체적으로 상기 인코딩된 비트스트림의 필수적인 또는 베이스 층에 포함될 수 있다. 또한, 상기 인코딩된 LDR 이미지에 기초하여 상기 디코더에서 HDR 이미지의 효율적인 생성을 가능하게 하는 데이터가 포함된다.
일부 실시예들에서, 이러한 데이터는 상기 디코더에 의해 사용될 수 있는 맵핑 데이터의 형태이거나 이를 포함할 수 있다. 그러나, 다른 실시예들에서, 이러한 맵핑 데이터는 상기 이미지들의 일부 또는 전부에 포함되지 않는다. 대신, 상기 디코더는 이전 이미지들로부터 상기 맵핑 데이터를 스스로 생성할 수 있다.
상기 생성된 인코딩된 신호는 상기 로우 다이내믹 레인지 이미지에 대한 잔여 이미지 데이터를 더 포함할 수 있고, 상기 잔여 이미지 데이터는 상기 로우 다이내믹 레인지 이미지에 대응하는 바람직한 하이 다이내믹 레인지 이미지와 상기 인코딩된 로우 다이내믹 레인지로의 맵핑의 적용 결과인 예측된 하이 다이내믹 레인지 이미지 간의 차이를 나타낸다. 상기 바람직한 하이 다이내믹 레인지 이미지는 구체적으로 상기 입력 HDR 이미지이고, 따라서 상기 잔여 이미지 데이터는 상기 디코더 생성된 HDR 이미지를 상기 바람직한 HDR 이미지, 즉, 상기 대응하는 입력 HDR 이미지에 더 가깝게 일치하도록 수정할 수 있는 데이터를 나타낸다.
상기 부가적인 잔여 이미지 데이터는 많은 실시예들에서 적절히 장치된 디코더들에 의해 사용될 수 있고 원하는 기능을 갖지 않는 레거시 디코더들에 의해 무시될 수 있는 선택 층(예를 들어, 향상 층)에 유리하게 포함될 수 있다.
예를 들어 상기 방식은 상기 기술된 맵핑 기반 예측을 새로운 역-호환가능 HDR 비디오 포맷들로 집적되도록 할 수 있다. 예를 들어, 두 층들은 양자화가 이어지는 종래의 데이터 변환 동작들(예를 들어, 웨이블릿, DCT)을 사용하여 인코딩될 수 있다. 인트라- 및 모션-보상 프레임간 예측들이 코딩 효율을 향상시킬 수 있다. 이러한 방식에서, LDR로부터 HDR로의 계층간 예측은 다른 예측들을 보완하고 상기 향상 층의 코딩 효율을 더 개선한다.
상기 신호는 구체적으로 예를 들어, 도 1의 예에서와 같이 네트워크를 통해 분배 또는 통신될 수 있는 비트 스트림일 수 있다. 일부 시나리오들에서, 상기 신호는 자기/광 디스크와 같은 적절한 저장 매체에 저장될 수 있다. 예를 들어, 상기 신호는 DVD 또는 Bluray™ 디스크에 저장될 수 있다.
이전의 예에서, 상기 맵핑 정보는 상기 출력 비트 스트림에 포함되어 상기 디코더로 하여금 상기 수신된 이미지에 기초하여 상기 예측을 재생하도록 한다. 이러한 및 다른 경우들에서, 상기 맵핑의 서브샘플링을 사용하는데 특히 유리할 수 있다.
실제로, 공간 서브샘플링은 별도의 출력 값이 각각의 개별 화소에 대해 저장되지 않고 오히려 화소들의 그룹들 및 화소들의 특정한 영역들에 저장되도록 유리하게 사용될 수 있다. 구체적인 예에서, 별도의 출력 값이 각각의 매크로-블록에 대해 저장된다.
대안적으로 또는 부가적으로, 입력 비-공간 차원들의 서브샘플링이 사용될 수 있다. 구체적인 예에서, 각각의 입력 세트는 상기 LDR 이미지들의 복수의 가능한 강도 값들을 커버할 수 있어서 가능한 빈들의 수를 감소시킬 수 있다. 이러한 서브샘플링은 상기 맵핑의 생성 전에 거친 양자화를 적용하는 것에 대응할 수 있다.
이러한 공간 또는 값 서브샘플링은 상기 맵핑을 통신하는데 필요한 데이터 레이트를 실질적으로 감소시킬 수 있다. 그러나, 부가적으로 또는 대안적으로 상기 인코더(및 대응하는 디코더)에 대한 자원 요건들을 실질적으로 감소시킬 수 있다. 예를 들어, 상기 맵핑들을 저장하는데 필요한 메모리 자원들을 실질적으로 감소시킬 수 있다. 많은 실시예들에서 이는 또한 상기 맵핑을 생성하는데 필요한 처리 자원을 감소시킬 수 있다.
상기 예에서, 상기 맵핑의 생성은 현재 이미지들, 즉, 인코딩될 LDR 및 대응하는 HDR 이미지에 기초한다. 그러나, 다른 실시예들에서, 상기 맵핑은 상기 기준 로우 다이내믹 레인지 이미지로서 상기 로우 다이내믹 레인지 비디오 시퀀스의 이전 이미지 및 상기 기준 하이 다이내믹 레인지 이미지로서 상기 이전 로우 다이내믹 레인지 비디오 시퀀스에 대한 이전 하이 다이내믹 레인지 이미지(또는 일부 경우들에서 대응하는 이전 입력 HDR 이미지)를 사용하여 생성될 수 있다. 따라서, 일부 실시예들에서, 상기 현재 이미지에 대해 사용된 상기 맵핑은 이전의 대응하는 LDR 및 HDR 이미지들에 기초할 수 있다.
예로서 상기 비디오 시퀀스는 동일한 장면의 이미지들의 시퀀스를 포함할 수 있고 그에 따라 연속하는 이미지들 간의 차이들이 낮아질 것이다. 따라서, 하나의 이미지에 적절한 상기 맵핑은 상기 후속 이미지에 대해서도 또한 적절할 가능성이 크다. 따라서, 기준 이미지들로서 상기 이전 LDR 및 HDR 이미지들을 사용하여 생성된 맵핑은 현재 이미지에 또한 적용가능할 가능성이 크다. 이전 이미지에 기초하는 현재 이미지에 대한 맵핑을 사용하는 이점은, 이것이 이용가능한 이전 이미지들(이들의 디코딩을 통해)을 또한 갖기 때문에 상기 디코더에 의해 맵핑이 독립적으로 생성될 수 있다는 것이다. 따라서, 상기 맵핑에 정보가 포함될 필요는 없고, 따라서 상기 인코딩된 출력 스트림의 데이터 레이트가 더 감소될 수 있다.
이러한 방식을 사용한 인코더의 구체적인 예가 도 6에 도시된다. 본 예에서, 상기 맵핑(상기 구체적인 예에서 룩업테이블, LUT인)은 상기 인코더 및 디코더측 상의 이전(지연 τ) 재구성된 LDR 및 이전 재구성된(지연 τ)) HDR 프레임 둘 다에 기초하여 구성된다. 이 시나리오에서 상기 인코더로부터 상기 디코더로 맵핑 값들이 송신될 필요가 없다. 오히려, 상기 디코더는 이미 이용가능한 데이터를 그에 사용하여 상기 HDR 예측 처리를 단순히 복사한다. 상기 계층간 예측의 품질이 약간 열화되지만, 이는 비디오 시퀀스의 후속 프레임들 간의 높은 시간적 상관때문에 전형적으로 중요하지 않을 것이다. 본 예에서, yuv420 컬러 제도(scheme)가 LDR 이미지에 대해 사용되고 yuv 444/422 컬러 제도가 HDR 이미지들에 대해 사용된다(및 결과적으로 상기 LUT(맵핑)의 생성 및 적용이 컬러 상향-변환에 의해 선행된다).
상기 이미지들이 가능한 유사한 가능성을 증가시키도록 상기 지연 τ를 가능한 작게 유지하는 것이 바람직하다. 그러나, 많은 실시예들에서 상기 최소 값은 이미 디코딩된 화상들로부터 상기 맵핑을 생성할 수 있는 상기 디코더를 필요로 함에 따라 사용된 구체적인 인코딩 구조에 의존할 수 있다. 따라서, 최적의 지연은 사용된 GOP(Group Of Pictures)의 형태, 및 구체적으로 예를 들어 IPPPP GOP에 대해 사용된 시간적 예측(모션 보상)에 의존할 수 있고, τ는 단일 이미지 지연일 수 있는 반면에 IBPBP GOP로부터의 것은 적어도 두 개의 이미지들일 것이다.
본 예에서, 상기 LDR의 각각의 위치는 단 하나의 입력 세트/그리드의 빈에 기여한다. 그러나, 다른 실시예들에서, 상기 맵핑 처리기는 상기 맵핑을 생성하기 위해 사용된 적어도 이미지 위치들의 그룹의 적어도 하나의 위치에 대한 복수의 매칭 입력 세트들을 식별할 수 있다. 그 후 모든 매칭 입력 세트들에 대한 상기 출력 하이 다이내믹 레인지 화소 값이 상기 기준 하이 다이내믹 레인지 이미지의 상기 위치에 대한 상기 하이 다이내믹 레인지 화소 값에 응답하여 결정될 수 있다.
구체적으로, 상기 그리드를 구축하기 위해 가장 가까운 이웃 보간을 사용하기보다는 단순히 단일 최적 매칭 빈보다 이웃하는 빈들을 통해 상기 개별 데이터가 또한 확산될 수 있다. 이 경우, 각각의 화소가 단일 빈에 기여하지 않지만, 예를 들어, 모든 그의 이웃하는 빈들(3D 그리드의 경우에 8개)에 기여한다. 상기 기여는 예를 들어, 상기 화소와 상기 이웃하는 빈 중심들 간의 3차원 거리에 반비례할 것이다. 화상 표현일 수 있는 다른 예측들을 저장하기 위해 일시적으로 오프셋된 메모리들 중 일부가 재사용될 수 있어서 임의의 예측 전략을 사용하는 것이 바람직할 수 있다는 것을 주의한다. 특히 상기 HDR 인코딩 부분에 대해, 이러한 전략은 매우 다기능의 유닛을 만든다.
도 7은 도 2의 인코더에 대한 상보성 디코더(115)의 예를 도시하고 도 8은 그 동작 방법의 예를 도시한다.
상기 디코더(115)는 상기 수신기(113)로부터 상기 인코딩된 데이터를 수신하는 단계 801를 수행하는 수신 회로(701)를 포함한다. LDR 인코딩된 데이터 및 잔여 데이터가 상이한 층들에서 인코딩된 특정 예에서, 상기 수신 회로는 상기 LDR 인코딩된 데이터 및 상기 잔여 이미지 데이터의 형태로 상기 선택 층 데이터를 추출하고 디멀티플렉싱(demultiplex)하도록 구성된다. 상기 맵핑에 대한 정보가 상기 수신된 비트 스트림에 포함되는 실시예들에서, 상기 수신 회로(701)는 이 데이터를 더 추출할 수 있다.
상기 수신 회로(701)는 상기 인코딩된 LDR 데이터를 수신하는 LDR 디코더(703)에 결합된다. 그 다음 상기 LDR 이미지가 디코딩되는 단계 803을 수행하도록 진행한다. 상기 LDR 디코더(703)가 상기 인코더(109)의 상기 LDR 인코더(205)를 보상할 것이고 구체적으로 H-264/AVC 표준 디코더일 수 있다.
상기 LDR 디코더(703)는 상기 디코딩된 LDR 이미지를 수신하는 디코드 예측기(705)에 결합된다. 상기 디코드 예측기(705)는 상기 디코드 예측기(705)에 대해 맵핑이 생성되는 단계 805를 수행하도록 구성된 디코드 맵핑 처리기(707)에 또한 결합된다.
상기 디코드 맵핑 처리기(707)는 상기 잔여 이미지 데이터를 생성할 때 상기 인코더에 의해 사용된 것에 대응하는 맵핑을 생성한다. 일부 실시예들에서, 상기 디코드 맵핑 처리기(707)는 인코딩된 데이터 스트림에서 수신된 데이터를 맵핑하는 것에 응답하여 간단하게 맵핑을 생성할 수 있다. 예를 들면, 상기 그리드의 각각의 빈에 대한 출력 데이터 값은 상기 수신된 인코딩된 데이터 스트림에 제공될 수 있다.
그 다음 상기 디코드 예측기(705)는 예측된 HDR 이미지가 상기 디코딩된 LDR 이미지로부터 생성되고 맵핑이 상기 디코드 맵핑 처리기(707)에 의해 생성되는 단계 807을 수행하도록 진행한다. 상기 예측은 상기 인코더에서 사용된 것과 동일한 방식을 따를 것이다.
간결함 및 명확함을 위해, 상기 예는 상기 인코더가 상기 LDR-HDR 예측에만 기초하는 간략화된 예에 초점을 두고, 따라서 전체 LDR-HDR 예측 이미지(및 전체 잔여 이미지)가 생성된다. 그러나, 다른 실시예들에서 상기 방식이 시간적 또는 공간적 예측들과 같은 다른 예측 방식들과 함께 사용될 수 있다는 것이 이해될 것이다. 특히, 전체 이미지에 상기 기술된 방식을 적용하기보다 상기 인코더에 의해 LDR-HDR 예측이 선택된 이미지 영역들 또는 블록들에만 적용될 수 있다.
도 9는 예측 동작이 수행되는 방법의 구체적인 예를 도시한다.
단계 901에서 상기 HDR 이미지의 제 1 화소 위치가 선택된다. 그 다음 단계 903에서, 이 화소 위치에 대해 상기 맵핑을 위한 입력 세트가 결정된다, 즉, 상기 그리드의 적절한 입력 빈이 결정된다. 이는 예를 들어 상기 디코딩된 LDR 이미지의 상기 디코딩된 화소 값이 속하는 강도 간격 및 상기 위치가 속하는 공간 간격을 커버하는 상기 그리드를 식별함으로써 결정될 수 있다. 그 다음 단계 903에 상기 맵핑으로부터 상기 입력 세트에 대한 출력 값이 검색되는 단계 905가 이어진다. 예를 들어, LUT는 어드레싱이 검색되도록 저장된 상기 결정된 입력 세트 데이터 및 결과적인 출력 데이터를 사용하여 어드레싱될 수 있다.
그 다음 단계 905는 상기 화소에 대한 화소 값이 상기 검색된 출력으로부터 결정되는 단계 907으로 이어진다. 단순한 예로서, 상기 화소 값은 상기 검색된 값으로 설정될 수 있다. 더 복잡한 실시예들에서, 상기 화소 값은 상이한 입력 세트들에 대한 복수의 출력 값들의 보간에 의해 생성될 수 있다(예를 들어, 매칭하는 빈들뿐만 아니라 모든 이웃 빈들을 고려하여).
이 처리는 상기 HDR 이미지의 모든 위치들에 대해 반복될 수 있어서 모든 컬러 성분들에 대해 예측된 HDR 이미지가 생성되게 된다.
그 다음 상기 디코더(115)는 상기 예측된 HDR 이미지에 기초하여 출력 HDR 이미지를 생성하도록 진행한다.
구체적인 예에서, 상기 출력 HDR 이미지는 상기 수신된 잔여 이미지 데이터를 고려함으로써 생성된다. 따라서 상기 수신 회로(701)는 상기 잔여 이미지 데이터를 수신하고 상기 잔여 이미지 데이터가 디코딩된 잔여 이미지를 생성하도록 디코딩되는 단계 809를 수행하도록 진행하는 잔여 디코더(709)에 결합된다.
상기 잔여 디코더(709)는 상기 디코드 예측기(705)에 또한 결합된 결합기(711)에 결합된다. 상기 결합기(711)는 상기 예측된 HDR 이미지 및 상기 디코딩된 잔여 HDR 이미지를 수신하고 상기 출력 HDR 이미지를 생성하기 위해 2개의 이미지들을 결합하는 단계 811를 수행하도록 진행한다. 구체적으로, 상기 결합기는 상기 출력 HDR 이미지를 생성하도록 화소 단위로 화소 상의 두 이미지들에 대한 화소 값들을 부가할 수 있다.
상기 결합기(711)는 출력 신호가 생성되는 단계 813을 수행하는 출력 회로(713)에 결합된다. 예를 들어 상기 출력 신호는 상기 HDR 이미지를 나타내기 위해, 텔레비전과 같은 적절한 디스플레이를 구동할 수 있는 디스플레이 구동 신호일 수 있다.
구체적인 예에서, 상기 맵핑은 상기 인코딩된 데이터 스트림에 포함된 데이터에 기초하여 결정된다. 그러나, 다른 실시예들에서, 상기 맵핑은 예를 들어, 상기 비디오 시퀀스의 이전 이미지와 같이, 상기 디코더에 의해 수신된 이전 이미지들에 응답하여 생성될 수 있다. 이러한 이전 이미지에 대해, 상기 디코더는 상기 LDR 디코딩으로부터 도출되는 LDR 이미지를 가질 것이고 이는 기준 LDR 이미지로서 사용될 수 있다. 부가적으로, HDR 이미지는 상기 잔여 이미지 데이터를 사용하여 상기 예측된 이미지의 추가 정정이 이어지는 예측에 의해 생성된다. 따라서, 상기 생성된 HDR 이미지는 상기 인코더의 입력 HDR 이미지에 근접하게 대응하고 따라서 상기 기준 HDR 이미지로서 사용될 수 있다. 이들 두 개의 기준 이미지들에 기초하여, 상기 인코더에 의해 사용된 바와 정확하게 동일한 방식이 맵핑을 생성하기 위해 상기 디코더에 의해 사용될 수 있다. 따라서, 이 맵핑은 상기 인코더에 의해 사용된 것에 대응하고 따라서 동일한 예측을 도출할 것이다(따라서 상기 잔여 이미지 데이터가 상기 인코더에서 상기 디코더 예측된 이미지와 상기 입력 HDR 이미지 간의 차이를 정확하게 반영할 것이다).
따라서 상기 방식은 예를 들어, LDR 톤 맵핑(예를 들어, 블랙 및 화이트 클립핑으로 급 상승하는 S-커브)을 통해 최적의 콘트라스트를 위해 장면에서 이용가능한 모든 휘도들의 "비-최적" 서브레인지 선택을 사용할 수 있는, 표준 LDR 인코딩으로부터 시작하는 역 호환가능한 HDR 인코딩을 제공한다. 그 다음 상기 방식은 최적으로 인코딩된 HDR 이미지(더 나은 품질 시각 효과를 위한 잠재적으로 다른 톤 맵핑과 함께: 예를 들어, 다크 그레이가 LDR 코딩보다 더 깊이 주입된다)의 재구성을 가능하게 하는 부가적인 데이터를 부가한다.
이는 예를 들어 HDR과 LDR 간의 다음의 차이들을 도출할 수 있다:
- 스케일 및 오프셋(예를 들어, 55=2x27.5+0)과 함께 또한 기록될 수 있는, 동일한 값들에 대한 더 높은 정확도(예를 들어, L = 27 대신 27.5)
- 클립핑에서 손실된 화이트 및 블랙의 서브 픽쳐들의 인코딩
- 전형적으로 더 높은 피크 밝기 디스플레이 상에 더 나은 시각적 렌더링을 제공하도록 상기 이미지의 적어도 일부 회색들의 시프팅(shifting)(예를 들어, 회색을 18% 어둡게 함).
상기 방식은 상기 이용가능한 LDR 데이터로부터 이들 HDR 신호의 예측을 사용하여, 요구된 잔여 정보가 감소된다.
상기 방식은 모든 아래에 놓인 객체 컬러들(예를 들어, 블록 중첩 몇몇 객체들의 텍스트 문자의 일부 등)에 발생하는 것들을 자동으로 고려하는 상이한 LDR 값들로부터 HDR 값들로의 맵핑의 개선된 특징들을 사용한다.
상기 기술된 예는 화소-당 미세 정확성 공간 프로파일을 무시하지만, "국부적 평균" 또는 "모든-컬러-조정성" 방식 이용은 전형적으로 더 나은 예측을 도출한다(예를 들어, 필요한 적절한 HDR 값을 산출하는 대응하는 빈을 검색하기 위한 개략적인 인덱스로서 상기 입력 LDR 값을 사용함으로써 어느 에지들의 측면 상에서). 이는 가능한 존재하는 임의의 이러한 객체에 대한 양호한 객체-인-HDR 평균 시작 값(object-in-HDR average starting value)을 도출한다.
구체적으로, 예를 들어, 공간에서 서브샘플링되고(정확한 기하학적 HDR 마이크로프로파일이 아닌 국부적인 평균들만이 사용되기 때문에) 각각의 가능한 LDR 값에 대한 HDR 값(또는 컬러 좌표들의 조합)과 함께 맵핑 그리드가 구성된다. 일부 실시예들에서, 값 서브샘플링이 또한 상기 LDR의 4 휘도 코딩들의 단계당 HDR 값과 함께 수행될 수 있다.
상기 기술된 방식은 특정한 국부적인 특성들로 맵핑의 특히 효율적인 조정을 제공할 수 있고 많은 시나리오들에서 특히 정확한 예측을 제공할 수 있다. 이는 LDR 이미지(Y_LDR)에 대한 휘도와 대응하는 HDR 이미지(Y_HDR)에 대한 휘도 간의 관계들을 도시하는 도 10의 예에 의해 예시될 수 있다. 도 10은 3개의 상이한 객체들의 원소들을 포함하도록 발생하는 특정한 매크로-블록에 대한 관계를 도시한다. 결과적으로 화소 휘도 관계들(점들로 표시된)은 3개의 상이한 클러스터들(1001, 1003, 1005)에 위치된다.
종래 기술의 알고리즘은 상기 관계에 대한 선형 회귀를 수행할 것이고 그에 의해 예를 들어, 선 1007에 의해 표시된 것과 같이, 상기 LDR 휘도 값들과 상기 HDR 휘도 값들 간의 선형 관계를 생성한다. 그러나, 이러한 방식은 클러스터(1003)의 상기 이미지 객체에 속하는 것과 같은, 적어도 일부 값들에 대해 상대적으로 불량한 맵핑/예측을 제공할 것이다.
반대로, 상기 기술된 방식은 선 1009로 표시된 바와 같이 훨씬 더 정확한 맵핑을 생성할 것이다. 이러한 맵핑은 상기 클러스터들 모두에 대해 적합한 맵핑 및 특성들을 훨씬 더 정확하게 반영할 것이고 따라서 개선된 맵핑을 도출할 것이다. 실제로, 상기 맵핑은 상기 클러스터들에 대응하는 휘도들에 대한 정확한 결과들을 제공할 수 있을 뿐만 아니라 또한 1011로 표시된 간격에 대해서와 같이, 중간의 휘도들에 대한 관계들을 정확하게 예측할 수 있다. 이러한 맵핑들은 보간에 의해 획득될 수 있다.
또한, 이러한 정확한 맵핑 정보는 기준 이미지들(및 특정한 경우 두 개의 기준 매크로 블록들에 기초하여)에 기초하여 단순히 처리함으로써 자동으로 결정될 수 있다. 또한, 상기 정확한 맵핑은 이전 이미지들에 기초하여 인코더 및 디코더에 의해 독립적으로 결정될 수 있어서 맵핑 정보가 상기 데이터 스트림에 포함될 필요가 없다. 따라서, 상기 맵핑의 오버헤드는 최소화될 수 있다.
이전 예에서, 상기 방식은 HDR 이미지에 대한 디코더의 일부로서 사용된다. 그러나, 상기 원리들이 많은 다른 애플리케이션들 및 시나리오들에서 사용될 수 있다는 것이 이해될 것이다. 예를 들어, 상기 방식은 LDR 이미지로부터 HDR 이미지를 간단히 생성하기 위해 사용될 수 있다. 예를 들어, 적절한 국부적인 기준 이미지들이 국부적으로 선택되고 적절한 맵핑을 생성하기 위해 사용될 수 있다. 그 다음 상기 맵핑이 HDR 이미지를 생성하기 위해(예를 들어, 보간을 사용하여) 상기 LDR 이미지에 적용될 수 있다. 그 다음 상기 결과적인 HDR 이미지는 HDR 디스플레이 상에 디스플레이될 수 있다.
또한, 일부 실시예들에서 상기 디코더가 어떠한 잔여 데이터도 고려하지 않는다(따라서 상기 인코더는 상기 잔여 데이터를 생성할 필요가 없다)는 것이 이해될 것이다. 실제로, 많은 실시예들에서, 상기 맵핑을 상기 디코딩된 LDR 이미지에 적용함으로써 생성된 상기 HDR 이미지는 어떠한 추가의 수정 또는 향상을 필요로 하지 않고 상기 출력 HDR 이미지로서 직접 사용될 것이다.
상기 기술된 방식은 많은 다른 적용들 및 시나리오들에서 사용될 수 있고 예를 들어 LDR 비디오 신호들로부터 실시간 HDR 비디오 신호들을 다이내믹하게 생성하는데 사용될 것이다. 예를 들어, 상기 디코더(115)는 셋-탑 박스 또는 상기 비디오 신호를 수신하는 입력 커넥터와 적절한 하이 다이내믹 레인지 디스플레이 상에 디스플레이될 수 있는 HDR 비디오 신호를 출력하는 출력 커넥터를 갖는 다른 장치로 구현될 수 있다.
구체적인 예로서, 기술된 바와 같은 비디오 신호는 Bluray™ 플레이어에 의해 판독되는 Bluray™ 디스크 상에 저장될 수 있다. 상기 Bluray™ 플레이어는 HDMI 케이블을 통해 셋-탑 박스에 접속될 수 있고 그 다음 상기 셋-탑 박스는 상기 HDR 이미지를 생성할 수 있다. 상기 셋-탑 박스는 다른 HDMI 커넥터를 통해 (텔레비전과 같은)디스플레이에 접속될 수 있다.
일부 시나리오들에서, 상기 디코더 또는 HDR 이미지 생성 기능은 Bluray™ 플레이어 또는 다른 미디어 플레이어와 같은, 신호 소스의 일부로 포함될 수 있다. 다른 대안으로서, 상기 기능은 컴퓨터 모니터 또는 텔레비전과 같은 디스플레이의 일부로서 구현될 수 있다. 따라서, 상기 디스플레이는 LDR 이미지들을 제공하도록 수정될 수 있는 LDR 스트림을 수신할 수 있다. 따라서, 미디어 플레이어와 같은 신호 소스, 또는 상당히 개선된 사용자 경험을 전달하는 컴퓨터 모니터 또는 텔레비전과 같은 디스플레이가 제공될 수 있다.
상기 기술된 방식은 이미지에 대한 각각의 개별 컬러 채널로 적용될 수 있다. 예를 들어, RGB 이미지에 대해, 상기 방식은 각각의 R, G, 및 B 채널들에 개별적으로 적용될 수 있다. 그러나, 일부 실시예들에서, 상기 맵핑 입력에 대해 사용된 상기 조합 값은 휘도 값일 수 있고 상기 출력 데이터는 개별적인 컬러 성분 값일 수 있다. 예를 들어, 주어진 화소에 대한 RGB 값은 단일 휘도 값으로 결합될 수 있고 개별 HDR 출력 화소 값들은 각각의 개별 컬러 채널에 대한 그리드에 저장된다.
실제로, 실행시, 상기 LDR 이미지들은 종종 알려지지 않은 톤-맵핑 및 컬러 그레이딩 동작들에 의해 HDR 이미지들로부터 생성된다. 발명자들은 상기 LDR 및 HDR 이미지들에 대한 개별 컬러 성분들 간의 관계가 상기 LDR 컬러 데이터보다는 상기 LDR 휘도 정보로부터 종종 더 잘 예측될 수 있다는 것을 실현하였다. 따라서, 많은 실시예들에서, U와 V와 같은 컬러 성분들에 대한 그리드를 구성할 때에도 강도 좌표들에 대한 상기 LDR 신호의 휘도를 사용하는 것이 유익하다. 즉, 이전의 수식에서 VLDR은 모든 컬러 성분들에 대한 휘도 값 YLDR로 설정될 수 있다. 따라서, 동일한 그리드가 각각의 컬러 채널에 대한 출력 HDR 값을 저장하는 각각의 빈과 함께 모든 컬러 채널들에 대해 사용될 수 있다.
상기 특정한 기술된 예들에서, 상기 맵핑을 위한 입력 데이터는 2개의 공간 차원들 및 예를 들어, 상기 화소에 대한 휘도 값 또는 컬러 채널 강도 값에 대응할 수 있는 강도 값을 나타내는 단일 화소 값 차원으로 간단히 구성된다.
그러나, 더 일반적으로 상기 맵핑 입력은 LDR 이미지의 화소들에 대한 컬러 좌표들의 조합을 포함할 수 있다. 각각의 컬러 좌표는 단순히 RGB 신호의 상기 R, G 및 B 값들 중 하나 또는 YUV 신호의 Y, U, V 값들 중 하나와 같이 하나의 화소의 값에 대응할 수 있다. 일부 실시예들에서, 상기 조합은 단순히 상기 컬러 좌표 값들 중 하나의 선택에 대응할 수 있고, 즉, 상기 선택된 컬러 좌표 값으로부터 먼 모든 컬러 좌표들이 제로 가중치들로 가중되는 조합에 대응할 수 있다.
다른 실시예들에서, 상기 조합은 단일 화소에 대한 복수의 컬러 좌표들 중 하나일 수 있다. 구체적으로, 상기 RGB 신호의 컬러 좌표들은 휘도 값을 생성하도록 단순히 조합될 수 있다. 다른 실시예들에서, 예를 들어, 모든 컬러 채널들이 고려되지만 그리드가 전개되는 컬러 채널이 다른 컬러 채널들보다 높게 가중되는 가중된 휘도 값과 같이 더 유연한 방식들이 사용될 수 있다.
일부 실시예들에서, 상기 조합은 복수의 화소 위치들에 대한 화소 값들을 고려할 수 있다. 예를 들어, 처리될 위치에 대한 화소의 휘도뿐만 아니라 다른 화소들에 대한 휘도도 고려하는 단일 휘도 값이 생성될 수 있다.
실제로, 일부 실시예들에서, 특정한 화소의 특성들만이 아니라 상기 화소의 지역적 특성들 및 구체적으로 이러한 특성들이 상기 화소 주변에서 가변하는 방법을 반영하는 조합 값들이 생성될 수 있다.
예로서, 휘도 또는 컬러 강도 기울기 성분이 상기 조합에 포함될 수 있다. 예를 들어, 상기 조합 값은 상기 현재 화소 값의 휘도와 주변 화소들 각각의 휘도들 간의 차이를 고려하여 생성될 수 있다. 또한 상기 주변 화소들을 둘러싸는 화소들(즉, 다음 중심 층)에 대한 휘도들의 차이가 결정될 수 있다. 그 다음 상기 차이들은 가중치가 상기 현재 화소까지의 거리에 의존하는 가중된 합산을 사용하여 합산될 수 있다. 상기 가중치는 또한 예를 들어, 반대 방향들의 차이들에 반대 부호들을 적용함으로써 공간적 위치에 의존할 수 있다. 이러한 조합된 차이 기반 값은 상기 특정한 화소 주변의 가능한 휘도 기울기를 나타내는 것으로 고려될 수 있다.
따라서, 이러한 공간적으로 향상된 맵핑을 적용하는 것은 LDR 이미지로부터 생성된 상기 HDR 이미지로 하여금 공간적 변화들을 고려하도록 하여 그것이 이러한 공간 적 변화들을 더 정확하게 반영하도록 한다.
다른 예로서, 상기 조합 값은 포함된 이미지 영역에 대한 텍스처 특성을 상기 현재 화소 위치에 반영하도록 생성될 수 있다. 이러한 조합 값은 예를 들어, 작은 주변 영역에 걸친 화소 값 분산을 결정함으로써 생성될 수 있다. 다른 예로서, 상기 조합 값을 결정할 때 반복하는 패턴들이 검출 및 고려될 수 있다.
실제로, 많은 실시예들에서, 상기 조합 값이 상기 현재 화소 값 주변의 화소 값들의 변동들의 표시를 반영하도록 하는 것이 유리할 수 있다. 예를 들어, 상기 분산은 입력 값으로서 직접 결정될 수 있고 사용될 수 있다.
다른 예로서, 상기 조합은 국부적인 엔트로피 값과 같은 파라미터일 수 있다. 상기 엔트로피는 예를 들어, 상기 입력 이미지의 텍스처를 특징으로 하는데 사용될 수 있는 임의성의 통계적 측정치이다. 엔트로피 값 H는 예를 들어 다음과 같이 계산될 수 있다:
Figure 112013010335572-pct00003
여기서, p()는 이미지 I의 화소 값들 Ij에 대한 확률 밀도 함수를 나타낸다. 이 함수는 고려되는 이웃에 걸친(상기 식에서, n은 이웃 화소들) 국부적인 히스토그램을 구성함으로써 추정될 수 있다. 로그 b의 기저는 전형적으로 2로 설정된다.
조합 값이 복수의 개별 화소 값들로부터 생성되는 실시예들에서, 각각의 공간 입력 세트에 대한 그리드에 사용될 수 있는 가능한 조합 값들의 수는 상기 개별 화소에 대한 화소 값 양자화 레벨들의 총 수보다 아마도 더 클 것임이 인식될 것이다. 예를 들어, 특정 공간 위치에 대한 빈들의 수는 화소가 획득할 수 있는 가능한 별개의 휘도 값들의 수를 초과할 수 있다. 그러나, 상기 개별 조합 값의 정확한 양자화 및 그에 따른 그리드의 크기는 특정한 애플리케이션에 대해 가장 최적화된다.
상기 LDR 이미지로부터 상기 HDR 이미지의 생성은 다양한 다른 특징들, 파라미터들, 및 특성들에 응답할 수 있다는 것이 이해될 것이다.
예를 들어, 상기 HDR 이미지의 생성은 상기 LDR 이미지와 연관된 깊이 정보에 응답할 수 있다. 이러한 방식은 기본적으로 기술된 맵핑없이 사용될 수 있고 상기 HDR 이미지가 예를 들어, 상기 LDR 이미지 및 상기 깊이 정보에만 기초하여 생성될 수 있다는 것을 상상할 수 있다. 그러나, 상기 LDR-HDR 맵핑이 상기 깊이 기반 예측과 함께 사용될 때 특히 유리한 성능이 달성될 수 있다.
따라서, 일부 실시예들에서, 상기 인코더는 또한 예를 들어, 상기 LDR 이미지에 대한 깊이 맵을 인코딩하고 디코더에 전송되는 상기 데이터 스트림에 상기 인코딩된 깊이 데이터를 포함하는 깊이 디코더를 포함할 수 있다. 그 다음 상기 디코더는 상기 깊이 맵을 디코딩하고 상기 디코딩된 깊이 맵에 응답하여 상기 HDR 이미지를 생성할 수 있다. 도 11은 도 7의 디코더가 상기 수신 회로(701)로부터 상기 인코딩된 깊이 데이터를 공급되고 그 후 상기 LDR 이미지에 대한 깊이 맵을 생성하도록 상기 데이터를 디코딩하도록 진행하는 깊이 디코더(1101)를 포함에 의해 향상될 수 있는 방법을 도시한다. 그 다음 상기 깊이 맵은 상기 HDR 이미지에 대한 예측을 생성하기 위해 사용되는(또는 일부 예들에서 상기 출력 HDR 이미지로서 직접 사용되는 HDR 이미지를 생성하도록 사용될 수 있는) 디코드 예측기(705)에 공급된다. LDR-HDR 예측에 대한 우리의 실시예들이 임의의 3D 정보(예를 들어, 하나 또는 몇몇의 시야들로 공동-인코딩된 인코딩된 깊이 맵, 또는 몇몇 시야들로부터 도출된 깊이 맵)의 도움을 받지만, 개략적인 깊이 맵이 단일 시야에 대해 추정될 때(예를 들어, 기하학적 구조, 쉐이딩 등으로부터 깊이를 조합하는 알고리즘으로) 동일한 기능들이 또한 도움을 받는다는 것을 주의한다. 따라서 상기 블록 깊이 디코더는 일반적으로 깊이 표시 생성 유닛으로 보여져야 한다.
예를 들어, 밝은 포커스된 빛들로 조사된 장면들에서, 전경 객체들은 종종 배경의 객체들보다 더 밝을 수 있다. 따라서, 주어진 객체의 깊이의 지식을 갖는 것은 상기 증가된 다이내믹 레인지가 활용되는 방법을 결정하기 위해 사용될 수 있다. 예를 들어, 전경 객체들은 HDR 이미지의 부가적인 다이내믹 레인지를 사용하기 위해 더 밝아지지만, 배경 객체들의 인식된 중요성을 상기 장면의 특정한 조명에 의해 의도되거나 실현되는 것보다 잠재적으로 증가시키기 때문에, 배경 객체들은 동등하게 밝아질 필요는 없다. 상기 깊이는 또한 상이한 장면 요소들로 특히, 상이한 깊이들의 디스플레이 및 할당의 휘도 범위를 최적으로 사용하도록 최종 렌더링 변환에 사용될 수 있다. 휘도와 깊이 인식 간의 관계(및 집중과 같은 스토리-관련 특성들도)가 있기 때문에, 이는 렌더링을 위한 최종 V_HDR 값들을 최적으로 할당하도록 사용될 수 있다.
따라서 HDR 출력 화소들을 생성하기 위한 상기 맵핑은 컬러 조합들 및 이미지 위치에 의존할 뿐만 아니라 그 위치에서의 깊이 정보에 의존할 수 있다. 이 정보는 상이한 방법들의 맵핑에 포함될 수 있다. 예를 들어, 상이한 맵핑 그리드들이 컬러 조합들 및 깊이 값들에 대해 생성될 수 있어서, 각 위치에 대해 2개의 룩업 테이블들에서 룩업이 수행될 수 있다. 그 다음 주어진 위치에 대한 결과적인 2개의 HDR 예측 값들이 2개의 HDR 값들의 조합, 예를 들어, 간단한 평균에 의해 생성될 수 있다. 다른 예로서, 컬러 좌표들 및 공간 위치들의 조합들을 포함하는 입력 세트들 및 HDR 값 형태의 출력을 갖는 단일 룩-업 테이블이 사용될 수 있다(예를 들어, 도 7의 예와 동일한 룩-업 테이블). 그 다음 상기 깊이 고려 사항이 테이블 룩-업 전에 입력 데이터의 깊이 의존 조정에 의해 및/또는 상기 출력 HDR 값의 깊이 의존 조정에 의해 달성될 수 있다. 상기 입력 및/또는 출력 데이터에 적용되는 상기 기능들은 미리 결정된 기능들이거나 예를 들어 이전 이미지들에 기초하여 결정될 수 있다. 흥미롭게도, 상이한 시야들에 대한 상이한 HDR 값들이 예를 들어, 상기 캡처된 장면 요소들의 특별한 양방향 반사 특성들에 더 현실감을 주지만, 인코딩된 바람직한 HDR 경험은 다양할 수 있고, 예를 들어, 이미지들을 렌더링하는 동안 깊이가 얼마나 과장되는지에 의존할 수 있다(예를 들어, 뷰어 쪽으로 많이 돌출되지만 밝지 않기를 원할 수 있다). 예를 들어, 뷰어들에 대한 더 적절한 최종 렌더링 신호들이 사용자 설정들을 고려하여 도출될 수 있는 적어도 일부 시야들에 대해 반복에 의해 본 전략들이 몇몇 HDR 변수들을 가질 수 있다.
일부 실시예들에서, 상기 맵핑은 깊이 정보를 또한 포함하는 그리드로서 구현될 수 있다. 예를 들어, 각각의 빈은 각각의 공간 이미지 치수에 대한 간격, 각각의 컬러 좌표에 대한 간격, 및 상기 깊이 값에 대한 간격에 의해 규정될 수 있다. 이러한 표가 각각의 화소 위치에 대한 것을 제외하고 이전에 기술된 바와 같이 실장(populated)될 수 있고, 상기 빈이 또한 선택되어 화소 위치에 대한 깊이 표시가 상기 빈의 깊이 간격 내에 있다. 물론 이러한 실장은 이전 이미지 및 깊이 맵에 기초할 수 있고 따라서 상기 인코더 및 상기 디코더 모두에서 독립적이지만 일관되게 수행될 수 있다.
상기 맵핑에 고려될 수 있는 다른 파라미터들은 예를 들어 이미지 객체들의 특성들과 같은 다양한 이미지 특성들을 포함할 수 있다. 예를 들어, 피부 톤들이 자연스러운 룩(natural look)을 유지하기 위해 조작에 매우 민감하다는 것이 알려져 있다. 따라서, 상기 맵핑은 컬러 좌표들의 조합이 피부 톤들에 대응하는지 여부를 특히 고려할 수 있고 이러한 톤들에 대해 더 정확한 맵핑을 수행할 수 있다.
다른 예로서, 상기 인코더 및/또는 디코더는 이미지 객체들을 추출 및 식별할 수 있는 기능성을 포함할 수 있고 이러한 객체들의 특성에 응답하여 상기 맵핑을 조정할 수 있다. 예를 들어, 이미지에서 얼굴 검출을 위한 다양한 알고리즘들이 공지되어 있고 이러한 알고리즘들은 사람 얼굴에 대응하는 것으로 고려되는 영역들의 맵핑을 조정하도록 사용될 수 있다.
따라서, 일부 실시예들에서, 상기 인코더 및/또는 디코더는 이미지 객체들을 검출하기 위한 수단 및 상기 이미지 객체들의 이미지 특성들에 응답하여 상기 맵핑을 조정하기 위한 수단을 포함할 수 있다. 특히, 상기 인코더 및/또는 디코더는 얼굴 검출을 수행하기 위한 수단 및 얼굴 검출에 응답하여 상기 맵핑을 조정하는 수단을 포함할 수 있다.
상기 맵핑이 많은 상이한 방법들로 조정될 수 있다는 것이 이해될 것이다. 낮은 복잡성의 예로서, 상이한 그리드들 또는 룩-업 테이블들이 상이한 영역들에 대해 단순히 사용될 수 있다. 따라서, 상기 인코더/디코더는 이미지 객체에 대한 얼굴 검출 및/또는 이미지 특성들에 응답하여 상이한 맵핑들 간에서 선택하도록 구성될 수 있다.
구체적인 예로서, 상기 인코더 및/또는 디코더는 기준 이미지들에서 사람 얼굴들에 대응한다고 고려되는 임의의 영역들을 식별할 수 있다. 이들 영역들에 대해, 하나의 룩-업 테이블이 생성될 수 있고 제 2 룩-업 테이블이 다른 영역들에 대해 사용될 수 있다. 2 개의 룩-업 테이블들의 생성은 상이한 방식들을 사용할 수 있고 및/또는 상기 맵핑은 상기 두 예들에서 다를 수 있다. 예를 들어, 상기 맵핑은 일반적인 영역들에 대해서는 증가하지만 얼굴들에 대응하는 영역들에서는 그렇지 않은 포화(saturation)를 포함하도록 생성될 수 있다. 다른 예로서, 얼굴들에 대응하지 않는 다른 영역들에 비해 얼굴 영역들에 대한 맵핑의 더 미세한 입도가 사용될 수 있다.
상기 맵핑을 조정하는 다른 수단이 구상될 수 있다. 예를 들어, 일부 실시예들에서, 상기 입력 데이터 세트들이 상기 맵핑에 앞서 처리될 수 있다. 예를 들어, 포물선 함수가 테이블 룩-업 전에 컬러 값들에 적용될 수 있다. 이러한 전처리는 모든 입력 값들에 적용될 가능성이 있고 또는 예를 들어, 선택적으로 적용될 수 있다. 예를 들어, 상기 입력 값들은 일부 영역들 또는 이미지 객체들에 대해서만 또는 일부 값 간격들에 대해서만 전처리될 수 있다. 예를 들어, 상기 전처리는 피부 톤 간격 내의 컬러 값들 및/또는 얼굴에 대응할 것으로 지정된 영역들에만 적용될 수 있다.
대안적으로 또는 부가적으로, 상기 출력 HDR 화소 값들의 후-처리가 적용될 수 있다. 이러한 후-처리는 전체에 유사하게 적용될 수 있거나 선택적으로 적용될 수 있다. 예를 들어, 피부 톤들에 대응하는 출력 값들에만 적용될 수 있거나 얼굴들에 대응한다고 고려되는 영역들에만 적용될 수 있다. 일부 시스템들에서, 상기 후-처리는 부분적으로 또는 전체적으로 전처리를 보상하도록 구성될 수 있다. 예를 들어, 상기 전-처리는 역 변환을 적용하는 후처리를 갖는 변환 동작을 적용할 수 있다.
구체적인 예로서, 상기 전-처리 및/또는 후-처리는 (하나 이상의)입력/출력 값들의 필터링을 포함할 수 있다. 이는 많은 실시예들에서 개선된 성능을 제공할 수 있고 특히 상기 맵핑이 종종 개선된 예측을 도출할 수 있다. 예를 들어, 상기 필터링은 감소된 대역을 도출할 수 있다.
전-처리의 예로서 일부 예들에서 적절한 컬러 공간에 대해 컬러 변환을 적용하는 것이 바람직할 수 있다. 많은 표준 비디오 컬러 공간들(예를 들어, YCbCr)이 사람의 지각에 겨우 느슨하게 접속된다. 따라서 상기 비디오 데이터를 지각적으로 균일한 컬러 공간(일정한 단계 크기가 고정된 지각 차에 대응하는 컬러 공간)으로 변환하는 것이 유리할 수 있다. 이러한 컬러 공간들의 예들은 Yu'v', CIELab 또는 CIELuv를 포함할 수 있다. 이러한 전처리 단계의 이점은 예측 부정확성으로 인한 에러들이 지각적으로 더 균일한 효과를 가질 것이라는 것이다.
일부 실시예들에서 상기 맵핑은 불균일하게 서브샘플링될 수 있다. 상기 맵핑은 구체적으로 공간적으로 불균일한 서브샘플링된 맵핑; 시간적으로 불균일한 서브샘플링된 맵핑; 및 조합 값 불균일 서브샘플링된 맵핑 중 적어도 하나일 수 있다.
상기 불균일 서브샘플링은 통계적 불균일 서브샘플링일 수 있거나 상기 불균일 서브샘플링은 예를 들어 컬러 좌표들 또는 이미지 특성들의 조합들의 특성들에 응답하여 조정될 수 있다.
예를 들어, 상기 컬러 값 서브샘플링은 컬러 좌표 값들에 의존할 수 있다. 이는 예를 들어 피부 톤들에 대응하는 컬러 값들에 대한 빈들이 다른 컬러들을 커버하는 컬러 값들보다 훨씬 작은 컬러 좌표 값 간격들을 커버할 수 있도록 통계적일 수 있다.
다른 예로서, 얼굴들에 대응하도록 고려되지 않는 영역들보다 얼굴들에 대응하도록 고려되는 영역들의 훨씬 미세한 서브샘플링이 사용되는 다이내믹 공간 서브샘플링이 적용될 수 있다. 많은 다른 불균일 서브샘플링 방식들이 사용될 수 있다는 것이 이해될 것이다.
다른 예로서, 이미지들이 제한된 휘도 범위에 걸쳐 평탄한 기울기를 포함할 때, 양자화 아티팩트들이 상기 기울기에서 가시적이 되는 것을 방지하기 위한 범위에 대해 더 미세한 양자화 단계를 사용하는 것이 유리할 것이다.
또 다른 예에서, 상기 샘플링/양자화가 상기 이미지의 초점에 의존할 수 있다. 이는 선명도 메트릭들(sharpness metrics) 또는 주파수 분석으로부터 도출될 수 있다. 흐려진 배경에 대해 상기 신호 예측은 카메라가 초점을 맞춘 작은 밝은 객체들만큼 동일하게 정확할 필요는 없다. 일반적으로, 적은 디테일들을 포함하는 영역들은 상기 기술된 방식에 의해 제안된 구문 선형 근사로 충분할 것이기 때문에 더 조악하게 양자화될 수 있다.
이전 예들에서, 3차원 맵핑/그리드가 사용되었다. 그러나, 다른 실시예들에서, N차원 그리드가 사용될 수 있고, N은 3보다 큰 정수이다. 특히, 2개의 공간 치수들이 복수의 화소 값 관련 치수들에 의해 보충될 수 있다.
따라서, 일부 실시예들에서 상기 조합은 각각의 차원에 대한 값을 갖는 복수의 차원들을 포함할 수 있다. 단순한 예로서, 상기 그리드는 2개의 공간 차원들 및 각각의 컬러 채널에 대해 하나의 차원를 갖는 그리드로서 생성될 수 있다. 예를 들어, RGB 이미지에 대해, 각각의 빈은 수평 위치 간격, 수직 위치 간격, R 값 간격, G 값 간격 및 B 값 간격에 의해 규정될 수 있다.
다른 예로서, 복수의 화소 값 차원들이 부가적으로 또는 대안적으로 상이한 공간 차원들에 대응할 수 있다. 예를 들어, 차원은 현재 화소의 휘도 및 주변 화소들의 각각에 할당될 수 있다.
이와 같이, 다-차원 그리드들이 개선된 예측을 가능하게 하고 특히 화소들 간의 상대적인 차이들을 더 근접하게 반영하도록 하는 부가적인 정보를 제공할 수 있다.
일부 실시예들에서, 상기 인코더는 상기 예측에 응답하여 상기 동작을 조정하도록 구성될 수 있다.
예를 들어, 상기 인코더는 이전에 예측된 바와 같이 예측된 HDR 이미지를 생성할 수 있고 그 후 상기 입력 HDR 이미지와 이를 비교할 수 있다. 이는 예를 들어 상기 잔여 이미지를 생성하고 이 이미지를 평가함으로써 행해질 수 있다. 그 다음 상기 인코더는 이 평가에 따라 동작을 조정하도록 진행하고, 특히 상기 맵핑 및/또는 상기 평가에 따라 상기 잔여 이미지를 조정할 수 있다.
구체적인 예로서, 상기 인코더는 상기 평가에 기초하여 상기 인코딩된 데이터 스트림에 맵핑의 어떤 부분이 포함될지 선택하도록 구성될 수 있다. 예를 들어, 상기 인코더는 상기 현재 이미지에 대한 맵핑을 생성하도록 이미지들의 이전 세트를 이용할 수 있다. 이러한 맵핑에 기초한 대응하는 예측이 결정될 수 있고 상기 대응하는 잔여 이미지가 생성될 수 있다. 상기 인코더는 상기 예측이 충분히 정확하다고 고려되는 영역들 및 상기 예측이 충분히 정확하지 않다고 고려되는 영역들을 식별하도록 상기 잔여 영역들을 평가할 수 있다. 예를 들어, 잔여 이미지 값이 주어진 미리 결정된 문턱 값보다 낮은 모든 화소 값들이 충분히 정확하게 예측된다고 고려될 수 있다. 따라서, 이러한 영역들에 대한 상기 맵핑 값들은 충분히 정확하다고 고려되고, 이들 값들에 대한 그리드 값들이 상기 디코더에 의해 직접 사용될 수 있다. 따라서, 충분히 정확하게 예측된다고 고려되는 화소들만 스팬(span)하는 입력 세트들/빈들에 대해 맵핑 데이터가 포함되지 않는다.
그러나, 충분히 정확하게 예측되지 않는 화소들에 대응하는 빈들에 대해, 상기 인코더는 기준 이미지들로서 이미지들의 현재 세트를 이용하는 것에 기초하여 새로운 맵핑 값들을 생성하도록 진행할 수 있다. 이 맵핑 정보가 상기 디코더에 의해 재생성될 수 없기 때문에, 이는 상기 인코딩된 데이터에 포함된다. 따라서, 이전 이미지들을 반영하는 데이터 빈들 및 현재 이미지들을 반영하는 데이터 빈들로 구성되도록 상기 맵핑을 동적으로 조정하도록 상기 맵핑이 사용될 수 있다. 따라서, 상기 맵핑은 이전 이미지들이 수용가능할 때 이전 이미지들 및 현재 이미지들이 필요할 때 현재 이미지들에 기초하도록 자동으로 조정된다. 상기 현재 이미지들에 기초하여 생성된 상기 빈들 만이 상기 인코딩된 출력 스트림에 포함될 필요가 있기 때문에, 상기 통신된 맵핑 정보의 자동 조정이 달성된다.
따라서 일부 실시예들에서, 상기 이미지의 일부 영역들에 대한 더 나은(디코더 측이 구성되지 않음) LDR-HDR 맵핑을 송신하는 것이 바람직할 수 있는데, 이는 예를 들면, 상기 인코더가 이들 영역들에 대해, 예를 들면, 중요한 객체 변화 때문에 상기 HDR 이미지 예측이 충분히 양호하지 못하다고 검출할 수 있기 때문이거나, 또는 상기 객체가 매우 중요(얼굴과 같이)하기 때문이다.
일부 실시예들에서, 유사한 방식이 상기 잔여 이미지에 대해 대안적으로 또는 부가적으로 사용될 수 있다. 낮은 복잡도 예로서, 통신되는 잔여 이미지 데이터의 양은 입력 하이 다이내믹 레인지 이미지와 상기 예측된 하이 다이내믹 레인지 이미지의 비교에 응답하여 조정될 수 있다. 구체적인 예로서, 상기 인코더는 상기 잔여 이미지에서 상기 정보가 얼마나 중요한지를 평가하도록 진행할 수 있다. 예를 들어, 상기 잔여 이미지의 화소들의 평균 값이 주어진 문턱 값보다 작다면, 이는 상기 예측된 이미지가 상기 입력 HDR 이미지에 가깝다는 것을 나타낸다. 따라서, 상기 인코더가 상기 인코딩된 출력 스트림에 상기 잔여 이미지를 포함할 지 또는 이러한 고려에 기초하지 않을지를 선택할 수 있다. 예를 들어, 상기 평균 휘도 값이 문턱 값 미만이면, 상기 잔여 이미지에 대한 인코딩 데이터가 포함되지 않고, 문턱 값 이상이면, 상기 잔여 이미지에 대한 인코딩 데이터가 포함된다.
일부 실시예들에서, 잔여 이미지 데이터가 상기 평균의 화소 값들이 문턱 값 이상인 영역들에 포함되면 더 미세한 선택이 적용될 수 있지만 상기 평균의 화소 값들이 상기 문턱 값 미만인 이미지 영역들에는 적용되지 않는다. 상기 이미지 영역들은 예를 들어, 고정된 사이즈를 갖거나 예를 들어 다이내믹하게 결정(세그먼테이션 처리에 의해서와 같이)될 수 있다.
일부 실시예들에서, 상기 인코더는 또한 바람직한 시각적 효과들을 제공하도록 상기 맵핑을 생성할 수 있다. 예를 들어, 일부 실시예들에서, 상기 맵핑은 가장 정확한 예측을 제공하도록 생성되지 않고 오히려 바람직한 시각적 효과를 대안적으로 또는 부가적으로 부여하도록 생성될 수 있다. 예를 들어, 상기 맵핑은 상기 예측이 또한 예를 들어, 컬러 조정, 콘트라스트 증가, 선명도 정정 등을 제공하도록 생성될 수 있다. 이러한 바람직한 효과는 예를 들어 상기 이미지의 상이한 영역들에 상이하게 적용될 수 있다. 예를 들어, 이미지 객체들이 식별될 수 있고 상기 맵핑을 생성하는 상이한 방식들이 상이한 영역들에 대해 사용될 수 있다.
실제로, 일부 실시예들에서, 상기 인코더는 이미지 특성들에 응답하여, 특히 국부적인 이미지 특성들에 응답하여 상기 맵핑을 생성하기 위한 상이한 방식들 중에서 선택하도록 구성될 수 있다.
예를 들어, 상기 인코더는 하이 또는 로우 휘도 화소들에 의해 지배된 영역들보다 중간 휘도 화소들에 의해 지배된 영역들에 증가된 다이내믹 레인지 확장을 제공할 수 있다. 따라서, 상기 인코더는 입력 LDR 또는 HDR 이미지들을 분석할 수 있고 상이한 이미지 영역들에 대해 상이한 방식들을 동적으로 선택할 수 있다. 예를 들어, 휘도 오프셋은 특정한 빈들이 속한 영역의 특성들에 따라 상기 특정한 빈들에 부가될 수 있다. 이 방식이 구체적인 이미지들에 기초하여 조정하는 방식을 여전히 사용할 수 있을지라도 상기 입력 HDR 이미지보다 바람직한 HDR 이미지에 더 가까운 근사를 아마도 도출하지 않는 바람직한 시각적 이미지 특성들을 제공하도록 또한 사용될 수 있다. 상기 방식은 상기 인코더에서 상기 맵핑이 얼마나 정확하게 생성되는지 다소의 불확실성을 도입할 수 있고 상기 디코더로 하여금 이 맵핑을 독립적으로 매칭하도록 하기 위해, 상기 인코더는 선택된 맵핑을 규정 또는 기술하는 데이터를 포함할 수 있다. 예를 들어, 상기 개별 빈들에 적용된 오프셋은 상기 디코더로 통신될 수 있다.
상기 예들에서, 상기 맵핑은 LDR 및 HDR 입력 이미지들의 세트들에 기초한 맵핑의 적응적인 생성에 기초하였다. 특히, 상기 맵핑은 상기 인코딩된 데이터 스트림에 포함될 어떠한 맵핑 정보도 필요로 하지 않기 때문에 이전 LDR 및 HDR 입력 이미지들에 기초하여 생성될 수 있다. 그러나, 어떤 경우들에서, 이는 적절하지 않는데, 예를 들어, 장면 전환에 대해, 이전 이미지와 현재 이미지 간의 상관이 매우 다를 수 있다. 이러한 경우, 상기 인코더는 상기 인코딩된 출력 데이터에 맵핑을 포함하도록 스위칭될 수 있다. 예를 들어, 상기 인코더는 장면 전환이 발생하는 것을 검출할 수 있고 따라서 상기 현재 이미지들 자체에 기초하여 상기 장면 전환 즉시 나오는 이미지(들)에 대한 맵핑을 생성하도록 진행할 수 있다. 그 다음 상기 생성된 맵핑 데이터는 상기 인코딩된 출력 스트림에 포함된다. 상기 디코더는 명시적인 맵핑 데이터가 사용되는 경우 상기 수신된 인코딩된 비트 스트림에 포함될 때를 제외하고 이전 이미지들에 기초하여 맵핑들을 생성하도록 진행할 수 있다.
일부 실시예들에서, 상기 디코더는 로우 다이내믹 레인지 비디오 시퀀스의 적어도 일부 로우 다이내믹 레인지 이미지들에 대한 기준 맵핑을 사용할 수 있다. 상기 기준 맵핑은 상기 비디오 시퀀스의 LDR 및 HDR 이미지 세트들에 응답하여 다이내믹하게 결정되지 않는 맵핑일 수 있다. 기준 맵핑은 미리 결정된 맵핑일 수 있다.
예를 들어, 상기 인코더 및 디코더는 모두 LDR 이미지로부터 HDR 이미지를 생성하도록 사용될 수 있는 미리 결정된 디폴트 맵핑의 정보를 가질 수 있다. 따라서, 다이내믹 적응성 맵핑들이 이전 이미지들로부터 생성되는 실시예에서, 상기 디폴트 미리 결정된 맵핑은 이러한 결정된 맵핑이 현재 이미지를 정확히 반영하지 않을 때 사용될 수 있다. 예를 들어, 장면 전환 후, 기준 맵핑이 상기 제 1 이미지(들)에 대해 사용될 수 있다.
이러한 경우들에서, 상기 인코더는 장면 변경이 발생하는 것을 검출할 수 있고(예를 들어, 연속하는 이미지들 간의 화소 값 차이들을 단순히 비교함으로써) 그 다음 상기 기준 맵핑이 상기 예측을 위해 사용되어야 하는 것을 나타내는 상기 인코딩된 출력 스트림에 기준 맵핑 표시를 포함할 수 있다. 이는 상기 기준 맵핑이 상기 예측된 HDR 이미지의 감소된 정확도를 도출하도록 한다. 그러나, 상기 인코더 및 상기 디코더 모두에 의해 동일한 기준 맵핑이 사용됨에 따라, 이는 상기 잔여 이미지에 대한 증가된 값들(및 그에 따라 증가된 데이터 레이트)만 도출한다.
일부 실시예들에서, 상기 인코더 및 디코더는 복수의 기준 맵핑들로부터 기준 맵핑을 선택할 수 있다. 따라서 단 하나의 기준 맵핑을 사용하기보다, 상기 시스템은 복수의 미리 결정된 맵핑들의 공유된 정보를 가질 수 있다. 이러한 실시예들에서, 상기 인코더는 모든 가능한 기준 맵핑들에 대해 예측된 HDR 이미지 및 대응하는 잔여 이미지를 생성할 수 있다. 그 다음 이는 가장 작은 잔여 이미지(및 따라서 가장 낮은 인코딩된 데이터의)를 도출하는 것을 선택할 수 있다. 상기 인코더는 기준 맵핑이 상기 인코딩된 출력 스트림에 사용되는 것을 명시적으로 규정하는 기준 맵핑 표시자를 포함할 수 있다. 이러한 방식은 상기 예측을 개선할 수 있고 따라서 많은 시나리오들에서 상기 잔여 이미지를 통신하는데 필요한 데이터 레이트를 감소시킬 수 있다.
따라서, 일부 실시예들에서, 고정된 LUT(맵핑)(또는 고정된 세트로부터 선택된 하나 및 송신될 대응하는 인덱스만으로)가 상기 제 1 프레임 또는 장면 변경 후의 제 1 프레임에 대해 사용될 수 있다. 하지만, 이러한 프레임들에 대한 잔여 이미지들이 일반적으로 많을 것이고, 이는 인코딩될 맵핑 데이터가 없다는 사실로 인해 전형적으로 가중된다.
상기 예들에서, 따라서 상기 맵핑은 2개의 공간 이미지 치수들 및 적어도 하나의 조합 값 차원을 갖는 다차원 맵으로서 구성된다. 이는 특히 효율적인 구조를 제공한다.
일부 실시예들에서, 다-차원 필터는 다차원 맵에 적용될 수 있고, 상기 다-차원 필터는 적어도 하나의 조합 값 차원 및 적어도 하나의 공간 이미지 차원들 중 적어도 하나를 포함한다. 구체적으로, 보통의 다차원 로우-패스 필터가 일부 실시예들에서 상기 다-차원 그리드에 적용될 수 있다. 이는 많은 실시예들에서 개선된 예측을 도출하여 데이터 레이트를 감소시킨다. 구체적으로, 불충분한 비트 깊이로 나타낼 때 전형적으로 윤곽 아티팩트들을 도출하는 평활한 강도 기울기들과 같은 일부 신호들에 대한 예측 품질을 개선할 수 있다.
이전의 설명에서 단일 HDR 이미지가 LDR 이미지로부터 생성된다. 그러나, 장면들의 다-시야 캡처링 및 렌더링에 관심이 증가되었다. 예를 들어, 3차원(3D) 텔레비전이 소비자 시장에 등장하였다. 다른 예로서, 다-시야 컴퓨터 디스플레이들이 사용자로 하여금 개발된 객체들 등을 둘러보도록 한다.
따라서 다-시야 이미지는 상이한 시야들로부터 캡처되거나 생성된 동일한 장면의 복수의 이미지들을 포함할 수 있다. 다음은 장면의 왼쪽 및 오른쪽(눈) 시야를 포함하는 스테레오-뷰에 대한 설명에 초점을 둔다. 그러나, 상기 원리들을 상이한 방향들에 대응하는 둘 이상의 이미지들을 포함하는 다-시야 이미지의 시야들에 동일하게 적용하고 특히 왼쪽 및 오른쪽 이미지들이 상기 다-시야 이미지의 둘 이상의 이미지들/시야들 중 두 시야들에 대한 두 이미지들로 고려될 수 있다는 것이 이해될 것이다.
많은 시나리오들에서, 그에 따라 다-시야 이미지들을 효율적으로 생성, 인코딩 또는 디코딩할 수 있는 것이 바람직하고 이는 많은 시나리오들에서 다른 이미지들에 의존하는 상기 다-시야 이미지의 한 이미지에 의해 달성될 수 있다.
예를 들어, 제 1 시야에 대한 HDR 이미지에 기초하여, 제 2 시야에 대한 HDR 이미지가 인코딩될 수 있다. 예를 들어, 도 12에 도시된 바와 같이, 도 2의 인코더는 스테레오 뷰 이미지에 대한 인코딩을 제공하도록 향상될 수 있다. 구체적으로, 도 12의 인코더는 도 2의 인코더에 대응하지만 제 2 HDR 이미지를 수신하도록 구성된 제 2 수신기(1201)를 더 포함한다. 다음에서, 상기 제 1 수신기(201)에 의해 수신된 상기 HDR 이미지는 상기 제 1 시야 이미지로 참조되고 상기 제 2 수신기(1201)에 의해 수신된 상기 HDR 이미지는 상기 제 2 시야 이미지로서 참조될 것이다. 상기 제 1 및 제 2 시야 이미지들은 특히 스테레오 이미지의 오른쪽 및 왼쪽 이미지들이고 따라서 뷰어의 오른쪽 및 왼쪽 눈들에 제공될 때 3차원 경험을 제공한다.
상기 제 1 시야 이미지는 이전에 기술된 바와 같이 인코딩된다. 또한, 상기 인코딩된 제 1 시야 이미지는 상기 제 1 시야 이미지로부터 상기 제 2 시야 이미지에 대한 예측을 생성하도록 진행하는 시야 예측기(1203)로 공급된다. 구체적으로, 상기 시스템은 상기 HDR 인코더(213)와 상기 시야 예측기(1203) 사이에 HDR 디코더(1205)를 포함하고, 이는 상기 제 1 시야 이미지에 대한 인코딩 데이터를 디코딩하고 상기 시야 예측기(1203)로 상기 디코딩된 이미지를 제공하고, 그 후 그로부터 상기 제 2 시야 이미지에 대한 예측을 생성한다. 단순한 예에서, 제 1 시야 이미지 자체는 상기 제 2 이미지에 대한 예측으로서 바로 사용될 수 있다.
도 12의 인코더는 상기 시야 예측기(1203)로부터 상기 예측된 이미지 및 상기 제 2 수신기(1201)로부터 원래 이미지를 수신하는 제 2 인코더(1207)를 더 포함한다. 상기 제 2 인코더(1207)는 상기 시야 예측기(1203)로부터 상기 예측된 이미지에 응답하여 상기 제 2 시야 이미지를 인코딩하도록 진행한다. 구체적으로, 상기 제 2 인코더(1207)는 상기 예측된 이미지를 상기 제 2 시야 이미지로부터 빼고 상기 결과적인 잔여 이미지를 인코딩할 수 있다. 상기 제 2 인코더(1207)는 상기 출력 스트림에 상기 제 2 시야 이미지에 대한 인코딩된 데이터를 포함하는 출력 프로세서(215)에 결합된다. 상기 출력 프로세서는 예를 들어, 도 18의 인터레이싱 방식에서와 같이, 상기 인코딩된 스트림들의 부분들을 섞을 수 있는 복잡한 포맷팅 함수를 선택적으로 포함할 수 있다.
상기 기술된 방식은 다-시야 HDR 이미지들에 대해 특히 효율적인 인코딩을 가능하게 한다. 특히, 주어진 이미지 품질에 대한 매우 낮은 데이터 레이트가 달성될 수 있다.
상이한 방식들이 상기 제 1 이미지 시야로부터 상기 제 2 이미지 시야를 예측하기 위해 사용될 수 있다. 언급된 바와 같이, 일부 예들에서 상기 제 1 이미지 시야는 상기 제 2 시야의 예측으로서 바로 사용될 수 있다.
특히 효율적이고 고성능 시스템은 상기 LDR 및 HDR 이미지들 간의 맵핑에 대해 설명된 바와 같이 맵핑의 동일한 방식에 기초할 수 있다.
구체적으로, 기준 이미지들에 기초하여, 이미지 공간 위치들 및 상기 이미지 공간 위치들과 연관된 하이 다이내믹 레인지 화소 값들의 컬러 좌표들의 조합의 입력 세트들의 형태의 입력 데이터를 하이 다이내믹 레인지 화소 값들의 형태의 출력 데이터와 관련시키는 맵핑이 생성될 수 있다. 따라서, 상기 맵핑은 상기 제 1 시야에 대한 기준 하이 다이내믹 레인지 이미지(즉, 상기 제 1 시야 이미지에 대응하는)과 상기 제 2 시야에 대한 대응하는 기준 하이 다이내믹 레인지 이미지(즉, 상기 제 2 시야 이미지에 대응하는) 간의 관계를 반영하도록 생성된다.
이러한 맵핑은 상기 LDR-HDR 맵핑에 대해 이전에 기술된 바와 같이 동일한 원리를 사용하여 생성될 수 있다. 특히, 상기 맵핑은 이전 스테레오 이미지에 기초하여 생성될 수 있다. 예를 들어, 이전 스테레오 이미지에 대해, 각각의 공간 위치가 매칭 이미지 공간 간격 및 HDR 컬러 좌표 간격들을 커버하는 것으로서 식별되는 맵핑의 적절한 빈으로 평가될 수 있다. 그 다음 상기 제 2 시야에 대한 상기 기준 이미지의 대응하는 HDR 컬러 좌표 값들이 상기 빈에 대한 출력 값을 생성하도록 사용될 수 있다(그리고 일부 실시예들에서 출력 값으로서 바로 사용될 수 있다). 따라서, 상기 방식은, 상기 방식들이 맵핑의 자동 생성, 정확한 예측, 실제 구현 등을 포함하는 LDR-HDR 맵핑에 적용됨에 따라 장점들을 제공할 수 있다.
인코더들의 특히 효율적인 구현은 공통의, 동일한 또는 공유된 소자들을 사용함으로써 달성될 수 있다. 일부 시스템들에서, 예측성 인코더 모듈이 복수의 인코딩 동작들에 대해 사용될 수 있다.
구체적으로, 베이직 인코딩 모듈이 상기 이미지의 예측에 기초하여 입력 이미지를 인코딩하도록 구성될 수 있다. 상기 베이직 인코딩 모듈은 구체적으로 다음의 입력들 및 출력들을 포함한다:
인코딩될 이미지를 수신하기 위한 인코딩 입력;
인코딩될 상기 이미지에 대한 예측을 수신하기 위한 예측 입력; 및
인코딩될 상기 이미지에 대한 상기 인코딩된 데이터를 출력하기 위한 인코더 출력.
이러한 인코딩 모듈의 예가 도 13에 도시된 인코딩 모듈이다. 특정한 인코딩 모듈은 인코딩될 이미지에 대한 데이터를 포함하는 상기 입력 신호(IN)를 수신하는 H264 코덱(1301)을 사용한다. 또한, 상기 H264 코덱(1301)은 상기 H264 인코딩 표준들 및 원리들에 따라 상기 입력 이미지를 인코딩함으로써 상기 인코딩된 출력 데이터(BS)를 생성한다. 이러한 인코딩은 예측 메모리들(1303, 1305)에 저장된 하나 이상의 예측 이미지들에 기초한다. 이들 예측 메모리들 중 하나(1305)는 상기 예측 입력(INex)으로부터 상기 입력 이미지를 저장하도록 구성된다. 특히, 상기 베이직 인코딩 모듈은 상기 베이직 인코딩 모듈 자체에 의해 생성된 예측 이미지들을 덮어쓰기 할 수 있다. 따라서, 상기 예에서, 상기 예측 메모리들(1303, 1305)은 H264 표준에 따라 상기 비디오 시퀀스의 이전 인코딩된 이미지들의 디코딩에 의해 생성된 이전 예측 데이터로 채워진다. 그러나, 부가적으로, 상기 예측 메모리들 중 적어도 하나(1305)가 상기 예측 입력으로부터의 입력 이미지, 즉, 외부적으로 생성된 예측에 의해 덮어 써진다. 상기 인코딩 모듈에서 내부적으로 생성된 상기 예측 데이터는 전형적으로 시간적 또는 공간적 예측들이고, 즉, 비디오 시퀀스의 이전 또는 미래 이미지들로부터 또는 공간적으로 이웃한 영역들로부터, 상기 예측 입력에 제공된 예측은 전형적으로 비-시간적, 비-공간적 예측들이다. 예를 들어, 이는 상이한 시야로부터 이미지에 기초한 예측일 수 있다. 예를 들어, 상기 제 2 시야 이미지는 기술된 바와 같이 인코딩 모듈을 사용하여, 상기 예측 입력에 공급되는 상기 제 1 시야 이미지와 함께 인코딩될 수 있다.
도 13의 예시적인 인코딩 모듈은 또한 상기 인코딩된 데이터로부터 도출되는 상기 디코딩된 이미지를 외부 기능성으로 제공할 수 있는 선택적인 디코딩된 이미지 출력 OUTloc를 더 포함한다. 또한, 지연된 디코딩된 이미지 출력 OUTloc (τ-1)의 형태의 제 2 선택적인 출력이 상기 디코딩된 이미지의 지연된 버전을 제공한다.
상기 인코딩 유닛은 구체적으로 그 내용이 본원에 참조로서 통합된 WO2008084417에 기술된 바와 같은 인코딩 유닛일 수 있다.
따라서, 일부 실시예들에서, 상기 시스템은 이미지 압축이 수행되고 다수의 시간적 예측들이 메모리에 저장되는 다수의 예측 프레임들과 함께 사용되는 비디오 신호를 인코딩할 수 있고, 메모리의 예측 프레임은 별도로 생성된 예측 프레임으로 덮어 쓰여진다.
상기 덮어 쓰여진 예측 프레임은 구체적으로 메모리에서 가장 긴 하나 이상의 예측 프레임들일 수 있다.
상기 메모리는 향상 스트림 인코더의 메모리일 수 있고 예측 프레임이 베이스 스트림 인코더로부터의 프레임으로 덮어 쓰여질 수 있다.
특히, 시간적 예측 프레임이 깊이 시야 프레임으로 덮어 쓰여질 수 있다.
상기 인코딩 모듈이 많은 유리한 구성들 및 토폴로지들에서 사용될 수 있고, 매우 효율적이지만 저 비용 구현을 가능하게 한다. 예를 들어, 도 12의 인코더에서, 동일한 인코딩 모듈은 상기 LDR 인코더(205), 상기 HDR 인코더(213) 및 상기 제 2 HDR 인코더(1207) 모두에 대해 사용될 수 있다.
다양한 유리한 구성들 및 도 13과 같은 인코딩 모듈의 용도는 도 14 내지 도 17을 참조하여 기술될 것이다.
도 14는 도 13에 도시된 것과 같은 베이직 인코딩 모듈이 이전에 기술된 원리들에 따라 LDR 이미지 및 대응하는 HDR 이미지 모두의 인코딩을 위해 사용될 수 있는 예를 도시한다. 상기 예에서, 상기 베이직 인코딩 모듈(1401, 1405)은 모두 상기 LDR 이미지 및 상기 HDR 이미지를 인코딩하도록 사용된다. 상기 예에서, 상기 LDR 이미지는 상기 예측 입력으로 제공되는 상기 LDR 이미지에 대한 어떠한 예측 없이(상기 인코딩이 모션 보상을 위해 사용된 시간적 예측들과 같은 내부적으로 생성된 예측들을 사용할 수 있지만) 인코딩된 비트 스트림 BS LDR을 생성하도록 진행하는 상기 인코딩 모듈(1401)로 공급된다.
상기 베이직 인코딩 모듈(1401)은 또한 상기 디코딩된 이미지 출력에 대한 LDR 이미지의 디코딩된 버전 및 상기 지연된 디코딩된 이미지 출력에 대한 지연된 디코딩된 이미지를 생성한다. 이들 두 디코딩된 이미지들은 지연된 디코딩된 HDR 이미지, 즉, 이전 HDR 이미지를 또한 수신하는 예측기(1403)로 공급된다. 상기 예측기(1403)는 이전 (지연된) 디코딩된 LDR 및 HDR 이미지들에 기초하여 맵핑을 생성하도록 진행한다. 그 후 이러한 맵핑을 상기 현재 디코딩된 HDR 이미지에 적용함으로써 상기 현재 HDR 이미지에 대해 예측된 이미지를 생성하도록 진행한다.
그 다음 상기 베이직 인코딩 모듈(1405)은 상기 예측된 이미지에 기초하여 상기 HDR 이미지를 인코딩하도록 진행한다. 구체적으로, 상기 예측된 이미지가 상기 베이직 인코딩 모듈(1405)의 예측 입력에 공급되고 상기 HDR 이미지가 상기 입력에 공급된다. 그 다음 상기 베이직 인코딩 모듈(1405)은 상기 HDR 이미지에 대응하는 출력 비트 스트림 BS HDR을 생성한다. 상기 두 비트 스트림 BS LDR 및 BS HDR은 단일 출력 비트 스트림으로 조합될 수 있다.
상기 예에서, 따라서 상기 동일한 인코딩 모듈(2개의 기능적 표시들(1401, 1405)로 나타냄)이 상기 LDR 및 HDR 이미지 모두를 인코딩하도록 사용된다. 이는 단 하나의 베이직 인코딩 모듈을 시간 순차적으로 사용하여 달성될 수 있다. 대안적으로, 동일한 베이직 인코딩 모듈들이 구현될 수 있다. 이는 실질적인 비용 절감을 이끈다.
상기 예에서, 따라서 상기 HDR 이미지는 상기 LDR 이미지가 상기 HDR 이미지에 따라 인코딩되지 않는 상기 LDR 이미지에 따라 인코딩된다. 따라서, 결합 인코딩/압축이 다른 이미지에 의존하는(그러나, 제 1 이미지에 의존하지 않는) 한 이미지와 함께 달성되는 인코딩의 계층적 구성이 제공된다.
도 14의 예는 상기 HDR 및 LDR 이미지에 대해 동일하거나 똑같은 인코딩 모듈이 사용되는 도 2의 인코더의 구체적인 구현으로 보여질 수 있다는 것이 이해될 것이다. 구체적으로, 상기 동일한 베이직 인코딩 모듈은 도 2의 HDR 인코더(213)뿐만 아니라 상기 LDR 인코더(205) 및 LDR 디코더(207) 모두로 구현되도록 사용될 수 있다.
도 15에 다른 예가 도시된다. 이 예에서, 복수의 동일한 또는 단일 베이직 인코딩 모듈(1501, 1503)이 스테레오 이미지의 효율적인 인코딩을 수행하도록 사용된다. 상기 예에서, 왼쪽 LDR 이미지는 임의의 예측에 의존하지 않는 상기 왼쪽 LDR 이미지를 인코딩하도록 진행하는 베이직 인코딩 모듈(1401)로 공급된다. 상기 결과적인 인코딩 데이터는 제 1 비트 스트림(L BS)로서 출력된다. 오른쪽 LDR 이미지에 대한 이미지 데이터는 베이직 인코딩 모듈(1503)의 이미지 데이터 입력에 입력된다. 또한, 상기 왼쪽 이미지는 예측 이미지로서 사용되어 상기 베이직 인코딩 모듈(1501)의 디코딩된 이미지 출력이 상기 베이직 인코딩 모듈(1503)의 예측 입력에 결합되어 상기 L LDR 이미지의 디코딩된 버전이 이 예측에 기초하여 상기 오른쪽 LDR 이미지를 인코딩하도록 진행하는 상기 베이직 인코딩 모듈(1503)의 예측 입력으로 공급된다. 따라서 상기 베이직 인코딩 모듈(1503)은 상기 오른쪽 이미지(상기 왼쪽 이미지에 대한)에 대한 인코딩 데이터를 포함하는 제 2 비트 스트림(R BS)를 생성한다.
도 16은 복수의 동일한 또는 단일 베이직 인코딩 모듈(1401, 1403, 1603, 1601)이 HDR 및 스테레오 시야들 모두의 결합 및 조합된 인코딩을 제공하도록 사용되는 예를 도시한다. 상기 예에서, 도 14의 방식이 왼쪽 LDR 및 HDR 이미지에 적용된다. 또한, 오른쪽 HDR 이미지는 상기 왼쪽 HDR 이미지에 기초하여 인코딩된다. 구체적으로, 오른쪽 HDR 이미지는 상기 예측 입력이 상기 왼쪽 HDR 이미지를 인코딩하는 상기 베이직 인코딩 모듈(1405)의 디코딩된 이미지 출력에 결합된 베이직 인코딩 모듈(1601)의 상기 이미지 데이터 입력으로 공급된다. 따라서, 상기 예에서, 상기 오른쪽 HDR 이미지는 상기 왼쪽 HDR 이미지에 기초하여 상기 베이직 인코딩 모듈(1601)에 의해 인코딩된다. 따라서, 도 16의 상기 인코더는 왼쪽 LDR 이미지 비트 스트림(L BS), 왼쪽 HDR 이미지 비트 스트림(L HDR BS), 및 오른쪽 HDR 이미지 비트 스트림(R HDR BS)를 생성한다.
도 16의 구체적인 예에서, 제 4 비트스트림은 또한 오른쪽 LDR 이미지에 대해 인코딩될 수 있다. 상기 예에서, 베이직 인코딩 모듈(1603)은 상기 왼쪽 LDR 이미지의 디코딩된 버전이 상기 예측 입력에 공급되는 상기 이미지 데이터 입력에서 오른쪽 LDR 이미지를 수신한다. 그 다음 상기 베이직 인코딩 모듈(1603)은 제 4 비트스트림(R BS)를 생성하도록 상기 오른쪽 LDR 이미지를 인코딩하도록 진행한다.
따라서, 상기 도 16의 예에서, 스테레오 및 HDR 특성들 모두가 결합적으로 및 효율적으로 인코딩/압축된다. 상기 예에서, 상기 왼쪽 시야 LDR 이미지는 독립적으로 코딩되고 상기 오른쪽 시야 LDR 이미지는 상기 왼쪽 LDR 이미지에 의존한다. 또한, 상기 L HDR 이미지는 상기 왼쪽 LDR 이미지에 의존한다. 상기 오른쪽 HDR 이미지는 상기 왼쪽 HDR 이미지 및 또한 상기 왼쪽 LDR 이미지에 의존한다. 상기 예에서 오른쪽 LDR 이미지는 임의의 스테레오 HDR 이미지들을 인코딩/디코딩하는데 사용되지 않는다. 이것의 장점은 상기 스테레오 HDR 신호를 인코딩/디코딩하는데 단 3개의 베이직 모듈들만이 필요하다는 것이다. 이와 같이, 이 솔루션은 개선된 역 호환성을 제공한다.
도 17은 도 16의 인코더가 향상되어 상기 오른쪽 LDR 이미지가 또한 상기 오른쪽 HDR 이미지를 인코딩하는데 사용되는 예를 도시한다. 구체적으로, 상기 오른쪽 HDR 이미지의 예측은 상기 왼쪽 HDR 이미지에 대한 것과 동일한 방식을 사용하여 상기 왼쪽 LDR 이미지로부터 생성될 수 있다. 구체적으로, 이전에 기술된 바와 같이 맵핑이 사용될 수 있다. 상기 예에서, 상기 베이직 인코딩 모듈(1501)의 예측 입력이 둘 모두가 상기 오른쪽 HDR 이미지의 인코딩에 사용될 수 있는 2개의 예측 이미지들을 수신하도록 구성된다. 예를 들어, 상기 2개의 예측 이미지들은 상기 베이직 인코딩 모듈(1601)의 2개의 예측 메모리들을 덮어쓸 수 있다.
따라서, 이 예에서, 스테레오 및 HDR 모두는 결합적으로 인코딩되고 (더)효율적으로 압축된다. 여기서, 상기 왼쪽 시야 LDR 이미지는 독립적으로 코딩되고 상기 오른쪽 시야 LDR 이미지는 상기 왼쪽 LDR 이미지에 의존하여 인코딩된다. 이 예에서, 상기 오른쪽 LDR 이미지는 또한 상기 스테레오 HDR 신호, 구체적으로 상기 오른쪽 HDR 이미지를 인코딩/디코딩하기 위해 사용된다. 따라서, 상기 예에서, 두 예측들이 상기 오른쪽 HDR 이미지에 대해 사용될 수 있어서 비록 4개의 베이직 인코딩 모듈들을 필요로 하여(또는 동일한 베이직 인코딩 모듈을 4번 사용) 비용이 들지만 더 높은 압축 효율을 가능하게 한다.
따라서, 도 14 내지 도 17의 예들에서, 상기 동일한 베이직 인코딩/압축 모듈이 압축 효율 및 실현 가능성과 비용 모두에 대해 효율적인, 결합 HDR 및 스테레오 코딩에 사용된다.
도 14 내지 도 17은 기능적 예시들이고 동일한 인코딩 모듈의 시간 순차적 사용을 반영하거나 예를 들어, 동일한 인코딩 모듈들의 병렬 애플리케이션들을 도시할 수 있다는 것이 이해될 것이다.
따라서 상기 기술된 인코딩 예들이 하나 이상의 이미지들에 기초하여 하나 이상의 이미지들의 인코딩을 포함하는 출력 데이터를 생성한다. 따라서, 상기 예들에서, 적어도 두 이미지들이 결합적으로 인코딩되어 하나가 다른 것에 의존하지만 상기 다른 하나는 처음 것에 의존하지 않는다. 예를 들어, 도 16의 인코더에서, 상기 두 HDR 이미지들이, 상기 왼쪽 HDR 이미지가 상기 오른쪽 HDR 이미지와 독립적으로 인코딩되는 반면 상기 왼쪽 HDR 이미지에 의존하여(예측을 통해) 인코딩되는 상기 오른쪽 HDR 이미지와 결합적으로 인코딩된다.
이 비대칭 결합 인코딩이 유리한 출력 스트림들을 생성하도록 사용될 수 있다. 구체적으로, 각각 상기 오른쪽 및 왼쪽 HDR 이미지들에 대한 상기 두 출력 스트림들(R HDR BS 및 L HDR BS)이 상기 출력 데이터 스트림을 형성하도록 함께 멀티플렉싱될 수 있는 2개의 상이한 데이터 스트림들로서 생성된다(분할된다). 상기 R HDR BS로부터 데이터를 요구하지 않는 L HDR BS 데이터 스트림이 1차 데이터 스트림으로 간주될 수 있고 상기 L HDR BS 데이터 스트림으로부터 데이터를 요구하지 않는 R HDR BS 데이터 스트림이 2차 데이터 스트림으로 간주될 수 있다. 특히 유리한 예에서, 상기 멀티플렉싱은 상기 1차 및 2차 데이터 스트림들이 별도의 코드들로 제공되도록 행해진다. 따라서, 상이한 코드(헤더/라벨)가 상기 2개의 데이터 스트림들로 할당되어 개별 데이터 스트림들이 상기 출력 데이터 스트림에서 분리되고 식별되도록 한다.
구체적인 예로서, 상기 출력 데이터 스트림은, 각각의 패킷/세그먼트가 상기 1차 또는 2차 데이터 스트림만으로부터의 데이터를 포함하고 각 패킷/세그먼트가 어느 스트림이 상기 특정한 패킷/세그먼트에 포함되는지를 식별하는 코드(예를 들어, 헤더, 프리앰블(premable), 미드앰블(midamble) 또는 포스트앰블(postamble))와 함께 제공되는 데이터 패킷들 또는 세그먼트들로 나눠질 수 있다.
이러한 방식은 개선된 성능을 가능하게 하고 특히 역 호환성을 허용한다. 예를 들어, 완전히 호환가능한 스테레오 디코더는 완전히 스테레오 HDR 이미지를 생성하도록 상기 오른쪽 및 왼쪽 HDR 이미지들 모두를 추출하도록 할 수 있다. 그러나, 비-스테레오 디코더는 1차 데이터 스트림만을 추출할 수 있다. 실제로, 이 데이터 스트림이 상기 오른쪽 HDR 이미지에 독립적이기 때문에, 상기 비-스테레오 디코더는 비-스테레오 기술들을 사용하여 단일 HDR 이미지를 디코딩하도록 진행할 수 있다.
상기 방식이 상이한 인코더들에 대해 사용될 수 있다는 것이 이해될 것이다. 예를 들어, 도 14의 인코더에 대해, 상기 BS LDR 비트 스트림이 상기 1차 데이터 스트림으로 간주될 수 있고 상기 BS HDR 비트 스트림이 상기 2차 데이터 스트림으로 간주될 수 있다. 도 15의 예에서, 상기 L BS 비트 스트림은 상기 1차 데이터 스트림으로 간주될 수 있고 상기 R BS 비트 스트림은 상기 2차 데이터 스트림으로 간주될 수 있다. 따라서, 일부 예들에서, 상기 1차 데이터 스트림은 완전히 자족된(fully self contained), 즉, 임의의 다른 인코딩 데이터 입력을 필요로 하지 않는(즉, 임의의 다른 데이터 스트림으로부터의 인코딩 데이터에 의존하지 않지만 스스로 일관되게 인코딩되는) 데이터를 포함할 수 있다.
또한, 상기 방식은 2 비트 스트림 이상으로 확장될 수 있다. 예를 들어, 도 15의 인코더에 대해, 상기 L BS 비트스트림(완전히 자족된)이 상기 1차 데이터 스트림으로 간주되고, 상기 L HDR BS(L BS 비트 스트림에 의존하지만 R HDR BS 비트 스트림에는 의존하지 않는)가 상기 2차 데이터 스트림으로 간주될 수 있고, 상기 R HDR BS 비트스트림(상기 L BS 및 상기 L HDR BS 비트스트림 모두에 의존하는)은 3차 데이터 스트림으로 간주될 수 있다. 상기 3개의 데이터 스트림들이 고유한 코드가 할당되는 각각의 데이터 스트림과 함께 멀티플렉싱될 수 있다.
다른 예로서, 도 16 또는 도 17의 상기 인코더에서 생성된 상기 4개의 비트 스트림들이 상기 출력 데이터 스트림의 4개의 상이한 부분들에 포함될 수 있다. 구체적인 예로서, 상기 비트 스트림들의 멀티플렉싱은 다음 파트들을 포함하는 출력 스트림을 생성할 수 있다: 설명 코드 Ox1B를 갖는 모든 L BS 패킷들을 포함하는 파트1(정규 H264), 설명 코드 Ox20를 갖는 모든 R BS 패킷들을 포함하는 파트2(MVC의 종속 스테레오 시야), 설명 코드 Ox21를 갖는 모든 L HDR BS 패킷들을 포함하는 파트3 및 설명 코드 Ox22를 갖는 모든 R HDR BS 패킷들을 포함하는 파트4. 이러한 멀티플렉싱 유형은 MVC 스테레오 및 H264 모노와의 역 호환성을 유지하면서 스테레오 HDR 멀티플렉싱의 유연한 사용을 가능하게 한다. 특히, 상기 특정한 코드들은 적절히 장치된 (예를 들어, H264 또는 MVC 기반) 디코더들이 상기 HDR 및/또는 스테레오 이미지들과 같은, 더 진보된 이미지들을 디코딩하도록 하면서 전통적인 H264 디코더가 LDR 이미지를 디코딩하도록 한다.
상기 출력 스트림의 생성은 구체적으로 본원에 참조로서 통합된 WO2009040701에 기술된 방식을 따를 수 있다.
이러한 방식들은 각각의 단점들은 회피하면서 다른 방법들의 장점들을 조합할 수 있다. 상기 방식은 둘 이상의 비디오 데이터 신호들을 결합적으로 압축하는 단계, 이어서 둘 이상의 (1차 및 2차)별도의 비트-스트림들을 형성하는 단계를 포함한다. 1차 비트 스트림은 자족되고(또는 상기 2차 비트 스트림에 의존하지 않음) 두 비트 스트림들을 디코딩할 수 없는 비디오 디코더들에 의해 디코딩될 수 있다. 하나 이상의 2차 비트 스트림들(종종 보조-비디오-묘사 스트림들이라고 함)은 상기 1차 비트 스트림에 의존한다. 상기 별도의 비트 스트림들이 멀티플렉싱되고 상기 1차 및 2차 비트-스트림들은 별도의 코드들과 함께 제공되고 송신되는 별도의 비트 스트림들이다. 압축 및 별도의 코드들과 함께 제공된 후 다시 이들을 단지 분할하기 위해 먼저 신호들을 결합적으로 압축하는 것은 불필요하고 노력을 낭비하는 것으로 보인다. 일반적인 기술에서 상기 압축된 비디오 데이터 신호는 상기 멀티플렉서에 주어진 단일 코드이다. 상기 방식은 상기 비디오 데이터 신호의 인코딩의 불필요한 복잡성을 부가하는 것으로 보인다.
그러나, 상기 멀티플렉싱된 신호의 상기 1차 및 2차 비트 스트림의 분할 및 별도의 패키징(즉, 멀티플렉서에 상기 1차 및 2차 비트 스트림 별도 코드들을 제공)은 종래 비디오 시스템의 표준 디멀티플렉서가 그의 코드에 의해 상기 1차 비트 스트림을 인식하고 이를 디코더로 전송하여 상기 표준 비디오 디코더가 1차 스트림만을 수신하고, 상기 2차 스트림은 상기 디멀티플렉서를 통과하지 못하고, 따라서 상기 표준 비디오 디코더가 표준 비디오 데이터로서 상기 1차 스트림을 정확하게 처리할 수 있는 한편, 특별화된 시스템이 상기 인코딩 프로세스를 완전히 반대로 할 수 있고 적절한 디코더로 전송하기 전에 원래 향상된 비트-스트림을 재-생성하는 결과를 갖는 것이 실현된다.
상기 방식에서, 상기 1차 및 2차 비트 스트림들은 별도의 비트 스트림들이고 상기 1차 비트 스트림은 구체적으로 자족 비트 스트림일 수 있다. 이는 상기 2차 비트 스트림 또는 표준 디멀티플렉서들에 의해 표준 비디오 데이터 신호로 인식되지 않을 2차 비트 스트림 코드들을 제공하면서 상기 1차 비트 스트림에 표준 비디오 데이터 신호에 대응하는 코드가 제공되도록 한다. 수신 단에서, 표준 디멀티플렉싱 디바이스들은 표준 비디오 데이터 신호로서 1차 비트 스트림을 인식하고 이를 상기 비디오 디코더로 전달한다. 상기 표준 디멀티플렉싱 디바이스들은 상기 2차 비트-스트림들을 거절하고, 이를 표준 비디오 데이터 신호들로서 인식하지 않는다. 상기 비디오 디코더 자체는 상기 "표준 비디오 데이터 신호"를 수신만 할 것이다. 따라서 상기 비디오 디코더 자체에 의해 수신된 비트들의 양은 자족되고 표준 비디오 데이터 신호의 형태이고 표준 비디오 디바이스들에 의해 해석 가능하고 표준 비디오 디바이스들이 상기 비디오 디코더가 처리할 수 있는 비트들로 과부하되지 않는 것에 대항할 수 있는 비트 레이트를 갖는 상기 1차 비트 스트림으로 제한된다.
상기 코딩은 비디오 데이터 신호가 프레임들의 제 1 및 적어도 제 2 세트를 포함하는 인코딩된 신호와 함께 인코딩되고, 상기 제 1 및 제 2 세트의 프레임들은 인터리브된 비디오 시퀀스를 형성하기 위해 인터리빙되고, 또는 프레임들의 제 1 및 제 2 세트를 포함하는 인터리빙된 비디오 데이터 신호가 수신되고, 상기 인터리빙된 비디오 시퀀스는 압축된 비디오 데이터 신호로 압축되고, 상기 제 1 세트의 프레임들은 상기 제 2 세트의 프레임들을 사용하지 않고 인코딩 및 압축되고, 상기 제 2 세트의 프레임들은 상기 제 1 세트의 프레임들을 사용하여 인코딩 및 압축되고, 그 후 상기 압축된 비디오 데이터 신호는 1차 및 적어도 2차 비트-스트림들로 분할되고, 각각의 비트-스트림들은 프레임들을 포함하고, 상기 1차 비트-스트림은 상기 제 1 세트에 대해 압축된 프레임들을 포함하고, 상기 2차 비트-스트림은 상기 제 2 세트에 대해 압축된 프레임들을 포함하고, 상기 1차 및 2차 비트-스트림들은 별도의 비트 스트림들을 형성하고, 그 후 상기 1차 및 2차 비트 스트림들은 멀티플렉싱된 신호로 멀티플렉싱되고, 상기 1차 및 2차 비트 스트림은 별도의 코드들이 제공되는 것을 특징으로 한다.
적어도 한 세트를 인터리빙한 후, 즉, 상기 1차 비트-스트림의 프레임들의 세트가 "자족" 신호로 압축될 수 있다. 이는, 이 프레임들의 자족 세트에 속하는 프레임들이 다른 2차 비트 스트림들로부터 어떠한 정보(예를 들어, 모션 보상, 또는 임의의 다른 예측 방식을 통해)도 필요로 하지 않는다는 것을 의미한다.
상기 1차 및 2차 비트 스트림들은 별도의 비트 스트림들을 형성하고 상기 설명된 이유들에 대해 별도의 코드들로 멀티플렉싱된다.
일부 예들에서, 상기 1차 비트 스트림은 다-시야 비디오 데이터 신호의 한 시야의 프레임들에 대한 데이터를 포함하고 상기 2차 비트 스트림은 다-시야 데이터 신호의 다른 시야의 프레임들에 대한 데이터를 포함한다.
도 18은 프레임들 0 내지 15를 갖는 인터리빙된 조합된 신호로 각각 0 내지 7의 프레임들로 구성된 도 16의 인코더의 상기 HDR 왼쪽(L) 및 오른쪽(R) 시야들과 같은, 두 시야들의 가능한 인터리빙 예를 도시한다.
구체적인 예에서, 도 16의 L HDR BS 및 R HDR BS의 프레임들/이미지들은 도 17에 도시된 바와 같이 개별 프레임들/세그먼트들로 분할된다.
그 다음 상기 왼쪽 및 오른쪽 시야의 프레임들은 조합된 신호를 제공하기 위해 인터리빙된다. 상기 조합된 신호는 2차원 신호를 닮는다. 압축의 특별한 특징은 상기 시야들 중 하나의 프레임들이 다른 것들에 의존하지 않는다는 것이다(자족 시스템일 수 있다), 즉, 압축에서 다른 시야로부터의 정보가 상기 압축에 대해 사용되지 않는다. 다른 시야의 프레임들이 상기 제 1 시야의 프레임들로부터 정보를 사용하여 압축된다. 상기 방식은 같은 자리(footing)의 두 시야들을 처리하기 위한 자연적인 경향과는 다르다. 사실, 상기 두 시야들이 압축 동안 동일하게 처리되지 않는다. 상기 시야들 중 하나는 압축 동안 다른 시야를 형성하는데 정보가 사용되지 않는 1차 시야가 되고, 다른 시야가 2차 시야가 된다. 상기 1차 시야의 프레임들 및 상기 2차 시야의 프레임들은 1차 비트-스트림 및 2차 비트 스트림으로 분할된다. 상기 코딩 시스템은 상기 1차 비트 스트림에 비디오 비트 스트림으로서 표준 비디오로 인식 가능한 코드, 예를 들어 MPEG에 대해 Ox01 또는 H.264에 대해 Ox1B 및 상기 2차 스트림에 상이한 코드, 예를 들어 Ox20을 할당하는 멀티플렉서를 포함할 수 있다. 그 후 상기 멀티플렉싱된 신호가 송신된다. 상기 신호는 디멀티플렉서가 두 비트 스트림들 Ox01 또는 Ox1B(1차 스트림에 대해) 및 Ox20(2차 스트림에 대해)를 인식하고 이 둘을 상기 1차 및 2차 스트림을 다시 병합하는 비트 스트림 병합기(merger)로 전송하는 디코딩 시스템에 의해 수신될 수 있고 그 후 상기 결합된 비디오 시퀀스가 인코딩 방법을 반전시켜 디코더에서 디코딩된다.
도 14 내지 도 17의 인코더 예들이 상기 디코더 단에서 대응하는 동작들로 바로 이전될 수 있다는 것이 이해될 것이다. 구체적으로, 도 19는 도 13의 베이직 인코딩 모듈에 상보적인 디코딩 모듈인 베이직 디코딩 모듈을 도시한다. 상기 베이직 디코딩 모듈은 디코딩될 인코딩된 이미지에 대한 인코더 데이터를 수신하기 위한 인코더 데이터 입력을 갖는다. 상기 베이직 인코딩 모듈과 유사하게, 상기 베이직 디코딩 모듈은 디코딩될 상기 인코딩된 이미지에 대한 예측을 수신하기 위한 예측 입력뿐만 아니라 복수의 예측 메모리들(1901)을 포함한다. 상기 베이직 디코딩 모듈은 디코더 출력 OUTloc에 출력되는 디코딩된 이미지를 생성하도록 예측(들)에 기초하여 상기 인코딩 데이터를 디코딩하는 디코더 유닛(1903)을 포함한다. 상기 디코딩된 이미지는 또한 상기 예측 메모리들로 공급된다. 상기 베이직 인코딩 모듈에서와 같이, 상기 예측 입력의 예측 데이터는 예측 메모리들(1901)의 데이터를 덮어 쓸 수 있다. 또한, 베이직 인코딩 모듈과 유사하게, 상기 베이직 디코딩 모듈은 지연된 디코딩된 이미지를 제공하기 위한 (선택적인)출력을 갖는다.
이러한 베이직 디코딩 모듈이 도 14 내지 도 17의 예들에서 상기 베이직 인코딩 모듈에 상보적으로 사용될 수 있다는 것이 명백해진다. 예를 들어, 도 20은 도 14의 인코더에 상보적인 디코더를 도시한다. (도시되지 않은)멀티플렉서는 LDR 인코딩 데이터 Enc LDR 및 HDR 인코딩 데이터 Enc HDR를 분리한다. 제 1 베이직 디코딩 모듈은 도 14로부터 설명된 바와 같이 상기 LDR 이미지를 디코딩하고 이를 상기 HDR 이미지에 대한 예측을 생성하도록 사용한다. 그 다음 제 2 베이직 디코딩 모듈(제 1 베이직 디코딩 모듈과 동일하거나 시간 순차적인 방식으로 실제로 상기 제 1 베이직 디코딩 모듈이 사용됨)이 상기 HDR 인코딩 데이터 및 상기 예측으로부터 상기 HDR 이미지를 디코딩한다.
다른 예로서, 도 21은 도 15의 인코더에 상보적인 디코더의 예를 도시한다. 상기 예에서, 상기 왼쪽 이미지에 대한 인코딩 데이터는 상기 왼쪽 이미지를 디코딩하는 제 1 베이직 디코딩 모듈로 공급한다. 이는 또한 상기 오른쪽 이미지에 대한 인코딩 데이터를 또한 수신하고 상기 예측에 기초하여 이 데이터를 디코딩하도록 진행하여 상기 오른쪽 이미지를 생성하는 제 2 베이직 디코딩 모듈의 예측 입력으로 공급된다.
또 다른 예로서, 도 22는 도 16의 인코더에 상보적인 디코더의 예를 도시한다.
도 20 내지 도 22는 기능적 예시들이고 동일한 디코딩 모듈의 시간 순차적 사용을 반영할 수 있거나 예를 들어 동일한 디코딩 모듈들의 병렬 애플리케이션들을 도시한다는 것이 이해될 것이다.
도 22는 예를 들어, 결과적인 이미지 메모리들을 통해, 다양한 조합들에서 이전에 설명된 바와 같이 몇몇 표준 블록들을 조합하는 방법을 예시적으로 도시하고, 또한 당업자가 이해할 수 있는, 몇몇 HDR 정보들 또는 시야 정보들을 인코딩하는 다양한 이미지 데이터를 수신할 수 있고, 예를 들어 상기 예시된 바와 같이 LUT(2204)를 통해 몇몇 가능한 토폴로지 실시예들 및 구현들에 따라 재포맷되고 및/또는 처리될 수 있는 몇몇 수신기들(2201, 2202, 2203)을 도시할 수 있다. 도 22는 가능한 디코더 구현의 단순한 예만을 도시한다. 당업자는 예를 들어, 수신기들(2201, 2202, 2203)이 예를 들어, 인입 데이터를 포맷하기 위한 세퍼레이터(separator)와 같은 다른 유닛들을 포함하고, 예를 들어, 도 18의 인터리빙된 원리에 따라 상이한 3D/HDR 인코딩 서브스트림들을 분리할 수 있는 총 데이터 수신기의 일부를 형성할 수 있는, 다른 토폴로지들이 가능하다는 것을 이해할 것이다. 또한, 상기 인코더의 코딩 원리들에 따라, 화상 또는 LUT(2204)와 같은 다른 메모리들, 또는 유닛들로의 입력들이 예를 들어, 깊이 맵 이미지를 도출하는 깊이 계산 유닛과 같은 수학적 모델들을 실행하는 프로세서들에 접속될 수 있다. 도 19에 도시된 바와 같이 상기 화상 메모리들은 예를 들어, 국부적인 HDR 화소 값들을 생성하기 위해 사용될 수 있는 이미지로 표현되는 모든 종류의 데이터를 포함할 수 있고, 예를 들어, 컴퓨터 그래픽 알고리즘이 상기 예측에 사용되는 화구(fireball)의 화상 객체를 생성할 수 있다. 이는 예를 들면 상이한 정밀도 또는 범위들 하의 렌더링되는 객체 프로파일들과 같이, 상기 기술된 상기 LDR과 HDR 화소 값들 간의 국부화된 로우 해상도 관계에 대한 대안일 수 있다.
상기 LDR 및 HDR(컬러 그레이드) 이미지들 간의 공간적으로 국부적인 맵핑을 채용하는 인코딩(디코딩)으로 상기 원리들이 설명되었지만, 다른 예측 전략들이 상기 LDR-HDR 예측(변환)에 사용될 수 있다. 예를 들어, 맵핑 함수들 또는 종래 유럽 출원 EP10155277.6의 계획 코딩과 같이, 동일한 파라미터 코스 레벨(coarse level)(잠정적인) 렌더링 계획 변환들일 수 있는 변환 전략들이 화상의 국부적인 영역들에서 사용될 수 있다.
또한 예를 들어, EP10177155.8에 기술된 가상 백라이트 인코딩과 같이, 특정한 시간 순간들에 대한 이미지들의 세트의 상당한 지역 범위에 대한 거친 세미-글로벌 조정 프로파일들이 HDR 화상을 LDR 화상과 관련-가능한 다른 미세 데이터와 함께-시키는데 이용될 수 있다. 당업자는 더 복잡한 수학적 알고리즘 유닛들로 예측기들을 대체하는 방법을 이해할 것이다.
명확성을 위해 상기 설명은 상이한 기능적 회로들, 유닛들 및 처리기들을 참조하여 본 발명의 기술된 실시예들을 포함한다는 것이 이해될 것이다. 그러나, 본 발명으로부터 벗어 나지 않고 상이한 기능적 회로들, 유닛들 또는 처리기들 간의 기능성의 적적한 분배가 사용될 수 있다는 것이 이해될 것이다. 예를 들어, 별도의 처리기들 또는 제어기들로 수행되도록 예시된 기능성이 동일한 처리기 또는 제어기에 의해 수행될 수 있다. 따라서, 특정한 기능적 유닛들 또는 회로들에 대한 참조들은 엄격한 논리적 또는 물리적 구조 또는 조직을 나타내기보다 단지 기술된 기능성을 제공하는 적절한 수단을 참조하는 것으로 볼 수 있다.
본원에서 인코더들로서 설명하는 모든 실시예들 및 조합들이 디코더들로서 또한 실현(및 본원에 기술되고 청구)될 수 있고 그 반대도 가능하고, 방법들, 및 예를 들어, 인코딩된 이미지 신호들과 같은 결과적인 생성물, 또는 저장 메모리들, 및 상기한 모든 것들의 모든 용도들을 포함하는 제품들도 마찬가지라는 것이 주의되어야 한다.
본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함하는 임의의 적절한 형대로 구현될 수 있다. 본 발명은 선택적으로 적어도 부분적으로 하나 이상의 데이터 처리기들 및/또는 디지털 신호 처리기들 상에서 실행되는 컴퓨터 소프트웨어로서 선택적으로 구현될 수 있다. 본 발명의 실시예의 상기 소자들 및 성분들이 임의의 적절한 방식으로 물리적, 기능적, 및 논리적으로 구현될 수 있다. 실제로 상기 기능성은 단일 유닛, 복수의 유닛들 또는 다른 기능적 유닛들의 일부로서 구현될 수 있다. 이와 같이, 본 발명은 단일 유닛에서 구현될 수 있거나 상이한 유닛들, 회로들 및 처리기들 사이에서 물리적 및 기능적으로 분배될 수 있다.
본 발명이 일부 실시예들과 관련하여 기술되었지만, 본원에 언급된 구체적인 형태로 제한하는 것으로 의도되지 않는다. 오히려, 본 발명의 범위는 첨부된 청구항들에 의해서만 한정된다. 부가적으로, 피처가 특정한 실시예들과 관련하여 기술되는 것으로 나타날 수 있지만, 당업자는 기술된 실시예들의 다양한 피처들이 본 발명에 따라 조합될 수 있다는 것을 인식할 것이다. 청구범위에서, 상기 용어 포함하는은 다른 요소들 또는 단계들의 존재를 배제하지 않는다.
또한, 비록 개별적으로 열거되지만, 복수의 수단, 소자들, 회로들 또는 방법 단계들이 예를 들어, 단일 회로, 유닛 또는 처리기에 의해 구현될 수 있다. 부가적으로, 개별 피처들이 상이한 청구항들에 포함되지만, 이들은 가능한 유리하게 조합될 수 있고, 상이한 청구항들로의 포함은 피처들의 조합이 실현 가능하지 않고 및/또는 유리하지 않다는 것을 암시하지 않는다. 또한, 청구항들의 한 카테고리로의 피처의 포함은 이 카테고리로 한정하는 것을 암시하지 않고 오히려 상기 피처가 다른 청구항 카테고리들에 적절히 동일하게 적용가능하다는 것을 나타낸다. 또한, 청구항들의 피처들의 순서는 상기 피처들이 동작해야 하는 임의의 특정한 순서를 암시하는 것이 아니고 특히 방법 청구항들의 개별 단계들의 순서는 이러한 순서로 반드시 수행되어야 한다는 것을 암시하는 것은 아니다. 오히려, 상기 단계들은 임의의 적절한 순서로 수행될 수 있다. 또한, 단일 참조들이 복수를 배제하지 않는다. 따라서 "a", "an", "제 1", "제 2" 등의 참조들은 복수를 제한하지 않는다. 청구항들에서 참조 번호들은 어떠한 방법으로도 청구항들의 범위를 한정하는 것으로 해석되어서는 안되고 예를 명확히 하는 것으로서 단순히 제공된다.

Claims (11)

  1. 제 1 시야 하이 다이내믹 레인지 이미지(first view high dynamic range image) 및 제 2 시야 하이 다이내믹 레인지 이미지를 인코딩하기 위한 인코딩 장치에 있어서,
    상기 제 1 시야 하이 다이내믹 레인지 이미지 및 제 2 시야 하이 다이내믹 레인지 이미지를 수신하도록 구성된 제 1 및 제 2 HDR 이미지 수신기들(203, 1201);
    상기 제 1 시야에 대한 로우 다이내믹 레인지 표현 및 대응하는 기준 하이 다이내믹 레인지 이미지로부터의 입력에 응답하여 자동으로 생성되는 맵핑을 이용하여 상기 제 1 시야 하이 다이내믹 레인지 이미지의 로우 다이내믹 레인지 표현으로부터 상기 제 1 시야 하이 다이내믹 레인지 이미지를 예측하도록 구성된 예측기(209)로서, 상기 맵핑은 또한 동일한 장면의 상기 제 1 시야에 대한 연속하는 하이 다이내믹 레인지 이미지의 예측에 사용하는데 적용 가능한, 상기 예측기(209); 및
    상기 제 1 시야 하이 다이내믹 레인지 이미지, 상기 제 2 시야 하이 다이내믹 레인지 이미지의 로우 다이내믹 레인지 표현, 또는 상기 제 1 시야 하이 다이내믹 레인지 이미지의 로우 다이내믹 레인지 표현 중 적어도 하나로부터 상기 제 2 시야 하이 다이내믹 레인지 이미지를 예측하기 위한 시야 예측기(1203)를 포함하는, 인코딩 장치.
  2. 제 1 항에 있어서,
    상기 예측기(209)는 또한 상기 로우 다이내믹 레인지 표현 화소 값들과 상기 제 1 시야 하이 다이내믹 레인지 이미지 화소 값들 간의 각각의 공간적 인접 관계 간의 관계의 저장된 서브샘플된 설명에 기초하여 상기 제 1 시야 하이 다이내믹 레인지 이미지를 예측하도록 구성되는, 인코딩 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 예측기(209)는 또한 상기 로우 다이내믹 레인지 표현의 공간적 영역들에 대한 깊이 표시들에 기초하여 상기 제 1 시야 하이 다이내믹 레인지 이미지를 예측하도록 구성되는, 인코딩 장치.
  4. 제 1 항에 있어서,
    상기 하이 다이내믹 레인지 제 1 시야 이미지 및 상기 하이 다이내믹 레인지 제 2 시야 이미지는 상기 하이 다이내믹 레인지 제 2 시야 이미지에 의존하지 않고 인코딩되는 상기 하이 다이내믹 레인지 제 1 시야 이미지 및 상기 하이 다이내믹 레인지 제 1 시야 이미지로부터의 데이터를 사용하여 인코딩되는 상기 하이 다이내믹 레인지 제 2 시야 이미지와 함께 공동으로 인코딩되고, 상기 인코딩된 데이터는 상기 하이 다이내믹 레인지 제 1 시야 이미지에 대한 데이터를 포함하는 1차 데이터 스트림 및 상기 하이 다이내믹 레인지 제 2 시야 이미지에 대한 데이터를 포함하는 2차 데이터 스트림을 포함하는 별도의 데이터 스트림들로 분할되고, 상기 인코딩 장치는 상기 1차 및 2차 데이터 스트림들을 출력 인코딩된 데이터 스트림으로 멀티플렉싱하고 별도의 식별 코드(identification code)와 함께 상기 1차 및 2차 데이터 스트림들에 대한 데이터를 또한 제공하도록 구성된 출력 처리기(215)를 포함하는, 인코딩 장치.
  5. 제 1 항에 있어서,
    상기 적어도 하나의 예측기(209 또는 1203)는 예측 화상들을 저장하기 위한 별도의 화면 메모리들에 접속되는, 인코딩 장치.
  6. 제 5 항에 있어서,
    모든 예측기들은 더 낮은 다이내믹 범위 표현으로부터 더 높은 다이내믹 범위 표현에 대한 예측 및 이미징된 장면의 상이한 시야들 간의 예측 모두에 대해 사용될 수 있는 소프트웨어 토폴로지 또는 표준 예측 반도체로서 실현되는, 인코딩 장치.
  7. 제 1 시야 하이 다이내믹 레인지 이미지 및 제 2 시야 하이 다이내믹 레인지 이미지를 획득하기 위한 디코딩 장치에 있어서,
    제 1 시야의 인코딩된 로우 다이내믹 레인지 이미지 및 로우 다이내믹 레인지 이미지로부터 하이 다이내믹 레인지 이미지를 예측하기 위한 맵핑을 수신하기 위한 제 1 수신기(2201)로서, 상기 맵핑은 또한 동일한 장면의 상기 제 1 시야에 대한 연속하는 하이 다이내믹 레인지 이미지의 예측에 사용하는데 적용 가능한, 상기 제 1 수신기(2201);
    상기 제 1 시야의 하이 다이내믹 레인지 이미지 데이터를 수신하기 위한 제 2 수신기(2202);
    제 2 시야에 관련된 이미지 데이터를 수신하기 위한 제 3 수신기(2203);
    상기 제 1 시야의 디코딩된 로우 다이내믹 레인지 이미지 및 상기 제 1 시야의 하이 다이내믹 레인지 이미지 데이터로부터 상기 제 1 시야 하이 다이내믹 레인지 이미지를 상기 맵핑에 기초하여 예측하기 위한 예측기(2204+2205); 및
    a) 제 1 시야 하이 다이내믹 레인지 이미지, b) 상기 제 2 시야 하이 다이내믹 레인지 이미지의 디코딩된 로우 다이내믹 레인지 표현, 또는 c) 상기 제 1 시야 하이 다이내믹 레인지 이미지의 상기 디코딩된 로우 다이내믹 레인지 표현 또는 그 변환 중 적어도 하나를 포함하는 제 2 시야 하이 다이내믹 레인지 이미지를 획득하기 위한 시야 예측 디코더(2210)를 포함하는, 디코딩 장치.
  8. 제 7 항에 있어서,
    상기 예측기는 또한 상기 제 1 시야에 대해 도출된 깊이 정보에 기초하여 상기 제 1 시야 하이 다이내믹 레인지 이미지를 예측하도록 구성되는, 디코딩 장치.
  9. 제 7 항에 있어서,
    제 4 항의 인코더에 의해 생성된 인터리브된 결합된 스테레오 및 HDR 인코딩 정보를 분리하도록 구성된 포맷기(formatter)를 더 포함하는, 디코딩 장치.
  10. 제 1 시야 하이 다이내믹 레인지 이미지 및 제 2 시야 하이 다이내믹 레인지 이미지를 인코딩하는 방법에 있어서,
    상기 제 1 시야 하이 다이내믹 레인지 이미지 및 제 2 시야 하이 다이내믹 레인지 이미지를 수신하는 단계;
    상기 제 1 시야에 대한 로우 다이내믹 레인지 표현 및 대응하는 기준 하이 다이내믹 레인지 이미지로부터의 입력에 응답하여 자동으로 생성되는 맵핑을 이용하여 상기 제 1 시야 하이 다이내믹 레인지 이미지의 로우 다이내믹 레인지 표현으로부터 상기 제 1 시야 하이 다이내믹 레인지 이미지를 예측하는 단계로서, 상기 맵핑은 또한 동일한 장면의 상기 제 1 시야에 대한 연속하는 하이 다이내믹 레인지 이미지의 예측에 사용하는데 적용 가능한, 상기 예측하는 단계; 및
    상기 제 1 시야 하이 다이내믹 레인지 이미지, 상기 제 2 시야 하이 다이내믹 레인지 이미지의 로우 다이내믹 레인지 표현, 또는 상기 제 1 시야 하이 다이내믹 레인지 이미지의 로우 다이내믹 레인지 표현 중 적어도 하나로부터 상기 제 2 시야 하이 다이내믹 레인지 이미지를 예측하는 단계를 포함하는, 인코딩 방법.
  11. 제 1 시야 하이 다이내믹 레인지 이미지 및 제 2 시야 하이 다이내믹 레인지 이미지를 획득하기 위한 적어도 두 시야들의 하이 다이내믹 레인지 표현의 인코딩된 이미지 데이터를 디코딩하는 방법에 있어서,
    제 1 시야의 인코딩된 로우 다이내믹 레인지 이미지 및 로우 다이내믹 레인지 이미지로부터 하이 다이내믹 레인지 이미지를 예측하기 위한 맵핑을 수신하는 단계로서, 상기 맵핑은 또한 동일한 장면의 상기 제 1 시야에 대한 연속하는 하이 다이내믹 레인지 이미지의 예측에 사용하는데 적용 가능한, 상기 맵핑을 수신하는 단계;
    상기 제 1 시야의 하이 다이내믹 레인지 이미지 데이터를 수신하는 단계;
    제 2 시야에 관련된 이미지 데이터를 수신하는 단계;
    상기 제 1 시야의 디코딩된 로우 다이내믹 레인지 이미지를 획득하는 상기 제 1 시야의 상기 인코딩된 로우 다이내믹 레인지 이미지를 디코딩하는 단계;
    상기 제 1 시야의 상기 디코딩된 로우 다이내믹 레인지 이미지 및 상기 제 1 시야의 상기 하이 다이내믹 레인지 이미지 데이터로부터 상기 제 1 시야 하이 다이내믹 레인지 이미지를 상기 맵핑에 기초하여 예측하는 단계; 및
    a) 제 1 시야 하이 다이내믹 레인지 이미지, b) 상기 제 2 시야 하이 다이내믹 레인지 이미지의 디코딩된 로우 다이내믹 레인지 표현, 또는 c) 상기 제 1 시야 하이 다이내믹 레인지 이미지 또는 상기 디코딩된 로우 다이내믹 레인지 표현 또는 상기 이미지의 변환 중 적어도 하나를 기본적으로 포함하는 상기 제 2 시야 하이 다이내믹 레인지 이미지를 획득하는 단계를 포함하는, 디코딩 방법.
KR1020137002942A 2010-07-06 2011-07-05 다시야 비디오 코딩에서 로우 다이내믹 레인지 이미지들로부터 하이 다이내믹 레인지 이미지들의 생성 KR101768857B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP10168565.9 2010-07-06
EP10168565 2010-07-06
EP10191709 2010-11-18
EP10191709.4 2010-11-18
PCT/IB2011/052970 WO2012004741A1 (en) 2010-07-06 2011-07-05 Generation of high dynamic range images from low dynamic range images in multi-view video coding

Publications (2)

Publication Number Publication Date
KR20130124435A KR20130124435A (ko) 2013-11-13
KR101768857B1 true KR101768857B1 (ko) 2017-08-17

Family

ID=44534873

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137002942A KR101768857B1 (ko) 2010-07-06 2011-07-05 다시야 비디오 코딩에서 로우 다이내믹 레인지 이미지들로부터 하이 다이내믹 레인지 이미지들의 생성

Country Status (11)

Country Link
US (2) US20130107956A1 (ko)
EP (2) EP2591602A1 (ko)
JP (1) JP5960693B2 (ko)
KR (1) KR101768857B1 (ko)
CN (2) CN102986214A (ko)
AU (1) AU2011275436B2 (ko)
BR (1) BR112013000014A2 (ko)
CA (1) CA2804345C (ko)
MX (1) MX2012014649A (ko)
TW (1) TW201215160A (ko)
WO (2) WO2012004709A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190090288A (ko) * 2018-01-24 2019-08-01 삼성전자주식회사 전자 장치 및 그의 제어 방법

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1989882B1 (en) 2006-01-23 2015-11-11 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. High dynamic range codecs
US8666148B2 (en) 2010-06-03 2014-03-04 Adobe Systems Incorporated Image adjustment
EP2591602A1 (en) * 2010-07-06 2013-05-15 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
US11049473B2 (en) 2011-03-24 2021-06-29 Koninklijke Philips N.V. Apparatuses and methods for analyzing image gradings
US9036042B2 (en) 2011-04-15 2015-05-19 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
TWI513327B (zh) * 2011-04-15 2015-12-11 Dolby Lab Licensing Corp 高動態範圍影像的編碼、解碼及表示
US8334911B2 (en) 2011-04-15 2012-12-18 Dolby Laboratories Licensing Corporation Encoding, decoding, and representing high dynamic range images
US9897805B2 (en) * 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
US9008415B2 (en) * 2011-09-02 2015-04-14 Adobe Systems Incorporated Automatic image adjustment parameter correction
US8903169B1 (en) 2011-09-02 2014-12-02 Adobe Systems Incorporated Automatic adaptation to image processing pipeline
US9390752B1 (en) * 2011-09-06 2016-07-12 Avid Technology, Inc. Multi-channel video editing
US8782175B2 (en) * 2011-09-27 2014-07-15 Adobe Systems Incorporated Beacon updating for video analytics
US8955004B2 (en) 2011-09-27 2015-02-10 Adobe Systems Incorporated Random generation of beacons for video analytics
US10091513B2 (en) 2011-09-29 2018-10-02 Texas Instruments Incorporated Perceptual three-dimensional (3D) video coding based on depth information
EP2613532A1 (en) 2012-01-06 2013-07-10 Thomson Licensing Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium
US9420302B2 (en) 2012-01-24 2016-08-16 Dolby Laboratories Licensing Corporation Weighted multi-band cross color channel predictor
GB201202754D0 (en) * 2012-02-17 2012-04-04 Qatar Foundation Multicasting multiview 3D videos
EP2632162A1 (en) * 2012-02-27 2013-08-28 Thomson Licensing Method and device for encoding an HDR video image, method and device for decoding an HDR video image
CN104160705B (zh) * 2012-03-12 2018-11-16 杜比实验室特许公司 三维视觉动态范围编码
EP2880624B1 (en) 2012-03-26 2019-05-08 Koninklijke Philips N.V. Brightness region-based apparatuses and methods for hdr image encoding and decoding
TWI586143B (zh) * 2012-04-05 2017-06-01 皇家飛利浦電子股份有限公司 用於提供用於傳送至三維[3d]目標裝置之3d視訊信號之3d源裝置、方法及記錄載體以及用於自3d源裝置接收3d視訊信號之3d目標裝置
TWI550554B (zh) * 2012-04-27 2016-09-21 英特爾公司 用於隨機移動模糊柵格化之深度緩衝器壓縮技術
US9357197B2 (en) 2012-05-24 2016-05-31 Dolby Laboratories Licensing Corporation Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
JP6000670B2 (ja) * 2012-06-11 2016-10-05 キヤノン株式会社 画像処理装置、画像処理方法
US9219916B2 (en) 2012-06-12 2015-12-22 Dolby Laboratories Licensing Corporation Joint base layer and enhancement layer quantizer adaptation in EDR video coding
CN102752569B (zh) * 2012-06-27 2016-08-10 杭州天视智能系统有限公司 一种基于视频分析的视频播放方法及其系统
US20140010476A1 (en) * 2012-07-04 2014-01-09 Hui Deng Method for forming pictures
GB201216263D0 (en) * 2012-09-12 2012-10-24 Univ Warwick Multi-view high dynamic range imaging
WO2014045506A1 (en) * 2012-09-24 2014-03-27 Sharp Kabushiki Kaisha Video compression with color space scalability
RU2633128C2 (ru) * 2013-02-21 2017-10-11 Конинклейке Филипс Н.В. Улучшенные способы и устройства кодирования и декодирования hdr изображения
EP2936814B1 (en) * 2013-03-26 2018-03-14 Dolby Laboratories Licensing Corporation Encoding perceptually-quantized video content in multi-layer vdr coding
MX353125B (es) * 2013-06-20 2017-12-20 Sony Corp Dispositivo de reproducción, método de reproducción, y medio de registro.
TWI711310B (zh) 2013-06-21 2020-11-21 日商新力股份有限公司 送訊裝置、高動態範圍影像資料送訊方法、收訊裝置、高動態範圍影像資料收訊方法及程式
CN103391435A (zh) * 2013-07-02 2013-11-13 广东工业大学 一种兼容ldr的hdr图像编码方法及其解码方法
CN103581634B (zh) * 2013-08-12 2015-07-22 泰邦泰平科技（北京）有限公司 图像的宽动态范围处理方法
JP6236148B2 (ja) * 2013-10-02 2017-11-22 ドルビー ラボラトリーズ ライセンシング コーポレイション Ｈｄｍｉを介したディスプレイマネジメントメタデータの送信
KR101797505B1 (ko) 2013-11-13 2017-12-12 엘지전자 주식회사 Hdr 방송 서비스 제공을 위한 방송 신호 송수신 방법 및 장치
EP2894857A1 (en) * 2014-01-10 2015-07-15 Thomson Licensing Method and apparatus for encoding image data and method and apparatus for decoding image data
US20150228106A1 (en) * 2014-02-13 2015-08-13 Vixs Systems Inc. Low latency video texture mapping via tight integration of codec engine with 3d graphics engine
EP3829171A1 (en) * 2014-02-25 2021-06-02 Apple Inc. Adaptive transfer function for video encoding and decoding
PL3324629T3 (pl) * 2014-05-28 2019-11-29 Koninklijke Philips Nv Sposoby i urządzenia do kodowania obrazów hdr oraz sposoby i urządzenia do wykorzystania tak zakodowanych obrazów
US9532019B2 (en) * 2014-06-20 2016-12-27 Sz Zunzheng Digital Video Co., Ltd Color grading monitor, color grading system and color grading method thereof
EP2958328A1 (en) * 2014-06-20 2015-12-23 Thomson Licensing Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture
US10104388B2 (en) 2014-06-30 2018-10-16 Sony Corporation Video processing system with high dynamic range sensor mechanism and method of operation thereof
US9911179B2 (en) * 2014-07-18 2018-03-06 Dolby Laboratories Licensing Corporation Image decontouring in high dynamic range video processing
EP2978222A1 (en) * 2014-07-23 2016-01-27 Alcatel Lucent System and method for encoding and decoding a video signal
JP6497014B2 (ja) * 2014-09-24 2019-04-10 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
CN107077726B (zh) 2014-10-27 2019-04-09 杜比实验室特许公司 使用扩展颜色范围的内容映射
EP3026912A1 (en) 2014-11-27 2016-06-01 Thomson Licensing Method and device for encoding and decoding a HDR picture and a LDR picture using illumination information
EP3035688B1 (en) 2014-12-18 2019-07-31 Dolby Laboratories Licensing Corporation Encoding and decoding of 3d hdr images using a tapestry representation
HUE056171T2 (hu) * 2014-12-29 2022-01-28 Sony Group Corp Adókészülék, adási eljárás, vevõkészülék és vételi eljárás
WO2016123001A1 (en) 2015-01-27 2016-08-04 Dolby International Ab Predictive image encoding and decoding with pixel group based quantization
EP3051488A1 (en) * 2015-01-30 2016-08-03 Thomson Licensing A method and apparatus for inverse-tone mapping a picture
CA2975172C (en) 2015-01-30 2023-04-04 Thomson Licensing A method and apparatus of encoding and decoding a color picture
US20180005357A1 (en) * 2015-01-30 2018-01-04 Thomson Licensing Method and device for mapping a hdr picture to a sdr picture and corresponding sdr to hdr mapping method and device
CA2977204C (en) * 2015-03-05 2023-04-04 Sony Corporation Photoelectric conversion of video data having a predetermined photoelectric conversion characteristic
US20160286241A1 (en) * 2015-03-24 2016-09-29 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
EP3079364A1 (en) * 2015-04-09 2016-10-12 Thomson Licensing Methods and devices for generating, encoding or decoding images with a first dynamic range, and corresponding computer program products and computer-readable medium
KR102398232B1 (ko) * 2015-06-16 2022-05-16 광운대학교 산학협력단 참조 영상 필터링을 통한 비디오 신호 복호화 방법 및 장치
KR102403360B1 (ko) * 2015-06-16 2022-05-30 광운대학교 산학협력단 하위 호환성을 고려한 hdr 영상 복호화 장치에서 다이나믹 레인지 매핑 정보를 이용하는 방법 및 장치
EP3113496A1 (en) 2015-06-30 2017-01-04 Thomson Licensing Method and device for encoding both a hdr picture and a sdr picture obtained from said hdr picture using color mapping functions
EP3113495A1 (en) * 2015-06-30 2017-01-04 Thomson Licensing Methods and devices for encoding and decoding a hdr color picture
EP3119088A1 (en) * 2015-07-16 2017-01-18 Thomson Licensing Method and device for encoding an image, method and device for decoding an image
WO2017053620A1 (en) * 2015-09-23 2017-03-30 Dolby Laboratories Licensing Corporation Preserving texture/noise consistency in video codecs
WO2017079007A1 (en) * 2015-11-02 2017-05-11 Dolby Laboratories Licensing Corporation Piecewise-linear inter-layer predictor for high-dynamic range video coding
JP6937302B2 (ja) * 2015-11-23 2021-09-29 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 多視点ビデオの符号化／復号化方法
RU2721762C2 (ru) * 2015-12-21 2020-05-22 Конинклейке Филипс Н.В. Оптимизация изображений высокого динамического диапазона для конкретных дисплеев
US9697592B1 (en) * 2015-12-30 2017-07-04 TCL Research America Inc. Computational-complexity adaptive method and system for transferring low dynamic range image to high dynamic range image
US10192297B2 (en) * 2016-02-12 2019-01-29 Samsung Electronics Co., Ltd. Method and apparatus for creating, streaming, and rendering HDR images
US10257394B2 (en) * 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
CN108781290B (zh) * 2016-03-07 2023-07-04 皇家飞利浦有限公司 一种hdr视频编码器及其编码方法、hdr视频解码器及其解码方法
US9900527B2 (en) * 2016-03-08 2018-02-20 Omnivision Technologies, Inc. Enhanced high dynamic range
ITUA20163652A1 (it) * 2016-05-20 2017-11-20 Trellis Europe S R L Metodo per la codifica e decodifica di immagini hdr
US20170353704A1 (en) * 2016-06-01 2017-12-07 Apple Inc. Environment-Aware Supervised HDR Tone Mapping
US11363282B1 (en) * 2016-09-07 2022-06-14 Quantum Radius Corporation System and method for low latency distributed image compression and composition
EP3340629A1 (en) * 2016-12-21 2018-06-27 Thomson Licensing Method and apparatus for embedding key information in an image
EP3386198A1 (en) * 2017-04-07 2018-10-10 Thomson Licensing Method and device for predictive picture encoding and decoding
US10643358B2 (en) * 2017-04-24 2020-05-05 Intel Corporation HDR enhancement with temporal multiplex
CN110770787B (zh) * 2017-06-16 2023-04-07 杜比实验室特许公司 高效端到端单层逆向显示管理编码
WO2018231968A1 (en) * 2017-06-16 2018-12-20 Dolby Laboratories Licensing Corporation Efficient end-to-end single layer inverse display management coding
CN110832541B (zh) * 2017-06-28 2022-10-04 华为技术有限公司 图像处理装置和方法
US11676547B2 (en) 2017-07-07 2023-06-13 Semiconductor Energy Laboratory Co., Ltd. Display system and operation method of the display system
US10609372B2 (en) 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
US10972767B2 (en) 2017-11-01 2021-04-06 Realtek Semiconductor Corp. Device and method of handling multiple formats of a video sequence
KR102460390B1 (ko) * 2018-01-24 2022-10-28 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
CN112204617B (zh) * 2018-04-09 2023-09-05 杜比实验室特许公司 使用神经网络映射的hdr图像表示
TWI684165B (zh) 2018-07-02 2020-02-01 華晶科技股份有限公司 影像處理方法與電子裝置
US11272112B2 (en) 2018-08-08 2022-03-08 Canon Kabushiki Kaisha Image capturing apparatus
CN109448123B (zh) * 2018-10-19 2023-03-31 网易（杭州）网络有限公司 模型的控制方法及装置、存储介质、电子设备
WO2020131731A1 (en) * 2018-12-18 2020-06-25 Dolby Laboratories Licensing Corporation Machine learning based dynamic composing in enhanced standard dynamic range video (sdr+)
EP3900335A1 (en) * 2018-12-19 2021-10-27 Dolby Laboratories Licensing Corporation Image debanding using adaptive sparse filtering
CN110009574B (zh) * 2019-02-13 2023-01-17 中山大学 一种低动态范围图像逆向生成高动态范围图像的方法
CN110246093B (zh) * 2019-05-05 2021-05-04 北京大学 一种解码图像增强方法
US11102488B2 (en) * 2019-05-31 2021-08-24 Ati Technologies Ulc Multi-scale metric-based encoding
WO2020252592A1 (en) * 2019-06-21 2020-12-24 The Governing Council Of The University Of Toronto Method and system for extending image dynamic range using per-pixel coding of pixel parameters
CN110910336B (zh) * 2019-10-30 2022-08-30 宁波大学 一种基于全卷积神经网络的立体高动态范围成像方法
CN111784598B (zh) * 2020-06-18 2023-06-02 Oppo（重庆）智能科技有限公司 色调映射模型的训练方法、色调映射方法及电子设备
CN112150608B (zh) * 2020-09-07 2024-07-23 鹏城实验室 一种基于图卷积神经网络的三维人脸重建方法
CN114331852A (zh) * 2020-09-29 2022-04-12 北京小米移动软件有限公司 高动态范围图像的处理方法、装置及存储介质
WO2022120104A2 (en) * 2020-12-04 2022-06-09 Dolby Laboratories Licensing Corporation Processing of extended dimension light field images
CN113163200B (zh) * 2021-02-09 2022-09-20 北京工业大学 基于卷积变分自编码器神经网络的双层hdr图像压缩器及方法
CN113242389A (zh) * 2021-07-12 2021-08-10 深圳市艾为智能有限公司 用于rccb图像传感器的多帧动态范围扩展方法及系统
CN113971639A (zh) * 2021-08-27 2022-01-25 天津大学 基于深度估计的欠曝光ldr图像重建hdr图像
GB2620994B (en) * 2022-08-22 2024-07-24 V Nova Int Ltd Encoding and decoding of pre-processing renditions of input videos
CN115100031B (zh) * 2022-08-23 2023-03-14 摩尔线程智能科技(北京)有限责任公司 图像处理方法以及图像处理装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175338A1 (en) * 2008-01-04 2009-07-09 Segall Christopher A Methods and Systems for Inter-Layer Image Prediction Parameter Determination

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5925266B2 (ja) * 1977-04-18 1984-06-15 株式会社日立製作所 画像の標本点取出方法
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions
FR2766193B1 (fr) 1997-07-18 2001-09-14 Inst Curie Polypeptide chimerique comprenant le fragment b de la toxine shiga et des peptides d'interet therapeutique
DE19738106C2 (de) 1997-09-01 2001-01-04 Metallgesellschaft Ag Verfahren zum thermischen Behandeln von flüchtige, brennbare Bestandteile enthaltendem Material
GB2357649A (en) * 1999-12-22 2001-06-27 Nokia Mobile Phones Ltd Image enhancement using inverse histogram based pixel mapping
US7440637B2 (en) * 2000-07-21 2008-10-21 The Trustees Of Columbia University In The City Of New York Method and apparatus for image mosaicing
JP2003018604A (ja) * 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US20030118099A1 (en) * 2001-12-20 2003-06-26 Comer Mary Lafuze Fine-grain scalable video encoder with conditional replacement
KR100492517B1 (ko) * 2002-03-07 2005-06-03 장형수 닥나무 인피섬유를 이용한 인피섬유지 제조장치, 제조방법및 그 방법에 의해 제조된 인피섬유지
GB2391125B (en) * 2002-07-19 2005-11-30 Mirada Solutions Ltd Registration of multi-modality data in imaging
JP4751614B2 (ja) * 2002-12-03 2011-08-17 トムソン ライセンシング 単一のディスク上で標準画質および高画質のビデオ・フォーマットを実現するディジタル・ビデオ・ディスク
KR100750138B1 (ko) * 2005-11-16 2007-08-21 삼성전자주식회사 인간의 시각 특성을 이용한 영상의 부호화, 복호화 방법 및장치
EP1989882B1 (en) * 2006-01-23 2015-11-11 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. High dynamic range codecs
EP3484154A1 (en) * 2006-10-25 2019-05-15 GE Video Compression, LLC Quality scalable coding
KR100919885B1 (ko) * 2006-10-25 2009-09-30 한국전자통신연구원 다시점 비디오의 스케일러블 코딩 및 디코딩 방법과, 코딩및 디코딩 장치
EP1944978A1 (en) 2007-01-12 2008-07-16 Koninklijke Philips Electronics N.V. Method and system for encoding a video signal. encoded video signal, method and system for decoding a video signal
US8014613B2 (en) * 2007-04-16 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image parameter prediction
WO2009003499A1 (en) * 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
US8330768B2 (en) * 2007-07-27 2012-12-11 Sharp Laboratories Of America, Inc. Apparatus and method for rendering high dynamic range images for standard dynamic range display
MY162861A (en) 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
US8072503B2 (en) * 2007-10-23 2011-12-06 At&T Intellectual Property I, L.P. Methods, apparatuses, systems, and computer program products for real-time high dynamic range imaging
KR101385884B1 (ko) 2008-01-30 2014-04-16 고려대학교 산학협력단 다시점 동영상의 부호화 및 복호화 방법 및 장치
DK2279622T3 (en) * 2008-04-16 2015-01-12 Fraunhofer Ges Forschung Bit depth scalability
CN101355698A (zh) * 2008-06-10 2009-01-28 西南交通大学 一种立体视频分层编码框架
ES2389458T3 (es) * 2008-07-10 2012-10-26 The University Of Warwick Métodos y dispositivos para la compresión de datos de vídeo HDR
WO2010043773A1 (en) * 2008-10-17 2010-04-22 Nokia Corporation Sharing of motion vector in 3d video coding
BRPI1009443B1 (pt) * 2009-03-13 2021-08-24 Dolby Laboratories Licensing Corporation Método de geração de parâmetros de mapeamento de tons inverso, método de compactação de dados de vídeo e método para geração de um fluxo de bits de saída a partir de um fluxo de bits de entrada
KR20120089561A (ko) * 2009-09-22 2012-08-13 파나소닉 주식회사 이미지 부호화 장치, 이미지 복호화 장치, 이미지 부호화 방법, 및 이미지 복호화 방법
CN101668205B (zh) * 2009-09-25 2011-04-20 南京邮电大学 基于残差宏块自适应下采样立体视频压缩编码方法
EP2591602A1 (en) 2010-07-06 2013-05-15 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175338A1 (en) * 2008-01-04 2009-07-09 Segall Christopher A Methods and Systems for Inter-Layer Image Prediction Parameter Determination

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190090288A (ko) * 2018-01-24 2019-08-01 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR102524671B1 (ko) * 2018-01-24 2023-04-24 삼성전자주식회사 전자 장치 및 그의 제어 방법

Also Published As

Publication number Publication date
CN102959957A (zh) 2013-03-06
CA2804345A1 (en) 2012-01-12
TW201215160A (en) 2012-04-01
JP2013539610A (ja) 2013-10-24
MX2012014649A (es) 2013-02-07
AU2011275436B2 (en) 2016-06-09
CN102986214A (zh) 2013-03-20
AU2011275436A1 (en) 2013-02-28
RU2013104892A (ru) 2014-10-20
KR20130124435A (ko) 2013-11-13
CA2804345C (en) 2018-10-02
US20130108183A1 (en) 2013-05-02
WO2012004741A1 (en) 2012-01-12
JP5960693B2 (ja) 2016-08-02
WO2012004709A1 (en) 2012-01-12
US20130107956A1 (en) 2013-05-02
BR112013000014A2 (pt) 2016-05-24
CN102959957B (zh) 2016-08-03
EP2591606A1 (en) 2013-05-15
EP2591602A1 (en) 2013-05-15
US9098906B2 (en) 2015-08-04

Similar Documents

Publication Publication Date Title
KR101768857B1 (ko) 다시야 비디오 코딩에서 로우 다이내믹 레인지 이미지들로부터 하이 다이내믹 레인지 이미지들의 생성
US11330242B2 (en) Multi-view signal codec
JP6788699B2 (ja) 高い分割自由度を伴う効果的なパーティション符号化
JP6814783B2 (ja) パーティション符号化を用いた有効な予測
US20130222377A1 (en) Generation of depth indication maps
EP2491722B1 (en) Depth map generation techniques for conversion of 2d video data to 3d video data
WO2021001193A1 (en) Processing a point cloud
CN104969556A (zh) 处理视频信号的方法和设备
WO2020190413A1 (en) Processing missing points of a point cloud
WO2021048050A1 (en) Processing a point cloud
CN113614786A (zh) 处理点云
CN114556432A (zh) 处理点云
RU2587986C2 (ru) Создание изображений с расширенным динамическим диапазоном из изображений с суженным динамическим диапазоном
RU2767775C1 (ru) Обработка облака точек
Shao et al. Asymmetric multi-view video coding based on chrominance reconstruction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant