KR102291954B1

KR102291954B1 - 확장된 높은 동적 범위(hdr) 대 hdr 톤 매핑을 위한 방법, 장치 및 시스템

Info

Publication number: KR102291954B1
Application number: KR1020170032709A
Authority: KR
Inventors: 모즈드 세피; 에릭 라인하르트; 귀욤 푸아리에
Original assignee: 인터디지털 매디슨 페턴트 홀딩스 에스에이에스
Priority date: 2016-03-16
Filing date: 2017-03-15
Publication date: 2021-08-23
Also published as: JP2017168101A; CN107203974B; EP3220349A1; CN107203974A; BR102017005371A8; BR102017005371A2; EP3220350B1; US10148906B2; JP7179443B2; EP3220350A1; US20170272690A1; KR20170107929A

Abstract

본 원리의 양태는 높은 동적 범위 이미지를 톤 매핑하기 위한 방법 및 장치에 관한 것이다. 장치는 다음을 수행하기 위한 프로세서를 포함하며, 방법은 높은 동적 범위 이미지의 휘도 성분을 획득하는 단계; HDR 대 HDR 톤 매퍼 곡선을 결정하는 단계; HDR 대 HDR 톤 매퍼 곡선을 높은 동적 범위 이미지의 휘도 성분에 적용하여 톤 압축 이미지를 결정하는 단계를 포함하고, HDR 대 HDR 톤 매퍼 곡선은 어두운 톤 레벨 및 중간 톤 레벨에 대한 제1 부분 및 하이라이트에 대한 제2 부분을 포함한다.

Description

확장된 높은 동적 범위(HDR) 대 HDR 톤 매핑을 위한 방법, 장치 및 시스템{METHODS, APPARATUS, AND SYSTEMS FOR EXTENDED HIGH DYNAMIC RANGE(HDR) HDR TO HDR TONE MAPPING}

본 개시는 이미지 및 비디오 처리에 관한 것이다. 특히, 본 개시는 확장된 높은 동적 범위("HDR") 대 HDR 톤 매핑에 관한 것이다.

자연 광은 별빛에서 밝은 햇빛에 이르기까지 엄청난 범위의 휘도 레벨을 포함한다. 그러나 디지털 및 아날로그의 전통적인 이미징 기술은 우리의 눈에 보이는 넓은 범위의 휘도 및 콘트라스트를 병행할 수 없으므로 저하된 경험을 제공한다. 이에 따라 HDR 기술은 확장된 범위의 컬러, 휘도 및 콘트라스트를 표시할 수 있도록 개발되고 있다.

HDR 기술은 SDR 기술보다 광범위한 동적 범위의 콘텐츠를 캡처, 처리 및 표시하는 데 중점을 둔다. 오늘날 HDR 디스플레이의 HDR 능력은 특히 그의 최대 피크 백색 휘도에 따라 달라질 수 있으며, 일부 HDR 디스플레이는 다른 하나가 1000 니트 또는 심지어 1500 니트에 도달할 때 500 니트를 제공할 수 있다.

HDR 디스플레이 및 HDR 콘텐츠를 캡처하는 카메라는 현재 개발 중이지만, HDR 콘텐츠는 레거시 디스플레이가 콘텐츠를 재생할 수 있게 하기 위해 HDR 대 LDR 톤 매핑을 거쳐야 한다. 마찬가지로, 예로서 1000 니트 HDR 디스플레이용으로 준비된 HDR 콘텐츠는 500 니트 HDR 디스플레이가 콘텐츠를 재생할 수 있도록 HDR 대 "더 낮은 HDR" 톤 매핑을 겪어야 한다. 따라서, HDR 대 "더 낮은 HDR" 톤 매핑에 대한 필요성이 있다.

톤 매핑이라고도 하는 톤 재생은 이미지의 원래 휘도 값 범위를 디스플레이에서 재생할 수 있는 더 낮은 휘도 값 범위로 매핑하는 것을 목표로 한다. 종종, 항상 그런 것은 아니지만, 톤 매핑은 입력 HDR 컬러 이미지로부터 도출된 휘도 채널상에서 수행된다. 톤 매핑의 출력은 입력 원본 HDR 이미지에 보유된 색 정보와 재결합될 수 있으므로 입력 HDR 이미지보다 낮은 HDR 동적 범위로 새로운 출력 컬러 이미지가 생성된다.

톤 매핑 알고리즘은 2개의 넓은 클래스로 분류할 수 있다. 제1 클래스는 글로벌 톤 매핑으로 정의될 수 있다. 이는 이미지 또는 이미지 시퀀스의 각각의 픽셀의 휘도 값에 무관하게 압축 톤 매핑 함수(들)(예를 들어, S자형 함수 또는 로그 함수)를 적용하는 것을 포함한다. 제2 클래스는 로컬 톤 매핑(공간 가변 톤 매핑이라고도 함)으로 정의될 수 있다. 로컬 톤 매핑은 각각의 픽셀에 대해 그 픽셀의 휘도 값은 물론, 그의 인접 픽셀로부터의 정보도 고려한다.

입력 이미지의 휘도 값의 범위가 감소되면, 이것은 일반적으로 HDR 대 LDR 변환에 적합한 톤 매핑 연산자의 사용 후에 매우 큰 양만큼 감소된다. 예를 들어, 기존 톤 매핑 HDR 대 LDR 연산자는 레거시 LDR 디스플레이(예로서, 100 니트 콘텐츠)의 매우 낮은 범위에 맞추기 위해 전체 휘도 채널 정보(예로서, 최대 4000 니트 콘텐츠)를 압축한다. 반대로, HDR 대 더 낮은 HDR 톤 매핑 연산자는 상당히 더 작은 인자(예를 들어, 상이한 HDR 디스플레이 간의 범위 압축에 대해 최대 4000 니트 내지 1000 니트)만큼 범위를 감소시키는 것이 요구될 수 있다. 기존의 HDR 대 더 낮은 HDR 톤 매핑 연산자는 전체 범위의 휘도를 압축하고 목표 디스플레이 휘도 범위에 맞게 선형으로 재조정하기 때문에 HDR 감각을 완전히 재생하지 못하며, LDR 콘텐츠의 감각을 대신 유발한다. 또 하나의 문제점은 기존 HDR 대 더 낮은 HDR 톤 매핑 연산자가 하이라이트 픽셀의 콘트라스트를 감소시킬 수 있고, 그 효과가 특히 하이라이트가 픽처의 유력한 부분일 때 두드러질 수 있다는 것이다.

본 원리의 요약

따라서, 목표 디스플레이의 지원되는 범위에 대응하는 보다 낮은 HDR 콘텐츠에서 HDR 콘텐츠의 동적 범위를 감소시키는 문제점을 해결하는 해결책이 필요하다.

본 원리의 일 양태는 높은 동적 범위 이미지의 휘도 성분을 획득하고; hdr 대 hdr 톤 매퍼 곡선을 결정하고; 상기 높은 동적 범위 이미지의 상기 휘도 성분에 hdr 대 더 낮은 hdr 톤 매퍼 곡선을 적용하여 톤 압축 이미지를 결정하기 위한 방법, 장치, 시스템 및 컴퓨터 판독 가능 저장 매체에 관한 것으로서, 상기 hdr 대 더 낮은 hdr 톤 매퍼 곡선은 어두운 톤 레벨 및 중간 톤 레벨에 대한 제1 부분 및 하이라이트에 대한 제2 부분을 포함하고, 상기 제1 부분은 상기 이미지의 밝은 영역에 대응하는 상기 이미지의 히스토그램의 섹션의 균일성의 척도에 기초하여 결정되는 기울기(s)를 갖는다.

피크 입력 휘도(

)를 갖는 높은 동적 범위 입력 이미지를 더 낮은 피크 출력 휘도(

)를 갖는 더 낮은 높은 동적 범위 출력 이미지로 톤 매핑하기 위한 이 방법은 특히:

상기 입력 이미지의 휘도 성분을 획득하는 단계;

hdr 대 더 낮은 hdr 톤 매퍼 곡선을 결정하는 단계;

hdr 대 hdr 톤 매퍼 곡선을 상기 입력 이미지의 상기 휘도 성분에 적용함으로써 상기 출력 이미지를 결정하는 단계

를 포함하고,

상기 hdr 대 더 낮은 hdr 톤 매퍼 곡선은 어두운 톤 레벨 및 중간 톤 레벨에 대한 제1 선형 부분 및 하이라이트에 대한 제2 비선형 부분을 포함하고,

상기 제1 선형 부분은 상기 입력 이미지의 획득된 휘도 값들의 휘도 히스토그램의 밝은 영역 내의 상기 획득된 휘도 값들의 분포의 균일성의 척도의 단조 비증가 함수(monotonically non-increasing function)인 기울기(s)를 가지며, 따라서 상기 기울기(s)는 1 이하이지만 상기 피크 출력 휘도(

)와 상기 피크 입력 휘도(

)의 비율(

) 이상이다.

바람직하게, 상기 휘도 히스토그램의 상기 밝은 영역은 상기 입력 이미지의 상기 휘도 범위에 위치하는 하한(

)과 상한(

) 사이에 한정되는 것으로 정의되며, 상기 하한(

)은 상기 피크 출력 휘도(

)와 상기 피크 입력 휘도(

)의 비율(

)에 비례한다.

바람직하게, 상기 톤 매퍼 곡선의 상기 제1 선형 부분과 상기 제2 비선형 부분을 분리하는 것으로 정의되는 중간 대 높은 임계치(

)는 상기 피크 출력 휘도(

)보다 작다. 이 중간 대 높은 임계치(

)는 바람직하게 이 프레임 또는 이미지의 픽셀을 (100-n)% 넘게 커버할 만큼 충분히 크며, 여기서 n은 2 이상이다.

바람직하게, 상기 밝은 영역 내의 상기 획득된 휘도 값들의 분포의 균일성의 상기 척도는 상기 휘도 히스토그램의 상기 밝은 영역의 빈들에 대한 상기 입력 이미지의 픽셀들의 수의 평균값(

)과 표준 편차(

) 사이의 비율로서 결정된다.

특정 실시예에서, 기울기(s)는 다음과 같이 결정되고,

여기서,

이고, 파라미터들(

)은 파라미터(

)의 함수로서 상기 기울기(s)를 나타내는 상기 곡선의 전이 포인트들을 정의한다.

상기 hdr 대 hdr 톤 매퍼 곡선을 나타내는 정보가 시그널링될 수 있다. 상기 시그널링은 PPS(Picture Parameter Set), SPS(Sequence Parameter Set), SEI(Supplemental Enhancement Information) 메시지, VUI(Video Usability Information), CEA(Consumer Electronics Association) 메시지 및 헤더 중 적어도 하나에 포함된 적어도 하나의 신택스 요소를 이용하여 수행될 수 있다. 이전 비디오 프레임으로부터의 정보는 제1 부분과 제2 부분 사이의 임계치에 기초하는 다누설 적분을 이용하여 적용될 수 있다.

본 발명의 특징 및 이점은 이하에 설명되는 도면과 관련하여 취해질 때 이하의 상세한 설명으로부터 명백해질 수 있다:
도 1은 본 원리에 따른 픽처를 인코딩하는 예시적인 방법을 나타내는 도면이다.
도 2는 본 원리에 따른 픽처 및 파라미터들을 인코딩하는 예시적인 방법을 도시하는 도면이다.
도 3은 본 원리에 따른 픽처 또는 비디오를 디코딩하는 예시적인 방법을 나타내는 도면이다.
도 4는 본 원리에 따른 예시적인 장치를 도시하는 도면이다.
도 5는 본 원리에 따른 예시적인 플롯을 나타내는 도면이다.
도 6은 본 원리에 따른 예시적인 플롯을 나타내는 도면이다.
도 7은 도 3의 도면에 따라 톤 매핑될 입력 이미지의 휘도 값의 히스토그램을 도시하며, 이 히스토그램의 밝은 영역을 한정하는 하한(

) 및 상한(

) 사이에서, 이 히스토그램의 가중치가 톤 매핑 곡선의 선형 부분의 기울기(s)를 계산하는 데 사용된다.

본 원리는 HDR 대 더 낮은 HDR 톤 매핑을 위한 방법, 장치 및 시스템에 관한 것이다. 일례는 목표 디스플레이의 보다 낮은 지원되는 범위에 대해 HDR 콘텐츠의 동적 범위를 감소시키는 문제를 해결하는 것에 관한 것이다.

일례는 HDR 대 더 낮은 HDR 톤 매핑 연산자에 대한 중간 톤 및 어두운 픽셀에 대한 중간 대 어두운 압축 인자, 즉 휘도 압축 곡선의 선형 부분의 기울기를 결정하는 것에 관한 것이다. 일례는 톤 매퍼의 선형 부분에 대한 최적의 기울기를 결정하는 방법 및 장치에 관한 것으로, 결정은 콘텐츠에 기초할 수 있다. HDR 입력과의 유사성이 톤 매핑 후에도 유지될 수 있지만, 하이라이트의 콘트라스트를 균형화하여, 더 낮은-높은 동적 범위 디스플레이 상에서도 HDR 콘텐츠 시청의 감각을 최적으로 재생할 수 있다. 감독의 의도가 또한 재생될 수 있는데, 예를 들어 콘텐츠가 1000 또는 1500 니트 소비자 더 낮은 HDR 디스플레이 상에서 최적으로 재생되도록 4000 니트 기준 HDR 디스플레이 상에서 등급화될 수 있다.

본 원리의 일 양태는 더 낮은-높은 동적 범위를 갖는 목표 디스플레이로 변환될 때 HDR 콘텐츠의 동적 범위의 품질 저하 문제를 해결한다. 본 원리의 일 양태는 목표 디스플레이 범위에 맞추기 위한 톤 압축에도 불구하고 HDR 감각을 재생하는 것에 관한 것이다.

본 원리의 일 양태는 매우 높은 범위의 정보에 대해서만 HDR 콘텐츠를 압축하면서 HDR 소스와 유사한 HDR 콘텐츠를 유지하는 방법, 장치 및 시스템에 관한 것이다. 이것은 더 낮은 동적 범위 디스플레이에서도 HDR 콘텐츠를 보는 감각을 가질 수 있게 한다. 이것은 또한 감독의 의도를 유지할 수 있게 한다. 예를 들어, 4000 니트 기준 디스플레이 상에서 등급화된 콘텐츠는 1000 또는 1500 니트 소비자 디스플레이 상에서의 표시에 대해 좋은 품질로 재생될 것이다.

본 원리에 따라 휘도 범위의 중간 및 어두운 부분에서 선형 부분을 갖는 톤 매핑 연산자는 다양한 응용에 이용될 수 있다. 예를 들어, 톤 매핑 연산자는 보다 낮은 피크 휘도를 갖는 보조 HDR 등급을 생성하기 위한 HDR 콘텐츠의 재등급화 프로세스를 돕기 위해 후반 작업 스튜디오에서 이용될 수 있다. 대안으로서, 소비자 측에서, HDR 대 더 낮은 HDR 톤 매핑 운영자가 HDR 소비자 디스플레이에 통합되거나 셋톱 박스에 통합될 수 있다.

1/톤 매핑 곡선 정의:

HDR 대 더 낮은 HDR 톤 매핑 콘텐츠의 픽셀에 대한 휘도 정보가 HDR 수신 콘텐츠의 변환에 기초하여 결정될 수 있다. 일례에서, 수신 HDR 콘텐츠는 표준 RGB 컬러 공간을 위해 포맷될 수 있다. 일례에서, 픽셀 i의 컬러 콘텐츠가 R _i , G _i , B _i 값에 의해 sRGB 컬러 공간에서 표현되는 경우, 픽셀 i에 대한 휘도 값 I의 계산은 다음 식에 의해 본질적으로 알려진 방식으로 결정될 수 있다.

식 1:

휘도 값은 각각의 개별 RGB 컬러 공간의 정의에 의존하는 상이한 상수임에도 유사한 방식으로 임의의 다른 RGB 컬러 공간으로부터 도출될 수 있다. RGB 컬러 공간의 예는 ISO RGB, 확장 ISO RGB, scRGB, Adobe RGB 98, Adobe Wide Gamut RGB, Apple RGB, ROMM RGB, ProPhoto RGB, CIE (1931) RGB는 물론, 표준 ITU-R Rec. BT 709, ITU-R Rec. BT 2020, ITU-R Rec. BT 470, SMPTE RP 145, SMPTE 170M에서 정의된 RGB 공간이다.

대안으로서, Yuv, Yu'v', YCbCr, YPbPr, Y'DbDr, Y'CC, CIE Yxy, CIE Lab, CIE Luv, CIE LCh, IPT, Y'I'Q', EBU Y'U'V'와 같은 임의의 적절한 컬러 공간의 휘도 채널이 대신 사용될 수 있다. 이 경우, 이미지는 이러한 컬러 공간으로 변환되고, 휘도 채널에 처리가 적용되고, 이후에 추가 컬러 공간 변환은 이미지를 대상 컬러 공간(일례로 RGB 컬러 공간일 수 있음)으로 변환할 수 있다.

이미지의 컬러의 휘도 값 범위는 크게 "어두운", "하이라이트" 및 "중간 톤"으로 분류되는 세 가지 하위 범위로 나눌 수 있다. 이들은 이미지의 가장 어두운 부분, 이미지의 가장 밝은 부분(통상적으로 광원 및 하이라이트) 및 하이라이트 또는 어두운 톤이 아닌 모든 것인 중간 톤에 직관적으로 대응한다. 어두운 톤과 중간 톤 사이의 교점은 분석적으로 결정하기 어렵고 퍼지 전이 영역으로 남을 수 있다. 이것은 중간 톤과 하이라이트 사이의 교점에 대해서도 그러하다. 그러나, 이미지의 휘도 히스토그램의 분석에 기초하여 본질적으로 알려진 방식으로 근사 교점이 결정되어, 어두운 톤, 중간 톤 및 하이라이트에 대응하는 이미지의 톤 히스토그램의 3개의 섹션을 유도할 수 있다. 아래에서 설명하는 HDR 대 더 낮은 HDR 톤 매퍼의 중요한 특징은 어두운 톤 레벨 및 중간 톤 레벨을 선형적으로 압축하여(또는 가능한 경우 변경하지 않음으로써) 사진사의 의도가 이러한 톤 레벨에서 가능한 한 변함없이 유지되게 하는 것 과 하이라이트를 비선형으로 압축하는 것과 관련된다. 제안된 톤 매퍼는 컬러의 휘도 채널에 적용될 수 있고, 컬러의 색채 정보는 본질적으로 공지된 방식으로 보조적으로 정정된다.

일례에서, 기본 HDR 대 더 낮은 HDR 톤 매핑 곡선은 중간 톤을 갖는 픽셀 및 어두운 픽셀에 대한 곡선의 "제1" 부분 및 하이라이트의 "제2" 비선형 압축 부분을 포함할 수 있다. 제1 및 제2 부분은 예를 들어 고정된 중간 대 높은 임계치에 대응하는 중간 대 높은 교점에 의해 분리될 수 있다.

HDR 대 더 낮은 HDR 톤 매퍼는 (i) 어두운 톤 및 중간 톤에 대한 제1 선형 부분과 (ii) 나머지 하이라이트에 대한 제2 비선형 부분을 갖는 2 부분 톤 매핑 곡선으로 표현할 수 있다. 또한, 제1 선형 부분은 그의 어두운 및 중간 기울기(s)에 의해 특성화된다. 이 2 부분 톤 매핑 곡선의 결정은 특히 다음 단계를 포함할 수 있다.

1. 이미지 또는 비디오 프레임을 분석하여 곡선의 제1 선형 부분의 기울기(s)가 1의 값(휘도 압축 없음)을 가져야 하는지 또는 1보다 작은 값(실제 휘도 압축)을 가져야 하는지를 결정한다.

2. 제1 선형 부분의 기울기가 1보다 작은 값을 가져야 하는 경우, 현재 프레임의 픽셀에 대한 톤 매핑 곡선의 제1 부분의 이 기울기의 값(s)을 결정한다.

3. 프레임 사이의 플리커를 피하기 위해 현재 프레임에 다누설 적분을 적용한다(권장 옵션).

4. 목표 동적 범위에 따라 하이라이트의 동적 범위를 줄이는 톤 매핑 곡선의 제2 부분을 조정한다. 곡선의 제2 부분은 위의 1-2에서 조정된 톤 매핑 곡선의 제1 부분과 부드럽게 연결되도록 조정된다.

본 발명에 따라 제1 선형 부분의 기울기(s)가 계산되는 방식은 이하 섹션 3에서 상세히 설명될 것이다.

일례에서, 입력 HDR 콘텐츠의 최대 휘도 값은

이고, 출력 HDR 디스플레이에 의한 최대 생성 가능 휘도 값은

이다. 일례에서, 이들 변수의 값은

=4000 니트 및

=1500 니트이다.

HDR 대 더 낮은 HDR 톤 매핑 연산자는 입력 휘도의 전체 범위를 위해 설계된 C1 톤 매핑 함수를 이용할 수 있다. 본 명세서에서 사용되는 바와 같이, "C1" 톤 매핑 함수는 미분 함수 도메인의 입력의 개방 구간의 모든 곳에서 그의 제1 미분이 정의되고 연속적인 함수로서 정의된다. 물론, 평활도 기준은 휘도 값

및

에서 정의되지 않는다.

일례에서, 원하는 입력 톤 매퍼 함수는

로 표시된 함수이다. 일례에서, 콘텐츠의 주어진 프레임 또는 이미지에 대해, 이 함수

는 압축 인자 s(빈번하게 s=1)만큼 중간 대 높은 임계치(

)보다 작은 입력 휘도 값(I)을 선형적으로 스케일링하고, 이 임계치(

)보다 큰 휘도 값을 함수

의 변화에 따라 압축한다. 일례에서, 톤 매퍼 연산자

는 다음과 같이 정의된다:

식 2:

이 예에서, 톤 매핑 곡선의 제2 비선형 부분은 잘 알려진 사진 톤 매퍼 연산자

에 대응한다는 점에 유의한다.

일례에서, 3개의 파라미터 a, c, d는 C1 톤 매퍼 함수

을 얻기 위해 다음의 3가지 조건을 충족하도록 설정될 필요가 있다.

i. 최대 입력

는 최대 출력

에 매핑되어야 한다. 따라서,

식 3:

ii.

에서, 톤 매퍼는 연속적이어야 한다. 따라서,

식 4:

iii. 또한,

에서, 톤 매퍼의 기울기는 연속적이어야 한다. 따라서,

식 5:

세 가지 미지수에 대한 시스템을 풀면, a, c, d는 다음과 같다.

식 6:

식 7:

식 8:

다른 예에서, 식 2와 관련하여 전술한 방법은 실시간 톤 매핑을 위한 샘플링된 입력 휘도 값 및 대응 출력 휘도 값을 갖는 톤 매퍼 탐색표를 통해 구현될 수 있다.

2/ 비디오 콘텐츠의 각각의 프레임에 대한 중간 대 높은 임계치 계산:

프레임 또는 이미지의 중간 대 높은 임계치(τ)는 특히 다음 식에 의해 정의된 디폴트 임계치(

)보다 작은 것으로 결정될 수 있다.

식 9:

, 이 식에서 일례로

이고, 매우 높은 입력 휘도 값의 클리핑(clipping)을 방지하기 위해 이 프레임 또는 이미지의 픽셀의

%(n>0, 및, 일례에서

)보다 더 커버할 만큼 충분히 크다. 이러한 조건은

과

사이의 휘도 값을 갖는 이들 픽셀의 n% 미만을 갖는 것과 동일하다. 일례에서, 대부분의 자연스러운 장면에 대해, 프레임 또는 이미지의 매우 높은 휘도 값은 희소 픽셀 세트에 기여한다(높은 동적 범위 장면 히스토그램은 고도의 첨도 분포를 나타내는 경향이 있다). 그러한 콘텐츠의 경우, 다음의 임계치 선택은 픽셀의 n% 미만(일례에서 n=2)을

의 범위 내로 압축된 상태로 유지하는 경향이 있다.

=1500 니트의 예에 대해, 디폴트 임계치(

)는 1200으로 초기화될 수 있다. 이러한

및 n=2 선택은 실험적으로 주관적으로 즐거운 출력 이미지를 유발하는 것으로 나타났다.

"픽셀의

%를 넘게 커버할 만큼 충분히 큰" 조건을 형성하기 위해, 제1 예에서는 콘텐츠의 누적 히스토그램이 사용된다. 입력 휘도 I의 빈도는

로 표시된다. 값

은 임의의 선택한 빈 수를 갖는 입력 휘도 이미지의 히스토그램을 계산하여 결정될 수 있다. 값 I에 대한 누적 히스토그램은

로 표시되며 다음을 통해 찾을 수 있다.

식 10:

일례에서, 프레임 또는 이미지의 최종 임계치(

)는 다음과 같은 경우에 초기 값

과 동일하게 설정될 수 있다.

식 11:

이 조건은

과

사이의 휘도 값을 갖는 픽셀의 n%보다 적은 수가 있는 사례를 형성한다. 이것은 픽셀의 (100-n)%를 초과하는 휘도 값만을 선형적으로 변경할 수 있다. 식 10의 조건이 충족되지 못하면, 입력 이미지가 톤 압축되는 휘도 값의 범위가 증가하도록 브레이킹 포인트(즉, 톤 매핑 곡선의 무릎 포인트)가 감소된다.

일례에서,

의 값은 다음과 같이 표시된다:

식 12:

이 파라미터

는 중간 대 높은 임계치(

)보다 높은 휘도 값을 갖는 픽셀의 백분율을 나타낸다.

식 11의 결정에 기초하여, 중간 대 높은 임계치(τ)의 값을 추정하는 일례가 다음에 도시되고, 다음과 같이 디폴트 임계치(

)를 선형적으로 감소시키는 단계를 포함한다:

식 13:

여기서,

는 아티팩트를 유발하지 않고 톤 매퍼

에 의해 동적 범위의 작은 부분에서만 압축될 수 있는 픽셀의 최대 백분율을 나타낸다.

이 식에 따르면 최종 임계치(τ)는

가 n보다 작은 경우에

과 동일하다는 점에 유의한다. 임계치(τ)는

가

보다 큰 경우에 0으로 설정된다.

가 n과

사이에 있는 경우, 최종 임계치는

과 0 사이의 선형 보간에 의해 얻어진다.

결과적으로,

의 임의의 선택에 대해,

에 대한 중간 대 높은 임계치(τ)에 대한 값은 0으로 설정된다(이 결정은 이미지 레벨, 블록 레벨 등에 대해 수행될 수 있다). 최종 임계치(τ)의 값은 0보다 큰 임의의 임계치가 선택되는 경우에 픽셀의

%가 넘게 터치되므로 유용한다.

위의 예에서, 중간 대 높은 임계치(τ)는 콘텐츠에 의존하며, 디폴트 임계치(

) 미만이다. 중간 대 높은 임계치(τ)는

의 작은 범위로의 너무 많은 픽셀의 압축을 방지하며, 더 나은 시각적 경험을 제공한다.

상이한 프레임 또는 이미지의 세트, 즉 비디오 콘텐츠에 대해, 추정된 중간 대 높은 임계치(τ)는 연속적인 프레임에 대해 상이할 수 있고, 바람직하지 않은 연속 비디오 프레임의 강도의 현저한 변화("플리커")가 발생할 수 있다. 플리커의 이러한 문제점은 비디오 콘텐츠의 각각의 프레임(t)에 대한 중간 대 높은 임계치(

)의 정정을 제공함으로써 유리하게 해결될 수 있다. 일례에서, 다누설 적분이 프레임(t)에 대한 중간 대 높은 임계치(

)를 얻기 위해 적용될 수 있다. 중간 대 높은 임계치(

)는 중간 대 높은 임계치(

) 및 이전 프레임에 대한 추정된 다누설 추정 중간 대 높은 임계치, 즉

를 사용하여 추정된다. 그러한 추정의 일례는 다음과 같다.

식 14:

+ (1 -

)

식 9의 반복 특성은 모든 새로운 다음 프레임에 대해 이전 추정의 전체 이력이 고려된다는 것을 의미한다. 사용자 중간 대 높은 임계치 파라미터

은 프레임 사이의

의 평활도를 제어한다.

일례에서, 휘도 값은 식 1에 따라 RGB 컬러 값으로부터 도출된다. 톤 매핑 컬러 이미지를 재구성하기 위해, 간단한 픽셀별 접근법이 이용된다. 픽셀별 접근법은 다음과 같이 식 2에 정의된 톤 매핑 함수

에 의해 정의된 휘도 채널의 스케일 변화에 따라 원래 HDR 이미지의 컬러의 RGB 값 Rⁱ, Gⁱ, Bⁱ를 스케일링한다.

식 15a:

식 15b:

식 15c:

컬러 이미지의 재구성은 또한 다음과 같이 포화의 양을 제어하는 파라미터

에 의해 파라미터화될 수 있다.

식 16a:

식 16b:

식 16c:

일례에서, 톤 매핑 연산자는 셋톱 박스, 텔레비전, 모니터, 랩톱, 전화, 태블릿, 스마트폰 디스플레이 등과 같은 소비자 전자 디바이스에 통합될 수 있다. 이 경우에, 톤 매핑 알고리즘은 그의 출력의 시각적 외관을 결정하기 위해 메타데이터를 공급 받을 수 있다.

3/ 톤 매핑 곡선의 선형 부분의 기울기(s) 계산:

다시, 본 원리의 예는 입력 이미지 또는 비디오 프레임의 콘텐츠에 기초하여 톤 매핑 곡선의 제1 부분의 기울기(s)를 변경하는 HDR 대 더 낮은 HDR 톤 매퍼에 관한 것이다.

일례에서, 제1 부분의 기울기(s)는 입력 이미지 또는 비디오 프레임의 휘도 히스토그램의 형상에 기초하여, 특히 이 히스토그램의 밝은 영역 내의 긴 꼬리의 형상에 기초하여 결정될 수 있다.

본 원리의 일 양태는 또한 이 히스토그램의 밝은 영역에서의 휘도 값의 균일한 분포의 존재를 결정하기 위해 휘도 히스토그램을 분석하는 것에 관한 것이다. 기울기(s)는 이 밝은 영역에서의 휘도 값의 분포의 균일성의 척도에 기초하여 결정될 수 있다.

일례에서, 입력 이미지(I)의 휘도 히스토그램

은 입력 이미지의 전체적인 높은 동적 범위를 따라 분포된 주어진 수(B)의 히스토그램 빈 대해 결정된다. 일례에서, 히스토그램 빈의 수(B)는 40의 값을 가질 수 있다. 파라미터

은 히스토그램의 빈 센터의 벡터를 나타낸다. 히스토그램은 일반적으로 각각의 어레이 요소에 값이 있는 어레이로 표시된다. 해석은 어레이 인덱스가 작은 범위의 휘도 값에 대응하며 이 어레이 요소에 저장된 값('bin 값')이 이 범위의 휘도 값 내에 있는 픽셀의 수를 나타낸다는 것이다. 빈의 값은 각각의 빈에 속하는 히스토그램의 픽셀 수에 대응할 수 있다. 히스토그램은 사전에 계산되고, 이전 텍스트에서

로 표시된다.

일례에서, 이미지 히스토그램의 밝은 영역은 이 밝은 영역의 낮은 휘도 값 및 높은 휘도 값에 각각 대응하는 경계

에 의해 정의된다. 이러한 경계는 분포의 균일성의 척도를 위해 분석될 톤의 범위를 한정하고, 따라서 히스토그램의 밝은 영역을 한정하여 기울기(s)를 계산하도록 고려된다.

일례에서, 하한

은 다음과 같이 결정된다:

식 17:

=

식 9와 결합할 때,

식 18:

=

여기서, B는 히스토그램의 빈의 수이고, 입력 HDR 콘텐츠

의 최대 휘도 값은 예를 들어 비디오 콘텐츠를 갖는 메타데이터로서 제공되고, 최대 생성 가능 휘도 출력 값

은 통상적으로 목표 디스플레이의 피크 디스플레이 휘도로부터 유도된다. 식 18은 하한

이 피크 출력 휘도

및 피크 입력 휘도

의 비율

에 비례함을 의미한다.

일례에서, 상한

은 다음과 같이 결정된다:

식 19:

파라미터

(이미 위에서 정의됨) 및

은 모두 0과 1 사이의 범위에 있어야 한다. 또한,

은

보다 우수해야 한다. 등급화된 콘텐츠의 관측에 기초하여, 양호한 값은 0.8이다. 파라미터의 디폴트 값은 0.75로 설정될 수 있다.

또한, 디폴트 값을 사용하는 것이 아니라 메타데이터를 사용하여 파라미터

및

을 설정할 수 있다. 이는 사진 감독이 감독의 의도를 유지하는 방식으로 콘텐츠가 어떻게 톤 매핑될 수 있는지에 대한 안내를 제공하고자 할 경우에 유용할 수 있다. 이 경우, 이러한 파라미터는 생성 동안(후) 지정되며 메타데이터로서 콘텐츠에 첨부된다. 이어서, 이 콘텐츠를 수신하는 디바이스는 이에 기초하여 톤 재생 파라미터를 조정할 수 있다.

전술한 바와 같이 톤 매핑 곡선의 제1 및 제2 부분을 한정하는 중간 대 높은 임계치는 일반적으로 하한 및 밝은 영역을 한정하는 상한과 다르다.

일례에서, 입력 이미지의 휘도 히스토그램 빈은 경계

사이에서, 즉 소위 밝은 영역에서 분석된다. 도 7을 참고한다.

대안적인 예에서, 가중 함수

는 특히 이러한 경계

에 기초하여 결정될 수 있다. 가중 함수는 휘도 히스토그램의 각각의 빈(B)에 대한 가중치를 결정할 수 있으므로 각각의 빈(B)에 적용될 때 하한

보다 낮거나 상한

보다 높은 값을 갖는 히스토그램 값의 영향이 제거된다. 도 7의 점선은 밝은 영역에서의 휘도 값의 가중 분포를 도시한다.

SOC(System-on-Chip) 제조자의 경우, 조건 구문을 구현하는 데 비용이 많이들 수 있으므로 SOC 디바이스에서 2개의 임계치

를 사용하는 데 비용이 많이 들 수 있다. 일례에서, 전체 히스토그램은 2개의 임계치

사이에서 1이고 다른 곳에서 0인 가중치로 가중될 수 있다. 가중치를 얻는 것은 2개의 하드 임계치

를 사용하는 것보다 콘텐츠 변동에 대한 더 강건한 해결책을 제공할 수 있다.

일례에서, 가중 함수는 식 15의 지지의 이산 대칭 해밍 윈도우

을 갖는 정사각 윈도우 함수

(

)(

와

사이에서

에 대해 1로 그리고 그 외에는 0으로 설정된 값을 가짐)의 컨볼루션으로서 결정된다.

식 20:

일례에서, 도 5는 B=40을 갖는 히스토그램에 대한 결정된 가중치를 도시한다.

가중치

는 다음 식을 통해 결정될 수 있다.

식 21:

여기서,

는 컨볼루션 연산자를 나타내며, 이산 해밍 윈도우

은 다음과 같이 결정된다.

식 22:

일례에서, 히스토그램

은 가중치

에 의해 곱해져서, 히스토그램 빈에 대한 다음 가중치를 유발한다.

식 23:

도 5는

,

에 대한 이미지 히스토그램에 적용될 결정된 가중치

를 도시한다.

경계

사이의 히스토그램 빈 또는 식 18의 가중 히스토그램은 기울기(s)를 계산하기 위해 휘도 값 분포의 균일성을 측정하기 위한 적절한 근거를 형성한다. 휘도 값들의 대응하는 세트의 균일성을 결정하는 임의의 방법이 적용될 수 있지만, 일례에서, 균일성은 가중 히스토그램(또는 경계

간의 히스토그램)의 평균

및 표준 편차

에 기초하여 결정될 수 있으며, 이는 다음과 같이 결정될 수 있다.

식 24:

식 25:

일례에서, 균일성의 척도는 또한 다음과 같이 가중 히스토그램(또는 경계 사이의 비가중 히스토그램)의 평균 및 표준 편차의 비율에 의해 주어진다.

식 26: 균일성 척도 =

균일성의 척도는 톤 매핑 연산자의 제1 선형 부분의 기울기(s)의 적절한 결정과 상관될 수 있다. 보다 구체적으로, 이 기울기(s)는 이러한 균일성 척도의 단조 비증가 함수이다. 도 6에 도시된 일례에서, 기울기(s)와 균일성 척도

사이의 관계는 예를 들어 다음과 같이 비선형 방식으로 결정된다.

일례에서, 기울기는 다음과 같이

의 함수로서 결정될 수 있다.

식 27:

일례에서, 파라미터

은 다음과 같이 결정될 수 있다:

식 28:

파라미터

(위의

및

정의에 따라 <1)은 톤 매핑 곡선의 선형 부분의 기울기(s)가 피크 출력 휘도

및 피크 입력 휘도

의 비율보다 낮지 않은 것을 보장한다. 이것은 어두운 것들의 콘트라스트의 바람직하지 않은 큰 감소를 방지할 수 있다.

파라미터

는 다음과 같이 균일성 척도

에 기초한다.

식 29:

이 식은 상수

를 사용하여 균일성의 척도

로 리스케일링하는 형태를 적용하는 데 사용된다. 일 실시예에서, 이들 상수는

로 설정될 수 있다. 식 27에서 이러한 동일한 상수는 상수 부분으로부터 비선형 부분을 한정하는 전이 포인트의 역할을 한다.

일례에서, 도 6은 결정된 기울기(s)를

의 함수로서 도시한다.

전술한 톤 매핑 방법의 블록도:

위에서 설명한 예들은 아래에 기술된 도면 내에서 구현될 수 있다.

도 1은 본 원리에 따른 이미지 또는 비디오 콘텐츠를 인코딩하기 위한 예시적인 방법(100)을 나타내는 도면이다.

방법(100)은 픽처를 수신하고 인코딩하는 단계를 포함할 수 있다. 픽처는 임의의 인코딩 기술(예를 들어, HEVC, AVC)을 사용하여 비트스트림으로 인코딩될 수 있다. 방법(100)은 DVB 또는 ATSC 표준 기반 배포 작업 흐름, 생성 또는 저작 작업 흐름, 디지털 비디오 캠코더와 같은 임의 유형의 작업 흐름에서 수행될 수 있다.

일례에서, 방법(100)은 블록 101에서 픽처를 수신하는 단계를 포함한다. 픽처는 예를 들어 HDR 비디오에 대한 비디오 이미지 또는 픽처 시퀀스의 일부일 수 있다. 블록 101은 선형 광 RGB 정보를 포함하는 픽처의 특성에 관한 정보를 수신할 수 있다. 픽처는 3개의 성분(적색, 녹색 및 청색)으로 구성된 RGB 컬러 값으로 3색 카메라를 이용하여 캡처될 수 있다. RGB 컬러 값은 센서의 3색 특성(원색)에 의존한다. 픽처는 센서의 원색, 캡처된 장면의 최대 및 최소 휘도 피크와 같은 이미지 측 정보를 포함할 수 있다. 이어서, 블록 101은 수신된 픽처에 관한 임의의 정보를 제공하는 단계를 포함하는 블록 102로 제어를 전달할 수 있다.

블록 102는 블록 101로부터 수신된 콘텐츠에 대하여 HDR 대 더 낮은 HDR 톤 매퍼를 적용할 수 있다. HDR 대 더 낮은 HDR 톤 매퍼는 본 원리에 따라 결정될 수 있다. HDR 대 더 낮은 HDR 톤 매퍼는 콘텐츠의 동적 범위를 디스플레이의 동적 범위에 맞게 변환한다.

HDR 대 더 낮은 HDR 톤 매퍼는 식 1-8 및 15-16과 관련하여 전술한 원리에 기초하여 결정될 수 있다. 특히, 범위 축소의 양이 제한될 때 HDR 대 더 낮은 HDR 톤 매퍼가 사용될 수 있다. HDR 대 더 낮은 HDR 톤 매퍼는 식 1-24와 관련하여 기술된 원리를 포함하는 전술한 원리에 따라 결정될 수 있다.

블록 103은 블록 102의 출력을 인코딩할 수 있다. 블록 103은 임의의 기존 인코딩/디코딩 표준에 따라 출력을 인코딩할 수 있다. 예를 들어, 블록 103은 국제 통신(ITU) 및 조직 MPEG(Moving Picture Experts Group)에 의해 체계화된 고효율 비디오 코딩(HEVC) 표준에 따라 인코딩할 수 있다. 대안적으로, 블록 103은 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4)에 의해 체계화된 H.264 또는 MPEG-4 AVC(MPEG-4 Part 10, Advanced Video Coding)에 따라 인코딩할 수 있다. 대안적으로, 블록 103은 임의의 다른 공지된 인코딩 기술로 인코딩할 수 있다.

도 2는 픽처 및 파라미터들을 인코딩하기 위한 예시적인 방법(200)을 도시하는 도면이다. 방법(200)은 콘텐츠 종속 임계치에 대한 파라미터를 수신하기 위한 블록 201을 포함한다. 수신된 파라미터는 다음과 같을 수 있다.

- 출력 콘텐츠 또는 목표 디스플레이의 피크 휘도

는 텔레비전/모니터 자체에 의해 제공될 수 있다. 셋톱 박스가 사용되는 경우, 이 값은 예를 들어 HDMI 메시지를 통해 접속된 디스플레이 디바이스에 의해 시그널링될 수 있다.

- 입력 콘텐츠의 피크 휘도

는 콘텐츠와 함께 메타데이터로 인코딩될 수 있다. 이것은 프레임마다, 샷마다 또는 프로그램(텔레비전 에피소드, 영화, 상업 광고 등)마다 단일 값으로 제공될 수 있다. 대안적인 예에서,

의 값은 (예를 들어, 후반 작업 하우스에서) 입력 콘텐츠를 생성하는 데 사용되는 디스플레이 디바이스의 피크 휘도 또는 방송 시나리오에서 입력 콘텐츠를 생성하는 데 사용되는 라이브 카메라의 피크 휘도로 해석될 수 있다.

- 디폴트 임계치(

)와 출력 HDR 디스플레이에 의한 최대 생성 가능 휘도 값

(식 9 참조)의 비율로 정의된 파라미터

가 메타데이터로서 콘텐츠와 함께 전송될 수 있다. 대안 예에서, 톤 매핑 곡선의 선형 부분과 비선형 부분 사이의 교점을 결정하는 임계치(

)가 대신 전송될 수 있다.

- 비선형 압축될 픽셀 백분율을 결정하는 파라미터 n은 메타데이터로 추가로 제공될 수 있다.

- 파라미터

는 메타데이터로 제공될 수도 있다.

- 비디오 콘텐츠에 대한 임계치의 다누설 적분에 사용되는 파라미터

도 메타데이터에 포함될 수 있다.

- 히스토그램 빈 수인 파라미터 B도 메타데이터로 제공될 수 있다.

- 파라미터

은 히스토그램의 빈 센터의 벡터가 메타데이터로 제공될 수도 있음을 나타낸다.

- 히스토그램 중간 톤 영역의 상한을 제어하는 파라미터

도 메타데이터로 제공될 수 있다.

블록 201에서 수신된 파라미터는 콘텐츠의 제작자(사진 감독, 컬러리스트, 스튜디오)의 의도가 다양한 디스플레이 상에서 재생되도록 이용될 수 있다.

블록 202는 톤 매핑 곡선 파라미터를 결정할 수 있다. 톤 매핑 곡선 파라미터는 식 6-8 및 27에 기초하여 결정될 수 있다. 블록 208은 블록 202에 의해 결정된 파라미터를 인코딩할 수 있다.

블록 203은 픽처를 수신할 수 있다. 일례에서, 블록 203은 도 1의 블록 101과 관련하여 설명된 원리들에 따라 픽처를 수신할 수 있다.

블록 204는 수신된 픽처의 휘도 채널 정보를 획득할 수 있다. 일례에서, 블록 204는 수신된 픽처의 휘도 채널 정보를 얻기 위해 예비 컬러 변환을 적용할 수 있다. 일례에서, 블록 204는 휘도 채널 정보를 획득하기 위해 예비 컬러 변환을 적용할 수 있다. 일례에서, 블록 204는 식 1과 관련하여 기술된 원리들에 따라 휘도 채널 정보를 결정할 수 있다. 다른 예에서, 블록 204는 옵션일 수 있고, 휘도 정보는 블록 203으로부터 직접 수신될 수 있다.

블록 205는 HDR 대 더 낮은 HDR 톤 매퍼를 적용할 수 있다. 일례에서, 블록 205는 도 1의 블록 102와 관련하여 기술된 원리들에 따라 HDR 대 더 낮은 HDR 톤 매퍼를 적용할 수 있다. 일례에서, 블록 205는 HDR2HDR 톤 매퍼를 적용하여 출력 처리된 이미지 I_o를 결정할 수 있다.

블록 206은 블록 205의 출력에 대해 컬러 정정을 수행할 수 있다. 블록 206은 컬러 정정된 출력 이미지를 출력할 수 있다. 블록 207은 블록 206의 출력을 인코딩할 수 있다.

블록 209는 블록 208에 의해 인코딩된 파라미터 및 블록 207에 의해 인코딩된 출력 이미지를 비트스트림으로 출력할 수 있다.

도 3은 본 원리들에 따른 픽처 또는 비디오를 디코딩하기 위한 예시적인 방법(300)을 나타내는 도면이다.

블록 301은 비디오 또는 이미지 시퀀스에 대응하는 비트스트림을 수신할 수 있다. 수신된 비트스트림은 (예를 들어, AVC, HEVC 등의 인코딩을 사용하여) 인코딩되었다. 그런 다음 블록 301은 제어를 블록 302에 전달할 수 있다.

블록 302는 블록 301로부터 수신된 비트스트림을 파싱하고 디코딩할 수 있다. 일례로, 블록 302는 HEVC 기반 디코딩을 사용하여 비트스트림을 파싱 및 디코딩할 수 있다. 그런 다음 블록 302는 제어를 블록 303으로 전달할 수 있다.

블록 303은 휘도 채널 정보를 획득할 수 있다. 일례에서, 블록 303은 옵션일 수 있다. 일례에서, 블록 303은 식 1과 관련하여 기술된 원리에 따라 휘도 채널 정보를 얻을 수 있다. 이어서, 블록 303은 블록 304 및 305에 제어를 전달할 수 있다.

블록 304는 본 원리들에 따른 HDR 대 더 낮은 HDR 톤 매퍼에 대한 파라미터들을 결정할 수 있다. 파라미터는 본 원리에 따른 본 명세서에서 논의된 임의의 파라미터일 수 있다. 일례에서, 파라미터는 비트스트림에 포함된 신택스(예를 들어, SEI 메시지)에 기초하여 결정된다. 파라미터는 블록 202와 관련하여 논의된 파라미터일 수 있다. 이들 파라미터는 비트스트림을 통해 전송될 수 있거나, 또는 디코더에서 결정될 수도 있다. 이들 파라미터는 일례에서 휘도 정보의 히스토그램으로부터 추정된다.

블록 305는 비디오 신호를 처리할 수 있다. 일례에서, 블록 305는 디코딩된 Y'CbCr 비디오 신호를 처리할 수 있다. 일례에서, 블록 305는 Y'CbCr 비디오 신호를 R'G'B' 비디오 신호로 변환할 수 있다. 다른 예에서, 블록 305는 R'G'B' 비디오 신호를 처리할 수 있다.

블록 306은 HDR 대 더 낮은 HDR 톤 매퍼를 비디오 신호에 적용할 수 있다. 블록 306은 대응하는 추정된 파라미터들을 사용하여 프레임 단위로 수행될 수 있다. 일례에서, 블록 307은 블록 102 및 205와 관련하여 기술된 원리에 따라 HDR 대 더 낮은 HDR 톤 매퍼를 적용할 수 있다. 일례로, 블록 307은 도표화된 값을 갖는 탐색표(LUT)를 생성 또는 수신하고 매핑/디매핑될 콘텐츠에 LUT를 적용할 수 있다.

톤 매핑 방법을 구현하도록 구성된 디바이스의 아키텍처:

도 4는 도 1-3 및 식 1-24와 관련하여 기술된 방법을 구현하도록 구성될 수 있는 디바이스(400)의 예시적인 아키텍처를 나타낸다. 일례에서, 도 4는 도 1-3과 관련하여 기술된 원리를 포함하는 본 원리에 따른 인코딩 방법을 구현하도록 구성될 수 있는 장치를 나타낸다. 일례에서, 도 4는 도 3과 관련하여 설명된 원리를 포함하는 본 원리에 따른 디코딩 방법을 구현하도록 구성될 수 있는 장치를 나타낸다.

디바이스(400)는 데이터 및 어드레스 버스(401)에 의해 함께 링크되는 다음 요소들을 포함한다.

- 예를 들어 DSP(또는 디지털 신호 프로세서)인 마이크로프로세서(402)(또는 CPU);

- ROM(또는 판독 전용 메모리)(403);

- RAM(또는 랜덤 액세스 메모리)(404);

- 애플리케이션으로부터 전송할 데이터의 수신을 위한 I/O 인터페이스(405); 및

- 배터리(406)(또는 다른 적절한 전원).

변형에 따르면, 배터리(406)는 디바이스의 외부에 있다. 언급된 메모리 각각에서, 본 명세서에서 사용되는 단어 <<레지스터>>는 작은 용량(예를 들어, 몇 개의 비트)의 영역 또는 매우 큰 영역(예를 들어, 전체 프로그램 또는 많은 양의 수신된 또는 디코딩된 데이터)에 대응할 수 있다. ROM(403)은 적어도 프로그램 및 파라미터를 포함한다. 본 발명에 따른 방법들의 알고리즘은 ROM(403)에 저장된다. 스위치 온될 때, CPU(402)는 프로그램을 RAM에 업로드하고, 대응하는 명령어들을 실행한다.

RAM(404)은 레지스터 내에 디바이스(400)의 스위치 온 이후 CPU(402)에 의해 실행되고 업로딩되는 프로그램, 레지스터 내의 입력 데이터, 레지스터 내의 방법의 상이한 상태들의 중간 데이터, 및 레지스터 내에서 방법의 실행에 이용되는 다른 변수들을 포함한다.

본 명세서에서 설명되는 구현들은 예를 들어 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호에서 구현될 수 있다. 단지 단일 형태의 구현의 맥락에서 기술되기는 하지만(예컨대, 단지 방법 또는 디바이스로서 논의되기는 하지만), 논의된 특징들의 구현은 또한 다른 형태들(예컨대, 프로그램)로 구현될 수 있다. 장치는 예컨대 적절한 하드웨어, 소프트웨어 및 펌웨어로 구현될 수 있다. 방법들은 예컨대 컴퓨터, 마이크로프로세서, 집적회로 또는 프로그램 가능 논리 디바이스를 포함하는 처리 디바이스들을 일반적으로 지칭하는 예컨대 프로세서와 같은 장치에서 구현될 수 있다. 프로세서들은 또한 예를 들어 컴퓨터, 셀 폰, 휴대용/개인용 디지털 단말기("PDA"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.

인코딩 또는 인코더의 특정 예에 따르면, 이미지 또는 픽처 I가 소스로부터 획득된다. 예로서, 소스는

- 로컬 메모리(403 또는 404), 예로서 비디오 메모리 또는 RAM(또는 랜덤 액세스 메모리), 플래시 메모리, ROM(또는 판독 전용 메모리), 하드 디스크;

- 저장 인터페이스(405), 예로서 대용량 저장소, RAM, 플래시 메모리, ROM, 광 디스크 또는 자기 서포트와의 인터페이스;

- 통신 인터페이스(405), 예로서 유선 인터페이스(예로서, 버스 인터페이스, 광역 네트워크 인터페이스, 근거리 네트워크 인터페이스) 또는 무선 인터페이스(예로서, IEEE 802.11 인터페이스 또는 블루투스® 인터페이스); 및

- 이미지 캡처링 회로(예컨대, 센서, 예를 들어 CCD(또는 전하 결합 디바이스) 또는 CMOS(또는 상보형 금속-산화물-반도체))

를 포함하는 세트에 속한다.

디코딩 또는 디코더의 상이한 실시예들에 따르면, 디코딩된 이미지

는 목적지로 송신되고; 구체적으로 목적지는

- 로컬 메모리(403 또는 404), 예로서 비디오 메모리 또는 RAM, 플래시 메모리, 하드 디스크;

- 통신 인터페이스(405), 예컨대, 유선 인터페이스(예를 들어, 버스 인터페이스(예컨대, USB(또는 유니버설 직렬 버스)), 광역 네트워크 인터페이스, 근거리 네트워크 인터페이스, HDMI(High Definition Multimedia Interface) 인터페이스) 또는 무선 인터페이스(IEEE 802.11 인터페이스, WiFi® 또는 블루투스® 인터페이스 등); 및

- 디스플레이

를 포함하는 세트에 속한다.

인코딩 또는 인코더의 상이한 예에 따르면, 비트스트림 BF 및/또는 F는 목적지로 전송된다. 예로서, 비트스트림 F 및 BF 중 하나 또는 양 비트스트림 F 및 BF는 로컬 또는 원격 메모리, 예를 들어, 비디오 메모리(404) 또는 RAM(404), 하드 디스크(403)에 저장된다. 변형에서, 하나 또는 양 비트스트림이 저장 인터페이스(405), 예를 들어 대용량 저장소, 플래시 메모리, ROM, 광 디스크 또는 자기 서포트를 가지는 인터페이스에 송신되고 그리고/또는 통신 인터페이스(405), 예를 들어, 점 대 점 링크, 통신 버스, 점 대 다점 링크 또는 방송 네트워크에 대한 인터페이스를 통해 전송된다.

디코딩 또는 디코더의 상이한 예들에 따르면, 비트스트림 BF 및/또는 F가 소스로부터 획득된다. 예를 들어, 비트스트림은 로컬 메모리, 예로서 비디오 메모리(404), RAM(404), ROM(403), 플래시 메모리(403) 또는 하드 디스크(403)로부터 판독된다. 변형에서, 비트스트림은 저장 인터페이스(405), 예로서 대용량 저장소, RAM, ROM, 플래시 메모리, 광 디스크 또는 자기 서포트와의 인터페이스로부터 수신되고/되거나, 통신 인터페이스(405), 예로서 점 대 점 링크, 버스, 점 대 다점 링크 또는 방송 네트워크에 대한 인터페이스로부터 수신된다.

다른 예들에 따르면, 본 원리들에 따라 인코딩 방법을 구현하도록 구성된 디바이스(400)는 다음을 포함하는 세트에 속한다:

- 이동 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 태블릿(또는 태블릿 컴퓨터);

- 랩톱;

- 정지 이미지 카메라;

- 비디오 카메라;

- 인코딩 칩;

- 정지 이미지 서버; 및

- 비디오 서버(예로서, 방송 서버, 주문형 비디오 서버 또는 웹 서버).

다른 예들에 따르면, 본 원리들에 따라 디코딩 방법을 구현하도록 구성된 디바이스(400)는 다음을 포함하는 세트에 속한다:

- 이동 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 셋톱 박스;

- TV 세트;

- 태블릿(또는 태블릿 컴퓨터);

- 랩톱;

- 디스플레이 및

- 디코딩 칩.

본 명세서에서 설명되는 다양한 프로세스들 및 특징들의 구현들은 다양한 상이한 장비 또는 애플리케이션들에서 구현될 수 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 처리하는 포스트-프로세서, 인코더로의 입력을 제공하는 프리-프로세서, 비디오 코더, 비디오 디코더, 비디오 코덱, 웹 서버, 셋톱 박스, 랩톱, 퍼스널 컴퓨터, 셀 폰, PDA, 및 다른 통신 디바이스들을 포함한다. 명확한 바와 같이, 장비는 이동 장비일 수 있으며 심지어 이동 차량에 설치될 수 있다.

추가적으로, 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 그러한 명령어들(및/또는 구현에 의해 생성된 데이터 값들)은 예를 들면 집적 회로, 소프트웨어 캐리어, 또는 예를 들면 하드디스크, 컴팩트 디스켓("CD"), 광 디스크(예를 들면, 종종 디지털 다기능 디스크 또는 디지털 비디오 디스크로 지칭되는 DVD), 랜덤 액세스 메모리("RAM"), 또는 판독전용 메모리("ROM")와 같은 다른 저장 디바이스와 같은 프로세서-판독가능한 매체 상에 저장될 수 있다. 명령어들은 프로세서 판독 가능 매체 상에 유형적으로 구현되는 애플리케이션 프로그램을 형성할 수 있다. 명령어들은 예컨대 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 명령어들은 예컨대 운영 체제, 개별 애플리케이션, 또는 이 둘의 조합에서 발견될 수 있다. 따라서, 프로세서는 예컨대 프로세스를 수행하도록 구성되는 디바이스와 프로세스를 수행하기 위한 명령어들을 가진 (저장 디바이스와 같은) 프로세서-판독가능 매체를 포함하는 디바이스 둘 모두로서 특징지어질 수 있다. 게다가, 프로세서-판독가능 매체는 구현에 의하여 생성되는 명령어들, 데이터 값들 대신에 또는 이들에 부가하여 저장할 수 있다.

이 분야의 기술자에게 명백한 바와 같이, 구현들은 예컨대 저장되거나 또는 송신될 수 있는 정보를 반송하도록 포맷팅된 다양한 신호들을 생성할 수 있다. 정보는 예컨대 방법을 수행하기 위한 명령어들, 또는 기술된 구현들 중 하나의 구현에 의하여 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 기술된 예의 구문분석(syntax)을 기록하거나 판독하기 위한 규정들을 데이터로서 반송하도록, 또는 기술된 예에 의해 기록되는 실제 구문분석-값들을 데이터로서 반송하도록 포맷팅될 수 있다. 이러한 신호는 예컨대(예컨대, 스펙트럼의 무선 주파수 부분을 사용하여) 전자기파로서 또는 기저대역 신호로서 포맷팅될 수 있다. 포맷팅은 예컨대 데이터 스트림을 인코딩하는 것과 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 반송하는 정보는 예컨대 아날로그 또는 디지털 정보일 수 있다. 신호는 공지된 바와 같이 다양한 상이한 유선 또는 무선 링크들을 통해 송신될 수 있다. 신호는 프로세서 판독가능 매체 상에 저장될 수 있다.

다수의 구현이 설명되었다. 그럼에도 불구하고, 다양한 수정들이 이루어질 수 있다는 점이 이해될 것이다. 예를 들어, 상이한 구현들의 요소들은 결합, 보충, 수정 또는 제거되어, 다른 구현들을 생성할 수 있다. 추가적으로, 본 기술분야의 통상의 기술자라면, 다른 구조들 및 프로세스들이 개시된 것들을 대체할 수 있으며, 결과적인 구현들은 개시된 구현들과 적어도 실질적으로 동일한 결과(들)를 달성하기 위해서 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행할 것이라는 점을 이해할 것이다. 따라서, 이들, 및 다른 구현들은 본 출원에 의해 고려된다.

다수의 특정 상세항목들이 본 발명의 철저한 이해를 제공하기 위해 본원에서 설명된다. 그러나, 위의 예들이 이러한 특정 상세항목들 없이도 구현될 수 있음이 본 기술분야의 통상의 기술자에 의해 이해될 것이다. 다른 경우들에서, 널리-알려진 동작들, 컴포넌트들 및 회로들은 본 발명을 모호하게 하지 않기 위해 상세히 기술되지 않았다. 본원에 개시된 특정 구조적 및 기능적 상세항목들이 대표적이며, 본 발명의 범위를 반드시 제한하지는 않음이 인지될 수 있다.

본 발명의 다양한 예들은 하드웨어 요소들, 소프트웨어 요소들, 또는 이들 둘의 조합을 사용하여 구현될 수 있다. 일부 예들은, 머신에 의해 실행되는 경우, 머신이 예들에 따른 방법 및/또는 동작들을 수행하게 할 수 있는 명령어 또는 명령어들의 세트를 저장할 수 있는, 예를 들어, 컴퓨터 판독가능 매체 또는 물품을 사용하여 구현될 수 있다. 그러한 머신은, 예를 들면, 임의의 적합한 처리 플랫폼, 컴퓨팅 플랫폼, 컴퓨팅 디바이스, 처리 디바이스, 컴퓨팅 시스템, 처리 시스템, 컴퓨터, 프로세서, 또는 다른 유사한 것을 포함할 수 있고, 하드웨어 및/또는 소프트웨어의 임의의 적당한 조합을 이용하여 구현될 수 있다. 컴퓨터-판독가능 매체 또는 물품은, 예를 들어, 임의의 적절한 타입의 메모리 유닛, 메모리 디바이스, 메모리 물품, 메모리 매체, 저장 디바이스, 저장 물품, 저장 매체 및/또는 저장 유닛을 포함할 수 있다. 명령어들은 임의의 적합한 하이-레벨, 로우-레벨, 객체 지향, 비주얼, 컴파일된 및/또는 인터프리트된 프로그래밍 언어를 이용하여 구현된, 소스 코드, 컴파일된 코드, 인터프리트된 코드, 실행 가능 코드, 정적 코드, 동적 코드, 암호화된 코드 등과 같은 임의의 적합한 타입의 코드를 포함할 수 있다.

본 명세서에서 설명되는 구현들은 예를 들어 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호에서 구현될 수 있다. 비록 단지 단일 형태의 구현과 관련하여 기술될지라도(예컨대, 단지 방법으로서 논의될지라도), 논의된 특징들의 구현은 다른 형태들(예컨대, 장치 또는 프로그램)으로 구현될 수 있다. 장치 및 그 내에 포함되는 구성요소들, 예를 들어, 프로세서, 인코더 및 디코더는, 예를 들어, 적절한 하드웨어, 소프트웨어 및 펌웨어에서 구현될 수 있다. 방법들은 예컨대 컴퓨터, 마이크로프로세서, 집적회로 또는 프로그램 가능 논리 디바이스를 포함하는 처리 디바이스들을 일반적으로 지칭하는 예컨대 프로세서와 같은 장치에서 구현될 수 있다. 프로세서들은 또한 예를 들어 컴퓨터, 셀 폰, 휴대용/개인용 디지털 단말기("PDA"), 및 최종 사용자들 사이의 정보의 통신을 용이하게 하는 다른 디바이스들과 같은 통신 디바이스들을 포함한다.

추가적으로, 본 출원서 또는 청구항들은 다양한 정보들을 "결정하는" 것을 언급할 수 있다. 정보를 결정하는 것은 예를 들면, 정보를 추정하고, 정보를 계산하며, 정보를 예측하거나, 메모리로부터 정보를 검색하는 것 중 하나 이상을 포함할 수 있다.

또한, 본 출원 또는 그의 청구범위는 다양한 정보에 "액세스"하는 것을 언급할 수 있다. 정보에 액세스하는 것은 예를 들어, 정보를 수신하는 것,(예를 들어, 메모리로부터의) 정보를 검색하는 것, 정보를 저장하는 것, 정보를 처리하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 복사하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것 중 하나 이상을 포함할 수 있다.

추가로, 본 출원 또는 그의 청구범위는 다양한 정보를 "수신"하는 것을 언급할 수 있다. 수신하는 것은 "액세스"하는 것과 마찬가지로, 넓은 용어인 것으로 의도된다. 정보의 수신은 예를 들어, 정보에 액세스하는 것 또는(예를 들어, 메모리로부터의) 정보를 검색하는 것 중 하나 이상을 포함할 수 있다. 또한, "수신"하는 것은 예를 들어, 정보를 저장하는 것, 정보를 프로세싱하는 것, 정보를 송신하는 것, 정보를 이동시키는 것, 정보를 카피하는 것, 정보를 소거하는 것, 정보를 계산하는 것, 정보를 결정하는 것, 정보를 예측하는 것, 또는 정보를 추정하는 것과 같은 동작들 동안 일 방식 또는 다른 방식으로 통상적으로 수반된다.

다른 실시예에 따르면, 파라미터화된 전달 함수는 본 발명에 따라 인코딩되거나 디코딩된 픽처 또는 픽처를 포함하는 스트림으로 시그널링된다. 일부 실시예에서, 파라미터 전달 함수를 나타내는 정보는 픽처 또는 픽처를 포함하는 스트림으로 시그널링된다. 이 정보는 본 발명에 따라 적용되는 파라미터화된 전달 함수를 식별하기 위해 디코딩 방법 또는 디코더에 의해 사용된다. 일 실시예에서, 이 정보는 인코딩 및 디코딩 측에서 알려진 식별자를 포함한다. 다른 실시예에 따르면, 이 정보는 파라미터화된 전달 함수의 기초로서 사용되는 파라미터를 포함한다. 본 발명의 변형에 따르면, 이 정보는 정의된 값들의 세트에 기초하여, 픽처 또는 픽처를 포함하는 비트 스트림 내의 파라미터들의 지시자를 포함한다. 본 발명의 변형에 따르면, 이 정보는 정의된 값들의 세트에 기초하여 파라미터가 명시적으로 시그널링되는지 또는 파라미터가 암시적으로 시그널링되는지 여부에 기초한 지시를 포함한다. 본 발명의 다른 변형에 따르면, 이 정보는 PPS(Picture Parameter Set), SPS(Sequence Parameter Set), SEI(Supplemental Enhancement Information) 메시지, VUI(Video Usability Information), CEA(Consumer Electronics Association) 메시지 및 헤더 중 적어도 하나에 포함된 적어도 하나의 신택스 요소에 포함된다.

본 발명은 또한 상기 인코딩 및 디코딩 방법을 각각 수행하도록 적응된 인코딩 및 디코딩 장치에 관한 것이다.

Claims

피크 입력 휘도(
)를 갖는 높은 동적 범위 입력 이미지를 더 낮은 피크 출력 휘도(
)를 갖는 더 낮은 높은 동적 범위 출력 이미지로 톤 매핑하기 위한 방법으로서 - 상기 방법은 적어도 하나의 프로세서를 포함하는 장치에 의해 수행됨 -,
상기 입력 이미지의 휘도 성분을 획득하는 단계;
hdr 대 더 낮은 hdr 톤 매퍼 곡선을 결정하는 단계;
hdr 대 hdr 톤 매퍼 곡선을 상기 입력 이미지의 상기 휘도 성분에 적용함으로써 상기 출력 이미지를 결정하는 단계
를 포함하고,
상기 hdr 대 더 낮은 hdr 톤 매퍼 곡선은 어두운 톤 레벨 및 중간 톤 레벨에 대한 제1 선형 부분 및 하이라이트에 대한 제2 비선형 부분을 포함하고,
상기 제1 선형 부분은 상기 입력 이미지의 획득된 휘도 값들의 휘도 히스토그램의 밝은 영역 내의 상기 획득된 휘도 값들의 분포의 균일성의 척도의 단조 비증가 함수(monotonically non-increasing function)인 기울기(s)를 가지며, 따라서 상기 기울기(s)는 1 이하이지만 상기 피크 출력 휘도(
)와 상기 피크 입력 휘도(
)의 비율(
) 이상인 방법.
제1항에 있어서,
상기 휘도 히스토그램의 상기 밝은 영역은 상기 입력 이미지의 휘도 범위에 위치하는 하한(
)과 상한(
) 사이에 한정되는(delineated) 것으로서 정의되며, 상기 하한(
)은 상기 피크 출력 휘도(
)와 상기 피크 입력 휘도(
)의 비율(
)에 비례하는 방법.
제1항에 있어서,
상기 톤 매퍼 곡선의 상기 제1 선형 부분과 상기 제2 비선형 부분을 분리하는 것으로서 정의되는 중간 대 높은 임계치(
)는 상기 피크 출력 휘도(
)보다 작은 방법.
제3항에 있어서,
상기 중간 대 높은 임계치(
)는 프레임 또는 이미지의 픽셀들을 (100-n)% 넘게 커버할 만큼 충분히 크며, 여기서 n은 2 이상인 방법.
제1항에 있어서,
상기 밝은 영역 내의 획득된 휘도 값들의 분포의 상기 균일성의 척도는 상기 휘도 히스토그램의 상기 밝은 영역의 빈들에 걸친 상기 입력 이미지의 픽셀들의 수의 평균값(
)과 표준 편차(
) 사이의 비율로서 결정되는 방법.
제1항에 있어서,
상기 기울기(s)와 상기 균일성의 척도 사이의 관계는 비선형적인 방법.
제6항에 있어서,
상기 기울기(s)는 다음과 같이 결정되고,

여기서,
이고, 파라미터들(
)은 파라미터(
)의 함수로서 상기 기울기(s)를 나타내는 상기 곡선의 전이 포인트들을 정의하는 방법.
제1항에 있어서,
상기 hdr 대 더 낮은 hdr 톤 매퍼 곡선을 나타내는 정보를 시그널링하는 단계를 더 포함하는 방법.
제8항에 있어서,
상기 시그널링은 PPS(Picture Parameter Set), SPS(Sequence Parameter Set), SEI(Supplemental Enhancement Information) 메시지, VUI(Video Usability Information), CEA(Consumer Electronics Association) 메시지 및 헤더 중 적어도 하나에 포함된 적어도 하나의 신택스 요소를 이용하여 수행되는 방법.
피크 입력 휘도(
)를 갖는 높은 동적 범위 입력 이미지를 더 낮은 피크 출력 휘도(
)를 갖는 더 낮은 높은 동적 범위 출력 이미지로 톤 매핑하기 위한 장치로서,
상기 입력 이미지의 휘도 성분을 획득하고;
hdr 대 더 낮은 hdr 톤 매퍼 곡선을 결정하고;
hdr 대 hdr 톤 매퍼 곡선을 상기 입력 이미지의 상기 휘도 성분에 적용함으로써 상기 출력 이미지를 결정하도록 구성되는 적어도 하나의 프로세서
를 포함하고,
상기 hdr 대 더 낮은 hdr 톤 매퍼 곡선은 어두운 톤 레벨 및 중간 톤 레벨에 대한 제1 선형 부분 및 하이라이트에 대한 제2 비선형 부분을 포함하고,
상기 제1 선형 부분은 상기 입력 이미지의 획득된 휘도 값들의 휘도 히스토그램의 밝은 영역 내의 상기 획득된 휘도 값들의 분포의 균일성의 척도의 단조 비증가 함수인 기울기(s)를 가지며, 따라서 상기 기울기(s)는 1 이하이지만 상기 피크 출력 휘도(
)와 상기 피크 입력 휘도(
)의 비율(
) 이상인 장치.
제10항에 있어서,
상기 휘도 히스토그램의 상기 밝은 영역은 상기 입력 이미지의 휘도 범위에 위치하는 하한(
)과 상한(
) 사이에 한정되는 것으로서 정의되며, 상기 하한(
)은 상기 피크 출력 휘도(
)와 상기 피크 입력 휘도(
)의 비율(
)에 비례하는 장치.
제10항에 있어서,
상기 톤 매퍼 곡선의 상기 제1 선형 부분과 상기 제2 비선형 부분을 분리하는 것으로서 정의되는 중간 대 높은 임계치(
)는 상기 피크 출력 휘도(
)보다 작은 장치.
제12항에 있어서,
상기 중간 대 높은 임계치(
)는 프레임 또는 이미지의 픽셀들을 (100-n)% 넘게 커버할 만큼 충분히 크며, 여기서 n은 2 이상인 장치.
제10항에 있어서,
상기 밝은 영역 내의 획득된 휘도 값들의 분포의 상기 균일성의 척도는 상기 휘도 히스토그램의 상기 밝은 영역의 빈들에 걸친 상기 입력 이미지의 픽셀들의 수의 평균값(
)과 표준 편차(
) 사이의 비율로서 결정되는 장치.
제10항에 있어서,
상기 기울기(s)와 상기 균일성의 척도 사이의 관계는 비선형적인 장치.
제15항에 있어서,
상기 기울기(s)는 다음과 같이 결정되고,

여기서,
이고, 파라미터들(
)은 파라미터(
)의 함수로서 상기 기울기(s)를 나타내는 상기 곡선의 전이 포인트들을 정의하는 장치.
제10항에 있어서,
상기 적어도 하나의 프로세서는 상기 hdr 대 더 낮은 hdr 톤 매퍼 곡선을 나타내는 정보를 시그널링하는 것을 포함하도록 더 구성되는 장치.
제17항에 있어서,
상기 시그널링은 PPS(Picture Parameter Set), SPS(Sequence Parameter Set), SEI(Supplemental Enhancement Information) 메시지, VUI(Video Usability Information), CEA(Consumer Electronics Association) 메시지 및 헤더 중 적어도 하나에 포함된 적어도 하나의 신택스 요소를 이용하여 수행되는 장치.
제10항의 장치를 포함하는 전자 디바이스.
제19항에 있어서,
이동 디바이스, 통신 디바이스, 게임 디바이스, 태블릿, 랩톱, 카메라, 인코딩 칩 및 서버로 구성되는 그룹으로부터 선택되는 전자 디바이스.
기록 매체 상에 기록된 컴퓨터 프로그램으로서,
상기 프로그램이 컴퓨터 상에서 실행될 때 제1항의 방법의 단계들을 실행하기 위한 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램.