KR20210021062A - 이미지 캡처 방법 및 시스템 - Google Patents

이미지 캡처 방법 및 시스템 Download PDF

Info

Publication number
KR20210021062A
KR20210021062A KR1020217001501A KR20217001501A KR20210021062A KR 20210021062 A KR20210021062 A KR 20210021062A KR 1020217001501 A KR1020217001501 A KR 1020217001501A KR 20217001501 A KR20217001501 A KR 20217001501A KR 20210021062 A KR20210021062 A KR 20210021062A
Authority
KR
South Korea
Prior art keywords
image
camera
ambient light
light level
luminance
Prior art date
Application number
KR1020217001501A
Other languages
English (en)
Other versions
KR102369148B1 (ko
Inventor
엘리자베스 지. 피에리
로빈 앳킨스
재클린 앤 파이틀라츠
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20210021062A publication Critical patent/KR20210021062A/ko
Application granted granted Critical
Publication of KR102369148B1 publication Critical patent/KR102369148B1/ko

Links

Images

Classifications

    • H04N5/2352—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H04N5/58—Control of contrast or brightness in dependence upon ambient light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G06T5/009—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6088—Colour correction or control controlled by factors external to the apparatus by viewing conditions, i.e. conditions at picture output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control
    • H04N5/2351—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

카메라와 같은 이미지 센서로 캡처된 이미지를 처리하기 위한 방법 및 시스템이 설명된다. 하나의 실시형태에서, 캡처된 이미지의 추정 주변 광 레벨이 결정되어 시청 환경에서의 추정 주변 광 레벨 하에서 이미지의 겉보기 콘트라스트를 보존하기 위해 이미지를 보정하는 데 사용되는 광학-광학 전달 함수(OOTF)를 계산하는 데 사용된다. 추정 주변 광 레벨은 카메라 캘리브레이션으로부터 도출된 카메라 특정 파라미터 및 노출 파라미터를 포함하는 함수를 사용하여 이미지 센서로부터의 픽셀 값을 스케일링함으로써 결정된다.

Description

이미지 캡처 방법 및 시스템
관련 출원에 대한 상호 참조
본원은 2018년 6월 18일 출원된 미국 가출원 제62/686,371호 및 2018년 6월 18일 출원된 유럽특허출원 제18178266.5호에 대한 우선권을 주장하며, 이들 각각은 그 전체가 참조로서 본원에 포함된다.
기술
본 발명은 일반적으로 이미지에 관한 것이다. 보다 구체적으로, 본 발명의 일 실시형태는 카메라 또는 다른 디바이스로 캡처된 이미지에 관한 것이다.
이미지 처리 동작은, 다양한 디스플레이 능력(예컨대, 타겟 디스플레이)의 하나 이상의 디스플레이 디바이스 상에 렌더링된 이미지를 디스플레이하기 위해, 카메라에 의해 캡처된 원래 장면으로부터 장면 이미지를 변환하는 데 종종 사용되는데, 이러한 동작은 타겟 디스플레이 상에 디스플레이될 때 원래 장면의 장면 이미지의 콘트라스트(contrasts) 및 색도(chromaticities)를 유지하지 못할 수 있다. 예를 들어, 사람의 시각적 인지 측면에서, 타겟 디스플레이 상에 렌더링 되는 디스플레이 이미지는, 원래 장면 그 위치(in situ)로부터 카메라가 캡처하는 것 또는 시청자가 보는 것과는 콘트라스트 및 색도가 다르게 나타날 수 있다. 돌비의 디스플레이 관리(Dolby's Display Management) 기술과 같은 정교한 이미지 처리 기술을 사용할 경우에도 그러하다.
본원에서 사용될 때, "디스플레이 관리" 또는 "디스플레이 매핑"이라는 용어는, 제1 다이나믹 레인지(예컨대, 1000 니트(nits))의 입력 비디오 신호의 이미지 또는 화상을, 제한된 색 영역을 가질 수 있는 타겟 디스플레이에 의한 제2 다이나믹 레인지(예컨대, 500 니트)의 디스플레이에 매핑하는 데 필요한 처리(예컨대, 색조(tone) 및 색 영역 매핑)를 의미한다. 디스플레이 관리 프로세스의 예시는, "하이 다이나믹 레인지 이미지에 대한 디스플레이 관리(Display management for high dynamic range images)"라는 발명의 명칭으로 2016년 1월 14일 출원된 PCT 특허출원 제PCT/US2016/013352호('352 출원이라 함)에서 찾을 수 있으며, 상기 출원은 그 전체가 참조로서 본원에 포함된다.
전형적인 콘텐츠 생성 파이프라인에서, 비디오는 5 니트의 주변 환경에서 컬러 그레이딩 처리된다(color graded). 실제로, 시청자는 다양한 주변 환경에서, 예를 들어 5 니트(예컨대, 어두운 홈 시어터에서의 영화 관람), 100-150 니트(예컨대, 상대적으로 밝은 거실에서의 영화 관람), 또는 보다 높은 니트(예컨대, 매우 밝은 실내 또는 실외, 일광에서 태블릿 상에서 영화 관람)에서 콘텐츠를 디스플레이할 수 있다.
이 섹션에서 설명되는 접근 방식은, 추구될 수 있는 접근 방식이지만 반드시 이전에 구상해 왔거나 추구되어 왔던 접근 방식은 아니다. 따라서, 달리 명시되지 않는 한, 이 섹션에서 설명되는 접근 방식 중 어느 것이라도 이 섹션에 포함된다는 이유만으로 선행 기술로서의 자격이 있다고 가정해서는 안된다. 유사하게, 하나 이상의 접근 방식과 관련하여 식별되는 문제는, 달리 명시되지 않는 한, 이 섹션을 기반으로 하여 임의의 선행 기술에서 인식되었다고 가정해서는 안된다.
본 발명은 제한이 아닌 예시로서, 유사한 참조부호는 유사한 요소를 나타내는 첨부 도면의 도면에서 예시된다.
도 1은, 본 발명의 하나 이상의 실시형태의 일례를 흐름도 형태로 나타낸다.
도 2는, 본 발명의 하나 이상의 실시형태에서 사용될 수 있는 보정 곡선 또는 함수의 일 실시형태를 나타낸다.
도 3은, 본 발명의 하나 이상의 실시형태와 함께 사용될 수 있는 일 세트의 동작을 갖는 시스템의 일례를 나타낸다.
도 4는, 본 발명의 하나 이상의 실시형태를 수행하거나 구현하는 데 사용될 수 있는 데이터 처리 시스템의 일례를 나타낸다.
이하에서 논의되는 세부 사항을 참조하여 다양한 실시형태 및 양태가 설명되며, 첨부 도면은 다양한 실시형태를 예시할 것이다. 다음의 설명 및 도면은 예시적인 것으로서, 제한하는 것으로 해석되어서는 안된다. 다양한 실시형태에 대한 완전한 이해를 제공하기 위해 많은 구체적인 세부 사항이 설명된다. 그러나, 어떤 경우에는, 실시형태에 대한 간결한 논의를 제공하기 위해 잘 알려졌거나 통상적인 세부 사항은 설명되지 않는다.
명세서에서 "하나의 실시형태" 또는 "일 실시형태"에 대한 참조는, 해당 실시형태와 관련하여 설명된 특정 특징, 구조 또는 특성이 적어도 하나의 실시형태에 포함될 수 있음을 의미한다. 명세서 중의 여러 위치에서 "하나의 실시형태에서"라는 문구의 출현은 반드시 모두 동일한 실시형태를 지칭하는 것은 아니다. 뒤따르는 도면에서 묘사되는 프로세스는 하드웨어(예컨대, 회로, 전용 로직 등), 소프트웨어, 또는 이 둘의 조합을 포함하는 처리 로직에 의해 수행된다. 프로세스는, 일부 순차적 동작들의 관점에서 아래 설명되지만, 설명된 동작들 중 일부는 상이한 순서로 수행될 수 있음을 이해해야 한다. 또한 일부 동작들은, 순차적이 아니라 병렬로 수행될 수 있다.
본원에서 설명되는 실시형태는, 카메라 또는 스마트폰 또는 카메라를 포함하는 다른 디바이스와 같은 디바이스에 의해 캡처된 콘텐츠로부터 보기 좋은 하이 다이나믹 레인지 및 스탠다드 다이나믹 레인지 이미지 및 비디오를 일관되게 얻는 데 사용될 수 있다. 실시형태는, 이미지가 캡처된 디바이스의 특성 및 노출에 관한 정보를 사용하여, 이미지의 장면에서의 절대 밝기 레벨을 결정할 수 있으며, 이는 이어서 이미지의 주변 조건을 예측하는 데 사용될 수 있다. 이 정보를 밝기 및 색상에 대한 인간 인지에 관한 지식과 결합하여, 캡처된 이미지는, 원래 장면의 주변 환경과는 상이할 수 있는 시청 환경에서 이미지를 디스플레이 하면서 장면의 원래 환경에서의 장면의 모습을 가장 잘 보존하는 방식으로 다양한 디스플레이에 매핑될 수 있다.
장면 이미지에 의해 캡처되었을 때, 원래 장면에서 시청자 그 위치(in situ)에 대한 원래 장면의 시각적 외관(visual appearance)을, 장면-참조 시각적 외관이라 칭할 수 있다. 디스플레이 디바이스 상에서 렌더링 되었을 때, 장면 이미지로부터 도출/변환된 디스플레이 이미지의 시각적 외관을, 디스플레이-참조 시각적 외관이라 칭할 수 있다.
본원에서 사용될 때, 용어 "시각적 외관"은 시각적으로 인지할 수 있는 콘트라스트 및 시각적으로 인지할 수 있는 색도(색조 및 채도)의 조합을 말하거나; 또는 시각적으로 인지할 수 있는 콘트라스트 및 시각적으로 인지할 수 있는 색조의 조합을 말한다.
원래 장면의 디스플레이-참조 시각적 외관이 충실하게(예컨대, 완벽하게, 지각적으로, 인간이 알아챌 수 있는 임계값 미만으로, 상대적으로 작은 에러 내에서 등) 원래 장면의 장면-참조 시각적 외관을 재현하는 것을 보장하도록 본원에 설명된 기술을 적용할 수 있다. 일부 실시형태에서, 원래 장면의 장면-참조 시각적 외관은, 원래 장면으로부터 만족스러운 장면 이미지를 생성하려는 의도로 선택된 특정 카메라 설정 및 특정 카메라 이미지 신호 처리(카메라 ISP)에 의한 원래 장면의 시각적 외관을 참조할 수 있음에 유의해야 한다.
본원에 설명된 기술에 따라 생성 및 렌더링된 디스플레이 이미지는 시청자(예컨대, 사람 등)가 원래 장면 또는 시청자가 지정한 선호도의 요소를 갖는 원래 장면과 동일한 시각적 외관을 인식하도록 허용한다. 시청자는, 원래 장면의 장면-참조 시각적 외관의 관점에서, 시청자(또는 가상의 시청자)가 원래 장면에서 그 위치에서 보는 것을 디스플레이 이미지로부터 볼 수 있다.
하나의 실시형태에 따른 방법은, 다음의 동작들을 포함할 수 있다: 카메라를 통해 이미지를 캡처하는 단계 - 상기 캡처된 이미지는 상기 이미지 내의 픽셀을 나타내는 제1 복수의 이미지 데이터를 포함함 -; 상기 제1 복수의 이미지 데이터에 기초하여 상기 캡처된 이미지의 추정 주변 광 레벨(estimated ambient light level)을 결정하는 단계 - 상기 추정 주변 광 레벨은, 하나 이상의 절대 장면 광 레벨(absolute scene light level)을 획득하기 위해 (상기 이미지가 캡처되었을 때 상기 카메라에서 사용되는) 노출 파라미터 및 카메라 특정 파라미터를 포함하는 함수를 사용하여 상기 카메라의 센서로부터의 픽셀 값을 스케일링함으로써 결정되고, 상기 노출 파라미터는 애퍼처(aperture) 설정, 노출 시간 설정 및 센서 감도 설정을 포함하고, 상기 카메라 특정 파라미터는 카메라 캘리브레이션으로부터 도출됨 -; 상기 추정 주변 광 레벨에 기초하여 광학-광학 전달 함수(optical-optical transfer function, OOTF)를 계산하는 단계; 및 상기 OOTF를 사용하여 상기 제1 복수의 이미지 데이터로부터 도출되는 이미지 데이터를 보정함으로써 상기 제1 복수의 이미지 데이터로부터 도출되는 상기 이미지 데이터를 변환하는 단계 - 상기 변환하는 단계는 시청 환경에서 상기 이미지가 디스플레이될 때, 상기 시청 환경에서의 상기 추정 주변 광 레벨 하에서 상기 이미지의 겉보기 콘트라스트를 보존하도록 구성됨 - . 하나의 실시형태에서, 상기 광학-광학 전달 함수는 상이한 주변 광 조건에서인간의 지각을 보상할 수 있음으로써 상기 이미지가 캡처된 장면 환경으로부터 상기 이미지의 외관을 보존할 수 있다. 하나의 실시형태에서, 방법은, 상기 캡처된 이미지로부터 상이한 타겟 디스플레이에 걸쳐 실질적으로 동일한 외관을 얻기 위해 복수의 상이한 타겟 디스플레이에 걸쳐 디스플레이 관리를 제공하도록 적응될 수 있다. 하나의 실시형태에서, 상기 방법은 타겟 디스플레이에 대해 구성되는 색조(tone) 매핑 함수를 통해 상기 제1 복수의 이미지 데이터로부터 도출되는 이미지 데이터를 매핑하여 상기 타겟 디스플레이 상의 디스플레이를 위한 상기 이미지를 매핑하는 단계 - 상기 색조 매핑 함수는 상기 타겟 디스플레이의 상기 색 영역(gamut) 및 휘도 파라미터에 기초하여 구성됨 - 를 더 포함한다. 하나의 실시형태에서, 상기 변환하는 단계는 상기 색조 매핑 함수가 상기 변환하는 단계로부터 도출되는 데이터에 대해 동작하도록 상기 색조 매핑 함수를 통한 상기 매핑 이전에 상기 제1 복수의 이미지 데이터로부터 도출되는 상기 이미지 데이터를 보정할 수 있다. 하나의 실시형태에서, 상기 색조 매핑 함수는 상기 타겟 디스플레이의 상기 색 영역 및 휘도 파라미터와 매칭하도록 상기 이미지의 다이나믹 레인지를 압축할 수 있다. 하나의 실시형태에서, 상기 변환하는 단계 및 상기 매핑하는 단계는 상기 OOTF를 포함하는 상기 색조 매핑 함수에 의해 동시에 수행될 수 있다.
하나의 실시형태에서, 상기 추정 주변 광 레벨은 상기 이미지의 이미지 데이터와 함께 메타데이터로서 저장되고, 상기 색조 매핑은 절대 장면 광 레벨로 스케일링된 픽셀 값에 대해 수행된다. 하나의 실시형태에서, 상기 카메라 특정 파라미터는 상기 카메라 캘리브레이션 동작으로부터 경험적으로 도출되는 상수 값일 수 있다. 하나의 실시형태에서, 상기 카메라 캘리브레이션 동작은: 상이한 노출 파라미터 설정(예컨대, 가능한 모든 상이한 노출 파라미터 설정 또는 모든 그러한 설정의 서브세트)에서 테스트 타겟의 이미지를 캡처하는 단계와, (카메라의 위치에서) 상기 테스트 타겟의 상기 휘도를 측정하는 단계와, 상기 카메라 특정 파라미터 및 상기 노출 파라미터를 포함하는 함수를 최적 피팅하는 상기 상수 값의 값을 구하는 단계를 포함할 수 있다. 하나의 실시형태에서, 상기 카메라 특정 파라미터는 상기 카메라의 상기 카메라 캘리브레이션으로부터 도출되고 그후 캘리브레이션된 상기 카메라와 동일한 센서 설계를 가지는 유사한 카메라에서의 사용을 위해 저장된다.
하나의 실시형태에서, 상기 추정 주변 광 레벨은: 상기 이미지에서의 모든 픽셀(또는 모든 픽셀의 서브샘플링된 세트)의 휘도 값의 중앙값(median) 또는 평균(mean); (얼굴 또는 상기 이미지의 다른 두드러진 부분과 같은) 상기 이미지의 일부의 휘도 값의 중앙값 또는 평균; 상기 이미지에서의 최대 휘도 값과 상기 이미지에서의 최소 휘도 값 사이의 휘도 값의 선택된 범위에서 휘도 값의 중앙값 또는 평균; 상기 이미지에서의 최대 휘도 값; 주변 광 센서 판독; 노출 센서 판독; 노출 최적화 전용 픽셀로부터의 데이터; 또는 수동 사용자 입력 중 하나로부터 도출될 수 있다.
하나의 실시형태에서, 상기 OOTF는 상기 시청 환경의 미리 결정된 또는 동적으로 측정되는 주변 광과 상기 추정 주변 광 사이의 차이에 기초하여 상기 이미지 데이터를 보정하고, 상기 OOTF는 상기 카메라가 자동 노출 모드로 설정되었을 때는 상기 이미지 데이터를 보정하지만, 상기 카메라가 수동 노출 조정으로 설정되었을 때는 상기 타겟 시청 환경에서의 상기 타겟 디스플레이 상에 상기 OOTF 보정없이 상기 이미지가 디스플레이 된다. 하나의 실시형태에서, 상기 수동 노출 조정은: 이미지가 캡처되었을 때 사용자에 의해 설정되는 노출 부족 또는 노출 과다 설정과 같은 수동으로 선택된 노출 보상 설정 또는 수동 노출 설정 중 하나일 수 있다. 하나의 실시형태에서, 상기 시청 환경의 상기 미리 결정된 주변 광은 5 니트일 수 있다. 하나의 실시형태에서, 상기 시청 환경의 상기 동적으로 측정되는 주변 광은, 상기 OOTF가 상기 주변 광 센서의 상기 출력에 의해 동적으로 제어되도록 상기 타겟 디스플레이 내로 통합되는 주변 광 센서에 의해 측정될 수 있다.
하나의 실시형태에서, 상기 OOTF는 상기 카메라가 자동 노출 모드로 사용되었을 때는 상기 이미지 데이터를 보정하지만, 상기 카메라가 수동 노출 조정으로 설정되었을 때는 상기 시청 환경에서의 상기 타겟 디스플레이 상에 상기 OOTF 보정없이 상기 이미지가 디스플레이 된다. 하나의 실시형태에서, 상기 카메라는 스마트폰 내로 통합된 카메라; 태블릿 컴퓨터 내로 통합된 카메라; 일안 리플렉스(single lens reflex) 카메라; 미러리스 카메라; 또는 상기 센서, 저장 디바이스 및 상기 센서 및 상기 저장 디바이스에 결합된(coupled) 제어 시스템 상의 상기 이미지에 초점을 맞추는 렌즈를 포함하는 디바이스 중 하나일 수 있다.
하나의 실시형태에서, 상기 방법은, 상기 절대 광 레벨을 사용하여 상기 이미지의 백색 점(white point)을 추정하는 단계, 및 상기 이미지를 기준 순응(reference adapting) 백색 점으로 변환하기 위해 색 순응(chromatic adapting) 변환을 적용하는 단계를 더 포함할 수 있다.
하나의 실시형태에서, 상기 OOTF는 상기 추정 주변 광 레벨이 상기 시청 환경의 상기 휘도보다 높은 휘도를 가질 때 상대적으로 어두운 영역에서의 콘트라스트를 감소시키기 위해 상기 이미지의 상기 상대적으로 어두운 영역에서의 이미지 데이터를 조정함으로써 상기 겉보기 콘트라스트를 보존하고, 상기 OOTF는 상기 추정 주변 광 레벨이 상기 시청 환경의 상기 휘도보다 낮은 휘도를 가질 때 상기 이미지의 상대적으로 어두운 영역에서의 콘트라스트를 증가시키기 위해 상기 이미지의 상기 상대적으로 어두운 영역에서의 이미지 데이터를 조정함으로써 상기 겉보기 콘트라스트를 보존한다.
하나의 실시형태에서, 상기 메타데이터는 상기 이미지에서의 플레어(flare)를 보상하기 위해 사용될 수 있으며, 상기 플레어 보상은 상기 추정 주변 광 레벨을 나타내는 값의 함수이다. 이 실시형태에서, 상기 메타데이터는 본원에 설명된 바와 같이 도출되어진 절대 장면 광 레벨에 관한 메타데이터를 포함할 수 있다.
하나의 실시형태에서, 상기 색조 매핑 함수는 상기 이미지의 하나 이상의 영역에서의 로컬 색조 매핑을 포함할 수 있고, 상기 로컬 색조 매핑은 상기 캡처된 이미지로부터 스탠다드 다이나믹 레인지(standard dynamic range) 이미지를 생성하기 위해 매핑 중에 사용될 수 있다. 하나의 실시형태에서, 상기 메타데이터는 인버스 매핑을 통해 하이 다이나믹 레인지(high dynamic range) 이미지를 재구성하는 데 사용하기 위해 상기 스탠다드 다이나믹 레인지 이미지와 함께 저장될 수 있다. 하나의 실시형태에서, 상기 메타데이터는 상기 스탠다드 다이나믹 레인지 이미지로부터 상기 하이 다이나믹 레인지 이미지로의 인버스 매핑을 위한 다변수 다중 회귀(multivariate multiple regression, MMR) 계수를 계산하는 데 사용될 수 있다.
여기서 설명된 실시형태는, 처리 시스템에서 하나 이상의 프로세서를 포함하고 또한 메모리를 포함하며, 여기서 설명된 방법들 중 어느 하나를 수행하도록 구성되는 장치에서 사용될 수 있다. 또한 여기서 설명된 실시형태는, 기계에 의해 실행될 때 상기 기계가 여기서 설명된 방법들 중 어느 하나를 수행하도록 하는 실행가능한 컴퓨터 프로그램 명령을 저장하는 비일시적 기계 판독가능 스토리지를 사용하여 구현될 수 있다.
도 1은 본 발명의 하나의 실시형태에 따른 방법의 일례를 나타낸다. 동작 "10"에서, 디바이스는 캡처된 이미지 및 이미지를 캡처하는 데 사용된 노출 파라미터를 저장할 수 있다. 하나의 실시형태에서, 디바이스는 카메라일 수 있고 노출 파라미터는 애퍼처(aperture) 설정, 노출 시간 설정 및 센서의 감도 설정을 포함할 수 있다. 하나의 실시형태에서, 캡처된 이미지는 특정 카메라에 대한 카메라 캘리브레이션 동작으로부터 도출되는 특정 카메라 파라미터 값과 연관될 수 있다. 카메라 캘리브레이션 동작의 일례가 아래 설명되어 있다. 캡처된 이미지를 처리하는 데 사용하기 위해 카메라 특정 파라미터 값이 검색될 수 있다. 동작 "12"에서, 디바이스는, 이미지가 캡처될 때 사용되는 노출 파라미터 뿐만 아니라 카메라 특정 파라미터 값을 사용하여 절대 장면 광 값을 생성하도록 캡처된 이미지 내의 픽셀 값을 스케일링할 수 있다. 픽셀 값의 스케일링은 각 픽셀에 대한 절대 장면 광 레벨 값을 도출하도록 각 픽셀의 휘도 채널을 사용하여 수행될 수 있으며, 이는 이후 동작에서 장면의 주변 광 레벨을 추정하는 데 사용될 수 있다. 하나의 실시형태에서, 이미지 내의 각 픽셀의 휘도 채널로부터 절대 장면 레벨을 도출하기 위해 다음의 스케일링 식이 사용될 수 있다.
Figure pct00001
여기서 상대 카메라 노출(Relative Camera Exposure)은 이미지 센서의 RGB 출력으로부터 도출된 픽셀 당 노출 값을 나타낼 수 있으며, 애퍼처(Aperture)는 이미지의 애퍼처 설정(예컨대, f/4)이고, 노출 시간(Exposure Time)은 이미지의 노출 시간 설정(예컨대, 1/60 초)이고, ISO는 이미지의 센서 감도 설정(예컨대, ISO=100)이고, k는 본원에서 설명된 카메라 캘리브레이션으로부터 도출되는 카메라 특정 파라미터이다.
동작 "14"에서, 이어서 방법은 스케일링된 픽셀 값에 기초하는 캡처된 이미지의 추정 주변 광 레벨을 결정할 수 있다. 하나의 실시형태에서, 추정 주변 광 레벨은 이미지 내의 모든 픽셀 값의 중앙값 또는 평균으로부터 도출되거나 결정될 수 있다. 다른 실시형태에서, 추정 주변 광 레벨은 이미지의 두드러진(salient) 부분의 중앙값 또는 평균으로부터 결정될 수 있다. 하나의 실시형태에서, 추정 주변 광 레벨은 이미지 내의 픽셀의 최대 값으로부터 결정될 수 있다. 하나의 실시형태에서, 추정 주변 광 레벨은 이미지에서의 최대 휘도 값과 이미지에서의 최소 휘도 값 사이의 휘도 값의 선택된 범위에서 휘도 값의 중앙값 또는 평균으로부터 결정될 수 있다. 하나의 실시형태에서, 캡처된 이미지의 추정 주변 광 레벨은 디바이스 상의 주변 광 센서 판독 또는 노출 센서 판독으로부터 또는 수동의 사용자 입력으로부터 결정될 수 있다.
동작 "16"에서, 방법은, 후속 처리 단계에서의 이미지의 추가 처리에 사용될 수 있는 메타데이터로서 추정 주변 광 레벨을 저장할 수 있다. 선택적으로 메타데이터는, 이미지를 캡처하는 데 사용된 카메라와 같은 캡처 디바이스 또는 소스에 관한 메타데이터 및 타겟 디스플레이에 관한 메타데이터뿐만 아니라 이미지에 관한 다른 메타데이터와 함께 저장될 수 있다. 동작 "18"에서, 이어서 디바이스는, 타겟 디스플레이의 시청 환경에 관한 메타데이터 및 추정 주변 광 레벨을 사용하여 광학-광학 전달 함수(optical-optical transfer function, OOTF)와 같은 보정 곡선을 계산할 수 있다. 하나의 실시형태에서, OOTF는, 이미지가 시청 환경에서 디스플레이 될 때 시청 환경에 있는 동안 추정 주변 광 레벨 하에서 이미지의 겉보기 콘트라스트를 보존하도록 구성될 수 있다. 예를 들어, OOTF는, 추정 주변 광 레벨이 시청 환경의 휘도보다 높은 휘도를 가질 때 상대적으로 어두운 영역에서의 콘트라스트를 감소시키기 위해 이미지의 상대적으로 어두운 영역에서의 이미지 데이터를 조정함으로써 겉보기 콘트라스트를 유지할 수 있고; 반대로, OOTF는, 추정 주변 광 레벨이 시청 환경의 휘도보다 낮은 휘도를 가질 때 이미지의 상대적으로 어두운 영역에서의 콘트라스트를 증가시키기 위해 이미지의 상대적으로 어두운 영역에서의 이미지 데이터를 조정함으로써 겉보기 콘트라스트를 유지할 수 있다. 하나의 실시형태에서, 시청 환경에 관한 메타데이터는 5 니트의 기준 레벨과 같은 시청 환경의 미리 결정된 값일 수 있다. 다른 실시형태에서, 메타데이터는 시청 환경에서 디스플레이 디바이스의 시청 환경의 주변 광을 동적으로 측정하는 주변 광 센서로부터 도출될 수 있으며; 환언하면, 주변 광 센서는 타겟 디스플레이에 부착되거나 그 근처에 부착된 주변 광 센서일 수 있으며, 그 주변 광 센서는 사용자가 타겟 디스플레이를 사용하여 타겟 디스플레이 상에서 이미지를 보는 동안 시청 환경의 주변 광을 측정할 수 있다. 또한 타겟 디스플레이에 관한 메타데이터는, 타겟 디스플레이가 타겟 디스플레이 디바이스 상에 표시할 수 있는 최대 및 최소 휘도 값과 같은 타겟 디스플레이의 휘도 파라미터 및 타겟 디스플레이의 색 영역에 관한 정보를 포함할 수 있다.
동작 "20"에서, 디바이스는, 본원에서 설명되는 OOTF와 같은 보정 곡선을 사용하여 절대 장면 광 값에서 픽셀 값으로 표현될 수 있는 이미지 데이터를 보정할 수 있다. 하나의 실시형태에서, 동작 "20"은, 이미지가 캡처되었을 때 사용자가 카메라에서 수동 노출 보상을 선택했는지 여부에 의존할 수 있다. 예를 들어, 하나의 실시형태에서 이미지 데이터는, 이미지가 캡처되었을 때 사용자에 의해 선택된 노출 부족 또는 노출 과다 수동 보상 설정과 같은 수동 노출 보상을 사용자가 선택했을 때, 본원에서 설명되는 OOTF에 의해 보정되지 않을 수 있다. 다수의 카메라는 사용자가 이미지를 노출 부족 또는 노출 과다로 하도록 카메라를 수동으로 설정하도록 허용하는 컨트롤(예컨대, 노브(knobs) 등)을 포함하며, 또한 다수의 카메라는 사용자가 애퍼쳐, 노출 시간 및 ISO(센서 감도)를 수동으로 설정하도록 허용함으로써 사용자가 노출을 수동으로 설정하도록 허용한다. 또한, 사용자가 카메라의 자동 노출 모드를 사용하지 않는 노출 설정과 같은 수동 노출 설정을 사용하여 카메라를 설정했을 때의 실시형태들에서 보정은 스킵될 수도 있다. 디바이스에서 동작 "20"이 사용되는 경우(예컨대, 수동 보상없이 자동 노출이 사용된 경우), 하나 이상의 실시형태에서 본원에서 설명된 바와 같이 콘트라스트를 보존하기 위해 이미지를 보정할 것이다.
동작 "22"는 동작 "20"을 뒤따를 수 있으며, 기준 디스플레이보다 낮은 다이내믹 레인지를 가질 수 있는 타겟 디스플레이 상에 디스플레이 되기에 적합하도록 이미지의 다이내믹 레인지를 압축할 수 있는 색조 매핑 함수(tone mapping function)의 사용을 포함할 수 있다. 색조 매핑 함수는 휘도 값을 매핑할 수 있으며 다른 함수들은 다양한 상이한 타겟 디스플레이에 대해 디스플레이 관리를 위한 기술을 제공하는 돌비 비전(Dolby Vision)과 연관된 기술과 같이 당업계에 알려진 기술을 사용하여 타겟 디스플레이 디바이스 상에서 채도 및 색조(hue)를 보존하기 위해 컬러 채널 값을 조정할 수도 있다. 하나의 실시형태에서 동작 "20 및 22"는, 이미지 데이터를 동시에 보정하고 이미지 데이터를 색조 매핑하는 동작에 의해 함께 수행될 수 있다.
이어서 동작 "20 및 22"으로부터의 결과적인 이미지는 하나의 실시형태에서 시청 환경에서의 타겟 디스플레이 상에 디스플레이될 수 있으며; 이는 도 1에서 동작 "24"로서 도시된다.
도 2는 하나의 실시형태에서 하나 이상의 광학-광학 전달 함수로 구현될 수 있는 보정 곡선의 예시를 보여준다. 본원에서 설명되는 광학-광학 전달 함수(OOTF)는 원래 장면으로부터 캡처된 장면 이미지에서 나타내어지는, 원래 장면의 장면 광 레벨을 매핑된 광 레벨로 변환하기 위해 적용될 수 있다. 매핑된 광 레벨은 하나 이상의 디스플레이 디바이스에 의해 렌더링 될 디스플레이 이미지에서의 디스플레이 광 레벨을 나타내거나, 또는 추가로 매핑되어 생성하기 위해 사용될 수 있다. OOTF의 예시는 본원에 참조로서 포함되어 있는 Recommendation ITU-R BT.2100-0(2016년 7월)에서 찾을 수 있다. 도 2에 도시된 곡선은 OOTF들로 구현될 수 있는 상이한 유형의 보정의 예시들을 의미하며; 도 2에 도시된 것과 상이한 형상을 가지는 다른 곡선이 본원에서 설명되는 방법 및 시스템에서 이미지를 보정하는 데 대안적으로 사용될 수 있다. 그래프(50)는 입력 값을 나타내는 X축(52) 및 함수에 제공된 입력 값에 기초하여 OOTF 함수로부터 도출되는 출력 값을 나타내는 Y축(54)을 도시한다. 곡선(56)은 이미지 데이터를 보정하지 않는 보정 곡선의 일례를 도시하며; 환언하면, 입력 값은 가능한 모든 입력 값에 대한 출력 값과 같을 것이다. 하나의 실시형태에서, 보정 곡선(56)은 OOTF가 이미지 데이터를 보정하는 기준 보정 곡선으로 간주될 수 있다. 하나의 실시형태에서, 기준 보정 곡선(56)은 그래프(50)에서 45°로 기울어진 직선과 상이할 수 있다. 보정 곡선(58 및 59)은 (원래 장면의) 주변 광 레벨이 시청 환경의 광 레벨보다 클 때, 하나의 실시형태에서 사용될 수 있는 보정 곡선의 두 가지 예시를 도시한다. 이러한 보정 곡선(58 및 59)의 예시에서, 이러한 곡선은 추정 주변 광 레벨이 시청 환경의 휘도보다 높은 휘도를 가질 때 상대적으로 어두운 영역에서의 콘트라스트를 감소시키기 위해 이미지의 상대적으로 어두운 영역에서의 이미지 데이터를 조정함으로써 원래 장면의 겉보기 콘트라스트를 보존한다. 보정 곡선(60)은 주변 광 레벨이 시청 환경의 광 레벨보다 작을 때 사용될 수 있는 다른 보정 곡선이다. 보정 곡선(60)은 추정 주변 광 레벨이 시청 환경의 휘도보다 낮은 휘도를 가질 때 이미지의 상대적으로 어두운 영역에서의 콘트라스트를 증가시키기 위해 이미지의 상대적으로 어두운 영역에서의 이미지 데이터를 조정함으로써 겉보기 콘트라스트를 보존할 수 있는 보정의 일례이다. 하나의 실시형태에서, 시청 환경의 광 레벨은 5 니트와 같은 미리 결정된 값으로 설정될 수 있다. 다른 실시형태에서, 시청 환경의 광 레벨은 타겟 디스플레이 내로 통합된 주변 광 센서와 같은 주변 광 센서로부터 동적으로 결정될 수 있다. 예를 들어, 스마트폰은 타겟 디스플레이를 가질 수 있고 또한 시청 환경의 주변 광을 동적으로 측정하는 데 사용될 수 있는 적어도 하나의 주변 광 센서를 가질 수 있으며, 이는 차례로 본원에 설명되는 하나 이상의 방법에 따라 OOTF 함수의 사용을 제어할 수 있다. 보정 곡선(56)과 같은 기준 보정 곡선이 도 2에 도시된 직선과 다르다면, 다른 보정 곡선의 형상은 도 2에 도시된 것과 다르게 보일 수 있음이 이해될 것이다. 하나의 실시형태에서, 보정 곡선에 대한 입력은 도 1의 동작 "12"에서의 스케일링 동작과 같은 스케일링 동작에 기초하여 생성된 절대 장면 값일 수 있다.
이제 도 3을 참조하면서 일 실시형태에 따른 일 세트의 처리 동작의 일례를 설명한다. 도 3에 도시된 블록은, 카메라 또는 카메라를 포함하는 다른 디바이스 또는 카메라로부터 데이터를 수신하지만 그 자체가 카메라가 아닌 다른 디바이스에 포함될 수 있는 데이터 처리 시스템에서 수행될 수 있는 처리 동작을 나타낼 수 있다. 도 3에 도시된 블록은, 특수 목적 하드웨어에서 처리되거나 카메라로부터 데이터를 수신하도록 결합되거나 시스템의 일부로서 카메라를 포함하는 범용 프로세서 상에서 실행되는 소프트웨어에 의해 처리될 수 있다. 시스템이 카메라(301)로부터 데이터를 수신하면 동작이 개시될 수 있다. 하나의 실시형태에서, 카메라(301)로부터의 데이터는 이미지의 애퍼처 설정, 이미지의 노출 시간 및 이미지의 센서 감도 레벨과 같은 노출 메타데이터(303)를 지정할 수 있는 텍스트 파일의 텍스트 데이터를 포함할 수 있다. 카메라(301)로부터의 데이터는 또한, 당업계에 공지된 RAW 이미지 데이터일 수 있는 이미지 데이터(305)를 포함한다. 하나의 실시형태에서, 이미지 데이터(305)는 이미지에 대한 추가 동작 이전에 이미지를 처리하기 위해 디베이어링(debayering) 처리 및 당업계에 알려진 다른 처리 동작과 같은 처리 동작을 수행할 수 있는 이미지 신호 처리(307)에 의해 처리될 수 있다. 하나의 실시형태에서, 노출 메타데이터(303)는 이미지 신호 처리(307)에서의 처리 동작에 대한 입력으로서 사용될 수 있다. 이미지 신호 처리(307)로부터의 출력은 하나의 실시형태에서 선형 RGB 픽셀 값(309)을 스케일러(311)에 제공할 수 있다. 하나의 실시형태에서, 스케일러(311)는 노출 메타데이터(303) 및 소스 디바이스 데이터(312)를 수신하여 픽셀 값을 절대 픽셀 값으로 스케일링할 수 있다. 하나의 실시형태에서, 스케일러(311)는 선형 RGB 픽셀 값(309)을 절대 RGB 픽셀 값(314)으로 스케일링하기 위해 다음의 식을 사용할 수 있다:
Figure pct00002
여기서 상대 카메라 노출(Relative Camera Exposure)은 이미지 센서의 RGB 출력으로부터 도출된 픽셀 당 노출 값을 나타낼 수 있으며, 애퍼처(Aperture)는 이미지의 애퍼처 설정(예컨대, f/4)이고, 노출 시간(Exposure Time)은 이미지의 노출 시간 설정(예컨대, 1/60 초)이고, ISO는 이미지의 센서 감도 설정(예컨대, ISO=100)이고, k는 본원에서 설명된 카메라 캘리브레이션으로부터 도출되는 카메라 특정 파라미터이다.
식의 출력은, 각 픽셀에 대해, 해당 픽셀에 대한 절대 장면 광 레벨을 나타내는 절대 픽셀 값을 제공한다. 이어서 절대 RGB 픽셀 값(314)의 출력은 아래에서 더 설명되는 바와 같이 추가 처리를 위해 주변 광 분석기(315)에 제공될 수 있다. 스케일러(311)에 대한 다른 입력은 카메라 캘리브레이션에 기초한 상수 값(예컨대, k)을 포함하는 소스 디바이스 데이터(312)이다. 하나의 실시형태에서, 카메라 제조업체로부터의 대표적인 카메라 또는 스마트폰 제조업체로부터의 대표적인 스마트폰이 상수 값(카메라 특정 파라미터)을 도출하도록 일련의 하나 이상의 캘리브레이션 동작에서 사용될 수 있고, 이는 이어서 해당 특정 디바이스에 대해 해당 카메라에 의해 획득된 이미지를 처리하는데 있어서의 사용을 위해 저장될 수 있다. 하나의 실시형태에서, 카메라의 센서 설계가 변경되지 않는 한 상수 값은, 해당 카메라(예컨대, 특정 카메라 또는 스마트폰 모델)에 대해 유효한 상태로 유지될 수 있으며, 도 3 또는 도 1에 도시되거나 이 설명에서 달리 설명된 동작을 제공하도록 해당 카메라와 함께 사용하기 위해 배포될 수 있는 소프트웨어를 처리하는 데 사용될 수 있다. 하나의 실시형태에서, 카메라 캘리브레이션 동작은 상이한 노출 파라미터 설정에서 테스트 타겟의 하나 이상의 이미지를 캡처하는 단계와, 카메라의 위치에서 테스트 타겟의 휘도를 측정하는 단계와, 이어서 카메라 특정 파라미터 및 노출 파라미터를 포함하는 위에 나타낸 함수 또는 식에 최적 피팅하는 상수 값의 값을 구하는 단계를 포함할 수 있다. 카메라 특정 파라미터는 대표적인 카메라로부터 도출될 수 있고 이어서 대표적인 카메라 또는 디바이스와 동일한 센서 설계를 가지는 유사한 카메라에서 사용하기 위해 저장될 수 있다. 이 예시에서, (카메라의 위치에서) 테스트 타겟의 휘도 및 노출 파라미터 설정이 알려져 있고 따라서 상수 값 또는 카메라 특정 파라미터가 구해질 수 있기 때문에, 카메라 특정 값 또는 상수 K는 식에서 알려지지 않은 유일한 값이다. 하나의 실시형태에서, 다수의 이미지가 상이한 노출 파라미터 설정 및 상이한 광 강도에서 획득되고, 이에 의해 상수 값에 대한 최적 피팅을 도출하는 데 사용될 수 있는 값들의 어레이를 제공한다.
주변 광 분석기(315)는 절대 RGB 픽셀 값(314)을 수신하고 본원에서 설명된 바와 같이 절대 RGB 픽셀 값(314)에 기초하여 주변 광 레벨 또는 추정 주변 광 레벨을 계산한다. 예를 들어, 주변 광 분석기(315)는 모든 절대 RGB 픽셀 값(314)의 휘도 값의 평균 또는 중앙값을 계산할 수 있다. 그 평균 또는 중앙값은 (절대 광 레벨에서) 장면의 추정 주변 광 레벨을 나타낼 수 있으며 도 2와 연관하여 전술한 바와 같이 광학-광학 전달 함수에 대한 보정 곡선을 선택하는 데 사용될 수 있다. 하나의 실시형태에서, 주변 광 분석기(315)는 또한, 타겟 디스플레이와 같은 디스플레이에 관한 정보를 수신할 수 있으며, 이 정보는 타겟 디스플레이에 관한 메타데이터(316)일 수 있다. 이 메타데이터(316)는 주변 광 분석기(315)로부터 메타데이터(317)의 다른 메타데이터와 함께 제공될 수 있다. 하나의 실시형태에서 메타데이터(317)는, 타겟 디스플레이 메타데이터(316)를 포함하며 또한 이어서 아래에 더 설명되는 추가 처리 동작에서 사용될 수 있는 장면의 추정 주변 광 레벨도 포함한다. 타겟 디스플레이 메타데이터(316)는 이미지가 디스플레이될 수 있는 특정 타겟 디스플레이 또는 디스플레이 세트에 관한 메타데이터를 포함할 수 있다. 예를 들어, 타겟 디스플레이 메타데이터(316)는 타겟 디스플레이의 색 영역 및 최대 및 최소 휘도 값을 포함하는 다양한 휘도 레벨을 디스플레이하는 것에 관한 그의 능력(capabilities), 및 타겟 디스플레이에 관한 다른 정보에 관한 메타데이터를 포함할 수 있다. 하나의 실시형태에서, 타겟 디스플레이 메타데이터는 돌비(Dolby)의 디스플레이 관리 시스템에서 사용되는 타겟 디스플레이 메타데이터와 유사할 수 있다. 하나의 실시형태에서, 타겟 디스플레이 메타데이터(316)는 또한 타겟 디스플레이의 시청 환경의 주변 광 레벨을 추가로 포함할 수 있고; 예를 들어, 타겟 디스플레이가 주변 광 센서를 포함한다면, 그 주변 광 센서로부터의 출력은 그 타겟 디스플레이 메타데이터(316)의 일부로서 시청 환경의 주변 광 레벨을 제공하는 데 사용될 수 있다.
주변 광 분석기(315)로부터의 메타데이터(317)의 출력은 컬러 볼륨 매핑(323)에 제공될 수 있다. 절대 RGB 픽셀 값(314)을 포함하는 스케일러(311)의 출력은 컬러 공간 변환(321)에 대한 입력으로서 제공될 수 있다. 하나의 실시형태에서, 컬러 공간 변환(321)은 절대 RGB 픽셀 값을 절대 ICTCP 값으로 변환할 수 있고, 이러한 값은 지각적 양자화(perceptual quantization, PQ)를 활용하는 컬러 공간에 있을 수 있다.
본원에서 사용된 용어 "PQ"는 지각적 양자화를 지칭한다. 인간의 시각 시스템은, 매우 비선형적인 방식으로, 증가하는 광 레벨에 반응한다. 자극을 보는 인간의 능력은, 다른 요인들 중에서도, 자극의 휘도, 자극의 사이즈, 자극을 구성하는 공간 주파수(들), 및 자극을 보는 특정 순간에 눈이 적응한 휘도 레벨의 영향을 받는다. 바람직한 실시형태에서, 지각적 양자화기 함수(perceptual quantizer function)는 선형 입력 그레이 레벨을 인간 시각 시스템의 콘트라스트 감도 임계 값과 보다 양호하게 매칭되는 출력 그레이 레벨에 매핑한다. PQ 매핑 함수의 예시는, 2012년 12월 6일 출원되고 그 전체가 참조로서 본원에 포함되어 있는 J.S. Miller 등의 "상이한 디스플레이 능력에 걸친 지각적 휘도 비선형-기반의 이미지 데이터 교환(Perceptual luminance nonlinearity-based image data exchange across different display capabilities)"이라는 발명의 명칭의 PCT 출원 제PCT/US2012/068212호('212 출원이라 함)에서 설명되며, 여기서 고정된 자극 사이즈가 주어지면, 모든 휘도 레벨(즉, 자극 레벨)에 대해, 해당 휘도 레벨에서 최소 가시적 콘트라스트 단계가, (HVS 모델에 따라) 가장 민감한 적응 레벨과 가장 민감한 공간 주파수에 따라 선택된다. 물리적 음극선관(cathode ray tube, CRT) 디바이스의 반응 곡선을 나타내며 공교롭게도 인간의 시각 시스템이 반응하는 방식과 매우 대략적인 유사성을 가질 수 있는 종래의 감마 곡선과 비교하여, PQ 곡선은 '212 출원에 의해 결정된 바와 같이, 상대적으로 간단한 함수 모델을 사용하여 인간 시각 시스템의 진정한 시각적 반응을 모사한다.
컬러 공간 변환(321)의 출력은 예를 들어 타겟 디스플레이 메타데이터(316)에 기초하여 타겟 디스플레이 또는 타겟 디스플레이의 세트에 적절히 디스플레이될 수 있도록 컬러 값을 압축하기 위해 색조 매핑 및 다른 이미지 처리 동작을 수행할 수 있는 컬러 볼륨 매핑(323)에 제공될 수 있다. 하나의 실시형태에서, 컬러 볼륨 매핑(323)은 OOTF를 사용하여 이미지 데이터의 보정을 수행할 수 있으며; 환언하면, 컬러 볼륨 매핑(323)은 도 1의 동작 "14"에서 제공되거나 계산된 추정 주변 광 레벨에 기초하여 선택된 보정 곡선을 사용하여 이미지 데이터를 보정하기 위해 도 1에 도시된 동작 "18 및 20"을 수행할 수 있다. 게다가, 컬러 볼륨 매핑(323)은 타겟 디스플레이 메타데이터(316)와 같은 타겟 디스플레이의 메타데이터에 기초하여(예컨대, 도 1의 동작 "22"에서) 색조 매핑을 수행할 수 있다. 하나의 실시형태에서, 색조 매핑 함수는 타겟 디스플레이의 색 영역 및 휘도 파라미터에 기초하여 구성되며, 여기서 이러한 파라미터는 타겟 디스플레이 메타데이터(316)의 일부로서 제공된다. 하나의 실시형태에서, 컬러 볼륨 매핑(323)은 돌비의 디스플레이 관리 시스템에 따라 색 영역 매핑 및 색조 매핑을 수행할 수 있다. 하나의 실시형태에서, 색조 매핑 동작 또는 함수는 타겟 디스플레이의 색 영역 및 휘도 능력과 매칭되도록 이미지의 다이나믹 레인지를 압축한다. 하나의 실시형태에서, OOTF 및 색조 매핑을 통한 보정은 OOTF 및 색조 매핑 함수를 모두 포함하는 보정 함수를 통해 동시에 수행될 수 있다. 하나의 실시형태에서, 컬러 볼륨 매핑(323)은 도 1에 도시된 동작 "20 및 22" 모두를 수행할 수 있다.
컬러 볼륨 매핑(323)으로부터의 픽셀 데이터의 출력은 하이 다이내믹 레인지 디스플레이(331) 상의 디스플레이를 위해 ICTCP의 픽셀 데이터를 다시 RGB 값으로 변환할 수 있는 컬러 공간 변환(325)에 제공될 수 있다. 컬러 볼륨 매핑(323)으로부터의 픽셀 출력은 또한 하나의 실시형태에서, 스탠다드 다이나믹 레인지 디스플레이(337) 및 패널 디스플레이(339)에 출력을 제공하기 위해, 컬러 볼륨 매핑(323)에 의해 수행되는 동작과 유사한 컬러 매핑 동작을 수행할 수 있는 컬러 볼륨 매핑(327) 및 컬러 볼륨 매핑(329)으로 도시된 두 개의 다른 컬러 볼륨 매핑 동작에 제공될 수 있다. 게다가 컬러 볼륨 매핑(327) 및 컬러 볼륨 매핑(329)은 또한, 메타데이터(317) 또는 컬러 볼륨 매핑(323)에 의한 컬러 볼륨 매핑 또는 색조 매핑 동작에 의해 보정된 메타데이터와 동일할 수 있는 메타데이터(319)를 수신한다. 메타데이터(319)는 각각의 타겟 디스플레이에 관한 메타데이터를 포함할 수 있으며, 특히 스탠다드 다이나믹 레인지 디스플레이(337)에 관한 메타데이터 및 패널 디스플레이(339)에 관한 메타데이터를 포함할 수 있다. 컬러 매핑(327) 및 컬러 볼륨 매핑(329)으로부터의 출력은 적절한 디스플레이에의 출력을 제공하기 위해 그들 각각의 컬러 공간 변환 동작(333 및 335)에 각각 제공된다. 패널 디스플레이(339)는 통합형 주변 광 센서로부터의 출력에 기초하여 OOTF 함수를 동적으로 조정하는 데 사용될 수 있는 통합형 주변 광 센서를 포함하는 타겟 디스플레이의 일례일 수 있다.
하나의 실시형태에서, 하나 이상의 시스템 또는 방법은 이미지에서 플레어(flare)의 검출을 활용할 수 있다. 플레어를 감지하면, 플레어 보상이 추정 주변 광 레벨을 나타내는 값의 함수로서 계산될 수 있다. 예를 들어, 추정 주변 광 레벨은, 플레어의 존재 여부를 결정하고 계산된 절대 광 레벨이 이미지에서의 플레어에 의해 손상되지 않도록 이미지에서의 플레어를 보상하는 데 사용될 수 있다.
하나의 실시형태에서, 스탠다드 다이내믹 레인지 디스플레이를 위한 컬러 볼륨 매핑은 하이라이트 영역에서 디테일을 보다 양호하게 보존하기 위해 로컬 색조 매핑을 사용할 수 있다. 예를 들어, 컬러 볼륨 매핑(327)은 스탠다드 다이내믹 레인지 디스플레이(337) 상의 디스플레이를 위해 하이라이트 영역의 디테일을 보다 양호하게 보존하기 위해 이미지의 상이한 영역에 대해 로컬 색조 매핑을 활용할 수 있다. 하나의 실시형태에서, 추정 주변 광 레벨과 같은 주변 광 레벨 데이터를 포함하는 이미지에 관한 메타데이터는 이미지와 함께 저장될 수 있고 나중에 SDR 이미지의 HDR 이미지로의 변환과 같은 이미지의 변환에서 사용될 수 있다. 하나의 실시형태에서, HDR 파이프라인은 예를 들어 SDR 휘도의 히스토그램을 사용함으로써 SDR 이미지로부터의 외형의 일부를 내재화하려(inherent) 시도할 수 있고, 이를 색조 곡선으로 변환하여 HDR 히스토그램이 SDR 히스토그램에 대한 밝기 및 콘트라스트와 같은 유사한 특성을 갖도록 할 수 있다. 이는 예를 들어 3×3 매트릭스를 풀이함으로써 또는 RGB 색조 곡선 등에 의해 색상에 대해 이루어질 수도 있다. 수동 노출 조정은 절대 장면 광 레벨의 계산의 사용 없이 이루어질 수 있지만, 수동 노출 조정은 하나의 실시형태에서 또한 관심 영역에 관한 메타데이터를 채우는(populate) 데 사용될 수 있으며; 예를 들어 사용자가 수동 노출 조정의 일부로서 이미지의 일부를 선택하거나 얼굴 검출의 경우와 같이 이미지의 일부가 자동으로 선택된다면, 관심 영역에 관한 메타데이터를 채우도록 해당 영역의 휘도가 중간 오프셋으로서 사용될 수 있고 이는 HDR 또는 SDR로 매핑할 때 디스플레이 관리가 이 영역을 우선 순위 지정하도록(prioritize) 허용할 수 있다.
도 4는 본원에 설명된 하나 이상의 실시형태를 제공하기 위해 카메라 또는 다른 디바이스에서 사용되거나 또는 이에 의해 사용될 수 있는 데이터 처리 시스템의 일례를 도시한다. 본원에 설명된 시스템 및 방법은 범용 컴퓨터 시스템, 특수 목적 컴퓨터 시스템, 또는 범용 및 특수 목적 컴퓨터 시스템의 하이브리드를 포함하는 다양한 상이한 데이터 처리 시스템 및 디바이스에서 구현될 수 있다. 본원에 설명된 방법들 중 임의의 하나를 사용할 수 있는 데이터 처리 시스템은, 카메라, 스마트폰, 셋톱 박스, 랩톱 또는 태블릿 컴퓨터와 같은 컴퓨터, 임베디드 디바이스, 게임 시스템, 및 가정용 전자기기(consumer electronic devices) 등 또는 다른 전자 디바이스를 포함한다.
도 4는 일 실시형태에 따른 데이터 처리 시스템 하드웨어의 블록도이다. 도 4는, 데이터 처리 시스템의 다양한 구성요소를 예시하고 있으나 그러한 세부 사항은 본 발명과 밀접한 관련이 없기 때문에 구성요소를 상호 연결하는 임의의 특정 아키텍처 또는 방식을 나타내려는 의도는 아님에 유의한다. 또한, 도 4에서 도시된 것보다 적은 수의 구성요소 또는 도시된 것보다 많은 수의 구성요소를 갖는 다른 유형의 데이터 처리 시스템이 본 발명의 하나 이상의 실시형태와 함께 사용될 수도 있음을 인식할 것이다.
도 4에 도시된 바와 같이, 데이터 처리 시스템은, 시스템의 다양한 구성요소를 상호 연결하는 역할을 하는 하나 이상의 버스(1309)를 포함한다. 도 4의 시스템은 카메라를 포함하거나 카메라에 결합될 수 있다. 하나 이상의 프로세서(1303)는 당업계에 알려진 바와 같이 하나 이상의 버스(1309)에 결합된다. 메모리(1305)는 DRAM 또는 비휘발성 RAM일 수 있거나 플래시 메모리 또는 다른 유형의 메모리 또는 그러한 메모리 디바이스의 조합일 수 있다. 이 메모리는 당업계에 알려진 기술을 이용하여 하나 이상의 버스(1309)에 결합된다. 또한, 데이터 처리 시스템은 비휘발성 메모리(1307)를 포함할 수 있으며, 이는 하드디스크 드라이브 또는 플래시 메모리 또는 자기 광학 드라이브 또는 자기 메모리 또는 광학 드라이브 또는 시스템으로부터 전원이 제거된 후에도 데이터를 유지하는 다른 유형의 메모리 시스템일 수 있다. 비휘발성 메모리(1307) 및 메모리(1305)는 알려진 인터페이스 및 연결 기술을 사용하여 하나 이상의 버스(1309)에 모두 결합된다. 디스플레이 컨트롤러(1322)는, 디스플레이(331, 337 또는 339) 중 하나일 수 있는 디스플레이 디바이스 상에 디스플레이될 디스플레이 데이터를 수신하기 위해 하나 이상의 버스(1309)에 결합된다. 데이터 처리 시스템은 또한, 하나 이상의 카메라, 터치 스크린, 주변 광 센서, 및 당업계에 알려진 것들을 포함하는 다른 입력 디바이스와 출력 디바이스(예컨대, 스피커)와 같은 하나 이상의 I/O 디바이스에 대한 인터페이스를 제공하는 하나 이상의 입/출력(I/O) 컨트롤러(1315)를 포함할 수 있다. 입/출력 디바이스(1317)는 당업계에 알려진 바와 같이 하나 이상의 I/O 컨트롤러(1315)를 통해 결합된다. 주변 광 센서는 도 4의 시스템 내로 통합될 수 있다.
도 4는 비휘발성 메모리(1307) 및 메모리(1305)가 네트워크 인터페이스를 통해서가 아니라 하나 이상의 버스에 직접적으로 결합되는 것을 도시하지만, 본 발명은, 모뎀 또는 이더넷 인터페이스와 같은 네트워크 인터페이스를 통해 데이터 처리 시스템에 결합되는 네트워크 저장 디바이스와 같은, 시스템으로부터 떨어져 있는 비휘발성 메모리를 활용할 수 있음을 이해할 것이다. 버스(1309)는 당업계에 널리 알려진 바와 같이 다양한 브리지, 컨트롤러 및/또는 어댑터를 통해 서로 연결될 수 있다. 하나의 실시형태에서 I/O 컨트롤러(1315)는 USB 주변기기를 제어하기 위한 USB(Universal Serial Bus) 어댑터, IEEE 1394 호환(compliant) 주변기기를 위한 IEEE 1394 컨트롤러, 또는 썬더볼트(Thunderbolt) 주변기기를 제어하기 위한 썬더볼트 컨트롤러 중 하나 이상을 포함한다. 하나의 실시형태에서, 하나 이상의 네트워크 디바이스(들)(1325)는 버스(들)(1309)에 결합될 수 있다. 네트워크 디바이스(들)(1325)는 카메라 등으로부터 이미지를 수신하는 유선 네트워크 디바이스(예컨대, 이더넷) 또는 무선 네트워크 디바이스(예컨대, WiFi, 블루투스)일 수 있다.
개별 실시형태가 아래 열거되었지만, 이들 실시형태는 전체적으로 또는 부분적으로 다양한 상이한 조합으로 조합되거나 수정될 수 있음을 이해할 것이다. 이들 실시형태의 조합은 개별 실시형태들의 모든 가능한 조합 중 임의의 하나일 수 있다.
실시형태 1은,
카메라를 통해 이미지를 캡처하는 단계 - 상기 캡처된 이미지는 상기 이미지 내의 픽셀을 나타내는 제1 복수의 이미지 데이터를 포함함 -;
상기 제1 복수의 이미지 데이터에 기초하여 상기 캡처된 이미지의 추정 주변 광 레벨(estimated ambient light level)을 결정하는 단계 - 상기 추정 주변 광 레벨은, 하나 이상의 절대 장면 광 레벨(absolute scene light level)을 획득하기 위해 상기 이미지가 캡처되었을 때 상기 카메라에서 사용되는 노출 파라미터 및 카메라 특정 파라미터를 포함하는 함수를 사용하여 상기 카메라의 센서로부터의 픽셀 값을 스케일링함으로써 결정되고, 상기 노출 파라미터는 애퍼처(aperture) 설정, 노출 시간 설정 및 센서 감도 설정을 포함하고, 상기 카메라 특정 파라미터는 카메라 캘리브레이션으로부터 도출됨 -;
상기 추정 주변 광 레벨에 기초하여 광학-광학 전달 함수(optical-optical transfer function, OOTF)를 계산하는 단계; 및
상기 OOTF를 사용하여 상기 제1 복수의 이미지 데이터로부터 도출되는 이미지 데이터를 보정함으로써 상기 제1 복수의 이미지 데이터로부터 도출되는 상기 이미지 데이터를 변환하는 단계 - 상기 변환하는 단계는 시청 환경에서 상기 이미지가 디스플레이될 때, 상기 시청 환경에서의 상기 추정 주변 광 레벨 하에서 상기 이미지의 겉보기 콘트라스트를 보존하도록 구성됨 - 를 포함하는 방법이다.
실시형태 2는 실시형태 1에 있어서, 상기 방법은 타겟 디스플레이에 대해 구성되는 색조(tone) 매핑 함수를 통해 상기 제1 복수의 이미지 데이터로부터 도출되는 이미지 데이터를 매핑하여 상기 타겟 디스플레이 상의 디스플레이를 위한 상기 이미지를 매핑하는 단계 - 상기 색조 매핑 함수는 상기 타겟 디스플레이의 상기 색 영역(gamut) 및 휘도 파라미터에 기초하여 구성됨 - 를 더 포함하는 방법이다.
실시형태 3은 실시형태 2에 있어서, 상기 변환하는 단계는 상기 색조 매핑 함수가 상기 변환하는 단계로부터 도출되는 데이터에 대해 동작하도록 상기 색조 매핑 함수를 통한 상기 매핑 이전에 상기 제1 복수의 이미지 데이터로부터 도출되는 상기 이미지 데이터를 보정하는 방법이다.
실시형태 4는 실시형태 3에 있어서, 상기 색조 매핑 함수는 상기 타겟 디스플레이의 상기 색 영역 및 휘도 파라미터와 매칭하도록 상기 이미지의 다이나믹 레인지를 압축하는 방법이다.
실시형태 5는 실시형태 2에 있어서, 상기 변환하는 단계 및 상기 매핑하는 단계는 상기 OOTF를 포함하는 상기 색조 매핑 함수에 의해 동시에 수행되는 방법이다.
실시형태 6은 실시형태 2에 있어서, 상기 추정 주변 광 레벨은 상기 이미지의 이미지 데이터와 함께 메타데이터로서 저장되고, 상기 색조 매핑은 절대 장면 광 레벨로 스케일링된 픽셀 값에 대해 수행되는 방법이다.
실시형태 7은 실시형태 6에 있어서, 상기 카메라 특정 파라미터는 상기 카메라 캘리브레이션으로부터 경험적으로 도출되는 상수 값인 방법이다.
실시형태 8은 실시형태 7에 있어서, 상기 카메라 캘리브레이션은 상이한 노출 파라미터 설정에서 테스트 타겟의 이미지를 캡처하는 단계와, 상기 테스트 타겟의 상기 휘도를 측정하는 단계와, 상기 카메라 특정 파라미터 및 상기 노출 파라미터를 포함하는 함수를 최적 피팅하는 상기 상수 값의 값을 구하는 단계를 포함하는 방법이다.
실시형태 9는 실시형태 8에 있어서, 상기 카메라 특정 파라미터는 상기 카메라의 상기 카메라 캘리브레이션으로부터 도출되고 그후 상기 카메라와 동일한 센서 설계를 가지는 유사한 카메라에서의 사용을 위해 저장되는 방법이다.
실시형태 10은 실시형태 7에 있어서, 상기 추정 주변 광 레벨은: 상기 이미지에서의 모든 픽셀의 휘도 값의 중앙값(median) 또는 평균(mean); 장면 이미지 부분의 휘도 값의 중앙값 또는 평균; 상기 이미지에서의 최대 휘도 값과 상기 이미지에서의 최소 휘도 값 사이의 휘도 값의 선택된 범위에서 휘도 값의 중앙값 또는 평균; 상기 이미지에서의 최대 휘도 값; 주변 광 센서 판독; 노출 센서 판독; 노출 최적화 전용 픽셀로부터의 데이터; 또는 수동 사용자 입력 중 하나로부터 도출되는 방법이다.
실시형태 11은 실시형태 7에 있어서, 상기 OOTF는 상기 시청 환경의 미리 결정된 또는 동적으로 측정되는 주변 광과 상기 추정 주변 광 사이의 차이에 기초하여 상기 이미지 데이터를 보정하고, 상기 OOTF는 상기 카메라가 자동 노출 모드로 설정되었을 때는 상기 이미지 데이터를 보정하지만, 상기 카메라가 수동 노출 조정으로 설정되었을 때는 상기 시청 환경에서의 상기 타겟 디스플레이 상에 상기 OOTF 보정없이 상기 이미지가 디스플레이되는 방법이다.
실시형태 12는 실시형태 11에 있어서, 상기 수동 노출 조정은: 수동으로 선택된 노출 보상 설정 또는 수동 노출 설정 중 하나를 포함하는 방법이다.
실시형태 13은 실시형태 11에 있어서, 상기 시청 환경의 상기 미리 결정된 주변 광은 5 니트인 방법이다.
실시형태 14은 실시형태 11에 있어서, 상기 시청 환경의 상기 동적으로 측정되는 주변 광은, 상기 OOTF가 상기 주변 광 센서의 상기 출력에 의해 동적으로 제어되도록 상기 타겟 디스플레이 내로 통합되는 주변 광 센서에 의해 측정되는 방법이다.
실시형태 15는 실시형태 6에 있어서, 상기 OOTF는 상기 카메라가 자동 노출 모드로 사용되었을 때는 상기 이미지 데이터를 보정하지만, 상기 카메라가 수동 노출 조정으로 설정되었을 때는 상기 시청 환경에서의 상기 타겟 디스플레이 상에 상기 OOTF 보정없이 상기 이미지가 디스플레이 되고; 상기 카메라는 스마트폰 내로 통합된 카메라; 태블릿 컴퓨터 내로 통합된 카메라; 일안 리플렉스(single lens reflex) 카메라; 미러리스 카메라; 또는 상기 센서, 저장 디바이스 및 상기 센서 및 상기 저장 디바이스에 결합된(coupled) 제어 시스템 상의 상기 이미지에 초점을 맞추는 렌즈를 갖는 디바이스 중 하나인 방법이다.
실시형태 16은 실시형태 6에 있어서, 상기 절대 광 레벨을 사용하여 상기 이미지의 백색 점(white point)을 추정하는 단계, 및 상기 이미지를 기준 순응(reference adapting) 백색 점으로 변환하기 위해 색 순응(chromatic adapting) 변환을 적용하는 단계를 더 포함하는 방법이다.
실시형태 17은 실시형태 6에 있어서, 상기 OOTF는 상기 추정 주변 광 레벨이 상기 시청 환경의 상기 휘도보다 높은 휘도를 가질 때 상대적으로 어두운 영역에서의 콘트라스트를 감소시키기 위해 상기 이미지의 상기 상대적으로 어두운 영역에서의 이미지 데이터를 조정함으로써 상기 겉보기 콘트라스트를 보존하고, 상기 OOTF는 상기 추정 주변 광 레벨이 상기 시청 환경의 상기 휘도보다 낮은 휘도를 가질 때 상기 이미지의 상대적으로 어두운 영역에서의 콘트라스트를 증가시키기 위해 상기 이미지의 상기 상대적으로 어두운 영역에서의 이미지 데이터를 조정함으로써 상기 겉보기 콘트라스트를 보존하는 방법이다.
실시형태 18은 실시형태 6에 있어서, 상기 메타데이터는 상기 이미지에서의 플레어(flare)를 보상하기 위해 사용되며, 상기 플레어 보상은 상기 추정 주변 광 레벨을 나타내는 값의 함수인 방법이다.
실시형태 19는 실시형태 6에 있어서, 상기 색조 매핑 함수는 상기 이미지의 하나 이상의 영역에서의 로컬 색조 매핑을 포함하고, 상기 로컬 색조 매핑은 상기 캡처된 이미지로부터 스탠다드 다이나믹 레인지(standard dynamic range, SDR) 이미지를 생성하기 위해 매핑 중에 사용되는 방법이다.
실시형태 20은 실시형태 19에 있어서, 상기 메타데이터는 인버스 매핑을 통해 하이 다이나믹 레인지(high dynamic range, HDR) 이미지를 재구성하는 데 사용하기 위해 상기 SDR 이미지와 함께 저장되는 방법이다.
실시형태 21은 실시형태 20에 있어서, 상기 메타데이터는 상기 SDR 이미지로부터 상기 HDR 이미지로의 인버스 매핑을 위한 다변수 다중 회귀(multivariate multiple regression, MMR) 계수를 계산하는 데 사용되는 방법이다.
실시형태 22는 실시형태 6에 있어서, 상기 메타데이터는 색조 매핑된 이미지의 다운스트림 처리를 안내하기 위해 메타데이터의 중간 세트에 대한 상기 색조 매핑에 의해 조정되는 방법이다.
실시형태 23은, 처리 시스템 및 메모리를 포함하고 실시형태 1 내지 22 중 어느 하나의 방법을 수행하도록 구성되는 장치이다.
실시형태 24는, 기계에 의해 실행될 때 상기 기계가 실시형태 1 내지 22 중 어느 하나의 방법을 수행하도록 하는 실행가능한 프로그램 명령을 저장하는 비일시적 기계 판독가능 스토리지이다.
본 설명으로부터, 본 발명의 하나 이상의 실시형태는 적어도 부분적으로 소프트웨어로 구현될 수 있음이 명백할 것이다. 즉, 본 기술은, 비일시적 기계 판독가능 저장 매체(예컨대, DRAM 또는 플래시 메모리)와 같은 저장 매체에 포함된 일련의 명령을 실행하는 그의 하나 이상의 프로세서에 응답하여 데이터 처리 시스템에서 수행될 수 있다. 다양한 실시형태에서, 본 발명을 구현하기 위해 하드와이어드 회로가 소프트웨어 명령과 조합하여 사용될 수 있다. 따라서 본 기술은, 하드웨어 회로와 소프트웨어의 임의의 특정 조합, 또는 데이터 처리 시스템에 의해 실행되는 명령에 대한 임의의 특정 소스에 제한되지 않는다.
전술한 명세서에서, 특정 예시적인 실시형태가 설명되었다. 다음의 청구범위에 제시된 보다 더 넓은 사상 및 범위를 일탈하지 않고 이러한 실시형태에 대해 다양한 수정이 가해질 수 있음이 명백할 것이다. 이에 따라, 명세서 및 도면은 제한적인 의미가 아닌 예시적인 의미로 보아야 한다.

Claims (15)

  1. 카메라에 의해 캡처된 이미지를 수신하는 단계 - 상기 이미지는 상기 이미지 내의 픽셀을 나타내는 제1 복수의 이미지 데이터를 포함함 -;
    상기 제1 복수의 이미지 데이터에 기초하여 상기 이미지의 추정 주변 광 레벨(estimated ambient light level)을 결정하는 단계 - 상기 추정 주변 광 레벨은, 하나 이상의 절대 장면 광 레벨(absolute scene light level)을 획득하기 위해 상기 이미지가 캡처되었을 때 상기 카메라에서 사용되는 노출 파라미터 및 카메라 특정 파라미터를 포함하는 함수를 사용하여 상기 카메라의 센서로부터의 픽셀 값을 스케일링함으로써 결정되고, 상기 노출 파라미터는 애퍼처(aperture) 설정, 노출 시간 설정 및 센서 감도 설정을 포함하고, 상기 카메라 특정 파라미터는 카메라 캘리브레이션으로부터 도출됨 -;
    상기 추정 주변 광 레벨에 기초하여 광학-광학 전달 함수(optical-optical transfer function, OOTF)를 계산하는 단계;
    상기 OOTF를 사용하여 상기 제1 복수의 이미지 데이터로부터 도출되는 이미지 데이터를 보정함으로써 상기 제1 복수의 이미지 데이터로부터 도출되는 상기 이미지 데이터를 변환하는 단계 - 상기 변환하는 단계는 시청 환경에서 상기 이미지가 디스플레이될 때, 상기 시청 환경에서의 상기 추정 주변 광 레벨 하에서 상기 이미지의 겉보기 콘트라스트를 보존하도록 구성됨 -
    를 포함하는, 방법.
  2. 제1항에 있어서, 상기 방법은:
    타겟 디스플레이에 대해 구성되는 색조(tone) 매핑 함수를 통해 상기 제1 복수의 이미지 데이터로부터 도출되는 이미지 데이터를 매핑하여 상기 타겟 디스플레이 상의 디스플레이를 위한 상기 이미지를 매핑하는 단계 - 상기 색조 매핑 함수는 상기 타겟 디스플레이의 상기 색 영역(gamut) 및 휘도 파라미터에 기초하여 구성됨 - 를 더 포함하는, 방법.
  3. 제2항에 있어서,
    상기 변환하는 단계는 상기 색조 매핑 함수가 상기 변환하는 단계로부터 도출되는 데이터에 대해 동작하도록 상기 색조 매핑 함수를 통한 상기 매핑 이전에 상기 제1 복수의 이미지 데이터로부터 도출되는 상기 이미지 데이터를 보정하고, 상기 색조 매핑 함수는 상기 타겟 디스플레이의 상기 색 영역 및 휘도 파라미터와 매칭하도록 상기 이미지의 다이나믹 레인지를 압축하는, 방법.
  4. 전술한 청구항 중 어느 한 항에 있어서,
    상기 추정 주변 광 레벨은 상기 이미지의 이미지 데이터와 함께 메타데이터로서 저장되고, 상기 색조 매핑은 절대 장면 광 레벨로 스케일링된 픽셀 값에 대해 수행되고, 상기 카메라 특정 파라미터는 상기 카메라 캘리브레이션으로부터 경험적으로 도출되는 상수 값인, 방법.
  5. 전술한 청구항 중 어느 한 항에 있어서, 상기 카메라 캘리브레이션은:
    상이한 노출 파라미터 설정에서 테스트 타겟의 이미지를 캡처하는 단계와, 상기 테스트 타겟의 상기 휘도를 측정하는 단계와, 상기 카메라 특정 파라미터 및 상기 노출 파라미터를 포함하는 함수를 최적 피팅하는 상기 상수 값의 값을 구하는 단계를 포함하고, 상기 카메라 특정 파라미터는 상기 카메라의 상기 카메라 캘리브레이션으로부터 도출되고 그후 상기 카메라와 동일한 센서 설계를 가지는 유사한 카메라에서의 사용을 위해 저장되고, 상기 추정 주변 광 레벨은: 상기 이미지에서의 모든 픽셀의 휘도 값의 중앙값(median) 또는 평균(mean); 장면 이미지 부분의 휘도 값의 중앙값 또는 평균; 상기 이미지에서의 최대 휘도 값과 상기 이미지에서의 최소 휘도 값 사이의 휘도 값의 선택된 범위에서 휘도 값의 중앙값 또는 평균; 상기 이미지에서의 최대 휘도 값; 주변 광 센서 판독; 노출 센서 판독; 노출 최적화 전용 픽셀로부터의 데이터; 또는 수동 사용자 입력 중 하나로부터 도출되는, 방법.
  6. 전술한 청구항 중 어느 한 항에 있어서,
    상기 OOTF는 상기 시청 환경의 미리 결정된 또는 동적으로 측정되는 주변 광과 상기 추정 주변 광 사이의 차이에 기초하여 상기 이미지 데이터를 보정하고, 상기 OOTF는 상기 카메라가 자동 노출 모드로 설정되었을 때는 상기 이미지 데이터를 보정하지만, 상기 카메라가 수동 노출 조정으로 설정되었을 때는 상기 시청 환경에서의 상기 타겟 디스플레이 상에 상기 OOTF 보정없이 상기 이미지가 디스플레이되는, 방법.
  7. 제6항에 있어서,
    상기 시청 환경의 상기 동적으로 측정되는 주변 광은, 상기 OOTF가 상기 주변 광 센서의 상기 출력에 의해 동적으로 제어되도록 상기 타겟 디스플레이 내로 통합되는 주변 광 센서에 의해 측정되는, 방법.
  8. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 OOTF는 상기 카메라가 자동 노출 모드로 사용되었을 때는 상기 이미지 데이터를 보정하지만, 상기 카메라가 수동 노출 조정으로 설정되었을 때는 상기 시청 환경에서의 상기 타겟 디스플레이 상에 상기 OOTF 보정없이 상기 이미지가 디스플레이 되고; 상기 카메라는 스마트폰 내로 통합된 카메라; 태블릿 컴퓨터 내로 통합된 카메라; 일안 리플렉스(single lens reflex) 카메라; 미러리스 카메라; 또는 상기 센서, 저장 디바이스 및 상기 센서 및 상기 저장 디바이스에 결합된(coupled) 제어 시스템 상의 상기 이미지에 초점을 맞추는 렌즈를 갖는 디바이스 중 하나인, 방법.
  9. 전술한 청구항 중 어느 한 항에 있어서,
    상기 절대 광 레벨을 사용하여 상기 이미지의 백색 점(white point)을 추정하는 단계, 및 상기 이미지를 기준 순응(reference adapting) 백색 점으로 변환하기 위해 색 순응(chromatic adapting) 변환을 적용하는 단계를 더 포함하는, 방법.
  10. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 OOTF는 상기 추정 주변 광 레벨이 상기 시청 환경의 상기 휘도보다 높은 휘도를 가질 때 상대적으로 어두운 영역에서의 콘트라스트를 감소시키기 위해 상기 이미지의 상기 상대적으로 어두운 영역에서의 이미지 데이터를 조정함으로써 상기 겉보기 콘트라스트를 보존하고, 상기 OOTF는 상기 추정 주변 광 레벨이 상기 시청 환경의 상기 휘도보다 낮은 휘도를 가질 때 상기 이미지의 상대적으로 어두운 영역에서의 콘트라스트를 증가시키기 위해 상기 이미지의 상기 상대적으로 어두운 영역에서의 이미지 데이터를 조정함으로써 상기 겉보기 콘트라스트를 보존하는, 방법.
  11. 전술한 청구항 중 어느 한 항에 있어서,
    상기 메타데이터는 상기 이미지에서의 플레어를 보상하는 데 사용되며, 상기 플레어 보상은 상기 추정 주변 광 레벨을 나타내는 값의 함수인, 방법.
  12. 전술한 청구항 중 어느 한 항에 있어서,
    상기 색조 매핑 함수는 상기 이미지의 하나 이상의 영역에서의 로컬 색조 매핑을 포함하고, 상기 로컬 색조 매핑은 상기 이미지로부터 스탠다드 다이나믹 레인지(standard dynamic range, SDR) 이미지를 생성하기 위해 매핑 중에 사용되며, 상기 메타데이터는 인버스 매핑을 통해 하이 다이나믹 레인지(high dynamic range, HDR) 이미지를 재구성하는 데 사용하기 위해 상기 SDR 이미지와 함께 저장되는, 방법.
  13. 제12항에 있어서,
    상기 메타데이터는 상기 SDR 이미지로부터 상기 HDR 이미지로의 인버스 매핑을 위한 다변수 다중 회귀(multivariate multiple regression, MMR) 계수를 계산하는 데 사용되고, 상기 메타데이터는 색조 매핑된 이미지의 다운스트림 처리를 안내하기 위해 메타데이터의 중간 세트에 대한 상기 색조 매핑에 의해 조정되는, 방법.
  14. 처리 시스템 및 메모리를 포함하고 제1항 내지 제13항 중 어느 한 항의 방법을 수행하도록 구성되는, 장치.
  15. 기계에 의해 실행될 때 상기 기계가 제1항 내지 제13항 중 어느 한 항의 방법을 수행하도록 하는 실행가능한 프로그램 명령을 저장하는, 비일시적 기계 판독가능 스토리지.
KR1020217001501A 2018-06-18 2019-06-13 이미지 캡처 방법 및 시스템 KR102369148B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862686371P 2018-06-18 2018-06-18
US62/686,371 2018-06-18
EP18178266.5 2018-06-18
EP18178266 2018-06-18
PCT/US2019/037066 WO2019245876A1 (en) 2018-06-18 2019-06-13 Image capture methods and systems

Publications (2)

Publication Number Publication Date
KR20210021062A true KR20210021062A (ko) 2021-02-24
KR102369148B1 KR102369148B1 (ko) 2022-03-02

Family

ID=67070915

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217001501A KR102369148B1 (ko) 2018-06-18 2019-06-13 이미지 캡처 방법 및 시스템

Country Status (6)

Country Link
US (1) US11711486B2 (ko)
EP (1) EP3808068B1 (ko)
JP (1) JP7003304B2 (ko)
KR (1) KR102369148B1 (ko)
CN (1) CN112514359B (ko)
WO (1) WO2019245876A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7475187B2 (ja) * 2020-04-15 2024-04-26 キヤノン株式会社 表示制御装置および方法、プログラム、記憶媒体
CN115803802A (zh) 2020-06-30 2023-03-14 杜比实验室特许公司 用于使用pq偏移进行环境光补偿的系统和方法
KR20230038191A (ko) * 2020-07-13 2023-03-17 퀄컴 인코포레이티드 저조도 조건들에서 캡처된 컬러 색조된 픽셀들의 보정
CN111935423B (zh) * 2020-08-02 2023-05-05 珠海一微半导体股份有限公司 一种机器人获取深度图像数据的方法及其控制系统
US11398017B2 (en) 2020-10-09 2022-07-26 Samsung Electronics Co., Ltd. HDR tone mapping based on creative intent metadata and ambient light
US11526968B2 (en) * 2020-11-25 2022-12-13 Samsung Electronics Co., Ltd. Content adapted black level compensation for a HDR display based on dynamic metadata
CN112565636B (zh) * 2020-12-01 2023-11-21 影石创新科技股份有限公司 图像处理方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044846A (ja) * 2001-04-20 2003-02-14 Agilent Technol Inc 知覚的選好ガイドラインに基づく適応型シグモイド関数を用いたデジタル・イメージ・トーン・マッピングのためのシステム及び方法
US20170034520A1 (en) * 2015-07-28 2017-02-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding video data for selected viewing conditions

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040097683A (ko) 2003-05-12 2004-11-18 주식회사 복스오라테크놀로지코리아 디지털 신호처리에 의한 간섭제거 시스템 및 이를 이용한중계장치
US7999863B2 (en) 2006-02-01 2011-08-16 Fujifilm Corporation Image correction apparatus and method
JP4544308B2 (ja) * 2008-01-11 2010-09-15 ソニー株式会社 画像処理装置、撮像装置、方法およびプログラム
US8237813B2 (en) 2009-04-23 2012-08-07 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8847972B2 (en) 2010-01-20 2014-09-30 Intellectual Ventures Fund 83 Llc Adapting display color for low luminance conditions
US9055227B2 (en) 2010-03-17 2015-06-09 Texas Instruments Incorporated Scene adaptive brightness/contrast enhancement
US9113114B2 (en) * 2010-05-12 2015-08-18 Samsung Electronics Co., Ltd Apparatus and method for automatically controlling image brightness in image photographing device
EP2782348B1 (en) * 2011-04-14 2017-12-27 Dolby Laboratories Licensing Corporation Multiple color channel multiple regression predictor
CN106095358B (zh) 2011-12-06 2019-05-14 杜比实验室特许公司 改进不同显示能力之间基于感知照度非线性的图像数据交换的装置和方法
CN103391404B (zh) 2012-05-08 2016-12-14 展讯通信（上海）有限公司 自动曝光方法、装置、照相设备和移动终端
BR112015020009B1 (pt) 2013-02-21 2023-02-07 Dolby Laboratories Licensing Corporation Gerenciamento de exibição para vídeo de alta gama dinâmica
BR122020018850B1 (pt) 2013-07-30 2023-01-31 Dolby Laboratories Licensing Corporation Método para usar metadados estáveis de cena em um codificador de vídeo e método para usar metadados estáveis de cena em um decodificador de vídeo
US9275445B2 (en) 2013-08-26 2016-03-01 Disney Enterprises, Inc. High dynamic range and tone mapping imaging techniques
US9432647B2 (en) 2013-09-09 2016-08-30 Apple Inc. Adaptive auto exposure and dynamic range compensation
GB2526047B (en) 2014-02-27 2021-04-07 British Broadcasting Corp Method and apparatus for improved signal processing for high dynamic range
MX363812B (es) * 2014-06-10 2019-04-04 Panasonic Ip Man Co Ltd Método de conversión y aparato de conversión.
JP6362793B2 (ja) 2015-01-19 2018-07-25 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ映像のためのディスプレイマネジメント
JP6463179B2 (ja) * 2015-03-17 2019-01-30 キヤノン株式会社 信号処理装置、信号処理方法および撮像装置
KR102059256B1 (ko) 2015-06-05 2019-12-24 애플 인크. Hdr 콘텐츠의 렌더링 및 디스플레이
US10284863B2 (en) * 2015-06-08 2019-05-07 Qualcomm Incorporated Adaptive constant-luminance approach for high dynamic range and wide color gamut video coding
GB2539917B (en) 2015-06-30 2021-04-07 British Broadcasting Corp Method and apparatus for conversion of HDR signals
US9734635B1 (en) 2015-07-13 2017-08-15 Amazon Technologies, Inc. Environment aware color visualization
AU2015207825A1 (en) 2015-07-28 2017-02-16 Canon Kabushiki Kaisha Method, apparatus and system for encoding video data for selected viewing conditions
EP3330959A4 (en) 2015-07-31 2019-07-17 Sony Corporation VIDEO SIGNAL PROCESSING DEVICE, METHOD FOR PROCESSING A VIDEO SIGNAL AND DISPLAY DEVICE
US9965881B2 (en) 2015-08-28 2018-05-08 Panasonic Intellectual Property Corporation Of America Method for generating image and image generation system
JP6611543B2 (ja) 2015-10-05 2019-11-27 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10200701B2 (en) 2015-10-14 2019-02-05 Qualcomm Incorporated HDR and WCG coding architecture with SDR backwards compatibility in a single bitstream for video coding
AU2015261734A1 (en) 2015-11-30 2017-06-15 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data according to local luminance intensity
US20170289571A1 (en) 2016-04-01 2017-10-05 Intel Corporation Temporal control for spatially adaptive tone mapping of high dynamic range video
JP2017212532A (ja) 2016-05-24 2017-11-30 キヤノン株式会社 画像処理装置
US10129485B2 (en) 2016-06-10 2018-11-13 Microsoft Technology Licensing, Llc Methods and systems for generating high dynamic range images
US11356633B2 (en) 2016-09-20 2022-06-07 Sony Corporation Video signal processing apparatus, video signal processing method, and video signal processing system
JP6752667B2 (ja) * 2016-09-27 2020-09-09 キヤノン株式会社 画像処理装置と画像処理方法およびプログラム
EP3566203B1 (en) 2017-03-20 2021-06-16 Dolby Laboratories Licensing Corporation Perceptually preserving scene-referred contrasts and chromaticities
US10720126B2 (en) * 2018-08-31 2020-07-21 Apple Inc. Color ambient light sensor with adjustable neutral density filter

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044846A (ja) * 2001-04-20 2003-02-14 Agilent Technol Inc 知覚的選好ガイドラインに基づく適応型シグモイド関数を用いたデジタル・イメージ・トーン・マッピングのためのシステム及び方法
US20170034520A1 (en) * 2015-07-28 2017-02-02 Canon Kabushiki Kaisha Method, apparatus and system for encoding video data for selected viewing conditions

Also Published As

Publication number Publication date
CN112514359B (zh) 2022-02-18
JP7003304B2 (ja) 2022-01-20
EP3808068B1 (en) 2022-06-29
EP3808068A1 (en) 2021-04-21
KR102369148B1 (ko) 2022-03-02
US20210250564A1 (en) 2021-08-12
WO2019245876A1 (en) 2019-12-26
US11711486B2 (en) 2023-07-25
JP2021524694A (ja) 2021-09-13
CN112514359A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
KR102369148B1 (ko) 이미지 캡처 방법 및 시스템
US11375128B2 (en) Method for obtaining exposure compensation values of high dynamic range image, terminal device and non-transitory computer-readable storage medium
US20210295800A1 (en) Apparatus and methods for analyzing image gradings
US10140953B2 (en) Ambient-light-corrected display management for high dynamic range images
CN110447051B (zh) 在感知上保持参考场景的对比度和色度
CN107154059B (zh) 一种高动态范围视频处理方法
US9894287B2 (en) Method and apparatus for acquiring a high dynamic image using multiple cameras
US8988552B2 (en) Image formats and related methods and apparatuses
JP5457652B2 (ja) 画像処理装置およびその方法
US10332481B2 (en) Adaptive display management using 3D look-up table interpolation
EP3306915A1 (en) Method and apparatus for controlling image data
US20190082138A1 (en) Inverse tone-mapping to a virtual display
US10205940B1 (en) Determining calibration settings for displaying content on a monitor
US8164650B2 (en) Image processing apparatus and method thereof
WO2018175337A1 (en) Perceptually preserving scene-referred contrasts and chromaticities
WO2017096855A1 (zh) 伽马参数的动态调整方法及装置
JP5369751B2 (ja) 画像処理装置、撮像装置、画像処理プログラム
EP3416364A1 (en) Color characterization of a display system having a dynamic display control unit
JP2016170637A (ja) 画像処理装置および画像処理方法
CN115426485A (zh) 色彩矫正矩阵调整方法、摄像设备、电子设备及存储介质
JP2015049274A (ja) 表示装置、表示装置の制御方法、及び、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant