KR102120269B1 - 하이 다이내믹 레인지 비디오/이미징을 위한 노출 시간들의 세트를 축소시키기 위한 디바이스 및 방법 - Google Patents

하이 다이내믹 레인지 비디오/이미징을 위한 노출 시간들의 세트를 축소시키기 위한 디바이스 및 방법 Download PDF

Info

Publication number
KR102120269B1
KR102120269B1 KR1020187016107A KR20187016107A KR102120269B1 KR 102120269 B1 KR102120269 B1 KR 102120269B1 KR 1020187016107 A KR1020187016107 A KR 1020187016107A KR 20187016107 A KR20187016107 A KR 20187016107A KR 102120269 B1 KR102120269 B1 KR 102120269B1
Authority
KR
South Korea
Prior art keywords
channel
block
pixel
images
value
Prior art date
Application number
KR1020187016107A
Other languages
English (en)
Other versions
KR20180084851A (ko
Inventor
오나이 우르팔리오글루
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20180084851A publication Critical patent/KR20180084851A/ko
Application granted granted Critical
Publication of KR102120269B1 publication Critical patent/KR102120269B1/ko

Links

Images

Classifications

    • H04N5/2355—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H04N5/23245—
    • H04N5/2352—
    • H04N5/2356—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 개시내용은 하이 다이내믹 레인지(HDR) 이미지를 획득하기 위한 방법을 제공한다. 이 방법은 선택 가능한 노출 시간들의 메인 세트와 메인 세트의 각각의 서브세트들인 복수의 후보 축소 세트를 저장하는 단계, 메인 세트의 제각기 각각의 노출 시간에서 캘리브레이션 이미지들의 캡처를 제어하는 단계, 각각의 후보 축소 세트에 대해, 후보 축소 세트의 노출 시간들을 이용해 캡처된 캘리브레이션 이미지들을 선택하고 선택된 캘리브레이션 이미지들의 강도들에 의존하는 스코어 값을 계산하는 단계, 계산된 스코어 값들을 기초로 하여 후보 축소 세트들로부터 후보 축소 세트를 선택하는 단계; 및 HDR 이미지를 획득하기 위해 선택된 후보 축소 세트의 제각기 각각의 노출 시간에서 복수의 이미지의 캡처를 제어하는 단계를 포함한다.

Description

하이 다이내믹 레인지 비디오/이미징을 위한 노출 시간들의 세트를 축소시키기 위한 디바이스 및 방법
본 개시내용은 일반적으로 컴퓨터 비전과 계산 사진의 분야에 관한 것으로, 특히 하이 다이내믹 레인지 이미징(High Dynamic Range Imaging) 및 비디오의 작업에 관한 것이다.
본 개시내용은 하이 다이내믹 레인지 이미징(HDRI) 및 비디오를 개선하는 것에 관한 주제를 다룬다. 하이 다이내믹 레인지(HDR)는 스마트폰, 카메라 등과 같은, 현재 및 미래의 이미지 및 비디오 캡처 디바이스들의 품질을 개선하는 중요한 방법이다. HDRI는 전형적으로 상이하게 노출된 이미지들을 캡처하고 이들을 HDR 이미지로 병합함으로써 실현된다. 상이한 노출 설정들과 대응하는 이미지들이 더 많이 캡처될수록, 최종 HDR 이미지의 품질이 더 좋아진다.
본 개시내용의 맥락에서, 노출 시간은 이미지 또는 비디오 프레임의 캡처 동안 캡처 디바이스가 노출되는 광의 양을 제어하는 시간 간격이다. 더 클수록 이미지/프레임은 더 밝아진다. 2D 이미지 또는 사진은 하나 카메라로 획득된 통상의 2차원 이미지이며, 여기서 이미지는 예를 들어 RGB 또는 색차-휘도 값들에 의하여 정의될 수 있다. 텍스처는 컬러 강도들의 상당한 변동을 가진 콘텐츠를 묘사하는 이미지 내에 영역이다. 과다 노출된 이미지 영역은, 영역의 대부분이 백색이 되도록, 너무 많은 광 노출을 갖는 이미지 영역이다. 부족 노출된 이미지 영역은, 영역의 대부분이 흑색이 되도록, 너무 적은 광 노출을 갖는 이미지 영역이다.
최신 기술에서는 HDR 처리가 미리 정의된 상이한 노출 시간들의 세트에 기초한다는 것이 알려져 있는데, 즉, HDR 이미지는 미리 정의된 노출 시간들에서 캡처된 복수의 이미지를 병합함으로써 획득된다. 그러나, 미리 정의된 노출 시간들의 세트는 미리 정의되기 때문에, 생성된 HDR 이미지에서 텍스처 정보가 손실될 수 있다.
특정 응용들에 대해, 이용될 상이한 노출 시간들의 세트는 제한된다. 예를 들어, 상이한 노출 시간들에 캡처된 이미지들의 세트는 시간 제약 조건들에 의해 제한된다. 이것은 이미지 HDR에 대해 적용되지만 특히 비디오 HDR 응용들에 대해 적용된다.
위에 언급된 단점들 및 문제점들을 인식하여, 본 개시내용은 최신 기술을 개선하는 것을 목적으로 한다. 특히, 본 개시내용의 목적은 특히 예를 들어 HDR 비디오 응용들에서와 같이 시간 제약 조건들 하에서, 개선된 HDR 이미징 성능을 제공하는 것이다. 추가의 목적은 이미지 HDR와 비디오 HDR 응용들에 대한 HDR 이미징을 위한 효율적인 솔루션을 제공하는 것이다.
예를 들어, 비디오 HDR에서는, 교호하는 노출 시간들을 갖는 이미지들이 각각의 시간 단계에서 캡처되고 병합된다. 그러므로, 상이한 노출 시간들의 세트는 고스팅 효과(ghosting effects)를 방지하기 위해 가능한 한 작아야 한다. 이상적으로는, 2개의 상이한 노출 시간만이 이용된다. 그러나, 노출 시간들의 세트는 2개의 미리 정의된 노출 시간을 포함하기 때문에, 생성된 HDR 이미지 또는 비디오에서 텍스처 정보가 손실될 수 있다.
본 개시내용은 특히 최종 HDR 이미지에 대해 너무 많은 텍스처 또는 이미지 정보를 손실하지 않으면서 더 큰 상이한 노출 시간들의 세트로부터 작은 세트를 선택함으로써 HDR 이미징 성능을 개선하려고 한다.
위에 언급된 본 개시내용의 목적은 첨부된 독립 청구항들에 제공되는 솔루션에 의해 달성된다. 본 개시내용의 유리한 구현들은 각각의 종속 청구항들에서 추가로 정의된다.
본 개시내용의 제1 양태는 하이 다이내믹 레인지(HDR) 이미지를 획득하기 위해 복수의 이미지의 캡처를 제어하도록 적응된 디바이스를 제공한다. 디바이스는 선택 가능한 노출 시간들의 메인 세트와 메인 세트의 각각의 서브세트들인 복수의 후보 축소 세트를 저장하도록 적응된 저장 유닛을 포함한다. 디바이스는 메인 세트의 제각기 각각의 노출 시간에서 캘리브레이션 이미지들의 캡처를 제어하도록 적응된 캘리브레이션 제어 유닛을 포함한다. 디바이스는, 각각의 후보 축소 세트에 대해, 후보 축소 세트의 노출 시간들을 이용해 캡처된 캘리브레이션 이미지들을 선택하고 선택된 캘리브레이션 이미지들의 강도들에 의존하는 스코어 값을 계산하도록 적응된 컴퓨팅 유닛을 포함한다. 디바이스는 모든 후보 축소 세트들의 계산된 스코어 값들을 기초로 하여 복수의 축소 후보 세트 중에서 후보 축소 세트를 선택하도록 적응된 선택 유닛을 포함한다. 디바이스는 HDR 이미지를 획득하기 위해 선택된 후보 축소 세트의 제각기 각각의 노출 시간에서 복수의 이미지의 캡처를 제어하도록 적응된 HDR 제어 유닛을 포함한다.
그에 의해, 선택된 캘리브레이션 이미지들의 강도들에 의존하는 스코어 값을 계산하도록 적응된 컴퓨팅 유닛, 및 계산된 스코어 값들을 기초로 하여 후보 축소 세트를 선택하도록 적응된 선택 유닛을 제공함으로써, HDR 제어 유닛은 이미지와 텍스처 세부사항들이 보존될 수 있는 방식으로 복수의 이미지의 캡처를 제어하도록 유리하게 적응된다. 선택된 후보 축소 세트의 노출 시간들은 캡처된 이미지들의 이미지와 텍스처 세부사항들이 HDR 이미징을 위해 유리하게 보존될 수 있도로록 선택 유닛에 의해 유리하게 선택된다.
특히, 저장 유닛에 의해 저장된 메인 세트는 상이한 선택 가능한 노출 시간들의 고정된 세트일 수 있다. 대안적으로, 메인 세트는 상이한 선택 가능한 노출 시간들의 고정된 세트의 서브-파트일 수 있다. 메인 세트는 고정된 세트로부터 선택되는 서브-파트일 수 있거나, 또는 다시 말해서, 메인 세트를 획득하기 위해 고정된 세트로부터 일부 노출 시간들이 제외될 수 있다. 예를 들어, 메인 세트는 이미지 캡처 조건들에 의존하여, 예를 들어 밝기에 의존하여, 또는 사용자에 의해 이루어진 사용자 선택에 의존하여 선택되는 서브-파트일 수 있다. 이미지 캡처 조건들에 의존하는 선택의 예는 밝기에 의존하여 디바이스에 의해 자동으로 선택된 메인 세트이며, 따라서 예를 들어 메인 세트는 최적 축소 세트가 검색되는 야간 또는 어두운 상황들에 대한 서브-세트일 수 있다. 추가의 예는 사용자에 의해 이루어진 장면 모드 선택에 의존하여 선택된 메인 세트이고, 그러한 선택 모드는 예를 들어 인물화, 풍경, 일몰, 실내, 야간 인물화, 또는 스포츠이다.
특히, 캘리브레이션 이미지들은 캘리브레이션을 위해 이용되는 이미지들이다. 이들 이미지는 임의의 유형의 이미지들일 수 있고 특정 패턴이 요구되지 않는다. 특히, 캘리브레이션 이미지들에서는 미리 정의된 패턴 또는 미리 정의된 컬러가 요구되지 않는다.
특히, HDR 제어 유닛은 선택된 후보 축소 세트의 노출 시간들에서만 복수의 이미지의 캡처를 제어하도록 적응된다. 그때 캡처는 선택된 후보 축소 세트의 노출 시간들에서만 수행되고, 선택된 후보 축소 세트에 속하지 않는 추가의 노출 시간들에서는 수행되지 않는다. 다시 말해서, HDR 이미지는 선택된 후보 축소 세트의 노출 시간들에서만 캡처되는 이미지들을 병합함으로써 획득된다.
특히, 선택 유닛은 복수의 후보 축소 세트 중에서, 최적 스코어 값, 예를 들어 최고 또는 최저 스코어 값을 가진 후보 축소 세트를 선택하도록 적응될 수 있다. 최적 스코어 값은 대응하는 캘리브레이션 이미지들에서의 높은 양의 무질서를 반영할 수 있다. 따라서, 최적 스코어 값은 스코어 값의 특정 계산에 의존하여, 즉, 상기 높은 양의 무질서가 최고 또는 최저 스코어 값에 의해 반영되는지에 의존하여 최고 또는 최저 스코어 값에 대응할 수 있다.
특히, 디바이스는 HDR 캘리브레이션 모드와 HDR 동작 모드 사이에 전환하도록 적응된다. 상기 HDR 캘리브레이션 모드에서, 저장 유닛은 선택 가능한 노출 시간들의 메인 세트와 메인 세트의 각각의 서브세트들인 복수의 후보 축소 세트를 저장하도록 적응되고, 캘리브레이션 제어 유닛은 메인 세트의 제각기 각각의 노출 시간에서 캘리브레이션 이미지들의 캡처를 제어하도록 적응되고, 컴퓨팅 유닛은, 각각의 후보 축소 세트에 대해, 후보 축소 세트의 노출 시간들을 이용해 캡처된 캘리브레이션 이미지들을 선택하고 선택된 캘리브레이션 이미지들의 강도들에 의존하는 스코어 값을 계산하도록 적응되고, 선택 유닛은 모든 후보 축소 세트들의 계산된 스코어 값들을 기초로 하여 복수의 후보 축소 세트 중에서 후보 축소 세트를 선택하도록 적응된다. 상기 HDR 동작 모드에서, HDR 제어 유닛은 HDR 이미지를 획득하기 위해 선택된 후보 축소 세트의 제각기 각각의 노출 시간에서 복수의 이미지의 캡처를 제어하도록 적응된다.
제1 양태에 따른 디바이스의 제1 구현 형태에서, 캘리브레이션 이미지들은 채널을 갖는다. 게다가, 컴퓨팅 유닛은 각각의 후보 축소 세트에 대해:
- 블록 위치들을 정의하는 그리드에 따라 각각의 선택된 캘리브레이션 이미지의 채널을 픽셀 블록들로 분할하는 것;
- 각각의 선택된 캘리브레이션 이미지의 채널의 각각의 픽셀 블록에 대해, 픽셀 블록에서의 픽셀 강도들에 의존하는 강도-의존 값을 계산하고 이 강도-의존 값을 픽셀 블록에 연관시키는 것;
- 각각의 블록 위치에 대해, 상기 블록 위치에서 각각의 선택된 캘리브레이션 이미지의 채널의 픽셀 블록들을 포함하는 블록 스택을 정의하는 것;
- 각각의 블록 스택에 대해, 블록 스택을 형성하는 픽셀 블록들에 연관된 강도-의존 값들의 최적 값을 식별하는 것; 및
- 채널의 각각의 블록 스택에 대해 식별된 최적 값들을 기초로 하여 후보 축소 세트의 채널 스코어 값을 계산하는 것
에 의해 선택된 캘리브레이션 이미지들의 채널의 강도들에 의존하는 스코어 값을 계산하도록 적응되고,
상기 채널 스코어 값은 상기 스코어 값이다.
그에 의해, 계산된 스코어 값은 선택된 캘리브레이션 이미지들의 텍스처 세부사항들의 양을 반영하는 파라미터라는 점에서 유리하다. 또한, 전체 이미지를 사용하는 것 대신에 픽셀 블록 형성은 작은 영역 이미지-세부사항들이 잠재적으로 보존될 수 있고 계산된 스코어 값이 선택된 캘리브레이션 이미지들의 텍스처를 반영하도록 이미지의 더 작은 영역들을 분리하는 데 도움이 된다.
픽셀 강도는 픽셀 블록 내의 픽셀의 강도와 관련될 수 있다. 대안적으로, 픽셀 강도는 픽셀 블록 내의 픽셀들의 그룹의 강도와 관련될 수 있다. 픽셀의 그룹은 이미지 코딩에서 이용된 매크로 블록과 비교할 만하고, 예를 들어, 예를 들어 8*8 픽셀들의 직사각형 또는 정사각형 그룹으로 이루어질 수 있다. 픽셀들의 그룹의 픽셀 강도는 픽셀들의 그룹의 각각의 픽셀의 강도를 평균화함으로써 획득될 수 있다.
채널은 RGB 컬러 공간에서 적색, 녹색 및 청색 채널들 중 하나일 수 있다. 캘리브레이션 이미지들은 그레이스케일 디지털 이미지들일 수 있다. 그 경우에, 그레이스케일 이미지들은 하나의 채널만을 갖는다. 대안적인 컬러 공간들도 하나 이상의 채널을 정의한다. 예를 들어, YUV 또는 Y'UV 컬러 공간들에서, 채널은 휘도(Y) 또는 루마(Y')에 대응할 수 있다. 바람직하게는, 채널은 이미지에서의 픽셀 강도들을 반영하는 채널일 수 있다.
특히, 강도-의존 값들의 최적 값을 식별하는 것은 강도-의존 값들의 최대 또는 최소 값이 블록 스택에서의 가장 높은 양의 무질서를 반영하는지에 각각 의존하여, 강도-의존 값들의 최대 또는 최소 값을 식별하는 것에 있을 수 있다. 바람직하게는, 강도-의존 값들의 최적 값을 식별하는 것은 강도-의존 값들의 최대 값을 식별하는 것에 있을 수 있다.
제1 양태에 따른 디바이스의 제2 구현 형태에서, 캘리브레이션 이미지들은 단일 채널을 가진 단일 채널 이미지들이거나 또는 디바이스는 캘리브레이션 이미지들을 단일 채널을 가진 단일 채널 이미지들로 변환하도록 적응된 변환 유닛을 포함한다.
그에 의해, 이미지와 텍스처 세부사항들이 HDR 이미징을 위해 보존될 것이기 때문에, 단일 채널 캘리브레이션 이미지들로 후보 축소 세트를 선택하기에 충분한데 그 이유는 단일 채널 캘리브레이션 이미지들이 캘리브레이션 이미지들에서의 강도 변화들을 반영하기 때문이다. 단일 채널을 이용하는 것은 이미지의 강도 특성들과 변동들을 여전히 유지하면서 효율적인 처리를 허용한다.
예를 들어, 단일 채널은 RGB 컬러 공간에서 적색, 녹색 및 청색 채널들 중 하나일 수 있다. 캘리브레이션 이미지들은 그레이스케일 디지털 이미지들일 수 있다. 대안적인 YUV 또는 Y'UV 컬러 공간들에서, 단일 채널은 휘도(Y) 또는 루마(Y')에 대응할 수 있다. 캘리브레이션 이미지들이 단일 채널 이미지들로서 이용 가능하지 않은 경우, 본 개시내용은 다중 채널 캘리브레이션 이미지들을 단일 채널 캘리브레이션 이미지들로 변환할 것을 유리하게 제안한다. 컬러 이미지들은 수 개의 스택된 컬러 채널들로 구성되고, 그것들 각각은 주어진 채널의 값 레벨들을 나타낸다. 예를 들어, 적색(R), 녹색(G) 및 청색(B) 컬러 성분들에 대한 3개의 독립적인 채널로 구성된 RGB 이미지들은 예를 들어 상이한 채널들의 컬러 성분들을 가중 평균화함으로써 그레이스케일 이미지로 변환될 수 있다. 변환된 단일 채널은 또한 YUV 또는 Y'UV 컬러 공간들의 휘도 Y 또는 루마(Y')일 수 있다. 휘도는 예를 들어 다음의 수학식에 의하여 3개의 RGB 컬러 성분의 선형 조합에 의해 획득될 수 있다: Y = 0,2126 R + 0,7152 G + 0,0722 B.
제1 양태에 따른 디바이스의 제3 구현 형태에서, 캘리브레이션 이미지들은 복수의 채널을 갖고, 컴퓨팅 유닛은 각각의 후보 축소 세트에 대해:
- 블록 위치들을 정의하는 그리드에 따라 각각의 선택된 캘리브레이션 이미지의 각각의 채널을 픽셀 블록들로 분할하는 것;
- 각각의 선택된 캘리브레이션 이미지의 각각의 채널의 각각의 픽셀 블록에 대해, 픽셀 블록에서의 픽셀 강도들에 의존하는 강도-의존 값을 계산하고 이 강도-의존 값을 픽셀 블록에 연관시키는 것;
- 각각의 채널 및 각각의 블록 위치에 대해, 상기 블록 위치에서 각각의 선택된 캘리브레이션 이미지의 상기 채널의 픽셀 블록들을 포함하는 블록 스택을 정의하는 것;
- 각각의 블록 스택에 대해, 블록 스택을 형성하는 픽셀 블록들에 연관된 강도-의존 값들의 최적 값을 식별하는 것;
- 각각의 채널에 대해, 채널의 각각의 블록 스택에 대해 식별된 최적 값들을 기초로 하여 후보 축소 세트의 채널 스코어 값을 계산하는 것; 및
- 각각의 채널의 각각의 채널 스코어 값들에 의존하는 스코어 값을 계산하는 것
에 의해 선택된 캘리브레이션 이미지들의 채널의 강도들에 의존하는 스코어 값을 계산하도록 적응된다.
그에 의해, 스코어 값을 계산하기 위해 복수의 채널을 가진 캘리브레이션 이미지들의 이용은 후보 축소 세트의 선택을 개선할 수 있는데 그 이유는 스코어 값은 그때 캘리브레이션 이미지들에서의 더 많은 강도 특성들과 변동들을 고려하기 때문이다.
제1 양태에 따른 디바이스의 제1 구현 형태의 추가의 특징들 및 효과들은 제1 양태에 따른 디바이스의 제3 구현 형태에도 적용된다. 다시 말해서, 채널을 가진 캘리브레이션 이미지들의 경우에 관한 특징들 및 효과들은 복수의 채널을 가진 캘리브레이션 이미지들의 경우에도 적용된다.
제1 양태에 따른 디바이스의 제4 구현 형태에서, 캘리브레이션 이미지들은 다중-채널 이미지들이고 스코어 값은 각각의 채널의 각각의 채널 스코어 값들을 함으로써, 또는 각각의 채널의 채널 스코어 값들 중에서 최적 채널 스코어를 선택함으로써 계산된다.
다중-채널 이미지들은 예를 들어 RGB 컬러 공간에서 또는 이미지들에서의 픽셀 강도들을 바람직하게 반영하는 수 개의 채널을 포함하는 대안적인 컬러 공간에서 정의된 이미지들일 수 있다.
그에 의해, 각각의 채널의 각각의 채널 스코어 값들을 하는 것은, 계산된 스코어 값이 각각의 채널의 강도 특성들을 유리하게 고려하도록, 각각의 채널 스코어 값들을 가산하거나 승산하는 데 있을 수 있다. 대안적으로, 각각의 채널의 각각의 채널 스코어 값들을 하는 것은, 스코어 값의 계산이 단순화될 수 있도록, 각각의 채널의 채널 스코어 값들 중에서, 최적 채널 스코어, 예를 들어 최대 스코어 값을 선택하는 데 있을 수 있다.
제1 양태에 따른 디바이스의 제5 구현 형태에서, 컴퓨팅 유닛은:
- 픽셀 블록의 픽셀 강도들의 히스토그램을 계산하는 것; 및
- 픽셀 블록의 픽셀 강도들의 히스토그램에 기초하여 픽셀 블록의 엔트로피 값을 계산하는 것 - 상기 엔트로피 값은 강도-의존 값에 대응함 -
에 의해 픽셀 블록에서의 픽셀 강도들에 의존하는 강도-의존 값을 계산하도록 적응된다.
그에 의해, 엔트로피 값은 그것이 이미지들에서의 무질서, 예를 들어 빠르게 변화하는 콘텐츠의 양에 대한 일반적인 척도라는 점에서 유리하다. 이미지에서의 높은 텍스처도 빠르게 변화하는 픽셀 강도들을 포함하고, 본 개시내용은 그것을 HDR 콘텐츠에서 유리하게 보존한다.
제1 양태에 따른 디바이스의 제6 구현 형태에서, 픽셀 블록의 엔트로피 값은 다음 수학식:
Figure 112018055730553-pct00001
에 따라 계산되고, pi는 캘리브레이션 이미지 m의 픽셀 블록 b에서의 픽셀 강도 i의 발생의 확률이고, b는 블록 인덱스이고, m은 이미지 인덱스이다.
제1 양태에 따른 디바이스의 제7 구현 형태에서, 컴퓨팅 유닛은:
- 픽셀 블록의 픽셀 강도들의 분산 값을 계산하는 것
에 의해 픽셀 블록에서의 픽셀 강도들에 의존하는 강도-의존 값을 계산하도록 적응된다.
그에 의해, 분산 값은 그것도 이미지들에서의 무질서, 예를 들어 빠르게 변화하는 콘텐츠의 양을 반영한다는 점에서 엔트로피 기반 방법에 대한 대안으로서 유리하다.
픽셀 강도들은 픽셀 블록의 픽셀들의 강도들 또는 픽셀 블록의 픽셀들의 그룹들의 강도들과 관련될 수 있다.
제1 양태에 따른 디바이스의 제8 구현 형태에서, 픽셀 블록의 픽셀 강도들의 분산 값은 다음 수학식:
Figure 112018055730553-pct00002
에 따라 계산되고, X와 Y는 픽셀 블록의 크기이고,
i(x,y)는 픽셀 블록 내의 픽셀 위치 (x,y)에서의 픽셀 강도이고,
a는 픽셀 블록 내의 평균 픽셀 강도 값이다.
그에 의해, 수학식에 따른 이 계산은 픽셀 강도들의 분산 값에 기초하여 강도-의존 값을 계산하기 위한 유리한 구현이다.
제1 양태에 따른 디바이스의 제9 구현 형태에서, 컴퓨팅 유닛은:
- 블록 스택을 형성하는 픽셀 블록들에 연관된 강도-의존 값들의 최대 값을 식별하는 것
에 의해 블록 스택을 형성하는 픽셀 블록들에 연관된 강도-의존 값들의 최적 값을 식별하도록 적응되고,
컴퓨팅 유닛은:
- 채널의 각각의 블록 스택에 대해 각각 식별된 최대 값들 또는 그로부터 유도된 값들을 가산하거나 승산하는 것
에 의해 채널의 각각의 블록 스택에 대해 식별된 최적 값들을 기초로 하여 후보 축소 세트의 채널 스코어 값을 계산하도록 적응된다.
그에 의해, 최대 값들뿐만 아니라 가산 또는 승산의 이용은 후보 축소 세트의 최적 선택을 제공할 수 있다.
특히, 최대 값들로부터 유도된 값들은 그것의 로그 값일 수 있다. 그때, 채널의 각각의 블록 스택에 대해, 식별된 최대 값의 로그 값을 계산하고, 계산된 로그 값들을 가산하는 것은 그러한 계산이 수치적 불안정성을 회피할 수 있다는 점에서 유리할 수 있다.
특히, 채널의 각각의 블록 스택에 대해 각각 식별된 최대 값들을 승산하는 것은 로그 값들을 가산하는 것을 포함하는 솔루션에 대한 대안적인 솔루션일 수 있다.
제1 양태에 따른 디바이스의 제10 구현 형태에서, 그리드에 의해 정의된 블록 위치들은 인접하거나 중첩된다.
그에 의해, 픽셀 블록들은 전체 캘리브레이션 이미지들을 커버하기 위해 중첩되지 않고 인접할 수 있다. 대안적으로, 픽셀 블록들은 더 정확한 결과들을 획득하기 위해 중첩될 수 있다.
제1 양태에 따른 디바이스의 제11 구현 형태에서, 복수의 후보 축소 세트는 사용자에 의해 정의되는 또는 미리 정의되는 공통 크기를 갖는다.
제2 본 개시내용의 양태는 본 개시내용의 제1 양태에 따른 디바이스, HDR 이미지 처리 유닛 및 적어도 카메라를 포함하는 시스템을 제공한다. 캘리브레이션 제어 유닛은 상기 적어도 카메라에 의한 캘리브레이션 이미지들의 캡처를 제어하도록 적응된다. HDR 제어 유닛은 상기 적어도 카메라에 의한 복수의 이미지의 캡처를 제어하도록 적응된다. HDR 이미지 처리 유닛은 HDR 이미지를 획득하기 위해 복수의 이미지를 병합하도록 적응된다.
그에 의해, HDR 제어 유닛은 이미지와 텍스처 세부사항들이 보존될 수 있는 방식으로 복수의 이미지의 캡처를 제어하도록 유리하게 적응된다. 선택된 후보 축소 세트의 노출 시간들은 캡처된 이미지들의 이미지와 텍스처 세부사항들이 유리하게 보존될 수 있도록, 또한 획득된 HDR 이미지가 개선될 수 있도록 선택 유닛에 의해 유리하게 선택된다.
특히, HDR 제어 유닛은 선택된 후보 축소 세트의 노출 시간들에서만 복수의 이미지의 캡처를 제어하도록 적응되고 HDR 이미지 처리 유닛은 선택된 후보 축소 세트의 노출 시간들에서 캡처된 이미지들만을 병합하도록 적응된다.
특히, 시스템은 HDR 캘리브레이션 모드와 HDR 동작 모드 사이에 전환하도록 적응된다. 상기 HDR 캘리브레이션 모드에서, 캘리브레이션 제어 유닛은 상기 적어도 카메라(101)에 의한 캘리브레이션 이미지들의 캡처를 제어하도록 적응된다. 상기 HDR 동작 모드에서, HDR 제어 유닛은 상기 적어도 카메라에 의한 복수의 이미지의 캡처를 제어하도록 적응된다. 상기 HDR 동작 모드에서, HDR 이미지 처리 유닛은 HDR 이미지를 획득하기 위해 복수의 이미지를 병합하도록 적응된다.
본 개시내용의 제3 양태는 하이 다이내믹 레인지(HDR) 이미지를 획득하기 위해 복수의 이미지의 캡처를 제어하기 위한 방법을 제공한다. 방법은 선택 가능한 노출 시간들의 메인 세트와 메인 세트의 각각의 서브세트들인 복수의 후보 축소 세트를 저장하는 단계를 포함한다. 방법은 메인 세트의 제각기 각각의 노출 시간에서 캘리브레이션 이미지들의 캡처를 제어하는 단계를 포함한다. 방법은, 각각의 후보 축소 세트에 대해, 후보 축소 세트의 노출 시간들을 이용해 캡처된 캘리브레이션 이미지들을 선택하는 단계 및 선택된 캘리브레이션 이미지들의 강도들에 의존하는 스코어 값을 계산하는 단계를 포함한다. 방법은 모든 후보 축소 세트들의 계산된 스코어 값들을 기초로 하여 복수의 후보 축소 세트 중에서 후보 축소 세트를 선택하는 단계를 포함한다. 방법은 HDR 이미지를 획득하기 위해 선택된 후보 축소 세트의 제각기 각각의 노출 시간에서 복수의 이미지의 캡처를 제어하는 단계를 포함한다.
그에 의해, 선택된 캘리브레이션 이미지들의 강도들에 의존하는 스코어 값을 계산하고, 계산된 스코어 값들을 기초로 하여 후보 축소 세트를 선택함으로써, 이미지와 텍스처 세부사항들이 보존될 수 있는 방식으로 복수의 이미지의 캡처를 제어하는 것이 유리하게 가능하다. 선택된 후보 축소 세트의 노출 시간들은 캡처된 이미지들의 이미지와 텍스처 세부사항들이 HDR 이미징을 위해 유리하게 보존될 수 있도록 유리하게 선택된다.
특히, 메인 세트는 상이한 선택 가능한 노출 시간들의 고정된 세트일 수 있다. 대안적으로, 메인 세트는 상이한 선택 가능한 노출 시간들의 고정된 세트의 서브-파트일 수 있다. 메인 세트는 고정된 세트로부터 선택되는 서브-파트일 수 있거나, 또는 다시 말해서, 메인 세트를 획득하기 위해 고정된 세트로부터 일부 노출 시간들이 제외될 수 있다. 예를 들어, 메인 세트는 이미지 캡처 조건들에 의존하여, 예를 들어 밝기에 의존하여, 또는 사용자에 의해 이루어진 사용자 선택에 의존하여 선택되는 서브-파트일 수 있다. 이미지 캡처 조건들에 의존하는 선택의 예는 밝기에 의존하여 자동으로 선택된 메인 세트이며, 따라서 예를 들어 메인 세트는 최적 축소 세트가 검색되는 야간 또는 어두운 상황들에 대한 서브-세트일 수 있다. 추가의 예는 사용자에 의해 이루어진 장면 모드 선택에 의존하여 선택된 메인 세트이고, 그러한 선택 모드는 예를 들어 인물화, 풍경, 일몰, 실내, 야간 인물화, 또는 스포츠이다.
특히, 캘리브레이션 이미지들은 캘리브레이션을 위해 이용되는 이미지들이다. 이들 이미지는 임의의 유형의 이미지들일 수 있고 특정 패턴이 요구되지 않는다. 특히, 캘리브레이션 이미지들에서는 미리 정의된 패턴 또는 미리 정의된 컬러가 요구되지 않는다.
특히, 선택된 후보 축소 세트의 노출 시간들에서만 복수의 이미지의 캡처를 제어하는 것이 유리하다. 그때 캡처는 선택된 후보 축소 세트의 노출 시간들에서만 수행되고, 선택된 후보 축소 세트에 속하지 않는 추가의 노출 시간들에서는 수행되지 않는다. 다시 말해서, HDR 이미지는 선택된 후보 축소 세트의 노출 시간들에서만 캡처되는 이미지들을 병합함으로써 획득된다.
특히, 복수의 후보 축소 세트 중에서, 최적 스코어 값, 예를 들어 최고 또는 최저 스코어 값을 가진 후보 축소 세트를 선택하는 것이 유리하다. 최적 스코어 값은 대응하는 캘리브레이션 이미지들에서의 높은 양의 무질서를 반영할 수 있다. 따라서, 최적 스코어 값은 스코어 값의 특정 계산에 의존하여, 즉, 상기 높은 양의 무질서가 최고 또는 최저 스코어 값에 의해 반영되는지에 의존하여 최고 또는 최저 스코어 값에 대응할 수 있다.
특히, 방법은 HDR 캘리브레이션 모드와 HDR 동작 모드 사이에 전환하도록 적응된다. 상기 HDR 캘리브레이션 모드는 선택 가능한 노출 시간들의 메인 세트와 메인 세트의 각각의 서브세트들인 복수의 후보 축소 세트를 저장하고, 메인 세트의 제각기 각각의 노출 시간에서 캘리브레이션 이미지들의 캡처를 제어하고, 각각의 후보 축소 세트에 대해, 후보 축소 세트의 노출 시간들을 이용해 캡처된 캘리브레이션 이미지들을 선택하고 선택된 캘리브레이션 이미지들의 강도들에 의존하는 스코어 값을 계산하고, 모든 후보 축소 세트들의 계산된 스코어 값들을 기초로 하여 복수의 후보 축소 세트 중에서 후보 축소 세트를 선택하는 것을 포함한다. 상기 HDR 동작 모드는 HDR 이미지를 획득하기 위해 선택된 후보 축소 세트의 제각기 각각의 노출 시간에서 복수의 이미지의 캡처를 제어하는 것을 포함한다.
제3 양태에 따른 방법의 제1 구현 형태에서, 캘리브레이션 이미지들은 채널을 갖는다. 게다가, 각각의 후보 축소 세트에 대해, 선택된 캘리브레이션 이미지들의 채널의 강도들에 의존하는 스코어 값을 계산하는 것은:
- 블록 위치들을 정의하는 그리드에 따라 각각의 선택된 캘리브레이션 이미지의 채널을 픽셀 블록들로 분할하는 것;
- 각각의 선택된 캘리브레이션 이미지의 채널의 각각의 픽셀 블록에 대해, 픽셀 블록에서의 픽셀 강도들에 의존하는 강도-의존 값을 계산하고 이 강도-의존 값을 픽셀 블록에 연관시키는 것;
- 각각의 블록 위치에 대해, 상기 블록 위치에서 각각의 선택된 캘리브레이션 이미지의 채널의 픽셀 블록들을 포함하는 블록 스택을 정의하는 것;
- 각각의 블록 스택에 대해, 블록 스택을 형성하는 픽셀 블록들에 연관된 강도-의존 값들의 최적 값을 식별하는 것; 및
- 채널의 각각의 블록 스택에 대해 식별된 최적 값들을 기초로 하여 후보 축소 세트의 채널 스코어 값을 계산하는 것을 포함하고,
상기 채널 스코어 값은 상기 스코어 값이다.
그에 의해, 계산된 스코어 값은 선택된 캘리브레이션 이미지들의 텍스처 세부사항들의 양을 반영하는 파라미터라는 점에서 유리하다. 또한, 전체 이미지를 사용하는 것 대신에 픽셀 블록 형성은 작은 영역 이미지-세부사항들이 잠재적으로 보존될 수 있고 계산된 스코어 값이 선택된 캘리브레이션 이미지들의 텍스처를 반영하도록 이미지의 더 작은 영역들을 분리하는 데 도움이 된다.
픽셀 강도는 픽셀 블록 내의 픽셀의 강도와 관련될 수 있다. 대안적으로, 픽셀 강도는 픽셀 블록 내의 픽셀들의 그룹의 강도와 관련될 수 있다. 픽셀의 그룹은 이미지 코딩에서 이용된 매크로 블록과 비교할 만하고, 예를 들어, 예를 들어 8*8 픽셀들의 직사각형 또는 정사각형 그룹으로 이루어질 수 있다. 픽셀들의 그룹의 픽셀 강도는 픽셀들의 그룹의 각각의 픽셀의 강도를 평균화함으로써 획득될 수 있다.
채널은 RGB 컬러 공간에서 적색, 녹색 및 청색 채널들 중 하나일 수 있다. 캘리브레이션 이미지들은 그레이스케일 디지털 이미지들일 수 있다. 그 경우에, 그레이스케일 이미지들은 하나의 채널만을 갖는다. 대안적인 컬러 공간들도 하나 이상의 채널을 정의한다. 예를 들어, YUV 또는 Y'UV 컬러 공간들에서, 채널은 휘도(Y) 또는 루마(Y')에 대응할 수 있다. 바람직하게는, 채널은 이미지에서의 픽셀 강도들을 반영하는 채널일 수 있다.
특히, 강도-의존 값들의 최적 값을 식별하는 것은 강도-의존 값들의 최대 또는 최소 값이 블록 스택에서의 가장 높은 양의 무질서를 반영하는지에 각각 의존하여, 강도-의존 값들의 최대 또는 최소 값을 식별하는 것에 있을 수 있다. 바람직하게는, 강도-의존 값들의 최적 값을 식별하는 것은 강도-의존 값들의 최대 값을 식별하는 것에 있을 수 있다.
제3 양태에 따른 방법의 제2 구현 형태에서, 캘리브레이션 이미지들은 단일 채널을 가진 단일 채널 이미지들이거나 또는 방법은 캘리브레이션 이미지들을 단일 채널을 가진 단일 채널 이미지들로 변환하는 단계를 포함한다.
그에 의해, 이미지와 텍스처 세부사항들이 HDR 이미징을 위해 보존될 것이기 때문에, 단일 채널 캘리브레이션 이미지들로 후보 축소 세트를 선택하기에 충분한데 그 이유는 단일 채널 캘리브레이션 이미지들이 캘리브레이션 이미지들에서의 강도 변화들을 반영하기 때문이다. 단일 채널을 이용하는 것은 이미지의 강도 특성들과 변동들을 여전히 유지하면서 효율적인 처리를 허용한다.
예를 들어, 단일 채널은 RGB 컬러 공간에서 적색, 녹색 및 청색 채널들 중 하나일 수 있다. 캘리브레이션 이미지들은 그레이스케일 디지털 이미지들일 수 있다. 대안적인 YUV 또는 Y'UV 컬러 공간들에서, 단일 채널은 휘도(Y) 또는 루마(Y')에 대응할 수 있다. 캘리브레이션 이미지들이 단일 채널 이미지들로서 이용 가능하지 않은 경우, 본 개시내용은 다중 채널 캘리브레이션 이미지들을 단일 채널 캘리브레이션 이미지들로 변환할 것을 유리하게 제안한다. 컬러 이미지들은 수 개의 스택된 컬러 채널들로 구성되고, 그것들 각각은 주어진 채널의 값 레벨들을 나타낸다. 예를 들어, 적색(R), 녹색(G) 및 청색(B) 컬러 성분들에 대한 3개의 독립적인 채널로 구성된 RGB 이미지들은 예를 들어 상이한 채널들의 컬러 성분들을 가중 평균화함으로써 그레이스케일 이미지로 변환될 수 있다. 변환된 단일 채널은 또한 YUV 또는 Y'UV 컬러 공간들의 휘도 Y 또는 루마(Y')일 수 있다. 휘도는 예를 들어 다음의 수학식에 의하여 3개의 RGB 컬러 성분의 선형 조합에 의해 획득될 수 있다: Y = 0,2126 R + 0,7152 G + 0,0722 B.
제3 양태에 따른 방법의 제3 구현 형태에서, 캘리브레이션 이미지들은 복수의 채널을 갖는다. 각각의 후보 축소 세트에 대해, 선택된 캘리브레이션 이미지들의 채널들의 강도들에 의존하는 스코어 값을 계산하는 것은:
- 블록 위치들을 정의하는 그리드에 따라 각각의 선택된 캘리브레이션 이미지의 각각의 채널을 픽셀 블록들로 분할하는 것;
- 각각의 선택된 캘리브레이션 이미지의 각각의 채널의 각각의 픽셀 블록에 대해, 픽셀 블록에서의 픽셀 강도들에 의존하는 강도-의존 값을 계산하고 이 강도-의존 값을 픽셀 블록에 연관시키는 것;
- 각각의 채널 및 각각의 블록 위치에 대해, 상기 블록 위치에서 각각의 선택된 캘리브레이션 이미지의 상기 채널의 픽셀 블록들을 포함하는 블록 스택을 정의하는 것;
- 각각의 블록 스택에 대해, 블록 스택을 형성하는 픽셀 블록들에 연관된 강도-의존 값들의 최적 값을 식별하는 것;
- 각각의 채널에 대해, 채널의 각각의 블록 스택에 대해 식별된 최적 값들을 기초로 하여 후보 축소 세트의 채널 스코어 값을 계산하는 것; 및
- 각각의 채널의 각각의 채널 스코어 값들에 의존하는 스코어 값을 계산하는 것을 포함한다.
그에 의해, 스코어 값을 계산하기 위해 복수의 채널을 가진 캘리브레이션 이미지들의 이용은 후보 축소 세트의 선택을 개선할 수 있는데 그 이유는 스코어 값은 그때 캘리브레이션 이미지들에서의 더 많은 강도 특성들과 변동들을 고려하기 때문이다.
제3 양태에 따른 방법의 제1 구현 형태의 추가의 특징들 및 효과들은 제3 양태에 따른 방법의 제3 구현 형태에도 적용된다. 다시 말해서, 채널을 가진 캘리브레이션 이미지들의 경우에 관한 특징들 및 효과들은 복수의 채널을 가진 캘리브레이션 이미지들의 경우에도 적용된다.
제3 양태에 따른 방법의 제4 구현 형태에서, 캘리브레이션 이미지들은 다중-채널 이미지들이고 스코어 값은 각각의 채널의 각각의 채널 스코어 값들을 함으로써, 또는 각각의 채널의 채널 스코어 값들 중에서 최적 채널 스코어를 선택함으로써 계산된다.
다중-채널 이미지들은 예를 들어 RGB 컬러 공간에서 또는 이미지들에서의 픽셀 강도들을 바람직하게 반영하는 수 개의 채널을 포함하는 대안적인 컬러 공간에서 정의된 이미지들일 수 있다.
그에 의해, 각각의 채널의 각각의 채널 스코어 값들을 하는 것은, 계산된 스코어 값이 각각의 채널의 강도 특성들을 유리하게 고려하도록, 각각의 채널 스코어 값들을 가산하거나 승산하는 데 있을 수 있다. 대안적으로, 각각의 채널의 각각의 채널 스코어 값들을 하는 것은, 스코어 값의 계산이 단순화될 수 있도록, 각각의 채널의 채널 스코어 값들 중에서, 최적 채널 스코어, 예를 들어 최대 스코어 값을 선택하는 데 있을 수 있다.
제3 양태에 따른 방법의 제5 구현 형태에서, 픽셀 블록에서의 픽셀 강도들에 의존하는 강도-의존 값을 계산하는 것은:
- 픽셀 블록의 픽셀 강도들의 히스토그램을 계산하는 것; 및
- 픽셀 블록의 픽셀 강도들의 히스토그램에 기초하여 픽셀 블록의 엔트로피 값을 계산하는 것 - 상기 엔트로피 값은 강도-의존 값에 대응함 - 을 포함한다.
그에 의해, 엔트로피 값은 그것이 이미지들에서의 무질서, 예를 들어 빠르게 변화하는 콘텐츠의 양에 대한 일반적인 척도라는 점에서 유리하다. 이미지에서의 높은 텍스처도 빠르게 변화하는 픽셀 강도들을 포함하고, 본 개시내용은 그것을 HDR 콘텐츠에서 유리하게 보존한다.
제3 양태에 따른 방법의 제6 구현 형태에서, 픽셀 블록의 엔트로피 값은 다음 수학식:
Figure 112018055730553-pct00003
에 따라 계산되고, pi는 캘리브레이션 이미지 m의 픽셀 블록 b에서의 픽셀 강도 i의 발생의 확률이고, b는 블록 인덱스이고, m은 이미지 인덱스이다.
제3 양태에 따른 방법의 제7 구현 형태에서, 픽셀 블록에서의 픽셀 강도들에 의존하는 강도-의존 값을 계산하는 것은:
- 픽셀 블록의 픽셀 강도들의 분산 값을 계산하는 것을 포함한다.
그에 의해, 분산 값은 그것도 이미지들에서의 무질서, 예를 들어 빠르게 변화하는 콘텐츠의 양을 반영한다는 점에서 엔트로피 기반 방법에 대한 대안으로서 유리하다.
픽셀 강도들은 픽셀 블록의 픽셀들의 강도들 또는 픽셀 블록의 픽셀들의 그룹들의 강도들과 관련될 수 있다.
제3 양태에 따른 방법의 제8 구현 형태에서, 픽셀 블록의 픽셀 강도들의 분산 값은 다음 수학식:
Figure 112018055730553-pct00004
에 따라 계산되고, X와 Y는 픽셀 블록의 크기이고,
i(x,y)는 픽셀 블록 내의 픽셀 위치 (x,y)에서의 픽셀 강도이고,
a는 픽셀 블록 내의 평균 픽셀 강도 값이다.
그에 의해, 수학식에 따른 이 계산은 픽셀 강도들의 분산 값에 기초하여 강도-의존 값을 계산하기 위한 유리한 구현이다.
제3 양태에 따른 방법의 제9 구현 형태에서, 블록 스택을 형성하는 픽셀 블록들에 연관된 강도-의존 값들의 최적 값을 식별하는 것은:
- 블록 스택을 형성하는 픽셀 블록들에 연관된 강도-의존 값들의 최대 값을 식별하는 것을 포함하고,
채널의 각각의 블록 스택에 대해 식별된 최적 값들을 기초로 하여 후보 축소 세트의 채널 스코어 값을 계산하는 것은:
- 채널의 각각의 블록 스택에 대해 각각 식별된 최대 값들 또는 그로부터 유도된 값들을 가산하거나 승산하는 것을 포함한다.
그에 의해, 최대 값들뿐만 아니라 가산 또는 승산의 이용은 후보 축소 세트의 최적 선택을 제공할 수 있다.
특히, 최대 값들로부터 유도된 값들은 그것의 로그 값일 수 있다. 그때, 채널의 각각의 블록 스택에 대해, 식별된 최대 값의 로그 값을 계산하고, 계산된 로그 값들을 가산하는 것은 그러한 계산이 수치적 불안정성을 회피할 수 있다는 점에서 유리할 수 있다.
특히, 채널의 각각의 블록 스택에 대해 각각 식별된 최대 값들을 승산하는 것은 로그 값들을 가산하는 것을 포함하는 솔루션에 대한 대안적인 솔루션일 수 있다.
제3 양태에 따른 방법의 제10 구현 형태에서, 그리드에 의해 정의된 블록 위치들은 인접하거나 중첩된다.
그에 의해, 픽셀 블록들은 전체 캘리브레이션 이미지들을 커버하기 위해 중첩되지 않고 인접할 수 있다. 대안적으로, 픽셀 블록들은 더 정확한 결과들을 획득하기 위해 중첩될 수 있다.
제3 양태에 따른 방법의 제11 구현 형태에서, 복수의 후보 축소 세트는 사용자에 의해 정의되는 또는 미리 정의되는 공통 크기를 갖는다.
본 개시내용의 제4 양태는 컴퓨터 프로그램이 컴퓨팅 디바이스 상에서 실행될 때 본 개시내용의 제3 양태에 따른 방법을 수행하기 위한 프로그램 코드를 가진 컴퓨터 프로그램을 제공한다.
본 개시내용에 따르면, HDR 캘리브레이션 모드에서 수 N의 노출 시간들로 이루어지는 후보 축소 세트 또는 서브세트는 이용 가능한 노출 시간들의 메인 세트 또는 기본 세트로부터 선택된다. 메인 세트는 수 M의 이용 가능한 노출 시간들 또는 후보 노출 시간들로 이루어지고, M>N이다. 그때 노출 시간들의 선택된 후보 축소 세트는 실제 HDR 처리를 위해, 예를 들어 HDR 동작 모드에서 이용된다.
M개의 이용 가능한 노출 시간들의 세트를 축소하기 위해, 실제 HDR 처리를 위해 이용되는 노출 시간들의 축소 세트의 크기 N은 사용자에 의해 정의되거나 디바이스에 의해 미리 정의된다. 크기 N의 이 정의는 HDR 캘리브레이션 모드에서 바람직하게 수행된다.
그때, HDR 캘리브레이션 모드에서, 이 수 N의 상이한 노출 시간들을 포함하는 각각의 가능한 후보 축소 세트에 대해, 스코어 값이 계산된다. 각각의 가능한 후보 축소 세트의 스코어 값을 계산한 후, 최고 스코어 값을 갖는 후보 축소 세트가 솔루션으로 선택된다(즉, HDR 동작 모드에서 HDR 처리를 수행하기 위해 선택된다).
따라서 본 개시내용은 노출 시간들의 후보 축소 세트를 선택하기 위한 HDR 캘리브레이션 모드를 제안하면서 그와 동시에 최종 HDR 솔루션에서 대부분의 세부사항들을 보존한다.
본 출원에서 설명되는 모든 디바이스들, 요소들, 유닛들 및 수단들은 소프트웨어 또는 하드웨어 요소들 또는 이들의 임의의 종류의 조합으로 구현될 수 있다는 점에 주목해야 한다. 본 출원에서 설명되는 다양한 엔티티들에 의해 수행되는 모든 단계들뿐만 아니라 다양한 엔티티들에 의해 수행되는 것으로 설명되는 기능성들은 각각의 엔티티가 각각의 단계들 및 기능성들을 수행하도록 적응되거나 또는 구성된다는 것을 의미하도록 의도되어 있다. 특정 실시예들의 이하의 설명에서, 외부 엔티티들에 의해 완전하게 형성되는 특정 기능성 또는 단계가 그 특정 단계 또는 기능성을 수행하는 그 엔티티의 특정 상세 요소의 설명에 반영되어 있지 않더라도, 통상의 기술자에게는, 이들 방법 또는 기능성이 각각의 소프트웨어 또는 하드웨어 요소들, 또는 이들의 임의의 종류의 조합으로 구현될 수 있다는 것이 명백할 것이다.
본 개시내용의 상기 양태들 및 구현 형태들이 첨부된 도면들과 관련하여 특정 실시예들에 대한 다음의 설명에서 설명될 것이다.
도 1은 본 개시내용의 일 실시예에 따른 시스템을 도시한다;
도 2는 본 개시내용의 일 실시예에 따른 캘리브레이션 이미지들 및 블록 스택들을 도시한다;
도 3은 본 개시내용의 일 실시예에 따른 방법을 도시한다;
도 4는 본 개시내용의 일 실시예에 따른 방법을 도시한다;
도 5는 본 개시내용의 일 실시예에 따른 스코어 값의 계산을 도시한다.
도 1은 본 개시내용의 일 실시예에 따른 시스템(100)을 도시한다.
시스템(100)은 본 개시내용의 일 실시예에 따르면 디바이스(102)를 포함한다.
본 개시내용의 일 실시예에 따른 디바이스(102)는 하이 다이내믹 레인지(HDR) 이미지를 획득하기 위해 복수의 이미지의 캡처를 제어하도록 적응된다.
디바이스(102)는 선택 가능한 노출 시간들의 메인 세트(104)와 메인 세트(104)의 각각의 서브세트들인 복수의 후보 축소 세트(105)를 저장하도록 적응된 저장 유닛(103)을 포함한다.
디바이스(102)는 메인 세트(104)의 제각기 각각의 노출 시간에서 캘리브레이션 이미지들의 캡처를 제어하도록 적응된 캘리브레이션 제어 유닛(106)을 포함한다.
디바이스(102)는, 각각의 후보 축소 세트(105)에 대해, 후보 축소 세트(105)의 노출 시간들을 이용해 캡처된 캘리브레이션 이미지들을 선택하고 선택된 캘리브레이션 이미지들의 강도들에 의존하는 스코어 값을 계산하도록 적응된 컴퓨팅 유닛(107)을 포함한다.
디바이스(102)는 모든 후보 축소 세트들의 계산된 스코어 값들을 기초로 하여 복수의 후보 축소 세트(105) 중에서 후보 축소 세트(110)를 선택하도록 적응된 선택 유닛(108)을 포함한다.
디바이스(102)는 HDR 이미지를 획득하기 위해 선택된 후보 축소 세트(110)의 제각기 각각의 노출 시간에서 복수의 이미지의 캡처를 제어하도록 적응된 HDR 제어 유닛(109)을 포함한다.
본 개시내용의 일 실시예에 따른 시스템(100)은 디바이스(102)뿐만 아니라 HDR 이미지 처리 유닛(111) 및 적어도 카메라(101)를 포함한다.
시스템(100)에서, 캘리브레이션 제어 유닛(106)은 상기 적어도 카메라(101)에 의한 캘리브레이션 이미지들의 캡처를 제어하도록 적응된다. HDR 제어 유닛(109)은 상기 적어도 카메라(101)에 의한 복수의 이미지의 캡처를 제어하도록 적응된다. HDR 이미지 처리 유닛(111)은 HDR 이미지를 획득하기 위해 복수의 이미지를 병합하도록 적응된다.
도 1에 도시된 시스템(100)은 단일 카메라(101)을 포함하고, 선택된 후보 축소 세트(110)에 의해 정의된 노출 시간들에서만 이 단일 카메라(101)에 의해 캡처된 이미지들로부터 HDR 이미지가 획득될 수 있도록, 카메라를 위한 둘 이상의 노출 시간을 결정하기 위해 이용될 수 있다. 대안적으로, 시스템은 HDR 이미지가 복수의 카메라에 의해 캡처된 이미지들로부터 획득될 수 있도록 둘 이상의 카메라를 포함하는 다중-카메라 시스템일 수 있고, 여기서 선택된 후보 축소 세트(110)에 의해 정의된 각각의 노출 시간들은 하나의 카메라에만 할당될 수 있다. 본 개시내용의 단일-카메라 또는 다중-카메라 시스템은 2D 또는 3D 이미징에 따라 HDR 이미지를 획득하기 위해 이용될 수 있다.
도 2는 본 개시내용의 일 실시예에 따른 캘리브레이션 이미지들(201, 202, 203)을 도시한다.
캘리브레이션 이미지들의 캡처는 캘리브레이션 이미지들이 메인 세트(104)의 제각기 각각의 노출 시간에서 캡처된다는 점에서 캘리브레이션 제어 유닛(106)에 의해 제어된다.
각각의 후보 축소 세트(105)에 대해, 후보 축소 세트(105)의 노출 시간들을 이용해 캡처된 캘리브레이션 이미지들(201, 202, 203)은 컴퓨팅 유닛(107)에 의해 선택된다. 그때, 컴퓨팅 유닛(107)은 선택된 캘리브레이션 이미지들(201, 202, 203)의 강도들에 의존하는 스코어 값을 계산한다.
도 1의 특정한 실시예에서, 선택 가능한 노출 시간들의 메인 세트는 M=3의 수의 이용 가능한 노출 시간을 포함한다. 3개의 이용 가능한 노출 시간은 t1, t2, t3이고 메인 세트(104)는 {t1, t2, t3}에 대응한다. 도시된 실시예에서 HDR 동작 모드에 대한 노출 시간들의 수 N은 N=2인 것으로 선택된다. 따라서 저장 유닛(103)에 저장된 복수의 후보 축소 세트(105)는 세트들 {t1,t2}, {t1,t3}, {t2,t3}에 대응한다.
후보 축소 세트들은, 예를 들어 도 1의 실시예에 도시된 바와 같이, 크기 M의 메인 세트로부터 획득 가능한 크기 N의 모든 가능한 후보 축소 세트들일 수 있다. 대안적으로, 후보 축소 세트들은 메인 세트로부터 획득 가능한 미리 축소된 수의 모든 가능한 후보 축소 세트들일 수 있다.
도 3은 본 개시내용의 일 실시예에 따른 방법, 및 특히 하이 다이내믹 레인지(HDR) 이미지를 획득하기 위해 복수의 이미지의 캡처를 제어하기 위한 방법(300)을 도시한다.
방법은 선택 가능한 노출 시간들의 메인 세트(104)와 메인 세트(104)의 각각의 서브세트들인 복수의 후보 축소 세트(105)를 저장하는 단계(301)를 포함한다.
방법은 메인 세트(104)의 제각기 각각의 노출 시간에서 캘리브레이션 이미지들의 캡처를 제어하는 단계(302)를 포함한다.
방법은, 각각의 후보 축소 세트(105)에 대해, 후보 축소 세트(105)의 노출 시간들을 이용해 캡처된 캘리브레이션 이미지들(201, 202, 203)을 선택하는 단계(303) 및 선택된 캘리브레이션 이미지들(201, 202, 203)의 강도들에 의존하는 스코어 값을 계산하는 단계(304)를 포함한다.
방법은 모든 후보 축소 세트들의 계산된 스코어 값들을 기초로 하여 복수의 후보 축소 세트(105) 중에서 후보 축소 세트(110)를 선택하는 단계(305)를 포함한다.
방법은 HDR 이미지를 획득하기 위해 선택된 후보 축소 세트(110)의 제각기 각각의 노출 시간에서 복수의 이미지의 캡처를 제어하는 단계(306)를 포함한다.
본 개시내용의 특정한 실시예에서, 캘리브레이션 이미지들(201, 202, 203)은 채널을 갖는다. 이 실시예에서, 컴퓨팅 유닛(107)은 각각의 후보 축소 세트(105)에 대해, 블록 위치들을 정의하는 그리드에 따라 각각의 선택된 캘리브레이션 이미지(201, 202, 203)의 채널을 픽셀 블록들(1,1 ... 1,6; 2,1 ... 2,6; N,1 ... N,6)로 분할하는 것에 의해 선택된 캘리브레이션 이미지들(201, 202, 203)의 채널의 강도들에 의존하는 스코어 값을 계산하도록 적응된다. 도 2의 실시예에서, 각각의 캘리브레이션 이미지(201, 202, 203)는 6개의 블록 위치를 정의하는 그리드로 분할된다. 예를 들어 노출 시간 t1에 캡처된 캘리브레이션 이미지(201)은 그리드에 의해 정의된 6개의 픽셀 블록(1,1 1,2 1,3 1,4 1,5 및 1,6)을 포함한다. 그리드는 바람직하게는 모든 후보 이미지들에 대해 공통 크기를 갖는다. 도 2의 실시예에서, 그리드 크기는 2*3 픽셀 블록들이다. 도 2에 도시된 그리드는 직사각형 형상을 갖지만, 비-직사각형 그리드가 또한 이용될 수 있다.
컴퓨팅 유닛(107)은 각각의 선택된 캘리브레이션 이미지(201, 202, 203)의 채널의 각각의 픽셀 블록에 대해, 픽셀 블록(1,1 ... 1,6; 2,1 ... 2,6; N,1 ... N,6)에서의 픽셀 강도들에 의존하는 강도-의존 값을 계산하고, 강도-의존 값을 픽셀 블록(1,1 ... 1,6; 2,1 ... 2,6; N,1 ... N,6)에 연관시키도록 적응된다.
컴퓨팅 유닛(107)은 각각의 블록 위치에 대해, 상기 블록 위치에서 각각의 선택된 캘리브레이션 이미지(201, 202, 203)의 채널의 픽셀 블록들을 포함하는 블록 스택(204, 205, 206)을 정의하도록 적응된다.
예를 들어, 도 2는 그리드의 상부 좌측 블록 위치가 캘리브레이션 이미지(201)의 픽셀 블록(1,1)에 대응하는 것을 도시한다. 이 블록 위치는 또한 캘리브레이션 이미지(202)의 픽셀 블록(2,1)에, 그리고 캘리브레이션 이미지(203)의 픽셀 블록(N,1)에 대응한다. 이들 픽셀 블록(1,1 2,1 ... N,1)은 도 2에서 "3D 블록 스택 1"이라고도 언급되는 블록 스택(204)을 함께 형성한다. 유사하게, 블록 스택(205)은 모든 캘리브레이션 이미지들(201, 202, 203)의 상부 중앙 위치에 위치하는 픽셀 블록들(1,2 2,2 ... N,2)을 포함한다. 도시된 블록 스택(206)은 그리드에 의해 정의된 하부 우측 블록 위치에 위치하는 픽셀 블록들(1,6 2,6 N,6)을 포함한다. 다시 말해서, 각각의 블록 위치에 대해, 모든 대응하는 픽셀 블록들이 수집되고 각각의 3D 블록 스택(204, 205, 206)으로서 번들링된다.
도 2에서, 각각의 픽셀 블록은 쌍 (m,b)에 의해 나타내어지고, 여기서 b는 특정 캘리브레이션 이미지 m의 블록 위치를 정의한다. 값 m은 캘리브레이션 이미지 인덱스이고, 즉, m은 또한 노출 시간 인덱스인데 그 이유는 각각의 캘리브레이션 이미지는 그것이 캡처된 하나의 노출 시간에 대응하기 때문이다. 값 b는 블록 위치 인덱스이고, 여기서 도 2에서 이용된 그리드는 b=6 블록 위치들이고, b=1 내지 6이다. 도 2는 각각의 블록 위치 b에 대해 N개의 이미지의 하나의 후보 축소 세트와 크기 N의 대응하는 b=6 블록 스택을 도시한다.
컴퓨팅 유닛(107)은 각각의 블록 스택(204, 205, 206)에 대해, 블록 스택을 형성하는 픽셀 블록들에 연관된 강도-의존 값들의 최적 값, 특히 최대 값을 식별하도록 적응된다.
컴퓨팅 유닛(107)은 채널의 각각의 블록 스택(204, 205, 206)에 대해 식별된 최적 값, 특히 최대 값을 기초로 하여 후보 축소 세트(105)의 채널 스코어 값을 계산하도록 적응된다. 채널 스코어 값은 여기서 스코어 값에 대응한다.
본 개시내용의 대안적인 실시예에서, 캘리브레이션 이미지들(201, 202, 203)은 복수의 채널을 갖는다. 이 실시예에서, 각각의 선택된 캘리브레이션 이미지(201, 202, 203)의 각각의 채널은 픽셀 블록들(1,1 ... 1,6; 2,1 ... 2,6; N,1 ... N,6)로 분할되고, 강도-의존 값은 각각의 채널의 각각의 픽셀 블록에 대해 계산되고, 해당 픽셀 블록에 연관된다. 그때 각각의 채널의 각각의 블록 위치에 대해 블록 스택(204, 205, 206)이 정의되고, 각각의 블록 스택(204, 205, 206)에 대해 강도-의존 값들의 최적 값, 특히 최대 값이 식별된다. 그때, 각각의 채널에 대해, 채널의 각각의 블록 스택에 대해 식별된 최적 값들, 특히 최대 값들을 기초로 하여 후보 축소 세트의 채널 스코어 값이 계산된다. 마침내, 스코어 값은 예를 들어 각각의 채널의 각각의 채널 스코어 값들을 조합함으로써, 또는 각각의 채널의 채널 스코어 값들 중에서 최적 채널 스코어를 선택함으로써, 각각의 채널의 각각의 채널 스코어 값들에 의존하여 계산된다.
도 4는 본 개시내용의 추가 실시예에 따른 방법, 특히 HDR 동작 모드 동안 이용될 후보 축소 세트(110)를 선택하기 위한 HDR 캘리브레이션 모드의 일 실시예를 도시한다.
처음에, M개의 캘리브레이션 이미지가 상이한 노출 시간들을 이용해, 즉, 메인 세트(104)에 포함된 M개의 상이한 노출 시간을 이용해 캡처된다(401). 그때, 모든 캘리브레이션 이미지들이 그레이스케일 이미지들로 변환된다(402)(즉, 캘리브레이션 이미지들은 그레이스케일 채널의 형태로 단일 채널을 가진 캘리브레이션 이미지들로 변환된다). 노출 시간들의 다음 후보 축소 세트가 선택되고(403) 선택된 후보 축소 세트의 스코어 값이 계산되고(404) 버퍼링된다(405). 모든 축소 후보 세트들이 선택/테스트되었는지가 테스트된다(406). 응답이 아니오라면, 다음 후보 축소 세트가 선택된다. 응답이 예라면, 프로세스는 HDR 동작 모드에 대해 최고 스코어를 갖는 후보 축소 세트를 선택/산출하는(407) 최종 단계로 진행한다.
도 4는 최고 축소 세트를 선택하기 위해 그들의 스코어 값들을 획득하기 위한 후보 축소 세트들의 순차적인 또는 루프 처리를 도시한다. 대안적인 실시예들에서 스코어 값을 계산하는(404) 단계는 모든 또는 일부 후보 축소 세트들에 대해 병렬로 수행될 수 있고, 최고 후보 축소 세트는 선택 기준에 기초하여 선택되는데, 예를 들어, 도 5의 실시예에서 더 상세히 설명되는 바와 같이 엔트로피에 기초하여 스코어가 결정되는 경우 최대 스코어를 가진 축소 후보 세트가 선택된다.
도 5는 본 개시내용의 일 실시예에 따른 스코어 값의 계산(304, 404)을 도시한다.
계산은 계산의 입력이 후보 축소 세트(105)의 선택된 캘리브레이션 이미지들의 수 N<M이라는 점에서 도 5에 예시되어 있는 후보 축소 세트(105)에 대해 수행된다. 이들 캘리브레이션 이미지는 실제로 후보 축소 세트(105)의 노출 시간들을 이용해 캡처된 캘리브레이션 이미지들에 대응한다. 도 5의 실시예에서, 캘리브레이션 이미지들은 그레이스케일 이미지들의 형태로 있다(즉, 그들은 단일 채널 이미지들로 변환된다).
제1 단계에서, 입력된 캘리브레이션 이미지들 각각의 각각의 픽셀 블록 또는 그리드 블록에 대해 히스토그램이 계산된다(501). 히스토그램은 상기 픽셀 블록의 픽셀 강도들의 히스토그램이고, 픽셀 블록 내의 강도 i를 가진 픽셀들 hi의 수를 기술한다.
제2 단계에서, 상기 픽셀 블록의 픽셀 강도들의 히스토그램에 기초하여 각각의 픽셀 블록의 엔트로피 값 Em,b가 계산된다(502). 엔트로피 값은 각각의 픽셀 블록에 대해 계산된 강도-의존 값에 대응한다.
히스토그램들은 다음의 수학식에 따라 각각의 캘리브레이션 이미지 m과 픽셀 블록 b의 엔트로피 값을 계산하는 데 이용될 수 있다:
Figure 112018055730553-pct00005
여기서
b는 블록 인덱스이고,
m은 이미지 인덱스이고,
pi는 픽셀 강도 i의 발생의 확률이고, 예를 들어 i=0, ...,255이다.
확률 pi는 이미지-강도들의 히스토그램으로부터 직접 계산된다:
Figure 112018055730553-pct00006
제3 단계에서, 각각의 블록 스택(204, 205, 206)에 대해 최대 엔트로피가 계산된다(503). 이것은 예를 들어 블록 스택 내의 각각의 픽셀 블록의 엔트로피를 계산하고 이들 계산된 각각의 픽셀 블록의 엔트로피 값들 중에서 최대 엔트로피를 선택하는 것에 의해 달성된다. 최대 엔트로피는 특정 캘리브레이션 이미지 m에 대해 주어진다. 그 결과, 각각의 픽셀 블록 스택 b는 최대 엔트로피를 할당받을 것이다:
Figure 112018055730553-pct00007
제4 단계에서, 모든 블록 스택들의 로그의 합계가 계산되는데(504), 이는 축소 세트 후보의 채널 스코어 값을 산출하고, 상기 축소 세트 후보의 채널 스코어 값은 컴퓨팅 유닛(107)에 의해 계산된(304) 스코어 값에 대응한다:
Figure 112018055730553-pct00008
이 단계의 장점은 채널 스코어 값을 계산할 때 수치적 불안정성이 회피될 수 있다는 점이다.
제4 단계에 대한 대안적인 접근법은 모든 블록 스택들(204, 205, 206)의 모든 최대 엔트로피 값들의 곱을 계산하는 데 있을 수 있다.
그때 최고, 즉 가장 큰 채널 스코어 값을 갖는 후보 축소 세트가 솔루션으로서, 즉, HDR 동작 모드에 대해 이용될 후보 축소 세트로서 선택된다(307). 이 설명된 HDR 캘리브레이션 모드를 완료한 후, 노출 시간들의 선택된 후보 축소 세트는 HDR 동작 모드를 위한, 예를 들어 실제 HDR 처리를 위한 N개의 노출 시간의 고정된 세트로서 선택된다.
선택적으로, HDR 캘리브레이션 모드에서 획득된 캘리브레이션 이미지들은 HDR 처리를 위한 HDR 동작 모드에서 또한 이용될 수 있다. 예를 들어 모든 M개의 캘리브레이션 이미지 또는 노출 시간들의 선택된 후보 축소 세트에 대응하는 N개의 캘리브레이션 이미지만이 HDR 동작 모드에서 이용될 수 있다. 그러한 모드는 조합된 캘리브레이션/동작 모드일 수 있다.
제2 단계에서, 엔트로피 값이 계산되었다(502). 대안적인 접근법에서 그리고 엔트로피를 계산하는 대신에, 다음의 수학식에 따라 분산 v2를 계산하는 것이 제안된다:
Figure 112018055730553-pct00009
여기서
X와 Y는 픽셀 블록의 크기, 예를 들어 그것의 폭과 높이이고,
i(x,y)는 픽셀 블록 내의 픽셀 위치 (x,y)에서의 픽셀 강도이고,
a는 픽셀 블록 내의 평균 픽셀 강도 값이다.
도 5의 실시예는 그레이스케일 이미지들의 형태로 단일 채널 캘리브레이션 이미지들에 대한 채널 스코어 값의 계산을 포함한다. 대안적으로, 캘리브레이션 이미지들은 또한 컬러 이미지들 같은 다중-채널 이미지들 및 예를 들어 RGB 이미지들일 수 있다. 그러한 경우에, 각각의 채널에 대해 독립적으로 채널 스코어 값이 계산되고 모든 채널의 채널 스코어 값들을 합산하여 컴퓨팅 유닛(107)에 의해 계산된(304) 스코어 값을 형성한다.
본 개시내용은 예들뿐만 아니라 구현들로서 다양한 실시예들과 함께 설명되었다. 그러나, 본 기술분야에서 숙련되고 청구된 발명을 실시하는 사람들에 의해, 도면들, 본 개시내용 및 독립 청구항들의 연구로부터, 다른 변형들이 이해되고 실행될 수 있다. 청구항들에서뿐만 아니라 본 설명에서 "포함하는"이라는 단어는 다른 요소들 또는 단계들을 배제하지 않고 부정관사 "a" 또는 "an"은 복수를 배제하지 않는다. 단일 요소 또는 다른 유닛이 청구항들에 기재된 여러 엔티티들 또는 항목들의 기능들을 이행할 수 있다. 특정 수단들이 상호 다른 종속 청구항들에 기재되어 있다는 사실만으로 이들 수단의 조합이 유리한 구현에서 이용될 수 없다는 것을 나타내지는 않는다.

Claims (20)

  1. 하이 다이내믹 레인지(HDR) 이미지를 획득하기 위해 복수의 이미지의 캡처를 제어하도록 적응된 디바이스(102)로서,
    상기 디바이스는:
    - 선택 가능한 노출 시간들의 메인 세트(104)와 상기 메인 세트(104)의 각각의 서브세트들인 복수의 후보 축소 세트(105)를 저장하도록 적응된 저장 유닛(103);
    - 상기 메인 세트(104)의 제각기 각각의 노출 시간에서 캘리브레이션 이미지들의 캡처(401)를 제어하도록 적응된 캘리브레이션 제어 유닛(106);
    - 각각의 후보 축소 세트(105)에 대해, 상기 후보 축소 세트(105)의 노출 시간들을 이용해 캡처된 캘리브레이션 이미지들(201, 202, 203)을 선택하고(403) 선택된 캘리브레이션 이미지들(201, 202, 203)의 강도들에 의존하는 스코어 값을 계산(404)하도록 적응된 컴퓨팅 유닛(107);
    - 모든 후보 축소 세트들의 계산된 스코어 값들을 기초로 하여 상기 복수의 후보 축소 세트(105) 중에서 후보 축소 세트(110)를 선택(407)하도록 적응된 선택 유닛(108); 및
    - 상기 HDR 이미지를 획득하기 위해 상기 선택된 후보 축소 세트(110)의 제각기 각각의 노출 시간에서 상기 복수의 이미지의 캡처를 제어하도록 적응된 HDR 제어 유닛(109)을 포함하고,
    상기 캘리브레이션 이미지들은 적어도 하나의 채널을 갖고;
    상기 컴퓨팅 유닛(107)은 각각의 후보 축소 세트(105)에 대해:
    - 블록 위치들을 정의하는 그리드에 따라 각각의 선택된 캘리브레이션 이미지(201, 202, 203)의 채널을 픽셀 블록들(1,1 ... 1,6; 2,1 ... 2,6; N,1 ... N,6)로 분할하는 것;
    - 각각의 선택된 캘리브레이션 이미지(201, 202, 203)의 채널의 각각의 픽셀 블록에 대해, 상기 픽셀 블록에서의 픽셀 강도들에 의존하는 강도-의존 값(Em,b, v2)을 계산하고(502) 이 강도-의존 값을 상기 픽셀 블록에 연관시키는 것;
    - 각각의 블록 위치에 대해, 상기 블록 위치에서 각각의 선택된 캘리브레이션 이미지(201, 202, 203)의 상기 채널의 픽셀 블록들(1,1; 2,1 ... N,1)을 포함하는 블록 스택(204, 205, 206)을 정의하는 것;
    - 각각의 블록 스택(204, 205, 206)에 대해, 상기 블록 스택을 형성하는 픽셀 블록들에 연관된 강도-의존 값들(Em,b, v2)의 최적 값(Ebmax)을 식별하는 것(503); 및
    - 상기 채널의 각각의 블록 스택(204, 205, 206)에 대해 식별된 최적 값들을 기초로 하여 상기 후보 축소 세트(105)의 채널 스코어 값을 계산하는 것(504)
    에 의해 상기 선택된 캘리브레이션 이미지들(201, 202, 203)의 채널의 강도들에 의존하는 스코어 값을 계산(404)하도록 적응되고,
    상기 채널 스코어 값은 상기 스코어 값인, 디바이스.
  2. 삭제
  3. 제1항에 있어서,
    상기 캘리브레이션 이미지들은 단일 채널을 가진 단일 채널 이미지들이거나 또는 상기 디바이스는 상기 캘리브레이션 이미지들을 단일 채널을 가진 단일 채널 이미지들로 변환하도록 적응된 변환 유닛을 포함하는, 디바이스.
  4. 제1항에 있어서,
    상기 캘리브레이션 이미지들은 복수의 채널을 갖고;
    상기 컴퓨팅 유닛(107)은 각각의 후보 축소 세트(105)에 대해:
    - 블록 위치들을 정의하는 그리드에 따라 각각의 선택된 캘리브레이션 이미지(201, 202, 203)의 각각의 채널을 픽셀 블록들(1,1 ... 1,6; 2,1 ... 2,6; N,1 ... N,6)로 분할하는 것;
    - 각각의 선택된 캘리브레이션 이미지(201, 202, 203)의 각각의 채널의 각각의 픽셀 블록에 대해, 상기 픽셀 블록에서의 픽셀 강도들에 의존하는 강도-의존 값(Em,b, v2)을 계산하고(502) 이 강도-의존 값을 상기 픽셀 블록에 연관시키는 것;
    - 각각의 채널 및 각각의 블록 위치에 대해, 상기 블록 위치에서 각각의 선택된 캘리브레이션 이미지(201, 202, 203)의 상기 채널의 픽셀 블록들(1,1; 2,1 ... N,1)을 포함하는 블록 스택(204, 205, 206)을 정의하는 것;
    - 각각의 블록 스택(204, 205, 206)에 대해, 상기 블록 스택을 형성하는 픽셀 블록들에 연관된 강도-의존 값들(Em,b, v2)의 최적 값(Eb max)을 식별하는 것(503);
    - 각각의 채널에 대해, 상기 채널의 각각의 블록 스택(204, 205, 206)에 대해 식별된 최적 값들을 기초로 하여 상기 후보 축소 세트(105)의 채널 스코어 값을 계산하는 것(504); 및
    - 각각의 채널의 각각의 채널 스코어 값들에 의존하는 스코어 값을 계산하는 것
    에 의해 상기 선택된 캘리브레이션 이미지들(201, 202, 203)의 채널들의 강도들에 의존하는 스코어 값을 계산(404)하도록 적응되는, 디바이스.
  5. 제4항에 있어서,
    상기 캘리브레이션 이미지들은 다중-채널 이미지들을 갖고;
    상기 스코어 값은 각각의 채널의 각각의 채널 스코어 값들을 조합함으로써, 또는 각각의 채널의 채널 스코어 값들 중에서 최적 채널 스코어를 선택함으로써 계산되는, 디바이스.
  6. 제1항에 있어서,
    상기 컴퓨팅 유닛(107)은:
    - 상기 픽셀 블록의 픽셀 강도들의 히스토그램을 계산하는 것(501); 및
    - 상기 픽셀 블록의 픽셀 강도들의 히스토그램에 기초하여 상기 픽셀 블록의 엔트로피 값(Em,b)을 계산하는 것(502) - 상기 엔트로피 값은 상기 강도-의존 값에 대응함 -
    에 의해 상기 픽셀 블록에서의 픽셀 강도들에 의존하는 강도-의존 값들(Em,b, v2)을 계산(502)하도록 적응되는, 디바이스.
  7. 제6항에 있어서,
    상기 픽셀 블록의 엔트로피 값은 다음 수학식:
    Figure 112018055730553-pct00010

    에 따라 계산되고,
    pi는 캘리브레이션 이미지 m의 픽셀 블록 b에서의 픽셀 강도 i의 발생의 확률이고, b는 블록 인덱스이고, m은 이미지 인덱스인, 디바이스.
  8. 제1항에 있어서,
    상기 컴퓨팅 유닛(107)은:
    - 상기 픽셀 블록의 픽셀 강도들의 분산 값(v2)을 계산하는 것
    에 의해 상기 픽셀 블록에서의 픽셀 강도들에 의존하는 강도-의존 값을 계산(502)하도록 적응되는, 디바이스.
  9. 제8항에 있어서,
    상기 픽셀 블록의 픽셀 강도들의 분산 값은 다음 수학식:
    Figure 112018055730553-pct00011

    에 따라 계산되고,
    X와 Y는 상기 픽셀 블록의 크기이고,
    i(x,y)는 상기 픽셀 블록 내의 픽셀 위치 (x,y)에서의 픽셀 강도이고,
    a는 상기 픽셀 블록 내의 평균 픽셀 강도 값인, 디바이스.
  10. 제1항에 있어서,
    상기 컴퓨팅 유닛(107)은:
    - 상기 블록 스택을 형성하는 픽셀 블록들에 연관된 강도-의존 값들(Em,b, v2)의 최대 값(Eb max)을 식별하는 것
    에 의해 상기 블록 스택을 형성하는 픽셀 블록들에 연관된 강도-의존 값들(Em,b, v2)의 최적 값(Eb max)을 식별(503)하도록 적응되고,
    상기 컴퓨팅 유닛(107)은:
    - 상기 채널의 각각의 블록 스택(204, 205, 206)에 대해 각각 식별된 최대 값들(Eb max) 또는 그로부터 유도된 값들을 가산하거나 승산하는 것
    에 의해 상기 채널의 각각의 블록 스택(204, 205, 206)에 대해 식별된 최적 값들을 기초로 하여 상기 후보 축소 세트(105)의 채널 스코어 값을 계산(504)하도록 적응되는, 디바이스.
  11. 제1항에 있어서,
    상기 그리드에 의해 정의된 블록 위치들은 인접하거나 중첩되는, 디바이스.
  12. 제1항에 있어서,
    상기 복수의 후보 축소 세트(105)는 사용자에 의해 정의되는 또는 미리 정의되는 공통 크기를 갖는, 디바이스.
  13. 제1항에 따른 디바이스(102), HDR 이미지 처리 유닛(111) 및 적어도 카메라(101)를 포함하는 시스템(100)으로서,
    상기 캘리브레이션 제어 유닛(106)은 상기 적어도 카메라(101)에 의한 상기 캘리브레이션 이미지들의 캡처(401)를 제어하도록 적응되고,
    상기 HDR 제어 유닛(109)은 상기 적어도 카메라(101)에 의한 상기 복수의 이미지의 캡처를 제어하도록 적응되고,
    상기 HDR 이미지 처리 유닛(111)은 상기 HDR 이미지를 획득하기 위해 상기 복수의 이미지를 병합하도록 적응되는, 시스템.
  14. 하이 다이내믹 레인지(HDR) 이미지를 획득하기 위해 복수의 이미지의 캡처를 제어하기 위한 방법(300)으로서,
    상기 방법은:
    - 선택 가능한 노출 시간들의 메인 세트(104)와 상기 메인 세트(104)의 각각의 서브세트들인 복수의 후보 축소 세트(105)를 저장하는 단계(301);
    - 상기 메인 세트(104)의 제각기 각각의 노출 시간에서 캘리브레이션 이미지들의 캡처를 제어하는 단계(302);
    - 각각의 후보 축소 세트(105)에 대해, 상기 후보 축소 세트(105)의 노출 시간들을 이용해 캡처된 상기 캘리브레이션 이미지들(201, 202, 203)을 선택하는 단계(303) 및 상기 선택된 캘리브레이션 이미지들(201, 202, 203)의 강도들에 의존하는 스코어 값을 계산하는 단계(304);
    - 모든 후보 축소 세트들의 계산된 스코어 값들을 기초로 하여 상기 복수의 후보 축소 세트(105) 중에서 후보 축소 세트(110)를 선택하는 단계(305); 및
    - 상기 HDR 이미지를 획득하기 위해 상기 선택된 후보 축소 세트(110)의 제각기 각각의 노출 시간에서 상기 복수의 이미지의 캡처를 제어하는 단계(306)를 포함하고,
    상기 캘리브레이션 이미지들은 적어도 하나의 채널을 갖고; 상기 선택된 캘리브레이션 이미지들(201, 202, 203)의 강도들에 의존하는 스코어 값을 계산하는 단계(304)는: 블록 위치들을 정의하는 그리드에 따라 각각의 선택된 캘리브레이션 이미지(201, 202, 203)의 채널을 픽셀 블록들(1,1 ... 1,6; 2,1 ... 2,6; N,1 ... N,6)로 분할하는 것;
    - 각각의 선택된 캘리브레이션 이미지(201, 202, 203)의 채널의 각각의 픽셀 블록에 대해, 상기 픽셀 블록에서의 픽셀 강도들에 의존하는 강도-의존 값(Em,b, v2)을 계산하고(502) 이 강도-의존 값을 상기 픽셀 블록에 연관시키는 것;
    - 각각의 블록 위치에 대해, 상기 블록 위치에서 각각의 선택된 캘리브레이션 이미지(201, 202, 203)의 상기 채널의 픽셀 블록들(1,1; 2,1 ... N,1)을 포함하는 블록 스택(204, 205, 206)을 정의하는 것;
    - 각각의 블록 스택(204, 205, 206)에 대해, 상기 블록 스택을 형성하는 픽셀 블록들에 연관된 강도-의존 값들(Em,b, v2)의 최적 값(Ebmax)을 식별하는 것(503); 및
    - 상기 채널의 각각의 블록 스택(204, 205, 206)에 대해 식별된 최적 값들을 기초로 하여 상기 후보 축소 세트(105)의 채널 스코어 값을 계산하는 것(504)
    에 의해 상기 선택된 캘리브레이션 이미지들(201, 202, 203)의 채널의 강도들에 의존하는 스코어 값을 계산하는 단계를 포함하고,
    상기 채널 스코어 값은 상기 스코어 값인, 방법.
  15. 삭제
  16. 제14항에 있어서, 상기 캘리브레이션 이미지들은 단일 채널을 가진 단일 채널 이미지들이거나 또는 상기 방법은 상기 캘리브레이션 이미지들을 단일 채널을 가진 단일 채널 이미지들로 변환하는 단계를 포함하는, 방법.
  17. 제14항에 있어서, 상기 캘리브레이션 이미지들은 복수의 채널을 갖고, 상기 선택된 캘리브레이션 이미지들(201, 202, 203)의 강도들에 의존하는 스코어 값을 계산하는 단계(304)는, 각각의 후보 축소 세트(105)에 대해,
    - 블록 위치들을 정의하는 그리드에 따라 각각의 선택된 캘리브레이션 이미지(201, 202, 203)의 각각의 채널을 픽셀 블록들(1,1 ... 1,6; 2,1 ... 2,6; N,1 ... N,6)로 분할하는 것;
    - 각각의 선택된 캘리브레이션 이미지(201, 202, 203)의 각각의 채널의 각각의 픽셀 블록에 대해, 상기 픽셀 블록에서의 픽셀 강도들에 의존하는 강도-의존 값(Em,b, v2)을 계산하고(502) 이 강도-의존 값을 상기 픽셀 블록에 연관시키는 것;
    - 각각의 채널 및 각각의 블록 위치에 대해, 상기 블록 위치에서 각각의 선택된 캘리브레이션 이미지(201, 202, 203)의 상기 채널의 픽셀 블록들(1,1; 2,1 ... N,1)을 포함하는 블록 스택(204, 205, 206)을 정의하는 것;
    - 각각의 블록 스택(204, 205, 206)에 대해, 상기 블록 스택을 형성하는 픽셀 블록들에 연관된 강도-의존 값들(Em,b, v2)의 최적 값(Ebmax)을 식별하는 것(503);
    - 각각의 채널에 대해, 상기 채널의 각각의 블록 스택(204, 205, 206)에 대해 식별된 최적 값들을 기초로 하여 상기 후보 축소 세트(105)의 채널 스코어 값을 계산하는 것(504); 및
    - 각각의 채널의 각각의 채널 스코어 값들에 의존하는 스코어 값을 계산하는 것
    에 의해 상기 선택된 캘리브레이션 이미지들(201, 202, 203)의 채널들의 강도들에 의존하는 스코어 값을 계산하는 단계(404)를 포함하는, 방법.
  18. 제17항에 있어서,
    상기 캘리브레이션 이미지들은 다중-채널 이미지들을 갖고;
    상기 스코어 값은 각각의 채널의 각각의 채널 스코어 값들을 조합함으로써, 또는 각각의 채널의 채널 스코어 값들 중에서 최적 채널 스코어를 선택함으로써 계산되는, 방법.
  19. 제17항에 있어서, 상기 강도-의존 값(Em,b, v2)은:
    상기 픽셀 블록의 픽셀 강도들의 히스토그램을 계산하는 것(501); 및
    - 상기 픽셀 블록의 픽셀 강도들의 히스토그램에 기초하여 상기 픽셀 블록의 엔트로피 값(Em,b)을 계산하는 것(502) - 상기 엔트로피 값은 상기 강도-의존 값에 대응함 -
    에 의해 상기 픽셀 블록에서의 픽셀 강도들에 의존하는, 방법.
  20. 제19항에 있어서, 상기 픽셀 블록의 엔트로피 값은 다음 수학식:
    Figure 112018055855719-pct00017

    에 따라 계산되고,
    pi는 캘리브레이션 이미지 m의 픽셀 블록 b에서의 픽셀 강도 i의 발생의 확률이고, b는 블록 인덱스이고, m은 이미지 인덱스인, 방법.
KR1020187016107A 2015-11-11 2015-11-11 하이 다이내믹 레인지 비디오/이미징을 위한 노출 시간들의 세트를 축소시키기 위한 디바이스 및 방법 KR102120269B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2015/076290 WO2017080592A1 (en) 2015-11-11 2015-11-11 Device and method for reducing the set of exposure times for high dynamic range video/imaging

Publications (2)

Publication Number Publication Date
KR20180084851A KR20180084851A (ko) 2018-07-25
KR102120269B1 true KR102120269B1 (ko) 2020-06-08

Family

ID=54697543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187016107A KR102120269B1 (ko) 2015-11-11 2015-11-11 하이 다이내믹 레인지 비디오/이미징을 위한 노출 시간들의 세트를 축소시키기 위한 디바이스 및 방법

Country Status (6)

Country Link
US (1) US10645304B2 (ko)
EP (1) EP3363193B1 (ko)
JP (1) JP6632724B2 (ko)
KR (1) KR102120269B1 (ko)
CN (1) CN108353133B (ko)
WO (1) WO2017080592A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2584907A (en) * 2019-06-21 2020-12-23 Zivid As Method for determining one or more groups of exposure settings to use in a 3D image acquisition process
US11288782B2 (en) 2019-09-23 2022-03-29 Samsung Electronics Co., Ltd. Electronic device for performing video HDR processing based on image data obtained by plurality of image sensors
CN110636227B (zh) * 2019-09-24 2021-09-10 合肥富煌君达高科信息技术有限公司 高动态范围hdr图像合成方法及集成该方法的高速相机
CN112616013B (zh) * 2020-12-03 2022-03-04 上海龙旗科技股份有限公司 实现自动hdr的方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090309998A1 (en) * 2006-07-31 2009-12-17 David Grosvenor Electronic image capture with reduced noise
JP2010220207A (ja) * 2009-02-18 2010-09-30 Olympus Corp 画像処理装置及び画像処理プログラム
JP2014179980A (ja) * 2013-03-14 2014-09-25 Konicaminolta Laboratory Usa Inc 高ダイナミックレンジ画像を生成するために画像のセットからサブセットを選択する方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56121020A (en) 1980-02-26 1981-09-22 Minolta Camera Co Ltd Exposure controller of camera
US7084905B1 (en) 2000-02-23 2006-08-01 The Trustees Of Columbia University In The City Of New York Method and apparatus for obtaining high dynamic range images
JP4218723B2 (ja) * 2006-10-19 2009-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
EP2248170A4 (en) * 2008-02-25 2012-08-29 Sorin Davidovici SYSTEM AND METHOD FOR A SENSITIVE PICTURE SENSOR ARRAY WITH HIGH DYNAMIC SCOPE
KR20090127602A (ko) * 2008-06-09 2009-12-14 삼성전자주식회사 엔트로피를 이용한 영상 획득 방법 및 장치
WO2011056994A2 (en) * 2009-11-04 2011-05-12 Board Of Regents, The University Of Texas System Adaptive automatic exposure apparatus and method for digital images
US9706130B2 (en) * 2015-05-28 2017-07-11 Blackberry Limited Camera having HDR during pre-flash

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090309998A1 (en) * 2006-07-31 2009-12-17 David Grosvenor Electronic image capture with reduced noise
JP2010220207A (ja) * 2009-02-18 2010-09-30 Olympus Corp 画像処理装置及び画像処理プログラム
JP2014179980A (ja) * 2013-03-14 2014-09-25 Konicaminolta Laboratory Usa Inc 高ダイナミックレンジ画像を生成するために画像のセットからサブセットを選択する方法

Also Published As

Publication number Publication date
US20180262673A1 (en) 2018-09-13
JP2019501567A (ja) 2019-01-17
WO2017080592A1 (en) 2017-05-18
CN108353133A (zh) 2018-07-31
US10645304B2 (en) 2020-05-05
EP3363193B1 (en) 2024-01-24
JP6632724B2 (ja) 2020-01-22
EP3363193A1 (en) 2018-08-22
CN108353133B (zh) 2021-06-15
KR20180084851A (ko) 2018-07-25

Similar Documents

Publication Publication Date Title
US10574961B2 (en) Image processing apparatus and image processing method thereof
CN112219391B (zh) 生成hdr彩色图像的方法、hdr相机及蜂窝电话
US10397486B2 (en) Image capture apparatus and method executed by image capture apparatus
US10021313B1 (en) Image adjustment techniques for multiple-frame images
EP3053332B1 (en) Using a second camera to adjust settings of first camera
JP5010729B2 (ja) ビデオ変換システムのためのデプスマップを生成する方法およびそのシステム
US10645304B2 (en) Device and method for reducing the set of exposure times for high dynamic range video/imaging
US9489726B2 (en) Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable-medium
KR20200017475A (ko) 관심 영역의 자동 노출 제어를 위한 조절 방법, 단말 장치 및 비 일시적 컴퓨터 판독 가능 저장 매체
JP5762756B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および撮影装置
WO2005101309A1 (en) Methods and systems for converting images from low dynamic range to high dynamic range
US9961319B2 (en) Image processing apparatus and control method thereof
KR20100011772A (ko) 자동 화이트 밸런스 조정 방법
CN112261292B (zh) 图像获取方法、终端、芯片及存储介质
JP2021180527A (ja) 画像処理装置
CN112351195A (zh) 图像处理方法、装置和电子系统
US11640654B2 (en) Image processing method and apparatus
JP6624785B2 (ja) 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体
JP2009004966A (ja) 撮像装置
JP2014068279A (ja) 撮像装置
CN115086566B (zh) 图片场景检测方法、装置
JP2015142281A (ja) 被写体探索装置、その制御方法、および制御プログラム、並びに撮像装置
JP2017182668A (ja) データ処理装置、撮像装置、及びデータ処理方法
CN114125408A (zh) 图像处理方法及装置、终端和可读存储介质
CN114374793A (zh) 曝光控制方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant