KR102579742B1 - 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치 - Google Patents

적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치 Download PDF

Info

Publication number
KR102579742B1
KR102579742B1 KR1020210156648A KR20210156648A KR102579742B1 KR 102579742 B1 KR102579742 B1 KR 102579742B1 KR 1020210156648 A KR1020210156648 A KR 1020210156648A KR 20210156648 A KR20210156648 A KR 20210156648A KR 102579742 B1 KR102579742 B1 KR 102579742B1
Authority
KR
South Korea
Prior art keywords
image information
information
interpolated
raw
color
Prior art date
Application number
KR1020210156648A
Other languages
English (en)
Other versions
KR20230070750A (ko
Inventor
천이우
Original Assignee
주식회사 넥스트칩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥스트칩 filed Critical 주식회사 넥스트칩
Priority to KR1020210156648A priority Critical patent/KR102579742B1/ko
Priority to PCT/KR2022/005802 priority patent/WO2023085533A1/ko
Priority to CN202280075020.8A priority patent/CN118235157A/zh
Publication of KR20230070750A publication Critical patent/KR20230070750A/ko
Application granted granted Critical
Publication of KR102579742B1 publication Critical patent/KR102579742B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

일 예에 따른, 이미지를 생성하기 위해, 카메라의 센서로부터 원시 컬러 정보들 및 원시 IR 정보를 포함하는 원시 이미지 정보를 수신하고, 원시 이미지 정보에 기초하여 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들을 생성하고, 복수의 부분 원시 이미지 정보들 각각에 대한 복수의 보간된 이미지 정보들을 생성하고, 보간된 IR 이미지 정보에 기초하여 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하고, 제1 컬러 이미지 정보들을 톤-맵핑함으로써 제2 컬러 이미지 정보들을 생성하고, 제2 컬러 이미지 정보들을 처리함으로써 이미지를 생성할 수 있다.

Description

적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치{METHOD FOR GENERATING IMAGE FROM WHICH INFRARED INFORMATION HAS BEEN REMOVED AND ELECTRONIC DEVICE PERFORMING THE METHOD}
아래의 실시예들은 이미지를 생성하는 기술에 관한 것이고, 구체적으로 적외선 정보가 제거된 이미지를 생성하는 기술에 관한 것이다.
카메라는 장면에 대한 이미지를 캡쳐하기 위해 광을 수신한다. 카메라는 이미지 센서의 필터를 통과한 광을 수신할 수 있다. 예를 들어, 이미지 센서는 베이어 패턴(Bayer pattern)으로 구성될 수 있고, 베이어 패턴은 적(red: R) 픽셀, 녹(green: G) 픽셀, 청(blue: B) 픽셀을 포함할 수 있다. 각각의 컬러 픽셀은 필터를 통해 해당 컬러에 대한 파장을 수신할 수 있다. 카메라는 컬러 픽셀들을 통해 수신된 정보들에 기초하여 장면에 대한 이미지를 생성할 수 있다.
일 실시예는 전자 장치에 의해 수행되는 이미지를 생성하는 방법을 제공할 수 있다.
일 실시예는 이미지를 생성하는 전자 장치를 제공할 수 있다.
다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.
일 측면에 따른, 전자 장치에 의해 수행되는 이미지 생성 방법은, 카메라의 센서로부터 원시 컬러 정보들 및 원시 적외선(infrared: IR) 정보를 포함하는 원시 이미지 정보를 수신하는 동작, 상기 원시 이미지 정보에 기초하여 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들을 생성하는 동작, 상기 복수의 부분 원시 이미지 정보들 각각에 대한 복수의 보간된 이미지 정보들을 생성하는 동작 - 상기 복수의 보간된 이미지 정보들은 보간된 컬러 이미지 정보들 및 보간된 IR 이미지 정보를 포함함 -, 상기 보간된 IR 이미지 정보에 기초하여 상기 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하는 동작, 상기 제1 컬러 이미지 정보들을 톤-맵핑(tone mapping)함으로써 제2 컬러 이미지 정보들을 생성하는 동작, 및 상기 제2 컬러 이미지 정보들을 처리함으로써 타겟 이미지를 생성하는 동작을 포함할 수 있다.
상기 카메라의 센서는 적(red: R) 픽셀, 녹(green: G) 픽셀, 청(blue: B) 픽셀 및 IR 픽셀을 포함하는 이미지 어레이를 가질 수 있다.
상기 복수의 보간된 컬러 이미지 정보들 중 상기 R 픽셀에 대한 보간된 R 이미지 정보에는 R 정보 및 제1 IR 정보를 포함할 수 있다.
상기 IR 픽셀에 의해 생성된 부분 원시 IR 이미지 정보는 상기 원시 IR 정보에 대응할 수 있다.
상기 보간된 IR 이미지 정보에 기초하여 상기 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하는 동작은, 상기 보간된 IR 이미지 정보에 기초하여 보간된 R 이미지 정보 내의 제1 IR 정보를 제거함으로써 제1 이미지 정보를 생성하는 동작을 포함할 수 있다.
제1 컬러 이미지 정보들의 하나의 픽셀의 값을 나타내는 제1 비트 수가 상기 제2 컬러 이미지 정보들의 하나의 픽셀의 값을 나타내는 제2 비트 수 보다 클 수 있다.
상기 전자 장치는 ISP (image signal processor) 또는 ISP를 포함하는 SoC일 수 있다.
일 측면에 따른, 전자 장치는, 이미지를 생성하는 프로그램이 기록된 메모리, 및 상기 프로그램을 수행하는 프로세서를 포함하고, 상기 프로그램은, 카메라의 센서로부터 원시 컬러 정보들 및 원시 적외선(infrared: IR) 정보를 포함하는 원시 이미지 정보를 수신하는 동작, 상기 원시 이미지 정보에 기초하여 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들을 생성하는 동작, 상기 복수의 부분 원시 이미지 정보들 각각에 대한 복수의 보간된 이미지 정보들을 생성하는 동작 - 상기 복수의 보간된 이미지 정보들은 보간된 컬러 이미지 정보들 및 보간된 IR 이미지 정보를 포함함 -, 상기 보간된 IR 이미지 정보에 기초하여 상기 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하는 동작, 상기 제1 컬러 이미지 정보들을 톤-맵핑(tone mapping)함으로써 제2 컬러 이미지 정보들을 생성하는 동작, 및 상기 제2 컬러 이미지 정보들을 처리함으로써 타겟 이미지를 생성하는 동작을 수행할 수 있다.
상기 카메라의 센서는 적(red: R) 픽셀, 녹(green: G) 픽셀, 청(blue: B) 픽셀 및 IR 픽셀을 포함하는 이미지 어레이를 가질 수 있다.
상기 복수의 보간된 컬러 이미지 정보들 중 상기 R 픽셀에 대한 보간된 R 이미지 정보에는 R 정보 및 제1 IR 정보를 포함할 수 있다.
상기 IR 픽셀에 의해 생성된 부분 원시 IR 이미지 정보는 상기 원시 IR 정보에 대응할 수 있다.
상기 보간된 IR 이미지 정보에 기초하여 상기 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하는 동작은, 상기 보간된 IR 이미지 정보에 기초하여 보간된 R 이미지 정보 내의 제1 IR 정보를 제거함으로써 제1 이미지 정보를 생성하는 동작을 포함할 수 있다.
제1 컬러 이미지 정보들의 하나의 픽셀의 값을 나타내는 제1 비트 수가 상기 제2 컬러 이미지 정보들의 하나의 픽셀의 값을 나타내는 제2 비트 수 보다 클 수 있다.
상기 전자 장치는 ISP (image signal processor) 또는 ISP를 포함하는 SoC 일 수 있다.
전자 장치에 의해 수행되는 이미지 생성 방법이 제공될 수 있다.
이미지를 생성하는 전자 장치가 제공될 수 있다.
도 1은 일 예에 따른 이미지 생성 시스템을 도시한다.
도 2는 일 실시 예에 따른 전자 장치의 구성도이다.
도 3은 일 실시 예에 따른 이미지 생성 방법의 흐름도이다.
도 4는 일 예에 따른 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들을 생성하는 방법을 도시한다.
도 5a는 일 예에 따른 부분 원시 이미지 정보에 기초하여 보간된 컬러 이미지 정보를 생성하는 방법을 도시한다.
도 5b는 일 예에 따른 부분 원시 이미지 정보에 기초하여 보간된 IR 이미지 정보를 생성하는 방법을 도시한다.
도 6은 일 예에 따른 필터를 통해 생성되는 컬러 정보들 및 IR 정보를 도시한다.
도 7은 일 예에 따른 컬러 정보들 내의 IR 정보를 제거하는 방법을 도시한다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 예에 따른 이미지 생성 시스템을 도시한다.
이미지 생성 시스템은 카메라(110) 및 전자 장치(120)를 포함할 수 있다. 예를 들어, 카메라(110)는 이미지 센서를 포함하고, 이미지 센서를 통해 장면에 대한 광을 수신함으로써 원시 이미지 정보를 생성할 수 있다. 예를 들어, 전자 장치(120)는 ISP (image signal processor) 또는 ISP를 포함하는 SoC(System on Chip) 일 수 있다. SoC는 이미지를 생성(또는, 처리)하기 위해 제작된 반도체일 수 있다.
일 실시 예에 따르면, 이미지 센서는 적(red: R) 픽셀, 녹(green: G) 픽셀, 청(blue: B) 픽셀 및 IR(infrared) 픽셀을 포함하는 이미지 어레이를 포함할 수 있다. 예를 들어, 이미지 어레이는 베이어 패턴(Bayer pattern)을 포함할 수 있다. 다른 예로, 이미지 어레이는 베이어 패턴의 변형된 패턴을 포함할 수 있다. 예를 들어, 변형된 패턴은 R 픽셀, G 픽셀, B 픽셀 및 IR 픽셀을 포함하는 RGBIR일 수 있다. R 픽셀, G 픽셀, B 픽셀 및 IR 픽셀은 필터를 통해 광을 수신함으로써 해당 픽셀에 대한 광 정보를 수신할 수 있다.
일 실시 예에 따르면, 이미지 센서의 필터는 듀얼-밴드 필터일 수 있다. 듀얼-밴드 필터는 컬러들의 파장과 IR의 파장을 통과시킬 수 있다.
일 실시 예에 따르면, 카메라(110)로부터 원시 이미지 정보를 수신하고, 원시 이미지 정보를 처리함으로써 이미지를 생성할 수 있다. R 픽셀, G 픽셀, B 픽셀에 수신된 각 컬러 정보에는 듀얼-밴드 필터에 의해 IR의 파장에 대한 정보를 더 포함할 수 있다. 이에 따라, 전자 장치(120)는 선명한 컬러가 나타나는 이미지를 생성하기 위해 원시 이미지 정보의 컬러들 정보 내의 IR 정보를 제거할 수 있다. 아래에서 도 2 내지 도 7을 참조하여 IR 정보가 제거된 이미지를 생성하는 방법에 대해 상세히 설명된다.
도 2는 일 실시 예에 따른 전자 장치의 구성도이다.
일 측면에 따른, 전자 장치(200)(예: 도 1의 전자 장치(120))는 통신부(210), 프로세서(220), 및 메모리(230)를 포함한다. 추가적으로 전자 장치(200)는 카메라(예: 도 1의 카메라(110))를 더 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 차량 내에 포함될 수 있다. 예를 들어, 전자 장치(200)는 ECU(electronic control unit) 또는 BCM(body control module)과 같은 장치일 수 있다. 다른 예로, 전자 장치(200)는 ECU/BCM과 연결된 독립적인 장치일 수 있다.
통신부(210)는 프로세서(220), 메모리(230) 및 카메라(240)와 연결되어 데이터를 송수신한다. 통신부(210)는 외부의 다른 장치와 연결되어 데이터를 송수신할 수 있다. 이하에서 "A"를 송수신한다라는 표현은 "A를 나타내는 정보(information) 또는 데이터"를 송수신하는 것을 나타낼 수 있다.
통신부(210)는 전자 장치(200) 내의 회로망(circuitry)으로 구현될 수 있다. 예를 들어, 통신부(210)는 내부 버스(internal bus) 및 외부 버스(external bus)를 포함할 수 있다. 다른 예로, 통신부(210)는 전자 장치(200)와 외부의 장치를 연결하는 요소일 수 있다. 통신부(210)는 인터페이스(interface)일 수 있다. 통신부(210)는 외부의 장치로부터 데이터를 수신하여, 프로세서(220) 및 메모리(230)에 데이터를 전송할 수 있다.
프로세서(220)는 통신부(210)가 수신한 데이터 및 메모리(230)에 저장된 데이터를 처리한다. "프로세서"는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(220)는 메모리(예를 들어, 메모리(230))에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(220)에 의해 유발된 인스트럭션들을 실행한다.
메모리(230)는 통신부(210)가 수신한 데이터 및 프로세서(220)가 처리한 데이터를 저장한다. 예를 들어, 메모리(230)는 프로그램(또는 어플리케이션, 소프트웨어)을 저장할 수 있다. 저장되는 프로그램은 이미지를 생성할 수 있도록 코딩되어 프로세서(220)에 의해 실행 가능한 신텍스(syntax)들의 집합일 수 있다.
일 측면에 따르면, 메모리(230)는 하나 이상의 휘발성 메모리, 비휘발성 메모리 및 RAM(Random Access Memory), 플래시 메모리, 하드 디스크 드라이브 및 광학 디스크 드라이브를 포함할 수 있다.
메모리(230)는 전자 장치(200)를 동작 시키는 명령어 세트(예를 들어, 소프트웨어)를 저장한다. 전자 장치(200)를 동작 시키는 명령어 세트는 프로세서(220)에 의해 실행된다.
통신부(210), 프로세서(220), 및 메모리(230)에 대해, 아래에서 도 3 내지 도 7을 참조하여 상세히 설명된다.
도 3은 일 실시 예에 따른 이미지 생성 방법의 흐름도이다.
아래의 동작들 310 내지 360은 도 2를 참조하여 전술된 전자 장치(200)에 의해 수행된다.
동작 310에서, 전자 장치(200)는 카메라(예: 도 1의 카메라(110))의 센서로부터 원시 컬러 정보들 및 원시 IR 정보를 포함하는 원시 이미지 정보를 수신할 수 있다. 예를 들어, 카메라의 센서는 R 픽셀, G 픽셀, B 픽셀 및 IR 픽셀을 포함하는 이미지 어레이를 포함할 수 있다.
일 실시 예에 따르면, 원시 이미지 정보 내의 각 픽셀의 값을 나타내는 비트 수는 제1 비트 수로 명명될 수 있다. 예를 들어, 제1 비트 수는 10비트, 12비트, 16 비트 또는 24 비트일 수 있고, 기재된 실시예로 한정되지 않는다.
일 실시 예에 따르면, 원시 이미지 정보는 카메라의 렌즈에 도달한 광이 필터에 의해 필터링된 정보일 수 있다. 예를 들어, 필터는 컬러들의 파장과 IR의 파장을 통과시킬 수 있는 듀얼-밴드 필터일 수 있다. 듀얼-밴드 필터에 대해 아래에서 6을 참조하여 상세히 설명된다.
원시 이미지 정보는 원시 컬러 정보들 및 원시 IR 정보를 포함할 수 있다. 원시 컬러 정보들은 R 픽셀에 의해 생성된 원시 R 정보, G 픽셀에 의해 생성된 원시 G 정보 및 B 픽셀에 의해 생성된 원시 B 정보를 포함할 수 있다. 원시 IR 정보는 IR 픽셀에 의해 생성된 정보일 수 있다. 듀얼-밴드 필터의 특성에 의해 원시 컬러 정보들은 컬러 픽셀들에 의해 수신된 IR 정보를 포함할 수 있다. 원시 컬러 정보들 내의 IR 정보는 컬러 정보를 처리하기 위한 노이즈로 취급될 수 있다. 이에 따라, 선명한 컬러가 나타나는 이미지를 생성하기 위해서는 원시 이미지 정보 내의 IR 정보를 제거해야 한다.
동작 320에서, 전자 장치(200)는 원시 이미지 정보에 기초하여 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들을 생성할 수 있다. 예를 들어, R에 대한 부분 원시 이미지 정보, G에 대한 부분 원시 이미지 정보, B에 대한 부분 원시 이미지 정보, 및 IR에 대한 부분 원시 이미지 정보가 생성될 수 있다. 복수의 부분 원시 이미지 정보들을 생성하는 방법에 대해 아래에서 도 4를 참조하여 상세히 설명된다.
동작 330에서, 전자 장치(200)는 복수의 부분 원시 이미지 정보들 각각에 대한 복수의 보간(interpolation)된 이미지 정보들을 생성할 수 있다. 복수의 보간된 이미지 정보들은 보간된 컬러 이미지 정보들 및 보간된 IR 이미지 정보를 포함할 수 있다. 예를 들어, R에 대한 부분 원시 이미지 정보에 대한 보간된 R 이미지 정보가 생성되고, IR에 대한 부분 원시 이미지 정보에 대한 보간된 IR 이미지 정보가 생성될 수 있다. 예를 들어, 부분 원시 이미지 정보를 보간함으로써 보간된 이미지 정보를 생성하는 방법에 대해서는 타겟 픽셀에 인접한 픽셀들의 값들을 평균화하는 방법이 이용될 수 있고, 기재된 실시예로 한정되지 않는다.
보간된 이미지 정보를 생성하는 방법에 대해 아래에서 도 5a 및 도 5b를 참조하여 상세히 설명된다.
동작 340에서, 전자 장치(200)는 보간된 IR 이미지 정보에 기초하여 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성할 수 있다. 생성된 제1 컬러 이미지 정보들의 하나의 픽셀을 값을 나타내는 비트 수는 제1 비트 수일 수 있다. 즉, 제1 컬러 이미지 정보들의 픽셀의 비트 수와 원시 이미지 정보의 픽셀의 비트 수가 동일할 수 있고, 이러한 특징은 제1 컬러 이미지 정보들 내의 컬러 정보가 원본 그대로 유지됨을 나타낼 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 보간된 IR 이미지 정보에 기초하여 보간된 R 이미지 정보 내의 제1 IR 정보를 제거함으로써 제1 이미지 정보를 생성하고, 보간된 G 이미지 정보 내의 제2 IR 정보를 제거함으로써 제2 이미지 정보를 생성하고, 보간된 B 이미지 정보 내의 제3 IR 정보를 제거함으로써 제3 이미지 정보를 생성할 수 있다. 제1 컬러 이미지 정보들은 제1 이미지 정보, 제2 이미지 정보, 및 제3 이미지 정보를 포함할 수 있다.
제1 컬러 이미지 정보들을 생성하는 방법에 대해 아래에서 도 7을 참조하여 상세히 설명된다.
동작 350에서, 전자 장치(200)는 제1 컬러 이미지 정보들을 톤-맵핑(tone mapping)함으로써 제2 컬러 이미지 정보들을 생성할 수 있다.
일 실시 예에 따르면, 이미지를 출력하기 위한 디스플레이의 성능에 기초하여 제2 컬러 이미지 정보들이 생성될 수 있다. 예를 들어, 제1 컬러 이미지 정보들에 기초하여 미리 설정된 HDR(high dynamic range)의 규격을 갖도록 제2 컬러 이미지 정보들이 생성될 수 있다. 제1 컬러 이미지 정보들은 노이즈의 역할을 하는 IR 정보가 제거되었으므로 선명한 컬러 정보가 나타날 수 있고, 이에 기초하여 생성된 제2 컬러 이미지 정보들은 선명한 밝기의 대비를 나타낼 수 있다.
일 실시 예에 따르면, 생성된 제2 컬러 이미지 정보들의 하나의 픽셀을 값을 나타내는 비트 수는 제1 비트 수 보다 작은 제2 비트 수 일 수 있다. 예를 들어, 제2 비트 수는 5 비트, 6 비트, 8비트 또는 12 비트일 수 있고, 기재된 실시예로 한정되지 않는다.
동작 360에서, 전자 장치(200)는 제2 컬러 이미지 정보들을 처리함으로써 타겟 이미지를 생성할 수 있다. 예를 들어, 타겟 이미지의 각 픽셀 값은 제2 컬러 이미지 정보들의 대응하는 픽셀들(예: R 픽셀, G 픽셀, 및 B 픽셀)의 값들에 기초하여 계산될 수 있다. 예를 들어, 제2 컬러 이미지 정보들의 처리는 RGB 베이어 처리(Bayer processing)일 수 있다.
컬러 정보 내의 IR 정보가 제거된 제2 컬러 이미지 정보에 기초하여 생성된 타겟 이미지는 선명한 컬러 및 선명한 밝기의 대비를 가질 수 있다.
도 4는 일 예에 따른 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들을 생성하는 방법을 도시한다.
일 실시 예에 따르면, 이미지 센서는 이미지 어레이(410)를 포함할 수 있다. 예를 들어, 이미지 어레이(410)는 RGBIR 패턴일 수 있다. 도 4에서는 이미지 어레이(410)의 패턴이 4x4 RGBIR 패턴으로 표현되었으나, 실시예에 따라 2x2 RGBIR with IR split PD 패턴을 가질 수 있다. 예를 들어, 이미지 어레이(410)는 R 픽셀, G 픽셀, B 픽셀 및 IR 픽셀을 포함할 수 있다.
카메라는 이미지 어레이(410)를 이용하여 장면을 캡쳐함으로써 원시 이미지 정보(420)를 생성할 수 있다. 이미지 어레이(410)의 픽셀들에 의해 생성된 값들이 원시 이미지 정보(420)의 픽셀 값을 구성할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 원시 이미지 정보(420)에 기초하여 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들(421, 422, 423, 424)을 생성할 수 있다. 예를 들어, 복수의 부분 원시 이미지 정보들(421, 422, 423, 424)의 각각은 해당 컬러 또는 IR에 대한 픽셀 값들 만을 포함할 수 있다.
도 5a는 일 예에 따른 부분 원시 이미지 정보에 기초하여 보간된 컬러 이미지 정보를 생성하는 방법을 도시하고, 도 5b는 일 예에 따른 부분 원시 이미지 정보에 기초하여 보간된 IR 이미지 정보를 생성하는 방법을 도시한다.
일 실시 예에 따르면, 전자 장치(200)는 R에 대한 부분 원시 이미지 정보(421)에 대한 보간을 수행함으로써 R에 대한 보간된 이미지 정보(521)를 생성할 수 있다. 유사하게, 전자 장치(200)는 G 및 B 각각에 대한 부분 원시 이미지 정보(422, 또는 423)에 대한 보간을 수행함으로써 G 및 B에 대한 보간된 이미지 정보들을 생성할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 IR에 대한 부분 원시 이미지 정보(424)에 대한 보간을 수행함으로써 IR에 대한 보간된 이미지 정보(524)를 생성할 수 있다.
일 실시 예에 따르면, 이미지 센서에 이용된 듀얼-밴드 필터의 특성에 의해 R, G, B에 대한 보간된 컬러 이미지 정보들에는 IR 정보가 함께 포함되어 있을 수 있다. 예를 들어, 복수의 보간된 컬러 이미지 정보들 중 R 픽셀에 대한 보간된 R 이미지 정보에는 R 정보 및 제1 IR 정보를 포함하고, G 픽셀에 대한 보간된 G 이미지 정보에는 G 정보 및 제2 IR 정보를 포함하고, B 픽셀에 대한 보간된 B 이미지 정보에는 B 정보 및 제3 IR 정보를 포함할 수 있다.
이에 따라, 순수한 R, G, B에 대한 정보만을 획득하기 위해서는 보간된 컬러 이미지 정보들 내의 IR 정보가 제거되어야 한다. 아래에서 도 6 및 도 7을 참조하여 보간된 컬러 이미지 정보들 내의 IR 정보를 제거하는 방법에 대해 상세히 설명된다.
도 6은 일 예에 따른 필터를 통해 생성되는 컬러 정보들 및 IR 정보를 도시한다.
일 실시 예에 따르면, 그래프(610)는 R(611), G(612), B(613), IR(614) 각각의 분광 특성을 나타낸다. R(611), G(612), B(614) 모두 800nm 내지 900nm의 파장에서 무시할 수 없는 파워를 갖는 특성이 나타난다. 컬러에 대해 800nm 내지 900nm의 파장에서 나타나는 파워는 해당 컬러에 대한 IR 노이즈로 작용할 수 있다.
그래프(620)는 일 예에 따른, 이미지 센서 이용되는 듀얼-밴드 필터(621)의 특성을 나타낸다.
그래프(630) 및 그래프(640)는 듀얼-밴드 필터(621)를 이용하여 이미지 센서가 수신한 광에 대한 R(631), G(632), B(633) 및 IR(641) 각각의 분광 특성을 나타낸다. R(631), G(632), B(633)에 대한 정보는 전술된 동작 330의 보간된 컬러 이미지 정보들에 대응하고, IR(641)에 대한 정보는 동작 330의 보간된 IR 이미지 정보에 대응할 수 있다.
R(631), G(632), 및 B(633) 각각의 분광 특성에 따르면, 800nm 내지 900nm에서 각 컬러에 대한 IR 노이즈가 나타날 수 있다.
도 7은 일 예에 따른 컬러 정보들 내의 IR 정보를 제거하는 방법을 도시한다.
일 실시 예에 따르면, R(631), G(632), B(633)에 대한 정보 내의 IR 노이즈는 IR(641)에 대한 정보에 기초하여 제거될 수 있다. 예를 들어, R(631), G(632), B(633)에 대한 정보에서 IR(641)에 대한 정보를 빼는 경우, R(631), G(632), B(633)에 대한 정보 내의 IR 노이즈가 제거될 수 있다.
상기의 도 6 및 도 7을 통해 설명된 IR 노이즈 제거 방법을 이용하는 경우 원시 컬러 정보들이, 전처리(예: 톤-맵핑)가 수행되지 않아, 왜곡되지 않은 상태에서 IR 노이즈가 제거될 수 있으므로 컬러 정보의 선형성(linearity)이 유지될 수 있다.
컬러 정보의 선형성이 유지된 상태에서 동작 350의 톤-맵핑 및 동작 360의 RGB 베이어 처리가 수행됨으로써 선명한 컬러 및 선명한 밝기의 대비를 가지는 타겟 이미지가 생성될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (15)

  1. 전자 장치에 의해 수행되는, 이미지 생성 방법은,
    카메라의 센서로부터 원시 컬러 정보들 및 원시 적외선(infrared: IR) 정보를 포함하는 원시 이미지 정보를 수신하는 동작 - 상기 원시 이미지 정보 내의 각 픽셀의 값을 나타내는 비트 수는 제1 비트 수임 -;
    상기 원시 이미지 정보에 기초하여 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들을 생성하는 동작;
    상기 복수의 부분 원시 이미지 정보들 각각에 대한 복수의 보간된 이미지 정보들을 생성하는 동작 - 상기 복수의 보간된 이미지 정보들은 보간된 컬러 이미지 정보들 및 보간된 IR 이미지 정보를 포함함 -;
    상기 보간된 IR 이미지 정보에 기초하여 상기 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하는 동작 - 상기 제1 컬러 이미지 정보들의 하나의 픽셀을 값을 나타내는 비트 수는 상기 제1 비트 수임 -;
    상기 제1 컬러 이미지 정보들을 톤-맵핑(tone mapping)함으로써 제2 컬러 이미지 정보들을 생성하는 동작 - 상기 제2 컬러 이미지 정보들의 하나의 픽셀을 값을 나타내는 비트 수는 상기 제1 비트 수 보다 작은 제2 비트 수임 -; 및
    상기 제2 컬러 이미지 정보들을 처리함으로써 타겟 이미지를 생성하는 동작
    을 포함하는,
    이미지 생성 방법.
  2. 제1항에 있어서,
    상기 카메라의 센서는 적(red: R) 픽셀, 녹(green: G) 픽셀, 청(blue: B) 픽셀 및 IR 픽셀을 포함하는 이미지 어레이를 갖는,
    이미지 생성 방법.
  3. 제2항에 있어서,
    상기 복수의 보간된 컬러 이미지 정보들 중 상기 R 픽셀에 대한 보간된 R 이미지 정보에는 R 정보 및 제1 IR 정보를 포함하는,
    이미지 생성 방법.
  4. 제2항에 있어서,
    상기 IR 픽셀에 의해 생성된 부분 원시 IR 이미지 정보는 상기 원시 IR 정보에 대응하는,
    이미지 생성 방법.
  5. 제1항에 있어서,
    상기 보간된 IR 이미지 정보에 기초하여 상기 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하는 동작은,
    상기 보간된 IR 이미지 정보에 기초하여 보간된 R 이미지 정보 내의 제1 IR 정보를 제거함으로써 제1 이미지 정보를 생성하는 동작
    을 포함하는,
    이미지 생성 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 전자 장치는 ISP (image signal processor) 또는 ISP를 포함하는 SoC(System on Chip) 인,
    이미지 생성 방법.
  8. 하드웨어와 결합되어 제1항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  9. 전자 장치는,
    이미지를 생성하는 프로그램이 기록된 메모리; 및
    상기 프로그램을 수행하는 프로세서
    를 포함하고,
    상기 프로그램은,
    카메라의 센서로부터 원시 컬러 정보들 및 원시 적외선(infrared: IR) 정보를 포함하는 원시 이미지 정보를 수신하는 동작 - 상기 원시 이미지 정보 내의 각 픽셀의 값을 나타내는 비트 수는 제1 비트 수임 -;
    상기 원시 이미지 정보에 기초하여 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들을 생성하는 동작;
    상기 복수의 부분 원시 이미지 정보들 각각에 대한 복수의 보간된 이미지 정보들을 생성하는 동작 - 상기 복수의 보간된 이미지 정보들은 보간된 컬러 이미지 정보들 및 보간된 IR 이미지 정보를 포함함 -;
    상기 보간된 IR 이미지 정보에 기초하여 상기 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하는 동작 - 상기 제1 컬러 이미지 정보들의 하나의 픽셀을 값을 나타내는 비트 수는 상기 제1 비트 수임 -;
    상기 제1 컬러 이미지 정보들을 톤-맵핑(tone mapping)함으로써 제2 컬러 이미지 정보들을 생성하는 동작 - 상기 제2 컬러 이미지 정보들의 하나의 픽셀을 값을 나타내는 비트 수는 상기 제1 비트 수 보다 작은 제2 비트 수임 -; 및
    상기 제2 컬러 이미지 정보들을 처리함으로써 타겟 이미지를 생성하는 동작
    을 수행하는,
    전자 장치.
  10. 제9항에 있어서,
    상기 카메라의 센서는 적(red: R) 픽셀, 녹(green: G) 픽셀, 청(blue: B) 픽셀 및 IR 픽셀을 포함하는 이미지 어레이를 갖는,
    전자 장치.
  11. 제10항에 있어서,
    상기 복수의 보간된 컬러 이미지 정보들 중 상기 R 픽셀에 대한 보간된 R 이미지 정보에는 R 정보 및 제1 IR 정보를 포함하는,
    전자 장치.
  12. 제10항에 있어서,
    상기 IR 픽셀에 의해 생성된 부분 원시 IR 이미지 정보는 상기 원시 IR 정보에 대응하는,
    전자 장치.
  13. 제9항에 있어서,
    상기 보간된 IR 이미지 정보에 기초하여 상기 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하는 동작은,
    상기 보간된 IR 이미지 정보에 기초하여 보간된 R 이미지 정보 내의 제1 IR 정보를 제거함으로써 제1 이미지 정보를 생성하는 동작
    을 포함하는,
    전자 장치.
  14. 제9항에 있어서,
    제1 컬러 이미지 정보들의 하나의 픽셀의 값을 나타내는 제1 비트 수가 상기 제2 컬러 이미지 정보들의 하나의 픽셀의 값을 나타내는 제2 비트 수 보다 큰,
    전자 장치.
  15. 제9항에 있어서,
    상기 전자 장치는 ISP (image signal processor) 또는 ISP를 포함하는 SoC(System on Chip) 인,
    전자 장치.
KR1020210156648A 2021-11-15 2021-11-15 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치 KR102579742B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020210156648A KR102579742B1 (ko) 2021-11-15 2021-11-15 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치
PCT/KR2022/005802 WO2023085533A1 (ko) 2021-11-15 2022-04-22 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치
CN202280075020.8A CN118235157A (zh) 2021-11-15 2022-04-22 生成已去除红外信息的图像的方法及执行其的电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210156648A KR102579742B1 (ko) 2021-11-15 2021-11-15 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20230070750A KR20230070750A (ko) 2023-05-23
KR102579742B1 true KR102579742B1 (ko) 2023-09-19

Family

ID=86336215

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210156648A KR102579742B1 (ko) 2021-11-15 2021-11-15 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치

Country Status (3)

Country Link
KR (1) KR102579742B1 (ko)
CN (1) CN118235157A (ko)
WO (1) WO2023085533A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101695252B1 (ko) * 2012-06-07 2017-01-13 한화테크윈 주식회사 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8248496B2 (en) * 2009-03-10 2012-08-21 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image sensor
KR20130131717A (ko) * 2012-05-24 2013-12-04 현대모비스 주식회사 Ｈｄｒ 기능을 활용하는 차량용 카메라 장치 및 그 방법
FR3004882B1 (fr) * 2013-04-17 2015-05-15 Photonis France Dispositif d'acquisition d'images bimode
KR101923957B1 (ko) * 2017-04-21 2018-11-30 주식회사 아이닉스 감도 개선을 위한 영상 처리 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101695252B1 (ko) * 2012-06-07 2017-01-13 한화테크윈 주식회사 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법

Also Published As

Publication number Publication date
WO2023085533A1 (ko) 2023-05-19
CN118235157A (zh) 2024-06-21
KR20230070750A (ko) 2023-05-23

Similar Documents

Publication Publication Date Title
US20170070689A1 (en) Automatic compensation of lens flare
US20130272605A1 (en) Image processing device, image processing method, and program
WO2015059897A1 (ja) 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ
JP2013198160A (ja) 透明フィルタピクセルを備えるイメージングシステム
US11659289B2 (en) Imaging apparatus and method, and image processing apparatus and method
JP4941482B2 (ja) 擬似カラー画像生成装置、及びプログラム
JP5771677B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
CN114145012A (zh) 图像处理装置、图像拾取装置、方法以及程序
US10334185B2 (en) Image capturing device, signal separation device, and image capturing method
US11677918B2 (en) Method and apparatus for color space conversion
KR102579742B1 (ko) 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치
CN112488917A (zh) 图像处理方法、装置、电子设备及存储介质
AU2018341840B2 (en) Generating a monochrome image
CN116362988A (zh) 用于图像处理的设备和方法
CN109429044B (zh) 用于检测图像的部分的方法和图像处理设备
US20220210351A1 (en) Image sensing device and operating method thereof
CN107005643A (zh) 图像处理装置、图像处理方法以及程序
JP6794989B2 (ja) 映像処理装置、撮影装置、映像処理方法及びプログラム
KR20220065244A (ko) 이미지 센서의 컬러 필터 어레이
JP2023537864A (ja) チャネル制約付きハードウェアアクセラレータによって実装されたニューラルネットワークを使用して画像強調を実行するためのシステムおよび方法
KR102372215B1 (ko) 컬러 정보 및 적외선 정보를 혼합한 이미지 생성 방법 및 장치
Dikbas et al. Impact of Photometric Space Linearity on Demosaicing Image Quality
JP2000217124A (ja) 撮像装置及び前記撮像装置における画像処理方法
US20150206287A1 (en) Denoising Raw Image Data Using Content Adaptive Orthonormal Transformation with Cycle Spinning
KR20230072702A (ko) 컬러 변환을 수행하는 전자 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant