WO2023085533A1 - 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치 - Google Patents

적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치 Download PDF

Info

Publication number
WO2023085533A1
WO2023085533A1 PCT/KR2022/005802 KR2022005802W WO2023085533A1 WO 2023085533 A1 WO2023085533 A1 WO 2023085533A1 KR 2022005802 W KR2022005802 W KR 2022005802W WO 2023085533 A1 WO2023085533 A1 WO 2023085533A1
Authority
WO
WIPO (PCT)
Prior art keywords
image information
information
interpolated
color
generating
Prior art date
Application number
PCT/KR2022/005802
Other languages
English (en)
French (fr)
Inventor
천이우
Original Assignee
주식회사 넥스트칩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 넥스트칩 filed Critical 주식회사 넥스트칩
Priority to CN202280075020.8A priority Critical patent/CN118235157A/zh
Publication of WO2023085533A1 publication Critical patent/WO2023085533A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Definitions

  • the following embodiments relate to a technique of generating an image, and specifically, to a technique of generating an image from which infrared information is removed.
  • a camera receives light to capture an image of a scene.
  • the camera may receive light passing through a filter of the image sensor.
  • the image sensor may be configured in a Bayer pattern, and the Bayer pattern may include a red (R) pixel, a green (G) pixel, and a blue (B) pixel.
  • Each color pixel may receive a wavelength for a corresponding color through a filter.
  • the camera may generate an image of a scene based on information received through color pixels.
  • An embodiment may provide a method of generating an image performed by an electronic device.
  • An embodiment may provide an electronic device that generates an image.
  • an image generation method performed by an electronic device includes an operation of receiving raw image information including raw color information and raw infrared (IR) information from a sensor of a camera, based on the raw image information. generating a plurality of pieces of partial raw image information for each of the colors and IR, and generating a plurality of interpolated image information pieces for each of the plurality of pieces of raw image information - the plurality of interpolated image information is interpolated including interpolated color image information and interpolated IR image information - generating first color image information by removing IR information in the interpolated color image information based on the interpolated IR image information; An operation of generating second color image information by tone-mapping information of one color image, and an operation of generating a target image by processing the second color image information may be included.
  • IR infrared
  • the sensor of the camera may have an image array including red (R) pixels, green (G) pixels, blue (B) pixels, and IR pixels.
  • Interpolated R image information for the R pixel among the plurality of interpolated color image information may include R information and first IR information.
  • Partial raw IR image information generated by the IR pixel may correspond to the raw IR information.
  • the operation of generating first color image information by removing IR information in the interpolated color image information based on the interpolated IR image information includes first color image information in interpolated R image information based on the interpolated IR image information.
  • An operation of generating first image information by removing IR information may be included.
  • a first number of bits indicating a value of one pixel of the first color image information may be greater than a second number of bits indicating a value of one pixel of the second color image information.
  • the electronic device may be an image signal processor (ISP) or an SoC including an ISP.
  • ISP image signal processor
  • SoC SoC including an ISP.
  • an electronic device includes a memory in which a program for generating an image is recorded, and a processor that executes the program, wherein the program includes raw color information and raw infrared (IR) information from a sensor of a camera.
  • the sensor of the camera may have an image array including red (R) pixels, green (G) pixels, blue (B) pixels, and IR pixels.
  • Interpolated R image information for the R pixel among the plurality of interpolated color image information may include R information and first IR information.
  • Partial raw IR image information generated by the IR pixel may correspond to the raw IR information.
  • the operation of generating first color image information by removing IR information in the interpolated color image information based on the interpolated IR image information includes first color image information in interpolated R image information based on the interpolated IR image information.
  • An operation of generating first image information by removing IR information may be included.
  • a first number of bits indicating a value of one pixel of the first color image information may be greater than a second number of bits indicating a value of one pixel of the second color image information.
  • the electronic device may be an image signal processor (ISP) or an SoC including an ISP.
  • ISP image signal processor
  • SoC SoC including an ISP.
  • An image generating method performed by an electronic device may be provided.
  • An electronic device generating an image may be provided.
  • FIG 1 shows an image generation system according to an example.
  • FIG. 2 is a configuration diagram of an electronic device according to an embodiment.
  • FIG. 3 is a flowchart of an image generating method according to an exemplary embodiment.
  • FIG. 4 illustrates a method of generating a plurality of partial raw image information for each of colors and IR according to an example.
  • 5A illustrates a method of generating interpolated color image information based on partial raw image information according to an example.
  • 5B illustrates a method of generating interpolated IR image information based on partial raw image information according to an example.
  • FIG. 6 illustrates color information and IR information generated through a filter according to an example.
  • FIG. 7 illustrates a method of removing IR information from color information according to an example.
  • first or second may be used to describe various components, such terms should only be construed for the purpose of distinguishing one component from another.
  • a first element may be termed a second element, and similarly, a second element may be termed a first element.
  • FIG 1 shows an image generation system according to an example.
  • the image generating system may include a camera 110 and an electronic device 120 .
  • the camera 110 may include an image sensor and generate raw image information by receiving light of a scene through the image sensor.
  • the electronic device 120 may be an image signal processor (ISP) or a System on Chip (SoC) including the ISP.
  • An SoC may be a semiconductor fabricated to generate (or process) an image.
  • the image sensor may include an image array including red (R) pixels, green (G) pixels, blue (B) pixels, and infrared (IR) pixels.
  • the image array may include a Bayer pattern.
  • the image array may include a modified Bayer pattern.
  • the deformed pattern may be RGBIR including R pixels, G pixels, B pixels and IR pixels. The R pixel, G pixel, B pixel, and IR pixel may receive light information about the corresponding pixel by receiving light through a filter.
  • a filter of the image sensor may be a dual-band filter.
  • a dual-band filter can pass wavelengths of colors and IR.
  • an image may be generated by receiving raw image information from the camera 110 and processing the raw image information.
  • Each color information received by the R, G, and B pixels may further include IR wavelength information through a dual-band filter.
  • the electronic device 120 may remove IR information in colors information of raw image information in order to generate an image in which vivid colors appear. A method of generating an image from which IR information has been removed will be described in detail with reference to FIGS. 2 to 7 below.
  • FIG. 2 is a configuration diagram of an electronic device according to an embodiment.
  • the electronic device 200 (eg, the electronic device 120 of FIG. 1 ) includes a communication unit 210 , a processor 220 , and a memory 230 . Additionally, the electronic device 200 may further include a camera (eg, the camera 110 of FIG. 1 ).
  • the electronic device 200 may be included in a vehicle.
  • the electronic device 200 may be a device such as an electronic control unit (ECU) or a body control module (BCM).
  • the electronic device 200 may be an independent device connected to the ECU/BCM.
  • the communication unit 210 is connected to the processor 220, the memory 230, and the camera 240 to transmit and receive data.
  • the communication unit 210 may transmit/receive data by being connected to another external device.
  • the expression “transmitting and receiving “A” may indicate transmitting and receiving “information or data indicating A”.
  • the communication unit 210 may be implemented as circuitry within the electronic device 200 .
  • the communication unit 210 may include an internal bus and an external bus.
  • the communication unit 210 may be an element that connects the electronic device 200 and an external device.
  • the communication unit 210 may be an interface.
  • the communication unit 210 may receive data from an external device and transmit the data to the processor 220 and the memory 230 .
  • the processor 220 processes data received by the communication unit 210 and data stored in the memory 230 .
  • a “processor” may be a data processing device implemented in hardware having circuitry having a physical structure for executing desired operations.
  • desired operations may include codes or instructions included in a program.
  • a data processing unit implemented in hardware includes a microprocessor, a central processing unit, a processor core, a multi-core processor, and a multiprocessor. , Application-Specific Integrated Circuit (ASIC), and Field Programmable Gate Array (FPGA).
  • ASIC Application-Specific Integrated Circuit
  • FPGA Field Programmable Gate Array
  • Processor 220 executes computer readable code (eg, software) stored in memory (eg, memory 230 ) and instructions invoked by processor 220 .
  • computer readable code eg, software
  • the memory 230 stores data received by the communication unit 210 and data processed by the processor 220 .
  • the memory 230 may store a program (or application or software).
  • the stored program may be a set of syntaxes coded to generate an image and executable by the processor 220 .
  • the memory 230 may include one or more of volatile memory, non-volatile memory and random access memory (RAM), flash memory, a hard disk drive, and an optical disk drive.
  • volatile memory non-volatile memory and random access memory (RAM)
  • flash memory non-volatile memory and random access memory (RAM)
  • hard disk drive hard disk drive
  • optical disk drive optical disk drive
  • the memory 230 stores a command set (eg, software) for operating the electronic device 200 .
  • a set of instructions for operating the electronic device 200 is executed by the processor 220 .
  • the communication unit 210, the processor 220, and the memory 230 will be described in detail with reference to FIGS. 3 to 7 below.
  • FIG. 3 is a flowchart of an image generating method according to an exemplary embodiment.
  • Operations 310 to 360 below are performed by the electronic device 200 described above with reference to FIG. 2 .
  • the electronic device 200 may receive raw image information including raw color information and raw IR information from a sensor of a camera (eg, the camera 110 of FIG. 1 ).
  • a sensor of a camera may include an image array that includes R pixels, G pixels, B pixels, and IR pixels.
  • the number of bits representing the value of each pixel in raw image information may be referred to as a first number of bits.
  • the first number of bits may be 10 bits, 12 bits, 16 bits, or 24 bits, and is not limited to the described embodiment.
  • raw image information may be information obtained by filtering light reaching a lens of a camera.
  • the filter may be a dual-band filter capable of passing wavelengths of colors and wavelengths of IR.
  • the dual-band filter is described in detail with reference to 6 below.
  • Raw image information may include raw color information and raw IR information.
  • the raw color information may include raw R information generated by R pixels, raw G information generated by G pixels, and raw B information generated by B pixels.
  • Raw IR information may be information generated by IR pixels. Due to the nature of the dual-band filter, raw color information may include IR information received by color pixels. IR information in raw color information can be treated as noise for processing color information. Accordingly, in order to generate an image in which vivid colors appear, IR information in raw image information must be removed.
  • the electronic device 200 may generate a plurality of pieces of partial raw image information for each of the colors and IR based on the raw image information. For example, partial raw image information for R, partial raw image information for G, partial raw image information for B, and partial raw image information for IR may be generated. A method of generating a plurality of pieces of raw image information will be described in detail below with reference to FIG. 4 .
  • the electronic device 200 may generate a plurality of pieces of interpolated image information for each of a plurality of pieces of raw image information.
  • the plurality of interpolated image information may include interpolated color image information and interpolated IR image information.
  • interpolated R image information for partial raw image information for R may be generated
  • interpolated IR image information for partial raw image information for IR may be generated.
  • a method of averaging values of pixels adjacent to a target pixel may be used for a method of generating interpolated image information by interpolating partial raw image information, and is not limited to the described embodiment.
  • the electronic device 200 may generate first color image information by removing IR information from the interpolated color image information based on the interpolated IR image information.
  • the number of bits representing a value of one pixel of the generated first color image information may be the first number of bits. That is, the number of bits of pixels of the first color image information may be the same as the number of bits of pixels of the original image information, and this feature may indicate that color information in the first color image information is maintained as original.
  • the electronic device 200 generates first image information by removing first IR information in the interpolated R image information based on the interpolated IR image information, and generates second IR information in the interpolated G image information.
  • Second image information may be generated by removing information
  • third image information may be generated by removing third IR information in the interpolated B image information.
  • the first color image information may include first image information, second image information, and third image information.
  • a method of generating the first color image information will be described in detail with reference to FIG. 7 below.
  • the electronic device 200 may generate second color image information by tone-mapping the first color image information.
  • second color image information may be generated based on the performance of a display for outputting an image.
  • second color image information may be generated based on the first color image information to have a preset high dynamic range (HDR) standard. Since the IR information serving as noise has been removed from the first color image information, vivid color information may appear, and the second color image information generated based on this information may indicate a clear brightness contrast.
  • HDR high dynamic range
  • the number of bits representing a value of one pixel of the generated second color image information may be the second number of bits smaller than the first number of bits.
  • the second number of bits may be 5 bits, 6 bits, 8 bits, or 12 bits, and is not limited to the described embodiment.
  • the electronic device 200 may generate a target image by processing the second color image information.
  • each pixel value of the target image may be calculated based on values of corresponding pixels (eg, R pixel, G pixel, and B pixel) of the second color image information.
  • processing of the second color image information may be RGB Bayer processing.
  • a target image generated based on the second color image information from which IR information in the color information is removed may have vivid color and sharp brightness contrast.
  • FIG. 4 illustrates a method of generating a plurality of partial raw image information for each of colors and IR according to an example.
  • the image sensor may include the image array 410 .
  • image array 410 may be an RGBIR pattern.
  • the pattern of the image array 410 is expressed as a 4x4 RGBIR pattern, but may have a 2x2 RGBIR with IR split PD pattern according to embodiments.
  • image array 410 may include R pixels, G pixels, B pixels, and IR pixels.
  • the camera may generate raw image information 420 by capturing a scene using the image array 410 .
  • Values generated by the pixels of the image array 410 may constitute pixel values of the raw image information 420 .
  • the electronic device 200 may generate a plurality of pieces of partial raw image information 421 , 422 , 423 , and 424 for colors and IR, respectively, based on the raw image information 420 .
  • each of the pieces of partial raw image information 421, 422, 423, and 424 may include only pixel values for a corresponding color or IR.
  • FIG. 5A illustrates a method of generating interpolated color image information based on partial raw image information according to an example
  • FIG. 5B illustrates a method of generating interpolated IR image information based on partial raw image information according to an example. shows
  • the electronic device 200 may generate interpolated image information 521 for R by performing interpolation on the partial raw image information 421 for R.
  • the electronic device 200 may generate interpolated image information for G and B by performing interpolation on the partial raw image information 422 or 423 for each of G and B.
  • the electronic device 200 may generate interpolated image information 524 for IR by performing interpolation on partial raw image information 424 for IR.
  • interpolated color image information for R, G, and B may include IR information due to characteristics of a dual-band filter used in an image sensor.
  • interpolated R image information for R pixels includes R information and first IR information
  • interpolated G image information for G pixels includes G information and second IR information
  • the interpolated B image information for the B pixel may include B information and third IR information.
  • IR information in interpolated color image information must be removed.
  • a method of removing IR information in interpolated color image information will be described in detail with reference to FIGS. 6 and 7 below.
  • FIG. 6 illustrates color information and IR information generated through a filter according to an example.
  • a graph 610 represents spectral characteristics of each of R (611), G (612), B (613), and IR (614). All of R (611), G (612), and B (614) exhibit characteristics of power that cannot be ignored at a wavelength of 800 nm to 900 nm. Power appearing at wavelengths of 800 nm to 900 nm for a color can act as IR noise for that color.
  • a graph 620 shows characteristics of a dual-band filter 621 used in an image sensor, according to an example.
  • Graphs 630 and 640 show the spectrum of R (631), G (632), B (633), and IR (641) of light received by the image sensor using the dual-band filter 621, respectively. represents a characteristic.
  • Information on R (631), G (632), and B (633) corresponds to the interpolated color image information of operation 330 described above, and information on IR (641) corresponds to interpolated IR image information of operation 330. can respond
  • IR noise for each color may appear at 800 nm to 900 nm.
  • FIG. 7 illustrates a method of removing IR information from color information according to an example.
  • IR noise in information on R 631 , G 632 , and B 633 may be removed based on information on IR 641 . For example, if the information on IR (641) is subtracted from the information on R (631), G (632), and B (633), the information on R (631), G (632), and B (633) IR noise within can be removed.
  • preprocessing eg, tone-mapping
  • IR noise can be removed in an undistorted state, so color information The linearity of can be maintained.
  • the tone-mapping of operation 350 and the RGB Bayer processing of operation 360 are performed, so that a target image having vivid color and sharp brightness contrast can be generated.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively.
  • the device can be commanded.
  • Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave.
  • Software may be distributed on networked computer systems and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

일 예에 따른, 이미지를 생성하기 위해, 카메라의 센서로부터 원시 컬러 정보들 및 원시 IR 정보를 포함하는 원시 이미지 정보를 수신하고, 원시 이미지 정보에 기초하여 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들을 생성하고, 복수의 부분 원시 이미지 정보들 각각에 대한 복수의 보간된 이미지 정보들을 생성하고, 보간된 IR 이미지 정보에 기초하여 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하고, 제1 컬러 이미지 정보들을 톤-맵핑함으로써 제2 컬러 이미지 정보들을 생성하고, 제2 컬러 이미지 정보들을 처리함으로써 이미지를 생성할 수 있다.

Description

적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치
아래의 실시예들은 이미지를 생성하는 기술에 관한 것이고, 구체적으로 적외선 정보가 제거된 이미지를 생성하는 기술에 관한 것이다.
카메라는 장면에 대한 이미지를 캡쳐하기 위해 광을 수신한다. 카메라는 이미지 센서의 필터를 통과한 광을 수신할 수 있다. 예를 들어, 이미지 센서는 베이어 패턴(Bayer pattern)으로 구성될 수 있고, 베이어 패턴은 적(red: R) 픽셀, 녹(green: G) 픽셀, 청(blue: B) 픽셀을 포함할 수 있다. 각각의 컬러 픽셀은 필터를 통해 해당 컬러에 대한 파장을 수신할 수 있다. 카메라는 컬러 픽셀들을 통해 수신된 정보들에 기초하여 장면에 대한 이미지를 생성할 수 있다.
일 실시예는 전자 장치에 의해 수행되는 이미지를 생성하는 방법을 제공할 수 있다.
일 실시예는 이미지를 생성하는 전자 장치를 제공할 수 있다.
다만, 기술적 과제는 상술한 기술적 과제들로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.
일 측면에 따른, 전자 장치에 의해 수행되는 이미지 생성 방법은, 카메라의 센서로부터 원시 컬러 정보들 및 원시 적외선(infrared: IR) 정보를 포함하는 원시 이미지 정보를 수신하는 동작, 상기 원시 이미지 정보에 기초하여 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들을 생성하는 동작, 상기 복수의 부분 원시 이미지 정보들 각각에 대한 복수의 보간된 이미지 정보들을 생성하는 동작 - 상기 복수의 보간된 이미지 정보들은 보간된 컬러 이미지 정보들 및 보간된 IR 이미지 정보를 포함함 -, 상기 보간된 IR 이미지 정보에 기초하여 상기 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하는 동작, 상기 제1 컬러 이미지 정보들을 톤-맵핑(tone mapping)함으로써 제2 컬러 이미지 정보들을 생성하는 동작, 및 상기 제2 컬러 이미지 정보들을 처리함으로써 타겟 이미지를 생성하는 동작을 포함할 수 있다.
상기 카메라의 센서는 적(red: R) 픽셀, 녹(green: G) 픽셀, 청(blue: B) 픽셀 및 IR 픽셀을 포함하는 이미지 어레이를 가질 수 있다.
상기 복수의 보간된 컬러 이미지 정보들 중 상기 R 픽셀에 대한 보간된 R 이미지 정보에는 R 정보 및 제1 IR 정보를 포함할 수 있다.
상기 IR 픽셀에 의해 생성된 부분 원시 IR 이미지 정보는 상기 원시 IR 정보에 대응할 수 있다.
상기 보간된 IR 이미지 정보에 기초하여 상기 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하는 동작은, 상기 보간된 IR 이미지 정보에 기초하여 보간된 R 이미지 정보 내의 제1 IR 정보를 제거함으로써 제1 이미지 정보를 생성하는 동작을 포함할 수 있다.
제1 컬러 이미지 정보들의 하나의 픽셀의 값을 나타내는 제1 비트 수가 상기 제2 컬러 이미지 정보들의 하나의 픽셀의 값을 나타내는 제2 비트 수 보다 클 수 있다.
상기 전자 장치는 ISP (image signal processor) 또는 ISP를 포함하는 SoC일 수 있다.
일 측면에 따른, 전자 장치는, 이미지를 생성하는 프로그램이 기록된 메모리, 및 상기 프로그램을 수행하는 프로세서를 포함하고, 상기 프로그램은, 카메라의 센서로부터 원시 컬러 정보들 및 원시 적외선(infrared: IR) 정보를 포함하는 원시 이미지 정보를 수신하는 동작, 상기 원시 이미지 정보에 기초하여 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들을 생성하는 동작, 상기 복수의 부분 원시 이미지 정보들 각각에 대한 복수의 보간된 이미지 정보들을 생성하는 동작 - 상기 복수의 보간된 이미지 정보들은 보간된 컬러 이미지 정보들 및 보간된 IR 이미지 정보를 포함함 -, 상기 보간된 IR 이미지 정보에 기초하여 상기 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하는 동작, 상기 제1 컬러 이미지 정보들을 톤-맵핑(tone mapping)함으로써 제2 컬러 이미지 정보들을 생성하는 동작, 및 상기 제2 컬러 이미지 정보들을 처리함으로써 타겟 이미지를 생성하는 동작을 수행할 수 있다.
상기 카메라의 센서는 적(red: R) 픽셀, 녹(green: G) 픽셀, 청(blue: B) 픽셀 및 IR 픽셀을 포함하는 이미지 어레이를 가질 수 있다.
상기 복수의 보간된 컬러 이미지 정보들 중 상기 R 픽셀에 대한 보간된 R 이미지 정보에는 R 정보 및 제1 IR 정보를 포함할 수 있다.
상기 IR 픽셀에 의해 생성된 부분 원시 IR 이미지 정보는 상기 원시 IR 정보에 대응할 수 있다.
상기 보간된 IR 이미지 정보에 기초하여 상기 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하는 동작은, 상기 보간된 IR 이미지 정보에 기초하여 보간된 R 이미지 정보 내의 제1 IR 정보를 제거함으로써 제1 이미지 정보를 생성하는 동작을 포함할 수 있다.
제1 컬러 이미지 정보들의 하나의 픽셀의 값을 나타내는 제1 비트 수가 상기 제2 컬러 이미지 정보들의 하나의 픽셀의 값을 나타내는 제2 비트 수 보다 클 수 있다.
상기 전자 장치는 ISP (image signal processor) 또는 ISP를 포함하는 SoC 일 수 있다.
전자 장치에 의해 수행되는 이미지 생성 방법이 제공될 수 있다.
이미지를 생성하는 전자 장치가 제공될 수 있다.
도 1은 일 예에 따른 이미지 생성 시스템을 도시한다.
도 2는 일 실시 예에 따른 전자 장치의 구성도이다.
도 3은 일 실시 예에 따른 이미지 생성 방법의 흐름도이다.
도 4는 일 예에 따른 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들을 생성하는 방법을 도시한다.
도 5a는 일 예에 따른 부분 원시 이미지 정보에 기초하여 보간된 컬러 이미지 정보를 생성하는 방법을 도시한다.
도 5b는 일 예에 따른 부분 원시 이미지 정보에 기초하여 보간된 IR 이미지 정보를 생성하는 방법을 도시한다.
도 6은 일 예에 따른 필터를 통해 생성되는 컬러 정보들 및 IR 정보를 도시한다.
도 7은 일 예에 따른 컬러 정보들 내의 IR 정보를 제거하는 방법을 도시한다.
실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 구현될 수 있다. 따라서, 실제 구현되는 형태는 개시된 특정 실시예로만 한정되는 것이 아니며, 본 명세서의 범위는 실시예들로 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 일 예에 따른 이미지 생성 시스템을 도시한다.
이미지 생성 시스템은 카메라(110) 및 전자 장치(120)를 포함할 수 있다. 예를 들어, 카메라(110)는 이미지 센서를 포함하고, 이미지 센서를 통해 장면에 대한 광을 수신함으로써 원시 이미지 정보를 생성할 수 있다. 예를 들어, 전자 장치(120)는 ISP (image signal processor) 또는 ISP를 포함하는 SoC(System on Chip) 일 수 있다. SoC는 이미지를 생성(또는, 처리)하기 위해 제작된 반도체일 수 있다.
일 실시 예에 따르면, 이미지 센서는 적(red: R) 픽셀, 녹(green: G) 픽셀, 청(blue: B) 픽셀 및 IR(infrared) 픽셀을 포함하는 이미지 어레이를 포함할 수 있다. 예를 들어, 이미지 어레이는 베이어 패턴(Bayer pattern)을 포함할 수 있다. 다른 예로, 이미지 어레이는 베이어 패턴의 변형된 패턴을 포함할 수 있다. 예를 들어, 변형된 패턴은 R 픽셀, G 픽셀, B 픽셀 및 IR 픽셀을 포함하는 RGBIR일 수 있다. R 픽셀, G 픽셀, B 픽셀 및 IR 픽셀은 필터를 통해 광을 수신함으로써 해당 픽셀에 대한 광 정보를 수신할 수 있다.
일 실시 예에 따르면, 이미지 센서의 필터는 듀얼-밴드 필터일 수 있다. 듀얼-밴드 필터는 컬러들의 파장과 IR의 파장을 통과시킬 수 있다.
일 실시 예에 따르면, 카메라(110)로부터 원시 이미지 정보를 수신하고, 원시 이미지 정보를 처리함으로써 이미지를 생성할 수 있다. R 픽셀, G 픽셀, B 픽셀에 수신된 각 컬러 정보에는 듀얼-밴드 필터에 의해 IR의 파장에 대한 정보를 더 포함할 수 있다. 이에 따라, 전자 장치(120)는 선명한 컬러가 나타나는 이미지를 생성하기 위해 원시 이미지 정보의 컬러들 정보 내의 IR 정보를 제거할 수 있다. 아래에서 도 2 내지 도 7을 참조하여 IR 정보가 제거된 이미지를 생성하는 방법에 대해 상세히 설명된다.
도 2는 일 실시 예에 따른 전자 장치의 구성도이다.
일 측면에 따른, 전자 장치(200)(예: 도 1의 전자 장치(120))는 통신부(210), 프로세서(220), 및 메모리(230)를 포함한다. 추가적으로 전자 장치(200)는 카메라(예: 도 1의 카메라(110))를 더 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 차량 내에 포함될 수 있다. 예를 들어, 전자 장치(200)는 ECU(electronic control unit) 또는 BCM(body control module)과 같은 장치일 수 있다. 다른 예로, 전자 장치(200)는 ECU/BCM과 연결된 독립적인 장치일 수 있다.
통신부(210)는 프로세서(220), 메모리(230) 및 카메라(240)와 연결되어 데이터를 송수신한다. 통신부(210)는 외부의 다른 장치와 연결되어 데이터를 송수신할 수 있다. 이하에서 "A"를 송수신한다라는 표현은 "A를 나타내는 정보(information) 또는 데이터"를 송수신하는 것을 나타낼 수 있다.
통신부(210)는 전자 장치(200) 내의 회로망(circuitry)으로 구현될 수 있다. 예를 들어, 통신부(210)는 내부 버스(internal bus) 및 외부 버스(external bus)를 포함할 수 있다. 다른 예로, 통신부(210)는 전자 장치(200)와 외부의 장치를 연결하는 요소일 수 있다. 통신부(210)는 인터페이스(interface)일 수 있다. 통신부(210)는 외부의 장치로부터 데이터를 수신하여, 프로세서(220) 및 메모리(230)에 데이터를 전송할 수 있다.
프로세서(220)는 통신부(210)가 수신한 데이터 및 메모리(230)에 저장된 데이터를 처리한다. "프로세서"는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(220)는 메모리(예를 들어, 메모리(230))에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 프로세서(220)에 의해 유발된 인스트럭션들을 실행한다.
메모리(230)는 통신부(210)가 수신한 데이터 및 프로세서(220)가 처리한 데이터를 저장한다. 예를 들어, 메모리(230)는 프로그램(또는 어플리케이션, 소프트웨어)을 저장할 수 있다. 저장되는 프로그램은 이미지를 생성할 수 있도록 코딩되어 프로세서(220)에 의해 실행 가능한 신텍스(syntax)들의 집합일 수 있다.
일 측면에 따르면, 메모리(230)는 하나 이상의 휘발성 메모리, 비휘발성 메모리 및 RAM(Random Access Memory), 플래시 메모리, 하드 디스크 드라이브 및 광학 디스크 드라이브를 포함할 수 있다.
메모리(230)는 전자 장치(200)를 동작 시키는 명령어 세트(예를 들어, 소프트웨어)를 저장한다. 전자 장치(200)를 동작 시키는 명령어 세트는 프로세서(220)에 의해 실행된다.
통신부(210), 프로세서(220), 및 메모리(230)에 대해, 아래에서 도 3 내지 도 7을 참조하여 상세히 설명된다.
도 3은 일 실시 예에 따른 이미지 생성 방법의 흐름도이다.
아래의 동작들 310 내지 360은 도 2를 참조하여 전술된 전자 장치(200)에 의해 수행된다.
동작 310에서, 전자 장치(200)는 카메라(예: 도 1의 카메라(110))의 센서로부터 원시 컬러 정보들 및 원시 IR 정보를 포함하는 원시 이미지 정보를 수신할 수 있다. 예를 들어, 카메라의 센서는 R 픽셀, G 픽셀, B 픽셀 및 IR 픽셀을 포함하는 이미지 어레이를 포함할 수 있다.
일 실시 예에 따르면, 원시 이미지 정보 내의 각 픽셀의 값을 나타내는 비트 수는 제1 비트 수로 명명될 수 있다. 예를 들어, 제1 비트 수는 10비트, 12비트, 16 비트 또는 24 비트일 수 있고, 기재된 실시예로 한정되지 않는다.
일 실시 예에 따르면, 원시 이미지 정보는 카메라의 렌즈에 도달한 광이 필터에 의해 필터링된 정보일 수 있다. 예를 들어, 필터는 컬러들의 파장과 IR의 파장을 통과시킬 수 있는 듀얼-밴드 필터일 수 있다. 듀얼-밴드 필터에 대해 아래에서 6을 참조하여 상세히 설명된다.
원시 이미지 정보는 원시 컬러 정보들 및 원시 IR 정보를 포함할 수 있다. 원시 컬러 정보들은 R 픽셀에 의해 생성된 원시 R 정보, G 픽셀에 의해 생성된 원시 G 정보 및 B 픽셀에 의해 생성된 원시 B 정보를 포함할 수 있다. 원시 IR 정보는 IR 픽셀에 의해 생성된 정보일 수 있다. 듀얼-밴드 필터의 특성에 의해 원시 컬러 정보들은 컬러 픽셀들에 의해 수신된 IR 정보를 포함할 수 있다. 원시 컬러 정보들 내의 IR 정보는 컬러 정보를 처리하기 위한 노이즈로 취급될 수 있다. 이에 따라, 선명한 컬러가 나타나는 이미지를 생성하기 위해서는 원시 이미지 정보 내의 IR 정보를 제거해야 한다.
동작 320에서, 전자 장치(200)는 원시 이미지 정보에 기초하여 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들을 생성할 수 있다. 예를 들어, R에 대한 부분 원시 이미지 정보, G에 대한 부분 원시 이미지 정보, B에 대한 부분 원시 이미지 정보, 및 IR에 대한 부분 원시 이미지 정보가 생성될 수 있다. 복수의 부분 원시 이미지 정보들을 생성하는 방법에 대해 아래에서 도 4를 참조하여 상세히 설명된다.
동작 330에서, 전자 장치(200)는 복수의 부분 원시 이미지 정보들 각각에 대한 복수의 보간(interpolation)된 이미지 정보들을 생성할 수 있다. 복수의 보간된 이미지 정보들은 보간된 컬러 이미지 정보들 및 보간된 IR 이미지 정보를 포함할 수 있다. 예를 들어, R에 대한 부분 원시 이미지 정보에 대한 보간된 R 이미지 정보가 생성되고, IR에 대한 부분 원시 이미지 정보에 대한 보간된 IR 이미지 정보가 생성될 수 있다. 예를 들어, 부분 원시 이미지 정보를 보간함으로써 보간된 이미지 정보를 생성하는 방법에 대해서는 타겟 픽셀에 인접한 픽셀들의 값들을 평균화하는 방법이 이용될 수 있고, 기재된 실시예로 한정되지 않는다.
보간된 이미지 정보를 생성하는 방법에 대해 아래에서 도 5a 및 도 5b를 참조하여 상세히 설명된다.
동작 340에서, 전자 장치(200)는 보간된 IR 이미지 정보에 기초하여 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성할 수 있다. 생성된 제1 컬러 이미지 정보들의 하나의 픽셀을 값을 나타내는 비트 수는 제1 비트 수일 수 있다. 즉, 제1 컬러 이미지 정보들의 픽셀의 비트 수와 원시 이미지 정보의 픽셀의 비트 수가 동일할 수 있고, 이러한 특징은 제1 컬러 이미지 정보들 내의 컬러 정보가 원본 그대로 유지됨을 나타낼 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 보간된 IR 이미지 정보에 기초하여 보간된 R 이미지 정보 내의 제1 IR 정보를 제거함으로써 제1 이미지 정보를 생성하고, 보간된 G 이미지 정보 내의 제2 IR 정보를 제거함으로써 제2 이미지 정보를 생성하고, 보간된 B 이미지 정보 내의 제3 IR 정보를 제거함으로써 제3 이미지 정보를 생성할 수 있다. 제1 컬러 이미지 정보들은 제1 이미지 정보, 제2 이미지 정보, 및 제3 이미지 정보를 포함할 수 있다.
제1 컬러 이미지 정보들을 생성하는 방법에 대해 아래에서 도 7을 참조하여 상세히 설명된다.
동작 350에서, 전자 장치(200)는 제1 컬러 이미지 정보들을 톤-맵핑(tone mapping)함으로써 제2 컬러 이미지 정보들을 생성할 수 있다.
일 실시 예에 따르면, 이미지를 출력하기 위한 디스플레이의 성능에 기초하여 제2 컬러 이미지 정보들이 생성될 수 있다. 예를 들어, 제1 컬러 이미지 정보들에 기초하여 미리 설정된 HDR(high dynamic range)의 규격을 갖도록 제2 컬러 이미지 정보들이 생성될 수 있다. 제1 컬러 이미지 정보들은 노이즈의 역할을 하는 IR 정보가 제거되었으므로 선명한 컬러 정보가 나타날 수 있고, 이에 기초하여 생성된 제2 컬러 이미지 정보들은 선명한 밝기의 대비를 나타낼 수 있다.
일 실시 예에 따르면, 생성된 제2 컬러 이미지 정보들의 하나의 픽셀을 값을 나타내는 비트 수는 제1 비트 수 보다 작은 제2 비트 수 일 수 있다. 예를 들어, 제2 비트 수는 5 비트, 6 비트, 8비트 또는 12 비트일 수 있고, 기재된 실시예로 한정되지 않는다.
동작 360에서, 전자 장치(200)는 제2 컬러 이미지 정보들을 처리함으로써 타겟 이미지를 생성할 수 있다. 예를 들어, 타겟 이미지의 각 픽셀 값은 제2 컬러 이미지 정보들의 대응하는 픽셀들(예: R 픽셀, G 픽셀, 및 B 픽셀)의 값들에 기초하여 계산될 수 있다. 예를 들어, 제2 컬러 이미지 정보들의 처리는 RGB 베이어 처리(Bayer processing)일 수 있다.
컬러 정보 내의 IR 정보가 제거된 제2 컬러 이미지 정보에 기초하여 생성된 타겟 이미지는 선명한 컬러 및 선명한 밝기의 대비를 가질 수 있다.
도 4는 일 예에 따른 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들을 생성하는 방법을 도시한다.
일 실시 예에 따르면, 이미지 센서는 이미지 어레이(410)를 포함할 수 있다. 예를 들어, 이미지 어레이(410)는 RGBIR 패턴일 수 있다. 도 4에서는 이미지 어레이(410)의 패턴이 4x4 RGBIR 패턴으로 표현되었으나, 실시예에 따라 2x2 RGBIR with IR split PD 패턴을 가질 수 있다. 예를 들어, 이미지 어레이(410)는 R 픽셀, G 픽셀, B 픽셀 및 IR 픽셀을 포함할 수 있다.
카메라는 이미지 어레이(410)를 이용하여 장면을 캡쳐함으로써 원시 이미지 정보(420)를 생성할 수 있다. 이미지 어레이(410)의 픽셀들에 의해 생성된 값들이 원시 이미지 정보(420)의 픽셀 값을 구성할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 원시 이미지 정보(420)에 기초하여 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들(421, 422, 423, 424)을 생성할 수 있다. 예를 들어, 복수의 부분 원시 이미지 정보들(421, 422, 423, 424)의 각각은 해당 컬러 또는 IR에 대한 픽셀 값들 만을 포함할 수 있다.
도 5a는 일 예에 따른 부분 원시 이미지 정보에 기초하여 보간된 컬러 이미지 정보를 생성하는 방법을 도시하고, 도 5b는 일 예에 따른 부분 원시 이미지 정보에 기초하여 보간된 IR 이미지 정보를 생성하는 방법을 도시한다.
일 실시 예에 따르면, 전자 장치(200)는 R에 대한 부분 원시 이미지 정보(421)에 대한 보간을 수행함으로써 R에 대한 보간된 이미지 정보(521)를 생성할 수 있다. 유사하게, 전자 장치(200)는 G 및 B 각각에 대한 부분 원시 이미지 정보(422, 또는 423)에 대한 보간을 수행함으로써 G 및 B에 대한 보간된 이미지 정보들을 생성할 수 있다.
일 실시 예에 따르면, 전자 장치(200)는 IR에 대한 부분 원시 이미지 정보(424)에 대한 보간을 수행함으로써 IR에 대한 보간된 이미지 정보(524)를 생성할 수 있다.
일 실시 예에 따르면, 이미지 센서에 이용된 듀얼-밴드 필터의 특성에 의해 R, G, B에 대한 보간된 컬러 이미지 정보들에는 IR 정보가 함께 포함되어 있을 수 있다. 예를 들어, 복수의 보간된 컬러 이미지 정보들 중 R 픽셀에 대한 보간된 R 이미지 정보에는 R 정보 및 제1 IR 정보를 포함하고, G 픽셀에 대한 보간된 G 이미지 정보에는 G 정보 및 제2 IR 정보를 포함하고, B 픽셀에 대한 보간된 B 이미지 정보에는 B 정보 및 제3 IR 정보를 포함할 수 있다.
이에 따라, 순수한 R, G, B에 대한 정보만을 획득하기 위해서는 보간된 컬러 이미지 정보들 내의 IR 정보가 제거되어야 한다. 아래에서 도 6 및 도 7을 참조하여 보간된 컬러 이미지 정보들 내의 IR 정보를 제거하는 방법에 대해 상세히 설명된다.
도 6은 일 예에 따른 필터를 통해 생성되는 컬러 정보들 및 IR 정보를 도시한다.
일 실시 예에 따르면, 그래프(610)는 R(611), G(612), B(613), IR(614) 각각의 분광 특성을 나타낸다. R(611), G(612), B(614) 모두 800nm 내지 900nm의 파장에서 무시할 수 없는 파워를 갖는 특성이 나타난다. 컬러에 대해 800nm 내지 900nm의 파장에서 나타나는 파워는 해당 컬러에 대한 IR 노이즈로 작용할 수 있다.
그래프(620)는 일 예에 따른, 이미지 센서 이용되는 듀얼-밴드 필터(621)의 특성을 나타낸다.
그래프(630) 및 그래프(640)는 듀얼-밴드 필터(621)를 이용하여 이미지 센서가 수신한 광에 대한 R(631), G(632), B(633) 및 IR(641) 각각의 분광 특성을 나타낸다. R(631), G(632), B(633)에 대한 정보는 전술된 동작 330의 보간된 컬러 이미지 정보들에 대응하고, IR(641)에 대한 정보는 동작 330의 보간된 IR 이미지 정보에 대응할 수 있다.
R(631), G(632), 및 B(633) 각각의 분광 특성에 따르면, 800nm 내지 900nm에서 각 컬러에 대한 IR 노이즈가 나타날 수 있다.
도 7은 일 예에 따른 컬러 정보들 내의 IR 정보를 제거하는 방법을 도시한다.
일 실시 예에 따르면, R(631), G(632), B(633)에 대한 정보 내의 IR 노이즈는 IR(641)에 대한 정보에 기초하여 제거될 수 있다. 예를 들어, R(631), G(632), B(633)에 대한 정보에서 IR(641)에 대한 정보를 빼는 경우, R(631), G(632), B(633)에 대한 정보 내의 IR 노이즈가 제거될 수 있다.
상기의 도 6 및 도 7을 통해 설명된 IR 노이즈 제거 방법을 이용하는 경우 원시 컬러 정보들이, 전처리(예: 톤-맵핑)가 수행되지 않아, 왜곡되지 않은 상태에서 IR 노이즈가 제거될 수 있으므로 컬러 정보의 선형성(linearity)이 유지될 수 있다.
컬러 정보의 선형성이 유지된 상태에서 동작 350의 톤-맵핑 및 동작 360의 RGB 베이어 처리가 수행됨으로써 선명한 컬러 및 선명한 밝기의 대비를 가지는 타겟 이미지가 생성될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (15)

  1. 전자 장치에 의해 수행되는, 이미지 생성 방법은,
    카메라의 센서로부터 원시 컬러 정보들 및 원시 적외선(infrared: IR) 정보를 포함하는 원시 이미지 정보를 수신하는 동작;
    상기 원시 이미지 정보에 기초하여 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들을 생성하는 동작;
    상기 복수의 부분 원시 이미지 정보들 각각에 대한 복수의 보간된 이미지 정보들을 생성하는 동작 - 상기 복수의 보간된 이미지 정보들은 보간된 컬러 이미지 정보들 및 보간된 IR 이미지 정보를 포함함 -;
    상기 보간된 IR 이미지 정보에 기초하여 상기 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하는 동작;
    상기 제1 컬러 이미지 정보들을 톤-맵핑(tone mapping)함으로써 제2 컬러 이미지 정보들을 생성하는 동작; 및
    상기 제2 컬러 이미지 정보들을 처리함으로써 타겟 이미지를 생성하는 동작
    을 포함하는,
    이미지 생성 방법.
  2. 제1항에 있어서,
    상기 카메라의 센서는 적(red: R) 픽셀, 녹(green: G) 픽셀, 청(blue: B) 픽셀 및 IR 픽셀을 포함하는 이미지 어레이를 갖는,
    이미지 생성 방법.
  3. 제2항에 있어서,
    상기 복수의 보간된 컬러 이미지 정보들 중 상기 R 픽셀에 대한 보간된 R 이미지 정보에는 R 정보 및 제1 IR 정보를 포함하는,
    이미지 생성 방법.
  4. 제2항에 있어서,
    상기 IR 픽셀에 의해 생성된 부분 원시 IR 이미지 정보는 상기 원시 IR 정보에 대응하는,
    이미지 생성 방법.
  5. 제1항에 있어서,
    상기 보간된 IR 이미지 정보에 기초하여 상기 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하는 동작은,
    상기 보간된 IR 이미지 정보에 기초하여 보간된 R 이미지 정보 내의 제1 IR 정보를 제거함으로써 제1 이미지 정보를 생성하는 동작
    을 포함하는,
    이미지 생성 방법.
  6. 제1항에 있어서,
    제1 컬러 이미지 정보들의 하나의 픽셀의 값을 나타내는 제1 비트 수가 상기 제2 컬러 이미지 정보들의 하나의 픽셀의 값을 나타내는 제2 비트 수 보다 큰,
    이미지 생성 방법.
  7. 제1항에 있어서,
    상기 전자 장치는 ISP (image signal processor) 또는 ISP를 포함하는 SoC(System on Chip) 인,
    이미지 생성 방법.
  8. 하드웨어와 결합되어 제1항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
  9. 전자 장치는,
    이미지를 생성하는 프로그램이 기록된 메모리; 및
    상기 프로그램을 수행하는 프로세서
    를 포함하고,
    상기 프로그램은,
    카메라의 센서로부터 원시 컬러 정보들 및 원시 적외선(infrared: IR) 정보를 포함하는 원시 이미지 정보를 수신하는 동작;
    상기 원시 이미지 정보에 기초하여 컬러들 및 IR 각각에 대한 복수의 부분 원시 이미지 정보들을 생성하는 동작;
    상기 복수의 부분 원시 이미지 정보들 각각에 대한 복수의 보간된 이미지 정보들을 생성하는 동작 - 상기 복수의 보간된 이미지 정보들은 보간된 컬러 이미지 정보들 및 보간된 IR 이미지 정보를 포함함 -;
    상기 보간된 IR 이미지 정보에 기초하여 상기 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하는 동작;
    상기 제1 컬러 이미지 정보들을 톤-맵핑(tone mapping)함으로써 제2 컬러 이미지 정보들을 생성하는 동작; 및
    상기 제2 컬러 이미지 정보들을 처리함으로써 타겟 이미지를 생성하는 동작
    을 수행하는,
    전자 장치.
  10. 제9항에 있어서,
    상기 카메라의 센서는 적(red: R) 픽셀, 녹(green: G) 픽셀, 청(blue: B) 픽셀 및 IR 픽셀을 포함하는 이미지 어레이를 갖는,
    전자 장치.
  11. 제10항에 있어서,
    상기 복수의 보간된 컬러 이미지 정보들 중 상기 R 픽셀에 대한 보간된 R 이미지 정보에는 R 정보 및 제1 IR 정보를 포함하는,
    전자 장치.
  12. 제10항에 있어서,
    상기 IR 픽셀에 의해 생성된 부분 원시 IR 이미지 정보는 상기 원시 IR 정보에 대응하는,
    전자 장치.
  13. 제9항에 있어서,
    상기 보간된 IR 이미지 정보에 기초하여 상기 보간된 컬러 이미지 정보들 내의 IR 정보를 제거함으로써 제1 컬러 이미지 정보들을 생성하는 동작은,
    상기 보간된 IR 이미지 정보에 기초하여 보간된 R 이미지 정보 내의 제1 IR 정보를 제거함으로써 제1 이미지 정보를 생성하는 동작
    을 포함하는,
    전자 장치.
  14. 제9항에 있어서,
    제1 컬러 이미지 정보들의 하나의 픽셀의 값을 나타내는 제1 비트 수가 상기 제2 컬러 이미지 정보들의 하나의 픽셀의 값을 나타내는 제2 비트 수 보다 큰,
    전자 장치.
  15. 제9항에 있어서,
    상기 전자 장치는 ISP (image signal processor) 또는 ISP를 포함하는 SoC(System on Chip) 인,
    전자 장치.
PCT/KR2022/005802 2021-11-15 2022-04-22 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치 WO2023085533A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280075020.8A CN118235157A (zh) 2021-11-15 2022-04-22 生成已去除红外信息的图像的方法及执行其的电子装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0156648 2021-11-15
KR1020210156648A KR102579742B1 (ko) 2021-11-15 2021-11-15 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치

Publications (1)

Publication Number Publication Date
WO2023085533A1 true WO2023085533A1 (ko) 2023-05-19

Family

ID=86336215

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/005802 WO2023085533A1 (ko) 2021-11-15 2022-04-22 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치

Country Status (3)

Country Link
KR (1) KR102579742B1 (ko)
CN (1) CN118235157A (ko)
WO (1) WO2023085533A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100231755A1 (en) * 2009-03-10 2010-09-16 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image sensor
KR20130131717A (ko) * 2012-05-24 2013-12-04 현대모비스 주식회사 Ｈｄｒ 기능을 활용하는 차량용 카메라 장치 및 그 방법
KR20150140832A (ko) * 2013-04-17 2015-12-16 포토니스 프랑스 이중 모드 영상들을 획득하기 위한 장치
KR101695252B1 (ko) * 2012-06-07 2017-01-13 한화테크윈 주식회사 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
KR101923957B1 (ko) * 2017-04-21 2018-11-30 주식회사 아이닉스 감도 개선을 위한 영상 처리 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100231755A1 (en) * 2009-03-10 2010-09-16 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and image sensor
KR20130131717A (ko) * 2012-05-24 2013-12-04 현대모비스 주식회사 Ｈｄｒ 기능을 활용하는 차량용 카메라 장치 및 그 방법
KR101695252B1 (ko) * 2012-06-07 2017-01-13 한화테크윈 주식회사 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
KR20150140832A (ko) * 2013-04-17 2015-12-16 포토니스 프랑스 이중 모드 영상들을 획득하기 위한 장치
KR101923957B1 (ko) * 2017-04-21 2018-11-30 주식회사 아이닉스 감도 개선을 위한 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
CN118235157A (zh) 2024-06-21
KR102579742B1 (ko) 2023-09-19
KR20230070750A (ko) 2023-05-23

Similar Documents

Publication Publication Date Title
WO2011126328A2 (ko) 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법
WO2015005672A1 (en) Image generating apparatus and method and non-transitory recordable medium
WO2020101431A1 (ko) 3차원 영상을 렌더링하는 방법, 상기 방법을 사용하는 영상처리장치, 상기 영상처리장치와 연동하는 촬영장치, 상기 촬영장치의 촬영방법, 및 3차원 영상을 렌더링하는 시스템
WO2023085533A1 (ko) 적외선 정보가 제거된 이미지를 생성하는 방법 및 그 방법을 수행하는 전자 장치
WO2021137555A1 (en) Electronic device comprising image sensor and method of operation thereof
CN111861964A (zh) 图像处理方法、装置和存储介质
EP3750093A1 (en) Method for generating plural information using camera to sense plural wave bandwidth and apparatus thereof
WO2021215795A1 (ko) 전자 장치의 컬러 필터, 및 그 전자 장치
WO2024019266A1 (en) Apparatus and method for performing color transformation on raw sensor images
JP5108013B2 (ja) カラー撮像素子及びこれを用いた撮像装置及びフィルタ
WO2020055196A1 (en) Apparatus and methods for generating high dynamic range media, based on multi-stage compensation of motion
WO2017086522A1 (ko) 배경스크린이 필요 없는 크로마키 영상 합성 방법
WO2017164546A2 (ko) 컬러센서와 엘이디를 이용한 플래시 사진 촬영의 화질 보정 장치 및 그 방법
WO2022014831A1 (ko) 오브젝트 검출 방법 및 장치
WO2018216937A1 (ko) 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치
WO2022080550A1 (ko) 컬러 정보 및 적외선 정보를 혼합한 이미지 생성 방법 및 장치
WO2018062599A1 (ko) Svm 시스템 및 그의 영상입력 및 처리방법
WO2017007044A1 (ko) 신호 처리 장치 및 방법
WO2024210659A1 (ko) 이미지 센싱 장치 및 이미지 처리 방법
WO2015126071A1 (ko) Oled 디스플레이 기기의 영상처리방법
WO2017142209A1 (ko) 초음파 영상 분배 장치 및 스마트 단말기
WO2023014115A1 (ko) 이미지 처리 모듈
WO2017160075A1 (ko) 전자파 방사 노이즈를 제거하기 위한 무선 비디오 브릿지 및 이를 포함하는 시스템
WO2022114424A1 (ko) 차량용 블랙박스 시스템
WO2016159415A1 (ko) 이미지 센서에서 평균화를 이용한 디지털 출력 노이즈 저감 유닛 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22892956

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280075020.8

Country of ref document: CN