WO2016148314A1 - 멀티 애퍼처 카메라의 센서 어레이 및 그 동작 방법 - Google Patents

멀티 애퍼처 카메라의 센서 어레이 및 그 동작 방법 Download PDF

Info

Publication number
WO2016148314A1
WO2016148314A1 PCT/KR2015/002465 KR2015002465W WO2016148314A1 WO 2016148314 A1 WO2016148314 A1 WO 2016148314A1 KR 2015002465 W KR2015002465 W KR 2015002465W WO 2016148314 A1 WO2016148314 A1 WO 2016148314A1
Authority
WO
WIPO (PCT)
Prior art keywords
cell
optical signal
cells
processed
programmable gain
Prior art date
Application number
PCT/KR2015/002465
Other languages
English (en)
French (fr)
Inventor
이상진
박종호
최상길
Original Assignee
재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 다차원 스마트 아이티 융합시스템 연구단 filed Critical 재단법인 다차원 스마트 아이티 융합시스템 연구단
Priority to KR1020177016629A priority Critical patent/KR101941390B1/ko
Priority to PCT/KR2015/002465 priority patent/WO2016148314A1/ko
Publication of WO2016148314A1 publication Critical patent/WO2016148314A1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/20Filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Definitions

  • the present invention relates to a sensor array of a multi aperture camera, and amplifies only a specific optical signal introduced by a cut-off filter among optical signals processed in each of a plurality of cells included in the sensor array. It is a technique to let.
  • the sensor array of a conventional multi-aperture camera includes red-green-blue (RGB) cells and IR cells, whereby R cells, G cells, B cells, and IR cells (four cells) are formed in a set.
  • RGB red-green-blue
  • IR cells IR cells
  • the conventional sensor array may include the IR cell 120 and the RGB in the set 110, as shown in (a). It is formed to include the cells 130.
  • the IR cell 120 and the RBG cells 130 included in the sensor array operate on a row basis to process each optical signal.
  • the cells may be operated at the same time for each cell located in the same furnace (eg, the R cell 131 and the G cell 132 are included in the first furnace 140, and thus may be operated simultaneously, and the B cell 133 may be operated at the same time). And since the IR cell 120 is included in the second furnace 150, it can be operated simultaneously).
  • the sensor array of the conventional multi-aperture camera includes a programmable gain amplifier (PGA) that collectively amplifies the optical signal processed in each of the IR cell 120 and the RGB cells 130, thereby providing a signal. Amplify weak IR signals.
  • PGA programmable gain amplifier
  • the existing sensor array is also formed to include the RGB cells 130 within the set 110, as shown in (b).
  • the RGB cells 130 included in the sensor array are operated based on a low to process each optical signal.
  • the cells may be operated at the same time for each cell located in the same furnace (for example, since the R cell 131 and the G cell 132 are included in the first furnace 140, the cells may be operated at the same time, and the G 'cell 134 may be operated at the same time.
  • B cell 133 are included in the second furnace 150, so that they can be operated simultaneously).
  • the sensor array of the conventional multi-aperture camera includes a programmable gain amplifier for collectively amplifying the optical signal processed in each of the RGB cells 130, thereby amplifying the weak R signal.
  • Such a conventional sensor array has a disadvantage in that it does not selectively amplify only an IR signal or an R signal having a weak signal strength. For example, amplification based on an IR signal or an R signal may cause the RGB or GB signals to be amplified together and saturated.
  • the present specification proposes a technique for amplifying only a specific optical signal introduced by the cut-off filter of the optical signal processed in each of the plurality of cells included in the sensor array.
  • Embodiments of the present invention provide a sensor array for amplifying a first optical signal, which is a specific optical signal introduced by a cut-off filter among optical signals processed in each of a plurality of cells, and a method of operating the same.
  • embodiments of the invention provide a different control signal to each of the at least two programmable gain amplifiers so that any one of the at least two programmable gain amplifiers amplifies the first optical signal introduced by the cut off filter. It provides a sensor array and a method of operating the same to apply simultaneously.
  • a sensor array of a multi aperture camera may include a plurality of cells processing a plurality of optical signals including a first optical signal introduced by a cut-off filter; At least two programmable gain amplifiers (PGAs) for amplifying the processed first optical signal of the processed optical signal in each of the plurality of cells based on a row in which the plurality of cells are disposed; ); And a controller configured to apply a control signal to each of the at least two programmable gain amplifiers to control each of the at least two programmable gain amplifiers.
  • PGAs programmable gain amplifiers
  • any one of the at least two programmable gain amplifiers is processed in the first cell.
  • Different control signals may be simultaneously applied to each of the at least two programmable gain amplifiers to amplify the first optical signal.
  • the at least two programmable gain amplifiers When the at least two programmable gain amplifiers perform amplification on a furnace in which a first cell for processing the first optical signal is disposed among the plurality of cells, the at least two programmable gain amplifiers may be configured to output the plurality of first optical signals processed in the first cell. Amplification may be performed at an amplification ratio higher than a gain ratio of an optical signal processed in at least one cell disposed in the same furnace as the first cell among cells of.
  • One of the at least two programmable gain amplifiers amplifies the first optical signal processed in the first cell at a preset amplification ratio
  • at least one of the at least two programmable gain amplifiers is the plurality of
  • the optical signal processed in at least one cell disposed in the same furnace as the first cell among the cells may be amplified at an amplification ratio less than the preset amplification ratio.
  • the first optical signal may be any one of an IR signal introduced by the IR cut-off filter or a cut-off filter among red-green-blue (RGB) signals.
  • the processed optical signal may be amplified at an amplification ratio lower than that of the first optical signal processed in the first cell which processes the first optical signal among the plurality of cells.
  • a method of operating a sensor array of a multi aperture camera includes a plurality of optical signals including a first optical signal introduced by a cut-off filter in a plurality of cells. Processing them; And light processed in each of the plurality of cells based on a row in which the plurality of cells are arranged in at least two programmable gain amplifiers (PGAs) according to a control signal applied from a controller. Amplifying the processed first optical signal of the signal.
  • PGAs programmable gain amplifiers
  • the amplifying the processed first optical signal may include any one of the at least two programmable gain amplifiers when amplifying a furnace in which the first cell processing the first optical signal is disposed.
  • the method may further include simultaneously applying a different control signal to each of the at least two programmable gain amplifiers so that one amplifies the first optical signal processed in the first cell.
  • the amplifying the processed first optical signal may include amplifying a furnace in which the first cell which processes the first optical signal of the plurality of cells is disposed in the at least two programmable gain amplifiers. Amplifying the first optical signal processed in the first cell at an amplification ratio higher than a gain ratio of the optical signal processed in at least one cell disposed in the same furnace as the first cell among the plurality of cells; It may include.
  • Amplifying the first optical signal processed in the first cell at an amplification ratio higher than the amplification ratio of the optical signal processed in at least one cell disposed in the same furnace as the first cell among the plurality of cells may include: Amplifying the first optical signal processed in one cell at a preset amplification ratio; And amplifying an optical signal processed in at least one cell disposed in the same furnace as the first cell among the plurality of cells at an amplification ratio less than the preset amplification ratio.
  • the first optical signal may be any one of an IR signal introduced by the IR cut-off filter or a cut-off filter among red-green-blue (RGB) signals.
  • the amplifying the processed first optical signal may include amplifying a plurality of cells disposed in the remaining furnace when amplification is performed on the remaining furnaces except for a furnace in which the first cell that processes the first optical signal is disposed. Amplifying an optical signal processed in each of the cells at an amplification ratio lower than an amplification ratio of the first optical signal processed in the first cell processing the first optical signal among the plurality of cells.
  • Embodiments of the present invention can provide a sensor array for amplifying a first optical signal introduced by a cutoff filter among optical signals processed in each of a plurality of cells and a method of operating the same.
  • embodiments of the invention provide a different control signal to each of the at least two programmable gain amplifiers so that any one of the at least two programmable gain amplifiers amplifies the first optical signal introduced by the cut off filter. It is possible to provide a sensor array and a method of operating the same to apply simultaneously.
  • FIG. 1 is a diagram illustrating a plurality of cells included in a sensor array of a conventional multi aperture camera.
  • FIG. 2 is a conceptual diagram illustrating a sensor array according to an embodiment of the present invention.
  • FIG. 3 is a circuit diagram illustrating a sensor array according to an embodiment of the present invention.
  • FIG. 4 is a conceptual diagram illustrating a sensor array according to another exemplary embodiment of the present invention.
  • FIG. 5 is a circuit diagram illustrating a sensor array according to another exemplary embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a method of operating a sensor array according to an exemplary embodiment of the present invention.
  • FIG. 2 is a conceptual diagram illustrating a sensor array according to an embodiment of the present invention.
  • a sensor array includes a plurality of cells 210, at least two programmable gain amplifiers 220, and a controller 230.
  • the controller 230 will be described with a timing gain controller (Timing & Gain-control) in the drawings.
  • the plurality of cells 210 processes the plurality of optical signals including the first optical signal introduced by the cut off filter included in the multi aperture camera.
  • the plurality of cells 210 may include an R cell 211 processing an R signal, a G cell 212 processing a G signal, a B cell 213 processing a B signal, and an IR cell processing an IR signal ( 214), and the first optical signal introduced by the cut off filter is described as being an IR signal.
  • the sensor array is shown as a case consisting of a set of a plurality of cells 210 (R cell 211, G cell 212, B cell 213 and IR cell 214), It is not limited or limited thereto, and may be configured to include a plurality of sets of the plurality of cells 210.
  • the at least two programmable gain amplifiers 220 amplify the processed IR signal among the optical signals processed in each of the plurality of cells 210 based on a row in which the plurality of cells 210 are disposed.
  • the at least two programmable gain amplifiers 220 perform amplification on the furnace 240 in which the IR cell 214 that processes the IR signal among the plurality of cells 210 is disposed, the plurality of cells
  • the IR signal is amplified at an amplification ratio higher than that of the optical signal processed in at least one cell (eg, B cell 213 in the drawing) disposed in the same furnace 240 as the IR cell 214 of 210. Can be amplified.
  • any one 221 of the at least two programmable gain amplifiers 220 amplifies the IR signal processed at the IR cell 214 at a preset amplification ratio (eg, four times), and at least two The remaining at least one of the above-described programmable gain amplifiers 220 has an amplification ratio less than a preset amplification ratio of the B signal processed in the B cell 213 disposed in the same furnace 240 as the IR cell 214. (E.g., 1x).
  • the controller 230 applies a control signal to each of the at least two programmable gain amplifiers 220 to control each of the at least two or more programmable gain amplifiers 220 as described above.
  • any one of the at least two programmable gain amplifiers 220 may be simultaneously applied to each of the at least two programmable gain amplifiers 220 so that the 221 amplifies the IR signal processed by the IR cell 214.
  • any one of at least two programmable gain amplifiers 220 may be used.
  • the second control signal may be simultaneously applied to the remaining at least one of the at least two programmable gain amplifiers 220 to amplify at an amplification ratio less than the set amplification ratio.
  • At least two or more programmable gain amplifiers 220 perform amplification on the remaining furnace 250 except for the furnace 240 in which the IR cell 214 is disposed among the plurality of cells 210.
  • the optical signal processed in each of the R cell 211 and the G cell 212 disposed in the furnace 250 may be amplified at a rate lower than that of the IR signal processed in the IR cell 214.
  • the at least two programmable gain amplifiers 220 are placed in the remaining furnace 250 at a rate that is one-times less than four times the amplification rate of the IR signal processed by the IR cell 214. 211) and the G cell 212 may each amplify the processed optical signal.
  • the at least two programmable gain amplifiers 220 may use the same optical amplification ratio (eg, 1x) to process the optical signals processed in each of the R cell 211 and the G cell 212 disposed in the remaining furnace 250.
  • optical amplification ratio eg, 1x
  • the controller 230 may perform at least two programmable gain amplifiers when amplifying the remaining furnace 250 except for the furnace 240 in which the IR cell 214 is disposed among the plurality of cells 210. Identical control of each of at least two programmable gain amplifiers 220 so that 220 amplifies the optical signal processed in each of R cell 211 and G cell 212 disposed in the remaining furnace 250 at the same amplification ratio. Signal can be applied.
  • the controller 230 performs at least two programmable gain amplifiers when performing amplification on the remaining furnace 250 except for the furnace 240 in which the IR cells 214 are disposed among the plurality of cells 210.
  • Amplification ratio of any one of the 220 (221) is less than the preset amplification ratio (e.g. 4 times) that is the amplification ratio of the G signal processed in the G cell 212
  • the IR signal processed in the IR cell 214 Applies a second control signal to amplify (e.g., 1x), and the other one of the two or more programmable gain amplifiers 220, 222, receives the processed R signal from the R cell 211 to the IR cell 214.
  • the second control signal may be applied to amplify at an amplification ratio (eg, 1 times) less than a preset amplification ratio (eg, 4 times), which is an amplification ratio of the IR signal processed at.
  • the sensor array according to the exemplary embodiment of the present invention simultaneously transmits different control signals to at least two or more programmable game amplifiers 220 in the controller 230 based on the furnace in which the plurality of cells 210 are disposed.
  • the IR signal processed by the IR cell 214 the optical signal introduced by the cut off filter
  • FIG. 3 is a circuit diagram illustrating a sensor array according to an embodiment of the present invention.
  • a sensor array according to an embodiment of the present invention is controlled in an IR cell by controlling at least two programmable gain amplifiers 320 in response to a control signal applied from the controller 310. Only IR signals can be amplified.
  • the controller 310 will be described with a timing gain controller (Timing & Gain-control) in the drawings. Specifically, when amplification is performed on the furnace 330 disposed in the IR cell, the controller 310 transmits at least two or more programmable gain amplifiers 320 to the first control signal through the first control line 311.
  • any one or more of the at least two programmable gain amplifiers 320 may amplify the IR signal processed in the IR cell at a preset amplification ratio (eg, four times). Can be.
  • the controller 310 applies the second control signal to the other one 322 of the at least two or more programmable gain amplifiers 320 through the second control line 312, at least two or more programmable gain amplifiers The other one 322 may amplify the B signal processed in the B cell at an amplification ratio (eg, one time) less than a preset amplification ratio.
  • the controller 310 simultaneously applies different control signals to each of at least two or more programmable gain amplifiers 320 through different control lines 311 and 312. By doing so, it is possible to amplify only the IR signal processed in the IR cell of the plurality of cells operating for each furnace.
  • FIG. 4 is a conceptual diagram illustrating a sensor array according to another exemplary embodiment of the present invention.
  • a sensor array includes a plurality of cells 410, at least two programmable gain amplifiers 420, and a controller 430.
  • the controller 430 will be described with a timing gain controller (Timing & Gain-control).
  • the plurality of cells 410 processes the plurality of optical signals including the first optical signal introduced by the cut off filter included in the multi aperture camera.
  • the plurality of cells 410 includes an R cell 411 processing an R signal, a G cell 412 / G 'cell 413 processing a G signal, and a B cell 414 processing a B signal.
  • the first optical signal introduced by the cut off filter is described as being an R signal.
  • the present invention is not limited thereto, and the first optical signal introduced by the cutoff filter may be a G signal or a B signal.
  • the sensor array is composed of a set of a plurality of cells 410 (R cell 411, G cell 412, G 'cell 413 and B cell 414).
  • the present invention is not limited thereto, and may be configured to include a plurality of sets of the plurality of cells 410.
  • the at least two programmable gain amplifiers 420 amplify the processed R signal among the optical signals processed in each of the plurality of cells 410 based on a row in which the plurality of cells 410 are disposed.
  • the at least two programmable gain amplifiers 420 perform amplification on a furnace 440 in which an R cell 411 for processing an R signal among the plurality of cells 410 is disposed.
  • the R signal is amplified at an amplification ratio higher than that of the optical signal processed in at least one cell (eg, G cell 412 in the drawing) disposed in the same furnace 440 as the R cell 411. Can be amplified.
  • any one of the at least two programmable gain amplifiers 420 421 amplifies the R signal processed in the R cell 411 at a preset amplification ratio (eg, four times) and at least two
  • the remaining at least one of the above-described programmable gain amplifiers 420 may have an amplification ratio less than a preset amplification ratio of the G signal processed in the G cell 412 disposed in the same furnace 440 as the R cell 411. (E.g., 1x).
  • control unit 430 applies a control signal to each of the at least two programmable gain amplifiers 420 to control each of the at least two or more programmable gain amplifiers 420 as described above.
  • the controller 430 may include any one of the at least two programmable gain amplifiers 420 ( The 421 may simultaneously apply different control signals to each of the at least two programmable gain amplifiers 420 to amplify the R signal processed by the R cell 411.
  • any one of at least two programmable gain amplifiers 420 may be used.
  • a preset amplification ratio eg, 4 times.
  • a second control signal may be applied to the remaining at least one of the at least two programmable gain amplifiers 420 to amplify at an amplification ratio less than the set amplification ratio (eg, one time).
  • the optical signal processed in each of the G 'cell 413 and the B cell 414 disposed in the furnace 450 may be amplified at a rate lower than that of the R signal processed in the R cell 411.
  • At least two programmable gain amplifiers 420 are disposed in the remaining furnace 450 at a ratio of one times lower than four times the amplification ratio of the R signal processed by the R cell 411.
  • the optical signal processed in each of 413 and B cell 414 may be amplified.
  • the at least two programmable gain amplifiers 420 may convert the optical signal processed in each of the G 'cell 413 and the B cell 414 disposed in the remaining furnace 450 to the same amplification ratio (eg, 1 times). Can be amplified.
  • the controller 430 may perform at least two programmable gain amplifiers when amplifying the remaining furnace 450 except for the furnace 440 in which the R cell 411 is disposed among the plurality of cells 410.
  • 420 is identical to each of at least two or more programmable gain amplifiers 420 to amplify the optical signal processed in each of G 'cell 413 and B cell 414 disposed in the remaining furnace 450 at the same amplification ratio.
  • the control signal can be applied.
  • the controller 430 may perform at least two programmable gain amplifiers when performing amplification on the remaining furnace 450 except for the furnace 440 in which the R cell 411 is disposed among the plurality of cells 410.
  • Any one of 420 amplifies a G signal processed in the G 'cell 413 below a preset amplification ratio (e.g., four times), which is an amplification ratio of the R signal processed in the R cell 411
  • a second control signal is applied to amplify at a rate (e.g., 1x), and the other one of the two or more programmable gain amplifiers 420 422 processes the processed B signal in the B cell 414 to the R cell 411.
  • the second control signal may be applied to amplify at an amplification ratio (eg, 1 times) that is less than a preset amplification ratio (eg, 4 times), which is an amplification ratio of the processed R signal.
  • the sensor array according to the exemplary embodiment of the present invention simultaneously transmits different control signals to at least two or more programmable game amplifiers 420 in the controller 430 based on the furnace in which the plurality of cells 410 are disposed.
  • the R signal the optical signal introduced by the cut off filter
  • FIG. 5 is a circuit diagram illustrating a sensor array according to another exemplary embodiment of the present invention.
  • a sensor array according to an embodiment of the present invention may be controlled in an R cell by controlling at least two programmable gain amplifiers 520 in response to a control signal applied from the controller 510. Only the R signal can be amplified.
  • the controller 510 will be described with a timing gain controller (Timing & Gain-control).
  • the controller 510 transmits the first control signal through at least two programmable gain amplifiers 520 through the first control line 511.
  • any one of the at least two programmable gain amplifiers 520 may amplify the R signal processed in the R cell at a preset amplification ratio (eg, four times). Can be.
  • the controller 510 applies the second control signal to the other one of the at least two programmable gain amplifiers 520 through the second control line 512, at least two or more programmable gain amplifiers.
  • the other one of the fields 520 may amplify the G signal processed in the G cell at an amplification ratio (eg, one time) less than a preset amplification ratio.
  • the controller 510 simultaneously applies different control signals to each of at least two or more programmable gain amplifiers 520 through different control lines 511 and 512. By doing so, it is possible to amplify only the R signal processed in the R cell among the plurality of cells operating for each furnace.
  • FIG. 6 is a flowchart illustrating a method of operating a sensor array according to an exemplary embodiment of the present invention.
  • a sensor array processes a plurality of optical signals including a first optical signal introduced by a cutoff filter in a plurality of cells (610).
  • the first optical signal may be any one of the IR signal introduced by the IR cut-off filter or the cut-off filter among the red-green-blue (RGB) signals.
  • the first optical signal may be an IR signal introduced by the cut off filter
  • the first optical signal may be RGB It may be any one of the signals introduced by the cut off filter.
  • any one of the at least two programmable gain amplifiers may be processed in the first cell.
  • Different control signals may be simultaneously applied to each of at least two programmable gain amplifiers to amplify one optical signal (620).
  • the sensor array each of the plurality of cells is based on a row in which a plurality of cells are arranged in at least two programmable gain amplifiers (PGAs) according to a control signal applied from the controller.
  • the processed first optical signal is amplified among the processed optical signals in operation 630.
  • the sensor array performs the first optical signal processed in the first cell when the at least two programmable gain amplifiers perform amplification on a furnace in which the first cell that processes the first optical signal among the plurality of cells is disposed. May be amplified at an amplification ratio higher than a gain ratio of the optical signal processed in at least one cell disposed in the same furnace as the first cell among the plurality of cells.
  • the sensor array amplifies the first optical signal processed in the first cell at a preset amplification ratio, and advances the optical signal processed in at least one cell disposed in the same furnace as the first cell among the plurality of cells.
  • the amplification rate can be amplified below the set amplification ratio.
  • the sensor array when the sensor array performs amplification for the remaining furnaces except for the furnace in which the first cell processing the first optical signal among the plurality of cells is arranged, the sensor array may include a plurality of optical signals processed in each of the plurality of cells arranged in the remaining furnace. Amplification may be performed at an amplification ratio lower than that of the first optical signal processed in the first cell processing the first optical signal among the cells.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

멀티 애퍼처 카메라(multi aperture camera)의 센서 어레이(sensor arrary)는 컷 오프 필터에 의해 유입되는 제1 광 신호를 포함하는 복수의 광 신호들을 처리하는 복수의 셀들; 상기 복수의 셀들이 배치되는 로(row)에 기초하여, 상기 복수의 셀들 각각에서 처리된 광 신호 중 상기 처리된 제1 광 신호를 증폭하는 적어도 두 개 이상의 프로그래머블 게인 증폭기들(Programmable Gain Amplifiers; PGAs); 및 상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 각각을 제어하기 위하여, 상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 각각에 제어 신호를 인가하는 제어부를 포함한다.

Description

멀티 애퍼처 카메라의 센서 어레이 및 그 동작 방법
본 발명은 멀티 애퍼처 카메라(multi aperture camera)의 센서 어레이(sensor array)에 관한 것으로, 센서 어레이에 포함되는 복수의 셀들 각각에서 처리된 광 신호 중 컷 오프 필터에 의해 유입되는 특정 광 신호만을 증폭시키는 기술이다.
기존의 멀티 애퍼처 카메라의 센서 어레이는 RGB(Red-Green-Blue) 셀들 및 IR 셀을 포함함으로써, R 셀, G 셀, B 셀 및 IR 셀(네 개의 셀들)이 세트를 이루어 형성된다.
예를 들어, 기존의 멀티 애퍼처 카메라의 센서 어레이에 포함되는 복수의 셀들을 나타낸 도 1을 살펴보면, 기존의 센서 어레이는 (a)와 같이, 세트(110) 내에서 IR 셀(120) 및 RGB 셀들(130)을 포함하도록 형성된다. 이 때, 센서 어레이에 포함되는 IR 셀(120) 및 RBG 셀들(130)은 로(row) 기준으로 작동되어, 각각의 광 신호를 처리한다. 구체적으로, 동일한 로에 위치하는 셀들 별로 동시에 작동될 수 있다(예컨대, R 셀(131) 및 G 셀(132)이 제1 로(140)에 포함되므로, 동시에 작동될 수 있고, B 셀(133) 및 IR 셀(120)이 제2 로(150)에 포함되므로, 동시에 작동될 수 있음).
여기서, IR 셀(120)에서 처리하는 IR 신호는 멀티 애퍼처 카메라에 포함되는 컷 오프 필터에 의해 유입되기 때문에, 신호 세기가 약한 단점이 있다. 이에, 기존의 멀티 애퍼처 카메라의 센서 어레이는 IR 셀(120) 및 RGB 셀들(130) 각각에서 처리된 광 신호를 일괄적으로 증폭하는 프로그래머블 게인 증폭기(Programmable Gain Amplifier; PGA)를 포함함으로써, 신호 세기가 약한 IR 신호를 증폭한다.
또한, 다른 예를 들면, 기존의 센서 어레이는 (b)와 같이, 세트(110) 내에서 RGB 셀들(130)을 포함하도록 형성된다. 이 때, 센서 어레이에 포함되는 RGB 셀들(130)은 로 기준으로 작동되어 각각의 광 신호를 처리한다. 구체적으로, 동일한 로에 위치하는 셀들 별로 동시에 작동될 수 있다(예컨대, R 셀(131) 및 G 셀(132)이 제1 로(140)에 포함되므로, 동시에 작동될 수 있고, G’셀(134) 및 B 셀(133)이 제2 로(150)에 포함되므로, 동시에 작동될 수 있음).
이러한 경우, 멀티 애퍼처 카메라에 포함되는 컷 오프 필터가 R 신호를 선택적으로 유입하기 때문에, R 신호의 세기가 약한 단점이 있다. 이에, 기존의 멀티 애퍼처 카메라의 센서 어레이는 RGB 셀들(130) 각각에서 처리된 광 신호를 일괄적으로 증폭하는 프로그래머블 게인 증폭기를 포함함으로써, 신호 세기가 약한 R 신호를 증폭한다.
그러나, 이와 같은 기존의 센서 어레이는 신호 세기가 약한 IR 신호 또는 R 신호만을 선택적으로 증폭시키지 못하는 단점이 있다. 예컨대, IR 신호 또는 R 신호를 기준으로 증폭시키면 RGB 또는 GB 신호가 함께 증폭되어 포화(saturation)될 수 있다.
따라서, 본 명세서에서는 센서 어레이에 포함되는 복수의 셀들 각각에서 처리된 광 신호 중 컷 오프 필터에 의해 유입되는 특정 광 신호만을 증폭시키는 기술을 제안한다.
본 발명의 실시예들은 복수의 셀들 각각에서 처리된 광 신호 중 컷 오프 필터에 의해 유입되는 특정 광 신호인 제1 광 신호를 증폭시키는 센서 어레이 및 그 동작 방법을 제공한다.
특히, 본 발명의 실시예들은 적어도 두 개 이상의 프로그래머블 게인 증폭기들 중 어느 하나가 컷 오프 필터에 의해 유입되는 제1 광 신호를 증폭시키기 위하여, 적어도 두 개 이상의 프로그래머블 게인 증폭기들 각각에 서로 다른 제어 신호를 동시에 인가하는 센서 어레이 및 그 동작 방법을 제공한다.
본 발명의 일실시예에 따른 멀티 애퍼처 카메라(multi aperture camera)의 센서 어레이(sensor arrary)는 컷 오프 필터에 의해 유입되는 제1 광 신호를 포함하는 복수의 광 신호들을 처리하는 복수의 셀들; 상기 복수의 셀들이 배치되는 로(row)에 기초하여, 상기 복수의 셀들 각각에서 처리된 광 신호 중 상기 처리된 제1 광 신호를 증폭하는 적어도 두 개 이상의 프로그래머블 게인 증폭기들(Programmable Gain Amplifiers; PGAs); 및 상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 각각을 제어하기 위하여, 상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 각각에 제어 신호를 인가하는 제어부를 포함한다.
상기 제어부는 상기 복수의 셀들 중 상기 제1 광 신호를 처리하는 제1 셀이 배치되는 로에 대한 증폭을 수행하는 경우, 상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 중 어느 하나가 상기 제1 셀에서 처리된 제1 광 신호를 증폭하도록 상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 각각에 서로 다른 제어 신호를 동시에 인가할 수 있다.
상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들은 상기 복수의 셀들 중 상기 제1 광 신호를 처리하는 제1 셀이 배치되는 로에 대한 증폭을 수행하는 경우, 상기 제1 셀에서 처리된 제1 광 신호를 상기 복수의 셀들 중 상기 제1 셀과 동일한 로에 배치되는 적어도 어느 하나의 셀에서 처리된 광 신호의 증폭 비율(gain ratio) 보다 높은 증폭 비율로 증폭할 수 있다.
상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 중 어느 하나는 상기 제1 셀에서 처리된 제1 광 신호를 미리 설정된 증폭 비율로 증폭하고, 상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 중 나머지 적어도 어느 하나는 상기 복수의 셀들 중 상기 제1 셀과 동일한 로에 배치되는 적어도 어느 하나의 셀에서 처리된 광 신호를 상기 미리 설정된 증폭 비율 미만의 증폭 비율로 증폭할 수 있다.
상기 제1 광 신호는 IR 컷 오프 필터에 의해 유입되는 IR 신호 또는 RGB(Red-Green-Blue) 신호들 중 컷 오프 필터에 의해 유입되는 어느 하나의 신호일 수 있다.
상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들은 상기 복수의 셀들 중 상기 제1 광 신호를 처리하는 제 1셀이 배치되는 로를 제외한 나머지 로에 대한 증폭을 수행하는 경우, 상기 나머지 로에 배치되는 복수의 셀들 각각에서 처리된 광 신호를 상기 복수의 셀들 중 상기 제1 광 신호를 처리하는 제1 셀에서 처리된 제1 광 신호의 증폭 비율 보다 낮은 증폭 비율로 증폭할 수 있다.
본 발명의 일실시예에 따른 멀티 애퍼처 카메라(multi aperture camera)의 센서 어레이(sensor arrary)의 동작 방법은 복수의 셀들에서 컷 오프 필터에 의해 유입되는 제1 광 신호를 포함하는 복수의 광 신호들을 처리하는 단계; 및 제어부로부터 인가되는 제어 신호에 따라, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(Programmable Gain Amplifiers; PGAs)에서 상기 복수의 셀들이 배치되는 로(row)에 기초하여, 상기 복수의 셀들 각각에서 처리된 광 신호 중 상기 처리된 제1 광 신호를 증폭하는 단계를 포함한다.
상기 처리된 제1 광 신호를 증폭하는 단계는 상기 복수의 셀들 중 상기 제1 광 신호를 처리하는 제1 셀이 배치되는 로에 대한 증폭을 수행하는 경우, 상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 중 어느 하나가 상기 제1 셀에서 처리된 제1 광 신호를 증폭하도록 상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 각각에 서로 다른 제어 신호를 동시에 인가하는 단계를 더 포함할 수 있다.
상기 처리된 제1 광 신호를 증폭하는 단계는 상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들에서 상기 복수의 셀들 중 상기 제1 광 신호를 처리하는 제1 셀이 배치되는 로에 대한 증폭을 수행하는 경우, 상기 제1 셀에서 처리된 제1 광 신호를 상기 복수의 셀들 중 상기 제1 셀과 동일한 로에 배치되는 적어도 어느 하나의 셀에서 처리된 광 신호의 증폭 비율(gain ratio) 보다 높은 증폭 비율로 증폭하는 단계를 포함할 수 있다.
상기 제1 셀에서 처리된 제1 광 신호를 상기 복수의 셀들 중 상기 제1 셀과 동일한 로에 배치되는 적어도 어느 하나의 셀에서 처리된 광 신호의 증폭 비율 보다 높은 증폭 비율로 증폭하는 단계는 상기 제1 셀에서 처리된 제1 광 신호를 미리 설정된 증폭 비율로 증폭하는 단계; 및 상기 복수의 셀들 중 상기 제1 셀과 동일한 로에 배치되는 적어도 어느 하나의 셀에서 처리된 광 신호를 상기 미리 설정된 증폭 비율 미만의 증폭 비율로 증폭하는 단계를 포함할 수 있다.
상기 제1 광 신호는 IR 컷 오프 필터에 의해 유입되는 IR 신호 또는 RGB(Red-Green-Blue) 신호들 중 컷 오프 필터에 의해 유입되는 어느 하나의 신호일 수 있다.
상기 처리된 제1 광 신호를 증폭하는 단계는 상기 복수의 셀들 중 상기 제1 광 신호를 처리하는 제 1셀이 배치되는 로를 제외한 나머지 로에 대한 증폭을 수행하는 경우, 상기 나머지 로에 배치되는 복수의 셀들 각각에서 처리된 광 신호를 상기 복수의 셀들 중 상기 제1 광 신호를 처리하는 제1 셀에서 처리된 제1 광 신호의 증폭 비율 보다 낮은 증폭 비율로 증폭하는 단계를 포함할 수 있다.
본 발명의 실시예들은 복수의 셀들 각각에서 처리된 광 신호 중 컷 오프 필터에 의해 유입되는 제1 광 신호를 증폭시키는 센서 어레이 및 그 동작 방법을 제공할 수 있다.
특히, 본 발명의 실시예들은 적어도 두 개 이상의 프로그래머블 게인 증폭기들 중 어느 하나가 컷 오프 필터에 의해 유입되는 제1 광 신호를 증폭시키기 위하여, 적어도 두 개 이상의 프로그래머블 게인 증폭기들 각각에 서로 다른 제어 신호를 동시에 인가하는 센서 어레이 및 그 동작 방법을 제공할 수 있다.
도 1은 기존의 멀티 애퍼처 카메라의 센서 어레이에 포함되는 복수의 셀들을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 센서 어레이를 나타낸 개념도이다.
도 3은 본 발명의 일실시예에 따른 센서 에레이를 나타낸 회로도이다.
도 4는 본 발명의 다른 일실시예에 따른 센서 어레이를 나타낸 개념도이다.
도 5는 본 발명의 다른 일실시예에 따른 센서 어레이를 나타낸 회로도이다.
도 6은 본 발명의 일실시예에 따른 센서 어레이의 동작 방법을 나타낸 플로우 차트이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 2는 본 발명의 일실시예에 따른 센서 어레이를 나타낸 개념도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 센서 어레이는 복수의 셀들(210), 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220) 및 제어부(230)를 포함한다. 이하, 도면에서 제어부(230)를 타이밍 게인 제어기(Timing & Gain-control)로 도시하여 설명한다.
복수의 셀들(210)은 멀티 애퍼처 카메라에 포함되는 컷 오프 필터에 의해 유입되는 제1 광 신호를 포함하는 복수의 광 신호들을 처리한다. 이하, 복수의 셀들(210)은 R 신호를 처리하는 R 셀(211), G 신호를 처리하는 G셀(212), B 신호를 처리하는 B 셀(213) 및 IR 신호를 처리하는 IR 셀(214)로 구성되고, 컷 오프 필터에 의해 유입되는 제1 광 신호는 IR 신호인 것으로 기재한다. 또한, 도면에는, 센서 어레이가 복수의 셀들(210)의 한 세트(R 셀(211), G 셀(212), B 셀(213) 및 IR 셀(214))로 구성되는 경우로 도시하였으나, 이에 제한되거나 한정되지 않고, 복수의 셀들(210)의 복수의 세트들을 포함하도록 구성될 수 있다.
적어도 두 개 이상의 프로그래머블 게인 증폭기들(220)은 복수의 셀들(210)이 배치되는 로(row)에 기초하여, 복수의 셀들(210) 각각에서 처리된 광 신호 중 처리된 IR 신호를 증폭한다.
구체적으로, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220)은 복수의 셀들(210) 중 IR 신호를 처리하는 IR 셀(214)이 배치되는 로(240)에 대한 증폭을 수행하는 경우, 복수의 셀들(210) 중 IR 셀(214)과 동일한 로(240)에 배치되는 적어도 어느 하나의 셀(예컨대, 도면에서는 B 셀(213))에서 처리된 광 신호의 증폭 비율 보다 높은 증폭 비율로 IR 신호를 증폭할 수 있다.
예를 들어, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220) 중 어느 하나(221)는 IR 셀(214)에서 처리된 IR 신호를 미리 설정된 증폭 비율(예컨대, 4배)로 증폭하고, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220) 중 나머지 적어도 어느 하나(222)는 IR 셀(214)과 동일한 로(240)에 배치되는 B 셀(213)에서 처리된 B 신호를 미리 설정된 증폭 비율 미만의 증폭 비율(예컨대, 1배)로 증폭할 수 있다.
여기서, 제어부(230)는 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220) 각각을 위와 같이 제어하기 위하여, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220) 각각에 제어 신호를 인가한다.
구체적으로, 제어부(230)는 복수의 셀들(210) 중 IR 셀(214)이 배치되는 로(240)에 대한 증폭을 수행하는 경우, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220) 중 어느 하나(221)가 IR 셀(214)에서 처리된 IR 신호를 증폭하도록 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220) 각각에 서로 다른 제어 신호를 동시에 인가할 수 있다.
예를 들어, 제어부(230)는 복수의 셀들(210) 중 IR 셀(214)이 배치되는 로(240)에 대한 증폭을 수행하는 경우, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220) 중 어느 하나(221)가 IR 셀(214)에서 처리된 IR 신호를 미리 설정된 증폭 비율(예컨대, 4배)로 증폭하도록 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220) 중 어느 하나(221)에 제1 제어 신호를 인가하고, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220) 중 나머지 적어도 어느 하나(222)가 IR 셀(214)과 동일한 로(240)에 배치되는 B 셀(213)에서 처리된 B 신호를 미리 설정된 증폭 비율 미만의 증폭 비율(예컨대, 1배)로 증폭하도록 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220) 중 나머지 적어도 어느 하나(222)에 제2 제어 신호를 동시에 인가할 수 있다.
반면에, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220)은 복수의 셀들(210) 중 IR 셀(214)이 배치되는 로(240)를 제외한 나머지 로(250)에 대한 증폭을 수행하는 경우, 나머지 로(250)에 배치되는 R 셀(211) 및 G 셀(212) 각각에서 처리된 광 신호를 IR 셀(214)에서 처리된 IR 신호의 증폭 비율보다 낮은 비율로 증폭할 수 있다.
예를 들어, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220)은 IR 셀(214)에서 처리된 IR 신호의 증폭 비율인 4배보다 낮은 1배의 비율로 나머지 로(250)에 배치되는 R 셀(211) 및 G 셀(212) 각각에서 처리된 광 신호를 증폭할 수 있다.
이 때, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220)은 나머지 로(250)에 배치되는 R 셀(211) 및 G 셀(212) 각각에서 처리된 광 신호를 동일한 증폭 비율(예컨대, 1배)로 증폭할 수 있다.
따라서, 제어부(230)는 복수의 셀들(210) 중 IR 셀(214)이 배치되는 로(240)를 제외한 나머지 로(250)에 대한 증폭을 수행하는 경우, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220)이 나머지 로(250)에 배치되는 R 셀(211) 및 G 셀(212) 각각에서 처리된 광 신호를 동일한 증폭 비율로 증폭하도록 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220) 각각에 동일한 제어 신호를 인가할 수 있다.
예를 들어, 제어부(230)는 복수의 셀들(210) 중 IR 셀(214)이 배치되는 로(240)를 제외한 나머지 로(250)에 대한 증폭을 수행하는 경우, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(220) 중 어느 하나(221)가 G 셀(212)에서 처리된 G 신호를 IR 셀(214)에서 처리된 IR 신호의 증폭 비율인 미리 설정된 증폭 비율(예컨대, 4배) 미만의 증폭 비율(예컨대, 1배)로 증폭하도록 제2 제어 신호를 인가하고, 두 개 이상의 프로그래머블 게인 증폭기들(220) 중 나머지 하나(222)가 R 셀(211)에서 처리된 R 신호를 IR 셀(214)에서 처리된 IR 신호의 증폭 비율인 미리 설정된 증폭 비율(예컨대, 4배) 미만의 증폭 비율(예컨대, 1배)로 증폭하도록 제2 제어 신호를 인가할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 센서 어레이는 복수의 셀들(210)이 배치되는 로에 기초하여, 제어부(230)에서 서로 다른 제어 신호를 적어도 두 개 이상의 프로그래머블 게임 증폭기들(220)로 동시에 인가함으로써, IR 셀(214)에서 처리된 IR 신호(컷 오프 필터에 의해 유입되는 광 신호)만을 증폭시킬 수 있다.
도 3은 본 발명의 일실시예에 따른 센서 에레이를 나타낸 회로도이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 센서 에레이는 제어부(310)에서 인가되는 제어 신호에 응답하여 적어도 두 개 이상의 프로그래머블 게인 증폭기들(320)이 제어되도록 함으로써, IR 셀에서 처리된 IR 신호만을 증폭시킬 수 있다. 이하, 도면에서 제어부(310)를 타이밍 게인 제어기(Timing & Gain-control)로 도시하여 설명한다. 구체적으로, IR 셀에 배치되는 로(330)에 대한 증폭이 수행되는 경우, 제어부(310)가 제1 제어선(311)을 통하여 제1 제어 신호를 적어도 두 개 이상의 프로그래머블 게인 증폭기들(320) 중 어느 하나(321)로 인가함에 따라, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(320) 중 어느 하나(321)는 IR 셀에서 처리된 IR 신호를 미리 설정된 증폭 비율(예컨대, 4배)로 증폭할 수 있다. 또한, 제어부(310)가 제2 제어선(312)를 통하여 제2 제어 신호를 적어도 두 개 이상의 프로그래머블 게인 증폭기들(320) 중 나머지 하나(322)로 인가함에 따라, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(320) 중 나머지 하나(322)는 B 셀에서 처리된 B 신호를 미리 설정된 증폭 비율 미만의 증폭 비율(예컨대, 1배)로 증폭할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 센서 어레이는 제어부(310)가 서로 다른 제어선(311, 312)를 통하여 서로 다른 제어 신호를 적어도 두 개 이상의 프로그래머블 게인 증폭기들(320) 각각으로 동시에 인가하도록 함으로써, 로 별로 동작하는 복수의 셀들 중 IR 셀에서 처리된 IR 신호만을 증폭시킬 수 있다.
도 4는 본 발명의 다른 일실시예에 따른 센서 어레이를 나타낸 개념도이다.
도 4를 참조하면, 본 발명의 다른 일실시예에 따른 센서 어레이는 복수의 셀들(410), 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420) 및 제어부(430)를 포함한다. 이하, 제어부(430)를 타이밍 게인 제어기(Timing & Gain-control)로 도시하여 설명한다.
복수의 셀들(410)은 멀티 애퍼처 카메라에 포함되는 컷 오프 필터에 의해 유입되는 제1 광 신호를 포함하는 복수의 광 신호들을 처리한다. 이하, 복수의 셀들(410)은 R 신호를 처리하는 R 셀(411), G 신호를 처리하는 G셀(412)/G’셀(413) 및 B 신호를 처리하는 B 셀(414)로 구성되고, 컷 오프 필터에 의해 유입되는 제1 광 신호는 R 신호인 것으로 기재한다. 그러나, 이에 제한되거나 한정되지 않고, 컷 오프 필터에 의해 유입되는 제1 광 신호는 G 신호 또는 B 신호일 수도 있다. 또한, 도면에는, 센서 어레이가 복수의 셀들(410)의 한 세트(R 셀(411), G 셀(412), G’ 셀(413) 및 B 셀(414))로 구성되는 경우로 도시하였으나, 이에 제한되거나 한정되지 않고, 복수의 셀들(410)의 복수의 세트들을 포함하도록 구성될 수 있다.
적어도 두 개 이상의 프로그래머블 게인 증폭기들(420)은 복수의 셀들(410)이 배치되는 로(row)에 기초하여, 복수의 셀들(410) 각각에서 처리된 광 신호 중 처리된 R 신호를 증폭한다.
구체적으로, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420)은 복수의 셀들(410) 중 R 신호를 처리하는 R 셀(411)이 배치되는 로(440)에 대한 증폭을 수행하는 경우, 복수의 셀들(410) 중 R 셀(411)과 동일한 로(440)에 배치되는 적어도 어느 하나의 셀(예컨대, 도면에서는 G 셀(412))에서 처리된 광 신호의 증폭 비율 보다 높은 증폭 비율로 R 신호를 증폭할 수 있다.
예를 들어, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420) 중 어느 하나(421)는 R 셀(411)에서 처리된 R 신호를 미리 설정된 증폭 비율(예컨대, 4배)로 증폭하고, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420) 중 나머지 적어도 어느 하나(422)는 R 셀(411)과 동일한 로(440)에 배치되는 G 셀(412)에서 처리된 G 신호를 미리 설정된 증폭 비율 미만의 증폭 비율(예컨대, 1배)로 증폭할 수 있다.
여기서, 제어부(430)는 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420) 각각을 위와 같이 제어하기 위하여, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420) 각각에 제어 신호를 인가한다.
구체적으로, 제어부(430)는 복수의 셀들(410) 중 R 셀(411)이 배치되는 로(440)에 대한 증폭을 수행하는 경우, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420) 중 어느 하나(421)가 R 셀(411)에서 처리된 R 신호를 증폭하도록 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420) 각각에 서로 다른 제어 신호를 동시에 인가할 수 있다.
예를 들어, 제어부(430)는 복수의 셀들(410) 중 R 셀(411)이 배치되는 로(440)에 대한 증폭을 수행하는 경우, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420) 중 어느 하나(421)가 R 셀(411)에서 처리된 R 신호를 미리 설정된 증폭 비율(예컨대, 4배)로 증폭하도록 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420) 중 어느 하나(421)에 제1 제어 신호를 인가하고, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420) 중 나머지 적어도 어느 하나(422)가 R 셀(411)과 동일한 로(440)에 배치되는 G 셀(412)에서 처리된 G 신호를 미리 설정된 증폭 비율 미만의 증폭 비율(예컨대, 1배)로 증폭하도록 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420) 중 나머지 적어도 어느 하나(422)에 제2 제어 신호를 인가할 수 있다.
반면에, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420)은 복수의 셀들(410) 중 R 셀(411)이 배치되는 로(440)를 제외한 나머지 로(450)에 대한 증폭을 수행하는 경우, 나머지 로(450)에 배치되는 G’ 셀(413) 및 B 셀(414) 각각에서 처리된 광 신호를 R 셀(411)에서 처리된 R 신호의 증폭 비율보다 낮은 비율로 증폭할 수 있다.
예를 들어, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420)은 R 셀(411)에서 처리된 R 신호의 증폭 비율인 4배보다 낮은 1배의 비율로 나머지 로(450)에 배치되는 G’ 셀(413) 및 B 셀(414) 각각에서 처리된 광 신호를 증폭할 수 있다.
이 때, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420)은 나머지 로(450)에 배치되는 G’ 셀(413) 및 B 셀(414) 각각에서 처리된 광 신호를 동일한 증폭 비율(예컨대, 1배)로 증폭할 수 있다.
따라서, 제어부(430)는 복수의 셀들(410) 중 R 셀(411)이 배치되는 로(440)를 제외한 나머지 로(450)에 대한 증폭을 수행하는 경우, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420)이 나머지 로(450)에 배치되는 G’ 셀(413) 및 B 셀(414) 각각에서 처리된 광 신호를 동일한 증폭 비율로 증폭하도록 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420) 각각에 동일한 제어 신호를 인가할 수 있다.
예를 들어, 제어부(430)는 복수의 셀들(410) 중 R 셀(411)이 배치되는 로(440)를 제외한 나머지 로(450)에 대한 증폭을 수행하는 경우, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(420) 중 어느 하나(421)가 G’ 셀(413)에서 처리된 G 신호를 R 셀(411)에서 처리된 R 신호의 증폭 비율인 미리 설정된 증폭 비율(예컨대, 4배) 미만의 증폭 비율(예컨대, 1배)로 증폭하도록 제2 제어 신호를 인가하고, 두 개 이상의 프로그래머블 게인 증폭기들(420) 중 나머지 하나(422)가 B 셀(414)에서 처리된 B 신호를 R 셀(411)에서 처리된 R 신호의 증폭 비율인 미리 설정된 증폭 비율(예컨대, 4배) 미만의 증폭 비율(예컨대, 1배)로 증폭하도록 제2 제어 신호를 인가할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 센서 어레이는 복수의 셀들(410)이 배치되는 로에 기초하여, 제어부(430)에서 서로 다른 제어 신호를 적어도 두 개 이상의 프로그래머블 게임 증폭기들(420)로 동시에 인가함으로써, R 셀(411)에서 처리된 R 신호(컷 오프 필터에 의해 유입되는 광 신호)만을 증폭시킬 수 있다.
도 5는 본 발명의 다른 일실시예에 따른 센서 어레이를 나타낸 회로도이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 센서 에레이는 제어부(510)에서 인가되는 제어 신호에 응답하여 적어도 두 개 이상의 프로그래머블 게인 증폭기들(520)이 제어되도록 함으로써, R 셀에서 처리된 R 신호만을 증폭시킬 수 있다. 이하, 도면에서는 제어부(510)를 타이밍 게인 제어기(Timing & Gain-control)로 도시하여 설명한다.
구체적으로, R 셀에 배치되는 로(530)에 대한 증폭이 수행되는 경우, 제어부(510)가 제1 제어선(511)을 통하여 제1 제어 신호를 적어도 두 개 이상의 프로그래머블 게인 증폭기들(520) 중 어느 하나(521)로 인가함에 따라, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(520) 중 어느 하나(521)는 R 셀에서 처리된 R 신호를 미리 설정된 증폭 비율(예컨대, 4배)로 증폭할 수 있다. 또한, 제어부(510)가 제2 제어선(512)를 통하여 제2 제어 신호를 적어도 두 개 이상의 프로그래머블 게인 증폭기들(520) 중 나머지 하나(522)로 인가함에 따라, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(520) 중 나머지 하나(522)는 G 셀에서 처리된 G 신호를 미리 설정된 증폭 비율 미만의 증폭 비율(예컨대, 1배)로 증폭할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 센서 어레이는 제어부(510)가 서로 다른 제어선(511, 512)를 통하여 서로 다른 제어 신호를 적어도 두 개 이상의 프로그래머블 게인 증폭기들(520) 각각으로 동시에 인가하도록 함으로써, 로 별로 동작하는 복수의 셀들 중 R 셀에서 처리된 R 신호만을 증폭시킬 수 있다.
도 6은 본 발명의 일실시예에 따른 센서 어레이의 동작 방법을 나타낸 플로우 차트이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 센서 어레이는 복수의 셀들에서 컷 오프 필터에 의해 유입되는 제1 광 신호를 포함하는 복수의 광 신호들을 처리한다(610).
여기서, 제 1 광 신호는 IR 컷 오프 필터에 의해 유입되는 IR 신호 또는 RGB(Red-Green-Blue) 신호들 중 컷 오프 필터에 의해 유입되는 어느 하나의 신호일 수 있다. 예를 들어, 센서 어레이가 IR 셀 및 RGB 셀들을 포함하는 경우, 제 1 광 신호는 컷 오프 필터에 의해 유입되는 IR 신호일 수 있고, 센서 어레이가 RGB 셀들을 포함하는 경우, 제1 광 신호는 RGB 신호들 중 컷 오프 필터에 의해 유입되는 어느 하나의 신호일 수 있다.
그 다음, 센서 어레이는 복수의 셀들 중 제1 광 신호를 처리하는 제1 셀이 배치되는 로에 대한 증폭을 수행하는 경우, 적어도 두 개 이상의 프로그래머블 게인 증폭기들 중 어느 하나가 제1 셀에서 처리된 제1 광 신호를 증폭하도록 적어도 두 개 이상의 프로그래머블 게인 증폭기들 각각에 서로 다른 제어 신호를 동시에 인가할 수 있다(620).
이에 응답하여, 센서 어레이는 제어부로부터 인가되는 제어 신호에 따라, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(Programmable Gain Amplifiers; PGAs)에서 복수의 셀들이 배치되는 로(row)에 기초하여, 복수의 셀들 각각에서 처리된 광 신호 중 처리된 제1 광 신호를 증폭한다(630).
구체적으로, 센서 어레이는 적어도 두 개 이상의 프로그래머블 게인 증폭기들에서 복수의 셀들 중 제1 광 신호를 처리하는 제1 셀이 배치되는 로에 대한 증폭을 수행하는 경우, 제1 셀에서 처리된 제1 광 신호를 복수의 셀들 중 제1 셀과 동일한 로에 배치되는 적어도 어느 하나의 셀에서 처리된 광 신호의 증폭 비율(gain ratio) 보다 높은 증폭 비율로 증폭할 수 있다.
예를 들어, 센서 어레이는 제1 셀에서 처리된 제1 광 신호를 미리 설정된 증폭 비율로 증폭하고, 복수의 셀들 중 제1 셀과 동일한 로에 배치되는 적어도 어느 하나의 셀에서 처리된 광 신호를 미리 설정된 증폭 비율 미만의 증폭 비율로 증폭할 수 있다.
또한, 센서 어레이는 복수의 셀들 중 제1 광 신호를 처리하는 제 1셀이 배치되는 로를 제외한 나머지 로에 대한 증폭을 수행하는 경우, 나머지 로에 배치되는 복수의 셀들 각각에서 처리된 광 신호를 복수의 셀들 중 제1 광 신호를 처리하는 제1 셀에서 처리된 제1 광 신호의 증폭 비율 보다 낮은 증폭 비율로 증폭할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (12)

  1. 멀티 애퍼처 카메라(multi aperture camera)의 센서 어레이(sensor arrary)에 있어서,
    컷 오프 필터에 의해 유입되는 제1 광 신호를 포함하는 복수의 광 신호들을 처리하는 복수의 셀들;
    상기 복수의 셀들이 배치되는 로(row)에 기초하여, 상기 복수의 셀들 각각에서 처리된 광 신호 중 상기 처리된 제1 광 신호를 증폭하는 적어도 두 개 이상의 프로그래머블 게인 증폭기들(Programmable Gain Amplifiers; PGAs); 및
    상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 각각을 제어하기 위하여, 상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 각각에 제어 신호를 인가하는 제어부
    를 포함하는 센서 어레이.
  2. 제1항에 있어서,
    상기 제어부는
    상기 복수의 셀들 중 상기 제1 광 신호를 처리하는 제1 셀이 배치되는 로에 대한 증폭을 수행하는 경우, 상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 중 어느 하나가 상기 제1 셀에서 처리된 제1 광 신호를 증폭하도록 상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 각각에 서로 다른 제어 신호를 동시에 인가하는 센서 어레이.
  3. 제1항에 있어서,
    상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들은
    상기 복수의 셀들 중 상기 제1 광 신호를 처리하는 제1 셀이 배치되는 로에 대한 증폭을 수행하는 경우, 상기 제1 셀에서 처리된 제1 광 신호를 상기 복수의 셀들 중 상기 제1 셀과 동일한 로에 배치되는 적어도 어느 하나의 셀에서 처리된 광 신호의 증폭 비율(gain ratio) 보다 높은 증폭 비율로 증폭하는 센서 어레이.
  4. 제3항에 있어서,
    상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 중 어느 하나는
    상기 제1 셀에서 처리된 제1 광 신호를 미리 설정된 증폭 비율로 증폭하고,
    상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 중 나머지 적어도 어느 하나는
    상기 복수의 셀들 중 상기 제1 셀과 동일한 로에 배치되는 적어도 어느 하나의 셀에서 처리된 광 신호를 상기 미리 설정된 증폭 비율 미만의 증폭 비율로 증폭하는 센서 어레이.
  5. 제1항에 있어서,
    상기 제1 광 신호는
    IR 컷 오프 필터에 의해 유입되는 IR 신호 또는 RGB(Red-Green-Blue) 신호들 중 컷 오프 필터에 의해 유입되는 어느 하나의 신호인 센서 어레이.
  6. 제1항에 있어서,
    상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들은
    상기 복수의 셀들 중 상기 제1 광 신호를 처리하는 제 1셀이 배치되는 로를 제외한 나머지 로에 대한 증폭을 수행하는 경우, 상기 나머지 로에 배치되는 복수의 셀들 각각에서 처리된 광 신호를 상기 복수의 셀들 중 상기 제1 광 신호를 처리하는 제1 셀에서 처리된 제1 광 신호의 증폭 비율 보다 낮은 증폭 비율로 증폭하는 센서 어레이.
  7. 멀티 애퍼처 카메라(multi aperture camera)의 센서 어레이(sensor arrary)의 동작 방법에 있어서,
    복수의 셀들에서 컷 오프 필터에 의해 유입되는 제1 광 신호를 포함하는 복수의 광 신호들을 처리하는 단계; 및
    제어부로부터 인가되는 제어 신호에 따라, 적어도 두 개 이상의 프로그래머블 게인 증폭기들(Programmable Gain Amplifiers; PGAs)에서 상기 복수의 셀들이 배치되는 로(row)에 기초하여, 상기 복수의 셀들 각각에서 처리된 광 신호 중 상기 처리된 제1 광 신호를 증폭하는 단계
    를 포함하는 센서 어레이의 동작 방법.
  8. 제7항에 있어서,
    상기 처리된 제1 광 신호를 증폭하는 단계는
    상기 복수의 셀들 중 상기 제1 광 신호를 처리하는 제1 셀이 배치되는 로에 대한 증폭을 수행하는 경우, 상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 중 어느 하나가 상기 제1 셀에서 처리된 제1 광 신호를 증폭하도록 상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들 각각에 서로 다른 제어 신호를 동시에 인가하는 단계
    를 더 포함하는 센서 어레이의 동작 방법.
  9. 제7항에 있어서,
    상기 처리된 제1 광 신호를 증폭하는 단계는
    상기 적어도 두 개 이상의 프로그래머블 게인 증폭기들에서 상기 복수의 셀들 중 상기 제1 광 신호를 처리하는 제1 셀이 배치되는 로에 대한 증폭을 수행하는 경우, 상기 제1 셀에서 처리된 제1 광 신호를 상기 복수의 셀들 중 상기 제1 셀과 동일한 로에 배치되는 적어도 어느 하나의 셀에서 처리된 광 신호의 증폭 비율(gain ratio) 보다 높은 증폭 비율로 증폭하는 단계
    를 포함하는 센서 어레이의 동작 방법.
  10. 제9항에 있어서,
    상기 제1 셀에서 처리된 제1 광 신호를 상기 복수의 셀들 중 상기 제1 셀과 동일한 로에 배치되는 적어도 어느 하나의 셀에서 처리된 광 신호의 증폭 비율 보다 높은 증폭 비율로 증폭하는 단계는
    상기 제1 셀에서 처리된 제1 광 신호를 미리 설정된 증폭 비율로 증폭하는 단계; 및
    상기 복수의 셀들 중 상기 제1 셀과 동일한 로에 배치되는 적어도 어느 하나의 셀에서 처리된 광 신호를 상기 미리 설정된 증폭 비율 미만의 증폭 비율로 증폭하는 단계
    를 포함하는 센서 어레이의 동작 방법.
  11. 제7항에 있어서,
    상기 제1 광 신호는
    IR 컷 오프 필터에 의해 유입되는 IR 신호 또는 RGB(Red-Green-Blue) 신호들 중 컷 오프 필터에 의해 유입되는 어느 하나의 신호인 센서 어레이의 동작 방법.
  12. 제7항에 있어서,
    상기 처리된 제1 광 신호를 증폭하는 단계는
    상기 복수의 셀들 중 상기 제1 광 신호를 처리하는 제 1셀이 배치되는 로를 제외한 나머지 로에 대한 증폭을 수행하는 경우, 상기 나머지 로에 배치되는 복수의 셀들 각각에서 처리된 광 신호를 상기 복수의 셀들 중 상기 제1 광 신호를 처리하는 제1 셀에서 처리된 제1 광 신호의 증폭 비율 보다 낮은 증폭 비율로 증폭하는 단계
    를 포함하는 센서 어레이의 동작 방법.
PCT/KR2015/002465 2015-03-13 2015-03-13 멀티 애퍼처 카메라의 센서 어레이 및 그 동작 방법 WO2016148314A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020177016629A KR101941390B1 (ko) 2015-03-13 2015-03-13 멀티 애퍼처 카메라의 센서 어레이 및 그 동작 방법
PCT/KR2015/002465 WO2016148314A1 (ko) 2015-03-13 2015-03-13 멀티 애퍼처 카메라의 센서 어레이 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2015/002465 WO2016148314A1 (ko) 2015-03-13 2015-03-13 멀티 애퍼처 카메라의 센서 어레이 및 그 동작 방법

Publications (1)

Publication Number Publication Date
WO2016148314A1 true WO2016148314A1 (ko) 2016-09-22

Family

ID=56919091

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/002465 WO2016148314A1 (ko) 2015-03-13 2015-03-13 멀티 애퍼처 카메라의 센서 어레이 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR101941390B1 (ko)
WO (1) WO2016148314A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175517A (ja) * 2003-12-05 2005-06-30 Sony Corp 半導体装置の制御方法および信号処理方法並びに半導体装置および電子機器
KR20090083817A (ko) * 2008-01-30 2009-08-04 (주) 픽셀플러스 Cmos 이미지 센서
JP2011259492A (ja) * 2005-10-28 2011-12-22 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US20130321083A1 (en) * 2012-06-01 2013-12-05 Forza Silicon Corporation Power Supply Regulation for Programmable Gain Amplifier Used in a CMOS Image Sensor
KR20140146864A (ko) * 2013-06-18 2014-12-29 삼성전자주식회사 프로그래머블 이득 증폭기와 이를 포함하는 장치들

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4976832B2 (ja) * 2006-12-04 2012-07-18 キヤノン株式会社 撮像システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005175517A (ja) * 2003-12-05 2005-06-30 Sony Corp 半導体装置の制御方法および信号処理方法並びに半導体装置および電子機器
JP2011259492A (ja) * 2005-10-28 2011-12-22 Sony Corp 固体撮像装置、固体撮像装置の駆動方法および撮像装置
KR20090083817A (ko) * 2008-01-30 2009-08-04 (주) 픽셀플러스 Cmos 이미지 센서
US20130321083A1 (en) * 2012-06-01 2013-12-05 Forza Silicon Corporation Power Supply Regulation for Programmable Gain Amplifier Used in a CMOS Image Sensor
KR20140146864A (ko) * 2013-06-18 2014-12-29 삼성전자주식회사 프로그래머블 이득 증폭기와 이를 포함하는 장치들

Also Published As

Publication number Publication date
KR101941390B1 (ko) 2019-01-22
KR20170088375A (ko) 2017-08-01

Similar Documents

Publication Publication Date Title
WO2012141369A1 (en) Wdr pixel array, wdr imaging apparatus including the same and method for operating the same
US20180124346A1 (en) Imaging apparatus, imaging system, and method of driving an imaging system
WO2010107200A2 (ko) 넓은 동적범위를 갖는 씨모스 이미지 센서 및 그 센싱 방법
WO2014088265A1 (ko) 다채널 초전도양자간섭장치를 조절하기 위한 디지털 신호 전송 장치
JP2019135815A5 (ja) 装置、システム、および移動体
JP2001028716A (ja) ピクセル信号ゲイン増幅回路
WO2017024621A1 (zh) 一种液晶显示器及其控制方法
WO2016101299A1 (zh) 一种液晶显示面板的源极驱动电路及液晶显示器
WO2019015056A1 (zh) 显示面板的测试电路及显示装置
WO2017111414A1 (ko) 핀홀 또는 홀 검출 장치 및 방법
WO2016148314A1 (ko) 멀티 애퍼처 카메라의 센서 어레이 및 그 동작 방법
WO2016108315A1 (ko) 기지국 신호 정합 장치
WO2015060643A1 (ko) 이미지 센서 및 이미지 센서를 구동하는 방법
WO2020135109A1 (zh) 显示面板的驱动方法及其驱动装置、显示装置
WO2016140382A1 (ko) 멀티 애퍼처 카메라의 센서 어레이에 포함되는 노이즈 저감 유닛 및 그 동작 방법
WO2017177492A1 (zh) 显示面板的检测装置
WO2013051763A1 (ko) 모드 주입을 이용한 차동 전력 증폭기
JP2009510910A (ja) Cmosイメージセンサの出力ルーティング構造
WO2018124542A2 (ko) 소스 드라이버의 센싱 회로 및 이를 이용한 디스플레이 장치
WO2013015619A1 (en) Method for processing audio signal and audio signal output apparatus adopting the same
WO2012011631A1 (ko) 차분 자기 센서 모듈을 구비한 자기장 검출 장치
CN115334210A (zh) 图像感测设备及其操作方法
WO2016099164A1 (ko) 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법
WO2016186222A1 (ko) 이미지의 심도를 향상시키는 이미지 센서 및 그 동작 방법
WO2015126071A1 (ko) Oled 디스플레이 기기의 영상처리방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15885617

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177016629

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15885617

Country of ref document: EP

Kind code of ref document: A1