WO2020226447A1 - 카메라 모듈 - Google Patents

카메라 모듈 Download PDF

Info

Publication number
WO2020226447A1
WO2020226447A1 PCT/KR2020/006077 KR2020006077W WO2020226447A1 WO 2020226447 A1 WO2020226447 A1 WO 2020226447A1 KR 2020006077 W KR2020006077 W KR 2020006077W WO 2020226447 A1 WO2020226447 A1 WO 2020226447A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
pixels
image processing
light
processing unit
Prior art date
Application number
PCT/KR2020/006077
Other languages
English (en)
French (fr)
Inventor
김윤성
김석현
박강열
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to US17/609,143 priority Critical patent/US20220224850A1/en
Publication of WO2020226447A1 publication Critical patent/WO2020226447A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects

Definitions

  • FIG. 9 is a view for explaining the first embodiment of the present invention.
  • FIG. 11 is a diagram showing an embodiment of the present invention.
  • the sensor unit 130 may sense an optical signal collected by the light receiving unit 120.
  • the sensor unit 130 may receive an optical signal collected by the light receiving unit through a plurality of pixels.
  • the sensor unit 130 may be an image sensor that senses an optical signal.
  • the sensor unit 130 may be mixed with a sensor, an image sensor, an image sensor unit, a ToF sensor, a ToF image sensor, a ToF image sensor unit, and the like.
  • the sensor unit 130 may be a Complementary Metal Oxide Semiconductor (CMOS) image sensor or a charge coupled device (CCD) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD charge coupled device
  • the sensor unit 130 may include a ToF sensor that measures a distance using a time or phase difference after receiving an infrared optical signal reflected from the subject.
  • a liquid lens including two liquids may control an interface formed between the conductive liquid and the non-conductive liquid by using a voltage applied to the liquid lens including the conductive liquid and the non-conductive liquid.
  • the polymer lens can change the focus of the polymer material through a driving unit such as piezo.
  • the liquid crystal lens can change the focus by controlling the liquid crystal by electromagnetic force.
  • the VCM type can change the focus by adjusting the solid lens or the lens assembly including the solid lens through the electromagnetic force between the magnet and the coil.
  • the SMA type can change focus by controlling a solid lens or a lens assembly including a solid lens using a shape memory alloy.
  • the lens holder 124 may be divided into an upper holder 124-1 coupled to the lens barrel 123 and a lower holder 124-2 coupled to the printed circuit board 126 on which the sensor 130 is mounted.
  • the upper holder 124-1 and the lower holder 124-2 may be integrally formed, formed in a structure separated from each other, and then fastened or combined, or may have a structure separated from each other and spaced apart. In this case, the diameter of the upper holder 124-1 may be formed smaller than the diameter of the lower holder 124-2.
  • the sensor when output light is generated at a plurality of frequencies during the exposure time, the sensor absorbs input light according to the plurality of frequencies. For example, it is assumed that output light is generated at frequencies f 1 and f 2 , and a plurality of demodulated signals has a phase difference of 90 degrees. Then, since incident light also has frequencies f 1 and f 2 , four electrical signals may be generated through input light having a frequency of f 1 and four demodulation signals corresponding thereto. In addition, four electrical signals may be generated through input light having a frequency of f 2 and four demodulated signals corresponding thereto. Thus, a total of eight electrical signals can be generated.
  • FIG. 9 is a view for explaining the first embodiment of the present invention.
  • FIG. 11(a) shows the embodiment of FIGS. 9 and 10 together in one image.
  • a second pixel may exist in a plurality of regions.
  • the image processing unit 150 may generate effective values for the five second pixels as shown in (b) of FIG. 11. I can.
  • the image processing unit may generate an image as shown in the right diagram of FIG. 12A.
  • a pixel without a shadow indicates a pixel having an effective value
  • a pixel with a shadow indicates a pixel having a null value, that is, an invalid value. That is, when an optical signal having an intensity of light greater than or equal to a predetermined value is received over the entire area of the pixel, the pixel does not have an effective pixel value, and the pixel may have a null value.
  • three first pixels are the second, third, and fourth pixels.
  • the image processing unit 150 may generate a valid value of the second pixel based on the valid values of the three first pixels. Accordingly, the image processing unit 150 may generate the effective value of the 8th pixel based on the 2nd, 3rd, and 4th pixels.
  • the image processing unit 150 may generate an effective value of the second pixel, pixel 19, by using three first pixels among the five first pixels.
  • the three first pixels are pixels 20 and 24 adjacent to one surface of pixel 19, and pixels 25 disposed between pixels 20 and 24. That is, the image processing unit 150 may generate the effective value of the 19th pixel based on the 20th, 24th, and 25th pixels.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명의 실시예에 따른 카메라 모듈은 객체에 광신호를 출력하는 발광부; 상기 발광부로부터 출력되어 상기 객체에 반사된 광신호를 집광하는 수광부; 상기 수광부에 의해 집광된 광신호를 복수의 픽셀을 통해 수신하는 센서부, 및 상기 광신호에 의해 유효값을 가지는 제1 픽셀 및 픽셀이 포화된 값인 비유효값을 가지는 제2 픽셀을 통해 수신된 정보를 처리하는 영상 처리부를 포함하고, 상기 제2 픽셀은, 인접한 복수의 픽셀 중 적어도 하나가 상기 제1 픽셀을 포함하고, 상기 영상 처리부는, 상기 제2 픽셀에 인접한 복수의 픽셀 중 상기 제1 픽셀의 유효값에 기초하여 상기 제2 픽셀의 유효값을 생성한다.

Description

카메라 모듈
실시 예는 카메라 모듈에 관한 것이다.
3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
깊이 정보를 획득하는 방법으로, IR(Infrared) 구조광을 객체에 투사하는 방식, 스테레오 카메라를 이용하는 방식, TOF(Time of Flight) 방식 등이 이용되고 있다. TOF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정을 하지 않고도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 피사체를 측정하거나 움직이는 피사체를 측정하여도 정확한 깊이 정보를 획득할 수 있다.
이에 따라, TOF 방식을 생체 인증에 이용하고자 하는 시도가 있다. 예를 들어, 손가락 등에 퍼진 정맥의 모양은 태아 때부터 일생 동안 변하지 않고, 사람마다 다르다고 알려져 있다. 이에 따라, TOF 기능이 탑재된 카메라 장치를 이용하여 정맥 패턴을 식별할 수 있다. 이를 위하여, 손가락을 촬영한 후, 손가락의 색과 형상을 기반으로 배경을 제거하여 각 손가락을 검출할 수 있으며, 검출된 각 손가락의 색 정보로부터 각 손가락의 정맥 패턴을 추출할 수 있다. 즉, 손가락의 평균 색깔, 손가락에 분포된 정맥의 색깔, 및 손가락에 있는 주름의 색깔은 서로 상이할 수 있다. 예를 들어, 손가락에 분포된 정맥의 색깔은 손가락의 평균 색깔에 비하여 적색이 약할 수 있으며, 손가락에 있는 주름의 색깔은 손가락의 평균 색깔에 비하여 어두울 수 있다. 이러한 특징을 이용하여 픽셀 별로 정맥에 근사한 값을 계산할 수 있으며, 계산한 결과를 이용하여 정맥 패턴을 추출할 수 있다. 그리고 추출된 각 손가락의 정맥 패턴과 미리 등록된 데이터를 대비하여 개인을 식별할 수 있다.
ToF 카메라 모듈은 발광부에서 출력하는 빛의 강도가 강할수록 먼 거리에 배치된 사물의 형상이나 거리를 정확히 측정할 수 있다. 하지만, 먼 거리에 배치된 사물을 측정하기 위하여 빛의 강도를 강하게 설정할 경우, 이미지 센서의 픽셀이 포화(saturation)되는 경우가 발생한다. 또한, 빛의 강도가 강하지 않더라도 사물의 반사율이 높은 부분에 빛이 조사되는 경우, 반사되는 빛의 강도가 강해 이미지 센서의 픽셀이 포화되는 경우가 발생할 수 있다. 이와 같이 포화가 발생하는 픽셀의 경우, 영상 처리시 데드 픽셀로 간주되어 널(null) 값이 설정된다. 따라서, 포화가 발생한 픽셀에 빈 공간이 발생하게 되는데, 이는 영상의 품질을 저하시키는 원인이 된다.
본 발명이 이루고자 하는 기술적 과제는 높은 품질의 영상을 생성하기 위한 카메라 모듈을 제공하는데 있다.
본 발명의 실시예에 따른 카메라 모듈은 객체에 광신호를 출력하는 발광부; 상기 발광부로부터 출력되어 상기 객체에 반사된 광신호를 집광하는 수광부; 상기 수광부에 의해 집광된 광신호를 복수의 픽셀을 통해 수신하는 센서부, 및 상기 광신호에 의해 유효값을 가지는 제1 픽셀 및 픽셀이 포화된 값인 비유효값을 가지는 제2 픽셀을 통해 수신된 정보를 처리하는 영상 처리부를 포함하고, 상기 제2 픽셀은, 인접한 복수의 픽셀 중 적어도 하나가 상기 제1 픽셀을 포함하고, 상기 영상 처리부는, 상기 제2 픽셀에 인접한 복수의 픽셀 중 상기 제1 픽셀의 유효값에 기초하여 상기 제2 픽셀의 유효값을 생성한다.
상기 영상 처리부는, 상기 제2 픽셀에 인접한 모든 픽셀이 제1 픽셀인 경우, 상기 제2 픽셀에 인접한 모든 제1 픽셀의 유효값에 기초하여 상기 제2 픽셀의 유효값을 생성할 수 있다.
상기 영상 처리부는, 상기 제2 픽셀에 인접한 제1 픽셀이 5개인 경우, 상기 5개의 제1 픽셀 중 3개의 제1 픽셀의 유효값에 기초하여 상기 제2 픽셀의 유효값을 생성할 수 있다.
상기 5개의 제1 픽셀 중 3개의 제1 픽셀은, 상기 제2 픽셀의 일면과 인접한 2개의 제1 픽셀 및 상기 일면과 인접한 2개의 제1 픽셀 사이에 배치된 1개의 제1 픽셀을 포함할 수 있다.
상기 영상 처리부는, 상기 제2 픽셀에 인접한 제1 픽셀이 3개인 경우, 상기 3개의 제1 픽셀의 유효값에 기초하여 상기 제2 픽셀의 유효값을 생성할 수 있다.
상기 영상 처리부는, 상기 제2 픽셀에 인접한 상기 제1 픽셀의 유효값 중 적어도 하나를 인터폴레이션(interpolation)하거나 평균 연산(average)하거나 가우시안 프로파일(Gaussian profile)하여 상기 제2 픽셀의 유효값을 생성할 수 있다.
상기 영상은, 상기 비유효값을 가지되, 인접한 전체 픽셀이 비유효값을 가지는 제3 픽셀을 더 포함할 수 있다.
상기 영상 처리부는, 상기 제3 픽셀에 인접한 픽셀 중 적어도 하나의 픽셀에 대한 유효값이 생성되면, 생성된 상기 제3 픽셀에 인접한 픽셀의 유효값에 기초하여 상기 제3 픽셀의 유효값을 생성할 수 있다.
상기 영상 처리부는, 상기 제3 픽셀에 인접한 모든 제2 픽셀의 유효값에 기초하여 상기 제3 픽셀의 유효값을 생성할 수 있다.
상기 영상 처리부는, 상기 제3 픽셀에 인접한 모든 상기 제2 픽셀의 유효값에 인터폴레이션(interpolation) 기법, 평균 연산(average) 기법 및 가우시안 프로파일(Gaussian profile) 기법 중 적어도 하나를 적용하여 상기 제3 픽셀의 유효값을 생성할 수 있다.
본 발명의 일 실시예에 따르면, 광포화나 노이즈로 인해 발생하는 데드 픽셀값을 생성하여 영상을 보정함으로써 영상의 품질을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 카메라 모듈의 구성도이다.
도 2는 본 발명의 실시예에 따른 발광부의 구성도이다.
도 3은 본 발명의 실시예에 따른 수광부를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 센서부를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 서브 프레임 영상을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 깊이 영상을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 ToF IR 영상을 설명하기 위한 도면이다.
도 9는 본 발명의 제1 실시예를 설명하기 위한 도면이다.
도 10은 본 발명의 제2 실시예를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예를 나타낸 도면이다.
도 12는 본 발명의 제3 실시예를 설명하기 위한 도면이다.
도 13은 본 발명의 일 실시예를 나타낸다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
다만, 본 발명의 기술 사상은 설명되는 일부 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 기술 사상 범위 내에서라면, 실시 예들간 그 구성 요소들 중 하나 이상을 선택적으로 결합, 치환하여 사용할 수 있다.
또한, 본 발명의 실시예에서 사용되는 용어(기술 및 과학적 용어를 포함)는, 명백하게 특별히 정의되어 기술되지 않는 한, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 일반적으로 이해될 수 있는 의미로 해석될 수 있으며, 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미를 고려하여 그 의미를 해석할 수 있을 것이다.
또한, 본 발명의 실시예에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다.
본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함할 수 있고, "A 및(와) B, C 중 적어도 하나(또는 한 개 이상)"로 기재되는 경우 A, B, C로 조합할 수 있는 모든 조합 중 하나 이상을 포함할 수 있다.
또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다.
이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등으로 한정되지 않는다.
그리고, 어떤 구성 요소가 다른 구성요소에 '연결', '결합' 또는 '접속'된다고 기재된 경우, 그 구성 요소는 그 다른 구성 요소에 직접적으로 연결, 결합 또는 접속되는 경우뿐만 아니라, 그 구성 요소와 그 다른 구성 요소 사이에 있는 또 다른 구성 요소로 인해 '연결', '결합' 또는 '접속' 되는 경우도 포함할 수 있다.
또한, 각 구성 요소의 "상(위) 또는 하(아래)"에 형성 또는 배치되는 것으로 기재되는 경우, 상(위) 또는 하(아래)는 두 개의 구성 요소들이 서로 직접 접촉되는 경우뿐만 아니라 하나 이상의 또 다른 구성 요소가 두 개의 구성 요소들 사이에 형성 또는 배치되는 경우도 포함한다. 또한, "상(위) 또는 하(아래)"으로 표현되는 경우 하나의 구성 요소를 기준으로 위쪽 방향뿐만 아니라 아래쪽 방향의 의미도 포함할 수 있다.
도 1은 본 발명의 실시예에 따른 카메라 모듈의 구성도이다.
본 발명의 실시예에 따른 카메라 모듈(100)은 카메라 장치, ToF(Time of Flight) 카메라 모듈, ToF 카메라 장치 등으로 명명될 수 있다.
본 발명의 실시예에 따른 카메라 모듈(100)은 광학기기에 포함될 수 있다. 광학기기는 핸드폰, 휴대폰, 스마트폰(smart phone), 휴대용 스마트 기기, 디지털 카메라, 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 및 내비게이션(navigation) 중 어느 하나를 포함할 수 있다. 다만, 광학기기의 종류가 이에 제한되는 것은 아니며 영상 또는 사진을 촬영하기 위한 어떠한 장치도 광학기기에 포함될 수 있다.
도 1을 참조하면, 본 발명의 실시예에 따른 카메라 모듈(100)은 발광부(110), 수광부(120), 센서부(130) 및 제어부(140)를 포함하며, 영상 처리부(150) 및 틸트부(160)를 더 포함할 수 있다.
발광부(110)는 발광모듈, 발광유닛, 발광어셈블리 또는 발광장치일 수 있다. 발광부(110)는 광신호를 생성한 후 객체에 출력, 즉 조사할 수 있다. 이때, 발광부(110)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 광신호를 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 본 명세서에서, 발광부(110)가 출력하는 광신호는 객체에 입사되는 광신호를 의미할 수 있다. 발광부(110)가 출력하는 광신호는 카메라 모듈(100)을 기준으로 출력광, 출력광 신호 등으로 불릴 수 있다. 발광부(110)가 출력하는 광은 객체를 기준으로 입사광, 입사광 신호 등으로 불릴 수 있다.
발광부(110)는 광을 소정의 노출주기(integration time) 동안 객체에 출력, 즉 조사할 수 있다. 여기서, 노출주기란 1개의 프레임 주기, 즉 1개의 영상 프레임 주기를 의미할 수 있다. 복수의 프레임을 생성하는 경우, 설정된 노출주기가 반복된다. 예를 들어, 카메라 모듈(100)이 20 FPS로 객체를 촬영하는 경우, 노출주기는 1/20[sec]가 된다. 그리고 100개의 프레임을 생성하는 경우, 노출주기는 100번 반복될 수 있다.
발광부(110)는 서로 다른 주파수를 가지는 복수의 광신호를 출력할 수 있다. 발광부(110)는 서로 다른 주파수를 가지는 복수의 광신호를 순차적으로 반복하여 출력할 수 있다. 또는, 발광부(110)는 서로 다른 주파수를 가지는 복수의 광신호를 동시에 출력할 수도 있다.
발광부(110)는 광신호의 듀티비(duty ratio)를 기 설정된 범위에서 설정할 수 있다. 본 발명의 실시예에 따르면, 발광부(110)가 출력하는 광신호의 듀티비는 0%보다 크거나 25%보다 작은 범위 내에서 설정될 수 있다. 예를 들어, 광신호의 듀티비는 10%나 20%로 설정될 수 있다. 광신호의 듀티비는 기 설정되거나 제어부(140)에 의해 설정될 수 있다.
수광부(120)는 수광모듈, 수광유닛, 수광어셈블리 또는 수광장치일 수 있다. 수광부(120)는 발광부(110)로부터 출력되어 객체로부터 반사된 광신호를 집광할 수 있다. 수광부(120)는 발광부(110)와 나란히 배치될 수 있다. 수광부(120)는 발광부(110) 옆에 배치될 수 있다. 수광부(120)는 발광부(110)와 같은 방향으로 배치될 수 있다. 수광부(120)는 객체에 반사된 광신호를 통과시키기 위한 필터를 포함할 수 있다.
본 명세서에서, 수광부(120)가 집광하는 광신호는 발광부(110)로부터 출력된 광신호가 객체에 도달한 후 반사된 광신호를 의미할 수 있다. 수광부(120)가 집광하는 광신호는 카메라 모듈(100)을 기준으로 입력광, 입력광 신호 등으로 불릴 수 있다. 수광부(120)가 출력하는 광은 객체를 기준으로 반사광, 반사광 신호 등으로 불릴 수 있다.
센서부(130)는 수광부(120)가 집광한 광신호를 센싱할 수 있다. 센서부(130)는 수광부에 의해 집광된 광신호를 복수의 픽셀을 통해 수신할 수 있다. 센서부(130)는 광신호를 센싱하는 이미지 센서일 수 있다. 센서부(130)는 센서, 이미지 센서, 이미지 센서부, ToF 센서, ToF 이미지 센서, ToF 이미지 센서부 등과 혼용될 수 있다.
센서부(130)는 광을 감지하여 전기적 신호를 생성할 수 있다. 즉, 센서부(130)는 수광부(120)가 집광한 광신호를 통해 전기 신호를 생성할 수 있다. 생성된 전기 신호는 아날로그 형태일 수 있다. 센서부(130)는 생성된 전기 신호에 기초하여 영상 신호를 생성하고, 생성된 영상 신호를 영상 처리부(150)로 전송할 수 있다. 이때, 영상 신호는 아날로그 형태의 전기 신호이거나 아날로그 형태의 전기 신호를 디지털 변환한 신호일 수 있다. 아날로그 형태의 전기 신호를 영상 신호로 전송하는 경우, 영상 처리부(150)는 아날로그 디지털 컨버터(analog-digital converter, ADC)와 같은 장치를 통해 전기 신호를 디지털 변환할 수 있다.
센서부(130)는 발광부(110)에서 출력하는 광의 파장에 대응하는 파장의 광을 감지할 수 있다. 예를 들어, 센서부(130)는 적외선을 감지할 수 있다. 또는, 센서부(130)는 가시광선을 감지할 수 있다.
센서부(130)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있으며, CCD(Charge Coupled Device) 이미지 센서일 수도 있다. 또한, 센서부(130)는 피사체에 반사되는 적외선 광신호를 입력받은 후 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다.
제어부(140)는 카메라 모듈(100)에 포함된 각 구성을 제어할 수 있다.
본 발명의 실시예에 따르면, 제어부(140)는 발광부(110) 및 센서부(130) 중 적어도 하나를 제어할 수 있다. 또한, 제어부(140)는 센서부(130)의 수광부(120)가 집광한 광신호의 센싱 주기를 발광부(110)의 노출주기에 연동하여 제어할 수 있다.
또한, 제어부(140)는 틸트부(160)를 제어할 수 있다. 예를 들어, 제어부(140)는 소정의 규칙에 따라 틸트부(160)의 틸트 구동을 제어할 수 있다.
영상 처리부(150)는 센서부(130)로부터 영상 신호를 입력받고, 영상 신호를 처리(예컨대, 디지털 변환, 보간, 프레임 합성 등)하여 영상을 생성할 수 있다.
영상 처리부(150)는 영상 신호에 기초하여 영상을 생성할 수 있다. 이때, 영상은 유효값을 가지는 제1 픽셀 및 픽셀이 포화된 값인 비유효값을 가지는 제2 픽셀을 포함할 수 있다. 이때, 비유효값은 널(null) 값일 수 있다. 즉, 영상 처리부(150)는 광신호에 의해 유효값을 가지는 제1 픽셀 및 비유효값을 가지는 제2 픽셀을 통해 수신된 정보를 처리할 수 있다. 제2 픽셀은 인접한 복수의 픽셀 중 적어도 하나가 제1 픽셀을 포함할 수 있다. 또한, 영상은 제3 픽셀을 더 포함할 수 있다. 제3 픽셀은 비유효값을 가지며, 인접한 전체 픽셀이 비유효값을 가질 수 있다.
영상 처리부(150)는 제1 픽셀의 유효값을 이용하여 제2 픽셀의 유효값을 생성할 수 있다. 영상 처리부(150)는 제3 픽셀에 인접한 픽셀 중 적어도 하나의 픽셀에 대한 유효값이 생성되면, 생성된 제3 픽셀에 인접한 픽셀의 유효값에 기초하여 제3 픽셀의 유효값을 생성할 수 있다. 영상 처리부(150)는 픽셀값이 널 값, 즉 비유효값인 제2 픽셀 및 제3 픽셀에 대한 유효값을 생성하는데 있어, 인터폴레이션(interpolation) 기법, 평균 연산(average) 기법 및 가우시안 프로파일(Gaussian profile) 기법 중 적어도 하나를 이용할 수 있다.
일 실시예에 따르면, 영상 처리부(150)는 복수의 프레임(저해상도)을 이용하여 하나의 프레임(고해상도)을 합성할 수 있다. 즉, 영상 처리부(150)는 센서부(130)로부터 받은 영상 신호에 대응하는 복수의 영상 프레임을 합성하고, 합성된 결과를 합성 영상으로서 생성할 수 있다. 영상 처리부(150)에서 생성된 합성 영상은 영상 신호에 대응하는 복수의 영상 프레임보다 높은 해상도를 가질 수 있다. 즉, 영상 처리부(150)는 슈퍼레졸루션(Super Resolution, SR) 기법을 통해 고해상도의 영상을 생성할 수 있다.
영상 처리부(150)는 영상 신호를 처리하여 영상을 생성하는 프로세서를 포함할 수 있다. 프로세서는 영상 처리부(150)의 기능에 따라 복수로 구현될 수 있으며, 복수의 프로세서 중 일부가 센서부(130)와 결합되어 구현될 수 있다. 예를 들어, 아날로그 방식의 전기 신호를 디지털 방식의 영상 신호로 변환하는 프로세서는 센서와 결합되어 구현될 수 있다. 다른 예로, 영상 처리부(150)가 포함하는 복수의 프로세서는 센서부(130)와 분리되어 구현될 수도 있다.
틸트부(160)는 필터 및 렌즈 중 적어도 하나를 통과한 광의 광경로가 소정의 규칙에 따라 반복하여 이동하도록 필터 및 렌즈 중 적어도 하나를 틸트시킬 수 있다. 이를 위해, 틸트부(160)는 틸트 드라이버 및 틸트 액츄에이터(Tilting Actuator)를 포함할 수 있다.
렌즈는 광 경로를 변경시킬 수 있는 가변 렌즈일 수도 있다. 가변 렌즈는 초점 가변 렌즈일 수 있다. 또한, 가변 렌즈는 초점이 조절되는 렌즈일 수 있다. 가변 렌즈는 액체 렌즈, 폴리머 렌즈, 액정 렌즈, VCM 타입, SMA 타입 중 적어도 하나일 수 있다. 액체 렌즈는 하나의 액체를 포함하는 액체 렌즈와 두 개의 액체를 포함하는 액체 렌즈를 포함할 수 있다. 하나의 액체를 포함하는 액체 렌즈는 액체와 대응되는 위치에 배치되는 멤브레인을 조절하여 초점을 가변시킬 수 있으며, 예를들어 마그넷과 코일의 전자기력에 의해 멤브레인을 가압하여 초점을 가변시킬 수 있다. 두개의 액체를 포함하는 액체 렌즈는 전도성 액체와 비전도성 액체를 포함하여 액체 렌즈에 인가되는 전압을 이용하여 전도성 액체와 비전도성 액체가 형성하는 계면을 조절할 수 있다. 폴리머 렌즈는 고분자 물질을 피에조 등의 구동부를 통해 초점을 가변시킬 수 있다. 액정 렌즈는 전자기력에 의해 액정을 제어하여 초점을 가변시킬 수 있다. VCM 타입은 고체 렌즈 또는 고체 렌즈를 포함하는 렌즈 어셈블리를 마그넷과 코일간의 전자기력을 통해 조절하여 초점을 가변시킬 수 있다. SMA 타입은 형상기억합금을 이용하여 고체 렌즈 또는 고체 렌즈를 포함하는 렌즈 어셈블리를 제어하여 초점을 가변시킬 수 있다.
틸트부(160)는 틸트 후 필터를 통과한 광의 경로가 틸트 전 필터 및 렌즈 중 적어도 하나를 통과한 광의 경로를 기준으로 센서부(130)의 0픽셀보다 크고 1픽셀보다 작은 단위만큼 이동되도록 필터 및 렌즈 중 적어도 하나를 틸트시킬 수 있다. 틸트부(160)는 필터 및 렌즈 중 적어도 하나를 통과한 광의 경로가 기 설정된 기준 경로로부터 적어도 1회 이동되도록 필터 및 렌즈 중 적어도 하나를 틸트시킬 수 있다.
이하에서는 도면을 참조하여, 도 1에 도시된 본 발명의 실시예에 따른 카메라 모듈(100)의 각 구성을 상세하게 살펴보도록 한다.
도 2는 본 발명의 실시예에 따른 발광부의 구성도이다.
앞서 도 1을 통해 살펴본 것처럼, 발광부(110)는 광신호를 생성한 후 객체에 출력하는 구성 요소를 의미할 수 있다. 이러한 기능을 구현하기 위하여, 발광부(110)는 발광 소자(111)와 광학 소자를 포함할 수 있으며, 광변조부(112)를 포함할 수 있다.
우선, 발광 소자(111)는 전기를 공급받아 빛(광)을 생성하는 소자를 의미할 수 있다. 발광 소자(111)가 생성하는 빛은 파장이 770 내지 3000nm인 적외선 일 수 있다. 또는 발광 소자(111)가 생성하는 빛은 파장이 380 내지 770nm인 가시광선 일 수 있다.
발광 소자(111)는 발광 다이오드(Light Emitting Diode, LED)를 포함할 수 있다. 뿐만 아니라, 발광 소자(111)는 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수 있다.
발광 소자(111)는 일정한 패턴에 따라 배열된 형태로 구현될 수 있다. 따라서, 발광 소자(111)는 복수로 구성될 수 있다. 복수의 발광 소자(111)는 기판 상에 행과 열에 따라 배열될 수 있다. 복수의 발광 소자(111)는 기판 위에 실장될 수 있다. 기판은 회로 패턴이 형성된 인쇄 회로 기판(Printed Circuit Board, PCB)일 수 있다. 기판은 일정 유연성을 확보하기 위하여 연성 인쇄 회로 기판(FPCB)으로 구현될 수 있다. 이 외에도 기판은 수지 계열의 인쇄회로기판, 메탈 코아(MetalCore) PCB, 세라믹 PCB, FR-4 기판 중 어느 하나로 구현될 수도 있다. 이외에도 복수의 발광 소자(111)는 칩(chip)의 형태로 구현될 수도 있다.
광변조부(112)는 발광 소자(111)의 점멸을 제어하여 발광 소자(111)가 지속파나 펄스파 형태의 광신호를 생성하도록 제어할 수 있다. 광변조부(112)는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 발광 소자(111)가 지속파나 펄스파 형태의 광을 생성하도록 제어할 수 있다. 예를 들어, 광변조부(112)는 일정 시간 간격으로 발광 소자(111)의 점멸(on/off)을 반복시켜 펄스파 형태나 지속파 형태의 광을 생성하도록 제어할 수 있다. 일정 시간 간격은 광신호의 주파수일 수 있다.
도 3는 본 발명의 실시예에 따른 수광부를 설명하기 위한 도면이다.
도 3를 참조하면, 수광부(120)는 렌즈 어셈블리(121) 및 필터(125)를 포함한다. 렌즈 어셈블리(121)는 렌즈(122), 렌즈 배럴(123) 및 렌즈 홀더(124)를 포함할 수 있다.
렌즈(122)는 복수 매로 구성될 수 있으며, 1매로 구성될 수도 있다. 렌즈(122)는 위에서 설명한 가변 렌즈를 포함할 수 있다. 렌즈(122)가 복수 매로 구성될 경우 각 렌즈들은 중심축을 기준으로 정렬하여 광학계를 형성할 수 있다. 여기서, 중심축은 광학계의 광축(Optical axis)과 동일할 수 있다.
렌즈 배럴(123)은 렌즈 홀더(124)와 결합되며, 내부에 렌즈를 수용할 수 있는 공간이 마련될 수 있다. 렌즈 배럴(123)은 하나 또는 복수의 렌즈와 회전 결합될 수 있으나, 이는 예시적인 것이며, 접착제(예를 들어, 에폭시(epoxy) 등의 접착용 수지)를 이용한 방식 등 다른 방식으로 결합될 수 있다.
렌즈 홀더(124)는 렌즈 배럴(123)과 결합되어 렌즈 배럴(123)을 지지하고, 센서(130)가 탑재된 인쇄회로기판(126)에 결합될 수 있다. 여기서, 센서는 도 1의 센서부(130)에 대응할 수 있다. 렌즈 홀더(124)에 의하여 렌즈 배럴(123) 하부에 필터(125)가 부착될 수 있는 공간이 형성될 수 있다. 렌즈 홀더(124)외 내주면에는 나선형 패턴이 형성될 수 있고, 이와 마찬가지로 외주면에 나선형 패턴이 형성된 렌즈 배럴(123)과 회전 결합할 수 있다. 그러나, 이는 예시적인 것이며, 렌즈 홀더(124)와 렌즈 배럴(123)은 접착제를 통해 결합되거나, 렌즈 홀더(124)와 렌즈 배럴(123)이 일체형으로 형성될 수도 있다.
렌즈 홀더(124)는 렌즈 배럴(123)과 결합되는 상부 홀더(124-1) 및 센서(130)가 탑재된 인쇄회로기판(126)과 결합되는 하부 홀더(124-2)로 구분될 수 있으며, 상부 홀더(124-1) 및 하부 홀더(124-2)는 일체형으로 형성되거나, 서로 분리된 구조로 형성된 후 체결 또는 결합되거나, 서로 분리되어 이격된 구조를 가질 수도 있다. 이때, 상부 홀더(124-1)의 직경은 하부 홀더(124-2)의 직경보다 작게 형성될 수 있다.
필터(125)는 렌즈 홀더(124)에 결합될 수 있다. 필터(125)는 렌즈 어셈블리(121)와 센서 사이에 배치될 수 있다. 필터(125)는 객체와 센서 사이의 광경로 상에 배치될 수 있다. 필터(125)는 소정 파장 범위를 갖는 광을 필터링할 수 있다. 필터(125)는 특정 파장의 광을 통과시킬 수 있다. 즉, 필터(125)는 특정 파장 외의 광을 반사 또는 흡수하여 차단할 수 있다. 필터(125)는 적외선을 통과시키고 적외선 이외의 파장의 광을 차단시킬 수 있다. 또는, 필터(125)는 가시광선을 통과시키고 가시광선 이외의 파장의 광을 차단시킬 수 있다. 필터(125)는 이동할 수 있다. 필터(125)는 렌즈 홀더(124)와 일체로 이동할 수 있다. 필터(125)는 틸트(tilt)될 수 있다. 필터(125)는 이동되어 광경로를 조절할 수 있다. 필터(125)는 이동을 통해 센서부(130)로 입사되는 광의 경로를 변경시킬 수 있다. 필터(125)는 입사되는 광의 FOV(Field of View) 각도 또는 FOV의 방향 등을 변경시킬 수 있다.
도 3에 도시되지 않았으나, 영상 처리부(150) 등은 인쇄 회로 기판 내에서 구현될 수 있다. 그리고, 도 1의 발광부(110)는 인쇄 회로 기판(126) 상에서 센서(130)의 측면에 배치되거나, 카메라 모듈(100)의 외부, 예를 들어 카메라 모듈(100)의 측면에 배치될 수도 있다.
상기의 예시는 일 실시예에 불과하며, 수광부(120)는 카메라 모듈(100)로 입사되는 광을 집광하여 센서에 전달할 수 있는 다른 구조로 구성될 수도 있다.
도 4는 본 발명의 실시예에 따른 센서부를 설명하기 위한 도면이다.
도 4에 도시된 것처럼, 본 발명의 실시예에 따른 센서부(130)는 복수의 셀 영역(P1, P2, …)이 그리드 형태로 배열될 수 있다. 예를 들어, 도 4에서와 같이 320x240 해상도의 센서부(130)는 76,800개의 셀 영역이 그리드 형태로 배열될 수 있다.
그리고, 각 셀 영역 사이에는 일정한 간격(L)이 형성될 수 있으며, 해당 간격(L)에는 복수의 셀을 전기적으로 연결하기 위한 와이어 등이 배치될 수 있다. 이러한 간격(L)의 폭(dL)은 셀 영역의 폭에 비해 매우 작을 수 있다.
셀 영역(P1, P2, …)은 입력광 신호를 전기 에너지로 변환하는 영역을 의미할 수 있다. 즉, 셀 영역(P1, P2, …)은 빛을 전기 에너지로 변환하는 포토 다이오드가 구비된 셀 영역을 의미하거나, 구비된 포토 다이오드가 동작하는 셀 영역을 의미할 수도 있다.
일 실시예에 따르면, 복수의 셀 영역(P1, P2, …)에는 2개의 포토 다이오드가 구비될 수 있다. 각 셀 영역(P1, P2, …)은 제1 포토 다이오드 및 제1 트랜지스터를 포함하는 제1 수광 유닛(132-1)과 제2 포토 다이오드 및 제2 트랜지스터를 포함하는 제2 수광 유닛(132-2)을 포함할 수 있다.
제1 수광 유닛(132-1)과 제2 수광 유닛(132-2)은 서로 180도의 위상차를 가지고 광신호를 수광할 수 있다. 즉, 제1 포토 다이오드가 턴온(turn-on)되어 광신호를 흡수한 후 턴오프(turn-off)되면, 제2 포토 다이오드가 턴온되어 광신호를 흡수한 후 턴오프 될 수 있다. 제1 수광 유닛(132-1)은 In Phase 수신 유닛이라 할 수 있고, 제2 수광 유닛(132-2)은 Out Phase 수신 유닛이라 할 수 있다. 이와 같이, 제1 수광 유닛(132-1) 및 제2 수광 유닛(132-2)이 시간 차를 두고 활성화되면, 객체와의 거리에 따라 수신되는 광량에 차이가 발생하게 된다. 예를 들어, 객체가 카메라 모듈(100) 바로 앞에 있는 경우(즉, 거리=0인 경우)에는 발광부(110)로부터 광신호가 출력된 후 객체에서 반사되어 오는데 걸리는 시간이 0이므로, 광원의 점멸 주기는 그대로 광의 수신 주기가 된다. 이에 따라, 제1 수광 유닛(132-1)만이 빛을 수신하게 되고, 제2 수광 유닛(132-2)은 빛을 수신하지 못하게 된다. 다른 예로, 객체가 카메라 모듈(100)과 소정 거리 떨어져 위치하는 경우, 발광부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 시간이 걸리므로, 광원의 점멸 주기는 광의 수신 주기와 차이가 나게 된다. 이에 따라, 제1 수광 유닛(132-1)과 제2 수광 유닛(132-2)이 수신하는 빛의 양에 차이가 발생하게 된다. 즉, 제1 수광 유닛(132-1)과 제2 수광 유닛(132-2)에 입력된 광량의 차를 이용하여 객체의 거리가 연산될 수 있다.
도 5는 본 발명의 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 5에 나타난 바와 같이, 본 발명의 실시예에 따른 참조 신호, 즉 복조 신호는 4개(C1 내지 C4)일 수 있다. 각 복조 신호(C1 내지 C4)는 출력광(발광부(110)가 출력하는 광), 즉 객체의 입장에서 입사광과 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 복조 신호 중 하나(C1)는 출력광와 동일한 위상을 가질 수 있다. 입력광(수광부(120)가 입력받는 광), 즉 객체의 입장에서 반사광은 출력광이 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연된다. 센서부(130)는 입력광과 각 복조 신호를 각각 믹싱(mixing)한다. 그러면, 센서부(130)는 도 3의 음영 부분에 대응하는 전기 신호를 각 복조 신호별로 생성할 수 있다. 복조 신호별로 생성된 전기 신호는 영상 신호로서 영상 처리부(150)에 전송되거나, 디지털 변환된 전기 신호가 영상 신호로서 영상 처리부(150)에 전송될 수 있다.
다른 실시예로, 노출 시간 동안 복수의 주파수로 출력광이 생성된 경우, 센서는 복수의 주파수에 따른 입력광을 흡수한다. 예를 들어, 주파수 f1과 f2로 출력광이 생성되고, 복수의 복조 신호는 90도의 위상차를 가진다고 가정한다. 그러면, 입사광 역시 주파수 f1과 f2를 가지므로, 주파수가 f1인 입력광과 이에 대응하는 4개의 복조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 그리고 주파수가 f2인 입력광과 이에 대응하는 4개의 복조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 따라서, 전기 신호는 총 8개가 생성될 수 있다.
도 6은 본 발명의 실시예에 따른 서브 프레임 영상을 설명하기 위한 도면이다.
앞서 살펴본 바와 같이, 전기 신호는 4개의 복조 신호 별 위상에 대응하여 생성될 수 있다. 따라서, 도 6에 도시된 것처럼, 영상 처리부(150)는 4개의 위상에 대응하는 서브 프레임 영상을 얻을 수 있다. 여기서, 4개의 위상은 0°, 90°, 180°, 270°일 수 있으며, 서브 프레임 영상은 위상 영상, 위상 IR 영상 등과 혼용될 수 있다.
그리고, 영상 처리부(150)는 복수의 서브 프레임 영상에 기초하여 깊이 영상을 생성할 수 있다.
도 7은 본 발명의 실시예에 따른 깊이 영상을 설명하기 위한 도면이다.
도 7의 깊이 영상은 도 4의 서브 프레임 영상에 기초하여 생성된 영상을 나타낸다. 영상 처리부(150)는 복수의 서브 프레임 영상을 이용하여 깊이 영상을 생성할 수 있으며, 이는 아래의 수학식 1 및 수학식 2를 통해 구현될 수 있다.
Figure PCTKR2020006077-appb-M000001
여기서, Raw(x0)은 0도 위상에 대응하는 서브 프레임 영상을 의미한다. Raw(x90)은 90도 위상에 대응하는 서브 프레임 영상을 의미한다. Raw(x180)은 180도 위상에 대응하는 서브 프레임 영상을 의미한다. Raw(x270)은 270도 위상에 대응하는 서브 프레임 영상을 의미한다.
즉, 영상 처리부(150)는 수학식 1을 통해 각 픽셀별로 발광부(110)가 출력하는 광신호와 수광부(120)가 입력받는 광신호 사이의 위상차를 산출할 수 있다.
Figure PCTKR2020006077-appb-M000002
여기서, f는 광신호의 주파수를 의미한다. c는 빛의 속도를 의미한다.
즉, 영상 처리부(150)는 수학식 2를 통해 각 픽셀별로 카메라 모듈(100)과 객체 사이의 거리를 산출할 수 있다.
한편, 영상 처리부(150)는 복수의 서브 프레임 영상에 기초하여 ToF IR 영상을 생성할 수도 있다.
도 8는 본 발명의 실시예에 따른 ToF IR 영상을 설명하기 위한 도면이다.
도 8는 도 4의 4개 서브 프레임 영상을 통해 생성된 ToF IR 영상의 일종인 앰플리튜드 영상(amplitude image)을 나타낸다.
도 8에서와 같은 앰플리튜드 영상을 생성하기 위하여, 영상 처리부(150)는 아래의 수학식 3을 이용할 수 있다.
Figure PCTKR2020006077-appb-M000003
다른 예로, 영상 처리부(150)는 아래의 수학식 4를 이용하여 ToF IR 영상의 일종인 인텐시티 영상(intensity image)을 생성할 수 있다. 인텐시티 영상은 컨피던스(confidence) 영상과 혼용될 수 있다.
Figure PCTKR2020006077-appb-M000004
앰플리튜드 영상이나 인텐시티 영상과 같은 ToF IR 영상은 그레이 영상일 수 있다.
도 9는 본 발명의 제1 실시예를 설명하기 위한 도면이다.
본 발명의 실시예에 따르면, 영상 처리부는 제2 픽셀에 인접한 복수의 픽셀 중 제1 픽셀의 유효값에 기초하여 제2 픽셀의 유효값을 생성할 수 있다.
구체적으로, 제2 픽셀에 인접한 모든 픽셀이 제1 픽셀인 경우, 영상 처리부는 제2 픽셀에 인접한 모든 제1 픽셀의 유효값에 기초하여 제2 픽셀의 유효값을 생성할 수 있다.
이하 도 9의 실시예를 통해 상세하게 살펴본다.
도 9의 (a)의 좌측 도면처럼, 9개의 픽셀에 대응하는 영역에 대해 객체로부터 반사된 광신호가 일정 수치 이상의 빛의 강도로 수신되었다고 가정한다. 이때, 8개의 픽셀에 대응하는 영역에는 각 픽셀의 일부 영역에 대응하여 일정 수치 이상의 빛의 강도를 가지는 광신호가 수신되고, 1개의 픽셀에 대응하는 영역에는 픽셀의 전체 영역에 대응하여 일정 수치 이상의 빛의 강도를 가지는 광신호가 수신된다.
이 경우, 대응하는 영상 신호가 생성되어 영상 처리부(150)에 입력되면, 영상 처리부는 도 9의 (a)의 우측 도면과 같은 영상을 생성할 수 있다. 여기서, 음영이 표시되지 않은 픽셀은 유효값을 가지는 픽셀을 나타내고, 음영이 표시된 픽셀은 널 값, 즉 비유효값을 가지는 픽셀을 나타낸다. 즉, 픽셀의 전체 영역에 걸쳐 일정 수치 이상의 빛의 강도를 가지는 광신호가 수신되는 경우에는 해당 픽셀은 유효한 픽셀값을 가지지 못하며, 해당 픽셀은 널 값을 가질 수 있다.
도 9의 (b)를 참조하면, 1 내지 4, 6 내지 9번 픽셀은 유효값을 가지는 픽셀이므로 본 발명의 제1 픽셀에 해당할 수 있다. 그리고 5번 픽셀은, 널 값을 가지되 인접하는 픽셀(1 내지 4, 6 내지 9번 픽셀) 중 적어도 하나가 제1 픽셀에 해당하는 픽셀이므로, 본 발명의 제2 픽셀에 해당할 수 있다.
그리고, 5번 픽셀에 인접한 모든 픽셀(1 내지 4, 6 내지 9번 픽셀)이 제1 픽셀이므로, 영상 처리부(150)는 1 내지 4, 6 내지 9번 픽셀에 기초하여 5번 픽셀의 유효값을 생성할 수 있다. 예를 들어, 영상 처리부(150)는 1 내지 4, 6 내지 9번 픽셀의 평균값을 5번 픽셀의 유효값으로 생성할 수 있다. 이외에도, 영상 처리부(150)는 1 내지 4, 6 내지 9번 픽셀의 유효값을 인터폴레이션 알고리즘이나 가우시안 프로파일 알고리즘에 적용하여 5번 픽셀의 유효값을 생성할 수도 있다.
도 10은 본 발명의 제2 실시예를 설명하기 위한 도면이다.
제2 픽셀에 인접한 제1 픽셀이 5개인 경우, 영상 처리부(150)는 5개의 제1 픽셀 중 3개의 제1 픽셀의 유효값에 기초하여 제2 픽셀의 유효값을 생성할 수 있다. 여기서, 5개의 제1 픽셀 중 3개의 제1 픽셀은 제2 픽셀의 일면과 인접한 2개의 제1 픽셀 및 일면과 인접한 2개의 제1 픽셀 사이에 배치된 1개의 제1 픽셀을 포함할 수 있다.
이하 도 10의 실시예를 통해 상세하게 살펴본다.
도 10의 (a)의 좌측 도면처럼, 16개의 픽셀에 대응하는 영역에 대해 객체로부터 반사된 광신호가 일정 수치 이상의 빛의 강도로 수신되었다고 가정한다. 이때, 12개의 픽셀에 대응하는 영역에는 각 픽셀의 일부 영역에 대응하여 일정 수치 이상의 빛의 강도를 가지는 광신호가 수신되고, 4개의 픽셀에 대응하는 영역에는 픽셀의 전체 영역에 대응하여 일정 수치 이상의 빛의 강도를 가지는 광신호가 수신된다.
이 경우, 대응하는 영상 신호가 생성되어 영상 처리부(150)에 입력되면, 영상 처리부는 도 10의 (a)의 우측 도면과 같은 영상을 생성할 수 있다. 여기서, 음영이 표시되지 않은 픽셀은 유효값을 가지는 픽셀을 나타내고, 음영이 표시된 픽셀은 널 값, 즉 비유효값을 가지는 픽셀을 나타낸다. 즉, 픽셀의 전체 영역에 걸쳐 일정 수치 이상의 빛의 강도를 가지는 광신호가 수신되는 경우에는 해당 픽셀은 유효한 픽셀값을 가지지 못하며, 해당 픽셀은 널 값을 가질 수 있다.
도 10의 (b)를 참조하면, 1 내지 5, 8, 9, 12 내지 16번 픽셀은 유효값을 가지는 픽셀이므로 본 발명의 제1 픽셀에 해당할 수 있다. 그리고 6, 7, 10, 11번 픽셀은, 널 값을 가지되 각각에 인접하는 픽셀 중 적어도 하나가 제1 픽셀에 해당하는 픽셀이므로, 본 발명의 제2 픽셀에 해당할 수 있다. 도 10에 대한 제2 픽셀의 해당 여부를 정리하면 아래의 표 1과 같다.
픽셀값 인접 픽셀 인접 픽셀 중 제1 픽셀 제2 픽셀 해당 여부
6번 픽셀 널(null) 1,2,3,5,7,9,10,11 1,2,3,5,9 해당
7번 픽셀 널(null) 2,3,4,6,8,10,11,12 2,3,4,8,12 해당
10번 픽셀 널(null) 5,6,7,9,11,13,14,15 5,9,13,14,15 해당
11번 픽셀 널(null) 6,7,8,10,12,14,15,16 8,12,14,15,16 해당
6번 픽셀에 인접한 픽셀 중 제1 픽셀은 1, 2, 3, 5, 9번 픽셀로 5개이다. 영상 처리부(150)는 5개의 제1 픽셀 중 3개의 제1 픽셀을 이용하여 제2 픽셀인 6번 픽셀의 유효값을 생성할 수 있다. 여기서, 3개의 제1 픽셀은 6번 픽셀의 일면과 인접한 2번 픽셀 및 5번 픽셀, 그리고 2번 픽셀과 5번 픽셀 사이에 배치된 1번 픽셀이다. 즉, 영상 처리부(150)는 1, 2, 5번 픽셀에 기초하여 6번 픽셀의 유효값을 생성할 수 있다. 7번 픽셀에 인접한 픽셀 중 제1 픽셀은 2, 3, 4, 8, 12번 픽셀로 5개이다. 영상 처리부(150)는 5개의 제1 픽셀 중 3개의 제1 픽셀을 이용하여 제2 픽셀인 7번 픽셀의 유효값을 생성할 수 있다. 여기서, 3개의 제1 픽셀은 7번 픽셀의 일면과 인접한 3번 픽셀 및 8번 픽셀, 그리고 3번 픽셀과 8번 픽셀 사이에 배치된 4번 픽셀이다. 즉, 영상 처리부(150)는 3, 4, 8번 픽셀에 기초하여 7번 픽셀의 유효값을 생성할 수 있다.
10번 픽셀에 인접한 픽셀 중 제1 픽셀은 5, 9, 13, 14, 15번 픽셀로 5개이다. 영상 처리부(150)는 5개의 제1 픽셀 중 3개의 제1 픽셀을 이용하여 제2 픽셀인 10번 픽셀의 유효값을 생성할 수 있다. 여기서, 3개의 제1 픽셀은 10번 픽셀의 일면과 인접한 9번 픽셀 및 14번 픽셀, 그리고 9번 픽셀과 14번 픽셀 사이에 배치된 13번 픽셀이다. 즉, 영상 처리부(150)는 9, 13, 14번 픽셀에 기초하여 10번 픽셀의 유효값을 생성할 수 있다.
11번 픽셀에 인접한 픽셀 중 제1 픽셀은 8, 12, 14, 15, 16번 픽셀로 5개이다. 영상 처리부(150)는 5개의 제1 픽셀 중 3개의 제1 픽셀을 이용하여 제2 픽셀인 11번 픽셀의 유효값을 생성할 수 있다. 여기서, 3개의 제1 픽셀은 11번 픽셀의 일면과 인접한 12번 픽셀 및 15번 픽셀, 그리고 12번 픽셀과 15번 픽셀 사이에 배치된 16번 픽셀이다. 즉, 영상 처리부(150)는 12, 15, 16번 픽셀에 기초하여 11번 픽셀의 유효값을 생성할 수 있다.
도 11은 본 발명의 일 실시예를 나타낸 도면이다.
도 11의 (a)은 하나의 영상에 도 9와 도 10의 실시예가 함께 도시된다. 도 11에서와 같이 복수의 영역에서 제2 픽셀이 존재할 수 있다. 예를 들어, 도 11의 (b)에서와 같이 5개의 제2 픽셀이 영상에 포함되면, 영상 처리부(150)는 도 11의 (b)에서처럼, 5개의 제2 픽셀에 대한 유효값을 생성할 수 있다.
도 12는 본 발명의 제3 실시예를 설명하기 위한 도면이다.
도 12는 제1 내지 제3 픽셀을 포함하는 경우를 도시한다. 제3 픽셀은 널 값을 가지되, 인접한 전체 픽셀이 널 값을 가질 수 있다. 즉, 제3 픽셀의 인접 픽셀은 제2 픽셀 또는 다른 제3 픽셀일 수 있다. 다만, 제3 픽셀의 인접 픽셀은 제1 픽셀일 수는 없다.
영상 처리부(150)는 제3 픽셀에 인접한 픽셀 중 적어도 하나의 픽셀에 대한 유효값이 생성되면, 생성된 제3 픽셀에 인접한 픽셀의 유효값에 기초하여 제3 픽셀의 유효값을 생성할 수 있다. 즉, 제3 픽셀에 대한 유효값은 제2 픽셀에 대한 유효값이 생성된 후 생성될 수 있다.
이하 도 12의 실시예를 통해 상세하게 살펴본다.
도 12의 (a)의 좌측 도면처럼, 25개의 픽셀에 대응하는 영역에 대해 객체로부터 반사된 광신호가 일정 수치 이상의 빛의 강도로 수신되었다고 가정한다. 이때, 16개의 픽셀에 대응하는 영역에는 각 픽셀의 일부 영역에 대응하여 일정 수치 이상의 빛의 강도를 가지는 광신호가 수신되고, 9개의 픽셀에 대응하는 영역에는 픽셀의 전체 영역에 대응하여 일정 수치 이상의 빛의 강도를 가지는 광신호가 수신된다.
이 경우, 대응하는 영상 신호가 생성되어 영상 처리부(150)에 입력되면, 영상 처리부는 도 12의 (a)의 우측 도면과 같은 영상을 생성할 수 있다. 여기서, 음영이 표시되지 않은 픽셀은 유효값을 가지는 픽셀을 나타내고, 음영이 표시된 픽셀은 널 값, 즉 비유효값을 가지는 픽셀을 나타낸다. 즉, 픽셀의 전체 영역에 걸쳐 일정 수치 이상의 빛의 강도를 가지는 광신호가 수신되는 경우에는 해당 픽셀은 유효한 픽셀값을 가지지 못하며, 해당 픽셀은 널 값을 가질 수 있다.
도 12의 (b)를 참조하면, 1 내지 6, 10, 11, 15, 16, 20 내지 25번 픽셀은 유효값을 가지는 픽셀이므로 본 발명의 제1 픽셀에 해당할 수 있다. 그리고 7 내지 12, 14, 17 내지 19번 픽셀은, 널 값을 가지되 각각에 인접하는 픽셀 중 적어도 하나가 제1 픽셀에 해당하는 픽셀이므로, 본 발명의 제2 픽셀에 해당할 수 있다. 그리고 13번 픽셀은 인접하는 픽셀 전체가 널 값을 가지는 픽셀이므로, 본 발명의 제3 픽셀에 해당할 수 있다. 도 12에 대한 제2 픽셀 및 제3 픽셀의 해당 여부를 정리하면 아래의 표 2와 같다.
픽셀값 인접 픽셀 인접 픽셀 중 제1 픽셀 픽셀의 유형
7번 픽셀 널(null) 1,2,3,6,8,11,12,13 1,2,3,6,11 제2 픽셀
8번 픽셀 널(null) 2,3,4,7,9,12,13,14 2,3,4 제2 픽셀
9번 픽셀 널(null) 3,4,5,8,10,13,14,15 3,4,5,10,15 제2 픽셀
12번 픽셀 널(null) 6,7,8,11,13,16,17,18 6,11,16 제2 픽셀
13번 픽셀 널(null) 7,8,9,12,14,17,18,19 없음 제3 픽셀
14번 픽셀 널(null) 8,9,10,13,15,18,19,20 10,15,20 제2 픽셀
17번 픽셀 널(null) 11,12,13,16,18,21,22,23 11,16,21,22,23 제2 픽셀
18번 픽셀 널(null) 12,13,14,17,19,22,23,24 22,23,24 제2 픽셀
19번 픽셀 널(null) 13,14,15,18,20,23,24,25 15,20,23,24,25 제2 픽셀
본 발명의 실시예에 따르면, 우선, 도 12의 (b)의 좌측 도면에서처럼, 영상 처리부(150)는 제2 픽셀인 7 내지 12, 14, 17 내지 19번 픽셀에 대한 유효값을 산출할 수 있다(1단계). 7번 픽셀에 인접한 픽셀 중 제1 픽셀은 1, 2, 3, 6, 11번 픽셀로 5개이다. 영상 처리부(150)는 5개의 제1 픽셀 중 3개의 제1 픽셀을 이용하여 제2 픽셀인 7번 픽셀의 유효값을 생성할 수 있다. 여기서, 3개의 제1 픽셀은 7번 픽셀의 일면과 인접한 2번 픽셀 및 6번 픽셀, 그리고 2번 픽셀과 6번 픽셀 사이에 배치된 1번 픽셀이다. 즉, 영상 처리부(150)는 1, 2, 6번 픽셀에 기초하여 7번 픽셀의 유효값을 생성할 수 있다.
8번 픽셀에 인접한 픽셀 중 제1 픽셀은 2, 3, 4번 픽셀로 3개이다. 앞서 살펴본 것처럼, 제2 픽셀에 인접한 제1 픽셀이 3개인 경우, 영상 처리부(150)는 3개의 제1 픽셀의 유효값에 기초하여 제2 픽셀의 유효값을 생성할 수 있다. 따라서, 영상 처리부(150)는 2, 3, 4번 픽셀에 기초하여 8번 픽셀의 유효값을 생성할 수 있다.
9번 픽셀에 인접한 픽셀 중 제1 픽셀은 3, 4, 5, 10, 15번 픽셀로 5개이다. 영상 처리부(150)는 5개의 제1 픽셀 중 3개의 제1 픽셀을 이용하여 제2 픽셀인 9번 픽셀의 유효값을 생성할 수 있다. 여기서, 3개의 제1 픽셀은 9번 픽셀의 일면과 인접한 4번 픽셀 및 10번 픽셀, 그리고 9번 픽셀과 14번 픽셀 사이에 배치된 5번 픽셀이다. 즉, 영상 처리부(150)는 4, 5, 10번 픽셀에 기초하여 9번 픽셀의 유효값을 생성할 수 있다.
12번 픽셀에 인접한 픽셀 중 제1 픽셀은 6, 11, 16번 픽셀로 3개이다. 따라서, 영상 처리부(150)는 6, 11, 16번 픽셀에 기초하여 8번 픽셀의 유효값을 생성할 수 있다.
14번 픽셀에 인접한 픽셀 중 제1 픽셀은 10, 15, 20번 픽셀로 3개이다. 따라서, 영상 처리부(150)는 10, 15, 20번 픽셀에 기초하여 14번 픽셀의 유효값을 생성할 수 있다.
17번 픽셀에 인접한 픽셀 중 제1 픽셀은 11, 16, 21, 22, 23번 픽셀로 5개이다. 영상 처리부(150)는 5개의 제1 픽셀 중 3개의 제1 픽셀을 이용하여 제2 픽셀인 17번 픽셀의 유효값을 생성할 수 있다. 여기서, 3개의 제1 픽셀은 17번 픽셀의 일면과 인접한 16번 픽셀 및 22번 픽셀, 그리고 16번 픽셀과 22번 픽셀 사이에 배치된 21번 픽셀이다. 즉, 영상 처리부(150)는 16, 21, 22번 픽셀에 기초하여 17번 픽셀의 유효값을 생성할 수 있다.
18번 픽셀에 인접한 픽셀 중 제1 픽셀은 22, 23, 24번 픽셀로 3개이다. 따라서, 영상 처리부(150)는 22, 23, 24번 픽셀에 기초하여 18번 픽셀의 유효값을 생성할 수 있다.
19번 픽셀에 인접한 픽셀 중 제1 픽셀은 15, 20, 23, 24, 25번 픽셀로 5개이다. 영상 처리부(150)는 5개의 제1 픽셀 중 3개의 제1 픽셀을 이용하여 제2 픽셀인 19번 픽셀의 유효값을 생성할 수 있다. 여기서, 3개의 제1 픽셀은 19번 픽셀의 일면과 인접한 20번 픽셀 및 24번 픽셀, 그리고 20번 픽셀과 24번 픽셀 사이에 배치된 25번 픽셀이다. 즉, 영상 처리부(150)는 20, 24, 25번 픽셀에 기초하여 19번 픽셀의 유효값을 생성할 수 있다.
제2 픽셀인 7 내지 12, 14, 17 내지 19번 픽셀에 대한 유효값이 생성되고 나면, 영상 처리부(150)는 7 내지 12, 14, 17 내지 19번 픽셀에 대한 유효값에 기초하여 제3 픽셀인 13번 픽셀에 대한 유효값을 산출할 수 있다. 이때, 영상 처리부(150)는 제2 픽셀의 유효값을 생성하는 규칙을 이용하여 제3 픽셀에 대한 유효값을 생성할 수 있다.
그리고, 도 12의 (b)의 우측 도면에서처럼, 영상 처리부(150)는 제3 픽셀의 인접 픽셀의 유효값에 기초하여 제3 픽셀의 유효값을 생성할 수 있다(2단계).
제3 픽셀의 유효값을 계산하는데 있어, 영상 처리부(150)는 제1 픽셀의 유효값을 이용하여 제2 픽셀의 유효값을 생성하는 방법을 이용할 수 있다.
도 12의 (b)에서는 제3 픽셀인 13번 픽셀의 인접 픽셀 전체가 생성된 유효값을 가지므로, 영상 처리부(150)는 7 내지 12, 14, 17 내지 19번 픽셀의 생성된 유효값에 기초하여 13번 픽셀의 유효값을 생성할 수 있다.
도 13은 본 발명의 일 실시예를 나타낸다.
도 13에서, 제1 픽셀은 1 내지 8, 14, 15, 21, 22, 28, 29, 35, 36, 42 내지 29 번 픽셀이다. 제2 픽셀은 9 내지 13, 16, 20, 23, 27, 30, 34, 37 내지 41번 픽셀이다. 제3 픽셀은 17 내지 19, 24, 26, 31 내지 33번 픽셀이다.
첫번째 단계(도 13의 (a))로, 영상 처리부(150)는 제2 픽셀인 9 내지 13, 16, 20, 23, 27, 30, 34, 37 내지 41번 픽셀에 대한 유효값을 생성할 수 있다. 영상 처리부(150)는 아래의 표 3에 나타난 것처럼 제2 픽셀에 인접한 픽셀의 유효값을 이용하여 제2 픽셀의 유효값을 생성할 수 있다.
제2 픽셀의 번호 인접 픽셀 중 제1 픽셀 유효값 생성에 이용되는 픽셀 제2 픽셀의 번호 인접 픽셀 중 제1 픽셀 유효값 생성에 이용되는 픽셀
9번 픽셀 1,2,3,8,15 1,2,8 27번 픽셀 21,28,35 21,28,35
10번 픽셀 2,3,4 2,3,4 30번 픽셀 22,29,36 22,29,36
11번 픽셀 3,4,5 3,4,5 34번 픽셀 28,35,42 28,35,42
12번 픽셀 4,5,6 4,5,6 37번 픽셀 29,36,43,44,45 36,43,44
13번 픽셀 5,6,7,14,21 6,7,14 38번 픽셀 44,45,46 44,45,46
16번 픽셀 8,15,22 8,15,22 39번 픽셀 45,46,47 45,46,47
20번 픽셀 14,21,28 14,21,28 40번 픽셀 46,47,48 46,47,48
23번 픽셀 15,22,29 15,22,29 41번 픽셀 35,42,47,48,49 42,48,49
두번째 단계(도 13의 (b))로, 영상 처리부(150)는 제3 픽셀인 17 내지 19, 24, 26, 31 내지 33번 픽셀의 유효값을 생성할 수 있다. 영상 처리부(150)는 아래의 표 4에 나타난 것처럼 제3 픽셀에 인접한 픽셀의 유효값을 이용하여 제2 픽셀의 유효값을 생성할 수 있다. 이때 인접한 픽셀의 유효값은 영상 처리부(150)에 의해 생성된 유효값이다.
제3 픽셀의 번호 인접 픽셀 중 유효값을 가지는 픽셀 유효값 생성에 이용되는 픽셀
17번 픽셀 9,10,11,16,23 9,10,16
18번 픽셀 10,11,12 10,11,12
19번 픽셀 11,12,13,20,27 12,13,20
24번 픽셀 16,23,30 16,23,30
26번 픽셀 20,27,34 20,27,34
31번 픽셀 23,30,37,38,39 30,37,38
32번 픽셀 38,39,40 38,39,40
33번 픽셀 27,34,39,40,41 34,40,41
세번째 단계(도 13의 (c))로, 영상 처리부(150)는 제3 픽셀인 25번 픽셀의 유효값을 생성할 수 있다. 25번 픽셀의 인접 픽셀은 모두 제3 픽셀로서, 두번째 단계에서 생성된 유효값이 없다. 따라서, 25번 픽셀은 두번째 단계에서 인접 픽셀들의 유효값이 생성된 후, 세번째 단계에서 생성될 수 있다. 세번째 단계에서, 25번 픽셀의 인접 픽셀은 모두 유효값이 생성된 상태이므로, 영상 처리부(150)는 17 내지 19, 24, 26, 31 내지 33번 픽셀의 생성된 유효값에 기초하여 25번 픽셀의 유효값을 생성할 수 있다. 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 객체에 광신호를 출력하는 발광부;
    상기 발광부로부터 출력되어 상기 객체에 반사된 광신호를 집광하는 수광부;
    상기 수광부에 의해 집광된 광신호를 복수의 픽셀을 통해 수신하는 센서부;및
    상기 광신호에 의해 유효값을 가지는 제1 픽셀 및 픽셀이 포화된 값인 비유효값을 가지는 제2 픽셀을 통해 수신된 정보를 처리하는 영상 처리부를 포함하고,
    상기 제2 픽셀은,
    인접한 복수의 픽셀 중 적어도 하나가 상기 제1 픽셀을 포함하고,
    상기 영상 처리부는,
    상기 제2 픽셀에 인접한 복수의 픽셀 중 상기 제1 픽셀의 유효값에 기초하여 상기 제2 픽셀의 유효값을 생성하는 카메라 모듈.
  2. 제1항에 있어서,
    상기 영상 처리부는,
    상기 제2 픽셀에 인접한 모든 픽셀이 제1 픽셀인 경우, 상기 제2 픽셀에 인접한 모든 제1 픽셀의 유효값에 기초하여 상기 제2 픽셀의 유효값을 생성하는 카메라 모듈.
  3. 제1항에 있어서,
    상기 영상 처리부는,
    상기 제2 픽셀에 인접한 제1 픽셀이 5개인 경우, 상기 5개의 제1 픽셀 중 3개의 제1 픽셀의 유효값에 기초하여 상기 제2 픽셀의 유효값을 생성하는 카메라 모듈.
  4. 제3항에 있어서,
    상기 5개의 제1 픽셀 중 3개의 제1 픽셀은,
    상기 제2 픽셀의 일면과 인접한 2개의 제1 픽셀 및 상기 일면과 인접한 2개의 제1 픽셀 사이에 배치된 1개의 제1 픽셀을 포함하는 카메라 모듈.
  5. 제3항에 있어서,
    상기 영상 처리부는,
    상기 제2 픽셀에 인접한 제1 픽셀이 3개인 경우, 상기 3개의 제1 픽셀의 유효값에 기초하여 상기 제2 픽셀의 유효값을 생성하는 카메라 모듈.
  6. 제1항에 있어서,
    상기 영상 처리부는,
    상기 제2 픽셀에 인접한 상기 제1 픽셀의 유효값 중 적어도 하나를 인터폴레이션(interpolation)하거나 평균 연산(average)하거나 가우시안 프로파일(Gaussian profile)하여 상기 제2 픽셀의 유효값을 생성하는 카메라 모듈.
  7. 제1항에 있어서,
    상기 영상은,
    상기 비유효값을 가지되, 인접한 전체 픽셀이 비유효값을 가지는 제3 픽셀을 더 포함하는 카메라 모듈.
  8. 제7항에 있어서,
    상기 영상 처리부는,
    상기 제3 픽셀에 인접한 픽셀 중 적어도 하나의 픽셀에 대한 유효값이 생성되면, 생성된 상기 제3 픽셀에 인접한 픽셀의 유효값에 기초하여 상기 제3 픽셀의 유효값을 생성하는 카메라 모듈.
  9. 제8항에 있어서,
    상기 영상 처리부는,
    상기 제3 픽셀에 인접한 모든 제2 픽셀의 유효값에 기초하여 상기 제3 픽셀의 유효값을 생성하는 카메라 모듈.
  10. 제9항에 있어서,
    상기 영상 처리부는,
    상기 제3 픽셀에 인접한 모든 상기 제2 픽셀의 유효값에 인터폴레이션(interpolation) 기법, 평균 연산(average) 기법 및 가우시안 프로파일(Gaussian profile) 기법 중 적어도 하나를 적용하여 상기 제3 픽셀의 유효값을 생성하는 카메라 모듈.
PCT/KR2020/006077 2019-05-08 2020-05-08 카메라 모듈 WO2020226447A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/609,143 US20220224850A1 (en) 2019-05-08 2020-05-08 Camera module

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0053705 2019-05-08
KR1020190053705A KR20200129388A (ko) 2019-05-08 2019-05-08 카메라 모듈

Publications (1)

Publication Number Publication Date
WO2020226447A1 true WO2020226447A1 (ko) 2020-11-12

Family

ID=73050793

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/006077 WO2020226447A1 (ko) 2019-05-08 2020-05-08 카메라 모듈

Country Status (3)

Country Link
US (1) US20220224850A1 (ko)
KR (1) KR20200129388A (ko)
WO (1) WO2020226447A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008032427A (ja) * 2006-07-26 2008-02-14 Fujifilm Corp 距離画像作成方法及び距離画像センサ、及び撮影装置
US20110305388A1 (en) * 2009-11-18 2011-12-15 Thomas Wedi Image processing method, and image processing device
KR20180030718A (ko) * 2015-12-16 2018-03-23 구글 엘엘씨 결함있는 이미지 센서 요소들의 교정
KR101866107B1 (ko) * 2016-12-30 2018-06-08 동의대학교 산학협력단 평면 모델링을 통한 깊이 정보 보정 방법과 보정 장치 및 부호화 장치
JP2019049480A (ja) * 2017-09-11 2019-03-28 株式会社日立エルジーデータストレージ 距離測定装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8472712B2 (en) * 2009-10-20 2013-06-25 Apple Inc. System and method for applying lens shading correction during image processing
WO2013154105A1 (ja) * 2012-04-10 2013-10-17 オリンパスメディカルシステムズ株式会社 撮像装置
CN107710015B (zh) * 2015-07-03 2021-08-24 新唐科技日本株式会社 距离测量装置以及距离图像合成方法
US20180329064A1 (en) * 2017-05-09 2018-11-15 Stmicroelectronics (Grenoble 2) Sas Method and apparatus for mapping column illumination to column detection in a time of flight (tof) system
JP7139168B2 (ja) * 2018-07-04 2022-09-20 株式会社日立エルジーデータストレージ 距離測定装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008032427A (ja) * 2006-07-26 2008-02-14 Fujifilm Corp 距離画像作成方法及び距離画像センサ、及び撮影装置
US20110305388A1 (en) * 2009-11-18 2011-12-15 Thomas Wedi Image processing method, and image processing device
KR20180030718A (ko) * 2015-12-16 2018-03-23 구글 엘엘씨 결함있는 이미지 센서 요소들의 교정
KR101866107B1 (ko) * 2016-12-30 2018-06-08 동의대학교 산학협력단 평면 모델링을 통한 깊이 정보 보정 방법과 보정 장치 및 부호화 장치
JP2019049480A (ja) * 2017-09-11 2019-03-28 株式会社日立エルジーデータストレージ 距離測定装置

Also Published As

Publication number Publication date
US20220224850A1 (en) 2022-07-14
KR20200129388A (ko) 2020-11-18

Similar Documents

Publication Publication Date Title
WO2019235859A1 (ko) 카메라 모듈 및 그의 깊이 정보 추출 방법
WO2019039714A1 (en) CAMERA ASSEMBLY AND ELECTRONIC DEVICE COMPRISING THE SAME
CN108200362B (zh) 基于空间对比度的仿生视网膜摄像电路及子电路
WO2020141827A1 (ko) 광학계 및 이를 포함하는 카메라 모듈
WO2020145587A1 (ko) 카메라 모듈
WO2020153703A1 (ko) 카메라 장치 및 그의 오토포커싱 방법
WO2019164312A1 (ko) 카메라 모듈 및 그의 초해상도 영상 처리 방법
WO2022124642A1 (ko) 광학식 줌을 지원하는 카메라 모듈 및 이를 포함하는 전자 장치
EP3827328A1 (en) Electronic device and gesture recognition method thereof
WO2020242177A1 (ko) 카메라 모듈
WO2020145588A1 (ko) 카메라 모듈
WO2020226447A1 (ko) 카메라 모듈
WO2020067745A1 (ko) 카메라 장치
WO2022149654A1 (ko) 흔들림 보정을 수행하는 전자 장치 및 그 동작 방법
WO2021059735A1 (ja) 画像処理装置、電子機器、画像処理方法及びプログラム
WO2020222477A1 (ko) 카메라 모듈
WO2019245300A1 (ko) 이미지 센서 및 이를 이용하는 카메라 모듈
KR20210034301A (ko) 카메라 모듈
WO2020218898A1 (ko) 카메라 모듈
WO2023277298A1 (ko) 이미지 안정화 방법 및 이를 위한 전자 장치
WO2022092706A1 (ko) 복수의 카메라를 이용한 사진 촬영 방법 및 그 장치
WO2022108365A1 (ko) 카메라 모듈 및 카메라 모듈을 포함하는 전자 장치
WO2020231222A1 (ko) 카메라 모듈
WO2021040476A1 (ko) Tof 카메라
WO2020045932A1 (ko) 영상 처리 장치 및 영상 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20801472

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20801472

Country of ref document: EP

Kind code of ref document: A1