KR20200032025A - 카메라 모듈, 프로세싱 방법 및 장치, 전자 기기, 기록 매체 - Google Patents

카메라 모듈, 프로세싱 방법 및 장치, 전자 기기, 기록 매체 Download PDF

Info

Publication number
KR20200032025A
KR20200032025A KR1020197010288A KR20197010288A KR20200032025A KR 20200032025 A KR20200032025 A KR 20200032025A KR 1020197010288 A KR1020197010288 A KR 1020197010288A KR 20197010288 A KR20197010288 A KR 20197010288A KR 20200032025 A KR20200032025 A KR 20200032025A
Authority
KR
South Korea
Prior art keywords
detection signal
photosensitive pixel
camera module
image
photosensitive
Prior art date
Application number
KR1020197010288A
Other languages
English (en)
Other versions
KR102285442B1 (ko
Inventor
쿤 마
Original Assignee
베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 filed Critical 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드
Publication of KR20200032025A publication Critical patent/KR20200032025A/ko
Application granted granted Critical
Publication of KR102285442B1 publication Critical patent/KR102285442B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0037—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration with diffracting elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H04N5/22541—
    • H04N5/335—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computing Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

본 발명은 카메라 모듈, 프로세싱 방법 및 장치, 전자 기기, 기록 매체에 관한 것이며, 해당 카메라 모듈은, 이미지 센서; 상기 이미지 센서의 일부 감광 화소를 커버하고, 커버된 감광 화소로 입사되는 입사 광선을 위상이 다른 회절 광선으로 분산시켜 하나 또는 복수의 감광 화소에 입사시키도록 구성되는 회절 구조; 상기 회절 광선이 수신되지 않은 감광 화소에 대응하는 제 1 감지 신호를 획득하여 2D 이미지를 생성하고, 상기 회절 광선에 대응하는 제 2 감지 신호를 획득하여 3D 정보를 생성하도록 구성되는 신호 프로세싱 구조; 를 구비한다.

Description

카메라 모듈, 프로세싱 방법 및 장치, 전자 기기, 기록 매체
본　출원은 출원번호가 201811052620.4이고, 출원일이 2018년9월10일자인 중국특허출원을 기초로 우선권을 주장하고, 해당 중국특허출원의 전체 내용은 본원 발명에 원용된다.
본 발명은 단말기 기술 분야에 관한 것으로, 특히 카메라 모듈, 프로세싱 방법 및 장치, 전자 기기, 기록 매체에 관한 것이다.
전자 기기에 카메라 모듈을 조립함으로써 2D 이미지의 수집 및 생성을 실현할 수 있다. 그러나 3D 안면 인식 기술, 증강 현실 기술 등의 발전과 함께 전자 기기에 의한 3D 정보의 수집이 요구되고 있다.
종래 기술에서는 전자 기기에 3D 정보 수집 유닛을 추가함으로써 구조형 광 또는 TOF 등의 기술에 따른 3D 정보 수집 기능을 실현할 수 있으나, 전자 기기에 별도의 기기 공간이 필요된다.
본 발명은 관련 기술에서의 부족점을 해결하기 위해 카메라 모듈, 프로세싱 방법 및 장치, 전자 기기, 기록 매체를 제공한다.
본 발명의 제 1 양태에 따르면,
이미지 센서;
상기 이미지 센서의 일부 감광 화소를 커버하고, 커버된 감광 화소로 입사되는 입사 광선을 위상이 다른 회절 광선으로 분산시켜 하나 또는 복수의 감광 화소에 입사시키도록 구성되는 회절 구조;
상기 회절 광선이 수신되지 않은 감광 화소에 대응하는 제 1 감지 신호를 획득하여 2D 이미지를 생성하고, 상기 회절 광선에 대응하는 제 2 감지 신호를 획득하여 3D 정보를 생성하도록 구성되는 신호 프로세싱 구조; 를 구비하는
카메라 모듈을 제공한다.
선택적으로, 상기 회절 구조는 복수의 회절 영역을 포함하고, 각각의 회절 영역은 하나 또는 복수의 감광 화소를 커버한다.
선택적으로, 동일한 감광 화소가 하나의 회절 영역에서 형성한 상기 회절 광선 만을 수신하도록 상기 회절 영역 사이는 서로 분리된다.
선택적으로, 상기 이미지 센서의 감광 화소가 감광 화소 배열을 구성하며, 복수의 회절 영역은 상기 감광 화소 배열 상에 균일하게 분포된다.
선택적으로, 상기 이미지 센서의 감광 화소가 감광 화소 배열을 구성하며, 상기 감광 화소 배열의 중앙 영역에서의 회절 영역의 분포 밀도는 가장자리 영역에서의 분포 밀도보다 크다.
선택적으로, 상기 회절 구조는 회절 렌즈 또는 회절 필름을 구비한다.
선택적으로, 상기 카메라 모듈은 상기 이미지 센서의 감광 화소를 커버하는 컬러 필터를 더 구비하며,
여기서, 상기 회절 구조는 상기 감광 화소와 상기 컬러 필터 사이에 위치하거나, 또는 상기 회절 구조는 상기 컬러 필터의 상기 감광 화소에서 떨어진 측에 위치한다.
본 발명의 제 2 양태에 따르면, 상기 실시예의 어느 하나에 기재된 카메라 모듈을 구비하는 전자 기기를 제공한다.
선택적으로, 상기 전자 기기의 프리 카메라 및/또는 포스트 카메라는 상기 카메라 모듈에 의해 구성된다.
선택적으로, 상기 전자 기기는,
상기 카메라 모듈에서 출력한 제 1 감지 신호, 제 2 감지 신호를 각각 획득하여 상기 제 1 감지 신호에 따라 2D 이미지를 생성하고 상기 제 2 감지 신호에 따라 3D 정보를 생성하기 위한 프로세서를 더 구비한다.
본 발명의 제 3 양태에 따르면, 상기 실시예의 어느 하나에 기재된 전자 기기에 적용되는 프로세싱 방법을 제공하며, 상기 방법은,
카메라 모듈에서 출력한 제 1 감지 신호, 제 2 감지 신호를 획득하는 단계;
상기 제 1 감지 신호에 따라 2D 이미지를 생성하는 단계;
상기 제 2 감지 신호에 따라 3D 정보를 생성하는 단계; 를 포함한다.
선택적으로, 상기 제 1 감지 신호에 따라 2D 이미지를 생성하는 단계는,
상기 제 1 감지 신호 및 상기 제 2 감지 신호에 대해 프로세싱을 진행하여 상기 2D 이미지를 생성하는 단계;
또는, 상기 제 1 감지 신호에 따라 상기 회절 광선을 수신한 감광 화소에 대해 신호 보상을 진행하고, 얻어진 보상 후 신호와 상기 제 1 감지 신호에 대해 프로세싱을 진행하여 상기 2D 이미지를 생성하는 단계; 를 포함한다.
선택적으로, 임의의 감광 화소에 대응하는 위치에서의 3D 정보는 상기 임의의 감광 화소 근방의 감광 화소 및/또는 상기 임의의 감광 화소에서 떨어진 감광 화소에 의해 감지된 제 2 감지 신호에 의해 생성된다.
본 발명의 제 4 양태에 따르면, 상기 실시예의 어느 하나에 기재된 전자 기기에 적용되는 프로세싱 장치를 제공하며, 상기 장치는,
카메라 모듈에서 출력한 제 1 감지 신호, 제 2 감지 신호를 획득하는 획득 유닛;
상기 제 1 감지 신호에 따라 2D 이미지를 생성하는 이미지 생성 유닛;
상기 제 2 감지 신호에 따라 3D 정보를 생성하는 정보 생성 유닛; 을 구비한다.
선택적으로, 상기 이미지 생성 유닛은 프로세싱 서브 유닛 또는 보상 서브 유닛을 구비하며,
상기 프로세싱 서브 유닛은 상기 제 1 감지 신호 및 상기 제 2 감지 신호에 대해 프로세싱을 진행하여 상기 2D 이미지를 생성하도록 구성되고,
상기 보상 서브 유닛은 상기 제 1 감지 신호에 따라 상기 회절 광선을 수신한 감광 화소에 대해 신호 보상을 진행하고, 얻어진 보상 후 신호와 상기 제 1 감지 신호에 대해 프로세싱을 진행하여 상기 2D 이미지를 생성하도록 구성된다.
선택적으로, 임의의 감광 화소에 대응하는 위치에서의 3D 정보는 상기 임의의 감광 화소 근방의 감광 화소 및/또는 상기 임의의 감광 화소에서 떨어진 감광 화소에 의해 감지된 제 2 감지 신호에 의해 생성된다.
본 발명의 제 5 양태에 따르면,
프로세서와,
프로세서에 의해 실행 가능한 명령어를 저장하는 메모리를 구비하고,
여기서, 상기 프로세서는,
상기 실행 가능한 명령어를 실행함으로써 상기 실시예의 어느 하나에 기재된 방법을 실현하는
전자 기기를 제공한다.
본 발명의 제 6 양태에 따르면, 컴퓨터 명령어가 저장된 컴퓨터 판독 가능한 기록 매체를 제공하며, 해당 명령어가 프로세서에 의해 실행되면 상기 실시예의 어느 하나에 기재된 방법의 단계가 실현된다.
상기 일반적인 서술 및 하기 세부적인 서술은 단지 예시적이고 해석적인것이며, 본 발명을 한정하려는 것이 아님이 이해되어야 한다.
하기의 도면은 명세서에 병합되어 본 명세서의 일부를 구성하고 본 발명에 부합하는 실시예를 표시하며 명세서와 함께 본 발명의 원리를 해석한다.
도 1은 일 예시적인 실시예에 따른 카메라 모듈을 나타내는 구조 모식도이다.
도 2는 일 예시적인 실시예에 따른 카메라 모듈을 나타내는 단면도이다.
도 3은 일 예시적인 실시예에 따른 다른 카메라 모듈을 나타내는 단면도이다.
도 4는 일 예시적인 실시예에 따른 회절 영역의 균일 배치를 나타내는 모식도이다.
도 5는 일 예시적인 실시예에 따른 다른 회절 영역의 균일 배치를 나타내는 모식도이다.
도 6은 일 예시적인 실시예에 따른 회절 영역의 랜덤 배치를 나타내는 모식도이다.
도 7은 일 예시적인 실시예에 따른 회절 영역의 규칙적 배치를 나타내는 모식도이다.
도 8은 일 예시적인 실시예에 따른 프로세싱 방법을 나타내는 흐름도이다.
도 9는 일 예시적인 실시예에 따른 프로세싱 장치를 나타내는 블록도이다.
도 10은 일 예시적인 실시예에 따른 다른 프로세싱 장치를 나타내는 블록도이다.
도 11은 일 예시적인 실시예에 따른 프로세싱 장치를 나타내는 구조 모식도이다.
여기서, 예시적인 실시예에 대하여 상세하게 설명하고, 그 사례를 도면에 표시한다. 하기의 서술이 도면에 관련될 때, 달리 명시하지 않는 경우, 서로 다른 도면에서의 동일한 부호는 동일한 구성 요소 또는 유사한 구성 요소를 나타낸다. 하기의 예시적인 실시예에서 서술한 실시방식은 본 발명에 부합되는 모든 실시 방식을 대표하는 것이 아니며, 실시방식들은 다만 첨부된 특허청구의 범위에 기재한 본 발명의 일부측면에 부합되는 장치 및 방법의 예이다.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위한 것이지, 본 발명을 한정하려는 의도가 아니다. 본 명세서 및 첨부된 특허청구의 범위에서 사용되는 단수 표현인 "일종", "상기" 및 "해당"은 아래위 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현도 포함하는 것으로 이해되어야 한다. 또한 본 명세서에서 사용되는 “및/또는”라는 용어에 대하여 하나 또는 복수와 관련되어 열거된 항목들의 임의의 또는 모든 가능한 조합들을 포함하는 것으로 이해되어야 한다.
그리고 본 명세서에서 제 1, 2, 3 등과 같은 용어를 사용하여 각종 정보를 서술하고 있지만 이러한 정보가 전술한 용어에 제한된다고 이해해서는 안된다. 다만 이러한 용어들은 동일한 타입의 정보들을 서로 구분하기 위하여 사용된다. 예를 들어, 본 발명의 권리 범위로부터 벗어나지 않은 정황하에서 제 1 정보는 제 2 정보로 명명 될 수 있고, 유사하게 제 2 정보는 제 1 정보로 명명될 수도 있다. 예를 들어, 언어 환경에 따라 사용되는 “만약”이라는 단어는 “……때” 또는 “……할때” 또는 “결정에 호응하여”로 이해될 수 있다.
도 1은 일 예시적인 실시예에 따른 카메라 모듈을 나타내는 구조 모식도이다. 도 1에 도시한 바와 같이, 해당 카메라 모듈은 이미지 센서(1) (sensor), 회절 구조(2) 및 신호 프로세싱 구조(3)를 구비한다. 여기서, 이미지 센서(1)는 복수의 감광 화소를 구비하고, 이러한 감광 화소가 도 1에 도시한 R(red, 적), G(green, 녹), B(blue, 청) 화소 배열을 형성하여 이미지 센서(1)로 입사되는 광선을 감지하도록 구성된다. 회절 구조(2)는 이미지 센서(1) 상의 일부 감광 화소를 커버할 수 있으며, 예를 들어 도 1에 따른 화소 배열이 64 개의 감광 화소를 포함하고, 여기서 회절 구조(2)가 16 개의 감광 화소를 커버하며, 해당 회절 구조(2)는 커버된 감광 화소로 입사되는 입사 광선을 위상이 다른 회절 광선으로 분산시켜 하나 또는 복수의 감광 화소에 입사시키도록 구성될 수 있고 (즉 하나의 감광 화소가 하나 또는 복수의 위상의 회절 광선을 수신할 수 있음), 신호 프로세싱 구조(3)는 상기 회절 광선이 수신되지 않은 감광 화소에 대응하는 제 1 감지 신호를 획득하여 2D 이미지를 생성하도록 구성할 수 있으며, 해당 신호 프로세싱 구조(3)는 상기 회절 광선에 대응하는 제 2 감지 신호를 획득하여 3D 정보를 생성하도록 구성할 수 있다.
따라서, 본 발명에 따른 카메라 모듈을 전자 기기에 조립함으로써, 전자 기기에 단독의 3D 정보 수집 유닛을 별도로 장착할 필요가 없이 2D 이미지 및 3D 정보의 수집 기능을 구비할 수 있으며, 전자 기기에 대한 별도의 공간 점용을 피할 수 있다. 여기서, 회절 구조(2)는 이미지 센서(1)의 일부 감광 화소 만을 커버하므로, 3D 정보를 얻는 것을 확보하는 동시에 2D 이미지의 생성에 대한 영향을 최대한 줄일 수 있으며, 2D 이미지의 품질이 저하되는 것을 피할 수 있다.
일 실시예에서, 회절 구조(2)는 회절 기능을 실현 가능한 임의의 재료를 채용하여 제조될 수 있으며, 본 발명은 이에 대해 한정하지 않는다. 예를 들어, 해당 회절 구조(2)는 회절 렌즈일 수 있으며, 또한 예를 들어, 해당 회절 구조(2)는 회절 필름 등일 수 있다.
일 실시예에서, 도 1에 도시된 실시예에 따른 이미지 센서(1)는 베이어 배열을 채용하여 RBG감광 화소에 대해 배열을 진행하고 있으나, 본 발명에서는 또한 관련 기술에서의 RGBW화소 배열, X-Trans화소 배열 등과 같은 기타 임의의 타입의 화소 배열 방식에도 적용될 수 있으며, 본 발명은 이에 대해 한정하지 않는다.
본 발명의 기술 방안에서는 회절 구조(2)에서 이미지 센서(1)로 입사되는 광선(회절 구조(2)에 의해 커버된 감광 화소로 입사되는 광선)에 대해 회절을 진행할 수 있도록 확보할 수만 있으면 되며, 즉 회절 구조(2)와 카메라 모듈의 기타 구조 사이의 위치 관계에 상관없이 회절 구조(2)는 이미지 센서(1)의 전방에 위치해야 한다. 예를 들어, 도 2는 일 예시적인 실시예에 따른 카메라 모듈을 나타내는 단면도이며, 도 2에 도시한 바와 같이, 카메라 모듈은 이미지 센서(1), 회절 구조(2) 외에 컬러 필터(4) (Color Filter)를 더 구비할 수 있으며, 해당 회절 구조(2)는 컬러 필터(4)의 이미지 센서(1) (또는 감광 화소)에서 떨어진 측에 위치할 수 있으며, 즉 회절 구조(2), 컬러 필터(4)와 이미지 센서(1)는 순차적으로 중첩되어 마련된다. 또한 예를 들어, 도 3은 일 예시적인 실시예에 따른 다른 카메라 모듈을 나타내는 단면도이며, 도 3에 도시한 바와 같이, 회절 구조(2)는 이미지 센서(1) (또는 감광 화소)와 컬러 필터(4) 사이에 위치할 수 있다.
본 발명의 기술 방안에 있어서 회절 구조(2)는 복수의 회절 영역(20)을 포함할 수 있으며, 도 1에 도시한 실시예에 따르면 4 개의 회절 영역(20)을 포함하고 있으나, 기타 실시예에서는 부동한 수량의 하나 또는 복수의 회절 영역(20)을 포함할 수 있고, 본 발명은 이에 대해 한정하지 않는다. 여기서, 각 회절 영역(20)은 도 1에 도시한 원형 또는 기타의 타원형, 직사각형 등과 같은 임의의 형상을 채용할 수 있으며, 본 발명은 이에 대해 한정하지 않는다.
도 2-3에 도시한 실시예와 결합하여, 회절 구조(2)가 포함하는 복수의 회절 영역(20)은 흔히 동일한 층에 위치하고, 각 회절 영역(20)과 이미지 센서(1) 사이의 간격은 동일하며, 이러한 회절 영역(20) 사이는 서로 독립되어 있거나 또는 투명 재료에 의해 일체로 연결될 수 있으며, 본 발명은 이에 대해 한정하지 않는다.
도 4는 일 예시적인 실시예에 따른 회절 영역의 균일한 배치를 나타내는 모식도이다. 도 4에 도시한 바와 같이, 회절 구조(2)는 4 개의 회절 영역(20)을 포함할 수 있으며, 이러한 회절 영역(20)은 이미지 센서(1)에 의해 형성된 화소 배열 상에 균일하게 분포될 수 있으며, 이로써 회절 구조(2)가 2D 이미지에 대한 영향도 각각의 위치에 균일하게 분담되어, 일부에서 2D 이미지에 대해 비교적 큰 영향을 가져다주는 것을 피할 수 있다. 마찬가지로, 도 5는 일 예시적인 실시예에 따른 회절 영역의 다른 균일한 배치를 나타내는 모식도이며, 도 5에 도시한 바와 같이, 회절 구조(2)는 5 개의 회절 영역(20)을 포함할 수 있으며, 이러한 회절 영역(20)은 이미지 센서(1)에 의해 형성된 화소 배열 상에 균일하게 분포될 수 있다.
여기서, 회절 영역(20)의 수량이 다른 외에 도 4 및 도 5에 도시된 실시예에 따른 각 회절 영역(20)에 의해 커버되는 감광 화소의 수량도 다르며, 예를 들어 도 4에 따른 각 회절 영역(20)은 4 개의 감광 영역을 커버할 수 있으며, 도 5에 따른 각 회절 영역(20)은 9 개 또는 보다 많은 감광 영역을 커버할 수 있다. 물론, 본 발명의 기술 방안에 따른 각 회절 영역(20)은 하나 또는 복수의 감광 화소를 커버할 수 있으며, 본 발명에서는 커버되는 감광 화소의 수량을 제한하지 않는다.
도 6은 일 예시적인 실시예에 따른 회절 영역의 랜덤 배치를 나타내는 모식도이다. 도 6에 도시한 바와 같이, 회절 구조(2)가 복수의 회절 영역(20)을 포함하는 경우, 이러한 회절 영역(20)은 해당 회절 기능이 실현되어 2D 이미지 및 3D 정보가 생성될 수 있는 한 이미지 센서(1)에 의해 형성된 화소 배열 상에 랜덤으로 분포될 수 있다.
도 7은 일 예시적인 실시예에 따른 회절 영역의 규칙적 배치를 나타내는 모식도이다. 이미지 센서(1) 상의 감광 화소에 의해 구성된 감광 화소 배열에서, 해당 감광 화소 배열의 중앙 영역에서의 회절 구조(2)가 포함하는 복수의 회절 영역(20)의 분포 밀도는 가장자리 영역에서의 분포 밀도보다 클 수 있으며, 예를 들어 도 7에 도시한 실시예에서, 중앙 영역에 7 개의 회절 영역(20)이 분포되고 가장자리 영역에 4 개의 회절 영역(20) 만 분포될 수 있으며, 이를 통해 보다 중요한 중앙 영역에서 보다 많은 3D 정보를 얻을 수 있고, 3D 안면 인식 등과 같은 장면에 있어서 인식 정확도를 향상시키는 데 도움이 된다.
또한, 회절 구조(2)가 복수의 회절 영역(20)을 포함하는 경우, 동일한 감광 화소가 하나의 회절 영역(20)에서 형성한 회절 광선 만을 수신하도록 이러한 회절 영역(20) 사이는 서로 분리되어야 하며, 이를 통해 복수의 회절 영역(20)에서 형성한 회절 광선이 동일한 감광 화소에 입사되는 것을 피하고, 최종적으로 얻어지는 3D 정보가 충분한 정확도를 가지도록 확보한다.
본 발명의 기술 방안에 있어서, 상기 임의의 실시예에 따른 카메라 모듈은 어느 하나의 전자 기기에 적용될 수 있으며, 예를 들어 해당 카메라 모듈은 해당 전자 기기의 프리 카메라 또는 포스트 카메라로, 또는 동시에 프리 카메라 및 포스트 카메라로 사용될 수 있으며(동일한 카메라가 프리 카메라로도 포스트 카메라로도 사용될 수 있으며, 또는, 복수의 카메라 중 일부가 프리 카메라로 사용되고 나머지가 포스트 카메라로 사용됨), 이로써 2D 이미지를 수집하도록 구성될 수도 있고 3D 정보를 생성하도록 구성될 수도 있다. 여기서, 해당 전자 기기는 휴대폰, 태블릿 장치, 노트북 컴퓨터, 웨어러블 기기 등일 수 있으며, 본 발명은 이에 대해 한정하지 않는다.
일 실시예에 있어서, 전자 기기의 프로세서는 상기 카메라 모듈에서 출력한 제 1 감지 신호, 제 2 감지 신호를 각각 획득하여 상기 제 1 감지 신호에 따라 2D 이미지를 생성하고 상기 제 2 감지 신호에 따라 3D 정보를 생성할 수 있다. 프로세서의 프로세싱 로직에 관해서는, 하기에서 도 8을 결합하여 상세하게 설명하도록 한다.
도 8은 일 예시적인 실시예에 따른 프로세싱 방법을 나타내는 흐름도이고, 도 8에 도시한 바와 같이, 해당 방법은 상술한 전자 기기에 적용되며, 하기의 단계를 포함할 수 있다.
802단계에 있어서, 카메라 모듈에서 출력한 제 1 감지 신호, 제 2 감지 신호를 획득한다.
일 실시예에서, 카메라 모듈은 제 1 감지 신호 및 제 2 감지 신호에 대한 출력 능력을 동시에 구비하나, 카메라 모듈은 동일한 시각에 제 1 감지 신호 또는 제 2 감지 신호 만을 출력하거나 또는 동일한 시각에 제 1 감지 신호 및 제 2 감지 신호를 동시에 출력할 수 있으며, 이는 전자 기기의 프로세서의 수요에 의해 결정된다.
일 실시예에서, 카메라 모듈은 제 1 감지 신호 및 제 2 감지 신호를 동시에 출력할 수 있으나, 프로세서는 실제 수요에 따라, 제 1 감지 신호에 따라 2D 이미지를 생성하거나, 또는 제 2 감지 신호에 따라 3D 정보를 생성하거나, 또는 2D 이미지 및 3D 정보를 동시에 생성하는 것을 선택할 수 있다.
804A단계에 있어서, 상기 제 1 감지 신호에 따라 2D 이미지를 생성한다.
일 실시예에서, 프로세서는 직접 상기 제 1 감지 신호 및 상기 제 2 감지 신호에 대해 프로세싱을 진행하여 상기 2D 이미지를 생성할 수 있다.
일 실시예에서, 제 2 감지 신호에 3D 정보가 포함되어 2D 이미지에 대해 불리한 영향을 주는 경우가 있으며, 따라서 제 1 감지 신호에 의해 회절 광선을 수신한 감광 화소에 대해 신호 보상을 진행하고, 얻어진 보상 후 신호와 상기 제 1 감지 신호에 대해 프로세싱을 진행하여 상기 2D 이미지를 생성할 수 있다. 여기서, 상술한 보상 프로세스는 제 1 감지 신호에 따라 제 2 감지 신호에 대해 보정을 진행할 수 있으나, 또한 제 2 감지 신호를 완전히 포기하여 제 1 감지 신호 만에 따라 회절 광선을 수신한 감광 화소에 대해 보간 복원을 진행할 수 있다.
804B단계에서, 상기 제 2 감지 신호에 따라 3D 정보를 생성한다.
일 실시예에서, 임의의 감광 화소에 대응하는 위치에서의 3D 정보는 상기 임의의 감광 화소 근방의 감광 화소 및/또는 상기 임의의 감광 화소에서 떨어진 감광 화소에 의해 감지된 제 2 감지 신호에 의해 생성된다. 특히 어느 하나의 위치에서의 3D 정보를 생성할 때, 거리가 비교적 먼 감광 화소에 의해 감지된 제 2 감지 신호를 참조하면, 3D 정보 획득 화소 사이의 기준선(baseline)을 향상하는 데 도움이 되며, 생성되는 3D 정보의 정확도를 향상시킬 수 있다.
일 실시예에서, 관련 기술에서의 3D 정보 생성 방안을 참조하여, 프로세서에서 회절 광선에 대응하는 제 2 감지 신호에 따라 3D 정보를 생성하도록 할 수 있으며, 본 발명에서는 채용하는 3D 정보 생성 방안의 내용을 제한하지 않는다. 예를 들어, 3D 정보 생성 방안의 원리는 하기의 내용을 포함할 수 있다. 감광 화소를 복수의 그룹으로 구획하고, 여기서 하나의 감광 화소 그룹에는 적어도 하나의 화소의 일측이 도 1에 도시한 회절 구조(2)에 의해 커버되고 적어도 하나의 기타 화소의 타측이 회절 구조(2)에 의해 커버되는 것을 포함하고, 따라서 이러한 화소에 의해 감지된 제 2 감지 신호는 하나의 그룹으로 결합되어 듀얼 카메라에 대응하는 광선 수신 장면을 시뮬레이션할 수 있으며, 나아가 대응하는 3D 정보(예를 들어 피사체의 깊이)를 산출해낼 수 있다.
전술한 프로세싱 방법의 실시예에 대응하여, 본 발명은 프로세싱 장치의 실시예를 더 제공한다.
도 9는 일 예시적인 실시예에 따른 프로세싱 장치를 나타내는 블록도이다. 도 9를 참조하면, 해당 장치는 하기의 유닛을 구비한다.
획득 유닛(91)은 카메라 모듈에서 출력한 제 1 감지 신호, 제 2 감지 신호를 획득한다.
이미지 생성 유닛(92)은 상기 제 1 감지 신호에 따라 2D 이미지를 생성한다.
정보 생성 유닛(93)은 상기 제 2 감지 신호에 따라 3D 정보를 생성한다.
선택적으로, 임의의 감광 화소에 대응하는 위치에서의 3D 정보는 상기 임의의 감광 화소 근방의 감광 화소 및/또는 상기 임의의 감광 화소에서 떨어진 감광 화소에 의해 감지된 제 2 감지 신호에 의해 생성된다.
도 10에 도시한 바와 같이, 도 10은 일 예시적인 실시예에 따른 다른 프로세싱 장치를 나타내는 블록도이고, 해당 실시예는 전술한 도 9에 도시된 실시예를 기초로, 이미지 생성 유닛(92)은 프로세싱 서브 유닛 (921) 또는 보상 서브 유닛(922)을 구비한다.
상기 프로세싱 서브 유닛 (921)은 상기 제 1 감지 신호 및 상기 제 2 감지 신호에 대해 프로세싱을 진행하여 상기 2D 이미지를 생성하도록 구성된다.
상기 보상 서브 유닛(922)은 상기 제 1 감지 신호에 따라 상기 회절 광선을 수신한 감광 화소에 대해 신호 보상을 진행하고, 얻어진 보상 후 신호와 상기 제 1 감지 신호에 대해 프로세싱을 진행하여 상기 2D 이미지를 생성하도록 구성된다.
상기 실시예에 따른 장치에 관하여, 여기서 각각의 모듈에서 동작을 실행하는구체적인 방식은 이미 해당 방법과 관련되는 실시예에서 상세하게 설명하였으므로, 여기서는 상세한 설명을 생략하도록 한다.
장치의 실시예는 기본적으로 방법의 실시예에 대응되므로 관련되는 부분은 방법의 실시예의 일부 설명을 참조하면 된다. 전술한 장치의 실시예는 단지 예시적인 것이며, 여기서, 상기 분리 부재로 설명되는 유닛은 물리적으로 분리되어 있을 수도 있고 물리적으로 분리되어 있지 않을 수도 있으며, 유닛으로 표시되는 부재는 물리적인 유닛일 수도 있고 물리적인 유닛이 아닐 수도 있으며, 즉 하나의 장소에 위치할 수도 있으나 복수의 네트워크 유닛에 분산될 수도 있다. 실제 수요에 따라 그 중 일부 또는 전부의 모듈을 선택하여 본 발명의 방안의 목적을 실현할 수 있다. 당업자라면 창조적인 노동을 부여하지 않는 전제하에서도 이해하고 실시할 수 있다.
상응하게, 본 발명은 프로세서와, 프로세서에 의해 실행 가능한 명령어를 저장하는 메모리를 구비하고, 여기서, 상기 프로세서는 상기 실행 가능한 명령어를 실행함으로써 상기 실시예의 어느 하나에 기재된 프로세싱 방법을 실현하도록 구성되는 프로세싱 장치를 더 제공한다.
상응하게, 본 발명은 메모리와, 하나 이상의 프로그램을 구비하고, 여기서 하나 이상의 프로그램은 메모리에 저장되어 하나 이상의 프로세서에 의해 실행되도록 구성되며, 상기 하나 이상의 프로그램은 카메라 모듈에서 출력한 제 1 감지 신호, 제 2 감지 신호를 획득하고, 상기 제 1 감지 신호에 따라 2D 이미지를 생성하며, 상기 제 2 감지 신호에 따라 3D 정보를 생성하는 동작을 진행하기 위한 명령어를 포함하는 단말기를 더 제공한다.
선택적으로, 상기 제 1 감지 신호에 따라 2D 이미지를 생성하는 단계는,
상기 제 1 감지 신호 및 상기 제 2 감지 신호에 대해 프로세싱을 진행하여 상기 2D 이미지를 생성하는 단계;
또는, 상기 제 1 감지 신호에 따라 상기 회절 광선을 수신한 감광 화소에 대해 신호 보상을 진행하고, 얻어진 보상 후 신호와 상기 제 1 감지 신호에 대해 프로세싱을 진행하여 상기 2D 이미지를 생성하는 단계; 를 포함한다.
선택적으로, 임의의 감광 화소에 대응하는 위치에서의 3D 정보는 상기 임의의 감광 화소 근방의 감광 화소 및/또는 상기 임의의 감광 화소에서 떨어진 감광 화소에 의해 감지된 제 2 감지 신호에 의해 생성된다.
도 11은 일 예시적인 실시예에 따른 프로세싱 장치(1100)를 나타내는 구조 모식도이다. 예를 들어, 장치(1100)는 휴대폰, 컴퓨터, 디지털 브로드캐스팅 단말기， 메시지 송수신 장치, 게임 콘솔, 태블릿 장치, 의료 설비, 헬스 기기, PDA 등일 수 있다.
도 11을 참조하면, 장치(1100)는 프로세싱 유닛(1102), 메모리(1104), 전원 유닛(1106), 멀티미디어 유닛(1108), 오디오 유닛(1110), 입출력(I/O) 인터페이스(1112), 센서 유닛(1114) 및 통신 유닛(1116) 중의 임의의 적어도 하나 이상을 포함할 수 있다.
프로세싱 유닛(1102)은 일반적으로 장치(1100)의 전체 조작，예를 들어, 디스플레이，전화 호출，데이터 통신，카메라 조작 및 기록 조작에 관련된 조작을 제어할 수 있다. 프로세싱 유닛(1102)은 임의의 적어도 하나 이상의 프로세서(1120)를 구비하여 명령어를 실행함으로써 상기 방법의 전부 또는 일부 단계를 완성할 수 있다. 또한， 프로세싱 유닛(1102)은 기타 유닛과의 인터랙션을 편리하게 하도록 임의의 적어도 하나 이상의 모듈을 포함할 수 있다. 예를 들어， 프로세싱 유닛(1102)은 멀티미디어 유닛(1108)과의 인터랙션을 편리하게 할 수 있도록 멀티미디어 모듈을 포함할 수 있다.
메모리(1104)는 장치(1100)의 조작을 서포트 하기 위하여 각종 유형의 데이터를 저장하도록 설치된다. 이러한 데이터는 예를 들어 장치(1100)에서 임의의 애플리케이션이나 방법을 조작하기 위한 명령어, 연락처 데이터, 전화 번호부 데이터, 메시지, 사진, 동영상 등을 포함할 수 있다. 메모리(1104)는 임의의 유형의 휘발성 또는 비휘발성 메모리 예를 들어 SRAM(Static Random Access Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), EPROM(Erasable Programmable Read Only Memory), PROM(Programmable ROM), ROM(Read Only Memory), 자기 메모리, 플래시 메모리, 자기 디스크 또는 콤팩트 디스크에 의해 또는 이들의 조합에 의해 실현될 수 있다.
전원 유닛(1106)은 장치(1100)의 각 유닛에 전력을 공급하기 위한 것이며, 전원 관리 시스템, 임의의 적어도 하나 이상의 전원 및 장치(1100)를 위하여 전력을 생성, 관리 및 분배하는데 관련된 기타 유닛을 포함할 수 있다.
멀티미디어 유닛(1108)은 장치(1100)와 사용자 사이에 출력 인터페이스를 제공하는 스크린을 포함할 수 있다. 일 실시예에 있어서, 스크린은 액정 디스플레이(LCD) 또는 터치 패널(TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 사용자의 입력 신호를 수신하도록 터치 스크린으로 실현될 수 있다. 또한 터치 패널은 터치, 슬라이딩 및 터치 패널위에서의 제스처(gesture)를 감지하도록 임의의 적어도 하나 이상의 터치 센서를 포함할 수 있다. 상기 터치 센서는 터치 또는 슬라이딩 동작의 경계위치를 감지할 수 있을뿐만 아니라, 터치 또는 슬라이딩 조작에 관련되는 지속시간 및 압력을 검출할 수 있다. 일 실시예에 있어서, 멀티미디어 유닛(1108)은 프리 카메라 및/또는 포스트 카메라를 포함할 수 있다. 장치(1100)가 예를 들어 촬영 모드 또는 동영상 모드 등 조작 모드 상태에 있을 때, 프리 카메라 및/또는 포스트 카메라는 외부의 멀티미디어 데이터를 수신할 수 있다. 프리 카메라 및 포스트 카메라 각각은 고정된 광학 렌즈 시스템 또는 가변 초점 거리 및 광학 줌 기능을 구비할 수 있다. 여기서, 프리 카메라 및/또는 포스트 카메라는 본 발명의 기술 방안에 따른 카메라 모듈을 채용할 수 있으며, 해당 카메라 모듈은 2D 이미지 및 3D 정보에 대한 수집 기능을 동시에 구비하고, 실제 수요에 따라 2D 이미지 및/또는 3D 정보를 수집할 수 있다.
오디오 유닛(1110)은 오디오 신호를 출력 및/또는 입력하도록 설치될 수 있다. 예를 들어, 오디오 유닛(1110)은 마이크(MIC)를 포함할 수 있다. 장치(1100)가 예를 들어 호출 모드, 기록 모드 또는 음성 인식 모드 등 조작 모드 상태에 있을 때, 마이크는 외부의 오디오 신호를 수신하도록 설치될 수 있다. 수신된 오디오 신호는 메모리(1104)에 저장되거나 또는 통신 유닛(1116)을 통해 송신될 수 있다. 일 실시예에 있어서, 오디오 유닛(1110)은 오디오 신호를 출력하는 스피커를 더 포함할 수 있다.
I/O 인터페이스(1112)는 프로세싱 유닛(1102)과 주변 인터페이스 모듈 사이에 인터페이스를 제공하기 위한 것이다. 상기 주변 인터페이스 모듈은 키보드，클릭 휠，버튼 등일 수 있다. 이러한 버튼은 홈 버튼, 볼륨 버튼, 작동 버튼 및 잠금 버튼 등을 포함하되 이에 한정되지 않는다.
센서 유닛(1114)은 장치(1100)를 위해 각 방면의 상태를 평가하는 임의의 적어도 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센서 유닛(1114)은 장치(1100)의 온/오프 상태, 유닛의 상대적인 포지셔닝을 검출할 수 있다. 예를 들어, 상기 유닛은 장치(1100)의 디스플레이 및 작은 키패드일 수 있다. 센서 유닛(1114)은 장치(1100) 또는 장치(1100)의 유닛의 위치 변경, 사용자와 장치(1100)사이의 접촉여부, 장치(1100)의 방위 또는 가속/감속 및 장치(1100)의 온도 변화를 검출할 수 있다. 센서 유닛(1114)은 어떠한 물리적 접촉도 없는 상황에서 근처의 물체를 검출하도록 구성되는 근접 센서를 포함할 수 있다. 센서 유닛(1114)은 이미지 형성 응용에 이용하기 위한 광 센서 예를 들어 CMOS 또는 CCD 이미지 센서를 포함할 수 있다. 일 실시예에 있어서, 상기 센서 유닛(1114)은 가속도 센서, 자이로 스코프 센서, 자기 센서, 압력 센서 또는 온도 센서를 더 포함할 수 있다.
통신 유닛(1116)은 장치(1100)와 기타 기기 사이의 무선 또는 유선 통신을 편리하게 진행하게 하도록 설치될 수 있다. 장치(1100)는 통신 표준을 기반으로 하는 무선 네트워크 예를 들어 WiFi, 2G, 3G 또는 이들의 조합에 액세스할 수 있다. 일 예시적인 실시예에 있어서, 통신 유닛(1116)은 브로드캐스팅 채널을 통해 외부의 브로드캐스팅 관리 시스템에서의 브로드캐스팅 신호 또는 브로드캐스팅 관련 정보를 수신할 수 있다. 일 예시적인 실시예에 있어서, 상기 통신 유닛(1116)은 근거리 통신을 촉진하기 위한 근거리 무선 통신(NFC) 모듈을 더 포함할 수 있다. 예를 들어, NFC 모듈은 RFID기술, IrDA기술, UWB기술, 블루투스(BT) 기술 및 기타 기술에 의해 실현될 수 있다.
일 예시적인 실시예에 있어서, 장치(1100)는 상술한 방법을 실행하기 위하여 임의의 적어도 하나 이상의 ASIC(Application Specific Integrated Circuit), DSP(Digital Signal Processor), DSPD(Digital Signal Processing Device), PLD(Programmable Logic Device), FPGA(Field-Programmable Gate Array), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서, 또는 기타 전자 소자에 의해 실현될 수 있다.
일 예시적인 실시예에서 명령어를 포함한 비일시적인 컴퓨터 판독 가능한 기록매체 예를 들어 명령어를 포함한 메모리(1104)을 더 제공한다. 상기 명령어는 장치(1100)의 프로세서(1120)에 의해 실행되어 상술한 프로세싱 방법을 완성할 수 있다. 예를 들어, 상기 비일시적인 컴퓨터 판독 가능한 기록 매체는, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크 및 광 데이터 메모리 등일 수 있다.
통상의 지식을 가진 자는 명세서에 대한 이해 및 명세서에 기재된 발명에 대한 실시를 통해 본 발명의 다른 실시방안을 용이하게 얻을 수 있다. 당해 출원의 취지는 본 발명에 대한 임의의 변형, 용도 또는 적응적인 변화를 포함하고, 이러한 변형, 용도 또는 적응적 변화는 본 발명의 일반적인 원리에 따르고, 당해 출원이 공개하지 않은 본 기술 분야의 공지기술 또는 통상의 기술수단을 포함한다. 명세서 및 실시예는 단지 예시적인 것으로서, 본 발명의 진정한 범위와 취지는 다음의 특허청구 범위에 의해 결정된다.
본 발명은 상기에 서술되고 도면에 도시된 특정 구성에 한정되지 않고 그 범위를 이탈하지 않는 상황에서 다양한 수정 및 변경을 실시할 수 있음에 이해되어야 한다. 본 발명의 범위는 단지 첨부된 특허청구 범위에 의해서만 한정된다.

Claims (18)

  1. 이미지 센서;
    상기 이미지 센서의 일부 감광 화소를 커버하고, 커버된 감광 화소로 입사되는 입사 광선을 위상이 다른 회절 광선으로 분산시켜 하나 또는 복수의 감광 화소에 입사시키도록 구성되는 회절 구조;
    상기 회절 광선이 수신되지 않은 감광 화소에 대응하는 제 1 감지 신호를 획득하여 2D 이미지를 생성하고, 상기 회절 광선에 대응하는 제 2 감지 신호를 획득하여 3D 정보를 생성하도록 구성되는 신호 프로세싱 구조; 를 구비하는 것
    을 특징으로 하는 카메라 모듈.
  2. 제1항에 있어서,
    상기 회절 구조는 복수의 회절 영역을 포함하고, 각각의 회절 영역은 하나 또는 복수의 감광 화소를 커버하는 것
    을 특징으로 하는 카메라 모듈.
  3. 제2항에 있어서,
    동일한 감광 화소가 하나의 회절 영역에서 형성한 상기 회절 광선만을 수신하도록 상기 회절 영역 사이는 서로 분리되는 것
    을 특징으로 하는 카메라 모듈.
  4. 제2항에 있어서,
    상기 이미지 센서의 감광 화소가 감광 화소 배열을 구성하며, 복수의 회절 영역은 상기 감광 화소 배열 상에 균일하게 분포되는 것
    을 특징으로 하는 카메라 모듈.
  5. 제2항에 있어서,
    상기 이미지 센서의 감광 화소가 감광 화소 배열을 구성하며, 상기 감광 화소 배열의 중앙 영역에서의 회절 영역의 분포 밀도는 가장자리 영역에서의 분포 밀도보다 큰 것
    을 특징으로 하는 카메라 모듈.
  6. 제1항에 있어서,
    상기 회절 구조는 회절 렌즈 또는 회절 필름을 구비하는 것
    을 특징으로 하는 카메라 모듈.
  7. 제1항에 있어서,
    상기 카메라 모듈은 상기 이미지 센서의 감광 화소를 커버하는 컬러 필터를 더 구비하며,
    여기서, 상기 회절 구조는 상기 감광 화소와 상기 컬러 필터 사이에 위치하거나, 또는 상기 회절 구조는 상기 컬러 필터의 상기 감광 화소에서 떨어진 측에 위치하는 것
    을 특징으로 하는 카메라 모듈.
  8. 제1항 내지 제7항 중 어느 한 항에 기재된 카메라 모듈을 구비하는 것
    을 특징으로 하는 전자 기기.
  9. 제8항에 있어서,
    상기 전자 기기의 프리 카메라 및/또는 포스트 카메라는 상기 카메라 모듈에 의해 구성되는 것
    을 특징으로 하는 전자 기기.
  10. 제8항에 있어서,
    상기 카메라 모듈에서 출력한 제 1 감지 신호, 제 2 감지 신호를 각각 획득하여 상기 제 1 감지 신호에 따라 2D 이미지를 생성하고 상기 제 2 감지 신호에 따라 3D 정보를 생성하기 위한 프로세서를 더 구비하는 것
    을 특징으로 하는 전자 기기.
  11. 제8항 내지 제10항 중 어느 한 항에 기재된 전자 기기에 적용되며,
    카메라 모듈에서 출력한 제 1 감지 신호, 제 2 감지 신호를 획득하는 단계;
    상기 제 1 감지 신호에 따라 2D 이미지를 생성하는 단계;
    상기 제 2 감지 신호에 따라 3D 정보를 생성하는 단계; 를 포함하는 것
    을 특징으로 하는 프로세싱 방법.
  12. 제11항에 있어서,
    상기 제 1 감지 신호에 따라 2D 이미지를 생성하는 단계는,
    상기 제 1 감지 신호 및 상기 제 2 감지 신호에 대해 프로세싱을 진행하여 상기 2D 이미지를 생성하는 단계;
    또는, 상기 제 1 감지 신호에 따라 상기 회절 광선을 수신한 감광 화소에 대해 신호 보상을 진행하고, 얻어진 보상 후 신호와 상기 제 1 감지 신호에 대해 프로세싱을 진행하여 상기 2D 이미지를 생성하는 단계; 를 포함하는 것
    을 특징으로 하는 방법.
  13. 제11항에 있어서,
    임의의 감광 화소에 대응하는 위치에서의 3D 정보는 상기 임의의 감광 화소 근방의 감광 화소 및/또는 상기 임의의 감광 화소에서 떨어진 감광 화소에 의해 감지된 제 2 감지 신호에 의해 생성되는 것
    을 특징으로 하는 방법.
  14. 제8항 내지 제10항 중 어느 한 항에 기재된 전자 기기에 적용되며,
    카메라 모듈에서 출력한 제 1 감지 신호, 제 2 감지 신호를 획득하는 획득 유닛;
    상기 제 1 감지 신호에 따라 2D 이미지를 생성하는 이미지 생성 유닛;
    상기 제 2 감지 신호에 따라 3D 정보를 생성하는 정보 생성 유닛; 을 구비하는 것
    을 특징으로 하는 프로세싱 장치.
  15. 제14항에 있어서,
    상기 이미지 생성 유닛은 프로세싱 서브 유닛 또는 보상 서브 유닛을 구비하며,
    상기 프로세싱 서브 유닛은 상기 제 1 감지 신호 및 상기 제 2 감지 신호에 대해 프로세싱을 진행하여 상기 2D 이미지를 생성하도록 구성되고,
    상기 보상 서브 유닛은 상기 제 1 감지 신호에 따라 상기 회절 광선을 수신한 감광 화소에 대해 신호 보상을 진행하고, 얻어진 보상 후 신호와 상기 제 1 감지 신호에 대해 프로세싱을 진행하여 상기 2D 이미지를 생성하도록 구성되는 것
    을 특징으로 하는 장치.
  16. 제14항에 있어서,
    임의의 감광 화소에 대응하는 위치에서의 3D 정보는 상기 임의의 감광 화소 근방의 감광 화소 및/또는 상기 임의의 감광 화소에서 떨어진 감광 화소에 의해 감지된 제 2 감지 신호에 의해 생성되는 것
    을 특징으로 하는 장치.
  17. 프로세서와,
    프로세서에 의해 실행 가능한 명령어를 저장하는 메모리를 구비하고,
    여기서 상기 프로세서는,
    상기 실행 가능한 명령어를 실행함으로써 제11항 내지 제13항 중 어느 한 항에 기재된 방법을 실현하는 것
    을 특징으로 하는 전자 기기.
  18. 컴퓨터 명령어가 저장된 컴퓨터 판독 가능한 기록 매체이며,
    해당 명령어가 프로세서에 의해 실행되면 제11항 내지 제13항 중 어느 한 항에 기재된 방법의 단계가 실현되는 것
    을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
KR1020197010288A 2018-09-10 2018-11-16 카메라 모듈, 프로세싱 방법 및 장치, 전자 기기, 기록 매체 KR102285442B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811052620.4A CN110891131A (zh) 2018-09-10 2018-09-10 摄像头模组、处理方法及装置、电子设备、存储介质
CN201811052620.4 2018-09-10
PCT/CN2018/116016 WO2020052063A1 (zh) 2018-09-10 2018-11-16 摄像头模组、处理方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
KR20200032025A true KR20200032025A (ko) 2020-03-25
KR102285442B1 KR102285442B1 (ko) 2021-08-04

Family

ID=67981858

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197010288A KR102285442B1 (ko) 2018-09-10 2018-11-16 카메라 모듈, 프로세싱 방법 및 장치, 전자 기기, 기록 매체

Country Status (7)

Country Link
US (1) US11425299B2 (ko)
EP (1) EP3621289B1 (ko)
JP (1) JP6946416B2 (ko)
KR (1) KR102285442B1 (ko)
CN (1) CN110891131A (ko)
RU (1) RU2730183C1 (ko)
WO (1) WO2020052063A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111246073B (zh) * 2020-03-23 2022-03-25 维沃移动通信有限公司 成像装置、方法及电子设备
CN115250320A (zh) * 2021-04-28 2022-10-28 北京小米移动软件有限公司 图像获取方法及装置、电子设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110205339A1 (en) * 2010-02-23 2011-08-25 California Institute Of Technology Nondiffracting beam detection devices for three-dimensional imaging
JP2014041202A (ja) * 2012-08-21 2014-03-06 Nikon Corp 焦点検出装置および撮像装置
KR20170089876A (ko) * 2014-12-04 2017-08-04 톰슨 라이센싱 이미지 센서 유닛 및 이미징 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5013133A (en) * 1988-10-31 1991-05-07 The University Of Rochester Diffractive optical imaging lens systems
CN2689459Y (zh) * 2003-12-19 2005-03-30 鸿富锦精密工业（深圳）有限公司 图像传感器
US20070285554A1 (en) * 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
JP5387856B2 (ja) * 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
JP2012212978A (ja) * 2011-03-30 2012-11-01 Nikon Corp 撮像素子および撮像装置
WO2013086452A1 (en) * 2011-12-09 2013-06-13 California Institute Of Technology Multi-view difraction granting imaging with two-dimensional displacement measurement for three-dimensional deformation or profile output
CN102494771A (zh) * 2011-12-14 2012-06-13 中国科学院光电研究院 一种衍射光学成像系统及包含该衍射光学成像系统的成像光谱仪
WO2013108656A1 (ja) * 2012-01-16 2013-07-25 ソニー株式会社 固体撮像素子およびカメラシステム
WO2013121267A1 (en) * 2012-02-15 2013-08-22 Mesa Imaging Ag Time of flight camera with stripe illumination
US20130229712A1 (en) * 2012-03-02 2013-09-05 Google Inc. Sandwiched diffractive optical combiner
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US9402067B2 (en) * 2012-10-22 2016-07-26 Samsung Electronics Co., Ltd. Imaging optical system for 3D image acquisition apparatus, and 3D image acquisition apparatus including the imaging optical system
US10154197B2 (en) * 2013-09-11 2018-12-11 Google Llc Image capture device having light field image capture mode, 2D image capture mode, and intermediate capture mode
US9445018B2 (en) * 2014-05-01 2016-09-13 Semiconductor Components Industries, Llc Imaging systems with phase detection pixels
RU2595759C2 (ru) * 2014-07-04 2016-08-27 Самсунг Электроникс Ко., Лтд. Способ и устройство для захвата изображения и одновременного извлечения глубины
ES2529267B1 (es) * 2014-09-25 2015-12-18 Sergio Oscar Luque Lente intraocular multifocal con profundidad de campo extendida
JP6608148B2 (ja) * 2015-02-24 2019-11-20 キヤノン株式会社 距離情報生成装置、撮像装置、距離情報生成方法および距離情報生成プログラム
CN108156360A (zh) * 2018-01-29 2018-06-12 信利光电股份有限公司 一种具有3d效果的摄像模组结构

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110205339A1 (en) * 2010-02-23 2011-08-25 California Institute Of Technology Nondiffracting beam detection devices for three-dimensional imaging
JP2014041202A (ja) * 2012-08-21 2014-03-06 Nikon Corp 焦点検出装置および撮像装置
KR20170089876A (ko) * 2014-12-04 2017-08-04 톰슨 라이센싱 이미지 센서 유닛 및 이미징 장치

Also Published As

Publication number Publication date
US20200084374A1 (en) 2020-03-12
CN110891131A (zh) 2020-03-17
JP6946416B2 (ja) 2021-10-06
EP3621289A1 (en) 2020-03-11
KR102285442B1 (ko) 2021-08-04
RU2730183C1 (ru) 2020-08-19
JP2021502004A (ja) 2021-01-21
EP3621289B1 (en) 2023-08-16
WO2020052063A1 (zh) 2020-03-19
US11425299B2 (en) 2022-08-23

Similar Documents

Publication Publication Date Title
US11445255B2 (en) Operation method, device, apparatus and storage medium of playing video
US11086482B2 (en) Method and device for displaying history pages in application program and computer-readable medium
US20170064174A1 (en) Image shooting terminal and image shooting method
US20170304735A1 (en) Method and Apparatus for Performing Live Broadcast on Game
RU2672173C2 (ru) Способ и устройство для обработки видеоинформации
US20130021488A1 (en) Adjusting Image Capture Device Settings
CN106657780B (zh) 图像预览方法和装置
US10158798B2 (en) Imaging apparatus and method of controlling the same
EP3121699A1 (en) Method and device for displaying badge of icon
EP3032482A1 (en) Page display method and apparatus
CN102810048A (zh) 显示设备和方法
KR102285442B1 (ko) 카메라 모듈, 프로세싱 방법 및 장치, 전자 기기, 기록 매체
CN110876014B (zh) 图像处理方法及装置、电子设备及存储介质
CN105677352B (zh) 应用图标颜色的设置方法和装置
EP3223506B1 (en) Imaging device and control method therefor
KR20160024836A (ko) 호출 전환 방법, 장치, 단말기, 프로그램 및 기록매체
US20210405384A1 (en) Optical processing apparatus, camera module, electronic device and capturing method
US11140341B2 (en) Camera module and mobile terminal having the camera module
US20200310638A1 (en) Method and apparatus for responding to gesture operation and storage medium
CN107920015B (zh) 发布图片的方法和发布图片的装置
US20150332470A1 (en) Method, device, and electronic device for background display
KR20160081698A (ko) 화이트 밸런스 모듈 및 이를 구비하는 이동 단말기
CN107085841B (zh) 一种图片拉焦处理方法及终端
KR20160009973A (ko) 이동 단말기 및 그 제어방법
CN110876013B (zh) 确定图像分辨率的方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant