KR102458470B1 - 이미지 처리 방법 및 장치, 카메라 컴포넌트, 전자 기기, 저장 매체 - Google Patents

이미지 처리 방법 및 장치, 카메라 컴포넌트, 전자 기기, 저장 매체 Download PDF

Info

Publication number
KR102458470B1
KR102458470B1 KR1020217006592A KR20217006592A KR102458470B1 KR 102458470 B1 KR102458470 B1 KR 102458470B1 KR 1020217006592 A KR1020217006592 A KR 1020217006592A KR 20217006592 A KR20217006592 A KR 20217006592A KR 102458470 B1 KR102458470 B1 KR 102458470B1
Authority
KR
South Korea
Prior art keywords
image
sub
infrared
camera module
light source
Prior art date
Application number
KR1020217006592A
Other languages
English (en)
Other versions
KR20210149018A (ko
Inventor
징 쉬
린 리우
단 주
Original Assignee
베이징 샤오미 모바일 소프트웨어 컴퍼니 리미티드 난징 브랜치.
베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 샤오미 모바일 소프트웨어 컴퍼니 리미티드 난징 브랜치., 베이징 시아오미 모바일 소프트웨어 컴퍼니 리미티드 filed Critical 베이징 샤오미 모바일 소프트웨어 컴퍼니 리미티드 난징 브랜치.
Publication of KR20210149018A publication Critical patent/KR20210149018A/ko
Application granted granted Critical
Publication of KR102458470B1 publication Critical patent/KR102458470B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H04N5/2254—
    • H04N5/23296—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Abstract

본 발명은 이미지 처리 방법 및 장치, 카메라 컴포넌트, 전자 기기, 저장 매체에 관한 것이다. 상기 컴포넌트는 제1 파장대 광선을 센싱하고 제1 이미지를 생성하는 제1 카메라 모듈, 제1 파장대 광선 및 제2 파장대 광선을 센싱하고 제2 이미지를 생성하는 제2 카메라 모듈, 및 제2 파장대 광선을 송신하는 적외선 광원 및 프로세서를 포함하고; 제2 이미지는 베이어 서브 이미지 및 상기 적외선 서브 이미지를 포함하며; 프로세서는 각각 제1 카메라 모듈, 제2 카메라 모듈 및 적외선 광원에 연결되며; 프로세서는, 베이어 서브 이미지 및 적외선 서브 이미지 중 적어도 하나와 제1 이미지에 대해 이미지 처리를 수행하기 위한 것이다. 본 실시예는 카메라 모듈 어레이에서 깊이 카메라를 설치할 필요없이 깊이 이미지를 획득할 수 있음으로써, 카메라 컴포넌트의 체적을 감소시킬 수 있고, 전자 기기에서 차지하는 공간을 감소시킬 수 있어, 전자 기기의 소형화 및 비용 절감에 유리하다.

Description

이미지 처리 방법 및 장치, 카메라 컴포넌트, 전자 기기, 저장 매체
본 발명은 이미지 처리 기술분야에 관한 것으로서, 특히 이미지 처리 방법 및 장치, 카메라 컴포넌트, 전자 기기, 저장 매체에 관한 것이다.
종래의 카메라는 촬영하거나 사진을 찍고, 시나리오의 휘도 정보 및 색상 정보를 수집하는데 사용될 수 있지만, 깊이 정보를 수집할 수 없다. 애플리케이션 수요의 증가에 따라, 현재 일부 전자 기기의 카메라에는 깊이 카메라가 추가 설치되어 카메라 어레이를 형성하며, 여기서 깊이 카메라는 어레이 카메라 모듈, 구조광 모듈 및 비행 시간(Time-of-flight, TOF) 모듈을 포함할 수 있어, 각 모듈의 동작 원리에 따라 깊이 정보를 얻을 수 있다. 그러나, 상기 카메라 어레이에는 깊이 카메라가 독립적으로 설치되어야 하고, 전자 기기의 귀중한 공간을 차지하므로, 전자 기기의 소형화 및 비용 절감에 유리하지 않다.
이를 고려하여, 본 발명은 이미지 처리 방법 및 장치, 카메라 컴포넌트, 전자 기기, 저장 매체를 제공한다.
본 발명의 실시예의 제1 측면에 따르면, 카메라 컴포넌트를 제공하고, 상기 카메라 컴포넌트는, 제1 파장대 광선을 센싱하는 제1 카메라 모듈, 제1 파장대 광선 및 제2 파장대 광선을 센싱하는 제2 카메라 모듈, 제2 파장대 광선을 송신하는 적외선 광원 및 프로세서를 포함하고; 상기 프로세서는 각각 상기 제1 카메라 모듈, 상기 제2 카메라 모듈 및 상기 적외선 광원에 연결되며;
상기 제1 카메라 모듈은, 상기 프로세서의 제어 하에서 제1 이미지를 생성하기 위한 것이고;
상기 적외선 광원은, 상기 프로세서의 제어 하에서 제2 파장대 광선을 송신하기 위한 것이며;
상기 제2 카메라 모듈은, 상기 프로세서의 제어 하에서 제2 이미지를 생성하기 위한 것이며; 상기 제2 이미지는 제1 파장대 광선을 센싱하여 생성된 베이어 서브 이미지 및 제2 파장대 광선을 센싱하여 생성된 적외선 서브 이미지를 포함하며;
상기 프로세서는 또한, 상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행하기 위한 것이다.
선택적으로, 상기 적외선 광원은 적외선 투광 광원, 구조광 광원 또는 TOF 광원 중 적어도 하나를 포함한다.
선택적으로, 상기 제1 카메라 모듈 및 상기 제2 카메라 모듈 중 렌즈의 관측 시야는 상이하다.
본 발명의 실시예의 제2 측면에 따르면, 이미지 처리 방법을 제공하고, 상기 이미지 처리 방법은,
제1 카메라 모듈에 의해 생성된 제1 이미지 및 제2 카메라 모듈에 의해 생성된 제2 이미지를 획득하는 단계 - 상기 제2 이미지는 상기 제2 카메라 모듈이 제1 파장대 광선을 센싱하여 생성된 베이어 서브 이미지 및 제2 파장대 광선을 센싱하여 생성된 적외선 서브 이미지를 포함함 - ; 및
상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행하는 단계를 포함한다.
선택적으로, 상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행하는 단계는,
상기 제1 이미지를 증강하기 위해, 상기 적외선 서브 이미지 및 상기 제1 이미지를 융합하는 단계를 포함한다.
선택적으로, 상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행하는 단계는,
상기 베이어 서브 이미지 및 상기 제1 이미지에 따라 가시광 깊이 이미지를 획득하는 단계를 포함한다.
선택적으로, 적외선 광원이 구조광 광원 또는 TOF 광원을 포함할 경우, 상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행하는 단계는,
상기 가시광 깊이 이미지 및 상기 적외선 서브 이미지의 깊이 데이터를 융합하여, 깊이 융합 이미지를 획득하는 단계를 포함한다.
선택적으로, 상기 방법은,
사용자의 줌 동작에 응답하여, 상기 제1 이미지 및 상기 베이어 서브 이미지에 기반하여 이미지 줌을 수행하는 단계를 더 포함한다.
본 발명의 실시예의 제3 측면에 따르면, 이미지 처리 장치를 제공하고, 상기 이미지 처리 장치는,
제1 카메라 모듈에 의해 생성된 제1 이미지 및 제2 카메라 모듈에 의해 생성된 제2 이미지를 획득하기 위한 이미지 획득 모듈 - 상기 제2 이미지는 상기 제2 카메라 모듈이 제1 파장대 광선을 센싱하여 생성된 베이어 서브 이미지 및 제2 파장대 광선을 센싱하여 생성된 적외선 서브 이미지를 포함함 - ; 및
상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행하기 위한 이미지 처리 모듈을 포함한다.
선택적으로, 상기 이미지 처리 모듈은,
상기 제1 이미지를 증강하기 위해, 상기 적외선 서브 이미지 및 상기 제1 이미지를 융합하기 위한 이미지 증강 유닛을 포함한다.
선택적으로, 상기 이미지 처리 모듈은,
상기 베이어 서브 이미지 및 상기 제1 이미지에 따라 가시광 깊이 이미지를 획득하기 위한 깊이 이미지 획득 유닛을 포함한다.
선택적으로, 적외선 광원이 구조광 광원 또는 TOF 광원을 포함할 경우, 상기 이미지 처리 모듈은,
상기 가시광 깊이 이미지 및 상기 적외선 서브 이미지의 깊이 데이터를 융합하여, 깊이 융합 이미지를 획득하기 위한 깊이 정합 유닛을 포함한다.
선택적으로, 상기 장치는,
사용자의 줌 동작에 응답하여, 상기 제1 이미지 및 상기 베이어 서브 이미지에 기반하여 이미지 줌을 수행하기 위한 줌 모듈을 더 포함한다.
본 발명 실시예에 따른 제4 측면에 있어서, 전자 기기를 제공하고, 상기 전자 기기는,
상기 카메라 컴포넌트;
프로세서; 및
상기 프로세서가 실행 가능한 컴퓨터 프로그램을 저장하기 위한 메모리를 포함하고;
상기 프로세서는 상기 어느 한 방법의 단계를 구현하기 위해 상기 메모리에서의 컴퓨터 프로그램을 실행하도록 구성된다.
본 발명의 실시예의 제5 측면에 따르면, 실행 가능한 컴퓨터 프로그램이 저장되어 있는 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 프로그램은 실행될 경우 상기 어느 한 방법의 단계를 구현한다.
본 발명의 실시예에서 제공한 기술방안은 아래의 유익한 효과를 포함할 수 있다.
상기 실시예를 보다시피, 본 발명의 실시예 중 카메라 컴포넌트에서의 제1 카메라 모듈은 제1 이미지를 수집할 수 있고 제2 카메라 모듈은 제2 이미지를 획득할 수 있으며, 제2 이미지로부터 베이어 서브 이미지 및 적외선 서브 이미지를 획득할 수 있으므로, 베이어 서브 이미지 및 적외선 서브 이미지 중 적어도 하나 및 제1 이미지에 대해 이미지 처리를 수행할 수 있고, 예를 들어 깊이 이미지를 획득하며, 즉 카메라 모듈 어레이에서 깊이 카메라를 설치할 필요없이 깊이 이미지를 획득할 수 있음으로써, 카메라 컴포넌트의 체적을 감소시킬 수 있고, 전자 기기에서 차지하는 공간을 감소시킬 수 있어, 전자 기기의 소형화 및 비용 절감에 유리하다.
이해해야 할 것은, 이상의 일반적인 설명 및 하기의 상세한 설명은 다만 예시적이고 한정적인 것이며 본 발명을 한정하지 않는다.
아래의 도면은 본 명세서의 일부분으로서 명세서 전체를 구성하며, 본 발명에 맞는 실시예를 예시하여, 명세서와 함께 본 발명의 원리를 해석하기 위한것이다.
도 1은 일 예시적 실시예에 따라 도시한 카메라 컴포넌트의 흐름도이다.
도 2는 일 예시적 실시예에 따라 도시한 애플리케이션 시나리오도이다.
도 3은 일 예시적 실시예에 따라 도시한 가시광 깊이 이미지를 획득하는 예시도이다.
도 4는 일 예시적 실시예에 따라 도시한 깊이 데이터 획득 방법의 흐름도이다.
도 5는 일 예시적 실시예에 따라 도시한 깊이 데이터 획득 장치의 블록도이다.
도 6은 일 예시적 실시예에 따라 도시한 전자 기기의 블록도이다.
아래에 예시적 실시예에 대해 상세히 설명하며, 그 예는 도면에 도시된다. 아래의 설명에서 도면을 참조할 때, 다른 표시가 없는 한, 상이한 도면에서의 동일한 숫자는 동일하거나 유사한 요소를 나타낸다. 아래에서 예시적으로 설명된 실시예는 본 발명과 일치하는 모든 실시예를 나타내는 것은 아니다. 이와 반대로, 이들은 다만 청구 범위에 상세히 서술된 바와 같이 본 발명의 일부 측면과 일치하는 장치의 예일 뿐이다.
종래의 카메라는 촬영하거나 사진을 찍고, 시나리오의 휘도 정보 및 색상 정보를 수집하는데 사용될 수 있지만, 깊이 정보를 수집할 수 없다. 애플리케이션 수요의 증가에 따라, 현재 일부 전자 기기의 카메라에는 깊이 카메라가 추가 설치되어 카메라 어레이를 형성하며, 여기서 깊이 카메라는 어레이 카메라 모듈, 구조광 모듈 및 비행 시간(Time-of-flight, TOF) 모듈을 포함할 수 있어, 각 모듈의 동작 원리에 따라 깊이 정보를 얻을 수 있다. 그러나, 상기 카메라 어레이에는 깊이 카메라가 독립적으로 설치되어야 하고, 전자 기기의 귀중한 공간을 차지하므로, 전자 기기의 소형화 및 비용 절감에 유리하지 않다.
상기 기술적 문제를 해결하기 위해, 본 발명의 실시예는 이미지 처리 방법 및 장치, 카메라 컴포넌트, 전자 기기, 저장 매체를 제공하고, 그 발명 구상은, 카메라 모듈 어레이에 제1 파장대 광선를 센싱하고 제1 이미지를 획득하는 제1 카메라 모듈을 설치하는 것, 및 제1 파장대 광선 및 제2 파장대 광선을 센싱하고 제2 이미지를 획득하는 제2 카메라 모듈을 설치하는 것이며; 프로세서는 제2 이미지 중 베이어 서브 이미지 및 적외선 서브 이미지 중 적어도 하나와 제1 이미지에 대해 이미지 처리를 수행할 수 있고, 예를 들어 깊이 이미지를 획득한다.
도 1은 일 예시적 실시예에 따라 도시한 카메라 컴포넌트의 블록도이다. 도 1을 참조하면, 카메라 컴포넌트는, 제1 카메라 모듈(10), 제2 카메라 모듈(20), 적외선 광원(30) 및 프로세서(40)를 포함할 수 있고; 제1 카메라 모듈(10)은 제1 파장대 광선을 센싱할 수 있으며, 제2 카메라 모듈(20)은 제1 파장대 광선 및 제2 파장대 광선을 센싱할 수 있다. 여기서 프로세서(40)는 각각 제1 카메라 모듈(10), 제2 카메라 모듈(20) 및 적외선 광원(30)에 연결된다. 여기서 연결은 프로세서(40)가 제어 명령어를 송신할 수 있고, 카메라 모듈(10, 20)로부터 이미지를 획득하는 것을 가리키며, 구체적인 구현은 통신 버스, 버퍼, 또는 무선일 수 있으며, 여기서 한정하지 않는다.
제1 카메라 모듈(10)은, 프로세서(40)의 제어 하에서 제1 이미지를 생성하기 위한 것이고; 상기 제1 이미지는 RGB 이미지일 수 있다.
적외선 광원(30)은, 프로세서(40)의 제어 하에서 제2 파장대 광선을 송신하기 위한 것이다.
제2 카메라 모듈(20)은, 프로세서(40)의 제어 하에서 제2 이미지를 생성하기 위한 것이고; 상기 제2 이미지는 제1 파장대 광선을 센싱하여 생성된 베이어 서브 이미지 및 제2 파장대 광선을 센싱하여 생성된 적외선 서브 이미지를 포함할 수 있다.
프로세서(40)는, 상기 제2 이미지에 따라 베이어 서브 이미지 및 적외선 서브 이미지를 획득하고, 베이어 서브 이미지 및 적외선 서브 이미지 중 적어도 하나 및 제1 이미지에 대해 이미지 처리를 수행하기 위한 것이다.
예시적으로, 본 실시예에 있어서, 상기 제1 파장대 광선은 가시광 파장대의 광선일 수 있고, 제2 파장대 광선은 적외광 파장대의 광선일 수 있다.
본 실시예에 있어서, 제1 카메라 모듈(10)은 제1 파장대 광선(예를 들어 가시광 파장대)에 응답하는 이미지 센서, 렌즈, 적외광 필터 등 소재를 포함할 수 있고, 보이스 코일 모터, 회로 기판 등 소재를 더 포함할 수 있다. 여기서, 이미지 센서는 전하 결합 소자(Charged Coupled Device, CCD) 또는 상보성 금속 산화막 반도체(Complementary Metal Oxide Semiconductor, CMOS) 등을 사용하여 제1 파장대 광선에 응답하는 것을 구현할 수 있고; 제1 카메라 모듈(10) 및 제2 카메라 모듈(20)의 분리 사용에 용이하기 위해, 상기 제1 카메라 모듈(10)의 이미지 센서에서, 필터는 bayer 탬플렛, CYYM 탬플렛, CYGM 탬플렛 등 가시광 파장대에만 응답하는 컬러 필터 어레이일 수 있다. 제1 카메라 모듈(10)의 각 소재의 장착 위치 및 동작 원리는 관련 기술을 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.
본 실시예에 있어서, 제2 카메라 모듈(20)은 제1 파장대 광선(예를 들어 가시광 파장대의 광선) 및 제2 파장대 광선(예를 들어 적외광 파장대의 광선)에 동시에 응답하는 이미지 센서, 렌즈, 가시광-근적외광 대역 통과 필터 등 소재를 포함할 수 있고, 보이스 코일 모터, 회로 기판 등 소재를 더 포함할 수 있다. 여기서, 제1 파장대 광선 및 제2 파장대 광선에 동시에 응답하는 이미지 센서는 CCD 또는 CMOS 등을 사용하여 구현될 수 있고, 그 필터는 RGBIR 탬플렛, RGBW 탬플렛 등 가시광 파장대 및 적외광 파장대에 동시에 응답하는 컬러 필터 어레이일 수 있다. 제2 카메라 모듈(20)의 각 소재의 장착 위치 및 동작 원리는 관련 기술을 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.
본 실시예에 있어서, 적외선 광원(30)은 적외선 투광 광원, 구조광 광원 또는 비행 시간(Time of Flight, TOF) 광원 중 적어도 하나를 포함할 수 있다. 여기서, 적외선 투광 광원의 동작 원리는 프레임 범위 내의 물체에 대한 적외선 조명 휘도를 증가시키는 광원이고; 구조광 광원의 동작 원리는 특정한 광 정보를 물체 표면 및 배경에 투사한 후, 물체에 의해 제조된 광 신호의 변화에 따라 물체의 위치 및 깊이 등 정보를 계산하는 것이며; TOF 광원의 동작 원리는 프레임 범위 내에 적외선 펄스를 투사하고, 적외선 펄스 리턴 시간에 따라 물체의 거리를 계산하는 것이다.
본 실시예에 있어서, 프로세서(40)는 독립적으로 설치된 마이크로 프로세서를 사용하여 구현될 수 있고, 상기 카메라 컴포넌트가 설치되어 있는 전자 기기의 프로세서를 사용하여 구현될 수도 있다. 상기 프로세서(40)는 아래의 두 개의 측면의 기능을 구비한다.
제1 측면에 있어서, 버튼, 마이크로폰, 이미지 센서 중 하나 또는 조합의 조작 신호를 수신하여, 제1 카메라 모듈(10), 제2 카메라 모듈(20) 및 적외선 광원(30)을 제어할 수 있다. 예를 들어, 전자 기기가 일반 촬영 모드일 경우, 프로세서(40)는 제1 카메라 모듈(10)의 초점 거리, 휘도 등 파라미터를 조정할 수 있고, 사용자가 셔터를 누르는 동작을 검출할 경우, 제1 카메라 모듈(10)을 제어하여 이미지를 촬영할 수 있다. 전자 기기가 파노라마, 고동적 범위 이미지(High-Dynamic Range, HDR), 풀 포커스 등 모드이거나 저조도 시나리오일 경우, 프로세서(40)는 적외선 광원(30)을 개시할 수 있고, 이와 동시에 제1 카메라 모듈(10) 및 제2 카메라 모듈(20)의 초점 거리, 휘도 등 파라미터를 조정할 수 있으며, 사용자가 셔터를 누르는 동작을 검출할 경우 제1 카메라 모듈(10)을 제어하여 이미지를 촬영하여 제1 이미지를 얻으며, 제2 카메라 모듈(20)을 제어하여 이미지를 촬영하여 제2 이미지를 얻는다.
제2 측면에 있어서, 깊이 이미지를 사용해야 할 경우, 도 2에 도시된 바와 같이, 전자 기기는 제1 이미지 및 제2 이미지를 처리하여 가시광 깊이 이미지 또는 깊이 융합 이미지를 획득할 수 있다.
일 예에 있어서, 프로세서는 제2 이미지로부터 제1 파장대 광선에 대응되는 베이어(bayer) 서브 이미지를 추출할 수 있고, 제1 이미지 및 베이어 서브 이미지에 따라 가시광 깊이 이미지를 계산할 수 있으며, 계산 과정은 아래와 같다.
도 3을 참조하면, P는 프레임 범위 내의 측정될 물체(즉 촬영 대상)의 특정한 포인트이고, CR 및 CL은 각각 제1 카메라 및 제2 카메라의 광학 중심이며, 포인트 P는 두 개의 카메라 광 수용체에서의 이미징 포인트는 각각 PR 및 PL(카메라의 이미징 평면은 회전을 통해 렌즈 앞에 배치됨)이며, f는 카메라 초점 거리이며, B는 두 개의 카메라의 중심 거리이며, Z는 검출될 깊이이며, 포인트 PR부터 포인트 PL까지의 거리를 D로 설정하면,
D＝B-(XR-XL)이며;
유사 삼각형 원리에 따라,
[B-(XR-XL)]/B＝(Z-F)/Z이며;
이로부터,
Z＝fB/(XR-XL)를 얻을 수 있으며;
초점 거리(f), 카메라 중심 거리(B, P) 포인트가 오른쪽 이미지 평면에서의 좌표(XR) 및 P 포인트가 왼쪽 이미지 평면에서의 좌표(XL)가 보정을 통해 얻을 수 있으므로, (XR-XL)을 획득하면 깊이를 얻을 수 있다. 여기서, f, B, XR, XL는 보정, 교정 및 매칭 동작을 통해 결정될 수 있고, 보정, 교정 및 매칭 동작은 관련 기술을 참조할 수 있으며, 여기서 더이상 반복하여 설명하지 않는다.
프로세서(40)는 상기 단계를 중복하여 제1 이미지 중 모든 픽셀 포인트의 깊이를 획득하여, 가시광 깊이 이미지를 얻을 수 있다. 상기 가시광 깊이 이미지는 큰 조리개, 얼굴/홍채 잠금 해제, 얼굴/홍채의 결제, 3D 뷰티, 스튜디오 조명 효과 및 Animoji 등 서비스 시나리오에 사용될 수 있다.
일 예에 있어서, 제1 카메라 모듈(10) 및 제2 카메라 모듈(20) 중 각 카메라의 관측 시야는 상이할 수 있고, 두 개의 크기 관계는 한정하지 않는다. 이러한 경우, 프로세서(40)는 두 개의 카메라의 관측 시야를 결합하여, 제1 이미지 및 제2 이미지로부터 상응하는 사이즈의 이미지를 크롭할 수 있고, 예를 들어, 제2 이미지로부터 추출된 베이어 서브 이미지로부터 한 프레임의 사이즈가 비교적 큰 이미지를 크롭한 다음, 제1 이미지로부터 한 프레임의 사이즈가 비교적 작은 이미지를 크롭하며, 즉 제2 이미지의 베이어 서브 이미지로부터 크롭된 이미지는 제1 이미지로부터 크롭된 이미지보다 크고, 다음 선후로 디스플레이하므로, 줌 효과에 도달할 수 있고, 본 실시예에서 광학 줌과 유사한 촬영 효과에 도달할 수 있으므로, 촬영 경험을 향상시킴에 있어서 유리하다.
다른 예에 있어서, 제2 이미지에 적외선 정보가 더 포함되는 것을 고려하여, 프로세서(40)는 제2 이미지로부터 제2 파장대 광선을 센싱하여 생성된 적외선 서브 이미지를 추출할 수 있고, 적외선 서브 이미지 주파수 대역에서의 고주파 정보가 제1 이미지의 주파수 대역에서의 정보보다 풍부하므로, 적외선 서브 이미지 및 제1 이미지를 융합할 수 있고, 예를 들어 적외선 서브 이미지의 고주파 정보를 추출하여 제1 이미지의 주파수 대역에 추가하여, 제1 이미지를 증가시키는 효과에 도달하므로, 융합된 제1 이미지의 세부 사항이 더욱 풍부하고, 선명도가 더욱 높아지며, 색상이 더욱 정확하도록 할 수 있다. 또한, 적외선 서브 이미지는 또한 전자 기기에서의 생물 인식 기능에 사용될 수 있고, 예를 들어 지문 잠금 해제, 얼굴 인식 등 시나리오에 사용될 수 있다.
또 하나의 예에 있어서, 적외선 광원이 구조광 광원일 수 있음을 고려하여, 계속 도 2를 참조하면, 적외선 광원에 구조광 광원이 포함될 경우, 프로세서(40)는 또한 적외선 서브 이미지에 기반하여 적외광 깊이 데이터를 획득할 수 있다. 예를 들어, 프로세서(40)는 적외선 광원(30)을 제어하여 특정한 방향의 빔을 물체 또는 배경 등 촬영 대상에 투사할 수 있고, 빔의 에코 신호의 강도 또는 스폿 크기 등 파라미터를 획득할 수 있으며; 기설정된 파라미터 및 거리의 대응 관계에 기반하여, 프로세서(40)는 촬영 대상으로부터 카메라로의 적외광 깊이 데이터를 얻을 수 있으며, 상기 적외광 깊이 데이터는 가시광 깊이 이미지에 비해, 물체 또는 배경 등 촬영 대상의 무늬 정보를 포함할 수 있다. 이러한 경우에, 프로세서(40)는 구체적인 시나리오에 따라 가시광 깊이 이미지 또는 적외광 깊이 데이터를 선택하여 사용할 수 있고, 예를 들어 고조도 시나리오(즉 환경 휘도값이 기설정된 휘도값보다 큰 것, 예를 들어 낮 시나리오), 촬영 대상이 반 투명 상태인 시나리오 또는 촬영 대상이 적외광을 흡수하는 시나리오 하에서 가시광 깊이 이미지를 사용할 수 있으며, 예를 들어 저조도 시나리오(즉 환경 휘도값이 기설정된 휘도값보다 낮은 것, 예를 들어 밤 시나리오), 촬영 대상이 무늬가 없는 물체인 시나리오 또는 촬영 대상이 주기적으로 반복되는 물체인 시나리오에서 적외광 깊이 데이터를 사용할 수 있으며; 가시광 깊이 이미지 또는 적외광 깊이 데이터를 융합하여 깊이 융합 이미지를 얻을 수도 있으며, 상기 깊이 융합 이미지는 가시광 깊이 이미지 및 적외광 깊이 데이터의 다양한 결함을 보완할 수 있으며, 대체적으로 모든 시나리오에 적용될 수 있으며, 특히 열악한 조명 조건, 무늬가 없는 물체이거나 주기적으로 중복되는 물체 등 시나리오에 적용될 수 있으므로, 깊이 데이터의 신뢰도를 향상시킴에 있어서 유리하다.
또 하나의 예에 있어서, 적외선 광원이 TOF 광원일 수 있음을 고려하여, 계속 도 2를 참조하면, 적외선 광원에 TOF 광원이 포함될 경우, 프로세서(40)는 또한 적외선 서브 이미지에 기반하여 적외광 깊이 데이터를 획득할 수 있고, 상기 적외광 깊이 데이터는 가시광 깊이 이미지에 비해, 물체 또는 배경 등 촬영 대상의 무늬 정보를 포함할 수 있다. 예를 들어, 프로세서(40)는 TOF 광원을 제어하여 특정 방향의 빔을 물체 또는 배경에 투사할 수 있고, 빔의 에코 신호의 송신 시간 및 리턴 시간의 시간차를 획득하여 물체로부터 카메라까지의 적외광 깊이 데이터를 계산할 수 있다. 이러한 경우에, 프로세서(40)는 구체적인 시나리오에 따라 가시광 깊이 이미지 또는 적외광 깊이 데이터를 선택하여 사용할 수 있고, 예를 들어 고조도 시나리오(즉 환경 휘도값이 기설정된 휘도값보다 큰 것, 예를 들어 낮 시나리오), 촬영 대상이 반 투명 상태인 시나리오 또는 촬영 대상이 적외광을 흡수하는 시나리오 하에서 가시광 깊이 이미지를 사용할 수 있으며, 예를 들어 저조도 시나리오(즉 환경 휘도값이 기설정된 휘도값보다 낮은 것, 예를 들어 밤 시나리오), 촬영 대상이 무늬가 없는 물체인 시나리오 또는 촬영 대상이 주기적으로 반복되는 물체인 시나리오에서 적외광 깊이 데이터를 사용할 수 있으며; 가시광 깊이 이미지 또는 적외광 깊이 데이터를 융합하여 깊이 융합 이미지를 얻을 수도 있으며, 상기 깊이 융합 이미지는 가시광 깊이 이미지 및 적외광 깊이 데이터의 결함을 보완할 수 있으며, 대체적으로 모든 시나리오에 적용될 수 있으며, 특히 열악한 조명 조건, 촬영 대상이 무늬가 없는 물체이거나 주기적으로 중복되는 물체인 것 등 시나리오에 적용될 수 있으므로, 깊이 데이터의 신뢰도를 향상시킴에 있어서 유리하다.
설명해야 할 것은, 본 실시예는 구조광 광원 또는 TOF 광원을 선택하는 것으로서, 카메라 모듈의 개진 또는 증가에 언급되지 않으므로, 설계 어려움이 크게 감소될 것이다.
여기까지, 본 발명의 실시예 중 카메라 컴포넌트에서의 제1 카메라 모듈은 제1 이미지를 수집할 수 있고 제2 카메라 모듈은 제2 이미지를 획득할 수 있으며, 제2 이미지로부터 베이어 서브 이미지 및 적외선 서브 이미지를 획득할 수 있으므로, 베이어 서브 이미지 및 적외선 서브 이미지 중 적어도 하나 및 제1 이미지에 대해 이미지 처리를 수행할 수 있고, 예를 들어 깊이 이미지를 획득하며, 즉 카메라 모듈 어레이에서 깊이 카메라를 설치할 필요없이 깊이 이미지를 획득할 수 있음으로써, 카메라 컴포넌트의 체적을 감소시킬 수 있고, 전자 기기에서 차지하는 공간을 감소시킬 수 있어, 전자 기기의 소형화 및 비용 절감에 유리하다.
본 발명의 실시예는 이미지 처리 방법을 더 제공하고, 도 4는 일 예시적 실시예에 따라 도시한 이미지 처리 방법의 흐름도이다. 도 4를 참조하면, 이미지 처리 방법은, 상기 실시예에서 제공한 카메라 컴포넌트에 적용되며, 상기 방법은 아래와 같은 단계를 포함할 수 있다.
단계 41에 있어서, 제1 카메라 모듈에 의해 생성된 제1 이미지 및 제2 카메라 모듈에 의해 생성된 제2 이미지를 획득하고; 상기 제2 이미지는 상기 제2 카메라 모듈이 제1 파장대 광선을 센싱하여 생성된 베이어 서브 이미지 및 제2 파장대 광선을 센싱하여 생성된 적외선 서브 이미지를 포함한다.
단계 42에 있어서, 상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행한다.
일 실시예에 있어서, 단계 42 중, 상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행하는 단계는,
상기 제1 이미지를 증강하기 위해, 상기 적외선 서브 이미지 및 상기 제1 이미지를 융합하는 단계를 포함할 수 있다.
일 실시예에 있어서, 단계 42 중, 상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행하는 단계는, 상기 베이어 서브 이미지 및 상기 제1 이미지에 따라 가시광 깊이 이미지를 획득하는 단계를 포함할 수 있다.
일 실시예에 있어서, 적외선 광원이 구조광 광원 또는 TOF 광원을 포함할 경우, 단계 42 중 , 상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행하는 단계는,
상기 가시광 깊이 이미지 및 상기 적외선 서브 이미지의 깊이 데이터를 융합하여, 깊이 융합 이미지를 획득하는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 방법은, 사용자의 줌 동작에 응답하여, 상기 제1 이미지 및 상기 베이어 서브 이미지에 기반하여 이미지 줌을 수행하는 단계를 더 포함할 수 있다.
이해할 수 있는 것은, 본 발명의 실시예에서 제공한 방법과 상기 카메라 컴포넌트의 동작 과정은 매칭되고, 구체적인 내용은 카메라 컴포넌트의 각 실시예의 내용을 참조할 수 있으며, 여기서 더이상 반복하여 설명하지 않는다.
본 발명의 실시예는 이미지 처리 장치를 더 제공하고, 도 5를 참조하면, 상기 장치는,
제1 카메라 모듈에 의해 생성된 제1 이미지 및 제2 카메라 모듈에 의해 생성된 제2 이미지를 획득하기 위한 이미지 획득 모듈(51) - 상기 제2 이미지는 상기 제2 카메라 모듈이 제1 파장대 광선을 센싱하여 생성된 베이어 서브 이미지 및 제2 파장대 광선을 센싱하여 생성된 적외선 서브 이미지를 포함함 - ; 및
상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행하기 위한 이미지 처리 모듈(52)을 포함할 수 있다.
일 실시예에 있어서, 상기 이미지 처리 모듈(52)은,
상기 제1 이미지를 증강하기 위해, 상기 적외선 서브 이미지 및 상기 제1 이미지를 융합하기 위한 이미지 증강 유닛을 포함할 수 있다.
일 실시예에 있어서, 상기 이미지 처리 모듈(52)은,
상기 베이어 서브 이미지 및 상기 제1 이미지에 따라 가시광 깊이 이미지를 획득하기 위한 깊이 이미지 획득 유닛을 포함할 수 있다.
일 실시예에 있어서, 적외선 광원이 구조광 광원 또는 TOF 광원을 포함할 경우, 상기 이미지 처리 모듈은,
상기 가시광 깊이 이미지 및 상기 적외선 서브 이미지의 깊이 데이터를 융합하여, 깊이 융합 이미지를 획득하기 위한 깊이 정합 유닛을 포함한다.
일 실시예에 있어서, 상기 장치는,
사용자의 줌 동작에 응답하여, 상기 제1 이미지 및 상기 베이어 서브 이미지에 기반하여 이미지 줌을 수행하기 위한 줌 모듈을 더 포함할 수 있다.
이해할 수 있는 것은, 본 발명의 실시예에서 제공한 장치는 상기 방법 실시예에 대응되며, 구체적인 내용은 방법의 각 실시예의 내용을 참조할 수 있고, 여기서 더이상 반복하여 설명하지 않는다.
도 6은 일 예시적 실시예에 따라 도시한 전자 기기의 블록도이다. 예를 들어, 전자 기기(600)는 스마트폰, 컴퓨터, 디지털 방송 단말, 태블릿 기기, 의료 기기, 헬스 기기, 개인용 정보 단말 등일 수 있다.
도 6를 참조하면, 전자 기기(600)는 처리 컴포넌트(602), 메모리(604), 전원 컴포넌트(606), 멀티미디어 컴포넌트(608), 오디오 컴포넌트(610), 입력/출력(I/O) 인터페이스(612), 센서 컴포넌트(614), 통신 컴포넌트(616) 및 이미지 수집 컴포넌트(618) 중 하나 또는 복수 개의 컴포넌트를 포함할 수 있다.
처리 컴포넌트(602)는 일반적으로 디스플레이, 전화 통화, 데이터 통신, 카메라 동작 및 기록 동작과 관련된 동작과 같은 전자 기기(600)의 전체적인 동작을 처리한다. 처리 컴포넌트(602)는, 하나 또는 복수 개의 프로세서(620)를 포함하여 컴퓨터 프로그램을 실행할 수 있다. 또한, 처리 컴포넌트(602)는 처리 컴포넌트(602) 및 다른 컴포넌트 사이의 상호 작용을 용이하게 하기 위해, 하나 또는 복수 개의 모듈을 포함할 수 있다. 예를 들어, 처리 컴포넌트(602)는 멀티미디어 컴포넌트(608) 및 처리 컴포넌트(602) 사이의 상호 작용을 용이하게 하기 위해, 멀티미디어 모듈을 포함할 수 있다.
메모리(604)는 전자 기기(600)의 동작을 지원하기 위해, 다양한 타입의 데이터를 저장하도록 구성된다. 이러한 데이터의 예는 전자 기기(600)에서 동작하는 임의의 애플리케이션 프로그램 또는 방법의 컴퓨터 프로그램, 연락인 데이터, 전화번호부 데이터, 메시지, 사진, 비디오 등을 포함한다. 메모리(604)는 정적 랜덤 액세스 메모리(Static Random Access Memory, SRAM), 전기적 소거 가능한 프로그래머블 판독 전용 메모리(Electrically Erasable Programmable Read Only Memory, EEPROM), 소거 가능한 프로그래머블 판독 전용 메모리(Erasable Programmable Read Only Memory, EPROM), 프로그래머블 판독 전용 메모리(Programmable Read Only Memory, PROM), 판독 전용 메모리(Read Only Memory, ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크 중 어느 한 타입의 휘발성 또는 비 휘발성 저장 기기 또는 이들의 조합에 의해 구현될 수 있다.
전원 컴포넌트(606)는 전자 기기(600)의 다양한 컴포넌트에 전력을 공급한다. 전원 컴포넌트(606)는 전력 관리 시스템, 하나 또는 복수 개의 전력 및 전자 기기(600)를 위해 전력을 생성, 관리 및 분배하는 것과 관련된 다른 컴포넌트를 포함할 수 있다. 전원 컴포넌트(606)는 전원 칩을 포함할 수 있고, 컨트롤러는 전원 칩과 통신할 수 있음으로써, 전원 칩이 스위치 소재를 도통하거나 차단하도록 제어하여, 배터리가 메인 보드 회로에게 전원을 공급하거나 전원을 공급하지 않도록 한다.
멀티미디어 컴포넌트(608)는 전자 기기(600) 및 타겟 대상 사이의 하나의 출력 인터페이스를 제공하는 스크린을 포함한다. 일부 실시예에 있어서, 스크린은 액정 모니터(Liquid Crystal Display, LCD) 및 터치 패널(Touch Panel, TP)을 포함할 수 있다. 스크린이 터치 패널을 포함하는 경우, 타겟 대상으로부터의 입력 신호를 수신하기 위해 스크린은 터치 스크린으로서 구현될 수 있다. 터치 패널은 터치, 슬라이드 및 터치 패널 상의 제스처를 감지하기 위한 하나 또는 복수 개의 터치 센서를 포함한다. 터치 센서는 터치 또는 슬라이드 동작의 경계를 감지할 뿐만 아니라, 터치나 슬라이드 동작과 관련된 지속 시간 및 압력을 검출할 수 있다.
오디오 컴포넌트(610)는 오디오 신호를 출력하는 것 및 입력하는 것 중 적어도 하나를 수행하도록 구성된다. 예를 들어, 오디오 컴포넌트(610)는 하나의 마이크로폰(MICrophone, MIC)을 포함하며, 전자 기기(600)가 콜 모드, 녹음 모드 및 음성 인식 모드와 같은 동작 모드에 있을 경우, 마이크로폰은 외부 오디오 신호를 수신하도록 구성된다. 수신된 오디오 신호는 메모리(604)에 추가로 저장되거나 통신 컴포넌트(616)에 의해 전송될 수 있다. 일부 실시예에 있어서, 오디오 컴포넌트(610)는 오디오 신호를 출력하기 위한 하나의 스피커를 더 포함한다.
I/ O 인터페이스(612)는 처리 컴포넌트(602)와 외부 인터페이스 모듈 사이에서 인터페이스를 제공하고, 상기 외부 인터페이스 모듈은 키보드, 클릭 휠, 버튼 등일 수 있다.
센서 컴포넌트(614)는 전자 기기(600)를 위해 다양한 측면의 상태 평가를 제공하기 위한 하나 또는 복수 개의 센서를 포함한다. 예를 들어, 센서 컴포넌트(614)는 전자 기기(600)의 온/오프 상태, 컴포넌트의 상대 위치를 검출할 수 있으며, 예를 들어, 컴포넌트는 전자 기기(600)의 스크린과 키패드이며, 센서 컴포넌트(614)는 전자 기기(600) 또는 하나의 컴포넌트의 위치 변화, 타겟 대상과 전자 기기(600) 접촉의 존재 유무, 전자 기기(600) 방향 또는 가속/감속 및 전자 기기(600)의 온도 변화를 검출할 수 있다.
통신 컴포넌트(616)는 전자 기기(600)와 다른 기기 사이의 유선 또는 무선 방식으로 통신을 용이하게 하도록 구성된다. 전자 기기(600)는 WiFi, 2G 또는 3G 또는 이들의 조합과 같은 통신 기준에 기반한 무선 인터넷에 액세스할 수 있다. 하나의 예시적 실시예에 있어서, 통신 컴포넌트(616)는 방송 채널에 의해 외부 방송 관리 시스템으로부터의 방송 신호 또는 방송 관련 정보를 수신한다. 하나의 예시적 실시예에 있어서, 통신 컴포넌트(616)는 근거리 통신을 추진하는 근거리 무선 통신(Near Field Communication, NFC) 모듈을 더 포함한다. 예를 들어, NFC 모듈은 무선 주파수 식별자(Radio Frequency Identification, RFID) 기술, 적외선 통신 규격(Infrared Data Association, IrDA) 기술, 초광대역 (Ultra Wideband, UWB) 기술, 블루투스 기술 및 다른 기술에 기반하여 구현될 수 있다.
이미지 수집 컴포넌트(618)는 이미지를 수집하도록 구성된다. 예를 들어, 이미지 수집 컴포넌트(618)는 상기 실시예에서 제공한 카메라 컴포넌트를 사용하여 구현될 수 있다.
예시적 실시예에 있어서, 전자 기기(600)는 하나 또는 복수 개의 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디지털 신호 처리 장치(Digital Signal Processor Device, DSPD), 프로그래머블 논리 장치(Programmable Logic Device, PLD), 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 또는 다른 전자 부품에 의해 구현된다.
예시적 실시예에 있어서, 실행 가능한 컴퓨터 프로그램을 포함하는 메모리(604)와 같은 명령어를 포함하는 비 일시적 판독 가능 저장 매체를 제공하며, 상기 실행 가능한 컴퓨터 프로그램은 프로세서(1620)에 의해 실행될 수 있다. 여기서, 판독 가능 저장 매체는 ROM, 랜덤 액세스 메모리(RAM), CD-ROM, 자기 테이프, 플로피 디스크 및 광학 데이터 저장 기기 등일 수 있다.
본 기술분야의 기술자는 명세서를 고려하고 본 명세서에 개시된 발명을 실천한 후, 본 발명의 다른 실시방안을 용이하게 생각해낼 수 있을 것이다. 본 발명은 임의의 변형, 용도 또는 적응성 변화를 포함하도록 의도되며, 이러한 변형, 용도 또는 적응성 변화는 본 개시의 일반적인 원리에 따르며, 본 개시에서 개시되지 않은 본 기술분야의 공지된 상식이나 통상적인 기술수단을 포함한다. 명세서 및 실시예는 다만 예시적인 것으로 간주되며, 본 발명의 진정한 범위 및 사상은 아래의 청구범위에 의해 지적된다.
이해해야 할 것은, 본 발명은 위에서 설명되고 도면에 도시된 정확한 구조에 한정되지 않으며, 이 범위를 벗어나지 않고 다양한 수정 및 변경을 진행할 수 있다. 본 발명의 범위는 첨부된 청구범위에 의해서만 한정된다.

Claims (15)

  1. 카메라 컴포넌트로서,
    제1 파장대 광선을 센싱하는 제1 카메라 모듈, 제1 파장대 광선 및 제2 파장대 광선을 센싱하는 제2 카메라 모듈, 제2 파장대 광선을 송신하는 적외선 광원 및 프로세서를 포함하고; 상기 프로세서는 각각 상기 제1 카메라 모듈, 상기 제2 카메라 모듈 및 상기 적외선 광원에 연결되며;
    상기 제1 카메라 모듈은, 상기 프로세서의 제어 하에서 제1 이미지를 생성하기 위한 것이고;
    상기 적외선 광원은, 상기 프로세서의 제어 하에서 제2 파장대 광선을 송신하기 위한 것이며;
    상기 제2 카메라 모듈은, 상기 프로세서의 제어 하에서 제2 이미지를 생성하기 위한 것이며; 상기 제2 이미지는 제1 파장대 광선을 센싱하여 생성된 베이어 서브 이미지 및 제2 파장대 광선을 센싱하여 생성된 적외선 서브 이미지를 포함하며;
    상기 프로세서는 또한, 상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행하기 위한 것이며,
    상기 프로세서는 또한, 상기 제1 이미지를 증강하기 위해, 상기 적외선 서브 이미지의 고주파 정보 및 상기 제1 이미지를 융합하는 것
    임을 특징으로 하는 카메라 컴포넌트.
  2. 제1항에 있어서,
    상기 적외선 광원은 적외선 투광 광원, 구조광 광원 또는 TOF 광원 중 적어도 하나를 포함하는 것을 특징으로 하는 카메라 컴포넌트.
  3. 제1항에 있어서,
    상기 제1 카메라 모듈 및 상기 제2 카메라 모듈 중 렌즈의 관측 시야는 상이한 것을 특징으로 하는 카메라 컴포넌트.
  4. 이미지 처리 방법으로서,
    제1 카메라 모듈에 의해 생성된 제1 이미지 및 제2 카메라 모듈에 의해 생성된 제2 이미지를 획득하는 단계 - 상기 제2 이미지는 상기 제2 카메라 모듈이 제1 파장대 광선을 센싱하여 생성된 베이어 서브 이미지 및 제2 파장대 광선을 센싱하여 생성된 적외선 서브 이미지를 포함함 - ; 및
    상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행하는 단계를 포함하고,
    상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행하는 단계는,
    상기 제1 이미지를 증강하기 위해, 상기 적외선 서브 이미지의 고주파 정보 및 상기 제1 이미지를 융합하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  5. 삭제
  6. 제4항에 있어서,
    상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행하는 단계는,
    상기 베이어 서브 이미지 및 상기 제1 이미지에 따라 가시광 깊이 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  7. 제6항에 있어서,
    적외선 광원이 구조광 광원 또는 TOF 광원을 포함할 경우, 상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행하는 단계는,
    상기 가시광 깊이 이미지 및 상기 적외선 서브 이미지의 깊이 데이터를 융합하여, 깊이 융합 이미지를 획득하는 단계를 포함하는 것을 특징으로 하는 이미지 처리 방법.
  8. 제4항에 있어서,
    상기 이미지 처리 방법은,
    사용자의 줌 동작에 응답하여, 상기 제1 이미지 및 상기 베이어 서브 이미지에 기반하여 이미지 줌을 수행하는 단계를 더 포함하는 것을 특징으로 하는 이미지 처리 방법.
  9. 이미지 처리 장치로서,
    제1 카메라 모듈에 의해 생성된 제1 이미지 및 제2 카메라 모듈에 의해 생성된 제2 이미지를 획득하기 위한 이미지 획득 모듈 - 상기 제2 이미지는 상기 제2 카메라 모듈이 제1 파장대 광선을 센싱하여 생성된 베이어 서브 이미지 및 제2 파장대 광선을 센싱하여 생성된 적외선 서브 이미지를 포함함 - ; 및
    상기 베이어 서브 이미지 및 상기 적외선 서브 이미지 중 적어도 하나와 상기 제1 이미지에 대해 이미지 처리를 수행하기 위한 이미지 처리 모듈을 포함하고,
    상기 이미지 처리 모듈은,
    상기 제1 이미지를 증강하기 위해, 상기 적외선 서브 이미지의 고주파 정보 및 상기 제1 이미지를 융합하기 위한 이미지 증강 유닛을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  10. 삭제
  11. 제9항에 있어서,
    상기 이미지 처리 모듈은,
    상기 베이어 서브 이미지 및 상기 제1 이미지에 따라 가시광 깊이 이미지를 획득하기 위한 깊이 이미지 획득 유닛을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  12. 제11항에 있어서,
    적외선 광원이 구조광 광원 또는 TOF 광원을 포함할 경우, 상기 이미지 처리 모듈은,
    상기 가시광 깊이 이미지 및 상기 적외선 서브 이미지의 깊이 데이터를 융합하여, 깊이 융합 이미지를 획득하기 위한 깊이 정합 유닛을 포함하는 것을 특징으로 하는 이미지 처리 장치.
  13. 제9항에 있어서,
    상기 이미지 처리 장치는,
    사용자의 줌 동작에 응답하여, 상기 제1 이미지 및 상기 베이어 서브 이미지에 기반하여 이미지 줌을 수행하기 위한 줌 모듈을 더 포함하는 것을 특징으로 하는 이미지 처리 장치.
  14. 전자 기기로서,
    카메라 컴포넌트;
    프로세서; 및
    상기 프로세서가 실행 가능한 컴퓨터 프로그램을 저장하기 위한 메모리를 포함하고;
    상기 프로세서는 제4항, 제6항 내지 제8항 중 적어도 하나에 따른 이미지 처리 방법의 단계를 구현하기 위해 상기 메모리에서의 컴퓨터 프로그램을 실행하도록 구성된 것을 특징으로 하는 전자 기기.
  15. 실행 가능한 컴퓨터 프로그램이 저장되어 있는 판독 가능한 저장 매체로서,
    상기 컴퓨터 프로그램이 실행될 경우 제4항, 제6항 내지 제8항 중 적어도 하나에 따른 이미지 처리 방법의 단계를 구현하는 것을 특징으로 하는 판독 가능한 저장 매체.
KR1020217006592A 2020-05-27 2020-05-27 이미지 처리 방법 및 장치, 카메라 컴포넌트, 전자 기기, 저장 매체 KR102458470B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/092507 WO2021237493A1 (zh) 2020-05-27 2020-05-27 图像处理方法及装置、相机组件、电子设备、存储介质

Publications (2)

Publication Number Publication Date
KR20210149018A KR20210149018A (ko) 2021-12-08
KR102458470B1 true KR102458470B1 (ko) 2022-10-25

Family

ID=78745233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217006592A KR102458470B1 (ko) 2020-05-27 2020-05-27 이미지 처리 방법 및 장치, 카메라 컴포넌트, 전자 기기, 저장 매체

Country Status (6)

Country Link
US (1) US20230076534A1 (ko)
EP (1) EP3941042A1 (ko)
JP (1) JP7321187B2 (ko)
KR (1) KR102458470B1 (ko)
CN (1) CN114073063B (ko)
WO (1) WO2021237493A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106534633A (zh) * 2016-10-27 2017-03-22 深圳奥比中光科技有限公司 一种组合摄像系统、移动终端及图像处理方法
US20170264884A1 (en) * 2016-03-08 2017-09-14 Altek Semiconductor Corp. Electronic apparatus and method of generating depth map
JP2019500613A (ja) 2015-12-22 2019-01-10 アキフィ，インコーポレイティド 奥行き知覚３眼カメラシステム
US20190200002A1 (en) 2017-12-22 2019-06-27 Pioneer Materials Inc. Chengdu 3d depth image acquiring method and apparatus, and image acquisition device

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10831093B1 (en) * 2008-05-19 2020-11-10 Spatial Cam Llc Focus control for a plurality of cameras in a smartphone
US8194149B2 (en) * 2009-06-30 2012-06-05 Cisco Technology, Inc. Infrared-aided depth estimation
TWI507807B (zh) * 2011-06-24 2015-11-11 Mstar Semiconductor Inc 自動對焦方法與裝置
KR20140125984A (ko) * 2013-04-19 2014-10-30 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치와 시스템
KR20150004989A (ko) * 2013-07-03 2015-01-14 한국전자통신연구원 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법
JP2016082390A (ja) 2014-10-16 2016-05-16 ソニー株式会社 信号処理装置
TWI590659B (zh) * 2016-05-25 2017-07-01 宏碁股份有限公司 影像處理方法及攝像裝置
US10699395B2 (en) * 2016-10-14 2020-06-30 Mitsubishi Electric Corporation Image processing device, image processing method, and image capturing device
CN106780392B (zh) * 2016-12-27 2020-10-02 浙江大华技术股份有限公司 一种图像融合方法及装置
CN106982327B (zh) * 2017-03-31 2020-02-28 北京小米移动软件有限公司 图像处理方法和装置
CN107395974B (zh) * 2017-08-09 2019-09-13 Oppo广东移动通信有限公司 图像处理系统及方法
CN108259722A (zh) * 2018-02-27 2018-07-06 厦门美图移动科技有限公司 成像方法、装置及电子设备
CN108234984A (zh) * 2018-03-15 2018-06-29 百度在线网络技术（北京）有限公司 双目深度相机系统和深度图像生成方法
US10771766B2 (en) * 2018-03-30 2020-09-08 Mediatek Inc. Method and apparatus for active stereo vision
CN110349196B (zh) 2018-04-03 2024-03-29 联发科技股份有限公司 深度融合的方法和装置
CN112262567A (zh) * 2018-07-17 2021-01-22 韦斯特尔电子工业和贸易有限责任公司 具有恰好两个相机的设备以及使用该设备生成两个图像的方法
JP7191597B2 (ja) 2018-08-30 2022-12-19 キヤノン株式会社 撮像装置及びそれを備える監視システム、制御方法並びにプログラム
CN109544618B (zh) * 2018-10-30 2022-10-25 荣耀终端有限公司 一种获取深度信息的方法及电子设备
CN110246108B (zh) * 2018-11-21 2023-06-20 浙江大华技术股份有限公司 一种图像处理方法、装置及计算机可读存储介质
CN110213501A (zh) * 2019-06-25 2019-09-06 浙江大华技术股份有限公司 一种抓拍方法、装置、电子设备及存储介质
CN111062378B (zh) * 2019-12-23 2021-01-26 重庆紫光华山智安科技有限公司 图像处理方法、模型训练方法、目标检测方法及相关装置
CN114125193A (zh) * 2020-08-31 2022-03-01 安霸国际有限合伙企业 使用具有结构光的rgb-ir传感器得到无污染视频流的计时机构

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019500613A (ja) 2015-12-22 2019-01-10 アキフィ，インコーポレイティド 奥行き知覚３眼カメラシステム
US20170264884A1 (en) * 2016-03-08 2017-09-14 Altek Semiconductor Corp. Electronic apparatus and method of generating depth map
CN106534633A (zh) * 2016-10-27 2017-03-22 深圳奥比中光科技有限公司 一种组合摄像系统、移动终端及图像处理方法
US20190200002A1 (en) 2017-12-22 2019-06-27 Pioneer Materials Inc. Chengdu 3d depth image acquiring method and apparatus, and image acquisition device

Also Published As

Publication number Publication date
US20230076534A1 (en) 2023-03-09
EP3941042A4 (en) 2022-01-19
JP7321187B2 (ja) 2023-08-04
JP2022538947A (ja) 2022-09-07
EP3941042A1 (en) 2022-01-19
KR20210149018A (ko) 2021-12-08
WO2021237493A1 (zh) 2021-12-02
CN114073063B (zh) 2024-02-13
CN114073063A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN108419016B (zh) 拍摄方法、装置及终端
KR20200019728A (ko) 촬영 이동 단말
US9300858B2 (en) Control device and storage medium for controlling capture of images
US8576320B2 (en) Digital photographing apparatus and method of controlling the same
CN108040204B (zh) 一种基于多摄像头的图像拍摄方法、装置及存储介质
KR20140140855A (ko) 촬영 장치의 자동 초점 조절 방법 및 장치
CN106506958B (zh) 一种采用移动终端进行拍摄的方法和移动终端
JP2011217103A (ja) 複眼撮影方法および装置
CN104506770A (zh) 拍摄图像的方法及装置
KR102458470B1 (ko) 이미지 처리 방법 및 장치, 카메라 컴포넌트, 전자 기기, 저장 매체
CN112653841B (zh) 拍摄方法、装置和电子设备
CN114339022B (zh) 摄像头拍摄参数确定方法、神经网络模型的训练方法
CN107707819B (zh) 图像拍摄方法、装置及存储介质
CN114979455A (zh) 拍摄方法、装置以及存储介质
CN114189622A (zh) 图像拍摄方法、装置、电子设备及存储介质
CN114244999A (zh) 自动对焦的方法、装置、摄像设备及存储介质
EP3926944A1 (en) Method and apparatus for displaying captured preview image, and medium
KR102661185B1 (ko) 전자 장치 및 그의 이미지 촬영 방법
WO2019061051A1 (zh) 一种拍照方法和拍照装置
JP2014220618A (ja) 画像処理装置
CN109862252B (zh) 图像拍摄方法及装置
CN116980766A (zh) 图像拍摄方法、装置、终端及存储介质
CN112752030A (zh) 拍摄方法、拍摄装置及存储介质
CN115706848A (zh) 对焦控制方法、装置、电子设备及存储介质
CN114827444A (zh) 对焦方法及装置、拍摄设备、电子设备、存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant