KR20200138298A - 이미지 처리 방법, 컴퓨터 판독 가능 저장 매체, 및 전자 기기 - Google Patents
이미지 처리 방법, 컴퓨터 판독 가능 저장 매체, 및 전자 기기 Download PDFInfo
- Publication number
- KR20200138298A KR20200138298A KR1020207030579A KR20207030579A KR20200138298A KR 20200138298 A KR20200138298 A KR 20200138298A KR 1020207030579 A KR1020207030579 A KR 1020207030579A KR 20207030579 A KR20207030579 A KR 20207030579A KR 20200138298 A KR20200138298 A KR 20200138298A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- initial
- camera
- depth
- images
- Prior art date
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims description 57
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000004806 packaging method and process Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000872 buffer Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000002366 time-of-flight method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- H04N5/2258—
-
- H04N5/23229—
-
- H04N5/2353—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H04N9/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- Computing Systems (AREA)
- Optics & Photonics (AREA)
- Library & Information Science (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
이미지 처리 방법, 컴퓨터 판독 가능 저장 매체, 및 전자 기기가 개시된다. 이 방법은, 노출 기간 동안 제 1 프레임 레이트로 제 1 카메라(102)에 의해 제 1 초기 이미지(802)를 획득하고, 상기 노출 기간 동안 제 2 프레임 레이트로 제 2 카메라(104)에 의해 적어도 두 개의 제 2 초기 이미지(822)를 획득하는 단계(202); 및 적어도 두 개의 제 2 초기 이미지(822)를 하나의 제 2 타겟 이미지로 스티칭하는 단계(204)를 포함하며, 상기 제 2 타겟 이미지는 깊이 이미지(824)이다. 상기 제 1 프레임 레이트는 상기 제 2 프레임 레이트보다 작고, 상기 제 2 초기 이미지(822) 각각은 깊이 정보를 갖는 이미지이다.
Description
본 발명은 컴퓨터 분야에 관한 것으로, 특히, 이미지 처리 방법, 컴퓨터 판독 가능 저장 매체, 및 전자 기기에 관한 것이다.
물체를 촬영할 때 지능형 장치는 물체의 색상 정보뿐만 아니라 물체의 깊이 정보도 캡처할 수 있다. 깊이 정보를 이용함으로써 이미지의 색상 정보를 보다 정확하게 처리할 수 있다. 예를 들어, 깊이 정보를 기반으로 이미지에서 근거리와 원거리를 식별함으로써, 근거리와 원거리의 색상을 상이한 방식으로 처리하는 것이 가능하다. 깊이 정보에 기초하여 식별된 사람의 얼굴이 살아 있는지 여부를 판단하여 살아있는 사람의 얼굴에 미화 처리를 수행하는 것도 가능하다. 양안 범위 방법(binocular ranging), 구조 광 방법(structured light), 비행 시간 방법(time of flight) 등과 같은 이미지 처리 방법을 사용하여 상기 깊이 정보를 캡처하는 방법에는 여러 가지가 있다.
그러나, 깊이 카메라 (TOF(Time of Flight) 카메라와 같이 깊이 이미지를 캡처할 수있는 카메라)는 가시 광선 카메라와 일치하지 않는 캡처 주파수를 갖는다. TOF 카메라를 예로 들면, 동일한 노출 기간 동안 TOF 카메라에 의해 캡처된 이미지에서 프레임 손실이 나타나기 쉽다. 일단 프레임 손실이 발생하면 양안 보정이 부정확하고 이미지 획득 시스템의 안정성이 떨어진다.
전자 기기를 위한 이미지 처리 방법이 제공된다. 상기 방법은: 노출 기간 동안 제 1 프레임 레이트로 제 1 카메라에 의해 제 1 초기 이미지를 획득하는 단계; 상기 노출 기간 동안 제 2 프레임 레이트로 제 2 카메라에 의해 적어도 두 개의 제 2 초기 이미지를 획득하며, 상기 제 1 프레임 레이트는 상기 제 2 프레임 레이트보다 작고, 상기 제 2 초기 이미지들 각각은 깊이 정보를 갖는 이미지인 단계; 및 추가 처리를 위해 상기 적어도 두 개의 제 2 초기 이미지를 하나의 깊이 이미지로 스티칭하는 단계를 포함할 수 있다.
프로세서에 의해 실행될 때, 상기 프로세서가 전술한 바와 같은 이미지 처리 방법을 수행하게 하는 프로그램을 저장하는 컴퓨터 판독 가능 저장 매체.
전자 기기가 제공된다. 상기 전자 기기는 메모리 및 프로세서를 포함하고, 상기 메모리는 프로세서에 의해 실행될 때, 상기 프로세서가 전술한 바와 같은 이미지 처리 방법을 수행하게 하는 프로그램을 저장한다.
본 발명의 실시예 또는 관련 기술의 기술적 해결책을 명확하게 설명하기 위해, 실시예 또는 관련 기술에 대한 설명에 필요한 도면을 이하에서 간단히 소개한다. 이하 설명되는 도면은 본 발명의 일부 실시예일뿐임이 명백하다. 다른 도면은 창의적인 작업없이 이러한 도면에 따라 당업자에 의해 추가로 획득될 수 있다.
도 1은 본 발명의 일부 실시예에 따른 이미지 처리 방법의 적용 가능한 환경을 나타낸 도면이다.
도 2는 본 발명의 일부 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 3은 본 발명의 일부 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 4는 본 발명의 일부 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 5는 본 발명의 일부 실시예에 따른 TOF에 의한 깊이 정보 계산 원리를 나타낸 개략도이다.
도 6은 본 발명의 일부 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 7은 본 발명의 일부 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 8은 본 발명의 일부 실시예에 따른 이미지 처리 플로우을 나타내는 개략도이다.
도 9는 본 발명의 일부 실시예에 따른 이미지 처리 방법을 구현하기 위한 소프트웨어 프레임 워크를 나타내는 블록도이다.
도 10은 본 발명의 일부 실시예에 따른 이미지 처리 장치의 블록도이다.
도 11은 본 발명의 일부 실시예에 따른 이미지 처리 회로의 블록도이다.
도 1은 본 발명의 일부 실시예에 따른 이미지 처리 방법의 적용 가능한 환경을 나타낸 도면이다.
도 2는 본 발명의 일부 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 3은 본 발명의 일부 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 4는 본 발명의 일부 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 5는 본 발명의 일부 실시예에 따른 TOF에 의한 깊이 정보 계산 원리를 나타낸 개략도이다.
도 6은 본 발명의 일부 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 7은 본 발명의 일부 실시예에 따른 이미지 처리 방법의 흐름도이다.
도 8은 본 발명의 일부 실시예에 따른 이미지 처리 플로우을 나타내는 개략도이다.
도 9는 본 발명의 일부 실시예에 따른 이미지 처리 방법을 구현하기 위한 소프트웨어 프레임 워크를 나타내는 블록도이다.
도 10은 본 발명의 일부 실시예에 따른 이미지 처리 장치의 블록도이다.
도 11은 본 발명의 일부 실시예에 따른 이미지 처리 회로의 블록도이다.
본 발명의 목적, 기술적 해결책 및 이점을 보다 명확하게 하기 위해, 본 발명은 도면 및 실시예와 결합하여 이하에서 더 상세히 설명될 것이다. 본 명세서에 설명된 특정 실시예는 본 발명을 설명하기 위해서만 사용되며 본 발명을 제한하려는 의도가 아님을 이해해야한다.
본 발명에서 사용되는 "제 1", "제 2" 등의 용어는 본 발명에서 다양한 구성 요소를 설명하기 위해 설정될 수 있지만 이러한 구성 요소를 제한하려는 의도는 아님을 이해할 수 있다. 이러한 용어는 제 1 구성 요소를 다른 구성 요소와 구별하는 데만 사용된다. 예를 들어, 본 발명의 범위를 벗어나지 않으면서, 제 1 클라이언트는 제 2 클라이언트로 지칭될 수 있다. 유사하게, 제 2 클라이언트는 제 1 클라이언트로 지칭될 수 있다. 제 1 클라이언트와 제 2 클라이언트는 둘 다 클라이언트일 수 있지만 동일한 클라이언트는 아니다.
일 양태에서, 전자 기기를 위한 이미지 처리 방법이 제공될 수 있다. 상기 방법은: 노출 기간 동안 제 1 프레임 레이트로 제 1 카메라에 의해 제 1 초기 이미지를 획득하고, 상기 노출 기간 동안 제 2 프레임 레이트로 제 2 카메라에 의해 적어도 두 개의 제 2 초기 이미지를 획득하는 단계; 및 추가 처리를 위해 적어도 두 개의 제 2 초기 이미지를 하나의 깊이 이미지로 스티칭하는 단계를 포함할 수 있으며, 상기 제 1 프레임 레이트는 상기 제 2 프레임 레이트보다 작고, 상기 제 2 초기 이미지들 각각은 깊이 정보를 갖는 이미지이다.
일부 실시 예에서, 각각의 상기 제 2 초기 이미지는 이미지 데이터 및 상기 이미지 데이터에 대응하는 메타 데이터를 포함한다. 적어도 두 개의 제 2 초기 이미지를 하나의 깊이 이미지로 스티칭하는 단계는, 상기 제 2 초기 이미지 각각의 상기 이미지 데이터 및 상기 메타 데이터를 추출하는 단계; 추출된 이미지 데이터 및 메타 데이터를 패키징하는 단계; 및 상기 패키징된 이미지 데이터 및 메타 데이터를 깊이 포맷으로 저장하여 깊이 이미지를 생성하는 단계를 포함한다.
일부 실시 예에서, 추출된 이미지 데이터 및 메타 데이터를 패키징하는 단계는, 적어도 두 개의 초기 이미지의 상기 이미지 데이터 및 대응하는 메타 데이터를 스티칭하는 단계, 또는 노출 타이밍에 기초하여 적어도 두 개의 제 2 초기 이미지의 상기 이미지 데이터를 순차적으로 스티칭하는 단계를 포함한다.
일부 실시 예에서, 적어도 두 개의 제 2 초기 이미지 중 적어도 하나는 키 프레임이고, 적어도 두 개의 제 2 초기 이미지 중 적어도 하나는 비-키 프레임이다. 추출된 이미지 데이터 및 메타 데이터를 패키징하는 단계는, 키 프레임의 픽셀 포인트와 비-키 프레임의 대응 픽셀 포인트 사이의 위상차를 계산하는 단계; 상기 키 프레임의 이미지 데이터 및 메타 데이터를 추출하고, 계산된 위상차와 상기 키 프레임의 이미지 데이터 및 메타 데이터를 패키징하는 단계를 포함한다.
일부 실시 예에서, 상기 메타 데이터는 상기 제 2 초기 이미지를 획득하는 시퀀스를 나타내도록 구성된다. 적어도 두 개의 제 2 초기 이미지를 하나의 깊이 이미지로 스티칭하는 단계는, 상기 메타 데이터에 따라 적어도 두 개의 제 2 초기 이미지 중 적어도 하나가 손실되었는지 여부를 결정하는 단계; 상기 제 2 초기 이미지 중 어느 것도 손실되지 않았다는 결정에 기초하여, 상기 제 2 초기 이미지 및 대응하는 식별 정보를 패키징하는 단계; 및 상기 식별 정보에 따라 패키징된 상기 제 2 초기 이미지를 상기 깊이 이미지로 합성하는 단계를 포함한다.
일부 실시 예에서, 노출 기간 동안 제 2 프레임 레이트로 제 2 카메라에 의해 적어도 두 개의 제 2 초기 이미지를 획득하는 단계는, 상기 노출 기간 동안 상기 제 2 프레임 레이트로 적어도 2 개의 레이저 파를 방출하도록 레이저 방출기를 제어하며, 적어도 2 개의 레이저 파 각각이 물체에 의해 반사되어 반사된 레이저 파가 형성되는 단계; 및 상기 제 2 카메라에 의해, 상기 노출 기간 동안 상기 반사된 레이저 파에 의해 생성된 상기 적어도 두 개의 제 2 초기 이미지를 획득하는 단계를 포함한다.
일부 실시예에서, 상기 노출 기간 동안 제 2 프레임 레이트로 제 2 카메라에 의해 적어도 두 개의 제 2 초기 이미지를 획득하는 단계 후, 상기 방법은, 시차법 또는 위상차법을 이용하여 상기 적어도 두 개의 제 2 초기 이미지에 대응하는 깊이 정보를 계산하는 단계를 더 포함한다.
일부 실시 예에서, 상기 노출 기간 동안 제 1 프레임 레이트로 제 1 카메라에 의해 제 1 초기 이미지를 획득하고 상기 노출 기간 동안 제 2 프레임 레이트로 제 2 카메라에 의해 적어도 두 개의 제 2 초기 이미지를 획득하는 단계는, 이미지 캡처 명령이 검출되면, 상기 노출 기간 동안 상기 제 1 프레임 레이트로 상기 제 1 카메라에 의해 상기 제 1 초기 이미지를 획득하는 단계; 상기 제 2 초기 이미지의 개수를 획득하고, 상기 제 2 초기 이미지의 개수와 상기 제 1 프레임 레이트에 따라 상기 제 2 프레임 레이트를 계산하는 단계; 및 상기 노출 기간 동안 계산된 상기 제 2 프레임 레이트로 상기 제 2 카메라에 의해 상기 제 2 초기 이미지를 획득하는 단계를 포함한다.
일부 실시 예에서, 제 2 초기 이미지의 개수를 획득하는 단계는, 미리 설정된 제 2 초기 이미지의 개수를 획득하는 단계; 상기 이미지 캡처 명령에 포함된 애플리케이션 식별자에 대응하는 애플리케이션 레벨을 획득하고, 상기 애플리케이션 레벨에 따라 대응하는 상기 제 2 초기 이미지의 개수를 획득하는 단계; 및 상기 전자 기기의 지터 데이터(jitter data)를 획득하고, 상기 지터 데이터에 따라 대응하는 상기 제 2 초기 이미지의 개수를 획득하는 단계; 중 하나를 포함한다.
일부 실시 예에서, 상기 노출 기간 동안 제 1 프레임 레이트로 제 1 카메라에 의해 제 1 초기 이미지를 획득하고 상기 노출 기간 동안 제 2 프레임 레이트로 제 2 카메라에 의해 적어도 두 개의 제 2 초기 이미지를 획득하는 단계 후, 상기 방법은, 상기 제 1 초기 이미지가 캡처되는 제 1 시점 및 상기 제 2 초기 이미지 각각이 캡처되는 제 2 시점을 획득하는 단계; 상기 제 1 시점과 상기 제 2 시점 사이의 시간 간격이 간격 임계값 미만인지 판단하는 단계; 상기 제 1 시점과 상기 제 2 시점 사이의 상기 시간 간격이 상기 간격 임계값 미만이 아니라는 결정에 기초하여, 상기 제 1 초기 이미지 및 상기 적어도 두 개의 초기 이미지를 폐기하는 단계를 더 포함한다.
일부 실시 예에서, 상기 방법은 제 1 타겟 이미지를 생성하기 위해 상기 제 1 초기 이미지에 대해 제 1 포맷 변환을 수행하는 단계를 더 포함할 수 있다. 상기 깊이 이미지 및 상기 제 1 타겟 이미지는 타이밍에 있어 서로 동기적으로 대응한다. 상기 적어도 두 개의 제 2 초기 이미지를 하나의 깊이 이미지로 스티칭하는 단계는, 적어도 두 개의 제 2 초기 이미지를 패키징하고; 및 상기 깊이 이미지를 생성하기 위해 패키징된 제 2 초기 이미지에 대해 제 2 포맷 변환을 수행하는 단계를 포함할 수 있다.
일부 실시 예에서, 방법은 상기 제 1 타겟 이미지에서 타겟 객체를 식별하고; 상기 깊이 이미지에 따라 상기 타겟 객체에 대응하는 타겟 깊이 정보를 획득하는 단계; 및 상기 타겟 깊이 정보에 따라 상기 타겟 객체에 대한 처리를 수행하는 단계를 더 포함할 수 있다.
일부 실시 예에서, 상기 제 1 타겟 이미지를 생성하기 위해 상기 제 1 초기 이미지에 대해 제 1 포맷 변환을 수행하는 단계 후, 그리고 상기 제 1 타겟 이미지에서 타겟 객체를 식별하는 단계 전에, 상기 방법은, 상기 제 1 타겟 이미지 및 상기 깊이 이미지를 패키징하는 단계; 애플리케이션이 임계값보다 큰 레벨을 갖는 경우 상기 패키징된 제 1 타겟 이미지 및 깊이 이미지를 암호화하는 단계; 및 상기 암호화된 제 1 타겟 이미지 및 깊이 이미지를 애플리케이션으로 전송하는 단계를 더 포함한다.
또 다른 양태에서, 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 상기 컴퓨터 판독 가능 저장 매체는, 프로세서에 의해 실행될 때, 상기 프로세서가 전술 한 바와 같은 이미지 처리 방법을 수행하게 하는 프로그램을 저장한다.
추가 양태에서, 전자 기기가 제공될 수 있다. 상기 전자 기기는 메모리 및 프로세서를 포함할 수 있다. 상기 메모리는, 상기 프로세서에 의해 실행될 때, 상기 프로세서가 전술한 바와 같은 이미지 처리 방법을 수행하게 하는 컴퓨터 프로그램을 저장한다.
도 1은 본 발명의 일부 실시 예에 따른 이미지 처리 방법의 적용 가능한 환경을 나타낸 도면이다. 도 1에 도시된 바와 같이, 전자 기기(10)에 두 대의 카메라가 장착될 수 있다. 일부 실시 예에서, 상기 두 대의 카메라는 제 1 카메라(102) 및 제 2 카메라(104)를 포함할 수 있다. 보다 구체적으로, 상기 전자 기기(10)는 상기 제 1 카메라(102)와 상기 제 2 카메라(104)를 이용하여 촬영을 수행할 수 있다. 보다 구체적으로, 제 1 초기 이미지는 노출 기간 동안 제 1 프레임 레이트로 상기 제 1 카메라(102)에 의해 획득될 수 있고, 적어도 두 개의 제 2 초기 이미지는 상기 노출 기간 동안 제 2 프레임 레이트로 상기 제 2 카메라(104)에 의해 획득될 수 있다. 노출 기간. 일부 실시 예에서, 상기 제 1 프레임 레이트는 상기 제 2 프레임 레이트 미만일 수 있다. 이후, 상기 제 1 초기 이미지를 기반으로 제 1 타겟 이미지를 생성하고, 상기 제 2 초기 이미지를 기반으로 제 2 타겟 이미지(이하 "깊이 이미지"라고도 함)를 생성할 수 있다. 일부 실시 예에서, 상기 깊이 이미지는 상기 제 1 타겟 이미지에 대응하는 깊이 정보를 나타내도록 구성될 수 있다. 처리(Processing)는 상기 제 1 타겟 이미지 및 상기 깊이 이미지를 기반으로 수행될 수 있다. 상기 전자 기기(10)는 휴대폰, 컴퓨터, 웨어러블 기기 등일 수 있으며, 여기에 한정되지 않음을 이해할 수 있다. 일부 실시 예에서, 상기 제 1 카메라는 전하 결합 소자(CCD, Charge Coupled Device) 또는 상보적인 금속 산화 반도체(CMOS, Complementary Metal-Oxide-Semiconductor) 카메라와 같은 가시 광선 카메라(RGB 카메라라고도 함)일 수 있다. 상기 제 2 카메라는 레이저 타입의 비행 시간(TOF, Time of Flight) 카메라일 수 있다. 상기 제 2 카메라는 타겟 객체의 깊이 정보(즉, 상기 카메라부터 상기 타겟 객체까지의 거리 정보)를 수집할 수 있다.
TOF(Time of Flight) 기술은 고정밀 거리 측정을 위한 라이다(LIDAR, Light Detection and Ranging)에 사용될 수 있다. 상기 TOF 기술은 조명 유닛에서 방출된 빛이 상기 타겟 객체로 이동하고 검출기로 돌아오는데 필요한 시간을 측정하는데 기반한다. 현재, 이 원리에 따라, TOF 거리 측정, 즉 TOF 카메라는, 표준 CMOS 또는 CCD 기술로 이루어지고 있다. 상기 TOF 카메라는 범위 이미지(RIM, Range Image) 센서라고도 언급될 수 있다. 다른 3D 시스템과 달리, 상기 TOF 카메라는 타겟 객체와의 거리(즉, 깊이 정보)를 수집하는 차세대 카메라가 되었다. 현재, 상기 TOF 기술은 두 가지 방법으로 달성할 수 있다. 첫 번째 방법은 변조된 비간섭성 빛을 활용하고, 위상차법이라고 일컬어지는 위상 기반 측정을 수행할 수 있다. 두 번째 방법은 펄스 신호의 지속적인 송수신을 기반으로 하는 시차에 따라 타겟 객체의 거리를 계산할 수 있으며, 이를 시차법이라고도 할 수 있다.
도 2는 본 발명의 일부 실시 예에 따른 이미지 처리 방법의 흐름도이다. 도 2에 도시된 바와 같이, 상기 이미지 처리 방법은 블록 202 내지 208에 의해 실행되는 동작/작업을 포함할 수 있다.
블록 202에서, 노출 기간 동안 제 1 프레임 레이트로 제 1 카메라에 의해 제 1 초기 이미지가 획득될 수 있고, 상기 노출 기간 동안 제 2 프레임 레이트로 제 2 카메라에 의해 적어도 두 개의 제 2 초기 이미지가 획득될 수 있다. 일부 실시 예에서, 상기 제 1 프레임 레이트는 제 2 프레임 레이트보다 작을 수 있다. 상기 제 2 카메라는 (깊이 이미지를 캡처하도록 구성된 깊이 카메라의 일종인) TOF 카메라일 수 있고, 상기 제 2 초기 이미지 각각은 깊이 정보를 갖는 깊이 이미지일 수 있다. 물론, 일부 실시 예에서, 상기 제 2 카메라는 또한, 양안 범위 방법 또는 구조 광 방법에 기반한 깊이 카메라와 같은 다른 유형의 깊이 카메라일 수도 있다.
카메라는 상기 전자 기기에 장착될 수 있으며, 장착된 카메라에 의해 이미지를 획득할 수 있다. 상기 카메라는 상이한 획득된 이미지에 따라, 레이저 카메라, 가시 광선 카메라 등으로 구분될 수 있다. 레이저 카메라는 물체에 레이저를 조사하여 형성된 이미지를 획득할 수 있고, 가시 이미지는 물체에 가시 광선을 조사하여 형성된 이미지를 획득할 수 있다. 전자 기기에는 여러 대의 카메라가 장착될 수 있으며, 상기 카메라 장착 위치는 여기에서 제한되지 않을 수 있다. 예를 들어, 일부 실시 예에서, 하나의 카메라는 전자 기기의 전면 패널에 장착될 수 있고, 두 대의 카메라는 후면 패널에 장착될 수 있다. 상기 카메라는 또한 전자 기기의 내부에 내장된 후, 회전 또는 슬라이딩 방식으로 카메라를 켤 수 있다. 보다 구체적으로, 전방 카메라 및 후방 카메라가 전자 기기에 장착될 수 있다. 상기 전방 카메라와 후방 카메라는 각각 다른 시야각에서 이미지를 획득할 수 있다. 일반적으로 전방 카메라는 전자 기기의 전면 시야각에서 이미지를 획득할 수 있고, 후방 카메라는 전자 기기의 후면 시야각에서 이미지를 획득할 수 있다.
본 발명의 일부 실시 예에서, 적어도 두 개의 카메라가 전자 기기에 장착될 수 있다. 상기 적어도 두 개의 카메라는 제 1 카메라 및 제 2 카메라를 포함할 수 있다. 상기 제 1 카메라와 상기 제 2 카메라는 동시에 노출되도록 제어될 수 있어, 상기 제 1 카메라에 의해 제 1 초기 이미지를 획득할 수 있고, 상기 제 2 카메라에 의해 제 2 초기 이미지를 획득할 수 있다. 제 1 카메라와 제 2 카메라 모두 동일한 장면에 대한 이미지를 획득할 수 있음을 이해할 수 있다. 상기 제 1 카메라는 상기 제 1 프레임 레이트로 상기 제 1 초기 이미지를 획득할 수 있고, 상기 제 2 카메라는 상기 제 2 프레임 레이트로 상기 제 2 초기 이미지를 획득할 수 있다. 일부 실시 예에서, 상기 제 1 프레임 레이트는 상기 제 2 프레임 레이트보다 작을 수 있어, 상기 제 2 카메라는 동일한 노출 기간 동안 복수의 제 2 초기 이미지를 획득 할 수 있다.
보다 구체적으로, 상기 제 2 카메라에 의해 캡처된 적어도 두 개의 제 2 초기 이미지는 하나의 이미지로 합성하는데 사용될 수 있다. 이러한 방식으로, 상기 제 2 초기 이미지 캡처할 때 제 2 카메라에 의해 발생하는 보이드 현상을 피할 수 있고, 이미지의 정확도를 높일 수 있다. 예를 들어, 제 1 카메라는 초당 30 프레임의 레이트로 제 1 초기 이미지를 획득할 수 있고, 제 2 카메라는 초당 120 프레임의 레이트로 제 2 초기 이미지를 획득할 수 있다. 따라서, 동일한 노출 기간 동안 제1 카메라는 하나의 제 1 초기 이미지를 캡처하고, 제 2 카메라는 4 개의 제 2 초기 이미지를 획득한다. 제 2 카메라가 제 2 초기 이미지를 캡처하는 프레임 레이트는 조정 가능할 수 있다는 점에 유의해야 한다. 제 2 프레임 레이트가 초당 120 프레임보다 큰 경우, N(N> 4) 개의 제 2 초기 이미지가 동일한 노출 기간 동안 제 2 카메라에 의해 캡처될 수 있다. 본 발명의 실시 예는 이에 제한을 두지 않는다.
보다 구체적으로, 상기 제 1 초기 이미지는 상기 제 1 카메라가 캡처한 초기 이미지를 나타낼 수 있고, 상기 제 2 초기 이미지는 상기 제 2 카메라가 캡처한 초기 이미지를 나타낼 수 있다. 카메라 있는 이미지 센서는 광학 신호를 전기 신호로 변환할 수 있다. 상기 광학 신호가 전기 신호로 변환된 후, 생성된 초기 이미지는 프로세서에 의해 직접 처리되지 않을 수 있으며, 상기 프로세서에 의해 처리되기 전에 특정 포맷으로 변환되야 할 수 있다.
일부 실시 예에서, 상기 제 1 카메라는 가시 광선 카메라일 수 있고, 상기 제 2 카메라는 레이저 카메라일 수 있다. 상기 전자 기기에는 상기 제 2 카메라에 대응하는 레이저 방출기가 장착될 수 있다. 상기 레이저 방출기에서 방출된 레이저는 물체에 조사될 수 있고, 레이저가 상기 물체에 조사될 때 상기 제 2 초기 이미지가 생성될 수 있다. 상기 제 2 초기 이미지는 제 2 카메라에 의해 획득될 수 있다. 상기 제 2 초기 이미지는 상기 제 1 초기 이미지에 대응하는 깊이 정보를 생성하도록 구성될 수 있다.
일부 실시 예에서, 상기 이미지 처리 방법은 블록 208에 의해 실행되는 동작을 더 포함할 수 있다.
블록 208에서, 상기 제 1 초기 이미지를 사용하여 제 1 타겟 이미지가 생성 될 수 있다. 보다 구체적으로, 블록 208은 다음과 같은 동작을 포함할 수 있다 : 상기 제 1 초기 이미지에 대해 제 1 포맷 변환을 수행하여 제 1 타겟 이미지를 생성하며, 즉, 상기 제 1 타겟 이미지는 상술한 바와 같이 프로세서에 의해 처리될 수 있다. 일부 실시 예에서, 깊이 이미지 및 상기 제 1 타겟 이미지는 타이밍에 있어 서로 동기적으로 대응할 수 있다.
상기 제 1 카메라에 의해 캡처된 상기 제 1 초기 이미지는 프로세서에 의해 처리될 수 있는 대응하는 제 1 타겟 이미지를 생성할 수 있다. 예를 들어, 획득된 제 1 초기 이미지는 RAW 포맷의 이미지일 수 있으며, RAW 형식에서 YUV (Luma Chrominance Chroma) 포맷으로 변환될 수 있다. 포맷 변환 후 생성된 YUV 이미지는 생성된 제 1 타겟 이미지이고, 상기 제 1 타겟 이미지는 추가 처리될 수 있다. 상기 제 2 카메라에 의해 캡처된 상기 제 2 초기 이미지도 또한 RAW 포맷의 이미지일 수 있다. 적어도 두 개의 제 2 초기 이미지가 획득되었기 때문에, 상기 제 2 초기 이미지는 하나의 Depth 이미지, 즉 깊이 이미지(제 2 타겟 이미지이라고도 함)로 합성될 수 있다.
블록 204에서, 적어도 두 개의 제 2 초기 이미지는 하나의 깊이 이미지로 스티칭될 수 있다.
일부 실시 예에서, 동일한 노출 기간 동안, TOF 카메라는, 제 1 카메라의 프레임 레이트보다 더 높은 프레임 레이트를 가질 수 있어, TOF 카메라에 의해 캡처된 제 2 초기 이미지의 수가 제 1 카메라에 의해 캡처된 제 1 초기 이미지의 수보다 많을 수 있다. 예를 들어, 상기 예에서, 제 1 프레임 레이트는 초당 30 프레임이고, 제 2 프레임 레이트는 초당 120 프레임일 수 있다. 동일한 노출 기간(예를 들면, 1/30 초)동안, 상기 제 1 카메라는 하나의 제 1 초기 이미지를 획득하고, 상기 제 2 카메라(TOF 카메라)는 동시에 4 개의 제 2 초기 이미지를 획득할 수 있다. 그러나, 상기 제 1 카메라가 하나의 제 1 초기 이미지를 캡처하는 동안, 더 높은 프레임 레이트의 상기 TOF 카메라가 4 개의 제 2 초기 이미지를 캡처하기 때문에, TOF 카메라에 의해 캡처된 상기 제 2 초기 이미지의 수가 제 1 카메라에 의해 캡처된 제 1 초기 이미지의 수와 일치하지 않다는 것을 의미하므로, TOF 이미지의 프레임 손실 문제가 쉽게 발생할 수 있다. 양안 보정 측면에서 프레임 손실은 타이밍이 동기화되지 않았음을 의미하며, 이는 이후의 양안 보정 및 애플리케이션 계층에서 타겟 객체의 3D 모델링에도 큰 영향을 미치게 되어, 이미지 인식 시스템의 불안정성을 초래한다.
이에 기초하여, 하나의 깊이 이미지를 생성하기 위해서는 복수의 제 2 초기 이미지를 스티칭할 필요가 있다. 즉, 복수의 제 2 초기 이미지는 하나의 깊이 이미지로 스티칭될 수 있다. 상기 깊이 이미지 및 제 1 타겟 이미지는 타이밍에 있어 서로 동기적으로 대응할 수 있다. 따라서, 양안 보정을 수행하고, 하나의 이미지 및 대응 깊이 정보를 획득하고, 후속 3D 모델링 및 3D 애플리케이션에 대한 기초를 제공하는 것이 편리하다.
상기 제 2 초기 이미지 각각은 상기 깊이 정보를 포함하는 이미지이고, 상기 깊이 이미지는 복수의 제 2 초기 이미지를 하나의 이미지로 스티칭하여 생성한 이미지일 수 있으며, 상기 깊이 이미지는 복수의 깊이 정보를 더 포함할 수 있다. 상기 깊이 이미지는 후속 이미지 처리에서 제 1 카메라에 의해 획득된 RGB(Red Green Blue) 이미지와 이미지 합성을 위해 구성될 수 있으며, 상기 깊이 정보를 가지는 RGB 이미지, 즉, RGBD(Red Green Blue Depth) 이미지가 생성될 수 있다.
상기 제 2 초기 이미지는 이미지 데이터 및 상기 이미지 데이터에 대응하는 메타 데이터를 포함할 수 있다. 이미지 데이터는 RAW 데이터라고도 하며, 상기 메타 데이터는 META 데이터라고도 할 수 있다. 상기 RAW 포맷은 이미지 처리 분야에서 일반적으로 사용되는 포맷이다. 상기 RAW 포맷은 초기에 캡처된 초기 이미지 데이터, 즉, 후속 이미지 처리의 대상이 되지 않은 초기 데이터를 나타내도록 구성될 수 있다. META 데이터는 현재 이미지의 노출 기간, 초점 거리 등과 같은 현재 RAW 데이터의 속성을 나타내는 데이터일 수 있다. 일부 실시 예에서, 블록 204에서는, 적어도 두 개의 제 2 초기 이미지를 깊이 이미지로 스티칭하는 것은 다음 블록에 의해 실행되는 동작/작업을 포함할 수 있다.
블록 302에서, 제 2 초기 이미지 각각의 이미지 데이터 및 메타 데이터가 추출될 수 있다.
블록 304에서, 추출된 이미지 데이터 및 메타 데이터가 패키징될 수 있다.
블록 304는 구체적으로 적어도 두 개의 제 2 초기 이미지의 이미지 데이터 및 대응하는 메타 데이터를 각각 스티칭하거나, 노출 타이밍에 따라 적어도 두 개의 제 2 초기 이미지의 이미지 데이터를 순차적으로 스티칭하는 것을 포함할 수 있다.
예를 들어, 동일한 노출 기간 동안 4 개의 제 2 초기 이미지가 캡처되고 각각의 제 2 초기 이미지가 TOF 이미지 포맷으로 캐시되는 경우, 상기 4 개의 이미지 (제 2 초기 이미지)의 이미지 데이터 및 메타 데이터는 추출될 수 있으며(상기 TOF 이미지 포맷은 페이로드의 이미지 데이터와 비 페이로드의 추가 정보를 포함 할 수 있으며, 이때 상기 비 페이로드 데이터는 필터링이 필요함), 4 개의 제 2 초기 이미지 각각의 이미지 데이터 및 메타 데이터는 데이터 스티칭을 달성하기 위해 순차적으로 스티칭될 수 있다. 즉, 첫 번째 이미지, 두 번째 이미지, 세 번째 이미지 및 네 번째 이미지의 이미지 데이터를 순차적으로 스티칭할 수 있다. 첫 번째 이미지의 이미지 날짜의 마지막 비트는 두 번째 이미지의 이미지 날짜의 첫 번째 비트에 스티칭될 수 있으며, 두 번째 이미지의 이미지 날짜의 마지막 비트는 세 번째 이미지의 이미지 날짜의 첫 번째 비트에 스티칭될 수 있고, 마지막 이미지의 이미지 날짜의 마지막 비트가 스티칭 될 때까지 계속된다. 일부 실시 예에서, 4 개의 제 2 초기 이미지를 하나의 이미지로 스티칭(합성)하는 경우, 데이터 스티칭은 특정 깊이 이미지 포맷에 따라 수행되거나, 특정 포맷 또는 프로토콜에 따라 수행될 수 있다. 예를 들어, Raw 데이터와 Meta 데이터를 교대로 배열 할 수 있다 (즉, 데이터를 순서대로 배열하여, 하나의 이미지의 상기 Raw 데이터 다음에 동일한 이미지의 대응하는 Meta 데이터가 오도록 할 수 있고, 그런 다음, 다음 이미지의 Raw 데이터, 상기 다음 이미지의 Raw 데이터에 해당하는 다음 이미지의 Meta 데이터 등이 따라올 수 있다.) 상기 데이터 스티칭은 본 발명의 실시 예에서 반복되지 않을 것이다.
본 발명의 일부 실시 예에서, 적어도 두 개의 제 2 초기 이미지는 시차법 또는 위상차법을 사용하여 획득될 수 있음에 유의해야 한다. 위상차법을 사용하는 경우, 캡처된 적어도 두 개의 제 2 초기 이미지 중 적어도 하나는 키 프레임으로 구성될 수 있고, 캡처된 적어도 두 개의 제 2 초기 이미지 중 적어도 하나는 비-키 프레임으로 구성될 수 있다. 이 경우, 블록 304는 다음 블록에 의해 실행되는 동작/작업을 포함할 수 있다.
키 프레임의 픽셀 포인트와 비-키 프레임의 대응되는 픽셀 포인트 사이의 위상차 데이터가 계산될 수 있다.
상기 키 프레임의 이미지 데이터 및 메타 데이터를 추출하고, 계산된 위상차 데이터와 상기 키 프레임의 이미지 데이터 및 메타 데이터를 패키징할 수 있다.
일부 실시 예에서, 위상차 계산 방법은 전술한 바와 같을 수 있다. 상기 키 프레임의 이미지 데이터와 메타 데이터를 획득한 후에, 비-키 프레임의 위상차만 계산될 필요가 있다. 비-키 프레임의 픽셀 포인트의 위상을 키 프레임의 대응되는 픽셀 포인트의 위상과 비교하여 차이를 계산할 수 있다. 이러한 방식으로, 비-키 프레임의 위상차를 계산할 수 있으므로, 4 개의 제 2 초기 이미지의 모든 이미지 데이터 및 메타 데이터를 보유할 필요가 없다. 대신, 상기 키 프레임의 이미지 데이터 및 메타 데이터와 비-키 프레임의 픽셀 포인트와 키 프레임의 대응되는 픽셀 포인트 사이의 위상차 데이터만 보유될 수 있으므로, 저장 공간을 더욱 절약할 수 있다.
일부 실시 예에서, 상기 메타 데이터는 제 2 초기 이미지를 캡처하는 시퀀스를 나타내도록 구성될 수 있다. 적어도 2 개의 제 2 초기 이미지를 하나의 깊이 이미지로 스티칭하는 블록은 구체적으로 다음과 같이 실행되는 동작을 포함할 수 있다.
캡처된 제 2 초기 이미지 중 적어도 하나가 손실되었는지 여부는 상기 메타 데이터에 따라 결정된다. 상기 캡처된 제 2 초기 이미지가 손실되지 않았다는 결정에 기초하여, 상기 제 2 초기 이미지 및 대응하는 식별 정보가 패키징될 수 있다.
상기 패키징된 제 2 초기 이미지는 상기 식별 정보에 따라 깊이 이미지로 합성될 수 있다.
일부 실시 예에서, 적어도 두 개의 제 2 초기 이미지가 제 2 카메라에 의해 캡처될 수 있다. 따라서, 상기 제 2 카메라가 상기 제 2 초기 이미지를 캡처한 후, 각각의 제 2 초기 이미지에 상응하는 대응되는 식별 정보를 생성하고, 상기 식별 정보에 의해 상기 제 2 초기 이미지의 캡처 시퀀스를 표시할 수 있다. 보다 구체적으로, 상기 식별 정보는 제 2 초기 이미지의 캡처 순간, 상기 제 2 초기 이미지의 위상 등일 수 있으나, 이에 제한되지 않는다. 상기 제 2 초기 이미지의 캡처 순간은 상기 제 2 초기 이미지가 캡처되는 순간을 나타내도록 구성될 수 있다. 상기 캡처 순간에 따라, 상기 제 2 초기 이미지가 캡처되는 시간 순서를 결정할 수 있다. 상기 제 2 초기 이미지의 위상은 각각의 제 2 초기 이미지를 캡처하는 시퀀스를 나타낼 수 있다. 예를 들어, 제 2 초기 이미지에는 캡처 순간의 시퀀스에 따라 "01", "02", "03", "04"와 같은 일련 번호가 표시될 수 있다. 패키징된 제 2 초기 이미지는 상기 식별 정보에 따라 순차적으로 하나의 깊이 이미지로 합성될 수 있다.
블록 306에서, 패키징된 이미지 데이터 및 메타 데이터는 깊이 이미지를 생성하기 위해 깊이 포맷으로 저장될 수 있다. 일부 실시 예에서, 저장된 이미지 데이터 및 메타 데이터는 깊이 이미지의 데이터일 수 있다.
블록 306에서, 하나의 깊이 이미지가 구성될 수 있고, 상기 깊이 이미지는 널일 수 있고 초기에 데이터를 포함하지 않을 수 있다. 대응하는 패키징된 데이터 (이미지 데이터 및 메타 데이터)는 깊이 이미지의 데이터에 순차적으로 기록되어 완전한 데이터를 갖는 하나의 깊이 이미지를 생성할 수 있다. 상기 깊이 이미지는 버퍼 영역에 저장될 수 있다. 예를 들어, TOF 카메라에 의해 캡처된 4 개의 제 2 초기 이미지 각각은 240x180의 해상도를 가질 수 있다. 이미지 데이터 및 메타 데이터를 패키징하여 깊이 포맷으로 저장한 후, 상기 저장된 깊이 이미지는 960 × 720 의 해상도를 가질 수 있다. 여기서, 분명히 저장된 깊이 이미지는 제 2 초기 이미지 각각의 몇 배의 해상도를 가질 수 있으며, 상기 배수는 상기 제 2 초기 이미지의 개수일 수 있다.
블록 206에서, 상기 깊이 이미지 및 제 1 타겟 이미지가 추가로 처리될 수있다.
제 1 카메라 및 제 2 카메라는 동일한 장면에 대해 촬영을 수행할 수 있으므로, 촬영에 의해 획득된 제 1 초기 이미지와 제 2 초기 이미지가 서로 대응될 수 있고, 획득된 제 1 타겟 이미지와 깊이 이미지도 서로 대응할 수 있음을 이해해야 한다. 예를 들어, 상기 제 1 타겟 이미지는 YUV 이미지이고, 상기 깊이 이미지는 Depth 이미지일 수 있다. 따라서, 상기 제 1 타겟 이미지는 촬영 장면의 색상 정보를 나타내도록 구성될 수 있고, 상기 깊이 이미지는 상기 촬영 장면에 대응하는 깊이 정보를 나타내도록 구성될 수 있다.
상기 제 1 타겟 이미지 및 상기 깊이 이미지를 획득한 후, 상기 제 1 타겟 이미지 및 상기 깊이 이미지를 처리할 수 있으며, 여기서 구체적인 처리 방법은 제한되지 않는다. 예를 들어, 사람 얼굴 인식 처리는 상기 제 1 타겟 이미지에 따라 수행될 수 있고, 상기 제 1 타겟 이미지에서 인식된 사람 얼굴은 상기 깊이 이미지에 따라 3 차원 모델링을 거쳐 사람 얼굴의 3 차원 모델을 획득할 수 있다. 또한, 상기 깊이 이미지의 깊이 정보에 따라 상기 제 1 타겟 이미지에 있는 사람 얼굴에 미화 처리를 수행하는 것도 가능하다.
상기 실시 예에 의해 제공된 이미지 처리 방법에서, 상기 제 1 카메라는 주어진 노출 기간 동안 제 1 프레임 레이트로 제 1 초기 이미지를 캡처할 수 있고, 상기 제 2 카메라는 상기 노출 기간 동안 제 2 프레임 레이트로 적어도 두 개의 제 2 초기 이미지를 캡처할 수 있다. 처리는 제 1 초기 이미지로부터 생성된 제 1 타겟 이미지 및 상기 제 2 초기 이미지로부터 생성된 깊이 이미지에 따라 더 수행될 수 있다. 이러한 방식으로, 상기 제 1 카메라와 상기 제 2 카메라가 동일한 노출 기간에 이미지들을 획득할 수 있음을 보장할 수 있다. 또한, 상기 제 2 카메라는 동시에 적어도 두 개의 제 2 초기 이미지를 획득하고, 상기 적어도 두 개의 제 2 초기 이미지에 따라 추가 처리를 위한 최종 깊이 이미지를 생성할 수 있다. 따라서, 이미지 캡처하는 동안 발생하는 오류를 줄이고, 이미지 처리의 정확성을 높일 수 있다.
상기 실시 예들에 의해 제공된 이미지 처리 방법에서, 동일한 노출 기간 동안 제 1 초기 이미지 및 복수의 제 2 초기 이미지를 획득하는 것이 가능하다. 그 후, 상기 복수의 제 2 초기 이미지를 하나의 깊이 이미지로 스티칭할 수 있다. 제 1 타겟 이미지와 하나의 깊이 이미지가 더 처리될 수 있다. 종래의 TOF 카메라와 비교하면, 본 발명의 일부 실시 예에 따른 이미지 처리 방법에서는 프레임 손실이 덜 발생하 수 있어, 이미지 처리 시스템의 안정성이 향상될 수 있다.
여기서, 블록 208은 블록 204 이전 또는 이후에 수행되거나 블록 204와 동시에 수행될 수 있다. 본 발명은 블록 208의 실행 시간을 제한하지 않을 것이다.
도 4는 본 발명의 일부 실시 예에 따른 이미지 처리 방법의 흐름도이다. 도 4에 도시된 바와 같이, 이미지 처리 방법은 블록 402 내지 414에 의해 실행되는 동작/작업을 포함할 수 있다. 여기서, 블록 402 내지 406은 전술한 바와 같이 블록 202에 속할 수 있다. 즉, 블록 202는 블록 402 내지 406에 의해 실행되는 동작을 포함할 수 있다. 또한, 블록 204는 블록 408 및 410에 의해 실행되는 동작을 포함할 수 있고, 블록 206은 블록 412 및 414에 의해 실행되는 동작을 포함할 수 있다.
블록 402에서, 이미지 캡처 명령이 검출될 때, 제 1 초기 이미지가 노출 기간 동안 제 1 프레임 레이트로 제 1 카메라에 의해 획득될 수 있다.
이미지 캡처 명령은 이미지 캡처 동작을 트리거하는 명령을 나타낼 수 있다. 예를 들어, 사용자가 애플리케이션을 열고, 애플리케이션을 조작하여 이미지 캡처 명령을 생성할 수 있다. 전자 기기가 이미지 캡처 명령을 검출하면, 카메라가 켜질 수 있다. 카메라를 켠 후, 셔터가 열리는 시간을 제어하여 카메라의 수광면에 빛이 비추는 시간을 제어할 수 있다. 장시간 셔터를 열면, 카메라에 더 많은 빛이 입사되고, 생성된 이미지가 더욱 밝아질 수 있다. 예를 들어, 주변 광이 밝을 때, 일반적으로 상기 셔터가 단시간 열리도록 제어하여 적은 수의 빛이 카메라에 입사되므로 생성된 이미지가 너무 밝아지는 것을 방지할 수 있다.
상기 노출 기간은 카메라의 셔터가 열리도록 제어되는 기간을 나타낼 수 있다. 상기 노출 기간에 따라 셔터가 열리는 시간과 셔터가 열리는 기간이 획득될 수 있다. 예를 들어, 노출 기간이“12 : 00 : 00 → 12 : 00 : 30”이면, 셔터가 “12:00:00”에 30 초 동안 열린다는 것을 의미한다. 프레임 레이트는 카메라가 이미지를 캡처하는 빈도를 나타낼 수 있다. 보다 구체적으로, 상기 프레임 레이트는 카메라가 초당 캡처하는 이미지의 개수를 의미할 수 있다. 예를 들어, 프레임 레이트는 초당 30 프레임일 수 있으며, 이는 카메라가 초당 30 개의 이미지를 캡처하도록 제어될 수 있음을 의미한다.
본 발명의 일부 실시 예에서, 제 1 카메라에 의해 캡처된 이미지와 제 2 카메라에 의해 캡처된 이미지가 서로 일치하도록 보장하기 위해, 제 1 카메라 및 제 2 카메라가 동시에 노출되도록 제어할 필요가 있다. 상기 제 1 카메라에 의해 캡처된 제 1 초기 이미지의 개수는 상기 제 2 카메라에 의해 캡처된 제 2 초기 이미지의 개수와 상이할 수 있다. 따라서, 상기 제 1 카메라 및 상기 제 2 카메라는 동일한 노출 기간 동안 상이한 프레임 레이트로 이미지를 캡처할 수 있어, 상기 제 1 카메라 및 상기 제 2 카메라는 동일한 노출 기간 동안 상이한 개수의 이미지를 캡처할 수 있다.
블록 404에서, 이미지의 개수가 획득 될 수 있고, 상기 이미지의 개수 및 상기 제 1 프레임 레이트에 따라 제 2 프레임 레이트가 계산될 수 있다. 여기서, 이미지 개수는 캡처 해야하는 제 2 초기 이미지의 개수를 의미할 수 있다.
보다 구체적으로, 제 1 카메라 및 제 2 카메라가 이미지를 캡처하는 프레임 레이트는 미리 설정되거나 실시간으로 변경될 수 있다. 프레임 레이트는 여기에서 제한되지 않는다. 예를 들어, 제 1 프레임 레이트는 미리 설정될 수 있고, 제 2 프레임 레이트는 실시간으로 변경될 수 있다. 첫 번째 프레임 레이트와 두 번째 프레임 레이트가 모두 미리 설정되는 것도 가능하다.
일부 실시 예에서, 제 2 프레임 레이트는 제 1 프레임 레이트에서 계산될 수 있다. 먼저, 제 2 초기 이미지의 개수를 획득한 후, 상기 제 2 초기 이미지의 개수와 상기 제 1 프레임 레이트에 따라 상기 제 2 프레임 레이트를 계산할 수 있다. 제 2 초기 이미지의 개수가 S이고 제 1 프레임 레이트가 Z1이라고 가정하면, 제 2 프레임 레이트 Z2는 다음과 같은 공식을 사용하여 계산할 수 있다: Z2 = S * Z1 즉, 상기 제 2 프레임 레이트는 제 1 프레임 레이트의 배수일 수 있고, 배수는 제 2 초기 이미지의 개수와 동일할 수 있다. 예를 들어, 제 1 프레임 레이트가 초당 30 프레임이고, 이미지 개수(즉, 제 2 초기 이미지의 개수)가 4 일 때, 상기 제 2 프레임 레이트는 30 * 4 = 초당 120 프레임이다.
일부 실시 예에서, 제 2 초기 이미지의 개수는 미리 설정되거나 이미지 캡처 명령에 따라 획득될 수 있다. 상기 제 2 초기 이미지의 개수를 획득하는 것은 다음과 같은 동작을 포함할 수 있다: 미리 설정된 이미지의 개수를 획득하거나; 또는 이미지 캡처 명령에 포함된 애플리케이션 식별자에 대응하는 애플리케이션 레벨을 획득하고, 상기 애플리케이션 레벨에 따라 대응하는 이미지의 개수를 획득하는 동작을 포함할 수 있다.
상기 애플리케이션 식별자는 위에서 설명된 이미지 캡처 명령을 시작하는 애플리케이션을 나타내도록 구성될 수 있다. 상기 애플리케이션 레벨은 상기 이미지 캡처 명령을 시작하는 애플리케이션의 중요도 레벨을 나타내도록 구성될 수 있다. 예를 들어, 시스템 애플리케이션이 더 높은 애플리케이션 레벨을 가지는데 반하여, 타사 애플리케이션이 더 낮은 애플리케이션 레벨을 가질 수 있다. 전자 기기는 상기 애플리케이션 식별자 및 상기 애플리케이션 레벨 간의 대응 관계를 미리 설정할 수 있으며, 상기 애플리케이션 식별자에 따라 대응하는 애플리케이션 레벨을 찾을 수 있다. 애플리케이션 레벨이 높을수록, 제 2 초기 이미지 개수가 많아진다.
일부 실시 예에서, 제 2 초기 이미지의 개수는 전자 기기의 지터 조건에 따라 획득될 수도 있다. 일반적으로 전자 기기의 지터가 큰 경우, 전자 기기가 이미지를 획득할 때 오류가 발생할 가능성이 높다고 판단된다. 따라서 여러 이미지를 획득하고 합성함으로써 이미지의 오류를 줄일 수 있다. 보다 구체적으로, 전자 기기는 지터 데이터와 이미지 개수 사이의 대응 관계를 미리 설정할 수 있다. 이미지 획득 과정에서, 전자 기기의 지터 데이터를 획득할 수 있으며, 상기 지터 데이터에 따라 대응하는 이미지의 개수를 획득할 수 있다. 상기 지터 데이터는 전자 기기의 지터 상태를 나타내도록 구성될 수 있으며, 자이로 스코프, 가속도 센서 등과 같은 센서에 의해 감지되는 데이터일 수 있으며, 이에 제한되지 않는다.
블록 406에서, 제 2 초기 이미지는 노출 기간 동안 제 2 프레임 레이트로 제 2 카메라에 의해 획득될 수 있다. 상기 제 2 초기 이미지의 개수는 앞서 설명한 이미지 개수에 해당할 수 있다.
이미지 캡처 명령이 검출되면, 제 1 카메라와 제 2 카메라를 동시에 노출하고, 동일한 노출 기간 동안 상기 제 1 카메라와 상기 제 2 카메라가 각각 서로 다른 개수의 이미지를 획득할 수 있도록 보장할 필요가 있다. 따라서, 이미지 캡처 명령을 검출한 후, 전자 기기는 제 1 프레임 레이트로 제 1 초기 이미지를 캡처하도록 제 1 카메라를 제어하고, 제 2 프레임 레이트로 제 2 초기 이미지를 캡처하도록 제 2 카메라를 제어할 수 있다.
획득된 제 1 초기 이미지가 제 2 초기 이미지와 대응하는지 확인하기 위해, 상기 제 1 초기 이미지 및 상기 제 2 초기 이미지를 획득한 후 상기 제 2 초기 이미지를 하나의 깊이 이미지로 스티칭하기 전에, 제 1 타겟이 이미지가 캡처되는 제 1 시점 및 제 2 초기 이미지가 캡처되는 제 2 시점이 각각 획득될 수 있다. 상기 제 1 시점과 상기 제 2 시점 사이의 시간 간격이 간격 임계 값 미만인지 여부를 결정할 수 있다. 상기 제 1 시점과 상기 제 2 시점 사이의 시간 간격이 간격 임계 값 미만인 경우, 복수의 제 2 초기 이미지를 하나의 깊이 이미지 스티칭하는 동작이 실행될 수 있다. 그렇지 않으면, 상기 제 1 시점과 상기 제 2 시점 사이의 시간 간격이 간격 임계치 이상이라는 결정에 기초하여, 캡처된 제 1 초기 이미지와 제 2 초기 이미지가 서로 대응하지 않고, 캡처된 제 1 초기 이미지 및 제 2 초기 이미지를 폐기할 수 있다.
블록 408에서, 제 1 타겟 이미지를 생성하기 위해 제 1 초기 이미지에 대해 제 1 포맷 변환이 수행될 수 있다.
카메라는 광학 소자와 이미지 센서로 구성될 수 있다. 상기 광학 요소는 광선을 모으도록 구성될 수 있다. 상기 이미지 센서는 컬러 필터 어레이 (예를 들어, Bayer 필터)를 포함할 수 있으며, 상기 광학 소자에 의해 모아진 광선의 빛의 세기 및 파장 정보를 전기 신호로 변환한 후 초기 이미지를 생성하도록 구성될 수 있다. 상기 제 1 초기 이미지는 제 1 카메라에 의해 캡처된 초기 이미지일 수 있다. 상기 제 1 포맷 변환은 제 1 타겟 이미지를 생성하기 위해 상기 제 1 초기 이미지에 대해 수행될 수 있다.
일부 실시 예에서, 상기 제 1 카메라는 가시 광선 카메라일 수 있다. 상기 제 1 초기 이미지는 RAW 포맷의 이미지일 수 있다. 상기 제 1 타겟 이미지는 YUV 포맷의 이미지일 수 있다. 상기 제 1 포맷 변환은 RAW 포맷의 제 1 초기 이미지에 대해 수행되어 YUV 포맷의 제 1 타겟 이미지를 획득할 수 있다.
블록 410에서, 복수의 제 2 초기 이미지가 패키징될 수 있고, 하나의 깊이 이미지를 생성하기 위해 패키징된 제 2 초기 이미지에 대해 제 2 포맷 변환이 수행될 수 있다.
이미지 캡처 명령이 검출된 후, 상기 제 2 카메라는 동일한 노출 기간 동안 제 2 프레임 레이트로 제 2 초기 이미지를 획득할 수 있고, 상기 이미지 개수와 일치하는 개수의 제 2 초기 이미지를 획득할 수 있다. 제 2 카메라에 의해 캡쳐된 제 2 초기 이미지는 또한 초기 이미지일 수 있다. 따라서, 특정 포맷 변환 후에 최종 타겟 이미지를 획득할 수 있다. 보다 구체적으로, 상기 제 2 초기 이미지를 획득한 후, 전송 중에 제 2 초기 이미지가 손실되는 것을 방지하기 위해, 상기 제 2 초기 이미지를 패키징할 수 있어, 상기 제 2 초기 이미지는 메모리에 전체로서 전송되어 프레임 손실을 줄일 수 있다. 상기 패키징된 제 2 초기 이미지에 대해 제 2 포맷 변환을 수행하여, 상기 깊이 이미지를 생성할 수 있다.
일부 실시 예에서, 제 2 카메라는 레이저 카메라일 수 있다. 레이저 방출기는 전자 기기에 장착될 수 있다. 레이저 방출기는 특정 주파수에서 레이저 파를 방출하도록 구성될 수 있다. 상기 레이저 파는 물체에 의해 반사되어 상기 제 2 카메라에 의해 캡처되어 상기 제 2 초기 이미지를 생성할 수 있다. 또한, 상기 레이저 파의 TOF(Time of Flight)를 계산하여 상기 물체에서 제 2 카메라까지의 거리를 계산할 수 있다.
보다 구체적으로, 상기 레이저 방출기는 상기 노출 기간 동안 레이저 파를 방출하도록 제어될 수 있다. 상기 제 2 카메라의 적어도 두 개의 셔터가 제 2 프레임 레이트로 스위치 온/오프되도록 제어될 수 있고, 상기 셔터가 스위치 온될 때 레이저 파의 반사에 의해 생성된 적어도 두 개의 제 2 초기 이미지가 획득될 수 있다. 상기 제 2 카메라는 상이한 셔터를 통해 상이한 제 2 초기 이미지를 캡처할 수 있다. 상기 TOF 카메라로 캡처한 제 2 초기 이미지는 RAW 포맷의 이미지 일수도 있다. 상기 깊이 이미지는 Depth 포맷의 이미지일 수 있다. 상기 제 2 포맷 변환은 Depth 포맷의 깊이 이미지를 획득하기 위해 RAW 포맷의 제 2 초기 이미지에 대해 수행될 수 있다.
도 5는 본 발명의 일부 실시 예에 따른 TOF에 의한 깊이 정보 계산 원리를 나타낸 개략도이다. 도 5에 도시 된 바와 같이, 레이저 방출기는 레이저 파를 방출할 수 있고, 방출된 레이저 파는 물체에 반사되어 반사된 레이저 파를 형성할 수 있다. 물체의 깊이 정보는 방출된 레이저 파와 수신된(반사된) 레이저 파의 위상차에 따라 계산될 수 있다. 레이저 카메라가 실제로 이미지를 캡처할 때, 상이한 셔터가 상이한 순간에 스위츠 온/오프되도록 제어될 수 있으며, 그리고나서 상이한 수신 신호가 생성될 수 있어, 상기 깊이 이미지를 계산하기 위해 다수의 셔터를 스위치 온/오프 함으로써 상이한 이미지를 캡처할 수 있다. 일부 실시 예에서, 레이저 카메라는 4 개의 셔터를 사용하여 레이저 파 신호의 수신을 제어하고, 셔터 1, 셔터 2, 셔터 3 및 셔터 4에 의해 수신된 상기 레이저 파 신호는 각각 Q1, Q2, Q3, 및 Q4 라고 가정한다. 따라서 상기 깊이 정보를 계산하는 공식은 다음과 같다.
여기서, C는 광속이고, f는 레이저 파의 방출 주파수이다.
블록 412에서, 제 1 타겟 이미지 내의 타겟 객체가 식별될 수 있고, 상기 타겟 객체에 대응하는 타겟 깊이 정보가 깊이 이미지에 따라 획득될 수 있다.
상기 제 1 타겟 이미지 및 상기 깊이 이미지를 획득한 후, 상기 제 1 타겟 이미지 및 상기 깊이 이미지를 패키징하고 나서, 상기 제 1 타겟 이미지 및 상기 깊이 이미지를 애플리케이션으로 전송하여 이미지 데이터의 손실을 줄일 수 있다. 예를 들어, 상기 제 1 타겟 이미지가 RGB(Red Green Blue) 이미지이고, 상기 깊이 이미지가 Depth 이미지인 경우, 상기 제 1 타겟 이미지 및 상기 깊이 이미지를 RGBD (Red Green Blue Depth) 이미지으로 패키징하여 애플리케이션에 추가로 전송할 수 있다.
상기 애플리케이션이 상기 제 1 타겟 이미지 및 상기 깊이 이미지를 수신한 후, 상기 제 1 타겟 이미지 내의 타겟 객체가 식별될 수 있다. 상기 깊이 이미지는 제 1 타겟 이미지에 대응하는 깊이 정보를 나타내도록 구성될 수 있다. 따라서, 상기 깊이 이미지에 따라 상기 제 1 타겟 이미지에서 상기 타겟 물체에 대응하는 타겟 깊이 정보를 획득하는 것이 가능하다. 보다 구체적으로, 상기 제 1 타겟 이미지에서 식별된 타겟 객체는 복수의 픽셀 포인트를 포함하는 타겟 영역일 수 있다. 상기 타겟 영역에 따라 깊이 이미지에서 대응하는 타겟 깊이 영역을 지정하고, 상기 타겟 깊이 영역에 따라 상기 타겟 영역의 각 픽셀에 대응하는 깊이 정보를 획득할 수 있다.
본 발명의 일부 실시 예에서, 상기 타겟 객체를 식별하는 방법은 여기에 제한되지 않을 수 있다. 예를 들어, 상기 타겟 객체가 사람 얼굴인 경우, 제 1 타겟 이미지의 사람 얼굴은 사람 얼굴 검출 알고리즘에 의해 식별될 수 있다. 또한, 상기 타겟 객체는 건물, 식물, 동물 등과 같이 인공 지능에 의해 식별될 수 있다.
블록 414에서, 타겟 깊이 정보에 따라 타겟 객체에 대한 처리가 수행될 수 있다.
상기 타겟 객체에 대응하는 타겟 깊이 정보를 획득한 후, 상기 타겟 깊이 정보에 따라 타겟 객체를 처리 할 수 있다. 예를 들어, 상기 타겟 깊이 정보에 따라 상기 타겟 객체에 대해 3 차원 모델링을 수행할 수 있다. 그러나, 상기 타겟 깊이 정보에 따라 상기 타겟 객체가 미화될 수도 있다. 특정 처리 방식은 여기에서 제한되지 않을 수 있다.
일부 실시 예에서, 제 1 타겟 이미지 및 깊이 이미지를 획득 한 후, 그리고 제 1 타겟 이미지에서 타겟 객체를 식별하기 전에, 상기 방법은 다음 블록에 의해 실행되는 동작을 더 포함할 수 있다.
블록 602에서, 애플리케이션 레벨이 레벨 임계 값보다 클 때, 상기 제 1 타겟 이미지 및 깊이 이미지가 암호화될 수 있다.
제 1 타겟 이미지 및 깊이 이미지가 획득된 후, 상기 제 1 타겟 이미지 및 상기 깊이 이미지는 추가 처리를 위해 애플리케이션으로 전송될 수 있다. 상기 제 1 타겟 이미지와 상기 깊이 이미지를 전송하기 전에, 애플리케이션의 애플리케이션 레벨이 레벨 임계 값보다 큰지 여부를 결정하는 것이 가능하다. 애플리케이션의 애플리케이션 레벨이 레벨 임계 값보다 크다는 결정에 기초하여, 애플리케이션이 더 높은 보안 요구 사항을 가지고 있으며, 상기 제 1 타겟 이미지 및 상기 깊이 이미지가 암호화될 수 있음을 나타낸다. 그러나, 애플리케이션의 애플리케이션 레벨이 레벨 임계 값보다 크지 않다는 결정에 기초하여, 애플리케이션의 보안 요구 사항이 낮다는 것을 나타내며, 상기 제 1 타겟 이미지 및 상기 깊이 이미지는 바로 애플리케이션으로 전송될 수 있다.
블록 604에서, 암호화된 제 1 타겟 이미지 및 깊이 이미지는 처리를 위해 애플리케이션으로 추가로 전송될 수 있다.
암호화된 상기 제 1 타겟 이미지 및 상기 깊이 이미지는 처리를 위해 애플리케이션으로 더 전송될 수 있다. 암호화된 상기 제 1 타겟 이미지 및 상기 깊이 이미지를 수신한 후, 애플리케이션은 암호화된 상기 제 1 타겟 이미지 및 상기 깊이 이미지를 복호화하고, 복호화된 제 1 타겟 이미지 및 깊이 이미지에 대해 다음 처리 또는 동작을 수행할 수 있다.
제 1 타겟 이미지 및 깊이 이미지를 암호화하기 전에, 상기 제 1 타겟 이미지 및 상기 깊이 이미지도 패키징하고 나서, 패키징된 상기 제 1 타겟 이미지 및 상기 깊이 이미지를 암호화할 수 있어, 전송 과정 동안 상기 제 1 타겟 이미지 및 상기 깊이 이미지의 프레임 손실을 감소하는 것이 가능하다.
일부 실시 예에서, 제 2 카메라가 제 2 초기 이미지를 캡처할 때, 상기 제 2 초기 이미지 각각에 대응하는 식별 정보가 또한 생성될 수 있다. 상기 식별 정보는 제 2 초기 이미지를 캡처하는 시퀀스를 식별하도록 구성될 수 있다. 보다 구체적으로, 상기 제 2 초기 이미지에 대한 포맷 변환을 수행하는 것은 다음 블록에 의해 실행되는 동작을 더 포함할 수 있다.
블록 702에서, 제 2 초기 이미지 각각에 대응하는 식별 정보가 획득될 수 있다. 일부 실시 예에서, 상기 식별 정보는 상기 제 2 초기 이미지를 캡처하는 시퀀스를 나타내도록 구성될 수 있다.
제 2 카메라는 적어도 두 개의 제 2 초기 이미지를 캡처할 수 있다. 따라서, 상기 제 2 카메라가 상기 제 2 초기 이미지를 캡처한 후, 각 제 2 초기 이미지에 대응하는 식별 정보를 생성하고, 상기 식별 정보에 의해 상기 제 2 초기 이미지를 캡처하는 순서를 표시할 수 있다. 보다 구체적으로, 상기 식별 정보는 상기 제 2 초기 이미지의 캡처 순간, 상기 제 2 초기 이미지의 위상 등일 수 있으나, 이에 제한되지 않는다. 상기 2 초기 이미지의 캡처 순간은 제 2 초기 이미지가 캡처되는 순간을 나타내도록 구성될 수 있다. 캡처 순간에 따라 상기 제 2 초기 이미지가 캡처되는 시간 시퀀스를 결정할 수 있다. 예를 들어, 제 2 초기 이미지가 촬영 순간의 시퀀스에 따라 일련 번호가 "01", "02", "03", "04"로 표시될 수 있다.
블록 704에서, 캡처된 제 2 초기 이미지 중 적어도 하나가 손실되었는지는 식별 정보에 따라 결정된다. 캡처된 제 2 초기 이미지가 손실되지 않았다는 결정에 기초하여, 상기 제 2 초기 이미지 및 대응하는 식별 정보를 패키징할 수 있다.
전술한 식별 정보에 따라 캡처된 제 2 초기 이미지 중 적어도 하나가 손실되었는지 여부를 결정하는 것이 가능하다. 캡처된 제 2 초기 이미지 중 적어도 하나가 손실될 때, 현재 캡처된 제 2 초기 이미지는 폐기될 수 있다. 그러나, 캡처된 제 2 초기 이미지가 손실되지 않은 경우에는, 제 2 초기 이미지 및 대응하는 식별 정보를 패키징할 수 있다. 예를 들어, 획득한 제 2 초기 이미지의 일련 번호가 "01", "03", "04"인 경우, 일련 번호가 "02"인 제 2 초기 이미지가 중간에 손실됨을 의미한다.
블록 706에서, 상기 식별 정보에 따라 패키징된 제 2 초기 이미지에 대해 제 2 포맷 변환이 수행될 수 있다.
패키징된 제 2 초기 이미지는 전체로서 전송될 수 있으며, 전송 중에 하나의 이미지 또는 일부 이미지만 손실되는 것이 불가능하다. 대신, 일부 실시 예에서 모든 제 2 초기 이미지는 존재하거나 폐기될 수 있다. 상기 제 2 초기 이미지 및 상기 식별 정보가 패키징된 후, 상기 제 2 초기 이미지 및 상기 식별 정보는 포맷 변환을 위해 프로세서로 전송될 수 있다. 보다 구체적으로, 상기 식별 정보에 따라 상기 제 2 초기 이미지를 캡처하는 시퀀스가 결정된 후, 상기 제 2 초기 이미지를 캡처하는 시퀀스에 따라 상기 제 2 초기 이미지를 하나의 깊이 이미지로 합성할 수 있다.
도 8에 도시된 바와 같이, 상기 제 1 카메라는 노출 기간 동안 제 1 프레임 레이트로 제 1 초기 이미지(802)를 획득할 수 있다. 제 2 카메라는 상기 노출 기간 동안 제 2 프레임 레이트로 제 2 초기 이미지(822)를 획득할 수 있다. 그 후, 제 1 타겟 이미지(804)가 제 1 초기 이미지(802)에 따라 계산될 수 있다. 깊이 이미지 (824)(제 2 타겟 이미지라고도 함)는 제 2 초기 이미지(822)에 따라 계산될 수 있다. 마지막으로, 획득된 상기 제 1 타겟 이미지(804) 및 상기 깊이 이미지(824)가 처리될 수 있다.
상기 실시 예에 의해 제공된 이미지 처리 방법에서, 상기 제 1 카메라는 주어진 노출 기간 동안 제 1 프레임 레이트로 제 1 초기 이미지를 캡처할 수 있고, 상기 제 2 카메라는 상기 노출 기간 동안 제 2 프레임 레이트로 적어도 두 개의 제 2 초기 이미지를 캡처할 수 있다. 처리는 제 1 초기 이미지 및 깊이 이미지로부터 생성된 제 1 타겟 이미지 및 제 2 초기 이미지로부터 생성된 깊이 이미지에 따라 더 수행될 수 있다. 이러한 방식으로, 제 1 카메라와 제 2 카메라가 동일한 노출 기간에 이미지들을 획득할 수 있음을 보장할 수 있다. 또한, 제 2 카메라는 동시에 적어도 두 개의 제 2 초기 이미지를 획득하고, 상기 적어도 두 개의 제 2 초기 이미지에 따라 추가 처리를 위한 최종 깊이 이미지를 생성할 수 있다. 따라서, 이미지 캡처하는 동안 발생하는 오류를 줄이고, 이미지 처리의 정확성을 높일 수 있다.
비록 도 2, 3, 4, 6, 7, 8의 흐름도에 있는 블록은 화살표 표시에 따라 순차적으로 나타나지만, 이러한 블록이 반드시 화살표로 표시된 순서대로 수행되는 것은 아니라는 것을 이해해야 한다. 본 발명에 의해 명시적으로 언급되지 않는 한, 이들 블록은 엄격한 순서로 제한되지 않으며 다른 순서로 실행될 수 있다. 더욱이, 도 2, 3, 4, 6, 7, 8의 블록의 적어도 일부는 복수의 서브 블록 또는 단계를 포함할 수 있다. 이러한 서브 블록 또는 단계는 반드시 같은 시간 또는 순간에 수행되는 것은 아니며, 다른 시간 또는 순간에 수행될 수 있다. 이들 서브 블록 또는 단계는 반드시 연속적으로 수행되는 것은 아니며, 다른 블록이나, 다른 블록의 서브-블록 또는 단계의 적어도 일부와 교대로 수행될 수 있다.
도 9는 본 발명의 일부 실시 예에 따라 전술한 이미지 처리 방법을 구현하기위한 소프트웨어 프레임 워크를 나타내는 블록도이다. 도 9에 도시된 바와 같이, 소프트웨어 프레임 워크는 애플리케이션 계층(90), 하드웨어 추상화 계층(HAL, Hardware Abstraction Layer)(92), 커널 계층(94) 및 하드웨어 계층(96)을 포함할 수 있다. 애플리케이션 계층(90)은 애플리케이션(902)을 포함할 수 있다. 하드웨어 추상화 계층(92) 인터페이스(922), 이미지 동기화 모듈(924), 이미지 알고리즘 모듈(926) 및 애플리케이션 알고리즘 모듈(928)을 포함할 수 있다. 상기 커널 계층(94)은 카메라 드라이버(942), 카메라 보정 모듈(944) 및 카메라 동기화 모듈(946)을 포함할 수 있다. 상기 하드웨어 계층(96)은 제 1 카메라(962), 제 2 카메라(964) 및 이미지 신호 프로세서(ISP, Image Signal Processor)(966)를 포함할 수 있다.
일부 실시 예에서, 애플리케이션(90)은 이미지 캡처 명령을 시작한 다음 상기 이미지 캡처 명령을 인터페이스(922)로 전송하도록 구성될 수 있다. 인터페이스(922)가 이미지 캡처 명령을 파싱한 후, 카메라의 구성 파라미터는 카메라 드라이브(942)에 의해 정의될 수 있다. 그리고 나서, 상기 구성 파라미터는 이미지 프로세서(966)로 추가로 전송될 수 있다. 제 1 카메라(962) 및 제 2 카메라(964)는 이미지 프로세서(966)에 의해 켜지도록 제어될 수 있다. 상기 제 1 카메라(962) 및 제 2 카메라(964)가 켜진 후, 제 1 카메라(962) 및 제 2 카메라(964)는 카메라 동기화 모듈(946)에 의해 제어되어 동시에 이미지를 캡처할 수 있다. 제 1 카메라(962)에 의해 캡처된 제 1 초기 이미지와 제 2 카메라(964)에 의해 캡처된 제 2 초기 이미지는 이미지 프로세서(966)로 추가로 전송된 다음, 상기 이미지 프로세서(966)를 통해 카메라 보정 모듈(944)로 전송될 수 있다. 상기 카메라 보정 모듈(944)은 제 1 타겟 이미지를 제 2 초기 이미지와 정렬한 다음, 정렬된 제 1 및 제 2 초기 이미지를 하드웨어 추상화 계층(92)으로 전송할 수 있다. 하드웨어 추상화 계층(92)의 이미지 동기화 모듈(924)은 제 1 타겟 이미지가 캡처되는 제 1 시점 및 제 2 초기 이미지가 캡처되는 제 2 시점에 따라, 제 1 타겟 이미지 및 제 2 초기 이미지가 동시에 획득되는지 여부를 결정하도록 구성될 수 있다. 이미지 알고리즘 모듈(926)은 제 1 타겟 이미지 및 제 2 초기 이미지가 동시에 획득된 경우에만, 제 1 초기 이미지에 따라 제 1 타겟 이미지를 계산하고, 제 2 초기 이미지에 따라 깊이 이미지를 계산할 수 있다. 제 1 타겟 이미지 및 깊이 이미지는 애플리케이션 알고리즘 모듈(928)에 의해 처리(패키징 등)될 수 있고, 그리고 나서 처리(패키징 등)된 제 1 타겟 이미지 및 깊이 이미지가 인터페이스(922)를 통해 애플리케이션(902)으로 전송될 수 있다. 제 1 타겟 이미지 및 깊이 이미지를 수신한 후, 애플리케이션(902)은 제 1 타겟 이미지 및 깊이 이미지에 따라, 3 차원 모델링, 미화, 증강 현실(AR) 등과 같은 처리를 수행할 수 있다.
도 10은 본 발명의 일부 실시 예에 따른 이미지 처리 장치의 블록도이다. 상기 이미지 처리 장치는 전술한 일부 실시 예에서 이미지 처리 방법을 달성하거나 수행하도록 구성될 수 있다. 도 10에 도시된 바와 같이, 이미지 처리 장치(1000)는 획득 유닛(1002), 스티칭 유닛(1004) 및 처리 유닛(1006)을 포함할 수 있다.
획득 유닛(1002)은 노출 기간 동안 제 1 프레임 레이트로 제 1 카메라에 의해 캡쳐된 제 1 초기 이미지를 획득하고, 상기 노출 기간 동안 제 2 프레임 레이트로 제 2 카메라에 의해 캡쳐된 적어도 두 개의 제 2 초기 이미지를 획득하도록 구성될 수 있다. 일부 실시 예에서, 제 1 프레임 레이트는 제 2 프레임 레이트보다 작을 수 있다. 제 2 카메라는 TOF 카메라일 수 있고, 제 2 초기 이미지는 깊이 정보를 갖는 이미지일 수 있다.
스티칭 유닛(1004)은 적어도 두 개의 제 2 초기 이미지를 하나의 깊이 이미지로 스티칭하도록 구성될 수 있다.
처리 유닛(1006)은 깊이 이미지 및 제 1 타겟 이미지를 처리하도록 구성될 수 있다. 여기서, 제 1 타겟 이미지는 제 1 초기 이미지로부터 생성될 수 있다.
상기 실시 예에 의해 제공된 이미지 처리 장치에서, 동일한 노출 기간 동안 제 1 초기 이미지 및 복수의 제 2 초기 이미지를 획득하는 것이 가능하다. 그 후, 복수의 제 2 초기 이미지는 하나의 깊이 이미지로 스티칭될 수 있다. 제 1 초기 이미지로부터 생성된 제 1 타겟 이미지 및 하나의 깊이 이미지는 더 처리될 수 있다. 종래의 TOF 카메라와 비교하면, 본 발명의 일부 실시 예에 따른 이미지 처리 장치에서는 프레임 손실이 덜 발생하여 이미지 처리 시스템의 안정성이 향상될 수 있다.
일부 실시 예에서, 제 2 초기 이미지는 이미지 데이터 및 이미지 데이터에 대응하는 메타 데이터를 포함할 수 있다. 스티칭 유닛(1004)은 적어도 두 개의 제 2 초기 이미지를 하나의 깊이 이미지로 스티칭하도록 구성될 수 있다. 보다 구체적으로, 스티칭 유닛(1004)은, 각각의 제 2 초기 이미지에서 이미지 데이터 및 메타 데이터를 추출하고; 추출된 이미지 데이터 및 메타 데이터를 패키징하고; 패키징된 이미지 데이터 및 메타 데이터를 저장하도록 구성될 수 있다. 저장된 이미지 데이터 및 메타 데이터는 깊이 이미지의 데이터일 수 있다.
일부 실시 예에서, 스티칭 유닛(1004)은 다음 동작에 의해 추출된 이미지 데이터 및 메타 데이터를 패키징하도록 구성될 수 있다.
적어도 두 개의 제 2 초기 이미지의 이미지 데이터 및 대응하는 메타 데이터는 각각 스티칭될 수 있고; 또는 적어도 두 개의 제 2 초기 이미지의 이미지 데이터 및 메타 데이터는 노출 타이밍에 따라 순차적으로 함께 스티칭될 수 있다.
일부 실시 예에서, 캡처된 적어도 두 개의 제 2 초기 이미지 중 적어도 하나는 키 프레임으로서 구성될 수 있고, 캡처된 적어도 두 개의 제 2 초기 이미지 중 적어도 하나는 비-키 프레임일 수 있다. 스티칭 유닛(1004)은, 키 프레임의 픽셀 포인트와 비-키 프레임의 대응 픽셀 포인트 사이의 위상차를 계산하고; 키 프레임의 이미지 데이터 및 메타 데이터를 추출하고, 계산된 위상차와 키 프레임의 이미지 데이터 및 메타 데이터를 패키징함으로써, 추출된 이미지 데이터 및 메타 데이터를 패키징하도록 구성될 수 있다.
일부 실시 예에서, 메타 데이터는 제 2 초기 이미지를 캡처하는 시퀀스를 나타내도록 구성될 수 있다. 스티칭 유닛(1004)은, 메타 데이터에 따라 캡처된 제 2 초기 이미지 중 적어도 하나가 손실되었는지를 결정하며; 캡처된 제 2 초기 이미지가 손실되지 않았다는 결정에 기초하여, 제 2 초기 이미지 및 대응하는 식별 정보를 패키징하고; 및 상기 식별 정보에 따라 패키징된 제 2 초기 이미지를 깊이 이미지로 합성함으로써 적어도 두 개의 제 2 초기 이미지를 깊이 이미지에 스티칭하도록 구성될 수 있다.
일부 실시 예에서, 획득 유닛(1002)은 다음 작업 또는 동작에 의해 노출 기간 동안 제 2 프레임 레이트로 제 2 카메라에 의해 캡처되는 적어도 두 개의 제 2 초기 이미지를 획득하도록 구성될 수 있다.
레이저 방출기는 노출 기간 동안 제 2 프레임 레이트로 적어도 2 개의 레이저 파를 방출하도록 제어될 수 있다.
레이저 파는 물체에 의해 반사될 수 있으며, 반사된 레이저 파가 생성될 수 있고, 노출 기간 동안 반사된 레이저 파에 의해 형성된 적어도 두 개의 대응하는 제 2 초기 이미지가 제 2 카메라에 의해 캡처될 수 있다.
일부 실시 예에서, 장치(1000)는 계산 유닛(미도시)을 더 포함할 수 있다. 계산 유닛은 시차 또는 위상차법을 이용하여 적어도 두 개의 제 2 초기 이미지에 대응하는 깊이 정보를 계산하도록 구성될 수 있다.
이미지 처리 장치의 상기 실시 예에서 각 모듈의 구분은 단지 설명을 위한 것이다. 다른 실시 예에서, 이미지 처리 장치는 이미지 처리 장치의 기능의 전부 또는 일부를 완료하기 위해 상기 모듈과 상이한 다른 모듈로 분할될 수 있다.
본 발명의 일부 실시 예에서, 컴퓨터 판독 가능 저장 매체가 더 제공될 수 있다. 하나 이상의 컴퓨터 판독 가능 저장 매체는 컴퓨터 실행 가능 명령을 포함할 수 있다. 컴퓨터 실행 가능 명령이 하나 이상의 프로세서에 의해 실행될 때, 프로세서는 상기 실시 예에 따른 이미지 처리 방법을 수행하게 할 수 있다.
컴퓨터 프로그램 제품은 명령을 포함할 수 있다. 컴퓨터 프로그램 제품이 컴퓨터상에서 실행될 때, 컴퓨터는 상기 실시 예에서 제공한 이미지 처리 방법을 수행하게 할 수 있다.
본 발명의 일부 실시 예에서, 전자 기기가 더 제공될 수 있다. 상기 전자 기기는 이미지 처리 회로를 포함할 수 있다. 이미지 처리 회로는 하드웨어 및 / 또는 소프트웨어 구성 요소로 구현될 수 있으며, ISP(Image Signal Processing) 파이프 라인을 정의하는 다양한 처리 유닛을 포함할 수 있다. 도 11은 본 발명의 일부 실시 예에 따른 이미지 처리 회로의 블록도이다. 도 11에 도시 된 바와 같이, 예시를 위해 본 발명의 실시 예와 관련된 이미지 처리 기술의 다양한 측면만 도시될 수 있다.
도 11에 도시된 바와 같이, 이미지 처리 회로는 제 1 ISP 프로세서(1130), 제 2 ISP 프로세서(1140) 및 제어 로직(1150)을 포함할 수 있다. 제 1 카메라(1111)는 하나 이상의 제 1 렌즈(1112) 및 제 1 이미지 센서(1114)를 포함할 수 있다. 제 1 이미지 센서(1114)는 컬러 필터 어레이(예를 들어, Bayer 필터)를 포함할 수 있다. 제 1 이미지 센서(1114)는 제 1 이미지 센서(1114)의 각 이미징 픽셀에 의해 캡처된 빛의 세기 및 파장 정보를 획득하고, 제 1 ISP 프로세서(1130)에 의해 처리될 수 있는 이미지 데이터 세트를 제공하도록 구성될 수 있다. 제 2 카메라(1120)는 하나 이상의 제 2 렌즈(1122) 및 제 2 이미지 센서(1124)를 포함할 수 있다. 제 2 이미지 센서(1124)는 (베이어 필터와 같은) 컬러 필터 어레이를 포함할 수 있다. 제 2 이미지 센서(1124)는 제 2 이미지 센서(1124)의 각 이미징 픽셀에 의해 캡쳐된 빛의 세기 및 파장 정보를 획득하고, 제 2 ISP 프로세서(1140)에 의해 처리될 수 있는 이미지 데이터 세트를 제공하도록 구성될 수 있다.
제 1 카메라(1111)에서 캡처된 제 1 초기 이미지는 처리를 위해 제 1 ISP 프로세서(1130)로 전송될 수 있다. 제 1 ISP 프로세서(1130)가 제 1 초기 이미지를 처리한 후, 제 1 초기 이미지의 통계 데이터(이미지의 밝기, 이미지의 콘트라스트, 이미지의 색상 등)가 제어 로직(1150)으로 전송될 수 있다. 제어 로직(1150)은 통계 데이터에 따라 제 1 카메라(1111)의 제어 파라미터를 결정하여 제 1 카메라(1111)가 제어 파라미터에 따라 자동 초점, 자동 노출 등과 같은 동작을 수행할 수 있도록 구성될 수 있다. 제 1 ISP 프로세서(1130)에 의해 처리된 후 제 1 초기 이미지는 이미지 메모리(1160)에 저장될 수 있다. 제 1 ISP 프로세서(1130)는 또한 처리를 위해 이미지 메모리(1160)에 저장된 이미지를 판독하도록 구성될 수 있다. 또한, ISP 프로세서(113)에 의해 처리된 후, 제 1 초기 이미지는 디스플레이를 위해 디스플레이(1170)로 바로 전송될 수 있다. 디스플레이(1170)는 또한 디스플레이를 위해 이미지 메모리(1160)에 있는 이미지를 판독하도록 구성될 수 있다.
제 1 ISP 프로세서(1130)는 복수의 포맷에 따라 이미지 데이터를 픽셀 단위로 처리하도록 구성될 수 있다. 예를 들어, 각 이미지 픽셀은 8, 10, 12 또는 14 비트의 비트 심도(bit depth)를 가질 수 있다. 제 1 ISP 프로세서(1130)는 이미지 데이터에 대해 하나 이상의 이미지 처리 동작을 수행하고, 이미지 데이터에 대한 통계 정보를 수집하도록 구성될 수 있다. 일부 실시 예에서, 이미지 처리 동작은 동일하거나 상이한 비트 심도 정밀도로 수행될 수 있다.
이미지 메모리(1160)는 메모리 장치, 저장 장치, 또는 전자 기기 내의 별도의 전용 메모리의 일부일 수 있다. 이미지 메모리(1160)는 DMA(Direct Memory Access)의 특징을 가질 수 있다.
제 1 이미지 센서(1114)로부터 이미지 데이터를 수신하는 경우, 제 1 ISP 프로세서(1130)는 하나 이상의 이미지 처리 동작, 예를 들어 시간 도메인 필터링을 수행할 수 있다. 처리된 이미지 데이터는 디스플레이되기 전에 추가 처리를 위해 이미지 메모리(1160)로 전송될 수 있다. 제 1 ISP 프로세서(1130)는 이미지 메모리(1160)로부터 처리된 데이터를 수신하고 상기 처리된 데이터에 대해 RGB 및 YCbCr 색 공간에서 이미지 데이터 처리를 수행할 수 있다. 제 1 ISP 프로세서(1130)에서 처리된 이미지 데이터는 디스플레이(1170)로 출력되어, 상기 이미지 데이터를 사용자가 볼 수 있고, 및/또는 그래픽 엔진 또는 GPU(Graphics Processing Unit)에 의해 추가 처리될 수 있다. 또한, 제 1 ISP 프로세서(1130)의 출력도 이미지 메모리(1160)로 전송될 수 있고, 디스플레이(1170)는 이미지 메모리(1160)로부터 이미지 데이터를 판독할 수 있다. 일부 실시 예에서, 이미지 메모리(1160)는 하나 이상의 프레임 버퍼를 구현하도록 구성될 수 있다.
제 1 ISP 프로세서(1130)에 의해 결정된 통계 데이터는 제어 로직(1150)으로 전송될 수 있다. 예를 들어, 통계 데이터는 자동 노출, 자동 화이트 밸런스, 자동초점, 플리커 검출, 블랙 레벨 보정, 제 1 렌즈(1212)의 음영 보정 등과 같은 제 1 이미지 센서(1114)의 통계 정보를 포함할 수 있다. 제어 로직(1150)은 하나 이상의 루틴(펌웨어와 같은)을 실행하도록 구성된 프로세서 및/또는 마이크로 컨트롤러를 포함할 수 있다. 하나 이상의 루틴은 수신된 통계 데이터에 따라 제 1 카메라(1111) 및 ISP 프로세서(1130)의 제어 파라미터를 결정하도록 구성될 수 있다. 예를 들어, 제 1 카메라(1111)의 제어 파라미터는 이득, 노출 제어의 통합 시간, 지터 방지 파라미터, 플래시 제어 파라미터, 제 1 렌즈(1112)의 제어 파라미터(예를 들어, 포커스되거나 줌된 초점 거리), 또는 이러한 파라미터의 조합 등을 포함할 수 있다. ISP 제어 파라미터는 자동 화이트 밸런스 및 컬러 조정(예를 들어, RGB 처리 동안)을 위한 이득 레벨 및 컬러 보정 매트릭스, 및 제 1 렌즈(1112)의 음영 보정 파라미터를 포함할 수 있다.
마찬가지로, 제 2 카메라(1120)에서 캡처한 제 2 초기 이미지는 처리를 위해 제 2 ISP 프로세서(1140)로 전송될 수 있다. 제 2 ISP 프로세서(1140)가 제 2 초기 이미지를 처리한 후, 제 2 초기 이미지의 통계 데이터(예를 들어, 밝기, 이미지의 콘트라스트, 이미지의 색상 등)가 제어 로직(1150)으로 전송될 수 있다. 제어 로직(1150)은 통계 데이터에 따라 제 2 카메라(1120)의 제어 파라미터를 결정하여, 제 2 카메라(1120)가 상기 제어 파라미터에 따라 자동 초점, 자동 노출 등의 동작을 수행할 수 있도록 구성될 수 있다. 제 2 ISP 프로세서(1140)에 의해 처리 된 후, 제 2 초기 이미지는 이미지 메모리(1160)에 저장될 수 있다. 제 2 ISP 프로세서(1140)는 또한 처리를 위해 이미지 메모리(1160)에 저장된 이미지를 판독하도록 구성될 수 있다. 또한, ISP 프로세서(114)에 의해 처리된 후, 제 2 초기 이미지는 디스플레이를 위해 디스플레이(1170)로 바로 전송될 수 있다. 디스플레이(1170)는 또한 디스플레이를 위해 이미지 메모리(1160)에 있는 이미지를 판독하도록 구성될 수 있다. 제 2 카메라(1120) 및 제 2 ISP 프로세서(1140)도 제 1 카메라(1111) 및 제 1 ISP 프로세서(1130)에서 설명한 바와 같은 프로세스를 구현할 수 있다.
본 발명에서 사용되는 메모리, 스토리지, 데이터베이스 또는 다른 매체에 대한 임의의 참조는 및/또는 일시적인 메모리를 포함할 수 있다. 메모리는 ROM(Read-Only Memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 또는 플래시 메모리를 포함할 수 있다. 일시적인 메모리는 RAM(Random Access Memory)을 포함할 수 있으며, 외부 고속 버퍼 메모리로 사용될 수 있다. 예시적이지만 제한 없이, RAM은 다양한 형태, 예를 들어, 정적 RAM(SRAM), 동적 RAM(DRAM), 동기식 DRAM(SDRAM), 이중 데이터 속도 SDRAM(DDRSDRAM), 향상된 SDRAM(ESDRAM), Synchlink DRAM(SLDRAM), Rambus Direct RAM(RDRAM), Direct RDRAM(DRDRAM) 및 Rambus Dynamic RAM(RDRAM)에서 구할 수 있다.
상기 언급된 실시 예는 본 발명의 일부 구현 모드만을 설명하고 구체적으로 상세하게 설명되지만, 본 발명의 범위를 제한하는 것으로 이해되어서는 안된다. 당업자는 본 발명의 개념을 벗어나지 않고 복수의 변형 및 개선을 추가로 만들 수 있다는 점에 유의해야한다. 이들 모두는 본 발명의 보호 범위 내에 있다. 따라서 특허 공개의 보호 범위는 첨부된 청구 범위에 따라야 한다.
Claims (15)
- 전자 기기를 위한 이미지 처리 방법에 있어서, 상기 방법은,
노출 기간 동안 제 1 프레임 레이트로 제 1 카메라(102)에 의해 제 1 초기 이미지(802)를 획득하고, 상기 노출 기간 동안 제 2 프레임 레이트로 제 2 카메라(104)에 의해 적어도 두 개의 제 2 초기 이미지(822)를 획득하는 단계(202) - 상기 제 1 프레임 레이트는 상기 제 2 프레임 레이트보다 작고, 상기 제 2 초기 이미지(822) 각각은 깊이 정보를 갖는 이미지임-; 및
추가 처리를 위해 적어도 두 개의 제 2 초기 이미지(822)를 하나의 깊이 이미지(824)로 스티칭하는 단계(204)를 포함하는 것을 특징으로 하는 방법. - 제 1 항에 있어서,
각각의 상기 제 2 초기 이미지(822)는 이미지 데이터 및 상기 이미지 데이터에 대응하는 메타 데이터를 포함하고;
상기 적어도 두 개의 제 2 초기 이미지(822)를 하나의 깊이 이미지(824)로 스티칭 하는 단계(204)는,
상기 제 2 초기 이미지(822) 각각의 이미지 데이터 및 메타 데이터를 추출하는 단계(302);
제 2 초기 이미지(822)로부터 추출된 이미지 데이터 및 메타 데이터를 패키징 하여 패키징된 이미지 데이터 및 메타 데이터를 형성하는 단계(304); 및
상기 패키징된 이미지 데이터 및 메타 데이터를 깊이 포맷으로 저장하여 깊이 이미지(824)를 생성하는 단계(306)를 포함하는 것을 특징으로 하는 방법 . - 제 2 항에 있어서,
상기 추출된 이미지 데이터 및 메타 데이터를 패키징하는 단계(304)는,
적어도 두 개의 초기 이미지의 상기 이미지 데이터 및 대응하는 메타 데이터를 스티칭하는 단계, 또는
노출 타이밍에 기초하여 적어도 두 개의 제 2 초기 이미지(822)의 상기 이미지 데이터를 순차적으로 스티칭하는 단계를 포함하는 것을 특징으로 하는 방법. - 제 2 항에 있어서,
상기 적어도 2 개의 제 2 초기 이미지(822) 중 적어도 하나는 키 프레임이고, 상기 적어도 2 개의 제 2 초기 이미지(822) 중 적어도 하나는 비-키 프레임이며;
상기 추출된 이미지 데이터 및 메타 데이터를 패키징 하는 단계(304)는,
키 프레임의 픽셀 포인트와 비-키 프레임의 대응 픽셀 포인트 사이의 위상차를 계산하는 단계; 및
상기 키 프레임의 이미지 데이터 및 메타 데이터를 추출하고, 계산된 위상차와 상기 키 프레임의 이미지 데이터 및 메타 데이터를 패키징하는 단계를 포함하는 것을 특징으로 하는 방법. - 제 2 항에 있어서,
상기 메타 데이터는 상기 제 2 초기 이미지(822)를 획득하는 시퀀스를 나타내도록 구성되며;
상기 적어도 두 개의 제 2 초기 이미지(822)를 하나의 깊이 이미지(824)로 스티칭하는 단계(204)는,
상기 메타 데이터에 따라, 적어도 두 개의 제 2 초기 이미지(822) 중 적어도 하나가 손실되었는지를 결정하는 단계;
상기 제 2 초기 이미지(822) 중 어느 것도 손실되지 않는다는 결정에 기초하여, 상기 제 2 초기 이미지(822) 및 대응하는 식별 정보를 패키징하는 단계; 및
상기 식별 정보에 따라 패키징된 상기 제 2 초기 이미지(822)를 상기 깊이 이미지(824)로 합성하는 단계를 포함하는 것을 특징으로 하는 방법. - 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 노출 기간 동안 제 2 프레임 레이트에서 제 2 카메라(104)에 의해 적어도 두 개의 제 2 초기 이미지(822)를 획득하는 단계는,
상기 노출 기간 동안 상기 제 2 프레임 레이트로 적어도 2 개의 레이저 파를 방출하도록 레이저 방출기를 제어하는 단계-적어도 2 개의 레이저 파 각각이 물체에 의해 반사되어 반사된 레이저 파가 형성됨-; 및
상기 제 2 카메라(104)에 의해, 상기 노출 기간 동안 반사된 레이저 파에 의해 생성된 적어도 두 개의 제 2 초기 이미지(822)를 획득하는 단계를 포함하는 것을 특징으로 하는 방법. - 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 노출 기간 동안 제 2 프레임 레이트로 제 2 카메라(104)에 의해 적어도 두 개의 제 2 초기 이미지(822)를 획득하는 단계 후, 상기 방법은,
시차법 또는 위상차법을 이용하여 상기 적어도 두 개의 제 2 초기 이미지에 대응하는 깊이 정보를 계산하는 단계(822)를 더 포함하는 것을 특징으로 하는 방법. - 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 노출 기간 동안 제 1 프레임 레이트에서 제 1 카메라(102)에 의해 제 1 초기 이미지(802)를 획득하고, 상기 노출 기간 동안 제 2 프레임 레이트로 제 2 카메라(104)에 의해 적어도 두 개의 제 2 초기 이미지(822)를 획득하는 단계(202)는,
이미지 캡처 명령이 검출되면, 상기 노출 기간 동안 상기 제 1 프레임 레이트로 상기 제 1 카메라(102)에 의해 상기 제 1 초기 이미지(802)를 획득하는 단계(402);
상기 제 2 초기 이미지(822)의 개수를 획득하고, 상기 제 2 초기 이미지(822)의 개수와 상기 제 1 프레임 레이트에 따라 상기 제 2 프레임 레이트를 계산하는 단계(404); 및
상기 노출 기간 동안 계산된 상기 제 2 프레임 레이트로 상기 제 2 카메라(104)에 의해 상기 제 2 초기 이미지(822)를 획득하는 단계(406)를 포함하는 것을 특징으로 하는 방법. - 제 8 항에 있어서,
상기 제 2 초기 이미지(822)의 개수를 획득하는 단계(404)는,
미리 설정된 제 2 초기 이미지(822)의 개수를 획득하는 단계;
상기 이미지 캡처 명령에 포함된 애플리케이션 식별자에 대응하는 애플리케이션 레벨을 획득하고, 상기 애플리케이션 레벨에 따라 대응하는 상기 제 2 초기 이미지(822)의 개수를 획득하는 단계; 및
상기 전자 기기의 지터 데이터(jitter data)를 획득하고, 상기 지터 데이터에 따라 대응하는 상기 제 2 초기 이미지(822)의 개수를 획득하는 단계 중 하나를 포함하는 것을 특징으로 하는 방법. - 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
상기 노출 기간 동안 제 1 프레임 레이트로 제 1 카메라(102)에 의해 제 1 초기 이미지(802)를 획득하고, 상기 노출 기간 동안 제 2 프레임 레이트 2 카메라(104)에 의해, 적어도 두 개의 제 2 초기 이미지(822)를 획득하는 단계(202) 후 상기 방법은,
상기 제 1 초기 이미지(802)가 캡처되는 제 1 시점 및 상기 제 2 초기 이미지(822) 각각이 캡처되는 제 2 시점을 획득하는 단계;
상기 제 1 시점과 상기 제 2 시점 사이의 시간 간격이 간격 임계값 미만인지 판단하는 단계;
상기 제 1 시점과 상기 제 2 시점 사이의 시간 간격이 상기 간격 임계값 미만이 아니라는 결정에 기초하여, 상기 제 1 초기 이미지(802) 및 적어도 두 개의 초기 이미지를 폐기하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
제 1 타겟 이미지(804)를 생성하기 위해 상기 제 1 초기 이미지(802)에 대해 제 1 포맷 변환을 수행하는 단계(408)-상기 깊이 이미지(824) 및 상기 제 1 타겟 이미지(804)는 타이밍에 있어 서로 동기적으로 대응함-;를 더 포함하며,
상기 적어도 두 개의 제 2 초기 이미지(822)를 하나의 깊이 이미지로 스티칭 하는 단계(204)는,
적어도 두 개의 제 2 초기 이미지(822)를 패키징 하고, 상기 깊이 이미지(824)를 생성하기 위해 패키징된 제 2 초기 이미지(822)에 대해 제 2 포맷 변환을 수행하는 단계(410)를 포함하는 것을 특징으로 하는 방법. - 제 11 항에있어서,
제 1 타겟 이미지(804)에서 타겟 객체를 식별하고, 상기 깊이 이미지(824)에 따라 상기 타겟 객체에 대응하는 타겟 깊이 정보를 획득하는 단계(412); 및
상기 타겟 깊이 정보에 따라 상기 타겟 객체에 대한 처리를 수행하는 단계(414)를 더 포함하는 것을 특징으로 하는 방법. - 제 12 항에 있어서,
상기 제 1 타겟 이미지를 생성하기 위해 상기 제 1 초기 이미지(802)에 대해 상기 제 1 포맷 변환을 수행하는 단계 후, 및 상기 제 1 타겟 이미지에서 상기 타겟 객체를 식별하는 단계(412) 전에, 상기 방법은,
상기 제 1 타겟 이미지 및 상기 깊이 이미지(824)를 패키징하는 단계;
애플리케이션이 임계값보다 큰 레벨을 갖는 경우 상기 패키징된 제 1 타겟 이미지 및 깊이 이미지(824)를 암호화하는 단계(602); 및
상기 암호화된 제 1 타겟 이미지(804) 및 깊이 이미지(824)를 애플리케이션으로 전송하는 단계(604)를 더 포함하는 것을 특징으로 하는 방법. - 프로세서에 의해 실행될 때, 상기 프로세서가 제 1 항 내지 제 13 항 중 어느 한 항의 이미지 처리 방법을 수행하게 하는 프로그램을 저장하는 것을 특징으로하는 컴퓨터 판독 가능 저장 매체.
- 제 1 카메라(1111), 제 2 카메라(1120), 메모리(1160) 및 프로세서(1130, 1140)를 포함하는 전자 기기로서, 상기 메모리(1160)는, 상기 프로세서(1130, 1140)에 의해 실행될 때, 상기 프로세서(1130, 1140)가 제 1 항 내지 제 13 항 중 어느 한 항의 이미지 처리 방법을 수행하게 하는 컴퓨터 프로그램을 저장하는 것을 특징으로 하는 전자 기기.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810962707.9 | 2018-08-22 | ||
| CN201810962707.9A CN108965732B (zh) | 2018-08-22 | 2018-08-22 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
| PCT/CN2019/101363 WO2020038330A1 (en) | 2018-08-22 | 2019-08-19 | Image processing method, computer-readable storage medium, and electronic apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200138298A true KR20200138298A (ko) | 2020-12-09 |
| KR102377728B1 KR102377728B1 (ko) | 2022-03-25 |
Family
ID=64473853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207030579A KR102377728B1 (ko) | 2018-08-22 | 2019-08-19 | 이미지 처리 방법, 컴퓨터 판독 가능 저장 매체, 및 전자 기기 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11145071B2 (ko) |
| EP (1) | EP3614171B1 (ko) |
| JP (1) | JP7139452B2 (ko) |
| KR (1) | KR102377728B1 (ko) |
| CN (1) | CN108965732B (ko) |
| AU (1) | AU2019326597B2 (ko) |
| WO (1) | WO2020038330A1 (ko) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108965732B (zh) * | 2018-08-22 | 2020-04-14 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
| EP3873083A4 (en) * | 2018-11-02 | 2021-12-01 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | DEPTH IMAGE PROCESSING, DEPTH IMAGE PROCESSING APPARATUS AND ELECTRONIC APPARATUS |
| CN111372005B (zh) * | 2018-12-25 | 2023-03-24 | 浙江舜宇智能光学技术有限公司 | Tof摄像模组自动曝光补偿方法及其系统 |
| CN110062161B (zh) * | 2019-04-10 | 2021-06-25 | Oppo广东移动通信有限公司 | 图像处理器、图像处理方法、拍摄装置和电子设备 |
| CN110428381B (zh) * | 2019-07-31 | 2022-05-06 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、移动终端及存储介质 |
| CN110794422B (zh) * | 2019-10-08 | 2022-03-29 | 歌尔光学科技有限公司 | 一种含有tof成像模组的机器人数据采集系统及方法 |
| CN111079520B (zh) * | 2019-11-01 | 2024-05-21 | 京东科技控股股份有限公司 | 图像识别方法、设备及存储介质 |
| WO2021114036A1 (zh) * | 2019-12-09 | 2021-06-17 | 南昌欧菲生物识别技术有限公司 | Tof相机及电子设备 |
| CN111741303B (zh) * | 2020-06-09 | 2022-03-25 | Oppo广东移动通信有限公司 | 深度视频处理方法、装置、存储介质与电子设备 |
| CN111988526B (zh) * | 2020-08-27 | 2021-07-27 | Oppo（重庆）智能科技有限公司 | 移动终端及图像数据处理方法 |
| US11523043B2 (en) * | 2020-10-12 | 2022-12-06 | Apple Inc. | Camera autofocus using time-of-flight assistance |
| CN112468781A (zh) * | 2020-11-25 | 2021-03-09 | 中国人民解放军国防科技大学 | 一种阵列式微光场景视频成像装置及方法 |
| GB2602622A (en) * | 2020-12-03 | 2022-07-13 | Cambridge Mechatronics Ltd | Camera |
| CN116935467A (zh) * | 2021-08-12 | 2023-10-24 | 荣耀终端有限公司 | 数据处理方法及装置 |
| CN113572973B (zh) * | 2021-09-28 | 2021-12-17 | 武汉市聚芯微电子有限责任公司 | 一种曝光控制方法、装置、设备以及计算机存储介质 |
| CN116261041A (zh) * | 2021-12-08 | 2023-06-13 | 华为技术有限公司 | 拍摄方法、装置、设备及存储介质 |
| CN116543330A (zh) * | 2023-04-13 | 2023-08-04 | 北京京东乾石科技有限公司 | 农作物信息存储方法、装置、电子设备和计算机可读介质 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5448617B2 (ja) * | 2008-08-19 | 2014-03-19 | パナソニック株式会社 | 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ |
| WO2012001755A1 (ja) * | 2010-07-02 | 2012-01-05 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理システム、情報処理装置および情報処理方法 |
| US9542975B2 (en) * | 2010-10-25 | 2017-01-10 | Sony Interactive Entertainment Inc. | Centralized database for 3-D and other information in videos |
| KR101862199B1 (ko) * | 2012-02-29 | 2018-05-29 | 삼성전자주식회사 | 원거리 획득이 가능한 ｔｏｆ카메라와 스테레오 카메라의 합성 시스템 및 방법 |
| US20160088206A1 (en) * | 2013-04-30 | 2016-03-24 | Hewlett-Packard Development Company, L.P. | Depth sensors |
| JP2015212927A (ja) * | 2014-04-17 | 2015-11-26 | 株式会社リコー | 入力操作検出装置、入力操作検出装置を備えた画像表示装置及びプロジェクタシステム |
| US9754552B2 (en) * | 2014-06-17 | 2017-09-05 | Amazon Technologies, Inc. | Architectures for processing of head tracking on a mobile device |
| US10419703B2 (en) * | 2014-06-20 | 2019-09-17 | Qualcomm Incorporated | Automatic multiple depth cameras synchronization using time sharing |
| US9704250B1 (en) * | 2014-10-30 | 2017-07-11 | Amazon Technologies, Inc. | Image optimization techniques using depth planes |
| US9626803B2 (en) * | 2014-12-12 | 2017-04-18 | Qualcomm Incorporated | Method and apparatus for image processing in augmented reality systems |
| KR102283423B1 (ko) * | 2014-12-18 | 2021-07-30 | 엘지이노텍 주식회사 | 영상 획득 장치 및 이를 포함하는 휴대용 단말기와 그 장치의 영상 획득 방법 |
| US10692234B2 (en) * | 2015-02-12 | 2020-06-23 | Nextvr Inc. | Methods and apparatus for making environmental measurements and/or using such measurements |
| JP6646361B2 (ja) * | 2015-04-27 | 2020-02-14 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| CN104935893B (zh) * | 2015-06-17 | 2019-02-22 | 浙江大华技术股份有限公司 | 监视方法和装置 |
| CN106161943A (zh) * | 2016-07-29 | 2016-11-23 | 维沃移动通信有限公司 | 一种录像方法和移动终端 |
| CN106454287B (zh) * | 2016-10-27 | 2018-10-23 | 深圳奥比中光科技有限公司 | 组合摄像系统、移动终端及图像处理方法 |
| US20180220052A1 (en) * | 2017-01-31 | 2018-08-02 | Karl Storz Imaging, Inc. | Temporal Modulation of Fluorescence Imaging Color Channel for Improved Surgical Discrimination |
| CN107424187B (zh) * | 2017-04-17 | 2023-10-24 | 奥比中光科技集团股份有限公司 | 深度计算处理器、数据处理方法以及3d图像设备 |
| CN107154014B (zh) * | 2017-04-27 | 2020-06-26 | 上海大学 | 一种实时彩色及深度全景图像拼接方法 |
| CN206975217U (zh) * | 2017-06-27 | 2018-02-06 | 艾普柯微电子（上海）有限公司 | 感光元件及tof距离传感器 |
| CN107124604B (zh) * | 2017-06-29 | 2019-06-04 | 诚迈科技（南京）股份有限公司 | 一种利用双摄像头实现三维图像的方法及装置 |
| CN107527033A (zh) * | 2017-08-25 | 2017-12-29 | 歌尔科技有限公司 | 摄像头模组和社交系统 |
| CN107506752A (zh) | 2017-09-18 | 2017-12-22 | 艾普柯微电子（上海）有限公司 | 人脸识别装置及方法 |
| CN108347561B (zh) * | 2017-10-27 | 2020-01-03 | 广东康云多维视觉智能科技有限公司 | 激光引导扫描系统及扫描方法 |
| CN108965732B (zh) * | 2018-08-22 | 2020-04-14 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
| CN109040591B (zh) * | 2018-08-22 | 2020-08-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机可读存储介质和电子设备 |
-
2018
- 2018-08-22 CN CN201810962707.9A patent/CN108965732B/zh active Active
-
2019
- 2019-08-19 KR KR1020207030579A patent/KR102377728B1/ko active IP Right Grant
- 2019-08-19 WO PCT/CN2019/101363 patent/WO2020038330A1/en active Application Filing
- 2019-08-19 JP JP2020559552A patent/JP7139452B2/ja active Active
- 2019-08-19 AU AU2019326597A patent/AU2019326597B2/en active Active
- 2019-08-20 EP EP19192665.8A patent/EP3614171B1/en active Active
- 2019-08-21 US US16/546,870 patent/US11145071B2/en active Active
Non-Patent Citations (3)
| Title |
|---|
| Busemeyer, Lucas, et al. "BreedVision-A multi-sensor platform for non-destructive field-based phenotyping in plant breeding." Sensors 13.3 (2013): 2830-2847., 2013.12.31.* * |
| Grau, Oliver, et al. "A free-viewpoint video system for visualization of sport scenes." SMPTE motion imaging journal 116.5-6 (2007): 213-219.,2007.12.31. * |
| Mohamed, Haytham, et al. "A novel real-time reference key frame scan matching method." Sensors 17.5 (2017): 1060.,2017.12.31. * |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3614171A1 (en) | 2020-02-26 |
| CN108965732A (zh) | 2018-12-07 |
| AU2019326597A1 (en) | 2020-12-03 |
| WO2020038330A1 (en) | 2020-02-27 |
| US20200065986A1 (en) | 2020-02-27 |
| JP2021520154A (ja) | 2021-08-12 |
| JP7139452B2 (ja) | 2022-09-20 |
| AU2019326597B2 (en) | 2021-10-21 |
| EP3614171B1 (en) | 2024-04-03 |
| CN108965732B (zh) | 2020-04-14 |
| US11145071B2 (en) | 2021-10-12 |
| KR102377728B1 (ko) | 2022-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102377728B1 (ko) | 이미지 처리 방법, 컴퓨터 판독 가능 저장 매체, 및 전자 기기 | |
| US11196919B2 (en) | Image processing method, electronic apparatus, and computer-readable storage medium | |
| CN109040591B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN109118581B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108716983B (zh) | 光学元件检测方法和装置、电子设备、存储介质 | |
| CN109151303B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108012078B (zh) | 图像亮度处理方法、装置、存储介质和电子设备 | |
| CN108965721A (zh) | 摄像头模组的控制方法和装置、电子设备 | |
| WO2019226211A1 (en) | Image signal processing for reducing lens flare | |
| CN103685875A (zh) | 成像装置 | |
| CN109190533B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN108716982A (zh) | 光学元件检测方法、装置、电子设备和存储介质 | |
| JP2020528702A (ja) | 画像処理方法および装置 | |
| KR20160036985A (ko) | 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법 | |
| JP5406151B2 (ja) | ３次元撮像装置 | |
| CN107872631B (zh) | 基于双摄像头的图像拍摄方法、装置及移动终端 | |
| CN108600740A (zh) | 光学元件检测方法、装置、电子设备和存储介质 | |
| CN108924426A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN109559353A (zh) | 摄像模组标定方法、装置、电子设备及计算机可读存储介质 | |
| CN109120846B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
| CN116437198B (zh) | 图像处理方法与电子设备 | |
| JP2010130314A (ja) | 撮像装置 | |
| CN109447925B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
| GB2603115A (en) | Imaging device | |
| MX2010013636A (es) | Sistema para captura de imágenes digitales de objetos en movimiento parabolico en su punto mas alto. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |