KR102654614B1 - 깊이 이미지 생성 장치 및 그 동작 방법 - Google Patents

깊이 이미지 생성 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102654614B1
KR102654614B1 KR1020210176823A KR20210176823A KR102654614B1 KR 102654614 B1 KR102654614 B1 KR 102654614B1 KR 1020210176823 A KR1020210176823 A KR 1020210176823A KR 20210176823 A KR20210176823 A KR 20210176823A KR 102654614 B1 KR102654614 B1 KR 102654614B1
Authority
KR
South Korea
Prior art keywords
depth information
image
image sensor
depth
applying
Prior art date
Application number
KR1020210176823A
Other languages
English (en)
Other versions
KR20220083628A (ko
Inventor
권순
김제석
박재형
이진희
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Publication of KR20220083628A publication Critical patent/KR20220083628A/ko
Application granted granted Critical
Publication of KR102654614B1 publication Critical patent/KR102654614B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 2차원 이미지로부터 3차원 깊이 이미지를 생성하는 기술에 관한 것이다. 본 발명의 측면에 따르면, 기준 이미지 센서, 기준 이미지 센서를 기준으로 수평 방향으로 대칭되게 배열되는 수평 배열 이미지 센서 쌍을 N(1 이상의 자연수)개 포함하는 수평 이미지 촬영 모듈 및 기준 이미지 센서를 기준으로 수직 방향으로 대칭되게 배열되는 수직 배열 이미지 센서 쌍을 M(1 이상의 자연수)개 포함하는 수직 이미지 촬영 모듈을 포함하는 이미지 촬영부; 제1 미리 학습된 모델을 기반으로 N개의 수평 배열 이미지 세트 각각에서 깊이 정보를 추출하여 N개의 제1 깊이 정보를 생성하는 제1 깊이 정보 생성부; 제2 미리 학습된 모델을 기반으로 M개의 수직 배열 이미지 세트 각각에서 깊이 정보를 추출하여 M개의 제2 깊이 정보를 생성하는 제2 깊이 정보 생성부; N개의 제1 깊이 정보에 앙상블 기법을 적용하고, M개의 제2 깊이 정보에 앙상블 기법을 적용하고, N개의 제1 깊이 정보에 앙상블 기법을 적용한 결과 및 M개의 제2 깊이 정보에 앙상블 기법을 적용한 결과에 앙상블 기법을 적용하여 제3 깊이 정보를 생성하는 제3 깊이 정보를 생성부; 제3 깊이 정보를 기반으로 깊이 맵 이미지를 생성하는 깊이 이미지 생성부;를 포함하는 깊이 이미지 생성 장치가 개시된다.

Description

깊이 이미지 생성 장치 및 그 동작 방법{APPARATUS AND METHOD FOR GENERATING DEPTH IMAGE}
본 발명은 2차원 이미지로부터 3차원 깊이 이미지를 생성하는 기술에 관한 것이다.
3D 정보를 센싱하는 기술은 크게 능동 센싱 방식과 수동 센싱 방식으로 구분될 수 있다. 능동 센싱 방식은 LIDAR센서, TOF, RADAR 등 전파나 빛 신호를 쏜 후 되돌아오는 신호의 시간을 계산하는 방식을 사용한다. 반면, 수동 센싱 방식은 주로 듀얼 카메라를 사용한 스테레오비전이나 단일카메라 기반 Depthmap image를 생성한다. 스테레오비전의 경우 두 개의 카메라 간의 시차를 삼각측량방식으로 계산하여 객체나 화소의 거리(Depth)정보를 구하지만, 단일 카메라 기반의 Depth추정 방식은 머신러닝이나 딥러닝기반의 학습기반의 알고리즘을 사용하여 Depth feature(깊이 특징)을 사전에 학습하여 추정하는 차이점이 있다.
공개 논문 1 : C. Godard, O. M. Aodha and G. J. Brostow, "Unsupervised Monocular Depth Estimation with Left-Right Consistency," 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, 2017, pp. 6602-6611
본 발명의 목적은 향상된 깊이 맵 이미지를 생성하는 기술을 제공하는 것이다.
또한, 본 발명의 목적은 비지도 학습 기반으로 깊이 맵 이미지를 생성하는 기술을 제공하는 것이다.
또한, 본 발명의 목적은 수직 및 수평 방향으로 대칭되게 배열되는 이미지 센서에 의해 촬영된 이미지들을 이용하여 깊이 맵 이미지를 생성하는 기술을 제공하는 것이다.
본 발명의 측면에 따르면, 기준 이미지 센서, N(1이상 자연수)개의 수평 배열 이미지 센서 쌍(각 수평 배열 이미지 센서 쌍은 상기 기준 이미지 센서를 기준으로 수평 방향으로 대칭되게 배열되는 두 개의 수평 배열 이미지를 포함) 및 M(1이상 자연수)개의 수직 배열 이미지 센서 쌍(각 수평 배열 이미지 센서 쌍은 상기 기준 이미지 센서를 기준으로 수평 방향으로 대칭되게 배열되는 두 개의 수평 배열 이미지를 포함)을 포함하는 이미지 촬영부; 제1 미리 학습된 모델을 기반으로 N개의 수평 배열 이미지 세트 각각에서 깊이 정보를 추출하여 N개의 제1 깊이 정보를 생성하는 제1 깊이 정보 생성부; 제2 미리 학습된 모델을 기반으로 M개의 수직 배열 이미지 세트 각각에서 깊이 정보를 추출하여 M개의 제2 깊이 정보를 생성하는 제2 깊이 정보 생성부; N개의 제1 깊이 정보에 앙상블 기법을 적용하고, M개의 제2 깊이 정보에 앙상블 기법을 적용하고, N개의 제1 깊이 정보에 앙상블 기법을 적용한 결과 및 M개의 제2 깊이 정보에 앙상블 기법을 적용한 결과에 앙상블 기법을 적용하여 제3 깊이 정보를 생성하는 제3 깊이 정보를 생성부; 제3 깊이 정보를 기반으로 깊이 맵 이미지를 생성하는 깊이 이미지 생성부;를 포함하는 깊이 이미지 생성 장치가 제공된다.
일 실시예에서, 수평 배열 이미지 세트는 하나의 수평 배열 이미지 센서 쌍 및 기준 이미지 센서에 의해 촬영된 이미지로 구성되고, 수직 배열 이미지 세트는 하나의 수직 배열 이미지 센서 쌍 및 기준 이미지 센서에 의해 촬영된 이미지로 구성될 수 있다.
일 실시예에서, N개의 수평 배열 이미지 센서 쌍 각각은 서로 상이한 위치에 배열될 수 있다.
일 실시예에서, M개의 수직 배열 이미지 센서 쌍 각각은 서로 상이한 위치에 배열될 수 있다.
일 실시예에서, 제1 미리 학습된 모델은 수평 이미지 세트로부터 깊이 정보를 추출하도록 미리 학습된 CNN 기반의 인공지능 모델일 수 있다.
일 실시예에서, 제2 미리 학습된 모델은 수직 이미지 세트로부터 깊이 정보를 추출하도록 미리 학습된 CNN 기반의 인공지능 모델일 수 있다.
일 실시예에서, 제3 깊이 정보 생성부는 보팅(Voting), 배깅(Bagging) 및 부스팅(Boosting) 중 적어도 하나의 앙상블 기법을 기반으로 제3 깊이 정보를 생성할 수 있다.
본 발명의 측면에 따르면, 기준 이미지 센서, N(1이상 자연수)개의 수평 배열 이미지 센서 쌍(각 수평 배열 이미지 센서 쌍은 상기 기준 이미지 센서를 기준으로 수평 방향으로 대칭되게 배열되는 두 개의 수평 배열 이미지를 포함) 및 M(1이상 자연수)개의 수직 배열 이미지 센서 쌍(각 수평 배열 이미지 센서 쌍은 상기 기준 이미지 센서를 기준으로 수평 방향으로 대칭되게 배열되는 두 개의 수평 배열 이미지를 포함)에 의해 촬영된 이미지들을 수신하는 단계; 제1 미리 학습된 모델을 기반으로 N개의 수평 배열 이미지 세트 각각에서 깊이 정보를 추출하여 N개의 제1 깊이 정보를 생성하는 단계; 제2 미리 학습된 모델을 기반으로 M개의 수직 배열 이미지 세트 각각에서 깊이 정보를 추출하여 M개의 제2 깊이 정보를 생성하는 단계; N개의 제1 깊이 정보에 앙상블 기법을 적용하고, M개의 제2 깊이 정보에 앙상블 기법을 적용하고, N개의 제1 깊이 정보에 앙상블 기법을 적용한 결과 및 M개의 제2 깊이 정보에 앙상블 기법을 적용한 결과에 앙상블 기법을 적용하여 제3 깊이 정보를 생성하는 단계; 제3 깊이 정보를 기반으로 깊이 맵 이미지를 생성하는 단계;를 포함하는 깊이 이미지 생성 방법이 개시된다.
본 발명의 일 측면에 따르면, 향상된 깊이 맵 이미지를 생성하는 기술이 가능하게 된다.
또한, 본 발명의 다른 측면에 따르면 비지도 학습 기반으로 깊이 맵 이미지를 생성하는 것이 가능하게 된다.
또한, 본 발명의 또 다른 측면에 따르면, 수직 및 수평 방향으로 대칭되게 배열되는 이미지 센서에 의해 촬영된 이미지들을 이용하여 깊이 맵 이미지를 생성하는 것이 가능하게 된다.
도 1 내지 도 4는 본 발명의 일 실시예에 따른 깊이 이미지 생성 장치를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 깊이 이미지 생성 방법의 흐름도이다.
도 6은 본 발명의 다른 실시예에 따른 깊이 이미지 생성 장치의 블록도이다.
이하, 본 문서의 다양한 실시 예들이 첨부된 도면을 참조하여 기재된다.
실시 예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다.
하기에서 다양한 실시 예들을 설명에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 다양한 실시 예들에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다.
"제1," "제2," "첫째," 또는 "둘째," 등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다.
본 명세서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다.
어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.
예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
또한, '또는' 이라는 용어는 배타적 논리합 'exclusive or' 이기보다는 포함적인 논리합 'inclusive or' 를 의미한다.
즉, 달리 언급되지 않는 한 또는 문맥으로부터 명확하지 않는 한, 'x가 a 또는 b를 이용한다' 라는 표현은 포함적인 자연 순열들(natural inclusive permutations) 중 어느 하나를 의미한다.
상술한 구체적인 실시예들에서, 발명에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다.
그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 상술한 실시 예들이 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나, 다양한 실시 예들이 내포하는 기술적 사상의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다.
그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니되며 후술하는 청구범위 뿐만 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.
도 1 내지 도 4는 본 발명의 일 실시예에 따른 깊이 이미지 생성 장치를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 깊이 이미지 생성 장치(1000)는 이미지 촬영부(1100), 제1 깊이 정보 생성부(1200), 제2 깊이 정보 생성부(1300), 제3 깊이 정보 생성부(1400) 및 깊이 이미지 생성부(1500)를 포함할 수 있다.
이미지 촬영부(1100)는 깊이 이미지를 생성하고자 하는 공간을 복수의 이미지 센서를 이용하여 촬영하여 2차원 이미지를 생성할 수 있다.
일 실시예에서, 이미지 촬영부(1100)는 도 2와 같이 배열된 복수의 이미지 센서를 포함할 수 있다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 복수의 이미지 센서들을 포함하는 이미지 촬영부(1100)가 도시되어 있다. 복수의 이미지 센서는 기준 이미지 센서(2100), 기준 이미지 센서(2100)를 중심으로 수직 방향으로 대칭되게 배열되는 수직 배열 이미지 센서들(2210 ~ 2260), 기준 이미지 센서(2100)를 중심으로 수평 방향으로 대칭되게 배열되는 수평 배열 이미지 센서들(2310 ~ 2360)을 포함할 수 있다.
이때, 수직 방향으로 대칭되게 배열되는 수직 배열 이미지 센서들(2210 ~ 2260) 및 수평 방향으로 대칭되게 배열되는 수평 배열 이미지 센서들(2310 ~ 2360)의 개수 및 위치는 미리 설정되거나 가변적으로 설정될 수 있다.
또한, 수직 방향으로 대칭되게 배열되는 수직 배열 이미지 센서들(2210 ~ 2260) 중에서, 기준 이미지 센서(2100)에 대해 상호 대칭되는 위치에 배열된 두 개의 수직 배열 이미지 센서들은 하나의 수직 배열 이미지 센서 쌍을 형성할 수 있다.
예를 들어, 도 3에서 수직 배열 이미지 센서(2210)와 수직 배열 이미지 센서(2260)는 제1 수직 배열 이미지 센서 쌍을 형성하고, 수직 배열 이미지 센서(2220)와 수직 배열 이미지 센서(2250)는 제2 수직 배열 이미지 센서 쌍을 형성하고, 수직 배열 이미지 센서(2230)와 수직 배열 이미지 센서(2240)는 제3 수직 배열 이미지 센서 쌍을 형성할 수 있다.
또한, 수평 방향으로 대칭되게 배열되는 수평 배열 이미지 센서들(2310 ~ 2360) 중에서, 기준 이미지 센서(2100)에 대해 상호 대칭되는 위치에 배열된 두 개의 수평 배열 이미지 센서들은 하나의 수평 배열 이미지 센서 쌍을 형성할 수 있다.
예를 들어, 도 3에서는 수평 배열 이미지 센서(2310)와 수평 배열 이미지 센서(2360)는 제1 수평 배열 이미지 쌍을 형성하고, 수평 배열 이미지 센서(2320)와 수평 배열 이미지 센서(2350)는 제2 수평 배열 이미지 쌍을 형성하고, 수평 배열 이미지 센서(2330)와 수평 배열 이미지 센서(2340)는 제3 수평 배열 이미지 쌍을 형성할 수 있다.
제1 깊이 정보 생성부(1200)는 제1 미리 학습된 모델을 기반으로 수평 배열 이미지 세트로부터 제1 깊이 정보를 생성할 수 있다. 여기서, 수평 배열 이미지 세트는 수평 배열 이미지 센서 쌍을 구성하는 두 개의 수평 배열 이미지 센서 각각에 의해 촬영된 이미지와 기준 이미지 센서에 의해 촬영된 이미지를 포함할 수 있다.
일 실시예에서, 제1 깊이 정보 생성부(1200)는 N(1 이상의 자연수)개의 수평 배열 이미지 센서 쌍이 존재하는 경우, N개의 수평 배열 이미지 센서 쌍으로부터 촬영된 이미지를 포함하는 N개의 수평 배열 이미지 세트 각각에 대해 제1 미리 학습된 모델을 기반으로 N개의 제1 깊이 정보를 생성할 수 있다.
또한, 실시예에 따라 도 3에 도시된 바와 같이, N개의 수평 배열 이미지 세트 각각에 대한 제1 미리 학습된 모델들이 서로 상이할 수 있다.
일 실시예에서, 제1 미리 학습된 모델은 CNN(Convolutional Neural Networks) 기반으로 인공지능 모델을 이용하여 2차원 이미지로부터 깊이 정보를 추출하도록 학습된 모델일 수 있다.
일 실시예에서, 제1 미리 학습된 모델은 도 4에 도시된 바와 같이, 3개의 2차원 이미지로부터 깊이 정보를 생성하는 비지도 학습 기반의 깊이 맵 추정 모델일 수 있다.
도 4에 도시된 깊이 맵 추정 모델은 두 개의 이미지를 이용하여 깊이 맵을 추정할 경우 발생할 수 있는 가림 영역(occlusion)으로 인한 오차를 줄이기 위해 3 개의 이미지 즉, 기준 이미지, 좌측 이미지 및 우측 이미지를 이용하여 깊이 정보를 생성하는 모델이다.
도 4의 깊이 맵 추정 모델은 좌측 이미지(Il)와 기준 이미지(Ic)로부터 깊이 정보 dcl을 생성 및 우측 이미지(Ir)와 기준 이미지(Ic)로부터 깊이 정보 dcr을 생하고, 다시 깊이 정보 dcl 와 깊이 정보 dcr을 이용하여 최종적으로 깊이 정보 dc를 생성할 수 있다.
도 4의 깊이 맵 추정 모델을 본 발명의 수평 배열 이미지 쌍에 적용하는 경우, Ic 는 기준 이미지 센서에 의해 촬영된 영상, Il 및 Ir 는 수평 배열 이미지 센서 쌍을 구성하는 각각의 수평 배열 이미지 센서에 의해 촬영된 영상을 의미하고, 깊이 정보 dc는 제1 깊이 정보를 의미한다.
제2 깊이 정보 생성부(1300)는 제2 미리 학습된 모델을 기반으로 수직 배열 이미지 세트로부터 제2 깊이 정보를 생성할 수 있다. 여기서, 수직 배열 이미지 세트는 수직 배열 이미지 센서 쌍을 구성하는 두 개의 수직 배열 이미지 센서 각각에 의해 촬영된 이미지와 기준 이미지 센서에 의해 촬영된 이미지를 포함할 수 있다.
일 실시예에서, 제2 깊이 정보 생성부(1300)는 M(1 이상의 자연수)개의 수직 배열 이미지 센서 쌍이 존재하는 경우, M개의 수직 배열 이미지 센서 쌍으로부터 촬영된 이미지를 포함하는 M개의 수직 배열 이미지 세트 각각에 대해 제2 미리 학습된 모델을 기반으로 제2 깊이 정보를 생성할 수 있다.
또한, 실시예에 따라 도 3에 도시된 바와 같이, M개의 수직 배열 이미지 세트 각각에 대한 제2 미리 학습된 모델들은 서로 상이할 수 있다.
일 실시예에서, 제2 미리 학습된 모델은 CNN(Convolutional Neural Networks) 기반으로 인공지능 모델을 이용하여 2차원 이미지로부터 깊이 정보를 추출하도록 학습된 모델일 수 있다.
일 실시예에서, 제2 미리 학습된 모델은 도 4에 도시된 바와 같이, 3개의 2차원 이미지로부터 깊이 정보를 생성하는 비지도 학습 기반의 깊이 맵 추정 모델일 수 있다. 도 4에 도시된 깊이 맵 추정 모델은 두 개의 이미지를 이용하여 깊이 맵을 추정할 경우 발생할 수 있는 가림 영역(occlusion)으로 인한 오차를 줄이기 위해 3 개의 이미지 즉, 기준 이미지, 좌측 이미지 및 우측 이미지를 이용하여 깊이 정보를 생성하는 모델이다.
도 4의 깊이 맵 추정 모델은 좌측 이미지(Il)와 기준 이미지(Ic)로부터 깊이 정보 dcl을 생성 및 우측 이미지(Ir)와 기준 이미지(Ic)로부터 깊이 정보 dcr을 생하고, 다시 깊이 정보 dcl 와 깊이 정보 dcr을 이용하여 최종적으로 깊이 정보 dc를 생성할 수 있다.
도 4의 깊이 맵 추정 모델을 본 발명의 수직 배열 이미지 쌍에 적용하는 경우, Ic 는 기준 이미지 센서에 의해 촬영된 영상, Il 및 Ir 는 수직 배열 이미지 센서 쌍을 구성하는 각각의 수직 배열 이미지 센서에 의해 촬영된 영상을 의미하고, 깊이 정보 dc는 제2 깊이 정보를 의미한다.
제3 깊이 정보 생성부(1400)는 제1 깊이 정보 및 제2 깊이 정보를 기반으로 최종 깊이 정보인 제3 깊이 정보를 생성할 수 있다.
일 실시예에서, 제3 깊이 정보 생성부(1400)는 도 3에 도시된 바와 같이, 제1 깊이 정보들에 대해 앙상블 기법을 적용하여 하나의 깊이 정보를 생성하고, 제2 깊이 정보들에 대해 앙상블 기법을 적용하여 하나의 깊이 정보를 생성하여, 제1 깊이 정보들에 대해 앙상블 기법을 적용하여 생성한 깊이 정보와 제2 깊이 정보들에 대해 앙상블 기법을 적용하여 생성한 깊이 정보에 대해 다시 앙상블 기법을 적용하여 최종 깊이 정보인 제3 깊이 정보를 생성할 수 있다.
일 실시예에서, 제3 깊이 정보 생성부(1400)는 보팅(Voting), 배깅(Bagging) 및 부스팅(Boosting) 등의 앙상블 기법을 이용하여 최종 깊이 정보를 생성할 수 있다.
깊이 이미지 생성부(1500)는 최종 깊이 정보인 제3 깊이 정보를 기반으로 3차원 공간 정보를 포함하는 깊이 맵 이미지를 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 깊이 이미지 생성 방법의 흐름도이다.
이하, 도 1에 도시된 깊이 이미지 생성 장치(1000)에 의해 도 5의 방법이 수행되는 것을 예시로 설명한다.
단계 S5100에서, 3차원 이미지를 생성하고자 하는 공간에 대한 2차원 이미지가 촬영된다. 구체적으로, 깊이 이미지 생성 장치(1000)는 깊이 이미지를 생성하고자 하는 공간을 복수의 이미지 센서를 이용하여 촬영하여 2차원 이미지를 생성할 수 있다.
일 실시예에서, 깊이 이미지 생성 장치(1000)는 도 2와 같이 배열된 복수의 이미지 센서를 포함할 수 있다. 도 2를 참조하면, 복수의 이미지 센서는 기준 이미지 센서(2100), 기준 이미지 센서(2100)를 중심으로 수직 방향으로 대칭되게 배열되는 수직 배열 이미지 센서들(2210 ~ 2260), 기준 이미지 센서(2100)를 중심으로 수평 방향으로 대칭되게 배열되는 수평 배열 이미지 센서들(2310 ~ 2360)을 포함할 수 있다.
또한, 수직 방향으로 대칭되게 배열되는 수직 배열 이미지 센서들(2210 ~ 2260) 중에서, 기준 이미지 센서(2100)에 대해 상호 대칭되는 위치에 배열된 두 개의 수직 배열 이미지 센서들은 하나의 수직 배열 이미지 센서 쌍을 형성할 수 있다. 예를 들어, 도 3에서는 수직 배열 이미지 센서(2210)와 수직 배열 이미지 센서(2260)는 제1 수직 배열 이미지 쌍을 형성하고, 수직 배열 이미지 센서(2220)와 수직 배열 이미지 센서(2250)는 제2 수직 배열 이미지 쌍을 형성하고, 수직 배열 이미지 센서(2230)와 수직 배열 이미지 센서(2240)는 제3 수직 배열 이미지 쌍을 형성할 수 있다.
또한, 수평 방향으로 대칭되게 배열되는 수평 배열 이미지 센서들(2310 ~ 2360) 중에서, 기준 이미지 센서(2100)에 대해 상호 대칭되는 위치에 배열된 두 개의 수평 배열 이미지 센서들은 하나의 수평 배열 이미지 센서 쌍을 형성할 수 있다.
예를 들어, 도 3에서는 수평 배열 이미지 센서(2310)와 수직 배열 이미지 센서(2360)는 제1 수평 배열 이미지 쌍을 형성하고, 수평 배열 이미지 센서(2320)와 수평 배열 이미지 센서(2350)는 제2 수평 배열 이미지 쌍을 형성하고, 수평 배열 이미지 센서(2330)와 수평 배열 이미지 센서(2340)는 제3 수평 배열 이미지 쌍을 형성할 수 있다.
단계 S5200에서, 제1 깊이 정보 및 제2 깊이 정보가 생성된다. 구체적으로, 깊이 이미지 생성 장치(1000)는 제1 미리 학습된 모델을 기반으로 수평 배열 이미지 세트로부터 제1 깊이 정보를 생성할 수 있다.
여기서, 수평 배열 이미지 세트는 수평 배열 이미지 센서 쌍을 구성하는 두 개의 수평 배열 이미지 센서 각각에 의해 촬영된 이미지와 기준 이미지 센서에 의해 촬영된 이미지를 포함할 수 있다.
일 실시예에서, 깊이 이미지 생성 장치(1000)는 N개의 수평 배열 이미지 센서 쌍이 존재하는 경우, N개의 수평 배열 이미지 센서 쌍으로부터 촬영된 이미지를 포함하는 N개의 수평 배열 이미지 세트 각각에 대해 제1 미리 학습된 모델을 기반으로 제1 깊이 정보를 생성할 수 있다.
또한, 실시예에 따라 도 3에 도시된 바와 같이, N개의 수평 배열 이미지 세트 각각에 대한 제1 미리 학습된 모델들이 서로 상이할 수 있다.
일 실시예에서, 제1 미리 학습된 모델은 CNN(Convolutional Neural Networks) 기반으로 인공지능 모델을 이용하여 2차원 이미지로부터 깊이 정보를 추출하도록 학습된 모델일 수 있다.
일 실시예에서, 제1 미리 학습된 모델은 도 4에 도시된 바와 같이, 3개의 2차원 이미지로부터 깊이 정보를 생성하는 비지도 학습 기반의 깊이 맵 추정 모델일 수 있다.
도 4에 도시된 깊이 맵 추정 모델은 두 개의 이미지를 이용하여 깊이 맵을 추정할 경우 발생할 수 있는 가림 영역(occlusion)으로 인한 오차를 줄이기 위해 3 개의 이미지 즉, 기준 이미지, 좌측 이미지 및 우측 이미지를 이용하여 깊이 정보를 생성하는 모델이다.
도 4의 깊이 맵 추정 모델은 좌측 이미지(Il)와 기준 이미지(Ic)로부터 깊이 정보 dcl을 생성 및 우측 이미지(Ir)와 기준 이미지(Ic)로부터 깊이 정보 dcr을 생하고, 다시 깊이 정보 dcl 와 깊이 정보 dcr을 이용하여 최종적으로 깊이 정보 dc를 생성할 수 있다.
도 4의 깊이 맵 추정 모델을 본 발명의 수평 배열 이미지 쌍에 적용하는 경우, Ic 는 기준 이미지 센서에 의해 촬영된 영상, Il 및 Ir 는 수평 배열 이미지 센서 쌍을 구성하는 각각의 수평 배열 이미지 센서에 의해 촬영된 영상을 의미하고, 깊이 정보 dc는 제1 깊이 정보를 의미한다.
또한, 깊이 이미지 생성 장치(1000)는 제2 미리 학습된 모델을 기반으로 수직 배열 이미지 세트로부터 제2 깊이 정보를 생성할 수 있다. 여기서, 수직 배열 이미지 세트는 수직 배열 이미지 센서 쌍을 구성하는 두 개의 수직 배열 이미지 센서 각각에 의해 촬영된 이미지와 기준 이미지 센서에 의해 촬영된 이미지를 포함할 수 있다.
일 실시예에서, 깊이 이미지 생성 장치(1000)는 M개의 수직 배열 이미지 센서 쌍이 존재하는 경우, M개의 수직 배열 이미지 센서 쌍으로부터 촬영된 이미지를 포함하는 M개의 수직 배열 이미지 세트 각각에 대해 제2 미리 학습된 모델을 기반으로 제2 깊이 정보를 생성할 수 있다.
또한, 실시예에 따라 도 3에 도시된 바와 같이, M개의 수직 배열 이미지 세트 각각에 대한 제2 미리 학습된 모델들은 서로 상이할 수 있다.
일 실시예에서, 제2 미리 학습된 모델은 CNN(Convolutional Neural Networks) 기반으로 인공지능 모델을 이용하여 2차원 이미지로부터 깊이 정보를 추출하도록 학습된 모델일 수 있다.
일 실시예에서, 제2 미리 학습된 모델은 도 4에 도시된 바와 같이, 3개의 2차원 이미지로부터 깊이 정보를 생성하는 비지도 학습 기반의 깊이 맵 추정 모델일 수 있다. 도 4에 도시된 깊이 맵 추정 모델은 두 개의 이미지를 이용하여 깊이 맵을 추정할 경우 발생할 수 있는 가림 영역(occlusion)으로 인한 오차를 줄이기 위해 3 개의 이미지 즉, 기준 이미지, 좌측 이미지 및 우측 이미지를 이용하여 깊이 정보를 생성하는 모델이다.
도 4의 깊이 맵 추정 모델은 좌측 이미지(Il)와 기준 이미지(Ic)로부터 깊이 정보 dcl을 생성 및 우측 이미지(Ir)와 기준 이미지(Ic)로부터 깊이 정보 dcr을 생하고, 다시 깊이 정보 dcl 와 깊이 정보 dcr을 이용하여 최종적으로 깊이 정보 dc를 생성할 수 있다.
도 4의 깊이 맵 추정 모델을 본 발명의 수직 배열 이미지 쌍에 적용하는 경우, Ic 는 기준 이미지 센서에 의해 촬영된 영상, Il 및 Ir 는 수직 배열 이미지 센서 쌍을 구성하는 각각의 수직 배열 이미지 센서에 의해 촬영된 영상을 의미하고, 깊이 정보 dc는 제2 깊이 정보를 의미한다.
단계 S5300에서, 제3 깊이 정보가 생성된다. 구체적으로 깊이 이미지 생성 장치(1000)는 제1 깊이 정보 및 제2 깊이 정보를 기반으로 최종 깊이 정보인 제3 깊이 정보를 생성할 수 있다.
일 실시예에서, 깊이 이미지 생성 장치(1000)는 도 3에 도시된 바와 같이, 제1 깊이 정보들에 대해 앙상블 기법을 적용하여 하나의 깊이 정보를 생성하고, 제2 깊이 정보들에 대해 앙상블 기법을 적용하여 하나의 깊이 정보를 생성하여, 제1 깊이 정보들에 대해 앙상블 기법을 적용하여 생성한 깊이 정보와 제2 깊이 정보들에 대해 앙상블 기법을 적용하여 생성한 깊이 정보에 대해 다시 앙상블 기법을 적용하여 최종 깊이 정보인 제3 깊이 정보를 생성할 수 있다.
일 실시예에서, 깊이 이미지 생성 장치(1000)는 보팅(Voting), 배깅(Bagging) 및 부스팅(Boosting) 등의 앙상블 기법을 이용하여 최종 깊이 정보를 생성할 수 있다.
단계 S5400에서, 깊이 이미지가 생성된다. 구체적으로, 깊이 이미지 생성 장치(1000)는 최종 깊이 정보인 제3 깊이 정보를 기반으로 3차원 공간 정보를 포함하는 깊이 맵 이미지를 생성할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 깊이 이미지 생성 장치의 블록도이다.
도 6에 도시된 바와 같이, 깊이 이미지 생성 장치(6000)는 프로세서(6100), 메모리(6200), 저장부(6300), 사용자 인터페이스 입력부(6400) 및 사용자 인터페이스 출력부(6500) 중 적어도 하나 이상의 요소를 포함할 수 있으며, 이들은 버스(6600)를 통해 서로 통신할 수 있다. 또한, 깊이 이미지 생성 장치(6000)는 네트워크에 접속하기 위한 네트워크 인터페이스(6700)를 또한 포함할 수 있다. 프로세서(6100)는 메모리(6200) 및/또는 저장소(6300)에 저장된 처리 명령어를 실행시키는 CPU 또는 반도체 소자일 수 있다. 메모리(6200) 및 저장부(6300)는 다양한 유형의 휘발성/비휘발성 기억 매체를 포함할 수 있다. 예를 들어, 메모리는 ROM(6240) 및 RAM(6250)을 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.
또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
1000: 깊이 이미지 생성 장치
1100: 이미지 촬영부
1200: 제1 깊이 정보 생성부
1300: 제2 깊이 정보 생성부
1400: 제3 깊이 정보 생성부
1500: 깊이 이미지 생성부

Claims (12)

  1. 기준 이미지 센서, N(1이상 자연수)개의 수평 배열 이미지 센서 쌍(각 수평 배열 이미지 센서 쌍은 상기 기준 이미지 센서를 기준으로 수평 방향으로 대칭되게 배열되는 두 개의 수평 배열 이미지를 포함) 및 M(1이상 자연수)개의 수직 배열 이미지 센서 쌍(각 수직 배열 이미지 센서 쌍은 상기 기준 이미지 센서를 기준으로 수직 방향으로 대칭되게 배열되는 두 개의 수직 배열 이미지를 포함)을 포함하는 이미지 촬영부;
    수평 이미지 세트로부터 깊이 정보를 추출하도록 미리 학습된 CNN 기반의 인공지능 모델인 제1 미리 학습된 모델을 기반으로 N개의 수평 배열 이미지 세트 각각에서 깊이 정보를 추출하여 N개의 제1 깊이 정보를 생성하는 제1 깊이 정보 생성부;
    수직 이미지 세트로부터 깊이 정보를 추출하도록 미리 학습된 CNN 기반의 인공지능 모델인 제2 미리 학습된 모델을 기반으로 M개의 수직 배열 이미지 세트 각각에서 깊이 정보를 추출하여 M개의 제2 깊이 정보를 생성하는 제2 깊이 정보 생성부;
    상기 N개의 제1 깊이 정보에 앙상블 기법을 적용하고, 상기 M개의 제2 깊이 정보에 앙상블 기법을 적용하고, 상기 N개의 제1 깊이 정보에 앙상블 기법을 적용한 결과 및 상기 M개의 제2 깊이 정보에 앙상블 기법을 적용한 결과에 앙상블 기법을 적용하여 제3 깊이 정보를 생성하는 제3 깊이 정보를 생성부; 및
    상기 제3 깊이 정보를 기반으로 깊이 맵 이미지를 생성하는 깊이 이미지 생성부;를 포함하되,
    상기 수평 배열 이미지 세트는 하나의 수평 배열 이미지 센서 쌍 및 상기 기준 이미지 센서에 의해 촬영된 이미지로 구성되고,
    상기 수직 배열 이미지 세트는 하나의 수직 배열 이미지 센서 쌍 및 상기 기준 이미지 센서에 의해 촬영된 이미지로 구성되고,
    상기 제1 미리 학습된 모델과 상기 제2 미리 학습된 모델은 기준 이미지, 좌측 이미지 및 우측 이미지로부터 깊이 정보를 생성하는 비지도 학습 기반의 깊이 맵 추정 모델인, 깊이 이미지 생성 장치.
  2. 제1항에 있어서,
    상기 N개의 수평 배열 이미지 센서 쌍 각각은 서로 상이한 위치에 배열되는, 깊이 이미지 생성 장치.
  3. 제1항에 있어서,
    상기 M개의 수직 배열 이미지 센서 쌍 각각은 서로 상이한 위치에 배열되는, 깊이 이미지 생성 장치.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 제3 깊이 정보 생성부는,
    보팅(Voting), 배깅(Bagging) 및 부스팅(Boosting) 중 적어도 하나의 앙상블 기법을 기반으로 상기 제3 깊이 정보를 생성하는, 깊이 이미지 생성 장치.
  7. 기준 이미지 센서, N(1이상 자연수)개의 수평 배열 이미지 센서 쌍(각 수평 배열 이미지 센서 쌍은 상기 기준 이미지 센서를 기준으로 수평 방향으로 대칭되게 배열되는 두 개의 수평 배열 이미지를 포함) 및 M(1이상 자연수)개의 수직 배열 이미지 센서 쌍(각 수직 배열 이미지 센서 쌍은 상기 기준 이미지 센서를 기준으로 수직 방향으로 대칭되게 배열되는 두 개의 수직 배열 이미지를 포함)에 의해 촬영된 이미지들을 수신하는 단계;
    수평 이미지 세트로부터 깊이 정보를 추출하도록 미리 학습된 CNN 기반의 인공지능 모델인 제1 미리 학습된 모델을 기반으로 N개의 수평 배열 이미지 세트 각각에서 깊이 정보를 추출하여 N개의 제1 깊이 정보를 생성하는 단계;
    수직 이미지 세트로부터 깊이 정보를 추출하도록 미리 학습된 CNN 기반의 인공지능 모델인 제2 미리 학습된 모델을 기반으로 M개의 수직 배열 이미지 세트 각각에서 깊이 정보를 추출하여 M개의 제2 깊이 정보를 생성하는 단계;
    상기 N개의 제1 깊이 정보에 앙상블 기법을 적용하고, 상기 M개의 제2 깊이 정보에 앙상블 기법을 적용하고, 상기 N개의 제1 깊이 정보에 앙상블 기법을 적용한 결과 및 상기 M개의 제2 깊이 정보에 앙상블 기법을 적용한 결과에 앙상블 기법을 적용하여 제3 깊이 정보를 생성하는 단계; 및
    상기 제3 깊이 정보를 기반으로 깊이 맵 이미지를 생성하는 단계;를 포함하되,
    상기 수평 배열 이미지 세트는 하나의 수평 배열 이미지 센서 쌍 및 상기 기준 이미지 센서에 의해 촬영된 이미지로 구성되고,
    상기 수직 배열 이미지 세트는 하나의 수직 배열 이미지 센서 쌍 및 상기 기준 이미지 센서에 의해 촬영된 이미지로 구성되고,
    상기 제1 미리 학습된 모델과 상기 제2 미리 학습된 모델은 기준 이미지, 좌측 이미지 및 우측 이미지로부터 깊이 정보를 생성하는 비지도 학습 기반의 깊이 맵 추정 모델인, 깊이 이미지 생성 방법.
  8. 제7항에 있어서,
    상기 N개의 수평 배열 이미지 센서 쌍 각각은 서로 상이한 위치에 배열되는, 깊이 이미지 생성 방법.
  9. 제7항에 있어서,
    상기 M개의 수직 배열 이미지 센서 쌍 각각은 서로 상이한 위치에 배열되는, 깊이 이미지 생성 방법.
  10. 삭제
  11. 삭제
  12. 제7항에 있어서,
    상기 제3 깊이 정보를 생성하는 단계는,
    보팅(Voting), 배깅(Bagging) 및 부스팅(Boosting) 중 적어도 하나의 앙상블 기법을 기반으로 상기 제3 깊이 정보를 생성하는, 깊이 이미지 생성 방법.
KR1020210176823A 2020-12-11 2021-12-10 깊이 이미지 생성 장치 및 그 동작 방법 KR102654614B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200172913 2020-12-11
KR1020200172913 2020-12-11

Publications (2)

Publication Number Publication Date
KR20220083628A KR20220083628A (ko) 2022-06-20
KR102654614B1 true KR102654614B1 (ko) 2024-04-05

Family

ID=82250082

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210176823A KR102654614B1 (ko) 2020-12-11 2021-12-10 깊이 이미지 생성 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102654614B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11758111B2 (en) * 2017-10-27 2023-09-12 Baidu Usa Llc 3D lidar system using a dichroic mirror for autonomous driving vehicles
FR3078564B1 (fr) * 2018-03-01 2020-09-11 4D View Solutions Systeme de modelisation tridimensionnelle d'une scene par photogrammetrie multi-vue
US10529085B2 (en) * 2018-03-30 2020-01-07 Samsung Electronics Co., Ltd. Hardware disparity evaluation for stereo matching
US11107268B2 (en) * 2018-09-07 2021-08-31 Cognex Corporation Methods and apparatus for efficient data processing of initial correspondence assignments for three-dimensional reconstruction of an object

Also Published As

Publication number Publication date
KR20220083628A (ko) 2022-06-20

Similar Documents

Publication Publication Date Title
KR102696652B1 (ko) 스테레오 매칭 방법 및 영상 처리 장치
US11663691B2 (en) Method and apparatus for restoring image
US9898080B2 (en) Method and apparatus for eye tracking
US9600714B2 (en) Apparatus and method for calculating three dimensional (3D) positions of feature points
KR102483641B1 (ko) 양안 시차 영상의 처리 방법 및 장치
US9338437B2 (en) Apparatus and method for reconstructing high density three-dimensional image
JP6328351B2 (ja) ３ｄシーンを３ｄモデルとして再構成する方法
JP7064257B2 (ja) 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体
US9386266B2 (en) Method and apparatus for increasing frame rate of an image stream using at least one higher frame rate image stream
KR20210056149A (ko) 깊이 영상 생성 방법 및 깊이 영상 생성 장치
US10582179B2 (en) Method and apparatus for processing binocular disparity image
EP4050553A1 (en) Method and device for restoring image obtained from array camera
JP7298687B2 (ja) 物体認識装置及び物体認識方法
CN115035235A (zh) 三维重建方法及装置
CN114119992A (zh) 基于图像与点云融合的多模态三维目标检测方法及装置
KR102654614B1 (ko) 깊이 이미지 생성 장치 및 그 동작 방법
CN114494395A (zh) 基于平面先验的深度图生成方法、装置、设备及存储介质
WO2024212819A1 (zh) 一种全景slam方法、装置、计算设备及存储介质
JP6601893B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2017126264A (ja) 情報処理装置、情報処理方法およびプログラム
KR102654608B1 (ko) 깊이 지도 및 법선 지도 생성 장치 및 방법
KR102269088B1 (ko) 동공 추적 장치 및 방법
CN111783501B (zh) 活体检测方法和装置以及相应的电子设备
Saha et al. A system for near real-time 3D reconstruction from multi-view using 4G enabled mobile
CN116912323A (zh) 双目视觉引导方法、系统及可读存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20211210

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20231027

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240329

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240401

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240402

End annual number: 3

Start annual number: 1

PG1601 Publication of registration