KR20230096167A - 이미지 거리 측정 장치 및 방법 - Google Patents

이미지 거리 측정 장치 및 방법 Download PDF

Info

Publication number
KR20230096167A
KR20230096167A KR1020210184593A KR20210184593A KR20230096167A KR 20230096167 A KR20230096167 A KR 20230096167A KR 1020210184593 A KR1020210184593 A KR 1020210184593A KR 20210184593 A KR20210184593 A KR 20210184593A KR 20230096167 A KR20230096167 A KR 20230096167A
Authority
KR
South Korea
Prior art keywords
distance
depth
image
prediction model
dimensional image
Prior art date
Application number
KR1020210184593A
Other languages
English (en)
Inventor
민덕기
박성호
박종엽
손도희
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020210184593A priority Critical patent/KR20230096167A/ko
Publication of KR20230096167A publication Critical patent/KR20230096167A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지 거리 측정 장치 및 방법에 관한 것으로, 상기 장치는 2차원 이미지를 입력받는 이미지 입력부; 상기 2차원 이미지를 거리예측모델에 제공하여 상기 2차원 이미지에 있는 특징요소에 관한 기준점으로부터의 거리를 예측하는 거리예측모델부; 상기 2차원 이미지를 깊이예측모델에 제공하여 상기 2차원 이미지를 구성하는 복수의 구성요소들 간의 상대적 깊이를 예측하는 깊이예측모델부; 및 상기 상대적 깊이에 상기 거리를 반영하기 위한 예측 비율을 결정하여 상기 복수의 구성요소들 각각에 관한 최종 거리를 결정하는 거리-깊이 병합부를 포함한다.

Description

이미지 거리 측정 장치 및 방법{IMAGE DISTANCE MEASURING DEVICE AND METHOD}
본 발명은 이미지 거리 측정 기술에 관한 것으로, 보다 상세하게는 2차원 이미지의 모든 픽셀들에 대하여 미터 단위로 거리 측정을 수행하여 이미지 전체에 관한 거리 정보를 획득할 수 있는 이미지 거리 측정 장치 및 방법에 관한 것이다.
최근 딥러닝 기술은 다양한 분야에서 매우 활발하게 사용되고 있다. 예를 들어, 딥러닝 기술은 객체 분류(object classification), 객체 탐지(object detection), 이미지 세그멘테이션(image segmentation), 이미지 거리 측정(image distance measurement) 등에서 사용될 수 있다.
특히, 이미지 거리측정은 LiDAR 등의 값비싼 하드웨어 장비 없이도 소프트웨어 구현을 통해 유사한 목표를 달성할 수 있다는 점에서 매우 큰 장점을 가질 수 있다. 또한, 영상 기반 거리 측정 기술은 자율 주행, 드론, 증강현실 등에서 필수적인 기술로 인식되고 있다.
다만, 종래의 거리 측정 기술들은 이미지 상의 객체(Object)를 기반으로 거리 예측을 수행하고 있어 이미지의 모든 정보를 활용해야 하는 분야에서의 활용성이 제한되는 문제점을 가질 수 있다.
한국공개특허 제10-2019-0021138호 (2019.03.05)
본 발명의 일 실시예는 2차원 이미지의 모든 픽셀들에 대하여 미터 단위로 거리 측정을 수행하여 이미지 전체에 관한 거리 정보를 획득할 수 있는 이미지 거리 측정 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 거리 예측 모델을 통해 학습 이미지 상의 특정 포인트에 대한 미터 단위의 거리 정보를 획득하고 깊이 예측 모델을 통해 학습 이미지의 모든 픽셀에 대한 상대적인 깊이 정보를 획득하며 거리 정보와 깊이 정보 간의 병합을 통해 2차원 이미지 상의 모든 픽셀에 대한 미터 단위의 거리 정보를 정확도 높게 예측할 수 있는 이미지 거리 측정 장치 및 방법을 제공하고자 한다.
실시예들 중에서, 이미지 거리 측정 장치는 2차원 이미지를 입력받는 이미지 입력부; 상기 2차원 이미지를 거리예측모델에 제공하여 상기 2차원 이미지에 있는 특징요소에 관한 기준점으로부터의 거리를 예측하는 거리예측모델부; 상기 2차원 이미지를 깊이예측모델에 제공하여 상기 2차원 이미지를 구성하는 복수의 구성요소들 간의 상대적 깊이를 예측하는 깊이예측모델부; 및 상기 상대적 깊이에 상기 거리를 반영하기 위한 예측 비율을 결정하여 상기 복수의 구성요소들 각각에 관한 최종 거리를 결정하는 거리-깊이 병합부를 포함한다.
상기 거리예측모델부는 상기 2차원 이미지에 관한 피처맵을 생성하는 피처맵 생성모듈; 및 상기 피처맵에 있는 특징요소에 대하여 거리 리그레서(distance regressor)를 수행하여 상기 특징요소에 관한 상기 기준점으로부터의 거리를 예측하는 거리 예측모듈을 포함할 수 있다.
상기 거리예측모델부는 상기 거리 리그레서의 수행 전에 상기 피처맵에 관한 ROI 풀링(Region of Interest Pooling)을 수행하여 상기 특징요소를 결정하는 ROI 풀링모듈을 더 포함할 수 있다.
상기 거리예측모델부는 상기 특징요소를 상호 동일한 객체를 형성하는 적어도 하나의 픽셀로 구성할 수 있다.
상기 깊이예측모델부는 상기 2차원 이미지에 있는 복수의 구성요소들을 적어도 하나의 전경 객체 및 배경 객체로 분리할 수 있다.
상기 깊이예측모델부는 상기 적어도 하나의 전경 객체 각각에 관한 깊이 서열화를 수행하여 상기 상대적 깊이를 추정할 수 있다.
상기 깊이예측모델부는 상기 적어도 하나의 전경 객체 중 가장 앞에 있는 전경 객체 및 상기 배경 객체 간의 기준 깊이를 설정하고 상기 기준 깊이를 기준으로 상기 상대적 깊이를 결정할 수 있다.
상기 거리-깊이 병합부는 상기 거리를 상기 상대적 깊이로 나누어서 상기 예측 비율을 결정할 수 있다.
상기 거리-깊이 병합부는 상기 특징요소를 복수로 구성하고 상기 복수의 특징요소들의 거리들에 대한 가중치 평균 또는 메디안으로 상기 거리를 결정할 수 있다.
실시예들 중에서, 이미지 거리 측정 방법은 2차원 이미지를 입력받는 이미지 입력단계; 상기 2차원 이미지를 거리예측모델에 제공하여 상기 2차원 이미지에 있는 특징요소에 관한 기준점으로부터의 거리를 예측하는 거리예측모델단계; 상기 2차원 이미지를 깊이예측모델에 제공하여 상기 2차원 이미지를 구성하는 복수의 구성요소들 간의 상대적 깊이를 예측하는 깊이예측모델단계; 및 상기 상대적 깊이에 상기 거리를 반영하기 위한 예측 비율을 결정하여 상기 복수의 구성요소들 각각에 관한 최종 거리를 결정하는 거리-깊이 병합단계를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 이미지 거리 측정 장치 및 방법은 2차원 이미지의 모든 픽셀들에 대하여 미터 단위로 거리 측정을 수행하여 이미지 전체에 관한 거리 정보를 획득할 수 있다.
본 발명의 일 실시예에 따른 이미지 거리 측정 장치 및 방법은 거리 예측 모델을 통해 학습 이미지 상의 특정 포인트에 대한 미터 단위의 거리 정보를 획득하고 깊이 예측 모델을 통해 학습 이미지의 모든 픽셀에 대한 상대적인 깊이 정보를 획득하며 거리 정보와 깊이 정보 간의 병합을 통해 2차원 이미지 상의 모든 픽셀에 대한 미터 단위의 거리 정보를 정확도 높게 예측할 수 있다.
도 1은 본 발명에 따른 이미지 거리 측정 시스템을 설명하는 도면이다.
도 2는 도 1의 이미지 거리 측정 장치의 기능적 구성을 설명하는 도면이다.
도 3은 본 발명에 따른 이미지 거리 측정 방법을 설명하는 순서도이다.
도 4는 본 발명에 따른 거리예측모델의 학습 과정을 설명하는 도면이다.
도 5는 본 발명에 따른 깊이 매트릭스를 설명하는 도면이다.
도 6은 본 발명에 따른 이미지 거리 측정 방법의 전체 프로세스를 설명하는 도면이다.
도 7은 본 발명에 따른 이미지 거리 측정 방법에 관한 실험 결과를 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 이미지 거리 측정 시스템을 설명하는 도면이다.
도 1을 참조하면, 이미지 거리 측정 시스템(100)은 2차원 이미지 상에서 픽셀(pixel) 단위로 거리(distance)를 예측하도록 구현될 수 있다. 이를 위한 구성으로서 이미지 거리 측정 시스템(100)은 사용자 단말(110), 이미지 거리 측정 장치(130) 및 데이터베이스(150)를 포함할 수 있다.
사용자 단말(110)은 거리 측정을 위한 2차원 이미지를 생성하여 제공할 수 있는 컴퓨팅 장치에 해당할 수 있다. 즉, 사용자는 사용자 단말(110)을 통해 직접 이미지를 촬영할 수 있으며, 인터넷을 통해 다양한 출처로부터 2차원 이미지들을 수집할 수도 있다.
또한, 사용자 단말(110)은 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 특히, 사용자 단말(110)은 소정의 이미지를 촬영할 수 있는 촬영 수단(예를 들어, 카메라)을 포함하여 구현될 수 있다. 사용자 단말(110)은 이미지 거리 측정 장치(130)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(110)들은 이미지 거리 측정 장치(130)와 동시에 연결될 수도 있다.
이미지 거리 측정 장치(130)는 본 발명에 따른 이미지 거리 측정 방법을 수행하는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 이미지 거리 측정 장치(130)는 사용자 단말(110)과 유선 또는 무선 네트워크를 통해 연결될 수 있고 상호 간에 데이터를 주고받을 수 있다. 한편, 이미지 거리 측정 장치(130)는 본 발명에 따른 이미지 거리 측정 방법을 수행하는 과정에서 다양한 외부 시스템(또는 서버)과 연동하여 동작할 수 있다.
일 실시예에서, 이미지 거리 측정 장치(130)는 API 서버 또는 학습 서버를 포함하여 구현될 수 있다. API 서버는 본 발명에 따른 이미지 거리 측정 방법에 관한 RESTful API 서비스를 제공하는 서버에 해당할 수 있으며, 학습 서버는 모델 구축을 위한 학습 데이터 생성과 학습 동작을 수행하는 서버에 해당할 수 있다. 즉, 학습 서버는 이미지 거리 측정 방법을 실행하는 과정에서 사용되는 다양한 모델들을 학습하고 관리하는 동작을 수행할 수 있다. 한편, 이미지 거리 측정 장치(130)는 API 서버를 통해 사용자 단말(110)과 연결될 수 있다.
데이터베이스(150)는 이미지 거리 측정 장치(130)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 예를 들어, 데이터베이스(150)는 다양한 출처로부터 수집된 학습 데이터를 저장할 수 있고, 학습 모델 구축을 위한 학습 알고리즘 및 모델 아키텍쳐 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 이미지 거리 측정 장치(130)가 본 발명에 따른 이미지 거리 측정 방법을 수행하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
도 2는 도 1의 이미지 거리 측정 장치의 기능적 구성을 설명하는 도면이다.
도 2를 참조하면, 이미지 거리 측정 장치(130)는 이미지 입력부(210), 거리예측모델부(230), 깊이예측모델부(250), 거리-깊이 병합부(270) 및 제어부(290)를 포함할 수 있다.
이미지 입력부(210)는 2차원 이미지를 입력받을 수 있다. 이미지 입력부(210)는 사용자 단말(110)과 연결될 수 있고, 사용자 단말(110)로부터 2차원 이미지를 수신할 수 있다. 또한, 이미지 입력부(210)는 데이터베이스(150)에 저장된 이미지 데이터 모집단으로부터 소정의 2차원 이미지들을 획득할 수도 있다. 일 실시예에서, 이미지 입력부(210)는 입력받은 2차원 이미지에 관한 전처리(pre-processing) 동작을 수행할 수 있다. 예를 들어, 이미지 입력부(210)는 2차원 이미지를 기초로 전처리 동작을 수행하여 모델 구축을 위한 학습 데이터를 생성할 수 있다. 전처리 동작에는 이미지의 크기를 조정하거나 필터를 적용하는 등의 동작이 포함될 수 있다.
거리예측모델부(230)는 2차원 이미지를 거리예측모델에 제공하여 2차원 이미지에 있는 특징요소에 관한 기준점으로부터의 거리를 예측할 수 있다. 여기에서, 거리예측모델은 2차원 이미지 상에서 기준점을 기준으로 특정 픽셀에 대한 거리를 예측하는 동작을 수행할 수 있다. 특히, 거리예측모델은 사전 학습을 통해 소정의 학습이 이루어진 상태에서 적용될 수 있으며, 2차원 이미지와 함께 적어도 하나의 포인트에 관한 정보를 입력으로 수신할 수 있다. 적어도 하나의 포인트는 2차원 이미지에 존재하는 픽셀들 중 일부에 대한 좌표로 정의될 수 있으며, 2차원 좌표계에서 (i,j)와 같이 표현될 수 있다. 이에 따라, 2차원 이미지에 있는 특징요소는 적어도 하나의 포인트로 정의될 수 있다.
예를 들어, 거리예측모델이 2차원 이미지와 하나의 포인트 정보 (i,j)를 입력으로 수신하는 경우, 2차원 이미지 상에서 (i,j) 픽셀에 대한 거리 정보를 출력으로 생성할 수 있다. 이때, 거리예측모델이 출력하는 거리 정보는 기준점에서 해당 픽셀까지의 미터(meter) 단위의 거리에 해당할 수 있으며, 2차원 이미지에 있는 특징요소에 관한 기준점으로부터의 거리에 해당할 수 있다. 한편, 거리 산출의 기준이 되는 기준점은 2차원 이미지의 촬영 시점(viewpoint)에 해당될 수 있으나, 반드시 이에 한정되지 않음은 물론이다.
일 실시예에서, 거리예측모델부(230)는 피처맵 생성모듈 및 거리 예측모듈을 포함할 수 있다. 피처맵 생성모듈은 2차원 이미지에 관한 피처맵(feature map)을 생성하는 동작을 수행할 수 있으며, 거리 예측모듈은 피처맵에 있는 특징요소에 대하여 거리 리그레서(distance regressor)를 수행하여 특징요소에 관한 기준점으로부터의 거리를 예측하는 동작을 수행할 수 있다.
보다 구체적으로, 피처맵 생성모듈은 소정의 학습 모델을 이용하여 2차원 이미지로부터 피처맵을 생성할 수 있다. 예를 들어, 피처맵 생성모듈은 분류(classification)를 위한 CNN 모델의 합성곱 계층(Conv layer)들을 통해 2차원 이미지에서 피처맵을 추출할 수 있다. 이 경우, 피처맵 생성모듈은 피처맵의 크기를 사전에 설정할 수 있다. 즉, 피처맵의 크기는 입력 이미지의 크기의 1/16이 되도록 설정될 수 있으며, 사용하는 CNN 모델의 특성(예를 들어, 계층의 크기)에 따라 피처맵의 크기는 가변적으로 결정될 수 있다.
또한, 거리 예측모듈은 피처맵에 거리 리그레서를 직접 연결하는 구조로 구현될 수 있다. 이에 따라, 피처맵은 일반적인 ROI Pooling 과정을 거치지 않고 곧바로 거리 리그레서의 입력으로 전달될 수 있다. 다만, 거리 리그레서에 입력되기 전 단계에서 피처맵에 소정의 정보가 추가될 수 있다.
일 실시예에서, 거리예측모델부(230)는 거리 리그레서의 수행 전에 피처맵에 관한 ROI 풀링(Region of Interest Pooling)을 수행하여 특징요소를 결정하는 ROI 풀링모듈을 더 포함할 수 있다. 거리 예측모듈은 기본적으로 피처맵 생성모듈과 직접 연결되는 구조로 구현될 수 있으나, 필요에 따라 ROI 풀링 계층을 통해 피처맵 생성모듈과 연결되는 구조로 구현될 수도 있다. 이 경우, ROI 풀링모듈에 의해 2차원 이미지 상에서 정의되는 특징요소가 결정될 수 있다. ROI 풀링모듈은 2차원 이미지 상에서 적어도 하나의 ROI 영역을 지정하여 특징요소를 결정할 수 있으며, 특징요소는 ROI 영역 내에 존재하는 포인트들의 집합으로 표현될 수 있다.
일 실시예에서, 거리예측모델부(230)는 거리 리그레서의 수행 전에 피처맵에 소정의 포인트 매트릭스(point matrix)를 추가할 수 있다. 이 경우, 특징요소는 포인트 매트릭스로 표현될 수 있다. 포인트 매트릭스는 2차원 이미지 상에서 정의되는 임의의 포인트를 나타낼 수 있다. 거리예측모델부(230)는 포인트 매트릭스가 추가된 피처맵을 거리 리그레서에 입력할 수 있으며, 거리 리그레서는 해당 포인트 매트릭스에 일대일 대응되는 거리 정보를 출력으로 생성할 수 있다.
일 실시예에서, 거리예측모델부(230)는 특징요소를 상호 동일한 객체를 형성하는 적어도 하나의 픽셀로 구성할 수 있다. 2차원 이미지상에서 정의되는 특징요소는 적어도 하나의 포인트에 대응될 수 있으며, 경우에 따라 이미지 상에 존재하는 특정 객체 영역 내의 포인트들에 대응될 수 있다. 즉, 거리예측모델부(230)는 동일한 객체를 형성하는 픽셀들(포인트들)을 특정요소로 정의할 수 있고, 해당 픽셀들에 관한 거리를 예측할 수 있다.
깊이예측모델부(250)는 2차원 이미지를 깊이예측모델에 제공하여 2차원 이미지를 구성하는 복수의 구성요소들 간의 상대적 깊이를 예측할 수 있다. 여기에서, 구성요소들은 2차원 이미지 상에 존재하는 객체들에 대응될 수 있고, 2차원 이미지 상의 ROI 영역이나 소정의 포인트 매트릭스에 대응될 수 있으며, 2차원 이미지의 각 픽셀들에 대응될 수도 있다. 즉, 깊이예측모델부(250)는 깊이예측모델을 이용하여 2차원 이미지의 깊이 정보를 전체적으로 또는 선택적으로 추출할 수 있다.
일 실시예에서, 깊이예측모델부(250)는 2차원 이미지에 있는 복수의 구성요소들을 적어도 하나의 전경 객체(foreground object) 및 배경 객체(background object)로 분리할 수 있다. 복수의 구성요소들이 2차원 이미지 상에 존재하는 객체들에 대응되는 경우, 깊이예측모델부(250)는 복수의 구성요소들을 전경 객체와 배경 객체로 분류할 수 있다. 여기에서, 전경 객체는 장면을 구성하는 다양한 객체들에 해당할 수 있으며, 배경 객체는 전경 객체를 제외한 나머지 객체들에 해당할 수 있다.
일 실시예에서, 깊이예측모델부(250)는 적어도 하나의 전경 객체 각각에 관한 깊이 서열화를 수행하여 상대적 깊이를 추정할 수 있다. 깊이예측모델부(250)는 전격 객체마다 깊이 정보를 추출할 수 있으며, 깊이 정보를 기준으로 전경 객체들을 정렬하는 깊이 서열화를 수행할 수 있다. 깊이예측모델부(250)는 전경 객체들의 정렬 결과를 이용하여 객체들 간의 상대적 깊이를 추정할 수 있다.
일 실시예에서, 깊이예측모델부(250)는 적어도 하나의 전경 객체 중 가장 앞에 있는 전경 객체 및 배경 객체 간의 기준 깊이를 설정하고 기준 깊이를 기준으로 상대적 깊이를 결정할 수 있다. 깊이예측모델부(250)는 전경 객체들을 깊이 정보에 따라 정렬한 후 가장 앞에 있는 전경 객체를 결정할 수 있다. 이후, 깊이예측모델부(250)는 가장 앞에 있는 전경 객체와 배경 객체 사이의 특정 깊이를 기준 깊이로 설정할 수 있다. 깊이예측모델부(250)는 기준 깊이를 기준으로 각 전경 객체들에 대한 상대적 깊이를 산출할 수 있다.
일 실시예에서, 깊이예측모델부(250)는 깊이예측모델로서 메가뎁스(MegaDepth) 모델을 사용하여 상대적 깊이를 결정할 수 있다. 여기에서, 메가뎁스 모델은 2차원 이미지에 대해 로그 도메인(log domain)에서 정의되는 스케일 불변 손실 함수(scale-invariant loss function)를 기초로 구축된 깊이예측모델에 해당할 수 있다. 이때, 스케일 불변 손실 함수는 로그 깊이(log-depth) 간의 차이에 관해 정의되는 항(term)들의 조합으로 정의될 수 있다.
보다 구체적으로, 스케일 불변 손실 함수
Figure pat00001
는 다음의 수학식 1과 같이 표현될 수 있다.
[수학식 1]
Figure pat00002
여기에서,
Figure pat00003
는 스케일 불변 데이터항(scale-invariant data term)이고,
Figure pat00004
는 멀티 스테일 스케일 불변 경사매칭항(multi-scale scale-invariant gradient matching term)이고,
Figure pat00005
는 강건한 순서 깊이 손실(robust ordinal depth loss)이다.
스케일 불변 데이터항은 모든 로그 깊이 쌍들의 차이에 관한 평균 제곱 오차(MSE, Mean Square Error)를 기반으로 정의될 수 있으며, 다음의 수학식 2와 같이 표현될 수 있다.
[수학식 2]
Figure pat00006
여기에서, n은 정답 깊이 맵(ground truth depth map)에서 유효 깊이(valid depth)들의 개수이고,
Figure pat00007
이다. 이때, L은 예측 로그 깊이 맵(predicted log-depth map)이고, L*은 정답 로그 깊이 맵(ground truth log-depth map)이다. 또한,
Figure pat00008
및
Figure pat00009
은 각각 픽셀 위치(pixel position) i에 로그 깊이 값(log-depth value)이다.
멀티 스케일 스케일 불변 경사매칭항은 예측된 깊이 맵에서 더 부드러운 기울기 변화(gradient change)와 더 날카로운 깊이 불연속성(depth discontinuity)을 위해 사용될 수 있고, 예측된 깊이 맵과 정답 깊이 맵 간의 로그 깊이 기울기의 차이에 대한 페널티로 정의될 수 있으며, 다음의 수학식 3과 같이 표현될 수 있다.
[수학식 3]
Figure pat00010
여기에서,
Figure pat00011
는 스케일 k를 갖는 로그 깊이 차이 맵의 위치 i에서의 값이다. 이 경우, 해당 손실은 다중 스케일에서 산출되기 때문에 넓은 이미지 거리들에서 깊이 기울기(depth gradient)들을 획득할 수 있다.
강건한 순서 깊이 손실은 자동화된 순서 관계(automatic ordinal relation)를 사용하여 정의될 수 있다. 즉, 학습 동안 순서 집합(ordinal set) O에서 각 이미지에 대해 픽셀 쌍 (i,j)이 선택될 수 있으며, 픽셀 i와 j는 모두 전경 영역 Ford 또는 배경 영역 Bord에 포함될 수 있다. 즉, 강건한 순서 깊이 손실은 잘못된 순서 쌍들의 작은 개수(small number)에 대해 강건하도록(robust) 설계될 수 있으며, 다음의 수학식 4와 같이 표현될 수 있다.
[수학식 4]
Figure pat00012
여기에서,
Figure pat00013
이고,
Figure pat00014
는 자동적으로 라벨링된 i와 j 사이의 순서 깊이 관계(ordinal depth relation)이다. 즉, 픽셀 i가 픽셀 j보다 더 먼 경우
Figure pat00015
= 1이고, 그렇지 않으면 -1이다. 또한, c는 상수 집합이고, Lord는 연속적일 수 있다.
결과적으로, 깊이예측모델부(250)는 메가뎁스(MegaDepth) 모델을 통해 2차원 이미지에 관한 깊이 정보를 획득할 수 있으며, 해당 깊이 정보는 이후 단계에서 예측된 거리 정보와 병합(merge)되어 2차원 이미지의 최종 거리를 결정하는 과정에 사용될 수 있다. 한편, 메가뎁스 모델을 통해 도출되는 깊이 정보는 2차원 이미지의 크기 W×H와 동일한 깊이 매트릭스(depth matrix)로 표현될 수 있다.
거리-깊이 병합부(270)는 상대적 깊이에 거리를 반영하기 위한 예측 비율을 결정하여 복수의 구성요소들 각각에 관한 최종 거리를 결정할 수 있다. 즉, 거리-깊이 병합부(270)는 병합 단계에서 깊이 정보를 미터 단위의 거리 정보로 변경하기 위한 비율을 예측 비율로서 결정할 수 있다. 결과적으로, 거리-깊이 병합부(270)는 깊이예측모델부(250)에서 예측된 깊이 정보 간의 크기 관계가 모두 옳은 것으로 가정함으로써 최종 거리를 도출할 수 있다.
일 실시예에서, 거리-깊이 병합부(270)는 예측된 거리를 상대적 깊이로 나누어서 예측 비율을 결정할 수 있다. 즉, 깊이 매트릭스에 스칼라곱이 적용되는 예측 비율은 예측된 거리/상대적 깊이로 표현될 수 있다. 다른 실시예에서, 거리-깊이 병합부(270)는 포인트 매트릭스의 순서 상 중간값에 해당하는 포인트의 예측 거리(predicted distance)를 상대적 깊이(predicted depth)로 나누어서 예측 비율을 결정할 수 있으며, 다음의 수학식 5와 같이 표현될 수 있다.
[수학식 5]
Figure pat00016
이후, 거리-깊이 병합부(270)는 깊이 매트릭스와 예측 비율 간의 스칼라곱을 통해 2차원 이미지에 관한 최종 거리를 도출할 수 있으며, 다음의 수학식 6과 같이 표현될 수 있다.
[수학식 6]
Figure pat00017
여기에서, Di는 거리-깊이 병합부(270)에 의해 예측된 거리 매트릭스이고, De는 깊이예측모델부(250)에 의해 예측된 깊이 매트릭스이며,
Figure pat00018
는 스칼라곱 연산이다.
일 실시예에서, 거리-깊이 병합부(270)는 특징요소를 복수로 구성하고 복수의 특징요소들의 거리들에 대한 가중치 평균 또는 메디안을 이용하여 예측 비율을 결정할 수 있다. 즉, 거리-깊이 병합부(270)는 복수의 특징요소들의 거리들에 대한 가중치 평균 또는 메디안(median)을 이용하여 평균 거리 또는 메디안 거리를 산출하고 해당 거리를 상대적 깊이로 나누어서 예측 비율을 결정할 수 있다.
일 실시예에서, 거리-깊이 병합부(270)는 특징요소를 복수로 구성하고 복수의 특징요소들의 예측 비율들에 대한 평균(mean), 메디안(median) 및 표준편차(standard deviation) 중 어느 하나를 예측 비율로서 결정할 수 있다. 이때, 각 특징요소들에 대한 예측 비율은 각 특징요소에 관한 거리를 상대적 깊이로 나누어서 결정될 수 있다. 또한, 평균, 메디안 및 표준편차 이외의 예측 비율들에 관한 다양한 메트릭(metric)들을 기초로 깊이 매트릭스에 적용되는 예측 비율을 결정할 수 있다.
제어부(290)는 이미지 거리 측정 장치(130)의 전체적인 동작을 제어하고, 이미지 입력부(210), 거리예측모델부(230), 깊이예측모델부(250) 및 거리-깊이 병합부(270) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 3은 본 발명에 따른 이미지 거리 측정 방법을 설명하는 순서도이다.
도 3을 참조하면, 이미지 거리 측정 장치(130)는 이미지 입력부(210)를 통해 2차원 이미지를 입력받을 수 있다(단계 S310). 이미지 거리 측정 장치(130)는 거리예측모델부(230)는 2차원 이미지를 거리예측모델에 제공하여 2차원 이미지에 있는 특징요소에 관한 기준점으로부터의 거리를 예측할 수 있다(단계 S330).
또한, 이미지 거리 측정 장치(130)는 깊이예측모델부(250)는 2차원 이미지를 깊이예측모델에 제공하여 2차원 이미지를 구성하는 복수의 구성요소들 간의 상대적 깊이를 예측할 수 있다(단계 S350). 이미지 거리 측정 장치(130)는 거리-깊이 병합부(270)는 상대적 깊이에 거리를 반영하기 위한 예측 비율을 결정하여 복수의 구성요소들 각각에 관한 최종 거리를 결정할 수 있다(단계 S370).
도 4는 본 발명에 따른 거리예측모델의 학습 과정을 설명하는 도면이고, 도 5는 본 발명에 따른 깊이 매트릭스를 설명하는 도면이다.
도 4 및 5를 참조하면, 이미지 거리 측정 장치(130)는 2차원 이미지의 특정 픽셀 위치에 대한 거리를 예측하는 거리예측모델을 사전에 구축하여 이미지 거리 측정 과정에 적용할 수 있다. 깊이예측모델의 학습 프로세스(train process)는 원시 데이터 생성(make raw data), 학습 데이터 생성(make train data), 모델 생성(make model), 데이터 로드(load data) 및 학습(train)으로 이루어질 수 있다.
먼저, 원시 데이터 생성 과정(make raw data)은 기 구축된 이미지 데이터 셋을 기초로 수행될 수 있다. 예를 들어, 해당 과정을 위해 NYU Depth V1 이미지 데이터 셋이 사용될 수 있다. NYU Depth V1은 뉴욕대학교에서 공개 배포하는 미터(meter) 단위의 거리(distance)와 RGB 이미지가 매칭된 데이터 셋에 해당할 수 있다. NYU Depth V1 데이터 셋의 이미지 집합을 I 매트릭스(matrix)로 정의하는 경우, I의 n번째 요소에 해당하는 이미지는 In으로 정의될 수 있다.
또한, In에 대응되는 거리 정보를 가진 2차원 배열(array)는 Dn으로 정의될 수 있다(도 5 참조). Dn의 너비(width)와 높이(height)에 각각 10개씩 포인트가 설정될 수 있으며, Dn의 i width와 j height에 해당하는 픽셀의 거리 정보는
Figure pat00019
으로 정의될 수 있다.
Figure pat00020
에 해당하는 거리 정보와 i, j는 별도의 저장공간에 저장될 수 있다.
또한, 학습 데이터 생성(make train data) 과정은 In을 0과 1 사이로 정규화 하는 동작이 수행될 수 있다.
또한, 모델 생성(make model) 과정은 거리예측모델을 정의하는 과정에 해당할 수 있다. 거리예측모델은 사전 학습(pre trained)된 모델로부터 피처맵(feature map)을 획득하는 과정과 FC 계층(Fully Connected layer)들을 쌓아서 거리를 학습하는 과정을 포함할 수 있다. 피처맵을 획득하는 과정은 일반적인 분류를 위한 CNN 모델을 통해 이미지의 피처맵만을 추출하는 과정에 해당할 수 있다. 이를 위해서는 피처맵의 크기를 사전에 설정하여야 하며, 예를 들어, 입력 이미지 크기의 16분의 1이 되는 크기를 피처맵의 크기로 설정할 수 있다. 이때, 해당 수치는 Faster R-CNN의 피처맵 산출 과정에서 800×800×3의 이미지를 50×50×512의 피처맵으로 변환할 때 사용하는 서브 샘플링 비율(sub sampling ratio)에 해당할 수 있다.
한편, CNN 모델의 계층(layter)의 크기에 따라 피처맵의 크기가 달라질 수 있으며, 다음의 수학식 7과 같이 표현될 수 있다.
Figure pat00021
여기에서, Scnn은 CNN의 합성곱 계층(conv layer)에 의한 출력 크기이고, Sssr은 서브 샘플링 비율에 의해 감소된 이미지의 크기이며, Sfm은 피처맵의 크기이다. 예를 들어, 일반적인 CNN 모델로서 VGG-11과 Mobilenet_V3_small을 사용하는 경우, VGG-11에 관한 Scnn은 512이고 Mobilenet_V3_small에 관한 Scnn은 40일 수 있다.
거리를 학습하는 과정은 거리 리그레서(distance regressor)를 학습하는 과정에 해당할 수 있다. 거리 리그레서는 피처맵을 생성하는 과정에 직접 연결될 수 있으며, 피처맵은 거리 리그레서의 입력으로 사용될 수 있다. 또한,
Figure pat00022
에 대해 학습하는 것이므로 i와 j에 대한 정보가 피처맵에 추가될 수 있다.
또한, 데이터 로드(load data) 과정은 이미지 데이터 셋의 각 에포크(epoch) 마다 새로운 데이터를 메모리에 로드(load)하는 과정을 포함할 수 있다. 따라서, 매 에포크마다 이미지 파일에 대한 I/O 동작이 반복적으로 수행될 수 있다.
또한, 학습(train) 과정은 소정의 이미지 데이터 셋에 기반한 학습 데이터를 학습하는 과정에 해당할 수 있다. 학습 과정을 통해 임의의 이미지와 해당 이미지의 특정 포인트인 (i,j)를 입력으로 수신하여 해당하는 거리를 출력하는 거리예측모델이 구축될 수 있다.
도 6은 본 발명에 따른 이미지 거리 측정 방법의 전체 프로세스를 설명하는 도면이다.
도 6을 참조하면, 이미지 거리 측정 장치(130)는 거리예측모델(Distance Prediction Model)을 통한 거리 예측과 깊이예측모델(Depth Prediction Model)을 통한 깊이 예측을 수행할 수 있으며, 각 과정의 결과로서 도출되는 거리 정보와 깊이 정보를 이용하여 2차원 이미지(RGB Image)에 관한 미터 단위의 거리 정보를 출력할 수 있다. 즉, 이미지 거리 측정 장치(130)는 예측된 거리 정보와 깊이 정보를 상호 병합하는 과정을 수행할 수 있으며, 병합의 결과로서 최종적인 거리 정보(Distance(meter) Information)를 생성할 수 있다. 한편, 깊이예측모델은 메가뎁스(MegaDepth) 모델이 사용될 수 있다.
보다 구체적으로, 거리 정보와 깊이 정보 간의 병합(merge) 과정은 도 6과 같이 표현될 수 있다. 먼저, RGB 이미지와 RGB 이미지 상의 임의의 포인트를 나타내는 포인트 매트릭스(point matrix)를 이미 학습된 거리예측모델(Distance Prediction Model)에 입력할 수 있다. 거리예측모델의 출력(output)으로 포인트 매트릭스에 일대일 대응되는 거리 정보를 획득할 수 있다. 또한, RGB 이미지를 깊이예측모델(Depth Prediction Model)에 입력할 수 있다. 깊이예측모델의 출력은 입력 이미지의 크기 (W,H)에 대응되는 크기 (Wd,Hd)의 2차원 이미지로 표현될 수 있다. 해당 2차원 이미지는 모든 픽셀마다 해당 픽셀에 해당하는 깊이 정보를 포함할 수 있다.
또한, 병합 과정에서는 깊이 정보를 미터 단위의거리 정보로 변경하기 위한 비율(ratio)이 설정될 수 있다. 즉, 구해진 깊이 정보 간의 크기 관계들이 모두 옳다는 가정 하에 거리 정보가 산출될 수 있다. 이에 따라, 깊이예측모델에 의해 출력되는 깊이 정보인 깊이 매트릭스(depth matrix)에 설정된 예측 비율을 스칼라곱함으로써 거리 정보를 도출할 수 있다.
한편, 예측 비율을 산출하는 방법에는 포인트 매트릭스(point matrix)의 순서 상 중간값에 해당하는 포인트의 예측 거리(predicted distance) 정보를 활용하는 제1 방법과 지정 가능한 모든 포인트들에 대한 예측 비율에 관한 평균(mean), 메디안(median) 및 표준편차(standard deviation) 등을 실제 예측 비율로 사용하는 제2 방법이 포함될 수 있다. 이때, 모든 포인트들에 대한 예측 비율을 산출하는 방법은 제1 방법과 동일할 수 있다.
도 7은 본 발명에 따른 이미지 거리 측정 방법에 관한 실험 결과를 설명하는 도면이다.
도 7을 참조하면, 본 발명에 따른 이미지 거리 측정 방법을 통해 생성된 모델에 대한 검증 결과가 도시되어 있다. 검증 방법은 검증 셋(validation set)에 대해 본 발명에 따른 모델을 통해 예측 결과를 생성하고, 실제 거리와 비교하여 RMSE(Root Mean Square Deviation)를 산출함으로써 수행될 수 있다. 즉, RMSE가 낮을수록 좋은 성능을 나타낼 수 있다.
도 7에서, 거리 예측을 위한 예측 비율(ratio)에 관한 다양한 설정 방법들을 적용한 결과들이 도시되어 있다. 각 설정 방법은 다음과 같다.
- 순서상 중간값에 해당하는 distance를 사용하여 ratio 설정(order median)
- 지정 가능한 모든 point들에 대한 prediction ratio의 mean 값으로 ratio 설정(mean)
- 지정 가능한 모든 point들에 대한 prediction ratio의 median 값으로 ratio 설정(median)
- 지정 가능한 모든 point들에 대한 prediction ratio의 standard deviation 값으로 ratio 설정(stdev)
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 이미지 거리 측정 시스템
110: 사용자 단말 130: 이미지 거리 측정 장치
150: 데이터베이스
210: 이미지 입력부 230: 거리예측모델부
250: 깊이예측모델부 270: 거리-깊이 병합부
290: 제어부

Claims (10)

  1. 2차원 이미지를 입력받는 이미지 입력부;
    상기 2차원 이미지를 거리예측모델에 제공하여 상기 2차원 이미지에 있는 특징요소에 관한 기준점으로부터의 거리를 예측하는 거리예측모델부;
    상기 2차원 이미지를 깊이예측모델에 제공하여 상기 2차원 이미지를 구성하는 복수의 구성요소들 간의 상대적 깊이를 예측하는 깊이예측모델부; 및
    상기 상대적 깊이에 상기 거리를 반영하기 위한 예측 비율을 결정하여 상기 복수의 구성요소들 각각에 관한 최종 거리를 결정하는 거리-깊이 병합부를 포함하는 이미지 거리 측정 장치.
  2. 제1항에 있어서, 상기 거리예측모델부는
    상기 2차원 이미지에 관한 피처맵을 생성하는 피처맵 생성모듈; 및
    상기 피처맵에 있는 특징요소에 대하여 거리 리그레서(distance regressor)를 수행하여 상기 특징요소에 관한 상기 기준점으로부터의 거리를 예측하는 거리 예측모듈을 포함하는 것을 특징으로 하는 이미지 거리 측정 장치.
  3. 제2항에 있어서, 상기 거리예측모델부는
    상기 거리 리그레서의 수행 전에 상기 피처맵에 관한 ROI 풀링(Region of Interest Pooling)을 수행하여 상기 특징요소를 결정하는 ROI 풀링모듈을 더 포함하는 것을 특징으로 하는 이미지 거리 측정 장치.
  4. 제3항에 있어서, 상기 거리예측모델부는
    상기 특징요소를 상호 동일한 객체를 형성하는 적어도 하나의 픽셀로 구성하는 것을 특징으로 하는 이미지 거리 측정 장치.
  5. 제1항에 있어서, 상기 깊이예측모델부는
    상기 2차원 이미지에 있는 복수의 구성요소들을 적어도 하나의 전경 객체 및 배경 객체로 분리하는 것을 특징으로 하는 이미지 거리 측정 장치.
  6. 제5항에 있어서, 상기 깊이예측모델부는
    상기 적어도 하나의 전경 객체 각각에 관한 깊이 서열화를 수행하여 상기 상대적 깊이를 추정하는 것을 특징으로 하는 이미지 거리 측정 장치.
  7. 제6항에 있어서, 상기 깊이예측모델부는
    상기 적어도 하나의 전경 객체 중 가장 앞에 있는 전경 객체 및 상기 배경 객체 간의 기준 깊이를 설정하고 상기 기준 깊이를 기준으로 상기 상대적 깊이를 결정하는 것을 특징으로 하는 이미지 거리 측정 장치.
  8. 제1항에 있어서, 상기 거리-깊이 병합부는
    상기 거리를 상기 상대적 깊이로 나누어서 상기 예측 비율을 결정하는 것을 특징으로 하는 이미지 거리 측정 장치.
  9. 제8항에 있어서, 상기 거리-깊이 병합부는
    상기 특징요소를 복수로 구성하고 상기 복수의 특징요소들의 거리들에 대한 가중치 평균 또는 메디안으로 상기 거리를 결정하는 것을 특징으로 하는 이미지 거리 측정 장치.
  10. 2차원 이미지를 입력받는 이미지 입력단계;
    상기 2차원 이미지를 거리예측모델에 제공하여 상기 2차원 이미지에 있는 특징요소에 관한 기준점으로부터의 거리를 예측하는 거리예측모델단계;
    상기 2차원 이미지를 깊이예측모델에 제공하여 상기 2차원 이미지를 구성하는 복수의 구성요소들 간의 상대적 깊이를 예측하는 깊이예측모델단계; 및
    상기 상대적 깊이에 상기 거리를 반영하기 위한 예측 비율을 결정하여 상기 복수의 구성요소들 각각에 관한 최종 거리를 결정하는 거리-깊이 병합단계를 포함하는 이미지 거리 측정 방법.
KR1020210184593A 2021-12-22 2021-12-22 이미지 거리 측정 장치 및 방법 KR20230096167A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210184593A KR20230096167A (ko) 2021-12-22 2021-12-22 이미지 거리 측정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210184593A KR20230096167A (ko) 2021-12-22 2021-12-22 이미지 거리 측정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230096167A true KR20230096167A (ko) 2023-06-30

Family

ID=86959795

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210184593A KR20230096167A (ko) 2021-12-22 2021-12-22 이미지 거리 측정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20230096167A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190021138A (ko) 2017-08-22 2019-03-05 삼성전자주식회사 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190021138A (ko) 2017-08-22 2019-03-05 삼성전자주식회사 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법

Similar Documents

Publication Publication Date Title
CN111712830B (zh) 使用深度传感器的实时对象检测
US11151725B2 (en) Image salient object segmentation method and apparatus based on reciprocal attention between foreground and background
CN109740499A (zh) 视频分割方法、视频动作识别方法、装置、设备及介质
US20200117906A1 (en) Space-time memory network for locating target object in video content
CN108154222B (zh) 深度神经网络训练方法和系统、电子设备
WO2016054779A1 (en) Spatial pyramid pooling networks for image processing
CN111898578B (zh) 人群密度的获取方法、装置、电子设备
CN109858333B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN102077250A (zh) 移动体检测方法及移动体检测装置
WO2019167784A1 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
KR102369413B1 (ko) 영상 처리 장치 및 방법
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN114169425B (zh) 训练目标跟踪模型和目标跟踪的方法和装置
Qin et al. Depth estimation by parameter transfer with a lightweight model for single still images
CN114170558A (zh) 用于视频处理的方法、系统、设备、介质和产品
Osuna-Coutiño et al. Structure extraction in urbanized aerial images from a single view using a CNN-based approach
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
KR20230096167A (ko) 이미지 거리 측정 장치 및 방법
CN113762231B (zh) 端对端的多行人姿态跟踪方法、装置及电子设备
CN114972465A (zh) 图像目标深度的检测方法、装置、电子设备和存储介质
CN112651351B (zh) 一种数据处理的方法和装置
Gupta et al. Reconnoitering the Essentials of Image and Video Processing: A Comprehensive Overview
KR20230111010A (ko) 관절 예측을 위한 학습 데이터 생성 방법 및 장치
KR20230060029A (ko) 평면 검출 장치 및 방법
CN113808151A (zh) 直播图像的弱语义轮廓检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal