KR20200016627A - 자체 운동 추정 방법 및 장치 - Google Patents

자체 운동 추정 방법 및 장치 Download PDF

Info

Publication number
KR20200016627A
KR20200016627A KR1020180091944A KR20180091944A KR20200016627A KR 20200016627 A KR20200016627 A KR 20200016627A KR 1020180091944 A KR1020180091944 A KR 1020180091944A KR 20180091944 A KR20180091944 A KR 20180091944A KR 20200016627 A KR20200016627 A KR 20200016627A
Authority
KR
South Korea
Prior art keywords
self
regions
motion estimation
vector map
scene flow
Prior art date
Application number
KR1020180091944A
Other languages
English (en)
Inventor
이원희
이상일
김현진
홍성훈
Original Assignee
삼성전자주식회사
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 서울대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020180091944A priority Critical patent/KR20200016627A/ko
Priority to US16/238,068 priority patent/US11037306B2/en
Priority to EP19164881.5A priority patent/EP3608874B1/en
Priority to CN201910256447.8A priority patent/CN110827328B/zh
Priority to JP2019077035A priority patent/JP7290271B2/ja
Publication of KR20200016627A publication Critical patent/KR20200016627A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

자체 운동 추정 장치 및 방법이 제공된다. 자체 운동 추정 장치는 입력 이미지의 복수의 영역들로부터 장면 플로우 필드를 산출하고, 장면 플로우에 기초하여 복수의 영역들을 클러스터링하며, 클러스터링된 복수의 영역들에 대한 확률 벡터 맵을 업데이트하고, 업데이트된 확률 벡터 맵에 기초하여 정적 배경을 식별하며, 식별된 정적 배경에 기초하여 자체 운동 정보를 추정할 수 있다.

Description

자체 운동 추정 방법 및 장치{DEVICE AND METHOD TO ESTIMATE EGO MOTION}
이하, 자체 운동 정보를 추정하는 기술이 제공된다.
이동 로봇, 드론, 및 자율 주행 차량 등과 같은 장치는, 오도메트리(odometry)를 통해 장치 자체의 상대적 위치를 인식할 수 있다. 오도메트리는 정적 환경 즉, 카메라 이외의 움직이는 물체가 없는 환경을 가정하고 있으므로, 동적 환경(카메라 이외의 움직이는 물체가 존재하는 환경)에서 동작할 경우 자세 추정이 정확하지 않을 가능성이 있다.
예를 들어, 자율 주행 차량이 주행시 주변에 보행자나 다른 자동차가 존재할 수 있다. 서비스 로봇이 동작할 시, 서비스 로봇 주변에 보행자가 존재할 수 있다. 따라서, 자율 주행 차량 등은 보다 정확한 오도메트리 동작을 수행하기 위해, 정적 영역과 동적 영역을 구분하는 기술을 요구할 수 있다.
일 실시예에 따른 자체 운동 추정 방법은, 복수의 영역들(spaces)로 구분되는 입력 이미지에 대하여, 상기 복수의 영역들의 각각에 대한 장면 플로우를 지시하는 장면 플로우 필드를 생성하는 단계; 상기 장면 플로우 필드에 기초하여, 상기 복수의 영역들을 복수의 그룹들로 클러스터링하는 단계; 상기 복수의 그룹들에 기초하여, 상기 복수의 영역들의 레이블에 대한 확률 벡터 맵을 생성하는 단계; 및 상기 생성된 확률 벡터 맵에 기초하여, 장치의 자체 운동 정보를 추정하는 단계를 포함할 수 있다.
상기 장면 플로우 필드를 생성하는 단계는, 상기 복수의 영역들의 각각에 대하여 2차원 움직임을 지시하는 모션 벡터 및 깊이 방향 움직임을 지시하는 깊이 벡터를 산출하는 단계; 및 상기 모션 벡터 및 상기 깊이 벡터에 기초하여 장면 플로우를 산출하는 단계를 포함할 수 있다.
상기 클러스터링하는 단계는, 상기 복수의 영역들 중 유사한 장면 플로우를 나타내는 영역들로 상기 복수의 그룹들의 각 그룹을 형성하는 단계를 포함할 수 있다.
상기 각 그룹을 형성하는 단계는, 각 그룹 내에 속하는 각 영역의 장면 플로우 간 차이가 임계 차이 미만이 되도록, 상기 복수의 영역들을 상기 복수의 그룹들 중 한 그룹으로 결정하는 단계를 포함할 수 있다.
상기 클러스터링하는 단계는, 상기 복수의 영역들 중 미리 정한 개수의 영역들을 무작위로 선택하는 단계; 상기 무작위로 선택된 영역들의 각각에 대한 장면 플로우가 서로 유사한 경우에 응답하여, 상기 무작위로 선택된 영역들을 기준 영역으로 지정하는 단계; 상기 기준 영역에 기초하여, 상기 복수의 영역들을 복수의 그룹들로 분류하는 단계를 포함할 수 있다.
상기 클러스터링하는 단계는, 상기 무작위로 선택된 영역들의 각각에 대한 장면 플로우가 서로 비유사한 경우에 응답하여, 상기 복수의 영역들 중 미리 정한 개수의 영역들을 다시 무작위로 선택하는 단계를 더 포함할 수 있다.
상기 복수의 그룹들로 분류하는 단계는, 상기 기준 영역의 주변 영역 중 상기 기준 영역의 대표 장면 플로우(representative scene flow)와 유사한 장면 플로우를 가지는 영역을 상기 기준 영역과 동일한 그룹으로 결정하는 단계를 포함할 수 있다.
상기 기준 영역과 동일한 그룹으로 결정하는 단계는, 상기 주변 영역 중 상기 대표 장면 플로우 간의 벡터 차이가 임계 차이 미만인 장면 플로우를 가지는 영역을 상기 기준 영역과 동일한 그룹에 추가하는 단계를 포함할 수 있다.
상기 클러스터링하는 단계는, 상기 복수의 영역들이 클러스터링된 각 그룹에 대하여 레이블을 매칭시키는 단계를 포함할 수 있다.
상기 자체 운동 정보를 추정하는 단계는, 상기 확률 벡터 맵에 기초하여 정적 배경을 식별하는 단계; 및 상기 식별된 정적 배경에 기초하여 상기 자체 운동 정보를 산출하는 단계를 포함할 수 있다.
상기 정적 배경을 식별하는 단계는, 상기 확률 벡터 맵으로부터 가장 높은 확률을 지시하는 레이블에 기초하여, 상기 복수의 영역들 중 정적 배경을 식별하는 단계를 포함할 수 있다.
상기 확률 벡터 맵을 생성하는 단계는, 상기 복수의 영역들이 클러스터링된 결과 및 이전 프레임의 확률 벡터 맵에 기초하여, 현재 프레임에 대한 확률 벡터 맵을 산출하는 단계를 포함할 수 있다.
상기 현재 프레임에 대한 확률 벡터 맵을 산출하는 단계는, 이전 프레임으로부터 현재 프레임까지의 각 영역의 이동을 지시하는 변환 벡터 맵에 기초하여, 상기 이전 프레임의 확률 벡터 맵을 보상함으로써 보상된 벡터 맵을 생성하는 단계; 및 상기 보상된 벡터 맵 및 상기 복수의 영역들이 클러스터링된 결과에 기초하여, 상기 현재 프레임에 대한 확률 벡터 맵을 산출하는 단계를 포함할 수 있다.
상기 보상된 벡터 맵을 생성하는 단계는, 이전 프레임에 대해 산출된 장면 플로우를 상기 변환 벡터 맵으로 결정하는 단계를 포함할 수 있다.
상기 입력 이미지로서 채널 이미지 및 깊이 이미지를 획득하는 단계를 더 포함하고, 상기 장면 플로우 필드를 생성하는 단계는, 3차원 장면 플로우를 지시하는 장면 플로우 필드를 생성하는 단계를 포함할 수 있다.
상기 입력 이미지를 그리드 패턴에 기초하여 상기 복수의 영역들로 분할하는 단계를 더 포함할 수 있다.
상기 입력 이미지에 포함된 복수의 픽셀들 중 하나 이상의 픽셀을 포함하도록 상기 복수의 영역들을 형성하는 단계를 더 포함할 수 있다.
상기 장치가 정지한 동안 획득되는 초기 이미지에서, 정적인 영역(stationary space)에 대해 정적 배경에 대응하는 레이블을 매칭시키는 단계를 더 포함할 수 있다.
일 실시예에 따른 자체 운동 추정 장치는, 입력 이미지를 획득하는 이미지 센서; 및 상기 입력 이미지를 복수의 영역들로 구분하고, 상기 복수의 영역들의 각각에 대한 장면 플로우를 지시하는 장면 플로우 필드를 생성하며, 상기 장면 플로우 필드에 기초하여, 상기 복수의 영역들을 복수의 그룹들로 클러스터링하고, 상기 복수의 그룹들에 기초하여, 상기 복수의 영역들의 레이블에 대한 확률 벡터 맵을 생성하며, 상기 생성된 확률 벡터 맵에 기초하여, 장치의 자체 운동 정보를 추정하는 프로세서를 포함할 수 있다.
도 1은 일 실시예에 따른 자체 운동 정보 추정 시스템을 설명하는 도면이다.
도 2는 일 실시예에 따른 자체 운동 추정 방법을 설명하는 흐름도이다.
도 3은 일 실시예에 따른 자체 운동 정보 추정 과정을 설명하는 도면이다.
도 4는 일 실시예에 따른 입력 이미지를 설명하는 도면이다.
도 5는 일 실시예에 따른 장면 플로우 필드를 설명하는 도면이다.
도 6은 일 실시예에 따른 클러스터링 동작을 설명하는 도면이다.
도 7은 일 실시예에 따른 레이블링 동작을 설명하는 도면이다.
도 8은 일 실시예에 따른 확률 벡터 맵을 설명하는 도면이다.
도 9은 일 실시예에 따른 확률 벡터 맵을 업데이트하는 동작을 설명하는 도면이다.
도 10은 일 실시예에 따른 자체 운동 추정 장치의 구성을 설명하는 블록도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 자체 운동 정보 추정 시스템을 설명하는 도면이다.
일 실시예에 따르면 자체 운동 추정 장치(110)는, 오도메트리를 수행할 수 있다. 오도메트리는 자체 운동 정보(ego motion information)를 추정하는 동작을 나타낼 수 있다. 자체 운동 정보는 장치 자신의 운동과 연관된 정보로서, 예를 들어, 장치 자신의 상대적 움직임(relative movement), 좌표, 및 자세(pose)를 포함할 수 있다. 오도메트리는, 모든 객체가 정지한 정적인 환경을 가정하여 수행될 수도 있으나, 이러한 가정은 차량이나 보행자가 존재하는 환경에 대한 오도메트리 동작의 위치 추정 성능을 저하시킬 수 있다. 따라서 일반적인 동적 환경에서 카메라의 위치를 강인하게 추정하기 위해서는, 자체 운동 추정 장치(110)는 카메라의 화각(FOV, field of view) 내에 나타나는 서로 다른 동적 객체 및 배경을 구별할 필요가 있다.
자체 운동 추정 장치(110)는 오도메트리를 정확하게 수행하기 위하여 이동 객체(180)(moving object) 및 정적 배경(190)(stationary background)을 구별할 수 있다. 예를 들어, 자체 운동 추정 장치(110)는 입력 이미지에서 정적 배경(190)으로 식별된 부분만 이용하여, 자체 운동 정보를 추정할 수 있다. 이동 객체(180)는 임의의 속도 및 방향으로 이동하는 객체를 나타낼 수 있다. 정적 배경(190)은 정지된 상태의 객체, 사물, 또는 배경을 나타낼 수 있다.
예를 들어, 자체 운동 추정 장치(110)는 입력 이미지에 대해 계산된 장면 흐름 (scene flow)에 대해 모션 공간 분할(Motion Spatial Segmentation) 및 모션 시간 분할(Motion Temporal Segmentation)을 적용함으로써, 입력 이미지에 나타나는 객체 및 배경을 구별할 수 있다. 일 실시예에 따른 자체 운동 추정 장치(110)는 화각 내에서 큰 부분을 차지하는 동적 물체에 대해서도 강인하게 자신의 위치를 추정할 수 있다.
도 1은, 자체 운동 추정 장치(110)가 주행 차량에 장착된 예시를 도시한다. 자체 운동 추정 장치(110)의 전방에는 임의의 이동 객체(180)로서 다른 차량이 있을 수 있고, 정적 배경(190)으로서 고정된 사물이 존재할 수 있다. 차량이 주행하는 환경에서 고정된 사물은, 예를 들어, 가로등, 신호등, 및 벽 등일 수 있다. 자체 운동 추정 장치(110)는 이미지 센서를 통해, 주변에 대한 입력 이미지를 획득할 수 있다. 예를 들어, 자체 운동 추정 장치(110)는 컬러 이미지 및 깊이 이미지를 획득할 수 있다. 자체 운동 추정 장치(110)는 입력 이미지로부터 정적 배경(190)을 식별할 수 있고, 정적 배경(190)에 기초하여 자체 운동 정보를 정확하게 추정할 수 있다. 따라서, 자율 주행 차량에 있어서, 자체 운동 추정 장치(110)는 보다 안전한 주행을 보조할 수 있다.
또한, 자체 운동 추정 장치(110)는, 정확하게 추정된 자체 운동 정보에 기초하여, 사용자에게 차량용 AR(augmented reality)을 현실감 있게 제공할 수 있다.
도 2는 일 실시예에 따른 자체 운동 추정 방법을 설명하는 흐름도이다.
우선, 단계(210)에서 자체 운동 추정 장치는 복수의 영역들(spaces)로 구분되는 입력 이미지에 대하여, 복수의 영역들의 각각에 대한 장면 플로우를 지시하는 장면 플로우 필드를 생성할 수 있다.
입력 이미지는 이미지 센서에 의해 획득되는 이미지로서, 복수의 영역들로 구분될 수 있다. 예를 들어, 입력 이미지는 격자 패턴(grid pattern)으로 구분되는 영역을 포함할 수 있고, 격자 사이의 개별 영역은 하나 이상의 픽셀을 포함할 수 있다. 입력 이미지가 구분되는 패턴은 사용자에 의해 미리 지정될 수 있으나, 이로 한정하는 것은 아니다.
입력 이미지는 예를 들어, 채널 이미지 및 깊이 이미지를 포함할 수 있다. 채널 이미지는 평면적인 정보(planar information)를 포함하는 이미지로서, 예를 들어, 색상 이미지 등을 포함할 수 있다. 색상 이미지는 적색 채널 이미지, 녹색 채널 이미지, 및 청색 채널 이미지를 포함할 수 있다. 색상 이미지에 포함된 픽셀들은 해당 색상에 대응하는 세기 값을 나타낼 수 있다. 깊이 이미지는 깊이 정보(depth information)를 포함하는 이미지로서, ToF(time of flight) 방식 및 구조광(structured light) 방식 등에 기초하여 획득된 이미지를 나타낼 수 있다. 본 명세서에서는 입력 이미지가 3개의 색상 채널 이미지 및 1개의 깊이 이미지를 포함하는 예시를 주로 설명하나, 이로 한정하는 것은 아니다.
장면 플로우는 이미지 내의 한 부분이 이동하는 3차원 변위 및 3차원 방향을 지시하는 벡터를 나타낼 수 있다. 예를 들어, 임의의 시간 프레임에 대해 입력 a이미지의 한 영역에 대해 계산된 장면 플로우는, 해당 시간 프레임으로부터 다음 시간 프레임까지 해당 영역의 3차원 이동(movement)을 지시할 수 있다. 장면 플로우는, 해당 시간 프레임으로부터 다음 시간 프레임까지의 해당 영역의 2차원 움직임을 나타내는 모션 벡터 및 해당 영역의 깊이 방향 움직임을 나타내는 깊이 벡터(depth vector)로부터 생성될 수 있다. 예를 들어, 자체 운동 추정 장치는 모션 벡터 및 깊이 벡터를 연관(concatenate)시킴으로써 장면 플로우를 결정할 수 있다.
장면 플로우 필드는 장면 플로우의 집합으로서, 예를 들어, 상술한 입력 이미지의 복수의 영역들의 각각에 대해 산출된 장면 플로우의 집합을 나타낼 수 있다.
그리고 단계(220)에서 자체 운동 추정 장치는 장면 플로우 필드에 기초하여, 복수의 영역들을 복수의 그룹들로 클러스터링할 수 있다. 예를 들어, 자체 운동 추정 장치는 비슷한 모션을 가지는 영역들끼리 그룹을 형성하도록, 복수의 영역들을 클러스터링할 수 있다. 개별 그룹은 정적 배경 또는 동적 객체로 레이블링될 수 있다. 동적 객체로 레이블링된 그룹은, 입력 이미지에서 비슷한 모션을 나타내는 영역들이 클러스터링된 것이므로, 임의의 강체(rigid body)를 나타낼 수 있다. 클러스터링 동작은 하기 도 6에서 설명한다.
이어서 단계(230)에서 자체 운동 추정 장치는 복수의 그룹들에 기초하여, 복수의 영역들의 레이블에 대한 확률 벡터 맵을 생성할 수 있다. 확률 벡터 맵은 입력 이미지가 구분된 영역들에 대해 확률 벡터가 매핑된 맵을 나타낼 수 있다. 임의의 영역에 매핑된 확률 벡터는, 해당 영역이 각 레이블에 속할 확률을 나타낼 수 있다. 예를 들어, m개의 레이블이 전제되는 경우, 확률 벡터는 해당 영역이 m개의 레이블들의 각각에 속할 확률을 지시할 수 있다. 확률 벡터 맵은 하기 도 8에서 설명한다.
그리고 단계(240)에서 자체 운동 추정 장치는 생성된 확률 벡터 맵에 기초하여, 장치의 자체 운동 정보를 추정할 수 있다. 예를 들어, 자체 운동 추정 장치는 정적 배경(stationary background)에 기초하여, 자체 운동 정보를 추정할 수 있다.
일 실시예에 따르면 입력 이미지는 n개의 영역들로 구분될 수 있다. 여기서, n은 1이상의 정수일 수 있다. 장면 플로우 필드는 n개의 영역들 각각에 대한 장면 플로우를 포함할 수 있다. 그룹 레이블은 n개의 영역들 각각이 속하는 그룹을 지시하는 레이블을 포함할 수 있다. 확률 벡터 맵은 n개의 영역들 각각에 대한 확률 벡터를 포함할 수 있다.
도 3은 일 실시예에 따른 자체 운동 정보 추정 과정을 설명하는 도면이다.
우선, 단계(301)에서 자체 운동 추정 장치는 입력 이미지를 획득할 수 있다. 예를 들어, 자체 운동 추정 장치는 RGB-D 이미지 쌍을 입력 이미지로서 획득할 수 있다. RGB-D 이미지는 RGB 이미지 및 깊이 이미지의 쌍(pair)을 나타낼 수 있다.
그리고 단계(310)에서 자체 운동 추정 장치는 장면 플로우를 산출할 수 있다. 예를 들어, 자체 운동 추정 장치는 입력 이미지의 복수의 영역들의 각각에 대하여 2차원 평면 상의 움직임을 나타내는 모션 벡터(예를 들어, 2차원 옵티컬 플로우) 및 깊이 방향의 움직임을 나타내는 깊이 벡터를 산출할 수 있다. 자체 운동 추정 장치는 모션 벡터 및 깊이 벡터를 연관(concatenate)시킴으로써 장면 플로우를 결정할 수 있다. 다른 예를 들어, 자체 운동 추정 장치는 입력 이미지의 복수의 영역들의 각각에 대하여 장면 플로우로서, 3차원 옵티컬 플로우(optical flow)를 산출할 수 있다.
이어서 단계(320)에서 자체 운동 추정 장치는 모션 공간 분할 동작을 수행할 수 있다. 자체 운동 추정 장치는 복수의 영역들을 장면 플로우에 기초하여 클러스터링할 수 있다. 일 실시예에 따르면 자체 운동 추정 장치는 복수의 영역들 중 유사한 장면 플로우를 나타내는 영역들로 복수의 그룹들의 각 그룹을 형성할 수 있다. 예를 들어, 자체 운동 추정 장치는, 단계(321)에서 기준 영역을 지정할 수 있고, 단계(322)에서 검증된 기준 영역에 기초하여 영역들을 그룹으로 분류할 수 있으며, 단계(323)에서 그룹이 클러스터링된 결과를 생성할 수 있다. 따라서, 자체 운동 추정 장치는 3차원 공간에 대해 추정된 3차원 장면 플로우들의 각각이 어느 강체에 속하는지 판단할 수 있다. 클러스터링 동작은 하기 도 6에서 설명한다.
참고로, 상술한 클러스터링 결과는 시간 프레임과 무관하게 계산되는 것이므로, 이전 시간 프레임에서 A라는 레이블을 가지는 강체로 판단된 물체가 다음 시간 프레임에서 A가 아닌 B라는 레이블을 가지는 강체로 판단될 수도 있다. 따라서, 강체 레이블의 일관성을 유지하기 위한 동작이 요구된다.
강체 레이블의 일관성을 유지하기 위해, 자체 운동 추정 장치는 단계(330)에서 모션 시간 분할 동작을 수행할 수 있다. 예를 들어, 자체 운동 추정 장치는 단계(331)에서 클러스터링된 결과들의 각각을 라벨링하고, 단계(333)에서 확률 벡터 맵을 보상하고, 단계(332)에서 확률 벡터 맵을 업데이트할 수 있다. G(k)는 k번째 시간 프레임에서 각 영역에 라벨링된 그룹 레이블을 나타낼 수 있다. C(k-1)은 k-1번째 시간 프레임의 확률 벡터 맵에 카메라 이동 등이 보상된 맵을 나타낼 수 있다. P(k)는 k번째 시간 프레임의 확률 벡터 맵을 나타낼 수 있다. 이러한 확률 벡터 맵의 업데이트는 하기 도 9에서 설명한다.
그리고 단계(335)에서 자체 운동 추정 장치는 정적 배경을 분할할 수 있다. 예를 들어, 자체 운동 추정 장치는 k번째 시간 프레임에 대한 확률 벡터 맵 P(k)에 기초하여, 입력 이미지의 영역들 중에서 정적 배경에 대응하는 영역을 식별할 수 있다. 예를 들어, 자체 운동 추정 장치는 확률 벡터 맵에 기초하여 정적 배경을 식별할 수 있다.
이어서 단계(340)에서 자체 운동 추정 장치는 자체 운동 정보를 추정할 수 있다. 예를 들어, 자체 운동 추정 장치는 식별된 정적 배경에 기초하여, 카메라의 움직임을 나타내는 자체 운동 정보를 산출할 수 있다.
도 4는 일 실시예에 따른 입력 이미지를 설명하는 도면이다.
입력 이미지(400)는 상술한 바와 같이, 채널 이미지일 수 있다. 예를 들어, 자체 운동 추정 장치의 이미지 센서는 외부를 촬영함으로써, 입력 이미지(400)를 생성할 수 있다. 또한, 자체 운동 추정 장치는 매 시간 프레임마다 입력 이미지(400)를 연속적으로 촬영할 수 있다. 입력 이미지(400)는 상술한 바와 같이 복수의 영역들로 구분될 수 있고, 각 영역에 대해 아래 도 5와 같이 장면 플로우가 추정될 수 있다.
도 5는 일 실시예에 따른 장면 플로우 필드를 설명하는 도면이다.
장면 플로우 필드(500)는 상술한 바와 같이, 입력 이미지의 영역들의 각각에 대해 추정된 장면 플로우의 집합을 나타낼 수 있다. 각 장면 플로우는 2차원 움직임을 지시하는 모션 벡터 및 깊이 방향 움직임을 지시하는 깊이 벡터를 포함할 수 있다. 모션 벡터는 예를 들어, 옵티컬 플로우(optical flow)일 수 있다. 자체 운동 추정 장치는 Lucas-Kanade 기법을 통해 복수의 영역들의 각각에 대한 모션 벡터로서 옵티컬 플로우를 산출할 수 있다. 자체 운동 추정 장치는 옵티컬 플로우를 통해 영역 단위(space-wise) 모션을 추정할 수 있으나, 이로 한정하는 것은 아니고 픽셀 단위(pixel-wise) 모션을 추적할 수도 있다. 도 5는 도 4에 도시된 입력 이미지의 각 영역에 대한 장면 플로우가 추정된 장면 플로우 필드(500)를 도시하는 바, 도 4의 입력 이미지에 나타난 이동 객체(예를 들어, 사진)에 대해 산출된 장면 플로우는 우측 이동을 지시할 수 있다. 도 5에 도시된 장면 플로우 필드는 설명의 편의를 위하여 장면 플로우가 2차원 이동 방향만으로 도시되었으나, 장면 플로우는 해당 영역의 3차원 이동 방향 및 3차원 이동량을 포함할 수 있다.
일 실시예에 따르면 자체 운동 추정 장치는 평면 채널 이미지 및 깊이 이미지를 입력 이미지로 이용하므로, 각 영역(space)에 대하여 3차원 속도(3D velocity)를 추정할 수 있다.
도 6은 일 실시예에 따른 클러스터링 동작을 설명하는 도면이다.
도 3에서 상술한 바와 같이 자체 운동 추정 장치는 단계(320)에서 입력 이미지의 각 영역에 대해 산출된 장면 플로우에 기초하여 복수의 영역들을 복수의 그룹들로 클러스터링할 수 있다. 일 실시예에 따르면, 자체 운동 추정 장치는 복수의 영역들 중 유사한 장면 플로우를 나타내는 영역들로 복수의 그룹들의 각 그룹을 형성할 수 있다. 예를 들어, 자체 운동 추정 장치는 각 그룹 내에 속하는 각 영역의 장면 플로우 간 차이가 임계 차이 미만이 되도록, 복수의 영역들을 복수의 그룹들 중 한 그룹으로 결정할 수 있다. 두 장면 플로우 간의 차이는 예를 들어, 유클리드 거리(Euclidean distance)일 수 있으나, 이로 한정하는 것은 아니다.
우선, 단계(621)에서 자체 운동 추정 장치는 복수의 영역들 중 미리 정한 개수의 영역들(651)을 무작위로 선택할 수 있다. 미리 정한 개수는 사용자에 의해 미리 지정될 수 있으나, 이로 한정하는 것은 아니고 설계에 따라 변경될 수 있다.
그리고 단계(622)에서 자체 운동 추정 장치는 무작위로 선택된 영역들의 각각에 대한 장면 플로우가 서로 유사한 경우에 응답하여, 무작위로 선택된 영역들(651)을 기준 영역(652)으로 지정할 수 있다. 예를 들어, 자체 운동 추정 장치는 무작위로 선택된 장면 플로우들 간의 차이가 임계 차이 미만인 경우에 응답하여, 선택된 영역들(651)을 기준 영역(652)으로 결정할 수 있다.
다만, 자체 운동 추정 장치는 무작위로 선택된 영역들의 각각에 대한 장면 플로우가 서로 비유사한 경우에 응답하여, 복수의 영역들 중 미리 정한 개수의 영역들(651)을 다시 무작위로 선택할 수 있다. 예를 들어, 자체 운동 추정 장치는 선택된 영역들(651)에 대한 장면 플로우들의 차이가 임계 차이 이상인 경우에 응답하여, 영역들을 다시 선택할 수 있다.
이어서 단계(623)에서 자체 운동 추정 장치는 기준 영역에 기초하여, 복수의 영역들을 복수의 그룹들로 분류할 수 있다. 예를 들어, 자체 운동 추정 장치는 기준 영역의 주변 영역 중 기준 영역의 대표 장면 플로우(representative scene flow)와 유사한 장면 플로우를 가지는 영역을 기준 영역과 동일한 그룹(653)으로 결정할 수 있다. 기준 영역의 대표 장면 플로우는, 예를 들어, 기준 영역 내의 장면 플로우들의 평균 플로우(mean flow)일 수 있으나, 이로 한정하는 것은 아니다. 예를 들어, 자체 운동 추정 장치는 주변 영역 중 대표 장면 플로우 간의 벡터 차이가 임계 차이 미만인 장면 플로우를 가지는 영역을 기준 영역과 동일한 그룹(653)에 추가할 수 있다.
그리고 단계(624)에서 자체 운동 추정 장치는 클러스터링되지 않은 나머지 영역들에 대해서도 상술한 단계들(621 내지 623)을 반복할 수 있다. 자체 운동 추정 장치는 나머지 영역들에 대해서도 무작위로 기준 영역을 선택하는 동작 및 기준 영역에 기초하여 해당 그룹을 확장하는 동작을 수행할 수 있다.
이어서 단계(625)에서 자체 운동 추정 장치는 모든 영역들에 대한 그룹이 지정된 클러스터링 결과를 생성할 수 있다.
도 7은 일 실시예에 따른 레이블링 동작을 설명하는 도면이다.
일 실시예에 따른 자체 운동 추정 장치는 클러스터링이 완료된 복수의 영역들에 대하여 레이블을 결정할 수 있다. 자체 운동 추정 장치는 복수의 영역들이 클러스터링된 각 그룹에 대하여 레이블을 매칭시킬 수 있다.
예를 들어, 도 7은 장면 플로우 필드(700)가 제1 그룹(710)에 속하는 영역들 및 제2 그룹(720)에 속하는 영역들로 분류된 결과를 도시한다. 자체 운동 추정 장치는 제1 그룹(710)에 대해서는 제1 레이블, 제2 그룹(720)에 대해서는 제2 레이블을 매칭시킬 수 있다. 자체 운동 추정 장치는 이전 시간 프레임에서 제1 그룹(710)이 제1 레이블을 지시했던 경우에 응답하여, 현재 시간 프레임의 제1 그룹(710)에 대해서도 제1 레이블을 매칭시킬 수 있다. 따라서 자체 운동 추정 장치는 연속된 프레임 이미지들에 대하여, 각 영역에 매칭되는 레이블이 연속성을 가지도록, 레이블링 동작을 수행할 수 있다.
일 실시예에 따르면 자체 운동 추정 장치는, 장치가 정지한 동안 획득되는 초기 이미지에서, 정적인 영역(stationary space)에 대해 정적 배경에 대응하는 레이블을 매칭시킬 수 있다. 자체 운동 추정 장치는 초기 동작시 정적 배경을 미리 식별할 수 있다. 이후, 자체 운동 추정 장치는 상술한 바와 같이 이전 시간 프레임에서의 레이블에 기초하여, 현재 시간 프레임의 레이블을 영역에 매칭시킴으로써, 장면 플로우에 따라 이동된 영역에 대하여 일관된 레이블을 지정할 수 있다.
도 8은 일 실시예에 따른 확률 벡터 맵을 설명하는 도면이다.
확률 벡터 맵(800)은 상술한 바와 같이 복수의 확률 벡터들을 포함하는 맵을 나타낼 수 있다. 확률 벡터 맵(800)은 입력 이미지의 복수의 영역들과 동일한 개수 및 차원으로 배열된 영역들을 포함할 수 있다. 복수의 확률 벡터들의 각각은 확률 벡터 맵(800)의 각 영역에 할당될 수 있다.
확률 벡터(810)는 상술한 바와 같이 해당 영역이 각 레이블에 속할 확률을 나타낼 수 있다. 예를 들어, 확률 벡터(810)는 해당 확률 벡터(810)가 매핑된 영역이 m개의 레이블들의 각각에 속할 확률을 지시할 수 있다. 여기서, m은 1이상의 정수일 수 있고, 자체 운동 장치에 의해 관측될 수 있는 최대 개수일 수 있다. 확률 벡터(810)가 해당 영역이 i번째 레이블에 속할 확률이 가장 높다고 지시하는 경우, 자체 운동 추정 장치는 해당 영역이 i번째 물체를 지시하는 것으로 결정할 수 있다. 여기서, i는 1이상 m이하의 정수일 수 있다. m은 사용자에 의해 결정될 수 있으나, 이로 한정하는 것은 아니다.
도 8에 도시된 확률 벡터 맵(800)에서, 임의의 영역(801)에 대한 확률 벡터(810)는 1번 레이블에 대해 가장 높은 확률을 나타낼 수 있다. 자체 운동 추정 장치는 도 8의 확률 벡터 맵(800)에 기초하여, 해당 영역(801)이 1번 레이블에 대응하는 객체를 지시한다고 결정할 수 있다.
일 실시예에 따르면 자체 운동 추정 장치는 확률 벡터 맵(800)으로부터 가장 높은 확률을 지시하는 레이블에 기초하여, 복수의 영역들 중 정적 배경을 식별할 수 있다. 예를 들어, 자체 운동 추정 장치는 각 영역에 대해 가장 높은 확률의 레이블을 지정할 수 있고, 그 중 정적 배경에 대응하는 레이블이 지정된 영역을 정적 배경으로 식별할 수 있다.
도 9은 일 실시예에 따른 확률 벡터 맵을 업데이트하는 동작을 설명하는 도면이다.
일 실시예에 따른 자체 운동 추정 장치는 매 시간 프레임마다 확률 벡터 맵을 업데이트할 수 있다. 자체 운동 추정 장치는 복수의 영역들이 클러스터링된 결과 및 이전 프레임의 확률 벡터 맵에 기초하여, 현재 프레임에 대한 확률 벡터 맵을 산출할 수 있다. 예를 들어, 자체 운동 추정 장치는 k번째 프레임에 대한 확률 벡터 맵을 업데이트할 수 있다.
우선, 단계(310)에서 자체 운동 추정 장치는 k번째 프레임에 대해 획득된 입력 이미지 I(k)로부터 장면 플로우 필드 M(k)를 산출할 수 있다. 그리고 단계(323)에서 자체 운동 추정 장치는 장면 플로우 필드 M(k)를 클러스터링 결과 GwithoutLabel(k)를 생성할 수 있다. 이어서 단계(331)에서 자체 운동 추정 장치는 클러스터링 결과 GwithoutLabel(k)에 레이블을 매칭시킴으로써, 레이블링된 그룹 G(k)를 산출할 수 있다.
또한, 단계(333)에서 자체 운동 추정 장치는 이전 프레임으로부터 현재 프레임까지의 각 영역의 이동을 지시하는 변환 벡터 맵 T(k-1)에 기초하여, 이전 프레임의 확률 벡터 맵 P(k-1)을 보상함으로써 보상된 벡터 맵 C(k-1)을 생성할 수 있다. 자체 운동 추정 장치는 변환 벡터 맵 T(k-1)에 따라 이전 프레임의 확률 벡터 맵 P(k-1)의 각 영역에 할당된 벡터를 이동시키거나 조정할 수 있다.
변환 벡터 맵 T(k-1)은 복수의 영역들의 각각에 변환 벡터가 매핑된 맵을 나타낼 수 있다. 변환 벡터는 카메라 이동 및 대상 객체의 이동 등에 의해 영역이 이동되어야 하는 방향 및 거리를 나타내는 벡터를 나타낼 수 있다. 자체 운동 추정 장치는 이전 프레임에 대해 산출된 장면 플로우 M(k-1)를 변환 벡터 맵 T(k-1)으로 결정할 수 있으나, 이로 한정하는 것은 아니다. 예를 들어, 변환 벡터 맵 T(k-1)은 이전 프레임 이미지의 영역들 및 현재 프레임 이미지의 영역들 간의 특징 매칭(feature matching)을 통해 생성될 수도 있다.
단계(332)에서 자체 운동 추정 장치는 보상된 벡터 맵 C(k-1) 및 복수의 영역들이 클러스터링된 결과(예를 들어, 레이블링된 그룹 G(k))에 기초하여, 현재 프레임에 대한 확률 벡터 맵 P(k)을 산출할 수 있다. 예를 들어, 자체 운동 추정 장치는 레이블링된 그룹 G(k)의 각 영역의 레이블 및 보상된 벡터 맵 C(k-1)의 평균을 현재 프레임에 대한 확률 벡터 맵 P(k)로 결정할 수 있다. 레이블링된 그룹 G(k)에서 각 영역에 할당된 벡터는, 복수의 레이블들 중 한 레이블에 대한 확률이 최대값 1이고, 나머지 레이블에 대한 확률이 0으로 설정된 벡터일 수 있다. 예를 들어, 보상된 벡터 맵 C(k-1)의 한 영역에 할당된 벡터가 [0.5, 0.4, 0.1]이고, 레이블링된 그룹 G(k)에서 해당 영역에 할당된 벡터가 [1, 0, 0]인 경우, 현재 프레임에 대한 확률 벡터 맵 P(k)에서 해당 영역에 대해 산출되는 벡터는 [0.75, 0.2, 0.05]일 수 있다. 다만, 이는 설명의 편의를 위한 예시로서, 이로 한정하는 것은 아니다.
자체 운동 추정 장치는 매 프레임마다 상술한 동작을 반복함으로써 확률 벡터 맵 P(k)를 계속적으로 업데이트할 수 있다.
도 10은 일 실시예에 따른 자체 운동 추정 장치(1000)의 구성을 설명하는 블록도이다.
자체 운동 추정 장치(1000)는 이미지 센서(1010) 및 프로세서(1020)를 포함한다.
이미지 센서(1010)는 입력 이미지를 획득할 수 있다. 이미지 센서(1010)는 컬러 센서 및 깊이 센서 등을 포함할 수 있다. 이미지 센서(1010)는 입력 이미지로서 채널 이미지 및 깊이 이미지를 획득할 수 있다.
프로세서(1020)는 입력 이미지를 복수의 영역들로 구분할 수 있다. 예를 들어, 프로세서(1020)는 입력 이미지를 그리드 패턴에 기초하여 복수의 영역들로 분할할 수 있다. 프로세서(1020)는 입력 이미지에 포함된 복수의 픽셀들 중 하나 이상의 픽셀을 포함하도록 복수의 영역들을 형성할 수 있다.
프로세서(1020)는 복수의 영역들의 각각에 대한 장면 플로우를 지시하는 장면 플로우 필드를 생성할 수 있다. 예를 들어, 프로세서(1020)는 3차원 움직임을 지시하는 장면 플로우에 대한 장면 플로우 필드를 생성할 수 있다.
프로세서(1020)는 장면 플로우 필드에 기초하여, 복수의 영역들을 복수의 그룹들로 클러스터링할 수 있다. 프로세서(1020)는 복수의 그룹들에 기초하여, 복수의 영역들의 레이블에 대한 확률 벡터 맵을 생성할 수 있다. 프로세서(1020)는 생성된 확률 벡터 맵에 기초하여, 장치의 자체 운동 정보를 추정할 수 있다.
일 실시예에 따른 자체 운동 추정 장치(1000)는 동적 환경에 강인한 모션 분류 기반의 실시간 영상 기반 주행 기록계로 구현될 수 있다. 또한, 자체 운동 추정 장치(1000)는 무인 항공기 드론의 실시간 위치 추정 및 제어 기술에 직접적으로 적용될 수 있다. 더 나아가 자체 운동 추정 장치(1000)는 보행자나 차량 등 동적 물체가 있는 환경에서 자기 자신의 위치를 강인하게 추정할 수 있다. 아울러, 자체 운동 추정 장치(1000)는 실내 무인화 기술의 핵심인 영상 기반 항법에서의 한계점을 개선하는 방법으로써 무인 우주 탐사 로봇, 비행체, 차량 등에 적용될 수 있다. 자체 운동 추정 장치(1000)는 카메라 센서만을 이용하여 플랫폼에 제약 없이 적용될 수 있다.
일 실시예에 따른 자체 운동 추정 장치(1000)는 복수의 객체를 구별할 수 있고, 이동 객체에 대한 제약(constraint)가 없으며, 사전 정보(prior information) 없이도, 정적인 배경으로부터 이동 객체를 분리할 수 있다. 더 나아가, 자체 운동 추정 장치(1000)는 연산 부하(computational load)가 적을 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
1000: 자체 운동 추정 장치
1010: 이미지 센서
1020: 프로세서

Claims (20)

  1. 자체 운동 추정 방법에 있어서,
    복수의 영역들(spaces)로 구분되는 입력 이미지에 대하여, 상기 복수의 영역들의 각각에 대한 장면 플로우를 지시하는 장면 플로우 필드를 생성하는 단계;
    상기 장면 플로우 필드에 기초하여, 상기 복수의 영역들을 복수의 그룹들로 클러스터링하는 단계;
    상기 복수의 그룹들에 기초하여, 상기 복수의 영역들의 레이블에 대한 확률 벡터 맵을 생성하는 단계; 및
    상기 생성된 확률 벡터 맵에 기초하여, 장치의 자체 운동 정보를 추정하는 단계
    를 포함하는 자체 운동 추정 방법.
  2. 제1항에 있어서,
    상기 장면 플로우 필드를 생성하는 단계는,
    상기 복수의 영역들의 각각에 대하여 2차원 움직임을 지시하는 모션 벡터 및 깊이 방향 움직임을 지시하는 깊이 벡터를 산출하는 단계; 및
    상기 모션 벡터 및 상기 깊이 벡터에 기초하여 장면 플로우를 산출하는 단계
    를 포함하는 자체 운동 추정 방법.
  3. 제1항에 있어서,
    상기 클러스터링하는 단계는,
    상기 복수의 영역들 중 유사한 장면 플로우를 나타내는 영역들로 상기 복수의 그룹들의 각 그룹을 형성하는 단계
    를 포함하는 자체 운동 추정 방법.
  4. 제3항에 있어서,
    상기 각 그룹을 형성하는 단계는,
    각 그룹 내에 속하는 각 영역의 장면 플로우 간 차이가 임계 차이 미만이 되도록, 상기 복수의 영역들을 상기 복수의 그룹들 중 한 그룹으로 결정하는 단계
    를 포함하는 자체 운동 추정 방법.
  5. 제1항에 있어서,
    상기 클러스터링하는 단계는,
    상기 복수의 영역들 중 미리 정한 개수의 영역들을 무작위로 선택하는 단계;
    상기 무작위로 선택된 영역들의 각각에 대한 장면 플로우가 서로 유사한 경우에 응답하여, 상기 무작위로 선택된 영역들을 기준 영역으로 지정하는 단계;
    상기 기준 영역에 기초하여, 상기 복수의 영역들을 복수의 그룹들로 분류하는 단계
    를 포함하는 자체 운동 추정 방법.
  6. 제5항에 있어서,
    상기 클러스터링하는 단계는,
    상기 무작위로 선택된 영역들의 각각에 대한 장면 플로우가 서로 비유사한 경우에 응답하여, 상기 복수의 영역들 중 미리 정한 개수의 영역들을 다시 무작위로 선택하는 단계
    를 더 포함하는 자체 운동 추정 방법.
  7. 제5항에 있어서,
    상기 복수의 그룹들로 분류하는 단계는,
    상기 기준 영역의 주변 영역 중 상기 기준 영역의 대표 장면 플로우(representative scene flow)와 유사한 장면 플로우를 가지는 영역을 상기 기준 영역과 동일한 그룹으로 결정하는 단계
    를 포함하는 자체 운동 추정 방법.
  8. 제7항에 있어서,
    상기 기준 영역과 동일한 그룹으로 결정하는 단계는,
    상기 주변 영역 중 상기 대표 장면 플로우 간의 벡터 차이가 임계 차이 미만인 장면 플로우를 가지는 영역을 상기 기준 영역과 동일한 그룹에 추가하는 단계
    를 포함하는 자체 운동 추정 방법.
  9. 제1항에 있어서,
    상기 클러스터링하는 단계는,
    상기 복수의 영역들이 클러스터링된 각 그룹에 대하여 레이블을 매칭시키는 단계
    를 포함하는 자체 운동 추정 방법.
  10. 제1항에 있어서,
    상기 자체 운동 정보를 추정하는 단계는,
    상기 확률 벡터 맵에 기초하여 정적 배경을 식별하는 단계; 및
    상기 식별된 정적 배경에 기초하여 상기 자체 운동 정보를 산출하는 단계
    를 포함하는 자체 운동 추정 방법.
  11. 제10항에 있어서,
    상기 정적 배경을 식별하는 단계는,
    상기 확률 벡터 맵으로부터 가장 높은 확률을 지시하는 레이블에 기초하여, 상기 복수의 영역들 중 정적 배경을 식별하는 단계
    를 포함하는 자체 운동 추정 방법.
  12. 제1항에 있어서,
    상기 확률 벡터 맵을 생성하는 단계는,
    상기 복수의 영역들이 클러스터링된 결과 및 이전 프레임의 확률 벡터 맵에 기초하여, 현재 프레임에 대한 확률 벡터 맵을 산출하는 단계
    를 포함하는 자체 운동 추정 방법.
  13. 제12항에 있어서,
    상기 현재 프레임에 대한 확률 벡터 맵을 산출하는 단계는,
    이전 프레임으로부터 현재 프레임까지의 각 영역의 이동을 지시하는 변환 벡터 맵에 기초하여, 상기 이전 프레임의 확률 벡터 맵을 보상함으로써 보상된 벡터 맵을 생성하는 단계; 및
    상기 보상된 벡터 맵 및 상기 복수의 영역들이 클러스터링된 결과에 기초하여, 상기 현재 프레임에 대한 확률 벡터 맵을 산출하는 단계
    를 포함하는 자체 운동 추정 방법.
  14. 제13항에 있어서,
    상기 보상된 벡터 맵을 생성하는 단계는,
    이전 프레임에 대해 산출된 장면 플로우를 상기 변환 벡터 맵으로 결정하는 단계
    를 포함하는 자체 운동 추정 방법.
  15. 제1항에 있어서,
    상기 입력 이미지로서 채널 이미지 및 깊이 이미지를 획득하는 단계
    를 더 포함하고,
    상기 장면 플로우 필드를 생성하는 단계는,
    3차원 장면 플로우를 지시하는 장면 플로우 필드를 생성하는 단계
    를 포함하는 자체 운동 추정 방법.
  16. 제1항에 있어서,
    상기 입력 이미지를 그리드 패턴에 기초하여 상기 복수의 영역들로 분할하는 단계
    를 더 포함하는 자체 운동 추정 방법.
  17. 제1항에 있어서,
    상기 입력 이미지에 포함된 복수의 픽셀들 중 하나 이상의 픽셀을 포함하도록 상기 복수의 영역들을 형성하는 단계
    를 더 포함하는 자체 운동 추정 방법.
  18. 제1항에 있어서,
    상기 장치가 정지한 동안 획득되는 초기 이미지에서, 정적인 영역(stationary space)에 대해 정적 배경에 대응하는 레이블을 매칭시키는 단계
    를 더 포함하는 자체 운동 추정 방법.
  19. 제1항 내지 제18항 중 어느 한 항의 방법을 수행하기 위한 명령어를 저장하는 하나 이상의 프로그램을 저장한 컴퓨터 판독 가능 기록매체.
  20. 자체 운동 추정 장치에 있어서,
    입력 이미지를 획득하는 이미지 센서; 및
    상기 입력 이미지를 복수의 영역들로 구분하고, 상기 복수의 영역들의 각각에 대한 장면 플로우를 지시하는 장면 플로우 필드를 생성하며, 상기 장면 플로우 필드에 기초하여, 상기 복수의 영역들을 복수의 그룹들로 클러스터링하고, 상기 복수의 그룹들에 기초하여, 상기 복수의 영역들의 레이블에 대한 확률 벡터 맵을 생성하며, 상기 생성된 확률 벡터 맵에 기초하여, 장치의 자체 운동 정보를 추정하는 프로세서
    를 포함하는 자체 운동 추정 장치.
KR1020180091944A 2018-08-07 2018-08-07 자체 운동 추정 방법 및 장치 KR20200016627A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180091944A KR20200016627A (ko) 2018-08-07 2018-08-07 자체 운동 추정 방법 및 장치
US16/238,068 US11037306B2 (en) 2018-08-07 2019-01-02 Ego motion estimation method and apparatus
EP19164881.5A EP3608874B1 (en) 2018-08-07 2019-03-25 Ego motion estimation method and apparatus
CN201910256447.8A CN110827328B (zh) 2018-08-07 2019-03-29 自我运动估计方法和装置
JP2019077035A JP7290271B2 (ja) 2018-08-07 2019-04-15 自体運動推定方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180091944A KR20200016627A (ko) 2018-08-07 2018-08-07 자체 운동 추정 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20200016627A true KR20200016627A (ko) 2020-02-17

Family

ID=65911075

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180091944A KR20200016627A (ko) 2018-08-07 2018-08-07 자체 운동 추정 방법 및 장치

Country Status (5)

Country Link
US (1) US11037306B2 (ko)
EP (1) EP3608874B1 (ko)
JP (1) JP7290271B2 (ko)
KR (1) KR20200016627A (ko)
CN (1) CN110827328B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112203095B (zh) * 2020-12-04 2021-03-09 腾讯科技（深圳）有限公司 视频运动估计方法、装置、设备及计算机可读存储介质
US20210110552A1 (en) * 2020-12-21 2021-04-15 Intel Corporation Methods and apparatus to improve driver-assistance vision systems using object detection based on motion vectors
CN116805046B (zh) * 2023-08-18 2023-12-01 武汉纺织大学 一种基于文本标签生成3d人体动作的方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2870415B2 (ja) * 1994-08-22 1999-03-17 日本電気株式会社 領域分割方法および装置
CA2392652A1 (en) * 1999-11-26 2001-05-31 Amnon Shashua System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion
US6704621B1 (en) * 1999-11-26 2004-03-09 Gideon P. Stein System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion
JP2006134035A (ja) * 2004-11-05 2006-05-25 Fuji Heavy Ind Ltd 移動物体検出装置および移動物体検出方法
US20110205438A1 (en) * 2007-09-10 2011-08-25 Trident Microsystems (Far East) Ltd. Method and apparatus for motion estimation and motion compensation in video image data
US8213706B2 (en) 2008-04-22 2012-07-03 Honeywell International Inc. Method and system for real-time visual odometry
JP2011035636A (ja) * 2009-07-31 2011-02-17 Casio Computer Co Ltd 画像処理装置及び方法
US8494225B2 (en) * 2010-02-19 2013-07-23 Julian L. Center Navigation method and aparatus
WO2012061549A2 (en) * 2010-11-03 2012-05-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
TWI483612B (zh) * 2011-12-22 2015-05-01 Nat Univ Chung Cheng Converting the video plane is a perspective view of the video system
EP2851870B1 (en) * 2013-09-20 2019-01-23 Application Solutions (Electronics and Vision) Limited Method for estimating ego motion of an object
KR20150079098A (ko) 2013-12-31 2015-07-08 한국과학기술원 강인한 시각 주행거리 측정을 위한 시공간적 3차원 벡터 필터링 기법
US10719727B2 (en) * 2014-10-01 2020-07-21 Apple Inc. Method and system for determining at least one property related to at least part of a real environment
CN105100771A (zh) * 2015-07-14 2015-11-25 山东大学 一种基于场景分类和几何标注的单视点视频深度获取方法
US9922244B2 (en) * 2015-09-03 2018-03-20 Gestigon Gmbh Fast and robust identification of extremities of an object within a scene
KR102153607B1 (ko) * 2016-01-22 2020-09-08 삼성전자주식회사 영상에서의 전경 검출 장치 및 방법
JP6591349B2 (ja) 2016-06-07 2019-10-16 リズム時計工業株式会社 動体検知システム及び動体検知方法
IT201600094858A1 (it) * 2016-09-21 2018-03-21 St Microelectronics Srl Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo
EP3388972B1 (en) * 2017-04-13 2020-08-26 Aptiv Technologies Limited A method and a device for generating an occupancy map of an environment of a vehicle
CN107341815B (zh) * 2017-06-01 2020-10-16 哈尔滨工程大学 基于多目立体视觉场景流的剧烈运动检测方法
US10408638B2 (en) * 2018-01-04 2019-09-10 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling a vehicle under sensor uncertainty

Also Published As

Publication number Publication date
CN110827328A (zh) 2020-02-21
JP7290271B2 (ja) 2023-06-13
JP2020024667A (ja) 2020-02-13
CN110827328B (zh) 2024-08-30
EP3608874A1 (en) 2020-02-12
US20200051253A1 (en) 2020-02-13
EP3608874B1 (en) 2021-06-09
US11037306B2 (en) 2021-06-15

Similar Documents

Publication Publication Date Title
US11386567B2 (en) Systems and methods for weakly supervised training of a model for monocular depth estimation
CN111024040B (zh) 距离估计方法和设备
KR102472767B1 (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
US11436743B2 (en) Systems and methods for semi-supervised depth estimation according to an arbitrary camera
US20190050994A1 (en) Control method, non-transitory computer-readable storage medium, and control apparatus
Dey et al. Vision and learning for deliberative monocular cluttered flight
Scherer et al. Efficient onbard RGBD-SLAM for autonomous MAVs
KR20200075727A (ko) 깊이 맵 산출 방법 및 장치
KR20150144729A (ko) 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
RU2621826C1 (ru) Устройство вычисления собственного положения и способ вычисления собственного положения
JP2023530762A (ja) ３ｄバウンディングボックスからの単眼深度管理
KR102646152B1 (ko) 깊이 및 모션 추정을 위한 자기 지도 어텐션 학습 시스템, 이를 포함하는 차량 및 자기 지도 어텐션 학습 방법
CN111086521A (zh) 校准方法、校准装置以及非暂时性计算机记录媒体
JP2014137815A (ja) 歪みのあるカメラ画像を補正するシステム及び方法
JP7133927B2 (ja) 情報処理装置及びその制御方法及びプログラム
JP7138361B2 (ja) ３次元仮想空間モデルを利用したユーザポーズ推定方法および装置
KR20200016627A (ko) 자체 운동 추정 방법 및 장치
KR20220043847A (ko) 객체 포즈 추정 방법, 장치, 전자 장치 및 저장 매체
US11652972B2 (en) Systems and methods for self-supervised depth estimation according to an arbitrary camera
KR20180059188A (ko) 딥 러닝을 이용한 동적 장애물이 없는 배경 위주의 3차원 지도 생성 방법
Angelov et al. AURORA: autonomous real-time on-board video analytics
Fanani et al. Keypoint trajectory estimation using propagation based tracking
Abdulov et al. Visual odometry approaches to autonomous navigation for multicopter model in virtual indoor environment
Ling et al. Scale-flow: Estimating 3d motion from video
US11417012B2 (en) Estimation of position coordinates of light sources in images of the surrounding environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right