KR102456083B1 - 영상기반 주행 속도 및 방향 추론 장치 및 이를 이용한 영상기반 주행 속도 및 방향 추론 방법 - Google Patents

영상기반 주행 속도 및 방향 추론 장치 및 이를 이용한 영상기반 주행 속도 및 방향 추론 방법 Download PDF

Info

Publication number
KR102456083B1
KR102456083B1 KR1020220048509A KR20220048509A KR102456083B1 KR 102456083 B1 KR102456083 B1 KR 102456083B1 KR 1020220048509 A KR1020220048509 A KR 1020220048509A KR 20220048509 A KR20220048509 A KR 20220048509A KR 102456083 B1 KR102456083 B1 KR 102456083B1
Authority
KR
South Korea
Prior art keywords
image
data
speed
inference
inference module
Prior art date
Application number
KR1020220048509A
Other languages
English (en)
Inventor
김병학
원홍인
이준하
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020220048509A priority Critical patent/KR102456083B1/ko
Application granted granted Critical
Publication of KR102456083B1 publication Critical patent/KR102456083B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G01P13/02—Indicating direction only, e.g. by weather vane
    • G01P13/04—Indicating positive or negative direction of a linear movement or clockwise or anti-clockwise direction of a rotational movement
    • G01P13/045—Indicating positive or negative direction of a linear movement or clockwise or anti-clockwise direction of a rotational movement with speed indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P21/00—Testing or calibrating of apparatus or devices covered by the preceding groups
    • G01P21/02—Testing or calibrating of apparatus or devices covered by the preceding groups of speedometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Power Engineering (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시 예는 기존의 시뮬레이션 배경영상 활용 부분을 실제 주행영상을 활용 할 수 있도록 카메라 시점의 이동속도 및 이동방향 소실점을 추론할 수 있는 기술을 제공한다. 본 발명의 실시 예에 따른 영상기반 주행 속도 및 방향 추론 장치는, 소정의 지형지물을 포함하는 영상이미지에서 패치이미지를 분해하며, 패치이미지에 대해 영상 분석 및 색상 분석을 수행한 후 생성된 실시간 주기 분석 데이터를 이용하여 추적 벡터 데이터를 생성하며, 추적 벡터 데이터를 이용하여 속도 데이터를 도출하는 속도추론모듈; 및 영상이미지를 이용한 학습을 수행하여 영상의 영상이미지에서 소실점 좌표를 도출하여 소실점 좌표의 변화를 추론하는 방향추론모듈을 포함한다.

Description

영상기반 주행 속도 및 방향 추론 장치 및 이를 이용한 영상기반 주행 속도 및 방향 추론 방법 {AN APPARATUS FOR RIDING VELOCITY AND DIRECTION ESTIMATION BASED ON IMAGE SEQUENCES AND A METHOD FOR RIDING VELOCITY AND DIRECTION ESTIMATION USING THE SAME}
본 발명은 영상기반 주행 속도 및 방향 추론 장치 및 이를 이용한 영상기반 주행 속도 및 방향 추론 방법에 관한 것으로, 더욱 상세하게는, 기존의 배경영상을 실제 또는 시뮬레이션 주행영상으로 활용할 수 있도록 카메라 시점의 이동속도 및 이동방향 소실점을 추론할 수 있는 기술에 관한 것이다.
게임 및 시뮬레이션 분야를 포함하여 자율주행 이동체 관련 기술발전에 따라 영상의 분석을 통한 이동 상황의 데이터 분석/추론/인식 관련 기술이 급속히 발전되고 있으며, 특히 최근의 게임 분야는 시뮬레이션 환경을 실제 촬영된 영상과 흡사한 수준으로 랜더링하는 기술을 활용하는 등 실감형 서비스 적용 요구도가 매우 높다.
실제 촬영된 연속 영상(비디오)의 속도를 계산하기 위한 기존의 대표적인 기술은 광류(OF, optical flow)를 이용하는 방법이 많이 활용되고 있다. 그러나 영상의 광류 검출 결과는 영상의 부분적 유사도 또는 흐림현상(blur) 등의 요인에 따라서 외곡된 광류 데이터가 다수 포함되므로, 안정적인 광류의 검출을 위한 특징점 검출 방법의 다양화와 광류 벡터의 정제 기법에 많은 한계점이 존재한다.
최근 인공지능 기술의 발전으로 다중 도메인의 센서 데이터를 활용하여 자율주행 영상데이터 등의 광류를 추론하는 모델(RAFT, Recurrent All-Pairs Field Transforms)이 연구되고 있다. 해당 방법은 특징점 검출 및 광류 계산 과정을 생략할 수 있지만, 영상 데이터를 포함한 스테레오 비전 또는 거리측정 센서 데이터가 추가적으로 요구되며, 검출되는 광류 데이터의 균일도가 낮다.
이동 영상의 소실점과 도로의 주행방향을 추론하기 위한 대표적인 기술에도 광류가 사용되며, 광류 벡터의 검출 크기가 작은 지점을 소실점으로 판단하는 원리가 적용된다. 그러나, 해당 기술은 이상적인 직진 이동 조건에서 유리하나 카메라 시선의 이동 및 굴곡형 주행 환경에서는 한계가 존재한다.
또한, 도로의 차선 또는 도로의 경계선을 검출하여 수렴점을 소실점으로 추론하는 기술이 연구되고 있는데, 이러한 방법은 차선이 존재하지 않는 일반적 이동 도로에서 기술적 한계가 존재한다.
대한민국 공개특허 제10-2017-0075444호(발명의 명칭: 영상 처리 장치 및 영상 처리 방법)에서는, 카메라를 탑재한 비행체로부터 영상 및 위치 정보를 획득하는 영상획득부; 제1 범위 내에서 가변하는 문턱 값을 적용하여 영상으로부터 적어도 하나의 후보 영역을 검출하고, 상기 후보 영역의 특징 정보를 기초로 객체를 검출하는 검출부; 적어도 하나의 이전 영상에서 검출된 객체의 정보를 기초로 영상에서 검출된 객체의 위치를 보정하는 추적부; 및 상기 위치 정보를 기초로 상기 비행체에 대한 상기 객체의 위치를 추정하는 추정부;를 포함하는 영상 처리 장치가 개시되어 있다.
대한민국 공개특허 제10-2017-0075444호
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 기존의 배경영상을 실제 또는 시뮬레이션 주행영상으로 활용할 수 있도록 카메라 시점의 이동속도 및 이동방향 소실점을 추론할 수 있도록 하는 것이다.
그리고, 본 발명의 목적은, 이동 방향의 소실점 패치 영상의 대량화 및 인공지능 사전 학습 모델을 구성하여 입력되는 연속 영상에서 소실점 좌표와 주행방향을 탐지 분류하도록 하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은, 소정의 지형지물을 포함하는 영상이미지에서 패치이미지를 분해하며, 상기 패치이미지에 대해 영상 분석 및 색상 분석을 수행한 후 생성된 실시간 주기 분석 데이터를 이용하여 추적 벡터 데이터를 생성하며, 상기 추적 벡터 데이터를 이용하여 속도 데이터를 도출하는 속도추론모듈; 및 상기 영상이미지를 이용한 학습을 수행하여 영상의 영상이미지에서 소실점 좌표를 도출하여 상기 소실점 좌표의 변화를 추론하는 방향추론모듈을 포함하고, 영상을 이용하여 이동 속도 및 방향을 추론하는 것을 특징으로 한다.
본 발명의 실시 예에 있어서, 상기 속도추론모듈은, 영상 분석을 위하여, 상기 패치이미지 데이터를 이용하여 HoG(Histogram of Gradient) 알고리즘을 수행하는 영상분석부를 포함할 수 있다.
본 발명의 실시 예에 있어서, 상기 속도추론모듈은, 색상 분석을 위하여, 상기 패치이미지 데이터를 이용하여 색상 히스토그램(Color Histogram)을 생성하는 색상분석부를 더 포함할 수 있다.
본 발명의 실시 예에 있어서, 상기 영상분석부는, HoG 알고리즘에 의한 데이터를 이용하여 DCF 학습을 수행함으로써 DCF 응답 데이터를 생성할 수 있다.
본 발명의 실시 예에 있어서, 상기 색상분석부는, 색상 히스토그램의 데이터를 이용하여 누적 연산을 수행할 수 있다.
본 발명의 실시 예에 있어서, 상기 속도추론모듈은, 상기 속도추론모듈의 영상 분석에 의한 데이터와 색상 분석에 의한 데이터를 산술평균으로 합산하여 융합 응답 맵 데이터를 생성하는 융합연산부를 포함할 수 있다.
본 발명의 실시 예에 있어서, 상기 융합연산부는, 상기 융합 응답 맵 데이터에서 임계치 P값을 도출하며, 연속되는 순차 영상(Pt+1)의 기준 좌표로 갱신할 수 있다.
본 발명의 실시 예에 있어서, 상기 속도추론모듈은, 상기 융합연산부로부터 데이터를 전달받고 상기 추적 벡터 데이터를 도출하는 추적벡터도출부를 더 포함할 수 있다.
본 발명의 실시 예에 있어서, 상기 속도추론모듈은, 상기 추적 벡터 데이터의 추적 벡터 값에 대한 이상치 및 영 벡터 보상을 수행하는 보상부를 포함할 수 있다.
본 발명의 실시 예에 있어서, 상기 속도추론모듈은, 상기 보상부에 의한 데이터에 대한 스케일 보정 후 속도 연산을 수행하여 상기 속도 데이터를 도출하는 속도연산부를 더 포함할 수 있다.
본 발명의 실시 예에 있어서, 상기 방향추론모듈은, 복수의 학습용 이미지로 이루어진 학습용 데이터를 이용하여 학습을 수행하고, 외부로부터 전달받은 영상이미지에서 소실점 좌표를 도출하여 상기 소실점 좌표의 이동을 추론하는 방향탐지부를 포함할 수 있다.
본 발명의 실시 예에 있어서, 상기 방향추론모듈은, 복수의 학습용 이미지가 포함된 학습용 데이터를 저장하는 학습데이터취합부를 더 포함할 수 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 구성은, 상기 패치이미지가 상기 영상분석부와 상기 색상분석부로 전달되고, 상기 영상이미지가 상기 방향추론모듈로 전달되는 제1단계; 상기 속도추론모듈에서, 상기 패치이미지에 대해 영상 분석 및 색상 분석을 수행한 후 생성된 실시간 주기 분석 데이터를 이용하여 추적 벡터 데이터를 생성하며, 상기 추적 벡터 데이터를 이용하여 속도 데이터를 도출하는 제2단계; 상기 방향추론모듈에서, 상기 영상이미지에서 소실점 좌표를 도출하여 상기 소실점 좌표의 변화를 추론함으로써 방향 데이터를 도출하는 제3단계; 및 상기 속도 데이터와 상기 방향 데이터를 이용하여 주행 속도 및 방향을 추론하는 제4단계를 포함한다.
상기와 같은 구성에 따른 본 발명의 효과는, 타코미터, GPS, LiDAR 공간 정보 획득에 의한 데이터, 또는, 기타 센서에 의해 획득된 속도, 방향 데이터를 입력 데이터로 이용하지 않으면서, 속도/방향 정보가 없는 영상데이터에 속도/방향을 부여함으로써, 획득된 2차원 주행영상 데이터로부터 속도/방향을 추론할 수 있다는 것이다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시 예에 따른 추론 장치의 구성에 대한 개략도이다.
도 2와 도 3은 본 발명의 일 실시 예에 따른 속도추론모듈의 구성에 대한 개략도이다.
도 4와 도 5는 본 발명의 일 실시 예에 따른 방향추론모듈의 구성에 대한 개략도이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시 예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명에 대하여 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 추론 장치의 구성에 대한 개략도이다. 또한, 도 2와 도 3은 본 발명의 일 실시 예에 따른 속도추론모듈의 구성에 대한 개략도이다. 그리고, 도 4와 도 5는 본 발명의 일 실시 예에 따른 방향추론모듈의 구성에 대한 개략도이다.
도 1 내지 도 5에서 보는 바와 같이, 본 발명의 추론 장치는, 소정의 지형지물을 포함하는 영상이미지에서 획득된 패치이미지에 대해 영상 분석 및 색상 분석을 수행한 후 생성된 실시간 주기 분석 데이터를 이용하여 추적 벡터 데이터를 생성하며, 추적 벡터 데이터를 이용하여 속도 데이터를 도출하는 속도추론모듈; 및 상기 영상이미지를 이용한 학습을 수행하여 영상의 영상이미지에서 소실점 좌표를 도출하여 소실점 좌표의 이동을 추론하는 방향추론모듈을 포함한다.
여기서, 실시간 주기 분석 데이터는 하기와 같이 연속되는 순차 영상의 기준좌표 갱신 과정이 주기 f로 반복 수행 시 생성되는 데이터로써, 이에 대해서는 하기에 상세히 설명하기로 한다.
상기와 같은 본 발명의 추론 장치에 의해, 영상을 이용하여 이동 속도 및 방향을 추론할 수 있으며, 이에 따라, 이동 영상의 카메라 시점 속도 추론을 위한 기존의 광류 분석 기술의 한계 사항 및 주행 환경의 소실점 좌표 및 도로의 주행방향 추론을 위한 기존의 한계 사항을 극복할 수 있다.
구체적으로, 소정의 배경영상의 패치 분석 및 실시간 학습 방법을 활용하여 광류 왜곡 및 균질도 저하 등을 감소시켜 속도를 추론할 수 있고, 도로의 주행환경의 소실점 및 패치 영상(이미지) 사전학습 모델을 이용하여 주행 도로의 소실점 영역 및 방향을 추론할 수 있다.
상기와 같은 영상이미지는 카메라, 비전 센서 등을 이용하여 획득되어 속도추론모듈로 전달되거나, 또는, 외부의 저장 장치에 저장되어 있던 이미지로써 영상이미지가 속도추론모듈로 전달될 수 있다.
속도추론모듈은, 전달된 영상이미지를 분해하여 패치이미지를 생성시키는 이미지분해부를 포함할 수 있다. 그리고, 이미지분해부는, 연속 영상 데이터(Input Data)의 주행 도로 영역의 패치이미지(Patch Image)를 분해하며, 이와 같은 패치이미지를 하기된 영상분석부(110) 및 색상분석부(120)로 전달할 수 있다.
상기와, 본 발명의 추론 장치에서는, 직접 촬영 등을 수행하지 않고도 외부로부터 영상이미지를 전달받아 해당 영상이미지를 분석함으로써 이동(주행) 속도 및 방향을 추론할 수 있는 것이다.
구체적으로, 타코미터, GPS, LiDAR 공간 정보 획득에 의한 데이터, 또는, 기타 센서에 의해 획득된 속도, 방향 데이터를 입력 데이터로 이용하지 않으면서, 속도/방향 정보가 없는 영상데이터에 속도/방향을 부여함으로써, 획득된 2차원 주행영상 데이터로부터 속도/방향을 추론하는 것이다.
이에 따라, 복수 개의 센서를 사용하지 않고 영상이미지만을 분석하여 이동(주행) 속도 및 방향을 추론하는 기능을 이용할 수 있을 뿐만 아니라, 주행하는 장치에서 획득된 영상이미지의 분석을 통해 주행하는 장치에 설치된 다양한 센서를 이용하여 측정된 속도 및 방향 값에 대한 검증을 수행할 수도 있다.
속도추론모듈에서는, 영상이미지에 의한 연속 영상 정보를 이용하여 배경 영상 실시간 학습을 위한 단위 패치 영상의 움직임을 분석하는 방법을 이용함으로써 카메라 시점의 이동 속도를 추론할 수 있다. 이하, 이에 대하여 상세히 설명하기로 한다.
속도추론모듈은, 영상 분석을 위하여, 패치이미지 데이터를 이용하여 HoG(Histogram of Gradient) 알고리즘을 수행하는 영상분석부(110)를 포함할 수 있다. 그리고, 영상분석부(110)는, HoG 알고리즘에 의한 데이터를 이용하여 DCF(Discriminative Correlation Filter) 학습을 수행함으로써 DCF 응답 데이터(DCF Response data)를 생성할 수 있다.
도 1과 도 2에서 보는 바와 같이, 영상분석부(110)는 패치이미지를 전달받아 패치이미지를 이용하여 HoG 알고리즘을 수행할 수 있다. 이에 따라, 영상분석부(110)에서는, 패치이미지 내 픽셀마다 edge 픽셀(gradient magnitude가 일정 값 이상인 픽셀)들의 방향에 대한 히스토그램을 구한 후 이들 히스토그램 bin 값들을 일렬로 연결한 벡터에 대한 데이터인 HoG데이터를 생성할 수 있다. HoG 알고리즘은 종래기술로써, 상세한 설명은 생략하기로 한다.
또한, 영상분석부(110)는, 상기와 같이 형성된 HoG데이터를 이용하여 DCF 학습을 수행할 수 있다. 여기서, 상관필터로써 차별상관필터 DCF(Discriminative Correlation Filter)를 이용한 DCF 학습은 실시간 학습(Real-time Learning)으로 수행될 수 있으며, 이에 따라, 상관필터를 이용한 객체 추적이 수행되어 DCF 응답을 도출할 수 있다. 그리고, DCF 응답을 계산하기 위한 수학식은 하기된 [수학식 1]과 같다.
[수학식 1]
Figure 112022042048310-pat00001
여기서,
Figure 112022042048310-pat00002
는 주기적인 응답치로써 DCF 응답 값이고,
Figure 112022042048310-pat00003
는 실시간 학습 필터이며,
Figure 112022042048310-pat00004
는 입력된 패치이미지 특징의 각 구성요소에 대한 MxN 크기의 상수행렬로써, DFT(Discrete Fourier Transform)행렬일 수 있다. 그리고,
Figure 112022042048310-pat00005
는 엘리먼트-와이즈(element-wise) 곱으로써 상관관계 연산자를 나타내며, f는 소정의 주기를 나타낸다.
또한, 상기된 [수학식 1]에서의 실시간 학습 필터(
Figure 112022042048310-pat00006
)는 하기된 [수학식 2]에 의해 도출될 수 있다.
[수학식 2]
Figure 112022042048310-pat00007
여기서, t는 연속 영상의 순서를 나타내고,
Figure 112022042048310-pat00008
는 복소공액의 행렬 연산자를 나타낸다.
그리고, 실시간 학습 필터(
Figure 112022042048310-pat00009
)의 학습을 위한 갱신은 하기된 [수학식 3], [수학식 4] 및 [수학식 5]의 과정으로 수행될 수 있다.
[수학식 3]
Figure 112022042048310-pat00010
[수학식 4]
Figure 112022042048310-pat00011
[수학식 5]
Figure 112022042048310-pat00012
여기서,
Figure 112022042048310-pat00013
는 학습률(learning rate)을 나타낸다.
속도추론모듈은, 색상 분석을 위하여, 패치이미지 데이터를 이용하여 색상 히스토그램(Color Histogram)을 생성하는 색상분석부(120)를 더 포함할 수 있다. 그리고, 색상분석부(120)는, 색상 히스토그램의 데이터를 이용하여 누적 연산을 수행할 수 있다.
여기서, 색상분석부(120)에는 Metlab, OpenCV, 파이썬 등의 프로그램이 구비되며, 색상분석부(120)에서는 영상이미지에 의한 컬러 영상의 픽셀에서 색상이나 명암의 분포를 파악하여 색상 히스토그램의 데이터를 생성할 수 있다. 그리고, 색상분석부(120)에서는, 색상 히스토그램의 데이터에 대한 누적 연산을 수행하여 히스토그램 응답(Histogram Response)를 도출할 수 있다.
상기와 같은 프로그램들을 이용하여 누적 연산 색상 히스토그램에 대한 연산을 수행하는 사항은 종래기술로써, 나머지 상세한 사항은 생략하기로 한다.
속도추론모듈은, 속도추론모듈의 영상 분석에 의한 데이터와 색상 분석에 의한 데이터를 산술평균으로 합산하여 융합 응답(Merged Response) 맵 데이터를 생성하는 융합연산부(130)를 더 포함할 수 있다. 그리고, 융합연산부(130)는, 상기 융합 응답 맵 데이터에서 임계치 P값을 도출하며, 연속되는 순차 영상(Pt+1)의 기준 좌표로 갱신할 수 있다.
융합연산부(130)는, 영상분석부(110)로부터 DCF 응답 데이터를 전달받고 색상분석부(120)로부터는 히스토그램 응답 데이터를 전달받을 수 있다. 그리고, 융합연산부(130)에서는 DCF 응답 데이터와 히스토그램 응답 데이터 각각에서의 동일 패치이미지와 관련된 수치 값들을 산술평균으로 합산할 수 있다.
이에 따라, 융합연산부(130)는 융합 응답(Merged Response)을 도출하여 융합 응답 맵 데이터를 생성할 수 있다. 그리고, 융합연산부(130)에서, 융합 응답 맵의 결과는 이동 벡터의 산출을 위한 기본데이터로 임계치 P값을 도출하며, 연속되는 순차 영상(Pt+1)의 기준 좌표로 갱신될 수 있다.
상기와 같은 연속되는 순차 영상(Pt+1)의 기준좌표 갱신 과정은 주기 f로 반복 수행될 수 있으며, 추적벡터도출부(140)는 융합연산부(130)로부터 데이터를 전달받고 상기 추적 벡터 데이터를 도출할 수 있다.
즉,
Figure 112022042048310-pat00014
의 주기적 응답치로부터 도출되는 추적 벡터(Tracking Vector)를 도출하여 사용할 수 있게 된다. 구체적으로, 추적벡터도출부(140)에서는 주기 f와 연속 영상의 t 값이 0으로 되어 t/f의 값이 0인지 여부를 판단할 수 있다.
여기서, t/f의 값이 0인 경우에는 기준 좌표의 변화 방향 및 변화량을 반영하여 벡터의 방향와 크기를 산정함으로써 추적 벡터(Tracking Vector)의 기본 데이터인 추적 벡터 데이터를 도출할 수 있다.
그리고, t/f의 값이 0이 아닌 경우에는, 다음 순서(t+1)가 수행되도록 이미지분해부로 신호를 전달하고, 이에 따라, 이미지분해부로부터 영상분석부(110)와 색상분석부(120)로 다음 순서의 패치이미지가 전달될 수 있다.
속도추론모듈은, 추적 벡터 데이터의 추적 벡터 값에 대한 이상치 및 영 벡터 보상을 수행하는 보상부(150)를 더 포함할 수 있다. 그리고, 속도추론모듈은, 보상부(150)에 의한 데이터에 대한 스케일 보정 후 속도 연산을 수행하여 속도 데이터를 도출하는 속도연산부(160)를 더 포함할 수 있다.
보상부(150)는 상기와 같이 형성된 추적 벡터 데이터를 전달받고, 보상부(150)에서는 추적 벡터의 기본 데이터에서 방향과 크기의 이상치(Outlier), 이동 벡터의 크기가 없는 데이터를 보상하기 위하여 이상치 및 영 벡터 보상 과정(Outlier & Zero vector compensation)을 수행하여 유효한 이동 벡터의 순차 데이터를 확보할 수 있다.
그리고, 상기와 같이 보상부(150)에서 생성된 순차 데이터에 대하여, 속도연산부(160)에서는 스케일 보정과정(scale calibration)과 속도추론(speed estimation)과정을 수행하여 최종적으로 속도 데이터를 도출할 수 있다. 여기서, 도 3에서는 속도 데이터의 속도 값이 표시되어 형성되는 속도 추론 이미지(Result (visualization))가 표시되어 있다.
방향추론모듈에서는, 영상의 변화를 이용하여 이동 방향의 소실점 패치 영상의 대량화 및 인공지능 사전 학습 모델을 구성하여, 방향추론모듈로 입력되는 연속 영상에서 소실점 좌표와 주행 방향을 탐지 분류할 수 있다. 이하, 이에 대하여 상세히 설명하기로 한다.
방향추론모듈은, 복수의 학습용 이미지로 이루어진 학습용 데이터를 이용하여 학습을 수행하고, 외부로부터 전달받은 영상이미지에서 소실점 좌표를 도출하여 소실점 좌표의 이동을 추론하는 방향탐지부(210)를 포함할 수 있다. 그리고, 방향추론모듈은, 학습용 데이터를 저장하고, 복수의 학습용 이미지를 수집하는 학습데이터취합부(220)를 더 포함할 수 있다. 그리고, 학습데이터취합부(220)에서는 복수의 학습용 이미지에 대한 레이블링(Labeling)을 수행할 수 있다.
도 4와 도 5에서 보는 바와 같이, 다양한 이동 상황의 영상 학습 데이터로써 학습용 데이터가 학습데이터취합부(220)에 저장되고, 학습용 데이터에는 복수의 학습용 이미지가 포함될 수 있다.
상기와 같은 학습용 데이터는, 영상을 분석하여 생성된 데이터 등을 포함함으로써, 대량화(augmentation)하는 과정을 통해 학습용 데이터를 취합 저장할 수 있다. 여기서, 각각의 학습용 이미지에는 소실점 좌표 및 도형 상자 (마젠타, bounding box)로 표시한 소실점의 영역이 표시될 수 있다.
학습용 데이터는 상기와 같은 방향탐지부(210)로 전달되며, 방향탐지부(210)에서는 영상이미지를 이용하여 주행방향의 정보를 레이블링 하여 2단계로 관심 영역을 추론하는 모델(Two-stage detector)을 사전학습(Pre-training)하는 과정을 수행할 수 있다.
방향탐지부(210)에서는 two-stage detection model(2-Stage Detector)가 이용될 수 있으며, 구체적으로, 방향탐지부(210)에서는 VPDet, ResNet, RCNN 계열(R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN ...) 등이 이용될 수 있다.
도 5에서 보는 바와 같이, 방향탐지부(210)에서는, 연속 영상 데이터의 입력(Input Video)인 영상이미지와 학습된 모델을 이용함으로써, 모델의 추론과정을 통하여 소실점에 대한 중심 좌표(녹색, +자 심볼)를 도출하며, 소실점의 영역인 사각형 상자(마젠타, bounding box)의 정보를 추론할 수 있다.
이에 따라, 방향탐지부(210)에서는 소실점의 좌표 및 영역에 대한 방향 데이터가 생성될 수 있다.
도 5에서는, 방향탐지부(210)에 의해 탐지/분류되어 생성되어 영상이미지에 소실점의 좌표 또는 영역이 표시된 방향 추론 이미지(Result (visualization))이 표시되어 있다.
상기와 같은 속도 데이터와 방향 데이터, 즉, 속도추론모듈과 방향추론모듈 각각에 따라 추론된 각각의 정보는 어플리케이션(application)에서 활용될 수 있도록 데이터 프로파일(*.txt, *.json)유형으로 데이터베이스에 저장될 수 있다.
상기와 같은 본 발명의 추론 장치를 포함하는 자율주행 시스템을 형성할 수 있다. 구체적으로, 자율주행 시스템에는 자율주행 이동체(차량, 비행체, 기계, 로봇 등)의 영상 분석을 통해 이동체의 속도 및 방향을 제어하는 어플리케이션이 포함될 수 있으며, 상기와 같이 속도추론모듈과 방향추론모듈 각각에 따라 추론된 각각의 정보가 어플리케이션에 전달됨으로써, 자율주행 시스템을 내장한 이동체의 자율주행이 구현될 수 있다.
상기와 같은 본 발명의 추론 장치를 이용하는 경우, 기존의 광류 검출에 따른 속도정보 도출 방법의 기술대체 및 성능 고도화 방법으로 활용할 수 있으며, 또한, 이동체의 속도계(tachometer) 및 GPS 사용이 제한적인 조건에서 영상 분석을 통한 이동체 속도 추론 기술로 활용할 수 있다.
그리고, 실감형 엔터테인먼트 서비스(게임, 체험, 시뮬레이션, 훈련 등)의 시뮬레이션 영상을 실제 촬영 영상으로 대체하여 초 실감형 서비스 구현 기술로도 활용할 수 있다.
이하, 본 발명의 추론 장치를 이용한 추론 방법에 대해서 설명하기로 한다.
먼저, 제1단계에서는, 패치이미지가 영상분석부(110)와 색상분석부(120)로 전달되고, 영상이미지가 방향추론모듈로 전달될 수 있다.
다음으로, 제2단계에서는, 속도추론모듈에서, 패치이미지에 대해 영상 분석 및 색상 분석을 수행한 후 생성된 실시간 주기 분석 데이터를 이용하여 추적 벡터 데이터를 생성하며, 추적 벡터 데이터를 이용하여 속도 데이터를 도출할 수 있다.
그리고, 제3단계에서는, 방향추론모듈에서, 영상이미지에서 소실점 좌표를 도출하여 소실점 좌표의 변화를 추론함으로써 방향 데이터를 도출할 수 있다. 그 후, 제4단계에서는, 속도데이터와 방향데이터를 이용하여 주행 속도 및 방향을 추론할 수 있다.
상기와 같은 속도데이터와 방향데이터에는 각각의 영상 정보가 전달되는 시간 순서에 따른 속도 값과 방향 값이 포함되고, 상기와 같은 어플리케이션 등에서는 속도 값과 방향 값을 이용하여 어플리케이션이 설치된 이동체의 주행 속도 및 방향을 추론하고, 이와 같은 추론 정보를 이용하여 이동체가 제어될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110 : 영상분석부
120 : 색상분석부
130 : 융합연산부
140 : 추적벡터도출부
150 : 보상부
160 : 속도연산부
210 : 방향탐지부
220 : 학습데이터취합부

Claims (14)

  1. 소정의 지형지물을 포함하는 영상이미지에서 패치이미지를 분해하며, 상기 패치이미지에 대해 영상 분석 및 색상 분석을 수행한 후 생성된 실시간 주기 분석 데이터를 이용하여 추적 벡터 데이터를 생성하며, 상기 추적 벡터 데이터를 이용하여 속도 데이터를 도출하는 속도추론모듈; 및
    상기 영상이미지를 이용한 학습을 수행하여 영상의 영상이미지에서 소실점 좌표를 도출하여 상기 소실점 좌표의 변화를 추론하는 방향추론모듈을 포함하고,
    상기 속도추론모듈은, 상기 속도추론모듈의 영상 분석에 의한 데이터와 색상 분석에 의한 데이터를 산술평균으로 합산하여 융합 응답 맵 데이터를 생성하는 융합연산부를 포함하며,
    영상을 이용하여 이동 속도 및 방향을 추론하는 것을 특징으로 하는 영상기반 주행 속도 및 방향 추론 장치.
  2. 청구항 1에 있어서,
    상기 속도추론모듈은, 영상 분석을 위하여, 상기 패치이미지 데이터를 이용하여 HoG(Histogram of Gradient) 알고리즘을 수행하는 영상분석부를 포함하는 것을 특징으로 하는 영상기반 주행 속도 및 방향 추론 장치.
  3. 청구항 2에 있어서,
    상기 속도추론모듈은, 색상 분석을 위하여, 상기 패치이미지 데이터를 이용하여 색상 히스토그램(Color Histogram)을 생성하는 색상분석부를 더 포함하는 것을 특징으로 하는 영상기반 주행 속도 및 방향 추론 장치.
  4. 청구항 3에 있어서,
    영상분석부는, HoG 알고리즘에 의한 데이터를 이용하여 DCF 학습을 수행함으로써 DCF 응답 데이터를 생성하는 것을 특징으로 하는 영상기반 주행 속도 및 방향 추론 장치.
  5. 청구항 3에 있어서,
    상기 색상분석부는, 색상 히스토그램의 데이터를 이용하여 누적 연산을 수행하는 것을 특징으로 하는 영상기반 주행 속도 및 방향 추론 장치.
  6. 삭제
  7. 청구항 1에 있어서,
    상기 융합연산부는, 상기 융합 응답 맵 데이터에서 임계치 P값을 도출하며, 연속되는 순차 영상(Pt+1)의 기준 좌표로 갱신하는 것을 특징으로 하는 영상기반 주행 속도 및 방향 추론 장치.
  8. 청구항 1에 있어서,
    상기 속도추론모듈은, 상기 융합연산부로부터 데이터를 전달받고 상기 추적 벡터 데이터를 도출하는 추적벡터도출부를 더 포함하는 것을 특징으로 하는 영상기반 주행 속도 및 방향 추론 장치.
  9. 청구항 1에 있어서,
    상기 속도추론모듈은, 상기 추적 벡터 데이터의 추적 벡터 값에 대한 이상치 및 영 벡터 보상을 수행하는 보상부를 포함하는 것을 특징으로 하는 영상기반 주행 속도 및 방향 추론 장치.
  10. 청구항 9에 있어서,
    상기 속도추론모듈은, 상기 보상부에 의한 데이터에 대한 스케일 보정 후 속도 연산을 수행하여 상기 속도 데이터를 도출하는 속도연산부를 더 포함하는 것을 특징으로 하는 영상기반 주행 속도 및 방향 추론 장치.
  11. 청구항 1에 있어서,
    상기 방향추론모듈은, 복수의 학습용 이미지로 이루어진 학습용 데이터를 이용하여 학습을 수행하고, 외부로부터 전달받은 영상이미지에서 소실점 좌표를 도출하여 상기 소실점 좌표의 이동을 추론하는 방향탐지부를 포함하는 것을 포함하는 것을 특징으로 하는 영상기반 주행 속도 및 방향 추론 장치.
  12. 청구항 11에 있어서,
    상기 방향추론모듈은, 복수의 학습용 이미지가 포함된 학습용 데이터를 저장하는 학습데이터취합부를 더 포함하는 것을 특징으로 하는 영상기반 주행 속도 및 방향 추론 장치.
  13. 청구항 1 내지 청구항 5 및 청구항 7 내지 청구항 12 중 선택되는 어느 하나의 항에 의한 영상기반 주행 속도 및 방향 추론 장치를 포함하는 것을 특징으로 하는 자율주행 시스템.
  14. 청구항 3의 영상기반 주행 속도 및 방향 추론 장치를 이용한 영상기반 주행 속도 및 방향 추론 방법에 있어서,
    상기 패치이미지가 상기 영상분석부와 상기 색상분석부로 전달되고, 상기 영상이미지가 상기 방향추론모듈로 전달되는 제1단계;
    상기 속도추론모듈에서, 상기 패치이미지에 대해 영상 분석 및 색상 분석을 수행한 후 생성된 실시간 주기 분석 데이터를 이용하여 추적 벡터 데이터를 생성하며, 상기 추적 벡터 데이터를 이용하여 속도 데이터를 도출하는 제2단계;
    상기 방향추론모듈에서, 상기 영상이미지에서 소실점 좌표를 도출하여 상기 소실점 좌표의 변화를 추론함으로써 방향 데이터를 도출하는 제3단계; 및
    상기 속도 데이터와 상기 방향 데이터를 이용하여 주행 속도 및 방향을 추론하는 제4단계를 포함하는 것을 특징으로 하는 영상기반 주행 속도 및 방향 추론 방법.
KR1020220048509A 2022-04-19 2022-04-19 영상기반 주행 속도 및 방향 추론 장치 및 이를 이용한 영상기반 주행 속도 및 방향 추론 방법 KR102456083B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220048509A KR102456083B1 (ko) 2022-04-19 2022-04-19 영상기반 주행 속도 및 방향 추론 장치 및 이를 이용한 영상기반 주행 속도 및 방향 추론 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220048509A KR102456083B1 (ko) 2022-04-19 2022-04-19 영상기반 주행 속도 및 방향 추론 장치 및 이를 이용한 영상기반 주행 속도 및 방향 추론 방법

Publications (1)

Publication Number Publication Date
KR102456083B1 true KR102456083B1 (ko) 2022-10-19

Family

ID=83804693

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220048509A KR102456083B1 (ko) 2022-04-19 2022-04-19 영상기반 주행 속도 및 방향 추론 장치 및 이를 이용한 영상기반 주행 속도 및 방향 추론 방법

Country Status (1)

Country Link
KR (1) KR102456083B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016146061A (ja) * 2015-02-06 2016-08-12 国立研究開発法人農業・食品産業技術総合研究機構 走行制御装置
KR20170075444A (ko) 2015-12-23 2017-07-03 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
KR20180084556A (ko) * 2017-01-17 2018-07-25 팅크웨어(주) 카메라의 촬영 영상을 이용한 운전 안내 제공 방법, 운전 안내 제공 장치, 전자 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
JP2021193636A (ja) * 2019-12-06 2021-12-23 パイオニア株式会社 撮影装置、制御方法、プログラム及び記憶媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016146061A (ja) * 2015-02-06 2016-08-12 国立研究開発法人農業・食品産業技術総合研究機構 走行制御装置
KR20170075444A (ko) 2015-12-23 2017-07-03 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법
KR20180084556A (ko) * 2017-01-17 2018-07-25 팅크웨어(주) 카메라의 촬영 영상을 이용한 운전 안내 제공 방법, 운전 안내 제공 장치, 전자 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
JP2021193636A (ja) * 2019-12-06 2021-12-23 パイオニア株式会社 撮影装置、制御方法、プログラム及び記憶媒体

Similar Documents

Publication Publication Date Title
US10810442B2 (en) People flow estimation device, people flow estimation method, and recording medium
EP2858008B1 (en) Target detecting method and system
KR20200043985A (ko) 적응적 실시간 검출 및 검사 네트워크(arden)
CN110717414A (zh) 一种目标检测追踪方法、装置及设备
CN109147368A (zh) 基于车道线的智能驾驶控制方法装置与电子设备
CN108875603A (zh) 基于车道线的智能驾驶控制方法和装置、电子设备
US8712096B2 (en) Method and apparatus for detecting and tracking vehicles
WO2019040214A1 (en) SYSTEM AND METHOD FOR DISTRIBUTIVE LEARNING AND WEIGHT DISTRIBUTION IN A NEURONAL NETWORK
CN111192293B (zh) 一种运动目标位姿跟踪方法及装置
US8395659B2 (en) Moving obstacle detection using images
CN111354043A (zh) 一种基于多传感器融合的三维姿态估计方法及装置
CN102831382A (zh) 人脸跟踪设备和方法
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN101572770B (zh) 一种可用于实时监控的运动检测方法与装置
CN112906777A (zh) 目标检测方法、装置、电子设备及存储介质
CN115900712B (zh) 一种信源可信度评价组合定位方法
CN112686952A (zh) 一种图像光流计算系统、方法及应用
Browning et al. A neural model of how the brain computes heading from optic flow in realistic scenes
CN105046285B (zh) 一种基于运动约束的异常行为辨识方法
McLauchlan et al. Coarse image motion for saccade control
CN103093481B (zh) 一种基于分水岭分割的静态背景下运动目标检测方法
Kocur et al. Traffic camera calibration via vehicle vanishing point detection
KR102456083B1 (ko) 영상기반 주행 속도 및 방향 추론 장치 및 이를 이용한 영상기반 주행 속도 및 방향 추론 방법
Min et al. COEB-SLAM: A Robust VSLAM in Dynamic Environments Combined Object Detection, Epipolar Geometry Constraint, and Blur Filtering
CN109064497B (zh) 一种基于颜色聚类补充学习的视频跟踪方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant