KR20200040849A - 유동 벡터 가설의 타당성 검사 방법 및 그 장치 - Google Patents

유동 벡터 가설의 타당성 검사 방법 및 그 장치 Download PDF

Info

Publication number
KR20200040849A
KR20200040849A KR1020207007883A KR20207007883A KR20200040849A KR 20200040849 A KR20200040849 A KR 20200040849A KR 1020207007883 A KR1020207007883 A KR 1020207007883A KR 20207007883 A KR20207007883 A KR 20207007883A KR 20200040849 A KR20200040849 A KR 20200040849A
Authority
KR
South Korea
Prior art keywords
vector
hypothesis
image
flow
feature
Prior art date
Application number
KR1020207007883A
Other languages
English (en)
Other versions
KR102580056B1 (ko
Inventor
슈테판 지몬
Original Assignee
로베르트 보쉬 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로베르트 보쉬 게엠베하 filed Critical 로베르트 보쉬 게엠베하
Publication of KR20200040849A publication Critical patent/KR20200040849A/ko
Application granted granted Critical
Publication of KR102580056B1 publication Critical patent/KR102580056B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 유동 벡터 가설의 타당성 검사를 위한 장치 및 방법에 관한 것이다. 상기 방법은, 제2 이미지(2)가 이미지들의 시퀀스(20)에서 제1 이미지(1)를 뒤따르는 이미지인 조건에서, 제1 이미지(1)와 제2 이미지(2) 간의 특징(4)의 이동을 기반으로, 특징(4)과 관련된 예측 벡터(12)를 결정하는 단계와; 제3 이미지(3)가 이미지들의 시퀀스(20)에서 제2 이미지(2)를 뒤따르는 이미지인 조건에서, 제2 이미지(2)와 제3 이미지(3) 간의 특징(4)의 유력한 이동을 기술하는, 특징(4)과 관련된 가설 벡터(13)를 생성하는 단계와; 예측 벡터(12)와 가설 벡터(13) 간의 차이를 기반으로, 예측 벡터(12)와 가설 벡터(13) 간의 유사도를 계산하는 단계와; 계산된 유사도를 기반으로 가설 벡터(13)의 타당성을 평가하되, 가설 벡터(13)가 제2 이미지(2)와 제3 이미지(3) 간의 특징(4)의 실제 이동을 기술하는지의 여부가 평가되는 단계;를 포함한다.

Description

유동 벡터 가설의 타당성 검사 방법 및 그 장치
본 발명은 유동 벡터 가설(flow vector hypothesis)의 타당성 검사를 위한 방법 및 그 장치에 관한 것이다.
광류(OF; optical flow)의 경우, 제1 이미지 내의 좌표들과 제2 이미지 내의 좌표들 간의 할당들이 결정됨으로써, 시간 방향으로 대응(correspondence)이 형성된다. 이 경우, 상기 대응은, 3D 장면 내의 한 지점의 2D 이미지 내로의 투영이 기존 좌표로부터 신규 좌표로 어떻게 전진 이동하였는지를 지시한다.
이 경우, 이미지 내에서의 이동은 장면 점(scene point)의 이동을 통해, 또는 카메라의 이동을 통해, 또는 이 둘 모두를 통해 동시에 야기될 수 있다.
광류는 이미 다양한 제품들에서, 예컨대 운전자 보조 시스템에서 사용되고 있다.
유동 벡터 가설의 타당성 검사를 위한 본 발명에 따른 방법은, 제2 이미지가 이미지들의 시퀀스에서 제1 이미지를 뒤따르는 이미지인 조건에서, 제1 이미지와 제2 이미지 간의 특징의 이동을 기반으로, 특징과 관련된 예측 벡터(prediction vector)를 결정하는 단계와; 제3 이미지가 이미지들의 시퀀스에서 제2 이미지를 뒤따르는 이미지인 조건에서, 제2 이미지와 제3 이미지 간의 특징의 유력한 이동(presumptive movement)을 기술하는, 특징과 관련된 가설 벡터(hypothesis vector)를 생성하는 단계와; 예측 벡터와 가설 벡터 간의 차이를 기반으로, 예측 벡터와 가설 벡터 간의 유사도(degree of similarity)를 계산하는 단계와; 계산된 유사도를 기반으로 가설 벡터의 타당성을 평가하되, 가설 벡터가 제2 이미지와 제3 이미지 간의 특징의 실제 이동(actual movement)을 기술하는지의 여부를 평가하는 단계;를 포함한다.
유동 벡터 가설의 타당성 검사를 위한 본 발명에 따른 장치는, 제2 이미지가 이미지들의 시퀀스에서 제1 이미지를 뒤따르는 이미지인 조건에서, 제1 이미지와 제2 이미지 간의 특징의 이동을 기반으로, 특징과 관련된 예측 벡터를 결정하고; 제3 이미지가 이미지들의 시퀀스에서 제2 이미지를 뒤따르는 이미지인 조건에서, 제2 이미지와 제3 이미지 간의 특징의 유력한 이동을 기술하면서 특징과 관련된 가설 벡터를 생성하며; 예측 벡터와 가설 벡터 간의 차이를 기반으로, 예측 벡터와 가설 벡터 간의 유사도를 계산하고; 계산된 유사도를 기반으로 가설 벡터의 타당성을 평가하되, 가설 벡터가 제2 이미지와 제3 이미지 간의 특징의 실제 이동을 기술하는지의 여부를 평가하도록; 구성된 컴퓨터 유닛을 포함한다.
제1, 제2 및 제3 이미지는 이미지 시퀀스들의 이미지들이다. 이 경우, 이미지들의 시퀀스는 예컨대 비디오 시퀀스이다. 이 경우, 더 바람직하게는 먼저 제1 이미지가 발생하고, 그 다음으로 제2 이미지, 그리고 그 다음으로 제3 이미지가 이미지들의 시퀀스에서 시간 순서로 발생한다.
특징은 이미지 내에 맵핑된 특징이다. 이 경우, 특징의 맵핑은 특히 단일 픽셀로, 또는 하나의 픽셀 그룹으로 제한된다. 이미지들 간 특징의 이동을 통해, 이미지에 의해 표시된 주변 환경 내의 객체의 이동 및/또는 이미지들을 검출한 카메라의 이동이 재현된다.
특징과 관련된 예측 벡터의 결정 시, 제1 이미지와 제2 이미지 간의 특징의 이동이 검출된다. 따라서, 2개의 이미지 간 특징의 위치 변화량이 검출되고, 이를 토대로 특징의 향후 예측되는 위치 변화량이 추론된다. 상기 이동은, 제1 이미지 내에서의 이동의 시작점을 제2 이미지 내에서의 이동의 종료점과 연결하는 벡터로 기술될 수 있다. 바로 카메라에 의해 검출된 이미지들의 시퀀스에서, 객체들이 개별 이미지들 간에 통상 연속적으로 이동된다. 이는, 객체의 이동이 이동의 방향 또는 이동의 속도와 관련하여 급격히 변화하지 않음을 의미한다. 따라서, 제1 이미지와 제2 이미지 간의 특징의 이동을 통해, 특징이 제2 이미지와 제3 이미지 사이에서 어떻게 이동되는지가 추정될 수 있다. 이런 이동은 예측 벡터에 의해 기술된다. 이 경우, 예측 벡터는, 가장 단순한 경우, 제1 이미지와 제2 이미지 간의 특징의 이동을 기술하는 이동 벡터와 동일하다. 바람직하게는, 예측 벡터의 결정에 계속 추가 정보가 유입된다. 이렇게, 예컨대 카메라의 이동이 검출될 수 있고, 상기 이동은 이동 벡터에 적합하게 부가될 수 있으며, 그 결과를 토대로 예측 벡터를 산출할 수 있다. 그럼으로써 예측자(predictor)는 제2 이미지와 제3 이미지 간의 특징의 예측되는 이동을 기술한다.
카메라의 이동의 적합한 부가란, 예컨대 제1 이미지와 제2 이미지 간의 특징의 이동이 우선, 객체의 연속 이동을 통해 야기되는 제1 성분과, 카메라의 이동을 통해 야기되는 제2 성분으로 분할됨을 의미할 수 있다. 두 성분 모두에 대해 각각 별도로 예측될 수 있다. 이로써 예를 들어, 객체는 지금까지 관측된 이동에 상응하게, 예컨대 공간 내에서 변함없는 속도로 또는 공간 내에서 변함없는 가속도로 계속 이동될 것으로 가정될 수 있다. 카메라의 이동을 위해, 경우에 따라 심지어는 예컨대 추가 센서들(예: 차량 주행 기록계 및/또는 관성 센서 시스템)로부터 또는 카메라 이미지들로부터 획득되는 측정치들이 존재할 수 있으며, 이때 복수의 벡터를 토대로 고유 이동(proper movement)이 결정된다. 그런 다음, 제2 이미지와 제3 이미지 간의 특징의 이동의 예측이, 두 성분, 즉, 객체의 이동 예측에 대한 제1 성분과 카메라의 이동에 대한 제2 성분의 결합, 예컨대 가산을 통해 형성될 수 있다. 이 경우, 제2 성분은 측정될 수 있으며, 이는 간단한 업데이트를 통한 예측에 비해 더 높은 정확도를 유도할 수 있다.
특징과 관련된 가설 벡터의 생성 시, 특징이 제2 이미지와 제3 이미지 간에 어떻게 이동되었는지에 대한 가설이 세워진다. 이를 위해, 가설 벡터가 생성될 검색된 특징과 유사한 특징들이 제3 이미지 내에서 어느 곳에 위치하는 지와 관련하여 예컨대 제3 이미지의 분석이 수행된다. 이렇게 하여, 유사한 색상 특성들을 갖는 픽셀들이 제2 및 제3 이미지에서 어느 곳에 위치하는 지가 분석될 수 있다. 이 경우, 특히, 이미지의 각각의 특징에 최대로 하나의 유동 벡터가 할당되어야 한다는 요건도 고려될 수 있다. 가설 벡터는, 특징에 관련된 올바른 유동 벡터로서 간주되는 유동 벡터이다. 그러나 이 경우, 가설 벡터의 기초가 되는 분석에 오류가 있을 가능성이 있다. 따라서, 처음에는 단 하나의 가설만 세워지므로 하나의 가설 벡터를 논한다.
예측 벡터와 가설 벡터 간의 유사도의 계산 시, 특히 유사도를 기술하는 연산 비용이 계산될 수 있다. 이 경우, 높은 연산 비용은 낮은 유사도를 기술하고, 낮은 연산 비용은 높은 유사도를 기술한다. 따라서, 유사도에 의해, 제1 이미지와 제2 이미지 간의 특징의 이동이 공차의 범위 내에서 제2 이미지와 제3 이미지 간의 특징의 이동에 상응하는 지의 여부의 추정을 가능하게 하는 지시자가 제공되고, 그럼으로써 특징이 가설 벡터에 따라 이동된다. 객체의 이동이 객체의 방향 또는 속도와 관련하여 급격하게 변동되지 않는다는 가정 하에서, 가설 벡터가 공차의 범위 내에서 예측 벡터에 상응하는 점이 전제될 수 있다. 이런 방식으로, 제2 이미지와 제3 이미지 간의 특징의 실제 이동을 기술하는 가설 벡터에 대한 유사도가 계산되는 경우, 즉, 가설 벡터가 정확한 가설을 기반으로 하는 경우, 높은 유사도 및 경우에 따른 낮은 연산 비용이 도출된다. 예컨대 제3 이미지 내에서 하나의 픽셀, 또는 픽셀들의 조합이 색상 유사성으로 인해, 가설 벡터가 생성될 특징에 대해 잘못 유지됨으로 인해 잘못된 가설이 수립된다면, 낮은 유사도 및 경우에 따른 높은 연산 비용이 도출되는데, 그 이유는 제3 이미지 내에서 고려된 특징이 공차의 범위 내에서 예상에 따라 어느 곳에 맵핑되어야 하는지가 예측 벡터를 통해 정의되기 때문이다.
예측 벡터와 가설 벡터 간의 차이는 특히 상기 벡터들의 길이 및/또는 배향에서의 차이를 통해 정의된다. 길이를 통해서는, 이미지들의 시퀀스에서 특징의 이동 속도가 기술된다. 배향을 통해서는, 이미지들의 시퀀스에서 특징의 이동 경로가 기술된다. 따라서, 벡터들의 길이 및/또는 배향을 기반으로 하는 차이를 통해, 이미지들을 검출하는 카메라에 비해, 특징에 관련된 객체의 실제 이동이 매우 간단하게 기술된다. 이 경우, 특히 길이와 배향의 분리된 고려가 바람직한데, 그 이유는 상이한 가정들이 이미지들의 시퀀스의 거동에 걸친 상기 길이 및 배향의 변화량의 기초가 되기 때문이다.
가설 벡터의 타당성의 평가에서, 유사도의 계산 시 예측 벡터와 가설 벡터 간에 더 큰 유사성이 나타날 경우, 예측 벡터와 가설 벡터 간에 비교적 낮은 유사성이 나타날 때보다 타당성이 더 높게 평가된다. 타당성은, 가설 벡터의 기초가 되는 유동 벡터 가설이 올바른 것으로서 판단되는지의 여부를 기술한다. 이 경우, 유사도가 높다면, 유동 벡터 가설은 올바른 것으로, 즉, 가설 벡터는 높은 타당성을 갖는다고 가정된다. 그에 상응하게, 유사도가 낮다면, 유동 벡터 가설은 잘못된 것으로, 다시 말해 가설 벡터는 낮은 타당성을 갖는다고 가정된다.
가장 단순한 경우, 타당성은 오직 유사도만을 기반으로 평가된다. 그러나 대안적 접근법을 통해 타당성의 평가를 가능하게 하는 또 다른 타당성 검증 방법(validation method)과의 조합도 가능하다. 따라서, 예컨대 타당성이 본 발명에 따른 방법을 통해 높은 등급으로 분류될 수도 있지만, 그에 병행하여 경쟁적 평가(competive evaluation)를 통해 등급이 낮아질 수도 있다.
하나의 특징점(feature point)의 평가를 위해 복수의 경쟁 가설 벡터가 가용하다면, 명시된 예측 벡터와 관련하여 각각 임계값을 상회하지 않고 하회하는 각각의 최대 유사도 및 최소 연산 비용을 유도하는 가설 벡터가 선택될 수 있다. 그 대안으로, 각각 결정된 유사도 및 각각 결정된 연산 비용에 기초하여 가설 벡터들을 순차적으로 정렬시킬 수도 있으며, 이로써 예컨대 가장 타당성이 있는 N개의 가설 벡터를 결정할 수 있다.
본 발명에 따른 방법 및 본 발명에 따른 장치를 통해, 유동 벡터 가설의 평가 시 견고성이 증가될 수 있다. 따라서 매우 높은 신뢰성으로 유동장(flow field)을 생성할 수 있다.
본 발명에 따른 장치는 본 발명에 따른 방법을 실행하도록 구성된다.
종속 청구항들에는 본 발명의 바람직한 개선예들이 개시되어 있다.
바람직하게 본원 방법은 하나의 루프(loop)에서 실행되며, 이 경우 선행 루프 회차(loop cycle)에서 특징의 가설 벡터에 할당되는 정보를 기반으로 하는 정보가 현재 루프 회차에서 특징의 가설 벡터에 할당된다. 이렇게, 이미지들의 시퀀스 내에서 가설 벡터를 통해 기술되는 특징의 이동 외에 또 다른 정보들도 이미지들의 시퀀스를 넘어 전송될 수 있다. 가설 벡터와 연산된 하나의 이미지의 정보들은 특히 그 다음 이미지의 가설 벡터의 타당성 평가에 이용될 수 있다. 또한, 하나의 특징에는, 상기 특징을 통해 맵핑된 객체의 특성들을 기술하는 정보들이 할당될 수 있다. 이 경우, 특히, 바람직하게는, 제1 루프 회차에서 타당성 있는 것으로서 분류된 가설 벡터는 유동 벡터로서, 연산된 정보와 함께 유동장으로 인계되고, 그 다음의 제2 루프 회차에서 가설 벡터는 연산된 정보와 함께, 제2 루프 회차에 대한 특징의 예측 벡터로서 유동장에서 판독 출력된다.
또한, 바람직하게는, 가설 벡터에 할당된 정보는 연산 검사의 결과이며, 연산 검사는 각각의 루프 회차에서 실행되고, 예측 벡터와 가설 벡터 간의 유사도가 기설정 기준을 상회할 경우, 특징의 예측 벡터와 가설 벡터는 연산 검사 시 상호 연산된 것으로 판단되며, 각각의 루프 회차에서 가설 벡터의 타당성의 평가는 추가로, 하나 또는 복수의 선행 루프 회차에서 특징의 예측 벡터와 가설 벡터가 상호 연산된 것으로 판단되었는지의 여부를 기반으로 수행된다. 가설 벡터의 타당성의 평가가 추가로, 하나 또는 복수의 선행 루프 회차에서 특징의 예측 벡터와 가설 벡터가 상호 연산된 것으로 판단되었는지의 여부를 기반으로 수행됨으로써, 가설 벡터의 이력(previous history)이 고려된다. 이러한 가설 벡터의 이력을 가설 벡터의 연령(age)이라고도 한다. 즉, 특징의 예측 벡터와 가설 벡터가 이미 수회 연속되는 루프 회차들에서 상호 연산된 것으로 판단된 경우, 가설 벡터는 높은 연령을 갖는다. 특히 특징의 예측 벡터와 가설 벡터가 상호 연산된 것으로서 판단되었던 연속되는 루프 회차들의 개수가 연령 속성으로서 정보로서의 가설 벡터에 할당될 수 있다. 가설 벡터의 이력의 고려를 통해, 타당성이 높은 신뢰도로 결정될 수 있다. 따라서, 추가로 특징의 이동의 평가가, 이미지들의 시퀀스의 복수의 선행 이미지로부터 도출되는 타당성의 평가에 영향을 미치게 된다. 이렇게, 가설 벡터는, 가설이 생성되었던 관련 특징이 연속되는 루프 회차들에서 지속적으로 낮은 연산 비용을 갖는 경우에만, 특히 타당성이 있는 것으로 판단된다. 이런 방식으로, 특히 신뢰성 있는 가설의 이력 평가가 수행된다.
가설 벡터에 할당된 정보가 특징과 관련된 객체의 객체 클래스(object class)를 기술하는 것도 바람직하다. 즉, 특히 가설 벡터와 관련된 특징이 특정 객체 클래스의 객체를 표시하는 점을 지시하는 정보가 특징과 연산된다. 이 경우, 예컨대 특징이 특정 객체 클래스의 객체를 표시하는 확률을 기술하는 확률값이 특징과 연산된다. 이 경우, 확률값은 바람직하게 유동장 내에서 특징에 할당된다. 이 경우, 객체 클래스는 특히, 어떠한 객체가 특징을 통해 맵핑되는 지를 기술한다. 이 경우, 하나의 객체 클래스 내에는 특히, 사전 정의된 데이터의 범위 내에서 유사한 이동 특성들을 가진 객체들이 통합된다. 특히 객체 클래스는 가설 벡터의 타당성의 평가에 있어서, 예컨대 가설 벡터의 타당성이 긍정적으로 평가되도록 하기 위해 최소한 존재해야 하는, 예측 벡터와 가설 벡터 간의 유사도를 정의하기 위해 고려된다. 즉, 특히, 특징에 할당된 객체 클래스가 예컨대 "사람" 유형의 객체들을 포함하는 제1 객체 클래스라면, 유사도의 임계값이 제1 값으로 설정된다. 또한, 특징에 할당된 객체 클래스가 예컨대 "차량" 유형의 객체들을 포함하는 제2 객체 클래스라면, 유사도의 임계값은 제2 값으로 설정된다. 제1 값이 제2 값보다 더 작다. 타당성의 더 높은 평가는, 임계값이 초과되지 않을 때에만 수행된다. 이런 방식으로, 예시로 든 "사람" 및 "차량"의 객체 클래스의 경우 예컨대, 차량에 대해 이미지들의 시퀀스에서의 그 이동과 관련하여 사람의 경우보다 더 높은 연속성이 예상되는 점이 고려된다.
또한, 바람직하게는, 예측 벡터와 가설 벡터 간의 유사도의 계산 시, 예측 벡터에 대한 직교 방향(orthogonal direction)으로의 편차가 예측 벡터에 대한 진행 방향(longitudinal direction)으로의 편차보다 더 엄격하게 평가되거나, 가설 벡터에 대한 직교 방향으로의 편차가 가설 벡터에 대한 진행 방향으로의 편차보다 더 엄격하게 평가된다. 더 엄격한 평가란, 계산된 유사도에 미치는 영향이 더 크다는 것을 의미한다. 그로 인해, 하나의 직선 상에서 동일한 단계들로 이동되는 객체의 3D 지점은, 객체가 하나의 이미지 내로 투영된 후에는 일반적으로 동일한 크기의 단계들로 이동되지 않는 점이 고려된다. 오히려, 상기 지점이 카메라에 더 가까이 있는 경우에는 이미지 내에서의 단계들이 더 크고, 상기 지점이 카메라로부터 더 멀리 떨어져 있는 경우에는 단계들이 더 작다.
또한, 바람직하게는, 예측 벡터는 역방향 유동(backward flow)을 기술하는 유동장을 토대로 결정되고, 그리고/또는 가설 벡터는 순방향 유동(forward flow)을 기술하는 유동장을 토대로 결정된다. 이러한 예측 벡터 및/또는 가설 벡터의 계산 시, (역방향 유동으로서의) 예측 벡터는 (순방향 유동으로서의) 가설 벡터가 시작되는 제2 이미지의 이미지 위치에서 종료되며, 그로 인해 예측 벡터와 가설 벡터 간의 할당이 이미 암시적으로 제공되어, 처음으로 결정될 필요가 없게 된다. 즉, 역방향 유동 및 순방향 유동의 상기 계산은 유동장의 발생 범위 내에서 수행되는데, 그 이유는 상기 계산이 유동장의 평가를 위해 요구되기 때문이다. 따라서, 하나 또는 복수의 유동 벡터 가설의 추가적인 타당성 검사는 가용 데이터를 기반으로 적은 추가 계산 비용으로 수행될 수 있다.
또한, 바람직하게는, 유사도의 계산 시, 제1 이미지의 검출과 제2 이미지의 검출 간의 카메라 이동이 보상되게 하고, 그리고/또는 제2 이미지의 검출과 제3 이미지의 검출 간의 카메라 이동이 보상되게 하는 예측 벡터의 조정이 수행된다. 따라서, 이미지들 내에서 관련 객체의 고유 이동으로부터 기인하지 않는 특징의 위치의 변화가 유사도의 계산에 산입되어 유사도를 왜곡하는 점이 방지될 수 있다.
그 외에도, 바람직하게는, 유사도가 예측 벡터와 가설 벡터 간의 차이를 토대로 기설정 함수를 이용하여 산출되며, 이때 기설정 함수를 통해 특히 예측 벡터와 가설 벡터 간 차이의 가중이 수행된다. 이렇게, 예측 벡터와 가설 벡터 간의 유사도는 기하학적으로 계산되어, 유사도에 대한 단순 수치값으로 변환될 수 있다. 이 경우, 차이의 가중은 특히, 작은 차이가 특히 큰 유사도 및 경우에 따라 특히 적은 연산 비용을 야기하고, 큰 차이는 특히 작은 유사도 및 경우에 따라 특히 높은 연산 비용을 야기하도록 수행된다. 가중은 특히 유사도에 대해 비선형 방식으로 수행된다.
또한, 바람직하게는, 유사도의 계산 시, 상기 차이는 예측 벡터와 가설 벡터의 차의 계산을 통해 생성되는 차동 벡터(differential vector)를 이용하여 산출된다. 상기 차동 벡터는, 예측 벡터와 가설 벡터 간의 유사성을 기술하는 간단하게 계산될 매개변수이다. 바람직하게, 예측 벡터 및 가설 벡터가 각각 객체의 이동을 통해 야기되는 제1 성분과, 카메라의 이동을 통해 야기되는 제2 성분으로 분할되면, 객체의 이동을 통해 야기되는 성분에 기초해서만 차동 벡터를 산출하는 것이 바람직하다.
또한, 바람직하게는, 유사도의 계산 시, 상기 차이는, 차동 벡터의 2개의 벡터 성분을 이용하여 산출되며, 특히 두 벡터 성분의 상이한 가중이 수행된다. 그에 따라, 예측 벡터와 가설 벡터 간의 편차가 어느 방향으로 존재하는지에 따라 좌우되는 차이의 상이한 평가가 수행된다. 따라서, 특히, 가설 벡터의 배향에 대해 직교 방향으로, 선택적으로는 예측 벡터의 배향에 대해 직교 방향으로 지향되는 편차가, 가설 벡터의 배향에 대해 진행 방향으로, 선택적으로는 예측 벡터의 배향에 대해 진행 방향으로 지향되는 편차보다 더 높게 가중되고, 유사도에 더 강한 영향을 미친다. 이런 방식으로, 예컨대 진행 방향으로의 편차들은 직교 방향으로의 편차들과 다르게, 특히 그보다 덜 엄격하게 평가될 수 있다. 그로 인해, 예컨대 하나의 직선 상에서 동일한 크기의 단계들로 이동되는 3D 지점은 이미지 내로 투영된 후에 일반적으로 이미지 내에서 동일한 크기의 단계들로 이동되지 않는다는 사실이 고려될 수 있다. 오히려, 상기 지점이 카메라에 더 가까이 있는 경우에는 이미지 내에서의 단계들이 더 크고, 상기 지점이 더 멀리 떨어져 있는 경우에는 상기 단계들이 더 작다.
또한, 바람직하게는, 특징과 관련된 가설 벡터의 생성 시, 특징과 관련된 복수의 가설 벡터가 생성되고, 가설 벡터들 각각에 대해 유사도의 계산 및 타당성의 평가가 수행된다. 따라서, 더 선호될 가설 벡터의 바람직한 선택이 제공될 수 있다. 특히, 타당성을 기반으로 가설 벡터들 중 하나의 선택이 수행된다. 그래서, 바람직하게 가설 벡터들 중 타당성이 가장 높은 가설 벡터가 제2 이미지와 제3 이미지 간의 특징의 실제 이동을 기술하는 가설 벡터로서 간주된다. 그러나 이 경우, 가설 벡터들의 타당성이 예컨대 기설정 임계값 미만이라면, 관련 유사도가 너무 낮기 때문에 상기 가설 벡터들 모두가 폐기될 수도 있다.
하기에서는 첨부된 도면을 참조하여 본 발명의 실시예들이 상세히 기술된다.
도 1은 이미지들의 시퀀스의 일례를 도시한 도면이다.
도 2는 예측 벡터의 일례 및 가설 벡터의 일례를 도시한 도면이다.
도 3은 상이한 연산 비용을 야기하는 예측 벡터들 및 가설 벡터들을 도시한 도면이다.
도 4는 연산 비용의 가중을 위한 함수의 일례를 나타낸 도면이다.
도 5는 유동 벡터 가설의 타당성 검사를 위한 장치를 도시한 도면이다.
도 1에는, 이미지들의 시퀀스(20)의 일례가 도시되어 있다. 이미지들의 시퀀스(20)는 제1 이미지(1), 제2 이미지(2), 및 제3 이미지(3)를 포함한다. 도시된 예시의 이미지들의 시퀀스(20)에서 제2 이미지(2)는 제1 이미지(1)를 바로 뒤따르고, 제3 이미지(3)는 제2 이미지(2)를 바로 뒤따른다. 그러나 이미지들의 시퀀스(20) 내에서 개별 이미지들 사이에 또 다른 이미지도 존재할 수 있다. 이미지들의 시퀀스(20)는 카메라(41)에 의해 검출된 비디오 시퀀스이다.
카메라(41)에 의해, 이미지들(1, 2, 3) 내에서 각각의 이미지(1, 2, 3)의 특징(4)으로서 표시될 객체가 검출되었다. 따라서, 도시된 이미지들의 시퀀스(20) 내에서 특징(4)은 비디오 시퀀스에 의해 표시된 이미지를 통과하여 좌측 하부에서부터 우측 상부로 이동된다. 이 경우, 도 1에서는, 각각의 이미지(1, 2, 3)가 실선으로 표시되어 있는 위치에만 특징이 위치해 있다. 파선들을 통해서는, 나머지 이미지들 내에서 특징(4)의 위치가 표시되어 있다. 즉, 특징(4)은 제1 이미지(1) 내에서 제1 위치(5)에 위치된다. 제2 이미지(2) 내에서 특징(4)은 제2 위치(6)에 위치된다. 제3 이미지(3) 내에서 특징(4)은 제3 위치(7)에 위치된다. 이 경우, 특징(4)은 특히 적은 개수의 픽셀들로 제한된다.
또한, 도 1에는, 특징(4)과 관련된 2개의 유동 벡터(10, 11)가 도시되어 있다. 제1 유동 벡터(10)는 제1 이미지(1)와 제2 이미지(2) 간의 특징(4)의 이동을 기술한다. 제2 유동 벡터(11)는 제2 이미지(2)와 제3 이미지 간의 특징(4)의 이동을 기술한다.
제2 유동 벡터(11)는 제2 이미지(2) 및 제3 이미지(3)에 기초한 이미지 분석에 의해 결정되었다. 이는, 유동 벡터 가설이 생성되거나 수립됨으로써 실행된다. 유동 벡터 가설에 의해 가설 벡터(13)가 생성된다. 따라서, 제2 유동 벡터(11)는 가설 벡터(13)에 상응한다. 이 경우, 이미지 분석 시 잘못된 결과들이 나타날 수도 있다. 이미지 분석 시, 제3 이미지(3) 내에 표시된 특징(4)이, 제2 이미지(2) 내에 표시된 특징(4)과는 다른 객체와 관련된 것일 수도 있다는 문제가 존재한다. 이 경우, 비록 가설 벡터(13)가 결정되었을 수 있지만, 이 가설 벡터가 올바른 유동 벡터는 아닐 수 있데, 그 이유는 상기 유동 벡터가 이미지들의 시퀀스(20) 내에서의 특징(4)의 이동을 기술하는 것이 아니라, 상이한 특징들의 위치들을 연결하고 있기 때문이다. 따라서, 제2 유동 벡터(11)가 올바른 유동 벡터인지의 여부는 확실하지 않다. 그러므로 유동 벡터 가설이 다루어진다. 그래서, 유동 벡터 가설의 생성 시 계산된 유동 벡터를 가설 벡터(13)라고 한다. 상기 가설 벡터가 올바른 유동 벡터인지의 여부가 아직 최종적으로 결정되지 않았기 때문에, 가설 벡터(13)를 통해 제2 이미지(2)와 제3 이미지(3) 간의 특징(4)의 유력한 이동이 기술된다.
순방향 유동과 역방향 유동 간의 구분이 이루어지며, 이에 의해, 어느 이미지에 기준 픽셀(reference pixel)이 위치하고, 어느 이미지에서 대응이 검색되었는지(검색 방향)가 표현된다. 그 결과가 유동장으로서 (행렬 구조로) 제공되면, 검색 방향에 의해 일반적으로 어느 좌표계에 유동장이 기록되어 있는지도 결정된다. 여기서 유동장은 유동 벡터들로 이루어진 필드이며, 이 필드 내에는, 2개의 이미지로 된 쌍에 대해 발생하는 모든 유동 벡터, 또는 적어도 모든 계산된 유동 벡터가 기입되어 있다. 추가로, 유동 벡터들에 각각 속성들도 할당될 수 있다.
이 경우, 순방향 유동에 대해 기준 픽셀은 이전 이미지에서 검색되고, 대응은 현재 이미지에서 검색된다. 결과는 이전 이미지의 좌표들 내에 기록된다. 역방향 유동의 경우, 현재 이미지 내에서의 기준 픽셀에 대해 대응은 이전 이미지에서 검색된다. 결과는 현재 이미지의 좌표들 내에 기록된다. 그러나 두 사례 모두에서, 각각의 유동 벡터(10, 11)의 유동 벡터 성분들의 부호는 동일한 유형으로, 더 정확하게는, 이미지 내에서 우측으로 이동 시 수평 성분이 양이 되고, 이미지 내에서 아래쪽으로 이동 시 수직 성분이 양이 되도록 결정된다.
이 경우, 가설 벡터(13)가 경과한 시간 단계에서 이미, 방향 및 절댓값과 관련하여 고려되는 유동 벡터 가설에 "적합한" 선행자(predecessor)를 가졌다면, 유동 벡터 가설에 대한 신뢰 및 그에 따른 가설 벡터(13)의 타당성이 증가한다. 이 경우, 특징(4)에 관련된 객체가 자신의 질량으로 인해 "관성" 이동되고, 카메라(41)도 마찬가지로 질량을 가진 객체(예: 차량)와 강건하게 연결되어 있기 때문에 관성 이동된다는 가정이 기초가 된다. 즉, 갑작스런 방향 변화는 이미지 평면 내에서는 실제로 발생하지 않는다. 이 경우, 카메라(41)의 충분히 높은, 시간에 따른 스캐닝 속도가 전제된다.
따라서, 예측 벡터(12)를 통해 제1 이미지(1)와 제2 이미지(2) 간의 특징(4)의 이동을 기술하는 예측자의 결정이 수행되며, 이 경우 제2 이미지(2)는 이미지들의 시퀀스(20)에서 제1 이미지(1)를 뒤따르는 이미지이다. 그러므로 예측 벡터(12)는 도 1에 도시된 예시에서 제1 유동 벡터(12)에 상응한다.
제1 내지 제3 이미지(1, 2, 3)는 카메라(41)에 의해 촬영되었다. 이 경우, 제1 이미지(1)는 제1 시점(t1)에 촬영되었고, 제2 이미지(2)는 제2 시점(t2)에 촬영되었으며, 제3 이미지(3)는 제3 시점(t3)에 촬영되었다. 이미지들(1, 2, 3)은 차례로 촬영되기는 하나(t1 < t2 < t3), 반드시 바로 이어서 촬영되는 것은 아니다(즉, 상기 이미지들 사이에 또 다른 이미지들이 더 촬영되었을 수도 있다). 이미지들(1, 2, 3) 간의 시간 간격이 일정할 필요는 없다. 이는, 하기 비율(q)이 일반적으로 1이 아닐 수도 있음을 의미한다.
Figure pct00001
예측으로서, 예컨대 시점들(t1 및 t2) 사이에 이미 존재하는 광류장이 이용될 수 있다. 상기 광류장은 바람직하게 역방향 유동으로서 존재하는데, 왜냐하면 이 경우, 예측 벡터들(12)이 이미 공통 시점(t2)의 올바른 좌표계 내에 존재하며, 다시 말해 더 이상 환산(왜곡)되지 않아도 된다는 장점이 있기 때문이다. 따라서, 예측 벡터(12)는 역방향 유동을 기술하는 유동장을 토대로 결정된다.
또한, 예측을 위해 이용되는 유동장은 다른 방식으로도, 예컨대 3차원 장면 모델(scene model)의 이용 및 고려되는 시점들에서의 카메라 위치들에 대한 가정하에 생성될 수 있으며, 이를 토대로 차후에 예상되는 유동장이 계산될 수 있다.
하기에서는, 예시로서, 가장 간단한 사례가 가정되는데, 요컨대 예측의 제공을 위해 특별한 노력을 들이지 않아도 되며, 예측은 기존 유동장으로부터 형성되고 생성된다. 예측 유동장 및 그와 더불어 예측 유동장에서 정의된 유동 벡터들은, 유동 벡터들 및 그와 더불어 예측 벡터들(12)을 예상 길이들로 설정하기 위해, 선택적으로 하나의 계수(factor)에 의해 스케일링(scaling)된다. 이 경우, 유동 벡터들의 스케일링을 위한 계수는 상기 비(q)와 동일하게 선택되는 것이 바람직하다.
상기 예측은 시점들(t2 및 t3) 사이에서 다음 유동장의 결정을 지원한다. 다시 말해, 두 유동장이 시점(t2)을 공유한다. 즉, 제1 유동장의 유동 벡터들은 상기 시점에서 종료되고, 제2 유동장의 유동 벡터들은 상기 시점에서 시작된다. 그러므로, t2와 t3 사이에서 결정될 유동장은 우선 순방향 유동인 것이 또한 바람직하다. 상기 이미지들의 시리즈는, t4 > t3인 조건에서 시점(t4)에 할당되는 추가 이미지의 가산을 통해, 계속 진행될 수 있다.
그런 다음, t2와 t3 사이의 유동장은 예측자로서 이용되고, 시점들(t3와 t4)사이의 유동장의 다음번 결정을 지원할 수 있으며[공통 시점(t3)], 이러한 방식으로 계속 진행된다. 이때, t2와 t3 사이의 유동장에서 상응하는 예측 벡터들(12)이 판독 출력된다.
유동 벡터 가설마다, 그리고 그에 따라 각각의 가설 벡터(13)에 대해 연산 검사가 실행되며, 가설, 즉, 가설 벡터(13)는 배향 및 길이와 관련하여 각각의 예측, 즉, 예측 벡터(12)와 비교된다. 그에 따라, 예측 비용은 예측 벡터(12)와 가설 벡터(13) 간의 차이를 기반으로 계산되며, 연산 비용은 예측 벡터(12)와 가설 벡터(13) 간의 유사도를 지시한다. 이 경우, 높은 연산 비용은 낮은 유사도를 기술하고, 낮은 연산 비용은 높은 유사도를 기술한다. 그에 따라, 예측 벡터(12)와 가설 벡터(13) 간의 유사도의 계산은 예측 단계(12)와 가설 단계(13) 간의 차이를 기반으로 수행된다.
연산 비용의 계산 시, 선택적으로, 제1 이미지(1)의 검출과 제2 이미지(2)의 검출 사이의 카메라 이동을 보상하고, 그리고/또는 제2 이미지(2)의 검출과 제3 이미지(3)의 검출 사이의 카메라 이동을 보상하는 예측 벡터(12)의 조정이 수행된다. 이를 위해, 예컨대 카메라 이동의 변화량이 센서 시스템 또는 이미지 평가에 의해 검출되며, 이로부터 야기되는 각각의 픽셀에서의 이동의 변화량이 산출되어, 예측 벡터(12)를 결정하기 위해 제1 유동 벡터(10)에 가산된다.
예측 벡터(12)와 가설 벡터(13)는, 명확히 말하면 상호 정합되기 때문에, "연산된" 또는 "연쇄된(interlinked)" 것으로 간주된다. 이러한 특성은 그로써 증명된 유동 벡터 가설에 대한 신뢰도를 증가시키고, 품질 기준 또는 품질 속성으로서 각각의 유동 벡터에 부가될 수 있다. 따라서, 유동 벡터 가설의 타당성이 증대된다. 연산 검사 시, 예측 벡터(12)와 가설 벡터(13) 간의 유사도가 기설정 기준을 상회한다면, 다시 말해 연산 비용이 기설정 기준을 하회한다면, 특징(4)의 예측 벡터(12)와 가설 벡터(13)는 상호 연산된 것으로 판단된다. 예측 벡터(12)와 가설 벡터(13)가 상호 연산된 것으로서 판단되면, 이는 하나의 정보로서 가설 벡터(13)에 할당된다.
가설 벡터(13)가 본원 방법의 추후 과정에서, 예컨대 특징(4)과 관련된 예측 벡터(12)의 생성 시, 제2 이미지(2)와 제3 이미지(3) 간의 특징(4)의 이동을 기반으로 한다면, 이 정보는 본원 방법의 추후 과정에서 타당성의 평가를 위해 고려될 수 있다. 따라서, 이 경우, 가설 벡터(13)의 타당성의 평가는, 하나 또는 복수의 선행 루프 회차에서 특징(4)의 예측 벡터(12)와 가설 벡터(13)가 상호 연산된 것으로 판단되었는지의 여부를 기반으로 수행된다.
상기 연산 검사가 시간에 따라 수회 연속해서 성공적으로 수행되면, 증명은 그에 상응하게 훨씬 더 과거로 소급된다. 이 경우, 유동 벡터 또는 가설 벡터(13)의 연령이 다루어지고, 이는 중단 없이 성공적으로 수행된 연산 검사들의 수를 의미한다. 이렇게 구해진 연령은 그 자체에서 다시, 숫자로 표시되고 각각의 유동 벡터에 부가될 수 있는 품질 속성을 나타낸다.
본원의 방법은 하나의 루프에서 실행되며, 그로 인해 특징(4)과 관련된 유동 벡터들의 에이징(aging)이 가능해진다. 이 경우, 연산 비용의 계산이, 기설정 정도보다 더 큰, 예측 벡터(12)와 가설 벡터(13) 간의 유사도를 지시한다면, 그리고/또는 훨씬 더 높은 유사도를 갖는 대안의 가설 벡터가 존재하지 않는다면, 특징(4)에 대한 가설 벡터(13)와 예측 벡터(12)는 현재 루프 회차에서 상호 연산된 것으로 간주된다. 특징(4)에 대한 가설 벡터(13)와 예측 벡터(12)가 현재 루프 회차에서 이미 상호 연산된 것으로 간주되면, 현재 루프 회차에 뒤따르는 루프 회차의 유동 벡터 가설의 타당성은 추가로 증대된다.
따라서, 연쇄도 (비록 이 연쇄가 명시적으로 그 자체로서 저장되지 않더라도) 논할 수 있다. 이렇게 구해진 연령은, 양호한 유동 벡터들을 필터링하고 이상값(outlier)을 제거하기 위한 품질 기준으로서 이용될 수 있다. 이미 "연령 ≥ 1"의 임계값에 의해 대부분의 이상값은 제거될 수 있다. 이보다 더 높은 임계값에 의해 분리는 훨씬 더 개선되나, 임계값의 레벨과 함께 신규 가설 벡터(13)가 (선행자 없이) 임계값에 최초로 도달할 수 있기까지의 (이미지 갯수의 문맥에서) 대기 시간도 증가한다.
또한, 연산 검사가 각각의 특징(4)에서 성공적으로 수행되었다면, 유동장을 이용하여 이미지 간에 추가 정보를 계속 전송할 수 있는 유의미한 가능성도 도출된다. 예컨대 시점(t2)의 제2 이미지(2)에 이미, 예컨대 각각의 픽셀이 특정 객체 클래스에 어느 정도의 확률로 속하는지를 각각의 특징(4)에 명시하는 의미론적 세분화(semantic segmentation)(예: 보행자, 자동차, 자전거, 건물, 도로, 연석, 인도, 가드레일, 교통 표지, 초목 등)와 같은 라벨 정보가 부여될 수 있다. 이런 정보는 관련된 가설 벡터(13)에 의해 (t2에서 t3으로) 전달될 수 있다. 그럼으로써 상기 정보는 차후 정확한 좌표에 도달한다. 따라서, 유동 벡터 가설과 관련된 특징(4)이 특정 객체 클래스의 객체를 나타냄을 지시하는 정보가 특징(4)과 연산된다.
정보 또는 속성의 이러한 전달은 특히 연산 검사가 성공적이었을 때 유용한데, 그 이유는 이런 경우 시간에 따라 일정하고 물리적으로 타당성이 있는 거동이 존재하기 때문이다. 이 경우, 상기 전달이 정확하였고, 그에 뒤이어 추가 정보도 역시 정확하게 할당되었을 확률이 높다.
하기에서는, 연산 검사 및 유사도의 계산에 대한 바람직한 가능성이 기술된다. 이 경우, 연산을 위한 연산 비용이 산출되며, 연산 비용은 직교 방향 성분(orthogonal component)과 진행 방향 성분(longitudinal component)으로 구성된다. 이 경우, 연산 비용의 기초가 되는 차는 차동 벡터(21)의 2개의 벡터 성분(22, 23)에 의해 산출된다. 이 경우, 제1 벡터 성분(22)은 직교 방향 성분을 기술하고, 제2 벡터 성분(23)은 진행 방향 성분을 기술한다. 벡터 성분들(22, 23)은 정의에 따라 상호 수직을 이룬다.
예측 벡터(12)와 가설 벡터(13) 간의 관계가 도 2에 예시로 도시되어 있다. 즉, 도 2에는 제1 유동 벡터(10)가 도시되어 있다. 상기 제1 유동 벡터는 제1 위치(5)와 제2 위치(6) 간의 특징(4)의 이동을 기술한다. 특징(4)의 상기 이동은 제1 이미지(1)와 제2 이미지(2) 사이에서 수행된다. 제1 이미지(1)와 제2 이미지(2) 사이에서의 상기 이동을 토대로, 그리고 그에 따라 제1 유동 벡터(10)를 기반으로 예측 벡터(12)가 결정된다. 이 경우, 예측 벡터(12)는 제1 유동 벡터(10)와 동일하다. 이에 기초하여, 제3 이미지(3) 내에서의 이동이 일정한 경우 특징(4)이 이론 위치(8)에 위치해야 한다는 가정이 도출된다.
도 2에 도시된 예시에서는 또한, 이미지 분석을 통해 가설 벡터(13)가 계산된다. 따라서, 특징(4)이 제2 이미지(2)와 제3 이미지(3) 사이에서 제3 위치(7)로 이동되었다는 유동 벡터 가설이 세워진다. 이는 가설 벡터(13)를 통해 기술된다. 이미 유동장이 존재한다면, 가설 벡터는 유동장을 토대로 결정된다. 이 경우, 유동장은 바람직하게 순방향 유동을 기술한다. 상기 유동 벡터 가설 및 그에 따른 가설 벡터(13)가 타당성이 있는지를 평가하기 위해, 이제 연산 비용이 계산된다. 이를 위해, 가설 벡터(13)와 예측 벡터(12) 간의 차에서 차동 벡터(21)가 계산된다. 간단한 경우, 상기 차는 차동 벡터(21)의 절댓값과 같고, 상기 절댓값의 값은 직접적으로 연산 비용에 대한 값으로서 간주된다.
그러나 연산 비용의 기초가 되는 차는 여기에 기술되는 실시예에서 차동 벡터(21)의 벡터 성분들(22, 23)에 의해 결정된다. 직교 방향 성분, 다시 말해 가설 벡터(13)와 수직을 이루는 제1 벡터 성분(22)은 배향으로부터의 편차에 대한 척도를 나타내며, 기준 배향으로서는 가설 벡터(13)의 배향이 이용된다. 그 대안으로, 예측 벡터(12)의 배향도 기준으로서 이용될 수 있다. 진행 방향 성분, 다시 말해 제2 벡터 성분(23) 및 그에 따라 가설 벡터(13)에 대해 평행하게 놓인 제2 벡터 성분(23)은 기준 벡터의 방향 또는 반대 방향으로의 편차를 측정한다. 즉, 명확히 하자면, 예측 벡터(12)에 대한 가설 벡터(13)의 연장 또는 단축이 측정되며, 상기 두 사례에 대해 일반적으로 상이한 기준들이 정해진다.
기준 벡터가 제로 벡터에 상응한다면, 배향은 정의되지 않는다. 이러한 경우에는 특수 조치가 유용하다.
그런 다음, 모두 음이 아닌, 연산 비용의 직교 방향 성분과 진행 방향 성분이 예컨대 표준의 범주 내에서 조합된다. 이 경우, 상기 성분들은 가중될 수도 있는데, 이는 본 실시예에서는 사용되지 않는다.
그러나 본 실시예에서 직교 방향 성분의 평가를 위해, 진행 방향 성분의 경우보다 더 엄격한 기준이 정해져야 하는데, 그 이유는 직교 방향 편차는 객체의 방향 변화 또는 카메라의 회전을 통해서만 설명되는 반면, 진행 방향 성분은 추가로 이미 객체가 카메라에 근접하거나 카메라로부터 멀어지는 것을 통해서도 변하기 때문이다. 그러므로 진행 방향 변화량은 기설정 간격 이내에서 자유롭게 평가될 수 있으며, 예컨대 그로 인해 연산 비용은 발생하지 않는다. 이런 방식으로, 두 벡터 성분(22, 23)의 상이한 가중이 수행된다.
연산 비용은 예측 벡터(12)와 가설 벡터(13) 간의 차이에 대한 척도이다. 예측 벡터(12)와 가설 벡터(13)의 조합의 예시들이 도 3에 도시되어 있다. 예측 벡터(12)와 가설 벡터(13)가 동일하다면, 연산 비용은 영(0)이다. 도 3에서 가장 왼쪽에는, 예측 벡터(12)와 가설 벡터(13)가 상호 유사하고, 낮은 연산 비용이 발생하는 예시가 도시되어 있다. 도 3에서 가운데에는, 예측 벡터(12)와 가설 벡터(13)가 상호 유사하지 않고, 높은 연산 비용이 발생하는 예시가 도시되어 있다. 또한, 도 3에서 오른쪽에는, 예측 벡터(12)가 존재하지 않고, 그에 따라 연산 비용이 계산될 수 없는 예시가 도시되어 있다.
예측 벡터(12)와 가설 벡터(13) 간의 산출된 차이를 연산 비용으로 변환하기 위해, 연산 비용은 예측 벡터와 가설 벡터 간의 차이를 토대로 기설정 함수에 의해 산출된다. 이 경우, 기설정 함수를 통해 예측 벡터와 가설 벡터 간의 차이의 가중이 수행될 수 있다. 이 경우, 함수는 특히, 제1 벡터 성분(22)의 절댓값 및 제2 벡터 성분(23)의 절댓값에 따라 좌우되는 함수이다.
이어서 연산 비용을 더 유용한 형태로, 예컨대 비선형 함수를 이용하여 전이시키기 위해, 상기 연산 비용이 맵핑될 수 있다. 상기 비선형 함수의 예시가 도 4에 도시되어 있다. 상기 함수는 구간 선형이며(piecewise linear), 음이 아닌 연산 비용을, 하기에서 가중치로도 지칭되는, 부호가 있는 값들로 맵핑한다. 상기 함수는 연속 값이거나 이산 값일 수 있다. 이 사상은, 양의 가중치가 가산됨으로써 "양호한 유동 벡터 가설", 즉, 연산 비용이 낮은 유동 벡터 가설이 평가 절상되는 반면, 연산 비용이 높은 유동 벡터 가설은 하향 가중된다는 데 있다. 연산 비용은 제1 축(30)에 걸쳐 도시되어 있으며, 가중은 제2 축(31)에 걸쳐 도시되어 있다. 중립점(32)에서 가중이 양의 가중에서 음의 가중으로 전이된다.
도 4에서, 두 축 섹션은 서로 상이한 기울기를 가지며, 한 지점에서 교차한다. 여기서 교차점은 가로좌표에 위치한다. 상기 교차점은 중립점(32)으로도 불리며, 다음과 같이 특징적인 점이다. 즉, 중립점에서 부가 가중치(additive weight)는 바로 영이며, 그에 따라 예측값이 존재하지 않는 유동 벡터 가설의 경우와 같다. 즉, 이처럼 부호가 있는 부가 가중치의 개념에 의해, 단일의 또는 다수의 또는 때로는 모든 유동 벡터 가설에 대해 예측이 존재하지 않는, 실제로 중요한 상황을 문제 없이 고려할 수 있다.
부가 가중치는, 여기에는 상세히 기술하지 않은 이유에서 유동 벡터 가설에 이미 부여될 수 있는 기존의 가중치에 가산될 수 있다. 가중치들의 부가 대신 다른 해결책들도 고려될 수 있다.
연산 비용, 또는 (예컨대 비선형 맵핑에 따른) 연산 비용의 맵핑은, 값 범위를 적은 숫자의 치환값으로 맵핑하기 위해, 하나 또는 복수의 임계값과 비교될 수 있다. 이러한 선형 또는 비선형 양자화는 이항 결과(binary outcome) 또는 이진값보다 더 큰 결과를 가질 수 있다.
이진 결정(binary decision)의 경우, 이는 바로 유동 벡터 가설의 폐기 또는 승인에 상응할 수 있다. 따라서, 유동 벡터 가설 및 관련된 가설 벡터(13)의 타당성의 평가는 계산된 연산 비용을 기반으로, 그리고 그에 따라 계산된 유사도를 기반으로 수행된다.
2개보다 많은 치환값, 예컨대 4개의 치환값이 가용한 경우, 이들은 하기와 같이 해석될 수 있다.
0: 예측과 유동 벡터 가설이 서로 모순되며, 유동 벡터 가설 및 그와 더불어 가설 벡터(13)도 폐기된다.
1: 예측과 유동 벡터 가설이 서로 많이 일치하지는 않지만, 여전히 공차 범위 내에 있다. 유동 벡터 가설 및 가설 벡터(13)의 추가 처리는 신뢰되지 않는다.
2: 예측과 유동 벡터 가설이 양호하게 서로 일치하며, 유동 벡터 가설 및 그와 더불어 가설 벡터(13)도 정상적으로 계속 사용될 수 있다.
3: 예측 및 유동 벡터 가설이 매우 양호하게 서로 일치하거나, 심지어 동일하며, 유동 벡터 가설 및 그와 더불어 가설 벡터(13)도 특별한 목적을 위해 이용될 수 있다.
앞서 기술한 값 1 내지 4를 통해, 유동 벡터 가설 및 그에 따른 관련 가설 벡터(13)의 타당성이 기술된다. 여기서는, 제1 유사도가 제2 유사도보다 더 큰 조건에서, 연산 비용이 제2 유사도를 지시할 때보다, 연산 비용이 제1 유사도를 지시할 때 타당성이 더 높게 평가되는 점을 알 수 있다. 즉, 예측과 유동 벡터 가설이 상호 모순되지 않을 때, 타당성이 더 높게 평가된다. 예측과 유동 벡터 가설이 상호 모순될 때에는, 타당성이 더 낮게 평가된다. 예측과 유동 벡터 가설이 상호 모순되는지의 여부는 연산 비용으로부터 도출된다.
일반적으로, 특징(4)과 관련된 가설 벡터(13)의 생성 시, 특징(4)과 관련된 복수의 가설 벡터가 생성된다. 이 경우, 가설 벡터들(13) 각각에 대해 유사도의 계산 및 타당성의 평가가 수행된다. 그럼으로써, 특징(4)과 관련된 가설 벡터들(13) 각각에 대해, 예측 벡터(12)와 각각의 가설 벡터(13)의 유사도를 기술하는 연산 비용이 계산된다. 개별 가설 벡터들(13)의 타당성의 평가 시, 가설 벡터들(13) 각각에 앞서 기술한 값들(1 내지 4) 중 하나가 할당된다. 이 경우, 바람직하게는 특징(4)과 관련된 가설 벡터들(13) 중에서 가장 높은 값이 할당된 가설 벡터가 추가 처리를 위해 선택되며, 예컨대 유동장에 인계된다.
따라서, 일반적으로 특징(4)과 관련된 가설 벡터들(13) 중에서, 타당성의 평가 시 가장 높은 타당성을 갖는 가설 벡터가 추가 처리를 위해 선택된다고 말할 수 있다. 이렇게, 각각의 가설 벡터(13)에 대한 타당성은 기설정 초깃값에서 출발하여 연산 비용에 따라, 그리고 그에 관련된 유사도에 따라 증가하거나 감소한다. 이 경우, 유사도가 높고 연산 비용이 낮은 경우에 타당성이 증가된다. 그에 상응하게, 유사도가 낮고 연산 비용이 높은 경우 타당성은 감소된다. 이 경우, 타당성의 변화 정도는 예컨대 연산 비용에 따라 좌우될 수 있다. 타당성이 평가되었다면, 특징(4)과 관련된 가설 벡터들(13) 중에서 타당성의 평가에 따라 가장 높은 타당성을 갖는 가설 벡터가 추가 처리를 위해 선택되어, 예컨대 유동장에 인계된다.
예측과 유동 벡터 가설의 비교 결과는, 추가 정보로서 (여기서는 2비트로) 부호화되어 저장되거나, 전송되거나, 추가 처리될 수 있는 품질 기준일 수 있다.
상기 품질 기준들의 시간 기반 집계(time-based aggregation)가 특히 바람직하다. 이를 위해, 예컨대 유동 벡터마다, 연산 검사 시 결정된 품질 기준이 유동 벡터의 속성과 "계산"되며, 예컨대 가산된다. 상기 속성은 예컨대 이미 언급한 연령일 수 있다. 요컨대, 이 경우, 품질 기준은 이진일 수도 있고, 가산은 최대로 표시될 수 있는 연령에 도달할 때까지 수행될 수도 있다. 시간에 걸쳐 이진값보다 더 많은 신호들의 집계도 유용하다. 그러나 이 경우, 상기 속성이 더 이상 곧바로 연령으로서 해석되지 못할 수도 있다.
따라서 본 발명에 따라 이상값(outlier)에 대한 견고성이 현저히 개선된다. 광류에서의 이상값들은, 예컨대 장면 내에서 구조들이 반복될 때 발생할 수 있는 오류가 있는 대응 할당들(correspondence allocation)이다.
본 발명에 따른, 예측에 대한 유동 벡터 가설들의 비교에 의해, 예상에 따라 거동하는 유동 벡터 가설들이 우선되며, 그렇게 거동하지 않는 이상값 가설들은 효과적으로 억제된다. 또한, 시간 일관성에 대한 기준이 추가 정보로서 획득되어, 유동 벡터들에 의해 시간에 따라 계속 전송된다.
상기 전송 경로는 다른 정보들을 위해서도 이용될 수 있다.
유동 벡터 가설들의 평가를 위한, 그리고 속성들의 전송을 위한 유동 예측의 사상은, 단지 소수의 특징적인 픽셀에 대해서만 이동이 검출되는, 조밀하지 않은 광류(sparse optical flow: 저밀도 광류)의 경우뿐만 아니라, 모든 픽셀에 대해 또는 픽셀들 대부분에 대해 이동이 검출되는 조밀한 광류에서도 사용될 수 있다.
상기 속성에 대한 일례는 유동 벡터의 "연령"이다. 이는 예컨대 각각의 예측과의 비교를 토대로 연속해서 성공적으로 수행된 증명의 수일 수 있으며, 그에 따라 품질 기준 또는 신뢰도 기준을 나타낸다.
따라서, 유동 벡터 가설들의 타당성 검사 또는 비타당성 검사를 위해, 예컨대 잘못된 대응들(이상값들)의 제거를 위해 또는 예측을 통해 증명된 대응들의 평가 절상 또는 예측을 통해 증명되지 않은 대응들의 평가 절하를 위해, 광류 예측이 사용될 수 있다.
또한, 예측 벡터와 가설 벡터 간의 연산 검사는 평가의 생성에 의해 수행된다.
이 경우, 연산 검사에서는, 배향으로부터의 편차의 검사와 배향을 따른 편차의 검사로 분할된다. 이는, 경우에 따라 성분들의 가중 조합에 의해 수행된다.
기결정 간격 이내에서 배향을 따른 편차가 허용될 수 있다. 이 경우, 가설 벡터(13)가 예측 벡터(12)보다 (배향을 따라) 더 긴지 또는 더 짧은지의 여부에 따라, 상이하게 처리된다.
예측은 바람직하게는 역방향 유동으로서, 순방향 유동으로서의 유동 가설들과 조합되어 수행된다. 또한, 예컨대 연령 속성으로서, (예측을 통해 공급된 이력과 관련하여) 유동 벡터의 시간적 일관성에 대한 기준의 형성이 수행된다. 또한, 연산 검사에 의해 생성되거나 증명되거나 업데이트된 속성들이 인터페이스에 제공되며, 연산 검사에 따라 시간에 걸쳐 임의의 속성이, 예컨대 각각 유동 벡터에 부가되어, 전송된다.
바람직하게는, 예컨대 상이한 크기의 시간 간격들 또는 구간 섹션들을 고려하기 위해, 또는 카메라의 고유 이동을 보상하기 위해, 예측의 조정을 위한 매개변수들이 이용된다.
도 5에는, 유동 벡터 가설의 타당성 검사를 위한 장치가 도시되어 있다. 이 장치는, 앞서 기술한 방법을 실행하도록 구성된 컴퓨터 유닛(40)을 포함한다. 이 경우, 이미지들(1, 2, 3)은 카메라(41)에 의해 제공된다. 물론 이미지들(1, 2, 3)은 대안적인 소스에 의해서도, 예컨대 저장 매체에 의해서도, 제공될 수 있다.
상술한 개시 외에도, 도 1 내지 4의 개시를 명시적으로 참조한다.

Claims (12)

  1. 유동 벡터 가설의 타당성 검사를 위한 방법으로서,
    - 제2 이미지(2)가 이미지들의 시퀀스(20)에서 제1 이미지(1)를 뒤따르는 이미지인 조건에서, 제1 이미지(1)와 제2 이미지(2) 간의 특징(4)의 이동을 기반으로, 특징(4)과 관련된 예측 벡터(12)를 결정하는 단계와;
    - 제3 이미지(3)가 이미지들의 시퀀스(20)에서 제2 이미지(2)를 뒤따르는 이미지인 조건에서, 제2 이미지(2)와 제3 이미지(3) 간의 특징(4)의 유력한 이동을 기술하는, 특징(4)과 관련된 가설 벡터(13)를 생성하는 단계와;
    - 예측 벡터(12)와 가설 벡터(13) 간의 차이를 기반으로, 예측 벡터(12)와 가설 벡터(13) 간의 유사도를 계산하는 단계와;
    - 계산된 유사도를 기반으로 가설 벡터(13)의 타당성을 평가하되, 가설 벡터(13)가 제2 이미지(2)와 제3 이미지(3) 간의 특징(4)의 실제 이동을 기술하는지의 여부를 평가하는 단계;를 포함하는, 유동 벡터 가설의 타당성 검사 방법.
  2. 제1항에 있어서, 상기 방법은 하나의 루프에서 실행되며, 선행 루프 회차에서 특징(4)의 가설 벡터(13)에 할당된 정보를 기반으로 하는 정보가, 현재 루프 회차에서 특징(4)의 가설 벡터(13)에 할당되는 것을 특징으로 하는, 유동 벡터 가설의 타당성 검사 방법.
  3. 제2항에 있어서, 가설 벡터(13)에 할당된 정보는 연산 검사의 결과이며,
    - 상기 연산 검사는 각각의 루프 회차에서 실행되고, 예측 벡터(12)와 가설 벡터(13) 간의 유사도가 기설정 기준을 상회한다면, 특징(4)의 예측 벡터(12)와 가설 벡터(13)는 연산 검사 시 상호 연산된 것으로 간주되며,
    - 각각의 루프 회차에서 가설 벡터(13)의 타당성 평가 단계는, 추가로, 하나 또는 복수의 선행 루프 회차에서 특징(4)의 예측 벡터(12)와 가설 벡터(13)가 상호 연산된 것으로서 간주되었는지의 여부를 기반으로 수행되는 것을 특징으로 하는, 유동 벡터 가설의 타당성 검사 방법.
  4. 제2항에 있어서, 가설 벡터(13)에 할당된 정보는 특징(4)과 관련된 객체의 객체 클래스를 기술하는 것을 특징으로 하는, 유동 벡터 가설의 타당성 검사 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 예측 벡터(12)와 가설 벡터(13) 간의 유사도의 계산 시, 예측 벡터(12)에 대한 직교 방향으로의 편차가 예측 벡터(12)에 대한 진행 방향으로의 편차보다 더 엄격하게 평가되거나, 가설 벡터(13)에 대한 직교 방향으로의 편차가 가설 벡터(13)에 대한 진행 방향으로의 편차보다 더 엄격하게 평가되는 것을 특징으로 하는, 유동 벡터 가설의 타당성 검사 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 예측 벡터(12)는 역방향 유동을 기술하는 유동장을 토대로 결정되고, 그리고/또는 가설 벡터(13)는 순방향 유동을 기술하는 유동장을 토대로 결정되는 것을 특징으로 하는, 유동 벡터 가설의 타당성 검사 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 유사도의 계산 시, 제1 이미지(1)의 검출과 제2 이미지(2)의 검출 간의 카메라 이동이 보상되게 하고, 그리고/또는 제2 이미지(2)의 검출과 제3 이미지(3)의 검출 간의 카메라 이동이 보상되게 하는 예측 벡터(12)의 조정이 수행되는 것을 특징으로 하는, 유동 벡터 가설의 타당성 검사 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 유사도는 기설정 함수를 이용하여 예측 벡터(12)와 가설 벡터(13) 간의 차이를 토대로 산출되며, 기설정 함수를 통해 특히 예측 벡터(12)와 가설 벡터(13) 간의 차이의 가중이 수행되는 것을 특징으로 하는, 유동 벡터 가설의 타당성 검사 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 유사도의 계산 시, 상기 차이는 예측 벡터(12)와 가설 벡터(13)의 차의 계산을 통해 생성되는 차동 벡터(21)를 이용하여 산출되는 것을 특징으로 하는, 유동 벡터 가설의 타당성 검사 방법.
  10. 제9항에 있어서, 유사도의 계산 시, 상기 차이는 차동 벡터(21)의 2개의 벡터 성분(22, 23)을 이용하여 산출되며, 특히 두 벡터 성분(22, 23)의 상이한 가중이 수행되는 것을 특징으로 하는, 유동 벡터 가설의 타당성 검사 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 특징(4)과 관련된 가설 벡터(13)의 생성 시, 특징(4)과 관련된 복수의 가설 벡터가 생성되고, 가설 벡터들(13) 각각에 대해 유사도의 계산 및 타당성 평가가 수행되는 것을 특징으로 하는, 유동 벡터 가설의 타당성 검사 방법.
  12. 유동 벡터 가설의 타당성 검사를 위한 장치에 있어서,
    - 제2 이미지(2)가 이미지들의 시퀀스(20)에서 제1 이미지(1)를 뒤따르는 이미지인 조건에서, 제1 이미지(1)와 제2 이미지(2) 간의 특징(4)의 이동을 기반으로, 특징(4)과 관련된 예측 벡터(12)를 결정하고,
    - 제3 이미지(3)가 이미지들의 시퀀스(20)에서 제2 이미지(2)를 뒤따르는 이미지인 조건에서, 제2 이미지(2)와 제3 이미지(3) 간의 특징(4)의 유력한 이동을 기술하는, 특징(4)과 관련된 가설 벡터(13)를 생성하며,
    - 예측 벡터(12)와 가설 벡터(13) 간의 차이를 기반으로, 예측 벡터(12)와 가설 벡터(13) 간의 유사도를 계산하고,
    - 계산된 유사도를 기반으로 가설 벡터(13)의 타당성을 평가하되, 가설 벡터(13)가 제2 이미지(2)와 제3 이미지(3) 간의 특징(4)의 실제 이동을 기술하는지의 여부를 평가하도록
    구성된 컴퓨터 유닛(40)을 포함하는, 유동 벡터 가설의 타당성 검사 장치.
KR1020207007883A 2017-08-22 2018-07-25 유동 벡터 가설의 타당성 검사 방법 및 그 장치 KR102580056B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017214614.1A DE102017214614A1 (de) 2017-08-22 2017-08-22 Verfahren und Vorrichtung zur Plausibilisierung einer Flussvektor-Hypothese
DE102017214614.1 2017-08-22
PCT/EP2018/070138 WO2019038008A1 (de) 2017-08-22 2018-07-25 Verfahren und vorrichtung zur plausibilisierung einer flussvektor-hypothese

Publications (2)

Publication Number Publication Date
KR20200040849A true KR20200040849A (ko) 2020-04-20
KR102580056B1 KR102580056B1 (ko) 2023-09-20

Family

ID=63036060

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207007883A KR102580056B1 (ko) 2017-08-22 2018-07-25 유동 벡터 가설의 타당성 검사 방법 및 그 장치

Country Status (7)

Country Link
US (1) US11195287B2 (ko)
EP (1) EP3673459A1 (ko)
JP (1) JP6891339B2 (ko)
KR (1) KR102580056B1 (ko)
CN (1) CN111033565B (ko)
DE (1) DE102017214614A1 (ko)
WO (1) WO2019038008A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020213587A1 (de) 2020-10-29 2022-05-05 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Verknüpfen von optischen Fluss über eine Mehrzahl von Bildern einer Bilderfassungseinrichtung

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113466A (ja) * 2008-11-05 2010-05-20 Toshiba Corp 対象追跡装置、対象追跡プログラム及び方法
JP2014197353A (ja) * 2013-03-29 2014-10-16 株式会社メガチップス 画像検出装置及び制御プログラム並びに画像検出方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2490448A1 (de) * 2011-02-18 2012-08-22 Siemens Aktiengesellschaft Kodierverfahren und Bildkodiervorrichtung zur Kompression einer Bildsequenz
DE102013012778A1 (de) * 2013-07-31 2015-02-05 Connaught Electronics Ltd. Verfahren zum Detektieren eines sich bewegenden Fußgängers anhand von charakteristischen Merkmalen und optischen Flussvektoren eines Bilds, Kamerasystem und Kraftfahrzeug

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010113466A (ja) * 2008-11-05 2010-05-20 Toshiba Corp 対象追跡装置、対象追跡プログラム及び方法
JP2014197353A (ja) * 2013-03-29 2014-10-16 株式会社メガチップス 画像検出装置及び制御プログラム並びに画像検出方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
David Gibson 등, Robust Optical Flow Estimation Based on a Sparse Motion Trajectory Set, IEEE IMAGE PROCESSING(2003.04.) *
Jeffrey W. McCandles, Detection of aircraft in video sequences using a predictive optical flow algorithm, OPTICAL ENGINEERING(1999.03.01.) *

Also Published As

Publication number Publication date
US20200250838A1 (en) 2020-08-06
CN111033565A (zh) 2020-04-17
WO2019038008A1 (de) 2019-02-28
KR102580056B1 (ko) 2023-09-20
US11195287B2 (en) 2021-12-07
JP2020531997A (ja) 2020-11-05
CN111033565B (zh) 2024-02-13
JP6891339B2 (ja) 2021-06-18
EP3673459A1 (de) 2020-07-01
DE102017214614A1 (de) 2019-02-28

Similar Documents

Publication Publication Date Title
US11816852B2 (en) Associating LIDAR data and image data
JP6849403B2 (ja) 単一のカメラを用いた移動物体検出のための方法およびシステム
CN105335955B (zh) 对象检测方法和对象检测装置
US10668921B2 (en) Enhanced vehicle tracking
EP2858008B1 (en) Target detecting method and system
Buczko et al. How to distinguish inliers from outliers in visual odometry for high-speed automotive applications
KR20160010120A (ko) 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법
WO2008020598A1 (fr) Dispositif et procédé de détection d&#39;un nombre d&#39;objets
JP2019124683A (ja) オブジェクト速度推定方法と装置及び画像処理機器
CN111178286B (zh) 姿态轨迹预测方法、装置及电子设备
US20230326055A1 (en) System and method for self-supervised monocular ground-plane extraction
CN111695627A (zh) 路况检测方法、装置、电子设备及可读存储介质
KR102580056B1 (ko) 유동 벡터 가설의 타당성 검사 방법 및 그 장치
JP5109074B2 (ja) 車両速度判定装置および車両速度判定方法
CN111612818A (zh) 新型双目视觉多目标跟踪方法及系统
JP6952914B2 (ja) 運動状態判定装置
Popescu et al. On-road position estimation by probabilistic integration of visual cues
JP2015153253A (ja) 車載用認識装置
JP7383954B2 (ja) 学習用データ収集装置
JPH1096607A (ja) 物体検出装置および平面推定方法
RILL Intuitive Estimation of Speed using Motion and Monocular Depth Information
EP4379605A1 (en) Method for detection of map deviations, system and vehicle
Michalke et al. A generic temporal integration approach for enhancing feature-based road-detection systems
JP3846135B2 (ja) 移動物体追跡装置
EP4379321A1 (en) Method for detection of map deviations, system and vehicle

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right