KR102226372B1 - 다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템 및 방법 - Google Patents

다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템 및 방법 Download PDF

Info

Publication number
KR102226372B1
KR102226372B1 KR1020190156813A KR20190156813A KR102226372B1 KR 102226372 B1 KR102226372 B1 KR 102226372B1 KR 1020190156813 A KR1020190156813 A KR 1020190156813A KR 20190156813 A KR20190156813 A KR 20190156813A KR 102226372 B1 KR102226372 B1 KR 102226372B1
Authority
KR
South Korea
Prior art keywords
area
detected
camera
equation
calculated
Prior art date
Application number
KR1020190156813A
Other languages
English (en)
Inventor
김정호
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020190156813A priority Critical patent/KR102226372B1/ko
Application granted granted Critical
Publication of KR102226372B1 publication Critical patent/KR102226372B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

다수의 카메라와 라이더 센서의 융합을 통하여 객체를 추적하는 시스템 및 방법이 제공된다. 본 발명의 일 실시예에 따른, 다수 카메라와 라이다 센서 융합을 통한 객체 추적 방법은, 영상 데이터를 기반으로 객체를 검출하는 단계; 라이다 데이터와 영상 데이터 간의 캘리브레이션을 수행하는 단계; 및 캘리브레이션 결과를 기반으로 객체 간 유사도를 측정하고, 유사도 측정 결과를 기반으로 객체를 추적하는 단계;를 포함한다. 이에 의해, 다수 카메라 시스템에서 각 카메라에서 관측된 객체가 다른 카메라로 옮겨 가는 것을 라이다 센서를 통하여 계산함으로써, 객체의 추적 정확도를 향상 시킬 수 있다.

Description

다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템 및 방법{System and method for object tracking through fusion of multiple cameras and lidar sensor}
본 발명은 객체 추적 시스템 및 방법에 관한 것으로, 더욱 상세하게는 다수의 카메라와 라이더 센서의 융합을 통하여 객체를 추적하는 시스템 및 방법에 관한 것이다.
기존의 단일 카메라 기반의 객체 추적 기술은 카메라 영상에서 객체가 사라지면 더 이상 추적이 불가능하다는 문제점이 있다.
이를 극복하기 위해서 PTZ 카메라를 이용하여 객체를 따라 움직이면서 추적하는 기술이 개발되었으나, PTZ의 경우, 움직이면서 기존 관측되었던 영역을 관측하는 것이 어렵다는 단점이 있다.
다른 방법으로 도 1에 예시된 바와 같이 다수 카메라를 이용하여 동일 객체를 추적할 경우, 하나의 카메라에서 관측되었던 객체가 사라지고 다른 카메라에 보이기 시작했을 때, 같은 객체 인지를 인식하고 추적하는 것이 어렵다는 문제점이 존재한다.
이는 카메라가 바라보는 방향이 다르기 때문에 동일 물체를 관측하더라도 각 카메라 영상에서는 다른 형태를 보이기 때문이다.
따라서, 서로 다른 카메라를 통해 촬영되는 두 객체 사이에 유사도를 측정하여, 해당 객체가 동일 객체인 경우에 객체를 추적할 수 있는 방안의 모색이 요구된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 다수 카메라와 라이다(LiDAR) 켈리브레이션(Calibration)을 수행하여 라이다의 3D 점들을 각 카메라의 좌표계로 투영하고, 두 객체 사이의 유사도를 측정하여 객체를 추적하는 다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 다수 카메라와 라이다 센서 융합을 통한 객체 추적 방법은, 영상 데이터를 기반으로 객체를 검출하는 단계; 라이다 데이터와 영상 데이터 간의 캘리브레이션을 수행하는 단계; 및 캘리브레이션 결과를 기반으로 객체 간 유사도를 측정하고, 유사도 측정 결과를 기반으로 객체를 추적하는 단계;를 포함한다.
또한, 캘리브레이션 단계는, 특정 패턴으로부터 영상과 라이다 데이터를 획득하면, 캘리브레이션을 수행하여 라이다 센서와 카메라 간의 기하학적 정보를 추출할 수 있다.
그리고 캘리브레이션 단계는, 카메라와 라이다 간 상대적인 위치 및 회전 관계 (R, t)를 계산할 수 있다.
또한, 캘리브레이션 단계는, 라이다 3차원 좌표를 영상으로 투영하는 경우, 라이다로부터 획득한 3차원의 점인
Figure 112019123502232-pat00001
가, i번째 카메라 영상에서
Figure 112019123502232-pat00002
로 투영되어, i번째 카메라의
Figure 112019123502232-pat00003
가 계산되며, 영상에서의 좌표값(
Figure 112019123502232-pat00004
)은, 하기의 수식 1로 산출하는 것을 특징으로 하는 다수 카메라와 라이다 센서 융합을 통한 객체 추적 방법.
(수식 1)
Figure 112019123502232-pat00005
그리고 객체 검출 단계는, 딥러닝 기반의 객체 검출기 또는 특징량 기반의 객체 검출기 중 어느 하나를 이용할 수 있다.
또한, 객체 추적 단계는, 서로 다른 카메라로부터 수집되는 복수의 영상 데이터 간에 객체 유형, 위치의 유사도와 특징점의 추적된 수를 바탕으로 복수의 영상 데이터 안에 포함된 복수의 객체가 동일한 객체인지 여부를 판단할 수 있다.
그리고 동일한 카메라에서의 객체 추적 유사도(
Figure 112019123502232-pat00006
)는, 복수의 객체가 같은 유형인지 여부(
Figure 112019123502232-pat00007
)와 현재 객체가 검출된 영역 안에서의 특징점 개수(
Figure 112019123502232-pat00008
), 현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 매칭된 특징점 개수(
Figure 112019123502232-pat00009
), 복수의 영역 사이의 IoU를 기반으로 하기의 수식 2로 산출할 수 있다.
(수식 2)
Figure 112019123502232-pat00010
또한, IoU는, 현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 공유하고 있는 영역의 크기를 현재 객체가 검출된 영역과 이전 객체가 검출된 영역이 합쳐진 영역의 크기로 나눔으로써, 계산될 수 있다.
그리고 다른 카메라에서의 객체 추적 유사도(
Figure 112019123502232-pat00011
)는, 복수의 객체가 같은 유형인지 여부(
Figure 112019123502232-pat00012
)와 제1 카메라를 통해 현재 객체가 검출된 영역(
Figure 112019123502232-pat00013
)을 제2 카메라를 통해 현재 객체가 검출된 영역(
Figure 112019123502232-pat00014
)으로 옮긴 후, 계산된 영역에서 산출되는 IoU인 IoU'를 기반으로 하기의 수식 3으로 산출할 수 있다.
(수식 3)
Figure 112019123502232-pat00015
한편, 본 발명의 다른 실시예에 따른, 다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템은, 서로 다른 지점에서 영상 데이터를 수집하는 다수의 카메라; 라이다 데이터를 수집하는 라이다; 및 영상 데이터를 기반으로 객체가 검출되면, 라이다 데이터와 영상 데이터 간의 캘리브레이션을 수행하고, 캘리브레이션 결과를 기반으로 객체 간 유사도를 측정하고, 유사도 측정 결과를 기반으로 객체를 추적하는 프로세서;를 포함한다.
또한, 본 발명의 다른 실시예에 따른, 다수 카메라와 라이다 센서 융합을 통한 객체 추적 방법을 수행하는 컴퓨터 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체는, 영상 데이터를 기반으로 객체를 검출하는 단계; 라이다 데이터와 영상 데이터 간의 캘리브레이션을 수행하는 단계; 및 캘리브레이션 결과를 기반으로 객체 간 유사도를 측정하고, 유사도 측정 결과를 기반으로 객체를 추적하는 단계;를 포함하는 방법을 수행하는 컴퓨터 프로그램이 수록된다.
그리고 본 발명의 다른 실시예에 따른, 다수 카메라와 라이다 센서 융합을 통한 객체 추적 방법은, 영상 데이터 및 라이다 데이터를 수집하는 단계;
영상 데이터를 기반으로 객체를 검출하는 단계; 라이다 데이터와 영상 데이터 간의 캘리브레이션을 수행하는 단계; 및 캘리브레이션 결과를 기반으로 객체 간 유사도를 측정하고, 유사도 측정 결과를 기반으로 객체를 추적하는 단계;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 다수 카메라 시스템에서 각 카메라에서 관측된 객체가 다른 카메라로 옮겨 가는 것을 라이다 센서를 통하여 계산함으로써, 객체의 추적 정확도를 향상 시킬 수 있다.
도 1은, 서로 다른 카메라를 통해 촬영된 영상 데이터가 예시된 도면,
도 2는 본 발명의 일 실시예에 따른, 다수 카메라와 라이다 센서 융합을 통한 객체 추적 방법의 설명에 제공된 흐름도,
도 3은 본 발명의 일 실시예에 따른, 다수 카메라와 라이다 센서 융합을 통한 객체 추적 방법의 설명에 제공된 도면,
도 4 내지 도 5는 본 발명의 일 실시예에 따른, 객체 검출 단계의 설명에 제공된 도면,
도 6은 본 발명의 일 실시예에 따른, 카메라-라이다 캘리브레이션의 설명에 제공된 도면,
도 7은 본 발명의 일 실시예에 따른, 영상 데이터에 라이다 데이터의 투영 결과가 예시된 도면,
도 8 내지 도 9는 본 발명의 일 실시예에 따른, 객체 추적 단계의 설명에 제공된 도면,
도 10은 본 발명의 일 실시예에 따른, 두 영역 사이의 IoU의 설명에 제공된 도면, 그리고
도 11은 본 발명의 일 실시예에 따른, 다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템의 설명에 제공된 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른, 다수 카메라와 라이다 센서 융합을 통한 객체 추적 방법(이하에서는 '객체 추적 방법'으로 총칭하기로 함)의 설명에 제공된 흐름도이고, 도 3은 본 발명의 일 실시예에 따른, 다수 카메라와 라이다 센서 융합을 통한 객체 추적 방법의 설명에 제공된 도면이며, 도 4 내지 도 5는 본 발명의 일 실시예에 따른, 객체 검출 단계의 설명에 제공된 도면이고, 도 6은 본 발명의 일 실시예에 따른, 카메라-라이다 캘리브레이션의 설명에 제공된 도면이다.
본 실시예에 따른 객체 추적 방법은, 다수 카메라 시스템에서 각 카메라에서 관측된 객체가 다른 카메라로 옮겨 가는 것을 라이다 센서를 통하여 계산하기 위해, 영상 데이터를 기반으로 객체를 검출하는 객체 검출 단계(S210), 라이다 데이터와 영상 데이터 간의 캘리브레이션을 수행하는 캘리브레이션 단계(S220) 및 캘리브레이션 결과를 기반으로 객체 간 유사도를 측정하고, 유사도 측정 결과를 기반으로 객체를 추적하는 객체 추적 단계(S230)으로 구성될 수 있다.
객체 검출 단계(S210)에서는, 도 4 내지 도 5에 예시된 바와 같이 딥러닝 기반의 객체 검출기를 이용하여, 영상 데이터를 기반으로 객체를 검출하거나, 또는 특징량 기반의 객체 검출기를 이용하여, 영상 데이터를 기반으로 객체를 검출할 수 있다.
캘리브레이션 단계(S220)에서는, 특정 패턴으로부터 영상과 라이다 데이터를 획득하면, 도 6에 예시된 바와 같이 캘리브레이션을 수행하여 카메라와 라이다 간 상대적인 위치 및 회전 관계 (R, t)를 계산하여, 라이다 센서와 카메라 간의 기하학적 정보를 추출할 수 있다. 도 7은 본 발명의 일 실시예에 따른, 영상 데이터에 라이다 데이터의 투영 결과가 예시된 도면이다.
구체적으로, 캘리브레이션 단계(S220)에서는, 라이다 3차원 좌표를 영상으로 투영하는 경우, 라이다로부터 획득한 3차원의 점인
Figure 112019123502232-pat00016
가, i번째 카메라 영상에서
Figure 112019123502232-pat00017
로 투영되어, i번째 카메라의
Figure 112019123502232-pat00018
가 계산되며, 이때, 영상에서의 좌표값(
Figure 112019123502232-pat00019
)은, 하기의 수식 1로 산출할 수 있다.
(수식 1)
Figure 112019123502232-pat00020
객체 추적 단계(S230)에서는, 서로 다른 카메라로부터 수집되는 복수의 영상 데이터 간에 객체 유형, 위치의 유사도와 특징점의 추적된 수를 바탕으로 복수의 영상 데이터 안에 포함된 복수의 객체가 동일한 객체인지 여부를 판단할 수 있다.
이때, 같은 카메라에서 객체 추적의 유사도는 두 물체가 같은 유형인지와 그 영역 안에서 추적된 특징점의 비율, 그리고 두 영역 사이의 IoU로부터 정의할 수 있다.
즉, 동일한 카메라에서의 객체 추적 유사도(
Figure 112019123502232-pat00021
)는, 복수의 객체가 같은 유형인지 여부(
Figure 112019123502232-pat00022
)와 현재 객체가 검출된 영역 안에서의 특징점 개수(
Figure 112019123502232-pat00023
), 현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 매칭된 특징점 개수(
Figure 112019123502232-pat00024
), 복수의 영역 사이의 IoU를 기반으로 하기의 수식 2로 산출할 수 있다.
(수식 2)
Figure 112019123502232-pat00025
이때, IoU는, 현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 공유하고 있는 영역(Area of Overlap)의 크기를 현재 객체가 검출된 영역과 이전 객체가 검출된 영역이 합쳐진 영역(Area of Union)의 크기로 나눔으로써, 계산될 수 있다.
Figure 112019123502232-pat00026
그리고 다른 카메라에서의 객체 추적 유사도(
Figure 112019123502232-pat00027
)는, 복수의 객체가 같은 유형인지 여부(
Figure 112019123502232-pat00028
)와 제1 카메라를 통해 현재 객체가 검출된 영역(
Figure 112019123502232-pat00029
)을 제2 카메라를 통해 현재 객체가 검출된 영역(
Figure 112019123502232-pat00030
)으로 옮긴 후, 계산된 영역에서 산출되는 IoU인 IoU'를 기반으로 하기의 수식 3으로 산출할 수 있다.
(수식 3)
Figure 112019123502232-pat00031
여기서, 복수의 객체가 같은 유형인지 여부(
Figure 112019123502232-pat00032
)는 i번째 물체와 j번째 물체가 서로 같은 유형일 경우 1, 아닐 경우 0으로 표시한다. 그리고
Figure 112019123502232-pat00033
의 경우 Graph Matching 방법으로 계산할 수 있다.
또한, 제1 카메라를 통해 현재 객체가 검출된 영역(
Figure 112019123502232-pat00034
)을 제2 카메라를 통해 현재 객체가 검출된 영역(
Figure 112019123502232-pat00035
)으로 옮기는 과정에서, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심(
Figure 112019123502232-pat00036
) 및 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심(
Figure 112019123502232-pat00037
)을 산출하여, 이용할 수 있다.
구체적으로 예를 들면, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심(
Figure 112019123502232-pat00038
)은, 하식 수식 6을 통해 산출할 수 있다.
(수식 6)
Figure 112019123502232-pat00039
또한, 하기의 수식 7과 같이 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심과 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심의 차이(
Figure 112019123502232-pat00040
)를 이용하여, 제1 카메라를 통해 현재 객체가 검출된 영역과 제2 카메라를 통해 현재 객체가 검출된 영역의 차이(
Figure 112019123502232-pat00041
)를 산출할 수 있다.
(수식 7)
Figure 112019123502232-pat00042
도 11은 본 발명의 일 실시예에 따른, 다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템(이하에서는 '객체 추적 시스템'으로 총칭하기로 함)의 설명에 제공된 도면이다.
도 11을 참조하면, 본 실시예에 따른 객체 추적 시스템은, 서로 다른 지점에서 영상 데이터를 수집하는 다수의 카메라(110), 라이다 데이터를 수집하는 라이다 센서(120), 프로세서(130) 및 저장부(140)를 포함할 수 있다.
저장부(140)는 프로세서(130)가 동작함에 있어 필요한 프로그램 및 데이터를 저장하는 저장매체로 구현될 수 있다.
프로세서(130)는, 영상 데이터를 기반으로 객체가 검출되면, 라이다 데이터와 영상 데이터 간의 캘리브레이션을 수행하고, 캘리브레이션 결과를 기반으로 객체 간 유사도를 측정하고, 유사도 측정 결과를 기반으로 객체를 추적할 수 있다.
이를 통해, 다수의 카메라(100) 중 특정 카메라에서 관측된 객체가 다른 카메라로 옮겨 가는 것을 라이다 센서(120)를 통하여 계산함으로써, 객체의 추적 정확도를 향상 시킬 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 다수의 카메라
120 : 라이다 센서
130 : 프로세서
140 : 저장부

Claims (12)

  1. 영상 데이터를 기반으로 객체를 검출하는 단계;
    라이다 데이터와 영상 데이터 간의 캘리브레이션을 수행하는 단계; 및
    캘리브레이션 결과를 기반으로 객체 간 유사도를 측정하고, 유사도 측정 결과를 기반으로 객체를 추적하는 단계;를 포함하고,
    객체 검출 단계는,
    딥러닝 기반의 객체 검출기 또는 특징량 기반의 객체 검출기 중 어느 하나를 이용하며,
    캘리브레이션 단계는,
    특정 패턴으로부터 영상과 라이다 데이터를 획득하면, 캘리브레이션을 수행하여 라이다 센서와 카메라 간의 기하학적 정보를 추출하고,
    캘리브레이션 단계는,
    카메라와 라이다 간 상대적인 위치 및 회전 관계 (R, t)를 계산하며,
    캘리브레이션 단계는,
    라이다 3차원 좌표를 영상으로 투영하는 경우, 라이다로부터 획득한 3차원의 점인
    Figure 112021008838701-pat00145
    가, i번째 카메라 영상에서
    Figure 112021008838701-pat00146
    로 투영되어, i번째 카메라의
    Figure 112021008838701-pat00147
    가 계산되며,
    영상에서의 좌표값(
    Figure 112021008838701-pat00148
    )은,
    하기의 수식 1로 산출하고,
    (수식 1)
    Figure 112021008838701-pat00149

    객체 추적 단계는,
    같은 카메라에서 객체 추적을 위해, 두 객체가 같은 유형인지 여부, 두 객체가 검출된 두 영역 안에서 추적된 특징점의 비율 및 두 영역 간의 IoU로부터 유사도를 판단하고,
    다른 카메라에서의 객체 추적을 위해, 두 객체가 같은 유형인지 여부 및 두 객체가 검출된 두 영역 안 간의 IoU를 고려하되, 두 영역 안에서 추적된 특징점의 비율을 고려하지 않고 유사도를 판단하되,
    서로 다른 카메라로부터 수집되는 복수의 영상 데이터 간에 객체 유형, 위치의 유사도와 특징점의 추적된 수를 바탕으로 복수의 영상 데이터 안에 포함된 복수의 객체가 동일한 객체인지 여부를 판단하며,
    동일한 카메라에서의 객체 추적 유사도(
    Figure 112021008838701-pat00150
    )는,
    복수의 객체가 같은 유형인지 여부(
    Figure 112021008838701-pat00151
    )와 현재 객체가 검출된 영역 안에서의 특징점 개수(
    Figure 112021008838701-pat00152
    ), 현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 매칭된 특징점 개수(
    Figure 112021008838701-pat00153
    ), 복수의 영역 사이의 IoU를 기반으로 하기의 수식 2로 산출하고,
    (수식 2)
    Figure 112021008838701-pat00154

    IoU는,
    현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 공유하고 있는 영역의 크기를 현재 객체가 검출된 영역과 이전 객체가 검출된 영역이 합쳐진 영역의 크기로 나눔으로써 계산되며,
    다른 카메라에서의 객체 추적 유사도(
    Figure 112021008838701-pat00155
    )는,
    복수의 객체가 같은 유형인지 여부(
    Figure 112021008838701-pat00156
    )와 제1 카메라를 통해 현재 객체가 검출된 영역(
    Figure 112021008838701-pat00157
    )을 제2 카메라를 통해 현재 객체가 검출된 영역(
    Figure 112021008838701-pat00158
    )으로 옮긴 후, 계산된 영역에서 산출되는 IoU인 IoU'를 기반으로 하기의 수식 3으로 산출하며,
    (수식 3)
    Figure 112021008838701-pat00159

    복수의 카메라 중 제1 카메라를 통해 현재 검출된 영역의 무게 중심(
    Figure 112021008838701-pat00160
    ) 은, 하기 수식 6을 통해 산출하고,
    (수식 6)
    Figure 112021008838701-pat00161

    제1 카메라를 통해 현재 객체가 검출된 영역과 제2 카메라를 통해 현재 객체가 검출된 영역의 차이(
    Figure 112021008838701-pat00162
    )는,
    제1 카메라를 통해 현재 객체가 검출된 영역(
    Figure 112021008838701-pat00163
    )을 제2 카메라를 통해 현재 객체가 검출된 영역(
    Figure 112021008838701-pat00164
    )으로 옮기는 과정에서, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심(
    Figure 112021008838701-pat00165
    ) 및 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심(
    Figure 112021008838701-pat00166
    )이 산출되면, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심과 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심의 차이(
    Figure 112021008838701-pat00167
    )를 이용하는 하기 수식 7을 이용하여 산출되는 것을 특징으로 하는 다수 카메라와 라이다 센서 융합을 통한 객체 추적 방법.
    (수식 7)
    Figure 112021008838701-pat00087

  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 서로 다른 지점에서 영상 데이터를 수집하는 다수의 카메라;
    라이다 데이터를 수집하는 라이다 센서; 및
    영상 데이터를 기반으로 객체가 검출되면, 라이다 데이터와 영상 데이터 간의 캘리브레이션을 수행하고, 캘리브레이션 결과를 기반으로 객체 간 유사도를 측정하고, 유사도 측정 결과를 기반으로 객체를 추적하는 프로세서;를 포함하고,
    영상 데이터 기반 객체 검출 시, 딥러닝 기반의 객체 검출기 또는 특징량 기반의 객체 검출기 중 어느 하나가 이용되며,
    프로세서는,
    특정 패턴으로부터 영상과 라이다 데이터를 획득하면, 캘리브레이션을 수행하여 라이다 센서와 카메라 간의 기하학적 정보를 추출하고,
    프로세서는,
    카메라와 라이다 간 상대적인 위치 및 회전 관계 (R, t)를 계산하며,
    프로세서는,
    라이다 3차원 좌표를 영상으로 투영하는 경우, 라이다로부터 획득한 3차원의 점인
    Figure 112021008838701-pat00168
    가, i번째 카메라 영상에서
    Figure 112021008838701-pat00169
    로 투영되어, i번째 카메라의
    Figure 112021008838701-pat00170
    가 계산되며,
    영상에서의 좌표값(
    Figure 112021008838701-pat00171
    )은,
    하기의 수식 1로 산출하고,
    (수식 1)
    Figure 112021008838701-pat00172

    프로세서는,
    같은 카메라에서 객체 추적을 위해, 두 객체가 같은 유형인지 여부, 두 객체가 검출된 두 영역 안에서 추적된 특징점의 비율 및 두 영역 간의 IoU로부터 유사도를 판단하고,
    다른 카메라에서의 객체 추적을 위해, 두 객체가 같은 유형인지 여부 및 두 객체가 검출된 두 영역 안 간의 IoU를 고려하되, 두 영역 안에서 추적된 특징점의 비율을 고려하지 않고 유사도를 판단하되,
    서로 다른 카메라로부터 수집되는 복수의 영상 데이터 간에 객체 유형, 위치의 유사도와 특징점의 추적된 수를 바탕으로 복수의 영상 데이터 안에 포함된 복수의 객체가 동일한 객체인지 여부를 판단하며,
    동일한 카메라에서의 객체 추적 유사도(
    Figure 112021008838701-pat00173
    )는,
    복수의 객체가 같은 유형인지 여부(
    Figure 112021008838701-pat00174
    )와 현재 객체가 검출된 영역 안에서의 특징점 개수(
    Figure 112021008838701-pat00175
    ), 현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 매칭된 특징점 개수(
    Figure 112021008838701-pat00176
    ), 복수의 영역 사이의 IoU를 기반으로 하기의 수식 2로 산출하고,
    (수식 2)
    Figure 112021008838701-pat00177

    IoU는,
    현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 공유하고 있는 영역의 크기를 현재 객체가 검출된 영역과 이전 객체가 검출된 영역이 합쳐진 영역의 크기로 나눔으로써 계산되며,
    다른 카메라에서의 객체 추적 유사도(
    Figure 112021008838701-pat00178
    )는,
    복수의 객체가 같은 유형인지 여부(
    Figure 112021008838701-pat00179
    )와 제1 카메라를 통해 현재 객체가 검출된 영역(
    Figure 112021008838701-pat00180
    )을 제2 카메라를 통해 현재 객체가 검출된 영역(
    Figure 112021008838701-pat00181
    )으로 옮긴 후, 계산된 영역에서 산출되는 IoU인 IoU'를 기반으로 하기의 수식 3으로 산출하며,
    (수식 3)
    Figure 112021008838701-pat00182

    복수의 카메라 중 제1 카메라를 통해 현재 검출된 영역의 무게 중심(
    Figure 112021008838701-pat00183
    ) 은, 하기 수식 6을 통해 산출하고,
    (수식 6)
    Figure 112021008838701-pat00184

    제1 카메라를 통해 현재 객체가 검출된 영역과 제2 카메라를 통해 현재 객체가 검출된 영역의 차이(
    Figure 112021008838701-pat00185
    )는,
    제1 카메라를 통해 현재 객체가 검출된 영역(
    Figure 112021008838701-pat00186
    )을 제2 카메라를 통해 현재 객체가 검출된 영역(
    Figure 112021008838701-pat00187
    )으로 옮기는 과정에서, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심(
    Figure 112021008838701-pat00188
    ) 및 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심(
    Figure 112021008838701-pat00189
    )이 산출되면, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심과 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심의 차이(
    Figure 112021008838701-pat00190
    )를 이용하는 하기 수식 7을 이용하여 산출되는 것을 특징으로 하는 다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템.
    (수식 7)
    Figure 112021008838701-pat00106

  11. 영상 데이터를 기반으로 객체를 검출하는 단계;
    라이다 데이터와 영상 데이터 간의 캘리브레이션을 수행하는 단계; 및
    캘리브레이션 결과를 기반으로 객체 간 유사도를 측정하고, 유사도 측정 결과를 기반으로 객체를 추적하는 단계;를 포함하고,
    객체 검출 단계는,
    딥러닝 기반의 객체 검출기 또는 특징량 기반의 객체 검출기 중 어느 하나를 이용하며,
    캘리브레이션 단계는,
    특정 패턴으로부터 영상과 라이다 데이터를 획득하면, 캘리브레이션을 수행하여 라이다 센서와 카메라 간의 기하학적 정보를 추출하고,
    캘리브레이션 단계는,
    카메라와 라이다 간 상대적인 위치 및 회전 관계 (R, t)를 계산하며,
    캘리브레이션 단계는,
    라이다 3차원 좌표를 영상으로 투영하는 경우, 라이다로부터 획득한 3차원의 점인
    Figure 112021008838701-pat00191
    가, i번째 카메라 영상에서
    Figure 112021008838701-pat00192
    로 투영되어, i번째 카메라의
    Figure 112021008838701-pat00193
    가 계산되며,
    영상에서의 좌표값(
    Figure 112021008838701-pat00194
    )은,
    하기의 수식 1로 산출하고,
    (수식 1)
    Figure 112021008838701-pat00195

    객체 추적 단계는,
    같은 카메라에서 객체 추적을 위해, 두 객체가 같은 유형인지 여부, 두 객체가 검출된 두 영역 안에서 추적된 특징점의 비율 및 두 영역 간의 IoU로부터 유사도를 판단하고,
    다른 카메라에서의 객체 추적을 위해, 두 객체가 같은 유형인지 여부 및 두 객체가 검출된 두 영역 안 간의 IoU를 고려하되, 두 영역 안에서 추적된 특징점의 비율을 고려하지 않고 유사도를 판단하되,
    서로 다른 카메라로부터 수집되는 복수의 영상 데이터 간에 객체 유형, 위치의 유사도와 특징점의 추적된 수를 바탕으로 복수의 영상 데이터 안에 포함된 복수의 객체가 동일한 객체인지 여부를 판단하며,
    동일한 카메라에서의 객체 추적 유사도(
    Figure 112021008838701-pat00196
    )는,
    복수의 객체가 같은 유형인지 여부(
    Figure 112021008838701-pat00197
    )와 현재 객체가 검출된 영역 안에서의 특징점 개수(
    Figure 112021008838701-pat00198
    ), 현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 매칭된 특징점 개수(
    Figure 112021008838701-pat00199
    ), 복수의 영역 사이의 IoU를 기반으로 하기의 수식 2로 산출하고,
    (수식 2)
    Figure 112021008838701-pat00200

    IoU는,
    현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 공유하고 있는 영역의 크기를 현재 객체가 검출된 영역과 이전 객체가 검출된 영역이 합쳐진 영역의 크기로 나눔으로써 계산되며,
    다른 카메라에서의 객체 추적 유사도(
    Figure 112021008838701-pat00201
    )는,
    복수의 객체가 같은 유형인지 여부(
    Figure 112021008838701-pat00202
    )와 제1 카메라를 통해 현재 객체가 검출된 영역(
    Figure 112021008838701-pat00203
    )을 제2 카메라를 통해 현재 객체가 검출된 영역(
    Figure 112021008838701-pat00204
    )으로 옮긴 후, 계산된 영역에서 산출되는 IoU인 IoU'를 기반으로 하기의 수식 3으로 산출하며,
    (수식 3)
    Figure 112021008838701-pat00205

    복수의 카메라 중 제1 카메라를 통해 현재 검출된 영역의 무게 중심(
    Figure 112021008838701-pat00206
    ) 은, 하기 수식 6을 통해 산출하고,
    (수식 6)
    Figure 112021008838701-pat00207

    제1 카메라를 통해 현재 객체가 검출된 영역과 제2 카메라를 통해 현재 객체가 검출된 영역의 차이(
    Figure 112021008838701-pat00208
    )는,
    제1 카메라를 통해 현재 객체가 검출된 영역(
    Figure 112021008838701-pat00209
    )을 제2 카메라를 통해 현재 객체가 검출된 영역(
    Figure 112021008838701-pat00210
    )으로 옮기는 과정에서, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심(
    Figure 112021008838701-pat00211
    ) 및 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심(
    Figure 112021008838701-pat00212
    )이 산출되면, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심과 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심의 차이(
    Figure 112021008838701-pat00213
    )를 이용하는 하기 수식 7을 이용하여 산출되는 것을 특징으로 하는 다수 카메라와 라이다 센서 융합을 통한 객체 추적 방법을 수행하는 컴퓨터 프로그램이 수록된 컴퓨터로 읽을 수 있는 기록매체.
    (수식 7)
    Figure 112021008838701-pat00125

  12. 영상 데이터 및 라이다 데이터를 수집하는 단계;
    영상 데이터를 기반으로 객체를 검출하는 단계;
    라이다 데이터와 영상 데이터 간의 캘리브레이션을 수행하는 단계; 및
    캘리브레이션 결과를 기반으로 객체 간 유사도를 측정하고, 유사도 측정 결과를 기반으로 객체를 추적하는 단계;를 포함하고,
    객체 검출 단계는,
    딥러닝 기반의 객체 검출기 또는 특징량 기반의 객체 검출기 중 어느 하나를 이용하며,
    캘리브레이션 단계는,
    특정 패턴으로부터 영상과 라이다 데이터를 획득하면, 캘리브레이션을 수행하여 라이다 센서와 카메라 간의 기하학적 정보를 추출하고,
    캘리브레이션 단계는,
    카메라와 라이다 간 상대적인 위치 및 회전 관계 (R, t)를 계산하며,
    캘리브레이션 단계는,
    라이다 3차원 좌표를 영상으로 투영하는 경우, 라이다로부터 획득한 3차원의 점인
    Figure 112021008838701-pat00214
    가, i번째 카메라 영상에서
    Figure 112021008838701-pat00215
    로 투영되어, i번째 카메라의
    Figure 112021008838701-pat00216
    가 계산되며,
    영상에서의 좌표값(
    Figure 112021008838701-pat00217
    )은,
    하기의 수식 1로 산출하고,
    (수식 1)
    Figure 112021008838701-pat00218

    객체 추적 단계는,
    같은 카메라에서 객체 추적을 위해, 두 객체가 같은 유형인지 여부, 두 객체가 검출된 두 영역 안에서 추적된 특징점의 비율 및 두 영역 간의 IoU로부터 유사도를 판단하고,
    다른 카메라에서의 객체 추적을 위해, 두 객체가 같은 유형인지 여부 및 두 객체가 검출된 두 영역 안 간의 IoU를 고려하되, 두 영역 안에서 추적된 특징점의 비율을 고려하지 않고 유사도를 판단하되,
    서로 다른 카메라로부터 수집되는 복수의 영상 데이터 간에 객체 유형, 위치의 유사도와 특징점의 추적된 수를 바탕으로 복수의 영상 데이터 안에 포함된 복수의 객체가 동일한 객체인지 여부를 판단하며,
    동일한 카메라에서의 객체 추적 유사도(
    Figure 112021008838701-pat00219
    )는,
    복수의 객체가 같은 유형인지 여부(
    Figure 112021008838701-pat00220
    )와 현재 객체가 검출된 영역 안에서의 특징점 개수(
    Figure 112021008838701-pat00221
    ), 현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 매칭된 특징점 개수(
    Figure 112021008838701-pat00222
    ), 복수의 영역 사이의 IoU를 기반으로 하기의 수식 2로 산출하고,
    (수식 2)
    Figure 112021008838701-pat00223

    IoU는,
    현재 객체가 검출된 영역과 이전 객체가 검출된 영역 간의 공유하고 있는 영역의 크기를 현재 객체가 검출된 영역과 이전 객체가 검출된 영역이 합쳐진 영역의 크기로 나눔으로써 계산되며,
    다른 카메라에서의 객체 추적 유사도(
    Figure 112021008838701-pat00224
    )는,
    복수의 객체가 같은 유형인지 여부(
    Figure 112021008838701-pat00225
    )와 제1 카메라를 통해 현재 객체가 검출된 영역(
    Figure 112021008838701-pat00226
    )을 제2 카메라를 통해 현재 객체가 검출된 영역(
    Figure 112021008838701-pat00227
    )으로 옮긴 후, 계산된 영역에서 산출되는 IoU인 IoU'를 기반으로 하기의 수식 3으로 산출하며,
    (수식 3)
    Figure 112021008838701-pat00228

    복수의 카메라 중 제1 카메라를 통해 현재 검출된 영역의 무게 중심(
    Figure 112021008838701-pat00229
    ) 은, 하기 수식 6을 통해 산출하고,
    (수식 6)
    Figure 112021008838701-pat00230

    제1 카메라를 통해 현재 객체가 검출된 영역과 제2 카메라를 통해 현재 객체가 검출된 영역의 차이(
    Figure 112021008838701-pat00231
    )는,
    제1 카메라를 통해 현재 객체가 검출된 영역(
    Figure 112021008838701-pat00232
    )을 제2 카메라를 통해 현재 객체가 검출된 영역(
    Figure 112021008838701-pat00233
    )으로 옮기는 과정에서, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심(
    Figure 112021008838701-pat00234
    ) 및 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심(
    Figure 112021008838701-pat00235
    )이 산출되면, 제1 카메라를 통해 현재 객체가 검출된 영역의 무게 중심과 제2 카메라를 통해 현재 객체가 검출된 영역의 무게 중심의 차이(
    Figure 112021008838701-pat00236
    )를 이용하는 하기 수식 7을 이용하여 산출되는 것을 특징으로 하는 다수 카메라와 라이다 센서 융합을 통한 객체 추적 방법.
    (수식 7)
    Figure 112021008838701-pat00144
KR1020190156813A 2019-11-29 2019-11-29 다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템 및 방법 KR102226372B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190156813A KR102226372B1 (ko) 2019-11-29 2019-11-29 다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190156813A KR102226372B1 (ko) 2019-11-29 2019-11-29 다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102226372B1 true KR102226372B1 (ko) 2021-03-11

Family

ID=75142875

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190156813A KR102226372B1 (ko) 2019-11-29 2019-11-29 다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102226372B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102313944B1 (ko) * 2021-05-14 2021-10-18 주식회사 인피닉 화각의 경계를 넘어가는 객체 추적 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102343052B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 3d 데이터를 기반으로 2d 이미지에서의 객체의 이동 경로를 식별하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102689136B1 (ko) 2023-09-12 2024-07-26 주식회사 위트콘 라이다와 카메라 일체형의 촬영 장치 및 그의 처리 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Peter Todorov. MULTI-CAMERA CALIBRATION Calibration. Tampere University. Faculty of Information Technology and Communication Sciences. 석사학위논문, 2019년 5월 1부.* *
Zheng Tang 외 4인. Single-camera and inter-camera vehicle tracking and 3D speed estimation based on fusion of visual and semantic features. 2018 IEEE/CVF (제580면 내지 제591면), 2018년 6월 1부.* *
이종서 외 2인. 카메라와 라이다의 객체 검출 성능 향상을 위한 Sensor Fusion. 방송공학회논문지 24(4) (제580면 내지 제591면), 2019년 7월* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102313944B1 (ko) * 2021-05-14 2021-10-18 주식회사 인피닉 화각의 경계를 넘어가는 객체 추적 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102343052B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 3d 데이터를 기반으로 2d 이미지에서의 객체의 이동 경로를 식별하는 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102689136B1 (ko) 2023-09-12 2024-07-26 주식회사 위트콘 라이다와 카메라 일체형의 촬영 장치 및 그의 처리 방법

Similar Documents

Publication Publication Date Title
KR102226372B1 (ko) 다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템 및 방법
EP3001384B1 (en) Three-dimensional coordinate computing apparatus, three-dimensional coordinate computing method, and program for three-dimensional coordinate computing
US11132810B2 (en) Three-dimensional measurement apparatus
US20200005447A1 (en) Computer aided rebar measurement and inspection system
US9767563B2 (en) Image processing apparatus and method for obtaining position and orientation of imaging apparatus
US11935250B2 (en) Method, device and computer-readable storage medium with instructions for processing sensor data
KR20170133269A (ko) 영상 처리장치, 영상 처리방법 및 프로그램
US9305217B2 (en) Object tracking system using robot and object tracking method using a robot
JP5554726B2 (ja) データ関連付けのための方法と装置
KR20200013585A (ko) 복수의 카메라로부터 뷰를 결합하는 방법 및 카메라 시스템
KR102043366B1 (ko) 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법
WO2014132490A1 (ja) 車両諸元計測処理装置、車両諸元計測方法及び記録媒体
JP6789421B2 (ja) 情報処理装置、追跡方法、及び追跡プログラム
CN110544268B (zh) 一种基于结构光及SiamMask网络的多目标跟踪方法
KR20160014413A (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
WO2014103673A1 (ja) 情報処理システム、情報処理方法及びプログラム
JP2011513876A (ja) 物体の動作を特徴づけるための方法およびシステム
CN114969221A (zh) 一种更新地图的方法及相关设备
JP6659095B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2012198802A (ja) 侵入物検出システム
JP3879874B2 (ja) 物流計測装置
JP2009266155A (ja) 移動体追跡装置及びその方法
KR20150137698A (ko) 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치
Liu et al. HyperSight: Boosting distant 3D vision on a single dual-camera smartphone
Beleznai et al. Reliable left luggage detection using stereo depth and intensity cues

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant