KR102465312B1 - 좌표계 기반 이동객체 충돌 예측 시스템 및 방법 - Google Patents

좌표계 기반 이동객체 충돌 예측 시스템 및 방법 Download PDF

Info

Publication number
KR102465312B1
KR102465312B1 KR1020210131614A KR20210131614A KR102465312B1 KR 102465312 B1 KR102465312 B1 KR 102465312B1 KR 1020210131614 A KR1020210131614 A KR 1020210131614A KR 20210131614 A KR20210131614 A KR 20210131614A KR 102465312 B1 KR102465312 B1 KR 102465312B1
Authority
KR
South Korea
Prior art keywords
moving object
image
moving
collision prediction
coordinates
Prior art date
Application number
KR1020210131614A
Other languages
English (en)
Other versions
KR20220125662A (ko
Inventor
김동기
Original Assignee
주식회사 핀텔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 핀텔 filed Critical 주식회사 핀텔
Publication of KR20220125662A publication Critical patent/KR20220125662A/ko
Application granted granted Critical
Publication of KR102465312B1 publication Critical patent/KR102465312B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 좌표계 기반의 이동객체 충돌 예측 시스템은 인접영역에 위치한 복수의 카메라에서 촬영된 객체영상 프레임을 입력받는 영상 입력부; 상기 객체영상 프레임 내의 이동객체 및 이동객체의 진행동선을 추적하는 이동객체 추적부; 상기 이동객체 및 이동객체의 진행동선을 추적 후, 각 객체영상 프레임의 이미지 픽셀좌표를 현실좌표로 투영변환하는 영상처리부; 및 추적한 객체들의 위치 및 진행동선을 기초로 객체들 간의 충돌시점을 예측하는 충돌예측부를 포함한다.

Description

좌표계 기반 이동객체 충돌 예측 시스템 및 방법{System and method for predicting collision of moving objects based on coordinate system}
본 발명은 좌표계 기반 이동객체 충돌 예측 시스템 및 방법에 관한 것이다.
보행자 충돌 방지 시스템은, 예측된 충돌을 피하기 위하여 또는 그 결과를 제한하기 위하여 적절한 반응을 유발함으로써, 수백 밀리 초에서 일 초 사이의 매우 짧은 시간 간격 동안 충돌의 위험을 평가하여 자동차-보행차 충돌을 예측할 수 있어야 한다.
이 시스템은, 자동차-보행자 충돌이 두 개의 시간 t0와 t0+Δ사이에서 발생할 위험을 평가하기 위해서, 자동차의 동적인 상태, 그 엔진 회전수, 운전자의 다양한 컨트롤들의 위치, 그 크기, 그 위치 또는 그 속도와 같은 감지된 보행자 또는 보행자들의 정보에 관한 정보를 수신한다.
프랑스 특허 출원 FR 2864673에 기술된 바와 같이, 개연성(probabilistic) 타입의 충돌 예측 방법과 관련하여, 현실적이고 적절한 모델들에 기초하여 자동차와 보행자의 장래의 경로를 만드는 것이 필요하다.
그리고 나서, 각 시간 단계의 증가에 따라, 각각의 상태 변수가, 상기 위험을 정량화(quantify)하도록 개연성이 결합된 한 세트의 값을 취하도록 간주함으로써, 충돌이 발생하는지 아닌지 테스트하는 것이 필요하다. 이러한 정량화(quantification)는 몬테 카를로 시뮬레이션(Monte Carlo simulation)에 의해서 수행될 수 있다. 이것은 예를 들어, "지적인(intelligent) 몬테 카를로 시뮬레이션(Monte Carlo simulation)과 모순 민감성(discrepancy sensitivity)"이라는 제목으로, 하기는 공개 참조 자료와 함께 공개된, E.A. JOHNSON, L.A. BERGMAN 및 B. F.SPENCER에 의한 본문에 기술되어 있다: P.D.Spanos (ed.), Computational Stochastic Mechanics, Balkema, Rotterdam, 1999, 31-39.
프랑스 특허 출원 FR 2864673
본 발명이 해결하고자 하는 과제는 종래의 문제점을 해결할 수 있는 좌표계 기반 충돌 예측 시스템 및 방법을 제공하는 데 그 목적이 있다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 좌표계 기반 이동객체 충돌예측 시스템은 인접영역에 위치한 복수의 카메라에서 촬영된 객체영상 프레임을 입력받는 영상 입력부; 상기 객체영상 프레임 내의 이동객체 및 이동객체의 진행동선을 추적하는 이동객체 추적부; 상기 이동객체 및 이동객체의 진행동선을 추적 후, 각 객체영상 프레임의 이미지 픽셀좌표를 현실좌표로 투영변환하는 영상처리부; 및 추적한 객체들의 위치 및 진행동선을 기초로 객체들 간의 충돌시점을 예측하는 충돌예측부를 포함한다.
일 실시예에서, 상기 영상 입력부는 객체영상을 송출한 영상카메라의 위치정보를 제공받는 것을 특징으로 한다.
일 실시예에서, 상기 영상처리부는 상기 객체영상에 설정된 이미지 픽셀좌표 중 와핑하고자 하는 영역의 4개의 좌표쌍에 대한 변환행렬을 산출한 후, 투영변환 함수를 이용하여 현실좌표가 적용된 객체영상을 생성하는 것을 특징으로 한다.
일 실시예에서, 상기 이동객체 추적부는 상기 영상처리부에서 투영변환된 객체영상의 시간변화에 따라 이동하는 관심영역 내의 이동객체의 위치 및 진행동선을 추적하고, 영상 내에 이동객체의 표식점 및 추적선을 생성하는 것을 특징으로 한다.
일 실시예에서, 상기 표식점은 이동객체 또는 관심영역의 중심점 하단에 표시되고, 표식점의 위치는 이동객체 또는 관심영역의 크기(가로축 및 세로축)로 인한 위치 측정 오차를 줄이기 위한 용도로 사용되는 것을 특징으로 한다.
일 실시예에서, 상기 충돌예측부는 n개의 동선데이터 및 객체의 좌표를 하기의 식 1에 대입하여 해당 객체의 동선예측값을 산출하고, 하기의 식 2의 오차함수로 산출된 동선 데이터들의 오차들이 최소가 되는 계수(a, b)를 기 설정된 연산과정으로 산출하는 것을 특징으로 한다.
[식 1]
Figure 112021113869634-pat00001
[식 2]
Figure 112021113869634-pat00002
여기서, x는 영상 프레임의 번호이고, y는 객체의 좌표이고, i는 동선 데이터를 의미하고,
Figure 112021113869634-pat00003
는 충돌예측모델의 예측결과값이고, E(a, b)는 오차함수이다.
일 실시예에서, 상기 충돌예측부는 각 객체 별 실시간 동선 데이터들에 최소자승법을 적용하여 각 객체의 동선 데이터들의 오차가 최소가 되는 계수(a, b)를 예측하고자 하는 미래 프레임 번호를 대입하여 객체의 미래 좌표를 예측하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 좌표계 기반의 이동객체 충돌 예측 방법은 영상 입력부에서 적어도 하나 이상의 객체영상 프레임에 설정된 이미지 픽셀좌표 설정값을 입력받는 단계; 이동객체 추적부에서 상기 객체영상 프레임 내의 이동객체 및 이동객체의 진행동선을 추적하는 단계; 영상처리부에서 상기 이동객체 및 이동객체의 진행동선을 추적 후, 각 객체영상 프레임의 이미지 픽셀좌표를 현실좌표로 투영변환하는 단계; 및 충돌예측부에서 추적한 객체들의 위치 및 진행동선을 기초로 객체들 간의 충돌시점을 예측하는 단계를 포함한다.
일 실시예에서, 상기 투영변환하는 단계는 상기 객체영상에 설정된 이미지 픽셀좌표 중 와핑하고자 하는 영역의 4개의 좌표쌍에 대한 변환행렬을 산출한 후, 투영변환 함수를 이용하여 현실좌표가 적용된 객체영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 추적하는 단계는 투영변환된 객체영상의 시간변화에 따라 이동하는 관심영역 내의 이동객체의 위치 및 진행방향을 추적하고, 영상 내에 이동객체의 표식점 및 추적선을 생성하는 단계를 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 표식점은 이동객체 또는 관심영역의 중심점 하단에 표시되고, 표식점의 위치는 이동객체 또는 관심영역의 크기(가로축 및 세로축)로 인한 위치 측정 오차를 줄이기 위한 용도로 사용되는 것을 특징으로 한다.
일 실시예에서, 상기 충돌시점을 예측하는 단계는 n개의 동선데이터 및 객체의 좌표를 하기의 식 1에 대입하여 해당 객체의 동선예측값을 산출하고, 하기의 식 2의 오차함수로 산출된 동선 데이터들의 오차들이 최소가 되는 계수(a, b)를 기 설정된 연산과정으로 산출하는 단계를 포함하는 것을 특징으로 한다.
[식 1]
Figure 112021113869634-pat00004
[식 2]
Figure 112021113869634-pat00005
여기서, x는 영상 프레임의 번호이고, y는 객체의 좌표이고, i는 동선 데이터를 의미하고,
Figure 112021113869634-pat00006
는 충돌예측모델의 예측결과값이고, E(a, b)는 오차함수이다.
본 발명의 일 실시예에 따른 좌표계 기반의 이동객체 충돌 예측 시스템 및 방법을 이용하면, 카메라에 설정된 이미지 픽셀 좌표계로 촬영된 영상을 현실좌표가 반영된 영상으로 투영변환함으로써, 영상 내의 이동객체의 진행동선을 추적 및 예측할 수 있어, 해당 영상과 인접한 장소에서 촬영된 영상 내의 이동객체들 간의 충돌을 예측할 수 있다는 이점을 제공한다.
도 1은 본 발명의 일 실시예에 따른 좌표계 기반 이동객체 충돌 예측 시스템의 장치 블럭도이다.
도 2는 도 1에 도시된 영상처리부에서 영상의 이미지 좌표를 현실좌표로 투영변환하는 과정의 일 예를 도시화한 예시도이다.
도 3은 현실좌표로 투영변환된 영상 내의 이동객체의 표식점 및 추적선을 설명하기 위한 일예시도이다.
도 4는 영상 내의 이동객체들의 이미지 좌표 및 실제좌표를 나타낸 그래프이다.
도 5는 본 발명의 일 실시예에 따른 좌표계 기반의 이동객체 충돌 예측 방법을 설명한 흐름도이다.
도 6은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시한 도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 첨부된 도면을 기초로 본 발명의 일 실시예에 따른 좌표계 기반의 이동객체 충돌 예측시스템 및 방법을 보다 상세하게 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 좌표계 기반 이동객체 충돌 예측 시스템의 장치 블록도이고, 도 2는 도 1에 도시된 영상처리부에서 영상의 이미지 좌표를 현실좌표로 투영변환하는 과정의 일 예를 도시화한 예시도이고, 도 3은 현실좌표로 투영변환된 영상 내의 이동객체의 표식점 및 추적선을 설명하기 위한 일예시도이고, 도 4는 영상 내의 이동객체들의 이미지 좌표 및 실제좌표를 나타낸 그래프이다.
먼저, 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 좌표계 기반 객체 충돌 예측 시스템(100)은 영상입력부(110), 영상처리부(130), 이동객체 추적부(120) 및 충돌예측부(140)를 포함한다.
상기 영상입력부(110)는 복수의 카메라에서 촬영된 객체영상 프레임을 입력받는 구성일 수 있다. 여기서, 복수의 카메라는 기 설정된 반경 내에 위치하는 인접한 카메라일 수 있다.
상기 영상입력부(110)는 객체영상 프레임을 송출한 카메라의 위치정보(방위각 정보)를 입력받을 수 있다.
상기 영상입력부(110)는 복수의 카메라 각각의 이미지 픽셀 좌표계의 설정정보를 입력받는 구성일 수 있다.
상기 영상입력부(110)는 복수의 카메라 간의 인접도 별로 복수의 카메라에서 제공된 객체영상을 분류할 수 있다.
다음으로, 이동객체 추적부(120)는 객체영상의 시간변화에 따라 이동하는 관심영역 내의 이동객체의 위치 및 진행방향을 추적하고, 영상 내에 이동객체의 표식점 및 추적선을 생성할 수 있다.
여기서, 표식점은 이동객체 또는 관심영역의 중심점 하단에 표시될 수 있고, 표식점의 위치는 이동객체 또는 관심영역의 크기(가로축 및 세로축)로 인한 위치 측정 오차를 줄이기 위함일 수 있다.
다음으로, 영상처리부(130)는 인접도에 따라 분류된 객체영상의 이미지 픽셀좌표를 현실좌표로 투영변환 처리하는 구성으로, 보다 상세하게는 투영 행렬(Perspective Matrix) 알고리즘을 이용하여 이미지 픽셀 좌표를 현실좌표의 투영 행렬로 변환하는 구성일 수 있다.
또한, 영상처리부(130)는 객체영상의 이미지 픽셀좌표 중 와핑하고자 하는 영역의 4개의 좌표쌍에 대한 투영행렬을 산출한 후, 투영변환 함수를 이용하여 현실좌표가 적용된 객체영상을 생성하는 구성일 수 있다.
또한, 영상처리부(130)는 딥러닝 객체 인식 알고리즘으로 학습된 객체 정보와의 비교를 통해 사용자가 지정한 관심객체가 포함된 관심영역을 객체영상 내에서 선정한다.
한편, 딥러닝 객체 인식 알고리즘은 faster R-CNN based feature map(ResNet 101 backbone) 및 Fully Convolutional Network(FCN)를 포함한다(도 2 내지 도 4 참조).
CNN 모델은 컨볼루션(공진화), 활성화, 풀링, 정규화 및 완전 연결을 포함하는 레이어 스택을 통해 처리 한 후 입력에 대한 결과를 출력한다. 기존의 접근 방식과 비교하여 CNN은 이미지 사전 처리가 덜 필요하고 학습을 통해 기능을 추출하므로 피쳐 추출기의 수동 설계에 대한 전문 지식이 필요하지 않다는 장점이 있다. 또한, 영역 기반 지역 신경망 (R-CNN:Regions with CNN features)는 하나의 이미지에서 주요 객체들을 박스(Bounding box)로 표현하여 정확히 식별(identify) 하기 위한 것이다. 이는 이미지 데이터를 입력으로, 박스로 영역을 표시하고(Bounding box) 각 객체에 대한 라벨링(class label) 한 형태를 출력으로 갖는다. 즉, 이는 이미지 내에 물체가 있을 법한 영역 후보들을 먼저 제안하고 이들의 스코어를 매겨 물체를 인식하는 방법이다.
Faster R-CNN는 RPN(region proposal network)과 빠른 R-CNN 감지기를 포함한다. 오브젝트 감지에 더 빠른 R-CNN을 적용하는 과정에는 세 가지 주요 단계가 있다.
첫째, 컨볼루션 신경망 (convolutional neural network)이 특징 추출을 위해 이용되고, 피쳐 맵 (feature map)이 마지막 층에서 생성된다. 둘째, RPN은 기능 맵을 기반으로 다양한 종횡비와 축척으로 영역 제안(Regional Proposals)을 생성한다. 그리고 세 번째 단계에서 생성 된 영역 제안은 분류 및 바운딩 박스 회귀를 위해 고속 R-CNN 검출기로 공급한다.
보다 구체적으로 CNN을 이용한 특징 추출 과정을 살펴보면, Zeiler-Fergus 네트워크의 CNN 레이어는 5 개의 컨벌루션 레이어와 3개의 최대 풀링 레이어를 포함한다.
컨볼루션 층은 입력 이미지의 픽셀 어레이 위로 슬라이딩하는 필터를 사용하고, 필터와 서브 어레이 사이의 내적이 계산된다. 내적의 값과 바이어스 값이 추가되어 하위 배열에 대한 회선 결과가 얻어진다.
이때 필터 및 바이어스의 초기 가중치는 무작위로 할당되며 SGD (Stochastic Gradient descent) 알고리즘을 통해 교육 중에 계속 조정가능하다. 최대 풀링 계층은 입력 픽셀 배열의 하위 배열에서 최대 값을 가져 와서 입력 데이터의 공간 크기를 줄일 수 있다.
ReLU 함수는 활성화 함수로 사용되며 max (0, x) 함수로 요소 단위 활성화를 적용하여 계산 비용을 줄이고 정확도를 향상시킬 수 있다. 과도한 피팅 문제를 피하기 위해 드롭 아웃 레이어는 두 개의 인접한 레이어에 있는 뉴런 사이의 연결 부분을 특정 드롭아웃 속도로 연결 해제하도록 설계된다.
정규화 레이어는 학습 속도에 영향을 주지 않고 입력 이미지의 화이트닝을 돕기 위해 적용되며 높은 학습 속도와 빠른 수렴 속도로 이어질 수 있다.
또한, 영역 제안 네트워크(RPN)는 보다 빠른 R-CNN(faster R-CNN)에서 앵커를 사용하여 다양한 종횡비 및 비율로 객체 영역을 생성하도록 학습한다. 작은 슬라이딩 윈도우가 피쳐 맵 위로 미끄러지도록 제안 된 다음 더 낮은 차원의 피쳐 (ZF 네트워크의 경우 256 차원)로 투영된다.
2 개의 1×1 필터 및 ReLU 함수와의 컨볼루션 (convolution) 후, 추출 된 피쳐는 경계 박스 회귀 층 및 분류 층으로 각각 공급된다. 비 최대 억제(NMS)는 조합 (IoU)이 높은 제안서를 병합하는 데 사용될 수 있다. 이때 제안서는 객체 점수에 따라 순위가 매겨지며 최상위만 N 개의 순위가 매겨진 제안서가 보관된다.
그리고 RPN을 통해 생성된 영역 제안(Regional Proposals)은 고속 R-CNN 검출기의 입력 관심 영역 (RoI)으로 활용된다. 각 RoI에 대해, 컨볼루션 계층의 특징은 RoI 풀링 계층을 통해 고정 길이 벡터로 변환된다. 각 고정 길이 특징 벡터는 완전히 연결된 레이어의 시퀀스로 공급되고 최종 특징 벡터는 softmax 레이어로 공급되어 5개의 클래스에 대한 확률 점수와 경계 상자의 상대 좌표를 출력하는 회귀 레이어를 생성할 수 있다.
FCN(Fully Convolutional Network)는 Fully-Connected Layer를 그에 상응하는 Convolution Layer로 바꾸고, 그것을 통과시키는 부분까지는 CNN과 차이가 없고, 네트워크의 출력을 다르게 하고자 하는 알고리즘으로, 어떤 클래스에 대한 분류 점수가 아니라,　2차원 이미지 상의 분류 점수 맵을 생성하고자 하는 알고리즘이다.
한편, 영상처리부(130)는 관심영역에 대해 이진화, 세션화, 잡음제거 중 하나 이상의 전처리를 수행할 수 있다.
또한, 가우시안 필터(Gaussian filter), 라플라시안 필터(Laplacian filter), 가우시안 차(Difference of Gaussian: DoG) 및 캐니 에지 검출(Canny edge detection) 등을 이용하여, 객체영상을 변형 또는 개선시킬 수 있다.
또한, 가우시안 필터 등을 이용하여 잡음을 제거하고(Noise reduction), 에지 성분 검출을 위한 그라디언트(gradient) 연산을 수행하며(gradient operation), 끊어진 에지 라인을 보간 하는 비 최대치 억제를 수행하고(non-maximum suppression), 에지 맵을 이진화하는 히스테리시스 경계화(Hysteresis thresholding)를 수행할 수 있다.
다음으로, 충돌예측부(140)는 최소자승법을 이용하여 추적한 객체들의 위치 및 진행동선을 기초로 객체들 간의 충돌시점을 예측하는 구성일 수 있다.
상기 충돌예측부(140)는 n개의 동선데이터 및 객체의 좌표를 하기의 식 1에 대입하여 해당 객체의 동선예측값을 산출하고, 하기의 식 2의 오차함수로 산출된 동선 데이터들의 오차들이 최소가 되는 계수(a, b)를 기 설정된 연산과정으로 산출한다.
[식 1]
Figure 112021113869634-pat00007
[식 2]
Figure 112021113869634-pat00008
여기서, x는 영상 프레임의 번호이고, y는 객체의 좌표이고, i는 I 번째 동선 데이터를 의미하고,
Figure 112021113869634-pat00009
는 충돌예측모델의 예측결과값이고, E(a, b)는 오차함수이다.
오차 함수를 각각 a, b에 대하여 편미분 한 후, 연립방정식으로 a, b 값을 하기의 식 3과 같이 표현할 수 있다.
[식 3]
Figure 112021113869634-pat00010
따라서, 상기 충돌예측부는 각 객체 별 실시간 동선 데이터들에 최소자승법을 적용하여 각 객체의 동선 데이터들의 오차가 최소가 되는 계수(a, b)를 예측하고자 하는 미래 프레임 번호를 대입하여 객체의 미래 좌표를 예측할 수 있다.
도 5는 본 발명의 일 실시예에 따른 좌표계 기반 이동객체 충돌예측 방법을 설명한 흐름도이다.
도 5을 참조하면, 본 발명의 일 실시예에 따른 좌표계 기반 이동객체 충돌예측 방법(S700)은 영상 입력부에서 적어도 하나 이상의 객체영상 프레임에 설정된 이미지 픽셀좌표 설정값을 입력받으면(S710), 이동객체 추적부에서 상기 객체영상 프레임 내의 이동객체 및 이동객체의 진행동선을 추적(S720)한다.
이후, 영상처리부에서 상기 이동객체 및 이동객체의 진행동선을 추적 후, 각 객체영상 프레임의 이미지 픽셀좌표를 현실좌표로 투영변환(S730)하면, 충돌예측부에서 최소자승법을 이용하여 추적한 객체들의 위치 및 진행동선을 기초로 객체들 간의 충돌시점을 예측(S740)하는 과정으로 이루진다.
여기서, 상기 S730 과정은 상기 객체영상 프레임에 설정된 이미지 픽셀좌표 중 와핑하고자 하는 영역의 4개의 좌표쌍에 대한 변환행렬을 산출한 후, 투영변환 함수를 이용하여 현실좌표가 적용된 객체영상 프레임을 생성하는 단계를 포함할 수 있다.
상기 S720 과정은 투영변환된 객체영상의 시간변화에 따라 이동하는 관심영역 내의 이동객체의 위치 및 진행방향을 추적하고, 영상 내에 이동객체의 표식점 및 추적선을 생성하는 단계를 포함할 수 있다.
여기서, 상기 표식점은 이동객체 또는 관심영역의 중심점 하단에 표시되고, 표식점의 위치는 이동객체 또는 관심영역의 크기(가로축 및 세로축)로 인한 위치 측정 오차를 줄이기 위한 용도로 사용된다.
상기 S740 과정은 n개의 동선데이터 및 객체의 좌표를 하기의 식 1에 대입하여 해당 객체의 동선예측값을 산출하고, 하기의 식 2의 오차함수로 산출된 동선 데이터들의 오차들이 최소가 되는 계수(a, b)를 기 설정된 연산과정으로 산출하는 단계일 수 있다.
[식 1]
Figure 112021113869634-pat00011
[식 2]
Figure 112021113869634-pat00012
여기서, x는 영상 프레임의 번호이고, y는 객체의 좌표이고, i는 동선 데이터를 의미하고,
Figure 112021113869634-pat00013
는 충돌예측모델의 예측결과값이고, E(a, b)는 오차함수이다.
도 6은 본 명세서에 개진된 하나 이상의 실시예가 구현될 수 있는 예시적인 컴퓨팅 환경을 도시하는 도면으로, 상술한 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1100)를 포함하는 시스템(1000)의 예시를 도시한다. 예를 들어, 컴퓨팅 디바이스(1100)는 개인 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩탑 디바이스, 모바일 디바이스(모바일폰, PDA, 미디어 플레이어 등), 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 전술된 시스템 또는 디바이스를 포함하는 분산 컴퓨팅 환경 등을 포함하지만, 이것으로 한정되는 것은 아니다.
컴퓨팅 디바이스(1100)는 적어도 하나의 프로세싱 유닛(1110) 및 메모리(1120)를 포함할 수 있다. 여기서, 프로세싱 유닛(1110)은 예를 들어 중앙처리장치(CPU), 그래픽처리장치(GPU), 마이크로프로세서, 주문형 반도체(Application Specific Integrated Circuit, ASIC), Field Programmable Gate Arrays(FPGA) 등을 포함할 수 있으며, 복수의 코어를 가질 수 있다. 메모리(1120)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 또한, 컴퓨팅 디바이스(1100)는 추가적인 스토리지(1130)를 포함할 수 있다. 스토리지(1130)는 자기 스토리지, 광학 스토리지 등을 포함하지만 이것으로 한정되지 않는다. 스토리지(1130)에는 본 명세서에 개진된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독 가능한 명령이 저장될 수 있고, 운영 시스템, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독 가능한 명령도 저장될 수 있다. 스토리지(1130)에 저장된 컴퓨터 판독 가능한 명령은 프로세싱 유닛(1110)에 의해 실행되기 위해 메모리(1120)에 로딩될 수 있다. 또한, 컴퓨팅 디바이스(1100)는 입력 디바이스(들)(1140) 및 출력 디바이스(들)(1150)을 포함할 수 있다.
여기서, 입력 디바이스(들)(1140)은 예를 들어 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 또는 임의의 다른 입력 디바이스 등을 포함할 수 있다. 또한, 출력 디바이스(들)(1150)은 예를 들어 하나 이상의 디스플레이, 스피커, 프린터 또는 임의의 다른 출력 디바이스 등을 포함할 수 있다. 또한, 컴퓨팅 디바이스(1100)는 다른 컴퓨팅 디바이스에 구비된 입력 디바이스 또는 출력 디바이스를 입력 디바이스(들)(1140) 또는 출력 디바이스(들)(1150)로서 사용할 수도 있다.
또한, 컴퓨팅 디바이스(1100)는 컴퓨팅 디바이스(1100)가 다른 디바이스(예를 들어, 컴퓨팅 디바이스(1300))와 통신할 수 있게 하는 통신접속(들)(1160)을 포함할 수 있다.
여기서, 통신 접속(들)(1160)은 모뎀, 네트워크 인터페이스 카드(NIC), 통합 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속 또는 컴퓨팅 디바이스(1100)를 다른 컴퓨팅 디바이스에 접속시키기 위한 다른 인터페이스를 포함할 수 있다. 또한, 통신 접속(들)(1160)은 유선 접속 또는 무선 접속을 포함할 수 있다. 상술한 컴퓨팅 디바이스(1100)의 각 구성요소는 버스 등의 다양한 상호접속(예를 들어, 주변 구성요소 상호접속(PCI), USB, 펌웨어(IEEE 1394), 광학적 버스 구조 등)에 의해 접속될 수도 있고, 네트워크(1200)에 의해 상호접속될 수도 있다. 본 명세서에서 사용되는 "구성요소", "시스템" 등과 같은 용어들은 일반적으로 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어, 또는 실행중인 소프트웨어인 컴퓨터 관련 엔티티를 지칭하는 것이다.
예를 들어, 구성요소는 프로세서 상에서 실행중인 프로세스, 프로세서, 객체, 실행 가능물(executable), 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이것으로 한정되는 것은 아니다. 예를 들어, 컨트롤러 상에서 구동중인 애플리케이션 및 컨트롤러 모두가 구성요소일 수 있다. 하나 이상의 구성요소는 프로세스 및/또는 실행의 스레드 내에 존재할 수 있으며, 구성요소는 하나의 컴퓨터 상에서 로컬화될 수 있고, 둘 이상의 컴퓨터 사이에서 분산될 수도 있다.
이상에서 설명한 실시 예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 좌표계 기반의 이동객체 충돌 예측 시스템
110: 영상입력부
120: 이동객체 추적부
130: 영상처리부
140: 충돌예측부

Claims (12)

  1. 인접영역에 위치한 복수의 카메라에서 촬영된 객체영상 프레임을 입력받는 영상 입력부;
    상기 객체영상 프레임 내의 이동객체 및 이동객체의 진행동선을 추적하는 이동객체 추적부;
    상기 이동객체 및 이동객체의 진행동선을 추적 후, 각 객체영상 프레임의 이미지 픽셀좌표를 현실좌표로 투영변환하는 영상처리부; 및
    추적한 객체들의 위치 및 진행동선을 기초로 객체들 간의 충돌시점을 예측하는 충돌예측부를 포함하고,
    상기 이동객체 추적부는
    상기 영상처리부에서 투영변환된 객체영상의 시간변화에 따라 이동하는 관심영역 내의 이동객체의 위치 및 진행동선을 추적하고, 영상 내에 이동객체의 표식점 및 추적선을 생성하는 것을 특징으로 하는 좌표계 기반의 이동객체 충돌 예측 시스템.
  2. 제1항에 있어서,
    상기 영상 입력부는
    객체영상을 송출한 영상카메라의 위치정보를 제공받는 것을 특징으로 하는 좌표계 기반의 이동객체 충돌 예측 시스템.
  3. 제1항에 있어서,
    상기 영상처리부는
    상기 객체영상에 설정된 이미지 픽셀좌표 중 와핑하고자 하는 영역의 4개의 좌표쌍에 대한 변환행렬을 산출한 후, 투영변환 함수를 이용하여 현실좌표가 적용된 객체영상을 생성하는 것을 특징으로 하는 좌표계 기반의 이동객체 충돌 예측 시스템.
  4. 삭제
  5. 제1항에 있어서,
    상기 표식점은 이동객체 또는 관심영역의 중심점 하단에 표시되고, 표식점의 위치는 이동객체 또는 관심영역의 크기(가로축 및 세로축)로 인한 위치 측정 오차를 줄이기 위한 용도로 사용되는 것을 특징으로 하는 좌표계 기반의 이동객체 충돌 예측 시스템.
  6. 제1항에 있어서,
    상기 충돌예측부는
    n개의 동선데이터 및 객체의 좌표를 하기의 식 1에 대입하여 해당 객체의 동선예측값을 산출하고,
    하기의 식 2의 오차함수로 산출된 동선 데이터들의 오차들이 최소가 되는 계수(a, b)를 기 설정된 연산과정으로 산출하는 것을 특징으로 하는 좌표계 기반의 이동객체 충돌 예측 시스템.
    [식 1]
    Figure 112021113869634-pat00014

    [식 2]
    Figure 112021113869634-pat00015

    여기서, x는 영상 프레임의 번호이고, y는 객체의 좌표이고, i는 동선 데이터를 의미하고,
    Figure 112021113869634-pat00016
    는 충돌예측모델의 예측결과값이고, E(a, b)는 오차함수이다.
  7. 제6항에 있어서,
    상기 충돌예측부는
    각 객체 별 실시간 동선 데이터들에 최소자승법을 적용하여 각 객체의 동선 데이터들의 오차가 최소가 되는 계수(a, b)를 예측하고자 하는 미래 프레임 번호를 대입하여 객체의 미래 좌표를 예측하는 것을 특징으로 하는 좌표계 기반의 이동객체 충돌 예측 시스템.
  8. 영상 입력부에서 적어도 하나 이상의 객체영상 프레임에 설정된 이미지 픽셀좌표 설정값을 입력받는 단계;
    이동객체 추적부에서 상기 객체영상 프레임 내의 이동객체 및 이동객체의 진행동선을 추적하는 단계;
    영상처리부에서 상기 이동객체 및 이동객체의 진행동선을 추적 후, 각 객체영상 프레임의 이미지 픽셀좌표를 현실좌표로 투영변환하는 단계; 및
    충돌예측부에서 추적한 객체들의 위치 및 진행동선을 기초로 객체들 간의 충돌시점을 예측하는 단계를 포함하고,
    상기 추적하는 단계는
    투영변환된 객체영상의 시간변화에 따라 이동하는 관심영역 내의 이동객체의 위치 및 진행방향을 추적하고, 영상 내에 이동객체의 표식점 및 추적선을 생성하는 단계를 포함하는 좌표계 기반의 이동객체 충돌 예측 방법.
  9. 제8항에 있어서,
    상기 투영변환하는 단계는
    상기 객체영상에 설정된 이미지 픽셀좌표 중 와핑하고자 하는 영역의 4개의 좌표쌍에 대한 변환행렬을 산출한 후, 투영변환 함수를 이용하여 현실좌표가 적용된 객체영상을 생성하는 단계를 포함하는 것을 특징으로 하는 좌표계 기반의 이동객체 충돌 예측 방법.
  10. 삭제
  11. 제8항에 있어서,
    상기 표식점은 이동객체 또는 관심영역의 중심점 하단에 표시되고, 표식점의 위치는 이동객체 또는 관심영역의 크기(가로축 및 세로축)로 인한 위치 측정 오차를 줄이기 위한 용도로 사용되는 것을 특징으로 하는 좌표계 기반의 이동객체 충돌 예측 방법.
  12. 제8항에 있어서,
    상기 충돌시점을 예측하는 단계는
    n개의 동선데이터 및 객체의 좌표를 하기의 식 1에 대입하여 해당 객체의 동선예측값을 산출하고,
    하기의 식 2의 오차함수로 산출된 동선 데이터들의 오차들이 최소가 되는 계수(a, b)를 기 설정된 연산과정으로 산출하는 단계를 포함하는 것을 특징으로 하는 좌표계 기반의 이동객체 충돌 예측 방법.
    [식 1]
    Figure 112021113869634-pat00017

    [식 2]
    Figure 112021113869634-pat00018

    여기서, x는 영상 프레임의 번호이고, y는 객체의 좌표이고, i는 동선 데이터를 의미하고,
    Figure 112021113869634-pat00019
    는 충돌예측모델의 예측결과값이고, E(a, b)는 오차함수이다.
KR1020210131614A 2021-03-05 2021-10-05 좌표계 기반 이동객체 충돌 예측 시스템 및 방법 KR102465312B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210029511 2021-03-05
KR20210029511 2021-03-05

Publications (2)

Publication Number Publication Date
KR20220125662A KR20220125662A (ko) 2022-09-14
KR102465312B1 true KR102465312B1 (ko) 2022-11-11

Family

ID=83278728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210131614A KR102465312B1 (ko) 2021-03-05 2021-10-05 좌표계 기반 이동객체 충돌 예측 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102465312B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102695696B1 (ko) * 2023-10-04 2024-08-16 주식회사 스마트인사이드에이아이 Cctv 카메라 기반의 산업현장 모니터링 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101824973B1 (ko) * 2017-11-17 2018-03-14 공간정보기술 주식회사 단일카메라를 이용한 교차로 이동객체 충돌 방지 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2864673B1 (fr) 2003-12-30 2006-02-17 Renault Sas Procede et dispositif de prevision de chocs d'un vehicule
KR101697512B1 (ko) * 2011-12-15 2017-01-19 한국전자통신연구원 영상 정합 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101824973B1 (ko) * 2017-11-17 2018-03-14 공간정보기술 주식회사 단일카메라를 이용한 교차로 이동객체 충돌 방지 시스템

Also Published As

Publication number Publication date
KR20220125662A (ko) 2022-09-14

Similar Documents

Publication Publication Date Title
US10672131B2 (en) Control method, non-transitory computer-readable storage medium, and control apparatus
CN110175576B (zh) 一种结合激光点云数据的行驶车辆视觉检测方法
US11568648B2 (en) Apparatus for real-time monitoring for construction object and monitoring method and computer program for the same
JP6184877B2 (ja) 車両用外界認識装置
KR20200125731A (ko) 객체 검출 및 특성화를 위한 뉴럴 네트워크들
CN110782483B (zh) 基于分布式相机网络的多视图多目标跟踪方法及系统
CN111931764A (zh) 一种目标检测方法、目标检测框架及相关设备
CN112036381B (zh) 视觉跟踪方法、视频监控方法及终端设备
CN117949942B (zh) 基于雷达数据和视频数据融合的目标跟踪方法及系统
Ren et al. An improved mask-RCNN algorithm for UAV TIR video stream target detection
KR102465312B1 (ko) 좌표계 기반 이동객체 충돌 예측 시스템 및 방법
CN115856874A (zh) 毫米波雷达点云降噪方法、装置、设备及存储介质
CN111968102B (zh) 一种目标设备检测方法、系统、介质及电子终端
JP2022035033A (ja) 情報処理システム、情報処理方法、プログラムおよび車両制御システム
US20230005162A1 (en) Image processing system, image processing method, and storage medium
CN115205806A (zh) 生成目标检测模型的方法、装置和自动驾驶车辆
JP7361342B2 (ja) 学習方法、学習装置、及び、プログラム
Roncancio et al. Ceiling analysis of pedestrian recognition pipeline for an autonomous car application
Kim et al. Towards large-scale occupancy map building using Dirichlet and Gaussian processes
US20240029394A1 (en) Object detection method, object detection device, and program
CN113077512B (zh) 一种rgb-d位姿识别模型训练方法及系统
KR102352088B1 (ko) 딥러닝 기반의 자세 추정을 이용한 3차원 전역 위치 인식 장치 및 이동 로봇
JP7233610B2 (ja) 情報処理装置、プログラム及び情報処理方法
CN113609985B (zh) 物体位姿检测方法、检测设备、机器人及可存储介质
JP6814374B2 (ja) 検出方法、検出プログラム及び検出装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right