KR20210126313A

KR20210126313A - 경로 예측 기반 영상 분석 시스템

Info

Publication number: KR20210126313A
Application number: KR1020200043966A
Authority: KR
Inventors: 송혁; 최인규
Original assignee: 한국전자기술연구원
Priority date: 2020-04-10
Filing date: 2020-04-10
Publication date: 2021-10-20

Abstract

인공지능을 이용하여 보행 경로를 예측하는 영상 분석 시스템이 제공된다. 본 발명의 실시예에 따른 경로 예측 기반 영상 분석 방법은, 영상 분석 시스템이, 영상에서 검출된 객체의 움직임 궤적 정보를 추출하는 단계; 및 영상 분석 시스템이, 추출된 움직임 궤적 정보를 기반으로 객체의 미래 예상 경로를 예측하는 단계;를 포함한다. 이에 의해, 상황이 발생하기 이전에 이벤트를 발생시켜 사전에 침입 또는 위험구역 진입 등의 상황을 사전에 예방할 수 있다.

Description

경로 예측 기반 영상 분석 시스템{Image analysis system based on route prediction}

본 발명은 영상 분석 시스템에 관한 것으로, 더욱 상세하게는 인공지능을 이용하여 보행 경로를 예측하는 영상 분석 시스템에 관한 것이다.

종래에는 침입, 통과 및 위험구역 진입 기능의 CCTV의 경우, 설정된 위험구역에 추적중인 객체가 진입하면, 이벤트로 인식하여 경보를 발생시키는 기능을 가지고 있다.

이는 패턴분석 방식 및 인공지능 기반 객체 검출 및 추적 기능을 통하여 객체의 현재 위치와 설정된 구역 또는 선을 통과하거나 진입하였을 경우 이벤트로 인식하는 것이다.

그러나 이러한 기존 방식으로는 진입 또는 침입을 하였을 경우 이벤트로서 인식을 하나 위험구역의 진입 후 상황이 발생하므로 수동적 대처만 가능하다는 점에서 그 한계가 존재한다.

따라서, 객체의 움직임 경로를 사전에 예측하여, 상황이 발생하기 이전에 이벤트를 발생시켜 침입 또는 위험구역 진입 등의 상황을 예방할 수 있는 방안의 모색이 요구된다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 객체의 움직임 궤적을 이용하는 LSTM 기법을 적용하여 객체의 움직임 경로를 예측함으로써, 상황이 발생하기 이전에 이벤트를 발생시켜 사전에 침입 또는 위험구역 진입 등의 상황을 예방할 수 있는 경로 예측 기반 영상 분석 시스템을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 경로 예측 기반 영상 분석 방법은, 영상 분석 시스템이, 영상에서 검출된 객체의 움직임 궤적 정보를 추출하는 단계; 및 영상 분석 시스템이, 추출된 움직임 궤적 정보를 기반으로 객체의 미래 예상 경로를 예측하는 단계;를 포함한다.

그리고 예측 단계는, 객체의 움직임 궤적 정보에 LSTM(Long Short Term Memory) 기법을 적용하여 객체의 미래 예상 경로를 예측할 수 있다.

또한, 추출 단계는, 각각의 객체에 고유번호를 부가하고, 고유번호가 부가된 각각의 객체를 파싱하여, 객체를 특정할 수 있는 시각적 특징정보가 아닌 고유번호를 기반으로 객체별 움직임 궤적 정보를 추출할 수 있다.

그리고 본 발명의 일 실시예에 따른, 경로 예측 기반 영상 분석 방법은, 영상 분석 시스템이, 영상이 출력되는 화면에 객체별 미래 예상 경로를 표시하는 단계;를 더 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른, 경로 예측 기반 영상 분석 방법은, 영상이 촬영된 전체 영역 중 특정 영역이 위험구역으로 설정되면, 영상 분석 시스템이, 영상에서 검출된 객체의 미래 예상 경로의 예측 결과를 기반으로 미래 예상 경로에 위험구역이 포함되는지 여부를 검증하는 단계;를 더 포함할 수 있다.

그리고 검증 단계는, 객체의 미래 예상 경로에 위험구역이 포함될 가능성이 기설정된 이벤트 임계치 이상이면, 이벤트가 발생된 것으로 판단하고, 객체의 미래 예상 경로에 위험구역이 포함될 가능성이 존재하나, 기설정된 이벤트 임계치 미만이면, 관심 객체로 지정하고, 지정된 관심 객체의 미래 예상 경로 예측 주기가 다른 객체보다 상대적으로 짧아지도록 조정할 수 있다.

또한, 추출 단계는, 객체별 움직임 궤적 정보 추출 시, 연산량이 절감되도록, 고유번호가 부가된 각각의 객체를 다각형의 형상으로 파싱하여 시각적 특징정보를 제거할 수 있다.

한편, 본 발명의 다른 실시예에 따른, 경로 예측 기반 영상 분석 시스템은, 영상을 입력받는 영상 입력부; 및 입력부를 통해 입력된 영상에서 객체를 검출하고, 영상에서 검출된 객체의 움직임 궤적 정보를 추출하며, 추출된 움직임 궤적 정보를 기반으로 객체의 미래 예상 경로를 예측하는 프로세서;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 상황이 발생하기 이전에 이벤트를 발생시켜 사전에 침입 또는 위험구역 진입 등의 상황을 사전에 예방할 수 있다.

도 1은 본 발명의 일 실시예에 따른 경로 예측 기반 영상 분석 시스템의 설명에 제공된 도면,
도 2는 본 발명의 일 실시예에 따라 객체의 움직임 궤적을 예측하는 과정의 설명에 제공된 도면,
도 3은 본 발명의 일 실시예에 따라 영상이 출력되는 화면에 객체별 미래 예상 경로가 표시되는 모습이 예시된 도면, 그리고
도 4는 본 발명의 일 실시예에 따른 경로 예측 기반 영상 분석 방법의 설명에 제공된 도면이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 경로 예측 기반 영상 분석 시스템(이하에서는 '영상 분석 시스템'으로 총칭하기로 함)의 설명에 제공된 도면이고, 도 2는 본 발명의 일 실시예에 따라 객체의 움직임 궤적을 예측하는 과정의 설명에 제공된 도면이며, 도 3은 본 발명의 일 실시예에 따라 영상이 출력되는 화면에 객체별 미래 예상 경로가 표시되는 모습이 예시된 도면이다.

본 발명의 일 실시예에 따른 영상 분석 시스템은, 객체의 움직임 궤적을 이용하는 LSTM(Long Short Term Memory) 기법을 적용하여 객체의 미래 예상 경로를 예측할 수 있다.

이를 위해, 본 영상 분석 시스템은, 영상 입력부(110), 프로세서(120), 출력부(130) 및 저장부(140)를 포함한다.

영상 입력부(110)는, 감시하고자 하는 영역에 설치되어, 영상을 촬영하는 CCTV 또는 카메라로부터 영상을 입력받는다.

출력부(130)는, 프로세서(120)가 출력하고자 하는 정보들을 출력하는 디스플레이 장치이고, 저장부(140)는, 프로세서(120)가 동작함에 있어 필요한 프로그램 및 데이터를 저장하는 저장매체이다.

저장부(140)에는 영상 입력부(110)를 통해 입력된 영상, LSTM 기법이 적용된 딥러닝 학습 모델 및 학습 데이터 등이 저장될 수 있다.

프로세서(120)는, 입력된 영상에 LSTM 기법을 적용하여, 객체의 미래 예상 경로를 예측할 수 있다.

구체적으로, 프로세서(120)는, 영상에서 하나 이상의 객체를 검출하고, 검출된 객체의 위치 정보 및 움직임 궤적 정보를 추출하고, 추출된 움직임 궤적 정보에 LSTM(Long Short Term Memory) 기법을 적용하여 객체의 미래 예상 경로를 예측할 수 있다.

여기서, 객체는, 영상 내 이동하는 보행자 또는 자동차, 오토바이크와 같은 이동체를 의미하며, LSTM 기법은, Neural network 모듈을 반복시키는 RNN(Recurrent Nueral Network)의 한 종류로, 시간의 흐름에 따라 발생하는 연속적인 데이터를 처리하여, 긴 의존 기간을 필요로 하는 학습을 수행하는 딥러닝 학습 방법을 의미한다.

예를 들면, LSTM 기법을 이용하는 프로세서(120)는, 동일한 영역을 대상으로 촬영된 영상을 트레이닝 셋과 테스트 셋으로 나누어, 트레이닝 셋을 통하여, 신경망의 가중치를 학습시키고, 이후, 데스트 셋을 이용하여, 학습 결과를 검증할 수 있다.

구체적으로, 프로세서(120)는, 영상에서 검출된 객체의 움직임 궤적 정보를 추출하고, 추출된 움직임 궤적 정보를 기반으로 객체의 미래 예상 경로를 예측한 이후, 실제 객체의 움직임 궤적과 비교하여, 신경망의 가중치를 학습시킬 수 있다.

그 이후, 프로세서(120)는, 학습 결과를 바탕으로, 새로 입력된 영상에서 객체의 움직임 궤적 정보를 추출하고, 이를 기반으로 해당 객체의 미래 예상 경로를 예측하는 것이다.

여기서, 프로세서(120)는, 영상이 촬영된 전체 영역 중 특정 영역이 위험구역으로 설정되는 경우, 영상에서 검출된 객체의 미래 예상 경로가 예측되면, 미래 예상 경로의 예측 결과를 기반으로 미래 예상 경로에 위험구역이 포함되는지 여부를 검증할 수 있다.

예를 들면, 프로세서(120)는, 미래 예상 경로의 예측 결과를 기반으로 객체의 미래 예상 경로에 위험구역이 포함될 가능성이 기설정된 이벤트 임계치 이상이면, 이벤트가 발생된 것으로 판단할 수 있다.

이외에도, 프로세서(120)는, 영상에서 검출된 객체의 미래 예상 경로가 예측되면, 예측 결과를 기반으로, 다양한 위험 상황을 추론하고, 위험 상황의 발생 여부 가능성을 산출하여, 위험 상황이 발생하기 이전에 이벤트를 발생시켜 사전에 위험 상황을 사전에 예방할 수 있다.

또한, 프로세서(120)는, 영상에서 객체가 복수로 검출되는 경우, 각각의 객체에 고유번호를 부가하여, 고유번호를 기반으로 객체별 움직임 궤적 정보를 추출할 수 있다.

이는, 프로세서(120)가 객체별 움직임 궤적 정보 추출 시, 고유번호가 부가된 각각의 객체를 파싱하여, 객체를 특정할 수 있는 시각적 특징정보가 아닌 고유번호를 기반으로 객체별 움직임 궤적 정보를 추출함으로써, 객체별 움직임 궤적 정보를 추출하는데 필요한 연산량이 절감되도록 하는 것이다.

구체적으로 예를 들면, 프로세서(120)는, 고유번호가 부가된 각각의 객체를 다각형의 형상으로 파싱하여 시각적 특징정보를 제거함으로써, 객체별 움직임 궤적 정보를 추출하는데 필요한 연산량이 절감되도록 할 수 있다.

그리고 프로세서(120)는, 출력부(130)를 통해 영상이 출력되는 화면에 객체별 미래 예상 경로가 표시되도록 할 수 있다.

예를 들면, 프로세서(120)는 도 3에 예시된 바와 같이, 영상이 출력되는 화면에 객체별 미래 예상 경로가 고유한 색상의 선으로 표시되도록 할 수 있다.

또한, 프로세서(120)는, 단일 객체를 대상으로 기설정된 최소 임계치 이상의 가능성이 존재하는 복수의 후보 예상 경로가 예측되는 경우, 각각의 예상 경로로 이동될 가능성을 수치로 산출하여, 도 4에 예시된 바와 같이 영상이 출력되는 화면에 예측된 복수의 후보 예상 경로와 함께 표시되도록 할 수 있다.

그리고 프로세서(120)는, 미래 예상 경로의 예측 결과를 기반으로 이벤트 발생 여부를 검증하는 과정에서, 객체의 미래 예상 경로에 위험구역이 포함될 최소 임계치 이상의 가능성이 존재하나, 그 가능성이 임계치 미만이면, 해당 객체를 관심 객체로 지정하고, 지정된 관심 객체의 미래 예상 경로 예측 주기가 다른 객체보다 상대적으로 짧아지도록 조정할 수 있다.

이를 통해, 프로세서(120)는 1차적으로 위험 상황에 대한 이벤트 발생으로 판단되지 않은 객체에 대해서도 지속적으로 이벤트 발생 여부에 대한 검증 절차를 수행함으로써, 실제 위험 상황이 발생하기 이전에 해당 객체에 대한 지속적인 감시가 가능하도록 할 수 있다.

도 4는 본 발명의 일 실시예에 따른 영상 분석 시스템을 이용하는 경로 예측 기반 영상 분석 방법(이하에서는 '영상 분석 방법'으로 총칭하기로 함)의 설명에 제공된 도면이다.

본 실시예에 따른 영상 분석 방법은, 영상에서 검출된 객체의 움직임 궤적 정보를 추출하는 추출 단계(S510), 추출된 움직임 궤적 정보를 기반으로 객체의 미래 예상 경로를 예측하는 예측 단계(S520) 및 영상이 출력되는 화면에 객체별 미래 예상 경로를 표시하는 표시 단계(S530)를 포함할 수 있다.

추출 단계(S510)에서는, 영상 분석 시스템이, 영상 내 이동하는 보행자 또는 자동차, 오토바이크와 같은 이동체를 객체로 검출하고, 검출된 객체의 위치 정보 및 움직임 궤적 정보를 추출할 수 있다.

예측 단계(S520)에서는, 영상 분석 시스템이, 영상에서 검출된 객체의 움직임 궤적 정보를 추출하고, 추출된 움직임 궤적 정보를 기반으로 객체의 미래 예상 경로를 예측한 이후, 실제 객체의 움직임 궤적과 비교하여, LSTM 기법을 이용하는 학습 모델을 학습시키고, 그 이후, 학습 결과를 바탕으로, 새로 입력된 영상에서 객체의 움직임 궤적 정보를 추출하고, 이를 기반으로 해당 객체의 미래 예상 경로를 예측할 수 있다.

또한, 영상 분석 시스템은, 예측 단계(S520)에서, 영상에서 객체가 복수로 검출되는 경우, 각각의 객체에 고유번호를 부가하여, 고유번호를 기반으로 객체별 움직임 궤적 정보를 추출할 수 있다.

표시 단계(S530)에서는, 영상 분석 시스템이, 영상이 출력되는 화면에 객체별 미래 예상 경로가 표시되도록 할 수 있다.

구체적으로, 표시 단계(S530)에서는, 영상이 출력되는 화면에 객체별 미래 예상 경로가 고유한 색상의 선으로 표시되도록 할 수 있다.

다른 예를 들면, 예측 단계(S520)에서, 단일 객체를 대상으로 기설정된 최소 임계치 이상의 가능성이 존재하는 복수의 후보 예상 경로가 예측되는 경우, 각각의 예상 경로로 이동될 가능성이 수치로 산출되면, 표시 단계(S530)에서는, 영상이 출력되는 화면에 예측된 복수의 후보 예상 경로와 함께 표시되도록 할 수 있다.

한편, 본 영상 분석 방법은, 영상이 촬영된 전체 영역 중 특정 영역이 위험구역으로 설정되면, 영상 분석 시스템이, 영상에서 검출된 객체의 미래 예상 경로의 예측 결과를 기반으로 미래 예상 경로에 위험구역이 포함되는지 여부를 검증하는 검증 단계를 더 포함할 수 있다.

검증 단계에서는, 영상 분석 시스템이, 미래 예상 경로의 예측 결과를 기반으로 객체의 미래 예상 경로에 위험구역이 포함될 가능성(해당 객체가 위험구역에 접근할 가능성)이 기설정된 이벤트 임계치 이상이면, 이벤트가 발생된 것으로 판단할 수 있다.

또한, 검증 단계에서는, 영상 분석 시스템이, 영상에서 검출된 객체의 미래 예상 경로가 예측되면, 예측 결과를 기반으로, 해당 객체가 위험구역에 접근할 가능성 이외에도, 다양한 위험 상황을 추론하고, 위험 상황의 발생 여부 가능성을 산출하여, 위험 상황이 발생하기 이전에 이벤트를 발생시켜 사전에 위험 상황을 사전에 예방할 수 있다.

이를 통해, 상황이 발생하기 이전에 이벤트를 발생시켜 사전에 침입 또는 위험구역 진입 등의 상황을 예방할 수 있다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110 : 영상 입력부
120 : 프로세서
130 : 출력부
140 : 저장부

Claims

영상 분석 시스템이, 영상에서 검출된 객체의 움직임 궤적 정보를 추출하는 단계; 및
영상 분석 시스템이, 추출된 움직임 궤적 정보를 기반으로 객체의 미래 예상 경로를 예측하는 단계;를 포함하는 경로 예측 기반 영상 분석 방법.
청구항 1에 있어서,
예측 단계는,
객체의 움직임 궤적 정보에 LSTM(Long Short Term Memory) 기법을 적용하여 객체의 미래 예상 경로를 예측하는 것을 특징으로 하는 경로 예측 기반 영상 분석 방법.
청구항 2에 있어서,
추출 단계는,
각각의 객체에 고유번호를 부가하고, 고유번호가 부가된 각각의 객체를 파싱하여, 객체를 특정할 수 있는 시각적 특징정보가 아닌 고유번호를 기반으로 객체별 움직임 궤적 정보를 추출하는 것을 특징으로 하는 경로 예측 기반 영상 분석 방법.
청구항 3에 있어서,
영상 분석 시스템이, 영상이 출력되는 화면에 객체별 미래 예상 경로를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 경로 예측 기반 영상 분석 방법.
청구항 4에 있어서,
영상이 촬영된 전체 영역 중 특정 영역이 위험구역으로 설정되면, 영상 분석 시스템이, 영상에서 검출된 객체의 미래 예상 경로의 예측 결과를 기반으로 미래 예상 경로에 위험구역이 포함되는지 여부를 검증하는 단계;를 더 포함하는 것을 특징으로 하는 경로 예측 기반 영상 분석 방법.
청구항 5에 있어서,
검증 단계는,
객체의 미래 예상 경로에 위험구역이 포함될 가능성이 기설정된 이벤트 임계치 이상이면, 이벤트가 발생된 것으로 판단하고,
객체의 미래 예상 경로에 위험구역이 포함될 가능성이 존재하나, 기설정된 이벤트 임계치 미만이면, 관심 객체로 지정하고, 지정된 관심 객체의 미래 예상 경로 예측 주기가 다른 객체보다 상대적으로 짧아지도록 조정하는 것을 특징으로 하는 경로 예측 기반 영상 분석 방법.
청구항 3에 있어서,
추출 단계는,
객체별 움직임 궤적 정보 추출 시, 연산량이 절감되도록, 고유번호가 부가된 각각의 객체를 다각형의 형상으로 파싱하여 시각적 특징정보를 제거하는 것을 특징으로 하는 경로 예측 기반 영상 분석 방법.
영상을 입력받는 영상 입력부; 및
입력부를 통해 입력된 영상에서 객체를 검출하고, 영상에서 검출된 객체의 움직임 궤적 정보를 추출하며, 추출된 움직임 궤적 정보를 기반으로 객체의 미래 예상 경로를 예측하는 프로세서;를 포함하는 경로 예측 기반 영상 분석 시스템.