KR101256873B1 - 객체 추적 방법, 객체 추적 장치 및 이를 이용한 교통 감시 시스템 - Google Patents

Abstract

본 발명의 실시예에 따른 교통 감시 시스템은 카메라로부터 촬영된 영상을 영상 데이터로 출력하는 영상 취득 장치; 상기 영상 취득 장치로부터 영상 데이터를 수신하여 객체를 추출하고, 상기 추출된 객체의 경로를 추적하기 위한 경로 추적 모델을 생성하며, 상기 생성된 경로 추적 모델에 기반하여 상기 객체의 위치 및 이동 경로를 추적하는 객체 추적 장치; 상기 추적된 객체의 위치 및 이동 경로에 따라 교통 상황을 판단하고, 판단된 상황에 따라 교통을 통제하는 교통 통제 장치; 및 상기 교통 통제 장치의 제어에 따라 영상을 저장하는 영상 저장 장치를 포함한다.

Description

객체 추적 방법, 객체 추적 장치 및 이를 이용한 교통 감시 시스템{A method for tracking object, an object tracking apparatus and a traffic watching system}

본 발명은 다중 객체 추적 방법 및 이를 이용한 교통 감시 시스템에 관한 것이며, 더욱 상세하게는 데이터 연관 기법의 향상을 통해 영상 처리 기반의 시스템에서 객체 추적의 정확도를 향상 시키고, 실시간으로 감시가 가능한 객체 추적, 객체 추적 장치 및 이를 이용한 교통 감시 시스템에 관한 것이다

현재 고속도로나 교차로와 같은 사거리 지역에서 교통사고가 자주 일어나게 됨에 따라 교통사고 감지를 위한 시스템이 요구되고 있다. 특히 목격자가 없거나 관계자들의 의견이 엇갈릴 경우 교통사고 후 처리가 더욱 복잡해지고, 때로는 CCTV 와 같은 비디오를 이용하여 증거자료로 삼고 있지만, 실시간으로 계속 녹화를 할 때에는 사고 관련 부분을 찾아 판독하는데 시간이 오래 걸리게 되는 등 많은 노동력이 소모됨에 따라 비효율적이다.

또한, 최근 교통수단 및 시설에 전자, 제어, 통신 등 첨단 기술을 활용하여 신개념의 교통 정보 및 서비스를 제공해줄 수 있는 이른바 ITS(Itelligent Transport System)에 대한 관심이 커지고 있다. 그러나 현재 우리나라의 경우 아직 ITS관련 기술 수준이 매우 열악한 상태이며, 대부분 IBM, AXLX 등과 같은 해외의 기술에 의존하고 있는 실정이다. 하지만 그러한 해외의 기술들의 경우 설치 비용이 지나치게 비싸고, 교통상황과는 맞지 않는 경우가 발생하는 등 많은 문제점들을 가지고 있다.

현재 개발된 교통사고 감지를 하기 위한 방법으로 크게 두 가지의 접근방법으로 나눌 수가 있다. 첫 번째 방법은, 차에 직접 시스템을 장착하는 방법이다. 차에 직접 시스템을 장착하는 방법으로는 차안에 보통 음향감지 센서 및 근접 감지 센서 등을 부착함으로써 갑작스러운 속도 줄임과 그에 따라 발생하는 소리, 그리고 외부차량과의 근접정도나 충돌 등을 감지함으로써 교통사고를 감지한다. 두 번째 방법은 차량이 아닌 도로에 교통사고 감지를 위한 시스템을 장착하는 방법으로써 음향 감지 센서, 근접 감지 센서, 카메라 같은 영상센서 등을 이용하여 교통사고를 감지한다.

차량에 장착하여 교통사고를 감지하는 경우에는 차량의 관점에서 정보를 얻기 때문에 교통사고 후 차량 시스템을 통해 얻은 정보를 가지고는 전체적인 상황에 대한 정보가 매우 부족하다. 또한, 보통은 모든 자동차에 교통사고 감지에 관한 시스템이 장착되어 있지 않은 경우가 많고, 그러한 시스템을 차량에 장착할 시 비싼 비용을 초래하게 된다. 그러므로 행여나 차량에 교통사고 감지에 대한 시스템이 장착되어 있다 하더라고 교통사고 후에 필요한 정확한 정보를 얻기 위해서는 도로에 직접 설치되어있는 교통사고 감지 시스템이 필요하다.

국내 기존의 교통사고 감지 시스템의 경우 음향센서를 장착하고 도로 근처에서 발생하는 소리를 분석하여 교통사고의 여부를 판단하는 시스템이 발명의 주를 이루었다. 그러나 고속도로나 교차로 등 도로주변에서는 늘 차가 많이 다녀 잡음이 많이 발생할 뿐 아니라 빠른 속도로 주행하는 차량이나 갑작스러운 신호변화에 급브레이크를 밟는 등 교통사고 때와 유사한 상황에 대한 소리 변화로 인해 사고 감지에 대한 정확도가 떨어지는 경향이 많이 있다.

현재 국내 대부분의 고속도로나 교차로에는 CCTV가 많이 설치되어있고 실시간으로 감시 녹화가 이루어지고 있다. 교통사고가 발생할 경우에는 CCTV를 이용하여 사고 상황에 대한 정보를 얻곤 한다. 그리고 CCTV가 이미 많이 설치되어있기 때문에 카메라 정보 이외의 센서를 이용하여 교통사고를 감지한다면 추가적인 센서를 부착해야 하는 비용이 발생한다. 또한, 관련 정보를 얻기 위해서는 방대한 양의 CCTV기록을 검색해야 하는 번거로움이 발생하게 된다. 이때 시간의 소비도 많이 이루어지고 실시간으로 녹화되는 CCTV의 양에 대한 데이터 저장 및 관리 또한 어려운 문제점이 있다.

본 발명의 목적은, 이동 객체 추적의 정확도를 높이고, 이에 따라 사고 감지 정확도를 높일 수 있는 객체 추적 방법, 그 장치 및 이를 이용한 교통 감시 시스템을 제공함에 있다.

또한, 실시간 영상을 수신하여 객체를 추적함으로써 사고 여부를 실시간으로 판단할 수 있는 객체 추적 방법, 그 장치 및 이를 이용한 교통 감시 시스템을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 객체 추적 방법은, 영상 취득 장치로부터 취득된 영상을 수신하는 단계; 수신된 영상에서 소정 프레임별로 특징을 분석하여 객체를 추출하는 단계; 상기 추출된 객체의 프레임간 연관 관계를 분석하여 경로 추적 모델을 생성하는 단계; 상기 생성된 경로 추적 모델에 기반하여 상기 객체의 위치 및 이동 경로를 추적하는 단계를 포함한다.

또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 객체 추적 장치는, 영상 취득 장치로부터 영상 데이터를 수신하여 객체를 추출하고, 상기 추출된 객체의 경로를 추적하기 위한 경로 추적 모델을 생성하는 경로 추적 모델 생성부; 및 상기 생성된 경로 추적 모델에 기반하여 상기 객체의 위치 및 이동 경로를 추적하는 경로 추적부를 포함한다.

또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 교통 감시 시스템은, 카메라로부터 촬영된 영상을 영상 데이터로 출력하는 영상 취득 장치; 상기 영상 취득 장치로부터 영상 데이터를 수신하여 객체를 추출하고, 상기 추출된 객체의 경로를 추적하기 위한 경로 추적 모델을 생성하며, 상기 생성된 경로 추적 모델에 기반하여 상기 객체의 위치 및 이동 경로를 추적하는 객체 추적 장치; 상기 추적된 객체의 위치 및 이동 경로에 따라 교통 상황을 판단하고, 판단된 상황에 따라 교통을 통제하는 교통 통제 장치; 및 상기 교통 통제 장치의 제어에 따라 영상을 저장하는 영상 저장 장치를 포함한다.

본 발명의 실시예에 따르면, 경로 추적 쌍을 생성하고, 연결하는 알고리즘을 이용하여 이동 객체 추적의 정확도를 높이고, 이에 따라 사고 감지 정확도를 높일 수 있다.

또한, 실시간 영상을 수신하여 객체를 추적함으로써 사고 여부를 실시간으로 판단할 수 있는 객체 추적 알고리즘 및 이를 이용한 교통 감시 시스템을 제공할 수 있다.

특히, 도로 영상 내의 다중 객체를 효과적으로 추적하여 객체 추적 모델을 생성함으로써, 전체적인 시스템의 정확도를 높일 수 있고 빠른 객체 추적이 가능하게 된다.

한편, 객체 추적을 통한 사고 감지를 이용하여, 사고가 일어난 부분의 영상을 따로 저장하고 관리할 수 있어 교통감시 시스템상의 효율적인 데이터 관리가 가능하게 되는 효과가 있다.

도 1은 본 발명의 일 실시예에 객체 추적 장치를 포함한 교통 감시 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 객체 추적 장치를 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 객체 추적 장치의 경로 추적 모델 생성부를 보다 상세히 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 객체 추적 방법을 개략적으로 나타낸 흐름도이다.
도 5는 본 발명의 다른 일 실시예에 따른 객체 추적 방법을 나타낸 흐름도이다.
도 6은 본 발명에서 사용되는 조건부 랜덤 필드(Conditional Random Field)를 통한 객체 추적 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 객체 추적 방법에서 객체의 경로가 추적되는 것을 도시하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 객체 추적 방법에서 경로를 통합하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 객체 추적 방법에 따라 사고 여부를 판단하는 과정을 설명하기 위한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와 같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하기로 한다.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.

나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

도 1은 본 발명의 일 실시예에 따른 객체 추적 장치를 포함한 교통 사고 감시 시스템을 개략적으로 나타낸 도면이다.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 객체 추적 장치를 포함한 교통 감시 시스템은, 카메라로부터 촬영된 영상을 영상 데이터로 출력하는 영상 취득 장치(200), 출력된 영상 데이터를 전달받아, 영상 데이터로부터 객체를 추출하고, 추출된 객체의 이동 경로를 추적하여 판단된 교통 정보를 출력하는 객체 추적 장치(100), 객체의 경로를 추적하여 판단된 교통 정보에 따라 교통을 통제하는 교통 통제 장치(300) 및 상기 교통 통제 장치의 제어에 따라 필요한 영상을 저장하는 영상 저장 장치(400)을 포함한다.

영상 취득 장치(200)는 교차로나 주행도로의 일정 영역을 촬영하여 촬영된 아날로그의 영상신호를 컴퓨터에서 처리하는데 적당한 디지털 영상 데이터로 변환하고, 변환된 영상신호를 객체 추적 장치(100)로 출력한다.

객체 추적 장치(100)는 영상 취득 장치(200)가 출력한 영상 데이터로부터 소정의 알고리즘에 따라 배경을 제거하고, 배경이 제거된 영상으로부터 움직이는 객체를 추출하며, 추출된 객체의 프레임별 연관 관계들을 도출하여 객체 추적 모델을 생성하고, 이에 따라 객체의 이동 경로를 추적하며, 추적된 이동 경로의 패턴을 분석하여 현재 교통 상황을 포함하는 교통 정보를 판단하고(교통량, 주행속도, 정체길이, 도로점유율, 사고 감지) 이를 교통 통제 장치(300)로 출력한다.

교통 통제 장치(300)는 교통 정보를 수신하여 분석하고, 교통을 통제하기 위한 신호등 점등 제어등의 처리를 하며, 사고나 기타 필요한 상황이 발생한 경우 필요한 상황 전후의 영상 데이터를 영상 저장 장치(400)에 저장하도록 제어한다.

한편, 영상 취득 장치(100)는 영상 데이터를 분석하여 얻어진 교통정보를 직접 영상 저장 장치(400)로 전달하여 실시간 교통 영상을 저장하도록 구성할 수도 있다.

도 2는 본 발명의 일 실시예에 따른 객체 추적 장치(100)의 구성을 도시한 블록도이다.

도 2를 참조하면, 객체 추적 장치(100)는 영상 프레임을 입력받아 경로 추적 모델을 생성하는 경로 추적 모델 생성부(110), 생성된 경로 추적 모델에 기초하여 객체의 경로를 추적하고, 추적된 경로를 패턴과 매칭하여 현재 상황을 판단하기 위한 경로 추적부(120)를 포함한다.

경로 추적 모델 생성부(110)는 영상 취득 장치(200)로부터 소정 개수의 영상 프레임을 포함하는 영상 데이터를 입력받아 객체를 추출하고, 추출된 객체의 경로를 분석하여 경로 추적 모델을 생성하며, 생성된 경로 추적 모델을 경로 추적부(120)로 전달한다.

그리고, 경로 추적 모델 생성부(110)는 배경을 제거하고 움직이는 객체를 추출하기 위한 객체 추출부(111), 추출된 영상 프레임별 객체들의 집합을 분석하여 그래프 기반 확률적인 경로 추적 쌍을 획득하는 경로 추적 쌍 생성부로서, 조건부 랜덤 필드(Conditional Random Field, CRF) 처리부(112), CRF처리부에서 획득된 경로 추적 쌍들을 분류 및 연결하여 경로를 생성하기 위한 부스트(Boost) 처리를 하는 부스트 연산부(113) 및 영상 부스트 처리된 복수의 경로들을 통합하여 경로 추적을 위한 경로 추적 모델을 생성하는 경로 통합부(140)를 포함하여 구성될 수 있다.

한편, 경로 추적부(120)는 영상 데이터를 수신하고, 수신한 영상 데이터를 수신한 경로 추적 모델에 적용하여 객체의 경로를 분석하고, 분석된 정보를 외부로 출력한다. 객체의 경로 분석 과정은 예를 들어, 기 저장된 패턴과 매칭되는지 여부 등을 통하여 사고 여부에 대한 판단을 하는 과정이나, 현재 객체들의 이동 속도와 흐름 등을 판단하여 외부로 출력하는 과정 등이 있을 수 있다.

도 3은 도 2에서의 경로 추적 모델 생성부(110)의 구성을 설명하기 위한 도면이다.

객체 추출부(111)는 영상 데이터를 수신하여 소정 프레임 내에서 프레임별로 객체를 추출한다. 객체 추출은 컴퓨터 비전에서 사용되는 HOG(Histogram of the Oriented Gradients)와 배경 모델링(Background modeling) 방식을 이용할 수 있으며, 이는 물체를 대표할 수 있는 특징 정보를 포함하는 특징 벡터(feature vector)를 추출하여 객체 인식을 통해 움직이는 객체가 무엇인지 감지하고, 배경을 제거하며 객체만을 추출한 데이터를 출력할 수 있도록 한다.

CRF처리부(112)는 객체 추출부(111)로부터 추출된 소정 프레임 내의 객체 데이터 셋을 수신하여 프레임 사이의 객체간 연관관계를 도출하기 위해, CRF처리를 위한 그래프를 생성하여 확률 기반의 프레임과 프레임간의 감지된 물체들끼리의 연관 관계를 나타내는 경로 추적 쌍(Tracklet)들을 생성한다.

그리고, 부스트 연산부(113)는 CRF처리부(112)에서 생성된 경로 추적 쌍들을 랭킹 부스트(Rannking Boost) 및 바이너리 부스트(Binary Boost)의 두 부스트를 이용하여 경로 추적 쌍(Tracklet)들간의 연관관계에 따라 객체별 경로로 분류하고 경로 통합부(114)로 전송한다.

경로 통합부(114)는 상기 소정 프레임마다 생성된 경로들을 주기적으로 통합하여 통합된 경로 추적 모델을 출력한다. 경로 추적 모델은 이후 입력되는 영상 데이터로부터 객체의 경로를 추적하는데 사용될 수 있다.

도 4는 본 발명의 다른 일 실시예에 따른 객체 추적 방법을 이용한 교통 사고 시스템의 정보 처리 과정을 나타낸 흐름도이다.

영상 입력단계(S100)에서는 영상 취득장치(200)가 취득한 컴퓨터로 처리할 수 있도록 디지털화 된 영상신호가 입력된다. 이후, 객체 추출 단계(S110)에서는 입력된 영상에서 특징 정보를 이용하여 객체를 추출한다. 그리고, 경로 추적 단계(S120) 에서는 추출된 객체의 이동경로를 추적한다.

이후, 이동 경로를 추적하여 설정된 사고 패턴과 매칭되는지 판단하여 사고 발생 여부를 판단한다(S130). 여기서 사고가 발생된 경우에는 사고 전후의 영상을 저장하는 단계(S140)로 이어질 수 있다. 사고가 발생하지 않은 경우에는 다시 영상을 입력받아 상술한 과정을 반복 수행한다.

여기서, 사고 전후의 영상만을 따로 저장할 수 있으므로 교통 감시 시스템에서의 데이터 저장을 효율적으로 관리할 수 있도록 할 수 있으며, 필요한 경우 특정 시간의 사고 정보만을 따로 분류하여 검색할 수 있는 기반을 제공한다.

한편 영상 저장 장치(400)는, 교통 통제 장치(300) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수도 있다.

영상 저장 장치(400)는, 예를 들어 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 도 1은 영상 저장 장치(400)가 교통 통제 장치(300)와 별도로 구비된 실시예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않는다. 영상 저장 장치(400)는 교통 통제 장치(300)내에 포함될 수도 있다.

한편, 본 발명의 일 실시예에서는 경로 추적을 통하여 사고 패턴과 매칭되는지만을 판단하였으나, 기 설정된 사고 패턴 이외에 주차 위반, 차선 위반, 과속 여부, 신호 위반, 뺑소니 차량 감지 등의 여러 가지의 사고 패턴을 미리 저장하고, 저장된 패턴과 이동 경로 등이 일치하는 경우 이와 관련된 교통 처리를 하고, 사건의 전후 영상을 저장할 수 있도록 하여 교통 감시 시스템의 효율적인 통제 및 관리가 가능하게 한다.

도 5는 본 발명의 일 실시예에 따른 교통 감시 시스템에서 사용되는 객체 추적 장치(100)의 객체 추적 방법을 상세하게 설명하기 위한 흐름도이며, 도6 내지 도 8은 경로를 도 5의 흐름에 따라 경로를 추적하는 과정을 나타낸 도면이다.

이하, 도 5 내지 도 8을 참조하여 본 발명의 일 실시예에 다른 객체 추적 장치의 객체 추적 방법을 설명한다.

먼저, 객체 추적 장치(100)의 객체 추출부(111)는 영상 취득 장치(200)로부터 소정의 영상 프레임 셋을 포함하는 영상 데이터를 수신한다(S200).

그리고, 객체 추출부(111)는 수신된 영상 프레임 셋의 프레임별 객체를 추출한다(S210).

객체의 추출은 상술한 바와 같이 객체 데이터를 추출하는 HOG(Histogram of the Oriented Gradients)와 배경 모델링(Background modeling) 방식을 이용하며 영상 내 객체의 특징들을 사용하여 객체와 배경을 분리함으로 객체들을 추출할 수 있다.

그리고, CRF처리부(112)는 추출된 객체들의 특징을 가지고 프레임과 프레임간의 감지된 객체들끼리 일시적으로 연결하기 위한 경로 추적 쌍을 생성하는 조건부 랜덤 필드(Conditional Random Field) 처리를 거쳐 레이블된 경로 추적 쌍(Tracklet)들 생성한다. 도 6에서는 본 발명의 CRF 처리를 위한 그래프 생성의 예를 나타내고 있다.

도 6에서 도시된 바와 같이, CRF는 그래프 형태를 이용하여, 추출된 객체들간의 연관 관계를 도출한다. 연관 관계란 서로 다른 프레임의 임의의 객체를 한 쌍으로 연결하였을 경우, 두 객체가 같은 객체일 확률을 나타낸다.

본 발명에서는 이러한 CRF방식을 수정하여, 한 프레임에서 검출된 임의 객체와 다음 프레임에서 검출된 임의 객체간의 거리가 일정 범위 이내인 경우에만 경로 추적 쌍(Tracklet)으로 생성하고, 경로 추적 쌍(Tracklet)의 연관 관계를 확률적으로 계산한다. 상기 일정 범위는 한 프레임당 객체가 이동할 수 있는 짧은 범위 내로 제한할 수 있다.

여기서, 일정 범위 이내인 경우에만 경로 추적 쌍(Tracklet)을 생성하게 되면, CRF의 연산량을 감소시키고, 이후 경로 추적 모델을 생성하는데 사용되는 데이터 량을 줄일 수 있으며, 그래프 생성량을 감소시켜 복잡도가 적은 경로 추적이 가능하게 한다. 따라서, 본 발명의 일 실시예에 의해 수정된 CRF 방식을 이용한 온라인 또는 실시간 경로 추적이 가능하게 된다.

예를 들어, 도 6에서 좌측 객체들은 프레임 t인 경우의 객체의 위치를 나타내며, 우측 객체들은 다음 프레임(t+1)에서의 객체의 위치를 나타낸다. 도 6과 같이 본 발명에 따라 수정된 CRF를 사용하면, 각 프레임간 일정 거리 이내인 객체들 간에만 쌍을 생성하게 된다. 즉, 프레임 t에서의 z1-y1 객체는 프레임 t+1에서의 y1-z1, y2-z2 두 객체와 쌍을 맺을 수 있다. 그리고, 각 쌍에 대하여 연관관계, 즉 동일 객체일 확률을 계산하기 위한 본 발명에서 사용되는 CRF의 조건 분산(Conditional Distribution) 함수는 다음 수학식 1과 같다.

여기서, fc는 객체 yc에 대한 특징 함수(feature function)를 나타낸다. 그리고, fc는 객체인 yc에서 관측된 특징들간의 차이로 정의될 수 있다. 예를 들어, fc함수의 변수 z는 특징값으로서, 공간 거리(Spatial distance), HOG 정보, 컬러 히스토그램, 공변량(covariance), 형태 차이(Shape difference) 중 적어도 하나를 포함할 수 있다. 그리고, Z(z)의 경우 정규화를 위한 함수(Normalizing partition function)이고, Wc^t는 가중치 벡터(weight vector)를 의미하며 각각의 특징 값에 따라 다른 가중치가 부여될 수 있다.

이후, 부스트 연산부(113)는 생성된 경로 추적 쌍(Tracklet)들에 대하여 부스트(boost)를 수행한다(S230). 부스트 연산부(113)는 생성된 경로 추적 쌍들간의 특징 값을 비교하여 유사한 경로 추적 쌍(Tracklet)들간의 연결 여부를 결정하고, 결정된 연결 관계에 따라 각 객체마다의 경로를 생성한다.

부스트에는 랭킹 부스트(Ranking boost) 또는 바이너리 부스트(Binary boost)가 사용될 수 있으나, 본 발명에서는 두 가지 방식을 통합한 부스트가 사용될 수 있다.

먼저, 랭킹(Ranking)의 경우 랭킹(Ranking) 문제의 정의를 다음과 같이 정의하여 사용한다. 입력된 두 경로 추적 쌍(Tracklet)들간의 우선순위를 기반으로 X가 Tracklet들의 쌍을 나타낸다고 할 때, H: X->R 에서 만약 H(x_i)>H(x_j)이고, x_i,x_j ∈ X 면, x_i가 더 이어질 가능성이 높은 것을 의미한다. 따라서, 랭킹 부스트의 경우에는 특징 값들의 우선순위를 기반으로 하여 가장 유사한 경로 추적 쌍들간 연결하여 경로를 생성할 수 있다.

한편, 바이너리 부스트(Binary boost)의 경우, 다음의 수학식 2와 같이 정의하여 계산할 수 있다.

여기서, 수학식 2의 f(x)는 특징 함수로서, 상술한 CRF과정에서 사용된 fc(x)함수와 같을 수 있다. 수학식 4에서는 두 경로 추적 쌍(Tracklet)의 입력을 x라 할때, 특정 특징에 대한 두 경로 추적 쌍간의 차이가 임계값 η이상인 경우에는 1이며, 다른 경우에는 -1이라고 정의될 수 있다.

이와 같은 랭킹 부스트 및 바이너리 부스트의 정의에 따라 본 발명에서의 부스트는 다음과 같은 로스 함수(loss function)에 의해 연산될 수 있다.

수학식 3에서 Z(α)를 최소화하는 양수인 α값을 찾으면, 이를 이용하여 최적화된 경로 추적 모델인

를 생성할 수 있다. H(x)는 부스트를 통해 경로가 생성된 객체 추적 쌍들을 통합한 함수일 수 있으며, 각 객체의 이동 경로를 파악하는데 필요한 프레임별 위치 정보를 포함할 수 있다.

한편, 수학식 3의 β는 특징 함수 g에 따라 경로 추적 쌍간의 연관관계 우선순위를 구분하기 위한 랭킹 부스트 부분에 대한 가중치일 수 있다. w는 각 특징에 대한 가중치를 의미할 수 있다. 1-β는 경로 추적 쌍간의 특징을 임계치와 비교하여 1또는 -1로 표현하는 바이너리 부스트 부분에 대한 가중치일 수 있다. 각각의 가중치는 당업자의 의도 및 경로 결정의 정확도 설정 등에 따라 달라질 수 있다.

그리고, 수학식 3의 입력 데이터는 CRF처리된 객체 추적 쌍들을 이용한 랭킹 및 바이너리 데이터 셋일 수 있다.

항의 입력 데이터는 랭킹 부스트에 사용되는 랭킹 샘플 데이터 셋으로서 경로 추적 쌍을 다시 그룹화하여 순서쌍으로 정렬한 데이터 셋일 수 있으며,

로 표현될 수 있다.

한편,

항의 입력 데이터는 바이너리 샘플 데이터 셋으로서 경로 추적 쌍의 연관관계를 1 또는 -1로 표현하는 데이터 셋일 수 있으며,

로 표현될 수 있다.

도 7은 부스트 연산된 소정 프레임 내의 경로 추적 모델을 나타내고 있다.

도 7에서 나타내는 바와 같이, CRF 처리되고 부스트를 수행한 7개의 영상 프레임간의 객체들을 연결하여 경로 추적 모델을 생성 할 수 있다.

이후, 소정의 영상 프레임에 대한 각각의 경로 모델이 생성되면, 이를 통합하여 통합된 경로 추적 모델을 생성한다(S240, S250). 경로가 통합된 객체 추적 모델은 이후 입력되는 영상 데이터에 대하여 실시간 경로 추적을 하는데 사용될 수 있다.

도 8에서는 상술한 바와 같은 경로 추적 모델이 통합되는 과정을 나타내고 있다. 도 8의 상단에서는 입력된 복수의 영상 프레임이 개시되어 있다. 입력된 복수의 영상 프레임을 이용하여 조건부 랜덤 필드 처리 및 부스트를 수행하여 4개의 경로를 생성하면, 도 8의 중단과 같이 개시될 수 있다. 이후, 각각의 두 경로를 하나로 통합함으로써, 도8의 하단과 같은 전체 2개의 경로 추적 모델을 생성할 수 있다.

한편, 경로 추적 모델이 생성되면, 이후 입력되는 영상 데이터에 대해 객체마다의 실시간 경로를 추적하고, 기 저장된 패턴과 매칭하여 현재 교통상황을 판단한다(S260).

도 9는 경로 추적에 따라 교통사고를 판단하는 과정을 나타내기 위한 도면이다.

도 9에서 도시된 바와 같이, 경로가 추적된 객체인 제1 차량(600)은 제1 경로(610)을 따라 이동하며, 경로가 추적된 제2 차량(620)은 제2 경로(630)을 따라 이동할 수 있다. 교통사고가 발생한 경우, 제1 차량(610)과 제2 차량(620)은 제1 경로(620)와 제2 경로(630)가 접하는 지점에서 정지할 수 있다. 이러한 경우에 교통사고로 판단되도록 경로 패턴을 설정하여 유사한 상황이 발생시 교통사고임을 판단할 수 있게 된다.

이러한 교통 사고 상황을 인명 사고, 차량 사고 등의 각 종류에 따라 패턴화 하여 분석함으로써 객체 추적 장치(100) 또는 교통 통제 장치(300)가 교통 사고를 판별하고, 영상 저장 장치(400)에 전후상황을 저장할지의 여부를 판단할 수 있게 한다.

상술한 본 발명에 따른 경로 추적 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

100: 객체 추적 장치 200: 영상 취득 장치
300: 교통 통제 장치 400: 영상 저장 장치

Claims (12)

1. 영상 취득 장치로부터 취득된 영상을 수신하는 단계;
   상기 수신된 영상으로부터 특징을 분석하여 객체를 추출하는 단계;
   상기 추출된 객체들을 그래프화 하여 경로 추적 쌍을 생성하고, 각각의 경로 추적 쌍에 대한 연관 확률을 연산하는 단계;
   상기 생성된 경로 추적 쌍을 특징에 따라 분류하고, 분류된 경로 추적 쌍을 연결하여 복수의 경로를 생성하는 단계;
   상기 생성된 복수의 경로에 기초하여 각 객체의 위치 및 이동 경로를 추적하는 단계를 포함하는 객체 추적 방법.
2. 제1항에 있어서,
   상기 객체의 위치 및 이동 경로를 추적하는 객체추적부에 의하여, 상기 기 저장된 패턴과, 추적된 객체의 위치 및 이동경로를 비교판단하여 사고가 발생하였는지 판단하는 단계; 및
   상기 판단결과 사고가 발생한 경우, 사고 전후의 영상을 저장하는 단계를 더 포함하는 객체 추적 방법.
3. 제1항에 있어서,
   상기 추출된 객체들을 그래프화 하여 경로 추적 쌍을 생성하고, 각각의 경로 추적 쌍에 대한 연관 확률을 연산하는 단계는,
   상기 추출된 객체가 위치한 장소에서 일정 범위 이내의 객체를 연결하여 경로 추적 쌍으로 생성하는 객체 추적 방법.
4. 제3항에 있어서,
   상기 생성된 경로 추적 쌍을 특징에 따라 분류하고, 분류된 경로 추적 쌍을 연결하여 복수의 경로를 생성하는 단계는,
   상기 생성된 경로 추적 쌍들을 특징의 우선 순위에 따라 분류하는 단계; 및
   상기 분류된 경로 추적 쌍들을 연결하여 복수의 경로를 생성하는 단계를 포함하는 객체 추적 방법.
5. 제4항에 있어서,
   상기 분류된 경로 추적 쌍들을 연결하여 복수의 경로를 생성하는 단계는
   경로 추적 쌍간의 특징 차이가 임계값 이상인지 여부에 따라 경로 추적 쌍들을 연결하는 객체 추적 방법.
6. 영상 데이터를 수신하여 특징에 따라 객체를 추출하는 객체 감지부;
   상기 추출된 객체들을 그래프화 하여 경로 추적 쌍을 생성하고, 각각의 경로 추적 쌍에 대한 연관 확률을 연산하는 경로 추적 쌍 생성부;
   상기 생성된 경로 추적 쌍을 특징에 따라 분류하고, 분류된 경로 추적 쌍을 연결하여 복수의 경로를 생성하는 부스트 연산부; 및
   상기 생성된 복수의 경로에 기초하여 각 객체의 위치 및 이동 경로를 추적하는 경로 추적부를 포함하는 객체 추적 장치.
7. 제6항에 있어서,
   상기 경로 추적부는 상기 추적된 객체의 위치 및 이동 경로를 기 저장된 패턴과 비교판단하여 사고가 발생하였는지 판단하고, 상기 판단결과 사고가 발생한 경우, 사고 전후의 영상을 저장하는 객체 추적 장치.
8. 제6항에 있어서,
   상기 경로 추적 쌍 생성부는 객체가 위치한 장소에서 일정 범위 이내의 객체를 연결하여 경로 추적 쌍으로 생성하는 객체 추적 장치.
9. 제6항에 있어서,
   상기 부스트 연산부는 상기 생성된 경로 추적 쌍들을 특징의 우선 순위에 따라 분류하고, 분류된 경로 추적 쌍들을 연결하여 복수의 경로를 생성하는 객체 추적 장치.
10. 제6항에 있어서,
    상기 부스트 연산부는 경로 추적 쌍간의 특징 차이가 임계값 이상인지 여부에 따라 경로 추적 쌍들간의 연결 여부를 판단하는 객체 추적 장치.
11. 카메라로부터 촬영된 영상을 영상 데이터로 출력하는 영상 취득 장치;
    상기 영상 취득 장치로부터 영상 데이터를 수신하여 객체를 추출하고, 상기 추출된 객체들을 그래프화 하여 경로 추적 쌍을 생성하고, 각각의 경로 추적 쌍에 대한 연관 확률을 연산하며, 상기 생성된 경로 추적 쌍을 특징에 따라 분류하고, 분류된 경로 추적 쌍을 연결하여 복수의 경로를 생성하며, 상기 생성된 복수의 경로에 기초하여 각 객체의 위치 및 이동 경로를 추적하는 객체 추적 장치;
    상기 추적된 객체의 위치 및 이동 경로에 따라 교통 상황을 판단하고, 판단된 상황에 따라 교통을 통제하는 교통 통제 장치; 및
    상기 교통 통제 장치의 제어에 따라 영상을 저장하는 영상 저장 장치를 포함하는 교통 감시 시스템.
12. 제11항에 있어서,
    상기 교통 통제 장치는 상기 추적된 객체의 위치 및 이동 경로를 기 저장된 패턴과 비교하여 사고가 발생하였는지 판단하고, 사고가 발생한 경우 사고 전후의 영상을 상기 영상 저장 장치에 저장하도록 제어하는 교통 감시 시스템.

Images