KR20120067890A - 영상분석장치 및 그 방법 - Google Patents

Abstract

본 발명은 본 발명은 영상분석장치 및 그 방법에 관한 것이다.
본 명세서에 개시된 실시예에 따른 영상분석장치는 1인칭 시점 영상에 기초하여 1인칭 시점 영상의 주체와 1인칭 시점 영상에 표현되는 객체를 분석하고 주체 및 객체의 경로정보를 생성하는 경로분석부 및 경로정보를 이용하여 1인칭 시점 영상을 의미론적 이벤트로 분류하는 이벤트분석부를 포함한다.

Description

영상분석장치 및 그 방법{Apparatus for Video Analysis and Method thereof}

본 발명은 영상분석장치 및 그 방법에 관한 것이다.

최근에는 자동차 산업의 발달로 말미암아 차량이 급격히 증가하고 있으며, 이에 따라 교통사고를 비롯한 차량과 관련된 사고도 급격히 증가하는 추세이다.

이에 따라, 최근 차량에 의한 사건 또는 사고를 기록하기 위해 차량용 블랙박스를 설치하는 경향이 증가하고 있다. 비행기의 블랙박스(Black Box)는 사고 순간의 비행기의 동작상태와 운행자의 신체상태 그리고 사고 순간에 운행자들 사이에 주고 받은 음성데이터 등을 내부 메모리에 저장하는 장치이다. 그래서, 비행기의 사고 이후에 블랙박스를 수거하여 분석하면, 사고 순간의 상태를 역추적할 수 있는 것이다.

이와 마찬가지로 차량용 블랙박스는 차량 사고가 발생했을 때 어떻게 사고가 발생되었는가를 판단하기 위하여 필요한 정보를 얻기 위한 장치로, 여기에는 차량 충돌 직전의 차량의 속도, 가속도, 조향 각도, 비상등의 동작상태나 각종 램프의 구동여부 등의 정보가 저장된다.

이는 차량을 운행하는 중에 다른 차량이나 사람과 접촉하거나 충돌하는 사고가 발생하였을 때 정확한 사고의 원인을 규명할 수 없어 분쟁의 원인이 되는 것을 방지하기 위한 것이었다. 이러한 차량용 블랙박스는 차량에 부착된 카메라를 통해 영상을 획득하여 기록하는 것으로서, 해당 차량의 운행 상태에 대한 정보를 단순히 기록하는 것에 불과하였다.

본 명세서에 개시된 실시예는 촬영된 영상을 주요한 사건 또는 이벤트에 따라 요약하고, 기록하는 영상분석장치 및 그 방법을 제공한다.

본 명세서에 개시된 일 실시예에 따른 영상분석장치는 1인칭 시점 영상에 기초하여 1인칭 시점 영상의 주체와 1인칭 시점 영상에 표현되는 객체를 분석하고 주체 및 객체의 경로정보를 생성하는 경로분석부 및 경로정보를 이용하여 1인칭 시점 영상을 의미론적 이벤트로 분류하는 이벤트분석부를 포함한다.

본 명세서에 개시된 다른 실시예에 따른 영상분석방법은 1인칭 시점 영상에 기초하여 1인칭 시점 영상의 주체와 1인칭 시점 영상에 표현되는 객체를 분석하고 주체 및 객체의 경로정보를 생성하는 경로분석단계 및 경로정보를 이용하여 1인칭 시점 영상을 의미론적 이벤트로 분류하는 이벤트분석단계를 포함한다.

본 명세서에서 개시된 실시예에 의하면, 촬영된 영상을 주요한 사건 또는 이벤트에 따라 요약하고, 기록함으로써 사건 또는 이벤트에 대한 영상의 검색 및 분석이 용이한 효과가 있다.

도1은 본 명세서에 개시된 발명의 일 실시예를 설명하기 위한 도면이다.
도2는 구체적인 실시예를 설명하기 위해 영상분석장치를 도식화한 도면이다.
도3은 객체검출부를 설명하기 위한 도면이다.
도4는 경로추적을 설명하기 위해 2가지의 예시를 설명하기 위한 도면이다.
도5는 본 구체적인 실시예의 개념을 도식적으로 도시한 도면이다.

이하의 내용은 단지 본 발명의 원리를 예시한다. 그러므로 당업자는 비록 본 명세서에 명확히 설명되거나 도시되지 않았지만 본 발명의 원리를 구현하고 본 발명의 개념과 범위에 포함된 다양한 장치를 발명할 수 있는 것이다. 또한, 본 명세서에 열거된 모든 조건부 용어 및 실시예들은 원칙적으로, 본 발명의 개념이 이해되도록 하기 위한 목적으로만 명백히 의도되고, 이와같이 특별히 열거된 실시예들 및 상태들에 제한적이지 않는 것으로 이해되어야 한다.

또한, 본 발명의 원리, 관점 및 실시예들 뿐만 아니라 특정 실시예를 열거하는 모든 상세한 설명은 이러한 사항의 구조적 및 기능적 균등물을 포함하도록 의도되는 것으로 이해되어야 한다. 또한 이러한 균등물들은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 발명된 모든 소자를 포함하는 것으로 이해되어야 한다.

따라서, 예를 들어, 본 명세서의 블럭도는 본 발명의 원리를 구체화하는 예시적인 회로의 개념적인 관점을 나타내는 것으로 이해되어야 한다. 이와 유사하게, 모든 흐름도, 상태 변환도, 의사 코드 등은 컴퓨터가 판독 가능한 매체에 실질적으로 나타낼 수 있고 컴퓨터 또는 프로세서가 명백히 도시되었는지 여부를 불문하고 컴퓨터 또는 프로세서에 의해 수행되는 다양한 프로세스를 나타내는 것으로 이해되어야 한다.

프로세서 또는 이와 유사한 개념으로 표시된 기능 블럭을 포함하는 도면에 도시된 다양한 소자의 기능은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 관련하여 소프트웨어를 실행할 능력을 가진 하드웨어의 사용으로 제공될 수 있다. 프로세서에 의해 제공될 때, 상기 기능은 단일 전용 프로세서, 단일 공유 프로세서 또는 복수의 개별적 프로세서에 의해 제공될 수 있고, 이들 중 일부는 공유될 수 있다.

또한 프로세서, 제어 또는 이와 유사한 개념으로 제시되는 용어의 명확한 사용은 소프트웨어를 실행할 능력을 가진 하드웨어를 배타적으로 인용하여 해석되어서는 아니되고, 제한 없이 디지털 신호 프로세서(DSP) 하드웨어, 소프트웨어를 저장하기 위한 롬(ROM), 램(RAM) 및 비 휘발성 메모리를 암시적으로 포함하는 것으로 이해되어야 한다. 주지관용의 다른 하드웨어도 포함될 수 있다.

본 명세서의 청구범위에서, 상세한 설명에 기재된 기능을 수행하기 위한 수단으로 표현된 구성요소는 예를 들어 상기 기능을 수행하는 회로 소자의 조합 또는 펌웨어/마이크로 코드 등을 포함하는 모든 형식의 소프트웨어를 포함하는 기능을 수행하는 모든 방법을 포함하는 것으로 의도되었으며, 상기 기능을 수행하도록 상기 소프트웨어를 실행하기 위한 적절한 회로와 결합된다. 이러한 청구범위에 의해 정의되는 본 발명은 다양하게 열거된 수단에 의해 제공되는 기능들이 결합되고 청구항이 요구하는 방식과 결합되기 때문에 상기 기능을 제공할 수 있는 어떠한 수단도 본 명세서로부터 파악되는 것과 균등한 것으로 이해되어야 한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

본 명세서에서 개시되는 발명의 실시예들은 영상분석장치 및 그 방법에 관한 것으로서, 1인칭 시점(first-person view) 영상을 분석하여 의미론적 이벤트(semantic event)로 분류함으로써, 1인칭 시점의 영상을 요약하고, 1인칭 시점 영상의 주체에 대한 행동 패턴을 분석할 수 있다. 요약된 영상에는 분류된 이벤트에 따른 주석(annotation) 정보가 함께 저장되어 분류됨으로써, 영상의 검색 또는 분석을 용이하게 할 수 있다. 주석 정보는 소정의 기준에 따라 분류된 이벤트에 의미론적 해석에 따라 정의하는 정보를 포함할 수 있다.

여기서, 1인칭 시점 영상이라 함은 영상을 촬영하는 주체의 시점에 따라 촬영된 영상을 의미하는 것으로서, 촬영하는 주체에서의 주체는 차량 또는 이동하는 사람과 같은 이동체를 포함할 수 있다. 예컨데, 차량의 블랙박스에서의 촬영 장치의 경우, 1인칭 시점 영상은 차량에 부착된 촬영 장치가 차량의 시각에서 다른 차량 또는 행인을 촬영한 영상을 의미하고, 주체는 촬영 장치 또는 촬영 장치가 부착된 차량을 의미한다.

1인칭 시점 영상에서의 분석대상은 1인칭 시점 영상의 주체와 1인칭 시점 영상에 표현되는 객체이며, 주체와 객체의 경로 또는 궤적을 분석한다. 위의 차량의 예에서, 주체는 촬영 장치가 부착된 차량에 해당하고, 객체는 쵤영된 영상에 표현되는 다른 차량 또는 행인에 해당된다. 이하에서는 1인칭 시점 영상에 대해 전술한 의미에서의 주체 및 객체의 용어를 사용하기로 한다.

도1은 본 명세서에 개시된 발명의 일 실시예를 설명하기 위한 도면이다.

도1을 참조하면, 영상분석장치(100)는 1인칭 시점 영상에 기초하여 1인칭 시점 영상의 주체와 1인칭 시점 영상에 표현되는 객체를 분석하고 주체 및 객체의 경로정보를 생성하는 경로분석부(110) 및 경로정보를 이용하여 1인칭 시점 영상을 의미론적 이벤트로 분류하는 이벤트분석부(120)를 포함한다.

여기서, 주체와 객체는 이동체를 포함하나, 이에 한정하지는 않는다. 예컨데, 주체는 움직이는 차량이고, 객체도 움직이는 차량 또는 행인일 수 있고, 주체는 움직이는 차량이지만, 객체는 정지한 차량 또는 정지된 가로수와 같은 고정물 일 수 있다.

주체와 객체는 1인칭 시점 영상에 기초하여 분석되는 것이 원칙이나, 그 외에 GPS 또는 가속센서와 같은 센서 등에 의한 추가적인 정보를 이용할 수도 있다.

1인칭 시점 영상의 분석에 따라 주체 및 객체의 경로정보가 생성된다. 경로정보에는 주체 및 객체 각각에 대한 위치정보, 시간정보, 속도정보, 궤적정보 등을 포함할 수 있으며, 주체 및 객체의 특이정보 등을 포함할 수 있다. 여기서, 특이정보는 일반적인 상태가 아닌 비정상적인 상태를 의미하는 것으로서, 이동체의 경우 급가속, 급감속, 급제동 등과 같은 비정상적인 상태에 대한 속도, 거리 등의 정보를 포함할 수 있다. 경로정보는 주체 및 객체의 2차원 공간좌표계 및 1차원 시간좌표계로 구성된 3차원 좌표계로 표현될 수 있는 정보를 포함할 수 있다.

의미론적 이벤트는 주체 및 객체의 상호작용을 기 설정된 기준에 따라 분류한 이벤트를 포함할 수 있다. 한편, 의미론적 이벤트는 주체 및 객체 각각의 이벤트를 기 설정된 기준에 따라 분류한 서브 이벤트를 포함할 수 있고, 주체 및 객체의 상호작용을 정의하기 위해 상기 서브 이벤트를 조합한 이벤트를 더 포함할 수도 있다. 이렇게 서브 이벤트의 조합이 가능하도록 함으로써, 의미론적 이벤트는 추가적인 확장이 가능할 수 있다. 이러한 확장은 인간 행동 인식(human activity recognition) 시스템 등의 훈련 예제(training examples)에 대한 학습을 통해 구현될 수 있다.

의미론적 이벤트는 주체 및 객체의 소정의 행위에 대한 의미를 정의한 것을 포함하는 것으로서, 주체 및 객체 각각의 이벤트에 대한 의미 또는 이들 간의 상호작용에 대한 의미는 기 설정된 기준에 따라 정의될 수 있으며, 소정의 기준을 부가함으로써 다양한 형태의 이벤트를 추가할 수 있다. 예컨데, 차량의 경우, 주체에 대응하는 차량 A와 객체에 대응하는 차량 B에 대한 소정의 경로정보에 대해서 "추월(overtake)" 또는 주체에 대응하는 차량 A와 객체에 대응하는 행인 B에 대한 소정의 경로정보에 대해서"행인에 의한 급정거(sudden stop)" 등의 의미를 지닌 이벤트로 분류될 수 있다. 이러한 예 중 "행인에 의한 급정거(sudden stop)"는 차량 A의 급정거와 행인 B의 갑작스런 출현의 조합에 해당할 수 있으며, 이 경우, 차량 A의 급정거와 행인 B의 갑작스런 출현은 각각 주체 및 객체의 이벤트인 서브 이벤트가 되고, "행인에 의한 급정거(sudden stop)"는 이들의 조합인 이벤트가 된다. 이렇게 의미론적 이벤트로 분류되면, 이들의 저장, 검색 및 분석 등이 용이해 질 수 있다.

이벤트분석부(120)는 분류된 의미론적 이벤트에 대응되는 1인칭 시점 영상 및 경로정보를 저장하는 이벤트저장부(121)를 포함할 수 있다. 따라서, 영상분석장치(100)는 주요 이벤트로 분석 및 분류된 1인칭 시점 영상을 요약하여 저장할 수 있고, 이에 따라 저장된 영상 및 관련정보를 이용하여 검색을 용이하게 할 수 있으며, 주체 또는 객체의 행동양태의 분석이 가능하다.

경로분석부(110)는 주체에 대한 경로를 생성하는 경로생성부(111), 객체를 검출하는 객체검출부(113) 및 주체와 객체의 경로를 매핑하고 추적하는 경로추적부(115)를 포함할 수 있다. 이는 1인칭 시점 영상으로부터 경로정보를 생성하기 위한 것으로서, 경로생성부(111)는 주체의 위치 및 기준 평면에 대한 정보를 생성한다. 주체의 위치에 대한 정보는 1인칭 시점 영상의 인접한 이미지에 표현되는 패턴의 상대적 위치를 이용하여 생성될 수 있다.

객체검출부(113)는 1인칭 시점 영상의 이미지에서 객체의 위치를 검출할 수 있고, 경로추적부(115)는 주체에 대한 경로를 좌표계에 매핑하고, 주체가 매핑된 좌표계에 기초하여 객체를 매핑할 수 있다. 또한, 경로추적부(115)는 객체검출부(113)로부터 검출된 정보를 기설정된 가설과 비교하여 검출된 정보에 대한 유효성을 검사할 수 있다. 유효성에 대한 검사는 위치, 크기 또는 색 히스토그램(histogram) 등을 이용하여 수행될 수 있으며, 유효성 검사에서 일치하지 않는 경우 기설정된 가설을 변경하여 다시 유효성 검사를 수행하며 업데이트할 수 있다.

한편, 본 명세서에 개시된 발명의 사상은 영상분석방법으로 구현될 수 있다. 이에 따른 영상분석방법은 1인칭 시점 영상에 기초하여 1인칭 시점 영상의 주체와 1인칭 시점 영상에 표현되는 객체를 분석하고 주체 및 객체의 경로정보를 생성하는 경로분석단계 및 경로정보를 이용하여 1인칭 시점 영상을 의미론적 이벤트로 분류하는 이벤트분석단계를 포함한다. 여기서, 의미론적 이벤트는 주체 및 객체의 상호작용을 기 설정된 기준에 따라 분류한 이벤트를 포함할 수 있다.

이벤트분석단계는 분류된 의미론적 이벤트에 대응되는 1인칭 시점 영상 및 경로정보를 저장하는 이벤트저장단계를 포함할 수 있다.

경로분석단계는 주체에 대한 경로를 생성하는 경로생성단계, 객체를 검출하는 객체검출단계 및 주체와 상기 객체의 경로를 매핑하고 추적하는 경로추적단계를 포함할 수 있다. 경로생성단계는 주체의 위치 및 기준 평면에 대한 정보를 생성할 수 있고, 주체의 위치에 대한 정보는 1인칭 시점 영상의 인접한 이미지에 표현되는 패턴의 상대적 위치를 이용하여 생성될 수 있다.

한편, 객체검출단계는 1인칭 시점 영상의 이미지에서 객체의 위치를 검출할 수 있다.

경로추적단계는 주체에 대한 경로를 좌표계에 매핑하고, 좌표계에 기초하여 객체를 매핑할 수 있고,경로추적단계는 객체검출단계에서 검출된 정보를 기설정된 가설과 비교하여 상기 검출된 정보에 대한 유효성을 검사할 수 있다.

경로정보는 주체 및 객체의 2차원 공간좌표계 및 1차원 시간좌표계로 구성된 3차원 좌표계로 표현되는 정보를 포함할 수 있다.

영상분석방법에 대한 자세한 설명은 도1의 영상분석장치의 설명과 유사하므로, 여기서는 생략하기로 한다.

이하에서는 본 발명의 사상에 대한 구체적인 실시예에 대해 설명한다.

<구체적인 실시예 >

이하에서는 영상분석장치 또는 영상분석방법을 이용한 개인 차량운행일지(personal driving diary) 생성 장치 또는 개인 차량운행일지 생성방법에 대한 실시예를 설명한다. 이하에서는, 차량에 부착되어 차량의 시점으로 촬영 장치에서 획득한 영상을 1인칭 시점 영상으로 예로 들어 설명한다. 여기서 차량은 주체에 해당하며, 촬영 장치에서 촬영된 다른 차량 또는 행인 등은 객체에 해당한다.

그러나, 본 발명의 사상은 이에 한정되는 것은 아니며, 1인칭 시점으로 생성되는 영상의 주체와 영상에 표현되는 객체들 사이의 주요 사건 또는 이벤트를 분석하고 분류할 수 있는 영역에는 모두 적용될 수 있다. 대표적으로 촬영장치가 구비된 개인 단말기(휴대폰, PMP 또는 스마트폰 등)가 여기에 포함될 수 있다.

도2는 구체적인 실시예를 설명하기 위해 영상분석장치를 도식화한 도면이다.

도2를 참조하면, 차량운행일지 생성을 위한 영상분석장치(200)는 경로생성부(220), 객체검출부(230), 경로추적부(240) 및 이벤트 분석부(250)를 포함한다. 차량운행일지 생성을 위한 영상분석장치(200)는 차량에 부착된 카메라와 같은 촬영장치로부터 획득한 영상(210: 차량을 주체로 한 1인칭 시점 영상)을 분석함으로써 운전자의 중요한 운행 이벤트 의미론적으로 구성하여 표현한다. 이러한 의미론적 이벤트는 이벤트 로그(event log)를 구성하게 되고, 이를 통해 운행일지가 요약되어 분류되고, 차량의 행동을 인식하며, 운전자의 운행 습관을 분석할 수 있다.

경로생성부(220)는 카메라의 자동운동(self-motion)을 측정하기 위해 비주얼 오도메트리(visual odometry) 알고리즘을 사용할 수 있다. 즉, 운행차량의 궤적(trajectory)은 최초의 글로벌(global) 위치에 대해 획득되어짐으로써 지도상에 운행차량의 위치를 기록할 수 있다. 경로생성부(220)는 운행차량의 위치를 알아내고 기준평면(ground plane)의 평면 호모그래피(planar homography)를 측정한다. 경로생성부(220)는 이미지 좌표계(coordinates)로부터 매핑된 것을 주체(운행 차량)에 대해 미터(metric) 좌표계로 계산할 수 있다.

경로생성부(220)는 비주얼 오도메트리(221)와 기준(ground) 호모그래피 추정부(223)를 포함할 수 있다.

비주얼 오도메트리(221)는 영상(210)에서의 인접한 이미지들 사이의 상대적인 위치를 계산하여 글로벌 로컬라이제이션(global localization)을 위해 누적시킨다. 국지적으로 불변인 특징들은 각 프레임에서 추출한다. 기하학적 관계(geometric ralation)는 적응적 RANSAC과 파이브-포인트(five-point) 알고리즘을 이용하여 측정할 수 있다.

한편, 기준 호모그래피 추정부(223)는 지표면과 같은 기준면(ground)의 규칙적인 패턴을 이용하여 기준평면(ground plane)을 측정함으로써 다른 차량 또는 행인(객체)을 글로벌 로컬라이제이션할 수 있다.

객체검출부(230)는 영상(210)의 각 이미지로부터 다른 차량 또는 행인을 검출하는 것으로서, 행인 검출부(231) 및 타차량 검출부(233)를 포함할 수 있다. 경로생성부(220)는 분석된 장면의 기하학적인 구조에 기초하여 글로벌 좌표계에서 검출된 객체의 위치를 측정할 수 있다. 이미지 좌표계로 표현된 객체의 위치는 경로생성부(220)의 정보에 기초하여 글로벌 좌표계로 변환될 수 있다. 행인을 검출하기 위한 방법으로서 HOG(histogram of gradients)를 이용하여 슬라이딩 윈도우(sliding window)를 적용할 수 있으며, 효과적인 검출을 위해 수직 에지(vertical edge)의 필터링을 수행할 수 있다. 다른 차량의 검출에 있어서, 다수의 차량 뒷면의 윤관 또는 이미지 정보를 이용할 수 있다.

도3은 객체검출부를 설명하기 위한 도면이다. 도3을 참조하면, 검출될 객체는 사각형 박스로 표시되어 있다.

경로추적부(240)는 차량과 행인의 궤적을 획득하기 위해 객체추적(object tracking)알고리즘을 이용할 수 있다.

도4는 경로추적을 설명하기 위해 2가지의 예시를 설명하기 위한 도면이다. 도4를 참조하면, (가)에서 (A)는 운행차량의 경로(궤적)이고, (B)는 행인의 경로(궤적)이다. (나)에서 (C)는 운행차량의 경로(궤적)이고, (D)는 타차량의 경로(궤적)이다. (가) 및 (나)에서와 같이 하나의 좌표계(2차원 공간좌표계와 1차원 시간좌표계로 구성된 3차원 좌표계)에 주체와 객체의 경로가 추적된다.

한편, 경로추적부(240)는 객체검출부(230)의 유효한 검출결과 생성과 경로를 정확히 추적하기 위해 외관 모델(appearence model)을 이용할 수 있다. 각 물체에 대해 하나의 가설(hypothesis)을 설정하고 객체검출부(230)로부터의 결과와 설정된 가설을 비교하여 위치, 크기 및 색 히스토그램 등을 이용하여 유사점을 계산할 수 있다. 계산된 유사점에 대해 유효성 검사를 수행하고, 유효성 검사를 만족하지 않아 서로 일치하지 않는 경우 새로운 가설을 설정하고 생략된 마스크(elliptic mask)와 이미지 영역(객체의 바운딩 박스(bounding box))로부터 컬러 템플릿(color templete)을 생성할 수 있다. 유효성 검사를 만족하지 않을 때에는 일치하지 않는 가설을 업데이트하기 위해 템플릿 추적기가 이용될 수 있다. 컬러 템플릿은 객체검출부(230)로부터의 결과와 새로운 가설이 일치할 때에 업데이트된다. 여기에는 확장된 칼만 필터(extended Kalman filter)가 이용될 수 있다.

이벤트 분석부(250)는 경로생성부(220)에서의 운행차량의 궤적과 경로추적부(240)에서의 객체에 대한 궤적을 이용하여 영상(210)을 의미론적 이벤트로 분석하고 분류한다. 즉, 이벤트 분석부(250)는 궤적을 포함하는 경로정보로부터 계층적으로 분류된 의미론적 이벤트를 분석하고 인식한다. 한편, 이벤트 분석부(250)는 새로운 운행 이벤트를 부가하여 영상(210)을 분석할 수 있으며, 분석된 각 이벤트 정보에는 운행 차량의 위치와 영상(210)에서 해당 이벤트에 대한 전후사정의 정보인 문맥상(contextual) 정보를 포함하여 저장할 수 있다.

이벤트 분석부(250)는 기본적인 이벤트를 계층적으로 분류하고, 이들을 이용하여 이들이 조합된 복잡한 상황을 포함하는 복잡한 이벤트을 인식할 수 있도록 하는 것을 가능하게 한다.

기본적인 이벤트로는 시작 시간과 종료 시간에 의한 시간 간격(time interval)을 이용하여 정의할 수 있다. 이러한 기본적인 이벤트로는 "통과(passing)", "전방에 차(car in front)", "후방에 차(car at behind)", "나란히(sife-by-side)", "가속(accelerating)", "감속(decelerating)", "정지(vehicle stopped)", "전방에 행인(pedestrian in front)"로 분류할 수 있다. 이벤트 분석부(250)는 운행차량과 타차량 또는 행인의 3차원 궤적으로부터 추출된 정보를 이용하여 기본적인 이벤트를 인식할 수 있다. 여기서, 3차원은 2차원 공간좌표와 1차원 시간좌표로 구성된 좌표계일 수 있고, 추출된 정보는 방향(orientation), 속도, 가속, 주체와 객체 간의 상대적인 2차원 공간에 대한 정보를 포함할 수 있다.

복잡한 이벤트에 대한 분석은 인간 행동 인식(human activity recognition)을 이용한 확장된 시공간 관계 매치(STR-match: spatio-temporal relationship match)로 구현할 수 있다. 본 실시예에서는 STR-match의 결정 트리 분류기를 이용한다. 결정 트리 분류기는 연습 예제(training example)을 통해 학습되는 것으로서, 전술한 기본적인 이벤트의 중요한 시공간적 패턴과 같은 상관관계를 이용하여 획득될 수 있다. 이러한 결정 트리 분류기를 이용함으로써 기본적인 이벤트 외에 복잡한 이벤트에 대한 분석이 가능하고, 새로운 영상에 의한 연습 예제를 통해 다양한 이벤트를 학습하여 새로운 이벤트로 추가할 수 있고, 이에 따라 영상에 대한 이벤트 분석이 더욱 정교해 질 수 있다.

도4에서 (가)는 행인에 의한 급정지를 나타낸 것이고, (나)는 운행 차량이 타 차량을 추월하는 것을 나타낸 것이다.

도5는 본 구체적인 실시예의 개념을 도식적으로 도시한 도면이다.

도5를 참조하면, 차량운행일지 생성을 위한 영상분석장치는 사고와 같은 중요한 차량 이벤트를 검색할 수 있을 뿐만 아니라, 운전자의 습관이나 패턴을 통계적으로 분석할 수 있는 자료를 제공할 수 있다.

시간에 따른 영상(501)은 촬영되어 입력되고, 영상(501)은 경로분석부, 객체검출부 및 경로추적부를 통해 지도(502) 또는 좌표계에 표시되어 경로가 추적되고 경로정보가 생성된다. 이렇게 생성된 경로정보는 이벤트 분석부에서 의미론적 이벤트로 분석 및 분류되고, 분석 및 분류된 의미론적 이벤트는 대응되는 영상 및 의미론적 정보를 포함하여 이벤트 로그(505)로 저장된다. 저장되는 이벤트 로그(505)에는 해당 이벤트에 대한 상세정보를 더 포함할 수 있다.

도5에서 운행차량이 타차량을 추월하는 이벤트(503)는 의미론적인 이벤트 로그(506)로 저장된다. 해당 이벤트에 대한 상세정보에는 시간, 위치, 평균속도 등의 정보가 포함되어 있다.

도5에서 운행차량이 행인에 의해 갑자기 정지하는 이벤트(504)는 대응하는 의미론적 이벤트 로그(507)로 저장된다. 해당 이벤트에 대한 상세정보에는 시간, 위치, 정지원인, 평균속도, 정지거리 등의 정보가 포함되어 있다.

이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

1인칭 시점 영상에 기초하여 상기 1인칭 시점 영상의 주체와 상기 1인칭 시점 영상에 표현되는 객체를 분석하고 상기 주체 및 상기 객체의 경로정보를 생성하는 경로분석부; 및
상기 경로정보를 이용하여 상기 1인칭 시점 영상을 의미론적 이벤트로 분류하는 이벤트분석부를 포함하는 영상분석장치.

제1항에 있어서,
상기 의미론적 이벤트는, 상기 주체 및 상기 객체 각각의 이벤트를 기 설정된 기준에 따라 분류한 서브 이벤트를 포함하는 영상분석장치.

제2항에 있어서,
상기 의미론적 이벤트는, 상기 주체 및 상기 객체의 상호작용을 정의하기 위해 상기 서브 이벤트를 조합한 이벤트를 더 포함하는 영상분석장치.

제1항에 있어서,
상기 이벤트분석부는, 상기 분류된 의미론적 이벤트에 대응되는 1인칭 시점 영상 및 경로정보를 저장하는 이벤트저장부를 포함하는 영상분석장치.

제1항에 있어서, 상기 경로분석부는
상기 주체에 대한 경로를 생성하는 경로생성부;
상기 객체를 검출하는 객체검출부; 및
상기 주체 및 상기 객체의 경로를 매핑하고 추적하는 경로추적부를 포함하는 영상분석장치.

제5항에 있어서,
상기 경로생성부는, 상기 주체의 위치 및 기준 평면에 대한 정보를 생성하는 영상분석장치.

제6항에 있어서,
상기 주체의 위치에 대한 정보는, 상기 1인칭 시점 영상의 인접한 이미지에 표현되는 패턴의 상대적 위치를 이용하여 생성되는 영상분석장치.

제5항에 있어서,
상기 객체검출부는, 상기 1인칭 시점 영상의 이미지에서 상기 객체의 위치를 검출하는 영상분석장치.

제5항에 있어서,
상기 경로추적부는, 상기 주체에 대한 경로를 좌표계에 매핑하고, 상기 좌표계에 기초하여 상기 객체를 매핑하는 영상분석장치.

제5항에 있어서,
상기 경로추적부는, 상기 객체검출부로부터 검출된 정보를 기설정된 가설과 비교하여 상기 검출된 정보에 대한 유효성을 검사하는 영상분석장치.

1인칭 시점 영상에 기초하여 상기 1인칭 시점 영상의 주체와 상기 1인칭 시점 영상에 표현되는 객체를 분석하고 상기 주체 및 상기 객체의 경로정보를 생성하는 경로분석단계; 및
상기 경로정보를 이용하여 상기 1인칭 시점 영상을 의미론적 이벤트로 분류하는 이벤트분석단계를 포함하는 영상분석방법.

제11항에 있어서,
상기 의미론적 이벤트는, 상기 주체 및 상기 객체 각각의 이벤트를 기 설정된 기준에 따라 분류한 서브 이벤트를 포함하는 영상분석방법.

제12항에 있어서,
상기 의미론적 이벤트는, 상기 주체 및 상기 객체의 상호작용을 정의하기 위해 상기 서브 이벤트를 조합한 이벤트를 더 포함하는 영상분석방법.

제11항에 있어서,
상기 이벤트분석단계는, 상기 분류된 의미론적 이벤트에 대응되는 1인칭 시점 영상 및 경로정보를 저장하는 이벤트저장단계를 포함하는 영상분석방법.

제11항에 있어서, 상기 경로분석단계는,
상기 주체에 대한 경로를 생성하는 경로생성단계;
상기 객체를 검출하는 객체검출단계; 및
상기 주체 및 상기 객체의 경로를 매핑하고 추적하는 경로추적단계를 포함하는 영상분석방법.

제15항에 있어서,
상기 경로생성단계는, 상기 주체의 위치 및 기준 평면에 대한 정보를 생성하는 영상분석방법.

제16항에 있어서,
상기 주체의 위치에 대한 정보는, 상기 1인칭 시점 영상의 인접한 이미지에 표현되는 패턴의 상대적 위치를 이용하여 생성되는 영상분석방법.

제15항에 있어서,
상기 객체검출단계는, 상기 1인칭 시점 영상의 이미지에서 상기 객체의 위치를 검출하는 영상분석방법.

제15항에 있어서,
상기 경로추적단계는, 상기 주체에 대한 경로를 좌표계에 매핑하고, 상기 좌표계에 기초하여 상기 객체를 매핑하는 영상분석방법.

제15항에 있어서,
상기 경로추적단계는, 상기 검출된 정보를 기설정된 가설과 비교하여 상기 검출된 정보에 대한 유효성을 검사하는 영상분석방법.

Images