KR102499340B1 - 이기종 객체 필터 기반 하이브리드 영상 분석 장치 및 방법 - Google Patents

Abstract

둘 이상의 상이한 영상 분석 방식을 병행하여 또는 적응적으로 적용할 수 있는 이기종 객체 필터 기반 하이브리드 영상 분석 장치가 제공된다. 이기종 객체 필터 기반 하이브리드 영상 분석 장치는 네트워크를 통해 카메라로부터 영상을 수신하고, 수신한 영상을 전처리하는 영상 데이터 처리 모듈, 및 전처리된 영상에서 객체를 검출하며, 객체가 검출된 영상을 둘 이상의 상이한 영상 분석 방식으로 분석하여 상기 검출된 객체에 연관된 이벤트를 검출하는 영상 분석 모듈을 포함할 수 있다.

Description

이기종 객체 필터 기반 하이브리드 영상 분석 장치 및 방법{Hybrid video analysis device based on object filters and method}

본 발명은 이기종 객체 필터 기반 하이브리드 영상 분석에 관한 것으로서, 상세하게는, 객체가 검출된 영상을 필요에 따라 복수의 영상 분석 방식으로 분석할 수 있는 이기종 객체 필터 기반 하이브리드 영상 분석 장치 및 그 장치의 구동 방법에 관한 것이다.

사회 범죄가 나날이 증가하고, 과학 기술도 함께 발전하면서 범죄 예방이나 교통 체증과 같은 모니터링을 위해 CCTV와 같은 카메라를 활용한 감시 시스템이 빠르게 개선되고 있다. 최근에는 감시요원이 단순히 감시하는 것을 넘어 지능적으로 알림을 주는 기술로까지 발전하고 있다. 또한, 교통 체증과 같은 경우 효율적인 모니터링을 위하여 빅데이터의 수집이 절실하게 요청되면서 카메라 영상 기술은 홍수 속에 있다고 해도 과언이 아니다.

영상 분석 방식은 특정 영역에서 객체의 움직임을 분석하는 룰 기반 방식에서 딥러닝 방식으로 변화하고 있으며, 최근 들어, 딥러닝 방식을 이용한 영상 분석 시스템이 폭발적으로 증가하고 있다. 딥러닝 방식은 객체의 속성을 추출하고, 이를 이용하여 이벤트를 검출할 수 있어서, 지능형 영상 분석에 적합하다. 그러나 룰 기반 방식으로도 충분히 분석할 수 있는 이벤트가 존재함에도 불구하고, 딥러닝 방식을 채택한 영상 분석 장치는 딥러닝 분석을 통해서만 이벤트 검출을 할 수 있다.

한국 공개특허공보 제10-2021-0039050호

본 발명의 실시예는 검출하고자 하는 이벤트의 특성에 적합한 영상 분석 방식을 선택적으로 적용하거나 결합하여 사용함으로써, 향상된 분석 효율 및 정확도를 가진 이기종 객체 필터 기반 하이브리드 영상 분석 장치 및 그 방법을 제공하고자 한다.

본 발명의 일측면에 따르면, 둘 이상의 상이한 영상 분석 방식을 병행하여 또는 적응적으로 적용할 수 있는 이기종 객체 필터 기반 하이브리드 영상 분석 장치가 제공된다. 이기종 객체 필터 기반 하이브리드 영상 분석 장치는 카메라로부터 영상을 수신하고, 수신한 영상을 전처리하는 영상 데이터 처리 모듈, 및 전처리된 영상에서 검출된 객체를 특정하는 3차원 좌표값을 생성하고, 상기 3차원 좌표값을 이용하여 상기 검출된 객체를 추적하며, 객체가 검출된 영상을 둘 이상의 상이한 영상 분석 방식으로 분석하여 상기 검출된 객체에 연관된 이벤트를 검출하는 영상 분석 모듈을 포함할 수 있다.

일 실시예로 상기 영상 분석 모듈은 관심 영역의 혼잡도가 증가하면 객체의 움직임을 상기 3차원 좌표값을 이용하여 추적하여 중첩된 객체를 구분할 수 있다.

일 실시예로 상기 영상 분석 모듈은 이벤트 검출 과정에서 노이즈로 작용하는 환경 요소를 상기 전처리된 영상에서 제거할 수 있다.

일 실시예로 상기 영상 분석 모듈은 객체 검출 이후에 상기 환경 요소를 상기 전처리된 영상에서 제거할 수 있다.

일 실시예로 상기 영상 분석 모듈은 복수의 카메라로부터 수신된 영상에서 검출된 객체들의 속성을 추출하며 추출된 속성을 미리 등록된 속성과 비교하여 동일 객체를 식별할 수 있다.

일 실시예로 상기 영상 분석 모듈은 추출된 속성과 등록된 속성을 비교하여, 유사도를 결정할 수 있다.

일 실시예로 상기 영상 분석 모듈은 상기 전처리된 영상에서 객체를 검출하는 객체 검출 모듈, 상기 검출된 객체의 움직임을 추적하는 객체 추적 모듈, 상기 객체가 검출된 영상을 딥러닝 방식으로 분석하여 이벤트 조건에 부합하는 이벤트를 검출하는 딥러닝 이벤트 검출 모듈, 및 상기 객체가 검출된 영상을 룰 기반 방식으로 분석하여 이벤트 조건에 부합하는 이벤트를 검출하는 룰 기반 이벤트 검출 모듈을 포함할 수 있다.

일 실시예로 상기 객체 검출 모듈은 상기 검출된 객체를 특정하는 3차원 좌표값을 생성하는 3차원 기하학 필터, 이벤트 검출 과정에서 노이즈로 작용하는 환경 요소를 상기 전처리된 영상에서 제거하는 환경 필터를 포함하되, 상기 객체 추적 모듈은 상기 3차원 좌표값을 이용하여 상기 검출된 객체의 움직임을 추적할 수 있다.

일 실시예로 검출된 이벤트를 대한 메타 데이터를 에지 기반 영상 분석 장치로 전송하는 메타 데이터 전송 모듈을 더 포함하는 이기종 객체 필터 기반 하이브리드 영상 분석 장치.

본 발명의 다른 측면에 따르면 둘 이상의 상이한 영상 분석 방식을 병행하여 또는 적응적으로 적용할 수 있는 이기종 객체 필터 기반 하이브리드 영상 분석 방법이 제공된다. 이기종 객체 필터 기반 하이브리드 영상 분석 방법은 카메라로부터 수신한 영상을 전처리하는 단계, 전처리된 영상에서 검출된 객체를 특정하는 3차원 좌표값을 생성하는 단계, 상기 3차원 좌표값을 이용하여 상기 검출된 객체를 추적하는 단계 및 객체가 검출된 영상을, 둘 이상의 상이한 영상 분석 방식으로 분석하여 상기 검출된 객체에 연관된 이벤트를 검출하는 단계를 포함할 수 있다.

일 실시예로 이기종 객체 필터 기반 하이브리드 영상 분석 방법은 상기 전처리된 영상에서 객체를 특정하는 3차원 좌표값을 생성하는 단계 이후에, 이벤트 검출 과정에서 노이즈로 작용하는 환경 요소를 상기 전처리된 영상에서 제거하는 단계를 더 포함할 수 있다.

일 실시예로 이기종 객체 필터 기반 하이브리드 영상 분석 방법은 상기 전처리된 영상에서 검출된 객체를 특정하는 3차원 좌표값을 결정하는 단계 이후에, 상기 검출된 객체들의 속성을 추출하며 추출된 속성을 미리 등록된 속성과 비교하여 동일 객체를 식별하는 단계를 더 포함할 수 있다.

일 실시예로 이기종 객체 필터 기반 하이브리드 영상 분석 방법은 상기 객체가 검출된 영상을 둘 이상의 상이한 영상 분석 방식으로 분석하여 상기 검출된 객체에 연관된 이벤트를 검출하는 단계 이후에, 상기 검출된 이벤트를 빅데이터 분석을 통해 평가하는 단계를 더 포함할 수 있다.

본 발명에 따르면, 검출하고자 하는 이벤트의 특성에 적합한 영상 분석 방식을 선택적으로 적용하거나 결합하여 사용함으로써, 향상된 분석 효율 및 정확도로 영상을 분석할 수 있다.

특히, 본 발명은 모듈 형태의 소프트웨어로 구현될 수 있어서 사용자 환경에 적합하게 구성될 수 있다. 따라서 복수의 영상 분석을 병행해서 수행하여야 할 필요성이 높은 공공 영역뿐 아니라 경량화가 필수적인 민간 영역에도 적용이 가능한 장점을 가진다.

이하에서 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다. 특히, 첨부된 도면들은 발명의 이해를 돕기 위해서, 도면에 표현된 요소 중 일부를 다소 과장하여 표현하고 있다.
도 1은 이기종 객체 필터 기반 하이브리드 영상 분석을 예시적으로 설명하기 위한 도면이다.
도 2는 이기종 객체 필터 기반 하이브리드 영상 분석 장치의 구성을 개략적으로 도시한 도면이다.
도 3은 이기종 객체 필터 기반 하이브리드 영상 분석 장치의 객체 검출 모듈의 구성을 개략적으로 도시한 도면이다.
도 4는 3차원 기하학 필터의 동작을 예시적으로 설명하기 위한 도면이다.
도 5는 환경 필터의 동작을 예시적으로 설명하기 위한 도면이다.
도 6은 객체 재인식을 예시적으로 설명하기 위한 도면이다.
도 7은 이기종 객체 필터 기반 하이브리드 영상 분석을 적용한 지능형 교통 시스템의 일 실시예를 예시적으로 설명하기 위한 도면이다.
도 8은 이기종 객체 필터 기반 하이브리드 영상 분석을 적용한 지능형 교통 시스템의 다른 실시예를 예시적으로 설명하기 위한 도면이다.
도 9는 지능형 에지 장치로 구현된 이기종 객체 필터 기반 하이브리드 영상 분석 장치를 개략적으로 도시한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 특히, 이하에서 첨부된 도면을 참조하여 설명될 기능, 특징, 실시예들은 단독으로 또는 다른 실시예와 결합하여 구현될 수 있다. 따라서 본 발명의 범위가 첨부된 도면에 도시된 형태에만 한정되는 것이 아님을 유의하여야 한다.

첨부된 도면 전체에 걸쳐서, 동일하거나 유사한 요소는 동일한 도면 부호를 사용하여 인용된다.

도 1은 이기종 객체 필터 기반 하이브리드 영상 분석을 예시적으로 설명하기 위한 도면이다.

영상 분석은 영상(10)에서 객체를 식별하고 식별된 객체에 연관된 이벤트를 검출하는 과정이다. 객체는 분석을 위해서 영상에서 식별되는 대상으로, 사람, 차량, 동물 등과 같이 이벤트로 검출되는 행위를 하는 물체(11)뿐 아니라, 신호등, 도로 표지판 등과 같이 설치 위치나 상태만 분석에 이용되는 물체(12)를 포함할 수 있다. 객체는 상황이나 시간에 걸쳐 변하지 않는 고유한 속성을 가진다. 예를 들어, 사람은 얼굴의 특징점, 키 등과 같이, 촬영 장소나 시간이 바뀌더라도, 동일한 사람임을 특정할 수 있는 속성을 가진다. 이벤트는 객체의 행위 또는 상태의 변화를 의미하며, 정상으로 분류되는 행위(이하, 정상 행위)뿐 아니라, 비정상으로 분류되는 행위(이하, 이상 행위)도 포함한다. 여기서, 행위는 객체의 움직임을 포함할 수 있다. 이상 행위는 사람이 쓰러지거나 자동차가 역주행하는 경우와 같이, 하나의 객체가 단독으로 할 수도 있지만, 두 사람이 싸움을 하거나 자동차 추돌 사고와 같이 둘 이상의 객체의 행위가 결합하여 발생할 수도 있다.

이기종 객체 필터 기반 하이브리드 영상 분석은 객체 검출, 객체 추적 및 이벤트 검출을 포함할 수 있다. 본 발명의 실시예에서, 객체 검출, 객체 추적 및 이벤트 검출은 모듈 형태의 소프트웨어로 구현될 수 있어서, 필요에 맞게 구성될 수 있다. 즉, 모듈을 선택적으로 조합함으로써, 복수의 영상 분석이 요구되는 공공 영역뿐 아니라 경량화가 필요한 민간 영역에도 적용될 수 있다.

객체 검출은 영상에서 하나 이상의 객체를 검출하는 과정이며, 검출된 객체를 유형에 따라 분류하는 과정 및 검출된 객체를 추적하는 과정을 더 포함할 수 있다. YOLO(You only look once), CNN(Convolutional Neural Network)과 같은 딥러닝 기반 영상분석 알고리즘도 객체 검출, 분류 및 추적 기능을 포함하고는 있으나, 영상 분석 시스템을 가볍게 설계하기 위해서, 객체 검출과 영상 분석이 분리될 수 있다.

객체 추적은 검출된 객체를 추적하는 과정으로, 객체의 움직임 예측을 통한 추적 방식과 객체의 속성 비교를 통한 추적 방식으로 구분될 수 있다. 상술한 바와 같이, 객체 추적은 객체 검출과 결합되어 수행될 수 있다.

이벤트 검출은 검출된 객체의 행위가 미리 설정된 이벤트 조건에 부합하는지를 판단하는 과정이다. 기존의 이벤트 검출 방식은 딥러닝 방식(13)과 룰 기반 방식(14) 중 어느 하나에 의해 수행되었으며, 딥러닝 방식(13)이 룰 기반 방식(14)보다 최근 들어 상대적으로 더 많이 사용되고 있다. 딥러닝 방식(13)은 객체의 속성을 검출하는데 유리하며, 룰 기반 방식(14)은 객체를 검출하기 위해 미리 지정된 영역(이하, 관심 영역; Region of Interest)에서 객체의 행위를 검출하는데 유리하다. 딥러닝 방식(13)은 객체 및 객체에 연관된 행위를 학습한 딥러닝 알고리즘이, 영상 또는 영상 속 객체의 속성을 추출하고, 해당 속성을 가진 객체의 행위가 미리 설정된 이벤트 조건에 부합하는지 판단하는 방식이다. 한편, 룰 기반 방식(14)은 객체의 움직임을 기준으로 해당 객체의 행위를 특정하며, 해당 행위가 미리 설정된 이벤트 조건에 부합하는지 판단하는 방식이다. 지하철 게이트를 촬영한 영상을 예로 들면, 딥 러닝 방식(13)은 게이트를 통과한 사람의 수뿐 아니라 무임 승차한 사람이 입고 있는 옷 색깔이나 얼굴 특징을 검출할 수 있는 반면, 룰 기반 방식(14)은 게이트를 통과한 사람의 수 또는 무임 승차한 사람의 수를 검출할 수 있다. 딥 러닝 방식(13)과 룰 기반 방식(14) 모두 객체의 움직임에 기반한 이벤트 조건(즉, 게이트를 통과한 사람, 무임 승차한 사람)을 설정할 수 있지만, 특히, 딥 러닝 방식(13)은 객체의 속성(무임 승차한 사람의 옷 색깔, 얼굴)을 포함한 이벤트 조건을 설정할 수 있다.

이기종 객체 필터 기반 하이브리드 영상 분석은 객체가 검출된 영상, 보다 상세하게는, 객체의 유형, 객체의 속성, 및 객체의 움직임 등 중 어느 하나 또는 이들의 조합에 대한 메타 데이터를 둘 이상의 영상 분석 방식, 예를 들어, 딥러닝 방식(13)과 룰 기반 방식(14)을 병행하여 또는 적응적으로 적용하여 분석하는 방식이다. 분석 결과는 이벤트에 대한 메타 데이터(15)로 변환될 수 있다. 여기서, '병행'은 하나의 영상에 둘 이상의 영상 분석 방식을 동시에 적용하여 분석하거나 순차적으로 적용하여 분석하는 경우를 의미하고, '적응적'은 영상을 통해 학습한 현장 상황에 따라 둘 이상의 영상 분석 방식 중 적절한 영상 분석 방식이 선택되는 경우를 의미한다. 상술한 바와 같이, 딥 러닝 방식(13)은 객체의 속성에 기반하여 이벤트를 검출하며, 학습을 통해 분석의 정확도가 더욱 높아질 수 있는 반면, 높은 처리 능력을 가진 영상 분석 시스템을 요구한다. 하지만, 모든 이벤트 조건이 객체의 속성을 필요로 하지 않으며, 실제로, 상당 수의 이벤트 조건은 객체의 움직임(또는 행위)만으로도 충족 여부의 판단이 가능하다. 영상 분석 시스템이 딥 러닝 방식(13)만 지원할 경우, 모든 이벤트 검출이 딥 러닝만을 통해 수행되므로, 영상 분석 시스템의 자원이 비효율적으로 사용되게 되며, 이로 인해 시스템의 처리 속도 저하 등 다양한 문제점이 발생하고 있다.

상세하게, 이기종 객체 필터 기반 하이브리드 영상 분석은 이벤트 조건에 따라, 둘 이상의 영상 분석 방식 중 어느 하나 또는 모두를, 적용할 수 있다. 일 예로, 횡단보도가 설치된 도로를 촬영하는 카메라의 영상은 횡단보도를 건너간 사람의 수를 카운트하기 위해 분석되거나(룰 기반 분석), 횡단보도를 건너간 노란색 교복을 입은 어린이의 수를 카운트하기 위해 분석되거나(딥러닝 기반 분석), 횡단보도를 건너간 후 좌측 방향으로 걸어간 노란색 교복을 입은 어린이의 수를 카운트하기 위해 분석(딥러닝 분석 후 룰 기반 분석)될 수 있다. 다른 예로, 왕복 3차선 도로를 촬영하는 카메라의 영상은 차선별 차량의 평균 속도를 산출(룰 기반 분석), 과속하는 차량을 유형별로 분류(딥러닝 분석), 및 사고 유발 차량의 도주 방향을 검출(딥러닝 분석 후 룰 기반 분석)을 동시에 수행하는데 이용될 수 있다.

이기종 객체 필터 기반 하이브리드 영상 분석은 빅 데이터 분석(16)을 추가적으로 포함할 수 있다. 빅 데이터 분석(16)은 정상 상태를 나타내는 영상과 비정상 상태를 나타내는 영상을 비교 분석하여, 이벤트 조건에 따른 분석의 정확성을 검증하는 과정이다. 정상 상태는 이상 행위가 검출되지 않은 상태이며, 비정상 상태는 적어도 하나 이상의 이상 행위가 검출된 상태를 의미한다. 빅 데이터 분석(16)에 의하면, 이벤트 조건이 적절하게 정의되었는지에 대한 평가, 영상 분석 장치의 분석 성능 검증 등에 활용될 수 있다.

도 2는 이기종 객체 필터 기반 하이브리드 영상 분석 장치의 구성을 개략적으로 도시한 도면이다.

도 2를 참조하면, 이기종 객체 필터 기반 하이브리드 영상 분석 장치는 영상 데이터 처리 모듈(100) 및 영상 분석 모듈(200)을 포함할 수 있다. 영상 데이터 처리 모듈(100)은 하나 이상의 카메라(20)로부터 통신망(30)을 통해 영상을 수신하며, 수신한 영상을 영상 분석에 적합하게 전처리한다. 영상 분석 모듈(200)은 전처리된 영상에서 객체를 검출하고, 객체의 움직임을 추적하며, 추적중인 객체의 행위를 분석하여 이벤트를 검출한다. 영상 데이터 처리 모듈(100)과 영상 분석 모듈(200)은 물리적으로 하나의 서버에서 독립적으로 실행되거나, 통신망을 통해 연결된 지능형 에지 장치와 서버에서 실행되는 모듈 형태의 소프트웨어일 수 있다. 영상 데이터 처리 모듈(100)과 영상 분석 모듈(200), 및 각 모듈에 포함된 서브 모듈들은 지능형 에지 장치와 서버에 분산되어 실행될 수도 있다. 즉, 서버 또는 지능형 에지 장치는 하나 이상의 중앙처리장치(예를 들어, CPU, GPU 등), 반도체 메모리, 통신 모뎀 칩 등과 같은 물리적 구성 요소를 포함하며, 영상 데이터 처리 모듈(100) 및 영상 분석 모듈(200)은 메모리에 로딩된 프로그램이 CPU에 의해 실행되는 동작을 기능적으로 구분하여 표현한 것이다.

카메라(20)는 2차원 영상 또는 3차원 영상을 생성하는 CCTV, IP 카메라 등을 포함하며, 고정식 카메라나 PTZ(Pan-Tlit-Zoom) 카메라를 모두 포함할 수 있다. 카메라(20)는 임의 지역(혹은 구역)을 감시하기 위하여 전주 등에 설치될 수 있다.

통신망(30)은 영상의 전송이 가능한 유선, 무선 또는 유무선 혼합 데이터 통신망일 수 있다. 유선 통신망은 패킷 형태의 디지털 데이터 전송을 위한 통신 프로토콜을 지원하는 전용선이나 케이블망 등일 수 있으며, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 뿐 아니라, 와이파이 이외에 블루투스, 지그비 등과 같이, 무선 신호를 이용하여 데이터를 전송하는 통신 시스템일 수 있다.

영상 데이터 처리 모듈(100)은 RTSP 클라이언트(110), 디코더(120) 및 영상 전처리 모듈(130)을 포함할 수 있다. RTSP 클라이언트(110)는 영상 전송 프로토콜, 예를 들어, RTSP(Real time streaming protocol)를 지원하는 통신 모뎀으로, 통신망(30)을 통해 카메라(20)로부터 영상 데이터를 수신한다. 디코더(120)는 수신된 영상 데이터를 디코딩하여 영상을 복원한다. 영상 전처리 모듈(130)은 영상 분석에 적합하도록, 복원된 영상의 해상도, 크기 등을 변경하거나 컬러 영상을 흑백 영상으로 변환한다. 추가적으로, 영상 전처리 모듈(130)은 3차원 영상 분석을 위해, 복원된 영상을 처리할 수 있다. 디코더(120) 및 영상 전처리 모듈(130)은 CPU 또는 GPU에 의해 실행되는 모듈일 수 있다.

영상 분석 모듈(200)은 객체 검출 모듈(210), 객체 추적 모듈(220), 딥러닝 이벤트 검출 모듈(230), 및 룰 기반 이벤트 검출 모듈(240)을 포함할 수 있다. 객체 검출과 객체 추적은 분리할 수 없는 일련의 과정으로 수행될 수도 있음을 이해하여야 한다. 이기종 객체 필터 기반 하이브리드 영상 분석 장치는 둘 이상의 영상 분석 방식에 적용하기 위해 필요한, 객체의 검출 및 추적을 독립적으로 수행함으로써, 중복되거나 불필요한 연산이 감소되며, 동시에 둘 이상의 영상 분석 방식이 병행 또는 적응적으로 수행될 수 있도록 한다.

객체 검출 모듈(210)은 전처리 영상에서 하나 이상의 객체를 검출하며, 검출된 객체를 유형별로 분류할 수 있다. 객체 검출 모듈(210)은 예를 들어, 객체 이미지를 이용하여 학습된 객체 검출 모듈, 또는 객체를 표현한 템플릿을 이용하는 객체 검출 모듈일 수 있다. 특히, 객체 검출 모듈(210)은 3차원 기하학 필터를 적용하여, 검출된 객체를 표현할 수 있는 3차원 좌표값을 결정할 수 있다. 결정된 3차원 좌표값을 이용하면, 검출된 객체는 3차원 도형으로 영상에 표출되거나 객체 추적에 이용될 수 있다. 또한, 객체 검출 모듈(210)은 환경 필터를 적용하여, 영상에서 노이즈를 제거할 수 있다. 그리고, 객체 검출 모듈(210)은 둘 이상의 카메라(20)에 의해 촬영된 영상에서 동일 객체를 식별할 수 있다.

객체 추적 모듈(220)은 검출된 객체의 움직임을 추적한다. 객체 추적 모듈(220)은 객체의 움직임 예측을 통해 객체를 추적하거나, 객체의 속성을 비교하여 객체를 추적할 수 있다. 객체 추적 방식은 첫 번째 영상(또는 프레임)에서 검출된 객체의 움직임을 예측하거나 속성을 검출하고, 이를 두 번째 영상(또는 프레임)에서 검출된 객체와 비교하여 두 객체가 동일 객체인지를 판단한다. 영상을 구성하는 매크로 블록 단위로 비교하여 객체의 움직임을 추적하거나 영상에서 배경을 제거하여 객체만 영상에 남도록 하여 객체 검출 및 움직임을 추적하는 방식 등과 같이, 다양한 객체 추적 방식이 적용될 수 있다.

영상 분석 모듈(200)은 둘 이상의 상이한 영상 분석 방식으로 이벤트를 검출하는 이벤트 검출 모듈(230, 240)을 포함할 수 있다. 이벤트 검출 모듈(230, 240)은 검출된 객체, 객체의 움직임, 및 객체의 주변 환경 중 어느 하나 또는 이들의 조합에 기초하여, 이벤트 조건에 부합하는 이벤트를 검출한다. 딥러닝 이벤트 검출 모듈(230)은 검출된 객체의 속성을 추출하고, 속성에 기초하여 설정된 이벤트 조건에 부합하는지를 판단한다. 룰 기반 이벤트 검출 모듈(240)은 관심 영역에서 객체의 움직임에 기초하여 이벤트 조건에 부합하는 이벤트를 검출한다. 한편, 딥러닝 이벤트 검출 모듈(230)은 제1 이벤트 조건에 부합하는 객체를 룰 기반 이벤트 검출 모듈(240)에 전달하여, 룰 기반 이벤트 검출 모듈(240)은 전달받은 객체가 제2 이벤트 조건에 부합하는지 판단하도록 할 수 있다.

딥러닝 방식으로 수행하도록 설정된 이벤트 조건이 복수이면, 각 이벤트 조건에 따라 동작하는 딥러닝 이벤트 검출 모듈(230)도 복수일 수 있다. 동일하게, 룰 기반 방식을 수행하도록 설정된 이벤트 조건이 복수이면, 각 이벤트 조건에 따라 동작하는 룰 기반 이벤트 검출 모듈(240)도 복수개일 수 있다. 여기서, 이벤트 조건이 복수개인 상황은 이기종 객체 필터 기반 하이브리드 영상 분석 장치가 분석할 영상이 둘 이상인 경우뿐 아니라, 하나의 영상에 둘 이상의 이벤트 조건이 적용된 경우를 포함할 수 있다.

도 3은 이기종 객체 필터 기반 하이브리드 영상 분석 장치의 객체 검출 모듈의 구성을 개략적으로 도시한 도면이고, 도 4는 3차원 기하학 필터의 동작을 예시적으로 설명하기 위한 도면이고, 도 5는 환경 필터의 동작을 예시적으로 설명하기 위한 도면이며, 도 6은 객체 재인식을 예시적으로 설명하기 위한 도면이다.

먼저 도 3을 참조하면, 객체 검출 모듈(210)은 전처리 영상에서 하나 이상의 객체를 검출하며, 검출된 객체를 유형별로 분류하는 기본적인 기능뿐 아니라, 추가적으로, 검출된 객체를 구분하기 위한 객체 식별자를 부여하며, 동일 객체를 식별할 수 있다. 특히, 객체 검출 모듈(210)은 영상 전체 또는 영상의 일부인, 관심 영역 내에서 객체 오인식을 방지하기 위해서, 검출된 객체를 특정할 수 있는 3차원 좌표값을 결정할 수 있다. 또한, 객체 검출 모듈(210)은 객체 추적 과정을 포함한 이후 과정에서 노이즈로 작용할 수 있는 환경 요소들을 제거할 수 있다. 이하에서는, 객체 식별 및 추적을 구별하지 않고 설명하도록 한다.

도 3 및 도 4를 함께 참조하면, 객체 검출 모듈(210)은 3차원 기하학 필터(211)를 이용하여, 검출된 객체를 특정할 수 있는 3차원 좌표값을 결정한다. 제1 영상(300) 및 제2 영상(310)에서, 횡단보도를 향하고 있는 카메라가 촬영한 영상이고, 사람이 객체로서 검출되었으며, 객체 식별자는 검출된 객체에 부여되었다. 제3 영상(320)은 3차원 기하학 필터(211)가 적용된 제1 영상(300)이며, 제4 영상(330)은 3차원 기하학 필터(211)가 적용된 제2 영상(310)이다. 제1 내지 제4 영상(300, 310, 320, 330)에서, 제1 관심 영역 ROI1은 횡단보도에 접하고 있는 인도이며, 제2 관심 영역 ROI2는 횡단보도가 위치한 차도이다. 제1 관심 영역 ROI1의 제1 부영역(301)은 제1 관심 영역 ROI1에 처음으로 진입한 사람을 나타낸다. 객체 검출 모듈(210)은 최초로 진입한 사람을 검출하여 객체 식별자 ID#209를 부여했다.

객체 오인식은 다양한 원인에 의해 발생할 수 있다. 예를 들어, 객체와 객체가 중첩되어, 복수의 객체가 하나의 객체로 인식되거나(이하, 추적 오류), 객체의 크기가 카메라와 객체 사이의 거리 때문에 실제보다 작거나 크게 인식되거나(이하, 경계 오류), 표지판이나 도로 구조물이 사람이나 차량으로 인식될 수 있다(이하, 인식 오류). 경계 오류는 해당 영상을 촬영한 카메라의 설치 위치, 배향 및 객체까지의 거리 중 어느 하나 또는 이들의 조합을 고려하여 보정될 수 있으며, 인식 오류는 학습을 통해 용이하게 개선될 수 있다. 하지만, 추적 오류는 관심 영역의 혼잡도가 증가하거나 임의의 물체에 의해 객체가 가려지기 때문에 발생할 수 있다. 제1 관심 영역 ROI1의 제2 부영역(302)은 신호등에 가려진 객체를 나타내며, 제3 부영역(303) 및 제4 부영역(304)은 두 객체가 중첩되어 있어서 하나의 객체로 식별된 경우를 나타낸다.

3차원 기하학 필터(211)는 추적 오류의 발생을 감소시키기 위해서, 적용될 수 있다. 추적 오류를 감소시키기 위한 공지의 방식은 딥러닝 영상 분석을 통해, 중첩된 객체를 구분하여 식별한다. 즉, 딥러닝 영상 분석은 객체의 속성을 이용하므로, 중첩된 둘 이상의 객체의 속성이 구분될 수다. 하지만, 객체가 완전히 가려지거나, 속성을 식별할 수 없는 상태에서는, 여전히 추적 오류가 발생할 수 있다. 이에 반해, 3차원 기하학 필터(211)는 관심 영역에 처음으로 진입하여 검출된 객체를, 체적당 높이 및 객체의 높이 중 어느 하나 또는 모두를 고려하여 3차원 좌표값으로 변환하며, 객체의 위치를 3차원 좌표값으로 특정함으로써, 객체가 중첩되거나 임의의 물체에 가려지더라도 객체 추적이 가능해지도록 한다. 특히, 객체 재인식 모듈(213) 3차원 기하학 필터(211)를 함께 적용하면, 추적 오류가 더욱 감소될 수 있다.

제3 영상(320) 및 제4 영상(330)을 제1 영상(300) 및 제2 영상(310)과 비교하면, 제1 영상(300)에서 추적 오류가 발생한 제2 내지 제4 부영역(302, 303, 304)은 제3 영상(320)에서는 추적 오류가 발생하지 않음을 알 수 있다. 즉, 제1 영상(300)에서는 신호등에 가려져서 검출되지 않았던 ID#206 객체가 제3 영상(320)의 제2 부영역(322)에서 검출 및 추적되며, 제1 영상(300)에서는 하나의 객체로 검출되어 추적할 수 없었던 ID#202 객체와 ID#205 객체가 제3 영상(320)의 제3 부영역(323) 및 제4 부영역(324)에서 검출 및 추적될 수 있다.

3차원 기하학 필터(211) 미적용시, 제2 영상(310)에의 제2 부영역(312)은 새로운 객체 식별자 ID#212가 신호등에서 벗어난 객체에 부여되고, 제3 부영역(323)은 새로운 객체 식별자 ID#210이 제3 부영역(323) 내의 우측 객체에 부여되며, 제4 부영역(324)은 새로운 객체 식별자 ID#210이 제4 부영역(324) 내의 우측 객체에 부여된 경우를 각각 나타낸다. 즉, 제1 관심 영역 ROI1 진입시 객체 식별자가 이미 부여되었음에도 불구하고, 추적 오류로 인해 새로운 객체로 간주되어 새로운 객체 식별자가 부여되었다. 한편, 제1 부영역(311)은 이동하는 ID#209 객체를 오류 없이 추적하고 있음을 나타낸다.

이에 반해, 3차원 기하학 필터(211) 적용시, 제4 영상(330)의 제2 부영역(332)은 신호등에서 벗어난 객체의 객체 식별자가 ID#206으로 유지되고, 제3 부영역(333)은 중첩 상태가 해소된 제3 부영역(333) 내의 우측 객체의 객체 식별자가 ID#202로 유지되며, 제4 부영역(334)은 중첩 상태가 해소된 제4 부영역(334) 내의 우측 객체의 객체 식별자가 ID#205로 유지된 경우를 각각 나타낸다. 즉, 관심 영역 내에서 검출되는 객체의 수 증가로 인해 혼잡도가 높아지면, 추적 오류가 발생할 가능성이 함께 증가한다. 하지만, 3차원 좌표값으로 특정된 위치를 기준으로 객체를 추적하면, 객체들이 중첩하더라도 각 객체를 구분하여 식별할 수 있게 되어, 추적 오류가 감소할 수 있다.

다음으로, 도 3 및 도 5를 함께 참조하면, 객체 검출 모듈(210)은 환경 필터(212)를 이용하여, 이벤트 검출 모듈(230, 240)의 분석과정에서 노이즈로 작용할 수 있는 환경 요소를 제거한다. 즉, 이벤트 검출 모듈(230, 240)에 입력되는 영상은 검출된 객체만 포함할 수 있다. 환경 요소는 다양하며, 주간에는 비나 눈, 야간에는 차량이나 가로등의 불빛이 대표적이다. 예를 들어, 도로에 반사된 불빛은 주변의 어두운 영역에 비해 밝은 영역의 화소값을 가진다. 영상에 표출된 밝은 영역은 예를 들어, Morphology 연산을 적용하여 감소되거나 제거될 수 있다. 이외에도, 환경 요소의 유형에 따라, 다양한 제거 방식이 적용될 수 있다. 한편, 추가적으로, 환경 요소는 이벤트 검출 모듈(230, 240)의 분석 범위, 즉, 관심 영역 이외의 영역도 포함할 수 있다. 동일 영상이 복수의 이벤트 검출 모듈에 위해 분석되며, 각 이벤트 검출 모듈에 연관된 관심 영역이 상이하게 설정될 수 있다. 이 경우, 관심 영역 이외의 영역이 표출되지 않도록 함으로써, 처리 속도 및 분석의 정확도가 향상될 수 있다.

제1 영상(400)은 4차선 도로와 인도를 야간에 촬영한 영상을 나타낸다. 제1 영상(400)에서, 도로에 반사된 가로등 불빛(401) 및 차량 불빛(402)이 표출되어 있다. 제1 영상(400)은 5개의 관심 영역 ROI1 내지 ROI5를 포함하며, 제1 관심 영역 ROI1 내지 제4 관심 영역 ROI4은 차선에 정의되어 있으며, 제5 관심 영역 ROI5는 인도에 정의되어 있다. 제2 영상(410)은 객체 검출 및 분류가 완료된 영상에, 3차원 기하학 필터(211) 및 환경 필터(212)를 모두 적용하여, 제1 관심 영역 ROI1 내지 제4 관심 영역 ROI4만 표출된 영상이다. 유사하게, 제3 영상(420)은 객체 검출 및 분류가 완료된 영상에, 3차원 기하학 필터(211) 및 환경 필터(212)를 모두 적용하여, 제5 관심 영역 ROI5만 표출된 영상이다. 한편, 제4 영상(430)은 객체 검출 및 분류가 완료된 영상에, 환경 필터(121)만 적용한 영상이다. 여기서, 3차원 기하학 필터(211)와 마찬가지로, 환경 필터(212)도, 선택적 적용될 수 있다. 즉, 환경 요소가 영상 분석에 영향을 미칠 수 있는 조건이 발생하면, 환경 필터(212)가 적응적으로 적용되어, 이벤트 검출 모듈(230, 240)에 입력될 영상에서 환경 요소를 제거 또는 감소할 수 있다.

다음으로, 도 3 및 도 6을 함께 참조하면, 객체 검출 모듈(210)은 객체 재인식 모듈(213)을 이용하여, 다중 카메라 환경에서 동일 객체를 식별할 수 있다. 다중 카메라 환경에서, 동일 객체는 다수의 영상에 표출될 수 있다. 객체 재인식 모듈(213)은 예를 들어, 딥러닝 분석을 통해, 검출된 객체의 속성을 추출하며, 기존에 등록된 객체의 속성과 비교하여, 둘 이상의 영상에 각각 표출된 객체가 동일 객체인지를 판단할 수 있다. 판단 결과에 따라, 예를 들어, 기존에 등록된 객체와 일치할 확률(이하 유사도)이 표출되거나, 재인식된 객체에 부여되었던 객체 식별자가 다시 부여될 수 있다.

객체 재인식 모듈(213)은 객체의 유형에 따라, 해당 객체를 식별하는데 적절한 속성을 추출할 수 있다. 사람 객체의 경우, 객체 재인식 모듈(213)은 예를 들어, 시각적 특징, 얼굴 특징, 걸음 걸이 특징 등을 이용하여 객체를 재인식할 수 있다. 시각적 특징으로는, 3차원 기하학 필터(211)에 의해 추정된 객체의 키, 착용한 옷의 종류나 색깔 등이 이용될 수 있다. 차량 객체의 경우, 차종, 색깔, 차량 번호 등을 이용하여 객체를 재인식할 수 있다.

객체의 속성을 통해 재인식하기 위해서, 객체 재인식 모듈(213)은 객체의 특징을 학습할 수 있다. 얼굴 특징을 이용한 재인식의 경우, 객체가 표출된 영상(이하, 학습 영상)으로 객체 재인식 모듈(213)을 학습시킬 수 있다. 다양한 소스로부터 수집된 학습 영상은 데이터베이스에 입력되어, 학습에 이용된다. 학습 영상으로 등록시, 자가 학습이 적용 가능하다. 예를 들어, 특정 객체에 대해 일정 수준의 학습이 이루어지면, 동일 객체에 대해 신규 등록을 시도하는 학습 영상을 평가할 수 있게 된다. 즉, 동일 객체를 식별하기에 부적절한 영상이나, 다른 객체를 포함하고 있는 영상의 데이터베이스 등록이 제한될 수 있다.

객체 재인식을 통한 객체 추적 과정을 설명한다. 제1 내지 제3 카메라는 객체의 이동 경로상에 설치되며, 제1 카메라와 제2 카메라가 촬영하는 지리적 영역은 서로 인접하며, 제2 카메라와 제3 카메라가 촬영하는 지리적 영역은 이격되어 있다. 객체의 이동 경로는 제1 카메라부터 제3 카메라를 향하는 방향이며, 객체 식별자는 제1 카메라에 의해 검출된 이후에 부여된 것으로 가정한다.

시각 t₀에, 객체는 제1 카메라에 의해 최초로 검출되어 객체의 속성이 추출된다. 추출된 속성은 등록된 속성과 비교되어, 검출된 객체의 등록 여부가 판단된다. 미등록된 새로운 객체이면, 제1 객체 식별자가 부여되며, 추출된 속성 및 검출된 객체에 부여된 제1 객체 식별자가 등록된다. 제1 객체 식별자가 부여된 객체는 이동하여 제1 카메라가 촬영한 영상에서 사라진다.

시각 t₁에, 객체는 제2 카메라에 의해 검출되어 객체의 속성이 추출된다. 추출된 속성과 이미 등록된 속성을 비교하여 유사도가 결정된다. 추가적으로 또는 선택적으로, 제1 카메라와 제2 카메라의 지리적 위치, 객체의 이동 속도 및 객체가 영상에 나타난 시각 중 어느 하나 또는 이들의 조합은 적어도 부분적으로 유사도 결정에 영향을 줄 수 있다. 일 실시예로, 결정된 유사도가 동일 객체로 판단하는 기준으로 설정된 기준값 이상이면, 제1 카메라에 의해 최초 검출시 부여된 제1 객체 식별자가 검출된 객체에 다시 부여될 수 있다. 다른 실시예로, 새로운 제2 객체 식별자가 제2 카메라에 의해 검출된 객체에 부여되며, 제2 객체 식별자는 유사도가 있다고 판단된 제1 객체 식별자와 함께 등록될 수 있다. 상술한 동일 객체의 재인식은 제3 카메라에서도 수행되어, 결과적으로 객체 추적의 결과를 얻을 수 있게 된다.

도 7은 이기종 객체 필터 기반 하이브리드 영상 분석을 적용한 지능형 교통 시스템의 일 실시예를 예시적으로 설명하기 위한 도면이다.

제1 영상(500)은 3차선 도로를 촬영한 영상으로, 정상적인 교통 흐름을 예시적으로 나타낸다. 제1 영상(500)에서, 제1 관심 영역 ROI_W1 내지 제3 관심 영역 ROI_W3은 차선별로 설정되어 있다. 룰 기반 이벤트 검출 모듈(240)은 관심 영역별로 설정된 이벤트 조건, 예를 들어, 통과 차량의 수, 차선별 평균 속도 등을 수행할 수 있다. 한편, 딥러닝 이벤트 검출 모듈(230)은 통과한 차량의 차종을 분류하고, 차종별 수를 계산할 수 있다. 추가적으로, 딥러닝 이벤트 검출 모듈(230) 및 룰 기반 이벤트 검출 모듈(240)은 각각에 적합한 이벤트 조건으로, 도로에서 발생한 이상 행위, 예를 들어, 과속 차량, 불법 주정차 차량, 사고/고장차를 검출할 수 있다. 객체가 검출된 영상은 딥러닝 이벤트 검출 모듈(230) 및 룰 기반 이벤트 검출 모듈(240)에 모두 제공되거나, 둘 중 어느 하나에만 제공될 수 있다.

제2 영상(510)은 제1 영상(500)에서 표출된 3차선 도로를 촬영한 영상으로, 다수의 이상 행위가 발생한 상황을 예시적으로 나타내며, 제3 영상(520)은 제2 영상(510)에 3차원 기하학 필터를 적용한 영상이다.

제2 영상(510)에서, 딥러닝 이벤트 검출 모듈(230) 및 룰 기반 이벤트 검출 모듈(240) 중 어느 하나 또는 모두는 불법 주정차 차량 검출 및 사고/고장차 검출 이벤트 조건에 부합하는 불법 주정차 차량(511) 및 사고 차량(513)을 검출하였다. 상술한 바와 같이, 동일한 이벤트를 검출하기 위한 이벤트 조건도, 영상 분석 방식에 따라 상이하게 설정된다. 예를 들어, 딥러닝 이벤트 검출 모듈(230)이 사고 차량을 검출하기 위한 이벤트 조건은 도로에 멈춰진 차량의 외형이 손상되어 있으면 사고 차량 발생으로 판단하는 반면, 룰 기반 이벤트 검출 모듈(240)이 사고 차량을 검출하기 위한 이벤트 조건은 차들이 특정 지점에서 인접 차선으로 차선 변경(512)을 하거나, 두 대 이상의 차량이 밀접하게 접촉한 상황이면 사고 차량 발생으로 판단할 수 있다.

빅 데이터 분석은 딥러닝 이벤트 검출 모듈(230) 또는 룰 기반 이벤트 검출 모듈(240)의 이벤트 검출 결과를 보완하거나 평가하는데 활용될 수 있다. 일 예로, 정지된 차량 주변에서 사람 객체가 검출되면, 딥러닝 이벤트 검출 모듈(230) 또는 룰 기반 이벤트 검출 모듈(240)은 무단 횡단으로 판단할 수도 있고, 사고 차량 발생으로 판단할 수도 있다. 주변 상황(예를 들어, 다른 차선의 차량들의 주행 여부)을 고려하더라도, 무단 횡단인지, 사고 차량 발생인지를 명확히 구분하기 어려울 수 있다. 다른 예로, 범퍼만 약하게 접촉하여 차량 외형에 손상이 발생하지 않았고, 접촉이 발생했던 두 차량이 서로 이격되어 정차한 경우, 교통 신호로 인해 정차한 것인지 아니면 사고 차량 발생인지를 판단하기 어려울 수 있다. 특정 이벤트 조건에 따른 딥러닝 이벤트 검출 모듈(230) 또는 룰 기반 이벤트 검출 모듈(240)의 판단, 즉, 이벤트 검출이 적절했는지에 대한 평가 또는 보완을 위해, 빅데이터 분석이 수행될 수 있다. 빅데이터 분석은 이벤트가 검출된 영역을 분석하여, 이벤트의 유형을 판단하며, 판단된 이벤트 유형이 검출된 이벤트에 부합하는지를 평가하는 분석이다. 빅데이터 분석의 결과는 딥러닝 이벤트 검출 모듈(230)의 학습 데이터로 활용되어, 유사한 상황이 다시 발생했을 때, 어떤 이벤트인지를 보다 정확하게 판단할 수 있도록 할 수 있다.

제2 영상(510)과 제3 영상(520)의 차이점을 비교하면, 제2 영상(510)에서는, 추적 오류가 발생할 수 있는 반면, 제3 영상(520)에서는, 추적 오류가 발생하지 않는다. 불법 주차된 4대의 차량 중 좌측 2대의 차량은 객체 식별자 ID#132가 부여된 버스에 의해 가려지게 된다. 공지의 영상 분석 장치는 제2 영상(510)에서, 버스 및 일부가 가려진 2대의 차량을 모두 한 대의 버스로 인식하며, 버스가 통과한 이후에, 다시 검출되어 새로운 객체 식별자가 부여할 수도 있다. 즉, 객체 재인식이 적용되지 않는다면, 동일 장소에 장시간 주차된 차량을 검출하는 이벤트 조건에 부합하지 않으므로, 불법 주정차된 차량임에도 불구하고 검출되지 않을 수 있다. 객체 재인식 모듈(213)은 검출된 객체의 속성을 이미 등록된 객체의 속성과 비교함으로써, 인접 차선을 주행한 다른 차량에 의해 일시적으로 가려지더라도, 동일 객체임을 인식할 수 있게 된다. 따라서, 딥러닝 이벤트 검출 모듈(230) 또는 룰 기반 이벤트 검출 모듈(240)은 불법 주정차 차량 검출을 위한 이벤트 조건에 부합하는지 여부를 판단할 수 있게 된다. 한편, 제3 영상(520)에서, 검출된 모든 객체는 3차원 좌표값에 의해 3차원 도형으로 표출되며, 객체 추적이 3차원 좌표값에 의해 이루어진다. 따라서 인접 차선을 주행한 다른 차량에 의해 일시적으로 가려지더라도, 지속적으로 추적될 수 있기 때문에, 딥러닝 이벤트 검출 모듈(230) 또는 룰 기반 이벤트 검출 모듈(240)은 불법 주정차 차량 검출을 위한 이벤트 조건에 부합하는지 여부를 판단할 수 있게 된다.

도 8은 이기종 객체 필터 기반 하이브리드 영상 분석을 적용한 지능형 교통 시스템의 다른 실시예를 예시적으로 설명하기 위한 도면이다.

제1 영상(600)은 횡단보도를 촬영한 영상으로, 세 명의 사람 객체(즉, 보행자)가 횡단보도(즉, 제2 관심 영역 ROI2)를 건너서 인도(즉, 제1 관심 영역 ROI1)쪽으로 걸어가고 있는 중이며, 보행자 신호등(501)의 녹색등은 시간이 거의 다 되었음을 알리기 위해 점멸중인 상황을 예시적으로 나타낸다. 하이브리드 영상 분석 장치를 지능형 교통 시스템에 적용하면, 현장 상황에 따른 교통 신호의 관제가 가능해진다. 제1 영상(600)에 의해 예시된 상황에서 제2 관심 영역 ROI2에서 사람 객체가 검출되면, 딥러닝 이벤트 검출 모듈(230) 또는 룰 기반 이벤트 검출 모듈(240)은 녹색등의 잔여 시간, 인도까지의 거리, 또는 사람 객체의 이동 속도를 분석하여, 잔여 시간 내에 인도까지 도착할 수 없다는 이벤트를 검출한다. 이벤트가 검출되면, 지능형 교통 시스템은 보행자 신호등(601)의 녹색등 점멸 시간을 연장함으로써, 보행자는 안전하게 인도에 도착할 수 있게 된다.

제2 영상(610)은 제1 영상(600)에서 표출된 횡단보도를 촬영한 영상으로, 이상 행위가 발생한 상황을 예시적으로 나타내며, 제3 영상(620)은 제2 영상(610)에 3차원 기하학 필터를 적용한 영상이다. 제2 영상(610)이 예시하고 있는 이상 행위는 사람 객체의 쓰러짐(611)이다. 횡단보도는 차도의 일부를 보행자가 걸어갈 수 있도록 허용한 영역이다. 일 예로, 횡단보도에서 쓰러진 보행자가 인도에 도착하는데 걸리는 시간은 다른 보행자보다 더 오래 걸릴 수 있다. 따라서, 제1 영상(600)을 참조하여 설명한 경우와 마찬가지로, 녹색등의 점멸 시간이 연장될 수 있다. 한편, 다른 예로, 쓰러진 보행자가 일정 시간 움직이지 않으면, 차량과의 충돌 사고 등으로 인해 쓰러진 보행자의 상태가 위중한 상태로 판단될 수 있다. 쓰러진 보행자가 검출되면, 지능형 교통 시스템은 이상 행위가 발생한 지리적 위치 정보를 긴급 대응 기관에 전송하여, 신속한 조치가 이루어질 수 있도록 할 수 있다.

동일한 상황에서, 보행자의 쓰러짐은 3차원 기하학 필터의 적용으로 보다 신속하게 및 정확하게 검출이 가능해진다. 정상 상황에서, 사람 객체를 나타내기 위해 3차원 좌표값에 의해 표출된 3차원 도형은 길이 방향이 지면에 수직한 기둥의 형태를 가진다. 사람 객체가 쓰러지면, 3차원 도형의 길이 방향은 지면에 평행하게 되므로, 룰 기반 이벤트 검출 모듈(240)로도 충분히 검출이 가능해진다.

도 9는 지능형 에지 장치로 구현된 이기종 객체 필터 기반 하이브리드 영상 분석 장치를 개략적으로 도시한 도면이다.

이기종 객체 필터 기반 하이브리드 영상 분석 장치는 지능형 에지 장치(700)로 구현될 수 있다. 지능형 에지 장치(700)는 영상 데이터 처리 모듈(100'), 영상 분석 모듈(200') 및 메타 데이터 전송 모듈(710)을 포함하며, 통신망(30)을 통해 연결된 에지 기반 영상 분석 장치(800)로, 검출된 이벤트에 대한 메타 데이터를 전송한다. 영상 데이터 처리 모듈(100') 및 영상 분석 모듈(200')은 상술한 영상 데이터 처리 모듈(100) 및 영상 분석 모듈(200)과 실질적으로 동일하므로, 중복된 설명은 생략하며, 차이점만 설명한다. 도 2는 집중식 영상 분석을 위한 구조인데 반해, 도 9는 분산식 영상 분석을 위한 구조이다. 상세하게, 도 2는 복수의 카메라(20)가 전송한 복수의 영상이 하나의 이기종 객체 필터 기반 하이브리드 영상 분석 장치에 집중되며, 이기종 객체 필터 기반 하이브리드 영상 분석 장치가 모든 영상을 분석하는 실시예를 나타낸다. 반면, 도 9는 현장에 설치된 복수의 지능형 에지 장치(700) 각각이 영상 분석(이하, 1차 분석)을 수행하여 미리 설정된 유형의 이벤트에 대한 메타 데이터를 생성하며, 생성된 메타 데이터는 에지 기반 영상 분석 장치(800)에 의해 분석(이하, 2차 분석)되는 실시예를 나타낸다.

지능형 에지 장치(700)는 설치된 지역 및 현장 상황에 적합하게 학습하고, 수행된 학습에 기초한 영상 분석을 가능하게 한다. 특히, 영상은 에지 기반 영상 분석 장치(800)가 요청하는 경우에 한하여 전송될 수 있으므로, 통신망의 종류, 접근성, 대역폭 등의 제한을 받지 않으며, 신속한 영상 분석을 통한 이벤트 검출이 가능하다.

지능형 에지 장치(700)는 1차 분석을 수행하여, 객체에 관련하여 미리 설정된 제1 이벤트 조건을 충족하는 이벤트를 검출하며, 검출된 이벤트에 대한 제1 메타 데이터를 생성한다. 제1 메타 데이터는 에지 기반 영상 분석 장치(800)가 사용자에 의해 설정된 제2 이벤트 조건에 부합하는 이벤트를 검출하는데 이용되거나, 학습 데이터로 이용될 수 있다. 에지 기반 영상 분석 장치(800)는 2차 분석 결과에 기초하여, 지능형 에지 장치(700)의 이벤트 검출 모듈을 갱신하여, 새로운 이벤트를 검출하거나, 변화된 환경에 적응할 수 있도록 한다. 한편, 지능형 에지 장치(700)는 1차 분석이 어려울 경우, 검출된 객체에 대한 메타 데이터를 에지 기반 영상 분석 장치(800)로 전송하여 분석을 요청할 수도 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 특히, 도면을 참조하여 설명된 본 발명의 특징은 특정 도면에 도시된 구조에 한정되는 것이 아니며, 독립적으로 또는 다른 특징에 결합되어 구현될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (13)

1. 카메라로부터 2차원 영상을 수신하고, 수신한 영상을 전처리하는 영상 데이터 처리 모듈; 및
   전처리된 2차원 영상에서 검출된 객체를 특정하며 특정된 객체를 3차원 도형으로 표출하기 위한 3차원 좌표값을 생성하고, 3차원 도형으로 표출된 객체를 상기 2차원 영상에서 추적하며, 상기 3차원 도형으로 표출된 객체가 검출된 2차원 영상을 둘 이상의 상이한 영상 분석 방식으로 분석하여 상기 3차원 도형으로 표출된 객체에 연관된 이벤트를 검출하는 영상 분석 모듈을 포함하되,
   상기 영상 분석 모듈은,
   상기 전처리된 2차원 영상에서 객체를 검출하며, 검출된 객체를 상기 3차원 도형으로 표현하기 위한 3차원 좌표값을 생성하는 객체 검출 모듈;
   상기 3차원 도형으로 표출된 객체의 움직임을 추적하는 객체 추적 모듈;
   상기 2차원 영상을 딥러닝 방식으로 분석하여 이벤트 조건에 부합하는 이벤트를 검출하는 딥러닝 이벤트 검출 모듈; 및
   상기 2차원 영상을 룰 기반 방식으로 분석하여 이벤트 조건에 부합하는 이벤트를 검출하는 룰 기반 이벤트 검출 모듈을 포함하는 이기종 객체 필터 기반 하이브리드 영상 분석 장치.
2. 청구항 1에 있어서, 상기 영상 분석 모듈은
   관심 영역의 혼잡도가 증가하면, 상기 3차원 도형으로 표출된 객체의 움직임을 상기 3차원 좌표값을 이용하여 추적하여, 중첩된 객체를 구분하는 이기종 객체 필터 기반 하이브리드 영상 분석 장치.
3. 청구항 1에 있어서, 상기 영상 분석 모듈은,
   이벤트 검출 과정에서 노이즈로 작용하는 환경 요소를 상기 전처리된 2차원 영상에서 제거하는 이기종 객체 필터 기반 하이브리드 영상 분석 장치.
4. 청구항 3에 있어서, 상기 영상 분석 모듈은,
   객체 검출 이후에 상기 환경 요소를 상기 전처리된 2차원 영상에서 제거하는 이기종 객체 필터 기반 하이브리드 영상 분석 장치.
5. 청구항 1에 있어서, 상기 영상 분석 모듈은
   복수의 카메라로부터 수신된 영상에서 검출된 객체들의 속성을 추출하며, 추출된 속성을 미리 등록된 속성과 비교하여 동일 객체를 식별하는 이기종 객체 필터 기반 하이브리드 영상 분석 장치.
6. 청구항 5에 있어서, 상기 영상 분석 모듈은
   추출된 속성과 등록된 속성을 비교하여, 유사도를 결정하는 이기종 객체 필터 기반 하이브리드 영상 분석 장치.
7. 삭제
8. 청구항 1에 있어서, 상기 객체 검출 모듈은,
   상기 검출된 객체를 특정하며 3차원 도형으로 표현하기 위한 3차원 좌표값을 생성하는 3차원 기하학 필터; 및
   이벤트 검출 과정에서 노이즈로 작용하는 환경 요소를 상기 전처리된 영상에서 제거하는 환경 필터를 포함하되,
   상기 객체 추적 모듈은
   상기 3차원 좌표값을 이용하여 상기 3차원 도형으로 표현된 객체의 움직임을 추적하는 이기종 객체 필터 기반 하이브리드 영상 분석 장치.
9. 청구항 1에 있어서, 검출된 이벤트를 대한 메타 데이터를 에지 기반 영상 분석 장치로 전송하는 메타 데이터 전송 모듈을 더 포함하는 이기종 객체 필터 기반 하이브리드 영상 분석 장치.
10. 삭제
11. 삭제
12. 삭제
13. 삭제

Images