KR20220164836A

KR20220164836A - 라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법

Info

Publication number: KR20220164836A
Application number: KR1020210072545A
Authority: KR
Inventors: 김기주
Original assignee: 동명대학교산학협력단
Priority date: 2021-06-04
Filing date: 2021-06-04
Publication date: 2022-12-14

Abstract

라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법이 개시된다. 본 발명은 구체적으로, 수중물체의 멀티 표적 추적 방법은 기본적으로 기존과 같이, 특정 영상감시 영역의 영상감시장치로 수중에서의 이상행위 또는 불건전한 행위 등의 특이행동을 하는 표적 후보인 특정된 다수의 수중 물체를 인식하여, 라이다에 의해 표적 추적한다.
그리고, 이러한 경우에, 여러 객체별로의 부분 윤곽을 영상분포도로서 추출하고 객체일부만으로 통합적으로 생성해서, 이러한 객체일부에서 전체 크기와 위치를 추정하는 방식의 응용을 통해서 한번에 영상 내의 여러 객체를 일괄추출한다.
따라서, 이를 통해 이러한 객체에 의해서 특이행동을 감지하여, 신속하고 효과적으로 이상징후를 나타내는 객체를 감지하며, 실제 감지된 경우에는 라이다 센서와 연동해서 추적을 개시 수행하여 향상된 멀티표적 추적을 하는 효과가 있는 것이다.

Description

라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법 {Method for underwater objects recognizing and tracking multi target employing lidar sensor and image photographing device}

본 발명은 라이다 센서와 영상촬영장치를 이용한 수중물체의 멀티표적 인식 및 추적방법에 관한 것으로, 더욱 자세하게는 수중 영상촬영장치를 통해 촬영한 감시영상에서 객체를 인식하여 라이다 센서를 통해 멀티 표적을 추적하는 기술에 관한 것이다. 본 성과물은 부산광역시의 대학혁신연구단지조성사업 중“동명대학교 대학혁신연구단지조성사업”지원으로 수행되었다.

종래, 수중 환경에서의 위치 인식 및 항법에 필요한 정보를 얻기 위하여, 영상 정보를 활용한 물체 탐색 및 인식과 항법에 관한 다양한 연구가 수행되어 왔다.

더욱 상세하게는, 수중 환경에서의 위치 인식 및 항법에 필요한 정보를 얻기 위한 종래의 방법으로는, 먼저, 예를 들면, IMU(Inertial Mearsurement Unit), DVL(Doppler Velocity Logs), USBL(Ultra Short Base Line) 등과 같은 센서를 사용하여 정보를 얻는 방법이 있으나, IMU 및 DVL은 오차가 크거나 누적됨으로 인해 정확한 위치 정보를 얻기 어렵다는 단점이 있고, USBL은 오차가 누적되지는 않으나 매우 고가인데 더하여 사용방법이 매우 어렵고 제한적이라는 단점이 있었다.

또한, 최근에는, 수중 영상처리를 이용하여 직접 상대적인 위치를 계측하거나 다른 센서 결과에 대한 오차를 보정하는 연구가 진행되어 많은 연구에서 광학 카메라를 사용하여 영상을 획득하는 방법을 제시하고 있으나, 광학영상은 탁도 및 빛의 영향으로 제한된 시계를 극복하기 어렵다는 문제가 있는 것이었다.

이에, 상기한 바와 같은 광학 카메라에 대한 대안으로, 수중 영상 소나(sonar)를 사용하여 얻어진 영상을 통해 수중의 상황을 판단하는 방법이 널리 사용되고 있다.

최근에는, 컴퓨터 등을 통해 소나 영상과 이에 대한 후처리(영상처리)를 행하여 탁도에 의한 시야 확보의 어려움을 감소하고 수중 환경에 대한 영상을 관찰할 수 있도록 하는 기술내용이 제시된 바 있으나, 현존하는 최고 성능의 소나로도 자연물의 인식이 매우 어려운 관계로, 현재로서는 해당 분야에 대한 연구가 사실상 정체된 상태에 있다.

여기서, 영상 소나는 초음파를 사용하여 주변 환경을 계측하는 장비로서, 수중의 환경을 파악하는데 유용하게 사용되나, 소나 영상은, 예를 들면, 물체의 재질 등과 같은 환경의 영향을 많이 받는 특성으로 인해 수중의 물체를 명확히 표현하는데 한계가 있다.

상기 소나 영상은, 물체의 정보를 명확히 전달하지 못하는 한계가 있음으로 인해 소나 영상 자체만으로 물체의 탐색 및 인식에 어려움이 있는 데 더하여, 광학 카메라에 비해 낮은 화질과 노이즈가 많은 영상으로 인해 물체를 보다 용이하게 식별할 수 있도록 하기 위한 사후적인 영상처리에도 많은 어려움이 따르는 것이었다. 더욱이, 수중에서 자율적으로 활동하는 수중 로봇을 구현하기 위하여는, 수중의 지형이나 장애물 등을 정확히 인식하고 이동경로를 결정할 수 있어야 하나, 상기한 바와 같이, 종래의 소나 영상 처리방법으로는 수중 물체의 식별이 매우 어려움으로 인해 수중 영상 소나만으로 수중 환경 정보를 수중 로봇을 제공하는 데는 한계가 있으며, 그로 인하여 수중 로봇의 구현에도 많은 어려움이 따르는 문제도 있었다.

대한민국 특허공개 제2000-0001792호 대한민국 특허공개 제2009-0043016호 대한민국 특허공개 제2015-0059191호 대한민국 등록특허 제10-1236970호 대한민국 등록특허 제10-0439009호

따라서, 본 발명은 수중에서 영상촬영장치를 이용하여 물체를 인식하고, 인식한 수중 물체에 대하여 영상감시와 내부의 라이다 센서를 연동하여 멀티 표적을 추적할 수 있도록 하고, 이러한 경우에, 감시영상 내에서 표적의 후보인 여러 객체를 영상 기반의 특정 객체구조 특징들만으로 추출하여 객체추출을 통합적으로 신속히 일괄적으로 할 수 있도록 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법을 제공하고자 한다.

이러한 문제를 해결하기 위하여 본 발명은 라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법에 있어서, 영상 감시 영역의 감시영상이 입력될 경우에, 감시영상을 누적해서 배경 파트를 생성하는 단계와 상기 배경 파트를 기준으로 미리 설정된 차이값보다 초과하는 화소를 산출하는 단계와 상기 차이값이 임계치 이상인 화소영역을 전경 파트로 획득하는 단계와 상기 전경 파트의 노이즈를 모폴로지 필터를 통해 삭제하는 단계와 상기 노이즈가 제거된 전경 파트에서 다수의 상이한 객체별로 부분 윤곽을 영상분포도에 의해서 추출하는 단계와 상기 추출된 객체의 부분 윤곽에서, 미리 설정된 최소 크기 이하의 영역을 인접한 영역과 결합하여 객체의 서브 바디를 생성하는 단계와 상기 생성된 객체의 서브 바디를 미리 설정된 감시객체의 서브 바디패턴과 비교해서, 현재 감시객체에 해당하는 객체의 서브 바디를 전부 일괄추출하는 단계와 상기 감시객체에 해당하는 객체의 서브 바디가 추출된 경우에, 각각의 객체 서브 바디로부터 객체의 전체 크기와 위치를 상이한 객체의 서브 바디별로 추정하는 미리 설정된 포맷에 의해서 현재 객체의 전체 크기와 위치를 추정하는 단계와 상기 추정된 객체 전체를 통해 나타난 객체의 행동이 미리 설정된 특이행동인 경우, 해당하는 객체를 표적으로 라이다 센서의 동작을 개시하고, 상기 특이행동이 아닌 경우 상기 라이다 센서의 동작을 개시하지 않는 단계; 및 상기 개시된 라이다 센서에 의한 객체의 반사 정보와 도플러 주파수 편이 정보에 따라 다수의 상이한 객체별로 멀티 표적을 추적하는 단계를 포함하는 것을 특징으로 하는 것이다.

따라서, 본 발명은 상기한 바와 같이 영상감시와 라이다 센서를 연동하여 수중에서 멀티 표적을 인식하여 추적하고, 이러한 경우에, 감시영상 내에서 여러 객체를 영상 기반의 특정 객체구조 특징들만으로 추출해서, 객체 추출을 통합적으로 신속히 일괄적으로 수행하는 라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법을 제공하는 효과가 있는 것이다.

도 1은 일실시예에 따른 라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법을 개념적으로 설명하기 위한 도면
도 2는 일실시예에 따른 라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법이 적용된 시스템을 전체적으로 도시한 도면
도 3a는 도 2의 시스템에 적용된 영상촬영장치의 구성을 도시한 블록도
도 3b는 도 2의 시스템에 적용된 중앙관제센터의 구성을 도시한 블록도
도 4는 일실시예에 따른 라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법을 이용한 멀티 표적 인식 및 추적 방법을 순서대로 도시한 플로우 차트.

이하에서는 본 발명의 양호한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시가 되더라도 가능한 한 동일 부호를 가지도록 하고 있음에 유의하여야 한다.

또한, 하기에서 본 발명을 설명함에 있어 관련된 공지기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

또한, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위하여 사용된 것에 불과하므로, 본 발명을 한정하려는 의도가 아니며 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현도 의미하는 것임을 미리 밝혀두고자 한다.

도 1은 일실시예에 따른 라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법을 개념적으로 설명하기 위한 도면이고, 도 2는 일실시예에 따른 라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법이 적용된 시스템을 전체적으로 도시한 도면이고, 도 3a는 도 2의 시스템에 적용된 영상촬영장치의 구성을 도시한 블록도이고, 도 3b는 도 2의 시스템에 적용된 중앙관제센터의 구성을 도시한 블록도이고, 도 4는 일실시예에 따른 라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티 표적 인식 및 추적방법을 이용한 멀티 표적 인식 및 추적 방법을 순서대로 도시한 플로우 차트이다.

도 1은 라이다 센서(130)와 이를 포함한 영상촬영장치(100)를 이용한 수중물체의 멀티 표적 인식 및 추적 방법을 개념적으로 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 일실시예의 멀티 표적 추적 방법은 기본적으로 기존과 같이, 특정 영상감시 영역의 영상감시장치로 수중에서의 행위 등과 같은 특이행동을 하는 표적 후보인 특정된 다수의 물체를 인식하여, 라이다에 의해 표적 추적한다. 참고로, 상기 라이다(LiDAR: Light Detection And Ranging)는 레이저 빔을 대상물에 발사하고 반사되어 돌아오는 시간을 측정하여 거리를 매핑하고, 위치를 계산하는 센싱 시스템을 의미하는 것으로, 레이저(laser)와 유사한 것이다. 본 명세서에서 언급되는 라이다 센서(130)는 수중 라이다 센서이다.

즉, 상기 라이다 센서(130)는 레이저를 목표물에 비추어 사물까지의 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성 등을 감지할 수 있는 기술로서, 일반적으로 높은 에너지 밀도와 짧은 주기를 가지는 펄스 신호를 생성할 수 있는 레이저의 장점을 활용하여 보다 정밀한 물성 관측 및 거리 측정 등에 활용이 된다.

그래서, 이를 통해 일실시예의 멀티 표적 추적 방법은 영상감시를 할 경우, 정확하고 손쉽게 멀티 표적을 추적 감시할 수 있도록 한다.

이러한 경우, 일실시예에 따른 멀티 표적 추적 방법은 여러 물체별로의 부분 윤곽을 영상분포도로서 추출하고 물체 일부만으로 통합적으로 생성해서, 이러한 물체일부에서 전체 크기와 위치를 추정하는 방식의 응용을 통해서 한번에 여러 물체를 일괄적으로 추출한다.

그리고, 이러한 객체에 의해서 특이행동을 감지하여, 신속하고 효과적으로 이상 징후를 나타내는 객체를 감지하며, 실제 감지된 경우에는 라이다 센서(130)와 연동해서 추적을 개시 수행하여 향상된 멀티 표적 추적을 한다.

예를 들어, 이러한 멀티 표적 추적 방법은 기존과 같이, 여기에서 수중의 영상감시에 적용된다.

이를 위하여, 영상감시장치 즉, 영상촬영장치(100)가 적용되며, 이는 기본적으로 수중 등에서 선박 등이 주행할 경우, 상기 영상촬영장치(100)의 감시영상과, 수중 환경정보를 수집하여 지상에 설치되어 있는 중앙관제센터(200)로 전달시킴으로써, 수중 환경 분석을 위한 기초정보를 획득한다. 그러면, 상기 중앙관제센터(200)에서 이러한 수중 환경 정보를 학습하여 수중 분석을 한다.

그래서, 이러한 수중분석 결과를 바탕으로 해당되는 수중영역에 관한 정책을 도출하거나 이상 징후를 예측하기도 한다.

이러한 상태에서, 영상촬영장치(100)에 의해 수집된 영상정보를 기반으로 멀티 표적을 추적하는데, 상기 영상촬영장치(100)에서 직접적으로 수행한다.

그래서, 영상촬영장치(100)와 중앙관제센터(200)는 일실시예와 관련된 멀티 표적 추적이 될 경우에, 감시영상에서 각 객체와 미리 설정된 이상 행위 또는, 수중의 특이상황 등을 비교하여 특정된 다수의 수중물체를 인식한다.

상기 영상촬영장치(100)는 다수의 상이한 영상감시 영역별로 예를 들어, 수중의 일정 영역 등에 각기 설치된 것으로, 자신의 감시영역의 감시영상과, 수중환경정보를 수집하여 지상의 중앙관제센터(200)에 제공해서 수중환경 분석 등이 이루어지도록 한다. 참고적으로, 이러한 경우, 상기 수중 환경 정보는 인접한 선박 속도와, 수질의 탁도(濁度) 상태, 수질 농도 등이다.

상기 라이다 센서(130)는 이러한 특이행동 등 특정된 다수의 수중물체를 라이다의 물체에 대한 반사 정보와 도플러 주파수 편이 정보에 의해 추적한다. 이때, 라이다 센서(130)는 수중물체 예를 들어, 상기 수중물체 등의 특이점을 선택적으로 추적하여, 예컨대 선박의 진행방향, 속도 등과 같은 정보를 수집한다.

여기서, 특이점은 추적 대상을 추적하기 위해 선정한 수중물체의 특정 부분을 의미한다. 상기 라이다 센서(130)는 물체 전체가 아닌 특이점만을 추적함으로써 추적 대상을 구분할 수 있으며, 추적대상의 속도, 진행방향과 같은 사항을 지속적으로 추적할 수 있게 된다. 이러한 특이점의 선정으로 인해 전체에 비해 대상을 구분할 수 있는 최소 부위만 추적함으로써 종래에 비해 장시간 정밀하게 추적할 수 있다. 또한, 특이점을 이용한 추적의 경우 최소 범위만 지속적인 감지를 수행함으로써 분석에 의한 처리가 감소하여 복수의 수중물체를 같은 시간에 멀티 추적하는 것이 가능해지게 된다.

도 2는 일실시예에 따른 라이다 센서(130)와 영상촬영장치(100)를 이용한 멀티 표적 추적 방법이 적용된 시스템을 전체적으로 도시한 도면이다.

도 2에 도시된 바와 같이, 일실시예에 따른 시스템은 다수의 상이한 영상감시 영역별로 설치된 다수의 영상촬영장치(100-1 ~ 100-n 등)와, 중앙관제센터(200)를 포함한다.

상기 영상촬영장치(100-1 ~ 100-n 등)는 다수의 상이한 영상감시 영역별로 해상이나 수중 등에 각기 설치된다. 이러한 영상촬영장치(100-1 ~ 100-n 등)는 자신의 영상감시 영역에서 감시영상을 획득하고, 자가망을 통해 상기 중앙관제센터(200)에 제공한다.

상기 중앙관제센터(200)는 기본적으로 상기 영상촬영장치(100-1 ~ 100-n 등)로부터 감시영상 등을 수집하고 수중물체나 선박의 이상여부를 판별해서 위험 등을 추적함으로써, 관제가 이루어진다.

그래서, 상기 중앙관제센터(200)는 이때 이러한 영상에서 특이행동을 하는 객체를 인식할 경우, 상기 영상촬영장치(100-1 ~ 100-n 등)에 연계된 주변의 라이다 센서(130)의 동작을 제어하여 객체의 반사 정보와, 도플러 주파수 편이 정보에 따라 멀티 표적을 추적한다.

그리고, 이상 상황이 감지될 때에는, 상기 영상촬영장치(100-1 ~ 100-n 등)의 회전과, 확대, 정지, 상태 확인 등의 다양한 제어활동도 수행한다.

더 나아가, 상기 중앙관제센터(200)는 이러한 수중분석결과 등을 도 2에 도시된 대로, 방재관리실 혹은 외부연계기관에 제공하기도 한다. 예를 들어, 외부연계기관은 관할 해양경찰서 정보처리장치, 긴급구조기관 정보처리장치, 소방서 정보처리장치 등이다.

도 3a와 도 3b는 도 2의 시스템에 적용된 장치의 구성을 도시한 도면이다.

구체적으로는, 도 3a는 일실시예에 따른 영상촬영장치(100)의 구성을 도시한 블록도이다. 그리고, 도 3b는 일실시예에 따른 중앙관제센터(200)의 구성을 도시한 블록도이다.

도 3a에 도시된 바와 같이, 일실시예에 따른 영상촬영장치(100)는 카메라 모듈(110)과, DSP부(120), 라이다 센서(130), 제어부(140), 통신부(150)를 포함한다.

추가적으로, 도 2의 영상촬영장치(100)는 인공 지능부(160)를 포함한다. 상기 인공지능부(160)를 통하여 학습 모델을 지정한다.

상기 카메라 모듈(110)은 관리자를 통해 미리 지정된 영상감시 영역의 영상을 수집하여 관리자가 원하는 감시영역에서의 수중물체 등을 인식하도록 한다.

상기 DSP부(120)는 상기 카메라 모듈(110)의 영상을 디지털 신호 처리하여 상기 제어부(140)로 전달한다.

상기 라이다 센서(130)는 상기 제어부(140)의 제어에 의해 레이다를 멀티 표적에 송출하여 반사 정보와, 도플러 주파수 편이 정보를 상기 제어부(140)로 전달하므로, 이에 따라 표적 추적이 이루어지도록 한다.

상기 제어부(140)는 상기 DSP부(120)에 의해 처리된 결과로부터 감시영상 내의 객체를 일실시예에 따른 방식으로(후술(後述)하는 도 4를 참조하여 상세히 설명함) 추출하여 미리 설정된 특이 행동을 하는 경우, 상기 라이다 센서(130)의 송출동작을 개시한다. 그리고, 상기 제어부(140)는 이러한 라이다 센서(130)의 객체 반사정보와, 도플러 주파수 편이정보(도플러 주파수 방향과, 편이값 포함)에 따라 멀티 표적을 추적한다.

상기 통신부(150)는 상기 제어부(140)의 제어에 의해 각종 정보를 예를 들어, 감시영상과 특이 행동을 하는 객체, 멀티 표적 추적 정보 등을 중앙관제센터(200)로 전달한다.

한편, 도 3b에 도시된 바와 같이, 일실시예에 따른 중앙관제센터(200)는 I/F부(201)와, 메인 제어부(202), 데이터베이스(203)를 포함한다.

부가적으로, 이러한 중앙관제센터(200)는 관리자 설정명령 등을 입력받는 키신호 입력부(204)를 포함한다.

상기 I/F부(201)는 미리 등록된 영상촬영장치(100)와 정보를 송수신한다.

상기 메인 제어부(202)는 이러한 영상촬영장치(100)로부터 감시 영상을 제공받아서, 현재 감시영상에서 일실시예에 따른 멀티 표적 추적 방법을 실제적으로 적용하므로, 객체를 고속 인식한다. 이러한 경우, 메인 제어부(202)는 일실시예에 따른 객체 3차원 학습모델을 사용한다. 그 다음, 메인 제어부(202)는 이러한 객체 인식 결과에 따라서 특정 객체에 이상상태가 검출된 경우에 해당하는 영상촬영장치(100)의 동작을 예를 들어, 영상 확대 및 줌-인 등의 동작을 제어한다.

상기 데이터베이스(203)는 이러한 객체 인식이 될 경우에 일실시예에 따른 객체 3차원 학습모델을 등록한다. 그리고, 데이터베이스(203)는 이 외에도 상기 영상촬영장치(100)와 외부 연계 기관의 등록정보 등을 등록한다.

도 4는 일실시예에 따른 라이다 센서(130)와 영상촬영장치(100)를 이용한 멀티 표적 추적 방법을 순서대로 도시한 플로우 차트이다.

도 4에 도시된 바와 같이, 일실시예에 따른 멀티 표적 추적 방법은 먼저 영상 감시 영역의 감시 영상이 입력될 경우에, 감시 영상을 누적해서 배경 파트를 생성한다(S401).

그리고 나서, 이러한 배경 파트를 기준으로 미리 설정된 차이값보다 초과하는 화소를 산출한다(S402).

다음, 이러한 차이값이 임계치 이상인 화소영역을 모아 전경 파트로서 획득한다(S403).

그리고, 전경 파트의 노이즈를 모폴로지 필터를 통해 삭제한다(S404).

그래서, 이렇게 노이즈가 제거된 전경 파트에서 다수의 상이한 객체별로 부분 윤곽을 영상분포도에 의해서 추출한다(S405).

다음, 이러한 객체의 부분 윤곽에서, 미리 설정된 최소 크기 이하의 영역을 인접한 영역과 결합하여 객체의 서브 바디를 생성한다(S406).

그리고 나서, 이렇게 생성된 객체의 서브 바디를 미리 설정된 감시객체의 서브 바디패턴과 비교해서, 현재 감시 객체에 해당하는 객체의 서브 바디를 전부 일괄추출한다(S407).

다음, 이러한 감시객체에 해당하는 객체의 서브 바디가 추출된 경우에, 각각의 객체 서브 바디로부터 객체의 전체 크기와 위치를 상이한 객체의 서브 바디별로 추정하는 미리 설정된 포맷에 의해서 현재 객체의 전체 크기와 위치를 추정한다(S408).

그래서, 이러한 객체 전체를 통해 나타난 객체의 행동이 미리 설정된 특이행동인 경우(S409), 해당하는 객체를 표적으로 라이다 센서(130)의 동작을 개시하고(S410), 상기 특이행동이 아닌 경우 상기 라이다 센서(130)의 동작을 개시하지 않는다.

그런 후에, 이러한 라이다 센서(130)에 의한 객체의 반사 정보와, 도플러 주파수 편이 정보에 따라 다수의 상이한 객체별로 멀티 표적을 추적한다(S411).

따라서, 이를 통해 일실시예는 여러 객체별로의 부분 윤곽을 영상분포도로서 추출하고 객체일부만으로 통합적으로 생성해서, 이러한 객체일부에서 전체 크기와 위치를 추정하는 방식의 응용을 통해서 한번에 여러 객체를 일괄추출한다.

그리고, 이러한 객체에 의해서 특이행동을 감지하여, 신속하고 효과적으로 이상징후를 나타내는 객체를 감지하며, 실제 감지된 경우에는 라이다 센서(130)와 연동해서 추적을 개시 수행하여 향상된 멀티 표적 추적을 한다.

이상과 같이, 일실시예는 기본적으로 기존과 같이, 특정 영상감시 영역의 영상감시장치로 특이 행동을 하는 표적 후보인 특정된 다수의 객체를 인식하여, 라이다 센서(130)에 의해 표적 추적한다.

이러한 경우, 일실시예는 여러 객체별로의 부분 윤곽을 영상분포도로서 추출하고 객체 일부만으로 통합적으로 생성해서, 이러한 객체 일부에서 전체 크기와 위치를 추정하는 방식의 응용을 통해서 한번에 영상 내의 여러 객체를 일괄추출한다.

그리고, 이러한 객체에 의해서 특이행동을 감지하여, 신속하고 효과적으로 이상징후를 나타내는 객체를 감지하며, 실제 감지된 경우에는 라이다 센서(130)와 연동해서 추적을 개시 수행하여 향상된 멀티표적 추적을 한다.

한편, 추가적으로 이러한 멀티 표적 추적 방법은 다양한 객체와, 주변환경 유형을 반영한 영상깊이 기초의 객체 3차원 학습모델로부터 다수의 상이한 객체를 객체별로 3차원 객체화해서, 현장 상황에 맞게 객체 인식이 이루어지도록 한다.

이를 위해, 이러한 멀티 표적 추적 방법은 전술한 바와 같이 객체 전체가 추정될 경우에, 추정된 객체의 영상구조특징과, 영상깊이 정보를 추출하고, 상기 영상감시영역으로부터의 주변 환경정보를 수집한다.

그리고 나서, 이러한 객체의 영상구조특징과 영상깊이, 상기 수집된 영상감시영역의 주변 환경정보에 의해서 아래의 객체 3차원 학습모델에 따라 객체를 3차원 객체화한다.

상기 객체 3차원 학습모델은 아래와 같이 이루어진다.

a) 먼저 상기 객체 3차원 학습모델은 객체 전체가 추정될 경우에 3차원 객체화하기 위해서, 다수의 상이한 객체별로 주변환경 유형에 따라 객체를 영상구조특징 및 영상깊이로 분류하여 3차원 객체화한다.

그리고, 이러한 3차원 객체화가 될 경우에는, 다수의 상이한 객체별로 주변환경 유형에 따라서 윤곽선 패턴을 학습한 결과로부터 객체의 영상구조특징 및 영상깊이를 분류한다. 예를 들어, 상기 주변환경 유형은 날씨, 온습도, 계절 등이다.

그리고, 일실시예에 따라 상기 윤곽선 패턴은 아래와 같이 이루어진다.

먼저 윤곽선 패턴은 여러 가지 상황에 적응적으로 대응하기 위해서 이루어진 것으로, 예를 들어, 이러한 상황은 객체가 영상의 촬영 각도나, 밝기, 주위 조명 등에 의해 이상 물체가 여러 색상이나 변형되어 보인다.

그래서, 이를 위해 윤곽선 형태를 ART2 신경망의 입력 패턴으로 인식한다. 이때 객체는 자체 모양에서 좌/우변 등으로부터의 거리를 연속적인 신호패턴으로 변경했을 때 서로 상이하다는 특징이 있다.

그래서, 객체의 중심을 기준으로 세로로 반으로 나눈다.

다음, 중심선과 예를 들어, 좌측 외곽선 부분의 점들을 지난 수선의 거리를 객체의 상단부터 연속된 패턴으로 추출한다.

그리고 나서, 우측에서도 동일한 방식으로 패턴을 추출한다.

그래서, 이렇게 추출된 윤곽선들은 서로 상이한 패턴의 아날로그 그래프 형태를 나타낸다.

따라서, 이를 통해 객체의 영상구조특징 및 영상깊이를 분류할 경우에, 윤곽선 패턴을 학습하여 영상구조특징 및 영상깊이를 인식함으로써, 여러 가지 상황에 적합하게 대응한다.

이러한 경우에, 추가적으로 상기 윤곽선 패턴은 다수의 상이한 날씨별과, 계절별 등의 주변환경에 따라 상이하게 학습하여 이루어진다.

그리고 나서, 다수의 상이한 3차원 객체별로 대응하여 영상평면 상에 타원의 방정식을 생성해서 학습 모델을 정의한다.

이때, 상기 타원의 방정식은 상이한 영상깊이별로 타원 인자를 추출해서 이루어진다. 그리고, 이러한 타원의 방정식은 영상평면 상의 좌표와, 매개변수로 이루어지며, 이 매개변수는 영상깊이 정보에 따라서 결정되고, 결정된 결과가 타원 인자로 된다.

그래서, 이를 통해 3차원 객체별로 맞는 타원의 방정식을 상이하게 사용하여 객체를 추출하므로, 종래보다 적은 디지털 부호량으로 다양한 형태의 깊이 영상을 표현해서 인식 처리를 신속하게 한다.

b) 다수의 상이한 객체와, 주변환경 유형별로 영상구조특징 및 영상깊이 데이터셋을 추출한다.

c) 그리고, 이러한 데이터셋을 다수의 상이한 영상감시 장소와, 시간대, 주변환경 유형을 반영하여 속성화한다.

예를 들어, 시간대는 새벽이나 또는, 밤, 오전과 오후, 해질녁 등이고, 주변환경은 전술한 수중 주변환경 정보와 동일하다. 그리고, 이러한 정보를 기초로 유사한 속성을 나타내는 정보들이 유형화된다.

d) 다음, 이렇게 속성화된 결과를 기초로 한 다수의 상이한 학습 모델별로 객체의 영상구조특징 및 영상깊이의 속성을 결정한다.

e) 그리고, 이렇게 결정된 결과를 정규화한다.

f) 그래서, 이러한 정규화된 결과를 기초로 해서 다수의 상이한 학습 모델별로 객체의 영상구조특징 및 영상깊이를 설정하여, 다수의 상이한 3차원 객체별로 객체화하는 독립 및 종속 변수를 설정한다.

g) 그리고, 이렇게 설정된 결과를 학습 및 훈련 데이터로 생성한다.

h) 그래서, 이러한 결과로부터 딥러닝 기반의 객체 3차원 학습모델을 생성한다. 따라서, 이에 따라 이러한 3차원 객체에 의해 객체를 추출하여 인식한다.

즉, 이를 통해 이러한 멀티 표적 추적 방법은 객체 전체가 추정되어 인식될 경우에, 다양한 객체와 주변환경 유형을 반영한 영상깊이 기초의 객체 3차원 학습모델로부터 다수의 상이한 객체를 객체별로 3차원 객체화해서, 현장상황에 맞게 객체 인식한다.

그러므로, 이러한 멀티 표적 추적 방법은 객체인식에 사용하는 개량된 종래의 색채 방식보다 데이터 처리량이 적고 인식율도 높인다.

그리고, 이러한 경우에, 이러한 객체 3차원 학습모델은 다양한 장소와, 시간대, 주변환경별로 관련된 데이터를 속성화하므로, 인식율을 보다 높이기도 한다.

그리고, 또한 상기 멀티 표적 추적 방법은 이러한 경우에, 3차원 객체별로 맞는 타원의 방정식을 상이하게 사용하여 객체를 추출하므로, 종래보다 적은 디지털 부호량으로 다양한 형태의 깊이 영상을 표현해서 인식 처리를 신속하게 한다.

추가적으로 멀티표적 추적방법은 추적동작 중에서 위험 객체, 예를 들어, 원유(原油)가 수중에 방류되었다거나, 수중에 설치된 인공 표식물(標識物) 등을 즉시 식별할수 있기도 한다.

구체적으로는, 이러한 식별 동작은 상기한 영상분포도에 의해 객체의 전체 크기와 위치가 추정될 경우에, 미리 설정된 이상 객체 영상분포도로부터 현재 객체의 영상분포도를 비교한다.

그래서, 상기 비교 결과, 이상 객체 영상분포도가 현재 객체의 영상분포도에 대한 차이값이 미리 설정된 차이값보다 이상인 경우에 알람한다.

반면에, 이상 객체 영상분포도와 현재 객체의 영상분포도의 차이값이 상기 차이값보다 미만인 경우에는 알람하지 않는다.

그리고, 이렇게 알람이 될 경우에, 알람을 객체 유형과, 관리영역 유형, 관리목적 유형, 관리 시간대 별로 등급화해서 처리하는 포맷을 구비하여 현재 알람을 해당하는 등급에 따라 수행한다.

다른 한편으로, 또 다른 실시예는 이러한 영상촬영장치(100)를 이용한 영상감시 시스템에서 주변의 수중환경 정보 등을 중앙관제센터(200)로 제공할 경우에, 다양한 영상감시 시스템 별로서 통신 기능을 담당하는 라이브러리를 생성하므로, 개발자를 위한 가이드를 제공하도록 한다.

이를 위해, 이러한 실시예는 영상감시 주변 수중의 환경정보가 수집될 경우에, 다수의 상이한 영상감시 시스템 유형 별로 고유한 통신데이터 특성을 오픈된 공통플랫폼 하에서 통합적으로 구성한 통신기능용 라이브러리를 미리 등록한다.

그리고 나서, 다수의 상이한 영상감시 시스템 유형 중에서 관리설정 정보에 따라 어느 하나를 설정한 경우에, 상기 통신기능용 라이브러리에 의해서 해당하는 영상감시 시스템 유형의 어플리케이션과 컴포넌트를 생성한다.

그래서, 이러한 어플리케이션과 컴포넌트에 의해 상기 영상감시 주변의 환경정보를 수집한다.

이러한 경우, 상기 라이브러리는 예를 들어 개략적으로 아래와 같이 이루어진다.

먼저, 상기 라이브러리는 영상감시시스템과 관련된 다양한 센서와 액추에이터를 제어하는 1 이상의 컴퓨터 프로그램(예 : 자바 스크립트, 자바)을 이용하도록 구성된다.

그리고, 라이브러리는 이러한 제어용 메소드를 기술한 클래스를 조합한다.

이때, 메소드는 상이한 영상감시시스템 별로의 통신데이터 특성에 따라 제어하도록 구성된다.

그리고, 또한 이러한 라이브러리는 표준 라이브러리와 사용자 정의 라이브러리로 이루어진다.

추가적으로, 이러한 경우에 설비 개발자를 위한 가이드를 전체적으로 제공하기도 한다.

구체적으로는, 영상감시 영역의 주변 수중 환경정보가 수집될 경우에, 영상감시 시스템 유형 별로 고유한 데이터 특성과, 어플리케이션, 제어 동작환경, 서비스를 오픈된 공통플랫폼 하에서 통합적으로 구성한 개발가이드 라이브러리를 미리 등록한다.

그리고 나서, 영상감시 시스템 유형 중에서 관리 설정 정보에 따라 어느 하나를 설정한 경우에, 상기 개발가이드 라이브러리에 의해서 해당하는 영상감시 시스템 유형의 어플리케이션과 컴포넌트를 생성한다.

그래서, 이렇게 생성된 어플리케이션과 컴포넌트를 추가적으로 사용해서 상기 영상감시 영역의 주변 수중의 환경정보를 수집한다.

또한, 이러한 실시예에서는 oneM2M 표준에 따른 프로토콜과 아키텍처를 제공한다.

구체적으로는, 영상감시 영역의 주변 수중의 환경정보가 수집될 경우에, 해당하는 영상감시 장치를 센서노드로서 관리할 oneM2M 표준에 따른 프로토콜과, 상기 프로토콜 관리파일을 구성한 프로토콜 라이브러리를 미리 등록한다.

그리고, 이러한 프로토콜 라이브러리는 오픈된 공통플랫폼 하에서 영상감시 시스템 유형별로 고유한 통신데이터 특성별로 통합적으로 구성한다.

그리고 나서, 영상감시 시스템 유형 중에서 관리 설정 정보에 따라 어느 하나를 설정한 경우에, 상기 프로토콜 라이브러리에 의해서 어플리케이션과 컴포넌트를 생성한다.

그래서, 이러한 어플리케이션과 컴포넌트로도 상기 영상감시 영역의 주변 환경정보를 수집한다.

이에 더하여, 이러한 실시예에서는 영상감시 시스템에서 실시간 모니터링과 제어, 다른 관리자와 공유 기능을 수행할 수 있도록 한다.

이를 위해, 영상감시 영역의 주변 환경정보가 수집될 경우에, 영상감시 시스템별로 고유한 실시간 모니터링과 제어용 어플리케이션 제작특성과, 다른 관리자와의 공유용 편집기, 상기 편집기를 통해 제어할 영상감시 시스템을 연결하는 도구를 미리 등록한다.

그리고, 이렇게 연결된 영상감시 시스템으로부터 수집된 정보를 관리자 앱 서비스로 표현하는 컴포넌트와, 상기 컴포넌트를 제작 및 오픈 API로 등록하여 사용하는 기능도 미리 등록한다.

그리고 나서, 이러한 등록된 결과를 오픈플랫폼 하에서 해당하는 서비스 앱으로 구성해서 실행파일로 생성한다.

그래서, 이러한 실행파일에 의해서 영상감시 시스템을 실시간 모니터링과 제어하므로, 상기 영상감시 영역의 주변 수중환경정보를 수집한다.

한편으로, 이러한 실시예에서는 이러한 다양한 기능들에 더해서 저성능 영상감시 시스템을 위한 경량 프로토콜을 제공하기도 한다.

구체적으로는 아래와 같이 이루어진다.

먼저, 영상감시 영역의 주변 수중 환경 정보가 수집될 경우에, 영상감시 시스템의 데이터전송 사양을 미리 설정된 기준 데이터전송 사양과 비교한다.

상기 비교 결과, 영상감시 시스템의 데이터전송 사양이 상기 기준 데이터전송사양보다 이상인 경우에 현재 상태를 유지하고, 반면에 미만인 경우에는 암호화를 위한 버퍼를 할당하여 초기화한다.

다음, 미리 설정된 마스터 키를 통해 암호화 키를 생성한다.

그리고, 영상감시 영역의 주변 수중 환경 정보를 읽는다.

그리고 나서, 주변 수중 환경 정보의 길이와, 다수의 상이한 영상감시 시스템별로 대응하여 미리 설정된 암호화 데이터 길이 중에서 해당 암호와 데이터 길이를 비교한다.

상기 비교 결과, 상기 주변의 수중 환경 정보의 길이가 해당하는 암호화 데이터 길이보다 작은 경우 암호화 하지 않고 전송하며, 큰 경우에는 프레임을 검출한다. 그리고, 확장 헤더는 확장 비트를 읽어 유무를 확인한다.

상기 확인 결과, 확장 비트가 있는 경우에 페이로드 시작점 오프셋을 확장 길이만큼 이동시킨다.

반면, 상기 프레임과, 암호용 키, 페이로드 오프셋 정보를 파라미터로 전달받아 프레임의 페이로드 시작부분을 미리 설정된 암호화 포맷으로 부분 암호화해서 저성능 영상감시 시스템을 위한 경량 프로토콜로서 제공한다.

그리고, 이러한 경우에 이러한 시스템 환경하에서 보안 관리를 위해 아래의 구성을 더 구비한다.

구체적으로는, 영상감시 영역의 주변 수중 환경 정보를 수집하기 위해서, 미리 상이한 어플리케이션별로 해시트리를 기준으로 하위 해시값을 부여하고, 상기 해시트리의 상위 해시값을 등록한다.

그리고, 또한 현재 주변 수중 환경 정보가 수집되는데 사용하는 어플리케이션별로 해시값을 연결해서 해시노드를 형성한 경우에 보안이 된 것으로 확인하는 포맷을 등록한다.

이러한 상태에서, 상기 영상감시 영역의 주변 수중 환경 정보가 수집될 경우에, 이러한 포맷에 의해서 관련된 어플리케이션별로 해시값을 연결하여 해시노드를 형성한 경우에 한해서 보안이 된 것으로 확인한다.

또한, 영상감시 영역의 주변 수중 환경 정보가 수집될 경우에 추가적으로 어플리케이션 사용을 감지해서 상기 감지 결과, 어플리케이션 사용이 된 경우에 화이트 리스트 및 블랙 리스트에 기반한 사용자 선택 모드에 따라 해당 어플리케이션의 시그니처 정보를 검색한다.

상기 검색 결과, 해당하는 어플리케이션 시그니처 정보가 있는 경우 자신의 어플리케이션 사용을 허용하고, 반면에 해당 어플리케이션 시그니처 정보가 없는 경우에는 자신의 어플리케이션 사용을 차단한다.

이상에서와 같은 내용의 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 상기 기술한 실시 예는 예시된 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.

본 발명의 범위는 상기 상세한 설명보다는 첨부된 특허청구범위에 의하여 나타내어지며, 특허청구 범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 영상촬영장치 200 : 중앙관제센터
110 : 카메라 모듈 120 : DSP부
130 : 라이다 센서 140 : 제어부
150 : 통신부 201 : I/F부 202 : 메인 제어부 203 : 데이터베이스

Claims

라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법에 있어서,
영상 감시 영역의 감시영상이 입력될 경우에, 감시영상을 누적해서 배경 파트를 생성하는 제 1 단계;
상기 배경 파트를 기준으로 미리 설정된 차이값보다 초과하는 화소를 산출하는 제 2 단계;
상기 차이값이 임계치 이상인 화소영역을 전경 파트로 획득하는 제 3 단계;
상기 전경 파트의 노이즈를 모폴로지 필터를 통해 삭제하는 제 4 단계;
상기 노이즈가 제거된 전경 파트에서 다수의 상이한 객체별로 부분 윤곽을 영상분포도에 의해서 추출하는 제 5 단계;
상기 추출된 객체의 부분 윤곽에서, 미리 설정된 최소 크기 이하의 영역을 인접한 영역과 결합하여 객체의 서브 바디를 생성하는 제 6 단계;
상기 생성된 객체의 서브 바디를 미리 설정된 감시객체의 서브 바디패턴과 비교해서, 현재 감시객체에 해당하는 객체의 서브 바디를 전부 일괄추출하는 제 7 단계;
상기 감시객체에 해당하는 객체의 서브 바디가 추출된 경우에, 각각의 객체 서브 바디로부터 객체의 전체 크기와 위치를 상이한 객체의 서브 바디별로 추정하는 미리 설정된 포맷에 의해서 현재 객체의 전체 크기와 위치를 추정하는 제 8 단계;
상기 추정된 객체 전체를 통해 나타난 객체의 행동이 미리 설정된 특이행동인 경우, 해당하는 객체를 표적으로 라이다 센서의 동작을 개시하고, 상기 특이행동이 아닌 경우 상기 라이다 센서의 동작을 개시하지 않는 제 9 단계; 및
상기 개시된 라이다 센서에 의한 객체의 반사 정보와 도플러 주파수 편이 정보에 따라 다수의 상이한 객체별로 멀티 표적을 추적하는 제 10 단계; 를 포함하는 것을 특징으로 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법.
제1항에 있어서,
상기 제 8 단계와 상기 제 9 단계의 사이에,
상기 추정된 객체의 영상구조특징과, 영상깊이 정보를 추출하고, 상기 영상감시영역으로부터의 수중의 환경정보를 수집하는 단계와;
상기 추출된 객체의 영상구조특징과, 영상깊이, 상기 수집된 영상감시영역의 수중의 환경정보에 의해서 아래의 객체 3차원 학습모델에 따라 객체를 3차원 객체화하는 단계;
상기 객체 3차원 학습모델은,
a) 객체를 인식할 경우에, 다수의 상이한 객체별로 주변 수중환경 유형에 따라 객체를 영상구조특징 및 영상깊이로 분류하여 3차원 객체화하고,
다수의 상이한 3차원 객체별로 대응하여 영상평면 상에 타원의 방정식을 생성해서 학습 모델을 정의하고,
상기 3차원 객체화가 될 경우에는, 다수의 상이한 객체별로 주변 수중환경 유형에 따라서 윤곽선 패턴을 학습한 결과로부터 객체의 영상구조특징 및 영상깊이를 분류하며,
b) 다수의 상이한 객체와, 주변환경 유형별로 영상구조특징 및 영상깊이 데이터셋을 추출하고,
c) 상기 추출된 데이터셋을 다수의 상이한 영상감시 장소와, 시간대, 주변환경 유형을 반영하여 속성화하며,
d) 상기 속성화된 결과를 기초로 한 다수의 상이한 학습 모델별로 객체의 영상구조특징 및 영상깊이의 속성을 결정하고,
e) 상기 결정된 결과를 정규화해서,
f) 상기 정규화된 결과를 기초로 해서 다수의 상이한 학습 모델별로 객체의 영상구조특징 및 영상깊이를 설정하여, 다수의 상이한 3차원 객체별로 객체화하는 독립 및 종속 변수를 설정하고,
g) 상기 설정된 결과를 학습 및 훈련 데이터로 생성하여,
h) 상기 생성된 결과로부터 딥러닝 기반의 객체 3차원 학습모델을 생성하고,
상기 획득된 3차원 객체에 의해 객체를 추출하여 인식하는 단계;를 포함하는 것을 특징으로 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법.
제2항에 있어서,
상기 제 8 단계는,
상기 영상 분포도에 의해 객체의 전체 크기와 위치가 추정될 경우에, 미리 설정된 이상 객체 영상분포도로부터 현재 객체의 영상분포도를 비교해서, 미리 설정된 차이값보다 이상인 경우에 알람하고 미만인 경우에는 알람하지 않는 것; 을 특징으로 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법.
제2항에 있어서,
상기 영상감시영역으로부터의 수중 환경정보를 수집하는 단계는,
상기 주변 수중 환경정보가 수집될 경우에, 다수의 상이한 영상감시 시스템 유형별로 고유한 통신데이터 특성을 오픈된 공통플랫폼 하에서 통합적으로 구성한 통신기능용 라이브러리를 미리 등록하는 제 2-1 단계;
상기 다수의 상이한 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 통신기능용 라이브러리에 의해서 해당하는 영상감시 시스템 유형의 어플리케이션과 컴포넌트를 생성하는 제 2-2 단계; 및
상기 생성된 어플리케이션과 컴포넌트에 의해 상기 영상감시 주변의 환경정보를 수집하는 제 2-3 단계; 를 포함하는 것을 특징으로 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법.
제4항에 있어서,
상기 영상감시영역으로부터의 주변의 수중환경정보를 수집하는 단계는,
상기 주변 수중환경정보가 수집될 경우에, 영상감시 시스템 유형별로 고유한 데이터 특성과, 어플리케이션, 제어 동작환경, 서비스를 오픈된 공통플랫폼 하에서 통합적으로 구성한 개발가이드 라이브러리를 미리 등록하는 제 2-1‘ 단계; 및
상기 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 개발가이드 라이브러리에 의해서 해당하는 영상감시 시스템 유형의 어플리케이션과 컴포넌트를 생성하는 제 2-2’단계; 를 더 포함하고,
상기 제 2-3 단계는,
상기 제 2-2‘ 단계에 의해 생성된 어플리케이션과 컴포넌트를 추가적으로 사용해서 상기 영상감시영역의 수중환경정보를 수집하는 것; 을 특징으로 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법.
제5항에 있어서,
상기 영상감시영역으로부터의 주변의 수중환경정보를 수집하는 단계는,
상기 주변 환경정보가 수집될 경우에, 해당하는 영상감시 장치를 센서노드로서 관리할 oneM2M 표준에 따른 프로토콜과, 상기 프로토콜 관리파일을 구성한 프로토콜 라이브러리를 미리 등록하고,
상기 프로토콜 라이브러리는 오픈된 공통플랫폼 하에서 영상감시 시스템 유형별로 고유한 통신데이터 특성별로 통합적으로 구성하는 제 2-1’‘ 단계; 및
상기 영상감시 시스템 유형 중에서 관리설정정보에 따라 어느 하나를 설정한 경우에, 상기 프로토콜 라이브러리에 의해서 어플리케이션과 컴포넌트를 생성하는 제 2-2’‘ 단계; 를 더 포함하고,
상기 제 2-3 단계는,
상기 제 2-2’‘ 단계에 의해 생성된 어플리케이션과 컴포넌트로도 상기 영상감시 영역의 주변 환경정보를 수집하는 것;을 특징으로 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법.
제6항에 있어서,
상기 영상감시영역으로부터의 수중 주변환경정보를 수집하는 단계는,
상기 수중 주변환경정보가 수집될 경우에, 영상감시 시스템별로 고유한 실시간 모니터링과 제어용 어플리케이션 제작특성과, 다른 관리자와의 공유용 편집기, 상기 편집기를 통해 제어할 영상감시 시스템을 연결하는 도구를 미리 등록하고,
상기 연결된 영상감시 시스템으로부터 수집된 정보를 관리자 앱 서비스로 표현하는 컴포넌트와, 상기 컴포넌트를 제작 및 오픈 API로 등록하여 사용하는 기능도 미리 등록하는 제 2-1’‘’ 단계; 및
상기 등록된 결과를 오픈플랫폼 하에서 해당하는 서비스 앱으로 구성해서 실행파일로 생성하는 제 2-2‘’‘ 단계; 를 더 포함하고,
상기 제 2-3 단계는,
상기 생성된 실행파일에 의해서 영상감시 시스템을 실시간 모니터링과 제어하므로, 상기 영상감시 영역의 주변 환경정보를 수집하는 것; 을 특징으로 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법.
제4항 내지 제7항 중의 어느 한 항에 잇어서,
상기 영상감시영역으로부터의 수중 주변환경정보를 수집하는 단계는,
A) 상기 주변환경정보가 수집될 경우에, 영상감시 시스템의 데이터전송사양을 미리 설정된 기준 데이터전송사양과 비교해서,
B) 상기 비교 결과, 영상감시 시스템의 데이터전송 사양이 상기 기준 데이터전송 사양보다 이상인 경우에 현재 상태를 유지하고, 반면에 미만인 경우에는 암호화를 위한 버퍼를 할당하여 초기화하고,
C) 미리 설정된 마스터 키를 통해 암호화 키를 생성하며,
D) 상기 영상감시 영역의 주변 환경정보를 읽고,
E) 상기 주변 환경정보의 길이와, 다수의 상이한 영상감시 시스템별로 대응하여 미리 설정된 암호화 데이터 길이 중에서 해당 암호와 데이터 길이를 비교하고,
F) 상기 비교 결과, 상기 주변환경정보의 길이가 해당하는 암호화 데이터 길이보다 작은 경우 암호화 하지 않고 전송하며, 큰 경우에는 프레임을 검출하고,
G) 확장 헤더는 확장 비트를 읽어 유무를 확인하고,
H) 상기 확인 결과, 확장 비트가 있는 경우에 페이로드 시작점 오프셋을 확장 길이만큼 이동시키고,
I) 상기 프레임과, 암호용 키, 페이로드 오프셋 정보를 파라미터로 전달받아 프레임의 페이로드 시작부분을 미리 설정된 암호화 포맷으로 부분 암호화해서 저성능 영상감시 시스템을 위한 경량 프로토콜로서 제공하는 것; 을 특징으로 하는 라이다 센서와 영상 촬영 장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법.
제8항에 있어서,
상기 영상감시영역으로부터의 수중 주변환경정보를 수집하는 단계는,
a) 상기 주변환경정보를 수집하기 위해서, 미리 상이한 어플리케이션별로 해시트리를 기준으로 하위 해시값을 부여하고, 상기 해시트리의 상위 해시값을 등록해서,
현재 주변환경정보가 수집되는데 사용하는 어플리케이션별로 해시값을 연결해서 해시노드를 형성한 경우에 보안이 된 것으로 확인하는 포맷을 등록하고,
b) 상기 주변 환경정보가 수집될 경우에, 상기 포맷에 의해서 관련된 어플리케이션별로 해시값을 연결하여 해시노드를 형성한 경우에 한해서 보안이 된 것으로 확인하고,
c) 상기 주변 환경정보가 수집될 경우에 추가적으로 어플리케이션 사용을 감지해서 상기 감지 결과, 어플리케이션 사용이 된 경우에 화이트 리스트 및 블랙 리스트에 기반한 사용자 선택 모드에 따라 해당 어플리케이션의 시그니처 정보를 검색하고,
d) 상기 검색 결과, 해당하는 어플리케이션 시그니처 정보가 있는 경우 자신의 어플리케이션 사용을 허용하고, 반면에 해당 어플리케이션 시그니처 정보가 없는 경우에는 자신의 어플리케이션 사용을 차단하는 것;을 특징으로 하는 라이다 센서와 영상촬영장치를 이용한 수중 물체의 멀티표적 인식 및 추적방법.