KR20240059783A - 관제 시스템 및 관제 방법 - Google Patents

관제 시스템 및 관제 방법 Download PDF

Info

Publication number
KR20240059783A
KR20240059783A KR1020220140191A KR20220140191A KR20240059783A KR 20240059783 A KR20240059783 A KR 20240059783A KR 1020220140191 A KR1020220140191 A KR 1020220140191A KR 20220140191 A KR20220140191 A KR 20220140191A KR 20240059783 A KR20240059783 A KR 20240059783A
Authority
KR
South Korea
Prior art keywords
area
interest
unit
region
image
Prior art date
Application number
KR1020220140191A
Other languages
English (en)
Inventor
김영진
박민우
심진우
Original Assignee
에이치디한국조선해양 주식회사
에이치디현대중공업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이치디한국조선해양 주식회사, 에이치디현대중공업 주식회사 filed Critical 에이치디한국조선해양 주식회사
Priority to KR1020220140191A priority Critical patent/KR20240059783A/ko
Publication of KR20240059783A publication Critical patent/KR20240059783A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 관제 영역이 변경되는 경우에도 알고리즘에 의하여 자동으로 관심 영역이 설정되고 모니터링 되는 관제 방법 및 시스템에 대한 것이다. 관제 시스템은 객체 분석을 위한 서버와, 이를 표시하는 표시부를 포함하고, 관제 방법은 영상 정보를 받는 입력단계, 변경된 관제 영역에서 관심영역이 설정되는 영역 설정단계, 관심 영역에서 객체가 인식되는 객체 인식단계와 인식된 객체를 분석하는 객체 분석단계를 포함한다.

Description

관제 시스템 및 관제 방법{Control System and Control Method}
본 발명은 관제 영역이 변경되는 경우에 대하여, 변경된 관제 영역에서 자동으로 관심 영역이 설정되고 모니터링 되는 관제 시스템 및 관제 방법에 대한 것이다.
한국등록특허 제10-2369229호(2022.02.24 공고)는 지하공동구 특화 레일로봇 기반 위험예측시스템 및 위험예측방법에 대한 것으로서, 지하공동구 내, CCTV, 레일로봇의 영상정보 및 센서 정보를 기반으로 최적의 인공지능 딥러닝 알고리즘을 적용하고, AI 데이터 학습을 통한 위험 예측 및 조기대응 안전관리 시스템에 대하여 개시하고 있다. 그러나, 이 경우에 있어서 누수 영역만을 검출하는데 한정되어 개시하고 있다.
한국등록특허 제10-1553460호(2015.09.09 공고)는 전체 감시영역을 설정하면 각 카메라별로 자신의 감시영역을 재구성하는 지도 기반 영상 감시 시스템 및 방법에 대한 것으로서, 이 발명에는 복수 카메라의 전체 감시영역을 다각형으로 표시하여, 침입여부를 판단하는 것이 개시되어 있다. 그러나, 카메라 별로 다각형의 형태로 영역을 지정해 주어야 하기 때문에, 카메라가 비추고 있는 장소가 달라질 때마다 사람이 직접 영역을 수동으로 지정해야만 하는 문제가 발생한다.
마지막으로, 한국공개특허 제10-2008-0103311호 (2008.11.27 공개)는 입력된 영상 시퀸스에서 이전 입력 영상을 이용하여 배경영상을 업데이트 하고, 상기 영상 시퀸스의 현재 영상과 상기 배경 영상의 차이 영상을 생성하여, 영상 움직임을 검출하는 발명에 대한 것을 개시하고 있으나, 입력된 영상 시퀸스에서 이전 입력 영상을 이용하여 배경영상을 업데이트 하고, 상기 영상 시퀸스의 현재 영상과 상기 배경 영상의 차이 영상을 생성하여, 영상 움직임을 검출하는 복잡한 단계로 수행되는 문제점이 존재한다.
그러므로, 관제 영역이 변경되는 경우에도 효율적으로 모니터링 하는 관제 시스템과 관제 방법이 필요한 실정이다.
한국등록특허 제10-1271092호 (2013.11.27 공보)
본 발명은 위와 같은 문제를 해결하기 위한 것으로, 관제 영역이 변경되는 경우에도 자동으로 관심영역이 설정되고, 이벤트 발생시 쉽게 알 수 있는 관제 시스템과 관제 방법을 제공하는 것을 목적으로 한다.
본 발명은 위와 같은 목적을 달성하기 위하여 다음과 같이 형성된 관제 시스템과 관제 방법을 제공한다.
본 발명의 일실시예에 따른 관제 시스템은, 관제 영역을 촬영하는 촬영부와, 상기 촬영부로부터 획득된 영상 정보를 송신하여 저장하는 저장부와, 객체에 대한 기초 데이터 및 특정 객체에 대하여 제1 관심영역으로 저장된 데이터부와, 상기 제1 관심영역을 상기 관제 영역의 변경에 따라 이미지 변환 행렬 연산하여 상기 영상 정보에서 제2 관심영역이 설정되는 영역설정부와, 상기 기초 데이터를 기반으로 상기 영상 정보의 상기 제2 관심영역에 존재하는 객체를 인식하고, 인식된 상기 객체에 대하여 숫자, 움직임을 포함하는 객체에 대한 분석을 수행하는 객체분석부를 포함하는 서버 및 상기 서버로부터 전달받은 객체 분석의 결과를 표시하는 표시부를 포함한다.
또한, 상기 촬영부는 PTZ(Pan-Tilt-Zoom) 카메라를 포함하고, 상기 관제 영역은 상기 카메라가 촬영하는 영역에 대하여 회전, 기울기 변경 또는 확대와 축소함으로서 제어 가능하고, 상기 영역설정부는, 상기 영상 정보의 촬영시 상기 관제 영역의 제어 값을 좌표 값으로 변환하여, 상기 제1 관심영역으로부터 아핀 변환(affine transform) 또는 원근 변환(perspective transform)에 따른 상기 이미지 변환 행렬을 연산할 수 있다.
본 발명의 일실시예에 따른 관제 방법은, 촬영부에서 촬영한 영상 정보를 서버로 입력 받는 입력 단계와, 상기 서버의 영역설정부에서 기 저장된 기초 데이터에서 특정 객체를 관심 영역으로 구분하기 위하여 기 설정된 제1 관심영역에 대한 데이터를 이미지 변환하여 상기 영상 정보에서 제2 관심영역을 설정하는 영역 설정단계와, 상기 서버의 객체분석부에서 상기 영상 정보에서 상기 제2 관심영역 내에 존재하는 객체를 인식하는 객체 인식단계 및 상기 객체분석부에서 인식된 상기 객체의 움직임 또는 상기 객체의 수를 포함하는 객체 특성을 분석하는 객체 분석단계로 구성된다.
또한, 상기 영역 설정단계의 이전에 데이터부가 상기 기초 데이터를 생성하는 데이터 생성단계를 더 포함하고, 상기 데이터 생성단계는, 테스트 영상 정보에 대하여 여러 개의 픽셀 집합으로 나누는 시맨틱 분할(semantic segmentation) 기법으로 영상 처리를 수행하고, 상기 픽셀 집합을 이미지 라벨링하여 복수의 객체에 대한 데이터를 지도 학습에 따라 기초 데이터를 획득 및 저장하는 데이터 저장단계와, 상기 기초 데이터에서 상기 복수의 객체 중에서 특정 객체를 제1 관심영역으로 저장받는 영역 저장단계를 포함할 수 있다.
본 발명은 위와 같은 구조 및 방법을 통하여, 관제 영역이 변경된 경우에 있어서 자동으로 관심영역이 설정되어, 넓은 범위를 실시간으로 효율적 모니터링 할 수 있다.
또한, 인력을 적게 소비하며, 이벤트 발생에 있어서, 즉각적으로 알람이 되어 빠른 조치를 취할 수 있다.
도 1은 본 발명의 일실시예에 따른 관제 시스템의 구성도이다.
도 2는 본 발명의 일실시예에 따른 관제 방법의 순서도이다.
도 3은 본 발명의 일실시예에 따른 영역 설정단계를 도시한 순서도이다.
도 4의 (a)는 영역이 변경되지 않은 상태를 도시하고, (b)는 CCTV의 촬영 영역이 변경되어 관제 영역이 변경되는 상태를 도시한다.
도 5는 (a)는 관제 영역 변경 전의 관심영역이고, (b)는 관제 영역이 변경된 상태의 관심영역을 도시한다.
도 6은 영상 처리를 통해 객체가 인식된 후 라벨링된 상태를 도시한다.
도 7의 (a)는 관심영역이 설정된 상태, (b)는 관심영역에 새로운 객체가 인식된 상태이며, (c)는 이벤트판단부에서 새로운 객체에 따라 이벤트가 발생한 것을 나타내는 상태를 개략적으로 도시한다.
이하에서는 첨부된 도면을 참고로 하여, 본 발명의 구체적인 실시예에 대하여 설명하도록 한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경 또는 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상의 범위 내에 포함된다고 할 것이다.
또한, 본 발명을 설명함에 있어, '~ 부' 또는 '유닛'은 다양한 방식, 예를 들면 프로세서, 프로세서에 의해 수행되는 프로그램 명령들, 소프트웨어 모듈, 마이크로 코드, 컴퓨터 프로그램 생성물, 로직 회로, 애플리케이션 전용 집적 회로, 펌웨어 등에 의해 구현될 수 있다.
본 출원의 실시예에 개시된 방법의 내용은 하드웨어 프로세서로 직접 구현될 수 있으며, 또는 프로세서 중 하드웨어 및 소프트웨어 모듈의 조합으로 구현되어 수행 완성될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 판독 전용 메모리, 프로그래머블 판독 전용 메모리 또는 전기적 소거 가능 프로그래머블 메모리, 레지스터 등과 같은 종래의 저장 매체에 저장될 수 있다. 상기 저장 매체는 메모리에 위치하며, 프로세서는 메모리에 저장된 정보를 판독하여, 그 하드웨어와 결합하여 상술한 방법의 내용을 완성한다. 중복되는 것을 방지하기 위해, 여기서는 상세한 설명을 생략한다.
구현 과정에서, 상술한 방법의 각 내용은 프로세서 중 하드웨어의 논리 집적 회로 또는 소프트웨어 형태의 인스트럭션에 의해 완성될 수 있다. 본 출원의 실시예에 개시된 방법의 내용은 하드웨어 프로세서로 직접 구현될 수 있으며, 또는 프로세서 중 하드웨어 및 소프트웨어 모듈의 조합으로 구현되어 수행 완성될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 판독 전용 메모리, 프로그래머블 판독 전용 메모리 또는 전기적 소거 가능 프로그래머블 메모리, 레지스터 등과 같은 종래의 저장 매체에 저장될 수 있다. 상기 저장 매체는 메모리에 위치하며, 프로세서는 메모리에 저장된 정보를 판독하여, 그 하드웨어와 결합하여 상술한 방법의 내용을 완성한다.
즉, 본 분야에서 통상의 지식을 가진 자들은, 본 명세서에서 개시한 실시예에서 설명하는 각 예시적인 유닛 및 알고리즘 단계를 결합하여, 전자 하드웨어 또는 컴퓨터 소프트웨어와 전자 하드웨어의 결합으로 실현할 수 있음을 알 수 있다. 이러한 기능을 하드웨어 방식으로 수행할 것인지 아니면 소프트웨어 방식으로 수행할 것인지는, 기술방안의 특정 응용과 설계 제약 조건에 의해 결정된다. 통상의 지식을 가진 자들은 특정된 응용 각각에 대해 서로 다른 방법을 사용하여 설명한 기능을 실현할 수 있지만, 이러한 실현은 본 출원의 범위를 벗어난 것으로 간주되어서는 안된다.
본 출원에서 제공하는 몇 개의 실시예에서, 이해해야 할 것은 개시된 장치와 방법은 기타 방식을 통해 실현될 수 있다. 예를 들어, 위에서 설명한 장치 실시예는 단지 예시적인 것으로서, 예를 들어, 상기 유닛의 구분은 단지 일종 논리적 기능 구분으로서, 실제 실현 시 기타의 구분 방식이 존재할 수 있으며, 예를 들어, 복수의 유닛 또는 어셈블리는 다른 하나의 시스템에 결합되거나 집적될 수 있고, 또는 일부 특징은 무시하거나 수행하지 않을 수 있다. 다른 한편, 표시되거나 논의되는 서로 사이의 커플링 또는 직접적인 커플링 또는 통신 연결은 일부 인터페이스, 장치 또는 유닛을 통한 간접적인 커플링 또는 통신 연결일 수 있고, 전기적, 기계적 또는 기타 형태일 수 있다.
위에서 분리된 부품으로서 설명된 유닛은 물리적으로 분리된 것일 수 있고, 유닛으로서 표시되는 부품은 물리적 유닛이거나 아닐 수 있는 바, 즉 한 곳에 위치하거나 복수의 네트워크 유닛에 분포될 수도 있다. 실제 수요에 따라 그 중 일부 또는 모든 유닛을 선택하여 본 실시예의 방안의 목적을 실현할 수 있다.
즉, 본 출원의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 집적될 수 있고, 각 유닛이 단독으로 존재할 수도 있으며, 둘 또는 둘 이상의 유닛이 하나의 유닛에 집적될 수도 있다.
상기 기능이 만약 소프트웨어 기능 유닛의 형태로 구현되어 독립적인 제품으로서 판매되거나 사용될 경우, 하나의 컴퓨터 판독 가능 저장매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 출원의 기술방안에서 본질적으로 또는 선행기술에 대해 기여한 부분 또는 상기 기술방안의 일부분은 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장매체에 저장되며, 약간의 인스트럭션을 포함하여 하나의 컴퓨터 장치(개인 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 출원의 각 실시예에서 설명하는 방법의 전부 또는 일부 단계를 수행하도록 한다. 상술한 저장매체는 USB 메모리, 모바일 하드디스크, 읽기 전용 메모리(Read-Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 시디롬 등과 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
도 1은 본 발명의 일실시예에 따른 관제 시스템을 도시한다.
본 발명의 일실시예에 따른 관제 시스템은, 촬영부(1), 서버(2) 및 표시부(3)를 포함한다.
촬영부(1)는, 관제 영역을 촬영할 수 있다. 촬영부(1)는 촬영을 위한 카메라(11)와, 카메라(11)의 촬영 각도, 시간, on/off 등을 제어하기 위한 제어부(12) 및 촬영된 영상을 외부로 송신하는 영상송신부(13)를 포함할 수 있다. 그리고, 1차적으로 촬영 정보를 저장하는 레코더부(미도시)와, 외부로부터 정보를 수신하는 영상수신부(미도시)를 더 포함할 수도 있다.
촬영부(1)는 관제 영역을 모니터링하기 위한 모든 촬영기기가 포함될 수 있다. 일반적으로 CCTV(Closed-circuit Television)를 의미할 수 있다. 촬영부(1)는 관제 영역을 외부에서 관찰하고, 문제 상황 발생시 즉각적으로 알 수 있어서 가능한 넓은 시야의 범위를 확인할 수 있도록 설치될 수 있다. 그리고, 본 발명은 일례로서 조선소의 야드(Shipbuilding Yard)에서 도로에 특별한 상황이 있는지를 살펴보기 위한 촬영부(1) 일 수도 있다.
촬영부(1)는 촬영을 하는 장치인 카메라(11)를 포함할 수 있다.
일례로서, 상기 촬영부(1)는 PTZ(Pan-Tilt-Zoom) 카메라를 포함할 수 있다. PTZ 카메라인 경우, 상기 관제 영역은 상기 카메라(11)가 촬영하는 영역에 대하여 회전, 기울기 변경 또는 확대와 축소함으로서 제어 가능하다. 그러나 상기 PTZ 카메라가 아닌 다른 일반적인 카메라를 모두 포함한다.
제어부(12)는 카메라(11)의 동작을 제어하고, 또는 서버(2)로부터 전달된 명령이 있는 경우 해당된 제어를 수행하는 구성이다. 일례로서, 제어부(12)에 의하여 카메라(11)가 PTZ 카메라인 경우에는 회전, 기울기 변경 또는 확대 축소 등으로 관제 영역에서 촬영하도록 제어할 수 있다.
서버(2)는, 상기 촬영부(1)로부터 획득한 영상 정보를 처리할 수 있다. 서버(2)는 저장부(21), 데이터부(22), 영역설정부(23), 객체분석부(24), 이벤트판단부(25) 및 서버송수신부(26)를 포함할 수 있다.
저장부(21)는, 상기 촬영부(1)로부터 획득된 영상 정보를 송신하여 저장할 수 있다. 촬영부(1)로부터 전달받은 영상 정보를 일차적으로 저장하고, 기타 서버(2)에서 처리된 내용 중 저장이 필요한 내용에 대하여 추가적으로 저장할 수 있는 구성이다.
데이터부(22)는, 객체에 대한 기초 데이터 및 특정 객체에 대하여 제1 관심영역으로 저장될 수 있다. 기초 데이터는 상기 영상 정보가 객체분석부(24)에서 분석될 때 분석을 위한 기본 자료일 수 있다. 그리고, 제1 관심영역은 촬영부(1)가 특정 조건일때의 영상 정보에서 지정된 영역일 수 있다.
일례로서, 상기 기초 데이터는 테스트 데이터를 시맨틱 분할(Semantic Segmentation) 방법에 따라 영상 처리하고, 구분된 픽셀의 집합을 각각 라벨링하여 각각의 객체로서 구분되도록 하고, 이러한 기초 데이터는 반복적인 지도 학습에 따라 획득될 수 있다. 그리고, 상기 제1 관심영역은 상기 기초 데이터에서 구분된 객체 중 특정 객체로서 지정될 수 있다.
시맨틱 분할이란, 이미지의 모든 픽셀에 레이블 또는 카테고리를 연관짓는 딥 러닝 알고리즘 중 하나로서, 영상 처리에 있어서 픽셀 단위로 급격한 변화가 발생하는 부분 별로 물체를 구분 짓고, 이에 대하여 라벨링을 부여하여 픽셀 집합 단위별로 객체가 구분 및 인식될 수 있다.
구체적인 예로서, 관찰이 필요한 영역이 차도로 지정되면, 시맨틱 분할에 의하여 차도로 인식되는 객체가 제1 관심영역으로 지정될 수 있다.
본 발명에 있어서, 이러한 시맨틱 분할에 의한 제1 관심영역의 지정은 1회만 수행될 수도 있다. 그러나 알고리즘이 수행될 때마다 시맨틱 분할에 의한 제1 관심영역의 지정이 반복적으로 수행될 수도 있고, 1회가 아닌 복수일 수도 있으며 상기 언급한 회수에 한정되지는 않는다.
그리고, 제1 관심영역으로 지정된 차도 내에 또 다른 객체의 존재가 관찰되거나 또 다른 객체의 움직임이 있는 경우 하기 서술될 이벤트판단부(25)에 의하여 이벤트발생여부가 판단될 수 있다.
영역설정부(23)는, 상기 제1 관심영역을 상기 관제 영역의 변경에 따라 이미지 변환 행렬 연산하여 상기 영상 정보에서 제2 관심영역을 설정할 수 있다. 기 저장된 기초 데이터에서 특정 객체를 관심 영역으로 구분하기 위해 기 설정된 제1 관심영역에 대한 데이터를 상기 서버의 영역설정부에서 이미지 변환하여 상기 영상 정보에서 제2 관심영역을 설정할 수 있다. 제1 관심영역에 대한 데이터란, 제1 관심영역이 설정된 영상 정보가 촬영될 상태의 카메라 정보일 수 있다. 즉, 해당 촬영될 상태를 기준으로, 변환될 영상 정보가 촬영된 상태의 카메라 제어 값 등일 수 있다.
일례로서, 제2 관심영역은, 상기 촬영부(1)가 PTZ 카메라를 통하여 영상 정보를 획득했을 때, 변경된 관제 영역에 대한 제어가 PTZ의 값으로 표시될 수 있는데, 이 제어 값을 좌표 값으로 변환하여 기하학적 변환을 통하여 도출할 수 있다.다시 설명하자면, 상기 영상 정보의 촬영시 상기 관제 영역의 제어 값을 좌표 값으로 변환하여, 상기 제1 관심영역으로부터 아핀 변환(Affine Transformation) 또는 원근 변환(Perspective Transformation)에 따른 상기 이미지 변환 행렬을 연산하여 제2 관심영역이 자동으로 설정될 수 있다. 즉, 영역설정부(23)는 제1 관심영역이 설정될 때 영상 정보의 촬영 상태를 기본으로, 제어에 의하여 변경된 각도 값을 이용하여 변환 행렬에 대입하여 이미지의 모양을 변경하는 연산을 수행할 수 있다. 카메라(11)의 제어 값으로 이미지 변환을 수행하므로, 다른 측정 없이도 변환할 수 있어, 변환이 용이하고 실시간으로 변환 가능한 이점을 제공한다.
아핀 변환이란 선과 평행도를 유지하는 기하학적 변환으로서, 직선 위에 있는 점 사이의 거리 비율은 유지하지만 선 사이의 각도나 점 사이의 거리는 보존은 하지 않을 수 있으며, 점 집합에 대하여 선형변환과 평행이동을 포함하는 변환을 나타낸다. 원근 변환이란 원근감을 표현하기 위한 변환으로서 직선의 성질만 유지하게 되는 변환을 나타낸다.
영역설정부(23)는 상기의 예들의 기하학적 변환을 통하여 영상 정보의 관심 영역을 연산하여 제2 관심영역으로 저장할 수 있다. 그러나 상기의 변환 행렬 이외에 필요에 따라 통상의 기술자에게 용이한 모든 영상 처리 방법을 포함한다.
객체분석부(24)는, 상기 기초 데이터를 기반으로 상기 영상 정보의 상기 제2 관심영역에 존재하는 객체를 인식하고, 인식된 상기 객체에 대하여 숫자, 움직임을 포함하는 객체에 대한 분석을 수행할 수 있다.
일례로서, 객체분석부(24)는 입력된 상기 영상 정보에서 딥 러닝에 의한 객체 탐지에 의하여 상기 제2 관심영역 상에 존재하는 객체를 인식하도록 구성될 수 있다.
객체의 인식에 있어서, 인공 신경망을 통하여 객체가 인식될 수 있다. 인공 신경망의 종류로는 필터를 이용해 특징을 추출하는 합성곱신경망(convolution neural network, CNN) 및 노드의 출력이 다시 입력으로 피드백 되는 구조를 갖는 순환인공신경망(recurrent neural network, RNN)이 있고, 제한된 볼츠만 머신(restricted Boltzmann machine, RBM), 심층신뢰신경망(deep belief network, DBN), 생성대 립신경망(generative adversarial network, GAN), 관계형 네트워크(relation networks, RN) 등 다양한 구조가 적용될 수 있다. 이에, 제한이 있는 것은 아니다.
다만, 인공 신경망을 이용하기 전에 학습시키는 단계가 필요하다. 또는, 인공 신경망을 이용하며 학습시킬 수 있다. 인공 신경망은 지도 학습(supervised learning), 비지도 학습(unsupervised learning), 강화 학습 (reinforcement learning), 모방 학습(imitation learning) 등 다양한 방법을 통해 학습될 수 있다. 그러나, 데이터부(22)에 저장된 기초 데이터가 이미 학습되어 객체 인식의 기반이 되는 내용이 저장되어 있을 수도 있다.
이벤트판단부(25)는, 이벤트 발생에 대한 여부를 판단할 수 있다.
일례로, 상기 데이터부(22)에는 이벤트 발생에 대한 정보인 이벤트 롤이 추가적으로 저장되고, 상기 객체분석부(24)의 객체 분석 내용과 상기 이벤트 롤의 저장 내용을 비교하여 이벤트 발생에 대한 여부를 판단할 수 있다.
서버송수신부(26)는, 촬영부(1)로부터 전달된 기초 데이터를 수신받고, 상기 객체분석부(24)에 의한 분석 결과 또는 이벤트판단부(25)에 의한 이벤트발생여부에 대한 결과 등을 표시부(3)로 송신할 수 있다.
서버(2)에는 상기 언급한 구성 이외에 추가적으로 통상의 기술자에게 당연시되는 모든 구성을 포함하고 있을 수 있으며, 언급한 내용에 한정되지 않는다.
그리고 표시부(3)는 상기 서버(2)로부터 전달받은 상기 객체 분석 내용을 표시할 수 있다. 그리고, 이벤트판단부(25)에 의하여 이벤트발생이 판단된 경우에는 이벤트판단부(25)에 따른 결과를 더 표시할 수 있다.
상기와 같은 관제 시스템을 통하여, 관제 영역이 변경된 경우에 있어서 자동으로 관심영역이 설정되므로, 넓은 범위를 실시간으로 효율적 모니터링 할 수 있다. 또한, 인력을 적게 소비하며, 이벤트 발생에 있어서, 즉각적으로 알람이 되어 빠른 조치를 취할 수 있다.
이하, 관제 방법에 있어서, 관제 시스템에 언급된 구성과 명칭이 동일한 내용은 특별한 기재 없는 경우 관제 시스템의 내용을 인용한다.
도 2는 본 발명의 일실시예에 따른 관제 방법에 따른 순서를 개략적으로 도시한다. 도 3은 영역설정단계의 관제 영역 변경에 따른 제2 관심영역을 설정하는 순서를 개략적으로 도시한다. 도 4는 카메라가 촬영하는 관제 영역이 변경되는 모습을 도시한다. 도 5는 도 4의 관제 영역이 변경됨에 따라 촬영되는 영역이 변경되는 것을 도시한다. 도 6은 데이터 저장단계에서 객체 인식을 위한 기초 데이터 생성 모습을 도시한다. 도 7은 이벤트판단단계에서 이벤트 발생 여부를 판단하는 단계를 도시한다.
본 발명의 일실시예에 따른 관제 방법은, 입력단계(S10), 영역설정단계(S30), 객체인식단계(S40) 및 객체분석단계(S50)를 포함한다.
입력단계(S10)는, 촬영부(1)에서 촬영한 영상 정보를 입력 받는 단계이다. 촬영보의 정보송신부에서 송신된 영상 정보를 서버(2)의 저장부(21)에 저장하는 단계일 수 있다. 또는 영상 정보를 영상 처리를 위하여 서버(2)에 입력하는 단계일 수 있다.
영역설정단계(S30)는 서버(2)의 데이터부(22)에 기 저장된 기초 데이터에서 특정 객체를 관심 영역으로 구분하기 위하여 기 설정된 제1 관심영역으로부터 영상 처리하여 행렬 변환에 의하여 상기 영상 정보에서 제2 관심영역을 설정하는 단계일 수 있다.
일례로서, 상기 영역설정단계(S30)는, 상기 촬영부(1)의 제어부(12)에 의하여 카메라(11)의 촬영 영역이 좌우 이동, 기울기 변경 또는 확대 축소 변경하는 제어될 수 있고, 이에 따른 상기 촬영 영역의 변환을 제어 값에 의하여 변환 좌표 값으로 생성할 수 있다. 그 후에, 이미지 변환을 위한 변환 행렬과 상기 좌표 값을 연산하여 상기 제1 관심영역으로부터 수정된 관심영역인 상기 제2 관심영역이 자동으로 설정되는 단계일 수 있다. 상기 이미지 변환은, 아핀 변환(affine transformation) 또는 원근 변환(perspective transformation)에 의한 영상 처리를 위한 기하학적 행렬 변환일 수 있다.
도 3 내지 도 5를 참조하면, 카메라(11)가 PTZ 카메라인 경우, 제어부(12)는 PTZ 값을 제어하고, 변경된 상태에서 촬영된 영상 정보를 전달받은 영역설정부(23)는 촬영부(1)의 해당 제어 값을 좌표로 변경한 후 기 저장된 제1 관심영역으로부터 변경된 새로운 관심영역인 제2 관심영역을 연산할 수 있다.
도 4의 (a)가 제1 영역이 저장될 때의 카메라(11)의 관제 영역이라고 하면, (b)는 제어부(12)에 의하여 변경된 관제 영역을 촬영하게 되는 상태를 도시한다. 이때 변경된 값이 각도(θ)로 표시될 수 있다면, 각도(θ)에 의한 제어 값을 좌표로 변환하여 아핀 변환(Affine Transformation) 또는 원근 변환(Perspective Transformation)의 이미지 변환 행렬에 도입하여 제1 관심영역으로부터 모양을 변경하여 제2 관심영역으로 설정할 수 있다.
도 5의 (a)의 붉게 표시된 부분이 제1 관심영역이라고 하면, 촬영부(1)의 관제 영역을 변경하고, 관제 영역을 변경하기 위한 제어 값으로 이미지 변환 행렬을 연산하여 자동으로 도 5의 (b)의 붉게 표시된 영역인 제2 관심영역이 설정되는 것일 수 있다.
또한, 줌(zoom) 제어 값을 고려하여 면적 값의 변화도 함께 고려하여 영역이 설정될 수도 있다.
영역설정단계(S30)에 의하여 자동으로 변경된 관심영역이 지정되므로, 관제 영역이 변경되면 관심영역을 설정해야하는 어려움이 제거되고, 인력의 소모가 줄어들게 된다.
객체인식단계(S40)는 상기 영상 정보에서 상기 제2 관심영역 내에 존재하는 객체를 인식하는 단계일 수 있다. 객체 인식은 제2 관심영역 내에 객체가 존재하는 것 및 어떤 객체인지를 인식할 수 있다.
객체분석단계(S50)는 인식된 상기 객체의 움직임 또는 상기 객체의 수를 포함하는 객체 특성을 분석할 수 있다. 객체가 어떻게 움직이고 있는지, 객체의 수가 변화하였는지, 새로운 객체가 등장하였는지 등을 분석하여 이에 대한 결과를 도출할 수 있다.
본 발명의 일실시예에 따르면, 데이터 저장단계(S21)와 영역 저장단계(S22)를 포함하는 데이터 생성단계(S20)를 더 포함할 수 있다.
데이터 생성단계(S20)는 상기 상기 영역설정단계(S30)의 이전에 객체인식단계(S40)와 객체분석단계(S50)에서 필요한 기초 데이터를 생성하는 단계일 수 있다. 또한, 영역설정단계(S30)에서 관심영역의 자동설정을 위한 기 설정된 데이터로서 제1 관심영역이 저장되는 단계일 수 있다.
데이터 저장단계(S21)는, 테스트 영상 정보에 대하여 여러 개의 픽셀 집합으로 나누는 시맨틱 분할(semantic segmentation) 기법으로 영상 처리를 수행하고, 상기 픽셀 집합을 이미지 라벨링하여 복수의 객체에 대한 데이터를 지도 학습에 따라 기초 데이터를 획득 및 저장할 수 있다.
도 6을 참조하면, 테스트 영상 정보에 있어서 테스트 데이터를 시맨틱 분할(Semantic Segmentation) 방법에 따라 영상 처리한 후, 구분된 픽셀의 집합을 각각 라벨링하여 각각의 객체로서 구분되도록 처리한 모습이다. 그리고 기초 데이터는 반복적인 지도 학습에 따라 획득될 수 있다.
그리고 영역 저장단계(S22)는 상기 기초 데이터에서 상기 복수의 객체 중에서 특정 객체를 제1 관심영역으로 저장하는 단계일 수 있다.
일례로, 조선소의 야드에서 적용하는 경우, 차도가 관심영역일 수 있고, 상기 기초데이터에서 구분된 객체 중 차도가 제1 관심영역으로 저장될 수 있다.
본 발명에 있어서, 상기 데이터 생성단계(S20)는 계속적으로 수행되지 않고 1회 내지 단발적으로만 수행될 수도 있다. 그리고, 생성된 데이터에 기초하여 관심영역이 제1 관심영역에서 제2 관심영역으로 단순한 연산에 따라 자동 변환될 수 있다. 이러한 방식으로, 기 저장된 데이터를 이용하므로 연산이 간편하고, 처리 속도가 빠르며, 즉각적으로 제2 관심영역이 설정될 수 있다. 또한 객체 인식의 기초 데이터를 수반하여, 비교적 정확하게 객체인식단계(S40) 및 객체분석단계(S50)에서 객체를 인식 및 구분해 낼 수 있다.
본 발명의 일실시예에 따르면, 상기 객체분석단계(S50) 이후에, 상기 제2 관심영역에서 탐지된 객체의 숫자 또는 객체의 움직임을 포함하는 상기 객체분석 내용을 기 설정된 이벤트 롤과 비교하여 이벤트 발생 유무에 대한 판단하는 이벤트판단단계(S60)를 더 포함할 수 있다.
일례로서, 도 7을 참조하면, (a)는 제2 관심영역에 인식되는 다른 객체가 존재하지 않는 상태이다. 이때, (b)와 같이, 객체분석부(24)에 의하여 제2 관심영역 내에 다른 객체가 인식되고, 이 객체가 차인 것이 인식되고, 객체분석부(24)는 이 차가 이동하고 있는지, 이동하는 방향 및 몇 대가 존재하는 등의 내용을 분석할 수 있다. 그 이후에 (c)를 참조하여, 이벤트판단단계(S60)는 객체분석부(24)에 의하여 분석된 결과인 제2 관심영역인 도로내에 차가 1대 정차 또는 움직이고 있고, 이러한 이벤트가 데이터부(22)에 기 설정된 이벤트 롤과 비교하여 동일한 경우, 이벤트 발생 그 자체 또는 어떤 이벤트가 발생하였다는 것을 판단하여 결과를 도출하는 단계이다.
본 발명의 일실시예에 따르면, 상기 객체분석단계(S50) 이후에 상기 객체 분석에 대한 내용을 표시부(3)에 표시하는 표시단계(미도시)를 더 포함할 수 있다.
표시부(3)는 디스플레이장치일 수 있다. 표시부(3)는 상기 서버(2)의 서버송수신부(26)로부터 객체분석부(24)의 객체 분석 결과 또는 이벤트판단부(25)로부터 이벤트 발생 여부 또는 그 이벤트의 내용을 전달받아서 이를 표시할 수 있다. 그리고, 도 7과 같이, 영상 정보가 본 발명의 단계에 의해 수행된 결과와 함께 직접적인 화면이 표시부(3)에 그대로 표시될 수도 있다.
상기와 같은 방법으로, 자동으로 넓은 범위의 영상 자료를 실시간 모니터링하고, 이벤트 발생시 쉽게 알 수 있어, 이에 대한 대응이 빠르게 제공될 수 있는 효과가 발생한다.
이상에서는 본 발명을 실시예를 중심으로 설명하였지만, 본 발명은 상술한 실시예에 한정되지 않으며, 청구범위에서 청구되는 본 발명의 기술적 사상의 변화 없이 통상의 기술자에 의해서 변형되어 실시될 수 있음은 물론이다.
1: 촬영부 2: 서버
3: 표시부
11: 카메라 12: 제어부
13: 영상송신부
21: 저장부 22: 데이터부
23: 영역설정부 24: 객체분석부
25: 이벤트판단부 26: 서버송수신부
S10: 입력단계 S20: 데이터 생성단계
S30: 영역설정단계 S40: 객체인식단계
S50: 객체분석단계 S60: 이벤트판단단계

Claims (11)

  1. 촬영부에서 촬영한 영상 정보를 서버로 입력 받는 입력 단계;
    기 저장된 기초 데이터에서 특정 객체를 관심 영역으로 구분하기 위해 기 설정된 제1 관심영역에 대한 데이터를 상기 서버의 영역설정부에서 이미지 변환하여 상기 영상 정보에서 제2 관심영역을 설정하는 영역 설정단계;
    상기 서버의 객체분석부에서 상기 제2 관심영역 내에 존재하는 객체를 인식하는 객체 인식단계; 및
    상기 객체분석부에서 인식된 상기 객체의 움직임 또는 상기 객체의 수를 포함하는 객체 특성을 분석하는 객체 분석단계;를 포함하는 관제 방법.
  2. 제1항에 있어서,
    상기 영역 설정단계의 이전에, 데이터부가 상기 기초 데이터를 생성하는 데이터 생성단계;를 더 포함하고,
    상기 데이터 생성단계는,
    테스트 영상 정보에 대하여 여러 개의 픽셀 집합으로 나누는 시맨틱 분할(Semantic Segmentation) 기법으로 영상 처리를 수행하고, 상기 픽셀 집합을 이미지 라벨링하고 복수의 객체에 대한 데이터를 지도 학습하여 상기 기초 데이터를 획득 및 저장하는 데이터 저장단계와,
    상기 기초 데이터에서 상기 복수의 객체 중에서 특정 객체를 제1 관심영역으로 저장받는 영역 저장단계를 포함하는 관제 방법.
  3. 제2항에 있어서,
    상기 영역 설정단계는,
    상기 서버 내에 위치되는 영역설정부에서, 상기 촬영부의 촬영 영역에 좌우 이동, 기울기 변경 또는 확대 축소 변경하는 제어에 따른 상기 촬영 영역의 변환을 변환 좌표 값으로 생성하고, 이미지 변환을 위한 변환 행렬과 상기 좌표 값을 연산하여 상기 제1 관심영역으로부터 변환된 관심영역인 상기 제2 관심영역이 설정되는 관제 방법.
  4. 제3항에 있어서,
    상기 이미지 변환은,
    아핀 변환(Affine Transformation) 또는 원근 변환(Perspective Transformation)에 의한 변환인 것을 특징으로 하는 관제 방법.
  5. 제1항에 있어서,
    상기 객체 분석단계 이후에 객체 분석에 대한 내용을 표시부에 표시하는 표시단계;를 더 포함하는 관제 방법.
  6. 제1항에 있어서,
    상기 객체 분석단계 이후에,
    이벤트판단부가 상기 객체 분석단계의 객체 분석 내용을 기 저장된 이벤트 롤과 비교하여 이벤트 발생 유무를 판단하는 이벤트 판단 단계;를 더 포함하는 관제 방법.
  7. 관제 영역을 촬영한 영상 정보를 이용한 관제 시스템에 있어서,
    객체에 대한 기초 데이터와 특정 객체에 대하여 제1 관심영역으로 저장된 데이터부와,
    상기 제1 관심영역을 상기 관제 영역의 변경에 따라 이미지 변환 행렬 연산하여 상기 영상 정보에서 제2 관심영역이 설정되는 영역설정부와,
    상기 기초 데이터를 기반으로 상기 영상 정보의 상기 제2 관심영역에 존재하는 객체를 인식하고, 인식된 상기 객체에 대하여 숫자, 움직임을 포함하는 객체에 대한 분석을 수행하는 객체분석부를 포함하는 관제 시스템.
  8. 제7항에 있어서,
    상기 영상 정보를 촬영하는 촬영부를 더 포함하고,
    상기 촬영부는 PTZ(Pan-Tilt-Zoom) 카메라를 포함하며,
    상기 관제 영역은 상기 카메라가 촬영하는 영역에 대하여 회전, 기울기 변경 또는 확대와 축소함으로서 제어 가능하고,
    상기 영역설정부는,
    상기 영상 정보의 촬영시 상기 관제 영역의 제어 값을 좌표 값으로 변환하여, 상기 제1 관심영역으로부터 아핀 변환(affine transform) 또는 원근 변환(perspective transform)에 따른 상기 이미지 변환 행렬을 연산하는 관제 시스템.
  9. 제7항에 있어서,
    상기 데이터부에는 이벤트 발생에 대한 정보인 이벤트 롤이 추가적으로 저장되며,
    상기 객체분석부의 분석 결과와 상기 이벤트 롤의 저장 내용을 비교하여 이벤트 발생에 대한 여부를 판단하는 이벤트판단부와,
    상기 객체분석부의 분석 결과를 표시하는 표시부를 더 포함하고,
    상기 이벤트판단부에서 상기 이벤트가 발생한 것으로 판단되는 경우, 상기 표시부에서 이벤트 발생에 대한 결과를 함께 표시하는 관제 시스템.
  10. 제7항에 있어서,
    상기 기초 데이터는 테스트 데이터에 대한 시맨틱 분할(Semantic Segmentation) 방법에 따른 영상 처리를 통하여 구분된 픽셀의 집합을 이미지 라벨링하여 각각의 객체로서 구분되며 지도 학습에 따라 획득되며,
    상기 제1 관심영역은 상기 기초 데이터에서 구분된 객체 중 특정 객체인 관제 시스템.
  11. 제7항에 있어서,
    상기 객체분석부는,
    입력된 상기 영상 정보에서 딥 러닝에 의한 객체 탐지에 의하여 상기 제2 관심영역 상에 존재하는 객체를 인식하는 관제 시스템.
KR1020220140191A 2022-10-27 2022-10-27 관제 시스템 및 관제 방법 KR20240059783A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220140191A KR20240059783A (ko) 2022-10-27 2022-10-27 관제 시스템 및 관제 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220140191A KR20240059783A (ko) 2022-10-27 2022-10-27 관제 시스템 및 관제 방법

Publications (1)

Publication Number Publication Date
KR20240059783A true KR20240059783A (ko) 2024-05-08

Family

ID=91074101

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220140191A KR20240059783A (ko) 2022-10-27 2022-10-27 관제 시스템 및 관제 방법

Country Status (1)

Country Link
KR (1) KR20240059783A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101271092B1 (ko) 2007-05-23 2013-06-04 연세대학교 산학협력단 감시 카메라 시스템에서 움직임을 검출하기 위한 실시간움직임 영역 분할 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101271092B1 (ko) 2007-05-23 2013-06-04 연세대학교 산학협력단 감시 카메라 시스템에서 움직임을 검출하기 위한 실시간움직임 영역 분할 방법 및 장치

Similar Documents

Publication Publication Date Title
Attard et al. Tunnel inspection using photogrammetric techniques and image processing: A review
JP5040258B2 (ja) 映像監視装置、映像監視システムおよび画像処理方法
US9560323B2 (en) Method and system for metadata extraction from master-slave cameras tracking system
US7778445B2 (en) Method and system for the detection of removed objects in video images
US9477891B2 (en) Surveillance system and method based on accumulated feature of object
EP0878965A2 (en) Method for tracking entering object and apparatus for tracking and monitoring entering object
KR101877294B1 (ko) 객체, 영역 및 객체가 유발하는 이벤트의 유기적 관계를 기반으로 한 복수 개 기본행동패턴 정의를 통한 복합 상황 설정 및 자동 상황 인지가 가능한 지능형 방범 ｃｃｔｖ 시스템
KR102195706B1 (ko) 침입 탐지방법 및 그 장치
KR101496390B1 (ko) 차량번호인식 시스템
WO2018056355A1 (ja) 監視装置
CN110199316B (zh) 相机和相机的图像处理方法
KR101492473B1 (ko) 사용자 기반 상황 인지형 씨씨티비 통합관제시스템
KR101509593B1 (ko) 프리셋 투어 카메라를 위한 영상 분류 방법 및 그 장치
JP2011053005A (ja) 監視システム
US20210117686A1 (en) Methods and systems for customized image and video analysis
KR20240059783A (ko) 관제 시스템 및 관제 방법
JP6939065B2 (ja) 画像認識用コンピュータプログラム、画像認識装置及び画像認識方法
KR102210571B1 (ko) Gps 좌표와 이동통신시스템을 이용한 교량과 터널의 안전진단 원격감시 경보방법
Sathiyavathi et al. Smart Surveillance System for Abnormal Activity Detection Using CNN
JP3736836B2 (ja) 物体検出方法及び物体検出装置及びプログラム
US10979675B2 (en) Video monitoring apparatus for displaying event information
CN114332732A (zh) 一种基于雷视融合的铁路危情监测方法
CN114596239A (zh) 装卸货事件检测方法、装置、计算机设备和存储介质
EP3819817A1 (en) A method and system of evaluating the valid analysis region of a specific scene
US20210142481A1 (en) Method and System of Evaluating the Valid Analysis Region of a Specific Scene