KR102520581B1 - 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템 - Google Patents

디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템 Download PDF

Info

Publication number
KR102520581B1
KR102520581B1 KR1020220108359A KR20220108359A KR102520581B1 KR 102520581 B1 KR102520581 B1 KR 102520581B1 KR 1020220108359 A KR1020220108359 A KR 1020220108359A KR 20220108359 A KR20220108359 A KR 20220108359A KR 102520581 B1 KR102520581 B1 KR 102520581B1
Authority
KR
South Korea
Prior art keywords
thumbnail
space
sensor
digital twin
virtual camera
Prior art date
Application number
KR1020220108359A
Other languages
English (en)
Inventor
김윤제
최진원
Original Assignee
주식회사 심시스글로벌
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 심시스글로벌 filed Critical 주식회사 심시스글로벌
Priority to KR1020220108359A priority Critical patent/KR102520581B1/ko
Application granted granted Critical
Publication of KR102520581B1 publication Critical patent/KR102520581B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Tourism & Hospitality (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템에 관한 것이다. 본 발명에 따른 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템은 복수의 공간에 상기 공간별로 구비된 카메라; 상기 공간마다 구비되어 상기 공간의 환경 변화를 감지하는 적어도 하나의 센서부; 상기 카메라를 통해 촬영된 이미지로부터 섬네일을 생성하되, 상기 복수의 공간 전체를 하나의 화면에 출력하며 상기 센서부의 센싱결과를 상기 섬네일에 가시화하는 섬네일 출력 장치; 및 사용자로부터 어느 하나의 상기 섬네일에 대한 선택을 입력받고, 선택된 상기 섬네일에 해당하는 실제 공간의 관제 포인트 뷰를 확대하는 관리 서버;를 포함한다.

Description

디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템{SYSTEM FOR MANAGEMENT SPACE BASED ON THUMBNAIL USING VIRTUAL CAMERA VIEW IN DIGITAL TWIN ENVIRONMENT}
본 발명은 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템에 관한 것으로, 더욱 상세하게는 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일을 통하여 공간 별로 환경 상태를 대비시키면서 관리자가 직관 가능하도록 하나의 화면에 다수의 가상 카메라 뷰 섬네일 이미지들을 출력하여, 실시간으로 환경 변화에 즉각적으로 대응할 수 있도록 하는 섬네일 기반 공간 관리 시스템에 관한 것이다.
일반적으로, 건물과 같이 여러 층으로 나뉘어 있고, 층이 다르더라도 레이아웃 형태와 모양이 동일한 복수의 영역을 포함하는 공간을 모니터링하고 모니터링 결과에 상응하는 제어 처리가 가능한 디지털 트윈 관제 시스템들이 많이 사용되고 있다.
예를 들어, 회사 건물에는 많은 자동화된 기기들이 설치되고 가동되고 있다. 그리고 건물 환경을 모니터링하기 위한 온도센서, 습도 센서, 진동 센서, 비전 센서, CCTV 등 각종 센서들과 기타 장치들이 공간에 설치되어 있다.
이중 CCTV는 감시가 필요한 감시 대상 지역에 설치되어 촬영에 의해 감시를 실시하는 장치이다. CCTV는 가정, 주요시설, 각종 건축물의 감시가 필요한 지역에 설치되는 것으로, 설치된 지역에서 침입자의 침입이나, 화재 발생, 범죄의 발생 또는 범인의 추적을 위해서 촬영을 실시하도록 설치된다.
CCTV는 CPU에 연결되어 모니터로 출력되는 영상을 관리자가 모니터링하면서 관리를 실시하는 것으로, 관리 영역의 규모가 증대되면 모니터의 수량도 증대되어 관리자가 모니터링하여야 하는 수량도 증대됨으로써, 관리자의 피로도가 증대되고, 부주의나 집중도가 저하되면서 관리자가 모니터에 출력되는 영상에서 환경의 변화나 이상 객체의 침입 상황을 누락시킬 수 있어 모니터링의 효율이 저하될 수 있다.
이렇게 관리 영역의 범위가 광대한 경우, 관리자가 직접 모든 공간들을 지속적으로 감시하는 데에 실질적으로 비용과 시간적 측면에서 한계가 있기 때문에, 다양한 영역을 효율적으로 감시하고 관리할 수 있는 기술이 필요한 실정이다.
한국등록특허 제10-2406804호(2019.11.29) 한국등록특허 제10-1884611호(2017.02.23)
따라서, 본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일을 통하여 공간 별로 환경 상태를 대비시키면서 관리자가 직관 가능하도록 하나의 화면에 다수의 가상 카메라 뷰 섬네일 이미지들을 출력하여, 실시간으로 환경 변화에 즉각적으로 대응할 수 있도록 하는 섬네일 기반 공간 관리 시스템을 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 실시예에 따른 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템은, 복수의 공간에 상기 공간별로 구비된 복수의 가상 카메라와, 상기 공간마다 구비되어 상기 공간의 환경 변화를 감지하는 적어도 하나의 센서부와, 상기 가상 카메라의 뷰로부터 섬네일을 생성하되, 상기 복수의 공간 전체를 하나의 화면에 출력하며 상기 센서부의 센싱결과를 상기 섬네일에 가시화하는 섬네일 출력 장치 및 사용자로부터 어느 하나의 상기 섬네일에 대한 선택을 입력받고, 선택된 상기 섬네일에 해당하는 실제 공간의 관제 포인트 뷰를 확대하는 관리 서버를 포함할 수 있다.
본 발명의 실시예에 따른 섬네일 기반 공간 관리 시스템에 따르면, 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일을 통하여 공간 별로 환경 상태를 대비시키면서 관리자가 직관 가능하도록 하나의 화면에 각 공간의 영상을 출력하여, 실시간으로 환경 변화에 즉각적으로 대응할 수 있도록 한다.
아울러, 본 발명의 실시예에 따른 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일은 뷰 섬네일 이미지 위에 센서의 위치와 센서에 관한 데이터를 실시간 맵핑하여 가시화할 수 있다.
본 발명의 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 섬네일 기반 공간 관리 시스템의 구성을 도시하는 블록도이다.
도 2는 보통의 여러 층수를 구비하는 건물을 도시하는 사시도이다.
도 3은 도 2에 도시된 건물의 내부 공간들을 도시하는 투시도이다.
도 4는 본 발명의 일 실시예에 따른 섬네일의 일 예를 도시하는 예시도이다.
도 5는 본 발명의 일 실시예에 따라 확대된 관제 포인트 뷰의 일 예를 도시하는 예시도이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 뒤에 설명이 되는 실시 예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 뒤에 설명되는 용어들은 본 발명에서의 구조, 역할 및 기능 등을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 오로지 특허청구범위에 기재된 청구항의 범주에 의하여 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하에서는 첨부한 도면을 참조하며, 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 섬네일 기반 공간 관리 시스템의 구성을 도시하는 블록도이고, 도 2는 보통의 여러 층수를 구비하는 건물을 도시하는 사시도이며, 도 3은 도 2에 도시된 건물의 내부 공간들을 도시하는 투시도이고, 도 4는 본 발명의 일 실시예에 따른 섬네일의 일 예를 도시하는 예시도이며, 도 5는 본 발명의 일 실시예에 따라 확대된 관제 포인트 뷰의 일 예를 도시하는 예시도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 섬네일 기반 공간 관리 시스템(10)은 실제 공간에 설치된 카메라(100), 센서부(200), 섬네일 출력 장치(300) 및 관리서버(400)를 포함할 수 있다.
섬네일 출력 장치(300) 및 관리서버(400)는 공간 이외의 외부에 구비될 수 있고, 유무선 통신 모듈을 통해 카메라(100) 및 센서부(200)와 연결될 수 있다.
유무선 통신 모듈은 공간에 구비된 카메라(100) 및 센서부(200)와 통신을 수행하기 위한 것으로서, 다양한 유형의 유선통신 또는 WiFi, Zigbee 등의 무선통신 방식이 같이 사용될 수 있다. 통신모듈이 무선통신 모듈을 포함하는 경우 공간의 관리자는 스마트폰, 태블릿 PC 등의 자신의 휴대 단말을 통해 공간의 상태 정보를 시각화된 데이터 형태로 제공받을 수 있고, 또한 제어정보를 휴대 단말에 입력하여 공간을 제어할 수 있다.
따라서, 본 발명은 실제 공간에 관리자가 자주 접근하지 않고 실외에 위치하여 어느 장소에나 매우 적합성이 높다.
카메라(100)는 사전에 복수의 공간에 미리 지정된 위치에 공간별로 구비될 수 있다. 카메라(100)는 예를 들어, CCTV나 일반 카메라 등이 채용될 수 있다. 카메라(100)는 무선 또는 유선 네트워크를 통해 섬네일 출력 장치(300)와 연결되어 카메라에서 촬영된 영상을 실시간으로 전송할 수 있는 네트워크 카메라로 구현될 수 있다.
섬네일 출력 장치(300)는 각 공간의 카메라(100)에 대한 정보를 등록받아 저장할 수 있다. 카메라별 정보는 각 카메라에 대해 고유하게 부여된 아이디 및 설치위치 정보를 포함할 수 있다.
섬네일 상에서는 실제 공간을 가상 공간으로 간주할 수 있으므로, 카메라(100)를 가상공간을 촬영하는 가상 카메라로 간주할 수 있다.
센서부(200)는 공간마다 구비되어 상기 공간의 환경 변화를 감지할 수 있다.
센서부(200)는 상기 공간의 환경을 모니터링하기 위한 온도센서, 습도 센서, 상기 공간의 벽면에 발생하는 충격을 감지하는 진동 센서, 상기 공간의 문, 창문 및 블라인드 중 적어도 하나의 모션 변화를 감지하는 모션 센서 및 상기 공간에 침입한 객체를 검출하는 비전 센서 중 적어도 하나를 포함할 수 있다. 이외에도 센서부(200)는 각 공간의 상태를 감지하는 IoT 단말들을 포함할 수 있다.
섬네일 출력 장치(300)는 카메라를 통해 촬영된 이미지로부터 섬네일을 생성하되, 상기 복수의 공간 전체를 하나의 화면에 출력하며 상기 센서부의 센싱결과를 상기 섬네일에 가시화할 수 있다.
이때, 디지털 트윈 환경의 가상 카메라를 이용한 섬네일은 뷰 섬네일 이미지 위에 센서의 위치와 센서에 관한 데이터를 실시간 맵핑하여 가시화할 수 있다.
관리 서버(400)는 사용자로부터 어느 하나의 상기 섬네일에 대한 선택을 입력받고, 선택된 상기 섬네일에 해당하는 실제 공간의 관제 포인트 뷰를 확대할 수 있다.
이에, 현장의 공간 관리자뿐만 아니라 원격지에 위치한 사용자가 관리서버(400)를 통해 섬네일 출력 장치(300)에서 제공하는 현장 공간 상태정보를 시각화 정보로서 관리자 단말을 통해 제공받고, 관리자 단말을 통해 제어 신호를 원격지의 센서부(200)나 카메라(100) 또는 재난관리본부, 국가기관 등의 단말로 전송하여 현장 공간의 실시간 제어가 이루어질 수 있고, 사고나 재난에 즉각적으로 대비 대응할 수 있다.
한편, 섬네일 출력 장치(300)는 상기 온도센서 습도 센서, 진동 센서, 모션 센서 및 비전 센서 중 적어도 하나의 센싱 결과를 기 설정된 시간 주기로 검출할 수 있다.
센서부(200)는 IoT 플랫폼의 형태로 구비될 수 있고, 대표적으로 가장 널리 사용되고 있는 AWS(Amazon Web Services), Azure, GCP(Google Cloud Platform) 등의 클라우드 플랫폼이 사용될 수 있다.
일 실시예로, 섬네일 출력 장치(300)는 다수의 공간을 각 카메라(100)로 촬영한 영상 데이터를 마치 하나의 데이터처럼 결합하여 제공한다. 이때, 관리자의 요구에 따라 실시간 데이터 즉, 센싱 결과 데이터를 결합한 새로운 가상의 데이터를 만들어 표현할 수 있다. 관리자는 이를 통해 다수의 공간 상태를 하나의 화면으로 관리가 가능하게 되며, 또한 이를 통해 가상의 빅데이터 구성이 가능하다.
섬네일 출력 장치(300)에서 가상화 데이터를 생성하는 방법은 관리자가 원하는 중요한 데이터를 편집하여 작성하는 방식과 사용자가 접속하는 주요 IoT 장치 정보를 학습하여 자동으로 요약 정보를 구성 및 표현하는 방법이 가능하다.
일 실시예로, 섬네일 출력 장치(300)는 이전 시간의 센싱 결과 결과와 현재 시간의 센싱 결과가 기 설정된 임계값 이상 차이가 나는 경우, 이상 신호를 상기 섬네일에 표시할 수 있다. 이때, 섬네일 출력 장치(300)는 상기 이상 신호를 상기 센서 별로 서로 다른 모양과 색상 및 문자로 렌더링하여 표시할 수 있다.
일 실시예로, 섬네일 출력 장치(300)는 한 채의 빌딩 내부에 층별로 복수의 공간에 대해 층별로 상기 섬네일을 출력할 수 있다.
이때, 각 층의 공간에 상기 카메라 및 상기 센서들이 동일한 위치에 구비된 경우, 섬네일 출력 장치(300)는 상기 섬네일에서 상기 각 층별로 환경 상태를 대비시키면서 직관 가능하도록 하나의 화면에 출력할 수 있다.
아울러, 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일은 뷰 섬네일 이미지 위에 센서의 위치와 센서에 관한 데이터를 실시간 맵핑하여 가시화할 수 있다.
일 실시예로, 섬네일 출력 장치(300)는 섬네일 출력 장치(300)를 통해 생성된 섬네일에 대한 전송 시간 또는 전송 주소를 제어하면서 관리서버(400) 또는 관리자 단말로 설정된 시간 구간마다 전송하는 통신부를 구비할 수 있다.
관리서버(400)는 상기 사용자의 입력 지시에 따라 상기 센서부 중 적어도 하나의 센서를 선택하고, 선택된 센서의 센싱 결과만 상기 섬네일에 표시할 수 있다.
그리고, 관제 포인트 뷰를 확대한 영상은 상기 공간의 적어도 일부를 클로즈업한 영상일 수 있다.
섬네일 출력 장치(300)는 섬네일, 각종 정보 및 데이터를 화면에 표시하기 위해 모니터 등을 구비할 수 있다.
일 실시예에서, 섬네일 출력 장치(300)는 상기 센싱 결과가 상기 기 설정된 임계값 이상 차이가 나는 경우, 해당 센서에 의한 센싱 결과를 음성 신호로도 출력하고, 옵션 설정에 따라 위험 발생 알림 신호를 더 출력할 수 있다.
이를 통해, 관리서버(400)나 관리자 단말은 섬네일을 통해 아무리 많은 복수의 공간에 대해서도 한 눈에 변화를 직관할 수 있고, 실시간으로 환경 변화에 대한 리액션할 수 있어, 즉각적인 대응이 가능하다.
일 실시예로, 관리서버(400)는 인공지능 모델을 기반으로 입력된 섬네일을 통해 공간 환경 모니터링 결과를 출력할 수 있다.
즉, 인공 신경망이 섬네일 이미지를 실시간으로 입력받고, 사용자에게 공간 환경 모니터링을 분석하여 결과를 출력할 수 있다. 이를 위해, 관리서버(400)는 인공 신경망에 입력할 섬네일에 대해 전처리하는 과정을 수행할 수 있고, 전처리가 수행된 섬네일에 대한 분석 정보를 인공신경망의 입력으로 그대로 사용하거나, 불필요한 정보를 제거하는 통상의 처리를 거쳐 인공 신경망의 입력을 생성할 수 있다.
여기서, 인공 신경망은 강화 학습(reinforcement learning)에 따라 학습되는 인공 신경망일 수 있다. 인공 신경망은 강화 학습을 통해 추상적 추론을 출력하는데 적합한 Q-Network, DQN(Depp Q-Network), 또는 관계형 네트워크(relation network, RL) 구조일 수 있다.
강화 학습에 따라 학습되는 인공 신경망은 다양한 보상에 평가를 반영하여 갱신 및 최적화될 수 있다. 예를 들어, 인공 신경망은 제1 내지 제2 보상을 통해 갱신 및 최적화될 수 있다.
일 예로, 제1 보상은 실제 공간에 발생할 수 있는 가능성이 기 설정된 기준보다 높은 수치의 이벤트를 예측할수록 높아질 수 있으며, 제2 보상은 실제 공간에 발생한 이벤트를 미리 예측할수록 높아질 수 있다.
관리 서버(400)는 인공 신경망으로부터 공간에 대해 발생 가능성이 높은 적어도 하나 이상의 이벤트에 관한 정보를 출력으로 획득할 수 있다. 그리고, 획득된 인공 신경망의 출력을 평가하여 보상을 지급할 수 있다. 보상에 대해서는 전술한 제1 보상 및 제2 보상을 기반으로 수여할 수 있고, 평가를 기초로 인공 신경망을 갱신할 수 있다.
즉, 관리서버(400)는 인공 신경망이, 공간에 대해 발생 가능성이 있는 이벤트를 예측하는 환경(environment)에서, 보상값(reward)들의 합의 기대값(expectation)이 최대화되도록, 특정한 상태(state)들에서 취할 행동(action)들을 결정하는 정책(policy)을 최적화하는 과정을 통해 인공 신경망을 갱신할 수 있다.
예를 들어, 관리서버(400)는 제1 공간에 대해 발생 가능할 것으로 예상되는 제1 이벤트를 예측한 것에 대해 문제가 있는 경우, 제1 이벤트를 예측한 것에 대해 문제가 있음을 나타내는 정보를 포함하는 제1 학습 데이터를 생성하고, 제1 학습 데이터를 인공 신경망에 적용하여, 제1 공간과 유사한 섬네일을 가지는 공간에 대해 제1 이벤트가 예측되지 않도록, 인공 신경망을 학습시키는 과정을 통해, 인공 신경망을 갱신할 수 있다.
한편, 정책을 최적화하는 과정은 보상들의 합의 기대값의 최대값 또는 Q-함수의 최대값을 추정하거나, Q-함수의 손실 함수(loss function)의 최소값을 추정하는 과정을 통해 이루어질 수 있다. 손실함수의 최소값의 추정은 확률적 경사하강법(stochastic gradient descent, SGD) 등을 통해 이루어질 수 있다. 정책을 최적화하는 과정은 이에 제한되는 것은 아니며, 강화 학습에서 사용하는 다양한 최적화 알고리즘들이 이용될 수 있다.
관리서버(400)는 상기와 같은 제1 인공 신경망의 학습 과정을 반복함으로써, 인공 신경망을 점진적으로 갱신시킬 수 있다.
구체적으로, 관리서버(400)는 섬네일 기반으로 공간에 대한 모니터링 분석을 실행하는데 있어, 공간 분석 이력, 이벤트 발생 이력 등의 항목을 모두 고려하여, 공간에 대해 발생 가능성이 있는 이벤트를 예측한 후, 예측된 이벤트에 대한 정보를 출력하는 인공 신경망을 학습시킬 수 있다.
즉, 관리서버(400)는 가상 카메라뷰를 이용한 섬네일에 대한 분석 결과를 통해, 공간에 대해 발생 가능한 이벤트를 분석할 때, 제1 내지 제2 보상 등을 통한 강화 학습을 반영하여, 분석 기준을 조정함으로써, 인공 신경망을 학습시킬 수 있다.
일 실시예에서, 관리서버(400)는 섬네일을 분석하여 이동하는 객체를 검출하고, 상기 이동하는 객체의 이동 경로를 상기 섬네일에 소정의 도형, 색상 및 화살표 표시 중 적어도 하나를 이용하여 표시할 수도 있다.
이를 위해, 관리서버(400)는 섬네일 화면에서 관리자로부터 타겟 객체를 선택 받으면, 해당 영상 파일에서 타겟 객체를 학습하여 객체 특징을 추출할 수 있다.
그리고, 관리서버(400)는 복수의 카메라(100) 중에서 검색 대상 카메라와 검색 시간을 포함한 검색 범위를 설정받고, 설정된 검색 범위에 포함되는 영상 파일에서 추출된 객체 특징을 이용한 객체 추적 분석을 진행할 수 있다.
그리고, 관리서버(400)는 분석 진행 상황 화면을 표시하며, 선택된 타겟 객체와의 유사도가 표시된 복수의 섬네일 이미지로 이루어진 객체 추적 결과를 검색 대상 카메라 별로 제공할 수도 있다.
섬네일 이미지는 타겟 객체와 일정 기준 이상의 유사도를 가진 객체가 인식된 영상 프레임을 원본 사이즈보다 축소한 이미지이고, 섬네일 이미지에는 타겟 객체와 해당 프레임에서 인식된 객체 사이의 유사도가 포함될 수도 있다.
이를 위해, 관리서버(400)는 영상 파일의 재생 화면에 대한 이미지 프로세싱을 수행하여 영상에서 사람 등과 같은 객체를 인식하고, 사용자로부터 선택된 객체와 영상에서 인식된 객체 사이의 유사도를 산출하는 기능을 수행할 수 있다.
본 발명의 실시예에 따른 섬네일 기반 공간 관리 시스템에 따르면, 섬네일을 통하여 공간 별로 환경 상태를 대비시키면서 관리자가 직관 가능하도록 하나의 화면에 각 공간의 영상을 출력하여, 실시간으로 환경 변화에 즉각적으로 대응할 수 있도록 한다.
이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형이 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다.
따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
100: 카메라
200: 센서부
300: 섬네일 출력 장치
400: 관리서버

Claims (8)

  1. 복수의 공간에 상기 공간별로 구비된 카메라;
    상기 공간의 환경을 모니터링하기 위한 온도센서, 습도 센서, 상기 공간의 벽면에 발생하는 충격을 감지하는 진동 센서, 상기 공간의 문, 창문 및 블라인드 중 적어도 하나의 모션 변화를 감지하는 모션 센서 및 상기 공간에 침입한 객체를 검출하는 비전 센서 중 적어도 하나가 상기 공간마다 구비되어 상기 공간의 환경 변화를 감지하는 센서부;
    상기 카메라를 통해 촬영된 이미지로부터 섬네일을 생성하되, 상기 복수의 공간 전체를 하나의 화면에 출력하며 상기 센서의 위치와 상기 센서에 관한 데이타를 상기 섬네일에 실시간 매핑하여 가시화하는 섬네일 출력 장치; 및
    사용자로부터 어느 하나의 상기 섬네일에 대한 선택을 입력받고, 선택된 상기 섬네일에 해당하는 실제 공간의 관제 포인트 뷰를 확대하는 관리 서버;를 포함하며,
    상기 섬네일 출력 장치는,
    상기 온도센서, 습도 센서, 진동 센서, 모션 센서 및 비전 센서 중 적어도 하나의 센싱 결과를 기 설정된 시간 주기로 검출하고, 이전 시간의 센싱 결과와 현재 시간의 센싱 결과가 기 설정된 임계값 이상 차이가 나는 경우, 이상 신호를 상기 섬네일에 표시하되, 상기 이상 신호를 상기 센서 별로 서로 다른 모양과 색상 및 문자로 렌더링하며,
    한 채의 빌딩 내부에 복수의 공간을 갖는 층별로 상기 섬네일을 출력하되, 각 층의 공간에 상기 카메라 및 상기 센서가 동일한 위치에 구비되어, 상기 섬네일에서 상기 각 층별로 환경 상태를 대비시키면서 직관 가능하도록 하나의 화면에 출력하는, 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템.
  2. 제1항에 있어서,
    상기 섬네일 출력 장치를 통해 생성된 섬네일에 대한 전송 시간 또는 전송 주소를 제어하면서 상기 관리 서버 또는 관리자 단말로 설정된 시간 구간마다 전송하는 통신부를 더 포함하는, 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템.
  3. 제1항에 있어서,
    상기 관리 서버는,
    상기 사용자의 입력 지시에 따라 상기 센서부 중 적어도 하나의 센서를 선택하고, 선택된 센서의 센싱 결과만 상기 섬네일에 표시하며,
    상기 관제 포인트 뷰를 확대한 영상은 상기 공간의 적어도 일부를 클로즈업한 영상인, 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템.
  4. 제1항에 있어서,
    상기 섬네일 출력 장치는,
    상기 센싱 결과가 상기 기 설정된 임계값 이상 차이가 나는 경우,
    해당 센서에 의한 센싱 결과를 음성 신호로도 출력하고, 옵션 설정에 따라 위험 발생 알림 신호를 더 출력하는, 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템.
  5. 제1항에 있어서,
    상기 관리서버는,
    상기 섬네일을 분석하여 이동하는 객체를 검출하고, 상기 이동하는 객체의 이동 경로를 상기 섬네일에 소정의 도형, 색상 및 화살표 표시 중 적어도 하나를 이용하여 표시하는, 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템.
  6. 제5항에 있어서,
    상기 관리서버는,
    상기 섬네일 화면에서 사용자로부터 상기 객체를 선택 받으면, 해당 영상 파일에서 상기 객체의 객체 특징을 추출하며,
    복수의 상기 카메라 중에서 검색 대상 카메라와 검색 시간을 포함한 검색 범위를 설정받고, 설정된 상기 검색 범위에 포함되는 영상 파일에서 추출된 상기 객체 특징을 이용한 객체 추적 분석을 진행하며,
    분석 진행 상황 화면을 표시하며, 사용자로부터 선택된 상기 객체와의 유사도가 표시된 복수의 섬네일 이미지로 이루어진 객체 추적 결과를 검색 대상 카메라 별로 제공하는, 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템.
  7. 삭제
  8. 삭제
KR1020220108359A 2022-08-29 2022-08-29 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템 KR102520581B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220108359A KR102520581B1 (ko) 2022-08-29 2022-08-29 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220108359A KR102520581B1 (ko) 2022-08-29 2022-08-29 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템

Publications (1)

Publication Number Publication Date
KR102520581B1 true KR102520581B1 (ko) 2023-04-12

Family

ID=85984393

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220108359A KR102520581B1 (ko) 2022-08-29 2022-08-29 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템

Country Status (1)

Country Link
KR (1) KR102520581B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101257382B1 (ko) * 2012-12-05 2013-04-25 한국비전기술(주) 가상화 기술을 융합한 cctv 통합관제센터 wdc 시스템
KR101610657B1 (ko) * 2015-08-24 2016-04-08 (주)금성보안 출입통제 데이터를 기반으로 하는 3차원 공간정보 출입통제 및 방역 시스템 및 방법
KR20170122443A (ko) * 2016-04-27 2017-11-06 삼성에스디에스 주식회사 공간 관리 시스템 및 방법과 이를 수행하기 위한 모바일 기기
KR101884611B1 (ko) 2017-02-23 2018-08-02 이노뎁 주식회사 이동객체의 메타데이터 필터링을 이용한 cctv 영상의 관심객체 추출 방법
KR101936837B1 (ko) * 2018-08-29 2019-01-09 서정원 맵기반 지능형 영상통합 감시시스템 및 이를 이용한 감시 방법
KR20210108691A (ko) * 2020-02-26 2021-09-03 한화테크윈 주식회사 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
KR102386036B1 (ko) * 2020-11-18 2022-04-14 배창홍 소방 모니터링 시스템 및 그 방법
KR102406804B1 (ko) 2019-11-29 2022-06-10 한동대학교 산학협력단 딥러닝 기반 영상 내 객체 자동 검출 방법 및 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101257382B1 (ko) * 2012-12-05 2013-04-25 한국비전기술(주) 가상화 기술을 융합한 cctv 통합관제센터 wdc 시스템
KR101610657B1 (ko) * 2015-08-24 2016-04-08 (주)금성보안 출입통제 데이터를 기반으로 하는 3차원 공간정보 출입통제 및 방역 시스템 및 방법
KR20170122443A (ko) * 2016-04-27 2017-11-06 삼성에스디에스 주식회사 공간 관리 시스템 및 방법과 이를 수행하기 위한 모바일 기기
KR101884611B1 (ko) 2017-02-23 2018-08-02 이노뎁 주식회사 이동객체의 메타데이터 필터링을 이용한 cctv 영상의 관심객체 추출 방법
KR101936837B1 (ko) * 2018-08-29 2019-01-09 서정원 맵기반 지능형 영상통합 감시시스템 및 이를 이용한 감시 방법
KR102406804B1 (ko) 2019-11-29 2022-06-10 한동대학교 산학협력단 딥러닝 기반 영상 내 객체 자동 검출 방법 및 시스템
KR20210108691A (ko) * 2020-02-26 2021-09-03 한화테크윈 주식회사 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
KR102386036B1 (ko) * 2020-11-18 2022-04-14 배창홍 소방 모니터링 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
US20200177842A1 (en) Systems and methods for managing and displaying video sources
US8054330B2 (en) Apparatus and methods for establishing and managing a distributed, modular and extensible video surveillance system
US9342223B2 (en) System and method for virtual region based access control operations using BIM
KR101855057B1 (ko) 화재 경보 시스템 및 방법
KR20070053172A (ko) 광역 보안 모니터링, 센서 관리 및 상황 인식을 위한 방법및 시스템
KR101178539B1 (ko) 통합 플랫폼 설계 기법을 이용한 지능형 영상 보안 시스템 및 방법
CN107122743A (zh) 安防监控方法、装置和电子设备
KR101951361B1 (ko) 인공지능 방범 관리 방법
JP5555044B2 (ja) カメラ制御装置及びカメラシステム
KR102438433B1 (ko) 데이터 기반의 3d 시각화가 가능한 관제 시스템 및 방법
KR102520581B1 (ko) 디지털 트윈 환경의 가상 카메라뷰를 이용한 섬네일 기반 공간 관리 시스템
JP2011139452A (ja) 時系列データにおけるイベントを検出するための方法及びシステム
JP2017211929A (ja) セキュリティシステム、管理装置、セキュリティ方法、及び、プログラム
CN101461239A (zh) 用于进行中心站警报监控的视频验证系统和方法
JP2011139453A (ja) 時系列データに基づいてカメラを方向付けるための方法及びシステム
JP7146416B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
KR20230053355A (ko) 이중영상 카메라 및 인공지능을 이용한 화재 예측 시스템 및 방법
US11594114B2 (en) Computer-implemented method, computer program and apparatus for generating a video stream recommendation
KR101060414B1 (ko) 감시 시스템 및 그 감시 방법
KR20020001234A (ko) 인터넷을 이용한 원격 보안장치 및 그 방법
CN112804480B (zh) 监控警示系统
KR101080120B1 (ko) 보안 감시시스템
US11943565B2 (en) Computer implemented method and apparatus for operating a video management system
Nishanthini et al. Smart Video Surveillance system and alert with image capturing using android smart phones
US20230008871A1 (en) Computer implemented method and apparatus for training an operator of a video management system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant