KR101985711B1 - 증강현실 ｃｃｔｖ 시스템 및 그 제어방법 - Google Patents
증강현실 ｃｃｔｖ 시스템 및 그 제어방법 Download PDFInfo
- Publication number
- KR101985711B1 KR101985711B1 KR1020190028503A KR20190028503A KR101985711B1 KR 101985711 B1 KR101985711 B1 KR 101985711B1 KR 1020190028503 A KR1020190028503 A KR 1020190028503A KR 20190028503 A KR20190028503 A KR 20190028503A KR 101985711 B1 KR101985711 B1 KR 101985711B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- cctv
- information
- augmented reality
- dimensional
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 96
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 40
- 239000000284 extract Substances 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 13
- 230000006835 compression Effects 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 11
- 230000033228 biological regulation Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims 1
- 238000005286 illumination Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 238000010295 mobile communication Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000007257 malfunction Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 증강현실 CCTV 시스템 및 그 제어방법에 관한 것으로, 더욱 상세하게는, CCTV 카메라가 촬상부에 의해 촬영된 로우 데이터에 해당하는 CCTV 영상을 영상 입력 및 제어장치로 전송하는 제 1 단계; 및 상기 영상 입력 및 제어장치가 CCTV 영상을 수신한 뒤, 연속된 CCTV 영상 프레임 구조 속에서 물체의 영상 좌표를 추출하고, CCTV 영상 프레임별로 추출된 각 영상 좌표에 대해서 증강현실 박스처리를 하거나, 미리 설정된 3차원 증강현실 이미지를 정합하고, 증강현실 박스가 처리되거나 3차원 증강현실 이미지가 정합된 각 CCTV 영상 프레임에 대해서 압축을 수행한 뒤, 각 압축된 CCTV 영상 프레임의 연속을 실시간 압축된 비디오 스트림 정보를 네트워크를 통해 통합관제서버로 전송하는 제 2 단계; 를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 종래의 CCTV 시스템을 활용한 동영상 정보 전송 및 동영상 정보에 증강현실 기술을 접목하여 사람의 시각 능력을 증강하여 영상감시용 CCTV 시스템뿐만 아니라 차량번호 인식 시스템, 불법 주정차 단속 시스템, 차량 출입 통제 시스템, 과속 신호 위반 단속 시스템, 차량번호 식별용 CCTV 시스템 등에 다양하게 이용할 수 있고, 사람의 시각 판별 능력을 증강 현실을 활용하여 증감함으로써, 고속으로 움직이는 차량의 번호판 정보의 직관적인 파악뿐만 아니라 다수의 CCTV 카메라를 통합운용하는 통합 관제센터 내에서 차량번호 정보를 선별적으로 관제를 할 수 있도록 할 수 있으며, 관제 운영 요원이 효율적인 관제 환경을 운영할 수 있도록 함으로써, 최적의 관제 환경이 구축가능할 뿐만 아니라 소수의 관제 인원으로 운영이 가능하여 경제적인 운용이 가능한 장점이 있다.
본 발명에 따르면, 종래의 CCTV 시스템을 활용한 동영상 정보 전송 및 동영상 정보에 증강현실 기술을 접목하여 사람의 시각 능력을 증강하여 영상감시용 CCTV 시스템뿐만 아니라 차량번호 인식 시스템, 불법 주정차 단속 시스템, 차량 출입 통제 시스템, 과속 신호 위반 단속 시스템, 차량번호 식별용 CCTV 시스템 등에 다양하게 이용할 수 있고, 사람의 시각 판별 능력을 증강 현실을 활용하여 증감함으로써, 고속으로 움직이는 차량의 번호판 정보의 직관적인 파악뿐만 아니라 다수의 CCTV 카메라를 통합운용하는 통합 관제센터 내에서 차량번호 정보를 선별적으로 관제를 할 수 있도록 할 수 있으며, 관제 운영 요원이 효율적인 관제 환경을 운영할 수 있도록 함으로써, 최적의 관제 환경이 구축가능할 뿐만 아니라 소수의 관제 인원으로 운영이 가능하여 경제적인 운용이 가능한 장점이 있다.
Description
본 발명은 증강현실 CCTV 시스템 및 그 제어방법에 관한 것으로, 보다 구체적으로는, 종래의 CCTV 시스템을 활용한 동영상 정보 전송 및 동영상 정보에 증강현실(Augmented Reality) 기술을 접목하여 사람의 시각 능력을 증강하여 영상감시용 CCTV 시스템뿐만 아니라 차량번호 인식 시스템, 불법 주정차 단속 시스템, 차량 출입 통제 시스템, 과속 신호 위반 단속 시스템, 차량번호 식별용 CCTV 시스템 등에 다양하게 이용하도록 하기 위한 증강현실 CCTV 시스템 및 그 제어방법에 관한 것이다.
종래의 CCTV 시스템의 경우 고속으로 움직이는 물체의 특징 정보인 차량번호, 차량 속도, 문제 차량 등의 판별을 위해서는 고속으로 움직이는 물체의 정지 영상을 활용하거나, 재생 모드 중 느린 배속으로 재생을 통해서만 육안 판별이 가능하였다.
증강현실은 가상 현실(Virtual Reality)의 한 분야로 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법으로, 현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다.
이러한, 증강현실을 CCTV 영상에 적용할 경우, CCTV 영상에 구현된 육안 정보의 한계를 증강할 수 있을 것으로 판단되며, 실제로 증강현실 기술을 실사정보 및 가상현실 간의 접목, 스마트 글라스 등 웨어러블 기기를 활용한 관제시스템 등에 적용하기 위한 다양한 연구가 이루어지고 있다.
이에 해당 기술 분야에 있어서는 사람의 시각이 판별할 수 있는 가시 범위를 증강현실 기술을 이용하여 가독성을 증강하여 카메라를 통해 전달되는 실제 동영상 정보뿐만 아니라, 차량번호판, 이동 속도, 통행량, 차량 점유율, 차량 탑승자 정보, 수배 및 도난/수배 차량 정보 등의 3차원 이미지를 정합하여 하나의 영상으로 보여주기 위한 기술 개발이 요구되고 있다.
한편, 대한민국 특허출원 출원번호 제10-2015-0065254호 "증강 현실이 적용된 CCTV 영상을 제공하기 위한 방법 및 CCTV 영상 제공 시스템(A METHOD AND A SYSTEM FOR PROVIDING CCTV IMAGE APPLIED AUGMENTED REALITY)"은 태그 소지자의 위치 및 관련 정보를 검출하고 검출된 정보를 CCTV 영상에 중첩시킴으로써, 증강 현실이 적용되는듯한 영상 데이터를 제공가능한 시스템 및 제공 방법에 관한 것으로, 이러한 본 발명에 의하면 엄격한 보안이 요구되는 구역에서 출입을 통제한다거나 출입자의 감시가 필요한 산업 시설물 현장에서 활용되도록 함으로써 보안 시설을 시스템 자체적으로 강화할 수 있는 기술에 관한 것이다.
또한, 대한민국 특허출원 출원번호 제10-2017-0081211호 "딥 러닝 기반 CCTV용 영상 인식 방법(A deep learning based image recognition method for CCTV)"은 딥 러닝 기반 CCTV용 영상 인식 방법에 관한 것으로서, 특히 복수개의 CCTV에 딥러닝 기술을 적용하여 관제 구역을 감시 요원 없이 다양한 모니터 상황에 대해 실시간으로 자동 모니터링하고, 각 CCTV에 입력되는 영상에 대한 특징점 벡터를 추출하여 네트워크 트래픽을 감소시키며, 복수개의 CCTV 상호간 기계 대 기계 방식에 따라 자동으로 통합 연동된 형태로 관제 대상을 추적 및 감시할 수 있는 딥 러닝 기반 CCTV용 영상 인식 방법에 관한 것이다.
또한, 대한민국 특허출원 출원번호 제10-2017-0003003호 "증강현실 폐쇄회로 텔레비전 감시 시스템(CCTV MONITORING SYSTEM USING AUGMENTED REALITY)"은 폐쇄회로 텔레비전의 화면에 나타난 객체의 정보를 함께 표시하는 증강현실 폐쇄회로 텔레비전 감시 시스템에 관한 것으로, 팬-틸트-줌 구동 가능한 카메라; 상기 카메라의 GPS 좌표 및 설치 높이가 저장되고 상기 카메라로부터 팬 값, 틸트 값, 줌 값을 전송받는 위치관리서버; 3D 지도 데이터베이스를 구비하여 상기 위치관리서버에서 전송되는 GPS 좌표 및 팬, 틸트, 줌 값에 대응되는 3차원 지도 영상을 제공하는 GIS 관리서버; 사건정보가 GPS 좌표와 매칭되어 저장된 사건 데이터베이스서버 및 상기 GIS 관리서버에서 전달된 3차원 지도 영상에 상기 사건 데이터베이스서버에서 전달된 사건정보가 표시된 증강현실 영상과 상기 카메라에서 전달된 실시간 영상을 동시에 표시하는 관제센터를 포함하여 구성됨으로써, 범죄 정보, 수배차량 정보, 기상 정보 등의 관련 정보가 표시되어 CCTV 관리자의 판단에 도움을 주는 증강현실 폐쇄회로 텔레비전 감시 시스템에 관한 것이다.
또한, 대한민국 특허출원 출원번호 제10-2016-0097276호 "CCTV 오작동 관리 시스템(Management System Of CCTV Malfunction)"은 촬영영역의 영상정보를 생성하는 CCTV; 상기 CCTV의 오류를 감지하여 오류감지정보를 생성하는 오류감지부를 포함하는 영상점검모듈; 및 상기 오류감지정보의 수신에 따라 사용자가 소지한 개인단말에 기 저장된 복수개의 사운드알림 중 어느 하나를 출력하는 오류상태알림부를 포함하는 알림모듈;로 구성됨으로써, CCTV의 상태를 음성으로 안내함으로써 사용자가 CCTV 사용 중 발생하는 상황 등에 대해 쉽게 인지할 수 있도록 하여 CCTV 관리를 보다 수월하게 수행할 수 있는 CCTV 오작동 관리 시스템에 관한 것이다
그러나 상기 기술들은 사람의 시각이 판별할 수 있는 가독성을 증강시켜서 효율적인 관제 환경을 운영하여 최적의 관제 환경과, 소수의 관제 인원으로 운영이 가능하도록 하지 못하는 한계점이 있다.
본 발명은 상기의 문제점을 해결하기 위한 것으로, 종래의 CCTV 시스템을 활용한 동영상 정보 전송 및 동영상 정보에 증강현실 기술을 접목하여 사람의 시각 능력을 증강하여 영상감시용 CCTV 시스템뿐만 아니라 차량번호 인식 시스템, 불법 주정차 단속 시스템, 차량 출입 통제 시스템, 과속 신호 위반 단속 시스템, 차량번호 식별용 CCTV 시스템 등에 다양하게 이용하도록 하기 위한 증강현실 CCTV 시스템 및 그 제어방법을 제공하기 위한 것이다.
또한, 본 발명은 사람의 시각 판별 능력을 증강 현실을 활용하여 증감함으로써, 고속으로 움직이는 차량의 번호판 정보의 직관적인 파악뿐만 아니라 다수의 CCTV 카메라를 통합운용하는 통합 관제센터 내에서 차량번호 정보를 선별적으로 관제하도록 하기 위한 증강현실 CCTV 시스템 및 그 제어방법을 제공하기 위한 것이다.
또한, 본 발명은 관제 운영 요원이 효율적인 관제 환경을 운영할 수 있도록 함으로써, 최적의 관제 환경이 구축가능할 뿐만 아니라 소수의 관제 인원으로 운영이 가능하여 경제적인 운용이 가능하도록 하기 위한 증강현실 CCTV 시스템 및 그 제어방법을 제공하기 위한 것이다.
그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 증강현실 CCTV 시스템의 제어방법은, CCTV 카메라가 촬상부에 의해 촬영된 로우 데이터에 해당하는 CCTV 영상을 영상 입력 및 제어장치로 전송하는 제 1 단계; 및 상기 영상 입력 및 제어장치가 CCTV 영상을 수신한 뒤, 연속된 CCTV 영상 프레임 구조 속에서 물체의 영상 좌표를 추출하고, CCTV 영상 프레임별로 추출된 각 영상 좌표에 대해서 증강현실 박스처리를 하거나, 미리 설정된 3차원 증강현실 이미지를 정합하고, 증강현실 박스가 처리되거나 3차원 증강현실 이미지가 정합된 각 CCTV 영상 프레임에 대해서 압축을 수행한 뒤, 각 압축된 CCTV 영상 프레임의 연속을 실시간 압축된 비디오 스트림 정보를 네트워크를 통해 통합관제서버로 전송하는 제 2 단계; 를 포함하는 것을 특징으로 한다.
이때, 상기 제 2 단계 이후, 상기 통합관제서버가 상기 네트워크를 통해 수신되는 실시간 압축된 비디오 스트림 정보를 수신한 뒤, 저장 DB에 저장하는 제 3 단계; 를 더 포함하는 것을 특징으로 한다.
또한, 상기 제 3 단계 이후, 상기 통합관제서버가 실시간 압축된 비디오 스트림 정보에 대해서 압축을 해제한 뒤, 실시간 압축된 비디오 스트림 정보를 구성하는 각 CCTV 영상 프레임에서 3차원 증강현실 이미지를 추출한 뒤, 추출된 물체에 대한 인식을 수행하거나, 실시간 압축된 비디오 스트림 정보를 구성하는 각 CCTV 영상 프레임에서 증강현실 박스 상의 물체에 대한 인식을 수행하는 제 4 단계; 를 더 포함하는 것을 특징으로 한다.
또한, 상기 제 1 단계는, 상기 CCTV 카메라가 상기 촬상부에 의해 물체의 촬영 시에 감지되는 광신호를 전기적 신호로 변환한 뒤, 변환된 전기적 신호에 해당하는 아날로그 영상신호를 디지털 로우 데이터로 변환한 뒤, 변환된 로우 데이터에 해당하는 CCTV 영상을 상기 영상 입력 및 제어장치로 전송하는 것을 특징으로 한다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 증강현실 CCTV 시스템은, 촬상부에 의해 촬영된 로우 데이터에 해당하는 CCTV 영상을 영상 입력 및 제어장치로 전송하는 CCTV 카메라; 및 CCTV 영상을 수신한 뒤, 연속된 CCTV 영상 프레임 구조 속에서 물체의 영상 좌표를 추출하고, CCTV 영상 프레임별로 추출된 각 영상 좌표에 대해서 증강현실 박스처리를 하거나, 3차원 증강현실 이미지를 정합하고, 증강현실 박스가 처리되거나 미리 설정된 3차원 증강현실 이미지가 정합된 각 CCTV 영상 프레임에 대해서 압축을 수행한 뒤, 각 압축된 CCTV 영상 프레임의 연속을 실시간 압축된 비디오 스트림 정보를 네트워크를 통해 통합관제서버로 전송하는 영상 입력 및 제어장치; 를 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 증강현실 CCTV 시스템 및 그 제어방법은, 종래의 CCTV 시스템을 활용한 동영상 정보 전송 및 동영상 정보에 증강현실 기술을 접목하여 사람의 시각 능력을 증강하여 영상감시용 CCTV 시스템뿐만 아니라 차량번호 인식 시스템, 불법 주정차 단속 시스템, 차량 출입 통제 시스템, 과속 신호 위반 단속 시스템, 차량번호 식별용 CCTV 시스템 등에 다양하게 이용할 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 증강현실 CCTV 시스템 및 그 제어방법은, 사람의 시각 판별 능력을 증강 현실을 활용하여 증감함으로써, 고속으로 움직이는 차량의 번호판 정보의 직관적인 파악뿐만 아니라 다수의 CCTV 카메라를 통합운용하는 통합 관제센터 내에서 차량번호 정보를 선별적으로 관제를 할 수 있도록 하는 효과가 있다.
뿐만 아니라, 본 발명의 실시예에 따른 증강현실 CCTV 시스템 및 그 제어방법은, 관제 운영 요원이 효율적인 관제 환경을 운영할 수 있도록 함으로써, 최적의 관제 환경이 구축가능할 뿐만 아니라 소수의 관제 인원으로 운영이 가능하여 경제적인 운용이 가능한 효과가 있다.
도 1은 본 발명의 실시예에 따른 증강현실 CCTV 시스템(1)을 나타내는 도면이다.
도 2는 도 1의 증강현실 CCTV 시스템(1)의 CCTV 카메라(100), 영상 입력 및 제어장치(200), 그리고 통합관제서버(400)의 구성요소를 나타내는 블록도이다.
도 3은 도 1의 증강현실 CCTV 시스템(1)의 CCTV 카메라(100) 중 촬상부(110)의 외관을 나타내는 도면이다.
도 4는 도 1의 증강현실 CCTV 시스템(1)에서 구현되는 증강현실 이미지를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 증강현실 CCTV 시스템의 제어방법을 나타내는 흐름도이다.
도 2는 도 1의 증강현실 CCTV 시스템(1)의 CCTV 카메라(100), 영상 입력 및 제어장치(200), 그리고 통합관제서버(400)의 구성요소를 나타내는 블록도이다.
도 3은 도 1의 증강현실 CCTV 시스템(1)의 CCTV 카메라(100) 중 촬상부(110)의 외관을 나타내는 도면이다.
도 4는 도 1의 증강현실 CCTV 시스템(1)에서 구현되는 증강현실 이미지를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 증강현실 CCTV 시스템의 제어방법을 나타내는 흐름도이다.
이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.
도 1은 본 발명의 실시예에 따른 증강현실 CCTV 시스템(1)을 나타내는 도면이다. 도 2는 도 1의 증강현실 CCTV 시스템(1)의 CCTV 카메라(100), 영상 입력 및 제어장치(200), 그리고 통합관제서버(400)의 구성요소를 나타내는 블록도이다. 도 3은 도 1의 증강현실 CCTV 시스템(1)의 CCTV 카메라(100) 중 촬상부(110)의 외관을 나타내는 도면이다. 도 4는 도 1의 증강현실 CCTV 시스템(1)에서 구현되는 증강현실 이미지를 설명하기 위한 도면이다.
먼저, 도 1을 참조하면, 증강현실 CCTV 시스템(1)은 CCTV 카메라(100), 영상 입력 및 제어장치(200), 네트워크(300), 통합관제서버(400), 모바일 디바이스(500), 자율 주행차(600), 차량 단말(610), 그리고 빅데이터서버(700)를 포함할 수 있다.
다음으로, 도 2를 참조하면, CCTV 카메라(100)는 촬상부(110), 렌즈 및 조명 제어장치(120), 적외선(IR) 조명 장치(130) 및 팬/틸트 구동부(140)를 포함할 수 있다.
촬상부(110)는 렌즈(111), 카메라(112)를 포함함으로써, 물체의 촬영 시에 감지되는 광신호를 전기적 신호로 변환한 뒤, 변환된 전기적 신호에 해당하는 아날로그 영상신호를 디지털 로우 데이터(raw data)로 변환할 수 있으며, 변환된 로우 데이터에 해당하는 CCTV 영상을 영상 입력 및 제어장치(200)로 전송할 수 있다.
즉, 촬상부(110)는 도 3과 같은 외관구성을 갖으며, 제어 처리부(240)로부터 렌즈 및 조명 제어장치(120)가 촬상부 전원 온(ON) 제어 신호를 수신하는 경우, 조명 제어장치(120)에 의한 제어에 따라 로우 데이터를 를 영상 입력 및 제어장치(200)로 전송할 수 있다.
렌즈 및 조명 제어장치(120)는 영상 입력 및 제어장치(200)의 제어 처리부(240)로부터의 제어 신호에 따라 촬상부(110)에 의한 CCTV 영상 촬영, 적외선(IR) 조명 장치(130)에 의한 적외선(IR) 조명 온(ON/OFF), 팬/틸트 구동부(140)에 의한 촬상부(110) 및 적외선(IR) 조명 장치(130)에 대한 팬(PAN) 및/또는 틸트(TILT)를 제어할 수 있다.
적외선(IR) 조명 장치(130)는 제어 처리부(240)에 의해 CCTV 카메라(100)에 형성된 조도 센서(미도시)로부터 측정된 조도 정보가 미리 설정된 조도 이하로 인식되거나, 저녁 시간대로 설정된 시간 대역 인식에 따라, 제어 처리부(240)로부터 렌즈 및 조명 제어장치(120)가 적외선 전원 온(ON) 제어 신호를 수신하는 경우, 렌즈 및 조명 제어장치(120)에 의한 제어에 따라 구동될 수 있다.
반대로, 적외선(IR) 조명 장치(130)는 제어 처리부(240)에 의해 CCTV 카메라(100)에 형성된 조도 센서(미도시)로부터 측정된 조도 정보가 미리 설정된 조도를 초과하는 것으로 인식되거나, 낮 시간대로 설정된 시간 대역 인식에 따라, 제어 처리부(240)로부터 렌즈 및 조명 제어장치(120)가 적외선 전원 오프(OFF) 제어 신호를 수신하는 경우, 렌즈 및 조명 제어장치(120)에 의한 제어에 따라 구동을 정지할 수 있다.
팬/틸트 구동부(140)는 제어 처리부(240)에 의해 CCTV 카메라(100)로부터 수신된 CCTV 영상에서 물체에 대한 추적 제어 신호를 수신하는 경우, 렌즈 및 조명 제어장치(120)에 의한 추적 제어 신호로 팬 제어 신호(PAN control signal)를 활용한 제어시 CCTV 카메라(100)의 좌우로의 움직임을 조절하며, 렌즈 및 조명 제어장치(120)에 의한 추적 제어 신호로 틸트 제어 신호(TILT control signal)를 활용한 제어시 CCTV 카메라(100)의 상하로의 움직임을 조절할 수 있다.
영상 입력 및 제어장치(200)는 영상 좌표 추출부(210), AR/GPU 병렬 처리부(220), 압축 처리부(230), 제어 처리부(240)를 포함함으로써, CCTV 카메라(100)의 촬상부(110)에 의해 촬영된 로우 데이터에 해당하는 CCTV 영상을 수신한 뒤, 영상 좌표 추출부(210)에 의해 연속된 CCTV 영상 프레임 구조 속에서 물체의 영상 좌표를 추출하고, CCTV 영상 프레임별로 추출된 각 영상 좌표에 대해서 AR/GPU 병렬 처리부(220)에 의해 3차원 증강현실 이미지를 정합하고, 3차원 증강현실 이미지가 정합된 각 CCTV 영상 프레임에 대해서 압축 처리부(230)에 의해 압축되어 생성하면, 각 압축된 CCTV 영상 프레임의 연속을 실시간 압축된 비디오 스트림 정보로 제어 처리부(240)에 의해서 네트워크(300)를 통해 통합관제서버(400)로 전송할 수 있다.
영상 좌표 추출부(210)는 CCTV 영상 프레임별 물체의 영상 좌표를 추출하며, IP 카메라, USB 카메라, GIGE 카메라 등 다양한 산업표준에서 사용되는 카메라(112)의 압축 및 비압축 방식의 CCTV 영상 스트림을 전송받은 뒤, CCTV 영상 스트림에서 각 CCTV 영상 프레임별로 2차선 공간상에서 물체가 차량인 경우 차량의 영역, 물체가 차량 번호판인 경우 번호판 영역, 물체가 탑승자인 경우 탑승자 영역 등의 영상 좌표 정보를 AR/GPU 병렬 처리부(220)로 전송한다.
AR/GPU 병렬 처리부(220)는 영상 좌표 추출부(210)에 의해 추출된 영상 좌표 정보에 해당하는 물체에 대한 증강현실 박스(box)(도 4의 A1, A2 참조) 처리를 수행하거나, 추출된 영상 좌표 정보에 해당하는 물체에 대한 영상을 인식을 하거나 미리 설정된 물체 더미 정보에 대한 비교를 수행한 뒤, 인식된 영상 또는 물체 더미 정보에 대한 3차원 증강현실 이미지 정합(도 4의 B1 참조)을 CCTV 영상 스트림 정보 상에 수행하는 병렬 처리 알고리즘 작동을 수행할 수 있다.
AR/GPU 병렬 처리부(220)는 3차원 증강현실 이미지에 대한 정합에 있어서, 영상 좌표 정보에 대한 물체 더미 정보를 활용할 수 있다. 물체 더미 정보는 통합관제서버(400)의 센터 DB(440)에 저장됨으로써, AR/GPU 병렬 처리부(220)가 네트워크(300)를 통해 통합관제서버(400)에 액세스한 뒤, 추출된 영상 좌표 정보와 함께 CCTV 영상 프레임 정보를 압축 처리부(230)에 의한 압축이 수행된 뒤 실시간 압축된 비디오 스트림 정보로 상태로 전송할 수 있다.
이에 따라, 통합관제서버(400)는 실시간 압축된 비디오 스트림 정보에 대해서 압축을 해제한 뒤, 실시간 비디오 스트림 정보를 구성하는 각 CCTV 영상에 대한 디코딩을 수행하여 다수의 디코딩된 이미지를 저장 DB(430)에 저장한다. 그리고, 통합관제서버(400)는 압축해제된 각 CCTV 영상에서 영상 좌표 정보에 해당하는 3차원 그래픽에서 입체형상을 표현하는데 사용하는 가장 작은 단위인 폴리곤을 생성하고, 폴리곤을 여러 개를 만들어 폴리곤 집합으로 변환한 뒤, 생성된 폴리곤 집합을 저장 DB(430)에 저장한다. 이후, 통합관제서버(400)는 저장 DB(430)에 저장된 폴리곤 집합 위에 저장 DB(430)에 저장된 각 디코딩된 이미지 중 영상 좌표 정보에 해당되는 영역을 추출하여 붙이는 붙이는 텍스쳐 맵핑을 수행함으로써, 물체 더미 정보에 해당하는 3차원 증강현실 이미지가 생성되도록 한다.
본 발명의 다른 실시예로, 물체 더미 정보는 후술하는 통합관제서버(400)에 의해 물체에 대한 인식을 수행시 활용하기 위해 물체에 대한 면적 및 체적 정보를 통합관제서버(400)의 자체적인 DB인 센터 DB(440)에 대한 통합관제서버(400)에 의한 검색에 따라 검색된 정보를 활용하여 3D 객체화하여 생성될 수 있으며, 검색이 안 되는 경우 외부 네트워크(300)를 통해 빅데이터서버(700)에 대한 통합관제서버(400)에 의한 요청에 따라 면적 및 체적 정보와 일치하는 정보를 수신하여 통합관제서버(400)에 의해 3D 객체화하여 생성될 수 있다.
압축 처리부(230)는 고해상도의 CCTV 영상 프레임과 함께 CCTV 영상 프레임 상에서 물체의 영상 좌표 정보를 압축하거나, 3차원 증강현실 이미지가 정합된 CCTV 영상 프레임을 압축하여 실시간 CCTV 영상 스트림 형태로 제어 처리부(240)를 통해 통합관제서버(400)로 전송하도록 할 수 있다.
제어 처리부(240)는 압축 처리부(230)에 의해 압축된 형태의 CCTV 영상 프레임의 연속을 실시간 압축된 비디오 스트림 정보로 제어 처리부(240)에 의해서 네트워크(300)를 통해 통합관제서버(400)로 전송할 뿐만 아니라, CCTV 카메라(100)를 구성하는 촬상부(110)의 렌즈(111) 조리개의 노출시간, 밝기, 게인, 감마, 셔터, 노출시간 자동 조정을 위한 제어를 수행할 수 있다.
네트워크(300)는 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선 망일 수 있다. 네트워크(300)가 이동통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 비동기식 이동 통신망의 일 실시 예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 네트워크(300)는 RNC(Radio Network Controller)을 포함할 수 있다. 한편, WCDMA망을 일 예로 들었지만, 3G LTE망, 4G망 그 밖의 5G 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP망일 수 있다. 네트워크(300)는 CCTV 카메라(100), 영상 입력 및 제어장치(200), 네트워크(300), 통합관제서버(400), 모바일 디바이스(500), 그 밖의 시스템 상호 간의 신호 및 데이터를 상호 전달하는 역할을 한다.
통합관제서버(400)는 송수신부(410), 제어부(420), 저장 DB(430), 센터 DB(440), 그리고 출력부(450)를 포함할 수 있다.
제어부(420)는 네트워크(300)를 통해 영상 입력 및 제어장치(200)로부터 수신되는 실시간 압축된 비디오 스트림 정보를 수신한 뒤, 저장 DB(430)에 저장한다.
제어부(420)는 실시간 압축된 비디오 스트림 정보에 대해서 압축을 해제한 뒤, 실시간 압축된 비디오 스트림 정보를 구성하는 각 CCTV 영상 프레임에서 증강현실 박스에 있는 이미지 또는 3차원 증강현실 이미지를 추출한 뒤, 추출된 물체에 대한 인식을 수행하거나, 실시간 압축된 비디오 스트림 정보를 구성하는 각 CCTV 영상 프레임에서 증강현실 박스 상의 물체에 대한 인식을 수행할 수 있다. 추출된 물체에 대한 인식의 경우, 제어부(420)는 네트워크(300)를 통해 빅데이터서버(700)로 액세스를 수행한 뒤, 빅데이터서버(700)에 통합관제서버(400)에 의해 저장된 복수의 물체 더미 정보와 각 CCTV 영상 프레임에서 증강현실 박스에 있는 이미지 또는 3차원 증강현실 이미지의 비교를 통해 수행할 수 있다.
즉, 제어부(420)는 복수의 물체 더미 정보와 증강현실 박스에 있는 이미지 또는 3차원 증강현실 이미지의 비교를 통해 물체 인식을 수행한다. 이를 위해 빅데이터서버(700)에는 다양한 물체 더미 정보 패턴이 저장되어 있는데, 제어부(320)는 이러한 다양한 물체 더미 정보 패턴 자체 정보 또는 상기 다양한 물체 더미 정보 패턴의 기울어진 것, 역으로 된 것, 약간 각도가 기울어진 것 등과 증강현실 박스에 있는 이미지 또는 3차원 증강현실 이미지에 포함된 패턴을 비교하여 이미지 속의 물체를 인식한다.
한편, 제어부(420)는 특성추출단 및 유사판정단를 포함하여 이루어질 수 있다. 특성추출단은 이미지에 포함된 화소의 특정, 즉, 화소의 명암, 화소의 색상, 화소가 형성하는 선, 및 화소가 시간의 흐름에 따라서 변화하는 형태 등으로부터 화소의 특성을 추출한다. 유사판정단은 화소의 특성과 유사한 특성을 포함하는 화소를 유사범위로 판단한다. 즉, 유사판정단은 특성이 추출된 화소를 기준 화소로 판단하고, 이 기준 화소와 주변 화소들와의 유사성을 판단하여 유사로 판단되는 경우에는 동일 제품으로 판단한다. 여기서 유사성이란 화소간의 명암 차이 또는 화소간의 거리 차이를 포함하는 개념이다. 유사판정에 의해 물체의 패턴이 최종적으로 확정되고, 확정된 물체의 패턴은 전술한 바와 같이 빅데이터서버(700)에 저장된 다양한 물체 더미 정보 패턴과 대비되어 최종적으로 이미지 속에서 물체가 인식될 수 있다.
제어부(420)는 인식된 물체로 차량을 인식하는 차량번호 인식 시스템, 불법 주정차 단속 시스템, 차량 출입 통제 시스템, 과속 신호 위반 단속 시스템, 차량번호 식별용 CCTV 시스템 중 적어도 하나에 통합관제서버(400)가 사용되는 경우, 차량번호판 인식, 각 차량의 속도 추출, 차선별 통행량, 차선별 점유율 등의 관제 정보를 생성한다.
이후, 제어부(420)는 생성된 관제 정보를 증강현실 박스(box) 이미지로 처리하여 출력부(450)로 출력할 뿐만 아니라, 인식된 차량번호판에 대해서 센터 DB(440)에 대한 조회를 통해 도난/수배 차량 등의 위험 차량인지에 대한 조회를 통해 위험 차량인 경우 이벤트 알림 정보를 증강현실 박스(box) 이미지로 처리하여 출력부(450)를 통해 출력할 수 있다.
또한, 제어부(420)는 두 개 차선 이상의 다차로에서 증강현실(AR) 기술이 적용된 번호판 이미지를 박스 이미지로 처리하여 각 CCTV 영상 프레임와 함께 출력부(450)를 통해 출력할 수 있다.
본 발명의 다른 실시예로, 제어부(420)는 CCTV 카메라(100)가 파노라마 타입으로 복수가 영상 입력 및 제어장치(200)에 연결된 상태에서 복수의 CCTV 카메라(100)로부터 수신된 실시간 압축된 비디오 스트림 정보를 수신한 뒤, 압축을 해제하고 각 비디오 스트림 정보를 구성하는 각 CCTV 영상 프레임에 대한 3차원 VR(Virtual Reality) 영상 콘텐츠를 생성한 뒤, 생성된 3차원 VR 영상 콘텐츠를 네트워크(300)를 통해 모바일 디바이스(500)와 연결된 HMD(Head Mounted Display)(미도시)를 통해 출력할 수 있다.
이 경우 모바일 디바이스(500)는 관제 운영 요원이 운영하는 것일 수 있다.
제어부(420)는 파노라마 타입으로 수신된 각 비디오 스트림 정보를 구성하는 각 CCTV 영상 프레임을 이용해 3차원 영상에 해당하는 VR 영상 콘텐츠에 대한 좌우 2개의 초점위치와 초점수를 결정한 뒤, 결정된 좌우 2개의 초점위치와 초점수에 대응하는 2개의 다중 초점 2차원 영상 콘텐츠에 대한 초점 거리를 연산한다.
그리고 제어부(420)는 다중 초점 2차원 영상 콘텐츠에서 2개의 초점 2차원 영상 콘텐츠 각각의 초점 위치에서 상대방 영상 콘텐츠의 초점위치의 중앙 지점을 향하는 거리에 비례하는 깊이값을 연산한 뒤, 2개의 깊이값에 따라 다중 초점 2차원 영상 콘텐츠를 합성한다.
이후, 제어부(420)는 2개의 다중 초점 2차원 영상 콘텐츠와 기존의 2차원 영상에 해당하는 파노라마 타입으로 수신된 각 비디오 스트림 정보를 구성하는 각 CCTV 영상 프레임을 활용하여 2차원 영상에 해당하는 파노라마 타입으로 수신된 각 비디오 스트림 정보를 구성하는 각 CCTV 영상 프레임을 영시차(Zero Parallax) 영상 데이터로, 좌측 초점에 해당하는 영상에 해당하는 다중 초점 2차원 영상 콘텐츠를 좌시차 영상 데이터로, 우측 초점에 해당하는 영상에 해당하는 다중 초점 2차원 영상 콘텐츠를 우시차 영상 데이터로 설정한 뒤, 확인된 영시차를 기준으로 적어도 하나 이상의 좌시차 영상 데이터에 대한 시차각을 기반으로 좌시차 방향 픽셀 이동 정보를 확인하여 적용하여 좌안 영상 데이터를 생성하고, 확인된 영시차를 기준으로 적어도 하나 이상의 우시차 영상 데이터에 대한 우차각을 기반으로 우시차 방향픽셀 이동 정보를 확인하여 적용하여 우안 영상 데이터를 생성하는 방식으로 3차원 VR 영상 콘텐츠를 생성할 수 있다.
여기서 제어부(420)는 생성된 3차원 VR 영상 콘텐츠에 상술한 방식으로 인식된 물체가 차량이며, 차량번호 인식 시스템, 불법 주정차 단속 시스템, 차량 출입 통제 시스템, 과속 신호 위반 단속 시스템, 차량번호 식별용 CCTV 시스템 중 적어도 하나에 통합관제서버(400)가 사용되는 경우, 상술한 물체 인식 방식과 동일한 방식으로 차량번호판 인식 과정, 인식된 각 차량의 전체의 이동 픽셀 당 속도 추출 과정, 상술한 물체 인식 방식과 동일한 방식으로 차선별 통행량, 차선별 점유율 인식 과정을 통해 상술한 관제 정보를 생성한 뒤, 생성된 관제 정보를 증강현실 박스(box) 이미지로 처리하여 3차원 VR 영상 콘텐츠에 오버랩핑시켜 출력부(450)로 출력하거나 네트워크(300)를 통해 모바일 디바이스(500)로 전송할 수 있다.
모바일 디바이스(500)는 무선링크를 통하여 사용자에게 인터넷 데이터를 포함하는 인터넷 서비스를 제공하는 기기로서, 이는 포괄적인 개념의 휴대기기들이다. 즉, 핸드폰, 무선단말, PDA(Personal Digital Assistant), GSM(Global System for Mobile)폰, W-CDMA(Wideband CDMA)폰, CDMA-2000폰, MBS(Mobile Broad and System)폰, PMP(Portable Multimedia Player), 핸드헬드 컴퓨터(Handheld Computer)와 같이 멀티미디어 폰 및 멀티미디어 플레이어 등을 포함할 수 있다.
모바일 디바이스(500)는 통합관제서버(400)로부터 네트워크(300)를 통해 물체가 차량인 경우, 차량번호판 인식, 각 차량의 속도 추출, 차선별 통행량, 차선별 점유율 등의 정보를 증강현실 박스(box) 이미지로 처리된 정보를 수신하여 출력할 뿐만 아니라, 인식된 차량번호판이 위험 차량인 경우 이벤트 알림 정보를 증강현실 박스(box) 이미지로 처리된 상태로 수신하여 출력할 수 있다.
또한, 모바일 디바이스(500)는 현재의 위치정보를 네트워크(300)를 통해 통합관제서버(400)로 전송함으로써, 통합관제서버(400)에서 현재의 위치정보를 기준으로 차선별 통행량, 차선별 점유율 등의 자율 주행 정보가 추출되어 반환되는 경우, 반환된 자율 주행 정보를 모바일 디바이스(500)와 근거리 무선 통신 페어링(paring)이 설정된 자율 주행차(600)의 차량 단말(610)로 제공함으로써, 차율 주행을 위한 자료로 활용되도록 할 수 있다.
도 5는 본 발명의 실시예에 따른 증강현실 CCTV 시스템의 제어방법을 나타내는 흐름도이다. 도 5를 참조하면, 도 1과 같이 증강현실 CCTV 시스템(1)이 CCTV 카메라(100), 영상 입력 및 제어장치(200), 네트워크(300), 통합관제서버(400), 모바일 디바이스(500), 자율 주행차(600), 차량 단말(610)을 포함하는 경우, CCTV 카메라(100)는 촬상부(110)에 의해 물체의 촬영 시에 감지되는 광신호를 전기적 신호로 변환한 뒤, 변환된 전기적 신호에 해당하는 아날로그 영상신호를 디지털 로우 데이터(raw data)로 변환한 뒤, 변환된 로우 데이터에 해당하는 CCTV 영상을 영상 입력 및 제어장치(200)로 전송한다(S11).
단계(S11) 이후, 영상 입력 및 제어장치(200)는 CCTV 영상을 수신한 뒤, 연속된 CCTV 영상 프레임 구조 속에서 물체의 영상 좌표를 추출하고, CCTV 영상 프레임별로 추출된 각 영상 좌표에 대해서 증강현실 박스처리를 하거나, 3차원 증강현실 이미지를 정합하고, 증강현실 박스가 처리되거나 3차원 증강현실 이미지가 정합된 각 CCTV 영상 프레임에 대해서 압축을 수행한 뒤, 각 압축된 CCTV 영상 프레임의 연속을 실시간 압축된 비디오 스트림 정보를 네트워크(300)를 통해 통합관제서버(400)로 전송한다(S12).
단계(S12) 이후, 통합관제서버(400)는 네트워크(300)를 통해 수신되는 실시간 압축된 비디오 스트림 정보를 수신한 뒤, 저장 DB(430)에 저장한다(S13).
단계(S13) 이후, 통합관제서버(400)는 실시간 압축된 비디오 스트림 정보에 대해서 압축을 해제한 뒤, 실시간 압축된 비디오 스트림 정보를 구성하는 각 CCTV 영상 프레임에서 3차원 증강현실 이미지를 추출한 뒤, 추출된 물체에 대한 인식을 수행하거나, 실시간 압축된 비디오 스트림 정보를 구성하는 각 CCTV 영상 프레임에서 증강현실 박스 상의 물체에 대한 인식을 수행한다(S14).
단계(S14) 이후, 통합관제서버(400)는 인식된 물체로 차량을 인식하는 차량번호 인식 시스템, 불법 주정차 단속 시스템, 차량 출입 통제 시스템, 과속 신호 위반 단속 시스템, 차량번호 식별용 CCTV 시스템 중 적어도 하나에 통합관제서버(400)가 사용되는 경우, 차량번호판 인식, 각 차량의 속도 추출, 차선별 통행량, 차선별 점유율 등의 관제 정보를 생성한다(S15).
단계(S15) 이후, 통합관제서버(400)는 생성된 관제 정보를 증강현실 박스(box) 이미지로 처리하여 출력부(450)로 출력할 뿐만 아니라, 인식된 차량번호판에 대해서 센터 DB(440)에 대한 조회를 통해 도난/수배 차량 등의 위험 차량인지에 대한 조회를 통해 위험 차량인 경우 이벤트 알림 정보를 증강현실 박스(box) 이미지로 처리하여 출력부(450)를 통해 출력함으로써(S16), 통합관제서버(400)에서 관제를 수행하는 관제 운영 요원이 즉각적으로 정보를 인식할 수 있도록 할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
1 : 증강현실 CCTV 시스템 100 : CCTV 카메라
110 : 촬상부 111 : 렌즈
112 : 카메라 120 : 렌즈 및 조명 제어장치
130 : 적외선(IR) 조명 장치 140 : 팬/틸트 구동부
200 : 영상 입력 및 제어장치 210 : 영상 좌표 추출부
220 : AR/GPU 병렬 처리부 230 : 압축 처리부
240 : 제어 처리부 300 : 네트워크
400 : 통합관제서버 500 : 모바일 디바이스
600 : 자율 주행차 610 : 차량 단말
110 : 촬상부 111 : 렌즈
112 : 카메라 120 : 렌즈 및 조명 제어장치
130 : 적외선(IR) 조명 장치 140 : 팬/틸트 구동부
200 : 영상 입력 및 제어장치 210 : 영상 좌표 추출부
220 : AR/GPU 병렬 처리부 230 : 압축 처리부
240 : 제어 처리부 300 : 네트워크
400 : 통합관제서버 500 : 모바일 디바이스
600 : 자율 주행차 610 : 차량 단말
Claims (5)
- 렌즈와 카메라로 이루어진 촬상부에 의해 촬영된 로우 데이터에 해당하는 CCTV 영상을 영상 입력 및 제어장치로 전송하는 CCTV 카메라; 및 영상 좌표 추출부, AR/GPU 병렬 처리부, 압축 처리부, 제어 처리부를 포함하여, 상기 CCTV 카메라의 촬상부에 의해 촬영된 로우 데이터에 해당하는 CCTV 영상을 수신한 뒤, 상기 영상 좌표 추출부에 의해 연속된 CCTV 영상 프레임 구조 속에서 물체의 영상 좌표를 추출하고, CCTV 영상 프레임별로 추출된 각 영상 좌표에 대해서 상기 AR/GPU 병렬 처리부에 의해 3차원 증강현실 이미지를 정합하고, 3차원 증강현실 이미지가 정합된 각 CCTV 영상 프레임에 대해서 상기 압축 처리부에 의해 압축되어 생성하면, 각 압축된 CCTV 영상 프레임의 연속을 실시간 압축된 비디오 스트림 정보로 상기 제어 처리부에 의해서 네트워크를 통해 통합관제서버로 전송하는 영상 입력 및 제어장치; 를 포함하는 증강현실 CCTV 시스템에 있어서,
상기 영상 좌표 추출부는,
CCTV 영상 프레임별 물체의 영상 좌표를 추출하며, 상기 카메라의 압축 및 비압축 방식의 CCTV 영상 스트림을 전송받은 뒤, CCTV 영상 스트림에서 각 CCTV 영상 프레임별로 2차선 공간상에서 물체가 차량인 경우 차량의 영역, 물체가 차량 번호판인 경우 번호판 영역, 물체가 탑승자인 경우 탑승자 영역 중 적어도 하나 이상의 영상 좌표 정보를 상기 AR/GPU 병렬 처리부로 전송하며,
상기 AR/GPU 병렬 처리부는,
상기 영상 좌표 추출부에 의해 추출된 영상 좌표 정보에 해당하는 물체에 대한 증강현실 박스(box) 처리를 수행하거나, 추출된 영상 좌표 정보에 해당하는 물체에 대한 영상을 인식하거나 미리 설정된 물체 더미 정보에 대한 비교를 수행한 뒤 인식된 영상 또는 물체 더미 정보에 대한 3차원 증강현실 이미지 정합을 CCTV 영상 스트림 정보 상에 수행하며, 3차원 증강현실 이미지에 대한 정합에 있어서, 영상 좌표 정보에 대한 물체 더미 정보를 활용시, 상기 물체 더미 정보가 상기 통합관제서버의 센터 DB에 저장됨으로, 네트워크를 통해 상기 통합관제서버에 액세스한 뒤, 추출된 영상 좌표 정보와 함께 CCTV 영상 프레임 정보에 대해서 상기 압축 처리부에 의한 압축에 따라 실시간 압축된 비디오 스트림 정보로 상태로 전송하도록 하고, 상기 통합관제서버에 의해 실시간 압축된 비디오 스트림 정보에 대해서 압축을 해제한 뒤, 실시간 비디오 스트림 정보를 구성하는 각 CCTV 영상에 대한 디코딩을 수행하여 다수의 디코딩된 이미지를 상기 저장 DB에 저장한 뒤, 압축해제된 각 CCTV 영상에서 영상 좌표 정보에 해당하는 3차원 그래픽에서 입체형상을 표현하는데 사용하는 가장 작은 단위인 폴리곤을 생성하고, 폴리곤을 여러 개를 만들어 폴리곤 집합으로 변환한 뒤, 생성된 폴리곤 집합을 상기 저장 DB에 저장하고, 상기 저장 DB에 저장된 폴리곤 집합 위에 상기 저장 DB에 저장된 각 디코딩된 이미지 중 영상 좌표 정보에 해당되는 영역을 추출하여 붙이는 텍스쳐 맵핑을 수행하여 물체 더미 정보에 해당하는 3차원 증강현실 이미지가 생성되도록 하며,
상기 압축 처리부는,
고해상도의 CCTV 영상 프레임과 함께 CCTV 영상 프레임 상에서 물체의 영상 좌표 정보를 압축하거나, 3차원 증강현실 이미지가 정합된 CCTV 영상 프레임을 압축하여 실시간 CCTV 영상 스트림 형태로 상기 제어 처리부를 통해 상기 통합관제서버로 전송하도록 하며,
상기 제어 처리부는,
상기 압축 처리부에 의해 압축된 형태의 CCTV 영상 프레임의 연속을 실시간 압축된 비디오 스트림 정보를 네트워크를 통해 상기 통합관제서버로 전송할 뿐만 아니라, 상기 CCTV 카메라를 구성하는 촬상부의 렌즈 조리개의 노출시간, 밝기, 게인, 감마, 셔터, 노출시간 자동 조정을 위한 제어를 수행하며,
통합관제서버는, 제어부, 저장 DB, 센터 DB, 그리고 출력부를 포함하며,
제어부는,
네트워크를 통해 상기 영상 입력 및 제어장치로부터 수신되는 실시간 압축된 비디오 스트림 정보를 수신한 뒤, 상기 저장 DB에 저장하고, 실시간 압축된 비디오 스트림 정보에 대해서 압축을 해제한 뒤, 실시간 압축된 비디오 스트림 정보를 구성하는 각 CCTV 영상 프레임에서 증강현실 박스에 있는 이미지 또는 3차원 증강현실 이미지를 추출한 뒤, 추출된 물체에 대한 인식을 수행하거나, 실시간 압축된 비디오 스트림 정보를 구성하는 각 CCTV 영상 프레임에서 증강현실 박스 상의 물체에 대한 인식을 수행하며,인식된 물체로 차량을 인식하는 차량번호 인식 시스템, 불법 주정차 단속 시스템, 차량 출입 통제 시스템, 과속 신호 위반 단속 시스템, 차량번호 식별용 CCTV 시스템 중 적어도 하나에 상기 통합관제서버가 사용되는 경우, 차량번호판 인식, 각 차량의 속도 추출, 차선별 통행량, 차선별 점유율 중 적어도 하나 이상에 해당하는 관제 정보를 생성하며,
생성된 관제 정보를 증강현실 박스(box) 이미지로 처리하여 상기 출력부로 출력할 뿐만 아니라, 인식된 차량번호판에 대해서 상기 센터 DB에 대한 조회를 통해 도난/수배 차량을 포함하여 위험 차량인지에 대한 조회를 통해 위험 차량인 경우 이벤트 알림 정보를 증강현실 박스(box) 이미지로 처리하여 상기 출력부를 통해 출력하며,
두 개 차선 이상의 다차로에서 증강현실(AR) 기술이 적용된 번호판 이미지를 박스 이미지로 처리하여 각 CCTV 영상 프레임와 함께 상기 출력부를 통해 출력하는 것을 특징으로 하는 증강현실 CCTV 시스템의 제어시스템.
- 청구항 1에 있어서,
물체 더미 정보를 상기 통합관제서버에 의해 물체에 대한 인식을 수행시 활용하기 위해 물체에 대한 면적 및 체적 정보를 상기 통합관제서버의 자체적인 DB인 센터 DB에 대한 상기 통합관제서버에 의한 검색에 따라 검색된 정보를 활용하여 3D 객체화하여 생성되며, 검색이 안 되는 경우 네트워크를 통해 빅데이터서버에 대한 상기 통합관제서버에 의한 요청에 따라 면적 및 체적 정보와 일치하는 정보를 수신하여 상기 통합관제서버에 의해 3D 객체화하여 생성되는 것을 특징으로 하는 증강현실 CCTV 시스템의 제어시스템.
- 청구항 1에 있어서, 상기 제어부는,
복수의 CCTV 카메라가 파노라마 타입으로 영상 입력 및 제어장치에 연결된 상태에서, 복수의 CCTV 카메라로부터 수신된 실시간 압축된 비디오 스트림 정보를 수신한 뒤, 압축을 해제하고 각 비디오 스트림 정보를 구성하는 각 CCTV 영상 프레임에 대한 3차원 VR(Virtual Reality) 영상 콘텐츠를 생성한 뒤, 생성된 3차원 VR 영상 콘텐츠를 네트워크를 통해 관제 운영 요원이 운영하는 모바일 디바이스와 연결된 HMD(Head Mounted Display)를 통해 출력하도록 하며,
파노라마 타입으로 수신된 각 비디오 스트림 정보를 구성하는 각 CCTV 영상 프레임을 이용해 3차원 영상에 해당하는 VR 영상 콘텐츠에 대한 좌우 2개의 초점위치와 초점수를 결정한 뒤, 결정된 좌우 2개의 초점위치와 초점수에 대응하는 2개의 다중 초점 2차원 영상 콘텐츠에 대한 초점 거리를 연산하고, 다중 초점 2차원 영상 콘텐츠에서 2개의 초점 2차원 영상 콘텐츠 각각의 초점 위치에서 상대방 영상 콘텐츠의 초점위치의 중앙 지점을 향하는 거리에 비례하는 깊이값을 연산한 뒤, 2개의 깊이값에 따라 다중 초점 2차원 영상 콘텐츠를 합성하고, 2개의 다중 초점 2차원 영상 콘텐츠와 기존의 2차원 영상에 해당하는 파노라마 타입으로 수신된 각 비디오 스트림 정보를 구성하는 각 CCTV 영상 프레임을 활용하여 2차원 영상에 해당하는 파노라마 타입으로 수신된 각 비디오 스트림 정보를 구성하는 각 CCTV 영상 프레임을 영시차(Zero Parallax) 영상 데이터로, 좌측 초점에 해당하는 영상에 해당하는 다중 초점 2차원 영상 콘텐츠를 좌시차 영상 데이터로, 우측 초점에 해당하는 영상에 해당하는 다중 초점 2차원 영상 콘텐츠를 우시차 영상 데이터로 설정한 뒤, 확인된 영시차를 기준으로 적어도 하나 이상의 좌시차 영상 데이터에 대한 시차각을 기반으로 좌시차 방향 픽셀 이동 정보를 확인하여 적용하여 좌안 영상 데이터를 생성하고, 확인된 영시차를 기준으로 적어도 하나 이상의 우시차 영상 데이터에 대한 우차각을 기반으로 우시차 방향픽셀 이동 정보를 확인하여 적용하여 우안 영상 데이터를 생성하는 방식으로 3차원 VR 영상 콘텐츠를 생성하는 것을 특징으로 하는 증강현실 CCTV 시스템의 제어시스템.
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190028503A KR101985711B1 (ko) | 2019-03-13 | 2019-03-13 | 증강현실 ｃｃｔｖ 시스템 및 그 제어방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190028503A KR101985711B1 (ko) | 2019-03-13 | 2019-03-13 | 증강현실 ｃｃｔｖ 시스템 및 그 제어방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101985711B1 true KR101985711B1 (ko) | 2019-06-04 |
Family
ID=66811085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190028503A KR101985711B1 (ko) | 2019-03-13 | 2019-03-13 | 증강현실 ｃｃｔｖ 시스템 및 그 제어방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101985711B1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102170992B1 (ko) * | 2020-06-25 | 2020-10-28 | (주)스마트링스 | 다기능 차량번호인식 시스템 및 그 제어방법 |
| KR102247025B1 (ko) | 2019-12-20 | 2021-04-29 | 울산과학기술원 | 객체 제거를 통한 이미지 처리 방법 및 장치 |
| KR20210076519A (ko) * | 2019-12-16 | 2021-06-24 | 주식회사 리얼타임테크 | 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템 |
| KR20210127536A (ko) * | 2020-04-14 | 2021-10-22 | 김선권 | 비디오 장면 비교 알고리즘을 이용한 이동식 전자 기기에 적용할 수 있는 도난 방지 방법 및 시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120002261A (ko) * | 2010-06-30 | 2012-01-05 | 주식회사 팬택 | 3차원 증강 현실 제공 장치 및 방법 |
| KR20130112578A (ko) * | 2012-04-04 | 2013-10-14 | 삼성전자주식회사 | 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법 |
| KR20150112713A (ko) * | 2014-06-05 | 2015-10-07 | 주식회사 성우음향정보통신 | 영상분석 서버를 통한 미래 발생범죄 예측 시스템 |
-
2019
- 2019-03-13 KR KR1020190028503A patent/KR101985711B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120002261A (ko) * | 2010-06-30 | 2012-01-05 | 주식회사 팬택 | 3차원 증강 현실 제공 장치 및 방법 |
| KR20130112578A (ko) * | 2012-04-04 | 2013-10-14 | 삼성전자주식회사 | 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법 |
| KR20150112713A (ko) * | 2014-06-05 | 2015-10-07 | 주식회사 성우음향정보통신 | 영상분석 서버를 통한 미래 발생범죄 예측 시스템 |
Non-Patent Citations (4)
| Title |
|---|
| 대한민국 특허출원 출원번호 제10-2015-0065254호 "증강 현실이 적용된 CCTV 영상을 제공하기 위한 방법 및 CCTV 영상 제공 시스템(A METHOD AND A SYSTEM FOR PROVIDING CCTV IMAGE APPLIED AUGMENTED REALITY)" |
| 대한민국 특허출원 출원번호 제10-2016-0097276호 "CCTV 오작동 관리 시스템(Management System Of CCTV Malfunction)" |
| 대한민국 특허출원 출원번호 제10-2017-0003003호 "증강현실 폐쇄회로 텔레비전 감시 시스템(CCTV MONITORING SYSTEM USING AUGMENTED REALITY)" |
| 대한민국 특허출원 출원번호 제10-2017-0081211호 "딥 러닝 기반 CCTV용 영상 인식 방법(A deep learning based image recognition method for CCTV)" |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210076519A (ko) * | 2019-12-16 | 2021-06-24 | 주식회사 리얼타임테크 | 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템 |
| KR102313187B1 (ko) | 2019-12-16 | 2021-10-15 | 주식회사 리얼타임테크 | 학습용 데이터 확장을 지원하는 얼굴 인식 기반의 출입관리시스템 |
| KR102247025B1 (ko) | 2019-12-20 | 2021-04-29 | 울산과학기술원 | 객체 제거를 통한 이미지 처리 방법 및 장치 |
| KR20210127536A (ko) * | 2020-04-14 | 2021-10-22 | 김선권 | 비디오 장면 비교 알고리즘을 이용한 이동식 전자 기기에 적용할 수 있는 도난 방지 방법 및 시스템 |
| KR102321480B1 (ko) | 2020-04-14 | 2021-11-03 | 김선권 | 비디오 장면 비교 알고리즘을 이용한 이동식 전자 기기에 적용할 수 있는 도난 방지 방법 및 시스템 |
| KR102170992B1 (ko) * | 2020-06-25 | 2020-10-28 | (주)스마트링스 | 다기능 차량번호인식 시스템 및 그 제어방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101985711B1 (ko) | 증강현실 ｃｃｔｖ 시스템 및 그 제어방법 | |
| JP7105754B2 (ja) | 撮像装置、及び、撮像装置の制御方法 | |
| CN114093142B (zh) | 通过组合视觉传感和热传感的对象感知的温度异常监控和预警 | |
| KR101937272B1 (ko) | 복수 개의 촬영영상으로부터 이벤트를 검출하는 장치 및 방법 | |
| CN112165573B (zh) | 拍摄处理方法和装置、设备、存储介质 | |
| JP6403687B2 (ja) | 監視システム | |
| JP4892965B2 (ja) | 移動体判定システム、移動体判定方法、及びコンピュータプログラム | |
| KR101530255B1 (ko) | 객체 자동 추적 장치가 구비된 cctv 시스템 | |
| US20110128150A1 (en) | System and method for electronic surveillance | |
| CN106662749A (zh) | 用于全视差光场压缩的预处理器 | |
| US8982245B2 (en) | Method and system for sequential viewing of two video streams | |
| JP4303087B2 (ja) | データ信号の送信方法と受信方法及びその装置、システム、プログラム並びに記録媒体 | |
| KR101890134B1 (ko) | Cctv 감시장치 비트맵에 의한 이미지 데이터 처리 움직임 분석 제어 방법 | |
| Pawłowski et al. | Visualization techniques to support CCTV operators of smart city services | |
| KR101921868B1 (ko) | 고해상도 카메라를 이용한 지능형 영상 감시 시스템 및 그 방법 | |
| KR102149277B1 (ko) | 촬영된 영상에 관한 데이터 프로토콜을 설정하는 단말기 및 방법 | |
| CN113965726A (zh) | 处理交通视频的方法、装置以及系统 | |
| KR102152319B1 (ko) | 3d 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템 | |
| KR101360245B1 (ko) | Cctv 감시장치 비트맵에 의한 이미지 데이터 처리 움직임 분석 제어 방법 | |
| CN111034171B (zh) | 信息处理系统 | |
| KR20230089558A (ko) | 영상 전송 장치 및 방법, 그리고 영상 수신 장치 및 방법 | |
| CN112445884A (zh) | 一种用于计算机识别和人眼识别的孪生相机 | |
| CN114863377A (zh) | 一种基于YOLOv5改进的目标检测系统 | |
| Christodoulou | Overview: 3D stereo vision camera-sensors-systems, advancements, and technologies | |
| CN111856061A (zh) | 具有多信息融合和光流测速功能的超小型双光成像系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |