KR20230121951A - Image tracking system using object recognition information based on Virtual Reality, and image tracking method thereof - Google Patents

Image tracking system using object recognition information based on Virtual Reality, and image tracking method thereof Download PDF

Info

Publication number
KR20230121951A
KR20230121951A KR1020220018531A KR20220018531A KR20230121951A KR 20230121951 A KR20230121951 A KR 20230121951A KR 1020220018531 A KR1020220018531 A KR 1020220018531A KR 20220018531 A KR20220018531 A KR 20220018531A KR 20230121951 A KR20230121951 A KR 20230121951A
Authority
KR
South Korea
Prior art keywords
image
information
unit
background
monitoring
Prior art date
Application number
KR1020220018531A
Other languages
Korean (ko)
Inventor
이민재
Original Assignee
주식회사아트릭트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사아트릭트 filed Critical 주식회사아트릭트
Priority to KR1020220018531A priority Critical patent/KR20230121951A/en
Publication of KR20230121951A publication Critical patent/KR20230121951A/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/292Multi-camera tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

The present invention relates to an image tracking system using object recognition information based on VR, and an image tracking method. The present invention comprises an image shooting system and a monitoring system to provide an effect of facilitating tracking and enabling search and classification of objects.

Description

VR기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법{Image tracking system using object recognition information based on Virtual Reality, and image tracking method thereof}Image tracking system using object recognition information based on Virtual Reality, and image tracking method thereof

[0001] 본 발명은 VR 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법에 관한 것으로, 보다 구[0001] The present invention relates to an image tracking system using VR-based object recognition information and an image tracking method.

체적으로는, 감시시스템으로 하여금 공간 배경영상으로 검색하고, 필요에 따라 배경 내의 객체별 영상 및 정보In terms of volume, the surveillance system searches for space background images, and if necessary, images and information for each object in the background

를 제공하는 것을 기반으로, 공간배경에서 검색된 객체에 대한 추적을 위해 다수의 연동된 영상촬영시스템을 활Based on providing, a number of interlocked imaging systems are used to track objects found in the spatial background.

용하여 추적을 용이하도록 하며, 추적에 대한 정보를 2차원 또는 3차원 가상현실(Virtual Reality, 'VR') 영상to facilitate tracking, and the tracking information is converted into 2D or 3D virtual reality (VR) images.

정보로 제공함으로써, 추적이 용이하도록 하기 위한 VR 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리An image tracking system using VR-based object recognition information to facilitate tracking by providing information, and

고 영상 추적방법에 관한 것이다.It is about high image tracking method.

[0002] 현대사회가 더욱 복잡해지면서, 사회는 사회범죄, 재난 등 등 [0002]다양한 사회문제에 직면하게 된다.[0002] As modern society becomes more complex, society faces various social problems such as social crimes and disasters.

[0003] 특히 근래에 들어서, 성추행, 성폭력과 같은 여성사회문제로부터 연쇄 살인까지 강력범죄가 급격하게 증가하게[0003] In particular, in recent years, violent crimes from women's social problems such as sexual harassment and sexual violence to serial murder are rapidly increasing.

되면서, 각 자치구에서는 각 자치구에서는 CCTV를 설치하여 이를 조금이라도 줄이기 위해 노력하고 있다.In the meantime, each autonomous district is trying to reduce it even a little by installing CCTVs in each autonomous district.

[0004] 이와 같이 CCTV 시스템은 주변에서 일어나는 상황이나 행동 등을 감시하기 위해서 고안된 시각용 수단이다. 이[0004] As such, the CCTV system is a visual means designed to monitor situations or actions occurring in the surroundings. this

러한 CCTV 시스템은 범인검거에 있어 매주 중요한 정보를 제공하고 있어, 보안 시스템의 하나로 중요한 위치를Such a CCTV system provides important information every week in arresting criminals, so it has an important position as one of the security systems.

차지하고 있으며, CCTV의 수가 급격하게 증가되고 있다.The number of CCTV cameras is rapidly increasing.

[0005] 이러한 CCTV 시스템은 통상적으로 얼굴, 물체, 차량번호판 등의 사물 및 사람들을 인식하는 알고리즘으로, 인식[0005] Such a CCTV system is usually an algorithm for recognizing objects and people such as faces, objects, license plates, and recognition.

하고자 하는 피사체 중심으로 촬영한 영상 데이터와 이러한 영상 데이터의 촬영시간과 장소 정보를 제공하는 것To provide information about the shooting time and location of image data taken centering on the subject to be photographed and such image data

이 일반적으로 사용되고 있다.this is commonly used.

[0006] 그러나 이러한 알고리즘은 인식하고자 하는 피사체로부터 원거리에 있는 카메라로부터 촬영된 영상에서는 근접[0006] However, these algorithms are close to the image taken from a camera far from the subject to be recognized.

촬영된 것이 아니므로, 사물 또는 사람을 인식하기 힘들며, 고해상도의 근접 촬영된 영상은 광역 촬영이 불가능Since it is not filmed, it is difficult to recognize objects or people, and wide-area shooting is not possible for high-resolution close-up images.

하여 보다 넓은 범위의 사물 또는 사람들을 인식할 수 없기 때문에, 보다 확장된 화각에서의 물체정보를 확인할Therefore, since it is not possible to recognize objects or people in a wider range by using

수 있는 정황(상황)정보를 함께 제공하는 동기화 프로그램이 필요한 실정이다.There is a need for a synchronization program that provides possible context (situation) information together.

[0007] 이러한 문제점을 해결하기 위해 종래의 기술 1에 해당하는 대한민국 특허등록공보 등록번호 제10-0967718호 "물[0007] In order to solve this problem, Republic of Korea Patent Registration Publication No. 10-0967718 corresponding to prior art 1 "water

체인식 정보를 이용한 영상 보안시스템"에 의해 감시시스템으로 하여금 공간 배경영상으로 검색하고, 필요에 따Video security system using chain-type information" allows the surveillance system to search for spatial background images and, if necessary,

라 배경내의 물체별 영상 및 정보를 제공할 수 있도록 하는 공간좌표내의 영상보안 시스템을 제공하고 있다.It provides an image security system within spatial coordinates that can provide images and information for each object in the background.

[0008] 그러나, 종래의 기술 1에서는 영상에 대한 확대 정보에만 치중하여, 인식된 물체에 대해서 추적하는 기술에 대[0008] However, in the prior art 1, a technique for tracking a recognized object by focusing only on enlargement information on an image

해서는 제시하지 못하는 한계점이 있다.However, there are limitations that cannot be presented.

[0009] 종래의 기술 2에 해당하는 대한민국 특허공개공보 공개번호 제10-2016-0008668호 "객체인식정보 표시장치 및 그[0009] Republic of Korea Patent Publication Publication No. 10-2016-0008668 corresponding to prior art 2 "object recognition information display device and its

방법"은 본 발명은 객체인식정보를 이용한 표시장치 및 그 방법에 관한 것으로, 특히 길거리에 설치되며 길거리The present invention relates to a display device using object recognition information and a method thereof, and is particularly installed on a street.

를 지나다니는 객체를 인식하여 객체의 움직이는 속도에 따라 객체가 움직이는 방향으로 이동할 수 있도록 하는Recognizes an object passing by and moves in the direction in which the object moves according to the moving speed of the object.

객체인식정보를 이용한 표시장치 및 그 방법을 제공하고 있다.A display device and method using object recognition information are provided.

[0010] 그러나, 종래의 기술 2에서는 객체의 속도를 표시할 뿐, 종래의 기술 1과 마찬가지로 객체인식을 통한 객체추적[0010] However, in the prior art 2, only the speed of the object is displayed, and like the prior art 1, object tracking through object recognition is performed.

에 대한 방식을 제시하지는 못하는 한계점이 있다.There is a limitation that cannot suggest a method for this.

[0011] 종래의 기술 3에 해당하는 대한민국 특허공개공보 공개번호 제10-2015-0107423호 "팬틸트 일체형 감시 카메라의[0011] Republic of Korea Patent Publication No. 10-2015-0107423 corresponding to prior art 3 "pan-tilt integrated surveillance camera

영상추적 제어 시스템"은 어두운 장소에서 움직이는 객체를 감지하고 협각 카메라와 고휘도 LED 보조광원을 작"Video tracking control system" detects a moving object in a dark place and operates a narrow-angle camera and high-brightness LED auxiliary light source.

동시켜 정밀한 객체영상을 획득할 수 있는 팬틸트 일체형 감시 카메라의 영상추적 제어 시스템에 관한 것이다.It relates to an image tracking control system for a pan-tilt-integrated surveillance camera capable of acquiring precise object images simultaneously.

[0012] 그러나, 종래의 기술 3에서는 고휘도 LED 보조광원이 있어야만 객체영상을 획득할 수 있는 기술적 한계점이 있[0012] However, in the prior art 3, there is a technical limitation in that an object image can be obtained only with a high-brightness LED auxiliary light source.

으며, 주로 주광원과 보조광원의 물체에 대한 인식에 대한 조사를 통한 영상 획득에 주안점이 있으며, 객체인식The main focus is on image acquisition through investigation of the object recognition of the main light source and auxiliary light source, and object recognition

을 통한 객체추적의 연속성에 대해서는 제시하지 못하는 한계점이 있다.There is a limit that cannot be presented for the continuity of object tracking through .

[0013] 종래의 기술 4에 해당하는 대한민국 특허등록공보 등록번호 제10-1051715호 "영상추적 표적 장치"는 외부 서버[0013] Republic of Korea Patent Registration Publication No. 10-1051715 corresponding to prior art 4 "image tracking target device" is an external server

와 데이터 연동하는 시스템 연동부와, 열을 발생하는 발열체와, 상기 외부 서버로부터 수신한 발열제어 데이터A system interlocking unit that interlocks with data, a heating element that generates heat, and heat control data received from the external server

에 따라 상기 발열체의 발열량을 조절하는 발열조절부와, 특정 형상으로 형성되며, 상기 발열체의 열을 전도받According to the heating control unit for controlling the amount of heat generated by the heating element, formed in a specific shape, receiving the heat of the heating element

아 상기 특정 형상에서 온도 변화가 일어나도록 하는 열표적 형상모듈을 포함함으로써, 영상추적의 성능을 검증Ah, verifying the performance of image tracking by including a thermal target shape module that causes a temperature change in the specific shape

하기 전에 실험실에서 영상추적 검증하는데 사용되는 영상추적 표적 장치 및 영상추적 표적 시스템을 제공하고Provides an image tracking targeting device and an image tracking targeting system used for image tracking verification in the laboratory before

있다.there is.

[0014] 그러나, 종래의 기술 4에서는 온도 변화나 발광량 변화에 따라서 실시간으로 영상추적을 검증하는데 사용되는[0014] However, in the prior art 4, it is used to verify image tracking in real time according to temperature change or light emission change.

영상추적 표적 장치를 제공하며, 영상추적 표적 장치들간의 연결 상태, 통신 상태, 점검 결과, 시나리오 설정It provides video tracking target devices, and sets connection status, communication status, inspection results, and scenarios between video tracking target devices.

상태, 분석 결과, 표적 조건을 나타낸 유저 인터페이스(GUI)를 제공하는데 집중하고 있을 뿐 영상인식을 기반으We focus on providing a user interface (GUI) that shows status, analysis results, and target conditions, but based on image recognition,

로 하지 못하는 한계점이 있으며, 종래의 기술 3과 마찬가지로, 객체인식을 통한 객체추적의 연속성에 대해서는There is a limitation that cannot be done, and, like the conventional technique 3, for the continuity of object tracking through object recognition

제시하지 못하는 한계점이 있다.There are limitations that cannot be presented.

[0016] 본 발명은 상기의 문제점을 해결하기 위한 것으로, 특정한 장소에서 특정한 시간에 파노라마로 촬영된 영상에서[0016] The present invention is to solve the above problem, in a panoramic image taken at a specific place at a specific time.

생성되는 공간좌표와 근접 촬영한 영상 내의 사물과 사람의 좌표를 동기화시켜, 인식하고자 하는 모든 사물 또By synchronizing the generated spatial coordinates with the coordinates of objects and people in the close-up image, all objects or objects to be recognized are synchronized.

는 사람들의 위치를 나타낼 수 있는 VR 영상을 생성하고, 인식하고자 하는 객체인 피사체의 정보뿐만 아니라,generates a VR image that can indicate the location of people, and information on the subject, which is an object to be recognized, as well as

피사체의 인식과 관련될 수 있는 주변의 다른 물체 및 사람들의 상세한 정황(상황) 정보를 VR 영상을 통해 확인Check detailed context (situation) information of other objects and people around you that can be related to the recognition of the subject through VR images

할 수 있도록 하기 위한 VR 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법을 제공하기To provide an image tracking system using VR-based object recognition information and an image tracking method

위한 것이다.It is for

[0017] 또한, 본 발명은 감시시스템으로 하여금 공간 배경영상으로 검색하고, 필요에 따라 배경 내의 객체별 영상 및[0017] In addition, the present invention allows the surveillance system to search for spatial background images, and, if necessary, images for each object in the background and

정보를 제공하는 것을 기반으로, 공간배경에서 검색된 객체에 대한 추적을 위해 다수의 연동된 영상촬영시스템Based on providing information, a number of interlocked imaging systems for tracking objects found in the spatial background

을 활용하여 추적을 용이하도록 하며, 추적에 대한 정보를 2차원 또는 3차원 가상현실 영상정보로to facilitate tracking, and convert tracking information into 2D or 3D virtual reality image information.

제공함으로써, 추적이 용이하도록 하기 위한 VR 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상video tracking system using VR-based object recognition information to facilitate tracking by providing

추적방법을 제공하기 위한 것이다.This is to provide a tracking method.

[0018] 또한, 본 발명은 2차원 또는 3차원으로 합성된 VR 배경영상을 기준으로 객체를 인식하고, 그 인식된 객체를 VR[0018] In addition, the present invention recognizes an object based on a VR background image synthesized in 2D or 3D, and converts the recognized object to VR

객체영상으로 제공함으로써, 객체의 검색 및 분류가 가능하게 됨에 따라서 원하는 객체에 대한 추적을 할 수 있By providing an object image, it is possible to track the desired object as it is possible to search and classify the object.

을 뿐만 아니라, 추적자의 요구에 따라 2차원 VR 영상정보 또는 3차원 VR 영상정보로 선택적으로 제공할 있도록In addition, to selectively provide 2D VR image information or 3D VR image information according to the request of the tracker

하기 위한 VR 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법을 제공하기 위한 것이다.It is to provide an image tracking system using VR-based object recognition information and an image tracking method.

[0019] 그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의[0019] However, the objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned are the following

기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.It will be clear to those skilled in the art from the description.

[0020] 상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 VR 기반의 객체인식 정보를 이용한 영상 추적시스템은,In order to achieve the above object, an image tracking system using VR-based object recognition information according to an embodiment of the present invention,

감시영역에 다수개가 연속되어 설치되어 감시 특정 공간을 촬영하여 그 영상 정보를 제공하기 위해 감시공간의A number of units are installed in succession in the surveillance area to photograph a specific surveillance space and provide the video information of the surveillance space.

영상을 촬영하여 전송제어하고, 원격지의 중앙 모니터링시스템으로부터 검색요청에 따른 근접영상 원본이미지를The video is photographed and transmitted, and the original image of the close-up video is transmitted according to the search request from the remote central monitoring system.

제공하는 감시지역별로 구성되는 영상촬영시스템; 과, 상기 영상촬영시스템으로부터 제공받은 영상으로부터 감Video recording system configured for each monitoring area provided; And, sensing from the image provided from the imaging system

시공간을 모니터링하고, 추적자 모바일디바이스의 소지자에게 모니터링 정보를 제공하기 위해 추적자 모바일디Tracker mobile device to monitor space-time and provide monitoring information to the holder of the tracker mobile device

바이스 및 각 영상촬영시스템과 네트워크로 연결된 모니터링시스템;으로 구성되어 각 영상촬영시스템에 의해 촬Vise and a monitoring system connected to each imaging system through a network;

영된 파노라마 영상의 배경영상으로부터 특정한 객체의 좌표를 생성하고 이들의 특징정보를 제공하여, 상기 모The coordinates of a specific object are created from the background image of the projected panoramic image and their feature information is provided,

니터링시스템에서 객체의 근접영상을 요청하여 전송받을 수 있도록 할 뿐만 아니라, 객체에 대한 경로를 예측하The monitoring system not only requests and receives an object's proximity image, but also predicts the path to the object.

여 영상촬영시스템을 통해 추적하여 3차원 영상정보를 최종적으로 상기 추적자 모바일디바이스에게 제공하는 것To track through the video recording system and finally provide 3D image information to the tracker's mobile device

을 특징으로 하는 VR 기반의 객체인식 정보를 이용한 영상 추적시스템에 있어서, 상기 영상촬영시스템은 VR 카In the video tracking system using VR-based object recognition information, characterized in that, the video shooting system is a VR car

메라 모듈과 카메라 제어모듈을 구비하며, 상기 VR 카메라 모듈은 원거리에서 배경을 촬영하기 위한 배경영상It has a camera module and a camera control module, and the VR camera module is a background image for capturing a background from a distance.

카메라부와, 객체를 근접 촬영하기 위한 근접영상 카메라부를 포함하며, 상기 배경영상 카메라부는 원거리에서It includes a camera unit and a close-up image camera unit for taking close-up pictures of an object, wherein the background image camera unit can be viewed from a distance.

주위의 영상을 파노라마 형태로 촬영할 수 있도록 하는 배경영상 촬영수단으로, 360도 회전하면서 주위의 영상It is a background image recording means that allows you to capture an image of the surroundings in a panoramic form.

을 촬영할 수 있도록 구성되어 주위의 영상을 상기 카메라 제어모듈의 제어에 따라 특정시간별로 촬영하며, 상It is configured to take pictures of the surroundings at specific times according to the control of the camera control module,

기 근접영상 카메라부는 객체를 근접 촬영하여 객체의 영상을 얻어내기 위한 수단으로, 상기 배경영상 카메라부The proximity image camera unit is a means for obtaining an image of an object by taking a close-up image of the object, and the background image camera unit

와 동일하게 360도 회전할 뿐만 아니라, 상하의 틸트 각도 조절이 가능한 PTZ(Pan/Tilt/Zoom) 카메라로 구성되It consists of a PTZ (Pan/Tilt/Zoom) camera that rotates 360 degrees as well as adjusts the tilt angle up and down.

며, 상기 카메라 제어모듈은 객체인식부, 촬영제어부, 객체지도 생성부, 전송제어부, 객체지도 데이터베이스, 제 1 영상 데이터베이스, 패턴이미지 데이터베이스를 포함하며, 상기 객체인식부는 상기 배경영상 카메라부로부The camera control module includes an object recognition unit, a shooting control unit, an object map generation unit, a transmission control unit, an object map database, a first image database, and a pattern image database.

터 얻어지는 영상으로부터 특정공간내의 배경좌표를 생성하고, 생성된 배경좌표 내에서 인식하고자 하는 객체Create background coordinates in a specific space from the image obtained from the source and object to be recognized within the created background coordinates

(인물, 얼굴, 차량 등) 또는 비행체를 인식하기 위한 수단으로, 상기 배경영상 카메라부로부터 획득된 영상을As a means for recognizing (person, face, vehicle, etc.) or flying object, the image obtained from the background image camera unit

입력받아 상기 패턴이미지 데이터베이스 상의 객체패턴데이터를 이용하여 객체영역을 추출하여 객체를Receive the input and use the object pattern data on the pattern image database to extract the object area and create the object.

인식하고, 객체의 특징정보를 추출시, 상기 패턴이미지 데이터베이스에 저장된 패턴이미지와 대비하여 객체를When recognizing and extracting the feature information of an object, the object is compared with the pattern image stored in the pattern image database.

인식하고, 인식된 객체의 특징정보를 추출하며, 상기 촬영제어부는 상기 배경영상 카메라부를 제어하여 배경영Recognizes and extracts feature information of the recognized object, and the shooting control unit controls the background image camera unit to capture the background image

상을 촬영하고 상기 객체인식부로부터 인식된 객체의 근접영상 촬영을 위해 상기 근접영상 카메라부를 제어하는Taking an image and controlling the proximity image camera unit to take a close-up image of the object recognized by the object recognition unit

방식으로 상기 배경영상 카메라부와 상기 근접영상 카메라부를 제어하여 영상을 얻어내기 위한 수단으로, 상기As a means for obtaining an image by controlling the background image camera unit and the proximity image camera unit in a manner,

객체인식부를 통해 인식된 객체를 배경좌표에 동기화시켜 객체의 좌표를 생성하여, 상기 객체지도 생성부에 의By synchronizing the object recognized through the object recognition unit with the background coordinates to create the coordinates of the object, the object map generation unit

해 좌표와 객체의 특징정보를 포함하는 객체지도정보를 생성하도록 하며, 상기 객체지도 생성부는 상기 객체인To generate object map information including solution coordinates and feature information of an object, and the object map generating unit

식부를 통해 인식된 객체를 배경영상과 동기화시켜 객체의 좌표를 생성하고, 생성된 '좌표'와 '객체의The object recognized through planting is synchronized with the background image to create the coordinates of the object, and the created 'coordinate' and 'object's

특징정보'를 포함하는 객체지도정보를 생성하며, 객체지도정보를 생성시 영상촬영시스템의 식별정보(ID), 객체Object map information including 'characteristic information' is created, and when generating the object map information, identification information (ID) of the image capture system, object

의 프레임별 객체좌표와 특징정보, 촬영시간 정보, 배경영상 카메라부의 중심축(x1)으로부터 근접영상 카메라부Object coordinates and feature information for each frame of , photographing time information, close-up image camera unit from the central axis (x1) of the background image camera unit

의 회전 각도(a1, a2) 정보, 근접영상 카메라부의 상하로의 틸트 각도 정보를 포함시키며, 영상촬영시스템의 식Including the rotation angle (a1, a2) information of and the vertical tilt angle information of the close-up image camera unit, the equation of the image capture system

별정보(ID)는 영상촬영시스템(100)의 고유번호와 위치정보를 포함하며, 상기 전송제어부는 객체지도정보와 배경The star information (ID) includes a unique number and location information of the image capturing system 100, and the transmission control unit includes object map information and background information.

영상의 압축이미지를 상기 모니터링시스템으로 전송제어하고, 상기 모니터링시스템으로부터의 검색요청에 따라The compressed image of the video is controlled to be transmitted to the monitoring system, and according to the search request from the monitoring system

해당하는 객체의 근접영상의 원본이미지를 제공하며, 상기 모니터링시스템으로 객체지도정보와 배경영상의 압축It provides the original image of the proximity image of the corresponding object, and compresses the object map information and background image with the monitoring system.

이미지를 전송제어하기 위한 수단이며, 상기 모니터링시스템으로부터의 객체검색요청, 객체추적요청에 따라 요It is a means for controlling the transmission of images, and is requested according to the object search request and object tracking request from the monitoring system.

청된 객체의 근접영상의 원본영상, 그 밖의 객체지도정보를 제공하기 위한 제어수단이며, 상기 객체지도 데이터A control means for providing an original image of a proximity image of a requested object and other object map information, the object map data

베이스는 객체지도정보를 저장 관리하며, 상기 제 1 영상 데이터베이스는 근접영상 및 파노라마 영상을 저장관The base stores and manages object map information, and the first image database stores proximity images and panoramic images.

리하며, 상기 패턴이미지 데이터베이스는 상기 객체인식부에 의한 객체인식을 위한 패턴이미지를 관리and the pattern image database manages pattern images for object recognition by the object recognition unit.

저장하며, 상기 모니터링시스템은 영상수신 모니터링부, 검색 인터페이스부, 감시제어부, 제 2 영상 데이터베이The monitoring system includes a video reception monitoring unit, a search interface unit, a monitoring control unit, and a second video database.

스, 수신정보 데이터베이스, VR 영상 데이터베이스, 배경영상 패턴이미지 데이터베이스, 운영자 입력부를 포함system, reception information database, VR image database, background video pattern image database, and operator input

하며, 상기 영상수신 모니터링부는 영상촬영시스템으로부터 제공되는 영상 및 객체지도정보를 전송받아 영상 및The image reception monitoring unit receives the image and object map information provided from the image capture system and transmits the image and

특징정보를 운영자에게 표시하여 모니터링 영상을 제공하며, 상기 검색 인터페이스부는 모니터링 영상에 대하여Characteristic information is displayed to the operator to provide a monitoring image, and the search interface unit for the monitoring image

운영자가 상기 운영자 입력부를 통해 검색영역을 선택을 통해 특정 '객체검색요청', 그리고 '객체추적요청'을The operator selects a search area through the operator input unit and selects a specific 'object search request' and 'object tracking request'.

할 수 있도록 운영자 인터페이스를 제공하여, 모니터링 영상에 대하여 운영자가 인식영역을 선택하여 특정 객체It provides an operator interface so that the operator can select a recognition area for the monitoring image and select a specific object.

를 검색 및 추적할 수 있도록 운영자 인터페이스를 제공하기 위한 수단으로, 모니터링 운영자가 모니터링 영상As a means to provide an operator interface to search and track the monitoring video, the monitoring operator

에 대하여 검색영역 및 추적영역을 선택할 수 있도록 선택 및 입력 운영자 인터페이스(GUI; Graphic UserA selection and input operator interface (GUI; Graphic User) to select a search area and a tracking area for

Interface)를 제공하며, 상기 감시제어부는 상기 검색 인터페이스부로부터 지정된 인식영역에 대한 객체지도정Interface), and the monitoring and control unit designates an object map for the recognition area designated by the search interface unit.

보에서 특징정보를 추출하여 표시제어하고, 운영자의 선택에 따라 선택영역에 대한 근접영상을 요청하여 영상촬Feature information is extracted from beams, displayed and controlled, and according to the operator's selection, a close-up image for the selected area is requested to take an image.

영시스템으로부터 전송된 근접영상정보를 표시관리 제어하며, 상기 검색 인터페이스부로부터 지정된 검색영역에It displays and manages the proximity image information transmitted from the Young System, and displays and controls the search area designated by the search interface unit.

대하여, 영상촬영시스템으로부터 전송받은 특징정보를 표시제어하고, 운영자의 선택에 따라 해당하는 선택영역, display and control the feature information transmitted from the image capture system, and select the corresponding selection area according to the operator's choice.

에 대한 근접영상을 요청하여 영상촬영시스템으로부터 전송된 근접영상정보를 표시관리 제어하기 위한 프로세스A process for displaying and managing the proximity image information transmitted from the imaging system by requesting a proximity image for

를 제공할 뿐만 아니라, 상기 운영자 입력부의 검색요청에 따라 선택영역에 의해 선택된 객체의 특징정보를 상In addition to providing the feature information of the object selected by the selection area according to the search request of the operator input unit

기 수신정보 데이터베이스에 등록된 객체지도정보와 비교하여 해당하는 다른 영상촬영시스템에서 촬영된 객체를Compared with the object map information registered in the existing received information database, the object captured by the corresponding other imaging system

검색하여 그 결과를 제공하는 검색 프로세스를 제공하며, 근접영상에 해당하는 객체에 대한 운영자의 선택에 따It provides a search process that searches and provides the result, and according to the operator's selection for the object corresponding to the proximity image

른 추적 요청을 영상촬영시스템으로 전송하여, 영상촬영시스템으로부터 전송된 VR 영상을 표시관리 제어하며,Another tracking request is transmitted to the video recording system, and the VR video transmitted from the video recording system is displayed, managed, and controlled.

상기 제 2 영상 데이터베이스는 영상촬영시스템으로부터 수신된 배경영상(압축이미지) 및 검색에 따라 제공된The second image database is provided according to the background image (compressed image) and the search received from the image capturing system.

근접영상의 원본영상을 저장 관리시, 상기 제 2 영상 데이터베이스에는 영상촬영시스템의 식별정보별로 수신된When the original image of the proximity image is stored and managed, the second image database includes information received for each identification information of the image capturing system.

배경영상(압축이미지) 및 검색에 따라 제공된 근접영상의 원본영상을 저장 관리되며, 상기 수신정보 데이터베이The background image (compressed image) and the original image of the proximity image provided according to the search are stored and managed, and the received information database

스는 영상촬영시스템으로부터 수신된 객체지도정보를 저장 관리시, 상기 수신정보 데이터베이스에는 영상촬영시When storing and managing the object map information received from the image capturing system, the received information database stores the image when capturing

스템으로부터 수신된 객체지도정보가 영상촬영시스템의 식별정보에 따라 저장 관리되며, 상기 VR 영상 데이터베The object map information received from the system is stored and managed according to the identification information of the video recording system, and the VR video database

이스는 적어도 두 개 이상의 영상촬영시스템으로부터 수신된 배경영상, 객체지도정보, 원본영상을 이용해 상기IS uses the background image, object map information, and original image received from at least two image capture systems to

감시제어부에 의해 생성된 VR 영상을 저장 관리하며, 상기 운영자 입력부(280)는 운영자가 영상촬영시스템에 수Stores and manages VR images generated by the monitoring and control unit, and the operator input unit 280 allows the operator to enter the video recording system.

동 지령입력 및 모니터링 화면으로부터 검색영역선택, 객체검색요청(원본영상요청), 객체추적요청을 위한 을 위For command input and search area selection from the monitoring screen, object search request (original video request), and object tracking request

해 구성되며, 상기 감시제어부는 위치 추적수단, 위치 예측수단, 위치 전달수단, VR 영상 생성수단 및 VR 영상and the monitoring and control unit includes a location tracking unit, a location prediction unit, a location transmission unit, a VR image generating unit, and a VR video

전달수단을 구비하며, 상기 위치 추적수단은 현재 객체를 인식한 영상촬영시스템으로부터 수신된 배경영상, 객A transmission means is provided, and the location tracking means includes a background image received from an image capture system recognizing a current object, an object

체지도정보, 원본영상을 이용해 운영자에 의해 상기 운영자 입력부로부터 선택된 객체에 대한 위치 추적을 수행Position tracking of the object selected by the operator from the operator input unit is performed using the body map information and the original image.

시, 선택된 객체에 대해서 실시간으로 현재 객체가 위치한 영상촬영시스템으로부터 360°의 파노라마로 촬영된360° panorama is captured from the imaging system where the current object is located in real time for the selected object.

배경영상, 원본영상을 수신하며, 객체지도정보로부터 상기 배경영상 카메라부의 중심축(x1)으로부터 상기 근접영상 카메라부의 회전 각도(a1) 정보를 추출한 뒤, 상기 위치 예측수단으로 전달하며, 상기 위치 예측수단은 현A background image and an original image are received, information on a rotation angle (a1) of the proximity image camera is extracted from the central axis (x1) of the background image camera from object map information, and then transferred to the location estimation means, and the location is predicted. Sudan is present

재 객체가 위치한 영상촬영시스템으로부터 수신된 360°의 파노라마로 촬영된 배경영상과, 원본영상과, 상기 배The background image captured as a 360° panorama received from the image capture system where the current object is located, the original image, and the

경영상 카메라부의 중심축(x1)으로부터 상기 근접영상 카메라부의 회전 각도(a1) 정보를 이용해 객체가 진행할In terms of business, the object moves using the rotation angle (a1) information of the close-up camera unit from the central axis (x1) of the camera unit.

다음 영상촬영시스템을 추출하며, 배경영상에서의 객체의 방위정보를 추출하는데, 영상촬영시스템으로부터 수신Next, the image capture system is extracted, and the orientation information of the object in the background image is extracted, which is received from the image capture system.

된 360°의 파노라마로 촬영된 배경영상과 원본영상을 상기 배경영상 패턴이미지 데이터베이스의 배경영상패턴The background image and the original image captured as a 360° panorama are the background image pattern of the background image pattern image database.

데이터를 이용하여 방위영역을 추출하여 객체의 360°의 파노라마로 촬영된 배경영상에서의 방위정보Azimuth information in the background image captured as a 360° panorama of the object by extracting the azimuth area using the data

(동,서,남,북 또는 방위각 정보)를 인식하고, 원본영상에 해당하는 객체의 특징정보를 추출하여, 특징정보 중(east, west, south, north, or azimuth information) is recognized, and feature information of the object corresponding to the original image is extracted, and among the feature information

크기의 변화에 따른 원근 변화를 이용하여 상기 근접영상 카메라부로부터의 거리정보를 인식하며, 상기 위치 예Recognizes distance information from the proximity image camera unit using a change in perspective according to a change in size, and the location example

측수단은 인식된 방위정보 및 거리정보, 그리고 현재의 영상촬영시스템의 고유번호와 위치정보를 이용해 현재의The measuring unit uses the recognized azimuth information and distance information, and the unique number and location information of the current imaging system to determine the current location.

영상촬영시스템을 제외한 다수의 영상촬영시스템 중 객체가 다음으로 진행하는 영상촬영시스템을 적어도 하나Among a plurality of imaging systems excluding the imaging system, at least one imaging system in which the object proceeds to the next

이상의 추출을 수행하며, 상기 위치 예측수단에 의해 추출된 각 영상촬영시스템으로 객체에 대한 현재의 영상촬The above extraction is performed, and the current imaging of the object is performed by each imaging system extracted by the position prediction means.

영시스템에 의해 생성된 객체지도정보를 상기 네트워크를 통해 전달하여 객체추적을 요청하며, 상기 VR 영상 생The object map information generated by the Young System is transmitted through the network to request object tracking, and the VR video production

성수단은 진행 예정인 영상촬영시스템에 의한 객체지도정보 상의 객체 특징정보와 일치하는 객체에 대한 인식이In Seongsudan, the recognition of an object matching the object feature information on the object map information by the imaging system to be progressed is

완료되면, 인식이 완료된 영상촬영시스템으로부터 360°의 파노라마로 촬영된 배경영상과, 객체에 대한 원본영Upon completion, the background image captured as a 360° panorama from the recognized image capture system and the original image for the object

상과, 배경영상 카메라부의 중심축(x1)으로부터 근접영상 카메라부의 회전 각도(a2) 정보를 수신한 뒤, 진행 예Example of processing after receiving information on the rotation angle (a2) of the proximity image camera from the central axis (x1) of the image and background image camera

정인 영상촬영시스템으로부터 수신된 360°의 파노라마로 촬영된 배경영상 및 원본영상과, 상기 위치 추적수단A background image and an original image photographed as a 360° panorama received from the Jungin imaging system, and the location tracking means

에 의해 수신된 현재 객체를 인식한 영상촬영시스템으로부터 수신된 배경영상 및 원본영상을 이용하여 2차원 또Using the background image and original image received from the image capturing system recognizing the current object received by

는 3차원 가상현실(Virtual Reality, 'VR') 영상정보를 생성시, 진행 예정인 영상촬영시스템으로부터 수신된When generating 3D virtual reality ('VR') image information, received from the image shooting system to be proceeded

360°의 파노라마로 촬영된 배경영상과 원본영상을 상기 배경영상 패턴이미지 데이터베이스의 배경영상패턴데이The background image and the original image captured as a 360° panorama are stored in the background image pattern data of the background image pattern image database.

터를 이용하여 방위영역을 추출하여 객체의 360°의 파노라마로 촬영된 배경영상에서의 방위정보(동,서,남,북Azimuth information (East, West, South, North

또는 방위각 정보)를 인식하고, 원본영상에 해당하는 객체의 특징정보를 추출하여, 특징정보 중 크기의 변화에or azimuth information), extracts the feature information of the object corresponding to the original image, and detects changes in size among the feature information.

따른 원근 변화를 이용하여 근접영상 카메라부로부터의 거리정보를 인식한 뒤, 진행 예정인 영상촬영시스템으로After recognizing the distance information from the proximity imaging camera unit using the change in perspective,

부터 수신된 360°의 파노라마로 촬영된 배경영상과, 상기 위치 추적수단에 의해 수신된 현재 객체를 인식한 영A background image captured as a 360° panorama received from

상촬영시스템으로부터 수신된 배경영상을 합성하여 VR 영상 배경정보를 생성한 뒤, 진행 예정인 영상촬영시스템After synthesizing the background image received from the imaging system to create VR image background information, the image capturing system to be proceeded

및 상기 위치 추적수단에 의해 수신된 현재 객체를 인식한 영상촬영시스템 각각으로부터 수신된 방위정보 및 거and orientation information received from each of the imaging systems recognizing the current object received by the location tracking means and

리정보를 이용해 합성에 따라 생성된 VR 영상 배경정보 상에 객체의 위치 좌표로 인식하여, 2개의 원본영상을Recognizes the location coordinates of the object on the VR image background information generated by synthesis using the information, and converts the two original images into

이용해 생성된 3차원 폴리곤 집합에 해당하는 객체 정보를 삽입시킨 VR 영상정보를 생성하며, 상기 VR 영상 전Creates VR image information in which object information corresponding to the generated 3D polygon set is inserted, and the VR image

달수단은 상기 네트워크를 통해 상기 추적자 모바일디바이스로 VR 영상정보를 제공하여, 객체에 대한 추적을 3The moon unit provides VR image information to the tracker's mobile device through the network, and tracks the object in 3 steps.

차원 공간상에서 추적하도록 하며, 상기 위치 추적수단은 영상촬영시스템으로부터 수신된 객체지도정보로부터It is tracked on a dimensional space, and the location tracking means is obtained from the object map information received from the image capturing system.

상기 배경영상 카메라부의 중심축(x1)으로부터 상기 근접영상 카메라부의 회전 각도(a1) 정보뿐만 아니라, 상기In addition to the rotation angle (a1) information of the proximity image camera unit from the central axis (x1) of the background image camera unit, the

근접영상 카메라부의 상하로의 틸트 각도 정보를 추출하여 상기 위치 예측수단으로 전달시 상기 위치 예측수단The position predicting means when extracting the vertical tilt angle information of the proximity image camera unit and transmitting the information to the position predicting means

은 높이에 대한 정보를 추가적으로 생성하여 VR 영상정보 생성시 객체가 비행체의 경우 높이 정보도 포함될 수height information can be additionally generated, and when the VR image information is created, height information can also be included if the object is an air vehicle.

있도록 하는 것을 특징으로 한다.It is characterized by allowing

[0025] 본 발명의 실시예에 따른 VR 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법은, 특정한[0025] An image tracking system and an image tracking method using VR-based object recognition information according to an embodiment of the present invention are specific

장소에서 특정한 시간에 파노라마로 촬영된 영상에서 생성되는 공간좌표와 근접 촬영한 영상 내의 사물과 사람Spatial coordinates generated from images captured as a panorama at a specific time in a place and objects and people in close-up images

의 좌표를 동기화시켜, 인식하고자 하는 모든 사물 또는 사람들의 위치를 나타낼 수 있는 VR 영상을 생성하고,By synchronizing the coordinates of, creating a VR image that can indicate the position of all objects or people to be recognized,

인식하고자 하는 객체인 피사체의 정보뿐만 아니라, 피사체의 인식과 관련될 수 있는 주변의 다른 물체 및 사람들의 상세한 정황(상황) 정보를 VR 영상을 통해 확인할 수 있는 효과를 제공한다.It provides an effect of being able to check not only the information of the subject, which is the object to be recognized, but also the detailed context (situation) information of other objects and people around the subject that can be related to the recognition of the subject through VR images.

또한, 본 발명의 다른 실시예에 따른 VR 기반의 객체인식 정보를 이용한 영상 [0026] 추적시스템, 그리고 영상 추적방In addition, an image tracking system using VR-based object recognition information according to another embodiment of the present invention, and an image tracking room

법은, 감시시스템으로 하여금 공간 배경영상으로 검색하고, 필요에 따라 배경 내의 객체별 영상 및 정보를 제공The law enables the surveillance system to search for spatial background images and provides images and information for each object in the background as needed.

하는 것을 기반으로, 공간배경에서 검색된 객체에 대한 추적을 위해 다수의 연동된 영상촬영시스템을 활용하여Based on this, a number of interlocked imaging systems are used to track objects found in the space background.

추적을 용이하도록 하며, 추적에 대한 정보를 2차원 또는 3차원 가상현실 영상정보로 제공함으로써, 추적이 용It facilitates tracking, and tracking information is provided as 2D or 3D virtual reality image information.

이하도록 하는 효과를 제공한다.provides the effect of

[0027] 뿐만 아니라, 본 발명의 다른 실시예에 따른 VR 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상[0027] In addition, an image tracking system using VR-based object recognition information according to another embodiment of the present invention, and an image

추적방법은, 2차원 또는 3차원으로 합성된 VR 배경영상을 기준으로 객체를 인식하고, 그 인식된 객체를 VR 객체The tracking method recognizes an object based on a VR background image synthesized in 2D or 3D, and converts the recognized object into a VR object.

영상으로 제공함으로써, 객체의 검색 및 분류가 가능하게 됨에 따라서 원하는 객체에 대한 추적을 할 수 있을By providing images, it is possible to track the desired object as searching and classifying the object is possible.

뿐만 아니라, 추적자의 요구에 따라 2차원 VR 영상정보 또는 3차원 VR 영상정보로 선택적으로 제공할 수 있는In addition, according to the request of the tracker, 2D VR image information or 3D VR image information can be selectively provided.

효과를 제공한다.provide effect.

[0028] 도 1은 본 발명의 실시예에 따른 VR 기반의 객체인식 정보를 이용한 영상 추적시스템을 나타내는 도면이다.
도 2는 도 1의 VR 기반의 객체인식 정보를 이용한 영상 추적시스템의 영상 추적 개념을 나타내는 개략도이다.
도 3은 도 1의 VR 기반의 객체인식 정보를 이용한 영상 추적시스템의 모니터링시스템(200) 중 감시제어부(230)
의 구성을 구체적으로 도시한 블록도이다.
도 4는 도 1의 VR 기반의 객체인식 정보를 이용한 영상 추적시스템을 구성하는 다수의 영상촬영시스템(100)과
모니터링시스템(200)을 포함하는 전체적인 구성을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 VR 기반의 객체인식 정보를 이용한 영상 추적방법을 나타내는 흐름도이다.
1 is a diagram showing an image tracking system using VR-based object recognition information according to an embodiment of the present invention.
FIG. 2 is a schematic diagram illustrating a concept of image tracking of an image tracking system using VR-based object recognition information of FIG. 1 .
Figure 3 is a monitoring control unit 230 of the monitoring system 200 of the video tracking system using the VR-based object recognition information of Figure 1
It is a block diagram showing the configuration of in detail.
FIG. 4 shows a plurality of image capturing systems 100 constituting the image tracking system using VR-based object recognition information of FIG. 1 and
It is a diagram showing the overall configuration including the monitoring system 200.
5 is a flowchart illustrating an image tracking method using VR-based object recognition information according to an embodiment of the present invention.

[0029] 이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명Hereinafter, a detailed description of a preferred embodiment of the present invention will be described with reference to the accompanying drawings. In the following the present invention

을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴In describing, a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention.

수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.If it is determined that it is possible, the detailed description will be omitted.

[0030] 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성[0030] In the present specification, when one component 'transmits' data or signals to another component,

요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통An element may transmit the data or signals directly to another element, or through at least one other element.

하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.This means that data or signals can be transmitted to other components.

[0031] 도 1은 본 발명의 실시예에 따른 VR 기반의 객체인식 정보를 이용한 영상 추적시스템을 나타내는 도면이다. 도1 is a diagram showing an image tracking system using VR-based object recognition information according to an embodiment of the present invention. do

2는 도 1의 VR 기반의 객체인식 정보를 이용한 영상 추적시스템의 영상 추적 개념을 나타내는 개략도이다. 도 32 is a schematic diagram showing the image tracking concept of the image tracking system using VR-based object recognition information of FIG. Figure 3

은 도 1의 VR 기반의 객체인식 정보를 이용한 영상 추적시스템의 모니터링시스템(200) 중 감시제어부(230)의 구The structure of the monitoring control unit 230 in the monitoring system 200 of the video tracking system using the VR-based object recognition information of FIG.

성을 구체적으로 도시한 블록도이다. 도 4는 도 1의 VR 기반의 객체인식 정보를 이용한 영상 추적시스템을 구성It is a block diagram showing the castle in detail. Figure 4 configures the image tracking system using the VR-based object recognition information of Figure 1

하는 다수의 영상촬영시스템(100)과 모니터링시스템(200)을 포함하는 전체적인 구성을 나타내는 도면이다.It is a diagram showing the overall configuration including a plurality of imaging systems 100 and a monitoring system 200.

[0032] 도 1 내지 도 4를 참조하면, VR 기반의 객체인식 정보를 이용한 영상 추적시스템은 감시공간의 영상을 촬영하여[0032] Referring to FIGS. 1 to 4, a video tracking system using VR-based object recognition information captures an image of a surveillance space

전송제어하고, 원격지의 중앙 모니터링시스템(200)으로부터 검색요청에 따른 근접영상 원본이미지를 제공하는Transmission control, and providing the original image of the proximity image according to the search request from the remote central monitoring system 200

감시지역별로 구성되는 영상촬영시스템(100)과, 영상촬영시스템(100)으로부터 제공받은 영상으로부터 감시공간The video recording system 100 configured for each monitoring area and the surveillance space from the images provided from the video recording system 100

을 모니터링하고, 추적자 모바일디바이스(400)의 소지자에게 모니터링 정보를 제공하기 위해 추적자 모바일디바In order to monitor and provide monitoring information to the holder of the tracker mobile device 400, the tracker mobile device

이스(400) 및 각 영상촬영시스템(100)과 네트워크(300)로 연결된 모니터링시스템(200)으로 구성된다.It consists of the monitoring system 200 connected to the IS 400 and each image capturing system 100 and the network 300.

[0033] 영상촬영시스템(100)은 VR 카메라 모듈(100a)과 카메라 제어모듈(100b)로 구분된다.[0033] The video recording system 100 is divided into a VR camera module 100a and a camera control module 100b.

[0034] 여기서 VR 카메라 모듈(100a)은 원거리에서 배경을 촬영하기 위한 배경영상 카메라부(110)와, 객체를 근접 촬영[0034] Here, the VR camera module 100a includes a background image camera unit 110 for photographing a background from a distance and a close-up photograph of an object.

하기 위한 근접영상 카메라부(120)를 포함한다.It includes a proximity image camera unit 120 for

[0035] 이때, 배경영상 카메라부(110)는 원거리에서 주위의 영상을 파노라마 형태로 촬영할 수 있도록 하는 배경영상[0035] At this time, the background image camera unit 110 allows the background image to be captured in a panoramic form from a distance.

촬영수단이다. 배경영상 카메라부(110)는 360도 회전하면서 주위의 영상을 촬영할 수 있도록 구성되어 주위의is a means of filming. The background image camera unit 110 is configured to capture an image of the surroundings while rotating 360 degrees,

영상을 촬영제어부(140)의 제어에 따라 특정시간별로 촬영한다.Images are captured at specific times according to the control of the shooting control unit 140 .

[0036] 근접영상 카메라부(120)는 객체를 근접 촬영하여 상세한 해당 객체의 영상을 얻어내기 위한 수단으로, 배경영상카메라부(110)와 동일히게 360도 회전할 뿐만 아니라, 상하의 틸트 각도 조절이 가능한 PTZ(Pan/Tilt/Zoom) 카[0036] The proximity image camera unit 120 is a means for obtaining a detailed image of the object by taking a close-up of the object, and not only rotates 360 degrees in the same way as the background image camera unit 110, but also adjusts the tilt angle up and down. Possible PTZ (Pan/Tilt/Zoom) car

메라로 구성된다.It is composed of Mera.

그리고, 카메라 제어모듈(100b)은 객체인식부(130), 촬영제어부(140), 객체지도 생성부([0037] 150), 전송제어부(160),In addition, the camera control module 100b includes an object recognition unit 130, a shooting control unit 140, an object map generation unit 150, a transmission control unit 160,

객체지도 데이터베이스(170), 제 1 영상 데이터베이스(180), 패턴이미지 데이터베이스(190)를 포함한다.It includes an object map database 170, a first image database 180, and a pattern image database 190.

[0038] 객체인식부(130)는 배경영상 카메라부(110)로부터 획득된 영상을 입력받아 패턴이미지 데이터베이스(190) 상의[0038] The object recognition unit 130 receives the image obtained from the background image camera unit 110, and the pattern image database 190

객체패턴데이터를 이용하여 객체영역을 추출하여 객체를 인식하고, 객체의 특징정보를 추출한다.The object area is extracted using the object pattern data, the object is recognized, and the feature information of the object is extracted.

[0039] 보다 구체적으로, 객체인식부(130)는 배경영상 카메라부(110)로부터 얻어지는 영상으로부터 특정공간내의 배경[0039] More specifically, the object recognition unit 130 determines the background in a specific space from the image obtained from the background image camera unit 110.

좌표를 생성하고, 생성된 배경좌표 내에서 인식하고자하는 객체(인물, 얼굴, 차량 등) 또는 비행체를 인식하기Create coordinates and recognize objects (persons, faces, vehicles, etc.) or flying objects to be recognized within the created background coordinates

위한 수단으로, 객체인식부(130)는 패턴이미지 데이터베이스(190)에 저장된 패턴이미지와 대비하여 객체를 인식As a means for this, the object recognition unit 130 recognizes the object by comparing it with the pattern image stored in the pattern image database 190.

하고, 인식된 객체의 특징정보를 추출할 수 있다.and extract feature information of the recognized object.

[0040] 촬영제어부(140)는 배경영상 카메라부(110)를 제어하여 배경영상을 촬영하고 객체인식부(130)로부터 인식된 객[0040] The shooting control unit 140 controls the background image camera unit 110 to capture a background image, and the object recognized by the object recognition unit 130

체의 근접영상 촬영을 위해 근접영상 카메라부(120)를 제어한다. 즉, 촬영제어부(140)는 배경영상 카메라부Controls the proximity image camera unit 120 to take a close-up image of the body. That is, the shooting control unit 140 is a background image camera unit.

(110)와 근접영상촬영부(120)를 제어하여 영상을 얻어내기 위한 수단으로, 객체인식부(130)를 통해 인식된 객체As a means for obtaining an image by controlling the 110 and the proximity image capture unit 120, the object recognized through the object recognition unit 130

를 배경좌표에 동기화시켜 객체의 좌표를 생성하며, 이와 같이 생성된 좌표와 객체의 특징정보를 포함하는 객체is synchronized with the background coordinates to create the coordinates of the object, and an object containing the coordinates created in this way and the characteristic information of the object.

지도정보를 객체지도 생성부(150)에 의해 생성하도록 하기 위한 수단이다. 객체지도정보는 영상촬영시스템의 식It is a means for generating map information by the object map generator 150. Object map information is the expression of the imaging system

별정보(ID), 객체의 프레임별 객체좌표와 특징정보, 촬영시간 정보, 배경영상 카메라부(110)의 중심축(x1)으로Star information (ID), object coordinates and feature information for each frame of the object, photographing time information, and the central axis (x1) of the background image camera unit 110

부터 근접영상 카메라부(120)의 회전 각도(a1, a2) 정보, 근접영상 카메라부(120)의 상하로의 틸트 각도 정보를information about rotation angles (a1, a2) of the proximity image camera unit 120 and tilt angle information up and down of the proximity image camera unit 120 from

포함한다. 영상촬영시스템의 식별정보(ID)는 영상촬영시스템(100)의 고유번호와 위치정보를 포함한다.include The identification information (ID) of the imaging system includes a unique number and location information of the imaging system 100 .

[0041] 객체지도 생성부(150)는 객체인식부(130)를 통해 인식된 객체를 배경영상과 동기화시켜 객체의 좌표를[0041] The object map generation unit 150 synchronizes the object recognized through the object recognition unit 130 with the background image to determine the coordinates of the object.

생성하고, 생성된 '좌표'와 '객체의 특징정보'를 포함하는 객체지도정보를 생성한다.and object map information including the generated 'coordinates' and 'characteristic information of the object'.

[0042] 전송제어부(160)는 객체지도정보와 배경영상의 압축이미지를 모니터링시스템(200)으로 전송제어하고, 모니터링[0042] The transmission control unit 160 controls the transmission of the object map information and the compressed image of the background image to the monitoring system 200, and monitors

시스템(200)으로부터의 검색요청에 따라 해당하는 객체의 근접영상의 원본이미지를 제공한다. 즉, 전송제어부According to a search request from the system 200, an original image of a close-up image of a corresponding object is provided. That is, the transmission control unit

(160)는 모니터링시스템(200)으로 객체지도정보와 배경영상의 압축이미지를 전송제어하기 위한 수단이며, 또한160 is a means for controlling transmission of object map information and a compressed image of a background image to the monitoring system 200, and also

모니터링시스템(200)으로부터의 객체검색요청, 객체추적요청에 따라 해당하는 객체의 근접영상의 원본영상, 그According to the object search request and object tracking request from the monitoring system 200, the original image of the proximity image of the corresponding object,

밖의 객체지도정보를 제공하기 위한 제어수단이다.It is a control means for providing external object map information.

[0043] 객체지도 데이터베이스(170)는 객체지도정보를 저장 관리하며, 제 1 영상 데이터베이스(180)는 근접영상 및 파[0043] The object map database 170 stores and manages object map information, and the first image database 180 stores proximity images and

노라마 영상을 저장관리한다.Stores and manages Norama images.

[0044] 패턴이미지 데이터베이스(190)는 객체인식부(130)에 의한 객체인식을 위한 패턴이미지를 관리 저장한다.[0044] The pattern image database 190 manages and stores pattern images for object recognition by the object recognition unit 130.

[0045] 한편, 모니터링시스템(200)은 영상수신 모니터링부(210), 검색 인터페이스부(220), 감시제어부(230), 제 2 영상On the other hand, the monitoring system 200 includes an image reception monitoring unit 210, a search interface unit 220, a monitoring and control unit 230, a second video

데이터베이스(240), 수신정보 데이터베이스(250), VR 영상 데이터베이스(260), 배경영상 패턴이미지 데이터베이database 240, reception information database 250, VR image database 260, background image pattern image database

스(270), 운영자 입력부(280)를 포함한다.s 270 and an operator input unit 280.

[0046] 영상수신 모니터링부(210)는 영상촬영시스템(100)으로부터 제공되는 영상 및 객체지도정보를 전송받아 영상 및[0046] The image reception monitoring unit 210 receives the image and object map information provided from the image capture system 100 and receives the image and

특징정보를 운영자에게 표시하여 모니터링 영상을 제공한다.Characteristic information is displayed to the operator to provide monitoring images.

[0047] 검색 인터페이스부(220)는 모니터링 영상에 대하여 운영자가 운영자 입력부(280)를 통해 검색영역을 선택을 통[0047] The search interface unit 220 allows the operator to select a search area through the operator input unit 280 with respect to the monitoring image.

해 특정 '객체검색요청', 그리고 '객체추적요청'을 할 수 있도록 운영자 인터페이스를 제공한다. 즉, 검색 인터It provides operator interface to make specific 'object search request' and 'object tracking request'. That is, search inter

페이스부(220)는 모니터링 영상에 대하여 운영자가 인식영역을 선택하여 특정 객체를 검색 및 추적할 수 있도록The face unit 220 allows an operator to search for and track a specific object by selecting a recognition area for the monitoring image.

운영자 인터페이스를 제공하기 위한 수단으로, 모니터링 운영자가 모니터링 영상에 대하여 검색영역 및 추적영As a means for providing an operator interface, a monitoring operator can search for a monitoring image and track an image.

역을 선택할 수 있도록 선택 및 입력 운영자 인터페이스(GUI; Graphic User Interface)를 제공하기 위한 수단이A means for providing a selection and input operator interface (Graphic User Interface (GUI)) to select a station is provided.

다.all.

[0048] 감시제어부(230)는 검색 인터페이스부(220)로부터 지정된 인식영역에 대한 객체지도정보에서 특징정보를 추출하[0048] The monitoring and control unit 230 extracts feature information from the object map information for the recognition area designated by the search interface unit 220.

여 표시제어하고, 운영자의 선택에 따라 해당하는 선택영역에 대한 근접영상을 요청하여 영상촬영시스템(100)으display control, and according to the operator's selection, a close-up image for the corresponding selection area is requested and the image capture system 100

로부터 전송된 근접영상정보를 표시관리 제어한다.Controls display management of proximity image information transmitted from

[0049] 즉, 감시제어부(230)는 검색 인터페이스부(220)로부터 지정된 검색영역에 대하여, 영상촬영시스템(100)으로부터[0049] That is, the monitoring and control unit 230 is configured to search the search area designated by the search interface unit 220 from the image capturing system 100.

전송받은 특징정보를 표시제어하고, 운영자의 선택에 따라 해당하는 선택영역에 대한 근접영상을 요청하여 영상The received feature information is displayed and controlled, and according to the operator's selection, a close-up image is requested for the corresponding selected area.

촬영시스템(100)으로부터 전송된 근접영상정보를 표시관리 제어하기 위한 프로세스를 제공할 뿐만 아니라, 운영자 입력부(280)의 검색요청에 따라 선택영역에 의해 선택된 객체의 특징정보를 수신정보 데이터베이스(250)에In addition to providing a process for display management and control of the proximity image information transmitted from the photographing system 100, the reception information database 250 transmits characteristic information of an object selected by the selection area according to a search request of the operator input unit 280. to

등록된 객체지도정보와 비교하여 해당하는 다른 영상촬영시스템(100)에서 촬영된 객체를 검색하여 그 결과를 제Compared with the registered object map information, search for an object photographed by the corresponding other imaging system 100, and provide the result.

공하는 검색 프로세스를 제공한다.The ball provides a search process.

또한, 감시제어부(230)는 근접영상에 해당하는 객체에 대한 운영자의 선택에 [0050] 따른 추적 요청을 영상촬영시스템In addition, the monitoring and control unit 230 sends a tracking request according to the operator's selection for the object corresponding to the proximity image to the video recording system.

(100)으로 전송하여, 영상촬영시스템(100)으로부터 전송된 VR 영상을 표시관리 제어한다.(100), display management control of the VR image transmitted from the image capturing system (100).

[0051] 제 2 영상 데이터베이스(240)는 영상촬영시스템(100)으로부터 수신된 배경영상(압축이미지) 및 검색에 따라 제[0051] The second image database 240 is stored according to the background image (compressed image) received from the image capturing system 100 and the search.

공된 근접영상의 원본영상을 저장 관리한다. 보다 구체적으로, 제 2 영상 데이터베이스(240)에는 영상촬영시스Stores and manages the original image of the shared proximity image. More specifically, the second image database 240 includes an imaging system

템(100)의 식별정보별로 수신된 배경영상(압축이미지) 및 검색에 따라 제공된 근접영상의 원본영상을 저장 관리Stores and manages the background image (compressed image) received for each identification information of the system 100 and the original image of the proximity image provided according to the search

한다.do.

[0052] 수신정보 데이터베이스(250)는 영상촬영시스템(100)으로부터 수신된 객체지도정보를 저장 관리한다. 보다 구체[0052] The reception information database 250 stores and manages object map information received from the imaging system 100. more specific

적으로, 수신정보 데이터베이스(250)에는 영상촬영시스템(100)으로부터 수신된 객체지도정보가 영상촬영시스템Ideally, the object map information received from the image capture system 100 is included in the reception information database 250 as the image capture system.

(100)의 식별정보에 따라 저장관리된다.It is stored and managed according to the identification information of (100).

[0053] VR 영상 데이터베이스(260)는 적어도 두 개 이상의 영상촬영시스템(100)으로부터 수신된 배경영상, 객체지도정[0053] The VR image database 260 defines background images and object maps received from at least two or more image capturing systems 100

보, 원본영상을 이용해 감시제어부(230)에 의해 생성된 VR 영상을 저장 관리한다.In addition, the VR video generated by the monitoring and control unit 230 is stored and managed using the original video.

[0054] 운영자 입력부(280)는 운영자가 영상촬영시스템(100)에 수동 지령입력 및 모니터링 화면으로부터 검색영역선택,[0054] The operator input unit 280 allows the operator to manually input commands to the video recording system 100 and select a search area from the monitoring screen,

객체검색요청(원본영상요청), 객체추적요청을 위한 을 위해 구성된다.It is configured for object search request (original video request) and object tracking request.

[0055] 한편, 감시제어부(230)는 위치 추적수단(230a), 위치 예측수단(230b), 위치 전달수단(230c), VR 영상 생성수단[0055] On the other hand, the monitoring and control unit 230 includes a location tracking unit 230a, a location prediction unit 230b, a location transmission unit 230c, and a VR image generating unit.

(230d) 및 VR 영상 전달수단(230e)을 구비한다.(230d) and VR image delivery means (230e).

[0056] 위치 추적수단(230a)은 현재 객체를 인식한 영상촬영시스템(100)으로부터 수신된 배경영상, 객체지도정보, 원본[0056] The location tracking unit 230a includes the background image, object map information, and original text received from the image capturing system 100 recognizing the current object.

영상을 이용해 운영자에 의해 운영자 입력부(280)로부터 선택된 객체에 대한 위치 추적을 수행한다. 보다 구체The location tracking of the object selected by the operator from the operator input unit 280 is performed using the image. more specific

적으로 위치 추적수단(230a)은 선택된 객체에 대해서 실시간으로 현재 객체가 위치한 영상촬영시스템(100)으로Ideally, the position tracking means (230a) is the imaging system 100 where the current object is located in real time for the selected object.

부터 360°의 파노라마로 촬영된 배경영상, 원본영상을 수신하며, 객체지도정보로부터 배경영상 카메라부(110)Receives a background image and an original image captured in a 360 ° panorama from the camera unit 110

의 중심축(x1)으로부터 근접영상 카메라부(120)의 회전 각도(a1) 정보를 추출한 뒤, 위치 예측수단(230b)으로After extracting information on the rotation angle (a1) of the proximity imaging camera unit 120 from the central axis (x1) of the position prediction means (230b)

전달한다.convey

[0057] 본 발명의 다른 실시예로, 위치 추적수단(230a)은 영상촬영시스템(100)으로부터 수신된 객체지도정보로부터 배[0057] In another embodiment of the present invention, the location tracking unit 230a is distributed from the object map information received from the image capturing system 100.

경영상 카메라부(110)의 중심축(x1)으로부터 근접영상 카메라부(120)의 회전 각도(a1) 정보뿐만 아니라, 근접영In terms of business, not only information on the rotation angle a1 of the proximity image camera 120 from the central axis (x1) of the camera unit 110, but also proximity image

상 카메라부(120)의 상하로의 틸트 각도 정보를 추출하여 위치 예측수단(230b)으로 전달할 수 있으며, 이 경우Up and down tilt angle information of the image camera unit 120 may be extracted and transmitted to the position predicting means 230b, in which case

위치 예측수단(230b)은 높이에 대한 정보를 추가적으로 생성함으로써, VR 영상정보 생성시 객체가 비행체의 경The position predicting means (230b) additionally generates information about the height, so that when the VR image information is generated, the object is inclined toward the aircraft.

우 높이 정보도 포함될 수 있도록 한다.height information should also be included.

[0058] 위치 예측수단(230b)은 현재 객체가 위치한 영상촬영시스템(100)으로부터 수신된 360°의 파노라마로 촬영된 배[0058] The position prediction unit 230b is a 360° panoramic view received from the imaging system 100 where the object is currently located.

경영상과, 원본영상과, 배경영상 카메라부(110)의 중심축(x1)으로부터 근접영상 카메라부(120)의 회전 각도(a1)Rotation angle (a1) of the proximity image camera unit 120 from the central axis (x1) of the business image, original image, and background image camera unit 110

정보를 이용해 객체가 진행할 다음 영상촬영시스템(100)을 추출한다.The next image capturing system 100 to which the object proceeds is extracted using the information.

[0059] 보다 구체적으로, 위치 예측수단(230b)은 배경영상에서의 객체의 방위정보를 추출하는데, 영상촬영시스템(100)[0059] More specifically, the position prediction means (230b) extracts the orientation information of the object in the background image, the image capture system (100)

으로부터 수신된 360°의 파노라마로 촬영된 배경영상과 원본영상을 배경영상 패턴이미지 데이터베이스(270)의The background image and the original image taken as a 360 ° panorama received from the background image pattern image database 270

배경영상패턴데이터를 이용하여 방위영역을 추출하여 객체의 360°의 파노라마로 촬영된 배경영상에서의 방위정By using the background image pattern data, the azimuth area is extracted and the azimuth is determined in the background image captured as a 360° panorama of the object.

보(동,서,남,북 또는 방위각 정보)를 인식하고, 원본영상에 해당하는 객체의 특징정보를 추출하여, 특징정보 중Recognizes the beam (east, west, south, north or azimuth information), extracts the feature information of the object corresponding to the original image, and among the feature information

크기의 변화에 따른 원근 변화를 이용하여 근접영상 카메라부(120)로부터의 거리정보를 인식한다.Distance information from the proximity image camera unit 120 is recognized by using a change in perspective according to a change in size.

[0060] 위치 예측수단(230b)은 인식된 방위정보 및 거리정보, 그리고 현재의 영상촬영시스템(100)의 고유번호와 위치정[0060] The position predicting means (230b) is the recognized azimuth information and distance information, and the unique number and location information of the current imaging system 100

보를 이용해 현재의 영상촬영시스템(100)을 제외한 다수의 영상촬영시스템(100) 중 객체가 다음으로 진행하는Among the plurality of imaging systems 100 excluding the current imaging system 100, the object progresses to the next using the beam

영상촬영시스템(100)을 적어도 하나 이상의 추출을 수행한다.The imaging system 100 performs at least one extraction.

[0061] 위치 전달수단(230c)은 위치 예측수단(230b)에 의해 추출된 각 영상촬영시스템(100)으로 객체에 대한 현재의 영[0061] The position transmission means 230c is the current image of the object with each image capturing system 100 extracted by the position prediction means 230b.

상촬영시스템(100)에 의해 생성된 객체지도정보를 네트워크(300)를 통해 전달하여 객체추적을 요청한다.The object map information generated by the imaging system 100 is transferred through the network 300 to request object tracking.

[0062] VR 영상 생성수단(230d)은 진행 예정인 영상촬영시스템(100)에 의한 객체지도정보 상의 객체 특징정보와 일치하[0062] The VR image generating means (230d) matches the object feature information on the object map information by the image capturing system 100 to be in progress

는 객체에 대한 인식이 완료되면, 인식이 완료된 영상촬영시스템(100)으로부터 360°의 파노라마로 촬영된 배경When the recognition of the object is completed, the background photographed as a 360 ° panorama from the image capturing system 100 where the recognition is completed

영상과, 객체에 대한 원본영상과, 배경영상 카메라부(110)의 중심축(x1)으로부터 근접영상 카메라부(120)의 회전 각도(a2) 정보를 수신한다.An image, an original image of an object, and rotation angle a2 information of the proximity image camera unit 120 are received from the central axis x1 of the background image camera unit 110.

이에 따라, VR 영상 생성수단(230d)은 진행 예정인 영상촬영시스템(100)으로부터 [0063] 수신된 360°의 파노라마로 촬Accordingly, the VR image generating unit 230d captures a 360° panorama received from the image capturing system 100 to be proceeded.

영된 배경영상 및 원본영상과, 위치 추적수단(230a)에 의해 수신된 현재 객체를 인식한 영상촬영시스템(100)으The video recording system 100 recognizing the recorded background image and the original image and the current object received by the location tracking means 230a

로부터 수신된 배경영상 및 원본영상을 이용하여 2차원 또는 3차원 가상현실(Virtual Reality, 'VR') 영상정보2D or 3D virtual reality ('VR') image information using the background image and original image received from

를 생성한다. 보다 구체적으로, VR 영상 생성수단(230d)은 진행 예정인 영상촬영시스템(100)으로부터 수신된generate More specifically, the VR image generating means (230d) is received from the video recording system 100 to proceed

360°의 파노라마로 촬영된 배경영상과 원본영상을 배경영상 패턴이미지 데이터베이스(270)의 배경영상패턴데이Background image pattern data of background image pattern image database 270

터를 이용하여 방위영역을 추출하여 객체의 360°의 파노라마로 촬영된 배경영상에서의 방위정보(동,서,남,북Azimuth information (East, West, South, North

또는 방위각 정보)를 인식하고, 원본영상에 해당하는 객체의 특징정보를 추출하여, 특징정보 중 크기의 변화에or azimuth information), extracts the feature information of the object corresponding to the original image, and detects changes in size among the feature information.

따른 원근 변화를 이용하여 근접영상 카메라부(120)로부터의 거리정보를 인식한다. 이후, VR 영상 생성수단The distance information from the proximity image camera unit 120 is recognized by using the perspective change according to the distance. After that, VR image generating means

(230d)은 진행 예정인 영상촬영시스템(100)으로부터 수신된 360°의 파노라마로 촬영된 배경영상과, 위치 추적(230d) is a background image captured as a 360° panorama received from the image capture system 100 to be performed, and location tracking

수단(230a)에 의해 수신된 현재 객체를 인식한 영상촬영시스템(100)으로부터 수신된 배경영상을 합성하여 VR 영The background image received from the image capturing system 100 recognizing the current object received by the means 230a is synthesized to create a VR image.

상 배경정보를 생성한 뒤, 진행 예정인 영상촬영시스템(100) 및 위치 추적수단(230a)에 의해 수신된 현재 객체After creating the image background information, the current object received by the image capturing system 100 and the location tracking means 230a to be proceeded

를 인식한 영상촬영시스템(100) 각각으로부터 수신된 방위정보 및 거리정보를 이용해 합성에 따라 생성된 VR 영A VR image generated by synthesis using the azimuth information and distance information received from each of the imaging systems 100 recognizing

상 배경정보 상에 객체의 위치 좌표로 인식하여, 2개의 원본영상을 이용해 생성된 3차원 폴리곤 집합에 해당하It is recognized as the positional coordinates of an object on the image background information, and corresponds to a set of 3D polygons created using two original images.

는 객체 정보를 삽입시킨 VR 영상정보를 생성한다.generates VR image information into which object information is inserted.

[0064] VR 영상 전달수단(230e)은 네트워크(300)를 통해 추적자 모바일디바이스(400)로 VR 영상정보를 제공함으로써,[0064] The VR image transmission means 230e provides VR image information to the tracker mobile device 400 through the network 300,

객체에 대한 추적을 3차원 공간상에서 신속하게 추적할 수 있도록 한다.Tracking of objects can be quickly tracked in 3D space.

[0065] 이와 같은 구성을 통해 본 발명은 감시영역에 다수개가 연속되어 설치되어 감시 특정 공간을 촬영하여 그 영상[0065] Through such a configuration, the present invention is installed in a plurality of consecutively in the surveillance area to photograph a specific space to be monitored and capture the image.

정보를 제공하는 영상촬영시스템과 그리고 영상촬영시스템(100)으부터 제공되는 영상을 모니터링 하는 모니터링An imaging system that provides information and monitoring that monitors images provided from the imaging system 100

시스템(200)으로 구성되는 영상추적시스템에 있어서, 파노라마 영상의 배경영상으로부터 특정한 객체의 좌표를In the image tracking system composed of the system 200, the coordinates of a specific object from the background image of the panoramic image

생성하고 이들의 특징정보를 제공하여, 필요에 따라서 모니터링시스템(200)에서 해당하는 객체의 근접영상을 요Generates and provides their characteristic information, requesting a close-up image of the corresponding object from the monitoring system 200 as needed

청하여 전송받을 수 있도록 할 뿐만 아니라, 객체에 대한 경로를 예측하여 영상촬영시스템을 통해 추적하여 3차Not only can it be requested and received, but it can also predict the path to the object and track it through the imaging system to

원 영상정보를 최종적으로 추적자 모바일디바이스(400)에게 제공하는 것을 특징으로 하는 것이다.It is characterized in that the original image information is finally provided to the tracker mobile device 400 .

[0066] 도 5는 본 발명의 실시예에 따른 VR 기반의 객체인식 정보를 이용한 영상 추적방법을 나타내는 흐름도이다. 도5 is a flowchart illustrating an image tracking method using VR-based object recognition information according to an embodiment of the present invention. do

5를 참조하면, 모니터링시스템(200)은 현재 객체를 인식한 영상촬영시스템(100)으로부터 수신된 배경영상, 객체Referring to 5, the monitoring system 200 receives the background image and object from the imaging system 100 recognizing the current object.

지도정보, 원본영상을 이용해 운영자에 의해 운영자 입력부(280)로부터 선택된 객체에 대한 위치 추적을 수행한The location tracking of the object selected by the operator from the operator input unit 280 is performed using map information and original images.

다(S110)C (S110)

[0067] 보다 구체적으로 모니터링시스템(200)은 운영자 입력부(280)에 의해 선택된 영역 내의 객체에 대해서 실시간으[0067] More specifically, the monitoring system 200 monitors objects in the area selected by the operator input unit 280 in real time.

로 현재 객체가 위치한 영상촬영시스템(100)으로부터 360°의 파노라마로 촬영된 배경영상, 원본영상, 그리고The background image, the original image, and

객체지도정보를 수신하며, 객체지도정보로부터 배경영상 카메라부(110)의 중심축(x1)으로부터 근접영상 카메라Receives object map information, and from the object map information, the proximity image camera from the central axis (x1) of the background image camera unit 110

부(120)의 회전 각도(a1) 정보를 추출한다.Information on the rotation angle a1 of the unit 120 is extracted.

[0068] 본 발명의 다른 실시예로, 모니터링시스템(200)은 영상촬영시스템(100)으로부터 수신된 객체지도정보로부터 배[0068] In another embodiment of the present invention, the monitoring system 200 is distributed from the object map information received from the image capturing system 100

경영상 카메라부(110)의 중심축(x1)으로부터 근접영상 카메라부(120)의 회전 각도(a1) 정보뿐만 아니라, 근접영In terms of business, not only information on the rotation angle a1 of the proximity image camera 120 from the central axis (x1) of the camera unit 110, but also proximity image

상 카메라부(120)의 상하로의 틸트 각도 정보를 추출할 수 있으며, 이 경우 높이에 대한 정보를 추가적으로 생Up and down tilt angle information of the image camera unit 120 may be extracted, and in this case, height information may be additionally generated.

성함으로써, VR 영상정보 생성시 객체가 비행체의 경우 높이 정보도 포함될 수 있도록 한다.By creating VR image information, height information can also be included if the object is an air vehicle.

[0069] 단계(S110) 이후, 모니터링시스템(200)은 현재 객체가 위치한 영상촬영시스템(100)으로부터 수신된 360°의 파[0069] After step (S110), the monitoring system 200 is a 360 ° wave received from the imaging system 100 where the current object is located

노라마로 촬영된 배경영상과, 원본영상과, 배경영상 카메라부(110)의 중심축(x1)으로부터 근접영상 카메라부The background image captured in Norama, the original image, and the close-up image camera unit from the central axis (x1) of the background image camera unit 110

(120)의 회전 각도(a1) 정보를 이용해 객체가 진행할 다음 영상촬영시스템(100)을 추출한다(S120)The next image capture system 100 to which the object proceeds is extracted using the rotation angle a1 information of (120) (S120).

[0070] 보다 구체적으로, 모니터링시스템(200)은 배경영상에서의 객체의 방위정보를 추출하는데, 영상촬영시스템(100)[0070] More specifically, the monitoring system 200 extracts orientation information of an object from a background image, and the image capturing system 100

으로부터 수신된 360°의 파노라마로 촬영된 배경영상과 원본영상을 배경영상 패턴이미지 데이터베이스(270)의The background image and the original image taken as a 360 ° panorama received from the background image pattern image database 270

배경영상패턴데이터를 이용하여 방위영역을 추출하여 객체의 360°의 파노라마로 촬영된 배경영상에서의 방위정By using the background image pattern data, the azimuth area is extracted and the azimuth is determined in the background image captured as a 360° panorama of the object.

보(동,서,남,북 또는 방위각 정보)를 인식하고, 원본영상에 해당하는 객체의 특징정보를 추출하여, 특징정보 중Recognizes the beam (east, west, south, north or azimuth information), extracts the feature information of the object corresponding to the original image, and among the feature information

크기의 변화에 따른 원근 변화를 이용하여 근접영상 카메라부(120)로부터의 거리정보를 인식한다. 이후, 모니터Distance information from the proximity image camera unit 120 is recognized by using a change in perspective according to a change in size. After that, the monitor

링시스템(200)은 인식된 방위정보 및 거리정보, 그리고 현재의 영상촬영시스템(100)의 고유번호와 위치정보를The ring system 200 transmits the recognized azimuth information and distance information, and the unique number and location information of the current imaging system 100.

이용해 현재의 영상촬영시스템(100)을 제외한 다수의 영상촬영시스템(100) 중 객체가 다음으로 진행하는 영상촬Among the plurality of imaging systems 100 excluding the current imaging system 100, an object proceeds to the next

영시스템(100)을 적어도 하나 이상의 추출을 수행한다.The Young System 100 performs at least one extraction.

[0071] 단계(S120) 이후, 모니터링시스템(200)은 단계(S120)에서 추출된 각 영상촬영시스템(100)으로 객체에 대한 현재의 영상촬영시스템(100)에 의해 생성된 객체지도정보를 네트워크(300)를 통해 전달하여 객체추적을 요청한다[0071] After step S120, the monitoring system 200 transmits the object map information generated by the current imaging system 100 for the object to each imaging system 100 extracted in step S120 to the network. Request object tracking by passing through (300)

(S130)(S130)

단계(S130) 이후, 모니터링시스템(200)은 진행 예정인 영상촬영시스템(100)[0072] 에 의한 객체지도정보 상의 객체 특After step S130, the monitoring system 200 determines the object characteristics on the object map information by the imaging system 100 [0072] to be performed.

징정보와 일치하는 객체에 대한 인식이 완료되면, 인식이 완료된 영상촬영시스템(100)으로부터 360°의 파노라When the recognition of the object matching the information is completed, a 360° panoramic view is obtained from the image capturing system 100 where recognition is completed.

마로 촬영된 배경영상과, 객체에 대한 원본영상과, 배경영상 카메라부(110)의 중심축(x1)으로부터 근접영상 카The background image captured by the camera, the original image of the object, and the background image close-up image from the central axis (x1) of the camera unit 110

메라부(120)의 회전 각도(a2) 정보를 수신한다(S140)Information on the rotation angle a2 of the camera unit 120 is received (S140)

[0073] 단계(S140) 이후, 모니터링시스템(200)은 진행 예정인 영상촬영시스템(100)으로부터 수신된 360°의 파노라마로[0073] After step (S140), the monitoring system 200 is a panorama of 360 ° received from the imaging system 100 to proceed.

촬영된 배경영상 및 원본영상과, 현재 객체를 인식한 영상촬영시스템(100)으로부터 수신된 배경영상 및 원본영The captured background image and original image, and the background image and original image received from the image capture system 100 recognizing the current object.

상을 이용하여 2차원 또는 3차원 가상현실(Virtual Reality, 'VR') 영상정보를 생성한다(S150)2D or 3D virtual reality ('VR') image information is generated using the image (S150)

[0074] 보다 구체적으로, 모니터링시스템(200)은 진행 예정인 영상촬영시스템(100)으로부터 수신된 360°의 파노라마로[0074] More specifically, the monitoring system 200 is a 360 ° panorama received from the imaging system 100 to be progressed.

촬영된 배경영상과 원본영상을 배경영상 패턴이미지 데이터베이스(270)의 배경영상패턴데이터를 이용하여 방위Orientation of the captured background image and the original image using the background image pattern data of the background image pattern image database 270

영역을 추출하여 객체의 360°의 파노라마로 촬영된 배경영상에서의 방위정보(동,서,남,북 또는 방위각 정보)를Azimuth information (East, West, South, North or azimuth information) in the background image captured as a 360° panorama of the object by extracting the area

인식하고, 원본영상에 해당하는 객체의 특징정보를 추출하여, 특징정보 중 크기의 변화에 따른 원근 변화를 이Recognizes and extracts the feature information of the object corresponding to the original image, and analyzes the change in perspective according to the change in size among the feature information.

용하여 근접영상 카메라부(120)로부터의 거리정보를 인식한다. 이후, 모니터링시스템(200)은 진행 예정인 영상It recognizes the distance information from the proximity image camera unit 120 by using. After that, the monitoring system 200 is the image to be progressed

촬영시스템(100)으로부터 수신된 360°의 파노라마로 촬영된 배경영상과, 위치 추적수단(230a)에 의해 수신된The background image captured as a 360° panorama received from the photographing system 100 and the received by the location tracking means 230a

현재 객체를 인식한 영상촬영시스템(100)으로부터 수신된 배경영상을 합성하여 VR 영상 배경정보를 생성한 뒤,After synthesizing the background image received from the imaging system 100 recognizing the current object to create VR image background information,

진행 예정인 영상촬영시스템(100) 및 위치 추적수단(230a)에 의해 수신된 현재 객체를 인식한 영상촬영시스템An image capturing system recognizing the current object received by the image capturing system 100 and the location tracking means 230a to be progressed

(100) 각각으로부터 수신된 방위정보 및 거리정보를 이용해 합성에 따라 생성된 VR 영상 배경정보 상에 객체의(100) of the object on the VR image background information generated according to the synthesis using the direction information and distance information received from each

위치 좌표로 인식하여, 2개의 원본영상을 이용해 생성된 3차원 폴리곤 집합에 해당하는 객체 정보를 삽입시킨Recognized as positional coordinates, object information corresponding to a set of 3D polygons created using two original images is inserted.

VR 영상정보를 생성한다.Create VR image information.

[0075] 단계(S150) 이후, 모니터링시스템(200)은 네트워크(300)를 통해 추적자 모바일디바이스(400)로 VR 영상정보를[0075] After step (S150), the monitoring system 200 sends VR image information to the tracker mobile device 400 through the network 300.

제공함으로써, 객체에 대한 추적을 3차원 공간상에서 신속하게 추적할 수 있도록 한다(S160)By providing, it is possible to quickly track the object in the 3D space (S160).

[0076] 본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다.[0076] The present invention can also be implemented as computer readable codes on a computer readable recording medium.

컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기A computer-readable recording medium is any type of device that stores data that can be read by a computer system.

록 장치를 포함한다.Includes lock device.

[0077] 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치[0077] Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices.

등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.and the like, and also includes those implemented in the form of a carrier wave (eg, transmission over the Internet).

[0078] 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가[0078] In addition, the computer-readable recording medium is distributed in a computer system connected to a network, and the computer is distributed in a distributed manner.

읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그Readable code can be stored and executed. And a functional program for implementing the present invention

램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.RAM, code and code segments can be easily inferred by programmers skilled in the art.

[0079] 이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사[0079] As described above, the present specification and drawings disclose preferred embodiments of the present invention, although specific terms are used.

용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용Although used, it is only used in a general sense to easily explain the technical content of the present invention and aid understanding of the invention.

된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사However, it is not intended to limit the scope of the present invention. In addition to the embodiments disclosed herein, the technical aspects of the present invention

상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진It is common knowledge in the art to which the present invention belongs that other modifications based on the above are possible.

자에게 자명한 것이다.It is self-evident to you.

[0080] 100 : 영상촬영시스템
100a : VR 카메라 모듈
100b : 카메라 제어모듈
110 : 배경영상 카메라부
120 : 근접영상 카메라부
130 : 객체인식부
140 : 촬영제어부
150 : 객체지도 생성부
160 : 전송제어부
170 : 객체지도 데이터베이스
180 : 제 1 영상 데이터베이스
190 : 패턴이미지 데이터베이스
200 : 모니터링시스템
210 : 영상수신 모니터링부
220 : 검색 인터페이스부
230 : 감시제어부
230a : 위치 추적수단
230b : 위치 예측수단
230c : 위치 전달수단
230d : VR 영상 생성수단
230e : VR 영상 전달수단
240 : 제 2 영상 데이터베이스
250 : 수신정보 데이터베이스
260 : VR 영상 데이터베이스
270 : 배경영상 패턴이미지 데이터베이스
280 : 운영자 입력부
300 : 네트워크
400 : 추적자 모바일디바이스
[0080] 100: imaging system
100a: VR camera module
100b: camera control module
110: background image camera unit
120: close-up camera unit
130: object recognition unit
140: shooting control unit
150: object map generation unit
160: transmission control unit
170: object map database
180: first image database
190: pattern image database
200: monitoring system
210: video receiving monitoring unit
220: search interface unit
230: monitoring and control unit
230a: location tracking means
230b: position prediction means
230c: position transmission means
230d: VR image generating means
230e: VR image transmission means
240: second image database
250: reception information database
260: VR image database
270: background image pattern image database
280: operator input unit
300: network
400: tracker mobile device

Claims (1)

시영역에 다수개가 연속되어 설치되어 감시 특정 공간을 촬영하여 그 영상 정보를 제공하기 위해 감시공간의 영
상을 촬영하여 전송제어하고, 원격지의 중앙 모니터링시스템으로부터 검색요청에 따른 근접영상 원본이미지를
제공하는 감시지역별로 구성되는 영상촬영시스템; 과, 상기 영상촬영시스템으로부터 제공받은 영상으로부터 감
시공간을 모니터링하고, 추적자 모바일디바이스의 소지자에게 모니터링 정보를 제공하기 위해 추적자 모바일디
바이스 및 각 영상촬영시스템과 네트워크로 연결된 모니터링시스템;으로 구성되어 각 영상촬영시스템에 의해 촬
영된 파노라마 영상의 배경영상으로부터 특정한 객체의 좌표를 생성하고 이들의 특징정보를 제공하여, 상기 모
니터링시스템에서 객체의 근접영상을 요청하여 전송받을 수 있도록 할 뿐만 아니라, 객체에 대한 경로를 예측하
여 영상촬영시스템을 통해 추적하여 3차원 영상정보를 최종적으로 상기 추적자 모바일디바이스에게 제공하는 것
을 특징으로 하는 VR 기반의 객체인식 정보를 이용한 영상 추적시스템에 있어서,
상기 영상촬영시스템은 VR 카메라 모듈과 카메라 제어모듈을 구비하며, 상기 VR 카메라 모듈은 원거리에서 배경
을 촬영하기 위한 배경영상 카메라부와, 객체를 근접 촬영하기 위한 근접영상 카메라부를 포함하며,
상기 배경영상 카메라부는 원거리에서 주위의 영상을 파노라마 형태로 촬영할 수 있도록 하는 배경영상 촬영수
단으로, 360도 회전하면서 주위의 영상을 촬영할 수 있도록 구성되어 주위의 영상을 상기 카메라 제어모듈의 제
어에 따라 특정시간별로 촬영하며,
상기 근접영상 카메라부는 객체를 근접 촬영하여 객체의 영상을 얻어내기 위한 수단으로, 상기 배경영상 카메라
부와 동일하게 360도 회전할 뿐만 아니라, 상하의 틸트 각도 조절이 가능한 PTZ(Pan/Tilt/Zoom) 카메라로 구성
되며,
상기 카메라 제어모듈은 객체인식부, 촬영제어부, 객체지도 생성부, 전송제어부, 객체지도 데이터베이스, 제 1
영상 데이터베이스, 패턴이미지 데이터베이스를 포함하며,
상기 객체인식부는 상기 배경영상 카메라부로부터 얻어지는 영상으로부터 특정공간내의 배경좌표를 생성하고,
생성된 배경좌표 내에서 인식하고자 하는 객체(인물, 얼굴, 차량 등) 또는 비행체를 인식하기 위한 수단으로,
상기 배경영상 카메라부로부터 획득된 영상을 입력받아 상기 패턴이미지 데이터베이스 상의 객체패턴데이터를
이용하여 객체영역을 추출하여 객체를 인식하고, 객체의 특징정보를 추출시, 상기 패턴이미지 데이터베이스에
저장된 패턴이미지와 대비하여 객체를 인식하고, 인식된 객체의 특징정보를 추출하며,
상기 촬영제어부는 상기 배경영상 카메라부를 제어하여 배경영상을 촬영하고 상기 객체인식부로부터 인식된 객
체의 근접영상 촬영을 위해 상기 근접영상 카메라부를 제어하는 방식으로 상기 배경영상 카메라부와 상기 근접
영상 카메라부를 제어하여 영상을 얻어내기 위한 수단으로, 상기 객체인식부를 통해 인식된 객체를 배경좌표에
동기화시켜 객체의 좌표를 생성하여, 상기 객체지도 생성부에 의해 좌표와 객체의 특징정보를 포함하는 객체지
도정보를 생성하도록 하며,
상기 객체지도 생성부는 상기 객체인식부를 통해 인식된 객체를 배경영상과 동기화시켜 객체의 좌표를
생성하고, 생성된 '좌표'와 '객체의 특징정보'를 포함하는 객체지도정보를 생성하며, 객체지도정보를 생성시 영
상촬영시스템의 식별정보(ID), 객체의 프레임별 객체좌표와 특징정보, 촬영시간 정보, 배경영상 카메라부의 중
심축(x1)으로부터 근접영상 카메라부의 회전 각도(a1, a2) 정보, 근접영상 카메라부의 상하로의 틸트 각도 정보
를 포함시키며, 영상촬영시스템의 식별정보(ID)는 영상촬영시스템(100)의 고유번호와 위치정보를 포함하며,
상기 전송제어부는 객체지도정보와 배경영상의 압축이미지를 상기 모니터링시스템으로 전송제어하고, 상기 모니
터링시스템으로부터의 검색요청에 따라 해당하는 객체의 근접영상의 원본이미지를 제공하며, 상기 모니터링시스
템으로 객체지도정보와 배경영상의 압축이미지를 전송제어하기 위한 수단이며, 상기 모니터링시스템으로부터의
객체검색요청, 객체추적요청에 따라 요청된 객체의 근접영상의 원본영상, 그 밖의 객체지도정보를 제공하기 위
한 제어수단이며,
상기 객체지도 데이터베이스는 객체지도정보를 저장 관리하며, 상기 제 1 영상 데이터베이스는 근접영상 및 파노라마 영상을 저장관리하며, 상기 패턴이미지 데이터베이스는 상기 객체인식부에 의한 객체인식을 위한 패턴이
미지를 관리 저장하며,
상기 모니터링시스템은 영상수신 모니터링부, 검색 인터페이스부, 감시제어부, 제 2 영상 데이터베이스, 수신정
보 데이터베이스, VR 영상 데이터베이스, 배경영상 패턴이미지 데이터베이스, 운영자 입력부를 포함하며,
상기 영상수신 모니터링부는 영상촬영시스템으로부터 제공되는 영상 및 객체지도정보를 전송받아 영상 및 특징
정보를 운영자에게 표시하여 모니터링 영상을 제공하며,
상기 검색 인터페이스부는 모니터링 영상에 대하여 운영자가 상기 운영자 입력부를 통해 검색영역을 선택을 통
해 특정 '객체검색요청', 그리고 '객체추적요청'을 할 수 있도록 운영자 인터페이스를 제공하여, 모니터링 영상
에 대하여 운영자가 인식영역을 선택하여 특정 객체를 검색 및 추적할 수 있도록 운영자 인터페이스를 제공하기
위한 수단으로, 모니터링 운영자가 모니터링 영상에 대하여 검색영역 및 추적영역을 선택할 수 있도록 선택 및
입력 운영자 인터페이스(GUI; Graphic User Interface)를 제공하며,
상기 감시제어부는 상기 검색 인터페이스부로부터 지정된 인식영역에 대한 객체지도정보에서 특징정보를 추출하
여 표시제어하고, 운영자의 선택에 따라 선택영역에 대한 근접영상을 요청하여 영상촬영시스템으로부터 전송된
근접영상정보를 표시관리 제어하며, 상기 검색 인터페이스부로부터 지정된 검색영역에 대하여, 영상촬영시스템
으로부터 전송받은 특징정보를 표시제어하고, 운영자의 선택에 따라 해당하는 선택영역에 대한 근접영상을 요청
하여 영상촬영시스템으로부터 전송된 근접영상정보를 표시관리 제어하기 위한 프로세스를 제공할 뿐만 아니라,
상기 운영자 입력부의 검색요청에 따라 선택영역에 의해 선택된 객체의 특징정보를 상기 수신정보 데이터베이스
에 등록된 객체지도정보와 비교하여 해당하는 다른 영상촬영시스템에서 촬영된 객체를 검색하여 그 결과를 제공
하는 검색 프로세스를 제공하며, 근접영상에 해당하는 객체에 대한 운영자의 선택에 따른 추적 요청을 영상촬영
시스템으로 전송하여, 영상촬영시스템으로부터 전송된 VR 영상을 표시관리 제어하며,
상기 제 2 영상 데이터베이스는 영상촬영시스템으로부터 수신된 배경영상(압축이미지) 및 검색에 따라 제공된
근접영상의 원본영상을 저장 관리시, 상기 제 2 영상 데이터베이스에는 영상촬영시스템의 식별정보별로 수신된
배경영상(압축이미지) 및 검색에 따라 제공된 근접영상의 원본영상을 저장 관리되며,
상기 수신정보 데이터베이스는 영상촬영시스템으로부터 수신된 객체지도정보를 저장 관리시, 상기 수신정보 데
이터베이스에는 영상촬영시스템으로부터 수신된 객체지도정보가 영상촬영시스템의 식별정보에 따라 저장 관리되
며,
상기 VR 영상 데이터베이스는 적어도 두 개 이상의 영상촬영시스템으로부터 수신된 배경영상, 객체지도정보, 원
본영상을 이용해 상기 감시제어부에 의해 생성된 VR 영상을 저장 관리하며,
상기 운영자 입력부(280)는 운영자가 영상촬영시스템에 수동 지령입력 및 모니터링 화면으로부터 검색영역선택,
객체검색요청(원본영상요청), 객체추적요청을 위한 을 위해 구성되며,
상기 감시제어부는 위치 추적수단, 위치 예측수단, 위치 전달수단, VR 영상 생성수단 및 VR 영상 전달수단을 구
비하며,
상기 위치 추적수단은 현재 객체를 인식한 영상촬영시스템으로부터 수신된 배경영상, 객체지도정보, 원본영상을
이용해 운영자에 의해 상기 운영자 입력부로부터 선택된 객체에 대한 위치 추적을 수행시, 선택된 객체에 대해
서 실시간으로 현재 객체가 위치한 영상촬영시스템으로부터 360°의 파노라마로 촬영된 배경영상, 원본영상을
수신하며, 객체지도정보로부터 상기 배경영상 카메라부의 중심축(x1)으로부터 상기 근접영상 카메라부의 회전
각도(a1) 정보를 추출한 뒤, 상기 위치 예측수단으로 전달하며,
상기 위치 예측수단은 현재 객체가 위치한 영상촬영시스템으로부터 수신된 360°의 파노라마로 촬영된 배경영상
과, 원본영상과, 상기 배경영상 카메라부의 중심축(x1)으로부터 상기 근접영상 카메라부의 회전 각도(a1) 정보
를 이용해 객체가 진행할 다음 영상촬영시스템을 추출하며, 배경영상에서의 객체의 방위정보를 추출하는데, 영
상촬영시스템으로부터 수신된 360°의 파노라마로 촬영된 배경영상과 원본영상을 상기 배경영상 패턴이미지 데
이터베이스의 배경영상패턴데이터를 이용하여 방위영역을 추출하여 객체의 360°의 파노라마로 촬영된 배경영상
에서의 방위정보(동,서,남,북 또는 방위각 정보)를 인식하고, 원본영상에 해당하는 객체의 특징정보를
추출하여, 특징정보 중 크기의 변화에 따른 원근 변화를 이용하여 상기 근접영상 카메라부로부터의 거리정보를
인식하며,
상기 위치 예측수단은 인식된 방위정보 및 거리정보, 그리고 현재의 영상촬영시스템의 고유번호와 위치정보를 이용해 현재의 영상촬영시스템을 제외한 다수의 영상촬영시스템 중 객체가 다음으로 진행하는 영상촬영시스템을
적어도 하나 이상의 추출을 수행하며, 상기 위치 예측수단에 의해 추출된 각 영상촬영시스템으로 객체에 대한
현재의 영상촬영시스템에 의해 생성된 객체지도정보를 상기 네트워크를 통해 전달하여 객체추적을 요청하며,
상기 VR 영상 생성수단은 진행 예정인 영상촬영시스템에 의한 객체지도정보 상의 객체 특징정보와 일치하는 객
체에 대한 인식이 완료되면, 인식이 완료된 영상촬영시스템으로부터 360°의 파노라마로 촬영된 배경영상과, 객
체에 대한 원본영상과, 배경영상 카메라부의 중심축(x1)으로부터 근접영상 카메라부의 회전 각도(a2) 정보를 수
신한 뒤, 진행 예정인 영상촬영시스템으로부터 수신된 360°의 파노라마로 촬영된 배경영상 및 원본영상과, 상
기 위치 추적수단에 의해 수신된 현재 객체를 인식한 영상촬영시스템으로부터 수신된 배경영상 및 원본영상을
이용하여 2차원 또는 3차원 가상현실(Virtual Reality, 'VR') 영상정보를 생성시, 진행 예정인 영상촬영시스템
으로부터 수신된 360°의 파노라마로 촬영된 배경영상과 원본영상을 상기 배경영상 패턴이미지 데이터베이스의
배경영상패턴데이터를 이용하여 방위영역을 추출하여 객체의 360°의 파노라마로 촬영된 배경영상에서의 방위정
보(동,서,남,북 또는 방위각 정보)를 인식하고, 원본영상에 해당하는 객체의 특징정보를 추출하여, 특징정보 중
크기의 변화에 따른 원근 변화를 이용하여 근접영상 카메라부로부터의 거리정보를 인식한 뒤, 진행 예정인 영상
촬영시스템으로부터 수신된 360°의 파노라마로 촬영된 배경영상과, 상기 위치 추적수단에 의해 수신된 현재 객
체를 인식한 영상촬영시스템으로부터 수신된 배경영상을 합성하여 VR 영상 배경정보를 생성한 뒤, 진행 예정인
영상촬영시스템 및 상기 위치 추적수단에 의해 수신된 현재 객체를 인식한 영상촬영시스템 각각으로부터 수신된
방위정보 및 거리정보를 이용해 합성에 따라 생성된 VR 영상 배경정보 상에 객체의 위치 좌표로 인식하여, 2개
의 원본영상을 이용해 생성된 3차원 폴리곤 집합에 해당하는 객체 정보를 삽입시킨 VR 영상정보를 생성하며,
상기 VR 영상 전달수단은 상기 네트워크를 통해 상기 추적자 모바일디바이스로 VR 영상정보를 제공하여, 객체에
대한 추적을 3차원 공간상에서 추적하도록 하며,
상기 위치 추적수단은 영상촬영시스템으로부터 수신된 객체지도정보로부터 상기 배경영상 카메라부의 중심축
(x1)으로부터 상기 근접영상 카메라부의 회전 각도(a1) 정보뿐만 아니라, 상기 근접영상 카메라부의 상하로의
틸트 각도 정보를 추출하여 상기 위치 예측수단으로 전달시 상기 위치 예측수단은 높이에 대한 정보를 추가적으
로 생성하여 VR 영상정보 생성시 객체가 비행체의 경우 높이 정보도 포함될 수 있도록 하는 것을 특징으로 하는
VR 기반의 객체인식 정보를 이용한 영상 추적시스템.
A number of units are installed in succession in the visual area to photograph a specific space for monitoring and provide video information to the area of the surveillance space.
The image is photographed and transmitted, and the original image of the close-up image is transmitted according to the search request from the remote central monitoring system.
Video recording system configured for each monitoring area provided; And, sensing from the image provided from the imaging system
Tracker mobile device to monitor space-time and provide monitoring information to the holder of the tracker mobile device
Vise and a monitoring system connected to each imaging system through a network;
The coordinates of a specific object are created from the background image of the projected panoramic image and their feature information is provided,
The monitoring system not only requests and receives an object's proximity image, but also predicts the path to the object.
To track through the video recording system and finally provide 3D image information to the tracker's mobile device
In the image tracking system using VR-based object recognition information characterized by,
The video recording system includes a VR camera module and a camera control module, and the VR camera module controls the background from a distance.
It includes a background image camera unit for photographing and a proximity image camera unit for closely photographing an object,
The number of background image captures that allow the background image camera unit to capture surrounding images in a panoramic form from a distance.
In other words, it is configured to capture an image of the surroundings while rotating 360 degrees, and the image of the surroundings is controlled by the camera control module.
Depending on the language, it is filmed at a specific time,
The proximity image camera unit is a means for obtaining an image of the object by taking a close-up image of the object, and the background image camera
It consists of a PTZ (Pan/Tilt/Zoom) camera that not only rotates 360 degrees, but also adjusts the tilt angle up and down.
becomes,
The camera control module includes an object recognition unit, a shooting control unit, an object map generation unit, a transmission control unit, an object map database, a first
It includes an image database and a pattern image database,
The object recognition unit generates background coordinates in a specific space from an image obtained from the background image camera unit,
As a means for recognizing objects (persons, faces, vehicles, etc.) or flying objects to be recognized within the created background coordinates,
Receiving the image obtained from the background image camera unit, object pattern data on the pattern image database
When the object is recognized by extracting the object area using the pattern image database when the feature information of the object is extracted,
Contrast with the stored pattern image to recognize the object, extract feature information of the recognized object,
The shooting control unit controls the background image camera unit to capture a background image, and the object recognized by the object recognition unit
The background image camera unit and the proximity image camera unit are controlled by a method of controlling the proximity image camera unit to capture a close-up image of the body.
As a means for obtaining an image by controlling the video camera unit, the object recognized through the object recognition unit is assigned to background coordinates.
By synchronizing and generating the coordinates of an object, the object map including the coordinates and feature information of the object is generated by the object map generating unit.
To generate road information,
The object map generation unit synchronizes the object recognized through the object recognition unit with the background image to determine the coordinates of the object.
and object map information including the created 'coordinates' and 'characteristic information of the object' is created, and when generating the object map information,
Identification information (ID) of the imaging system, object coordinates and feature information for each frame of the object, shooting time information, middle of the background image camera
Rotation angle (a1, a2) information of the proximity imaging camera unit from the mandrel axis (x1), tilt angle information of the proximity imaging camera unit up and down
Including, the identification information (ID) of the imaging system includes a unique number and location information of the imaging system 100,
The transmission control unit transmits and controls object map information and a compressed image of a background image to the monitoring system,
According to the search request from the monitoring system, the original image of the close-up image of the corresponding object is provided, and the monitoring system
It is a means for controlling the transmission of object map information and compressed images of background images to the system, and from the monitoring system
To provide the original image of the proximity image of the object requested according to the object search request and object tracking request, and other object map information
is a means of control,
The object map database stores and manages object map information, the first image database stores and manages proximity images and panoramic images, and the pattern image database stores patterns for object recognition by the object recognition unit.
Manage and store the unknown,
The monitoring system includes a video reception monitoring unit, a search interface unit, a monitoring and control unit, a second video database, and a reception center.
It includes a information database, a VR image database, a background image pattern image database, and an operator input unit,
The image reception monitoring unit receives the image and object map information provided from the image capture system, and displays images and features.
Information is displayed to the operator to provide monitoring images,
The search interface allows the operator to select a search area for the monitoring image through the operator input unit.
It provides an operator interface to make a specific 'object search request' and 'object tracking request'.
To provide an operator interface so that the operator can select a recognition area to search for and track a specific object.
As a means for this, the monitoring operator can select a search area and a tracking area for monitoring images
Provides an input operator interface (GUI; Graphic User Interface),
The monitoring and control unit extracts feature information from object map information for a recognition area designated by the search interface unit.
display control, and according to the operator's selection, a close-up image for the selected area is requested and transmitted from the image capture system.
Display management and control of proximity image information, and for the search area designated by the search interface unit, the image capture system
Display and control the feature information transmitted from the operator, and request a close-up image for the corresponding selected area according to the operator's selection
to provide a process for display management control of the proximity image information transmitted from the imaging system,
According to the search request of the operator input unit, the characteristic information of the object selected by the selection area is stored in the received information database.
It compares with the object map information registered in the corresponding image capture system to search for objects photographed and provides the result.
It provides a search process that performs image capture according to the operator's selection of a tracking request for an object corresponding to a close-up image.
system to display, manage, and control VR images transmitted from the video recording system;
The second image database is provided according to the background image (compressed image) and the search received from the image capturing system.
When the original image of the proximity image is stored and managed, the second image database includes information received for each identification information of the image capturing system.
The background image (compressed image) and the original image of the proximity image provided according to the search are stored and managed.
The reception information database stores and manages the object map information received from the image capturing system, the reception information data base.
In this database, object map information received from the imaging system is stored and managed according to the identification information of the imaging system.
as,
The VR image database includes background images, object map information, and original images received from at least two image capturing systems.
Using this video, the VR video generated by the monitoring and control unit is stored and managed,
The operator input unit 280 allows the operator to manually input commands to the video recording system and select a search area from the monitoring screen,
It is configured for object search request (original video request) and object tracking request,
The monitoring and control unit obtains a position tracking means, a position prediction means, a position transmission means, a VR image generation means, and a VR image transmission means.
compare,
The location tracking unit detects a background image, object map information, and an original image received from an imaging system recognizing a current object.
When tracking the location of an object selected from the operator input unit by the operator using the
background image and original image captured as a 360° panorama from the image capture system where the object is located in real time.
and rotation of the proximity image camera unit from the central axis (x1) of the background image camera unit based on object map information.
After extracting the angle (a1) information, it is transmitted to the position predicting means,
The position predicting means is a background image captured as a 360° panorama received from an image capture system where the object is currently located.
Information on the original image and the rotation angle (a1) of the proximity image camera unit from the central axis (x1) of the background image camera unit
The next image capture system to be processed by the object is extracted using , and orientation information of the object is extracted from the background image.
The background image and the original image recorded as a 360° panorama received from the imaging system are converted to the background image pattern image data.
The background image captured as a 360° panorama of the object by extracting the azimuth area using the background image pattern data of the database.
Recognizes azimuth information (east, west, south, north or azimuth information) in
By extracting, distance information from the proximity image camera unit is obtained by using a change in perspective according to a change in size among feature information.
recognize,
The location predicting means uses the recognized azimuth information and distance information, and the unique number and location information of the current imaging system to determine the next imaging system from among a plurality of imaging systems excluding the current imaging system.
At least one or more extractions are performed, and each image capturing system extracted by the position prediction means determines the object.
Request object tracking by transmitting object map information generated by the current imaging system through the network,
The VR image generating means is an object that matches the object feature information on the object map information by the image capturing system to be in progress.
When the recognition of the object is completed, the background image and the object
The original image for the body and the rotation angle (a2) information of the proximity image camera unit from the central axis (x1) of the background image camera unit are obtained.
After Shinhan, the background image and original image captured as a 360° panorama received from the image capture system to be in progress,
The background image and the original image received from the image capture system recognizing the current object received by the existing location tracking means
When generating 2-dimensional or 3-dimensional virtual reality ('VR') image information using
The background image and the original image taken as a 360 ° panorama received from the background image pattern image database
By using the background image pattern data, the azimuth area is extracted and the azimuth is determined in the background image captured as a 360° panorama of the object.
Recognizes the beam (east, west, south, north or azimuth information), extracts the feature information of the object corresponding to the original image, and among the feature information
After recognizing the distance information from the proximity image camera unit using the perspective change according to the size change, the image to be progressed
A background image photographed as a 360° panorama received from the photographing system and a current object received by the location tracking means
After synthesizing the background image received from the image shooting system that recognizes the body to create VR image background information,
Received from each of the imaging system and the imaging system recognizing the current object received by the location tracking means
Recognizes the location coordinates of the object on the VR image background information generated by synthesis using the azimuth information and distance information,
Creates VR image information in which object information corresponding to a 3D polygon set generated using the original image of is inserted,
The VR image transmission means provides VR image information to the tracker's mobile device through the network,
to be tracked in a three-dimensional space,
The location tracking means is based on the object map information received from the image capturing system, and the central axis of the background image camera unit.
(x1) as well as information on the rotation angle (a1) of the proximity image camera unit, as well as up and down of the proximity image camera unit
When tilt angle information is extracted and transmitted to the position predicting means, the position predicting means additionally provides height information.
When generating VR image information, it is characterized in that height information can also be included in the case of an object flying
Video tracking system using VR-based object recognition information.
KR1020220018531A 2022-02-13 2022-02-13 Image tracking system using object recognition information based on Virtual Reality, and image tracking method thereof KR20230121951A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220018531A KR20230121951A (en) 2022-02-13 2022-02-13 Image tracking system using object recognition information based on Virtual Reality, and image tracking method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220018531A KR20230121951A (en) 2022-02-13 2022-02-13 Image tracking system using object recognition information based on Virtual Reality, and image tracking method thereof

Publications (1)

Publication Number Publication Date
KR20230121951A true KR20230121951A (en) 2023-08-22

Family

ID=87806214

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220018531A KR20230121951A (en) 2022-02-13 2022-02-13 Image tracking system using object recognition information based on Virtual Reality, and image tracking method thereof

Country Status (1)

Country Link
KR (1) KR20230121951A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117278733A (en) * 2023-11-22 2023-12-22 潍坊威龙电子商务科技有限公司 Display method and system of panoramic camera in VR head display

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117278733A (en) * 2023-11-22 2023-12-22 潍坊威龙电子商务科技有限公司 Display method and system of panoramic camera in VR head display
CN117278733B (en) * 2023-11-22 2024-03-19 潍坊威龙电子商务科技有限公司 Display method and system of panoramic camera in VR head display

Similar Documents

Publication Publication Date Title
KR101634966B1 (en) Image tracking system using object recognition information based on Virtual Reality, and image tracking method thereof
US8599266B2 (en) Digital processing of video images
Wheeler et al. Face recognition at a distance system for surveillance applications
US8331611B2 (en) Overlay information over video
CN111046725B (en) Spatial positioning method based on face recognition and point cloud fusion of surveillance video
US20180262789A1 (en) System for georeferenced, geo-oriented realtime video streams
US20120019522A1 (en) ENHANCED SITUATIONAL AWARENESS AND TARGETING (eSAT) SYSTEM
CN112699839B (en) Automatic video target locking and tracking method under dynamic background
KR101896654B1 (en) Image processing system using drone and method of the same
KR20160078724A (en) Apparatus and method for displaying surveillance area of camera
Abidi et al. Survey and analysis of multimodal sensor planning and integration for wide area surveillance
KR101729966B1 (en) CCTV camera system having image recognition and voice guidance and an operating method thereof
JP2007036756A (en) Monitoring camera system for linking all-around camera of fixed visual angle with narrow angle camera which can control the direction of visual point
CN206260046U (en) A kind of thermal source based on thermal infrared imager and swarm into tracks of device
CN110555876B (en) Method and apparatus for determining position
CN112419233B (en) Data annotation method, device, equipment and computer readable storage medium
KR100967718B1 (en) Video watch system using object recognition information
KR20230121951A (en) Image tracking system using object recognition information based on Virtual Reality, and image tracking method thereof
WO2017160381A1 (en) System for georeferenced, geo-oriented real time video streams
US20190286876A1 (en) On-Demand Outdoor Image Based Location Tracking Platform
KR102099687B1 (en) Imaging device and system
CN113873201A (en) Beyond-visual-range high-point reverse observation system and method
KR101997799B1 (en) System for providing image associated with region of interest
KR20210079029A (en) Method of recording digital contents and generating 3D images and apparatus using the same
JP7369623B2 (en) Information processing system and information processing method