KR102014285B1 - System for tracking object using multi cameras and method thereof - Google Patents

System for tracking object using multi cameras and method thereof Download PDF

Info

Publication number
KR102014285B1
KR102014285B1 KR1020120118382A KR20120118382A KR102014285B1 KR 102014285 B1 KR102014285 B1 KR 102014285B1 KR 1020120118382 A KR1020120118382 A KR 1020120118382A KR 20120118382 A KR20120118382 A KR 20120118382A KR 102014285 B1 KR102014285 B1 KR 102014285B1
Authority
KR
South Korea
Prior art keywords
image
unit
camera
command
camera unit
Prior art date
Application number
KR1020120118382A
Other languages
Korean (ko)
Other versions
KR20140052357A (en
Inventor
김동준
권병욱
김정영
김현오
백송훈
최성림
허의무
황영헌
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020120118382A priority Critical patent/KR102014285B1/en
Publication of KR20140052357A publication Critical patent/KR20140052357A/en
Application granted granted Critical
Publication of KR102014285B1 publication Critical patent/KR102014285B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

본 발명은 다중 카메라를 선별적으로 제어하여 이용하여 이동하는 객체의 추적 영상을 단일 스트림의 고화질 영상으로 생성하는 객체 추적 시스템 및 객체 추적 방법을 개시한다. 본 발명에 따르는 객체 추적 시스템은, 전송받은 촬영 명령을 이용하여 객체의 이동에 따라 객체 영상을 촬영하는 카메라부; 촬영 명령을 카메라부로 전송하고, 카메라부로부터 객체 영상을 전송받는 게이트웨이부; 및 객체 정보를 등록받고, 객체의 좌표를 이용하여 이동 정보를 예측하고, 예측된 이동 정보에 대응하는 적어도 하나의 카메라부를 선정하여 게이트웨이부를 통해 카메라부로 촬영 명령을 전송하고, 게이트웨이를 통해 수신된 객체 영상 중에서 특정 채널의 객체 영상을 선택하여 단일 스트림의 객체 추적 영상으로 생성하는 영상 서버부를 포함한다. 본 발명에 따르면, 카메라부로 촬영 명령을 전송하여 수신된 고품질의 객체 영상을 이용하여 단일 스트림의 객체 추적 영상을 제공한다.The present invention discloses an object tracking system and an object tracking method for generating a single stream of high-definition video of a moving object by selectively controlling and controlling multiple cameras. Object tracking system according to the present invention, the camera unit for photographing the object image in accordance with the movement of the object using the received shooting command; A gateway unit which transmits a photographing command to the camera unit and receives an object image from the camera unit; And registering the object information, predicting the movement information using the coordinates of the object, selecting at least one camera unit corresponding to the predicted movement information, and transmitting a photographing command to the camera unit through the gateway unit, and receiving the object through the gateway. An image server unit may be configured to select an object image of a specific channel from the image and generate the object tracking image of a single stream. According to the present invention, an object tracking image of a single stream is provided using a high quality object image received by transmitting a shooting command to the camera unit.

Description

다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법{System for tracking object using multi cameras and method thereof}System for tracking object using multi cameras and method

본 발명은 객체 추적 시스템 및 객체 추적 방법에 관한 것으로, 보다 상세하게는 다중 카메라에 의해 촬영된 각각의 채널별 영상들로부터 객체의 이동을 추적하여 단일 스트림 영상을 생성하는 객체 추적 시스템 및 객체 추적 방법에 관한 것이다.The present invention relates to an object tracking system and an object tracking method, and more particularly, to an object tracking system and an object tracking method for generating a single stream image by tracking the movement of an object from each channel-specific image photographed by multiple cameras. It is about.

다중 카메라는 보안용 또는 방범용으로 복수개의 카메라가 감시 지역마다 각각 설치되어 촬영된 영상을 실시간 송출한다. 여기서, 특정 영상에 등장하는 이동 객체를 추적하려면 제어국의 모니터링 전문가가 복수개 카메라들 중에서 이동 객체의 촬영에 적합한 카메라를 선택하면서 촬영을 제어한다. 모니터 요원의 수작업에 의한 객체 추적 기술은 전문가의 개인적 능력에 의존해야만 하고, 복수개 채널의 촬영 영상을 동시에 화면에 표시하면서 화면 전환을 제어하기에 영상 데이터의 송출 및 화면 표시에 과부하가 걸린다.Multi-cameras are provided with a plurality of cameras for each security area for security or security purposes, and transmits captured images in real time. Here, in order to track the moving object appearing in the specific image, the monitoring expert of the control station controls the shooting while selecting a camera suitable for shooting the moving object among the plurality of cameras. The manual tracking of the object by the monitor agent has to rely on the expert's personal ability, and the transmission of the image data and the display of the screen are overloaded because the screen switching is controlled while simultaneously displaying the captured images of the multiple channels on the screen.

이후, 영상의 객체 인식 기술과 카메라의 핸드 오프 기술을 이용하여 자동으로 객체를 추적하는 기술이 도입되었다. 핸드 오프 방식의 객체 추적 기술은 다중 IP CCTV 환경에서 특정 IP 카메라에 의해 촬영된 영상으로부터 객체가 인식되면, 상기 객체가 인식된 IP 카메라를 선택하여 촬영을 계속해 나가는 방식이었다.Since then, a technology of automatically tracking an object using an object recognition technique of an image and a handoff technique of a camera has been introduced. In the hand-off object tracking technology, when an object is recognized from an image captured by a specific IP camera in a multi-IP CCTV environment, the object tracking technology selects an IP camera in which the object is recognized and continues shooting.

아래의 특허 문헌은 상기 핸드 오프 기술을 이용하는 물체 추적 방법을 개시한다. 하지만, 상기 물체 추적 방법은 복수의 카메라를 상대로 이동하는 객체를 놓치지 않고 촬영하기 위해 카메라를 릴레이 방식으로 촬영 제어하는데 그쳤다. 객체를 추적하는 카메라는 촬영된 영상에 객체가 출현해야만 선택되는 방식이었다. 또한, 객체의 추적 영상과 일반 촬영시의 영상은 양자 모두 영상 품질이 동일하다는 문제점이 있었다.The following patent document discloses an object tracking method using the hand off technique. However, the object tracking method is only to control the shooting in a relay manner to take a picture without missing the object moving to the plurality of cameras. The camera tracking the object was selected only when the object appeared in the captured image. In addition, both the tracking image of the object and the image during normal shooting have a problem in that the image quality is the same.

한국등록특허 10-0994722Korea Patent Registration 10-0994722

본 발명은 상기와 같은 종래 기술의 인식 하에 창출된 것으로서, 객체의 이동을 예측하고 이동 방향의 카메라를 미리 선택하여 촬영 명령을 내리는 객체 추적 시스템 및 객체 추적 방법을 제공하는데 있다.SUMMARY OF THE INVENTION The present invention has been made under the above-described prior art, and provides an object tracking system and an object tracking method for predicting the movement of an object and pre-selecting a camera in a moving direction to give a shooting command.

본 발명의 다른 목적은 다중 카메라의 영상을 일반 품질로 각각 저장하되, 객체의 추적 영상은 고품질로 촬영하여 하나의 스트림 영상으로 생성하여 송출하는데 있다.Another object of the present invention is to store the images of the multiple cameras in the general quality, respectively, the tracking image of the object to shoot in high quality to generate and send as a stream image.

상기 기술적 과제를 달성하기 위한 본 발명에 따른 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템은, 다중 채널별로 각각 할당되고, 네트워크를 통해 전송된 촬영 명령의 객체 정보와 영상 품질을 이용하여 객체의 이동에 따라 객체 영상을 촬영하는 카메라부; 외부로부터 상기 촬영 명령을 전송받으면 상기 카메라부로 전송하고, 상기 카메라부로부터 영상 정보를 전송받으면 외부로 전송하는 게이트웨이부; 및 객체 정보를 등록받고, 상기 게이트웨이부를 통해 전송받은 채널별 상기 영상 정보로부터 추출된 상기 객체의 좌표를 이용하여 이동 정보를 예측하고, 예측된 이동 정보에 대응하는 적어도 하나의 카메라부를 선정하여 상기 게이트웨이부를 통해 선정된 상기 카메라부로 상기 촬영 명령을 전송하여 미리 촬영 개시시키고, 상기 촬영 명령에 의해 채널별로 수신된 객체 영상 중에서 특정 채널의 객체 영상을 선택하여 단일 스트림의 객체 추적 영상으로 생성하는 영상 서버부를 포함한다.Object tracking system for tracking the movement of an object using a multi-camera according to the present invention for achieving the above technical problem, by using the object information and the image quality of the shooting command assigned to each of the multi-channel, and transmitted through the network A camera unit for photographing an object image according to the movement of the object; A gateway unit which transmits the photographing command to the camera unit when the photographing command is received from the outside and transmits the image information to the camera unit when receiving the image information from the camera unit; And receiving object information, predicting movement information using coordinates of the object extracted from the image information for each channel received through the gateway unit, and selecting at least one camera unit corresponding to the predicted movement information. The image server unit transmits the photographing command to the camera unit selected through the photographing unit to start photographing in advance, and selects an object image of a specific channel from the object images received for each channel by the photographing command to generate a single stream of object tracking image. Include.

여기서, 상기 객체 추적 시스템은, 상기 영상 서버부에 접속하여 추적 대상의 객체를 등록하고, 상기 영상 서버부로 등록된 상기 객체의 추적 영상을 요청하면 상기 객체 추적 영상을 전송받는 사용자 단말을 더 포함한다.The object tracking system may further include a user terminal accessing the image server unit to register an object to be tracked and receiving the object tracking image when the tracking image of the object registered with the image server unit is requested. .

본 발명의 일 실시예에 따르면, 상기 객체 추적 시스템은, 추적 대상의 객체 정보를 등록받는 객체 정보 등록부; 채널별 카메라부에 의해 각각 촬영된 적어도 하나의 영상으로부터 객체 정보를 추출하는 객체 정보 식별부; 상기 객체 정보로부터 분석된 객체의 좌표를 이용하여 객체의 이동 속도와 이동 방향을 산출하는 객체 이동 예측부; 상기 이동 속도와 상기 이동 방향을 이용하여 예측되는 적어도 하나의 카메라부를 선정하고, 선정된 상기 카메라부로 촬영 명령을 전송하여 미리 준비시키는 촬영 명령 전송부; 및 상기 촬영 명령에 의해 촬영되어 수신된 채널별 객체 영상으로부터 특정 채널의 객체 영상을 선택하여 단일 스트림의 객체 추적 영상으로 생성하는 객체 추적 영상 생성부를 포함하는 영상 서버부를 포함한다.According to one embodiment of the invention, the object tracking system, the object information registration unit for receiving the object information to be tracked; An object information identification unit for extracting object information from at least one image photographed by the camera unit for each channel; An object movement predicting unit configured to calculate a moving speed and a moving direction of the object using coordinates of the object analyzed from the object information; A photographing command transmission unit which selects at least one camera unit predicted using the movement speed and the direction of movement, and prepares by transmitting a photographing command to the selected camera unit in advance; And an object tracking image generation unit configured to select an object image of a specific channel from the object image for each channel photographed and received by the photographing command and generate the object tracking image as a single stream.

본 발명에 있어서, 상기 영상 서버부는, 상기 촬영 명령에 포함된 비트 레이트(bit rate) 및 프레임 수에 대하여 일반 영상 품질보다 높은 비율을 설정하여 고품질의 촬영 명령을 내린다.In the present invention, the image server unit issues a high quality photographing command by setting a ratio higher than a general image quality with respect to the bit rate and the number of frames included in the photographing command.

여기서, 상기 영상 서버부는, 서로 다른 시간의 2개의 영상 프레임에 존재하는 객체의 좌표를 각각 추출한 후, 추출된 2개의 객체 좌표로 이동 속도와 이동 방향을 산출하여 객체의 이동 정보를 예측한다.Here, the image server unit extracts coordinates of objects existing in two image frames at different times, and then calculates a moving speed and a moving direction using the extracted two object coordinates to predict movement information of the object.

또한, 상기 영상 서버부는, 객체의 이동 방향에서 객체의 위치와 가장 근접한 순서로 적어도 하나의 카메라부를 선정하고, 객체의 이동 속도를 고려하여 선정된 상기 카메라부로 상기 카메라부의 촬영 가시권에 도달하기 직전에 고품질의 촬영 명령을 전송한다.Also, the image server unit selects at least one camera unit in order of closest to the position of the object in the moving direction of the object, and immediately before the camera unit reaches the viewing visibility of the camera unit by selecting the camera unit in consideration of the moving speed of the object. Send high quality shooting commands.

본 발명의 일 측면에 따르면, 상기 영상 서버부는, 수신된 채널별 객체 영상으로부터 객체의 크기가 가장 크게 촬영된 상기 객체 영상을 선택하여 상기 객체 추적 영상으로 생성한다.According to an aspect of the present invention, the image server unit generates the object tracking image by selecting the object image in which the size of the object is photographed the largest from the received object image for each channel.

대안적으로, 상기 영상 서버부는, 수신된 채널별 객체 영상으로부터 객체의 얼굴 인식 필터링을 처리하여 얼굴 인식된 객체의 크기가 가장 크게 촬영된 상기 객체 영상을 선택하여 상기 객체 추적 영상으로 생성한다.Alternatively, the image server unit may process the face recognition filtering of the object from the received object image for each channel to select the object image in which the size of the face recognized object is the largest and generate the object tracking image.

여기서, 상기 영상 서버부는, 객체의 다음번 이동 방향을 예측하여 고품질의 촬영 명령을 기 수신한 카메라부가 감시 대상의 카메라부로 선정되지 않으면, 해당 채널의 상기 카메라부에 대해 일반 품질의 촬영 명령을 생성하여 전송한다.Here, if the camera unit which has received the high quality shooting command by predicting the next moving direction of the object is not selected as the camera unit to be monitored, the image server unit generates a general quality shooting command for the camera unit of the corresponding channel. send.

본 발명의 다른 실시예에 따르면, 상기 영상 서버부는, 상기 객체 추적 영상을 생성하기 위한 고품질로 촬영된 상기 객체 영상이 선택되면, 선택된 상기 객체 영상의 채널 카메라부를 제외한 나머지 채널의 카메라부로 일반 품질의 촬영 명령을 생성하여 전송한다.According to another embodiment of the present invention, when the object image photographed with high quality for generating the object tracking image is selected, the image server unit may be of general quality to the camera unit of the remaining channels except for the channel camera unit of the selected object image. Generate and send a shooting command.

여기서, 상기 영상 서버부는, 상기 나머지 채널의 카메라부에 대하여 일정 시간 동안 고품질의 촬영 명령의 전송을 제한한다.Here, the image server unit limits the transmission of a high quality shooting command for a predetermined time to the camera unit of the remaining channel.

본 발명에 있어서, 상기 카메라부는, 상기 촬영 명령으로부터 추출된 객체 정보를 이용하여 자동으로 팬(pan), 틸트(tilt), 줌(zoom) 기능을 제어하여 영상을 촬영하는 기능; 상기 촬영 명령으로부터 추출된 객체 정보 및 촬영 제어 정보를 이용하여 상기 촬영 제어 정보에 의해 팬, 틸트, 줌 기능을 제어받아 영상을 촬영하는 기능; 및 상기 촬영 명령으로부터 추출된 객체 정보를 이용하여 객체의 존재가 인식되면 자동으로 고품질의 객체 영상을 촬영하고, 객체의 존재가 사라지면 자동으로 일반 품질로 영상을 촬영하는 기능 중에서 적어도 하나의 기능을 구비한다.The camera unit may include a function of automatically capturing an image by controlling a pan, tilt, and zoom function using object information extracted from the photographing command; A function of capturing an image by controlling the pan, tilt, and zoom functions by the shooting control information by using the object information and the shooting control information extracted from the shooting command; And at least one function of automatically photographing a high quality object image when the existence of the object is recognized using the object information extracted from the photographing command, and automatically photographing the image at normal quality when the existence of the object disappears. do.

상기 기술적 과제를 달성하기 위한 본 발명에 따른 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 방법은, 객체 정보를 등록받아 객체가 존재하는 채널별 복수개 객체 영상으로부터 단일 스트림의 객체 추적 영상을 생성하는 영상 서버부가 실행하는 영상 분석 방법에 있어서, (a)추적 대상의 객체 정보를 등록받는 객체 추적 요청 단계; (b)채널별 카메라부에 의해 각각 촬영된 적어도 하나의 영상으로부터 객체 정보를 추출하는 객체 정보 식별 단계; (c)식별된 상기 객체 정보로부터 분석된 객체의 좌표를 이용하여 객체의 이동 속도와 이동 방향을 산출하는 객체 이동 예측 단계; (d)예측된 객체의 이동 정보를 이용하여 예측되는 적어도 하나의 카메라부를 선정하고, 선정된 상기 카메라부로 촬영 명령을 전송하여 미리 준비시키는 촬영 명령 전송 단계; 및 (e)상기 촬영 명령에 의해 촬영되어 수신된 채널별 객체 영상으로부터 특정 채널의 객체 영상을 선택하여 단일 스트림의 객체 추적 영상으로 생성하는 객체 추적 영상 생성 단계를 포함한다.In the object tracking method for tracking the movement of an object using multiple cameras according to the present invention for achieving the above technical problem, a single stream of the object tracking image is generated from a plurality of object images for each channel in which the object exists by receiving the object information An image analysis method executed by an image server, the method comprising: (a) an object tracking request step of registering object information of a tracking target; (b) an object information identification step of extracting object information from at least one image photographed by the camera unit for each channel; (c) an object movement prediction step of calculating a moving speed and a moving direction of the object using coordinates of the object analyzed from the identified object information; (d) a photographing command transmission step of selecting at least one camera unit predicted by using the predicted object movement information, and preparing a photographing command by transmitting a photographing command to the selected camera unit in advance; And (e) generating an object tracking image by selecting an object image of a specific channel from the object image for each channel photographed and received by the photographing command and generating the object tracking image of a single stream.

본 발명의 일 측면에 따르면, 추적 대상의 객체에 대해 예측된 이동 방향의 카메라를 선택한 후, 선택된 카메라 중에서 예측된 객체의 이동 속도에 따라 객체의 영상을 촬영할 수 있는 카메라를 다시 선별하여 촬영 명령을 내림으로써 감시 대상의 카메라를 지능적으로 선택한다.According to an aspect of the present invention, after selecting a camera of the movement direction predicted with respect to the object to be tracked, and re-select the camera that can capture the image of the object according to the predicted movement speed of the selected camera from among the selected cameras Lowering intelligently selects the camera to be monitored.

또한, 다중 카메라의 영상을 일반 품질로 저장하는 과정에서 감시 대상의 카메라로 고품질의 촬영 명령을 내리고, 고품질로 촬영된 객체 영상 중에서 가장 식별력이 높은 객체 영상을 선택하여 객체의 추적 영상을 생성함으로써 객체의 식별력을 높인다.In addition, in order to store images of multiple cameras in a general quality, a high quality shooting command is issued to a camera to be monitored, and a tracking image of an object is generated by selecting an object image having the most discriminating object image among high quality images. Increase the discernment of

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술한 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되지 않아야 한다.
도 1은 본 발명의 일 실시예에 따른 객체 추적 시스템의 개략적 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 서버가 객체의 이동 정보를 예측하는 예시도이다.
도 3은 본 발명의 일 실시예에 따른 영상 서버가 카메라로 내리는 촬영 명령의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 영상 서버가 단일 스트림의 객체 추적 영상을 생성하는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 영상 서버의 개략적 내부 구조도이다.
도 6은 본 발명의 다른 실시예에 따른 영상 서버가 일반 품질로 복귀하는 촬영 명령을 내리는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 객체 추적 방법의 개략적 순서도이다.
도 8은 본 발명의 다른 실시예에 따른 일반 품질로 복귀하는 촬영 명령을 내리는 객체 추적 방법의 개략적 순서도이다.The following drawings attached to this specification are illustrative of preferred embodiments of the present invention, and together with the detailed description of the invention described below serve to further understand the technical spirit of the present invention, the present invention is a matter described in such drawings It should not be construed as limited to.
1 is a schematic block diagram of an object tracking system according to an embodiment of the present invention.
2 is an exemplary diagram in which an image server predicts movement information of an object according to an embodiment of the present invention.
3 is an exemplary diagram of a shooting command issued to a camera by an image server according to an exemplary embodiment of the present invention.
4 is an exemplary diagram in which an image server generates an object tracking image of a single stream according to an embodiment of the present invention.
5 is a schematic internal structural diagram of an image server according to an embodiment of the present invention.
6 is an exemplary diagram in which an image server issues a shooting command to return to normal quality according to another embodiment of the present invention.
7 is a schematic flowchart of an object tracking method according to an embodiment of the present invention.
8 is a schematic flowchart of an object tracking method for giving a shooting command to return to normal quality according to another embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. Prior to this, terms or words used in the specification and claims should not be construed as having a conventional or dictionary meaning, and the inventors should properly explain the concept of terms in order to best explain their own invention. Based on the principle that can be defined, it should be interpreted as meaning and concept corresponding to the technical idea of the present invention.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상에 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in the specification and the drawings shown in the drawings are only the most preferred embodiments of the present invention and do not represent all of the technical spirit of the present invention, various modifications that can be replaced at the time of the present application It should be understood that there may be equivalents and variations.

도 1은 본 발명의 일 실시예에 따른 객체 추적 시스템(1)의 개략적 구성도이다.1 is a schematic structural diagram of an object tracking system 1 according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 객체 추적 시스템(1)은 유, 무선 네트워크를 기반으로 구축되며, 특정 객체를 선택받아 추적을 요청하는 사용자 단말(2), 추적이 요청된 객체의 촬영 명령을 내리고, 객체가 촬영된 영상을 수신하여 하나의 단일 스트림 영상으로 생성하는 영상 서버(3), 영상 서버(3)가 내리는 촬영 명령을 카메라(5)로 전송하며 카메라(5)로부터 촬영된 영상을 수신하여 영상 서버(3)로 전송하는 게이트웨이(4) 및 촬영 명령을 수신하여 객체의 이동을 추적하면서 촬영하는 카메라(5)를 포함하여 구성된다.Object tracking system 1 according to an embodiment of the present invention is built on a wired, wireless network, the user terminal (2) requesting the tracking by selecting a specific object, and gives a command to shoot the object requested tracking; The image server 3 receives the image of the object and generates a single stream image, and transmits a recording command issued by the image server 3 to the camera 5 and receives the image from the camera 5. It comprises a gateway (4) for transmitting to the image server (3) and a camera (5) for receiving a shooting command and tracking the movement of the object.

본 발명에서의 상기 유, 무선 네트워크는 대표적으로 이동통신망, 인터넷과 같은 유, 무선 공중망이나 전용망 등과 같이 다양한 프로토콜을 이용하여 데이터 통신이 가능한 모든 통신망을 포괄한다.In the present invention, the wired and wireless networks typically include all communication networks capable of data communication using various protocols such as mobile communication networks, wired and wireless public networks and dedicated networks such as the Internet, and the like.

상기 사용자 단말(2)은 영상 서버(3)에 접속할 수 있는 유, 무선 통신 기능을 갖는 컴퓨터 단말, 스마트 단말 등을 포함한다. 사용자 단말(2)이 상기 스마트 단말의 경우, 영상 서버(3)와 인터페이스하는 전용 어플리케이션이 설치될 수 있다. 사용자 단말(2)은 영상 서버(3)에 접속하여 원격지에 설치된 개별 채널의 카메라를 선택하여 영상 송출을 요청하고, 영상 서버(3)로부터 원격지의 카메라(5)에 의해 촬영된 영상을 수신하여 화면에 표시한다. 또한, 사용자 단말(2)은 감시 대상의 객체를 선택하여 추적을 요청할 수 있고, 상기 추적 요청에 의해 단일 스트림으로 생성된 객체의 추적 영상을 영상 서버(3)로부터 수신한다. 사용자 단말(2)이 객체의 추적 영상을 화면에 표시하면, 사용자는 화면의 영상에 대해 카메라의 촬영을 제어하는 명령을 입력하는 것도 가능할 수 있다.The user terminal 2 includes a computer terminal having a wired and wireless communication function, a smart terminal, and the like, which can be connected to the image server 3. When the user terminal 2 is the smart terminal, a dedicated application for interfacing with the image server 3 may be installed. The user terminal 2 connects to the image server 3 and selects a camera of an individual channel installed at a remote place to request image transmission, and receives an image captured by the remote camera 5 from the image server 3. Display on the screen. In addition, the user terminal 2 may select an object to be monitored and request tracking, and receives a tracking image of the object generated as a single stream by the tracking request from the image server 3. When the user terminal 2 displays the tracking image of the object on the screen, the user may also input a command to control the photographing of the camera with respect to the image on the screen.

상기 영상 서버(3)는 객체의 추적 요청에 따라 객체의 이동을 예측하고, 예측된 이동 정보에 따라 촬영에 적합한 적어도 하나의 채널별 카메라(5)를 선별하여 촬영 명령을 내린다. 그리고 영상 서버(3)는 상기 채널별 카메라(5)로부터 상기 촬영 명령에 의해 객체가 촬영된 객체 영상을 수신한 후, 연속되는 단일 스트림의 영상으로 합성하여 객체 추적 영상을 생성한다. 예를 들어, 영상 서버(3)는 서로 다른 복수개 채널로부터 송출되는 객체 영상을 단일 스트림의 영상 파일로 합성하는 것이다. 그러면, 영상 서버(3)는 객체의 추적을 요청한 사용자 단말(2)로 상기 객체 추적 영상을 송출한다. The image server 3 predicts the movement of the object according to the tracking request of the object, and selects at least one channel-specific camera 5 suitable for shooting according to the predicted movement information and issues a shooting command. The image server 3 receives an object image of the object photographed by the photographing command from the camera 5 for each channel, and then synthesizes the image into a single continuous stream to generate the object tracking image. For example, the image server 3 synthesizes object images transmitted from a plurality of different channels into a single stream of image files. Then, the image server 3 transmits the object tracking image to the user terminal 2 requesting the tracking of the object.

상기 게이트웨이(4)는 다중 IP CCTV 환경의 카메라(5)들을 관리하며, 영상 서버(3)와 카메라(5) 사이에서 데이터를 중개 전송한다. 예를 들면, 게이트웨이(4)가 영상 서버(3)로부터 상기 촬영 명령을 수신하면, 수신된 촬영 명령으로부터 식별된 아이디에 해당하는 카메라(5)로 촬영 명령을 개별 전송하거나 브로드캐스팅 전송한다. 또한, 게이트웨이(4)가 각각의 카메라(5)로부터 촬영된 영상 정보를 수신하면, 수신된 영상 정보를 영상 서버(3)로 업로드한다. 여기서, 상기 영상 정보는 영상 데이터와 함께 장치 아이디(카메라 아이디), 해상도(영상 크기 정보), 코덱 정보, 좌표 정보 등을 포함할 수 있다.The gateway 4 manages cameras 5 in a multi-IP CCTV environment, and relays data between the image server 3 and the camera 5. For example, when the gateway 4 receives the shooting command from the image server 3, the gateway 4 individually transmits or broadcasts the shooting command to the camera 5 corresponding to the ID identified from the received shooting command. In addition, when the gateway 4 receives the image information photographed from each camera 5, the gateway 4 uploads the received image information to the image server 3. Here, the image information may include device ID (camera ID), resolution (image size information), codec information, coordinate information, and the like together with the image data.

상기 카메라(5)는 감시 지역마다 각각 설치되는 다중 카메라(multi cameras)로서 개별 카메라(5)는 고유의 채널이 할당되어 감시 지역의 영상을 촬영한다. 카메라(5)는 게이트웨이(4)의 중개를 통해 영상 서버(3)로부터 촬영 명령을 수신하고, 수신된 촬영 명령의 정보에 따라 객체의 이동을 추적하면서 객체 영상을 촬영한다. 그리고 각각의 카메라(5)는 촬영한 영상 정보를 고유의 채널별 영상 파일로 생성하여 게이트웨이(4)로 전송한다.The cameras 5 are multi cameras each installed in each surveillance region, and the individual cameras 5 are assigned a unique channel to capture an image of the surveillance region. The camera 5 receives a photographing command from the image server 3 through mediation of the gateway 4, and photographs the object image while tracking the movement of the object according to the information of the received photographing command. Each camera 5 generates the captured image information as a unique channel-specific image file and transmits it to the gateway 4.

도 2는 본 발명의 일 실시예에 따른 영상 서버(3)가 객체의 이동 정보를 예측하는 예시도이다.2 is an exemplary diagram in which the image server 3 predicts movement information of an object according to an embodiment of the present invention.

상기 영상 서버(3)는 상기 게이트웨이(4)의 중개를 통해 상기 카메라(5)로부터 각각의 채널별 영상을 전송받고 DB에 기록한다. 그리고 영상 서버(3)는 사용자 단말(2)이 요청하는 채널의 영상을 제공한다. 여기서, 영상 서버(3)가 사용자 단말(2)로부터 감시 대상의 객체를 선택받아 객체의 추적을 요청받을 수 있다.The video server 3 receives an image of each channel from the camera 5 through the intermediation of the gateway 4 and records it in a DB. The image server 3 provides an image of a channel requested by the user terminal 2. Here, the image server 3 may receive a request for tracking an object by selecting the object to be monitored from the user terminal 2.

그러면, 영상 서버(3)는 시간 t와 t+1(T t +1 - T t > 0)의 2개 영상 프레임으로부터 객체의 "좌표 A" 및 "좌표 B"를 각각 추출한다. 상기 좌표는 2D 또는 3D 좌표일 수 있으며 도 2에서는 설명의 편의상 2D 좌표로 예시한다. 영상 서버(3)는 추출된 A, B 2개 지점의 객체 좌표를 이용하여 이동 거리 S 및 이동 방향 θ를 구하고, 시간 Tt +1 - Tt를 이용하여 이동 속도 V를 구한다.Then, the image server 3 extracts the "coordinate A" and "coordinate B" of the object from two image frames of time t and t + 1 ( T t +1 - T t > 0 ), respectively. The coordinates may be 2D or 3D coordinates and illustrated in FIG. 2 as 2D coordinates for convenience of description. The image server 3 obtains the moving distance S and the moving direction θ using the extracted object coordinates of the two A and B points, and obtains the moving speed V using the time T t +1 -T t .

여기서, 영상 서버(3)는 이동 방향 θ의 벡터 정보를 이용하여 이동 방향으로부터 최근 거리에 위치하는 적어도 하나의 카메라(5)를 선별한다. 그리고 영상 서버(3)는 이동 속도 V를 이용하여 이동하는 객체를 촬영할 수 있는 상기 선별된 카메라(5)의 촬영 거리로 진입하는 예측 시간을 구한 후, 상기 예측 시간 직전에 상기 선별된 카메라(5)로 촬영 명령을 전송한다. 예를 들어, 영상 서버(3)가 현재 시점에서 적어도 하나의 채널의 카메라를 선별하면, 당해 선별된 카메라(5)가 객체를 촬영할 수 있는 예측된 시점(예 : 객체가 카메라의 촬영 거리에 진입하기 10초 전)에 맞추어 촬영 명령을 전송한다. 그러면 각각의 선별된 카메라(5)는 객체를 촬영하여 객체 영상으로 기록하고, 기록된 객체 영상을 게이트웨이(4)로 송출한다.Here, the image server 3 selects at least one camera 5 located at a recent distance from the moving direction by using vector information of the moving direction θ. The image server 3 obtains a prediction time for entering a shooting distance of the selected camera 5 capable of capturing a moving object using the moving speed V, and then selects the selected camera 5 immediately before the prediction time. Send a shooting command. For example, if the image server 3 selects a camera of at least one channel at the present time, the predicted viewpoint (eg, the object enters the shooting distance of the camera) at which the selected camera 5 can photograph the object. 10 seconds before) to send the shooting command. Each selected camera 5 then photographs the object and records it as an object image, and sends the recorded object image to the gateway 4.

도 3은 본 발명의 일 실시예에 따른 영상 서버(3)가 카메라(5)로 내리는 촬영 명령의 예시도이다.3 is an exemplary diagram of a shooting command issued by the image server 3 to the camera 5 according to an embodiment of the present invention.

상기 촬영 명령의 정보는 카메라 아이디, 객체 정보 및 영상 품질의 정보 등을 포함한다. 상기 영상 품질은 비트 레이트 및 초당 프레임 수의 정보를 포함한다. 또한, 상기 영상 품질은 일반 품질과 고 품질로 구분되어 영상 서버(3)가 영상 품질을 제어하는 촬영 명령을 카메라(5)로 내리는 것이 가능하다.The information of the photographing command includes camera ID, object information, image quality information, and the like. The image quality includes information of bit rate and frames per second. In addition, the image quality is divided into general quality and high quality, so that the image server 3 may issue a shooting command to the camera 5 to control the image quality.

예를 들어, 상기 영상 서버(3)는 평상시에는 기 설정된 일반 품질의 비트 레이트 및 프레임 수로 카메라(5)의 촬영을 원격 제어하여 일반 품질의 영상을 수신하여 DB에 저장한다. 그리고 상기 영상 서버(3)가 객체의 추적을 요청받으면, 객체의 이동 정보를 예측하여 선별된 채널별 카메라(5)로 일반 품질의 비트 레이트 및 프레임 수보다 높은 값을 설정하여 고품질의 촬영 명령을 전송한다. 그러면, 영상 서버(3)는 채널별 카메라(5)로부터 상기 촬영 명령에 의해 촬영된 고품질의 객체 영상을 수신하여 DB에 저장한다.For example, the image server 3 normally controls the photographing of the camera 5 at a predetermined general quality bit rate and the number of frames to receive the general quality image and store the image in the DB. When the image server 3 is requested to track the object, it predicts the movement information of the object and sets a higher value than the bit rate and the number of frames of the general quality to the selected channel-specific camera 5 to give a high quality shooting command. send. Then, the image server 3 receives the high quality object image photographed by the photographing command from the channel-specific camera 5 and stores it in the DB.

여기서, 상기 카메라(5)의 처리 기능 및 촬영 기능에 따라 다양한 촬영 명령의 처리가 구현될 수 있으며 본 발명은 특정 촬영 명령의 구현 방식으로 제한하지 않는다. Here, the processing of various shooting commands may be implemented according to the processing function and the shooting function of the camera 5, and the present invention is not limited to the implementation manner of the specific shooting command.

예를 들면, 카메라(5)는 상기 촬영 명령으로부터 추출된 객체 정보를 이용하여 자동으로 팬(pan), 틸트(tilt), 줌(zoom) 기능을 제어하여 영상을 촬영할 수 있다. 또는, 상기 카메라(5)가 상기 촬영 명령으로부터 추출된 객체 정보 및 촬영 제어 정보를 이용하여 상기의 팬, 틸트, 줌 기능을 제어하면서 영상을 촬영할 수 있다. 더욱이, 상기 카메라(5)가 영상 분석 필터의 기능을 구비한다고 가정하면, 수신된 촬영 명령으로부터 추출된 객체 정보를 이용하여 촬영된 영상으로부터 객체의 존재 유무를 필터링 처리할 수 있다. 상기 카메라가 필터리 처리 과정에서 객체의 존재 이벤트를 감지하면 자동으로 고품질의 객체 영상을 촬영하고, 객체의 소멸 이벤트를 감지하면 자동으로 일반 품질로 복귀하여 영상을 촬영하는 것도 가능하다.For example, the camera 5 may automatically capture a video by controlling a pan, tilt, and zoom function using the object information extracted from the photographing command. Alternatively, the camera 5 may capture an image while controlling the pan, tilt, and zoom functions by using the object information and the shooting control information extracted from the shooting command. Furthermore, assuming that the camera 5 has a function of an image analysis filter, the presence or absence of an object from the captured image may be filtered using the object information extracted from the received shooting command. When the camera detects the existence event of the object in the filter processing process, the camera automatically captures a high quality object image, and when the camera detects the extinction event of the object, the camera automatically returns to the normal quality to capture the image.

도 4는 본 발명의 일 실시예에 따른 영상 서버(3)가 단일 스트림의 객체 추적 영상을 생성하는 예시도이다.4 is an exemplary diagram in which the video server 3 generates an object tracking image of a single stream according to an embodiment of the present invention.

상기 영상 서버(3)는 실시간으로 예측된 객체의 이동 정보에 따라 대응하는 채널별 카메라(5)로부터 객체 영상을 수신한다. 상기 객체 영상이 고품질의 영상 데이터라 가정하면, 영상 서버(3)는 미리 이동 방향과 이동 속도를 고려하여 대응하는 채널별 카메라(5)로 고품질의 촬영 명령을 전송하여 카메라(5)의 고품질 촬영을 제어한다.The image server 3 receives the object image from the corresponding channel-specific camera 5 according to the movement information of the object predicted in real time. Assuming that the object image is high quality image data, the image server 3 transmits a high quality photographing command to the corresponding channel-specific camera 5 in consideration of the moving direction and the moving speed in advance to capture high quality of the camera 5. To control.

그리고 영상 서버(3)는 상기 촬영 명령을 수신한 채널별 카메라(5)로부터 고품질의 객체 영상을 수신한다. 만약, 영상 서버(3)가 복수개 채널별 카메라(5)로부터 각각의 객체 영상을 수신하면, 적합한 어느 하나 채널의 객체 영상을 선택하여 단일 스트림의 객체 추적 영상으로 합성하여 기록한다.In addition, the image server 3 receives a high quality object image from the camera 5 for each channel that receives the photographing command. If the image server 3 receives each object image from the plurality of channel-specific cameras 5, the object image of any one channel is selected and synthesized into a single stream object tracking image for recording.

도 4를 참조하면, 영상 서버(3)가 시간 T에서 객체 영상 1의 채널을 채택하여 객체 추적 영상으로 기록하다가, 시간 T+Δt에서 객체 영상 1과 객체 영상 2의 영상 중에서 객체 영상 2의 채널을 선택하여 객체 추적 영상으로 기록한다. 그리고 영상 서버(3)는 시간 T+Δ2t에서 객체 영상 2와 객체 영상 3이 경합을 벌이는 과정에서 객체 영상 3의 채널을 선택하여 객체 추적 영상으로 기록한다. 따라서, 영상 서버(3)는 객체의 추적 과정에서 복수의 채널별로 객체 영상을 수신할 수 있고, 객체의 식별이 우세한 어느 특정 채널의 영상을 선택하여 단일 스트림의 객체 추적 영상을 기록한다. 이후, 영상 서버(3)가 상기 객체 추적 영상을 사용자 단말(2)로 송출하면, 복수개 객체 영상의 채널을 전부 사용자 단말(2)로 전송하는 것에 비하여 데이터 트래픽의 부하를 줄일 수 있다. 또한, 사용자는 단일 스트림의 객체 추적 영상을 제공받기에 사용자가 채널을 전환할 필요없이 연속적인 영상으로 객체의 이동을 확인할 수 있어 사용자의 편의성이 증대된다.Referring to FIG. 4, the image server 3 adopts a channel of the object image 1 at time T and records the object tracking image, and then at time T + Δt, the channel of the object image 2 among the images of the object image 1 and the object image 2. Select to record the object tracking image. The image server 3 selects a channel of the object image 3 and records it as an object tracking image in the course of the contention between the object image 2 and the object image 3 at a time T + Δ2t. Accordingly, the image server 3 may receive an object image for each of a plurality of channels during the object tracking process, select an image of a specific channel in which object identification is superior, and record the object tracking image of a single stream. Thereafter, when the image server 3 transmits the object tracking image to the user terminal 2, the load of data traffic may be reduced as compared with transmitting all the channels of the plurality of object images to the user terminal 2. In addition, since the user is provided with a single stream of the object tracking image, the user can check the movement of the object in a continuous image without having to switch channels, thereby increasing user convenience.

도 5는 본 발명의 일 실시예에 따른 영상 서버(3)의 개략적 내부 구조도이다.5 is a schematic internal structural diagram of an image server 3 according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 영상 서버(3)는 추적 요청되는 객체를 등록받는 객체 정보 등록부(31), 영상으로부터 등록된 객체의 식별 정보를 추출하는 객체 정보 식별부(32), 식별된 객체 정보로 객체의 이동 정보를 예측하는 객체 이동 예측부(33), 예측된 이동 정보에 따라 카메라(5)를 선별하여 촬영 명령을 전송하는 촬영 명령 전송부(34) 및 촬영 명령에 의해 수신되는 객체 정보를 이용하여 단일 스트림의 객체 추적 영상을 생성하는 객체 추적 영상 생성부(35)를 포함하여 구성된다.The image server 3 according to an embodiment of the present invention includes an object information registration unit 31 that receives an object to be tracked, an object information identification unit 32 that extracts identification information of an object registered from an image, and an identified object. The object movement predicting unit 33 for predicting the movement information of the object with the information, the shooting command transmitter 34 for selecting the camera 5 according to the predicted movement information, and transmitting the shooting command, and the object received by the shooting command. And an object tracking image generator 35 for generating an object tracking image of a single stream using the information.

상기 객체 정보 등록부(31)는 추적 대상의 객체를 선택받고 객체의 추적을 요청받는다. 영상 서버(3)가 사용자 단말(2)로 요청된 채널 영상을 제공하는 과정에서 객체 정보 등록부(31)는 사용자 단말(2)로부터 특정 객체의 추적을 요청받을 수 있다. 한편, 객체 정보 등록부(31)가 사용자 단말(2)로부터 상기 채널 영상에서 객체를 선택받는 것이 아니라, 특정 객체의 이미지 파일을 업로드받아서 추적을 요청받아도 무방하다.The object information registration unit 31 receives an object to be tracked and is requested to track the object. In the process of providing the channel image requested by the image server 3 to the user terminal 2, the object information registration unit 31 may be requested to track a specific object from the user terminal 2. On the other hand, the object information registration unit 31 may not be selected from the user terminal 2 in the channel image, but instead of uploading an image file of a specific object may be requested to be tracked.

상기 객체 정보 식별부(32)는 등록된 객체의 정보를 채널 영상으로부터 추출하여 객체의 영상 식별 정보로서 저장한다. 여기서, 상기 객체 정보 식별부(32)는 객체의 식별력 높은 정보를 추출하고자, 당해 객체가 등장하는 채널별 영상을 검색할 수 있고, 검색된 영상으로부터 객체의 식별 정보를 추출하는 것도 무방하다.The object information identifying unit 32 extracts the information of the registered object from the channel image and stores the extracted object information as image identification information of the object. Here, the object information identification unit 32 may search for an image for each channel in which the object appears in order to extract information with high identification of the object, and may extract the identification information of the object from the searched image.

상기 객체 이동 예측부(33)는 수신된 카메라(5)의 영상 정보로부터 객체의 좌표를 추출하고, 2개의 추출된 좌표로부터 객체의 이동 거리, 이동 방향, 속도 등을 산출하여 객체의 이동 정보를 예측한다(도 3 참조).The object movement predicting unit 33 extracts coordinates of the object from the received image information of the camera 5, and calculates a moving distance, a moving direction, a speed, etc. of the object from the two extracted coordinates to obtain the movement information of the object. Predict (see FIG. 3).

상기 촬영 명령 전송부(34)는 예측된 이동 방향에서 최근 거리에 있는 적어도 하나 이상의 채널별 카메라(5)를 선택한다. 채널별 카메라(5)가 선택되면, 예측된 객체의 이동 방향 및 이동 속도 등의 예측 정보를 이용하여 선택된 개별 카메라(5)의 촬영 가시권에 진입하는 객체의 도달 시간을 산출하고, 산출된 시간 직전에 선택된 상기 카메라(5)로 촬영 명령을 전송한다(도 2 참조).The photographing command transmitter 34 selects at least one channel-specific camera 5 at a most recent distance in the predicted moving direction. When the camera 5 for each channel is selected, the arrival time of the object entering the photographing view of the selected individual camera 5 is calculated by using the prediction information such as the movement direction and the moving speed of the predicted object, and immediately before the calculated time. The photographing command is transmitted to the selected camera 5 (see FIG. 2).

한편, 촬영 명령 전송부(34)에 의해 이전 예측에서는 이동 방향의 카메라(5)로 선택되어 상기 고품질의 촬영 명령이 전송되었으나, 이번의 예측에서는 이동 방향의 카메라(5)로 선택되지 않을 수 있다. 이때, 촬영 명령 전송부(34)는 이번에 상기 선택되지 않은 카메라(5)로 일반 품질의 영상 촬영으로 복귀하라는 촬영 명령을 전송할 수 있다.In the previous prediction, the photographing command transmitter 34 selects the camera 5 in the moving direction and transmits the high quality photographing command. However, in the present prediction, the photographing command transmitter 34 may not select the camera 5 in the moving direction. . At this time, the photographing command transmission unit 34 may transmit a photographing command to return to the normal quality image photographing to the camera 5 which is not selected at this time.

상기 촬영 명령이 촬영 명령 전송부(34)에 의해 전송되면, 게이트웨이(4)의 촬영 명령 중개부(41)는 촬영 명령 전송부(34)로부터 전송되는 상기 촬영 명령을 수신하고, 대응하는 카메라(5)로 수신된 상기 촬영 명령을 전송한다. 또한, 게이트웨이(4)의 촬영 영상 중개부(42)는 각각의 채널별 카메라(5)가 송출하는 영상 정보를 수신하여 영상 서버(3)로 전송한다.When the photographing command is transmitted by the photographing command transmitter 34, the photographing command intermediate unit 41 of the gateway 4 receives the photographing command transmitted from the photographing command transmitter 34, and the corresponding camera ( 5) transmits the received shooting command. In addition, the captured image relay unit 42 of the gateway 4 receives image information transmitted by the camera 5 for each channel and transmits the image information to the image server 3.

여기서, 객체를 추적하기 위해 내리는 상기 촬영 명령은 비트 레이트 및 프레임 수가 일반 품질의 값보다 높게 설정된 고품질의 촬영 명령일 수 있다. 따라서, 감시 영역에 설치된 전체 채널별 카메라(5)는 평상시 일반 품질로 영상을 촬영하고 송출하지만, 객체 추적이 개시되어 추적 대상의 카메라로서 선정되면 상기 촬영 명령을 수신하면 고품질로 영상을 촬영하여 송출한다. Here, the photographing command issued to track an object may be a high quality photographing command in which a bit rate and a frame number are set higher than a general quality value. Accordingly, the cameras 5 for each channel installed in the surveillance area usually capture and transmit images with normal quality. However, if object tracking is started and selected as the camera to be tracked, the camera 5 captures and transmits images with high quality when receiving the shooting command. do.

상기 객체 추적 영상 생성부(35)는 상기 촬영 명령에 의해 촬영된 적어도 하나의 채널별 객체 영상을 수신하여 DB에 저장한다. 물론, 상기 촬영 명령을 받지 못한 경우에는 일반 품질의 채널별 영상이 촬영되어 DB에 저장된다. 그리고 객체 추적 영상 생성부(35)는 수신된 상기 객체 영상 중에서 특정 채널의 객체 영상을 선택하여 단일 스트림의 객체 추적 영상으로 생성한다(도 4 참조).The object tracking image generator 35 receives at least one object image for each channel photographed by the photographing command and stores the object image in a DB. Of course, when the photographing command is not received, images of channels of general quality are photographed and stored in the DB. The object tracking image generator 35 selects an object image of a specific channel from the received object images and generates the object tracking image of a single stream (see FIG. 4).

여기서, 상기 객체 추적 영상 생성부(35)는 복수개의 채널별 객체 영상을 수신할 경우, 객체의 크기가 가장 크게 촬영된 어느 하나의 객체 영상을 선택한 후 상기 객체 추적 영상으로 생성하여 DB에 저장할 수 있다. 또는 얼굴 인식이 가능한 객체일 경우, 객체 추적 영상 생성부(35)는 복수개의 채널별 객체 영상 중에서 객체의 얼굴 인식 필터링을 처리하여 얼굴 인식된 객체의 크기가 가장 크게 촬영된 객체 영상을 선택한 후 상기 객체 추적 영상으로 생성하여 DB에 저장할 수 있다. 물론, 객체 추적 영상 생성부(35)가 객체 크기 항목 및 얼굴 인식 항목에 각각 가중치를 설정하고, 각각의 항목에 가중치가 적용된 합산 점수에 따라서 객체 영상을 선택하여 객체 추적 영상으로 채택하여도 무방하다. 예를 들면, 얼굴 인식 항목의 가중치가 클 경우, 객체의 크기가 큰 채널 영상의 합산 점수보다 객체의 크기는 작지만 얼굴 인식이 되는 채널 영상의 합산 점수가 더 높아서 객체 추적 영상으로 선택될 수 있다.Here, when receiving the plurality of object images for each channel, the object tracking image generator 35 may select one object image having the largest size of the object and generate the object tracking image and store it in the DB. have. Alternatively, in the case of an object capable of face recognition, the object tracking image generator 35 processes the face recognition filtering of the object from among a plurality of channel object images, selects the object image having the largest size of the face recognized object, and then It can be created as object tracking image and saved in DB. Of course, the object tracking image generation unit 35 may set weights to the object size item and the face recognition item, respectively, and select the object image according to the sum score to which each item is applied and adopt the object tracking image as the object tracking image. . For example, when the weight of the face recognition item is large, the sum of the object image is smaller than the sum score of the channel image having the large size of the object but the sum score of the channel image that is the face recognition is higher and may be selected as the object tracking image.

상기의 실시예에서는, 영상 서버(3)가 객체의 이동 정보를 예측하면서, 이동 방향에 부합하여 선택된 카메라(5)들을 대상으로 고품질의 촬영 명령을 내리고, 이동 방향의 예측에서 벗어난 카메라(5)들을 대상으로 일반 품질의 촬영 명령을 내린다.In the above embodiment, the image server 3 issues a high quality shooting command to the cameras 5 selected according to the movement direction while predicting the movement information of the object, and the camera 5 is out of the prediction of the movement direction. Commands a general quality shot.

도 6은 본 발명의 다른 실시예에 따른 영상 서버(3)가 일반 품질로 복귀하는 촬영 명령을 내리는 예시도이다.6 is an exemplary diagram in which the image server 3 issues a photographing command to return to normal quality according to another embodiment of the present invention.

본 발명의 다른 실시예에서는 영상 서버(3)가 3개의 채널로부터 "고품질 객체 영상 1", "고품질 객체 영상 2" 및 ""고품질 객체 영상 3"을 수신한다고 가정한다. 객체 추적 영상 생성부(35)에 의해 3개의 수신된 객체 영상 중에서 "고품질 객체 영상 2"가 선택되어 객체 추적 영상으로 저장되면, 선택된 상기 객체 영상의 채널을 제외한 나머지 2개 채널의 영상에 대해 실시간으로 일반 품질의 촬영 명령을 전송한다. 따라서, 객체의 이동에 따라 복수개 채널의 카메라(5)로 고품질의 촬영 명령을 전송한 후 실제로 상기 객체 추적 영상으로 채택된 채널의 카메라(5)를 제외한 나머지 채널의 카메라(5)는 일반 품질의 촬영으로 복귀시키기 때문에 카메라(5)의 촬영 효율 및 DB의 저장 효율이 극대화될 수 있다.In another embodiment of the present invention, it is assumed that the image server 3 receives "high quality object image 1", "high quality object image 2", and "" high quality object image 3 "from three channels. 35), if the "high quality object image 2" is selected from the three received object images and stored as the object tracking image, the general quality photographing command is performed in real time on the images of the remaining two channels except for the channel of the selected object image. Therefore, after transmitting a high quality shooting command to the camera 5 of the plurality of channels according to the movement of the object, the camera 5 of the remaining channels except for the camera 5 of the channel actually adopted as the object tracking image. Since the return to normal quality shooting can be maximized the shooting efficiency of the camera 5 and the storage efficiency of the DB.

여기서, 상기 촬영 명령에 의해 고품질 촬영이 중단된 "일반 품질 객체 영상 1" 및 "일반 품질 객체 영상 3"의 채널별 카메라(5)는 다음번 예측시에 다시 객체 이동 예측부(33)에 의해 객체를 촬영할 카메라(5)로 선정되어 촬영 명령 전송부(34)에 의해 고품질의 촬영 명령을 전송받을 수 있다. 그리고 다시 객체 추적 영상 생성부(35)에 의해 "고품질 객체 영상 1" 및 "고품질 객체 영상 3"의 상기 채널별 카메라(5)의 객체 영상은 객체 추적 영상으로 선택받지 못하는 일련의 과정이 반복될 수 있다. 예를 들면, "고품질 객체 영상 1"의 카메라(5)가 촬영 가시 영역에 존재하는 객체를 촬영한 객체 영상을 송출하지만, "고품질 객체 영상 2"의 카메라(5)의 객체 영상이 객체 추적 영상으로 선택되기 때문에 "고품질 객체 영상 1"의 카메라(5)는 객체 추적 영상의 카메라(5)로 선택받지 못하면서 고품질 촬영 명령을 전송받은 후 이어서 일반 품질의 촬영 명령을 전송받고 다시 고품질 촬영 명령을 전송받는 일련의 소모적인 명령 수신 및 처리가 계속되는 것이다.Here, the cameras 5 for each channel of the "general quality object image 1" and the "general quality object image 3" whose high-quality image capturing are interrupted by the photographing command are performed by the object movement predictor 33 again at the next prediction. The camera 5 to be photographed may be selected to receive a high quality photographing command by the photographing command transmitter 34. In addition, the object tracking image generating unit 35 may repeat a series of processes in which the object image of the camera 5 for each channel of the "high quality object image 1" and the "high quality object image 3" is not selected as the object tracking image. Can be. For example, although the camera 5 of the "high quality object image 1" transmits the object image which photographed the object which exists in the imaging | photography viewing area, the object image of the camera 5 of the "high quality object image 2" is an object tracking image. Since the camera 5 of the "high quality object image 1" is not selected as the camera 5 of the object tracking image, the camera 5 of the "high quality object image 1" receives a high quality shooting command, and then receives a normal quality shooting command and transmits a high quality shooting command again. Receiving and processing a series of exhaustive instructions received.

그래서, 영상 서버(3)는 객체 추적 영상으로 선택받지 못한 나머지 카메라(5)로 일반 품질로 복귀하는 촬영 명령을 전송하고난 후, 일정 시간 동안 고품질의 촬영 명령의 전송을 제한한다. 예를 들면, "고품질 객체 영상 1" 및 "고품질 객체 영상 3"의 카메라(5)는 "고품질 객체 영상 2"가 객체 추적 영상으로 선택되어 일반 품질의 촬영 명령을 전송받는다. 이때, 객체 영상 1 및 객체 영상 3의 카메라(5)는 객체 영상을 촬영할 수 있지만 영상 서버(3)는 상기 카메라(5)들로 소정 시간 동안 고품질 촬영 명령의 전송을 제한하는 것이다. Thus, the image server 3 limits the transmission of the high quality shooting command for a predetermined time after transmitting the shooting command for returning to normal quality to the remaining camera 5 which is not selected as the object tracking image. For example, the cameras 5 of the "high quality object image 1" and the "high quality object image 3" select the "high quality object image 2" as the object tracking image and receive a general quality shooting command. In this case, the cameras 5 of the object image 1 and the object image 3 may capture the object image, but the image server 3 restricts the transmission of the high quality shooting command to the cameras for a predetermined time.

여기서, 객체 영상 1의 카메라(5)일 경우, 상기 소정 시간은 객체 영상 1의 카메라(5)가 고품질 촬영 명령을 전송받고 촬영한 객체 영상이 실제 객체 추적 영상으로 채택되기까지의 평균 시간일 수 있다. 또는, 상기 소정 시간은 객체 영상 2의 카메라(5)의 객체 영상이 객체 추적 영상으로 선택된 이후로 객체 영상 1의 카메라(5)의 객체 영상이 객체 추적 영상으로 선택되기까지의 과거의 누적된 시간의 평균 시간일 수 있다. 또는 상기 소정 시간(2)은 과거에 객체 영상 2의 카메라(5)가 객체 추적 영상으로 선택된 시간 동안의 평균 시간일 수 있다. 따라서, 영상 서버(3)는 과거의 경험치를 토대로 복수개 채널별 카메라(5)를 상대로 보다 지능적인 고품질 촬영을 제어하고 DB의 저장 공간을 효율적으로 절약할 수 있다.Here, in the case of the camera 5 of the object image 1, the predetermined time may be an average time until the object image photographed by the camera 5 of the object image 1 receives a high quality shooting command and is taken as the actual object tracking image. have. Alternatively, the predetermined time is a cumulative time in the past until the object image of the camera 5 of the object image 1 is selected as the object tracking image after the object image of the camera 5 of the object image 2 is selected as the object tracking image. It can be the average time of. Alternatively, the predetermined time 2 may be an average time during which the camera 5 of the object image 2 has been selected as the object tracking image in the past. Therefore, the image server 3 can control more intelligent high-quality shooting with respect to the cameras 5 for each channel based on past experience values, and can save the DB storage space efficiently.

도 7은 본 발명의 일 실시예에 따른 객체 추적 방법의 개략적 순서도이다.7 is a schematic flowchart of an object tracking method according to an embodiment of the present invention.

카메라(5)에 전원이 들어오면, 초기화 작업이 개시되어 카메라(5)의 장치 정보(예 : 아이디, IP 주소, 해상도, 코덱 정보, 위치, 촬영 거리 등)는 게이트웨이(4)를 통해 상기 영상 서버(3)로 전송되어 DB에 저장된다.When power is supplied to the camera 5, an initialization operation is started, and device information (eg, ID, IP address, resolution, codec information, location, shooting distance, etc.) of the camera 5 is transmitted through the gateway 4. It is sent to the server 3 and stored in the DB.

사용자 단말(2)은 영상 서버(3)에 로그인하고, 로그인 인증이 성공되면, 영상 서버(3)는 사용자 단말(2)이 요청하는 채널의 영상을 송출한다.The user terminal 2 logs in to the video server 3, and when the login authentication is successful, the video server 3 transmits an image of a channel requested by the user terminal 2.

사용자 단말(2)이 추적 대상의 객체를 지정하여 상기 객체의 추적을 요청하면(S21), 영상 서버(3)가 추적 요청을 수신하여 상기 지정된 객체의 정보를 DB에 저장한다(S31). 여기서, 사용자 단말(2)은 영상 서버(3)로부터 실시간 송출받아 화면에 표시되는 영상을 통해 사용자로부터 추적 대상의 객체를 선택받을 수 있다. 또한, 사용자 단말(2)은 사용자로부터 객체의 선택과 함께 고화질 또는 일반 품질, 해상도 등의 촬영 제어 정보를 선택받아 영상 서버(3)로 객체의 추적을 요청할 수 있다.When the user terminal 2 requests the tracking of the object by designating the object to be tracked (S21), the image server 3 receives the tracking request and stores the information of the designated object in the DB (S31). Here, the user terminal 2 may receive a real-time transmission from the image server 3 and receive a selection of an object to be tracked from the user through an image displayed on the screen. In addition, the user terminal 2 may request the tracking of the object to the image server 3 by receiving the selection of the object from the user and the selection of the photographing control information such as high quality or general quality, resolution.

객체의 추적이 요청되면, 영상 서버(3)는 영상 데이터로부터 객체가 식별되는 영상 정보를 객체 정보로서 추출한다(S32). 여기서, 영상 서버(3)는 사용자가 추적 요청한 객체가 식별되는 영상 데이터를 검색하고, 검색된 영상 데이터로부터 상기 객체 정보를 추출할 수 있다.When the tracking of the object is requested, the image server 3 extracts, as object information, image information from which the object is identified (S32). In this case, the image server 3 may search for image data in which the object requested by the user is identified, and extract the object information from the retrieved image data.

추적 대상의 객체 정보가 식별되면, 영상 서버(3)는 객체의 서로 다른 2개의 좌표를 이용하여 객체의 이동 방향과 이동 속도 등의 이동 정보를 산출하여 객체의 이동을 예측한다(S33).When the object information to be tracked is identified, the image server 3 calculates movement information such as a moving direction and a moving speed of the object by using two different coordinates of the object (S33).

객체의 이동 정보가 예측되면, 영상 서버(3)는 객체의 이동 방향에 위치하는 적어도 하나의 채널별 카메라(5)를 최단 거리의 순서로 선택한다(S34). 그리고 영상 서버(3)는 선택된 카메라(5)에 대해 카메라(5)의 촬영 거리 및 상기 이동 속도를 고려하여 객체의 출현 시간에 맞추어 고품질의 촬영 명령을 상기 선택된 카메라(5)로 전송한다(S341).When the movement information of the object is predicted, the image server 3 selects at least one channel-specific camera 5 located in the movement direction of the object in the order of the shortest distance (S34). The image server 3 transmits a high quality photographing command to the selected camera 5 in accordance with the appearance time of the object in consideration of the photographing distance and the moving speed of the camera 5 with respect to the selected camera 5 (S341). ).

여기서, 영상 서버(3)는 이동 방향의 카메라를 선택하면서, 이전의 예측에서는 이동 방향의 카메라로 선정되어 고품질의 촬영 명령을 수신했으나, 이번의 예측에서는 상기 선정에서 제외된 카메라를 대상으로 일반 품질의 촬영으로 복귀하라는 촬영 명령을 내릴 수 있다.Here, the image server 3 selects a camera in the moving direction and, in the previous prediction, is selected as the camera in the moving direction and receives a high quality shooting command, but in this prediction, the general quality is selected for the camera excluded from the selection. You can issue a shooting command to return to the shooting.

이후, 게이트웨이(4)는 영상 서버(3)로부터 상기 촬영 명령을 수신하고, 수신된 촬영 명령에 포함된 카메라(5)의 장치 아이디를 식별하여 해당 카메라(5)로 수신된 촬영 명령을 전송한다(S41). 물론, 상기 촬영 명령은 영상 서버(3)가 객체의 이동을 예측하여 주변의 카메라(5)들에게 고품질의 촬영을 개시하라고 미리 준비시키는 것이다. 따라서, 카메라(5)는 상기 촬영 명령을 전송받으면, 상기 카메라(5)의 촬영 거리 이내로 객체가 출현하는지 여부와 상관없이 객체의 위치 방향을 향하여 미리 고품질의 영상으로 촬영을 개시한다. Thereafter, the gateway 4 receives the photographing command from the image server 3, identifies a device ID of the camera 5 included in the received photographing command, and transmits the photographing command to the corresponding camera 5. (S41). Of course, the photographing command is to prepare the image server 3 in advance to predict the movement of the object to start the high-quality photographing to the nearby cameras 5. Therefore, when the camera 5 receives the photographing command, the camera 5 starts photographing in advance with a high quality image toward the position of the object regardless of whether the object appears within the photographing distance of the camera 5.

상기 카메라(5)는 고품질의 상기 촬영 명령을 수신하고, 수신된 상기 촬영 명령의 정보에 따라 고품질의 영상으로 객체를 촬영하여 객체가 포착된 객체 영상을 송출한다. 한편, 상기 게이트웨이(4)는 각각의 채널별 카메라(5)로부터 영상 정보를 수신하여 영상 서버(3)로 전송한다. 여기서, 게이트웨이(4)는 상기 촬영 명령을 수신한 카메라(5)에 의해 촬영된 객체 영상을 수신하여 영상 서버(3)로 전송한다(S42).The camera 5 receives the photographing command of high quality, photographs the object with a high quality image according to the received information of the photographing command, and transmits the object image in which the object is captured. Meanwhile, the gateway 4 receives image information from the camera 5 for each channel and transmits the image information to the image server 3. Here, the gateway 4 receives the object image photographed by the camera 5 receiving the photographing command and transmits the object image to the image server 3 (S42).

영상 서버(3)는 게이트웨이(4)의 중개를 통해 수신되는 각각의 채널별 영상 정보를 DB에 저장한다. 그리고 영상 서버(3)는 상기 고품질 촬영 명령에 의해 적어도 하나의 채널별 카메라(5)가 촬영한 객체 영상 중에서 적합한 객체 영상을 선택한다(S35). 여기서, 적합한 객체 영상은 영상으로부터 식별되는 객체의 크기가 가장 크거나 또는 객체의 얼굴이 인식되는 영상일 수 있다.The image server 3 stores image information for each channel received through the mediation of the gateway 4 in a DB. The image server 3 selects a suitable object image from the object images photographed by the at least one channel-specific camera 5 by the high quality photographing command (S35). Here, the suitable object image may be the image having the largest size of the object identified from the image or the face of the object being recognized.

객체 영상이 선택되면, 영상 서버(3)는 선택된 객체 영상을 단일 스트림의 객체 추정 영상으로 생성하여 DB에 저장한다(S351). 물론, 상기 객체 추정 영상은 복수개 채널별 카메라라 객체의 이동을 추적하면서 고품질로 촬영한 단일의 스트림 영상이다. 그리고 영상 서버(3)는 생성된 상기 객체 추적 영상을 객체의 추적을 요청한 사용자 단말(2)로 송출한다(S352). 따라서, 사용자는 사용자 단말(2)의 화면에 표시되는 객체 추적 영상을 통해 자연스럽게 연결되는 객체의 추적 영상을 감시할 수 있다. 이후 영상 서버(3)는 상기 단계(S33)부터 객체의 다음번 이동 예측을 수행한다.When the object image is selected, the image server 3 generates the selected object image as an object estimation image of a single stream and stores it in the DB (S351). Of course, the object estimation image is a single stream image photographed with high quality while tracking the movement of an object as a plurality of channel-specific cameras. The image server 3 transmits the generated object tracking image to the user terminal 2 that requests the tracking of the object (S352). Accordingly, the user may monitor the tracking image of the object to be naturally connected through the object tracking image displayed on the screen of the user terminal 2. Thereafter, the image server 3 performs the next movement prediction of the object from step S33.

한편, 상기의 영상 서버(3)의 촬영 명령 전송부(34)는 객체의 이동 방향을 예측하면서 감시 대상의 카메라(5)를 선정하는 1차 처리를 수행한다(S34). 상기 1차 처리는 영상 서버(3)가 객체의 출현 영상을 촬영할 수 있는 카메라(5) 후보들을 미리 선정해 놓는 것이다.On the other hand, the photographing command transmission unit 34 of the image server 3 performs the first process of selecting the camera 5 to be monitored while predicting the moving direction of the object (S34). The primary process is that the image server 3 preselects the candidates of the camera 5 capable of capturing the appearance image of the object.

상기 1차 처리를 계속하는 동안에 상기 촬영 명령 전송부(34)는 객체의 이동 속도를 예측하여 1차 처리에 의해 선정된 카메라(5)의 촬영 거리 이내로 객체가 출현하는 시점을 예측하면, 미리 상기 시점에 맞추어 고품질의 촬영 명령을 내리는 2차 처리를 수행한다(S341). 상기 2차 처리는 영상 서버(3)가 설정된 상기 카메라 후보들 중에서 객체 영상을 송출할 카메라(5) 후보들을 다시 한번 선별하여 촬영 개시의 명령을 내림으로써 카메라(5)의 효율성을 극대화하는 것이다.While the primary processing is continued, the photographing command transmission unit 34 predicts a moving speed of the object and predicts a time point at which the object appears within a shooting distance of the camera 5 selected by the primary processing. A secondary process of giving a high quality shooting command in accordance with the viewpoint is performed (S341). The secondary processing is to maximize the efficiency of the camera 5 by selecting the camera 5 candidates to which the object image is to be transmitted from the camera candidates set by the image server 3 and giving a command to start shooting.

그리고 상기 2차 처리 이후에 객체 추적 영상부(35)는 상기 촬영 명령을 통해 수신된 적어도 하나의 채널의 객체 영상 중에서 가장 적합한 객체 영상을 선택하여 객체 추적 영상을 생성하는 3차 처리를 수행한다(S35 및 S351). 상기 3차 처리는 객체 영상의 선택에 의해 객체의 식별성을 극대화하는 것이다. 이후, 영상 서버(3)는 다시 1차 처리부터 재개하여 2차 및 3차 3차 작업(S35 및 S351)을 지속적으로 수행한다.After the secondary processing, the object tracking imager 35 performs a tertiary process of generating an object tracking image by selecting an object image most suitable from among object images of at least one channel received through the photographing command ( S35 and S351). The third process is to maximize the discrimination of the object by selecting the object image. Thereafter, the image server 3 resumes the first process again to continuously perform the secondary and tertiary tertiary operations S35 and S351.

도 8은 본 발명의 다른 실시예에 따른 일반 품질로 복귀하는 촬영 명령을 내리는 객체 추적 방법의 개략적 순서도이다.8 is a schematic flowchart of an object tracking method for giving a shooting command to return to normal quality according to another embodiment of the present invention.

상기 영상 서버(3)는 상기의 단일 스트림의 객체 추적 영상을 생성하여 DB에 저장한다. 이후, 영상 서버(3)는 상기 객체 추적 영상을 생성하는데 선택된 채널의 객체 영상을 제외한 나머지 미선택된 채널의 카메라(5) 정보를 조회한다(S36).The video server 3 generates the object tracking video of the single stream and stores it in the DB. Thereafter, the image server 3 inquires the camera 5 information of the remaining unselected channel except for the object image of the selected channel to generate the object tracking image (S36).

상기 나머지의 카메라(5) 정보가 조회되면, 영상 서버(3)는 조회된 카메라들을 대상으로 일반 품질의 촬영 명령을 전송한다(S37).When the remaining camera 5 information is inquired, the image server 3 transmits a general quality photographing command to the inquired cameras (S37).

그리고 영상 서버(3)는 일반 품질의 촬영 명령을 전송받은 카메라가 다시 고품질의 촬영 명령을 전송받고 다시 객체 추적 영상으로 미선택되어 일반 품질의 촬영 명령을 전송받는 일련의 처리가 반복되는 것을 방지하고자, 고품질의 촬영 명령의 전송을 소정 시간 동안 제한한다(S371). 상기 소정 시간에 대해서는 위에서 이미 설명한 바 있다.In addition, the image server 3 is intended to prevent a series of processes in which a camera, which has received a general quality shooting command, receives a high quality shooting command and is unselected as an object tracking image, and receives a general quality shooting command. Transmission of a high quality shooting command is restricted for a predetermined time (S371). The predetermined time has already been described above.

상술한 실시예에서, "~부"라는 용어는 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템(1)의 하드웨어적 구분을 의미하는 용어로 사용된 것이 아니다. 따라서 복수의 구성부가 하나의 구성부로 통합될 수도 있고, 하나의 구성부가 복수의 구성부로 분할될 수도 있다. 또한, 구성부는 하드웨어의 구성부를 의미할 수도 있지만, 소프트웨어의 구성부를 의미할 수도 있다. 따라서 본 발명은 "~부"라는 용어에 의해 특별히 한정되지 않음을 이해하여야 할 것이다.In the above-described embodiment, the term "~ part" is not used to mean a hardware division of the object tracking system 1 that tracks the movement of an object using multiple cameras. Therefore, a plurality of components may be integrated into one component, or one component may be divided into a plurality of components. In addition, the component may mean a component of hardware, but may also mean a component of software. Therefore, it is to be understood that the present invention is not particularly limited by the term "part".

본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.Although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited thereto, and the technical spirit of the present invention and the claims to be described below by those skilled in the art to which the present invention pertains. Of course, various modifications and variations are possible within the scope of equivalents.

1 : 객체 추적 시스템 2 : 사용자 단말
3 : 영상 서버 4 : 게이트웨이
5 : 카메라1: object tracking system 2: user terminal
3: video server 4: gateway
5: camera

Claims (22)

다중 채널별로 각각 할당되고, 네트워크를 통해 전송된 촬영 명령의 객체 정보와 영상 품질을 이용하여 객체의 이동에 따라 객체 영상을 촬영하는 카메라부;
외부로부터 상기 촬영 명령을 전송받으면 상기 카메라부로 전송하고, 상기 카메라부로부터 영상 정보를 전송받으면 외부로 전송하는 게이트웨이부; 및
객체 정보를 등록받고, 상기 게이트웨이부를 통해 전송받은 채널별 상기 영상 정보로부터 추출된 상기 객체의 좌표를 이용하여 이동 정보를 예측하고, 예측된 이동 정보에 근접하는 적어도 하나의 카메라부를 선정하고, 선정된 카메라부로 고품질의 촬영 명령을 상기 게이트웨이부를 통해 전송하여 미리 촬영시키고, 상기 촬영 명령에 의해 촬영되어 채널별로 수신된 상기 카메라부의 객체 영상 중에서 객체의 식별이 우수한 특정 객체 영상을 감시 대상의 카메라부의 객체 영상으로 선택하여 단일 스트림의 객체 추적 영상으로 생성하고, 상기 고품질의 촬영 명령을 기 수신한 카메라부 중에서 상기 감시 대상의 카메라부로 선택되지 않은 카메라부에 일반 품질의 촬영 명령을 생성하여 전송하는 영상 서버부
를 포함하는 것을 특징으로 하는 객체 추적 시스템.A camera unit allocated to each of multiple channels and photographing an object image according to movement of the object by using object information and image quality of a photographing command transmitted through a network;
A gateway unit which transmits the photographing command to the camera unit when the photographing command is received from the outside and transmits the image information to the camera unit when receiving the image information from the camera unit; And
Registering object information, predicting movement information using coordinates of the object extracted from the image information for each channel received through the gateway unit, selecting at least one camera unit approaching the predicted movement information, and selecting The high-quality shooting command is transmitted to the camera unit through the gateway unit to pre-shoot the image. The object image of the camera unit to be monitored is a specific object image excellent in object identification among the object images captured by the shooting command and received for each channel. To generate a single stream of object tracking video, and to generate and transmit a general quality recording command to a camera unit which is not selected as the camera unit of the monitoring target among the camera units which have previously received the high quality shooting command.
Object tracking system comprising a. 제 1항에 있어서,
상기 영상 서버부에 접속하여 추적 대상의 객체를 등록하고, 상기 영상 서버부로 등록된 상기 객체의 추적 영상을 요청하면 상기 객체 추적 영상을 전송받는 사용자 단말을 더 포함하는 것을 특징으로 하는 객체 추적 시스템.The method of claim 1,
And a user terminal that receives the object tracking image when the object to be tracked is registered by accessing the video server unit and requests a tracking image of the object registered to the video server unit. 추적 대상의 객체 정보를 등록받는 객체 정보 등록부;
채널별 카메라부에 의해 각각 촬영된 적어도 하나의 영상으로부터 객체 정보를 추출하는 객체 정보 식별부;
상기 객체 정보로부터 분석된 객체의 좌표를 이용하여 객체의 이동 속도와 이동 방향을 산출하는 객체 이동 예측부;
상기 이동 속도와 상기 이동 방향을 이용하여 예측되는 적어도 하나의 카메라부를 선정하고, 선정된 상기 카메라부로 고품질의 촬영 명령을 전송하여 미리 촬영시키는 촬영 명령 전송부; 및
상기 촬영 명령에 의해 촬영되어 채널별로 수신된 상기 카메라부의 객체 영상 중에서 객체의 식별이 우수한 특정 객체 영상을 감시 대상의 카메라부의 객체 영상으로 선택하여 단일 스트림의 객체 추적 영상으로 생성하고, 상기 고품질의 촬영 명령을 기 수신한 카메라부 중에서 상기 감시 대상의 카메라부로 선택되지 않은 카메라부에 일반 품질의 촬영 명령을 생성하여 전송하는 객체 추적 영상 생성부
를 포함하는 영상 서버부를 포함하는 것을 특징으로 하는 객체 추적 시스템.An object information register to receive object information to be tracked;
An object information identification unit for extracting object information from at least one image photographed by the camera unit for each channel;
An object movement predicting unit configured to calculate a moving speed and a moving direction of the object using coordinates of the object analyzed from the object information;
A shooting command transmission unit which selects at least one camera unit predicted using the moving speed and the moving direction, and transmits a high quality shooting command to the selected camera unit in advance to take a picture; And
From the object image photographed by the photographing command and received for each channel, a specific object image having excellent object identification is selected as an object image of the camera unit to be monitored to generate a single stream of object tracking image, and the high quality photographing. An object tracking image generation unit generating and transmitting a general quality shooting command to a camera unit that is not selected as the camera unit to be monitored among the camera units which have received the command.
Object tracking system comprising a video server unit including a. 제 1항 또는 제 3항에 있어서,
상기 영상 서버부는,
상기 촬영 명령에 포함된 비트 레이트(bit rate) 및 프레임 수에 대하여 일반 영상 품질보다 높은 비율을 설정하여 고품질의 촬영 명령을 내리는 것을 특징으로 하는 객체 추적 시스템.The method according to claim 1 or 3,
The video server unit,
And a higher quality shooting command by setting a ratio higher than a general video quality with respect to the bit rate and the number of frames included in the shooting command. 제 1항 또는 제 3항에 있어서,
상기 영상 서버부는,
서로 다른 시간의 2개의 영상 프레임에 존재하는 객체의 좌표를 각각 추출한 후, 추출된 2개의 객체 좌표로 이동 속도와 이동 방향을 산출하여 객체의 이동 정보를 예측하는 것을 특징으로 하는 객체 추적 시스템.The method according to claim 1 or 3,
The video server unit,
And extracting the coordinates of the objects present in the two image frames at different times, and then calculating the moving speed and the moving direction using the extracted two object coordinates to predict the moving information of the object. 제 1항 또는 제 3항에 있어서,
상기 영상 서버부는,
객체의 이동 방향에서 객체의 위치와 가장 근접한 순서로 적어도 하나의 카메라부를 선정하고, 객체의 이동 속도를 고려하여 선정된 상기 카메라부로 상기 카메라부의 촬영 가시권에 도달하기 직전에 고품질의 촬영 명령을 전송하는 것을 특징으로 하는 객체 추적 시스템.The method according to claim 1 or 3,
The video server unit,
Selecting at least one camera unit in order of closest to the position of the object in the direction of movement of the object, and transmitting a high-quality shooting command to the camera unit selected in consideration of the moving speed of the object immediately before reaching the camera's visibility of the camera unit; Object tracking system, characterized in that. 제 1항 또는 제 3항에 있어서,
상기 영상 서버부는,
수신된 채널별 객체 영상으로부터 객체의 크기가 가장 크게 촬영된 상기 객체 영상을 선택하여 상기 객체 추적 영상으로 생성하는 것을 특징으로 하는 객체 추적 시스템.The method according to claim 1 or 3,
The video server unit,
The object tracking system of claim 1, wherein the object image is selected from the received object image for each channel, and the object image is selected to generate the object tracking image. 제 1항 또는 제 3항에 있어서,
상기 영상 서버부는,
수신된 채널별 객체 영상으로부터 객체의 얼굴 인식 필터링을 처리하여 얼굴 인식된 객체의 크기가 가장 크게 촬영된 상기 객체 영상을 선택하여 상기 객체 추적 영상으로 생성하는 것을 특징으로 하는 객체 추적 시스템.The method according to claim 1 or 3,
The video server unit,
And processing the face recognition filtering of the object from the received object image for each channel to select the object image in which the size of the face-recognized object is captured to generate the object tracking image. 삭제delete 제 1항 또는 제 3항에 있어서,
상기 영상 서버부는,
상기 객체 추적 영상을 생성하기 위한 고품질로 촬영된 상기 객체 영상이 선택되면, 선택된 상기 객체 영상의 채널 카메라부를 제외한 나머지 채널의 카메라부로 일반 품질의 촬영 명령을 생성하여 전송하는 것을 특징으로 하는 객체 추적 시스템.The method according to claim 1 or 3,
The video server unit,
When the object image photographed with high quality for generating the object tracking image is selected, the object tracking system generates and transmits a general quality shooting command to the camera unit of the remaining channel except the channel camera unit of the selected object image. . 제 1항 또는 제 3항에 있어서,
상기 영상 서버부는,
상기 일반 품질의 촬영 명령을 수신한 상기 카메라부에 대하여 일정 시간 동안 고품질의 촬영 명령의 전송을 제한하는 것을 특징으로 하는 객체 추적 시스템.The method according to claim 1 or 3,
The video server unit,
And limiting the transmission of a high quality shooting command for a predetermined time to the camera unit receiving the general quality shooting command. 제 1항 또는 제 3항에 있어서,
상기 카메라부는,
상기 촬영 명령으로부터 추출된 객체 정보를 이용하여 자동으로 팬(pan), 틸트(tilt), 줌(zoom) 기능을 제어하여 영상을 촬영하는 기능;
상기 촬영 명령으로부터 추출된 객체 정보 및 촬영 제어 정보를 이용하여 상기 촬영 제어 정보에 의해 팬, 틸트, 줌 기능을 제어받아 영상을 촬영하는 기능; 및
상기 촬영 명령으로부터 추출된 객체 정보를 이용하여 객체의 존재가 인식되면 자동으로 고품질의 객체 영상을 촬영하고, 객체의 존재가 사라지면 자동으로 일반 품질로 영상을 촬영하는 기능
중에서 적어도 하나의 기능을 구비하는 것을 특징으로 하는 객체 추적 시스템.The method according to claim 1 or 3,
The camera unit,
A function of automatically capturing an image by controlling a pan, tilt, and zoom function using object information extracted from the photographing command;
A function of capturing an image by controlling the pan, tilt, and zoom functions by the shooting control information by using the object information and the shooting control information extracted from the shooting command; And
A function of automatically photographing a high quality object image when the existence of an object is recognized using the object information extracted from the photographing command, and automatically photographing the image at a normal quality when the existence of the object disappears.
Object tracking system characterized in that it has at least one function. 객체 정보를 등록받아 객체가 존재하는 채널별 복수개 객체 영상으로부터 단일 스트림의 객체 추적 영상을 생성하는 영상 서버부가 실행하는 영상 분석 방법에 있어서,
(a)추적 대상의 객체 정보를 등록받는 객체 추적 요청 단계;
(b)채널별 카메라부에 의해 각각 촬영된 적어도 하나의 영상으로부터 객체 정보를 추출하는 객체 정보 식별 단계;
(c)추출된 상기 객체 정보로부터 분석된 객체의 좌표를 이용하여 객체의 이동 속도와 이동 방향을 산출하는 객체 이동 예측 단계;
(d)산출된 객체의 이동 정보를 이용하여 예측되는 적어도 하나의 카메라부를 선정하고, 선정된 상기 카메라부로 고품질의 촬영 명령을 전송하여 미리 촬영시키는 촬영 명령 전송 단계;
(e)상기 촬영 명령에 의해 촬영되어 수신된 채널별 객체 영상 중에서 상기 객체의 식별이 우수한 특정 객체 영상을 감시 대상의 카메라부의 객체 영상으로 선택하여 단일 스트림의 객체 추적 영상으로 생성하는 객체 추적 영상 생성 단계; 및
(f)상기 고품질의 촬영 명령을 기 수신한 카메라부 중에서 상기 감시 대상의 카메라부로 선택되지 않은 카메라부에 일반 품질의 촬영 명령을 생성하여 전송하는 단계
를 포함하는 것을 특징으로 하는 객체 추적 방법.An image analysis method performed by an image server unit receiving object information and generating an object tracking image of a single stream from a plurality of object images for each channel in which an object exists.
(a) an object tracking request step of registering object information of a tracking target;
(b) an object information identification step of extracting object information from at least one image photographed by the camera unit for each channel;
(c) an object movement prediction step of calculating a moving speed and a moving direction of the object using coordinates of the object analyzed from the extracted object information;
(d) a photographing command transmitting step of selecting at least one camera part predicted by using the calculated movement information of the object, and transmitting a photographing command of a high quality to the selected camera part in advance to photograph;
(e) Generating an object tracking image by selecting a specific object image having excellent identification of the object among the object images for each channel photographed and received by the shooting command as an object image of a camera unit to be monitored and generating a single stream object tracking image step; And
(f) generating and transmitting a general quality shooting command to a camera unit that is not selected as the camera unit to be monitored among the camera units which have previously received the high quality shooting command;
Object tracking method comprising a. 제 13항에 있어서,
상기 단계(a)는,
사용자 단말이 상기 영상 서버부에 네트워크 접속하여 추적 대상의 객체를 등록하여 상기 객체 추적 영상을 요청하는 단계; 및
상기 객체 추적 영상이 생성되면, 상기 사용자 단말이 상기 영상 서버부로부터 송출되는 상기 객체 추적 영상을 제공받는 단계
를 더 포함하는 것을 특징으로 하는 객체 추적 방법.The method of claim 13,
Step (a) is,
A user terminal requesting the object tracking image by registering an object to be tracked by network connection to the image server unit; And
When the object tracking image is generated, the user terminal receiving the object tracking image transmitted from the image server unit
Object tracking method further comprises. 제 13항에 있어서,
상기 단계(b) 이전에,
게이트웨이부가 각각의 상기 채널별 카메라부로부터 촬영된 영상을 전송받고, 상기 영상을 영상 서버부로 중개 전송하는 단계를 더 포함하는 것을 특징으로 하는 객체 추적 방법.The method of claim 13,
Before step (b),
The gateway unit further comprises the step of receiving the captured image from the camera unit for each channel, and transmitting the image to the image server unit further comprising the step of tracking the object. 제 13항에 있어서,
상기 단계(c)는,
상기 영상 서버부가 서로 다른 시간의 2개의 영상 프레임에 존재하는 객체의 좌표를 각각 추출한 후, 추출된 2개의 객체 좌표로 이동 속도와 이동 방향을 산출하여 객체의 이동 정보를 예측하는 단계인 것을 특징으로 하는 객체 추적 방법.The method of claim 13,
Step (c) is,
And extracting the coordinates of the objects present in the two image frames at different times, and then calculating the moving speed and the moving direction using the extracted two object coordinates to predict the moving information of the object. How to track objects. 제 13항에 있어서,
상기 단계(d)는,
상기 영상 서버부가 객체의 상기 이동 방향에서 객체의 위치와 가장 근접한 순서로 적어도 하나의 카메라부를 선정하는 단계;
상기 영상 서버부가 객체의 상기 이동 속도를 고려하여 선정된 상기 카메라부로 상기 카메라부의 촬영 가시권에 도달하기 직전에 촬영 명령을 전송하는 단계; 및
게이트웨이부가 상기 영상 서버부로부터 상기 촬영 명령을 수신하여 대응하는 채널별 카메라부로 중개하여 전송하는 단계
를 더 포함하는 것을 특징으로 하는 객체 추적 방법.The method of claim 13,
Step (d) is,
Selecting at least one camera unit in the order in which the image server unit is closest to the position of the object in the moving direction of the object;
Transmitting, by the image server unit, a photographing command to the camera unit selected in consideration of the moving speed of an object immediately before reaching the photographing visibility of the camera unit; And
The gateway unit receives the photographing command from the image server unit and relays the photographing command to the corresponding camera unit for each channel.
Object tracking method further comprises. 제 13항 또는 제 17항에 있어서,
상기 단계(d)는,
상기 영상 서버부가 상기 촬영 명령에 포함된 비트 레이트(bit rate) 및 프레임 수에 대하여 일반 품질보다 높은 비율을 설정하여 고품질의 촬영 명령을 내리는 단계인 것을 특징으로 하는 객체 추적 방법.The method according to claim 13 or 17,
Step (d) is,
And the image server issuing a high quality shooting command by setting a ratio higher than normal quality with respect to the bit rate and the number of frames included in the shooting command. 제 13항에 있어서,
상기 단계(e) 이전에,
게이트웨이부가 각각의 상기 채널별 카메라부로부터 상기 촬영 명령에 의해 촬영된 상기 채널별 객체 영상을 전송받아 상기 영상 서버부로 중개 전송하는 단계를 더 포함하는 것을 특징으로 하는 객체 추적 방법.The method of claim 13,
Before step (e),
And a gateway unit receiving the object image for each channel photographed by the photographing command from each camera unit for each channel and intermediaryly transmitting the object image to the image server unit. 제 13항 또는 19항에 있어서,
상기 단계(e)는,
상기 영상 서버부가 상기 채널별 객체 영상으로부터 객체의 크기가 가장 크게 촬영된 상기 객체 영상을 선택하는 단계; 및 상기 영상 서버부가 상기 채널별 객체 영상으로부터 객체의 얼굴 인식 필터링을 처리하여 얼굴 인식된 객체의 크기가 가장 크게 촬영된 상기 객체 영상을 선택하는 단계
중에서 적어도 어느 하나의 단계를 이용하여 상기 객체 추적 영상으로 생성하는 단계인 것을 특징으로 하는 객체 추적 방법.The method of claim 13 or 19,
Step (e),
Selecting, by the image server unit, the object image from which the size of the object is largest, from the object image for each channel; And processing the face recognition filtering of an object from the object image for each channel by the image server to select the object image in which the size of the face-recognized object is captured.
And generating the object tracking image by using at least one of the steps. 삭제delete 제 13항에 있어서,
상기 단계(f)는, 상기 영상 서버가,
상기 일반 품질의 촬영 명령을 수신한 상기 카메라부에 대하여 일정 시간 동안 고품질의 촬영 명령의 전송을 제한하는 단계를 더 실행하는 것을 특징으로 하는 객체 추적 방법.The method of claim 13,
Step (f), the video server,
And limiting the transmission of a high quality shooting command for a predetermined time to the camera unit which has received the general quality shooting command.
KR1020120118382A 2012-10-24 2012-10-24 System for tracking object using multi cameras and method thereof KR102014285B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120118382A KR102014285B1 (en) 2012-10-24 2012-10-24 System for tracking object using multi cameras and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120118382A KR102014285B1 (en) 2012-10-24 2012-10-24 System for tracking object using multi cameras and method thereof

Publications (2)

Publication Number Publication Date
KR20140052357A KR20140052357A (en) 2014-05-07
KR102014285B1 true KR102014285B1 (en) 2019-11-04

Family

ID=50885610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120118382A KR102014285B1 (en) 2012-10-24 2012-10-24 System for tracking object using multi cameras and method thereof

Country Status (1)

Country Link
KR (1) KR102014285B1 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101485022B1 (en) * 2014-10-20 2015-01-21 에코아이넷 주식회사 Object tracking system for behavioral pattern analysis and method thereof
KR101648786B1 (en) * 2014-12-05 2016-08-30 삼성에스디에스 주식회사 Method of object recognition
KR101523027B1 (en) * 2014-12-31 2015-05-26 주식회사 리노아이엔씨 Intrusion detection system using mobile terminal
KR101686797B1 (en) 2015-02-13 2016-12-28 대한민국 Method for analyzing a visible area of a closed circuit television considering the three dimensional features
CN108668106B (en) * 2017-03-28 2019-10-11 杭州海康威视数字技术股份有限公司 Camera status acquisition methods, video camera and camera chain
KR101941660B1 (en) * 2018-09-03 2019-01-24 렉스젠(주) Image processing apparatus and method thereof
KR20200055297A (en) * 2018-11-13 2020-05-21 전자부품연구원 PTZ camera control system and mothod based on reinforcement learning
KR102039277B1 (en) * 2018-12-07 2019-10-31 장승현 Pedestrian face recognition system and method thereof
US11468576B2 (en) * 2020-02-21 2022-10-11 Nec Corporation Tracking within and across facilities
KR102183473B1 (en) * 2020-07-22 2020-11-27 (주)대교씨엔에스 Method for monitoring images and apparatus for the same
KR102211734B1 (en) * 2020-08-28 2021-02-03 주식회사 문창 Video surveillance device using image correction filter
KR102242694B1 (en) * 2020-11-19 2021-04-26 (주)대교씨엔에스 Monitoring method and apparatus using video wall
KR102242693B1 (en) * 2020-11-19 2021-04-26 (주)대교씨엔에스 Monitoring method and apparatus based on video management system
KR102435528B1 (en) * 2021-01-18 2022-08-23 주식회사 씨제이이엔엠 Method for generating fancam video for each person and service server thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009021983A (en) * 2007-06-13 2009-01-29 Panasonic Corp Monitor image recording apparatus
JP2011170711A (en) * 2010-02-19 2011-09-01 Toshiba Corp Moving object tracking system and moving object tracking method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325180A (en) * 1993-05-14 1994-11-25 Matsushita Electric Ind Co Ltd Automatic tracking device for moving body
KR101001060B1 (en) * 2006-03-15 2010-12-14 오므론 가부시키가이샤 Tracking device, tracking method, tracking device control program, and comuter readable recording medium
KR100994722B1 (en) 2008-08-01 2010-11-16 포항공과대학교 산학협력단 Method for tracking moving object on multiple cameras using probabilistic camera hand-off

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009021983A (en) * 2007-06-13 2009-01-29 Panasonic Corp Monitor image recording apparatus
JP2011170711A (en) * 2010-02-19 2011-09-01 Toshiba Corp Moving object tracking system and moving object tracking method

Also Published As

Publication number Publication date
KR20140052357A (en) 2014-05-07

Similar Documents

Publication Publication Date Title
KR102014285B1 (en) System for tracking object using multi cameras and method thereof
JP6696615B2 (en) Monitoring system, monitoring method, and recording medium storing monitoring program
JP5891061B2 (en) Video monitoring apparatus, monitoring system, and monitoring system construction method
US7227569B2 (en) Surveillance system and a surveillance camera
US9509900B2 (en) Camera control method, and camera control device for same
JP5790761B2 (en) Distributed image processing system
CN107766788B (en) Information processing apparatus, method thereof, and computer-readable storage medium
EP2757771B1 (en) Image pickup apparatus, remote control apparatus, and methods of controlling image pickup apparatus and remote control apparatus
KR20010085692A (en) Intruding object monitoring method and intruding object monitoring system
JP6807548B2 (en) Processing equipment, control methods, programs, and intercom systems
US10122984B2 (en) Pan/tilt/zoom camera based video playing method and apparatus
KR100967718B1 (en) Video watch system using object recognition information
US20180213185A1 (en) Method and system for monitoring a scene based on a panoramic view
JP2019176306A (en) Monitoring system and control method therefor, and program
JP2012257021A (en) Display control device and method, program, and recording medium
CN110633648A (en) Face recognition method and system in natural walking state
JP2007067510A (en) Video image photography system
US20120268605A1 (en) Image display device
JP2006093955A (en) Video processing apparatus
KR101178886B1 (en) High resolution digital ptz camera, monitoring system including high resolution digital ptz camera and data transmisson method thereof
KR20140044875A (en) Method and systems for providing video data streams to multiple users
JP2012257173A (en) Tracking device, tracking method, and program
KR102080456B1 (en) method of controlling object tracking of PTZ camera by use of syntax data in compressed video
KR20120046509A (en) Method and for apparatus for adjusting camera focus
JP2009296536A (en) Moving image relay distributing device, moving image relay distributing method and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant