KR102572907B1

KR102572907B1 - Rotating camera image object position information providing system and method thereof

Info

Publication number: KR102572907B1
Application number: KR1020220126503A
Authority: KR
Inventors: 김인수; 한현택; 유명철
Original assignee: 주식회사 엔티에스; 유명철
Priority date: 2022-10-04
Filing date: 2022-10-04
Publication date: 2023-08-31

Abstract

본 발명은 영상 객체 위치정보 제공 시스템 및 방법에 관한 것으로, 더욱 상세하게는 회전 카메라가 촬영하고 있는 촬영 방향(회전 방향(각도) 및 틸팅 각도), 설치 높이 및 화각에 의해 회전 카메라의 설치 위치에서 상기 회전 카메라에서 촬영되는 영상의 화각 중심점이 지시하는 지면까지의 거리(이하 "중앙 거리"라 함) 및 영상의 폭에 대한 넓이를 계산하고, 회전 카메라가 설치된 경위도 좌표에 기반하여 상기 화각 중심점의 경위도 좌표인 중심 좌표를 계산하며, 상기 중심 좌표 및 화각을 기준으로 영상 내 객체의 경위도 좌표를 계산하여 제공하는 회전 카메라 영상 객체 위치정보 제공 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for providing video object location information, and more particularly, to a camera installation position by a shooting direction (rotation direction (angle) and tilting angle), installation height, and angle of view in which a rotation camera is taking pictures. Calculate the distance to the ground indicated by the center point of the angle of view of the image captured by the rotating camera (hereinafter referred to as “center distance”) and the width of the image, and calculate the area of the center point of the angle of view based on the longitude and latitude coordinates in which the rotating camera is installed. A system and method for providing location information of a rotating camera image object that calculates a center coordinate, which is a longitude and latitude coordinate, and calculates and provides the longitude and latitude coordinate of an object in an image based on the center coordinate and the angle of view.

Description

Rotating camera image object position information providing system and method

본 발명은 영상 객체 위치정보 제공 시스템 및 방법에 관한 것으로, 더욱 상세하게는 회전 카메라의 설치 높이, 촬영 방향, 화각 및 회전 카메라 설치 경위도 좌표를 이용하여 회전 카메라를 통해 촬영되고 있는 영상 내에 존재하는 객체들의 경위도 좌표를 측정하여 제공하는 회전 카메라 영상 객체 위치정보 제공 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for providing video object location information, and more particularly, to an object present in an image captured by a rotating camera using coordinates of installation height, photographing direction, angle of view, and longitude and latitude of the rotating camera installation. The present invention relates to a system and method for providing location information of a rotating camera image object that measures and provides latitude and longitude coordinates of objects.

공공기관이나 기업 등에서 특정 시설물이나 지역 내에 발생하는 다양한 사건, 사고에 대한 사전 예방, 혹은 사후 검증 등을 위해 다양한 보안시스템을 설치하고 있다.Various security systems are installed in public institutions and companies to prevent various incidents and accidents that occur in specific facilities or areas, or to verify post-mortem.

이러한 보안시스템 중 많이 사용되는 보안시스템은 직관적이고 직접적으로 상황을 용이하게 확인할 수 있는 영상기반 보안시스템이다.Among these security systems, a frequently used security system is an image-based security system that can easily and intuitively check a situation.

이와 같은 장점으로 영상기반 보안시스템의 보급이 급속도로 빨라지고 있으며, 성능과 기능 면에서 빠르게 발전하고 있다.With these advantages, the spread of image-based security systems is rapidly increasing, and they are rapidly developing in terms of performance and functions.

최근, 영상기반 보안시스템은 카메라를 통해 촬영되는 영상 내에서 관심 객체들을 검출하고, 검출한 객체의 종류를 분류하며, 행위 등의 정보를 생성하는 인공지능 기반의 영상 분석 기술이 적용되고 있으며, 카메라가 설치된 위치를 기반으로 촬영된 영상 내의 관심 객체를 추적하는 데 이용되고 있다. Recently, an image-based security system has been applied with artificial intelligence-based image analysis technology that detects objects of interest in images captured by cameras, classifies the types of detected objects, and generates information such as actions. is used to track an object of interest in a captured image based on the installed location.

그러나 종래 영상기반 보안시스템은 검출된 관심 객체의 위치는 경찰 등의 관리자가 육안으로 확인할 수 있도록 하고, 카메라가 설치된 위치정보에 기반하여 위치를 추정할 수 있도록 할 뿐 영상 내의 관심 객체에 대한 물리적인 정확한 위치정보를 확인할 수 없는 문제점이 있다.However, in the conventional image-based security system, the location of the detected object of interest can be visually checked by a manager such as a police officer, and the location can be estimated based on the location information where the camera is installed. There is a problem that the exact location information cannot be confirmed.

이러한 문제점을 해결하기 위해 대한민국 등록특허 제10-2327872호, [영상기반 추적 객체의 GPS 좌표추출장치 및 그 장치의 구동방법](2021.11.17. 공고)(이하 "선행기술"이라 함)은 영상 내 객체의 GPS 좌표를 추출하여 제공하는 기술을 개시하고 있다.In order to solve this problem, Korean Patent Registration No. 10-2327872, [GPS coordinate extraction device of image-based tracking object and method of driving the device] (announced on November 17, 2021) (hereinafter referred to as "prior art") is an image A technique for extracting and providing the GPS coordinates of my object is disclosed.

그러나 선행기술은 영상 내의 지면상의 네 개의 포인트에 대한 GPS 좌표를 알고 있어야 한다.However, the prior art needs to know the GPS coordinates of four points on the ground in the image.

따라서 종래 선행기술은 관리자가 카메라의 설치 시 카메라의 설치 위치 및 화각에 따른 영상 내의 4개 이상의 포인트에 GPS 좌표정보를 입력하여야 하므로, 관리자 관점에서 번거로운 문제점이 있다.Therefore, in the prior art, since the manager must input GPS coordinate information to four or more points in the image according to the camera installation position and angle of view when installing the camera, there is a cumbersome problem from the manager's point of view.

또한, 종래 선행기술은 회전 및 틸팅 기능 중 어느 하나 이상을 지원하는 카메라를 적용하는 경우 카메라가 회전하여 촬영 방향이 변경되거나, 틸팅 각이 변경되어 촬영 각도가 변경되어 화면상에서 지정된 포인트 중 어느 하나 이상이 사라지는 경우, 변경된 방향 및 각도의 영상에 대한 영상 내 관심 객체의 위치를 추적할 수 없는 문제점이 있다.In addition, in the prior art, when a camera supporting one or more of the rotation and tilting functions is applied, the camera is rotated to change the shooting direction, or the tilting angle is changed to change the shooting angle to change any one or more of the designated points on the screen. When disappears, there is a problem in that the position of the object of interest in the image with respect to the image of the changed direction and angle cannot be tracked.

따라서 종래 선행기술은 고정식 카메라에서는 화면 내의 객체의 경위도 좌표를 추적할 수 있는 효과를 가지나, 회전식 카메라에는 적용할 수 없는 문제점이 있다.Therefore, the conventional prior art has an effect of tracking longitude and latitude coordinates of an object in a screen in a fixed camera, but has a problem in that it cannot be applied to a rotational camera.

또한, 종래 선행기술은 틸팅 각도의 변경에 대응하는 4개 이상의 포인트에 대한 GPS 좌표정보를 입력하여 관심 객체의 위치를 추적할 수 있을지 모르나, 화면 내에 들어오는 객체의 종류가 달라지므로 틸팅 각도에 따른 더 많은 포인트에 대한 GPS 좌표정보를 입력하여야 하므로 관리자 관점에서 번거로운 문제점이 있다.In addition, the conventional prior art may be able to track the position of an object of interest by inputting GPS coordinate information for four or more points corresponding to a change in the tilting angle, but since the type of object entering the screen changes, more Since GPS coordinate information for many points must be input, there is a cumbersome problem from the manager's point of view.

대한민국 등록특허 제10-2327872호(2021.11.17.공고)Republic of Korea Patent Registration No. 10-2327872 (2021.11.17. Notice)

따라서 본 발명의 목적은 회전 카메라가 촬영하고 있는 촬영 방향(회전 방향(각도) 및 틸팅 각도), 설치 높이 및 화각에 의해 회전 카메라의 설치 위치에서 상기 회전 카메라에서 촬영되는 영상의 화각 중심점이 지시하는 지면까지의 거리(이하 "중앙 거리"라 함) 및 영상의 폭에 대한 넓이를 계산하고, 회전 카메라가 설치된 경위도 좌표에 기반하여 상기 화각 중심점의 경위도 좌표인 중심 좌표를 계산하며, 상기 중심 좌표 및 화각을 기준으로 영상 내 객체의 경위도 좌표를 계산하여 제공하는 회전 카메라 영상 객체 위치정보 제공 시스템 및 방법을 제공함에 있다.Therefore, an object of the present invention is to indicate the central point of the angle of view of the image captured by the rotating camera at the installation position of the rotating camera by the shooting direction (rotation direction (angle) and tilting angle), installation height, and angle of view in which the rotating camera is taking pictures. Calculate the distance to the ground (hereinafter referred to as “central distance”) and the area relative to the width of the image, calculate the center coordinates, which are longitude and latitude coordinates of the center point of the angle of view, based on the longitude and latitude coordinates of the rotation camera installed, and calculate the center coordinates and An object of the present invention is to provide a system and method for providing location information of an object in an image of a rotating camera that calculates and provides latitude and longitude coordinates of an object in an image based on an angle of view.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 회전 카메라 영상 객체 위치정보 제공 시스템은: 회전 및 틸팅 기능을 가지고 기준 회전방향, 기준 틸팅각도 및 기준 화각 각각에 대한 기준 방향정보, 기준 틸팅각도정보 및 기준화각정보를 가지며, 상기 기준방향을 기준으로 한 회전방향, 기준 틸팅 각도를 기준으로 한 틸팅각도 및 화각을 측정하고, 측정된 회전방향정보 및 틸팅각도정보를 가지는 촬영 방향정보 및 화각정보를 포함하는 카메라상태정보와, 상기 카메라상태정보에 따른 촬영영상을 전송하는 회전 카메라; 및 상기 회전 카메라로부터 상기 카메라상태정보 및 촬영 영상을 수신받고, 상기 회전 카메라의 설치 높이 및 상기 카메라상태정보의 틸팅각도정보에 의해 계산되는 상기 회전 카메라의 위치에서 상기 촬영 영상 내의 화각 중심점까지의 중앙 거리와, 상기 회전방향정보 및 상기 회전 카메라가 설치된 회전 카메라의 경위도 좌표에 의해 상기 화각 중심점의 경위도 좌표인 중심점 좌표를 계산하여 제공하는 영상 객체 좌표 인식부를 포함하는 것을 특징으로 한다.In order to achieve the above object, a rotation camera image object location information providing system according to the present invention has a rotation and tilt function, and includes reference direction information, reference tilt angle information, and reference direction information for each reference rotation direction, reference tilt angle, and reference angle of view Has reference view angle information, measures the rotation direction based on the reference direction, the tilt angle and angle of view based on the reference tilt angle, and includes photographing direction information and view angle information having the measured rotation direction information and tilt angle information a rotating camera that transmits camera state information and a photographed image according to the camera state information; and receiving the camera state information and the captured image from the rotating camera, and a center from a position of the rotating camera calculated by an installation height of the rotating camera and tilting angle information of the camera state information to a center point of the angle of view in the captured image. and an image object coordinate recognizing unit that calculates and provides center point coordinates, which are longitude and latitude coordinates of the center point of the angle of view, based on the distance, the rotation direction information, and the longitude and latitude coordinates of the rotation camera in which the rotation camera is installed.

상기 영상 객체 좌표 인식부는, 상기 회전 카메라와 데이터통신을 수행하는 통신부; 상기 카메라상태정보 및 촬영 영상을 저장하는 카메라 상태정보저장부를 포함하는 저장부; 및 상기 통신부를 통해 상기 카메라상태정보 및 촬영 영상을 수신받아 상기 카메라 상태정보 저장부에 저장하고, 상기 회전 카메라의 설치 높이 및 상기 카메라상태정보의 틸팅각도정보에 의해 계산되는 상기 회전 카메라의 위치에서 상기 촬영 영상 내의 화각 중심점까지의 중앙 거리와, 상기 회전방향정보 및 상기 회전 카메라가 설치된 회전 카메라의 경위도 좌표에 의해 상기 화각 중심점의 경위도 좌표인 중심점 좌표를 계산하여 제공하는 제어모듈을 포함하는 것을 특징으로 한다.The image object coordinate recognizing unit may include a communication unit performing data communication with the rotating camera; a storage unit including a camera status information storage unit for storing the camera status information and captured images; And receiving the camera state information and captured images through the communication unit and storing them in the camera state information storage unit, at the position of the rotation camera calculated by the installation height of the rotation camera and the tilting angle information of the camera status information. and a control module that calculates and provides center point coordinates, which are longitude and latitude coordinates of the center point of the angle of view, based on the central distance to the center point of the angle of view in the captured image, the rotation direction information, and the longitude and latitude coordinates of the rotation camera in which the rotation camera is installed. to be

상기 제어모듈은, 상기 통신부를 통해 상기 카메라상태정보 및 촬영 영상을 수신받아 상기 카메라 상태정보 저장부에 저장하는 카메라 정보 획득부; 상기 회전 카메라의 설치 높이 및 상기 카메라상태정보의 틸팅각도정보에 의해 상기 회전 카메라의 위치에서 상기 촬영 영상 내의 화각 중심점까지의 중앙 거리와, 상기 회전방향정보 및 상기 회전 카메라가 설치된 회전 카메라의 경위도 좌표에 의해 상기 화각 중심점의 경위도 좌표인 중심점 좌표를 계산하는 중심점 좌표 계산부; 상기 중심점 좌표를 상기 촬영 영상의 해당 중심점에 오버레이한 좌표 영상을 생성하는 좌표 영상 생성부; 및 상기 좌표 영상을 외부의 좌표 영상 출력부로 출력하는 좌표 영상 제공부를 포함하는 것을 특징으로 한다.The control module may include: a camera information acquiring unit receiving the camera state information and captured images through the communication unit and storing them in the camera state information storage unit; The center distance from the location of the rotation camera to the center point of the angle of view in the captured image based on the installation height of the rotation camera and the tilting angle information of the camera state information, the rotation direction information, and the longitude and latitude coordinates of the rotation camera in which the rotation camera is installed a center point coordinate calculation unit that calculates center point coordinates that are longitude and latitude coordinates of the center point of the angle of view; a coordinate image generation unit for generating a coordinate image obtained by overlaying the coordinates of the center point with a corresponding center point of the captured image; and a coordinate image providing unit outputting the coordinate image to an external coordinate image output unit.

상기 제어모듈은, 상기 촬영 영상 내의 객체를 검출하는 객체 인식부; 및The control module may include an object recognition unit detecting an object in the photographed image; and

상기 중심점 좌표와 카메라상태정보의 화각정보에 기반하여 상기 객체 인식부에서 검출된 촬영 영상 내의 객체의 경위도 좌표를 계산하는 객체 좌표 계산부를 더 포함하고, 상기 좌표 영상 생성부는, 상기 촬영 영상의 검출된 상기 객체 각각에 대응하는 위치에 해당 객체의 경위도 좌표를 더 오버레이하여 상기 좌표 영상을 생성하는 것을 특징으로 한다.An object coordinate calculation unit for calculating longitude and latitude coordinates of an object in the captured image detected by the object recognition unit based on the center point coordinates and the view angle information of the camera state information, wherein the coordinate image generator comprises: It is characterized in that the coordinate image is generated by further overlaying longitude and latitude coordinates of the object at positions corresponding to each of the objects.

상기 객체 인식부는, 상기 촬영 영상 내의 상기 객체인 지면을 검출하는 지면 인식부; 상기 촬영 영상 내의 상기 객체인 건물을 검출하는 건물 인식부; 및 상기 촬영 영상 내의 상기 객체인 물체를 검출하는 물체 인식부를 포함하되, 상기 객체 좌표 계산부는, 상기 지면과 각 건물이 접하는 지점 중 어느 한 지점 이상, 상기 지면과 물체가 접하는 지점 중 어느 한 지점 이상에 대한 물체의 경위도 좌표를 계산하고, 상기 좌표 영상 생성부는, 상기 객체 좌표 계산부에 의해 계산된 객체의 경위도 좌표를 영상의 해당 객체와 지면이 접하는 해당 위치에 오버레이하는 것을 특징으로 한다.The object recognizing unit may include: a ground recognizing unit detecting the ground as the object in the captured image; a building recognition unit detecting a building as the object in the photographed image; and an object recognizing unit detecting the object, which is the object in the captured image, wherein the object coordinate calculation unit detects at least one point among points where the ground and each building come into contact with each other, and at least one point among points where the ground and the object come into contact with each other. The latitude and longitude coordinates of the object are calculated for , and the coordinate image generation unit overlays the longitude and latitude coordinates of the object calculated by the object coordinate calculation unit on a corresponding position where the corresponding object of the image and the ground are in contact.

상기 객체 좌표 계산부는, 검출된 상기 지면과 상기 촬영 영상의 프레임이 만나는 지점에 대한 프레임 접점 경위도 좌표를 더 계산하고, 상기 좌표 영상 생성부는, 상기 지면과 상기 촬영 영상의 프레임이 만나는 지점에 대응하는 위치에 프레임 접점 경위도 좌표를 더 오버레이하는 것을 특징으로 한다.The object coordinate calculation unit further calculates latitude and longitude coordinates of frame contact points for a point where the detected ground and the frame of the captured image meet, and the coordinate image generator generates a coordinate corresponding to a point where the ground and the frame of the captured image meet. It is characterized by further overlaying the frame contact latitude and longitude coordinates on the location.

상기 객체 좌표 계산부는, 상기 중심점 좌표를 기준으로 상기 촬영 영상의 화각에 따른 상기 촬영 영상의 프레임의 네 모서리에 대응하는 촬영 영상의 지점에 대한 모서리 경위도 좌표를 더 계산하고, 상기 좌표 영상 생성부는, 상기 촬영 영상의 프레임의 네 모서리에 모서리 경위도 좌표를 더 오버레이하는 것을 특징으로 한다.The object coordinate calculation unit further calculates corner longitude and latitude coordinates of points of the captured image corresponding to four corners of the frame of the captured image according to the angle of view of the captured image based on the coordinates of the center point, and the coordinate image generator, It is characterized in that the corner longitude and latitude coordinates are further overlaid on the four corners of the frame of the captured image.

상기 카메라 정보 획득부는 상기 회전 카메라의 설치 높이 및 상기 회전 카메라의 경위도 좌표를 회전 카메라로부터 수신받아 획득하는 것을 특징으로 한다.The camera information obtaining unit may receive and acquire an installation height of the rotation camera and longitude and latitude coordinates of the rotation camera from the rotation camera.

상기 카메라 정보 획득부는, 다수의 회전 카메라 각각에 대해 상기 저장부에 미리 설정된 상기 회전 카메라의 설치 높이 및 상기 회전 카메라의 경위도 좌표를 포함하는 카메라 설치 정보 DB로부터 로드하여 획득하는 것을 특징으로 한다.The camera information acquiring unit may load and acquire the camera installation information DB including installation heights of the rotation cameras preset in the storage unit and longitude and latitude coordinates of the rotation cameras for each of the plurality of rotation cameras.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 회전 카메라 영상 객체 위치정보 제공 방법은: 회전 및 틸팅 기능을 가지고 기준 방향, 기준 틸팅각도 및 기준 화각 각각에 대한 기준 회전방향정보, 기준 틸팅각도정보 및 기준화각정보를 가지는 회전 카메라가 상기 기준방향을 기준으로 한 회전방향, 기준 틸팅 각도를 기준으로 한 틸팅각도 및 화각을 측정하고, 측정된 회전방향정보 및 틸팅각도정보를 가지는 촬영 방향정보 및 화각정보를 포함하는 카메라상태정보와, 상기 카메라상태정보에 따른 촬영영상을 영상 객체 좌표 인식부로 전송하는 카메라 정보 전송 과정; 및 상기 영상 객체 좌표 인식부가 통신부를 통해 상기 카메라상태정보 및 촬영 영상을 수신받아 카메라 상태정보 저장부에 저장하고, 상기 회전 카메라의 설치 높이 및 상기 카메라상태정보의 틸팅각도정보에 의해 계산되는 상기 회전 카메라의 위치에서 상기 촬영 영상 내의 화각 중심점까지의 중앙 거리와, 상기 회전방향정보 및 상기 회전 카메라가 설치된 회전 카메라의 경위도 좌표에 의해 상기 화각 중심점의 경위도 좌표인 중심점 좌표를 계산하여 제공하는 영상 경위도 좌표 계산 과정을 포함하는 것을 특징으로 한다.In order to achieve the above object, a method for providing location information of a rotation camera image object according to the present invention includes: reference rotation direction information, reference tilt angle information, and The rotating camera having the reference angle of view information measures the rotation direction based on the reference direction, the tilting angle and the angle of view based on the reference tilting angle, and the photographing direction information and angle of view information having the measured rotation direction information and tilting angle information A camera information transmission process of transmitting camera state information including camera state information and a captured image according to the camera state information to an image object coordinate recognizing unit; and the image object coordinate recognizing unit receives the camera state information and the captured image through the communication unit and stores the camera state information storage unit, and the rotation calculated by the installation height of the rotating camera and the tilting angle information of the camera state information. Image longitude and latitude coordinates obtained by calculating center point coordinates, which are longitude and latitude coordinates of the center point of the angle of view, based on the central distance from the position of the camera to the center point of the angle of view in the captured image, the rotation direction information, and the longitude and latitude coordinates of the rotation camera in which the rotation camera is installed. Characterized in that it includes a calculation process.

상기 영상 경위도 좌표 계산 과정은, 상기 영상 객체 좌표 인식부의 제어모듈이 카메라 정보 획득부를 통해 상기 카메라상태정보 및 촬영영상을 수신받아 상기 카메라 상태정보 저장부에 저장하는 카메라 정보 획득 단계; 상기 제어모듈이 중심점 좌표 계산부를 통해 상기 회전 카메라의 설치 높이 및 상기 카메라상태정보의 틸팅각도정보에 의해 상기 회전 카메라의 위치에서 상기 촬영 영상 내의 화각 중심점까지의 중앙 거리와, 상기 회전방향정보 및 상기 회전 카메라가 설치된 회전 카메라의 경위도 좌표에 의해 상기 화각 중심점의 경위도 좌표인 중심점 좌표를 계산하는 중심점 좌표 계산 단계; 상기 제어모듈이 좌표 영상 생성부를 통해 상기 중심점 좌표를 상기 촬영 영상의 해당 중심점에 오버레이한 좌표 영상을 생성하는 좌표 영상 생성 단계; 및 상기 제어모듈이 좌표 영상 제공부를 통해 상기 좌표 영상을 외부의 좌표 영상 출력부로 출력하는 좌표 영상 제공부를 포함하는 것을 특징으로 한다.The process of calculating the longitude and latitude coordinates of the image may include a camera information acquisition step in which the control module of the image object coordinate recognizing unit receives the camera state information and captured images through the camera information acquisition unit and stores them in the camera state information storage unit; The central distance from the location of the rotation camera to the center point of the angle of view in the captured image, the rotation direction information and the center point coordinate calculation step of calculating center point coordinates, which are long and long coordinates of the center point of the angle of view, based on longitude and latitude coordinates of a rotation camera in which a rotation camera is installed; a coordinate image generating step in which the control module generates a coordinate image obtained by overlaying the center point coordinates on a corresponding center point of the captured image through a coordinate image generator; and a coordinate image providing unit for outputting the coordinate image to an external coordinate image output unit through the coordinate image providing unit.

상기 영상 경위도 좌표 계산 과정은, 상기 제어모듈이 객체 인식부를 통해 상기 촬영 영상 내의 객체를 검출하는 객체 인식 단계; 및 상기 제어모듈이 객체 좌표 계산부를 통해 상기 중심점 좌표 및 카메라상태정보의 화각정보에 기반하여 상기 객체 인식부에서 검출된 촬영 영상 내의 객체의 경위도 좌표를 계산하는 물체 좌표 계산 단계를 더 포함하고, 상기 좌표 영상 생성 단계에서 상기 제어모듈이 상기 촬영 영상의 검출된 상기 객체 각각에 대응하는 위치에 해당 객체의 경위도 좌표를 더 오버레이하여 상기 좌표 영상을 생성하는 것을 특징으로 한다.The process of calculating the longitude and latitude coordinates of the image may include an object recognition step in which the control module detects an object in the captured image through an object recognition unit; and an object coordinate calculation step of calculating, by the control module, longitude and latitude coordinates of an object in a photographed image detected by the object recognition unit based on the center point coordinates and view angle information of the camera state information through an object coordinate calculation unit, wherein the In the coordinate image generating step, the control module may generate the coordinate image by further overlaying longitude and latitude coordinates of the corresponding object at positions corresponding to each of the detected objects in the captured image.

상기 객체 인식 단계는, 상기 제어모듈이 상기 촬영 영상 내의 상기 객체인 지면을 검출하는 지면 인식 단계; 상기 제어모듈이 상기 촬영 영상 내의 상기 객체인 건물을 검출하는 건물 인식 단계; 및 상기 촬영 영상 내의 상기 객체인 물체를 검출하는 물체 인식 단계를 포함하되, 상기 물체 좌표 계산 단계에서 상기 제어모듈이 상기 지면과 각 건물이 접하는 지점 중 어느 한 지점 이상, 상기 지면과 물체가 접하는 지점 중 어느 한 지점 이상에 대한 물체의 경위도 좌표를 계산하고, 상기 좌표 영상 생성 단계에서 상기 제어모듈이 상기 객체 좌표 계산부에 의해 계산된 객체의 경위도 좌표를 영상의 해당 객체와 지면이 접하는 해당 위치에 오버레이하는 것을 특징으로 한다.The object recognizing step may include a ground recognizing step in which the control module detects the ground, which is the object in the captured image; a building recognition step in which the control module detects a building as the object in the photographed image; and an object recognition step of detecting the object, which is the object in the captured image, wherein in the object coordinate calculation step, the control module selects at least one point among points where the ground and each building come into contact, and a point where the ground and the object come into contact. The longitude and latitude coordinates of an object are calculated for one or more of the points, and in the coordinate image generation step, the control module transfers the longitude and latitude coordinates of the object calculated by the object coordinate calculator to a corresponding position where the corresponding object of the image and the ground are in contact. It is characterized by overlaying.

상기 물체 좌표 계산 단계에서, 상기 제어모듈이 검출된 상기 지면과 상기 촬영 영상의 프레임이 만나는 지점에 대한 프레임 접점 경위도 좌표를 더 계산하고, 상기 좌표 영상 생성 단계에서 상기 제어모듈이 상기 지면과 상기 촬영 영상의 프레임이 만나는 지점에 대응하는 위치에 프레임 접점 경위도 좌표를 더 오버레이하는 것을 특징으로 한다.In the object coordinate calculation step, the control module further calculates longitude and latitude coordinates of a frame contact point for a point where the detected ground and the frame of the captured image meet, and in the coordinate image generating step, the control module calculates the coordinates of the ground and the captured image. It is characterized in that the latitude and longitude coordinates of the frame contact point are further overlaid at the position corresponding to the point where the frames of the image meet.

본 발명은 카메라의 설치 시 카메라가 설치된 경위도 좌표정보 및 설치 높이만 입력하여, 촬영되는 영상 내의 객체의 경위도 좌표정보인 영상 객체 좌표를 측정할 수 있는 효과가 있다.The present invention has an effect of measuring image object coordinates, which is longitude and latitude coordinate information of an object in a captured image, by inputting only longitude and latitude coordinate information and installation height when the camera is installed.

따라서 본 발명은 회전식 카메라가 적용된 보안시스템에서도 영상 내의 객체에 대한 경위도 좌표를 측정할 수 있는 효과가 있다.Therefore, the present invention has an effect of measuring longitude and latitude coordinates of an object in an image even in a security system to which a rotating camera is applied.

또한, 본 발명은 관리자가 일일이 카메라의 회전 방향 및 틸팅 방향을 포함하는 카메라의 촬영 방향에 따른 다수의 포인트에 대한 경위도 좌표정보를 입력할 필요가 없으므로, 관리자 관점에서 편리성을 제공할 수 있는 효과가 있다.In addition, the present invention does not require the manager to individually input longitude and latitude coordinate information for a plurality of points according to the shooting direction of the camera including the rotation direction and tilting direction of the camera, so the effect that can provide convenience from the manager's point of view there is

또한, 본 발명은 지면을 검출하고, 지면과 물체가 접하는 위치의 경위도 좌표를 측정 및 제공하므로 물체에 대한 보다 정확한 위치정보를 제공할 수 있는 효과가 있다. In addition, since the present invention detects the ground and measures and provides longitude and latitude coordinates of a location where the ground and the object come into contact, there is an effect of providing more accurate location information on the object.

도 1은 본 발명에 따른 회전 카메라 영상 객체 위치정보 제공 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 카메라 영상 객체 위치정보 제공 시스템의 영상 객체 좌표 인식부의 구성을 나타낸 도면이다.
도 3은 본 발명에 따른 회전 카메라의 틸팅 각도 및 카메라 설치 높이에 따른 회전 카메라 위치에서 화각 중심점까지의 중앙 거리 계산 방법을 설명하기 위한 도면이다.
도 4는 본 발명에 따른 영상 내 객체의 좌표 측정 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 제1 실시 예에 따른 회전 카메라 영상 객체 위치정보 제공 방법을 나타낸 흐름도이다.
도 6은 본 발명의 제2 실시 예에 따른 회전 카메라 영상 객체 위치정보 제공 방법을 나타낸 흐름도이다.1 is a diagram showing the configuration of a rotation camera image object location information providing system according to the present invention.
2 is a diagram showing the configuration of an image object coordinate recognizing unit of a camera image object location information providing system according to the present invention.
3 is a diagram for explaining a method of calculating a central distance from a rotation camera location to a center point of an angle of view according to a tilt angle of the rotation camera and a camera installation height according to the present invention.
4 is a diagram for explaining a method of measuring coordinates of an object in an image according to the present invention.
5 is a flowchart illustrating a method for providing location information of a rotating camera image object according to a first embodiment of the present invention.
6 is a flowchart illustrating a method for providing location information of a rotating camera image object according to a second embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명에 따른 회전 카메라 영상 객체 위치정보 제공 시스템의 구성 및 동작을 상세히 설명하고, 상기 시스템에서의 회전 카메라 영상의 객체 위치정보 제공 방법을 설명한다.Hereinafter, the configuration and operation of a system for providing object location information of a rotating camera image according to the present invention will be described in detail with reference to the accompanying drawings, and a method for providing object location information of a rotating camera image in the system will be described.

도 1은 본 발명에 따른 회전 카메라 영상 객체 위치정보 제공 시스템의 구성을 나타낸 도면이다.1 is a diagram showing the configuration of a rotation camera image object location information providing system according to the present invention.

도 1을 참조하면, 본 발명에 따른 회전 카메라 영상 객체 위치정보 제공 시스템은 하나 이상의 회전 카메라(10) 및 영상 객체 좌표 인식부(20)를 포함하고, 실시 예에 따라 좌표 영상 출력부(30)를 더 포함할 수 있을 것이다.Referring to FIG. 1 , a rotation camera image object location information providing system according to the present invention includes one or more rotation cameras 10 and an image object coordinate recognizing unit 20, and according to an embodiment, a coordinate image output unit 30 may include more.

상기 회전 카메라(10), 영상 객체 좌표 인식부(20) 및 좌표 영상 출력부(30) 각각은 유무선 데이터통신망(40)에 유선 및 무선 중 어느 하나로 연결되어, 상호 데이터통신을 수행한다.Each of the rotating camera 10, image object coordinate recognizing unit 20, and coordinate image outputting unit 30 is connected to the wired/wireless data communication network 40 either wired or wirelessly to perform mutual data communication.

상기 유무선 데이터통신망(40)은 와이파이(WiFi)를 포함하는 로컬망(Local Area Network: LAN)일 수도 있고, 다수의 로컬망을 포함하는 인터넷망일 수도 있으며, 3세대(3 Generation: 3G), 4G, 5G 등을 포함하는 이동통신망 및 상기 인터넷망이 결합된 데이터통신망일 수도 있을 것이다.The wired/wireless data communication network 40 may be a local area network (LAN) including Wi-Fi, or an Internet network including a plurality of local networks, and may be a 3rd generation (3G), 4G It may be a data communication network in which a mobile communication network including , 5G, etc., and the Internet network are combined.

상기 영상 객체 좌표 인식부(20)는 회전 카메라(10) 및 좌표 영상 출력부(30)와 무선 및 유선 중 어느 하나로 직접 연결되어, 상호 데이터통신을 수행할 수 있도록 구성될 수도 있을 것이다.The image object coordinate recognizing unit 20 may be directly connected to the rotation camera 10 and the coordinate image output unit 30 either wirelessly or wired to perform mutual data communication.

회전 카메라(10)는 360도 또는 일정 각도 이상 회전될 수 있고, 90도 또는 일정 각도 이상 틸팅될 수 있으며, 인터넷 프로토콜(Internet Protocol: IP)을 통해 상기 유무선 데이터통신망(40)에 유선 및 무선으로 연결될 수 있거나 직접 영상 객체 좌표 인식부(20)에 연결될 수 있는 카메라일 수 있고, 기준 방향, 기준 틸팅각도 및 기준 화각(기준 줌 배율) 각각을 기준으로 한 회전방향정보, 틸팅 각도 정보, 화각정보를 가지고 있을 것이다. 상기 기준 방향은 정북 방향 등이 될 수도 있고, 미리 설정된 임의의 방향일 수도 있을 것이다. 또한, 상기 기준 틸팅 각도는 지면에 대한 수평 각도인 0°일 수도 있고, 지면에 대한 수직 각도를 0°으로 하는 각도일 수도 있음, 지면에 대한 수평방향 또는 지면에 대한 수직방향을 기준으로 한 미리 설정된 임의의 각도일 수도 있을 것이다. The rotating camera 10 can be rotated 360 degrees or more than a certain angle, can be tilted 90 degrees or more than a certain angle, and can be wired and wirelessly connected to the wired and wireless data communication network 40 through Internet Protocol (IP). It may be a camera that can be connected or directly connected to the image object coordinate recognizing unit 20, and rotation direction information, tilt angle information, and view angle information based on a reference direction, a reference tilt angle, and a reference angle of view (reference zoom magnification), respectively will have The reference direction may be a true north direction or the like, or may be an arbitrary direction set in advance. In addition, the reference tilting angle may be 0°, which is a horizontal angle with respect to the ground, or an angle in which a vertical angle with respect to the ground is 0°. It may be an arbitrary set angle.

상기 회전 카메라(10)는 상기 기준 방향을 기준으로 한 회전방향, 기준 틸팅 각도를 기준으로 한 틸팅 각도 및 화각를 측정하고, 측정된 회전방향정보 및 틸팅 각도 정보를 가지는 촬영방향정보 및 화각정보를 포함하는 카메라상태정보와, 상기 카메라상태정보에 따른 촬영영상를 카메라 식별정보와 함께 영상 객체 좌표 인식부(20)로 전송한다.The rotating camera 10 measures a rotation direction based on the reference direction, a tilting angle and an angle of view based on the reference tilting angle, and includes photographing direction information and view angle information having the measured rotation direction information and tilting angle information. The camera state information and the captured image according to the camera state information are transmitted to the image object coordinate recognizing unit 20 together with the camera identification information.

상기 회전 카메라(10)는 특정 지역의 특정 위치의 지주, 건물 등에 설치되되, 넓은 영역을 촬영할 수 있도록 지면으로 높은 곳에 설치된다.The rotating camera 10 is installed on a post, a building, etc. at a specific location in a specific area, and is installed high above the ground to capture a wide area.

따라서 회전 카메라(10)는 실시 예에 따라 카메라가 설치된 지면으로부터의 높이(h) 정보, 카메라가 설치된 상기 위치에 대한 경위도 좌표를 가지고 있으며, 상기 카메라상태정보 및 촬영영상을 영상 객체 좌표 인식부(20)로 전송 시 높이 정보 및 설치 경위도 좌표를 함께 보내도록 구성될 수도 있을 것이다.Therefore, the rotating camera 10 has height (h) information from the ground where the camera is installed and longitude and latitude coordinates of the location where the camera is installed according to the embodiment, and the camera state information and the captured image are converted to an image object coordinate recognition unit ( 20), it may be configured to send height information and installation longitude coordinates together.

상기 회전 카메라(10)가 높이 정보 및 설치 경위도 좌표를 가지고 있지 않은 경우, 영상 객체 좌표 인식부(20)가 각 회전 카메라(10)에 대한 카메라 식별정보에 맵핑하여 설치 높이 정보 및 설치 경위도 좌표를 가지고 있어야 할 것이다.When the rotating camera 10 does not have height information and installation longitude and latitude coordinates, the video object coordinate recognizing unit 20 maps the camera identification information for each rotation camera 10 to obtain the installation height information and installation longitude and latitude coordinates. you should have

상기 회전 카메라(10)는 자체 제어수단에 의해 일정 시간 간격 또는 랜덤하게 미리 설정된 각도 단위로 미리 설정된 회전 각도(예: 360도)를 회전하면서 촬영하도록 구성될 수도 있고, 영상 객체 좌표 인식부(20)의 제어를 받아 회전하도록 구성될 수도 있을 것이다.The rotation camera 10 may be configured to take pictures while rotating a preset rotation angle (eg, 360 degrees) at predetermined time intervals or randomly preset angle units by its own control means, and the image object coordinate recognition unit 20 ) It may be configured to rotate under the control of.

영상 객체 좌표 인식부(20)는 상기 회전 카메라(10)로부터 상기 카메라상태정보 및 촬영 영상을 수신받고, 상기 회전 카메라의 설치 높이, 상기 카메라상태정보의 틸팅각도정보 및 상기 카메라상태정보의 화각정보에 의해 계산되는 상기 회전 카메라(10)의 위치에서 상기 촬영 영상 내의 화각 중심점까지의 중앙 거리와, 상기 회전방향정보 및 상기 회전 카메라(10)가 설치된 지점의 경위도 좌표에 의해 상기 화각 중심점의 경위도 좌표인 중심점 좌표를 계산하여 좌표 영상 출력부(30)로 제공한다.The image object coordinate recognizing unit 20 receives the camera state information and the captured image from the rotation camera 10, and receives the installation height of the rotation camera, the tilting angle information of the camera state information, and the angle of view information of the camera state information. The longitude and latitude coordinates of the center point of the angle of view based on the center distance from the position of the rotating camera 10 calculated by The center point coordinates are calculated and provided to the coordinate image output unit 30 .

영상 객체 좌표 인식부(20)는 촬영 영상 내에 포함된 지면, 건물, 물체 등을 포함하는 객체를 검출하고, 자신의 경위도 좌표, 상기 중심 좌표 및 화각에 기반하여 상기 객체들의 경위도 좌표인 영상 객체 좌표를 계산하여 해당 객체에 대응하는 위치에 표시한다. 상기 객체는 사람, 동물, 자동차, 건물, 지면 등이 될 수도 있고, 물, 불, 연기 등이 될 수도 있을 것이다.The image object coordinate recognizing unit 20 detects objects including ground, buildings, objects, etc. included in the captured image, and obtains image object coordinates, which are longitude and latitude coordinates of the objects, based on its longitude and latitude coordinates, the center coordinates, and the angle of view. is calculated and displayed at the location corresponding to the object. The object may be a person, animal, vehicle, building, ground, or the like, or may be water, fire, or smoke.

상기 영상 객체 좌표 인식부(20)의 상세 구성 및 동작은 다음의 도 2를 참조하여 상세히 설명한다.The detailed configuration and operation of the image object coordinate recognizing unit 20 will be described in detail with reference to FIG. 2 below.

좌표 영상 출력부(30)는 액정디스플레이(Liquid Crystal Display: LCD) 등과 같은 디스플레이 장치일 수도 있고, 관리자가 사용하는 컴퓨터 단말기 또는 모바일 단말기일 수도 있으며, 프린터 등이 될 수도 있을 것이다.The coordinate image output unit 30 may be a display device such as a liquid crystal display (LCD), a computer terminal or a mobile terminal used by a manager, or a printer.

상기 좌표 영상 출력부(30)는 영상 객체 좌표 인식부(20)로부터 중심점 좌표 및 영상 물체 좌표 등의 경위도 좌표가 오버레이된 영상(이하 "좌표 영상"이라 함)을 디스플레이하거나 프린트한다.The coordinate image output unit 30 displays or prints an image (hereinafter referred to as “coordinate image”) overlaid with longitude and latitude coordinates such as center point coordinates and image object coordinates from the image object coordinate recognizing unit 20 .

도 2는 본 발명에 따른 카메라 영상 객체 위치정보 제공 시스템의 영상 객체 좌표 인식부의 구성을 나타낸 도면이고, 도 3은 본 발명에 따른 회전 카메라의 틸팅 각도 및 카메라 설치 높이에 따른 회전 카메라 위치에서 화각 중심점까지의 중앙 거리 계산 방법을 설명하기 위한 도면이며, 도 4는 본 발명에 따른 영상 내 객체의 좌표 측정 방법을 설명하기 위한 도면이다. 이하 도 2 내지 도 4를 참조하여 설명한다.2 is a view showing the configuration of the image object coordinate recognizing unit of the camera image object location information providing system according to the present invention, and FIG. 3 is the center point of the angle of view at the rotation camera position according to the tilting angle and camera installation height of the rotation camera according to the present invention 4 is a diagram for explaining a method for calculating a central distance to , and FIG. 4 is a diagram for explaining a method for measuring coordinates of an object in an image according to the present invention. It will be described with reference to FIGS. 2 to 4 below.

본 발명에 따른 영상 객체 좌표 인식부(20)는 저장부(110), 통신부(120) 및 제어 모듈(130)을 포함한다.The image object coordinate recognition unit 20 according to the present invention includes a storage unit 110, a communication unit 120 and a control module 130.

저장부(110)는 본 발명에 따른 영상 객체 좌표 인식부(20)의 전반적인 동작을 제어하기 위한 제어프로그램을 저장하는 프로그램영역, 상기 제어프로그램 수행 중에 발생되는 데이터를 임시 저장하는 임시영역, 상기 제어프로그램 수행에 필요한 데이터 및 상기 제어프로그램 수행 중에 발생되는 데이터를 반영구적으로 저장하는 데이터영역을 포함한다. 상기 저장부(110)는 제어모듈(130)에 의해 회전 카메라(10)로부터 수신되는 카메라상태정보 및 촬영 영상을 저장하는 카메라 상태정보 저장부(111)가 구성된다.The storage unit 110 includes a program area for storing a control program for controlling the overall operation of the image object coordinate recognition unit 20 according to the present invention, a temporary area for temporarily storing data generated during execution of the control program, and the control program. It includes a data area for semi-permanently storing data required for program execution and data generated during execution of the control program. The storage unit 110 includes a camera status information storage unit 111 that stores camera status information and captured images received from the rotation camera 10 by the control module 130 .

상기 데이터영역에는 실시 예에 따라 다수의 회전 카메라(10)의 카메라 식별정보, 카메라 식별정보에 대응하는 회전 카메라(10)가 설치된 지역의 주소정보 및 경위도 좌표, 해당 회전 카메라(10)의 설치 높이를 포함하는 회전 카메라(10)별 카메라 설치 정보를 저장하는 카메라 설치 정보 DB(112)가 구성될 수 있을 것이다.In the data area, camera identification information of a plurality of rotating cameras 10 according to an embodiment, address information and longitude and latitude coordinates of a region in which the rotating cameras 10 are installed corresponding to the camera identification information, and installation height of the corresponding rotating cameras 10 are included in the data area. A camera installation information DB 112 may be configured to store camera installation information for each rotating camera 10 including .

통신부(120)는 유무선 데이터통신망(40)에 접속하여, 제어모듈(130)이 상기 유무선 데이터통신망(40)에 접속한 회전 카메라(10) 및 좌표 영상 출력부(30)와 상호 데이터통신을 수행할 수 있도록 한다.The communication unit 120 is connected to the wired/wireless data communication network 40, and the control module 130 performs mutual data communication with the rotation camera 10 and the coordinate image output unit 30 connected to the wired/wireless data communication network 40. make it possible

상기 통신부(120)는 상기 유무선 데이터통신망(40)에 유선으로 접속하는 로컬망(LAN) 통신수단일 수도 있고, 상기 유무선 데이터통신망(40)에 무선으로 접속하는 와이파이 통신수단일 수도 있을 것이다.The communication unit 120 may be a local area network (LAN) communication means for wired connection to the wired and wireless data communication network 40, or a Wi-Fi communication means for wireless access to the wired and wireless data communication network 40.

또한, 통신부(120)는 상기 회전 카메라(10) 및 좌표 영상 출력부(30)와 직접 연결되어 데이터통신을 수행하는 다이렉트 통신수단을 더 포함할 수도 있을 것이다. 상기 다이렉트 통신수단은 범용직렬버스(Universal Serial Bus: USB), RS-485, IEEE1394, 블루투스(Bluetooth), 와이파이 다이렉트(WiFi Direct) 등이 될 수 있을 것이다.In addition, the communication unit 120 may further include a direct communication unit that is directly connected to the rotation camera 10 and the coordinate image output unit 30 to perform data communication. The direct communication means may be Universal Serial Bus (USB), RS-485, IEEE1394, Bluetooth, WiFi Direct, and the like.

제어모듈(130)은 카메라 정보 획득부(150), 중심점 좌표 계산부(170) 및 좌표 영상 생성부(190)를 포함하고, 실시 예에 따라 카메라 제어부(140), 객체 인식부(160), 객체 좌표 계산부(180) 및 좌표 영상 제공부(200)를 더 포함하여, 본 발명에 따른 영상 객체 좌표 인식부(20)의 전반적인 동작을 제어한다.The control module 130 includes a camera information acquisition unit 150, a center point coordinate calculation unit 170, and a coordinate image generation unit 190, and according to an embodiment, a camera control unit 140, an object recognition unit 160, An object coordinate calculation unit 180 and a coordinate image providing unit 200 are further included to control overall operations of the image object coordinate recognizing unit 20 according to the present invention.

구체적으로 설명하면, 카메라 제어부(140)는 실시 예에 따라 구성되어, 도 3의 회전 카메라(10)의 회전방향(회전각도), 틸팅(틸팅각도, θ), 줌 등을 제어하는 제어 수단을 포함하는 웹페이지, 앱페이지 등을 통신부(120)를 통해 접속한 관리자 단말부(미도시)로 제공하고, 상기 제어 수단을 통한 관리자의 제어 시 제어에 따른 제어정보를 회전 카메라(10)로 전송하여 회전 카메라(10)의 회전 방향, 틸팅 각도 및 화각을 제어한다.Specifically, the camera controller 140 is configured according to the embodiment, and controls means for controlling the rotation direction (rotation angle), tilting (tilting angle, θ), zoom, etc. of the rotating camera 10 of FIG. Provides a web page, app page, etc., to an administrator terminal (not shown) accessed through the communication unit 120, and transmits control information according to the control to the rotating camera 10 when the manager controls through the control means to control the rotation direction, tilting angle, and angle of view of the rotating camera 10 .

상기 카메라 정보 획득부(150)는 통신부(120)를 통해 회전 카메라(10)로부터 촬영 영상을 수신하여 획득하는 영상 획득부(151) 및 상기 회전 카메라(10)로부터 카메라상태정보를 획득하는 카메라 상태정보 획득부(152)를 포함하고, 카메라 식별정보, 촬영 영상, 카메라상태정보를 획득하여 상기 카메라상태정보 저장부(111)에 저장한다.The camera information obtaining unit 150 receives and obtains a photographed image from the rotating camera 10 through the communication unit 120 and acquires camera state information from the rotating camera 10 and the image obtaining unit 151 acquiring camera state information. An information acquisition unit 152 is included, and camera identification information, captured images, and camera status information are obtained and stored in the camera status information storage unit 111 .

상기 카메라 정보 획득부(150)는 실시 예에 따라 상기 회전 카메라(10)로부터 카메라 설치정보를 수신받아 출력하도록 구성될 수도 있을 것이다. 상기 카메라 설치정보는 도 3에서 나타낸 바와 같이 회전 카메라(10)가 설치된 설치 높이(h) 및 설치된 위치의 경위도 좌표를 포함한다.The camera information acquiring unit 150 may be configured to receive and output camera installation information from the rotating camera 10 according to an embodiment. As shown in FIG. 3 , the camera installation information includes an installation height h at which the rotation camera 10 is installed and longitude and latitude coordinates of the installation location.

객체 인식부(160)는 물체 인식부(161), 건물 인식부(162), 지면 인식부(163) 등을 포함하여 상기 카메라 정보 획득부(150)에서 획득된 촬영 영상에 포함된 객체를 검출한다. 상기 객체 인식부(160)는 검출된 객체의 촬영 영상 프레임 내에서의 영역에 대한 영역 정보를 생성하여 관리할 것이다.The object recognizing unit 160 includes an object recognizing unit 161, a building recognizing unit 162, a ground recognizing unit 163, and the like, and detects an object included in the captured image acquired by the camera information acquisition unit 150. do. The object recognizing unit 160 generates and manages area information on areas within a photographed image frame of the detected object.

물체 인식부(161)는 촬영 영상 내의 물체, 즉, 사람, 동물(고양이, 개 등), 자동차, 자전거, 지주 등을 검출한다.The object recognizing unit 161 detects an object in a photographed image, that is, a person, an animal (cat, dog, etc.), a car, a bicycle, a prop, and the like.

건물 인식부(162)는 촬영 영상 내의 건물을 검출한다. 상기 건물은 빌딩, 주택, 아파트, 벽 등이 될 수 있을 것이다.The building recognition unit 162 detects a building in a photographed image. The building may be a building, a house, an apartment, a wall, or the like.

지면 인식부(163)는 촬영 영상 내의 지면을 검출한다.The ground recognizing unit 163 detects the ground in the photographed image.

상기 물체 인식부(161), 건물 인식부(162) 및 지면 인식부(163)는 각각의 인공지능모델을 학습하여 해당 객체들을 검출하도록 구성될 수 있을 것이다.The object recognition unit 161, the building recognition unit 162, and the ground recognition unit 163 may be configured to detect corresponding objects by learning each artificial intelligence model.

이외에 상기 객체 인식부(160)는 불 또는 불꽃 인식부(미도시), 연기 인식부(미도시) 등을 더 포함할 수도 있을 것이다.In addition, the object recognition unit 160 may further include a fire or flame recognition unit (not shown), a smoke recognition unit (not shown), and the like.

또한, 객체 인식부(160)는 촬영 영상 내에서 지면 인식부(163)를 통해 검출되는 검출되는 지면과 물체 인식부(161), 건물 인식부(162), 불꽃 인식부(미도시), 연기 인식부(미도시) 등을 통해 검출된 물체와의 접점을 인식하는 접점 인식부(164)를 더 포함할 수도 있을 것이다.In addition, the object recognizing unit 160 detects the detected ground and object recognizing unit 161, a building recognizing unit 162, a flame recognizing unit (not shown), smoke A contact recognition unit 164 for recognizing a contact with an object detected through a recognition unit (not shown) may be further included.

중심점 좌표 계산부(170)는 도 3 및 도 4에서 나타낸 바와 같이 상기 회전 카메라(10)의 설치 높이(h) 및 상기 카메라상태정보의 틸팅각도(θ)정보에 의해 상기 회전 카메라의 위치에서 상기 촬영 영상 내의 화각 중심점(1)까지의 중앙 거리(b)와, 상기 회전방향정보 및 상기 회전 카메라가 설치된 회전 카메라의 경위도 좌표에 의해 상기 화각 중심점(1)의 경위도 좌표인 중심점 좌표를 계산한다. 화각 중심점(1)은 화각, 즉 줌에 영향을 받지 않으므로, 상기 중심점 좌표 계산 시 화각정보는 반영되지 않는다.As shown in FIGS. 3 and 4 , the center point coordinate calculation unit 170 determines the position of the rotation camera 10 based on the installation height h of the rotation camera 10 and the tilting angle θ information of the camera state information. Center point coordinates, which are longitude and latitude coordinates of the angle of view center point 1, are calculated based on the central distance b to the angle of view center point 1 in the captured image, the rotation direction information, and the longitude and latitude coordinates of the rotation camera in which the rotation camera is installed. Since the angle of view center point 1 is not affected by the angle of view, that is, the zoom, the angle of view information is not reflected when calculating the coordinates of the center point.

상기 중앙 거리(b)는 하기 수학식1에 의해 계산될 것이다.The central distance (b) will be calculated by Equation 1 below.

객체 좌표 계산부(180)는 상기 중심점 좌표와 카메라상태정보의 화각정보에 기반하여 상기 객체 인식부(160)에서 검출된 촬영 영상 내의 객체의 경위도 좌표를 계산한다. The object coordinate calculation unit 180 calculates the latitude and longitude coordinates of the object in the captured image detected by the object recognition unit 160 based on the center point coordinates and the view angle information of the camera state information.

상기 객체 좌표 계산부(180)는 상기 경위도 좌표인 중심점 좌표 및 화각 정보를 알고 있고, 화각정보에 따른 영상의 폭(영상의 실제 영역에 대한 폭)에 대한 넓이를 계산한 후, 화각 중심점(1)으로부터 검출된 객체들의 방향, 영상의 화각 넓이 및 중앙 거리를 알 수 있으므로, DestinationVincenty 방법을 적용하여 각 객체의 경위도 좌표를 계산한다.The object coordinate calculation unit 180 knows the coordinates of the center point, which are the latitude and longitude coordinates, and information on the angle of view, calculates the width of the image (width of the real area of the image) according to the angle of view information, and then calculates the area of the center point of the angle of view (1). ), the direction of the detected objects, the width of the angle of view and the central distance of the image can be known, so the longitude and latitude coordinates of each object are calculated by applying the DestinationVincenty method.

상기 객체 좌표 계산부(180)은 다른 실시 예에 따라 객체 인식부(160)에 의해 검출된 상기 지면과 각 건물이 접하는 지점 중 어느 한 지점(도 4의 4-1, 도 4의 4-2 등) 이상, 상기 지면과 물체가 접하는 지점 중 어느 한 지점(도 4의 2, 도 4의 3-1, 도 4의 3-2 등) 이상에 대한 물체의 경위도 좌표를 계산하도록 구성될 수도 있을 것이다. 이는 계산되는 경위도 좌표의 정확성을 높일 수 있을 것이다.According to another embodiment, the object coordinate calculation unit 180 calculates any one of the contact points between the ground detected by the object recognition unit 160 and each building (4-1 in FIG. 4, 4-2 in FIG. 4). Etc.) or more, it may be configured to calculate the latitude and longitude coordinates of the object for more than one point (2 in FIG. 4, 3-1 in FIG. 4, 3-2 in FIG. 4, etc.) among the points where the ground and the object contact. will be. This will increase the accuracy of the calculated latitude and longitude coordinates.

또한, 상기 객체 좌표 계산부(180)는 검출된 상기 지면과 상기 촬영 영상의 프레임이 만나는 지점(도 4의 5-1, 도 4의 5-2, 도 4의 5-3, 도 4의 5-4, 도 4의 5-5)에 대한 프레임 접점 경위도 좌표를 더 계산하도록 구성될 수 있을 것이다.In addition, the object coordinate calculation unit 180 determines the point where the detected ground and the frame of the captured image meet (5-1 in FIG. 4, 5-2 in FIG. 4, 5-3 in FIG. 4, 5 in FIG. 4) It may be configured to further calculate the frame contact longitude and latitude coordinates for -4, 5-5 in FIG. 4).

또한, 상기 객체 좌표 계산부(180)는 상기 중심점 좌표를 기준으로 상기 촬영 영상의 화각에 따른 상기 촬영 영상의 프레임의 네 모서리(도 3의 A, B, C, D, 도 4의 6-1, 6-2, 6-3, 6-4)에 대응하는 촬영 영상의 지점에 대한 모서리 경위도 좌표를 더 계산하도록 구성될 수도 있을 것이다.In addition, the object coordinate calculation unit 180 calculates four corners (A, B, C, D in FIG. 3, 6-1 in FIG. 4) of the frame of the captured image according to the angle of view of the captured image based on the center point coordinates , 6-2, 6-3, 6-4) may be configured to further calculate corner longitude and latitude coordinates of points of the captured image.

상기 네 모서리(도 3의 A, B, C, D)의 경위도 좌표는 다음 순서에 의해 계산된다.The longitude and latitude coordinates of the four corners (A, B, C, and D in FIG. 3) are calculated in the following order.

1. 각 모서리 좌표에 대한 방위각 및 틸트값 계산1. Calculate azimuth and tilt values for each corner coordinate

1-1. A 지점의 좌표를 구하기 위한 방위각(회전방향) 및 틸트값(틸팅각도) 계산1-1. Calculation of azimuth (rotation direction) and tilt value (tilting angle) to obtain the coordinates of point A

1) 방위각은 현재 카메라 pan 값에서 렌즈의 수평 화각의½ 값을 뺀 값1) The azimuth is the value obtained by subtracting ½ of the horizontal angle of view of the lens from the current camera pan value.

2) 틸트각도는현재 카메라의 tilt 값에 렌즈의 수직 화각의½ 값을 더한 값2) The tilt angle is the value obtained by adding ½ of the vertical angle of view of the lens to the tilt value of the current camera.

1-2. B 지점의 좌표를 구하기 위한 방위각 및 틸트값 계산1-2. Calculation of azimuth and tilt values to obtain the coordinates of point B

1) 방위각은 현재 카메라 pan 값에서 렌즈의 수평 화각의½ 값을 더한 값1) The azimuth is the value obtained by adding ½ of the horizontal angle of view of the lens to the current camera pan value.

1-3. C 지점의 좌표를 구하기 위한 방위각 및 틸트값 계산1-3. Calculation of azimuth and tilt values to obtain the coordinates of point C

2) 틸트각도는현재 카메라의 tilt 값에 렌즈의 수직 화각의½ 값을 뺀 값2) The tilt angle is the value obtained by subtracting ½ of the vertical angle of view of the lens from the current tilt value of the camera.

1-4. D 지점의 좌표를 구하기 위한 방위각 및 틸트값 계산1-4. Calculation of azimuth and tilt values to obtain the coordinates of point D

2. 각 지점에 대한 틸트값과 카메라 높이를 수학식 1에 적용하여 상기 틸트값과 높이가 적용된 화각 중심점(가상 중심점 좌표=각 모서리 좌표)까지의 중앙 거리를 계산.2. Calculate the central distance to the center point of the angle of view (virtual center point coordinates = coordinates of each corner) to which the tilt value and height are applied by applying the tilt value and camera height for each point to Equation 1.

3. 방위각, 중앙 거리 등을 빈센트리 공식에 적용하여 각 지점의 경위도좌표를 계산3. Calculate the longitude and latitude coordinates of each point by applying the azimuth, central distance, etc. to the Vincentry formula

또한, 상기 객체 좌표 계산부(180)는 상기 중심점 좌표를 기준으로 상기 촬영 영상의 화각에 따른 촬영 영상 내의 잉의 지점(Z_r(x,y))에 대한 경위도 좌표를 더 계산하도록 구성될 수도 있을 것이다.In addition, the object coordinate calculation unit 180 may be configured to further calculate longitude and latitude coordinates for a point Z _r (x,y) of Ying in the captured image according to the angle of view of the captured image based on the coordinates of the center point. There will be.

1.수평해상도의 픽셀당 경도의 증분값산출1. Calculate incremental value of longitude per pixel of horizontal resolution

Δ경도= (B점 경도 -(마이너스) A점 경도) / 수평해상도픽셀Δ Longitude = (point B longitude - (minus) longitude of point A) / horizontal resolution pixels

2.수직해상도의 픽셀당 위도의 증분값산출2. Calculation of latitude increments per pixel of vertical resolution

Δ위도= (C점 위도 -(마이너스) A점 위도) / 수직해상도픽셀Δlatitude = (point C latitude - (minus) point A latitude) / vertical resolution pixels

3.Z 지점(x, y)의 경위도 좌표는 3. The longitude and latitude coordinates of point Z (x, y) are

(동경 좌표 지역내)(within the Tokyo coordinate area)

경도 = A점 경도 + (x * Δ경도)Hardness = Point A hardness + (x * Δhardness)

(서경 좌표 지역내)(within the west longitude coordinate area)

경도 = A점 경도 - (x * Δ경도)Hardness = Point A Hardness - (x * Δ Hardness)

(북위 좌표 지역내)(within the north latitude coordinate area)

위도 = A점 위도 - (y * Δ위도)latitude = point A latitude - (y * Δlatitude)

(남위 좌표 지역내)(within the south latitude coordinate area)

위도 = A점 위도 + (y * Δ위도)latitude = point A latitude + (y * Δlatitude)

좌표 영상 생성부(190)는 상기 객체 좌표 계산부(180)에서 계산된 적어도 중심점 좌표, 물체의 경위도 좌표인 영상 물체 좌표, 접점 좌표, 프레임 접점 경위도 좌표, 모서리 경위도 좌표 등 중 어느 하나 이상을 촬영 영상의 해당 객체, 접점 및 모서리의 위치에 대응하는 위치에 오버레이한 좌표 영상을 생성한다.The coordinate image generator 190 captures at least one of the center point coordinates calculated by the object coordinate calculation unit 180, image object coordinates that are longitude and latitude coordinates of an object, contact point coordinates, frame contact longitude and latitude coordinates, corner longitude and latitude coordinates, and the like. Creates a coordinate image overlaid on a position corresponding to the position of the corresponding object, contact point, and corner of the image.

좌표 영상 제공부(200)는 상기 좌표 영상을 좌표 영상 출력부(30)로 제공한다.The coordinate image providing unit 200 provides the coordinate image to the coordinate image output unit 30 .

도 5는 본 발명의 제1실시 예에 따른 회전 카메라 영상 객체 위치정보 제공 방법을 나타낸 흐름도이다.5 is a flowchart illustrating a method of providing location information of a rotating camera image object according to a first embodiment of the present invention.

도 5를 참조하면, 제어모듈(130)은 회전 카메라(10)가 동작하면, 회전 카메라(10)로부터 촬영 영상을 획득하여 카메라 상태정보 저장부(111)에 저장한다(S111).Referring to FIG. 5 , when the rotation camera 10 operates, the control module 130 obtains a photographed image from the rotation camera 10 and stores it in the camera state information storage unit 111 (S111).

촬영 영상이 획득되기 시작하면 제어모듈(130)은 촬영 영상 내 지면, 감지 대상 물체(자동차, 고양이, 개, 사람, 오토바이, 불꽃, 연기 등), 건물 등을 검출하기 시작한다(S113).When the captured image starts to be acquired, the control module 130 starts detecting the ground, a target object (car, cat, dog, person, motorcycle, flame, smoke, etc.), a building, and the like in the captured image (S113).

제어모듈(130)은 촬영 영상의 객체 검출이 개시되면 카메라 설치정보를 획득하고(S115), 회전 카메라(10)로부터 회전 카메라(10)의 회전방향정보, 틸팅방향정보 및 화각정보를 획득한다(S117).The control module 130 acquires camera installation information when object detection of the captured image is started (S115), and acquires rotation direction information, tilting direction information, and view angle information of the rotation camera 10 from the rotation camera 10 ( S117).

제어모듈(130)은 카메라 설치 정보, 카메라 회전방향정보, 틸팅방향정보, 화각정보가 획득되면 회전 카메라(10)의 설치 높이 및 틸팅방향정보(틸팅각도)를 수학식 1에 적용하여 카메라 설치 위치에서 카메라 중심점에 대응하는 화각 중심점 지면까지의 중앙거리(b)를 계산한다(S119).When the camera installation information, camera rotation direction information, tilting direction information, and view angle information are obtained, the control module 130 applies the installation height and tilting direction information (tilting angle) of the rotating camera 10 to Equation 1 to calculate the camera installation position A central distance (b) from S to the ground at the center point of the angle of view corresponding to the center point of the camera is calculated (S119).

중앙거리(b)가 계산되면 제어모듈(130)은 회전 카메라(10)의 회전방향 및 회전 카메라(10)의 설치 경위도 좌표와 중앙 거리(b)에 의해 화각 중심점(1)의 경위도 좌표인 중심점 좌표를 계산한다(S121).When the center distance (b) is calculated, the control module 130 calculates the center point, which is the longitude and latitude coordinates of the center point 1 of the angle of view, based on the rotation direction of the rotation camera 10, the installation longitude and latitude coordinates of the rotation camera 10, and the center distance (b). Coordinates are calculated (S121).

중심점 좌표가 계산되면 제어모듈(130)은 실시 예에 따라 촬영 영상 프레임의 4개의 모서리에 대응하는 영상의 모서리 경위도 좌표를 계산한다(S123).When the center point coordinates are calculated, the control module 130 calculates the longitude and latitude coordinates of the corners of the image corresponding to the four corners of the captured image frame according to the embodiment (S123).

모서리 경위도 좌표가 계산되면 제어모듈(130)은 중심점 좌표 모서리 경위도 좌표를 촬영 영상의 중심점 및 모서리의 위치에 대응하는 위치에 오버레이하여 좌표 영상을 생성한 후, 좌표 영상 출력부(30)로 제공한다(S125).When the longitude and latitude coordinates of the corner are calculated, the control module 130 generates a coordinate image by overlaying the center point coordinate and the corner longitude and latitude coordinate on the position corresponding to the center point and corner position of the captured image, and then provides the coordinate image to the coordinate image output unit 30. (S125).

제어모듈(130)은 중심점 좌표 및 영상 모서리의 모서리 경위도 좌표가 표시되기 시작하면 영상 내 관심 객체인 감지 대상 물체가 검출되는지를 판단하고(S127), 감지 대상 물체가 검출되면 감지 대상 물체가 지면과 접하는 위치로 회전 카메라(10)의 중심점(1)이 위치하도록 회전 카메라(10)의 방향을 회전시킨다(S129).When the center point coordinates and the longitude and latitude coordinates of the corners of the image start to be displayed, the control module 130 determines whether an object of interest in the image is detected (S127). The direction of the rotation camera 10 is rotated so that the center point 1 of the rotation camera 10 is located at the contact position (S129).

상기 회전 카메라(10)의 방향 회전 후 제어모듈(130)은 상술한 방법에 의해 상기 중심점(1), 즉 감지 대상 물체의 경위도 좌표를 계산하여 중심점(1) 또는 해당 물체에 대응하는 위치에 표시할 것이다.After the direction of the rotation camera 10 is rotated, the control module 130 calculates the longitude and latitude coordinates of the center point 1, that is, the object to be sensed, by the above-described method, and displays them at the center point 1 or a position corresponding to the object. something to do.

반면, 제어모듈(130)은 영상 내 감지 대상 물체가 검출되지 않으면 회전 카메라(10)의 회전 여부를 모니터링하고(S131), 회전에 따른 화각 중심점(1)의 중심점 좌표를 계산하고, 그에 대응하는 좌표 영상을 생성할 것이다.On the other hand, the control module 130 monitors whether the rotating camera 10 rotates when the detection target object is not detected in the image (S131), calculates the coordinates of the center point of the angle of view center point 1 according to the rotation, and provides a corresponding will create a coordinate image.

도 6은 본 발명의 제2실시 예에 따른 회전 카메라 영상 객체 위치정보 제공 방법을 나타낸 흐름도이다.6 is a flowchart illustrating a method of providing location information of a rotating camera image object according to a second embodiment of the present invention.

도 6을 참조하면, 제어모듈(130)은 회전 카메라(10)가 동작하면, 회전 카메라(10)로부터 촬영 영상을 획득하여 카메라 상태정보 저장부(111)에 저장한다(S211).Referring to FIG. 6 , when the rotation camera 10 operates, the control module 130 obtains a photographed image from the rotation camera 10 and stores it in the camera state information storage unit 111 (S211).

촬영 영상이 획득되기 시작하면 제어모듈(130)은 획득되는 촬영 영상을 전송하는 회전 카메라(10)의 카메라 설치 정보를 획득한다(S213).When the captured image starts to be acquired, the control module 130 acquires camera installation information of the rotating camera 10 transmitting the acquired captured image (S213).

상기 카메라 설치 정보가 획득되면 제어모듈(130)은 영상 내의 객체를 검출하기 시작한다(S215).When the camera installation information is acquired, the control module 130 starts detecting an object in the image (S215).

객체가 검출되면 제어모듈(130)은 회전 카메라(10)로부터 카메라 회전방향정보, 틸팅방향정보 및 화각정보를 포함하는 카메라상태정보를 획득한다(S217).When an object is detected, the control module 130 obtains camera state information including camera rotation direction information, tilting direction information, and view angle information from the rotation camera 10 (S217).

카메라 설치 정보 및 카메라상태정보가 획득되고 촬영 영상 내 객체가 검출되면 제어모듈(130)은 카메라 설치 위치에서 화각 중심점(1)에 대응하는 화면 중앙 지면까지의 중앙 거리(b)를 계산한다(S219). 상기 화각 중심점(1)은 촬영 영상의 지면을 가리키도록 구성되는 것이 바람직할 것이다.When camera installation information and camera status information are acquired and an object in the captured image is detected, the control module 130 calculates the central distance (b) from the camera installation position to the ground at the center of the screen corresponding to the angle of view center point (1) (S219 ). It is preferable that the view angle center point 1 is configured to point to the ground of the photographed image.

중앙 거리(b)가 계산되면 제어모듈(130)은 회전 카메라(10)의 회전방향 및 회전 카메라(10)의 설치 경위도 좌표와 중앙 거리(b)에 의해 화각 중심점(1)의 경위도 좌표인 중심점 좌표를 계산한다(S221).When the center distance (b) is calculated, the control module 130 determines the center point, which is the longitude and latitude coordinates of the center point 1 of the angle of view, by the rotation direction of the rotation camera 10, the longitude and latitude coordinates of the installation of the rotation camera 10, and the center distance (b). Coordinates are calculated (S221).

중심점 좌표가 계산되면 제어모듈(130)은 상기 중심점 좌표와 상기 중심점 좌표로부터 검출된 객체들의 중앙 거리 및 방향에 의해 객체들의 경위도 좌표를 계산한다(S223). 이때, 제어모듈(130)은 지면과 물체의 접점 위치, 및 지면과 건물의 접점 위치를 찾고, 접점 위치의 경위도 좌표인 접점 좌표를 계산하도록 구성되는 것이 바람직할 것이다. 하나의 물체 또는 하나의 건물에 대해 다수의 접점이 발생할 수 있으므로 이 경우 임의의 한 접점을 선택하도록 구성될 수도 있고, 꼭짓점을 형성하는 접점을 선택하도록 구성될 수도 있을 것이다.When the center point coordinates are calculated, the control module 130 calculates longitude and latitude coordinates of the objects based on the center point coordinates and the center distance and direction of the objects detected from the center point coordinates (S223). At this time, it is preferable that the control module 130 is configured to find the point of contact between the ground and the object and the point of contact between the ground and the building, and to calculate the point of contact coordinates, which are longitude and latitude coordinates of the point of contact. Since multiple contact points may occur for one object or one building, in this case, an arbitrary contact point may be selected, or a contact point forming a vertex may be selected.

객체의 경위도 좌표가 계산되면 제어모듈(130)은 중심점 좌표 및 객체의 경위도 좌표, 또는 중심점 좌표 및 접점 좌표를 촬영 영상의 해당 위치에 오버레이하여 좌표 영상을 생성한 후 좌표 영상 출력부(30)로 전송한다(S225).When the latitude and longitude coordinates of the object are calculated, the control module 130 generates a coordinate image by overlaying the center point coordinates, the longitude and latitude coordinates of the object, or the center point coordinates and contact point coordinates on the corresponding location of the captured image, and then outputs the coordinate image output unit 30. Transmit (S225).

이때, 제어모듈(130)은 지면과 촬영 영상의 프레임이 접하는 프레임 접점을 찾고 상기 프레임 접점에 대한 경위도 좌표인 프레임 접점 경위도 좌표를 더 계산하고, 촬영 영상에 더 오버레이하여 좌표 영상을 생성하도록 구성될 수도 있을 것이다.At this time, the control module 130 is configured to find a frame contact point where the ground and the frame of the captured image come into contact, further calculate longitude and latitude coordinates of the frame contact point, which are longitude and latitude coordinates for the frame contact point, and further overlay the captured image to generate a coordinate image. It could be.

상기 좌표 영상의 생성 및 전송 후 제어모듈(130)은 카메라가 회전하는지(S227), 새로운 물체가 검출되는지(S229)를 판단하고, 카메라가 회전하거나, 새로운 물체가 검출되면 상술한 S217 이후의 과정을 반복 수행한다.After generating and transmitting the coordinate image, the control module 130 determines whether the camera rotates (S227) or whether a new object is detected (S229), and if the camera rotates or a new object is detected, the above-described processes after S217 do it repeatedly.

또한, 제어모듈(130)은 카메라가 회전하지 않고, 새로운 물체도 검출되지 않으면 상기 검출된 물체가 이동하는지를 검사하고(S2231), 물체가 이동하면 상술한 S223 이후의 과정을 반복 수행한다.In addition, if the camera does not rotate and no new object is detected, the control module 130 checks whether the detected object is moving (S2231), and if the object moves, repeats the above-described processes from S223 onwards.

한편, 본 발명은 전술한 전형적인 바람직한 실시 예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다. On the other hand, it is common knowledge in the art that the present invention is not limited to the above-described typical preferred embodiments, but can be improved, changed, replaced, or added in various ways without departing from the gist of the present invention. If you have the , you can easily understand. If the implementation by such improvement, change, substitution or addition falls within the scope of the appended claims below, the technical idea should also be regarded as belonging to the present invention.

10: 회전 카메라 20: 영상 객체 좌표 인식부
30: 좌표 영상 출력부 40: 유무선 데이터통신망
110: 저장부 111: 카메라 상태정보 저장부
112: 카메라 설치 정보 DB 120: 통신부
130: 제어모듈 140: 카메라 제어부
150: 카메라 정보 획득부 151: 영상 획득부
152: 카메라상태정보 획득부 160: 객체 인식부
161: 물체 인식부 162: 건물 인식부
163: 지면 인식부 164: 접점 인식부
170: 중심점 좌표 계산부 180: 객체 좌표 계산부
190: 좌표 영상 생성부 200: 좌표 영상 제공부10: rotation camera 20: image object coordinate recognition unit
30: coordinate image output unit 40: wired/wireless data communication network
110: storage unit 111: camera state information storage unit
112: Camera installation information DB 120: Communication department
130: control module 140: camera control unit
150: camera information acquisition unit 151: image acquisition unit
152: camera state information acquisition unit 160: object recognition unit
161: object recognition unit 162: building recognition unit
163: ground recognition unit 164: contact recognition unit
170: center point coordinate calculation unit 180: object coordinate calculation unit
190: coordinate image generation unit 200: coordinate image providing unit

Claims

It has a rotation and tilting function, and has reference direction information, reference tilting angle information, and reference angle of view information for each of the reference rotation direction, reference tilting angle, and reference angle of view, and based on the rotation direction and reference tilting angle based on the reference direction a rotating camera that measures a tilting angle and an angle of view and transmits camera status information including photographing direction information and angle of view information having the measured rotation direction information and tilting angle information, and a captured image according to the camera status information; and
Receiving the camera state information and the captured image from the rotating camera, and a geographical position corresponding to the center point of the angle of view in the captured image at the position of the rotating camera based on the installation height of the rotating camera and the tilting angle information of the camera state information Image object coordinate recognition provided by calculating the center distance to and calculating the center point coordinates, which are longitude and latitude coordinates of the center point of the angle of view, based on the calculated center distance, the rotation direction information, and the longitude and latitude coordinates of the rotation camera in which the rotation camera is installed. including wealth,
The image object coordinate recognizing unit,
a communication unit performing data communication with the rotating camera;
a storage unit including a camera status information storage unit for storing the camera status information and captured images; and
A control module that performs communication through the communication unit and stores camera state information and captured images in the storage path,
The control module,
a camera information acquisition unit receiving the camera status information and the captured image through the communication unit and storing the received camera status information in the camera status information storage unit;
Calculate a central distance from the position of the rotary camera to a geographical position corresponding to the center point of the angle of view in the captured image based on the installation height of the rotary camera and the tilting angle information of the camera state information, and calculate the central distance; a center point coordinate calculation unit that calculates center point coordinates, which are long and latitude coordinates of a geographical position corresponding to the center point of the angle of view, based on the rotation direction information and the long and latitude coordinates of the rotation camera in which the rotation camera is installed;
a coordinate image generation unit for generating a coordinate image obtained by overlaying the coordinates of the center point with a corresponding center point of the captured image; and
A rotation camera image object location information providing system comprising a coordinate image providing unit outputting the coordinate image to an external coordinate image output unit.

delete

According to claim 1,
The control module,
an object recognizing unit detecting an object in the photographed image; and
Further comprising an object coordinate calculation unit for calculating longitude and latitude coordinates of an object in the photographed image detected by the object recognition unit based on the center point coordinates and the view angle information of the camera state information;
The coordinate image generator,
The rotation camera image object location information providing system of claim 1 , wherein the coordinate image is generated by further overlaying longitude and latitude coordinates of a corresponding object on a position corresponding to each detected object of the captured image.

According to claim 4,
The object recognition unit,
a ground recognizing unit detecting the ground as the object in the captured image;
a building recognition unit detecting a building as the object in the photographed image; and
An object recognizing unit detecting an object that is the object in the captured image,
The object coordinate calculator,
Calculating longitude and latitude coordinates of an object for at least one point among points where the ground and each building come into contact, and at least one point among points where the ground and the object come into contact,
The coordinate image generator,
The rotation camera video object location information providing system, characterized in that the latitude and longitude coordinates of the object calculated by the object coordinate calculation unit are overlaid on a corresponding position where the corresponding object of the image and the ground are in contact.

According to claim 5,
The object coordinate calculator,
Further calculating frame contact latitude and longitude coordinates for a point where the detected ground and a frame of the captured image meet,
The coordinate image generator,
The system for providing location information of a rotating camera image object, characterized in that further overlaying longitude and latitude coordinates of a frame contact point at a position corresponding to a point where the ground and the frame of the captured image meet.

According to claim 4,
The object coordinate calculator,
Based on the coordinates of the center point, corner longitude coordinates of points of the captured image corresponding to four corners of the frame of the captured image according to the angle of view of the captured image are further calculated;
The coordinate image generator,
The rotating camera image object location information providing system, characterized in that the corner longitude and latitude coordinates are further overlaid on the four corners of the frame of the captured image.

According to claim 1,
The camera information acquisition unit
The rotating camera image object location information providing system, characterized in that the installation height of the rotating camera and longitude and latitude coordinates of the rotating camera are received and obtained from the rotating camera.

According to claim 1,
The camera information acquisition unit,
Rotating camera image object location information providing system, characterized in that for each of the plurality of rotating cameras, loading and obtaining from a camera installation information DB including an installation height of the rotating camera and longitude and latitude coordinates of the rotating camera preset in the storage unit .

The rotational camera has rotation and tilting functions and has reference rotation direction information, reference tilt angle information, and reference view angle information for each of the reference direction, reference tilt angle, and reference angle of view. Measuring the tilting angle and angle of view based on the tilting angle, camera state information including shooting direction information and angle of view information having the measured rotation direction information and tilting angle information, and the captured image according to the camera state information as an image object Camera information transmission process for transmitting to the coordinate recognizing unit; and
The image object coordinate recognizing unit receives the camera state information and the captured image through the communication unit and stores the camera state information storage unit, and the position of the rotation camera is determined by the installation height of the rotation camera and the tilting angle information of the camera status information. calculates a central distance to a geographical position corresponding to the center point of the angle of view in the captured image, and the longitude and latitude coordinates of the center point of the angle of view are calculated based on the center distance, the rotation direction information, and the longitude and latitude coordinates of the rotation camera in which the rotation camera is installed. Including the process of calculating the coordinates of the longitude and latitude of the image that calculates and provides the coordinates of the center point,
The process of calculating the image longitude and latitude coordinates,
a camera information acquisition step in which the control module of the image object coordinate recognizing unit receives the camera state information and captured images through the camera information acquisition unit and stores them in the camera state information storage unit;
The control module calculates the central distance from the location of the rotation camera to the geographical position corresponding to the center point of the angle of view in the captured image based on the installation height of the rotation camera and the tilt angle information of the camera state information through the center point coordinate calculation unit. and calculating center point coordinates, which are longitude and latitude coordinates of a geographic location corresponding to the center point of the angle of view, based on the calculated center distance, the rotation direction information, and the longitude and latitude coordinates of a rotation camera in which the rotation camera is installed;
a coordinate image generating step in which the control module generates a coordinate image obtained by overlaying the center point coordinates on a corresponding center point of the captured image through a coordinate image generator; and
The method of providing rotation camera image object location information, characterized in that the control module comprises a coordinate image providing unit outputting the coordinate image to an external coordinate image output unit through the coordinate image providing unit.

delete

According to claim 10,
The process of calculating the image longitude and latitude coordinates,
an object recognition step in which the control module detects an object in the photographed image through an object recognition unit; and
The control module further comprises an object coordinate calculation step of calculating longitude and latitude coordinates of an object in the captured image detected by the object recognition unit based on the center point coordinates and the view angle information of the camera state information through the object coordinate calculation unit,
In the coordinate image generating step, the control module generates the coordinate image by further overlaying the latitude and longitude coordinates of the corresponding object at a position corresponding to each of the detected objects in the captured image, thereby providing rotation camera image object location information. method.

According to claim 12,
The object recognition step,
a ground recognition step in which the control module detects the ground, which is the object in the captured image;
a building recognition step in which the control module detects a building as the object in the photographed image; and
Including an object recognition step of detecting an object that is the object in the captured image,
In the object coordinate calculation step, the control module calculates longitude and latitude coordinates of the object for at least one point among points where the ground and each building come into contact and at least one point among points where the ground and the object come into contact,
In the coordinate image generating step, the control module overlays the latitude and longitude coordinates of the object calculated by the object coordinate calculation unit on a corresponding position where the corresponding object of the image and the ground contact each other.

According to claim 13,
In the object coordinate calculation step, the control module further calculates frame contact longitude and latitude coordinates for a point where the detected ground and the frame of the captured image meet,
In the coordinate image generating step, the control module further overlays the longitude and latitude coordinates of the frame contact point at a position corresponding to the point where the ground and the frame of the captured image meet.