KR20060069799A - Intelligent surveillance and sentry robot system - Google Patents
Intelligent surveillance and sentry robot system Download PDFInfo
- Publication number
- KR20060069799A KR20060069799A KR1020060038882A KR20060038882A KR20060069799A KR 20060069799 A KR20060069799 A KR 20060069799A KR 1020060038882 A KR1020060038882 A KR 1020060038882A KR 20060038882 A KR20060038882 A KR 20060038882A KR 20060069799 A KR20060069799 A KR 20060069799A
- Authority
- KR
- South Korea
- Prior art keywords
- target
- camera
- image
- sound
- active
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/002—Manipulators for defensive or military tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/026—Acoustical sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
- B25J19/061—Safety devices with audible signals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Manipulator (AREA)
Abstract
본 발명은 물체의 형상 및 움직임을 영상 인식하고, 물체의 움직임을 자동으로 추적하고, 물체에 대한 자동 발포가 가능한 감시 및 경계 업무를 수행하는 지능형 경계 로봇 시스템에 관한 것이다. 본 발명에 의한 지능형 경계 로봇 시스템은, 적어도 하나 이상의 마스터 카메라; 액티브 카메라; 구동부; 및 제어부를 구비한다. 상기 마스터 카메라는 프레임에 고정되도록 설치되어, 입력되는 영상으로부터 표적을 인식한다. 상기 액티브 카메라는 프레임에 대하여 상하 및 좌우로 회동 가능하도록 설치되어, 표적에 대한 추적이 가능하다. 상기 구동부는 액티브 카메라를 프레임에 대하여 상하 및 좌우로 회전시킨다. 상기 제어부는 마스터 카메라 및 액티브 카메라로부터 영상을 입력받아 영상을 인식하고, 마스터 카메라, 액티브 카메라, 및 구동부를 제어한다. The present invention relates to an intelligent boundary robot system for recognizing the shape and movement of an object, automatically tracking the movement of the object, and performing surveillance and boundary tasks capable of automatic firing of the object. Intelligent boundary robot system according to the present invention, at least one master camera; Active camera; A drive unit; And a control unit. The master camera is installed to be fixed to a frame, and recognizes a target from an input image. The active camera is installed to be able to rotate up, down, left and right with respect to the frame, and can track the target. The driving unit rotates the active camera vertically and horizontally with respect to the frame. The controller receives an image from the master camera and the active camera, recognizes the image, and controls the master camera, the active camera, and the driver.
Description
도 1은 본 발명에 따른 바람직한 일 실시예로서, 지능형 로봇 시스템을 개략적으로 도시한 사시도이다. 1 is a perspective view schematically showing an intelligent robot system as one preferred embodiment according to the present invention.
도 2는 본 발명에 따른 바람직한 다른 실시예로서, 적어도 하나 이상의 지능형 경계 로봇 시스템을 구비하는 경계 시스템이다. Figure 2 is another preferred embodiment according to the present invention, which is a boundary system having at least one intelligent boundary robot system.
도 3은 도 1 및 도 2의 지능형 경계 로봇 시스템의 초저조도 카메라의 작동 원리를 개략적으로 도시한 그래프이다. 3 is a graph schematically illustrating the operation principle of the ultra low light camera of the intelligent perimeter robot system of FIGS. 1 and 2.
도 4는 및 도 5a 내지 도 5c는 도 1 및 도 2의 지능형 경계 로봇 시스템의 마스터 카메라와 액티브 카메라에 의한 표적까지의 거리 측정 원리를 개략적으로 도시한 도면이다.4 and 5a to 5c schematically illustrate the principle of distance measurement to a target by a master camera and an active camera of the intelligent boundary robot system of FIGS. 1 and 2.
도 6은 도 2의 지능형 경계 시스템의 음향 탐지 시스템을 개략적으로 도시한 도면이다. FIG. 6 is a diagram schematically illustrating an acoustic detection system of the intelligent perimeter system of FIG. 2.
도 7은 도 2의 경계 시스템의 운영 절차를 개략적으로 도시한 흐름도이다. 7 is a flowchart schematically illustrating an operating procedure of the boundary system of FIG. 2.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
1: 지능형 경계 로봇 시스템, 2: 경계 시스템, 1: intelligent perimeter robot system, 2: perimeter system,
11, 21: 마스터 카메라, 12, 22: 액티브 카메라, 11, 21: master camera, 12, 22: active camera,
13: 구동부, 14, 24: 로봇 제어부, 13: drive part, 14, 24: robot control part,
15, 25: 사격 장치, 16, 26: 이동형 간이 통제기, 15, 25: fire gear, 16, 26: mobile simple controller,
27: 상황 통제부, 29: 음향 장치, 27: situation control unit, 29: sound system,
241: 영상 처리부, 242: 추적 제어부, 241: image processing unit, 242: tracking control unit,
243: 음향 제어부, 244: 사격 제어부, 243: sound control unit, 244: fire control unit,
245: 주 제어부. 245: main control unit.
본 발명은 경계 로봇 시스템에 관한 것으로서, 보다 상세하게는 물체의 형상 및 움직임을 영상 인식하고, 물체의 움직임을 자동으로 추적하고, 물체에 대한 자동 발포가 가능한 감시 및 경계 업무를 수행하는 지능형 경계 로봇 시스템에 관한 것이다. The present invention relates to a boundary robot system, and more particularly, an intelligent boundary robot for recognizing the shape and movement of an object, automatically tracking the movement of the object, and performing surveillance and boundary tasks capable of automatic firing of the object. It's about the system.
지능형 로봇 기술은 인공지능(Artificial Intelligence, AI) 개념의 기술의 발전 경향에 따라 향후 21세기 산업 경쟁력 및 군사 과학 기술을 선도할 차세대 신기술이다. 특히 그 중에서도 감시 경계 시스템은 초저조도 카메라 기술, 영상 인식 기술, 영상 처리 및 저장기술, 음성 인식 기술, 서보 기술, 영상 추적 기술, 및 시스템 제어기술 등 다양한 기술이 복합적으로 적용되는 시스템이다. Intelligent robot technology is a next-generation new technology that will lead industrial competitiveness and military science technology in the 21st century according to the trend of the development of artificial intelligence (AI) concept. In particular, the surveillance boundary system is a system in which various technologies such as ultra low light camera technology, image recognition technology, image processing and storage technology, voice recognition technology, servo technology, image tracking technology, and system control technology are applied in combination.
지능형 감시 경계 로봇 시스템은 보안 산업의 급격한 성장에 따라 공항, 항만, 및 원자력 발전소 등의 국가 기간 시설 등에서의 수요가 증가하고 있는 추세이 다. 특히, 군사 분야에서는 평상시의 경계 임무의 효율성 제고를 위하여 그 필요성이 대두되고 있다. 병사들의 안전과 전투의 효율성을 높이기 위하여 3D(Dangerous, Dirty, Dull) 임무를 대행할 수 있는 각종 무인 장비들이 개발 및 배치되고 있으며, 이러한 인공 지능 기술 기반에 의한 무인 로봇의 도입은 병력 자원의 효율적인 대체뿐만 아니라 군 전투력 증강에도 크게 기여할 수 있다. The intelligent surveillance boundary robot system is growing in demand in national infrastructure such as airports, ports, and nuclear power plants due to the rapid growth of the security industry. In particular, in the military field, the necessity is raised to improve the efficiency of the daily alert mission. In order to increase the safety of soldiers and the efficiency of combat, various unmanned equipments capable of performing 3D (Dangerous, Dirty, Dull) missions are being developed and deployed. In addition to replacement, it can greatly contribute to military combat power.
특히, 감시 및 경계 로봇 시스템은 군사적 전술의 고도화에 가장 핵심적인 역할을 수행할 수 있으며, 경계 감시의 측면에서 병사의 경계 활동 중에 생길 수 있는 인간의 피로, 단순 반복에 의한 집중력 저하 등을 방지할 수 있다. 또한, 화기와의 연동으로 정밀한 추적 및 순간 대항 능력을 배양함으로써, 전시에 고속 정확한 타격 능력을 갖추게 된다. In particular, surveillance and alert robotic systems can play a key role in the advancement of military tactics, and can prevent human fatigue that may occur during the soldier's alert activity in terms of alert surveillance, and reduced concentration by simple repetition. Can be. In addition, by cultivating precise tracking and countermeasure ability in conjunction with firearms, the display will have a high-speed accurate hitting capability.
미국 특허 제5,379,676호, "사격 제어 시스템"에서는 수동 조준 소총을 위한 사격 제어 시스템을 제공하고 있다. 상기 미국 특허에서는 표적이 전자 광학 장비(electro-optical device, EOD)의 영상 추적기(video tracker) 및 레이저에 의하여 추적되고, 표적의 거리 및 방위 등이 계산된다. 이러한 표적의 영상이 사용자의 비디오 모니터로 보내지고, 사용자가 비디오 모니터를 통하여 총을 표적과 일치시켜 사격을 수행할 수 있도록 한다. U.S. Patent 5,379,676, "Fire Control System," provides a fire control system for manual aiming rifles. In the US patent, the target is tracked by a video tracker and laser of an electro-optical device (EOD), and the distance and orientation of the target are calculated. The image of this target is sent to the user's video monitor, which allows the user to match the gun to the target and perform shooting through the video monitor.
하지만, 이러한 사격 제어 시스템에서는 전자 광학 장비를 이용하여 표적을 추적하고, 거리 및 방위 등을 계산하여 사용자의 비디오 모니터를 통하여, 사용자에 의한 사격을 보조하는 역할을 수행할 뿐, 무인 감시 및 경계 임무를 수행하고 있지는 못하다. However, such a fire control system tracks targets using electro-optical equipment, calculates distance and azimuth, and assists shooting by a user through a video monitor of the user. It is not doing.
또한, 종래의 감시 경계 시스템은 열상 카메라 또는 일반 감시 카메라 1대를 활용하여 감시하고 경계하는 시스템으로서, 영상을 지능적으로 인식하고 이를 자동으로 추적할 수 있는 시스템이 아니라, 수동 또는 초보적인 수준의 자동화 개념을 도입한 시스템이었다. In addition, the conventional surveillance boundary system is a system that monitors and alerts by using a thermal camera or a general surveillance camera, and is not a system capable of intelligently recognizing and automatically tracking an image, but a manual or novice level of automation. It was a system that introduced the concept.
특히, 종래의 감시 경계 시스템에 사용되는 열상 카메라를 사용하는 경우, 고가이며 야간 전용 카메라로서 주간에는 자연스럽지 못한 영상이 입력되는 문제점이 있으며, 일반 감시 카메라를 사용하는 경우에는 저조도 특성이 떨어져서 야간 감시용으로 활용하기 어려운 문제점이 있다. 또한, 물체의 움직임을 지능적으로 자동 추적하지 못함으로써, 물체의 추적 성능이 떨어지는 문제점이 있다. In particular, when a thermal camera used in a conventional surveillance boundary system is used, an expensive and night-only camera has a problem that an unnatural image is input during the day. There is a problem that is difficult to utilize. In addition, there is a problem that the tracking performance of the object is lowered by not automatically tracking the movement of the object.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로, 물체의 형상 및 움직임을 영상 인식하고, 물체의 움직임을 자동으로 추적하고, 물체에 대한 자동 발포가 가능한 감시 및 경계 업무를 수행하는 지능형 경계 로봇 시스템을 제공하는 것을 목적으로 한다. The present invention has been made to solve the above problems, an intelligent boundary robot system for recognizing the shape and movement of an object, automatically tracking the movement of the object, and performing the monitoring and boundary tasks capable of automatic firing of the object. The purpose is to provide.
상기와 같은 목적을 달성하기 위한 본 발명에 의한 지능형 경계 로봇 시스템은, 적어도 하나 이상의 마스터 카메라; 액티브 카메라; 구동부; 및 제어부를 구비한다. Intelligent boundary robot system according to the present invention for achieving the above object, at least one master camera; Active camera; A drive unit; And a control unit.
상기 마스터 카메라는 프레임에 고정되도록 설치되어, 입력되는 영상으로부터 표적을 인식한다. 상기 액티브 카메라는 프레임에 대하여 상하 및 좌우로 회동 가능하도록 설치되어, 표적에 대한 추적이 가능하다. 상기 구동부는 액티브 카메라를 프레임에 대하여 상하 및 좌우로 회전시킨다. 상기 제어부는 마스터 카메라 및 액티브 카메라로부터 영상을 입력받아 영상을 인식하고, 마스터 카메라, 액티브 카메라, 및 구동부를 제어한다. The master camera is installed to be fixed to a frame, and recognizes a target from an input image. The active camera is installed to be able to rotate up, down, left and right with respect to the frame, and can track the target. The driving unit rotates the active camera vertically and horizontally with respect to the frame. The controller receives an image from the master camera and the active camera, recognizes the image, and controls the master camera, the active camera, and the driver.
또한, 총열이 지향하는 방향이 액티브 카메라의 표적을 향하는 중심축과 일치하도록, 액티브 카메라에 대하여 고정되어 설치되는 사격장치를 더 구비하는 것이 바람직하다. In addition, it is preferable to further include a shooting device fixed to the active camera so that the direction in which the barrel is directed coincides with the central axis facing the target of the active camera.
또한, 외부로부터 음향 정보를 입력받는 음향 입력부를 포함하는 음향 장치를 더 구비하는 것이 바람직한데, 상기 제어부에서는 음향 입력부로부터 입력된 음향 정보를 처리하여 표적을 인식한다. 이때, 상기 음향장치는, 외부로 경고 신호를 출력하는 음향 출력부를 더 구비하는 것이 바람직하다. In addition, it is preferable to further include a sound device including a sound input unit for receiving sound information from the outside, the control unit recognizes the target by processing the sound information input from the sound input unit. In this case, it is preferable that the sound device further includes a sound output unit for outputting a warning signal to the outside.
상기 마스터 카메라가 상기 액티브 카메라보다 더 큰 시야각을 갖는 것이 바람직하다. Preferably, the master camera has a larger viewing angle than the active camera.
상기 마스터 카메라는, 입력되는 영상의 변화를 감지하여 표적을 인식하는 것이 바람직하다. The master camera preferably recognizes a target by detecting a change in an input image.
상기 액티브 카메라에 줌 기능이 구비되어 표적에 대한 영상을 확대할 수 있는 것이 바람직하다. Preferably, the active camera is provided with a zoom function to enlarge an image of a target.
상기 마스터 카메라 및 상기 액티브 카메라가, 적외선 영역의 영상 입력을 차단하는 적외선 차단 필터를 구비하는 초저조도 카메라이고, 마스터 카메라 및 액티브 카메라가, 낮에는 적외선 차단 필터를 온(ON)시키고 칼라 영상을 입력받고, 밤에는 적외선 차단 필터를 오프(OFF)시키고 흑백 영상을 입력받는 것이 바람직하다. The master camera and the active camera are ultra low light cameras having an infrared cut filter for blocking the image input of the infrared region, and the master camera and the active camera turn on the infrared cut filter during the day and input a color image. It is desirable to turn off the infrared cut filter at night and receive a black and white image.
본 발명의 다른 측면에 의한 지능형 경계 로봇 시스템은, 적어도 하나 이상의 마스터 카메라; 액티브 카메라; 및 제어부를 구비한다. Intelligent boundary robot system according to another aspect of the present invention, at least one master camera; Active camera; And a control unit.
상기 마스터 카메라는 입력되는 영상으로부터 표적을 인식한다. 상기 액티브 카메라는 표적에 대한 추적이 가능하다. 상기 제어부는 마스터 카메라 및 액티브 카메라로부터 영상을 입력받아 영상을 인식하고, 마스터 카메라, 액티브 카메라를 제어한다. The master camera recognizes a target from an input image. The active camera can track the target. The controller receives an image from a master camera and an active camera, recognizes the image, and controls the master camera and the active camera.
상기 제어부는, 마스터 카메라 및 액티브 카메라로부터 입력되는 영상신호를 처리하여 표적을 인식하고 표적의 움직임을 인식하는 영상 처리부; 및 영상 처리부로부터 표적의 움직임 정보를 입력받아 액티브 카메라가 표적을 추적할 수 있도록 액티브 카메라의 상하, 좌우 회동 및 줌을 제어하는 추적 제어부를 구비하는 것이 바람직하다. The controller may include an image processor configured to recognize image targets by processing image signals input from a master camera and an active camera, and to recognize a target movement; And a tracking control unit configured to control the vertical movement of the active camera, the vertical rotation, the horizontal rotation, and the zoom so that the active camera receives the target motion information from the image processing unit.
상기 영상 처리부는, 마스터 카메라로부터 영상 신호를 입력받아 표적을 인식하고, 마스터 카메라와 액티브 카메라 중 적어도 하나에 의하여 표적의 형상 및 표적의 움직임을 인식하는 것이 바람직하다. The image processor receives an image signal from a master camera to recognize a target, and recognizes the shape of the target and the movement of the target by at least one of the master camera and the active camera.
상기 마스터 카메라는, 입력되는 영상을 프레임 단위로 구분하고, 두 개 이상의 프레임에서의 영상 신호를 각각 비교하여, 영상 신호의 차이로부터 표적을 인식하는 것이 바람직하다. The master camera classifies the input image into frame units, compares the image signals of two or more frames, and recognizes a target from the difference of the image signals.
총열이 지향하는 방향이 액티브 카메라의 표적을 향하는 중심축과 일치하 여, 액티브 카메라의 회동에 의하여 함께 회동되는 사격장치를 더 구비하고, 상기 제어부는, 사격장치에 사격 신호를 출력하는 사격 제어부를 더 구비하는 것이 바람직하다. The firing apparatus further includes a shooting device which is rotated together by the rotation of the active camera so that the direction in which the barrel is directed coincides with the target axis of the active camera. The control unit includes a shooting control unit for outputting a shooting signal to the shooting device. It is preferable to further provide.
외부로부터 음향 정보를 입력받는 음향 입력부와 외부로 경고 신호를 출력하는 음향 출력부를 포함하는 음향 장치를 더 구비하고, 상기 제어부는, 음향 입력부로부터 입력된 음향 정보를 처리하여 표적을 인식하고 음향 출력부로 경고 신호를 출력하는 음향 제어부를 더 구비하는 것이 바람직하다. A sound device further includes a sound input unit for receiving sound information from the outside and a sound output unit for outputting a warning signal to the outside, wherein the control unit recognizes a target by processing sound information input from the sound input unit and outputs the sound output unit. It is preferable to further include a sound control unit for outputting a warning signal.
본 발명의 다른 측면에 의한 경계 시스템은, 적어도 하나 이상의 상기 지능형 경계 로봇 시스템; 및 상기 지능형 경계 로봇 시스템으로부터 경계 정보를 입력받아 상황을 인식하고, 지능형 경계 로봇 시스템에 통제 명령을 출력하는 상황 통제부를 구비한다. A boundary system according to another aspect of the present invention includes at least one or more of the intelligent boundary robot system; And a situation controller configured to receive boundary information from the intelligent boundary robot system, recognize a situation, and output a control command to the intelligent boundary robot system.
본 발명의 다른 측면에 의한 지능형 경계 로봇 시스템은, 적어도 하나 이상의 마스터 카메라; 액티브 카메라; 및 제어부를 구비한다. Intelligent boundary robot system according to another aspect of the present invention, at least one master camera; Active camera; And a control unit.
상기 마스터 카메라는 입력되는 영상으로부터 표적을 인식한다. 상기 액티브 카메라는 표적에 대한 추적이 가능하다. 상기 제어부는 마스터 카메라 및 액티브 카메라로부터 영상을 입력받아 영상을 인식하고, 마스터 카메라, 액티브 카메라를 제어한다. The master camera recognizes a target from an input image. The active camera can track the target. The controller receives an image from a master camera and an active camera, recognizes the image, and controls the master camera and the active camera.
상기 제어부는, 마스터 카메라 및 액티브 카메라로부터 입력되는 영상신호를 처리하여 표적을 인식하고 표적의 움직임을 인식하는 영상 처리부; 및 영상 처리부로부터 표적의 움직임 정보를 입력받아 액티브 카메라가 표적을 추적할 수 있도록 액티브 카메라의 상하, 좌우 회동 및 줌을 제어하는 추적 제어부를 구비하는 것이 바람직하다. The controller may include an image processor configured to recognize image targets by processing image signals input from a master camera and an active camera, and to recognize a target movement; And a tracking control unit configured to control the vertical movement of the active camera, the vertical rotation, the horizontal rotation, and the zoom so that the active camera receives the target motion information from the image processing unit.
상기 영상 처리부는, 마스터 카메라로부터 영상 신호를 입력받아 표적을 인식하고, 마스터 카메라와 액티브 카메라 중 적어도 하나에 의하여 표적의 형상 및 표적의 움직임을 인식하는 것이 바람직하다. The image processor receives an image signal from a master camera to recognize a target, and recognizes the shape of the target and the movement of the target by at least one of the master camera and the active camera.
상기 마스터 카메라는, 입력되는 영상을 프레임 단위로 구분하고, 두 개 이상의 프레임에서의 영상 신호를 각각 비교하여, 영상 신호의 차이로부터 표적을 인식하는 것이 바람직하다. The master camera classifies the input image into frame units, compares the image signals of two or more frames, and recognizes a target from the difference of the image signals.
총열이 지향하는 방향이 액티브 카메라의 표적을 향하는 중심축과 일치하여, 액티브 카메라의 회동에 의하여 함께 회동되는 사격장치를 더 구비하고, 상기 제어부는, 사격장치에 사격 신호를 출력하는 사격 제어부를 더 구비하는 것이 바람직하다. The firing apparatus is further provided with a shooting device which is rotated together by the rotation of the active camera so that the direction in which the barrel is directed coincides with the target axis of the active camera. The control unit further includes a shooting control unit for outputting a shooting signal to the shooting device. It is preferable to provide.
외부로부터 음향 정보를 입력받는 음향 입력부와 외부로 경고 신호를 출력하는 음향 출력부를 포함하는 음향 장치를 더 구비하고, 상기 제어부는, 음향 입력부로부터 입력된 음향 정보를 처리하여 표적을 인식하고 음향 출력부로 경고 신호를 출력하는 음향 제어부를 더 구비하는 것이 바람직하다. A sound device further includes a sound input unit for receiving sound information from the outside and a sound output unit for outputting a warning signal to the outside, wherein the control unit recognizes a target by processing sound information input from the sound input unit and outputs the sound output unit. It is preferable to further include a sound control unit for outputting a warning signal.
상기 경계 정보가, 표적의 인식 정보, 표적의 이동 정보, 음향 정보 중의 적어도 하나를 포함하는 것이 바람직하다. It is preferable that the boundary information includes at least one of recognition information of the target, movement information of the target, and sound information.
상기 통제 명령이, 표적의 추적 신호, 사격장치의 제어 신호, 및 경고 신호 중의 적어도 하나를 포함하는 것이 바람직하다. Preferably, the control command includes at least one of a tracking signal of a target, a control signal of a shooting apparatus, and a warning signal.
본 발명에 따르면, 물체의 형상 및 움직임을 영상 인식하고, 물체의 움직임을 자동으로 추적하고, 물체에 대한 자동 발포가 가능하다. According to the present invention, it is possible to image the shape and movement of the object, to automatically track the movement of the object, automatic foaming on the object.
이하, 첨부된 도면을 참조하여 바람직한 실시예에 따른 본 발명을 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 바람직한 일 실시예로서, 지능형 로봇 시스템을 개략적으로 도시한 사시도이다. 1 is a perspective view schematically showing an intelligent robot system as one preferred embodiment according to the present invention.
도면을 참조하면, 지능형 경계 로봇 시스템(1)은, 적어도 하나 이상의 마스터 카메라(11); 액티브 카메라(12); 구동부(13); 및 제어부(14)를 구비한다. 본 실시예에 따른 지능형 경계 로봇 시스템(1)은 마스터 카메라(11)와 액티브 카메라(12)의 2대의 카메라로 운용되며 각각으로부터 표적의 움직임 정보를 입력받아 감시 및 경계를 위한 추적을 수행하여 추적률을 높이고 인식률을 향상시키도록 구성된다. Referring to the drawings, the intelligent
상기 마스터 카메라(11)는 프레임(19)에 고정되도록 설치되어, 입력되는 영상으로부터 표적을 인식한다. 상기 액티브 카메라(12)는 프레임(19)에 대하여 상하(tilting) 및 좌우(panning)로 회동 가능하도록 설치되어, 표적에 대한 추적이 가능하다. 상기 구동부(13)는 액티브 카메라(12)를 프레임(19)에 대하여 상하 및 좌우로 회전시킨다. 상기 제어부(14)는 마스터 카메라(11) 및 액티브 카메라(12)로부터 영상을 입력받아 영상을 인식하고, 마스터 카메라(11), 액티브 카메라(12), 및 구동부(13)를 제어한다. 이때, 제어부(14)는 도시된 프레임 내부(19)에 설치될 수 있을 것이다. The
추가적으로, 경계 로봇 시스템(1)을 직접 제어할 수 있는 이동형 간이 통제기(16)가 사용될 수 있으며, 필요에 따라 별도의 운용 요원이 이동형 간이 통제기(16)를 이용하여 경계 로봇 시스템을 직접 조작할 수 있을 것이다. In addition, a mobile
총열이 지향하는 방향이 액티브 카메라의 표적을 향하는 중심축과 일치하도록, 액티브 카메라에 대하여 고정되어 설치되는 사격장치(15)를 구비하는 것이 바람직하다. 또한, 외부로부터 음향 정보를 입력받는 음향 입력부 및 외부로 경고 신호를 출력하는 음향 출력부를 포함하는 음향 장치를 더 구비할 수 있다. It is preferable to provide a
상기 마스터 카메라(11) 및 상기 액티브 카메라(12)는, 적외선 영역의 영상 입력을 차단하는 적외선 차단 필터를 구비하는 초저조도 카메라인 것이 바람직하다. 이때, 마스터 카메라(11) 및 액티브 카메라(12)는, 낮에는 적외선 차단 필터를 온(ON)시키고 칼라 영상을 입력받고, 밤에는 적외선 차단 필터를 오프(OFF)시키고 흑백 영상을 입력받는다. 이러한 초저조도 카메라를 사용하여 주간은 물론 야간에도 영상을 입력받을 수 있다. Preferably, the
상기 마스터 카메라(11)가 상기 액티브 카메라(12)보다 더 큰 시야각을 갖는 것이 바람직하다. 즉, 마스터 카메라(11)는 큰 시야각을 가지고 주시야 범위에서 전체적인 움직임을 검출하는 기능을 수행한다. 이때, 마스터 카메라(11)에도 줌 기능이 구비되고, 관측 거리 및 범위 등의 사용 조건에 따라 배율을 조정하여 셋팅하는 것이 바람직하다. 마스터 카메라(11)는 주시야 범위의 넓은 영역으로부터 영상을 얻어 표적을 인식하고 표적의 전체적인 움직임을 검출한다. Preferably, the
액티브 카메라(12)는 마스터 카메라(11)에 의하여 인식된 표적의 움직임 정 보를 이용하여 그 움직임의 중심을 항상 카메라의 광축에 유지하도록 제어된다. 또한, 액티브 카메라(12)는 보다 정밀하게 이동하는 표적의 속도, 변위, 및 크기 등의 정보를 마스터 카메라(11)에 비하여 높은 해상도를 유지하며 검출한다. The
이를 위하여, 액티브 카메라(12)는 줌(zoom), 좌우 회동(panning), 및 상하 회동(tilting)의 기능을 갖는다. 액티브 카메라(12)의 이러한 좌우 회동 및 상하 회동 기능에 의하여 항상 액티브 카메라(12)의 광축이 표적의 중심을 향해 유지할 수 있도록 구동된다. 또한, 상기 액티브 카메라(12)의 줌 기능에 의하여 표적에 대한 영상을 확대하여, 표적을 더욱 자세히 관찰할 수 있을 것이다. To this end, the
이에 따라, 액티브 카메라(12)에 대하여 고정되도록 설치되는 사격장치(15)의 총열이 지향하는 방향이 액티브 카메라(12)의 표적을 향하는 중심축과 일치하므로, 사격장치(15)의 총열이 표적을 향할 수 있도록 하였다. Accordingly, since the direction in which the barrel of the
또한, 이를 위하여 액티브 카메라(12) 및 사격장치(15)가 표적을 추적할 수 있도록, 표적 중심법(centroid method) 또는 상관법(correlation method) 등의 통상적으로 사용되는 추적 알고리즘이 사용될 수 있다. In addition, a conventional tracking algorithm such as a centroid method or a correlation method may be used for the
상기 마스터 카메라(11)는, 입력되는 영상의 변화를 감지하여 표적을 인식할 수 있는데, 이를 위하여 입력되는 영상을 프레임 단위로 구분하고, 두 개 이상의 프레임에서의 영상 신호를 각각 비교하여, 영상 신호의 차이로부터 표적을 인식할 수 있다. 예를 들어, 이전 프레임과 현재 프레임의 영상을 비교하여 이전 프레임에 없었던 물체가 현재 프레임에 있으면, 이를 새로운 표적으로 삼을 수 있다. 또한, 이 경우에 입력되는 영상에서 움직이는 물체가 감지되면, 이를 표적으로 할 수도 있을 것이다. The
이때, 프레임 단위로 구분되는 입력되는 영상이 프레임보다 더 작은 단위의 영상으로 구분될 수 있다. 예를 들어, 영상이 다중 주사 방식에 의하여 구동되어 표시되는 경우에, 하나의 프레임이 각각의 주사 단위인 필드 단위로 구분되고, 각각의 필드 단위로 영상을 비교하여 영상 신호의 차이로 부터 표적을 인식할 수도 있을 것이다. 이 경우에 더욱 적은 영상 데이터로부터 입력되는 영상으로부터 표적의 인식, 표적의 움직임 감지 등을 수행할 수 있을 것이다. In this case, the input image divided in units of frames may be divided into images in smaller units than frames. For example, when an image is driven and displayed by a multi-scanning method, one frame is divided into field units, which are each scanning unit, and the target is determined from the difference of the image signal by comparing the images in each field unit. You might recognize it. In this case, recognition of the target, motion detection of the target, etc. may be performed from an image input from fewer image data.
여기서, 마스터 카메라(11) 및 액티브 카메라(12)는 지능형 경계 로봇 시스템의 효율적인 운용을 위하여, 각각 2이상의 카메라가 사용될 수 있다. 즉, 하나의 마스터 카메라(11)가 넓은 영역을 감시하고, 수 개의 액티브 카메라(12)가 복수개의 이동하는 표적을 동시에 추적할 수도 있을 것이다. 또한, 전체 영역을 효율적으로 감시 또는 표적과의 거리 측정을 용이하도록 하기 위하여 2 이상의 마스터 카메라(11)가 사용될 수 있을 것이다. Here, two or more cameras may be used for the
또한, 마스터 카메라(11)와 액티브 카메라(12)의 2 이상의 카메라의 협력 작업에 의하여 감시 및 경계 업무를 수행하여, 하나의 이벤트가 발생한 후에 새로운 이벤트가 발생하는 경우에도 지속적으로 감시 및 경계 업무 수행이 가능하다. In addition, the monitoring and alerting work is performed by the cooperative work of two or more cameras of the
상기 구동부(13)는 액티브 카메라(12)를 프레임(19)에 대하여 상하 및 좌우로 회전시킨다. 상기 구동부(13)는 상기 제어부 표적의 이동 정보와 액티브 카메라(12)의 광축의 위치 및 각도 정보로부터 생성된 구동 신호를 입력받아, 상기 액티브 카메라(12)를 상하 및 좌우로 회동시켜, 액티브 카메라(12)가 표적을 추적할 수 있도록 구동된다. The driving
상기 제어부(14)는 마스터 카메라(11) 및 액티브 카메라(12)로부터 영상을 입력받아 영상을 인식하여, 표적을 검출하고, 표적의 형상을 인식하고, 표적의 움직임을 감지하고, 이에 따라 마스터 카메라(11), 액티브 카메라(12), 및 구동부(13)를 제어한다. The
음향 장치는 음향 입력부와 음향 출력부를 구비하는데, 음향 입력부는 외부로부터 음향 신호를 입력받아, 제어부에서 이를 처리하여 영상 신호를 보충하여 표적의 종류, 위치 및 방위각 등을 구할 수 있다. 즉, 이러한 음향 탐지에 의하여 구한 표적에 대한 정보에 따라 액티브 카메라(12)를 구동시킬 수 있다. The sound apparatus includes a sound input unit and a sound output unit. The sound input unit may receive a sound signal from the outside, process the same in the controller, and supplement the image signal to obtain a type, a position, and an azimuth angle of the target. That is, the
영상 입력에 따른 액티브 카메라(12) 및 사격 장치(15)의 추적은 다음과 같은 방법에 의하여 이루어질 수 있다. Tracking of the
먼저, 마스터 카메라(11)로부터 얻은 영상 신호로부터 주시야 범위에서의 전체적인 움직임을 검출하여, 표적을 검출한다. 또한, 마스터 카메라(11)와 액티브 카메라(12)로부터 표적의 초기 움직임을 검출하며, 미리 저장 또는 학습된 참조 영상과 비교하여 형상을 인식하고, 표적의 움직임을 추적한다. 추적을 위한 이동 표적의 속도 및 위치 정보를 얻기 위하여 영상간의 움직임 영역에서의 패턴을 서로 비교하여 표적의 위치 및 속도를 검출한다. First, a target is detected by detecting the overall movement in the field of view from the video signal obtained from the
또한, 목표물 인식은 검출 부분에서 넘겨진 목표물 영상을 입력받아 목표물의 종류와 상태를 판별한다. 제어부(14)에서는 영상 추적 정보, 음향 및 음성 정보를 입력받아 구동부의 작동을 제어하며, 영상 데이터는 도2에 도시된 이동형 간이 통제기(26) 또는 상황 통제부(27)로 보내지고 이벤트 발생에 의하여 상황 통제부의 영상 녹화장치에 녹화될 수 있다. In addition, the target recognition receives the target image passed from the detection unit and determines the type and state of the target. The
또한, 영상의 검출에 따른 표적의 추적 및 사격 등이 제어부(15)의 제어에 의하여 자동으로 수행될 수 있지만, 오프 라인의 운용 요원에 의해서 이루어질 수도 있을 것이다. 즉, 운용 요원에 의하여 상황이 판단되어지면, 운용 요원이 사격 명령을 내리고, RS-485 등의 통신 수단을 통하여 사격 명령이 제어부(14)로 입력되고, 이에 따라 제어부(14)로부터 사격 신호가 사격장치(15)에 입력되어 표적을 향하여 사격이 수행될 수 있다. 이때, 사격장치(15)의 총열이 액티브 카메라의 중심축과 항상 일치되어 있으므로, 영상을 추적해 가면서 사격을 할 수 있다. In addition, the tracking and shooting of the target according to the detection of the image may be automatically performed by the control of the
추적 알고리즘으로는 여러 가지 방법이 있으나, 종래의 추적기에서 많이 사용되는 것으로 표적 중심법과 상관법이 있다. 표적 중심법의 경우에는 각 시변 영상을 표적과 배경으로 분리하여 이진화한 후에 표적의 중심을 추출하여 그 중심의 위치로부터 표적의 이동 정보를 추정하는 방법이다. 이 방법은 비교적 구현이 간단하며 변위가 큰 이동 표적의 추적이 가능한 장점을 가진 반면에, 표적과 배경의 밝기가 유사하거나 복잡한 경우에는 표적과 배경을 분리하기 위한 영상 분할이 어렵다. There are many methods for tracking algorithms, but the target tracking method and the correlation method are widely used in the conventional tracker. In the target center method, each time-varying image is separated into a target and a background and binarized, the center of the target is extracted, and the target movement information is estimated from the position of the center. This method has the advantage of being relatively simple to implement and capable of tracking moving targets with large displacements, whereas it is difficult to segment an image to separate the target and the background when the brightness of the target and the background is similar or complicated.
따라서, 본 실시예의 경우에는 추적 영상 신호 처리 방법으로 상관방식의 추적법을 사용하며, 이는 영상처리 및 컴퓨터 비젼(vision) 분야에서 움직임 추정기법으로 많이 연구된 바 있는 시공간 경사법(Optical flow)과 동일한 방법이다. 이 방법은 표적 중심법에 비하여 큰 변위을 갖는 이동 표적이 추적을 불가능하나, 작 은 변위의 추적에서는 비교적 안정적으로 이동 정보를 추정할 수 있으며, 표적과 배경을 따로 분리할 필요가 없기 때문에 표적의 이동 정보의 추정이 비교적 용이하다. Therefore, in the present embodiment, a correlation tracking method is used as a tracking image signal processing method, which is an optical flow method that has been widely studied as a motion estimation method in the field of image processing and computer vision. It's the same way. This method is impossible to track a moving target with a large displacement compared to the target centering method.However, the tracking of a small displacement can estimate the moving information relatively stably and does not need to separate the target and the background separately. Estimation of information is relatively easy.
본 실시예의 상관 추적법에 의하여 움직이는 물체를 추적하는 방법의 예로서, 물체의 움직임을 검출하기, 물체의 움직임을 추적하기, 줌잉(zooming)하면서 추적하기, 장애물에 가려진 목표물 추적하기 등의 방법을 통하여 추적하기 등의 방법을 통하여 추적할 수 있다. As an example of a method for tracking a moving object by the correlation tracking method of the present embodiment, a method of detecting an object movement, tracking an object movement, tracking while zooming, tracking an object obscured by an obstacle, etc. Tracking can be done through a method such as tracking.
또한, 본 발명에 의한 지능형 경계 로봇 시스템에서는 마스터 카메라(11) 및 액티브 카메라(12)에 의하여 인식한 목표물의 형상을 인식하여, 형상의 종류에 따라 적절한 조치를 취할 수 있도록 하는 것이 바람직하다. In addition, in the intelligent perimeter robot system according to the present invention, it is preferable to recognize the shape of the target object recognized by the
이를 위하여 목표물 추적 시스템의 형상 인식 부분은 검출된 표적의 영상을 입력받아 목표물의 종류를 판별한다. 이때, 구분해야할 목표물들의 종류가 다양하고, 그 크기, 모양이나 밝기 분포도 다양하고, 다양한 환경 변화로 인하여 노이즈 등이 많이 존재할 수 있다. 이러한 문제를 해결하기 위해서, 본 실시예에서는 각 목표물들의 단일 특징만으로는 정확한 분별이 어려우므로, 동일한 물체에 대한 여러 특징들을 조합하여 각 물체들에 대한 많은 데이터를 사전에 학습시키고 입력되는 물체에 대해서 분류할 수 있는 신경망(Neural network, NN) 기반 기술 또는 RMSE(Root Mean Square Error) 기반 기술을 적용할 수 있다. To this end, the shape recognition part of the target tracking system receives an image of the detected target and determines the type of the target. At this time, the types of targets to be distinguished are varied, the size, shape or brightness distribution is also varied, and there may be a lot of noise due to various environmental changes. In order to solve this problem, in the present embodiment, it is difficult to accurately classify a single feature of each target, and thus, by combining various features of the same object, a lot of data for each object is learned in advance and classified for the input object. Neural network (NN) based technology or Root Mean Square Error (RMS) based technology can be applied.
도 2는 본 발명에 따른 바람직한 다른 실시예로서, 적어도 하나 이상의 지능형 경계 로봇 시스템을 구비하는 경계 시스템이다. Figure 2 is another preferred embodiment according to the present invention, which is a boundary system having at least one intelligent boundary robot system.
도면을 참조하면, 경계 시스템(2)은 적어도 하나 이상의 상기 지능형 경계 로봇 시스템(28A, 28B, etc); 및 상기 지능형 경계 로봇 시스템으로부터 경계 정보를 입력받아 상황을 인식하고, 지능형 경계 로봇 시스템에 통제 명령을 출력하는 상황 통제부(27)를 구비한다. 이때, 본 실시예에는 도 1의 지능형 경계 로봇 시스템을 포함하여 이루어지는 것으로, 도 1과 동일한 기능을 하는 동일한 구성요소에 대해서는 유사한 참조번호를 사용하고, 이들에 대한 자세한 설명은 생략한다. Referring to the drawings, the
본 실시예에 따른 지능형 경계 로봇 시스템은, 마스터 카메라(21); 액티브 카메라(22); 음향장치(29); 사격장치(25); 및 제어부를 구비한다. 이때, 상기 제어부(24)는, 영상 처리부(241); 추적 제어부(242); 음향 제어부(243); 사격 제어부(244); 및 주 제어부(245)를 구비한다. Intelligent boundary robot system according to the present embodiment, the
상기 영상 처리부(241)는 마스터 카메라(21) 및 액티브 카메라(22)로부터 입력되는 영상신호를 처리하여 표적을 인식하고 표적의 움직임을 인식한다. 상기 추적 제어부(242)는 영상 처리부(241)로부터 표적의 움직임 정보를 입력받아 액티브 카메라(22)가 표적을 추적할 수 있도록 액티브 카메라(22)의 상하, 좌우 회동 및 줌을 제어한다. 상기 음향 제어부(243)는 음향 입력부로부터 입력된 음향 정보를 처리하여 표적을 인식하고 음향 출력부로 경고 신호를 출력한다. 상기 사격 제어부(244)는 사격장치(25)에 사격 신호를 출력한다. The
상기 주제어부(245)는 영상 처리부(241), 추적 제어부(242), 음향 제어부(243), 및 사격 제어부(244)를 전체적으로 제어하고 상호 연결시키는 것이다. 주제어부(245)는 영상 처리부(241)로부터 표적 신호를 입력받고, 음향 제어부(243)로 부터 음향정보를 입력받고, 상황 통제부(27)로부터 여러 가지 통제 명령 정보를 입력받아. 추적 제어부(242)로 표적 이동 데이터를 출력하고, 음향 제어부(243)로 경고 제어 신호를 출력하고, 사격 제어부(244)로 사격 제어 신호를 출력하고, 상황 통제부(27)로 각종 경계 정보를 출력한다. The
이때, 주제어부(245)로부터 상황 통제부(27)로 출력하는 경계 정보는, 표적의 인식 정보, 표적의 이동 정보, 음향 정보 중의 적어도 하나를 포함하고, 상황 통제부(27)로부터 주제어부(245)로 입력되는 통제 명령은, 표적의 추적 신호, 사격장치의 제어 신호, 및 경고 신호 중의 적어도 하나를 포함하는 것이 바람직하다. At this time, the boundary information output from the
상황 통제부(27)로부터 주제어부(245)로 입력되는 통제 명령은 자동으로 이루어질 수 있지만, 상황에 따라서는 별도의 운용 요원이 존재하고 운용 요원이 직접 영상 및 음성 정보들을 모니터링 하면서, 통제 명령을 내릴 수도 있을 것이다. The control command input from the
또한, 경계 시스템(2)은 경계 로봇 시스템을 직접 제어할 수 있는 이동형 간이 통제기(26)를 더 구비할 수 있는데, 필요에 따라서는 별도의 운용 요원이 이동형 간이 통제기(26)를 이용하여 경계 로봇 시스템을 직접 조작할 수 있도록 할 수 있다. In addition, the
도 3은 도 1 및 도 2의 지능형 경계 로봇 시스템의 초저조도 카메라의 작동 원리를 개략적으로 도시한 그래프이다. 3 is a graph schematically illustrating the operation principle of the ultra low light camera of the intelligent perimeter robot system of FIGS. 1 and 2.
도면을 참조하면, 상기 마스터 카메라(도 1의 11) 및 상기 액티브 카메라(도 1의 12)는, 적외선 영역의 영상 입력을 차단하는 적외선 차단 필터를 구비하는 초저조도 카메라가 사용될 수 있다. 이때, 초저조도 카메라는, 동일한 카메라로 주간 에는 물론 야간에도 감시가 가능한 초저조도 기능과, 역광조건의 상태에서도 피사체의 식별능력을 개선한 WDR(Wide Dynamic Range) 기능을 갖는 것이 바람직하다. 또한, 자동 색온도 보정(Auto White Balance, AWB), 자동 노출 보정(Auto Exposure, AE), 및 자동 초점 조절(Auto Focus, AF) 등의 기능을 갖는다. Referring to the drawings, the master camera (11 of FIG. 1) and the active camera (12 of FIG. 1), an ultra-low light camera having an infrared cut filter for blocking the image input of the infrared region may be used. In this case, it is preferable that the ultra low light camera has an ultra low light function capable of monitoring day and night at the same camera, and a WDR (Wide Dynamic Range) function which improves a subject's discrimination ability even under a backlight condition. It also has functions such as Auto White Balance (AWB), Auto Exposure (AE), and Auto Focus (AF).
본 실시예의 카메라는 낮에는 적외선 차단 필터를 온(ON)시키고 칼라 영상을 입력받고, 밤에는 적외선 차단 필터를 오프(OFF)시키고 흑백 영상을 입력받는 방식이 사용될 수 있다. 이러한 초저조도 카메라를 사용하여 주간은 물론 야간에도 영상을 입력받을 수 있다. The camera of the present embodiment may use a method of turning on the infrared cut filter during the day and receiving a color image, and turning off the infrared cut filter at night and receiving a black and white image. The ultra low light camera can be used to receive images during the day as well as at night.
더욱 바람직하게는, 마스터 카메라(11) 및 액티브 카메라(12)로 낮과 밤에 동일하게 적용 가능한 칼라 초저도 카메라를 사용하여, 낮뿐만 아니라 밤에도 칼라 영상을 얻을 수 있도록 하는 것이 영상의 인식 및 감시를 더욱 정밀하게 수행할 수 있을 것이다. More preferably, it is possible to obtain a color image not only during the day but also at night by using a color ultra-low camera that is equally applicable to the
도 4는 및 도 5a 내지 도 5c는 도 1 및 도 2의 지능형 경계 로봇 시스템의 마스터 카메라와 액티브 카메라에 의한 표적까지의 거리 측정 원리를 개략적으로 도시한 도면이다. 4 and 5a to 5c schematically illustrate the principle of distance measurement to a target by a master camera and an active camera of the intelligent boundary robot system of FIGS. 1 and 2.
도면을 참조하면, 본 발명에 의한 경계 로봇 시스템은 두 대 이상의 카메라를 사용하여 물체를 인식하여 위치 및 방위각 등을 측정할 수 있으므로, 추가적인 거리 센서의 사용없이 거리를 측정할 수 있다. Referring to the drawings, the boundary robot system according to the present invention can measure the position and azimuth angle by recognizing an object using two or more cameras, thereby measuring the distance without using an additional distance sensor.
도 4는 물체 즉 본 실시예의 경우 사람을 마스터 카메라(31) 및 액티브 카메라(32) 두 대의 카메라에 의하여 인식하는 것을 도시하고 있다. 이때, 마스터 카메 라(31) 및 액티브 카메라(32) 사이의 거리는 w이고, 이들 카메라들로부터 물체까지의 거리는 D이다. 4 illustrates the recognition of an object, that is, a person by two cameras of the
도 5a는 마스터 카메라(31)에 인식된 목표물을 도시하고 있는데, 목표물이 마스터 카메라(31)에 입력된 영상의 우측부에 위치한다. 도 5b는 액티브 카메라(32)에 인식된 목표물을 도시하고 있는데, 목표물이 액티브 카메라(32)에 입력된 영상의 좌측부에 위치한다. 도 5c는 마스터 카메라(31)에 입력된 영상(도 5a)과 액티브 카메라(32)에 입력된 영상(도 5b)을 합성한 것인데, 좌측이 액티브 카메라(32)에 인식된 목표물이고, 우측이 마스터 카메라(31)에 인식된 목표물이다. FIG. 5A illustrates a target recognized by the
이때, 도 5c에서 마스터 카메라(31)에 인식된 목표물과 액티브 카메라(32)에 인식된 목표물은 일정 간격(d)만큼 떨어져 있다. 이 경우에 카메라들로부터 물체까지의 거리(D)는 각각의 카메라에 인식된 목표물간의 간격(d)에 반비례한다. 통상의 경우에서 잘 알려진 바와 같이 이러한 관계를 이용하여, 카메라들로부터 물체까지의 거리(D)가 카메라 사이의 간격(w), 인식된 목표물들 간의 간격(d), 및 카메라로부터의 각도 등을 고려하여 구할 수 있다. In this case, the target recognized by the
도 6은 도 2의 지능형 경계 시스템의 음향 탐지 시스템을 개략적으로 도시한 도면이다. FIG. 6 is a diagram schematically illustrating an acoustic detection system of the intelligent perimeter system of FIG. 2.
도면을 참조하면, 지능형 경계 시스템에서 적의 침입 및 탐지를 위한 경계, 방어 기술을 위한 음향 센서를 이용한 적의 위치, 방향을 알아내는 것은 경계 시스템을 효율적으로 운영할 수 있도록 한다. 근거리 지역의 적의 위장 침투 시 등의 영상으로 포착하기 힘든 상황에서 더욱 유용하게 사용될 수 있다. 즉, 마이크와 같 은 음향 센서를 적어도 하나 이상 이용하여, 이를 도시한 바와 같이 어레이 형태로 만들어 목표물의 움직임 발생 시에 이를 검지하여 경계 업무를 효율적으로 수행할 수 있도록 한다. 본 실시예의 경우에는 주로 영상 인식에 의한 목표물의 인식을 보조하는 기능으로 사용될 수 있다. Referring to the drawings, in the intelligent perimeter system, the perimeter for the intrusion and detection of the enemy, and the position and direction of the enemy using the acoustic sensor for the defense technology can effectively operate the perimeter system. It can be more useful in situations where it is difficult to capture images such as invading the enemy's camouflage in a short distance. That is, by using at least one or more acoustic sensors, such as a microphone, it is made in the form of an array as shown to detect the movement of the target when it occurs so that the boundary task can be efficiently performed. In the present embodiment, it can be mainly used as a function to assist recognition of a target by image recognition.
이를 위하여, 멀티 채널 시스템(Multiple Channels, MICs)의 음향 센서를 사용하고, 이를 위한 다중 신호 분류 기법으로 MUSIC(Multiple signal classification)와 CSS(Coherent Signal Subspace)을 사용한다. 음향 센서를 통하여 신호를 획득하고, 획득된 신호를 처리하고, 신호 강화 및 잡음 신호를 제거하고, 지연(delay) 및 방향성(Direction Of Angle, DOA) 검지, 신호를 분석하여 표적을 검출한다. 이러한 일련의 작업에 의한 표적 검출 정보를 주제어부로 전송한다. To this end, acoustic sensors of multiple channels (MICs) are used, and multiple signal classification (MUSIC) and coherent signal subspace (CSS) are used as multiple signal classification techniques for this. Acquire the signal through the acoustic sensor, process the acquired signal, remove the signal enhancement and noise signal, detect the delay and direction (DOA), analyze the signal and detect the target. The target detection information by this series of operations is transmitted to the main control unit.
이러한 음향 탐지 시스템을 위하여 상기한 방법들 이외에도 통상적으로 사용되는 다양한 음향 신호 분석 및 처리 방법들이 사용될 수 있을 것이다. In addition to the methods described above, various acoustic signal analysis and processing methods commonly used may be used for such an acoustic detection system.
도 7은 도 2의 경계 시스템의 운영 절차를 개략적으로 도시한 흐름도이다. 7 is a flowchart schematically illustrating an operating procedure of the boundary system of FIG. 2.
도면을 참조하면, 경계 시스템의 운영은 경계 로봇에서의 경계 업무 수행(100)과 상황 통제부에서의 업무 수행(200)으로 분리하여 이루어질 수 있는데, 각각의 업무 수행에서 상호 연결되어 정보를 주고받으며 동시에 진행될 수 있다. 도시한 실시예의 경우에는 2 이상의 경계 로봇 중에서 하나의 경계 로봇의 경계 업무 수행과 상황 통제부로서의 1차 통제소 통제병의 업무 수행을 도시하고 있다. Referring to the drawings, the operation of the boundary system may be performed by separating the
먼저, 경계 로봇의 경계 업무 수행을 살펴보면 다음과 같다. 마스터 카메라에 의하여 정해진 섹터를 경계 감시하면서(S101), 움직이는 물체를 계측한 다(S102). 다음으로 움직이는 물체 중에서 목표물을 인식하였는지 여부를 판단하고(S103), 목표물을 인식하였으면 마스터 카메라 및 액티브 카메라에 의하여 속도를 계측하고, 액티브 카메라에 의하여 목표물을 추적한다(S104). 이때, 목표물이 인식되지 아니한 경우에는 다시 정해진 섹터 경계 감시하는 단계(S101)로 돌아간다. First, the boundary task performance of the boundary robot is as follows. While monitoring the sector determined by the master camera (S101), the moving object is measured (S102). Next, it is determined whether the target is recognized from the moving object (S103). If the target is recognized, the speed is measured by the master camera and the active camera, and the target is tracked by the active camera (S104). At this time, if the target is not recognized, the process returns to the step S101 of determining the sector boundary again.
또한, 현재의 모드가 전투 모드인지 여부를 판단하고(S105), 전투 모드인 경우에는 사격장치를 통하여 자동사격을 수행한다(S106). 이때, 전투 모드가 아닌 경우에는 다시 정해진 섹터 경계 감시하는 단계(S101)로 돌아간다. 이후에 계속하여 상황 지역을 영상 감시하고(S107), 영상 및 음성 정보 등을 저장장치에 저장하여 증거 자료를 확보한다(S108). In addition, it is determined whether the current mode is the combat mode (S105), and in the case of the combat mode, automatic shooting is performed through the shooting apparatus (S106). At this time, if the mode is not in the battle mode, the process returns to the step S101 of determining the sector boundary again. Subsequently, video surveillance of the situation area is continued (S107), and video and audio information is stored in a storage device to secure evidence data (S108).
이때, 별도로 음향을 탐지하고(S109), 음향 장치에 의한 암구호 교환에 의한 암구호 인식(S110)을 통하여 상황을 파악할 수도 있을 것이다. In this case, the sound may be separately detected (S109), and the situation may be identified through the password recognition recognition (S110) by the password exchange by the sound apparatus.
다음으로 상황 통제부로서의 1차 통제소 통제병의 업무 수행 흐름을 살펴보면 다음과 같다. 경계 로봇에서의 움직이는 물체 계측(S102)에 의한 물체 정보를 통하여 상황을 주시하고(S201), 목표물 인식 여부(S103)에 따라 상황을 판단하고(S202), 피아를 식별하고(S203) 경계 로봇으로 사격 명령을 하달할 수 있다(S204). 이때, 별도의 지휘 통제소에 상황을 보고하여 통제 지령을 입수할 수도 있을 것이다. Next, the flow of work performed by the primary control officer as the situation control department is as follows. The situation is monitored through the object information by the moving object measurement (S102) in the boundary robot (S201), the situation is determined according to whether the target is recognized (S103) (S202), the pia is identified (S203), and the boundary robot is Fire command can be issued (S204). At this time, the situation may be reported to a separate command and control command to obtain control orders.
또한, 음향 탐지 정보(S109, S110)와 상황 지역의 영상 정보(S107)로부터 상황을 파악하고(S205), 전투 상황의 결과를 지휘 통제소에 보고한다(S206). In addition, the situation is identified from the sound detection information (S109, S110) and the image information (S107) of the situation area (S205), and the result of the combat situation is reported to the command control center (S206).
본 발명에 따른 지능형 경계 로봇 시스템에 의하면, 물체의 형상 및 움직임을 영상 인식하고, 물체의 움직임을 자동으로 추적하고, 물체에 대한 자동 발포가 가능하다. According to the intelligent boundary robot system according to the present invention, it is possible to recognize the shape and movement of an object, to automatically track the movement of the object, and to automatically fire the object.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.Although the present invention has been described with reference to one embodiment shown in the accompanying drawings, it is merely an example, and those skilled in the art may realize various modifications and equivalent other embodiments therefrom. I can understand. Accordingly, the true scope of protection of the invention should be defined only by the appended claims.
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060038882A KR20060069799A (en) | 2006-04-28 | 2006-04-28 | Intelligent surveillance and sentry robot system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060038882A KR20060069799A (en) | 2006-04-28 | 2006-04-28 | Intelligent surveillance and sentry robot system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020030089184A Division KR100665874B1 (en) | 2003-12-09 | 2003-12-09 | Intelligent surveillance and sentry robot system |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20060069799A true KR20060069799A (en) | 2006-06-22 |
Family
ID=37163702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060038882A KR20060069799A (en) | 2006-04-28 | 2006-04-28 | Intelligent surveillance and sentry robot system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20060069799A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100829179B1 (en) * | 2007-04-04 | 2008-05-14 | 안태형 | Multipurpose unmanned guard system for incipient suppression and thereof control method |
KR20100084845A (en) * | 2009-01-19 | 2010-07-28 | 삼성테크윈 주식회사 | Guard and surveillance robot system |
WO2011122762A2 (en) * | 2010-03-29 | 2011-10-06 | (주)코리아일레콤 | Firearm simulation system simulating leading fire, laser-emitting device, and target detection device |
KR20220056564A (en) * | 2020-10-28 | 2022-05-06 | 엘아이지넥스원 주식회사 | Fine adjustment handle apparatus for optical axis alignment |
-
2006
- 2006-04-28 KR KR1020060038882A patent/KR20060069799A/en not_active Application Discontinuation
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100829179B1 (en) * | 2007-04-04 | 2008-05-14 | 안태형 | Multipurpose unmanned guard system for incipient suppression and thereof control method |
KR20100084845A (en) * | 2009-01-19 | 2010-07-28 | 삼성테크윈 주식회사 | Guard and surveillance robot system |
WO2011122762A2 (en) * | 2010-03-29 | 2011-10-06 | (주)코리아일레콤 | Firearm simulation system simulating leading fire, laser-emitting device, and target detection device |
WO2011122762A3 (en) * | 2010-03-29 | 2012-03-29 | (주)코리아일레콤 | Firearm simulation system simulating leading fire, laser-emitting device, and target detection device |
US9303954B2 (en) | 2010-03-29 | 2016-04-05 | Korea Elecom Co., Ltd. | Firearm simulation system simulating leading fire, laser-emitting device, and target detection device |
KR20220056564A (en) * | 2020-10-28 | 2022-05-06 | 엘아이지넥스원 주식회사 | Fine adjustment handle apparatus for optical axis alignment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108615321B (en) | Security pre-warning system and method based on radar detecting and video image behavioural analysis | |
CN105894702B (en) | Intrusion detection alarm system based on multi-camera data fusion and detection method thereof | |
US7336297B2 (en) | Camera-linked surveillance system | |
CN108802758B (en) | Intelligent security monitoring device, method and system based on laser radar | |
CN101969548B (en) | Active video acquiring method and device based on binocular camera shooting | |
US9026272B2 (en) | Methods for autonomous tracking and surveillance | |
CN101465033B (en) | Automatic tracking recognition system and method | |
KR100850462B1 (en) | Sentry robot | |
KR100665874B1 (en) | Intelligent surveillance and sentry robot system | |
CN111679695B (en) | Unmanned aerial vehicle cruising and tracking system and method based on deep learning technology | |
US20080117296A1 (en) | Master-slave automated video-based surveillance system | |
CN110619276B (en) | Anomaly and violence detection system and method based on unmanned aerial vehicle mobile monitoring | |
CN101635834A (en) | Automatic tracing identification system for artificial neural control | |
KR101508290B1 (en) | Day-night vision machine and water monitoring system thereof | |
KR101290782B1 (en) | System and method for Multiple PTZ Camera Control Based on Intelligent Multi-Object Tracking Algorithm | |
JP2019140990A (en) | Target tracking apparatus and target tracking system | |
KR20060069799A (en) | Intelligent surveillance and sentry robot system | |
KR20090003803A (en) | System for intelligent surveillance and method for controlling thereof | |
CN114401354A (en) | Intelligent control method and system for over-the-horizon monitoring of offshore ship | |
JP2006168421A (en) | Flying object monitoring device | |
Chakravarty et al. | Anomaly detection and tracking for a patrolling robot | |
CN116342642A (en) | Target tracking method, device, electronic equipment and readable storage medium | |
KR102356651B1 (en) | Method for Providing Intelligent Control by Using Radar Security Camera | |
KR102441349B1 (en) | Situation monitoring apparatus and situation monitoring method for acquiring 360-degree short and medium distance panoramic images | |
KR102051324B1 (en) | Surround view monitoring system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
WITN | Withdrawal due to no request for examination |