KR100492148B1 - The Artificial Intelligence Image Security System using the distance and direction of Moving Object - Google Patents
The Artificial Intelligence Image Security System using the distance and direction of Moving Object Download PDFInfo
- Publication number
- KR100492148B1 KR100492148B1 KR10-2002-0063297A KR20020063297A KR100492148B1 KR 100492148 B1 KR100492148 B1 KR 100492148B1 KR 20020063297 A KR20020063297 A KR 20020063297A KR 100492148 B1 KR100492148 B1 KR 100492148B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- video
- moving
- moving object
- equation
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19654—Details concerning communication with a camera
- G08B13/19658—Telephone systems used to communicate with a camera, e.g. PSTN, GSM, POTS
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
이동물체의 거리와 이동방향을 제공하는 인공지능형 영상경비 시스템은 영상장치에 의한 무인경비 시스템에 관한 것으로써 본 발명에서는 인체의 양안과 같은 조건을 갖는 영상장치(100)에 스테레오 비전 시스템을 구성하는 평행 식으로 두개의 일체형 적외선 라이트 카메라를 장착하여 저장된 영상과 현재의 영상을 비교해 차 영상을 만들기 위한 임계값을 적응형 임계값을 사용함으로써 이동물체의 추출의 오차를 최소화시키고 두개의 카메라에서 취득한 영상을 가지고 이동물체의 거리와 부피 및 방향 등의 정보 산출하는 방법을 사용했다.The artificial intelligence security system for providing a distance and a moving direction of a moving object relates to an unmanned security system by an imaging device. In the present invention, a stereo vision system is included in an imaging device 100 having conditions such as both eyes of a human body. Two integrated infrared light cameras are installed in parallel to compare the stored images with the current images, and the adaptive threshold is used to make the difference image. Using the method to calculate the information such as the distance, volume and direction of the moving object.
이동물체의 거리와 이동방향을 제공하는 인공지능형 영상경비 시스템의 구성은 도 1에서 도시한 것과 같이 스테레오 비전 방식을 충족시키고 전 방향의 카메라 영상신호를 출력시킬 수 있는 영상장치(100)와 조절장치(10)에 연결되어 사용자가 조절장치의 설정조건을 입출력하고 조절장치(10)에서 출력된 영상신호를 모니터로 사용자에게 전달하며 이동물체가 발생 시 설정조건에 저장된 전화번호로 발신신호를 보내서 사용자 영상음성 단말기 IMT-2000(200)으로 영상음성 신호를 입출력하는 IMT-2000 통신방식의 영상음성 전화기(50) 또한 영상음성 전화기(50)로부터 신호를 받고 사용자가 경비장치의 조작이나 경비상황을 확인하며 조건설정을 입출력하는 영상음성 휴대용 단말기 IMT-2000(200)과 특히 앞에서 나온 장치들 영상장치(100)와 영상음성 전화기(50) 및 사용자가 휴대하는 IMT-2000(200)으로 사용자의 조건설정에 의하여 발명이 이루고자 하는 기술적인 과제에서 제시된 내용을 수용하고 처리할 수 있는 조절정치(10)로 구성된다.The configuration of an intelligent video surveillance system that provides a distance and a moving direction of a moving object includes an image device 100 and an adjustment device capable of satisfying the stereo vision system and outputting camera signals in all directions as shown in FIG. 1. Connected to (10), the user inputs and outputs the setting conditions of the adjusting device, and transmits the video signal output from the adjusting device 10 to the monitor to the user, and when the moving object occurs, send the outgoing signal to the phone number stored in the setting conditions The video voice telephone 50 of the IMT-2000 communication method that inputs and outputs a video audio signal to the video audio terminal IMT-2000 (200) also receives a signal from the video audio telephone 50 and the user confirms the operation or security of the security device. Video voice portable terminal IMT-2000 (200) for inputting and outputting condition settings, and in particular the above-mentioned devices IMT-2000 (200) carried by the user is composed of an adjustment politics (10) that can accommodate and process the contents presented in the technical problem to be achieved by the user's condition setting.
이동물체의 거리와 이동방향을 제공하는 인공지능형 영상경비 시스템은 조건설정에 의하여 자동으로 이동물체를 감지하고 이동물체를 추적하면서 이동물체에 대한 정보를 제공하며 인체의 시력의 한계를 넘어서는 경비영역을 확보하게 되고 사람이 경비근무를 할 때 나타나는 졸음이나 방심에 의한 근무태만으로 발생되는 문제점을 보완하며 경비근무의 인적자원을 효율적으로 활용할 수 있는 인공지능형 영상경비 시스템이 제공되는 것이다The intelligent video surveillance system that provides the distance and direction of movement of the moving object automatically detects the moving object and tracks the moving object by setting conditions, provides information about the moving object, and provides a security zone that exceeds the limits of the human eye's vision. The artificial intelligence video surveillance system is provided to compensate for the problems caused by drowsiness or neglect of duty due to drowsiness when people work on the guard.
Description
이동물체의 거리와 이동방향을 제공하는 인공지능형 영상경비 시스템은 영상장치에 의한 무인경비 시스템에 관한 것으로써 현재까지 본 분야에 관련된 기술로는 디지털 카메라나 기타 영상 카메라로 관찰하고자 한 고정된 영역에서 하나의 영상 카메라로 입력된 영상신호를 통하여 렌즈 초점 법 즉 관찰하고자 한 영역의 초점거리를 임의로 변화를 준 초점거리의 값과 관찰하고자 한 물체의 변환된 값을 두개 이상의 화면으로 비교해서 연산처리에 의하여 거리를 산출하는 방법 등이 있는데 본 발명은 우리 인체의 시각은 양안 즉 두개의 눈을 가지고 사물을 관찰함으로써 관찰하고자 하는 물체의 거리감과 입체감을 갖는 점을 감안하여 스테레오 비전 방식 즉 관찰하고자 하는 방향에서 두개의 카메라로 두개의 영상신호를 가지고 연산처리에 의하여 거리를 산출하는 방법을 사용함으로써 렌즈 초점법과 비교하면 아래와 같은 차이점을 찾을 수 있다.The artificial intelligence security system which provides distance and direction of movement of the moving object relates to an unmanned security system by an imaging device. Until now, the technology related to this field has been applied in a fixed area to be observed with a digital camera or other video camera. Through the video signal inputted by one video camera, the lens focus method, that is, the value of the focal length which arbitrarily changed the focal length of the area to be observed and the converted value of the object to be observed is compared to two or more screens. There is a method for calculating the distance by the present invention is a stereo vision method, that is, the direction to be observed in view of having a sense of distance and three-dimensional sense of the object to be observed by observing an object with both eyes, that is, two eyes In two cameras, two video signals are Compared laws lens focus by using the method of calculating the Li can find the differences below.
단안시법 즉 렌즈 초점 법은 한 방향의 영상신호를 두개 이상의 영상화면을 갖기 위해 초점거리 이동이 필요한데 초점거리 이동을 위하여 렌즈의 이동이 필수적이며 렌즈 이동에 따른 소요되는 시간이 요구되고 렌즈 이동장치의 구성에 어려움이 따르며 연산공식이 복잡하여 연산처리 속도의 한계성과 거리측정에 따른 오차가 높게 나타나는 점이 있다The monocular method, or lens focusing method, requires a focal length shift in order to have two or more video screens in one direction, but it is necessary to move the lens in order to shift the focal length, and the time required for the lens shift is required. It is difficult to compose and the calculation formula is complicated, so the margin of calculation processing speed and error due to distance measurement are high.
그리고 현재까지의 기술은 고정된 한 영역에 한하여 영상을 입력받아 이동물체를 추출한 관계로 다수의 영상 카메라가 요구되는 점과 옥외에 설치된 경우는 기후변화에 의한 오차의 범위가 크게 나타나는 점이 있다.특히 최근에 스테레오 비전 방식을 적용하여 다양한 형태와 방식으로 이용되고 있으나, 그 중에서 스테레오 비전 방식을 사용해서 촬영된 영상신호의 시차에 따르는 3차원 영상을 추정하고, 공간상의 이동하는 물체에 대한 공간 점유율을 계산해서, 이동물체의 추출과 이동물체의 형태를 변별하여, 침입자를 인식하는 일본 공개 특허공보 평11-257931호의 물체인식장치와, 스테레오 영상을 입력받아 삼각측량을 통해 이동물체 즉 대상물의 깊이정보를 획득하고, 촬영된 프레임 간의 비교를 통해 이동정보를 유출하도록 한 일본공개 특허공보 평 10-042273호의 3차원 위치인식 이용 시스템의 경우가, 본 발명과 같은 복수대의 카메라를 사용한 스테레오 비전방식의 형태는 같지만, 위의 두 종류 선 발명과 같은 방법으로 이동물체를 추출하는 경우에는 아래와 같은 문제점이 발생한다.아래 1. 스테레오 비전형식으로 시설하여, 상기 방식으로 이동물체를 추출하는 경우에는, 명암의 변화, 즉 밝기의 차이로 인한 이동물체로 잘못 인식되 는 문제가 있다.아래 2. 스테레오 비전형식으로 시설하여, 상기 방식으로 이동물체를 추출하는 경우에는, 감시영역 내에 있는 고정물체의 그림자가 발광물체의 이동방향과 이동시간에 의하여 그림자의 이동이 발생 할 때에 그림자에 의한 이동물체로 잘못 인식되 는 문제가 있다.아래 3. 감시영역을 실외로 해서, 스테레오 비전형식으로 시설하여, 상기 방식으로 이동물체를 추출하는 경우에 급격하게 변화되는 기상, 즉 바람이나, 비, 또는 눈과 같은 기상변화를 이동물체로 잘못 인식되 는 문제가 있다.아래 4. 감시영역을 실외로 해서, 스테레오 비전형식으로 시설하여, 상기 방식으로 이동물체를 추출하고, 스테레오 비전방식으로 구성된 영상장치(100)에서 추출된 이동물체와의 거리산출과 초기 이동물체 발생 지점에서 현재 이동물체 위치까지의 이동거리와 이동방향을 산출 할 때에 이동물체의 그림자를 포함하는 거리와 방향을 산출하게 되어 그림자의 크기에 따라 이동물체의 거리와 방향을 산출한 값이 많은 오차를 포함하고 있는 문제가 있다,아래 5. 스테레오 비전방식을 이용한 거리산출 방법에 있어서, 위의 선 출원의 경우 두개의 좌와 우측 카메라를 기준 하여 이동물체와 평행 하는 거리를 추출하는 방법을 사용하는 경우, 이동물체가 탐지 가능영역에서 좌우의 외곽에 존재 할 때와 중앙에 존재 할 때의 거리오차가 크게 나타나는 문제점이 있다.앞에서와 같이 명암의 차이나 기후변화와 같이 주변환경의 변화에 따른 이동물체의 추출오차가 발생하게 되면, 경비업무를 수행함에 있어서 보다 많은 인력이나 설비가 요구되는 문제점이 따른다.In addition, the technology up to now has a point where a large number of video cameras are required since the moving object is extracted from a fixed area, and the range of error due to climate change is large when installed outdoors. Recently, the stereo vision method has been used in various forms and methods. Among them, the stereo vision method is used to estimate the 3D image according to the parallax of the image signal captured, and to estimate the spatial occupancy rate of the moving object in space. The object recognition device of Japanese Patent Application Laid-Open No. 11-257931 which recognizes an intruder by calculating and extracting the moving object from the shape of the moving object, and receiving the stereo image, the depth information of the moving object, that is, the object through triangulation. Japanese patent publication that obtains the data, and leaks the movement information through comparison between the captured frames In the case of the three-dimensional position recognition system of the flat 10-042273 is the same form of stereo vision using a plurality of cameras as the present invention, when the moving object is extracted by the same method as the above two kinds of inventions The same problem arises as follows.1.In the case of extracting a moving object by the stereo vision type, the moving object is incorrectly recognized as a moving object due to a change in contrast, that is, a difference in brightness. In case of extracting moving object by stereo vision type and moving the object in the above manner, the moving object by shadow when the shadow of fixed object in the surveillance area is moved by the moving direction and the moving time of the light emitting object. In this case, the surveillance area is set up outdoors and the stereo vision system is installed. When the animal is extracted, there is a problem in which the rapidly changing weather, that is, the weather, such as wind, rain, or snow, is mistaken as a moving object. The moving object is extracted in the above-described manner, and the distance is calculated with the moving object extracted from the imaging apparatus 100 configured with the stereo vision method, and the moving distance and the moving direction from the initial moving object generation point to the current moving object position. When calculating the distance and direction including the shadow of the moving object is calculated, there is a problem that the value of calculating the distance and direction of the moving object according to the size of the shadow contains a large error, below 5. Stereo vision method In the distance calculation method used, in the case of the above line application, the distance parallel to the moving object is extracted based on two left and right cameras. In case of using, there is a problem that the distance error occurs when the moving object is located at the outside of the left and right and the center in the detectable area. When the extraction error of the moving object occurs, there is a problem that requires more manpower or equipment in performing the security work.
삭제delete
이동물체의 거리와 이동방향을 제공하는 인공지능형 영상경비 시스템은 우리 인체의 시각인 양안 즉 두개의 눈을 가지고 사물을 관찰함으로써 관찰하고자 하는 물체의 거리감과 입체감을 갖는 점을 감안하여 스테레오 비전 방식을 사용하였다. 하지만 스테레오 비전방식으로 구성된 영상장치(100)의 두 대의 카메라에서는 출력된 두개의 영상신호 통상적인 방법이나, 위의 두 종류의 선 출원과 같은 방식으로 이동물체를 추출하는 경우 위에서 나타나는 문제점들이 발생하는데, 위에서 나타나는 문제원인은 영상장치(100)가 설치된 주변과 감시영역에서의 시간차에 의한 밝기, 기상, 기타 주변환경의 변화에 고정적이거나 수동적인 임계 값을 부여하여 이동물체를 추출함으로써 발생되는 문제점들이다.그래서 본 발명에서는 스테레오 비전방식으로 구성된 영상장치(100)의 두개의 카메라에서는 출력된 두개의 영상신호를 위에서 나타난 문제점들을 보완하기 위하여 영상장치(100)의 주변과 감시영역에서의 시간차에 의한 밝기, 기상, 기타 주변환경의 변화에 효과적으로 적응할 수 있게, 이전영상과 현재영상에 대한 평균밝기 값을 구하는 1 단계와, 평균밝기 값으로 이전영상과 현재영상에 대한 차를 구하는 2 단계와, 이전영상과 현재영상의 밝기 차에 대한 3단계의 적응형 임계 값을 구해서, 그 적응형 임계 값을 차기 영상에 자동으로 적용하여 이동물체를 추출하게 되어 위와 같은 문제점을 해결 할 수 있게 되었다. 또한 위에서 1차 적인 적응형 임계 값을 적용하면 잡영이 제거되지만, 영상장치(100)의 주변과 감시영역에서의 급변하는 환경이나, 특히 악천 우와 같은 기상 변화에서는 간혹 제거가 덜된 잡영이 있을 수 있는데, 이와 같은 제거가 덜된 잡영을 제거하기 위해 차 영상 중에 가장 밝은 화소의 밝기 값을 구하고, 그 값에서, 실험을 통해 구한 비례상수 0.97을 적용하여 추출하면, 제거가 덜된 잡영이 제거가 되고 이동물체만 존재하게 되는데, 이와 같이 이중으로 잡영을 제거함으로써, 더욱 향상된 정확도를 같게 되는 것이다.그리고 스테레오 비전방식에 의한 거리산출에 있어서, 위의 선 출원의 경우, 두 대의 카메라를 기준 하여 이동물체와 평행 하는 거리를 추출하는 방법을 사용하는 경우, 이동물체가 탐지 가능영역에서 좌우의 외곽에 존재 할 때와 중앙에 존재 할 때의 거리오차가 크게 나타나는 문제점을 해결하기 위하여, 도 5에서 도시한 예와 같이 두 대의 카메라의 중심점(0)으로부터 이동물체 목표물(A)까지의 거리를 화소단위의 수평시차를 적용해 산출하여, 실재의 거리를 구하고, 이동물체의 면적을 구하게 되는 것이다.이동물체가 추출된 시점부터 음성과 영상신호를 저장하고, 저장된 영상신호로 이동물체가 있는 위치가 영상의 정 중앙에 위치하도록 조절장치(10)에서 수직과 수평보상 이동신호를 영상장치(100)에 출력하여, 이동물체가 영상의 정 중앙에 위치해서 추적하여, 이동물체의 이동방향을 제공하게 되는 것이다.이어서 스테레오 비전방식의 영상장치(100)는 인공지능형 무인 경비시스템을 구현하고자 경비의 영역을 제한된 영역에서 수평방향 360 도와 수직방향 150 도의 전 방향을 하나의 시스템으로 경비가 가능하게 하고 특히 경비하고자 한 지역의 지형지물에 의한 좌표를 설정하여 입력하면 설정된 좌표에 의하여 시스템이 작동되어 효율적인 경비가 가능하게 되는 것이다.따라서 위와 같은 기능을 갖추기 위하여 본 발명에서는 인체의 양안과 같은 조건을 갖는 스테레오 비전시스템에서의 이동객체 추출 및 거리 측정에 관한 논문 멀티미디어 학회 논 문지 제5권 제3호(2002.6)에 발표 된 내용을 적용하여 영상을 통하여 이동물체가 발생하면 이동물체를 감지하고 내부 통제실의 경보장치나 외부와의 통신망에 연결시켜서 사용자에게 발생상황을 전달하게 하며 또한 본 시스템과 이동물체 간의 거리와 이동방향 및 이동물체의 부피에 대한 정보를 제공하고 특히 이동물체를 추적하여 실 상황을 사용자에게 전달하는데 목적이 있다.The intelligent video surveillance system that provides the distance and direction of movement of the moving object is based on the stereo vision method considering the distance and three-dimensionality of the object to be observed by observing objects with both eyes, the two eyes of the human body. Used. However, in the two cameras of the imaging device 100 configured by the stereo vision method, the two video signals output the conventional method, or when the moving object is extracted in the same way as the above two types of applications, the problems appearing above occurs. The problems caused by the above are problems caused by extracting moving objects by applying fixed or passive threshold values to changes in brightness, weather, and other surroundings caused by time differences in the surroundings and the monitoring area where the imaging apparatus 100 is installed. Therefore, in the present invention, two cameras of the imaging apparatus 100 configured by the stereo vision method, the brightness of the two video signals output by the time difference in the periphery of the imaging apparatus 100 and the surveillance region to compensate for the problems shown above. To effectively adapt to changes in weather, weather and other surroundings, First, find the average brightness value of the current image, the second step of calculating the difference between the previous image and the current image using the average brightness value, and the adaptive threshold of three levels of the brightness difference between the previous image and the current image. In addition, the adaptive threshold is automatically applied to the next image to extract the moving object, thereby solving the above problem. In addition, when the first adaptive threshold value is applied from above, the noise is removed, but there may be a less easily removed noise in the surroundings of the imaging apparatus 100 and in the surveillance area, or in particular in weather changes such as bad weather. In order to remove the less-removing ghosts, the brightness value of the brightest pixel in the difference image is obtained, and from that value, the extracted proportional constant 0.97 is applied and extracted, the less-removed ghosts are removed and the moving object is removed. In this case, by eliminating double noise, the accuracy is improved. In the distance calculation by the stereo vision method, in the case of the above application, the two cameras are parallel to the moving object. In case of using the method of extracting the distance from the target, when the moving object is located on the left and right outside of the detectable area, In order to solve the problem in which the distance error is large when present, the horizontal distance in pixels is applied to the distance from the center point (0) of the two cameras to the moving object target (A) as shown in the example shown in FIG. It calculates and calculates the distance of the real object, and calculates the area of the moving object. The audio and video signals are stored from the point of time when the animal is extracted, and the position of the moving object is located at the center of the image. The control device 10 outputs a vertical and horizontal compensation movement signal to the imaging device 100 so that the moving object is located at the center of the image to track and provide a moving direction of the moving object. System 100 is a 360-degree horizontal direction and 150 degrees in a vertical direction in the limited area of the guard to implement the artificial intelligence unmanned security system When the security is enabled by the system and in particular set and input the coordinates of the feature of the region to be guarded, the system is operated by the set coordinates to enable efficient security. Therefore, in order to equip the above functions in the present invention A Study on the Extraction and Distance Measurement of Moving Objects in Stereo Vision System with the Same Conditions in Both Eyes by Applying the Information Presented in Multimedia Publication No. 5, No. 3 (2002.6) It detects the object and connects it to the alarm device of the internal control room or the communication network with the outside to communicate the situation to the user, and provides information about the distance between the system and the moving object, the moving direction and the volume of the moving object, and especially the moving object. The purpose is to track and deliver the actual situation to the user.
그리고 본 발명에 있어서는 경비업무에는 주간과 야간이 구분될 수 없으므로 주야간에 경비업무에 차질이 발생되지 않게 하기 위하여 현재 특허출원 중에 있는 광학장치에 의한 적외선라이트 출원번호 10-2002-0056123에 출원되어 있는 카메라와 적외선 라이트가 하나의 렌즈로 구성된 일체형 적외선 라이트 카메라를 사용하여 빛이 없는 야간에도 효율적인 경계업무를 수행할 수 있게 되는 것이다.In the present invention, since the daytime and nighttime can not be distinguished from the security service, the infrared light applied by the optical device, which is currently applied for, is filed in the patent application 10-2002-0056123 in order to prevent the disruption of the security service between day and night. By using an integrated infrared light camera consisting of a single lens and a camera and infrared light, it is possible to perform efficient alert tasks even at night without light.
이동물체의 거리와 이동방향을 제공하는 인공지능형 영상경비 시스템의 구성은 도 1에서 도시한 것과 같이 스테레오 비전 방식을 충족시키고 전 방향의 카메라 영상신호를 출력시킬 수 있는 영상장치(100)와 조절장치(10)에 연결되어 사용자의 선택에 의해 조절장치의 설정조건을 입출력하고 조절장치(10)에서 출력되는 영상신호를 모니터를 통하여 사용자에게 전달하고 사용자가 외출 중에 이동 물체가 발생 시 사용자가 휴대한 영상 음성 단말기 IMT-2000(200)의 기억된 전화번호로 발신신호를 보내며 사용자의 단말기 IMT-2000(200)의 선택에 의하여 영상과 소리의 신호를 입출력하는 IMT-2000의 통신방식의 영상음성 전화기(50) 또한 사용자가 외출 시 휴대하는 IMT-2000(200)의 통신방식에 의하여 영상음성 전화기(50)로 부터 발신신호를 받고 사용자의 선택에 의하여 경비장치의 조작이나 경비상황을 확인하고 조건설정을 입출력하는 사용자용 영상음성 휴대용 단말기 IMT-2000(200)과 특히 앞에서 나온 장치들 영상장치(100)와 영상음성 전화기(50) 및 사용자가 휴대하는 IMT-2000(200)을 통하여 사용자의 사용 조건설정에 의하여 발명이 이루고자 하는 기술적인 과제에서 제시된 내용을 수용하고 처리할 수 있는 조절정치(10)로 구성된다.The configuration of an intelligent video surveillance system that provides a distance and a moving direction of a moving object includes an image device 100 and an adjustment device capable of satisfying the stereo vision system and outputting camera signals in all directions as shown in FIG. 1. Connected to (10) and input and output the setting conditions of the control device by the user's selection, and transmits the video signal output from the control device 10 to the user through the monitor and carried by the user when a moving object occurs while the user is out Video voice telephone of communication method of IMT-2000 which sends outgoing signal to the stored phone number of video audio terminal IMT-2000 (200) and inputs / outputs signals of video and sound by selection of user terminal IMT-2000 (200) (50) In addition, according to the communication method of the IMT-2000 (200) carried by the user when the user is outgoing from the video voice phone 50 and by the user's selection Video audio portable terminal IMT-2000 (200) for the user to check the operation and security conditions of the security device and input and output the conditions, and in particular the above-mentioned devices video device 100 and the video voice phone 50 and the user to carry Through the IMT-2000 (200) is composed of an adjustment politics (10) that can accommodate and process the contents presented in the technical problem to be achieved by the user's use condition setting.
영상장치(100)는 도 2에서 도시한 것과 같이 수직 이동장치(120)에 장착되어 좌측 카메라(101)와 우측 카메라(102)가 대칭으로 위치하며 조절장치(10)에서 출력되는 거리이동 펄스신호에 의하여 거리조절 즉 초점거리를 두개의 카메라에 동일한 조건으로 맞추어 주는 거리조절장치(110)와 수평 이동장치(130)에 장착되어 조절장치(10)에서 출력되는 수직이동 펄스신호에 의하여 최대 수직이동 각도 150 도의 이동이 가능한 수직이동장치(120) 그리고 고정장치(108)에 장착되어 조절장치(10)의 펄스 수평출력신호에 의하여 이동각도 360도의 회전이 가능한 수평 이동장치(130) 및 수평이동장치(130)를 장착하고 경비구역의 위치에 정확한 방향으로 영상장치를 고정하는 본체 고정장치(108)로 구성된다.The imaging apparatus 100 is mounted on the vertical moving apparatus 120 as shown in FIG. 2 so that the left camera 101 and the right camera 102 are symmetrically positioned, and the distance shift pulse signal output from the adjusting device 10. By adjusting the distance, that is, the focal length by the vertical movement pulse signal output from the adjustment device 10 mounted on the distance adjusting device 110 and the horizontal moving device 130 for adjusting the same conditions to the two cameras, the maximum vertical movement The horizontal moving device 130 and the horizontal moving device mounted on the vertical moving device 120 and the fixing device 108 capable of moving the angle of 150 degrees and capable of rotating the moving angle 360 degrees by the pulse horizontal output signal of the adjusting device 10. 130 is mounted and the main body fixing device 108 for fixing the image device in the correct direction in the position of the guard area.
영상장치(100)에는 앞에서 나온 거리 이동장치(110)와 수직 이동장치(120) 그리고 수평 이동장치(130) 및 본체 고정장치(108)로 구성되는데 각 장치별로 작동방법과 구성을 추가설명하기로 한다.Imaging device 100 is composed of a distance moving device 110, a vertical moving device 120, and a horizontal moving device 130 and the main body fixing device 108, which will be described in addition to the operation method and configuration for each device. do.
거리 이동장치(110)의 기능은 사용자의 경비구역 설정 중에서 거리설정에 의해 작동되며 설정된 거리의 두개의 영상신호를 얻기 위해 도 2와 3 및 4에서 도시한 것과 같이 좌측카메라(101)와 우측카메라(102)로 대칭을 이루고 스테레오 비전 시스템을 구성하는 평행 식 카메라 설치 법에 의한 두개의 일체형 적외선 카메라로 구성되어 조절장치(10)에서 출력되는 거리이동 펄스신호에 의하여 거리이동 스텝핑 모터(103)가 구동되고 구동된 동력은 웜기어(111)로 전달되고 웜기어(111)는 웜휠 기어(112)로 전달되며 윔휠 기어(112)에서는 좌측 카메라(101)와 우측 카메라(102)로 연결되는 동력전달 봉(114)에 의하여 좌 우측 카메라에 동시에 같은 양의 동력이 대칭을 이루고 있는 이동 원형기어(115)에 전달하고 전달된 동력은 렌즈 이동장치 (105)에 고정된 이동 평형기어(118)에 의해 렌즈가 장착된 렌즈이동 장치(105)가 구동하게 되는 것이다.The function of the distance moving device 110 is operated by the distance setting among the user's guard zone setting, and the left camera 101 and the right camera as shown in FIGS. 2, 3, and 4 to obtain two video signals of the set distance. The distance moving stepping motor 103 is composed of two integrated infrared cameras formed by a parallel camera installation method symmetrically and forming a stereo vision system by a distance moving pulse signal output from the adjusting device 10. Driven and driven power is transmitted to the worm gear 111, the worm gear 111 is transmitted to the worm wheel gear 112, the power transmission rod that is connected to the left camera 101 and the right camera 102 in the wheel wheel 112 ( 114, the same amount of power is simultaneously transmitted to the circular motion gear 115, which is symmetrical to the left and right cameras, and the transmitted power is the movement balance gear 118 fixed to the lens shifter 105. The lens shift device 105 mounted with the lens is driven by
이와 같이 구동되는 과정에서 이동장치(105)가 정해진 영역에서 일정하게 이동시키기 위하여 롤러 베어링(108)을 사용해 이동간 마찰저항을 줄여주며 또한 웜 기어(111)와 웜휠 기어(112)의 정회전과 역회전에 의해 동력전달 봉(114)이 좌우로 이동되는 것을 막기 위하여 베어링이 장착된 고정장치(107)로 마찰저항을 줄여서 고정시켰으며 고정장치(107)에 장착되어 이동장치(105)의 이동 량을 검출해 조절장치(10)에 출력하는 이동 포터센서(113)와 동력전달 봉(114)에 장착되어 동력전달 봉(114)의 회전 량을 포터센서(113)에 전달하는 포터마크(117)로 구성된다.In this process, the roller 105 is used to reduce the frictional resistance between movements in order to move the moving device 105 constantly in a predetermined area, and also the forward and reverse rotation of the worm gear 111 and the worm wheel gear 112 are performed. In order to prevent the power transmission rod 114 from moving to the left and right by rotation, the bearing is mounted with a fixing device 107 to reduce the frictional resistance and is mounted on the fixing device 107 to move the moving device 105. The porter mark 117 mounted on the mobile porter sensor 113 and the power transmission rod 114 to detect and output the control device 10 to transmit the amount of rotation of the power transmission rod 114 to the porter sensor 113. It consists of.
수직 이동장치(120)의 기능은 수평이동장치(130)에 장착되어 수직 이동각도 최대 150도까지 이동되고 조절장치(10)의 수직이동 펄스신호로 작동하기 위하여 도 2에서 도시된 것과 같이 수평 이동장치(130)에 장착되어 입력 펄스신호로 수직 스텝핑 모터(121)가 구동되고 구동된 동력은 모터에 장착된 속도변환기와 수직 동력 원형기어(122) 및 수직동력전달 봉(124)에 고정되어 포터 마크가 새겨진 원형 마킹 기어(123)로 동력이 전달되어 수직 원형기어(125)에 동력이 전달되며 전달된 동력은 반원형으로 되어 수직이동장치(120)에 고정되고 원형 마킹 기어(123)에 맞물려서 수직이동 장치(120)를 이동시키는 수직 반원형 기어(126)로 구성된다.The function of the vertical moving device 120 is mounted on the horizontal moving device 130 to move the vertical moving angle up to 150 degrees and move horizontally as shown in FIG. 2 to operate with the vertical moving pulse signal of the adjusting device 10. The vertical stepping motor 121 is driven by the input pulse signal and the driven power is fixed to the speed converter, the vertical power circular gear 122 and the vertical power transmission rod 124 mounted on the motor. The power is transmitted to the vertical marking gear 123 engraved with the mark, and the power is transmitted to the vertical circular gear 125. The transmitted power is semi-circular to be fixed to the vertical moving device 120 and engaged with the circular marking gear 123 to make the vertical movement. It consists of a vertical semi-circular gear 126 for moving the moving device 120.
또한 위와 같은 구성에서 베어링을 내장시켜서 마찰저항을 줄여주고 수직 동력전달 봉을 수평이동장치(130)에 고정시켜주는 고정장치와 수직이동 장치(120)가 수직으로 150도 까지 마찰저항이 없이 수직원형 기어(125)의 동력에 의하여 이동할 수 있게 베어링이 내장된 수직 지지 대(106) 그리고 수직이동 장치(120)의 이동 량을 원형마크 기어(123)에 형성된 포터마크의 이동 량을 수평이동 장치에 장착되어 있는 수직 포터센서(127)로 감지하여 조절장치(10)로 출력시키는 것을 포함하여 수직이동 장치(120)로 구성된다.In addition, in the above configuration, the bearing and the vertical movement device 120 to reduce the frictional resistance and fix the vertical power transmission rod to the horizontal transfer device 130 are vertical circular without frictional resistance up to 150 degrees vertically. The amount of movement of the porter mark formed in the circular mark gear 123 by the vertical support 106 having the bearing embedded therein so as to be moved by the power of the gear 125 and the vertical movement device 120 is transferred to the horizontal movement device. It is configured as a vertical movement device 120, including detecting the mounted vertical port sensor 127 and output to the adjusting device 10.
수평이동 장치(130)의 기능은 본체 고정장치(108)에 장착되어 수평으로 360도의 전 방향으로 이동이 가능하며 본체 고정장치(108)에 장착되어 조절장치(10)의 펄스 출력신호에 의하여 구동되는 수평 스템핑 모터(131)와 스테핑 모터(131)에 장착되어 동력의 속도를 변환시켜주는 속도 변환기(133)에 동력이 전달되고 전달된 동력은 수평 원형기어(132)와 원형 판으로 구성된 수평 이동장치(130)의 옆면에 대형 원형기어에 맞물려서 수평 이동장치(130) 전체를 이동하게 되는 것이다.The function of the horizontal moving device 130 is mounted on the main body fixing device 108 to move horizontally in all directions of 360 degrees and is mounted to the main body fixing device 108 to be driven by the pulse output signal of the adjusting device 10. The power is transmitted to the speed converter 133 mounted on the horizontal stamping motor 131 and the stepping motor 131 to convert the speed of the power, and the transmitted power is horizontal consisting of a horizontal circular gear 132 and a circular plate. The entire horizontal moving device 130 is moved by engaging a large circular gear on the side of the moving device 130.
그리고 수평 이동장치(130)를 고정시켜주는 본체 고정장치(108)의 정 중앙에 마찰저항을 줄여주는 베어링(136)과 수평 이동장치(130)의 중심 축인 중심 봉(137)의 끝 부분에는 볼트의 나사 산으로 구성되어 고정볼트(138)로 수평 이동장치(130)를 안정적으로 고정시키고 그 위에 고정핀(140)으로 고정하여 본체의 고정장치(108)에 장착되게 해서 베어링에 의하여 중심 봉(137)과 고정볼트(138)가 회전하여도 마찰저항이 최소화 할 수 있게 구성하였다A bolt is provided at the end of the central rod 137, which is a central axis of the bearing 136 and the horizontal moving device 130, to reduce frictional resistance at the center of the main body fixing device 108 that fixes the horizontal moving device 130. It is composed of a screw thread of the fixed bolt 138 to the horizontal moving device 130 is fixed stably and fixed to the fixing pin 140 on it to be mounted on the fixing device 108 of the main body by a rod (center rod) 137) and the fixing bolt 138 is configured to minimize the frictional resistance even if it rotates
또한 수평 이동장치(130)의 진동을 줄여주기 위하여 고정장치에 90도를 이루는 4방향에 스프링 볼 베어링(141)을 장착하였으며 고정장치(108)에 장착되어 수평 이동장치(130)의 이동량을 조절장치(10)에 출력하기 위하여 수평 이동장치(130)의 하단에 위치한 수평 포터마크(134)의 신호를 수평 포터센서(135)에서 디지털 신호로 전환되어 조절장치(10)로 입력되는 수평 이동장치(130)로 구성된다.In addition, in order to reduce the vibration of the horizontal moving device 130, the spring ball bearing 141 is mounted in four directions of 90 degrees to the fixing device and is mounted on the fixing device 108 to adjust the amount of movement of the horizontal moving device 130. Horizontal mobile device is converted into a digital signal from the horizontal porter sensor 135, the signal of the horizontal porter mark 134 located at the bottom of the horizontal mobile device 130 for output to the device 10 is input to the control device 10 It consists of 130.
특히 영상장치(100)에 있어서 두개의 일체형 적외선 라이트 카메라는 포터센서에 의하여 주간에서 야간으로 전환되는 시점에서 자동으로 적외선 라이트가 작동되어 적외선 LED에서 발생되는 적외선은 카메라의 줌렌즈와 공용으로 사용되어 관찰하고자 한 영역에만 적외선을 발사하게 되어 야간에 사용할 수 있는 거리를 원거리로 확대 적용할 수 있게 되고 두개의 카메라에 의하여 스테레오 비전 시스템을 구성하는 평행 식 카메라 설치 법을 충족시키고 전 방향의 카메라 영상신호를 출력시킬 수 있는 영상장치(100)로 구성된다.In particular, in the imaging device 100, the two integrated infrared light cameras automatically operate the infrared light at the time of switching from daytime to nighttime by the porter sensor, and the infrared light generated from the infrared LED is used in common with the zoom lens of the camera. It emits infrared rays in only one desired area so that the distance that can be used at night can be extended to a long distance, and the two cameras satisfy the parallel camera installation method that constitutes the stereo vision system. It is composed of an imaging device 100 that can be output.
영상음성 전화기(50)는 IMT-2000 통신방식에 의하여 영상과 음성통신이 이루어지며 유선 통신방식과 무선 통신방식으로 구분되어 설치하고자 한 장소의 여건에 따라 두 가지 병행하는 방법과 하나를 선택하여 사용하는 방법이 있다.Video and voice telephone 50 is a video and voice communication by the IMT-2000 communication method is divided into a wired communication method and a wireless communication method, depending on the conditions of the place to be installed and use two parallel methods to select one There is a way.
영상음성 전화기(50)의 기능은 조절장치(10)와 연결되어 사용자의 선택에 의한 조절장치의 설정조건을 입출력하고 조절장치(10)에서 출력되는 영상신호를 모니터를 통하여 사용자에게 전달하고 사용자가 외출 중일 때 이동 물체가 발생 시 사용자가 휴대하고 있는 영상 음성 단말기 IMT-2000(200)의 기억된 전화번호로 발신신호를 보내며 사용자의 단말기 IMT-2000(200)의 선택에 의하여 영상과 소리의 신호를 입출력한다.The function of the video audio telephone 50 is connected to the control device 10 to input and output the setting conditions of the control device by the user's selection, and to transmit the video signal output from the control device 10 to the user through the monitor and When a moving object occurs while you are out, you can send an outgoing signal to the memorized phone number of the video audio terminal IMT-2000 (200) that you carry and the video and sound signal by the user's terminal IMT-2000 (200) selection. Input and output
그리고 영상음성 전화기(50)로 설정조건을 입력하는 방법은 조절장치(10)의 설명에서 추가 설명하기로 한다.And the method of inputting the setting conditions to the video voice phone 50 will be described further in the description of the adjusting device 10.
영상음성 휴대용 단말기 IMT-2000(200)은 사용자가 휴대하고 IMT-2000(200)의 통신방식에 의해 영상음성 통신이 가능한 휴대용 단말기로써 본 발명에서는 영상음성 전화기(50)로 부터 발신신호를 받고 사용자의 선택에 의하여 경비장치의 조작이나 경비상황의 확인이 가능하며 또한 비상상황 시에는 사전에 경비지역에 설치된 스피커나 경보 등에 영상음성 휴대용 단말기 IMT-2000(200)으로 육성이나 경보 음 또는 경보 등과 같은 것을 조작이 가능하게 된다.The video voice portable terminal IMT-2000 (200) is a portable terminal which is portable by the user and enables video voice communication by the communication method of the IMT-2000 (200). It is possible to operate the security device or check the security situation by the selection of. Also, in case of an emergency, the video voice portable terminal IMT-2000 (200) can be used for the development or the alarm sound or alarm. Operation is possible.
그리고 영상음성 휴대용 단말기 IMT-2000(200)으로 설정조건을 입력하는 방법은 조절장치(10)의 설명에서 추가 설명하기로 한다.And the method of inputting the setting conditions to the video-voice portable terminal IMT-2000 (200) will be further described in the description of the adjusting device 10.
조절정치(10)의 기능은 사용자의 설정조건에 의하여 영상장치(100)의 거리 조절신호와 수직 이동신호 및 수평 이동신호를 펄스신호로 출력하며 영상장치(100)로부터 입력받은 두개의 영상신호를 저장하고 같은 지점의 저장된 두개의 영상신호를 비교하여 이동물체를 검출하는 방법인 스테레오 비전 시스템에서의 이동객체 추출 및 거리 측정에 관한 논문 멀티미디어 학회 논 문지 제5권 제3호(2002.6)에 발표 된 내용과 같이 이동물체를 추출하고 이동물체의 부피를 구하여 설정된 정보에 의하여 음성영상 전화기(50)나 영상음성 휴대용 단말기 IMT-2000(200)으로 음성과 영상신호 및 이동물체에 대한 정보를 출력하며 사용자의 설정조건을 음성영상 전화기(50)나 영상음성 휴대용 단말기 IMT-2000(200)으로 음성영상 전화기(50)를 통하여 설정한 내용을 저장하고 저장된 설정조건에 의하여 작동신호를 출력한다.The function of the adjustment value 10 is to output the distance control signal, the vertical movement signal and the horizontal movement signal of the imaging apparatus 100 as pulse signals according to the user's setting conditions, and output two image signals input from the imaging apparatus 100. A study on the extraction and distance measurement of a moving object in a stereo vision system, which is a method of detecting moving objects by comparing two video signals stored at the same point, and published in the Journal of Multimedia Publication No. 5, No. 3 (2002.6) The user extracts the moving object, obtains the volume of the moving object, and outputs the information on the audio and video signals and the moving object to the voice video phone 50 or the video-voice portable terminal IMT-2000 (200) according to the set information. Save and save the contents set through the voice video phone 50 to the voice video phone 50 or video voice portable terminal IMT-2000 (200). And it outputs an operation signal by a set condition.
조절정치(10)의 기능 중에서 이동물체를 추출하는 방법인 멀티미디어 학회 논 문지 제5권 제3호(2002.6)에 발표 된 내용인 스테레오 비전 시스템에서의 이동객체 추출 및 거리 측정에 관한 논문에 대하여 먼저 정리하면 스테레오 비전 시스템에서의 이동물체 추출 및 거리 측정의 방법은 아래의 표 1에서 표기한 순서에 의해 영상신호들을 저장하고 이동물체에 대한 정보를 각 단계의 수학식으로 연산하는 방법과 본 발명이 얻고자한 이동물체에 대한 정보를 순차적으로 설명하기로 한다.First of all, a paper on moving object extraction and distance measurement in a stereo vision system, which is published in the Journal of Multimedia Society, Volume 5, No. 3 (2002.6), which is a method of extracting moving objects among the functions of the control politics (10). In summary, the method of extracting the moving object and measuring the distance in the stereo vision system stores the image signals in the order shown in Table 1 below, and calculates the information on the moving object by the equation of each step and the present invention. Information about the moving object to be obtained will be described sequentially.
1.시작은 경비하고 있는 영역에 이동하고 있는 물체가 발생한 것으로 정의하며 이동물체가 없을 경우에는 설정조건에 의하여 계속적으로 경비를 한다.1. Start is defined as a moving object in the guarded area. If there is no moving object, the guard is continuously guarded according to the set conditions.
2.스테레오 영상저장 중에서 이전영상은 이동하는 물체가 발생하기 전의 영상을 말하며 본 발명에서는 경비하고 있는 영역의 각 좌표별로 영상신호를 저장하는데 이동물체가 없을 경우 현재의 영상신호를 다시 저장하는 방식으로 반복된다.2. In the stereo image recording, the previous image refers to the image before the moving object occurs. In the present invention, the image signal is stored for each coordinate of the guarded area. When there is no moving object, the current image signal is stored again. Is repeated.
3.스테레오 영상저장 중에서 현재의 영상은 현재 받고 있는 영상을 말한다.3. The current video is the video that is being received.
4.이동물체 추출방법에는 주파수 영역기법과 불록기반 측정방법인 BMA방법 및 광류기반 측정방법 또한 화소기반 측정방법인 PRA(Pixel recursive algorithm)방법이 있는데 본 발명에서는 연산시간의 단축과 하드웨어 구현이 쉽고 정확도를 높이기 위하여 화소기반 측정방법인 PRA(Pixel recursive algorithm)방법에 의한 주변 밝기의 변화에 효과적으로 적응할 수 있는 적응형 임계값을 적용하였다.4. There are two methods for extracting the animal body: frequency domain method, block-based method, BMA method, and optical flow-based method, and pixel-based method, PRA (Pixel recursive algorithm) method. In order to increase the accuracy, an adaptive threshold is applied that can be effectively adapted to changes in ambient brightness by PRA (Pixel recursive algorithm) method.
그리고 화소기반 측정방법인 PRA 방법에서 스테레오 비전 시스템의 카메라를 설치하는 방법에 따라 평행 식과 교차 식으로 구분되는데 본 발명에서는 거리측정에 효과적인 평행 식을 적용하였다.In the PRA method, which is a pixel-based measurement method, a parallel equation and a cross equation are classified according to a method of installing a camera of a stereo vision system. In the present invention, an effective parallel equation is applied to distance measurement.
PRA 방법에 의한 이동물체 추출방법은 수학식 1과 같이 저장되어 있는 이전영상과 현재영상의 화소에 대하여 감산연산을 수행하고 그 결과의 절대 값이 임계값 이상이면 이동물체로 인식하여 현재 영상의 화소값을 취하고 임계값 이하이면 고정성분으로 인식하여 화소값을 0으로 취함으로써 이동성분에 대한 영상을 구할 수 있다.The moving object extraction method using the PRA method performs a subtraction operation on the pixels of the previous image and the current image stored as shown in Equation 1, and if the absolute value of the result is greater than or equal to the threshold value, the moving object is recognized as a pixel of the current image. If the value is less than or equal to the threshold value, it is recognized as a fixed component and the pixel value is taken as 0 to obtain an image of the moving component.
수학식 1에서 와는 동일공간에서의 이전영상과 현재영상의 화소의 밝기이며는 차 영상을 만들기 위한 화소값이고는 주변환경에 따라 조정 되어야하는 임계값으로 수동으로 입력되는 경우 실시간 처리에는 부적합하여 적응 적으로 임계값(Adaptive threshold)을 설정할 수 있게 해서 주변환경에 능동적으로 대처할 수 있게 하였다.In Equation 1 Wow Is the brightness of the previous and current pixel in the same space. Is the pixel value for making the car image In case of manually inputting the threshold value that needs to be adjusted according to the surrounding environment, it is not suitable for real-time processing, so that adaptive threshold can be set adaptively to cope with the surrounding environment.
카메라로 취득한 영상들은 사간에 의한 주변환경의 밝기변화와 스테레오 비전을 사용할 때 좌 우측 카메라의 특성에 의한 밝기의 차를 가지고 영상을 취득하면 실제의 이동물체 외의 다른 영역에서 이동물체 후보 군으로 등장하게 되어 영상처리의 문제점과 잘못된 영역을 추출할 확률이 높아지는 문제점을 해결하기 위하여 밝기변화에 대해 취득한 영상을 정규화 하게 되면 전체 영상을 처리하는데 소요되는 시간적인 문제가 발생해서 취득한 영상자료의 차를 구해 이동성분을 추출하면 밝기차이에 의한 임계 값 적용을 달리함으로써 효율적인 차 영상을 획득하게 되며 본 발명에서는 적응형 임계 값을 삼 단계로 적용하여 이동물체를 추출하였다,Images acquired by the camera have the difference in brightness of the surrounding environment caused by the dead zone and the brightness difference due to the characteristics of the left and right cameras when using stereo vision, so that the images appear as candidates for moving objects in areas other than the actual moving objects. In order to solve the problem of image processing and the problem that the probability of extracting the wrong area is increased, normalizing the acquired image about the brightness change occurs a time problem for processing the entire image, and obtains the difference of the acquired image data. When the component is extracted, an effective difference image is obtained by changing the threshold value applied by the brightness difference. In the present invention, the moving object is extracted by applying the adaptive threshold value in three steps.
첫 번째 수학식 2와 같이 목표물 지정 이전영상과 현재영상에 대한 평균밝기 값을 구한 것이다.As shown in Equation 2, the average brightness values for the target image and the previous image are obtained.
위의 수학식 2에서 과 는 동일공간에서 목표물 지정 이전영상과 현재의 영상의 화소 밝기이며 과 는 이전영상과 현재영상에서 화소 밝기의 평균값이고 입력영상의 해상도이다.In Equation 2 above and Is the pixel brightness of the target and previous video. and Is the average value of the pixel brightness in the previous and current video. The resolution of the input image.
두 번째 단계는 수학식 3과 같이 수학식 2에서 구해진 평균밝기 값에 대한 차를 구하는 공식이다.The second step is a formula for calculating the difference between the average brightness values obtained in Equation 2, as in Equation 3.
위 수학식에서 는 이전영상과 현재영상에 대한 평균밝기의 차이다.In the above equation Is the difference between the average brightness of the previous image and the current image.
세 번째 단계는 수학식 4에서와 같이 이전영상과 현재영상의 밝기 차에 대한 적응형 임계값을 구한다.In the third step, as shown in Equation 4, the adaptive threshold for the brightness difference between the previous image and the current image is obtained.
위 수학식에서 은 두 영상에 대한 차 영상을 구하기 위한 적응형 임계값이고 는 임계값 결정을 위해 실험에 의해 구해진 비례상수이며 는 현재 영상의 밝기에 따른 임계값을 정의하기 위한 상수이고 는 상수로써 이들 상수들은 실험에 의해 측정된 값들을 중회귀분석(Multiple regression analysis)을 적용하여 얻어질 수 있다.In the above equation Is an adaptive threshold for obtaining the difference image for two images Is the proportional constant obtained by the experiment to determine the threshold Is a constant to define the threshold according to the brightness of the current image. Are constants that can be obtained by applying multiple regression analysis to the values measured by the experiment.
일반적으로 입력영상에 따라 임계값과 적용범위를 매번 조절해주어야 하는데 본 발명의 방법에서는 수학식 4를 이용하여 입력영상에 따라 자동으로 적응형 임계값을 설정함으로써 밝기변화에 대하여 적응 적인 차 영상을 만들 수 있다.In general, the threshold value and the application range should be adjusted every time according to the input image. In the method of the present invention, the adaptive threshold value is automatically set according to the input image using Equation 4 to create an adaptive difference image with respect to the brightness change. Can be.
5.잡영제거는 추출된 이동물체의 영상에 잔존할 수 있을 경우에는 이동물체의 영역을 확대시키는 결과가 발생하므로 잡영을 제거하여야 한다.5. If ghost removal can remain in the image of the extracted moving object, it is necessary to remove the ghost because it results in enlarging the area of the moving object.
1차 적으로 적응형 임계값을 적용하면 잡영이 거의 나타나지 않지만 간혹 잔류 잡영이 있을 수 있는데 이 잡영을 제거하기 위한 임계값 설정은 아래의 수학식 5와 6에 의하여 잡영이 제거되며 영상처리의 전 처리과정에 적용되었다.First of all, if adaptive threshold is applied, there is almost no ghosting but there may be residual ghosting. The threshold setting for removing the ghosting is removed by the following equations (5) and (6). Applied to the process.
위 식에서 는 차 영상의 화소의 밝기이고 는 차 영상 중에 가장 밝은 화소의 밝기 값이며 아래의 수학식 6에서 임계값을 설정한다.From the stomach Is the brightness of the pixels in the car image Is the brightness value of the brightest pixel among the difference images and sets a threshold in Equation 6 below.
위 식에서 는 물체를 추출하기 위한 임계 값이며 는 실험에 의하여 구하여진 비례상수인데 본 실험에 있어서는 0.97을 사용하여 추출되는 이동물체의 후보영역에서 이동물체의 영역을 최대화하기 위한 값으로 결정하였으며 또한 이 실험 값은 거리오차를 최소화하기 위한 값이기도 한다.From the stomach Is the threshold for extracting the object Is the proportional constant obtained by the experiment. In this experiment, 0.97 is used as the value to maximize the area of the moving object in the candidate area of the moving object, which is also extracted to minimize the distance error. do.
6.이동물체 추출은 이동물체의 후보영역에 적응형 임계값을 적용하면 이동성분 이외의 잡영과 그림자 영역은 모두 제거된 상태의 후보영역만 남게 된 후보영역에 화소 주사방식을 적용하여 이동 물체영역만 추출하도록 하였다.6. In case of extracting an animal, the adaptive threshold value is applied to the candidate region of the moving object, and the moving object region is applied by applying the pixel scanning method to the candidate region in which only the candidate region with all the non-moving and shadow regions other than the moving component is removed. Only extraction was done.
즉 위에서 아래로 그리고 좌에서 우로 주사하여 이동물체가 존재하는 시작점 을 구하고 아래서 위로 그리고 우에서 죄로 주사하여 이동물체가 존재하는 끝점 좌표를 구해서 구해진 이동물체의 시작점과 끝점의 좌표를 이용해 이전영상과 현재영상 중에서 이동성분이 있는 영역을 추출하여 이동물체를 추출하게 된다.Starting point from which the moving object exists by scanning from top to bottom and from left to right We obtain the coordinates of the end point where the moving object exists by scanning from the bottom and up and down from the right and extract the moving object from the previous image and the current image using the coordinates of the starting and ending points of the moving object. .
7.스테레오 시차추출의 원리는 본 발명에 있어서 인간의 시각 계를 근거로 한 양안 시차를 이용하기 위하여 좌우 측의 두개의 카메라를 설치하여 인간의 눈과 유사한 기능을 하도록 해서 3차원 영상으로부터 시차정보를 추출함으로써 물체까지의 거리를 산출할 수 있게 되었다.7. The principle of stereo parallax extraction is that in the present invention, in order to use binocular parallax based on the human visual system, two cameras on the left and right sides are installed so as to function similar to the human eye, so that the parallax information from the 3D image can be obtained. By extracting the distance to the object can be calculated.
시차는 좌우 측 카메라가 획득한 영상이 일치하지 않고 벗어나 있는 상태를 말하며 거리를 구하는데 매우 중요한 자료로 써 시차성분을 추출하기 위해 좌우 측 영상을 비교하여 같은 영역을 찾아내고 이 영역에 대한 벗어남 정도를 계산하여 구할 수 있으나 양안시차 추출에서는 2차원 영상에서 보이는 단면만을 이용하기 때문에 실제 3차원 영상에 존재하는 폐쇄영역 시차 값을 찾지 못하는 문제점이 있다.Parallax is a state in which the images acquired by the left and right cameras are not matched and deviated.It is a very important data to calculate the distance.It compares the left and right images to extract the parallax component, and finds the same area and the deviation degree of this area Can be obtained by calculating, but since binocular parallax extraction only uses the cross section seen in the 2D image, there is a problem in that the closed region parallax value existing in the 3D image cannot be found.
이러한 문제점을 해결하기 위해 본 발명에서는 이동물체를 좌우카메라에서 각각 추출하고 추출된 영역에 대한 시차를 구함으로써 물체가 움직이는 것으로 제한하게 되어 많은 문제를 해결할 수 있고 빠른 연산이 이루어지게 되었다.In order to solve this problem, in the present invention, the moving objects are extracted from the left and right cameras respectively and the parallax for the extracted area is limited to the moving objects, thereby solving many problems and making a quick calculation.
스테레오 시차추출의 방법은 앞에서 구한 시작점과 끝점의 좌표를 이용하여 좌우 측 영상의 이동물체 영역의 무게중심을 구하고 이 무게중심 좌표의 X측 차이 값을 수평 시차로 하여 이동물체의 시차를 구하면 아래 수학식 7로 구할 수 있다.The stereo parallax extraction method uses the coordinates of the start and end points obtained above to obtain the center of gravity of the moving object area of the left and right images, and to obtain the parallax of the moving object by using the X-side difference value of the center of gravity coordinates as the horizontal parallax. It can be obtained from Equation 7.
위 식에서 는 각각 좌우 측 영상의 x축 무게 중심이고 수평시차 는 거리를 계산하는데 중요한 변수가 된다.From the stomach Are the x-axis center of gravity of the left and right images, respectively, and the horizontal parallax Is an important variable in calculating distance.
8.스테레오 비전 시스템의 특징 적용은 스테레오 비전의 구성이 두개의 카메라를 평행 식으로 적용하여 획득한 두개의 영상으로 거리를 계산한 관계로 도 5에서 도시한 것과 같이 목표물 A까지의 거리(D)는 스테레오 카메라의 중심점(0)으로부터의 거리이며 이 거리는 목표물(A)과 두 대의 카메라에 맺혀진 영상의 위치에 의해 형성된 삼각형에 의해 산출될 수 있으며 이에 대한 식은 아래의 수학식 8과 같다.8. The characteristic application of the stereo vision system is the distance to the target A as shown in FIG. 5 since the stereo vision is calculated by using two cameras obtained by applying two cameras in parallel. Is the distance from the center point (0) of the stereo camera and this distance can be calculated by the triangle formed by the target (A) and the position of the image of the two cameras, the equation is expressed by Equation 8 below.
위의 식에서 은 좌우 측 카메라에 맺혀진 영상이 중심으로부터 벗어나는 거리이고 는 두 카메라 즉 좌측과 우측 카메라(101,102) 사이의 중심거리이며 는 렌즈와 CCD간의 거리로써 는 목표물과의 거리이다.In the above expression Is the distance from the center of the image on the left and right cameras Is the center distance between two cameras, left and right cameras 101 and 102 Is the distance between the lens and CCD Is the distance to the target.
9.이동물체의 거리추출을 위해서는 카메라의 설치방법과 카메라 켈리브레이션 및 스테레오 카메라의 설치간격 그리고 카메라의 특성이 주어져야 하는데 이와 같은 점을 고려하여 표 2와 같은 특성과 구성을 가진 스테레오 비전 시스템을 실험을 통해서 거리는 수학식 8을 적용하여 거리를 계산할 수 있다.9. In order to extract the distance of this animal, camera installation method, camera calibration and installation distance of stereo camera and camera characteristics should be given. Through the distance can be calculated by applying the equation (8).
또한 수학식 7의 화소단위의 수평시차는 아래의 수학식 9와 같이 쓸 수 있으며 이것을 수학식 8에 대입하여 거리를 구할 수 있다.In addition, the horizontal parallax of the pixel unit of Equation 7 may be written as Equation 9 below, and the distance may be obtained by substituting this into Equation 8.
위 식에서 는 두 카메라의 중심에서 목표물까지의 거리이고 는 카메라 렌즈에서 CCD까지의 초점거리이며 과 은 길이 개념이지만 와 는 화소 개념으로 좌우 측 카메라(101,102)에 맺혀진 영상이 CCD의 중앙으로부터 벗어난 화소의 수이다.From the stomach Is the distance from the center of the two cameras to the target Is the focal length from the camera lens to the CCD and Is a concept of length Wow Is the number of pixels from the center of the CCD of the image formed on the left and right cameras 101 and 102 in the pixel concept.
이와 같이 수학식 9는 기존의 수학식에 길이 개념에서 화소의 개념으로 전환되어 계산되었음을 알 수 있다.In this way, it can be seen that Equation 9 is calculated by converting from the concept of length to the concept of pixels in the conventional equation.
따라서 앞에서 설명된 내용과 계산방법 들을 이용해 이동물체의 크기에 관한 정보를 구할 수 있고 스테레오 비전 시스템의 두개의 카메라로 입력받은 영상을 판독하여 이동물체가 있는 위치가 영상장치(100)의 정 중앙에 위치하도록 즉 취득한 두개의 영상에 이동물체가 정 중앙에 올 수 있게 조절장치(10)에서 보상 이동신호를 수직과 수평 이동장치(120,130)에 출력함으로써 이동물체를 추적하면서 이동 방향을 알게 되고 또한 사용자에게 이동물체에 대한 정보가 제공되는 것이다.Therefore, the information about the size of the moving object can be obtained by using the above-described contents and calculation methods, and the position of the moving object is located at the center of the imaging apparatus 100 by reading the images inputted by the two cameras of the stereo vision system. The controller 10 outputs a compensation movement signal to the vertical and horizontal moving apparatuses 120 and 130 so that the moving object is centered on the acquired two images. Information about the moving object is provided to the user.
그럼 현재까지는 조절장치(10)에서 스테레오 비전 시스템을 이용하여 이동물체의 추출과 이동물체에 대한 정보를 추출하는 방법에 대한 설명 이였고 이어서는 본 발명을 이용하여 사용자가 조건을 설정해서 사용자의 선택에 의하여 시스템이 작동되어 사용자가 요구한 내용과 일치되는 정보가 발생 시 사용자에게 그 정보를 제공하는 조건설정에 대하여 설명하기로 한다.So far, this has been a description of a method of extracting a moving object and extracting information on the moving object using a stereo vision system in the control device 10. Subsequently, the user sets a condition using the present invention to select a user. The following describes the condition setting for providing the information to the user when the system is operated to generate the information matching the user's request.
조건설정의 입력은 영상음성 전화기(50)이나 영상음성 전화기(50)를 통하여 영상음성 휴대용 단말기 IMT-2000으로 입력하는데 경비실이나 상황실 등이 있는 장소에서는 대형 CRT 모니터나 키보드 등의 주변장치가 있는 곳에서는 키보드로 입력이 가능하며 입력내용은 아래의 표 3의 표기된 내용을 입력한다,The input of the condition setting is input to the video-voice portable terminal IMT-2000 through the video-voice telephone 50 or the video-voice telephone 50. Where there is a guard room or a situation room, there is a peripheral device such as a large CRT monitor or keyboard. In the keyboard, input is possible and input contents indicated in Table 3 below.
조건설정은 음성영상 전화기(50)나 음성영상 휴대용 단말기 IMT-2000(200)으로 입력하는데 입력방법은 도 6에 도시한 가상화면의 우측하단에 있는 조건 설정을 선택하면 위의 표 3에서 표기한 설정항목이 영상화면에 나타나서 입력하고자 한 설정항목을 선택하여 입력하면 입력과 함께 저장된 설정조건 내용이 정정되며 설정조건의 설명은 표 3의 순서로 차례로 설명하기로 한다.The condition setting is input to the voice video phone 50 or the voice video portable terminal IMT-2000 (200). The input method is shown in Table 3 above when the condition setting is selected at the lower right of the virtual screen shown in FIG. When the setting items appear on the video screen and the desired setting items are selected and inputted, the contents of the setting conditions stored with the input are corrected and the description of the setting conditions will be described in order in Table 3.
1. 전화의 설정은 비상사태 즉 경비하고 있는 영역에 이동물체가 발생 시 사용자에게 상황을 전달하는 역할로 1.내선으로 설정하면 음성영상 전화기(50)에 연결되고 2. 외선으로 설정되면 사용자가 휴대하고 있는 휴대용 영상음성 단말기 IMT-2000(200)에 자동발신회로에서 음성영상 전화기(50)를 통하여 자동발신 된다.1. The setting of the phone is to transmit the situation to the user in case of an emergency, i.e., when a moving object occurs in the guarded area. 1. If the extension is set, the voice video phone 50 is connected. The portable video audio terminal IMT-2000 (200) that is being carried is automatically sent through the audio video telephone (50) in an automatic call circuit.
2. 스피커의 용도는 비상상황이 발생 시 경비지역의 이동물체에게 음성영상 전화기(50)나 휴대용 영상음성 단말기 IMT-2000(200)의 마이크로 음성을 전달하는 기능을 하며 사용방법은 1. ON을 선택하고 음성을 전달한 뒤 2. OFF를 선택한다.2. The purpose of the speaker is to deliver the voice of the voice video phone 50 or the portable video voice terminal IMT-2000 (200) to the moving object in the guard area when an emergency occurs. Select it and deliver it 2. Select OFF.
3. 경보 등은 경비구역 내에 설치하여 이동물체에게 경보를 하기 위한 목적으로 사용되며 사용방법은 2. 스피커와 같다.3. The alarm lamp is installed in the guard area and used for the purpose of alarming the moving object.
4. 영상장치는 내근 시나 외근 시에 자동으로 선택하나 비상상황이 발생 시 수동의 조작으로 보다 정확한 정보를 얻기를 원할 때나 기상의 악화로 인하여 설정된 조건에서 이동물체 후보영역이 많이 발생될 때 임의적으로 2. 수동으로 선택하여 경비 영역을 확인할 때 사용된다.4. The imaging device selects automatically when it is inward or outward, but when there is an emergency situation, if you want to get more accurate information by manual operation or when there are a lot of moving object candidates under the set conditions due to bad weather, 2. It is used to check the security area by manual selection.
그리고 수동으로 선택되면 휴대용 단말기나 전화기에 있는 숫자 판에서 4는 좌측으로, 6은 우측으로, 2는 위로, 0은 아래방향으로 이동되어 사용자가 원하는 방향의 영상정보를 확보할 수 있게 되는 것이다.When manually selected, 4 moves to the left, 6 moves to the right, 2 moves up, and 0 moves downward in the number plate of the portable terminal or the phone, so that the user can obtain the image information in the desired direction.
5. 경보장치는 상황실이나 경비실에서 다른 업무를 보다가 경비지역에 이동물체가 발생 시 스피커나 경보 등을 통하여 비상상황 임을 전달하는 기능으로 사용 방법은 2. 스피커와 같다.5. The alarm system is a function to communicate the emergency situation through the speaker or alarm when a moving object occurs in the guard area while watching other tasks in the situation room or guard room.
6. 전화번호는 비상상황이 발생되었을 때 자동발신에 의해 신호가 전달될 수 있는 사용자를 중심으로 5곳의 전화번호를 입력시켜서 사용자의 휴대용 단말기가 수신이 되지 않을 경우 1분 간격으로 3회를 발신하고 이에 응답이 없을 경우 다음 전화번호로 발신되는 기능을 가지며 입력 방법은 2. 정정을 선택하면 1-5개의 전화번호가 화면에 나타난 후 순차적으로 입력시키고 입력의 오류나 정정할 전화번호가 발생 시 정정될 정화번호 순번을 선택하여 정정된 전화전호를 숫자로 입력한다.6. In case of emergency, enter 5 phone numbers centering on the user who can be signaled by automatic call. If user's portable terminal is not received, repeat 3 times at 1 minute intervals. If there is no response to the call, the call is sent to the next phone number. If you select 2. Correction, 1-5 phone numbers are displayed on the screen, and they are entered sequentially. Select the purification number to be corrected and input the corrected telephone number as a number.
7. 이동 좌표는 영상장치(100)가 이동하는 경로를 설정하는 것으로 1. 자동을 선택하면 거리를 입력시키고 경비하고자 하는 방위각도의 목표물에서 시작하여 수평이동에 의하여 종료지점의 목포 물까지 이동하면 자동으로 이동 좌표가 형성되어 수평이동으로 죄와 우를 왕복하여 회전하게 되며 2. 수동을 선택하면 도 6에서 도시한 것과 같이 경비하고자 하는 영역에서 영상장치(100)를 수동으로 이동하면서 영상화면을 통하여 확인하고 이동시키면 도 6의 좌표(306,307)와 같이 수평과 수직이동이 이루어지는 좌표가 형성되어 시작점에서 종료지점까지 연속적으로 지정된 좌표에 의하여 영상장치(100)가 이동하게 되고 회전좌표를 정정하고자 할 때에는 앞에서 설명한 내용과 같은 순서에 의하여 입력하면 된다.7. The movement coordinate is to set the moving path of the imaging apparatus 100. 1. If the automatic is selected, input the distance and start from the target of the azimuth angle to be guarded and move to the end of Mokpo by the horizontal movement. The movement coordinates are automatically formed to rotate horizontally and reciprocally between sin and right. 2. If manual is selected, the image screen is moved while manually moving the imaging apparatus 100 in the area to be guarded as shown in FIG. If it is confirmed and moved through the coordinates that the horizontal and vertical movement is formed as shown in the coordinates (306,307) of Figure 6 to move the imaging device 100 by the specified coordinates continuously from the start point to the end point to correct the rotation coordinates In this case, input them in the same order as described above.
8. 풍량은 경비하고자 하는 영역의 주변환경에 따라 다소 차이가 있고 또한 경비하는 영역이 넓거나 길 경우 즉 영상장치(100)가 회전하는 시간이 길 경우에는 현재의 영상과 저장된 영상간에 바람이나 기타 기후로 인하여 이동물체 후보 군이 증가할 수 있으므로 기상에 대한 오차를 최소화하기 위함이며 1. 자동으로 설정할 경우에는 경비부역 내에 있는 나무나 기타 유연성이 있는 물체를 설정하여 그 물체가 바람에 의하여 이동되는 량을 기준으로 하여 자동 보상하는 방법이고 이 방법으로도 이동물체를 변별하기 힘드는 기상일 경우에는 2. 수동으로 설정 값을 임의적으로 설정하는데 그 값은 100을 기준 하여 100 이하로 내려가면 보상 값이 크게 나타나는 것이고 100에 가까울 수록 보상 값이 적어진다8. The amount of air varies slightly depending on the surrounding environment of the area to be guarded. Also, if the area to be guarded is wide or long, that is, if the time for which the image device 100 is rotated is long, wind or other It is to minimize the error of the weather because the moving object candidate group may increase due to the climate. 1. When it is set automatically, the tree or other flexible object in the security guard zone is set so that the object is moved by the wind. It is a method to compensate automatically based on the quantity, and even in this weather, it is difficult to discriminate moving objects. 2. Manually set the setting value manually. The larger the value is, the smaller the value is.
그리고 본 발명에서는 적응형 임계값을 적용하여 기후변화에 대응하고 있으나 기상변화의 한계는 무한에 가까운 관계로 이에 대한 오차의 한계를 최소화로 만드는데 목적이 있으며 수동 입력이 요구되는 경우에는 비상상황과 같은 여건이므로 4. 영상장치를 2. 수동으로 전환하여 실시간 경비를 하는 것이 바람직하다. In the present invention, the adaptive threshold value is applied to cope with climate change, but the limit of weather change is almost infinite, so the purpose of minimizing the limit of error is required. It is desirable to have real-time expenses by switching the video device 2. manually.
위에서와 같이 설정 조건에 의하여 본 시스템의 작동이 이루어지며 작동이 되는 각 장치에 조절장치(10)로 부터 입출력되는 신호의 순서로 설명하면 아래와 같다.The operation of the system is made according to the setting conditions as described above and described in the order of signals inputted and outputted from the adjusting device 10 to each device to be operated as follows.
조절장치(10)에서 설정된 설정조건으로 영상장치(100)는 지정된 좌표에 의하여 수직 이동신호와 수평 이동신호 및 거리 이동신호가 출력되고 영상장치(100)로부터 수직과 수평 및 거리이동에 따른 이동거리 량을 나타내는 각각의 포터센서로부터 이동 량 펄스신호를 입력받으며 또한 영상장치(100)의 좌측과 우측 카메라로부터 두개의 영상신호를 받아서 이동물체가 있는지를 확인하다가 이동물체가 나타나면 비상상황으로 정의하고 설정된 설정조건에 의하여 사용자가 외출 시에는 사용자의 영상음성 휴대용 단말기의 저장된 전화번호로 찾아서 자동발신 회로에 의하여 영상음성 전화기(50)를 통하여 발신이 이루어지고 사용자가 수신할 수 있게 한다.According to the setting conditions set by the controller 10, the image apparatus 100 outputs a vertical movement signal, a horizontal movement signal, and a distance movement signal according to the specified coordinates, and moves distances according to the vertical, horizontal, and distance movements from the image apparatus 100. Receives a movement pulse signal from each port sensor indicating the quantity and receives two image signals from the left and right cameras of the imaging apparatus 100 to check whether there is a moving object, and when the moving object appears, it is defined as an emergency situation. When the user goes out according to the setting condition, the user can receive the stored phone number of the user's video-voice portable terminal through the video-voice telephone 50 by the automatic call circuit and receive the user.
위와 같은 상황에서 사용자가 내근 시에는 상황실이나 경비실에 설치된 경보 등과 경보 스피커를 통하여 경보 음이 발생되면 하는 업무를 중단하고 영상화면과 스피커로 전달되는 음의 신호를 통하여 경비지역의 상황을 파악하고 그에 합당한 대처를 할 수 있게 되는 것이다In the above situation, when the user comes to the office, the user stops the work when the alarm sound is generated through the alarm speaker and the alarm room installed in the situation room or the guard room, and the situation of the security area is identified through the video signal and the sound signal transmitted to the speaker. Will be able to cope properly
따라서 대처방법으로는 휴대용 단말기(200)나 영상음성 전화기(50)의 영상화면을 보고 설정조건을 선택하여 음성으로 경고 방송을 하든지 또는 경보 등을 작동하여 이동물체의 접근을 차단하는 방법을 사용한다. Therefore, as a countermeasure, a method of blocking access to a moving object by watching a video screen of the mobile terminal 200 or the video voice telephone 50 and selecting a setting condition to broadcast a warning by voice or by operating an alarm or the like is used. .
조절장치(10)는 앞에서와 같이 본 시스템에서 중추적인 역할을 수행하고 각 장치의 제어용 신호와 각 장치부터 입력받은 신호를 저장하고 연산하며 비상상황이 발생 시 상황종료 시점까지 이동물체를 추적하며 영상과 음성신호를 저장하여 사용자가 외출 중에 불가피한 상황으로 인하여 즉각적인 대처에 미흡하여도 저장된 내용을 확인하여 그에 합당한 대처를 할 수 있는 조절 장치로 구성된다.The controller 10 plays a pivotal role in the system as described above, stores and calculates control signals of each device and signals received from each device, and tracks moving objects until the end of the situation in case of an emergency. It is composed of a control device that can store the audio signal and check the stored contents even if the user does not satisfy the immediate response due to the inevitable situation while going out.
이동물체의 거리와 이동방향을 제공하는 인공지능형 영상경비 시스템은 우리의 인체의 감각기관의 한 부분인 시각의 양안을 본 발명에 적용하여 스테레오 비전 시스템의 평행 식 카메라 설치 법을 적용함으로써 인체의 양안이 가지고 있는 특성 즉 거리감과 입체감을 갖게 되어 현재까지의 이룩해온 영상처리에 의한 경비 시스템 분야에서 단순한 이동물체의 식별차원을 넘어 이동하는 물체를 추출하고 이동물체에 대한 이동방향과 부피 및 거리등의 다양한 정보를 제공할 수 있게 되었으며 특히 영상처리에 의한 이동물체를 추출하는 방법에서 이전영상과 현재영상 간의 차 영상을 만들기 위하여 현재까지는 수동으로 임계값을 주었으나 본 발명에서는 기상이나 주변환경의 변화에 능동적으로 대응이 되는 적응형 임계값을 적용함으로써 이동물체를 추출하는 오차율을 최소화하였다.The intelligent video surveillance system that provides the distance and direction of movement of the moving object is applied to the present invention by applying the binocular vision, which is a part of the sensory organs of the human body, to the present invention by applying the parallel camera installation method of the stereo vision system. In the field of security system based on the image processing that has been achieved until now, it has the characteristics of distance and three-dimensional feeling, and it extracts the object moving beyond the identification dimension of the mobile object and moves the direction, volume and distance of the object. Various information can be provided. In particular, in the method of extracting a moving object by image processing, a threshold value has been manually given so far to make a difference image between the previous image and the current image. The moving object is applied by applying an adaptive threshold that is actively The error rate of extraction was minimized.
그리고 본 발명에 있어서는 현재까지의 영상경비에 있어서 특정지역에 고정된 카메라로 경비하는 방식에서 벗어나 하나의 영상장치(100)로 전 방향의 경비가 가능하게 되어서 넓은 범위의 경비가 이루어지며 경비하는 장소에 따라 주변의 지형지물이나 경비거리의 변화를 주어서 경비영역의 좌표를 설정하면 설정된 좌표에 의하여 영상장치(100)가 이동하는 반복된 경비가 형성되어 이동물체가 발생 시 발생된 이동물체를 추적하면서 이동물체에 대한 정보를 제공하게 되었다.In the present invention, in the video security to date, the security of the camera is fixed in a specific area, and the security of the whole direction to one imaging device 100 is possible, so that a wide range of expenses made and guarded place By setting the coordinates of the guarded area by changing the periphery of the feature or the guard distance according to the repetition guard is formed by moving the image device 100 according to the set coordinates to track the moving object generated when the moving object occurs It provides information about moving objects.
또한 야간 경계 근무가 요구되는 지역에서는 일체형 적외선 라이트 카메라를 장착함으로써 빛이 있는 장소의 음지나 빛이 없는 장소에도 영상이 요구되는 지역에만 적외선을 발사하여 영상을 취함으로써 인체의 시력의 한계를 넘어서 원거리의 경비거리를 확대적용 할 수 있게 되었다.In addition, in areas where night border work is required, an integrated infrared light camera is mounted so that infrared light is emitted only in areas where light is required or in areas where light is not required. Be able to extend the range of the guard.
특히 앞에서와 같이 조건설정에 의하여 자동으로 이동물체를 감지하고 이동물체를 추적하면서 이동물체에 대한 정보를 제공하며 인체의 시력의 한계를 넘어서는 경비영역을 확보하게 되고 사람이 경비근무를 할 때 나타나는 졸음이나 방심에 의한 근무태만으로 나타나는 문제점을 보완하며 경비근무의 인적자원을 효율적으로 활용할 수 있는 인공지능형 영상경비 시스템이 제공되는 것이다In particular, as described above, it automatically detects the moving object by setting the conditions and tracks the moving object, provides information on the moving object, secures the security area beyond the limits of the human body's eyesight, and drowsiness that appears when a person works on the guard. An artificial intelligence video surveillance system is provided to supplement the problems caused by the negligence of work or alertness and to efficiently utilize the human resources of security work.
도 1은 이동물체의 거리와 이동방향을 제공하는 인공지능형 영상경비 시스템의 구성도.1 is a block diagram of an intelligent image surveillance system for providing a distance and a moving direction of a moving object.
도 2는 영상장치(100)의 구성의 전면 전단도.2 is a front front view of the configuration of the imaging apparatus 100;
도 3은 거리 이동장치(110)의 동력전달 부에 대한 상면 전단도.3 is a top view of the power transmission unit of the distance moving device 110.
도 4는 거리 이동장치(110)의 측면 전단도.4 is a side shear view of the distance mover 110.
도 5는 스테레오 비전 시스템의 평형방식에서 이동물체 거리추출도.5 is a moving object distance extraction in the balance of the stereo vision system.
도 6은 설정조건에 따른 이동좌표 설정과 영상화면의 표시 기능도.6 is a diagram illustrating a function of moving coordinate setting and an image screen according to setting conditions;
Claims (3)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0063297A KR100492148B1 (en) | 2002-10-16 | 2002-10-16 | The Artificial Intelligence Image Security System using the distance and direction of Moving Object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0063297A KR100492148B1 (en) | 2002-10-16 | 2002-10-16 | The Artificial Intelligence Image Security System using the distance and direction of Moving Object |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20040033986A KR20040033986A (en) | 2004-04-28 |
| KR100492148B1 true KR100492148B1 (en) | 2005-06-02 |
Family
ID=37333362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2002-0063297A KR100492148B1 (en) | 2002-10-16 | 2002-10-16 | The Artificial Intelligence Image Security System using the distance and direction of Moving Object |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100492148B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101899993B1 (en) | 2016-06-03 | 2018-09-18 | 성균관대학교산학협력단 | Object recognition method based on restricted region on image using disparity map |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100801087B1 (en) | 2006-07-05 | 2008-02-11 | 삼성전자주식회사 | System and method for sensing moving body using structured light, mobile robot including the system |
| KR100776805B1 (en) * | 2006-09-29 | 2007-11-19 | 한국전자통신연구원 | Efficient image transmission method and apparatus using stereo vision processing for intelligent service robot system |
| KR100987514B1 (en) * | 2008-12-29 | 2010-10-12 | 주식회사 세너틱스 | Ultrasonic communication and protection of terror and rescue communication system |
| US10244190B2 (en) | 2009-03-02 | 2019-03-26 | Flir Systems, Inc. | Compact multi-spectrum imaging with fusion |
| US9674458B2 (en) | 2009-06-03 | 2017-06-06 | Flir Systems, Inc. | Smart surveillance camera systems and methods |
| US9451183B2 (en) | 2009-03-02 | 2016-09-20 | Flir Systems, Inc. | Time spaced infrared image enhancement |
| US9756264B2 (en) | 2009-03-02 | 2017-09-05 | Flir Systems, Inc. | Anomalous pixel detection |
| US10757308B2 (en) | 2009-03-02 | 2020-08-25 | Flir Systems, Inc. | Techniques for device attachment with dual band imaging sensor |
| US9473681B2 (en) | 2011-06-10 | 2016-10-18 | Flir Systems, Inc. | Infrared camera system housing with metalized surface |
| USD765081S1 (en) | 2012-05-25 | 2016-08-30 | Flir Systems, Inc. | Mobile communications device attachment with camera |
| US9998697B2 (en) | 2009-03-02 | 2018-06-12 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
| US9517679B2 (en) | 2009-03-02 | 2016-12-13 | Flir Systems, Inc. | Systems and methods for monitoring vehicle occupants |
| US9208542B2 (en) | 2009-03-02 | 2015-12-08 | Flir Systems, Inc. | Pixel-wise noise reduction in thermal images |
| US9843742B2 (en) | 2009-03-02 | 2017-12-12 | Flir Systems, Inc. | Thermal image frame capture using de-aligned sensor array |
| US9948872B2 (en) | 2009-03-02 | 2018-04-17 | Flir Systems, Inc. | Monitor and control systems and methods for occupant safety and energy efficiency of structures |
| US9635285B2 (en) | 2009-03-02 | 2017-04-25 | Flir Systems, Inc. | Infrared imaging enhancement with fusion |
| US9986175B2 (en) | 2009-03-02 | 2018-05-29 | Flir Systems, Inc. | Device attachment with infrared imaging sensor |
| US9235876B2 (en) | 2009-03-02 | 2016-01-12 | Flir Systems, Inc. | Row and column noise reduction in thermal images |
| US9716843B2 (en) | 2009-06-03 | 2017-07-25 | Flir Systems, Inc. | Measurement device for electrical installations and related methods |
| US9819880B2 (en) | 2009-06-03 | 2017-11-14 | Flir Systems, Inc. | Systems and methods of suppressing sky regions in images |
| US10091439B2 (en) | 2009-06-03 | 2018-10-02 | Flir Systems, Inc. | Imager with array of multiple infrared imaging modules |
| US9843743B2 (en) | 2009-06-03 | 2017-12-12 | Flir Systems, Inc. | Infant monitoring systems and methods using thermal imaging |
| US9756262B2 (en) | 2009-06-03 | 2017-09-05 | Flir Systems, Inc. | Systems and methods for monitoring power systems |
| US9292909B2 (en) | 2009-06-03 | 2016-03-22 | Flir Systems, Inc. | Selective image correction for infrared imaging devices |
| US9918023B2 (en) | 2010-04-23 | 2018-03-13 | Flir Systems, Inc. | Segmented focal plane array architecture |
| US9706138B2 (en) | 2010-04-23 | 2017-07-11 | Flir Systems, Inc. | Hybrid infrared sensor array having heterogeneous infrared sensors |
| US9848134B2 (en) | 2010-04-23 | 2017-12-19 | Flir Systems, Inc. | Infrared imager with integrated metal layers |
| US9207708B2 (en) | 2010-04-23 | 2015-12-08 | Flir Systems, Inc. | Abnormal clock rate detection in imaging sensor arrays |
| US9235023B2 (en) | 2011-06-10 | 2016-01-12 | Flir Systems, Inc. | Variable lens sleeve spacer |
| US10079982B2 (en) | 2011-06-10 | 2018-09-18 | Flir Systems, Inc. | Determination of an absolute radiometric value using blocked infrared sensors |
| US10841508B2 (en) | 2011-06-10 | 2020-11-17 | Flir Systems, Inc. | Electrical cabinet infrared monitor systems and methods |
| US9900526B2 (en) | 2011-06-10 | 2018-02-20 | Flir Systems, Inc. | Techniques to compensate for calibration drifts in infrared imaging devices |
| EP2719166B1 (en) | 2011-06-10 | 2018-03-28 | Flir Systems, Inc. | Line based image processing and flexible memory system |
| US10389953B2 (en) | 2011-06-10 | 2019-08-20 | Flir Systems, Inc. | Infrared imaging device having a shutter |
| CA2838992C (en) | 2011-06-10 | 2018-05-01 | Flir Systems, Inc. | Non-uniformity correction techniques for infrared imaging devices |
| US9706137B2 (en) | 2011-06-10 | 2017-07-11 | Flir Systems, Inc. | Electrical cabinet infrared monitor |
| US9058653B1 (en) | 2011-06-10 | 2015-06-16 | Flir Systems, Inc. | Alignment of visible light sources based on thermal images |
| US10051210B2 (en) | 2011-06-10 | 2018-08-14 | Flir Systems, Inc. | Infrared detector array with selectable pixel binning systems and methods |
| US9143703B2 (en) | 2011-06-10 | 2015-09-22 | Flir Systems, Inc. | Infrared camera calibration techniques |
| US10169666B2 (en) | 2011-06-10 | 2019-01-01 | Flir Systems, Inc. | Image-assisted remote control vehicle systems and methods |
| CN103748867B (en) | 2011-06-10 | 2019-01-18 | 菲力尔系统公司 | Low-power consumption and small form factor infrared imaging |
| US9509924B2 (en) | 2011-06-10 | 2016-11-29 | Flir Systems, Inc. | Wearable apparatus with integrated infrared imaging module |
| US9961277B2 (en) | 2011-06-10 | 2018-05-01 | Flir Systems, Inc. | Infrared focal plane array heat spreaders |
| KR101230345B1 (en) * | 2011-12-29 | 2013-02-06 | 주식회사 앤비젼 | A method and an appratus for photographing an image in a stereo-vision system capable of transferring photographing modes |
| KR101399562B1 (en) * | 2012-06-15 | 2014-05-27 | 삼성중공업 주식회사 | Defense system for vessel using plural directional speakers and method thereof |
| WO2014014957A1 (en) | 2012-07-16 | 2014-01-23 | Flir Systems, Inc. | Methods and systems for suppressing noise in images |
| US9811884B2 (en) | 2012-07-16 | 2017-11-07 | Flir Systems, Inc. | Methods and systems for suppressing atmospheric turbulence in images |
| US9973692B2 (en) | 2013-10-03 | 2018-05-15 | Flir Systems, Inc. | Situational awareness by compressed display of panoramic views |
| US11297264B2 (en) | 2014-01-05 | 2022-04-05 | Teledyne Fur, Llc | Device attachment with dual band imaging sensor |
| KR101586452B1 (en) * | 2014-03-19 | 2016-01-18 | 국방과학연구소 | Method of Distance Adaptive Detection Threshold Value for Infrared Target Detection System |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07262462A (en) * | 1994-03-16 | 1995-10-13 | Kokusai Gijutsu Kaihatsu Kk | Monitoring device |
| KR970022874A (en) * | 1995-10-28 | 1997-05-30 | 김광호 | Automatic monitoring device and method |
| JPH1042273A (en) * | 1996-07-24 | 1998-02-13 | Sanyo Electric Co Ltd | Three-dimensional position recognition utilization system |
| WO1998040855A1 (en) * | 1997-03-10 | 1998-09-17 | Robert Bosch Gmbh | Video monitoring system for a surface area |
| JPH11257931A (en) * | 1998-03-13 | 1999-09-24 | Matsushita Electric Ind Co Ltd | Object recognizing device |
| JP2002101408A (en) * | 2000-09-22 | 2002-04-05 | Asahi Precision Co Ltd | Supervisory camera system |
-
2002
- 2002-10-16 KR KR10-2002-0063297A patent/KR100492148B1/en not_active IP Right Cessation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07262462A (en) * | 1994-03-16 | 1995-10-13 | Kokusai Gijutsu Kaihatsu Kk | Monitoring device |
| KR970022874A (en) * | 1995-10-28 | 1997-05-30 | 김광호 | Automatic monitoring device and method |
| JPH1042273A (en) * | 1996-07-24 | 1998-02-13 | Sanyo Electric Co Ltd | Three-dimensional position recognition utilization system |
| WO1998040855A1 (en) * | 1997-03-10 | 1998-09-17 | Robert Bosch Gmbh | Video monitoring system for a surface area |
| JPH11257931A (en) * | 1998-03-13 | 1999-09-24 | Matsushita Electric Ind Co Ltd | Object recognizing device |
| JP2002101408A (en) * | 2000-09-22 | 2002-04-05 | Asahi Precision Co Ltd | Supervisory camera system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101899993B1 (en) | 2016-06-03 | 2018-09-18 | 성균관대학교산학협력단 | Object recognition method based on restricted region on image using disparity map |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20040033986A (en) | 2004-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100492148B1 (en) | The Artificial Intelligence Image Security System using the distance and direction of Moving Object | |
| CN108615321B (en) | Security pre-warning system and method based on radar detecting and video image behavioural analysis | |
| CN109571468B (en) | Security inspection robot and security inspection method | |
| CN101301236B (en) | Eyesight protection system based on three-dimensional camera shooting and method | |
| CN103929592A (en) | All-dimensional intelligent monitoring equipment and method | |
| WO2020029921A1 (en) | Monitoring method and device | |
| WO2018101247A1 (en) | Image recognition imaging apparatus | |
| CN1554193A (en) | A camera control apparatus and method | |
| CN103871186A (en) | Security and protection monitoring system and corresponding warning triggering method | |
| CN105718862A (en) | Method, device and recording-broadcasting system for automatically tracking teacher via single camera | |
| CN106162144A (en) | A kind of visual pattern processing equipment, system and intelligent machine for overnight sight | |
| CN112207821B (en) | Target searching method of visual robot and robot | |
| CN102970571A (en) | Stereoscopic image display apparatus | |
| CN114905512B (en) | Panoramic tracking and obstacle avoidance method and system for intelligent inspection robot | |
| KR101985711B1 (en) | Augmented reality CCTV system, and control method for the same | |
| KR102131437B1 (en) | Adaptive video surveillance system and method | |
| CN102348102A (en) | Roof safety monitoring system and method thereof | |
| EP3745718B1 (en) | Method of controlling pan-tilt-zoom camera by using fisheye camera and monitoring system | |
| CN113965733A (en) | Binocular video monitoring method, system, computer equipment and storage medium | |
| CN111596594B (en) | Panoramic big data application monitoring and control system | |
| CN109785562A (en) | A kind of vertical photoelectricity ground based threats warning system and suspicious object recognition methods | |
| JP2019201266A (en) | Automatic tracking and recording system and recording control device | |
| Nagarajan et al. | Role of object identification in sonification system for visually impaired | |
| JP4574509B2 (en) | System camera, surveillance system, and surveillance method | |
| CN111063148A (en) | Remote night vision target video detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20080423 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |