KR101572937B1 - Target-designation-device using eye-trace and target-designation-method thereof - Google Patents
Target-designation-device using eye-trace and target-designation-method thereof Download PDFInfo
- Publication number
- KR101572937B1 KR101572937B1 KR1020140027715A KR20140027715A KR101572937B1 KR 101572937 B1 KR101572937 B1 KR 101572937B1 KR 1020140027715 A KR1020140027715 A KR 1020140027715A KR 20140027715 A KR20140027715 A KR 20140027715A KR 101572937 B1 KR101572937 B1 KR 101572937B1
- Authority
- KR
- South Korea
- Prior art keywords
- target
- shooter
- tracking
- control device
- fire
- Prior art date
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G3/00—Aiming or laying means
- F41G3/14—Indirect aiming means
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G3/00—Aiming or laying means
- F41G3/22—Aiming or laying means for vehicle-borne armament, e.g. on aircraft
Abstract
본 발명은 시선추적을 이용한 표적 지정장치 및 그 지정방법에 관한 것으로, 표적을 지정하기 위하여 이동되는 타켓팅표시가 표시되는 스크린이 구비되어 화력장비에 장착된 사격통제장치와, 표적의 이동에 따라 사격통제장치를 작동하는 사수의 시선을 추적하는 시선추적장치를 포함하며, 타켓팅표시의 크기를 변경하거나, 사격통제장치의 응시방향을 변경하기 위해서 사격통제장치에 레버가 구비되며, 시선추적장치에서 추적된 사수의 시선에 따라 타켓팅표시가 이동되어 표적을 조준하는 것을 특징으로 하며, 사수의 시선을 추적하여 표적을 조준하게 되므로, 움직이는 표적에 대하여 효과적인 지정이 가능하여 지정 정확도를 높여주는 효과가 있는 시선추적을 이용한 표적 지정장치 및 그 지정방법을 제공한다.The present invention relates to a target designation apparatus using eye tracking and a designation method thereof, and more particularly, to a fire designation apparatus equipped with a fire control apparatus equipped with a screen on which a targeting indication to be moved is displayed to designate a target, And an eye tracking device for tracking the gaze of the shooter operating the control device. The shooting control device is provided with a lever for changing the size of the target marking or changing the gazing direction of the shooting control device. The targeting mark is moved according to the gaze of the shooter and the target is aimed. Since the target is traced by tracking the gaze of the shooter, it is possible to effectively specify the moving target, A target designation apparatus using tracking and a designation method thereof are provided.
Description
본 발명은 표적 지정장치에 관한 것으로, 더욱 상세하게는 사수의 시선을 추적하여 표적을 조준하게 되는 시선추적을 이용한 표적 지정장치 및 그 지정방법에 관한 것이다.The present invention relates to a target designating apparatus, and more particularly, to a target designating apparatus using a line-of-sight tracing that traces a sight line of a shooter and targets a target, and a designation method thereof.
종래의 움직이는 전차 파괴를 목적으로 하는 무기 체계에서 표적을 지정하기 위해서는, 움직이는 전차의 방향으로 사격 통제 장치의 방향을 지속적으로 움직이도록 조작함과 동시에, 양 손의 레버들을 움직여 조준화면에 표시된 전차의 상하좌우 크기에 맞는 가상의 상자를 만들어 전차를 감싼 후 순간적으로 사격 통제 장치의 레버나 버튼 등을 이용해 표적을 지정해야만 했다.In order to designate a target in a conventional weapon system for the purpose of destroying a moving tram, it is necessary to move the direction of the shooting control device continuously in the direction of the moving tram, while simultaneously moving the levers of both hands, I had to create a virtual box for the size of the top, bottom, left, and right sides of the tank, and instantly use the lever or button of the fire control device to specify the target.
표적이 멈추어 있거나 충분히 느린 속도로 움직이고 있는 경우에는 이러한 표적 지정 방법을 활용하여 표적을 추적할 수 있었으나 전차 등의 표적 속도가 점점 빨라지는 현재에는 이러한 방법으로 표적을 지정하는 것에는 한계가 있으며, 표적 지정이 표적의 명중률에 큰 영향을 주는 바, 결국 미사일의 명중률은 점점 떨어질 수밖에 없으며 미사일 명중률의 하락은 결국 사수의 생존 가능성과 자원의 효율적인 활용도의 하락에 직결된다.In the case where the target is stopped or moving at a sufficiently slow speed, the target can be traced by using such a target designation method. However, at present, when the target speed of the tram and the like is getting faster, there is a limitation in designating the target by this method. The designation has a big influence on the hit rate of the target. Eventually, the accuracy of the missile will decrease and the decline of the missile accuracy will be directly related to the survival possibility of the shooter and the effective utilization of resources.
현재 영상 센서(카메라 등)을 통한 제한적인 환경에서 사용자의 시선 추적 기술은 완성 단계에 이르렀다. 해당 기술이 여러 전시회나 컨퍼런스 등에 지속적으로 소개되고 있으며 해당 제품들은 벌써 10년 전부터 판매가 되고 있다.At present, in the limited environment through the image sensor (camera, etc.), the user's eye tracking technology has reached the completion stage. The technology is constantly being introduced at many exhibitions and conferences, and the products have been on sale for over a decade.
사격 통제 장치는 일반적으로 표적을 사용자가 지정할 수 있는 화면을 제공한다. 종래에는 이러한 화면에 오버랩 된 지정 표시(예- 상자 모양, 십자가 모양, 점 표시 등)를 양 손의 레버 등을 이용하여 수동으로 조작하였다. The fire control device generally provides a screen on which the user can specify the target. Conventionally, a designated display (e.g., a box shape, a cross shape, a dot display, etc.) overlapped on the screen was manually operated by using levers of both hands.
그러나 표적이 움직이는 경우 사격 통제 장치의 방향을 지속적으로 움직여야 하기 때문에 표적이 화면의 특정 부분에 지속적으로 나타나는 것이 아니라 화면상에서 이리 저리 흔들리며 표적 지정을 어렵게 한다. However, if the target is moving, the direction of the fire control system must be constantly moved, so that the target does not continuously appear on a specific part of the screen, but it is shaken on the screen, making it difficult to designate the target.
이러한 경우 양 손의 레버 등을 이용하여 표적의 위치 (x, y 좌표)를 지속적으로 따라가면서 지정하는 것이 쉽지 않다. 그러나 이러한 경우에도 화면속의 표적을 사용자의 눈은 계속 따라가고 있다. 이러한 특성을 이용하여 사용자의 동공을 추적하여 사용자가 화면의 어느 곳을 응시하고 있는지를 판별하면 수동으로 표적을 지정하는 것보다 빠르고 간편하게 표적을 지정할 수 있다. In such a case, it is not easy to designate the position (x, y coordinate) of the target by continuously using the lever of both hands. However, even in this case, the user's eyes continue to follow the target in the screen. Using these characteristics, the user's pupil can be traced to determine where the user is gazing on the screen, and the target can be specified more quickly and easily than manually specifying the target.
이에 상기와 같은 점을 감안하여 발명된 본 발명의 목적은, 사수의 양 손을 이용한 레버의 움직임과, 사수의 시선을 추적하여 생성된 좌표를 이용하여 표적 지정을 하는 시선추적을 이용한 표적 지정장치 및 그 지정방법에 관한 것이다. In view of the above, it is an object of the present invention to provide a target designation device using eye tracking that specifies a target by using coordinates generated by tracking a movement of a lever using both hands of a shooter, And a method of specifying the same.
상기와 같은 목적을 달성하기 위한 본 발명의 시선추적을 이용한 표적 지정장치에 따르면, 표적을 조준하기 위하여 이동되는 타켓팅표시가 표시되는 스크린이 구비되어 화력장비에 장착된 사격통제장치와, 표적의 이동에 따라 사격통제장치를 작동하는 사수의 시선을 추적하는 시선추적장치를 포함하며, 타켓팅표시의 크기를 변경하거나, 사격통제장치의 응시방향을 변경하기 위해서 사격통제장치에 레버가 구비되며, 시선추적장치에서 추적된 사수의 시선에 따라 타켓팅표시가 이동되어 표적을 조준하며, 조준된 표적을 지정하여 화력장비와 표적의 정렬을 유지하는 표적 지정 장치가 화력장비에 구비된 것을 특징으로 하는 시선추적을 이용한 표적 지정장치를 제공한다. In order to achieve the above object, according to the present invention, there is provided a target designation device using a tracking target, comprising: a shooting control device mounted on a firepower device having a screen on which a moving target indicator is displayed for aiming a target; A lever is provided in the shooting control device to change the size of the target marking or to change the gazing direction of the shooting control device, Characterized in that the fire-fighting equipment is provided with a target designating device for targeting the target by moving the targeting mark according to the gaze of the tracked shooter in the device and designating the aimed target to maintain the alignment of the fire- And a target designation device used.
본 발명의 하나의 측면에 의하면, 시선추적장치는, 스크린의 일측에 구비된 시선추적용 카메라와, 사수의 주시방향을 인식하기 위해서, 스크린의 길이방향 양단 또는 폭방향 양단에 구비된 적외선 에미터를 포함할 수 있다.According to one aspect of the present invention, a gaze tracking device includes a line-of-sight tracking camera provided at one side of a screen and an infrared ray emitter provided at both ends in the longitudinal direction or at both ends in the width direction of the screen, . ≪ / RTI >
본 발명의 다른 측면에 의하면, 시선추적장치는, 사수의 머리에 착용 가능한 착용부와, 사수의 동공을 관측하기 위해 착용부에 구비된 동공카메라와, 사수의 정면을 관측하기 위해 착용부에 구비된 정면카메라를 포함할 수 있다.According to another aspect of the present invention, there is provided a gaze tracking apparatus comprising: a wearable portion that can be worn on a head of a shooter; a pupil camera provided in the wearer to observe a pupil of the shooter; Which may include a front camera.
상기와 같은 목적을 달성하기 위한 본 발명의 시선추적을 이용한 표적 지정장치에 따르면, 타켓팅표시가 표적을 응시하는 사수의 시선을 추적하여 표적에 정렬되도록 이동되며 타켓팅표시의 좌표를 산출하는 시선추적단계와, 사수의 제스쳐를 인식하여 탄두를 발사하는 화력장비의 동작명령으로 전환하는 동작인식단계와, 시선추적단계에서 산출된 표적의 좌표와, 동작인식단계에서 전환된 동작명령을 통해 화력장비가 표적을 조준하도록 지정하는 무기체계제어단계를 포함하는 시선추적을 이용한 표적 지정방법을 제공한다.According to an aspect of the present invention, there is provided a target specifying apparatus using a line tracking apparatus, the target tracking apparatus comprising: a gaze tracking step of tracking a gaze of a target gazing at a target, moving to be aligned on a target, A step of recognizing the gesture of the shooter and switching to an operation command of the fire-fighting equipment that fires the warhead; a step of recognizing the fire target through the target coordinates calculated in the gaze tracking step, And a weapon system control step of specifying a target to be aimed at the target.
본 발명의 하나의 측면에 의하면, 시선추적단계는, 사수가 화력장비에 구비된 사격통제장치를 통해 표적을 조준할 때, 사수의 동공 위치를 추적하는 동공위치추적단계와, 사격통제장치를 통해 화력장비와 표적 사이의 공간을 나눈 좌표계의 상의 좌표로 동공의 위치를 수치화하는 동공위치좌표변환단계와, 좌표를 화력장비에 구비된 표적 지정 장치에 전달하는 좌표전달단계를 포함할 수 있으며, 동공위치추적단계 이전에, 타켓팅표시의 크기가 표적에 일치되도록 타켓팅표시의 크기를 조절하는 표시크기조절단계가 수행될 수 있다. According to one aspect of the present invention, the eye tracking step includes a pupil position tracking step of tracking a pupil position of a shooter when a shooter targets a target through a fire control device provided in a thermal power plant, A pupil position coordinate conversion step of digitizing the position of the pupil with coordinates of an image of a coordinate system obtained by dividing a space between the thermal power equipment and the target, and a coordinate transmitting step of transmitting coordinates to the target designation device provided in the thermal power equipment, Prior to the location tracking step, a display size adjustment step may be performed that scales the targeting indication so that the size of the targeting indication matches the target.
본 발명의 다른 측면에 의하면, 동작인식단계는, 사수가 화력장비에 구비된 사격통제장치를 통해 표적을 조준할 때 미리 정해진 홀드, 해제 등의 명령을 의미하는 제스쳐를 취함과 동시에 사격통제장치에서 제스쳐를 인식하는 제스쳐인식단계와, 사격통제장치에 인식된 제스쳐를 명령으로 변환하는 명령변환단계와, 명령변환단계에서 변환된 명령을 화력장비에 구비된 표적 지정 장치에 전달하는 명령전달단계를 포함할 수 있으며, 제스쳐는 사수의 몸동작 또는 눈깜박임을 포함할 수 있으며, 사수가 양쪽 눈을 1초 이상 모두 감거나, 어느 한쪽 눈을 1초 이상 감음으로써 동작명령이 입력될 수 있다.According to another aspect of the present invention, in the operation recognition step, when a target is aimed at a target through a fire control device provided in a fire-fighting equipment, a gesture indicating a command such as a predetermined hold, A command conversion step of converting the gesture recognized by the shooting control device into a command, and a command delivery step of delivering the command converted in the command conversion step to a target designation device provided in the thermal power equipment And a gesture may include gestures of the shooter or blinking of the shooter and an action command may be entered by the shooter winding both eyes for more than one second or by winding one eye for more than one second.
이러한 본 발명에 따른 시선추적을 이용한 표적 지정장치 및 그 지정방법에 의하면, 사수의 시선을 추적하여 표적을 조준하게 되므로, 움직이는 표적에 대하여 효과적인 지정이 가능하여 지정 정확도를 높여주는 효과가 있다.According to the target designation apparatus using the line tracking and the designation method thereof according to the present invention, the target is traced by tracking the gaze of the shooter, so that it is possible to effectively designate a moving target, thereby improving the design accuracy.
또한, 움직이는 표적을 지정할 때 수동으로 화면 속에서의 표적의 위치를 지정하는 것이 아니라 시선 추적을 이용하여 표적의 위치를 지정할 수 있으므로 표적 지정 속도를 높여주는 효과가 있다.In addition, when designating a moving target, it is possible to designate the position of the target by using the eye tracking instead of manually specifying the position of the target in the screen, thereby enhancing the target designation speed.
또한, 움직이는 표적을 지정할 때 양 손을 이용하여 표적을 지정하는 것이 아니라 표적을 지속적으로 응시하는 것만으로써 표적을 지정할 수 있으므로 표적 지정의 편의성을 높이는 효과가 있다.In addition, when designating a moving target, it is possible to designate a target only by continuously gazing at the target rather than specifying the target using both hands, thereby enhancing the convenience of designating the target.
또한, 표적 지정 정확도가 높아짐으로써 표적 명중 확률이 높아지는 효과가 있다.In addition, there is an effect that the probability of target hitting is increased by increasing the target designation accuracy.
또한, 표적 지정시 하나의 이미지 프레임만으로 표적을 지정하는 것이 아니라 지속적으로 시선을 추적하면서 여러 장의 영상을 이용하여 하나의 표적을 지정할 수 있으므로 표적 명중 확률이 높아지는 효과가 있다.In addition, instead of designating a target with only one image frame at the time of designating a target, a target can be designated by using multiple images while keeping track of the eyes continuously, thereby increasing the probability of the target's hit.
또한, 표적이 움직이지 않거나 여의치 않을 때는 종래의 표적 지정 방식을 그대로 사용할 수 있으므로 기존의 사격 방법의 구성이나 장점을 해치지 않고도 사격 통제 장치에 부가적으로 본 발명을 적용할 수는 있는 효과가 있다.In addition, when the target does not move or does not move, the conventional target designation method can be used as it is. Therefore, the present invention can be applied to the shooting control device without harming the configuration or advantage of the existing shooting method.
도 1은 본 발명의 제1 실시예의 시선추적을 이용한 표적 지정장치의 개요도,
도 2는 본 발명의 제2 실시예의 시선추적을 이용한 표적 지정장치의 개요도,
도 3은 본 발명의 일실시예의 시선추적을 이용한 표적 지정방법의 절차도이다.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is an outline view of a target designation apparatus using eye tracking of a first embodiment of the present invention,
2 is an outline view of a target designation apparatus using eye tracking in the second embodiment of the present invention,
3 is a flow chart of a method of specifying a target using eye tracking in an embodiment of the present invention.
이하 본 발명의 실시예를 첨부된 예시도면을 참조로 상세히 설명하며, 이러한 실시예는 일례로서 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 여러 가지 상이한 형태로 구현될 수 있으므로, 여기에서 설명하는 실시예에 한정되지 않는다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which illustrate exemplary embodiments of the present invention. The present invention is not limited to these embodiments.
본 발명의 시선추적을 이용한 표적 지정장치는 표적(T)을 지정하기 위하여 이동되는 타켓팅표시(111)가 표시되는 스크린(110)이 구비되어 화력장비에 장착된 사격통제장치(100)와, 표적(T)의 이동에 따라 사격통제장치(100)를 작동하는 사수의 시선을 추적하는 시선추적장치(200)를 포함하며, 타켓팅표시(111)의 크기를 변경하거나, 사격통제장치(100)의 응시방향을 변경하기 위해서 사격통제장치(100)에 레버(120)가 구비되며, 시선추적장치(200)에서 추적된 사수의 시선에 따라 타켓팅표시(111)가 이동되어 표적(T)을 조준하며, 조준된 표적(T)을 지정하여 화력장비와 표적(T)의 정렬을 유지하는 표적 지정 장치가 화력장비에 구비된 것을 특징으로 한다. The target designation apparatus using the line-of-sight tracking of the present invention includes a
도 1은 본 발명의 제1 실시예의 시선추적을 이용한 표적 지정장치의 개요도이다. 1 is a schematic diagram of a target designation apparatus using eye tracking in the first embodiment of the present invention.
도시된 바와 같이, 제1 실시예는, 스크린(110)에 카메라(210)를 설치해서 사수가 아무것도 착용하지 않은 것을 특징으로 한다. As shown in the figure, the first embodiment is characterized in that the
제1 실시예에서의 시선추적장치(200)는, 스크린(110)의 일측에 구비된 시선추적용 카메라(210)와, 사수의 주시방향을 인식하기 위해서 스크린(110)의 길이방향 양단 또는 폭방향 양단에 구비된 적외선 에미터(220)를 포함한다.The
또한 화면의 좌우에 사용자의 양 손을 이용하여 상자의 상하 좌우 크기를 조절 할 수 있는 레버(120)가 설치된다. Also, a
사수는 이 레버(120)들을 이용하여 지정하려는 전차의 크기에 맞도록 타켓팅표시(111)를 설정하고, 전차의 움직임에 따라 지속적으로 사격 통제 장치의 방향을 변경시키면서 화면속에서 흔들리는 전차의 위치를 응시하게 된다.The shooter uses the
이때, 추가적인 표적 지정 버튼을 누르고 있으면 사격 통제 장치가 사용자의 시선방향을 추적하면서 화면에 표시된 영상 분석과 함께 표적 지정 단계가 수행되고 사용자에 의해 표적(T) 지정이 제대로 되었다고 판단되면 움켜쥐고 있던 표적 지정 버튼을 릴리즈하여 미사일을 발사할 수 있다. At this time, if the additional target designating button is held down, the shooting control device monitors the direction of the user's gaze and executes the target designation step together with the image analysis displayed on the screen. If the target is determined by the user, The missile can be fired by releasing the designation button.
도 2는 본 발명의 제2 실시예의 시선추적을 이용한 표적 지정장치의 개요도로써, 제2 실시예의 시선추적장치(200)를 머리에 착용한 사수의 머리를 위에서 바라본 모습이다.FIG. 2 is a schematic diagram of a target designation apparatus using eye tracking of a second embodiment of the present invention, in which the head of a shooter worn on the head of the
도시된 바와 같이, 본 발명의 제2 실시예의 표적 지정장치는 사수가 안경처럼 시선추적장치(200)를 착용하는 것을 특징으로 한다.As shown, the target designating device of the second embodiment of the present invention is characterized in that the shooter wears the
제2 실시예에서 시선추적장치(200)는, 사수의 머리에 착용 가능한 착용부(230)와, 사수의 동공을 관측하기 위해 착용부(230)에 구비된 동공카메라(240)와, 사수의 정면을 관측하기 위해 착용부(230)에 구비된 정면카메라(250)를 포함한다.In the second embodiment, the
동공카메라(240)와 정면카메라(250)를 통해 수집된 2장의 영상을 이용하여 사수가 응시하는 화면상의 좌표를 알아내는 구성이다. The coordinates on the screen taken by the shooter are found using the two images collected through the
위의 제1 실시예 또는 제2 실시예는 표적(T)을 지정하기 위한 것으로, 전차, 비행체 등의 모든 유도무기가 표적(T)을 추적하는 무기체계에 활용될 수 있다.The above first or second embodiment is for designating a target T, and all guided weapons such as trams and airplanes can be utilized in the weapon system for tracking the target T. [
도 3은 본 발명의 일실시예의 시선추적을 이용한 표적 지정방법의 절차도이다.3 is a flow chart of a method of specifying a target using eye tracking in an embodiment of the present invention.
도 3에 도시된 바와 같이, 본 발명의 시선추적을 이용한 표적 지정방법은, 타켓팅표시(111)가 표적(T)을 응시하는 사수의 시선을 추적하여 표적(T)에 정렬되도록 이동되며 타켓팅표시(111)의 좌표를 산출하는 시선추적단계(S100)와, 사수의 제스쳐를 인식하여 탄두를 발사하는 화력장비의 동작명령으로 전환하는 동작인식단계(S200)와, 시선추적단계(S100)에서 산출된 표적(T)의 좌표와, 동작인식단계(S200)에서 전환된 동작명령을 통해 화력장비가 표적(T)을 조준하도록 지정하는 무기체계제어단계(S300)를 포함한다.3, the target designation method using eye tracking according to the present invention is characterized in that the target marking 111 is moved so as to align with the target T by tracking the gaze of the shooter staring at the target T, (S100) for calculating the coordinates of the firearm (111), an operation recognizing step (S200) for recognizing the gesture of the shooter and switching to an operation command of the fire-fighting equipment that fires the warhead, and a step And a weapon system control step (S300) for specifying the fire equipment to target the target (T) through the coordinates of the target (T) and the operation command converted in the operation recognition step (S200).
시선추적단계(S100)는, 사수가 화력장비에 구비된 사격통제장치(100)를 통해 표적(T)을 조준할 때, 사수의 동공 위치를 추적하는 동공위치추적단계(S110)와, 사격통제장치(100)를 통해 화력장비와 표적 사이의 공간을 나눈 좌표계의 좌표로 동공의 위치를 수치화하는 동공위치좌표변환단계(S120)와, 좌표를 화력장비에 구비된 표적 지정 장치에 전달하는 좌표전달단계(S130)를 포함한다.The gaze tracking step S100 includes a pupil position tracking step S110 for tracking the pupil position of the shooter when the shooter targets the target T through the
동공위치추적단계(S110) 이전에, 타켓팅표시(111)의 크기가 표적(T)에 일치되도록 타켓팅표시(111)의 크기를 조절하는 표시크기조절단계가 수행된다.Before the pupil position tracking step S110, a display magnification step of adjusting the size of the target marking 111 so that the size of the target marking 111 matches the target T is performed.
표적(T)이 상대적으로 가깝다던가 타켓팅표시(111)의 크기를 조정하여 표적(T)을 지정할 수 있을 만큼의 여유가 없는 경우에는, 표시크기조절단계는 생략될 수 있으며 이때의 타켓팅표시(111)의 크기는 사전에 정의된 크기로써 표적(T)을 지정할 수 있다.If the target T is relatively close or there is not enough room to adjust the size of the target marking 111 to specify the target T, the step of adjusting the size of the display may be omitted and the target marking 111 ) Can specify a target (T) with a predefined size.
동작인식단계(S200)는, 사수가 화력장비에 구비된 사격통제장치(100)를 통해 표적(T)을 조준할 때, 미리 정해진 홀드, 해제 등의 명령을 의미하는 제스쳐를 취함과 동시에 사격통제장치(100)에서 제스쳐를 인식하는 제스쳐인식단계(S210)와, 사격통제장치(100)에 인식된 제스쳐를 명령으로 변환하는 명령변환단계(S220)와, 명령변환단계(S220)에서 변환된 명령을 화력장비에 구비된 표적 지정 장치에 전달하는 명령전달단계(S230)를 포함한다.In the operation recognition step S200, when a shooter targets the target T through the
제스쳐는 사수의 몸동작 또는 눈깜박임을 포함한다. 예를들어, 무기체계제어단계(S300) 도중에 표적(T) 지정을 취소하고 싶으면 추가적으로 표적 지정 취소 버튼을 두어서 지정을 취소할 수도 있겠지만 사용자의 눈을 한쪽만 감는다던가 양쪽 눈을 1초 이상 감는다던가 하는 여러 가지 제스처를 이용하여 취소 명령을 내릴 수도 있다.Gestures include gestures of the shooter or blinking of the eyes. For example, if you want to cancel the target (T) designation during the weapon system control step (S300), you can cancel the designation by additionally releasing the target designation button. However, You can also use the various gestures to cancel.
100: 사격통제장치 110: 스크린
111: 타켓팅표시 120: 레버
200: 시선추적장치 210: 카메라
220: 적외선 에미터 230: 착용부
240: 동공카메라 250: 정면카메라
S100: 시선추적단계 S110: 동공위치추적단계
S120: 동공위치좌표변환단계 S130: 좌표전달단계
S200: 동작인식단계 S210: 제스쳐인식단계
S220: 명령변환단계 S230: 명령전달단계
S300: 무기체계제어단계 T: 표적100: Fire control device 110: Screen
111: Displaying the target 120: Lever
200: eye tracking device 210: camera
220: Infrared emitter 230: Wear part
240: pupil camera 250: front camera
S100: eye tracking step S110: pupil position tracking step
S120: pupil position coordinate conversion step S130: coordinate transmission step
S200: Operation recognition step S210: Gesture recognition step
S220: Command conversion step S230: Command transfer step
S300: Weapon System Control Phase T: Target
Claims (9)
상기 표적의 이동에 따라 상기 사격통제장치를 작동하는 사수의 시선을 추적하는 시선추적장치;를 포함하며,
상기 타켓팅표시의 크기를 변경하거나, 상기 사격통제장치의 응시방향을 변경하기 위해서 상기 사격통제장치에 레버가 구비되며,
상기 시선추적장치에서 추적된 상기 사수의 시선에 따라 상기 타켓팅표시가 이동되어 상기 표적을 조준하며,
조준된 상기 표적을 지정하여 상기 화력장비와 상기 표적의 정렬을 유지하는 표적 지정 장치가 상기 화력장비에 구비된 것을 특징으로 하는 시선추적을 이용한 표적 지정장치. A fire control device equipped with a screen on which a target indicating the target to be moved is displayed, the fire control device being mounted on the fire equipment;
And a gaze tracking device for tracking a gaze of a shooter operating the shooting control device in accordance with the movement of the target,
A lever is provided on the shooting control device to change a size of the targeting display or to change a gazing direction of the shooting control device,
Wherein the targeting indicator is moved according to a line of sight of the shooter tracked by the gaze tracking device to aim at the target,
Wherein the fire-fighting equipment is provided with a target designating device that designates the target to be collimated and maintains alignment between the fire-fighting equipment and the target.
상기 시선추적장치는,
상기 스크린의 일측에 구비된 시선추적용 카메라와,
상기 사수의 주시방향을 인식하기 위해, 상기 스크린의 길이방향 양단 또는 폭방향 양단에 구비된 적외선 에미터를 포함하는 것을 특징으로 하는 시선추적을 이용한 표적 지정장치. The method according to claim 1,
The eye-
A line-of-sight tracking camera provided on one side of the screen,
And an infrared emitter provided at both ends in the longitudinal direction or at both ends in the width direction of the screen to recognize the gaze direction of the shooter.
상기 시선추적장치는,
상기 사수의 머리에 착용 가능한 착용부와,
상기 사수의 동공을 관측하기 위해 상기 착용부에 구비된 동공카메라와,
상기 사수의 정면을 관측하기 위해 상기 착용부에 구비된 정면카메라를 포함하는 것을 특징으로 하는 시선추적을 이용한 표적 지정장치.The method according to claim 1,
The eye-
A wearable portion which can be worn on the head of the shooter,
A pupil camera provided in the wearer to observe the pupil of the shooter,
And a front camera provided on the wearer to observe the front face of the shooter.
상기 사수의 제스쳐를 인식하여 탄두를 발사하는 화력장비의 동작명령으로 전환하는 동작인식단계;
상기 시선추적단계에서 산출된 상기 표적의 좌표와, 상기 동작인식단계에서 전환된 상기 동작명령을 통해 상기 화력장비가 상기 표적을 조준하도록 지정하는 무기체계제어단계;를 포함하는 시선추적을 이용한 표적 지정방법.A gaze tracking step of tracking a gaze of a shooter gazing at a target and moving to be aligned with the target, and calculating coordinates of the targeting indication;
An operation recognition step of recognizing the gesture of the shooter and switching to an operation command of a fire-fighting equipment that fires a warhead;
And a weapon system control step of designating the fire fighting equipment to target the target through the coordinates of the target calculated in the sight line tracking step and the operation command converted in the operation recognition step, Way.
상기 시선추적단계는,
상기 사수가 상기 화력장비에 구비된 사격통제장치를 통해 상기 표적을 조준할 때, 상기 사수의 동공 위치를 추적하는 동공위치추적단계;
상기 사격통제장치를 통해 상기 화력장비와 상기 표적 사이의 공간을 나눈 좌표계의 좌표로 상기 동공의 위치를 수치화하는 동공위치좌표변환단계;
상기 좌표를 상기 화력장비에 구비된 표적 지정 장치에 전달하는 좌표전달단계;를 포함하는 것을 특징으로 하는 시선추적을 이용한 표적 지정방법.5. The method of claim 4,
The line-
A pupil position tracking step of tracking the pupil position of the shooter when the shooter targets the target through a fire control device provided in the thermal power equipment;
A pupil position coordinate conversion step of digitizing a position of the pupil with coordinates of a coordinate system obtained by dividing a space between the thermal power equipment and the target through the fire control device;
And transferring the coordinates to a target designating device provided in the thermal power plant.
상기 동공위치추적단계 이전에,
상기 타켓팅표시의 크기가 상기 표적에 일치되도록 상기 타켓팅표시의 크기를 조절하는 표시크기조절단계가 수행되는 것을 특징으로 하는 시선추적을 이용한 표적 지정방법.6. The method of claim 5,
Before the pupil position tracking step,
And adjusting a size of the targeting indicator so that the size of the targeting indicator matches the target.
상기 동작인식단계는,
상기 사수가 상기 화력장비에 구비된 사격통제장치를 통해 상기 표적을 조준할 때, 미리 정해진 홀드, 해제 등의 명령을 의미하는 제스쳐를 취함과 동시에 상기 사격통제장치에서 상기 제스쳐를 인식하는 제스쳐인식단계;
상기 사격통제장치에 인식된 상기 제스쳐를 명령으로 변환하는 명령변환단계;
상기 명령변환단계에서 변환된 상기 명령을 상기 화력장비에 구비된 표적 지정 장치에 전달하는 명령전달단계;를 포함하는 것을 특징으로 하는 시선추적을 이용한 표적 지정방법.5. The method of claim 4,
Wherein the operation recognition step comprises:
When the shooter targets the target through the fire control device provided in the thermal power plant, a gesture indicating a command such as a predetermined hold, release, etc. is taken and the gesture recognition step of recognizing the gesture in the fire control device ;
A command conversion step of converting the gesture recognized by the shooting control device into a command;
And a command delivery step of delivering the command converted in the command conversion step to a target designating device provided in the thermal power equipment.
상기 제스쳐는 상기 사수의 몸동작 또는 눈깜박임을 포함하는 것을 특징으로 하는 시선추적을 이용한 표적 지정방법.8. The method of claim 7,
Wherein the gesture includes gestures of the shooter or blinking of eyes.
상기 사수가 양쪽 눈을 1초 이상 모두 감거나, 어느 한쪽 눈을 1초 이상 감음으로써 상기 동작명령이 입력되는 것을 특징으로 하는 시선추적을 이용한 표적 지정방법. 9. The method of claim 8,
Wherein the operation command is input by winding the eye on both eyes for at least one second or by winding one eye for at least one second.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140027715A KR101572937B1 (en) | 2014-03-10 | 2014-03-10 | Target-designation-device using eye-trace and target-designation-method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140027715A KR101572937B1 (en) | 2014-03-10 | 2014-03-10 | Target-designation-device using eye-trace and target-designation-method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150105765A KR20150105765A (en) | 2015-09-18 |
| KR101572937B1 true KR101572937B1 (en) | 2015-11-30 |
Family
ID=54244875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140027715A KR101572937B1 (en) | 2014-03-10 | 2014-03-10 | Target-designation-device using eye-trace and target-designation-method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101572937B1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201517270D0 (en) * | 2015-09-30 | 2015-11-11 | Mbda Uk Ltd | Target designator |
| DE102018106731A1 (en) * | 2018-03-21 | 2019-09-26 | Rheinmetall Electronics Gmbh | Military device and method for operating a military device |
| CN110440639B (en) * | 2019-08-13 | 2022-02-18 | 北京缔科新技术研究院(有限合伙) | Electronic firing laser sighting telescope based on visual control and firing method |
| CN110440638A (en) * | 2019-08-13 | 2019-11-12 | 北京缔科新技术研究院(有限合伙) | A kind of laser of view-based access control model control takes aim at mirror and method of sight |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013117361A (en) | 2011-12-05 | 2013-06-13 | Kawasaki Heavy Ind Ltd | Missile guidance system |
-
2014
- 2014-03-10 KR KR1020140027715A patent/KR101572937B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013117361A (en) | 2011-12-05 | 2013-06-13 | Kawasaki Heavy Ind Ltd | Missile guidance system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150105765A (en) | 2015-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6715301B2 (en) | Information processing method and device, program, storage medium, electronic device | |
| KR101572937B1 (en) | Target-designation-device using eye-trace and target-designation-method thereof | |
| KR101414147B1 (en) | Virtual Reality Shooting Simulation System | |
| CN110039545A (en) | A kind of robot remote control system and control method based on wearable device | |
| KR101938257B1 (en) | Image shooting simulation system | |
| KR101519290B1 (en) | Method for Controlling HUD for Vehicle | |
| JP2018075259A5 (en) | ||
| US20160180532A1 (en) | System for identifying a position of impact of a weapon shot on a target | |
| KR101662032B1 (en) | UAV Aerial Display System for Synchronized with Operators Gaze Direction | |
| KR20130092077A (en) | Virtual reality shooting system for real time interaction | |
| KR20170136886A (en) | Vr multiple fire training systems | |
| JP2015187537A5 (en) | ||
| KR102305409B1 (en) | Tactical training system optimized for multiple users to share a watch in augmented reality | |
| KR101386643B1 (en) | Apparatus and method for weapon targeting assistant | |
| US11944897B2 (en) | Device including plurality of markers | |
| CN105865266B (en) | Wear-type water cannon aims at control device | |
| JP2014134352A (en) | Shooting training system | |
| KR20220123516A (en) | An intelligent system that controls the functions of the combat vehicle turret | |
| MY190043A (en) | Dart game apparatus and dart game system | |
| KR20190014422A (en) | Game System Capable of Processing Fixed-Space Mode in First Person Shooting Simulation Game Controlled by Motion Recognition and Processing Method thereof | |
| JP2015160114A (en) | Competition type shooting game apparatus | |
| JP2013245927A (en) | Training support system | |
| US10482658B2 (en) | Visualization and control of remote objects | |
| JP2018010665A (en) | Method of giving operational instructions to objects in virtual space, and program | |
| JP2018010348A (en) | Method of operating characters in virtual space, program for having computer implement the same, and computer device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20181102 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20191015 Year of fee payment: 5 |