KR102133219B1 - Augmented reality glasses detecting movements - Google Patents
Augmented reality glasses detecting movements Download PDFInfo
- Publication number
- KR102133219B1 KR102133219B1 KR1020170130016A KR20170130016A KR102133219B1 KR 102133219 B1 KR102133219 B1 KR 102133219B1 KR 1020170130016 A KR1020170130016 A KR 1020170130016A KR 20170130016 A KR20170130016 A KR 20170130016A KR 102133219 B1 KR102133219 B1 KR 102133219B1
- Authority
- KR
- South Korea
- Prior art keywords
- augmented reality
- motion
- reality glass
- motion detection
- control unit
- Prior art date
Links
- 239000011521 glass Substances 0.000 title claims abstract description 56
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 210000001508 eye Anatomy 0.000 claims abstract description 8
- 230000001133 acceleration Effects 0.000 claims description 16
- 210000001747 pupil Anatomy 0.000 claims description 11
- 210000005252 bulbus oculi Anatomy 0.000 claims description 3
- 210000003128 head Anatomy 0.000 description 6
- 238000000034 method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Abstract
본 발명은 손에 의한 터치 없이 용이하고 정확하게 증강현실 글라스를 제어하기 위한 움직임감지 증강현실 글라스에 관한 것이다. 이를 위하여, 본 발명은, 사용자의 눈 전방에 배치되어 가상의 영상을 표시하여 주는 디스플레이부 및 사용자의 얼굴에 부착할 수 있도록 하는 안경다리를 포함하여 구성되는 증강현실글라스에 있어서, 상기 증강현실글라스는,
전원을 공급하는 전원공급부; 상기 증강현실글라스의 움직임을 감지하는 움직임감지센서; 상기 움직임감지센서에 의한 신호에 기초하여 상기 전원공급부의 전원을 차단 또는 공급하는 제어부를 포함하는 것을 특징으로 하는 움직임감지 증강현실글라스를 제공한다.
따라서, 본 발명에 의하면, 양손을 사용하고 있더라도 손을 댈 필요없이 원하는 제어를 할 수 있으므로 매우 편리하고 정확하게 증강현실글라스를 제어할 수 있는 장점이 있다.The present invention relates to a motion detection augmented reality glass for easily and accurately controlling the augmented reality glass without a touch by a hand. To this end, the present invention is an augmented reality glass comprising an eyeglass leg that is disposed in front of a user's eyes to display a virtual image and can be attached to a user's face. Is,
A power supply unit that supplies power; A motion detection sensor that detects the motion of the augmented reality glass; It provides a motion detection augmented reality glass characterized in that it comprises a control unit for cutting off or supplying power to the power supply based on the signal by the motion detection sensor.
Therefore, according to the present invention, even if both hands are used, it is possible to perform desired control without having to touch the hand, and thus there is an advantage of controlling the augmented reality glass very conveniently and accurately.
Description
본 발명은 움직임감지 증강현실 글라스에 관한 것이며, 구체적으로 손에 의한 터치 없이 용이하고 정확하게 증강현실 글라스를 제어하기 위한 움직임감지 증강현실 글라스에 관한 것이다.The present invention relates to a motion detection augmented reality glass, specifically, to a motion detection augmented reality glass for easily and accurately controlling the augmented reality glass without touch by a hand.
실제 사물에 가상의 이미지를 부가하여 보여주는 증강현실글라스는 국방, 의료, 산업 등 많은 분야에 활용되고 있으며, 소프트웨어 및 하드웨어적으로 다양한 분야에 사용되도록 연구·개발되고 있다.Augmented reality glasses that show virtual images by adding them to real objects are used in many fields such as defense, medical, and industrial, and are researched and developed to be used in various fields in software and hardware.
이러한 증강현실글라스는 실제의 물체를 인식하여 인식된 물체에 관련되는 정보를 주거나 실제로는 없는 물체를 가상의 이미지로 만들어 인식된 물체에 매칭시켜 보여주기도 한다.These augmented reality glasses recognize real objects and give information related to the recognized objects, or make objects that do not actually exist as virtual images and match them to the recognized objects.
도 1에 나타낸 등록특허 제10-1647467호에 의하면, 증강현실글라스가 외과수술에 이용되는 예를 보여주며, 수술대상물 및 수술기구에 센서부(10,20)가 부착되며, 신체 내부에 대한 3D 모델링을 증강현실글라스로 전송하고, 수술대상물 및 수술기구의 3D 모델링을 증강현실글라스로 전송하여 주어 인체의 실제 영상에 상기 3D 모델링을 중첩하여 표시하고 수술 대상물 및 수술기구의 3D 모델링을 해당 위치에 추가로 표시하여 준다.According to the registered patent No. 10-1647467 shown in FIG. 1, an augmented reality glass shows an example used in surgery, the
이러한 증강현실글라스에 의하면 환부의 절개를 최소화하면서, 동맥과 신경 같은 중요부위의 위치를 정확하게 파악하면서 수술이 가능해진다.According to these augmented reality glasses, surgery can be performed while accurately minimizing incision in the affected area and accurately grasping the locations of important areas such as arteries and nerves.
하지만, 상기 증강현실글라스의 조작은 안경다리에 있는 각종 스위치를 이용하여 조작해야 하는데, 수술도구를 두 손으로 잡고 있는 상황과 같이 두 손이 자유롭지 못 한 경우에 상기 증강현실글라스를 조작하는데 많은 어려움이 있으며, 물건을 든 채 조작을 하거나 물건을 다른 데 내려놓고 조작을 해야 하는 등의 문제점이 있다.However, the manipulation of the augmented reality glasses must be operated using various switches on the legs of the glasses, and there are many difficulties in manipulating the augmented reality glasses when the two hands are not free, such as a situation in which a surgical tool is held with both hands. There is a problem, such as having to operate while holding an object, or to put an object on another and manipulate it.
본 발명은 상기와 같은 문제점을 해결하기 위한 것이며, 손을 사용하지 않고 증강현실글라스를 용이하고 정확하게 조작하도록 하기 위한 것이다.The present invention is to solve the above problems, and to facilitate and accurately manipulate the augmented reality glasses without using a hand.
상기한 목적을 달성하기 위하여, 본 발명은, 사용자의 눈 전방에 배치되어 가상의 영상을 표시하여 주는 디스플레이부 및 사용자의 얼굴에 부착할 수 있도록 하는 안경다리를 포함하여 구성되는 증강현실글라스에 있어서, 상기 증강현실글라스는,In order to achieve the above object, the present invention is arranged in the augmented reality glass comprising a display unit that is disposed in front of the user's eyes and displays a virtual image, and an eyeglass leg that can be attached to the user's face. , The augmented reality glasses,
전원을 공급하는 전원공급부; 상기 증강현실글라스의 움직임을 감지하는 움직임감지센서; 상기 움직임감지센서에 의한 신호에 기초하여 상기 전원공급부의 전원을 차단 또는 공급하는 제어부를 포함하는 것을 특징으로 하는 움직임감지 증강현실글라스를 제공한다.A power supply unit that supplies power; A motion detection sensor that detects the motion of the augmented reality glass; It provides a motion detection augmented reality glass characterized in that it comprises a control unit for cutting off or supplying power to the power supply based on the signal by the motion detection sensor.
상기 제어부는 상기 움직임감지센서에 의한 회전각도를 측정하고 타이머에 의해 상기 회전각도의 회전속도를 측정하며, 상기 회전각도 및 회전속도에 기초하여 상기 전원공급부의 전원을 차단 또는 공급하는 것이 바람직하다.Preferably, the control unit measures the rotation angle by the motion detection sensor, measures the rotation speed of the rotation angle by a timer, and cuts or supplies power to the power supply unit based on the rotation angle and rotation speed.
본 발명은 또한, 사용자의 눈 전방에 배치되어 가상의 영상을 표시하여 주는 디스플레이부 및 사용자의 얼굴에 부착할 수 있도록 하는 안경다리를 포함하여 구성되는 증강현실글라스에 있어서, 상기 증강현실글라스는,The present invention is also provided in the augmented reality glass comprising a display part that is disposed in front of the user's eyes to display a virtual image and a leg that can be attached to the user's face, wherein the augmented reality glass,
전원을 공급하는 전원공급부; 상기 증강현실글라스의 움직임을 감지하는 움직임감지센서; 상기 움직임감지센서에 의한 신호에 기초하여 상기 디스플레이부에 의한 객체를 선택하는 제어부를 포함하는 것을 특징으로 하는 움직임감지 증강현실글라스를 제공한다.A power supply unit that supplies power; A motion detection sensor that detects the motion of the augmented reality glass; It provides a motion detection augmented reality glass comprising a control unit for selecting an object by the display unit based on the signal by the motion detection sensor.
상기 제어부는 상기 움직임감지센서에 의한 회전각도를 측정하고 타이머에 의해 상기 회전각도의 회전속도를 측정하며, 상기 회전각도 및 회전속도에 기초하여 상기 객체를 선택하는 것이 바람직하다.Preferably, the control unit measures the rotation angle by the motion sensor, measures the rotation speed of the rotation angle by a timer, and selects the object based on the rotation angle and rotation speed.
또한, 상기 제어부는 상기 회전각도 및 회전속도를 측정하여 복원움직임인지를 판단하고, 복원움직임으로 판단되었을 경우 상기 회전각도의 방향에 따라 객체의 선택방향을 판단하는 것이 바람직하다.In addition, the control unit preferably measures the rotation angle and rotation speed to determine whether the motion is restoring, and if it is determined to be the restoring motion, it is preferable to determine the object selection direction according to the direction of the rotation angle.
그리고, 상기 제어부는 상기 회전각도의 방향과 다른 방향의 복원움직임이 감지되었을 경우 해당 객체를 선택하는 것으로 판단하는 것이 바람직하다.In addition, it is preferable that the controller determines that the corresponding object is selected when a restoration motion in a direction different from the direction of the rotation angle is detected.
본 발명에 의하면, 양손을 사용하고 있더라도 손을 댈 필요없이 원하는 제어를 할 수 있으므로 매우 편리하고 정확하게 증강현실글라스를 제어할 수 있는 장점이 있다.According to the present invention, even if both hands are used, the desired control can be performed without having to touch the hand, so there is an advantage that the augmented reality glass can be controlled very conveniently and accurately.
도 1은 종래기술에 의한 증강현실글라스의 사용예를 나타내는 예시도;
도 2는 본 발명에 의한 움직임감지 증강현실글라스의 구성을 나타내는 구성도;
도 3은 본 발명에 의한 움직임감지 증강현실글라스를 이용한 작동과정을 나타내는 순서도;
도 4a 및 도 4b는 본 발명에 의한 메뉴선택과정을 설명하기 위한 예시도.1 is an exemplary view showing an example of use of augmented reality glasses according to the prior art;
Figure 2 is a block diagram showing the configuration of the motion detection augmented reality glasses according to the present invention;
Figure 3 is a flow chart showing the operation process using the motion detection augmented reality glasses according to the present invention;
4A and 4B are exemplary views for explaining a menu selection process according to the present invention.
본 발명의 실시예의 구성 및 작용에 대하여 첨부한 도면을 참조하여 상세하게 설명한다.The configuration and operation of the embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 2를 참조하면, 본 발명에 의한 움직임감지 증강현실글라스는 디스플레이부(100), 전원공급부(200), 동공감지부(300), 움직임감지센서(400), 제어부(500), 저장부(600)를 포함하여 구성된다.Referring to FIG. 2, the motion detection augmented reality glass according to the present invention includes a
상기 디스플레이부(100)는 안경알 형태로 제작되어 사용자의 눈 전방에 배치되는 부분으로서, 사용자로 하여금 실제 물건과 더불어 관련된 영상을 볼 수 있도록 해준다.The
상기 디스플레이부(100)는 LCD 프로젝터 방식 또는 OLED 도파관 방식 등 여러가지 형태로 구성될 수 있다. 즉, 상기 디스플레이부는 투명 또는 반투명 매트릭스 디스플레이를 포함할 수 있으며, 상기 매트릭스 디스플레이를 구동하기 위해 대응하는 디스플레이 드라이버가 안경다리와 같은 글라스프레임 내에 배치될 수 있다. 이로써 전방의 실제물체들이 투사되는 동시에 프로젝터로부터 제공된 영상이 투사되어 가상현실과 실제 세계가 동시에 보여지는 증강현실이 구현될 수 있다.The
상기 전원공급부(200)는 디스플레이부를 비롯한 각 부분에 전원을 공급하는 역할을 한다. 상기 전원공급부(200)는 배터리 및 복수 개의 배선부를 포함할 수 잇으며, 상기 배터리는 비충전식 또는 충전식 배터리가 사용될 수 있다. 또한, 충전식 배터리의 경우 휴대단말용 유선충전기와 연결하여 충전시킬 수 있다.The
상기 동공감지부(300)는 사용자의 동공의 움직임을 감지할 수 있으며, 동시에 눈의 깜빡거림을 감지할 수 있다.The
상기 움직임감지센서(400)는 안경다리와 같은 프레임에 배치될 수 있으며, 3축 가속도센서, 자이로센서 등을 포함할 수 있다.The
상기 3축 가속도센서는 공간상에서 증강현실 글라스가 움직이는 속도를 감지할 수 있으며, 상기 자이로센서는 증강현실 글라스의 각도변화를 측정할 수 있도록 하여 준다.The three-axis acceleration sensor can sense the speed at which the augmented reality glass moves in space, and the gyro sensor allows the angle change of the augmented reality glass to be measured.
상기 저장부(600)는 사용자에게 표시해 줄 이미지 파일 등이 저장되며, 내부 메모리 또는 외장 메모리를 포함할 수 있다.The
상기 제어부(500)는 전원소비를 최소화하기 위한 관리를 하며, 또한 사용자의 움직임을 인식하여 필요한 부분의 제어를 한다.The
구체적으로, 사용자가 본 실시예에 의한 증강현실 글라스를 착용한 상태에서 정면을 바라보고 있다가 고개를 오른쪽으로 돌리는 경우 움직임감지센서(400)에서는 증강현실 글라스의 회전운동을 감지한다.Specifically, when the user is looking at the front while wearing the augmented reality glass according to the present embodiment and turning the head to the right, the
즉, 상기 움직임감지센서(400)는 증강현실 글라스의 회전각도 및 회전방향을 측정하며, 이와 함께 타이머가 가동되어 회전속도가 함께 측정된다. 이와 함께, 제어부에서는 상기 움직임이 복원움직임인지 판단한다. That is, the
상기 복원움직임은 움직임이 끝났다고 판단되는 경우 움직임이 끝난 위치가 처음 움직임이 시작된 위치에 증강현실 글라스가 위치해 있는지를 판단하여 상기 움직임이 끝난 위치가 일정범위 내에 있으면 제어부에서는 상기 움직임을 복원움직임으로 판단한다.The restoration motion determines whether the augmented reality glass is located at the position where the motion has started when the motion is over, if it is determined that the motion has ended, and if the position where the motion is over is within a certain range, the controller determines the motion to be the restoration motion .
제어부에서 복원움직임으로 판단된 경우 상기 제어부에서는 해당 복원움직임을 분석하여 상기 복원움직임에 대응하는 동작을 수행하게 된다.When it is determined that the controller is restoring motion, the controller analyzes the restoring motion and performs an operation corresponding to the restoring motion.
즉, 본 실시예에서 증강현실 글라스가 오른쪽으로 3°이상 회전하고, 곧바로 왼쪽으로 3°이상 회전하였다고 분석된 경우 제어부에서는 전원공급부를 제어하여 전원을 차단시킨다. 상기 움직임은 정면을 바라본 상태에서 사용자가 오른쪽으로 3°이상 고개를 돌렸다가 곧바로 왼쪽으로 3°이상 고개를 돌린 후 다시 정면으로 바라본 상태이다. 상기 3°는 회전인식각으로서, 저장부에 저장될 수 있으며, 사용자에 의해 회전인식각을 설정변경할 수 있도록 하는 것이 바람직하다.That is, in the present embodiment, when it is analyzed that the augmented reality glass rotates more than 3° to the right and immediately rotates more than 3° to the left, the controller controls the power supply to cut off the power. The movement is a state in which the user turns his or her head more than 3° to the right while looking at the front, and then directly turns his or her head more than 3° to the left and then looks back to the front. The 3° is a rotation recognition angle, which can be stored in the storage unit, and it is preferable to allow the user to change the rotation recognition angle setting.
다른 실시예로, 제어부에서는 자이로센서에 의해 회전인식각을 측정하지 않고 가속도센서를 이용할 수도 있다. 이때, 상기 가속도센서에 의해 움직임이 복원움직임이고 가속도의 방향이 전환되는 경우(+에서 - 또는 -에서 +로) 해당 동작을 수행하게 할 수도 있다.In another embodiment, the control unit may use an acceleration sensor without measuring the rotation recognition angle by the gyro sensor. At this time, when the motion is restored by the acceleration sensor and the direction of acceleration is switched (+ to-or-to +), the corresponding operation may be performed.
또 다른 실시예로, 상기 가속도센서에 의해 가속도의 방향이 일정시간 이내에 일정 횟수 이상으로 전환되는 경우 제어부에서는 복원움직임으로 판단하고 대응하는 동작을 수행하게 할 수 있다.In another embodiment, when the direction of the acceleration is switched to a predetermined number of times or more within a predetermined time by the acceleration sensor, the controller may determine that it is a restoration motion and perform a corresponding operation.
여기서, 제어부에서는 처음 정면을 바라본 위치에서 일정 움직임속도 이상으로 움직인 경우 움직임이 시작되었다고 판단하며, 일정 움직임속도 미만으로 움직인 경우에는 움직임이 시작되었다고 판단하지 않는다. 또한, 제어부에서는 움직임속도 미만으로 된 위치를 마지막위치로 검출하고, 처음 움직임속도가 시작된 위치에서 일정 복원각도 내에서 마지막위치가 감지된 경우 복원움직임으로 판단한다. 상기 마지막위치가 복원각도를 벗어난 경우 제어부에서는 복원움직임으로 판단하지 않고 대기상태로 전환시킨다.Here, the control unit determines that the movement has started when it moves at a predetermined movement speed or higher from the position in front of the front, and if it moves below a certain movement speed, it does not determine that the movement has started. In addition, the control unit detects the position below the motion speed as the last position, and determines that the motion is restored when the last position is detected within a certain restoration angle from the position where the first motion speed started. If the last position is out of the restoration angle, the control unit does not judge the restoration motion, but switches to the standby state.
복원움직임으로 판단되어 전원공급부를 차단시킬때, 상기 제어부에서는 전원을 완전히 차단시키는 것이 아니라, 증강현실 글라스를 슬립(sleep) 상태로 전환시킬 수 있다. 상기 슬립 상태란 내부 부품인 CPU 등의 제어칩, 센서 등에는 전원이 공급되는 상태이지만 외부의 사용자가 직접적으로 느끼는 디스플레이부 등의 전원은 차단된 상태이다. When it is determined that the motion is restored, when the power supply is cut off, the control unit may switch the augmented reality glass into a sleep state instead of completely shutting off the power. The sleep state is a state in which power is supplied to a control chip, a sensor, such as a CPU, which is an internal component, but the power to the display unit, which is directly felt by an external user, is cut off.
상기 증강현실 글라스가 슬립 상태에 있는 경우 제어부에서 상기한 복원움직임을 감지한 경우 제어부에서는 디스플레이부에 전원을 공급하여 슬립 상태를 해제하고 완전히 전원을 공급하는 동작으로 제어할 수 있다.When the augmented reality glass is in the sleep state, when the control unit detects the above-described restoring motion, the control unit may control the operation by supplying power to the display unit to release the sleep state and completely supplying power.
한편, 도 4a 및 도 4b를 참조하면, 상기 디스플레이부(100)에서는 여러가지 메뉴를 표시하여 줄 수 있으며, 사용자에게 입력을 받아 대응하는 영상을 다시 표시해 준다.Meanwhile, referring to FIGS. 4A and 4B, various menus may be displayed on the
이때, 움직임감지센서(400)는 증강현실 글라스의 움직임을 감지하며, 제어부에서는 회전각도 및 방향, 회전속도를 기초로 하여 객체 중 하나를 선택하게 된다. 상기 객체는 선택할 수 있는 대상으로서, 각종 메뉴나 인식센서에 의해 인식된 물건 등이 객체가 될 수 있다.At this time, the
도 4a를 참조하면, 현재 "타이밍벨트교환"이 선택되어 있는 상태에서 증강현실 글라스가 오른쪽으로 일정 움직임속도 이상으로 3°이상 회전하고, 곧바로 처음위치 범위인 복원각도 내로 돌아온 경우 제어부에서는 복원움직임으로 판단하고 움직임을 분석한다. Referring to FIG. 4A, when the “Timing Belt Exchange” is currently selected, the augmented reality glass rotates to the right by more than 3° above a certain movement speed, and immediately returns to within the restoration angle, which is the initial position range. Judge and analyze movement.
다른 예로, 상기 복원움직임은 가속도센서를 이용하여 가속도센서로 측정된 가속도값이 일정 크기 이상이고 일정 횟수(예를 들어 2회) 이상으로 전환되는 경우 제어부에서는 복원움직임으로 판단할 수 있다.As another example, if the acceleration value measured by the acceleration sensor is greater than or equal to a certain size and is switched over a certain number of times (for example, 2 times) using the acceleration sensor, the restoration motion may be determined as the restoration motion.
상기 제어부는 움직임센서에 의해 감지된 회전각도 및 회전속도를 이용하여 상기 움직임이 복원움직임인지 판단하고, 복원움직임이라고 판단된 경우 회전각도의 방향에 따라 상기 방향에 가장 인접한 객체를 선택하게 된다.The control unit determines whether the movement is a restorative motion using the rotation angle and rotation speed sensed by the motion sensor, and when it is determined that the motion is restorative motion, selects the object closest to the direction according to the direction of the rotation angle.
즉, 도 4b와 같이, 제어부에서는 상기 움직임을 사용자가 오른쪽으로 고개를 돌린 것으로 판단하고 메뉴선택을 "타이밍벨트교환"에서 오른쪽에 인접한 "미션오일교환"으로 변경시킨다.That is, as shown in FIG. 4B, the controller determines that the user has turned his head to the right and changes the menu selection from "Timing Belt Exchange" to "Mission Oil Exchange" adjacent to the right.
이후, 증강현실 글라스가 상방향으로 4°이상 회전하고, 곧바로 하방향으로 4°이상 회전하였다고 분석된 경우 제어부에서는 선택된 메뉴가 확정된 것으로 판단하고 선택된 메뉴에 대응하는 다음 영상을 표시하여 준다.Subsequently, when it is analyzed that the augmented reality glass rotates 4° or more in the upward direction and rotates 4° or more in the downward direction, the control unit determines that the selected menu is confirmed and displays the next image corresponding to the selected menu.
상기 움직임은 정면을 바라본 상태에서 사용자가 위쪽으로 4°이상 고개를 돌렸다가 곧바로 아래쪽으로 4°이상 고개를 돌린 후 다시 정면으로 바라본 상태이다. The movement is a state in which the user turns the head more than 4° upwards while looking at the front, and then immediately turns the head more than 4° downwards and then looks back.
즉, 상기 제어부에서는 객체선택의 움직임(도 4a 및 도 4b에서 좌우 움직임)방향 과 다른 방향(본 실시예에서 위아래방향)으로 복원움직임이 감지되었을 경우 해당 객체의 선택이 확정된 것으로 판단한다.That is, the control unit determines that the selection of the corresponding object is determined when the restoration motion is detected in a direction different from the direction of the object selection movement (left and right movement in FIGS. 4A and 4B) (up and down in this embodiment).
한편, 다른 실시예로서, 상기 해당 객체 선택확정은 동공감지부(300)에 의해 수행될 수 있다. 상기 동공감지부(300)는 카메라모듈 및 시선추적 알고리즘 수행 프로세서를 포함할 수 있으며, 상기 카메라모듈은 사용자 안구의 움직임 정보를 획득할 수 있다.Meanwhile, as another embodiment, the object selection determination may be performed by the
상기 동공감지부에서는 오른쪽 또는 왼쪽 눈의 껌뻑임을 감지할 수 있으며, 제어부에서는 어느 한쪽 눈이 임계 확정시간 이상으로 감겼다 떠진 경우 해당 객체의 선택을 확정한 것으로 판단할 수 있다.The pupil detection unit may detect the swelling of the right or left eye, and the control unit may determine that the selection of the corresponding object is confirmed when either eye is closed for more than a threshold determination time.
또 다른 실시예로서, 상기 동공감지부(300)는 사용자 안구(특히 동공)가 움직이는 거리 및 방향에 따라 해당 객체를 선택하게 할 수 있으며, 이때, 증강현실 글라스가 상방향으로 4°이상 회전하고, 곧바로 하방향으로 4°이상 회전하였다고 분석된 경우 제어부에서는 선택된 메뉴가 확정된 것으로 판단할 수 있다.As another embodiment, the
한편, 이때에도, 가속도센서를 이용하여 가속도센서로 측정된 가속도값이 일정 크기 이상이고 일정 횟수(예를 들어 2회) 이상으로 전환되는 경우 제어부에서는 선택된 메뉴가 확정된 것으로 판단할 수도 있다.On the other hand, even in this case, when the acceleration value measured by the acceleration sensor using the acceleration sensor is greater than a certain size and is switched over a certain number of times (for example, 2 times), the controller may determine that the selected menu is confirmed.
본 발명에 의하면 양손이 자유롭지 못한 경우에도 증강현실 글라스를 제어할 수 있으므로 사용자는 더욱 편리하게 사용할 수 있다.According to the present invention, the augmented reality glass can be controlled even when both hands are not free, so the user can use it more conveniently.
상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to the embodiments of the present invention, those skilled in the art can variously modify the present invention without departing from the spirit and scope of the present invention as set forth in the claims below. You will understand that you can change it.
100 : 디스플레이부 200 : 전원공급부
300 : 동공감지부 400 : 움직임감지센서
500 : 제어부 600 : 저장부100: display unit 200: power supply unit
300: pupil detection unit 400: motion detection sensor
500: control unit 600: storage unit
Claims (7)
상기 증강현실글라스는,
전원을 공급하는 전원공급부;
상기 증강현실글라스의 움직임을 감지하는 움직임감지센서;
상기 움직임감지센서에 의한 신호에 기초하여 상기 디스플레이부에 의한 객체를 선택하는 제어부를 포함하고,
상기 제어부는,
상기 움직임감지센서에 의한 회전각도를 측정하고, 타이머에 의해 상기 회전각도의 회전속도를 측정하고, 상기 회전각도 및 회전속도에 기초하여 일정 움직임속도 이상의 움직임이 끝났다고 판단되는 경우 움직임이 끝난 위치가 처음 움직임이 시작된 위치로부터 일정범위 내에 있는 경우 복원움직임으로 판단하며, 복원움직임으로 판단된 경우 상기 회전각도의 방향에 따라 객체의 선택방향을 판단하는 것을 특징으로 하는 움직임감지 증강현실글라스.
In the augmented reality glass comprising a display unit that is disposed in front of the user's eyes to display a virtual image and a leg that can be attached to the user's face,
The augmented reality glasses,
A power supply unit that supplies power;
A motion detection sensor that detects the motion of the augmented reality glass;
It includes a control unit for selecting an object by the display unit based on the signal by the motion sensor,
The control unit,
When the rotation angle by the motion detection sensor is measured, the rotation speed of the rotation angle is measured by a timer, and when it is determined that the movement over a certain movement speed is completed based on the rotation angle and the rotation speed, the position where the movement has ended is the first time. A motion detection augmented reality glass characterized in that if it is within a predetermined range from the position where the motion is started, it is determined to be a restorative motion, and if it is determined to be a restorative motion, a selection direction of an object is determined according to the direction of the rotation angle.
상기 제어부는 상기 회전각도의 방향과 다른 방향의 복원움직임이 감지되었을 경우 해당 객체를 선택하는 것으로 판단하는 것을 특징으로 하는 움직임감지 증강현실글라스.
According to claim 3,
The control unit determines that the object is selected when a restoration motion in a direction different from the direction of the rotation angle is detected, the motion detection augmented reality glass.
움직임감지 증강현실글라스는 동공감지부를 포함하고, 상기 움직임감지센서는 가속도센서를 포함하며,
상기 동공감지부는 사용자 안구의 움직임을 추적하여 객체를 선택하고
제어부는 상기 가속도센서로 측정된 가속도 값에 기초하여 선택된 객체가 확정된 것으로 판단하는 것을 특징으로 하는 움직임감지 증강현실글라스.According to claim 3,
The motion detection augmented reality glass includes a pupil detection unit, and the motion detection sensor includes an acceleration sensor,
The pupil detection unit selects an object by tracking the movement of the user's eyeball,
The control unit determines that the selected object is determined based on the acceleration value measured by the acceleration sensor, the motion detection augmented reality glass.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170130016A KR102133219B1 (en) | 2017-10-11 | 2017-10-11 | Augmented reality glasses detecting movements |
| PCT/KR2018/002346 WO2019074169A1 (en) | 2017-10-11 | 2018-02-26 | Motion detection augmented reality glasses |
| CN201880080000.3A CN111465912A (en) | 2017-10-11 | 2018-02-26 | Augmented reality glasses with motion detection function |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170130016A KR102133219B1 (en) | 2017-10-11 | 2017-10-11 | Augmented reality glasses detecting movements |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190041048A KR20190041048A (en) | 2019-04-22 |
| KR102133219B1 true KR102133219B1 (en) | 2020-07-14 |
Family
ID=66283147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170130016A KR102133219B1 (en) | 2017-10-11 | 2017-10-11 | Augmented reality glasses detecting movements |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102133219B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190106886A (en) | 2019-08-28 | 2019-09-18 | 엘지전자 주식회사 | Electronic device |
| KR102367492B1 (en) * | 2019-11-29 | 2022-02-25 | 주식회사 카이비전 | Head motion recognition augmented reality glass |
| WO2021107527A1 (en) * | 2019-11-29 | 2021-06-03 | 주식회사 카이비전 | Multifunctional augmented reality glasses, modularized augmented reality glasses, and head motion detection augmented reality glasses |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004096224A (en) * | 2002-08-29 | 2004-03-25 | Sony Corp | Power supply control method and head mount device |
| KR101647467B1 (en) * | 2015-06-05 | 2016-08-11 | 주식회사 메드릭스 | 3d surgical glasses system using augmented reality |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6499154B2 (en) * | 2013-03-11 | 2019-04-10 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | Systems and methods for augmented and virtual reality |
| KR102070281B1 (en) * | 2013-08-26 | 2020-01-28 | 엘지전자 주식회사 | Head mount display device and control method thereof |
-
2017
- 2017-10-11 KR KR1020170130016A patent/KR102133219B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004096224A (en) * | 2002-08-29 | 2004-03-25 | Sony Corp | Power supply control method and head mount device |
| KR101647467B1 (en) * | 2015-06-05 | 2016-08-11 | 주식회사 메드릭스 | 3d surgical glasses system using augmented reality |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190041048A (en) | 2019-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110945405B (en) | Eye tracking calibration technique | |
| CN112783328B (en) | Method for providing virtual space, method for providing virtual experience, program, and recording medium | |
| EP2943835B1 (en) | Head mounted display providing eye gaze calibration and control method thereof | |
| CN109690447B (en) | Information processing method, program for causing computer to execute the information processing method, and computer | |
| ES2736966T3 (en) | Handling - without touch contact - of devices using depth sensors | |
| US10928929B2 (en) | Method for displaying a virtual interaction on at least one screen and input device, system and method for a virtual application by means of a computing unit | |
| KR102133219B1 (en) | Augmented reality glasses detecting movements | |
| Meli et al. | Combining wearable finger haptics and augmented reality: User evaluation using an external camera and the microsoft hololens | |
| CN108027987B (en) | Information processing method, information processing apparatus, and information processing system | |
| JP6189497B1 (en) | Method for providing virtual space, method for providing virtual experience, program, and recording medium | |
| JP6157703B1 (en) | Information processing method, program for causing computer to execute information processing method, and computer | |
| US10459234B2 (en) | Controlling a head-mounted display system in low power situations | |
| CN111465912A (en) | Augmented reality glasses with motion detection function | |
| KR102162922B1 (en) | Virtual reality-based hand rehabilitation system with haptic feedback | |
| JP6964302B2 (en) | Animation production method | |
| JP2022025467A (en) | Animation creation system | |
| KR20190098892A (en) | Augmented reality glasses having advanced power efficiency | |
| JP6941130B2 (en) | Information processing method, information processing program and information processing device | |
| JP2018014110A (en) | Method for providing virtual space, method for providing virtual experience, program and recording medium | |
| Hale et al. | Sticky hands interaction with an anthropomorphic robot | |
| Kuo et al. | Human interface and control of a robotic endoscope holder based on an AR approach | |
| WO2021059356A1 (en) | Animation production system | |
| JP6290493B2 (en) | Information processing method, program for causing computer to execute information processing method, and computer | |
| CN207457605U (en) | Visible display device | |
| JP2008061695A (en) | Visual acuity measurement method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |