KR20220170216A - Smart glasses for preventing drowsiness and enhancing concentration - Google Patents

Smart glasses for preventing drowsiness and enhancing concentration Download PDF

Info

Publication number
KR20220170216A
KR20220170216A KR1020210080994A KR20210080994A KR20220170216A KR 20220170216 A KR20220170216 A KR 20220170216A KR 1020210080994 A KR1020210080994 A KR 1020210080994A KR 20210080994 A KR20210080994 A KR 20210080994A KR 20220170216 A KR20220170216 A KR 20220170216A
Authority
KR
South Korea
Prior art keywords
luminance
iris
iris image
glasses
smart glasses
Prior art date
Application number
KR1020210080994A
Other languages
Korean (ko)
Other versions
KR102511785B1 (en
Inventor
장덕환
Original Assignee
장덕환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 장덕환 filed Critical 장덕환
Priority to KR1020210080994A priority Critical patent/KR102511785B1/en
Publication of KR20220170216A publication Critical patent/KR20220170216A/en
Application granted granted Critical
Publication of KR102511785B1 publication Critical patent/KR102511785B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0022Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the tactile sense, e.g. vibrations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0072Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus with application of electrical currents
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0083Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus especially for waking up
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • A61M2205/502User interfaces, e.g. screens or keyboards
    • A61M2205/507Head Mounted Displays [HMD]

Abstract

The present invention relates to smart glasses. According to one aspect of the present invention, provided are the smart glasses implemented in glasses consisting of a frame of glasses fixing a lens and a pair of legs of glasses hinged to the frame of glasses. The smart glasses comprises: a first macro camera disposed on the left side of the frame of glasses and generating a left eye iris image; a second macro camera disposed on the right side of the frame of glasses and generating a right eye iris image; a power source disposed on either or both of the pair of legs of glasses; a stimulation module disposed on one of the pair of legs of glasses and applying stimulation to a user according to a stimulation application signal; a processor calculating iris luminance by using one or both of the left eye iris image and the right eye iris image; and a detachment detection sensor detecting wearing by the user and controlling the power source to supply driving power. The smart glasses according to an embodiment of the present invention can maintain the concentration of the user by measuring the state of the user and providing appropriate feedback according to the measured state.

Description

졸음 방지 및 집중력 강화를 위한 스마트 안경{Smart glasses for preventing drowsiness and enhancing concentration}Smart glasses for preventing drowsiness and enhancing concentration}

본 발명은 스마트 안경에 관한 것이다.The present invention relates to smart glasses.

최근 들어, 합리적인 가격의 스마트 글라스가 시장에 공개되고 있다. 스마트 글라스는 가상현실뿐 아니라 증강현실을 지원하는 개인용 디스플레이이다. 착용 상태에서, 사용자의 시선을 추적하는 기능을 갖춘 스마트 글라스도 공개되었다. 이러한 스마트 글라스는 고가일 뿐 아니라 활용 분야도 아직까지는 제한적이다.Recently, reasonably priced smart glasses are being released to the market. Smart glasses are personal displays that support augmented reality as well as virtual reality. Smart glasses with a function of tracking the user's gaze while worn were also released. These smart glasses are not only expensive, but their applications are still limited.

한국 공개특허공보 제10-2009-0092642호Korean Patent Publication No. 10-2009-0092642

본 발명은 사용자의 상태를 측정하며, 측정된 상태에 따라 적절한 피드백을 제공함으로써, 사용자의 집중력을 유지시킬 수 있는 스마트 안경을 제공하고자 한다.An object of the present invention is to provide smart glasses capable of maintaining the user's concentration by measuring the user's state and providing appropriate feedback according to the measured state.

본 발명의 일 측면에 따르면, 렌즈를 고정하는 안경테 프레임 및 상기 안경테 프레임에 힌지 결합된 한 쌍의 안경 다리로 구성된 안경에 구현된 스마트 안경이 제공된다. 스마트 안경은, 상기 안경테 프레임의 좌측에 배치되어 좌안 홍채 영상을 생성하는 제1 접사 카메라, 상기 안경테 프레임의 우측에 배치되어 우안 홍채 영상을 생성하는 제2 접사 카메라, 상기 한 쌍의 안경 다리 중 어느 하나 또는 모두에 배치된 전원, 상기 한 쌍의 안경 다리 중 어느 하나에 배치되며 자극 인가 신호에 따라 상기 사용자에게 자극을 인가하는 자극 모듈, 상기 좌안 홍채 영상 및 상기 우안 홍채 영상 중 어느 하나 또는 모두를 이용하여 홍채 휘도량을 산출하는 프로세서 및 상기 사용자에 의한 착용을 검출하여 상기 전원이 구동 전력을 공급하도록 제어하는 착탈 감지 센서를 포함할 수 있다. According to one aspect of the present invention, there are provided smart glasses embodied in glasses composed of a spectacle frame fixing lenses and a pair of spectacle legs hinged to the spectacle frame frame. The smart glasses may be any one of a first macro camera disposed on the left side of the spectacle frame to generate an iris image for the left eye, a second macro camera disposed on the right side of the spectacle frame to generate an iris image for the right eye, and the pair of temples. A power source disposed on one or both, a stimulation module disposed on any one of the pair of temples and applying a stimulus to the user according to a stimulus application signal, and any one or both of the left eye iris image and the right eye iris image It may include a processor that calculates the luminance of the iris using the iris luminance and a detachable detection sensor that detects wearing by the user and controls the power source to supply driving power.

일 실시예로, 근거리 통신을 통해 상기 홍채 휘도량을 외부 전자 기기로 전송하며, 상기 자극 인가 신호를 상기 외부 전자 기기로부터 수신하는 근거리 통신모듈을 더 포함하되, 상기 자극 인가 신호는, 상기 홍채 휘도량이 기준 휘도량 이하일 때 생성될 수 있다.As an embodiment, a short-range communication module for transmitting the iris luminance to an external electronic device through short-range communication and receiving the stimulus-applying signal from the external electronic device, wherein the stimulus-applying signal corresponds to the iris luminance It may be generated when the amount is less than or equal to the reference luminance amount.

일 실시예로, 상기 좌안 홍채 영상 및 상기 우안 홍채 영상은 상이한 해상도를 갖는 제1 홍채 영상 및 제2 홍채 영상을 포함하되, 상기 제1 홍채 영상은 상기 제2 홍채 영상보다 상대적으로 높은 해상도를 가지며, 그대로 상기 외부 전자 기기로 전송되며, 상기 제2 홍채 영상은 상기 홍채 휘도량 산출에 이용될 수 있다. In one embodiment, the left eye iris image and the right eye iris image include a first iris image and a second iris image having different resolutions, wherein the first iris image has a relatively higher resolution than the second iris image , is transmitted to the external electronic device as it is, and the second iris image can be used to calculate the amount of iris luminance.

일 실시예로, 상기 프로세서는 상기 홍채 휘도량을 기준 휘도량과 비교하여 상기 기준 휘도량 이하이면 상기 자극 인가 신호를 생성할 수 있다.In an embodiment, the processor may compare the iris luminance with a reference luminance and generate the stimulus application signal when the iris luminance is less than or equal to the reference luminance.

일 실시예로, 상기 프로세서는 클럭 휴면 상태가 반복되는 구동 클럭을 상기 제1 접사 카메라 및 상기 제2 접사 카메라에 제공할 수 있다.In an embodiment, the processor may provide a driving clock in which a clock idle state is repeated to the first close-up camera and the second close-up camera.

일 실시예로, 상기 제1 접사 카메라 및 상기 제2 접사 카메라는 회동 가능하게 상기 안경테 프레임에 결합될 수 있다.In one embodiment, the first close-up camera and the second close-up camera may be rotatably coupled to the eyeglass frame.

일 실시예로, 상기 자극 모듈 및 상기 착탈 감지 센서는 상기 한 쌍의 안경 다리의 귀걸이 부분에 각각 배치될 수 있다.In one embodiment, the stimulation module and the detachable detection sensor may be respectively disposed on the earring part of the pair of temples.

일 실시예로, 상기 홍채 휘도량은, 홍채를 나타내는 휘도값을 갖는 화소의 개수가 기준값 이상으로 수평 방향으로 연속되는 수평 라인의 개수일 수 있다.In one embodiment, the iris luminance may be the number of horizontal lines in which the number of pixels having luminance values representing the iris is greater than or equal to a reference value and continues in a horizontal direction.

본 발명의 다른 측면에 따르면, 렌즈를 고정하는 안경테 프레임 및 상기 안경테 프레임에 힌지 결합된 한 쌍의 안경 다리로 구성된 안경에 착탈가능한 스마트 안경이 제공된다. 스마트 안경은, 상기 한 쌍의 안경 다리 중 좌측 안경 다리에 착탈 가능하게 고정되고, 회동 가능한 제1 접사 카메라로 좌안 홍채 영상을 생성하고, 상기 좌안 홍채 영상을 이용하여 좌안 홍채 휘도량을 산출하며, 산출한 좌안 홍채 휘도량을 외부 전자 기기로 전송하는 제1 스마트 모듈 및 상기 한 쌍의 안경 다리 중 우측 안경 다리에 착탈 가능하게 고정되고, 회동 가능한 제2 접사 카메라로 우안 홍채 영상을 생성하고, 상기 우안 홍채 영상을 이용하여 우안 홍채 휘도량을 산출하며, 산출한 우안 홍채 휘도량을 외부 전자 기기로 전송하는 제2 스마트 모듈을 포함하되, 상기 외부 전자 기기는, 상기 좌안 홍채 휘도량 및 상기 우안 홍채 휘도량 중 어느 하나 또는 모두를 기준 휘도량과 비교하여 상기 기준 휘도량 이하이면 자극 인가 신호를 상기 제1 스마트 모듈로 전송하며, 상기 자극 인가 신호를 수신하면, 상기 제1 스마트 모듈은 사용자에게 자극을 인가할 수 있다. According to another aspect of the present invention, there are provided smart glasses detachable to glasses composed of an eyeglass frame for fixing lenses and a pair of eyeglass legs hinged to the eyeglass frame. The smart glasses are detachably fixed to the left temple of the pair of temples, generate a left eye iris image with a rotatable first macro camera, and calculate a left eye iris luminance using the left eye iris image, A right eye iris image is generated with a first smart module that transmits the calculated left eye iris luminance to an external electronic device and a second close-up camera detachably fixed to the right temple of the pair of temples and rotatable, A second smart module for calculating right eye iris luminance using the right eye iris image and transmitting the calculated right eye iris luminance to an external electronic device, wherein the left eye iris luminance and the right eye iris luminance Any one or both of the luminance amounts are compared with the reference luminance amount, and if the luminance amount is less than or equal to the reference luminance amount, a stimulus applying signal is transmitted to the first smart module, and upon receiving the stimulus applying signal, the first smart module provides the user with a stimulus. can be authorized.

본 발명의 실시예에 따른 스마트 안경은, 사용자의 상태를 측정하며, 측정된 상태에 따라 적절한 피드백을 제공함으로써, 사용자의 집중력을 유지시킬 수 있다.Smart glasses according to an embodiment of the present invention can maintain the user's concentration by measuring the user's state and providing appropriate feedback according to the measured state.

이하에서, 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다. 특히, 첨부된 도면들은, 발명의 이해를 돕기 위해서, 일부 구성 요소를 다소 과장하여 표현하고 있다. 도면은 발명을 이해하기 위한 수단이므로, 도면에 표현된 구성 요소의 폭이나 두께 등은 실제 구현시 달라질 수 있음을 이해하여야 한다.
도 1은 홍채 인식을 통해 사용자의 집중력 저하를 검출하는 원리를 예시적으로 도시한 도면이다.
도 2는 도 1에 예시된 원리가 적용된 졸음 방지 및 집중력 강화를 위한 스마트 안경의 일 실시예를 예시적으로 도시한 도면이다.
도 3은 도 2에 예시된 졸음 방지 및 집중력 강화를 위한 스마트 안경을 기능적으로 도시한 도면이다.
도 4는 졸음 방지 및 집중력 강화를 위한 스마트 안경의 동작을 예시적으로 도시한 도면이다.
도 5는 도 1에 예시된 원리가 적용된 졸음 방지 및 집중력 강화를 위한 스마트 안경의 다른 실시예를 예시적으로 도시한 도면이다.
도 6은 도 5에 예시된 졸음 방지 및 집중력 강화를 위한 스마트 안경을 기능적으로 도시한 도면이다.
Hereinafter, the present invention will be described with reference to embodiments shown in the accompanying drawings. For ease of understanding, like reference numerals have been assigned to like elements throughout the accompanying drawings. The configurations shown in the accompanying drawings are only exemplary implementations to explain the present invention, and are not intended to limit the scope of the present invention thereto. In particular, in the accompanying drawings, in order to help understanding of the invention, some components are somewhat exaggerated. Since the drawings are means for understanding the invention, it should be understood that the width or thickness of components represented in the drawings may vary in actual implementation.
1 is a diagram exemplarily illustrating a principle of detecting a decrease in concentration of a user through iris recognition.
FIG. 2 exemplarily illustrates an embodiment of smart glasses for preventing drowsiness and enhancing concentration to which the principle illustrated in FIG. 1 is applied.
FIG. 3 is a view functionally illustrating the smart glasses for preventing drowsiness and enhancing concentration illustrated in FIG. 2 .
4 is a diagram illustrating an operation of smart glasses for preventing drowsiness and enhancing concentration by way of example.
5 is a diagram exemplarily illustrating another embodiment of smart glasses for preventing drowsiness and enhancing concentration to which the principle illustrated in FIG. 1 is applied.
6 is a view functionally illustrating the smart glasses for preventing drowsiness and enhancing concentration illustrated in FIG. 5 .

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 특히, 이하에서 첨부된 도면을 참조하여 설명될 기능, 특징, 실시예들은, 단독으로 또는 다른 실시예와 결합하여 구현될 수 있다. 따라서 본 발명의 범위가 첨부된 도면에 도시된 형태에만 한정되는 것이 아님을 유의하여야 한다.Since the present invention can have various changes and various embodiments, specific embodiments are illustrated in the drawings and will be described in detail through detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In particular, the functions, features, and embodiments described below with reference to the accompanying drawings may be implemented alone or in combination with other embodiments. Therefore, it should be noted that the scope of the present invention is not limited only to the forms shown in the accompanying drawings.

한편, 본 명세서에서 사용되는 용어 중 “실질적으로”, “거의”, “약” 등과 같은 표현은 실제 구현시 적용되는 마진이나 발생가능한 오차를 고려하기 위한 표현이다. 예를 들어, “실질적으로 90도”는 90도일 때의 효과와 동일한 효과를 기대할 수 있는 각도까지 포함하는 의미로 해석되어야 한다. 다른 예로, “거의 없는”은 무엇인가가 미미하게 존재하더라도 무시할 수 있는 정도까지 포함하는 의미로 해석되어야 한다.Meanwhile, among terms used in this specification, expressions such as “substantially”, “almost”, and “about” are expressions for considering margins applied in actual implementation or possible errors. For example, "substantially 90 degrees" should be interpreted as meaning including an angle at which the same effect as that of 90 degrees can be expected. As another example, “almost none” should be interpreted to include a negligible degree of negligible presence even if something is insignificant.

한편, 특별한 언급이 없는 한, “측면”, 또는 “수평”은 도면의 좌우 방향을 언급하기 위한 것이며, “수직”은 도면의 상하 방향을 언급하기 위한 것이다. 또한, 특별히 정의되지 않는 한, 각도, 입사각 등은 도면에 표시된 수평면에 수직한 가상의 직선을 기준으로 한다. On the other hand, unless otherwise specified, "side" or "horizontal" refers to the left-right direction of the drawing, and "vertical" refers to the top-down direction of the drawing. In addition, unless otherwise specifically defined, angles, incident angles, etc. are based on a virtual straight line perpendicular to the horizontal plane shown in the drawings.

동일한 구성 요소는 도면 전체에 걸쳐 동일한 도면 번호를 이용하여 참조된다. Like elements are referred to using like reference numbers throughout the drawings.

도 1은 홍채 인식을 통해 사용자의 집중력 저하를 검출하는 원리를 예시적으로 도시한 도면이다.1 is a diagram exemplarily illustrating a principle of detecting a decrease in concentration of a user through iris recognition.

사용자, 특히, 학생은 하루에 많은 시간을 수업이나 자습 등 학습에 투자한다. 학습 효과를 높이기 위해서, 일정 수준 이상의 집중력이 학습 시간 동안 유지되는 것이 바람직하다. 하지만, 학습 시간 내내 사용자의 노력만으로 집중력을 일정 수준 이상으로 유지하기는 어렵다. 유사한 상황은 운전자에게도 발생한다. 장시간 운전으로 피곤하게 되면, 자신도 모르게 졸음 운전을 하게 된다. 따라서 사용자의 집중력을 측정하고, 정량적으로 평가하여 사용자에게 피드백을 줄 필요가 있다.Users, especially students, spend a lot of time a day studying, such as classes or self-study. In order to increase the learning effect, it is desirable that a certain level of concentration or higher be maintained during the learning time. However, it is difficult to maintain concentration at a certain level or higher only through the user's efforts throughout the learning period. A similar situation occurs with drivers. If you get tired from driving for a long time, you may become drowsy driving without realizing it. Therefore, it is necessary to measure the user's concentration, evaluate it quantitatively, and give feedback to the user.

사용자의 집중력 수준은, 눈을 다양한 방식으로 측정하여 결정될 수 있다. The user's concentration level may be determined by measuring the eyes in various ways.

먼저, 사용자의 상태에 따라 홍채에 반사된 빛의 밝기(이하 홍채 휘도량)가 달라진다는 점을 이용하여, 달라질 수 있다. 집중력이 일정 수준 이상인 경우, 홍채의 면적은 최대일 있다. 반면, 사용자가 졸리거나 피곤하다고 느끼면, 눈꺼풀에 의해 홍채의 일부가 가려지기 시작하며, 그 정도가 커질수록 더 많은 영역이 눈꺼풀에 의해 가려지게 된다. 사용자의 상태가 졸리거나 피곤해질수록 집중력이 저하된다고 간주할 수 있다. 따라서, 홍채 휘도량은 사용자의 집중력을 측정하는 기준으로 활용할 수 있다. 예를 들어, 초기 정상 상태(10a, 12a)일 때, 사용자의 홍채에서 발생되는 홍채 휘도량을 100으로 지정하고, 홍채 휘도량이 정상대비 30~60% 일때는 피곤상태(10b, 12b), 홍채 휘도량이 정상대비 30% 이하면 졸음상태(10c, 12c)로 구분할 수 있다. First, the brightness of the light reflected by the iris (hereinafter referred to as iris luminance) varies according to the user's condition, so that it can be changed. When the concentration is above a certain level, the area of the iris may be maximized. On the other hand, when the user feels sleepy or tired, a portion of the iris starts to be covered by the eyelids, and as the degree increases, more areas are covered by the eyelids. It may be considered that concentration decreases as the user becomes sleepy or tired. Therefore, the iris luminance can be used as a criterion for measuring the user's concentration. For example, in the initial normal state (10a, 12a), the iris luminance generated by the user's iris is set to 100, and when the iris luminance is 30 to 60% of the normal state, the iris in the tired state (10b, 12b), iris If the luminance is 30% or less compared to normal, it can be classified as a drowsy state (10c, 12c).

도 1을 참조하면, 홍채 휘도량은, 예를 들어, 히스토그램 방식, 라인 카운트 방식에 의해 측정될 수 있다. 홍채를 포함한 영상(이하 홍채 영상)은 카메라에 의해 생성될 수 있다. 홍채 영상에서, 화소는, 휘도(Y 값)를 포함하는 화소 성분, 예를 들어, YUV로 정의되거나, 휘도값으로 변환 가능한 화소 성분, 예를 들어, RGB로 정의될 수 있다. 홍채 영상은, 사용자의 좌안 및 우안 중 어느 하나 또는 모드를 촬영하여 얻을 수 있다. 예를 들어, 휘도값을, 8 비트로 처리할 경우, 256~200 범위의 휘도값은 눈의 흰자위, 200~100 범위의 휘도값은 눈 주변의 피부, 100 이하의 휘도값은 홍채로 설정할 수 있다. Referring to FIG. 1 , iris luminance may be measured using, for example, a histogram method or a line count method. An image including an iris (hereinafter referred to as an iris image) may be generated by a camera. In the iris image, a pixel may be defined as a pixel component including a luminance (Y value), eg, YUV, or a pixel component convertible to a luminance value, eg, RGB. The iris image may be obtained by photographing any one or mode of the user's left eye and right eye. For example, when the luminance value is processed in 8 bits, a luminance value in the range of 256 to 200 can be set to the white of the eye, a luminance value in the range of 200 to 100 to the skin around the eye, and a luminance value below 100 to the iris. .

히스토그램 방식은, 홍채 영상을 구성하는 화소의 휘도값을 이용하여, 홍채를 포함한 부분 영역(10a, 10b, 10c)내 어두운 영역의 면적을 이용한다. 히스토그램(11a, 11b, 11c)은, 홍채 영상 전체 또는 홍채를 포함한 부분 영역(10a, 10b, 10c)의 화소들의 휘도값으로 생성될 수 있다. 히스토그램(11a, 11b, 11c)에서, 상대적으로 어두운 휘도값을 갖는 화소의 수를 이용하여 홍채의 면적을 산출한다. 산출된 홍채의 면적은 홍채 휘도량에 비례할 수 있다.The histogram method uses the area of the dark region in the partial regions 10a, 10b, and 10c including the iris by using the luminance values of the pixels constituting the iris image. The histograms 11a, 11b, and 11c may be generated with luminance values of pixels of the entire iris image or the partial regions 10a, 10b, and 10c including the iris. In the histograms 11a, 11b, and 11c, the iris area is calculated using the number of pixels having a relatively dark luminance value. The calculated area of the iris may be proportional to the luminance of the iris.

라인 카운트 방식은 홍채를 나타내는 수평 라인의 수를 이용한다. 홍채 라인은 홍채를 나타내는 휘도값을 갖는 복수의 화소가 수평 방향으로 연속되며, 연속된 화소의 개수가 기준값 이상인 수평 라인이다. 여기서, 기준값은 홍채 영상의 해상도 및 영상에 표시된 홍채의 크기 등에 따라 달라질 수 있다. 예를 들어, 640x480의 해상도를 갖는 홍채 영상에서, 홍채 라인은 10개 이상의 수평 방향으로 연속된 화소로 정의될 수 있다. 제1 내지 제3 카운트 값 C1, C2, C3은 수직 방향으로 카운트한 홍채 라인의 개수이며, 홍채 휘도량에 비례할 수 있다. The line count method uses the number of horizontal lines representing the iris. An iris line is a horizontal line in which a plurality of pixels having luminance values representing the iris are consecutive in a horizontal direction and the number of consecutive pixels is greater than or equal to a reference value. Here, the reference value may vary depending on the resolution of the iris image and the size of the iris displayed on the image. For example, in an iris image having a resolution of 640x480, an iris line may be defined as 10 or more horizontally continuous pixels. The first to third count values C 1 , C 2 , and C 3 are the number of iris lines counted in the vertical direction, and may be proportional to the luminance of the iris.

추가적으로, 사용자의 집중력은 특정 상황에서 홍채의 움직임을 이용해서 측정될 수 있다. 예를 들어, 책을 읽거나 글씨를 쓰는 상황에서, 사용자의 시선은 지속적으로 바뀐다. 시선 변화는 홍채의 움직임을 필연적으로 수반한다. 홍채의 움직임은 홍채와 흰자위간 경계의 위치 변화로부터 검출될 수 있다. 예를 들어, 홍채를 나타내는 휘도값을 갖는 화소가 처음 검출되는 위치가 기준 범위를 넘어서 변경하면, 홍채가 움직였다고 판단될 수 있다. 일정 시간 동안 홍채의 움직임이 검출되지 않으면, 집중력이 일정 수준 이하가 되었다고 판단될 수 있다.Additionally, the user's concentration may be measured using iris movement in a specific situation. For example, in a situation of reading a book or writing, a user's gaze continuously changes. The change of gaze inevitably accompanies the movement of the iris. The movement of the iris can be detected from a positional change of the boundary between the iris and the white of the eye. For example, if a position at which a pixel having a luminance value representing the iris is first detected changes beyond a reference range, it may be determined that the iris has moved. When no movement of the iris is detected for a certain period of time, it may be determined that the concentration level is below a certain level.

도 2는 도 1에 예시된 원리가 적용된 졸음 방지 및 집중력 강화를 위한 스마트 안경의 일 실시예를 예시적으로 도시한 도면이다.FIG. 2 exemplarily illustrates an embodiment of smart glasses for preventing drowsiness and enhancing concentration to which the principle illustrated in FIG. 1 is applied.

도 2를 참조하면, 스마트 안경(100)은 안경테 프레임(110) 및 안경 다리(111, 112)를 포함한다. 사용자의 시력을 교정하는 렌즈는 안경테 프레임(110)에 고정된다. 안경 다리(111, 112)는, 안경테 프레임(110)의 좌우측에 힌지 결합되며, 귀에 걸쳐진 상태에서 코받침(미도시)과 함께 안경테 프레임(110)을 지지하여, 사용자의 눈 전방에 렌즈가 위치되도록 한다.Referring to FIG. 2 , smart glasses 100 include a spectacle frame 110 and temples 111 and 112 . A lens for correcting the user's eyesight is fixed to the spectacle frame 110 . The temples 111 and 112 are hinged to the left and right sides of the eyeglass frame frame 110, and support the eyeglass frame frame 110 together with a nose pad (not shown) in a state over the ears, so that the lens is positioned in front of the user's eyes Let it be.

스마트 안경(100)의 졸음 방지 및 집중력 강화를 위한 구성은 안경테 프레임(110) 및 안경 다리(111, 112)에 분산 배치된다. 사용자의 홍채를 촬영하는 접사 카메라가 안경테 프레임(110)에 배치될 수 있다. 안경 착용시 안경테 프레임(110)과 눈 사이 거리를 고려할 때, 접사 카메라의 초점 거리는 약 0.5 내지 약 2 cm일 수 있다. 왼쪽과 오른쪽 눈을 각각 촬영하기 위해서, 제1 접사 카메라(120)는 좌안 렌즈 주변에, 제2 접사 카메라(125)는 우안 렌즈 주변에 배치될 수 있다. 사용자의 시야를 방해하지 않기 위해서, 제1 접사 카메라(120)는 안경테 프레임(110)과 좌측 안경 다리(111)간 결합부에 가깝게 배치되며, 제2 접사 카메라(125)는 안경테 프레임(110)과 우측 안경 다리(112)간 결합부에 가깝게 배치될 수 있다.Components for preventing drowsiness and enhancing concentration of the smart glasses 100 are distributed in the spectacle frame 110 and the temples 111 and 112. A close-up camera that captures the user's iris may be disposed on the spectacle frame 110 . Considering the distance between the eyeglass frame 110 and the eye when wearing glasses, the focal length of the macro camera may be about 0.5 cm to about 2 cm. In order to photograph the left and right eyes, respectively, the first macro camera 120 may be disposed around the left eye lens and the second macro camera 125 may be disposed around the right eye lens. In order not to obstruct the user's field of view, the first macro camera 120 is disposed close to the joint between the spectacle frame 110 and the left temple 111, and the second macro camera 125 is attached to the spectacle frame 110 It may be disposed close to the coupling portion between the and the right temple (112).

접사 카메라는 회동 가능하게 안경테 프레임(110)에 결합될 수 있다. 부분 확대된 제1 접사 카메라(120)는 제1 각도 조절 부재(121)에 결합되며, 각도 조절 부재(121)는 안경테 프레임(110)의 좌측에 형성된 홈 또는 관통 홀(130; 이하 관통 홀로 총칭함)에 적어도 부분적으로 수용된다. 제1 각도 조절 부재(121)는 관통 홀(130) 내부에서 수평 방향으로 회동 가능하여, 사용자가 제1 접사 카메라(120)의 시야(FOV)를 조절할 수 있도록 한다.The close-up camera may be rotatably coupled to the spectacle frame 110 . The partially enlarged first close-up camera 120 is coupled to the first angle adjusting member 121, and the angle adjusting member 121 includes a groove or a through hole 130 formed on the left side of the spectacle frame 110; hereinafter referred to as a through hole. ) is at least partially accommodated. The first angle adjusting member 121 is rotatable in the horizontal direction inside the through hole 130 so that the user can adjust the field of view (FOV) of the first macro camera 120 .

접사 카메라(120, 125) 및 다른 구성부의 동작에 필요한 전력은 안경 다리(111, 112)에 배치된 전원(140, 145)으로부터 공급된다. 전원(140, 145)은 재충전 가능한 배터리이며, 케이블 또는 무선으로 충전될 수 있다. Power required for the operation of the close-up cameras 120 and 125 and other components is supplied from the power sources 140 and 145 disposed on the temples 111 and 112 . Power sources 140 and 145 are rechargeable batteries and can be charged by cable or wirelessly.

자극 모듈(150) 및 착탈 감지 센서(155) 역시 안경 다리(111, 112)에 배치될 수 있다. 자극 모듈(150)이 발생할 수 있는 자극은 진동, 소리, 빛, 전기 중 어느 하나일 수 있다. 발생된 자극을 사용자에게 효과적으로 전달하기 위해서, 자극 모듈(150)은 사용자 피부와의 접촉하는 면적이 안경 다리의 다른 부분보다 상대적으로 많은 귀걸이 부분에 배치될 수 있다. 한편, 착탈 감지 센서(155)는 압력, 빛 또는 전기를 이용하여 스마트 안경의 착용 여부를 감지할 수 있다. 자극 모듈(150)과 유사하게, 귀걸이 부분에 배치될 수 있다.The stimulation module 150 and the detachable sensor 155 may also be disposed on the temples 111 and 112 . Stimuli that can be generated by the stimulation module 150 may be any one of vibration, sound, light, and electricity. In order to effectively deliver the generated stimulation to the user, the stimulation module 150 may be disposed in an earring portion having a relatively larger contact area with the user's skin than other portions of the temple. Meanwhile, the detachable sensor 155 may detect whether the smart glasses are worn using pressure, light, or electricity. Similar to the stimulation module 150, it can be placed in the earring portion.

도 3은 도 2에 예시된 졸음 방지 및 집중력 강화를 위한 스마트 안경을 기능적으로 도시한 도면이다. 도 2와 중복된 설명은 생략한다.FIG. 3 is a view functionally illustrating the smart glasses for preventing drowsiness and enhancing concentration illustrated in FIG. 2 . Redundant description with FIG. 2 will be omitted.

도 3을 참조하면, 스마트 안경(100)은 제1 접사 카메라(120), 제2 접사 카메라(125), 전원(140, 145), 자극 모듈(150), 착탈 감지 센서(155), 근거리 통신 모듈(160) 및 프로세서(170)를 포함할 수 있다. Referring to FIG. 3 , the smart glasses 100 include a first close-up camera 120, a second close-up camera 125, power sources 140 and 145, a stimulation module 150, a detachable sensor 155, and short-range communication. It may include a module 160 and a processor 170 .

제1 접사 카메라(120) 및 제2 접사 카메라(125)는 좌안 홍채 영상 및 우안 홍채 영상을 각각 생성한다. 제1 접사 카메라(120) 및 제2 접사 카메라(125)는 약 0.5 내지 약 2.0 cm의 초점 거리를 갖는 접사 렌즈 및 접사 렌즈의 하부에 배치되며, 가시광 대역의 빛을 수광하여 홍채 영상을 생성하는 CMOS 이미지 센서를 포함할 수 있다. 제1 접사 카메라(120) 및 제2 접사 카메라(125)는 복수의 화소 성분으로 표시되는 화소로 구성된 홍채 영상을 출력하며, 복수의 화소 성분은, 휘도를 포함하거나, 휘도로 변환 가능하다. The first macro camera 120 and the second macro camera 125 generate a left eye iris image and a right eye iris image, respectively. The first close-up camera 120 and the second close-up camera 125 are disposed under a close-up lens having a focal length of about 0.5 to about 2.0 cm and below the close-up lens, and generate an iris image by receiving light in the visible light band. It may include a CMOS image sensor. The first close-up camera 120 and the second close-up camera 125 output an iris image composed of pixels represented by a plurality of pixel components, and the plurality of pixel components include luminance or can be converted into luminance.

한편, 제1 접사 카메라(120) 및 제2 접사 카메라(125)는 초당 1 내지 5개의 홍채 영상(또는 프레임)을 생성한다. 통상의 이미지 센서는 초당 25~30 프레임을 생성할 수 있으나, 이는 필연적으로 소비 전력을 증가시킬 수 있다. 또한, 홍채 휘도량은 수 내지 수십 ms 단위로 측정할 필요가 있을 정도로 급격하게 변하지 않으며, 이는 홍채의 움직임 검출시에도 동일하게 적용될 수 있다. 이를 위해, 제1 접사 카메라(120) 및 제2 접사 카메라(125)의 CMOS 이미지 센서에 제공되는 구동 클럭은 프로세서(170)로부터 공급될 수 있다. CMOS 이미지 센서가 초당 25 프레임을 출력할 수 있다고 가정하면, 프레임당 약 40 ms가 소요된다. 따라서 구동 클럭은 40ms 동안 공급된 후(클럭 활성화 상태) 다음 홍채 영상을 생성할 때까지 클럭 휴면 상태가 된다. 클럭 휴면 상태 동안, 구동 클럭은 출력되지 않는다.Meanwhile, the first close-up camera 120 and the second close-up camera 125 generate 1 to 5 iris images (or frames) per second. Conventional image sensors can generate 25 to 30 frames per second, but this inevitably increases power consumption. In addition, the iris luminance does not change abruptly to the extent that it needs to be measured in units of several to several tens of ms, and this can be equally applied to iris motion detection. To this end, driving clocks provided to the CMOS image sensors of the first close-up camera 120 and the second close-up camera 125 may be supplied from the processor 170 . Assuming that the CMOS image sensor can output 25 frames per second, it takes about 40 ms per frame. Therefore, after the driving clock is supplied for 40 ms (clock activated state), the clock is in a dormant state until the next iris image is generated. During the clock sleep state, the driving clock is not output.

또한, 제1 접사 카메라(120) 및 제2 접사 카메라(125)는 둘 이상의 상이한 해상도를 갖는 제1 홍채 영상 및 제2 홍채 영상을 생성할 수 있다. 제1 홍채 영상의 해상도는 제2 홍채 영상의 해상도보다 높을 수 있다. 제1 홍채 영상은 스마트 안경 착용 직후 1회 내지 2회 생성되며, 제2 홍채 영상은 착용 기간 내내 생성될 수 있다. Also, the first close-up camera 120 and the second close-up camera 125 may generate a first iris image and a second iris image having two or more different resolutions. The resolution of the first iris image may be higher than that of the second iris image. The first iris image is generated once or twice immediately after wearing the smart glasses, and the second iris image may be generated throughout the wearing period.

전원(140, 145)은 접사 카메라(120, 125), 자극 모듈(150), 착탈 감지 센서(155), 근거리 통신 모듈(160), 및 프로세서(170)의 구동에 필요한 전력을 제공한다. 타 구성부에 비해 상대적으로 큰 체적을 가지므로, 전원(140, 145)은 좌우 안경 다리(111, 112)에 분산 배치될 수 있다. The power sources 140 and 145 provide power necessary for driving the close-up cameras 120 and 125, the stimulation module 150, the detachable sensor 155, the short-range communication module 160, and the processor 170. Since it has a relatively large volume compared to other components, the power sources 140 and 145 can be distributedly disposed on the left and right temples 111 and 112.

전원(140, 145)은 타 구성부에 비해 많은 제약을 가진다. 착용시 불편함을 유발하지 않으려면, 전원(140, 145)의 중량 및 크기는 제한되어야 한다. 하지만, 사용하는 시간 동안에는 전력을 충분히 공급할 수 있어야 한다. 한편, 미착용시에는 소비 전력이 최소로 유지되어야 한다. 이러한 제약을 해결하기 위해서, 전원(140, 145)은 착탈 감지 센서(155)와 나머지 구성부에 전력을 독립적으로 공급할 수 있다. 전원(140, 145)의 전력 공급 배선은 제1 전력선 및 제2 전력선을 포함한다. 제1 전력선은 착탈 감지 센서(155)에 전력을 항시 공급하는데 반해, 제2 전력선은 착탈 감지 센서(155)의 출력에 따라 연결 또는 개방되는 스위치를 포함한다. 따라서 착탈 감지 센서(155)가 착용을 감지하여 감지 신호를 출력하는 동안에만 제2 전력선의 스위치가 연결되어 나머지 구성부에 전력이 공급될 수 있다.The power sources 140 and 145 have many limitations compared to other components. In order not to cause discomfort when worn, the weight and size of the power sources 140 and 145 should be limited. However, it must be able to supply sufficient power during the time of use. On the other hand, power consumption should be kept to a minimum when not worn. In order to solve this limitation, the power sources 140 and 145 may independently supply power to the detachable detection sensor 155 and the rest of the components. The power supply wires of the power sources 140 and 145 include a first power line and a second power line. While the first power line constantly supplies power to the detachable detection sensor 155, the second power line includes a switch that is connected or opened according to the output of the detachable detection sensor 155. Therefore, the switch of the second power line is connected only while the attachment/detachment detection sensor 155 detects wearing and outputs a detection signal, so that power can be supplied to the rest of the components.

자극 인가 신호에 의해서, 자극 모듈(150)은 자극을 사용자에게 인가한다. 자극 모듈(150)은, 자극의 종류에 따라 다양하게 선택될 수 있다. 일 실시예로, 자극 모듈(150)은 사용자에게 인가할 진동을 발생하는 진동 발생기일 수 있다. 다른 실시예로, 자극 모듈(150)은 소리를 발생하는 스피커일 수 있다. 또 다른 실시예로, 자극 모듈(150)은 미세한 전기를 사용자에게 인가하는 전극일 수 있다.In response to the stimulus application signal, the stimulus module 150 applies the stimulus to the user. The stimulation module 150 may be variously selected according to the type of stimulation. In one embodiment, the stimulation module 150 may be a vibration generator that generates vibration to be applied to the user. In another embodiment, the stimulation module 150 may be a speaker that generates sound. In another embodiment, the stimulation module 150 may be an electrode that applies fine electricity to the user.

착탈 감지 센서(155)는 스마트 안경(100)의 착용 및 분리를 검출하여 스마트 안경(100)의 구동에 필요한 전력 공급을 제어한다. 착탈 감지 센서(155)는 예를 들어, 착용시 인가되는 압력을 감지하는 압력 센서, 빛을 감지하는 광 센서, 인체로부터 발생하는 미세 전류를 감지하는 전류 센서, 인체의 저항을 측정하는 저항 센서 중 어느 하나일 수 있다. 착탈 감지 센서(155)는 사용자 피부와의 접촉으로 인한 센싱 값 변화를 이용하여 착용 및 분리를 검출한다. 따라서 착탈 감지 센서(155)는 사용자 피부와의 접촉이 쉬운 귀걸이 부분에 배치될 수 있다. 착탈 감지 센서(155)가 출력한 감지 신호는 접사 카메라(120, 125), 자극 모듈(150), 근거리 통신 모듈(160) 및 프로세서(170)에 전력을 공급하는 제2 전력선의 스위치를 연결시킨다.The attachment/detachment sensor 155 detects wearing and detachment of the smart glasses 100 and controls power supply necessary for driving the smart glasses 100. The detachable sensor 155 is, for example, a pressure sensor for detecting pressure applied when worn, an optical sensor for detecting light, a current sensor for detecting microcurrent generated from the human body, and a resistance sensor for measuring resistance of the human body. It can be any one. The attachment/detachment detection sensor 155 detects wearing and detachment by using a sensing value change due to contact with the user's skin. Therefore, the attachment/detachment detection sensor 155 may be disposed on a part of the earring that is easily in contact with the user's skin. The detection signal output by the detachable detection sensor 155 connects the switch of the second power line that supplies power to the close-up cameras 120 and 125, the stimulation module 150, the short-range communication module 160 and the processor 170. .

근거리 통신 모듈(160)은 스마트 안경(100)과 외부 전자 기기, 예를 들어, 스마트 폰간 통신을 수행한다. 근거리 통신 모듈(160)은 블루투스나 지그비 등의 통신 방식으로, 사용자의 스마트 폰에 설치된 앱에 검출 데이터를 전달할 수 있다. 검출 데이터는 제1 홍채 영상, 제2 홍채 영상, 및 제2 홍채 영상을 이용하여 계산된 홍채 휘도량 중 어느 하나 또는 모두를 포함할 수 있다. 계산된 홍채 휘도량을 전송하는 이유는, 소비 전력을 최소화하기 위해서이다. 한편, 근거리 통신 모듈(160)은 앱으로부터 제어 데이터를 수신할 수 있다. 제어 데이터는 자극 모듈(150)의 구동이 되는 기준 휘도량, 및 자극 인가 신호 중 어느 하나 또는 모두를 포함할 수 있다.The short-range communication module 160 performs communication between the smart glasses 100 and an external electronic device, for example, a smart phone. The short-range communication module 160 may transmit detection data to an app installed in a user's smart phone using a communication method such as Bluetooth or ZigBee. The detection data may include any one or all of the iris luminance calculated using the first iris image, the second iris image, and the second iris image. The reason for transmitting the calculated iris luminance is to minimize power consumption. Meanwhile, the short-distance communication module 160 may receive control data from an app. The control data may include any one or both of a reference luminance amount for driving the stimulation module 150 and a stimulation application signal.

프로세서(170)는 클럭 휴면 상태가 반복되는 구동 클럭을 접사 카메라(120, 125)에 제공하여 제1 접사 카메라(120)가 제1 좌안 홍채 영상 및 제2 좌안 홍채 영상을 그리고 제2 접사 카메라(125)가 제1 우안 홍채 영상 및 제2 우안 홍채 영상을 생성하도록 한다. 이를 위해, 프로세서(170)는 비동기 클럭 발생기를 포함할 수 있다. 프로세서(170)는 도 1을 참조하여 설명한 방식으로, 제2 좌안 및 우안 홍채 영상을 이용하여 홍채 휘도량을 산출한다. 예를 들어, 프로세서(170)는, 제2 좌안 홍채 영상 및 제2 우안 홍채 영상 중 어느 하나를 선택하여 홍채 휘도량을 산출하거나, 모두에 대한 홍채 휘도량을 산출한 후 이들의 평균을 산출할 수 있다. 추가적으로, 프로세서(170), 제2 홍채 영상으로부터 홍채 움직임을 검출할 수도 있다. 그리고 프로세서(170)는 제2 홍채 영상의 홍채 휘도량과 기준 휘도량을 비교하여, 홍채 휘도량이 기준 휘도량 이하이면, 자극 모듈(150)을 구동하는 자극 인가 신호를 출력할 수 있다. 한편, 프로세서(170)는 근거리 통신 모듈(160)을 통해 검출 데이터를 외부 전자 기기로 전송할 수 있다. The processor 170 provides the macro cameras 120 and 125 with a driving clock in which the clock sleep state is repeated so that the first macro camera 120 can generate a first left eye iris image and a second left eye iris image, and a second macro camera ( 125) to generate a first right eye iris image and a second right eye iris image. To this end, the processor 170 may include an asynchronous clock generator. The processor 170 calculates the iris luminance using the second left eye and right eye iris images in the manner described with reference to FIG. 1 . For example, the processor 170 selects one of the second left eye iris image and the second right eye iris image to calculate the iris luminance, or calculates the iris luminance for both and then calculates an average thereof. can Additionally, the processor 170 may detect iris motion from the second iris image. Further, the processor 170 may compare the iris luminance of the second iris image with the reference luminance, and output a stimulus application signal for driving the stimulation module 150 when the iris luminance is equal to or less than the reference luminance. Meanwhile, the processor 170 may transmit detection data to an external electronic device through the short-range communication module 160 .

도 4는 졸음 방지 및 집중력 강화를 위한 스마트 안경의 동작을 예시적으로 도시한 도면이다. 프로세서(170)가 자극 모듈(150)을 구동하는 실시예를 도 4를 참조하여 먼저 설명한 후, 외부 전자 기기가 자극 모듈(150)을 구동하는 실시예를 설명한다.4 is a diagram illustrating an operation of smart glasses for preventing drowsiness and enhancing concentration by way of example. An embodiment in which the processor 170 drives the stimulation module 150 is first described with reference to FIG. 4 , and then an embodiment in which an external electronic device drives the stimulation module 150 will be described.

S10에서, 착탈 감지 센서(155)는 스마트 안경(100) 착용을 감지한다. 출력된 감지 신호에 의해, 나머지 구성부에 전력이 공급되어 스마트 안경(100)이 구동한다.In S10, the detachable detection sensor 155 detects wearing of the smart glasses 100. Based on the output detection signal, power is supplied to the remaining components to drive the smart glasses 100 .

S20에서, 프로세서(170)는 클럭 활성화 상태가 유지된 구동 클럭을 접사 카메라(120, 125)에 제공하여 제1 홍채 영상을 생성하도록 한다. 프로세서(170)는 제1 홍채 영상을 근거리 통신모듈(160)을 통해 외부 전자 기기로 전송한다. 외부 전자 기기에서 실행중인 앱은 제1 홍채 영상을 분석하여, 사용자의 눈 건강을 점검할 수 있다. 앱이 점검 가능한 눈 건강은, 눈의 충혈 상태, 녹내장, 백내장 등을 포함할 수 있다. 한편, 앱은 스마트 워치 또는 스마트 밴드와 같은 웨어러블 기기와 연동하여 눈 건강과 동기화된 건강 상태, 예를 들어, 심박수, 혈압, 체온 등을 점검할 수 있다.In S20 , the processor 170 provides the driving clock in which the clock activation state is maintained to the close-up cameras 120 and 125 to generate a first iris image. The processor 170 transmits the first iris image to an external electronic device through the short range communication module 160 . An app running on an external electronic device may analyze the first iris image to check the user's eye health. Eye health that the app can check may include eye congestion, glaucoma, cataract, and the like. Meanwhile, the app may check health conditions synchronized with eye health, such as heart rate, blood pressure, body temperature, etc., in conjunction with a wearable device such as a smart watch or smart band.

S30에서, 프로세서(170)는 클럭 휴면 상태가 반복되는 구동 클럭을 접사 카메라(120, 125)에 제공하여 초당 m개(1≤m≤5)의 제2 홍채 영상을 생성하도록 한다. In S30 , the processor 170 provides a driving clock in which the clock idle state is repeated to the close-up cameras 120 and 125 to generate m (1≤m≤5) second iris images per second.

S40에서, 프로세서(170)는 도 1을 참조하여 설명한 방식으로, 제2 홍채 영상으로부터 홍채 휘도량을 산출한다.In S40 , the processor 170 calculates the iris luminance from the second iris image in the manner described with reference to FIG. 1 .

S50에서, 프로세서(170)는 산출한 홍채 휘도량을 기준 휘도량을 비교한다.In S50, the processor 170 compares the calculated iris luminance with a reference luminance.

S60에서, 비교 결과 홍채 휘도량이 기준 휘도량 이하이면, 프로세서(170)는 자극 인가 신호를 생성하여 자극 모듈(150)이 자극을 사용자에게 인가하도록 한다.In S60, if the iris luminance amount is equal to or less than the reference luminance amount as a result of the comparison, the processor 170 generates a stimulus application signal and causes the stimulation module 150 to apply the stimulus to the user.

한편, 휘도량 비교 과정은 외부 전자 기기에서 수행될 수 있다. S40에서, 프로세서(170)는 제2 홍채 영상으로부터 홍채 휘도량을 산출하며, 산출된 홍채 휘도량을 근거리 통신 모듈(160)을 통해 외부 전자 기기로 전송할 수 있다. S50에서, 앱은 수신한 홍채 휘도량을 기준 휘도량을 비교한다. S60에서, 비교 결과 홍채 휘도량이 기준 휘도량 이하이면, 앱은 근거리 통신 모듈(160)을 통해 자극 인가 신호를 전송하여 자극 모듈(150)이 자극을 사용자에게 인가하도록 하다.Meanwhile, the luminance comparison process may be performed in an external electronic device. In S40 , the processor 170 may calculate the iris luminance from the second iris image and transmit the calculated iris luminance to an external electronic device through the short range communication module 160 . In S50, the app compares the received iris luminance with the reference luminance. In S60, if the iris luminance amount is equal to or less than the reference luminance amount as a result of the comparison, the app transmits a stimulus application signal through the short range communication module 160 so that the stimulus module 150 applies the stimulus to the user.

도 5는 도 1에 예시된 원리가 적용된 졸음 방지 및 집중력 강화를 위한 스마트 안경의 다른 실시예를 예시적으로 도시한 도면이다. 도 1 내지 도 4를 참조하여 설명한 구조 및 기능과 동일한 설명은 생략하며, 차이점을 주로 설명한다.5 is a diagram exemplarily illustrating another embodiment of smart glasses for preventing drowsiness and enhancing concentration to which the principle illustrated in FIG. 1 is applied. The same descriptions as the structures and functions described with reference to FIGS. 1 to 4 will be omitted, and differences will be mainly described.

도 5를 참조하면, 스마트 안경은 공지의 안경에 탈부착 가능한 형태로 구현될 수 있다. 스마트 안경(200)은 제1 및 제2 스마트 모듈(210, 220)을 포함할 수 있다. 제1 스마트 모듈(210)은 좌측 안경 다리에 부착되어 좌안의 홍채를 촬영하며, 제2 스마트 모듈(220)은 우측 안경 다리에 부착되어 우안의 홍채를 촬영할 수 있다. 제1 및 제2 스마트 모듈(210, 220)은 대칭하는 형상 및 기능을 가질 수 있으며, 특히, 하나의 스마트 모듈만으로도 사용자 상태 측정 및 측정된 상태에 따라 적절한 피드백 제공이 가능하므로, 이하에서는 제1 스마트 모듈(210)을 주로 설명한다. Referring to FIG. 5 , smart glasses may be implemented in a detachable form to known glasses. The smart glasses 200 may include first and second smart modules 210 and 220 . The first smart module 210 is attached to the temple of the left eye and captures the iris of the left eye, and the second smart module 220 is attached to the temple of the right eye and captures the iris of the right eye. The first and second smart modules 210 and 220 may have symmetrical shapes and functions, and in particular, since only one smart module can measure a user's state and provide appropriate feedback according to the measured state, the first smart module will be described below. The smart module 210 will be mainly described.

제1 스마트 모듈(210)은 제1 모듈 하우징(211) 및 하우징의 일측 상부에 배치된 제1 접사 카메라(212)를 포함할 수 있다. 여기서, 하우징의 일측은 안경의 렌즈에 가깝게 배치될 수 있다. 제1 접사 카메라(212)는 제1 모듈 하우징(210)에 회동 가능하게 결합된 제1 각도 조절 부재(213)에 결합될 수 있다. The first smart module 210 may include a first module housing 211 and a first close-up camera 212 disposed on an upper portion of one side of the housing. Here, one side of the housing may be disposed close to the lenses of the glasses. The first close-up camera 212 may be coupled to the first angle adjusting member 213 rotatably coupled to the first module housing 210 .

추가적으로, 제1 모듈 하우징(211)은 안경 다리에 탈부착 가능하게 고정되기 위한 고정 부재를 더 포함할 수 있다. 도 5에 예시된 고정 부재는 제1 모듈 하우징(211)로부터 수평 방향으로 연장되며 하방으로 절곡된 형태의 고리(214, 215)이나, 벨크로 타이, 클립, 집게 등과 같이 다양한 유형의 고정 부재도 적용될 수 있다.Additionally, the first module housing 211 may further include a fixing member detachably fixed to the temples. The fixing member illustrated in FIG. 5 extends in the horizontal direction from the first module housing 211 and can also be applied to various types of fixing members such as hooks 214 and 215 bent downward, Velcro ties, clips, tongs, and the like. can

도 6은 도 5에 예시된 졸음 방지 및 집중력 강화를 위한 스마트 안경을 기능적으로 도시한 도면이다.6 is a view functionally illustrating the smart glasses for preventing drowsiness and enhancing concentration illustrated in FIG. 5 .

제1 스마트 모듈(210)은 제1 접사 카메라(212), 제1 프로세서(216), 제1 근거리 통신 모듈(217), 제1 자극 모듈(218) 및 제1 전원(219)을 포함할 수 있으며, 제2 스마트 모듈(220)은 제2 접사 카메라(222), 제2 프로세서(226), 제2 근거리 통신 모듈(227), 제2 자극 모듈(228) 및 제2 전원(229)을 포함할 수 있다. 여기서, 제2 자극 모듈(228)은 생략될 수 있다. The first smart module 210 may include a first close-up camera 212, a first processor 216, a first short-range communication module 217, a first stimulation module 218 and a first power supply 219. And, the second smart module 220 includes a second close-up camera 222, a second processor 226, a second short-range communication module 227, a second stimulation module 228, and a second power source 229. can do. Here, the second stimulation module 228 may be omitted.

제1 프로세서(216)는 제1 접사 카메라(212)가 촬영한 좌안의 홍채 영상을 처리하여 좌안 홍채 휘도량을 산출하며, 제2 프로세서(226)는 제2 접사 카메라(222)가 촬영한 우안의 홍채 영상을 처리하여 우안 홍채 휘도량을 산출할 수 있다. 스마트 안경(200)이 자극 적용을 결정하는 경우, 제1 프로세서(216) 및 제2 프로세서(226) 중 어느 하나 또는 모두는, 자극을 사용자에게 인가할 수 있다. 외부 전자 기기(300)에서 실행중인 앱이 자극 적용을 결정하는 경우, 좌안 홍채 휘도량은 제1 근거리 통신 모듈(217)을 통해 및 우안 홍채 휘도량은 제2 근거리 통신 모듈(227)을 통해 외부 전자 기기(300)로 전송될 수 있다. The first processor 216 processes the iris image of the left eye captured by the first macro camera 212 to calculate the luminance of the iris of the left eye, and the second processor 226 calculates the luminance of the iris of the left eye, and the second processor 226 processes the iris image of the left eye captured by the second macro camera 222. The right eye iris luminance can be calculated by processing the iris image of . When the smart glasses 200 determine the stimulus application, either or both of the first processor 216 and the second processor 226 may apply the stimulus to the user. When an app running in the external electronic device 300 determines to apply the stimulus, the left eye iris luminance is externally transmitted through the first short range communication module 217 and the right eye iris luminance is externally transmitted through the second short range communication module 227. It may be transmitted to the electronic device 300.

예시된 외부 전자 기기(300)에서 실행중인 앱을 참조하면, 사용자의 집중력은 홍채 휘도량에 비례하는 그래프로 표시되며, 가로 방향의 시간축을 따라 표시될 수 있다. 기준 집중력(310)에 비례하는 기준 휘도량보다 작은 홍채 휘도량(320)이 검출되면, 앱은 자극 인가 신호를 제1 스마트 모듈(210) 및 제2 스마트 모듈(220) 중 어느 하나 또는 모두로 전송할 수 있다. Referring to the app running in the external electronic device 300 as an example, the user's concentration is displayed as a graph proportional to the iris luminance and displayed along a horizontal time axis. When an iris luminance amount 320 that is smaller than the reference luminance amount proportional to the reference concentration 310 is detected, the app sends a stimulus application signal to either or both of the first smart module 210 and the second smart module 220. can transmit

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 특히, 도면을 참조하여 설명된 본 발명의 특징은, 특정 도면에 도시된 구조에 한정되는 것이 아니며, 독립적으로 또는 다른 특징에 결합되어 구현될 수 있다.The above description of the present invention is for illustrative purposes, and those skilled in the art can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. In particular, the features of the present invention described with reference to the drawings are not limited to the structures shown in the specific drawings, and may be implemented independently or in combination with other features.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts thereof should be construed as being included in the scope of the present invention. .

Claims (9)

렌즈를 고정하는 안경테 프레임 및 상기 안경테 프레임에 힌지 결합된 한 쌍의 안경 다리로 구성된 안경에 구현된 스마트 안경에 있어서,
상기 안경테 프레임의 좌측에 배치되어 좌안 홍채 영상을 생성하는 제1 접사 카메라;
상기 안경테 프레임의 우측에 배치되어 우안 홍채 영상을 생성하는 제2 접사 카메라;
상기 한 쌍의 안경 다리 중 어느 하나 또는 모두에 배치된 전원;
상기 한 쌍의 안경 다리 중 어느 하나에 배치되며 자극 인가 신호에 따라 상기 사용자에게 자극을 인가하는 자극 모듈;
상기 좌안 홍채 영상 및 상기 우안 홍채 영상 중 어느 하나 또는 모두를 이용하여 홍채 휘도량을 산출하는 프로세서; 및
상기 사용자에 의한 착용을 검출하여 상기 전원이 구동 전력을 공급하도록 제어하는 착탈 감지 센서를 포함하는 스마트 안경.
In smart glasses implemented in glasses composed of a spectacle frame for fixing lenses and a pair of temples hinged to the spectacle frame,
a first macro camera disposed on the left side of the spectacle frame to generate an iris image of the left eye;
a second macro camera disposed on the right side of the spectacle frame to generate an iris image of the right eye;
a power source disposed on one or both of the pair of temples;
a stimulation module disposed on one of the pair of temples and applying a stimulation to the user according to a stimulation application signal;
a processor calculating an iris luminance using either or both of the left eye iris image and the right eye iris image; and
Smart glasses including a detachable detection sensor that detects wearing by the user and controls the power source to supply driving power.
청구항 1에 있어서, 근거리 통신을 통해 상기 홍채 휘도량을 외부 전자 기기로 전송하며, 상기 자극 인가 신호를 상기 외부 전자 기기로부터 수신하는 근거리 통신모듈을 더 포함하되,
상기 자극 인가 신호는, 상기 홍채 휘도량이 기준 휘도량 이하일 때 생성되는, 스마트 안경.
The method according to claim 1, further comprising a short-range communication module for transmitting the iris luminance to an external electronic device through short-range communication and receiving the stimulus application signal from the external electronic device,
The stimulus application signal is generated when the iris luminance amount is less than or equal to the reference luminance amount, smart glasses.
청구항 2에 있어서, 상기 좌안 홍채 영상 및 상기 우안 홍채 영상은 상이한 해상도를 갖는 제1 홍채 영상 및 제2 홍채 영상을 포함하되,
상기 제1 홍채 영상은 상기 제2 홍채 영상보다 상대적으로 높은 해상도를 가지며, 그대로 상기 외부 전자 기기로 전송되며,
상기 제2 홍채 영상은 상기 홍채 휘도량 산출에 이용되는, 스마트 안경.
The method according to claim 2, wherein the left eye iris image and the right eye iris image include a first iris image and a second iris image having different resolutions,
The first iris image has a relatively higher resolution than the second iris image and is transmitted to the external electronic device as it is;
The second iris image is used to calculate the iris luminance amount, smart glasses.
청구항 1에 있어서, 상기 프로세서는 상기 홍채 휘도량을 기준 휘도량과 비교하여 상기 기준 휘도량 이하이면 상기 자극 인가 신호를 생성하는, 스마트 안경.The smart glasses of claim 1 , wherein the processor compares the iris luminance with a reference luminance and generates the stimulus application signal when the iris luminance is less than or equal to the reference luminance. 청구항 1에 있어서, 상기 프로세서는 클럭 휴면 상태가 반복되는 구동 클럭을 상기 제1 접사 카메라 및 상기 제2 접사 카메라에 제공하는, 스마트 안경.The smart glasses of claim 1 , wherein the processor provides a driving clock in which a clock sleep state is repeated to the first close-up camera and the second close-up camera. 청구항 1에 있어서, 상기 제1 접사 카메라 및 상기 제2 접사 카메라는 회동 가능하게 상기 안경테 프레임에 결합되는, 스마트 안경.The smart glasses according to claim 1, wherein the first close-up camera and the second close-up camera are rotatably coupled to the spectacle frame. 청구항 1에 있어서, 상기 자극 모듈 및 상기 착탈 감지 센서는 상기 한 쌍의 안경 다리의 귀걸이 부분에 각각 배치되는, 스마트 안경.The smart glasses according to claim 1, wherein the stimulation module and the attachment/detachment detection sensor are respectively disposed on earring portions of the pair of temples. 청구항 1에 있어서, 상기 홍채 휘도량은, 홍채를 나타내는 휘도값을 갖는 화소의 개수가 기준값 이상으로 수평 방향으로 연속되는 수평 라인의 개수인, 스마트 안경.The smart glasses according to claim 1, wherein the iris luminance is the number of horizontal lines in which the number of pixels having luminance representing the iris is greater than or equal to a reference value and continues in a horizontal direction. 렌즈를 고정하는 안경테 프레임 및 상기 안경테 프레임에 힌지 결합된 한 쌍의 안경 다리로 구성된 안경에 착탈가능한 스마트 안경에 있어서,
상기 한 쌍의 안경 다리 중 좌측 안경 다리에 착탈 가능하게 고정되고, 회동 가능한 제1 접사 카메라로 좌안 홍채 영상을 생성하고, 상기 좌안 홍채 영상을 이용하여 좌안 홍채 휘도량을 산출하며, 산출한 좌안 홍채 휘도량을 외부 전자 기기로 전송하는 제1 스마트 모듈; 및
상기 한 쌍의 안경 다리 중 우측 안경 다리에 착탈 가능하게 고정되고, 회동 가능한 제2 접사 카메라로 우안 홍채 영상을 생성하고, 상기 우안 홍채 영상을 이용하여 우안 홍채 휘도량을 산출하며, 산출한 우안 홍채 휘도량을 외부 전자 기기로 전송하는 제2 스마트 모듈을 포함하되,
상기 외부 전자 기기는, 상기 좌안 홍채 휘도량 및 상기 우안 홍채 휘도량 중 어느 하나 또는 모두를 기준 휘도량과 비교하여 상기 기준 휘도량 이하이면 자극 인가 신호를 상기 제1 스마트 모듈로 전송하며,
상기 자극 인가 신호를 수신하면, 상기 제1 스마트 모듈은 사용자에게 자극을 인가하는, 스마트 안경.
In smart glasses detachable to glasses composed of a spectacle frame for fixing lenses and a pair of temples hinged to the spectacle frame,
A left eye iris image is generated by a first macro camera that is detachably fixed to the left temple of the pair of temples and is rotatable, and a left eye iris luminance is calculated using the left eye iris image, and the calculated left eye iris A first smart module that transmits the amount of luminance to an external electronic device; and
A right eye iris image is generated by a second close-up camera that is detachably fixed to the right temple of the pair of temples and is rotatable, right eye iris luminance is calculated using the right eye iris image, and the calculated right eye iris Including a second smart module for transmitting the amount of luminance to an external electronic device,
The external electronic device compares any one or both of the left eye iris luminance and the right eye iris luminance with a reference luminance, and transmits a stimulus application signal to the first smart module when the luminance is less than or equal to the reference luminance,
Upon receiving the stimulus application signal, the first smart module applies a stimulus to the user.
KR1020210080994A 2021-06-22 2021-06-22 Smart glasses for preventing drowsiness and enhancing concentration KR102511785B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210080994A KR102511785B1 (en) 2021-06-22 2021-06-22 Smart glasses for preventing drowsiness and enhancing concentration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210080994A KR102511785B1 (en) 2021-06-22 2021-06-22 Smart glasses for preventing drowsiness and enhancing concentration

Publications (2)

Publication Number Publication Date
KR20220170216A true KR20220170216A (en) 2022-12-29
KR102511785B1 KR102511785B1 (en) 2023-03-17

Family

ID=84539736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210080994A KR102511785B1 (en) 2021-06-22 2021-06-22 Smart glasses for preventing drowsiness and enhancing concentration

Country Status (1)

Country Link
KR (1) KR102511785B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090092642A (en) 2008-02-27 2009-09-01 주식회사 글맥학원 Desk type apparatus for studying and method for studying using it
KR20110052453A (en) * 2009-11-11 2011-05-18 한국전자통신연구원 Method and apparatus for driver sleepiness detecting and warning
KR101273461B1 (en) * 2012-09-25 2013-06-11 아이피티앤드에이 주식회사 Glasses, terminal and method for improving concentration
KR20150062498A (en) * 2013-11-29 2015-06-08 현대엠엔소프트 주식회사 A glasses type computer device that is connected to the vehicle system and its method of operation
JP6735955B2 (en) * 2018-05-10 2020-08-05 三菱電機株式会社 Occupant monitoring device and occupant monitoring method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090092642A (en) 2008-02-27 2009-09-01 주식회사 글맥학원 Desk type apparatus for studying and method for studying using it
KR20110052453A (en) * 2009-11-11 2011-05-18 한국전자통신연구원 Method and apparatus for driver sleepiness detecting and warning
KR101273461B1 (en) * 2012-09-25 2013-06-11 아이피티앤드에이 주식회사 Glasses, terminal and method for improving concentration
KR20150062498A (en) * 2013-11-29 2015-06-08 현대엠엔소프트 주식회사 A glasses type computer device that is connected to the vehicle system and its method of operation
JP6735955B2 (en) * 2018-05-10 2020-08-05 三菱電機株式会社 Occupant monitoring device and occupant monitoring method

Also Published As

Publication number Publication date
KR102511785B1 (en) 2023-03-17

Similar Documents

Publication Publication Date Title
US10261542B1 (en) Distributed augmented reality system
CN110520824B (en) Multimode eye tracking
US11340461B2 (en) Devices, systems and methods for predicting gaze-related parameters
US20190101984A1 (en) Heartrate monitor for ar wearables
US20150234188A1 (en) Control of adaptive optics
US20150234187A1 (en) Adaptive optics
CN110716639B (en) Electronic device with display operation based on eye movement
KR20190079252A (en) Modular temple of spectacles and smart eyewear
KR101203921B1 (en) Information providing apparatus using an eye tracking and local based service
KR20220148921A (en) Eyewear that uses muscle sensors to determine facial expressions
CN107113390B (en) Control device
CN111213375B (en) Information processing apparatus, information processing method, and program
CN110141185A (en) A kind of eyesight provisional monitor and the wearable device for having visual training function
CN110262074B (en) Intelligent eye protection instrument
US11435601B2 (en) Saccade detection and endpoint prediction for electronic contact lenses, with adjusted operation
JP2018134274A (en) Information processing method, information processing device, and program
WO2016035952A1 (en) Image processing device and image processing method for same
KR102511785B1 (en) Smart glasses for preventing drowsiness and enhancing concentration
US11662574B2 (en) Determining gaze depth using eye tracking functions
US20230043585A1 (en) Ultrasound devices for making eye measurements
CN114948336A (en) Augmented reality based artificial retina system
US10775643B2 (en) Dynamic presbyopia correction in electronic contact lenses
WO2010098274A1 (en) Head-mounted display
TWI830785B (en) Glasses and Procedures
JP7265856B2 (en) eyewear

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant