KR20220170216A - Smart glasses for preventing drowsiness and enhancing concentration - Google Patents
Smart glasses for preventing drowsiness and enhancing concentration Download PDFInfo
- Publication number
- KR20220170216A KR20220170216A KR1020210080994A KR20210080994A KR20220170216A KR 20220170216 A KR20220170216 A KR 20220170216A KR 1020210080994 A KR1020210080994 A KR 1020210080994A KR 20210080994 A KR20210080994 A KR 20210080994A KR 20220170216 A KR20220170216 A KR 20220170216A
- Authority
- KR
- South Korea
- Prior art keywords
- luminance
- iris
- iris image
- glasses
- smart glasses
- Prior art date
Links
- 239000004984 smart glass Substances 0.000 title claims abstract description 49
- 206010041349 Somnolence Diseases 0.000 title description 14
- 230000002708 enhancing effect Effects 0.000 title description 12
- 230000000638 stimulation Effects 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 239000011521 glass Substances 0.000 claims abstract description 15
- 238000004891 communication Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000005611 electricity Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 208000002177 Cataract Diseases 0.000 description 1
- 208000010412 Glaucoma Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 208000027744 congestion Diseases 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0022—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the tactile sense, e.g. vibrations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0072—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus with application of electrical currents
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
- A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
- A61M2021/0083—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus especially for waking up
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
- A61M2205/00—General characteristics of the apparatus
- A61M2205/50—General characteristics of the apparatus with microprocessors or computers
- A61M2205/502—User interfaces, e.g. screens or keyboards
- A61M2205/507—Head Mounted Displays [HMD]
Abstract
Description
본 발명은 스마트 안경에 관한 것이다.The present invention relates to smart glasses.
최근 들어, 합리적인 가격의 스마트 글라스가 시장에 공개되고 있다. 스마트 글라스는 가상현실뿐 아니라 증강현실을 지원하는 개인용 디스플레이이다. 착용 상태에서, 사용자의 시선을 추적하는 기능을 갖춘 스마트 글라스도 공개되었다. 이러한 스마트 글라스는 고가일 뿐 아니라 활용 분야도 아직까지는 제한적이다.Recently, reasonably priced smart glasses are being released to the market. Smart glasses are personal displays that support augmented reality as well as virtual reality. Smart glasses with a function of tracking the user's gaze while worn were also released. These smart glasses are not only expensive, but their applications are still limited.
본 발명은 사용자의 상태를 측정하며, 측정된 상태에 따라 적절한 피드백을 제공함으로써, 사용자의 집중력을 유지시킬 수 있는 스마트 안경을 제공하고자 한다.An object of the present invention is to provide smart glasses capable of maintaining the user's concentration by measuring the user's state and providing appropriate feedback according to the measured state.
본 발명의 일 측면에 따르면, 렌즈를 고정하는 안경테 프레임 및 상기 안경테 프레임에 힌지 결합된 한 쌍의 안경 다리로 구성된 안경에 구현된 스마트 안경이 제공된다. 스마트 안경은, 상기 안경테 프레임의 좌측에 배치되어 좌안 홍채 영상을 생성하는 제1 접사 카메라, 상기 안경테 프레임의 우측에 배치되어 우안 홍채 영상을 생성하는 제2 접사 카메라, 상기 한 쌍의 안경 다리 중 어느 하나 또는 모두에 배치된 전원, 상기 한 쌍의 안경 다리 중 어느 하나에 배치되며 자극 인가 신호에 따라 상기 사용자에게 자극을 인가하는 자극 모듈, 상기 좌안 홍채 영상 및 상기 우안 홍채 영상 중 어느 하나 또는 모두를 이용하여 홍채 휘도량을 산출하는 프로세서 및 상기 사용자에 의한 착용을 검출하여 상기 전원이 구동 전력을 공급하도록 제어하는 착탈 감지 센서를 포함할 수 있다. According to one aspect of the present invention, there are provided smart glasses embodied in glasses composed of a spectacle frame fixing lenses and a pair of spectacle legs hinged to the spectacle frame frame. The smart glasses may be any one of a first macro camera disposed on the left side of the spectacle frame to generate an iris image for the left eye, a second macro camera disposed on the right side of the spectacle frame to generate an iris image for the right eye, and the pair of temples. A power source disposed on one or both, a stimulation module disposed on any one of the pair of temples and applying a stimulus to the user according to a stimulus application signal, and any one or both of the left eye iris image and the right eye iris image It may include a processor that calculates the luminance of the iris using the iris luminance and a detachable detection sensor that detects wearing by the user and controls the power source to supply driving power.
일 실시예로, 근거리 통신을 통해 상기 홍채 휘도량을 외부 전자 기기로 전송하며, 상기 자극 인가 신호를 상기 외부 전자 기기로부터 수신하는 근거리 통신모듈을 더 포함하되, 상기 자극 인가 신호는, 상기 홍채 휘도량이 기준 휘도량 이하일 때 생성될 수 있다.As an embodiment, a short-range communication module for transmitting the iris luminance to an external electronic device through short-range communication and receiving the stimulus-applying signal from the external electronic device, wherein the stimulus-applying signal corresponds to the iris luminance It may be generated when the amount is less than or equal to the reference luminance amount.
일 실시예로, 상기 좌안 홍채 영상 및 상기 우안 홍채 영상은 상이한 해상도를 갖는 제1 홍채 영상 및 제2 홍채 영상을 포함하되, 상기 제1 홍채 영상은 상기 제2 홍채 영상보다 상대적으로 높은 해상도를 가지며, 그대로 상기 외부 전자 기기로 전송되며, 상기 제2 홍채 영상은 상기 홍채 휘도량 산출에 이용될 수 있다. In one embodiment, the left eye iris image and the right eye iris image include a first iris image and a second iris image having different resolutions, wherein the first iris image has a relatively higher resolution than the second iris image , is transmitted to the external electronic device as it is, and the second iris image can be used to calculate the amount of iris luminance.
일 실시예로, 상기 프로세서는 상기 홍채 휘도량을 기준 휘도량과 비교하여 상기 기준 휘도량 이하이면 상기 자극 인가 신호를 생성할 수 있다.In an embodiment, the processor may compare the iris luminance with a reference luminance and generate the stimulus application signal when the iris luminance is less than or equal to the reference luminance.
일 실시예로, 상기 프로세서는 클럭 휴면 상태가 반복되는 구동 클럭을 상기 제1 접사 카메라 및 상기 제2 접사 카메라에 제공할 수 있다.In an embodiment, the processor may provide a driving clock in which a clock idle state is repeated to the first close-up camera and the second close-up camera.
일 실시예로, 상기 제1 접사 카메라 및 상기 제2 접사 카메라는 회동 가능하게 상기 안경테 프레임에 결합될 수 있다.In one embodiment, the first close-up camera and the second close-up camera may be rotatably coupled to the eyeglass frame.
일 실시예로, 상기 자극 모듈 및 상기 착탈 감지 센서는 상기 한 쌍의 안경 다리의 귀걸이 부분에 각각 배치될 수 있다.In one embodiment, the stimulation module and the detachable detection sensor may be respectively disposed on the earring part of the pair of temples.
일 실시예로, 상기 홍채 휘도량은, 홍채를 나타내는 휘도값을 갖는 화소의 개수가 기준값 이상으로 수평 방향으로 연속되는 수평 라인의 개수일 수 있다.In one embodiment, the iris luminance may be the number of horizontal lines in which the number of pixels having luminance values representing the iris is greater than or equal to a reference value and continues in a horizontal direction.
본 발명의 다른 측면에 따르면, 렌즈를 고정하는 안경테 프레임 및 상기 안경테 프레임에 힌지 결합된 한 쌍의 안경 다리로 구성된 안경에 착탈가능한 스마트 안경이 제공된다. 스마트 안경은, 상기 한 쌍의 안경 다리 중 좌측 안경 다리에 착탈 가능하게 고정되고, 회동 가능한 제1 접사 카메라로 좌안 홍채 영상을 생성하고, 상기 좌안 홍채 영상을 이용하여 좌안 홍채 휘도량을 산출하며, 산출한 좌안 홍채 휘도량을 외부 전자 기기로 전송하는 제1 스마트 모듈 및 상기 한 쌍의 안경 다리 중 우측 안경 다리에 착탈 가능하게 고정되고, 회동 가능한 제2 접사 카메라로 우안 홍채 영상을 생성하고, 상기 우안 홍채 영상을 이용하여 우안 홍채 휘도량을 산출하며, 산출한 우안 홍채 휘도량을 외부 전자 기기로 전송하는 제2 스마트 모듈을 포함하되, 상기 외부 전자 기기는, 상기 좌안 홍채 휘도량 및 상기 우안 홍채 휘도량 중 어느 하나 또는 모두를 기준 휘도량과 비교하여 상기 기준 휘도량 이하이면 자극 인가 신호를 상기 제1 스마트 모듈로 전송하며, 상기 자극 인가 신호를 수신하면, 상기 제1 스마트 모듈은 사용자에게 자극을 인가할 수 있다. According to another aspect of the present invention, there are provided smart glasses detachable to glasses composed of an eyeglass frame for fixing lenses and a pair of eyeglass legs hinged to the eyeglass frame. The smart glasses are detachably fixed to the left temple of the pair of temples, generate a left eye iris image with a rotatable first macro camera, and calculate a left eye iris luminance using the left eye iris image, A right eye iris image is generated with a first smart module that transmits the calculated left eye iris luminance to an external electronic device and a second close-up camera detachably fixed to the right temple of the pair of temples and rotatable, A second smart module for calculating right eye iris luminance using the right eye iris image and transmitting the calculated right eye iris luminance to an external electronic device, wherein the left eye iris luminance and the right eye iris luminance Any one or both of the luminance amounts are compared with the reference luminance amount, and if the luminance amount is less than or equal to the reference luminance amount, a stimulus applying signal is transmitted to the first smart module, and upon receiving the stimulus applying signal, the first smart module provides the user with a stimulus. can be authorized.
본 발명의 실시예에 따른 스마트 안경은, 사용자의 상태를 측정하며, 측정된 상태에 따라 적절한 피드백을 제공함으로써, 사용자의 집중력을 유지시킬 수 있다.Smart glasses according to an embodiment of the present invention can maintain the user's concentration by measuring the user's state and providing appropriate feedback according to the measured state.
이하에서, 본 발명은 첨부된 도면에 도시된 실시예를 참조하여 설명된다. 이해를 돕기 위해, 첨부된 전체 도면에 걸쳐, 동일한 구성 요소에는 동일한 도면 부호가 할당되었다. 첨부된 도면에 도시된 구성은 본 발명을 설명하기 위해 예시적으로 구현된 실시예에 불과하며, 본 발명의 범위를 이에 한정하기 위한 것은 아니다. 특히, 첨부된 도면들은, 발명의 이해를 돕기 위해서, 일부 구성 요소를 다소 과장하여 표현하고 있다. 도면은 발명을 이해하기 위한 수단이므로, 도면에 표현된 구성 요소의 폭이나 두께 등은 실제 구현시 달라질 수 있음을 이해하여야 한다.
도 1은 홍채 인식을 통해 사용자의 집중력 저하를 검출하는 원리를 예시적으로 도시한 도면이다.
도 2는 도 1에 예시된 원리가 적용된 졸음 방지 및 집중력 강화를 위한 스마트 안경의 일 실시예를 예시적으로 도시한 도면이다.
도 3은 도 2에 예시된 졸음 방지 및 집중력 강화를 위한 스마트 안경을 기능적으로 도시한 도면이다.
도 4는 졸음 방지 및 집중력 강화를 위한 스마트 안경의 동작을 예시적으로 도시한 도면이다.
도 5는 도 1에 예시된 원리가 적용된 졸음 방지 및 집중력 강화를 위한 스마트 안경의 다른 실시예를 예시적으로 도시한 도면이다.
도 6은 도 5에 예시된 졸음 방지 및 집중력 강화를 위한 스마트 안경을 기능적으로 도시한 도면이다.Hereinafter, the present invention will be described with reference to embodiments shown in the accompanying drawings. For ease of understanding, like reference numerals have been assigned to like elements throughout the accompanying drawings. The configurations shown in the accompanying drawings are only exemplary implementations to explain the present invention, and are not intended to limit the scope of the present invention thereto. In particular, in the accompanying drawings, in order to help understanding of the invention, some components are somewhat exaggerated. Since the drawings are means for understanding the invention, it should be understood that the width or thickness of components represented in the drawings may vary in actual implementation.
1 is a diagram exemplarily illustrating a principle of detecting a decrease in concentration of a user through iris recognition.
FIG. 2 exemplarily illustrates an embodiment of smart glasses for preventing drowsiness and enhancing concentration to which the principle illustrated in FIG. 1 is applied.
FIG. 3 is a view functionally illustrating the smart glasses for preventing drowsiness and enhancing concentration illustrated in FIG. 2 .
4 is a diagram illustrating an operation of smart glasses for preventing drowsiness and enhancing concentration by way of example.
5 is a diagram exemplarily illustrating another embodiment of smart glasses for preventing drowsiness and enhancing concentration to which the principle illustrated in FIG. 1 is applied.
6 is a view functionally illustrating the smart glasses for preventing drowsiness and enhancing concentration illustrated in FIG. 5 .
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 특히, 이하에서 첨부된 도면을 참조하여 설명될 기능, 특징, 실시예들은, 단독으로 또는 다른 실시예와 결합하여 구현될 수 있다. 따라서 본 발명의 범위가 첨부된 도면에 도시된 형태에만 한정되는 것이 아님을 유의하여야 한다.Since the present invention can have various changes and various embodiments, specific embodiments are illustrated in the drawings and will be described in detail through detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In particular, the functions, features, and embodiments described below with reference to the accompanying drawings may be implemented alone or in combination with other embodiments. Therefore, it should be noted that the scope of the present invention is not limited only to the forms shown in the accompanying drawings.
한편, 본 명세서에서 사용되는 용어 중 “실질적으로”, “거의”, “약” 등과 같은 표현은 실제 구현시 적용되는 마진이나 발생가능한 오차를 고려하기 위한 표현이다. 예를 들어, “실질적으로 90도”는 90도일 때의 효과와 동일한 효과를 기대할 수 있는 각도까지 포함하는 의미로 해석되어야 한다. 다른 예로, “거의 없는”은 무엇인가가 미미하게 존재하더라도 무시할 수 있는 정도까지 포함하는 의미로 해석되어야 한다.Meanwhile, among terms used in this specification, expressions such as “substantially”, “almost”, and “about” are expressions for considering margins applied in actual implementation or possible errors. For example, "substantially 90 degrees" should be interpreted as meaning including an angle at which the same effect as that of 90 degrees can be expected. As another example, “almost none” should be interpreted to include a negligible degree of negligible presence even if something is insignificant.
한편, 특별한 언급이 없는 한, “측면”, 또는 “수평”은 도면의 좌우 방향을 언급하기 위한 것이며, “수직”은 도면의 상하 방향을 언급하기 위한 것이다. 또한, 특별히 정의되지 않는 한, 각도, 입사각 등은 도면에 표시된 수평면에 수직한 가상의 직선을 기준으로 한다. On the other hand, unless otherwise specified, "side" or "horizontal" refers to the left-right direction of the drawing, and "vertical" refers to the top-down direction of the drawing. In addition, unless otherwise specifically defined, angles, incident angles, etc. are based on a virtual straight line perpendicular to the horizontal plane shown in the drawings.
동일한 구성 요소는 도면 전체에 걸쳐 동일한 도면 번호를 이용하여 참조된다. Like elements are referred to using like reference numbers throughout the drawings.
도 1은 홍채 인식을 통해 사용자의 집중력 저하를 검출하는 원리를 예시적으로 도시한 도면이다.1 is a diagram exemplarily illustrating a principle of detecting a decrease in concentration of a user through iris recognition.
사용자, 특히, 학생은 하루에 많은 시간을 수업이나 자습 등 학습에 투자한다. 학습 효과를 높이기 위해서, 일정 수준 이상의 집중력이 학습 시간 동안 유지되는 것이 바람직하다. 하지만, 학습 시간 내내 사용자의 노력만으로 집중력을 일정 수준 이상으로 유지하기는 어렵다. 유사한 상황은 운전자에게도 발생한다. 장시간 운전으로 피곤하게 되면, 자신도 모르게 졸음 운전을 하게 된다. 따라서 사용자의 집중력을 측정하고, 정량적으로 평가하여 사용자에게 피드백을 줄 필요가 있다.Users, especially students, spend a lot of time a day studying, such as classes or self-study. In order to increase the learning effect, it is desirable that a certain level of concentration or higher be maintained during the learning time. However, it is difficult to maintain concentration at a certain level or higher only through the user's efforts throughout the learning period. A similar situation occurs with drivers. If you get tired from driving for a long time, you may become drowsy driving without realizing it. Therefore, it is necessary to measure the user's concentration, evaluate it quantitatively, and give feedback to the user.
사용자의 집중력 수준은, 눈을 다양한 방식으로 측정하여 결정될 수 있다. The user's concentration level may be determined by measuring the eyes in various ways.
먼저, 사용자의 상태에 따라 홍채에 반사된 빛의 밝기(이하 홍채 휘도량)가 달라진다는 점을 이용하여, 달라질 수 있다. 집중력이 일정 수준 이상인 경우, 홍채의 면적은 최대일 있다. 반면, 사용자가 졸리거나 피곤하다고 느끼면, 눈꺼풀에 의해 홍채의 일부가 가려지기 시작하며, 그 정도가 커질수록 더 많은 영역이 눈꺼풀에 의해 가려지게 된다. 사용자의 상태가 졸리거나 피곤해질수록 집중력이 저하된다고 간주할 수 있다. 따라서, 홍채 휘도량은 사용자의 집중력을 측정하는 기준으로 활용할 수 있다. 예를 들어, 초기 정상 상태(10a, 12a)일 때, 사용자의 홍채에서 발생되는 홍채 휘도량을 100으로 지정하고, 홍채 휘도량이 정상대비 30~60% 일때는 피곤상태(10b, 12b), 홍채 휘도량이 정상대비 30% 이하면 졸음상태(10c, 12c)로 구분할 수 있다. First, the brightness of the light reflected by the iris (hereinafter referred to as iris luminance) varies according to the user's condition, so that it can be changed. When the concentration is above a certain level, the area of the iris may be maximized. On the other hand, when the user feels sleepy or tired, a portion of the iris starts to be covered by the eyelids, and as the degree increases, more areas are covered by the eyelids. It may be considered that concentration decreases as the user becomes sleepy or tired. Therefore, the iris luminance can be used as a criterion for measuring the user's concentration. For example, in the initial normal state (10a, 12a), the iris luminance generated by the user's iris is set to 100, and when the iris luminance is 30 to 60% of the normal state, the iris in the tired state (10b, 12b), iris If the luminance is 30% or less compared to normal, it can be classified as a drowsy state (10c, 12c).
도 1을 참조하면, 홍채 휘도량은, 예를 들어, 히스토그램 방식, 라인 카운트 방식에 의해 측정될 수 있다. 홍채를 포함한 영상(이하 홍채 영상)은 카메라에 의해 생성될 수 있다. 홍채 영상에서, 화소는, 휘도(Y 값)를 포함하는 화소 성분, 예를 들어, YUV로 정의되거나, 휘도값으로 변환 가능한 화소 성분, 예를 들어, RGB로 정의될 수 있다. 홍채 영상은, 사용자의 좌안 및 우안 중 어느 하나 또는 모드를 촬영하여 얻을 수 있다. 예를 들어, 휘도값을, 8 비트로 처리할 경우, 256~200 범위의 휘도값은 눈의 흰자위, 200~100 범위의 휘도값은 눈 주변의 피부, 100 이하의 휘도값은 홍채로 설정할 수 있다. Referring to FIG. 1 , iris luminance may be measured using, for example, a histogram method or a line count method. An image including an iris (hereinafter referred to as an iris image) may be generated by a camera. In the iris image, a pixel may be defined as a pixel component including a luminance (Y value), eg, YUV, or a pixel component convertible to a luminance value, eg, RGB. The iris image may be obtained by photographing any one or mode of the user's left eye and right eye. For example, when the luminance value is processed in 8 bits, a luminance value in the range of 256 to 200 can be set to the white of the eye, a luminance value in the range of 200 to 100 to the skin around the eye, and a luminance value below 100 to the iris. .
히스토그램 방식은, 홍채 영상을 구성하는 화소의 휘도값을 이용하여, 홍채를 포함한 부분 영역(10a, 10b, 10c)내 어두운 영역의 면적을 이용한다. 히스토그램(11a, 11b, 11c)은, 홍채 영상 전체 또는 홍채를 포함한 부분 영역(10a, 10b, 10c)의 화소들의 휘도값으로 생성될 수 있다. 히스토그램(11a, 11b, 11c)에서, 상대적으로 어두운 휘도값을 갖는 화소의 수를 이용하여 홍채의 면적을 산출한다. 산출된 홍채의 면적은 홍채 휘도량에 비례할 수 있다.The histogram method uses the area of the dark region in the
라인 카운트 방식은 홍채를 나타내는 수평 라인의 수를 이용한다. 홍채 라인은 홍채를 나타내는 휘도값을 갖는 복수의 화소가 수평 방향으로 연속되며, 연속된 화소의 개수가 기준값 이상인 수평 라인이다. 여기서, 기준값은 홍채 영상의 해상도 및 영상에 표시된 홍채의 크기 등에 따라 달라질 수 있다. 예를 들어, 640x480의 해상도를 갖는 홍채 영상에서, 홍채 라인은 10개 이상의 수평 방향으로 연속된 화소로 정의될 수 있다. 제1 내지 제3 카운트 값 C1, C2, C3은 수직 방향으로 카운트한 홍채 라인의 개수이며, 홍채 휘도량에 비례할 수 있다. The line count method uses the number of horizontal lines representing the iris. An iris line is a horizontal line in which a plurality of pixels having luminance values representing the iris are consecutive in a horizontal direction and the number of consecutive pixels is greater than or equal to a reference value. Here, the reference value may vary depending on the resolution of the iris image and the size of the iris displayed on the image. For example, in an iris image having a resolution of 640x480, an iris line may be defined as 10 or more horizontally continuous pixels. The first to third count values C 1 , C 2 , and C 3 are the number of iris lines counted in the vertical direction, and may be proportional to the luminance of the iris.
추가적으로, 사용자의 집중력은 특정 상황에서 홍채의 움직임을 이용해서 측정될 수 있다. 예를 들어, 책을 읽거나 글씨를 쓰는 상황에서, 사용자의 시선은 지속적으로 바뀐다. 시선 변화는 홍채의 움직임을 필연적으로 수반한다. 홍채의 움직임은 홍채와 흰자위간 경계의 위치 변화로부터 검출될 수 있다. 예를 들어, 홍채를 나타내는 휘도값을 갖는 화소가 처음 검출되는 위치가 기준 범위를 넘어서 변경하면, 홍채가 움직였다고 판단될 수 있다. 일정 시간 동안 홍채의 움직임이 검출되지 않으면, 집중력이 일정 수준 이하가 되었다고 판단될 수 있다.Additionally, the user's concentration may be measured using iris movement in a specific situation. For example, in a situation of reading a book or writing, a user's gaze continuously changes. The change of gaze inevitably accompanies the movement of the iris. The movement of the iris can be detected from a positional change of the boundary between the iris and the white of the eye. For example, if a position at which a pixel having a luminance value representing the iris is first detected changes beyond a reference range, it may be determined that the iris has moved. When no movement of the iris is detected for a certain period of time, it may be determined that the concentration level is below a certain level.
도 2는 도 1에 예시된 원리가 적용된 졸음 방지 및 집중력 강화를 위한 스마트 안경의 일 실시예를 예시적으로 도시한 도면이다.FIG. 2 exemplarily illustrates an embodiment of smart glasses for preventing drowsiness and enhancing concentration to which the principle illustrated in FIG. 1 is applied.
도 2를 참조하면, 스마트 안경(100)은 안경테 프레임(110) 및 안경 다리(111, 112)를 포함한다. 사용자의 시력을 교정하는 렌즈는 안경테 프레임(110)에 고정된다. 안경 다리(111, 112)는, 안경테 프레임(110)의 좌우측에 힌지 결합되며, 귀에 걸쳐진 상태에서 코받침(미도시)과 함께 안경테 프레임(110)을 지지하여, 사용자의 눈 전방에 렌즈가 위치되도록 한다.Referring to FIG. 2 ,
스마트 안경(100)의 졸음 방지 및 집중력 강화를 위한 구성은 안경테 프레임(110) 및 안경 다리(111, 112)에 분산 배치된다. 사용자의 홍채를 촬영하는 접사 카메라가 안경테 프레임(110)에 배치될 수 있다. 안경 착용시 안경테 프레임(110)과 눈 사이 거리를 고려할 때, 접사 카메라의 초점 거리는 약 0.5 내지 약 2 cm일 수 있다. 왼쪽과 오른쪽 눈을 각각 촬영하기 위해서, 제1 접사 카메라(120)는 좌안 렌즈 주변에, 제2 접사 카메라(125)는 우안 렌즈 주변에 배치될 수 있다. 사용자의 시야를 방해하지 않기 위해서, 제1 접사 카메라(120)는 안경테 프레임(110)과 좌측 안경 다리(111)간 결합부에 가깝게 배치되며, 제2 접사 카메라(125)는 안경테 프레임(110)과 우측 안경 다리(112)간 결합부에 가깝게 배치될 수 있다.Components for preventing drowsiness and enhancing concentration of the
접사 카메라는 회동 가능하게 안경테 프레임(110)에 결합될 수 있다. 부분 확대된 제1 접사 카메라(120)는 제1 각도 조절 부재(121)에 결합되며, 각도 조절 부재(121)는 안경테 프레임(110)의 좌측에 형성된 홈 또는 관통 홀(130; 이하 관통 홀로 총칭함)에 적어도 부분적으로 수용된다. 제1 각도 조절 부재(121)는 관통 홀(130) 내부에서 수평 방향으로 회동 가능하여, 사용자가 제1 접사 카메라(120)의 시야(FOV)를 조절할 수 있도록 한다.The close-up camera may be rotatably coupled to the
접사 카메라(120, 125) 및 다른 구성부의 동작에 필요한 전력은 안경 다리(111, 112)에 배치된 전원(140, 145)으로부터 공급된다. 전원(140, 145)은 재충전 가능한 배터리이며, 케이블 또는 무선으로 충전될 수 있다. Power required for the operation of the close-up
자극 모듈(150) 및 착탈 감지 센서(155) 역시 안경 다리(111, 112)에 배치될 수 있다. 자극 모듈(150)이 발생할 수 있는 자극은 진동, 소리, 빛, 전기 중 어느 하나일 수 있다. 발생된 자극을 사용자에게 효과적으로 전달하기 위해서, 자극 모듈(150)은 사용자 피부와의 접촉하는 면적이 안경 다리의 다른 부분보다 상대적으로 많은 귀걸이 부분에 배치될 수 있다. 한편, 착탈 감지 센서(155)는 압력, 빛 또는 전기를 이용하여 스마트 안경의 착용 여부를 감지할 수 있다. 자극 모듈(150)과 유사하게, 귀걸이 부분에 배치될 수 있다.The
도 3은 도 2에 예시된 졸음 방지 및 집중력 강화를 위한 스마트 안경을 기능적으로 도시한 도면이다. 도 2와 중복된 설명은 생략한다.FIG. 3 is a view functionally illustrating the smart glasses for preventing drowsiness and enhancing concentration illustrated in FIG. 2 . Redundant description with FIG. 2 will be omitted.
도 3을 참조하면, 스마트 안경(100)은 제1 접사 카메라(120), 제2 접사 카메라(125), 전원(140, 145), 자극 모듈(150), 착탈 감지 센서(155), 근거리 통신 모듈(160) 및 프로세서(170)를 포함할 수 있다. Referring to FIG. 3 , the
제1 접사 카메라(120) 및 제2 접사 카메라(125)는 좌안 홍채 영상 및 우안 홍채 영상을 각각 생성한다. 제1 접사 카메라(120) 및 제2 접사 카메라(125)는 약 0.5 내지 약 2.0 cm의 초점 거리를 갖는 접사 렌즈 및 접사 렌즈의 하부에 배치되며, 가시광 대역의 빛을 수광하여 홍채 영상을 생성하는 CMOS 이미지 센서를 포함할 수 있다. 제1 접사 카메라(120) 및 제2 접사 카메라(125)는 복수의 화소 성분으로 표시되는 화소로 구성된 홍채 영상을 출력하며, 복수의 화소 성분은, 휘도를 포함하거나, 휘도로 변환 가능하다. The first
한편, 제1 접사 카메라(120) 및 제2 접사 카메라(125)는 초당 1 내지 5개의 홍채 영상(또는 프레임)을 생성한다. 통상의 이미지 센서는 초당 25~30 프레임을 생성할 수 있으나, 이는 필연적으로 소비 전력을 증가시킬 수 있다. 또한, 홍채 휘도량은 수 내지 수십 ms 단위로 측정할 필요가 있을 정도로 급격하게 변하지 않으며, 이는 홍채의 움직임 검출시에도 동일하게 적용될 수 있다. 이를 위해, 제1 접사 카메라(120) 및 제2 접사 카메라(125)의 CMOS 이미지 센서에 제공되는 구동 클럭은 프로세서(170)로부터 공급될 수 있다. CMOS 이미지 센서가 초당 25 프레임을 출력할 수 있다고 가정하면, 프레임당 약 40 ms가 소요된다. 따라서 구동 클럭은 40ms 동안 공급된 후(클럭 활성화 상태) 다음 홍채 영상을 생성할 때까지 클럭 휴면 상태가 된다. 클럭 휴면 상태 동안, 구동 클럭은 출력되지 않는다.Meanwhile, the first close-up
또한, 제1 접사 카메라(120) 및 제2 접사 카메라(125)는 둘 이상의 상이한 해상도를 갖는 제1 홍채 영상 및 제2 홍채 영상을 생성할 수 있다. 제1 홍채 영상의 해상도는 제2 홍채 영상의 해상도보다 높을 수 있다. 제1 홍채 영상은 스마트 안경 착용 직후 1회 내지 2회 생성되며, 제2 홍채 영상은 착용 기간 내내 생성될 수 있다. Also, the first close-up
전원(140, 145)은 접사 카메라(120, 125), 자극 모듈(150), 착탈 감지 센서(155), 근거리 통신 모듈(160), 및 프로세서(170)의 구동에 필요한 전력을 제공한다. 타 구성부에 비해 상대적으로 큰 체적을 가지므로, 전원(140, 145)은 좌우 안경 다리(111, 112)에 분산 배치될 수 있다. The
전원(140, 145)은 타 구성부에 비해 많은 제약을 가진다. 착용시 불편함을 유발하지 않으려면, 전원(140, 145)의 중량 및 크기는 제한되어야 한다. 하지만, 사용하는 시간 동안에는 전력을 충분히 공급할 수 있어야 한다. 한편, 미착용시에는 소비 전력이 최소로 유지되어야 한다. 이러한 제약을 해결하기 위해서, 전원(140, 145)은 착탈 감지 센서(155)와 나머지 구성부에 전력을 독립적으로 공급할 수 있다. 전원(140, 145)의 전력 공급 배선은 제1 전력선 및 제2 전력선을 포함한다. 제1 전력선은 착탈 감지 센서(155)에 전력을 항시 공급하는데 반해, 제2 전력선은 착탈 감지 센서(155)의 출력에 따라 연결 또는 개방되는 스위치를 포함한다. 따라서 착탈 감지 센서(155)가 착용을 감지하여 감지 신호를 출력하는 동안에만 제2 전력선의 스위치가 연결되어 나머지 구성부에 전력이 공급될 수 있다.The
자극 인가 신호에 의해서, 자극 모듈(150)은 자극을 사용자에게 인가한다. 자극 모듈(150)은, 자극의 종류에 따라 다양하게 선택될 수 있다. 일 실시예로, 자극 모듈(150)은 사용자에게 인가할 진동을 발생하는 진동 발생기일 수 있다. 다른 실시예로, 자극 모듈(150)은 소리를 발생하는 스피커일 수 있다. 또 다른 실시예로, 자극 모듈(150)은 미세한 전기를 사용자에게 인가하는 전극일 수 있다.In response to the stimulus application signal, the
착탈 감지 센서(155)는 스마트 안경(100)의 착용 및 분리를 검출하여 스마트 안경(100)의 구동에 필요한 전력 공급을 제어한다. 착탈 감지 센서(155)는 예를 들어, 착용시 인가되는 압력을 감지하는 압력 센서, 빛을 감지하는 광 센서, 인체로부터 발생하는 미세 전류를 감지하는 전류 센서, 인체의 저항을 측정하는 저항 센서 중 어느 하나일 수 있다. 착탈 감지 센서(155)는 사용자 피부와의 접촉으로 인한 센싱 값 변화를 이용하여 착용 및 분리를 검출한다. 따라서 착탈 감지 센서(155)는 사용자 피부와의 접촉이 쉬운 귀걸이 부분에 배치될 수 있다. 착탈 감지 센서(155)가 출력한 감지 신호는 접사 카메라(120, 125), 자극 모듈(150), 근거리 통신 모듈(160) 및 프로세서(170)에 전력을 공급하는 제2 전력선의 스위치를 연결시킨다.The attachment/
근거리 통신 모듈(160)은 스마트 안경(100)과 외부 전자 기기, 예를 들어, 스마트 폰간 통신을 수행한다. 근거리 통신 모듈(160)은 블루투스나 지그비 등의 통신 방식으로, 사용자의 스마트 폰에 설치된 앱에 검출 데이터를 전달할 수 있다. 검출 데이터는 제1 홍채 영상, 제2 홍채 영상, 및 제2 홍채 영상을 이용하여 계산된 홍채 휘도량 중 어느 하나 또는 모두를 포함할 수 있다. 계산된 홍채 휘도량을 전송하는 이유는, 소비 전력을 최소화하기 위해서이다. 한편, 근거리 통신 모듈(160)은 앱으로부터 제어 데이터를 수신할 수 있다. 제어 데이터는 자극 모듈(150)의 구동이 되는 기준 휘도량, 및 자극 인가 신호 중 어느 하나 또는 모두를 포함할 수 있다.The short-
프로세서(170)는 클럭 휴면 상태가 반복되는 구동 클럭을 접사 카메라(120, 125)에 제공하여 제1 접사 카메라(120)가 제1 좌안 홍채 영상 및 제2 좌안 홍채 영상을 그리고 제2 접사 카메라(125)가 제1 우안 홍채 영상 및 제2 우안 홍채 영상을 생성하도록 한다. 이를 위해, 프로세서(170)는 비동기 클럭 발생기를 포함할 수 있다. 프로세서(170)는 도 1을 참조하여 설명한 방식으로, 제2 좌안 및 우안 홍채 영상을 이용하여 홍채 휘도량을 산출한다. 예를 들어, 프로세서(170)는, 제2 좌안 홍채 영상 및 제2 우안 홍채 영상 중 어느 하나를 선택하여 홍채 휘도량을 산출하거나, 모두에 대한 홍채 휘도량을 산출한 후 이들의 평균을 산출할 수 있다. 추가적으로, 프로세서(170), 제2 홍채 영상으로부터 홍채 움직임을 검출할 수도 있다. 그리고 프로세서(170)는 제2 홍채 영상의 홍채 휘도량과 기준 휘도량을 비교하여, 홍채 휘도량이 기준 휘도량 이하이면, 자극 모듈(150)을 구동하는 자극 인가 신호를 출력할 수 있다. 한편, 프로세서(170)는 근거리 통신 모듈(160)을 통해 검출 데이터를 외부 전자 기기로 전송할 수 있다. The
도 4는 졸음 방지 및 집중력 강화를 위한 스마트 안경의 동작을 예시적으로 도시한 도면이다. 프로세서(170)가 자극 모듈(150)을 구동하는 실시예를 도 4를 참조하여 먼저 설명한 후, 외부 전자 기기가 자극 모듈(150)을 구동하는 실시예를 설명한다.4 is a diagram illustrating an operation of smart glasses for preventing drowsiness and enhancing concentration by way of example. An embodiment in which the
S10에서, 착탈 감지 센서(155)는 스마트 안경(100) 착용을 감지한다. 출력된 감지 신호에 의해, 나머지 구성부에 전력이 공급되어 스마트 안경(100)이 구동한다.In S10, the
S20에서, 프로세서(170)는 클럭 활성화 상태가 유지된 구동 클럭을 접사 카메라(120, 125)에 제공하여 제1 홍채 영상을 생성하도록 한다. 프로세서(170)는 제1 홍채 영상을 근거리 통신모듈(160)을 통해 외부 전자 기기로 전송한다. 외부 전자 기기에서 실행중인 앱은 제1 홍채 영상을 분석하여, 사용자의 눈 건강을 점검할 수 있다. 앱이 점검 가능한 눈 건강은, 눈의 충혈 상태, 녹내장, 백내장 등을 포함할 수 있다. 한편, 앱은 스마트 워치 또는 스마트 밴드와 같은 웨어러블 기기와 연동하여 눈 건강과 동기화된 건강 상태, 예를 들어, 심박수, 혈압, 체온 등을 점검할 수 있다.In S20 , the
S30에서, 프로세서(170)는 클럭 휴면 상태가 반복되는 구동 클럭을 접사 카메라(120, 125)에 제공하여 초당 m개(1≤m≤5)의 제2 홍채 영상을 생성하도록 한다. In S30 , the
S40에서, 프로세서(170)는 도 1을 참조하여 설명한 방식으로, 제2 홍채 영상으로부터 홍채 휘도량을 산출한다.In S40 , the
S50에서, 프로세서(170)는 산출한 홍채 휘도량을 기준 휘도량을 비교한다.In S50, the
S60에서, 비교 결과 홍채 휘도량이 기준 휘도량 이하이면, 프로세서(170)는 자극 인가 신호를 생성하여 자극 모듈(150)이 자극을 사용자에게 인가하도록 한다.In S60, if the iris luminance amount is equal to or less than the reference luminance amount as a result of the comparison, the
한편, 휘도량 비교 과정은 외부 전자 기기에서 수행될 수 있다. S40에서, 프로세서(170)는 제2 홍채 영상으로부터 홍채 휘도량을 산출하며, 산출된 홍채 휘도량을 근거리 통신 모듈(160)을 통해 외부 전자 기기로 전송할 수 있다. S50에서, 앱은 수신한 홍채 휘도량을 기준 휘도량을 비교한다. S60에서, 비교 결과 홍채 휘도량이 기준 휘도량 이하이면, 앱은 근거리 통신 모듈(160)을 통해 자극 인가 신호를 전송하여 자극 모듈(150)이 자극을 사용자에게 인가하도록 하다.Meanwhile, the luminance comparison process may be performed in an external electronic device. In S40 , the
도 5는 도 1에 예시된 원리가 적용된 졸음 방지 및 집중력 강화를 위한 스마트 안경의 다른 실시예를 예시적으로 도시한 도면이다. 도 1 내지 도 4를 참조하여 설명한 구조 및 기능과 동일한 설명은 생략하며, 차이점을 주로 설명한다.5 is a diagram exemplarily illustrating another embodiment of smart glasses for preventing drowsiness and enhancing concentration to which the principle illustrated in FIG. 1 is applied. The same descriptions as the structures and functions described with reference to FIGS. 1 to 4 will be omitted, and differences will be mainly described.
도 5를 참조하면, 스마트 안경은 공지의 안경에 탈부착 가능한 형태로 구현될 수 있다. 스마트 안경(200)은 제1 및 제2 스마트 모듈(210, 220)을 포함할 수 있다. 제1 스마트 모듈(210)은 좌측 안경 다리에 부착되어 좌안의 홍채를 촬영하며, 제2 스마트 모듈(220)은 우측 안경 다리에 부착되어 우안의 홍채를 촬영할 수 있다. 제1 및 제2 스마트 모듈(210, 220)은 대칭하는 형상 및 기능을 가질 수 있으며, 특히, 하나의 스마트 모듈만으로도 사용자 상태 측정 및 측정된 상태에 따라 적절한 피드백 제공이 가능하므로, 이하에서는 제1 스마트 모듈(210)을 주로 설명한다. Referring to FIG. 5 , smart glasses may be implemented in a detachable form to known glasses. The
제1 스마트 모듈(210)은 제1 모듈 하우징(211) 및 하우징의 일측 상부에 배치된 제1 접사 카메라(212)를 포함할 수 있다. 여기서, 하우징의 일측은 안경의 렌즈에 가깝게 배치될 수 있다. 제1 접사 카메라(212)는 제1 모듈 하우징(210)에 회동 가능하게 결합된 제1 각도 조절 부재(213)에 결합될 수 있다. The first
추가적으로, 제1 모듈 하우징(211)은 안경 다리에 탈부착 가능하게 고정되기 위한 고정 부재를 더 포함할 수 있다. 도 5에 예시된 고정 부재는 제1 모듈 하우징(211)로부터 수평 방향으로 연장되며 하방으로 절곡된 형태의 고리(214, 215)이나, 벨크로 타이, 클립, 집게 등과 같이 다양한 유형의 고정 부재도 적용될 수 있다.Additionally, the
도 6은 도 5에 예시된 졸음 방지 및 집중력 강화를 위한 스마트 안경을 기능적으로 도시한 도면이다.6 is a view functionally illustrating the smart glasses for preventing drowsiness and enhancing concentration illustrated in FIG. 5 .
제1 스마트 모듈(210)은 제1 접사 카메라(212), 제1 프로세서(216), 제1 근거리 통신 모듈(217), 제1 자극 모듈(218) 및 제1 전원(219)을 포함할 수 있으며, 제2 스마트 모듈(220)은 제2 접사 카메라(222), 제2 프로세서(226), 제2 근거리 통신 모듈(227), 제2 자극 모듈(228) 및 제2 전원(229)을 포함할 수 있다. 여기서, 제2 자극 모듈(228)은 생략될 수 있다. The first
제1 프로세서(216)는 제1 접사 카메라(212)가 촬영한 좌안의 홍채 영상을 처리하여 좌안 홍채 휘도량을 산출하며, 제2 프로세서(226)는 제2 접사 카메라(222)가 촬영한 우안의 홍채 영상을 처리하여 우안 홍채 휘도량을 산출할 수 있다. 스마트 안경(200)이 자극 적용을 결정하는 경우, 제1 프로세서(216) 및 제2 프로세서(226) 중 어느 하나 또는 모두는, 자극을 사용자에게 인가할 수 있다. 외부 전자 기기(300)에서 실행중인 앱이 자극 적용을 결정하는 경우, 좌안 홍채 휘도량은 제1 근거리 통신 모듈(217)을 통해 및 우안 홍채 휘도량은 제2 근거리 통신 모듈(227)을 통해 외부 전자 기기(300)로 전송될 수 있다. The
예시된 외부 전자 기기(300)에서 실행중인 앱을 참조하면, 사용자의 집중력은 홍채 휘도량에 비례하는 그래프로 표시되며, 가로 방향의 시간축을 따라 표시될 수 있다. 기준 집중력(310)에 비례하는 기준 휘도량보다 작은 홍채 휘도량(320)이 검출되면, 앱은 자극 인가 신호를 제1 스마트 모듈(210) 및 제2 스마트 모듈(220) 중 어느 하나 또는 모두로 전송할 수 있다. Referring to the app running in the external
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 특히, 도면을 참조하여 설명된 본 발명의 특징은, 특정 도면에 도시된 구조에 한정되는 것이 아니며, 독립적으로 또는 다른 특징에 결합되어 구현될 수 있다.The above description of the present invention is for illustrative purposes, and those skilled in the art can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. In particular, the features of the present invention described with reference to the drawings are not limited to the structures shown in the specific drawings, and may be implemented independently or in combination with other features.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts thereof should be construed as being included in the scope of the present invention. .
Claims (9)
상기 안경테 프레임의 좌측에 배치되어 좌안 홍채 영상을 생성하는 제1 접사 카메라;
상기 안경테 프레임의 우측에 배치되어 우안 홍채 영상을 생성하는 제2 접사 카메라;
상기 한 쌍의 안경 다리 중 어느 하나 또는 모두에 배치된 전원;
상기 한 쌍의 안경 다리 중 어느 하나에 배치되며 자극 인가 신호에 따라 상기 사용자에게 자극을 인가하는 자극 모듈;
상기 좌안 홍채 영상 및 상기 우안 홍채 영상 중 어느 하나 또는 모두를 이용하여 홍채 휘도량을 산출하는 프로세서; 및
상기 사용자에 의한 착용을 검출하여 상기 전원이 구동 전력을 공급하도록 제어하는 착탈 감지 센서를 포함하는 스마트 안경.In smart glasses implemented in glasses composed of a spectacle frame for fixing lenses and a pair of temples hinged to the spectacle frame,
a first macro camera disposed on the left side of the spectacle frame to generate an iris image of the left eye;
a second macro camera disposed on the right side of the spectacle frame to generate an iris image of the right eye;
a power source disposed on one or both of the pair of temples;
a stimulation module disposed on one of the pair of temples and applying a stimulation to the user according to a stimulation application signal;
a processor calculating an iris luminance using either or both of the left eye iris image and the right eye iris image; and
Smart glasses including a detachable detection sensor that detects wearing by the user and controls the power source to supply driving power.
상기 자극 인가 신호는, 상기 홍채 휘도량이 기준 휘도량 이하일 때 생성되는, 스마트 안경.The method according to claim 1, further comprising a short-range communication module for transmitting the iris luminance to an external electronic device through short-range communication and receiving the stimulus application signal from the external electronic device,
The stimulus application signal is generated when the iris luminance amount is less than or equal to the reference luminance amount, smart glasses.
상기 제1 홍채 영상은 상기 제2 홍채 영상보다 상대적으로 높은 해상도를 가지며, 그대로 상기 외부 전자 기기로 전송되며,
상기 제2 홍채 영상은 상기 홍채 휘도량 산출에 이용되는, 스마트 안경.The method according to claim 2, wherein the left eye iris image and the right eye iris image include a first iris image and a second iris image having different resolutions,
The first iris image has a relatively higher resolution than the second iris image and is transmitted to the external electronic device as it is;
The second iris image is used to calculate the iris luminance amount, smart glasses.
상기 한 쌍의 안경 다리 중 좌측 안경 다리에 착탈 가능하게 고정되고, 회동 가능한 제1 접사 카메라로 좌안 홍채 영상을 생성하고, 상기 좌안 홍채 영상을 이용하여 좌안 홍채 휘도량을 산출하며, 산출한 좌안 홍채 휘도량을 외부 전자 기기로 전송하는 제1 스마트 모듈; 및
상기 한 쌍의 안경 다리 중 우측 안경 다리에 착탈 가능하게 고정되고, 회동 가능한 제2 접사 카메라로 우안 홍채 영상을 생성하고, 상기 우안 홍채 영상을 이용하여 우안 홍채 휘도량을 산출하며, 산출한 우안 홍채 휘도량을 외부 전자 기기로 전송하는 제2 스마트 모듈을 포함하되,
상기 외부 전자 기기는, 상기 좌안 홍채 휘도량 및 상기 우안 홍채 휘도량 중 어느 하나 또는 모두를 기준 휘도량과 비교하여 상기 기준 휘도량 이하이면 자극 인가 신호를 상기 제1 스마트 모듈로 전송하며,
상기 자극 인가 신호를 수신하면, 상기 제1 스마트 모듈은 사용자에게 자극을 인가하는, 스마트 안경.In smart glasses detachable to glasses composed of a spectacle frame for fixing lenses and a pair of temples hinged to the spectacle frame,
A left eye iris image is generated by a first macro camera that is detachably fixed to the left temple of the pair of temples and is rotatable, and a left eye iris luminance is calculated using the left eye iris image, and the calculated left eye iris A first smart module that transmits the amount of luminance to an external electronic device; and
A right eye iris image is generated by a second close-up camera that is detachably fixed to the right temple of the pair of temples and is rotatable, right eye iris luminance is calculated using the right eye iris image, and the calculated right eye iris Including a second smart module for transmitting the amount of luminance to an external electronic device,
The external electronic device compares any one or both of the left eye iris luminance and the right eye iris luminance with a reference luminance, and transmits a stimulus application signal to the first smart module when the luminance is less than or equal to the reference luminance,
Upon receiving the stimulus application signal, the first smart module applies a stimulus to the user.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210080994A KR102511785B1 (en) | 2021-06-22 | 2021-06-22 | Smart glasses for preventing drowsiness and enhancing concentration |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210080994A KR102511785B1 (en) | 2021-06-22 | 2021-06-22 | Smart glasses for preventing drowsiness and enhancing concentration |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20220170216A true KR20220170216A (en) | 2022-12-29 |
KR102511785B1 KR102511785B1 (en) | 2023-03-17 |
Family
ID=84539736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210080994A KR102511785B1 (en) | 2021-06-22 | 2021-06-22 | Smart glasses for preventing drowsiness and enhancing concentration |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102511785B1 (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090092642A (en) | 2008-02-27 | 2009-09-01 | 주식회사 글맥학원 | Desk type apparatus for studying and method for studying using it |
KR20110052453A (en) * | 2009-11-11 | 2011-05-18 | 한국전자통신연구원 | Method and apparatus for driver sleepiness detecting and warning |
KR101273461B1 (en) * | 2012-09-25 | 2013-06-11 | 아이피티앤드에이 주식회사 | Glasses, terminal and method for improving concentration |
KR20150062498A (en) * | 2013-11-29 | 2015-06-08 | 현대엠엔소프트 주식회사 | A glasses type computer device that is connected to the vehicle system and its method of operation |
JP6735955B2 (en) * | 2018-05-10 | 2020-08-05 | 三菱電機株式会社 | Occupant monitoring device and occupant monitoring method |
-
2021
- 2021-06-22 KR KR1020210080994A patent/KR102511785B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090092642A (en) | 2008-02-27 | 2009-09-01 | 주식회사 글맥학원 | Desk type apparatus for studying and method for studying using it |
KR20110052453A (en) * | 2009-11-11 | 2011-05-18 | 한국전자통신연구원 | Method and apparatus for driver sleepiness detecting and warning |
KR101273461B1 (en) * | 2012-09-25 | 2013-06-11 | 아이피티앤드에이 주식회사 | Glasses, terminal and method for improving concentration |
KR20150062498A (en) * | 2013-11-29 | 2015-06-08 | 현대엠엔소프트 주식회사 | A glasses type computer device that is connected to the vehicle system and its method of operation |
JP6735955B2 (en) * | 2018-05-10 | 2020-08-05 | 三菱電機株式会社 | Occupant monitoring device and occupant monitoring method |
Also Published As
Publication number | Publication date |
---|---|
KR102511785B1 (en) | 2023-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10261542B1 (en) | Distributed augmented reality system | |
CN110520824B (en) | Multimode eye tracking | |
US11340461B2 (en) | Devices, systems and methods for predicting gaze-related parameters | |
US20190101984A1 (en) | Heartrate monitor for ar wearables | |
US20150234188A1 (en) | Control of adaptive optics | |
US20150234187A1 (en) | Adaptive optics | |
CN110716639B (en) | Electronic device with display operation based on eye movement | |
KR20190079252A (en) | Modular temple of spectacles and smart eyewear | |
KR101203921B1 (en) | Information providing apparatus using an eye tracking and local based service | |
KR20220148921A (en) | Eyewear that uses muscle sensors to determine facial expressions | |
CN107113390B (en) | Control device | |
CN111213375B (en) | Information processing apparatus, information processing method, and program | |
CN110141185A (en) | A kind of eyesight provisional monitor and the wearable device for having visual training function | |
CN110262074B (en) | Intelligent eye protection instrument | |
US11435601B2 (en) | Saccade detection and endpoint prediction for electronic contact lenses, with adjusted operation | |
JP2018134274A (en) | Information processing method, information processing device, and program | |
WO2016035952A1 (en) | Image processing device and image processing method for same | |
KR102511785B1 (en) | Smart glasses for preventing drowsiness and enhancing concentration | |
US11662574B2 (en) | Determining gaze depth using eye tracking functions | |
US20230043585A1 (en) | Ultrasound devices for making eye measurements | |
CN114948336A (en) | Augmented reality based artificial retina system | |
US10775643B2 (en) | Dynamic presbyopia correction in electronic contact lenses | |
WO2010098274A1 (en) | Head-mounted display | |
TWI830785B (en) | Glasses and Procedures | |
JP7265856B2 (en) | eyewear |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |