KR20110072263A - An apparatus for exercising ciliary muscle by detecting the line of sight in 3-dimensional display systems - Google Patents
An apparatus for exercising ciliary muscle by detecting the line of sight in 3-dimensional display systems Download PDFInfo
- Publication number
- KR20110072263A KR20110072263A KR1020090129120A KR20090129120A KR20110072263A KR 20110072263 A KR20110072263 A KR 20110072263A KR 1020090129120 A KR1020090129120 A KR 1020090129120A KR 20090129120 A KR20090129120 A KR 20090129120A KR 20110072263 A KR20110072263 A KR 20110072263A
- Authority
- KR
- South Korea
- Prior art keywords
- iris
- eye movement
- detecting
- iris position
- moved
- Prior art date
Links
- 230000001886 ciliary effect Effects 0.000 title abstract description 11
- 210000003205 muscle Anatomy 0.000 title abstract description 7
- 238000001514 detection method Methods 0.000 claims abstract description 79
- 230000004424 eye movement Effects 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 43
- 210000000554 iris Anatomy 0.000 claims description 381
- 238000005286 illumination Methods 0.000 claims description 30
- 230000000694 effects Effects 0.000 claims description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 18
- 239000011521 glass Substances 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000004438 eyesight Effects 0.000 description 10
- 238000010606 normalization Methods 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 210000004240 ciliary body Anatomy 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004377 improving vision Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B23/00—Exercising apparatus specially adapted for particular parts of the body
- A63B23/025—Exercising apparatus specially adapted for particular parts of the body for the head or the neck
- A63B23/03—Exercising apparatus specially adapted for particular parts of the body for the head or the neck for face muscles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2201/00—Characteristics of apparatus not provided for in the preceding codes
- A61H2201/10—Characteristics of apparatus not provided for in the preceding codes with further special therapeutic means, e.g. electrotherapy, magneto therapy or radiation therapy, chromo therapy, infrared or ultraviolet therapy
Landscapes
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Otolaryngology (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Description
본 발명은 홍채의 시선 검출을 통해 안구에서 수정체를 조절하는 모양체의 운동 장치 및 방법에 관한 것으로, 더욱 상세하게는 사용자가 주목하고 있는 물체의 홍채 위치를 실시간으로 파악하여 사용자의 안구 운동과 시선을 확인하고 그 물체의 위치 정보에 따라 수정체를 조절하는 반응을 하게 하여 수정체 조절에 필요한 모양체의 근육을 능동적으로 사용하게 함으로서 사용자의 시력을 개선시키는 안구의 모양체 운동 장치 및 방법에 관한 것이다. The present invention relates to a motion device and method of the ciliary body to adjust the lens in the eye through the detection of the eye of the iris, and more specifically, the eye movement and gaze of the user by grasping the position of the iris of the object of interest to the user in real time. The present invention relates to an ocular ciliary exercise device and method for improving the visual acuity of a user by identifying and controlling the lens according to the position information of the object to actively use the muscles of the ciliary body required for the lens control.
현재 과도한 시각 자료로 인하여 눈이 쉽게 피로해지며, 그로 인해 시력도 저하되고 있다. 이러한 시력 저하를 해결하기 위하여 라식과 같은 다양한 수술 등이 제안되어 왔으나 이러한 시력 교정 수술은 빛 번짐, 눈이 쉽게 충혈되는 등과 같은 부작용이 존재하고 있다. Currently, excessive visuals make the eyes tired easily, which reduces vision. Various operations such as LASIK have been proposed to solve such a drop in vision, but such vision correction surgery has side effects such as light bleeding and red eyes.
그러므로, 시력 교정 수술이 아닌 대안 방법들이 제안되고 있으며, 그 중 대표적으로 안구 운동을 통한 안구의 수정체 조절로 인하여 시력 감퇴를 예방하고 개 선할 수 있는 방안이 연구되고 있다. 수정체 운동을 이용하여 시력 교정을 하는 방법으로 특수 안경을 착용하여 시력 교정하는 방법들이 활발하게 개발되고 있으며, 실제 제품으로 판매되고 있다. 하지만 사용자가 수동적으로 지정된 위치에 시점을 이동하더라도 이를 확인할 수가 없기 때문에 지루하며, 사용자의 흥미가 반감되기 때문에 운동이 지속적으로 이루어지지 못하는 문제점이 있다. Therefore, alternative methods other than vision correction surgery have been proposed, and among them, a method for preventing and improving vision deterioration due to the control of the lens of the eye through eye movement has been studied. As a method of correcting vision using a lens movement, methods for correcting vision by wearing special glasses are being actively developed and sold as actual products. However, even if the user manually moves the viewpoint to the designated position, it is boring because it cannot be confirmed, and there is a problem that the exercise cannot be continuously performed because the user's interest is halved.
한편 종래 홍채 위치 검출 방법은 학습된 홍채 검출자를 이용하여 홍채 최종 홍채 시선을 판단하는 방법이다. 하지만 이러한 종래의 시선 홍채 검출 방법은 사용자가 안경을 착용할 경우 정확한 홍채 시선에 대한 검출율이 낮아지며, 조명 변화가 발생할 경우 대처가 어려운 문제점이 있다. Meanwhile, the conventional iris position detection method is a method of determining an iris final iris gaze using a trained iris detector. However, such a conventional gaze iris detection method has a problem that the detection rate for the correct iris gaze is lowered when the user wears glasses, and it is difficult to cope with a change in illumination.
본 발명은 조명 정규화를 통해 조명 변화 발생에 대처할 수 있는 홍채홍채 및 시선 검출 장치 및 방법을 제공한다. The present invention provides an iris and gaze detection apparatus and method that can cope with the occurrence of light changes through lighting normalization.
또한 본 발명은 홍채 검출자의 영역 별 가중치를 부여하여 홍채의 위치 유사도를 계산함으로써 사용자가 안경을 착용하더라도 홍채의 위치를 정확하게 검출할 수 있는 홍채홍채 검출 장치 및 방법을 제공한다. In another aspect, the present invention provides an iris iris detection device and method that can accurately detect the position of the iris even if the user wears glasses by calculating the position similarity of the iris by giving the weight of each area of the iris detector.
또한 본 발명은 홍채 위치 예측을 통해 사용자가 홍채를 깜빡거리더라도 홍채의 홍채 위치를 강인하게 검출할 수 있는 홍채 위치 검출 장치 및 방법을 제공한다.In addition, the present invention provides an iris position detection apparatus and method capable of robustly detecting the iris position of the iris even if the user flickers through the iris position prediction.
또한 본 발명은 사용자의 홍채 위치 및 안구 운동 상태를 감지하여 이동해야 할 위치를 3차원 그래픽으로 표시하여 사용자가 능동적으로 수정체 근육인 모양체 운동을 수행할 수 있도록 유도하여 사용자의 시력을 개선할 수 있는 모양체 운동 장치 및 방법을 제공한다.In addition, the present invention is to detect the user's iris position and eye movement state to display the position to be moved in three-dimensional graphics to induce the user to actively perform the ciliary movement of the lens muscle to improve the user's vision Provided are ciliary exercise devices and methods.
본 발명의 일실시예에 따른 모양체 운동 장치는 입력 영상 데이터에서 홍채의 위치를 검출하는 홍채 위치 검출부와, 상기 검출된 홍채의 위치와 모양체 운동을 위해 이동해야 할 시선의 위치를 비교하는 홍채 위치 비교부 및 상기 비교 결과에 따라 모양체 운동 결과를 표시하는 표시부를 포함한다.According to an embodiment of the present invention, a ciliary exercise device includes an iris position detector for detecting a position of an iris in input image data, and an iris position comparison comparing a position of the detected iris with a gaze to be moved for ciliary movement. And a display unit for displaying ciliary movement results according to the comparison result.
본 발명의 일측면에서 상기 홍채 위치 검출부는 상기 입력 영상 데이터에 대 해 조명 변화의 영향을 줄이기 위해 조명을 정규화하는 조명 정규화부와, 상기 조명 정규화된 입력 영상 데이터에서 얼굴 영역을 검출하는 얼굴 영역 검출부와, 상기 검출된 얼굴 영역에서 학습된 홍채 검출자의 영역별 가중치를 부여하여 홍채 위치 유사도를 계산하는 홍채 위치 유사도 계산부와, 상기 계산된 홍채 위치 유사도를 이용하여 다음 영상에서 홍채의 위치를 예측하는 홍채 위치 예측부 및 상기 예측된 홍채의 위치를 이용하여 사용자의 최종 시선을 판단하는 홍채 시선 판단부를 포함할 수 있다.In one aspect of the present invention, the iris position detector includes: an illumination normalizer for normalizing illumination to reduce the influence of illumination changes on the input image data; and a face region detector for detecting a face region from the illumination normalized input image data. And an iris position similarity calculator for calculating iris position similarity by assigning weights of regions of the iris detector trained in the detected face region, and predicting an iris position in a next image using the calculated iris position similarity. The iris position predictor may include an iris gaze determination unit that determines a final gaze of a user using the predicted position of the iris.
또한 본 발명의 일측면에서 상기 홍채의 위치 비교 결과에 따라 올바른 홍채 위치를 인식하고, 상기 이동해야 하는 홍채 위치를 결정하는 홍채 위치 결정부를 더 포함하고, 상기 표시부는 상기 결정된 홍채 위치에 따라 3차원 그래픽으로 안구가 이동될 위치를 표시할 수 있다. In addition, in one aspect of the present invention further comprises a iris positioning unit for recognizing the correct iris position according to the position comparison result of the iris, and determines the iris position to be moved, the display unit is three-dimensional according to the determined iris position The graphic can indicate where the eyeball will be moved.
또한 본 발명의 일측면에서 상기 표시부는 상기 검출된 홍채의 위치에 따라 올바른 방향으로 홍채의 위치가 이동된 경우 안구 운동 결과 점수를 높이고, 올바르지 않은 방향으로 홍채의 위치가 이동된 경우 상기 안구 운동 결과 점수를 낮추어 표시할 수 있다. In addition, in one aspect of the present invention, the display unit increases the eye movement result score when the position of the iris is moved in the correct direction according to the position of the detected iris, and the eye movement result when the position of the iris is moved in the wrong direction. The score can be displayed lower.
또한 본 발명의 일실시예에 따른 홍채 위치 검출 장치는 입력 영상 데이터에 대해 조명 변화의 영향을 줄이기 위해 조명을 정규화하는 조명 정규화부와, 상기 조명 정규화된 입력 영상 데이터에서 얼굴 영역을 검출하는 얼굴 영역 검출부와, 상기 검출된 얼굴 영역에서 학습된 홍채 검출자의 영역별 가중치를 부여하여 홍채 위치 유사도를 계산하는 홍채 위치 유사도 계산부와, 상기 계산된 홍채 위치 유사 도를 이용하여 다음 영상에서 홍채 위치를 예측하는 홍채 위치 예측부 및 상기 예측된 홍채 위치를 이용하여 최종 홍채 위치를 판단하는 홍채 위치 판단부를 포함한다.In addition, the iris position detection apparatus according to an embodiment of the present invention is an illumination normalization unit for normalizing the illumination in order to reduce the influence of the light change on the input image data, and a face region for detecting a face region from the illumination normalized input image data An iris position similarity calculator calculates an iris position similarity by assigning a weight to each region of a trained iris detector in the detected face region, and predicts an iris position in a next image using the calculated iris position similarity. An iris position predictor and an iris position determiner for determining a final iris position using the predicted iris position.
또한 본 발명의 일실시예에 따른 안구 운동 방법은 입력 영상 데이터에서 홍채홍채의 위치를 검출하는 단계와, 상기 검출된 홍채홍채의 위치와 안구 운동을 위해 이동해야 할 홍채의 위치를 비교하는 단계 및 상기 홍채의 위치를 비교한 결과에 따라 안구 운동 결과를 표시하는 단계를 포함한다.In addition, the eye movement method according to an embodiment of the present invention comprises the steps of detecting the position of the iris iris from the input image data, comparing the position of the detected iris iris with the position of the iris to be moved for eye movement and And displaying a result of eye movement according to a result of comparing the positions of the irises.
또한 본 발명의 일측면에서 상기 홍채의 위치를 비교한 결과에 따라 상기 이동해야 하는 홍채 위치를 결정하는 단계를 더 포함하고, 상기 안구 운동 결과를 표시하는 단계는 상기 검출된 홍채의 위치에 따라 올바른 방향으로 홍채의 위치가 이동된 경우 안구 운동 결과 점수를 높이고, 올바르지 않은 방향으로 홍채의 위치가 이동된 경우 상기 안구 운동 결과 점수를 낮추어 표시할 수 있다.The method may further include determining an iris position to be moved according to a result of comparing the positions of the irises in one aspect of the present invention, and displaying the eye movement result may be performed according to the position of the detected irises. If the position of the iris is moved in the direction to increase the eye movement result score, if the position of the iris is moved to the wrong direction can be displayed by lowering the score.
또한 본 발명의 일측면에서 상기 홍채홍채의 위치를 검출하는 단계는 상기 입력 영상 데이터에서 추출된 얼굴 영역에 대한 조명 변화의 영향을 감소시키기 위해 콘트라스트 스트레치(contrast stretch)하는 단계와, 상기 콘트라스트 스트레치된 얼굴 영역에서 홍채 모양 특징을 추출하는 단계 및 상기 추출된 홍채 모양 특징을 이용하여 홍채의 위치를 검출하는 단계를 포함한다.In addition, detecting the position of the iris iris in one aspect of the present invention comprises the steps of contrast stretch (contrast stretch) to reduce the effect of the change in illumination on the face region extracted from the input image data, and the contrast stretched Extracting the iris shape feature from the face region and detecting the position of the iris using the extracted iris shape feature.
또한 본 발명의 일측면에서 등록된 특징이 있는지 여부를 판단하는 단계와, 상기 등록된 특징이 없는 것으로 판단되면, 하-라이크 피쳐(Haar-like feature)를 이용하여 홍채를 검출하는 단계와, 상기 검출된 홍채에서 홍채 위치를 검출하는 단 계와, 상기 검출된 홍채 위치에서 홍채 모양 특징을 추출하는 단계 및 상기 추출된 홍채 모양 특징을 등록하는 단계를 더 포함할 수 있다. In addition, determining whether there is a registered feature in one aspect of the present invention, if it is determined that there is no registered feature, detecting the iris using a haar-like feature, and The method may further include detecting an iris position from the detected iris, extracting an iris shape feature from the detected iris position, and registering the extracted iris shape feature.
또한 본 발명의 일실시예에 따른 홍채 위치 검출 방법은 입력 영상 데이터에서 조명 변화의 영향을 줄이기 위해 조명을 정규화하는 단계와, 상기 조명 정규화된 입력 영상 데이터에서 얼굴 영역을 검출하는 단계와, 상기 검출된 얼굴 영역에서 학습된 홍채 검출자의 영역별 가중치를 부여하여 홍채 위치 유사도를 계산하는 단계와, 상기 계산된 홍채 위치 유사도를 이용하여 다음 영상에서 홍채 위치를 예측하는 단계 및 상기 예측된 홍채 위치를 이용하여 최종 홍채 위치를 판단하는 단계를 포함한다. In addition, the iris position detection method according to an embodiment of the present invention comprises the steps of normalizing the illumination in order to reduce the effect of the light change in the input image data, detecting a face region in the illumination normalized input image data, and the detection Calculating an iris position similarity by assigning weights to regions of the iris detector trained in the face region, predicting an iris position in a next image using the calculated iris position similarity, and using the predicted iris position Determining the final iris position.
본 발명에 따르면, 조명 정규화를 통해 조명 변화 발생에 대처할 수 있는 홍채 위치 검출 장치 및 방법을 제공할 수 있다. According to the present invention, it is possible to provide an apparatus and method for detecting an iris position that can cope with occurrence of a lighting change through lighting normalization.
또한 본 발명에 따르면, 홍채 검출자의 영역 별 가중치를 부여하여 홍채 위치 유사도를 계산함으로써 사용자가 안경을 착용하더라도 홍채 위치를 정확하게 검출할 수 있는 홍채 위치 검출 장치 및 방법을 제공할 수 있다. According to the present invention, an iris position detection apparatus and method can be provided that can accurately detect an iris position even if a user wears glasses by calculating an iris position similarity by assigning a weight to each region of the iris detector.
또한 본 발명에 따르면, 홍채 위치 예측을 통해 사용자가 홍채를 깜빡거리더라도 홍채 위치를 강인하게 검출할 수 있는 홍채 위치 검출 장치 및 방법을 제공한다.In addition, the present invention provides an iris position detection apparatus and method capable of robustly detecting the iris position even if the user blinks the iris through the iris position prediction.
또한 본 발명에 따르면, 사용자의 홍채 위치 및 안구 운동 상태를 감지하여 이동해야 할 위치를 3차원 그래픽으로 표시하여 사용자가 능동적으로 안구 운동을 수행할 수 있도록 유도하여 사용자의 시력을 개선할 수 있는 안구 운동 장치 및 방법을 제공할 수 있다.In addition, according to the present invention, by detecting the user's iris position and eye movement state to display the position to be moved in three-dimensional graphics to induce the user to actively perform the eye movement to improve the eyesight of the user Exercise devices and methods can be provided.
이하 첨부된 도면들을 참조하여 홍채 위치 검출을 통한 안구 운동 장치 및 방법을 상세하게 설명하기로 한다. Hereinafter, an apparatus and a method for eyeball movement through iris position detection will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일실시예에 따른 안구 운동 장치의 구성을 나타내는 도면이다.1 is a view showing the configuration of an eyeball movement device according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일실시예에 따른 안구 운동 장치(100)는 사용자의 홍채 위치 및 안구 운동 상태를 감지하여 이동해야 될 위치를 3차원 그래픽으로 표시하기 위해 홍채 위치 검출부(110), 홍채 위치 비교부(120), 표시부(130) 및 홍채 위치 결정부(140)를 포함한다. Referring to FIG. 1, an
홍채 위치 검출부(110)는 입력 영상 데이터에서 사용자의 홍채 위치를 검출한다. 즉, 홍채 위치 검출부(110)는 상기 입력 영상 데이터에서 얼굴 영역을 검출하고, 상기 검출된 얼굴 영역에서 사용자의 홍채 위치를 검출한다. 일례로 홍채 위치 검출부(110)는 도 2에 도시된 홍채 위치 검출 장치(200)로 구현될 수 있다. The
홍채 위치 비교부(120)는 상기 검출된 홍채의 위치와 안구 운동을 위해 이동해야 할 홍채의 위치를 비교한다. 즉, 홍채 위치 비교부(120)는 상기 검출된 홍채의 위치와 사용자가 안구 운동을 하기 위해 이동해야 하는 홍채의 위치를 비교함으로써 사용자가 올바른 안구 운동을 하는지 판단한다. The iris
표시부(130)는 상기 홍채의 위치를 비교 결과에 따라 안구 운동 결과를 표시 한다. 즉, 표시부(130)는 사용자에게 3차원 그래픽으로 안구가 이동될 위치를 표시하고, 상기 홍채의 위치를 비교한 결과에 따라 잘못된 홍채의 위치를 표시하고, 안구 운동 결과 점수를 표시한다. The
홍채 위치 결정부(140)는 상기 홍채의 위치 비교 결과에 따라 올바른 홍채 위치를 인식하고, 상기 사용자가 이동해야 하는 홍채 위치를 결정한다. The iris position determiner 140 recognizes the correct iris position according to the position comparison result of the iris, and determines the iris position to which the user should move.
표시부(130)는 홍채 위치 결정부(140)에 의해 결정된 홍채 위치에 따라 3차원 그래픽으로 안구가 이동될 위치를 표시한다. 또한 표시부(130)는 상기 검출된 홍채의 위치에 따라 올바른 방향으로 홍채의 위치가 이동된 경우 안구 운동 결과 점수를 높이고, 올바르지 않은 방향으로 홍채의 위치가 이동된 경우 상기 안구 운동 결과 점수를 낮추어 표시할 수 있다. The
이와 같이, 본 발명에 따른 안구 운동 장치(100)는 사용자의 홍채 위치 및 안구 운동 상태를 감지하여 이동해야 할 홍채의 위치를 3차원 그래픽으로 표시하고, 안구 운동 결과를 점수로 나타내어 사용자가 능동적으로 안구 운동을 수행할 수 있도록 유도하여 사용자의 시력을 개선할 수 있다. As described above, the
도 2는 본 발명의 일실시예에 따른 홍채 위치 검출 장치의 구성을 나타내는 도면이다.2 is a view showing the configuration of the iris position detection apparatus according to an embodiment of the present invention.
도 2를 참조하면, 홍채 위치 검출 장치(200)는 조명 정규화부(210), 얼굴 영역 검출부(220), 홍채 위치 유사도 계산부(230), 홍채 위치 예측부(240) 및 홍채 위치 판단부(250)를 포함한다. Referring to FIG. 2, the iris
조명 정규화부(210)는 상기 입력 영상 데이터에 대해 조명 변화의 영향을 줄 이기 위해 조명을 정규화한다. 즉, 조명 정규화부(210)는 상기 입력 영상 데이터가 조명이 밝아지거나 어두워지는 변화가 있더라도 영향을 받지 않도록 하기 위해서 조명을 정규화한다. The
얼굴 영역 검출부(220)는 상기 조명 정규화된 입력 영상 데이터에서 얼굴 영역을 검출한다. 일례로 얼굴 영역 검출부(220)는 하-라이크 피쳐(Haar-like feature) 기반 방식에 의해 상기 조명 정규화된 입력 영상 데이터로부터 얼굴 영역을 검출할 수 있다. 2차원 이미지에서 하-웨이브릿(Haar-wavelet)은 인접한 사각형들(백색 및 흑색)의 쌍이다. 피쳐 값들은 평균 백색 영역 픽셀 값(average white-region pixel value)으로부터 평균 흑색 영역 픽셀 값(average black-region pixel value)을 감산하는 것에 의해 계산될 수 있다. 계산의 복잡성을 감소시키기 위해서 적분 영상(integral image) 기술은 평균 명암도(average intensity) 계산이 이용될 수 있다. 또한 아다부스트(AdaBoost)로 알려진 부스팅 알고리즘은 얼굴 검출을 위한 신뢰할만한 특징들을 선택하기 위해 이용될 수 있다. The
홍채 위치 유사도 계산부(230)는 상기 검출된 얼굴 영역에서 학습된 홍채 검출자의 영역별 가중치를 부여하여 홍채 위치 유사도를 계산한다. 일례로 홍채 위치 유사도 계산부(230)는 상기 검출된 얼굴 영역에서 학습된 홍채 검출자의 영역별 가중치를 부여하여 수학식 1과 같이 홍채 위치 유사도를 계산할 수 있다.The iris
[수학식 1][Equation 1]
여기서, 
유사도(Sx)는 특징값(feature value)을 사용하여 계산되고, x는 얼굴 영역에서 각 픽셀의 위치이고, Dx는 얼굴 이미지 x 지점에서 등록된 홍채 모양 특징값과 추출된 특징값의 차이를 나타낸다. Similarity Sx is calculated using a feature value, x is the position of each pixel in the face region, and Dx represents the difference between the iris shape feature value and the extracted feature value at the x point of the face image. .
홍채 위치 예측부(240)는 상기 계산된 홍채 위치 유사도를 이용하여 다음 영상에서 홍채 위치를 예측한다. 홍채 위치 예측부(240)는 상기 홍채 위치 유사도 계산 결과를 이용하여 신뢰도 지도를 얻을 수 있으며, 이를 통해 홍채와 유사한 영역(코, 입 등)에 대한 영향을 최소화할 수 있는 홍채 위치를 예측한다. The
홍채 위치 판단부(250)는 상기 예측된 홍채 위치를 이용하여 최종 홍채 위치를 판단하고, 상기 판단 결과로 홍채 위치 데이터를 출력한다. 즉, 홍채 위치 판단부(250)는 상기 예측된 홍채 위치를 이용하여 홍채 위치 데이터를 출력함으로써 사용자가 어느 곳에 시점을 이동하는지를 판단한다. The
이와 같이, 본 발명에 따른 홍채 위치 검출 장치(200)는 홍채 검출자의 영역 별 가중치를 부여하여 홍채 위치 유사도를 계산함으로써 사용자가 안경을 착용하더라도 홍채 위치를 정확하게 검출할 수 있다. As described above, the iris
도 3은 본 발명의 일실시예에 따른 안구 운동 방법의 동작 흐름을 나타내는 도면이다.3 is a view showing the operation of the eyeball movement method according to an embodiment of the present invention.
도 3을 참조하면, 단계(310)에서 안구 운동 장치는 이동해야 할 홍채의 위치를 결정한다. 즉, 단계(310)에서 상기 안구 운동 장치는 사용자가 안구 운동을 하기 위해서 이동해야 할 홍채의 위치를 결정한다.Referring to FIG. 3, in
단계(320)에서 상기 안구 운동 장치는 3차원 그래픽으로 상기 결정된 홍채의 위치를 디스플레이한다. 즉, 단계(320)에서 상기 안구 운동 장치는 상기 사용자에게 안구 운동을 유도하기 위해 사용자의 안구를 이동시키고자 결정된 홍채의 위치를 3차원 그래픽으로 디스플레이한다.In
단계(330)에서 상기 안구 운동 장치는 입력 영상 데이터로부터 사용자의 홍채 위치를 검출한다. In
단계(340)에서 상기 안구 운동 장치는 상기 검출된 홍채의 위치와 안구 운동을 위해 이동해야 할 홍채의 위치를 비교한다. In
상기 안구 운동 장치는 상기 홍채의 위치를 비교한 결과에 따라 올바른 홍채의 위치를 인식하고, 상기 인식된 올바른 홍채의 위치를 상기 이동해야 할 홍채의 위치에 결정할 수 있다(310). 또한 상기 안구 운동 장치는 상기 홍채의 위치를 비교한 결과에 따라 잘못된 홍채의 위치를 3차원 그래픽으로 디스플레이할 수 있다(320). The eye movement apparatus recognizes the correct position of the iris according to the result of comparing the positions of the iris, and may determine the position of the recognized correct iris as the position of the iris to be moved (310). In addition, the eye movement device may display the position of the wrong iris in three-dimensional graphics according to the result of comparing the position of the iris (320).
단계(350)에서 상기 안구 운동 장치는 상기 홍채의 위치를 비교한 결과에 따라 안구 운동 결과를 표시한다. 일례로 단계(350)에서 상기 안구 운동 장치는 상 기 검출된 홍채의 위치에 따라 올바른 방향으로 홍채의 위치가 이동된 경우 안구 운동 결과 점수를 높이고, 올바르지 않은 방향으로 홍채의 위치가 이동된 경우 상기 안구 운동 결과 점수를 낮추어 표시할 수 있다. In
이와 같이, 본 발명에 따른 안구 운동 방법은 사용자의 홍채 위치 및 안구 운동 상태를 감지하여 이동해야 할 위치를 3차원 그래픽으로 표시하여 사용자가 능동적으로 안구 운동을 수행할 수 있도록 유도하여 사용자의 시력을 개선할 수 있다. As described above, the eye movement method according to the present invention detects the iris position and the eye movement state of the user and displays the position to be moved in three-dimensional graphics to induce the user to actively perform the eye movement to improve the eyesight of the user. It can be improved.
도 4는 본 발명의 일실시예에 따른 홍채 위치 검출 방법의 동작 흐름을 나타내는 도면이다.4 is a view showing the operation of the iris position detection method according to an embodiment of the present invention.
도 4를 참조하면, 단계(410)에서 홍채 위치 검출 장치는 입력 영상 데이터인 비디오 시퀀스에서 얼굴 영역을 검출한다. 일례로 단계(410)에서 상기 홍채 위치 검출 장치는 하-라이크 피쳐(Haar-like feature) 기반 방식에 의해 상기 입력 영상 데이터로부터 얼굴 영역을 검출할 수 있다. Referring to FIG. 4, in
단계(420)에서 상기 홍채 위치 검출 장치는 상기 검출된 얼굴 영역에 대해 콘트라스트 스트레치(contrast stretch)한다. 즉, 단계(420)에서 상기 홍채 위치 검출 장치는 상기 입력 영상 데이터에서 검출된 얼굴 영역에 대한 조명 변화의 영향을 감소시키기 위해 콘트라스트 스트레치한다. In
도 5는 얼굴 영역에 대한 검출의 일례를 나타내는 도면이다.5 is a diagram illustrating an example of detection of a face region.
도 5를 참조하면, (a)는 이미지에서 검출된 얼굴 영역을 나타내고, (b)는 검출된 얼굴 영역의 그레이 이미지(gray image)를 나타내고, (c)는 검출된 얼굴 영역 에 대한 콘트라스트 스트레칭 결과를 나타낸다. (b)에서 조명 변화의 영향에 의해 2개의 이미지(위, 아래)에 대한 명암도(intensity) 차이가 크지만 (c)에서 콘트라스트 스트레칭 결과에 의해 명암도 차이가 작다. 단계(420)에서 상기 홍채 위치 검출 장치는 (b)와 같은 조명 변화의 영향을 줄이기 위해서 (c)와 같이 상기 검출된 얼굴 영역에 대해 콘트라스트 스트레칭 알고리즘을 적용할 수 있다. Referring to FIG. 5, (a) shows a detected face area in the image, (b) shows a gray image of the detected face area, and (c) shows a contrast stretching result for the detected face area. Indicates. In (b), the intensity difference between the two images (up and down) is large due to the influence of the illumination change, but in (c) the contrast difference is small due to the contrast stretching result. In
단계(430)에서 상기 홍채 위치 검출 장치는 홍채의 위치를 검출하기 위한 홍채 모양 특징이 등록되었는지 여부를 판단한다.In
상기 특징이 등록되지 않은 것을 판단되는 경우, 단계(440)에서 상기 홍채 위치 검출 장치는 홍채 위치 검출을 위한 홍채 모양 특징을 검출하여 등록한다. 즉, 단계(440)에서 상기 홍채 위치 검출 장치는 하-라이크 피쳐(Haar-like feature) 기반 방식을 이용하여 상기 얼굴 영역에서 홍채를 검출하고(441), 상기 검출된 홍채에서 홍채 위치를 검출하고(442), 상기 검출된 홍채 위치에서 홍채 모양 특징을 추출하고(443), 상기 추출된 홍채 모양 특징을 등록한다(444). If it is determined that the feature is not registered, the iris position detection device detects and registers the iris shape feature for iris position detection in
도 6은 홍채 모양 특징의 일례를 나타내는 도면이다.6 is a diagram illustrating an example of an iris shape feature.
도 6을 참조하면, 일반적으로 인간의 홍채는 자체 명암도의 변화가 적지만 홍채와 이웃 사이의 명암도 차이가 크다. 이러한 특성을 이용하여 홍채 영역(R0)과 이웃 영역(R1~R8)으로 정의한다. 각 영역의 크기는 홍채의 크기에 의해 결정된다. 일반적으로 사람에게 홍채의 크기는 거의 변화가 없고, 얼굴의 크기에 의해 결정될 수 있다. 그러므로, 홍채의 크기는 수학식 2와 같이 얼굴의 크기와 홍채의 크기의 비에 의해 결정될 수 있다. Referring to FIG. 6, a human iris generally has a small change in its contrast, but a large difference in contrast between the iris and a neighbor. These characteristics are used to define the iris region R0 and the neighboring regions R1 to R8. The size of each area is determined by the size of the iris. In general, the size of the iris in humans is almost unchanged and can be determined by the size of the face. Therefore, the size of the iris may be determined by the ratio of the size of the face to the size of the iris as shown in Equation 2.
[수학식 2][Equation 2]
상기 홍채 위치 검출 장치는 수학식 3에 의해 중심 영역(R0)와 이웃 영역(R1~R8)과의 명암도 차이(C(i))를 계산한다. The iris position detecting apparatus calculates the difference in contrast (C (i)) between the central area R0 and the neighboring areas R1 to R8 by equation (3).
[수학식 3]&Quot; (3) "
C(i)는 중심 영역의 평균 명암도(A(R0))와 이웃 영역의 평균 명암도(A(Ri))의 차이로 정의된 특징값이다. C(0)는 모든 8개의 이웃 영역(R1~R8)의 평균 명암도와 중심 영역(R0)의 평균 명암도간의 차이이다. 명암도의 차이는 최대 이미지 값(예를 들어, 그레이 이미지인 경우 255)에 의해 정규화된다. 정규화된 후 홍채 모양 특징의 범위는 수학식 4와 같다. C (i) is a feature value defined by the difference between the average intensity A (R 0 ) of the central region and the average intensity A (R i ) of the neighboring region. C (0) is the difference between the average contrast of all eight neighboring regions R 1 to R 8 and the average contrast of the central region R 0 . The difference in contrast is normalized by the maximum image value (eg 255 for gray images). After normalization, the range of the iris shape feature is shown in Equation 4.
[수학식 4]&Quot; (4) "
홍채의 크기가 증가되면, 특징 계산의 복잡도도 증가된다. 그러므로, 적분 영상 기술은 각 영역의 평균 명암도 값을 충분히 계산하기 위해 적용된다. 상기 홍채 위치 검출 장치는 적분 영상을 이용하면, 일정한 시간에 임의의 사각형의 윈도우(arbitrary rectangular window)에 걸친 명암도의 합을 계산할 수 있다. As the size of the iris increases, the complexity of the feature calculation also increases. Therefore, integrated imaging techniques are applied to sufficiently calculate the average intensity values of each region. The iris position detection apparatus may calculate the sum of the contrast values over an arbitrary rectangular window at a given time using an integrated image.
얼굴 영역에서 홍채 모양 특징이 계산될 때 홍채 중앙의 특징 값은 다른 영역(얼굴의 다른 영역)의 특징 값보다 크다. 하지만, 홍채와 입의 특징 값도 큰 값을 가진다. 그러므로, 더 나은 2개의 홍채 모양 특징 값들의 검출을 위해 홍채 검출 이전에 왼쪽, 오른쪽 홍채의 위치를 등록한다. 상기 홍채 위치 검출 장치는 얼굴 영역의 모든 위치 특징과 등록된 특징을 비교하여 홍채가 아닌 위치를 배제하고, 정확하게 얼굴의 홍채 위치를 검출할 수 있다. When the iris shape feature is calculated in the face area, the feature value at the center of the iris is larger than that of other areas (other areas of the face). However, the characteristic values of the iris and mouth also have large values. Therefore, the position of the left and right irises is registered prior to iris detection for better detection of two iris shaped feature values. The iris position detecting apparatus compares all the positional features of the face area with the registered features to exclude the non-iris position and accurately detects the iris position of the face.
도 7은 얼굴 영역에서 홍채를 검출하는 절차의 일례를 나타내는 도면이다.7 is a diagram illustrating an example of a procedure of detecting an iris in a face region.
도 7을 참조하면, (a)는 얼굴 영역에서 홍채의 위치가 검출된 일례이고, (b)는 검출된 좌, 우 홍채에서 홍채 모양 특징 벡터들을 추출한 일례이다. Referring to FIG. 7, (a) is an example in which the position of the iris is detected in the face area, and (b) is an example in which iris shape feature vectors are extracted from the detected left and right irises.
상기 홍채 위치 검출 장치는 특징을 등록하기 위해서 첫 번째로 홍채 영역들을 추출한다. 그리고, 상기 홍채 위치 검출 장치는 상기 추출된 홍채 영역들에서 홍채의 중심 위치를 정확하게 검출한다. 마지막으로 상기 홍채 위치 검출 장치는 홍채를 뜰 때 2개의 홍채 모양 특징으로서 홍채의 위치들을 등록한다. 상기 홍채 위치 검출 장치는 도 7의 (a)에 도시된 것과 같이 홍채들을 검출하기 위한 등록에 사용되는 하-라이크 피쳐 기반 방식이 실시간으로 동작하는 동안에 특징을 등록할 필요는 없다. 홍채의 중심 위치의 홍채 모양 특징은 홍채 영상에서 가장 높다. 상기 홍채 위치 검출 장치는 이러한 특징을 이용하여 홍채의 중심 위치를 결정한다. The iris position detection device first extracts iris regions to register a feature. The iris position detection device accurately detects the center position of the iris in the extracted iris regions. Finally, the iris position detection device registers the positions of the iris as two iris shaped features when the iris is opened. The iris position detection device does not need to register a feature while the low-like feature based scheme used for registration for detecting irises, as shown in FIG. The iris shape feature at the center of the iris is highest in the iris image. The iris position detection device uses this feature to determine the center position of the iris.
상기 홍채 위치 검출 장치는 홍채의 위치를 검출할 때 홍채를 감거나 반정도 감는 경우 홍채 검출을 위한 홍채 특징으로 적합하지 않다. 홍채를 닫을 때는 홍채를 개방했을 때보다 더 작은 특징값을 가진다. 그러므로, 상기 홍채 위치 검출 장치는 폐쇄 상태에서 홍채의 위치(OC)를 수학식 5와 같이 결정한다. The iris position detection device is not suitable as an iris feature for iris detection when the iris is wound or half-wound when detecting the position of the iris. Closing the iris has a smaller feature value than opening the iris. Therefore, the iris position detecting apparatus determines the position O C of the iris in the closed state as shown in Equation 5 below.
[수학식 5][Equation 5]
여기서, C는 검출된 홍채의 중심 위치를 나타낸다.Here, C represents the center position of the detected iris.
상기 홍채 위치 검출 장치는 홍채가 폐쇄된 상태(OC=1)이면, 홍채가 개방될 때까지 다음 비디오 프레임(next video frame)을 사용하는 등록 상태를 반복한다. If the iris is closed (O C = 1), the iris position detecting device repeats the registration state using the next video frame until the iris is opened.
상기 홍채 위치 검출 장치는 개방된 홍채에서 정확하게 특징들을 추출한 후 도 7의 (b)에 도시된 것과 같이 왼쪽, 오른쪽 홍채 위치에서 2개의 특징들을 홍채 위치 매칭을 위해 등록한다. The iris position detection device accurately extracts the features from the open iris and registers the two features for iris position matching at the left and right iris positions as shown in FIG.
상기 특징이 등록된 것으로 판단된 경우, 단계(443)에서 상기 홍채 위치 검 출 장치는 상기 콘트라스트 스트레치된 얼굴 영역에서 홍채 모양 특징을 추출한다. 즉, 단계(443)에서 상기 홍채 위치 검출 장치는 홍채 모양 특징이 등록되어 있으면, 홍채의 위치를 검출하기 위해서 상기 콘트라스트 스트레치된 얼굴 영역에서 후보 홍채 모양 특징을 추출한다.If it is determined that the feature is registered, in
단계(450)에서 상기 홍채 위치 검출 장치는 상기 등록된 홍채 모양 특징들과 얼굴 영상에서 후보 홍채 모양 특징들을 비교하여 홍채의 위치를 검출한다. 상기 얼굴 영상에서 홍채의 위치일 가능성은 2개의 특징을 비교한 유사도로서 수학식 1에 의해 계산될 수 있다. 홍채의 움직임을 구별하기 위해서 도 6에 도시된 것과 같이 홍채의 옆 영역(R4,R8)의 특징 비교가 중요하다. 대부분 2개의 홍채가 유사한 경우 정확하게 홍채를 검출할 수 있지만 얼굴 영상의 중심을 기준으로 왼쪽과 오른쪽으로 분할된 경우 동일하지 않을 수 있다. In
도 8은 유사도 계산의 일례를 나타내는 도면이다.8 is a diagram illustrating an example of similarity calculation.
도 8을 참조하면, (a)는 얼굴 영상이고, (b)는 얼굴 영상의 신뢰도이고, (c)는 분할된 홍채 후보들이고, (d)는 (b)의 표면 겨냥도(surface plot)이다. Referring to FIG. 8, (a) is a face image, (b) is reliability of a face image, (c) is segmented iris candidates, and (d) is a surface plot of (b). .
단계(460)에서 상기 홍채 위치 검출 장치는 상기 검출된 홍채의 위치에 대한 정확도를 향상시키기 위해 예측 기술을 적용하여 보다 정확한 홍채의 위치를 출력한다.In
일반적으로 사용자가 장치를 볼 때 홍채의 운동은 제한되고 초점을 맞춘다. 일례로 상기 홍채 위치 검출 장치는 칼만 예측 기술(Kalman prediction technique) 로서 홍채 검출을 향상시킨다. 상기 칼만 예측 기술은 사용자가 무의식적으로 홍채를 깜빡거릴 때조차 홍채를 검출할 수 있다. In general, the movement of the iris is limited and focused when the user views the device. In one example, the iris position detection device improves iris detection as a Kalman prediction technique. The Kalman prediction technique can detect the iris even when the user unknowingly blinks the iris.
도 9는 홍채 위치의 예측에 의한 유사도 계산의 일례를 도면이다.9 is a diagram illustrating an example of similarity calculation by prediction of an iris position.
도 9를 참조하면, (a)는 칼만 예측 결과이고, (b)는 초기 유사도이고, (c)는 홍채 위치 신뢰도이다. 일례로 단계(460)에서 상기 홍채 위치 검출 장치는 상기 검출된 홍채의 위치에 대한 정확도를 향상시키기 위해 초기 유사도(b)에 예측 기술(a)을 적용하여 보다 정확한 홍채의 위치(c)를 출력할 수 있다.Referring to FIG. 9, (a) is Kalman prediction result, (b) is initial similarity, and (c) is iris position reliability. For example, in
홍채 후보는 기준값에 의해 분할될 수 있으며, 홍채를 위한 둘 이상의 후보가 분할되어 있으면, 2개의 홍채 사이의 지리 정보에 의해 홍채가 아닌 영역이 제거될 수 있다. 사용자가 장치를 볼 때 두 홍채 사이의 거리 변화가 적고, 얼굴 영상에서 두 홍채들간의 거리는 홍채들간의 물리적 거리의 코사인(cosine)이다. 상기 홍채 위치 검출 장치는 2개의 홍채 후보간의 거리가 모든 가능한 홍채들간의 거리 평균에 가장 근접한 경우 선택된 홍채의 위치가 적합한 것으로 판단할 수 있다. The iris candidate may be divided by a reference value, and if two or more candidates for the iris are divided, an area other than the iris may be removed by geographic information between the two irises. When the user sees the device, the distance change between the two irises is small, and the distance between the two irises in the face image is the cosine of the physical distance between the irises. The iris position detection apparatus may determine that the position of the selected iris is suitable if the distance between the two iris candidates is closest to the average of the distances between all possible irises.
도 10은 본 발명에 따른 홍채 위치 검출 방법과 종래 홍채 위치 검출 방법에서 환경에 따른 정확도를 비교한 일례를 나타낸다. Figure 10 shows an example of comparing the accuracy according to the environment in the iris position detection method according to the present invention and the conventional iris position detection method.
도 10을 참조하면, 일반 조명에서 안경을 쓴 경우, 일반 조명에서 안경을 쓰지 않은 경우, 어두운 조명에서 안경을 쓴 경우, 어두운 조명에서 안경을 쓰지 않은 경우 모두 본 발명에 따른 홍채 위치 검출 방법이 종래 홍채 검출 방법들에 비해 정확도가 높은 것을 파악할 수 있다. Referring to FIG. 10, in the case of wearing glasses in general lighting, not wearing glasses in general lighting, wearing glasses in dark lighting, and wearing glasses in dark lighting, the iris position detection method according to the present invention is conventional. It can be seen that the accuracy is higher than the iris detection methods.
도 11은 본 발명에 따른 홍채 위치 검출 방법과 종래 홍채 위치 검출 방법에 서 얼굴 크기에 따른 정확도를 비교한 일례를 나타낸다.11 shows an example of comparing the accuracy according to the face size in the iris position detection method according to the present invention and the conventional iris position detection method.
도 11을 참조하면, (a)는 일반 조명에서 안경을 쓴 경우로서 얼굴의 크기가 다르더라도 본 발명에 따른 홍채 위치 검출 방법이 종래 홍채 검출 방법들에 비해 정확도가 높다. (b)는 일반 조명에서 안경을 쓰지 않은 경우로서 얼굴의 크기가 다르더라도 본 발명에 따른 홍채 위치 검출 방법이 종래 홍채 검출 방법들에 비해 정확도가 높다. (c)는 어두운 조명에서 안경을 쓴 경우로서 얼굴의 크기가 다르더라도 본 발명에 따른 홍채 위치 검출 방법이 종래 홍채 검출 방법들에 비해 정확도가 높다. (d)는 어두운 조명에서 안경을 쓰지 않은 경우로서 얼굴의 크기가 다르더라도 본 발명에 따른 홍채 위치 검출 방법이 종래 홍채 검출 방법들에 비해 정확도가 높다.Referring to FIG. 11, (a) is a case of wearing glasses in general lighting, even if the size of the face is different, the iris position detection method according to the present invention has higher accuracy than the conventional iris detection methods. (b) shows a case in which the glasses are not worn in general illumination, and even though the size of the face is different, the iris position detection method according to the present invention has higher accuracy than the conventional iris detection methods. (c) is a case of wearing glasses in a dark light, even if the size of the face is different, the iris position detection method according to the present invention has a higher accuracy than the conventional iris detection methods. (d) is a case in which the glasses are not worn in a dark light, even if the size of the face is different, the iris position detection method according to the present invention has higher accuracy than the conventional iris detection methods.
이와 같이, 본 발명에 따른 홍채 위치 검출 방법은 일반 조명인 경우 어두운 조명인 경우, 안경을 쓴 경우, 안경을 쓰지 않는 경우, 얼굴의 크기가 작은 경우 또는 얼굴의 크기가 큰 경우 모두 종래 홍채 검출 방법들에 비해 정확도가 높다.As described above, the iris position detection method according to the present invention is a conventional iris detection method in the case of normal lighting, in the dark lighting, when wearing glasses, when not wearing glasses, when the size of the face is small or when the size of the face is large. Higher accuracy than the
도 12는 본 발명에 따른 홍채 위치 검출 방법과 종래 홍채 위치 검출 방법에 의한 계산 시간을 비교한 일례를 나타내는 도면이다. 12 is a view showing an example in which the calculation time by the iris position detection method according to the present invention and the conventional iris position detection method are compared.
도 12를 참조하면, 본 발명에 따른 홍채 위치 검출 방법에 의한 계산 시간은 80.31ms로서 종래 홍채 검출 방법들에 비해 더 짧아졌음을 파악할 수 있다. 12, it can be seen that the calculation time by the iris position detection method according to the present invention is 80.31 ms, which is shorter than that of the conventional iris detection methods.
이와 같이, 본 발명에 따른 홍채 위치 검출 방법은 종래 홍채 검출 방법들에 비해 정확도가 향상되고, 계산 속도도 더 빨라질 수 있다. As described above, the iris position detection method according to the present invention has an improved accuracy and a faster calculation speed than the conventional iris detection methods.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.
도 1은 본 발명의 일실시예에 따른 안구 운동 장치의 구성을 나타내는 도면이다.1 is a view showing the configuration of an eyeball movement device according to an embodiment of the present invention.
도 2는 본 발명의 일실시예에 따른 홍채 위치 검출 장치의 구성을 나타내는 도면이다.2 is a view showing the configuration of the iris position detection apparatus according to an embodiment of the present invention.
도 3은 본 발명의 일실시예에 따른 안구 운동 방법의 동작 흐름을 나타내는 도면이다.3 is a view showing the operation of the eyeball movement method according to an embodiment of the present invention.
도 4는 본 발명의 일실시예에 따른 홍채 위치 검출 방법의 동작 흐름을 나타내는 도면이다.4 is a view showing the operation of the iris position detection method according to an embodiment of the present invention.
도 5는 얼굴 영역에 대한 검출의 일례를 나타내는 도면이다.5 is a diagram illustrating an example of detection of a face region.
도 6은 홍채 모양 특징의 일례를 나타내는 도면이다.6 is a diagram illustrating an example of an iris shape feature.
도 7은 얼굴 영역에서 홍채를 검출하는 절차의 일례를 나타내는 도면이다.7 is a diagram illustrating an example of a procedure of detecting an iris in a face region.
도 8은 유사도 계산의 일례를 나타내는 도면이다.8 is a diagram illustrating an example of similarity calculation.
도 9는 홍채 위치의 예측에 의한 유사도 계산의 일례를 도면이다.9 is a diagram illustrating an example of similarity calculation by prediction of an iris position.
도 10은 본 발명에 따른 홍채 위치 검출 방법과 종래 홍채 위치 검출 방법에서 환경에 따른 정확도를 비교한 일례를 나타낸다. Figure 10 shows an example of comparing the accuracy according to the environment in the iris position detection method according to the present invention and the conventional iris position detection method.
도 11은 본 발명에 따른 홍채 위치 검출 방법과 종래 홍채 위치 검출 방법에서 얼굴 크기에 따른 정확도를 비교한 일례를 나타낸다.11 shows an example of comparing the accuracy according to the face size in the iris position detection method according to the present invention and the conventional iris position detection method.
도 12는 본 발명에 따른 홍채 위치 검출 방법과 종래 홍채 위치 검출 방법에 의한 계산 시간을 비교한 일례를 나타내는 도면이다. 12 is a view showing an example in which the calculation time by the iris position detection method according to the present invention and the conventional iris position detection method are compared.
<도면의 주요 부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
100: 안구 운동 장치100: eye movement device
110: 홍채 위치 검출부110: iris position detection unit
120: 홍채 위치 비교부120: iris position comparison unit
130: 표시부130: display unit
140: 홍채 위치 결정부140: iris positioning unit
200: 홍채 위치 검출 장치200: iris position detection device
210: 조명 정규화부210: lighting normalization unit
220: 얼굴 영역 검출부 220: face area detection unit
230: 홍채 위치 유사도 계산부 230: iris position similarity calculation unit
240: 홍채 위치 예측부240: iris position prediction unit
250: 홍채 위치 판단부250: iris position determination unit
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090129120A KR101082691B1 (en) | 2009-12-22 | 2009-12-22 | An apparatus for exercising eyeball by detecting the line of sight in 3-dimensional display systems |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020090129120A KR101082691B1 (en) | 2009-12-22 | 2009-12-22 | An apparatus for exercising eyeball by detecting the line of sight in 3-dimensional display systems |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110072263A true KR20110072263A (en) | 2011-06-29 |
| KR101082691B1 KR101082691B1 (en) | 2011-11-15 |
Family
ID=44403210
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020090129120A KR101082691B1 (en) | 2009-12-22 | 2009-12-22 | An apparatus for exercising eyeball by detecting the line of sight in 3-dimensional display systems |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101082691B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101541061B1 (en) * | 2013-01-23 | 2015-07-31 | 서울시립대학교 산학협력단 | Apparatus and method for guiding the sensory organ movements in portable terminal |
| KR101594839B1 (en) * | 2014-09-12 | 2016-02-17 | 고려대학교 산학협력단 | Method and apparatus for providing prefrontal activity game |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9953247B2 (en) | 2015-01-29 | 2018-04-24 | Samsung Electronics Co., Ltd. | Method and apparatus for determining eye position information |
| KR20190123245A (en) | 2018-04-23 | 2019-10-31 | 손영범 | Eye training apparatus using focus enlargement and reduction |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5158842B2 (en) | 2007-04-24 | 2013-03-06 | 学校法人中部大学 | Eye movement measuring method and eye movement measuring apparatus |
| DE102007056528B3 (en) | 2007-11-16 | 2009-04-02 | Seereal Technologies S.A. | Method and device for finding and tracking pairs of eyes |
-
2009
- 2009-12-22 KR KR1020090129120A patent/KR101082691B1/en not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101541061B1 (en) * | 2013-01-23 | 2015-07-31 | 서울시립대학교 산학협력단 | Apparatus and method for guiding the sensory organ movements in portable terminal |
| KR101594839B1 (en) * | 2014-09-12 | 2016-02-17 | 고려대학교 산학협력단 | Method and apparatus for providing prefrontal activity game |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101082691B1 (en) | 2011-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190094552A1 (en) | Digital Therapeutic Corrective Spectacles | |
| JP4307496B2 (en) | Facial part detection device and program | |
| US8139819B2 (en) | Eye open/close recognizing apparatus and recording medium | |
| CN111493809B (en) | Information processing device and method, glasses type terminal and storage medium | |
| JP5578603B2 (en) | Gaze control device, gaze control method, and program thereof | |
| CN110335266B (en) | Intelligent traditional Chinese medicine visual inspection image processing method and device | |
| CN101833654B (en) | Sparse representation face identification method based on constrained sampling | |
| KR101903127B1 (en) | Gaze estimation method and apparatus | |
| WO2022137603A1 (en) | Determination method, determination device, and determination program | |
| CN101908140A (en) | Biopsy method for use in human face identification | |
| WO2006035890A1 (en) | Method for detecting line of sight | |
| CN105224285A (en) | Eyes open and-shut mode pick-up unit and method | |
| KR101082691B1 (en) | An apparatus for exercising eyeball by detecting the line of sight in 3-dimensional display systems | |
| US11659987B2 (en) | Vision testing via prediction-based setting of initial stimuli characteristics for user interface locations | |
| US10867252B2 (en) | Continuous calibration based on pupil characteristics | |
| Chaudhary et al. | Motion tracking of iris features to detect small eye movements | |
| CN115590462A (en) | Vision detection method and device based on camera | |
| US10176374B2 (en) | Image processing method and apparatus | |
| CN105380590B (en) | A kind of equipment and its implementation with eye position detection function | |
| KR20190105486A (en) | System and method for evaluating ocular motility disturbance and computer readable storage medium | |
| Ying et al. | Automated localization of macula-fovea area on retina images using blood vessel network topology | |
| He et al. | Biomedical image sequence analysis with application to automatic quantitative assessment of facial paralysis | |
| CN111428680A (en) | Pupil positioning method based on deep learning | |
| CN114967128A (en) | Sight tracking system and method applied to VR glasses | |
| CN109447995B (en) | Anterior segment image segmentation method and related device thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20140923 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20151012 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |