WO2019013563A1 - Method and system for testing dynamic visual acuity - Google Patents

Method and system for testing dynamic visual acuity Download PDF

Info

Publication number
WO2019013563A1
WO2019013563A1 PCT/KR2018/007886 KR2018007886W WO2019013563A1 WO 2019013563 A1 WO2019013563 A1 WO 2019013563A1 KR 2018007886 W KR2018007886 W KR 2018007886W WO 2019013563 A1 WO2019013563 A1 WO 2019013563A1
Authority
WO
WIPO (PCT)
Prior art keywords
marker
user
head
gaze
gaze tracking
Prior art date
Application number
PCT/KR2018/007886
Other languages
French (fr)
Korean (ko)
Inventor
권순철
김정호
손호준
황이환
이재현
이승현
홍성대
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to JP2020501481A priority Critical patent/JP2020528304A/en
Publication of WO2019013563A1 publication Critical patent/WO2019013563A1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/103Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining refraction, e.g. refractometers, skiascopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography

Definitions

  • the present invention relates to a technique for inspecting a fuselage visual acuity, in which a fuselage visual acuity test for inspecting a fusiform visual acuity based on a voice of a user who reads and reads a user's gaze and a target gazing at a target of a test chart output to an optically- ≪ / RTI >
  • Patent Document 1 Korean Patent Laid-Open No. 10-2012-0052224
  • a method for inspecting a fuselage visual acuity performed by a control device connected to a head-mounted display having a line-of-sight sensor and a speech recognition sensor, Providing the head-mounted display; (b) providing the head-mounted display with a marker for displaying a specific target to be read by a user in the inspection chart; (c) displaying the gaze tracking data according to the movement of the user's gaze obtained from the gaze tracking sensor and the index indicated by the marker in accordance with the display of the marker, ; And (d) generating a visual acuity test result based on the gaze tracking data and the speech recognition data.
  • the method may further include calibrating gaze tracking data obtained from the gaze tracking sensor and an image output to the head mount display before the step (a).
  • the step of calibrating further comprises the steps of creating a calibration marker and providing it to the head-mounted display; Acquiring gaze tracking data of a user staring the calibration marker and obtaining a gaze position coordinate of a user in the display image output from the head mounted display from the gaze tracking data; And matching the position coordinate of the gaze position with the position coordinate of the marker for calibration in the display image output from the head mount display.
  • the step (b) includes setting a valid region for the specific target to display whether the user's gaze reaches a specific target, and displaying the valid region as a marker, A specific target to be read by the target is sequentially determined in the inspection chart, and a marker for displaying the target according to the determined target may be sequentially provided to the head mount display.
  • the step (d) includes: determining whether the user's line of sight is located within the effective area from the gaze tracking data; And recording the time when the user ' s line of sight reaches the effective area.
  • the step (d) may include recording the time when the voice recognition data is received.
  • the step (d) includes calculating a time difference when the user's gaze reaches the effective area and a time difference when the voice recognition data is received, wherein the marker is sequentially provided If a plurality of time differences are calculated, an average of the plurality of time differences can be calculated.
  • the step (d) may include detecting an error for each of the vertical inspection and the horizontal inspection based on the speech recognition data and the mark indicated by the marker on the inspection chart, and calculating the total number of errors .
  • a system for inspecting a fuselage comprising: a head-mounted display including a line-of-sight sensor and a speech recognition sensor; And a control device connected to the head mount display, wherein the control device comprises: a test chart transmitting unit for generating a test chart and providing the test chart to the head mount display; A marker providing unit for providing the head mount display with a marker for displaying a specific target to be read by the user in the inspection chart; The visual track data corresponding to the movement of the user's gaze obtained from the visual tracker and the voice recognition data obtained from the voice recognition sensor as the user reads the index indicated by the marker, A data receiving unit; And a fuselage visual acuity measuring unit for generating a fusiform visual acuity test result based on the gaze tracking data and the speech recognition data.
  • the control device may further include a calibration unit for calibrating gaze tracking data obtained from the gaze tracking sensor and an image output to the head mounted display.
  • the calibrating unit generates and provides a calibration marker to the head-mounted display, acquires gaze tracking data of a user staring at the marker for calibration, and displays, from the gaze tracking data, And the position coordinate of the eye mark position in the display image output from the head mount display can be matched with the position coordinate of the eye mark position in the display image output from the head mount display.
  • the marker providing unit sets a valid region for the specific target to determine whether the user's gaze reaches a specific target, displays the valid region as a marker, and the specific target to be read by the user is
  • the marker is sequentially determined in the inspection chart, and a marker for displaying the target according to the determined specific target may be sequentially provided to the head mount display.
  • the fuselage visual acuity measuring unit may determine from the gaze tracking data whether the user's line of sight is located within the effective area, and record the time when the user's line of sight reaches the effective area.
  • the fusiform visual acuity measuring unit may record a time when the speech recognition data is received.
  • the fuselage visual acuity measuring unit calculates a time difference when the user's gaze reaches the effective area and a time difference when the user's voice recognition data is received, The average of the plurality of time differences can be calculated.
  • the moving body visual acuity measuring unit may detect an error for each of the vertical inspection and the horizontal inspection on the basis of the voice recognition data and the mark indicated by the marker on the inspection chart, thereby calculating the total number of errors.
  • the conventional dynamic visual acuity test chart is outputted through the optically transmissive head-mounted display, there is an effect that the visual acuity test of the fuselage close to life can be performed.
  • a virtual test chart is mixed and provided in a real world using an optically transmissive head-mounted display, so that visual activities performed by a user in daily life can be given to a living body vision test environment, It is possible to implement an in-vivo visual acuity test system, and thus the practical and practical aspects of the visual acuity test system are enhanced.
  • FIG. 1 is a block diagram of a vision system for a fuselage vision system according to a preferred embodiment of the present invention
  • FIG. 2 is a view for explaining a head-mounted display according to an embodiment.
  • FIG. 3 is a block diagram of a controller according to one embodiment.
  • FIG. 4 is a flowchart illustrating a method of inspecting a fusiform body vision according to an exemplary embodiment.
  • FIG. 5 is a diagram illustrating an environment in which a fusiform vision visual inspection method according to an embodiment is performed.
  • FIG. 6 is a schematic diagram showing the Landolt C target.
  • FIG. 8 is an exemplary diagram for explaining providing a marker.
  • Fig. 9 is an exemplary diagram for explaining how to measure the time when the line of sight reaches the effective area.
  • first, second, etc. are used to describe various elements, components and / or sections, it is needless to say that these elements, components and / or sections are not limited by these terms. These terms are only used to distinguish one element, element or section from another element, element or section. Therefore, it goes without saying that the first element, the first element or the first section mentioned below may be the second element, the second element or the second section within the technical spirit of the present invention.
  • each step the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, and the identification code does not describe the order of each step, Unless the order is described, it may happen differently from the stated order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.
  • the identification code e.g., a, b, c, etc.
  • Dynamic Visual Acuity refers to the ability of an object or an observer to see an object in motion. Types of visual acuity include the following: Saccadic Eye Movement, Pursuit Eye Movement, Vestibular-ocular Reflex, Visual Fixation, and the like. In the inspection system, impulsive eye movements are measured.
  • Impulsive eye movement refers to the movement of the pupil to position the image of a moving object in the center of the retina.
  • the movement of the eyeball when you want to move your gaze from an object you are already watching to another is your impulsive eyeball movement.
  • impulsive eye movements refer to eye movements that place an image of an object other than the center of the eye in the center of the eye. Reading belongs to a typical impulsive eye movement.
  • Clinically normal impulsive eye movements are faster than those of the follow - up eye movements and the upward movements, which are about 300 seconds per second and 30 seconds per second.
  • Impulsive eye movements have higher speed and longer duration of eye movement. For example, turning a pupil by 40 degrees than turning a pupil by 5 degrees is faster and longer.
  • the starting point of the exercise is fast and the ending is slowing down.
  • the ending is slowing down.
  • impulsive eye movement especially when reading, middle and middle words are read and read, skip by one line, and reading position is lost.
  • you move your head and read a book, or when you play ball you will not be able to catch or catch the ball because your eyes and hands do not cooperate.
  • FIG. 1 is a block diagram of a vision system for a fuselage vision system according to a preferred embodiment of the present invention
  • the fusiform vision system 100 includes a head mound display 110 and a control device 120, and the head mounted display 110 and the control device 120 are connected to each other via a network.
  • a head mounted display (HMD) 110 is a device mounted on a user's head for displaying a virtual reality or augmented reality, and outputs a test chart for examining the visual acuity .
  • the head-mounted display 110 may include a line-of-sight sensor 111, e.g., a camera capable of tracking the user's line of sight, and a speech recognition sensor 112, e.g., a microphone.
  • the line-of-sight sensor 111 senses and tracks movement of the line of sight of the user wearing the head-mounted display 110, and the voice recognition sensor 112 can sense and recognize the voice of the user reading the target.
  • the line-of-sight sensor 111 may be provided with two lines for tracking the line of sight of the user's right eye and the left eye.
  • the head mount display 110 may include a GPS, a geomagnetic sensor, a gyroscope sensor, and the like.
  • the head-mounted display 110 is capable of outputting a test chart to an augmented reality corresponding to an optical see-through head-mounted display.
  • the head mount display 110 corresponding to the optically transmissive head mount display displays a test chart provided from the controller 120 through an image output unit (for example, a mini projector)
  • the inspection chart outputted through the image output unit can be mixed with the image of the actual environment passing through the prism and can be displayed to the user. That is, the user can view an augmented reality image mixed with a test chart in an actual environment.
  • the speech recognition sensor 112 is included in the head mount display 110, the speech recognition sensor 112 may be coupled to the head mount display 110 or the control device 120 May be implemented as separate components or devices.
  • the controller 120 is connected to the head mount display 110 to perform a visual inspection of the body.
  • the control device 120 generates and provides a test chart for performing a fusiform visual acuity test to the head-mounted display 110, and the line-of-sight sensor 111 and the speech recognition sensor 112
  • the visual acuity of the fuselage may be measured based on the line-of-sight tracking data and the speech recognition data obtained from the fuselage visual acuity data and the fusional sight test result.
  • FIG. 3 is a block diagram of a controller according to one embodiment.
  • the control device 120 includes a test chart transmitting unit 121, a marker providing unit 122, a data receiving unit 123, a moving body visual acuity measuring unit 124, and a control unit 125.
  • the control unit 125 controls the operation of the test chart transmitting unit 121, the marker providing unit 122, the data receiving unit 123, and the moving body visual acuity measuring unit 124 and the flow of data.
  • a method of inspecting a visual body of a moving body performed by the control device 120 will be described in detail with reference to FIGS.
  • the user wears the head-mounted display 110 and displays the image of the real environment through the head-mounted display 110 It is possible to examine the visual acuity of the fuselage while viewing the test chart outputted to the augmented reality.
  • the test chart may be provided, for example, as a King-Devic chart or a DEM (Developmental eye movement) chart, and the test chart target may be a 1.5 mm inner diameter Can be applied based on the built-in convex lens or prism magnification when viewing the test chart through the head mount display 110 based on the Landolt C test chart which defines the visual acuity and the time to discriminate between the visual acuity and the visual acuity.
  • OTF Open Type Font
  • OTF Open Type Font
  • the OTF method produces a curved line with a three-dimensional Bézier method, and a detailed curve can be expressed although the calculation process is complicated and the expression speed is slow.
  • the controller 120 controls the calibration unit (not shown) for calibrating the gaze tracking data obtained from the gaze tracking sensor 111 and the image output to the head mounted display 110 .
  • the calibration section generates a marker for calibration and provides it to the head mount display 110.
  • the calibration unit can generate a 5X5 calibration marker, and the generated calibration marker is sequentially displayed on the head-mounted display (FIG. 7B) 110).
  • the calibration unit acquires the gaze tracking data of the user gazing at the marker for calibration, and detects the gaze tracking data from the gaze tracking data in the display image output from the head- And aligns the position coordinates of the visual axis position with the position coordinates of the markers for calibration in the display image output from the head mount display 110. [ For example, as shown in (b) of FIG.
  • the user gazes at the marker for calibration # 1 when a marker for calibration # 1 is provided, the user gazes at the marker for calibration # 1, and the calibration unit obtains, from the obtained gaze tracking data, It is possible to acquire the user's gaze position coordinate indicating where the gaze is gazing and to match the gaze position coordinate of the user with the position coordinate of the marker for No. 1 calibration. Then, for the second calibration marker and the remaining calibration markers, the user's gaze position coordinate and the marker's position coordinate can be matched in the same manner, so that the area where the user looks at the gaze and the head mount display 110 can be completed.
  • test chart transmitting unit 121 generates a test chart and provides it to the head mount display (step S410).
  • the marker providing unit 122 displays a specific target to be read by the user in the test chart To the head mount display 110 (step S420).
  • the marker providing unit 122 may set a valid region for a specific target and display the valid region as a marker in order to determine whether or not the user's gaze reaches a specific target.
  • the marker providing unit 122 sets the effective area as indicated by a red box for the targets "5" and "9" in the inspection chart, A marker corresponding to the red box may be provided to the head mount display 110. [ That is, the user can see a test chart marked with a marker for a specific target on the head mount display 110 as shown in FIG.
  • the specific target to be read by the user is determined sequentially in the inspection chart, and markers for displaying the target according to the determined specific target are sequentially provided to the head mount display 110.
  • markers for displaying the target according to the determined specific target are sequentially provided to the head mount display 110.
  • the data receiving unit 123 receives the gaze tracking data and the marker indicated by the marker obtained by the gaze tracking sensor 111 from the gaze tracking sensor 111 and acquires the gaze tracking data from the voice recognition sensor 112 (Step S430).
  • the fuselage visual acuity measuring unit 124 generates a fuselage visual acuity test result based on the gaze tracking data and the speech recognition data (step S440).
  • the fuselage visual acuity measuring unit 124 determines whether the user's line of sight is located within the effective area from the line-of-sight trace data, records the time when the user's line of sight reaches the effective area, 124 may record the time at which the voice recognition data is received.
  • the time to be recorded can be measured in units of 1/100 second, and can be recorded in the form of HH: MM 'SS' '. Ss.
  • the moving body visual acuity measuring unit 124 measures It is possible to determine whether or not the user's line of sight reaches the effective area on the basis of the line-of-sight trace data corresponding to the movement of the user's line of sight received by the data receiving unit 123. For example, as shown, when the user's line of sight indicated by the black dot enters the effective area indicated by the red box, it can be determined that the user's line of sight has reached the effective area. When the user's line of sight reaches the effective area, the fusiform visual acuity measuring unit 124 can measure the time.
  • the fusiform visual acuity measuring unit 124 measures the time at which the user's gaze reaches the effective area of the target & For example, 00: 00'35 ".99 can be recorded.
  • the user can check the visual acuity of the body of the user
  • the unit 124 can record the time when the speech recognition data is received.
  • the fuselage visual acuity measuring unit 124 may calculate the time when the user's line of sight reaches the effective area and the time difference when the speech recognition data is received using the following equation (1).
  • the fusiform visual acuity measuring unit 124 may calculate an average of a plurality of time differences using the following Equation (2).
  • the fusiform visual acuity measuring unit 124 can calculate the average of the time difference values.
  • adr time is the time when the speech recognition data is received
  • tdr time is the time when the line of sight reaches the effective area
  • diff time is the time difference
  • cn is the number of the target
  • average difftime is the average value of the time differences.
  • the moving body visual acuity measuring unit 124 may calculate the total number of errors by detecting an error for each of the vertical inspection and the horizontal inspection based on the voice recognition data and the index indicated by the marker on the inspection chart.
  • the moving body visual acuity measuring unit 124 can convert the voice in the voice recognition data into text using the STT (Speech To Text) algorithm.
  • the visual inspection of the fuselage consists of a vertical inspection using a vertical test chart and a horizontal test using a horizontal test chart.
  • the fuselage visual acuity test result can be generated on the basis of the time required for reading, that is, the test execution time, the wrong number calculated by comparing the voice data and the inspection chart, the number read repeatedly, and the number omitted.
  • the control device 120 can calculate the total number of errors by detecting an error for each of the vertical inspection and the horizontal inspection based on the voice recognition data received from the voice recognition sensor 112 and the inspection chart.
  • the total number of errors can be calculated by Equation 3 below, where Total Errors is the total number of errors, s is the number read incorrectly, o is the number read out, The number, and t, is the number that is read.
  • control device 120 may calculate the adjustment time based on the inspection execution time and the number of errors detected for each of the vertical inspection and the horizontal inspection.
  • ADJ Time is the adjustment time
  • Time is the test execution time
  • cn is the number of the target
  • o is the number read out
  • a is Additional readings.
  • the number of errors and the adjustment time analyzed on the basis can be provided as a result of the fuselage visual acuity test.
  • the present invention it is possible not only to determine the visual acuity of the fuselage but also to judge whether the action is fast despite the good fuselage visual acuity, or whether the behavior is slow or the fusiform visual acuity is poor.
  • the method of inspecting a fuselage visual acuity can also be implemented as a computer-readable code on a computer-readable recording medium.
  • a computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
  • the computer-readable recording medium includes a ROM, a RAM, a CD-ROM, a magnetic tape, a hard disk, a floppy disk, a removable storage device, a nonvolatile memory, , And optical data storage devices.
  • the computer readable recording medium may be distributed and executed in a distributed manner in a computer system connected to a computer network, and may be stored and executed in a code that can be read in a distributed manner.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Disclosed, in the present invention, is a method for testing dynamic visual acuity performed in a control device connected with a head-mount display having an gaze tracking sensor and a voice recognition sensor, the method comprising: (a) a step of generating a test chart and providing the same to the head-mount display; (b) a step of providing, to the head-mount display, a marker for displaying, in the test chart, a specific visual target to be read by a user; (c) a step of receiving gaze tracking data on the movement of the user's gaze obtained from the gaze tracking sensor according to the display of the marker, and voice recognition data obtained from the voice recognition sensor as the user reads the visual target displayed by the marker; and (d) a step of generating a dynamic visual acuity test result on the basis of the gaze tracking data and the voice recognition data.

Description

동체 시력 검사 방법 및 시스템Fuselage Visual Inspection Method and System
본 발명은 동체 시력 검사 기술에 관한 것으로써, 광학 투과식 헤드 마운트 디스플레이에 출력된 검사차트의 시표를 응시하는 사용자의 시선 및 시표를 보고 읽는 사용자의 음성을 기초로 동체 시력을 검사하는 동체 시력 검사 방법 및 시스템에 관한 것이다.[0001] The present invention relates to a technique for inspecting a fuselage visual acuity, in which a fuselage visual acuity test for inspecting a fusiform visual acuity based on a voice of a user who reads and reads a user's gaze and a target gazing at a target of a test chart output to an optically- ≪ / RTI >
시기능은 스포츠 비전, 운전 등에 영향을 미친다. 특히, 고령화 사회로 접어들면서 시기능의 저하등의 사유로 인해 노인들의 교통사고가 문제시 되고 있으며, 이로 인해 시기능 훈련 장비들이 주목 받고 있다. 그러나 시기능 훈련 및 평가 차트들은 아날로그적 장비에 머물러 있다. 예를 들어, 종래의 시기능 훈련 장비인 Push-up bar, Aperture rule, Eccentric circles, Brock string, Flipper 등은 광학 렌즈, 막대, 프린트 시표를 이용하고 있고, DEM 차트, 또는 K-D 차트에 해당하는 종래의 하드카피 기반의 동체 시력검사는 헤드가 고정된 상태에서 동체시력을 검사하는 바, 기술적 진보에 비하여 시기능 훈련 장비 및 평가 차트들의 개발은 부족한 상황이다. 따라서, 사용자의 실제적 환경을 반영하여 실용적 측면을 강화한 동체 시력 검사 방식의 개발이 요구된다.The visibility affects sports vision, driving and so on. Especially, as the age of aging society has fallen due to reasons such as the decline in the ability of the elderly, traffic accidents are becoming a problem. However, visual training and evaluation charts remain in analog equipment. For example, conventional push-up bar, aperture rule, Eccentric circles, Brock string, Flipper, etc. are using optical lenses, rods, and print targets. The hardcopy-based fuselage vision test inspects the fuselage vision while the head is fixed. Therefore, development of the visual training equipment and evaluation charts is insufficient compared to the technological progress. Therefore, it is required to develop a visual inspection method of the fuselage which realizes a practical aspect by reflecting the actual environment of the user.
[선행기술문헌][Prior Art Literature]
[특허문헌][Patent Literature]
(특허문헌 1) 한국공개특허 제10-2012-0052224(Patent Document 1) Korean Patent Laid-Open No. 10-2012-0052224
본 발명의 목적은 음성인식센서 및 시선추적센서를 포함하는 광학 투과식 헤드 마운트 디스플레이를 이용하여 사용자의 시선이 시표에 도달하는 시간과 사용자가 음성으로 시표를 읽는 시간과의 차이를 기초로 충동안구운동을 측정하는 동체 시력 검사 방법 및 시스템을 제공하는데 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an impulse-type head-mounted display that uses an optically transmissive head-mounted display including a voice recognition sensor and a gaze tracking sensor to measure the time required for a user's gaze to reach a target, And to provide a method and a system for inspecting a fusiform body for measuring movement.
상기 목적을 달성하기 위한 본 발명의 제1 측면은, 시선추적센서 및 음성인식센서를 구비하는 헤드 마운트 디스플레이와 연결되는 제어장치에서 수행되는 동체 시력 검사 방법에 있어서, (a) 검사차트를 생성하여 상기 헤드 마운트 디스플레이에 제공하는 단계; (b) 상기 검사차트에서 사용자에 의하여 읽혀질 특정 시표를 표시하기 위한 마커를 상기 헤드 마운트 디스플레이에 제공하는 단계; (c) 상기 마커의 표시에 따라, 상기 시선추적센서로부터 획득된 상기 사용자의 시선의 이동에 따른 시선추적데이터 및 상기 마커로 표시된 시표를 사용자가 읽음에 따라 상기 음성인식센서로부터 획득된 음성인식데이터를 수신하는 단계; 및 (d) 상기 시선추적데이터 및 음성인식데이터를 기초로 동체 시력 검사 결과를 생성하는 단계를 포함한다.According to a first aspect of the present invention, there is provided a method for inspecting a fuselage visual acuity performed by a control device connected to a head-mounted display having a line-of-sight sensor and a speech recognition sensor, Providing the head-mounted display; (b) providing the head-mounted display with a marker for displaying a specific target to be read by a user in the inspection chart; (c) displaying the gaze tracking data according to the movement of the user's gaze obtained from the gaze tracking sensor and the index indicated by the marker in accordance with the display of the marker, ; And (d) generating a visual acuity test result based on the gaze tracking data and the speech recognition data.
바람직하게, 상기 (a) 단계 이전에 상기 시선추적센서로부터 획득되는 시선추적데이터와 상기 헤드 마운트 디스플레이에 출력되는 영상을 캘리브레이션하는 단계를 더 포함할 수 있다.Preferably, the method may further include calibrating gaze tracking data obtained from the gaze tracking sensor and an image output to the head mount display before the step (a).
바람직하게, 상기 캘리브레이션하는 단계는 캘리브레이션용 마커를 생성하여 상기 헤드 마운트 디스플레이에 제공하는 단계; 상기 캘리브레이션용 마커를 응시하는 사용자의 시선추적데이터를 획득하고, 상기 시선추적데이터로부터 상기 헤드 마운트 디스플레이에서 출력된 디스플레이 영상 내에서의 사용자의 시선 위치 좌표를 획득하는 단계; 및 상기 시선 위치 좌표와 상기 헤드 마운트 디스플레이에서 출력된 디스플레이 영상 내에서의 상기 캘리브레이션용 마커의 위치 좌표를 일치시키는 단계를 포함할 수 있다.Preferably, the step of calibrating further comprises the steps of creating a calibration marker and providing it to the head-mounted display; Acquiring gaze tracking data of a user staring the calibration marker and obtaining a gaze position coordinate of a user in the display image output from the head mounted display from the gaze tracking data; And matching the position coordinate of the gaze position with the position coordinate of the marker for calibration in the display image output from the head mount display.
바람직하게, 상기 (b) 단계는 상기 사용자의 시선이 특정 시표에 도달하는지 여부를 판단하기 위하여 상기 특정 시표에 대한 유효영역을 설정하고, 상기 유효영역을 마커로 표시하는 단계를 포함하되, 상기 사용자에 의하여 읽혀질 특정 시표는 검사차트 내에서 순차적으로 결정되고, 결정된 특정 시표에 따라 해당 시표를 표시하기 위한 마커는 상기 헤드마운트 디스플레이에 순차적으로 제공될 수 있다. Preferably, the step (b) includes setting a valid region for the specific target to display whether the user's gaze reaches a specific target, and displaying the valid region as a marker, A specific target to be read by the target is sequentially determined in the inspection chart, and a marker for displaying the target according to the determined target may be sequentially provided to the head mount display.
바람직하게, 상기 (d) 단계는 상기 시선추적데이터로부터 상기 사용자의 시선이 상기 유효영역 내에 위치하는지 여부를 판단하는 단계; 및 상기 사용자의 시선이 상기 유효영역 내에 도달하는 때의 시간을 기록하는 단계를 포함할 수 있다.Preferably, the step (d) includes: determining whether the user's line of sight is located within the effective area from the gaze tracking data; And recording the time when the user ' s line of sight reaches the effective area.
바람직하게, 상기 (d) 단계는 상기 음성인식데이터를 수신하는 때의 시간을 기록하는 단계를 포함할 수 있다.Advantageously, the step (d) may include recording the time when the voice recognition data is received.
바람직하게, 상기 (d) 단계는 상기 사용자의 시선이 상기 유효영역 내에 도달하는 때의 시간 및 상기 음성인식데이터를 수신하는 때의 시간 차이를 산출하는 단계를 포함하되, 상기 마커가 순차적으로 제공됨에 따라 복수의 시간 차이들이 산출되면, 상기 복수의 시간 차이들의 평균이 산출될 수 있다.Preferably, the step (d) includes calculating a time difference when the user's gaze reaches the effective area and a time difference when the voice recognition data is received, wherein the marker is sequentially provided If a plurality of time differences are calculated, an average of the plurality of time differences can be calculated.
바람직하게, 상기 (d) 단계는 상기 음성인식데이터 및 상기 검사차트상에서 상기 마커로 표시된 시표를 기초로 수직 검사 및 수평 검사 각각에 대하여 에러를 검출하여 전체 에러 개수를 산정하는 단계를 포함할 수 있다.The step (d) may include detecting an error for each of the vertical inspection and the horizontal inspection based on the speech recognition data and the mark indicated by the marker on the inspection chart, and calculating the total number of errors .
상기 목적을 달성하기 위한 본 발명의 제2 측면은, 동체 시력 검사 시스템으로써, 시선추적센서 및 음성인식센서를 구비하는 헤드 마운트 디스플레이; 및 상기 헤드 마운트 디스플레이와 연결되는 제어장치를 포함하되, 상기 제어장치는, 검사차트를 생성하여 상기 헤드 마운트 디스플레이에 제공하는 검사차트 전송부; 상기 검사차트에서 사용자에 의하여 읽혀질 특정 시표를 표시하기 위한 마커를 상기 헤드 마운트 디스플레이에 제공하는 마커 제공부; 상기 마커의 표시에 따라, 상기 시선추적센서로부터 획득된 상기 사용자의 시선의 이동에 따른 시선추적데이터 및 상기 마커로 표시된 시표를 사용자가 읽음에 따라 상기 음성인식센서로부터 획득된 음성인식데이터를 수신하는 데이터 수신부; 및 상기 시선추적데이터 및 음성인식데이터를 기초로 동체 시력 검사 결과를 생성하는 동체 시력 측정부를 포함한다.According to a second aspect of the present invention, there is provided a system for inspecting a fuselage, comprising: a head-mounted display including a line-of-sight sensor and a speech recognition sensor; And a control device connected to the head mount display, wherein the control device comprises: a test chart transmitting unit for generating a test chart and providing the test chart to the head mount display; A marker providing unit for providing the head mount display with a marker for displaying a specific target to be read by the user in the inspection chart; The visual track data corresponding to the movement of the user's gaze obtained from the visual tracker and the voice recognition data obtained from the voice recognition sensor as the user reads the index indicated by the marker, A data receiving unit; And a fuselage visual acuity measuring unit for generating a fusiform visual acuity test result based on the gaze tracking data and the speech recognition data.
바람직하게, 상기 제어장치는 상기 시선추적센서로부터 획득되는 시선추적데이터와 상기 헤드 마운트 디스플레이에 출력되는 영상을 캘리브레이션하는 캘리브레이션부를 더 포함할 수 있다.The control device may further include a calibration unit for calibrating gaze tracking data obtained from the gaze tracking sensor and an image output to the head mounted display.
바람직하게, 상기 캘리브레이션부는 캘리브레이션용 마커를 생성하여 상기 헤드 마운트 디스플레이에 제공하고, 상기 캘리브레이션용 마커를 응시하는 사용자의 시선추적데이터를 획득하고, 상기 시선추적데이터로부터 상기 헤드 마운트 디스플레이에서 출력된 디스플레이 영상 내에서의 사용자의 시선 위치 좌표를 획득하고, 상기 시선 위치 좌표와 상기 헤드 마운트 디스플레이에서 출력된 디스플레이 영상 내에서의 상기 캘리브레이션용 마커의 위치 좌표를 일치시킬 수 있다.Preferably, the calibrating unit generates and provides a calibration marker to the head-mounted display, acquires gaze tracking data of a user staring at the marker for calibration, and displays, from the gaze tracking data, And the position coordinate of the eye mark position in the display image output from the head mount display can be matched with the position coordinate of the eye mark position in the display image output from the head mount display.
바람직하게, 상기 마커 제공부는 상기 사용자의 시선이 특정 시표에 도달하는지 여부를 판단하기 위하여 상기 특정 시표에 대한 유효영역을 설정하고, 상기 유효영역을 마커로 표시하되, 상기 사용자에 의하여 읽혀질 특정 시표는 검사차트 내에서 순차적으로 결정되고, 결정된 특정 시표에 따라 해당 시표를 표시하기 위한 마커는 상기 헤드 마운트 디스플레이에 순차적으로 제공될 수 있다. Preferably, the marker providing unit sets a valid region for the specific target to determine whether the user's gaze reaches a specific target, displays the valid region as a marker, and the specific target to be read by the user is The marker is sequentially determined in the inspection chart, and a marker for displaying the target according to the determined specific target may be sequentially provided to the head mount display.
바람직하게, 상기 동체 시력 측정부는 상기 시선추적데이터로부터 상기 사용자의 시선이 상기 유효영역 내에 위치하는지 여부를 판단하고, 상기 사용자의 시선이 상기 유효영역 내에 도달하는 때의 시간을 기록할 수 있다.Preferably, the fuselage visual acuity measuring unit may determine from the gaze tracking data whether the user's line of sight is located within the effective area, and record the time when the user's line of sight reaches the effective area.
바람직하게, 상기 동체 시력 측정부는 상기 음성인식데이터를 수신하는 때의 시간을 기록할 수 있다.Preferably, the fusiform visual acuity measuring unit may record a time when the speech recognition data is received.
바람직하게, 상기 동체 시력 측정부는 상기 사용자의 시선이 상기 유효영역 내에 도달하는 때의 시간 및 상기 음성인식데이터를 수신하는 때의 시간 차이를 산출하되, 상기 마커가 순차적으로 제공됨에 따라 복수의 시간 차이들이 산출되면, 상기 복수의 시간 차이들의 평균이 산출될 수 있다.Preferably, the fuselage visual acuity measuring unit calculates a time difference when the user's gaze reaches the effective area and a time difference when the user's voice recognition data is received, The average of the plurality of time differences can be calculated.
바람직하게, 상기 동체 시력 측정부는 상기 음성인식데이터 및 상기 검사차트상에서 상기 마커로 표시된 시표를 기초로 수직 검사 및 수평 검사 각각에 대하여 에러를 검출하여 전체 에러 개수를 산정할 수 있다.Preferably, the moving body visual acuity measuring unit may detect an error for each of the vertical inspection and the horizontal inspection on the basis of the voice recognition data and the mark indicated by the marker on the inspection chart, thereby calculating the total number of errors.
상기한 바와 같이 본 발명에 의하면, 기존의 동적 시력 검사차트를 광학 투과식 헤드 마운트 디스플레이를 통하여 출력하므로 시생활에 가까운 동체 시력 검사를 할 수 있는 효과가 있고, 검사차트의 시표에 시선이 도달하는 시간과 시표를 읽는 음성이 인식된 시간의 차이를 이용하여 동체 시력 결과를 분석하므로, 동체시력은 좋음에도 불구하고 행동이 느린 경우, 또는 동체시력은 나쁨에도 불구하고 행동이 빠른 경우를 판단할 수 있는 효과가 있다.As described above, according to the present invention, since the conventional dynamic visual acuity test chart is outputted through the optically transmissive head-mounted display, there is an effect that the visual acuity test of the fuselage close to life can be performed, We can analyze the result of the visual acuity of the fuselage using the time difference between the time of reading the target and the time of reading the target, so that it is possible to judge the case where the behavior is fast despite the good fuscial visual acuity, There is an effect.
또한, 본 발명에 의하면, 광학 투과식 헤드 마운트 디스플레이를 이용하여 실세계에 가상의 검사차트를 혼합하여 제공하므로, 사용자가 일상에서 수행하는 시각 활동이 동체 시력 검사 환경으로 주어질 수 있어, 일상 생활에 친화적인 동체 시력 검사 시스템의 구현이 가능한 효과가 있고, 따라서 동체 시력 검사 시스템의 실제적, 실용적 측면이 강화되는 효과가 있다.Further, according to the present invention, a virtual test chart is mixed and provided in a real world using an optically transmissive head-mounted display, so that visual activities performed by a user in daily life can be given to a living body vision test environment, It is possible to implement an in-vivo visual acuity test system, and thus the practical and practical aspects of the visual acuity test system are enhanced.
도 1은 본 발명의 바람직한 실시예에 따른 동체 시력 검사 시스템에 대한 블록도이다. BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a vision system for a fuselage vision system according to a preferred embodiment of the present invention; FIG.
도 2는 일 실시예에 따른 헤드 마운트 디스플레이를 설명하기 위한 도면이다.2 is a view for explaining a head-mounted display according to an embodiment.
도 3은 일 실시예에 따른 제어장치에 대한 블록도이다.3 is a block diagram of a controller according to one embodiment.
도 4는 일 실시예에 따른 동체 시력 검사 방법을 나타내는 흐름도이다.4 is a flowchart illustrating a method of inspecting a fusiform body vision according to an exemplary embodiment.
도 5는 일 실시예에 따른 동체 시력 검사 방법이 수행되는 환경을 나타내는 도면이다.5 is a diagram illustrating an environment in which a fusiform vision visual inspection method according to an embodiment is performed.
도 6은 Landolt C 시표를 나타내는 모식도이다.6 is a schematic diagram showing the Landolt C target.
도 7은 캘리브레이션을 설명하기 위한 예시도이다.7 is an exemplary diagram for explaining the calibration.
도 8은 마커를 제공하는 것을 설명하기 위한 예시도이다.8 is an exemplary diagram for explaining providing a marker.
도 9는 시선이 유효영역 내에 도달하는 때의 시간을 측정하는 것을 설명하기 위한 예시도이다.Fig. 9 is an exemplary diagram for explaining how to measure the time when the line of sight reaches the effective area. Fig.
이하, 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will be more apparent from the following detailed description taken in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification. &Quot; and / or " include each and every combination of one or more of the mentioned items.
비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.Although the first, second, etc. are used to describe various elements, components and / or sections, it is needless to say that these elements, components and / or sections are not limited by these terms. These terms are only used to distinguish one element, element or section from another element, element or section. Therefore, it goes without saying that the first element, the first element or the first section mentioned below may be the second element, the second element or the second section within the technical spirit of the present invention.
또한, 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Also, in each step, the identification code (e.g., a, b, c, etc.) is used for convenience of explanation, and the identification code does not describe the order of each step, Unless the order is described, it may happen differently from the stated order. That is, each step may occur in the same order as described, may be performed substantially concurrently, or may be performed in reverse order.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 “포함한다(comprises)" 및/또는 “포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. It is noted that the terms "comprises" and / or "comprising" used in the specification are intended to be inclusive in a manner similar to the components, steps, operations, and / Or additions.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.
또한, 본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로써 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The terms used below are defined in consideration of the functions of the embodiments of the present invention, which may vary depending on the intention of the user, the operator, or the custom. Therefore, the definition should be based on the contents throughout this specification.
동체 시력(Dynamic Visual Acuity)은 물체나 관찰자가 움직이는 상태에서 대상물을 볼 수 있는 능력을 의미한다. 동체 시력의 종류에는 충동안구운동(Saccadic Eye Movement), 추종안구운동 (Pursuit Eye Movement), 전정안구운동반사 (Vestibular-ocular reflex), 주시 안정성 (Visual Fixation), 등이 있으며, 본 발명의 동체 시력 검사 시스템에서는 충동안구운동을 측정한다. Dynamic Visual Acuity refers to the ability of an object or an observer to see an object in motion. Types of visual acuity include the following: Saccadic Eye Movement, Pursuit Eye Movement, Vestibular-ocular Reflex, Visual Fixation, and the like. In the inspection system, impulsive eye movements are measured.
충동안구운동은 움직이는 물체의 상을 망막 중심와에 위치시키기 위한 눈동자의 움직임을 뜻한다. 이미 주시하고 있는 물체에서 다른 물체로 시선을 옮겨 보고자 할 때의 안구 움직임이 충동안구운동이 된다. 같은 의미로 충동안구운동은 중심와 이외에 있는 물체의 상을 중심와에 위치하게 하는 안구운동을 말한다. 독서가 대표적인 충동안구운동에 속한다. 임상적으로 정상적인 충동안구운동의 속도는 초속 300도로 약 초속 30도인 추종안구운동과 이향운동에 비해 속도가 빠르다. 충동안구운동은 안구운동이 클수록 속도가 빨라지고 기간도 길어진다. 예를 들어 눈동자를 5도 돌리는 것보다 40도 돌리는 것이 속도가 빠르고 기간은 길다. 또한 운동이 시작되는 시점은 빠르고 끝나는 부분에서는 느려진다. 충동안구운동에 문제가 있는 경우, 특히 독서 시에 중간중간 단어를 빼고 읽기, 한 줄씩 건너 뛰어 읽기, 읽는 위치 상실 등의 문제가 발생한다. 이 외에 머리를 움직이면서 책을 읽거나 구기종목 운동 시 눈과 손의 협응 운동이 되지 않아 공을 맞히거나 잡지 못하게 된다.Impulsive eye movement refers to the movement of the pupil to position the image of a moving object in the center of the retina. The movement of the eyeball when you want to move your gaze from an object you are already watching to another is your impulsive eyeball movement. In the same sense, impulsive eye movements refer to eye movements that place an image of an object other than the center of the eye in the center of the eye. Reading belongs to a typical impulsive eye movement. Clinically normal impulsive eye movements are faster than those of the follow - up eye movements and the upward movements, which are about 300 seconds per second and 30 seconds per second. Impulsive eye movements have higher speed and longer duration of eye movement. For example, turning a pupil by 40 degrees than turning a pupil by 5 degrees is faster and longer. Also, the starting point of the exercise is fast and the ending is slowing down. When there is a problem with impulsive eye movement, especially when reading, middle and middle words are read and read, skip by one line, and reading position is lost. In addition to this, when you move your head and read a book, or when you play ball, you will not be able to catch or catch the ball because your eyes and hands do not cooperate.
이하에서는, 움직이는 물체를 망막의 중심와에 위치시키기 위한 안구의 움직임인 충동안구운동을 측정하기 위한 동체 시력 검사 방법 및 시스템에 대하여 설명한다.Hereinafter, a method and system for examining a fusiform eye vision for measuring impulsive eye movements, which are movements of an eyeball for positioning a moving object in the center of a retina, will be described.
도 1은 본 발명의 바람직한 실시예에 따른 동체 시력 검사 시스템에 대한 블록도이다. BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a vision system for a fuselage vision system according to a preferred embodiment of the present invention; FIG.
도 1을 참조하면, 동체 시력 검사 시스템(100)은 헤드 마운드 디스플레이(110) 및 제어장치(120)를 포함하고, 헤드 마운트 디스플레이(110)와 제어장치(120)는 네트워크를 통하여 서로 연결된다.Referring to FIG. 1, the fusiform vision system 100 includes a head mound display 110 and a control device 120, and the head mounted display 110 and the control device 120 are connected to each other via a network.
헤드 마운트 디스플레이(Head Mounted Display, HMD)(110)는 사용자의 머리에 장착되어 가상현실(Virtual Reality) 또는 증강현실(Augmented Reality)을 디스플레이 하는 장치로써, 동체 시력을 검사하기 위한 검사차트를 출력시킨다. 바람직하게, 헤드 마운트 디스플레이(110)는 시선추적센서(111), 예를 들어, 사용자의 시선 트래킹이 가능한 카메라, 및 음성인식센서(112), 예를 들어, 마이크를 포함할 수 있다. 시선추적센서(111)는 헤드 마운트 디스플레이(110)를 착용하고 있는 사용자의 시선의 이동을 감지 및 추적하고, 음성인식센서(112)는 시표를 읽는 사용자의 음성을 감지 및 인식할 수 있다. 여기에서, 시선추적센서(111)는 사용자의 우안과 좌안의 시선을 트래킹 하기 위하여 2개가 구비될 수 있다. 또한, 헤드 마운트 디스플레이(110)는, 도면에 도시하지 않았으나, GPS, 지자계 센서, 자이로스코프 센서 등을 구비할 수 있다.A head mounted display (HMD) 110 is a device mounted on a user's head for displaying a virtual reality or augmented reality, and outputs a test chart for examining the visual acuity . Preferably, the head-mounted display 110 may include a line-of-sight sensor 111, e.g., a camera capable of tracking the user's line of sight, and a speech recognition sensor 112, e.g., a microphone. The line-of-sight sensor 111 senses and tracks movement of the line of sight of the user wearing the head-mounted display 110, and the voice recognition sensor 112 can sense and recognize the voice of the user reading the target. Here, the line-of-sight sensor 111 may be provided with two lines for tracking the line of sight of the user's right eye and the left eye. Although not shown in the drawing, the head mount display 110 may include a GPS, a geomagnetic sensor, a gyroscope sensor, and the like.
바람직하게, 헤드 마운트 디스플레이(110)는 광학 투과식(Optical See-Through) 헤드 마운트 디스플레이에 해당하여 검사차트를 증강현실로 출력할 수 있다. 보다 구체적으로, 도 2를 참조하면, 광학 투과식 헤드 마운트 디스플레이에 해당하는 헤드 마운트 디스플레이(110)는 제어장치(120)로부터 제공받은 검사차트를 영상 출력부(예를 들어, 미니 프로젝터)를 통하여 출력시키고, 영상 출력부를 통하여 출력된 검사차트는 프리즘을 통과한 실제환경의 영상과 혼합되어 사용자에게 보여질 수 있다. 즉, 사용자는 실제환경 상에 검사차트가 혼합된 증강현실 영상을 볼 수 있는 것이다.Preferably, the head-mounted display 110 is capable of outputting a test chart to an augmented reality corresponding to an optical see-through head-mounted display. 2, the head mount display 110 corresponding to the optically transmissive head mount display displays a test chart provided from the controller 120 through an image output unit (for example, a mini projector) And the inspection chart outputted through the image output unit can be mixed with the image of the actual environment passing through the prism and can be displayed to the user. That is, the user can view an augmented reality image mixed with a test chart in an actual environment.
바람직하게, 도 1 및 2에서는 음성인식센서(112)가 헤드 마운트 디스플레이(110)에 구비되는 것으로 도시하였으나, 음성인식센서(112)는 헤드 마운트 디스플레이(110) 또는 제어장치(120)와 연결될 수 있는 별개의 구성 또는 장치로 구현될 수 있다. 1 and 2 illustrate that the speech recognition sensor 112 is included in the head mount display 110, the speech recognition sensor 112 may be coupled to the head mount display 110 or the control device 120 May be implemented as separate components or devices.
제어장치(120)는 헤드 마운트 디스플레이(110)와 연결되어 동체 시력 검사 방법을 수행하기 위한 장치이다. 바람직하게, 제어장치(120)는 동체 시력 검사를 수행하기 위한 검사 차트를 생성하여 헤드 마운트 디스플레이(110)에 제공하고, 헤드 마운트 디스플레이(110)의 시선추적센서(111) 및 음성인식센서(112)로부터 획득된 시선추적데이터 및 음성인식데이터를 기초로 동체 시력을 측정하고 동체 시력 검사 결과를 생성할 수 있다.The controller 120 is connected to the head mount display 110 to perform a visual inspection of the body. Preferably, the control device 120 generates and provides a test chart for performing a fusiform visual acuity test to the head-mounted display 110, and the line-of-sight sensor 111 and the speech recognition sensor 112 The visual acuity of the fuselage may be measured based on the line-of-sight tracking data and the speech recognition data obtained from the fuselage visual acuity data and the fusional sight test result.
도 3은 일 실시예에 따른 제어장치에 대한 블록도이다.3 is a block diagram of a controller according to one embodiment.
도 3을 참조하면, 제어장치(120)는 검사차트 전송부(121), 마커 제공부(122), 데이터 수신부(123), 동체 시력 측정부(124), 및 제어부(125)를 포함한다. 여기에서, 제어부(125)는 검사차트 전송부(121), 마커 제공부(122), 데이터 수신부(123), 및 동체 시력 측정부(124)의 동작 및 데이터의 흐름을 제어한다. 이하에서는, 도 4 내지 9를 참조하여, 제어장치(120)에서 수행되는 동체 시력 검사 방법에 대하여 상세하게 설명한다. Referring to FIG. 3, the control device 120 includes a test chart transmitting unit 121, a marker providing unit 122, a data receiving unit 123, a moving body visual acuity measuring unit 124, and a control unit 125. Here, the control unit 125 controls the operation of the test chart transmitting unit 121, the marker providing unit 122, the data receiving unit 123, and the moving body visual acuity measuring unit 124 and the flow of data. Hereinafter, a method of inspecting a visual body of a moving body performed by the control device 120 will be described in detail with reference to FIGS.
먼저, 본 발명에 따른 동체 시력 검사 방법이 수행되는 환경을 설명하면, 도 5에 도시된 바와 같이, 사용자는 헤드 마운트 디스플레이(110)를 착용하고, 헤드 마운트 디스플레이(110)를 통하여 실제환경에 대하여 증강현실로 출력되는 검사차트를 보면서 동체 시력을 검사 받을 수 있다. 여기에서, 검사차트는, 예를 들어, King-Devic 차트, 또는 DEM(Developmental eye movement) 차트가 제공될 수 있고, 검사차트의 시표는, 도 6에 도시된 바와 같이 5.0m 거리에서 1.5mm 내경을 분별하는 시력과 시각을 각각 1.0, 1분각으로 정의하는 Landolt C 검사차트에 근거하여, 헤드 마운트 디스플레이(110)를 통해 검사차트를 볼 때 내장된 볼록렌즈 또는 프리즘 배율에 의거하여 적용될 수 있다. 또한, 헤드 마운트 디스플레이(110)가 디스플레이 하는 검사차트의 글꼴은 OTF(Open Type Font)가 적용될 수 있고, OTF는 운영체제의 종류와 무관하게 인쇄물 상에 똑같은 글자 모양을 보여준다. 이에 더하여, OTF 방식은 3차원 베지어 방식으로 곡선이 만들어지며, 계산과정이 복잡하여 표현속도가 느리지만 디테일한 곡선 표현이 가능하다.5, the user wears the head-mounted display 110 and displays the image of the real environment through the head-mounted display 110 It is possible to examine the visual acuity of the fuselage while viewing the test chart outputted to the augmented reality. Here, the test chart may be provided, for example, as a King-Devic chart or a DEM (Developmental eye movement) chart, and the test chart target may be a 1.5 mm inner diameter Can be applied based on the built-in convex lens or prism magnification when viewing the test chart through the head mount display 110 based on the Landolt C test chart which defines the visual acuity and the time to discriminate between the visual acuity and the visual acuity. Also, OTF (Open Type Font) can be applied to the fonts of the test chart displayed by the head mount display 110, and OTF shows the same letter shapes on the printed matter regardless of the type of operating system. In addition, the OTF method produces a curved line with a three-dimensional Bézier method, and a detailed curve can be expressed although the calculation process is complicated and the expression speed is slow.
일 실시예에서, 도 4에 도시된 검사차트를 이용한 동체 시력 검사 방법이 수행되기 이전에, 사용자가 시선을 응시하는 영역과 헤드 마운트 디스플레이(110)의 디스플레이 단에서 표시되는 영역을 일치시키는 캘리브레이션이 수행될 수 있다. 제어장치(120)는 이와 같은 캘리브레이션을 수행하기 위하여, 시선추적센서(111)로부터 획득되는 시선추적데이터와 헤드 마운트 디스플레이(110)에 출력되는 영상을 캘리브레이션하는 캘리브레이션부(도면에 도시되지 않음)를 더 포함할 수 있다. In one embodiment, before the fuselage visual acuity test method using the inspection chart shown in Fig. 4 is performed, calibration is performed to match the area in which the user looks at the line of sight and the area displayed at the display end of the head mount display 110 . In order to perform such calibration, the controller 120 controls the calibration unit (not shown) for calibrating the gaze tracking data obtained from the gaze tracking sensor 111 and the image output to the head mounted display 110 .
보다 구체적으로, 캘리브레이션부는 캘리브레이션용 마커를 생성하여 헤드 마운트 디스플레이(110)에 제공한다. 예를 들어, 도 7의 (a)를 참조하면, 캘리브레이션부는 5X5의 캘리브레이션용 마커를 생성할 수 있고, 생성한 캘리브레이션용 마커를 도 7의 (b)에 도시된 바와 같이 순차적으로 헤드 마운트 디스플레이(110)에 제공할 수 있다. 캘리브레이션용 마커가 헤드 마운트 디스플레이(110)에 순차적으로 제공됨에 따라, 캘리브레이션부는 캘리브레이션용 마커를 응시하는 사용자의 시선추적데이터를 획득하고, 시선추적데이터로부터 헤드 마운트 디스플레이(110)에서 출력된 디스플레이 영상 내에서의 사용자의 시선 위치 좌표를 획득하고, 시선 위치 좌표와 헤드 마운트 디스플레이(110)에서 출력된 디스플레이 영상 내에서의 캘리브레이션용 마커의 위치 좌표를 일치시킨다. 예를 들어, 도 7의 (b)에 도시된 바와 같이, 1번 캘리브레이션용 마커가 제공되면, 사용자는 1번 캘리브레이션용 마커를 응시하고, 캘리브레이션부는 이때 획득된 시선추적데이터로부터 사용자가 영상 내에서 어디를 응시하고 있는지를 나타내는 사용자의 시선 위치 좌표를 획득하고, 사용자의 시선 위치 좌표를 1번 캘리브레이션용 마커의 위치 좌표와 일치시킬 수 있다. 그 다음, 2번 캘리브레이션용 마커, 및 나머지 캘리브레이션용 마커에 대하여도 동일하게 사용자의 시선 위치 좌표와 마커의 위치 좌표가 일치시켜질 수 있고, 이를 통하여 사용자가 시선을 응시하는 영역과 헤드 마운트 디스플레이(110)의 디스플레이 단에서 표시되는 영역을 일치시키는 캘리브레이션이 완료될 수 있다.More specifically, the calibration section generates a marker for calibration and provides it to the head mount display 110. For example, referring to FIG. 7A, the calibration unit can generate a 5X5 calibration marker, and the generated calibration marker is sequentially displayed on the head-mounted display (FIG. 7B) 110). As the marker for calibration is sequentially provided to the head mount display 110, the calibration unit acquires the gaze tracking data of the user gazing at the marker for calibration, and detects the gaze tracking data from the gaze tracking data in the display image output from the head- And aligns the position coordinates of the visual axis position with the position coordinates of the markers for calibration in the display image output from the head mount display 110. [ For example, as shown in (b) of FIG. 7, when a marker for calibration # 1 is provided, the user gazes at the marker for calibration # 1, and the calibration unit obtains, from the obtained gaze tracking data, It is possible to acquire the user's gaze position coordinate indicating where the gaze is gazing and to match the gaze position coordinate of the user with the position coordinate of the marker for No. 1 calibration. Then, for the second calibration marker and the remaining calibration markers, the user's gaze position coordinate and the marker's position coordinate can be matched in the same manner, so that the area where the user looks at the gaze and the head mount display 110 can be completed.
다시 도 4를 참조하면, 검사차트 전송부(121)는 검사차트를 생성하여 헤드 마운트 디스플레이에 제공하고(단계 S410), 마커 제공부(122)는 검사차트에서 사용자에 의하여 읽혀질 특정 시표를 표시하기 위한 마커를 헤드 마운트 디스플레이(110)에 제공한다(단계 S420).Referring again to FIG. 4, the test chart transmitting unit 121 generates a test chart and provides it to the head mount display (step S410). The marker providing unit 122 displays a specific target to be read by the user in the test chart To the head mount display 110 (step S420).
바람직하게, 마커 제공부(122)는 사용자의 시선이 특정 시표에 도달하는지 여부를 판단하기 위하여 특정 시표에 대한 유효영역을 설정하고, 유효영역을 마커로 표시할 수 있다. 예를 들어, 도 8을 참조하면, 마커 제공부(122)는 검사차트에 있는 시표 “5” 및 “9”에 대하여 빨간색 박스로 표시된 바와 같이 유효영역을 설정하고, 해당 유효영역이 표시될 수 있도록 빨간색 박스에 해당하는 마커를 헤드 마운트 디스플레이(110)에 제공할 수 있다. 즉, 사용자는 헤드 마운트 디스플레이(110)에서 도 8과 같이 특정 시표에 대하여 마커가 표시된 검사 차트를 볼 수 있는 것이다.Preferably, the marker providing unit 122 may set a valid region for a specific target and display the valid region as a marker in order to determine whether or not the user's gaze reaches a specific target. For example, referring to FIG. 8, the marker providing unit 122 sets the effective area as indicated by a red box for the targets "5" and "9" in the inspection chart, A marker corresponding to the red box may be provided to the head mount display 110. [ That is, the user can see a test chart marked with a marker for a specific target on the head mount display 110 as shown in FIG.
바람직하게, 사용자에 의하여 읽혀질 특정 시표는 검사차트 내에서 순차적으로 결정되고, 결정된 특정 시표에 따라 해당 시표를 표시하기 위한 마커는 헤드 마운트 디스플레이(110)에 순차적으로 제공된다. 예를 들어, 도 8을 참조하면, 5, 9, 2, 5, 7, …과 같은 순서로 빨간색 박스에 해당하는 마커가 순차적으로 제공될 수 있다.Preferably, the specific target to be read by the user is determined sequentially in the inspection chart, and markers for displaying the target according to the determined specific target are sequentially provided to the head mount display 110. [ For example, referring to FIG. 8, 5, 9, 2, 5, 7, ... The markers corresponding to the red boxes may be sequentially provided in the same order as in FIG.
데이터 수신부(123)는 마커의 표시에 따라, 시선추적센서(111)로부터 획득된 사용자의 시선의 이동에 따른 시선추적데이터 및 마커로 표시된 시표를 사용자가 읽음에 따라 음성인식센서(112)로부터 획득된 음성인식데이터를 수신한다(단계 S430). 동체 시력 측정부(124)는 시선추적데이터 및 음성인식데이터를 기초로 동체 시력 검사 결과를 생성한다(단계 S440).The data receiving unit 123 receives the gaze tracking data and the marker indicated by the marker obtained by the gaze tracking sensor 111 from the gaze tracking sensor 111 and acquires the gaze tracking data from the voice recognition sensor 112 (Step S430). The fuselage visual acuity measuring unit 124 generates a fuselage visual acuity test result based on the gaze tracking data and the speech recognition data (step S440).
바람직하게, 동체 시력 측정부(124)는 시선추적데이터로부터 사용자의 시선이 유효영역 내에 위치하는지 여부를 판단하고, 사용자의 시선이 유효영역 내에 도달하는 때의 시간을 기록하고, 동체 시력 측정부(124)는 음성인식데이터를 수신하는 때의 시간을 기록할 수 있다. 여기에서, 기록되는 시간은 1/100초 단위로 측정될 수 있으며, HH:MM'SS''.ss 의 형태로 기록될 수 있다. Preferably, the fuselage visual acuity measuring unit 124 determines whether the user's line of sight is located within the effective area from the line-of-sight trace data, records the time when the user's line of sight reaches the effective area, 124 may record the time at which the voice recognition data is received. Here, the time to be recorded can be measured in units of 1/100 second, and can be recorded in the form of HH: MM 'SS' '. Ss.
보다 구체적으로, 도 9를 참조하면, 마커 제공부(122)에 의하여 도 9의 (a)에 도시된 바와 같이 시표 각각에 대한 유효영역을 나타내는 마커가 표시되면, 동체 시력 측정부(124)는 데이터 수신부(123)에서 수신된 사용자의 시선의 이동에 따른 시선추적데이터를 기초로 사용자의 시선이 유효영역 내에 도달하는지 여부를 판단할 수 있고, 예를 들어, 도 9의 (b)에 도시된 바와 같이, 검은색 점으로 표시된 사용자의 시선이 빨간색 박스로 표시된 유효영역 내에 모두 들어오면 사용자의 시선이 유효영역에 도달한 것으로 판단될 수 있다. 사용자의 시선이 유효영역에 도달할 때, 동체 시력 측정부(124)는 시간을 측정할 수 있고, 예를 들어, 도 9의 (b)의 시표 “5”에 대하여 시선이 유효영역에 도달한 시간이 35.45초인 경우 00:00'35”.45 로 기록될 수 있다. 시선의 이동에 따라 사용자가 시표 “5”를 본 후, “9”를 응시하게 되는 경우, 동체 시력 측정부(124)는 사용자의 시선이 시표 “9”의 유효영역 내에 도달한 때의 시간, 예를 들어, 00:00'35”.99를 기록할 수 있다.9, when a marker indicating the effective area for each of the targets is displayed by the marker providing unit 122 as shown in FIG. 9A, the moving body visual acuity measuring unit 124 measures It is possible to determine whether or not the user's line of sight reaches the effective area on the basis of the line-of-sight trace data corresponding to the movement of the user's line of sight received by the data receiving unit 123. For example, As shown, when the user's line of sight indicated by the black dot enters the effective area indicated by the red box, it can be determined that the user's line of sight has reached the effective area. When the user's line of sight reaches the effective area, the fusiform visual acuity measuring unit 124 can measure the time. For example, with respect to the target " 5 " in Fig. 9B, If the time is 35.45 seconds, it can be recorded as 00: 00'35 ".45. When the user looks at the target " 5 " according to the movement of the line of sight and then looks at the " 9 ", the fusiform visual acuity measuring unit 124 measures the time at which the user's gaze reaches the effective area of the target & For example, 00: 00'35 ".99 can be recorded.
또한, 사용자가 마커로 표시된 시표를 본 후 해당 시표를 음성으로 말하면, 음성인식센서(112)가 사용자의 음성을 인식하고, 이에 대한 음성인식데이터가 데이터 수신부(123)에서 수신되면, 동체 시력 측정부(124)는 음성인식데이터가 수신된 때의 시간을 기록할 수 있다.If the user recognizes the voice of the user and the voice recognition data is received by the data receiving unit 123, the user can check the visual acuity of the body of the user The unit 124 can record the time when the speech recognition data is received.
바람직하게, 동체 시력 측정부(124)는 사용자의 시선이 유효영역 내에 도달하는 때의 시간 및 음성인식데이터를 수신하는 때의 시간 차이를 아래의 [식 1]을 이용하여 산출할 수 있다. 여기에서, 마커가 순차적으로 제공됨에 따라 복수의 시간 차이들이 산출되면, 동체 시력 측정부(124)는 아래의 [식 2]를 이용하여 복수의 시간 차이들의 평균을 산출할 수 있다. 예를 들어, 검사차트에 시표가 40개 있고, 각 시표에 대하여 마커가 순차적으로 표시되면, 사용자의 시선이 유효영역 내에 도달하는 때의 시간 및 음성인식데이터를 수신하는 때의 시간은 각각 40개가 기록되고, 따라서, 산출된 시간 차이는 총40개가 되므로, 동체 시력 측정부(124)는 시간 차이값들의 평균을 산출할 수 있다.Preferably, the fuselage visual acuity measuring unit 124 may calculate the time when the user's line of sight reaches the effective area and the time difference when the speech recognition data is received using the following equation (1). Here, if a plurality of time differences are calculated as the markers are sequentially provided, the fusiform visual acuity measuring unit 124 may calculate an average of a plurality of time differences using the following Equation (2). For example, if there are forty marks on the inspection chart and markers are sequentially displayed for each target, the time when the user's line of sight reaches the effective area and the time when the speech recognition data is received are 40 And thus the calculated time difference becomes a total of 40, so that the fusiform visual acuity measuring unit 124 can calculate the average of the time difference values.
[식 1]
Figure PCTKR2018007886-appb-I000001
[Formula 1]
Figure PCTKR2018007886-appb-I000001
[식 2]
Figure PCTKR2018007886-appb-I000002
[Formula 2]
Figure PCTKR2018007886-appb-I000002
여기에서, adr time은 음성인식데이터를 수신한 때 시간, tdr time은 시선이 유효영역 내에 도달한 때의 시간, diff time은 시간 차이, cn은 시표의 개수, average difftime은 시간 차이들의 평균값이다.Here, adr time is the time when the speech recognition data is received, tdr time is the time when the line of sight reaches the effective area, diff time is the time difference, cn is the number of the target, and average difftime is the average value of the time differences.
바람직하게, 동체 시력 측정부(124)는 음성인식데이터 및 검사차트 상에서 마커로 표시된 시표를 기초로 수직 검사 및 수평 검사 각각에 대하여 에러를 검출하여 전체 에러 개수를 산정할 수 있다. 여기에서, 동체 시력 측정부(124)는 STT(Speech To Text) 알고리즘을 이용하여 음성인식데이터에서의 음성을 텍스트로 변환할 수 있다. 동체 시력 검사는 문자가 수직으로 나열된 검사차트를 이용하여 수행되는 수직검사 및 문자가 수평으로 나열된 검사 차트를 이용하는 수평검사로 구성되고, 각각에 대하여 수직 또는 수평 방향으로 사용자가 소리 내어 해당 문자들을 읽으면 읽는데 소요되는 시간, 즉, 검사 수행 시간, 음성 데이터와 검사차트를 비교하여 산출된 틀린 개수, 반복해서 읽은 개수, 빼먹은 개수를 기초로 동체 시력 검사 결과가 생성될 수 있다. Preferably, the moving body visual acuity measuring unit 124 may calculate the total number of errors by detecting an error for each of the vertical inspection and the horizontal inspection based on the voice recognition data and the index indicated by the marker on the inspection chart. Here, the moving body visual acuity measuring unit 124 can convert the voice in the voice recognition data into text using the STT (Speech To Text) algorithm. The visual inspection of the fuselage consists of a vertical inspection using a vertical test chart and a horizontal test using a horizontal test chart. When the user reads the characters in a vertical or horizontal direction The fuselage visual acuity test result can be generated on the basis of the time required for reading, that is, the test execution time, the wrong number calculated by comparing the voice data and the inspection chart, the number read repeatedly, and the number omitted.
바람직하게, 제어장치(120)는 음성인식센서(112)로부터 수신한 음성인식데이터 및 검사차트를 기초로 수직 검사 및 수평 검사 각각에 대하여 에러를 검출하여 전체 에러 개수를 산정할 수 있다. 여기에서, 전체 에러 개수는 아래의 [식 3]에 의하여 계산될 수 있고, [식 3]에서 Total Errors는 전체 에러 개수, s는 잘못 읽은 개수, o는 빼먹고 읽은 개수, a는 추가로 읽은 개수, 및 t는 바꿔 읽은 개수다.Preferably, the control device 120 can calculate the total number of errors by detecting an error for each of the vertical inspection and the horizontal inspection based on the voice recognition data received from the voice recognition sensor 112 and the inspection chart. Here, the total number of errors can be calculated by Equation 3 below, where Total Errors is the total number of errors, s is the number read incorrectly, o is the number read out, The number, and t, is the number that is read.
[식 3]
Figure PCTKR2018007886-appb-I000003
[Formula 3]
Figure PCTKR2018007886-appb-I000003
바람직하게, 제어장치(120)는 수직 검사 및 수평 검사 각각에 대하여 검사 수행 시간 및 검출된 에러의 개수를 기초로 조정시간을 산출할 수 있다. 여기에서, 조정시간은 아래의 [식 4]에 의하여 계산될 수 있고, [식 4]에서 ADJ Time은 조정시간, Time은 검사 수행 시간, cn은 시표 개수, o는 빼먹고 읽은 개수, a는 추가로 읽은 개수다.Preferably, the control device 120 may calculate the adjustment time based on the inspection execution time and the number of errors detected for each of the vertical inspection and the horizontal inspection. In the equation 4, ADJ Time is the adjustment time, Time is the test execution time, cn is the number of the target, o is the number read out, and a is Additional readings.
[식 4]
Figure PCTKR2018007886-appb-I000004
[Formula 4]
Figure PCTKR2018007886-appb-I000004
바람직하게, 제어장치(120)는 수직 검사 및 수평 검사 각각에 대하여 산출된 조정시간의 비율을 기초로 동체 시력 검사 결과를 생성할 수 있다. 즉, 제어 장치(120)는 “비율=수평조정시간/수직조정시간”을 산출하고, 산출된 비율, 조정시간, 등을 고려하여 동체 시력이 정상인지, 부족한지, 또는 어떠한 문제가 있는지 여부를 결정할 수 있다.Preferably, the control device 120 may generate a fuselage visual acuity test result based on the ratio of the adjustment time calculated for each of the vertical inspection and the horizontal inspection. That is, the control device 120 calculates the "ratio = horizontal adjustment time / vertical adjustment time" and determines whether the fuselage visual acuity is normal, insufficient, or has any problem in consideration of the calculated ratio, the adjustment time, You can decide.
일 실시예에서, 동체 시력 측정부(124)를 통하여 산출된 사용자의 시선이 유효영역 내에 도달하는 때의 시간 및 음성인식데이터를 수신하는 때의 시간 차이 또는 시간 차이들의 평균값, 및 음성인식데이터를 기초로 분석된 에러개수, 조정시간이 동체 시력 검사 결과로써 제공될 수 있다. In one embodiment, the time when the line of sight of the user calculated through the fuselage visual acuity measuring unit 124 reaches the effective area and the time difference or the average value of the time differences when the speech recognition data is received, The number of errors and the adjustment time analyzed on the basis can be provided as a result of the fuselage visual acuity test.
따라서, 본 발명에 의하면, 동체 시력을 판단할 수 있을 뿐만 아니라, 동체시력은 좋음에도 불구하고 행동이 느린 것인지 또는 동체 시력은 나쁨에도 불구하고 행동이 빠른 것인지를 판단할 수 있다.Therefore, according to the present invention, it is possible not only to determine the visual acuity of the fuselage but also to judge whether the action is fast despite the good fuselage visual acuity, or whether the behavior is slow or the fusiform visual acuity is poor.
한편, 본 발명의 일 실시예에 따른 동체 시력 검사 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로써 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.Meanwhile, the method of inspecting a fuselage visual acuity according to an embodiment of the present invention can also be implemented as a computer-readable code on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.
예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성메모리(Flash Memory), 광 데이터 저장장치 등이 있다.For example, the computer-readable recording medium includes a ROM, a RAM, a CD-ROM, a magnetic tape, a hard disk, a floppy disk, a removable storage device, a nonvolatile memory, , And optical data storage devices.
또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로써 저장되고 실행될 수 있다.In addition, the computer readable recording medium may be distributed and executed in a distributed manner in a computer system connected to a computer network, and may be stored and executed in a code that can be read in a distributed manner.
전술한 본 발명에 따른 동체 시력 검사 방법, 및 이를 수행하는 동체 시력 검사 시스템에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.Although the preferred embodiments of the method for inspecting a fuselage visual acuity according to the present invention and the fuselage visual inspection system for performing the same are described above, the present invention is not limited thereto, It is possible to carry out various modifications within the scope of the present invention, and this also belongs to the present invention.
[부호의 설명][Description of Symbols]
100: 동체 시력 검사 시스템100: Fuselage vision system
110: 헤드 마운트 디스플레이110: Head mount display
111: 시선추적센서111: Eye Tracking Sensor
112: 음성인식센서112: Speech recognition sensor
120: 제어 장치120: Control device
121: 검사차트 전송부121: Test chart transmission unit
122: 마커 제공부122: Marker offering
123: 데이터 수신부123: Data receiver
124: 동체 시력 측정부124: Fuselage visual acuity measuring unit
125: 제어부125:

Claims (17)

  1. 시선추적센서 및 음성인식센서를 구비하는 헤드 마운트 디스플레이와 연결되는 제어장치에서 수행되는 동체 시력 검사 방법에 있어서, A visual inspection method for a moving body visual acuity test performed in a control device connected to a head mount display having a visual tracker sensor and a voice recognition sensor,
    (a) 검사차트를 생성하여 상기 헤드 마운트 디스플레이에 제공하는 단계;(a) generating a test chart and providing it to the head-mounted display;
    (b) 상기 검사차트에서 사용자에 의하여 읽혀질 특정 시표를 표시하기 위한 마커를 상기 헤드 마운트 디스플레이에 제공하는 단계;(b) providing the head-mounted display with a marker for displaying a specific target to be read by a user in the inspection chart;
    (c) 상기 마커의 표시에 따라, 상기 시선추적센서로부터 획득된 상기 사용자의 시선의 이동에 따른 시선추적데이터 및 상기 마커로 표시된 시표를 사용자가 읽음에 따라 상기 음성인식센서로부터 획득된 음성인식데이터를 수신하는 단계; 및(c) displaying the gaze tracking data according to the movement of the user's gaze obtained from the gaze tracking sensor and the index indicated by the marker in accordance with the display of the marker, ; And
    (d) 상기 시선추적데이터 및 음성인식데이터를 기초로 동체 시력 검사 결과를 생성하는 단계를 포함하는 동체 시력 검사 방법.(d) generating a visual acuity test result based on the gaze tracking data and the voice recognition data.
  2. 제1항에 있어서, 상기 (a) 단계 이전에The method according to claim 1, wherein before step (a)
    상기 시선추적센서로부터 획득되는 시선추적데이터와 상기 헤드 마운트 디스플레이에 출력되는 영상을 캘리브레이션하는 단계를 더 포함하는 것을 특징으로 하는 동체 시력 검사 방법.Further comprising the step of calibrating gaze tracking data obtained from the gaze tracking sensor and an image output to the head mount display.
  3. 제2항에 있어서, 상기 캘리브레이션하는 단계는3. The method of claim 2, wherein the calibrating step
    캘리브레이션용 마커를 생성하여 상기 헤드 마운트 디스플레이에 제공하는 단계;Creating a marker for calibration and providing it to the head-mounted display;
    상기 캘리브레이션용 마커를 응시하는 사용자의 시선추적데이터를 획득하고, 상기 시선추적데이터로부터 상기 헤드 마운트 디스플레이에서 출력된 디스플레이 영상 내에서의 사용자의 시선 위치 좌표를 획득하는 단계; 및Acquiring gaze tracking data of a user staring the calibration marker and obtaining a gaze position coordinate of a user in the display image output from the head mounted display from the gaze tracking data; And
    상기 시선 위치 좌표와 상기 헤드 마운트 디스플레이에서 출력된 디스플레이 영상 내에서의 상기 캘리브레이션용 마커의 위치 좌표를 일치시키는 단계를 포함하는 것을 특징으로 하는 동체 시력 검사 방법.And matching the position coordinates of the gaze position with the position coordinates of the marker for calibration in the display image output from the head mount display.
  4. 제1항에 있어서, 상기 (b) 단계는2. The method of claim 1, wherein step (b)
    상기 사용자의 시선이 특정 시표에 도달하는지 여부를 판단하기 위하여 상기 특정 시표에 대한 유효영역을 설정하고, 상기 유효영역을 마커로 표시하는 단계를 포함하되,Setting a valid region for the specific target to determine whether the user's gaze reaches a specific target, and displaying the valid region as a marker,
    상기 사용자에 의하여 읽혀질 특정 시표는 검사차트 내에서 순차적으로 결정되고, 결정된 특정 시표에 따라 해당 시표를 표시하기 위한 마커는 상기 헤드마운트 디스플레이에 순차적으로 제공되는 것을 특징으로 하는 동체 시력 검사 방법.Wherein the specific target to be read by the user is sequentially determined in an inspection chart, and a marker for displaying the target according to the determined target is sequentially provided to the head mount display.
  5. 제4항에 있어서, 상기 (d) 단계는5. The method of claim 4, wherein step (d)
    상기 시선추적데이터로부터 상기 사용자의 시선이 상기 유효영역 내에 위치하는지 여부를 판단하는 단계; 및Determining from the gaze tracking data whether the user's line of sight is located within the effective area; And
    상기 사용자의 시선이 상기 유효영역 내에 도달하는 때의 시간을 기록하는 단계를 포함하는 것을 특징으로 하는 동체 시력 검사 방법.And recording the time when the user's line of sight reaches the effective area.
  6. 제5항에 있어서, 상기 (d) 단계는6. The method of claim 5, wherein step (d)
    상기 음성인식데이터를 수신하는 때의 시간을 기록하는 단계를 포함하는 것을 특징으로 하는 동체 시력 검사 방법.And recording the time when the speech recognition data is received.
  7. 제6항에 있어서, 상기 (d) 단계는7. The method of claim 6, wherein step (d)
    상기 사용자의 시선이 상기 유효영역 내에 도달하는 때의 시간 및 상기 음성인식데이터를 수신하는 때의 시간 차이를 산출하는 단계를 포함하되,Calculating a time when the user's line of sight reaches the effective area and a time difference when receiving the voice recognition data,
    상기 마커가 순차적으로 제공됨에 따라 복수의 시간 차이들이 산출되면, 상기 복수의 시간 차이들의 평균이 산출되는 것을 특징으로 하는 동체 시력 검사 방법.Wherein when a plurality of time differences are calculated as the marker is sequentially provided, an average of the plurality of time differences is calculated.
  8. 제1항에 있어서, 상기 (d) 단계는2. The method of claim 1, wherein step (d)
    상기 음성인식데이터 및 상기 검사차트상에서 상기 마커로 표시된 시표를 기초로 수직 검사 및 수평 검사 각각에 대하여 에러를 검출하여 전체 에러 개수를 산정하는 단계를 포함하는 것을 특징으로 하는 동체 시력 검사 방법.Detecting an error for each of the vertical inspection and the horizontal inspection based on the speech recognition data and the mark indicated by the marker on the inspection chart, and calculating the total number of errors.
  9. 시선추적센서 및 음성인식센서를 구비하는 헤드 마운트 디스플레이; 및A head-mounted display having a line-of-sight sensor and a speech recognition sensor; And
    상기 헤드 마운트 디스플레이와 연결되는 제어장치를 포함하되,And a controller coupled to the head mount display,
    상기 제어장치는,The control device includes:
    검사차트를 생성하여 상기 헤드 마운트 디스플레이에 제공하는 검사차트 전송부;A test chart transmitting unit for generating a test chart and providing the test chart to the head mount display;
    상기 검사차트에서 사용자에 의하여 읽혀질 특정 시표를 표시하기 위한 마커를 상기 헤드 마운트 디스플레이에 제공하는 마커 제공부;A marker providing unit for providing the head mount display with a marker for displaying a specific target to be read by the user in the inspection chart;
    상기 마커의 표시에 따라, 상기 시선추적센서로부터 획득된 상기 사용자의 시선의 이동에 따른 시선추적데이터 및 상기 마커로 표시된 시표를 사용자가 읽음에 따라 상기 음성인식센서로부터 획득된 음성인식데이터를 수신하는 데이터 수신부; 및The visual track data corresponding to the movement of the user's gaze obtained from the visual tracker and the voice recognition data obtained from the voice recognition sensor as the user reads the index indicated by the marker, A data receiving unit; And
    상기 시선추적데이터 및 음성인식데이터를 기초로 동체 시력 검사 결과를 생성하는 동체 시력 측정부를 포함하는 동체 시력 검사 시스템.And a fuselage visual acuity measuring unit for generating a fusiform visual acuity test result based on the gaze tracking data and the voice recognition data.
  10. 제9항에 있어서, 상기 제어장치는10. The apparatus according to claim 9, wherein the control device
    상기 시선추적센서로부터 획득되는 시선추적데이터와 상기 헤드 마운트 디스플레이에 출력되는 영상을 캘리브레이션하는 캘리브레이션부를 더 포함하는 것을 특징으로 하는 동체 시력 검사 시스템.Further comprising a calibration unit for calibrating gaze tracking data obtained from the gaze tracking sensor and an image output to the head mount display.
  11. 제10항에 있어서, 상기 캘리브레이션부는The apparatus of claim 10, wherein the calibration unit
    캘리브레이션용 마커를 생성하여 상기 헤드 마운트 디스플레이에 제공하고,A marker for calibration is generated and provided to the head-mounted display,
    상기 캘리브레이션용 마커를 응시하는 사용자의 시선추적데이터를 획득하고, 상기 시선추적데이터로부터 상기 헤드 마운트 디스플레이에서 출력된 디스플레이 영상 내에서의 사용자의 시선 위치 좌표를 획득하고,Acquiring gaze tracking data of a user gazing at the marker for calibration, obtaining a gaze position coordinate of a user in a display image output from the head mounted display from the gaze tracking data,
    상기 시선 위치 좌표와 상기 헤드 마운트 디스플레이에서 출력된 디스플레이 영상 내에서의 상기 캘리브레이션용 마커의 위치 좌표를 일치시키는 것을 특징으로 하는 동체 시력 검사 시스템.Wherein the visual axis position coordinate coincides with the position coordinate of the marker for calibration in the display image output from the head mount display.
  12. 제9항에 있어서, 상기 마커 제공부는10. The apparatus of claim 9, wherein the marker providing unit
    상기 사용자의 시선이 특정 시표에 도달하는지 여부를 판단하기 위하여 상기 특정 시표에 대한 유효영역을 설정하고, 상기 유효영역을 마커로 표시하되,Setting a valid area for the specific target to determine whether the user's gaze reaches a specific target, and marking the valid area as a marker,
    상기 사용자에 의하여 읽혀질 특정 시표는 검사차트 내에서 순차적으로 결정되고, 결정된 특정 시표에 따라 해당 시표를 표시하기 위한 마커는 상기 헤드 마운트 디스플레이에 순차적으로 제공되는 것을 특징으로 하는 동체 시력 검사 시스템.Wherein the specific target to be read by the user is sequentially determined in an inspection chart, and a marker for displaying the target according to the determined target is sequentially provided to the head mount display.
  13. 제12항에 있어서, 상기 동체 시력 측정부는13. The apparatus according to claim 12, wherein the moving body visual acuity measuring unit
    상기 시선추적데이터로부터 상기 사용자의 시선이 상기 유효영역 내에 위치하는지 여부를 판단하고,From the gaze tracking data, whether or not the user ' s line of sight is located within the effective area,
    상기 사용자의 시선이 상기 유효영역 내에 도달하는 때의 시간을 기록하는 것을 특징으로 하는 동체 시력 검사 시스템.And records the time when the user's line of sight reaches the effective area.
  14. 제13항에 있어서, 상기 동체 시력 측정부는14. The apparatus according to claim 13, wherein the moving body visual acuity measuring unit
    상기 음성인식데이터를 수신하는 때의 시간을 기록하는 것을 특징으로 하는 동체 시력 검사 시스템.And the time when the voice recognition data is received is recorded.
  15. 제14항에 있어서, 상기 동체 시력 측정부는15. The apparatus according to claim 14, wherein the moving body visual acuity measuring unit
    상기 사용자의 시선이 상기 유효영역 내에 도달하는 때의 시간 및 상기 음성인식데이터를 수신하는 때의 시간 차이를 산출하되,Calculating a time when the user's line of sight reaches the effective area and a time difference when receiving the voice recognition data,
    상기 마커가 순차적으로 제공됨에 따라 복수의 시간 차이들이 산출되면, 상기 복수의 시간 차이들의 평균이 산출되는 것을 특징으로 하는 동체 시력 검사 시스템.Wherein when a plurality of time differences are calculated as the marker is sequentially provided, an average of the plurality of time differences is calculated.
  16. 제9항에 있어서, 상기 동체 시력 측정부는The apparatus according to claim 9, wherein the moving body visual acuity measuring unit
    상기 음성인식데이터 및 상기 검사차트상에서 상기 마커로 표시된 시표를 기초로 수직 검사 및 수평 검사 각각에 대하여 에러를 검출하여 전체 에러 개수를 산정하는 것을 특징으로 하는 동체 시력 검사 시스템.And an error is detected for each of the vertical inspection and the horizontal inspection based on the speech recognition data and the mark indicated by the marker on the inspection chart to calculate the total number of errors.
  17. 제1항 내지 제8항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체. 9. A computer-readable recording medium having recorded thereon a computer program for executing the method according to any one of claims 1 to 8.
PCT/KR2018/007886 2017-07-13 2018-07-12 Method and system for testing dynamic visual acuity WO2019013563A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020501481A JP2020528304A (en) 2017-07-13 2018-07-12 Dynamic visual acuity test methods and systems

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170089067A KR101922343B1 (en) 2017-07-13 2017-07-13 Method and system for testing diynamic visual acuity
KR10-2017-0089067 2017-07-13

Publications (1)

Publication Number Publication Date
WO2019013563A1 true WO2019013563A1 (en) 2019-01-17

Family

ID=64602880

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/007886 WO2019013563A1 (en) 2017-07-13 2018-07-12 Method and system for testing dynamic visual acuity

Country Status (3)

Country Link
JP (1) JP2020528304A (en)
KR (1) KR101922343B1 (en)
WO (1) WO2019013563A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143640A (en) * 2019-12-28 2020-05-12 中国银行股份有限公司 Transaction data recording method and device
WO2021130743A1 (en) * 2019-12-25 2021-07-01 Shamir Optical Industry Ltd. System and method for automatically evaluating a vision of a user
CN113080842A (en) * 2021-03-15 2021-07-09 青岛小鸟看看科技有限公司 Head-mounted vision detection device, vision detection method and electronic device
CN113508331A (en) * 2019-03-29 2021-10-15 豪雅镜片泰国有限公司 Method for measuring rotation characteristic of eyeball of subject and method for designing progressive-power lens

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377157B (en) * 2019-07-22 2023-05-26 北京七鑫易维信息技术有限公司 Calibration method, device and system applied to eye movement tracking
KR102226198B1 (en) * 2019-08-27 2021-03-10 단국대학교 산학협력단 Visual diagnosis system and method using two eyes flow
DE102021202451A1 (en) * 2021-03-12 2022-09-15 Rodenstock Gmbh Method, system and computer program product for determining optometric parameters

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000126128A (en) * 1998-10-26 2000-05-09 Nidek Co Ltd Dynamic visual acuity examining device
JP2003126036A (en) * 2001-10-22 2003-05-07 Techno Network Shikoku Co Ltd Equipment for eyesight examination, device for eyesight examination, and method of eyesight examination
KR20100015538A (en) * 2007-04-13 2010-02-12 나이키 인코포레이티드 Systems and methods for testing and/or training near and far visual abilities
JP2016202716A (en) * 2015-04-24 2016-12-08 株式会社コーエーテクモゲームス Program and recording medium
KR20170048072A (en) * 2015-10-26 2017-05-08 에스케이플래닛 주식회사 Eye state inspection and related content delivery services over the wearable

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4818234A (en) * 1986-06-25 1989-04-04 Redington Dana J Psychophysiological reflex arc training simulator
JP3660141B2 (en) * 1998-10-26 2005-06-15 株式会社ニデック Dynamic visual acuity testing device
US9788714B2 (en) * 2014-07-08 2017-10-17 Iarmourholdings, Inc. Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance
US11426069B2 (en) * 2013-03-13 2022-08-30 The Henry M. Jackson Foundation For The Advancement Of Military Medicine, Inc. Enhanced neuropsychological assessment with eye tracking
WO2017090203A1 (en) * 2015-11-27 2017-06-01 フォーブ インコーポレーテッド Line-of-sight detection system, gaze point identification method, and gaze point identification program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000126128A (en) * 1998-10-26 2000-05-09 Nidek Co Ltd Dynamic visual acuity examining device
JP2003126036A (en) * 2001-10-22 2003-05-07 Techno Network Shikoku Co Ltd Equipment for eyesight examination, device for eyesight examination, and method of eyesight examination
KR20100015538A (en) * 2007-04-13 2010-02-12 나이키 인코포레이티드 Systems and methods for testing and/or training near and far visual abilities
JP2016202716A (en) * 2015-04-24 2016-12-08 株式会社コーエーテクモゲームス Program and recording medium
KR20170048072A (en) * 2015-10-26 2017-05-08 에스케이플래닛 주식회사 Eye state inspection and related content delivery services over the wearable

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113508331A (en) * 2019-03-29 2021-10-15 豪雅镜片泰国有限公司 Method for measuring rotation characteristic of eyeball of subject and method for designing progressive-power lens
EP3951482A4 (en) * 2019-03-29 2022-04-20 Hoya Lens Thailand Ltd. Measuring method for measuring rotation characteristic of eyeball of subject and setting method for progressive power lens
CN113508331B (en) * 2019-03-29 2023-12-15 豪雅镜片泰国有限公司 Method for measuring rotation characteristics of eyeball of subject and method for designing progressive power lens
WO2021130743A1 (en) * 2019-12-25 2021-07-01 Shamir Optical Industry Ltd. System and method for automatically evaluating a vision of a user
CN111143640A (en) * 2019-12-28 2020-05-12 中国银行股份有限公司 Transaction data recording method and device
CN111143640B (en) * 2019-12-28 2023-11-21 中国银行股份有限公司 Transaction data recording method and device
CN113080842A (en) * 2021-03-15 2021-07-09 青岛小鸟看看科技有限公司 Head-mounted vision detection device, vision detection method and electronic device
US11744462B2 (en) 2021-03-15 2023-09-05 Qingdao Pico Technology Co., Ltd. Head-mounted vision detection equipment, vision detection method and electronic device

Also Published As

Publication number Publication date
JP2020528304A (en) 2020-09-24
KR101922343B1 (en) 2018-11-26

Similar Documents

Publication Publication Date Title
WO2019013563A1 (en) Method and system for testing dynamic visual acuity
US7506979B2 (en) Image recording apparatus, image recording method and image recording program
US20130171596A1 (en) Augmented reality neurological evaluation method
KR101499271B1 (en) Unitary vision testing center
KR101455200B1 (en) Learning monitering device and method for monitering of learning
US20160038069A1 (en) Eye Tracking Headset and System for Neuropsychological Testing Including the Detection of Brain Damage
WO2019208848A1 (en) Three-dimensional eyeball movement measurement method and automatic deep learning based dizziness diagnosis system
US8150118B2 (en) Image recording apparatus, image recording method and image recording program stored on a computer readable medium
CN103429141B (en) For determining the method for dominant eye
CN108563023B (en) Augmented reality processing method and system, control equipment and augmented reality equipment
EP3651457A1 (en) Pupillary distance measurement method, wearable eye equipment and storage medium
WO2021071335A1 (en) Eye tracking system for smart glasses and method therefor
WO2021215800A1 (en) Surgical skill training system and machine learning-based surgical guide system using three-dimensional imaging
CN109643152A (en) Use face and the eyes tracking of the face sensor in head-mounted display and FA Facial Animation
JP2022002761A (en) Device for testing visual behavior of person, and method for determining at least one optical design parameter of ophthalmic lens using such device
JP2019215688A (en) Visual line measuring device, visual line measurement method and visual line measurement program for performing automatic calibration
US20110279665A1 (en) Image recording apparatus, image recording method and image recording program
CN107411700A (en) A kind of hand-held vision inspection system and method
JP2018180090A (en) Work education system
CN100443041C (en) Endoscope system with measuring function and measuring method thereof
JP2005261728A (en) Line-of-sight direction recognition apparatus and line-of-sight direction recognition program
JP2018531706A (en) Method for determining human visual behavior parameters and related inspection equipment
JP3777439B2 (en) Visual inspection equipment and visual inspection method
JPH0449943A (en) Eye ball motion analyzer
WO2019172503A1 (en) Device for visual field defect evaluation via eye tracking, method for visual field defect evaluation using same, and computer-readable storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18831447

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020501481

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18831447

Country of ref document: EP

Kind code of ref document: A1