WO2023277548A1 - 안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체 - Google Patents

안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체 Download PDF

Info

Publication number
WO2023277548A1
WO2023277548A1 PCT/KR2022/009259 KR2022009259W WO2023277548A1 WO 2023277548 A1 WO2023277548 A1 WO 2023277548A1 KR 2022009259 W KR2022009259 W KR 2022009259W WO 2023277548 A1 WO2023277548 A1 WO 2023277548A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
guide
face
user terminal
subject
Prior art date
Application number
PCT/KR2022/009259
Other languages
English (en)
French (fr)
Inventor
신규보
박재민
김종찬
탁윤원
김휘연
심은영
Original Assignee
주식회사 타이로스코프
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210085542A external-priority patent/KR102379061B1/ko
Application filed by 주식회사 타이로스코프 filed Critical 주식회사 타이로스코프
Priority to CN202280059360.1A priority Critical patent/CN117897778A/zh
Priority to EP22773387.0A priority patent/EP4134981A4/en
Priority to JP2023580622A priority patent/JP7521748B1/ja
Priority claimed from KR1020220078867A external-priority patent/KR102477699B1/ko
Priority to US17/951,681 priority patent/US11717160B2/en
Publication of WO2023277548A1 publication Critical patent/WO2023277548A1/ko
Priority to US18/209,604 priority patent/US20230337913A1/en
Priority to JP2024106746A priority patent/JP2024138331A/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/107—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4222—Evaluating particular parts, e.g. particular organs
    • A61B5/4227—Evaluating particular parts, e.g. particular organs endocrine glands, i.e. thyroid, adrenals, hypothalamic, pituitary
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Definitions

  • the present invention relates to a method for obtaining a side image for analyzing the protrusion of the eyeball, a photographing device and a recording medium for performing the same.
  • Tyroscope the applicant of the present application, is a company that provides a thyroid management solution. Following the development of a software medical device that predicts the risk of thyroid dysfunction and guides visits to the hospital, it uses digital image learning of the face to improve thyroid safety. An artificial intelligence model that predicts disease has been developed, and a software medical device that predicts the risk of thyroid eye disease and guides visits to the hospital is about to be released.
  • One problem to be solved by the contents disclosed by the present application is to provide a method for acquiring a side image of a face, a photographing device for performing the same, and a recording medium so that the projection of the eyeball can be monitored without visiting a hospital.
  • Another problem to be solved by the contents disclosed by the present application is a method of acquiring an image so that a face image suitable for use as a diagnostic image can be obtained even in a state in which it is difficult to accurately detect the vertical rotation angle of the face, and performing this It is to provide a photographic device and a recording medium.
  • Another problem to be solved by the contents disclosed by this application is to be able to monitor the clinical activity score related to thyroid eye disease so that the general public or patients who are treating thyroid dysfunction can detect thyroid eye disease early. It is to provide a method and system.
  • a method of acquiring a facial image of a subject to analyze protrusion of the eyeball acquires a frontal image of the subject's face in a guided state to satisfy a first photographing condition - satisfying the first photographing condition means that at least both eyes of the subject are located in a predetermined area of the first photographed image.
  • a panorama guide based on the location information of the first point and the second point extracted from the front image-the panorama guide is formed in a horizontal direction based on the front of the face, and the The first point and the second point are vertically spaced apart from the front of the face - guide the movement of the photographing device so that a preview image corresponding to the panorama guide is obtained - at this time, extracted from the preview image
  • the distance between the first point and the second point in the vertical direction is monitored so as to have a difference less than an error range determined based on the initial separation distance-, and the subject in a guided state to satisfy the second shooting condition.
  • the separation distance in the vertical direction between the first point and the second point extracted from the second shooting image is an error determined based on the initial separation distance with a difference less than the range - inclusive.
  • the iris region of the target is shown in the first captured image, and the outer corner of one eye and the cornea of the target are displayed in the second captured image so that the obtained image can be used to calculate the protrusion of the eyeball. is appearing
  • a non-transitory computer readable medium storing one or more instructions.
  • the non-transitory computer readable medium When executed by one or more processors of a computing device, it may cause the computing device to perform the above-described method.
  • a photographing device that acquires a facial image of a subject to analyze the degree of protrusion of the eyeball.
  • the device includes a communication unit, a storage unit to store one or more instructions, and a control unit to execute the one or more instructions stored in the storage unit.
  • the controller executes the one or more instructions, the controller acquires a frontal image of the face of the subject in a guided state to satisfy a first shooting condition, and positions of first and second points extracted from the frontal image.
  • the first photographing condition includes that at least both eyes of the subject are disposed in a predetermined area of a first photographed image, and the panorama guide is formed in a horizontal direction based on the front of the face, and the first point and the second The points are spaced apart in a vertical direction based on the front of the face, and the second photographing condition is at least a vertical distance between the first and second points extracted from the second photographed image. It may have a difference less than the error range determined based on the separation distance.
  • a side image of a face suitable for monitoring a change in protrusion of the eyeball may be obtained using a digital camera such as a smart phone usable by the general public.
  • FIG. 1 is a diagram for explaining an ophthalmopathy management system according to an exemplary embodiment.
  • FIG. 2 is a diagram illustrating an ophthalmopathy management system including a user terminal.
  • FIG. 3 is a block diagram of a user terminal according to an embodiment.
  • FIG. 4 is a diagram for explaining the operation of an ophthalmopathy management system according to an embodiment.
  • FIG. 5 is a diagram for explaining an image acquisition method according to an exemplary embodiment.
  • FIG. 6 is a diagram for explaining the shape and operation of a photographing guide provided according to an embodiment.
  • FIG. 7 is a diagram for explaining the shape and operation of a real-time shooting guide provided according to an embodiment.
  • FIG. 8 is a diagram for describing a display screen after capturing an image of a user terminal according to an exemplary embodiment.
  • FIG. 9 is a diagram for explaining an image acquisition method according to an exemplary embodiment.
  • FIG. 10 is a diagram for explaining an operation of generating a reference guide according to an exemplary embodiment.
  • FIG. 11 is a diagram for explaining an image acquisition method according to an exemplary embodiment.
  • FIGS. 12 and 13 are views for explaining a display screen providing a shooting guide and a reference guide according to an exemplary embodiment.
  • FIG. 14 is a diagram for explaining an image acquisition method according to an exemplary embodiment.
  • 15 is a diagram for explaining an image acquisition method according to an exemplary embodiment.
  • 16 is a diagram illustrating a front image and a side image according to an exemplary embodiment.
  • 17 is a flowchart of a method for predicting thyroid eye disease according to an embodiment.
  • FIG. 18 is a diagram for explaining a display screen including a questionnaire input interface and confirmation interface of a user terminal according to an exemplary embodiment.
  • 19 is a diagram for explaining an index for predicting thyroid ophthalmopathy according to an embodiment.
  • 20 is a diagram for explaining a method of predicting prominence by analyzing a side image of a face, according to an exemplary embodiment.
  • 21 is a diagram for explaining a diameter value of an iris region in a front image of a face and a protrusion degree of an eyeball in a side image of a face, according to an exemplary embodiment.
  • a method of acquiring a facial image of a subject to analyze protrusion of the eyeball acquires a frontal image of the subject's face in a guided state to satisfy a first photographing condition - satisfying the first photographing condition means that at least both eyes of the subject are located in a predetermined area of the first photographed image.
  • a panorama guide based on the location information of the first point and the second point extracted from the front image-the panorama guide is formed in a horizontal direction based on the front of the face, and the The first point and the second point are vertically spaced apart from the front of the face - guide the movement of the photographing device so that a preview image corresponding to the panorama guide is obtained - at this time, extracted from the preview image
  • the distance between the first point and the second point in the vertical direction is monitored so as to have a difference less than an error range determined based on the initial separation distance-, and the subject in a guided state to satisfy the second shooting condition.
  • the separation distance in the vertical direction between the first point and the second point extracted from the second shooting image is an error determined based on the initial separation distance with a difference less than the range - inclusive.
  • the iris region of the target is shown in the first captured image, and the outer corner of one eye and the cornea of the target are displayed in the second captured image so that the obtained image can be used to calculate the protrusion of the eyeball. is appearing
  • satisfying the first photographing condition may include at least a horizontal rotation angle of the subject's face not exceeding a preset first reference value.
  • satisfying the first photographing condition may include that a smile level of the subject does not exceed a preset second reference value based on at least facial expression information of the subject.
  • satisfying the first photographing condition may include that at least a vertical rotation angle of the subject's face does not exceed a preset third reference value.
  • satisfying the first photographing condition may include at least ambient brightness not exceeding a fourth reference value.
  • satisfying the second photographing condition may include disposing at least the ears of the target in a predetermined area of the second photographed image.
  • the first point may be an end point of the nose
  • the second point may be an end point on the chin side of the outline of the face.
  • guiding the movement of the photographing device to obtain a preview image corresponding to the panorama guide may include obtaining a preview image according to a preset frame rate and the first point extracted from the obtained preview image. and determining whether the vertical separation distance between the second points has a difference less than a predetermined error range based on the initial separation distance, and adjusting the distance between the photographing device and the face if it is determined that the distance is outside the predetermined error range. It may include outputting the guide.
  • outputting a guide for adjusting the distance between the photographing device and the face includes the first point and the first point extracted from the obtained preview image.
  • a guide to move the photographing device away from the face is output, and the above information extracted from the obtained preview image is output.
  • outputting a guide instructing the photographing device to move closer to the face can
  • guiding the movement of the photographing device so that a preview image corresponding to the panorama guide is acquired is such that the position of the first point extracted from the acquired preview image is the location of the first point extracted from the front image. It is determined whether the position is moved by less than a fifth reference value compared to the position, and it is determined that the position of the first point extracted from the acquired preview image is moved by more than a fifth reference value compared to the position of the first point extracted from the front image. , outputting a guide instructing the photographing device to move upward or downward relative to the face.
  • guiding the movement of the photographing device so that a preview image corresponding to the panorama guide is acquired is such that the location of the second point extracted from the acquired preview image is the location of the second point extracted from the front image. If it is determined whether the position of the second point extracted from the obtained preview image is moved by more than the sixth reference value compared to the position of the second point extracted from the front image, It may include outputting a guide instructing the photographing device to move upward or downward relative to the face.
  • the movement of the photographing device is guided so that a preview image corresponding to the panorama guide is acquired
  • at least some of the preview images are acquired as third captured images, the first captured image, and the second captured image.
  • the image and the third captured image may be edited and stored as a panoramic image.
  • a moving image may be stored by continuously acquiring images from a time when the first captured image is obtained to a time when the second captured image is acquired.
  • satisfying the second photographing condition may include not detecting at least one eye of the subject in the second photographed image.
  • the method may obtain a diameter value of the iris region detected in the first photographed image, and a distance between the outer corner of the eye detected in the second photographed image and the cornea located farthest from the outer corner of the eye.
  • the method may include obtaining the projection of the eyeball by obtaining a value, obtaining a ratio between the distance value and the diameter value, and predicting the distance value by reflecting the eigenvalue of the iris region.
  • a non-transitory computer readable medium storing one or more instructions.
  • the non-transitory computer readable medium When executed by one or more processors of a computing device, it may cause the computing device to perform the above-described method.
  • a photographing device that acquires a facial image of a subject to analyze the degree of protrusion of the eyeball.
  • the device includes a communication unit, a storage unit to store one or more instructions, and a control unit to execute the one or more instructions stored in the storage unit.
  • the controller executes the one or more instructions, the controller acquires a frontal image of the face of the subject in a guided state to satisfy a first shooting condition, and positions of first and second points extracted from the frontal image.
  • the first photographing condition includes that at least both eyes of the subject are disposed in a predetermined area of a first photographed image, and the panorama guide is formed in a horizontal direction based on the front of the face, and the first point and the second The points are spaced apart in a vertical direction based on the front of the face, and the second photographing condition is at least a vertical distance between the first and second points extracted from the second photographed image. It may have a difference less than the error range determined based on the separation distance.
  • a method for capturing an image used to manage thyroid ophthalmopathy and a system for managing thyroid ophthalmopathy based thereon eg, guidance to a hospital visit.
  • eye may refer to an area exposed to the outside through the eye area determined by the eyelid based on the eyeball.
  • eye in this specification may be a concept included in "eyeball”.
  • iris region may refer to an area in which the iris of the eye and the pupil of the eye are combined.
  • the term "subject” may refer to an object (eg, a person) that has become a subject in a photographed image acquired by the thyroid eye disease management system.
  • preview image may refer to an image obtained according to a frame rate determined at the time of capturing the image, and specifically, an image capturing operation according to a user's input or an automatic image capturing operation due to satisfying a pre-stored condition. It may refer to an image captured in a step before a photographing operation is initiated and a photographed image is stored in response thereto.
  • photographed image may mean an image finally obtained according to a photographing operation of an image, and specifically, an image photographing operation according to a user's input or an automatic photographing operation resulting from satisfying a pre-stored condition. This may mean an image that is initiated and stored as a response thereto.
  • the term "capturing guide” refers to a function for assisting image capturing, and for example, a preview image displayed on the display of the user terminal 1000 is output together in the form of lines or letters. It may be a shape, and as another example, it may be a form in which a voice assisting photographing is output through a speaker of the user terminal 1000, but is not limited thereto.
  • the "left and right rotation angle" of a face may refer to an angle (Yaw) of rotation based on an imaginary vertical axis passing through the center of the head side of the face. Specifically, when the face is facing the front, the left and right rotation angle of the face may be 0°, when the face is looking to the right, the left and right rotation angle of the face may be 90°, and when the face is looking to the left. In this case, the left and right rotation angle of the face may be -90°.
  • the "up and down rotation angle” may mean a rotation angle (pitch) based on a virtual horizontal axis passing through the center of the ear side of the face. Specifically, when the face is facing the front, the vertical rotation angle of the face may be 0°, and when the face is facing upward (eg, the sky), the vertical rotation angle of the face may be 90°. When looking down (eg, the floor), the face's up and down rotation angle may be -90°.
  • ophthalmia may mean thyroid eye disease as an autoimmune eye disease known to occur in association with thyroid disease.
  • thyroid ophthalmopathy usually appears in conjunction with hyperthyroidism, but it may also appear before hyperthyroidism or when thyroid function is normal. Therefore, "eye disease” described herein should be interpreted as describing the disease to be managed using the eye disease management system as a disease name commonly referred to in the medical industry, but the mechanism of occurrence of the disease to be monitored is caused by the thyroid gland. It should not be interpreted to mean that
  • FIG. 1 is a diagram for explaining an ophthalmopathy management system 10 according to an exemplary embodiment.
  • the ophthalmopathy management system 10 plays a role of predicting ophthalmopathy or confirming and managing the course of the disease after finding out the existence of ophthalmopathy.
  • the ophthalmopathy management system 10 may perform a role of acquiring an image of a target and predicting the possibility of ophthalmopathy by analyzing the obtained image.
  • the ophthalmopathy management system 10 acquires a front face image of the subject, analyzes the acquired front face image to predict a clinical activity score (CAS), and determines whether the predicted clinical activity score exceeds a reference value. It can be judged to predict the possibility of thyroid eye disease.
  • the ophthalmopathy management system 10 may obtain a side face image of the subject, analyze the acquired side face image, predict the degree of projection of the eyeball, or monitor a change in the degree of projection of the eyeball.
  • FIG. 2 is a diagram illustrating an ophthalmopathy management system including a user terminal.
  • the user terminal 100 may be connected to other user terminals 100 and/or the eye disease management server 200 through a network.
  • the network may be a communications network and/or a wide area network (WAN).
  • the network may be the Internet.
  • the user terminal 100 may acquire an image of a body part of a target.
  • the obtained image may be an image taken according to a preset condition so that it can be used for diagnosis in the ophthalmopathy management server 200 .
  • the user terminal 100 may transmit the acquired image to the ophthalmopathy management server 200 .
  • the ophthalmopathy management server 200 may generate information about thyroid ophthalmia by analyzing the image. For example, the ophthalmopathy management server 200 may analyze the image to calculate a clinical utilization score, evaluate whether the clinical utilization score is 3 points or more, and induce visitation to the hospital for the purpose of treating thyroid ophthalmopathy at an appropriate time You can provide information to do so. As another example, the ophthalmopathy management server 200 may analyze the image to predict the projection degree of the eyeball, store the projection degree information of the eyeball, and provide information about the change in the projection degree of the eyeball to the user.
  • the ophthalmopathy management system 10 may be built in a shape in which at least some of the components shown in FIG. 2 are omitted, or may be built in a shape in which additional components not shown in FIG. 2 are included.
  • FIG. 3 is a block diagram of a user terminal according to an embodiment.
  • the user terminal 100 includes a terminal communication unit 110, a camera module 120, a terminal storage unit 130, an input/output module 140, and a terminal control unit 150.
  • the user terminal 100 may be, for example, a smart phone, a tablet device, a laptop computer, a personal computer, or a combination thereof, but is not limited thereto.
  • the terminal communication unit 110 may include a wireless communication module and/or a wired communication module.
  • the terminal communication unit 110 exemplarily includes a wired/wireless Local Area Network (LAN) module, a WAN module, an Ethernet module, a Bluetooth module, a Zigbee module, a Universal Serial Bus (USB) module, an IEEE 1394 module, It may be a WiFi module or a combination thereof, but is not limited thereto.
  • the camera module 120 is a digital camera and may include an image sensor and an image processor.
  • An image sensor is a device that converts an optical image into an electrical signal, and may be composed of a chip in which a plurality of photo diodes are directly incorporated.
  • the image sensor may include a Charge Coupled Device (CCD), Complementary Metal Oxide Semiconductor (CMOS), and the like.
  • the image processing unit may generate image information by processing a photographed result.
  • the terminal storage unit 130 is a memory, and the memory may be a storage means for storing data that can be read by a microprocessor.
  • the terminal storage unit 130 may include a hard disk drive (HDD), solid state disk (SSD), silicon disk drive (SDD), ROM, RAM, and the like.
  • the terminal storage unit 130 stores an operating system (OS) that drives a user terminal, various programs (and/or application programs 131) to be driven in the user terminal, and various data to be referred to by them. can be stored
  • OS operating system
  • the input/output module 140 may include a user input unit, an output unit, and/or an input/output interface.
  • the user input unit receives a user's input for the user terminal 100 .
  • the received input may be transmitted to the terminal control unit 150 .
  • the user input unit may receive a user's input through a touch display.
  • the output unit outputs various types of information according to the control command of the terminal control unit 150 .
  • the output unit may include a display that visually outputs information to a user.
  • the output unit may include a speaker that audibly outputs information to the user and a vibration motor that tactilely outputs information to the user.
  • the input/output interface may serve as an interface capable of transferring commands or data input from a user or other external device to other component(s) of the user terminal 100, for example. Also, the input/output interface may output commands or data received from other component(s) of the user terminal 100 to the user or other external devices.
  • the terminal controller 150 may include at least one processor. At this time, each processor may execute a predetermined operation by executing at least one instruction stored in the memory. According to an embodiment, the terminal controller 150 may control overall operations of elements included in the user terminal 100 . In other words, the user terminal 100 may be controlled or operated by the terminal control unit 150 . The terminal control unit 150 may, for example, execute calculations or data processing related to control and/or communication of at least one other component of the user terminal 100 .
  • the terminal control unit 150 may include one or more of a central processing unit (CPU), an application processor (AP), or a communication processor (CP).
  • CPU central processing unit
  • AP application processor
  • CP communication processor
  • the user terminal 100 may be provided in a form in which at least some of the components shown in FIG. 3 are omitted, or may be provided in a form in which components not shown in FIG. 3 are additionally included.
  • the operation of the user terminal 100 may be interpreted as being performed by the terminal control unit 150 .
  • FIG. 4 is a diagram for explaining the operation of an ophthalmopathy management system according to an embodiment.
  • the ophthalmopathy management system 10 may acquire an image (S1000) and obtain ophthalmopathy information (S2000). An image acquisition method and an image analysis method will be described in more detail below.
  • both the image acquisition method and the image analysis method may be performed by the user terminal 100, and at this time, the user terminal 100 may be the only device constituting the eye disease management system 10. there is.
  • the image acquisition method may be performed by the user terminal 100 and the image analysis method may be performed by the ophthalmopathy management server 200 .
  • the eye disease management system 10 may include at least the electronic device 100 and the eye disease management server 200 .
  • the user terminal 100 and the ophthalmopathy management server 200 are connected to each other to enable data exchange, and can transmit and receive necessary data to each other.
  • some operations of the image acquisition method may be performed by the user terminal 100 and other operations may be performed by the ophthalmopathy management server 200 .
  • some operations of the image analysis method may be performed by the user terminal 100 and other operations may be performed by the ophthalmopathy management server 200 .
  • an image satisfying the first photographing condition may be obtained.
  • the first photographing condition is a criterion for image acquisition of the ophthalmopathy management system 10, whether both eyes of the subject are placed in appropriate positions on the diagnosis image, whether the vertical rotation angle of the subject's face is within an appropriate range, whether the subject's face is It can be determined by evaluating whether the left/right rotation angle is within an appropriate range, whether the subject's face occupies an appropriate portion on the image, whether the subject's smile level is within an appropriate range, and/or whether the ambient brightness is within an appropriate range. .
  • satisfying the first photographing condition is that the eyes of the target are disposed in a predetermined area of the first photographed image, the horizontal rotation angle of the face of the target does not exceed a preset first reference value, and the target Based on the facial expression information of the subject, the smile level of the subject may not exceed a preset second reference value.
  • satisfying the first photographing condition is that both eyes of the target are disposed in a predetermined area of the first photographed image, a horizontal rotation angle of the face of the target does not exceed a preset first reference value, Based on the facial expression information of the target, the target's smile level may not exceed a preset second reference value, and the vertical rotation angle of the target's face may not exceed a preset third reference value.
  • satisfying the first photographing condition is that both eyes of the target are disposed in a predetermined area of the first photographed image, and a horizontal rotation angle of the face of the target does not exceed a preset first reference value.
  • the target's smile level does not exceed a preset second reference value based on the target's facial expression information
  • the vertical rotation angle of the target's face does not exceed a preset third reference value
  • the ambient brightness 4 may not exceed the standard.
  • the thyroid eye disease system 10 may determine whether the first shooting condition is satisfied by analyzing at least some of the above-described evaluation indicators or further analyzing additional indicators. , An embodiment of the image acquisition method of the present invention will be described with reference to FIG.
  • FIG. 5 is a diagram for explaining an image acquisition method according to an exemplary embodiment.
  • the user terminal 100 may provide a photographing guide (SA1100).
  • the terminal controller 150 may provide a photographing guide to the user through the input/output module 140 .
  • the user terminal 100 may provide a photographing guide to overlap the preview image.
  • the photographing guide is provided at a fixed position of the input/output module 140, and the position at which the photographing guide is provided does not change according to the characteristics of the acquired preview image.
  • the photographing guide may be an instruction provided to the user so that an image suitable for the above-described various evaluation indicators is obtained.
  • the shooting guide may be an instruction for some of evaluation indicators set to be evaluated according to shooting conditions stored in the user terminal 100 .
  • the user terminal 100 may display points where both eyes of the target should be located, and may not provide a shooting guide corresponding to the remaining indicators.
  • the user terminal 100 may display a point where both eyes of the target should be located and an area where the face of the target should be included, and may not provide a shooting guide corresponding to the remaining indicators.
  • the shooting guide may be an instruction for all evaluation indicators set to be evaluated according to shooting conditions stored in the user terminal 100 . An embodiment of the photographing guide of the present invention will be described below with reference to FIGS. 6 and 7 .
  • the user terminal 100 may obtain a preview image (SA1200).
  • the terminal controller 150 may acquire a preview image using the camera module 120 (SA1200).
  • the terminal controller 150 may acquire a preview image (SA1200) in a state in which a shooting guide is provided through the input/output module 140.
  • a preview image may be acquired according to a preset frame rate.
  • the user terminal 100 may extract a plurality of indicators from the acquired preview image (SA1300).
  • the terminal control unit 150 may extract a plurality of indicators using an algorithm stored in the terminal storage unit 130 (SA1300).
  • the user terminal 100 may perform step SA1300 with respect to at least some of the acquired preview images. This is because the time taken from acquiring the preview image to acquiring the next preview image may be shorter than the time required to perform SA1300 for one preview image.
  • the plurality of indicators extracted in step SA1300 may be information extracted to confirm the appropriateness of at least some of the aforementioned evaluation indicators.
  • the plurality of indicators extracted in step SA1300 may be information about some of evaluation indicators set to be evaluated according to shooting conditions stored in the user terminal 100 .
  • the plurality of indicators may include pupil position information, facial contour information, and the like, but are not limited thereto.
  • a plurality of indicators may be obtained through a landmark detection algorithm.
  • the user terminal 100 may check the eye position in the preview image using a landmark detection algorithm, and at this time, the checked eye coordinates may be an index related to the pupil position.
  • a plurality of indicators may be obtained using a segmentation model.
  • the user terminal 100 may input a preview image to the segmentation model to check the eye position in the preview image.
  • the identified eye region may be an indicator related to the pupil position.
  • a plurality of indices may be obtained through a bounding box detection algorithm.
  • the user terminal 100 may input a preview image into a bounding box detection algorithm to check the positions of the eyes and face in the preview image.
  • the checked eye area is an index related to the position of the pupil
  • the face area may be an index related to a face ratio.
  • the indicators extracted in the SA1300 step may be related to indicators for some of the above-described evaluation indicators, and when there are two or more indicators to be extracted, the two indicators may be extracted by the same algorithm or extracted by different algorithms. It could be.
  • the user terminal 100 may determine whether the extracted indicator is at an appropriate location (SA1400).
  • the terminal control unit 150 may evaluate whether the extracted indicator is at an appropriate position on the preview image by referring to the shooting conditions stored in the terminal storage unit 130 . In other words, the terminal control unit 150 may check whether the extracted indicator satisfies the criterion.
  • the user terminal 100 may compare the extracted index and the location of the shooting guide. For example, when the user terminal 100 acquires the coordinate values of pixels of the extracted index, it may evaluate whether the obtained coordinate values and the coordinate values of the photographing guide are separated from each other within a reference distance. Alternatively, according to some embodiments, the user terminal 100 may compare the extracted index with a pre-stored criterion. For example, when the user terminal 100 acquires left eye coordinates and right eye coordinates analyzed using a landmark algorithm as a plurality of indices, it is evaluated whether the obtained eye coordinates are within a pixel value range stored as an appropriate position. can
  • the user terminal 100 may evaluate the horizontal rotation angle of the face with respect to the acquired preview image (SA1500).
  • the terminal control unit 150 calculates the left and right rotation angle of the face of the subject shown in the obtained preview image using an algorithm stored in the terminal storage unit 130, and the calculated angle is calculated by referring to the shooting conditions stored in the terminal storage unit 130. It may be determined whether the left and right rotation angle of the face is within an appropriate range.
  • the user terminal 100 may perform step SA1500 on at least some of the obtained preview images. This is because the time taken from acquiring the preview image to acquiring the next preview image may be shorter than the time required to perform SA1500 for one preview image.
  • the preview image on which step SA1300 is performed and the preview image on which step SA 1500 is performed may be the same.
  • the preview image on which step SA1300 is performed may be different from the preview image on which step SA 1500 is performed. This is because the time taken to perform step SA1300 and the time taken to perform step SA1500 may be different.
  • the left and right rotation angle of the face may be obtained through a yaw estimation algorithm, but may also be calculated by comparing positions of body parts obtained using a landmark detection algorithm, but is not limited thereto.
  • the user terminal 100 may evaluate whether the horizontal rotation angle of the face is within an appropriate range (ie, the first reference value). For example, when evaluating whether or not the first reference value is within the range, it may be determined based on whether the horizontal rotation angle of the face is within ⁇ 2 degrees, but is not limited thereto.
  • the user terminal 100 may evaluate the vertical rotation angle of the face with respect to the acquired preview image (SA1600).
  • the terminal controller 150 calculates the vertical rotation angle of the target's face shown in the obtained preview image using an algorithm stored in the terminal storage 130, and the calculated angle is calculated by referring to the shooting conditions stored in the terminal storage 130. It may be determined whether the vertical rotation angle of the face is within an appropriate range.
  • the user terminal 100 may perform step SA1600 on at least some of the obtained preview images. This is because the time taken from acquiring the preview image to acquiring the next preview image may be shorter than the time required to perform SA1600 for one preview image.
  • the preview image on which step SA1500 is performed and the preview image on which step SA 1600 is performed may be the same.
  • the preview image on which step SA1500 is performed may be different from the preview image on which step SA 1600 is performed. This is because the time required to perform step SA1500 and the time required to perform step SA1600 may be different.
  • the vertical rotation angle of the face may be obtained through a vertical rotation angle detection algorithm (Pitch Detection Algorithm, PDA), but may also be calculated by comparing the positions of body parts obtained using a landmark detection algorithm, but is not limited thereto. .
  • PDA vertical rotation angle detection algorithm
  • the user terminal 100 may evaluate whether the vertical rotation angle of the face is within an appropriate range (ie, the third reference value). For example, when evaluating whether the face is within the third reference value, it may be determined based on whether the vertical rotation angle of the face is within ⁇ 2 degrees, but is not limited thereto.
  • the user terminal 100 may evaluate the degree of smiling with respect to the obtained image (SA1700).
  • the terminal controller 150 calculates the degree of smile by analyzing the facial expression of the subject shown in the acquired preview image using an algorithm stored in the terminal storage unit 130, and by referring to the shooting conditions stored in the terminal storage unit 130. It can be determined whether the calculated degree of smile is within an appropriate range.
  • the user terminal 100 may perform step SA1700 with respect to at least some of the acquired preview images. This is because the time taken from acquiring the preview image to acquiring the next preview image may be shorter than the time required to perform SA1700 for one preview image.
  • the preview image on which step SA1700 is performed and the preview image on which step SA 1300 is performed may be the same.
  • the preview image on which step SA1700 is performed may be different from the preview image on which step SA 1300 is performed. This is because the time taken to perform step SA1700 and the time taken to perform step SA1300 may be different.
  • the degree of smile may be obtained through a facial expression analysis algorithm (Face Reader), but may also be calculated by comparing positions of body parts obtained using a landmark detection algorithm, but is not limited thereto.
  • Face Reader facial expression analysis algorithm
  • the user terminal 100 may evaluate whether the smile level of the face is within an appropriate range (ie, the second reference value).
  • the appropriate range ie, the second reference value
  • the appropriate range may be an appropriate range set to prevent the deterioration of diagnosis accuracy due to deformation of the eye shape as a person's facial expression becomes brighter.
  • it may be determined based on whether the degree of smile is 0.1 or less, but is not limited thereto.
  • the user terminal 100 may capture an image (SA1800) when it is determined that all evaluation indicators set to be evaluated according to the photographing conditions stored in the user terminal 100 are satisfied.
  • the user terminal 100 does not capture an image unless it is determined that all of the evaluation indices set to be evaluated according to the stored photographing conditions are satisfied, even if all of the evaluation indices related to the photographing guide provided to the SA1100 are satisfied. In other words, the user terminal 100 determines whether all of the evaluation indices to be evaluated according to the shooting conditions are satisfied without being dependent on the evaluation indices provided as the shooting guide.
  • the user terminal 100 may capture an image (SA1800) when it is determined that evaluation indices set to be evaluated according to shooting conditions stored in the user terminal 100 are all satisfied with respect to one preview image.
  • the user terminal 100 may capture an image (SA1800) when it is determined that each evaluation index set to be evaluated according to a photographing condition stored in the user terminal 100 is satisfied.
  • Taking an image is to save a preview image obtained by the user terminal 100 as a captured image immediately after it is determined that a condition is satisfied, or to store a preview image when determining whether a condition is satisfied by the user terminal 100. This may mean saving as a captured image. Meanwhile, instead of automatically capturing an image, the user terminal 100 may activate a capturing button or provide a notification so that the user may capture an image when it is determined that the capturing condition is satisfied.
  • the user terminal 100 takes a picture when a condition according to each embodiment is satisfied, but this may be modified to activate a capture button or provide a notification to take a picture.
  • the user terminal 100 may further perform a step of evaluating ambient brightness before capturing an image.
  • the terminal control unit 150 may determine whether ambient brightness is within an appropriate range through a terminal sensor unit (not shown, for example, an ambient light sensor).
  • the user terminal 100 may evaluate whether the ambient brightness is within an appropriate range (ie, the fourth reference value).
  • the appropriate minimum standard may be set so that the appropriate range (ie, the fourth reference value) has enough brightness to allow image analysis even without flash, and is appropriate to have enough brightness not to interfere with color analysis of the captured image.
  • a maximum criterion may be included. For example, when evaluating whether it is within the fourth reference value, it may be determined based on whether the ambient brightness is 100 to 1000 lux, but is not limited thereto.
  • the user terminal 100 does not capture when it is determined that at least one evaluation index among several evaluation indexes determined based on the preview image does not satisfy a pre-stored condition, and at that time, the unsatisfied evaluation index is not satisfied. It can provide information about evaluation indicators. In this case, the provided information may be in the form of notifying the unsatisfactory evaluation index, or may be in the form of informing the user of a desirable action to satisfy the unsatisfactory evaluation index. For example, when the user terminal 100 determines that the level of smile of the face determined based on the preview image exceeds a predetermined criterion, the user terminal 100 may provide a message “don't laugh” through the display.
  • the image acquisition method may be performed in a form in which the step of providing a photographing guide is omitted.
  • the ophthalmopathy management system 10 disclosed in this specification requires image acquisition in a precisely controlled environment, so that the user terminal 100 appropriately induces the user's behavior through the shooting guide. More advanced ophthalmopathy management can be performed.
  • the operation of the user terminal 100 described above may be performed by the ophthalmopathy management server 200 .
  • An algorithm and related criteria for extracting a plurality of indices, an algorithm and related criteria for detecting vertical rotation angle, an algorithm and related criteria for detecting left and right rotation angles, an algorithm and related criteria for detecting degree of smile, etc. may be stored in The user terminal 100 may operate as an interface for receiving and providing data in relation to a user.
  • the user terminal 100 and the ophthalmopathy management server 200 are interlocked in real time, and according to the subjective operation of the ophthalmopathy management server 200, the user terminal 100 provides an appropriate shooting guide and obtains a photographed image to treat ophthalmopathy. It may serve to transmit to the management server 200.
  • FIG. 6 is a diagram for explaining the shape and operation of a photographing guide provided according to an embodiment.
  • the input/output module 140 is a display of a smart phone.
  • the user terminal 100 may provide a fixed shooting guide.
  • the photographing guide may include a first guide G1 , a second guide G2 , a third guide G3 , and a fourth guide G4 .
  • the first guide G1 may be output to indicate an appropriate position of the right eye of the subject.
  • the second guide G2 may be output to indicate an appropriate position of the subject's left eye.
  • the third guide G3 may be output to display an appropriate left/right rotation angle of the subject's face.
  • the fourth guide G4 may be output to display an appropriate proportion of the target's face.
  • the first guide G1 may be output to directly or indirectly indicate an appropriate position of the right eye of the subject.
  • the first guide G1 is output at a point where the right eye of the subject is to be located, and may help the user align the right eye with the first guide G1.
  • the first guide G1 may have a shape that indicates the outline of the iris region when the target's eye is in an appropriate position, or the pupil of the target's eye when the target's eye is in an appropriate position. It may be a shape that displays a position or an outline of an eye of a target.
  • the first guide G1 may be provided in a cross shape.
  • the first guide G1 may guide an image with the center of the eye disposed at an appropriate position to be captured without a pupil sensor.
  • the first guide G1 may perform a function of inducing the user to match the center of the iris region of the left eye to the intersection of the cross shape, Accordingly, an appropriate diagnostic image may be acquired so that highly accurate analysis can be performed.
  • the second guide G2 may directly or indirectly display an appropriate position of the subject's left eye.
  • the second guide G2 may have the same or similar shape as the first guide G1, although the region to be displayed is different. In other words, if the first guide G1 is output to display the right pupil in the shape of a cross, the second guide G2 can be output to display the left pupil in the shape of a cross.
  • the first guide G1 and the second guide G2 may be symmetrically provided on the display.
  • the first guide G1 and the second guide G2 may be provided symmetrically with respect to the third guide G3.
  • the third guide G3 may directly or indirectly display the left and right rotation angle of the face of the target.
  • the third guide G3 can display the horizontal rotation angle of the face as a numerical value or as a vertical line extending in the vertical direction of the display.
  • the vertical line may be a vertical line passing through an area where the nose of the face should be located when both eyes of the target respectively correspond to the first guide G1 and the second guide G2 and the horizontal rotation angle of the face is 0. .
  • the fourth guide G4 may directly or indirectly display an appropriate proportion (portion) occupied by the face of the target on the image.
  • the fourth guide G4 displays an area where the target's face should be located in a circular shape or displays the distance between the target's face and the user terminal 100 so that an image in which the target's face is occupied on the image is captured. can guide
  • the first guide G1 , the second guide G2 , and the fourth guide G4 may be related to the evaluation index to be determined in step SA1400 described above.
  • the third guide G3 may be related to the evaluation index to be determined in the above-described step SA1500.
  • the user terminal 100 may provide a fixed shooting guide and a real-time shooting guide RG generated based on information obtained by analyzing a preview image.
  • the real-time shooting guide RG may be generated for evaluation index(s) related to the shooting guide provided to the user terminal 100 .
  • the real-time shooting guide RG may be generated for all evaluation indexes related to shooting guides provided from the user terminal 100 .
  • real-time shooting guides RG for the four evaluation indicators may be provided.
  • the real-time shooting guide RG may be generated for some of the evaluation indicators related to shooting guides provided from the user terminal 100 .
  • real-time shooting guides RG for two evaluation indicators may be provided.
  • the real-time photographing guide RG may be provided in a shape corresponding to the photographing guide.
  • the corresponding real-time shooting guide RG may also be in the shape of a vertical line
  • the corresponding real-time shooting guide RG may also be in the shape of a cross.
  • At least one characteristic of the real-time photographing guide RG may be changed according to whether a corresponding evaluation index is satisfied.
  • the user terminal 100 changes and provides the characteristics of the previously provided real-time shooting guide RG so that the user satisfies the condition. can be easily identified.
  • the change in characteristics may be a form in which a dotted line is changed to a solid line, a form in which a color is changed, or a form in which the thickness of a line is changed, but is not limited thereto.
  • the user terminal 100 analyzes the preview image to obtain values corresponding to evaluation indicators (eg, a pupil position and a left/right rotation angle of a face), and values corresponding to the evaluation indicators. It is possible to evaluate whether or not the images satisfy the criterion, and provide a real-time photographing guide RG based on the evaluated value.
  • evaluation indicators eg, a pupil position and a left/right rotation angle of a face
  • the user terminal 100 analyzes the preview image to obtain values corresponding to the evaluation indicators (eg, the position of the pupil and the left/right rotation angle of the face), and the corresponding real-time shooting guide ( RG) is provided, and by comparing the real-time recording guide RG and the recording guide, it is possible to evaluate whether values corresponding to evaluation indicators satisfy criteria.
  • the evaluation indicators eg, the position of the pupil and the left/right rotation angle of the face
  • FIG. 7 is a diagram for explaining the shape and operation of a real-time shooting guide provided according to an embodiment.
  • an operation of providing the third guide G3 and the real-time guide RG associated with the third guide G3 through the user terminal 100 will be described.
  • the third guide G2 may be provided in a vertical line shape.
  • the third guide G3 may be implemented in a form of providing a left and right rotation angle of the face as a numerical value, but this has a problem in that it does not intuitively reach the user how to correct the posture.
  • the horizontal rotation angle of the face may be displayed as a vertical line on the display.
  • the third guide G3 may be provided as a vertical line passing through the center of the display in the horizontal direction and extending in the vertical direction of the display.
  • the user terminal 100 may provide a real-time photographing guide RG for the left and right rotation angle of the face.
  • the real-time shooting guide RG may be provided as a vertical line passing through the center of the display in the horizontal direction and extending in the vertical direction of the display.
  • the real-time shooting guide RG may be provided as a vertical line extending in the vertical direction of the display passing through a quarter point based on the horizontal direction of the display.
  • the user terminal 100 stores the position of the vertical line for each left and right rotation angle of the face so that points in the horizontal direction of the display can be equally displayed for each left and right rotation angle of the face on the preview image, and the real-time shooting guide RG of the display It may be provided in the form of a vertical line extending in the vertical direction to match the left and right rotation angle of the face.
  • the user terminal 100 may obtain a preview image in a state in which the third guide G3 is provided.
  • the obtained preview image may be analyzed to calculate the horizontal rotation angle of the face, and the real-time photographing guide RG corresponding to the calculated facial horizontal rotation angle may be provided.
  • the real-time shooting guide RG Since the subject's face is looking to the left, the real-time shooting guide RG is located on the right side relative to the horizontal direction of the user terminal 100 compared to the third guide G3. At this time, since the obtained horizontal rotation angle of the face does not satisfy an appropriate range (ie, the first reference value), the real-time photographing guide RG is displayed as a dotted line.
  • the user terminal 100 may provide an operation to be performed by the user to satisfy the first reference value through the display.
  • the provided additional shooting guide may be "Move the vertical center line of the face left and right to align with the center line.”
  • the real-time shooting guide RG is located at the center of the horizontal direction of the user terminal 100 like the third guide G3. do. Since the acquired horizontal rotation angle of the face satisfies an appropriate range (ie, the first reference value), the real-time photographing guide RG is displayed as a solid line.
  • the user terminal 100 may selectively provide information to the user because the left and right rotation angle of the face of the preview image satisfies the first reference value. For example, the user terminal 100 may provide “automatically photographed” through a display while performing automatic photographing.
  • the user terminal 100 may transmit the image to the eye disease management server 200 .
  • the user terminal 100 may perform image analysis when an image for ophthalmopathy management is captured. A method of predicting the possibility of eye disease by analyzing the image and providing guidance to the user based on the analysis will be described later.
  • the user terminal 100 may output the image through a display.
  • the user terminal 100 may analyze the image to check the position of the eye on the image, crop the image to include the eye and the eye periphery, and output the image through a display.
  • an operation of analyzing the image, detecting the eye, and cropping the image to include the eye and the eye periphery may be performed by the ophthalmopathy management server 200 .
  • an operation of analyzing the image, detecting the eye, and cropping the image to include the eye and the eye periphery may be performed by the user terminal 100 .
  • the user terminal 100 and/or the ophthalmopathy management server 200 may store a detection algorithm.
  • the detection algorithm may be a landmark detection algorithm, a segmentation model, etc., but is not limited thereto.
  • the user can visually check once again whether the eye image is improperly captured, and re-photographed if necessary. Therefore, it is possible to solve the degradation of diagnosis accuracy due to the inappropriateness of the image.
  • FIG. 8 is a diagram for describing a display screen after capturing an image of a user terminal according to an exemplary embodiment.
  • the user terminal 100 may provide a crop image interface (CII), a confirmation interface (CI), a retake interface (RII), and a questionnaire input interface (QII) through a display.
  • CII crop image interface
  • CI confirmation interface
  • RII retake interface
  • QII questionnaire input interface
  • the cropped image interface CII displays a partial area of the photographed image, and in this case, the partial area may include an eye.
  • the confirmation interface CI may be an interface for checking whether the image is too bright or dark compared to the actual image and whether both eyes are photographed with the same brightness.
  • the confirmation image CI may further include an area where a response for each item can be received. For example, a response area for whether the image is too bright or dark compared to the actual image and a response area for whether both eyes are photographed with the same brightness may be provided through the display.
  • the recapturing interface (RII) may be a selection interface provided so that the user can perform a recapture function when viewing the cropped image and/or confirmation items and proceeding with recapture.
  • the recapture interface (RII) is activated regardless of whether there is a user input corresponding to the response area of the confirmation interface (CI), and when a user input for selecting the recapture interface (RII) is obtained in the user terminal 100, the recapture interface (RII) is activated.
  • a shooting operation can be performed.
  • the questionnaire input interface (QII) may be a selection interface provided so that the user can input when he/she wants to go to the next step after viewing the cropped image and/or confirmation item.
  • the questionnaire input interface QII may be an interface activated when there is a user input corresponding to the response area of the confirmation interface CI. Specifically, when it is confirmed that no appropriate response is input to the confirmation interface CI, the user terminal 100 may not perform an appropriate operation even if a user input for selecting the questionnaire input interface QII is obtained.
  • the smartphone's CPU specifications (ex., operation speed) must be considered when selecting an algorithm for analyzing the horizontal rotation angle of the face and / or the vertical rotation angle of the face.
  • Development of a method capable of consistently monitoring the horizontal rotation angle and/or the vertical rotation angle of the face using a low-throughput algorithm has been required.
  • the left-right rotation angle of the face it can be grasped to some extent through the left-right symmetry of the face, but in the case of the vertical rotation angle of the face, the positions of the eyes, nose, mouth, etc. detected through the image (for example, through the landmark detection algorithm) detected body part), it is necessary to develop a method capable of consistently monitoring the vertical rotation angle of the face.
  • the horizontal rotation angle and/or the vertical rotation angle of the face can be determined.
  • a method for obtaining a consistently maintained captured image is disclosed.
  • a reference guide RG for guiding the vertical rotation angle of the face is provided as a representative example, and a reference guide for guiding the horizontal rotation angle of the face ( RG) is not specifically described for an embodiment in which it is provided.
  • the reference guide RG for guiding the left and right rotation angle of the face is implemented in a form in which reference guides RG related to a plurality of reference guide indicators spaced apart in the horizontal direction of the face are provided, and the operation thereof will be described later. It will be said that it is described enough to be practicable as it can be performed similarly to the operation of guiding the vertical rotation angle to be performed.
  • references related to a plurality of reference guide indicators spaced apart in the vertical direction of the face It is implemented in a form in which a guide (RG) and a reference guide (RG) related to a plurality of reference guide indicators spaced apart in the horizontal direction of the face are provided, and the operation is performed similarly to the operation of guiding the vertical rotation angle to be described later It will be said that it is described to the extent that it can be fully implemented as much as possible.
  • FIG. 9 is a diagram for explaining an image acquisition method according to an exemplary embodiment.
  • a user may capture a reference image RI (refer to Day 1 of FIG. 9 ).
  • the reference image RI may be captured in an environment suggested by the ophthalmopathy management system 10 .
  • the reference image RI may be an image captured while the user leans his back against the wall.
  • the reference image RI may be an image captured according to the image acquisition method according to the first embodiment.
  • the reference image RI may be an image captured by medical personnel (eg, nurses) in a hospital.
  • the reference image RI may be an image evaluated ex post facto that satisfies the photographing condition among previously obtained diagnosis images (ie, photographed images).
  • a reference guide RG may be generated by analyzing the reference image RI. A method of generating the reference guide RG will be described in more detail below.
  • the reference guide RG may guide at least two or more points.
  • the reference guide RG may include a first reference guide RG1 and a second reference guide RG2.
  • the generated reference guide RG may be stored in the terminal storage unit 130 of the user terminal 100 .
  • the user terminal 100 may provide a reference guide RG (see Day 2 of FIG. 9 ).
  • the user terminal 100 may provide a reference guide RG at the time of performing an image acquisition operation for ophthalmopathy management.
  • the user terminal 100 when performing an image acquisition operation, provides the stored reference guide RG through a display. According to another embodiment, the user terminal 100 may provide a reference guide RG and a photographing guide together when performing an image acquisition operation. A reference guide RG is provided on the preview image.
  • FIG. 10 is a diagram for explaining an operation of generating a reference guide according to an exemplary embodiment.
  • the user terminal 10 may obtain a reference image RI (SB9100), extract a reference guide indicator based on the acquired reference image RI (SB9100), and generate a reference guide RG (SB9300). there is.
  • the reference image RI may be obtained according to the image acquisition method described in FIG. 5 .
  • the reference image RI may be an image taken before the onset of thyroid eye disease.
  • the user terminal 100 may analyze the reference image RI and extract reference guide indicators (S9200).
  • the reference guide index is related to a body part that may appear on the front of the face, and at least two or more reference guide indexes may be obtained.
  • the reference guide indicator for guiding the vertical rotation angle of the face is related to at least two points spaced apart in the longitudinal direction of the face.
  • the reference guide indicator for guiding the left/right rotation angle of the face is related to at least two points spaced apart in the horizontal direction of the face.
  • the reference guide indicator may be positional information corresponding to the tip of the nose and positional information corresponding to the eye.
  • location information is information capable of confirming a location on an image, and may be, for example, coordinate values of body parts obtained through a landmark detection algorithm.
  • the reference guide indicator may be positional information corresponding to the tip of the chin and positional information corresponding to the eye.
  • the reference guide index is set to a body part not related to the eye. is relatively preferable.
  • the reference guide indicator may be positional information corresponding to the tip of the nose and positional information corresponding to the lips.
  • the reference guide indicator may be positional information corresponding to the tip of the chin and positional information corresponding to the lips.
  • the reference guide indicator since the body part related to the reference guide indicator is monitored as a shooting condition in an image acquisition operation, it is relatively preferable that the reference guide indicator is set to a body part not related to a part with large movement such as lips.
  • the reference guide indicator may be positional information corresponding to the tip of the nose and positional information corresponding to the tip of the chin.
  • Reference guide indicators for guiding the vertical rotation angle of the face may be positional information corresponding to the tip of the nose and positional information corresponding to the tip of the chin.
  • the reference guide indicator is a body part that may appear in front of the face, and may be selected to include at least two or more points.
  • the user terminal 100 may generate a reference guide RG (SB9300).
  • the reference guide RG may have a form in which a point corresponding to a reference guide index extracted from the reference image RI is displayed as a dot on a display, and a point corresponding to a reference guide index extracted from the reference image RI is displayed as a dot. It may be in the form of a passing line.
  • the user terminal 100 when the user terminal 100 provides a reference guide (RG) for guiding the vertical rotation angle of the face, it extends in the horizontal direction of the display while passing through a point corresponding to the first reference guide indicator. It may include a first reference guide RG1 and a second reference guide RG2 extending in the horizontal direction of the display while passing a point corresponding to the index of the second reference guide.
  • RG reference guide
  • the user terminal 100 when the user terminal 100 provides a reference guide (RG) for guiding the left and right rotation angle of the face, it extends in the vertical direction of the display while passing through a point corresponding to the first reference guide index. It may include a first reference guide RG1 and a second reference guide RG2 extending in the vertical direction of the display while passing a point corresponding to the second reference guide index.
  • RG reference guide
  • the user terminal 100 may store the reference guide RG obtained through the SB9100 to SB9300 in the terminal storage unit 130 .
  • the stored reference guide RG may be provided on the display whenever the user terminal 100 performs an image acquisition operation for managing ophthalmia.
  • the user terminal 100 may take an image for predicting ophthalmopathy in a state in which the reference guide RG is not provided, and analyze the captured image to evaluate whether the picture satisfies the reference guide RG ex post facto. there is.
  • the user terminal 100 may provide a recapture interface (RII) through the display.
  • RII recapture interface
  • the user terminal 100 when the ophthalmopathy management application 131 downloaded to the user terminal 100 is executed, the user terminal 100 provides an interface to acquire the reference image RI, and the reference guide RG can create
  • the user terminal 100 when the eye disease management application 131 is downloaded to the user terminal 100 and executed for the first time, the user terminal 100 provides an interface to acquire the reference image RI and provides the reference guide RG. can create Thereafter, the user terminal 100 may provide the stored reference guide RG whenever an image is captured through the ophthalmopathy management application 131 until a new reference image RI is acquired.
  • the reference guide index does not include the eye. The reason is that, as the eye protrudes, the distance between the eye and other indices can be closely analyzed, and thus distortion may occur through the reference guide RG.
  • a reference guide RG generated by analyzing the previous photographed image may be provided through the display.
  • the user terminal 100 may transmit the captured image to the eye disease management server 200 .
  • the user terminal 100 and/or the eye disease management server 200 regenerates the reference guide RG using the image taken this time, and the criterion obtained with the image taken this time at the time of capturing the next image for managing eye disease.
  • a guide (RG) may be provided.
  • the user terminal 100 creates a reference guide RG whenever a captured image is acquired and provides the generated reference guide RG when acquiring the next captured image.
  • the generated reference guide RG may be stored in the terminal storage unit 130 .
  • the user terminal 100 when performing an image acquisition operation, may provide the stored reference guide RG through a display. According to another embodiment, the user terminal 100 may provide a reference guide RG and a photographing guide together when performing an image acquisition operation.
  • FIG. 11 is a diagram for explaining an image acquisition method according to an exemplary embodiment.
  • the user terminal 100 provides a photographing guide and a reference guide RG (SB1100), acquires a preview image (SB1200), extracts a plurality of indicators (SB1300), and determines whether the extracted indicators are at an appropriate position ( SB1400), evaluate the left and right rotation angle of the face (SB1500), and capture an image (SB1600).
  • SB1100 photographing guide and a reference guide RG
  • SB1200 acquires a preview image
  • SB1300 extracts a plurality of indicators
  • SB1300 determines whether the extracted indicators are at an appropriate position
  • SB1500 evaluate the left and right rotation angle of the face
  • SB1600 capture an image
  • SB1200, SB1500 and SB1600 of FIG. 11 can be performed similarly to SA1200, SA1500 and SA1800 of FIG. 5, duplicate descriptions will be omitted.
  • the user terminal 100 displays a first guide G1, a second guide G2, a third guide G3, a first reference guide RG1, and a second reference guide RG2.
  • the first guide G1, the second guide G2, and the third guide G3 have been described with reference to FIG. 6, and the first reference guide RG1 and the second reference guide RG2 are illustrated in FIG. Since it has been described while explaining 9, a detailed description will be omitted.
  • the first reference guide RG1 and the second reference guide RG2 may be displayed as parallel horizontal lines as shown in FIG. 9, but may be displayed to indicate positions corresponding to the reference guide indicators as dot guides. .
  • the user terminal 100 may acquire a preview image in a state where a shooting guide and a reference guide RG are provided, and may extract a plurality of indices for the obtained preview image (SB1300).
  • the user terminal 100 may extract a plurality of indicators related to the reference guide RG from the preview image.
  • the user terminal 100 may extract a plurality of indicators related to the reference guide indicator from the preview image.
  • the plurality of indices related to the reference guide RG may be location information about the same body part corresponding to the reference guide RG and/or the reference guide indices, or location information about similar body parts. For example, if the reference guide RG is generated based on the position information of the tip of the nose, a plurality of indices related to the reference guide RG may be extracted as the position information of the tip of the nose. For another specific example, if the reference guide RG is generated based on eye position information, a plurality of indicators related to the reference guide RG may be extracted as pupil position information.
  • the user terminal 100 may extract at least one or more indicators corresponding to the shooting guide and extract all the indicators corresponding to the reference guide RG. 12, the user terminal 100 detects both eyes corresponding to the first guide G1 and the second guide G2, extracts a plurality of indicators, and first reference guide RG1. ) and the nose tip and chin tip corresponding to the second reference guide RG2 may be detected to extract a plurality of indices.
  • the user terminal 100 may determine whether the extracted indicator is at an appropriate location (SB1400).
  • the terminal control unit 150 may evaluate whether the extracted indicator is at an appropriate position on the preview image by referring to the shooting conditions stored in the terminal storage unit 130 . In other words, the terminal control unit 150 may check whether the extracted indicator satisfies the criterion.
  • the user terminal 100 may compare an extracted indicator related to the reference guide RG with a position of the reference guide RG. For example, when the user terminal 100 acquires the coordinate values of pixels of the extracted index related to the reference guide RG, whether the obtained coordinate values and the coordinate values of the reference guide RG are separated within a reference distance. can be evaluated. Alternatively, according to some embodiments, the user terminal 100 may compare the distance between the extracted indicators with the distance between reference guide indicators. For example, when the user terminal 100 acquires the nose tip coordinates and the chin tip coordinates as a plurality of indicators, the separation distance between the two points is calculated, and the obtained separation distance differs from the separation distance between reference guide indicators within a certain range.
  • the user terminal 100 may capture an image (SB1600) when it is determined that the position of the plurality of indicators satisfies the criterion according to SB1400 and the horizontal rotation angle of the face satisfies the criterion according to SB1500. In this case, even if the vertical rotation angle of the face is not separately analyzed, a corresponding effect can be obtained.
  • the user terminal 100 may acquire a preview image in a state in which a photographing guide and a reference guide RG are provided. An image may be taken or an additional guide may be provided by analyzing the acquired preview image.
  • the distance between the tip of the nose and the tip of the chin extracted from the preview image is the same as the distance between the first reference guide RG1 and the second reference guide RG2. shorter than The location information of the tip of the nose in the preview image corresponds to the first reference guide RG1, but the location information of the tip of the chin in the preview image does not correspond to the second reference guide RG2.
  • the user terminal 100 may provide an operation to be performed by the user through the display to satisfy the third reference value.
  • the provided additional shooting guide may be "Rotate the face upward and align the tip of the nose and chin with the guide".
  • the distance between the tip of the nose and the tip of the chin extracted from the preview image is the same as the distance between the first and second reference guides RG1 and RG2. same.
  • Positional information of the tip of the nose in the preview image corresponds to the first reference guide RG1
  • positional information of the tip of the chin in the preview image corresponds to the second reference guide RG2.
  • the user terminal 100 can selectively provide information to the user. For example, the user terminal 100 may provide “automatically photographed” through a display while performing automatic photographing.
  • the operation of the user terminal 100 described above may be performed by the ophthalmopathy management server 200 .
  • the user terminal 100 may operate as an interface for receiving and providing data in relation to a user.
  • the user terminal 100 and the ophthalmopathy management server 200 are linked in real time, and according to the subjective operation of the ophthalmopathy management server 200, the user terminal 100 provides an appropriate reference guide RG and obtains a captured image. It can play a role of transmitting to the ophthalmopathy management server 200.
  • the thyroid ophthalmopathy management system 10 may perform an operation of predicting the possibility of thyroid ophthalmopathy for health management and may perform an operation of monitoring the degree of protrusion due to thyroid ophthalmopathy.
  • the thyroid ophthalmopathy management system 10 may perform an operation of predicting the possibility of thyroid ophthalmopathy for health management and may perform an operation of monitoring the degree of protrusion due to thyroid ophthalmopathy.
  • an image acquisition method for acquiring front and side images SI of a face is specifically disclosed.
  • FIG. 14 is a diagram for explaining an image acquisition method according to an exemplary embodiment.
  • This embodiment is a method of obtaining a side image SI in a monitored state based on the panoramic guide by first obtaining a front image FI and generating and providing a panorama guide accordingly.
  • the present embodiment describes that the user terminal 100 is guided to move according to a panorama guide generated when capturing a frontal image FI of a face.
  • the distance between the user terminal 100 and the face when capturing the front image FI of the face may be maintained even when capturing the side image SI of the face, so that the front image FI Being able to utilize the size of the iris in , is a huge advantage. Accordingly, it is possible to predict the protrusion of the eyeball by analyzing the side image SI.
  • 15 is a diagram for explaining an image acquisition method according to an exemplary embodiment.
  • the user terminal 100 may acquire the front image FI (SC1100).
  • the front image FI may be captured by the image acquisition method according to the first embodiment.
  • the front image FI may be obtained in a guided state to satisfy the first photographing condition.
  • satisfying the first photographing condition may be that both eyes of the target are disposed in a predetermined area of the first photographed image.
  • satisfying the first photographing condition may be that both eyes of the target are disposed in a predetermined area of the first photographed image and that a horizontal rotation angle of the face of the target does not exceed a preset first reference value.
  • satisfying the first photographing condition is that both eyes of the subject are disposed in a predetermined area of the first photographed image, that the left and right rotation angle of the subject's face does not exceed a preset first reference value, and that the subject's Based on the facial expression information, the target's smile level may not exceed a preset second reference value.
  • satisfying the first photographing condition means that both eyes of the subject are disposed in a predetermined area of the first photographed image, that the left and right rotation angle of the subject's face does not exceed a preset first reference value, and that Based on the facial expression information, the target's smile level may not exceed a preset second reference value and the vertical rotation angle of the target's face may not exceed a preset third reference value.
  • satisfying the first photographing condition means that both eyes of the subject are disposed in a predetermined area of the first photographed image, that the left and right rotation angle of the subject's face does not exceed a preset first reference value, and that Based on the facial expression information, the subject's smile level does not exceed a preset second reference value, the vertical rotation angle of the subject's face does not exceed a preset third reference value, and the ambient brightness exceeds a fourth reference value. may not be exceeded.
  • the user terminal 100 may provide a panorama guide (SB1200).
  • the panorama guide provided after the front image FI is acquired by the user terminal 100 may be generated based on the front image FI.
  • the panorama guide may be generated based on information extracted from the front image FI.
  • the user terminal 100 may generate and provide a panorama guide based on location information of the first and second points extracted from the front image FI.
  • the user terminal 100 may extract a panorama guide indicator (SC1210).
  • the panorama guide index is a body part that can appear in the frontal image FI of the face and a body part that can also appear in the side image SI of the face.
  • the panorama guide index relates to at least two points vertically spaced apart from the front of the face.
  • the panorama guide indicator may be location information corresponding to the tip of the nose and location information corresponding to the eye.
  • the panorama guide indicator may be positional information corresponding to the tip of the chin and positional information corresponding to the eye.
  • the panoramic guide index is It may be preferable not to include
  • the panorama guide index may be positional information corresponding to the tip of the nose and positional information corresponding to the lips.
  • the reference guide indicator may be positional information corresponding to the tip of the chin and positional information corresponding to the lips. Since the body part related to the panorama guide index is monitored under shooting conditions until the side image SI is acquired, it is relatively preferable that the panoramic guide index is set to a body part not related to a part with large movement such as the lips. .
  • the panorama guide index may be location information corresponding to the tip of the nose and location information corresponding to the tip of the chin.
  • the panorama guide indicator is a body part that may appear on the front and side of the face, and may be selected to include at least two or more points.
  • the user terminal 100 may generate a panorama guide based on the extracted panorama guide index (S1220).
  • the panorama guide may be in the form of displaying a point corresponding to a panorama guide indicator extracted from the front image FI as a dot on the display.
  • the panorama guide may be provided in the form of a line passing through a point corresponding to a panorama guide indicator extracted from the front image FI, or an indicator for displaying a location.
  • the first panorama guide and second panorama guide indicators extending in the horizontal direction of the display pass through a point corresponding to the first panorama guide indicator. It may be a form including a second panorama guide extending in the horizontal direction of the display while passing the point of doing.
  • the user terminal 100 may provide the generated panorama guide through a display (SC1230).
  • the user terminal 100 may monitor the panorama guide (SC1300) while the panorama guide is provided through the display.
  • the user terminal 100 may extract a plurality of indices from the preview image (SC1310).
  • the plurality of indicators may be indicators corresponding to the panorama guide indicators of S1210.
  • the plurality of indicators may be location information on the same body part corresponding to the panorama guide and/or the panorama guide indicator, or location information on similar body parts.
  • the panorama guide is generated based on the location information of the tip of the nose
  • a plurality of indices may be extracted as the location information of the tip of the nose.
  • a plurality of indicators may be extracted as pupil position information.
  • the user terminal 100 when the user terminal 100 monitors the panorama guide (SC1300) and acquires the front image FI, it may not evaluate whether various evaluation indicators considered as photographing conditions are satisfied. For example, even if the positions of both eyes are monitored when taking a frontal picture, the positions of both eyes may not be monitored when the user terminal 100 is moved while monitoring the panorama guide.
  • the user terminal 100 may continuously evaluate the vertical rotation angle of the face of the target in the preview image. In this case, it is possible to block variables such as a shortening of the separation distance between the tip of the nose and the tip of the chin of the target according to the vertical rotation angle of the face, so that the accuracy of constantly monitoring the distance between the target and the user terminal 100 is further improved. .
  • the user terminal 100 may determine whether the extracted indicator is at an appropriate location (SC1320).
  • the user terminal 100 may provide a user terminal movement guide (SC1330).
  • the user terminal 100 may guide the movement of the user terminal 100 so that a preview image corresponding to the panorama guide is acquired.
  • the user terminal 100 may determine whether the extracted indicator is at an appropriate location (SC1320).
  • the user terminal 100 may compare the index extracted in step SC1320 with the location of the panorama guide. For example, when the user terminal 100 acquires coordinate values of a plurality of indices in step SC1320, it may be evaluated whether the obtained coordinate values and the corresponding coordinate values of the panorama guide are separated by a reference distance.
  • the user terminal 100 may extract location information of the tip of the nose and the tip of the chin of the face as a panorama guide index.
  • the user terminal 100 may monitor whether movement of the user terminal 100 corresponding to the panorama guide is being performed while providing a panorama guide generated using a panorama guide indicator.
  • the user terminal 100 may extract positions corresponding to the tip of the nose and the tip of the chin of the face with respect to the preview image, and correspond the extracted positions of the tip of the nose and the tip of the chin to the panorama guide index on a one-to-one basis to have a difference within a predetermined error range. can be monitored.
  • the user terminal 100 may output a guide for adjusting the position between the user terminal 100 and the face. Specifically, when it is determined that the first point (eg, the tip of the chin) extracted from the preview image is moved by an amount exceeding the fifth reference value compared to the first point extracted from the frontal image FI, the user terminal 100 may output a guide to move the user terminal 100 upward or downward relative to the face. In addition, when it is determined that the second point (eg, the tip of the nose) extracted from the preview image is moved by an amount exceeding the sixth reference value compared to the second point extracted from the frontal image FI, the user terminal 100 A guide instructing the user terminal 100 to move upward or downward relative to the face may be output.
  • the first point eg, the tip of the chin
  • the user terminal 100 may output a guide to move the user terminal 100 upward or downward relative to the face.
  • the second point eg, the tip of the nose
  • the user terminal 100 may compare the separation distance between indicators extracted in step SC1320 with the separation distance between reference guide indicators. For example, when the user terminal 100 acquires the coordinates of the tip of the nose and the coordinates of the chin of a plurality of indicators in step SC1320, the separation distance between the two points is calculated, and the obtained separation distance is the initial separation distance between the panorama guide indicators and It can be evaluated whether the difference is within a certain range.
  • the user terminal 100 may extract positions of the tip of the nose and the tip of the chin of the face as panorama guide indicators.
  • the user terminal 100 may monitor whether shooting according to the panorama guide is being performed while providing the panorama guide generated using the panorama guide indicator.
  • the user terminal 100 may extract the positions of the tip of the nose and the tip of the chin of the face in the preview image to calculate the separation distance, and monitor the difference between the initial separation distance between the panorama guide indicators and a predetermined error range.
  • the user terminal 100 may output a guide for adjusting the distance between the user terminal 100 and the face.
  • the vertical separation distance between the first point (eg, the tip of the chin) and the second point (eg, the tip of the nose) extracted from the preview image is the initial separation distance (ie, in the front image FI). If it is determined that the user terminal 100 is large enough to exceed a predetermined error range compared to the positions corresponding to the first and second points), the user terminal 100 may output a guide instructing the user terminal 100 to move away from the face. . Conversely, when it is determined that the vertical separation distance between the first and second points extracted from the preview image is smaller than the initial separation distance to exceed a predetermined error range, the user terminal 100 returns the user terminal 100 A guide to move closer to the face can be output.
  • the user terminal 100 may acquire the side image SI (SC1400).
  • the user terminal 100 may acquire the side image SI in a guided state to satisfy the second photographing condition (SC1400).
  • the user terminal 100 may acquire the side image SI (SC1400).
  • Satisfying the second photographing condition may be determined based on an index capable of recognizing that the side of the face is satisfied.
  • satisfying the second photographing condition may be determined to satisfy a criterion for performing panorama guide monitoring.
  • satisfying the second photographing condition means that the separation distance in the vertical direction between the first point and the second point extracted from the second photographed image has a difference less than an error range determined based on the initial separation distance. It could be Satisfying the second photographing condition means that the distance between the first and second points extracted from the second photographed image in the vertical direction has a difference less than the error range determined based on the initial distance and It may include disposing the ear in a predetermined area of the second photographed image. Satisfying the second photographing condition means that the separation distance in the vertical direction between the first and second points extracted from the second photographed image has a difference less than the error range determined based on the initial separation distance and the subject It may include that one eye of is not detected in the second captured image.
  • 16 is a diagram illustrating a front image and a side image according to an exemplary embodiment.
  • the standard separation distance RSD of the front image FI acquired according to the image acquisition method according to the present embodiment has a value similar to the side separation distance SSD of the side image SI. That is, the front and side images SI may be acquired while maintaining a constant distance between the user terminal 100 and the object at the time of capturing the front image FI and the capturing time of the side image SI.
  • the image acquisition method described in FIGS. 14 to 16 may be performed to acquire an image SI of the right side of the face, an image SI of the left side of the face, and left and right sides of the face. It may be performed twice to obtain the lateral image SI.
  • a front face image FI and a face side image SI may be obtained.
  • a moving image including a frame corresponding to the front image FI of the face and a frame corresponding to the side image SI of the face may be acquired through the above-described image acquisition method.
  • the moving image may be a moving image continuously photographed from the point of time when the frontal image FI of the face is obtained to the point of time when the side image SI of the face is obtained.
  • a panoramic image edited to include the front face image FI and the face side image SI may be acquired through the above-described image acquisition method.
  • the operation of the user terminal 100 described above may be performed by the ophthalmopathy management server 200 .
  • the user terminal 100 may operate as an interface for receiving and providing data in relation to a user.
  • the user terminal 100 and the ophthalmopathy management server 200 are linked in real time, and according to the subjective operation of the ophthalmopathy management server 200, the user terminal 100 provides an appropriate panoramic guide, and the front and side images (SI ) and transmits them to the ophthalmopathy management server 200.
  • SI front and side images
  • 17 is a flowchart of a method for predicting thyroid eye disease according to an embodiment.
  • An image obtained from the user terminal 100 may be transmitted to the ophthalmopathy management server 200 .
  • the ophthalmopathy management server 200 may perform image analysis using the received image (SA2100).
  • the value obtained through image analysis may be a prediction value regarding whether a person who is a subject of the received image has symptoms of conjunctival congestion, conjunctival edema, eyelid redness, eyelid edema, and lacrimal edema.
  • the ophthalmopathy management server 200 analyzes the face image to determine whether conjunctival congestion is expected, conjunctival edema is expected, or eyelid redness is expected. information about whether the patient has eyelid edema, is expected to have eyelid edema, and/or is expected to have lacrimal edema.
  • a predicted value of at least one of conjunctival congestion, conjunctival edema, eyelid redness, eyelid edema, and lacrimal edema may be obtained through an artificial intelligence model.
  • the ophthalmopathy management server 200 obtains a predictive value using at least five artificial intelligence models, and each artificial intelligence model is a predictive value of conjunctival congestion, conjunctival edema, eyelid redness, eyelid edema, or lacrimal edema. It can be learned to output.
  • the image used as an input of the artificial intelligence model may be an image preprocessed using cropping, masking, inversion, and/or resizing of the face image.
  • the user terminal 100 may transmit a user response to the ophthalmopathy management server 200 .
  • the user terminal 100 may output a user interface through the input/output module 140 to obtain user responses to whether there is voluntary pain in the back of the mouth or pain when moving the eyes.
  • the ophthalmopathy management server 200 may obtain predicted values for voluntary pain in the posterior part of the mouth and pain when moving the eyes based on the received user response.
  • the ophthalmopathy management server 200 may calculate an ophthalmopathy prediction score (SA2300) using the predicted value obtained through the image analysis (SA2100) and the predicted value obtained through the user response (SA2200).
  • the ophthalmopathy prediction score is a value predicted by techniques such as image analysis of the ophthalmopathy management system for the clinical activity score, conjunctival congestion, conjunctival edema, eyelid redness, eyelid edema, lacrimal hillock edema, and spontaneous pain after mouth swelling. And it may be calculated by predicting the presence or absence of pain when moving the eyes as 1 point each.
  • the ophthalmopathy management server 200 may guide the user to visit the hospital (SA2400) when the ophthalmopathy prediction score is greater than or equal to a reference value.
  • the server 200 may provide an eye disease prediction score to the user terminal 100 to guide the user to visit the hospital.
  • the server 200 may transmit necessary data so that the user terminal 100 can output an ophthalmopathy prediction score and/or a visit guide.
  • the user terminal 100 may output a message recommending that the patient go to the hospital and receive treatment.
  • the user terminal 100 may recommend that the patient take a drug used for treatment of thyroid eye disease. Accordingly, without being limited thereto, the user terminal 100 may guide the patient to perform procedures necessary for treating thyroid eye disease.
  • FIG. 18 is a diagram for explaining a display screen including a questionnaire input interface and confirmation interface of a user terminal according to an exemplary embodiment.
  • the questionnaire input interface may be an interface for obtaining each user's response to whether there is voluntary pain in the posterior region or pain when moving the eyes.
  • an interface for outputting “I feel pain as if pushing forward from the back of the eye” and “I feel stiffness when glancing up and down” and receiving a user's response to each of them is of the user terminal 100. It may be provided through the input/output module 140.
  • a confirmation interface CI may be output.
  • the confirmation interface (CI) may perform a function of outputting items selected by the user in the survey input interface (PII) and verifying whether the user's intended input matches.
  • the user's response obtained from the questionnaire input interface (PI) is of high importance because it is used to predict eye disease, and the 2-STEP input method is adopted to predict the result with high accuracy by confirming it to the user once more.
  • 19 is a diagram for explaining an index for predicting thyroid ophthalmopathy according to an embodiment.
  • the criterion for guiding visits for thyroid eye disease can be determined by calculating the clinical activity score based on 7 points and determining whether it is 3 points or more.
  • the guide for visiting the hospital for thyroid eye disease The criterion for determining whether a clinical activity score is 4 or higher by calculating the clinical activity score on a 10-point basis will be explained.
  • the ophthalmopathy management server 200 may analyze protrusion, calculate an eye movement angle, and obtain an estimated visual acuity.
  • Eye movements can be evaluated by analyzing moving images. For example, while taking a frontal face image of the user, guides may be given to move the user's eyes in eight directions, and an eyeball movement angle may be obtained based on the maximum movement position.
  • the eyeball movement angle can be calculated in the form of calculating a budget based on the theory that the size of the human eyeball and the iris are generally similar, with the diameter of the human eyeball or the diameter of the human iris as a constant.
  • the diameter of the eyeball may be 24 mm
  • the diameter of the iris may be set to 11 mm
  • the eyeball movement angle may be calculated with different diameters of the iris according to race, gender, and age.
  • the expected visual acuity compares the size of the iris obtained from the frontal image (FI) of the face with the absolute size of the iris, predicts the distance between the face and the user terminal 100, and converts the letters output through the user terminal 100 to the user.
  • the visual acuity may be estimated by converting the size of the case in which ? is not answered correctly into the distance between the expected face and the user terminal 100 .
  • the distance between the user terminal 100 and the face is set to 3m or 5m, and letters of an appropriate size are output through the display to evaluate whether or not the user answered correctly. eyesight can be saved. Even in this case, the distance between the user terminal 100 and the face may be calculated based on the size of the iris obtained from the frontal image FI of the face.
  • 20 is a diagram for explaining a method of predicting prominence by analyzing a side image of a face, according to an exemplary embodiment.
  • the ophthalmopathy management server 200 may obtain a diameter value of the iris region from the front image FI (SB2310). For example, the ophthalmopathy management server 200 may obtain a pixel value corresponding to the diameter of the iris region through landmark extraction of the frontal image FI of the face. As another example, the ophthalmopathy management server 200 may obtain a pixel value corresponding to the diameter of the iris region by using the front image FI of the face and the segmentation model. As another example, the ophthalmopathy management server 200 may insert the frontal image FI of the face into a diameter prediction model of the iris region to obtain a corresponding pixel value or diameter prediction value.
  • the ophthalmopathy management server 200 acquires a pixel value corresponding to the diameter of the iris region in the frontal image FI, it calculates an actual size value corresponding to one pixel based on the standard size of the iris region and calculates the actual size value. can be saved
  • the ophthalmopathy management server 200 may acquire a corner-corneal distance value from the side image SI (SB2320). For example, the ophthalmopathy management server 200 may obtain a pixel value corresponding to the distance between the outer corner of the eye and the cornea of the frontal image FI by using a segmentation model. As another example, the ophthalmopathy management server 200 may obtain a corresponding pixel value or an expected distance value by inserting the lateral image SI of the face into the caudal-corneal distance prediction model.
  • the ophthalmopathy management server 200 may predict the projection of the eyeball (SB2330).
  • the ophthalmopathy management server 200 may predict the protrusion of the eyeball by considering the acquired pixel value corresponding to the distance between the outer corner of the eye and the cornea and the actual size value of one pixel calculated based on the standard size of the iris region. there is.
  • 21 is a diagram for explaining a diameter value of an iris region in a front image of a face and a protrusion degree of an eyeball in a side image of a face, according to an exemplary embodiment.
  • the expected length of the diameter value (ID) of the iris region in the frontal image FI of the face may be calculated.
  • the expected length of the crow's eye-corneal distance in the side image SI of the face can be calculated.
  • the ophthalmopathy management server 200 may provide the side picture of the face together with the date (and/or time) obtained through the user terminal 100 .
  • the ophthalmopathy management server 200 maps and provides a cropped image and a date on which the image was acquired so that the eyeball-corneal distance of the face is displayed so that the user can check the change in the proptosis of the eyeball through the user terminal 100.
  • the method according to the above embodiments can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
  • the data structure, program command, or data file that can be used in the above-described embodiments of the present invention can be recorded on a computer-readable recording medium through various means.
  • the computer-readable recording medium may include all types of storage devices in which data readable by a computer system is stored.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, floptical disks and A hardware device specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, etc. may be included.
  • the computer-readable recording medium may be a transmission medium that transmits signals designating program commands, data structures, and the like.
  • Examples of the program instructions may include not only machine language codes generated by a compiler but also high-level language codes that can be executed by a computer using an interpreter or the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Urology & Nephrology (AREA)
  • Endocrinology (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Psychiatry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Studio Devices (AREA)

Abstract

본 출원은 안구의 돌출도를 분석하기 위한 측면 이미지를 획득하는 방법에 관한 것으로, 일 실시예에 따르면, 제1 촬영 조건을 만족하도록 가이드된 상태에서 상기 대상의 얼굴의 정면 이미지를 획득함; 상기 정면 이미지에서 추출된 제1 지점 및 제2 지점의 위치 정보를 기초로 파노라마 가이드를 형성함; 상기 파노라마 가이드에 대응되는 프리뷰 이미지가 획득되도록 촬영 장치의 이동을 가이드함; 및 제2 촬영 조건을 만족하도록 가이드된 상태에서 상기 대상의 얼굴의 측면 이미지를 획득함;을 포함할 수 있다. 상기 제1 촬영 이미지에는 상기 대상의 홍채 영역가 나타나있고, 상기 제2 촬영 이미지에는 상기 대상의 한 눈의 눈꼬리 및 각막이 나타나있는, 이미지를 획득하는 방법이 제공될 수 있다.

Description

안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체
본 발명은 안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체에 관한 것이다.
인공지능 기술이 발달함에 따라, 사용자를 촬영한 진단 이미지를 분석하여 사용자의 건강 상태에 관한 정보를 획득하고, 그를 기초로 사용자가 병원에 조기에 방문할 수 있도록 내원을 안내해주는 기술이 활발히 개발되고 있다.
일 예로, 본 출원인인 타이로스코프社는 갑상선을 관리하는 솔루션을 제공하는 기업으로, 갑상선 기능 이상의 위험을 예측하여 내원을 안내해주는 소프트웨어 의료기기의 개발에 이어서 안면부의 디지털 이미지 학습을 이용하여 갑상선 안병증을 예측하는 인공지능 모델을 개발하였고, 갑상선 안병증의 위험을 예측하여 내원을 안내해주는 소프트웨어 의료기기의 출시를 앞두고 있다.
갑상선 안병증을 예측하는 소프트웨어 의료기기의 소비자 조사를 진행하다 보니, 병원 내원 시기를 확인하고자 하는 환자들뿐 아니라 갑상선 안병증 치료제의 임상 과정에서 치료 경과를 살피기 위해서 이용될 수 있음을 알게 되었고, 갑상선 안병증의 치료 경과를 관찰하고 자료로 남기기 위해 안구의 돌출도를 분석할 수 있는 측면 이미지를 획득하는 정밀한 촬영 기법의 개발이 요구되었다.
본 출원에 의해 개시되는 내용들이 해결하고자 하는 일 과제는 병원에 방문하지 않고도 안구의 돌출도를 모니터링할 수 있도록 얼굴의 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체를 제공하는 것이다.
본 출원에 의해 개시되는 내용들이 해결하고자 하는 다른 과제는 얼굴의 상하 회전 각도를 정확하게 검출하기 어려운 상태에서도 진단 이미지로의 사용이적합한 안면부 이미지를 획득할 수 있도록 한 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체를 제공하는 것이다.
본 출원에 의해 개시되는 내용들이 해결하고자 하는 또 다른 과제는 일반인들이 또는 갑상선 기능 이상을 치료하고 있는 환자들이 갑상선 안병증을 조기에 발견할 수 있도록, 갑상선 안병증에 관한 임상활동점수를 모니터링할 수 있는 방법 및 시스템을 제공하는 것이다.　
본 출원에서 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 출원으로부터 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원의 일 양태에 의하면, 안구의 돌출도를 분석하기 위해 대상의 얼굴 이미지를 획득하는 방법이 개시된다. 상기 방법은, 제1 촬영 조건을 만족하도록 가이드된 상태에서 상기 대상의 얼굴의 정면 이미지를 획득하고-상기 제1 촬영 조건을 만족하는 것은, 적어도 상기 대상의 양눈이 제1 촬영 이미지의 정해진 영역에 배치되는 것을 포함함-, 상기 정면 이미지에서 추출된 제1 지점 및 제2 지점의 위치 정보를 기초로 파노라마 가이드를 형성하고-상기 파노라마 가이드는 얼굴의 정면을 기준으로 가로 방향으로 형성되며, 상기 제1 지점 및 상기 제2 지점은 얼굴의 정면을 기준으로 세로 방향으로 이격되어 있음-, 상기 파노라마 가이드에 대응되는 프리뷰 이미지가 획득되도록 촬영 장치의 이동을 가이드하고-이 때, 상기 프리뷰 이미지에서 추출된 상기 제1 지점 및 상기 제2 지점 사이의 세로 방향의 이격 거리가 최초 이격 거리를 기준으로 정해진 오차범위 미만의 차이를 가지도록 모니터링함-, 및 제2 촬영 조건을 만족하도록 가이드된 상태에서 상기 대상의 얼굴의 측면 이미지를 획득하는-상기 제2 촬영 조건은, 상기 제2 촬영 이미지에서 추출된 상기 제1 지점 및 상기 제2 지점 사이의 세로방향으로의 이격 거리가 최초 이격 거리를 기준으로 정해진 오차범위 미만의 차이를 가짐- 것을 포함한다. 이 때, 획득된 이미지가 안구의 돌출도를 계산하는데에 이용될 수 있도록, 상기 제1 촬영 이미지에는 상기 대상의 홍채 영역이 나타나있고, 상기 제2 촬영 이미지에는 상기 대상의 한 눈의 눈꼬리 및 각막이 나타나있다.
본 출원의 다른 양태에 따르면, 하나 이상의 인스트럭션을 저장하는 비일시적 컴퓨터 판독 가능 매체가 개시된다. 상기 비일시적 컴퓨터 판독 가능 매체는 컴퓨팅 장치의 하나 이상의 프로세서들에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 전술한 방법을 수행하도록 할 수 있다.
본 출원의 또 다른 양태에 의하면, 안구의 돌출도를 분석하기 위해 대상의 얼굴 이미지를 획득하는 촬영 장치이 개시된다. 상기 장치는, 통신부, 하나 이상의 인스트럭션을 저장하는 저장부, 및 상기 저장부에 저장된 상기 하나 이상의 인스트럭션을 실행하는 제어부를 포함한다. 상기 상기 제어부는, 상기 하나 이상의 인스트럭션을 실행함으로써, 제1 촬영 조건을 만족하도록 가이드된 상태에서 상기 대상의 얼굴의 정면 이미지를 획득하고, 상기 정면 이미지에서 추출된 제1 지점 및 제2 지점의 위치 정보를 기초로 파노라마 가이드를 형성하고, 파노라마 가이드에 대응되는 프리뷰 이미지가 획득되도록 촬영 장치의 이동을 가이드하고, 제2 촬영 조건을 만족하도록 가이드된 상태에서 상기 대상의 얼굴의 측면 이미지를 획득하고, 상기 제1 촬영 조건은, 적어도 상기 대상의 양눈이 제1 촬영 이미지의 정해진 영역에 배치되는 것을 포함하고, 상기 파노라마 가이드는 얼굴의 정면을 기준으로 가로 방향으로 형성되며, 제1 지점 및 상기 제2 지점은 얼굴의 정면을 기준으로 세로 방향으로 이격되어 있으며, 상기 제2 촬영 조건은, 적어도 상기 제2 촬영 이미지에서 추출된 상기 제1 지점 및 상기 제2 지점 사이의 세로방향으로의 이격 거리가 최초 이격 거리를 기준으로 정해진 오차범위 미만의 차이를 가질 수 있다.
본 출원의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 출원으로부터 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 출원에 의하여 개시되는 내용에 의하면, 일반인들이 사용할 수 있는 스마트폰과 같은 디지털 카메라를 이용하여 안구의 돌출도 변화를 모니터링하는 데에 적합한 얼굴의 측면 이미지를 획득할 수 있다.
본 출원의 발명의 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 출원으로부터 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1 은 일 실시예에 따른 안병증 관리 시스템을 설명하기 위한 도면이다.
도 2는 사용자 단말을 포함하는 안병증 관리 시스템을 도시한 도면이다.
도 3은 일 실시예에 따른 사용자 단말의 블록도이다.
도 4는 일 실시예에 따른 안병증 관리 시스템의 동작을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 이미지 획득 방법을 설명하기 위한 도면이다.
도 6은 실시예에 따라 제공된 촬영 가이드의 형상 및 그 동작에 대해서 설명하기 위한 도면이다.
도 7은 실시예에 따라 제공된 실시간 촬영 가이드의 형상 및 그 동작에 대해서 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 사용자 단말의 이미지 촬영 후 디스플레이 화면을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 이미지 획득 방법을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 기준 가이드의 생성 동작을 설명하기 위한 도면이다.
도 11은 일 실시예에 따른 이미지 획득 방법을 설명하기 위한 도면이다.
도 12 및 13은 일 실시예에 따른 촬영 가이드 및 기준 가이드를 제공하는 디스플레이 화면을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 이미지 획득 방법을 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 이미지 획득 방법을 설명하기 위한 도면이다.
도 16은 일 실시예에 따른 정면 이미지 및 측면 이미지를 도시한 도면이다.
도 17은 일 실시예에 따른 갑상선 안병증 예측 방법에 관한 순서도이다.
도 18은 일 실시예에 따른 사용자 단말의 설문 입력 인터페이스 및 확인 인터페이스를 포함하는 디스플레이 화면을 설명하기 위한 도면이다.
도 19은 일 실시예에 따른 갑상선 안병증 예측을 위한 지표를 설명하기 위한 도면이다.
도 20은 일 실시예에 따른 얼굴의 측면 이미지를 분석하여 돌출도를 예측하는 방법을 설명하기 위한 도면이다.
도 21은 일 실시예에 따른 얼굴의 정면 이미지에서의 홍채 영역의 지름값 및 얼굴의 측면 이미지에서의 안구의 돌출 정도를 설명하기 위한 도면이다.
본 출원의 상술한 목적, 특징들 및 장점은 첨부된 도면과 관련된 다음의 상세한 설명을 통해 보다 분명해질 것이다. 다만, 본 출원은 다양한 변경을 가할 수 있고 여러 가지 실시예들을 가질 수 있는 바, 이하에서는 특정 실시예들을 도면에 예시하고 이를 상세히 설명하고자 한다.
명세서 전체에 걸쳐서 동일한 참조번호들은 원칙적으로 동일한 구성요소들을 나타낸다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명하며, 이에 대한 중복되는 설명은 생략하기로 한다.
본 출원과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 출원의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 이하의 실시예에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.
도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타낸 것으로, 본 발명이 반드시 도시된 바에 한정되지 않는다.
어떤 실시예가 달리 구현 가능한 경우에 특정한 프로세스의 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 프로세스가 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.
이하의 실시예에서, 구성 요소 등이 연결되었다고 할 때, 구성 요소들이 직접적으로 연결된 경우뿐만 아니라 구성요소들 중간에 구성 요소들이 개재되어 간접적으로 연결된 경우도 포함한다. 예컨대, 본 명세서에서 구성 요소 등이 전기적으로 연결되었다고 할 때, 구성 요소 등이 직접 전기적으로 연결된 경우뿐만 아니라, 그 중간에 구성 요소 등이 개재되어 간접적으로 전기적 연결된 경우도 포함한다.
본 출원의 일 양태에 의하면, 안구의 돌출도를 분석하기 위해 대상의 얼굴 이미지를 획득하는 방법이 개시된다. 상기 방법은, 제1 촬영 조건을 만족하도록 가이드된 상태에서 상기 대상의 얼굴의 정면 이미지를 획득하고-상기 제1 촬영 조건을 만족하는 것은, 적어도 상기 대상의 양눈이 제1 촬영 이미지의 정해진 영역에 배치되는 것을 포함함-, 상기 정면 이미지에서 추출된 제1 지점 및 제2 지점의 위치 정보를 기초로 파노라마 가이드를 형성하고-상기 파노라마 가이드는 얼굴의 정면을 기준으로 가로 방향으로 형성되며, 상기 제1 지점 및 상기 제2 지점은 얼굴의 정면을 기준으로 세로 방향으로 이격되어 있음-, 상기 파노라마 가이드에 대응되는 프리뷰 이미지가 획득되도록 촬영 장치의 이동을 가이드하고-이 때, 상기 프리뷰 이미지에서 추출된 상기 제1 지점 및 상기 제2 지점 사이의 세로 방향의 이격 거리가 최초 이격 거리를 기준으로 정해진 오차범위 미만의 차이를 가지도록 모니터링함-, 및 제2 촬영 조건을 만족하도록 가이드된 상태에서 상기 대상의 얼굴의 측면 이미지를 획득하는-상기 제2 촬영 조건은, 상기 제2 촬영 이미지에서 추출된 상기 제1 지점 및 상기 제2 지점 사이의 세로방향으로의 이격 거리가 최초 이격 거리를 기준으로 정해진 오차범위 미만의 차이를 가짐- 것을 포함한다. 이 때, 획득된 이미지가 안구의 돌출도를 계산하는데에 이용될 수 있도록, 상기 제1 촬영 이미지에는 상기 대상의 홍채 영역이 나타나있고, 상기 제2 촬영 이미지에는 상기 대상의 한 눈의 눈꼬리 및 각막이 나타나있다.
몇몇 실시예들에 있어서, 상기 제1 촬영 조건을 만족하는 것은, 적어도 상기 대상의 얼굴의 좌우 회전각도가 기 설정된 제1 기준치를 초과하지 않는 것을 포함할 수 있다.
몇몇 실시예들에 있어서, 상기 제1 촬영 조건을 만족하는 것은, 적어도 상기 대상의 얼굴 표정 정보에 기초하여 상기 대상의 미소 수준이 기 설정된 제2 기준치를 초과하지 않는 것을 포함할 수 있다.
몇몇 실시예들에 있어서, 상기 제1 촬영 조건을 만족하는 것은, 적어도 상기 대상의 얼굴의 상하 회전각도가 기 설정된 제3 기준치를 초과하지 않는 것을 포함할 수 있다.
몇몇 실시예들에 있어서, 상기 제1 촬영 조건을 만족하는 것은, 적어도 주변 밝기가 제4 기준치를 초과하지 않는 것을 포함할 수 있다.
몇몇 실시예들에 있어서, 상기 제2 촬영 조건을 만족하는 것은, 적어도 상기 대상의 귀가 제2 촬영 이미지의 정해진 영역에 배치되는 것을 포함하는 것을 포함할 수 있다.
몇몇 실시예들에 있어서, 상기 제1 지점은 코의 끝 점이고, 상기 제2 지점은 얼굴의 외곽선 중 턱측 끝점일 수 있다.
몇몇 실시예들에 있어서, 상기 파노라마 가이드에 대응되는 프리뷰 이미지가 획득되도록 촬영 장치의 이동을 가이드하는 것은, 기설정된 프레임 레이트에 따라 프리뷰 이미지를 획득하고, 획득된 프리뷰 이미지에서 추출된 상기 제1 지점 및 상기 제2 지점 사이의 세로 방향의 이격 거리가 최초 이격 거리를 기준으로 정해진 오차범위 미만의 차이를 가지는지 판단하고, 정해진 오차범위를 벗어난 것으로 판단되면, 촬영 장치와 얼굴 사이의 거리를 조정하는 가이드를 출력함을 포함하는 것을 포함할 수 있다.
몇몇 실시예들에 있어서, 상기 방법은, 정해진 오차범위를 벗어난 것으로 판단되면, 촬영 장치와 얼굴 사이의 거리를 조정하는 가이드를 출력함은, 획득된 프리뷰 이미지에서 추출된 상기 제1 지점 및 상기 제2 지점 사이의 세로 방향의 이격 거리가 최초 이격 거리에 비해 정해진 오차범위를 초과할만큼 큰 것으로 판단되면, 촬영 장치를 얼굴로부터 멀어지게 이동시키라는 가이드를 출력하고, 획득된 프리뷰 이미지에서 추출된 상기 제1 지점 및 상기 제2 지점 사이의 세로 방향의 이격 거리가 최초 이격 거리에 비해 정해진 오차범위를 초과할만큼 작은 것으로 판단되면, 촬영 장치를 얼굴에 가까워지게 이동시키라는 가이드를 출력하는 것을 포함할 수 있다.
몇몇 실시예들에 있어서, 상기 파노라마 가이드에 대응되는 프리뷰 이미지가 획득되도록 촬영 장치의 이동을 가이드하는 것은, 획득된 프리뷰 이미지에서 추출된 상기 제1 지점의 위치가 정면 이미지에서 추출된 제1 지점의 위치에 비해 제5 기준치 미만으로 이동되었는지 판단하고, 획득된 프리뷰 이미지에서 추출된 상기 제1 지점의 위치가 정면 이미지에서 추출된 제1 지점의 위치에 비해 제5 기준치를 초과할만큼 이동된 것으로 판단되면, 촬영 장치를 얼굴에 비하여 위쪽 또는 아래쪽으로 이동시키라는 가이드를 출력하는 것을 포함할 수 있다.
몇몇 실시예들에 있어서, 파노라마 가이드에 대응되는 프리뷰 이미지가 획득되도록 촬영 장치의 이동을 가이드하는 것은 획득된 프리뷰 이미지에서 추출된 상기 제2 지점의 위치가 정면 이미지에서 추출된 제2 지점의 위치에 비해 제6 기준치 미만으로 이동되었는지 판단하고, 획득된 프리뷰 이미지에서 추출된 상기 제2 지점의 위치가 정면 이미지에서 추출된 제2 지점의 위치에 비해 제6 기준치를 초과할만큼 이동된 것으로 판단되면, 촬영 장치를 얼굴에 비하여 위쪽 또는 아래쪽으로 이동시키라는 가이드를 출력하는 것을 포함할 수 있다.
몇몇 실시예들에 있어서, 파노라마 가이드에 대응되는 프리뷰 이미지가 획득되도록 촬영 장치의 이동을 가이드할 때, 적어도 일부의 프리뷰 이미지는 제3 촬영 이미지로 획득되고, 상기 제1 촬영 이미지, 상기 제2 촬영 이미지 및 상기 제3 촬영 이미지는 파노라마 이미지로 편집되어 저장될 수 있다.
몇몇 실시예들에 있어서, 상기 제1 촬영 이미지가 획득되는 시점부터 상기 제2 촬영 이미지가 획득되는 시점까지 연속적으로 이미지를 획득하여 동영상 이미지가 저장될 수 있다.
몇몇 실시예들에 있어서, 상기 제2 촬영 조건을 만족하는 것은, 적어도 상기 대상의 한 눈이 제2 촬영 이미지에서 검출되지 않는 것을 포함할 수 있다.
몇몇 실시예들에 있어서, 상기 방법은, 상기 제1 촬영 이미지에서 검출된 홍채 영역의 지름값을 획득하고, 상기 제2 촬영 이미지에서 검출된 눈꼬리와, 눈꼬리로부터 가장 먼곳에 위치하는 각막 사이의 거리값을 획득하고, 상기 거리값과 상기 지름값의 비율을 구하고, 상기 홍채 영역의 고유값을 반영하여 상기 거리값을 예측함으로써 상기 안구의 돌출도를 획득하는 것을 포함하는 것을 포함할 수 있다.
본 출원의 다른 양태에 따르면, 하나 이상의 인스트럭션을 저장하는 비일시적 컴퓨터 판독 가능 매체가 개시된다. 상기 비일시적 컴퓨터 판독 가능 매체는 컴퓨팅 장치의 하나 이상의 프로세서들에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 전술한 방법을 수행하도록 할 수 있다.
본 출원의 또 다른 양태에 의하면, 안구의 돌출도를 분석하기 위해 대상의 얼굴 이미지를 획득하는 촬영 장치이 개시된다. 상기 장치는, 통신부, 하나 이상의 인스트럭션을 저장하는 저장부, 및 상기 저장부에 저장된 상기 하나 이상의 인스트럭션을 실행하는 제어부를 포함한다. 상기 상기 제어부는, 상기 하나 이상의 인스트럭션을 실행함으로써, 제1 촬영 조건을 만족하도록 가이드된 상태에서 상기 대상의 얼굴의 정면 이미지를 획득하고, 상기 정면 이미지에서 추출된 제1 지점 및 제2 지점의 위치 정보를 기초로 파노라마 가이드를 형성하고, 파노라마 가이드에 대응되는 프리뷰 이미지가 획득되도록 촬영 장치의 이동을 가이드하고, 제2 촬영 조건을 만족하도록 가이드된 상태에서 상기 대상의 얼굴의 측면 이미지를 획득하고, 상기 제1 촬영 조건은, 적어도 상기 대상의 양눈이 제1 촬영 이미지의 정해진 영역에 배치되는 것을 포함하고, 상기 파노라마 가이드는 얼굴의 정면을 기준으로 가로 방향으로 형성되며, 제1 지점 및 상기 제2 지점은 얼굴의 정면을 기준으로 세로 방향으로 이격되어 있으며, 상기 제2 촬영 조건은, 적어도 상기 제2 촬영 이미지에서 추출된 상기 제1 지점 및 상기 제2 지점 사이의 세로방향으로의 이격 거리가 최초 이격 거리를 기준으로 정해진 오차범위 미만의 차이를 가질 수 있다.
본 출원에 의하면, 갑상선 안병증을 관리하는데에 이용되는 이미지를 촬영하는 방법 및 그에 기초하여 갑상선 안병증을 관리(예를 들어, 내원 안내)를 하기 위한 시스템이 개시된다.
본 명세서에서 "눈"이라 함은, 안구를 기준으로 눈꺼풀에 의해 결정된 눈매를 통해 외부로 노출된 영역을 의미할 수 있다. 다시 말해, 본 명세서에서 "눈"이라 함은 "안구"에 포함되는 개념일 수 있다.
본 명세서에서 "홍채 영역"은 안구의 홍채 및 안구의 동공을 합한 영역을 의미할 수 있다.
본 명세서에서 "대상"이라 함은, 갑상선 안병증 관리 시스템에서 획득된 촬영이미지에서 피사체가 된 대상(예, 사람)을 의미할 수 있다.
본 명세서에서 "프리뷰 이미지"라 함은, 이미지의 촬영 시점에 정해진 프레임 레이트에 따라 획득되는 이미지를 의미할 수 있고, 구체적으로, 사용자의 입력에 따른 이미지 촬영 동작이나 기 저장된 조건을 만족함으로 인한 자동 촬영 동작이 개시되어 그에 따른 응답으로 촬영 이미지가 저장되기 전단계에서 캡쳐되는 이미지를 의미할 수 있다.
본 명세서에서 "촬영 이미지"라 함은, 이미지의 촬영 동작에 따라 최종적으로 획득된 이미지를 의미할 수 있고, 구체적으로, 사용자의 입력에 따른 이미지 촬영 동작이나 기 저장된 조건을 만족함으로 인한 자동 촬영 동작이 개시되어 그에 따른 응답으로 저장된 이미지를 의미할 수 있다.
본 명세서에서 "촬영 가이드"라 함은, 이미지 촬영을 보조하기 위한 기능을 수행하는 것으로, 일 예로, 사용자 단말(1000)의 디스플레이에 출력되고 있는 프리뷰 이미지 상에 선이나 글자의 형상으로 함께 출력되는 형상일 수 있고, 다른 예로, 사용자 단말(1000)의 스피커를 통해 촬영을 보조하는 음성이 출력되는 형태일 수 있으며, 이에 한정되지 않는다.
본 명세서에서 얼굴의 "좌우 회전 각도"라 함은, 얼굴의 머리측 중앙을 관통하는 가상의 수직축을 기준으로 회전하는 각도(Yaw)를 의미할 수 있다. 구체적으로, 얼굴이 정면을 바라보고 있을 때 얼굴의 좌우 회전 각도는 0°일 수 있고, 얼굴이 오른쪽을 바라보고 있을 때 얼굴의 좌우 회전 각도는 90°일 수 있으며, 얼굴이 왼쪽을 바라보고 있을 때 얼굴의 좌우 회전 각도는 -90°일 수 있다.
본 명세서에서 "상하 회전 각도"라 함은, 얼굴의 귀측 중앙을 관통하는 가상의 수평축을 기준으로 회전하는 각도(Pitch)를 의미할 수 있다. 구체적으로, 얼굴이 정면을 바라보고 있을 때 얼굴의 상하 회전 각도는 0°일 수 있고, 얼굴이 상측(예, 하늘)을 바라보고 있을 때 얼굴의 상하 회전 각도는 90°일 수 있으며, 얼굴이 하측(예, 바닥)을 바라보고 있을 때 얼굴의 상하 회전 각도는 -90°일 수 있다.
본 명세서에서 "안병증"이라 함은, 갑상선 질환과 연관되어 발생하는 것으로 알려진 자가면역성 안질환으로 갑상선 안병증(Thyroid eye disease)을 의미할 수 있다. 통계적으로 갑상선 안병증은 대부분 갑상선기능 항진증과 동반되어 나타나지만, 갑상선기능 항진증이 나타나기 전이나 갑상선 기능이 정상일 때에도 나타나는 경우가 있다. 따라서, 본 명세서에서 설명하는 "안병증"은 안병증 관리 시스템을 이용하여 관리하고자 하는 질병을 의료업계에서 통상적으로 칭하는 질환명으로 기재한 것으로 해석되어야 하지, 모니터링하는 질병의 발생 기전이 갑상선에 의한 것임을 뜻하는 것으로 해석되어서는 안된다.
1. 안병증 관리 시스템
(1) 시스템 일반
도 1 은 일 실시예에 따른 안병증 관리 시스템(10)을 설명하기 위한 도면이다.
안병증 관리 시스템(10)은 안병증을 예측하거나, 안병증의 존재를 알게된 이후 질병의 경과를 확인하고 관리하는 역할을 수행한다.
일 실시예에 따르면, 안병증 관리 시스템(10)은 대상의 이미지를 획득하고, 획득된 이미지를 분석하여 안병증 가능성을 예측하는 역할을 수행할 수 있다. 구체적인 예를 들어, 안병증 관리 시스템(10)은 대상의 정면 얼굴 이미지를 획득하고, 획득한 정면 얼굴 이미지를 분석하여 임상활동점수(CAS)를 예측하며, 예측된 임상활동점수가 기준치를 초과하였는지를 판단하여 갑상선 안병증의 발생 가능성을 예측할 수 있다. 다른 구체적인 예를 들어, 안병증 관리 시스템(10)은 대상의 측면 얼굴 이미지를 획득하고, 획득된 측면 얼굴 이미지를 분석하여 안구의 돌출도를 예측하거나, 안구의 돌출도 변화를 모니터링할 수 있다.
도 2는 사용자 단말을 포함하는 안병증 관리 시스템을 도시한 도면이다.
몇몇 실시예에서, 사용자 단말(100)은 네트워크를 통해 다른 사용자 단말(100) 및/또는 안병증 관리 서버(200)에 연결될 수 있다. 일반적으로, 네트워크는 통신 네트워크 및/또는 광역 네트워크(WAN)일 수 있다. 특정 실시예에서, 네트워크는 인터넷일 수 있다.
사용자 단말(100)는 대상의 신체 부위에 대한 이미지를 획득할 수 있다. 획득되는 이미지는 안병증 관리 서버(200)에서 진단을 위해 이용될 수 있도록, 기 설정된 조건에 맞게 촬영된 이미지일 수 있다. 사용자 단말(100)는 획득된 이미지를 안병증 관리 서버(200)로 전송할 수 있다.
안병증 관리 서버(200)는 이미지를 분석하여 갑상선 안병증에 관한 정보를 생성할 수 있다. 일 예로, 안병증 관리 서버(200)는 이미지를 분석하여 임상활용점수를 산출할 수 있고, 임상활용점수가 3점 이상인지를 평가하여 적절한 시기에 갑상선 안병증 치료를 목적으로 병원을 내원하도록 유도하기 위한 정보를 제공할 수 있다. 다른 예로, 안병증 관리 서버(200)는 이미지를 분석하여 안구의 돌출도를 예상할 수 있고, 안구의 돌출도 정보를 저장하여 사용자가 안구의 돌출도 변화에 관한 정보를 제공할 수 있다.
안병증 관리 시스템(10)은 도 2에 도시된 구성 요소 중 적어도 일부 구성이 생략된 형상으로 구축되거나, 도 2에 도시되지 않은 구성을 추가로 포함한 형상으로 구축될 수 있다.
(2) 사용자 단말의 구성요소
도 3은 일 실시예에 따른 사용자 단말의 블록도이다.
일 실시예에 따르면, 사용자 단말(100)은 단말 통신부(110), 카메라 모듈(120), 단말 저장부(130), 입/출력 모듈(140) 및 단말 제어부(150)를 포함한다. 사용자 단말(100)은 예시적으로 스마트폰, 태블릿 디바이스, 랩탑 컴퓨터, 퍼스널 컴퓨터 또는 이들의 조합일 수 있으나, 이에 한정되는 것은 아니다.
단말 통신부(110)는 무선 통신 모듈 및/또는 유선 통신 모듈을 포함할 수 있다. 단말 통신부(110)는 예시적으로 유/무선 LAN(Local Area Network) 모듈, WAN 모듈, 이더넷 모듈, 블루투스(Bluetooth) 모듈, 지그비(Zigbee) 모듈, USB(Universal Serial Bus) 모듈, IEEE 1394 모듈, 와이파이(Wifi) 모듈 또는 이들의 조합일 수 있으나, 이에 한정되는 것은 아니다.
카메라 모듈(120)은 디지털 카메라로, 이미지 센서와 영상처리부를 포함할 수 있다. 이미지 센서는 광학 영상(image)을 전기적 신호로 변환하는 장치로, 다수개의 광 다이오드(photo diode)가 직접된 칩으로 구성될 수 있다. 예시적으로, 이미지 센서는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등을 포함할 수 있다. 한편, 영상처리부는 촬영된 결과를 영상 처리하여, 영상 정보를 생성할 수 있다.
단말 저장부(130)는 메모리로, 메모리는 마이크로 프로세서(microprocessor)에 의해 읽힐 수 있는 데이터를 저장하는 저장수단일 수 있다. 단말 저장부(130)는 HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM 등을 포함할 수 있다. 단말 저장부(130)는 사용자 단말을 구동하는 운용 프로그램(OS: Operating System), 사용자 단말에서 구동되어야 하는 각종 프로그램들(및/또는 어플리케이션 프로그램(131)), 그리고 이들에 의해 참조될 각종 데이터 들이 저장될 수 있다.
입/출력 모듈(140)은 사용자 입력부, 출력부 및/또는 입출력 인터페이스를 포함할 수 있다. 사용자 입력부는 사용자 단말(100)에 대한 사용자의 입력을 수신한다. 수신된 입력은 단말 제어부(150)에 전달될 수 있다. 일 실시예에 따르면, 사용자 입력부는 터치 디스플레이를 통해 사용자의 입력을 수신할 수 있다. 출력부는 단말 제어부(150)의 제어 명령에 따라 각종 정보를 출력한다. 일 실시예에 따르면, 출력부는 사용자에게 정보를 시각적으로 출력하는 디스플레이를 포함할 수 있다. 또는, 출력부는 사용자에게 정보를 청각적으로 출력하는 스피커, 사용자에게 정보를 촉각적으로 출력하는 진동모터를 포함할 수 있다.
입출력 인터페이스는, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 사용자 단말(100)의 다른 구성요소(들)에 전달할 수 있는 인터페이스의 역할을 할 수 있다. 또한, 입출력 인터페이스는 사용자 단말(100)의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
단말 제어부(150)는 적어도 하나의 프로세서를 포함할 수 있다. 이때, 각각의 프로세서는 메모리에 저장된 적어도 하나의 명령어를 실행시킴으로써, 소정의 동작을 실행할 수 있다. 일 실시예에 따르면, 단말 제어부(150)는 사용자 단말(100)에 포함되어 있는 구성들의 전체적인 동작을 제어할 수 있다. 다시 말해, 사용자 단말(100)은 단말 제어부(150)에 의해 제어 또는 동작될 수 있다. 단말 제어부(150)는, 예를 들면, 사용자 단말(100)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
단말 제어부(150)는, 중앙처리장치 (central processing unit (CPU)), 어플리케이션 프로세서 (application processor (AP)), 또는 커뮤니케이션 프로세서 (communication processor(CP)) 중 하나 또는 그 이상을 포함할 수 있다.
사용자 단말(100)은 도 3에 도시된 구성 요소 중 적어도 일부 구성이 생략된 형상으로 제공되거나, 도 3에 도시되지 않은 구성을 추가로 포함한 형태로 제공될 수 있다.
이하에서, 별도의 언급이 없는 한, 사용자 단말(100)의 동작은 단말 제어부(150)에 의해 수행된 것으로 해석될 수 있다.
2. 안병증 관리 시스템의 동작 - 이미지 획득 방법
도 4는 일 실시예에 따른 안병증 관리 시스템의 동작을 설명하기 위한 도면이다.
안병증 관리 시스템(10)은 이미지를 획득(S1000)하고 안병증 정보를 획득(S2000)할 수 있다. 이미지 획득 방법과 이미지 분석 방법에 대해서는 아래에서 보다 구체적으로 설명하기로 한다.
일 실시예에 따르면, 이미지 획득 방법 및 이미지 분석 방법은 모두 사용자 단말(100)에 의해 수행될 수 있고, 이 때, 사용자 단말(100)은 안병증 관리 시스템(10)을 구성하는 유일한 장치일 수 있다.
다른 실시예에 따르면, 이미지 획득 방법은 사용자 단말(100)에 의해 수행되고, 이미지 분석 방법은 안병증 관리 서버(200)에 의해 수행될 수 있다. 이 때, 안병증 관리 시스템(10)은 적어도 전자 장치(100) 및 안병증 관리 서버(200)를 포함할 수 있다. 이 때, 사용자 단말(100) 및 안병증 관리 서버(200)는 서로 데이터 교환이 가능하도록 연결되어, 필요한 데이터를 서로 전송하고 수신할 수 있다.
또 다른 실시예에 따르면, 이미지 획득 방법의 일부 동작은 사용자 단말(100)에 의해 수행되고, 나머지 동작은 안병증 관리 서버(200)에 의해 수행될 수 있다. 또한, 이미지 분석 방법의 일부 동작은 사용자 단말(100)에 의해 수행되고, 나머지 동작은 안병증 관리 서버(200)에 의해 수행될 수 있다.
이하에서는, 이미지 획득 방법은 사용자 단말(100)이 주체적으로 수행하고, 이미지 분석 방법은 안병증 관리 서버(200)에서 주체적으로 수행하는 것을 가정하여 구체적인 실시 태양을 설명한다. 다만, 이는 설명의 편의를 위해 하나의 실시예를 들어 설명하는 것일 뿐, 본 명세서에서 개시하는 발명이 아래의 주체에 의해 수행되는 것으로 한정됨을 의미하는 것은 아니다.
(1) 이미지 획득 방법 - 제1 실시예
이미지를 분석하여 갑상선 안병증을 예측하는 시스템에 있어서, 갑상선 안병증의 예측 정확도를 향상시키기 위해서는 적합한 진단 이미지가 촬영될 필요가 있다. 이를 위해, 진단 이미지는 정해진 촬영 조건을 만족한 상태에서 획득될 필요가 있다. 따라서, 본 실시예에서는 갑상선 안병증의 분석에 이용되는 이미지의 획득 방법에 대해서 구체적으로 설명한다.
일 실시예에 따른 안병증 관리 시스템(10)에서는 제1 촬영 조건을 만족하는 이미지가 획득될 수 있다.
제1 촬영 조건은 안병증 관리 시스템(10)의 이미지 획득의 기준으로, 대상의 양눈이 진단 이미지 상의 적절한 위치에 배치되어 있는가, 대상의 얼굴의 상하 회전 각도가 적정 범위 이내인가, 대상의 얼굴의 좌우 회전 각도가 적정 범위 이내인가, 대상의 얼굴이 이미지 상의 적정 비율(portion)을 차지하는가, 대상의 미소 수준이 적정 범위 이내인가, 및/또는 주변 밝기가 적정 범위 이내인가를 평가하여 판단될 수 있다.
구체적인 예를 들어, 제1 촬영 조건을 만족하는 것은, 대상의 양눈이 제1 촬영 이미지의 정해진 영역에 배치되는 것, 대상의 얼굴의 좌우 회전각도가 기 설정된 제1 기준치를 초과하지 않는 것 및 대상의 얼굴 표정 정보에 기초하여 상기 대상의 미소 수준이 기 설정된 제2 기준치를 초과하지 않는 것일 수 있다.
다른 실시예에 따르면, 제1 촬영 조건을 만족하는 것은, 대상의 양눈이 제1 촬영 이미지의 정해진 영역에 배치되는 것, 대상의 얼굴의 좌우 회전각도가 기 설정된 제1 기준치를 초과하지 않는 것, 대상의 얼굴 표정 정보에 기초하여 상기 대상의 미소 수준이 기 설정된 제2 기준치를 초과하지 않는 것 및 대상의 얼굴의 상하 회전각도가 기 설정된 제3 기준치를 초과하지 않는 것일 수 있다.
또 다른 실시예에 따르면, 제1 촬영 조건을 만족하는 것은, 대상의 양눈이 제1 촬영 이미지의 정해진 영역에 배치되는 것, 대상의 얼굴의 좌우 회전각도가 기 설정된 제1 기준치를 초과하지 않는 것, 대상의 얼굴 표정 정보에 기초하여 상기 대상의 미소 수준이 기 설정된 제2 기준치를 초과하지 않는 것, 대상의 얼굴의 상하 회전각도가 기 설정된 제3 기준치를 초과하지 않는 것, 및 주변 밝기가 제4 기준치를 초과하지 않는 것일 수 있다.
이에 한정되지 않고, 갑상선 안병증 시스템(10)은 전술한 여러 평가 지표들 중 적어도 일부 평가지표 들을 분석하거나, 추가적인 지표를 더 분석하는 형태로 제1 촬영 조건이 만족되었는지 판단할 수 있고, 아래에서는, 본 발명의 이미지 획득 방법의 일실시예를 도 5를 참조하여 설명한다.
도 5는 일 실시예에 따른 이미지 획득 방법을 설명하기 위한 도면이다.
사용자 단말(100)은 촬영 가이드를 제공(SA1100)할 수 있다. 단말 제어부(150)는 입/출력 모듈(140)을 통해 사용자에게 촬영 가이드를 제공할 수 있다.
사용자 단말(100)은 프리뷰 이미지가 획득되어 입/출력 모듈(140)을 통해 제공되는 상태에서, 상기 프리뷰 이미지 상에 촬영 가이드가 오버랩 되도록 제공할 수 있다. 이 경우, 촬영 가이드는 입/출력 모듈(140)의 고정된 위치에 제공되고, 획득된 프리뷰 이미지가 특성에 따라 촬영 가이드가 제공되는 위치가 변경되지는 않는다.
촬영 가이드는 전술한 여러 평가 지표들에 적합한 이미지가 획득되도록 사용자에게 제공되는 지시일 수 있다. 촬영 가이드는 사용자 단말(100)에 저장된 촬영 조건에 따라 평가되도록 설정된 평가 지표 들 중 일부에 대한 지시일 수 있다. 일 예로, 사용자 단말(100)은 대상의 양눈이 위치해야 하는 지점을 표시하고, 나머지 지표들에 대응되는 촬영 가이드는 제공하지 않을 수 있다. 다른 예로, 사용자 단말(100)은 대상의 양눈이 위치해야 하는 지점 및 대상의 얼굴이 포함되어야 하는 영역을 표시하고, 나머지 지표들에 대응되는 촬영 가이드는 제공하지 않을 수 있다. 한편, 촬영 가이드는 사용자 단말(100)에 저장된 촬영 조건에 따라 평가되도록 설정된 평가 지표 들 모두에 대한 지시일 수 있다. 본 발명의 촬영 가이드의 일 실시예는 도 6 및 7을 참조하여 이하에서 설명한다.
사용자 단말(100)은 프리뷰 이미지를 획득(SA1200)할 수 있다. 단말 제어부(150)는 카메라 모듈(120)을 이용하여 프리뷰 이미지를 획득(SA1200)할 수 있다. 단말제어부(150)는 입/출력 모듈(140)을 통해 촬영 가이드가 제공되는 상태에서, 프리뷰 이미지를 획득(SA1200)할 수 있다. 프리뷰 이미지는 기설정된 프레임 레이트에 따라 획득될 수 있다.
사용자 단말(100)은 획득된 프리뷰 이미지에 대하여 복수의 지표를 추출(SA1300)할 수 있다. 단말 제어부(150)는 단말 저장부(130)에 저장된 알고리즘을 이용하여 복수의 지표를 추출(SA1300)할 수 있다.
사용자 단말(100)은 획득되는 프리뷰 이미지 중 적어도 일부에 대하여 SA1300 단계를 수행할 수 있다. 이는, 프리뷰 이미지 획득 이후 다음 프리뷰 이미지를 획득할 때까지 소요되는 시간이 하나의 프리뷰 이미지에 대하여 SA1300을 수행하는데에 걸리는 시간에 비해 짧을 수 있기 때문이다.
SA1300단계에서 추출되는 복수의 지표는 전술한 여러 평가 지표들 중 적어도 일부의 적절성을 확인할 수 있도록 추출되는 정보일 수 있다. SA1300단계에서 추출되는 복수의 지표는 사용자 단말(100)에 저장된 촬영 조건에 따라 평가되도록 설정된 평가 지표들 중 일부에 대한 정보일 수 있다. 구체적인 예를 들어, 복수의 지표는 동공의 위치 정보, 얼굴의 윤곽 정보 등을 포함할 수 있으나, 이에 한정되지 않는다.
복수의 지표는 랜드마크 검출 알고리즘을 통해 획득될 수 있다. 일 예로, 사용자 단말(100)은 랜드마크 검출 알고리즘을 이용하여 프리뷰 이미지에서의 눈의 위치를 확인할 수 있고, 이 때, 확인된 눈 좌표는 동공의 위치에 관련된 지표일 수 있다.
복수의 지표는 세그먼테이션 모델을 이용하여 획득될 수 있다. 일 예로, 사용자 단말(100)은 세그먼테이션 모델에 프리뷰 이미지를 입력하여 프리뷰 이미지에서의 눈의 위치를 확인할 수 있고, 이 때, 확인된 눈 영역은 동공의 위치에 관련된 지표일 수 있다.
복수의 지표는 바운딩 박스 검출 알고리즘을 통해 획득할 수 있다. 일 예로, 사용자 단말(100)은 바운딩 박스 검출 알고리즘에 프리뷰 이미지를 입력하여 프리뷰 이미지에서의 눈 및 얼굴의 위치를 확인할 수 있고, 이 때, 확인된 눈 영역은 동공의 위치에 관련된 지표이고, 확인된 얼굴 영역은 얼굴의 비율에 관련된 지표일 수 있다.
SA1300 단계에서 추출되는 지표는 전술한 여러 평가 지표들 중 일부에 대한 지표들에 관련된 것일 수 있고, 추출되는 지표가 둘 이상인 경우, 두 지표는 동일한 알고리즘에 의해 추출될 수 있고, 다른 알고리즘에 의해 추출될 수도 있다.
사용자 단말(100)은 추출된 지표가 적정 위치에 있는지 판단(SA1400)할 수 있다. 단말 제어부(150)는 단말 저장부(130)에 저장된 촬영 조건을 참조하여 추출된 지표가 프리뷰 이미지 상의 적정 위치에 있는지 평가할 수 있다. 다시 말해, 단말 제어부(150)는 추출된 지표가 기준을 만족하였는지 여부를 확인할 수 있다.
몇몇 실시예에 따르면, 사용자 단말(100)은 추출된 지표와 촬영 가이드의 위치를 비교할 수 있다. 예를 들어, 사용자 단말(100)이 추출된 지표의 픽셀의 좌표값을 획득한 경우, 획득된 좌표값과 촬영 가이드의 좌표값이 기준 거리 이내로 이격되어 있는지를 평가할 수 있다. 또는, 몇몇 실시예에 따르면, 사용자 단말(100)은 추출된 지표와 기저장된 기준을 비교할 수 있다. 예를 들어, 사용자 단말(100)이 복수의 지표로 랜드마크 알고리즘을 이용하여 분석된 왼쪽 눈 좌표 및 오른쪽 눈 좌표를 획득한 경우, 획득된 눈 좌표가 적정 위치로 저장된 픽셀값 범위 이내에 있는지를 평가할 수 있다.
사용자 단말(100)은 획득된 프리뷰 이미지에 대하여 얼굴의 좌우 회전 각도를 평가(SA1500)할 수 있다. 단말 제어부(150)는 단말 저장부(130)에 저장된 알고리즘을 이용하여 획득된 프리뷰 이미지에 나타난 대상의 얼굴의 좌우 회전 각도를 산출하고, 단말 저장부(130)에 저장된 촬영 조건을 참조하여 산출된 얼굴의 좌우 회전 각도가 적정 범위인지 판단할 수 있다.
사용자 단말(100)은 획득되는 프리뷰 이미지 중 적어도 일부에 대하여 SA1500 단계를 수행할 수 있다. 이는, 프리뷰 이미지 획득 이후 다음 프리뷰 이미지를 획득할 때까지 소요되는 시간이 하나의 프리뷰 이미지에 대하여 SA1500을 수행하는데에 걸리는 시간에 비해 짧을 수 있기 때문이다.
SA1300 단계를 수행되는 프리뷰 이미지와 SA 1500 단계가 수행되는 프리뷰 이미지는 동일할 수 있다. 또는, SA1300 단계를 수행되는 프리뷰 이미지와 SA 1500 단계가 수행되는 프리뷰 이미지는 다를 수 있다. 이는, SA1300 단계를 수행하는데에 걸리는 시간과 SA1500단계를 수행하는데에 걸리는 시간이 다를 수 있기 때문이다.
얼굴의 좌우 회전 각도는 좌우 회전 각도 검출 알고리즘(Yaw estimation algorithm)을 통해 획득될 수 있으나, 랜드마크 검출 알고리즘을 이용하여 획득된 신체 부위들의 위치를 비교하여 산출될 수도 있고, 그에 한정되지 않는다.
사용자 단말(100)은 얼굴의 좌우 회전 각도가 적정 범위(즉, 제1 기준치)이내인지 평가할 수 있다. 일 예로, 제1 기준치 이내인지 평가할 때에 얼굴의 좌우 회전 각도가 ±2도이내인지를 기준으로 판단될 수 있으나, 이에 한정되지 않는다.
사용자 단말(100)은 획득된 프리뷰 이미지에 대하여 얼굴의 상하 회전 각도를 평가(SA1600)할 수 있다. 단말 제어부(150)는 단말 저장부(130)에 저장된 알고리즘을 이용하여 획득된 프리뷰 이미지에 나타난 대상의 얼굴의 상하 회전 각도를 산출하고, 단말 저장부(130)에 저장된 촬영 조건을 참조하여 산출된 얼굴의 상하 회전 각도가 적정 범위인지 판단할 수 있다.
사용자 단말(100)은 획득되는 프리뷰 이미지 중 적어도 일부에 대하여 SA1600 단계를 수행할 수 있다. 이는, 프리뷰 이미지 획득 이후 다음 프리뷰 이미지를 획득할 때까지 소요되는 시간이 하나의 프리뷰 이미지에 대하여 SA1600을 수행하는데에 걸리는 시간에 비해 짧을 수 있기 때문이다.
SA1500 단계를 수행되는 프리뷰 이미지와 SA 1600 단계가 수행되는 프리뷰 이미지는 동일할 수 있다. 또는, SA1500 단계를 수행되는 프리뷰 이미지와 SA 1600 단계가 수행되는 프리뷰 이미지는 다를 수 있다. 이는, SA1500 단계를 수행하는데에 걸리는 시간과 SA1600단계를 수행하는데에 걸리는 시간이 다를 수 있기 때문이다.
얼굴의 상하 회전 각도는 상하 회전 각도 검출 알고리즘(Pitch Detection Algorithm, PDA)을 통해 획득될 수 있으나, 랜드마크 검출 알고리즘을 이용하여 획득된 신체 부위들의 위치를 비교하여 산출될 수도 있고, 그에 한정되지 않는다.
사용자 단말(100)은 얼굴의 상하 회전 각도가 적정 범위(즉, 제3 기준치)이내인지 평가할 수 있다. 일 예로, 제3 기준치 이내인지 평가할 때에 얼굴의 상하 회전 각도가 ±2도이내인지를 기준으로 판단될 수 있으나, 이에 한정되지 않는다.
사용자 단말(100)은 획득된 이미지에 대하여 미소 정도를 평가(SA1700)할 수 있다. 단말 제어부(150)는 단말 저장부(130)에 저장된 알고리즘을 이용하여 획득된 프리뷰 이미지에 나타난 대상의 얼굴 표정을 분석하여 미소 정도를 산출하고, 단말 저장부(130)에 저장된 촬영 조건을 참조하여 산출된 미소 정도가 적정 범위인지 판단할 수 있다.
사용자 단말(100)은 획득되는 프리뷰 이미지 중 적어도 일부에 대하여 SA1700 단계를 수행할 수 있다. 이는, 프리뷰 이미지 획득 이후 다음 프리뷰 이미지를 획득할 때까지 소요되는 시간이 하나의 프리뷰 이미지에 대하여 SA1700을 수행하는 데에 걸리는 시간에 비해 짧을 수 있기 때문이다.
SA1700 단계를 수행되는 프리뷰 이미지와 SA 1300 단계가 수행되는 프리뷰 이미지는 동일할 수 있다. 또는, SA1700 단계를 수행되는 프리뷰 이미지와 SA 1300 단계가 수행되는 프리뷰 이미지는 다를 수 있다. 이는, SA1700 단계를 수행하는 데에 걸리는 시간과 SA1300단계를 수행하는 데에 걸리는 시간이 다를 수 있기 때문이다.
미소 정도는 얼굴 표정 분석 알고리즘(Face Reader)을 통해 획득될 수 있으나, 랜드마크 검출 알고리즘을 이용하여 획득된 신체 부위들의 위치를 비교하여 산출될 수도 있고, 그에 한정되지 않는다.
사용자 단말(100)은 얼굴의 미소 정도가 적정 범위(즉, 제2 기준치)이내인지 평가할 수 있다. 여기서, 적정 범위(즉, 제2 기준치)는 사람의 표정이 밝아짐에 따라 눈의 형상이 변형되고, 이로 인해 진단 정확도가 저해되는 것을 방지하도록 설정된 적정 범위일 수 있다. 일 예로, 제2 기준치 이내인지 평가할 때에 미소 정도가 0.1이하인지를 기준으로 판단될 수 있으나, 이에 한정되지 않는다.
사용자 단말(100)은 사용자 단말(100)에 저장된 촬영 조건에 따라 평가되도록 설정된 평가 지표들이 모두 만족된 것으로 판단될 때, 이미지를 촬영(SA1800)할 수 있다.
사용자 단말(100)은 SA1100에 제공되었던 촬영 가이드와 관련된 평가 지표들이 모두 만족되었더라도, 저장된 촬영 조건에 따라 평가되도록 설정된 평가 지표들이 모두 만족된 것으로 판단되지 않으면 이미지를 촬영하지 않는다. 다시 말해, 사용자 단말(100)은 촬영 가이드로 제공된 평가 지표들에 종속되지 않고, 촬영 조건에 따라 평가되어야 하는 평가 지표들 모두에 대해서 만족 여부를 판단한다.
사용자 단말(100)은, 하나의 프리뷰 이미지에 대하여 사용자 단말(100)에 저장된 촬영 조건에 따라 평가되도록 설정된 평가 지표들이 모두 만족된 것으로 판단될 때 이미지를 촬영(SA1800)할 수 있다. 또는, 사용자 단말(100)은, 이미지를 촬영(SA1800)하기 전에, 사용자 단말(100)에 저장된 촬영 조건에 따라 평가되도록 설정된 각 평가 지표들이 모두 만족된 것으로 판단될 때 이미지를 촬영(SA1800)할 수 있다.
이미지를 촬영(SA1800)하는 것은, 조건이 충족되었다고 판단된 시점 직후에 사용자 단말(100)이 획득한 프리뷰 이미지를 촬영 이미지로 저장하거나, 조건 여부를 판단할 때의 프리뷰 이미지를 사용자 단말(100)이 촬영 이미지로 저장하는 것을 의미할 수 있다. 한편, 이미지를 자동촬영 하는 동작을 대신하여, 사용자 단말(100)은 촬영 조건을 만족한 것으로 판단되었을 때 사용자가 이미지를 촬영할 수 있도록 촬영 버튼을 활성화하거나 알림을 제공할 수 있다.
이하에서는, 설명의 편의를 위하여, 사용자 단말(100)은 각 실시예에 따른 조건을 만족하였을 때 사진을 촬영한다고 설명하지만, 이는 촬영 버튼이 활성화되거나, 촬영하도록 알림을 제공하는 것으로 변형되어 실시될 수 있다.
또한, 몇몇 실시예에서, 사용자 단말(100)은 이미지를 촬영하기 전에 주변 밝기를 평가하는 단계를 더 수행할 수 있다. 단말 제어부(150)는 단말 센서부(미도시, 예를 들어, 주변광센서)를 통해 주변 밝기가 적정 범위인지 판단할 수 있다.
사용자 단말(100)은 주변 밝기가 적정 범위(즉, 제4 기준치)이내인지 평가할 수 있다. 여기서, 적정 범위(즉, 제4 기준치)는 플래쉬를 터트리지 않아도 이미지 분석이 가능할 정도의 밝기를 갖도록 적정 최소 기준이 설정될 수 있고, 촬영 이미지의 색 분석을 방해하지 않는 정도의 밝기를 갖도록 적정 최대 기준을 포함할 수 있다. 일 예로, 제4 기준치 이내인지 평가할 때에 주변 밝기가 100~1000 lux 인지를 기준으로 판단될 수 있으나, 이에 한정되지 않는다.
또한, 몇몇 실시예에서, 사용자 단말(100)은 프리뷰 이미지에 기초하여 결정된 여러 평가 지표들 중 적어도 하나의 평가 지표가 기 저장된 조건을 만족하지 않는 것으로 판단되면 촬영하지 않으며, 그 때, 만족되지 않은 평가 지표에 관한 정보를 제공해줄 수 있다. 이 때, 제공되는 정보는 만족하지 않은 평가 지표를 알려주는 형태이거나, 만족하지 않은 평가 지표를 만족시키기 위한 바람직한 사용자의 행위를 알려주는 형태일 수 있다. 일 예로, 사용자 단말(100)은 프리뷰 이미지에 기초하여 결정된 얼굴의 미소 정도가 미리 정해진 기준을 초과한다고 판단되는 경우, "웃지마세요"라는 메시지를 디스플레이를 통해 제공할 수 있다.
또한, 전술한 실시예에서 촬영 가이드가 제공되는 것을 상정하여 전체적인 동작을 설명하였으나, 촬영 가이드의 제공 단계가 생략된 형태로 이미지 획득 방법이 수행될 수 있다. 그와 별개로, 본 명세서에서 개시하는 안병증 관리 시스템(10)은 정밀하게 제어된 환경에서의 이미지 획득이 필요하고, 이에 사용자 단말(100)이 촬영 가이드를 통해 사용자의 행위를 적절하게 유도함으로써 보다 개선된 안병증 관리가 수행될 수 있다.
또한, 다른 실시예에 따르면, 전술한 사용자 단말(100)의 동작은 안병증 관리 서버(200)에 의해 수행될 수 있다. 복수의 지표를 추출하는 알고리즘 및 관련 기준, 상하 회전 각도를 검출하는 알고리즘 및 관련 기준, 좌우 회전 각도를 검출하는 알고리즘 및 관련 기준, 미소 정도를 검출하는 알고리즘 및 관련 기준 등은 안병증 관리 서버(200)에 저장되어 있을 수 있다. 사용자 단말(100)은 사용자와의 관계에서 데이터를 입력받고 제공하는 인터페이스로 동작할 수 있다. 사용자 단말(100)과 안병증 관리 서버(200)는 실시간으로 연동되고 안병증 관리 서버(200)의 주체적인 동작에 따라 사용자 단말(100)은 적절한 촬영 가이드를 제공하고 촬영 이미지를 획득하여 안병증 관리 서버(200)로 전송하는 역할을 수행할 수 있다.
도 6은 실시예에 따라 제공된 촬영 가이드의 형상 및 그 동작에 대해서 설명하기 위한 도면이다. 이하에서는, 입/출력 모듈(140)이 스마트폰의 디스플레이인 것을 가정하여 설명한다.
도 6을 참조하면, 일실시예에 따른 사용자 단말(100)은 고정된 촬영 가이드를 제공할 수 있다.
촬영 가이드는 제1 가이드(G1), 제2 가이드(G2), 제3 가이드(G3) 및 제4 가이드(G4)를 포함할 수 있다. 제1 가이드(G1)는 대상의 오른쪽 눈의 적정 위치를 표시하도록 출력될 수 있다. 제2 가이드(G2)는 대상의 왼쪽 눈의 적정 위치를 표시하도록 출력될 수 있다. 제3 가이드(G3)는 대상의 얼굴의 적정 좌우 회전 각도를 표시하도록 출력될 수 있다. 제4 가이드(G4)는 대상의 얼굴의 적정 차지 비율을 표시하도록 출력될 수 있다.
제1 가이드(G1)는 대상의 오른쪽 눈의 적정 위치를 직접적 또는 간접적으로 표시하도록 출력될 수 있다. 일 예로, 제1 가이드(G1)는 대상의 오른쪽 눈이 위치해야 하는 지점에 출력되어, 사용자가 오른쪽 눈을 제1 가이드(G1)에 맞추는 것을 도울 수 있다. 제1 가이드(G1)는, 도면에 도시된 것과 같이 대상의 눈이 적정 위치에 있을 때의 홍채 영역의 외곽을 표시하는 형상일 수 있고, 또는, 대상의 눈이 적정 위치에 있을 때의 동공의 위치를 표시하거나, 대상의 눈 아웃라인을 표시하는 형상일 수 있다.
구체적인 예를 들어, 제1 가이드(G1)는 십자모양으로 제공될 수 있다. 제1 가이드(G1)가 십자형으로 제공되는 경우, 제1 가이드(G1)는 동공 센서 없이도 눈의 중앙이 적절한 위치에 배치된 이미지가 촬영되도록 가이드할 수 있다. 다시 말해, 제1 가이드(G1)가 십자형으로 제공되는 경우, 제1 가이드(G1)는 사용자가 왼쪽 눈의 홍채 영역의 중앙을 상기 십자형의 교차점에 매칭시키도록 유도하는 기능을 수행할 수 있고, 이에 따라, 정확도 높은 분석이 이뤄질 수 있도록 적합한 진단 이미지를 획득할 수 있다.
제2 가이드(G2)는 대상의 왼쪽 눈의 적정 위치를 직접적 또는 간접적으로 표시하도록 출력할 수 있다. 제2 가이드(G2)는 제1 가이드(G1)와 표시하고자 하는 부위는 다르지만, 동일하거나 유사한 형상으로 제공될 수 있다. 다시 말해, 제1 가이드(G1)가 오른쪽 동공을 십자모양으로 표시하도록 출력된다면, 제2 가이드(G2)는 왼쪽 동공을 십자모양으로 표시하도록 출력될 수 있다.
제1 가이드(G1)와 제2 가이드(G2)는 디스플레이 상에서 대칭적으로 제공될 수 있다. 제1 가이드(G1)와 제2 가이드(G2)는 제3 가이드(G3)를 기준으로 대칭되도록 제공될 수 있다.
제3 가이드(G3)는 대상의 얼굴의 좌우 회전 각도를 직접적 또는 간접적으로 표시하도록 출력할 수 있다. 제3 가이드(G3)는 얼굴의 좌우 회전 각도를 수치로 표시하는 것도 가능하지만, 디스플레이의 세로 방향으로 연장된 세로선으로 표시하는 것도 가능하다. 이 때, 세로선은 대상의 양눈이 제1 가이드(G1) 및 제2 가이드(G2)에 각각 대응하고 얼굴의 좌우 회전 각도가 0일 때, 얼굴의 코가 위치해야 하는 영역을 지나는 세로선일 수 있다.
제4 가이드(G4)는 대상의 얼굴이 이미지 상에서 차지하는 적정 비율 (portion)을 직접적 또는 간접적으로 표시하도록 출력할 수 있다. 제4 가이드(G4)는 대상의 얼굴이 위치해야 하는 영역을 원 형상으로 표시하거나, 대상의 얼굴과 사용자 단말(100)사이의 거리를 표시하여 대상의 얼굴이 이미지 상에서 차지한 상태의 이미지가 촬영되도록 가이드할 수 있다.
제1 가이드(G1), 제2 가이드(G2), 및 제4 가이드(G4)는 전술한 SA1400 단계에서 판단될 평가 지표와 연관되어 있을 수 있다. 제3 가이드(G3)는 전술한 SA1500 단계에서 판단될 평가 지표와 연관되어 있을 수 있다.
일 실시예에 따르면, 사용자 단말(100)은 고정된 촬영 가이드와 프리뷰 이미지를 분석하여 획득된 정보를 기초로 생성되는 실시간 촬영 가이드(RG)를 함께 제공할 수 있다.
실시간 촬영 가이드(RG)는 사용자 단말(100)에 제공된 촬영 가이드와 관련된 평가 지표(들)에 대하여 생성될 수 있다.
일 예로, 실시간 촬영 가이드(RG)는 사용자 단말(100)에서 제공되는 촬영 가이드 들이 관련된 모든 평가 지표에 대하여 생성될 수 있다. 사용자 단말(100)이 4개의 평가 지표에 대한 촬영 가이드를 제공하는 경우, 4개의 평가 지표에 대한 실시간 촬영 가이드(RG)가 제공될 수 있다. 다른 예로, 실시간 촬영 가이드(RG)는 사용자 단말(100)에서 제공되는 촬영 가이드 들이 관련된 평가 지표 중 일부에 대하여 생성될 수 있다. 사용자 단말(100)이 4개의 평가 지표에 대한 촬영 가이드를 제공하는 경우, 2개의 평가 지표에 대한 실시간 촬영 가이드(RG)가 제공될 수 있다.
실시간 촬영 가이드(RG)는 촬영 가이드와 대응되는 형상으로 제공될 수 있다. 다시 말해, 촬영 가이드가 세로선 형상이면 그에 대응되는 실시간 촬영 가이드(RG)도 세로선 형상일 수 있고, 촬영 가이드가 십자모양이면 그에 대응하는 실시간 촬영 가이드(RG)도 십자모양일 수 있다.
실시간 촬영 가이드(RG)는 대응되는 평가 지표가 만족되었는지에 따라 적어도 하나의 특성이 변화될 수 있다. 실시간 촬영 가이드(RG)에 대응되는 평가 지표가 기 저장된 기준을 만족한 것으로 판단되면, 사용자 단말(100)은 기존에 제공되던 실시간 촬영 가이드(RG)의 특성을 변경하여 제공함으로써 사용자가 조건의 만족여부를 쉽게 인식할 수 있도록 할 수 있다. 특성의 변화는, 점선이 실선으로 변경되는 형태이거나, 색상이 변경되는 형태이거나, 선의 굵기가 달라지는 형태일 수 있으나 이에 한정되지 않는다.
일 실시예에 따르면, 사용자 단말(100)은 프리뷰 이미지를 분석하여 평가 지표들에 대응되는 값(예를 들어, 동공의 위치 및 얼굴의 좌우 회전 각도)을 획득하고, 평가 지표들에 대응되는 값들이 기준을 만족하였는지를 평가하고, 평가된 값을 기초로 실시간 촬영 가이드(RG)를 제공할 수 있다.
다른 실시예에 따르면, 사용자 단말(100)은 프리뷰 이미지를 분석하여 평가 지표들에 대응되는 값(예를 들어, 동공의 위치 및 얼굴의 좌우 회전 각도)을 획득하여, 그에 상응하는 실시간 촬영 가이드(RG)를 제공하고, 실시간 촬영 가이드(RG)와 촬영 가이드를 비교하여 평가 지표들에 대응되는 값들이 기준을 만족하였는지를 평가할 수 있다.
도 7은 실시예에 따라 제공된 실시간 촬영 가이드의 형상 및 그 동작에 대해서 설명하기 위한 도면이다. 이하에서는, 사용자 단말(100)을 통해 제3 가이드(G3) 및 제3 가이드(G3)와 연관된 실시간 가이드(RG)을 제공하는 동작을 설명한다.
일 실시예에 따르면, 제3 가이드(G2)는 세로선 형태로 제공될 수 있다. 몇몇 실시예에 따르면, 제3 가이드(G3)가 얼굴의 좌우 회전 각도를 수치로 제공하는 형태로 구현될 수 있지만, 이는 사용자가 어떻게 자세를 수정해야 하는지 직관적으로 와닿지 않는 문제가 있다. 이를 해결하기 위해, 제3 가이드(G3)와 같이 얼굴의 좌우 회전 각도를 디스플레이 상의 세로선으로 표시할 수 있다. 예를 들어, 제3 가이드(G3)는 디스플레이의 가로 방향을 기준으로 중앙을 지나면서, 디스플레이의 세로 방향으로 연장된 세로선으로 제공될 수 있다.
제3 가이드(G3)가 고정된 촬영 가이드로 제공되는 상태에서, 사용자 단말(100)은 얼굴의 좌우 회전 각도에 대한 실시간 촬영 가이드(RG)를 제공할 수 있다.
프리뷰 이미지 상에서 얼굴의 좌우 회전 각도가 0도일 때에는 실시간 촬영 가이드(RG)는 디스플레이의 가로 방향의 중앙을 지나면서 디스플레이의 세로 방향으로 연장된 세로선으로 제공될 수 있다. 프리뷰 이미지 상에서 얼굴의 좌우 회전 각도가 90도일 때에는 실시간 촬영 가이드(RG)는 디스플레이의 가로 방향을 기준으로 4분의 1지점을 지나면서 디스플레이의 세로 방향으로 연장된 세로선으로 제공될 수 있다. 사용자 단말(100)은 프리뷰 이미지 상에서 얼굴의 좌우 회전 각도 별로 디스플레이의 가로 방향의 지점을 균등하게 표시할 수 있도록 얼굴의 좌우 회전 각도별 세로선의 위치를 저장하고, 실시간 촬영 가이드(RG)는 디스플레이의 세로 방향으로 연장된 세로선의 형태로 얼굴의 좌우 회전 각도에 맞게 제공될 수 있다.
도 7(a)를 참조하면, 사용자 단말(100)은 제3 가이드(G3)를 제공한 상태에서 프리뷰 이미지를 획득할 수 있다. 획득된 프리뷰 이미지를 분석하여 얼굴의 좌우 회전 각도를 산출하고, 산출된 얼굴의 좌우 회전 각도에 대응되는 실시간 촬영 가이드(RG)를 제공할 수 있다.
대상의 얼굴이 왼쪽을 바라보고 있기 때문에, 실시간 촬영 가이드(RG)는 제3 가이드(G3)에 비해 사용자 단말(100)의 가로 방향을 기준으로 오른쪽에 위치한다. 이 때, 획득된 얼굴의 좌우 회전 각도는 적정 범위(즉, 제1 기준치)를 만족하지 못했기 때문에, 실시간 촬영 가이드(RG)는 점선으로 표시된다.
사용자 단말(100)은 프리뷰 이미지의 얼굴의 좌우 회전 각도가 제1 기준치를 만족하지 못했기 때문에, 제1 기준치를 만족시키기 위해 사용자가 행해야 하는 동작을 디스플레이를 통해 제공할 수 있다. 일 예로, 제공되는 추가 촬영 가이드는 "얼굴 세로 중심선을 좌우로 움직여 중앙선에 맞춰주세요."일 수 있다.
도 7(b)를 참조하면, 대상의 얼굴이 정면을 바라보고 있기 때문에, 실시간 촬영 가이드(RG)는 제3 가이드(G3)와 동일하게 사용자 단말(100)의 가로 방향을 기준으로 중앙에 위치한다. 획득된 얼굴의 좌우 회전 각도는 적정 범위(즉, 제1 기준치)를 만족하였기 때문에, 실시간 촬영 가이드(RG)는 실선으로 표시된다.
사용자 단말(100)은 프리뷰 이미지의 얼굴의 좌우 회전 각도가 제1 기준치를 만족했기 때문에, 사용자에게 선택적으로 정보를 제공할 수 있다. 일 예로, 사용자 단말(100)은 자동 촬영을 수행하면서, 디스플레이를 통해 "자동촬영 됩니다"를 제공할 수 있다.
사용자 단말(100)은 안병증 관리를 위한 이미지가 촬영되면, 이미지를 안병증 관리 서버(200)로 전송할 수 있다. 또는, 사용자 단말(100)은 안병증 관리를 위한 이미지가 촬영되면, 이미지 분석을 진행할 수 있다. 이미지를 분석하여 안병증 가능성을 예측하고, 이를 토대로 사용자에 내원 안내를 제공하는 방법에 대해서는 후술한다.
사용자 단말(100)은 안병증 관리(예를 들어, 예측)을 위한 이미지가 촬영되면, 이미지를 디스플레이를 통해 출력할 수 있다. 일 예로, 사용자 단말(100)은 이미지가 촬영되면, 이미지를 분석하여 이미지 상에서 눈의 위치를 확인하고, 눈 및 눈 주변부를 포함하도록 이미지를 크롭하여 디스플레이를 통해 출력할 수 있다.
몇몇 실시예에 있어서, 이미지를 분석하고 눈을 검출하여 눈 및 눈 주변부를 포함하도록 이미지를 크롭하는 동작은 안병증 관리 서버(200)에 의해 수행될 수 있다. 또는, 이미지를 분석하고 눈을 검출하여 눈 및 눈 주변부를 포함하도록 이미지를 크롭하는 동작은 사용자 단말(100)에 의해 수행될 수 있다.
눈을 검출하기 위해서, 사용자 단말(100) 및/또는 안병증 관리 서버(200)는 검출 알고리즘을 저장하고 있을 수 있다. 예시적으로, 검출 알고리즘은 랜드마크 검출 알고리즘, 세그먼테이션 모델 등일 수 있으나 이에 한정되지 않는다.
본 실시예에서, 촬영 이미지를 사용자에게 제공함으로써, 사용자가 육안으로 눈 이미지가 부적절하게 촬영되었는지 한 번 더 체크할 수 있고, 필요한 경우 재촬영을 진행할 수 있다. 따라서, 이미지의 부적합성으로 인한 진단의 정확도 저하를 해결할 수 있다.
또한, 본 실시예에서, 촬영 이미지를 크롭해서 제공함으로써, 사용자가 육안으로 이미지를 확인할 때에 눈을 좀더 집중적으로 확인할 수 있도록 하는 장점이 도출될 수 있다. 따라서, 이미지의 부적합성으로 인한 진단의 정확도 저하를 해결할 수 있다.
도 8은 일 실시예에 따른 사용자 단말의 이미지 촬영 후 디스플레이 화면을 설명하기 위한 도면이다.
사용자 단말(100)은 크롭 이미지 인터페이스(CII), 확인 인터페이스(CI), 재촬영 인터페이스(RII) 및 설문 입력 인터페이스(QII)를 디스플레이를 통해 제공할 수 있다.
크롭 이미지 인터페이스(CII)는 촬영 이미지의 일부 영역을 표시하고, 이 때, 일부 영역은 눈을 포함하는 영역일 수 있다.
확인 인터페이스(CI)는 안병증 분석에 있어서 적절 밝기를 유지하는 것은 중요하기 때문에, 실제 모습보다 너무 밝거나 어두운지, 양 눈이 동일한 밝기로 촬영되었는지 확인하기 위한 인터페이스일 수 있다. 확인 이미지(CI)는 항목별 응답을 받을 수 있는 영역을 더 포함할 수 있다. 예를 들어, 실제 모습보다 너무 밝거나 어두운지에 대한 응답 영역 및 양눈이 동일한 밝기로 촬영되었는지에 대한 응답영역이 디스플레이를 통해 제공될 수 있다.
재촬영 인터페이스(RII)는 사용자가 크롭 이미지 및/또는 확인 항목을 보고 재촬영을 진행하고자 할 때 재촬영 기능을 수행할 수 있도록 제공되는 선택 인터페이스일 수 있다. 재촬영 인터페이스(RII)는 확인 인터페이스(CI)의 응답영역에 대응되는 사용자 입력이 있었는지와 무관하게 활성화되어, 사용자 단말(100)에 재촬영 인터페이스(RII)를 선택하는 사용자 입력이 획득되면 재촬영 동작을 수행할 수 있다.
설문 입력 인터페이스(QII)는 사용자가 크롭 이미지 및/또는 확인 항목을 보고 다음 단계로 넘어가고자 할 때 입력할 수 있도록 제공되는 선택 인터페이스일 수 있다. 설문 입력 인터페이스(QII)는 확인 인터페이스(CI)의 응답영역에 대응되는 사용자 입력이 있을 때 활성화되는 인터페이스일 수 있다. 구체적으로, 확인 인터페이스(CI)에 적절한 응답이 입력되지 않은 것으로 확인되면, 사용자 단말(100)은 설문 입력 인터페이스(QII)를 선택하는 사용자 입력이 획득되어도 그에 적절한 동작을 수행하지 않을 수 있다.
(2) 이미지 획득 방법 - 제2 실시예
갑상선 안병증을 정확하게 예측하기 위해서, 얼굴의 좌우 회전 각도 및 얼굴의 상하 회전 각도를 적정 범위에서 유지된 상태의 이미지를 획득하는 것은 중요하다. 이는, 동일한 눈을 촬영하여도 이미지를 촬영하는 시점의 얼굴의 좌우 회전 각도 및/또는 얼굴의 상하 회전 각도에 따라 눈의 형태가 미세하게 달라질 수 있고, 이는 갑상선 안병증의 가능성을 예측하거나 돌출도를 분석하는데에 정확도를 저해시키는 요인으로 작용할 수 있기 때문이다.
다만, 스마트폰을 이용하여 이미지를 획득되는 경우, 얼굴의 좌우 회전 각도 및/또는 얼굴의 상하 회전 각도를 분석하는 알고리즘을 선택할 때에 스마트폰의 CPU 스펙(ex., 연산속도)을 고려해야하기 때문에, 처리량이 적은 알고리즘을 이용하여 얼굴의 좌우 회전 각도 및/또는 얼굴의 상하 회전 각도를 일관되게 모니터링할 수 있는 방법의 개발이 요구되었다.
특히, 얼굴의 좌우 회전 각도의 경우 얼굴의 좌우 대칭을 통해 어느정도 파악할 수 있으나, 얼굴의 상하 회전 각도의 경우 이미지를 통해 검출되는 눈, 코, 입 등 위치(예를 들어, 랜드마크 검출 알고리즘을 통해 검출된 신체 부위)를 토대로 계산되어야 하기 때문에, 얼굴 상하 회전 각도를 일관되게 모니터링할 수 있는 방법의 개발이 필요하다.
이에, 대상이 정확한 자세로 촬영한 이미지를 기준 이미지(RI)로 선정하여, 기준 가이드(RG)를 생성하고, 이를 제공하고 만족하는 이미지를 획득함으로써 얼굴의 좌우 회전 각도 및/또는 상하 회전 각도를 일관되게 유지한 촬영 이미지를 획득할 수 있는 방법을 개시한다.
다만, 아래의 실시예를 설명함에 있어서는, 얼굴의 상하 회전 각도를 가이딩하기 위한 기준 가이드(RG)가 제공되는 실시예를 대표적으로 설명하고, 얼굴의 좌우 회전 각도를 가이딩하기 위한 기준 가이드(RG)가 제공되는 실시예에 대해서는 구체적으로 설명하지 않는다. 다만, 얼굴의 좌우 회전 각도를 가이딩 하기 위한 기준 가이드(RG)는 얼굴의 가로 방향으로 이격되어 있는 복수의 기준 가이드 지표와 관련된 기준 가이드(RG)가 제공되는 형태로 실시되고, 그 동작은 후술할 상하 회전 각도를 가이딩 하는 동작과 유사하게 수행될 수 있는바 충분히 실시할 수 있을 정도로 기재되어 있다고 할 것이다.
마찬가지로, 얼굴의 좌우 회전 각도 및 상하 회전 각도를 모두 가이딩하기 위한 기준 가이드(RG)가 제공되는 실시예는 구체적으로 설명하지 않으나, 얼굴의 세로 방향으로 이격되어 있는 복수의 기준 가이드 지표와 관련된 기준 가이드(RG) 및 얼굴의 가로 방향으로 이격되어 있는 복수의 기준 가이드 지표와 관련된 기준 가이드(RG)가 제공되는 형태로 실시되고, 그 동작은 후술할 상하 회전 각도를 가이딩 하는 동작과 유사하게 수행될 수 있는바 충분히 실시할 수 있을 정도로 기재되어 있다고 할 것이다.
도 9는 일 실시예에 따른 이미지 획득 방법을 설명하기 위한 도면이다.
사용자는 기준 이미지(RI)를 촬영할 수 있다(도 9의 Day 1 참조).
기준 이미지(RI)는 안병증 관리 시스템(10)에서 제안한 환경에서 촬영될 수 있다. 일 예로, 기준 이미지(RI)는 사용자가 벽에 등을 기댄 상태에서 촬영된 이미지일 수 있다. 기준 이미지(RI)는 제1 실시예에 따른 이미지 획득 방법에 따라 촬영된 이미지일 수 있다. 기준 이미지(RI)는 병원에서 의료인력(예를 들어, 간호사)이 촬영한 이미지일 수 있다. 기준 이미지(RI)는 기 획득되었던 진단 이미지(즉, 촬영 이미지) 중 촬영 조건을 만족한 것으로 사후적으로 평가된 이미지일 수 있다.
기준 이미지(RI)를 분석하여 기준 가이드(RG)를 생성할 수 있다. 기준 가이드(RG)를 생성하는 방법은 이하에서 보다 구체적으로 설명한다.
기준 가이드(RG)(RI)는 적어도 둘 이상의 지점을 가이드할 수 있다. 일 예로, 기준 가이드(RG)는 제1 기준 가이드(RG1) 및 제2 기준 가이드(RG2)를 포함할 수 있다.
생성된 기준 가이드(RG)는 사용자 단말(100)의 단말 저장부(130)에 저장될 수 있다.
사용자 단말(100)는 기준 가이드(RG)를 제공할 수 있다(도 9의 Day 2 참조). 사용자 단말(100)은 안병증 관리를 위한 이미지 획득 동작을 수행하는 시점에 기준 가이드(RG)를 제공할 수 있다.
일 실시예에 따르면 사용자 단말(100)은 이미지 획득 동작을 수행할 때, 저장된 기준 가이드(RG)를 디스플레이를 통해 제공한다. 다른 실시예에 따르면 사용자 단말(100)은 이미지 획득 동작을 수행할 때, 기준 가이드(RG) 및 촬영 가이드를 함께 제공할 수 있다. 기준 가이드(RG)는 프리뷰 이미지 상에 제공된다.
도 10은 일 실시예에 따른 기준 가이드의 생성 동작을 설명하기 위한 도면이다.
사용자 단말(10)은 기준 이미지(RI)를 획득(SB9100)하고, 획득된 기준 이미지(RI)를 기초로 기준 가이드 지표를 추출(SB9100)하고, 기준 가이드(RG)를 생성(SB9300)할 수 있다.
기준 이미지(RI)의 획득(SB9100)은 본 명세서의 일 실시예에 따른 이미지 획득 방법을 통해 수행될 수 있다. 일 예로, 도 5에서 설명하는 이미지 획득 방법에 따라 기준 이미지(RI)가 획득될 수 있다. 몇몇 실시예에 따르면, 기준 이미지(RI)는 갑상선 안병증이 발병되기 이전에 촬영된 이미지일 수 있다.
사용자 단말(100)은 기준 이미지(RI)를 분석하여, 기준 가이드 지표를 추출(S9200)할 수 있다. 기준 가이드 지표는 얼굴의 정면에서 나타날 수 있는 신체 부위에 관련되며, 적어도 둘 이상의 기준 가이드 지표가 획득될 수 있다.
얼굴의 상하 회전 각도를 가이딩하기 위한 기준 가이드 지표는, 얼굴의 세로 방향으로 이격된 적어도 두 지점에 관련된다. 얼굴의 좌우 회전 각도를 가이딩하기 위한 기준 가이드 지표는, 얼굴의 가로 방향으로 이격된 적어도 두 지점에 관련된다.
기준 가이드 지표는 코끝에 상응하는 위치 정보 및 눈에 상응하는 위치 정보일 수 있다. 본 명세서에서 "위치 정보"라 함은, 이미지 상에서의 위치를 확인할 수 있는 정보로, 예를 들어, 랜드마크 검출 알고리즘을 통해 획득한 신체부위의 좌표값일 수 있다. 또는, 기준 가이드 지표는 턱끝에 상응하는 위치 정보 및 눈에 상응하는 위치 정보일 수 있다. 다만, 안병증 관리 시스템(10)에서는 모니터링하는 질병이 갑상선 안병증이기 때문에, 눈의 경우 안구 돌출에 따른 형태 변화가 생길 수 있고, 따라서, 기준 가이드 지표는 눈에 관련되지 않은 신체 부위로 설정되는 것이 상대적으로 바람직하다.
기준 가이드 지표는 코끝에 상응하는 위치 정보 및 입술에 상응하는 위치 정보일 수 있다. 또는, 기준 가이드 지표는 턱끝에 상응하는 위치 정보 및 입술에 상응하는 위치 정보일 수 있다. 다만, 기준 가이드 지표에 관련된 신체 부위는 이미지가 획득되는 동작에서 촬영 조건으로 모니터링되는 바, 기준 가이드 지표는 입술과 같이 움직임이 큰 부위에 관련되지 않은 신체 부위로 설정되는 것이 상대적으로 바람직하다.
기준 가이드 지표는, 코끝에 상응하는 위치 정보 및 턱끝에 상응하는 위치 정보일 수 있다. 얼굴의 상하 회전 각도를 가이딩하기 위한 기준 가이드 지표는, 코끝에 상응하는 위치 정보 및 턱끝에 상응하는 위치 정보일 수 있다. 다만, 이에 한정되지 않고, 기준 가이드 지표는 얼굴의 정면에서 나타날 수 있는 신체 부위이며, 적어도 둘 이상의 지점을 포함하는 것으로 선택될 수 있다.
사용자 단말(100)은 기준 가이드(RG)를 생성(SB9300)할 수 있다. 기준 가이드(RG)는 기준 이미지(RI)에서 추출된 기준 가이드 지표에 대응되는 지점을 디스플레이 상에 점으로 표시하는 형태일 수 있고, 기준 이미지(RI)에서 추출된 기준 가이드 지표에 대응되는 지점을 지나는 선으로 표시하는 형태일 수 있다.
일 실시예에 따르면, 사용자 단말(100)이 얼굴의 상하 회전 각도를 가이딩하기 위해 기준 가이드(RG)를 제공하는 경우, 제1 기준 가이드 지표에 상응하는 지점을 지나면서 디스플레이의 가로 방향으로 연장된 제1 기준 가이드(RG1) 및 제2 기준 가이드 지표에 상응하는 지점을 지나면서 디스플레이의 가로 방향으로 연장된 제2 기준 가이드(RG2)를 포함하는 형태일 수 있다.
다른 실시예에 따르면, 사용자 단말(100)이 얼굴의 좌우 회전 각도를 가이딩하기 위해 기준 가이드(RG)를 제공하는 경우, 제1 기준 가이드 지표에 상응하는 지점을 지나면서 디스플레이의 세로 방향으로 연장된 제1 기준 가이드(RG1) 및 제2 기준 가이드 지표에 상응하는 지점을 지나면서 디스플레이의 세로 방향으로 연장된 제2 기준 가이드(RG2)를 포함하는 형태일 수 있다.
사용자 단말(100)은 SB9100 내지 SB9300을 통해 획득된 기준 가이드(RG)를 단말 저장부(130)에 저장할 수 있다. 저장된 기준 가이드(RG)는, 사용자 단말(100)에서 안병증 관리를 위한 이미지 획득 동작을 수행하는 시점마다 디스플레이 상에 제공될 수 있다. 또는, 사용자 단말(100)은 기준 가이드(RG)가 제공되지 않은 상태로 안병증 예측을 위한 이미지를 촬영하되, 촬영 이미지를 분석하여 기준 가이드(RG)에 만족하는 사진인지를 사후적으로 평가할 수 있다. 만약, 사후적으로 판단한 촬영 이미지가 기준 가이드(RG)에 관련된 기준을 만족되지 않으면, "촬영 조건을 만족하였지만, 지난번 사진과는 다른 특성을 가져 얼굴의 상하 회전 각도가 0이 맞는지 의심됩니다."라는 내용을 디스플레이를 통해 표시할 수 있다. 이 때, 사용자 단말(100)은 디스플레이를 통해, 재촬영 인터페이스(RII)를 제공할 수 있다.
일 실시예에 따르면, 사용자 단말(100)에 다운로드된 안병증 관리 어플리케이션(131)이 실행된 경우, 사용자 단말(100)은 기준 이미지(RI)를 획득하도록 인터페이스를 제공하고, 기준 가이드(RG)를 생성할 수 있다. 다시 말해, 사용자 단말(100)에 안병증 관리 어플리케이션(131)이 다운로드되고 처음 실행되는 시점에, 사용자 단말(100)은 기준 이미지(RI)를 획득하도록 인터페이스를 제공하고, 기준 가이드(RG)를 생성할 수 있다. 이후, 사용자 단말(100)은 새로운 기준 이미지(RI)가 획득될 때까지, 안병증 관리 어플리케이션(131)을 통해 이미지가 촬영될 때마다 저장된 기준 가이드(RG)를 제공할 수 있다. 본 실시예에서는, 특히 기준 가이드 지표는 눈을 포함하지 않는다. 이유는, 눈이 돌출됨에 따라, 눈과 다른 지표 사이의 거리가 가깝게 분석될 수 있고 따라서 기준 가이드(RG)를 통해 왜곡이 생기는 문제가 발생할 수 있기 때문이다.
다른 구체적인 실시예에 따르면, 사용자 단말(100)에 다운로드된 안병증 관리 어플리케이션(131)을 통해 이미지가 촬영되는 경우, 직전차 촬영 이미지를 분석하여 생성한 기준 가이드(RG)가 디스플레이를 통해 제공될 수 있다. 기준 가이드(RG)가 제공된 상태에서 이미지가 촬영되면, 사용자 단말(100)은 촬영 이미지를 안병증 관리 서버(200)로 전송할 수 있다. 사용자 단말(100) 및/또는 안병증 관리 서버(200)는 금번 촬영 이미지를 이용하여 기준 가이드(RG)를 다시 생성하고, 안병증 관리를 위한 다음차 이미지 촬영 시점에 금번 촬영 이미지로 획득된 기준 가이드(RG)를 제공할 수 있다. 다시 말해, 촬영 이미지가 획득될 때마다 기준 가이드(RG)를 생성하고, 다음차 촬영 이미지를 획득할 때 생성된 기준 가이드(RG)를 제공하도록, 사용자 단말(100)은 촬영 이미지가 획득되면 새롭게 생성된 기준 가이드(RG)를 단말 저장부(130)에 저장할 수 있다.
일 실시예에 따르면 사용자 단말(100)은 이미지 획득 동작을 수행할 때, 저장된 기준 가이드(RG)를 디스플레이를 통해 제공할 수 있다. 다른 실시예에 따르면 사용자 단말(100)은 이미지 획득 동작을 수행할 때, 기준 가이드(RG) 및 촬영 가이드를 함께 제공할 수 있다.
도 11은 일 실시예에 따른 이미지 획득 방법을 설명하기 위한 도면이다.
사용자 단말(100)은 촬영 가이드 및 기준 가이드(RG)를 제공(SB1100)하고, 프리뷰 이미지를 획득(SB1200)하여, 복수의 지표를 추출(SB1300)하고, 추출된 지표가 적정 위치에 있는지 판단(SB1400)하고, 얼굴의 좌우 회전 각도를 평가(SB1500)하고, 이미지를 촬영(SB1600)할 수 있다.
여기서, 도 11의 SB1200, SB1500 및 SB1600은 도5에서의 SA1200, SA1500, SA1800과 유사하게 수행될 수 있기 때문에, 중복된 설명은 생략하기로 한다.
도 12를 참조하면, 사용자 단말(100)은 제1 가이드(G1), 제2 가이드(G2), 제3 가이드(G3), 제1 기준 가이드(RG1) 및 제2 기준 가이드(RG2)를 디스플레이를 통해 제공할 수 있다. 제1 가이드(G1), 제2 가이드(G2) 및 제3 가이드(G3)에 대해서는 도 6을 설명하면서 서술한 바 있고, 제1 기준 가이드(RG1) 및 제2 기준 가이드(RG2)에 대해서는 도 9를 설명하면서 서술한 바 있어 구체적인 설명은 생략하기로 한다.
제1 기준 가이드(RG1) 및 제2 기준 가이드(RG2)는 도 9에 도시된 바와 같이 평행한 가로 선으로 표시될 수 있지만, 기준 가이드 지표에 대응되는 위치를 점 가이드로 나타내도록 표시될 수 있다.
다시, 도 11을 참조하면, 사용자 단말(100)은 촬영 가이드 및 기준 가이드(RG)가 제공된 상태에서 프리뷰 이미지를 획득하고, 획득된 프리뷰 이미지에 대한 복수의 지표를 추출(SB1300)할 수 있다.
사용자 단말(100)은 기준 가이드(RG)에 관련된 복수의 지표를 프리뷰 이미지로부터 추출할 수 있다. 사용자 단말(100)은 기준 가이드 지표에 관련된 복수의 지표를 프리뷰 이미지로부터 추출할 수 있다.
여기서, 기준 가이드(RG)에 관련된 복수의 지표는, 기준 가이드(RG) 및/또는 기준 가이드 지표에 대응하는 동일한 신체 부위에 관한 위치 정보이거나, 유사한 신체 부위에 관한 위치정보일 수 있다. 구체적인 예를 들어, 기준 가이드(RG)가 코끝의 위치 정보에 기초하여 생성되었다면, 기준 가이드(RG)에 관련된 복수의 지표는 코끝의 위치 정보로 추출될 수 있다. 다른 구체적인 예를 들어, 기준 가이드(RG)가 눈의 위치 정보에 기초하여 생성되었다면, 기준 가이드(RG)에 관련된 복수의 지표는 동공의 위치 정보로 추출될 수 있다.
사용자 단말(100)은 촬영 가이드에 대응되는 적어도 하나 이상의 복수의 지표를 추출하고, 기준 가이드(RG)에 대응되는 모든 복수의 지표를 추출할 수 있다. 도 12을 참조하여 구체적으로 설명하면, 사용자 단말(100)은 제1 가이드(G1) 및 제2 가이드(G2)에 대응되는 양 눈을 검출하여 복수의 지표를 추출하고, 제1 기준 가이드(RG1) 및 제2 기준 가이드(RG2)에 대응되는 코끝 및 턱끝을 검출하여 복수의 지표를 추출할 수 있다.
사용자 단말(100)은 추출된 지표가 적정 위치에 있는지 판단(SB1400)할 수 있다. 단말 제어부(150)는 단말 저장부(130)에 저장된 촬영 조건을 참조하여 추출된 지표가 프리뷰 이미지 상의 적정 위치에 있는지 평가할 수 있다. 다시 말해, 단말 제어부(150)는 추출된 지표가 기준을 만족하였는지 여부를 확인할 수 있다.
촬영 가이드에 관련된 추출된 지표가 적정 위치에 있는지를 판단하는 방법은, 도 5를 통해 이미 설명한바 있어 구체적인 설명은 생략한다.
몇몇 실시예에 따르면, 사용자 단말(100)은 기준 가이드(RG)에 관련된 추출된 지표와 기준 가이드(RG)의 위치를 비교할 수 있다. 예를 들어, 사용자 단말(100)이 기준 가이드(RG)에 관련된 추출된 지표의 픽셀의 좌표값을 획득한 경우, 획득된 좌표값과 기준 가이드(RG)의 좌표값이 기준 거리 이내로 이격되어 있는지를 평가할 수 있다. 또는, 몇몇 실시예에 따르면, 사용자 단말(100)은 추출된 지표 사이의 거리를 기준 가이드 지표 사이의 거리와 비교할 수 있다. 예를 들어, 사용자 단말(100)이 복수의 지표로 코끝 좌표와 턱끝 좌표를 획득한 경우 두 점사이의 이격 거리를 산출하고, 획득된 이격 거리가 기준 가이드 지표 사이의 이격 거리와 일정 범위 이내로 차이나는지를 평가할 수 있다. 사용자 단말(100)은 SB1400에 따라 복수의 지표들의 위치가 기준을 만족한 것으로 판단되고, SB1500에 따라 얼굴의 좌우 회전 각도가 기준을 만족한 것으로 판단되면, 이미지를 촬영(SB1600)할 수 있다. 이 경우, 얼굴의 상하 회전 각도에 대해서 따로 분석하지 않더라도, 그에 상응하는 효과를 얻을 수 있다.
사용자 단말(100)은 촬영 가이드 및 기준 가이드(RG)를 제공한 상태에서 프리뷰 이미지를 획득할 수 있다. 획득된 프리뷰 이미지를 분석하여 이미지를 촬영하거나 추가 가이드를 제공할 수 있다.
도 13(a)를 참조하면, 대상의 얼굴이 아래를 바라보고 있기 때문에, 프리뷰 이미지에서 추출된 코끝과 턱끝 사이의 거리는 제1 기준 가이드(RG1) 및 제2 기준 가이드(RG2) 사이의 거리에 비해 짧다. 프리뷰 이미지에서의 코끝의 위치 정보가 제1 기준 가이드(RG1)에 대응되지만, 프리뷰 이미지에서의 턱끝의 위치 정보가 제2 기준 가이드(RG2)에 대응되지 않는다.
사용자 단말(100)은 프리뷰 이미지의 얼굴의 상하 회전 각도가 제3 기준치를 만족하지 못했기 때문에, 제3 기준치를 만족시키기 위해 사용자가 행해야 하는 동작을 디스플레이를 통해 제공할 수 있다. 일 예로, 제공되는 추가 촬영 가이드는 "얼굴을 위쪽으로 회전해 코와 턱끝을 가이드에 맞춰주세요"일 수 있다.
도 13(b)를 참조하면, 대상의 얼굴이 정면을 바라보고 있기 때문에, 프리뷰 이미지에서 추출된 코끝과 턱끝 사이의 거리는 제1 기준 가이드(RG1) 및 제2 기준 가이드(RG2) 사이의 거리와 동일하다. 프리뷰 이미지에서의 코끝의 위치 정보가 제1 기준 가이드(RG1)에 대응되고, 프리뷰 이미지에서의 턱끝의 위치 정보가 제2 기준 가이드(RG2)가 대응된다.
사용자 단말(100)은 프리뷰 이미지의 얼굴의 상하 회전 각도가 제3 기준치를 만족했기 때문에, 사용자에게 선택적으로 정보를 제공할 수 있다. 일 예로, 사용자 단말(100)은 자동 촬영을 수행하면서, 디스플레이를 통해 "자동촬영 됩니다"를 제공할 수 있다.
일 실시예에 따르면, 전술한 사용자 단말(100)의 동작은 안병증 관리 서버(200)에 의해 수행될 수 있다. 사용자 단말(100)은 사용자와의 관계에서 데이터를 입력받고 제공하는 인터페이스로 동작할 수 있다. 사용자 단말(100)과 안병증 관리 서버(200)는 실시간으로 연동되고 안병증 관리 서버(200)의 주체적인 동작에 따라 사용자 단말(100)은 적절한 기준 가이드(RG)를 제공하고 촬영 이미지를 획득하여 안병증 관리 서버(200)로 전송하는 역할을 수행할 수 있다.
(3) 이미지 획득 방법 - 제3 실시예
갑상선 안병증 관리 시스템(10)은 건강 관리를 위해 갑상선 안병증의 가능성을 예측하는 동작을 수행할 수 있고, 갑상선 안병증으로 인한 돌출도를 모니터링하는 동작을 수행할 수 있다. 특히, 갑상선 안병증 관리 시스템(10)이 갑상선 안병증의 치료제를 개발하는 제약회사의 임상 진행시에 이용되는 경우, 복약에 따른 '치료 경과'를 자료로 남길 필요성이 있기 때문에 갑상선 안병증을 예측하는 동작과 돌출도를 모니터링하는 동작이 병행되는 것이 좋다.
다만, 갑상선 안병증의 돌출 정도를 육안으로 또는 이미지 분석으로 확인하기 위해서는 얼굴의 측면 이미지(SI)가 획득되어야 하는데, 얼굴의 측면 이미지(SI)를 개인이 의료진의 도움없이 정확하게 촬영하는 것은 쉽지않은 일이다. 특히, 종래에는 얼굴의 돌출도 분석하기 위해, 얼굴의 아래에서 위 방향으로 카메라를 촬영하는 형태로 이미지를 획득하곤 했는데, 이는 일관성있는 이미지의 촬영이 불가능하였고, 나아가, 환자들이 얼굴의 아래에서 위 방향으로 촬영한 사진을 기록으로 남기고 싶어하지 않았기 때문에 상용화 및 서비스 적용에 어려움이 있었다.
아래에서는, 얼굴의 정면 및 측면 이미지(SI)를 획득하는 이미지 획득 방법에 대해서 구체적으로 개시한다.
도 14는 일 실시예에 따른 이미지 획득 방법을 설명하기 위한 도면이다.
본 실시예는 정면 이미지(FI)를 먼저 획득하고, 그에 따라 파노라마 가이드를 생성하여 제공하여, 파노라마 가이드를 기초로 모니터링된 상태에서 측면 이미지(SI)를 획득하는 방법이다.
또한, 본 실시예는 얼굴의 정면 이미지(FI)를 촬영할 때에 생성된 파노라마 가이드에 따라 사용자 단말(100)을 움직이도록 유도되는 것을 설명한다. 이경우, 얼굴의 정면 이미지(FI)를 촬영할 때의 사용자 단말(100)과 얼굴 사이의 거리가 얼굴의 측면 이미지(SI)를 촬영할 때에도 유지될 수 있어, 돌출도를 분석할 때 정면 이미지(FI)에서의 홍채 크기를 활용할 수 있다는 것이 큰 이점이다. 이로써, 측면 이미지(SI)를 분석하여 안구의 돌출도를 예측하는 것이 가능해진다.
도 15는 일 실시예에 따른 이미지 획득 방법을 설명하기 위한 도면이다.
사용자 단말(100)은 정면 이미지(FI)를 획득(SC1100)할 수 있다. 일 예로, 정면 이미지(FI)는 제1 실시예에 따른 이미지 획득 방법에 의해 촬영될 수 있다.
정면 이미지(FI)는 제1 촬영 조건을 만족하도록 가이드된 상태에서 획득될 수 있다. 일 예로, 제1 촬영 조건을 만족하는 것은, 대상의 양눈이 제1 촬영 이미지의 정해진 영역에 배치되는 것일 수 있다. 다른 예로, 제1 촬영 조건을 만족하는 것은, 대상의 양눈이 제1 촬영 이미지의 정해진 영역에 배치되는 것 및 대상의 얼굴의 좌우 회전각도가 기 설정된 제1 기준치를 초과하지 않는 것일 수 있다. 또 다른 예로, 제1 촬영 조건을 만족하는 것은, 대상의 양눈이 제1 촬영 이미지의 정해진 영역에 배치되는 것, 대상의 얼굴의 좌우 회전각도가 기 설정된 제1 기준치를 초과하지 않는 것 및 대상의 얼굴 표정 정보에 기초하여 상기 대상의 미소 수준이 기 설정된 제2 기준치를 초과하지 않는 것일 수 있다. 또 다른 예로, 제1 촬영 조건을 만족하는 것은, 대상의 양눈이 제1 촬영 이미지의 정해진 영역에 배치되는 것, 대상의 얼굴의 좌우 회전각도가 기 설정된 제1 기준치를 초과하지 않는 것, 대상의 얼굴 표정 정보에 기초하여 상기 대상의 미소 수준이 기 설정된 제2 기준치를 초과하지 않는 것 및 대상의 얼굴의 상하 회전각도가 기 설정된 제3 기준치를 초과하지 않는 것일 수 있다. 또 다른 예로, 제1 촬영 조건을 만족하는 것은, 대상의 양눈이 제1 촬영 이미지의 정해진 영역에 배치되는 것, 대상의 얼굴의 좌우 회전각도가 기 설정된 제1 기준치를 초과하지 않는 것, 대상의 얼굴 표정 정보에 기초하여 상기 대상의 미소 수준이 기 설정된 제2 기준치를 초과하지 않는 것, 대상의 얼굴의 상하 회전각도가 기 설정된 제3 기준치를 초과하지 않는 것, 및 주변 밝기가 제4 기준치를 초과하지 않는 것일 수 있다.
사용자 단말(100)은 정면 이미지(FI)가 획득되면, 파노라마 가이드를 제공(SB1200)할 수 있다. 사용자 단말(100)에서 정면 이미지(FI)가 획득된 후 제공되는 파노라마 가이드는, 정면 이미지(FI)를 기초로 생성된 것일 수 있다.
파노라마 가이드는 정면 이미지(FI)에서 추출된 정보를 기초로 생성된 것일 수 있다. 일 실시예에 따르면, 사용자 단말(100)은 정면 이미지(FI)에서 추출된 제1 지점 및 제2 지점의 위치 정보를 기초로 파노라마 가이드를 생성하여 제공할 수 있다.
사용자 단말(100)은 파노라마 가이드 지표를 추출(SC1210)할 수 있다. 파노라마 가이드 지표는 얼굴의 정면 이미지(FI)에서 나타날 수 있는 신체 부위이면서, 얼굴의 측면 이미지(SI)에서도 나타날 수 있는 신체부위이다. 파노라마 가이드 지표는 얼굴의 정면을 기준으로 세로 방향으로 이격된 적어도 두 지점에 관련된다.
파노라마 가이드 지표는 코끝에 상응하는 위치 정보 및 눈에 상응하는 위치 정보일 수 있다. 또는, 파노라마 가이드 지표는 턱끝에 상응하는 위치 정보 및 눈에 상응하는 위치 정보일 수 있다. 다만, 얼굴의 왼쪽 측면 이미지(SI)를 촬영하는 경우에는 오른쪽 눈이, 얼굴의 오른쪽 측면 이미지(SI)를 촬영하는 경우에는 왼쪽 눈이 검출되지 않게되는 변화가 생기기 때문에, 파노라마 가이드 지표는 눈을 포함하지 않는 것이 바람직할 수 있다.
파노라마 가이드 지표는 코끝에 상응하는 위치 정보 및 입술에 상응하는 위치 정보일 수 있다. 또는, 기준 가이드 지표는 턱끝에 상응하는 위치 정보 및 입술에 상응하는 위치 정보일 수 있다. 파노라마 가이드 지표에 관련된 신체 부위는 측면 이미지(SI)를 획득할 때까지 촬영 조건으로 모니터링되는 바, 파노라마 가이드 지표는 입술과 같이 움직임이 큰 부위에 관련되지 않은 신체 부위로 설정되는 것이 상대적으로 바람직하다.
파노라마 가이드 지표는, 코끝에 상응하는 위치 정보 및 턱끝에 상응하는 위치 정보일 수 있다. 다만, 이에 한정되지 않고, 파노라마 가이드 지표는 얼굴의 정면 및 측면에서 나타날 수 있는 신체 부위이며, 적어도 둘 이상의 지점을 포함하는 것으로 선택될 수 있다.
사용자 단말(100)은 추출된 파노라마 가이드 지표를 기초로, 파노라마 가이드를 생성(S1220)할 수 있다. 파노라마 가이드는 정면 이미지(FI)에서 추출된 파노라마 가이드 지표에 대응되는 지점을 디스플레이 상에 점으로 표시하는 형태일 수 있다. 일 예로, 파노라마 가이드는 정면 이미지(FI)에서 추출된 파노라마 가이드 지표에 대응되는 지점을 지나는 선의 형태나, 위치를 표시하기 위한 인디케이터 등을 통해 제공될 수 있다.
일 실시예에 따르면, 사용자 단말(100)이 파노라마 가이드를 제공하는 경우, 제1 파노라마 가이드 지표에 상응하는 지점을 지나면서 디스플레이의 가로 방향으로 연장된 제1 파노라마 가이드 및 제2 파노라마 가이드 지표에 상응하는 지점을 지나면서 디스플레이의 가로 방향으로 연장된 제2 파노라마 가이드를 포함하는 형태일 수 있다.
사용자 단말(100)은 생성된 파노라마 가이드를 디스플레이를 통해 제공(SC1230)할 수 있다. 사용자 단말(100)은 파노라마 가이드가 디스플레이를 통해 제공된 상태에서, 파노라마 가이드를 모니터링(SC1300)할 수 있다.
구체적으로, 사용자 단말(100)은 프리뷰 이미지에서 복수의 지표를 추출(SC1310)할 수 있다. 여기서, 복수의 지표는 S1210의 파노라마 가이드 지표와 대응되는 지표일 수 있다. 여기서, 복수의 지표는, 파노라마 가이드 및/또는 파노라마 가이드 지표에 대응하는 동일한 신체 부위에 관한 위치 정보이거나, 유사한 신체 부위에 관한 위치정보일 수 있다. 구체적인 예를 들어, 파노라마 가이드가 코끝의 위치 정보에 기초하여 생성되었다면, 복수의 지표는 코끝의 위치 정보로 추출될 수 있다. 다른 구체적인 예를 들어, 파노라마 가이드가 눈의 위치 정보에 기초하여 생성되었다면, 복수의 지표는 동공의 위치 정보로 추출될 수 있다.
몇몇 실시예에 따르면, 사용자 단말(100)은 파노라마 가이드를 모니터링(SC1300)할 때에, 정면 이미지(FI)를 획득할 때에 촬영 조건으로 고려되었던 여러 평가 지표들의 만족 여부를 평가하지 않을 수 있다. 일 예로, 정면 사진을 촬영할 때에는 양쪽 눈의 위치를 모니터링 하였다고 하더라도, 파노라마 가이드를 모니터링하면서 사용자 단말(100)을 이동시킬 때에는 양쪽 눈의 위치를 모니터링하지 않을 수 있다.
몇몇 실시예에 따르면, 사용자 단말(100)은 파노라마 가이드를 모니터링(SC1300)할 때에, 프리뷰 이미지에서의 대상의 얼굴의 상하 회전 각도를 계속 평가할 수 있다. 이 경우, 얼굴의 상하 회전 각도에 따라 대상의 코끝과 턱끝 사이의 이격 거리가 짧아지는 등의 변수를 차단할 수 있어 대상과 사용자 단말(100)사이의 거리를 일정하게 모니터링하는 것의 정확도가 더욱 향상된다.
사용자 단말(100)은 추출된 지표가 적정 위치에 있는지 판단(SC1320)할 수 있다. 사용자 단말(100)은 사용자 단말 이동 가이드를 제공(SC1330)할 수 있다.
사용자 단말(100)은 파노라마 가이드에 대응되는 프리뷰 이미지가 획득되도록 사용자 단말(100)의 이동을 가이드 할 수 있다.
사용자 단말(100)은 추출된 지표가 적정 위치에 있는지 판단(SC1320)할 수 있다.
몇몇 실시예에 따르면, 사용자 단말(100)은 SC1320단계에서 추출된 지표와 파노라마 가이드의 위치를 비교할 수 있다. 예를 들어, 사용자 단말(100)이 SC1320단계에서 복수의 지표의 좌표값을 획득한 경우, 획득된 좌표값과 그에 대응되는 파노라마 가이드의 좌표값이 기준 거리 이내로 이격되어 있는지를 평가할 수 있다.
구체적인 예를 들어, 사용자 단말(100)은 얼굴의 코끝 및 턱끝의 위치 정보를 파노라마 가이드 지표로 추출할 수 있다. 사용자 단말(100)은 파노라마 가이드 지표를 이용하여 생성된 파노라마 가이드를 제공하면서, 파노라마 가이드에 대응되는 사용자 단말(100)의 이동이 수행되고 있는지 모니터링할 수 있다. 사용자 단말(100)은 프리뷰 이미지에 대하여, 얼굴의 코끝 및 턱끝에 대응되는 위치를 추출할 수 있고, 추출된 코끝 및 턱끝의 위치를 파노라마 가이드 지표와 일대일 대응시켜 정해진 오차 범위 미만의 차이를 가지도록 모니터링 할 수 있다.
사용자 단말(100)은, 사용자 단말(100)과 얼굴 사이의 위치를 조정하는 가이드를 출력할 수 있다. 구체적으로, 프리뷰 이미지에서 추출된 제1 지점(예를 들어, 턱끝)이 정면 이미지(FI)에서 추출된 제1 지점에 비해 제5 기준치를 초과할만큼 이동된 것으로 판단되면, 사용자 단말(100)은 사용자 단말(100)을 얼굴에 비하여 위쪽 또는 아래쪽으로 이동시키라는 가이드를 출력할 수 있다. 또한, 프리뷰 이미지에서 추출된 제2 지점(예를 들어, 코끝)이 정면 이미지(FI)에서 추출된 제2 지점에 비해 제6 기준치를 초과할만큼 이동된 것으로 판단되면, 사용자 단말(100)은 사용자 단말(100)을 얼굴에 비하여 위쪽 또는 아래쪽으로 이동시키라는 가이드를 출력할 수 있다.
또는, 몇몇 실시예에 따르면, 사용자 단말(100)은 SC1320단계에서 추출된 지표 사이의 이격 거리를 기준 가이드 지표 사이의 이격 거리와 비교할 수 있다. 예를 들어, 사용자 단말(100)이 SC1320단계에서 복수의 지표의 코끝 좌표와 턱끝 좌표를 획득한 경우 두 점사이의 이격 거리를 산출하고, 획득된 이격 거리가 파노라마 가이드 지표 사이의 최초 이격 거리와 일정 범위 이내로 차이나는지를 평가할 수 있다.
구체적인 예를 들어, 사용자 단말(100)은 얼굴의 코끝 및 턱끝의 위치를 파노라마 가이드 지표로 추출할 수 있다. 사용자 단말(100)은 파노라마 가이드 지표를 이용하여 생성된 파노라마 가이드를 제공하면서, 파노라마 가이드에 따른 촬영이 수행되고 있는지 모니터링할 수 있다. 사용자 단말(100)은 프리뷰 이미지에 대하여, 얼굴의 코끝 및 턱끝의 위치를 추출하여 이격 거리를 계산하고, 파노라마 가이드 지표 사이의 최초 이격거리와 정해진 오차 범위 미만의 차이를 가지도록 모니터링 할 수 있다.
사용자 단말(100)은, 정해진 오차범위를 벗어난 것으로 판단되면, 사용자 단말(100)과 얼굴 사이의 거리를 조정하는 가이드를 출력할 수 있다. 구체적으로, 프리뷰 이미지에서 추출된 제1 지점(예를 들어, 턱끝) 및 제2 지점(예를 들어, 코끝) 사이의 세로 방향의 이격 거리가 최초 이격 거리(즉, 정면 이미지(FI)에서의 제1 및 제2 지점에 상응하는 위치)에 비해 정해진 오차범위를 초과할만큼 큰 것으로 판단되면, 사용자 단말(100)은 사용자 단말(100)을 얼굴로부터 멀어지게 이동시키라는 가이드를 출력할 수 있다. 반대로, 프리뷰 이미지에서 추출된 제1 지점 및 제2 지점 사이의 세로 방향의 이격 거리가 최초 이격 거리에 비해 정해진 오차범위를 초과할만큼 작은 것으로 판단되면, 사용자 단말(100)은 사용자 단말(100)을 얼굴에 가까워지게 이동시키라는 가이드를 출력할 수 있다.
사용자 단말(100)은 측면 이미지(SI)를 획득(SC1400)할 수 있다. 사용자 단말(100)은 제2 촬영 조건을 만족하도록 가이드된 상태에서 측면 이미지(SI)를 획득(SC1400)할 수 있다.
파노라마 가이드 모니터링이 수행되는 환경에서, 사용자 단말(100)이 얼굴의 측면 이미지(SI)를 획득하는 위치로 이동되면 사용자 단말(100)은 측면 이미지(SI)를 획득(SC1400)할 수 있다.
제2 촬영 조건을 만족하는 것은, 얼굴의 측면임을 인식할 수 있는 지표를 기초로 판단될 수 있다. 또한, 제2 촬영 조건을 만족하는 것은 파노라마 가이드 모니터링을 수행할 때의 기준을 만족하는 것으로 판단될 수 있다.
예를 들어, 제2 촬영 조건을 만족하는 것은, 제2 촬영 이미지에서 추출된 제1 지점 및 제2 지점 사이의 세로방향으로의 이격 거리가 최초 이격 거리를 기준으로 정해진 오차범위 미만의 차이를 가지는 것일 수 있다. 제2 촬영 조건을 만족하는 것은, 제2 촬영 이미지에서 추출된 제1 지점 및 제2 지점 사이의 세로방향으로의 이격 거리가 최초 이격 거리를 기준으로 정해진 오차범위 미만의 차이를 가지는 것 및 대상의 귀가 제2 촬영 이미지의 정해진 영역에 배치되는 것을 포함할 수 있다. 제2 촬영 조건을 만족하는 것은, 제2 촬영 이미지에서 추출된 제1 지점 및 제2 지점 사이의 세로방향으로의 이격 거리가 최초 이격 거리를 기준으로 정해진 오차범위 미만의 차이를 가지는 것 및 상기 대상의 한 눈이 제2 촬영 이미지에서 검출되지 않는 것을 포함할 수 있다.
도 16은 일 실시예에 따른 정면 이미지 및 측면 이미지를 도시한 도면이다.
본 실시예에 따른 이미지 획득 방법에 따라 획득된 정면 이미지(FI)의 기준 이격 거리(RSD)는 측면 이미지(SI)의 측면 이격 거리(SSD)와 유사한 값을 가진다. 즉, 사용자 단말(100)과 대상 사이의 거리가 정면 이미지(FI) 촬영 시점 및 측면 이미지(SI) 촬영 시점에 일정하게 유지된 상태로 정면 및 측면 이미지(SI)가 획득될 수 있다.
아래에서 설명할 안구 돌출도 분석 방법을 수행하기 위해서는, 실제 거리를 예상할 수 있는 수단이 필요하다. 사람들의 홍채의 지름은 거의 유사한 것으로 밝혀져 있는바, 본 실시예에 따라 정면 및 측면 이미지(SI)를 획득하는 경우에는, 정면 이미지(FI)에서 획득된 홍채의 지름을 기 저장된 길이로 가정하고, 안구 돌출의 정도를 예측할 수 있어, 별도의 절대값 획득 수단 없이 안구 돌출도를 예상할 수 있는 장점이 있다.
도 14 내지 16에서 설명한 이미지 획득 방법은, 얼굴의 오른쪽 측면 이미지(SI)를 획득하기 위해 수행될 수 있고, 얼굴의 왼쪽 측면 이미지(SI)를 획득하기 위해 수행될 수 있으며, 얼굴의 왼쪽 및 오른쪽 측면 이미지(SI)를 획득하기 위해 2번 수행될 수 있다.
전술한 이미지 획득 방법을 통해, 얼굴의 정면 이미지(FI) 및 얼굴의 측면 이미지(SI)가 획득될 수 있다. 또는, 전술한 이미지 획득 방법을 통해, 얼굴의 정면 이미지(FI)에 대응되는 프레임, 얼굴의 측면 이미지(SI)에 대응되는 프레임을 포함하는 동영상 이미지가 획득될 수 있다. 이 때, 동영상 이미지는 얼굴의 정면 이미지(FI)가 획득되는 시점부터 얼굴의 측면 이미지(SI)가 획득되는 시점까지 연속적으로 촬영된 동영상 이미지일 수 있다. 또는, 전술한 이미지 획득 방법을 통해, 얼굴의 정면 이미지(FI) 및 얼굴의 측면 이미지(SI)가 포함되도록 편집된 파노라마 이미지가 획득될 수 있다.
일 실시예에 따르면, 전술한 사용자 단말(100)의 동작은 안병증 관리 서버(200)에 의해 수행될 수 있다. 사용자 단말(100)은 사용자와의 관계에서 데이터를 입력받고 제공하는 인터페이스로 동작할 수 있다. 사용자 단말(100)과 안병증 관리 서버(200)는 실시간으로 연동되고 안병증 관리 서버(200)의 주체적인 동작에 따라 사용자 단말(100)은 적절한 파노라마 가이드를 제공하고, 정면 및 측면 이미지(SI)를 획득하여 안병증 관리 서버(200)로 전송하는 역할을 수행할 수 있다.
3. 안병증 관리 시스템의 동작 - 이미지 분석 방법
(1) 이미지 분석 방법 - 제1 실시예
도 17은 일 실시예에 따른 갑상선 안병증 예측 방법에 관한 순서도이다.
사용자 단말(100)에서 획득된 이미지는 안병증 관리 서버(200)로 전송될 수 있다.
안병증 관리 서버(200)는 수신된 이미지를 이용하여 이미지 분석을 수행할 수 있다(SA2100). 이미지 분석을 통해 획득되는 값은, 수신된 이미지의 대상인 사람이 결막 충혈, 결막 부종, 눈꺼풀 발적, 눈꺼풀 부종 및 눈물언덕 부종에 대한 증상이 있는지에 관한 예측값일 수 있다. 일 예로, 안병증 관리 서버(200)는 이미지에 대상의 얼굴 이미지가 포함되어 있는 경우, 얼굴 이미지를 분석하여 결막 충혈이 있는 것으로 예상되는지, 결막 부종이 있는 것으로 예상되는지, 눈꺼풀 발적이 있는 것으로 예상되는지, 눈꺼풀 부종이 있는 것으로 예상되는지, 및/또는 눈물언덕 부종이 있는 것으로 예상되는지에 대한 정보를 획득할 수 있다.
결막 충혈, 결막 부종, 눈꺼풀 발적, 눈꺼풀 부종 및 눈물언덕 부종 중 적어도 하나의 예측값은 인공지능 모델을 통해 획득될 수 있다. 몇몇 실시예에 따르면, 안병증 관리 서버(200)는 적어도 5개의 인공지능 모델을 이용하여 예측값을 획득하고, 각 인공지능 모델은 결막 충혈, 결막 부종, 눈꺼풀 발적, 눈꺼풀 부종 또는 눈물언덕 부종의 예측값을 출력하도록 학습될 수 있다. 이 때, 인공지능 모델의 입력으로 이용되는 이미지는 얼굴 이미지에 크롭, 마스킹, 반전, 및/또는 리사이징 등을 이용하여 전처리된 이미지일 수 있다.
사용자 단말(100)에서 사용자 응답을 안병증 관리 서버(200)로 전송할 수 있다. 사용자 단말(100)은 입/출력 모듈(140)을 통해 구후부의 자발적인 통증이 있는지, 눈을 움직일때의 통증이 있는지에 대한 각각의 사용자 응답을 획득하기 위한 사용자 인터페이스를 출력할 수 있다. 안병증 관리 서버(200)는 수신된 사용자 응답에 기초하여 구후부의 자발적인 통증 및 눈을 움직일 때의 통증에 대한 예측값을 획득할 수 있다.
안병증 관리 서버(200)는 이미지 분석(SA2100)을 통해 획득한 예측값과, 사용자 응답(SA2200)을 통해 획득한 예측값을 이용하여 안병증 예측 스코어를 계산(SA2300)할 수 있다. 여기서, 안병증 예측 스코어라 함은, 임상활동점수를 안병증 관리 시스템의 이미지 분석 등의 기법으로 예측한 값으로, 결막 충혈, 결막 부종, 눈꺼풀 발적, 눈꺼풀 부종, 눈물언덕 부종, 구부후의 자발적인 통증 및 눈을 움직일 때의 통증 유무를 각각 1점으로 예상하여 산출한 것일 수 있다.
안병증 관리 서버(200)은 안병증 예측 스코어가 기준치 이상인 경우 사용자에 내원을 안내(SA2400)할 수 있다. 서버(200)는 사용자에게 내원을 안내하기 위해 사용자 단말(100)에 안병증 예측 스코어를 제공할 수 있다. 서버(200)은 사용자 단말(100)에서 안병증 예측 스코어 및/또는 내원 안내를 출력할 수 있도록, 필요한 데이터를 전송할 수 있다.
사용자 단말(100)은 환자가 병원에 가서 치료를 받도록 권유하는 메시지를 출력할 수 있다. 사용자 단말(100)은 환자가 갑상선 안병증 치료에 이용되는 약물을 복용하도록 권유할 수 있다. 이에, 한정되지 않고 사용자 단말(100)은 환자가 갑상선 안병증을 치료하는데에 필요한 절차를 수행하도록 가이드할 수 있다.
도 18은 일 실시예에 따른 사용자 단말의 설문 입력 인터페이스 및 확인 인터페이스를 포함하는 디스플레이 화면을 설명하기 위한 도면이다.
설문 입력 인터페이스(PII)는 구후부의 자발적인 통증이 있는지, 눈을 움직일때의 통증이 있는지에 대한 각각의 사용자 응답을 획득하기 위한 인터페이스일 수 있다. 일 예로, "눈 뒤쪽에서 앞으로 미는 듯한 통증이 느껴진다" 및 "눈을 위아래로 째려볼 때 뻐근함이 느껴진다"를 출력하고, 그 각각에 대한 사용자의 응답을 입력받기 위한 인터페이스가 사용자 단말(100)의 입/출력 모듈(140)을 통해 제공될 수 있다.
사용자 단말(100)을 통해 두 설문에 대한 사용자의 입력이 획득되고, "다음"이 눌러지면, 확인 인터페이스(CI)가 출력될 수 있다.
확인 인터페이스(CI)는 설문 입력 인터페이스(PII)에서 사용자가 선택한 사항들에 대해서 출력하고, 사용자가 의도한 입력과 일치하는지 확인하는 기능을 수행할 수 있다. 설문 입력 인터페이스(PI)에서 얻어지는 사용자의 응답은 안병증을 예측하는데에 이용되기 때문에 중요도가 높고, 이를 사용자에 한번 더 확인하여 정확도 높은 결과를 예측하기 위해 2-STEP의 입력 방식을 채택한 것이다.
같은 이유로, 설문 입력 인터페이스(PII)에서 "눈 뒤쪽에서 앞으로 미는 듯한 통증이 느껴진다" 및 "눈을 위아래로 째려볼 때 뻐근함이 느껴진다" 중 하나의 응답만 획득된 경우에는, "다음" 버튼을 눌러도 확인 인터페이스(CI)로 전환되지 않을 수 있다.
도 19은 일 실시예에 따른 갑상선 안병증 예측을 위한 지표를 설명하기 위한 도면이다.
다른 실시예에 따르면, 갑상선 안병증을 위한 내원을 안내하는 기준을 임상활동점수를 7점 기준으로 산출하여 3점 이상인지로 판단할 수 있지만, 본 실시예에서는, 갑상선 안병증을 위한 내원을 안내하는 기준을 임상활동점수를 10점 기준으로 산출하여 4점 이상인지로 판단하는 것을 설명한다.
이 때, 안병증 관리 서버(200)는 돌출도를 분석할 수 있고, 안구 운동 각도를 계산할 수 있으며, 예상 시력을 획득할 수 있다.
돌출도를 분석하는 방법은, 아래의 "이미지 분석 방법 - 제2 실시예"에서 구체적으로 설명하기로 한다.
안구 운동은 동영상 이미지를 분석하여 평가될 수 있다. 일 예로, 사용자의 정면 얼굴 이미지를 촬영하면서 사용자의 눈을 8방향으로 움직이도록 가이드를 주고, 최대로 이동한 위치를 기초로 안구 운동 각도를 획득할 수 있다. 안구 운동 각도는, 사람의 안구 및 홍채의 크기가 전반적으로 비슷하다는 학설로부터, 사람의 안구의 지름이나 사람의 홍채의 지름을 상수로 두고 예산치를 계산하는 형태로 산출될 수 있다. 구체적인 예를 들어, 안구의 지름은 24mm, 홍채의 지름은 11mm로 둘 수 있고, 또는 홍채의 지름을 인종, 성별, 나이에 따라 다르게 두고 안구 운동 각도를 계산할 수 있다.
예상 시력은 얼굴의 정면 이미지(FI)에서 획득된 홍채의 크기와 홍채의 절대적인 크기를 비교하여 얼굴과 사용자 단말(100) 사이의 거리를 예상하고, 사용자 단말(100)을 통해 출력한 글자를 사용자가 올바르게 답변하지 못한 경우의 크기를 예상된 얼굴과 사용자 단말(100)사이의 거리로 환산하여 시력을 예상할 수 있다.
또는, 근시, 원시 등의 요소를 배제하기 위해 사용자 단말(100) 및 얼굴 사이의 거리가 3m, 또는 5m 정도가 되도록 두고, 적정 크기의 글자를 디스플레이를 통해 출력하여 그에 대하여 올바르게 답변하였는지를 평가하여 예상 시력을 구할수 있다. 이 때에도, 사용자 단말(100) 및 얼굴 사이의 거리는 얼굴의 정면 이미지(FI)에서 획득된 홍채의 크기를 기준으로 산출될 수 있다.
(2) 이미지 분석 방법 - 제2 실시예
도 20은 일 실시예에 따른 얼굴의 측면 이미지를 분석하여 돌출도를 예측하는 방법을 설명하기 위한 도면이다.
안병증 관리 서버(200)는 정면 이미지(FI)에서 홍채 영역의 지름값을 획득(SB2310)할 수 있다. 일 예로, 안병증 관리 서버(200)는 얼굴의 정면 이미지(FI)를 랜드마크 추출을 통하여 홍채 영역의 지름에 대응되는 픽셀값을 획득할 수 있다. 다른 예로, 안병증 관리 서버(200)은 얼굴의 정면 이미지(FI) 및 세그먼테이션 모델을 이용하여 홍채 영역의 지름에 대응되는 픽셀값을 획득할 수 있다. 또 다른 예로, 안병증 관리 서버(200)는 얼굴의 정면 이미지(FI)를 홍채 영역의 지름값 예측 모델에 넣어, 대응되는 픽셀값 또는 지름의 예상값을 획득할 수 있다.
안병증 관리 서버(200)가 정면 이미지(FI)에서의 홍채 영역의 지름에 대응되는 픽셀값을 획득한 경우, 홍채 영역의 표준 크기에 기초하여 하나의 픽셀에 대응되는 실제 크기값을 계산하고 이를 저장할 수 있다.
안병증 관리 서버(200)는 측면 이미지(SI)에서 눈꼬리-각막 거리값을 획득(SB2320)할 수 있다. 일 예로, 안병증 관리 서버(200)는 정면 이미지(FI)를 세그멘테이션 모델을 이용하여 눈꼬리-각막의 거리에 대응되는 픽셀값을 획득할 수 있다. 다른 예로, 안병증 관리 서버(200)는 얼굴의 측면 이미지(SI)를 눈꼬리-각막의 거리 예측 모델에 넣어, 대응되는 픽셀값 또는 거리의 예상값을 획득할 수 있다.
안병증 관리 서버(200)는 안구의 돌출도를 예측(SB2330)할 수 있다. 안병증 관리 서버(200)는 획득된 눈꼬리-각막의 거리에 대응되는 픽셀값과, 홍채 영역의 표준 크기에 기초하여 산출된 하나의 픽셀의 실제 크기값을 고려하여, 안구의 돌출도를 예측할 수 있다.
도 21은 일 실시예에 따른 얼굴의 정면 이미지에서의 홍채 영역의 지름값 및 얼굴의 측면 이미지에서의 안구의 돌출 정도를 설명하기 위한 도면이다.
전술한 동작의 SB2310에서는, 얼굴의 정면 이미지(FI)에서의 홍채 영역의 지름값(ID)의 예상 길이를 산출할 수 있다. 전술한 동작의 SB2320에서는, 얼굴의 측면 이미지(SI)에서의 눈꼬리-각막 거리의 예상 길이를 산출할 수 있다.
안병증 관리 서버(200)는 사용자 단말(100)을 통해 얼굴의 측면 사진을 획득된 날짜(및/또는 시간)와 함께 제공할 수 있다. 안병증 관리 서버(200)는 사용자 단말(100)을 통해 사용자가 안구 돌출도의 변화를 확인할 수 있도록, 얼굴의 눈꼬리-각막 거리가 나타나도록 크롭된 이미지와 이미지가 획득된 날짜를 매핑하여 제공할 수 있다.
상기 실시예들에 따른 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 본 발명의 실시예들에서 사용될 수 있는 데이터 구조, 프로그램 명령, 혹은 데이터 파일은 컴퓨터로 읽을 수 있는 기록매체에 다양한 수단을 통하여 기록될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함할 수 있다. 컴퓨터로 읽을 수 있는 기록매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 컴퓨터로 읽을 수 있는 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 전송 매체일 수도 있다. 프로그램 명령의 예로는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상과 같이 본 출원의 실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 명세서에서 개시하는 기술적 사상이나 그 실시예가 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 출원의 범위(scope)는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 이의 균등 또는 등가적 변형 모두는 본 발명 기술적 사상의 범주에 속한다고 할 것이다.
전술한 바와 같이, 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.

Claims (17)

  1. 안구의 돌출도를 분석하기 위해 대상의 얼굴 이미지를 획득하는 방법에 있어서,
    제1 촬영 조건을 만족하도록 가이드된 상태에서 상기 대상의 얼굴의 정면 이미지를 획득함-상기 제1 촬영 조건을 만족하는 것은, 적어도 상기 대상의 양눈이 제1 촬영 이미지의 정해진 영역에 배치되는 것을 포함함-;
    상기 정면 이미지에서 추출된 제1 지점 및 제2 지점의 위치 정보를 기초로 파노라마 가이드를 형성함-상기 파노라마 가이드는 얼굴의 정면을 기준으로 가로 방향으로 형성되며, 상기 제1 지점 및 상기 제2 지점은 얼굴의 정면을 기준으로 세로 방향으로 이격되어 있음-;
    상기 파노라마 가이드에 대응되는 프리뷰 이미지가 획득되도록 촬영 장치의 이동을 가이드함-이 때, 상기 프리뷰 이미지에서 추출된 상기 제1 지점 및 상기 제2 지점 사이의 세로 방향의 이격 거리가 최초 이격 거리를 기준으로 정해진 오차범위 미만의 차이를 가지도록 모니터링함-; 및
    제2 촬영 조건을 만족하도록 가이드된 상태에서 상기 대상의 얼굴의 측면 이미지를 획득함-상기 제2 촬영 조건은, 상기 제2 촬영 이미지에서 추출된 상기 제1 지점 및 상기 제2 지점 사이의 세로방향으로의 이격 거리가 최초 이격 거리를 기준으로 정해진 오차범위 미만의 차이를 가짐-;을 포함하고,
    획득된 이미지가 안구의 돌출도를 계산하는데에 이용될 수 있도록, 상기 제1 촬영 이미지에는 상기 대상의 홍채 영역이 나타나있고, 상기 제2 촬영 이미지에는 상기 대상의 한 눈의 눈꼬리 및 각막이 나타나있는,
    이미지를 획득하는 방법.
  2. 제1 항에 있어서,
    상기 제1 촬영 조건을 만족하는 것은, 적어도 상기 대상의 얼굴의 좌우 회전각도가 기 설정된 제1 기준치를 초과하지 않는 것을 포함하는,
    이미지를 획득하는 방법.
  3. 제2 항에 있어서,
    상기 제1 촬영 조건을 만족하는 것은, 적어도 상기 대상의 얼굴 표정 정보에 기초하여 상기 대상의 미소 정도가 기 설정된 제2 기준치를 초과하지 않는 것을 포함하는,
    이미지를 획득하는 방법.
  4. 제3 항에 있어서,
    상기 제1 촬영 조건을 만족하는 것은, 적어도 상기 대상의 얼굴의 상하 회전각도가 기 설정된 제3 기준치를 초과하지 않는 것을 포함하는,
    이미지를 획득하는 방법.
  5. 제4 항에 있어서,
    상기 제1 촬영 조건을 만족하는 것은, 적어도 주변 밝기가 제4 기준치를 초과하지 않는 것을 포함하는,
    이미지를 획득하는 방법.
  6. 제1 항에 있어서,
    상기 제2 촬영 조건을 만족하는 것은, 적어도 상기 대상의 귀가 제2 촬영 이미지의 정해진 영역에 배치되는 것을 포함하는,
    이미지를 획득하는 방법.
  7. 제1 항에 있어서,
    상기 제1 지점은 코의 끝 점이고, 상기 제2 지점은 얼굴의 외곽선 중 턱측 끝점인,
    이미지를 획득하는 방법.
  8. 제1 항에 있어서,
    상기 파노라마 가이드에 대응되는 프리뷰 이미지가 획득되도록 촬영 장치의 이동을 가이드함은,
    기설정된 프레임 레이트에 따라 프리뷰 이미지를 획득함,
    획득된 프리뷰 이미지에서 추출된 상기 제1 지점 및 상기 제2 지점 사이의 세로 방향의 이격 거리가 최초 이격 거리를 기준으로 정해진 오차범위 미만의 차이를 가지는지 판단함,
    정해진 오차범위를 벗어난 것으로 판단되면, 촬영 장치와 얼굴 사이의 거리를 조정하는 가이드를 출력함을 포함하는,
    이미지를 획득하는 방법.
  9. 제8 항에 있어서,
    정해진 오차범위를 벗어난 것으로 판단되면, 촬영 장치와 얼굴 사이의 거리를 조정하는 가이드를 출력함은,
    획득된 프리뷰 이미지에서 추출된 상기 제1 지점 및 상기 제2 지점 사이의 세로 방향의 이격 거리가 최초 이격 거리에 비해 정해진 오차범위를 초과할만큼 큰 것으로 판단되면, 촬영 장치를 얼굴로부터 멀어지게 이동시키라는 가이드를 출력하고,
    획득된 프리뷰 이미지에서 추출된 상기 제1 지점 및 상기 제2 지점 사이의 세로 방향의 이격 거리가 최초 이격 거리에 비해 정해진 오차범위를 초과할만큼 작은 것으로 판단되면, 촬영 장치를 얼굴에 가까워지게 이동시키라는 가이드를 출력하는,
    이미지를 획득하는 방법.
  10. 제8 항에 있어서,
    상기 파노라마 가이드에 대응되는 프리뷰 이미지가 획득되도록 촬영 장치의 이동을 가이드함은,
    획득된 프리뷰 이미지에서 추출된 상기 제1 지점의 위치가 정면 이미지에서 추출된 제1 지점의 위치에 비해 제5 기준치 미만으로 이동되었는지 판단함,
    획득된 프리뷰 이미지에서 추출된 상기 제1 지점의 위치가 정면 이미지에서 추출된 제1 지점의 위치에 비해 제5 기준치를 초과할만큼 이동된 것으로 판단되면, 촬영 장치를 얼굴에 비하여 위쪽 또는 아래쪽으로 이동시키라는 가이드를 출력하는,
    이미지를 획득하는 방법.
  11. 제10 항에 있어서,
    파노라마 가이드에 대응되는 프리뷰 이미지가 획득되도록 촬영 장치의 이동을 가이드함은,
    획득된 프리뷰 이미지에서 추출된 상기 제2 지점의 위치가 정면 이미지에서 추출된 제2 지점의 위치에 비해 제6 기준치 미만으로 이동되었는지 판단함,
    획득된 프리뷰 이미지에서 추출된 상기 제2 지점의 위치가 정면 이미지에서 추출된 제2 지점의 위치에 비해 제6 기준치를 초과할만큼 이동된 것으로 판단되면, 촬영 장치를 얼굴에 비하여 위쪽 또는 아래쪽으로 이동시키라는 가이드를 출력하는,
    이미지를 획득하는 방법.
  12. 제1 항에 있어서,
    파노라마 가이드에 대응되는 프리뷰 이미지가 획득되도록 촬영 장치의 이동을 가이드할 때, 적어도 일부의 프리뷰 이미지는 제3 촬영 이미지로 획득되고,
    상기 제1 촬영 이미지, 상기 제2 촬영 이미지 및 상기 제3 촬영 이미지는 파노라마 이미지로 편집되어 저장되는,
    이미지를 획득하는 방법.
  13. 제1 항에 있어서,
    상기 제1 촬영 이미지가 획득되는 시점부터 상기 제2 촬영 이미지가 획득되는 시점까지 연속적으로 이미지를 획득하여 동영상 이미지가 저장되는,
    이미지를 획득하는 방법.
  14. 제1 항에 있어서,
    상기 제2 촬영 조건을 만족하는 것은, 적어도 상기 대상의 한 눈이 제2 촬영 이미지에서 검출되지 않는 것을 포함하는,
    이미지를 획득하는 방법.
  15. 제1 항에 따른 이미지 획득 방법을 수행하여 획득된 이미지의 분석 방법에 있어서,
    상기 제1 촬영 이미지에서 검출된 홍채 영역의 지름값을 획득함;
    상기 제2 촬영 이미지에서 검출된 눈꼬리와, 눈꼬리로부터 가장 먼곳에 위치하는 각막 사이의 거리값을 획득함;
    상기 거리값과 상기 지름값의 비율을 구하고, 상기 홍채 영역의 고유값을 반영하여 상기 거리값을 예측함으로써 상기 안구의 돌출도를 획득함;을 포함하는,
    이미지의 분석 방법.
  16. 하나 이상의 인스트럭션을 저장하는 비일시적 컴퓨터 판독 가능 매체로써, 상기 하나 이상의 인스트럭션은, 컴퓨팅 장치의 하나 이상의 프로세서들에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 제1 항 내지 제15 항 중 어느 하나의 항에 따른 방법을 수행하게 하는 비일시적 컴퓨터 판독 가능 매체.
  17. 안구의 돌출도를 분석하기 위해 대상의 얼굴 이미지를 획득하는 촬영 장치에 있어서,
    통신부;
    하나 이상의 인스트럭션을 저장하는 저장부; 및
    상기 저장부에 저장된 상기 하나 이상의 인스트럭션을 실행하는 제어부를 포함하고,
    상기 제어부는, 상기 하나 이상의 인스트럭션을 실행함으로써,
    제1 촬영 조건을 만족하도록 가이드된 상태에서 상기 대상의 얼굴의 정면 이미지를 획득하고
    상기 정면 이미지에서 추출된 제1 지점 및 제2 지점의 위치 정보를 기초로 파노라마 가이드를 형성하고,
    파노라마 가이드에 대응되는 프리뷰 이미지가 획득되도록 촬영 장치의 이동을 가이드하고,
    제2 촬영 조건을 만족하도록 가이드된 상태에서 상기 대상의 얼굴의 측면 이미지를 획득하고,
    상기 제1 촬영 조건은, 적어도 상기 대상의 양눈이 제1 촬영 이미지의 정해진 영역에 배치되는 것을 포함하고,
    상기 파노라마 가이드는 얼굴의 정면을 기준으로 가로 방향으로 형성되며, 제1 지점 및 상기 제2 지점은 얼굴의 정면을 기준으로 세로 방향으로 이격되어 있으며,
    상기 제2 촬영 조건은, 적어도 상기 제2 촬영 이미지에서 추출된 상기 제1 지점 및 상기 제2 지점 사이의 세로방향으로의 이격 거리가 최초 이격 거리를 기준으로 정해진 오차범위 미만의 차이를 가지는,
    촬영 장치.
PCT/KR2022/009259 2021-06-30 2022-06-28 안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체 WO2023277548A1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202280059360.1A CN117897778A (zh) 2021-06-30 2022-06-28 用于获取侧面图像以进行眼睛突出分析的方法、执行方法的图像捕获设备和记录介质
EP22773387.0A EP4134981A4 (en) 2021-06-30 2022-06-28 LATERAL IMAGE ACQUISITION METHOD FOR ANALYSIS OF EYE PROTRUSION, IMAGE CAPTURE DEVICE FOR IMPLEMENTATION AND RECORDING MEDIUM
JP2023580622A JP7521748B1 (ja) 2021-06-30 2022-06-28 眼球突出の度合いの分析のための側方画像を取得するための方法及び撮影デバイス、及びそのための記録媒体
US17/951,681 US11717160B2 (en) 2021-06-30 2022-09-23 Method and photographing device for acquiring side image for ocular proptosis degree analysis, and recording medium therefor
US18/209,604 US20230337913A1 (en) 2021-06-30 2023-06-14 Method and photographing device for acquiring side image for ocular proptosis degree analysis, and recording medium therefor
JP2024106746A JP2024138331A (ja) 2021-06-30 2024-07-02 眼球突出の度合いの分析のための側方画像を取得するための方法及び撮影デバイス、及びそのための記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0085542 2021-06-30
KR1020210085542A KR102379061B1 (ko) 2021-06-30 2021-06-30 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 장치
KR10-2022-0078867 2022-06-28
KR1020220078867A KR102477699B1 (ko) 2022-06-28 2022-06-28 안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/951,681 Continuation US11717160B2 (en) 2021-06-30 2022-09-23 Method and photographing device for acquiring side image for ocular proptosis degree analysis, and recording medium therefor

Publications (1)

Publication Number Publication Date
WO2023277548A1 true WO2023277548A1 (ko) 2023-01-05

Family

ID=84690454

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/009259 WO2023277548A1 (ko) 2021-06-30 2022-06-28 안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체

Country Status (3)

Country Link
US (2) US11717160B2 (ko)
JP (2) JP7521748B1 (ko)
WO (1) WO2023277548A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11864834B1 (en) * 2023-01-25 2024-01-09 SoliDDD Corp. Multi-tiled plenoptic system for the detection and correction of ocular defects and for improved foveated rendering

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108417A (ko) * 2013-02-27 2014-09-11 김민준 영상정보를 이용한 건강 진단 시스템
KR20150107565A (ko) * 2014-03-14 2015-09-23 삼성전자주식회사 건강 상태 정보를 제공하는 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP2018099174A (ja) * 2016-12-19 2018-06-28 国立大学法人静岡大学 瞳孔検出装置及び瞳孔検出方法
US20200297206A1 (en) * 2017-03-29 2020-09-24 Vivior Ag System for assessing a health condition of a user
KR20200133923A (ko) * 2019-05-21 2020-12-01 (의) 삼성의료재단 이동통신 단말기에서의 안면 인식을 이용한 관련 질환 모니터링 방법 및 시스템

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100289922A1 (en) * 2006-05-29 2010-11-18 Bit-Side Gmbh Method and system for processing data sets of image sensors, a corresponding computer program, and a corresponding computer-readable storage medium
KR101477182B1 (ko) 2007-06-01 2014-12-29 삼성전자주식회사 단말 및 그의 이미지 촬영 방법
KR102092571B1 (ko) 2013-01-04 2020-04-14 삼성전자 주식회사 카메라를 구비하는 장치의 인물 촬영장치 및 방법
KR102093647B1 (ko) 2013-02-22 2020-03-26 삼성전자 주식회사 카메라를 구비하는 장치의 이미지 촬영장치 및 방법
KR102036895B1 (ko) * 2013-04-23 2019-10-25 삼성전자주식회사 카메라 어셈블리 및 이를 이용한 영상획득방법
KR101569268B1 (ko) 2014-01-02 2015-11-13 아이리텍 잉크 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법
WO2015137788A1 (en) 2014-03-14 2015-09-17 Samsung Electronics Co., Ltd. Electronic apparatus for providing health status information, method of controlling the same, and computer-readable storage medium
JP6269377B2 (ja) 2014-07-31 2018-01-31 株式会社Ｊｖｃケンウッド 診断支援装置および診断支援方法
KR102491130B1 (ko) 2016-06-20 2023-01-19 매직 립, 인코포레이티드 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템
KR102047237B1 (ko) 2017-12-13 2019-12-02 (주)엔텔스 영상 데이터를 분석하는 인공 지능을 이용한 질병 진단 방법 및 진단 시스템
KR20190082149A (ko) 2017-12-29 2019-07-09 주식회사 피디젠 녹내장 발생 예측 방법
US10973406B2 (en) * 2018-03-06 2021-04-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer readable medium
US10580133B2 (en) 2018-05-30 2020-03-03 Viswesh Krishna Techniques for identifying blepharoptosis from an image
KR102531009B1 (ko) 2018-07-05 2023-05-16 십일번가 주식회사 가이드라인 기반 촬영 이미지를 이용한 이미지 검색 방법 및 이를 위한 장치
US10468142B1 (en) 2018-07-27 2019-11-05 University Of Miami Artificial intelligence-based system and methods for corneal diagnosis
JP2020034999A (ja) * 2018-08-27 2020-03-05 オリンパス株式会社 医用画像管理システム，医用画像取得装置，医用画像データファイルの取得方法
CN110909561A (zh) 2018-09-14 2020-03-24 虹软科技股份有限公司 眼睛状态检测系统及眼睛状态检测系统的操作方法
CN109543728A (zh) 2018-11-07 2019-03-29 湖北工业大学 一种基于迁移学习的甲状腺相关性眼病检测方法
FI3671536T3 (fi) 2018-12-20 2024-06-18 Optos Plc Patologioiden havaitseminen okulaarikuvissa
KR102216051B1 (ko) 2019-03-12 2021-02-15 연세대학교 원주산학협력단 안과 질환 모니터링 장치 및 방법
KR102058883B1 (ko) 2019-04-11 2019-12-24 주식회사 홍복 당뇨병 및 전조 증상을 진단하기 위해 홍채 영상 및 망막 영상을 인공지능으로 분석하는 방법
KR102295426B1 (ko) 2019-07-05 2021-08-30 순천향대학교 산학협력단 인공지능 기반의 안구질병 검출장치 및 방법
CN110246158B (zh) 2019-07-19 2021-10-22 上海交通大学医学院附属第九人民医院 眼疾检测装置、方法、电子终端、及存储介质
KR102250694B1 (ko) 2019-08-30 2021-05-11 서울대학교병원 안구 영상 내 혈관 분할을 이용한 자동 질환 판단 장치 및 그 방법
CN111839455A (zh) 2020-08-11 2020-10-30 上海鹰瞳医疗科技有限公司 甲状腺相关眼病的眼部体征识别方法及设备
KR102347551B1 (ko) 2021-04-29 2022-01-06 디몬나인 주식회사 얼굴 이미지 분석에 기반한 얼굴 상태 정보 제공 방법, 장치 및 시스템
KR102379061B1 (ko) 2021-06-30 2022-04-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108417A (ko) * 2013-02-27 2014-09-11 김민준 영상정보를 이용한 건강 진단 시스템
KR20150107565A (ko) * 2014-03-14 2015-09-23 삼성전자주식회사 건강 상태 정보를 제공하는 전자 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP2018099174A (ja) * 2016-12-19 2018-06-28 国立大学法人静岡大学 瞳孔検出装置及び瞳孔検出方法
US20200297206A1 (en) * 2017-03-29 2020-09-24 Vivior Ag System for assessing a health condition of a user
KR20200133923A (ko) * 2019-05-21 2020-12-01 (의) 삼성의료재단 이동통신 단말기에서의 안면 인식을 이용한 관련 질환 모니터링 방법 및 시스템

Also Published As

Publication number Publication date
US11717160B2 (en) 2023-08-08
JP2024138331A (ja) 2024-10-08
US20230012806A1 (en) 2023-01-19
JP7521748B1 (ja) 2024-07-24
US20230337913A1 (en) 2023-10-26
JP2024529273A (ja) 2024-08-06

Similar Documents

Publication Publication Date Title
WO2015142019A1 (en) Method and apparatus for preventing a collision between subjects
WO2020141729A1 (ko) 신체 측정 디바이스 및 그 제어 방법
WO2019216593A1 (en) Method and apparatus for pose processing
WO2016018070A1 (en) Wearable glasses and method of displaying image via the wearable glasses
WO2016017997A1 (en) Wearable glasses and method of providing content using the same
WO2016060486A1 (en) User terminal apparatus and iris recognition method thereof
EP3622495A1 (en) Method and system for detecting dangerous situation
WO2015102361A1 (ko) 얼굴 구성요소 거리를 이용한 홍채인식용 이미지 획득 장치 및 방법
WO2013009020A2 (ko) 시청자 얼굴 추적정보 생성방법 및 생성장치, 그 기록매체 및 3차원 디스플레이 장치
WO2017039348A1 (en) Image capturing apparatus and operating method thereof
EP3740936A1 (en) Method and apparatus for pose processing
WO2014014238A1 (en) System and method for providing image
WO2021132851A1 (ko) 전자 장치, 두피 케어 시스템 및 그들의 제어 방법
WO2020235852A1 (ko) 특정 순간에 관한 사진 또는 동영상을 자동으로 촬영하는 디바이스 및 그 동작 방법
WO2023277548A1 (ko) 안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체
WO2020171637A1 (en) Apparatus and method for displaying contents on an augmented reality device
WO2015102391A1 (ko) 뎁스 영상 분석을 통한 사용자의 골프 스윙 자세 분석을 위한 영상 생성 방법과 이를 이용한 골프 스윙 자세 분석 방법 및 장치
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2023182727A1 (en) Image verification method, diagnostic system performing same, and computer-readable recording medium having the method recorded thereon
EP3440593A1 (en) Method and apparatus for iris recognition
WO2022075738A1 (ko) 몰입감 있는 mixed reality를 제공하기 위한 mr 제공 장치 및 그 제어 방법
WO2018038545A1 (en) Method, system, and mobile communication terminal to run a predetermined operation for performing a specific function in response to an activation user input
WO2020251073A1 (ko) 안마 기구
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2015064935A1 (en) Electronic device and control method thereof

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022773387

Country of ref document: EP

Effective date: 20220929

ENP Entry into the national phase

Ref document number: 2023580622

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 202280059360.1

Country of ref document: CN