KR20190131645A - 사용자 단말 및 사용자 단말에 설치된 어플리케이션을 이용한 눈 움직임 정보 제공 방법 - Google Patents

사용자 단말 및 사용자 단말에 설치된 어플리케이션을 이용한 눈 움직임 정보 제공 방법 Download PDF

Info

Publication number
KR20190131645A
KR20190131645A KR1020180056260A KR20180056260A KR20190131645A KR 20190131645 A KR20190131645 A KR 20190131645A KR 1020180056260 A KR1020180056260 A KR 1020180056260A KR 20180056260 A KR20180056260 A KR 20180056260A KR 20190131645 A KR20190131645 A KR 20190131645A
Authority
KR
South Korea
Prior art keywords
image
camera
eye
head
providing
Prior art date
Application number
KR1020180056260A
Other languages
English (en)
Other versions
KR102114763B1 (ko
Inventor
서영우
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020180056260A priority Critical patent/KR102114763B1/ko
Publication of KR20190131645A publication Critical patent/KR20190131645A/ko
Application granted granted Critical
Publication of KR102114763B1 publication Critical patent/KR102114763B1/ko

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72522
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

본 발명은 사용자 단말 및 사용자 단말에 설치된 어플리케이션을 이용한 눈 움직임 정보 제공 방법에 관한 것으로,
이는 시선 기록이 요청되면, 상기 카메라를 동작 활성화시키는 단계; 상기 시선 기록을 위해 필요한 시선 방향을 사용자에게 시청각적으로 안내하면서, 상기 카메라를 통해 기 설정된 시선 방향을 가지는 눈동자 영상을 적어도 하나 이상 획득하는 단계; 및 상기 눈동자 영상에 관한 정보를 포함하는 전자 챠트를 생성한 후, 상기 통신 모듈을 통해 외부 장치에 제공하는 단계를 포함할 수 있다.

Description

사용자 단말 및 사용자 단말에 설치된 어플리케이션을 이용한 눈 움직임 정보 제공 방법{User device and method for providing a gaze data of patients using application installed in the user device}
본 발명은 사용자 단말에 설치된 어플리케이션을 이용하여, 안과 진료에 최적화된 전자 챠트를 생성 및 제공할 수 있도록 하는 사용자 단말 및 사용자 단말에 설치된 어플리케이션을 이용한 눈 움직임 정보 제공 방법에 관한 것이다.
종래 병원에서는 PC 기반에서 환자의 예약 접수 및 수납 등을 수행하고, 의사 역시 PC에 기반하거나 수기 차트를 운용함으로써, 환자에 대한 관리가 이원화되어 있는 실정이다. 이처럼 한 환자에 대한 병원의 진료 기록이나 수납/예약 등에 대한 관리의 이원화로 일관성 있는 자료 구축이 제한되어 있다. 특히, 수기 차트의 경우에는 그 특성상 영구적인 저장 및 관리에 제한이 있으므로, 환자에 대한 진료 기록의 보존성 면에서 매우 취약하다.
또한, 병원에서 PC에 기반하여 진료를 하는 경우, 의사는 환자의 상태에 대하여 다면적으로 생생한 기록을 하기 힘들다는 단점이 있다. 대형 병원에서 회진을 하는 경우에는 한 번에 수많은 환자의 상태를 살펴보지만, 생생하게 환자의 상태나 그 소견을 기록하기 힘들다.
이러한 관점에서 볼 때, 스마트 폰, 태블릿 PC 등의 사용자 단말을 활용한 의료 전자 차트 관리 시스템의 구현이 요청된다.
이에 국내공개특허 제10-2014-0033892호 등에서 스마트 기기를 활용한 의료 전자 차트 관리 시스템을 제안한 바 있으나, 이는 의료 전자 차트의 획득 및 공유에 대한 개략적 내용만을 개시할 뿐, 안과 진료와 같이 특수 분야 진료에 최적화된 기능을 제공하지 한계를 가진다.
국내공개특허 제10-2014-0033892호(공개일자 2014년03월19일)
이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 사용자 단말에 설치된 어플리케이션을 이용하여, 안과 진료에 최적화된 전자 챠트를 생성 및 제공할 수 있도록 하는 사용자 단말 및 사용자 단말에 설치된 어플리케이션을 이용한 눈 움직임 정보 제공 방법을 제공하고자 한다.
그리고 눈동자 움직임의 촬영 결과를 기반으로 전자 챠트를 생성 및 제공하되, 눈동자 움직임의 촬영 결과가 일정 규칙 및 포맷을 준수하도록 하여, 눈동자 움직임의 촬영 결과가 보다 다양한 분야에 보다 효과적으로 활용될 수 있도록 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따른 카메라 및 통신 모듈을 구비한 사용자 단말에 설치된 어플리케이션의 눈 움직임 정보 제공 방법은 시선 기록이 요청되면, 상기 카메라를 동작 활성화시키는 단계; 상기 시선 기록을 위해 필요한 시선 방향을 사용자에게 시청각적으로 안내하면서, 상기 카메라를 통해 기 설정된 시선 방향을 가지는 눈동자 영상을 적어도 하나 이상 획득하는 단계; 및 상기 눈동자 영상에 관한 정보를 포함하는 전자 챠트를 생성한 후, 상기 통신 모듈을 통해 외부 장치에 제공하는 단계를 포함할 수 있다.
상기 눈동자 영상을 적어도 하나 이상 획득하는 단계는 상기 카메라를 통해 획득된 카메라 영상에서 눈 부위 영역만을 검출하고, 상기 눈 부위 영역이 기 설정된 크기 및 비율을 가지도록 영상 추출을 진행함으로써, 상기 눈동자 영상을 획득하는 것을 특징으로 한다.
상기 눈동자 영상을 적어도 하나 이상 획득하는 단계는 상기 카메라를 통해 획득된 카메라 영상이 동영상인 경우에는, 사용자 시선을 추적하고 기 설정된 시선 방향이 검출될 때의 카메라 영상을 화면 캡쳐함으로써, 상기 눈동자 영상을 적어도 하나 획득하는 것을 특징으로 한다.
상기 눈동자 영상을 적어도 하나 이상 획득하는 단계는 상기 눈동자 영상의 데이터 포맷을 상기 외부 장치에서 인식 가능한 데이터 포맷으로 변환한 후, 상기 전자 챠트의 시선 기록 항목에 삽입하는 것을 특징으로 한다.
더하여, 상기 방법은 머리 움직임 기록이 요청되면, 상기 머리 움직임 기록을 위해 필요한 고개 위치를 사용자에게 안내하면서, 상기 카메라를 통해 기 설정된 고개 방향을 가지는 머리 움직임 영상을 적어도 하나 이상 획득하는 단계; 및 상기 머리 움직임 영상에 관한 정보를 상기 전자 챠트의 머리 움직임 기록 항목에 삽입한 후, 상기 통신 모듈을 통해 외부 장치에 제공하는 단계를 더 포함하는 것을 특징으로 한다.
상기 머리 움직임 영상을 적어도 하나 이상 획득하는 단계는 상기 카메라를 통해 획득된 카메라 영상에서 머리 영역만을 검출하고, 상기 머리 영역이 기 설정된 크기 및 비율을 가지도록 영상 추출을 진행함으로써, 상기 머리 움직임 영상을 획득하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따른 사용자 단말은 카메라 영상을 획득 및 제공하는 카메라; 외부 장치로의 접속을 수행하고, 상기 외부 장치와의 통신을 지원하는 통신 모듈; 상기 카메라 영상을 기반으로 기 설정된 시선 방향을 가지는 눈동자 영상, 기 설정된 고개 위치를 가지는 머리 움직임 영상 중 적어도 하나를 획득하고, 상기 획득 영상에 대한 정보를 포함하는 전자 챠트를 생성하여 상기 외부 장치에 제공하는 어플리케이션; 및 상기 카메라, 상기 통신 모듈, 상기 어플리케이션의 동작을 전반적으로 제어하는 운영 체제를 포함한다.
본 발명은 사용자 단말에 설치된 어플리케이션을 이용하여 안과 진료에 필요한 영상을 간편하게 촬영, 편집, 보관, 정리할 수 있도록 하고, 의무기록을 위해 전자차트에 전송할 수 있도록 하여, 눈운동 이상환자의 눈 움직임 기록을 보다 간편하고 정확하게 할 수 있도록 한다.
그리고 눈 움직임 촬영 영상이 일정 규칙 및 포맷을 준수하도록 하여, 눈 움직임 촬영 영상을 의무 기록 이외의 분야에서도 손쉽게 활용할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다.
도 2 내지 4는 본 발명의 일 실시예에 따른 어플리케이션을 이용한 눈 움직임 정보 제공 방법을 설명하기 위한 도면이다.
도 5 및 도 6은 본 발명의 다른 실시예에 따른 어플리케이션을 이용한 눈 움직임 정보 제공 방법을 설명하기 위한 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 사용자 단말의 구성도이다.
도 1을 참고하면, 본 발명의 사용자 단말(100)은 스마트 폰, 태블릿 PC와 같이 사용자가 휴대 가능한 단말로써, 카메라(110), 통신 모듈(120), 어플리케이션(130) 및 운영 체제(140) 등을 포함할 수 있다.
카메라(110)는 사용자 단말(100)에 내장되는 카메라로, 전면 카메라, 후면 카메라 중 적어도 하나일 수 있다. 이는 어플리케이션(130)에 의해 동작 활성화 및 제어되어, 어플리케이션(130)이 필요로 하는 카메라 영상을 획득 및 제공한다.
통신 모듈(120)은 원거리 통신 모듈 및 근거리 통신 모듈을 포함하고, 이들을 통해 외부 장치과의 통신 채널을 형성하고 각종 데이터를 송수신하도록 한다. 특히 본 발명의 통신 모듈(120)은 할 수 있으며, 카메라 영상을 획득 및 제공하는 카메라;
어플리케이션(130)은 웹 스토어 등에서 선택 및 다운로드하여 설치할 수 있는 어플리케이션으로, 특히 사용자 회원 가입, 로그인, 눈 움직임 정보 제공 기능, 눈 움직임 정보 저장 및 관리 기능 등을 지원한다.
사용자 회원 가입시에는 사용자에 회원 가입에 필요한 정보의 제공을 요청하고, 이에 응답하여 사용자가 기입한 정보를 어플리케이션 관리 시스템에 제공함으로써, 사용자에 관련된 모든 정보를 연속성을 가지며 관리 및 유지할 수 있도록 한다.
로그인 시에는 사용자가 회원 가입 절차를 통해 기 등록한 로그인 정보를 입력하는 경우에 한해, 해당 사용자의 어플리케이션의 사용을 허용하도록 한다.
눈 움직임 정보 원격 제공 동작시에는 카메라(110)를 통해 카메라 영상을 획득한 후, 기반으로 기 설정된 시선 방향을 가지는 눈동자 영상, 기 설정된 고개 위치를 가지는 머리 움직임 영상 중 적어도 하나를 획득하고, 상기 획득 영상에 대한 정보를 포함하는 전자 챠트를 생성하여 의무 기록 관리 시스템 또는 의료진 단말과 같은 외부 장치에 제공하도록 한다.
또한, 어플리케이션(130)은 의료진의 요청 사항을 사용자에게 통보하고, 의료진이 요청한 영상을 촬영하여 제공할 수도 있도록 한다. 이때, 사용자로부터 영상 설명 정보, 사용자 문의 사항 등을 추가 입력받고, 이를 상기 영상과 함께 제공할 수도 있도록 한다. 더하여, 눈동자 영상 또는 머리 움직임 영상내 일정 영역(예를 들어, 눈)만을 선택 및 추출하는 편집 기능을 제공하고, 편집 영상만을 선택적으로 의무 기록 관리 시스템 또는 의료진 단말에 제공할 수도 있도록 한다. 뿐 만 아니라, 수술 날짜와 같은 기준일을 등록하면, 기준일로부터 경과 일수, 또는 남은 일수를 자동 계산하여 안내한다.
그리고 전자 챠트를 사용자별, 날짜별로 데이터베이스화하여 저장 및 관리함으로써, 차후 사용자가 사용자 또는 날짜별로 전자 챠트를 검색 및 열람할 수 있도록 한다.
운영 체제(140)는 카메라(110), 통신 모듈(120), 어플리케이션(130)의 동작을 전반적으로 제어하여, 사용자가 필요로 하는 서비스를 제공할 수 있도록 한다.
이하, 어플리케이션을 이용한 눈 움직임 정보 제공 방법에 대해 보다 상세히 설명하기로 한다.
도 2 내지 4는 본 발명의 일 실시예에 따른 어플리케이션을 이용한 눈 움직임 정보 제공 방법을 설명하기 위한 도면으로, 이는 시선 방향에 따른 눈동자 움직임을 기록하고 제공하기 위한 방법에 관한 것이다.
사용자에 의해 어플리케이션이 선택 및 실행된 후 로그인 정보가 입력되면, 어플리케이션은 동작 활성화된다(S1).
그리고 어플리케이션에 마련된 메뉴를 통해 시선 기록이 요청되면(S2), 어플리케이션은 카메라(110)를 동작 활성화시킨다(S3).
그리고 시선 기록을 위해 필요한 시선 방향을 사용자에게 안내하면서(S4), 카메라를 통해 기 설정된 시선 방향을 가지는 눈동자 영상을 적어도 하나 이상 획득한다(S5).
본 발명의 눈동자 영상은 사용자 눈 운동 이상 또는 사시 증상 여부를 판단하기 위한 것이므로, 도 3에서와 같이 우상방 주시, 상방 주시, 좌상방 주시, 우측 주시, 정면 주시. 좌측 주시, 우하방 주시, 하방 주시, 좌하방 주시와 같이 9가지 시선 방향 각각에 대응되는 눈동자 영상을 획득하는 것이 바람직하다. 물론, 이와 같은 시선 방향의 종류 및 개수는 의료진의 판단 등을 고려하여 차후 조정될 수 있을 것이다.
본 발명에서는 상기의 눈동자 영상을 스틸 컷 촬영 방식과 동영상 촬영 방식 중 어느 하나의 방식으로 획득될 수 있다.
만약, 스틸 컷 촬영 방식을 이용하는 경우, 본 발명에서는 도 4에서와 같이 카메라 촬영 화면을 통해 현재 획득하고자 하는 시선 방향을 안내함과 동시에, 양 눈의 적정 위치 및 크기를 안내하는 가이드라인(빨간색으로 표시)을 표시하도록 한다. 이에 사용자가 안내 사항을 준수하도록 카메라 위치를 조정한 후 카메라 촬영을 진행함으로써, 해당 시선 방향에 대응되는 눈동자 영상을 획득할 수 있도록 한다. 그리고 이러한 동작을 시선 방향 각각에 대해 반복 수행함으로써, 9가지 시선 방향 각각에 대응되는 눈동자 영상들을 획득할 수 있게 된다.
반면, 동영상 촬영 방식을 이용하는 경우, 카메라 동영상 촬영 기능을 통해 사용자가 9가지 시선 방향으로 눈동자를 움직이는 동영상을 촬영한 후, 이로부터 기 설정된 시선 방향을 가지는 눈동자 영상들을 추출할 수도 있도록 한다. 즉, 사용자 시선을 추적하고 기 설정된 시선 방향이 검출될 때의 카메라 영상을 화면 캡쳐함으로써, 앞서 설명한 시선 방향 각각에 대응되는 눈동자 영상들을 획득할 수 있도록 한다. 이는 단 한번의 촬영을 통해 9가지 시선 방향 각각에 대응되는 눈동자 영상들을 모두 획득할 수 있게 되므로, 사용자 편이성이 높아지게 된다.
참고로, 본 발명의 눈동자 영상은 의무 기록 시스템에 단순 저장되는 것에서 더 나아가, 차후 학술 발표나 논문 집필시에 활용될 수 있는 데, 이를 위해서는 일정 규칙을 준수하는 영상인 것이 더욱 바람직하다.
이에 본 발명에서는 카메라 영상 또는 화면 캡쳐 영상을 그대로 제공하는 것이 아니라, 일정 규칙에 따라 편집하여 제공하도록 한다. 예를 들어, 카메라 영상 또는 화면 캡쳐 영상에서 눈 부위 영역만을 검출하고, 눈 부위 영역이 기 설정된 크기 및 비율을 가지도록 하는 영상 추출을 진행하여, 상기의 눈동자 영상을 획득할 수 있도록 한다. 또한 눈동자 영상에 대한 색상, 밝기, 대비 균일화를 수행하여, 모든 눈동자 영상이 동일한 색상, 밝기, 대비를 가지도록 할 수도 있도록 한다.
마지막으로, 눈동자 영상에 관한 정보를 포함하는 전자 챠트를 생성한 후, 통신 모듈(120)을 통해 외부에 위치하는 의무 기록 관리 시스템에 제공하도록 한다(S6).
본 발명의 전자 챠트는 환자 정보(예를 들어, 이름, 성별, 거주지, 신체 정보 등), 진료 날짜, 담당 의료진에 대한 정보를 기본으로 구비하며, 단계 S5를 통해 획득된 눈동자 영상들에 대한 정보를 추가 포함할 수 있다.
본 발명에서는 눈동자 영상의 데이터 포맷을 상기 의무 기록 관리 시스템에서 인식 가능한 데이터 포맷으로 변환한 후, 전자 챠트의 시선 기록 항목에 삽입하도록 한다. 또한 필요한 경우, 눈동자 영상의 데이터 용량(또는 해상도)를 감소시킨 후, 전자 챠트에 삽입시킬 수도 있도록 한다.
도 5 및 도 6은 본 발명의 다른 실시예에 따른 어플리케이션을 이용한 눈 움직임 정보 제공 방법을 설명하기 위한 도면으로, 이는 머리 움직임에 따른 눈동자 움직임을 기록하고 제공하기 위한 방법에 관한 것이다.
그리고 어플리케이션에 마련된 메뉴를 통해 머리 움직임 기록이 요청되면(S7), 어플리케이션은 카메라(110)를 동작 활성화시킨다(S8).
그리고 머리 움직임 기록을 위해 필요한 고개 방향을 사용자에게 안내하면서(S9), 카메라를 통해 기 설정된 고개 방향을 가지는 머리 움직임 영상을 적어도 하나 이상 획득한다(S10).
본 발명에서 머리 움직임 영상 또한 눈 운동 이상 또는 사시 증상 여부를 판단하기 위한 것이므로, 도 6에서와 같이 왼쪽 기울임 및 오른쪽 기울임과 같이 2가지 고개 방향 각각에 대응되는 영상을 획득하는 것이 바람직하다. 물론, 이와 같은 고개 방향의 종류 및 개수도 의료진의 판단 등을 고려하여 차후 조정될 수 있을 것이다.
그리고 머리 움직임 영상도 앞서 설명한 스틸 컷 촬영 방식과 동영상 촬영 방식 중 어느 하나의 방식으로 획득될 수 있으며, 또한 일정 규칙을 준수하는 영상인 것이 더욱 바람직하다. 즉, 카메라 영상 또는 화면 캡쳐 영상에서 얼굴 영역만을 검출하고, 얼굴 영역이 기 설정된 크기 및 비율을 가지도록 하는 영상 추출을 진행하여, 상기의 머리 움직임 영상을 획득할 수 있도록 한다. 물론, 머리 움직임 영상에 대한 색상, 밝기, 대비 균일화를 수행하여, 모든 머리 움직임 영상이 동일한 색상, 밝기, 대비를 가지도록 할 수도 있도록 한다.
마지막으로, 머리 움직임 영상의 데이터 포맷을 상기 의무 기록 관리 시스템에서 인식 가능한 데이터 포맷으로 변환한 후 전자 챠트의 머리 움직임 기록 항목에 삽입함으로써, 해당 전자 챠트를 생성한다. 그리고 생성된 전자 챠트를 통신 모듈(120)을 통해 외부에 위치하는 의무 기록 관리 시스템에 제공하도록 한다(S10).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (7)

  1. 카메라 및 통신 모듈을 구비한 사용자 단말에 설치된 어플리케이션의 눈 움직임 정보 제공 방법에 있어서,
    시선 기록이 요청되면, 상기 카메라를 동작 활성화시키는 단계;
    상기 시선 기록을 위해 필요한 시선 방향을 사용자에게 시청각적으로 안내하면서, 상기 카메라를 통해 기 설정된 시선 방향을 가지는 눈동자 영상을 적어도 하나 이상 획득하는 단계; 및
    상기 눈동자 영상에 관한 정보를 포함하는 전자 챠트를 생성한 후, 상기 통신 모듈을 통해 외부 장치에 제공하는 단계를 포함하는 눈 움직임 정보 제공 방법.
  2. 제1항에 있어서, 상기 눈동자 영상을 적어도 하나 이상 획득하는 단계는
    상기 카메라를 통해 획득된 카메라 영상에서 눈 부위 영역만을 검출하고, 상기 눈 부위 영역이 기 설정된 크기 및 비율을 가지도록 영상 추출을 진행함으로써, 상기 눈동자 영상을 획득하는 것을 특징으로 하는 눈 움직임 정보 제공 방법.
  3. 제1항에 있어서, 상기 눈동자 영상을 적어도 하나 이상 획득하는 단계는
    상기 카메라를 통해 획득된 카메라 영상이 동영상인 경우에는, 사용자 시선을 추적하고 기 설정된 시선 방향이 검출될 때의 카메라 영상을 화면 캡쳐함으로써, 상기 눈동자 영상을 적어도 하나 획득하는 것을 특징으로 하는 눈 움직임 정보 제공 방법.
  4. 제1항에 있어서, 상기 눈동자 영상을 적어도 하나 이상 획득하는 단계는
    상기 눈동자 영상의 데이터 포맷을 상기 외부 장치에서 인식 가능한 데이터 포맷으로 변환한 후, 상기 전자 챠트의 시선 기록 항목에 삽입하는 것을 특징으로 하는 눈 움직임 정보 제공 방법.
  5. 제1항에 있어서,
    머리 움직임 기록이 요청되면, 상기 머리 움직임 기록을 위해 필요한 고개 위치를 사용자에게 안내하면서, 상기 카메라를 통해 기 설정된 고개 방향을 가지는 머리 움직임 영상을 적어도 하나 이상 획득하는 단계; 및
    상기 머리 움직임 영상에 관한 정보를 상기 전자 챠트의 머리 움직임 기록 항목에 삽입한 후, 상기 통신 모듈을 통해 외부 장치에 제공하는 단계를 더 포함하는 것을 특징으로 하는 눈 움직임 정보 제공 방법.
  6. 제5항에 있어서, 상기 머리 움직임 영상을 적어도 하나 이상 획득하는 단계는
    상기 카메라를 통해 획득된 카메라 영상에서 머리 영역만을 검출하고, 상기 머리 영역이 기 설정된 크기 및 비율을 가지도록 영상 추출을 진행함으로써, 상기 머리 움직임 영상을 획득하는 것을 특징으로 하는 눈 움직임 정보 제공 방법.
  7. 카메라 영상을 획득 및 제공하는 카메라;
    외부 장치로의 접속을 수행하고, 상기 외부 장치와의 통신을 지원하는 통신 모듈;
    상기 카메라 영상을 기반으로 기 설정된 시선 방향을 가지는 눈동자 영상, 기 설정된 고개 위치를 가지는 머리 움직임 영상 중 적어도 하나를 획득하고, 상기 획득 영상에 대한 정보를 포함하는 전자 챠트를 생성하여 상기 외부 장치에 제공하는 어플리케이션; 및
    상기 카메라, 상기 통신 모듈, 상기 어플리케이션의 동작을 전반적으로 제어하는 운영 체제를 포함하는 사용자 단말.
KR1020180056260A 2018-05-17 2018-05-17 사용자 단말 및 사용자 단말에 설치된 어플리케이션을 이용한 눈 움직임 정보 제공 방법 KR102114763B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180056260A KR102114763B1 (ko) 2018-05-17 2018-05-17 사용자 단말 및 사용자 단말에 설치된 어플리케이션을 이용한 눈 움직임 정보 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180056260A KR102114763B1 (ko) 2018-05-17 2018-05-17 사용자 단말 및 사용자 단말에 설치된 어플리케이션을 이용한 눈 움직임 정보 제공 방법

Publications (2)

Publication Number Publication Date
KR20190131645A true KR20190131645A (ko) 2019-11-27
KR102114763B1 KR102114763B1 (ko) 2020-05-25

Family

ID=68729719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180056260A KR102114763B1 (ko) 2018-05-17 2018-05-17 사용자 단말 및 사용자 단말에 설치된 어플리케이션을 이용한 눈 움직임 정보 제공 방법

Country Status (1)

Country Link
KR (1) KR102114763B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271932A (ja) * 2002-03-14 2003-09-26 Nissan Motor Co Ltd 視線方向検出装置
KR20140033892A (ko) 2012-09-11 2014-03-19 송철수 스마트 디바이스를 이용한 의료 전자 차트 관리 시스템 및 방법
KR20160090065A (ko) * 2015-01-21 2016-07-29 동국대학교 산학협력단 시선 추적 기반 재활 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271932A (ja) * 2002-03-14 2003-09-26 Nissan Motor Co Ltd 視線方向検出装置
KR20140033892A (ko) 2012-09-11 2014-03-19 송철수 스마트 디바이스를 이용한 의료 전자 차트 관리 시스템 및 방법
KR20160090065A (ko) * 2015-01-21 2016-07-29 동국대학교 산학협력단 시선 추적 기반 재활 시스템

Also Published As

Publication number Publication date
KR102114763B1 (ko) 2020-05-25

Similar Documents

Publication Publication Date Title
US11766173B2 (en) Device and method for capturing, analyzing, and sending still and video images of the fundus during examination using an ophthalmoscope
US7742625B2 (en) Autonomous camera having exchangable behaviours
US10429675B2 (en) System for using augmented reality for vision
JP6263617B2 (ja) 表示制御方法及び装置、電子機器
JP2017526079A (ja) 眼信号を識別するためのシステムおよび方法、ならびに連続バイオメトリック認証
US20170126907A1 (en) Information processing device, photographing device, image sharing system, method of information processing, and program
KR20140070376A (ko) 무선 수술용 루페
CN110100199B (zh) 采集、配准和多媒体管理的系统和方法
US9554060B2 (en) Zoom images with panoramic image capture
JP6440327B2 (ja) 防犯システム、防犯方法、及びロボット
US10607340B2 (en) Remote image transmission system, display apparatus, and guide displaying method thereof
US20200195905A1 (en) Method and apparatus for obtaining image, storage medium and electronic device
US20180060606A1 (en) Virtual reality system for providing secured information
KR101996211B1 (ko) 미용실 운영 및 고객 관리 시스템
JP2012254221A (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
KR101842210B1 (ko) 시선 추적 기반 콘텐츠 제공 방법 및 장치
EP4268446A1 (en) Contactless configuration of a videoconference in sterile environments
KR20190131645A (ko) 사용자 단말 및 사용자 단말에 설치된 어플리케이션을 이용한 눈 움직임 정보 제공 방법
CN115514918B (zh) 一种远程视频方法、云平台、通讯移动平台及存储介质
KR20160115269A (ko) 건강검진 정보 제공 애플리케이션 및 시스템
JP2012042717A (ja) 表示方法および装置
JP6632632B2 (ja) 監視システム
CN111857336B (zh) 头戴式设备及其渲染方法、存储介质
WO2018008101A1 (ja) 画像提供システム、画像提供方法、およびプログラム
EP4250193A1 (en) Ghost mode glasses for use in servicing medical devices and servicing workflows using same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant