KR102406823B1

KR102406823B1 - 망막 질환 및 치매 진단용 스마트 리모컨 장치 및 이를 이용한 자가 진단 방법

Info

Publication number: KR102406823B1
Application number: KR1020210068391A
Authority: KR
Inventors: 유재천
Original assignee: 성균관대학교산학협력단
Priority date: 2021-05-27
Filing date: 2021-05-27
Publication date: 2022-06-10
Also published as: WO2022250327A1

Abstract

본 발명은, 생활속에서 망막 이미지 측정부에 의해 사용자의 망막 건강 상태 및 치매 위험도를 측정하고, 이를 인공지능에 의해 자동 분석하여 사용자의 건강의 위험요소를 파악할 수 있는 스마트 리모컨 장치에 대한 것으로, 특히, 리모컨 사용 중에 안구 운동 및 안과 검사와 더불어 사용자 인증을 동시에 할 수 있어, 생활 속에서 사용자의 치매 및 망막 질환을 사전에 예방할 수 있는 스마트 리모컨 장치와 자가 진단 방법을 제공한다.

Description

망막 질환 및 치매 진단용 스마트 리모컨 장치 및 이를 이용한 자가 진단 방법{AI SMART REMOTE CONTROLLER APPARATUS FOR DIAGNOSING RETINA DISEASE AND ALZHEIMER, AND SELF-EXAM METHOD USING THE SAME}

본 발명은, 망막 이미지 센서에 의해 얻어진 망막 이미지를 인공지능 신경망에 의해 자동 분석하여 사용자의 안구 건강 및 치매의 위험요소를 파악할 수 있는 스마트 리모컨 장치에 대한 것으로, 특히, 안구 운동, 안과 검사, 망막 질환, 치매 위험도 측정과 더불어 사용자 인증을 동시에 할 수 있어, 생활 속에서 사용자의 치매 및 망막 질환을 사전에 예방할 수 있는 스마트 리모컨 장치 와 이를 이용한 자가 진단 방법을 제공한다.

최근 첨단 의료장비 기술과 함께 병원 인프라 증대로 많은 사람들이 풍부한 의료혜택을 받으면서, 인류는 수명 연장과 함께 삶의 질 향상으로 과거보다 많은 행복을 도모하게 되었다.

현대 사회는 풍족한 식생활 문화 및 운동 부족 그리고 고령화 사회로의 급속한 진행에 따라, 정기적인 건강검진의 필요성은 날로 중요시되어 가고 있다.

그러나 건강검진을 하기 위해서는 별도의 시간을 내야하는 불편함이 따르기 때문에 대부분은 건강에 이상이 생긴 경우 뒤늦게 병원을 찾고 있다.

따라서 우리가 수시로 생활 속에서 몸의 건강 상태를 파악할 수 있다면, 많은 건강을 위협하는 상황에 대해 미리 대처가 가능하다.

특히, 눈(Eye)의 건강은 우리 몸 중에 보배로 여길 만큼 매우 중요하여, 이를 수시로 관리하는 잘 경우 치매 및 망막 질환을 사전에 예방할 수 있을 것이다.

요즈음, 병원에 가지 않고서도 자신의 망막 검사를 핸드폰 카메라를 사용하여 언제 어디서나 확인할 수 있는 자가 진단 앱들이 많이 등장하여, 환자들은 자신의 집이나 사무실에서 이를 사용하고 있다. 그러나 이러한 자가 진단 앱들은 단순 검사(색명 검사, 난시 검사, 망막 이상 유무 검사, 시력 측정) 만 가능할 뿐만 아니라, 망막을 정밀하게 관찰하기 위해서는 핸드폰 카메라에 별도의 스마트폰 장착 어댑터와 렌즈를 착탈해야 하는 불편이 따른다.

더욱이 망막 검사 동안 망막 초점을 자가 진단자가 정확히 맞출 수가 없기 때문에 환자 옆에서 안과 의사가 망막 검사를 수시로 도와 주어야만 정확한 망막 측정이 가능하여, 정작 망막 검사가 긴요한 취약 계층과 독거 노인에게는 어려운 일이 될 수밖에 없다.

주지하는 바와 같이, 전 세계적으로 고령화와 이에 동반되는 치매 유병률 증가가 지속되고 있으나 이의 발병원인이 불명확하고 아직 근본적인 치료제가 없어 완벽한 예방 및 치료가 불가능하다.

따라서 생활 속 건강관리의 주요 지표처럼, 치매도 평상시 생활 속에서 조기진단을 통해 관리하는 것이 무엇보다 중요하다.

과학자들은 일찌감치 눈 건강과 치매 위험도 간에 상관관계가 밀접하다는 것을 입증하였고, 망막을 정밀 체크함으로써 망막 질환뿐만 아니라 치매 위험도를 알 수 있다고 주장하고 있다.

1994년부터 5400명을 대상으로 25년간 추적 조사한 “Alzheimer’s and Dementia in 2019” 발표에 따르면 망막 미세혈관 손상, 망막 혈관 폐쇄증, 황반변성, 당뇨성 망막변증, 녹내장 질환이 있는 환자는 치매의 위험도가 정상인보다 매우 높은 것으로 나타났다.

또한, 영국 퀸스(Queens) 대학에서 알츠하이머 치매 환자와 건강한 노인을 대상으로 망막 영상을 비교한 결과 치매 환자는 노화와 함께 망막 밑에 쌓이는 작은 노란 노폐물인 경성 드루젠(hard druzen)이 정상인에 비해 많다는 연구결과를 발표했다.

알츠하이머 환자의 75%의 망막에서 노란색 점이 발견되었고, 건강한 사람은 4.2%만이 노란색 점을 가지고 있었다고 한다. 또한, 연구팀은 2년 후에 다시 망막을 찍어 비교한 결과 알츠하이머 치매 환자는 건강한 사람에 비해 노란색 영역이 더 넓어졌다고 한다.

이러한 연구 결과와 보고들은 눈 건강 체크로 치매 위험도를 예측할 수 있다는 것을 말해준다. 가장 큰 문제는 환자가 혼자서 자주 망막 검사를 할 수 있어야 조기 알츠하이머 치매를 미연에 방지할 수 있다는 것이다.

또한, 우리는 노화가 찾아오면 눈 역시 늙게 되는데 50대를 넘어가면 황반을 구성하는 색소인 루테인과 지아잔틴 밀도가 급감해 생겨, 이때 가장 많이 나타나는 증상이 황반변성인데 황반변성은 안구 내 망막 중심부에 위치한 황반이 변성되어 시력장애가 생기는 질환이다

또한, 녹내장은 안압이 높아져서 신경세포를 눌러 파괴해 실명에 이르게 되는 질환인데, 혈압, 당뇨, 혈액순환의 장애 등과 연관성이 큰 것으로 알려져 있다.

한편, 본 발명은 천정형 인공지능 건강 모니터링 장치 및 이를 이용한 원격 의료 진단 방법(출원번호: 10-2020-0055019), 자가 격리자 모니터링 장치 및 이를 이용한 방법(출원번호: 10-2020-0071282), 분산형 동선 추적 장치 및 이를 이용한 방법(출원번호:10-2020-0086171), 인공지능형 무증상자 동선 추적 장치 및 이를 이용한 방법(출원번호:10-2021-0024156) 과 인공지능형 스마트 리모컨 장치 및 이를 이용한 자가 검사 방법(출원번호: 10-2021-0054095) 의 연속이다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위해, 망막 이미지 센서를 통해 획득된 망막 이미지를 인공지능 신경망에 적용하여 분석된 결과를 기반으로 사용자의 안구 건강 및 치매의 위험요소를 파악할 수 있는 망막 질환 및 치매 진단용 스마트 리모컨 장치 및 이를 이용한 자가 진단 방법을 제공하는 것을 목적으로 한다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위해, 망막 이미지센서와 디스플레이 패널을 이용하여 안구 운동, 안과 검사, 망막 질환, 치매 위험도 측정과 더불어 사용자 인증을 동시에 수행할 수 있어, 생활 속에서 사용자의 치매 및 망막 질환을 사전에 예방할 수 있는 망막 질환 및 치매 진단용 스마트 리모컨 장치 및 이를 이용한 자가 진단 방법을 제공하려는 것을 목적으로 한다.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 망막 질환 및 치매 진단용 스마트 리모컨 장치는, 디지털 TV의 기능을 버튼 입력에 의해 제어하고, 망막 이미지 센서에 의해 망막 이미지를 얻는 망막 이미지 측정부 및 디스플레이 패널부를 구비한 스마트 리모컨을 포함할 수 있다.

본원의 일 실시예에 따른 망막 질환 및 치매 진단용 스마트 리모컨 장치는, 망막 이미지를 얻는 망막 이미지 측정부, 화상 표시 소자로 구성된 디스플레이 패널부 및 상기 망막 이미지 측정부와 디스플레이 패널부를 제어하는 스마트 리모컨 제어부를 구비한 스마트 리모컨을 포함할 수 있다.

또한, 스마트 리모컨을 포함하는 망막 질환 및 치매 진단용 스마트 리모컨 장치는, 상기 디지털 TV의 기능을 음성 명령에 의해 제어하고, 상기 스마트 리모컨에 의해 측정된 의료 데이터를 수신하여 인공지능 신경망으로 분석하여 이상징후가 발견된 경우, 의사와의 인터넷 통신 연결을 통해 원격 의료 진단 서비스를 제공하는 음성인식 단말기를 더 포함할 수 있다.

또한, 상기 스마트 리모컨은 상기 망막 이미지에 대한 초점거리를 수동 내지 자동 조정할 수 있는 초점거리 조정 구동부를 포함할 수 있다.

또한, 상기 스마트 리모컨의 터치 스크린은, 리모컨 모드 화면 또는 눈 관리 모드 화면으로 전환 가능한 메뉴 버튼이 구비되고, 상기 리모컨 모드 동안에는 상기 디지털 TV의 기능을 제어하기 위한 리모컨 선택 버튼들이 상기 터치 스크린 화면상에 표시되고, 상기 눈 관리 모드 동안에는 눈 관리 항목들 중 하나를 선택하기 위한 메뉴 선택 버튼이 터치 스크린 화면상에 표시될 수 있다.

또한, 스마트 리모컨을 포함하는 망막 질환 및 치매 진단용 스마트 리모컨 장치는, 상기 스마트 리모컨의 측면에는 상하 좌우 네 곳에 손가락 지문 인증을 위한 지문 인식부를 구비하고, 상기 지문 인식부는 줌(zoom) 버튼 기능을 겸용할 수 있다.

또한, 상기 망막 이미지 측정부는, 빔을 발생시키는 광원; 상기 광원으로부터 발생된 빔의 극성을 변화시켜 제1빔을 생성하는 제1 폴러라이저; 상기 제1빔을 피 측정자의 망막을 향하도록 굴절시키는 빔 분리기(beam splitter); 상기 제1빔을 망막에 입사시키거나 망막으로부터 반사된 무극성화된(unpolarized)빔을 집광하여 제2빔을 생성하는 제1 렌즈부; 상기 빔 분리기를 통과한 제2빔으로부터 각막 반사(cornea reflection) 성분을 최소화하기 위한 제2 폴러라이저; 및 상기 제2 폴러라이저를 통과된 상기 제2빔을 수광하여 망막 이미지를 형성하는 망막 이미지 센서를 포함하고, 상기 제1 폴러라이저와 상기 제2 폴러라이저는 90°의 위상차를 갖도록 서로 cross polarized 되어 있는 것을 특징으로 한다.

또한, 상기 디스플레이 패널부는, 화상 표시 소자; 상기 화상 표시 소자에 표시되는 이미지를 확대하여 피측정자의 안구방향으로 굴절시키는 제2 렌즈부; 및 상기 화상 표시 소자와 상기 제2 렌즈부 사이에 배치되어 이미지 왜곡 및 수차를 보정하기 위한 보정 렌즈부를 포함할 수 있다.

또한, 상기 디스플레이 패널부는, 상기 망막 이미지 측정부에 의해 측정된 망막 이미지, 녹내장 검사를 위한 시야(visual field) 검사용 테스트 이미지, 황반 변성 검사를 위한 황반 변성 검사용 테스트 이미지 또는 안구 운동을 하기 위한 안구 운동 이미지를 표시할 수 있다.

또한, 상기 화상 표시 소자는 안과 검사, 망막 질환 검사, 치매검사 또는 안구 운동 모드 동안 사용자의 눈 응시 위치를 추적하기 위한 적외선 필터가 구비된 동공 이미지 센서를 포함하고, 스마트 리모컨 제어부는 사용자의 눈 응시(gaze) 위치를 파악하여 상기 화상 표시 소자 상에 커서(cursor)를 중첩 표시하는 눈 응시(eye gaze) 처리부를 포함할 수 있다.

또한, 상기 스마트 리모컨의 사용자 인증은, 지문 인증, 정맥인증, 망막 인증, 홍채 인증, 얼굴인식 중 선택된 어느 하나 이상 인식 방법을 사용하는 것을 특징으로 한다.

또한, 상기 초점거리 조정 구동부는, 상기 원격 의료 진단 서비스 동안 의사가 원격으로 상기 초점거리 조정 구동부를 조정하여 망막 이미지의 초점거리를 조정하는 것을 특징으로 한다.

또한, 상기 음성인식 단말기는, 상기 스마트 리모컨에 의해 측정된 의료 데이터를 수신하여 이를 인터넷망을 통해 서버에 전송하고, 서버상의 인공지능 신경망 내지 안과 전문가 시스템에 의해 분석된 결과를 피드백 받아 환자에게 망막 질환과 치매의 위험도를 통지할 수 있다.

또한, 상기 음성인식 단말기는, 상기 스마트 리모컨과의 근거리 통신 연결에 의해 상기 스마트 리모컨으로부터 측정된 의료 데이터를 수신하는 의료 데이터 수신부; 및 학습용 의료 데이터들에 의해 사전에 딥런닝 학습된 인공지능 신경망을 포함하고, 상기 딥런닝 학습된 인공 신경망은, 상기 의료 데이터 수신부에 의해 수신된 의료 데이터를 분석하여, 환자의 망막 질환 내지 치매의 위험도를 자동으로 판별할 수 있다.

또한, 상기 스마트 리모컨은, 상기 스마트 리모컨 상에 어플로서 상주하는 인공지능 신경망 앱을 구비하여, 상기 스마트 리모컨에 의해 측정된 의료 데이터를 분석 결과를 사용자에게 제공할 수 있다.

또한, 상기 음성인식 단말기는, 상기 스마트 리모컨에 의한 치매 및 망막 질환에 대한 주기적 검사에 따른 분석 결과의 변화 추이를 관찰하여 환자에게 치매 및 망막 질환의 위험도를 알려주거나, 안구 운동을 요청하거나, 다음 검사 일정을 환자에게 알려주는 안구 건강 추적 관리부를 포함할 수 있다.

또한, 상기 인공지능 신경망은 망막 질환 종류별 그리고 등급별로 표지된 망막 이미지들에 의해 사전에 딥런닝 학습 되고, 이후 환자의 망막 이미지(환자의 신규 망막 이미지)를 분석하여, 망막 질환의 유무와 위험도를 자동으로 판별할 수 있다.

또한, 상기 인공지능 신경망은, 치매의 위험도 등급에 따라 표지된 망막 이미지들에 의해 사전 학습시키고, 추후 의료 데이터 수신부에 의해 수신된 환자의 망막 이미지(환자의 신규 망막 이미지 )를 상기 학습된 인공지능 신경망에 의해 분석하여 치매 위험도를 판별할 수 있다.

상기 인공지능 신경망은, 바이러스 감염 유무로 표지된 복수의 망막 이미지들을 이용하여 사전 학습시키고, 환자의 신규 망막 이미지를 분석하여 바이러스 감염 유무를 판별할 수 있다.

또한, 상기 스마트 리모컨은, 상기 스마트 리모컨의 착탈을 허용하는 헤드셋을 포함하고, 상기 지문 인식부의 테두리는 자성체 전극들을 포함하고, 상기 헤드셋의 하우징은 상기 자성체 전극들에 대해 자력(magnetic force)으로 상기 스마트 리모컨을 하우징에 결합시키는 영구자석을 포함할 수 있다.

또한, 상기 스마트 리모컨은, 상기 스마트 리모컨과 헤드셋의 결합 여부를 감지하여 자동으로 눈 관리 모드로 전환하는 눈 관리 모드 감지 수단을 포함할 수 있다.

또한, 상기 지문 인식부의 테두리는 도체 전극들을 포함하고, 상기 스마트 리모컨 제어부는, 사용자 손이 상기 도체 전극들을 잡은 것으로 판단되고, 상기 망막 이미지 센서에 의해 망막 이미지가 감지되고, 동시에 동공 이미지 센서에 의해 동공 내지 홍채가 감지된 경우, 자동으로 눈 관리 모드로 전환하는 눈 관리 모드 감지 수단을 포함할 수 있다.

또한, 안구 운동 이미지는, 안구의 회전운동을 하기 위한 안구 운동 이미지, 홍채 스트레칭 안구 운동 이미지, 초점 이동 안구 운동을 하기 위한 안구 운동 이미지, 상하 좌우 스트레칭 안구 운동을 하기 위한 안구 운동 이미지 또는 및 원근 스트레칭 안구 운동을 하기 위한 안구 운동 이미지를 포함할 수 있다.

또한, 스마트 리모컨 제어부는, 홍채 스트레칭 안구 운동 동안 상기 망막 이미지 측정부의 밝기와 상기 디스플레이 패널부상에 표시된 홍채 스트레칭 안구 운동 이미지의 밝기가 동기화되도록 피드백 제어하는 홍채 동기화 조절 수단을 포함할 수 있다.

또한, 상기 스마트 리모컨은 회전 가능한 헤드셋의 하우징에 장착되어 좌우측 눈을 교대로 번갈아 가면서 검사할 수 있다.

또한, 스마트 리모컨 제어부는 상기 안구 운동 모드 동안 스폿을 상기 화상 표시 소자에 표시하여, 상기 스폿의 움직임에 따라 사용자의 안구를 움직이게 함으로써 안구 운동을 유도하고, 상기 스폿의 움직임 속도를 조절하는 스폿 속도 조절부를 포함할 수 있다.

또한, 상기 스마트 리모컨 제어부는, 사용자가 시야 검사용 테스트 이미지의 중심점을 응시하는지 여부에 따라 상기 시야 검사용 테스트 이미지상의 소정의 위치에 무작위 숫자를 표시하는 시야 결손 측정부, 녹내장 검사용 테스트 이미지를 사용하여 사용자의 시야 범위를 확인하는 녹내장 측정부 및 황반 변성 검사용 테스트 이미지를 이용하여 황반 변성 검사를 수행하는 황반 변성 측정부를 포함할 수 있다.

또한, 상기 시야 결손 측정부는 시야 검사용 테스트 이미지의 중심점을 사용자가 응시하는 동안에는 시야 검사용 테스트 이미지상의 소정의 위치에 무작위 숫자를 표시하고, 사용자가 중심점을 응시하지 않는 동안에는 상기 숫자를 사라지게 할 수 있다.

또한, 상기 스마트 리모컨 제어부는 상기 안구 운동 모드 동안 사용자의 눈 응시 궤적과 스폿 이동 궤적 간의 차이를 구해 안구 운동의 질적 평가를 수행하는 안구운동 점수 산출부를 포함할 수 있다.

본원의 일 실시예에 따르면, 망막 질환 및 치매 진단용 스마트 리모컨 장치에 의해 수행되는 자가 진단 방법은, 스마트 리모컨을 이용하여 환자의 의료 데이터를 획득하는 단계, 상기 의료 데이터를 인공지능 신경망에 적용하여 망막 질환 및 치매 분석을 수행하는 단계, 안과 전문가 시스템에서 상기 인공지능 신경망에서 분석된 결과를 고려하여 망막 질환 및 치매 위험도 분석 결과를 제공하는 단계 및 소정의 시간 간격으로 수집된 망막 질환 및 치매 위험도 분석 결과에 따른 변화 추이 관찰 결과를 고려하여, 안구 운동을 요청하거나, 다음 검사 일정을 제공하는 피드백 단계를 포함할 수 있다.

본원의 다른 일 실시예에 따르면, 망막 질환 및 치매 진단용 스마트 리모컨 장치에 의해 수행되는 자가 진단 방법은, 안구 운동 모드 동안 안구 운동 이미지를 환자에게 제공하는 단계, 상기 안구 운동 모드 동안 사용자의 눈동자를 추적하여 눈 응시 위치를 파악하는 단계, 상기 안구 운동 모드 동안 사용자의 눈 응시 궤적과 스폿 이동 궤적 간의 차이를 구해 안구 운동의 질적인 평가 점수를 산출하는 단계 및 사용자에게 점수가 낮은 안구 운동 항목에 대해 추가 안구 운동을 요청하거나, 다음 안구 운동 일정을 제공하는 단계를 포함할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 생활속에서 리모컨 사용 중에 리모컨 상에 설치된 망막 이미지 센서에 의해 사용자의 망막 건강 상태 와 치매 위험도를 측정할 수 있는 망막 질환 및 치매 진단용 스마트 리모컨 장치 와 이를 이용한 자가 진단 방법을 제공한다. 또한, 환자가 자신의 망막 이미지를 실시간으로 관찰하면서, 동시에 망막 이미지의 초점거리를 조정할 수 있는 초점거리 조정 구동부를 구비하여 망막 질환 및 치매에 대한 자가진단이 가능하다.

또한, 환자는 디스플레이 패널부에 의해 표시된 시야(visual field) 검사용 테스트 이미지에 의해 녹내장 검사를 하거나, 황반 변성 검사용 테스트 이미지에 의해 황반변성 검사를 자가 진단 할 수 있다.

또한, 환자는 디스플레이 패널부에 의해 표시된 안구 운동 이미지에 의해 안구 운동을 할 수 있다.

또한, 의사가 원격으로 초점거리 조정 구동부를 제어 및 조정하여 망막 이미지의 초점거리를 조정할 수 있어, 환자의 자가진단을 도와줄 수 있다.

다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.

도 1a 내지 도 1b는 본원의 일 실시예에 따른 환자의 거주지 내의 일 영역에 설치되며, 음성 인식부와 음성 재생부를 구비하여 마이크를 통해 수집되는 음성 명령에 의해 디지털 TV를 제어하고 스피커를 통해 음성 피드백 서비스를 제공하는 음성 단말기의 일실시예이다.
도 2는 본원의 일 실시예에 따른 망막 질환 및 치매 진단용 스마트 리모컨 장치의 눈 질환 검사를 위한 망막 이미지 측정부 및 측정된 망막을 표시하는 디스플레이 패널부를 스마트 리모컨의 후면에 집적화한 일실시예이다.
도 3a는 본원의 일 실시예에 따른 망막 질환 및 치매 진단용 스마트 리모컨 장치의 망막 이미지 측정부와 디스플레이 패널부의 일실시예이다.
도 3b는 본원의 일 실시예에 따른 망막 질환 및 치매 진단용 스마트 리모컨 장치의 디스플레이 패널부의 또 다른 실시예이다.
도 3c 및 도 3d는 본원의 일 실시예에 따른 망막 질환 및 치매 진단용 스마트 리모컨 장치의 제 1렌즈부와 망막 이미지 센서 또는 제2 렌즈부와 화상 표시 소자 간의 초점거리를 조정하기 위하여 상기 렌즈부를 전후 방향으로 이동시키는 초점거리 조정 구동부의 일실시예이다.
도 4는 본원의 일 실시예에 따른 스마트 리모컨의 착탈을 허용하는 헤드셋의 일 실시예이다.
도 5는 본원의 일 실시예에 따른 스마트 리모컨 이 헤드셋의 하우징에 회전가능 하도록 장착되어, 좌우측 눈을 교대로 번갈아 가면서 검사할 수 있는 실시예를 나타낸 도면이다.
도 6은 본원의 일 실시예에 따른 망막 질환 및 치매 진단용 스마트 리모컨 장치에 있어서, 자동으로 눈 관리 모드로 전환하는 눈 관리 모드 감지 수단의 일 실시예이다.
도 7은 본원의 일 실시예에 따른 망막 질환 및 치매 진단용 스마트 리모컨 장치의 동작을 설명하기 위한 블록도이다.
도 8은 본원의 일 실시예에 따른 스마트 리모컨을 사용하여 시야 검사용 테스트 이미지를 화상 표시 소자 상에 표시하여 시야 결손 영역 검사를 하는 일실시예이다.
도 9는 본원의 일 실시예에 따른 녹내장 검사용 테스트 이미지의 일실시예이다.
도 10은 본원의 일 실시예에 따른 망막 질환 및 치매 진단용 스마트 리모컨 장치의 황반 변성 검사용 테스트 이미지를 이용하여 황반변성 검사를 하는 일실시예이다.
도 11은 본원의 일 실시예에 따른 망막 질환 및 치매 진단용 스마트 리모컨 장치에 있어서 사용자에게 안구 운동을 유도하기 위해 화상 표시 소자 상에 안구 운동 이미지를 표시한 안구 운동 모드의 여러 실시예이다.
도 12는 본원의 일 실시예에 따른 망막 질환 및 치매 진단용 스마트 리모컨 장치에서 사용자에게 원근 스트레칭 안구 운동을 유도하는 안구 이미지의 실시예이다.
도 13은 본 발명의 실시예에 따른 디지털 TV와 스마트 리모컨 상의 망막 이미지 센서를 활용하여 의사가 원격으로 환자의 망막상태를 체크하기 위해 원격 의료 진단을 수행하는 실시예를 개략적으로 나타낸 도면이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

이하 첨부된 도면을 사용하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.

이하, 본 발명에서의 환자, 피 측정자 또는 사용자는 스마트 리모컨의 사용자와 혼용될 수 있다.

이하, 디지털 TV는 스마트 미러 내지 컴퓨터 모니터로 대체(혼용)되어 사용될 수 있다.

이하, 음성인식 단말기는 디지털 TV 내에 집적화되어 일체화될 수 있다. 따라서 음성인식 단말기는 디지털 TV, 스마트 미러, 컴퓨터 모니터와 혼용될 수 있다.

이하, 음성인식 단말기는 스마트 리모컨 내에 집적화되어 일체화될 수 있다.

이하, 스마트 리모컨은 디지털 TV를 원격 제어하는 기능 없이, 안구 운동, 안과 검사, 망막 질환, 치매 위험도 측정을 수행하는 스마트 안구 검사 장치로 개조될 수 있으며, .이 경우 리모컨 선택 버튼들을 화면상에 표시하는 리모컨 모드 화면은 필요 없게 된다.

이하, 의료 데이터는 사용자의 망막 이미지 또는 이전에 행해진 안과 검사 결과를 포함한다.

이하, 개인 신체 정보는 성(sex), 나이, 키, 몸무게 중 선택한 적어도 어느 하나 이상의 정보인 것을 특징으로 한다.

도 1a 내지 도 1b는 환자의 거주지 내의 일 영역에 설치되며, 음성 인식부(27a)와 음성 재생부(28a)를 구비하여 마이크(27)를 통해 수집되는 음성 명령에 의해 디지털 TV(300)를 제어하고 스피커(28)를 통해 음성 피드백 서비스를 제공하는 음성인식 단말기(17)의 일 실시예로, 본 발명을 따르는 스마트 리모컨(400)과 근거리 통신 연결을 제공하는 디지털 통신 모듈(8), 상기 디지털 통신 모듈(8)을 통해 상기 스마트 리모컨(400)에 의해 환자로부터 측정된 망막 이미지 데이터를 수신하는 의료 데이터 수신부(12)를 포함한다.

본원의 일 실시예에 따르면, 음성인식 단말기(17)는 사용자의 음성 명령을 인식하여 디지털 TV(300)에 제어할 뿐만 아니라, 필요에 따라 디지털 TV(300)를 통해 망막 질환 및 치매에 대한 원격 의료 진단을 수행하는 것을 특징으로 한다.

상기 디지털 통신 모듈(8)은 안과 의사와의 원격 의료 진단을 허여하는 인터넷 및 와이 파이 통신 연결을 제공하거나, 서버(13)와의 연결을 제공하거나, 스마트 리모컨(400)과의 근거리 무선 통신 연결 (예컨대 블루투스, 사물 인터넷 또는 적외선 통신 연결)을 제공한다.

본 실시예에서는 디지털 TV(300)는 스마트 미러로 대체되어 사용될 수 있다.

한편, 음성인식 단말기(17) 내지 서버(13)는 망막 분석용 인공 신경망(16) 내지 안과 전문가 시스템(18)을 구비하여, 스마트 리모컨(400)으로부터 측정된 의료 데이터를 망막 분석용 인공 신경망(16) 내지 안과 전문가 시스템(18)에 적용하여, 환자의 망막 질환 내지 치매의 위험도를 자동으로 판별할 수 있다.

상기 안과 전문가 시스템(18)은 안과 의사들의 지적 활동과 경험을 통해서 축적된 지식과 안과 의사에 의해 정의된 추론 규칙을 활용하여 결정을 내리거나 문제 해결을 하는 컴퓨터 응용 프로그램 일수 있다.

또한, 제어부(30)는 망막 분석용 인공지능 신경망(16) 내지 안과 전문가 시스템(18)으로부터의 환자에 대한 망막 이미지 분석 결과를 가지고, 환자에게 눈 관리에 대한 지침과 원격 의료에 대한 가이드라인을 음성과 영상 서비스로 제공하기 위해, 디지털 통신 모듈(8), 스피커(28) 와 디지털 TV(300)를 제어하는 것을 특징으로 한다.

즉, 제어부(30)는 상기 인공지능 신경망(16) 내지 안과 전문가 시스템(18)으로부터 환자의 의료 데이터 분석 결과를 가지고, 환자의 눈 건강 상태에 따라 원격 의료 진단의 필요성을 판단하고, 필요한 경우 의사와 환자간의 원격 의료 진단을 수행을 위해 디지털 통신 모듈(8), 스피커(28) 와 디지털 TV(300)를 제어한다.

본 발명의 인공지능 신경망(16)은 망막 질환 종류별로 표지된 망막 이미지(학습용 망막 이미지)들에 의해 사전에 딥런닝 학습되고, 이후 망막 이미지 센서(42)로부터 획득된 환자의 망막 이미지를 분석하여, 환자의 망막에 관련한 질병 유무와 위험도를 자동으로 판별하고, 제어부(30)는 디지털 TV나 문자메시지를 통해 이 판별 결과를 환자에게 알려주는 것이 선호된다.

상기 망막 질환 종류별로 표지된 망막 이미지들은 망막 미세혈관 손상, 백내장, 녹내장, 망막박리, 고혈압 망막병증, 망막 혈관 폐쇄증, 당뇨 망막병증(diabetic retinopathy), 황반변성 등의 망막 질환을 포함하는 망막 이미지들이 선호되며, 상기 망막 분석용 인공 지능 신경망(16)은 상기 망막 질환의 심각성을 따라 등급별로 표지된 망막 이미지(학습용 망막 이미지)들에 의해 사전에 학습되는 것을 특징으로 한다.

또한, 망막 질환 종류별로 표지된 망막 이미지(학습용 망막 이미지)에는 개인 신체 정보가 포함될 수 있다.

또한, 심근경색과 뇌졸중으로 표지된 망막 이미지들을 사용하여 망막 분석용 인공 지능 신경망(16)을 학습시킴으로써, 사용자의 신규 망막 이미지로부터 심근경색 내지 뇌졸중의 위험도를 자동 판별할 수 있다.

또한, 바이러스 감염 유무로 표지된 망막 이미지들을 사용하여 망막 분석용 인공 지능 신경망(16)을 학습시킴으로써, 사용자의 신규 망막 이미지로부터 바이러스 감염 여부를 자동 판별할 수 있다.

본 발명의 인공지능 신경망(16)의 또 다른 측면은 치매의 위험도 등급에 따라 표지된 망막 이미지들에 의해 사전 학습시키고, 추후 의료 데이터 수신부(12)에 의해 수신된 환자의 망막 이미지(환자의 신규 망막 이미지)를 상기 학습된 인공지능 신경망(16)에 의해 분석하여 환자의 치매 위험도를 자동 판별하는 것을 특징으로 한다.

예컨대, 치매 환자는 망막 중심부에 있는 시신경 조직인 황반의 미세혈관 밀도가 일반인에 비해 낮고, 증상이 심할수록 이 밀도는 더욱 낮아진다. 그러나 이것은 사람의 눈으로는 이러한 밀도를 정확하게 분석·비교하기가 어려우나, 망막 분석용 인공 지능 신경망(16)은 이러한 치매 환자를 구분할 수 있다.

또한, 치매의 위험도 등급에 따라 표지된 망막 이미지(학습용 망막 이미지)에는 개인 신체 정보가 포함될 수 있다.

또한, 음성인식 단말기(17)는 망막 인증부(15)를 포함하며, 망막 인증부(15)는 망막 인증을 위해 스마트 리모컨(400) 상의 망막 이미지 센서(42)로부터 얻어진 망막 이미지를 세선화 알고리즘(thinning algorithm)에 의해 망막 이미지상의 융선(ridge) 과 골(valley)을 명확히 하는 전처리 작업을 진행한 후 비교 정합을 수행한다. 상기 비교 정합은 융선과 골로부터 특징점(minutiae) 정보들을 추출하고, 기 등록된 망막 이미지의 특징점 정보들과 비교하여 망막 이미지들 간의 유사도(매칭 점수)를 판별하는 과정을 포함한다. 상기 특징점 정보는 특징점의 종류, 특징점이 위치한 융선의 방향, 망막 이미지 내의 특징점의 위치를 포함할 수 있다.

상기 특징점의 종류는 융선의 흐름이 끓기는 단점(ending point) 내지 융선이 갈라지는 분기점(bifurcation)을 포함한다.

상기 망막 인증부(15)의 또 다른 측면은, 망막 이미지 센서(42)에 의해 얻어진 망막 이미지로부터 망막 모세 혈관을 인식하여 망막 인증을 수행하는 인공지능 신경망 일 수 있다.

본 발명의 경우 동일인 판명을 위한 매칭 점수의 임계값(threshold value)은 스마트 리모컨(400)을 같이 공유하는 사용자 수를 감안하여 조절될 수 있다. 예컨대, 사용자 수(스마트 리모컨의 등록자 수)가 많으면 사용자 간의 오류 인증을 줄이기 위해 매칭 점수의 임계값을 높이는 것이 선호된다.

또한, 음성인식 단말기(17)는 스마트 리모컨(400)에 의한 치매 및 망막 질환에 대한 주기적 검사에 따른 분석 결과의 변화 추이를 관찰하여 환자에게 치매 및 망막 질환의 위험도를 알려주거나, 안구 운동을 요청하거나, 다음 검사 일정을 환자에게 알려주는 안구 건강 추적 관리부(11)를 더 구비한 것이 선호된다.

또한, 디지털 TV(300)는 환자의 망막 이미지에 대해 분석한 결과를 화면상에 표시해 주거나 안구 건강 추적 관리부(11)에서 제공해주는 부가 정보를 표시하는 것이 선호된다.

도 1a는, 인공지능 신경망(16) 내지 안과 전문가 시스템(18)을 음성인식 단말기(17) 내부에 구비하여, 스마트 리모컨(400)에 의해 측정된 의료 데이터를 의료데이터 수신부(12)가 수신한 후, 이를 인공지능 신경망(16) 내지 안과 전문가 시스템(18)에 의해 분석하여 망막 질환과 치매의 위험도를 환자에게 통지할 수 있는 실시예를 보인다.

상기 인공지능 신경망(16) 내지 안과 전문가 시스템(18)의 또 다른 측면은, 음성인식 단말기(17)상에 어플(application software)로써 설치되는 인공지능 신경망 앱(app) 일수 있다. 이 경우 개발자에 의해 업그레이드된 어플을 디지털 통신 모듈(8)을 통해 지속적으로 수신할 수 있을 뿐만 아니라, 의료 데이터 수신부(12)에 의해 수집된 의료 데이터(망막 이미지 데이터)를 상기 인공지능 신경망 앱에 의해 분석하여 그 분석 결과를 사용자에게 제공 할 수 있다.

반면, 도 1b는, 스마트 리모컨(400)에 의해 측정된 의료 데이터를 의료데이터 수신부(12)가 수신하여 이를 인터넷망을 통해 서버(server)에 재전송하고, 음성인식 단말기(17)는 서버(13)상의 인공지능신경망(16) 내지 안과 전문가 시스템(18)에 의해 분석된 결과를 피드백 받아 환자에게 망막 질환과 치매의 위험도를 통지할 수 있는 실시예를 보인다.

본원의 일 실시예에 따르면, 스마트 리모컨(400)을 통해 사용자 인증이 수행될 수 있다. 사용자 인증은 지문 인증, 정맥인증, 망막 인증, 홍채 인증, 얼굴 인식 중 적어도 어느 하나를 통해 수행될 수 있다.

일예로, 망막 인증은 스마트 리모컨(400) 상의 망막 이미지 센서에 의해 얻어진 망막 이미지상의 망막 모세 혈관을 인식하여 이루어질 수 있다. 또한, 지문 인증은 사용자가 스마트 리모컨을 손으로 쥔 상태에서 지문 인식부(24,25,26,27)에 터치된 사용자의 엄지손가락의 지문을 인식하여 이루어질 수 있다. 또한, 상기 지문 인증의 또 다른 측면은 스마트 리모컨을 양손을 사용하여 잡은 상태에서 지문 인식부(24,25,26,27)에 터치된 사용자의 검지(집게) 손가락의 지문을 인식하여 인증을 수행할 수 있다. 또한, 정맥(vein) 인증은 스마트 리모컨(400)을 쥐고 있는 사용자의 손가락들의 정맥 혈관 패턴 (finger vein pattern)을 적외선을 사용하여 혈관을 투시한 후 반사된 정맥 이미지를 템플릿 이미지와 비교하여 인증할 수 있다.

상기 지문 인증과 망막 인증은 별도의 인증 절차 없이 스마트 리모컨 사용 도중에 사용자 인증이 이루어져, 인증 절차상의 편리함을 사용자에게 제공해 준다. 이 경우, 사용자는 리모컨 사용 중에 인증과 동시에 망막 질환과 치매 위험도를 생활 속에서 수시로 체크할 수 있다.

도 2는 눈 질환 및 치매 검사를 위해 망막 이미지 측정부(44) 및 측정된 망막 이미지를 표시하는 디스플레이 패널부(48)를 스마트 리모컨(400)의 후면부에 집적화한 일실시예로, 스마트 리모컨(400)은 망막 이미지 센서(42)에 의해 환자로부터 측정된 망막 이미지 데이터를 근거리 무선 통신 연결에 의해 의료 데이터 수신부(12)에 무선 전송할 수 있고, 또한 터치 스크린(401)상에 망막 이미지를 표시할 수 있다.

도 2의 (a)와 도 2의 (b)는 스마트 리모컨(400)의 정면도로, 스마트 리모컨(400)은 터치 스크린(401)상에 리모컨 모드와 눈 관리 모드 화면을 서로 번갈아 가면서 전환 가능한 메뉴 버튼이 구비되고, 리모컨 모드 동안에는 디지털 TV(300)의 기능을 제어하기 위한 리모컨 버튼들이 터치 스크린(401) 화면상에 표시되고, 눈 관리 모드 동안에는 치매 검사, 망막 검사, 안과 검사 및 안구 운동 모드를 포함하는 눈 관리 항목들 중 하나를 선택하기 위한 메뉴 선택 버튼이 터치 스크린(401) 화면상에 표시되는 것이 선호된다.

도 2의 (a)는 리모컨 모드 동안에 디지털 TV(300)의 기능을 제어하기 위한 리모컨 버튼들이 터치 스크린(401)상에 표시된 실시예이고, 도 2의 (b)는 눈 관리 모드시의 터치 스크린(401)상에 눈 관리 항목들이 표시되는 실시 예이다.

도 2의 (c)는 스마트 리모컨(400)의 후면도의 일실시예로, 망막 이미지 측정부(44) 및 측정된 망막을 표시하는 디스플레이 패널부(48)를 구비하는 것이 선호된다.

본 실시예에서는 스마트 리모컨(400) 측면의 상하 좌우 네 곳에 손가락(엄지 또는 검지)의 지문의 인증을 위한 지문 인식부(24,25,26,27)가 설치되어 있어, 사용자가 어떠한 방향으로 스마트 리모컨(400)을 손으로 잡아도, 네 곳 중 적어도 한곳의 지문 인식부에 손가락이 위치하게 되어, 스마트 리모컨(400)을 잡는 모양과 방향에 관계없이 지문 인증이 이루어지도록 하였다.

본 발명의 지문 인식부(24,25,26,27)는 정전용량방식, 초음파식 또는 광학식 지문 인식 센서를 사용하는 것이 선호된다.

상기 지문 인식부(24,25,26,27)는 줌버튼 기능을 겸용할 수 있다.

즉, 지문 인증에 0.1 내지 0.2초 내에 이루어지므로, 망막 이미지 측정부(44) 내지 디스플레이 패널부(48)에 줌(zoom)이 필요할 시 상기 지문 인식부(24,25,26,27) 상에 손가락(예컨대 검지)을 터치함으로써 줌 버튼 기능을 수행할 수 있다.

따라서, 줌버튼 터치와 동시에 사용자의 지문 인증이 이루어질 수 있다.

사용자는 망막 측정 동안 자신의 망막을 실시간으로 디스플레이 패널부(48)를 통해 관찰할 수 있어, 망막 이미지 측정부(44)의 수동 초점거리 조정에 용이하다.

즉, 디스플레이 패널부(48)는 현재 망막 이미지 측정부(44)에 의해 측정되고 있는 망막 이미지를 실시간으로 표시하므로, 사용자는 망막 이미지의 초점이 잘 안 맞은 경우로 판단되면, 줌버튼(24,25,26,27)을 터치하여 초점거리를 미세 조정할 수 있다.

도면부호 25와 26은 수동 초점거리 조정시 초점거리를 길게 하는 줌 버튼으로, 그리고 도면부호 24와27은 초점거리를 멀게 하는 줌 버튼으로 사용될 수 있다.

또한, 지문인식부(24,25,26,27)의 테두리는 자성체로 구성된 도체 전극들(24a,25a,26a,27a)을 포함할 수 있다.

또한, 본 발명에서 망막 이미지 측정부(44)는 수동 초점 거리 조정, 디스플레이 패널부(48)는 자동 초점 거리 조정이 선호된다.

도면 부호 30은 스마트 리모컨(400)에 의해 측정된 의료데이터를 의료 데이터 수신부(12)에 무선 통신(예컨대, 블루투스 통신, 인터넷 또는 적외선 통신)에 의해 송출하는 무선 송신부이다.

도 3a는 본 발명에 따른 스마트 리모컨(400)의 후면부에 설치된 망막 이미지 측정부(44)와 디스플레이 패널부(48)의 일 실시예로, 망막 이미지 측정부(44)는 빔을 발생시키는 광원(43), 상기 광원(43)으로부터 발생된 빔의 극성을 변화시켜 제1빔(B1)을 생성하는 제1 폴러라이저(Polarizer, 20a), 상기 제1 빔(B1)을 피 측정자(86)의 망막(60)을 향하도록 굴절시키는 빔 분리기(beam splitter, 45), 상기 제1 빔을 망막(60)에 입사시키거나 망막(60)으로부터 반사된 무극성화된(unpolarized) 빔을 집광하여 제 2빔(B2)을 생성하는 제1 렌즈부(46); 상기 빔 분리기(45)를 통과한 제2빔(B2)으로부터 각막 반사(cornea reflection) 성분을 최소화하기 위한 제2 폴러라이저(20b); 상기 제2 폴러라이저(20b)를 통과된 상기 제 2 빔(B2)을 수광하여 망막 이미지를 형성하는 망막 이미지 센서(42)를 포함한다.

도면 부호 22는 빔 분리기(45)를 통과한 제 1빔(B1)을 흡수하기 위한 광 흡수체이다.

바람직하게는, 상기 제 1 폴러라이저(20a)와 상기 제 2 폴러라이저(20b)는, 제1빔(B1)과 제2빔(B2)간의 간섭 및 각막 반사 성분을 줄이기 위해, 90°의 위상차를 갖도록 서로 cross polarized되어 있다.

상기 망막 이미지 센서(42)는 사용자가 스마트 리모컨(400)을 잡는 방향을 달리하면서 좌우측 눈을 번갈아 가면서 관찰될 수 있다. 즉, 상기 망막 이미지 측정부(44)는 스마트 리모컨(400)을 잡는 방향을 바꾸어 가면서 좌우측 눈의 망막을 교대로 번갈아 가면서 측정할 수 있다.

또한, 상기 망막 이미지 센서 (42)로부터 획득된 망막 이미지는, 망막 분석용 인공 지능 신경망(16) 내지 안과 전문가 시스템(18)에 의해 분석되고, 환자의 망막에 관련한 질병 유무와 치매 위험도를 판별하여 환자에게 디지털 TV나 문자메시지로 알려줄 수 있다.

본 발명에서 망막 분석용 인공 지능 신경망(16) 내지 안과 전문가 시스템(18)은 음성인식 단말기(17) 내지 서버(13)상에 구축될 수 있다.

또한, 디스플레이 패널부(48)는, 망막 이미지 센서 (42)에 의해 획득된 망막 이미지를 표시함으로써, 피 측정자가 해당 망막 이미지를 볼 수 있도록 하기 위한 화상 표시 소자(47), 상기 화상 표시 소자(47)에 표시되는 이미지를 확대하여 피측정자(86)의 안구(62) 방향으로 굴절시키는 제2 렌즈부(49a), 상기 화상 표시 소자(47)와 상기 제 2 렌즈부(49a) 사이에 배치되어 이미지 왜곡 및 수차를 보정하기 위한 보정 렌즈부(49b)를 포함한다.

상기 화상표시소자(47)는 개개의 화소 요소를 이루는 마이크로 픽셀의 LED 배열로 구성된 마이크로LED를 사용하여 형성되는 것이 선호된다.

상기 화상표시소자(47)의 또 다른 측면은 안과 검사 및 안구 운동 모드 동안 사용자의 눈동자를 추적하기 위해, 적외선 필터가 구비된 동공 이미지 센서(47a)를 구비할 수 있다.

이때, 동공 이미지 센서(47a)가 사용자의 눈동자를 추적할 수 있도록 화상 표시 소자(47)는 투명 스크린 패널을 사용한다.

또한, 본 실시예의 디스플레이 패널부(48)는 안과 검사 및 안구 운동 모드 동안 사용자의 시선을 추적하기 위해, 동공 이미지 센서(47a)와 복수개의 적외선 LED(47b)를 구비할 수 있다. 이때 상기 복수개의 적외선 LED(47b)는 제2렌즈 배럴(48a)의 접안부를 따라 배치되어 사용자의 동공에 적외선을 비추고, 상기 동공 이미지 센서(47a)는 사용자의 눈으로부터 동공 이미지를 얻는다.

본 실시예를 따르는 눈 응시(eye gaze) 처리부는 상기 복수개의 적외선 LED(47b) 중 일부는 온(on)하고 일부는 오프(off)하는 선택적 온-오프(On-off) 조합으로, 사용자의 동공에 적외선을 비출 수 있고, 이에 따라 동공 이미지 센서(47a)에 의해 얻어진 다양한 동공 이미지로부터 사용자의 눈 응시 방향을 산출할 수 있다. 또한, 상기 복수개의 적외선 LED(47b)는 서로 다른 파장을 방출하는 적외선 LED들로 구성될 수 있다.

즉, 눈 응시 처리부는 복수개의 적외선 LED(47b)에 대한 선택적 온-오프(On-off) 조합으로, 다양한 각도, 파장 와 세기로 사용자의 동공에 적외선을 비출 수 있어, 눈 응시방향 산출에 방해가 되는 요인을 회피하면서 사용자의 눈 응시 방향을 산출할 뿐만 아니라, 시선추적을 할 수 있다.

또한, 동공 이미지 센서(47a)가 화상 표시 소자(47)를 투과하여 사용자의 눈동자(62a)를 추적할 수 있도록 화상 표시 소자(47)는 투명 스크린 패널을 사용하는 것이 선호된다. 상기 동공 이미지 센서(47a)는 적외선 카메라일 수 있으나, 이에 한정되는 것은 아니다.

또한, 스마트 리모컨 제어부는 홍채 운동이 되도록 디스플레이 패널부(48)에 명암(홍채) 스트레칭 안구 운동 이미지를 표시해 줄 수 있다.

또한, 스마트 리모컨 제어부는 명암(홍채) 스트레칭 안구 운동 동안, 사용자의 동공에 명암 변화를 유도함으로써, 홍채 운동이 되도록 망막 이미지 측정부(44)의 밝기를 제어하고, 동시에 상기 명암(홍채) 스트레칭 안구 운동 이미지의 밝기와 동기화되도록 상기 망막 이미지 측정부(44)의 밝기의 세기를 조절함으로써 사용자의 양쪽 눈에 대해 동기화된 명암(홍채) 스트레칭 운동을 유도하는 것을 특징으로 한다. 이 경우 한쪽 눈은 명암(홍채) 스트레칭 안구 운동 이미지에 의해 홍채 스트레칭 운동이 유도되고, 반대편 눈은 상기 망막 이미지 측정부(44)의 밝기 조절에 의해 홍채 스트레칭 운동이 유도된다. 상기 망막 이미지 측정부(44)의 밝기 조절은 광원(43)의 밝기를 조절함으로써 얻어지는 것이 선호된다.

도면부호 44a는 제1렌즈부(46)부를 기구적으로 지지하는 제1렌즈 배럴이고, 도면부호 48a는 제 2렌즈부(49a)부를 기구적으로 지지하는 제 2렌즈 배럴이다.

상기 제1렌즈 배럴(44a)과 제2렌즈 배럴(48a)은 경통(44b, 48b)의 회전에 따라 광축 방향으로 전진 내지 후진함에 따라 광학 초점거리를 조절할 수 있다.

바람직하게는 상기 렌즈 배럴(44a, 48a)의 테두리에는 피측정자의 눈 주위 부분의 형태에 상응하도록 형성된 탄성체(40)를 포함하는 접촉구조에 의해, 피 측정자(86)의 눈 주위로 밀착되게 할 수 있다.

본 발명의 스마트 리모컨(400)은 피 측정자의 신체 조건에 따라 망막 이미지 측정부(44)와 디스플레이 패널부(48) 사이의 거리를 조정하는 미간 거리 조정 수단을 구비할 수 있다.

본 발명의 제 1렌즈부(46), 제 2 렌즈부(49a), 보정 렌즈부(49b)는 액체 렌즈로 대체될 수 있다. 상기 액체 렌즈는 전기 제어에 따라 액체의 표면장력이 바뀌는 일렉트로웨팅(electrowetting) 현상을 이용하여 액체의 두께를 바꿈으로써 초점 거리를 변화시킬 수 있다.

도 3b는 디스플레이 패널부 (48)의 또 다른 실시예로, 안과 검사 및 안구 운동 모드 동안 사용자의 시선을 추적하기 위해, 제2렌즈 배럴(48a)의 접안부를 따라 복수개의 동공 이미지 센서(47a)와 복수개의 적외선 LED(47b)를 구비할 수 있다. 또한, 상기 복수개의 적외선 LED(47b)는 서로 다른 파장을 방출하는 적외선 LED들로 구성될 수 있다.

본 실시예를 따르는 눈 응시(eye gaze) 처리부(50a)는 상기 복수개의 적외선 LED(47b)와 복수개의 동공 이미지 센서(47a)의 선택적 온-오프(On-off) 조합으로부터, 사용자의 응시 방향 파악에 유리한 동공 이미지 조합을 얻어 사용자의 눈 응시 방향 산출 및 시선 추적을 할 수 있다.

예컨대, 눈 응시(eye gaze) 처리부는 복수개의 적외선 LED(47b) 중 일부는 온(on)하고 일부는 오프(off)한 상태에서, 복수개 동공 이미지 센서(47a) 중 선택된 하나의 이미지 센서에 의해 얻어진 동공 이미지에 의해 사용자의 눈 응시 방향 산출 및 시선 추적을 할 수 있다.

도 3c와 도 3d는 제 1렌즈부(46)와 망막 이미지 센서(42), 또는 제2 렌즈부(49a)와 화상 표시 소자(47) 간의 초점거리를 조정하기 위하여 제1렌즈부 및 제2 렌즈부(46,49a)의 광로를 따라 전후 방향으로 이동시키는 초점거리 조정 구동부(34)의 일실시예로, 외관을 이루며 내부에 다수의 부품을 수납하기 위한 스마트 리모컨(400)의 바디(400a), 제1렌즈부(46)부를 기구적으로 지지하는 제1렌즈 배럴(44a), 제2렌즈부(49a)부를 기구적으로 지지하는 제2렌즈 배럴(48a), 제1렌즈 배럴(44a)과 제2렌즈 배럴(48a)의 각각의 원주 둘레에 형성된 원형 돌기 핀(44e,48e); 스텝모터(32)의 회전에 따라 경통(44b,48b)을 회전시키기 위한 웜(worm, 71c), 웜기어(71b), 래크(71a), 피니언(pinion, 44c, 48c)으로 구성된 기어부(100); 및 웜기어(71b) 와 래크(71a)의 직선운동 경로를 제공하는 기어축(77)으로 구성된다.

또한, 초점거리 조정 구동부(34)는 경통(44b, 48b)이 회전하는 동안에, 상기 제 1렌즈부(46)부 및 제 2렌즈부(49a)부를 광축에 따라 전후진 이동시키기 위해 경통(44b, 48b)의 둘레를 따라 경통 안내공(44d, 48d)을 구비한다.

상기 경통 안내공(44d, 48d)은 원형 돌기 핀(44e, 48e)과 결합되어, 경통(44b, 48b)이 회전하는 동안 원형 돌기 핀(44e, 48e)에게 이동 경로를 제공하여, 상기 렌즈 배럴(44a, 48a)이 전후 방향으로 이동하게 된다.

스텝모터(32)는 줌 버튼(24,25,26,27)에 의하여 정, 역회전이 가능한 구조로 이루어지고 있다. 도면부호 25와 26은 수동 초점거리 조정시 초점거리를 길게 하는 줌 버튼이고, 도면부호 24와27은 초점거리를 멀게 하는 줌 버튼이다.

상기 스텝 모터(32)의 선단 축부에는 웜(worm, 71c)이 형성되어 스텝 모터(32)의 회전에 따라 동시에 회전이 이루어지는 구조로 되어 있다.

또한, 웜(71c)은 웜(71c)에 치합되는 웜기어(71b)가 맞대어 배치되어 웜(71c)의 회전에 따라 웜기어(71b)와 래크(rack, 71a)가 기어축(77)을 따라 좌우 직선운동을 하게 된다.

또한, 이와 동시에, 래크(71a)와 치합되는 피니언(44c, 48c)이 경통(44b,48b)의 외주에 일체화되어 있어, 웜(71c)의 회전에 따라 경통(44b,48b)도 함께 회전하게 된다.

상기 구성에 의한 초점 거리 조정 구동부(34)의 동작은 다음과 같다.

스텝 모터(32)가 회전함에 따라 웜(71c)이 회전하기 시작하면, 웜(71c)과 치합 되어 연결되는 웜기어(71b)-래크(71a)-피니언(44c, 48c)을 거쳐 경통(44b, 48b)이 회전하기 시작한다.

경통(44b, 48b)이 회전하는 동안 경통(44b, 48b)의 중심 위치는 일정하게 고정되어 있으므로 결과적으로 원형 돌기 핀(44e, 48e)이 경통 안내공(44d, 48d)을 따라서 움직이게 된다.

도 3c에 예시된 바와 같이, 스텝모터(32)의 회전에 따라 원형 돌기 핀(44e, 48e)이 경통 안내공(44d, 48d)을 따라서 움직이게 되면, 제 1 렌즈 배럴(44a)과 제 2 렌즈 배럴(48a)이 경통(44b, 48b)의 내부에서 광로를 따라 전진 또는 후진 이동을 하게 된다. 이에 따라 렌즈부(46,49a)의 초점 거리가 변화되어, 줌 기능이 제공될 수 있다.

도 4는 사용자가 스마트 리모컨(400)의 착탈을 허용하는 헤드셋(500)의 일 실시예로, 상기 헤드셋(500)은 클립(37a)을 밴드(37)를 따라 슬라이딩(sliding)함에 따라 밴드(37)의 길이를 조절할 수 있다.

본 실시예에서는, 지문인식부(24,25,26,27)의 테두리는 도체 자성체 전극들(24a,25a,26a,27a)을 포함하며, 이들 도체 자성체 전극들(24a,25a,26a,27a)과 헤드셋(500)의 하우징(36)에 설치된 영구 자석들(36a, 36b, 36c, 36d) 간의 자력(magnetic force)에 의해 스마트 리모컨(400)이 하우징(36)에 결합된다.

또한 영구자석(36a,36b,36c,36d)은 저항(38a,38b)을 통해 전기적으로 연결된다.

상기 스마트 리모컨(400)은 스마트 리모컨(400)과 헤드셋(500)의 결합 여부를 감지하여 자동으로 눈 관리 모드로 전환하는 눈 관리 모드 감지 수단(70)을 구비할 수 있다. 또한, 눈 관리 모드 동안에는 지문인식부(24,25,26,27)는 줌 버튼으로 동작할 수 있다.

도 4를 참조하면, 도면부호 67은 스마트 리모컨(400)과 근거리 무선 통신(예컨대 블루투스)에 의해 연결되는 이어폰으로, 사용자가 안과 검사 및 안구 운동 동안, 스마트 리모컨 제어부(50)로부터 제공되는 안과 검사 및 안구 운동 방법에 대한 가이드 정보를 들을 수 있다. 즉, 도면부호 67은 가이드 정보를 출력하기 위한 이어폰일 수 있다.

도 4의 (b)는 헤드셋(500)의 하우징(36)에 설치된 영구 자석들(36a,36b,36c,36d)의 자력에 의해 스마트 리모컨(400)이 하우징(36)에 결합된 실시예를 보인다.

도 4의 (c)는 스마트 리모컨 (400)이 헤드셋(500)의 하우징(36)에 스마트 리모컨(400)이 착탈 가능할 뿐만 아니라 3D 가상현실 안경으로 개조되는 복수의 실시예를 포함한다.

도 4의 (c)에 도시된 실시예 1은 사용자의 망막으로부터 망막 이미지를 측정하기 위한 망막 이미지 측정부(44) 및 상기 측정된 망막 이미지를 표시하는 디스플레이 패널부(48)를 스마트 리모컨(400)의 좌우측 각각에 구비한 경우로, 망막 이미지 측정부(44)를 통해 얻어진 한쪽 눈의 망막의 이미지를 디스플레이 패널부(48)를 통해 반대쪽 눈으로 관찰할 수 있다.

실시예 2는 양쪽 눈을 이용하여 안구 운동을 할 수 있도록 스마트 리모컨(400)의 좌우측 각각에 디스플레이 패널부(48)를 구비한 경우로, 사용자는 디스플레이 패널부(48)를 통해 제공되는 안구 운동 이미지 동영상을 시청하면서 안구 운동을 할 수 있다.

또한, 실시예 2의 또 다른 측면은 스마트 리모컨(400)이 3D 가상현실 안경으로 개조되어 사용될 수 있으며, 이 경우, 양쪽 눈의 시각차이를 이용하여 양안시차(binocular disparity) 가 있는 한 쌍의 2차원 영상을 스테레오 스코픽(stereoscopic)방법에 의해 좌우측 각각의 디스플레이 패널부(48)에 각각 보여주는 것이 필요하다.

실시예 3은 사용자의 양쪽 눈의 망막으로부터 망막 이미지를 측정하기 위한 망막 이미지 측정부(44)를 스마트 리모컨(400)의 좌우측 각각에 구비한 경우로, 망막 이미지 측정부(44)를 통해 얻어진 망막의 이미지를 이용하여 사용자의 망막 건강 상태 와 치매 위험도를 측정할 수 있다.

헤드셋(500)의 하우징(36)에 스마트 리모컨(400) 착탈이 가능함으로, 안구 운동 모드에서는 실시예 2를 따르는 스마트 리모컨(400)을 하우징(36)에 결합하여 사용하고, 반면에 양쪽 눈의 망막 이미지를 사용하여 망막 건강 상태와 치매 위험도를 측정하려면 실시예 2를 따르는 스마트 리모컨(400)을 하우징(36)에 결합하여 사용할 수 있다.

도 5는 스마트 리모컨 (400)이 헤드셋(500)의 하우징(36)에 회전가능 하도록 장착되어, 좌우측 눈을 교대로 번갈아 가면서 검사할 수 있는 실시예를 보인다.

망막 이미지 측정부(44)에 의해서는 사용자의 망막 질환을 검사하고, 디스플레이 패널부(48)를 통해 표시된 테스트 이미지에 의해서는 사용자의 안과 검사를 수행하게 된다.

상기 테스트 이미지는 시야 검사용 테스트 이미지, 녹내장 검사용 테스트 이미지 또는 황반 변성 검사용 테스트 이미지를 포함할 수 있다.

예컨대, 망막 검사와 안과 검사는 좌측 눈과 우측 눈을 따로따로 번갈아 가면서 측정해야 하기 때문에, 도 5의 (a)의 예시에서처럼 우측 눈 망막 검사 또는 좌측 눈의 안과 검사를 수행한 이후, 사용자는 스마트 리모컨 (400)을 헤드셋(500)의 하우징(36)상에서 시계방향으로 회전시켜 도 5의 (f)의 예시에서 도시된 바와 같이 좌측 눈의 망막 검사 또는 우측 눈의 안과 검사를 할 수 있다.

안구 운동 동안에는 눈의 구조상 양쪽 눈이 같은 운동을 하게 되어 있으므로, 한쪽 눈의 디스플레이 패널부(48)에 의해 표시된 안구 운동 이미지만으로도 양쪽 눈의 안구 운동을 유도할 수 있다.

지문 인식부(23)는 헤드셋(500) 사용자의 지문을 인식한다. 도면 부호 68은 USB 연결단자이다.

도 6의 (a)는 스마트 리모컨(400)과 헤드셋(500)의 결합 여부를 감지하여 자동으로 눈 관리 모드로 전환하는 눈 관리 모드 감지 수단(70)의 일 실시예이다.

본 실시예에서는 도체 전극들(24a,25a,26a,27a)은 구동 전극과 검출 전극으로 사용된다. 예컨대 전극 24a와 전극 25a을 구동 전극으로 사용하는 경우, 나머지 전극26a 와 전극 27a은 검출 전극으로 사용된다.

이하 상기 구동 전극 (24a,25a) 과 검출 전극(26a,27a)을 사용한 눈 관리 모드 감지 수단(70)의 실시예를 설명하고자 한다.

눈 관리 모드 감지 수단(70)은 구동전극(24a,25a)을 통해 전압을 출력하고 검출전극(26a,27a)에서 소정의 전압이 검출되면 스마트 리모컨(400)과 헤드셋(500)간의 결합이 제대로 이루어진 것으로 판단한다.

예컨대, 스마트 리모컨(400)과 헤드셋(500)간의 결합이 제대로 이루어진 경우, 상기 구동 전극(24a,25a)에 접한 영구자석(36a,36c)을 통해 통전되는 전류는 상기 검출 전극(26a,27a)을 통전시키고, 이 통전된 전류로부터, 전압을 검출하여 스마트 리모컨(400)과 헤드셋(500)간의 결합 여부를 판단할 수 있다.

본 발명의 예시에 따르는 눈 관리 모드 감지 수단(70)은, 구동신호를 인가하는 구동전극(24a,25a), 상기 구동전극(24a,25a)에 인가할 구동신호를 생성하는 전압발생기(40), 저항(38a,38b)을 경유하여 상기 검출전극(26a,27a)을 통해 수신된 신호의 전압을 검출하기 위한 전압 검출기(41), 상기 전압 검출기(41)의 출력을 디지털 신호로 변환하기 위한 AD 변환기(64);로 구성될 수 있다

상기 AD 변환기(64)에 의해 변환된 데이터는 스마트 리모컨 제어부(50) 입력된다. 스마트 리모컨 제어부(50)는 상기 AD 변환기(64)에 의해 변환된 데이터가 소정치 이상이면 스마트 리모컨(400)과 헤드셋(500)간의 결합이 제대로 이루어진 것으로 판단하고

상기 스마트 리모컨(400)을 눈 관리 모드로 자동 전환한다.

도 6의 (b)는 체지방 측정 원리를 이용하여 사용자 손(800)이 스마트 리모컨(400)의 도체 전극들(24a,25a,26a,27a)을 잡았는지 판단하여 자동으로 눈 관리 모드로 전환하는 눈 관리 모드 감지 수단(70)의 일 실시예이다.

본 실시예에서 도 6(a)의 저항(38a,38b)은 인체의 저항 성분으로 대체된다.

구체적으로는, 다음의 제 1 조건과 제 2 조건을 만족하는 경우 스마트 리모컨 제어부(50)는 스마트 리모컨(400)을 눈 관리 모드로 자동 전환한다.

제 1 조건은 구동전극(24a,25a)을 통해 전압 신호를 출력하고 검출전극(26a,27a)에서 소정의 전압이 검출되는 경우로, 사용자가 스마트 리모컨(400)의 네개의 전극들(24a,25a,26a,27a)을 손(800)으로 동시에 잡았다는 것을 의미한다.

제 2 조건은 망막 이미지 센서(42)에 의해 망막 이미지가 감지되고 동시에 동공 이미지 센서(47a)에 의해 사용자의 동공 내지 홍채가 감지된 경우 사용자가 제 1 렌즈부(46)와 제 2렌즈부(49a)에 접안(렌즈에 안구가 맞닿아 있다는 의미)했다는 것을 의미한다.

따라서 상기 제 1 조건과 제 2 조건을 동시에 만족하는 경우, 스마트 리모컨(400)은 눈 관리 모드로 자동 전환된다.

눈 관리 모드 감지 수단(70)의 또 다른 측면은 눈 관리 모드로 전환 후 상기 제 1 조건 또는 제 2 조건을 만족하지 않은 경우 소정의 시간 후에 자동으로 리모컨 모드로 자동 전환하는 것을 특징으로 한다.

도 7은 스마트 리모컨(400)의 동작을 설명하기 위한 내부 블록도로, 원격 의료 진단 동안 안과 의사는 원격으로 초점 거리 조정 구동부(34)를 제어하여 망막 이미지에 대한 초점거리를 수동 조정할 수 있다.

예컨대 안과 의사와 환자 간에 원격 의료 진단 동안, 디지털 통신 모듈(8) 내지 무선 통신 연결수단(31)을 통해 원격지에서 초점 거리 조정 구동부(34)를 제어하여 망막 이미지에 대한 초점거리 조정을 할 수 있다. 즉, 안과 의사는 디지털 통신 모듈(8) 내지 무선 통신 연결수단(31)을 통해 원격으로 모터 구동부(33)를 제어하여 스텝모터(32)의 정방향 또는 역방향 회전을 제어할 뿐만 아니라, 망막 이미지를 캡쳐하여 원격지에서 환자의 망막 검사를 도와줄 수 있다.

상기 초점 거리 조정 구동부(34)의 또 다른 측면은, 스마트 리모컨 제어부(50)가 망막 이미지 센서(42)에 의해 얻어진 망막 이미지에서 초점 조정 영상 정보를 추출하여 초점 거리 조정 구동부(34)를 제어함으로써, 자동으로 초점거리가 조정될 수 있다.

상기 초점 조정 영상 정보는 위상차(Phase difference) 검출 방식 또는 컨트라스트(Contrast) 검출 방식을 사용할 수 있다.

또한, 스마트 리모컨(400)은 스마트 리모컨(400)에 의해 측정된 의료데이터를 음성인식 단말기(17)의 의료 데이터 수신부(12)에 전송하기 위해, 무선 통신 연결 수단(31)을 통해 음성인식 단말기(17)로 송신할 수 있다.

또한, 스마트 리모컨 제어부(50)는 망막 이미지 측정부와 디스플레이 패널부를 제어할 뿐만 아니라, 터치스크린 (401)을 제어하거나 망막 이미지 센서(42)에 의해 얻어진 망막 이미지를 화상 표시 소자(47)에 디스플레이 할 수 있다.

또한, 인공지능 신경망(16)은, 스마트 리모컨(400) 상에 어플(application software)로써 상주하는 인공지능 신경망 앱(16a)을 구비하여, 망막 이미지 센서(42)에 의해 측정된 의료 데이터를 분석하여 그 결과를 사용자에게 제공할 수 있다.

또한, 스마트 리모컨 상에 의해 측정된 의료 데이터를 핸드폰에 전송하고, 이후 핸드폰 상에 어플(application software)로써 설치된 인공지능 신경망에 의해 상기 의료 데이터의 분석한 결과를 사용자에게 제공할 수 있다.

이 경우 상기 인공지능 신경망 앱(16a)은 버전 업그레이드에 따라 스마트 리모컨(400)의 성능 개선을 꾸준히 개선할 수 있는 장점을 제공한다.

상기 인공지능 신경망 앱(16a)은 망막 이미지 센서(42)에 의해 얻어진 망막 이미지로부터 망막 모세 혈관을 인식하는 망막 인증부를 구비할 수 있다.

상기 인공지능 신경망(16)의 또 다른 측면은 상기 스마트 리모컨(400)에 의해 측정된 의료 데이터를 음성인식 단말기(17) 내지 디지털 TV가 수신하여 이를 인터넷망(202)을 통해 서버(13)에 재전송하고, 서버(13)상의 인공지능 신경망(16) 내지 안과 전문가 시스템(18)에 의해 분석된 결과를 피드백 받아 환자에게 망막 질환과 치매의 위험도를 통지하는 것을 특징으로 한다.

본 발명의 안과 검사, 망막 질환 검사, 치매검사, 안구 운동 모드 동안 사용자의 눈동자를 추적하기 위해, 적외선 필터가 구비된 동공 이미지 센서(47a)를 구비할 수 있다.

적외선 필터는 동공 이미지 센서(47a)에서 수광된 신호에서 가시광선을 필터링함으로써 사용자의 동공(pupil)의 위치를 파악하기 용이하다.

스마트 리모컨 제어부(50)는 망막 질환, 치매 위험도 검사, 안과 검사(녹내장 검사, 황반변성 검사, 시력 검사, 색맹검사), 안구 운동 모드 동안 사용자의 눈 응시(gaze) 위치를 파악하여 화상 표시 소자(47) 상에, 커서(cursor)를 표시하는 눈 응시(eye gaze) 처리부(50a)를 구비하는 것을 특징으로 한다.

상기 눈 응시 처리부(50a)는 화상 표시 소자(47)의 스크린상에 사용자 눈의 응시(gaze) 위치를 십자(cross) 마크 커서로서 표시하게 할 수 있다.

화상 표시 소자(47)는 투명 스크린 패널이 선호된다. 이 경우 동공 이미지 센서(47a)는 투명 스크린 패널을 통해 사용자의 눈동자(62a)의 응시 위치를 파악할 수 있다.

투명 스크린 패널은 투명 LCD(liquid crystal display), 투명 AMOLED (Active Matrix Organic Light Emitting Diode), 또는 투명 OLED (Organic Light Emitting Diode) 중 어느 하나가 선호된다.

본 발명의 눈 응시 처리부(50a)는 안구 운동 모드 동안 사용자의 눈 응시 위치를 파악하여 화상 표시 소자(47) 상에 커서를 표시하고, 스마트 리모컨 제어부(50)는 안구 운동 모드 동안 스폿을 화상 표시소자(47)에 표시하여, 상기 스폿의 움직임에 따라 안구를 움직이게 함으로서 사용자의 안구 운동을 유도할 뿐만 아니라, 스폿의 움직임 속도를 조절하는 스폿 속도 조절부(50b)를 구비할 수 있다.

또한, 눈 응시(eye gaze) 처리부(50a)는 사용자의 응시 방향 파악에 유리한 동공 이미지를 얻기 위해, 복수개의 적외선 LED(47b) 중 일부를 선택하여 온(on)하고, 그리고 복수개의 동공 이미지 센서(47a) 중 어느 하나를 선택하여 온(on) 함으로서, 사용자의 눈 응시 방향 산출 및 시선 추적을 할 수 있다.

스마트 리모컨 제어부(50)는 시야 결손 측정부(50c), 녹내장 검사를 위한 녹내장 측정부(50d), 황반변성 측정부(50e)를 포함할 수 있다

또한 스피커부(39a) 및 마이크부(39b)는 사용자와 스마트 리모컨(400) 간의 대화 방식에 의해 안과 검사 및 안구 운동에 대한 가이드 제공을 허용한다.

또한, 스마트 리모컨 제어부(50)는 명암(홍채) 스트레칭 안구 운동 동안, 광원(43)의 밝기와 디스플레이 패널부(48)의 명암(홍채) 스트레칭 안구 운동 이미지의 밝기가 동기화되도록, 동공 이미지 센서(47a)는 현재의 명암(홍채) 스트레칭 안구 운동 이미지의 밝기를 계측하고, 망막 이미지 센서(42)는 광원(43)의 현재 밝기를 계측하여, 광원(43)의 밝기의 세기가 현재의 명암(홍채) 스트레칭 안구 운동 이미지의 밝기와 같아지도록 피드백 제어하는 홍채 동기화 조절 수단(50f)을 구비할 수 있다.

도 8은 본 발명의 실시예를 따른 스마트 리모컨을 사용하여 시야(visual field) 검사용 테스트 이미지(80)를 화상 표시 소자(47) 상에 표시하여 시야 결손 영역 검사를 하는 일 실시예로, 시야 결손 측정부(50c)는 시야 검사용 테스트 이미지(80)의 중심점(80a)을 사용자가 응시하는 동안에는 시야 검사용 테스트 이미지(80)상의 소정의 위치에 무작위 숫자를 표시하고, 사용자가 중심점(80a)을 응시하지 않는 동안에는 상기 숫자를 사라지게 한다. 예컨대, 사용자의 눈 응시 방향이 중심점(80a)을 이탈한 경우에는 숫자를 사라지게 하고, 중심점(80a) 복귀시에는 이전과는 다른 숫자를 무작위로 선택하여 다시 표시해준다.

예컨대, 눈 응시 처리부(50a)는 사용자의 눈동자(62a)를 추적하여 눈 응시 위치를 파악하여 시야 검사용 테스트 이미지(80)상에 십자 커서(80b)로서 중첩하고, 시야 결손 측정부(50c)는, 눈의 응시 위치가 시야 검사용 테스트 이미지(80)의 중심점(80a)의 소정이 범위 내에 머무르는 경우, 시야 검사용 테스트 이미지(80)의 외곽 부근에 랜덤 숫자를 표시하고, 사용자에게 표시된 숫자가 무엇인지를 대화형식으로 물어본다. 만약 사용자가 제대로 답변을 못하는 경우 해당 영역을 시야 결손 영역으로 등록한다.

또한, 시야 결손 측정부(50c)는 사용자의 눈의 응시 위치가 시야 검사용 테스트 이미지(80)의 중심점(80a)에서 이탈한 경우, 시야 검사용 테스트 이미지(80)상에 표시된 숫자는 즉시 사라지게 하고, 사용자의 눈 응시 위치가 중심점(80a)에 위치하도록 스피커부(39a)를 통해 가이드하는 것이 선호 된다

예컨대, 시야 결손 측정부(50c)는 도 8의 (a), 도 8의 (c)와 도 8의 (d)의 예시처럼, 사용자의 눈의 응시 위치가 시야 검사용 테스트 이미지(80)의 중심점(80a)의 소정이 범위 내에 머무르는 경우, 시야 검사용 테스트 이미지(80)의 외곽 부근에 랜덤 숫자(9a,9b,9c)를 표시하고, 사용자에게 표시된 숫자(9a,9b,9c)가 무엇인지를 대화형식으로 물어본다. 만약 사용자가 정답을 말하지 못하거나 틀린 경우 해당 영역을 시야 결손 영역으로 등록한다.

또한, 시야 결손 측정부(50c)는 도 8의 (b), 도 8의 (e)와 도 8의 (f)의 예시처럼, 사용자의 눈의 응시 위치가 시야 검사용 테스트 이미지(80)의 중심점(80a)에서 이탈한 경우, 시야 검사용 테스트 이미지(80)상의 숫자는 즉시 사라지게 하고, 사용자의 눈 응시 위치가 중심점(80a)에 위치하도록 스피커부(39a)를 통해 사용자에게 가이드한다.

시야 결손 측정부(50c)는 시야 검사용 테스트 이미지(80) 상에서 위치를 달리해 가면서, 랜덤 숫자를 표시하고, 사용자와의 대화 형식을 통해 사용자의 시야 결손 영역을 확인하게 된다.

바람직하게는 2회 이상 시야 결손 영역으로 등록된 영역에 대해 시야 결손 영역으로 확정하는 것이 선호된다.

스마트 리모컨 제어부(50)는 시야 결손 영역의 크기 내지 시야 결손 영역의 개수가 소정치 이상인 경우 환자에게 녹내장 내지 황반 변성 위험을 통지할 수 있다.

도 9는 녹내장 검사용 테스트 이미지(90)의 일실시예로, 녹내장 측정부(50d)는 원(90a)을 화상 표시 소자(47) 상에 표시하고, 동시에 상기 원(90a)의 반경(R), 원(90a)의 선 굵기(T), 원(90a)의 선 명암을 변화시켜 가면서 사용자와 스마트 리모컨(400) 간의 대화 방식에 의해 시야 범위를 체크함으로써 사용자의 녹내장 증상을 검사하는 일실시예이다.

녹내장은 시야가 좁아지는 현상으로 이미지의 테두리 외곽이 안 보이는 현상이 가장 흔한 현상으로 녹내장 측정부(50d)는 녹내장 검사용 테스트 이미지(90)를 사용하여 사용자의 시야 범위를 체크할 수 있다.

예컨대, 녹내장 측정부(50d)는 도 9(a)처럼, 정해진 최소 반경(R)으로부터 출발하여 원(90a)의 반경(R)을 증가시켜가면서 대화 방식으로 사용자에게 원(90a)의 존재유무를 묻는다.

예를 들면, "주인님, 화면상에서 원이 보이나요?"

만약 도 9(b) 상태에서 원(90a)이 보이지 않는다고, 사용자(주인님)가 답변하면, 녹내장 측정부(50d)는 도 9(c) 또는 도 9(d)의 예시처럼 해당 원의 선두께 내지 선의 명암을 변화시켜 가면서 사용자에게 원(90a)이 존재 유무를 다시 물어, 사용자의 시야 범위를 체크하게 된다. 이후 원의 반경을 증감시켜 가면서, 도 9(b) 내지 도 9(d)과정을 반복하여 사용자의 시야 범위를 확인하게 된다.

또한, 눈 응시(eye gaze) 처리부(50a)는 녹내장 검사 동안 사용자의 눈동자(62a)를 추적하여 눈 응시(gaze) 위치를 파악하고, 녹내장 검사용 테스트 이미지(90) 상에 커서(cursor)로서 중첩하여 표시하고, 녹내장 측정부(50d)는 눈의 응시 위치가 녹내장 검사용 테스트 이미지(90)의 중심점(90b)에서 이탈한 경우, 녹내장 검사용 테스트 이미지(90)상에 표시된 원(90a)을 즉시 사라지게 하는 동시에, 사용자의 눈 응시 위치가 녹내장 검사용 테스트 이미지(90)의 중심점(90b)에 위치하도록 스피커부(39a)를 통해 사용자에게 가이드하는 것이 선호 된다.

도 10은 황반 변성 검사용 테스트 이미지(81)를 이용하여 황반 변성 검사를 하는 일 실시예로. 황반 변성 측정부(50e)는 먼저, 화상 표시 소자(47) 상에 도 10과 같은 황반 변성 검사용 테스트 이미지(81)를 표시하고, 황반 변성 검사용 테스트 이미지(81)상에 선이 구부러진 부분(82), 검은 점(84)이나 흰 구름(83) 같이 왜곡된 부분이 보이는지 환자에게 물어본다.

상기 황반 변성 검사용 테스트 이미지(81)는 체크무늬 패턴이 선호된다.

환자가 선이 구부러진 부분(82), 검은 점(84) 이나 흰 구름(83)이 보인다고 말을 할 경우

스마트 리모컨 제어부(50)는 환자에게 황반 변성의 위험을 알릴 수 있다.

또한, 눈 응시(eye gaze) 처리부(50a)는 황반 변성 검사 동안 사용자의 눈동자(62a)를 추적하여 눈 응시(gaze) 위치를 파악하고, 황반 변성 검사용 테스트 이미지(81)상에 커서(cursor)로서 중첩하여 표시하고, 황반 변성 측정부(50e)는, 눈의 응시 위치가 황반 변성 검사용 테스트 이미지(81)의 중심점(81a)에 에서 이탈한 경우, 사용자의 눈 응시 위치가 황반 변성 검사용 테스트 이미지(81)의 중심점(81a)에 위치하도록 스피커부(39a)를 통해 사용자를 가이드하는 것이 선호 된다.

도 11은 스마트 리모컨 제어부(50)에 의해 사용자에게 안구 운동을 유도하기 위해 화상 표시 소자(47) 상에 안구 운동 이미지를 표시한 안구 운동 모드의 여러 실시예이다.

도 11의 (a)는 눈동자의 초점 조절 능력을 향상시키기 위한 안구 운동 이미지의 예로 스폿(88a)이 좌에서 우로 이동함에 따라 이미지의 초점이 맞추어 지도록 한다.

도 11의 (b)는 눈동자를 회전 방향으로 움직이는 안구 운동을 유도하기 위한 안구 운동 이미지의 예로 스폿(88b)이 시계방향 또는 반시계방향으로 차례로 움직이고 사용자는 이 스폿(88b)의 움직임에 따라 움직임으로서 안구의 회전 운동이 되도록 한다.

도 11의 (c)는 눈동자를 상·하·좌·우, 대각선 방향으로 움직이는 초점 이동 안구 운동을 하기 위한 안구 운동 이미지의 예로 스폿(88c)이 상·하·좌·우, 또는 대각선 방향으로 움직이고 사용자는 이 스폿(88c)의 움직임에 따라 안구를 움직임으로서 안구 운동이 되도록 한다. 스폿(88c)의 움직임의 시작과 끝에서 3초간 제자리에 정지하는 것이 선호된다.

도 11의 (d)는 안구 운동 이미지를 검정색 바탕 화면에 하얀 스폿(88d)으로 구성하고, 시간 경과에 따라 스폿(88d)의 반경(R)을 크기를 변동하여 사용자의 동공에 명암을 변화를 유도함으로써, 홍채 운동이 되도록 하는 명암(홍채) 스트레칭 안구 운동 이미지의 예이다.

시간 경과에 따라 스폿(88d)의 반경이 커질수록 전체 이미지는 밝아져 홍채 크기는 줄어드는 운동을 하게 된다. 반대로 시간 경과에 따라 스폿(88d)의 반경이 작아질수록 이미지는 어두어져 홍채 크기가 커지는 운동을 하게 된다.

도 11의 (e)는 음성가이드에 의해 눈 깜박임 운동을 하는 일 실시예이다. 눈 깜박임 운동은 안구 건조증을 완화시킬 수 있는 것으로 잘 알려져 있다.

예컨대 사용자에게 "눈을 감으세요!" "눈을 뜨세요!" 식의 음성가이드를 사용자에게 제공할 수 있다.

눈 깜박임 운동은 4초간 눈을 감고 4초간 눈을 뜨게 하는 것이 선호되며, 눈 응시 처리부(50a)는 사용자가 눈 깜박임 운동 동안, 눈 깜박임 운동 동작을 제대로 하고 있는지 체크할 수 있다.

도 11의 (f)는 스폿(88f)의 움직임에 따라 상하 좌우 스트레칭 안구 운동을 하도록 하는 안구 이미지의 실시예이다.

스폿(88f)은 좌측에서 우측으로, 그리고 상측에서 하측으로 움직이고 스폿(88c)의 움직임의 시작과 끝에서 사용자가 스폿(88f)을 응시할 수 있도록 3초간 제자리에 정지하는 것이 선호된다.

도 12는 사용자에게 원근 스트레칭 안구 운동을 유도하는 안구 이미지의 실시예이다.

안구 운동 이미지는 15개의 스폿으로 구성하는 것이 선호되며, 사용자에게 응시해야 할 스폿들(88g)을 짝지어서 차례로 표시해준다. 짝지은 스폿들(88g)은 본 예시처럼 원을 사용하여 표시하는 것이 선호된다.

예컨대, 도 12의 (a)는 1개의 스폿들(88g)을 좌우 상하로 이동하면서 사용자에게 차례로 보여주는 예시이다.

도 12의 (b)는 사용자가 응시해야 할 2개의 스폿들(88g)을 짝지어 좌우 상하로 이동하면서 차례로 보여주는 예시이다.

도 12의 (c)는 사용자가 응시해야 할 3개의 스폿들(88g)을 짝지어 좌우 상하로 이동하면서 차례로 보여주는 예시이다.

도 12의 (d)는 사용자가 응시해야 할 5개의 스폿들(88g)을 짝지어 상하로 이동하면서 차례로 보여주는 예시이다.

상기 짝지은 스폿들(88g)은 사용자가 여유를 가지고 응시할 수 있도록 3초간 표시를 유지해주는 것이 선호되며, 눈 응시 처리부(50a)는 사용자의 눈 응시 위치를 파악하여 안구 이미지상에 중첩하여 커서로서 표시할 수 있다.

본 발명의 눈 응시 처리부(50a)는 안구 운동 모드 동안 사용자의 눈 응시 위치를 파악하여 화상 표시 소자(47) 상에 커서를 표시하고, 또한 스마트 리모컨 제어부(50)는 사용자의 안구운동 속도가 스폿(88a,88b,88c,88f,88g)의 움직이는 속도를 못 따라가는 경우, 스폿(88a,88b,88c,88f,88g)의 움직이는 속도를 늦추고, 사용자의 안구운동 속도가 스폿(88a,88b,88c,88f,88g)의 움직이는 속도를 잘 따라가는 경우, 스폿(88a,88b,88c,88f,88g)의 움직이는 속도를 올리는 스폿 속도 조절부(50b)를 구비한 것을 특징으로 한다.

즉, 상기 스폿 속도 조절부(50b)는 사용자의 눈 응시 위치를 파악하여 스폿(88a,88b,88c,88f,88g)의 움직임에 대한 사용자의 안구 운동 속도에 부응하여 스폿(88a,88b,88c,88f,88g)의 움직이는 속도를 늦추거나 빠르게 조절할 수 있다.

본 발명의 스마트 리모컨 제어부(50)는 안구운동 점수 산출부(50g)를 구비하여, 안구 운동 모드 동안 사용자의 눈 응시 궤적과 스폿(88a,88b,88c,88d,88f,88g) 이동 궤적 간의 차이를 구해 안구 운동의 질적 평가를 위한 점수를 산출하여 사용자에게 통지하는 것이 선호된다. 또한, 이때 스마트 리모컨 제어부(50) 내지 안구 건강 추적 관리부(11)는 사용자에게 점수가 낮은 안구 운동 항목(예컨대, 원근 스트레칭 안구 운동)에 대해 추가 안구 운동을 요청하거나, 다음 안구 운동 일정을 제공할 수 있다.

도 13은 본 발명의 실시예에 따른 디지털 TV(300)와 스마트 리모컨(400) 상의 망막 이미지 센서(42)를 활용하여 의사가 원격으로 환자의 망막 상태를 체크하기 위해 원격 의료 진단을 수행하는 실시예를 개략적으로 나타낸 도면이다.

달리 말해, 도 13은 의사(201)가 인터넷망(202) 연결에 의해 온라인으로 원격으로 환자(86)의 망막 건강상태를 체크하기 위해 스마트 리모컨(400)을 사용하여 원격 의료 진단을 수행하는 일 실시예이다. 본 실시예에서는 디지털 TV(300)는 스마트 미러로 대체되어 사용될 수 있다.

디지털 TV(300) 내에 집적화되어 내장된 도 1b를 따르는 음성 인식 단말기(17)는, 의사(201)와의 원격 의료 진단을 허여하는 인터넷 망(202) 및 와이 파이 통신 연결을 제공하거나 스마트 리모컨(400)과의 근거리 통신 연결을 제공하는 디지털 통신 모듈(8), 스마트 리모컨(400)에 의해 환자로부터 측정된 망막 이미지 정보를 수신하는 의료 데이터 수신부(12), 의사(201)와 환자(86) 간의 원격 의료 진단을 수행을 위해 디지털 통신 모듈(8), 스피커(28) 와 화면표시부(10)를 제어하는 제어부(30)를 포함할 수 있다. 환자(86)의 신분 인증은 스마트 리모컨(400) 상의 망막 인증부(15)에 의해 이루어 질 수 있다.

또한, 디지털 TV(300)는 스마트 리모컨(400)에 의해 측정된 의료 데이터를 수신하여 이를 인터넷망을 통해 서버(13)에 재전송하고, 서버(13)상의 인공지능 신경망(16) 내지 안과 전문가 시스템(18)에 의해 분석된 결과를 피드백 받아 환자에게 망막 질환과 치매의 위험도를 통지할 수 있다.

디지털 TV(300)는, 원격 의료 진단 동안 원격 의료 진단에 도움이 되는 시각정보를 화면 표시부(10)에 제공하여 환자(86)와 의사(201) 간의 화면을 공유할 수 있다. 또한, 디지털 TV(300)는, 스피커(28)를 통해 환자(86)에게 건강관리에 대한 지침, 원격의료 진단 방법 및 스마트 리모컨 사용법에 대한 가이드라인을 제공할 수 있다.

또한, 제어부(30)는 화면 표시부(10) 상에 표시된 정보와 의사가 모니터(206)상에서 보는 정보가 서로 동일하도록 상기 디지털 통신 모듈(8)을 구동할 수 있다.

이 경우, 의사는 모니터(206)를 통해 환자(86)와 실시간 정보를 공유함으로써 의사가 직접 환자(86)에게 스마트 리모컨(400)의 사용방법을 상기 인터넷 통신 네트워크인 인터넷 망(202)을 통해 음성 지시할 수 있을 뿐만 아니라, 스마트 리모컨(400)의 초점거리 조정 구동부(34)를 원격 제어하여 초점거리 조정할 수 있어, 마치 환자(86) 옆에 의사(201)가 있는 것처럼 환자의 망막 질환 진단을 도와줄 수 있다.

환자는 디스플레이 패널부를 통해 자신의 망막 이미지를 실시간으로 관찰하면서, 동시에 초점거리 조정 구동부를 조정하여 망막 이미지의 초점거리를 조정할 수 있다.

또한, 환자는 디스플레이 패널부에 의해 표시된 시야(visual field) 검사용 테스트 이미지에 의해 녹내장 검사를 하거나 황반 변성 검사용 테스트 이미지에 의해 황반변성 검사를 자가진단 할 수 있다.

상기 안구 운동은 홍채 조절 운동, 눈동자의 초점 조절 운동, 안구의 회전 운동, 안구의 상하좌우 대각선 운동 중 어느 하나를 포함하는 것을 특징으로 한다.

또한, 의사가 원격으로 초점거리 조정 구동부를 조정하여 망막 이미지의 초점거리를 조정함으로서, 환자의 안구 질환의 자가진단을 도와줄 수 있다.

본 발명의 망막 질환은 망막 미세혈관 손상, 망막 혈관 폐쇄증, 황반변성, 당뇨성 망막변증, 녹내장 질환을 포함할 수 있다.

본 발명의 스마트 리모컨 장치의 또 다른 측면은 음성 인식 단말기가 디지털 TV 내부 내지 스마트 미러 내부에 집적화되어 일체화 될 수 있다.

본 발명의 스마트 리모컨 장치의 또 다른 측면은 음성 인식 단말기가 스마트 리모컨 내부에 집적화되어 일체화 될 수 있다.

본 발명의 스마트 리모컨 장치의 또 다른 측면은 스마트 리모컨이 디지털 TV를 원격 제어하는 기능 없이, 본 발명에 따른 안구 운동, 안과 검사, 망막 질환, 치매 위험도 측정을 단독으로 수행할 수 있는 스마트 안구 검사 장치로 개조될 수 있다.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.

도면에 도시하진 않았으나 망막 질환 및 치매 자가 진단 방법은 앞서 설명된 스마트 리모컨(400), 음성인식 단말기(17) 및 음성인식 단말기(17)를 내장한 디지털 TV(300)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 스마트 리모컨(400), 음성인식 단말기(17) 및 디지털 TV(300)에 대하여 설명된 내용은 망막 질환 및 치매 자가 진단 방법에 대한 설명에도 동일하게 적용될 수 있다. 이하에서는 설명의 편의를 위해 스마트 리모컨 장치(미도시)에 의해 수행되는 것으로 설명하고자 한다.

단계 S101에서, 스마트 리모컨을 이용하여 환자의 의료 데이터를 획득할 수 있다.

단계 S102에서, 의료 데이터를 인공지능 신경망에 적용하여 망막 질환 및 치매 분석을 수행할 수 있다.

단계 S103에서, 안과 전문가 시스템에서 인공지능 신경망에서 분석된 결과를 고려하여 망막 질환 및 치매 위험도 분석 결과를 제공할 수 있다.

예시적으로, 인공지능 신경망은 망막 질환 종류별 그리고 등급별로 표지된 망막 이미지들에 의해 사전에 딥런닝 학습되고, 이후 수신된 환자의 망막 이미지(환자의 신규 망막 이미지)를 분석하여, 망막 질환의 유무와 위험도를 자동으로 판별할 수 있다.

또한, 인공지능 신경망은 치매의 위험도 등급에 따라 표지된 망막 이미지들에 의해 사전 학습시키고 이후 수신된 환자의 망막 이미지(환자의 신규 망막 이미지)를 분석하여, 치매 위험도를 판별할 수 있다.

단계 S104에서, 소정의 시간 간격으로 수집된 망막 질환 및 치매 위험도 분석 결과에 따른 변화 추이 관찰 결과를 고려하여, 안구 운동을 요청하거나, 다음 검사 일정을 제공할 수 있다.

본원의 다른 일 실시예에 따르면, 망막 질환 및 치매 자가 진단 방법은 앞서 설명된 스마트 리모컨(400)과 음성인식 단말기(17) 간의 인터페이스 연결을 통해 수행되거나 스마트 리모컨(400)과 음성인식 단말기(17)를 내장한 디지털 TV(300) 간의 인터페이스 연결을 통해 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 스마트 리모컨(400), 음성인식 단말기(17) 및 디지털 TV(300)에 대하여 설명된 내용은 망막 질환 및 치매 자가 진단 방법에 대한 설명에도 동일하게 적용될 수 있다. 이하에서는 설명의 편의를 위해 스마트 리모컨 장치(미도시)에 의해 수행되는 것으로 설명하고자 한다.

단계 S201에서, 안구 운동 모드 동안 안구 이미지를 환자에게 제공할 수 있다.

단계 S202에서, 안구 운동 모드 동안 사용자의 눈동자를 추적하여 눈 응시 위치를 파악할 수 있다.

S203에서, 안구 운동 모드 동안 사용자의 눈 응시 궤적과 스폿 이동 궤적 간의 차이를 구해 안구 운동의 질적인 평가 점수를 산출할 수 있다.

단계 S204에서, 사용자에게 점수가 낮은 안구 운동 항목에 대해 추가 안구 운동을 요청하거나 또는 다음 운동 일정을 제공할 수 있다.

상술한 설명에서, 단계 S101 내지 S104 및 단계 201 내지 S204는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

본원의 일 실시 예에 따른 망막 질환 및 치매 자가검사 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. 또한, 본 발명의 디지털 TV는 스마트 미러 내지 컴퓨터 모니터로 대체 가능하다.

전술한 망막 질환 및 치매 자가 검사 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

8: 디지털통신 모듈
10: 화면 표시부
11: 안구 건강 추적 관리부
12: 의료 데이터 수신부
13: 서버
15: 망막 인증부
16: 인공지능 신경망
17: 음성인식 단말기
18: 안과 전문가 시스템
23: 지문 인식부
27: 마이크
27a: 음성 인식부 27b: 음성 재생부
28: 스피커
30: 제어부
31: 무선 통신 연결 수단
32: 스텝모터
34: 화상 표시 소자
40: 전압 발생기
41: 전압 검출기
42: 망막 이미지 센서
43: 광원
44a: 제1렌즈 배럴
46: 제1렌즈부
47: 화상 표시 소자
47a: 동공 이미지 센서
47b: 적외선 LED
48a: 제2렌즈 배럴
49a: 제2렌즈부
49b: 보정 렌즈부
50: 스마트 리모컨 제어부
50a: 눈 응시 처리부
50b: 스폿 속도 조절부
50c: 시야 결손 측정부
50d: 녹내장 측정부
50e: 황반 변성 측정부
50f: 홍채 동기화 조절 수단
50g: 안구운동 점수 산출부
62: 안구
62a: 눈동자
64: ADC
70: 눈관리 모드 감지 수단
100: 기어부
202: 인터넷 망
400: 스마트 리모컨
400a: 바디
401: 터치 스크린
500: 헤드셋

Claims

터치 스크린;
망막 이미지 센서에 의해 사용자의 한쪽 눈의 망막 이미지를 얻는 망막 이미지 측정부;
상기 사용자의 반대 쪽 눈에 상기 얻어진 망막 이미지를 실시간으로 보여주기 위한 디스플레이 패널부; 및
상기 망막 이미지 측정부와 디스플레이 패널부를 제어하는 스마트 리모컨 제어부,
를 구비한 스마트 리모컨을 포함하는, 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제1항에 있어서,
디지털 TV의 기능을 음성 명령에 의해 제어하고, 상기 스마트 리모컨에 의해 측정된 의료 데이터를 수신하여 인공지능 신경망으로 분석하여 이상징후가 발견된 경우, 의사와의 인터넷 통신 연결을 통해 원격 의료 진단 서비스를 제공하는 음성인식 단말기를 더 포함하는, 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제1항에 있어서,
상기 스마트 리모컨은, 상기 망막 이미지에 대한 초점거리를 수동 내지 자동 조정할 수 있는 초점거리 조정 구동부를 포함하는, 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제 1항에 있어서,
상기 스마트 리모컨의 터치 스크린은,
리모컨 모드 화면 또는 눈 관리 모드 화면으로 전환 가능한 메뉴 버튼이 구비되고,
상기 리모컨 모드 동안에는 디지털 TV의 기능을 제어하기 위한 복수의 리모컨 선택 버튼이 상기 터치 스크린 화면상에 표시되고, 상기 눈 관리 모드 동안에는 눈 관리 항목들 중 하나를 선택하기 위한 메뉴 선택 버튼이 상기 터치 스크린 화면상에 표시되는 것을 특징으로 하는, 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제 1항에 있어서,
상기 스마트 리모컨의 측면에는 손가락 지문 인증을 위한 지문 인식부를 구비하고,
상기 지문 인식부는 줌(zoom) 버튼 기능을 겸용하는 것을 특징으로 하는, 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제 1 항에 있어서,
상기 망막 이미지 측정부는,
빔을 발생시키는 광원;
상기 광원으로부터 발생된 빔의 극성을 변화시켜 제1빔을 생성하는 제1 폴러라이저;
상기 제1빔을 피 측정자의 망막을 향하도록 굴절시키는 빔 분리기(beam splitter);
상기 제1빔을 망막에 입사시키거나 망막으로부터 반사된 무극성화된(unpolarized)빔을 집광하여 제2빔을 생성하는 제 1 렌즈부;
상기 빔 분리기를 통과한 제2빔으로부터 각막 반사(cornea reflection) 성분을 최소화하기 위한 제 2 폴러라이저; 및
상기 제 2 폴러라이저를 통과된 상기 제2빔을 수광하여 망막 이미지를 형성하는 망막 이미지 센서를 포함하고,
상기 제1 폴러라이저와 상기 제 2 폴러라이저는 90°의 위상차를 갖도록 서로 교차 편광(cross polarized)되어 있는 것을 특징으로 하는 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제 1 항에 있어서,
상기 디스플레이 패널부는,
화상 표시 소자;
상기 화상 표시 소자에 표시되는 이미지를 확대하여 피측정자의 안구방향으로 굴절시키는 제2 렌즈부; 및
상기 화상 표시 소자와 상기 제2 렌즈부 사이에 배치되어 이미지 왜곡 및 수차를 보정하기 위한 보정 렌즈부,
를 포함하는 것을 특징으로 하는 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제 1항에 있어서,
상기 디스플레이 패널부는,
상기 망막 이미지 측정부에 의해 측정된 망막 이미지, 시야(visual field) 검사용 테스트 이미지, 녹내장 검사용 테스트 이미지, 황반 변성 검사를 위한 황반 변성 검사용 테스트 이미지 또는 안구 운동을 하기 위한 안구 운동 이미지를 표시하는 것을 특징으로 하는 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제 1 항에 있어서,
상기 디스플레이 패널부는,
화상 표시 소자;
안과 검사, 망막 질환 검사, 치매검사 또는 안구 운동 모드 동안 사용자의 눈 응시(eye gaze) 위치를 추적하기 위한 동공 이미지 센서; 및
복수의 적외선 LED,
를 포함하고,
상기 스마트 리모컨 제어부는 상기 눈 응시 위치를 파악하여 상기 화상 표시 소자 상에 커서(cursor)를 중첩 표시하는 눈 응시 처리부를 포함하는 것인, 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제1항에 있어서,
상기 스마트 리모컨의 사용자 인증은
지문 인증, 정맥인증, 망막 인증, 홍채 인증, 얼굴인식 중 선택된 어느 하나 의 인식 방법을 사용하는 것인, 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제3항에 있어서,
상기 초점거리 조정 구동부는
원격 의료 진단 서비스 동안 의사가 원격으로 상기 초점거리 조정 구동부를 조정하여 망막 이미지의 초점거리를 조정하는 것을 특징으로 하는 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제2항에 있어서,
상기 음성인식 단말기는,
상기 스마트 리모컨에 의해 측정된 의료 데이터를 수신하여 이를 인터넷 망을 통해 서버에 전송하고, 서버 상의 인공지능 신경망 내지 안과 전문가 시스템에 의해 분석된 결과를 피드백 받아 환자에게 망막 질환과 치매의 위험도를 통지하는 것을 특징으로 하는 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제2항에 있어서,
상기 음성인식 단말기는,
상기 스마트 리모컨과의 근거리 통신 연결에 의해 상기 스마트 리모컨으로부터 측정된 의료 데이터를 수신하는 의료 데이터 수신부; 및
학습용 의료 데이터들에 의해 사전에 딥런닝 학습된 인공지능 신경망을 포함하고,
상기 딥런닝 학습된 인공 신경망은, 상기 의료 데이터 수신부에 의해 수신된 의료 데이터를 분석하여, 환자의 망막 질환 내지 치매의 위험도를 자동으로 판별하는 것을 특징으로 하는 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제1항에 있어서,
상기 스마트 리모컨은,
상기 스마트 리모컨 상에 어플로써 상주하는 인공지능 신경망 앱을 구비하여, 상기 스마트 리모컨에 의해 측정된 의료 데이터를 분석 결과를 사용자에게 제공하는 것을 특징으로 하는 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제2항에 있어서,
상기 음성인식 단말기는,
상기 스마트 리모컨에 의한 치매 및 망막 질환에 대한 주기적 검사에 따른 분석 결과의 변화 추이를 관찰하여 환자에게 치매 및 망막 질환의 위험도 제공, 안구 운동 요청 및 다음 검사 일정을 환자에게 알려주는 안구 건강 추적 관리부를 포함하는 것인, 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제2항에 있어서,
상기 인공지능 신경망은, 망막 질환 종류 및 등급별로 표지된 복수의 망막 이미지들에 의해 사전에 딥런닝 학습되어지고, 환자의 신규 망막 이미지를 분석하여, 망막 질환의 유무와 위험도를 자동으로 판별하는 것인 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제2항에 있어서,
상기 인공지능 신경망은,
치매의 위험도 등급에 따라 표지된 복수의 망막 이미지들을 이용하여 사전 학습시키고, 환자의 신규 망막 이미지를 분석하여 치매 위험도를 판별하는 것을 특징으로 하는 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제2항에 있어서,
상기 인공지능 신경망은,
바이러스 감염 유무로 표지된 복수의 망막 이미지들을 이용하여 사전 학습시키고, 환자의 신규 망막 이미지를 분석하여 바이러스 감염 유무를 판별하는 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제5항에 있어서,
상기 스마트 리모컨의 착탈을 허용하는 헤드셋을 더 포함하고,
상기 지문 인식부의 테두리는 복수의 자성체 전극을 포함하되,
상기 헤드셋의 하우징은 상기 자성체 전극들에 대해 자력(magnetic force)으로 상기 스마트 리모컨을 상기 하우징에 결합시키는 영구자석을 포함하는 것을 특징으로 하는 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제19항에 있어서,
상기 스마트 리모컨은,
상기 스마트 리모컨과 헤드셋의 결합 여부를 감지하여 자동으로 눈 관리 모드로 전환하는 눈 관리 모드 감지 수단을 포함하는 것을 특징으로 하는 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제5항에 있어서,
상기 지문 인식부의 테두리는 도체 전극들을 포함하고,
상기 스마트 리모컨 제어부는,
사용자 손이 상기 도체 전극들을 잡은 것으로 판단되고, 상기 망막 이미지 측정부에 의해 망막 이미지가 감지되고, 동시에 동공 이미지 센서에 의해 동공 내지 홍채가 감지된 경우, 자동으로 눈 관리 모드로 전환하는 눈 관리 모드 감지 수단을 포함하는 것을 특징으로 하는 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제1항에 있어서,
상기 디스플레이 패널부는,
안구 운동 이미지를 표시하고, 상기 안구 운동 이미지는 안구의 회전운동을 하기 위한 안구 운동 이미지, 홍채 스트레칭 안구 운동 이미지, 초점 이동 안구 운동을 하기 위한 안구 운동 이미지, 상하 좌우 스트레칭 안구 운동을 하기 위한 안구 운동 이미지 및 원근 스트레칭 안구 운동을 하기 위한 안구 운동 이미지 중 선택된 하나 이상의 이미지를 포함하는 것인 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제1항에 있어서,
상기 스마트 리모컨 제어부는,
홍채 스트레칭 안구 운동 동안 상기 망막 이미지 측정부의 밝기와 상기 디스플레이 패널부상에 표시된 홍채 스트레칭 안구 운동 이미지의 밝기가 동기화되도록 피드백 제어하는 홍채 동기화 조절 수단을 포함하는 것인, 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제1항에 있어서,
상기 스마트 리모컨은 회전 가능한 헤드셋의 하우징에 장착되어, 좌우측 눈을 교대로 번갈아 가면서 검사하는 것을 특징으로 하는 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제9항에 있어서,
상기 스마트 리모컨 제어부는,
상기 안구 운동 모드 동안 스폿을 상기 화상 표시 소자에 표시하여, 상기 스폿의 움직임에 따라 사용자의 안구를 움직이게 함으로써 안구 운동을 유도하고, 상기 스폿의 움직임 속도를 조절하는 스폿 속도 조절부를 포함하는 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제1항에 있어서,
상기 스마트 리모컨 제어부는,
사용자가 시야 검사용 테스트 이미지의 중심점을 응시하는지 여부에 따라 상기 시야 검사용 테스트 이미지 상의 소정의 위치에 무작위 숫자를 표시하는 시야 결손 측정부;
녹내장 검사용 테스트 이미지를 사용하여 사용자의 시야 범위를 확인하는 녹내장 측정부; 및
황반 변성 검사 용테스트 이미지를 이용하여 황반 변성 검사를 수행하는 황반 변성 측정부,
중 선택된 하나 이상의 측정부를 포함하는 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제26항에 있어서,
상기 시야 결손 측정부는 시야 검사용 테스트 이미지의 중심점을 사용자가 응시하는 동안에는 시야 검사용 테스트 이미지상의 소정의 위치에 무작위 숫자를 표시하고, 사용자가 중심점을 응시하지 않는 동안에는 상기 숫자를 사라지게 하는 것인, 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제9항에 있어서,
상기 스마트 리모컨 제어부는,
상기 안구 운동 모드 동안 사용자의 눈 응시 궤적과 스폿 이동 궤적 간의 차이를 구해 안구 운동의 질적 평가를 수행하는 안구운동 점수 산출부를 포함하는 망막 질환 및 치매 진단용 스마트 리모컨 장치.
제1항 내지 제28항 중 어느 한 항에 따른 망막 질환 및 치매 진단용 스마트 리모컨 장치에 의해 수행되는 자가 진단 방법에 있어서,
스마트 리모컨을 이용하여 환자의 의료 데이터를 획득하는 단계;
상기 의료 데이터를 인공지능 신경망에 적용하여 망막 질환 및 치매 분석을 수행하는 단계; 및
소정의 시간 간격으로 수집된 망막 질환 및 치매 위험도 분석 결과에 따른 변화 추이 관찰 결과를 고려하여, 안구 운동을 요청하거나, 다음 검사 일정을 제공하는 피드백 단계를 포함하는, 자가 진단 방법.
제1항 내지 제28항 중 어느 한 항에 따른 망막 질환 및 치매 진단용 스마트 리모컨 장치에 의해 수행되는 자가 진단 방법에 있어서,
안구 운동 모드 동안 안구 운동 이미지를 환자에게 제공하는 단계;
상기 안구 운동 모드 동안 사용자의 눈동자를 추적하여 눈 응시 위치를 파악하는 단계;
상기 안구 운동 모드 동안 사용자의 눈 응시 궤적과 스폿 이동 궤적간의 차이를 구해 안구 운동의 질적인 평가 점수를 산출하는 단계; 및
사용자에게 점수가 낮은 안구 운동 항목에 대해 추가 안구 운동을 요청하거나, 다음 안구 운동 일정을 제공하는 단계를 포함하는, 자가 진단 방법.