KR20230097865A

KR20230097865A - 무자각 사시 진단 장치 및 그 동작 방법

Info

Publication number: KR20230097865A
Application number: KR1020210187769A
Authority: KR
Inventors: 김윤홍; 김세송; 양한; 전민석; 조순익
Original assignee: 삼성전자주식회사
Priority date: 2021-12-24
Filing date: 2021-12-24
Publication date: 2023-07-03
Also published as: WO2023121163A1

Abstract

프로세서, 및 인스트럭션들을 저장하는 메모리를 포함하며, 상기 프로세서는 상기 인스트럭션들을 실행함으로써, 피검사자가 시계열적으로 캡처된 복수의 시계열적 이미지들을 획득하고, 상기 복수의 시계열적 이미지들 각각에서 상기 피검사자의 안면을 검출하고, 상기 복수의 시계열적 이미지들 각각에 대하여, 상기 피검사자의 안면에서의 홍채 쌍의 위치들을 결정하고, 상기 홍채 쌍의 위치들을 축적하여 홍채 위치 변화 축적 데이터 세트를 획득하고, 상기 홍채 위치 변화 축적 데이터 세트에 기초하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치가 개시된다.

Description

무자각 사시 진단 장치 및 그 동작 방법 {Unconscious strabismus diagnosis apparatus and method for operation thereof}

본 개시의 다양한 실시예들은 무자각 사시 진단 장치 및 그 동작 방법에 관한 것이다.

사시는 크게 상사시(항상 사시 증상이 발생)와 간헐적 사시(평소에는 정상이다가 가끔 사시 증상이 발생)로 나뉘며, 상사시보다 간헐적 사시의 발생 비율이 높다. 종래의 사시 진단 방법은 피검사자의 머리(head)와 진단 장치 간의 위치와 각도를 고정하거나, 피검사자가 머리에 특정 장치를 착용해야 하며, 피검사자가 시선 방향에 관한 지시를 따라야 한다. 이러한 특성으로 인하여 종래의 사시 진단 방법은 제한된 검사 시간 동안만 검사가 가능하며, 따라서 간헐적 사시의 진단이 어렵다. 즉, 제한된 검사 시간 내에 증상이 발현되지 않으면 간헐적 사시를 발견할 수 없다. 또한, 머리를 고정하거나, 장치를 착용하거나, 지시를 따르지 못하는 영유아의 사시를 진단하기는 어렵다.

본 개시의 일 실시예는, 무자각 사시 진단 장치 및 그 동작 방법을 제공하여 피검사자가 무자각 상태에 있을 때에도 효율적으로 사시 진단을 할 수 있도록 한다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, 프로세서, 및 인스트럭션들을 저장하는 메모리를 포함하며, 상기 프로세서는 상기 인스트럭션들을 실행함으로써, 피검사자가 시계열적으로 캡처된 복수의 시계열적 이미지들을 획득하고, 상기 복수의 시계열적 이미지들 각각에서 상기 피검사자의 안면을 검출하고, 상기 복수의 시계열적 이미지들 각각에 대하여, 상기 피검사자의 안면에서의 홍채 쌍의 위치들을 결정하고, 상기 홍채 쌍의 위치들을 축적하여 홍채 위치 변화 축적 데이터 세트(accumulated iris position change data set)를 획득하고, 상기 홍채 위치 변화 축적 데이터 세트에 기초하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 복수의 시계열적 이미지들은, 상기 피검사자가 시선 방향에 관한 지시를 받지 않은 상태에서 캡처된, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 홍채 위치 변화 축적 데이터 세트의 데이터 고유 특성(data intrinsic characteristics)에 대한 분석을 통하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여, 상기 홍채 쌍의 위치들이 일시적 비정상 값을 갖는지 여부를 결정하고, 상기 홍채 쌍의 위치들이 일시적 비정상 값을 갖는 것으로 결정함에 기초하여 상기 피검사자가 사시인 것으로 결정하는, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여, 상기 홍채 쌍 간의 거리가 일시적 비정상 값을 갖는지 여부를 결정하고, 상기 홍채 쌍 간의 거리가 일시적 비정상 값을 갖는 것으로 결정함에 기초하여 상기 피검사자가 사시인 것으로 결정하는, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여, 상기 홍채 쌍에 의한 각도가 일시적 비정상 값을 갖는지 여부를 결정하고, 상기 각도가 일시적 비정상 값을 갖는 것으로 결정함에 기초하여 상기 피검사자가 사시인 것으로 결정하는, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 홍채 위치 변화 축적 데이터 세트에 대한 통계적 분석을 통하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 홍채 위치 변화 축적 데이터 세트에 대한 통계적 분석을 통하여, 상기 홍채 쌍 중 좌안 홍채 및 우안 홍채 각각의 운동 영역을 결정하고, 상기 좌안 홍채의 운동 영역과 상기 우안 홍채의 운동 영역을 비교하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 복수의 시계열적 이미지들 각각에 대하여, 상기 안면의 공간적 배치에 기초하여 상기 홍채 쌍의 위치를 결정하는, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 복수의 시계열적 이미지들에 대한 통계적 분석을 통하여 상기 홍채 쌍 중 제1 홍채의 크기를 결정하고, 상기 제1 홍채의 크기에 기초하여, 상기 복수의 시계열적 이미지들 각각에 대하여 상기 제1 홍채의 위치를 결정하는, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 복수의 시계열적 이미지들 각각에 대하여 상기 제1 홍채의 이미지별 크기를 결정하고, 상기 제1 홍채의 이미지별 크기들의 통계적 특성에 기초하여 상기 제1 홍채의 크기를 결정하는, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 제1 홍채의 이미지별 크기들의 최빈값 또는 최대값 중 적어도 하나에 기초하여 상기 제1 홍채의 크기를 결정하는, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 복수의 시계열적 이미지들 중 제1 이미지에 대하여, 상기 제1 홍채의 크기 및 상기 제1 이미지에서의 상기 안면의 공간적 배치 에 기초하여 상기 제1 이미지에서의 상기 제1 홍채의 이미지 크기를 결정하고, 상기 제1 홍채의 이미지 크기에 기초하여 상기 제1 홍채의 후보 위치들 각각에 대한 추정 눈 이미지(hypothesis eye image)를 생성하고, 상기 제1 이미지 및 상기 추정 눈 이미지에 기초하여, 상기 후보 위치들 중에서 하나를 선택함으로써 상기 제1 이미지에서의 상기 제1 홍채의 위치를 결정하는, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 제1 홍채의 후보 위치들 각각에 대하여, 상기 제1 홍채의 이미지 크기에 기초하여, 홍채 영역과 흰자위 영역 중 한 영역의 픽셀 값은 0이고 다른 영역의 픽셀 값은 1인 추정 눈 이미지를 생성하는, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 추정 눈 이미지와 상기 제1 이미지의 대응되는 픽셀 값들을 곱한 값들의 통계적 특성에 기초하여, 상기 후보 위치들 중에서 하나를 선택하는, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 프로세서는, 상기 제1 이미지의 직전 이미지에서의 제1 홍채의 위치에 기초하여, 상기 후보 위치들 중에서 하나를 선택하는, 무자각 사시 진단 장치를 제공할 수 있다.

일 실시예에서, 상기 프로세서는, 복수의 시계열적 이미지들 중 적어도 하나에 대한 안면 검출 결과에 기초하여, 상기 복수의 시계열적 이미지들을 캡처하는 카메라가 상기 피검사자의 사시 진단에 적합한 이미지를 캡처할 수 있는 위치로 이동하도록 제어하는, 무자각 사시 진단 장치를 제공할 수 있다.

본 개시의 일 실시예는, 피검사자가 시계열적으로 캡처된 복수의 시계열적 이미지들을 획득하는 동작, 상기 복수의 시계열적 이미지들 각각에서 상기 피검사자의 안면을 검출하는 동작, 상기 복수의 시계열적 이미지들 각각에 대하여, 상기 피검사자의 안면에서의 홍채 쌍의 위치들을 결정하는 동작, 상기 홍채 쌍의 위치들을 축적하여 홍채 위치 변화 축적 데이터 세트를 획득하는 동작, 및 상기 홍채 위치 변화 축적 데이터 세트에 기초하여 상기 피검사자의 사시를 진단하는 동작을 포함하는 무자각 사시 진단 장치의 동작 방법을 제공할 수 있다.

본 개시의 일 실시예는, 본 개시의 일 실시예에 의한 방법을 컴퓨터에서 실행시키도록 컴퓨터로 읽을 수 있는 기록매체에 저장된 프로그램 제품을 포함한다.

본 개시의 일 실시예는, 본 개시의 일 실시예에 의한 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체를 포함한다.

본 개시의 일 실시예는, 본 개시의 일 실시예에서 사용되는 메시지의 데이터 포맷이 기록된 컴퓨터로 읽을 수 있는 기록매체를 포함한다.

도 1은 본 개시의 일 실시예에 의한 무자각 사시 진단 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 개시의 일 실시예에 의한 무자각 사시 진단 장치의 동작 방법의 흐름을 개략적으로 나타낸 흐름도이다.
도 3은 본 개시의 일 실시예에 의한 홍채 쌍에 의한 각도를 나타낸 도면이다.
도 4는 본 개시의 일 실시예에 의한 피검사자의 홍채의 운동 영역을 도시한 예이다.
도 5는 눈의 중심부에 있을 때 보이는 홍채의 형태를 도시한 도면이다.
도 6은 눈의 가장자리에 있을 때 보이는 홍채의 형태를 도시한 도면이다.
도 7은 본 개시의 일 실시예에 의해 추정 눈 이미지를 이용하여 홍채의 위치를 결정하는 방법을 도시한 도면이다.
도 8은 본 개시의 다른 실시예에 의해 추정 눈 이미지를 이용하여 홍채의 위치를 결정하는 방법을 도시한 도면이다.
도 9는 본 개시의 일 실시예에 의한 스마트 모빌을 도시한 도면이다.
도 10은 본 개시의 다른 실시예에 의한 스마트 모빌을 도시한 도면이다.
도 11은 본 개시의 일 실시예에 의한 스마트 모빌의 동작 방법의 흐름을 개략적으로 나타낸 흐름도이다.
도 12는 본 개시의 일 실시예에 의한 스마트 모빌의 추가적인 동작 방법의 흐름을 개략적으로 나타낸 흐름도이다.

본 개시의 기술적 사상을 명확화하기 위하여 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명하도록 한다. 본 개시를 설명함에 있어서, 관련된 공지 기능 또는 구성요소에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 것이다. 도면들 중 실질적으로 동일한 기능구성을 갖는 구성요소들에 대하여는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들을 부여하였다. 설명의 편의를 위하여 필요한 경우에는 장치와 방법을 함께 서술하도록 한다. 본 개시의 각 동작은 반드시 기재된 순서대로 수행되어야 할 필요는 없고, 병렬적, 선택적, 또는 개별적으로 수행될 수 있다.

용어의 정의

본 개시에서 '홍채'는, 동공을 제외한 홍채뿐만 아니라, 동공을 포함하는 검은자위 전체를 포함할 수 있다. 본 개시의 기술사상을 벗어나지 않는 범위에서 홍채 대신 동공을 이용할 수 있으며, 이는 홍채를 이용하는 것과 균등하다. 예를 들어, 홍채를 검출하는 것과 동공을 검출하는 것은 균등하며, 홍채의 위치와 동공의 위치는 균등하다.

본 개시에서 '안면'은 안면 전체뿐만 아니라, 안면의 일부를 포함할 수 있다. 예를 들어, 안면은 눈 주변부 또는 눈일 수 있다. 안면은 머리(head)의 공간상의 배치, 즉 머리 자세(head pose)에 따라 움직이되, 안구의 움직임에 따라서는 움직이지 않는 부분을 말한다. 따라서 홍채는 안면에서 제외된다. 여기서 공간상의 배치는 위치, 거리, 방향, 각도, 피치, 롤, 요 등을 포함할 수 있다. 공간상의 배치는 카메라를 기준으로 하는 상대적인 값일 수 있다. 카메라와 안면 사이의 거리는 카메라로 촬영한 이미지상에서 안면의 크기로 나타날 수 있다.

본 개시에서 '시선 방향'은 안면을 기준으로 하는 방향을 말한다. 예를 들어, 시선 방향은, 머리 자세에 따라 결정되는 안면의 방향에 대한, 안구의 회전 각도에 따라 결정되는 홍채의 상대적인 방향일 수 있다.

본 개시에서 '홍채의 위치'는 홍채의 중심의 위치를 말한다. 본 개시에서 홍채의 위치는 안면을 기준으로 하는 위치를 말한다. 예를 들어, 홍채의 위치는 머리 자세에 따라 결정되는 안면상의 특정 지점의 위치에 대한, 안구의 움직임에 따라 결정되는 홍채의 중심의 상대적인 위치일 수 있다.

본 개시에서 '무자각' 상태는 피검사자가 자신이 사시 진단을 받고 있다는 사실을 알지 못하는 상태, 또는 사시 진단을 위한 지시를 받지 않는 상태를 말한다. 사신 진단을 위한 지시는 시선 방향에 관한 지시를 포함할 수 있다. 본 개시에 의한 사시 진단 방법은 무자각 상태에서도 진단이 가능하도록 하는 것이나, 자각 상태에서도 진단이 가능한 것은 물론이다.

도 1은 본 개시의 일 실시예에 의한 무자각 사시 진단 시스템을 개략적으로 도시한 블록도이다. 도 1을 참조하면, 본 개시의 일 실시예에 의한 무자각 사시 진단 시스템은 무자각 사시 진단 장치(100) 및 카메라(130)를 포함할 수 있다. 카메라(130)는 피검사자(140)를 촬영하여 이미지를 획득할 수 있다. 카메라(130)는 피검사자(140)를 연속적으로(sequentially) 촬영하여 복수의 시계열적 이미지들을 획득할 수 있다. 카메라(130)는 피검사자(140)를 지속적으로, 오랜 시간 동안, 및/또는 상시 촬영하여 복수의 시계열적 이미지들을 획득할 수 있다.

무자각 사시 진단 장치(100)는, 프로세서(110) 및 프로세서(110)에 의해 실행될 수 있는 하나 이상의 인스트럭션들을 저장하는 메모리(120)를 포함할 수 있다. 프로세서(110)는 하나의 프로세서이거나, 복수의 프로세서일 수 있다. 메모리(120)는 하나의 메모리이거나, 복수의 메모리일 수 있다. 이하 프로세서(110)가 메모리(120)에 저장된 하나 이상의 인스트럭션들을 실행함으로써 수행하는 무자각 사시 진단 장치(100)의 동작을 구체적으로 설명한다.

프로세서(110)는 카메라(130)로부터 피검사자가 시계열적으로 캡처된 복수의 시계열적 이미지들을 획득한다. 프로세서(110)는 복수의 시계열적 이미지들 각각에서 피검사자(140)의 안면을 검출한다. 본 개시에 의하면 이와 같이 복수의 시계열적 이미지들에서 피검사자의 안면을 검출하므로, 종래의 사시 진단 방법들과 달리 피검사자(140)가 머리 자세를 고정하거나 진단 장치를 착용하지 않고 자유롭게 활동하는 모습을 촬영하더라도 사시 진단을 할 수 있게 된다.

프로세서(110)는 인공지능 학습 모델을 이용하여 피검사자(140)의 안면을 검출할 수 있다. 프로세서(110)는 피검사자(140)의 안면 랜드마크(facial landmark)들을 검출함으로써 피검사자(140)의 안면을 검출할 수 있다. 프로세서(110)는 피검사자(140)의 안면, 눈 주변부, 또는 눈에 대한 랜드마크들을 검출함으로써 피검사자(140)의 안면을 검출할 수 있다.

프로세서(110)는 복수의 시계열적 이미지들 각각에서 피검사자(140)의 홍채 쌍, 즉 좌안 홍채 및 우안 홍채의 위치들을 결정한다. 프로세서(110)는 복수의 시계열적 이미지들 각각에서 피검사자(140)의 홍채 쌍을 검출하고, 이에 기초하여 홍채 쌍의 위치들을 결정할 수 있다. 프로세서(110)는 복수의 시계열적 이미지들 각각에서 피검사자(140)의 홍채에 대한 랜드마크들을 검출함으로써 피검사자(140)의 홍채 쌍을 검출할 수 있다. 프로세서(110)는 복수의 시계열적 이미지들 각각에서 피검사자(140)의 동공 쌍을 검출할 수도 있으며, 이는 피검사자(140)의 홍채 쌍을 검출하는 것과 균등하다.

홍채의 위치는 피검사자(140)의 안면에 대한 상대적인 위치일 수 있다. 홍채의 위치는 피검사자(140)의 안면의 랜드마크에 대한 상대적인 위치일 수 있다. 홍채의 위치를 결정하는 데에 안면의 공간상의 배치가 고려될 수 있다. 홍채의 위치는 표준 안면에 대하여 정규화(normalize)된 위치일 수 있다. 안면 및 홍채의 랜드마크들을 표준 안면의 랜드마크들에 대하여 정규화하여 사용할 수 있다.

프로세서(110)는 결정한 홍채 쌍의 위치들을 축적하여 홍채 위치 변화 축적 데이터 세트(accumulated iris position change data set)를 획득한다. 홍채 위치 변화 축적 데이터 세트에는 시계열적으로 변화하는 홍채 쌍의 위치들이 포함되어 있다. 프로세서(110)는 홍채 위치 변화 축적 데이터 세트에 기초하여 피검사자(140)의 사시를 진단할 수 있다. 프로세서(110)는 피검사자(140)의 사시 여부, 사시 정도, 및/또는 사시각을 결정할 수 있다. 프로세서(110)는 진단 결과를 사용자에게 출력할 수 있다.

본 개시에 의한 무자각 사시 진단 장치(100)는, 머리 자세를 고정하거나 진단 장치를 착용하거나 시선 방향을 지시 받지 않고 일상 생활을 하는 피검사자(140)를 오랜 시간 동안 지속적으로 촬영하여 축적된 데이터를 이용할 수 있으므로, 가끔씩 발생하는 간헐적 사시를 매우 효과적으로 진단할 수 있다. 또한 본 개시에 의하면 머리를 고정하거나, 장치를 착용하거나, 시선 유도 지시를 따르지 못하는 영유아의 사시를 진단할 수 있다.

도 2는 본 개시의 일 실시예에 의한 무자각 사시 진단 장치의 동작 방법의 흐름을 개략적으로 나타낸 흐름도이다. 이하 무자각 사시 진단 장치의 동작은 프로세서(110)에 의해 수행되는 동작일 수 있다. 도 2를 참조하면, 무자각 사시 진단 장치(100)는 동작 S210에서 피검사자(140)가 시계열적으로 캡처된 복수의 시계열적 이미지들을 획득하고, 동작 S220에서 복수의 시계열적 이미지들 각각에서 피검사자(140)의 안면을 검출하고, 동작 S230에서 복수의 시계열적 이미지들 각각에 대하여 피검사자(140)의 안면에서의 홍채 쌍의 위치들을 결정하고, 동작 S240에서 홍채 쌍의 위치들을 축적하여 홍채 위치 변화 축적 데이터 세트를 획득하고, 동작 S250에서 홍채 위치 변화 축적 데이터 세트에 기초하여 피검사자(140)의 사시를 진단할 수 있다.

무자각 사시 진단 장치(100)는 카메라(130)로부터 획득한 복수의 시계열적 이미지들에서 사시 진단에 부적합한 이미지들을 제외시킨 후, 사시 진단에 적합한 이미지들을 사시 진단에 이용할 수 있다. 예를 들어, 무자각 사시 진단 장치(100)는 피검사자(140)의 안면이 검출되지 않는 이미지들을 제외시킬 수 있다. 무자각 사시 진단 장치(100)는 피검사자(140)의 눈 또는 홍채가 검출되지 않는 이미지들을 제외시킬 수 있다. 무자각 사시 진단 장치(100)는 특정한 진단에 적합한 이미지들만을 선택하고 나머지를 제외시킬 수 있다. 무자각 사시 진단 장치(100)는 홍채 쌍의 위치 결정 결과에 기초하여, 특정한 진단에 적합한 이미지들만을 선택하고 나머지를 제외시킬 수 있다.

복수의 시계열적 이미지들은 피검사자(140)가 시선 방향에 관한 지시를 받지 않은 상태에서 캡처된 이미지들을 포함할 수 있다. 종래의 사시 진단 방법들은 피검사자가 특정 방향을 바라보도록 지시한 후, 해당 방향을 바라볼 때의 통상적인 홍채의 위치, 즉 홍채 위치에 대한 기준 값과 피검사자의 실제 홍채의 위치를 비교함으로써 피검사자의 사시를 진단한다. 그러나 피검사자가 시선 방향에 관한 지시를 받지 않은 상태에서는 이러한 비교 대상 기준 값(reference value for comparison)이 없다. 본 개시에 의한 무자각 사시 진단 장치(100)는 피검사자(140)가 시선 방향에 관한 지시를 받지 않은 상태에서도, 홍채의 위치의 시계열적 변화를 축적하여 홍채 위치 변화 축적 데이터 세트를 획득한 후, 축적된 데이터 세트의 데이터 고유 특성(data intrinsic characteristics)에 대한 분석을 통하여 피검사자(140)의 사시를 진단할 수 있다. 즉, 무자각 사시 진단 장치(100)는 미리 정의된 기준 값과의 비교 없이, 홍채 위치 변화 축적 데이터 세트 내부의 데이터 간의 관계에 기초하여 피검사자(140)의 사시를 진단할 수 있다.

무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여 피검사자(140)의 사시를 진단할 수 있다. 예를 들어, 무자각 사시 진단 장치(100)는 홍채 쌍들의 위치들의 시계열적 변화를 분석하여, 홍채 쌍의 위치들이 일시적 비정상 값을 갖는 것으로 결정되면 피검사자(140)가 사시인 것으로 결정할 수 있다.

무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여 홍채 쌍 간의 거리가 일시적 비정상 값을 갖는지 여부를 결정하고, 홍채 쌍 간의 거리가 일시적 비정상 값을 갖는 것으로 결정되면 피검사자(140)가 사시인 것으로 결정할 수 있다. 홍채 쌍 간의 거리는 홍채들의 중심들 간의 거리일 수 있다. 홍채 쌍 간의 거리는 피검사자(140)의 안면에 대한 상대적인 값일 수 있다. 홍채 쌍 간의 거리는 피검사자(140)의 안면의 랜드마크들 간의 거리에 대한 상대적인 값일 수 있다. 홍채 쌍 간의 거리는 표준 안면에 대하여 정규화된 값일 수 있다.

무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여 홍채 쌍에 의한 각도가 일시적 비정상 값을 갖는지 여부를 결정하고, 홍채 쌍에 의한 각도가 일시적 비정상 값을 갖는 것으로 결정되면 피검사자(140)가 사시인 것으로 결정할 수 있다. 홍채 쌍에 의한 각도는 홍채 쌍의 중심들에 의한 각도일 수 있다. 홍채 쌍에 의한 각도는 홍채 쌍의 중심들에 의한 선, 반직선, 선분, 또는 벡터에 의한 각도일 수 있다. 홍채 쌍에 의한 각도는 피검사자(140)의 안면에 대한 상대적인 값일 수 있다. 홍채 쌍에 의한 각도는 피검사자(140)의 안면의 랜드마크들에 대한 상대적인 값일 수 있다. 홍채 쌍에 의한 각도는 피검사자(140)의 안면상의 기준 선, 반직선, 선분, 또는 벡터(예: 안면의 중심에서 상하로 연장되는 세로 선, 안면의 특정 랜드마크들을 잇는 선분)를 기준으로 하는 각도일 수 있다. 홍채 쌍에 의한 각도는 머리 자세에 따라 결정되는 안면상의 특정 선에 대한 각도일 수 있다. 예를 들어, 도 3에 도시된 것과 같이 홍채 쌍에 의한 각도는 홍채 쌍의 중심들(311, 312)을 통과하는 선(310)과, 눈의 안쪽 끝점들(321, 322)을 통과하는 선(320) 간의 각도(330)일 수 있다. 홍채 쌍에 의한 각도는 표준 안면에 대하여 정규화된 값일 수 있다.

무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여 특정 변수의 통상적인 값의 범위를 결정할 수 있다. 무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여 특정 변수의 통상적인 값을 나타내는 대표 값을 결정할 수 있다. 무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여 특정 변수의 통상적인 값의 범위 또는 대표 값을 갱신할 수 있다.

비정상 값은 통상적인 값의 범위를 벗어나는 값을 의미할 수 있다. 비정상 값은 통상적인 값의 범위를 크게 벗어나는 값을 의미할 수 있다. 비정상 값은 통상적인 값의 범위에서 미리 정의된 값 이상 또는 미리 정의된 비율 이상 벗어나는 값을 의미할 수 있다. 비정상 값은 대표 값에서 크게 벗어나는 값을 의미할 수 있다. 비정상 값은 대표 값에서 미리 정의된 값 이상 또는 미리 정의된 비율 이상 벗어나는 값을 의미할 수 있다.

어떤 변수가 일시적 비정상 값을 가진다는 것은, 해당 변수가 짧은 시간 동안에 비정상 값이라는 것을 의미할 수 있다. 어떤 변수가 일시적 비정상 값을 가진다는 것은, 해당 변수가 미리 정의된 시간보다 짧은 시간 동안에 비정상 값이라는 것을 의미할 수 있다. 어떤 변수가 지나치게 짧은 시간(예: 1~2 프레임) 동안 비정상 값을 갖는 경우, 이는 일시적 비정상 값이 아니라 노이즈 또는 오류로 판단할 수 있다. 무자각 사시 진단 장치(100)는 어떤 변수가 미리 정의된 제1 시간 이상, 미리 정의된 제2 시간 이하의 시간 동안 비정상 값인 경우 이를 일시적 비정상 값으로 판단할 수 있다. 무자각 사시 진단 장치(100)는 어떤 변수가 미리 정의된 시간을 초과하는 시간 동안 비정상 값을 갖는 경우, 해당 값의 통상적인 값의 범위 또는 대표 값을 갱신할 수 있다.

홍채 쌍에 의한 각도의 경우, 그 값이 항상 일정한 것을 전제로 하여, 일정한 값에서 벗어나는 경우 피검사자(140)가 사시인 것으로 결정할 수 있다. 무자각 사시 진단 장치(100)는 홍채 쌍에 의한 각도가 평균값에서 미리 정의된 값 이상 또는 미리 정의된 비율 이상 벗어나는 경우를 비정상 값으로 판단할 수 있다.

무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 통계적 분석을 통하여 피검사자(140)의 사시를 진단할 수 있다. 예를 들어, 무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 통계적 분석을 통하여 홍채의 운동 영역을 결정하고, 이에 기초하여 피검사자(140)의 사시를 진단할 수 있다. 홍채의 운동 영역은 홍채의 중심의 운동 영역일 수 있다. 홍채의 운동 영역은 피검사자(140)의 안면에 대한 상대적인 영역일 수 있다. 홍채의 운동 영역은 피검사자(140)의 안면의 랜드마크들에 대한 상대적인 영역일 수 있다. 홍채의 운동 영역은 표준 안면에 대하여 정규화된 영역일 수 있다.

도 4는 본 개시의 일 실시예에 의한 피검사자의 홍채의 운동 영역을 도시한 예이다. 무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 대한 통계적 분석을 통하여 좌안 홍채의 운동 영역(410)과 우안 홍채의 운동 영역(420)을 결정할 수 있다. 무자각 사시 진단 장치(100)는 좌안 홍채의 운동 영역(410)과 우안 홍채의 운동 영역(420)을 비교하여 피검사자(140)의 사시를 진단할 수 있다. 무자각 사시 진단 장치(100)는 좌안 홍채의 운동 영역(410)과 우안 홍채의 운동 영역(420)이 크게 다르면 피검사자(140)가 사시인 것으로 결정할 수 있다. 무자각 사시 진단 장치(100)는 홍채의 운동 영역의 크기, 넓이, 형태, 위치 중 적어도 하나에 기초하여 피검사자(140)의 사시를 진단할 수 있다. 예를 들어, 무자각 사시 진단 장치(100)는 좌안 홍채의 운동 영역(410)의 넓이와 우안 홍채의 운동 영역(420)의 넓이의 비율이 소정의 값 이상이면 피검사자(140)가 사시인 것으로 결정할 수 있다.

무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 기초하여 이미지 간의 홍채의 변위를 결정하고, 이를 이용하여 피검사자(140)의 사시를 진단할 수 있다. 무자각 사시 진단 장치(100)는 홍채 위치 변화 축적 데이터 세트에 기초하여 눈깜빡임 빈도를 결정하고, 이를 이용하여 피검사자(140)의 사시를 진단할 수 있다.

무자각 사시 진단 장치(100)는 복수의 시계열적 이미지들 각각에 대하여, 안면의 공간적 배치에 기초하여 홍채 쌍의 위치를 결정할 수 있다. 이에 따라, 무자각 사시 진단 장치(100)는 종래의 사시 진단 방법들과 달리 카메라(103)에 대한 안면의 공간적 배치가 고정되어 있지 않더라도 홍채 쌍의 위치를 결정할 수 있게 된다. 무자각 사시 진단 장치(100)는 안면의 랜드마크들을 이용하여 안면의 공간적 배치에 기초하여 홍채 쌍의 위치를 결정할 수 있다. 무자각 사시 진단 장치(100)는 복수의 시계열적 이미지들 중 제1 이미지에서의 안면의 공간적 배치에 기초하여, 제1 이미지에서의 홍채 쌍의 위치를 결정할 수 있다.

도 5 및 도 6은 시선 방향에 따라 다르게 보이는 홍채의 형태를 도시한 도면이다. 도 5 및 도 6을 참조하면, 사람의 눈은 시선 방향에 따라 홍채의 전부가 보이기도 하고, 홍채의 일부만 보이기도 한다. 즉, 도 5와 같이 홍채가 눈의 중심부에 있을 때는 홍채 전체가 잘 보이지만, 도 6과 같이 홍채가 눈의 가장자리로 가면 홍채의 일부가 눈꺼풀 등에 의해 가려져 안 보이게 된다. 이렇게 홍채의 일부가 가려져 안 보이는 현상을 홍채의 폐색(occlusion)이라 하며, 홍채의 폐색이 일어나면 홍채의 위치를 정확히 결정하기 어렵게 된다. 예를 들어 인공지능 학습 모델을 이용하여 홍채의 위치를 결정하는 경우, 홍채가 눈의 중심부에 있어 폐색이 거의 일어나지 않을 때는 홍채의 위치가 정확하게 결정되지만, 홍채가 눈의 가장자리로 가서 홍채의 폐색이 크게 일어날수록 홍채의 위치가 부정확하게 결정되게 된다. 또한, 홍채의 폐색이 일어나지 않을 때는 홍채의 크기를 정확하게 결정할 수 있지만, 홍채의 폐색이 일어나면 홍채의 크기가 실제보다 작게 결정될 수 있다.

무자각 사시 진단 장치(100)는, 홍채의 폐색에도 불구하고 복수의 시계열적 이미지들에 대한 통계적 분석을 통하여 홍채의 크기를 정확하게 결정하고, 이를 이용하여 각 이미지에서의 홍채의 위치를 정확하게 결정할 수 있다. 여기서 홍채의 크기는 피검사자(140)의 안면에 대한 상대적인 크기일 수 있다. 홍채의 크기는 피검사자(140)의 안면의 랜드마크들 간의 거리에 대한 상대적인 값일 수 있다. 홍채의 크기는 표준 안면에 대하여 정규화(normalize)된 크기일 수 있다.

무자각 사시 진단 장치(100)는 복수의 시계열적 이미지들에 대한 통계적 분석을 통하여 홍채 쌍 중 제1 홍채의 크기를 결정하고, 제1 홍채의 크기에 기초하여 복수의 시계열적 이미지들 각각에 대하여 제1 홍채의 위치를 결정할 수 있다. 여기서 제1 홍채는 좌안 홍채 또는 우안 홍채일 수 있다. 무자각 사시 진단 장치(100)는 좌안 홍채의 크기와 우안 홍채의 크기를 따로 결정할 수도 있고, 양안의 홍채 크기가 같다는 전제 하에 하나의 홍채 크기만을 결정할 수도 있다.

무자각 사시 진단 장치(100)는 복수의 시계열적 이미지들 각각에 대하여 홍채의 크기를 결정할 수 있는데, 이 경우 해당 이미지에서의 홍채의 폐색 여부 및 정도에 따라 홍채의 크기가 실제와 다르게 결정될 수 있다. 이와 같이 특정 이미지에 대하여 결정된 홍채의 크기를 홍채의 이미지별 크기라 한다. 홍채의 이미지별 크기는 피검사자(140)의 안면에 대한 상대적인 크기일 수 있다. 홍채의 이미지별 크기는 피검사자(140)의 안면의 랜드마크들 간의 거리에 대한 상대적인 값일 수 있다. 홍채의 이미지별 크기는 표준 안면에 대하여 정규화(normalize)된 크기일 수 있다.

홍채의 이미지별 크기는, 사용된 이미지와 사용된 인공지능 모델 등에 따라 폐색의 영향이 일부 또는 전부 보상된 것일 수도 있다. 그러나 복수의 시계열적 이미지들 전체적으로 보면 폐색의 영향이 불완전하게 보상되어, 홍채의 이미지별 크기는 일정하지 않고 변화하는 값을 갖게 된다. 무자각 사시 진단 장치(100)는 복수의 시계열적 이미지들 각각에 대하여 결정된 제1 홍채의 이미지별 크기들의 통계적 특성에 기초하여, 제1 홍채의 크기를 결정할 수 있다.

예를 들어, 무자각 사시 진단 장치(100)는 제1 홍채의 이미지별 크기들 중 최대값을 제1 홍채의 크기로 결정할 수 있다. 무자각 사시 진단 장치(100)는 제1 홍채의 이미지별 크기들 중 이상치(outlier)는 제외하고, 나머지 중 최대값을 제1 홍채의 크기로 결정할 수 있다. 무자각 사시 진단 장치(100)는 제1 홍채의 이미지별 크기들의 최빈값을 제1 홍채의 크기로 결정할 수 있다. 무자각 사시 진단 장치(100)는 제1 홍채의 이미지별 크기들의 최빈값과 최대값일 모두 이용하여 제1 홍채의 크기를 결정할 수 있다. 무자각 사시 진단 장치(100)는 제1 홍채의 이미지별 크기들의 다른 통계적 특성을 이용하여 제1 홍채의 크기를 결정할 수도 있다.

이렇게 하여 홍채의 크기를 정확하게 결정하였더라도, 각 이미지상의 홍채의 크기는 해당 이미지에서의 피검사자(140)의 안면의 공간적 배치에 따라 달라지게 된다. 예를 들어, 피검사자(140)가 카메라(130)로부터 멀리 떨어지면 이미지상의 홍채의 크기가 작아지게 되며, 피검사자(140)의 안면이 카메라(130)를 향하지 않을 때도 이미지상의 홍채의 크기가 작아질 수 있다. 이와 같이 안면의 공간적 배치에 따라 달라지는 각 이미지상의 홍채의 크기를, 홍채의 이미지 크기라 한다.

무자각 사시 진단 장치(100)는 결정된 홍채의 크기를 이용하여 각 이미지에서의 홍채의 이미지 크기를 결정하고, 이를 이용하여 각 이미지에서의 홍채의 위치를 정확하게 결정할 수 있다. 무자각 사시 진단 장치(100)는 홍채의 크기 및 각 이미지에서의 안면의 공간적 배치에 기초하여 각 이미지에서의 홍채의 이미지 크기를 결정할 수 있다. 무자각 사시 진단 장치(100)는 홍채의 크기 및 각 이미지에서의 안면 랜드마크들에 기초하여 각 이미지에서의 홍채의 이미지 크기를 결정할 수 있다. 무자각 사시 진단 장치(100)는 각 이미지에서의 안면의 랜드마크들에 기초하여 각 이미지에서의 안면의 위치, 거리, 크기, 방향, 각도, 피치, 롤, 요 등을 결정하고, 이에 기초하여 각 이미지에서의 홍채의 이미지 크기를 결정할 수 있다. 무자각 사시 진단 장치(100)는 각 이미지에서의 안면의 위치와 방향을 결정하고, 이에 기초하여 각 이미지에서의 홍채의 이미지 크기를 결정할 수 있다. 무자각 사시 진단 장치(100)는 각 이미지에서의 안면의 크기와 각도를 결정하고, 이에 기초하여 각 이미지에서의 홍채의 이미지 크기를 결정할 수 있다. 무자각 사시 진단 장치(100)는 복수의 시계열적 이미지들 중 제1 이미지에 대하여, 제1 홍채의 크기 및 제1 이미지에서의 안면의 공간적 배치에 기초하여 제1 이미지에서의 제1 홍채의 이미지 크기를 결정하고, 제1 홍채의 이미지 크기에 기초하여 제1 이미지에서의 제1 홍채의 위치를 결정할 수 있다.

무자각 사시 진단 장치(100)는 제1 이미지에서의 제1 홍채의 후보 위치들을 결정하고, 후보 위치들 중에서 하나를 선택함으로써 제1 이미지에서의 제1 홍채의 위치를 결정할 수 있다. 후보 위치들은 제1 이미지상의 모든 픽셀, 제1 이미지상의 눈 영역의 모든 픽셀, 인공지능 모델을 이용하여 결정한 제1 이미지에서의 제1 홍채의 위치를 중심으로 하는 일정 범위 내의 픽셀 등으로 결정할 수 있다.

무자각 사시 진단 장치(100)는 제1 홍채의 이미지 크기에 기초하여 제1 홍채의 후보 위치들 각각에 대한 추정 눈 이미지(hypothesis eye image)를 생성하고, 제1 이미지 및 추정 눈 이미지에 기초하여 후보 위치들 중에서 하나를 선택함으로써 제1 이미지에서의 제1 홍채의 위치를 결정할 수 있다. 예를 들어, 무자각 사시 진단 장치(100)는 후보 위치들 중에서 추정 눈 이미지와 제1 이미지의 눈 영역과의 상관관계(correlation)가 가장 높은 후보 위치를 선택할 수 있다. 무자각 사시 진단 장치(100)는 제1 이미지 및 추정 눈 이미지에 따른 비용 함수(cost function)를 이용할 수 있으며, 후보 위치들 중 비용 함수 값이 가장 낮은 후보 위치를 선택할 수 있다. 후보 위치 하나에 대해 복수의 추정 눈 이미지를 이용할 수도 있다. 예를 들어, 무자각 사시 진단 장치(100)는 후보 위치마다 제1 추정 눈 이미지와 제2 추정 눈 이미지를 생성하고, 제1 이미지, 제1 추정 눈 이미지, 및 제2 추정 눈 이미지에 따른 비용 함수를 이용하여 후보 위치들 중 하나를 선택할 수 있다.

후보 위치는 이미지상의 좌표, 즉 이미지상의 절대 위치일 수도 있으며, 피검사자(140)의 안면에 대한 상대적 위치일 수도 있다. 안면에 대한 상대적 위치는 표준 안면에 대하여 정규화된 위치일 수 있다. 후보 위치가 이미지상의 좌표인 경우, 후보 위치들 중에서 선택된 위치를 피검사자(140)의 안면에 대한 상대적 위치로 변환함으로써 제1 홍채의 피검사자(140)의 안면에 대한 상대적 위치를 결정할 수 있다. 후보 위치가 피검사자(140)의 안면에 대한 상대적 위치인 경우, 이를 이미지상의 좌표로 변환한 후 이에 기초하여 추정 눈 이미지를 생성할 수 있다. 이 경우 후보 위치들 중에서 선택된 위치는 그대로 제1 홍채의 피검사자(140)의 안면에 대한 상대적 위치가 될 수 있다.

무자각 사시 진단 장치(100)는 제1 홍채의 후보 위치들 각각에 대하여, 제1 홍채의 이미지 크기에 기초하여, 홍채 영역과 흰자위 영역 중 한 영역의 픽셀 값은 0이고 다른 영역의 픽셀 값은 1인 추정 눈 이미지를 생성할 수 있다. 여기서 홍채 영역은 동공 영역을 포함할 수 있다. 무자각 사시 진단 장치(100)는 추정 눈 이미지와 제1 이미지의 대응되는 픽셀 값들을 곱한 값들의 통계적 특성에 기초하여, 후보 위치들 중에서 하나를 선택할 수 있다. 이때 제1 이미지는 그레이스케일 이미지일 수 있다. 제1 이미지는 그레이스케일로 촬영된 이미지이거나, 컬러로 촬영된 후 그레이스케일로 변환된 이미지일 수 있다. 추정 눈 이미지에서 눈 영역 외의 부분의 픽셀 값은 0일 수 있다. 제1 이미지에서 눈 영역 외의 부분의 픽셀 값을 0으로 설정할 수도 있다. 추정 눈 이미지와 제1 이미지의 눈 영역에 해당하는 픽셀 값들만을 이용할 수도 있다. 추정 눈 이미지는 0 또는 1의 픽셀 값을 갖는 2비트 흑백(black or white) 이미지일 수 있다. 추정 눈 이미지는 그레이스케일 이미지일 수도 있고, 픽셀 값 1 대신 다른 상수 값을 이용하여도 픽셀 값 1을 이용하는 경우와 균등하다.

예를 들어, 홍채 영역의 픽셀 값은 1이고 흰자위 영역의 픽셀 값은 0인 추정 눈 이미지를 생성한 경우, 추정 눈 이미지와 그레이스케일의 제1 이미지의 대응되는 픽셀 값들을 곱하면, 추정 눈 이미지의 흰자위 영역에 해당하는 픽셀들은 곱한 값이 0의 값을 갖게 되고, 추정 눈 이미지의 홍채 영역에 해당하는 픽셀들은 곱한 값이 제1 이미지의 픽셀 값을 갖게 된다. 이때 추정 눈 이미지의 홍채의 위치와 제1 이미지의 홍채의 위치가 정확하게 맞았다면 추정 눈 이미지의 홍채 영역에 해당하는 제1 이미지의 픽셀 값은 모두 홍채의 픽셀 값이므로 어두운 색, 즉 0에 가까운 값을 갖게 된다. 반면에, 추정 눈 이미지의 홍채의 위치와 제1 이미지의 홍채의 위치가 잘 맞지 않았다면 추정 눈 이미지의 홍채 영역에 해당하는 제1 이미지의 픽셀 값은 흰자위 영역의 픽셀 값을 포함하게 되며, 그 부분의 곱한 값들은 밝은 색, 예를 들어 8비트 이미지의 경우 255에 가까운 값을 갖게 된다. 양 이미지의 홍채의 위치가 잘 맞지 않을수록 곱한 값들은 255에 가까운 값을 많이 갖게 된다. 따라서 양 이미지의 대응되는 픽셀 값들의 곱의 평균 및/또는 표준편차가 낮을수록 비용 함수가 낮아지도록 비용 함수를 정의할 수 있다.

반대로 홍채 영역의 픽셀 값은 0이고 흰자위 영역의 픽셀 값은 1인 추정 눈 이미지를 생성한 경우, 추정 눈 이미지와 그레이스케일의 제1 이미지의 대응되는 픽셀 값들을 곱하면, 추정 눈 이미지의 홍채 영역에 해당하는 픽셀들은 곱한 값이 0의 값을 갖게 되고, 추정 눈 이미지의 흰자위 영역에 해당하는 픽셀들은 곱한 값이 제1 이미지의 픽셀 값을 갖게 된다. 이때 추정 눈 이미지의 홍채의 위치와 제1 이미지의 홍채의 위치가 정확하게 맞았다면 추정 눈 이미지의 흰자위 영역에 해당하는 제1 이미지의 픽셀 값은 모두 흰자위의 픽셀 값이므로 밝은 색, 즉 255에 가까운 값을 갖게 된다. 반면에, 추정 눈 이미지의 홍채의 위치와 제1 이미지의 홍채의 위치가 잘 맞지 않았다면 추정 눈 이미지의 흰자위 영역에 해당하는 제1 이미지의 픽셀 값은 홍채 영역의 픽셀 값을 포함하게 되며, 그 부분의 곱한 값들은 어두운 색, 즉 0에 가까운 값을 갖게 된다. 양 이미지의 홍채의 위치가 잘 맞지 않을수록 곱한 값들은 0에 가까운 값을 많이 갖게 된다. 따라서 양 이미지의 대응되는 픽셀 값들의 곱의 평균이 높을수록 비용 함수가 낮아지도록 비용 함수를 정의할 수 있다. 이 경우에도 양 이미지의 대응되는 픽셀 값들의 곱의 표준편차가 낮을수록 비용 함수가 낮아지도록 비용 함수를 정의할 수 있다.

무자각 사시 진단 장치(100)는 각 후보 위치에 대하여 홍채 영역의 픽셀 값은 1이고 흰자위 영역의 픽셀 값은 0인 제1 추정 눈 이미지와, 홍채 영역의 픽셀 값은 0이고 흰자위 영역의 픽셀 값은 1인 제2 추정 눈 이미지를 생성할 수 있다. 이 경우 제1 추정 눈 이미지와 제1 이미지의 대응되는 픽셀 값들의 곱(이하 '홍채 영역 값들'이라 한다)의 평균 및 표준편차, 그리고 제2 추정 눈 이미지와 제1 이미지의 대응되는 픽셀 값들의 곱(이하 '흰자위 영역 값들'이라 한다)의 표준편차가 낮을수록 비용 함수가 낮아지도록 비용 함수를 정의할 수 있으며, 흰자위 영역 값들의 평균이 높을수록 비용 함수가 낮아지도록 비용 함수를 정의할 수 있다. 예를 들어 비용함수는 다음과 같이 정의될 수 있다.

여기서 W_max, W_mean, W_std는 각각 흰자위 영역 값들의 최대값, 평균, 표준편차이고, P_max, P_mean, P_std는 각각 홍채 영역 값들의 최대값, 평균, 표준편차이다. 분모의 W_max - P_min 은 정규화를 위한 것이다.

무자각 사시 진단 장치(100)는 제1 이미지의 직전 이미지에서의 제1 홍채의 위치에 기초하여 후보 위치들 중에서 하나를 선택할 수 있다. 제1 이미지에서의 홍채의 위치는 직전 이미지에서의 홍채의 위치와 가까울 가능성이 높으므로, 후보 위치와 직전 이미지에서의 홍채의 위치 간의 차이가 클수록 비용 함수가 커지도록 비용함수를 정의할 수 있다. 이는 일종의 트래킹이라 할 수 있다. 예를 들어 비용함수는 다음과 같이 정의될 수 있다.

여기서 P_center는 제1 이미지의 제1 홍채의 후보 위치, P_{center_prev}는 제1 이미지의 직전 이미지에서의 제1 홍채의 위치이고, dist(P_center, P_{center_prev})는 두 위치 간의 거리이다. P_radius는 제1 홍채의 반지름으로서, 제1 홍채의 크기의 반일 수 있다. 분모의 c·P_radius는 정규화를 위한 것이며, c는 트래킹에 가중치를 주기 위해 미리 정의된 상수 값이다. 예를 들어 c=2일 수 있다.

도 7은 본 개시의 일 실시예에 의해 추정 눈 이미지를 이용하여 홍채의 위치를 결정하는 방법을 도시한 도면이다. 도 7을 참조하면, 복수의 시계열적 이미지들 중 제1 이미지(710)와, 후보 위치에 대하여 홍채 영역의 픽셀 값은 1이고 흰자위 영역의 픽셀 값은 0인 제1 추정 눈 이미지(720)의 대응되는 픽셀 값들을 곱한 이미지(740)가 도시되어 있다. 또한, 제1 이미지(710)와, 후보 위치에 대하여 홍채 영역의 픽셀 값은 0이고 흰자위 영역의 픽셀 값은 1인 제2 추정 눈 이미지(730)의 대응되는 픽셀 값들을 곱한 이미지(750)가 도시되어 있다.

도 8은 본 개시의 다른 실시예에 의해 추정 눈 이미지를 이용하여 홍채의 위치를 결정하는 방법을 도시한 도면이다. 도 8을 참조하면, 제1 이미지(810)에서 눈 영역을 제외한 부분을 0으로 설정한 이미지(860)에 제1 추정 눈 이미지(820) 및 제2 추정 눈 이미지(830)를 각각 곱한 결과가 곱 이미지(840) 및 곱 이미지(860)이다.

본 개시에 의한 무자각 사시 진단 시스템에서는 피검사자가 머리 자세를 고정하거나 진단 장치를 착용하지 않고 자유롭게 활동하는 모습을 카메라(130)가 지속적으로 촬영하므로, 피검사자(140)의 안면이 카메라(130) 쪽을 바라보지 않으면 피검사자(140)의 사시를 진단하기에 적합한 이미지를 얻을 수 없다. 따라서 무자각 사시 진단 장치(100)는 카메라(130)가 피검사자(140)의 사시 진단에 적합한 이미지를 캡처할 수 있는 위치로 이동하도록 제어할 수 있다. 무자각 사시 진단 장치(100)는 카메라(130)로부터 획득한 복수의 시계열적 이미지들 중 적어도 하나에 대한 안면 검출 결과에 기초하여, 카메라(103)가 피검사자(140)의 사시 진단에 적합한 이미지를 캡처할 수 있는 위치로 이동하도록 제어할 수 있다. 이하 카메라의 위치를 이동시킬 수 있는 장치에 관하여 설명한다.

도 9는 본 개시의 일 실시예에 의한 스마트 모빌을 도시한 도면이다. 도 9를 참조하면, 본 개시의 일 실시예에 의한 스마트 모빌(900)은, 모빌 헤드(910), 암(920), 지지대(930), 및 고정기구(940)를 포함할 수 있다. 스마트 모빌(900)은 하나 이상의 장난감(950)을 더 포함할 수 있다.

고정기구(940)는 바닥이나 침대 난간과 같은 고정 대상에 모빌을 고정시켜 준다. 고정기구(940)는 회전부(941)를 포함하여 지지대(930)을 회전시킬 수 있다. 회전부(941)는 모빌 전체를 360도 회전시킬 수 있다.

지지대(930)는 고정기구(940)에 연결되어 모빌을 지지한다. 지지대(930)는 지지대 길이 조절부(931)를 포함하여 길이 조절이 가능할 수 있다. 지지대(930)는 회전부(941)에 의해 회전될 수 있다. 지지대 길이 조절부(931) 및 회전부(941)는 수동으로, 또는 모터를 이용하여 입력된 수치만큼 자동으로 제어할 수 있다.

모빌 헤드(910)는 카메라(911), 카메라 구동부(912), 및 장난감 제어부(913)를 포함할 수 있다. 카메라(911)는 영아를 촬영할 수 있다. 카메라 구동부(912)는 줌, 카메라(130)의 다양한 기능, 예를 들면 적외선 모드, 화소, 프레임율, 촬영 모드 등을 제어할 수 있다. 장난감 제어부(913)는 장난감(950)을 탈착할 수 있고 장난감(950)의 움직임(예: 회전, 상하운동)을 제어할 수 있다. 모빌 헤드(910)는 복수의 카메라(911)를 포함할 수 있다. 실시예에 따라 카메라(911)는 모빌 헤드(910) 외에 스마트 모빌(900)의 다른 부분에 부착될 수 있다.

장난감 제어부(913)는 장난감(950)의 높이를 조절할 수 있는 도르레(914)를 포함할 수 있다. 장난감의 움직임은 원형, 상하운동, 나선형, S형, N형, W형 등을 포함하며, 여기에 장난감의 상하운동을 결합하는 형태 또한 가능하다. 장난감의 움직임은 기구적으로 표현 가능한 어떤 형태의 움직임도 포함할 수 있다. 카메라를 통해 촬영된 영상은 모빌 내의 저장장치에 저장될 수 있으며, 저장된 영상은 미리 지정된 시간 또는 필요할 때에 통신칩을 통해 서버로 전송될 수 있다. 촬영중인 영상을 실시간으로 서버로 전송하여 실시간 모니터링이 가능하게 할 수도 있다.

암(920)은 지지대(930)와 모빌 헤드(910)를 연결해준다. 암(920)은 암 길이 조절부(921)를 포함하여 길이 조절이 가능할 수 있다. 암(920)은 자유로운 움직임이 가능하도록 양쪽 끝이 다양한 형태의 조인트(922)로 구성될 수 있다. 조인트(922)는 점접촉, 선접촉, 면접촉의 형태 등 원하는 움직임 수행이 가능한 모든 형태가 가능하다. 암(920)은 지지대(930)와 함께 모빌 헤드(210)의 위치를 조절할 수 있으며, 카메라(911) 및 장난감(950)을 원하는 곳에 위치시킬 수 있게 해준다.

장난감(950)은 장난감 제어부(913)에 탈착이 가능하다. 장난감(950)은 탈착을 위한 연결선(951)을 통해 전원 및 장난감 제어 신호를 전달받을 수 있다. 장난감 제어부(913)는 하나 이상의 장난감(950)들 각각을 움직이게 하거나 소리 또는 불빛을 발생시켜 아이의 주의를 유도할 수 있다. 장난감 제어부(913)는 하나 이상의 장난감(950)들 각각이 특정 시간에 특정 동작을 취하도록 할 수 있다. 장난감을 회전시킬 수 있는 회전판 및 구동을 위한 모터에 슬립링을 장착해줄 경우 회전판에 장착된 각 장난감의 상하 구동 제어가 가능해진다.

스마트 모빌(900)은 모빌 전체 동작을 제어하는 모빌 제어부(미도시)를 포함할 수 있다. 모빌 제어부는 최적의 영상을 얻기 위해 영상 분석 결과에 따라 인가된 위치 신호를 바탕으로 카메라 및 장난감의 위치를 옮길 수 있도록 지지대(930) 및 암(920)을 제어할 수 있다. 모빌 제어부는 영상 분석 결과에 따라 의심되는 질병의 정확한 판독을 위해 필요한 패턴으로 장난감(950)이 움직일 수 있도록 제어할 수 있다. 모빌 제어부는 이를 위해 세부 제어 신호를 생성할 수 있는 마이크로프로세서, 제어 소스 코드를 저장할 수 있는 메모리 등의 저장 장치, 각 구성부로 제어 신호를 전송해주거나 서버로 영상 또는 기타 정보를 전송할 수 있는 통신 장치를 포함할 수 있다. 스마트 모빌(900)은 스피커 및/또는 발광 기구를 포함할 수 있다.

도 10은 본 개시의 다른 실시예에 의한 스마트 모빌을 도시한 도면이다. 도 10을 참조하면, 본 개시의 일 실시예에 의한 스마트 모빌(1000)의 모빌 헤드(1010)는 상하로 움직일 수 있는 모빌 암(1011)을 포함하여, 모빌 암(1011)에 탈착할 수 있는 장난감을 상하로 움직일 수 있다. 스마트 모빌(1000)은 도 9를 참조하여 설명한 스마트 모빌(900)의 구성을 모두 포함할 수 있다.

이제 스마트 모빌(900, 1000)이 수행할 수 있는 동작의 예를 설명한다. 전원이 켜지면, 스마트 모빌은 기본 동작 모드에 진입하게 된다. 모빌 헤드에 부착된 장난감은 기본 형태의 움직임(예: 회전)을 하게 되며, 카메라는 영아를 촬영한다. 스마트 모빌은 영상 분석을 통해 카메라가 영아를 가장 잘 촬영할 수 있는 위치, 각도를 취하도록 카메라를 제어한다. 촬영된 영상은 서버에 전송되며, 서버는 각종 질병 현상 발현 여부를 분석하기 위해 미리 설계된 신호 처리 및 질병 판단 알고리즘을 수행한다. 이를 통해 서버는 해당 영상 내에서 판단하고자 하는 목표 질병의 발현 여부를 파악하게 된다. 촬영된 영상은 서버에 순서대로 저장되고 분석 결과는 누적되어 후처리를 거친 후 통계적 결과로 가공된다. 분석 결과 및 가공된 결과는 저장된 영상 등과 함께 의사, 부모 등의 사용자에게 전송되어 질병 현상 발현 판단 결과를 제공받고 질병의 유무 또는 진행 정도 등을 파악하게 된다. 특정 질병에 대해 추가 분석을 위한 데이터가 필요할 경우, 해당 질병에 대한 구체적 데이터 획득이 가능하도록 스마트 모빌은 질병별로 미리 정해진 패턴으로 장난감을 움직이게 하거나 주의유도 동작을 수행한다. 추가로 획득한 데이터는 서버로 전송되어 영상 분석 절차를 거치며, 더 정확한 판단 결과를 사용자에게 제공할 수 있게 된다. 서버가 수행하는 것으로 설명되는 모든 동작을 스마트 모빌이 수행할 수도 있다.

이제 스마트 모빌(900, 1000)이 수행할 수 있는 주의유도 동작의 예를 설명한다. 주의유도는 영아가 카메라를 바라보도록 하여 영아의 안면이 더 잘 촬영되도록 하는 것으로서, 영아가 안면 또는 고개(head)를 카메라 쪽으로 향하도록 유도하는 것이지, 안면을 기준으로 하는 시선 방향을 특정 방향으로 유도하는 것은 아니다.

스마트 모빌은 각종 주의유도 장치를 포함할 수 있으며, 주의유도 장치는 불빛, 움직임, 소리 등의 수단을 포함할 수 있다. 이러한 수단들은 독립적으로 제어될 수 있으며 모빌에 장착되는 장난감이나 모빌 자체에 적용될 수 있다. 장난감의 움직임은, 회전, 상하좌우 운동, 진동 등을 포함할 수 있으며, 장난감에서 자체적으로 해당 움직임을 제어할 수도 있지만, 모터나 도르레 등을 이용하여 모빌에서 해당 움직임을 제어할 수도 있다. 예를 들어, 모빌에 장착된 특정 장난감으로 주의를 유도하고자 할 때에는 유/무선의 통신 방법을 이용하여 제어 신호를 모빌의 장난감 제어부 또는 해당 장난감에 전송하여, 해당 장난감이 의도하는 움직임, 불빛 발생, 소리 발생 등의 동작을 수행하도록 할 수 있다.

스마트 모빌은 촬영된 영상의 의학적 분석을 통하여, 어떤 질병이 의심되거나 추가 정보가 필요할 경우, 해당 질병에서 필요로 하는 정보 획득을 위한 준비를 할 수 있다. 이 과정에는 서버나 모빌의 저장장치로부터 해당 질병의 추가 정보 취득을 위해 필요한 모빌의 동작 조건 혹은 순서 등의 정보를 읽어올 수 있다. 준비가 완료되면, 스마트 모빌은 정해진 순서 및 패턴에 따라 각 주의유도 장치를 동작시키거나 멈추게 하여 해당 질병에서 필요로 하는 정보를 습득(촬영)하게 된다. 예를 들어, 만약 영아의 사시가 의심되는 경우에는 모빌에 장착된 장난감들 중 영아의 주의를 하나의 장난감으로만 유도시키기 위해 특정 장난감에서만 주의유도 장치가 동작하도록 할 수 있다. 이때, 다른 장난감들은 모빌 헤드의 회전 운동에 의해 단순 회전 동작만을 갖는 반면, 주의유도장치가 작동하는 장난감의 경우 회전 동작 외에 상하 운동, 불빛, 및/또는 소리 발생 등의 추가 동작을 병행할 수 있다. 이를 통해 영아는 다른 장난감보다 해당 장난감을 바라보는 시간, 확률이 증가하게 되고, 이때 장난감을 따라 원운동을 그리며 움직이는 영아의 동공 움직임을 촬영해줄 경우 자유 운동을 하던 기존 기본 동작 시와 달리 눈 주변부를 따라 동공이 움직하는 시간이 증가하여 사시를 발견할 확률 및 그 정도를 파악할 가능성이 높아지게 된다. 각 질병마다 요구하는 장난감의 움직임이나 주의유도장치의 조합 및 그 동작 순서는 달라질 수 있다.

일 실시예에서 스마트 모빌(900, 1000)은 동화구연 모드로 동작할 수 있다. 스마트 모빌이 동화구연 모드로 동작할 때에는, 동화의 내용 및 동화의 내용에 맞추어 구현될 주의유도 장치의 동작 순서를 기록해 놓은 컨텐츠를 이용할 수 있다. 이러한 컨텐츠는, 파일 형태로 만들어져 통신부를 통해 모빌 내 저장부에 저장될 수도 있으며, 컨텐츠가 기록되어 있는 종이 또는 플라스틱 카드 등 특정 형태로 만들어진 매개체를 리더기를 통해 읽어들이는 방식도 이용 가능하다. 후자의 경우 리더기 장치 등이 모빌에 추가적으로 구성될 수 있다. 특정 동화 내용이 기록된 파일이 모빌로 전송되고 해당 동화를 구연하는 모드가 설정될 경우(혹은 특정 동화 내용이 기록된 매개체를 리더기에 삽입한 경우), 모빌은 컨텐츠에 기록된 내용을 읽어낼 준비를 할 수 있다. 동화의 주인공에 해당하는 장난감들은 모빌의 장난감 제어부의 각자 지정된 위치에 장착될 수 있다. 동화 구연이 시작되면 해당 동화 내용에 따라 미리 정해진 패턴, 순서, 조합에 따라 장난감들과 주의유도 장치가 제어될 수 있다. 특정 주인공에 해당하는 내용이 나올 때에는 해당 주인공과 일치하는 장난감으로의 집중을 위해 주의유도 장치를 가동시킬 수 있다. 동화의 내용에 따라 가동되는 장난감 및 주의유도 장치의 조합과 순서는 달라지게 되며, 이를 통해 영아들에게 동화를 구연해주는 듯한 효과를 얻을 수 있게 된다. 이러한 기능을 통해 영아의 정서 발달 및 육아에 도움을 줄 수 있게 된다. 동화 내용을 양육자의 목소리로 녹음하게 하는 기능을 추가하여 아이와의 상호작용을 증대시켜 아이의 성장에 기여할 수 있다.

본 발명의 일 실시예에 의한 스마트 모빌(900, 1000)은 카메라를 통해 모빌을 바라보는 영아의 상태나 움직임 및 안면의 운동 정보를 취득할 수 있으며, 이를 저장, 가공, 분석하여 아이가 보유한 다양한 질병을 사전에 알아내 조기에 진료 및 치료를 받을 수 있게 도와주는 의료보조기기로서의 기능을 가질 수 있다. 예를 들어, 아이의 안구 운동 및 안구 상태 파악을 통해 사시를 포함한 각종 안질환의 조기 파악이 가능하며, 아이의 행동 관찰을 통해 자폐 스펙트럼 장애, 주의력 결핍, 및 ADHD 등의 행동 기반으로 발현되는 질병들의 조기 파악이 가능하다. 스마트 모빌(900)은 아이의 행동을 관찰할 수 있으며, 장난감의 동작 패턴에 대한 아이의 반응 분석 등을 통해, 사물 인지, 정서 형성 등의 영유아 발달 상황을 파악할 수 있다.

도 11은 본 개시의 일 실시예에 의한 스마트 모빌의 동작 방법의 흐름을 개략적으로 나타낸 흐름도이다. 스마트 모빌(900, 1000)은 영상 분석을 통해 카메라가 영아를 가장 잘 촬영할 수 있는 위치, 각도를 취하도록 카메라를 제어할 수 있다. 이때 최적의 성능을 내기 위해 촬영 영상이 가져야 할 여러 조건들, 예를 들어 안면 각도, 화면 내에서 안면이 차지하는 크기, 조도, 안면의 밝기 등은 미리 정의될 수 있으며, 이러한 조건들은 그 사용 목적에 따라 다르게 정의될 수 있다.

도 11을 참조하면, 스마트 모빌은 동작 S1110에서 촬영 개시 신호 입력을 받고, 동작 S1120에서 촬영 준비를 하고, 동작 S1130에서 촬영을 한다. 스마트 모빌은 동작 S1140에서 영상 분석을 통해 현재 촬영된 영상의 조건을 도출한다. 여기에는 화면 상의 대상 안면의 위치, 안면의 면적, 안면의 각도, 대상으로부터 카메라까지의 거리 등 물리적인 안면 위치를 파악할 수 있는 정보들이 포함된다. 분석된 안면의 위치는 정해진 기준에 따라 3차원 좌표 등의 위치 파악이 가능한 정보로 출력된다. 스마트 모빌은 동작 S1150에서 안면 위치 등이 촬영 최적 조건을 만족하는지 여부를 판단한다. 스마트 모빌은 미리 정의된 각종 조건들이 미리 정해진 기준 이내의 오차를 갖는지 여부를 판단할 수 있다.

스마트 모빌은 촬영 최적 조건이 만족되지 않는 경우 동작 S1160에서 안면의 정면을 촬영하기 위해서 카메라가 탑재된 모빌 헤드가 위치해야 하는 목표 지점의 정보를 도출해낸다. 영상 분석 및 목표 위치 정도 도출의 연산은, 모빌 내 탑재된 마이크로프로세서 또는 통신 칩에 의해 연결되는 서버에서 수행 가능하다. 스마트 모빌은 동작 S1170에서 도출된 정보를 바탕으로, 모빌 제어부는 모빌의 각 조인트 및/또는 길이 조절부를 제어하여 목표 지점으로 모빌 헤드를 이동시킨다. 만약 기구의 이동만으로 안면 면적 조건 등의 촬영 최적 조건 만족이 어려울 때에는 카메라의 줌 기능 등을 이용하여 해당 조건 만족을 유도할 수 있다. 이 때 각 기구부 및 카메라의 제어 신호는 제어부에서 자체적으로 생성하거나 서버에서 생성된 신호를 전달받을 수 있다.

스마트 모빌은 이동 완료 후 동작 S1130에서 추가 영상 촬영을 한 후, 최적의 위치에 도달할 때까지 앞의 과정을 반복해 수행할 수 있다. 스마트 모빌은 촬영 최적 조건이 만족되는 경우 동작 S1180에서 모빌의 위치를 고정시킨다. 이후 모빌은 촬영 개시 등의 다음 동작 제어 신호를 기다릴 수 있다.

도 12는 본 개시의 일 실시예에 의한 스마트 모빌의 추가적인 동작 방법의 흐름을 개략적으로 나타낸 흐름도이다. 도 12를 참조하면, 스마트 모빌(900, 1000)은 동작 S1180 이후에 촬영 조건 및/또는 영상의 품질을 확인하여 카메라를 제어해 촬영되는 영상의 품질 향상을 도모하는 방법을 수행할 수 있다. 스마트 모빌은 동작 S1210에서 촬영을 하고, 동작 S1220에서 화면상의 안면의 색/밝기, 안면 주변의 환경(옷, 이불, 배게 등)들의 색/밝기, 촬영 장소의 조도, 화면 상의 색감, 촬영된 영상에서 블러 현상(예: 대상의 빠른 움직임에 의해 번져보이는 현상) 등을 분석하여 촬영이 이루어지는 환경 정보를 습득하고 분석할 수 있다.

스마트 모빌은 동작 S1230에서 미리 정해진 최적의 이미지 획득 조건과 비교하여 부족한 조건들이 있으면 동작 S1240에서 이를 만족시켜줄 수 있는 조건을 도출하고, S1250에서 해당 조건에 따라 카메라의 촬영 조건을 변경한 후, S1210에서 재촬영을 한다. 예를 들어, 조명에 의해 촬영 장소가 어둡거나 밝은(조도가 낮거나 높은) 경우이거나 대상이 입고 있는 옷 또는 누워있는 이불의 색깔에 의해 촬영 안면 식별이 명확하지 못하거나 어둡게 또는 밝게 표현되는 경우, 카메라의 노출 시간(integration time), gain(ISO control), HDR 기능 사용 여부, frame rate 조정 등을 통해 최적의 안면 정보 획득을 도모할 수 있다. 스마트 모빌은 이미지가 최적 조건을 만족하는 경우 S1260에서 카메라의 촬영 조건을 고정시킬 수 있다.

도 11 및/또는 도 12와 관련하여 설명한 스마트 모빌의 동작은 실시간으로 계속 이루어져 피드백되거나, 일정 시간 간격으로 실행되거나, 영상 녹화 전에 한 번만 수행되거나, 또는 사용자가 원할 때만 수행되는 등 다양한 시나리오에 따라 수행될 수 있다.

본 개시의 실시예들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터에 의해 실행가능한 코드로서 구현하는 것이 가능하다. 컴퓨터로 읽을 수 있는 기록매체는 자기 매체, 광학 매체, ROM, RAM 등 모든 기록매체를 포함한다. 컴퓨터로 읽을 수 있는 기록매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터로 읽을 수 있는 기록매체에 저장되어 배포되거나, 또는 애플리케이션 스토어(예: 플레이 스토어^TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱)의 적어도 일부는 제조사의 서버, 애플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 컴퓨터로 읽을 수 있는 기록매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

지금까지 본 개시에 대하여 도면에 도시된 바람직한 실시예들을 중심으로 상세히 살펴보았다. 이러한 실시예들은 이 개시를 한정하려는 것이 아니라 예시적인 것에 불과하며, 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 이러한 실시예들을 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 예를 들어, 단일형으로 설명되어 있는 각 구성요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다. 청구범위와 도면을 포함하여 본 개시의 모든 특징들 및/또는 동작들은, 특징들 및/또는 동작들 중 적어도 일부가 서로 배치되지 않는 이상, 어떠한 조합으로도 결합될 수 있다. 비록 본 개시에 특정한 용어들이 사용되었으나 이는 단지 본 개시의 개념을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 개시의 범위를 제한하기 위하여 사용된 것은 아니다.

본 개시의 진정한 기술적 보호범위는 전술한 설명이 아니라 첨부된 청구범위의 기술적 사상에 의해서 정해져야 하며, 청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다. 균등물은 현재 공지된 균등물뿐만 아니라 장래에 개발될 균등물 즉 구조와 무관하게 동일한 기능을 수행하도록 개시된 모든 구성요소를 포함하는 것으로 이해되어야 한다.

Claims

프로세서; 및
인스트럭션들을 저장하는 메모리를 포함하며,
상기 프로세서는 상기 인스트럭션들을 실행함으로써,
피검사자가 시계열적으로 캡처된 복수의 시계열적 이미지들을 획득하고,
상기 복수의 시계열적 이미지들 각각에서 상기 피검사자의 안면을 검출하고,
상기 복수의 시계열적 이미지들 각각에 대하여, 상기 피검사자의 안면에서의 홍채 쌍의 위치들을 결정하고,
상기 홍채 쌍의 위치들을 축적하여 홍채 위치 변화 축적 데이터 세트(accumulated iris position change data set)를 획득하고,
상기 홍채 위치 변화 축적 데이터 세트에 기초하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치.
제1항에 있어서,
상기 복수의 시계열적 이미지들은, 상기 피검사자가 시선 방향에 관한 지시를 받지 않은 상태에서 캡처된, 무자각 사시 진단 장치.
제1항에 있어서,
상기 프로세서는,
상기 홍채 위치 변화 축적 데이터 세트의 데이터 고유 특성(data intrinsic characteristics)에 대한 분석을 통하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치.
제1항에 있어서,
상기 프로세서는,
상기 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치.
제4항에 있어서,
상기 프로세서는,
상기 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여, 상기 홍채 쌍의 위치들이 일시적 비정상 값을 갖는지 여부를 결정하고,
상기 홍채 쌍의 위치들이 일시적 비정상 값을 갖는 것으로 결정함에 기초하여 상기 피검사자가 사시인 것으로 결정하는, 무자각 사시 진단 장치.
제4항에 있어서,
상기 프로세서는,
상기 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여, 상기 홍채 쌍 간의 거리가 일시적 비정상 값을 갖는지 여부를 결정하고,
상기 홍채 쌍 간의 거리가 일시적 비정상 값을 갖는 것으로 결정함에 기초하여 상기 피검사자가 사시인 것으로 결정하는, 무자각 사시 진단 장치.
제4항에 있어서,
상기 프로세서는,
상기 홍채 위치 변화 축적 데이터 세트에 대한 시계열적 분석을 통하여, 상기 홍채 쌍에 의한 각도가 일시적 비정상 값을 갖는지 여부를 결정하고,
상기 각도가 일시적 비정상 값을 갖는 것으로 결정함에 기초하여 상기 피검사자가 사시인 것으로 결정하는, 무자각 사시 진단 장치.
제1항에 있어서,
상기 프로세서는,
상기 홍채 위치 변화 축적 데이터 세트에 대한 통계적 분석을 통하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치.
제8항에 있어서,
상기 프로세서는,
상기 홍채 위치 변화 축적 데이터 세트에 대한 통계적 분석을 통하여, 상기 홍채 쌍 중 좌안 홍채 및 우안 홍채 각각의 운동 영역을 결정하고,
상기 좌안 홍채의 운동 영역과 상기 우안 홍채의 운동 영역을 비교하여 상기 피검사자의 사시를 진단하는, 무자각 사시 진단 장치.
제1항에 있어서,
상기 프로세서는,
상기 복수의 시계열적 이미지들 각각에 대하여, 상기 안면의 공간적 배치에 기초하여 상기 홍채 쌍의 위치를 결정하는, 무자각 사시 진단 장치.
제1항에 있어서,
상기 프로세서는,
상기 복수의 시계열적 이미지들에 대한 통계적 분석을 통하여 상기 홍채 쌍 중 제1 홍채의 크기를 결정하고,
상기 제1 홍채의 크기에 기초하여, 상기 복수의 시계열적 이미지들 각각에 대하여 상기 제1 홍채의 위치를 결정하는, 무자각 사시 진단 장치.
제11항에 있어서,
상기 프로세서는,
상기 복수의 시계열적 이미지들 각각에 대하여 상기 제1 홍채의 이미지별 크기를 결정하고,
상기 제1 홍채의 이미지별 크기들의 통계적 특성에 기초하여 상기 제1 홍채의 크기를 결정하는, 무자각 사시 진단 장치.
제12항에 있어서,
상기 프로세서는,
상기 제1 홍채의 이미지별 크기들의 최빈값 또는 최대값 중 적어도 하나에 기초하여 상기 제1 홍채의 크기를 결정하는, 무자각 사시 진단 장치.
제11항에 있어서,
상기 프로세서는,
상기 복수의 시계열적 이미지들 중 제1 이미지에 대하여,
상기 제1 홍채의 크기 및 상기 제1 이미지에서의 상기 안면의 공간적 배치 에 기초하여 상기 제1 이미지에서의 상기 제1 홍채의 이미지 크기를 결정하고,
상기 제1 홍채의 이미지 크기에 기초하여 상기 제1 홍채의 후보 위치들 각각에 대한 추정 눈 이미지(hypothesis eye image)를 생성하고,
상기 제1 이미지 및 상기 추정 눈 이미지에 기초하여, 상기 후보 위치들 중에서 하나를 선택함으로써 상기 제1 이미지에서의 상기 제1 홍채의 위치를 결정하는, 무자각 사시 진단 장치.
제14항에 있어서,
상기 프로세서는,
상기 제1 홍채의 후보 위치들 각각에 대하여, 상기 제1 홍채의 이미지 크기에 기초하여, 홍채 영역과 흰자위 영역 중 한 영역의 픽셀 값은 0이고 다른 영역의 픽셀 값은 1인 추정 눈 이미지를 생성하는, 무자각 사시 진단 장치.
제14항에 있어서,
상기 프로세서는,
상기 추정 눈 이미지와 상기 제1 이미지의 대응되는 픽셀 값들을 곱한 값들의 통계적 특성에 기초하여, 상기 후보 위치들 중에서 하나를 선택하는, 무자각 사시 진단 장치.
제14항에 있어서,
상기 프로세서는,
상기 제1 이미지의 직전 이미지에서의 제1 홍채의 위치에 기초하여, 상기 후보 위치들 중에서 하나를 선택하는, 무자각 사시 진단 장치.
제1항에 있어서,
상기 프로세서는,
복수의 시계열적 이미지들 중 적어도 하나에 대한 안면 검출 결과에 기초하여, 상기 복수의 시계열적 이미지들을 캡처하는 카메라가 상기 피검사자의 사시 진단에 적합한 이미지를 캡처할 수 있는 위치로 이동하도록 제어하는, 무자각 사시 진단 장치.
피검사자가 시계열적으로 캡처된 복수의 시계열적 이미지들을 획득하는 동작;
상기 복수의 시계열적 이미지들 각각에서 상기 피검사자의 안면을 검출하는 동작;
상기 복수의 시계열적 이미지들 각각에 대하여, 상기 피검사자의 안면에서의 홍채 쌍의 위치들을 결정하는 동작;
상기 홍채 쌍의 위치들을 축적하여 홍채 위치 변화 축적 데이터 세트를 획득하는 동작; 및
상기 홍채 위치 변화 축적 데이터 세트에 기초하여 상기 피검사자의 사시를 진단하는 동작을 포함하는 무자각 사시 진단 장치의 동작 방법.
제19항의 방법을 컴퓨터에서 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.