KR102118505B1 - 사용자 시선 움직임을 이용한 시력 측정 방법 및 시스템 - Google Patents

Abstract

본 발명은 사용자가 휴대하는 스마트 폰의 화면에 시력 측정용 표식을 디스플레이하고, 사용자의 입력 없이 사용자의 시선이 측정 표식을 따라가는 것 만으로도 자연스럽게 사용자의 시력을 측정할 수 있도록 하는, 사용자 시선 움직임을 이용한 시력 측정 방법 및 시스템이 개시된다.
개시된 사용자 시선 움직임을 이용한 시력 측정 시스템은, 사용자의 얼굴을 촬영하여 캡쳐한 안면 영상을 입력하는 카메라 이미지 입력부; 안면 영상에서 눈의 위치와 영역 및 정보를 추출하고, 눈의 위치에 근거해 양안 거리 값을 추출하는 눈 이미지 추출부; 양안 거리 값을 기반으로 사용자와의 거리를 연산하는 거리 연산부; 사용자와의 거리에 맞추어, 각 시력 값에 해당하는 측정 표식을 이동하면서 디스플레이하는 화면을 생성하는 시력별 화면 생성부; 생성된 화면을 표시 출력하는 화면 표시부; 이동하는 측정 표식을 따라 움직이는 눈동자의 시선 위치를 추출하는 시선 위치 추출부; 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되는지를 검출하는 시선 매칭 검출부; 및 측정 표식의 이동 위치와 눈동자의 시선 위치의 매칭 여부에 따라 시력 값을 판단하는 시력 판단부를 포함할 수 있다.

Description

사용자 시선 움직임을 이용한 시력 측정 방법 및 시스템{System and method for measurement of visual acuity based on the analysis of user eye movements}

본 발명은 사용자 시선 움직임을 이용한 시력 측정 방법 및 시스템에 관한 것으로서, 더욱 자세하게는 사용자가 휴대하는 스마트 폰의 화면에 시력 측정용 표식을 디스플레이하고, 사용자의 입력 없이 사용자의 시선이 스마트 폰의 화면에서 이동되는 측정 표식을 따라가는 것 만으로도 자연스럽게 사용자의 시력을 측정할 수 있도록 하는, 사용자 시선 움직임을 이용한 시력 측정 방법 및 시스템에 관한 것이다.

인간의 두 눈이 움직이지 않고 볼 수 있는 범위를 시야라고 한다. 눈의 시야 범위는 위쪽 58도, 아래쪽 73도, 눈쪽지 안쪽 65도, 바깥쪽 100도가 인간이 볼 수 있는 시야의 범위이다. 좌측 및 우측 눈의 시야가 겹쳐지는 중앙 부분이 눈에서 보이는 입체 시야가 가능한 범위이다.

이러한 시야를 가진 눈의 시력을 측정하기 위해서는 사용자가 직접 시력 측정이 가능한 병원이나 안경점 등에 직접 방문해야 한다.

이러한 곳에서 시력을 측정의 원리는 관리자의 안내에 따라 도 1에 도시된 바와 같이 종이 판에 이미지나 텍스트가 표식 된 시력판을 사용자가 응시하도록 하고, 관리자가 가리키는 표식을 알아 맞추면 해당 표식에 대응된 시력 값으로 사용자의 시력을 인식하는 것이다. 도 1은 일반적인 시력 측정 원리를 나타낸 도면이다.

이러한 시력 측정 원리는 도 1에 도시된 바와 같이 2개의 점이 가까이 있을 때 이 2개의 점을 뇌에서 빨리 인지하는 능력의 '최소'를 지칭하는 것이 시력이라는 것이다. 두 점을 구별하는 최소의 시각이 1분일 때 시력은 1.0이고, 최소의 시각이 0.5분일 때 시력이 2.0으로 측정하는 것이다.

그런데, 사용자가 시력을 측정하기 위해서는 시력을 측정할 수 있는 곳을 일일이 찾아가야 하는 번거로운 문제점이 있다.

이러한 문제점을 해결하기 위해 사용자가 휴대하는 스마트 폰에 시력 측정 어플리케이션(App)을 설치하여 이를 통해 사용자의 시력을 측정하는 기술이 제공되고 있다.

그러나, 기존의 스마트 폰을 통해 사용자의 시력을 측정하는 경우에는 측정 표식 등을 이용하여 사용자가 직접 값을 입력하거나 화면을 터치하여 측정해야 하는 불편함이 있었다.

한국 공개특허공보 제10-2017-0085309호(공개일 : 2017.07.24.)

전술한 문제점을 해결하기 위한 본 발명의 목적은, 사용자가 휴대하는 스마트 폰의 화면에 시력 측정용 표식을 디스플레이하고, 사용자의 입력 없이 사용자의 시선이 스마트 폰의 화면에서 이동되는 측정 표식을 따라가는 것 만으로도 자연스럽게 사용자의 시력을 측정할 수 있도록 하는, 사용자 시선 움직임을 이용한 시력 측정 방법 및 시스템을 제공함에 있다.

전술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 사용자 시선 움직임을 이용한 시력 측정 시스템은, 사용자의 얼굴을 촬영하여 캡쳐한 안면 영상을 입력하는 카메라 이미지 입력부; 안면 영상에서 눈의 위치와 영역 및 정보를 추출하고, 눈의 위치에 근거해 양안 거리 값을 추출하는 눈 이미지 추출부; 양안 거리 값을 기반으로 사용자와의 거리를 연산하는 거리 연산부; 사용자와의 거리에 맞추어, 각 시력 값에 해당하는 측정 표식을 이동하면서 디스플레이하는 화면을 생성하는 시력별 화면 생성부; 생성된 화면을 표시 출력하는 화면 표시부; 이동하는 측정 표식을 따라 움직이는 눈동자의 시선 위치를 추출하는 시선 위치 추출부; 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되는지를 검출하는 시선 매칭 검출부; 및 측정 표식의 이동 위치와 눈동자의 시선 위치의 매칭 여부에 따라 시력 값을 판단하는 시력 판단부를 포함할 수 있다.

또한, 측정 표식은, 사용자의 시력 값을 판단하기 위한 각 시력 값에 해당하는 크기를 갖는 이미지 또는 텍스트를 포함할 수 있다.

또한, 눈 이미지 추출부는 눈의 위치에 근거해 사용자의 좌안 또는 우안의 시선 방향을 추출할 수 있다.

또한, 눈 이미지 추출부는 눈의 위치에 근거해 사용자의 시선 유지 여부를 판단할 수 있다.

또한, 거리 연산부는 두 눈동자 간 픽셀(Pixel) 값을 이용한 양안 거리 값에 기반하여 삼각비에 따라 상기 사용자와의 거리를 산출할 수 있다.

또한, 시력별 화면 생성부는, 연산된 사용자와의 거리에 맞추어, 최초 기준 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하거나, 측정 단계 별 각 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성할 수 있다.

또한, 시력별 화면 생성부는 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성할 수 있다.

또한, 시력별 화면 생성부는 최초에는 시력 값을 낮게 시작하여 점차적으로 시력 값을 높여가면서 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성할 수 있다.

또한, 시선 매칭 검출부는 측정 표식의 이동 위치에 대한 좌표 값 및 크기 값과, 시선 위치에 대한 좌표 값 및 크기 값을 서로 비교하여 매칭 여부를 검출할 수 있다.

그리고, 시력 판단부는, 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되지 않을 때, 바로 이전에 눈동자의 시선 위치와 매칭되었던 측정 표식의 시력 값을 사용자의 시력 값으로 판단할 수 있다.

한편, 전술한 목적을 달성하기 위한 본 발명의 실시 예에 따른 사용자 시선 움직임을 이용한 시력 측정 방법은, 카메라 이미지 입력부가, 사용자의 얼굴을 촬영하여 캡쳐한 안면 영상을 입력하는 단계; 눈 이미지 추출부가, 안면 영상에서 눈의 위치를 추출하고, 눈의 위치에 근거해 양안 거리 값을 추출하는 단계; 거리 연산부가, 양안 거리 값을 기반으로 사용자와의 거리 값을 연산하는 단계; 시력별 화면 생성부가, 사용자와의 거리 값에 맞는 시력 별 측정 표식을 디스플레이하는 화면을 생성하는 단계; 카메라 이미지 입력부가, 화면에서 이동하는 시력 별 측정 표식을 따라 눈을 움직이는 사용자의 얼굴을 촬영한 안면 영상을 입력하는 단계; 시선 위치 추출부가, 안면 영상에서 눈의 움직임과 시선 방향에 따른 눈동자의 시선 위치를 추출하는 단계; 시선 매칭 검출부가, 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되는지를 검출하는 단계; 및 시력 판단부가, 측정 표식의 이동 위치와 눈동자의 시선 위치의 매칭 여부에 따라 사용자의 시력 값을 판단하는 단계를 포함할 수 있다.

또한, 양안 거리 값을 추출하는 단계는, 눈 이미지 추출부가 눈의 위치에 근거해 사용자의 좌안 또는 우안의 시선 방향을 추출할 수 있다.

또한, 양안 거리 값을 추출하는 단계는, 눈 이미지 추출부가 눈의 위치에 근거해 사용자의 시선 유지 여부를 판단할 수 있다.

또한, 사용자와의 거리 값을 연산하는 단계는, 거리 연산부가 두 눈동자 간 픽셀(Pixel) 값을 이용한 양안 거리 값에 기반하여 삼각비에 따라 사용자와의 거리를 산출할 수 있다.

또한, 디스플레이하는 화면을 생성하는 단계는, 시력별 화면 생성부가 상기 연산된 사용자와의 거리에 맞추어, 최초 기준 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하거나, 측정 단계 별 각 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성할 수 있다.

또한, 디스플레이하는 화면을 생성하는 단계는, 시력별 화면 생성부가 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성할 수 있다.

또한, 디스플레이하는 화면을 생성하는 단계는, 시력별 화면 생성부가 최초에는 시력 값을 낮게 시작하여 점차적으로 시력 값을 높여가면서 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성할 수 있다.

또한, 눈동자의 시선 위치가 매칭되는지를 검출하는 단계는, 시선 매칭 검출부가 측정 표식의 이동 위치에 대한 좌표 값 및 크기 값과, 시선 위치에 대한 좌표 값 및 크기 값을 서로 비교하여 매칭 여부를 검출할 수 있다.

그리고, 사용자의 시력 값을 판단하는 단계는, 시력 판단부가 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되지 않을 때, 바로 이전에 눈동자의 시선 위치와 매칭되었던 측정 표식의 시력 값을 사용자의 시력 값으로 판단할 수 있다.

본 발명에 의하면, 스마트 폰을 통해 사용자의 시력을 측정하는 경우 기존에 사용자가 직접 입력해야 하는 불편함과, 사용자의 입력이 잘못된 경우에 발생하는 부정확성을 해소할 수 있다.

또한, 사용자가 단순히 스마트 폰에 표시되는 화면의 변화를 응시하고 따라가는 것 만으로 자동으로 사용자의 시력을 측정할 수 있으므로 편리함과 정확도를 높일 수 있다.

또한, 현재 출력되는 표식을 이전에 출력된 표식과의 연관성을 가지고 출력함으로써 사용자가 이전 표식을 제대로 인식하였는지를 판단할 수 있다.

또한, 사용자 시선의 응시 여부와 시선의 방향이 향하고 있는 지점을 정확하게 찾아내어 현재 스마트폰 화면에 표시되는 영역과 매칭되는지의 여부를 파악할 수 있다.

그리고, 시력 측정용 이미지와 텍스트를 스마트폰 상에 시간의 차이를 두고 연속적으로 표시하는데, 현재 표시되는 이미지와 텍스트가 이전에 표시된 이미지와 텍스트와의 연관성을 가지고 표시함으로써 사용자가 이전 이미지와 텍스트를 제대로 인식하였는지를 쉽게 파악할 수 있다.

도 1은 일반적인 시력 측정 원리를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 시력 측정 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 3은 본 발명의 실시 예에 따른 시력 측정 시스템의 내부 구성을 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 실시 예에 따른 스마트 폰과 사용자 간의 거리를 측정하는 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 사용자 시선 움직임을 이용한 시력 측정 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 스마트 폰의 화면 상에 측정 표식을 시력 값에 따라 순차적으로 1초 간의 차이를 두고 이동하면서 연속적으로 출력하는 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따라 눈 움직임과 시선 방향을 스캔하는 예를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따라 화면에서 이동하는 시력 0.5에 해당하는 측정 표식을 응시하는 예를 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 측정 표식이 시력 단계의 전환에 따라 위치를 이동하여 디스플레이할 때 사용자의 시선 응시를 나타낸 도면이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.

제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1 부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2 부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.

여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.

도 2는 본 발명의 실시 예에 따른 사용자 시선 움직임을 이용한 시력 측정 방법을 설명하기 위한 전체적인 구성을 개략적으로 나타낸 구성도이다.

도 2를 참조하면, 본 발명의 실시 예에 따른 사용자 시선 움직임을 이용한 시력 측정 방법은, 사용자가 휴대하는 스마트 폰(100)에 적용한 것으로서, 스마트 폰(100)의 내부에 본 발명에 따른 시력 측정용 어플리케이션이 설치되고, 이를 실행한 상태에서 시력 측정이 시작될 수 있다.

본 발명의 실시 예에서는 사용자 시선 움직임을 이용한 시력 측정 시스템을 스마트 폰(100)에 적용하였으나, 이에 한정하지 않고, 사용자가 휴대할 수 있고 사용자의 얼굴을 촬영하는 카메라를 구비한 단말기라면 어떤 것이든지 가능하다.

본 발명의 실시 예에 따른 사용자 시선 움직임을 이용한 시력 측정 시스템(100)은 스마트 폰 이외에 예를 들면, PDA 단말기, 핸드폰, 태블릿 PC, 휴대용 노트북, 휴대용 카메라 등에 적용할 수 있다.

본 발명의 실시 예에서는 시력 측정 시스템(100)을 스마트 폰(100)에 적용한 것을 예로 들었으며, 시력 측정 시스템(100)과 스마트 폰(100) 모두 동일한 부호를 사용하여 설명하기로 한다.

시력 측정 시스템(100)은 본 발명의 실시 예에 따른 시력 측정용 어플리케이션이 실행되면, 도 2에 도시된 바와 같이 낮은 시력에 해당하는 측정 표식부터 순차적으로 시간 차이를 두고 이동하면서 화면 상에서 디스플레이할 수 있다.

여기서, 측정 표식은 각 시력 값에 대응되는 이미지와 텍스트 등으로 구현할 수 있다.

이때, 사용자는 스마트 폰(100)의 화면 상에 디스플레이되는 측정 표식을 응시하는데, 시력 측정 단계에 따라 순차적으로 이동하면서 표시되는 각 시력 값에 해당하는 측정 표식을 두 눈으로 따라 가면서 응시하는 것을 계속 유지할 수 있다.

스마트 폰(100)은 전면 카메라를 작동하여 사용자의 얼굴을 촬영해 사용자의 얼굴과 주요 특징들을 실시간으로 분석하고, 카메라를 통해 인식되는 사용자의 눈에 대한 움직임을 상세히 분석하여 해당 시력 값의 측정 표식에 대한 사용자의 인식 정도를 파악할 수 있다.

스마트 폰(100)은 사용자의 시선의 움직임과 멈춤, 이동을 파악함으로써 스마트폰 화면의 UI(User Interface)에 대한 사용자의 인식 여부를 확인할 수 있다. 스마트 폰(100)은 현재 사용자와의 거리와, 측정하고자 하는 시력 값에 맞는 이미지나 텍스트를 화면에 표시하여 사용자의 인식 여부를 파악할 수 있다.

이 때 스마트 폰(100)은 사용자의 인식 여부를 정확하게 판단하기 위해 이미지와 텍스트를 시간의 차이를 두고 연속적으로 표시하는데, 현재 표시되는 이미지와 텍스트가 이전에 표시된 이미지와 텍스트와의 연관성을 가지고 표시함으로써 사용자가 이전 이미지와 텍스트를 제대로 인식하였는지를 파악할 수 있다.

스마트 폰(100)은 시력 값의 정도를 최초에는 낮게 시작하여 점차적으로 시력 값을 높여가면서 이동하는 해당 시력 값의 측정 표식을 사용자의 시선이 제대로 따라오는지를 측정하는데, 시력 값이 사용자의 현재 시력 값보다 높아지게 되면 사용자의 시선이 따라오지 못하게 되며, 스마트 폰(100)은 이 시점을 기준으로 사용자의 시력 값을 확인할 수 있게 되는 것이다.

도 3은 본 발명의 실시 예에 따른 시력 측정 시스템의 내부 구성을 개략적으로 나타낸 블록도이다.

도 1 내지 도 3을 참조하면, 본 발명의 실시 예에 따른 시력 측정 시스템(100)은, 카메라 이미지 입력부(110), 눈 이미지 추출부(A, 120), 거리 연산부(B, 130), 시력별 화면 생성부(D, 140), 시선위치 추출부(C, 150), 시선매칭 검출부(E, 160), 화면 표시부(170) 등을 포함할 수 있다.

카메라 이미지 입력부(110)는 카메라를 구비하고, 카메라를 통해 사용자(User)의 얼굴을 실시간으로 촬영하여 캡쳐(Capture) 한 안면 영상을 입력할 수 있다. 여기서, 안면 영상은 사용자의 얼굴에서 움직임이 없는 정지 이미지를 포함하거나, 눈의 움직임이나 얼굴의 움직임, 두 눈동자의 움직임 등이 있는 동영상을 포함할 수 있다.

또한, 카메라 이미지 입력부(110)는 화면 표시부(170)에 이동하면서 디스플레이되는 측정 표식을 두 눈으로 응시하는 사용자의 얼굴을 촬영하여 획득한 두 눈동자의 멈춤과 움직임 등이 포함된 안면 영상을 입력할 수 있다.

여기서, 측정 표식은 사용자의 시력 값을 판단하기 위한 각 시력 값에 해당하는 크기를 갖는 이미지 또는 텍스트를 포함할 수 있다. 예를 들면, 측정 표식은 도 1에 도시된 바와 같이 각 시력 값에 따른 크기를 갖는 새나 비행기, 자동차, 나비, 물고기 등의 이미지와, 숫자나 문자 등의 텍스트를 포함할 수 있다.

눈 이미지 추출부(120)는 안면 영상에서 눈의 위치와 영역 및 정보를 추출할 수 있다. 즉, 눈 이미지 추출부(120)는 안면 영상에 대해 픽셀(Pixel) 단위 또는 픽셀 영역 단위로 서로 비교하여 색상 차이로 구분되는 특징에 따라 사용자의 눈 이미지 또는 눈동자 이미지를 추출할 수 있다.

또한, 눈 이미지 추출부(120)는 안면 영상에서 추출된 눈 위치에 근거해 양안 거리를 추출할 수 있다(a-1).

즉, 눈 이미지 추출부(120)는 추출한 두 눈에 대해 두 눈동자 간 픽셀(Pixel) 값을 도출해 물리적인 거리 값으로 환산할 수 있다. 이를 위해 눈 이미지 추출부(120)는 한 픽셀 당 실제 물리적인 거리 값이 사용자와 스마트 폰 간의 거리 비율에 따라 매칭되어 있는 매칭 테이블을 더 포함할 수 있다. 또한 매칭 테이블은 사용자의 시선 응시에 따라 화면에서 이동되는 측정 표식에 대응하여 동일하게 움직이는 사용자의 눈동자 한 픽셀 당 측정 표식이 이동하는 픽셀 값을 데이터로 저장할 수 있다.

또한, 눈 이미지 추출부(120)는 사용자의 눈동자가 화면 상의 측정 표식을 따라가며 움직이는 안면 영상에서, 눈의 위치에 근거해 사용자의 좌안 또는 우안의 시선 방향을 추출할 수 있다(a-2).

즉, 눈 이미지 추출부(120)는 안면 영상에서 추출된 눈 이미지 또는 눈동자 이미지에 근거해 눈동자가 정면을 응시하여 멈춤 상태인 눈동자 이미지를 기준으로 눈동자가 어느 방향으로 움직이는지에 따라 시선 방향을 추출할 수 있다.

예를 들면, 눈동자가 정 중앙에 멈춤 상태로 있는 원점을 기준으로 동, 서, 남, 북 방향 중 어느 방향으로 움직이는지에 따라 또는 북동, 남동, 서북, 남서 방향 중 어느 방향으로 움직이는지에 따라 좌안 또는 우안의 시선 방향을 추출할 수 있다.

또한, 눈 이미지 추출부(120)는 추출된 눈 이미지 또는 눈동자 이미지에서 눈의 위치에 근거해 사용자의 시선 유지 여부를 판단할 수 있다(a-3).

즉, 눈 이미지 추출부(120)는 안면 영상에서 추출된 눈 이미지 또는 눈동자 이미지에 근거해 눈동자가 정면을 응시하여 멈춤 상태로 유지하고 있는지, 또는 동, 서, 남, 북 방향 중 어느 하나의 방향으로 움직인 상태를 유지하고 있는지 등 사용자의 시선 유지 여부를 판단할 수 있다.

거리 연산부(130)는 도 4에 도시된 바와 같이 두 눈동자 간의 양안 거리 값을 기반으로 삼각비에 따라 스마트 폰(100)과 사용자(User) 간의 거리를 연산할 수 있다. 도 4는 본 발명의 실시 예에 따른 스마트 폰과 사용자 간의 거리를 측정하는 예를 나타낸 도면이다. 도 4에 도시된 바와 같이, 거리 연산부(130)는 두 눈동자 간 픽셀(Pixel) 값을 이용한 물리적인 거리 값에 기반하여 삼각비에 따라 스마트 폰(100)과 사용자(User) 간의 거리를 산출할 수 있다.

즉, 스마트 폰(100)은 전면 카메라를 이용하여 사용자의 두 눈동자의 위치를 검출할 수 있고, 이 검출된 두 눈동자의 위치를 통해 카메라 해상도 내에서의 두 눈동자 간 픽셀(Pixel) 값을 측정할 수 있다. 본 발명에서는 사람의 눈 간 거리가 일정한 값을 유지한다는 점을 이용하여 눈간 Pixel 값을 물리적인 거리 값으로 도출하고 이것을 기반으로 사용자(User)의 두 눈동자와 스마트폰 간(100)의 삼각비를 이용하여 사용자와 스마트폰(100) 간의 실제 거리를 측정할 수 있다. 삼각비를 이용하는 경우의 비례식은 실제 사용자와 스마트 폰(100)이 수평하다는 전제를 두고 연산하기 때문에, 실제 사용 환경에서 발생하는 스마트 폰(100)의 기울임과 사용자 눈의 기울어짐에 따른 오차가 발생할 수 있다. 이 오차를 스마트 폰(100)은 기울기 센서(미도시)를 이용하여 기울어짐 정도를 측정하고, 이에 맞추어 기울어짐을 보상하도록 함으로써 사용자와 스마트 폰(100) 간의 거리의 정확도를 높일 수 있다. 이 때 사용자 거리는 mm 단위 또는 Cm 단위를 사용할 수 있다.

시력별 화면 생성부(140)는 사용자와의 거리에 맞는 시력 값에 해당하는 화면의 이미지나 텍스트를 생성할 수 있다.

즉, 시력별 화면 생성부(140)는 사용자(User)와 스마트 폰(100) 간의 측정 거리에 맞추어, 최초 기준 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하거나, 측정 단계 별 각 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성할 수 있다. 여기서, 최초 기준 시력 값은 이전에 측정된 시력 값을 이용하거나 또는 기본적으로 설정된 기본 시력 값을 이용할 수 있다.

이 때, 시력 값에 맞는 화면의 이미지나 텍스트 등은 시력 측정 Standard EN ISO 8596:2017의 거리별 discern resolution에 맞게 생성할 수 있다(6/6 acuity, 20/20 acuity).

또한, 시력별 화면 생성부(140)는 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성할 수 있다.

또한, 시력별 화면 생성부(140)는 시력 값의 정도를 최초에는 낮게 시작하여 점차적으로 단계 별로 시력 값을 높여가면서 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성할 수 있다.

그리고, 시력별 화면 생성부(140)는 각 시력 값에 해당하는 측정 표식, 즉 이미지나 텍스트의 좌표 값과 크기 값을 시선 매칭 검출부(160)로 전달할 수 있다.

시선 위치 추출부(150)는 눈의 움직임과 시선 방향을 추출할 수 있다. 즉, 시선 위치 추출부(150)는 눈 이미지 추출부(120)로부터 추출된 좌안 또는 우안의 시선 방향과 시선 유지 정보에 근거해 시선 위치를 추출할 수 있다.

시선 위치 추출부(150)는 사용자의 측정 표식에 대한 응시에 따라 눈동자가 움직이는 안면 영상에서, 원점을 기준으로 눈동자가 움직인 후 움직임이 없이 멈춘 상태를 통해 현재 사용자의 시선이 어디에 머물고 있는지를 픽셀 단위로 환산하여 시선 위치를 추출할 수 있다. 이 때 추출된 시선 위치는 눈동자의 X, Y 좌표 값과, 해당 눈동자가 차지하는 픽셀 영역의 크기(Size)를 포함할 수 있다. 따라서 시선 위치 추출부(150)는 추출된 눈동자의 X, Y 좌표 값과 영역의 크기 값으로 정의되는 시선 정보 값을 시선 매칭 검출부(160)로 전달할 수 있다.

시선 위치 추출부(150)는 시선의 고정과 움직임을 분별하는 새카드(Saccades) 방식과, 물체 또는 화면의 움직임을 따라가는 스무스 추적(Smooth Pursuit) 방식을 이용하여 사용자의 시선의 움직임과 멈춤 및 이동 방향을 추출할 수 있다.

시선 매칭 검출부(160)는 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되는지를 검출할 수 있다.

즉, 시선 매칭 검출부(160)는 시력별 화면 생성부(140)로부터 전달받은 각 시력 값에 해당하는 측정 표식의 이동 위치에 대한 좌표 값 및 크기 값과, 시선 위치 추출부(150)로부터 전달받은 눈동자의 시선 위치에 대한 좌표 값 및 크기 값을 서로 비교하여 매칭 여부를 검출할 수 있다.

스마트 폰(100)은 시선 매칭 검출부(160)의 매칭 검출 결과에 따라 사용자가 현재 시력 측정 화면을 보고 있는지를 확인할 수 있다. 즉, 사용자가 화면을 응시할 때, 화면 상에서 이동하는 측정 표식이 눈에 보이면 계속적으로 측정 표식을 따라서 눈동자를 움직이게 되므로, 측정 표식의 이동 위치와 눈동자의 시선 위치가 서로 매칭되는 경우에 해당한다.

화면 표시부(170)는 사용자와의 거리에 맞추어 각 시력 값에 해당하는 측정 표식을 이동하면서 디스플레이하는 화면을 표시 출력할 수 있다.

시력 판단부(180)는 측정 표식의 이동 위치와 눈동자의 시선 위치의 매칭 여부에 따라 시력 값을 판단할 수 있다.

즉, 낮은 시력부터 점차 높은 시력으로 단계적으로 시력의 크기를 증가시켜 측정 표식을 이동하면서 디스플레이할 때, 사용자의 시력과 측정 표식의 시력이 동일한 경우에는 사용자의 눈동자가 계속적으로 측정 표식을 따라 움직이게 되므로, 측정 표식의 이동 위치와 눈동자의 시선 위치가 동일하게 매칭되는 것이고, 사용자의 시력과 측정 표식의 시력이 다르게 되면 사용자의 눈에 측정 표식이 보이지 않아 눈동자가 측정 표식의 이동을 따라가지 못하게 되고 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되지 못하는 것이다.

따라서, 시력 판단부(180)는 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되지 않을 때, 바로 이전에 사용자의 시선 위치와 매칭되었던 측정 표식의 시력 값을 현재 사용자의 시력 값으로 판단할 수 있다.

그리고, 본 발명의 실시 예에 따른 사용자 시선 움직임을 이용한 시력 측정 시스템(100)은, 도 3에 도시하지는 않았으나, 시력측정 대상 사용자와 스마트 폰 간의 거리를 적외선 또는 초음파를 이용하여 측정하기 위한 별도의 거리 측정 센서를 포함할 수 있다.

도 5는 본 발명의 실시 예에 따른 사용자 시선 움직임을 이용한 시력 측정 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.

도 1 내지 도 5를 참조하면, 본 발명의 시력 측정 시스템(100)에서, 먼저 카메라 이미지 입력부(110)는 사용자의 얼굴을 촬영하여 캡쳐한 안면 영상을 입력할 수 있다(S510).

여기서, 안면 영상은 사용자의 얼굴을 비롯해 두 눈과 두 눈동자 등의 이미지를 포함할 수 있는데, 시력 측정을 위해 처음 사용자의 얼굴을 촬영하여 얻은 영상이므로, 두 눈의 움직임이 없는 정지 이미지를 포함할 수 있다.

이어, 눈 이미지 추출부(120)는 안면 영상에서 눈의 위치를 추출하고, 눈의 위치에 근거해 양안 거리 값을 추출할 수 있다(S520).

즉, 눈 이미지 추출부(120)는 안면 영상에 대해 픽셀 단위 또는 픽셀 영역 단위로 서로 비교하여 색상 차이로 구분되는 두 눈의 위치를 X, Y 좌표 값과 영역의 크기 값으로 추출할 수 있다.

또한, 눈 이미지 추출부(120)는 좌안의 X, Y 좌표 값과 우안의 X, Y 좌표 값에 근거해 두 눈의 간격, 즉 좌안의 X, Y 좌표 값과 우안의 X, Y 좌표 값의 차이에 따른 양안 거리 값을 추출할 수 있다.

또한, 눈 이미지 추출부(120)는 눈의 위치에 근거해 사용자의 좌안 또는 우안의 시선 방향을 추출할 수 있고, 눈의 위치에 근거해 사용자의 시선 유지 여부를 판단할 수 있다.

이어, 거리 연산부(130)는 양안 거리 값을 기반으로 삼각비에 따라 스마트 폰(100)과 사용자(User)와의 거리 값을 연산할 수 있다(S530).

즉, 거리 연산부(130)는 도 4에 도시된 바와 같이 카메라를 이용하여 검출된 두 눈동자의 위치를 통해 카메라 해상도 내에서의 두 눈동자 간 픽셀(Pixel) 값을 기반으로 삼각비에 따라 사용자와 스마트폰(100) 간의 실제 거리를 측정할 수 있다. 삼각비를 이용하는 경우의 비례식은 실제 사용자와 스마트 폰(100)이 수평하다는 전제를 두고 연산할 수 있다.

이어, 시력별 화면 생성부(140)는 사용자와의 거리에 맞는 시력 별 측정 표식(시력 값에 해당하는 화면의 이미지나 텍스트)을 디스플레이하는 화면을 생성해 화면 표시부(170)로 출력할 수 있다(S540).

즉, 시력별 화면 생성부(140)는 사용자(User)와 스마트 폰(100) 간의 측정 거리에 맞추어, 최초 기준 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하거나, 측정 단계 별 각 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하여 화면 표시부(170)로 출력할 수 있다.

예를 들면, 시력별 화면 생성부(140)는 도 6에 도시된 바와 같이 측정 표식에 대해, 첫번째 표시로 시력이 0.1에 해당하는 "4"라는 숫자를 화면 오른쪽 상부에 1 초간 표시하고 사라지는 화면을 생성할 수 있다. 이어, 시력별 화면 생성부(140)는 표시 위치를 첫번째 위치로부터 좌측 아래로 이동하여 두번째 표시로 시력 0.2에 해당하는 "

" 이미지를 1초간 표시하고 사라지는 화면을 생성할 수 있다. 이어, 시력별 화면 생성부(140)는 표시 위치를 두번째 위치로부터 우측 아래로 이동하여 세번째 표시로 시력 0.3에 해당하는 "

" 이미지를 1초간 표시하고 사라지는 화면을 생성할 수 있다. 이어, 시력별 화면 생성부(140)는 표시 위치를 세번째 위치로부터 좌측 아래로 이동하여 네번째 표시로 시력 0.4에 해당하는 "2"라는 숫자를 1 초간 표시하고 사라지는 화면을 생성할 수 있다. 도 6의 경우에는 본 발명의 실시 예에 따른 스마트 폰의 화면 상에 측정 표식을 시력 값에 따라 순차적으로 1초간의 차이를 두고 이동하면서 연속적으로 출력하는 예를 나타낸 도면이다.

이때, 측정 표식의 디스플레이 간격은 도 6에서 1초 간격으로 예시하였으나, 이에 한정하지 않고 0.5초 간격으로 표시 출력한다거나, 1.5초 간격으로 표시 출력하는 등 사용자가 설정 메뉴를 통해 임의로 설정할 수 있다.

또한, 측정 표식의 디스플레이 위치도 도 6에서는 좌측과 우측으로 번갈아 가면서 디스플레이하는 것으로 예시하였으나, 이에 한정하지 않고 사용자가 메뉴 설정을 통해 설정한 표시 위치에 디스플레이되도록 하거나, 프로그램 또는 시력별 화면 생성부(140)가 측정 표식의 디스플레이 위치를 임의로 지정하거나 변경해 가면서 디스플레이하도록 설정할 수 있다.

따라서, 화면 표시부(170)는 시력 별로 일정한 시간 차이를 두고 위치를 변경해 이동하면서 순차적으로 측정 표식을 디스플레이하는 화면을 표시 출력한다.

이 때, 화면 표시부(170)는 시력 측정 어플리케이션이나 또는 시력별 화면 생성부(140)의 동작에 따라 시력 값의 정도를 최초에는 0.1과 같이 낮게 시작하여 점차적으로 단계 별로 시력 값을 높여가면서 도 4에 도시된 바와 같이 각 시력 값에 해당하는 측정 표식을 이동하면서 시력 값에 따라 순차적으로 시간의 차이를 두고 연속적으로 화면 상에 디스플레이할 수 있다.

또한, 화면 표시부(170)는 도 4에서 시력 값에 대한 간격을 0.1 단위로 변경하여 그에 해당하는 측정 표식을 디스플레이하였으나, 이에 한정하지 않고 시력별 화면 생성부(140)의 동작에 따라 0.2 단위나, 0.3 단위로 변경해 그에 해당하는 측정 표식을 디스플레이하거나, 난수 알고리즘에 따라 0.1 간격, 0.3 간격, 0.4 간격 등 다양하게 변경하여 그에 해당하는 측정 표식을 디스플레이할 수 있다.

이때, 사용자는 자신과 일정 간격으로 떨어져 있는 스마트 폰(100)의 화면 표시부(170) 상에 디스플레이되는 측정 표식을 응시하면서, 측정 표식이 이동할 때마다 두 눈동자도 측정 표식의 이동을 따라 동일하게 움직여 가면서 계속적으로 측정 표식을 주시하게 된다.

이어, 카메라 이미지 입력부(110)는 화면에서 이동하는 시력 별 측정 표식을 따라 눈을 움직이는 사용자의 얼굴을 촬영한 안면 영상을 입력할 수 있다(S550).

여기서, 카메라 이미지 입력부(110)를 통해 입력되는 안면 영상은, 사용자의 얼굴을 비롯해 두 눈동자의 멈춤과 움직임 등의 동작 영상으로서, 각 프레임 단위의 정지 이미지가 합성된 영상을 포함할 수 있고, 시간 흐름에 따라 두 눈동자의 동작이 변경되는 실시간 비디오 영상을 포함할 수 있다.

또한, 안면 영상은 화면 표시부(170)의 화면 상에 시간 차이를 두고 이동하면서 표시되는 측정 표식을 따라가며 응시하는 사용자의 두 눈동자의 정지 및 움직임 영상을 포함할 수 있다.

이어, 시선 위치 추출부(150)는 안면 영상에서 눈의 움직임과 시선 방향에 따른 눈동자의 시선 위치를 추출할 수 있다(S560).

즉, 시선 위치 추출부(150)는 화면 표시부(1170) 상에서 시력 값에 따라 디스플레이되는 측정 표식의 정지 및 이동에 대응하여 도 7에 도시된 바와 같이 사용자의 눈동자의 움직임과 시선 방향을 스캐닝(Scanning) 할 수 있다. 도 7은 본 발명의 실시 예에 따라 눈 움직임과 시선 방향을 스캔하는 예를 나타낸 도면이다. 도 7에 도시된 바와 같이, 시력 0.5와 시력 0.8, 시력 1.0, 시력 1.2에 해당하는 측정 표식이 디스플레이 될 때 사용자의 눈동자가 모두 활발하게 움직이는 것을 알 수 있다. 즉, 사용자의 눈에 해당 측정 표식이 잘 보이므로 응시 상태를 계속 유지하면서 시력 0.5에 해당하는 측정 표식부터 시력 1.2에 해당하는 측정 표식까지 눈동자의 움직임이 활발하게 일어나는 것을 알 수 있다.

이 때, 시선 위치 추출부(150)는 시선의 고정과 움직임을 분별하는 새카드(Saccades) 방식과, 물체 또는 화면의 움직임을 따라가는 스무스 추적(Smooth Pursuit) 방식을 이용하여 사용자의 시선의 움직임과 멈춤 및 이동 방향을 추출할 수 있다.

사용자는 화면 표시부(170) 상에 시간 차이를 두고 각 시력 값에 따라 바뀌고 위치가 변경되면서 도 8에 도시된 바와 같이 디스플레이되는 측정 표식을 응시하게 되고, 해당 측정 표식의 이동 위치를 따라 눈동자도 동일하게 움직이게 된다. 도 8은 본 발명의 실시 예에 따라 화면에서 이동하는 시력 0.5에 해당하는 측정 표식을 응시하는 예를 나타낸 도면이다.

이어, 시선 매칭 검출부(160)는 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되는지를 검출할 수 있다(S570).

즉, 시선 매칭 검출부(160)는 측정 표식의 이동 위치에 대한 좌표 값 및 크기 값과, 시선 위치에 대한 좌표 값 및 크기 값을 서로 비교하여 매칭 여부를 검출할 수 있다.

이 때, 시선 매칭 검출부(160)는 사용자의 눈동자 한 픽셀 당 측정 표식이 이동하는 픽셀 값이 저장되어 있는 매칭 테이블에 근거해 측정 표식의 이동 위치 및 방향과 눈동자의 움직인 위치와 방향이 일정 비율로 매칭되는지를 검출할 수 있다.

예를 들면, 매칭 테이블에 눈동자 1 픽셀 당 측정 표식의 이동 위치가 50 픽셀로 매칭되어 있고, 사용자가 화면에서 도 9에 도시된 바와 같이 시력 1.0에 해당하는 "

" 측정 표식을 응시하다가 다음 시력 단계로 전환되어 시력 1.1에 해당하는 "

" 측정 표식을 응시하게 되는 경우를 예로 들 수 있다. 도 9는 본 발명의 실시 예에 따른 측정 표식이 시력 단계의 전환에 따라 위치를 이동하여 디스플레이할 때 사용자의 시선 응시를 나타낸 도면이다. 도 9에서, 시력 전환에 따라 측정 표식은 시력 1.0에 해당하는 "

" 측정 표식의 X, Y 좌표가 (300, 50)이고, 다음에 디스플레이되는 시력 1.1에 해당하는 "

" 측정 표식의 X, Y 좌표가 (30, 400)인 경우, X 좌표가 좌측(-) 방향으로 10배로 이동했고, Y 좌표가 아래(+) 방향으로 8 배로 이동했음을 알 수 있다. 이 때, 시력 1.0에 해당하는 "

" 측정 표식을 응시하는 눈동자의 X, Y 좌표(10, 1)를 기준으로 시력 1.1에 해당하는 "

" 측정 표식을 응시하는 눈동자의 X, Y 좌표가 (1, 8)로 이동한 경우에, 시선 매칭 검출부(160)는 측정 표식을 응시하는 눈동자의 X 좌표가 좌측 방향으로 10배 이동하고, 눈동자 Y 좌표가 아래 방향으로 8배로 이동한 것으로 인식하여, 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되는 상태로 검출할 수 있다.

즉, 사용자가 응시하는 화면에서 측정 표식이 변경된 화면 영역을 응시하고 있다면 시선 매칭 검출부(160)는 현재 측정 표식의 화면을 인지하였다고 인식하고, 시력별 화면 생성부(140)는 시력의 크기를 증가시켜 도 9에 도시된 바와 같이 이전 화면과 다른 위치에 다음 측정 표식의 화면을 생성하여 화면 표시부(170)에 표시 출력할 수 있다.

측정 표식의 화면이 변경되면 시선 위치 추출부(150)는 다시 사용자의 시선 위치를 측정하고 변경 화면 위치를 응시하는지를 확인할 수 있다. 이 화면에는 이전 화면과 연동되는 정보와 관련없는 정보가 포함된 화면을 표시할 수 있다. 사용자가 이전 화면과 연동되는 정보를 정상적으로 응시하게 되면 사용자는 이전 화면의 내용을 정상적으로 인지한 것이고 응시하지 않으면 인지하지 못한 것이다.

이어, 시력 판단부(180)는 측정 표식의 이동 위치와 눈동자의 시선 위치의 매칭 여부에 따라 사용자의 시력 값을 판단할 수 있다(S580).

즉, 시력 판단부(180)는 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되지 않을 때, 바로 이전에 눈동자의 시선 위치와 매칭되었던 측정 표식의 시력 값을 사용자의 시력 값으로 판단할 수 있다.

예를 들면, 도 9에서 사용자의 눈동자가 측정 표식의 이동을 따라 동일한 방향으로 움직이다가 시력 1.0에 해당하는 "

" 측정 표식은 응시하고, 측정 표식이 전환되어 시력 1.1에 해당하는 "

" 측정 표식을 응시하지 못한 경우에, 시력 1.1에 대한 측정 표식의 이동 위치와 눈동자의 시선 위치가 매칭되지 않으므로, 바로 이전에 눈동자의 시선 위치와 매칭되었던 1.0 측정 표식의 시력 값을 사용자의 시력 값으로 판단할 수 있다.

전술한 바와 같이, 사용자가 스마트 폰(100)의 표시 화면부(170)에 디스플레이되는 측정 표식을 계속 응시하도록 하고, 각 단계 별로 측정 표식의 시력 값을 변화하며 이러한 일련의 과정들을 반복하면 사용자가 인지할 수 있는 수준의 시력 값을 측정하여 확인할 수 있게 되는 것이다.

본 발명의 스마트 폰(100)은 이렇게 화면 변화에 이 화면을 쫓아가는 사용자의 시선을 확인하여 사용자 시력 정도를 측정할 수 있다.

또한, 본 발명의 스마트 폰(100)은 사용자의 시선과 응시 정도의 변화를 이전 화면과 확실하게 구분할 수 있으며, 이전의 화면과 현재의 화면의 연관성을 만들어 내어 사용자가 이전 화면을 확실하게 인지 하였음을 판단할 수 있다.

또한, 본 발명의 스마트 폰(100)은 사용자의 반응 감지를 통한 사용자의 입력이 없는 시력을 측정할 수 있다. 즉, 사용자 시선의 응시 여부와 시선의 방향이 향하고 있는 지점을 정확하게 찾아내어 현재 스마트 폰(100)의 화면에 표시되는 영역과 매칭되는지의 여부를 파악할 수 있다.

전술한 바와 같이 본 발명에 의하면, 사용자가 휴대하는 스마트 폰의 화면에 시력 측정용 표식을 디스플레이하고, 사용자의 입력 없이 사용자의 시선이 스마트 폰의 화면에서 이동되는 측정 표식을 따라가는 것 만으로도 자연스럽게 사용자의 시력을 측정할 수 있도록 하는 사용자 시선 움직임을 이용한 시력 측정 방법 및 시스템을 실현할 수 있다.

본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100 : 시력 측정 시스템
110 : 카메라 이미지 입력부
120 : 눈 이미지 추출부
130 : 거리 연산부
140 : 시선위치 추출부
150 : 시력별 화면 생성부
160 : 시선매칭 검출부
170 : 화면 표시부

Claims (19)

1. 사용자가 시력 측정용 표식을 디스플레이하고, 사용자의 시선이 상기 사용자의 시력 값을 판단하기 위한 각 시력 값에 해당하는 크기를 갖는 이미지 또는 텍스트를 포함하는 측정 표식을 따라가는 것만으로도 사용자의 시력을 측정할 수 있도록 하는, 사용자 시선 움직임을 이용한 시력 측정 시스템에 있어서,
   사용자의 얼굴을 촬영하여 캡쳐한 안면 영상을 입력하는 카메라 이미지 입력부;
   상기 안면 영상에서 눈의 위치와 영역 및 정보를 추출하고, 상기 눈의 위치에 근거해 양안 거리 값을 추출하는 눈 이미지 추출부;
   두 눈동자 간 픽셀(Pixel) 값을 이용한 상기 양안 거리 값을 기반으로 삼각비에 따라 상기 사용자와의 거리를 연산하는 거리 연산부;
   상기 사용자와의 거리에 맞추어, 각 시력 값에 해당하는 측정 표식을 이동하면서 디스플레이하는 화면을 생성하는 시력별 화면 생성부;
   상기 생성된 화면을 표시 출력하는 화면 표시부;
   상기 이동하는 측정 표식을 따라 움직이는 눈동자의 시선 위치를 추출하는 시선 위치 추출부;
   상기 측정 표식의 이동 위치와 상기 눈동자의 시선 위치가 매칭되는지를 검출하는 시선 매칭 검출부; 및 상기 측정 표식의 이동 위치와 상기 눈동자의 시선 위치의 매칭 여부에 따라 시력 값을 판단하는 시력 판단부;를 포함하는, 사용자 시선 움직임을 이용한 시력 측정 시스템.
   
   
   
   
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 제1항에 있어서,
   상기 시력별 화면 생성부는, 상기 연산된 사용자와의 거리에 맞추어, 최초 기준 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하거나, 측정 단계 별 각 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하는, 사용자 시선 움직임을 이용한 시력 측정 시스템.
   
7. 제6항에 있어서,
   상기 시력별 화면 생성부는 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성하는, 사용자 시선 움직임을 이용한 시력 측정 시스템.
   
8. 제6항에 있어서,
   상기 시력별 화면 생성부는 최초에는 가장 낮은 시력값에서 시작하여 점차적으로 시력 값을 높여가면서 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성하는, 사용자 시선 움직임을 이용한 시력 측정 시스템.
   
9. 제1항에 있어서,
   상기 시선 매칭 검출부는 상기 측정 표식의 이동 위치에 대한 좌표 값 및 크기 값과, 상기 시선 위치에 대한 좌표 값 및 크기 값을 서로 비교하여 매칭 여부를 검출하는, 사용자 시선 움직임을 이용한 시력 측정 시스템.
   
10. 제1항에 있어서,
    상기 시력 판단부는, 상기 측정 표식의 이동 위치와 상기 눈동자의 시선 위치가 매칭되지 않을 때, 바로 이전에 눈동자의 시선 위치와 매칭되었던 측정 표식의 시력 값을 상기 사용자의 시력 값으로 판단하는, 사용자 시선 움직임을 이용한 시력 측정 시스템.
    
11. 사용자가 시력 측정용 표식을 디스플레이하고, 사용자의 시선이 측정 표식을 따라가는 것만으로도 사용자의 시력을 측정할 수 있도록 하는, 사용자 시선 움직임을 이용한 시력 측정 시스템의 시력 측정 방법에 있어서,
    카메라 이미지 입력부가, 사용자의 얼굴을 촬영하여 캡쳐한 안면 영상을 입력하는 단계;
    눈 이미지 추출부가, 상기 안면 영상에서 눈의 위치를 추출하고, 상기 눈의 위치에 근거해 양안 거리 값을 추출하는 단계;
    거리 연산부가, 두 눈동자 간 픽셀(Pixel) 값을 이용한 상기 양안 거리 값을 기반으로 삼각비에 따라 상기 사용자와의 거리 값을 연산하는 단계;
    시력별 화면 생성부가, 상기 사용자와의 거리 값에 맞는 시력 별 측정 표식을 디스플레이하는 화면을 생성하는 단계;
    카메라 이미지 입력부가, 상기 화면에서 이동하는 시력 별 측정 표식을 따라 눈을 움직이는 사용자의 얼굴을 촬영한 안면 영상을 입력하는 단계;
    시선 위치 추출부가, 상기 안면 영상에서 눈의 움직임과 시선 방향에 따른 눈동자의 시선 위치를 추출하는 단계;
    시선 매칭 검출부가, 상기 측정 표식의 이동 위치와 상기 눈동자의 시선 위치가 매칭되는지를 검출하는 단계; 및
    시력 판단부가, 상기 측정 표식의 이동 위치와 상기 눈동자의 시선 위치의 매칭 여부에 따라 사용자의 시력 값을 판단하는 단계;를 포함하는 사용자 시선 움직임을 이용한 시력 측정 방법.
    
    
    
    
    
12. 삭제
13. 삭제
14. 삭제
15. 제11항에 있어서,
    상기 디스플레이하는 화면을 생성하는 단계는,
    상기 시력별 화면 생성부가 상기 연산된 사용자와의 거리에 맞추어, 최초 기준 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하거나, 측정 단계 별 각 시력 값에 해당하는 측정 표식을 디스플레이하는 화면을 생성하는, 사용자 시선 움직임을 이용한 시력 측정 방법.
    
16. 제15항에 있어서,
    상기 디스플레이하는 화면을 생성하는 단계는,
    상기 시력별 화면 생성부가 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성하는, 사용자 시선 움직임을 이용한 시력 측정 방법.
    
17. 제15항에 있어서,
    상기 디스플레이하는 화면을 생성하는 단계는,
    상기 시력별 화면 생성부가 최초에는 가장 낮은 시력값에서 시작하여 점차적으로 시력 값을 높여가면서 각 시력 값에 해당하는 측정 표식을 시력 값에 따라 시간의 차이를 두고 순차적으로 이동하면서 연속적으로 출력하는 화면을 생성하는, 사용자 시선 움직임을 이용한 시력 측정 방법.
    
18. 제11항에 있어서,
    상기 눈동자의 시선 위치가 매칭되는지를 검출하는 단계는,
    상기 시선 매칭 검출부가 상기 측정 표식의 이동 위치에 대한 좌표 값 및 크기 값과, 상기 시선 위치에 대한 좌표 값 및 크기 값을 서로 비교하여 매칭 여부를 검출하는, 사용자 시선 움직임을 이용한 시력 측정 방법.
    
19. 제11항에 있어서,
    상기 사용자의 시력 값을 판단하는 단계는,
    상기 시력 판단부가 상기 측정 표식의 이동 위치와 상기 눈동자의 시선 위치가 매칭되지 않을 때, 바로 이전에 눈동자의 시선 위치와 매칭되었던 측정 표식의 시력 값을 상기 사용자의 시력 값으로 판단하는, 사용자 시선 움직임을 이용한 시력 측정 방법.

Images