KR20170104463A - 개선된 디스플레이를 위한 시스템 및 방법 - Google Patents

Abstract

본 발명은 영상 요구사항에 부합하여 사용자 경험을 개선하기 위한 수정된 이미지 디스플레이에 관한 것으로, 구체적으로는 시각장애를 가지고 있는 사용자들을 위해 영상을 개선하는 것에 관한 것이다.
디스플레이 접근성을 높이고 디스플레이 데이터와 관련된 사용자 경험을 증대하기 위한 새로운 기술과 관련된 필요성이 있다. 본 발명의 기술은 디스플레이된 컨텐츠 내의 사용자 관심 영역을 기반으로 디스플레이 특성을 업데이트 하는 동안 사용자의 시각 요구사항에 맞도록 선택된 컨텐츠의 온라인 맞춤 디스플레이가 가능하게 한다.
맞춤 디스플레이는 일반적으로 정의된 시각 요구사항에 따라 교정된 디스플레이 영역을 포함하고, 교정된 영역 주변의 디스플레이 데이터는 원래 정의된 대로 유지될 수 있다(컨텐츠나 디스플레이 선호에 따라). 교정된 영역은 디스플레이 데이터 내의 사용자의 결정된 관심영역에 의해 결정된다. 따라서 교정된 영역은 문자를 읽고, 사진 혹은 영상을 보는 동안 사용자의 관심사항을 지켜보고, 사용자의 관심에 따라 디스플레이 데이터의 적어도 한 부분에 교정을 적용할 수 있다.

Description

개선된 디스플레이를 위한 시스템 및 방법{SYSTEM AND METHOD FOR IMPROVED DISPLAY}

본 발명은 영상 요구사항에 부합하여 사용자 경험을 개선하기 위한 수정된 이미지 디스플레이에 관한 것으로, 구체적으로는 시각장애를 가지고 있는 사용자들을 위해 영상을 개선하는 것에 관한 것이다.

인간이 가지는 오감 중에서, 시각은 가장 중요하고 지배적인 감각이다. 실제로 시각상실은 건강에 대한 두려움 중에서 으뜸이다. 시각 시스템의 앞 부분 끝인 눈은 시신경과 뇌와 연동하여 매우 복잡하고 섬세한 시스템을 형성한다. 이 복잡성 때문에 많은 질병들이 시각에 영향을 미쳐서 환자들의 삶의 질을 극적으로 낮춘다. 세계에는 시각과 관련된 질병으로 고통 받고 있는 수많은 사람들이 있다.

오늘날, 기대수명이 높아지고 노인 인구가 급속하게 증가하고 있어서, 이러한 시야 손상이 보다 중요하고 시각 품질을 개선하여 노인들의 삶의 질을 높이는 것이 필요하다.

안과 치료기술은 지난 50년 동안 급속하게 발달하였지만, 많은 경우 현대의 약물로는 시야 손상을 완전히 치료할 수 없으며, 단지 환자에 대해 서서히 병리적인 처치와 매우 제한된 치료만이 가능하다.

낮은 시력을 가진 환자들의 시력을 개선하는 것은 단지 그들의 삶의 질을 향상하는 것뿐 아니라 사회적인 부담을 경감시키는 것이다.

기술이 발전함에 따라, 더 많은 사람들이 정보소비를 위한 다양한 디스플레이 시스템을 필요로 한다. 전형적으로, 그러한 정보는 사실상 문자 및/또는 그림이고 전문적 혹은 오락적인 목적과 관련될 수 있다.

현재의 사용 가능한 이미지 디스플레이 장치는 시각적인 요구사항을 보상할 수 있도록 디스플레이 데이터의 속성을 변경할 수 있는 기능을 사용자에게 제공하는 옵션도구의 모음을 제공한다.

디스플레이 접근성을 높이고 디스플레이 데이터와 관련된 사용자 경험을 증대하기 위한 새로운 기술과 관련된 필요성이 있다. 본 발명의 기술은 디스플레이된 컨텐츠 내의 사용자 관심 영역을 기반으로 디스플레이 특성을 업데이트 하는 동안 사용자의 시각 요구사항에 맞도록 선택된 컨텐츠의 온라인 맞춤 디스플레이가 가능하게 한다.

맞춤 디스플레이는 일반적으로 정의된 시각 요구사항에 따라 교정된 디스플레이 영역을 포함하고, 교정된 영역 주변의 디스플레이 데이터는 원래 정의된 대로 유지될 수 있다(컨텐츠나 디스플레이 선호에 따라). 교정된 영역은 디스플레이 데이터 내의 사용자의 결정된 관심영역에 의해 결정된다. 따라서 교정된 영역은 문자를 읽고, 사진 혹은 영상을 보는 동안 사용자의 관심사항을 지켜보고, 사용자의 관심에 따라 디스플레이 데이터의 적어도 한 부분에 교정을 적용할 수 있다.

일반적으로, 해당 기술은 미리 정해진 시각적 요구사항에 따른 기술이고, 이는 알려진 사용자의 시야 손상과 관련되어 있다. 일단 사용자의 시야 손상이 확인되면(이는 전문적으로 진단되거나, 사용자에 의해 자가진단 되거나, 하나 이상의 자동기법을 이용하여 결정된다), 적절한 이미지 프로세싱 기법과 결부되어서 사용자에게 적합한 시각 컨텐츠를 제공함으로써 사용자 경험을 증대할 수 있도록 한다. 예를 들어, 어떠한 시야 왜곡으로 진단받으면, 적절한 이미지 프로세싱이 왜곡을 반전할 수 있다. 또 다른 이미지 프로세싱 기법은 확대 혹은 데이터의 특정부분의 분리, 명암 증대 혹은 밝기 조절일 수 있고, 아래에서 기술되는 추가적인 이미지 프로세싱 기법일 수 있다. 일반적으로, 이미지 보정은 보정 함수, 즉 보정되는 구역안의 좌표에 독립적인 균일보정이거나, 보정함수가 보정된 구역 내의 좌표의 함수인 비균일 보정일 수 있다.

일반적으로, 본원발명의 기술은 사용자의 시각 요구사항에 대한 데이터를 제공하는 것으로 구성된다. 이 데이터는 소정의 저장 섹터나 사용자에 의해 정해지는 곳에 미리 저장될 수 있다. 게다가, 디스플레이 되는 컨텐츠에 관한 데이터는 제공/선택되고, 적절한 초기 디스플레이 데이터는 디스플레이 장치에 사용자가 볼 수 있도록 생성된다. 컨텐츠는 일반적으로 공간 뷰, 문서, 인터넷 사이트, 데이터시트, 사진, 동영상 등 어떠한 형태의 디스플레이 타입일 수 있다. 컨텐츠는 일반적으로 추가 컨텐츠 혹은 디스플레이 되는 컨텐츠의 다른 부분을 선택하는 것과 같은 사용자의 행위에 따라 업데이트 된다. 여기서 설명되는 컨텐츠와 디스플레이 데이터의 용어는 넓게 해석되어야 하고, 사용자 혹은 디스플레이를 위한 제3자에 의해 선택되는 데이터는 물론 시스템 운영데이터와 운영시스템 인터페이스를 포함하는 디스플레이 장치에 표시되는 어떠한 데이터와도 관련된다.

게다가, 디스플레이 데이터 내의 사용자 관심영역이 특정된다. 해당 관심영역(ROI, Region of Interest)은 일반적으로 하나 이상이 모여서 정보조각들을 형성하는 데이터 요소를 포함하는 디스플레이 데이터의 일부분이다. 크기, 모양 및 위치에 따른 관심영역(ROI)의 선택은, 일반적으로 사용자로 하여금 정보조각들을 더 잘 볼 수 있게 하고 그리하여 그 안의 정보를 이해하거나 파악할 수 있도록 하는 디스플레이 데이터의 일부분을 제공한다. 예를 들면, 그러한 정보조각들은 하나의 단어, 문장안의 여러 단어, 선 혹은 이미지의 윤곽과 관련될 수 있는 크기와 모양을 가지는 이미지의 일부, 혹은 예컨대 시스템 인터페이스 데이터를 포함하는 스크린의 일부분일 수 있다.

디스플레이 데이터 내의 사용자의 관심영역(ROI)은 하나 이상의 사용자들의 눈이 향하는 디스플레이 영역의 가리키는 점인 사용자의 시선(Line of Sight)에 따라 결정될 수 있다. 시선은 시선추적, 포인팅 장치(예컨대, 마우스) 혹은 사용자의 주의에 대하여 계산되거나 예측된 패턴에 의하여 결정될 수 있다. 어떠한 구현에서는, 관심영역(ROI)은 이동 이력 혹은 소정시간 동안의 시선 이동특성에 의하여 결정될 수 있고, 이는 빠르거나 관심영역(ROI)과 관련없는 사용자 원하지 않는 시선의 움직임을 보상하기 위한 것이다. 또 다른 구현에서는, 이러한 시선의 빠른 움직임 적절한 이미지 프로세싱 기법에 의하여 보상될 수 있는데, 예컨대 사용자 눈의 한쪽 혹은 양쪽의 안진증(Nystagmus)과 관련되어 이미지 보정을 제공하는 것이다.

사용자의 관심영역(ROI)과 관련되는 디스플레이 데이터의 최소한의 일부분은 시각 요구사항과 관련되어 선택된 하나 이상의 이미지 프로세싱 기법을 거친다. 이미지 프로세싱 기법은 일반적으로 하나 이상의 필터 혹은 관심영역(ROI) 내에 포함된 정보조각(들)을 더 잘 알아볼 수 있게 하기 위하여 선택된 이미지 프로세싱 작업을 포함할 수 있어서, 이는 사용자에게 개선된 시각성능을 제공한다. 예를 들면, 사용자의 시각 요구사항이 문서의 단어 사이를 넓게 분리하거나 혹은 큰 폰트를 사용하는 것이면, 이미지 프로세싱 기법은 관심영역(ROI) 내의 문서 정보의 선택을 포함할 수 있고, 본래 이미지 데이터 위에 제공/표시되는 확장된 선택 문서정보 및/또는 증가된 간격을 통하여 디스플레이 데이터를 생성한다. 이미지 프로세싱 기법에 의하여, 리프레시된 디스플레이 데이터는 생성되어서 디스플레이 장치에 전송된다.

디스플레이 데이터는 주기적으로 리프레시 될 수 있다. 예컨대, 사용 중인 디스플레이 장치의 리프레시 속도에 따르거나 디스플레이 되는 컨텐츠의 속도에 따르거나 하는 등이다. 사용자의 관심영역이 시간에 따라 변화하지만, 개인의 시각 요구사항에 따라 지속적으로 개선된 디스플레이 데이터를 사용자에게 제공한다.

이러한 상황에서 본 발명의 기술은 시스템에 의하여 구현될 수 있는 것으로 이해될 것이다. 예컨대, 스크린, 프로젝터 단위 혹은 다중 스크린과 같은 하나 이상의 디스플레이 장치에 연결되는 컴퓨터 시스템이며, 디스플레이를 갖는 안경과 같은 헤드 마운티드 장치일 수 있다. 몇몇 구현에서, 디스플레이 장치는 각 사용자들의 눈에 분리된 디스플레이로 구성될 수 있는데, 분리된 스크린 혹은 이미지 프로세싱 기법과 각각의 사용자의 상이한 시각 요구사항에 대한 디스플레이 데이터에 부합하도록 하는 단일 스크린으로부터 분리되는 서로 다른 이미지를 각각의 눈에 스트리밍하는 것에 의할 수 있다. 일반적으로, 이러한 양쪽 눈에 대하여 분리된 디스플레이는 3차원의 경험을 제공하는데 사용될 수 있지만, 이하에서 설명하는 바와 같이, 본 발명의 기술은, 추가적으로 혹은 대안적으로, 사용자들의 눈에 따라 변화할 수 있는 시각 요구사항에 적합한 개선된 이미지 디스플레이를 제공할 수 있다.

게다가, 해당 시스템은 사용자의 시선과 관련된 표시를 제공하는 하나 이상의 입력 장치에 연결될 수 있다. 이러한 입력 장치는 포인팅 장치(예컨대, 마우스, 키보드, 트래킹 펜슬 등) 혹은 사용자의 한쪽 혹은 양쪽 눈의 방향에 따라 사용자의 실제 시선의 입력표시를 제공할 수 있는 입력 장치를 포함할 수 있다. 예컨대, 발명의 해당 기술은 한쪽 혹은 양쪽 눈의 방향 데이터를 제공하는 시선 추적 장치 혹은 사용자의 이미지데이터를 제공하는 카메라 장치를 이용할 수 있다. 이러한 이미지 데이터는 위치와 한쪽 혹은 양쪽 눈의 방향에 따른 시선에 관한 데이터를 제공하기 위하여 처리될 수 있다.

따라서, 발명의 일 측면에 따르면, 데이터 디스플레이에서 사용을 위해 제공되는 방법은 아래와 같이 구성된다.

본 발명의 일실시 예에 의하면, 사용자의 시야 요구사항에 관한 데이터를 제공하는 단계; 디스플레이 장치에 상기 사용자에게 디스플레이 되는 컨텐츠에 관한 데이터를 제공하고, 초기디스플레이 데이터를 생성 및 디스플레이 하는 단계; 디스플레이 데이터 내에서 상기 사용자의 관심영역을 특정하는 단계; 및 상기 관심영역 내에서 적어도 상기 디스플레이 데이터의 일부분을 위한 적절한 이미지 처리를 포함하는 리프레시된 디스플레이 데이터를 생성하고 상기 리프레시된 디스플레이 데이터를 상기 디스플레이 장치에 전송하기 위하여, 상기 사용자의 시야 요구사항에 대한 데이터에 따라 디스플레이 데이터를 처리하는 단계를 통하여 상기 사용자에게 상기 관심영역 내에서 개선된 이미지 디스플레이를 제공하는 데이터 디스플레이 방법을 제공한다.

상기 사용자의 관심영역의 특정은, 상기 디스플레이 되는 컨텐츠의 처리 및 상기 컨텐츠에 기반한 하나 이상의 데이터 부분을 결정을 포함할 수 있다. 상기 사용자의 관심영역의 특정은, 상기 관심영역을 특정하기 위하여 상기 사용자의 적어도 하나의 눈의 시선에 관한 데이터의 제공을 포함할 수 있다. 보다 상세하게, 상기 사용자의 관심영역의 특정은, 소정시간 동안의 시선의 이력 및 상기 디스플레이 데이터에 대응하는 시선의 변화를 선택하는 것을 포함할 수 있다.

일반적으로, 상기 사용자의 시선에 관한 데이터의 제공은, 사용자의 주의의 추정된 위치와 관련된 상기 디스플레이 영역 내의 한 점을 결정하는 것을 포함할 수 있다.

몇몇 구현 예에서, 상기 사용자의 시선에 관한 데이터의 제공은, 마우스와 같은 포인팅 장치의 이동 이력에 관한 데이터를 수신, 및 상기 사용자의 시선에 관한 상기 데이터의 결정을 위하여 상기 이동 이력에 관한 데이터를 처리를 포함할 수 있다.

몇몇 구현 예에서, 상기 사용자의 시선에 관한 데이터의 제공은, 상기 사용자의 적어도 하나의 눈의 이동에 관한 데이터의 제공하고, 상기 데이터를 상기 디스플레이 장치상의 소정의 위치와의 비교하여, 상기 사용자의 시선 내에 있는 상기 디스플레이 데이터 내의 위치를 결정할 수 있다.

상기 사용자의 적어도 하나의 눈의 이동에 관한 데이터의 제공은, 상기 디스플레이 장치에서 적어도 하나의 사용자의 눈의 방향을 결정하기 위하여, 상기 디스플레이 장치에서 소정의 위치에 있는 이미지로부터 사용자의 이미지데이터의 수집 및 상기 이미지 데이터의 처리를 포함할 수 있다.

예컨대, 상기 사용자의 시선에 관한 데이터의 제공은, 상기 사용자의 각 눈의 개별적인 이동에 관한 데이터의 제공 및 좌측 시선 및 우측 시선의 결정을 포함할 수 있다. 상기 좌측 디스플레이 데이터, 우측 디스플레이 데이터 및 상기 디스플레이 데이터를 포함하는 상기 디스플레이 데이터는, 적어도 상기 좌측 디스플레이 데이터 및 우측 디스플레이 데이터의 적어도 일부분을 각각 처리하기 위하여 제1 및 제2 이미지 처리를 포함할 수 있다. 상기 좌측 디스플레이 데이터 및 우측 디스플레이 데이터의 적어도 일부분의 처리는, 서로 유사하거나 서로 다를 수 있다.

상기 사용자의 적어도 하나의 눈의 이동에 대하여 제공되는 데이터는, 사용자 눈의 적어도 하나의 시선이 디스플레이 영역의 내부 혹은 외부에 있는지의 결정하고, 상기 시선이 디스플레이 영역의 외부에 있는 경우 상기 사용자 적어도 하나의 눈의 관심영역의 업데이트를 중지하는 것을 더 포함할 수 있다.

추가적 혹은 선택적으로, 상기 사용자의 적어도 하나의 눈의 이동에 대하여 제공되는 데이터는, 사용자 눈의 적어도 하나의 시선이 디스플레이 영역의 내부 혹은 외부에 있는지의 결정하고, 적어도 하나의 사용자 시선이 상기 디스플레이 영역의 외부를 향하는 경우에는 상기 디스플레이 장치를 어둡게 하는 명령을 전송하는 것을 더 포함할 수 있다.

몇몇 실시 예에 따르면, 상기 사용자의 관심영역 내의 상기 디스플레이 데이터의 적어도 일부분을 처리하는 상기 이미지 처리의 적용은, 상기 사용자의 시야 요구사항에 관한 데이터에 따라 적어도 다음 중 하나의 필터를 적용하는 것을 포함할 수 있다. 이미지 이동, 이미지 회전, 이미지 왜곡 역전, 이미지 확대, 단어와 같은 이미지 부분 사이의 간격 증가, 상기 관심영역의 주변을 흐리게 하기, 상기 관심영역의 부분을 강조, 상기 관심영역의 부분을 분리, 상기 관심영역 내의 이미지 색깔을 소정의 컬러맵으로 교체, 디스플레이 데이터의 손상 부분을 제거, 디스플레이 데이터 내의 윤곽을 표시 및 디스플레이 데이터 내의 가장자리 패턴을 표시.

몇몇 실시 예에 따르면, 상기 디스플레이 되는 컨텐츠에 관한 데이터의 제공은, 상기 사용자 관심영역의 결정, 상기 사용자의 관심영역 내의 디스플레이 데이터의 적어도 일부분에 대한 필터를 적용 및 리프레시된 디스플레이 데이터를 생성하고 상기 디스플레이 데이터를 계속 동작하는 디스플레이 장치에의 전송하여, 상기 사용자에게 지속적인 시야 개선 디스플레이의 제공을 가능하게 할 수 있다.

몇몇 실시 예에 따르면, 상기 디스플레이 데이터와 관련된 음성신호의 수신 및 생성을 더 포함할 수 있다.

몇몇 실시 예에 따르면, 데이터 디스플레이 방법은 디스플레이 데이터 내의 하나 이상의 명령 영역을 결정하고, 상기 하나 이상의 소정의 명령을 활성화하기 위하여 상기 디스플레이 데이터 내의 상기 사용자의 관심영역이 상기 하나 이상의 명령 영역 내인지를 결정하는 것을 더 포함할 수 있다.

몇몇 실시 예에 따르면, 시선추적 데이터의 제공 및 상기 사용자의 눈 움직임에 따른 하나 이상의 제스처를 결정을 더 포함하고, 상기 하나 이상의 제스처는 상기 하나 이상의 소정의 명령을 활성화하기 위하여 상기 하나 이상의 소정의 명령과 연관될 수 있다.

상기 하나 이상의 소정의 명령은, 하나 이상의 디스플레이 되는 상기 데이터의 선택과 관련되는 하나 이상의 명령들을 포함할 수 있다.

상기 하나 이상의 소정의 명령은, 하나 이상의 디스플레이 되는 상기 사용자의 시야 요구사항의 선택과 관련되어 상기 디스플레이 데이터의 적어도 일부분에 적용되는 이미지 처리의 선택에 영향을 주는 하나 이상의 명령들을 포함할 수 있다.

몇몇 실시 예에 따르면, 디스플레이 방법은 읽기 보조의 제공, 상기 디스플레이 데이터의 처리 및 강조되는 하나 이상의 데이터 부분의 결정, 및 읽기와 그에 따라 선택된 데이터 부분의 강조하는 처리 속도의 결정을 포함할 수 있다. 상기 사용자의 시선의 결정 및 상기 시선의 변화에 따른 가이드된 읽기의 진행 제어를 포함하고, 상기 제어는 적어도 하나의 다음 동작을 포함할 수 있다.

읽기 진행의 정지, 이전의 위치에서 읽기 진행을 재개, 선택된 위치에서 읽기 진행을 재개, 읽기 속도의 변경.

상기 사용자의 시선과 현재 강조된 선택된 데이터 부분 사이의 거리를 결정하는 것을 포함하고, 상기 거리가 소정의 임계값을 넘어서면, 시선을 강조된 데이터 부분과 일치하도록 하기 위하여 시선 추적 눈금조정 데이터를 업데이트할 수 있다.

상기 기술된 방법은 실행하기 위한 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램으로 구현될 수 있다.

몇몇 실시 예에 따르면, 본 발명의 데이터 디스플레이 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체는 사용자의 시야 요구사항에 관한 데이터를 제공하는 단계; 상기 사용자에게 디스플레이 되는 컨텐츠에 관한 데이터를 제공하고, 디스플레이 장치에 디스플레이 되는 초기 디스플레이 데이터를 생성하고 디스플레이 하는 단계; 상기 디스플레이 장치 내에서 상기 사용자의 관심영역을 특정하는 단계; 및 상기 관심영역 내의 상기 디스플레이 데이터의 적어도 일부분의 적절한 이미지 처리를 포함하는 리프레시된 디스플레이 데이터의 생성 및 상기 디스플레이 장치에 디스플레이 되는 상기 리프레시된 디스플레이 데이터의 전송을 위하여, 상기 사용자의 시야 요구사항에 대한 상기 데이터에 따른 상기 디스플레이 데이터의 처리하는 단계를 포함할 수 있다.

몇몇 실시 예에 따르면, 사용자의 시야 요구사항에 대한 소정의 데이터와 관련된 개선된 디스플레이 데이터를 생성하기 위해 구현되고 동작하는 시스템은, 적어도 하나의 처리 유닛, 입력 및 출력 모듈, 저장 유틸리티 및 적어도 하나의 디스플레이 장치와의 커넥터를 포함하고, 상기 처리 유닛은, 상기 디스플레이 되는 데이터를 수신하고 디스플레이 데이터를 생성하고 디스플레이 장치에 전송하도록 구현되고 동작하는 디스플레이 데이터 생성기; 상기 디스플레이 데이터를 수신하고 상기 디스플레이데이터 내의 관심영역을 결정하기 위하여 구현되고 동작하는 관심영역 식별기; 및 상기 사용자의 시야 요구사항과 관련된 상기 소정의 데이터를 수신하고, 하나 이상의 이미지 처리에 적용하기 위하여 상기 디스플레이 데이터 내의 상기 사용자의 관심영역에 따른 적어도 디스플레이 데이터의 일부분을 처리하고, 상기 사용자에게 리프레시된 데이터를 제공하기 위하여 결과적인 개선된 시야 데이터를 디스플레이 데이터 생성기에 전송하도록 구현되고 동작하는 지역 이미지 처리 모듈을 포함할 수 있다.

상기 처리 유닛은, 상기 사용자의 시선을 결정하도록 구현되고 동작하는 시선 탐지기를 더 포함하고, 상기 관심영역 식별기는 시선 탐지기에서 수신된 시선에 관한 데이터에 따라 관심영역을 결정하도록 구현되고 동작할 수 있다.

상기 시선 탐지기는, 상기 시스템의 입력 모듈과 연결된 포인팅 장치의 이동 이력에 따라 상기 사용자의 시선을 결정하도록 구현되고 동작할 수 있다.

상기 시선 탐지기는, 시선 추적 유닛과 연결될 수 있고, 상기 사용자의 시선을 결정할 수 있도록 적어도 하나의 사용자의 시선의 위치 및 방향에 관한 데이터를 수신하도록 구현되고 동작할 수 있다.

상기 시선 탐지기는, 상기 사용자 눈의 각각의 움직임에 대한 데이터를 수신하고 좌측 시선 및 우측 시선을 결정하도록 구현되고 동작할 수 있다.

디스플레이 데이터 생성기는, 상기 사용자의 각각의 눈에 끊김없는 개별적인 디스플레이를 제공하기 위하여 상기 사용자에게 적절히 디스플레이 되는 좌측 눈 데이터 및 우측 눈 데이터를 포함하는 디스플레이 데이터를 생성하고 전송하도록 구현될 수 있다.

상기 지역 이미지 처리 모듈은, 상기 좌측 눈 시선 및 우측 눈 시선 및 상기 사용자의 시야 조건에 관한 데이터에 따른 좌측 눈 디스플레이 데이터 및 우측 눈 디스플레이 데이터의 일부분에 각각, 선택적으로 제1 및 제2 필터를 적용하도록 구현되고 동작할 수 있다.

몇몇 실시 예에 따르면, 상기 시선 탐지기는, 상기 사용자의 적어도 하나의 시선이 상기 디스플레이 영역의 내부인지 외부인지를 결정하고, 이에 따른 알림을 발생하여 상기 관심영역 식별기에 알리고, 상기 관심영역 식별기는, 자발적이거나 비자발적인 시선 이동을 구분하고 이에 따른 상기 사용자의 관심영역의 변화를 결정하도록 구현되고 동작할 수 있다.

상기 지역 이미지 처리 모듈은, 상기 관심영역 식별기에서 시선의 비자발적인 움직임에 대한 알림에 따라 적어도 이미지 데이터의 일부분을 제거하고, 시선의 큰 움직임에 따라 상기 디스플레이 데이터의 적어도 일부분을 어둡게 하도록 구현되고 동작할 수 있다.

몇몇 실시 예에 따르면, 상기 지역 이미지 처리 모듈은, 기존재하는 상기 사용자의 시야 조건에 대한 상기 데이터에 따라 적어도 하나의 다음의 이미지 처리에 적용되도록 구현되고 동작할 수 있다. 이미지 이동, 이미지 회전, 이미지 왜곡 역전, 이미지 확대, 단어와 같은 이미지 부분 사이의 간격 증가, 상기 관심영역의 주변을 흐리게 하기, 상기 관심영역의 부분을 강조, 상기 관심영역의 부분을 분리, 상기 관심영역 내의 이미지 색깔을 소정의 컬러맵으로 교체, 디스플레이 데이터의 손상 부분을 제거, 디스플레이 데이터 내의 윤곽을 표시 및 디스플레이 데이터 내의 가장자리 패턴을 표시.

몇몇 실시 예에 따르면, 상기 사용자의 시선의 변화 및 상기 디스플레이 되는 데이터의 변화에 따라 상기 디스플레이 데이터를 계속하여 리프레시 하도록 구현될 수 있다.

몇몇 실시 예에 따르면, 상기 처리 유닛은, 상기 디스플레이 데이터 내의 하나 이상의 명령 영역을 결정하고, 상기 하나 이상의 명령 영역 내에서 감지되는 사용자의 시선에 대해 대응되는 하나 이상의 소정의 명령을 생성하도록 구현되고 동작하는 지역 명령 생성기를 더 포함하며, 상기 시선 탐지기는 시선이 상기 하나 이상의 명령 영역 내에서 결정되어 하나 이상의 소정의 명령을 생성하는 경우 상기 명령 생성기에 알림을 발생할 수 있다.

몇몇 실시 예에 따르면, 상기 처리 유닛은 하나 이상의 눈의 이동 제스처와 관련된 명령을 결정하도록 구현되고 동작하는 제스처 명령 생성기를 더 포함하고, 시스템은 시선 추적 데이터를 제공하기 위하여 구현된 시선 추적 유닛에 연결되고, 상기 제스처 명령 생성기는 상기 시선 추적 데이터를 수신하고, 특정된 제스처와 관련된 상기 하나 이상의 소정의 명령을 활성화하기 위하여 상기 시선 추적 데이터를 가지는 하나 이상의 제스처를 특정할 수 있다.

상기 하나 이상의 소정의 명령은, 디스플레이 되는 상기 데이터의 선택과 관련된 하나 이상의 명령을 포함하거나, 상기 디스플레이 데이터의 적어도 일부분에 적용되는 필터의 선택과 관련되는 하나 이상의 명령을 포함할 수 있다.

본 발명의 기술은 디스플레이된 컨텐츠 내의 사용자 관심 영역을 기반으로 디스플레이 특성을 업데이트 하는 동안 사용자의 시각 요구사항에 맞도록 선택된 컨텐츠의 온라인 맞춤 디스플레이가 가능하게 한다.

맞춤 디스플레이는 일반적으로 정의된 시각 요구사항에 따라 교정된 디스플레이 영역을 포함하고, 교정된 영역 주변의 디스플레이 데이터는 원래 정의된 대로 유지될 수 있다(컨텐츠나 디스플레이 선호에 따라). 교정된 영역은 디스플레이 데이터 내의 사용자의 결정된 관심영역에 의해 결정된다. 따라서 교정된 영역은 문자를 읽고, 사진 혹은 영상을 보는 동안 사용자의 관심사항을 지켜보고, 사용자의 관심에 따라 디스플레이 데이터의 적어도 한 부분에 교정을 적용할 수 있다.

이하에 개시된 본 발명을 보다 잘 이해하기 위해, 그리고 본 발명이 어떻게 효과적으로 수행될 수 있는지를 도시하기 위해 한정하지 않는 순수한 예시의 방법으로 첨부 도면을 참조한다.
도 1은 본 발명의 일 실시 예에 따른 시스템을 도시한 것이다.
도 2는 본 발명의 일 실시 예에 따른 방법을 블록 다이어그램 형태로 도시한 것이다.
도 3은 본 발명의 일 실시 예에 따른 사용자의 관심영역을 특정하는 방법을 블록 다이어그램 형태로 도시한 것이다.
도 4는 본 발명의 일 실시 예에 따른 지역/제스처 명령 생성기를 사용하는 데이터 디스플레이의 사용을 위한 시스템을 도시한 것이다.
도 5는 본 발명의 일 실시 예에 따른 복시를 가지는 사용자들을 위한 이미지 보정을 예시한 것이다.
도 6은 본 발명의 일 실시 예에 따른 안진증 혹은 진동시를 가지는 사용자들을 위한 이미지 보정을 예시한 것이다.
도 7은 본 발명의 일 실시 예에 따른 터널시야, 암점 혹은 축소된 중심 시야 능력을 가지는 사용자들을 위한 이미지 보정을 예시한 것이다.
도 8은 본 발명의 일 실시 예에 따른 반맹암점 혹은 손상된 시야 장 손실을 가지는 사용자들을 위한 이미지 보정을 예시한 것이다.
도 9A 및 도 9B는 본 발명의 일 실시 예에 따른 이미지 왜곡을 가지는 사용자들을 위한 이미지 보정을 예시한 것이다: 도 9A는 역 왜곡 보정을 예시하고, 도 9B는 관심영역위치의 변화 및 대응되는 이미지 처리의 변화를 예시한다.
도 10A 및 도 10D는 본 발명의 일 실시 예에 따른 읽기 보조를 도시한 것이다. 도 10A는 문서 확대를 예시하고, 도 10B, 10C 및 10D는 군집의 축소를 예시한다.
도 11은 본 발명의 일 실시 예에 따른 동적으로 거리 오류를 보상하는 자동 시선 추적을 도시한 것이다.
도 12A 및 도 12B는 본 발명의 일 실시 예에 따른 가이드된 독서, 문서 강조 및 시선 추적 동적 눈금조정의 사용방법을 예시한 것이다.

상기에서 지시된 바와 같이, 본 발명은 사용자 시각 요구사항에 부합하여 개선된 시야 경험을 제공하기 위한 데이터 디스플레이 시스템 및 사용방법을 제공하며, 사용자 시각 요구사항은 일반적으로 시야 손상과 관련이 있다. 도 1을 참고하면, 도 1은 본 발명의 일 실시 예에 따른 개선된 디스플레이를 제공하기 위한 컴퓨터화된 시스템(100)을 도식화한 것이다. 시스템(100)은 적어도 하나 이상의 처리 유닛(110), 데이터를 저장하는 저장 유틸리티(170), 하나 이상의 입력 혹은 출력 유닛과 연결될 수 있는 I/O 모듈(180)을 포함한다. 시스템(100)은 추가적으로 하나 이상의 디스플레이 장치(200)와 연결될 수 있고, 시선 추적데이터를 제공하기 위한 시선 추적 유닛(160)과 연결될 수 있다. 시스템(100)은 사용자의 시야 요구사항에 관한 소정의 데이터와 관련되는 개선된 디스플레이 데이터를 생성하기 위하여 구현되고 동작할 수 있다. 사용자의 시야 요구사항은 예컨대, 저장 유틸리티(170)의 시야 요구사항 데이터 영역(175)에 저장된 데이터에 기초한다.

일반적으로, 시스템(100)은 사용자에 의하여 선택되고 저장 유틸리티(170)에 저장되거나, 외부의 접속(예컨대, I/O 모듈(180)을 통함)을 통하여 수신된 컨텐츠를 기초로 디스플레이 데이터를 제공하고, 디스플레이 데이터를 하나 이상의 사용자 디스플레이 장치(200)로 전송하도록 구현된다. 해당 데이터는 사용자의 시야 요구사항에 따라 적어도 이미지 데이터의 일부분이 처리되는 동안 디스플레이 된다. 사용자의 시야 요구사항은 시야의 어려움(시야 손상 등)을 가지는 사용자들이 데이터를 올바르게 볼 수 있도록 한다.

이를 위하여 처리 유닛(110)은 디스플레이 데이터 생성기(120), 관심영역(ROI) 식별기(140) 및 지역 이미지 처리 모듈(150)을 포함한다. 디스플레이 데이터 생성기(120)는 이미지 처리를 하거나 하지 않고 표시되는 컨텐츠에 기반한 디스플레이 데이터를 생성하고, 디스플레이 장치(200)에 디스플레이 데이터를 전송하기 위하여 구현되고 동작한다. 관심영역(ROI) 식별기(140)는 디스플레이 데이터 내의 사용자 관심영역을 결정하기 위하여 구현되고 동작한다. 지역 이미지 처리 모듈(150)은 결정된 ROI와 관련되는 디스플레이 데이터의 적어도 일부분에 대하여 선택된 하나 이상의 처리기법을 적용하고, 리프레시된 디스플레이 데이터를 디스플레이 데이터 생성기(120)에 전송하도록 구현되고 동작한다.

이미지 처리 기법은 사용자에게 ROI 내에서 개선된 시야를 제공하기 위하여 사용자의 시야 요구사항에 따라 선택된다. 예컨대, 이하에서 보다 상세하기 기술될 것으로, 지역 이미지 처리 모듈(150)은 사용자의 시야 요구사항을 제공하기 위하여 선택된 적어도 하나의 균일하거나 비균일의 지역 이미지 처리 기법을 이용하도록 구현될 수 있다.

이를 위하여, 균일한 이미지 처리는 사용자의 결정된 ROI 내에서 좌표에 독립적인 함수를 적용함으로써 디스플레이 데이터의 적어도 일부분을 처리한다. 균일한 이미지 처리 동작은 예를 들어 하나 이상의 이하의 구성을 포함할 수 있다. 이미지 부분의 이동, 이미지 부분의 회전, ROI 내 이미지의 확대, ROI의 주변을 흐리게 하는 것, ROI 내에서의 밝기나 명암의 증가하거나 주변에서는 이들을 감소시키는 것, ROI 내의 컬러맵의 교체, ROI 내의 윤곽과 패턴 가장자리를 확대하는 것, 추가적으로 선택된 이미지 처리 동작들일 수 있다.

비균일 이미지 처리는 사용자의 ROI 내에서 좌표의 함수로 처리하는 것과 관련된다. 이러한 비균일 이미지 처리 함수는 하나 이상의 다음 구성을 포함할 수 있다. 왜곡 역필터, 이미지 부분(단어 등) 사이의 공간의 변화(증가 등), ROI 부분의 강조, 주변의 세부사항으로부터 ROI 부분의 분리, 디스플레이 데이터의 손상부분의 제거, 비균일 확대의 적용, 비균일 밝기 레벨 보정의 적용, 및 다양한 다른 이미지 처리 기법들일 수 있다.

일반적으로, 본 기술은 시야 손상을 가지고 있는 사용자에게 그에 따른 개선된 디스플레이 데이터를 제공한다. 사용자는 시야 장애를 보여줄 수 있는 안과의사와 같은 전문가에 의해 진단될 수 있고, 혹은 스스로 진단하거나, 그 외 다른 사람이나 시야 문제를 보여줄 수 있는 자동화 시스템에 의해 검사될 수 있다. 본 기법에 의하여 제공되는 어떤 이미지처리 동작은 사용자의 시야에 대한 고도의 진단, 정확한 안구 민감도의 맵핑과 의미있는 보정된 디스플레이 데이터를 제공하기 위한 이미지 인식을 요구할 수 있는 것으로 이해되어야 할 것이다. 어떤 이미지 처리 동작은 상대적으로 간단하지만, 제한적인 진단(자가 진단 등)에 기반하여 효과적으로 사용될 수 있다.

지역 이미지 처리 모듈(LIPM, 150)은 사용자의 시야 요구사항에 대한 데이터를 수신하고, 디스플레이 데이터의 적어도 일부분에 대하여 선택된 하나 이상의 이미지 처리 동작을 적용하도록 구현되고 동작될 수 있다. 이미지 처리를 거치는 디스플레이 데이터의 일부분은 일반적으로 관심영역 식별기(140)에 의해 결정된 사용자의 ROI에 따라 선택되지만, 이미지 처리는 결과적인 디스플레이 데이터를 부드럽게 하기 위하여 끊김없는 경계를 제공하고자 가능한 한 ROI를 넘어서 확대될 수 있다. 지역 이미지 처리 모듈(150)은 디스플레이 데이터 생성기(120)에게 디스플레이 장치를 업데이트 하기 위하여 리프레시 되거나 보정된 디스플레이 데이터를 제공한다.

일반적으로, 디스플레이 데이터 내의 사용자의 ROI와 함께 디스플레이 되는 컨텐츠와 디스플레이 데이터는 시간에 따라 변화할 수 있고, 처리 유닛(110)은 일반적으로 연속적으로 동작하고 디스플레이 데이터를 소정의 리프레시 속도로 업데이트 하도록 구현될 수 있다. 일반적으로, 리프레시 속도는 디스플레이 컨텐츠의 프레임 속도를 기반으로 정하여 질 수 있다. 몇몇 구현 예에서 리프레시 속도는 시스템 성능 및/또는 사용자의 선호에 따라 정하여 질 수 있다.

도 1에 나타나는 바와 같이, 몇몇 실시 예에서는 처리 유닛(110)은 시선 탐지기(130)를 더 포함하여 구현될 수 있다. 시선 탐지기(130)는 사용자 눈이 각각 가리키는 사용자의 시선, 즉, 디스플레이 영역의 하나 혹은 두 개의 점을 결정하도록 구현되고 동작할 수 있다. 시선 탐지기(130)는 ROI를 결정하기 위하여 사용자의 시선에 관한 데이터를 관심영역 식별기(140)에 전송한다.

시선 탐지기(130)는 하나 이상의 기법과 상이한 종류의 입력 데이터를 이용하여 시선을 결정하도록 구현될 수 있다. 몇몇 실시 예에서, 시선 탐지기(130)는 하나 이상의 포인팅 장치(마우스, 펜, 스크린의 터치감지 영역, 키보드 등)와 같은 입력장치와 정보를 주고받을 수 있다. 시선 탐지기(130)는 디스플레이 되는 컨텐츠, 사용자 선호, 사용자 컨텐츠, ROI 이력 및 사용자의 시선과 관련되는 디스플레이 영역 내에서 하나 이상을 가리키는 것을 결정하는 소정의 시간(상대적으로 짧음) 동안 포인팅 입력 데이터의 움직임 이력에 따르는 입력데이터를 처리하도록 구현될 수 있다.

일 실시 예에서 시선 탐지기(130)는 사용자의 시선 추적데이터를 제공하도록 구현된 입력장치와 연결될 수 있다. 이러한 입력데이터는 시스템(100)의 필수 부분인 시선 추적 유닛(160)이거나 I/O 모듈(180)을 통하여 시스템에 연결될 수 있는 외부 유닛일 수 있다. 일반적으로, 시선 추적 유닛(160)은 고정되어 위치하거나 사용자의 헤드 마운티드 유닛에 부착되어 사용자와 함께 이동할 수 있다. 일 실시 예에서 입력장치는 사용자의 눈의 위치와 방향을 감지할 수 있도록 사용자의 이미지 스트림을 제공하는 카메라 유닛일 수 있다. 처리 유닛(110) 혹은 시선 탐지기(130)는 적어도 하나의 사용자 눈의 위치와 방향을 탐지하고 사용자의 시선을 결정하고 디스플레이 장치에 대한 사용자의 상대 위치 데이터를 이용하기 위하여 입력 이미지 스트림을 처리하도록 구현될 수 있다.

일반적으로, 관심영역 식별기(140)는 ROI를 결정하고 이를 사용자의 요구에 맞도록 조정하기 위하여 시선 이력의 처리를 이용할 수 있다. 예컨대, 문장 컨텐츠를 읽는 경우, 사용자의 시선은 문장 라인을 따라서 비교적 균일한 속도로 움직이는 것이 기대된다. ROI는 전체 문장 라인 혹은 몇몇 단어에 의하여 결정될 수 있고, 몇몇 라인과 단어를 건너뛰는 것과 같은 변화 혹은 시야 요구사항과 관련된 시선변화(안진증 등)를 고려하면서, 균일한 읽기 속도를 추정하여 리프레시 될 수 있다.

도 2를 참조하면, 본 발명의 일실시예에 따른 데이터 디스플레이의 사용 방법을 블록다이어그램 형태로 도시한 것이다. 자가 맞춤 디스플레이를 제공하기 위하여, 시야 요구사항에 관한 데이터가 제공된다(1010). 상기와 같이, 해당 데이터는 전문가의 진단 혹은 어떠한 형태의 자가진단을 기초로 할 수 있다. 그리고 디스플레이 장치(1030)에 최초 디스플레이를 제공하기 위하여 사용자의 선택 혹은 운영자가 선택한 컨텐츠 혹은 디스플레이 데이터가 제공된다(1020).

일단 디스플레이 장치에 컨텐츠가 나타나면, 디스플레이 영역 내의 사용자 관심영역을 결정한다(1040). 사용자의 ROI를 기초로, 발명의 기법은 관심영역 내의 디스플레이 데이터의 적어도 일부의 처리를 포함한다(1050). 그리고 디스플레이 데이터는 사용자에게 개선된 디스플레이를 제공하기 위하여 새롭게 처리된 데이터로 리프레시 된다(1060).

상기에서 기술된 바와 같이, 디스플레이 데이터의 적어도 일부분의 처리는 시야 요구사항에 맞도록 선택된 하나 이상의 이미지 처리 동작을 포함한다. 또한, 이미지 처리 동작은 컨텐츠 형태에 따라 선택될 수 있다. 보다 구체적으로, 문서 데이터는 일반적으로 이미지 데이터와 상이하게 처리될 수 있다.

상기에서 기술된 바와 같이, 해당 기법은 디스플레이 데이터 내의 사용자의 ROI를 결정하기 위한 몇몇 방법을 포함할 수 있다. 도 3은 블록다이어그램 형태로 ROI를 결정하는 예시적인 방법을 도시한다. 해당 방법은 사용자의 시선과 관련된 데이터의 수신을 포함한다(2010). 해당 데이터는 시선 추적 유닛, 혹은 모듈로 부터 수신되거나, 포인팅 장치(마우스 등)의 이동 이력으로부터 추정될 수 있다. 시선이 다른 이유로 자발적으로 혹은 비자발적으로 변화할 수 있기 때문에, 일반적으로 해당 방법은 시선변화의 처리를 포함한다(2020). 대부분의 사용자들이 포인팅 마우스를 그들이 현재 보고 있는 컨텐츠와 같이 스크린의 정확한 위치에 두고 있지 않기 때문에, 시선의 입력이 포인팅 장치로부터 결정될 때 특히 중요하다. 따라서, 분석은 일반적으로 시간, 사용자의 선호 및 행동은 물론 디스플레이되는 컨텐츠의 유형에 따른 포인팅 장치의 위치변화의 분석을 포함할 수 있다. 이렇듯 장치를 포인팅하는 것이 시선을 통하여 사용자의 ROI를 추정하는 것이지만, 그러한 추정은 일반적으로 포인팅 이력의 분석을 필요로 하는 것이 명확하다. 더욱이, 포인팅 장치의 이동은 일반적으로 사용자의 시야 손상 조건에 관한 한정된 데이터를 포함하기 때문에 균일한 이미지 보정이 적용되는 곳에서 적당할 수 있다. 시선 추적데이터의 이용은 사용자의 시야 손상에 관한 표시와 함께 사용자의 시선의 직접적인 표시를 제공하면서, 현재 사용자의 시야 손상에 따라 이미지 보정을 제공할 수 있다. 게다가, 시선 추적의 이용은 특히 노인인구에게 어려움이 있는 손과 눈의 협응 필요성을 제거하거나 적어도 현저하게 줄여줄 수 있다.

몇몇 구현 예에서, 시선이 시선추적 입력, 시선 추적 유닛이나 사용자의 이미지 스트림 형태로의 입력을 이용하고 사용자 눈의 위치와 방향에 관한 데이터 및 시선과 대응되는 시선 내 디스플레이 장치의 하나 혹은 두개의 점에 대한 결정을 하기 위한 분석을 포함하여 결정되는 경우, 시선 이력의 분석을 매우 간단하게 할 수 있다.

예컨대, 몇몇 사용자들은 안진증 혹은 유사한 질병으로 한쪽 혹은 양쪽 눈의 조절할 수 없는 움직임에 시달릴 수 있다. 이러한 사용자들을 위해 시야 요구사항 데이터는 안진증 표시 및 움직임의 속도 및 특성에 관한 데이터를 포함할 수 있다. 대응하는 이미지 처리는 디스플레이 데이터의 부분의 위치의 동기화 된 이동일 수 있는데, 디스플레이 데이터는 전체 디스플레이 데이터이거나 눈의 이동에 대응하는 이동 혹은 다른 눈의 분리된 이미지를 제공하는 분리된 디스플레이 혹은 3차원 형태의 디스플레이가 사용되는 경우 각 눈의 분리된 이동일 수 있다. 이러한 경우, ROI 식별기는 시선에 관한 데이터를 수신하여, 그것이 사용자의 상태와 관련된 눈의 이동인지 혹은 사용자의 주의가 이동한 것이지를 분석할 수 있다. 눈의 이동이 오직 사용자의 상태와 관련된 것이면, ROI는 단지 사용자의 상태를 보정하기 위하여 시선에 맞도록 조정된다. 하지만, 눈의 이동이 사용자의 주의의 포인트가 변화와 관련되는 것으로 결정되면, ROI는 사용자의 주의와 그의 상태에 의한 비자발적인 움직임을 중첩하여 업데이트되어야 한다.

두 가지 모두의 경우, 다른 적당한 이미지 처리 동작(이동 혹은 회전 등)이 사용자 시선의 자발적 혹은 비자발적인 변화에 의해 이동에 의한 ROI의 변화에 관계없이 적용될 수 있다.

ROI의 이동에 더하여, ROI의 크기 및 형태가 디스플레이 컨텐츠에 따라 변화할 수 있다. 이를 위하여 본 발명은 시선과 그 주위에 디스플레이된 컨텐츠를 비교하는 분석단계를 포함할 수 있다(2030). 이와 관련하여 상기에서 언급된 바와 같이, 컨텐츠 유형은 ROI를 결정할 수 있다. 예컨대, 문서 컨텐츠의 경우, ROI는 한줄 문서, 두 줄 문서 혹은 사용자의 시야 요구사항과 관련된 오직 한 개나 두 개의 단어일 수 있다. 영역 자체는 시야 요구사항 및/또는 라인 혹은 이미지 윤곽을 기초로 정해질 수 있다(2040).

상기에서 지시된 바와 같이, 본 발명의 기법은 사용자의 각각의 눈에 분리된 디스플레이 데이터를 제공하도록 구현된 두 개의 분리된 스크린 혹은 3차원 디스플레이 장치에 이용될 수 있다. 이와 관련하여, 시야 요구사항과 관련된 데이터는 우측 눈 시야 요구사항에 관한 데이터와 좌측 눈 시야 요구사항에 관한 데이터를 포함할 수 있다. 게다가, 본 발명은 시선 추적 데이터를 이용한 우측 눈의 시선 및 좌측 눈의 시선 등에 기초하여 우측 눈의 ROI와 좌측 눈의 ROI를 각각 특정하는 것을 포함할 수 있다. 유사하게, 이미지 처리 동작은 각 눈 마다 변화할 수 있는 진단된 시야 요구사항에 따라 우측 눈 및 좌측 눈 디스플레이 데이터가 다를 수 있다.

본 발명의 기술에 따르면 우측 및 좌측 눈 이미지 처리 및 추적은 시야 요구사항과 무관하게 사용자의 경험을 개선하기 위해 추가적으로 사용될 수 있음을 주의 할 것이다. 보다 상세하게, 몇몇 구현 예와 시야 요구사항에서, 시스템은 사용자의 한쪽 눈의 다른 눈에 대한 디스플레이 데이터의 적어도 일부분이 이동 혹은 회전하도록 동작할 수 있다. 하지만, 한쪽 눈이 이동하여 디스플레이 영역의 바깥쪽으로 향하면, 디스플레이 이미지를 균등하게 하기 위해 사용될 수 있는 이미지 이동은 없게 된다. 한쪽 눈의 시선이 디스플레이 영역의 바깥쪽으로 향하면, 지역 이미지 처리 모듈(150)(도1 내)이 해당 눈의 디스플레이 데이터의 업데이트를 유지하도록 동작할 수 있다. 게다가, 몇몇 구현 예에서, 디스플레이 장치가 동적 셔터 안경을 사용하는 헤드 마운트 디스플레이 장치 혹은 3차원 디스플레이인 경우, 시스템(100)은 사용자로 하여금 다른 눈에 대한 사용자 데이터에 집중하여 독서 혹은 감상 등을 계속할 수 있도록 대응되는 눈에 대한 모든 빛 입력을 차단하는 디스플레이 장치 명령을 제공할 수 있다.

몇몇 구현 예에 따르면, 본 발명의 기술은 시스템 동작의 핸즈프리 제어 레벨을 제공하도록 사용될 수 있다. 도 4를 참조하면, 본 발명의 일실시예에 따른 디스플레이 데이터의 사용을 위한 시스템(100)을 도시한다. 해당 시스템은 도 1의 시스템과 상당히 유사하지만, 처리 유닛은 지역/제스처 명령 생성기(125)를 포함한다. 지역/제스처 명령 생성기(LG 명령 생성기, 125)는 하나 이상의 명령을 결정하고 하나 이상의 명령을 디스플레이의 지역 및/또는 사용자 눈의 움직임 혹은 동작과 연결하도록 구현되고 동작한다. 따라서, 사용자가 그 시선을 디스플레이의 정의된 명령 구역에 맞도록 일치시키면, 시선 탐지기(130)는 명령이 수신된 지역/제스처 명령 생성기(125)에 적절한 지시를 제공한다. 지역/제스처 명령 생성기(125)는 처리 유닛(110) 혹은 다른 모듈에 명령의 속성을 알림으로써 명령을 활성화하는 동작을 할 수 있다. 유사하게, 제스처 형태 명령을 위하여, 시선 탐지기(130)는 지역/제스처 명령 생성기(125)에 알리고 명령을 활성화하기 위하여, 시선이력, 제스처와 연관된 이동 데이터를 특정할 수 있다.

일반적으로, 시스템은 미리 정해진 명령의 집합을 포함할 수 있다. 하지만, 그러한 명령들은 사용자에 의하여 정의될 수 있다. 전형적인 명령들은 페이지를 앞으로 혹은 뒤로 넘김, 추가 웹페이지를 위한 링크 활성화하는 것처럼 컨텐츠가 표시되도록 하는 관련 명령들을 포함할 수 있다. 선택적 혹은 추가적으로, 그러한 명령들은 사용자의 시야 요구사항과 관련되어 시스템에 의해 수행되는 이미지 처리 동작에 영향을 줄 수 있다. 예를 들면, 그러한 명령들은 디스플레이 데이터의 추가 확장, 특정한 처리 파라미터의 증가 혹은 감소, 서로 다른 시야 요구사항들을 가지는 사용자 프로파일 간의 교환 혹은 서로 다른 눈에 대한 분리된 시야 요구사항을 가지는 3차원 디스플레이와 양쪽 눈을 위한 하나의 이미지 처리를 가지는 2차원 디스플레이 간의 이동 등을 포함할 수 있다. 예컨대, ROI 경계 내의 하나 이상의 지역은 ROI를 위, 아래, 좌, 우로 스크롤 하는 것과 관련하여 명령 구역으로 이용될 수 있다. 이는 사용자로 하여금 핸즈프리로 동작하면서 디스플레이된 이미지 부분을 이동하는 것을 가능하게 한다.

도 5 내지 9 및 도 10A 내지 10B는 소정의 시야 요구사항을 가지는 사용자를 위한 본 발명의 일실시예에 따른 디스플레이 정정을 예시한다.

이와 관련하여 도 5 는 복시(Double Vision)를 가지는 사용자를 위한 디스플레이 보정을 예시한다. 이 형태의 보정은 일반적으로 스크린을 분리하거나 분리된 디스플레이 데이터를 사용자의 각 눈에 제공하는 3차원 디스플레이에 사용된다.

도시된 것처럼, 본래의 이미지가 선택된다(5010). 가공되지 않은 이미지가 5011에 표시되고, 일반적으로 사용자에 의해 인식되는 이미지가 5012에 도시된다. 적절한 보정 디스플레이를 제공하기 위하여, 본 발명은 주시와 비주시를 결정하는 것을 포함한다(5020). 이는 시선변화 때문일 수 있으며, 주시는 상대적으로 안정적으로, 주시에 관한 데이터는 시야 요구사항과 함께 제공될 수 있다. 주시와 시선을 를 탐지하고, 본 발명의 기술은 각도의 편차 및 보정요구 각도를 포함하고(5030) 적당한 보정된 우측 눈 디스플레이 데이터 및 좌측 눈 디스플레이 데이터(5052)를 포함하는 보정된 디스플레이 데이터를 생성한다(5050). 사용자에 의하여 인지된 보정된 디스플레이(5062)를 제공하기 위하여, 보정된 디스플레이 데이터가 사용자에게 전송되어 디스플레이 된다(5060).

한편, 도 6은 안진증 또는 진동시 상태를 가지는 사용자에게의 디스플레이 데이터 보정을 예시한다. 일반적으로, 안진증/진동시의 대부분은 비자발적인 눈의 움직임이 눈들에 동시에 발생하고, 본 발명의 기술은 3차원과 같은 디스플레이 장치와 함께 혹은 없이 이용할 수 있다. 본 발명은 디스플레이 되는 컨텐츠의 제공을 포함하고(6010), 이미지 컨텐츠의 예(6011) 및 그러한 이미지가 사용자에게 어떻게 인지되는지(6012)가 함께 나타내어진다. 전형적으로 사용자에 의한 이미지 인지는 개인적인 상태, 나이 및 환자 상태에 의하여 변화할 수 있다. 일반적으로, 선천적인 안진증을 가지는 사람들은 하나의 이미지를 보지만 선명한 형태를 인지하기 어려울 수 있다(선명도가 낮음). 나이가 들어서 안전증이 시작되면, 시야 품질의 저하가 더 크고 환자는 세상이 그의 주위를 도는 것처럼 느낄 수 있다. 이미지 디스플레이의 보정과 동기화된 이동은 안구에 이미지 안정화를 제공하고, 사용자에게는 개선된 데이터, 어지러움 감소 및 고품질의 이미지 인지를 제공할 수 있다(더 나은 선명도). 또한, 사용자의 시선 혹은 응시 방향이 결정되고(6020) 적절한 필터가 눈 움직임을 보상하기 위하여 디스플레이 데이터에 적용될 수 있다(6030). 동기화, 보정 및 안구 안정화 이미지를 사용자에게 제공하기 위하여, 결과적인 디스플레이 데이터는 사용자의 눈의 움직임에 따라 이동한다(6040).

대부분 시야장의 손상 및 중앙 시야의 선명도 감소 보정과 관련되는 몇몇 다른 시야 손상의 보정이 도 7에 예시된다. 일반적으로, 디스플레이 되는 데이터가 제공되고(7010), 보통의 이미지가 예시되고(7011), 시야장 장애를 가지는 사용자들에 의해 인지되는 이미지의 방식(7112), 암점(7013) 및 축소된 중앙 시야 능력(7014)가 개시된다. 이미지 처리 동작은 일반적으로 시야 요구사항에 따른 이미지 크기 조절(7020)을 포함할 수 있고, 시야각을 결정하고(7030) 보정된 이미지를 생성한다(7040). 터널 시야를 갖는 사용자에 대한 보정된 디스플레이 데이터(7042) 및 중앙 시야 손실(7043)이 예시된다. 이러한 보정은 일반적으로 이미지의 크기 재조정, 밝기 조절 및/또는 시야에 관한 이미지 위치의 이동을 포함할 수 있다.

특별히 여기서 나타나지 않은 추가적인 이미지 처리 단계는 일반적으로 이미지 확대/축소를 포함할 수 있는데, 선형함수와 함께이거나 혹은 별개일 수 있다(예:이미지 중심에 고선명 이미지, 주변지역에는 낮은 선명도를 부가하거나 그 외의 기능들). 사용자가 높은 정도의 주변 시야 손실(즉, 터널시야)로 고통받는 경우, 디스플레이 이미지는 안구의 망막 황반에 이미지의 축소가 있을 수 있고, 이는 선명도를 낮추지만 이미지의 시야장(Field of view, FOV)을 높일 수 있다.

또한 도시된 것처럼, 중심 시야 손실(중심 암점) 혹은 다중 암점을 가지는 사용자에게, 적절한 이미지 보정은 이미지 크기의 조정 및 더 나은 안구의 이동으로 이미지 생성을 제공하기 위한 시선의 이미지 이동의 적용을 포함한다. 이는 사용자에게 자신의 바로 정면에 있는 이미지를 볼 수 있게 하고, 바람직한 망막 위치(PRL, Preferred Retinal Location)를 만들고 PRL에 익숙하게 도와전다.

그리고, 중심 시야 선명도의 보정은 이미지 크기의 확대 및/또는 상기에서 기술된 것처럼 다른 방식의 이미지 조작을 포함할 수 있다. 보정된 이미지는 망막 황반에 혹은 안구의 다른 건강한 위치에 가해질 수 있도록 디스플레이 장치에 디스플레이 될 수 있다. 이는 사용자로 하여금 바로 앞 이미지의 더 나은 디테일을 볼 수 있도록 하고, 필요시 바람직한 망막 위치(PRL)를 개선할 수 있도록 조력한다.

도 8은 반맹암점 혹은 반 시야장 손실을 위한 디스플레이 보정을 예시한다. 이미지 데이터가 제공되어(8010) 디스플레이 되고(8011), 사용자의 우측 및 좌측 눈이 8012 및 8013에 도시된 바와 같이 몇몇 결손이 있는 이미지를 볼 수 있다. 따라서, 본 발명의 기술은 사용자를 위한 시야 요구사항에 따라 일반적으로 이미지 크기의 보정을 포함한다(8020). 이미지 확대 혹은 크기 축소는 선형함수이거나 그렇지 않을 수 있다(예: 이미지 중심에 고선명 이미지, 주변지역에는 낮은 선명도를 부가하거나 그 외의 기능들). 보정된 이미지 부분은 많은 환자들을 위하여 중첩될 수 있고, 망막황반 부분은 온전할 수 있음에 유의한다. 시선 방향이 획득되면(8030), 보정된 디스플레이 데이터가 생성될 수 있고(8040), 시선방향에 따라 사용자의 안구의 건강한 곳에 이미지데이터를 형성하기 위해 디스플레이 될 수 있다. 우측 및 좌측 눈에 대한 보정된 디스플레이의 예가 8041 및 8042에 도시된다. 유사하게, 이미지 데이터를 사용자 안구의 건강한 곳에 투영함으로써, 본 발명의 기술은 바람직한 망막 위치(PRL)를 개선하도록 사용자를 조력하는데 활용될 수 있다.

몇몇 추가된 예에서, 본 발명의 기술은 도 9A 및 도 9B에서 예시된 바와 같이 왜곡된 이미지의 보정을 위하여 활용될 수 있다. 도 9A는 역 왜곡 보정을 도 9B는 사용자의 ROI에 따른 역 왜곡을 이동하는 것을 예시한다.

일반적으로, 도 9A에서 도시된 바와 같이 본 발명의 기술에 의하면, 사용자 시야의 왜곡 맵핑(9012)에 관한 데이터는 시야 요구사항에 관한 정확한 데이터를 제공하는 전문가에 의해 결정될 수 있다. 본 발명의 기술에 의하면, 보정된 디스플레이는 디스플레이 되는 데이터(9011)의 선택(9010)을 포함한다. 지역 이미지 처리 동작(9020)은 보정되고 역전된 이미지 데이터(9022)를 제공하기 위하여 미리 정해진 왜곡 맵핑(9012)에 따른 역 보정의 적용을 포함할 수 있다. 사용자의 시선이 대응되는 ROI를 선택하고 디스플레이 장치에 보정된 이미지(9042)를 디스플레이(9040)하기 위하여 결정된다. 역 왜곡(9042)을 가지는 이미지 데이터에 대하여, 사용자는 개선된 시야를 사용자에게 가능하게 하는 보통 혹은 개선된 형태(9052)의 디스플레이된 이미지(9050)를 인지할 수 있다.

또한, 도 9B에 도시된 바와 같이, 본 발명의 기술은 사용자의 ROI에 맞도록 보정된 디스플레이 데이터를 일치시키는 것을 포함한다. 도시된 바와 같이, 본 발명의 기술은 디스플레이 컨텐츠의 제공을 포함하고(9110), 시야 요구사항 및 사용자의 ROI에 부합하는 디스플레이 데이터의 보정을 포함한다. 상기에서 기술된 바와 같이 관심영역이 결정되고, 이미지 처리 동작은 일반적으로 사용자의 알려진 시야 왜곡에 따라 역 왜곡의 수행(9020)을 포함할 수 있다. 역 왜곡의 예는 8122에 나타난다. 보정된 디스플레이 데이터가 디스플레이 장치에 전송되고(9130) 사용자로 하여금 왜곡되지 않은 이미지를 볼 수 있게 한다(9132). 게다가, 사용자의 시선 혹은 관심영역이 변화할 때, 본 발명의 기술은 진행되어 이미지 처리를 위한 새로운 ROI를 결정된다(9140). 사용자의 안구에 왜곡되지 않은 이미지를 형성하는 개선된 이미지(9160)가 사용자에게 제공하기 위하여(9162), 역 왜곡이 새로운 위치(9152)의 디스플레이 데이터에 적용된다.

도 10A 및 도 10B는 사용자의 읽기 능력을 개선하기 위한 문서 데이터와 관련된 이미지 보정에 관한 것이다. 도 10A는 문서데이터의 부분의 확대를 예시하고, 도 10B는 과밀을 방지하는 문서 데이터의 분리를 예시한다.

도 10A에 도시된 바와 같이, 문서 데이터가 사용자에게 제공될 때, 본 발명의 기술은 데이터 내의 ROI를 결정하는 것을 포함한다(10010). 이 예에서, 사용자가 그의 관심영역을 다른 곳(예: 위/좌측)으로 이동할 때, ROI(도면에서 디스플레이 영역의 왼쪽 윗부분 10022)의 새로운 위치에서 확대된 문서를 제공하기 위하여 문서 데이터를 확대하도록 선택하는 이미지 처리 동작이 수행된다(10020). 유사하게, 상기에서, 사용자가 자신의 관심영역을 디스플레이의 왼쪽/아래로 변화할 때, 새로운 위치가 감지되고(10030) 대응되는 문자가 디스플레이 영역의 왼쪽/아래에서 확대된다(10040 및 10042).

관심영역은 하나의 문자 혹은 단어와 같이 작을 수 있고, 혹은 문단 혹은 그 이상으로 클 수 있다. 몇몇 구현 예에서, ROI는 사용자의 독서 속도를 따르고 사용자의 주의를 읽는 곳의 다음 문서를 향하게 할 수 있다. 몇몇 추가적인 구현 예에서, 본 발명의 기술은 미리 정해진 속도로 ROI 내의 문장을 크게 읽는 등 음성 보조를 이용할 수 있다.

추가적 혹은 선택적으로, 본 발명의 기술은 시야 요구사항을 가지는 사용자가 쉽게 읽을 수 있도록 문서 데이터 내의 글자 혹은 단어의 분리를 이용할 수 있다. 이는 분리된 글자와 문장 부분 사이의 간격을 예시하는 도 10B에서 10D에 예시되어 있다. 도 10B는 따로 떨어져 있는 글자(300), 사용자들의 읽는 시야를 방해하여 어렵게 하는 측면 배치된 글자들(400), 및 빽빽히 쓰여진 단어(500)를 예시하고, 이는 사용자가 구별하기 어렵게 한다. 도 10C는 밀집을 줄이기 위하여 문서데이터에서 단일글자의 분리를 예시하고, 도 10D는 읽기에 도움을 주기 위하여 문장을 분리하는 것을 예시한다.

도 10C에 도시된 바와 같이, 문서 데이터(510)는 특정 시야 요구사항을 가지는 사용자들이 읽기 어려울 수 있다. 밀집을 줄이기 위하여, 본 발명의 일실시예에 의하면, 본 발명의 기술은 작은 분절로 분리된(520) 연속된 문자들(예 : 디지털 이미지로부터 획득)의 분리를 사용할 수 있다. 예컨대, 작은 분절은 사용자가 단어를 쉽게 확인할 수 있도록 해주는 사용자의 시야 요구사항에 따른 하나의 단어, 몇몇 단어, 혹은 몇 개의 글자 혹은 단일한 글자일 수 있다. 몇몇 경우에 단어의 분리는 밀집효과를 제거하는데 충분하지 않을 수 있다. 따라서, 몇몇 사용자의 어떤 시야 요구사항에 따라, 본 발명의 기술은 ROI의 선택된 단어들의 간격을 좀 더 확장할 수 있다(530). 이는 밀집 효과를 줄이고 사용자들이 읽기를 용이하게 하거나 가능하게 하기 위한 것이다.

읽기 보조를 제공하는 문서 내의 분리된 문장을 사용하는 기술이 또 다른 단계로서 도 10D에 예시된다. 문서데이터의 페이지(610)에서, 단락(620) 혹은 단일한 문장(630)이 분리되어서 사용자의 눈을 읽고자 하는 문서에 향하게 하고 방해를 줄인다. 일반적으로, 몇몇 기술들이 문서 분리를 위하여 사용될 수 있다. 예컨대, 선택된 텍스트 주변의 텍스트가 흐릿하게 될 수 있다. 희색, 회색 혹은 배경 색에 검은 공간을 남겨서 주변의 텍스트는 디스플레이 데이터에서 제거될 수 있다. 선택된 문서의 부분은 주변과 다른 선택된 색깔로 강조될 수 있다. 그리고 선택된 문서는 그 주변의 문서에 비하여 확대될 수 있고, 더 작게 표시될 수도 있다.

일반적으로, 선택된 문서는 사용자에게 지속적인 읽기 경험을 제공하기 위하여 읽기 진도에 따라 교체될 수 있다. 문서 선택은 사용자의 시선을 기초로 할 수 있고, 수작업으로(예: 키보드나 마우스의 이용) 혹은 자동으로 할 수 있다. 예컨대, 사용자가 현재 선택된/강조된 텍스트의 읽기를 마친 경우, 다음 단어/라인이 앞선 것 대신에 강조될 것이다.

밀집 효과를 줄이기 위하여, 본 발명의 기술은 ROI 및 그 안의 문서를 분석하고 그 문서의 적절한 이미지 처리동작을 수행하기 위하여 구동될 수 있다. 일반적으로, 보정된 문서의 결과물은 더 크게 세로로 떨어진 분리된 글자들, 단어들 혹은 문장들이다. 일반적으로, 결과물은 적어도 글자들 사이의 확대된 공간을 가지는 문서의 부분을 포함한다. 결과물은 확대되거나 아닐 수 있고, 경우에 따라 이미지 밝기 혹은 명암의 변화를 포함할 수 있다.

본 발명의 기술은 실제 저장된 이미지 및 글자 사이의 간격의 위치, 글자를 확대하거나 할 수 있고, 문서 인식 알고리즘 혹은 문서데이터에 대한 작업의 수행을 이용할 수 있다. 문서는 일반적으로 사용자에게 보다 밀집하지 않도록 다시 만들어진다. 글자들 간의 간격은 일반적으로 조절될 수 있다.

본 발명의 기술은 상기에서 설명된 바와 같이 다음과 같은 몇몇 선택적인 기술을 포함하여 읽기 보조로서 활용될 수 있다. ROI 이동이 사용자들의 주의를 직접적으로 따르게 하기, ROI 이동이 상대적으로 일정한 읽기 속도를 따르게 하기, 혹은 상기 양자의 조합일 수 있다. 몇몇 구현 예에서 ROI가 사용자의 주의를 항상 따라 결정된다. 따라서 일정한 움직임과 특히 읽기 속도와는 관련도가 적은 것으로 생각되는 원치 않는 눈의 움직임은 읽기를 어렵게 할 수 있다. 이러한 경우 바람직한 발명의 구현은 사용자의 주의가 움직임을 만들지 않는 ROI 중심의 고정된 영역을 결정하는 것, 및 하나 이상의 민감하거나 ROI 주변에서 명령과 관련된 영역을 결정하는 것을 이용한다. 사용자의 시선이 하나의 명령 구역 안에서 특정될 때, ROI는 적당한 명령에 따라 이동한다. 한편, ROI 이동속도가 일정하거나 사용자의 주의 및 일정한 속도의 조합이 이용되는 경우, ROI는 일반적으로 미리 정해진 단락을 따라서 일정한 속도로 이동할 수 있다, 그리고, 사용자의 주의(시선)은 일정한 움직임을 정지하거나 재개하도록 하고, 또한 읽기속도의 자동조절이 가능하도록 사용될 수 있다. 이러한 시스템의 동작구현 혹은 본 발명의 기술은 예컨대, 사용자가 크게 읽는 단어들과 관련된 음성입력을 받는 등 읽기 훈련을 위하여 활용될 수 있다. 일반적으로, 미리 정해진 선택된 읽기 속도를 따르는 것은 물론, 문서의 하나 이상의 단어들이 표시되고 도 12에 예시된 것처럼 사용자의 ROI에 따른다. 몇몇 구현 예에서, 소리내어 읽는 단어들은 음성인식에 의하여 분석될 수 있고 사용자에게 읽기 안내, 훈련 및 피드백을 제공하기 위하여 쓰여진 문서와 비교될 수 있다.

일반적으로, 시선 추적 유닛 및 장치들은 주기적인 눈금조정 과정이 필요할 수 있다. 하지만, 본 발명에 의한 기술은, 추가적인 입력 혹은 특별한 사용자의 조작을 필요로 하지 않음에도, 사용자에게 제공되는 데이터의 분석과 조합하여 시선 추적의 활용은 주기적인 눈금조정을 위해 동작할 수 있다. 보다 상세하게, 사용자가 시선에 기반하여 독서 혹은 ROI의 조정을 하는 동안 표시된 문서를 자동으로 전달하는 가이드된 독서모드로 동작할 때, 디스플레이 장치에 대한 사용자의 시선방향 사이의 연관관계를 제공한다. 도 11에서 블록다이어그램 형태로 거리 오차를 보정하는 시선추적 단계를 예시한다. 도시된 것처럼, 디스플레이 장치(1112)의 앞에 사용자가 있는 경우 최초 눈금조정이 에서 제공되고(1110), 최초 눈금 조정은 간단한 미리 눈금 조정된 데이터일 수 있다. 최초 눈금조정은 대응되는 사용자 눈의 두 개 혹은 그 이상의 각도 방향에 따라 디스플레이 장치(1122)상의 두 개 혹은 그 이상의 위치를 지정한다(1120). 따라서, 사용자가 머리 위치(예: 디스플레이 장치에의 거리(1132))를 변경하더라도(1130), 머리 움직임에 따라 변화할 수 있는 디스플레이 장치(1142)상의 포인트 사이의 이동을 결정하기 위하여, 새로운 눈금조정 데이터가 삼각법에 의해 결정된 새로운 눈금조정 데이터가 결정될 수 있다(1140).

도 12에 예시된 상기 가이드된 독서 모드는 시선추적의 계속적인 눈금조정을 위하여 이용될 수 있다. 이는 도 12A와 도 12B에 시선추적의 눈금조정을 위하여 시선추적을 가지는 가이드된 독서모드를 이용하여 추가로 예시되어 있다. 도 12A는 선택된 단어 혹은 요소로부터 시선의 이탈을 예시하고, 도 12B는 가이드된 독서에서 데이터의 눈금 조정하는 단계를 예시한다.

도 12A에 도시된 바와 같이, 강조된 단어(1220)인 "word"는 주변 문서를 흐릿하게 하거나 그외 다른 방법으로 표시된다. 사용자의 시선(1210)은 디스플레이 데이터의 특정위치에서 결정될 수 있는데, 일반적으로 선택된 단어의 수평과 수직 방향을 따라서 특정 거리 내일 수 있다. 도 12B의 순서도는 이러한 기술을 예시한다. 가이드된 독서모드가 시작되어(1230) 선택된 단어(들)가(이) 강조되면, 본 발명의 기술은 사용자 시선의 결정 및 추적을 포함한다(1240). 본 발명의 기술은 수평과 수직축(1250)을 따라서 시선과 선택된 단어 사이의 거리를 결정하는 것을 더 포함하고, 그 거리가 소정의 한계를 넘어서는지를 검증한다(1260). 그 거리가 한계를 넘어서서 소정의 시간 동안 안정되면, 시선 결정을 보정하기 위하여 시선추적 눈금 조정 데이터가 업데이트 된다(1270). 그 한계는 시야 요구사항과 같은 사용자 데이터 및 사용자가 가이드된 독서에 자발적으로 따르는 시간에 따라 결정될 수 있다. 사용자가 읽는 동안 문서로부터 주의를 이동할 수 있고, 시선과 선택된 문서 사이의 거리는 자연히 증가한다.

따라서, 본 발명은 알려진 시야 요구사항에 기반하여 사용자를 위한 시야 보조기술을 제공한다. 본 발명의 기술은 고정형 혹은 이동형(휴대폰, 랩탑 등) 컴퓨터 장치 혹은 어떠한 전용 시스템에 구현될 수 있다. 본 발명의 방법 및 시스템은 프로그램된 컴퓨터일 수 있음을 이해할 것이다. 유사하게, 본 발명은 본 발명의 방법을 실행하는 컴퓨터에 의해 읽을 수 있는 프로그램을 고려한다. 본 발명은 본 발명의 방법을 실행하기 위한 기계에 의하여 실행될 수 있는 명령 프로그램을 저장한 기계로 읽을 수 있는 유형의 저장매체를 고려한다. 또한, 상기에 나타난 바와 같이, 본 발명의 기술은 본 발명의 시스템과 함께하거나 아니거나 어떠한 형태의 디스플레이 장치를 사용할 수 있다. 그리고 간단한 2차원 이미지 데이터 혹은 3차원 같은 경험을 제공하기 위하여 사용자의 각 눈에 분리된 이미지데이터를 제공할 수 있다. 디스플레이 장치는 헤드마운티드(예: 안경) 혹은 그 외 텔레비전, 컴퓨터 스크린, 선택된 표면에 투영하는 프로젝터 등과 같은 다른 형태일 수 있다. 해당 기술분야의 당업자는 본 발명의 명세서와 청구항에 기재된 범위를 벗어남이 없이 본 발명의 구현이 적용될 수 있는 다양한 변형 및 변화를 쉽게 이해할 수 있을 것이다.

Claims (41)

1. 사용자의 시야 요구사항에 관한 데이터를 제공하는 단계;
   디스플레이 장치에 상기 사용자에게 디스플레이 되는 컨텐츠에 관한 데이터를 제공하고, 초기 디스플레이 데이터를 생성 및 디스플레이 하는 단계;
   디스플레이 데이터 내에서 상기 사용자의 관심영역을 특정하는 단계; 및
   상기 관심영역 내에서 적어도 상기 디스플레이 데이터의 일부분을 위한 적절한 이미지 처리를 포함하는 리프레시된 디스플레이 데이터를 생성하고 상기 리프레시된 디스플레이 데이터를 상기 디스플레이 장치에 전송하기 위하여, 상기 사용자의 시야 요구사항에 대한 데이터에 따라 디스플레이 데이터를 처리하는 단계를 통하여 상기 사용자에게 상기 관심영역 내에서 개선된 이미지 디스플레이를 제공하는 데이터 디스플레이 방법.
2. 제1항에 있어서,
   상기 사용자의 관심영역의 특정은,
   상기 디스플레이 되는 컨텐츠의 처리 및 상기 컨텐츠에 기반한 하나 이상의 데이터 부분을 결정을 포함하는 데이터 디스플레이 방법.
3. 제1항 또는 제2항에 있어서,
   상기 사용자의 관심영역의 특정은,
   상기 관심영역을 특정하기 위하여 상기 사용자의 적어도 하나의 눈의 시선에 관한 데이터의 제공을 포함하는 데이터 디스플레이 방법.
4. 제3항에 있어서,
   상기 사용자의 관심영역의 특정은,
   소정 시간 동안의 시선의 이력 및 상기 디스플레이 데이터에 대응하는 시선의 변화를 선택하는 것을 포함하는 데이터 디스플레이 방법.
5. 제3항 또는 제4항에 있어서,
   상기 사용자의 시선에 관한 데이터의 제공은,
   사용자의 주의의 추정된 위치와 관련된 상기 디스플레이 영역 내의 한 점을 결정하는 것을 포함하는 데이터 디스플레이 방법.
6. 제3항 내지 제5항에 중 어느 한 항에 있어서,
   상기 사용자의 시선에 관한 데이터의 제공은,
   마우스와 같은 포인팅 장치의 이동 이력에 관한 데이터를 수신, 및
   상기 사용자의 시선에 관한 상기 데이터의 결정을 위하여 상기 이동 이력에 관한 데이터를 처리를 포함하는 데이터 디스플레이 방법.
7. 제3항 내지 제6항에 중 어느 한 항에 있어서,
   상기 사용자의 시선에 관한 데이터의 제공은,
   상기 사용자의 적어도 하나의 눈의 이동에 관한 데이터의 제공하고, 상기 데이터를 상기 디스플레이 장치상의 소정의 위치와의 비교하여,
   상기 사용자의 시선 내에 있는 상기 디스플레이 데이터 내의 위치를 결정하는 데이터 디스플레이 방법.
8. 제7항에 있어서,
   상기 사용자의 적어도 하나의 눈의 이동에 관한 데이터의 제공은,
   상기 디스플레이 장치에서 적어도 하나의 사용자의 눈의 방향을 결정하기 위하여, 상기 디스플레이 장치에서 소정의 위치에 있는 이미지로부터 사용자의 이미지데이터의 수집 및 상기 이미지 데이터의 처리를 포함하는 데이터 디스플레이 방법.
9. 제7항 또는 제8항에 있어서,
   상기 사용자의 시선에 관한 데이터의 제공은,
   상기 사용자의 각 눈의 개별적인 이동에 관한 데이터의 제공 및,
   좌측 시선 및 우측 시선의 결정을 포함하는 데이터 디스플레이 방법.
10. 제9항에 있어서,
    상기 좌측 눈 디스플레이 데이터, 우측 눈 디스플레이 데이터 및 상기 디스플레이 데이터 처리를 포함하는 상기 디스플레이 데이터는,
    적어도 상기 좌측 눈 디스플레이 데이터 및 우측 눈 디스플레이 데이터의 적어도 일부분을 각각 처리하기 위하여 제1 및 제2 이미지 처리를 포함하는 데이터 디스플레이 방법.
11. 제10항에 있어서,
    상기 좌측 눈 디스플레이 데이터 및 우측 눈 디스플레이 데이터의 적어도 일부분의 처리는,
    서로 유사하거나 서로 다른 데이터 디스플레이 방법.
12. 제7항 내지 제11항 중 어느 한 항에 있어서,
    상기 사용자의 적어도 하나의 눈의 이동에 대하여 제공되는 데이터는,
    사용자 눈의 적어도 하나의 시선이 디스플레이 영역의 내부 혹은 외부에 있는지의 결정하고,
    상기 시선이 디스플레이 영역의 외부에 있는 경우 상기 사용자 적어도 하나의 눈의 관심영역의 업데이트를 중지하는 것을 더 포함하는 데이터 디스플레이 방법.
13. 제7항 내지 제12항 중 어느 한 항에 있어서,
    상기 사용자의 적어도 하나의 눈의 이동에 대하여 제공되는 데이터는,
    사용자 눈의 적어도 하나의 시선이 디스플레이 영역의 내부 혹은 외부에 있는지의 결정하고,
    적어도 하나의 사용자 시선이 상기 디스플레이 영역의 외부를 향하는 경우에는 상기 디스플레이 장치를 어둡게 하는 명령을 전송하는 것을 더 포함하는 데이터 디스플레이 방법.
14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 사용자의 관심영역 내의 상기 디스플레이 데이터의 적어도 일부분을 처리하는 상기 이미지 처리의 적용은,
    상기 사용자의 시야 요구사항에 관한 데이터에 따라 적어도 다음 중 하나의 필터를 적용하는 것을 포함하는 데이터 디스플레이 방법.
    이미지 이동, 이미지 회전, 이미지 왜곡 역전, 이미지 확대, 단어와 같은 이미지 부분 사이의 간격 증가, 상기 관심영역의 주변을 흐리게 하기, 상기 관심영역의 부분을 강조, 상기 관심영역의 부분을 분리, 상기 관심영역 내의 콘트라스트를 증가, 주변의 콘트라스트를 감소, 상기 관심영역의 밝기를 증가, 상기 관심영역 내의 이미지 색깔을 소정의 컬러맵으로 교체, 디스플레이 데이터의 손상 부분을 제거, 디스플레이 데이터 내의 윤곽을 표시 및 디스플레이 데이터 내의 가장자리 패턴을 표시.
15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 디스플레이 되는 컨텐츠에 관한 데이터의 제공은,
    상기 사용자 관심영역의 결정, 상기 사용자의 관심영역 내의 디스플레이 데이터의 적어도 일부분에 대한 필터를 적용 및 리프레시된 디스플레이 데이터를 생성하고 상기 디스플레이 데이터를 계속 동작하는 디스플레이 장치에의 전송하여,
    상기 사용자에게 지속적인 시야 개선 디스플레이의 제공을 가능하게 하는 데이터 디스플레이 방법.
16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 디스플레이 데이터와 관련된 음성신호의 수신 및 생성(문자를 음성으로 및 음성을 문자로)을 더 포함하는 데이터 디스플레이 방법.
17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    디스플레이 데이터 내의 하나 이상의 명령 영역을 결정하고,
    상기 하나 이상의 소정의 명령을 활성화하기 위하여 상기 디스플레이 데이터 내의 상기 사용자의 관심영역이 상기 하나 이상의 명령 영역 내인지를 결정하는 것을 더 포함하는 데이터 디스플레이 방법.
18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    시선추적 데이터의 제공 및
    상기 사용자의 눈 움직임에 따른 하나 이상의 제스처를 결정을 더 포함하고,
    상기 하나 이상의 제스처는 상기 하나 이상의 소정의 명령을 활성화하기 위하여 상기 하나 이상의 소정의 명령과 연관된 데이터 디스플레이 방법.
19. 제17항 또는 제18항에 있어서,
    상기 하나 이상의 소정의 명령은,
    하나 이상의 디스플레이 되는 상기 데이터의 선택과 관련되는 하나 이상의 명령들을 포함하는 데이터 디스플레이 방법.
20. 제17항 또는 제19항에 있어서,
    상기 하나 이상의 소정의 명령은,
    하나 이상의 디스플레이 되는 상기 사용자의 시야 요구사항의 선택과 관련되어 상기 디스플레이 데이터의 적어도 일부분에 적용되는 이미지 처리의 선택에 영향을 주는
    하나 이상의 명령들을 포함하는 데이터 디스플레이 방법.
21. 제1항 내지 제20항 중 어느 한 항에 있어서,
    읽기 보조의 제공,
    상기 디스플레이 데이터의 처리 및 강조되는 하나 이상의 데이터 부분의 결정, 및
    읽기와 그에 따라 선택된 데이터 부분의 강조하는 처리 속도의 결정을 포함하는 것을 구현한 데이터 디스플레이 방법.
22. 제21항에 있어서,
    상기 사용자의 시선의 결정 및 상기 시선의 변화에 따른 가이드 된 읽기 진행의 제어를 포함하고,
    상기 제어는 적어도 하나의 다음 동작을 포함하는 데이터 디스플레이 방법.
    읽기 진행의 정지, 이전의 위치에서 읽기 진행을 재개, 선택된 위치에서 읽기 진행을 재개, 읽기 속도의 변경.
23. 제21항 또는 제22항에 있어서,
    상기 사용자의 시선과 현재 강조된 선택된 데이터 부분 사이의 거리를 결정하는 것을 포함하고,
    상기 거리가 소정의 임계값을 넘어서면, 시선을 강조된 데이터 부분과 일치하도록 하기 위하여 시선 추적 눈금조정 데이터를 업데이트하는 데이터 디스플레이 방법.
24. 제1항 내지 제23항 중 어느 한 항에 기재된 데이터 디스플레이 방법을 실행하기 위한 컴퓨터 프로그램 코드 수단을 포함하는 컴퓨터 프로그램.
25. 제24항에 따른 컴퓨터 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
26. 사용자의 시야 요구사항에 관한 데이터를 제공하는 단계;
    상기 사용자에게 디스플레이 되는 컨텐츠에 관한 데이터를 제공하고, 디스플레이 장치에 디스플레이 되는 초기 디스플레이 데이터를 생성하고 디스플레이 하는 단계;
    상기 디스플레이 데이터 내에서 상기 사용자의 관심영역을 특정하는 단계; 및
    상기 관심영역 내의 상기 디스플레이 데이터의 적어도 일부분의 적절한 이미지 처리를 포함하는 리프레시된 디스플레이 데이터의 생성 및 상기 디스플레이 장치에 디스플레이 되는 상기 리프레시된 디스플레이 데이터의 전송을 위하여, 상기 사용자의 시야 요구사항에 대한 상기 데이터에 따른 상기 디스플레이 데이터의 처리하는 단계;
    및 상기 관심 영역 내에서 개선된 이미지 디스플레이를 상기 사용자에게 제공하는 것을 포함하는 데이터 디스플레이 방법을 실행하기 위한 컴퓨터 프로그램 을 기록한 컴퓨터 판독 가능한 기록 매체.
27. 사용자의 시야 요구사항에 대한 소정의 데이터와 관련된 개선된 디스플레이 데이터를 생성하기 위해 구현되고 동작하는 시스템으로서,
    적어도 하나의 처리 유닛, 입력 및 출력 모듈, 저장 유틸리티 및 적어도 하나의 디스플레이 장치와의 커넥터를 포함하고,
    상기 처리 유닛은,
    상기 디스플레이 되는 데이터를 수신하고 디스플레이 데이터를 생성하고 디스플레이 장치에 전송하도록 구현되고 동작하는 디스플레이 데이터 생성기;
    상기 디스플레이 데이터를 수신하고 상기 디스플레이 데이터 내의 관심영역을 결정하기 위하여 구현되고 동작하는 관심영역 식별기; 및
    상기 사용자의 시야 요구사항과 관련된 상기 소정의 데이터를 수신하고,
    하나 이상의 이미지 처리에 적용하기 위하여 상기 디스플레이 데이터 내의 상기 사용자의 관심영역에 따른 적어도 디스플레이 데이터의 일부분을 처리하고,
    상기 사용자에게 리프레시된 디스플레이 데이터를 제공하기 위하여 결과적인 개선된 시야 데이터를 디스플레이 데이터 생성기에 전송하도록 구현되고 동작하는 지역 이미지 처리 모듈을 포함하는
    개선된 디스플레이 데이터를 제공하는 시스템.
28. 제27항에 있어서,
    상기 처리 유닛은,
    상기 사용자의 시선을 결정하도록 구현되고 동작하는 시선 탐지기를 더 포함하고,
    상기 관심영역 식별기는 시선 탐지기에서 수신된 시선에 관한 데이터에 따라 관심영역을 결정하도록 구현되고 동작하는,
    개선된 디스플레이 데이터를 제공하는 시스템.
29. 제28항에 있어서,
    상기 시선 탐지기는,
    상기 시스템의 입력 모듈과 연결된 포인팅 장치의 이동 이력에 따라 상기 사용자의 시선을 결정하도록 구현되고 동작하는
    개선된 디스플레이 데이터를 제공하는 시스템.
30. 제28항에 있어서,
    상기 시선 탐지기는,
    시선 추적 유닛과 연결될 수 있고, 상기 사용자의 시선을 결정할 수 있도록 적어도 하나의 사용자의 시선의 위치 및 방향에 관한 데이터를 수신하도록 구현되고 동작하는
    개선된 디스플레이 데이터를 제공하는 시스템.
31. 제30항에 있어서,
    상기 시선 탐지기는,
    상기 사용자 눈의 각각의 움직임에 대한 데이터를 수신하고 좌측 시선 및 우측 시선을 결정하도록 구현되고 동작하는
    개선된 디스플레이 데이터를 제공하는 시스템.
32. 제31항에 있어서,
    디스플레이 데이터 생성기는,
    상기 사용자의 각각의 눈에 끊김없는 개별적인 디스플레이를 제공하기 위하여 상기 사용자에게 적절히 디스플레이 되는 좌측 눈 데이터 및 우측 눈 데이터를 포함하는 디스플레이 데이터를 생성하고 전송하도록 구현되는
    개선된 디스플레이 데이터를 제공하는 시스템.
33. 제32항에 있어서,
    상기 지역 이미지 처리 모듈은,
    상기 좌측 눈 시선 및 우측 눈 시선 및 상기 사용자의 시야 조건에 관한 데이터에 따른 좌측 눈 디스플레이 데이터 및 우측 눈 디스플레이 데이터의 일부분에 각각,
    선택적으로 제1 및 제2 필터를 적용하도록 구현되고 동작하는
    개선된 디스플레이 데이터를 제공하는 시스템.
34. 제28항 내지 제33항 중 어느 한 항에 있어서,
    상기 시선 탐지기는,
    상기 사용자의 적어도 하나의 시선이 상기 디스플레이 영역의 내부인지 외부인지를 결정하고, 이에 따른 알림을 발생하여 상기 관심영역 식별기에 알리고,
    상기 관심영역 식별기는,
    자발적이거나 비자발적인 시선 이동을 구분하고 이에 따른 상기 사용자의 관심영역의 변화를 결정하도록 구현되고 동작하는
    개선된 디스플레이 데이터를 제공하는 시스템.
35. 제34항에 있어서,
    상기 지역 이미지 처리 모듈은,
    상기 관심영역 식별기에서 시선의 비자발적인 움직임에 대한 알림에 따라 적어도 이미지 데이터의 일부분을 제거하고,
    시선의 큰 움직임에 따라 상기 디스플레이 데이터의 적어도 일부분을 어둡게 하도록 구현되고 동작하는
    개선된 디스플레이 데이터를 제공하는 시스템.
36. 제27항 내지 제35항 중 어느 한 항에 있어서,
    상기 지역 이미지 처리 모듈은,
    기 존재하는 상기 사용자의 시야 조건에 대한 상기 데이터에 따라 적어도 하나의 다음의 이미지 처리에 적용되도록 구현되고 동작하는 개선된 디스플레이 데이터를 제공하는 시스템.
    이미지 이동, 이미지 회전, 이미지 왜곡 역전, 이미지 확대, 단어와 같은 이미지 부분 사이의 간격 증가, 상기 관심영역의 주변을 흐리게 하기, 상기 관심영역의 부분을 강조, 상기 관심영역의 부분을 분리, 상기 관심영역 내의 콘트라스트를 증가, 주변의 콘트라스트를 감소, 상기 관심영역의 밝기를 증가, 상기 관심영역 내의 이미지 색깔을 소정의 컬러맵으로 교체, 디스플레이 데이터의 손상 부분을 제거, 디스플레이 데이터 내의 윤곽을 표시 및 디스플레이 데이터 내의 가장자리 패턴을 표시.
37. 제27항 내지 제36항 중 어느 한 항에 있어서,
    상기 사용자의 시선의 변화 및 상기 디스플레이 되는 데이터의 변화에 따라 상기 디스플레이 데이터를 계속하여 리프레시 하도록 구현되는
    개선된 디스플레이 데이터를 제공하는 시스템.
38. 제27항 내지 제37항 중 어느 한 항에 있어서,
    상기 처리 유닛은,
    상기 디스플레이 데이터 내의 하나 이상의 명령 영역을 결정하고, 상기 하나 이상의 명령 영역 내에서 감지되는 사용자의 시선에 대해 대응되는 하나 이상의 소정의 명령을 생성하도록 구현되고 동작하는 지역 명령 생성기를 더 포함하며,
    상기 시선 탐지기는 시선이 상기 하나 이상의 명령 영역 내에서 결정되어 하나 이상의 소정의 명령을 생성하는 경우 상기 명령 생성기에 알림을 발생하는
    개선된 디스플레이 데이터를 제공하는 시스템.
39. 제27항 내지 제38항 중 어느 한 항에 있어서,
    상기 처리 유닛은 하나 이상의 눈의 이동 제스처와 관련된 명령을 결정하도록 구현되고 동작하는 제스처 명령 생성기를 더 포함하고,
    시스템은 시선 추적 데이터를 제공하기 위하여 구현된 시선 추적 유닛에 연결되고,
    상기 제스처 명령 생성기는 상기 시선 추적 데이터를 수신하고, 특정된 제스처와 관련된 상기 하나 이상의 소정의 명령을 활성화하기 위하여 상기 시선 추적 데이터를 가지는 하나 이상의 제스처를 특정하는
    개선된 디스플레이 데이터를 제공하는 시스템.
40. 제38항 또는 제39항에 있어서,
    상기 하나 이상의 소정의 명령은,
    디스플레이되는 상기 데이터의 선택과 관련된 하나 이상의 명령을 포함하는
    개선된 디스플레이 데이터를 제공하는 시스템.
41. 제38항 내지 제40항 중 어느 한 항에 있어서,
    상기 하나 이상의 소정의 명령은,
    상기 디스플레이 데이터의 적어도 일부분에 적용되는 필터의 선택과 관련되는 하나 이상의 명령을 포함하는
    개선된 디스플레이 데이터를 제공하는 시스템.
    

Images