KR20220148920A - 시선 기반 제어 - Google Patents

Abstract

본 기술의 양태들은 전자 디바이스의 시선 기반 제어에 관한 것이다. 시선 기반 제어는 사용자가 사용자 인가를 위한 요청과 연관된 텍스트를 보았고/보았거나 판독했다고 결정될 때 사용자 인가를 제공하기 위한 옵션을 가능하게 하는 것을 포함할 수 있다. 시선 기반 제어는 또한 사용자가 보고/보거나 판독하는 것에 기초하여 사용자 인터페이스 또는 사용자 인터페이스 요소를 수정하는 것을 포함할 수 있다. 시선 기반 제어는 사용자가 전자 문서 및/또는 물리적 문서를 보았고/보았거나 판독하였는지 여부를 결정하는 것에 기초할 수 있다.

Description

시선 기반 제어

관련 출원의 상호 참조

본 출원은, 발명의 명칭이 "Gaze-Based Control"이고 2020년 4월 17일자로 출원된 미국 가특허 출원 제63/011,975호에 대한 우선권의 이점을 주장하며, 그 개시내용은 이로써 그 전체가 본 명세서에 참고로 포함된다.

기술분야

본 기술은 대체적으로 전자 디바이스들에 관한 것으로, 더 구체적으로는, 그러나 배타적이지 않게는, 전자 디바이스들을 위한 시선 기반 제어에 관한 것이다.

랩톱 컴퓨터들, 셀룰러 전화기들, 및 태블릿 컴퓨터들과 같은 휴대용 전자 디바이스들에는 시각적 정보를 디스플레이하기 위한 디스플레이들이 종종 제공된다. 이러한 휴대용 디바이스들은 디바이스가 액션을 취하기 전에 사용자에게 액션을 인가할 것을 종종 요구한다.

본 기술의 특정 특징들은 첨부된 청구항들에 제시된다. 그렇지만, 설명을 위해, 본 기술의 여러 실시예들이 다음 도면들에서 제시된다.
도 1은 본 기술의 다양한 양태들에 따른 예시적인 전자 디바이스의 사시도를 예시한다.
도 2는 본 기술의 다양한 양태들에 따른, 시선 위치에서 사용자가 보는 도 1의 전자 디바이스의 사시도를 예시한다.
도 3은 본 기술의 다양한 양태들에 따른 전자 디바이스의 다른 구현예의 예를 예시한다.
도 4는 본 기술의 다양한 양태들에 따른 사용자 인가 요청의 예를 예시한다.
도 5는 본 기술의 다양한 양태들에 따른, 사용자가 보고/보거나 판독하는 도 4의 사용자 인가 요청을 예시한다.
도 6은 본 기술의 다양한 양태들에 따른, 사용자 인가의 시선 기반 제어를 위한 예시적인 프로세스의 흐름도를 예시한다.
도 7은 본 기술의 다양한 양태들에 따른, 시간 경과에 따라 획득될 수 있는 시선 위치들의 예를 예시한다.
도 8은 본 기술의 다양한 양태들에 따른, 판독하는 눈 움직임들에 대응하는 시선 위치들을 예시한다.
도 9는 본 기술의 다양한 양태들에 따른, 시선 위치들에 기초하여 판독된 텍스트를 하이라이트하는 예를 예시한다.
도 10은 본 기술의 다양한 양태들에 따른, 사용자가 보는 예시적인 사용자 인터페이스를 예시한다.
도 11은 본 기술의 다양한 양태들에 따른, 사용자 시선 위치들에 기초하여 사용자 인터페이스가 수정되었던 도 10의 사용자 인터페이스의 예를 예시한다.
도 12는 본 기술의 다양한 양태들에 따른, 사용자 시선 위치들에 기초하여 사용자 인터페이스가 수정되었던 도 10의 사용자 인터페이스의 다른 예를 예시한다.
도 13은 본 기술의 다양한 양태들에 따른, 사용자 인터페이스의 시선 기반 제어를 위한 예시적인 프로세스의 흐름도를 예시한다.
도 14는 본 기술의 다양한 양태들에 따른, 시간 의존적 정보를 디스플레이하는 사용자 인터페이스 요소의 시선 기반 제어를 위한 예시적인 프로세스의 흐름도를 예시한다.
도 15는 본 기술의 다양한 양태들에 따른, 물리적 문서가 보였고/보였거나 판독되었는지 여부를 결정하도록 구성된 예시적인 전자 디바이스를 예시한다.
도 16은 본 기술의 다양한 양태들에 따른, 물리적 문서가 보였고/보였거나 판독되었는지 여부를 결정하도록 구성되고 투명 또는 반투명 디스플레이를 갖는 예시적인 전자 디바이스를 예시한다.
도 17은 본 기술의 다양한 양태들에 따른, 물리적 문서가 보였고/보였거나 판독되었는지 여부를 결정하도록 구성되고 불투명 디스플레이를 갖는 예시적인 전자 디바이스를 예시한다.
도 18은 본 기술의 다양한 양태들에 따른, 물리적 문서에 기초한 전자 디바이스의 시선 기반 제어를 위한 예시적인 프로세스의 흐름도를 예시한다.
도 19는 본 기술의 하나 이상의 구현예들이 구현될 수 있는 전자 시스템을 예시한다.

아래에 제시되는 상세한 설명은 본 기술의 다양한 구성들에 대한 설명으로 의도되며 본 기술이 실시될 수 있는 유일한 구성들을 나타내는 것으로 의도되지 않는다. 첨부된 도면들은 본 명세서에 포함되고, 상세한 설명의 일부를 구성한다. 상세한 설명은 본 기술의 완전한 이해를 제공하는 목적을 위한 특정 상세사항들을 포함한다. 그러나, 본 기술이 본 명세서에 기재된 특정 상세사항들에 제한되지 않고, 이러한 특정 상세사항들 없이 실시될 수 있음이 당업자들에게 분명하고 명백할 것이다. 일부 예들에서, 본 기술의 개념들을 모호하게 하는 것을 회피하기 위해, 널리 공지된 구조물들 및 컴포넌트들은 블록도 형태로 도시된다.

본 개시내용은 디바이스의 사용자가 텍스트 정보, 예컨대, 디바이스(또는 다른 디바이스)에 의해 디스플레이되는 텍스트 정보, 또는 디바이스의 사용자가 보는 물리적 문서 상에 포함된 텍스트 정보를 보았고/보았거나 판독하였는지 여부에, 부분적으로, 기초하여 전자 디바이스를 제어하기 위한 시스템들 및 방법들을 제공한다. 디바이스는 디바이스 및/또는 다른 디바이스 상의 하나 이상의 눈 추적기들로부터의 눈 추적 데이터를 사용하여 사용자가 텍스트 정보를 보았고/보았거나 판독하였는지 여부를 결정할 수 있다. 눈 추적 데이터는 사용자의 눈들 중 하나 또는 둘 모두에 대한 시선 위치들 및/또는 시선 방향들과 같은 시선 정보를 포함할 수 있다. 시선 정보는 사용자가 디바이스의 디스플레이 상의 위치들과 같은 다양한 위치들을 주시하였을 경우 및 때, 그리고/또는 사용자의 눈(들)이 시간 경과에 따라 어떻게 움직였는지를 나타낼 수 있다.

전자 디바이스의 다양한 양태들은 이러한 시선 정보에 기초하여 제어될 수 있다. 일 예에서, 시선 정보는 사용자가 디바이스에 의해 액션을 인가할 수 있기 전에 사용자가 사용자에게 제시되었던 텍스트를 보았고/보았거나 판독하였다는 것을 확인하는 데 사용될 수 있다. 예를 들어, 사용자가 디바이스의 메모리로부터 데이터를 의도하지 않게 삭제하는 것을 방지하기 위해, 디바이스는 "이 파일을 삭제하시겠습니까?"와 같은 텍스트를 포함하는 대화 상자를 제시할 수 있다.

종래의 디바이스에서, 이러한 종류의 텍스트에는 종종 삭제를 인가하기 위한 "예" 버튼, 및 삭제를 거절하도록 선택될 수 있는 "아니오" 버튼이 제공된다. 그러나, 디바이스에게 파일을 삭제하도록 의도하지 않게 지시하였을 수 있고 디바이스에 의한 일로 바쁜, 또는 그렇지 않은 경우 산만한 사용자는 대화 상자의 텍스트를 판독하지 않고서 "예" 버튼을 선택할 수 있다. 이러한 상황들에서, 삭제된 데이터는 손실될 수 있으며, 이는 사용자 불만, 지연 및/또는 비효율성뿐만 아니라, 디바이스의 소모적인 프로세싱 및/또는 메모리 자원들, 예컨대, 데이터를 삭제하는 데 사용되는 자원들 및/또는 의도하지 않게 삭제된 데이터를 복원하는 데 사용되는 자원들을 야기할 수 있다.

본 명세서에 개시된 시스템들 및 방법들은 사용자가 삭제를 인가하기 위한 옵션을 선택하도록 허용하기 전에 사용자가 대화 상자 내의 텍스트를 보았고/보았거나 판독하였다는 것을 확인하는 데 적용될 수 있다.

본 명세서에 개시된 시스템들 및 방법들은 또한 사용자가 다양한 디바이스 액션들을 인가하도록 허용하기 전에 사용자가 다른 정보를 보았고/보았거나 판독하였는지 여부를 결정하는 데 적용될 수 있다. 예로서, 전자 디바이스는, 사용자가 연관된 액션을 인가하도록 허용하기 전에, 디바이스의 사용자가 개인 데이터에 대한 액세스를 허용하는 것과 연관된 텍스트, 디바이스의 하나 이상의 컴포넌트들에 대한 액세스를 허용하는 것과 연관된 텍스트, 디바이스 상에 소프트웨어를 설치하는 것을 허용하는 것과 연관된 텍스트, 및/또는 하나 이상의 약정들 및/또는 조건들(terms and/or conditions)에 대응하는 텍스트를 보았고/보았거나 판독하였는지 여부를 결정할 수 있다.

본 명세서에 개시된 시스템들 및 방법들은 또한, 사용자가 텍스트 정보를 보았고/보았거나 판독하였는지 여부 및/또는 텍스트 정보를 보았고/보았거나 판독한 때의 결정에 기초하여 디바이스의 동작을 수정하는 데 적용될 수 있다. 예를 들어, 사용자 인터페이스 또는 다른 디바이스 디스플레이 스크린의 일부분을 형성하는 텍스트는 사용자가 미리결정된 횟수로 텍스트 정보를 보았고/보았거나 판독한 후에 사용자 인터페이스 또는 디스플레이 스크린으로부터 제거될 수 있다. 다른 예로서, 시간 의존적 정보를 디스플레이하는 위젯과 같은 사용자 인터페이스 요소는 사용자가 사용자 인터페이스 요소를 보는 빈도에 좌우되는 빈도로 업데이트될 수 있다.

본 명세서에 설명된 기술을 구현할 수 있는 예시적인 전자 디바이스가 도 1에 도시되어 있다. 도 1의 예에서, 디바이스(100)는 휴대용 컴퓨터의 형태로 구현되었다. 도 1에 도시된 바와 같이, 전자 디바이스(100)는 키들(110)을 갖는 키보드(102), 디스플레이(104), 하우징(106), 및 터치 패드(112)와 같은 터치 패드를 포함할 수 있다. 도 1에 도시된 바와 같이, 디스플레이(104)는 하우징(106)의 전면 상에 장착될 수 있다.

때때로 케이스로 지칭될 수 있는 하우징(106)은 플라스틱, 유리, 세라믹, 섬유 복합재, 금속(예컨대, 스테인리스강, 알루미늄 등), 다른 적합한 재료, 또는 이들 재료 중 임의의 2가지 이상의 조합으로 형성될 수 있다. 하우징(106)은, 하우징(106)의 일부 또는 전부가 단일 구조물로서 기계가공 또는 성형되는 일체형 구성을 사용하여 형성될 수 있거나, 또는 다수의 구조물들(예컨대, 내부 프레임 구조물, 외부 하우징 표면들을 형성하는 하나 이상의 구조물들 등)을 사용하여 형성될 수 있다. 도 1에 도시된 바와 같이, 하우징(106)은 다수의 부품을 구비할 수 있다. 예를 들어, 하우징(106)은 상부 부분(106A)과 하부 부분(106B)을 가질 수 있다. 상부 부분(106A)은 상부 부분(106A)이 하부 부분(106B)에 대해 회전축(108)을 중심으로 회전될 수 있게 하는 힌지를 사용하여 하부 부분(106B)에 결합될 수 있다. 키보드(102) 및 터치 패드(112)는 일부 구현예들에서 하부 부분(106B)에 장착될 수 있다.

디스플레이(104)는 용량성 터치 전극들 또는 다른 터치 센서 컴포넌트들을 포함하는 터치 스크린일 수 있거나, 터치 감지형(touch-sensitive)이 아닌 디스플레이일 수 있다. 디스플레이(104)는 발광 다이오드(LED), 유기 LED(OLED), 플라즈마 셀, 전기 영동 디스플레이 소자(electrophoretic display element), 전기 습윤 디스플레이 소자(electrowetting display element), 액정 디스플레이(LCD) 컴포넌트, 또는 다른 적합한 디스플레이 픽셀 구조물들로 형성된 디스플레이 픽셀들을 포함할 수 있다. 디스플레이(104)는 버튼 또는 하나 이상의 카메라들, 예컨대, 카메라(105)를 수용하기 위한 개구와 같은 개구들(예컨대, 디스플레이(104)의 비활성 또는 활성 부분들 내의 개구들)을 가질 수 있다. 디스플레이 주위에 또는 그 뒤에 배치된 카메라(105) 및/또는 다른 카메라들은 사용자의 얼굴, 사용자의 눈들 중 하나 또는 둘 모두, 및/또는 사용자의 눈들 중 하나 또는 둘 모두의 하나 이상의 특징부들의 이미지들을 캡처하기 위해 전자 디바이스(100)에 의해 동작될 수 있다.

카메라(105) 및/또는 다른 카메라들(예컨대, 디스플레이(104)의 코너들에 또는 그 근처에 위치된 카메라들)에 의해 캡처된 이미지들은, 사용자의 눈들을 검출하기 위해, 그리고 카메라에 대한, 디스플레이(104) 및/또는 디스플레이(104)로부터 멀리 떨어진 위치들에 대한, 그리고/또는 전자 디바이스(100)에 대한, 사용자의 시선의 위치 및/또는 방향을 결정하기 위해 전자 디바이스(100) 내의 프로세싱 회로부에 의해 처리될 수 있다. 예를 들어, 프로세싱 회로부는 디스플레이에 의해 디스플레이되는 전자 문서 내의 텍스트에 대한, 디스플레이에 의해 디스플레이되는 사용자 인터페이스 또는 사용자 인터페이스 요소의 하나 이상의 부분들에 대한, 그리고/또는 전자 디바이스(100)로부터 분리된 물리적 문서 내의 텍스트에 대한 사용자의 시선 위치를 결정할 수 있다.

카메라(105) 및 연관된 프로세싱 회로부는 다양한 시간들에 그리고/또는 시간 경과에 따라 사용자의 눈(들)의 시선 위치 및/또는 움직임들을 추적하도록 구성될 수 있는 전자 디바이스(100)를 위한 눈 추적기를 형성할 수 있다. 눈 추적기는 사용자의 눈(들)의 위치를 포함하도록 구성된 시야를 갖는 단일 카메라(예컨대, 적외선 카메라 또는 가시광 카메라), 다수의 그러한 카메라들, 및/또는 헤드-장착형 센서들, 근적외선 프로젝터들 등과 같은 하나 이상의 추가 센서들을 포함할 수 있다.

도 1의 예에서의 전자 디바이스(100)의 구성은 단지 예시적인 것이다. 다른 구현예들에서, 전자 디바이스(100)는 컴퓨터, 예컨대 컴퓨터 모니터와 같은 디스플레이에 통합된 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 다소 더 작은 휴대용 디바이스, 예를 들어 손목 시계형 디바이스, 펜던트 디바이스 또는 다른 웨어러블(wearable) 또는 소형 디바이스, 미디어 플레이어, 게임 디바이스, 내비게이션 디바이스, 컴퓨터 모니터, 텔레비전 또는 기타 전자 장비의 형태로 구현될 수 있다. 이하에서 더 상세히 논의되는 다른 예(예컨대, 도 3 참조)에서, 전자 디바이스(100)는 헤드-장착가능 디바이스로서 구현될 수 있다. 다양한 구성들에서, 전자 디바이스(100)는 전자 디바이스로부터 분리된 하나 이상의 카메라들 및/또는 다른 눈 추적기 센서들에 통신가능하게 결합될 수 있다.

도 1에 도시된 바와 같이, 디스플레이 콘텐츠(120)는 (예컨대, 디스플레이 프레임 내의 대응하는 디지털 픽셀 값들에 따라 디스플레이 픽셀들의 어레이를 동작시킴으로써) 디스플레이(104)에 의해 디스플레이될 수 있다. 도 1의 예에서, 디스플레이 콘텐츠(120)는 애플리케이션 디스플레이 윈도우(114), 대화 상자(116), 및 사용자 인터페이스 요소(118)를 포함한다.

예를 들어, 애플리케이션 디스플레이 윈도우(114)는 워드 프로세서, 컴파일러, 프리젠테이션 편집기, 스프레드시트, 이미지 뷰어, 파일 관리자, 웹 브라우저, 비디오 플레이어, 오디오 플레이어, 브라우저의 사용자 인터페이스 윈도우, 또는 대체적으로는 임의의 사용자 인터페이스 윈도우일 수 있다. 애플리케이션 디스플레이 윈도우(114)는 전자 디바이스(100)의 사용자에 의한 검토 및/또는 편집을 위해 전자 문서를 디스플레이할 수 있다. 일 예에서, 애플리케이션 디스플레이 윈도우(114)는 사용자에 의해 편집되는 전자 문서를 디스플레이한다. 다른 예에서, 애플리케이션 디스플레이 윈도우(114)는 사용자에 의해 판독될 약정들 및 조건들의 문서를 디스플레이한다.

대화 상자(116)는 (예컨대, 전자 디바이스의 프로세싱 회로부에 의해) 전자 디바이스(100)에 의해 수행될 액션에 대한 사용자 인가를 요청하기 위한 대화 상자일 수 있다. 사용자 인가는 애플리케이션 디스플레이 윈도우(114)와 관련된 사용자 인가(예컨대, 변경들을 저장하지 않고서 문서 또는 다른 편집가능 데이터 구조를 닫는 것, 전자 문서에 기재된 약정들 및 조건들을 수락하는 것, 전자 디바이스(100)의 메모리로부터 데이터를 삭제하는 것, 전자 디바이스(100)에 의해 저장된 데이터에 대한 액세스를 허용하는 것, 전자 디바이스(100)의 하나 이상의 컴포넌트들에 대한 액세스를 허용하는 것, 사용자의 개인 정보에 대한 액세스를 허용하는 것과 같은 액션), 전자 상거래 및/또는 NFC 거래를 인가하는 것, 또는 대체적으로는 임의의 액션일 수 있다. 대화 상자(116)는 전자 디바이스(100)에 의한 액션에 대한 사용자 요청에 응답하여 그리고/또는 자동화된 액션(예컨대, 소프트웨어 업데이트, 정보에 액세스하기 위한 애플리케이션에 의한 시도 등)에 응답하여 디스플레이되는 팝업 윈도우일 수 있다. 대화 상자(116)가 도 1의 예에서 애플리케이션 디스플레이 윈도우(114)와 별개로 디스플레이되지만, 다른 예들에서, 대화 상자(116)가 애플리케이션 디스플레이 윈도우(114) 위에, 그 내에, 그리고/또는 그와 일체형 부분으로서 생성될 수 있다는 것을 이해하여야 한다.

사용자 인터페이스 요소(118)는 시간 의존적 정보를 디스플레이하는 시계 위젯, 캘린더 위젯, 뉴스 피드(news feed) 위젯, 날씨 위젯, 주식시세 표시 위젯 등과 같은 위젯일 수 있다.

본 개시내용의 양태들에 따르면, 전자 디바이스(100)는, 도 2에 예시된 바와 같이, 사용자의 눈들 중 하나 또는 둘 모두에 대한 하나 이상의 시선 위치들에 기초하여 애플리케이션과 연관된 하나 이상의 액션들을 제어한다.

도 2에 도시된 바와 같이, 사용자(200)와 같은 사용자의 시선 방향(203)은 시선 위치(202)에서 디스플레이(104)와 같은 물리적 또는 가상 객체와 교차하는 것으로 전자 디바이스(100)에 의해 결정될 수 있다. 카메라(105) 및/또는 다른 센서들(예컨대, 사용자의 눈(들)과 카메라(105) 사이의 거리를 결정하는 심도 센서들)에 의해 캡처된 사용자(200)의 이미지들(예컨대, 사용자의 하나 이상의 눈들의 적외선 및/또는 가시광 이미지들)은 시선 위치(202)를 결정하는 데 사용될 수 있다. 시선 위치(202)가 디스플레이(104) 상의 위치인 상황들에서, 시선 위치(202)는 디스플레이의 픽셀 또는 픽셀들의 그룹(204)의 좌표들에 대하여 결정될 수 있다. 결정된 시선 위치(202)에 기초하여, 전자 디바이스(100)는 애플리케이션 디스플레이 윈도우(114), 대화 상자(116), 및/또는 사용자 인터페이스 요소(118) 중 하나 이상의 양태들을 제어할 수 있다. 전자 디바이스(100)는 디스플레이 콘텐츠(120)가 디스플레이되는 위치들을 제어하기 때문에, 픽셀 좌표들 내의 시선 위치들(202)이 디스플레이된 콘텐츠에 대해 결정될 수 있다.

도 2의 예에서, 시선 위치(202)가 애플리케이션 디스플레이 윈도우(114)의 경계 내에 있다. 일부 상황들에서, 애플리케이션 디스플레이 윈도우(114)와 연관된 애플리케이션의 동작, 및/또는 애플리케이션 디스플레이 윈도우(114)의 외관은 시선 위치(202)에 기초하여 제어될 수 있다. 예를 들어, 애플리케이션 디스플레이 윈도우(114)는 시선 위치(202)가 미리결정된 기간(예컨대, 수 밀리초, 수십 밀리초, 또는 수백 밀리초) 동안 애플리케이션 디스플레이 윈도우(114)의 경계 내에 위치되고/되거나 애플리케이션 디스플레이 윈도우(114)의 경계 내에 체류(dwell)하는 경우에 비활성 상태로부터 시각적으로 하이라이트되거나 활성화될 수 있다. 일부 상황들에서, 애플리케이션 디스플레이 윈도우(114)의 하나 이상의 하위 부분들은 시선 위치(202)에 기초하여 수정되고/되거나 달리 제어될 수 있다.

대화 상자(116)는 전자 디바이스(100)에 의한 하나 이상의 액션들에 대한 사용자 인가를 요청하기 위해 디스플레이될 수 있다. 예를 들어, 사용자는 애플리케이션 디스플레이 윈도우(114) 내의 전자 문서에 대한 저장되지 않은 편집물들을 가질 수 있고, 문서를 닫기 위한 요청을 입력할 수 있다. 문서를 저장하지 않고서 문서를 닫음으로써 사용자가 문서에 대한 원하는 편집물들을 잃어버리는 것을 방지하기 위해, 전자 디바이스(100)는 "저장하지 않고 닫으시겠습니까?"와 같은 텍스트를 대화 상자(116)에 제공할 수 있다. (예컨대, 대화 상자(116) 내의 텍스트를 보거나 판독하지 않고서 저장 없이 닫는 것을 인가하기 위한 선택가능 옵션을 클릭함으로써) 사용자가 저장하지 않고서 문서를 닫는 것에 의도하지 않게 동의할 가능성을 감소시키는 것을 돕기 위해, 사용자가 대화 상자(116) 내의 텍스트를 보았고/보았거나 판독하였는지 여부를 결정하기 위해 하나 이상의 시선 위치들(202)과 같은 눈 추적 데이터가 사용될 수 있다.

도 1과 관련하여 앞서 논의된 바와 같이, 전자 디바이스(100)가 랩톱 컴퓨터로서 구현되는 도 1 및 도 2의 예는 단지 예시적인 것이다. 예를 들어, 도 3은 전자 디바이스(100)의 다른 예시적인 구현예들을 예시한다. 도 3의 예에 도시된 바와 같이, 센서들(152)과 같은 하나 이상의 센서들은 전자 디바이스(100)의 몸체(300) 상의 또는 그 내의 다양한 위치들에 위치될 수 있다. 몸체(300)는 디스플레이(104)가 사용자의 눈들과 전자 디바이스(100)의 환경의 뷰 사이에 위치되도록 전자 디바이스(100)를 사용자에 대해 (예컨대, 사용자의 머리에 대해) 고정하도록 배열될 수 있다.

이러한 예에서, 디스플레이(104)는 사용자가 전자 디바이스(100) 주위의 환경의 일부 또는 전부를 직접 보는 것을 방지하는 불투명 디스플레이일 수 있거나, 또는 사용자가 디스플레이를 통해 전자 디바이스(100) 주위의 환경의 일부분들을 직접 볼 수 있게 하는 투명 또는 반투명 디스플레이일 수 있다. 디스플레이(104)가 환경의 다이렉트 뷰(direct view)를 차단하는 불투명 디스플레이인 구현예들에서, 카메라(150)와 같은 하나 이상의 카메라들은 일부 동작 시나리오들에서 디스플레이(104)에 대한 환경의 패스-스루 비디오 뷰(pass-through video view)를 제공할 수 있다. 디스플레이(104)가 투명 또는 반투명 디스플레이인 구현예들에서, 디스플레이(104)는 물리적 환경의 일부분의 다이렉트 뷰 위에 콘텐츠를 오버레이(overlay) 디스플레이할 수 있다.

투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다. 디스플레이는 디지털 광 프로젝션, OLED들, LED들, uLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 선택적으로 불투명하게 되도록 구성될 수 있다. 투사-기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투사하는 망막 투사 기술을 채용할 수 있다. 투사 시스템들은 또한 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투사하도록 구성될 수 있다.

도시된 바와 같이, 전자 디바이스(100)는 센서들(152)과 같은 하나 이상의 센서들을 포함할 수 있다. 센서들(152)은 카메라들, 이미지 센서들, 터치 센서들, 마이크로폰들, 관성 측정 유닛(IMU)들, 심박수 센서들, 온도 센서들, 라이더(Lidar) 센서들, 레이더(radar) 센서들, 소나(sonar) 센서들, GPS 센서들, Wi-Fi 센서들, 근거리 통신 센서들 등을 포함할 수 있지만, 이에 한정되지 않는다. 각각이 일정 시야를 갖는 카메라(150)와 같은 하나 이상의 카메라들 및/또는 센서들(152)은 전자 디바이스(100) 주위의 환경에 대한 3차원 정보(예컨대, 심도 정보) 및/또는 이미지들의 캡처를 가능하게 하도록 위치될 수 있다.

카메라(들)(105)를 포함하는 눈 추적기들(310)의 프로세싱 회로부(306)(예컨대, 하나 이상의 프로세서들 및 메모리) 및/또는 로컬 프로세싱 회로부는 눈 추적 정보를 획득할 수 있고 사용자의 눈들 중 하나 또는 둘 모두의 하나 이상의 시선 위치들, 방향들, 및/또는 움직임들을 결정할 수 있다. IMU들과 같은 하나 이상의 내부 센서들(304), 및/또는 하나 이상의 전원들(예컨대 배터리(308))은 또한, 전자 디바이스(100) 내에 제공될 수 있고 프로세싱 회로부(306)에 전기적으로 그리고/또는 통신가능하게 결합될 수 있다.

프로세싱 회로부(306)는 눈 추적기들(310)로부터의 눈 추적 데이터에 기초하여 전자 디바이스(100)의 동작의 다양한 양태들을 제어할 수 있다. 예를 들어, 도 4는 디스플레이(104)에 의해 디스플레이되고 사용자 인가 요청의 텍스트(400)를 포함하는 대화 상자(116)를 예시한다. 텍스트(400) 내의 사용자 인가 요청은, 예로서, 전자 디바이스(100)로부터 데이터를 삭제하기 위한 사용자 인가를 위한 요청, 전자 디바이스(100)에 의해 저장된 데이터(예컨대, 연락처 데이터, 캘린더 데이터, 패스워드, 사진들, 비디오들 등)에 대한 액세스를 허용하기 위한 사용자 인가를 위한 요청, 일정 컴포넌트(예컨대, 카메라, 센서 등)에 대한 액세스를 허용하고/하거나 전자 디바이스(100)의 보안 설정을 달리 변경하기 위한 사용자 인가를 위한 요청, 전자 디바이스에 의해 디스플레이되는 문서 내의 약정들 및 조건들을 수락하기 위한 사용자 인가를 위한 요청, 및/또는 전자 상거래 및/또는 NFC 거래를 수행하기 위한 사용자 인가를 위한 요청일 수 있다. 도 4의 예에 도시된 바와 같이, 대화 상자(116)는 (예컨대, 텍스트(400)가 단일 스크린 상에 디스플레이되기에는 너무 긴 경우 텍스트(400)를 스크롤하기 위한) 스크롤 바를 포함할 수 있다. 일부 구현예들에서, 전자 디바이스(100)는 현재 시선 위치(202)가 문서의 텍스트 부분 내에 있지 않다고 결정되는 경우, 사용자에 의한 문서의 스크롤을 방지할 수 있다(예컨대, 시선 위치(202)가 대화 상자(116)의 경계 내에 있지 않고/않거나, 텍스트(400) 위에 있지 않고/않거나, 사용자의 눈(들)의 판독 움직임들을 나타내고 있지 않는 경우, 스크롤 바(410)의 사용이 디스에이블될 수 있다). 텍스트(400) 내의 사용자 인가 요청은, 다른 예로서, 전자 디바이스(100)에 소프트웨어를 설치하는 것, 전자 디바이스(100)에 대한 공장 설정들을 복원하는 것, 원격 디바이스를 전자 디바이스(100)에 결합하는 것 등을 위한 사용자 인가를 위한 요청일 수 있다.

도 4의 예에 도시된 바와 같이, (예컨대, 대화 상자(116)에 제공된 바와 같은) 사용자 인가를 위한 요청은 인가를 거절하기 위한 선택가능 옵션(404)을 포함할 수 있다. 인가를 거절하기 위한 선택가능 옵션(404)은 사용자의 시선 위치(202)에 독립적으로 제공될 수 있다. 도 4의 예에 도시된 바와 같이, 사용자 인가를 위한 요청에는 사용자 인가를 제공하기 위한 비활성화된 옵션(406)이 제공될 수 있다.

사용자 인가를 제공하기 위한 비활성화된 옵션(406)은 시선 위치(202)가 대화 상자(116)의 경계 외측에 있을 때, 텍스트(400) 위에 있지 않을 때, 및/또는 (예컨대, 추가적인 이전의 시선 위치들과 함께) 텍스트(400)가 판독되었다는 것을 나타내지 않을 때 제공될 수 있다. 비활성화된 옵션(406)에는, 텍스트(400)가 보였고/보였거나 판독되었는지 여부를 결정하기 전에, 사용자 인가를 위한 초기 요청이 제공될 수 있다.

도 4에 의해 예시된 바와 같이, 전자 디바이스(100)는 시선 위치(202)가 텍스트(400)가 사용자에 의해 보였고/보였거나 판독되었다는 것을 나타낸다고 결정된 후에 사용자 인가를 제공하기 위한 선택가능 옵션(500)을 제공할 수 있다. 시선 위치(202)는 시선 위치(202)가 (예컨대, 순간적으로 또는 미리결정된 기간 동안) 대화 상자(116)의 경계 내에 있는 경우에 그리고/또는 (예컨대, 순간적으로 또는 미리결정된 기간 동안) 텍스트(400) 위에 위치되는 경우에 텍스트(400)가 보였다는 것을 나타낼 수 있다. 시선 위치(202)는 시간 경과에 따른 다수의 시선 위치들(202)이 텍스트(400)의 라인들을 따르는 시선 위치의 이동 및 사용자의 눈들의 판독 움직임들을 나타내는 경우에 텍스트(400)가 판독되었다는 것을 나타낼 수 있다. 시선 위치들(202)에 의해 나타날 수 있는 판독 움직임들은 단속적 운동(saccade)들 및 고정들을 포함한다.

도 4 및 도 5의 예에서, 비활성화된 옵션(406)은 사용자 인가를 제공하기 위한 선택가능 옵션(500)을 제공하도록 인에이블되거나 활성화된다. 그러나, 이는 단지 예시적인 것이다. 다른 예들에서, 대화 상자(116)는, 사용자 인가를 제공하기 위한 비활성화된 옵션을 제공하지 않으면서, 사용자 인가를 요청하는 텍스트(400) 및 사용자 인가를 거절하기 위한 선택가능 옵션(404)을 제공할 수 있다. 이러한 예에서, 사용자가 텍스트(400)를 보았고/보았거나 판독하였다고 결정될 때, 선택가능 옵션(500)이 대화 상자(116)에 추가될 수 있다.

도 6은 본 기술의 다양한 양태들에 따른, 사용자 인가의 시선 기반 제어를 위한 예시적인 프로세스(600)의 흐름도를 도시한다. 설명의 목적들을 위해, 도 6의 예시적인 프로세스는 도 1 및/또는 도 3의 컴포넌트들을 참조하여 본 명세서에서 설명된다. 추가로, 설명의 목적들을 위해, 도 6의 예시적인 프로세스의 블록들은 본 명세서에서 직렬로 또는 선형적으로 발생하는 것으로 설명된다. 그러나, 도 6의 예시적인 프로세스의 다수의 블록들은 병렬로 발생할 수 있다. 더욱이, 도 6의 예시적인 프로세스의 블록들은 도시된 순서로 수행될 필요가 없고/없거나 도 6의 예시적인 프로세스의 블록들 중 하나 이상이 수행될 필요가 없다.

도시된 예시적인 흐름도에서, 블록(602)에서, 전자 디바이스(100)와 같은 전자 디바이스는 사용자로부터의 사용자 인가를 위한 요청을 디스플레이한다. 사용자 인가를 위한 요청을 디스플레이하는 것은, 도 4와 관련하여 설명된 바와 같이, 텍스트(400)를 갖는 대화 상자(116)를 디스플레이하는 것을 포함할 수 있다.

블록(604)에서, 요청이 디스플레이되는 동안, 전자 디바이스는 사용자의 적어도 하나의 눈의 시선 위치(202)와 같은 적어도 하나의 시선 위치를 식별할 수 있다.

블록(606)에서, 전자 디바이스는 적어도 하나의 시선 위치에 기초하여, 인가를 위한 디스플레이된 요청이 사용자에 의해 보였는지 여부를 결정할 수 있다. 적어도 하나의 시선 위치에 기초하여, 인가를 위한 디스플레이된 요청이 사용자에 의해 보였는지 여부를 결정하는 것은 적어도 하나의 시선 위치(202)가 적어도 미리결정된 기간 동안 디스플레이된 요청의 경계 내에 (예컨대, 대화 상자(116)의 경계 내에 또는 대화 상자(116)의 텍스트 부분의 경계 내에) 있는지 여부를 결정하는 것을 포함할 수 있다.

블록(608)에서, 전자 디바이스는, 인가를 위한 디스플레이된 요청이 사용자에 의해 보였다고 결정되는 경우, 사용자 인가를 제공하기 위한 선택가능 옵션, 예컨대, 도 5의 선택가능 옵션(500)을 제공할 수 있다. 사용자 인가를 제공하기 위한 선택가능 옵션을 제공하는 것은 비활성화된 옵션(406)을 활성화하는 것, 또는 결정 후에 디스플레이된 요청에 선택가능 옵션을 추가하는 것을 포함할 수 있다. 프로세스(600)는 또한, 다수의 시선 위치들(202)에 기초하여, 비활성 애플리케이션의 사용자 인터페이스 상에서 사용자의 적어도 하나의 눈의 체류를 식별하는 것; 및 식별된 체류에 기초하여, 비활성 애플리케이션을 활성화하는 것을 포함할 수 있다.

도 3 및 도 4와 관련하여 앞서 논의된 바와 같이, 사용자 인가를 위한 디스플레이된 요청은 인가와 연관된 텍스트(400)를 포함할 수 있다. 적어도 하나의 시선 위치에 기초하여, 인가를 위한 디스플레이된 요청이 사용자에 의해 보였는지 여부를 결정하는 것은 (예컨대, 텍스트와 관련하여 사용자의 눈들의 판독 움직임들을 나타내는 시간 경과에 따른 다수의 시선 위치들에 기초하여) 적어도 하나의 시선 위치가 그 사용자가 텍스트를 판독하였다는 것을 표시하는지 여부를 결정하는 것을 포함할 수 있다.

도 7 및 도 8은 시간 경과에 따라 획득된 다수의 시선 위치들(202)이 사용자가 텍스트(400)를 판독하였는지 여부를 어떻게 나타낼 수 있는지를 예시한다. 도 7에 도시된 바와 같이, 사용자(200)의 눈이 텍스트(400)와 같은 텍스트의 판독 동안 이전 시선 방향(203P)으로부터 현재 시선 방향(203)으로 회전함에 따라, 화살표(702)로 표시된 바와 같이, 일정 기간에 걸쳐 현재 시선 위치(202) 이전에 획득되었던 다수의 시선 위치들(700)은 실질적으로 직선인 라인을 따라 갈 수 있다. 시선 위치들(700)의 시간 경과에 따른 움직임의 실질적으로 직선인 라인이 텍스트(400)의 라인에 대응한다고 (예컨대, 디바이스 자체에 의해 디스플레이되는 텍스트로 인해 알려져 있거나 또는 물리적 문서 내의 또는 다른 디바이스에 의해 디스플레이되는 텍스트의 이미지를 사용하여 디바이스에 의해 위치가 결정되는 텍스트의 라인을 따라 간다고) 결정되는 경우, 전자 디바이스(100)는 텍스트의 그 라인이 판독되었다고 결정할 수 있다. 그러나, 도 7은 또한, 화살표(702)로 표시된 바와 같이 시간 경과에 따른, 시선 위치들(700)의 움직임이 일정하지 않다는 것을 나타낸다. 이는, 판독 동안, 사람의 눈이 단속적 운동들 및 고정들의 특성 패턴으로 움직이는 경향이 있기 때문일 수 있다.

도 8은 시선 위치들(700)의 그룹들(802)이 예컨대 고정 동안 사용자의 눈의 상대적으로 느린 이동들을 어떻게 나타낼 수 있는지를, 그리고 시선 위치들(700)의 그룹들(804)이 예컨대 단속적 운동들 동안 사용자 눈의 신속한 움직임들을 어떻게 나타낼 수 있는지를 예시한다. 전자 디바이스(100)는 인가를 위해 판독될 텍스트(800)(예컨대, 도 4 및 도 5의 텍스트(400))에 대응하는 위치들에서의 단속적 운동들 및 고정들의 특성 패턴을 검출할 수 있고, 대응하는 위치들에서의 텍스트가 판독되었다고 결정할 수 있다. 이러한 예에서, 전자 디바이스(100)는, 적어도 하나의 시선 위치가 (예컨대, 적어도 하나의 단속적 운동 및 적어도 하나의 고정을 포함하는) 판독하는 눈 움직임들에 대응하는 다수의 시간 분리된 시선 위치들을 포함한다고 결정함으로써, 적어도 하나의 시선 위치가 사용자가 텍스트를 판독하였다는 것을 나타낸다고 결정한다.

도 9에 도시된 바와 같이, 전자 디바이스(100)가 텍스트가 판독되었다고 (예컨대, 다수의 시간 분리된 시선 위치들이 텍스트의 일부분들을 가로질러 이동하기 때문에 그리고/또는 디스플레이된 텍스트에 대응하는 위치들에서의 검출된 판독하는 눈 움직임들에 기초하여) 결정하는 동작 시나리오들에서, 전자 디바이스(100)는 또한 텍스트(800)의 판독되었던 부분들 위에 하이라이트들(900)을 디스플레이할 수 있다. 화살표(902)로 표시된 바와 같이, 하이라이트들(900)은 현재 시선 위치(202)의 판독 움직임들과 함께 텍스트(800) 위로 확장될 수 있다.

일부 동작 시나리오들에서, 전자 디바이스(100)는 단어와 연관된 사운드(예컨대, 동물의 이름 또는 동물 사운드를 설명하는 단어와 연관된 동물 사운드, 또는 특정 언어로 시끄럽게 얘기된 단어의 사운드)를 식별할 수 있다. (예컨대, 도 8 및 도 9의 예에서와 같이) 시선 위치들이 사용자에 의해 어떤 단어가 판독되고 있는지를 나타내는 시나리오들에서, 전자 디바이스(100)는 사용자가 식별된 사운드와 연관된 단어를 판독하고 있다고 결정할 수 있고, 사용자가 단어를 판독하고 있는 시간에 (예컨대, 하나 이상의 스피커들 또는 다른 오디오 출력 컴포넌트들을 사용하여) 식별된 사운드를 출력할 수 있다. 이는 어린이가 판독하기 위해 학습하고 있을 때, 사용자가 단어를 판독하는 데 어려움을 겪고 있을 때, 및/또는 어린이에게 이야기를 읽어줄 때 도움이 될 수 있다.

프로세싱 회로부(306)는 디스플레이(104)를 포함하는 전자 디바이스(100)의 동작의, 도 4 내지 도 9와 관련하여 설명된 것들과는, 다른 양태들을 제어할 수 있다. 예를 들어, 도 10은 애플리케이션 디스플레이 윈도우(114)가 애플리케이션의 사용자 인터페이스(1000)를 디스플레이하고 프로세싱 회로부가 사용자의 눈들의 시선 위치들에 기초하여 사용자 인터페이스를 제어하는 예를 예시한다. 도 10의 예에서, 사용자 인터페이스(1000)는 미디어 플레이어 애플리케이션에 대한 사용자 인터페이스이고, 재생 버튼(1002) 및 정지 버튼(1003)을 포함하는 선택가능 제어 옵션들을 포함한다. 이러한 예에서, 재생 버튼(1002)은 재생 아이콘(1004), 및 버튼(1002) 및 재생 아이콘(1004)이 디스플레이된 사용자 인터페이스에 대응하는 애플리케이션에 의해 액세스될 수 있는 미디어(예컨대, 오디오, 비디오, 또는 다른 미디어)의 "재생"을 개시하기 위한 것이라는 것을 사용자에게 나타내기 위한 텍스트(1006)를 포함한다. 이러한 예에서, 정지 버튼(1003)은 정지 아이콘(1005), 및 정지 버튼(1003) 및 정지 아이콘(1005)이 미디어의 재생을 "정지"시키도록 동작가능하다는 것을 사용자에게 나타내기 위한 텍스트(1007)를 포함한다.

그러나, 시간 경과에 따라, 사용자는 재생 버튼(1002) 및 재생 아이콘(1004)이 미디어를 재생하기 위한 것이라는 것을 학습할 수 있으며, 이는 텍스트(1006)를 중복적인 것으로 만들 수 있고 잠재적으로는 디스플레이하기 위한 시스템 자원들의 비효율적인 사용인 것으로 만들 수 있다. 일부 구현예들에서, 전자 디바이스(100)는 사용자의 시선 위치(202)가 재생 버튼(1002)의 경계 내에서 있었다고 그리고/또는 사용자의 시선 위치(202)가 사용자가 텍스트(1006)를 미리결정된 횟수로 판독하였다는 것을 나타낸다고 결정한다.

도 11은 어떻게, 사용자의 시선 위치(202)가 재생 버튼(1002)의 경계 내에서 있었다고 그리고/또는 사용자의 시선 위치(202)가 사용자가 텍스트(1006)를 미리결정된 횟수로 판독하였다는 것을 나타낸다고 결정하는 것에 응답하여, 애플리케이션 디스플레이 윈도우(114) 내의 사용자 인터페이스(1000)가 텍스트(1006)를 제거하도록 수정될 수 있는지를 도시한다. 이러한 예에서, 텍스트(1007)는 사용자 인터페이스(1000)의 일부를 유지하고, 재생 아이콘(1004)의 크기는 텍스트(1006)의 제거로 인해 이용가능한 디스플레이 영역을 이용하기 위해 증가된다. 그러나, 다른 구현예들에서, 제거된 텍스트와 연관된 아이콘의 크기를 증가시키는 대신, 사용자 인터페이스의 다른 부분들은 확장될 수 있거나 사용자 인터페이스에서 새롭게 이용가능한 공간을 이용하도록 수정될 수 있다.

예를 들어, 도 12는 텍스트(1006) 및 텍스트(1007) 둘 모두가 텍스트를 제거해도 될 만큼 충분한 횟수로 보였고/보였거나 판독되었기에, 사용자 인터페이스(1000)의 다른 부분들이 텍스트(1006, 1007)의 제거에 의해 이용가능하게 되는 추가 공간(1200)으로 확장되게 하는 시나리오를 예시한다.

일부 시나리오들에서, 텍스트(1006 및/또는 1007)는, 텍스트를 보고/보거나 판독하는 횟수에 기초하기보다는 오히려, 버튼들(1002, 1003)을 동작시킬 때 사용자가 텍스트를 주시하는 것을 중지했다는 (예컨대, 그리고 단지 아이콘들(1004, 1005)만을 보는) 것을 나타내는 시선 위치들(202)에 기초하여 제거될 수 있다는 것을 이해하여야 한다. 도 10 내지 도 12가 사용자 인터페이스(1000)에 버튼들(1002, 1003) 및 아이콘들(1004, 1005)이 포함되는 예를 도시하지만, 본 명세서에 설명된 시스템들 및 방법들은 텍스트가 충분한 (예컨대, 미리결정된) 횟수로 보였고/보였거나 판독되었다고 결정된 후에 사용자 인터페이스로부터 실질적으로 임의의 텍스트를 제거하기 위해 적용될 수 있다는 것을 또한 이해하여야 한다.

도 13은 본 기술의 다양한 양태들에 따른, 사용자 인터페이스의 시선 기반 제어를 위한 예시적인 프로세스(1300)의 흐름도를 도시한다. 설명의 목적들을 위해, 도 13의 예시적인 프로세스는 도 1 및/또는 도 3의 컴포넌트들을 참조하여 본 명세서에서 설명된다. 추가로, 설명의 목적들을 위해, 도 13의 예시적인 프로세스의 블록들은 본 명세서에서 직렬로 또는 선형적으로 발생하는 것으로 설명된다. 그러나, 도 13의 예시적인 프로세스의 다수의 블록들은 병렬로 발생할 수 있다. 더욱이, 도 13의 예시적인 프로세스의 블록들은 도시된 순서로 수행될 필요가 없고/없거나 도 13의 예시적인 프로세스의 블록들 중 하나 이상이 수행될 필요가 없다.

도시된 예시적인 흐름도에서, 블록(1302)에서, 전자 디바이스(100)와 같은 전자 디바이스는 애플리케이션의 사용자 인터페이스(1000)와 같은 사용자 인터페이스를 디스플레이하고, 사용자 인터페이스는 텍스트(1006 또는 1007)와 같은 텍스트를 포함한다.

블록(1304)에서, 디바이스는 (예컨대, 하나 이상의 카메라들(105) 및 연관된 프로세싱 회로부로부터 형성된 눈 추적기(310)와 같은 눈 추적부를 사용하여) 사용자의 적어도 하나의 눈의 다수의 시선 위치들을 획득한다.

블록(1306)에서, 전자 디바이스는, 다수의 시선 위치들에 기초하여, 사용자가 텍스트를 보았다고, 예를 들어, 사용자의 눈들이 적어도 미리결정된 기간 동안 텍스트 상에 체류하였다고, 그리고/또는 사용자가 텍스트의 단어들 및/또는 문자들 각각을 판독하였다고 결정할 수 있다. 사용자가 텍스트를 보았다고 결정하는 것은 사용자가 적어도 미리결정된 횟수로 텍스트를 보았다고 결정하는 것을 포함할 수 있다.

블록(1308)에서, 전자 디바이스는 결정에 기초하여 텍스트를 제거하도록 사용자 인터페이스를 수정한다. 도 10 내지 도 12의 예와 관련하여 설명된 바와 같이, 사용자 인터페이스는 텍스트와 연관된 아이콘(예컨대, 아이콘들(1004, 1005)과 같은 하나 이상의 아이콘들)을 포함할 수 있고, 텍스트를 제거하기 위해 사용자 인터페이스를 수정하는 것은 도 11 및 도 12의 예들에 예시된 바와 같이 텍스트 없이 아이콘을 제공하는 것을 포함할 수 있다.

일부 동작 시나리오들에서, 사용자 인터페이스 또는 사용자 인터페이스 요소(예컨대, 위젯)는 사용자에게 시간 의존적 정보를 제공하도록 (예컨대, 전자 디바이스(100)의 디스플레이(104)에 의해) 디스플레이될 수 있다. 프로세싱 회로부(306)는 사용자가 사용자 인터페이스 또는 사용자 인터페이스 요소를 보는 빈도에 기초하여 시간 기반 정보가 업데이트되는 빈도를 조정함으로써 사용자 인터페이스 또는 사용자 인터페이스 요소를 제어할 수 있다.

도 14는 본 기술의 다양한 양태들에 따른, 시간 의존적 정보를 디스플레이하는 사용자 인터페이스 또는 사용자 인터페이스 요소의 시선 기반 제어를 위한 예시적인 프로세스(1400)의 흐름도를 도시한다. 설명의 목적들을 위해, 도 14의 예시적인 프로세스는 도 1 및/또는 도 3의 컴포넌트들을 참조하여 본 명세서에서 설명된다. 추가로, 설명의 목적들을 위해, 도 14의 예시적인 프로세스의 블록들은 본 명세서에서 직렬로 또는 선형적으로 발생하는 것으로 설명된다. 그러나, 도 14의 예시적인 프로세스의 다수의 블록들은 병렬로 발생할 수 있다. 더욱이, 도 14의 예시적인 프로세스의 블록들은 도시된 순서로 수행될 필요가 없고/없거나 도 14의 예시적인 프로세스의 블록들 중 하나 이상이 수행될 필요가 없다.

도시된 예시적인 흐름도에서, 블록(1402)에서, 전자 디바이스(100)와 같은 전자 디바이스는 업데이트 빈도로 업데이트되는 시간 의존적 정보를 제시하는 위젯(예컨대, 도 1 및 도 2의 사용자 인터페이스 요소(118))을 디스플레이한다. 시간 의존적 정보는 날씨 정보, 금융 정보, 뉴스 피드 정보, 캘린더 정보, 시간 정보, 또는 시간에 따라 변화하는 임의의 다른 정보 중 하나 이상을 포함할 수 있다. 업데이트들은 초기에 디폴트 업데이트 빈도로 수행될 수 있고, 디바이스에 로컬로 저장된 데이터로부터 그리고/또는 인터넷과 같은 네트워크를 통해 하나 이상의 원격 디바이스들 또는 서버들로부터 새로운 정보를 획득하는 것을 포함할 수 있다. 업데이트된 정보를 획득하는 것은 전력, 프로세싱 시간, 및 네트워크 대역폭을 소비할 수 있다. 사용자가 보는 것보다 실질적으로 더 많은 업데이트들을 획득하지 않고서, 사용자가 위젯을 보기 이전에 업데이트들을 제공할 수 있는 것이 바람직할 것이다.

블록(1404)에서, 전자 디바이스는 사용자의 적어도 하나의 눈의 다수의 시선 위치들(202)을 획득할 수 있다. 다수의 시선 위치들은 일정 기간에 걸쳐 획득될 수 있고, 사용자가 위젯을 주시할 때 발생하는 위젯의 경계 내의 (예컨대, 사용자 인터페이스 요소(118)의 경계 내의) 시선 위치들을 포함할 수 있다.

블록(1406)에서, 전자 디바이스는 다수의 시선 위치들에 기초하여, 사용자가 디스플레이된 위젯을 보는 관찰 빈도를 결정할 수 있다. 관찰 빈도는, 예를 들어, 관찰들이 식별되었던 시간으로 나눈 위젯의 관찰들의 횟수를 결정함으로써 결정될 수 있다.

블록(1408)에서, 전자 디바이스는 관찰 빈도에 기초하여 위젯의 업데이트 빈도를 수정할 수 있다. 예를 들어, 업데이트 빈도는 관찰 빈도보다 미리결정된 크기만큼 더 큰 빈도로 설정될 수 있다. 일부 동작 시나리오들에서, 사용자 인터페이스 또는 사용자 인터페이스 요소는 사용자 인터페이스 또는 사용자 인터페이스 요소의 경계들 내에서 사용자의 적어도 하나의 눈의 체류를 나타내는 시선 위치들(예컨대, 미리결정된 시간에 걸친 정적 시선 위치)에 기초하여 비활성 상태로부터 활성화될 수 있다.

본 명세서에서 설명된 예들에서, 시선 위치들은 전자 디바이스(100)의 디스플레이(104)의 일부분과 사용자의 시선 방향의 교차부에 대응하는 것으로 주로 설명되었다. 그러나, 본 명세서에 설명된 시스템들 및 방법들은 사용자가 물리적 문서를 보고 있는 시나리오들에 적용될 수 있다는 것을 또한 이해하여야 한다.

예를 들어, 도 15는 사용자의 시선 위치(202)가 물리적 문서(1500) 상의 텍스트(1502)와 교차하는 예를 예시한다. 이러한 예에서, 전자 디바이스(100)의 카메라(150)는 물리적 문서(1500)의 이미지를 캡처한다. 이어서, 프로세싱 회로부(306)는 디바이스의 하나 이상의 센서들에 의해 캡처된 이미지 및/또는 심도 정보에 기초하여 전자 디바이스(100)에 대한 물리적 문서(1500)의 위치를 결정할 수 있다. 프로세싱 회로부는 또한, 다양한 예들에서, 물리적 문서(1500) 상에 텍스트(1502)가 존재한다고 결정할 수 있고/있거나, 텍스트(1502)의 위치를 결정할 수 있고/있거나, 이미지에 기초하여 텍스트(1502)를 인식할 수 있다.

전자 디바이스(100)의 눈 추적기(예컨대, 카메라(105)를 포함함)는 사용자(200)의 눈의 시선 방향(203)을 결정할 수 있고, 물리적 문서(1500)의 결정된 위치 및/또는 거리를 사용하여 시선 방향(203)과 물리적 문서(1500)의 교차 위치를 결정함으로써 시선 위치(202)가 물리적 문서(1500) 상의 위치라고 결정할 수 있다.

시간 경과에 따라, 전자 디바이스(100)는 다수의 시선 위치들(202)을 결정할 수 있고, (예컨대, 도 7 내지 도 9의 예에서 전자 텍스트와 관련하여 설명된 동일한 기술들 중 일부 또는 전부를 사용하여) 다수의 시선 위치들(202)이 사용자가 텍스트(1502)를 판독하고 있다는 또는 판독하였다는 것을 나타낸다고 결정할 수 있다. 도 15의 예에서, 사용자(200)는 디스플레이(104)를 주시하고 지나감으로써 물리적 문서(1500)를 본다. 그러나, 도 16 및 도 17에 각각 나타낸 바와 같이, 사용자(200)는 물리적 문서(1500)를 투명 또는 반투명 디스플레이(도 16)를 통해 주시함으로써, 또는 (예컨대, 카메라(150, 도 17)에 의해 캡처된 하나 이상의 이미지를 사용하여) 불투명 디스플레이 상에 디스플레이되는 물리적 문서(1500)의 전자 버전(1700)을 봄으로써 볼 수 있다. 디스플레이(104)에 의해 디스플레이된 전자 버전(1700)은 물리적 문서(1500)의 텍스트(1502)에 대응하는 전자 텍스트(1701)를 포함할 수 있다.

도 17에 나타낸 바와 같이, 일부 시나리오들에서, 전자 디바이스(100)는 사용자가 전자 또는 물리적 문서의 텍스트를 판독하는 데 어려움을 겪고 있다는 것을 (예컨대, 하나 이상의 시선 위치들 및/또는 다른 정보에 기초하여) 검출할 수 있다. 이러한 결정에 기초하여, 전자 디바이스(100)는 사용자가 텍스트를 판독하는 것을 돕기 위해 시각적 또는 오디오 향상을 제공할 수 있다. 도 16의 예에서, 향상은 텍스트(1701)의 확대 뷰를 표현하는 시각적 향상(1702)이다. 사용자가 텍스트를 판독하는 데 어려움을 겪고 있다고 결정하는 것은 시선 위치들이 고정 시간보다 긴 기간 동안 텍스트를 가로질러 이동하는 것을 중단하였다고 결정하는 것, 및/또는 사용자가 눈을 가늘게 뜨고(squint) 있다고 (예컨대, 전자 디바이스(100)의 카메라(105) 및/또는 하나 이상의 다른 센서들로부터의 하나 이상의 이미지들 및/또는 심도 정보에 기초하여) 결정하는 것을 포함할 수 있다.

도 18은 본 기술의 다양한 양태들에 따른, 물리적 문서와 관련한 전자 디바이스의 시선 기반 제어를 위한 예시적인 프로세스(1800)의 흐름도를 도시한다. 설명의 목적들을 위해, 도 18의 예시적인 프로세스는 도 1 및/또는 도 3의 컴포넌트들을 참조하여 본 명세서에서 설명된다. 추가로, 설명의 목적들을 위해, 도 18의 예시적인 프로세스의 블록들은 본 명세서에서 직렬로 또는 선형적으로 발생하는 것으로 설명된다. 그러나, 도 18의 예시적인 프로세스의 다수의 블록들은 병렬로 발생할 수 있다. 더욱이, 도 18의 예시적인 프로세스의 블록들은 도시된 순서로 수행될 필요가 없고/없거나 도 18의 예시적인 프로세스의 블록들 중 하나 이상이 수행될 필요가 없다.

도시된 예시적인 흐름도에서, 블록(1802)에서, 물리적 문서(1500)와 같은 물리적 문서의 적어도 하나의 이미지는 전자 디바이스(100)와 같은 전자 디바이스의 카메라(150)와 같은 카메라로 획득될 수 있다.

블록(1804)에서, 전자 디바이스는 적어도 하나의 이미지에 기초하여 (예컨대, 그리고/또는 센서들(152) 중 하나와 같은 센서로부터의 심도 정보와 같은 추가 정보에 기초하여) (예컨대, 전자 디바이스에 대한) 물리적 문서의 위치를 결정할 수 있다. 전자 디바이스는 또한, 적어도 하나의 이미지에 기초하여, 물리적 문서 내의 텍스트를 식별할 수 있다.

블록(1806)에서, 전자 디바이스는 전자 디바이스의 눈 추적기(예컨대, 카메라(105) 및 연관된 회로부를 포함함)로, 전자 디바이스의 사용자(200)의 적어도 하나의 눈의 복수의 시선 위치들(202)을 획득할 수 있다.

블록(1808)에서, 전자 디바이스는, 물리적 문서의 위치에 대한 복수의 시선 위치들에 기초하여, 사용자가 물리적 문서를 판독하고 있다고 결정할 수 있다. 전자 디바이스는 또한, 전자 디바이스의 디스플레이(104)와 같은 디스플레이로, 복수의 시선 위치들에 기초하여, 사용자에 의해 판독되었던 식별된 텍스트의 일부분들의 뷰 상에 오버레이되는 하이라이트들(900)과 같은 하이라이트들을 디스플레이할 수 있다. 일부 예들에서, 식별된 텍스트의 일부분들의 뷰는 도 16에 도시된 바와 같은 반투명 또는 투명 디스플레이를 통한 다이렉트 뷰일 수 있고, 하이라이트들을 디스플레이하는 것은 투명 또는 반투명 디스플레이로 하이라이트들을 디스플레이하는 것을 포함할 수 있다. 다른 예들에서, 전자 디바이스는 도 17에 도시된 바와 같은 전자 디바이스의 디스플레이로 적어도 하나의 이미지를 디스플레이할 수 있고, 하이라이트들을 디스플레이하는 것은 디스플레이된 적어도 하나의 이미지 상에 오버레이되는 하이라이트들을 디스플레이하는 것을 포함할 수 있다.

전술된 바와 같이, 본 기술의 일 양태는 사용자가 텍스트 정보를 보았고/보았거나 판독하였는지 여부를 결정하기 위한 특정적인 또는 적법한 소스들로부터 입수가능한 데이터의 수집 및 사용이다. 본 개시내용은, 일부 예시들에서, 이러한 수집된 데이터가 특정 사람을 고유하게 식별하거나 또는 그를 식별하는 데 사용될 수 있는 개인 정보 데이터를 포함할 수 있음을 고려한다. 그러한 개인 정보 데이터는 비디오 데이터, 3차원 지오메트리 데이터, 인구통계 데이터, 위치 기반 데이터, 온라인 식별자, 전화 번호, 이메일 주소, 집 주소, 사용자의 건강 또는 피트니스 레벨에 관한 데이터 또는 기록들(예컨대, 바이탈 사인(vital sign) 측정치, 투약 정보, 운동 정보), 생년월일, 눈 위치 또는 움직임 데이터, 시선 추적 데이터, 또는 임의의 다른 개인 정보를 포함할 수 있다.

본 개시내용은 본 기술에서의 그러한 개인 정보 데이터의 이용이 사용자들에게 이득을 주기 위해 사용될 수 있음을 인식한다. 예를 들어, 개인 정보 데이터는 사용자가 텍스트 정보를 보았고/보았거나 판독하였는지 여부를 결정하기 위해 사용될 수 있다.

본 개시내용은 그러한 개인 정보 데이터의 수집, 분석, 공개, 전달, 저장, 또는 다른 사용을 담당하는 그러한 엔티티들이 잘 확립된 프라이버시 정책들 및/또는 프라이버시 관례들을 준수할 것이라는 것을 고려한다. 특히, 그러한 엔티티들은 사용자들의 프라이버시를 유지하기 위한 산업 또는 행정 요구사항들을 충족시키거나 능가하는 것으로 일반적으로 인식되는 프라이버시 관례들을 구현하고 일관되게 적용할 것으로 예상될 것이다. 개인 데이터의 사용에 관한 그러한 정보는 사용자들에 의해 눈에 띄게 그리고 쉽게 액세스가능해야 하고, 데이터의 수집 및/또는 사용이 변화함에 따라 업데이트되어야 한다. 사용자들로부터의 개인 정보는 적법한 사용들을 위해서만 수집되어야 한다. 또한, 그러한 수집/공유는 사용자들의 동의 또는 적용가능한 법률에 특정된 다른 적법한 근거를 수신한 후에만 발생해야 한다. 부가적으로, 그러한 엔티티들은 그러한 개인 정보 데이터에 대한 액세스를 보호하고 안전하게 하며 개인 정보 데이터에 대한 액세스를 갖는 다른 사람들이 그들의 프라이버시 정책들 및 절차들을 고수한다는 것을 보장하기 위한 임의의 필요한 단계들을 취하는 것을 고려해야 한다. 추가로, 그러한 엔티티들은 널리 인정된 프라이버시 정책들 및 관례들에 대한 그들의 고수를 증명하기 위해 제3자들에 의해 그들 자신들이 평가를 받을 수 있다. 추가로, 정책들 및 관례들은 수집되고/되거나 액세스되는 특정 유형들의 개인 정보 데이터에 대해 적응되고, 더 높은 표준을 부과하는 역할을 할 수 있는 관할구역 특정 고려사항들을 비롯한 적용가능한 법률들 및 표준들에 적응되어야 한다. 예를 들어, 미국에서, 소정 건강 데이터의 수집 또는 그에 대한 액세스는 연방법 및/또는 주의 법, 예컨대 미국 건강 보험 양도 및 책임 법령(Health Insurance Portability and Accountability Act, HIPAA)에 의해 통제될 수 있는 반면; 다른 국가들에서의 건강 데이터는 다른 규정들 및 정책들의 적용을 받을 수 있고 그에 따라 취급되어야 한다.

전술한 것에도 불구하고, 본 개시내용은 또한 사용자들이 개인 정보 데이터의 사용, 또는 그에 대한 액세스를 선택적으로 차단하는 실시예들을 고려한다. 즉, 본 개시내용은 그러한 개인 정보 데이터에 대한 액세스를 방지하거나 차단하기 위해 하드웨어 및/또는 소프트웨어 요소들이 제공될 수 있다는 것을 고려한다. 예를 들어, 사용자가 텍스트 정보를 보았고/보았거나 판독하였는지 여부를 결정하는 경우에, 본 기술은 사용자들이 서비스를 위한 등록 중 또는 이후 임의의 시간에 개인 정보 데이터의 수집 및/또는 공유 시의 참여의 "동의함" 또는 "동의하지 않음"을 선택하는 것을 허용하도록 구성될 수 있다. "동의" 및 "동의하지 않음" 옵션들을 제공하는 것에 부가하여, 본 개시내용은 개인 정보의 접근 또는 사용에 관한 통지들을 제공하는 것을 고려한다. 예를 들어, 사용자는 그들의 개인 정보 데이터가 액세스될 앱을 다운로드할 시에 통지받고, 이어서 개인 정보 데이터가 앱에 의해 액세스되기 직전에 다시 상기하게 될 수 있다.

더욱이, 의도하지 않은 또는 인가되지 않은 액세스 또는 사용의 위험요소들을 최소화하는 방식으로 개인 정보 데이터가 관리 및 처리되어야 한다는 것이 본 개시내용의 의도이다. 데이터의 수집을 제한하고 데이터가 더 이상 필요하지 않게 되면 데이터를 삭제함으로써 위험이 최소화될 수 있다. 추가로, 그리고 소정의 건강 관련 애플리케이션들에 적용하는 것을 비롯하여, 적용가능할 때, 사용자의 프라이버시를 보호하기 위해 데이터 식별해제가 사용될 수 있다. 적절한 경우, 식별자들을 제거하는 것, 저장된 데이터의 양 또는 특이성(specificity)을 제어하는 것(예컨대, 주소 레벨에서보다는 도시 레벨에서 또는 얼굴 인식에 불충분한 스케일에서 위치 데이터를 수집하는 것), 데이터가 저장되는 방법을 제어하는 것(예컨대, 사용자들에 걸쳐 데이터를 집계하는 것), 그리고/또는 차등 프라이버시(differential privacy)와 같은 다른 방법들에 의해, 비식별화가 용이하게 될 수 있다.

따라서, 본 개시내용이 하나 이상의 다양한 개시된 실시예들을 구현하기 위해 개인 정보 데이터의 사용을 광범위하게 커버하지만, 본 개시내용은 다양한 실시예들이 또한 그러한 개인 정보 데이터에 액세스할 필요 없이 구현될 수 있다는 것을 또한 고려한다. 즉, 본 기술의 다양한 실시예들은 그러한 개인 정보 데이터의 전부 또는 일부의 결여로 인해 동작불가능하게 되지는 않는다.

도 19는 본 기술의 하나 이상의 구현예들이 구현될 수 있는 전자 시스템(1900)을 예시한다. 전자 시스템(1900)은 도 1 및/또는 도 3에 도시된 전자 디바이스(100)일 수 있고/있거나 그의 일부일 수 있다. 전자 시스템(1900)은 다양한 유형들의 컴퓨터 판독가능 매체들 및 다양한 다른 유형들의 컴퓨터 판독가능 매체들을 위한 인터페이스들을 포함할 수 있다. 전자 시스템(1900)은 버스(1908), 하나 이상의 프로세싱 유닛(들)(1912)(예컨대, 도 3의 프로세싱 회로부(306)의 구현예를 포함함), 시스템 메모리(1904)(및/또는 버퍼), ROM(1910), 영구 저장 디바이스(1902), 입력 디바이스 인터페이스(1914), 출력 디바이스 인터페이스(1906), 및 하나 이상의 네트워크 인터페이스들(1916), 또는 이들의 서브세트들 및 변형들을 포함한다.

버스(1908)는 전자 시스템(1900)의 다수의 내부 디바이스들을 통신가능하게 연결하는 모든 시스템, 주변기기, 및 칩셋 버스들을 총괄하여 표현한다. 하나 이상의 구현예들에서, 버스(1908)는 하나 이상의 프로세싱 유닛(들)(1912)을 ROM(1910), 시스템 메모리(1904), 및 영구 저장 디바이스(1902)와 통신가능하게 연결시킨다. 이러한 다양한 메모리 유닛들로부터, 하나 이상의 프로세싱 유닛(들)(1912)은 본 개시내용의 프로세스들을 실행하기 위해 실행할 명령어들 및 프로세싱할 데이터를 검색한다. 하나 이상의 프로세싱 유닛(들)(1912)은 상이한 구현예들에서 단일 프로세서 또는 멀티-코어 프로세서일 수 있다.

ROM(1910)은 하나 이상의 프로세싱 유닛(들)(1912) 및 전자 시스템(1900)의 다른 모듈들에 의해 필요한 정적 데이터 및 명령어들을 저장한다. 반면에, 영구 저장 디바이스(1902)는 판독-및-기입 메모리 디바이스일 수 있다. 영구 저장 디바이스(1902)는 전자 시스템(1900)이 오프일 때도 명령어들 및 데이터를 저장하는 비휘발성 메모리 유닛일 수 있다. 하나 이상의 구현예들에서, 영구 저장 디바이스(1902)로서 (자기 또는 광 디스크 및 그의 대응하는 디스크 드라이브와 같은) 대용량 저장 디바이스가 사용될 수 있다.

하나 이상의 구현예들에서, 영구 저장 디바이스(1902)로서 (플로피 디스크, 플래시 드라이브, 및 그의 대응하는 디스크 드라이브와 같은) 제거가능한 저장 디바이스가 사용될 수 있다. 영구 저장 디바이스(1902)와 같이, 시스템 메모리(1904)는 판독- 및-기입 메모리 디바이스일 수 있다. 그러나, 영구 저장 디바이스(1902)와 달리, 시스템 메모리(1904)는 랜덤 액세스 메모리와 같은 휘발성 판독-및-기입 메모리일 수 있다. 시스템 메모리(1904)는 하나 이상의 프로세싱 유닛(들)(1912)이 런타임 시에 필요로 할 수 있는 명령어들 및 데이터 중 임의의 것을 저장할 수 있다. 하나 이상의 구현예들에서, 본 개시내용의 프로세스들은 시스템 메모리(1904), 영구 저장 디바이스(1902), 및/또는 ROM(1910)에 저장된다. 이러한 다양한 메모리 유닛들로부터, 하나 이상의 프로세싱 유닛(들)(1912)은 하나 이상의 구현예들의 프로세스들을 실행하기 위해 실행할 명령어들 및 프로세싱할 데이터를 검색한다.

버스(1908)는 또한 입력 및 출력 디바이스 인터페이스들(1914, 1906)에 연결된다. 입력 디바이스 인터페이스(1914)는 사용자가 전자 시스템(1900)으로 정보를 통신하게 하고 그에 대한 커맨드들을 선택할 수 있게 한다. 입력 디바이스 인터페이스(1914)와 함께 사용될 수 있는 입력 디바이스들은, 예를 들어, 영숫자 키보드들 및 포인팅 디바이스들("커서 제어 디바이스들"로 또한 지칭됨)을 포함할 수 있다. 출력 디바이스 인터페이스(1906)는 예를 들어, 전자 시스템(1900)에 의해 생성된 이미지들의 디스플레이를 가능하게 할 수 있다. 출력 디바이스 인터페이스(1906)와 함께 사용될 수 있는 출력 디바이스들은, 예를 들어, 도 1의 디스플레이(104)와 같은 디스플레이를 포함할 수 있다. 하나 이상의 구현예들은 터치스크린과 같은, 입력 및 출력 디바이스들 둘 모두로서 기능하는 디바이스들을 포함할 수 있다. 이들 구현예들에서, 사용자에게 제공되는 피드백은 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백과 같은 임의의 형태의 감각 피드백일 수 있고; 사용자로부터의 입력은 음향, 음성, 또는 촉각적 입력을 포함하는 임의의 형태로 수신될 수 있다.

마지막으로, 도 19에 도시된 바와 같이, 버스(1908)는, 또한, 하나 이상의 네트워크 인터페이스(들)(1916)를 통해, 전자 시스템(1900)을 하나 이상의 네트워크들 및/또는 하나 이상의 네트워크 노드들, 예컨대 도 1에 도시된 전자 디바이스(100)에 결합시킨다. 이러한 방식으로, 전자 시스템(1900)은 컴퓨터들의 네트워크(예컨대, LAN, 광역 네트워크("WAN"), 또는 인트라넷, 또는 네트워크들의 네트워크, 예컨대 인터넷의 일부일 수 있다. 전자 시스템(1900)의 임의의 또는 모든 컴포넌트들은 본 개시내용과 함께 사용될 수 있다.

본 개시내용의 다양한 양태들에 따르면, 전자 디바이스에 의해, 사용자로부터 사용자 인가를 위한 요청을 디스플레이하는 단계; 상기 요청이 디스플레이되는 동안, 상기 사용자의 적어도 하나의 눈의 적어도 하나의 시선 위치를 식별하는 단계; 상기 적어도 하나의 시선 위치에 기초하여, 인가를 위한 상기 디스플레이된 요청이 상기 사용자에 의해 보였는지 여부를 결정하는 단계; 및 인가를 위한 상기 디스플레이된 요청이 상기 사용자에 의해 보였다고 결정되는 경우, 상기 사용자 인가를 제공하기 위한 선택가능 옵션을 제공하는 단계를 포함하는 방법이 제공된다.

본 개시내용의 다른 양태들에 따르면, 전자 디바이스에 의해, 애플리케이션의 사용자 인터페이스를 제공하는 단계 - 상기 사용자 인터페이스는 텍스트를 포함함 -; 사용자의 적어도 하나의 눈의 복수의 시선 위치들을 획득하는 단계; 상기 복수의 시선 위치들에 기초하여, 상기 사용자가 상기 텍스트를 보았다고 결정하는 단계; 및 상기 결정에 기초하여 상기 텍스트를 제거하도록 상기 사용자 인터페이스를 수정하는 단계를 포함하는 방법이 제공된다.

본 개시내용의 다른 양태들에 따르면, 전자 디바이스에 의해, 일정 업데이트 빈도로 업데이트되는 시간 의존적 정보를 제시하는 위젯 또는 사용자 인터페이스 요소를 디스플레이하는 단계; 사용자의 적어도 하나의 눈의 복수의 시선 위치들을 획득하는 단계; 상기 복수의 시선 위치들에 기초하여, 상기 사용자가 상기 디스플레이된 위젯 또는 사용자 인터페이스 요소를 보는 관찰 빈도를 결정하는 단계; 및 상기 관찰 빈도에 기초하여 상기 위젯 또는 사용자 인터페이스 요소의 업데이트 빈도를 수정하는 단계를 포함하는 방법이 제공된다.

본 개시내용의 다른 양태들에 따르면, 전자 디바이스의 카메라로, 물리적 문서의 적어도 하나의 이미지를 획득하는 단계; 상기 적어도 하나의 이미지에 기초하여 상기 물리적 문서의 위치를 결정하는 단계; 상기 전자 디바이스의 눈 추적기로, 상기 전자 디바이스의 사용자의 적어도 하나의 눈의 복수의 시선 위치들을 획득하는 단계; 및 상기 전자 디바이스로 상기 물리적 문서의 위치에 대한 상기 복수의 시선 위치들에 기초하여, 상기 사용자가 상기 물리적 문서를 판독하고 있다고 결정하는 단계를 포함하는 방법이 제공된다.

본 개시내용의 다른 양태들에 따르면, 디스플레이; 사용자의 적어도 하나의 눈에 대한 눈 추적 데이터를 제공하도록 구성된 눈 추적기; 및 프로세싱 회로부를 포함하며, 상기 프로세싱 회로부는, 상기 디스플레이에 의한 디스플레이를 위해, 상기 사용자로부터 사용자 인가를 위한 요청을 제공하도록; 상기 요청이 디스플레이되는 동안, 상기 눈 추적기로부터의 눈 추적 데이터에 기초하여 적어도 하나의 시선 위치를 식별하도록; 상기 적어도 하나의 시선 위치에 기초하여, 인가를 위한 상기 디스플레이된 요청이 상기 사용자에 의해 보였는지 여부를 결정하도록; 그리고 인가를 위한 상기 디스플레이된 요청이 상기 사용자에 의해 보였다고 결정되는 경우, 상기 사용자 인가를 제공하기 위한 선택가능 옵션을 제공하도록 구성되는, 전자 디바이스가 제공된다.

위에서 설명된 다양한 기능들은 디지털 전자 회로부, 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어로 구현될 수 있다. 기법들은 하나 이상의 컴퓨터 프로그램 제품들을 사용하여 구현될 수 있다. 프로그래밍가능 프로세서들 및 컴퓨터들은 모바일 디바이스들 내에 포함되거나 모바일 디바이스들로서 패키징될 수 있다. 프로세스들 및 로직 흐름들은 하나 이상의 프로그래밍가능 프로세서들에 의해 그리고 하나 이상의 프로그래밍가능 논리 회로부에 의해 수행될 수 있다. 범용 및 특수 목적 컴퓨팅 디바이스들 및 저장 디바이스들은 통신 네트워크들을 통해 상호접속될 수 있다.

일부 구현들은 전자 컴포넌트들, 예컨대 마이크로프로세서들, 기계 판독가능 또는 컴퓨터 판독가능 매체(대안적으로, 컴퓨터 판독가능 저장 매체들, 기계 판독가능 매체들, 또는 기계 판독가능 저장 매체들로 지칭됨)에 컴퓨터 프로그램 명령어들을 저장하는 저장소 및 메모리를 포함한다. 그러한 컴퓨터 판독가능 매체들의 일부 예들은 RAM, ROM, CD-ROM(read-only compact discs), CD-R(recordable compact discs), CD-RW(rewritable compact discs), 판독 전용 DVD(digital versatile discs)(예를 들어, DVD-ROM, 듀얼-레이어 DVD-ROM), 다양한 기록가능/재기록가능 DVD들(예를 들어, DVD-RAM, DVD-RW, DVD+RW 등), 플래시 메모리(예를 들어, SD 카드들, 미니-SD 카드들, 마이크로-SD 카드들 등), 자기 및/또는 솔리드 스테이트 하드 드라이브들, 초고밀도 광 디스크들, 임의의 다른 광 또는 자기 매체들, 및 플로피 디스크들을 포함한다. 컴퓨터 판독가능 매체들은, 적어도 하나의 프로세싱 유닛에 의해 실행가능하고 다양한 동작들을 수행하기 위한 명령어들의 세트들을 포함하는 컴퓨터 프로그램을 저장할 수 있다. 컴퓨터 프로그램들 또는 컴퓨터 코드의 예들은, 컴파일러에 의해 생성되는 것과 같은 기계 코드, 및 인터프리터를 사용하여 컴퓨터, 전자 컴포넌트, 또는 마이크로프로세서에 의해 실행되는, 상위 레벨 코드를 포함한 파일들을 포함한다.

위의 논의가 소프트웨어를 실행시키는 마이크로프로세서 또는 멀티-코어 프로세서들을 주로 언급하지만, 일부 구현예들은 주문형 집적회로(ASIC)들 또는 필드 프로그래밍가능 게이트 어레이(FPGA)들과 같은 하나 이상의 집적 회로들에 의해 수행된다. 일부 구현예들에서, 그러한 집적 회로들은 회로 자체 상에 저장된 명령어들을 실행시킨다.

본 명세서 및 본 출원의 임의의 청구항들에서 사용된 바와 같이, 용어들 "컴퓨터", "프로세서", 및 "메모리" 모두는 전자 또는 다른 기술적인 디바이스들을 지칭한다. 이러한 용어들은 사람들 또는 사람들의 그룹들을 배제한다. 본 명세서의 목적들을 위해, 용어들 "디스플레이" 또는 "디스플레이하는"은 전자 디바이스 상에서 디스플레이하는 것을 의미한다. 본 명세서 및 본 출원의 임의의 청구항들에서 사용된 바와 같이, 용어들 "컴퓨터 판독가능 매체" 및 "컴퓨터 판독가능 매체들"은 컴퓨터에 의해 판독가능한 형태로 정보를 저장하는 유형의(tangible) 물리적 물체들로 전적으로 한정된다. 이들 용어들은 임의의 무선 신호들, 유선 다운로드 신호들, 및 임의의 다른 임시 신호들을 배제한다.

사용자와의 상호작용을 제공하기 위해, 본 명세서에 설명된 발명 대상의 구현예들은 사용자에게 정보를 디스플레이하기 위한 본 명세서에 설명된 바와 같은 디스플레이 디바이스, 및 사용자가 컴퓨터에 입력을 제공할 수 있게 하는 키보드 및 포인팅 디바이스, 예컨대 마우스 또는 트랙볼을 갖는 컴퓨터 상에서 구현될 수 있다. 사용자와의 상호작용을 제공하기 위해 다른 종류들의 디바이스들이 또한 사용될 수 있으며; 예를 들어, 사용자에게 제공되는 피드백은 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백과 같은 임의의 형태의 감각 피드백일 수 있고; 사용자로부터의 입력은 음향, 음성, 또는 촉각적 입력을 포함하는 임의의 형태로 수신될 수 있다.

위에서-설명된 특징들 및 애플리케이션들 중 많은 것은 컴퓨터 판독가능 저장 매체(또한 컴퓨터 판독가능 매체로 지칭됨) 상에 기록된 명령어들의 세트로서 규정되는 소프트웨어 프로세스들로서 구현된다. 이들 명령어들이 하나 이상의 프로세싱 유닛(들)(예를 들어, 하나 이상의 프로세서들, 프로세서들의 코어들, 또는 다른 프로세싱 유닛들)에 의해 실행될 때, 그들은 프로세싱 유닛(들)으로 하여금 명령어들에서 표시된 액션들을 수행하게 한다. 컴퓨터 판독가능 매체들의 예들은, CD-ROM, 플래시 드라이브들, RAM 칩들, 하드 드라이브들, EPROM 등을 포함하지만 이들로 제한되지 않는다. 컴퓨터 판독가능 매체들은 무선으로 또는 유선 연결들을 통해 전달하는 반송파(carrier wave)들 및 전자 신호들을 포함하지 않는다.

본 명세서에서, 용어 "소프트웨어"는 판독 전용 메모리에 상주하는 펌웨어 또는 자기 저장소에 저장된 애플리케이션들을 포함하는 것으로 의미되며, 이들은 프로세서에 의한 프로세싱을 위해 메모리로 판독될 수 있다. 또한, 일부 구현예들에서, 본 개시내용의 다수의 소프트웨어 양태들은 본 개시내용의 별개의 소프트웨어 양태들을 유지하면서 더 큰 프로그램의 서브-부분들로서 구현될 수 있다. 일부 구현예들에서, 다수의 소프트웨어 양태들은 또한 별개의 프로그램들로서 구현될 수 있다. 마지막으로, 본 명세서에 설명된 소프트웨어 양태를 함께 구현하는 별개의 프로그램들의 임의의 조합은 본 개시내용의 범주 내에 있다. 일부 구현예들에서, 소프트웨어 프로그램들은, 하나 이상의 전자 시스템들 상에서 동작하도록 설치될 때, 소프트웨어 프로그램들의 동작들을 실행시키고 수행하는 하나 이상의 특정 기계 구현예들을 정의한다.

컴퓨터 프로그램(또한, 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 스크립트 또는 코드로서 알려짐)은 컴파일된 언어 또는 해석된 언어, 선언 언어 또는 절차 언어를 포함하는 임의의 형태의 프로그래밍 언어로 기록될 수 있고, 이는 독립형 프로그램으로서, 또는 모듈, 컴포넌트, 서브루틴, 오브젝트 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 유닛으로서의 형태를 포함하는 임의의 형태로 배포(deploy)될 수 있다. 컴퓨터 프로그램은 파일 시스템 내의 파일에 대응할 수 있지만, 대응할 필요는 없다. 프로그램은, 다른 프로그램들 또는 데이터(예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트들)를 유지하는 파일의 일부에, 해당 프로그램에 전용된 단일 파일에, 또는 다수의 협력 파일들(예를 들어, 하나 이상의 모듈들, 서브 프로그램들 또는 코드의 일부들을 저장하는 파일들)에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 상에서, 또는 하나의 사이트에 위치되거나 다수의 사이트들에 걸쳐 분산되고 통신 네트워크에 의해 상호연결되는 다수의 컴퓨터들 상에서 실행되도록 배치될 수 있다.

개시된 프로세스들에서 블록들의 임의의 특정한 순서 또는 계층이 예시적인 접근법들의 예시임이 이해된다. 설계 선호도들에 기초하여, 프로세스들에서 블록들의 특정한 순서 또는 계층이 재배열될 수 있거나, 또는 모든 예시된 블록들이 수행될 수 있는 것이 이해된다. 블록들 중 일부가 동시에 수행될 수 있다. 예를 들어, 소정의 상황들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 게다가, 위에서 설명된 실시예들에서의 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 그러한 분리를 요구하는 것으로 이해되어서는 안되며, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다.

이전의 설명은 당업자가 본 명세서에 설명된 다양한 양태들을 실시할 수 있게 하기 위해 제공된다. 이러한 양태들에 대한 다양한 변형들은 당업자들에게 용이하게 명백할 것이며, 본 명세서에 정의된 일반적인 원리들은 다른 양태들에 적용될 수 있다. 따라서, 청구항들은 본 명세서에 도시된 양태들로 제한되는 것으로 의도되지 않고, 언어 청구항들에 부합하는 전체 범위를 부여받아야 하며, 여기서 단수 요소에 대한 언급은 특별히 그렇게 서술되지 않는 한 "오직 하나만"을 의미하는 것으로 의도되지 않고, 오히려 "하나 이상"을 의미하는 것으로 의도된다. 달리 구체적으로 언급되지 않는 한, "일부"라는 용어는 하나 이상을 지칭한다. 남성 대명사(예를 들어, 그의)는 여성 및 중성(예를 들어, 그녀의 및 그것의)을 포함하고, 그 반대의 경우도 마찬가지이다. 표제들 및 부제목들은, 존재한다면, 오직 편의를 위해서만 사용되며 본 개시내용을 제한하지 않는다.

서술 문구들 "~ 하도록 구성되는", "~ 하도록 동작가능한", 및 "~ 하도록 프로그래밍된"은 대상의 임의의 특정한 유형의 또는 비유형의 변형을 암시하지 않고, 오히려 상호교환가능하게 사용되도록 의도된다. 예를 들어, 동작 또는 컴포넌트를 모니터링 및 제어하도록 구성된 프로세서는 또한 동작을 모니터링 및 제어하도록 프로그래밍된 프로세서 또는 동작을 모니터링 및 제어하도록 동작가능한 프로세서를 의미할 수 있다. 마찬가지로, 코드를 실행시키도록 구성된 프로세서는 코드를 실행시키도록 프로그래밍되거나 코드를 실행시키도록 동작가능한 프로세서로서 해석될 수 있다.

"양태"와 같은 문구는 그러한 양태가 본 기술에 필수적이라거나 또는 그러한 양태가 본 기술의 모든 구성들에 적용된다는 것을 암시하지 않는다. 양태와 관련된 개시내용은 모든 구성들 또는 하나 이상의 구성들에 적용될 수 있다. 양태와 같은 문구는 하나 이상의 양태들을 지칭할 수 있고 그 반대의 경우도 마찬가지이다. "구성"과 같은 문구는 그러한 구성이 본 기술에 필수적이라거나 또는 그러한 구성이 본 기술의 모든 구성들에 적용된다는 것을 암시하지 않는다. 구성과 관련된 개시내용은 모든 구성들 또는 하나 이상의 구성들에 적용될 수 있다. 구성과 같은 문구는 하나 이상의 구성을 지칭할 수 있고 그 반대의 경우도 마찬가지이다.

"예시적인"이라는 단어는 본 명세서에서 "예 또는 예시로서 역할하는"을 의미하기 위해 사용된다. "예"로서 본 명세서에 설명된 임의의 양태 또는 설계는 반드시 다른 양태들 또는 설계에 비해 바람직하거나 유리한 것으로 해석되어야 하는 것은 아니다.

본 기술 분야의 통상의 기술자에게 알려져 있거나 추후에 알려지게 될 본 개시내용 전반에 걸쳐 설명된 다양한 양태들의 요소들에 대한 모든 구조적 및 기능적 등가물들은 참조에 의해 본 명세서에 명시적으로 포함되며 청구항들에 의해 포괄되는 것으로 의도된다. 더욱이, 본 명세서에 개시된 어떠한 것도 그러한 개시가 청구항들에 명시적으로 언급되었는지 여부에 관계없이 일반 대중에 공개된 것으로 의도되지 않는다. 어떠한 청구항 구성요소도, 그 구성요소가 "수단"이라는 문구를 사용하여 명시적으로 인용되지 않는 한, 또는 방법 청구항의 경우 구성요소가 "단계"라는 문구를 사용하여 인용되지 않는 한, 35 U.S.C.§112(f)의 규정 하에서 해석되어서는 안된다. 게다가, 용어 "포함한다(include)", "갖는다(have)" 등이 상세한 설명 또는 청구항들에서 사용되는 한, 그러한 용어는, "포함하다(comprise)"가 청구항에서 전이구로서 이용될 때 해석되는 바와 같이, 용어 "포함하다"와 유사한 방식으로 포함적인 것으로 의도된다.

Claims (29)

1. 방법으로서,
   전자 디바이스에 의해, 사용자로부터 사용자 인가를 위한 요청을 디스플레이하는 단계;
   상기 요청이 디스플레이되는 동안, 상기 사용자의 적어도 하나의 눈의 적어도 하나의 시선 위치를 식별하는 단계;
   상기 적어도 하나의 시선 위치에 기초하여, 인가를 위한 상기 디스플레이된 요청이 상기 사용자에 의해 보였는지 여부를 결정하는 단계; 및
   인가를 위한 상기 디스플레이된 요청이 상기 사용자에 의해 보였다고 결정되는 경우, 상기 사용자 인가를 제공하기 위한 선택가능 옵션을 제공하는 단계를 포함하는, 방법.
2. 제1항에 있어서, 상기 적어도 하나의 시선 위치에 기초하여, 인가를 위한 상기 디스플레이된 요청이 상기 사용자에 의해 보였는지 여부를 결정하는 단계는 상기 적어도 하나의 시선 위치가 적어도 미리결정된 기간 동안 상기 디스플레이된 요청의 경계 내에 있는지 여부를 결정하는 단계를 포함하는, 방법.
3. 제1항에 있어서, 상기 디스플레이된 요청은 상기 인가와 연관된 텍스트를 포함하고, 상기 적어도 하나의 시선 위치에 기초하여, 인가를 위한 상기 디스플레이된 요청이 상기 사용자에 의해 보였는지 여부를 결정하는 단계는 상기 적어도 하나의 시선 위치가 그 사용자가 상기 텍스트를 판독하였다는 것을 나타내는지 여부를 결정하는 단계를 포함하는, 방법.
4. 제3항에 있어서, 상기 적어도 하나의 시선 위치가 그 사용자가 상기 텍스트를 판독하였다는 것을 나타내는지 여부를 결정하는 단계는 상기 적어도 하나의 시선 위치가 판독하는 눈 움직임들에 대응하는 복수의 시간 분리된 시선 위치들을 포함한다고 결정하는 단계를 포함하는, 방법.
5. 제4항에 있어서, 상기 판독하는 눈 움직임들은 적어도 하나의 단속적 운동(saccade) 및 적어도 하나의 고정을 포함하는, 방법.
6. 제4항에 있어서, 상기 판독하는 눈 움직임들에 대응하는 상기 복수의 시간 분리된 시선 위치들이 상기 텍스트의 일부분들을 가로질러 이동함에 따라 상기 텍스트의 상기 일부분들을 하이라이트하는 단계를 추가로 포함하는, 방법.
7. 제1항에 있어서, 상기 사용자 인가를 제공하기 위한 상기 선택가능 옵션을 제공하는 단계는 상기 결정 후에 상기 디스플레이된 요청에 상기 선택가능 옵션을 추가하는 단계를 포함하는, 방법.
8. 제1항에 있어서, 상기 사용자 인가를 제공하기 위한 상기 선택가능 옵션을 제공하는 단계는,
   상기 결정 전에, 상기 사용자 인가를 제공하기 위한 비활성화된 옵션을 제공하는 단계; 및
   상기 결정 후에 상기 선택가능 옵션을 활성화하는 단계를 포함하는, 방법.
9. 제1항에 있어서, 상기 사용자 인가를 위한 요청은 상기 인가를 거절하기 위한 선택가능 옵션을 포함하는, 방법.
10. 제1항에 있어서, 상기 사용자 인가를 위한 요청은 상기 전자 디바이스로부터 데이터를 삭제하기 위한 사용자 인가를 위한 요청인, 방법.
11. 제1항에 있어서, 상기 사용자 인가를 위한 요청은 상기 전자 디바이스에 의해 저장된 데이터에 대한 액세스를 허용하기 위한 사용자 인가를 위한 요청인, 방법.
12. 제1항에 있어서, 상기 사용자 인가를 위한 요청은 상기 전자 디바이스의 컴포넌트에 대한 액세스를 허용하기 위한 사용자 인가를 위한 요청인, 방법.
13. 제1항에 있어서, 상기 사용자 인가를 위한 요청은 상기 전자 디바이스에 의해 디스플레이되는 문서 내의 약정들 및 조건들(terms and conditions)을 수락하기 위한 사용자 인가를 위한 요청인, 방법.
14. 제13항에 있어서, 현재 시선 위치가 상기 문서의 텍스트 부분 내에 있지 않다고 결정되는 경우에 상기 사용자에 의한 상기 문서의 스크롤을 방지하는 단계를 추가로 포함하는, 방법.
15. 방법으로서,
    전자 디바이스에 의해, 애플리케이션의 사용자 인터페이스를 제공하는 단계 - 상기 사용자 인터페이스는 텍스트를 포함함 -;
    사용자의 적어도 하나의 눈의 복수의 시선 위치들을 획득하는 단계;
    상기 복수의 시선 위치들에 기초하여, 상기 사용자가 상기 텍스트를 보았다고 결정하는 단계; 및
    상기 결정에 기초하여 상기 텍스트를 제거하도록 상기 사용자 인터페이스를 수정하는 단계를 포함하는, 방법.
16. 제15항에 있어서, 상기 결정하는 단계는 상기 사용자가 적어도 미리결정된 횟수로 상기 텍스트를 보았다고 결정하는 단계를 포함하는, 방법.
17. 제16항에 있어서, 상기 사용자 인터페이스는 상기 텍스트와 연관된 아이콘을 포함하고, 상기 텍스트를 제거하도록 상기 사용자 인터페이스를 수정하는 단계는 상기 텍스트 없이 상기 아이콘을 제공하는 단계를 포함하는, 방법.
18. 방법으로서,
    전자 디바이스에 의해, 일정 업데이트 빈도로 업데이트되는 시간 의존적 정보를 제시하는 사용자 인터페이스 요소를 디스플레이하는 단계;
    사용자의 적어도 하나의 눈의 복수의 시선 위치들을 획득하는 단계;
    상기 복수의 시선 위치들에 기초하여, 상기 사용자가 상기 디스플레이된 사용자 인터페이스 요소를 보는 관찰 빈도를 결정하는 단계; 및
    상기 관찰 빈도에 기초하여 상기 사용자 인터페이스 요소의 업데이트 빈도를 수정하는 단계를 포함하는, 방법.
19. 제18항에 있어서, 상기 시간 의존적 정보는 날씨 정보, 금융 정보, 뉴스 피드(news feed) 정보, 또는 캘린더 정보 중 하나 이상을 포함하는, 방법.
20. 제18항에 있어서,
    상기 복수의 시선 위치들에 기초하여, 비활성 애플리케이션의 사용자 인터페이스 상에서 상기 사용자의 적어도 하나의 눈의 체류(dwell)를 식별하는 단계; 및
    상기 식별된 체류에 기초하여, 상기 비활성 애플리케이션을 활성화하는 단계를 추가로 포함하는, 방법.
21. 방법으로서,
    전자 디바이스의 카메라로, 물리적 문서의 적어도 하나의 이미지를 획득하는 단계;
    상기 적어도 하나의 이미지에 기초하여 상기 물리적 문서의 위치를 결정하는 단계;
    상기 전자 디바이스의 눈 추적기로, 상기 전자 디바이스의 사용자의 적어도 하나의 눈의 복수의 시선 위치들을 획득하는 단계; 및
    상기 전자 디바이스로 상기 물리적 문서의 위치에 대한 상기 복수의 시선 위치들에 기초하여, 상기 사용자가 상기 물리적 문서를 판독하고 있다고 결정하는 단계를 포함하는, 방법.
22. 제21항에 있어서, 상기 적어도 하나의 이미지에 기초하여, 상기 물리적 문서 내의 텍스트를 식별하는 단계를 추가로 포함하는, 방법.
23. 제22항에 있어서, 상기 전자 디바이스의 디스플레이로 그리고 상기 복수의 시선 위치들에 기초하여, 상기 사용자에 의해 판독되었던 상기 식별된 텍스트의 일부분들의 뷰 상에 오버레이(overlay)되는 하이라이트들을 디스플레이하는 단계를 추가로 포함하는, 방법.
24. 제23항에 있어서, 상기 식별된 텍스트의 상기 일부분들의 뷰는 반투명 또는 투명 디스플레이를 통한 다이렉트 뷰(direct view)이고, 상기 하이라이트들을 디스플레이하는 단계는 상기 투명 또는 반투명 디스플레이로 상기 하이라이트들을 디스플레이하는 단계를 포함하는, 방법.
25. 제23항에 있어서, 상기 전자 디바이스의 디스플레이로 상기 적어도 하나의 이미지를 디스플레이하는 단계를 추가로 포함하고, 상기 하이라이트들을 디스플레이하는 단계는 상기 디스플레이된 적어도 하나의 이미지 상에 오버레이되는 상기 하이라이트들을 디스플레이하는 단계를 포함하는, 방법.
26. 제22항에 있어서,
    상기 복수의 시선 위치들에 기초하여, 상기 사용자가 상기 텍스트를 판독하는 데 어려움을 겪고 있는 것을 검출하는 단계; 및
    상기 검출하는 것에 응답하여, 상기 사용자가 상기 텍스트를 판독하는 것을 돕기 위해 시각적 또는 오디오 향상을 제공하는 단계를 추가로 포함하는, 방법.
27. 제26항에 있어서, 상기 사용자가 어려움을 겪고 있는 것을 검출하는 단계는 상기 사용자의 적어도 하나의 눈의 가늘게 뜨기(squint)를 검출하는 단계를 포함하는, 방법.
28. 제22항에 있어서,
    단어와 연관된 사운드를 식별하는 단계;
    상기 복수의 시선 위치들에 기초하여, 상기 사용자가 상기 단어를 판독하고 있다고 결정하는 단계; 및
    상기 식별된 사운드를 출력하는 단계를 추가로 포함하는, 방법.
29. 전자 디바이스로서,
    디스플레이;
    사용자의 적어도 하나의 눈에 대한 눈 추적 데이터를 제공하도록 구성된 눈 추적기; 및
    프로세싱 회로부를 포함하며, 상기 프로세싱 회로부는,
    상기 디스플레이에 의한 디스플레이를 위해, 상기 사용자로부터 사용자 인가를 위한 요청을 제공하도록;
    상기 요청이 디스플레이되는 동안, 상기 눈 추적기로부터의 눈 추적 데이터에 기초하여 적어도 하나의 시선 위치를 식별하도록;
    상기 적어도 하나의 시선 위치에 기초하여, 인가를 위한 상기 디스플레이된 요청이 상기 사용자에 의해 보였는지 여부를 결정하도록; 그리고
    인가를 위한 상기 디스플레이된 요청이 상기 사용자에 의해 보였다고 결정되는 경우, 상기 사용자 인가를 제공하기 위한 선택가능 옵션을 제공하도록 구성되는, 전자 디바이스.

Images