KR20150032507A - 전자 미디어 콘텐츠용 동기화된 사운드트랙을 위한 재생 시스템 - Google Patents

Abstract

전자 텍스트를 표시하고 상기 전자 텍스트에 대한 사운드트랙의 재생을 동기화하기 위한 방법. 상기 사운드트랙은 상기 전자 텍스트의 상응하는 텍스트 영역 동안 재생되도록 구성된 다수의 오디오 영역을 포함한다. 오디오 출력 시스템에서 사운드트랙의 오디오 영역의 재생은 상기 사용자의 판독 위치를 나타내는 판독 위치 카운터에 기초하고 있고, 이러한 판독 위치 카운터는 사용자 판독 속도 변수에 기초하여 증가한다. 상기 사용자 판독 속도 변수는 상기 사용자의 판독 스캔율을 결정하기 위해 아이트래커로부터의 눈 추적 신호를 처리함으로써 갱신된다.

Description

전자 미디어 콘텐츠용 동기화된 사운드트랙을 위한 재생 시스템{PLAYBACK SYSTEM FOR SYNCHRONISED SOUNDTRACKS FOR ELECTRONIC MEDIA CONTENT}

본 발명은 텍스트만 또는 이미지, 비디오 또는 애니메이션과 결합되어 제공되는 텍스트를 포함하는 멀티미디어 콘텐츠(하지만 이에 제한되지는 않는다)와 같은 전자 미디어 콘텐츠용 동기화된 사운드트랙을 위한 재생 시스템 및 방법에 관한 것이다. 이러한 사운드트랙의 재생은 사용자의 개인의 판독 속도와 동기화된다.

판독 경험을 향상시키기 위해, 전자책과 같이 텍스트의 콘텐츠에 관한 오디오 사운드트랙이 생성되고 사용자가 텍스트를 읽는 동안 사용자에게 재생되는 다양한 시스템이 제안되어 있다. 이러한 시스템의 일부는 사운드트랙의 재생을 사용자의 판독 속도와 동기화시키는 것을 목표로 한다.

이러한 시스템의 하나가 그 내용이 여기에 언급되어 전체가 통합된 본 출원인의 공동 계류중인 국제 PCT 특허 출원 공개 WO2013/015694에 기술되어 있다. 이러한 시스템에서, 사용자가 전자 텍스트를 읽고 있는 동안 동시에 및/또는 연속으로 재생되도록 구성된 상이한 타입의 오디오 트랙을 포함하는, 전자책과 같은, 전자 텍스트용 사운드트랙이 생성된다. 사운드트랙의 재생은 사용자의 판독 속도와 동기화된다. 사운드트랙은 사용자가 전자 텍스트의 특정 부분을 읽고 있을 때 동기화된 방식으로 전자 텍스트의 특정 부분에서 또는 특정 포인트에서 재생되도록 구성된 주변 잡음, 사운드 효과, 및 배경 음악을 포함하는 상이한 오디오 타입의 조합을 포함할 수 있다. WO2013/015694 내의 사운드트랙은 전자 텍스트의 지정된 텍스트 부분 동안 재생되도록 지정된 다수의 오디오 영역을 포함하고 있다. 각 오디오 영역은 재생할 오디오 트랙, 오디오 영역이 재생을 시작할 전자 텍스트 내의 시작 위치, 및 오디오 영역이 재생을 중지할 전자 텍스트 내의 중지 위치를 정의하는 오디오 데이터를 포함하고 있다. 기술된 하나의 실시예에서, 전자 텍스트는 단어의 수에 기초하여 지수화되고 오디오 영역의 시작 및 중지 위치는 특정 시작 및 상이한 중지 단어와 관련되어 있다.

WO2013/015694는 전자 텍스트를 표시하고 연관된 사운드트랙의 재생을 제어하기 위한 다양한 사용자 재생 시스템을 기술하고 있다. 이러한 사용자 재생 시스템은 스마트폰, 태블릿 및 전용 전자책 장치와 같은 휴대형 소비자 전자 장치 또는 데스크톱 또는 랩톱의 퍼스널 컴퓨터를 포함하는 다양한 사용자 하드웨어 장치에서 구현될 수 있다. 모든 오디오 트랙을 포함하는 사운드트랙 데이터 파일은 전체가 미리 다운로드되고 사용자 장치에 국부적으로 저장된 후에 재생이 시작될 수 있다. 일부 실시예에서, 사운드트랙 및 오디오 트랙 파일은 다운로드 및 재생을 위한 단일 멀티미디어 데이터 파일로서 전자 텍스트 파일과 결합되어 있다. 사용자 재생 시스템은 국부적으로 저장된 다운로드된 파일을 처리하고, 전자 텍스트 내의 사용자의 판독 위치를 추정하는 판독 위치 카운터에 따라 오디오의 재생을 조정한다. 판독 위치 카운터는 사용자의 판독 위치를 나타내는 사용자 판독 속도 변수에 의존하는 비율로 증가한다. 사용자 판독 속도 변수의 정확도는 사운드트랙 재생의 동기화의 정확도에 영향을 준다. 일부 형태에서, 판독 속도 변수는 사용자에 의해 수동으로 조정되고, 다른 형태에서, 판독 속도 변수는 페이지 내의 단어의 수와 이러한 페이지를 읽는데 필요한 시간에 기초하여 각 페이지 넘김(turn)으로부터 자동으로 계산되고 조정될 수 있다.

특허 명세서, 다른 외부 문서, 또는 다른 정보 소스를 언급한 이러한 명세서에서, 이것의 목적은 일반적으로 본 발명의 특징을 설명하기 위한 상황을 제공하는 것이다. 달리 구체적으로 언급하지 않으면, 이러한 외부 문서에 대한 언급은 이러한 문서, 또는 이러한 정보의 소스가 종래기술이거나, 임의의 범위에서 당업분야의 주지된 일반적인 지식의 일부를 형성한다고 인정하는 것으로 해석되어서는 안된다.

본 발명의 적어도 일부 실시예의 목적은 자동 판독 속도 검출의 향상된 형태를 제공하는 전자 미디어 콘텐츠용 동기화된 사운드트랙에 대한 재생 시스템 및/또는 방법을 제공하는 것, 또는 적어도 일반인에게 유용한 선택을 제공하는 것이다.

제1 특징에서, 본 발명은 광범위하게, 전자 텍스트를 표시하고 상기 전자 텍스트에 대한 사운드트랙의 재생을 동기화하기 위한 방법으로서, 상기 사운드트랙은 상기 전자 텍스트의 상응하는 텍스트 영역 동안 재생되도록 구성된 다수의 오디오 영역을 포함하고, 각 오디오 영역은 상기 오디오 영역에서의 재생을 위한 오디오 트랙; 상기 오디오 트랙의 재생이 시작될 곳에 상응하는 전자 텍스트 내의 단어를 가리키는 시작 텍스트 위치; 및 상기 오디오 트랙의 재생이 중지될 곳에 상응하는 전자 텍스트 내의 단어를 가리키는 중지 텍스트 위치를 포함하는 오디오 데이터에 의해 한정되고, 상기 방법은 상기 전자 텍스트의 적어도 일부를 디스플레이에 표시하는 단계; 상기 사용자의 적어도 하나의 눈의 운동을 아이트래커(eye tracker)에 의해 추적하고 대표적인 눈 추적 신호를 생성하는 단계; 상기 눈 추적 신호에 기초하여 상기 사용자의 판독 스캔율(scan rate)을 결정하는 단계; 상기 결정된 판독 스캔율 및, 상기 전자 텍스트 및/또는 사용자에 관한 보조 스캔율 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하는 단계; 상기 사용자의 판독 속도의 계산된 추정값에 적어도 부분적으로 기초하여 상기 사용자의 판독 속도를 나타내는 사용자 판독 속도 변수를 갱신하는 단계; 상기 사용자가 현재 읽고 있는 전자 텍스트 내의 단어를 가리키는 추정된 텍스트 위치에 상응하고 상기 사용자 판독 속도 변수에 기초한 비율로 증가하는 판독 위치 카운터를 유지하는 단계; 및 상기 오디오 영역의 재생을 상기 사용자의 추정된 판독 위치와 동기화하기 위해 상기 오디오 데이터 및 판독 위치 카운터에 기초하여 오디오 출력 시스템에서 상기 사운드트랙의 오디오 영역의 재생을 제어하는 단계를 포함하는, 전자 텍스트를 표시하고 상기 전자 텍스트에 대한 사운드트랙의 재생을 동기화하기 위한 방법으로 이루어져 있다.

실시예에서, 상기 판독 스캔율은 라인 스캔율이고 상기 라인 스캔율을 결정하는 단계는, 라인 변경 눈 운동을 검출하기 위해 상기 아이트래커로부터의 상기 눈 추적 신호를 처리하는 단계; 검출된 라인 변경 눈 운동 및 타이머에 기초하여 상기 사용자의 라인 스캔율을 결정하는 단계; 및 상기 라인 스캔율 및 라인 당 전자 텍스트의 평균 또는 실제 양을 나타내는 보조 스캔율 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하는 단계를 포함한다. 하나의 형태에서, 상기 방법은 상기 사용자의 라인 스캔율을 다수의 연속 검출된 라인 변경 운동에 대한 평균 라인 스캔율로서 결정하는 단계를 포함한다. 하나의 실시예에서, 상기 라인 스캔율은 이동 평균이다.

다른 실시예에서, 상기 판독 스캔율은 페이지 넘김율이고 상기 페이지 넘김율을 결정하는 단계는, 페이저 변경 눈 운동을 검출하기 위해 상기 아이트래커로부터의 눈 추적 신호를 처리하는 단계; 검출된 페이지 변경 눈 운동 사이의 시간 간격에 기초하여 상기 사용자의 페이지 넘김율을 결정하는 단계; 및 상기 페이지 넘김율 및, 페이지 당 전자 텍스트의 평균 또는 실제 양을 나타내는 보조 스캔율 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하는 단계를 포함한다.

다른 실시예에서, 상기 판독 스캔율은 페이지 넘김율이고 상기 페이지 넘김율을 결정하는 단계는, 상기 사용자가 상기 전자 텍스트의 새 페이지로 넘길 때 타이머를 시작하는 단계; 페이지 변경 눈 운동을 검출하기 위해 상기 아이트래커로부터의 눈 추적 신호를 처리하는 단계; 및 상기 새 페이지 상의 전자 텍스트의 양을 나타내는 보조 스캔율 데이터 및 상기 검출된 페이지 변경 눈 운동에서의 타이머의 값에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하는 단계를 포함한다.

실시예에서, 상기 방법은 페이지 변경 눈 운동을 검출하도록 상기 눈 추적 신호를 처리하는 단계, 및 각각 검출된 페이지 변경 눈 운동에 응답하여 페이지 넘김 신호를 생성하여 전자 텍스트 표시 모듈이 상기 전자 텍스트 내의 다음 페이지로 넘기도록 하는 단계를 더 포함한다.

다른 실시예에서, 상기 판독 스캔율은 단속성 운동율(saccade rate)이고 상기 단속성 운동율을 결정하는 단계는, 상기 단속성 운동 사이의 시선 고정점을 검출하도록 상기 아이트래커로부터의 눈 추적 신호를 처리하는 단계; 상기 검출된 시선 고정점 사이의 시간 간격에 기초하여 상기 사용자의 단속성 운동율을 결정하는 단계; 및 상기 단속성 운동율 및 시선 고정점 사이의 전자 텍스트의 평균 또는 실제 양을 나타내는 보조 스캔율 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하는 단계를 포함한다. 하나의 형태에서, 상기 보조 스캔율 데이터는 상기 사용자에 대한 단속성 운동 당 횡단된 텍스트의 평균 양을 나타내는 데이터를 포함한다.

제2 특징에서, 본 발명은 광범위하게, 전자 텍스트를 표시하고 사용자의 판독 속도에 동기화된 사운드트랙의 재생을 제어하기 위한 시스템으로서, 상기 전자 텍스트를 표시하도록 구성된 디스플레이; 상기 시스템을 제어하기 위해 사용자 입력을 수신하도록 구성된 사용자 인터페이스; 상기 사용자가 듣는 오디오 출력을 생성하도록 동작가능한 오디오 출력 시스템; 상기 전자 텍스트를 나타내는 전자 텍스트 데이터를 처리하고 사용자 인터페이스로부터의 사용자 입력에 응답하여 디스플레이 상의 전자 텍스트의 표시를 제어하도록 구성된 전자 텍스트 표시 모듈; 상기 사용자가 현재 읽고 있는 전자 텍스트 내의 단어를 나타내는 추정된 현재 텍스트 위치에 상응하고 상기 사용자의 판독 속도를 나타내는 구성가능한 사용자 판독 속도 변수에 적어도 부분적으로 기초하는 비율로 증가하는 판독 위치 카운터를 생성하도록 구성되고; 상기 오디오 출력 시스템에서 상기 사운드트랙의 재생을 제어하기 위해 상기 사운드트랙을 나타내고 상기 사운드트랙에 대한 다수의 오디오 영역을 정의하는 사운드트랙 데이터를 처리하도록 구성된 사운드트랙 재생 모듈로서, 각 오디오 영역은, 상기 오디오 영역에서의 재생을 위한 오디오 트랙; 상기 오디오 영역의 재생이 시작될 곳에 상응하는 전자 텍스트 내의 단어를 가리키는 시작 텍스트 위치; 및 상기 오디오 영역의 재생이 중지될 곳에 상응하는 전자 텍스트 내의 단어를 가리키는 중지 텍스트 위치를 포함하는 오디오 데이터에 의해 한정되고, 상기 사운드트랙 재생 모듈은 상기 전자 텍스트의 사용자의 판독에 상기 사운드트랙의 오디오 영역의 재생을 동기화시키기 위해 상기 판독 위치 카운터에 기초하여 상기 오디오 영역의 재생을 조정하도록 구성된 사운드트랙 재생 모듈; 및 대표적인 눈 추적 신호를 생성하기 위해 아이트래커에 의해 상기 사용자의 적어도 하나의 눈의 운동을 추적하고; 상기 눈 추적 신호에 기초하여 상기 사용자의 판독 스캔율을 결정하고; 상기 결정된 판독 스캔율 및 상기 전자 텍스트 및/또는 사용자에 관한 보조 스캔율 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하도록 구성된 판독 속도 검출기를 포함하고, 상기 사운드트랙 재생 모듈은 상기 판독 속도 검출기에 의해 계산된 상기 사용자의 판독 속도의 추정값에 적어도 부분적으로 기초하여 상기 사용자 판독 속도 변수를 갱신하도록 구성된, 전자 텍스트를 표시하고 사용자의 판독 속도에 동기화된 사운드트랙의 재생을 제어하기 위한 시스템으로 이루어져 있다.

하나의 실시예에서, 상기 판독 스캔율은 라인 스캔율이고 상기 판독 속도 검출기는, 라인 변경 눈 운동을 검출하도록 상기 아이트래커로부터의 눈 추적 신호를 처리하고; 상기 검출된 라인 변경 운동 및 타이머에 기초하여 상기 사용자의 라인 스캔율을 결정하고; 상기 라인 스캔율 및, 라인 당 전자 텍스트의 평균 또는 실제 양을 나타내는 보조 스캔율 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하도록 구성되어 있다. 하나의 형태에서, 상기 판독 속도 검출기는 상기 사용자의 라인 스캔율을 다수의 연속 검출된 라인 변경 운동에 대한 평균 라인 스캔율로서 결정하도록 구성되어 있다. 하나의 예에서, 상기 라인 스캔율은 이동 평균이다.

다른 실시예에서, 상기 판독 스캔율은 페이지 넘김율이고 상기 판독 속도 검출기는, 페이저 변경 눈 운동을 검출하기 위해 상기 아이트래커로부터의 눈 추적 신호를 처리하고; 검출된 페이지 변경 눈 운동 사이의 시간 간격에 기초하여 상기 사용자의 페이지 넘김율을 결정하고; 상기 페이지 넘김율 및, 페이지 당 전자 텍스트의 평균 또는 실제 양을 나타내는 보조 스캔율 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하도록 구성되어 있다.

다른 실시예에서, 상기 판독 스캔율은 페이지 넘김율이고 상기 판독 속도 검출기는, 상기 사용자가 상기 전자 텍스트의 새 페이지로 넘길 때 타이머를 시작하고; 페이지 변경 눈 운동을 검출하기 위해 상기 아이트래커로부터의 눈 추적 신호를 처리하고; 상기 새 페이지 상의 전자 텍스트의 양을 나타내는 보조 스캔율 데이터 및 상기 검출된 페이지 변경 눈 운동에서의 타이머의 값에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하도록 구성되어 있다.

실시예에서, 상기 시스템은 또한, 페이지 변경 눈 운동을 검출하도록 상기 눈 추적 신호를 처리하고, 각각 검출된 페이지 변경 눈 운동에 응답하여 페이지 넘김 신호를 생성하여 전자 텍스트 표시 모듈이 상기 전자 텍스트 내의 다음 페이지로 넘기도록 구성되어 있다.

다른 실시예에서, 상기 판독 스캔율은 단속성 운동율이고 상기 판독 속도 검출기는, 상기 단속성 운동 사이의 시선 고정점을 검출하도록 상기 아이트래커로부터의 눈 추적 신호를 처리하고; 상기 검출된 시선 고정점 사이의 시간 간격에 기초하여 상기 사용자의 단속성 운동율을 결정하고; 상기 단속성 운동율 및 시선 고정점 사이의 전자 텍스트의 평균 또는 실제 양을 나타내는 보조 스캔율 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하도록 구성되어 있다. 하나의 형태에서, 상기 보조 스캔율 데이터는 상기 사용자에 대한 단속성 운동 당 횡단된 텍스트의 평균 양을 나타내는 데이터를 포함한다.

실시예에서, 상기 시스템은 하드웨어 시스템에서 구현되고 상기 아이트래커는 광센서 또는, 적어도 상기 사용자의 눈의 하나 또는 모두를 포착하는 시야를 갖는 센서를 포함한다.

제3 특징에서, 본 발명은 광범위하게, 전자 텍스트 내의 독자의 판독 위치를 추정하는 방법으로서, 제1 시각에 사용자의 제1 판독 위치를 파악하도록 제1 수단을 사용하는 단계; 독자 눈 운동을 추적함으로써 판독 스캔율을 검출하는 단계; 판독 속도를 추정하기 위해 상기 판독 스캔율을 사용하는 단계; 및 상기 제1 시각으로부터 증가된 시간, 상기 추정된 판독 속도 및 상기 제1 판독 위치에 기초하여 제2 시각에서 상기 사용자의 판독 위치를 추정하는 단계를 포함하는, 전자 텍스트 내의 독자의 판독 위치를 추정하는 방법으로 이루어져 있다.

실시예에서, 상기 제1 판독 위치는 페이지 넘김 신호, 상기 전자 텍스트를 보여주는 터치 스크린 디스플레이 상의 터치 입력, 및/또는 전자 텍스트를 횡단하는 네비게이션 입력중 하나로부터 결정된다.

제4 특징에서, 본 발명은 광범위하게, 전자 텍스트를 표시하고 상기 전자 텍스트에 대한 사운드트랙의 재생을 동기화하기 위한 방법으로서, 상기 사운드트랙은 상기 전자 텍스트의 상응하는 텍스트 영역 동안 재생되도록 구성된 다수의 오디오 영역을 포함하고, 각 오디오 영역은 상기 오디오 영역에서의 재생을 위한 오디오 트랙; 상기 오디오 트랙의 재생이 시작될 곳에 상응하는 전자 텍스트 내의 단어를 가리키는 시작 텍스트 위치; 및 상기 오디오 트랙의 재생이 중지될 곳에 상응하는 전자 텍스트 내의 단어를 가리키는 중지 텍스트 위치를 포함하는 오디오 데이터에 의해 한정되고, 상기 방법은 상기 전자 텍스트의 적어도 일부를 디스플레이에 표시하는 단계; 라인 변경 눈 운동을 검출하기 위해 상기 사용자의 적어도 하나의 눈의 운동을 아이트래커에 의해 추적하는 단계; 상기 결정된 라인 변경 운동 및 타이머에 기초하여 상기 사용자의 라인 스캔율을 결정하는 단계; 상기 결정된 라인 스캔율 및, 라인 당 전자 텍스트의 평균 또는 실제 양을 나타내는 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하는 단계; 상기 사용자의 판독 속도의 계산된 추정값에 적어도 부분적으로 기초하여 상기 사용자의 판독 속도를 나타내는 사용자 판독 속도 변수를 갱신하는 단계; 상기 사용자가 현재 읽고 있는 전자 텍스트 내의 단어를 가리키는 추정된 텍스트 위치에 상응하고 상기 사용자 판독 속도 변수에 기초한 비율로 증가하는 판독 위치 카운터를 유지하는 단계; 및 상기 오디오 영역의 재생을 상기 사용자의 추정된 판독 위치와 동기화하기 위해 상기 오디오 데이터 및 판독 위치 카운터에 기초하여 오디오 출력 시스템에서 상기 사운드트랙의 오디오 영역의 재생을 제어하는 단계를 포함하는, 전자 텍스트를 표시하고 상기 전자 텍스트에 대한 사운드트랙의 재생을 동기화하기 위한 방법으로 이루어져 있다.

일부 실시예에서, 상기 방법은 상기 사용자의 라인 스캔율을 다수의 연속 검출된 라인 변경 운동에 대한 평균 라인 스캔율로서 결정하는 단계를 포함한다. 일부 구성에서, 상기 라인 스캔율은 이동 평균일 수 있다.

일부 구성에서, 상기 방법은 페이지 변경 눈 운동을 검출하기 위해 아이트래커에 의해 사용자의 적어도 하나의 눈의 운동을 추적하는 단계; 검출된 페이지 변경 눈 운동 사이의 시간 간격에 기초하여 상기 사용자의 페이지 넘김율을 결정하는 단계; 상기 페이지 넘김율 및, 페이지 당 전자 텍스트의 평균 또는 실제 양을 나타내는 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하는 단계; 및 상기 계산된 사용자의 판독 속도의 추정값에 기초하여 상기 사용자 판독 속도 변수를 더 갱신하는 단계를 더 포함한다.

일부 구성에서, 본 발명은 상기 사용자가 상기 전자 텍스트의 새 페이지로 넘길 때 타이머를 시작하는 단계; 페이지 변경 눈 운동을 검출하기 위해 아이트래커에 의해 사용자의 적어도 하나의 눈의 운동을 추적하는 단계; 상기 새 페이지 상의 전자 텍스트의 양을 나타내는 데이터 및 상기 검출된 페이지 변경 눈 운동에서의 타이머의 값에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하는 단계; 및 상기 계산된 사용자의 판독 속도의 추정값에 기초하여 상기 사용자 판독 속도 변수를 더 갱신하는 단계를 더 포함한다.

일부 구성에서, 본 발명은 페이지 변경 눈 운동을 검출하기 위해 아이트래커에 의해 사용자의 적어도 하나의 눈의 운동을 추적하는 단계, 및 각각 검출된 페이지 변경 눈 운동에 응답하여 페이지 넘김 신호를 생성하여 전자 텍스트 표시 모듈이 상기 전자 텍스트 내의 다음 페이지로 넘기도록 하는 단계를 더 포함한다.

일부 구성에서, 본 발명은 단속성 운동 사이의 시선 고정점을 검출하기 위해 사용자의 적어도 하나의 눈의 운동을 추적하는 단계; 상기 검출된 시선 고정점 사이의 시간 간격에 기초하여 상기 사용자의 단속성 운동율을 결정하는 단계; 상기 단속성 운동율 및 시선 고정점 사이의 전자 텍스트의 평균 또는 실제 양을 나타내는 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하는 단계; 및 상기 계산된 사용자의 판독 속도의 추정값에 기초하여 상기 사용자 판독 속도 변수를 더 갱신하는 단계를 더 포함한다.

제5 특징에서, 본 발명은 광범위하게, 전자 텍스트를 표시하고 사용자의 판독 속도에 동기화된 사운드트랙의 재생을 제어하기 위한 시스템으로서, 상기 전자 텍스트를 표시하도록 구성된 디스플레이; 상기 시스템을 제어하기 위해 사용자 입력을 수신하도록 구성된 사용자 인터페이스; 상기 사용자가 듣는 오디오 출력을 생성하도록 동작가능한 오디오 출력 시스템; 상기 전자 텍스트를 나타내는 전자 텍스트 데이터를 처리하고 사용자 인터페이스로부터의 사용자 입력에 응답하여 디스플레이 상의 전자 텍스트의 표시를 제어하도록 구성된 전자 텍스트 표시 모듈; 상기 사용자가 현재 읽고 있는 전자 텍스트 내의 단어를 나타내는 추정된 현재 텍스트 위치에 상응하고 상기 사용자의 판독 속도를 나타내는 구성가능한 사용자 판독 속도 변수에 적어도 부분적으로 기초하는 비율로 증가하는 판독 위치 카운터를 생성하도록 구성되고; 상기 오디오 출력 시스템에서 상기 사운드트랙의 재생을 제어하기 위해 상기 사운드트랙을 나타내고 상기 사운드트랙에 대한 다수의 오디오 영역을 정의하는 사운드트랙 데이터를 처리하도록 구성된 사운드트랙 재생 모듈로서, 각 오디오 영역은, 상기 오디오 영역에서의 재생을 위한 오디오 트랙; 상기 오디오 영역의 재생이 시작될 곳에 상응하는 전자 텍스트 내의 단어를 가리키는 시작 텍스트 위치; 및 상기 오디오 영역의 재생이 중지될 곳에 상응하는 전자 텍스트 내의 단어를 가리키는 중지 텍스트 위치를 포함하는 오디오 데이터에 의해 한정되고, 상기 사운드트랙 재생 모듈은 상기 전자 텍스트의 사용자의 판독에 상기 사운드트랙의 오디오 영역의 재생을 동기화시키기 위해 상기 판독 위치 카운터에 기초하여 상기 오디오 영역의 재생을 조정하도록 구성된 사운드트랙 재생 모듈; 및 라인 변경 눈 운동을 검출하기 위해 아이트래커에 의해 상기 사용자의 적어도 하나의 눈의 운동을 추적하고; 상기 검출된 라인 변경 운동 및 타이머에 기초하여 상기 사용자의 라인 스캔율을 결정하고; 상기 라인 스캔율 및 라인 당 전자 텍스트의 평균 또는 실제 양을 나타내는 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하도록 구성된 판독 속도 검출기를 포함하고, 상기 사운드트랙 재생 모듈은 상기 판독 속도 검출기에 의해 계산된 상기 사용자의 판독 속도의 추정값에 적어도 부분적으로 기초하여 상기 사용자 판독 속도 변수를 갱신하도록 구성된, 전자 텍스트를 표시하고 사용자의 판독 속도에 동기화된 사운드트랙의 재생을 제어하기 위한 시스템으로 이루어져 있다.

일부 구성에서, 상기 판독 속도 검출기는 상기 사용자의 라인 스캔율을 다수의 연속 검출된 라인 변경 운동에 대한 평균 라인 스캔율로서 결정하도록 구성될 수 있다. 일부 구성에서, 상기 라인 스캔율은 이동 평균일 수 있다.

일부 구성에서, 상기 판독 속도 검출기는 또한, 페이지 변경 눈 운동을 검출하도록 아이트래커에 이해 사용자의 적어도 하나의 눈의 운동을 추적하고; 검출된 페이지 변경 눈 운동 사이의 시간 간격에 기초하여 상기 사용자의 페이지 넘김율을 결정하고; 상기 페이지 넘김율 및, 페이지 당 전자 텍스트의 평균 양을 나타내는 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하도록 구성될 수 있고, 상기 사운드트랙 재생 모듈은 상기 계산된 사용자의 판독 속도의 추정값에 기초하여 판독 속도 변수를 더 갱신하도록 구성되어 있다.

일부 구성에서, 상기 판독 속도 검출기는 또한, 상기 사용자가 상기 전자 텍스트의 새 페이지로 넘길 때 타이머를 시작하고; 페이지 변경 눈 운동을 검출하기 위해 상기 아이트래커에 의해 상기 사용자의 적어도 하나의 눈의 운동을 추적하고; 상기 페이지 상의 전자 텍스트의 양을 나타내는 데이터 및 상기 검출된 페이지 변경 눈 운동에서의 타이머의 값에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하도록 구성될 수 있고, 상기 사운드트랙 재생 모듈은 상기 계산된 사용자의 판독 속도의 추정값에 기초하여 판독 속도 변수를 더 갱신하도록 구성되어 있다.

일부 구성에서, 상기 시스템은 또한, 페이지 변경 눈 운동을 검출하도록 상기 아이트래커에 의해 사용자의 적어도 하나의 눈의 운동을 추적하고, 각각 검출된 페이지 변경 눈 운동에 응답하여 페이지 넘김 신호를 생성하여 전자 텍스트 표시 모듈이 상기 전자 텍스트 내의 다음 페이지로 넘기도록 구성될 수 있다.

일부 구성에서, 상기 판독 속도 검출기는 또한, 상기 단속성 운동 사이의 시선 고정점을 검출하도록 상기 사용자의 적어도 하나의 눈의 운동을 추적하고; 상기 검출된 시선 고정점 사이의 시간 간격에 기초하여 상기 사용자의 단속성 운동율을 결정하고; 상기 단속성 운동율 및 연속 시선 고정점 사이의 전자 텍스트의 평균 양을 나타내는 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하도록 구성될 수 있고, 상기 사운드트랙 재생 모듈은 상기 계산된 사용자의 판독 속도의 추정값에 기초하여 판독 속도 변수를 더 갱신하도록 구성되어 있다.

일부 구성에서, 상기 시스템은 하드웨어 시스템에서 구현되고 상기 아이트래커는 광센서 또는, 적어도 상기 사용자의 눈의 하나 또는 모두를 포착하는 시야를 갖는 센서를 포함한다. 하나의 예에서, 상기 하드웨어 시스템은 데스크톱, 랩톱, 태블릿, 스마트폰 등일 수 있고, 광센서는 하드웨어 시스템의 디지털 카메라를 포함할 수 있다. 일부 예에서, 디지털 카메라는 디스플레이의 주변에 제공되거나 위치될 수 있다. 다른 예에서, 상기 하드웨어 시스템은 하나 이상의 사용자 대면 카메라가 제공되는, 머리에 장착되는 디스플레이와 같은, 착용 컴퓨터 또는 컴퓨팅 장치일 수 있다. 다른 예에서, 상기 하드웨어는 눈 운동을 검출하기 위해 콘택트 렌즈 또는 안경에 내장될 수도 있다.

일부 구성에서, 아이트래커는 사용자의 눈의 이미지(정지영상 또는 동영상)를 포착하고 처리함으로써 사용자의 눈 운동을 검출하도록 구성될 수 있다. 일부 형태에서, 상기 눈 운동은 상기 이미지로부터 직접 검출된다. 다른 형태에서, 상기 이미지는 디스플레이 상의 사용자의 응시점(예를 들어, 화소 위치)를 검출하기 위해 처리되고, 상기 눈 운동은 상기 검출된 응시점의 운동의 추적을 통해 간접적으로 검출된다.

제6 특징에서, 본 발명은 광범위하게, 전자 텍스트 내의 독자의 판독 위치를 추정하는 방법으로서, 제1 시각에 사용자의 제1 판독 위치를 파악하도록 제1 수단을 사용하는 단계; 독자 눈 운동을 추적함으로써 라인 스캔율을 검출하는 단계; 판독 속도를 추정하기 위해 상기 라인 스캔율을 사용하는 단계; 및 상기 제1 시각으로부터 증가된 시간, 상기 추정된 판독 속도 및 상기 제1 판독 위치에 기초하여 제2 시각에서 상기 사용자의 판독 위치를 추정하는 단계를 포함하는, 전자 텍스트 내의 독자의 판독 위치를 추정하는 방법으로 이루어져 있다.

일부 구성에서, 상기 제1 판독 위치는 페이지 넘김 신호, 상기 전자 텍스트를 보여주는 터치 스크린 디스플레이 상의 터치 입력, 또는 전자 텍스트를 횡단하는 다른 네비게이션 입력에 기초하여 결정된다.

제7 특징에서, 본 발명은 광범위하게, 처리 장치에서 실행될 때, 처리 장치가 본 발명의 제1, 제3, 제4 또는 제6 특징의 방법을 실행하도록 하는 컴퓨터 판독가능 명령어를 저장한 비임시 컴퓨터 판독가능 매체로 이루어져 있다.

정의

본 명세서 및 독립 청구항에 사용된 용어 "사운드트랙"은 달리 언급하지 않으면, 전자 미디오 콘텐츠를 읽는 동안 재생되기 위한 사운드트랙으로서, 전자 미디어 콘텐츠 내의 사전결정된 판독 위치 또는 영역에서 재생되도록 구성된 다수의 오디오 영역을 포함하고 사운드트랙의 재생 타이밍이 사용자의 추정된 판독 위치 및/또는 판독 속도에 기초하여 사용자와 동기화되는 WO2013/015694에 기술된 타입의 사운드트랙을 의미한다.

본 명세서 및 독립 청구항에 사용된 구 "텍스트 위치"는 달리 언급하지 않으면, 보통 전자 텍스트의 라인 또는 단어 또는 문자와 같은 전자 텍스트 내의 위치 또는 전자 텍스트 내의 임의의 다른 임의로 선택된 위치를 말하도록 의도되었고, 이러한 위치는 예를 들어, 라인 수, 단어 수, 문자를 포함하는, 지수화된 전자 텍스트에 대한 전자 텍스트 내의 라인, 단어 또는 문자의 지수 위치에 상응하는 지수 값, 숫자등; 또는 전자 텍스트 내의 위치를 식별하기 위한 임의의 다른 위치 참조 스킴을 포함하는(하지만 이제 제한되지 않는다) 직접 또는 간접적으로, 전자 텍스트에 적절한 임의의 적절한 방식으로 식별될 수 있다.

본 명세서 및 독립 청구항에 사용된 구 "하드웨어 시스템"은 달리 언급하지 않으면, 스마트폰, 휴대폰, 태블릿, 전자책판독기 또는 전자책 장치, 랩톱, 및 노트북, 게이밍 머신 또는 콘솔, 서버, 스마트 텔레비전, 데스크톱 컴퓨터와 같은 범용 컴퓨터, 전용 컴퓨터, 머리 장착 디스플레이 또는 안경류 등과 같은 착용 컴퓨터 또는 컴퓨팅 장치와 같은 휴대형 또는 비휴대형 소비자 전자 장치(이에 제한되지 않는다)를 포함하는 임의의 형태의 컴퓨티, 프로세싱 또는 프로그래머블 전자 장치, 플랫폼 또는 시스템을 의미하고, 함께 동작하는 하나 이상의 링크되거나 통신하는 하드웨어 또는 처리 장치를 포함하도록 의도되었다.

본 명세서 및 독립 청구항에 사용된 구 "전자 미디어 콘텐츠"는 달리 언급하지 않으면, 고정되거나 동적인 이미지 또는 그래픽(예를 들어, 비디오)와 결합되거나 단독으로, 전자 텍스트를 포함하는 임의의 전자 미디오 콘텐츠를 의미하도록 의도되었고, 이러한 전자 미디어 콘텐츠는 전자 디스플레이에 만들어질 수 있는 임의의 포맷 또는 파일 타입일 수 있고, 전자책, 웹페이지, 디지털 비디오, 코믹 또는 슬라이드 쇼 프레젠테이션을 포함하지만 이에 제한되는 것은 아니다.

본 명세서 및 독립 청구항에 사용된 구 "판독 스캔율"은 달리 언급하지 않으면, 사용자가 텍스트 및/또는 이미지를 읽거나 스캔하는 속도를 나타내는 측정값을 의미하도록 의도되었고, 예를 들어, 사용자가 단위 시간 당 만드는 단속성 운동의 수인 단속성 운동율과 같은 고해상도 판독 스캔율, 예를 들어, 사용자가 단위 시간 당 읽는 라인의 수인 라인 스캔율과 같은 중간 해상도 판독 스캔율, 및 예를 들어, 사용자가 단위 시간 당 읽는 페이지의 수인 페이지 넘김율과 같은 저해상도 판독 스캔율을 포함하는(하지만 이에 제한되는 것은 아니다) 다양한 해상도를 포함하고, 어느 해상도이든, 판독 스캔율은 독자에 대한 단속성 운동 당 판독되는 단어의 실제 또는 평균 수, 라인 당 단어의 실제 또는 평균 수, 및/또는 페이지 당 단어의 실제 또는 평균 수중 하나를 나타내는 데이터를 예로서 포함하는, 개별적인 독자에 관련되고 및/또는 연관된 텍스트의 실제 또는 평균 양을 나타내는 데이터와 같은 텍스트 및/또는 사용자와 관련된 보조 스캔율 데이터에 기초하여, 분 당 단어(wpm)등과 같은 단어 레벨에서 사용자 판독 속도의 측정값으로 전환될 수 있다.

본 명세서 및 독립 청구항에 사용된 구 "라인 변경 눈 운동"은 달리 언급하지 않으면, (영어에 대한 수평 방향 또는 다른 언어의 수직 방향) 하나의 라인으로부터 표시되는 전자 텍스트의 다른 라인의 시작으로의 사용자 변경 또는 점프를 나타내는 사용자의 눈의 운동을 의미하도록 의도되었는데, 예를 들어, 영어 텍스트에서 우측 가장자리로부터 좌측 가장자리로 사용자의 시선이 횔당하는 눈 운동에 해당하거나, 일본어 텍스트에서 텍스트의 표시된 열의 바닥으로부터 상부로 사용자의 시선이 횡단하는 눈 운동에 해당한다. 즉, 텍스트의 라인의 판독 방향의 반대으로의 눈 운동을 의미한다.

본 명세서 및 독립 청구항에 사용된 구 "라인 스캔율"은 달리 언급하지 않으면, 초 당 또는 분 당 또는 임의의 적절한 시간 단위 당 라인의 수와 같은 단위 시간 당 사용자가 읽는 라인의 수를 나타내는 숫자 값을 의미하도록 의도되었다.

본 명세서 및 독립 청구항에 사용된 구 "페이지 변경 눈 운동"은 달리 언급하지 않으면, 전자 텍스트의 하나의 페이지의 끝으로부터 전자 텍스트의 다음 페이지의 시작으로의 사용자 변경 또는 점프를 나타내는 사용자의 눈의 임의의 운동을 의미하도록 의도되었고, 눈 운동의 타입은 텍스트의 언어, 및 전자 텍스트의 표시 형태, 예를 들어, 단일 페이지 뷰 또는 2페이지 뷰에 따라 변할 수 있고, 예를 들어, 영어에서, 단일 페이지 뷰에 대한 텍스트는 디스플레이의 바닥(보통 우측 코너이지만 반드시 그렇지는 않다)으로부터 상부(보통 좌측 코너이지만 반드시 그렇지는 않다)로 사용자의 시선이 횡단하는 전체 눈 운동에 해당한다.

본 명세서 및 독립 청구항에 사용된 구 "페이지 넘김율"은 달리 언급하지 않으면, 분 단위 또는 임의의 적절한 시간 단위 당 페이지의 수와 같은 단위 시간에 사용자가 읽는 페이지의 수를 나타내는 숫자 값을 의미하도록 의도되었다.

본 명세서 및 독립 청구항에 사용된 구 "단속성 운동"은 달리 언급하지 않으면, 영어와 같은 언어에서 텍스트에 대해 수평 방향으로 또는 일본어와 같은 언어에서 텍스트에 대해 수직 방향으로 읽을 때 사용자의 눈이 하나의 시선 고정점으로부터 다음 고정점으로 점프할 때 사용자의 눈의 신속한(자주 홱 움직이는) 운동을 의미하도록 의도되었다.

본 명세서 및 독립 청구항에 사용된 구 "단속성 운동율"은 달리 언급하지 않으면, 초 또는 분 단위 또는 적절한 시간 단위에 대한 단속성 운동의 수와 같은 단위 시간에 사용자가 만드는 단속성 운동의 수를 나타내는 숫자 값을 의미하도록 의도되었다.

본 명세서 및 독립 청구항에 사용된 용어 "포함하는"은 "적어도 일부...로 구성되는"을 의미한다. 용어 "포함하는"을 포함하는 본 명세서 및 청구범위에서 해석할 때, 이러한 용어에 의해 서두를 때는 것 이외의 특징 역시 존재할 수 있다. "포함하다"와 같은 관련 용어는 동일한 방식으로 해석되어야 한다.

여기에 사용된 바와 같이, 용어 "및/또는"은 "및" 또는 "또는", 또는 양측 모두를 의미한다.

본 발명은 상기로 구성되어 있고 다음이 예시만을 주는 구성을 포함한다.

다음의 설명에서, 특정 상세사항이 실시예의 온전한 이해를 위해 제공되었다. 그러나, 실시예가 이러한 특정 상세 없이 실시될 수 있다는 것을 당업자는 이해할 것이다. 예를 들어, 소프트웨어 모듈, 기능부, 회로등이 실시예를 명확히 하기 위해 블록도에 도시될 수 있다. 다른 예에서, 주지된 모듈, 구조 및 기술은 본 실시예의 이해를 위해 상세하게 도시되지 않을 수 있다.

또한, 본 실시예가 순서도, 구조도, 또는 블록도로서 도시된 프로세스로서 기술될 수 있음에 주목해야 한다. 순서도가 연속 프로세스로서 동작을 설명할 수 있지만, 많은 동작이 병렬로 또는 동시에 실행될 수 있다. 또한, 이러한 동작의 순서는 재배열될 수 있다. 프로세스는 그 동작이 완료될 때 종료된다. 프로세스는 컴퓨터 프로그램에서 방법, 함수, 프로시져, 서브루틴, 서브프로그램등에 상응할 수 있다. 프로세스가 함수에 상응할 때, 그 종료는 호출 함수 또는 메인 함수로의 함수의 리턴에 상응한다.

본 발명의 바람직한 실시예는 다음의 도면을 참조하여 예시로만 기술될 것이다.
도 1은 텍스트의 일부와 전자 텍스트의 읽기 동안 재생을 위해 구성된 사운드트랙의 연관된 오디오 영역의 개략적인 데이터 도면이다.
도 2는 텍스트 및 이미지를 포함하는 전자 미디오 콘텐츠를 위해 구성된 본 발명의 사운드트랙을 도시한 것을 제외하면 도 1과 유사한 개략적인 데이터 도면이다.
도 3은 본 발명의 실시예에 따라 재생 시스템을 구현하기 위한 전형적인 하드웨어 시스템의 개략도이다.
도 4는 본 발명의 실시예에 따른 재생 시스템의 주요 소프트웨어 모듈 또는 기능부 및 이들의 하드웨어 부품과의 상호작용을 도시하는 개략도이다.
도 5는 본 발명의 실시예에 따른 판독 속도 검출기의 주요 소프트웨어 모듈 또는 기능부를 도시하는 개략도이다.
도 6은 본 발명의 실시예에 따른 사용자 장치 및 아이트래커에 의해 검출되는 라인 체인지 아이 운동의 도면이다.
도 7은 본 발명의 실시예에 따른 사용자 장치 및 아이트래커에 의해 검출되는 페이지 변경 눈 운동의 도면이다.
도 8은 본 발명의 실시예에 따른 사용자 장치 및 아이트래커에 의해 검출되는 단속성 운동 사이의 시선 고정점의 도면이다.

1. 동기화된 사운드트랙의 개요

본 발명은 위에 언급된 WO2013/015694에 기술된 타입의 사운드트랙의 전달에 관한 것이다. 이러한 사운드트랙은 전자 텍스트의 아이템을 위한 사용자의 판독 경험을 강화시키도록 생성된다.

이러한 사운드트랙은 aeh, djvu, epub, fb2, html, xhtml, azw, lit, prc, mobi, KF8, exe, pdb, txt, pdb, pdf, ps, rgo, pdb, tr2, tr3, wol, rtf, doc, docx, asc, lit, wri, odt, text, pwi, rtx, sdw, strings, utf8, utfl6, wp*, wpw, wri, wtx, asc, csv, lwp, dtp, indd, pmd, ppp, pub, fm 및 SGML, HTML, XHTML, HTML5, XML, 및 LaTex를 포함하는(하지만 이에 제한되지 않는다) 임의의 타입의 마크업 언어 타입의 파일 확장자와 연관된 것을 포함하는(하지만 이에 제한되지 않는다) 임의의 포맷 또는 파일형으로 전자 텍스트에 적용될 수 있다. 이러한 전자 텍스트는 텍스트만 포함하거나 이미지 또는 그래픽과 결합되어 텍스트를 포함하는, 정적 또는 동적(예를 들어, 비디오 또는 다른 애니메이션)의 임의의 전자 미디어 콘텐츠의 형태를 가질 수 있다. 예를 들어, 전자 미디어 콘텐츠는 전자책, 웹페이지 또는 임의의 다른 전자 미디어 콘텐츠 포맷의 형태를 가질 수 있다.

사운드트랙은 전자 미디어 콘텐츠에 주문제작되고 특히 전자 텍스트의 판독기를 위한 판독 경험을 강화시키기 위해 전자 텍스트의 콘텐츠에 주문제작된다. 이러한 사운드트랙은 상이한 타입의 오디오 트랙을 포함할 수 있고, 사용자가 전자 텍스트를 읽고 있는 동안 동시에, 이어서, 또는 이러한 양측 방식으로 재생되도록 구성될 수 있다. 이러한 사운드트랙의 재생은 사용자의 판독 속도와 동기화된다. 하나의 예에서, 전자 텍스트는 소설 또는 논픽션 책일 수 있고, 사운드트랙은 사용자가 전자 텍스트의 아래의 특정 부분을 판독하고 있을 때 동기화된 방식으로 전자 텍스트의 특정 부분 또는 특정 포인트에서 재생하도록 구성될 수 있는 주변 잡음, 사운드 효과 및 배경 음악을 포함하는 상이한 오디오 타입의 조합을 포함할 수 있다.

사운드트랙은 전자 텍스트의 지정된 텍스트 부분 동안 재생하도록 설계된 다수의 오디오 영역을 포함하고 있다. 각 오디오 영역은 재생할 오디오 트랙을 한정하는 오디오 데이터 및 재생의 바람직한 특징을 정의하는 오디오 특성을 포함하고 있다. 이러한 오디오 데이터는 오디오 영역이 재생을 시작할 전자 텍스트 내의 시작 텍스트 위치 및 오디오 영역이 재생을 중지할 중지 텍스트 위치를 규정한다. 하나의 실시예에서, 전자 텍스트는 전자 텍스트의 수 또는 단어 또는 문자에 기초하여 숫자 텍스트 인덱스가 지정되고, 시작 및 중지 텍스트 위치는 상응하는 시작 및 중지 인덱스 값 각각에 의해 정의된다. 하나의 예에서, 텍스트의 인덱싱은 각 단어가 전자 텍스트 내의 그 위치를 나타내는 유일한 인덱스 값을 갖도록 전자 텍스트 내의 단어의 수에 기초한다. 각 단어에 대한 인덱스 값은 전자 텍스트 내의 이들의 단어 수 또는 단어 카운트에 상응할 수 있다. 이러한 예에서, 해당 오디오 영역에 대한 전자 텍스트 내의 선택된 시작 단어 및 중지 단어를 가리키는 시작과 중지 인덱스 값 사이에서 오디오 영역이 재생된다.

사용자가 전자 텍스트를 읽을 때, 사용자가 현재 읽고 있는 것으로 추정되는 전자 텍스트 내의 텍스트 위치(예를 들어, 단어)에 상응하는 판독 위치 카운터 또는 식별자가 유지된다. 이러한 판독 위치 카운터는 사용자의 판독 속도를 나타내는 사용자 판독 속도 변수에 적어도 부분적으로 기초하는 비율로 증가하거나 변한다. 이러한 판독 위치 카운터에 의해 사운드트랙의 오디오 영역의 재생은 사용자의 판독 속도와 동기화될 수 있어서, 오디오 영역의 재생은 판독 위치 카운터가 오디오 영역을 위한 시작 단어의 시작 인덱스 값에 매치할 때 트리거되고, 마찬가지로, 판독 위치 카운터가 오디오 영역의 중지 단어의 중지 인덱스 값에 매치할 때 중지된다.

대안의 실시예에서, 다른 판독 위치 레퍼런싱 스킴이 단어 또는 문자 기반 인덱싱에 대조되어 채용될 수 있다. 다른 실시예에서, 각 오디오 영역의 시작 및 중지 위치는 임의의 다른 문서 또는 텍스트 위치 레퍼런싱 스킴 또는 시스템에 의해 정의될 수 있다. 이러한 하나의 예는 ePub canonical fragment identifier(CFI)이다. 이러한 예에서, 오디오 영역 내의 시작 및 중지 위치는 CFI 파라미터 또는 범위에 의해 정의될 것이고, 판독 위치 변수는 CFI 값이 판독 위치 변수에 매치할 때 사운드트랙의 오디오 영역의 재생을 트리거하도록 사용자의 판독 속도에 기초하여 변하거나 증가하는 CFI 포맷으로 유지될 것이다.

사운드트랙은 다수의 오디오 영역을 포함하고 있고, 2개 이상의 오디오 영역이, 원한다면 동시에 재생될 수 있도록 2개 이상의 영역의 재생이 부분적으로 또는 전체적으로 중첩될 수 있다. 사운드트랙에 재생을 위한 다수의 채널이 제공되고 중첩 오디오 영역이 동시 재생을 허용하도록 유용한 채널의 세트에 상이한 채널로서 지정된다. 이로 인해 사운드 효과, 주변 잡음, 또는 배경 음악과 같은 상이한 오디오 트랙이 동시에 재생되고 함께 혼합되어 해당 전자 텍스트에 대한 사용자의 판독 경험을 강화시키는 전체 사운드트랙을 제공한다. 보통, 각 오디오 영역에 대한 오디오 데이터는 "음악", "분위기", 또는 "효과"와 같은 오디오 타입을 포함한다. 선택된 오이도 타입은 오디오 영역의 성질을 정의하도록 의도되어 있다. 예를 들어, 오디오 영역이 배경 음악을 위한 것이라면, 선택된 오디오 타입은 "음악"일 것이다. 오디오 영역이 사운드 효과라면, "효과" 오디오 타입이 선택된다. 오디오 영역이 주변 사운드 또는 잡음인 것으로 의도되었다면, "분위기" 오디오 타입이 선택된다.

예를 들어, 도 1은 전자 텍스트만을 포함하는 전자 미디어 콘텐츠의 일부를 도시하고 있다. 도 1은 또한, 개략적인 표현으로 전자 텍스트의 판독 동안 재생을 위해 구성된 오디오 영역(10)의 수의 개략적인 표현으로 텍스트를 오버레이하고, 오디오 영역(10)은 관련된 텍스트의 부분 아래에 뻗는 바 또는 언더라인에 의해 각각 표현되어 있다. 오디오 영역의 각 바 또는 언더라인의 시작은 해당 오디오 영역의 오디오 트랙이 재생을 시작할 시작 위치를 나타내고, 단부(10)는 오디오 영역의 오디오 트랙이 재생을 중지할 전자 텍스트 내의 위치를 나타낸다. 각 오디오 영역은 단일 단어 또는 단어의 그룹, 라인, 다수의 라인 또는 심지어 페이지 위에 뻗을 수 있다. 도시된 바와 같이 오디오 영역은 중첩될 수 있어서 동시에 재생될 수 있다.

도 2에서, 전자 미디어 콘텐츠는 정적 또는 동적으로, 텍스트 및 이미지를 포함하는 멀티미디어 콘텐츠를 포함할 수 있다. 도 2는 정적 이미지(20)를 포함하는 전자 텍스트를 도시하고 있다. 이러한 전자 미디어 콘텐츠에서, 사운드트랙 오디오 영역은 텍스트 또는 이미지에 상응하는 시작 및 중지 위치를 가질 수 있다. 예를 들어, 오디오 영역은 특정 단어에서 시작한 다음 사용자가 텍스트에 내장된 특정 이미지를 보고 있는 것으로 기대될 때 종료하도록 구성될 수 있다. 대안으로, 오디오 영역은 사용자가 특정 내장된 이미지(정적 또는 비디오)를 보고 있는 것으로 기대될 때 재생을 시작하도록 구성될 수 있다.

2. 하드웨어 시스템

전자 텍스트(예를 들어, 전자책(31))를 표시하고 연관된 사운드트랙(33)의 재생을 제어하기 위한 재생 시스템을 이제 설명할 것이다.

이러한 실시예에서, 사용자 재생 시스템이 제공되거나 애플리케이션 프로그램, 웹사이트, 플러그인, 또는 임의의 적절한 전자 하드웨어 시스템 또는 플랫폼 또는 장치에서 수행되는, 독립형 또는 집적되거나 다른 소프트웨어와 함께 내장되는 임의의 다른 형태의 소프트웨어로서 구현될 수 있다. 보통, 재생 시스템은 적절한 프로세서 및 메모리 기능을 갖는 임의의 적절한 휴대형 또는 비휴대형 하드웨어 장치 또는 시스템, 전자 텍스트를 표시하기 위한 디스플레이, 및 스피커 또는 헤드폰에서 사운드트랙을 재생하기 위한 오디오 출력 시스템에 구현된다. 예를 들어, 하드웨어 장치 또는 시스템은 스마트폰, 휴대폰, 태블릿, 스마트 와치, 전용 전자책판독기 또는 전자책 장치, 랩톱, 노트북과 같은 휴대형 소비자 전자 장치, 광학 머리 장착되거나 착용되는 디스플레이(예를 들어, 구글 글래스 안경류) 또는 콘택트 렌즈 또는 임의의 다른 적절한 전자 장치와 같은 착용 컴퓨터 또는 컴퓨팅 장치일 수 있다. 대안으로, 재생 시스템은 원한다면 데스크톱 퍼스널 컴퓨터 또는 임의의 다른 비휴대형 하드웨어 시스템에 구현될 수 있다. 보통, 재생 시스템은 상술된 하드웨어 장치 또는 시스템에서 로딩되고 실행될 수 있는 애플리케이션 프로그램 또는 소프트웨어로서 제공되지만, 전용 전자 장치가 필요하다면 독립형 사용자 재생 시스템으로서 구성되고 구축될 수 있다는 것을 이해할 것이다. 사용자 재생 시스템은 웹사이트 인터페이스의 형태로 구현될 수 있다는 것을 이해할 것이다. 예를 들어, 사용자는 사용자의 인터넷 브라우저를 통해 전자 텍스트를 보고 상응하는 사운드트랙의 재생을 제공하기 위한 재생 시스템을 제공하도록 구성된 인터넷을 통해 웹사이트에 접근할 수 있다.

도 3에서, 재생 시스템 소프트웨어가 실행될 수 있는 하드웨어 장치(30)의 예가 도시되어 있다. 하드웨어 장치(30)는 소프트웨어 또는 컴퓨터 판독가능 명령어를 실행하기 위한 프로세서(32), 명령어의 데이터 처리 및 실행을 위한 메모리(34), 데이터 저장을 위한 하드디스크 드라이브와 같은 데이터 저장부(36), 사용자가 하드웨어 장치 및 소프트웨어와 상호작용할 수 있도록 하는 사용자 인터페이스(38)(예를 들어, 독립형 또는 조합된, 버튼, 터치스크린, 키보드, 마우스 입력, 음성 명령등), 재생 시스템 소프트웨어의 그래픽 사용자 인터페이스(GUI)를 표시하기 위한 디스플레이(40), 및 스피커 또는 헤드폰에서 오디오 출력을 생성하기 위한 오디오 출력 시스템(42)을 포함하고 있다. 하드웨어 장치(30)는 또한 인터넷 또는 엑스트라넷 또는 인트라넷과 같은, 외부 네트워크(48)로의 통신 링크(46)를 달성하거나, 음악 라이브러리와 같은 외부 데이터베이스 또는 서버(52)로의 통신 링크(50)를 달성하기 위한 외부 장치 인터페이스 및/또는 통신 모듈(44)을 포함할 수 있다.

하드웨어 장치는 또한 사용자의 눈의 하나 또는 모두의 운동을 추적하기 위한 집적된 아이트래커(54)에 접속되거나 갖고 있다. 다양한 아이트래커 기술이 공지되어 있다. 이러한 실시예에서, 아이트래커는 비접촉, 비침습 광학 아이트래커이다. 일부 형태에서, 이러한 아이트래커는 동공 또는 안구 운동을 추적하고 대표 눈 운동 신호를 생성하도록 구성될 수 있다. 다른 형태에서, 또는 대안으로 디스플레이 스크린 상의 (화소 좌표와 같은) 응시점 신호를 생성하도록 구성될 수 있다. 이러한 형태에서, 보통, 아이트래커는 예를 들어, 적외선 카메라와 같은 하나 이상의 광센서를 사용하여 적외선의 각막 반사를 검출하고 이미지를 처리하는 것에 기초하여 눈 운동 또는 시선 방향을 검출한다. 아이트래커에 의해 생성된 눈 추적 신호는 눈 운동 신호 또는 응시점 신호 또는 양측의 조합일 수 있다는 것을 이해할 것이다.

이러한 실시예에서, 아이트래커는 보통 많은 랩톱, 스마트폰, 태블릿등에 널리 제공되는 것과 같은, 디스플레이 스크린의 주변부 주위에 제공되거나 집적된 적어도 하나의 사용자 대면 카메라를 포함하거나 사용한다. 일부 형태에서, 이러한 카메라는 웹캠일 수 있다. 일부 형태에서, 카메라는 광학 머리 장착되거나 머리 착용되는 디스플레이(예를 들어, 구글 안경류)와 같은 착용 컴퓨터 또는 컴퓨팅 장치에 장착되거나 제공될 수 있다. 일부 형태에서, 아이트래커는 카메라를 동작시키고 포착된 이미지를 처리하여 대표적인 눈 운동 신호를 생성하는 소프트웨어 또는 특히 아래에 보다 상세하게 설명되는 판독 속도 검출기에 사용되기 위한 눈 운동을 검출하도록 프로그램되는 소프트웨어일 수 있다.

3. 소프트웨어 기능

도 4를 참조하여, 재생 시스템(60)의 실시예의 주요 기능 및 데이터 처리를 이제 설명할 것이다. 재생 시스템(60)의 다양한 기능 및 데이터 처리는 사용자 재생 시스템을 명확하게 기술하기 위해 기능 및 데이터 처리를 수행하도록 구성된 전용 모듈을 참고로 하여 기술될 것이다. 모듈은 다양한 방법으로 소프트웨어로 구성되거나 구현될 수 있고 이러한 모듈에 의해 실행되는 처리 및 기능은 설계 필요에 따라 감소된 수의 통합된 모듈로 집적되거나 더 확대될 수 있고 보다 많은 수의 모듈로 분해될 수 있다는 것을 이해할 것이다.

재생 시스템(60)의 주요 모듈과, 디스플레이(40), 사용자 인터페이스(38), 오디오 출력 시스템(42), 및 아이트래커(54)와 같은, 사용자 재생 시스템이 실행되는 하드웨어 플랫폼의 다양한 부품과의 상호작용이 도시되어 있다. 프로세서(32), 메모리(34), 데이터 저장부(36) 및 임의의 다른 통신 링크 또는 부품과 같은, 하드웨어 시스템의 다른 특징부는 이해를 위해 도시되지 않앗다.

재생 시스템(64)은 전자 텍스트의 시각 표시 및 수반하는 사운드트랙의 오디오 재생을 생성하기 위해, 멀티미디어 데이터 파일에 결합되거나 별개의 데이터 파일로서 저장되어, 사운드트랙 데이터 파일(33) 및 연관된 전자 텍스트 데이터 파일(31)을 수신하고 처리하도록 구성되어 있다. 모든 오디오 트랙을 포함하는 사운드트랙 데이터 파일은 일부 실시예에서 전체가 미리 다운로드되어 있고, 재생이 시작될 수 있기 전에 사용자 장치에 국부적으로 저장되거나, 대안의 실시예에서, 사운드트랙이 예를 들어, 클라우드등과 같은 원격 서버에서 컴파일링되고 사용자 장치에 스트림되어 재생된다.

전자 텍스트 표시

재생 시스템(60)은 전자 텍스트를 나타내는 전자 텍스트 데이터(31)를 처리하도록 구성된 전자 텍스트 표시 모듈(62)을 포함하고, 사용자 인터페이스(38)로부터의 사용자 입력에 응답하여 디스플레이(40) 상의 전자 텍스트의 표시를 제어한다. 디스플레이(38)는 버튼, 다이얼, 스위치, 마우스, 터치패드, 키보드, 음성 명령 또는 임의의 다른 촉각, 청각 또는 시각 사용자 입력 시스템 또는 장치와 같은(하지만 이에 제한되지 않는다) 임의의 하나 이상의 전형적인 입력 장치를 포함하는 사용자 인터페이스(38)를 갖는 종래의 전자 디스플레이(예를 들어, LCD 또는 LED 디스플레이 스크린)일 수 있다. 바람직한 실시예에서, 하드웨어 장치에 태블릿, 스마트폰, 노트북등과 같은 많은 휴대형 전자 장치에 널리 사용할 수 있는, 터치스크린 디스플레이의 형태로 사용자 인터페이스(38)와 통합 디스플레이(40)가 제공된다.

사운드트랙 재생 모듈

사운드트랙 재생 모듈(64)이 전자 텍스트의 사용자의 판독에 사운드트랙의 재생을 동기화시키기 위해 전자 텍스트 내의 사용자의 예측되거나 추정된 판독 위치를 나타내는 판독 위치 변수 또는 카운터에 기초하여 오디오 출력 시스템(42) 상의 사운드트랙(33)의 오디오 영역의 재생을 조정하기 위해 제공된다. 사운드트랙 재생 모듈은 WO2013/015694에 기술된 재생 모듈과 유사한 방식으로 동작한다. 사운드트랙 재생 모듈(64)은 사용자의 판독 속도를 나타내는, 예를 들어, 분당 단어(wpm)등과 같은, 구성가능한 사용자 판독 속도 세팅 또는 변수에 기초한 비율로 증가하거나 변하는 (카운터와 같은) 사용자 판독 위치 변수를 유지한다. 이러한 판독 위치 카운터는 사용자가 현재 읽고 있는 단어를 나타낼 수 있는데, 예를 들어, 전자 텍스트가 단어에 기초하여 지수화되는 경우에 단어 카운터일 수 있다. 판독 위치 카운터는 사용자 상호작용/입력(예를 들어, 페이지 넘김, 스크롤링, 임의의 판독 위치 갱신 입력등)에 기초하여 임의의 또는 주기적으로 갱신될 수 있다. 이러한 판독 위치 모듈은 또한 읽기를 시작하거나 읽기를 정지하는 사용자를 나타내는 제어 입력을 수신하도록 구성되어 있고, 이에 따라 판독 위치 카운터를 제어한다(예를 들어, 카운터를 시작 또는 정지한다).

사운드트랙 재생 모듈(64)은 사용자 판독 위치 카운터에 기초하여 사운드트랙 데이터 파일을 처리하고 사운드트랙의 정의된 오디오 영역과 연관된 오디오 트랙 파일의 재생을 트리거하거나 신호를 주도록 구성되어 있다. 특히, 재생 모듈(64)은 판독 위치 변수가 오디오 영역에 대해 정의된 시작 위치에 매치할 때 오디오 영역과 연관된 오디오 트랙 파일의 재생을 시작하고, 판독 위치 변수가 오디오 영역에 대해 정의된 중지 위치에 매치할 때 오디오 트랙 파일의 재생을 중지한다. WO2013/015694에 기술된 바와 같이, 2개 이상의 중첩 오디오 영역이 존재할 때 2개 이상의 오디오 트랙 파일이 동시에 재생될 수 있고 각 오디오 영역이 볼륨과 같은 판독 속도 및 패닝 엔벨로프 제어 및 다른 오디오 효과 및 특성에 의존하거나 의존하지 않을 수 있는 재생을 위한 다른 연관된 특성을 가질 수 있다는 것을 이해할 것이다.

판독 속도 검출기

사용자 판독 속도 변수는 사용자에 의해 수동으로 조정되거나 최종 사용자에게 규정된 역사적으로 저장된 판독 속도로부터 검색될 수 있다. 이러한 실시예에서, 재생 시스템(60)은 사용자가 눈 추적 신호에 기초하여 읽을 때 사용자의 실시간 판독 속도를 연속으로 또는 주기적으로 계산하도록 구성된 자동 판독 속도 검출기(66)를 더 포함하고 있다. 특히, 판독 속도 검출기는 사용자가 디스플레이(40) 위에 제공된 전자 텍스트를 읽을 때 사용자의 하나 또는 양측에 관한 추적된 눈 운동 또는 응시점을 나타내는 아이트래커로부터 데이터 또는 신호(68)를 수신하도록 구성되어 있다. 판독 속도 검출기(66)는 독자에 대한 단속성 운동에 대해 판독된 단어의 평균 수와 같은 개인 독자에 관한 보조 스캔율 데이터 및/또는, 개별적인 라인 또는 페이지 또는 평균에 대해, 예를 들어, 라인 당 단어, 페이지 당 단어의 수와 같은, 표시되는 텍스트의 성질에 대한, 아이트래커(54)로부터의 눈 추적 신호(68) 및 전자 텍스트 표시 모듈(62)로부터의 보조 스캔율 데이터(70)에 기초하여 사용자의 판독 속도의 주기적 또는 연속 갱신된 추정값을 계산하도록 구성되어 있다. 판독 속도 검출기(66)는 판독 속도 카운터가 증가하는 저장된 사용자 판독 속도 변수를 갱신하기 위해, 계산된 갱신된 사용자 판독 속도 추정값(72)을 사운드트랙 재생 모듈에 전송하여, 사운드트랙 재생의 동기화를 강화한다.

예를 들어, 판독 속도 검출기(66)는 다음중 하나 이상을 나타내는 데이터로부터 선택된 하나 이상의 타입의 데이터를 포함하는 보조 스캔율 데이터를 수신하도록 구성되어 있다.

- 전자 텍스트의 각 개별 라인에 대한 실제 라인 당 단어,

- 전자 텍스트의 전체 아이템에 대한 라인 당 단어의 평균값,

- 텍스트의 페이지 또는 다수의 페이지에서와 같은 전자 텍스트의 일부에서 다수의 연속 라인에 대한 라인 당 단어의 이동 평균값,

- 전자 텍스트의 각 개별 페이지에 대한 실제 페이지 당 단어,

- 전자 텍스트의 전체 아이템에 대한 페이지 당 단어의 평균값,

- 텍스트의 다수의 연속 페이지에 대한 페이지 당 단어의 이동 평균값,

- 개별적인 독자에 대해 결정되는 단속성 운동에 대해 판독되는 단어의 평균 수 및/또는

- 독자에 상응하는 판독 속도를 갖는 사람에 대한 통계 평균값에 기초하여 결정되는 단속성 운동에 대해 판독되는 평균 단어의 수.

일부 실시예에서, 판독 속도 검출기(66)의 구성에 의존하여, 보조 스캔율 데이터가 공급되는 보조 스캔율 데이터의 타입에 따라 한번, 주기적으로 또는 연속으로 수신된다. 실제 또는 평균 라인 당 단어 또는 페이지 당 단어를 나타내는 보조 스캔율 데이터는 다양한 방법으로 전자 텍스트 디스플레이 모듈(62)에 의해 결정될 수 있다는 것을 이해할 것이다. 일부 형태에서, 전자 텍스트 디스플레이 모듈은 전자 텍스트 파일 자체로부터 보조 스캔율 데이터를 추출할 수 있거나, 다른 형태로 전자 텍스트 파일을 처리함으로써 데이터를 계산할 수 있다. 하나의 예에서, 전자 텍스트 디스플레이 모듈(62)은 표시된 프론트 사이즈 및 텍스트 표시 면적(예를 들어, 페이지 표시 폭)에 적어도 부분적으로 기초하여 평균 라인당 단어 또는 페이지 당 단어의 추정값을 계산하도록 구성될 수 있다.

도 5에서, 판독 속도 검출기(66)는 보다 상세하게 설명될 것이다. 요컨대, 판독 속도 검출기는 아이트래커(54)로부터의 눈 운동 신호(68)의 처리에 기초하여 판독 스캔율을 결정하도록 구성되는 하나 이상의 레이트 모듈(80, 82, 84)을 포함한다. 일부 실시예에서, 판독 속도 검출기는 갱신된 판독 속도 추정값(72)이 결정되는 단일 레이트 모듈(80, 82, 84)을 포함할 수 있다. 다른 실시예에서, 판독 속독 검출기는 갱신된 판독 속도 추정값이 결정되는 2개 이상의 레이트 모듈(80, 82, 84)의 구성을 포함할 수 있다. 이러한 실시예에서, 모듈로부터의 모든 추정값의 평균인 단일 판독 속도 추정값이 생성되거나, 하나의 레이트 모듈이 '주요' 레이트 모듈로서 구성되고 다른 나머지 레이트 모듈이 주요 레이트 모듈에 의해 생성된 판독 속도 추정값을 개량하도록 데이터를 생성하는 '제2' 또는 '보조' 모듈이거나, 사운드트랙 재생 모듈 내의 저장된 사용자 판독 속도 변수를 갱신하기 위해 모든 레이트 모듈 각각이 독립적으로 판독 속도 추정값 신호를 생성한다.

하나의 실시예에서, 판독 속도 검출기는 주요 라인 스캔율 모듈(80)을 포함하고, 옵션으로 보조 새 페이지율 모듈(82) 및 단속성 운동율 모듈(84)중 하나 또는 모두를 포함한다. 이러한 모듈의 각각은 사용자의 판독 속도의 추정값을 생성할 수 있다. 이러한 실시예에서, 검출기로부터 사운드트랙 재생 모듈로 출력된 갱신된 판독 속도(72)는 라인 스캔율 모듈(80)에 기초하고 있다. 일부 실시예에서, 이러한 라인 스캔율 모듈(80)에 의해 생성된 주요 판독 속도 추정값은 새 페이지율 모듈(82) 및 단속성 운동율 모듈(84)에 의해 생성된 출력 또는 판독 속도 추정값에 기초하여 개량되거나 갱신될 수 있다.

예로서, 3개의 상이한 레이트 모듈(80, 82, 84)이 예로서 설명될 것이다. 설명된 바와 같이, 각 레이트 모듈은 판독 속도 검출기의 일부 구성에서 독립적으로 사용될 수 있거나, 각 레이트 모듈은 판독 속도 검출기의 다른 구성에서 하나 이상의 상이한 레이트 모듈과 결합되어 사용될 수 있다. 도시된 레이트 모듈(80, 82, 84)의 각각은 아이트래커(54)로부터 수신된 눈 추적 신호(68)에 기초하여 판독 스캔율을 생성하도록 구성되어 있다. 각 상이한 레이트 모듈(80, 82, 84)은 상이한 '해상도'로 판독 스캔율을 생성하도록 구성되어 있다. 단속성 운동율 모듈(84)은 단속성 운동율, 예를 들어, 사용자가 단위 시간 당 만드는 단속성 운동의 수와 같은 고해상도 판독 스캔율을 생성한다. 이러한 라인 스캔율 모듈(80)은 라인 스캔율, 예를 들어, 사용자가 단위 시간당 읽는 라인의 수와 같은 중간 해상도 판독 스캔율을 생성한다. 새 페이지율 모듈은 페이지 넘김율, 예를 들어, 사용자가 단위 시간당 읽는 페이지의 수와 같은 저해상도 판독 스캔율을 생성한다. 설명되는 바와 같이, 이러한 레이트 모듈의 각각은 그 각각의 판독 스캔율을 보조 스캔율 데이터에 기초하여 분당 단어 등과 같은 사용자 판독 속도 추정값으로 전환하도록 구성되어 있다. 이러한 레이트 모듈의 각각은 도 6 내지 도 8 각각을 참조하여 아래에 더 설명된다.

라인 스캔율 모듈

라인 스캔율 모듈(80)은 사용자 판독 속도가 계산될 수 있는 라인 스캔율을 생성하기 위해 사용자가 텍스트를 읽을 때 사용자 변경 라인을 나타내는 눈 운동을 아이트래커를 통해 검출하도록 구성되어 있다.

도 6에, 전자 텍스트를 제공하기 위한 디스플레이(92) 및 사용자 대면 광센서, 예를 들어, 디지털 카메라(94)를 갖는 하드웨어 장치(90)가 예로서 도시되어 있다. 사용자의 눈의 하나 또는 양측의 디지털 카메라에 의해 포착된 이미지는 아이트래커 소프트웨어에 의해 처리된다.

하나의 실시예에서, 아이트래커는 라인 변경 눈 운동을 검출하도록 사용자의 적어도 하나의 눈의 운동을 추적하도록 구성되어 있다. 예를 들어, 수평 행의 텍스트를 포함하는 영어 언어 또는 등가 언어의 텍스트에서, 아이트래커는 사용자가 하나의 라인의 끝에서 다음 라인의 시작으로 이동함에 따라 화살표(94)에 의해 도시된 타입의 좌우 눈 운동을 검출한다. 대안으로, 아이트래커는 수직 열의 텍스트를 포함하는 일본어 또는 등가 언어에서 상하 눈 운동을 검출하도록 구성될 수 있다는 것을 이해할 것이다. 그다음, 라인 스캔율 모듈(80)은 검출된 라인 변경 운동 및 타이머에 기초하여 사용자의 라인 스캔율을 결정한다. 예를 들어, 라인 스캔율은 분당 또는 추당 라인의 수로서 결정될 수 있다. 일부 구성에서, 라인 스캔율은 사용자의 라인 스캔율을 다수의 연속 검출된 라인 변경 운동에 대한 평균 라인 스캔율로서 결정한다. 일부 구성에서, 라인 스캔율은 이동 평균값일 수 있다. 이러한 실시예에서, 라인 스캔율은 디스플레이 스크린 상의 사용자의 시선의 정확한 위치를 알지 않고 결정될 수 있다. 즉, 중용한 것은, 일반적으로 라인 변경 신호를 주는 우측에서 좌측으로의 이동이다. 또한 사용자가 읽고 있는 정확한 라인을 반드시 알 필요는 없다.

다른 실시예에서, 라인 스캔율 모듈은 라인 어디에 있는지 관계없이 동일한 라인에 사용자의 시선이 얼마나 오래, 즉, 시간 간격 또는 기간을 눈 추적 신호로부터 검출함으로써 라인 스캔율의 추정값을 생성하도록 구성되어 있고, 사용자에 대한 평균 라인 스캔율은 다수의 연속 라인에 대한 시간 기간의 평균에 기초하여 계산된다. 예를 들어, 사용자가 6초의 평균값 동안 각 라인에 머무는 것으로 판정되면, 이것은 분당 10 라인의 라인 스캔율에 해당한다.

이러한 실시예중 어느 하나에서, 라인 스캔율 모듈은 라인당 전자 텍스트의 평균 또는 실제 양(에를 들어, 라인당 단어 또는 문자의 수)을 나타내는 보조 스캔율 데이터 및 라인 스캔율에 기초하여 사용자의 판독 속도의 추정값을 계산하도록 구성되어 있다. 예를 들어, 라인 스캔율(분당 라인)에 라인당 평균 또는 실제 단어로 곱하면 판독 속도 결과를 분당 단어(wpm)로 얻는다. 그다음, 이러한 판독 속도의 추정값은 상술된 바와 같이 사운드트랙 재생 모듈에 출력되거나(72) 대안으로 하나 이상의 다른 레이트 모듈의 판독 속도 추정을 개량하거나 수정하기 위해 결합되거나 사용될 수 있고, 그후에, 판독 속도 검출기의 구성에 따라 재생 모듈에 출력된다.

새 페이지율 모듈

새 페이지율 모듈(82)은 예를 들어, 전자책에서 페이지를 넘길 때 페이지를 변경하는 사용자를 나타내는 눈 운동을 아이트래커를 통해 검출하도록 구성되어 있다. 새 페이지율 모듈(82)은 사용자의 판독 속도의 추정값을 계산할 수 있다. 도 7에, 도 6에서 설명된 것과 동일한 하드웨어 장치(90)가 도시되어 있고, 아래의 새 페이지율 모듈(820의 실시예를 설명하도록 사용될 것이다.

이러한 새 페이지율 모듈(82)의 하나의 실시예에서, 아이트래커(54)는 페이지 변경 눈 운동을 검출하도록 사용자의 적어도 하나의 운동을 추적하도록 구성되어 있다. 예를 들어, 사용자의 시선이 디스플레이의 하부(하지만 보통 반드시 우측 코너일 필요는 없다)로부터 디스플레이의 상부(하지만 보통 반드시 좌측 코너일 필요는 없다) 횡단하는 총 눈 운동, 즉, 화살표 96에 의해 도시된 대각선 하부-상부 눈 운동을 검출하도록 구성되어 있다. 하지만, 이러한 총 눈 운동은 일본어 텍스트 또는 텍스트의 열을 포함하는 등가물에서는 상이한 방향이 될 것이라는 것을 이해할 것이다. 이러한 실시예에서, 그음, 새 페이지율 모듈(82)은 검출된 페이지 변경 운동 사이의 간격에 기초하여 사용자의 페이지 넘김율(turn rate)을 결정할 수 있고, 일부 실시예에서, 이것은 이동 평균이다. 그다음, 사용자의 판독 속도의 추정값은 이러한 페이지 넘김율 및 전자 텍스트 표시 모듈(62)로부터 수신된 페이지당 전자 텍스트의 평균 또는 실제 양을 나타내는 보조 스캔율 데이터(70)에 기초하여 계산된다. 예를 들어, 이러한 페이지 넘김율(분당 페이지)을 페이지당 평균 또는 실제 단어로 곱함으로써 분당 단어(wpm)을 얻는다. 그다음, 이러한 판독 속도의 추정값은 판독 속도 검출기의 구성에 따라, 사운드트랙 재생 모듈에 출력되거나(72), 재생 모듈에 출력되기 전에 다른 레이트 모듈중 하나에 의해 생성된 판독 속도 추정값을 수정하거나 정제하도록 결합되거나 사용될 수 있다.

이러한 새 페이지율 모듈(82)의 다른 실시예에서, 아이트래커(54)는 (예를 들어, 전자 텍스트 표시 모듈(62)로부터 페이지 넘김 신호 또는 데이터(70)를 수신함으로써) 전자 텍스트의 새 페이지로 사용자가 넘길 때 타이머를 시작하도록 구성되어 있다. 그다음, 이러한 모듈은 상술된 바와 같이 페이지 변경 눈 운동을 검출하도록 아이트래커(54)로 사용자의 적어도 하나의 눈의 운동을 추적한다. (페이지의 끝에 도달한 사용자를 나타내는) 페이지 변경 눈 운동의 검출시에, 이러한 모듈은 선출된 페이지 변경 눈 운동시의 타이머의 값 및 전자 텍스트 표시 모듈(62)로부터 수신된 특정 페이지 상의 전자 텍스트의 실제 양을 나타내는 보조 스캔율 데이터(70)에 기초하여 사용자의 판독 속도의 추정값을 계산하도록 구성된다. 그다음, 다시, 이러한 판독 속도의 추정값은 판독 속도 검출기의 구성에 따라, 사운드트랙 재생 모듈로 출력되거나(72), 재생 모듈에 출력기 전에 다른 레이트 모듈중 하나에 의해 생성된 판독 속도 추정값을 수정하거나 정제하도록 결합되거나 사용된다.

일부 실시예에서, 새 페이지율 모듈은 독자가 전자 텍스트의 페이지를 스쳐지나거나 빨리 넘기거나 휙휙 넘기는 상황을 허용하기 위해 이동 평균에 대해 이상한 것으로 나타나는 검출된 페이지 넘김은 무시하도록 구성될 수 있다.

일부 구성에서, 판독 속도 검출기는 각 검출된 페이지 변경 눈 운동에 응답하여 페이지 넘김 신호를 생성하고 이것을 전자 텍스트 표시 모듈(62)에 넘겨 전자 텍스트의 다음 페이지로 넘기도록 구성될 수 있다. 이러한 구성에서, 아이트래커는 페이지 변경 눈 운동의 검출시에 자동 페이지 넘김부(page-turner)로서 배치되어 있다.

단속성 운동율 모듈

단속성 운동율 모듈(84)은 사용자의 눈이 텍스트의 라인의 수평 스캔 경로를 횡단할 때 단속성 운동 사이의 시선 고정점을 나타내는 눈 운동을 아이트래커(54)를 통해 검출하도록 구성되어 있다. 이러한 모듈은 사용자 판독 속도의 추정값이 결정될 수 있는, 이러한 눈 운동에 기초하여 단속성 운동율을 결정한다. 도 8에, 도 6에 설명된 것과 동일한 하드웨어 장치(90)가 도시되어 있고, 아래의 단속성 운동율 모듈(82)의 실시예를 설명하도록 사용될 것이다.

이러한 모듈(84)에서, 예로서 도 1 내지 도 8에 표시된 시선 고정점이 아이트래커에 의해 검출된다. 이러한 구성에서, 아이트래커는 바로 사용자의 시선이 일시 고정된 고정점의 정확한 위치를 반드시 검출할 필요는 없다. 그다음, 모듈(84)은 검출된 시선 고정점 사이의 시간 간격에 기초하여 단속성 운동율을 결정한다. 이러한 단속성 운동율은 초당 또는 분당 또는 다른 적절한 시간 단위당 단속성 운동의 평균 수와 같은, 단위 시간당 사용자가 만드는 단속성 운동의 평균 수와 같은 수치 값일 수 있다. 그다음, 이러한 모듈(84)은 이러한 단속성 운동율 및 사용자에 대한 시선 고정점 사이의 전자 텍스트의 평규 양을 나타내는 보조 스캔율 데이터에 기초하여 사용자의 판독 속도의 추정값을 계산한다. 일부 실시예에서, 단속성 운동 당 횡단되는 텍스트의 평균 양을 나타내는 데이터는 사용자의 공칭 판독 속도와 연관된 일반적인 집단 평균값 또는 전형적인 평균값에 기초할 수 있다. 다른 실시예에서, 시선 고정점의 정확한 위치는 아이트래커에 의해 결정될 수 있고 단속성 운동 당 횡단되는 단어의 평균 수는 실시간 계산될 수 있다.

그다음, 모듈(84)에 의해 생성된 판독 속도의 추정값은 판독 속도 검출기의 구성에 따라, 사운드트랙 재생 모듈에 출력(72)될 수 있거나, 재생 모듈에 출력되기 전에 다른 레이트 모듈중 하나에 의해 생성된 판독 속도 추정값을 수정하거나 정제하도록 결합되거나 사용될 수 있다.

실시간 판독 위치 검출기

일부 실시예에서, 시스템은 판독 속도 검출기의 임의의 하나 이상의 레이트 모듈에 의해 생성된 결정된 판독 스캔율에 기초하여 전자 텍스트에 사용자의 판독 위치를 결정하도록 구성될 수 있다.

예를 들어, 시스템은 예를 들어, 페이지 넘김 신호를 생성하는 페이지의 넘김, 사용자가 읽고 있는 현 단어를 나타내는 터치 스크린 디스플레이 상의 터치 입력, 또는 전자 텍스트를 횡단하는 네비게이션 입력에 의해 제1 시각에서의 사용자의 판독 위치의 제1 위치 정보를 검출하도록 구성될 수 있다. 타이머가 제1 판독 위치의 검출시의 제1 시각을 기록한다. 그다음, 사용되는 레이트 모듈에 따라, 이러한 아이트래커에 의해 검출된 판독 스캔율이 감시되고 판독 속도가 상술된 바와 같이 계산된다. 그다음, 독자의 현 실시간 위치가 제1 시각으로부터의 시간차를 계산된 판독 속도에 의해 곱함으로써, 그리고 이것을 제1 판독 위치에 더함으로써 계산될 수 있다. 사용자의 실시간 현 위치는 판독 위치 변수를 갱신하기 위해 또는 다른 목적을 위해 사용될 수 있다.

4. 일반

본 발명의 실시예는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 또는 그 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드에 구현될 때, 필요한 태스크를 수행하는 프로그램 코드 또는 코드 세그먼트가 저장 매체와 같은 기계 판독가능 매체 또는 다른 저장부에 저장될 수 있다. 프로세스가 필요한 태스크를 수행할 수 있다. 코드 세그먼트가 프로시져, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령어, 데이터 스트럭쳐 또는 프로그램 스테이트먼트의 임의의 조합을 나타낼 수 있다. 코드 세그먼트는 정보, 데이터, 인수, 파라미터, 또는 메모리 콘텐트를 전송하고 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 결합될 수 있다. 정보, 인수, 파라미터, 데이터등이 메모리 공유, 메모리 패싱, 토큰 패싱, 네트워크 전송등으 포함하는 임의의 적절한 수단을 통해 통과되거나, 전송될 수 있다.

상기에서, 저장 매체는 읽기전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 자기 디스크 저장 매체, 광학 저장 매체, 플래시 메모리 장치 및/또는 정보를 저장하기 위한 다른 기계 판독가능 매체를 포함하는, 데이터를 저장하기 위한 하나 이상의 장치를 나타낼 수 있다. 용어 "기계 판독가능 매체" 및 "컴퓨터 판독가능 매체"는 휴대가능하거나 고정된 저장 장치, 광학 저장 장치 및/또는 명령어 및/또는 데이터를 저장하거 포함하거나 전달할 수 있는 다양한 다른 매체를 포함하지만 이에 제한되는 것은 아니다.

여기에 개시된 예와 결합되어 기술된 다양한 로지컬 블록, 모듈, 회로, 소자 및/또는 부품은 여기에 기술된 기능을 수행하도록 설계된 범용 프로세서, 디지털 신호 프로세서(DSP), 주문형 집적회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 또는 다른 프로그래머블 로직 컴포넌트, 이산 게이트 또는 트랜지스터 로직, 이산 하드웨어 컴포넌트, 또는 그 임의의 조합에 의해 구현되거나 수행될 수 있다. 범용 프로세서는 마이크로프로세서이지만, 대안으로, 프로세서는 임의의 종래의 프로세서, 컨트롤러, 마이크로컨트롤러, 회로 및/또는 스테이트 머신일 수 있다. 프로세서는 또한 예를 들어, DSP와 마이크로프로세서, 다수의 마이크로프로세서, DSP 코어와 결합된 하나 이상의 마이크로프로세서, 또는 임의의 다른 이러한 구성의 조합과 같은 컴퓨팅 컴포넌트의 조합으로서 구현될 수 있다.

여기에 개시된 예와 결합되어 기술된 방법 또는 알고리즘은 하드웨어에서 직접, 프로세서에 의해 실행가능한 소프트웨어 모듈로, 또는 양측의 조합으로, 프로세싱 유닛, 프로그래밍 명령어 또는 다른 명령의 형태로 구현될 수 있고, 단일 장치에 포함되거나 다수의 장치에 분포될 수 있다. 소프트웨어 모듈이 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드디스크, 제거가능 디스크, CD-ROM, 또는 당업계에 공지된 임의의 다른 형태의 저장 매체에 상주할 수 있다. 저장 매체는 프로세서가 저장 매체에 대해 정보를 판독하고 정보를 기록할 수 있도록 프로세서에 결합될 수 있다. 대안으로, 저장 매체가 프로세서에 일체화될 수 있다.

도면에 도시된 컴포넌트 및 함수의 하나 이상은 본 발명으로부터 벗어남 없이 단일 컴포넌트로 재배열되고 및/또는 조합될 수 있거나 다수의 컴포넌트로 구현될 수 있다. 대안의 소자 또는 부품 역시 본 발명으로부터 벗어남 없이 더해질 수 있다. 또한, 여기에 기술된 특징은 소프트웨어, 하드웨어, 또는 그 조합으로 구현될 수 있다.

다양한 특징에서, 본 발명은 컴퓨터-구현되는 프로세스, (컴퓨터 프로그램이 실행될 수 있는 플랫폼을 제공하는 전자 장치, 또는 범용 컴퓨터 또는 다른 장치와 같은)기계, 이러한 기계에 의해 실행되는 프로세스, 또는 제조 물품에서 구현될 수 있다. 이러한 제조 물품은 컴퓨터 판독가능 저장 매체가 저장된 컴퓨터 프로그램 명령어 또는 컴퓨터 판독가능 데이터를 포함하는 컴퓨터 프로그램 제품 또는 디지털 정보 제품 및, 이러한 제조 물품을 생성하고 사용하는 프로세스 및 기계를 포함할 수 있다.

본 발명의 상기 설명은 본 발명의 바람직한 형태를 포함하고 있다. 첨부된 청구범위에 정의된 바와 같이 본 발명의 범위로부터 벗어남 없이 수정이 가능할 수 있다.

Claims (21)

1. 전자 텍스트를 표시하고 상기 전자 텍스트에 대한 사운드트랙의 재생을 동기화하기 위한 방법으로서, 상기 사운드트랙은 상기 전자 텍스트의 상응하는 텍스트 영역 동안 재생되도록 구성된 다수의 오디오 영역을 포함하고, 각 오디오 영역은 상기 오디오 영역에서의 재생을 위한 오디오 트랙; 상기 오디오 트랙의 재생이 시작될 곳에 상응하는 전자 텍스트 내의 단어를 가리키는 시작 텍스트 위치; 및 상기 오디오 트랙의 재생이 중지될 곳에 상응하는 전자 텍스트 내의 단어를 가리키는 중지 텍스트 위치를 포함하는 오디오 데이터에 의해 한정되고,
   상기 전자 텍스트의 적어도 일부를 디스플레이에 표시하는 단계;
   상기 사용자의 적어도 하나의 눈의 운동을 아이트래커에 의해 추적하고 대표적인 눈 추적 신호를 생성하는 단계;
   상기 눈 추적 신호에 기초하여 상기 사용자의 판독 스캔율을 결정하는 단계;
   상기 결정된 판독 스캔율 및, 상기 전자 텍스트 및/또는 사용자에 관한 보조 스캔율 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하는 단계;
   상기 사용자의 판독 속도의 계산된 추정값에 적어도 부분적으로 기초하여 상기 사용자의 판독 속도를 나타내는 사용자 판독 속도 변수를 갱신하는 단계;
   상기 사용자가 현재 읽고 있는 전자 텍스트 내의 단어를 가리키는 추정된 텍스트 위치에 상응하고 상기 사용자 판독 속도 변수에 기초한 비율로 증가하는 판독 위치 카운터를 유지하는 단계; 및
   상기 오디오 영역의 재생을 상기 사용자의 추정된 판독 위치와 동기화하기 위해 상기 오디오 데이터 및 판독 위치 카운터에 기초하여 오디오 출력 시스템에서 상기 사운드트랙의 오디오 영역의 재생을 제어하는 단계를 포함하는 것을 특징으로 하는 전자 텍스트를 표시하고 상기 전자 텍스트에 대한 사운드트랙의 재생을 동기화하기 위한 방법.
2. 제1항에 있어서, 상기 판독 스캔율은 라인 스캔율이고 상기 라인 스캔율을 결정하는 단계는,
   라인 변경 눈 운동을 검출하기 위해 상기 아이트래커로부터의 상기 눈 추적 신호를 처리하는 단계;
   검출된 라인 변경 눈 운동 및 타이머에 기초하여 상기 사용자의 라인 스캔율을 결정하는 단계; 및
   상기 라인 스캔율 및 라인 당 전자 텍스트의 평균 또는 실제 양을 나타내는 보조 스캔율 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하는 단계를 포함하는 것을 특징으로 하는 전자 텍스트를 표시하고 상기 전자 텍스트에 대한 사운드트랙의 재생을 동기화하기 위한 방법.
3. 제2항에 있어서, 상기 방법은 상기 사용자의 라인 스캔율을 다수의 연속 검출된 라인 변경 운동에 대한 평균 라인 스캔율로서 결정하는 단계를 포함하는 것을 특징으로 하는 전자 텍스트를 표시하고 상기 전자 텍스트에 대한 사운드트랙의 재생을 동기화하기 위한 방법.
4. 제3항에 있어서, 상기 라인 스캔율은 이동 평균인 것을 특징으로 하는 전자 텍스트를 표시하고 상기 전자 텍스트에 대한 사운드트랙의 재생을 동기화하기 위한 방법.
5. 제1항에 있어서, 상기 판독 스캔율은 페이지 넘김율이고 상기 페이지 넘김율을 결정하는 단계는,
   페이저 변경 눈 운동을 검출하기 위해 상기 아이트래커로부터의 눈 추적 신호를 처리하는 단계;
   검출된 페이지 변경 눈 운동 사이의 시간 간격에 기초하여 상기 사용자의 페이지 넘김율을 결정하는 단계; 및
   상기 페이지 넘김율 및, 페이지 당 전자 텍스트의 평균 또는 실제 양을 나타내는 보조 스캔율 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하는 단계를 포함하는 것을 특징으로 하는 전자 텍스트를 표시하고 상기 전자 텍스트에 대한 사운드트랙의 재생을 동기화하기 위한 방법.
6. 제1항에 있어서, 상기 판독 스캔율은 페이지 넘김율이고 상기 페이지 넘김율을 결정하는 단계는,
   상기 사용자가 상기 전자 텍스트의 새 페이지로 넘길 때 타이머를 시작하는 단계;
   페이지 변경 눈 운동을 검출하기 위해 상기 아이트래커로부터의 눈 추적 신호를 처리하는 단계; 및
   상기 새 페이지 상의 전자 텍스트의 양을 나타내는 보조 스캔율 데이터 및 상기 검출된 페이지 변경 눈 운동에서의 타이머의 값에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하는 단계를 포함하는 것을 특징으로 하는 전자 텍스트를 표시하고 상기 전자 텍스트에 대한 사운드트랙의 재생을 동기화하기 위한 방법.
7. 제1항 내지 제6항중 어느 한 항에 있어서, 페이지 변경 눈 운동을 검출하도록 상기 눈 추적 신호를 처리하는 단계, 및 각각 검출된 페이지 변경 눈 운동에 응답하여 페이지 넘김 신호를 생성하여 전자 텍스트 표시 모듈이 상기 전자 텍스트 내의 다음 페이지로 넘기도록 하는 단계를 더 포함하는 것을 특징으로 하는 전자 텍스트를 표시하고 상기 전자 텍스트에 대한 사운드트랙의 재생을 동기화하기 위한 방법.
8. 제1항에 있어서, 상기 판독 스캔율은 단속성 운동율이고 상기 단속성 운동율을 결정하는 단계는,
   상기 단속성 운동 사이의 시선 고정점을 검출하도록 상기 아이트래커로부터의 눈 추적 신호를 처리하는 단계;
   상기 검출된 시선 고정점 사이의 시간 간격에 기초하여 상기 사용자의 단속성 운동율을 결정하는 단계; 및
   상기 단속성 운동율 및 시선 고정점 사이의 전자 텍스트의 평균 또는 실제 양을 나타내는 보조 스캔율 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하는 단계를 포함하는 것을 특징으로 하는 전자 텍스트를 표시하고 상기 전자 텍스트에 대한 사운드트랙의 재생을 동기화하기 위한 방법.
9. 제8항에 있어서, 상기 보조 스캔율 데이터는 상기 사용자에 대한 단속성 운동 당 횡단된 텍스트의 평균 양을 나타내는 데이터를 포함하는 것을 특징으로 하는 전자 텍스트를 표시하고 상기 전자 텍스트에 대한 사운드트랙의 재생을 동기화하기 위한 방법.
10. 전자 텍스트를 표시하고 사용자의 판독 속도에 동기화된 사운드트랙의 재생을 제어하기 위한 시스템으로서,
    상기 전자 텍스트를 표시하도록 구성된 디스플레이;
    상기 시스템을 제어하기 위해 사용자 입력을 수신하도록 구성된 사용자 인터페이스;
    상기 사용자가 듣는 오디오 출력을 생성하도록 동작가능한 오디오 출력 시스템;
    상기 전자 텍스트를 나타내는 전자 텍스트 데이터를 처리하고 사용자 인터페이스로부터의 사용자 입력에 응답하여 디스플레이 상의 전자 텍스트의 표시를 제어하도록 구성된 전자 텍스트 표시 모듈;
    상기 사용자가 현재 읽고 있는 전자 텍스트 내의 단어를 나타내는 추정된 현재 텍스트 위치에 상응하고 상기 사용자의 판독 속도를 나타내는 구성가능한 사용자 판독 속도 변수에 적어도 부분적으로 기초하는 비율로 증가하는 판독 위치 카운터를 생성하도록 구성되고; 상기 오디오 출력 시스템에서 상기 사운드트랙의 재생을 제어하기 위해 상기 사운드트랙을 나타내고 상기 사운드트랙에 대한 다수의 오디오 영역을 정의하는 사운드트랙 데이터를 처리하도록 구성된 사운드트랙 재생 모듈로서, 각 오디오 영역은,
    상기 오디오 영역에서의 재생을 위한 오디오 트랙;
    상기 오디오 영역의 재생이 시작될 곳에 상응하는 전자 텍스트 내의 단어를 가리키는 시작 텍스트 위치; 및
    상기 오디오 영역의 재생이 중지될 곳에 상응하는 전자 텍스트 내의 단어를 가리키는 중지 텍스트 위치를 포함하는 오디오 데이터에 의해 한정되고,
    상기 사운드트랙 재생 모듈은 상기 전자 텍스트의 사용자의 판독에 상기 사운드트랙의 오디오 영역의 재생을 동기화시키기 위해 상기 판독 위치 카운터에 기초하여 상기 오디오 영역의 재생을 조정하도록 구성된 사운드트랙 재생 모듈; 및
    대표적인 눈 추적 신호를 생성하기 위해 아이트래커에 의해 상기 사용자의 적어도 하나의 눈의 운동을 추적하고; 상기 눈 추적 신호에 기초하여 상기 사용자의 판독 스캔율을 결정하고; 상기 결정된 판독 스캔율 및 상기 전자 텍스트 및/또는 사용자에 관한 보조 스캔율 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하도록 구성된 판독 속도 검출기를 포함하고,
    상기 사운드트랙 재생 모듈은 상기 판독 속도 검출기에 의해 계산된 상기 사용자의 판독 속도의 추정값에 적어도 부분적으로 기초하여 상기 사용자 판독 속도 변수를 갱신하도록 구성된 것을 특징으로 하는 전자 텍스트를 표시하고 사용자의 판독 속도에 동기화된 사운드트랙의 재생을 제어하기 위한 시스템.
11. 제10항에 있어서, 상기 판독 스캔율은 라인 스캔율이고 상기 판독 속도 검출기는,
    라인 변경 눈 운동을 검출하도록 상기 아이트래커로부터의 눈 추적 신호를 처리하고;
    상기 검출된 라인 변경 운동 및 타이머에 기초하여 상기 사용자의 라인 스캔율을 결정하고;
    상기 라인 스캔율 및, 라인 당 전자 텍스트의 평균 또는 실제 양을 나타내는 보조 스캔율 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하도록 구성된 것을 특징으로 하는 전자 텍스트를 표시하고 사용자의 판독 속도에 동기화된 사운드트랙의 재생을 제어하기 위한 시스템.
12. 제11항에 있어서, 상기 판독 속도 검출기는 상기 사용자의 라인 스캔율을 다수의 연속 검출된 라인 변경 운동에 대한 평균 라인 스캔율로서 결정하도록 구성된 것을 특징으로 하는 전자 텍스트를 표시하고 사용자의 판독 속도에 동기화된 사운드트랙의 재생을 제어하기 위한 시스템.
13. 제12항에 있어서, 상기 라인 스캔율은 이동 평균인 것을 특징으로 하는 전자 텍스트를 표시하고 사용자의 판독 속도에 동기화된 사운드트랙의 재생을 제어하기 위한 시스템.
14. 제10항에 있어서, 상기 판독 스캔율은 페이지 넘김율이고 상기 판독 속도 검출기는,
    페이저 변경 눈 운동을 검출하기 위해 상기 아이트래커로부터의 눈 추적 신호를 처리하고;
    검출된 페이지 변경 눈 운동 사이의 시간 간격에 기초하여 상기 사용자의 페이지 넘김율을 결정하고;
    상기 페이지 넘김율 및, 페이지 당 전자 텍스트의 평균 또는 실제 양을 나타내는 보조 스캔율 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하도록 구성된 것을 특징으로 하는 전자 텍스트를 표시하고 사용자의 판독 속도에 동기화된 사운드트랙의 재생을 제어하기 위한 시스템.
15. 제10항에 있어서, 상기 판독 스캔율은 페이지 넘김율이고 상기 판독 속도 검출기는,
    상기 사용자가 상기 전자 텍스트의 새 페이지로 넘길 때 타이머를 시작하고;
    페이지 변경 눈 운동을 검출하기 위해 상기 아이트래커로부터의 눈 추적 신호를 처리하고;
    상기 새 페이지 상의 전자 텍스트의 양을 나타내는 보조 스캔율 데이터 및 상기 검출된 페이지 변경 눈 운동에서의 타이머의 값에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하도록 구성된 것을 특징으로 하는 전자 텍스트를 표시하고 사용자의 판독 속도에 동기화된 사운드트랙의 재생을 제어하기 위한 시스템.
16. 제10항에 있어서, 상기 판독 스캔율은 단속성 운동율이고 상기 판독 속도 검출기는,
    상기 단속성 운동 사이의 시선 고정점을 검출하도록 상기 아이트래커로부터의 눈 추적 신호를 처리하고;
    상기 검출된 시선 고정점 사이의 시간 간격에 기초하여 상기 사용자의 단속성 운동율을 결정하고;
    상기 단속성 운동율 및 시선 고정점 사이의 전자 텍스트의 평균 또는 실제 양을 나타내는 보조 스캔율 데이터에 기초하여 상기 사용자의 판독 속도의 추정값을 계산하도록 구성된 것을 특징으로 하는 전자 텍스트를 표시하고 사용자의 판독 속도에 동기화된 사운드트랙의 재생을 제어하기 위한 시스템.
17. 제16항에 있어서, 상기 보조 스캔율 데이터는 상기 사용자에 대한 단속성 운동 당 횡단된 텍스트의 평균 양을 나타내는 데이터를 포함하는 것을 특징으로 하는 전자 텍스트를 표시하고 사용자의 판독 속도에 동기화된 사운드트랙의 재생을 제어하기 위한 시스템.
18. 제10항 내지 제17항중 어느 한 항에 있어서, 상기 시스템은 페이지 변경 눈 운동을 검출하도록 상기 눈 추적 신호를 처리하고, 각각 검출된 페이지 변경 눈 운동에 응답하여 페이지 넘김 신호를 생성하여 전자 텍스트 표시 모듈이 상기 전자 텍스트 내의 다음 페이지로 넘기도록 구성된 것을 특징으로 하는 전자 텍스트를 표시하고 사용자의 판독 속도에 동기화된 사운드트랙의 재생을 제어하기 위한 시스템.
19. 제10항 내지 제17항중 어느 한 항에 있어서, 상기 시스템은 하드웨어 시스템에서 구현되고 상기 아이트래커는 광센서 또는, 적어도 상기 사용자의 눈의 하나 또는 모두를 포착하는 시야를 갖는 센서를 포함하는 것을 특징으로 하는 전자 텍스트를 표시하고 사용자의 판독 속도에 동기화된 사운드트랙의 재생을 제어하기 위한 시스템.
20. 전자 텍스트 내의 독자의 판독 위치를 추정하는 방법으로서,
    제1 시각에 사용자의 제1 판독 위치를 파악하도록 제1 수단을 사용하는 단계;
    독자 눈 운동을 추적함으로써 판독 스캔율을 검출하는 단계;
    판독 속도를 추정하기 위해 상기 판독 스캔율을 사용하는 단계; 및
    상기 제1 시각으로부터 증가된 시간, 상기 추정된 판독 속도 및 상기 제1 판독 위치에 기초하여 제2 시각에서 상기 사용자의 판독 위치를 추정하는 단계를 포함하는 것을 특징으로 하는 전자 텍스트 내의 독자의 판독 위치 추정 방법.
21. 제20항에 있어서, 상기 제1 판독 위치는 페이지 넘김 신호, 상기 전자 텍스트를 보여주는 터치 스크린 디스플레이 상의 터치 입력, 및/또는 전자 텍스트를 횡단하는 네비게이션 입력중 하나로부터 결정되는 것을 특징으로 하는 전자 텍스트 내의 독자의 판독 위치 추정 방법.

Images