RU2016137779A

RU2016137779A - Слежение за взглядом на основе адаптивного гомографического сопоставления

Info

Publication number: RU2016137779A
Application number: RU2016137779A
Authority: RU
Inventors: Чжэнью ЧЖАН; Цинь ЦАЙ; Цзычэн ЛЮ; Цзя-Бинь ХУАН
Original assignee: МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Priority date: 2014-03-26
Filing date: 2015-03-12
Publication date: 2018-03-23
Also published as: MX2016012193A; KR20160138062A; US9684827B2; RU2016137779A3; AU2015264699B2; CN106133648A; WO2015179008A1; KR102334139B1; AU2015264699A1; CA2940241C; RU2685020C2; JP6502370B2; US20150278599A1; EP3123283B1; ES2680825T3; EP3123283A1; JP2017523487A; CN106133648B; CA2940241A1

Claims

1. Система, содержащая:

- по меньшей мере, четыре источника света, выполненные с возможностью формировать роговичные отражения в качестве блесков из глаза объекта;

- камеру, выполненную с возможностью захватывать текущее изображение, содержащее блески; и

- детектор взгляда, включающий или соединенный с корректором смещения положения головы вместе со взглядом,

- причем детектор взгляда выполнен с возможностью принимать текущее изображение, содержащее блески, и оценивать взгляд глаза объекта,

- причем корректор смещения положения головы вместе со взглядом выполнен с возможностью принимать оценку взгляда глаза объекта и корректировать смещение в оцененном взгляде посредством сопоставления данных признака, соответствующих блескам, и связанных со зрачком данных объекта, чтобы выводить скорректированную информацию взгляда, указывающую, куда в данный момент смотрит глаз объекта,

- при этом корректор смещения положения головы вместе со взглядом выполнен с возможностью корректировать смещение в оцененном взгляде с использованием адаптивного преобразования гомографического сопоставления, обученного, чтобы компенсировать пространственно варьирующиеся ошибки обнаружения взгляда или зависимые от позы головы ошибки относительно позиции калибровки, или и то, и другое.

2. Система по п. 1, в которой переменные, представляющие местоположения головы относительно позиции калибровки и позиций взгляда, основаны, по меньшей мере, частично на моделированных данных.

3. Система по п. 2, в которой моделированные данные выполнены с возможностью собирать экспериментально полученные данные для обучения адаптивного гомографического сопоставления посредством калибровки, чтобы получать предикторные переменные при различных положениях головы.

4. Система по п. 1, в которой переменные, представляющие местоположения головы относительно позиции калибровки, соответствуют относительным движениям головы между различными положениями головы, кодированными, по меньшей мере, частично посредством аффинных преобразований, преобразований подобия и/или гомографических преобразований.

5. Способ, содержащий этапы, на которых:

- оценивают взгляд, что включает в себя этап, на котором используют адаптивное преобразование гомографического сопоставления для коррекции смещения, при этом адаптивное преобразование гомографического сопоставления обучается, чтобы компенсировать пространственно варьирующиеся ошибки взгляда или зависимые от позы головы ошибки относительно позиции калибровки, или и то, и другое, что включает в себя этапы, на которых:

- захватывают текущие данные блесков и связанные со зрачком данные в изображении с использованием множества источников света и камеры, и

- предоставляют текущие данные блесков и связанные со зрачком данные, обработанные из изображения, в качестве признаков, чтобы получать зависимые от позы головы данные, на основе распознаваемого адаптивного преобразования гомографического сопоставления, которые используются, чтобы определять текущую информацию взгляда.

6. Способ по п. 5, в котором использование множества наборов позиционных данных и данных позиции зрачка содержит этап, на котором используют, по меньшей мере, некоторые моделированные данные, что включает в себя этап, на котором прогнозируют значения коррекции смещения при различных масштабированиях положения головы и/или различных движениях в пространстве положения головы.

7. Способ по п. 5, дополнительно содержащий этапы, на которых:

- выводят текущую информацию взгляда; и

- используют текущую информацию взгляда, чтобы предпринимать действие относительно изменения состояния пользовательского интерфейса.

8. Способ по п. 5, в котором распознавание модели адаптивного гомографического сопоставления содержит этап, на котором кодируют относительные движения головы посредством аффинных преобразований, посредством преобразований подобия или гомографических преобразований.

9. Способ по п. 5, в котором распознавание модели адаптивного гомографического сопоставления содержит этап, на котором кодируют связанные со зрачком данные, представляющие направления взгляда, в качестве одного или более признаков.

10. Один или более машиночитаемых носителей данных или аппаратная логика, имеющая исполняемые инструкции, причем исполняемые инструкции вынуждают процессор выполнять операции, содержащие:

- захват изображения, включающего в себя глаз объекта, из которого извлекаются данные блесков и связанные со зрачком данные в качестве признаков, причем данные блесков и связанные со зрачком данные основаны на роговичных отражениях от глаза объекта, сформированных посредством множества источников света; и

- оценку взгляда, что включает в себя использование адаптивного преобразования гомографического сопоставления для коррекции смещения, при этом адаптивное преобразование гомографического сопоставления обучается, чтобы компенсировать пространственно варьирующиеся ошибки взгляда или зависимые от позы головы ошибки относительно позиции калибровки, или и то, и другое, что включает в себя:

- предоставление текущих данных блесков и связанных со зрачком данных, извлеченных из изображения, в качестве признаков, чтобы получать зависимые от позы головы данные, на основе распознаваемого адаптивного преобразования гомографического сопоставления, которые используются, чтобы определять текущее направление взгляда.