RU2605370C2 - Система для распознавания и отслеживания пальцев - Google Patents

Система для распознавания и отслеживания пальцев Download PDF

Info

Publication number
RU2605370C2
RU2605370C2 RU2013154102/08A RU2013154102A RU2605370C2 RU 2605370 C2 RU2605370 C2 RU 2605370C2 RU 2013154102/08 A RU2013154102/08 A RU 2013154102/08A RU 2013154102 A RU2013154102 A RU 2013154102A RU 2605370 C2 RU2605370 C2 RU 2605370C2
Authority
RU
Russia
Prior art keywords
hand
user
rectangle
fingers
data
Prior art date
Application number
RU2013154102/08A
Other languages
English (en)
Other versions
RU2013154102A (ru
Inventor
Энтони ЭМБРУС
Киунгсук Дэвид ЛИ
Эндрю КЭМПБЕЛЛ
Дэвид ХЕЙЛИ
Брайан МАУНТ
Альберт РОБЛЕС
Дэниел ОСБОРН
Шон РАЙТ
Нахил ШАРКАСИ
Дэйв ХИЛЛ
Дэниел МАККАЛЛОК
Original Assignee
МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи filed Critical МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Publication of RU2013154102A publication Critical patent/RU2013154102A/ru
Application granted granted Critical
Publication of RU2605370C2 publication Critical patent/RU2605370C2/ru

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/812—Ball games, e.g. soccer or baseball
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6615—Methods for processing data by generating or executing the game program for rendering three dimensional images using models with different levels of detail [LOD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)

Abstract

Изобретение относится к области формирования компьютерной модели целевого пользователя, включающей в себя модель кистей руки и пальцев пользователя, захваченной посредством датчика изображения в системе естественного пользовательского интерфейса. Технический результат заключается в повышении точности распознания и отслеживания тела пользователя, включая позиции пальцев и кистей рук. Технический результат достигается за счет формирования модели кисти руки пользователя, включающей в себя один или более пальцев, посредством извлечения дескриптора для извлечения данных кисти руки. 2 н. и 15 з.п. ф-лы, 23 ил.

Description

УРОВЕНЬ ТЕХНИКИ
В прошлом вычислительные прикладные программы, такие как компьютерные игры и мультимедийные прикладные программы, использовали контроллеры, пульты дистанционного управления, клавиатуры, мыши и т.п., чтобы позволить пользователям управлять игровыми персонажами или другими аспектами прикладной программы. Позже компьютерные игры и мультимедийные прикладные программы начали использовать камеры и программные механизмы распознавания жестов, чтобы обеспечить естественный пользовательский интерфейс ("NUI"). С помощью естественного пользовательского интерфейса первичные данные суставов и пользовательские жесты обнаруживаются, интерпретируются и используются для управления игровыми персонажами или другими аспектами прикладной программы.
Одной из проблем системы естественного пользовательского интерфейса является различение человека в поле зрения датчика изображения и корректная идентификация расположения его частей тела, в том числе кистей рук и пальцев, в поле зрения. Известны программы для отслеживания рук, ног, головы и туловища. Однако, учитывая тонкие детали и большое разнообразие позиций кистей рук пользователя, традиционные системы не в состоянии удовлетворительно распознавать и отслеживать тело пользователя, включая позиции пальцев и кистей рук.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Здесь раскрыты системы и способы распознавания и отслеживания скелетных суставов пользователя, в том числе позиций кисти руки и пальцев, с помощью системы естественного пользовательского интерфейса. В примерах отслеживание позиций кисти руки и пальцев может использоваться системами естественного пользовательского интерфейса для инициирования событий, таких как выбор, вступление в контакт или захват и перетаскивание объектов на экране. Посредством настоящей технологии для распознавания и отслеживания позиций и движений кистей рук может быть обеспечена возможность для множества других жестов, управляющих действий и применений. Посредством определения состояния кисти руки и пальцев пользователя интерактивность пользователя с системой естественного пользовательского интерфейса может быть увеличена и пользователю могут быть представлены более простые и более интуитивные интерфейсы.
В одном примере настоящее раскрытие имеет отношение к способу формирования модели кисти руки пользователя, включающей в себя один или более пальцев, для естественного пользовательского интерфейса, содержащему этапы, на которых: (a) принимают данные изображения пользователя, взаимодействующего с естественным пользовательским интерфейсом; и (b) анализируют данные изображения для идентификации руки в данных изображения, упомянутый этап (b) содержит этапы, на которых: (b)(1) анализируют данные глубины из данных изображения, полученных на упомянутом этапе (a), для сегментации данных изображения в данные кисти руки, и (b)(2) извлекают дескриптор формы посредством применения одного или более фильтров к данным изображения кисти руки, идентифицированным на упомянутом этапе (b)(1), причем эти один или более фильтров анализируют данные изображения кисти руки по сравнению с данными изображения за пределами границы кисти руки для различения формы и ориентации кисти руки.
В дополнительном примере настоящее раскрытие имеет отношение к системе для формирования модели кисти руки пользователя, включающей в себя один или более пальцев, для естественного пользовательского интерфейса, содержащей: средство распознавания скелета для распознавания скелета пользователя из принятых данных изображения; средство сегментации изображения для сегментации одной или более областей тела в область, представляющую кисть руки пользователя; и средство извлечения дескриптора для извлечения данных, представляющих кисть руки, включающей в себя один или более пальцев, и ориентацию кисти руки, при этом средство извлечения дескриптора применяет множество фильтров для анализа пикселей в области, представляющей кисть руки, причем каждый фильтр во множестве фильтров определяет позицию и ориентацию кисти руки, при этом средство извлечения дескриптора комбинирует результаты каждого фильтра для достижения наилучшей оценки позиции и ориентации кисти руки.
В другом примере настоящее раскрытие имеет отношение к машиночитаемому носителю, не состоящему из модулированного сигнала данных, причем машиночитаемый носитель имеет машиноисполняемые команды для программирования процессора на выполнение способа формирования модели кисти руки пользователя, включающей в себя один или более пальцев, для естественного пользовательского интерфейса, содержащего этапы, на которых: (a) принимают данные изображения пользователя, взаимодействующего с естественным пользовательским интерфейсом; (b) анализируют данные изображения для идентификации кисти руки в данных изображения; и (c) сравнивают данные изображения идентифицированной кисти руки с предопределенными положениями кисти руки для определения того, выполнил ли пользователь один из следующих предопределенных жестов кисти руки или управляющих действий: (c)(1) счет на пальцах пользователя, (c)(2) выполнение жеста “все в порядке” («окей»), (c)(3) нажатие виртуальной кнопки, (c)(4) зажимание вместе большого и другого пальцев кисти руки, (c)(5) письмо или рисование, (c)(6) лепка, (c)(7) управление куклой, (c)(8) вращение круглой рукоятки или открывание кодового замка, (c)(9) стрельба из оружия, (c)(10) выполнение жеста щелчка, (c)(11) выполнение жеста, в котором палец может использоваться на открытой ладони для прокрутки и перемещения через виртуальное пространство, и (c)(12) движение пальцами как ножницами для управления ногами виртуального персонажа.
Это описание сущности изобретения дано для того, чтобы в упрощенной форме представить подборки концепций, которые далее описаны в подробном описании. Это описание сущности изобретения не предназначено для выявления ключевых признаков или основных признаков заявленного изобретения, а также не предназначено для использования в качестве средства определения объема заявленного изобретения. Кроме того, заявленное изобретение не ограничено реализациями, которые устраняют какие-либо или все недостатки, отмеченные в любой части этого раскрытия.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фигура 1A показывает иллюстративный вариант осуществления системы распознавания, анализа и отслеживания цели.
Фигура 1B показывает дополнительный иллюстративный вариант осуществления системы распознавания, анализа и отслеживания цели.
Фигура 1C показывает еще один дополнительный иллюстративный вариант осуществления системы распознавания, анализа и отслеживания цели.
Фигура 2 показывает иллюстративный вариант осуществления устройства захвата, которое может использоваться в системе распознавания, анализа и отслеживания цели.
Фигура 3 показывает иллюстративную модель тела, используемую для представления человеческой цели.
Фигура 4 показывает, по существу, вид спереди иллюстративной скелетной модели, используемой для представления человеческой цели.
Фигура 5 показывает вид сбоку иллюстративной скелетной модели, используемой для представления человеческой цели.
Фигура 6 показывает блок-схему последовательности операций конвейера для отслеживания цели в соответствии с вариантом осуществления настоящей технологии.
Фигура 7 показывает иллюстративный способ определения состояния кисти руки пользователя в соответствии с вариантом осуществления настоящего раскрытия.
Фигура 8 - блок-схема последовательности операций средства сегментации изображения в соответствии с вариантом осуществления настоящего раскрытия.
Фигура 9 - блок-схема последовательности операций фильтра классификации пикселей в соответствии с вариантом осуществления настоящего раскрытия.
Фигура 10 - дерево решений фильтра классификации пикселей в соответствии с вариантом осуществления настоящего раскрытия.
Фигуры 11A и 11B иллюстрируют идентификацию кончика пальца с использованием фильтра классификации пикселей в соответствии с вариантом осуществления настоящего раскрытия.
Фигура 12 иллюстрирует идентификацию пальца с использованием фильтра классификации пикселей в соответствии с вариантом осуществления настоящего раскрытия.
Фигура 13 иллюстрирует секцию кисти руки, идентифицированную с использованием фильтра классификации пикселей в соответствии с вариантом осуществления настоящего раскрытия.
Фигура 14 иллюстрирует идентификацию кисти руки и пальца с использованием фильтра классификации пикселей в соответствии с вариантом осуществления настоящего раскрытия.
Фигура 15 - блок-схема последовательности операций фильтра анализа кривизны в соответствии с вариантом осуществления настоящего раскрытия.
Фигура 16 иллюстрирует идентификацию кисти руки и пальца с использованием фильтра анализа кривизны в соответствии с вариантом осуществления настоящего раскрытия.
Фигура 17 иллюстрирует анализ открытой и закрытой кисти руки с использованием фильтра гистограммы глубины в соответствии с вариантом осуществления настоящего раскрытия.
Фигура 18 - блок-схема последовательности операций фильтра супервизора для классификации позиции кисти рук на основе фильтров кисти руки.
Фигура 19A показывает иллюстративный вариант осуществления вычислительной среды, которая может использоваться для интерпретации одного или более жестов в системе распознавания, анализа и отслеживания цели.
Фигура 19B иллюстрирует другой иллюстративный вариант осуществления вычислительной среды, которая может использоваться для интерпретации одного или более жестов в системе распознавания, анализа и отслеживания цели.
ПОДРОБНОЕ ОПИСАНИЕ
Теперь со ссылкой на фиг. 1A-19B будут описаны варианты осуществления настоящей технологии, которые в общем имеют отношение к конвейеру для формирования компьютерной модели целевого пользователя, включающей в себя модель кистей рук и пальцев пользователя, захваченной датчиком изображения в системе естественного пользовательского интерфейса (NUI). Компьютерная модель может формироваться один раз для каждого кадра захваченных данных изображения и представляет наилучшую оценку позиции, в том числе позы, пользователя во время захваченного кадра. Сформированная модель кистей рук для каждого кадра может использоваться игровой или другой прикладной программой для определения таких моментов, как пользовательские жесты и управляющие действия. Модель кистей рук также может быть возвращена в конвейер, чтобы помочь в будущих определениях модели.
Как показано на фиг. 1A-2, аппаратные средства для реализации настоящей технологии включают в себя систему 10 распознавания, анализа и отслеживания цели, которая может использоваться для распознавания, анализа и/или отслеживания человеческой цели, такой как пользователь 18. Варианты осуществления системы 10 распознавания, анализа и отслеживания цели включают в себя вычислительную среду 12 для исполнения игровой или другой прикладной программы. Вычислительная среда 12 может включать в себя аппаратные компоненты и/или программные компоненты, с тем чтобы вычислительная среда 12 могла использоваться для исполнения прикладных программ, такие как игровые и неигровые прикладные программы. В одном варианте осуществления вычислительная среда 12 может включать в себя процессор, такой как стандартизированный процессор, специализированный процессор, микропроцессор и т.п., который может исполнять команды, сохраненные на читаемом с помощью процессора устройстве хранения данных, для выполнения описанных здесь процессов.
Система 10 дополнительно включает в себя устройство 20 захвата для захвата данных изображения и звука, имеющих отношение к одному или более пользователям и/или объектам, обнаруженным устройством захвата. В вариантах осуществления устройство 20 захвата может использоваться для захвата информации, имеющей отношение к движениям тела и кистей рук и/или жестов и речи одного или более пользователей, которая принимается вычислительной средой и используется для аспектов воспроизведения, взаимодействия и/или управления в игровой или другой прикладной программы. Примеры вычислительной среды 12 и устройство 20 захвата более подробно разъяснены ниже.
Варианты осуществления системы 10 распознавания, анализа и отслеживания цели могут быть соединены с аудиовизуальным (A/V) устройством 16, имеющим дисплей 14. Устройство 16, например, может представлять собой телевизор, телефоном, монитором для компьютера, телевизор высокой четкости (HDTV) и т.п., которые могут обеспечить пользователю визуальную и звуковую информацию игры или прикладной программы. Например, вычислительная среда 12 может включать в себя видеоадаптер, такой как видеокарта, и/или звуковой адаптер, такой как звуковая карта, которые могут обеспечить звуковые/визуальные сигналы, соответствующие игре или другой прикладной программе. Аудиовизуальное устройство 16 может принимать звуковые/визуальные сигналы от вычислительной среды 12 и может затем выводить 18 пользователю визуальную и/или звуковую информацию игры или прикладной программы, соответствующую звуковым/визуальным сигналам. В соответствии с одним вариантом осуществления аудиовизуальное устройство 16 может быть соединено с вычислительной средой 12, например, через кабель S-Video, коаксиальный кабель, кабель HDMI, кабель DVI, кабель VGA, кабель компонентного видео и т.п.
В вариантах осуществления вычислительная среда 12, аудиовизуальное устройство 16 и устройство 20 захвата могут взаимодействовать для воспроизведения видеообраза или экранного персонажа 19 на дисплее 14. Например, фиг.1A показывает пользователя 18, играющего в прикладную программу футбола. Движения пользователя отслеживаются и используются для анимации движения видеообраза 19. В вариантах осуществления видеообраз 19 подражает движениям пользователя 18 в пространстве реального мира таким образом, чтобы пользователь 18 мог выполнять движения и жесты, которые управляют движениями и действиями видеообраза 19 на дисплее 14.
Как объяснено выше, программы оценки движения, такие как системы отображения скелета, могут испытывать недостаток возможностей обнаруживать тонкие жесты пользователя, такие как, например, движение кисти руки пользователя. Например, пользователь может хотеть взаимодействовать с системой 10 естественного пользовательского интерфейса посредством просмотра путем прокрутки и управления пользовательским интерфейсом 21 с помощью своей кисти руки, как показано на фиг.1B. Пользователь может в качестве альтернативы попытаться выполнять различные жесты, например, посредством открывания и/или закрывания своей кисти руки, как показано номерами 23 и 25 на фиг.1C.
В соответствии с этим, описанные здесь ниже системы и способы направлены на определение состояния кисти руки пользователя. Например, действие закрывания и открывания кисти руки может использоваться такими системами для инициирующих событий, таких как выбор, вступление в контакт или захват и перетаскивание объектов, например, объекта 27 (фиг.1C) на экране. Эти действия иначе могут соответствовать нажатию кнопки при использовании контроллера. Такое усовершенствованное взаимодействие без контроллеров может использоваться в качестве альтернативы подходам, основанным на взмахе и парении кисти руки, которое может быть не интуитивным или затруднительным. Посредством настоящей технологии для распознавания и отслеживания движений кистей рук может быть обеспечена возможность для множества других жестов, управляющих действий и применений, некоторые из которых описаны с дополнительными подробностями ниже. Посредством определения состояния кисти руки пользователя, как описано ниже, может быть увеличена интерактивность пользователя с системой, и пользователю могут быть представлены более простые и более интуитивные интерфейсы.
Фиг. 1A-1B включают в себя статические фоновые объекты 23, такие как пол, стул и растение. Они являются объектами в пределах поля зрения (FOV), захваченного устройством 20 захвата, но не изменяются от кадра к кадру. В дополнение к показанным полу, стулу и растению статические объекты могут представлять собой любые объекты, захваченные камерами изображения в устройстве 20 захвата. Дополнительные статические объекты в сцене могут включать в себя любые стены, потолок, окна, двери, стенные украшения и т.д.
Подходящие примеры системы 10 и ее компонентов находятся в следующих одновременных заявках на патенты, все из которых включены в настоящий документ по ссылке: заявка на патент США №12/475094, названная “Сегментация среды и/или цели”, поданная 29 мая 2009 года; заявка на патент США № 12/511850, названная “Автоматическая генерация визуального представления”, поданная 29 июля 2009 года; заявка на патент США № 12/474655, названная “Жестовый инструмент”, поданная 29 мая 2009 года; заявка на патент США № 12/603437, названная “Конвейер отслеживания поз”, поданная 21 октября 2009 года; заявка на патент США №12/475308, названная “Устройство для идентификации и отслеживания нескольких людей в течение времени”, поданная 29 мая 2009 года, заявка на патент США № 12/575388, названная “Система отслеживания человека”, поданная 7 октября 2009 года; заявка на патент США № 12/422661, названная “Системная архитектура устройства распознавания жестов”, поданная 13 апреля 2009 года; и заявка на патент США № 12/391150, названная “Стандартные жесты”, поданная 23 февраля 2009 года.
Фиг.2 показывает иллюстративный вариант осуществления устройства 20 захвата, которое может использоваться в системе 10 распознавания, анализа и отслеживания цели. В иллюстративном варианте осуществления устройство 20 захвата может быть выполнено с возможностью захватывать видеоинформацию, имеющую изображение глубины, которое может включать в себя значения глубины, через любую подходящую методику, в том числе, например, время прохождения, структурированное освещение, стереоскопическое изображение и т.п. В соответствии с одним вариантом осуществления устройство 20 захвата может организовать расчетную информацию глубины по “Z-уровням”, или уровням, которые могут быть перпендикулярными по отношению к оси Z, простирающейся из глубины камеры вдоль ее линии обзора. Оси X и Y могут быть определены как перпендикулярные по отношению к оси Z. Ось Y может представлять собой вертикаль, и ось X может представлять собой горизонталь. Вместе эти оси X, Y и Z определяют трехмерное пространство реального мира, захватываемое устройством 20 захвата.
Как показано на фиг.2, устройство 20 захвата может включать в себя компонент 22 камеры изображения. В соответствии с иллюстративным вариантом осуществления компонент 22 камеры изображения может представлять собой камеру глубины, которая может захватывать изображение глубины сцены. Изображение глубины может включать в себя двухмерную (2D) область пикселей захваченной сцены, где каждый пиксель в двухмерной области пикселей может представлять значение глубины, такое как длина или расстояние, например, в сантиметрах, миллиметрах и т.п. объекта в захваченной сцене от камеры.
Как показано на фиг.2, в соответствии с иллюстративным вариантом осуществления компонент 22 камеры изображения может включать в себя компонент 24 инфракрасного (IR) света, трехмерную (3D) камеру 26 и камеру 28 RGB, которые могут использоваться для захвата изображения глубины сцены. Например, при анализе времени прохождения компонент 24 инфракрасного света из устройства 20 захвата может испускать инфракрасный свет на сцену и может затем использовать датчики (не показаны) для обнаружения обратно рассеянного света от поверхности одной или более целей и объектов в сцене с использованием, например, трехмерной камеры 26 и/или камеры 28 RGB.
В некоторых вариантах осуществления импульсный инфракрасный свет может использоваться таким образом, чтобы время между исходящим световым импульсом и соответствующим входящим световым импульсом могло быть измерено и использовано для определения физического расстояния от устройства 20 захвата до конкретного местоположения на целях или объектах в сцене. Дополнительно, в других иллюстративных вариантах осуществления фаза исходящей световой волны может сравниваться с фазой входящей световой волны, для определения фазового сдвига. Фазовый сдвиг может затем использоваться для определения физического расстояния от устройства 20 захвата до конкретного местоположения на целях или объектах.
В соответствии с другим иллюстративным вариантом осуществления анализ времени прохождения может использоваться для косвенного определения физического расстояния от устройства 20 захвата до конкретного местоположения на целях или объектах посредством анализа интенсивности отраженного пучка света в течение времени через различные методики, в том числе, например, формирование изображений с помощью прерывистых световых импульсов.
В другом иллюстративном варианте осуществления устройство 20 захвата может использовать структурированный свет для захвата информации глубины. При таком анализе структурированный свет (то есть, свет, визуально воспроизводимый с известным рисунком, таким как сетчатый рисунок или рисунок в полоску) может быть спроецирован на сцену, например, через компонент 24 инфракрасного света. После столкновения с поверхностью одной или более целей или объектов в сцене в ответ рисунок может деформироваться. Такая деформация рисунка может быть захвачена, например, трехмерной камерой 26 и/или камерой 28 RGB и затем может быть проанализирована для определения физического расстояния от устройства 20 захвата до конкретного местоположения на целях или объектах.
В соответствии с другим вариантом осуществления устройство 20 захвата может включать в себя две или более физически разделенные камеры, которые могут обозревать сцену с различных углов, для получения стереоскопических визуальных данных, которые могут быть проанализированы для формирования информации глубины. В другом иллюстративном варианте осуществления устройство 20 захвата может использовать данные облака точек и методики оцифровки цели для обнаружения признаков пользователя. Другие системы датчиков могут использоваться в дополнительных вариантах осуществления, такие как, например, ультразвуковая система, способная обнаруживать оси x, y и z.
Устройство захвата 20 может дополнительно включать в себя микрофон 30. Микрофон 30 может включать в себя датчик, который может принимать и преобразовывать звук в электрический сигнал. В соответствии с одним вариантом осуществления микрофон 30 может использоваться для уменьшения обратной связи между устройством 20 захвата и вычислительной средой 12 в системе 10 распознавания, анализа и отслеживания цели. Дополнительно, микрофон 30 может использоваться для приема аудиосигналов, которые также могут быть обеспечены пользователем для управления прикладными программами, такими как игровые прикладные программы, неигровые прикладные программы и т.п., которые могут исполняться вычислительной средой 12.
В иллюстративном варианте осуществления устройство 20 захвата может дополнительно включать в себя процессор 32, который может находиться в функциональной связи с компонентом 22 камеры изображения. Процессор 32 может включать в себя стандартизированный процессор, специализированный процессор, микропроцессор и т.п., которые могут исполнять команды, которые могут включать в себя команды для получения изображения глубины, определения, может ли подходящая цель быть включена в изображение глубины, преобразования подходящей цели в скелетное представление или модель цели или исполнения какой-либо другой подходящей команды.
Устройство 20 захвата может дополнительно включать в себя компонент 34 памяти, который может хранить команды, которые могут быть исполнены процессором 32, изображения или кадры изображений, захваченные трехмерной камерой или камерой RGB, или любую другую подходящую информацию, изображения и т.п. В соответствии с иллюстративным вариантом осуществления компонент 34 памяти может включать в себя оперативное запоминающее устройство (ОЗУ; RAM), постоянное запоминающее устройство (ПЗУ; ROM), кэш, флэш-память, жесткий диск или любой другой подходящий компонент хранения. Как показано на фиг.2, в одном варианте осуществления компонент 34 памяти может являться отдельным компонентом, связанным с компонентом 22 камеры изображения и процессором 32. В соответствии с другим вариантом осуществления компонент 34 памяти может быть интегрирован в процессор 32 и/или компонент 22 камеры изображения.
Как показано на фиг.2, устройство 20 захвата может находиться в связи с вычислительной средой 12 через линию 36 связи. Линия 36 связи может представлять собой проводное соединение, в том числе, например, соединение USB, соединением Firewire, кабельное соединение Ethernet и т.п. и/или беспроводным соединением, таким как беспроводная связь стандарта 802.11b, g, a или n. В соответствии с одним вариантом осуществления вычислительная среда 12 может обеспечить часы для устройства 20 захвата, которые могут использоваться, например, для определения, когда следует захватить сцену, через линию 36 связи.
Дополнительно устройство 20 захвата может обеспечивать информацию глубины и изображения, захваченные, например, трехмерной камерой 26 и/или камерой 28 RGB. При помощи этих устройств частичная скелетная модель может быть разработана в соответствии с настоящей технологией, и полученные в результате данные предоставляются вычислительной среде 12 через линию 36 связи.
Вычислительная среда 12 может также включать в себя средство 190 распознавания жестов для распознавания жестов, как разъяснено ниже. В соответствии с настоящей системой вычислительная среда 12 также может включать в себя средство 192 распознавания скелета, средство 194 сегментации изображения, средство 196 извлечения дескриптора и средство 198 классификатора. Каждое из этих средств программного обеспечения более подробно описан ниже.
Фиг.3 показывает неограничивающее визуальное представление иллюстративной модели 70 тела, сформированной средством 192 распознавания скелета. Модель 70 тела представляет собой машинное представление смоделированной цели (например, пользователя 18 на фиг.1A и 1B). Модель тела может включать в себя одну или более структур данных, которые включают в себя набор переменных, которые все вместе определяют смоделированную цель на языке игры или другой прикладной программы/операционной системы.
Модель цели может быть сконфигурирована по-разному без отступления от контекста этого раскрытия. В некоторых примерах модель может включать в себя одну или более структур данных, которые представляют цель как трехмерную модель, содержащую жесткие и/или деформируемые формы или части тела. Каждая часть тела может быть охарактеризована как математический примитив, примеры которого включают в себя, но без ограничения, сферы, анизотропически масштабированные сферы, цилиндры, анизотропные цилиндры, гладкие цилиндры, параллелепипеды, скошенные параллелепипеды, призмы и т.п.
Например, модель 70 тела по фиг.3 включает в себя части bp1-bp14 тела, каждая из которых представляет отдельную часть смоделированной цели. Каждая часть тела представляет собой трехмерную форму. Например, часть bp3 является прямоугольной призмой, которая представляет левую руку смоделированной цели, и часть bp5 является восьмиугольной призмой, которая представляет левое плечо смоделированной цели. Модель 70 тела является иллюстративной в этом смысле, что модель тела может содержать любое количество частей тела, каждая из которых может являться любым понимаемым машиной представлением соответствующей части смоделированной цели.
Модель, включающая в себя две или более частей тела, также может включать в себя один или более суставов. Каждый сустав может дать возможность одной или более частям тела двигаться относительно одной или более других частей тела. Например, модель, представляющая человеческую цель, может включать в себя множество жестких и/или деформируемых частей тела, причем некоторые части тела могут представлять соответствующую анатомическую часть тела человеческой цели. Кроме того, каждая часть тела модели может содержать один или более структурных элементов (то есть, “костей” или скелетных частей), и суставы расположены на пересечении смежных костей. Следует понимать, что некоторые кости могут соответствовать анатомическим костям в человеческой цели, и/или некоторые кости могут не иметь соответствующих анатомических костей в человеческой цели.
Кости и суставы могут все вместе составить скелетную модель, которая может являться составляющим элементом модели тела. В некоторых вариантах осуществления скелетная модель может использоваться вместо другого типа модели, такой как модель 70 на фиг. 3. Скелетная модель может включать в себя один или более скелетных элементов для каждой части тела и сустава между смежными скелетными элементами. Иллюстративная скелетная модель 80 и иллюстративная скелетная модель 82 показаны на фиг.4 и 5, соответственно. Фиг.4 показывает скелетную модель 80, обозреваемую спереди, с суставами j1-j33. Фиг.5 показывает скелетную модель 82, обозреваемую сбоку, также с суставами j1-j33. Скелетная модель может включать в себя больше или меньше суставов без отступления от сущности этого раскрытия. Дополнительные варианты осуществления настоящей системы, разъясненные в дальнейшем, работают с использованием скелетной модели, имеющей 31 сустав.
Описанные выше модели частей тела и скелетные модели не ограничивают примеры типов моделей, которые могут использоваться в качестве машинных представлений смоделированной цели. Другие модели также находятся в объеме этого раскрытия. Например, некоторые модели могут включать в себя многоугольные сетки, участки, неоднородные рациональные B-сплайны, поверхности подразделения или другие поверхности высокого порядка. Модель может также включать в себя поверхностные текстуры и/или другую информацию для более точного представления одежды, волос и/или других аспектов смоделированной цели. Модель может дополнительно включать в себя информацию, имеющую отношение к текущей позе, к одной или более прошлым позам и/или к физике модели. Следует понимать, что множество различных моделей, которые могут быть изложены, является совместимым с описанной здесь системой распознавания, анализа и отслеживания цели.
Известны программные конвейеры для формирования скелетных моделей одного или более пользователей в пределах области зрения устройства 20 захвата. Одна такая система раскрыта, например, в заявке на патент США № 12/876418, названной “Система для быстрого вероятностного скелетного отслеживания”, поданная 7 сентября 2010 года, которая включена в настоящий документ по ссылке во всей своей полноте. При определенных условиях, например, когда пользователь находится достаточно близко к устройству 20 захвата, и по меньшей мере одна из кистей руки пользователя отличима от другого фонового шума, программный конвейер дополнительно может быть в состоянии сформировать модели кисти руки и/или пальцев одного или более пользователей в пределах поля зрения.
Фиг.6 является блок-схемой последовательности операций программного конвейера для распознавания и отслеживания кисти руки и/или пальцев пользователя. На этапе 200 конвейер принимает изображение глубины от устройства 20 захвата. Изображение глубины секции пользователя проиллюстрировано на фиг.7 под номером 302. Каждый пиксель в изображении глубины включает в себя информацию глубины, например, как проиллюстрировано на фиг.7 с помощью полутонового градиента. Например, в позиции 302 левая кисть руки пользователя находится ближе к устройству 20 захвата, как обозначено более темной областью левой кисти руки. Устройство захвата или камера глубины захватывают изображения пользователя в наблюдаемой сцене. Как описано ниже, изображение глубины пользователя может использоваться для определения информации о расстоянии областей пользователя, информации о масштабе пользователя, кривизны и скелетной информации пользователя.
На этапе 204 средство 192 распознавания скелета из состава конвейера оценивает скелетную модель пользователя, как описано выше, для получения виртуального скелета из изображения глубины, полученного на этапе 200. Например, на фиг.7, виртуальный скелет 304 показан как оцененный на основе изображения глубины, показанного в позиции 302 пользователя.
На этапе 208 конвейер сегментирует кисть руки или кисти рук пользователя через средство 194 сегментации изображения конвейера. В некоторых примерах средство 194 сегментации изображения может дополнительно сегментировать одну или более областей тела в дополнение к кистям руки. Сегментация кисти руки пользователя включает в себя идентификацию области изображения глубины, соответствующей кисти руки, причем идентификация по меньшей мере частично основана на информации скелета, полученной на этапе 204. Фиг.7 иллюстрирует пример сегментации изображения глубины пользователя на различные области 306 на основе оцененного скелете 304, как обозначено по-разному затененными областями. Фиг.7 показывает локализованную область 308 кисти руки, соответствующую поднятой правой кисти руки пользователя.
Кисти руки или области тела могут быть сегментированы или локализованы множеством способов, и это может быть основано на выбранных суставах, идентифицированных по описанной выше оценке скелета. В качестве одного примера, обнаружение и локализация кисти руки в изображении глубины могут быть основаны на оцененных суставах запястья и/или кончиков кисти руки из оцененного скелета. Например, в некоторых вариантах осуществления сегментация кисти руки в изображении глубины может быть выполнена с использованием топографического поиска изображения глубины вокруг суставов кисти руки, с определением местоположения около локальных экстремумов в изображении глубины как кандидатов на кончики пальцев. Средство 194 сегментации изображения затем сегментирует остальную часть кисти руки, принимая во внимание масштабный коэффициент размера тела, определенный из оцененного скелета, а также разрывы глубины для идентификации границ.
В качестве другого примера, для идентификации областей изображения глубины, соответствующих кистям руки пользователя, может использоваться подход заливки. В подходе заливки изображение глубины может отыскиваться от начальной точки и в начальном направлении, например, начальная точка может представлять собой сустав запястья, и начальное направление может представлять собой направление от локтя до сустава запястья. Соседние пиксели в изображении глубины могут итерационно оцениваться на основе проекции на начальное направление в качестве способа предоставления предпочтения точкам, перемещающимся от локтя и к кончику кисти руки, в то время как ограничения постоянства глубины, такие как разрывы глубины, могут использоваться для идентификации границы или экстремальных значений кистей рук пользователя в изображении глубины. В некоторых примерах могут использоваться пороговые значения расстояния для ограничения поиска по карте глубины как в положительном, так и в отрицательном направлениях относительно начального направления на основе фиксированных значений, или, например, может использоваться масштаб на основе оцененного размера пользователя.
В качестве еще одного примера, ограничивающая сфера или другая подходящая ограничивающая форма, расположенная на основе скелетных суставов (например, запястья или суставов кончика кисти руки), могут использоваться для включения всех пикселей в изображении глубины вплоть до разрыва глубины. Например, по ограничивающей сфере можно двигать окно, чтобы идентифицировать разрывы глубины, которые могут использоваться для установления границы области кисти руки изображения глубины.
Способ ограничивающей формы также может использоваться для размещения ограничивающей формы вокруг центра ладони, который может быть итеративно идентифицирован. Один пример такого итеративного способа ограничения раскрыт в презентации Дэвида Тафта (David Tuft), названной "Kinect Developer Summit at GDC 2011: Kinect for XBOX 360", приложенной к настоящему документу как присоединение 1, и в публикации K. Эйб (K. Abe), Х. Саито (H. Saito), С. Озоа (S. Ozawa), названной "3D drawing system via hand motion recognition from cameras", IEEE International Conference on Systems, Man, and Cybernetics, vol. 2, 2000, которая включена в настоящий документ по ссылке во всей полноте.
В общем, такой способ включает в себя несколько итеративных проходов для отбрасывания пикселей из модели. В каждом проходе способ отбрасывает пиксели вне сферы или другой формы с центром на кисти руки. Затем способ отбрасывает пиксели, слишком далекие от кончика кисти руки (вдоль вектора руки). Затем способ выполняет этап обнаружения границы для обнаружения края руки и удаления несвязных островков. Иллюстративные этапы такого способа показаны в блок-схеме последовательности операций на фиг.8. На этапе 224 ограничивающая форма формируется вокруг центра кисти руки, заданной посредством данных сустава руки из средства 192 распознавания скелета. Ограничивающая форма является достаточно большой, чтобы охватить всю кисть руки, и является трехмерной. На этапе 226 отбрасываются пиксели вне ограничивающей формы.
Может случиться, что кисть руки пользователя находится близко к его телу или ко второй кисти руки пользователя на изображении глубины, и данные от этих других секций тела будут первоначально включены в сегментированное изображение. Маркировка соединенных компонентов может быть выполнена для маркировки разных средних точек в сегментированном изображении. Средняя точка, которая наиболее вероятно является кистью руки, выбирается на основе ее размера и местоположении сустава кисти руки. Не выбранные средние точки могут быть отброшены. На этапе 230 также могут быть отброшены пиксели, которые находятся слишком далеко от кончика кисти руки вдоль вектора от присоединенной руки.
Скелетные данные от средства 192 распознавания скелета могут иметь помехи, таким образом, данные для кисти руки далее корректируются для идентификации центра кисти руки. Это может быть сделано посредством выполнения итерации по изображению и измерения расстояния от каждого пикселя до края контура кисти руки. Средство 194 сегментации изображения может тогда выполнить поиск нагруженного среднего для выяснения максимального/минимального расстояния. Таким образом, на этапе 232 для каждого пикселя в сегментированном изображении кисти руки идентифицируется максимальное расстояние вдоль осей x и y до края контура кисти руки и минимальное расстояние вдоль осей x и y до края контура руки. Расстояние до края берется в качестве весового коэффициента, и затем берется нагруженное среднее минимальных определенных расстояний по всем измеренным пикселям для выяснения вероятного центра положения кисти руки в пределах изображения (этап 234). С использованием нового центра процесс может быть многократно повторен, пока изменение центра ладони от предыдущей итерации не будет находиться в пределах некоторого допуска.
В некоторых подходах может быть выполнена сегментация кистей рук, когда пользователь поднимает кисть руки от туловища, над туловищем или перед туловищем. Таким образом, идентификация областей кистей рук в изображении глубины может быть менее неоднозначной, поскольку области кистей рук можно отличить от тела более легко. Изображения кистей рук являются особенно четкими, когда кисть руки пользователя ориентирована ладонью к устройству 20 захвата, и в такой точке признаки кисти руки могут быть обнаружены как контур. Признаки могут иметь помехи, но имеющая контур кисть руки позволяет делать некоторые обоснованные решения о том, что кисть руки делает, например, на основе обнаружения промежутков между пальцами и наблюдением общей формы кисти руки и их отображения с использованием множества разных подходов. Обнаружение этих промежутков и других признаков позволяет распознавать конкретные пальцы и общее направление, куда этот палец указывает.
Следует понимать, что иллюстративные описанные выше примеры сегментации кисти руки представлены с целью примера и не предназначены для ограничения объема этого раскрытия. Вообще, любые способы сегментации части кисти руки или тела могут использоваться по отдельности или в комбинации друг с другом и/или с одним из описанных выше иллюстративных способов.
В продолжение описания конвейера на фиг.7, этап 210 включает в себя извлечение дескриптора формы для области, например, области изображения глубины, соответствующей кисти руки, как идентифицировано на этапе 208. Дескриптор формы на этапе 210 извлекается посредством механизма 196 извлечения дескриптора и может представлять собой любое подходящее представление области кисти руки, которое используется для классификации области кисти руки. В некоторых вариантах осуществления дескриптор формы может быть вектором или набором чисел, используемым для кодификации или описания формы области кисти руки.
Средство 196 извлечения дескриптора может использовать любое множество фильтров на этапе 210 для извлечения дескриптора формы. Один фильтр может упоминаться как классификатор пикселей, который теперь будет описан со ссылкой на блок-схему последовательности операций на фиг. 9, дерево решений на фиг.10 и иллюстрации на фиг. 11-14. На этапе 240 выбирается пиксель на переднем плане сегментированного изображения. Это пиксели, которые, как по меньшей мере номинально полагают, являются частью кисти руки пользователя. Прямоугольник предопределенного размера берется вокруг выбранного пикселя с выбранным пикселем в центре. В вариантах осуществления размер прямоугольника может быть выбран в 1,5 раза больше ширины нормализованного пальца. "Нормализованный палец" представляет собой палец пользователя, который был скорректирован до нормализованного размера на основе размера скелетной модели и обнаруженного расстояния от пользователя до устройства 20 захвата. Следующие этапы выполняются последовательно для каждого пикселя, который, как номинально полагают, является частью кисти руки.
На этапе 242 фильтр классификатора пикселей определяет, сколько краев прямоугольника пересечено. Пересечением является место, где изображение переходит с переднего плана (над кистью руки) на фон (не над кистью руки). Например, фиг.11A показывает палец 276, выбранный пиксель 278 на пальце и описанный выше прямоугольник 280 вокруг пикселя в радиусе r. Прямоугольник пересекается в двух точках вдоль одного края; в точках 281a и 281b. Точки 281a, 281b являются местами, где изображение переходит с переднего плана (пальца) на фон. Все пиксели 278, имеющие две точки пересечения с краями своих соответствующих прямоугольников 280, считаются кончиками пальца (или частью сустава или руки, как объяснено ниже) в целях определения средних точек кистей рук, как объяснено ниже.
На этапе 246 фильтр классификатора пикселей определяет, находятся ли пересечения на одних и тех же или на разных краях. Как можно видеть на фиг.11B, палец может пересекать прямоугольник 280 вдоль двух смежных краев, а не вдоль одного и того же края. Эта информация будет использоваться для определения направления, в котором указывает палец, как объяснено ниже.
В противоположность кончику пальца, пиксель, который пересекает свой прямоугольник 280 в четырех точках, будут считаться пальцем в целях определения средних точек кистей рук, как объяснено ниже. Например, фиг.12 показывает пример, в котором выбранный пиксель 278 является достаточно удаленным от кончика пальца и имеет четыре точки пересечения 281a, 281b, 281c и 281d с прямоугольником 280.
На этапе 242 блок-схемы последовательности операций на фиг.9 и в позиции 264 дерева решений на фиг.10 фильтр классификатора пикселей проверяет, сколько краев прямоугольника 280 пересечено. Если края не пересечены, предполагается, что выбранный пиксель находится в пределах ладони пользователя в позиции 265. Таким образом, поскольку размер прямоугольника 280 выбран таким образом, чтобы были пересечены по меньшей мере два края, если пиксель находится на пальце или кончике пальца, если пиксель находится на кисти руки, и края не пересечены, то предполагается, что пиксель лежит на ладони. Если два края пересечены, фильтр идет в позицию 266, чтобы проверить, являются ли углы непересеченных краев заполненными (кисть руки) или пустыми (фон), как объяснено ниже. Если в позиции 267 пересечены четыре края, это считается пальцем, как объяснено выше. Если в позиции 268 края прямоугольника 280 пересечены шесть раз, это считается недопустимым считыванием и отбрасывается (этап 250).
Снова в позиции 266, где пересечены два края, это может быть кончик пальца, но это также может быть пространство между двумя смежными пальцами. Фильтр классификатора пикселей поэтому проверяет углы непересеченных краев (этап 248). Когда углы непересеченных краев являются заполненными, это означает, что прямоугольник находится под кистью руки в этих углах, и точки пересечения определяют впадину между смежными пальцами. Наоборот, когда углы непересеченных краев являются пустыми (как показано на иллюстрации, соответствующей позиции 266), это означает, что в этих углах прямоугольник находится на фоновых пикселях, и точки пересечения определяют часть кисти руки.
Если углы являются пустыми, фильтра классификатора пикселей в позиции 269 проверяет, является ли расстояние между точками пересечения, называемое длиной хорды, меньше максимальной ширины пальца (этап 252). Таким образом, там, где имеется две точки пересечения, это может быть кончик пальца, как показано на фиг.11A. Однако пиксель также может являться частью руки или частью кисти руки, например, суставом, как показано на фиг.13. Если это так, длина 282 хорды может быть больше максимальной ширины пальца. Если это так, считается, что пиксель 278, на предмет которого исследуется прямоугольник 280, находится на руке или суставе в позиции 271 (фиг.10).
В дополнение к идентификации кончика пальца или пальца пересечение с двумя точками или пересечение с четырьмя точками также могут раскрыть направление, в котором указывает кончик пальца/палец. Например, на фиг.11A имелось два пересечения с менее чем максимальной шириной пальца, таким образом, было определено, что пиксель 278 находится на кончике пальца. Однако, учитывая такое пересечение, можно сделать выводы о направлении, в котором указывает кончик пальца. То же самое может быть сказано для пальца, показанного на фиг.12. Фиг.11A показывает палец 276, указывающий прямо вверх. Но кончик 276 пальца может указывать также в других восходящих направлениях. Информация от других точек около точки 278 на кончике 276 пальца может использоваться для дополнительных выводов о направлении.
Фиг.11B показывает пересечение с двумя точками, которое обеспечивает дополнительные выводы о направлении, в котором указывает палец/кончик пальца. Таким образом, направление может быть выведено из отношения расстояний до совместного угла. Иначе говоря, длина хорды между точками 281a и 281b определяет гипотенузу треугольника, также включающего в себя стороны между точками 281a, 281b и совместный угол. Можно сделать вывод, что палец указывает в направлении, перпендикулярном по отношении к гипотенузе.
Может случиться, что кисть руки удерживается с двумя пальцами вместе, с тремя пальцами вместе или четырьмя пальцами вместе. Таким образом, после того, как описанные выше этапы пройдены с использованием прямоугольника 280 для каждого пикселя в кисти руки, процесс может быть повторен с использованием прямоугольника 280, который немного больше максимальной ширины двух пальцев вместе, и затем повторен снова с использованием прямоугольника 280, который немного больше максимальной ширины трех пальцев вместе, и т.д.
Как только данные фильтра классификатора пикселей собраны, фильтр классификатора пикселей затем пытается создать модель кисти руки из данных на этапе 258 (фиг.9). Имеются маленькие идентифицированные области, или средние точки, такие как, например, иллюстративные области, которые являются кончиком пальца, и область, которая является ладонью, и идея о центре ладони из этапа сегментации кисти руки. Средство 198 классификатора затем исследует средние точки пальца, не классифицированные как кончики пальцев, но, вследствие того, что они пересеклись в четырех точках, классифицированные как пальцы. Ориентация направления также была идентифицирована для областей пальца и кончика пальца. Если средняя точка пальца выровнена со средней точкой кончика пальца, и они находятся в корректном относительном расположении друг относительно друга, алгоритм соединяет эти средние точки как принадлежащие одному и тому же пальцу.
Затем ориентация области пальца используется для проекции туда, где находится сустав этого пальца, на основе размера скелета и величины пальца. Размер, позиция и ориентации любых идентифицированных впадин между пальцами также могут использоваться для подтверждения определенной модели кисти руки. Затем спроецированная позиция сустава соединяется с ладонью. После завершения средство классификатора пикселей определяет скелетную модель 284 кисти руки, два примера которой показаны на фиг.14. Модель, которую можно назвать "уменьшенная скелетная модель кисти руки отслеживает сегменты кисти руки, относящиеся к кончикам пальцев, суставы соединяют кисть руки и пальцы и центральную кость к ладони", включает в себя средние точки кончиков пальцев, соединенные со средними точками пальца, соединенными со средними точками сустава, соединенными со средней точкой ладони. Данные относительно известной геометрии и возможных позиций кисти руки из известной позиции руки также могут использоваться для проверки или оспаривания определенных позиций кончика пальца, пальца, сустава и/или позиций средних точек ладони, а также для отбрасывания данных центральных точек, которые могут быть определены как не являющиеся частью кисти руки.
Описанное выше создаст модель кисти руки, даже если одна или более секций кисти руки будут отсутствовать в модели. Например, палец мог быть закрыт или находиться слишком близко к телу пользователя или другой кисти руки, которая должна быть обнаружена. Или у пользователя может отсутствовать палец. Фильтр классификации пикселей создаст модель кисти руки с использованием положений пальцев и кисти руки, которые он обнаруживает.
Другой фильтр, который может быть выполнен в дополнение или вместо фильтра классификации пикселей, может упоминаться как фильтр анализа кривизны. Этот фильтр сосредоточен на кривизне вдоль границ сегментированного контура кисти руки, чтобы определить пики и впадины в попытке дифференцировать пальцы. Как показано в блок-схеме последовательности операций на фиг.15, на этапе 286, начиная с первого пикселя, восемь окружающих пикселей исследуются для определения, какой пиксель является следующим на кисти руки. Таким образом каждому пикселю присваивается значение от 0 до 7, характеризующее связность между этим пикселем и следующим. Цепочка этих чисел строится вокруг контура кисти руки, которая дает границы кисти руки. Эти значения могут быть преобразованы в углы и контуры вокруг кисти руки на этапе 288 для обеспечения графика контура и пиков кисти руки, такого как показан на фиг.16. Эти этапы формирования контуров и пиков кисти руки описаны, например, в статье Ф. Леймэри (F. Leymarie), М.Д. Левин (M.D. Levine), названной "Curvature morphology ", Computer Vision and Robotics Laboratory, McGill University, Montreal, Quebec, Canada, 1988, которая включена в настоящий документ по ссылке во всей полноте.
Пики вокруг контура кисти руки идентифицируются на этапе 289, и каждый анализируется относительно различных признаков пика. Пик может быть определен стартовой точкой, пиком и конечной точкой. Эти три точки могут образовать треугольник, как объяснено ниже. Различные признаки пика, которые могут быть исследованы, включают в себя, например:
ширину пика;
максимальную высоту данного пика;
среднюю высоту отсчетов кривизны в пределах пика;
соотношение формы пика (максимальная высота/средняя высота);
площадь пика;
расстояние от кисти руки до пика;
направление от локтя до кисти руки (x, y и z);
векторное произведение направления пика и направления руки (насколько мал угол между направлением руки и направлением пика); и
векторное произведение вектора между стартовой точкой пика и максимальной точкой и вектора между максимальной точкой и конечной точкой.
Эта информация может быть пропущена через различные методики машинного обучения на этапе 290, такие как, например, метод опорных векторов, чтобы дифференцировать пальцы и кисть руки. Метод опорных векторов известен и описан, например, в статьях К. Кортес (C. Cortes) и В. Вапник (V. Vapnik), "Support-Vector Networks, Machine Learning", 20(3):273-297, September 1995, и Владимир Н. Вапник (Vladimir N. Vapnik), "The Nature of Statistical Learning Theory", Springer, New York, 1995, обе из которых включены в настоящий документ по ссылке во всей полноте. В вариантах осуществления данные с помехами могут быть сглажены с использованием скрытой Марковской модели для поддержания состояния кистей рук и фильтрации шума.
Описанные выше фильтры могут упоминаться, как фильтры контура, поскольку они исследуют данные, относящиеся к контуру кисти руки. Дополнительный фильтр, который может быть использован, является фильтром гистограммы и упоминается как фильтр глубины, поскольку он использует данные глубины для построения модели кисти руки. Этот фильтр может использоваться в дополнение или вместо описанных выше фильтров и может быть особенно полезен, когда кисть руки пользователя указывает в направлении устройства 20 захвата изображения.
В фильтре гистограммы может быть создана гистограмма расстояний в области кисти руки. Например, такая гистограмма может включать в себя пятнадцать интервалов, где каждый интервал включает в себя количество точек в области кисти руки, расстояние которых в направлении оси z (глубина) от самой близкой точки к камере находится в пределах некоторого диапазона расстояния, соответствующего этому интервалу. Например, первый интервал в такой гистограмме может включать в себя количество точек в области кисти руки, расстояние которых до средней точки кисти руки находится между 0 и 0,40 см, второй интервал включает в себя количество точек в области кисти руки, расстояние которых до средней точки кисти руки находится между 0,40 и 0,80 см, и т.д. Таким образом, может быть создан вектор для кодификации формы кисти руки. Такие векторы затем могут быть нормализованы, например, на основе оцененного размера тела.
В другом иллюстративном подходе гистограмма может быть создана на основе расстояний и/или углов от точек в области кисти руки до сустава, сегмента кости или плоскости ладони из оцененного скелета пользователя, например, локтевого сустава, сустава запястья и т.д. Фиг.17 иллюстрирует два графика, показывающими гистограммы, определенные для закрытой кисти руки и открытой кисти руки.
Следует понимать, что примеры фильтра дескрипторов формы являются иллюстративными по природе и не предназначены для ограничения объема этого раскрытия. Вообще, любые подходящие дескрипторы формы для области кисти руки могут использоваться по отдельности или в комбинации друг с другом и/или одним из описанных выше иллюстративных способов. Например, дескрипторы формы, такие как описанные выше гистограммы или векторы, могут сочетаться и комбинироваться, объединяться и/или соединяться в большие по размеру векторы и т.д. Это может дать возможность идентификации новых шаблонов, которые не могли быть идентифицированы при их изолированном рассмотрении. Эти фильтры могут быть наращены посредством использования хронологических данных кадров, которые могут указать, например, отклоняется ли идентифицированный палец слишком далеко от этого пальца, идентифицированного в предыдущем кадре.
Фиг.18 показывает фильтр супервизора для объединения результатов различных описанных выше фильтров. Например, фильтр классификатора пикселей может использоваться для получения модели кисти руки и пальцев. Кроме того, классификатор пикселей, фильтр анализа кривизны, фильтр гистограммы глубины и, возможно, другие фильтры кисти руки, не показанные на фиг.19, могут быть обработаны, как описано выше, и далее обработаны, например, посредством фильтрации временной согласованности (например, низкочастотным фильтром) и методики сглаживания для получения позиций кисти руки и пальцев. Как упомянуто выше, контур, используемый в различных описанных здесь фильтрах, может быть масштабирован, чтобы он был инвариантен относительно размеров кисти руки и расстояния от датчика посредством знания расстояния от пользователя до камеры и размера кисти руки, выведенного из ее проанализированного скелета.
В дополнение к открытому или закрытому состояниям кисти руки настоящая технология может использоваться для идентификации конкретной ориентации пальцев, например, указания в конкретном направлении одним или более пальцами. Технология также может использоваться для идентификации различных положений кистей рук, ориентированных под различными углами в пределах декартова пространства с осями x, y, z.
В вариантах осуществления различные этапы фильтрации постклассификации могут использоваться для увеличения точности оценок позиции кисти руки и пальцев на этапе 216 (фиг.6). Например, этап фильтрации временной согласованности может быть применен к предсказанным позициям кисти руки и пальцев между последовательными кадрами изображения глубины для сглаживания предсказания и уменьшения временного дрожания, например, из-за случайных движений рук, помех в датчике или случайных ошибок классификации. Таким образом, может быть оценено множество позиций кисти руки и пальцев на основе множества изображений глубины от устройства захвата или датчика, и может быть выполнена временная фильтрация множества оценок для оценки позиций кисти руки и пальцев.
На этапе 220 конвейер, показанный на фиг.6, может выдать ответ в каждом кадре на основе оцененного состояния кисти руки. Например, на консоль вычислительной системы, такой как консоль 12 вычислительной системы 10, может быть выдана команда. В качестве другого примера, ответ может быть выдан на дисплейное устройство, такое как дисплейное устройство 16. Таким образом, оцененные движения пользователя, в том числе оцененные состояния кистей рук, могут быть преобразованы в команды для консоли 12 системы 10, с тем чтобы пользователь мог взаимодействовать с системой, как описано выше. Кроме того, описанные выше способ и процессы могут быть реализованы для определения оценок состояний любой части тела пользователя, например, рта, глаз и т.д. Например, положение части тела пользователя может быть оценено с использованием описанных выше способов.
Настоящая технология обеспечивает возможность для большого разнообразия взаимодействий с системой естественного пользовательского интерфейса, как, например, показано на фиг.1A-1C. Имеется широкий диапазон естественных взаимодействий, которые основаны на движениях кисти руки и пальцев или комбинируют как крупные движения тела, так и мелкие манипуляции кистями рук, которые желательны для создания новых распознанных жестов, большей интерактивности и захватывающих игр. Эти применения и взаимодействия включают в себя, но без ограничения, следующее:
Обеспечение позиций курсора с высокой точностью - посредством точного распознавания и отслеживания указывающего пальца пользователя система естественного пользовательского интерфейса может точно определить, куда пользователь указывает на экране в отношении позиционирования курсора (фиг.1B).
Нацеливание пальцев - в общем случае, точное распознавание и отслеживание пальца или пальцев пользователя может использоваться в любом множестве способов улучшения управления и взаимодействия с системой естественного пользовательского интерфейса и игровыми или другими прикладными программами, работающими с системой естественного пользовательского интерфейса. Распознавание различных конфигураций кистей рук может использоваться в качестве распознанных жестов, например, таких как, но без ограничения, счет на пальцах, палец вверх, палец вниз, знак "все в порядке", знак "рога" (указательный палец и мизинец вверх), знак "шака" ("hang loose"), знак "живи долго и процветай" из сериала Star Trek®, единственный поднятый палец и другие. Каждый из них может использоваться для управления взаимодействием пользовательского интерфейса.
Виртуальные кнопки (с осязаемой обратной связью) - точное распознавание и отслеживание отдельных пальцев позволяет прикладным программам использовать множество виртуальных кнопок, дополнительно улучшающих восприятие естественного пользовательского интерфейса.
Управление большим пальцем - посредством восприятия ориентации и надежного обнаружения большого пальца руки кисть руки может действовать как контроллер - ориентация большого пальца управляет ориентацией контроллера, прижимание большого пальца к кисти руки распознается как нажатие кнопки.
Зажим для выбора - точное распознавание и отслеживание отдельных пальцев позволяет прикладным программам использовать движение зажима между большим и другим пальцем для воздействия на некоторую функцию управления или метрику прикладной программы.
Одно или несколько направлений пальцев - точное распознавание и отслеживание отдельных пальцев позволяет прикладным программам использовать относительные позиции пальцев как управляющую метрику или выполнять некоторую другую метрику прикладной программы.
Письмо, рисование, лепка - точное распознавание и отслеживание отдельных пальцев позволяет прикладным программам интерпретировать пользователя, держащего перо или кисть, и то, как им образом это перо или кисть движутся при движении отдельных пальцев. Распознавание таких движений дает пользователю возможность формировать буквы, рукописный текст, "лепить" и/или рисовать изображения.
Печатание - точное распознавание и отслеживание отдельных пальцев позволяет прикладным программам выполнять движения печати, которые интерпретируются системой естественного пользовательского интерфейса или прикладной программой как нажатия клавиш на виртуальной клавиатуре для ввода символа и слова на экране или обеспечить управляющую или прикладную информацию системе естественного пользовательского интерфейса или прикладной программе.
Отслеживание вращений кистями рук - точное распознавание и отслеживание отдельных пальцев позволяет прикладным программам точно идентифицировать вращение кистями рук.
Управление куклой - отображение скелета пальцев на систему управления кукольной анимации. В качестве альтернативы, отображение скелета пальцев может использоваться для непосредственного управления виртуальным объектом в такой же форме, в какой управляется физическая марионетка на физической веревке.
Вращение круглой рукоятки или открывание кодового замка - точное распознавание и отслеживание отдельных пальцев позволяет пользователю выбирать и вращать виртуальную круглую рукоятку или открывать виртуальный кодовый замок. Такой кодовый замок может использоваться для обеспечения или запрещения доступа для защиты сетевых или сохраненных ресурсов.
Стрельба из оружия - использование обнаружения пальцев и кисти руки в качестве контроллера оружия - указательный палец определяет цель, и большой палец нажимает кнопку для выстрела.
Жест щелчка - обнаружение и использование жеста щелчка пальцами в воздухе для виртуального взаимодействия.
Жест открытой ладони - использование открытой ладони для отображения изображения карты, означающее модальное изменение между точкой зрения первого лица и третьего лица. Указательный палец может использоваться на открытой ладони (подобно мыши или пальцу на сенсорном экране) для прокрутки и перемещения через виртуальное пространство.
Управление ногами - использование указательного и среднего пальцев (с обращенной вниз кистью руки) для управления ногами персонажа с изображением бега, прыжков или ударов. Этот жест может быть объединен с жестом открытой ладони, чтобы обозначить модальное изменение между взаимодействиями всего тела и пользовательским интерфейсом или навигацией. Например, в сюжетной игре с активными действиями игрок может использовать управление всем телом для участия в боевых действиях, затем использовать жест открытой ладони, чтобы переключиться на изображение карты, и использовать указательный и средний пальцы для изображения бега по местности.
Предусматриваются другие взаимодействия пальцев и кистей рук.
Фиг.19A показывает иллюстративный вариант воплощения вычислительной среды, которая может использоваться для интерпретации одного или более жестов в системе распознавания, анализа и отслеживания цели. Вычислительная среда, такая как вычислительная среда 12, описанная выше со ссылкой на фиг. 1A-2, может представлять собой мультимедийную консоль 600, такую как игровая консоль. Как показано в рис.19A, мультимедийная консоль 600 имеет центральный процессор (CPU) 601, имеющий кэш 602 уровня 1, кэш 604 уровня 2 и перепрограммируемое постоянное запоминающее устройство (ROM) 606. Кэш 602 уровня 1 и кэш 604 уровня 2 временно хранят данные и поэтому сокращают количество циклов доступа к памяти, тем самым увеличивая скорость и пропускную способность обработки. Может быть обеспечен центральный процессор 601, имеющий более одного ядра и, таким образом, дополнительные кэши 602 и 604 уровня 1 и уровня 2. Перепрограммируемое запоминающее устройство 606 может сохранить исполняемый код, который загружается во время начальной фазы процесса загрузки, когда мультимедийная консоль 600 включается.
Графический процессор (GPU) 608 и видео-кодер/видео-кодек (кодер/декодер) 614 образуют конвейер обработки видеоинформации для высокоскоростной обработки графики с высоким разрешением. Данные переносятся от графического процессора 608 на видео-кодер/видео-кодек 614 через шину. Конвейер обработки видеоинформации выдает данные на аудио/видео (A/V) порт 640 для передачи на телевизор или другой дисплей. Контроллер 610 памяти соединен с графическим процессором 608 для обеспечения доступа процессора к памяти 612 различных типов, такой как, но без ограничения, оперативное запоминающее устройство (ОЗУ; RAM).
Мультимедийная консоль 600 включает в себя контроллер 620 ввода-вывода (I/O), контроллер 622 управления системой, блок 623 обработки аудиоинформации, контроллер 624 сетевого интерфейса, первый ведущий контроллер 626 USB, второй контроллер 628 USB и подсистему 630 ввода-вывода передней панели, которые предпочтительно реализованы на модуле 618. Контроллеры 626 и 628 USB служат хостами для контроллеров 642(1)-642(2) ввода-вывода, адаптера 648 беспроводной связи и внешнего устройства 646 памяти (например, флэш-памяти, внешнего диска CD/DVD ROM, сменного носителя и т.д.). Сетевой интерфейс 624 и/или адаптер 648 беспроводной связи обеспечивает доступ к сети (например, сети Интернет, домашней сети и т.д.) и может представлять собой любой из широкого разнообразия компонентов различных проводных или беспроводных адаптеров, в том числе карту Ethernet, модем, модуль технологии Bluetooth, кабельный модем и т.п.
Системная память 643 обеспечена для хранения данных прикладных программ, которые загружаются во время процесса загрузки. Обеспечен дисковод 644, который может содержать дисковод DVD/CD дисков, накопитель на жестком диске или другой дисковод для сменных носителей и т.д. Дисковод 644 может быть внутренним или внешним по отношению к мультимедийной консоли 600. Посредством мультимедийной консоли 600 через дисковод 644 можно получить доступ к данным прикладной программы для исполнения, воспроизведения и т.д. Дисковод 644 соединен с контроллером 620 ввода-вывода через шину, такую как шина интерфейса Serial ATA или другое высокоскоростное соединение (например, соединение стандарта IEEE 1394).
Контроллер 622 управления системой обеспечивает множество служебных функций, связанных с гарантией доступности мультимедийной консоли 600. Блок 623 обработки аудиоинформации и аудио-кодек 632 образуют соответствующий конвейер обработки аудиоинформации с высокой точностью и обработкой стерео. Звуковые данные переносятся между блоком 623 обработки аудиоинформации и аудио-кодеком 632 через линию связи. Конвейер обработки аудиоинформации выдает данные на порту 640 A/V для воспроизведения посредством внешнего аудиопроигрывателя или устройства, имеющего возможности воспроизведения звука.
Подсистема 630 ввода-вывода передней панели поддерживает функциональные возможности кнопки 650 включения питания и кнопки 652 выброса, а также любые светодиоды (LED) или другие индикаторы, представленные на внешней поверхности мультимедийной консоли 600. Системный модуль 636 источника питания обеспечивает электропитание компонентам мультимедийной консоли 600. Вентилятор 638 охлаждает схемы в пределах мультимедийной консоли 600.
Центральный процессор 601, графический процессор 608, контроллер 610 памяти и различные другие компоненты в пределах мультимедийной консоли 600 связаны между собой через одну или более шин, в том числе последовательные и параллельные шины, шину памяти, шину периферийных устройств и процессорную или локальную шину с использованием любой из множества шинных архитектур. В качестве примера такая архитектура может включать в себя шину соединения периферийных устройств (стандарт PCI), шину стандарта PCI-Express и т.д.
Когда мультимедийная консоль 600 включается, данные прикладной программы могут быть загружены из системной памяти 643 в память 612 и/или кэши 602, 604 и исполнены на центральном процессоре 601. Прикладная программа может предоставить графический пользовательский интерфейс, который обеспечивает единообразный пользовательский интерфейс при навигации по информационному содержанию различных видов, доступному на мультимедийной консоли 600. При работе прикладные программы и/или другое информационное содержание, содержащиеся в дисководе 644, могут быть запущены или воспроизведены с дисковода 644 для обеспечения дополнительных функциональных возможностей мультимедийной консоли 600.
Мультимедийную консоль 600 можно использовать как автономную систему посредством простого соединения системы с телевизором или другим дисплеем. В этом автономном режиме мультимедийная консоль 600 позволяет одному или более пользователям взаимодействовать с системой, смотреть кино или слушать музыку. Однако при интеграции широкополосной связи, доступной через сетевой интерфейс 624 или адаптер 648 беспроводной связи, мультимедийную консоль 600 также можно использовать в качестве компонента большего сетевого сообщества.
Когда мультимедийная консоль 600 включается, установленное количество аппаратных ресурсов резервируется для системного использования операционной системой мультимедийной консоли. Эти ресурсы могут включать в себя резервирование памяти (например, 16 МБ), циклы центрального процессора и графического процессора (например, 5%), ширину сетевой полосы пропускания (например, 8 КБ) и т.д. Поскольку эти ресурсы резервируются во время загрузки системы, зарезервированные ресурсы не существуют с точки зрения прикладной программы.
В частности, резервирование памяти предпочтительно является достаточно большим, чтобы содержать ядро запуска, параллельные системные прикладные программы и драйверы. Резервирование центрального процессора является предпочтительно постоянным, поэтому если зарезервированная загрузка центрального процессора не используется системными прикладными программами, неактивный поток будет потреблять любые неиспользованные циклы.
Что касается резервирования графического процессора, простые сообщения, сформированные системными прикладными программами (например, всплывающие окна), воспроизводятся посредством использования прерывания графического процессора, чтобы запланировать код для реализации всплывающего окна в оверлей. Объем памяти, требуемый для оверлея, зависит от размера области оверлея, и оверлей предпочтительно масштабируется в зависимости от разрешающей способности экрана. Когда параллельной системной прикладной программой используется полный пользовательский интерфейс, предпочтительно использовать разрешающую способность, независимую от разрешающей способности прикладной программы. Делитель частоты может использоваться для установления этой разрешающую способность таким образом, чтобы избавиться от необходимости изменять частоту и вызывать ресинхронизацию телевизионного сигнала.
После того, как мультимедийная консоль 600 загружена и системные ресурсы зарезервированы, исполняются параллельные системные прикладные программы для обеспечения системных функциональных возможностей. Системные функциональные возможности инкапсулированы во множестве системных прикладных программ, которые исполняются в зарезервированных системных ресурсах, описанных выше. Ядро операционной системы идентифицирует потоки, которые представляют собой системные потоки прикладных программ и потоки игровых прикладных программ. Системные прикладные программы предпочтительно планируются для выполнения на центральном процессоре 601 в предопределенные моменты времени и интервалы для обеспечения согласованного отображения системных ресурсов прикладной программе. Планирование должно минимизировать разрушение кэша для игровой прикладной программы, работающей на консоли.
Когда параллельной системной прикладной программе требуется аудиоинформация, обработка аудиоинформации планируется асинхронно с игровой прикладной программой из-за чувствительности по времени. Диспетчер прикладных программ мультимедийной консоли (описанный ниже) управляет уровнем аудиоинформации игровой прикладной программы (например, заглушает, ослабляет), когда системные прикладные программы являются активными.
Устройства ввода данных (например, контроллеры 642(1) и 642(2)) совместно используются игровыми прикладными программами и системными прикладными программами. Устройства ввода данных не являются зарезервированными ресурсами, но должны переключаться между системными прикладными программами и игровой прикладной программой таким образом, чтобы каждая из них будет иметь фокус ввода устройства. Диспетчер прикладных программ предпочтительно управляет переключением входного потока, не зная о том, какой информацией располагает игровая прикладная программа, и драйвер поддерживает информацию состояния относительно переключения фокуса ввода. Камеры 26, 28 и устройство 20 захвата могут определять дополнительные устройства ввода данных для консоли 600.
Фиг.19B иллюстрирует другой иллюстративный вариант воплощения вычислительной среды 720, которая может представлять собой вычислительную среду 12, показанную на фиг. 1A-2, используемую для интерпретации одного или более положений и движений в системе распознавания, анализа и отслеживания цели. Среда 720 вычислительной системы является только одним примером подходящей вычислительной среды и не предназначена для введения какого-либо ограничения относительно объема или функциональных возможностей раскрываемой сущности изобретения. Никто не должен интерпретировать вычислительную среду 720 как имеющую какую-либо зависимость или требования, относящиеся к любому одному компоненту или комбинации компонентов, показанных в иллюстративной среде 720. В некоторых вариантах воплощения различные изображенные вычислительные элементы могут включать в себя схему, выполненную в возможностью реализовывать конкретные аспекты настоящего раскрытия. Например, термин "схема", используемый в раскрытии, может включать в себя специализированные аппаратные компоненты, выполненные с возможностью выполнять функцию (функции) посредством встроенного программного обеспечения или переключателей. В других приведенных в качестве примера вариантах воплощения термин "схема" может включать в себя процессор общего назначения, память и т.д., выполненные посредством программных команд, которые воплощают логическую схему, действующую для выполнения функции (функций). В иллюстративных вариантах воплощения, когда схема включает в себя комбинацию аппаратных средств и программного обеспечения, разработчик может написать исходный код, воплощающий логическую схему, и исходный код может быть скомпилирован в машиночитаемый код, который может быть обработан посредством процессора общего назначения. Поскольку специалист может понять, что область техники развилась до такого состояния, когда имеется мало различий между аппаратными средствами, программным обеспечением или комбинацией аппаратных средств/программного обеспечения, выбор между аппаратными средствами и программным обеспечением для совершения заданных функций представляет собой выбор конфигурации, оставленный разработчику. Более определенно, специалист в области техники может понять, что программный процесс может быть преобразован в эквивалентную аппаратную структуру, и аппаратная структура сама может быть преобразована в эквивалентный программный процесс. Таким образом, выбор между аппаратной реализацией и программной реализацией представляет собой выбор конфигурации и оставлен конструктору.
На фиг.19B вычислительная среда 720 содержит компьютер 741, который обычно содержит разные машиночитаемые носители. Машиночитаемые носители могут представлять собой любые имеющиеся носители, к которым можно получить доступ с помощью компьютера 741, и включают в себя как энергозависимые, так и энергонезависимые носители, сменные и несменные носители. Системная память 722 включает в себя компьютерные носители данных в виде энергозависимой и/или энергонезависимой памяти, такой как постоянное запоминающее устройство (ROM; ПЗУ) 723 и оперативное запоминающее устройство (RAM; ОЗУ) 760. Базовая система 724 ввода-вывода (BIOS), содержащая базовые подпрограммы, которые помогают перемещать информацию между элементами в компьютере 741, например, во время запуска, обычно хранится в постоянном запоминающем устройстве (ROM; ПЗУ) 723. Оперативное запоминающее устройство (RAM; ОЗУ) 760 обычно содержит данные и/или программные модули, которые являются моментально доступными для процессора 759 и/или которые в данный момент обрабатываются процессором 759. В качестве примера, но не ограничения, фиг.19B иллюстрирует операционную систему 725, прикладные программы 726, другие программные модули 727 и программные данные 728. Фиг.19B дополнительно включает в себя графический процессор (GPU) 729, имеющий соответствующую видеопамять 730 для высокоскоростной обработки и хранения графики высокого разрешения. Графический процессор 729 может быть соединен с системной шиной 721 через графический интерфейс 731.
Компьютер 741 также может включать в себя другие сменные/несменные, энергозависимые/энергонезависимые компьютерные носители данных. Только в качестве примера фиг.19B иллюстрирует накопитель 738 на жестких дисках, который считывает или записывает на несменный энергонезависимый магнитный носитель, магнитный дисковод 739, который считывает или записывает на сменный энергонезависимый магнитный диск 754, и оптический дисковод 740, который считывает или записывает на сменный энергонезависимый оптический диск 753, такой как постоянное запоминающее устройство на компакт-диске (CD ROM) или другой оптический носитель. Другие сменные/несменные, энергозависимые/энергонезависимые компьютерные носители данных, которые могут использоваться в иллюстративной среде, включают в себя, но без ограничения, кассеты магнитной ленты, карты флэш-памяти, цифровые универсальные диски, цифровую видеоленту, полупроводниковое ОЗУ, полупроводниковое ПЗУ и т.п. Накопитель 738 на жестких дисках обычно соединен с системной шиной 721 через интерфейс несменной памяти, такой как интерфейс 734, и магнитный дисковод 739 и оптический дисковод 740 обычно соединяются с системной шиной 721 посредством интерфейса сменной памяти, такого как интерфейс 735.
Дисковые накопители и связанные с ними компьютерные носители данных, описанные выше и проиллюстрированные на фиг.19B, обеспечивают хранение машиночитаемых команд, структур данных, программных модулей и других данных для компьютера 741. На фиг.19B, например, накопитель 738 на жестких дисках проиллюстрирован как содержащий операционную систему 758, прикладные программы 757, другие программные модули 756 и программные данные 755. Следует отметить, что эти компоненты могут либо быть теми же самыми, либо отличными от операционной системы 725, прикладных программ 726, других программных модулей 727 и программных данных 728. Операционной системе 758, прикладным программам 757, другим программным модулям 756 и программным данным 755 здесь даны другие номера, чтобы проиллюстрировать, что они как минимум являются другими копиями. Пользователь может вводить команды и информацию в компьютер 741 через устройства ввода данных, такие как клавиатура 751 и координатно-указательное устройство 752, обычно называемое мышью, шаровым манипулятором или сенсорной клавиатурой. Другие устройства ввода данных (не показаны), могут включать в себя микрофон, джойстик, игровую клавиатуру, спутниковую антенну, сканер и т.п. Эти и другие устройства ввода данных часто соединены с процессором 759 через интерфейс 736 пользовательского ввода, который присоединен к системной шине, но могут быть соединены другими интерфейсными и шинными структурами, такими как параллельный порт, игровой порт или универсальная последовательная шина (USB). Камеры 26, 28 и устройство 20 захвата могут определять дополнительные устройства ввода данных для консоли 700. Монитор 742 или дисплейное устройство другого типа также соединен с системной шиной 721 через интерфейс, такой как видеоинтерфейс 732. В дополнение к монитору компьютеры также могут включать в себя другие периферийные устройства вывода, такие как динамики 744 и принтер 743, которые могут быть соединены через интерфейс 733 периферийных устройств вывода.
Компьютер 741 может работать в сетевом окружении, используя логические соединения с одним или более удаленными компьютерами, такими как удаленный компьютер 746. Удаленный компьютер 746 может являться персональным компьютером, сервером, маршрутизатором, сетевым персональным компьютером, одноранговым устройством или другим общим сетевым узлом и обычно включает в себя многие или все элементы, описанные выше относительно компьютера 741, хотя на фиг.19B было проиллюстрировано только устройство 747 памяти. Логические соединения, изображенные на фиг.19B, включают в себя локальную сеть 745 и глобальную сеть 749, но также могут включать в себя другие сети. Такие сетевые среды являются обычным явлением в офисах, в компьютерных сетях масштаба предприятия, в интрасетях и в Интернете.
При использовании в среде локальной сети компьютер 741 соединен с локальной сетью 745 через сетевой интерфейс или адаптер 737. При использовании в среде глобальной сети компьютер 741 обычно включает в себя модем 750 или другое средство для установления связи по глобальной сети 749, такой как Интернет. Модем 750, который может быть внутренним или внешним, может быть соединен с системной шиной 721 через интерфейс 736 пользовательского ввода или другой соответствующий механизм. В сетевом окружении программные модули, изображенные относительно компьютера 741, или их части могут храниться в удаленном запоминающем устройстве. В качестве примера, но не ограничения, фиг.19B иллюстрирует удаленные прикладные программы 748 как находящиеся в устройстве 747 памяти. Следует понимать, что показанные сетевые соединения являются иллюстративными, и могут быть использованы другие средства установления линии связи между компьютерами.
Предшествующее подробное описание системы согласно изобретению было представлено в целях иллюстрации и описания. Не предполагается, что оно является исчерпывающим или ограничивает систему согласно изобретению точной раскрытой формой. Много модификаций и изменений возможны в свете описанной выше идеи. Описанные варианты осуществления были выбраны для наилучшего объяснения принципов системы согласно изобретению и ее практического применения, чтобы тем самым обеспечить возможность для специалистов в данной области техники наилучшим образом использовать систему, отвечающую изобретению, в различных вариантах осуществления и с различными модификациями, подходящих для конкретного рассматриваемого использования. Подразумевается, что объем изобретения определяется приложенной формулой изобретения.

Claims (17)

1. Способ формирования модели кисти руки пользователя, включающей в себя один или более пальцев, содержащий этапы, на которых:
(a) принимают данные позиции, представляющие позицию пользователя, взаимодействующего с датчиком, причем данные позиции включают в себя по меньшей мере одно из данных глубины и данных изображения, представляющих кисть руки пользователя; и
(b) анализируют данные позиции для идентификации кисти руки пользователя в данных позиции, причем этап (b) содержит этапы, на которых:
(b)(1) анализируют данные глубины из данных позиции, полученных на этапе (а), чтобы сегментировать данные позиции в данные кисти руки, и
(b)(2) извлекают набор дескрипторов признака посредством применения одного или более фильтров к данным изображения кисти руки, идентифицированной на этапе (b)(1), причем эти один или более фильтров анализируют данные изображения кисти руки по сравнению с данными изображения за пределами границы кисти руки, чтобы различить признаки кисти руки, включающие в себя форму и ориентацию кисти руки.
2. Способ по п. 1, дополнительно содержащий этапы, на которых исполняют прикладную программу, принимающую команды через механизм считывания, и воздействуют на управляющее действие в прикладной программе на основе позиции кисти руки, идентифицированной на этапе (b).
3. Способ по п. 1, дополнительно содержащий этапы, на которых исполняют игровую прикладную программу, принимающую команды через механизм считывания, и воздействуют на действие в игровой прикладной программе на основе позиции кисти руки, идентифицированной на этапе (b).
4. Способ по п. 1, в котором этап (b)(1) содержит этап, на котором анализируют средние точки, построенные из данных изображения, для определения местоположения наилучшего возможного варианта кисти руки.
5. Способ по п. 4, в котором этап (b)(1) содержит этап, на котором анализируют наилучший возможный вариант кисти руки, чтобы определить наилучший возможный вариант центра кисти руки.
6. Способ по п. 1, в котором этап (b)(2) содержит этапы применения классификатора пикселей, содержащий этапы, на которых:
выбирают пиксели в пределах границы дескриптора формы кисти руки,
строят прямоугольник заранее определенного размера вокруг каждого пикселя, причем каждый прямоугольник строится в плоскости дескриптора формы,
определяют точки пересечения с каждым прямоугольником, в которых данные изображения переходят между точкой переднего плана и фоновой точкой, и
идентифицируют кисть руки и пальцы из анализа точек пересечения каждого прямоугольника для каждого исследуемого пикселя.
7. Способ по п. 1, в котором этап (b)(2) содержит этапы применения фильтра анализа кривизны, содержащий этапы, на которых:
выбирают пиксели вдоль границы дескриптора формы кисти руки,
исследуют множество пикселей, окружающих выбранный пиксель, и присваивают выбранному пикселю значение, указывающее, какой окружающий пиксель также находится вдоль границы дескриптора формы,
преобразовывают значения в углы и контуры вокруг кисти руки, включающие в себя пики и впадины, и
определяют, какие из пиков представляют пальцы кисти руки.
8. Способ по п. 1, в котором этап (b)(2) содержит этапы применения фильтра гистограммы, содержащий этапы, на которых строят гистограмму расстояний между множеством точек в дескрипторе формы и устройством, захватывающим данные изображения.
9. Система для формирования модели кисти руки пользователя, включающей в себя один или более пальцев, при этом система включает в себя механизм считывания, функционально соединенный с вычислительным устройством, причем система содержит:
средство распознавания скелета для распознавания по меньшей мере части скелета пользователя из принятых данных, включающих в себя по меньшей мере одно из данных глубины и данных изображения;
средство сегментации изображения для сегментации одной или более областей тела в область, представляющую кисть руки пользователя; и
средство извлечения дескриптора для извлечения данных, представляющих кисть руки, включающую в себя один или более пальцев, и ориентацию кисти руки, при этом средство извлечения дескриптора применяет множество фильтров для анализа пикселей в области, представляющей кисть руки, причем каждый фильтр в этом множестве фильтров определяет позицию и ориентацию кисти руки, при этом средство извлечения дескриптора комбинирует результаты каждого фильтра для достижения наилучшей оценки позиции и ориентации кисти руки.
10. Система по п. 9, в которой упомянутое множество фильтров средства извлечения дескриптора включает в себя один или более фильтров, оптимизированных идентифицировать позицию и ориентацию кисти руки как контур относительно устройства, захватывающего принимаемые данные.
11. Система по п. 9, в которой упомянутое множество фильтров средства извлечения дескриптора включает в себя один или более фильтров, оптимизированных для идентификации позиции и ориентации кисти руки, когда она указывает по направлению к или от устройства, захватывающего принимаемые данные.
12. Система по п. 9, в которой упомянутое множество фильтров средства извлечения дескриптора включает в себя средство классификатора для анализа кисти руки как контура относительно механизма считывания, при этом средство классификатора выбирает пиксели в пределах области, представляющей кисть руки пользователя, строит прямоугольник заранее определенного размера вокруг каждого пикселя, где каждый прямоугольник строится в плоскости контура, определяет точки пересечения с каждым прямоугольником, в которых данные изображения переходят между точкой переднего плана и фоновой точкой, и идентифицирует кисть руки и пальцы из анализа точек пересечения каждого прямоугольника для каждого исследуемого пикселя.
13. Система по п. 12, в которой средство классификатора идентифицирует среднюю точку, представляющую кончик пальца, когда на прямоугольнике идентифицированы две точки пересечения и расстояние между точками пересечения является слишком малым, чтобы представлять ладонь.
14. Система по п. 13, в которой местоположение двух точек пересечения на одной и той же или на разных сторонах прямоугольника указывает ориентацию идентифицированного кончика пальца.
15. Система по п. 12, в которой средство классификатора идентифицирует среднюю точку, представляющую палец, когда на прямоугольнике идентифицированы четыре точки пересечения.
16. Система по п. 12, в которой средство классификатора идентифицирует среднюю точку, представляющую ладонь руки, когда на прямоугольнике идентифицированы две точки пересечения и расстояние между точками пересечения является слишком большим, чтобы представлять кончик пальца.
17. Система по п. 12, в которой упомянутый прямоугольник, построенный вокруг конкретного пикселя, представляет собой первый прямоугольник первого размера, при этом средство классификатора дополнительно строит вокруг этого конкретного пикселя второй прямоугольник второго размера, большего чем первый размер, для обнаружения условия, при котором пальцы руки находятся вместе друг с другом.
RU2013154102/08A 2011-06-06 2012-06-04 Система для распознавания и отслеживания пальцев RU2605370C2 (ru)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161493850P 2011-06-06 2011-06-06
US61/493,850 2011-06-06
US13/277,011 2011-10-19
US13/277,011 US8897491B2 (en) 2011-06-06 2011-10-19 System for finger recognition and tracking
PCT/US2012/040741 WO2012170349A2 (en) 2011-06-06 2012-06-04 System for finger recognition and tracking

Publications (2)

Publication Number Publication Date
RU2013154102A RU2013154102A (ru) 2015-06-10
RU2605370C2 true RU2605370C2 (ru) 2016-12-20

Family

ID=47262102

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2013154102/08A RU2605370C2 (ru) 2011-06-06 2012-06-04 Система для распознавания и отслеживания пальцев

Country Status (10)

Country Link
US (1) US8897491B2 (ru)
EP (1) EP2718900A4 (ru)
JP (1) JP6021901B2 (ru)
KR (1) KR101956325B1 (ru)
AU (1) AU2012268589B2 (ru)
BR (1) BR112013031118B1 (ru)
CA (1) CA2837470C (ru)
MX (1) MX2013014393A (ru)
RU (1) RU2605370C2 (ru)
WO (1) WO2012170349A2 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2662399C1 (ru) * 2017-03-17 2018-07-25 Алексей Александрович Тарасов Система и способ для захвата движений и положения тела человека и частей тела человека
RU2774212C2 (ru) * 2017-06-15 2022-06-16 Долби Интернэшнл Аб Способ и система для обработки аудиоконтента, способ и система для обработки мультимедийного контента для воспроизведения

Families Citing this family (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110254765A1 (en) * 2010-04-18 2011-10-20 Primesense Ltd. Remote text input using handwriting
US8639020B1 (en) 2010-06-16 2014-01-28 Intel Corporation Method and system for modeling subjects from a depth map
JP5820366B2 (ja) * 2010-10-08 2015-11-24 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US8840466B2 (en) 2011-04-25 2014-09-23 Aquifi, Inc. Method and system to create three-dimensional mapping in a two-dimensional game
JP5670255B2 (ja) * 2011-05-27 2015-02-18 京セラ株式会社 表示機器
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
JP6074170B2 (ja) 2011-06-23 2017-02-01 インテル・コーポレーション 近距離動作のトラッキングのシステムおよび方法
JP5864144B2 (ja) 2011-06-28 2016-02-17 京セラ株式会社 表示機器
US9292089B1 (en) * 2011-08-24 2016-03-22 Amazon Technologies, Inc. Gestural object selection
WO2013056431A1 (en) * 2011-10-18 2013-04-25 Nokia Corporation Methods and apparatuses for gesture recognition
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9292767B2 (en) 2012-01-05 2016-03-22 Microsoft Technology Licensing, Llc Decision tree computation in hardware utilizing a physically distinct integrated circuit with on-chip memory and a reordering of data to be grouped
US8782565B2 (en) * 2012-01-12 2014-07-15 Cisco Technology, Inc. System for selecting objects on display
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8854433B1 (en) 2012-02-03 2014-10-07 Aquifi, Inc. Method and system enabling natural user interface gestures with an electronic system
US9734393B2 (en) * 2012-03-20 2017-08-15 Facebook, Inc. Gesture-based control system
US8933912B2 (en) * 2012-04-02 2015-01-13 Microsoft Corporation Touch sensitive user interface with three dimensional input sensor
US10477184B2 (en) * 2012-04-04 2019-11-12 Lifetouch Inc. Photography system with depth and position detection
US9477303B2 (en) 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US9747306B2 (en) * 2012-05-25 2017-08-29 Atheer, Inc. Method and apparatus for identifying input features for later recognition
US9111135B2 (en) * 2012-06-25 2015-08-18 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera
US9098739B2 (en) 2012-06-25 2015-08-04 Aquifi, Inc. Systems and methods for tracking human hands using parts based template matching
US20140007019A1 (en) * 2012-06-29 2014-01-02 Nokia Corporation Method and apparatus for related user inputs
US20140022171A1 (en) * 2012-07-19 2014-01-23 Omek Interactive, Ltd. System and method for controlling an external system using a remote device with a depth sensor
US8836768B1 (en) 2012-09-04 2014-09-16 Aquifi, Inc. Method and system enabling natural user interface gestures with user wearable glasses
US20140073383A1 (en) * 2012-09-12 2014-03-13 Industrial Technology Research Institute Method and system for motion comparison
US9658695B2 (en) * 2012-11-08 2017-05-23 Cuesta Technology Holdings, Llc Systems and methods for alternative control of touch-based devices
US9671874B2 (en) 2012-11-08 2017-06-06 Cuesta Technology Holdings, Llc Systems and methods for extensions to alternative control of touch-based devices
WO2014080487A1 (ja) * 2012-11-22 2014-05-30 富士通株式会社 情報処理装置、生体部位判定プログラムおよび生体部位判定方法
US10126820B1 (en) * 2012-11-29 2018-11-13 Amazon Technologies, Inc. Open and closed hand detection
US9129155B2 (en) * 2013-01-30 2015-09-08 Aquifi, Inc. Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map
US9092665B2 (en) 2013-01-30 2015-07-28 Aquifi, Inc Systems and methods for initializing motion tracking of human hands
JP6048189B2 (ja) * 2013-02-08 2016-12-21 株式会社リコー 投影システム、画像生成プログラム、情報処理装置及び画像生成方法
US9201499B1 (en) * 2013-02-11 2015-12-01 Amazon Technologies, Inc. Object tracking in a 3-dimensional environment
US8994652B2 (en) * 2013-02-15 2015-03-31 Intel Corporation Model-based multi-hypothesis target tracker
US9052746B2 (en) 2013-02-15 2015-06-09 Microsoft Technology Licensing, Llc User center-of-mass and mass distribution extraction using depth images
US9275277B2 (en) * 2013-02-22 2016-03-01 Kaiser Foundation Hospitals Using a combination of 2D and 3D image data to determine hand features information
US20140245200A1 (en) * 2013-02-25 2014-08-28 Leap Motion, Inc. Display control with gesture-selectable control paradigms
US9135516B2 (en) 2013-03-08 2015-09-15 Microsoft Technology Licensing, Llc User body angle, curvature and average extremity positions extraction using depth images
US9092657B2 (en) 2013-03-13 2015-07-28 Microsoft Technology Licensing, Llc Depth image processing
US9159140B2 (en) 2013-03-14 2015-10-13 Microsoft Technology Licensing, Llc Signal analysis for repetition detection and analysis
US9142034B2 (en) 2013-03-14 2015-09-22 Microsoft Technology Licensing, Llc Center of mass state vector for analyzing user motion in 3D images
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
KR101436050B1 (ko) * 2013-06-07 2014-09-02 한국과학기술연구원 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치
US9144744B2 (en) 2013-06-10 2015-09-29 Microsoft Corporation Locating and orienting device in space
US9934451B2 (en) 2013-06-25 2018-04-03 Microsoft Technology Licensing, Llc Stereoscopic object detection leveraging assumed distance
US9208566B2 (en) * 2013-08-09 2015-12-08 Microsoft Technology Licensing, Llc Speckle sensing for motion tracking
KR102216124B1 (ko) 2013-09-06 2021-02-16 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
US9405375B2 (en) * 2013-09-13 2016-08-02 Qualcomm Incorporated Translation and scale invariant features for gesture recognition
TWI499966B (zh) 2013-10-08 2015-09-11 Univ Nat Taiwan Science Tech 互動式操作方法
RU2013148582A (ru) * 2013-10-30 2015-05-10 ЭлЭсАй Корпорейшн Процессор обработки изображений, содержащий систему распознавания жестов с вычислительно-эффективным распознаванием неподвижной позы руки
US20150139487A1 (en) * 2013-11-21 2015-05-21 Lsi Corporation Image processor with static pose recognition module utilizing segmented region of interest
US9507417B2 (en) 2014-01-07 2016-11-29 Aquifi, Inc. Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
JP6165650B2 (ja) * 2014-02-14 2017-07-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
US10162737B2 (en) 2014-02-20 2018-12-25 Entit Software Llc Emulating a user performing spatial gestures
US9436872B2 (en) 2014-02-24 2016-09-06 Hong Kong Applied Science and Technology Research Institute Company Limited System and method for detecting and tracking multiple parts of an object
US9739883B2 (en) 2014-05-16 2017-08-22 Elwha Llc Systems and methods for ultrasonic velocity and acceleration detection
US9437002B2 (en) 2014-09-25 2016-09-06 Elwha Llc Systems and methods for a dual modality sensor system
US9618618B2 (en) 2014-03-10 2017-04-11 Elwha Llc Systems and methods for ultrasonic position and motion detection
RU2014113049A (ru) * 2014-04-03 2015-10-10 ЭлЭсАй Корпорейшн Процессор изображений, содержащий систему распознавания жестов со слежением за объектом на основании вычислительных признаков контуров для двух или более объектов
US9424490B2 (en) 2014-06-27 2016-08-23 Microsoft Technology Licensing, Llc System and method for classifying pixels
US20160014395A1 (en) * 2014-07-10 2016-01-14 Arete Associates Data fusion processing to identify obscured objects
KR101515845B1 (ko) 2014-08-07 2015-05-04 스타십벤딩머신 주식회사 동작 인식 방법 및 동작 인식 장치
US9811721B2 (en) 2014-08-15 2017-11-07 Apple Inc. Three-dimensional hand tracking using depth sequences
US10062411B2 (en) 2014-12-11 2018-08-28 Jeffrey R. Hay Apparatus and method for visualizing periodic motions in mechanical components
US10459615B2 (en) 2014-12-11 2019-10-29 Rdi Technologies, Inc. Apparatus and method for analyzing periodic motions in machinery
US10482670B2 (en) 2014-12-30 2019-11-19 Qingdao Goertek Technology Co., Ltd. Method for reproducing object in 3D scene and virtual reality head-mounted device
CN104571510B (zh) 2014-12-30 2018-05-04 青岛歌尔声学科技有限公司 一种3d场景中输入手势的系统和方法
US9344615B1 (en) 2015-01-26 2016-05-17 International Business Machines Corporation Discriminating visual recognition program for digital cameras
US9424458B1 (en) * 2015-02-06 2016-08-23 Hoyos Labs Ip Ltd. Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
KR101683189B1 (ko) * 2015-02-09 2016-12-06 선문대학교산학협력단 깊이 영상에서 가장자리 쌍 기반의 객체 검출 방법
JP6062123B1 (ja) * 2015-04-20 2017-01-18 三菱電機株式会社 情報表示装置及び情報表示方法
US10254881B2 (en) 2015-06-29 2019-04-09 Qualcomm Incorporated Ultrasonic touch sensor-based virtual button
US10318798B2 (en) * 2015-07-10 2019-06-11 Booz Allen Hamilton Inc. Device and method for detecting non-visible content in a non-contact manner
KR101639066B1 (ko) * 2015-07-14 2016-07-13 한국과학기술연구원 가상 공간에 형성된 가상 모델을 제어하는 방법 및 시스템
US9995823B2 (en) 2015-07-31 2018-06-12 Elwha Llc Systems and methods for utilizing compressed sensing in an entertainment system
KR101745406B1 (ko) * 2015-09-03 2017-06-12 한국과학기술연구원 깊이 영상 기반의 손 제스처 인식 장치 및 방법
US10120454B2 (en) * 2015-09-04 2018-11-06 Eyesight Mobile Technologies Ltd. Gesture recognition control device
US10048765B2 (en) 2015-09-25 2018-08-14 Apple Inc. Multi media computing or entertainment system for responding to user presence and activity
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
US10019072B2 (en) 2016-01-01 2018-07-10 International Business Machines Corporation Imagined grid fingertip input editor on wearable device
US10185400B2 (en) * 2016-01-11 2019-01-22 Antimatter Research, Inc. Gesture control device with fingertip identification
EP3205269B1 (en) * 2016-02-12 2024-01-03 Tata Consultancy Services Limited System and method for analyzing gait and postural balance of a person
US11854308B1 (en) 2016-02-17 2023-12-26 Ultrahaptics IP Two Limited Hand initialization for machine learning based gesture recognition
US11714880B1 (en) * 2016-02-17 2023-08-01 Ultrahaptics IP Two Limited Hand pose estimation for machine learning based gesture recognition
US11841920B1 (en) 2016-02-17 2023-12-12 Ultrahaptics IP Two Limited Machine learning based gesture recognition
WO2017150129A1 (ja) 2016-03-04 2017-09-08 株式会社ソニー・インタラクティブエンタテインメント 制御装置
CN105903157B (zh) * 2016-04-19 2018-08-10 深圳泰山体育科技股份有限公司 电子教练实现方法及系统
US10303255B2 (en) * 2016-05-31 2019-05-28 Atheer, Inc. Method and apparatus for unified free space pose input system navigation
US10372228B2 (en) 2016-07-20 2019-08-06 Usens, Inc. Method and system for 3D hand skeleton tracking
JP6318202B2 (ja) * 2016-08-18 2018-04-25 株式会社カプコン ゲームプログラムおよびゲームシステム
US9817511B1 (en) 2016-09-16 2017-11-14 International Business Machines Corporation Reaching any touch screen portion with one hand
US10572024B1 (en) * 2016-09-28 2020-02-25 Facebook Technologies, Llc Hand tracking using an ultrasound sensor on a head-mounted display
WO2018074054A1 (ja) * 2016-10-19 2018-04-26 ソニー株式会社 表示制御装置、表示制御方法及びプログラム
US11148033B2 (en) * 2017-01-27 2021-10-19 The Johns Hopkins University Rehabilitation and training gaming system to promote cognitive-motor engagement
EP3526771B1 (en) * 2017-03-20 2021-02-24 Google LLC Held object stabilization in virtual reality
US10627895B2 (en) * 2017-03-21 2020-04-21 Lenovo (Singapore) Pte Ltd Providing a virtual control
EP3617845A4 (en) 2017-04-27 2020-11-25 Sony Interactive Entertainment Inc. CONTROL DEVICE, DATA PROCESSING SYSTEM, CONTROL PROCESS AND PROGRAM
CN107198878B (zh) * 2017-05-18 2020-06-09 深圳市山弯科技有限公司 游戏手柄双摇杆在屏幕上实现精准定位的方法
WO2019077652A1 (ja) 2017-10-16 2019-04-25 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、及び情報処理装置
US11014242B2 (en) * 2018-01-26 2021-05-25 Microsoft Technology Licensing, Llc Puppeteering in augmented reality
US10353579B1 (en) * 2018-03-28 2019-07-16 Disney Enterprises, Inc. Interpreting user touch gestures to generate explicit instructions
CN108762505B (zh) * 2018-05-29 2020-01-24 腾讯科技（深圳）有限公司 基于手势的虚拟对象控制方法、装置、存储介质和设备
US10635895B2 (en) 2018-06-27 2020-04-28 Facebook Technologies, Llc Gesture-based casting and manipulation of virtual content in artificial-reality environments
CN109271847B (zh) * 2018-08-01 2023-04-07 创新先进技术有限公司 无人结算场景中异常检测方法、装置及设备
KR102110760B1 (ko) * 2018-08-07 2020-05-15 매트릭스테크 주식회사 멀티 쓰레드 기반의 3차원 모델링 데이터 처리 장치 및 이의 동작 방법
US11423551B1 (en) 2018-10-17 2022-08-23 Rdi Technologies, Inc. Enhanced presentation methods for visualizing motion of physical structures and machinery
CN110139115B (zh) * 2019-04-30 2020-06-09 广州虎牙信息科技有限公司 基于关键点的虚拟形象姿态控制方法、装置及电子设备
KR102319074B1 (ko) * 2019-12-11 2021-11-02 주식회사 시공테크 3축 움직임이 가능한 행잉 시뮬레이터 시스템 및 그 방법
CN113096154B (zh) * 2020-01-08 2023-02-21 浙江光珀智能科技有限公司 一种基于斜装深度相机的目标检测与跟踪方法及系统
US11373317B1 (en) 2020-01-24 2022-06-28 Rdi Technologies, Inc. Measuring the speed of rotation or reciprocation of a mechanical component using one or more cameras
KR102280412B1 (ko) * 2020-05-21 2021-07-22 (주)투비소프트 사용자의 손 제스처에 대응되는 제어 명령 실행 및 피드백 출력을 수행하는 전자 단말 장치 및 그 동작 방법
US11282213B1 (en) 2020-06-24 2022-03-22 Rdi Technologies, Inc. Enhanced analysis techniques using composite frequency spectrum data
US11475652B2 (en) 2020-06-30 2022-10-18 Samsung Electronics Co., Ltd. Automatic representation toggling based on depth camera field of view
WO2022005226A1 (en) * 2020-07-01 2022-01-06 Samsung Electronics Co., Ltd. Efficient encoding of depth data across devices
CN112057866A (zh) * 2020-09-14 2020-12-11 深圳市小元元科技有限公司 一种符合人体关节作用力模拟方法
US11630556B2 (en) * 2020-09-16 2023-04-18 Kyndryl, Inc. Finger control of wearable devices
US11322182B1 (en) 2020-09-28 2022-05-03 Rdi Technologies, Inc. Enhanced visualization techniques using reconstructed time waveforms
JP7497310B2 (ja) 2021-02-08 2024-06-10 Ｊｆｅ建材株式会社 ホーローの傷入れ検査に用いる保護具及びホーローの傷入れ検査方法
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
CN113238650B (zh) * 2021-04-15 2023-04-07 青岛小鸟看看科技有限公司 手势识别和控制的方法、装置及虚拟现实设备
CN113058260B (zh) * 2021-04-22 2024-02-02 杭州当贝网络科技有限公司 基于玩家画像的体感动作识别方法、系统及存储介质
KR20230035209A (ko) * 2021-08-30 2023-03-13 소프트뱅크 가부시키가이샤 전자기기 및 프로그램
KR102599219B1 (ko) * 2021-12-10 2023-11-07 주식회사 리안 인공지능 손위치 인식을 이용한 아바타 제어시스템
CN113936233A (zh) * 2021-12-16 2022-01-14 北京亮亮视野科技有限公司 一种手指指定目标的识别方法及装置
US20240070992A1 (en) * 2022-08-26 2024-02-29 Snap Inc. Hand-tracking stabilization

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2107328C1 (ru) * 1996-08-14 1998-03-20 Нурахмед Нурисламович Латыпов Способ отслеживания и отображения положения и ориентации пользователя в пространстве и система для осуществления способа
US5767842A (en) * 1992-02-07 1998-06-16 International Business Machines Corporation Method and device for optical input of commands or data
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
US7042440B2 (en) * 1997-08-22 2006-05-09 Pryor Timothy R Man machine interfaces and applications
US20100302247A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Target digitization, extraction, and tracking

Family Cites Families (173)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695953A (en) 1983-08-25 1987-09-22 Blair Preston E TV animation interactively controlled by the viewer
US4630910A (en) 1984-02-16 1986-12-23 Robotic Vision Systems, Inc. Method of measuring in three-dimensions at high speed
US4627620A (en) 1984-12-26 1986-12-09 Yang John P Electronic athlete trainer for improving skills in reflex, speed and accuracy
US4645458A (en) 1985-04-15 1987-02-24 Harald Phillip Athletic evaluation and training apparatus
US4702475A (en) 1985-08-16 1987-10-27 Innovating Training Products, Inc. Sports technique and reaction training system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4711543A (en) 1986-04-14 1987-12-08 Blair Preston E TV animation interactively controlled by the viewer
US4796997A (en) 1986-05-27 1989-01-10 Synthetic Vision Systems, Inc. Method and system for high-speed, 3-D imaging of an object at a vision station
US5184295A (en) 1986-05-30 1993-02-02 Mann Ralph V System and method for teaching physical skills
US4751642A (en) 1986-08-29 1988-06-14 Silva John M Interactive sports simulation system with physiological sensing and psychological conditioning
US4809065A (en) 1986-12-01 1989-02-28 Kabushiki Kaisha Toshiba Interactive system and related method for displaying data to produce a three-dimensional image of an object
US4817950A (en) 1987-05-08 1989-04-04 Goo Paul E Video game control unit and attitude sensor
US5239463A (en) 1988-08-04 1993-08-24 Blair Preston E Method and apparatus for player interaction with animated characters and objects
US5239464A (en) 1988-08-04 1993-08-24 Blair Preston E Interactive video system providing repeated switching of multiple tracks of actions sequences
US4901362A (en) 1988-08-08 1990-02-13 Raytheon Company Method of recognizing patterns
US4893183A (en) 1988-08-11 1990-01-09 Carnegie-Mellon University Robotic vision system
JPH02199526A (ja) 1988-10-14 1990-08-07 David G Capper 制御インターフェース装置
US4925189A (en) 1989-01-13 1990-05-15 Braeunig Thomas F Body-mounted video game exercise device
US5229756A (en) 1989-02-07 1993-07-20 Yamaha Corporation Image control apparatus
US5469740A (en) 1989-07-14 1995-11-28 Impulse Technology, Inc. Interactive video testing and training system
JPH03103822U (ru) 1990-02-13 1991-10-29
US5101444A (en) 1990-05-18 1992-03-31 Panacea, Inc. Method and apparatus for high speed object location
US5148154A (en) 1990-12-04 1992-09-15 Sony Corporation Of America Multi-dimensional user interface
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5417210A (en) 1992-05-27 1995-05-23 International Business Machines Corporation System and method for augmentation of endoscopic surgery
JPH0519957A (ja) * 1991-07-15 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 情報の入力方法
US5295491A (en) 1991-09-26 1994-03-22 Sam Technology, Inc. Non-invasive human neurocognitive performance capability testing method and system
US6054991A (en) 1991-12-02 2000-04-25 Texas Instruments Incorporated Method of modeling player position and movement in a virtual reality system
JPH06508788A (ja) 1991-12-03 1994-10-06 フレンチ　スポーテク　コーポレイション 対話型ビデオ式検査および訓練システム
US5875108A (en) 1991-12-23 1999-02-23 Hoffberg; Steven M. Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
JPH07325934A (ja) 1992-07-10 1995-12-12 Walt Disney Co:The 仮想世界に向上したグラフィックスを提供する方法および装置
US5999908A (en) 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5320538A (en) 1992-09-23 1994-06-14 Hughes Training, Inc. Interactive aircraft training system and method
IT1257294B (it) 1992-11-20 1996-01-12 Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori.
US5495576A (en) 1993-01-11 1996-02-27 Ritchey; Kurtis J. Panoramic image based virtual reality/telepresence audio-visual system and method
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
JP2799126B2 (ja) 1993-03-26 1998-09-17 株式会社ナムコ ビデオゲーム装置及びゲーム用入力装置
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
US5454043A (en) 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US5423554A (en) 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5980256A (en) 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
JP3419050B2 (ja) 1993-11-19 2003-06-23 株式会社日立製作所 入力装置
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5577981A (en) 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5580249A (en) 1994-02-14 1996-12-03 Sarcos Group Apparatus for simulating mobility of a human
US5597309A (en) 1994-03-28 1997-01-28 Riess; Thomas Method and apparatus for treatment of gait problems associated with parkinson's disease
US5385519A (en) 1994-04-19 1995-01-31 Hsu; Chi-Hsueh Running machine
US5524637A (en) 1994-06-29 1996-06-11 Erickson; Jon W. Interactive system for measuring physiological exertion
JPH0844490A (ja) 1994-07-28 1996-02-16 Matsushita Electric Ind Co Ltd インターフェイス装置
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US5516105A (en) 1994-10-06 1996-05-14 Exergame, Inc. Acceleration activated joystick
US5638300A (en) 1994-12-05 1997-06-10 Johnson; Lee E. Golf swing analysis system
JPH08161292A (ja) 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5682229A (en) 1995-04-14 1997-10-28 Schwartz Electro-Optics, Inc. Laser range camera
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US6229913B1 (en) 1995-06-07 2001-05-08 The Trustees Of Columbia University In The City Of New York Apparatus and methods for determining the three-dimensional shape of an object using active illumination and relative blurring in two-images due to defocus
US5682196A (en) 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
US5702323A (en) 1995-07-26 1997-12-30 Poulton; Craig K. Electronic exercise enhancer
US6073489A (en) 1995-11-06 2000-06-13 French; Barry J. Testing and training system for assessing the ability of a player to complete a task
US6308565B1 (en) 1995-11-06 2001-10-30 Impulse Technology Ltd. System and method for tracking and assessing movement skills in multidimensional space
US6430997B1 (en) 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US6098458A (en) 1995-11-06 2000-08-08 Impulse Technology, Ltd. Testing and training system for assessing movement and agility skills without a confining field
US6176782B1 (en) 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
US5641288A (en) 1996-01-11 1997-06-24 Zaenglein, Jr.; William G. Shooting simulating process and training device using a virtual reality display screen
EP0958002A4 (en) 1996-05-08 2001-03-28 Real Vision Corp REAL-TIME SIMULATION USING POSITION DETECTION
US6173066B1 (en) 1996-05-21 2001-01-09 Cybernet Systems Corporation Pose determination and tracking by matching 3D objects to a 2D sensor
US5989157A (en) 1996-08-06 1999-11-23 Walton; Charles A. Exercising system with electronic inertial game playing
JP2001504605A (ja) 1996-08-14 2001-04-03 ラティポフ，ヌラフメド，ヌリスラモビチ 空間内のユーザの位置及び方向性を追跡及び表示するための方法、ユーザに対し仮想環境を提示するための方法及びこれらの方法を実現するためのシステム
JP3064928B2 (ja) 1996-09-20 2000-07-12 日本電気株式会社 被写体抽出方式
EP0849697B1 (en) 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
US6100896A (en) 1997-03-24 2000-08-08 Mitsubishi Electric Information Technology Center America, Inc. System for designing graphical multi-participant environments
US5877803A (en) 1997-04-07 1999-03-02 Tritech Mircoelectronics International, Ltd. 3-D image detector
US6215898B1 (en) 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JP3077745B2 (ja) 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US6289112B1 (en) 1997-08-22 2001-09-11 International Business Machines Corporation System and method for determining block direction in fingerprint images
AUPO894497A0 (en) 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
EP0905644A3 (en) 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6141463A (en) 1997-10-10 2000-10-31 Electric Planet Interactive Method and system for estimating jointed-figure configurations
AU9808298A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. A system and method for generating an animatable character
US6130677A (en) 1997-10-15 2000-10-10 Electric Planet, Inc. Interactive computer vision system
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
WO1999019828A1 (en) 1997-10-15 1999-04-22 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
EP1059970A2 (en) 1998-03-03 2000-12-20 Arena, Inc, System and method for tracking and assessing movement skills in multidimensional space
US6159100A (en) 1998-04-23 2000-12-12 Smith; Michael D. Virtual reality game
US6077201A (en) 1998-06-12 2000-06-20 Cheng; Chau-Yang Exercise bicycle
US6950534B2 (en) 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6801637B2 (en) 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US20010008561A1 (en) 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US7121946B2 (en) 1998-08-10 2006-10-17 Cybernet Systems Corporation Real-time head tracking system for computer games and other applications
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
IL126284A (en) 1998-09-17 2002-12-01 Netmor Ltd System and method for three dimensional positioning and tracking
DE69936620T2 (de) 1998-09-28 2008-05-21 Matsushita Electric Industrial Co., Ltd., Kadoma Verfahren und Vorrichtung zum Segmentieren von Handgebärden
US6661918B1 (en) 1998-12-04 2003-12-09 Interval Research Corporation Background estimation and segmentation based on range and color
US6147678A (en) 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
DE69840608D1 (de) 1998-12-16 2009-04-09 3Dv Systems Ltd Selbsttastende photoempfindliche oberfläche
US6570555B1 (en) 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6363160B1 (en) 1999-01-22 2002-03-26 Intel Corporation Interface using pattern recognition and tracking
US7003134B1 (en) 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
US6299308B1 (en) 1999-04-02 2001-10-09 Cybernet Systems Corporation Low-cost non-imaging eye tracker system for computer control
US6503195B1 (en) 1999-05-24 2003-01-07 University Of North Carolina At Chapel Hill Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction
US6476834B1 (en) 1999-05-28 2002-11-05 International Business Machines Corporation Dynamic creation of selectable items on surfaces
US6873723B1 (en) 1999-06-30 2005-03-29 Intel Corporation Segmenting three-dimensional video images using stereo
US6738066B1 (en) 1999-07-30 2004-05-18 Electric Plant, Inc. System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display
US7113918B1 (en) 1999-08-01 2006-09-26 Electric Planet, Inc. Method for video enabled electronic commerce
US7050606B2 (en) 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
US6663491B2 (en) 2000-02-18 2003-12-16 Namco Ltd. Game apparatus, storage medium and computer program that adjust tempo of sound
US6633294B1 (en) 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
US6624833B1 (en) * 2000-04-17 2003-09-23 Lucent Technologies Inc. Gesture-based input interface system with shadow detection
EP1152261A1 (en) 2000-04-28 2001-11-07 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves
US6640202B1 (en) 2000-05-25 2003-10-28 International Business Machines Corporation Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications
US6731799B1 (en) 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US6788809B1 (en) 2000-06-30 2004-09-07 Intel Corporation System and method for gesture recognition in three dimensions using stereo imaging and color vision
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7039676B1 (en) 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US6539931B2 (en) 2001-04-16 2003-04-01 Koninklijke Philips Electronics N.V. Ball throwing assistant
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP3420221B2 (ja) 2001-06-29 2003-06-23 株式会社コナミコンピュータエンタテインメント東京 ゲーム装置及びプログラム
US7274800B2 (en) 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
US6937742B2 (en) 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US7340077B2 (en) 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7607509B2 (en) 2002-04-19 2009-10-27 Iee International Electronics & Engineering S.A. Safety device for a vehicle
US7170492B2 (en) 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
US7348963B2 (en) 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US7489812B2 (en) 2002-06-07 2009-02-10 Dynamic Digital Depth Research Pty Ltd. Conversion and encoding techniques
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
JP4235729B2 (ja) 2003-02-03 2009-03-11 国立大学法人静岡大学 距離画像センサ
DE602004006190T8 (de) 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
US7620202B2 (en) 2003-06-12 2009-11-17 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
WO2005041579A2 (en) 2003-10-24 2005-05-06 Reactrix Systems, Inc. Method and system for processing captured image information in an interactive video display system
JP4708422B2 (ja) 2004-04-15 2011-06-22 ジェスチャー テック，インコーポレイテッド 両手動作の追跡
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US7704135B2 (en) 2004-08-23 2010-04-27 Harrison Jr Shelton E Integrated game system, method, and device
KR20060070280A (ko) 2004-12-20 2006-06-23 한국전자통신연구원 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법
JP5160235B2 (ja) 2005-01-07 2013-03-13 クアルコム，インコーポレイテッド 画像中の物体の検出及び追跡
WO2006074290A2 (en) 2005-01-07 2006-07-13 Gesturetek, Inc. Optical flow based tilt sensor
JP2008537190A (ja) 2005-01-07 2008-09-11 ジェスチャー テック，インコーポレイテッド 赤外線パターンを照射することによる対象物の三次元像の生成
KR100960577B1 (ko) 2005-02-08 2010-06-03 오블롱 인더스트리즈, 인크 제스처 기반의 제어 시스템을 위한 시스템 및 방법
JP4686595B2 (ja) 2005-03-17 2011-05-25 本田技研工業株式会社 クリティカルポイント解析に基づくポーズ推定
WO2006124935A2 (en) 2005-05-17 2006-11-23 Gesturetek, Inc. Orientation-sensitive signal output
ATE412882T1 (de) 2005-08-12 2008-11-15 Mesa Imaging Ag Hochempfindliches, schnelles pixel für anwendung in einem bildsensor
US20080026838A1 (en) 2005-08-22 2008-01-31 Dunstan James E Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games
US7450736B2 (en) 2005-10-28 2008-11-11 Honda Motor Co., Ltd. Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers
JP2007134913A (ja) * 2005-11-09 2007-05-31 Matsushita Electric Ind Co Ltd 映像選択方法および映像選択装置
US7701439B2 (en) 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
JP5395323B2 (ja) 2006-09-29 2014-01-22 ブレインビジョン株式会社 固体撮像素子
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US8144148B2 (en) 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
US7729530B2 (en) 2007-03-03 2010-06-01 Sergey Antonov Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system
TW200907764A (en) 2007-08-01 2009-02-16 Unique Instr Co Ltd Three-dimensional virtual input and simulation apparatus
US7852262B2 (en) 2007-08-16 2010-12-14 Cybernet Systems Corporation Wireless mobile indoor/outdoor tracking system
US7970176B2 (en) 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
CN101254344B (zh) 2008-04-18 2010-06-16 李刚 场地方位与显示屏点阵按比例相对应的游戏装置和方法
KR100931403B1 (ko) * 2008-06-25 2009-12-11 한국과학기술연구원 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템
JP2010072840A (ja) * 2008-09-17 2010-04-02 Denso Corp 画像表示方法、画像表示装置及びそれを用いた操作装置
US8379987B2 (en) * 2008-12-30 2013-02-19 Nokia Corporation Method, apparatus and computer program product for providing hand segmentation for gesture analysis
JP5177075B2 (ja) 2009-02-12 2013-04-03 ソニー株式会社 動作認識装置、動作認識方法、プログラム
US8744121B2 (en) * 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US20110025689A1 (en) * 2009-07-29 2011-02-03 Microsoft Corporation Auto-Generating A Visual Representation
US8843857B2 (en) 2009-11-19 2014-09-23 Microsoft Corporation Distance scalable no touch computing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5767842A (en) * 1992-02-07 1998-06-16 International Business Machines Corporation Method and device for optical input of commands or data
RU2107328C1 (ru) * 1996-08-14 1998-03-20 Нурахмед Нурисламович Латыпов Способ отслеживания и отображения положения и ориентации пользователя в пространстве и система для осуществления способа
US7042440B2 (en) * 1997-08-22 2006-05-09 Pryor Timothy R Man machine interfaces and applications
US20040193413A1 (en) * 2003-03-25 2004-09-30 Wilson Andrew D. Architecture for controlling a computer using hand gestures
US20100302247A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Target digitization, extraction, and tracking

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2662399C1 (ru) * 2017-03-17 2018-07-25 Алексей Александрович Тарасов Система и способ для захвата движений и положения тела человека и частей тела человека
RU2774212C2 (ru) * 2017-06-15 2022-06-16 Долби Интернэшнл Аб Способ и система для обработки аудиоконтента, способ и система для обработки мультимедийного контента для воспроизведения

Also Published As

Publication number Publication date
US20120309532A1 (en) 2012-12-06
US8897491B2 (en) 2014-11-25
BR112013031118B1 (pt) 2021-04-13
WO2012170349A2 (en) 2012-12-13
RU2013154102A (ru) 2015-06-10
KR20140024421A (ko) 2014-02-28
BR112013031118A8 (pt) 2018-02-06
EP2718900A4 (en) 2015-02-18
AU2012268589B2 (en) 2016-12-15
WO2012170349A3 (en) 2013-01-31
JP6021901B2 (ja) 2016-11-09
BR112013031118A2 (pt) 2017-09-12
KR101956325B1 (ko) 2019-03-08
EP2718900A2 (en) 2014-04-16
MX2013014393A (es) 2014-03-21
CA2837470C (en) 2019-09-03
JP2014524070A (ja) 2014-09-18
CA2837470A1 (en) 2012-12-13

Similar Documents

Publication Publication Date Title
RU2605370C2 (ru) Система для распознавания и отслеживания пальцев
US8929612B2 (en) System for recognizing an open or closed hand
AU2012268589A1 (en) System for finger recognition and tracking
US8660310B2 (en) Systems and methods for tracking a model
US8660303B2 (en) Detection of body and props
US8176442B2 (en) Living cursor control mechanics
US9522328B2 (en) Human tracking system
US20170278251A1 (en) Systems and methods for removing a background of an image
US8963829B2 (en) Methods and systems for determining and tracking extremities of a target
US8457353B2 (en) Gestures and gesture modifiers for manipulating a user-interface
US9182814B2 (en) Systems and methods for estimating a non-visible or occluded body part
CA2753051C (en) Virtual object manipulation
US20110221755A1 (en) Bionic motion
US20110109617A1 (en) Visualizing Depth
US20100302395A1 (en) Environment And/Or Target Segmentation
WO2010126841A2 (en) Altering a view perspective within a display environment
US20120311503A1 (en) Gesture to trigger application-pertinent information