JP6080843B2 - 奥行きに基づく質量の中心からの頭部回転のトラッキング - Google Patents
奥行きに基づく質量の中心からの頭部回転のトラッキング Download PDFInfo
- Publication number
- JP6080843B2 JP6080843B2 JP2014514528A JP2014514528A JP6080843B2 JP 6080843 B2 JP6080843 B2 JP 6080843B2 JP 2014514528 A JP2014514528 A JP 2014514528A JP 2014514528 A JP2014514528 A JP 2014514528A JP 6080843 B2 JP6080843 B2 JP 6080843B2
- Authority
- JP
- Japan
- Prior art keywords
- head
- depth
- user
- center
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 32
- 238000013459 approach Methods 0.000 description 10
- 239000007787 solid Substances 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Processing Or Creating Images (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Analysis (AREA)
Description
[0017]したがって、一態様では、本発明の一実施形態は、1つまたは複数のコンピューティングデバイスで使用されるときこの1つまたは複数のコンピューティングデバイスに方法を実行させる、コンピューター使用可能命令を記憶する1つまたは複数のコンピューター記憶媒体を対象とする。この方法は、奥行き画像の奥行き画像データを受信するステップを含み、奥行き画像データは、複数の画素それぞれの奥行き値を含む。この方法は、奥行き画像の頭部領域を識別するステップも含み、頭部領域は、ユーザーの頭部に対応する。この方法は、背景の奥行き値を決定するステップをさらに含む。この方法は、ユーザーの頭部の奥行き質量の中心を、頭部領域中の画素の奥行き値、背景の奥行き値および頭部領域中の画素の位置の関数として計算するステップも含む。この方法は、頭部位置の中心を識別するステップをさらに含む。この方法は、奥行き質量の中心および頭部位置の中心に基づいてユーザーの頭部の回転を決定するステップをさらに含む。
Claims (9)
- コンピューター使用可能命令を記憶する1つまたは複数のコンピューター記憶媒体であって、1つまたは複数のコンピューティングデバイスで使用されるとき前記1つまたは複数のコンピューティングデバイスに方法を実行させ、前記方法が、
奥行き画像(depth image)の奥行き画像データを受信するステップであって、前記奥行き画像データが複数の画素それぞれの奥行き値を含む、受信するステップと、
前記奥行き画像の頭部領域(head region)を識別するステップであって、前記頭部領域が、ユーザーの頭部に対応する、識別するステップと、
背景の奥行き値を決定するステップと、
前記ユーザーの頭部の奥行き質量(depth-mass)の中心を、前記頭部領域中の画素の奥行き値、前記背景の奥行き値および前記頭部領域中の画素の位置の関数として計算するステップと、
頭部位置の中心を識別するステップと、
前記奥行き質量の中心および前記頭部位置の中心に基づいて、前記ユーザーの頭部の回転を決定するステップとを含み、
前記ユーザーの頭部の前記奥行き質量の中心を計算するステップが、
前記頭部領域から画素群を識別するステップと、
前記画素群からの画素それぞれの前記奥行き値と前記背景の奥行き値との差に基づいて、前記画素群からの画素それぞれの前記ユーザーの頭部の厚さを決定するステップと、
前記画素群からの画素それぞれの前記ユーザーの頭部の前記厚さと、前記画素群からの画素それぞれの位置とを掛け合わせた(multiplying)結果を合計する(summing)ことによって第1の値を計算するステップと、
前記画素群中の画素の前記奥行き値を合計することによって第2の値を計算するステップと、
前記第1の値を前記第2の値で除す(dividing)ことによって前記ユーザーの頭部の前記奥行き質量の中心を計算するステップとを含む、請求項1に記載の1つまたは複数のコンピューター記憶媒体。 - コンピューター使用可能命令を記憶する1つまたは複数のコンピューター記憶媒体であって、1つまたは複数のコンピューティングデバイスで使用されるとき前記1つまたは複数のコンピューティングデバイスに方法を実行させ、前記方法が、
奥行き画像(depth image)の奥行き画像データを受信するステップであって、前記奥行き画像データが複数の画素それぞれの奥行き値を含む、受信するステップと、
前記奥行き画像の頭部領域(head region)を識別するステップであって、前記頭部領域が、ユーザーの頭部に対応する、識別するステップと、
背景の奥行き値を決定するステップと、
前記ユーザーの頭部の奥行き質量(depth-mass)の中心を、前記頭部領域中の画素の奥行き値、前記背景の奥行き値および前記頭部領域中の画素の位置の関数として計算するステップと、
頭部位置の中心を識別するステップと、
前記奥行き質量の中心および前記頭部位置の中心に基づいて、前記ユーザーの頭部の回転を決定するステップとを含み、
頭部位置の中心を識別するステップが、前記背景の奥行き値を超えない奥行き値を有する前記頭部領域中の画素の中心位置を識別するステップを含む、請求項1に記載の1つまたは複数のコンピューター記憶媒体。 - 前記奥行き画像の頭部領域を識別するステップが、
奥行き値(depth values)に基づいて前記奥行き画像の対象物を識別するステップと、
前記対象物を解析して人間のサイズおよび形状に対応するシルエット(silhouette)を有する第1の対象物を識別するステップとを含む、請求項1または2に記載の1つまたは複数のコンピューター記憶媒体。 - 前記奥行き画像の頭部領域を識別するステップが、
ユーザーが、前記ユーザーの頭部の画像を見ることができ、前記頭部領域の境界の位置を制御することができるユーザーインターフェースを提供するステップと、
前記頭部領域の前記境界の前記位置を設定するユーザー入力を受信するステップとを含む、請求項1または2に記載の1つまたは複数のコンピューター記憶媒体。 - 前記背景の奥行き値を決定するステップが、
前記頭部領域内の画素からの最大奥行き値を識別し、前記背景の奥行き値を前記最大奥行き値の関数として設定するステップと、
前記頭部領域中の画素の少なくとも一部の奥行き値に基づいて平均奥行き値を計算し、
前記背景の奥行き値を前記平均奥行き値の関数として設定するステップと、または、
ユーザー入力を受信して前記背景の奥行き値を設定するステップとのうちから選択された1つのステップを含む、請求項1または2に記載の1つまたは複数のコンピューター記憶媒体。 - 前記ユーザーの頭部の前記奥行き質量の中心を計算するステップが、前記頭部領域内の画素位置の関数として、重みを付けるステップを含む、請求項1または2に記載の1つまたは複数のコンピューター記憶媒体。
- 仮想環境のカメラ視点を制御するために前記ユーザーの頭部の前記回転を使用するステップをさらに含む、請求項1または2に記載の1つまたは複数のコンピューター記憶媒体。
- 奥行き画像(depth image)の奥行き画像データを受信するステップであって、前記奥行き画像データが複数の画素それぞれの奥行き値を含む、受信するステップと、
前記奥行き画像の頭部領域(head region)を識別するステップであって、前記頭部領域が、ユーザーの頭部に対応する、識別するステップと、
背景の奥行き値を決定するステップと、
前記ユーザーの頭部の奥行き質量(depth-mass)の中心を、前記頭部領域中の画素の奥行き値、前記背景の奥行き値および前記頭部領域中の画素の位置の関数として計算するステップと、
頭部位置の中心を識別するステップと、
前記奥行き質量の中心および前記頭部位置の中心に基づいて、前記ユーザーの頭部の回転を決定するステップとを含み、
前記ユーザーの頭部の前記奥行き質量の中心を計算するステップが、
前記頭部領域から画素群を識別するステップと、
前記画素群からの画素それぞれの前記奥行き値と前記背景の奥行き値との差に基づいて、前記画素群からの画素それぞれの前記ユーザーの頭部の厚さを決定するステップと、
前記画素群からの画素それぞれの前記ユーザーの頭部の前記厚さと、前記画素群からの画素それぞれの位置とを掛け合わせた(multiplying)結果を合計する(summing)ことによって第1の値を計算するステップと、
前記画素群中の画素の前記奥行き値を合計することによって第2の値を計算するステップと、
前記第1の値を前記第2の値で除す(dividing)ことによって前記ユーザーの頭部の前記奥行き質量の中心を計算するステップとを含む、
方法を実行するように構成されたプロセッサを備える、
コンピューティングデバイス。 - 奥行き画像(depth image)の奥行き画像データを受信するステップであって、前記奥行き画像データが複数の画素それぞれの奥行き値を含む、受信するステップと、
前記奥行き画像の頭部領域(head region)を識別するステップであって、前記頭部領域が、ユーザーの頭部に対応する、識別するステップと、
背景の奥行き値を決定するステップと、
前記ユーザーの頭部の奥行き質量(depth-mass)の中心を、前記頭部領域中の画素の奥行き値、前記背景の奥行き値および前記頭部領域中の画素の位置の関数として計算するステップと、
頭部位置の中心を識別するステップと、
前記奥行き質量の中心および前記頭部位置の中心に基づいて、前記ユーザーの頭部の回転を決定するステップとを含み、
頭部位置の中心を識別するステップが、前記背景の奥行き値を超えない奥行き値を有する前記頭部領域中の画素の中心位置を識別するステップを含む、
方法を実行するように構成されたプロセッサを備える、コンピューティングデバイス。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161493785P | 2011-06-06 | 2011-06-06 | |
US61/493,785 | 2011-06-06 | ||
US13/212,745 | 2011-08-18 | ||
US13/212,745 US9098110B2 (en) | 2011-06-06 | 2011-08-18 | Head rotation tracking from depth-based center of mass |
PCT/US2012/040774 WO2012170357A2 (en) | 2011-06-06 | 2012-06-04 | Head rotation tracking from depth-based center of mass |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014516187A JP2014516187A (ja) | 2014-07-07 |
JP6080843B2 true JP6080843B2 (ja) | 2017-02-15 |
Family
ID=47261728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014514528A Active JP6080843B2 (ja) | 2011-06-06 | 2012-06-04 | 奥行きに基づく質量の中心からの頭部回転のトラッキング |
Country Status (5)
Country | Link |
---|---|
US (1) | US9098110B2 (ja) |
EP (1) | EP2719186B1 (ja) |
JP (1) | JP6080843B2 (ja) |
KR (1) | KR101932788B1 (ja) |
WO (1) | WO2012170357A2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9406135B2 (en) * | 2012-10-29 | 2016-08-02 | Samsung Electronics Co., Ltd. | Device and method for estimating head pose |
US9052746B2 (en) * | 2013-02-15 | 2015-06-09 | Microsoft Technology Licensing, Llc | User center-of-mass and mass distribution extraction using depth images |
US10362296B2 (en) | 2017-08-17 | 2019-07-23 | Microsoft Technology Licensing, Llc | Localized depth map generation |
EP3496037A1 (en) | 2017-12-06 | 2019-06-12 | Koninklijke Philips N.V. | Device, system and method for detecting body movement of a patient |
US11157728B1 (en) * | 2020-04-02 | 2021-10-26 | Ricoh Co., Ltd. | Person detection and identification using overhead depth images |
CN111709974B (zh) * | 2020-06-22 | 2022-08-02 | 苏宁云计算有限公司 | 基于rgb-d图像的人体跟踪方法及装置 |
Family Cites Families (173)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4695953A (en) | 1983-08-25 | 1987-09-22 | Blair Preston E | TV animation interactively controlled by the viewer |
US4630910A (en) | 1984-02-16 | 1986-12-23 | Robotic Vision Systems, Inc. | Method of measuring in three-dimensions at high speed |
US4627620A (en) | 1984-12-26 | 1986-12-09 | Yang John P | Electronic athlete trainer for improving skills in reflex, speed and accuracy |
US4645458A (en) | 1985-04-15 | 1987-02-24 | Harald Phillip | Athletic evaluation and training apparatus |
US4702475A (en) | 1985-08-16 | 1987-10-27 | Innovating Training Products, Inc. | Sports technique and reaction training system |
US4843568A (en) | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
US4711543A (en) | 1986-04-14 | 1987-12-08 | Blair Preston E | TV animation interactively controlled by the viewer |
US4796997A (en) | 1986-05-27 | 1989-01-10 | Synthetic Vision Systems, Inc. | Method and system for high-speed, 3-D imaging of an object at a vision station |
US5184295A (en) | 1986-05-30 | 1993-02-02 | Mann Ralph V | System and method for teaching physical skills |
US4751642A (en) | 1986-08-29 | 1988-06-14 | Silva John M | Interactive sports simulation system with physiological sensing and psychological conditioning |
US4809065A (en) | 1986-12-01 | 1989-02-28 | Kabushiki Kaisha Toshiba | Interactive system and related method for displaying data to produce a three-dimensional image of an object |
US4817950A (en) | 1987-05-08 | 1989-04-04 | Goo Paul E | Video game control unit and attitude sensor |
US5239463A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Method and apparatus for player interaction with animated characters and objects |
US5239464A (en) | 1988-08-04 | 1993-08-24 | Blair Preston E | Interactive video system providing repeated switching of multiple tracks of actions sequences |
US4901362A (en) | 1988-08-08 | 1990-02-13 | Raytheon Company | Method of recognizing patterns |
US4893183A (en) | 1988-08-11 | 1990-01-09 | Carnegie-Mellon University | Robotic vision system |
JPH02199526A (ja) | 1988-10-14 | 1990-08-07 | David G Capper | 制御インターフェース装置 |
US4925189A (en) | 1989-01-13 | 1990-05-15 | Braeunig Thomas F | Body-mounted video game exercise device |
US5229756A (en) | 1989-02-07 | 1993-07-20 | Yamaha Corporation | Image control apparatus |
US5469740A (en) | 1989-07-14 | 1995-11-28 | Impulse Technology, Inc. | Interactive video testing and training system |
JPH03103822U (ja) | 1990-02-13 | 1991-10-29 | ||
US5101444A (en) | 1990-05-18 | 1992-03-31 | Panacea, Inc. | Method and apparatus for high speed object location |
US5148154A (en) | 1990-12-04 | 1992-09-15 | Sony Corporation Of America | Multi-dimensional user interface |
US5534917A (en) | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
US5417210A (en) | 1992-05-27 | 1995-05-23 | International Business Machines Corporation | System and method for augmentation of endoscopic surgery |
US5295491A (en) | 1991-09-26 | 1994-03-22 | Sam Technology, Inc. | Non-invasive human neurocognitive performance capability testing method and system |
US6054991A (en) | 1991-12-02 | 2000-04-25 | Texas Instruments Incorporated | Method of modeling player position and movement in a virtual reality system |
JPH06508788A (ja) | 1991-12-03 | 1994-10-06 | フレンチ スポーテク コーポレイション | 対話型ビデオ式検査および訓練システム |
US5875108A (en) | 1991-12-23 | 1999-02-23 | Hoffberg; Steven M. | Ergonomic man-machine interface incorporating adaptive pattern recognition based control system |
JPH07325934A (ja) | 1992-07-10 | 1995-12-12 | Walt Disney Co:The | 仮想世界に向上したグラフィックスを提供する方法および装置 |
US5999908A (en) | 1992-08-06 | 1999-12-07 | Abelow; Daniel H. | Customer-based product design module |
US5320538A (en) | 1992-09-23 | 1994-06-14 | Hughes Training, Inc. | Interactive aircraft training system and method |
IT1257294B (it) | 1992-11-20 | 1996-01-12 | Dispositivo atto a rilevare la configurazione di un'unita' fisiologicadistale,da utilizzarsi in particolare come interfaccia avanzata per macchine e calcolatori. | |
US5495576A (en) | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
US5690582A (en) | 1993-02-02 | 1997-11-25 | Tectrix Fitness Equipment, Inc. | Interactive exercise apparatus |
JP2799126B2 (ja) | 1993-03-26 | 1998-09-17 | 株式会社ナムコ | ビデオゲーム装置及びゲーム用入力装置 |
US5405152A (en) | 1993-06-08 | 1995-04-11 | The Walt Disney Company | Method and apparatus for an interactive video game with physical feedback |
US5454043A (en) | 1993-07-30 | 1995-09-26 | Mitsubishi Electric Research Laboratories, Inc. | Dynamic and static hand gesture recognition through low-level image analysis |
US5423554A (en) | 1993-09-24 | 1995-06-13 | Metamedia Ventures, Inc. | Virtual reality game method and apparatus |
US5980256A (en) | 1993-10-29 | 1999-11-09 | Carmein; David E. E. | Virtual reality system with enhanced sensory apparatus |
JP3419050B2 (ja) | 1993-11-19 | 2003-06-23 | 株式会社日立製作所 | 入力装置 |
US5347306A (en) | 1993-12-17 | 1994-09-13 | Mitsubishi Electric Research Laboratories, Inc. | Animated electronic meeting place |
JP2552427B2 (ja) | 1993-12-28 | 1996-11-13 | コナミ株式会社 | テレビ遊戯システム |
US5577981A (en) | 1994-01-19 | 1996-11-26 | Jarvik; Robert | Virtual reality exercise machine and computer controlled video system |
US5580249A (en) | 1994-02-14 | 1996-12-03 | Sarcos Group | Apparatus for simulating mobility of a human |
US5597309A (en) | 1994-03-28 | 1997-01-28 | Riess; Thomas | Method and apparatus for treatment of gait problems associated with parkinson's disease |
US5385519A (en) | 1994-04-19 | 1995-01-31 | Hsu; Chi-Hsueh | Running machine |
US5524637A (en) | 1994-06-29 | 1996-06-11 | Erickson; Jon W. | Interactive system for measuring physiological exertion |
JPH0844490A (ja) | 1994-07-28 | 1996-02-16 | Matsushita Electric Ind Co Ltd | インターフェイス装置 |
US5563988A (en) | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
US6714665B1 (en) | 1994-09-02 | 2004-03-30 | Sarnoff Corporation | Fully automated iris recognition system utilizing wide and narrow fields of view |
US5516105A (en) | 1994-10-06 | 1996-05-14 | Exergame, Inc. | Acceleration activated joystick |
US5638300A (en) | 1994-12-05 | 1997-06-10 | Johnson; Lee E. | Golf swing analysis system |
JPH08161292A (ja) | 1994-12-09 | 1996-06-21 | Matsushita Electric Ind Co Ltd | 混雑度検知方法およびそのシステム |
US5594469A (en) | 1995-02-21 | 1997-01-14 | Mitsubishi Electric Information Technology Center America Inc. | Hand gesture machine control system |
US5682229A (en) | 1995-04-14 | 1997-10-28 | Schwartz Electro-Optics, Inc. | Laser range camera |
US5913727A (en) | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
JP3481631B2 (ja) | 1995-06-07 | 2003-12-22 | ザ トラスティース オブ コロンビア ユニヴァーシティー イン ザ シティー オブ ニューヨーク | 能動型照明及びデフォーカスに起因する画像中の相対的なぼけを用いる物体の3次元形状を決定する装置及び方法 |
US5682196A (en) | 1995-06-22 | 1997-10-28 | Actv, Inc. | Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers |
US5702323A (en) | 1995-07-26 | 1997-12-30 | Poulton; Craig K. | Electronic exercise enhancer |
US6098458A (en) | 1995-11-06 | 2000-08-08 | Impulse Technology, Ltd. | Testing and training system for assessing movement and agility skills without a confining field |
US6073489A (en) | 1995-11-06 | 2000-06-13 | French; Barry J. | Testing and training system for assessing the ability of a player to complete a task |
US6430997B1 (en) | 1995-11-06 | 2002-08-13 | Trazer Technologies, Inc. | System and method for tracking and assessing movement skills in multidimensional space |
US6308565B1 (en) | 1995-11-06 | 2001-10-30 | Impulse Technology Ltd. | System and method for tracking and assessing movement skills in multidimensional space |
US6176782B1 (en) | 1997-12-22 | 2001-01-23 | Philips Electronics North America Corp. | Motion-based command generation technology |
US5933125A (en) | 1995-11-27 | 1999-08-03 | Cae Electronics, Ltd. | Method and apparatus for reducing instability in the display of a virtual environment |
US5641288A (en) | 1996-01-11 | 1997-06-24 | Zaenglein, Jr.; William G. | Shooting simulating process and training device using a virtual reality display screen |
JP2000510013A (ja) | 1996-05-08 | 2000-08-08 | リアル ヴィジョン コーポレイション | 位置検出を用いたリアルタイムシミュレーション |
US6173066B1 (en) | 1996-05-21 | 2001-01-09 | Cybernet Systems Corporation | Pose determination and tracking by matching 3D objects to a 2D sensor |
US5989157A (en) | 1996-08-06 | 1999-11-23 | Walton; Charles A. | Exercising system with electronic inertial game playing |
WO1998007129A1 (fr) | 1996-08-14 | 1998-02-19 | Latypov Nurakhmed Nurislamovic | Procede de suivi et de representation de la position et de l'orientation d'un sujet dans l'espace, procede de presentation d'un espace virtuel a ce sujet, et systemes de mise en oeuvre de ces procedes |
JP3064928B2 (ja) | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
ATE232621T1 (de) | 1996-12-20 | 2003-02-15 | Hitachi Europ Ltd | Verfahren und system zur erkennung von handgesten |
US6009210A (en) * | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
US6100896A (en) | 1997-03-24 | 2000-08-08 | Mitsubishi Electric Information Technology Center America, Inc. | System for designing graphical multi-participant environments |
US5877803A (en) | 1997-04-07 | 1999-03-02 | Tritech Mircoelectronics International, Ltd. | 3-D image detector |
US6215898B1 (en) | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
JP3077745B2 (ja) | 1997-07-31 | 2000-08-14 | 日本電気株式会社 | データ処理方法および装置、情報記憶媒体 |
US6188777B1 (en) | 1997-08-01 | 2001-02-13 | Interval Research Corporation | Method and apparatus for personnel detection and tracking |
US6720949B1 (en) | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6289112B1 (en) | 1997-08-22 | 2001-09-11 | International Business Machines Corporation | System and method for determining block direction in fingerprint images |
AUPO894497A0 (en) | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
EP0905644A3 (en) | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
US6141463A (en) | 1997-10-10 | 2000-10-31 | Electric Planet Interactive | Method and system for estimating jointed-figure configurations |
US6384819B1 (en) | 1997-10-15 | 2002-05-07 | Electric Planet, Inc. | System and method for generating an animatable character |
US6411744B1 (en) | 1997-10-15 | 2002-06-25 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
US6072494A (en) | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
US6130677A (en) | 1997-10-15 | 2000-10-10 | Electric Planet, Inc. | Interactive computer vision system |
US6101289A (en) | 1997-10-15 | 2000-08-08 | Electric Planet, Inc. | Method and apparatus for unencumbered capture of an object |
US6181343B1 (en) | 1997-12-23 | 2001-01-30 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
JP2002516121A (ja) | 1998-03-03 | 2002-06-04 | アリーナ, インコーポレイテッド | 多次元空間における運動技術を追跡し、そして評価するためのシステムおよび方法 |
JP3549725B2 (ja) * | 1998-04-13 | 2004-08-04 | シャープ株式会社 | 画像処理装置 |
US6159100A (en) | 1998-04-23 | 2000-12-12 | Smith; Michael D. | Virtual reality game |
US6077201A (en) | 1998-06-12 | 2000-06-20 | Cheng; Chau-Yang | Exercise bicycle |
US6801637B2 (en) | 1999-08-10 | 2004-10-05 | Cybernet Systems Corporation | Optical body tracker |
US7036094B1 (en) | 1998-08-10 | 2006-04-25 | Cybernet Systems Corporation | Behavior recognition system |
US6681031B2 (en) | 1998-08-10 | 2004-01-20 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US6950534B2 (en) | 1998-08-10 | 2005-09-27 | Cybernet Systems Corporation | Gesture-controlled interfaces for self-service machines and other applications |
US7121946B2 (en) | 1998-08-10 | 2006-10-17 | Cybernet Systems Corporation | Real-time head tracking system for computer games and other applications |
US20010008561A1 (en) | 1999-08-10 | 2001-07-19 | Paul George V. | Real-time object tracking system |
IL126284A (en) | 1998-09-17 | 2002-12-01 | Netmor Ltd | System and method for three dimensional positioning and tracking |
EP0991011B1 (en) | 1998-09-28 | 2007-07-25 | Matsushita Electric Industrial Co., Ltd. | Method and device for segmenting hand gestures |
US6661918B1 (en) | 1998-12-04 | 2003-12-09 | Interval Research Corporation | Background estimation and segmentation based on range and color |
US6147678A (en) | 1998-12-09 | 2000-11-14 | Lucent Technologies Inc. | Video hand image-three-dimensional computer interface with multiple degrees of freedom |
JP4578686B2 (ja) | 1998-12-16 | 2010-11-10 | マイクロソフト インターナショナル ホールディングス ビイ.ヴイ. | 3dカメラ |
US6570555B1 (en) | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
US6363160B1 (en) | 1999-01-22 | 2002-03-26 | Intel Corporation | Interface using pattern recognition and tracking |
US7003134B1 (en) | 1999-03-08 | 2006-02-21 | Vulcan Patents Llc | Three dimensional object pose estimation which employs dense depth information |
US6299308B1 (en) | 1999-04-02 | 2001-10-09 | Cybernet Systems Corporation | Low-cost non-imaging eye tracker system for computer control |
US6503195B1 (en) | 1999-05-24 | 2003-01-07 | University Of North Carolina At Chapel Hill | Methods and systems for real-time structured light depth extraction and endoscope using real-time structured light depth extraction |
US6476834B1 (en) | 1999-05-28 | 2002-11-05 | International Business Machines Corporation | Dynamic creation of selectable items on surfaces |
US6873723B1 (en) | 1999-06-30 | 2005-03-29 | Intel Corporation | Segmenting three-dimensional video images using stereo |
US6738066B1 (en) | 1999-07-30 | 2004-05-18 | Electric Plant, Inc. | System, method and article of manufacture for detecting collisions between video images generated by a camera and an object depicted on a display |
US7113918B1 (en) | 1999-08-01 | 2006-09-26 | Electric Planet, Inc. | Method for video enabled electronic commerce |
US7050606B2 (en) | 1999-08-10 | 2006-05-23 | Cybernet Systems Corporation | Tracking and gesture recognition system particularly suited to vehicular control applications |
JP2001143072A (ja) | 1999-11-10 | 2001-05-25 | Nippon Telegr & Teleph Corp <Ntt> | 物体形状識別装置 |
US6663491B2 (en) | 2000-02-18 | 2003-12-16 | Namco Ltd. | Game apparatus, storage medium and computer program that adjust tempo of sound |
US6633294B1 (en) | 2000-03-09 | 2003-10-14 | Seth Rosenthal | Method and apparatus for using captured high density motion for animation |
EP1152261A1 (en) | 2000-04-28 | 2001-11-07 | CSEM Centre Suisse d'Electronique et de Microtechnique SA | Device and method for spatially resolved photodetection and demodulation of modulated electromagnetic waves |
US6640202B1 (en) | 2000-05-25 | 2003-10-28 | International Business Machines Corporation | Elastic sensor mesh system for 3-dimensional measurement, mapping and kinematics applications |
US6731799B1 (en) | 2000-06-01 | 2004-05-04 | University Of Washington | Object segmentation with background extraction and moving boundary techniques |
US6788809B1 (en) | 2000-06-30 | 2004-09-07 | Intel Corporation | System and method for gesture recognition in three dimensions using stereo imaging and color vision |
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US7058204B2 (en) | 2000-10-03 | 2006-06-06 | Gesturetek, Inc. | Multiple camera control system |
US6891518B2 (en) | 2000-10-05 | 2005-05-10 | Siemens Corporate Research, Inc. | Augmented reality visualization device |
US7039676B1 (en) | 2000-10-31 | 2006-05-02 | International Business Machines Corporation | Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session |
US6539931B2 (en) | 2001-04-16 | 2003-04-01 | Koninklijke Philips Electronics N.V. | Ball throwing assistant |
US7259747B2 (en) | 2001-06-05 | 2007-08-21 | Reactrix Systems, Inc. | Interactive video display system |
US8035612B2 (en) | 2002-05-28 | 2011-10-11 | Intellectual Ventures Holding 67 Llc | Self-contained interactive video display system |
JP3420221B2 (ja) | 2001-06-29 | 2003-06-23 | 株式会社コナミコンピュータエンタテインメント東京 | ゲーム装置及びプログラム |
ATE483327T1 (de) | 2001-08-15 | 2010-10-15 | Koninkl Philips Electronics Nv | 3d videokonferenzsystem |
US6937742B2 (en) | 2001-09-28 | 2005-08-30 | Bellsouth Intellectual Property Corporation | Gesture activated home appliance |
US6937745B2 (en) * | 2001-12-31 | 2005-08-30 | Microsoft Corporation | Machine vision system and method for estimating and tracking facial pose |
DE50302813D1 (de) | 2002-04-19 | 2006-05-18 | Iee Sarl | Sicherheitsvorrichtung für ein fahrzeug |
US7710391B2 (en) | 2002-05-28 | 2010-05-04 | Matthew Bell | Processing an image utilizing a spatially varying pattern |
US7170492B2 (en) | 2002-05-28 | 2007-01-30 | Reactrix Systems, Inc. | Interactive video display system |
US7348963B2 (en) | 2002-05-28 | 2008-03-25 | Reactrix Systems, Inc. | Interactive video display system |
US7489812B2 (en) | 2002-06-07 | 2009-02-10 | Dynamic Digital Depth Research Pty Ltd. | Conversion and encoding techniques |
US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
EP1567988A1 (en) | 2002-10-15 | 2005-08-31 | University Of Southern California | Augmented virtual environments |
US7576727B2 (en) | 2002-12-13 | 2009-08-18 | Matthew Bell | Interactive directed light/sound system |
JP4235729B2 (ja) | 2003-02-03 | 2009-03-11 | 国立大学法人静岡大学 | 距離画像センサ |
DE602004006190T8 (de) | 2003-03-31 | 2008-04-10 | Honda Motor Co., Ltd. | Vorrichtung, Verfahren und Programm zur Gestenerkennung |
US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
WO2004107266A1 (en) | 2003-05-29 | 2004-12-09 | Honda Motor Co., Ltd. | Visual tracking using depth data |
WO2004111687A2 (en) | 2003-06-12 | 2004-12-23 | Honda Motor Co., Ltd. | Target orientation estimation using depth sensing |
KR100682889B1 (ko) | 2003-08-29 | 2007-02-15 | 삼성전자주식회사 | 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치 |
US7536032B2 (en) | 2003-10-24 | 2009-05-19 | Reactrix Systems, Inc. | Method and system for processing captured image information in an interactive video display system |
US20050196015A1 (en) * | 2004-03-02 | 2005-09-08 | Trw Automotive U.S. Llc | Method and apparatus for tracking head candidate locations in an actuatable occupant restraining system |
CN100573548C (zh) | 2004-04-15 | 2009-12-23 | 格斯图尔泰克股份有限公司 | 跟踪双手运动的方法和设备 |
US7308112B2 (en) | 2004-05-14 | 2007-12-11 | Honda Motor Co., Ltd. | Sign based human-machine interaction |
US7704135B2 (en) | 2004-08-23 | 2010-04-27 | Harrison Jr Shelton E | Integrated game system, method, and device |
KR100656342B1 (ko) | 2004-12-16 | 2006-12-11 | 한국전자통신연구원 | 다중 입체 영상 혼합 제시용 시각 인터페이스 장치 |
KR20060070280A (ko) | 2004-12-20 | 2006-06-23 | 한국전자통신연구원 | 손 제스처 인식을 이용한 사용자 인터페이스 장치 및 그방법 |
CN101198964A (zh) | 2005-01-07 | 2008-06-11 | 格斯图尔泰克股份有限公司 | 使用红外图案照射创建对象的三维图像 |
HUE049974T2 (hu) | 2005-01-07 | 2020-11-30 | Qualcomm Inc | Képeken lévõ objektumok észlelése és követése |
CN101137996A (zh) | 2005-01-07 | 2008-03-05 | 格斯图尔泰克股份有限公司 | 基于光流的倾斜传感器 |
WO2006086508A2 (en) | 2005-02-08 | 2006-08-17 | Oblong Industries, Inc. | System and method for genture based control system |
US7317836B2 (en) | 2005-03-17 | 2008-01-08 | Honda Motor Co., Ltd. | Pose estimation based on critical point analysis |
US7389591B2 (en) | 2005-05-17 | 2008-06-24 | Gesturetek, Inc. | Orientation-sensitive signal output |
DE602005010696D1 (de) | 2005-08-12 | 2008-12-11 | Mesa Imaging Ag | Hochempfindliches, schnelles Pixel für Anwendung in einem Bildsensor |
US20080026838A1 (en) | 2005-08-22 | 2008-01-31 | Dunstan James E | Multi-player non-role-playing virtual world games: method for two-way interaction between participants and multi-player virtual world games |
US7450736B2 (en) | 2005-10-28 | 2008-11-11 | Honda Motor Co., Ltd. | Monocular tracking of 3D human motion with a coordinated mixture of factor analyzers |
JP5167248B2 (ja) * | 2006-05-11 | 2013-03-21 | プライムセンス リミテッド | 深度マップによるヒューマノイド形状のモデル化 |
US7701439B2 (en) | 2006-07-13 | 2010-04-20 | Northrop Grumman Corporation | Gesture recognition simulation system and method |
JP5395323B2 (ja) | 2006-09-29 | 2014-01-22 | ブレインビジョン株式会社 | 固体撮像素子 |
US7412077B2 (en) | 2006-12-29 | 2008-08-12 | Motorola, Inc. | Apparatus and methods for head pose estimation and head gesture detection |
US7729530B2 (en) | 2007-03-03 | 2010-06-01 | Sergey Antonov | Method and apparatus for 3-D data input to a personal computer with a multimedia oriented operating system |
US7852262B2 (en) | 2007-08-16 | 2010-12-14 | Cybernet Systems Corporation | Wireless mobile indoor/outdoor tracking system |
CN101254344B (zh) | 2008-04-18 | 2010-06-16 | 李刚 | 场地方位与显示屏点阵按比例相对应的游戏装置和方法 |
US20100128112A1 (en) | 2008-11-26 | 2010-05-27 | Samsung Electronics Co., Ltd | Immersive display system for interacting with three-dimensional content |
US20100311512A1 (en) | 2009-06-04 | 2010-12-09 | Timothy James Lock | Simulator with enhanced depth perception |
US8963829B2 (en) | 2009-10-07 | 2015-02-24 | Microsoft Corporation | Methods and systems for determining and tracking extremities of a target |
-
2011
- 2011-08-18 US US13/212,745 patent/US9098110B2/en active Active
-
2012
- 2012-06-04 JP JP2014514528A patent/JP6080843B2/ja active Active
- 2012-06-04 WO PCT/US2012/040774 patent/WO2012170357A2/en unknown
- 2012-06-04 EP EP12797098.6A patent/EP2719186B1/en active Active
- 2012-06-04 KR KR1020137032248A patent/KR101932788B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
EP2719186A2 (en) | 2014-04-16 |
JP2014516187A (ja) | 2014-07-07 |
KR101932788B1 (ko) | 2018-12-27 |
US20120308116A1 (en) | 2012-12-06 |
WO2012170357A3 (en) | 2013-06-13 |
WO2012170357A2 (en) | 2012-12-13 |
KR20140028060A (ko) | 2014-03-07 |
US9098110B2 (en) | 2015-08-04 |
EP2719186A4 (en) | 2014-10-29 |
EP2719186B1 (en) | 2016-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6080843B2 (ja) | 奥行きに基づく質量の中心からの頭部回転のトラッキング | |
US10762694B1 (en) | Shadows for inserted content | |
US9905039B2 (en) | View independent color equalized 3D scene texturing | |
JP5639646B2 (ja) | スケルトン・データーのゲーム・アバターへのリアル・タイム・リターゲティング | |
US10467793B2 (en) | Computer implemented method and device | |
US11244506B2 (en) | Tracking rigged polygon-mesh models of articulated objects | |
US10192342B1 (en) | Using stand-in camera to determine grid for rendering an image from a virtual camera | |
US20230419590A1 (en) | Light importance caching using spatial hashing in real-time ray tracing applications | |
EP3767591A1 (en) | Illumination effects from luminous inserted content | |
JP2023504609A (ja) | ハイブリッドストリーミング | |
US10147218B2 (en) | System to identify and use markers for motion capture | |
US20220319097A1 (en) | Ray-guided water caustics | |
US11308684B2 (en) | Ray-tracing for auto exposure | |
US20240054657A1 (en) | Frame rate up-conversion using optical flow | |
US20240127539A1 (en) | Mechanical weight index maps for mesh rigging | |
US20240135618A1 (en) | Generating artificial agents for realistic motion simulation using broadcast videos | |
US20240153188A1 (en) | Physics-based simulation of dynamic character motion using generative artificial intelligence | |
US20230085156A1 (en) | Entropy-based pre-filtering using neural networks for streaming applications | |
WO2023033803A1 (en) | Systems and methods for progressive rendering of refinement tiles in images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150520 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160527 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160812 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6080843 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |