JP4723863B2 - リアルタイムのモーション・キャプチャ方法および装置 - Google Patents

リアルタイムのモーション・キャプチャ方法および装置 Download PDF

Info

Publication number
JP4723863B2
JP4723863B2 JP2004568305A JP2004568305A JP4723863B2 JP 4723863 B2 JP4723863 B2 JP 4723863B2 JP 2004568305 A JP2004568305 A JP 2004568305A JP 2004568305 A JP2004568305 A JP 2004568305A JP 4723863 B2 JP4723863 B2 JP 4723863B2
Authority
JP
Japan
Prior art keywords
display screen
motion
user
displayed
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004568305A
Other languages
English (en)
Other versions
JP2006514366A5 (ja
JP2006514366A (ja
Inventor
エル． マークス リチャード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Computer Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2006514366A publication Critical patent/JP2006514366A/ja
Publication of JP2006514366A5 publication Critical patent/JP2006514366A5/ja
Application granted granted Critical
Publication of JP4723863B2 publication Critical patent/JP4723863B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Processing Of Color Television Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、概して、ビデオプロセッシングに関し、より詳細には、イメージの深度、及び／又は、イメージに関連づけられたマーカのトラッキングに関し、ビデオゲームのアプリケーションに対して、リアルタイムのモーション・キャプチャを提供する。
映画やビデオゲームや、その他の関連のビデオ製作では、距離や次元についての情報が捕獲、つまりキャプチャされる。映画に関しては、役者やスポーツ選手の動作は別々にキャプチャされてよい。例えば、スポーツ選手は活動中に、複数のカメラによって撮影されてよい。スポーツ選手に取り付けられたボールによって、動作のトラッキングあるいは追跡ができる。トラッキングされた動作は、後で映画やビデオゲームで使うために、データベースに記録される。データベースに記録された動作フレームを通じて、これらの動作を再生することができる。
図１に人間の動きを記録するために人物に複数のボールを配置した状態の概略図を示す。人物１００には、体全体に複数のボール１０２が配置されている。次いで、人物１００は、いくつかの活動を行い、複数のカメラ１０４によってそれらの活動がキャプチャされる。キャプチャされたビデオ・データは所望に応じて編集され、ビデオ・データ１０６が定義される。次いで、ビデオ・データ１０６は、後で映画に挿入するための検索用に、データベース１０８に記録される。
図１に関連して説明されている手法は、映像編集など、リアルタイムのモーション・キャプチャが不要な、制御された環境で有効である。更に、人物の動作がキャプチャされ、かつ、記録されるので、人物がボールを身に付けるのは１度だけでよい。しかし、図１に関連して説明されているように、モーション・キャプチャは受動的なものとして用いられる。つまり、編集者たちは映画を編集しながら、記録された動作を映画に挿入する。したがって、キャプチャされた動作は、映像内容の制御には用いられずに、事後的に映像の中に挿入される。ビデオゲームについても同様のことが当てはまる。つまり、キャプチャされた動作は、ビデオゲームのアスペクト制御には何ら用いられない。複雑な計算、及び、１つ１つのスキャニングを必要とすることからも、リアルタイムでコントロールするようにモーション・キャプチャを使用することはできなくなっている。
その結果、オブジェクトやキャラクタの動作などの、ビデオゲームのアスペクトの制御が可能な、リアルタイムのモーション・キャプチャを提供するための方法と装置を提供して、従来技術の問題点を解決することが求められている。
概して、本発明により、ビデオゲームをしている人物のリアルタイムのモーション・キャプチャを通じて、ビデオゲームのキャラクタやオブジェクトの制御が可能な方法と装置を提供することによって、これらの必要性を満たすことができる。本発明は、方法、システム、コンピュータ可読媒体、又はデバイスを含む、様々な方法で実装されうることが理解されよう。本発明のいくつかの発明の実施形態を以下に説明する。
一実施形態では、ビデオゲームのキャラクタを制御する、リアルタイムのモーション・キャプチャの方法が提供される。方法は、制御オブジェクトのモデルを定義することから開始する。次に、モデル上のマーカの位置が識別される。次に、制御オブジェクトに関連づけられた動作がキャプチャされる。その後、制御オブジェクトに関連付けられた動作によって、モデルの位置を変更するように解釈される。次に、ディスプレイ・スクリーン上に表示されるキャラクタの動作が、モデル位置の変更にしたがい、制御される。
別の実施形態では、リアルタイムのモーション・キャプチャを通じて、コンピュータ・デバイスと通信するディスプレイ・スクリーン上に表示されるオブジェクトを制御する方法が提供される。この方法は、トラッキングされるオブジェクトに関連する深度イメージを認識することから開始する。次に、ディスプレイ・スクリーン上に表示されるオブジェクトと、トラッキングされるオブジェクトの双方に関連付けられるモデルが識別される。次に、モデルは、トラッキングされるオブジェクトに関連づけられる動作をキャプチャするために、深度イメージへにはめ込まれる。その後、ディスプレイ・スクリーン上に表示されるオブジェクトは、深度イメージへのモデルのはめ込みに従って、リアルタイムで制御される。
更に別の実施形態では、リアルタイムのモーション・キャプチャを通じてディスプレイ・スクリーン上に表示されるイメージの動作を制御するための方法が提供される。方法は人物のモデルを定義することがら開始する。次に、人物のモデル上のマーカの位置が識別される。その後、人物のモデルの一部に対応する深度イメージが提供される。モデルの一部にはマーカが含まれる。マーカの位置は、深度イメージ上のポイントに関連する。モデルの位置は深度イメージの形状に基づいて位置が定められる。したがって、ディスプレイ・スクリーン上に表示されるビデオキャラクタは、モデルの位置を定めることにより制御される。
リアルタイムのモーション・キャプチャを通じてコンピュータ・デバイスを通信する、ディスプレイ・スクリーン上に表示されるオブジェクトを制御するプログラム命令を有すコンピュータ可読媒体が提供される。コンピュータ可読媒体には、トラッキングされるオブジェクトの深度イメージを識別するプログラム命令や、ディスプレイ・スクリーン上に表示されるオブジェクトと、トラッキングされるオブジェクトの双方に関連づけられるモデルが識別される。トラッキングされるオブジェクトに関連づけられる動作をキャプチャするために、モデルを深度イメージにはめ込むあるいはフィッティングさせるプログラム命令が含まれる。深度イメージへのモデルのはめ込みによって、リアルタイムでディスプレイ・スクリーン上に表示されるオブジェクトを制御するプログラム命令が提供される。
別の実施形態では、制御イメージに関連づけられたリアルタイムのモーション・キャプチャを通じて、オブジェクトの制御が可能なシステムが提供される。システムには、コンピュータ・デバイスが含まれる。コンピュータ・デバイスと通信するディスプレイ・スクリーンが提供される。ディスプレイ・スクリーンは、オブジェクトのイメージを表示するように形成されており、オブジェクトのイメージに対応するデータは、コンピュータ・デバイスによってディスプレイ・スクリーンへ与えられる。コンピュータ・デバイスと通信するビデオ・キャプチャ・デバイスが含まれる。ビデオ・キャプチャ・デバイスによって、制御オブジェクトのトラッキングが可能である。ビデオ・キャプチャ・デバイスは、制御オブジェクトに関連する動作を翻訳する（あるいは動作を解釈してとりこむ）ように形成されており、制御オブジェクトが移動するにしたがい、ディスプレイ・スクリーン上に表示されるオブジェクトの動作が制御される。
更に別の実施形態では、制御イメージに関連づけられたリアルタイムのモーション・キャプチャを通じて、ビデオゲームのキャラクタの制御が可能なシステムが提供される。システムにはコンピュータ・デバイスが含まれる。コンピュータ・デバイスによって受信されるデータから、ビデオゲームのキャラクタのイメージを表示する手段と、制御オブジェクトに関連づけられた深度イメージをキャプチャする手段が提供される。モデルを深度イメージにはめ込み、制御オブジェクトの動作を定義する手段が含まれる。制御オブジェクトの動作を翻訳し、制御オブジェクトが移動するにしたがい、ディスプレイ・スクリーン上のビデオゲームのキャラクタに関連づけられる動作を制御する手段もまた含まれる。
本発明のその他の態様や利点は、本発明の原理を一例として例示している、添付の図面を参照しながら、以下の詳細な説明によって明らかになるであろう。
本発明は添付の図面と併せて、以下の詳細な説明によって容易に理解されるものであり、同一の参照符号は同一の構造上の要素を示す。
本発明を、ビデオゲームのキャラクタやオブジェクトを制御するために用いることができる、リアルタイムのモーション・キャプチャが可能なシステム、装置、および、方法に関して説明する。しかし、これらの具体的な説明の一部、もしくは全てがなくても、本発明が実施されうることは当業者にとっては明らかであろう。その他の例では、周知のプロセス工程は、本発明を必要以上に明瞭にしないために、詳細は説明されていない。図１は“発明の背景”セクションに説明されている。
本発明の実施形態によって、ビデオゲームのキャラクタ、あるいはオブジェクトを制御するために、リアルタイムのモーション・キャプチャを可能にするシステム及び方法が提供される。ビデオゲームに関連付けられる、ディスプレイ・スクリーン上のキャラクタを制御するために、ビデオゲームをプレイしている人物の動きが利用される。したがって、ディスプレイ・スクリーン上のキャラクタを制御するために、ビデオゲームをしている人物の、リアルタイムのモーション・キャプチャが利用される。ここで、ビデオゲームをしている人物の生の動作データは、リアルタイムでキャプチャされ、制御のために利用される。これは、オフライン編集され、その後、任意の時点で映像に挿入されるムーブメント・キャプチャとは対照的である。
一実施形態では、ディスプレイ・スクリーン上に表示される人物のキャラクタの動作は、ユーザ、または制御オブジェクトとして動作している人物の動作によって制御される。ユーザの動作はビデオ・キャプチャ・デバイス（イメージ・キャプチャ・デバイスとも呼ばれ、ウェブカメラ、またはその他の適切な種類のカメラなど）を通じてキャプチャされうる。一実施形態では、ビデオ・キャプチャ・デバイスは、制御オブジェクトの深度イメージをキャプチャするように形成される。制御オブジェクトの深度イメージによって、ビデオ・キャプチャ・デバイスに関連する各画素に関連付けられた距離や深度と関連するデータが提供される。したがって、制御オブジェクトに関連付けられ、関節角度の位置を定めているスケルトンが、ヒューマン・キャラクタへ、または、非ヒューマン・キャラクタへもマッピングされる。別の実施形態では、制御オブジェクトが身に着けるマーカは、関節角度の位置を示すために用いられてよい。マーカによって定められた位置を利用して、深度イメージとスケルトンとが組み合わせられ、制御オブジェクトが生成される。その後、ディスプレイ・スクリーン上のキャラクタ・イメージを制御するために、制御オブジェクトの動作が利用される。例えば、キャラクタ・イメージはビデオゲームからのイメージであってよい。したがって、ビデオゲームをしている人物は、ディスプレイ・スクリーン上に表示されるキャラクタ・イメージの制御ができる。以下に更に詳細を説明しているように、本明細書に説明されている発明の実施形態には、マーカによってビデオゲームのキャラクタの制御を行うための、リアルタイムのモーション・キャプチャが含まれる。以下に説明しているように、マーカとしては、色や模様、逆反射材（レトロリフレクティブ材料）、発光デバイス、光などが挙げられる。
図２は、本発明の実施形態により、ビデオゲームのキャラクタを制御するために用いられる、リアルタイムのモーション・キャプチャを例示した、略式概略図である。モーション・キャプチャ・インプット１２０は、モーション・キャプチャ・データベース１２４に記録される。制御オブジェクト・モーション１２２は、ウェブカメラなどのキャプチャ・デバイスを通じてキャプチャされ、データベース１２４に記録された対応のモーション・キャプチャ・インプット１２０と関連付けられる。次に、関連付けられたモーション・キャプチャ・インプットは、データベースからのアウトプット・モーション１２６として表わされるように、ディスプレイ・スクリーン上に示される。例えば、制御オブジェクト・モーション１２２は、ビデオゲームをしている人物の動作や行動の一部をキャプチャすることができる。一実施形態では、モーション・キャプチャ・データベース１２４には、プロのスポーツ選手の動作をキャプチャする、複数のモーション・キャプチャ・インプットファイル１２０が記録される。したがって、制御オブジェクト・モーション１２２は、制御オブジェクト・モーションに対応する、同様のモーション・キャプチャ・インプット１２０と関連付けられ、また、同様のモーション・キャプチャ・インプットがリアルタイムでディスプレイ・スクリーン上に表示される。
したがって、制御オブジェクト（ビデオゲームをしている人物など）が、リアルタイムでプロのスポーツ選手の動作や行動を制御する効果が得られる。モーション・キャプチャ・インプットは、アーティストのアニメデータ（人物以外のゲームキャラクタ、アニメーションのキャラクタ・イメージなど）であってよいことは理解されよう。別の実施形態では、制御オブジェクト・モーション１２２は、拘束情報として用いられる。ここでは、拘束情報により、キャラクタ・イメージのアニメーションが動かされる。したがって、制御オブジェクト・モーション１２２によってゲームキャラクタの動作が直接、制御される。物理的なシミュレーションシステムにより、この特性が実現されることは理解されよう。一実施形態では、ゲームキャラクタは制御オブジェクトの動作をミラーリング、あるいはそのまま反映させるする。別の実施形態では、制御オブジェクトのある種の動作が描かれ、ゲームキャラクタに様々な動作をさせることができる。例えば、制御オブジェクトが手足を動かすと、その手足の動きが、ビデオゲームキャラクタの眉を動かすようにマッピングすることもできる。制御オブジェクトの任意のタイプの動作が、キャラクタ・イメージ（ビデオゲームキャラクタなど）の任意のタイプの動作をマッピングしえることが理解されよう。
引き続き図２を参照する。より具体的な例では、制御オブジェクト・モーション１２２は、バスケットボールのビデオゲームをしている人物を描くことができる。この人物はブロック１２２ａに描いているように、シュート動作をしている。ブロック１２２ａのシュート動作はデータベース１２４に記録された、プロのバスケットボール選手のシュート動作と関連付けられる。プロのバスケットボール選手のシュート動作は、ブロック１２６ａに描かれているように、可視スクリーン上に表示される。したがって、ビデオゲームをしている人物のモーション・キャプチャは、同様の動作をしているプロのバスケットボール選手のキャラクタをリアルタイムで制御するために利用される。バスケットボールの例は、例示を目的として示されており、これに限定されることを意味するものではないことは理解されよう。すなわち、ビデオゲームをしている人物の動作は、任意のスポーツの動作に対応することができる。また、ビデオゲームをしている人物の動作は、非スポーツ活動とも関連付けられることができる。例えば、キャプチャされた、ビデオゲームをしている人物の動作は、ビデオゲームによって表示される、動物、あるいはその他の、人間ではない生命体の動作、あるいは、無生物オブジェクトの動作を制御するために用いられてもよい。
図３は、人物のモデルの概略図であり、モデルは本発明の一実施形態による関節角度が描かれたマーカを有す。一実施形態では、モデルはスケルトン・イメージである。本明細書で使用されているように、スケルトン・イメージは、トラッキングされる構造を持つ任意のモデルであり、また、モデルは、剛体ではあるが関節を有するというような、関節を有するモデルにのみ限定されるわけではない。更に、スケルトン・イメージは、様々な関節に関する拘束などのように、各々で精度が変わるように定義してもよい。言うまでもなく、スケルトン・イメージやモデルに関連付けられた、より多くの関節や手足は、別のデータとも相互に関連付けられており、トラッキングされる必要がある。ここでは、マーカ１４０ａから１４０ｉは、スケルトン・イメージ１４２上に配置されている。マーカ１４０ａと１４０ｄとは手首の位置に対応し、マーカ１４０ｂと１４０ｃとは肘の位置に対応する。また、マーカ１４０ｅは胴と対応する。マーカ１４０ｇと１４０ｆとは膝と対応し、マーカ１４０ｈと１４０ｉとは足首と対応する。言うまでもなく、本明細書に説明されている実施形態によって、図３に描かれているマーカの位置やマーカ数が限定されるものではなく、それ以上の、あるいはそれ以下の数のマーカを用いてもよい。例えば、制御オブジェクトの頭の位置を示すマーカとして、ヘッドフォン１４１を用いてもよい。マーカとしてヘッドバンドを使用してもよいことは、当業者には理解されよう。ここでは、耳に挿入可能なデバイスが与えられてもよい。この、耳に挿入可能なデバイスはマーカとして動作し、また、制御オブジェクトに音を提供する。したがって、カメラなどのビデオ・キャプチャ・デバイスによって、マーカを身に付けた、ビデオゲームをしている人物のイメージが与えられる。例えば、マーカは人物が身に付けることができる、ひも状のようなもの、つまりストラップとすることができる。あるいは、マーカを人物、つまり制御オブジェクト、が装着している（衣服の）布地に組み入れてもよい。ソフトウエアによって、マーカを身に付けた人物のキャプチャ・イメージを解析し、スケルトン・イメージ１４２を生成することができる。スケルトン・イメージ１４２には、マーカ１４０ａから１４０ｉにより提供されているように、既知の位置の関節角度を有す。
一実施形態では、ビデオ・キャプチャ・デバイスは、スケルトン・イメージの一部を入れ込むために、また、三次元空間でスケルトン・イメージの位置を定めるために利用されることができる、深度イメージを得るように構成される。したがって、マーカ１４０ａから１４０ｉによって、骨格、あるいは、手足の開始位置に関するデータが提供され、また、ビデオ・キャプチャ・デバイスからの深度イメージによって、三次元空間における骨格や手足を入れ込むことができる。人物、つまり制御オブジェクトは、深度イメージによってもキャプチャされるオブジェクトを制御できることから、本明細書において使用されているように、骨格や手足という用語は、限定を意図としたのものではない。 したがって、骨格や手足には、制御オブジェクトとして動作している人物によって制御されているオブジェクトを含むことができる。別の実施形態では、ビデオ・キャプチャ・デバイスには、深度をキャプチャする能力が備わっておらず、また、骨格や手足の開始地点の、空間における既知の位置がマーカで示される。ここでは、腕、手、脚、足、あるいはその他の骨格が、関連する骨格の典型的な構造を記録しているデータベースを通じて入れ込まれうる。例えば、制御オブジェクトの深度イメージはゲームを開始する前に求められることができ、また、リアルタイムでビデオゲームのキャラクタを制御するために必要とされることから、利用されるモデルとしてデータベースに記録されることができる。更に別の実施形態では、ビデオゲームをしている人物の動作を、マーカを使わずにキャプチャするために、ビデオ・キャプチャ・デバイスを用いてよい。ここでは、ビデオゲームのキャラクタを制御するため、キャプチャされた動作を翻訳するために、オブジェクトの位置（例えば、どちらの手や足などが、右側にあるか、または左側にあるか）に関して、ある種の推測がされる。したがって、上述の各実施形態では、キャプチャされた動作は、ビデオゲームのキャラクタと関連付けられた動作をリアルタイムで制御するために用いられる。
マーカは様々な形状を取ることができることは理解されよう。例えば、特定の形、色、模様、反射性、あるいは、ビデオ・キャプチャ・デバイスが、空間における点をマーカによって識別することができるように、その他の際立つ特性を備えた材料を用いることができる。際立った反射性を得るために、逆反射材を使うことができることは、当業者には理解されよう。更に、ビデオ・キャプチャ・デバイスに関連付けられる光は、逆反射テープと組み合わせて使われてもよく、制御オブジェクトの特定の骨格に対し、空間における開始地点の位置を定めることができる。一実施形態では、マーカは点滅光の形状であってよい。ここでは、光は赤外光などの、目に見えない光である。光は特定の人物やチームに対応する、所定の周波数で点滅する。
図４Ａから図４Ｃに、本発明の一実施形態により、制御オブジェクトがマーカとして身に付けることができる、典型的な模様を示す。この例示的な模様には、図４Ａのストライプ模様、図４Ｂのブロック模様、図４Ｃのクロスハッチング模様、が含まれる。ビデオ・キャプチャ・デバイスが認識できる任意の種類の模様が使用されてよいことから、図４Ａから４Ｃに例示された模様は、限定を意図としたものではないことは、当業者には理解されよう。一実施形態では、左右の手足を区別するために様々な模様が使用されてよいことは理解されよう。例えば、図３のマーカ１４０ｄには、図４Ａの模様が、一方で、図３のマーカ１４０ａには、図４Ｂの模様が含まれてよく、その結果、左右の手首が区別される。したがって、マーカを定めるために、形や色などを模様と併せて用いることができる。したがって、動作を通じて模様が変形する場合には、バックアップ・インジケータをマーカに使用することができる。
図５は、本発明の一実施形態により、ディスプレイ・スクリーン上に表示されたキャラクタと関連する動作を制御するために用いられる制御オブジェクトの、リアルタイムのモーション・キャプチャの概略図である。ビデオゲームをしている人物に対応するスケルトン・イメージ１４２は、ビデオ・キャプチャ・デバイス１４８によってトラッキングされる。一実施形態では、ビデオ・キャプチャ・デバイス１４８は、各画素に対する深度イメージをキャプチャするように形成される。例えば、３ＤＶ ＳＴＳＴＥＭＳあるいはＣＡＮＥＳＴＡが提案する深度カメラを、本明細書に説明されている深度データをキャプチャする実施形態に対して、ビデオ・キャプチャ・デバイス１４８として導入してもよい。ビデオゲームをしている人物がマーカとして逆反射テープを身に付けている場合は、カメラ１４８には光１５０が含まれる。一実施形態では、光１５０は赤外光であることができる。別の実施形態では、光１５０は、シーンの連続照射光と、トラッキングされるマーカ、つまり、逆反射テープからの点滅光の反射、とが区別されるように、点滅光であってよい。逆反射テープは光１５０からの全ての光を反射する。その結果、逆反射テープはビデオ・キャプチャ・デバイス１４８により与えられるイメージデータの輝点となる。この輝点、つまりボイドによって、マーカに関連付けられる骨格に対し、開始地点が示されることになる。例えば、マーカ１４０ｄは、右手首に関連付けられ、右手首を含む深度イメージに対する開始地点が示され、これには手や前腕が含まれてよい。言うまでもなく、上述の通り、手によって、オブジェクトの制御が行われうる。カメラ１４８には、様々な色の、いくつかの点滅光が含まれることは理解されよう。ここでは、逆反射テープ、あるいは、任意の適切な反射マーカは、様々な色を反射することを目的としてよく、その結果、多くの反射材料を区別することができる。
図５のマーカ１４０ｃは、胴体の位置を示す。上述しているように、任意の数のマーカが、所定の位置で、制御オブジェクトによって身に付けられてよい。キャプチャ・デバイスが特定の骨格、つまり、図５に関連する手首または胴体、に関連するものとして、特定のマーカを識別できることは、当業者には理解されよう。ビデオ・キャプチャ・デバイス１４８が深度イメージを与えるように形成されている場合、ビデオ・キャプチャ・デバイスは、図８に関連して説明しているように、深度情報を持つスケルトン・イメージ１４０に対し、人体の残りの部分を入れ込むためのデータを提供する。カメラ１４８には、深度情報を、マーカの位置とを組み合わせるように形成され、制御オブジェクト、つまりビデオゲームをしている人物、のイメージを生成し、トラッキングできるマイクロプロセッサ１５２が含まれる。マイクロプロセッサ１５２は、図９に関連して説明されているように、プロセッシング機能を実行することができる。カメラ１４８はコンピュータ・デバイスと通信しており、同様にディスプレイ・デバイス１５６とも通信している。一実施形態では、コンピュータ・デバイス１５４は、Ｓｏｎｙ Ｃｏｍｐｕｔｅｒ Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｉｎｃ．によって製造される、“ＰＬＡＹＳＴＡＴＩＯＮ ２”Ｒなどの、ビデオゲーム機器である。別の実施形態では、光１５０は、制御オブジェクトに対する可視光線を最小にするために、赤外線スペクトルで光を放出するように形成されてもよい。
図６Ａは、マーカが本発明の一実施形態によるボディスーツに含まれている、ボディスーツの概略図である。マーカ１６２ａから１６２ｉまでは、図３に関して説明している位置に対応する関節の位置で、ボディスーツ１６０と一体化されてよい。一実施形態では、胴体のマーカ１６２ｅは、ボディスーツを着用している人物を、特定のスポーツ選手、著名人、チームIDなどと識別するデータを使って暗号化してよい。更に、マーカを暗号化し、ビデオゲーム中に、ボディスーツを着用している人物に特典を与えることもできる。例えば、ボディスーツによって、ユーザのゲーム内でのボディアーマーを強化するという特典や、あるいは、ボディスーツをビデオゲームと一緒に使いたいというボディスーツの購買意欲をそそる特典を与えるようにしてもよい。
図６Bは、図６Aのボディスーツの他の実施形態である。ここでは、逆反射材であるマイクロファイバ即ち超極細繊維がボディスーツの中に織り込まれている。つまり、超極細繊維がボディスーツ１６０の布全体に組み込まれており、その結果、逆反射材がボディスーツ全体に配置される。ここでは、ボディスーツは深度カメラに最適である。しかし、ボディスーツは、カメラが深度データをキャプチャできない実施形態においても好ましい。すなわち、ビデオ・キャプチャ・デバイスが２次元のイメージデータを与えるように形成されている場合は、リアルタイムでビデオゲームのキャラクタを制御する目的で、制御オブジェクトをより簡単にトラッキングするために、なるべく多くの制御オブジェクトをできるだけ反射性にすることが望ましい。上述の通り、戦略的に配置されたストラップがあれば十分であるので、制御オブジェクトを反射材で覆う必要はない。
図７は本発明の一実施形態により、マーカのイメージ・フレームの監視に最適な技術を例示している。ここでは、領域１７０はスケルトン・イメージ１４２の周辺領域を定めている。したがって、マーカに対し、データのフレーム全体を検索するのではなく、連続するフレームに対しては、スケルトン・イメージ１４２周辺に定められたフレームの一部分を検索するだけでよい。ここでは、性能を高めるために、フレームの一部分、１７４−２から１７４−ｎが検索される。スケルトン・イメージ１４２は制御オブジェクトを示し、オブジェクト１７２は刀である。制御オブジェクトは主に人物とされてきているが、人物が刀やボール、バットなどのオブジェクトを制御することもできる。したがって、制御されるオブジェクトと関連する動作もまた、リアルタイムでディスプレイ・スクリーン上に同様のオブジェクトを制御するためにキャプチャされてもよく、例えば、ビデオキャラクタは刀を制御する。
図８は本発明の一実施形態により、深度イメージによって入れ込まれた領域を描いたモデルの概略図である。図３に関連して説明しているように、カメラなどのビデオ・キャプチャ・デバイスは、マーカを身に付けた、ビデオゲームをしている人物のイメージを与える。マーカを使って、キャプチャされた人物のイメージが解析され、モデルとも呼ばれるスケルトン・イメージ１４２が生成される。このスケルトン・イメージは、マーカ１４０ａから１４０ｉによって与えられている、位置が既知の関節角度を有す。一実施形態では、マーカを身に付けた人物は、ビデオ・キャプチャ・デバイスの前に立ち、モデル、つまり、上述のように記録される制御オブジェクトのボディ・メッシュを定義する。つまり、最初にキャリブレーション・ステップが行われ、制御オブジェクトに対するモデルの深度イメージが定められる。次に、深度イメージ、あるいは一部の深度イメージが、３次元イメージを生成するために、スケルトン１４２に入れ込むために使われる。対応するマーカによって、配置されるべき、対応の深度イメージ部の位置が定められる。例えば、左右の前腕はそれぞれ、領域１８０ｃと１８０ｅに定められる。胴体の上部と胴体の下部はそれぞれ、領域１８０ｄと１８０ｂに定められ、左右のすねはそれぞれ、領域１８０ａと１８０ｆに定められる。更に、左右の手足はそれぞれ、マーカ１４０ａと１４０ｄ、及び１４０ｉと１４０ｈに定められる。したがって、マーカによって開始位置が定められ、また、深度イメージは残りの部分を入れ込むために使用され、リアルタイムでビデオゲームのキャラクタの動作を制御するために３次元の制御オブジェクトが与えられる。
図９は、本発明の実施形態を実装するために用いることができる、グラフィック表示上に、オブジェクトとの、インタラクティブな状態にある例示的ユーザ入力システムのブロック図である。図９に示しているように、ユーザ入力システムには、ビデオ・キャプチャ・デバイス２００と、入力イメージ・プロセッサ２０２と、出力イメージ・プロセッサ２０４と、ビデオ・ディスプレイ・デバイス２０６とが含まれる。ビデオ・キャプチャ・デバイス２００は、ビデオ・イメージのシーケンスをキャプチャできる、任意のデバイスであってよい。また、一実施形態では、ビデオ・キャプチャ・デバイス２００は、デジタル・ビデオ・カメラ（“ウェブカメラ”など）、または同様のイメージ・キャプチャ・デバイスであってよい。上述しているように、ビデオ・キャプチャ・デバイスは深度イメージを与えるように形成されうる。入力イメージ・プロセッサ２０２によって、キャプチャされた制御オブジェクトのビデオ・イメージが、出力イメージ・プロセッサへ送信される信号に変換される。一実施形態では、入力イメージ・プロセッサ２０２は深度情報を通じて、キャプチャされたビデオ・イメージの背景から、制御オブジェクトを切り離し、また、制御オブジェクトの位置、及び／または動作に応答して、出力信号を生成するようにプログラムされている。出力イメージ・プロセッサ１０６は、入力イメージ・プロセッサから受信した信号に応答して、ビデオ・ディスプレイ・デバイス１０８上のオブジェクトの並進運動、及び／または回転運動をもたらすようにプログラムされている。
前述の、及び、付加的な本発明の態様は、ソフトウエア命令を実行する１つ以上のプロセッサによって実装されてもよい。本発明の一実施形態によれば、単一のプロセッサによって、図５に例示しているように、入力イメージ・プロセッシングと、出力イメージ・プロセッシングの両方が実行される。しかし、図面において示しているように、また、説明を簡略化するために、プロセッシング工程は入力イメージ・プロセッサ２０２と、出力イメージ・プロセッサ２０４との間に分割されているものとして示される。本発明は１つ以上のプロセッサなどの、いずれの特定のプロセッサのコンフィグレーションに限定されるものではないことは理解されよう。図９に示す複数のプロセッシング・ブロックは、説明の便宜上のためだけに示されている。
図１０に、本発明の実施形態による、グラフィック表示上のオブジェクトとユーザとの、インタラクティブな入力システムを例示する。入力システム環境には、制御オブジェクト２１２と、ビデオ・キャプチャ・デバイス２１４と、ビデオ・ディスプレイ・デバイス２１６と、ビデオゲーム機などの、プロセッサの機能を持つ機器２０８とが含まれる。入力システム環境の制御オブジェクト２１２は、ビデオ・キャプチャ・デバイス２１４の視界２１０内に配置される必要がある。プロセッシング・システム２０８は、プロセッシング・システムやエンターテインメント・システムタイプの、ＳｏｎｙＲ ＰｌａｙｓｔａｔｉｏｎＴＭIIや、ＳｏｎｙR ＰｌａｙｓｔａｔｉｏｎＴＭ Ｉ、などのエンターテインメントシステムやゲーム機器によって実装されてよい。しかし、プロセッシング・システム２０８は、パーソナル・コンピュータやワークステーション、ラップトップコンピュータ、無線コンピュータ・デバイス、あるいは、グラフィックイメージデータを受信し、処理できる任意のその他のタイプのコンピュータシステムに実装されてもよい。言うまでもなく、制御オブジェクト２１２は、上述のマーカを組み込むことができ、及び／または、ビデオ・キャプチャ・デバイス２１４は深度キャプチャ能力を備えることができる。
図１１は、本明細書に説明している発明の実施形態を実装するように構成された、コンピュータ・プロセッシング・システムの略式ブロック図である。このプロセッシング・システムによって、メイン・メモリ２２０と、グラフィック処理装置（“ＧＰＵ”）２２６に結合されている、中央処理装置（“ＣＰＵ”）２２４を含むコンピュータベースのエンターテインメントシステムの実施形態が説明されうる。ＣＰＵ２２４は、入力／出力プロセッサ（“ＩＯＰ”）バス２２８にも結合されている。一実施形態では、ＧＰＵ２２６には、グラフィックデータをベースとした画素を高速処理するために、内部バッファが含まれる。更に、ＧＰＵ２２６には、出力処理部、つまり、処理されたイメージデータを、ＮＴＳＣあるいはＰＡＬなどの標準のテレビ信号に変換し、エンターテインメントシステム、または、そのエレメントの外部に接続されている、ディスプレイ・デバイス２２７へその信号を送信する機能が備えられている。別の態様では、データ出力信号は、コンピュータ・モニタ、ＬＣＤ（液晶ディスプレイ）、または、その他のタイプのディスプレイ・デバイスといった、テレビモニタ以外のディスプレイ・デバイスへ送信される。
ＩＯＰバス２２８はＣＰＵ２２４を、様々な入力／出力デバイス、及びその他のバスまたはデバイスへ結合する。ＩＯＰバス２２８は入力／出力プロセッサメモリ２３０、コントローラ２３２、メモリ・カード２３４、ユニバーサル・シリアル・バス（ＵＳＢ）ポート２３６、（ファイアーワイヤーインターフェースとしても周知の）ＩＥＥＥ１３９４ポート２３８、及び、バス２５０へ接続されている。バス２５０は、オペレーション・システム（“ＯＳ”）ＲＯＭ２４０と、フラッシュ・メモリ２４２と、サウンド・プロセッシング・ユニット（“ＳＰＵ”）２４４と光ディスク制御ユニット２４６と、ハード・ディスク・ドライブ（“ＨＤＤ”）２４８とを含む、いくつかのその他のシステム・コンポーネントを、ＣＰＵ２２４へ結合する。本実施形態の１つの態様では、ビデオ・キャプチャ・デバイスはＩＯＰバス２２８と直接に接続し、ＩＯＰバス２２８からＣＰＵ２２４への送信を行うことができ、また、ビデオ・キャプチャ・デバイスからのデータは、ＧＰＵ２２６のグラフィック・イメージを生成するために用いられる値の変更、あるいは更新のために用いられてよい。更に、本発明の実施形態は、従来周知の任意の適切なイメージ・プロセッシングコンフィグレーションと技術とを用いることができる。
本発明の態様を具体化するプログラムやコンピュータ命令は、いくつかの様々な方法によって与えられることができる。例えば、グラフィック・イメージとインタラクティブなユーザの入力法は、ＨＤＤ２４８、フラッシュ・メモリ２４２、ＯＳ ＲＯＭ２４０に、あるいはメモリ・カード２３２上に記録されたプログラム形式で提供されうる。別の態様では、プログラムを、ＣＰＵ２２４へ結合されている、１つ以上の入力ポートを通じて、プロセッシング・ユニットへダウンロードすることができる。入力法を定義しているプログラム・モジュールは、ＣＰＵ２２４によって実行され、ディスプレイ・デバイス２２７上に表示されるか、アプリケーション・プログラムとは別に提供されて、例えば、ローカルのメイン・メモリ２２０から実行されてよい。
本発明の実施形態はまた、分散型のイメージ・プロセッシング構造についても検討する。例えば本発明は、１つの、または２つの場所（ＣＰＵにおいて、またはＣＰＵとその他のエレメントにおいて、など）で行われている、キャプチャされたイメージと、ディスプレイ・イメージのプロセッシングに限定されるものではない。例えば、入力イメージの処理は、処理を行うことができる、関連のＣＰＵ、プロセッサ、またはデバイス、で行うことができ、原則的には、全てのイメージ・プロセッシングは、相互接続されたシステム全体に分散されてよい。したがって、本発明は任意の特定のイメージ・プロセッシング・ハードウエア回路、及び／またはソフトウエアに限定されるものではない。本明細書に説明されている実施形態もまた、通常のハードウエア回路、及び／またはソフトウエアの、任意の特定の組合せにも、プロセッシング・コンポーネントによって実行される命令に対する、任意の特定のソースにも限定されるものではない。
図１２は本発明の一実施形態により、ディスプレイ・スクリーンに表示されたキャラクタを制御するための、リアルタイムのモーション・キャプチャの方法の工程を示すフローチャート図である。方法は、工程２６０から開始し、工程２６０では、スケルトン・イメージ、つまり、制御オブジェクトのモデルが定義される。制御オブジェクトは、ディスプレイ・スクリーン上に表示されるキャラクタと関連付けられる、ビデオゲームをしている人物であってよい。上述のように人物のモデルを定義するために、ビデオ・キャプチャ・デバイスの視界内の、ビデオ・キャプチャ・デバイスの前に人物が立ちうることは理解されよう。したがって、スケルトン・イメージ、つまりモデルは、人物がビデオ・キャプチャ・デバイスの前に立つ、セルフ・カリブレーション・プロセスを通じて定義される。次に、方法は工程２６２へと進み、工程２６２では、スケルトン・イメージ、つまりモデル上のマーカ位置が識別される。例えば、図３、５、及び８に関して説明しているように、マーカによってスケルトン・イメージ、つまりモデル上の関節角度の位置が示されうる。本明細書に説明しているように、マーカは様々な形状を取ることができることは理解されよう。
次に、図１２の方法は工程２６４へと進み、工程２６４では、制御オブジェクトに関連付けられる動作がキャプチャされる。一実施形態では、深度イメージ、つまり、ｚ軸と同様に、ｘ軸、ｙ軸にも関連付けられたイメージデータを与えるように形成されたカメラを通じて、動作がキャプチャされる。別の実施形態では、動作はウェブカメラなどのデジタル・ビデオ・カメラによって、二次元でキャプチャされる。その後、方法は工程２６６へと進み、工程２６６では、制御オブジェクトの動作に応答して、スケルトン・イメージ、つまりモデルの位置が変更される。すなわち、スケルトン・イメージは、制御オブジェクトの動作と対応するように移動される。ビデオ・キャプチャ・デバイスとして深度カメラが使われる場合、スケルトン・イメージに対応する深度イメージがここに与えられうる。スケルトン・イメージは深度イメージの位置に対応するように位置が定められる。
例示的に、また、説明を目的として、スケルトン・イメージは、深度イメージの位置と対応するように位置が定められた、ぬいぐるみとして考えることができる。制御オブジェクトが移動すると、深度イメージは制御オブジェクトの動作をトラッキングし、スケルトン・イメージもまた、深度イメージをトラッキングするために、同様に移動する。したがって、制御オブジェクトの動作は、スケルトン・イメージによって繰り返される。上述しているように、マーカは深度カメラがなくても利用することができる。同様に、深度カメラもマーカなしに利用することができる。深度カメラは３次元データをキャプチャするが、しかし、深度カメラには３次元データをスケルトンへ描く知識は備わっていないことは理解されよう。マーカによって空間の、既知の点が与えられる。その結果、マーカは深度データをスケルトンに描くことができる。言うまでもなく、深度データをスケルトンに描くことができるように、マーカを使わずに、ある種の推測がされてよい。すなわち、関節角度などの実際の点がマーカによって付けられるために、マーカがその推測の必要性をなくす。また、対応の深度データは、マーカによって識別された点から入れ込まれることができる。次に方法は工程２６８へと進み、工程２６８では、ディスプレイ・スクリーン上に表示されているキャラクタの動作は、スケルトン位置の変更によって制御される。ここでは、キャラクタの動作はリアルタイムで制御されている。すなわち、制御オブジェクトが移動すると、スケルトンは、深度情報、及び／またはマーカを有するイメージデータを利用することによって、適宜、位置が定められる。
一実施形態では、制御イメージと関連付けられるリアルタイムのモーション・キャプチャを通じて、オブジェクトの制御が可能なシステムには、各コンポーネントの機能に関して定義された、様々なコンポーネントが含まれる。システムには、ゲーム機器などのコンピュータ・デバイスが含まれる。システムには、コンピュータ・デバイスによって受信されるデータからのディスプレイ・オブジェクトのイメージを表示する手段も含まれうる。ここでは、イメージを表示する手段は、テレビモニタを含む、任意の適切なディスプレイ・スクリーンであってよい。また、制御オブジェクトに関連する深度イメージをキャプチャする手段も含まれる。一実施形態では、深度イメージをキャプチャする手段は、深度データの提供が可能なカメラ（上述の、３ＤＶ ＳＹＳＴＥＭＳ、又はＣＡＮＥＳＴＡから入手できるカメラなど）により得ることができる。スケルトン・イメージ、つまりモデルを、深度イメージへはめ込み、制御オブジェクトの動作を定義する手段が得られる。例えば、マイクロプロセッサは、スケルトン・イメージを深度イメージへはめ込み、制御オブジェクトの動作を定義する手段を与えることができる。上述しているように、プロセッシングは、１つ以上のマイクロプロセッサによって与えられうる。ディスプレイ・スクリーン上のディスプレイ・オブジェクトに関連する動作を制御オブジェクトが移動する際に制御するするために、制御オブジェクトの動作を解釈あるいは翻訳するための手段が与えられる。グラフィック処理ユニットのようなマイクロプロセッサを、制御オブジェクトの動作を解釈あるいは翻訳するための手段としてもよい。言うまでもなく、上述の機能を実行するマイクロプロセッサには、チップセットが含まれてよい。
要約すれば、上述の発明は、ビデオゲームのキャラクタを制御するために、リアルタイムでモーション・キャプチャを提供する方法とシステムが説明されている。上記に説明した実施形態によって、ビデオゲームのキャラクタやオブジェクトを制御するために用いられうる、リアルタイムのモーション・キャプチャが可能になる。マーカと組み合わせて深度をトラッキングする能力によって、トラッキングされる人物（制御オブジェクト）の手足／体を識別するための、開始地点が与えられる。次に、人物は、本物のキャラクタ、又は人物に似せるために、入れ込みされてよい。したがって、一旦深度イメージが識別されると、深度イメージと関連づけられているスケルトン・イメージは、深度イメージを有するデータベースから、あるいは、ビデオ・キャプチャ・デバイスによってキャプチャされる深度イメージから入れ込みされることができる。様々な形状のマーカが、深度イメージをキャプチャできる、または、キャプチャできない、ビデオ・キャプチャ・デバイスと合わせて用いられてよい。例えば、身に付けることが可能な逆反射テープを、例えば、手首、ひざ、頭、などに局所的に配置することができる。別の態様では、様々な種類のマーカ（パッチや識別可能な糸など）が組み込まれているボディスーツ、あるいは衣服が与えられる。一実施形態では、一旦動作が識別されると（又は、検出されると）、データベース内の、対応する動作が参照される。例えば、ゲームのユーザが、有名な野球選手など、特定のキャラクタを選択する場合、その動作は、実際の有名野球選手が行う動作と同様であってよい。これらの動作はデータベースに記録される。取得したデータベースの動作は、ゲームの一部であるキャラクタ（人物／スケルトン）を制御するために用いられる。一実施形態では、深度をトラッキングするように形成されたカメラ、又はハードウエアには、プロセッサ、特定の回路、あるいは、入れ込みを行うように形成されているＤＳＰが含まれてよく、データベースはユーザの動作を参照し、“スクリーン上の”動作へと置き換える。上述の通り、スケルトン・イメージという用語は、オブジェクトが人物のオブジェクト、アニメーションのオブジェクト、あるいは無生物のオブジェクトであっても、トラッキングされる任意のオブジェクトの任意のモデルを幅広く含むように定義されうる。
上述の実施形態を念頭において、本発明はコンピュータシステムに記録されるデータを含む、様々な、コンピュータ実装型のオペレーションを導入することができることが理解されよう。これらのオペレーションには、物理的な量を物理的に扱うことが要求される。必要ではないが、通常は、これらの量は、記録、伝送、組合せ、比較、及びその他の操作が可能な、電気的、又は磁気的信号の形状を取る。更に、実行される操作は多くの場合、生産する、識別する、決定する、あるいは比較するなどの用語で、はっきりと言及される。
上述の発明は、ハンドヘルド・デバイス、マイクロプロセッサ・システム、マイクロプロセッサベースの、又はプログラム可能な家庭用電化製品、ミニコンピュータ、メインフレーム・コンピュータなどを含む、その他のコンピュータシステム・コンフィギュレーションで実行されうる。本発明はまた、コンピューティング環境を分散する際にも実行され、タスクは、通信ネットワークを通じて連結されている、遠隔処理デバイスによって実行される。
本発明はまた、コンピュータ可読媒体上にコンピュータ可読コードとして実現されることもできる。コンピュータ可読媒体は、コンピュータシステムによって、その後読み込まれることが可能なデータの記録ができる、任意のデータ記録デバイスである。コンピュータ可読媒体には、ハード・ドライブ、ネットワーク接続ストレージ（ＮＡＳ）、ＲＯＭ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、その他の、光学的、及び非光学的なデータ記録デバイスなどが挙げられる。コンピュータ可読媒体は、コンピュータ可読コードが分散式で記録され、実行されるように、ネットワークに接続されたコンピュータシステム上に分散されることもできる。
本発明を要約すると、ビデオゲームのキャラクタを制御するための、リアルタイムのモーション・キャプチャの方法が提供されている。一実施形態では、方法は、制御オブジェクトのモデルを定義することがら開始する。次に、モデル上のマーカの位置が識別される。次に、制御オブジェクトに関連づけられる動作がキャプチャされる。その後、制御オブジェクトに関連づけられた動作は、モデルの位置を変更するように翻訳される。次に、ディスプレイ・スクリーン上に表示されているキャラクタの動作は、モデルの位置の変更に応じて、制御される。コンピュータ可読媒体と、リアルタイムのモーション・キャプチャを通じてビデオキャラクタの制御ができるプロセッシング・システムもまた提供される。
前述の発明を明確に理解するために、少し詳しく説明してきたが、ある種の変更や修正は添付の請求の範囲内で行われて良いことは明らかである。したがって、本発明の実施形態は、制限的なものではなく、例示的なものとして考慮され、また、本発明はここに記載されているものに限定されずに、添付の請求の範囲と等価の範囲内で修正されることができる。請求の範囲、要素、及び／又は、ステップは、請求の範囲に明示されていない限りは、工程の順番は特に定められていない。
動作を記録するために、体に複数のボールが配置されている、人物の概略図。 本発明の一実施形態によるビデオゲームのキャラクタを制御するために使われるリアルタイムのモーション・キャプチャを例示した略式説明図。 本発明の一実施形態により、関節角度が描かれたマーカを備えた人物のモデルの概略図。 本発明の一実施形態による、マーカとして制御オブジェクトによって装着されうる例示的模様の説明図。 本発明の一実施形態による、マーカとして制御オブジェクトによって装着されうる例示的模様の説明図。 本発明の一実施形態による、マーカとして制御オブジェクトによって装着されうる例示的模様の説明図。 本発明の一実施形態による、ディスプレイ・スクリーン上に表示されるキャラクタに関連付けられた動作を制御するために用いられる制御オブジェクトの、リアルタイムのモーション・キャプチャの概略図。 本発明の一実施形態による、ボディスーツに含まれるマーカを備えたボディスーツの概略図。 図６Ａのボディスーツの別の実施形態の説明図。 本発明の一実施形態による、マーカに対するイメージ・フレームを監視するための最適な技術を例示した概略図。 本発明の一実施形態により、深度イメージによって入れ込みされている領域を描いたモデルの概略図。 本発明の実施形態を実装するために用いられうる、グラフィック表示上のオブジェクトとインタラクティブな、例示的ユーザ入力システムのブロック図。 本発明の実施形態による、グラフィック表示上のオブジェクトと、ユーザとのインタラクティブな入力システムの説明図。 本明細書に説明されている本発明の実施形態を実装するように構成されている、コンピュータ・プロセッシング・システムの略式ブロック図。 本発明の実施形態による、ディスプレイ・スクリーン上に表示されるキャラクタを制御するための、リアルタイムのモーション・キャプチャのための方法の工程のフローチャート。

Claims (20)

  1. コンピュータ・デバイスと通信するディスプレイ・スクリーン上に表示されるオブジェクトを制御する方法であって、
    深度カメラによるリアルタイムのモーション・キャプチャを通じてトラッキングされる、ユーザが身に付けたオブジェクトと関連付けられた深度イメージを与えるステップと、
    ディスプレイ・スクリーン上に表示されるオブジェクトとトラッキングされる前記オブジェクトとの双方にスケルトンイメージを与えるステップと、
    トラッキングされる前記オブジェクトに関連付けられた動作をキャプチャするために、前記スケルトンイメージに前記深度イメージを与えるステップと、
    前記スケルトンイメージによって、リアルタイムで前記ディスプレイ・スクリーン上に表示される前記オブジェクトを制御するステップと、を有し、
    ユーザにより選択されるキャラクタについての複数のキャプチャされた動作が前記コンピュータ・デバイスに関連づけられたデータベースに記録されており、
    前記リアルタイムで前記ディスプレイ・スクリーン上に表示される前記オブジェクトを制御するステップには、前記ユーザによって選択された前記キャラクタに対応するキャプチャされた動作を前記コンピュータ・デバイスに関連づけられたデータベース内の前記複数のキャプチャされた動作から参照して、前記ディスプレイ・スクリーン上に表示される前記オブジェクトの動作を、前記ユーザにより選択されたキャラクタにおける対応する動作とするステップが含まれ、
    前記トラッキングされる前記オブジェクトに関連づけられたキャプチャされた動作を、前記ユーザにより選択されたキャラクタにおける、対応する前記データベース内のキャプチャされた動作と関連づけることで、前記ディスプレイ・スクリーン上に表示される前記オブジェクトの動作が、前記ユーザにより選択されたキャラクタの動作と同様のものとされる、方法。
  2. 前記モデルは前記人間のスケルトン・イメージである、請求項１記載の方法。
  3. 前記コンピュータ・デバイスはビデオゲーム機器である、請求項１記載の方法。
  4. ディスプレイ・スクリーン上に表示される前記オブジェクトは、ビデオゲームのキャラクタである、請求項１記載の方法。
  5. ユーザが身に付けたオブジェクトと関連付けられた深度イメージを与える前記ステップには、
    前記オブジェクトとしてマーカを用いて前記オブジェクトの動作をトラッキングするステップが含まれる、請求項１記載の方法。
  6. 前記マーカを用いて前記オブジェクトの動作をトラッキングする前記ステップには、前記マーカによって生じる輝点領域を識別するステップが含まれる、請求項５記載の方法。
  7. リアルタイムのモーション・キャプチャを通じてコンピュータ・デバイスと通信するディスプレイ・スクリーン上に表示されるオブジェクトを制御するプログラム命令が記録されたコンピュータ可読媒体であって、前記プログラム命令には、
    深度カメラによるリアルタイムのモーション・キャプチャを通じてトラッキングされる、ユーザが身に付けたオブジェクトと関連付けられた深度イメージを与えるプログラム命令と、
    ディスプレイ・スクリーン上に表示されるオブジェクトとトラッキングされる前記オブジェクトとの双方にスケルトンイメージを与えるプログラム命令と、
    トラッキングされる前記オブジェクトに関連付けられた動作をキャプチャするために、前記スケルトンイメージに前記深度イメージを与えるプログラム命令と、
    前記スケルトンイメージによって、リアルタイムで前記ディスプレイ・スクリーン上に表示される前記オブジェクトを制御するためのプログラム命令とが含まれ、
    ユーザにより選択されるキャラクタについての複数のキャプチャされた動作が前記コンピュータ・デバイスに関連づけられたデータベースに記録されており、
    前記リアルタイムで前記ディスプレイ・スクリーン上に表示される前記オブジェクトを制御するステップには、前記ユーザによって選択された前記キャラクタに対応するキャプチャされた動作を前記コンピュータ・デバイスに関連づけられたデータベース内の前記複数のキャプチャされた動作から参照して、前記ディスプレイ・スクリーン上に表示される前記オブジェクトの動作を、前記ユーザにより選択されたキャラクタにおける対応する動作とするステップが含まれ、
    前記トラッキングされる前記オブジェクトに関連づけられたキャプチャされた動作を、前記ユーザにより選択されたキャラクタにおける、対応する前記データベース内のキャプチャされた動作と関連づけることで、前記ディスプレイ・スクリーン上に表示される前記オブジェクトの動作が、前記ユーザにより選択されたキャラクタの動作と同様のものとされるものである、コンピュータ可読媒体。
  8. 前記ディスプレイ・スクリーンに表示される前記オブジェクトはビデオゲームのキャラクタである、請求項７記載のコンピュータ可読媒体。
  9. ユーザが身に付けたオブジェクトと関連付けられた深度イメージを与える前記プログラム命令には、
    前記オブジェクトとしてマーカを用いて前記オブジェクトの動作をトラッキングするためのプログラム命令が更に記録された、請求項７記載のコンピュータ可読媒体。
  10. 前記マーカを用いて前記オブジェクトの動作をトラッキングするための前記プログラム命令には、
    前記マーカによって生じる輝点領域を識別するプログラム命令が含まれる、請求項９記載のコンピュータ可読媒体。
  11. 制御イメージに関連付けられたリアルタイムのモーション・キャプチャによって、オブジェクトの制御が可能なシステムであって、
    コンピュータ・デバイスと、
    前記コンピュータ・デバイスによって提供される前記オブジェクトの前記イメージと対応するデータやオブジェクトのイメージを表示するように構成された、前記コンピュータ・デバイスと通信するディスプレイ・スクリーンと、
    オブジェクトのトラッキングが可能で、前記コンピュータ・デバイスと通信するビデオ・キャプチャ・デバイス、とを含み、
    前記ビデオ・キャプチャ・デバイスは、
    深度カメラによるリアルタイムのモーション・キャプチャを通じてトラッキングされる、ユーザが身に付けたオブジェクトと関連付けられた深度イメージを与えるステップと、
    前記ビデオ・キャプチャ・デバイスが、ディスプレイ・スクリーン上に表示されるオブジェクトとトラッキングされる前記オブジェクトとの双方にスケルトンイメージを与えるステップと、
    前記コンピュータ・デバイスが、トラッキングされる前記オブジェクトに関連付けられた動作をキャプチャするために、前記スケルトンイメージに前記深度イメージを与えるステップと、
    前記コンピュータ・デバイスが、前記スケルトンイメージによって、リアルタイムで前記ディスプレイ・スクリーン上に表示される前記オブジェクトを制御するステップと、を実行するものであり、
    ユーザにより選択されるキャラクタについての複数のキャプチャされた動作が前記コンピュータ・デバイスに関連づけられたデータベースに記録されており、
    前記リアルタイムで前記ディスプレイ・スクリーン上に表示される前記オブジェクトを制御するステップには、前記ユーザによって選択された前記キャラクタに対応するキャプチャされた動作を前記コンピュータ・デバイスに関連づけられたデータベース内の前記複数のキャプチャされた動作から参照して、前記ディスプレイ・スクリーン上に表示される前記オブジェクトの動作を、前記ユーザにより選択されたキャラクタにおける対応する動作とするステップが含まれ、
    前記トラッキングされる前記オブジェクトに関連づけられたキャプチャされた動作を、前記ユーザにより選択されたキャラクタにおける、対応する前記データベース内のキャプチャされた動作と関連づけることで、前記ディスプレイ・スクリーン上に表示される前記オブジェクトの動作が、前記ユーザにより選択されたキャラクタの動作と同様のものとされる、システム。
  12. 前記コンピュータ・デバイスはビデオゲーム機器である、請求項１１記載のシステム。
  13. ユーザが身に付けた前記オブジェクトはマーカである、請求項１１記載のシステム。
  14. 前記マーカは、色、パターン、逆反射材、及び、発光デバイスからなるグループより選択される、請求項１３記載のシステム。
  15. ビデオゲームのキャラクタを制御するための、リアルタイムのモーション・キャプチャ方法であって、
    ユーザが身に付けたマーカの位置を識別するステップと、
    一台のビデオ・キャプチャ・デバイスで前記マーカに関連付けられた動作をキャプチャするステップと、
    前記ディスプレイ・スクリーン上に表示される前記キャラクタの動作を制御するステップと、を含み、
    前記一台のビデオ・キャプチャ・デバイスで前記マーカに関連付けられた動作をキャプチャするステップには、深度カメラによるリアルタイムのモーション・キャプチャを通じてトラッキングされる、ユーザが身に付けたマーカと関連付けられた深度イメージを与えるステップと、ディスプレイ・スクリーン上に表示されるオブジェクトとトラッキングされる前記オブジェクトとの双方にスケルトンイメージを与えるステップと、が含まれ、
    前記スケルトンイメージには、トラッキングされる前記オブジェクトに関連付けられた動作をキャプチャするために、前記深度イメージが与えられ、
    前記ディスプレイ・スクリーン上に表示される前記キャラクタの動作を制御するステップには、前記スケルトンイメージによって、リアルタイムで前記ディスプレイ・スクリーン上に表示される前記オブジェクトを制御するステップが含まれ、
    ユーザにより選択されるキャラクタについての複数のキャプチャされた動作が前記コンピュータ・デバイスに関連づけられたデータベースに記録されており、
    前記リアルタイムで前記ディスプレイ・スクリーン上に表示される前記オブジェクトを制御するステップには、前記ユーザによって選択された前記キャラクタに対応するキャプチャされた動作を前記コンピュータ・デバイスに関連づけられたデータベース内の前記複数のキャプチャされた動作から参照して、前記ディスプレイ・スクリーン上に表示される前記オブジェクトの動作を、前記ユーザにより選択されたキャラクタにおける対応する動作とするステップが含まれ、
    前記トラッキングされる前記オブジェクトに関連づけられたキャプチャされた動作を、前記ユーザにより選択されたキャラクタにおける、対応する前記データベース内のキャプチャされた動作と関連づけることで、前記ディスプレイ・スクリーン上に表示される前記オブジェクトの動作が、前記ユーザにより選択されたキャラクタの動作と同様のものとされる、方法。
  16. 前記制御オブジェクトに関連付けられた動作をキャプチャするステップと、前記ディスプレイ・スクリーン上に表示される前記キャラクタの動作を制御するステップと、を継続的に行う、
    請求項１５記載の方法。
  17. リアルタイムのモーション・キャプチャを通じてコンピュータ・デバイスと通信するディスプレイ・スクリーン上に表示されるオブジェクトを制御する方法であって、
    一台のビデオ・キャプチャ・デバイスを通じてトラッキングされる、ユーザが身に付けたオブジェクトと関連付けられた深度イメージを与えるステップと、
    ディスプレイ・スクリーン上に表示されるオブジェクトとトラッキングされる前記オブジェクトとの双方にスケルトンイメージを与えるステップと、
    トラッキングされる前記オブジェクトに関連付けられた動作をキャプチャするために、前記スケルトンイメージに前記深度イメージを与えるステップと、
    前記スケルトンイメージによって、リアルタイムで前記ディスプレイ・スクリーン上に表示される前記オブジェクトを制御するステップと、を有し、
    ユーザにより選択されるキャラクタについての複数のキャプチャされた動作が前記コンピュータ・デバイスに関連づけられたデータベースに記録されており、
    前記リアルタイムで前記ディスプレイ・スクリーン上に表示される前記オブジェクトを制御するステップには、前記ユーザによって選択された前記キャラクタに対応するキャプチャされた動作を前記コンピュータ・デバイスに関連づけられたデータベース内の前記複数のキャプチャされた動作から参照して、前記ディスプレイ・スクリーン上に表示される前記オブジェクトの動作を、前記ユーザにより選択されたキャラクタにおける対応する動作とするステップが含まれ、
    前記トラッキングされる前記オブジェクトに関連づけられたキャプチャされた動作を、前記ユーザにより選択されたキャラクタにおける、対応する前記データベース内のキャプチャされた動作と関連づけることで、前記ディスプレイ・スクリーン上に表示される前記オブジェクトの動作が、前記ユーザにより選択されたキャラクタの動作と同様のものとされる、方法。
  18. 前記コンピュータ・デバイスは、ビデオゲーム機器である、
    請求項１７記載の方法。
  19. ディスプレイ・スクリーン上に表示される前記オブジェクトは、ビデオゲームのキャラクタである、
    請求項１７記載の方法。
  20. トラッキングされる前記オブジェクトには、マーカが含まれない、
    請求項１７記載の方法。
JP2004568305A 2003-02-11 2003-10-06 リアルタイムのモーション・キャプチャ方法および装置 Expired - Lifetime JP4723863B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/365,120 US9177387B2 (en) 2003-02-11 2003-02-11 Method and apparatus for real time motion capture
US10/365,120 2003-02-11
PCT/US2003/031502 WO2004072909A1 (en) 2003-02-11 2003-10-06 Method and apparatus for real time motion capture

Publications (3)

Publication Number Publication Date
JP2006514366A JP2006514366A (ja) 2006-04-27
JP2006514366A5 JP2006514366A5 (ja) 2006-11-24
JP4723863B2 true JP4723863B2 (ja) 2011-07-13

Family

ID=32824565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004568305A Expired - Lifetime JP4723863B2 (ja) 2003-02-11 2003-10-06 リアルタイムのモーション・キャプチャ方法および装置

Country Status (10)

Country Link
US (3) US9177387B2 (ja)
EP (1) EP1593096B1 (ja)
JP (1) JP4723863B2 (ja)
KR (1) KR100965348B1 (ja)
CN (1) CN100409261C (ja)
AT (1) ATE443903T1 (ja)
AU (1) AU2003279810B2 (ja)
DE (1) DE60329424D1 (ja)
TW (1) TWI274295B (ja)
WO (1) WO2004072909A1 (ja)

Families Citing this family (245)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8617008B2 (en) 2001-09-12 2013-12-31 Pillar Vision, Inc. Training devices for trajectory-based sports
US8409024B2 (en) 2001-09-12 2013-04-02 Pillar Vision, Inc. Trajectory detection and feedback system for golf
US10360685B2 (en) * 2007-05-24 2019-07-23 Pillar Vision Corporation Stereoscopic image capture with performance outcome prediction in sporting environments
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US8947347B2 (en) 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7850526B2 (en) * 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US9174119B2 (en) 2002-07-27 2015-11-03 Sony Computer Entertainement America, LLC Controller for providing inputs to control execution of a program when inputs are combined
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US7803050B2 (en) * 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US8313380B2 (en) * 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7918733B2 (en) * 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
US7854655B2 (en) 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7038661B2 (en) * 2003-06-13 2006-05-02 Microsoft Corporation Pointing device and cursor for use in intelligent computing environments
US20070223732A1 (en) * 2003-08-27 2007-09-27 Mao Xiao D Methods and apparatuses for adjusting a visual image based on an audio signal
US7874917B2 (en) * 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7663689B2 (en) * 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US10277290B2 (en) 2004-04-02 2019-04-30 Rearden, Llc Systems and methods to exploit areas of coherence in wireless systems
US8542763B2 (en) 2004-04-02 2013-09-24 Rearden, Llc Systems and methods to coordinate transmissions in distributed wireless systems via user clustering
US8654815B1 (en) 2004-04-02 2014-02-18 Rearden, Llc System and method for distributed antenna wireless communications
US10425134B2 (en) 2004-04-02 2019-09-24 Rearden, Llc System and methods for planned evolution and obsolescence of multiuser spectrum
US9826537B2 (en) 2004-04-02 2017-11-21 Rearden, Llc System and method for managing inter-cluster handoff of clients which traverse multiple DIDO clusters
US9819403B2 (en) 2004-04-02 2017-11-14 Rearden, Llc System and method for managing handoff of a client between different distributed-input-distributed-output (DIDO) networks based on detected velocity of the client
US8681100B2 (en) 2004-07-30 2014-03-25 Extreme Realty Ltd. Apparatus system and method for human-machine-interface
US8872899B2 (en) * 2004-07-30 2014-10-28 Extreme Reality Ltd. Method circuit and system for human to machine interfacing by hand gestures
US8114172B2 (en) 2004-07-30 2012-02-14 Extreme Reality Ltd. System and method for 3D space-dimension based image processing
US8432390B2 (en) * 2004-07-30 2013-04-30 Extreme Reality Ltd Apparatus system and method for human-machine interface
US8560972B2 (en) * 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US20060055706A1 (en) * 2004-09-15 2006-03-16 Perlman Stephen G Apparatus and method for capturing the motion of a performer
US7554549B2 (en) * 2004-10-01 2009-06-30 Sony Corporation System and method for tracking facial muscle and eye motion for computer graphics animation
US20060072009A1 (en) * 2004-10-01 2006-04-06 International Business Machines Corporation Flexible interaction-based computer interfacing using visible artifacts
US20060192852A1 (en) * 2005-02-09 2006-08-31 Sally Rosenthal System, method, software arrangement and computer-accessible medium for providing audio and/or visual information
GB2438783B8 (en) * 2005-03-16 2011-12-28 Lucasfilm Entertainment Co Ltd Three-dimensional motion capture
WO2006108279A1 (en) * 2005-04-11 2006-10-19 Martin Lizee Method and apparatus for virtual presence
EP1876412B1 (en) * 2005-04-15 2012-03-28 The University of Tokyo Motion capture system and method for three-dimensional reconfiguring of characteristic point in motion capture system
US20110256914A1 (en) * 2005-07-25 2011-10-20 Ahdoot Ned M Interactive games with prediction and plan with assisted learning method
US20070030343A1 (en) * 2005-08-06 2007-02-08 Rohde Mitchell M Interactive, video-based content for theaters
US8054312B2 (en) * 2005-08-26 2011-11-08 Sony Corporation Material for motion capture costumes and props
US8780119B2 (en) * 2005-08-26 2014-07-15 Sony Corporation Reconstruction render farm used in motion capture
US8659668B2 (en) 2005-10-07 2014-02-25 Rearden, Llc Apparatus and method for performing motion capture using a random pattern on capture surfaces
US9046962B2 (en) 2005-10-31 2015-06-02 Extreme Reality Ltd. Methods, systems, apparatuses, circuits and associated computer executable code for detecting motion, position and/or orientation of objects within a defined spatial region
US20070285554A1 (en) 2005-10-31 2007-12-13 Dor Givon Apparatus method and system for imaging
US8224025B2 (en) 2005-12-23 2012-07-17 Sony Corporation Group tracking in motion capture
US7570250B2 (en) * 2006-05-04 2009-08-04 Yi-Ming Tseng Control device including a ball that stores data
US7548272B2 (en) * 2006-06-07 2009-06-16 Onlive, Inc. System and method for performing motion capture using phosphor application techniques
US7667767B2 (en) * 2006-06-07 2010-02-23 Onlive, Inc. System and method for three dimensional capture of stop-motion animated characters
US7567293B2 (en) * 2006-06-07 2009-07-28 Onlive, Inc. System and method for performing motion capture by strobing a fluorescent lamp
CA2657309C (en) * 2006-06-07 2018-07-10 Onlive, Inc. System and method for performing motion capture using phosphor application techniques
WO2008008847A2 (en) * 2006-07-11 2008-01-17 Sony Corporation Using quantum nanodots in motion pictures or video games
US8888592B1 (en) 2009-06-01 2014-11-18 Sony Computer Entertainment America Llc Voice overlay
US7907117B2 (en) 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
US8310656B2 (en) * 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US8781151B2 (en) * 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
US20080100731A1 (en) * 2006-10-30 2008-05-01 Jerry Moscovitch System and Method for Producing and Displaying Images
US20080170750A1 (en) * 2006-11-01 2008-07-17 Demian Gordon Segment tracking in motion picture
US8330823B2 (en) * 2006-11-01 2012-12-11 Sony Corporation Capturing surface in motion picture
GB0622451D0 (en) * 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US8542236B2 (en) * 2007-01-16 2013-09-24 Lucasfilm Entertainment Company Ltd. Generating animation libraries
US8130225B2 (en) * 2007-01-16 2012-03-06 Lucasfilm Entertainment Company Ltd. Using animation libraries for object identification
US8199152B2 (en) * 2007-01-16 2012-06-12 Lucasfilm Entertainment Company Ltd. Combining multiple session content for animation libraries
CA2717485A1 (en) * 2007-03-02 2008-09-12 Organic Motion System and method for tracking three dimensional objects
EP2147393A4 (en) * 2007-04-15 2012-12-05 Extreme Reality Ltd DEVICE, SYSTEM AND METHOD FOR A HUMAN MACHINE INTERFACE
US8408982B2 (en) 2007-05-24 2013-04-02 Pillar Vision, Inc. Method and apparatus for video game simulations using motion capture
TWI377055B (en) * 2007-08-10 2012-11-21 Ind Tech Res Inst Interactive rehabilitation method and system for upper and lower extremities
US20090062693A1 (en) * 2007-08-29 2009-03-05 Lancastria Limited System for determining individual user anthropometric characteristics related to mattress preference
WO2009035705A1 (en) * 2007-09-14 2009-03-19 Reactrix Systems, Inc. Processing of gesture-based user interactions
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US8144153B1 (en) 2007-11-20 2012-03-27 Lucasfilm Entertainment Company Ltd. Model production for animation libraries
US9782660B2 (en) * 2007-11-30 2017-10-10 Nike, Inc. Athletic training system and method
US8147339B1 (en) 2007-12-15 2012-04-03 Gaikai Inc. Systems and methods of serving game video
US8613673B2 (en) 2008-12-15 2013-12-24 Sony Computer Entertainment America Llc Intelligent game loading
US8968087B1 (en) 2009-06-01 2015-03-03 Sony Computer Entertainment America Llc Video game overlay
DE102007062843A1 (de) * 2007-12-21 2009-06-25 Amedo Smart Tracking Solutions Gmbh Verfahren zur Bewegungserfassung
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8024316B2 (en) 2008-01-30 2011-09-20 Google Inc. Providing content using stored query information
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8368753B2 (en) * 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
CN101618277A (zh) * 2008-07-04 2010-01-06 英属维京群岛速位互动股份有限公司 可感测使用者身体影像的电子游戏操控装置及方法
GB2465538B (en) 2008-08-01 2013-03-13 Sony Corp Method and apparatus for generating an event log
EP2342642A1 (en) * 2008-09-04 2011-07-13 Extreme Reality Ltd. Method system and software for providing image sensor based human machine interfacing
WO2010046901A2 (en) 2008-10-24 2010-04-29 Extreme Reality Ltd. A method system and associated modules and software components for providing image sensor based human machine interfacing
US8840476B2 (en) 2008-12-15 2014-09-23 Sony Computer Entertainment America Llc Dual-mode program execution
US8926435B2 (en) 2008-12-15 2015-01-06 Sony Computer Entertainment America Llc Dual-mode program execution
US9142024B2 (en) 2008-12-31 2015-09-22 Lucasfilm Entertainment Company Ltd. Visual and physical motion sensing for three-dimensional motion capture
US20120202569A1 (en) * 2009-01-13 2012-08-09 Primesense Ltd. Three-Dimensional User Interface for Game Applications
US8577085B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8294767B2 (en) * 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8577084B2 (en) * 2009-01-30 2013-11-05 Microsoft Corporation Visual target tracking
US8588465B2 (en) * 2009-01-30 2013-11-19 Microsoft Corporation Visual target tracking
US8682028B2 (en) * 2009-01-30 2014-03-25 Microsoft Corporation Visual target tracking
US8565476B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
US8267781B2 (en) * 2009-01-30 2012-09-18 Microsoft Corporation Visual target tracking
US8487938B2 (en) * 2009-01-30 2013-07-16 Microsoft Corporation Standard Gestures
US8565477B2 (en) * 2009-01-30 2013-10-22 Microsoft Corporation Visual target tracking
WO2010103482A2 (en) * 2009-03-13 2010-09-16 Primesense Ltd. Enhanced 3d interfacing for remote devices
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
CN101533528B (zh) * 2009-04-18 2014-11-26 大连大学 基于模块分段线性模型的光学运动捕捉数据处理方法
US8181123B2 (en) * 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US20100277470A1 (en) * 2009-05-01 2010-11-04 Microsoft Corporation Systems And Methods For Applying Model Tracking To Motion Capture
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US9377857B2 (en) * 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US9015638B2 (en) * 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US8334872B2 (en) * 2009-05-29 2012-12-18 Two Pic Mc Llc Inverse kinematics for motion-capture characters
US8803889B2 (en) * 2009-05-29 2014-08-12 Microsoft Corporation Systems and methods for applying animations or motions to a character
US8418085B2 (en) * 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8320619B2 (en) * 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US20100306685A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation User movement feedback via on-screen avatars
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US20100302365A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction
US20100302253A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Real time retargeting of skeletal data to game avatar
US8506402B2 (en) 2009-06-01 2013-08-13 Sony Computer Entertainment America Llc Game execution environments
US20100311512A1 (en) * 2009-06-04 2010-12-09 Timothy James Lock Simulator with enhanced depth perception
US9218126B2 (en) 2009-09-21 2015-12-22 Extreme Reality Ltd. Methods circuits apparatus and systems for human machine interfacing with an electronic appliance
US8878779B2 (en) 2009-09-21 2014-11-04 Extreme Reality Ltd. Methods circuits device systems and associated computer executable code for facilitating interfacing with a computing platform display screen
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US20110164032A1 (en) * 2010-01-07 2011-07-07 Prime Sense Ltd. Three-Dimensional User Interface
US8284157B2 (en) * 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
JP5491217B2 (ja) * 2010-01-27 2014-05-14 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、ゲームシステム
US8659658B2 (en) * 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8633890B2 (en) 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US9124651B2 (en) 2010-03-30 2015-09-01 Microsoft Technology Licensing, Llc Controlling media consumption privacy settings
US9646340B2 (en) 2010-04-01 2017-05-09 Microsoft Technology Licensing, Llc Avatar-based virtual dressing room
US9098873B2 (en) * 2010-04-01 2015-08-04 Microsoft Technology Licensing, Llc Motion-based interactive shopping environment
US11117033B2 (en) 2010-04-26 2021-09-14 Wilbert Quinc Murdock Smart system for display of dynamic movement parameters in sports and training
JP5148660B2 (ja) * 2010-06-11 2013-02-20 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及び画像生成システム
US8676591B1 (en) 2010-08-02 2014-03-18 Sony Computer Entertainment America Llc Audio deceleration
US10039978B2 (en) 2010-09-13 2018-08-07 Sony Interactive Entertainment America Llc Add-on management systems
CN101930628A (zh) * 2010-09-21 2010-12-29 北京大学 基于单目摄像机和多平面镜折反射装置的运动捕捉方法
US9477302B2 (en) * 2012-08-10 2016-10-25 Google Inc. System and method for programing devices within world space volumes
US20120150650A1 (en) * 2010-12-08 2012-06-14 Microsoft Corporation Automatic advertisement generation based on user expressed marketing terms
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
US9171264B2 (en) 2010-12-15 2015-10-27 Microsoft Technology Licensing, Llc Parallel processing machine learning decision tree training
US8488888B2 (en) * 2010-12-28 2013-07-16 Microsoft Corporation Classification of posture states
KR101758058B1 (ko) 2011-01-20 2017-07-17 삼성전자주식회사 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
US20140031123A1 (en) * 2011-01-21 2014-01-30 The Regents Of The University Of California Systems for and methods of detecting and reproducing motions for video games
WO2012098534A1 (en) 2011-01-23 2012-07-26 Extreme Reality Ltd. Methods, systems, devices and associated processing logic for generating stereoscopic images and video
CN106984041B (zh) * 2011-02-11 2021-07-06 漳州市舟锋电子科技有限公司 一种人机互动控制系统
US8761437B2 (en) * 2011-02-18 2014-06-24 Microsoft Corporation Motion recognition
US9533228B2 (en) 2011-03-28 2017-01-03 Brian M. Dugan Systems and methods for fitness and video games
US9610506B2 (en) 2011-03-28 2017-04-04 Brian M. Dugan Systems and methods for fitness and video games
KR101804848B1 (ko) 2011-04-22 2017-12-06 삼성전자주식회사 비디오 객체 탐색 장치, 비디오 객체 변형 장치 및 그 방법
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US10671841B2 (en) 2011-05-02 2020-06-02 Microsoft Technology Licensing, Llc Attribute state classification
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US8845431B2 (en) * 2011-05-31 2014-09-30 Microsoft Corporation Shape trace gesturing
US8740702B2 (en) * 2011-05-31 2014-06-03 Microsoft Corporation Action trigger gesturing
US8657683B2 (en) * 2011-05-31 2014-02-25 Microsoft Corporation Action selection gesturing
US9724600B2 (en) * 2011-06-06 2017-08-08 Microsoft Technology Licensing, Llc Controlling objects in a virtual environment
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US8948447B2 (en) * 2011-07-12 2015-02-03 Lucasfilm Entertainment Companyy, Ltd. Scale independent tracking pattern
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
KR20130030117A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 실시간 캐릭터 애니메이션에서의 발 미끄러짐 제거를 위한 캐릭터 영상 처리 장치 및 방법
CN103945931B (zh) 2011-09-26 2017-03-22 基因技术股份公司 高效的小体积核酸合成
US20130093751A1 (en) * 2011-10-12 2013-04-18 Microsoft Corporation Gesture bank to improve skeletal tracking
US9508176B2 (en) 2011-11-18 2016-11-29 Lucasfilm Entertainment Company Ltd. Path and speed based character control
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US9170667B2 (en) * 2012-06-01 2015-10-27 Microsoft Technology Licensing, Llc Contextual user interface
WO2014010004A1 (ja) * 2012-07-13 2014-01-16 株式会社ソニー・コンピュータエンタテインメント 入力装置、情報処理システム、情報処理装置、および情報処理方法
US20140018169A1 (en) * 2012-07-16 2014-01-16 Zhong Yuan Ran Self as Avatar Gaming with Video Projecting Device
JP2014068714A (ja) * 2012-09-28 2014-04-21 Kitasato Institute 関節角度測定システム
JP5620449B2 (ja) * 2012-09-28 2014-11-05 エクストリーム リアリティー エルティーディー． 人−機械インターフェース装置システム及び方法
US11189917B2 (en) 2014-04-16 2021-11-30 Rearden, Llc Systems and methods for distributing radioheads
US10488535B2 (en) 2013-03-12 2019-11-26 Rearden, Llc Apparatus and method for capturing still images and video using diffraction coded imaging techniques
US9973246B2 (en) 2013-03-12 2018-05-15 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
US9923657B2 (en) 2013-03-12 2018-03-20 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
US10547358B2 (en) 2013-03-15 2020-01-28 Rearden, Llc Systems and methods for radio frequency calibration exploiting channel reciprocity in distributed input distributed output wireless communications
US8948457B2 (en) 2013-04-03 2015-02-03 Pillar Vision, Inc. True space tracking of axisymmetric object flight using diameter measurement
CN109521397B (zh) 2013-06-13 2023-03-28 巴斯夫欧洲公司 用于光学地检测至少一个对象的检测器
US9063578B2 (en) * 2013-07-31 2015-06-23 Microsoft Technology Licensing, Llc Ergonomic physical interaction zone cursor mapping
JP2015088096A (ja) * 2013-11-01 2015-05-07 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
CN103777753A (zh) * 2013-11-12 2014-05-07 广州新节奏智能科技有限公司 新型便携式肢体感应操控装置及其应用方法
US20160320489A1 (en) * 2013-12-18 2016-11-03 Basf Se Target device for use in optical detection of an object
US9536138B2 (en) 2014-06-27 2017-01-03 Microsoft Technology Licensing, Llc Dynamic remapping of components of a virtual skeleton
KR102397527B1 (ko) 2014-07-08 2022-05-13 바스프 에스이 하나 이상의 물체의 위치를 결정하기 위한 검출기
WO2016092451A1 (en) 2014-12-09 2016-06-16 Basf Se Optical detector
US10775505B2 (en) 2015-01-30 2020-09-15 Trinamix Gmbh Detector for an optical detection of at least one object
US9690984B2 (en) * 2015-04-14 2017-06-27 Microsoft Technology Licensing, Llc Two-dimensional infrared depth sensing
US9836118B2 (en) 2015-06-16 2017-12-05 Wilson Steele Method and system for analyzing a movement of a person
JP6877418B2 (ja) 2015-07-17 2021-05-26 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも１個の対象物を光学的に検出するための検出器
CN108141579B (zh) 2015-09-14 2020-06-12 特里纳米克斯股份有限公司 3d相机
GB201520367D0 (en) * 2015-11-19 2016-01-06 Bespoke Vr Ltd Editing interactive motion capture data for creating the interaction characteristics of non player characters
US10403019B2 (en) * 2015-12-16 2019-09-03 Lucasfilm Entertainment Company Multi-channel tracking pattern
US10717001B2 (en) * 2016-03-25 2020-07-21 Zero Latency PTY LTD System and method for saving tracked data in the game server for replay, review and training
CN105872477B (zh) * 2016-05-27 2018-11-23 北京旷视科技有限公司 视频监控方法和视频监控系统
FR3054358B1 (fr) * 2016-07-25 2018-08-31 Commissariat Energie Atomique Procede et systeme de reconstruction de posture par suivi spatial du haut d'un corps et suivi du bas du corps au moyen d'un tapis de detection
WO2018019921A1 (en) 2016-07-29 2018-02-01 Trinamix Gmbh Optical sensor and detector for optical detection
US10751609B2 (en) 2016-08-12 2020-08-25 Zero Latency PTY LTD Mapping arena movements into a 3-D virtual world
CN109923372B (zh) 2016-10-25 2021-12-21 特里纳米克斯股份有限公司 采用集成滤波器的红外光学检测器
KR102431355B1 (ko) 2016-10-25 2022-08-10 트리나미엑스 게엠베하 적어도 하나의 대상체의 광학적 검출을 위한 검출기
US11860292B2 (en) 2016-11-17 2024-01-02 Trinamix Gmbh Detector and methods for authenticating at least one object
US10948567B2 (en) 2016-11-17 2021-03-16 Trinamix Gmbh Detector for optically detecting at least one object
CN106710351A (zh) * 2016-12-28 2017-05-24 新支点数字科技（宜昌）有限公司 虚拟实境警务培训装置及方法
CN110770555A (zh) 2017-04-20 2020-02-07 特里纳米克斯股份有限公司 光学检测器
US11067692B2 (en) 2017-06-26 2021-07-20 Trinamix Gmbh Detector for determining a position of at least one object
CN111954860B (zh) 2018-01-21 2024-05-24 斯塔特斯公司 对细粒度对抗性多队员运动进行预测的系统和方法
WO2019144143A1 (en) 2018-01-21 2019-07-25 Stats Llc Method and system for interactive, interpretable, and improved match and player performance predictions in team sports
US11521326B2 (en) 2018-05-23 2022-12-06 Prove Labs, Inc. Systems and methods for monitoring and evaluating body movement
US11086124B2 (en) 2018-06-13 2021-08-10 Reavire, Inc. Detecting velocity state of a device
GB201813450D0 (en) * 2018-08-17 2018-10-03 Hiltermann Sean Augmented reality doll
CN110942479B (zh) * 2018-09-25 2023-06-02 Oppo广东移动通信有限公司 虚拟对象控制方法、存储介质及电子设备
CN110941977A (zh) * 2018-09-25 2020-03-31 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN109407840A (zh) * 2018-10-18 2019-03-01 看见故事（苏州）影视文化发展有限公司 一种动作捕捉技术的视角转换方法
TWI715903B (zh) * 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
JP2022501732A (ja) * 2019-01-18 2022-01-06 北京市商▲湯▼科技▲開▼▲發▼有限公司Beijing Sensetime Technology Development Co., Ltd. 画像処理方法及び装置、画像デバイス並びに記憶媒体
KR20200089826A (ko) 2019-01-18 2020-07-28 (주)모션테크놀로지 모션 캡쳐 데이터 정밀도 향상을 위한 시스템 및 방법
CN111460871B (zh) 2019-01-18 2023-12-22 北京市商汤科技开发有限公司 图像处理方法及装置、存储介质
CN113544697A (zh) 2019-03-01 2021-10-22 斯塔特斯公司 用数据和身体姿态分析运动表现以对表现进行个性化预测
US11238604B1 (en) * 2019-03-05 2022-02-01 Apple Inc. Densifying sparse depth maps
US11287505B2 (en) 2019-05-13 2022-03-29 Cast Group Of Companies Inc. Electronic tracking device and related system
JP7285703B2 (ja) * 2019-06-17 2023-06-02 株式会社ソニー・インタラクティブエンタテインメント ロボット制御システム
US11599257B2 (en) * 2019-11-12 2023-03-07 Cast Group Of Companies Inc. Electronic tracking device and charging apparatus
US20230012053A1 (en) * 2019-12-24 2023-01-12 Sony Group Corporation Information processing device and information processing method
CN111260967A (zh) * 2020-02-25 2020-06-09 湖南科技学院 一种基于图像处理的武术教学用姿势纠正系统
US11011071B1 (en) 2020-03-30 2021-05-18 Mobilizar Technologies Pvt Ltd Interactive learning system and a method
WO2021247371A1 (en) 2020-06-05 2021-12-09 Stats Llc System and method for predicting formation in sports
US11232595B1 (en) 2020-09-08 2022-01-25 Weta Digital Limited Three-dimensional assembly for motion capture calibration
US11282233B1 (en) * 2020-09-08 2022-03-22 Weta Digital Limited Motion capture calibration
CN111968207B (zh) * 2020-09-25 2021-10-29 魔珐(上海)信息科技有限公司 动画生成方法、装置、系统及存储介质
EP4222575A1 (en) * 2020-10-01 2023-08-09 Stats Llc Prediction of nba talent and quality from non-professional tracking data
CA3222789A1 (en) * 2021-05-27 2022-12-01 Ai Thinktank Llc 3d avatar generation and robotic limbs using biomechanical analysis
US11615648B2 (en) 2021-05-28 2023-03-28 Sportsbox.ai Inc. Practice drill-related features using quantitative, biomechanical-based analysis

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000033184A (ja) * 1998-05-14 2000-02-02 Masanobu Kujirada 全身動作入力型のゲ―ム及びイベント装置
JP2000200088A (ja) * 1998-12-29 2000-07-18 Nagase & Co Ltd カラオケ装置
JP2000315259A (ja) * 1999-05-06 2000-11-14 Sharp Corp データベース作成装置及びデータベース作成プログラムを記録した記録媒体
JP2002006874A (ja) * 2000-06-27 2002-01-11 Sharp Corp 音声処理装置、動画像処理装置、音声・動画像処理装置及び音声・動画像処理プログラムを記録した記録媒体
JP2002042168A (ja) * 2000-07-31 2002-02-08 Taito Corp 踊り映像強調合成装置

Family Cites Families (320)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US195104A (en) * 1877-09-11 Improvement in fire-place stoves
US3943277A (en) * 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
US4313227A (en) * 1979-01-29 1982-01-26 Texas Instruments Incorporated Light energy information transmission system
US4263504A (en) * 1979-08-01 1981-04-21 Ncr Corporation High density matrix code
US6772057B2 (en) 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US4565999A (en) * 1983-04-01 1986-01-21 Prime Computer, Inc. Light pencil
US4558864A (en) 1984-06-13 1985-12-17 Medwedeff Marion C Handgrip exercising, computer game controller
US5195179A (en) * 1986-01-29 1993-03-16 Hitachi, Ltd. Coordinate input apparatus
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4787051A (en) 1986-05-16 1988-11-22 Tektronix, Inc. Inertial mouse system
JPS6347616A (ja) * 1986-08-15 1988-02-29 Ricoh Co Ltd 移動量測定方法
EP0348430A4 (en) 1987-02-04 1992-08-19 Mayo Foundation For Medical Education And Research Joystick apparatus having six degrees freedom of motion
US4802227A (en) * 1987-04-03 1989-01-31 American Telephone And Telegraph Company Noise reduction processing arrangement for microphone arrays
GB2206716A (en) 1987-07-06 1989-01-11 Gen Electric Plc Apparatus for monitoring the presence or movement of an object
US4963858A (en) 1987-09-08 1990-10-16 Chien Fong K Changeable input ratio mouse
IT1219405B (it) 1988-06-27 1990-05-11 Fiat Ricerche Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia
JPH05501020A (ja) 1988-12-20 1993-02-25 ミート　リサーチ　コーポレーション 光学的に読取り可能なコード化された物標
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US5055840A (en) 1990-01-16 1991-10-08 Carroll Touch Incorporated Infrared touch input device and light emitted activation circuit
US5128671A (en) 1990-04-12 1992-07-07 Ltv Aerospace And Defense Company Control device having multiple degrees of freedom
DE69016463T2 (de) 1990-05-01 1995-09-07 Wang Laboratories Handfreie hardwaretastatur.
US5662111A (en) * 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US5485273A (en) * 1991-04-22 1996-01-16 Litton Systems, Inc. Ring laser gyroscope enhanced resolution system
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5144594A (en) 1991-05-29 1992-09-01 Cyber Scientific Acoustic mouse system
US5455685A (en) 1991-09-04 1995-10-03 Fuji Photo Film Co., Ltd. Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed
US5889670A (en) * 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5444462A (en) 1991-12-16 1995-08-22 Wambach; Mark L. Computer mouse glove with remote communication
US5453758A (en) 1992-07-31 1995-09-26 Sony Corporation Input apparatus
US5790834A (en) 1992-08-31 1998-08-04 Intel Corporation Apparatus and method using an ID instruction to identify a computer microprocessor
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US5982352A (en) * 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
US7098891B1 (en) 1992-09-18 2006-08-29 Pryor Timothy R Method for providing human input to a computer
US5394168A (en) * 1993-01-06 1995-02-28 Smith Engineering Dual-mode hand-held game controller
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
EP0613294B1 (en) 1993-02-24 1998-10-28 Matsushita Electric Industrial Co., Ltd. Gradation correction device and image sensing device therewith
US5435554A (en) 1993-03-08 1995-07-25 Atari Games Corporation Baseball simulation system
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
US5677710A (en) 1993-05-10 1997-10-14 Apple Computer, Inc. Recognition keypad
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US5959596A (en) 1993-06-24 1999-09-28 Nintendo Co., Ltd. Airline-based video game and communications system
US5473701A (en) 1993-11-05 1995-12-05 At&T Corp. Adaptive microphone array
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US5611000A (en) * 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
US5543818A (en) 1994-05-13 1996-08-06 Sony Corporation Method and apparatus for entering text using an input device having a small number of keys
US5846086A (en) 1994-07-01 1998-12-08 Massachusetts Institute Of Technology System for human trajectory learning in virtual environments
US5528265A (en) 1994-07-18 1996-06-18 Harrison; Simon J. Orientation-operated cursor control device
US5563988A (en) 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
SE504846C2 (sv) 1994-09-28 1997-05-12 Jan G Faeger Styrutrustning med ett rörligt styrorgan
JP3270643B2 (ja) 1994-12-22 2002-04-02 キヤノン株式会社 指示位置検出方法及び装置
US5929444A (en) 1995-01-31 1999-07-27 Hewlett-Packard Company Aiming device using radiated energy
US5568928A (en) 1995-02-01 1996-10-29 Exertron, Inc. Video game controller for use with an exercise apparatus
US5638228A (en) 1995-02-14 1997-06-10 Iomega Corporation Retroreflective marker for data storage cartridge
US5930741A (en) 1995-02-28 1999-07-27 Virtual Technologies, Inc. Accurate, rapid, reliable position sensing using multiple sensing technologies
US5583478A (en) 1995-03-01 1996-12-10 Renzi; Ronald Virtual environment tactile system
US5900863A (en) * 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
US5704836A (en) * 1995-03-23 1998-01-06 Perception Systems, Inc. Motion-based command generation technology
WO1996034332A1 (fr) * 1995-04-28 1996-10-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'interface
US5706364A (en) * 1995-04-28 1998-01-06 Xerox Corporation Method of producing character templates using unsegmented samples
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5649021A (en) 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
IL114278A (en) 1995-06-22 2010-06-16 Microsoft Internat Holdings B Camera and method
EP0886790B1 (en) * 1995-06-22 2006-03-01 3DV Systems Ltd. Telecentric 3d camera and method
CN1154910C (zh) 1995-07-26 2004-06-23 蒂吉通信系统公司 压缩键盘的明义系统
US6311214B1 (en) * 1995-07-27 2001-10-30 Digimarc Corporation Linking of computers based on optical sensing of digital data
US5768415A (en) 1995-09-08 1998-06-16 Lucent Technologies Inc. Apparatus and methods for performing electronic scene analysis and enhancement
US5611731A (en) * 1995-09-08 1997-03-18 Thrustmaster, Inc. Video pinball machine controller having an optical accelerometer for detecting slide and tilt
US5850222A (en) 1995-09-13 1998-12-15 Pixel Dust, Inc. Method and system for displaying a graphic image of a person modeling a garment
US5818424A (en) 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
US6281930B1 (en) 1995-10-20 2001-08-28 Parkervision, Inc. System and method for controlling the field of view of a camera
US5963250A (en) 1995-10-20 1999-10-05 Parkervision, Inc. System and method for controlling the field of view of a camera
US5719561A (en) 1995-10-25 1998-02-17 Gilbert R. Gonzales Tactile communication device and method
US6430997B1 (en) * 1995-11-06 2002-08-13 Trazer Technologies, Inc. System and method for tracking and assessing movement skills in multidimensional space
US5870100A (en) * 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
WO1997020305A1 (en) 1995-11-30 1997-06-05 Virtual Technologies, Inc. Tactile feedback man-machine interface device
JP3014313B2 (ja) 1995-12-25 2000-02-28 富士通テン株式会社 エアバッグの衝突判別装置
JP4079463B2 (ja) * 1996-01-26 2008-04-23 ソニー株式会社 被写体検出装置および被写体検出方法
US6049619A (en) * 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
JP2891159B2 (ja) 1996-02-14 1999-05-17 日本電気株式会社 多眼画像からの物体検出方式
RU2069885C1 (ru) 1996-03-01 1996-11-27 Йелстаун Корпорейшн Н.В. Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления
JPH09244793A (ja) * 1996-03-04 1997-09-19 Alps Electric Co Ltd 入力装置
EP0835676B1 (en) 1996-03-05 2004-10-13 Sega Enterprises, Ltd. Controller and extension unit for controller
WO1997039416A2 (en) * 1996-04-02 1997-10-23 Cognex Corporation Image formation apparatus for viewing indicia on a planar specular substrate
US5937081A (en) 1996-04-10 1999-08-10 O'brill; Michael R. Image composition system and method of using same
US5923318A (en) 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
US5917493A (en) 1996-04-17 1999-06-29 Hewlett-Packard Company Method and apparatus for randomly generating information for subsequent correlating
US6151009A (en) 1996-08-21 2000-11-21 Carnegie Mellon University Method and apparatus for merging real and synthetic images
US6400374B2 (en) 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US5930383A (en) 1996-09-24 1999-07-27 Netzer; Yishay Depth sensing camera systems and methods
US5832931A (en) * 1996-10-30 1998-11-10 Photogen, Inc. Method for improved selectivity in photo-activation and detection of molecular diagnostic agents
NL1004648C2 (nl) * 1996-11-11 1998-05-14 Johan Michiel Schaaij Computerspelsysteem.
US5914723A (en) 1996-12-30 1999-06-22 Sun Microsystems, Inc. Method and system for converting images in computer systems
US6243491B1 (en) 1996-12-31 2001-06-05 Lucent Technologies Inc. Methods and apparatus for controlling a video system with visually recognized props
US5850473A (en) 1997-01-07 1998-12-15 Lucent Technologies Inc. Method and apparatus for compensating for color variation in a video system
US6021219A (en) * 1997-01-07 2000-02-01 Lucent Technologies Inc. Methods and apparatus for distinguishing among several visual patterns
US5796354A (en) 1997-02-07 1998-08-18 Reality Quest Corp. Hand-attachable controller with direction sensing
US5993314A (en) 1997-02-10 1999-11-30 Stadium Games, Ltd. Method and apparatus for interactive audience participation by audio command
US6009210A (en) 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
AU2228197A (en) 1997-03-07 1998-09-22 3Dv Systems Ltd. Optical shutter
US6061055A (en) 1997-03-21 2000-05-09 Autodesk, Inc. Method of tracking objects with an imaging device
US6144367A (en) 1997-03-26 2000-11-07 International Business Machines Corporation Method and system for simultaneous operation of multiple handheld control devices in a data processing system
US6088042A (en) * 1997-03-31 2000-07-11 Katrix, Inc. Interactive motion data animation system
US6587573B1 (en) 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US8120652B2 (en) * 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
WO1998048571A1 (en) 1997-04-23 1998-10-29 Thomson Consumer Electronics, Inc. Control of video level by region and content of information displayed
US6809776B1 (en) 1997-04-23 2004-10-26 Thomson Licensing S.A. Control of video level by region and content of information displayed
US6428411B1 (en) 1997-05-02 2002-08-06 Konami Co., Ltd. Volleyball video game system
JPH10334270A (ja) * 1997-05-28 1998-12-18 Mitsubishi Electric Corp 動作認識装置及び動作認識プログラムを記録した記録媒体
US6075895A (en) * 1997-06-20 2000-06-13 Holoplex Methods and apparatus for gesture recognition based on templates
DE69811050T2 (de) 1997-07-29 2003-11-06 Koninkl Philips Electronics Nv Rekonstruktionsverfahren, Vorrichtung und Dekodierungssystem für dreidimensionalen Szenen.
US6044181A (en) * 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US20020036617A1 (en) * 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
US6243074B1 (en) 1997-08-29 2001-06-05 Xerox Corporation Handedness detection for a physical manipulatory grammar
US6297838B1 (en) 1997-08-29 2001-10-02 Xerox Corporation Spinning as a morpheme for a physical manipulatory grammar
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU1099899A (en) 1997-10-15 1999-05-03 Electric Planet, Inc. Method and apparatus for performing a clean background subtraction
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6031934A (en) * 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
JP3812092B2 (ja) * 1997-10-27 2006-08-23 ソニー株式会社 姿勢検出装置及び方法
WO1999026198A2 (en) 1997-11-14 1999-05-27 National University Of Singapore System and method for merging objects into an image sequence without prior knowledge of the scene in the image sequence
JPH11154240A (ja) * 1997-11-20 1999-06-08 Nintendo Co Ltd 取込み画像を用いて画像を作成するための画像作成装置
US6677987B1 (en) * 1997-12-03 2004-01-13 8×8, Inc. Wireless user-interface arrangement and method
US6195104B1 (en) * 1997-12-23 2001-02-27 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
US6160540A (en) 1998-01-12 2000-12-12 Xerox Company Zoomorphic computer user interface
US6134346A (en) 1998-01-16 2000-10-17 Ultimatte Corp Method for removing from an image the background surrounding a selected object
JP4195189B2 (ja) 1998-02-08 2008-12-10 スリーディーヴィー システムズ リミテッド 大開口光画像シャッタ
US6115052A (en) * 1998-02-12 2000-09-05 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence
US6037942A (en) * 1998-03-10 2000-03-14 Magellan Dis, Inc. Navigation system character input device
JPH11265249A (ja) 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
US6411392B1 (en) 1998-04-15 2002-06-25 Massachusetts Institute Of Technology Method and apparatus for data hiding in printed images
US6393142B1 (en) 1998-04-22 2002-05-21 At&T Corp. Method and apparatus for adaptive stripe based patch matching for depth estimation
US6173059B1 (en) * 1998-04-24 2001-01-09 Gentner Communications Corporation Teleconferencing system with visual feedback
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6473516B1 (en) 1998-05-22 2002-10-29 Asa Systems, Inc. Large capacity steganography
JP3646969B2 (ja) 1998-05-25 2005-05-11 富士通株式会社 ３次元画像表示装置
JP3841132B2 (ja) 1998-06-01 2006-11-01 株式会社ソニー・コンピュータエンタテインメント 入力位置検出装置及びエンタテインメントシステム
FR2780176B1 (fr) 1998-06-17 2001-01-26 Gabriel Guary Pistolet de tir pour jeu video
US6513160B2 (en) * 1998-06-17 2003-01-28 Opentv, Inc. System and method for promoting viewer interaction in a television system
IL125221A0 (en) * 1998-07-06 1999-03-12 Toy Control Ltd Motion activation using passive sound source
US6198485B1 (en) * 1998-07-29 2001-03-06 Intel Corporation Method and apparatus for three-dimensional input entry
US6801637B2 (en) * 1999-08-10 2004-10-05 Cybernet Systems Corporation Optical body tracker
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6256398B1 (en) 1998-08-22 2001-07-03 Kenneth H. P. Chang Encoding and decoding a message within an image
US6970183B1 (en) 2000-06-14 2005-11-29 E-Watch, Inc. Multimedia surveillance and monitoring system including network configuration
US6621938B1 (en) 1998-09-18 2003-09-16 Fuji Photo Film Co., Ltd. Image capture apparatus and method
US6184863B1 (en) * 1998-10-13 2001-02-06 The George Washington University Direct pointing apparatus and method therefor
DE19849515C1 (de) 1998-10-19 2000-12-28 Gerhard Wergen Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens
US6307568B1 (en) 1998-10-28 2001-10-23 Imaginarix Ltd. Virtual dressing over the internet
US6712703B2 (en) * 1998-11-19 2004-03-30 Nintendo Co., Ltd. Video game apparatus and information storage medium for video game
JP2000172431A (ja) 1998-12-09 2000-06-23 Sony Corp 情報入力装置及びゲーム装置
US6533420B1 (en) * 1999-01-22 2003-03-18 Dimension Technologies, Inc. Apparatus and method for generating and projecting autostereoscopic images
JP2000261752A (ja) 1999-03-05 2000-09-22 Hewlett Packard Co <Hp> 音声付き画像録画再生装置
US7139767B1 (en) * 1999-03-05 2006-11-21 Canon Kabushiki Kaisha Image processing apparatus and database
US6323942B1 (en) 1999-04-30 2001-11-27 Canesta, Inc. CMOS-compatible three-dimensional image sensor IC
US7164413B2 (en) * 1999-05-19 2007-01-16 Digimarc Corporation Enhanced input peripheral
US6791531B1 (en) 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
JP2000350865A (ja) 1999-06-11 2000-12-19 Mr System Kenkyusho:Kk 複合現実空間のゲーム装置、その画像処理方法およびプログラム記憶媒体
US6952198B2 (en) 1999-07-06 2005-10-04 Hansen Karl C System and method for communication with enhanced optical pointer
US6819318B1 (en) 1999-07-23 2004-11-16 Z. Jason Geng Method and apparatus for modeling via a three-dimensional image mosaic system
US6545706B1 (en) * 1999-07-30 2003-04-08 Electric Planet, Inc. System, method and article of manufacture for tracking a head of a camera-generated image of a person
US6417836B1 (en) 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
JP2001056742A (ja) 1999-08-19 2001-02-27 Alps Electric Co Ltd 入力装置
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
AU5646299A (en) 1999-09-08 2001-04-10 3Dv Systems Ltd. 3d imaging system
CA2385173A1 (en) 1999-09-17 2001-03-29 Nature Technology Co., Ltd. Image capturing system, image processing system, and camera
US6441825B1 (en) 1999-10-04 2002-08-27 Intel Corporation Video token tracking system for animation
US6375572B1 (en) * 1999-10-04 2002-04-23 Nintendo Co., Ltd. Portable game apparatus with acceleration sensor and information storage medium storing a game progam
JP3847058B2 (ja) 1999-10-04 2006-11-15 任天堂株式会社 ゲームシステム及びそれに用いられるゲーム情報記憶媒体
US6753849B1 (en) 1999-10-27 2004-06-22 Ken Curran & Associates Universal remote TV mouse
US6519359B1 (en) * 1999-10-28 2003-02-11 General Electric Company Range camera controller for acquiring 3D models
US20050037844A1 (en) * 2002-10-30 2005-02-17 Nike, Inc. Sigils for use with apparel
JP4403474B2 (ja) 1999-12-09 2010-01-27 ソニー株式会社 触覚提示機構及びこれを用いた力触覚提示装置
US6785329B1 (en) 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
KR100384406B1 (ko) * 2000-01-24 2003-05-22 (주) 베스트소프트 컴퓨터 프로그램 구동조작장치
US6587835B1 (en) 2000-02-09 2003-07-01 G. Victor Treyz Shopping assistance with handheld computing device
TW522732B (en) * 2000-02-15 2003-03-01 Sorceron Inc Method and system for distributing captured motion data over a network
WO2001064481A2 (en) 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module
JP2001265275A (ja) * 2000-03-16 2001-09-28 Olympus Optical Co Ltd 画像表示装置
US6924787B2 (en) * 2000-04-17 2005-08-02 Immersion Corporation Interface for controlling a graphical image
TW527518B (en) * 2000-07-14 2003-04-11 Massachusetts Inst Technology Method and system for high resolution, ultra fast, 3-D imaging
US6795068B1 (en) 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
WO2002008849A2 (en) 2000-07-24 2002-01-31 Herman Ehrenburg Computer-compatible, color-coded manual input system
AUPQ896000A0 (en) 2000-07-24 2000-08-17 Seeing Machines Pty Ltd Facial image processing system
US6873747B2 (en) * 2000-07-25 2005-03-29 Farid Askary Method for measurement of pitch in metrology and imaging systems
AUPQ952400A0 (en) * 2000-08-18 2000-09-14 Telefonaktiebolaget Lm Ericsson (Publ) Improved method and system of effecting a financial transaction
JP4815661B2 (ja) 2000-08-24 2011-11-16 ソニー株式会社 信号処理装置及び信号処理方法
AU2001294452A1 (en) 2000-09-29 2002-04-08 Senseboard Technologies Ab Wearable data input interface
FR2814965A1 (fr) 2000-10-11 2002-04-12 Janick Simeray Ordinateur et jouets cooperants
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US7061507B1 (en) 2000-11-12 2006-06-13 Bitboys, Inc. Antialiasing method and apparatus for video applications
KR100385563B1 (ko) * 2000-12-01 2003-05-27 한국과학기술원 구동수단을 갖는 분광 광도계와 광도 측정방법
US6751338B1 (en) 2000-12-15 2004-06-15 Cognex Corporation System and method of using range image data with machine vision tools
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
EP1371019A2 (en) 2001-01-26 2003-12-17 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
DE10103922A1 (de) 2001-01-30 2002-08-01 Physoptics Opto Electronic Gmb Interaktives Datensicht- und Bediensystem
US6741741B2 (en) 2001-02-01 2004-05-25 Xerox Corporation System and method for automatically detecting edges of scanned documents
US6789967B1 (en) 2001-02-02 2004-09-14 George Forester Distal chording keyboard
US20020134151A1 (en) 2001-02-05 2002-09-26 Matsushita Electric Industrial Co., Ltd. Apparatus and method for measuring distances
US6746124B2 (en) 2001-02-06 2004-06-08 Robert E. Fischer Flashlight producing uniform high brightness
US7116330B2 (en) 2001-02-28 2006-10-03 Intel Corporation Approximating motion using a three-dimensional model
GB2376397A (en) 2001-06-04 2002-12-11 Hewlett Packard Co Virtual or augmented reality
JP2003018604A (ja) * 2001-07-04 2003-01-17 Matsushita Electric Ind Co Ltd 画像信号符号化方法、画像信号符号化装置および記録媒体
US6931125B2 (en) 2001-07-10 2005-08-16 Gregory N. Smallwood Telephone equipment compatible, twelve button alphanumeric keypad
KR20030009919A (ko) * 2001-07-24 2003-02-05 삼성전자주식회사 관성 센서를 구비하는 컴퓨터 게임용 입력 장치
US7039253B2 (en) 2001-07-24 2006-05-02 Casio Computer Co., Ltd. Image display device, image display method, program, and projection system
US7148922B2 (en) 2001-08-02 2006-12-12 Olympus Optical Co., Ltd. Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence
JP3442754B2 (ja) * 2001-08-10 2003-09-02 株式会社コナミコンピュータエンタテインメント東京 ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム
AU2002323134A1 (en) * 2001-08-16 2003-03-03 Trans World New York Llc User-personalized media sampling, recommendation and purchasing system using real-time inventory database
US6709108B2 (en) * 2001-08-31 2004-03-23 Adaptive Optics Associates, Inc. Ophthalmic instrument with adaptive optic subsystem that measures aberrations (including higher order aberrations) of a human eye and that provides a view of compensation of such aberrations to the human eye
US7555157B2 (en) 2001-09-07 2009-06-30 Geoff Davidson System and method for transforming graphical images
KR100846761B1 (ko) 2001-09-11 2008-07-16 삼성전자주식회사 포인터 표시방법, 그 포인팅 장치, 및 그 호스트 장치
JP2003114640A (ja) * 2001-10-04 2003-04-18 Nec Corp プラズマディスプレイパネル及びその駆動方法
US20030093591A1 (en) 2001-11-09 2003-05-15 David Hohl System and method for fast data transfer to display driver
FR2832892B1 (fr) 2001-11-27 2004-04-02 Thomson Licensing Sa Camera video d'effets speciaux
US20030100363A1 (en) 2001-11-28 2003-05-29 Ali Guiseppe C. Method and apparatus for inputting appearance of computer operator into a computer program
US20040070565A1 (en) * 2001-12-05 2004-04-15 Nayar Shree K Method and apparatus for displaying images
KR20030048570A (ko) 2001-12-12 2003-06-25 한국전자통신연구원 부가적 버튼을 장착한 키패드 및 그의 작동방법
US7106366B2 (en) 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7305114B2 (en) 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US20030160862A1 (en) 2002-02-27 2003-08-28 Charlier Michael L. Apparatus having cooperating wide-angle digital camera system and microphone array
US20030167211A1 (en) 2002-03-04 2003-09-04 Marco Scibora Method and apparatus for digitally marking media content
US7301547B2 (en) 2002-03-22 2007-11-27 Intel Corporation Augmented reality system
FR2837597A1 (fr) 2002-03-25 2003-09-26 Thomson Licensing Sa Procede de modelisation d'une scene 3d
US6847311B2 (en) * 2002-03-28 2005-01-25 Motorola Inc. Method and apparatus for character entry in a wireless communication device
GB2388418A (en) 2002-03-28 2003-11-12 Marcus James Eales Input or pointing device with a camera
US20030199324A1 (en) 2002-04-23 2003-10-23 Xiaoling Wang Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light
JP2004021345A (ja) 2002-06-12 2004-01-22 Toshiba Corp 画像処理装置及びその方法
US20040001082A1 (en) * 2002-06-26 2004-01-01 Amir Said System and method of interaction with a computer controlled image display system using a projected light source
CA2390072C (en) 2002-06-28 2018-02-27 Adrian Gh Podoleanu Optical mapping apparatus with adjustable depth resolution and multiple functionality
US7227976B1 (en) 2002-07-08 2007-06-05 Videomining Corporation Method and system for real-time facial image enhancement
CN1167996C (zh) * 2002-07-11 2004-09-22 庄胜雄 可形成虚拟追踪球的手套滑鼠
US7613310B2 (en) * 2003-08-27 2009-11-03 Sony Computer Entertainment Inc. Audio input system
US7809145B2 (en) 2006-05-04 2010-10-05 Sony Computer Entertainment Inc. Ultra small microphone array
US7102615B2 (en) 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US7697700B2 (en) * 2006-05-04 2010-04-13 Sony Computer Entertainment Inc. Noise removal for electronic device with far field microphone on console
US8073157B2 (en) 2003-08-27 2011-12-06 Sony Computer Entertainment Inc. Methods and apparatus for targeted sound detection and characterization
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7646372B2 (en) * 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7545926B2 (en) 2006-05-04 2009-06-09 Sony Computer Entertainment Inc. Echo and noise cancellation
US7970147B2 (en) 2004-04-07 2011-06-28 Sony Computer Entertainment Inc. Video game controller with noise canceling logic
US7783061B2 (en) * 2003-08-27 2010-08-24 Sony Computer Entertainment Inc. Methods and apparatus for the targeted sound detection
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US20040017355A1 (en) * 2002-07-24 2004-01-29 Youngtack Shim Cursor control systems and methods
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US7850526B2 (en) 2002-07-27 2010-12-14 Sony Computer Entertainment America Inc. System for tracking user manipulations within an environment
US20070061413A1 (en) * 2005-09-15 2007-03-15 Larsen Eric J System and method for obtaining user information from voices
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7391409B2 (en) 2002-07-27 2008-06-24 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to multi-channel mixed input
US20070015559A1 (en) * 2002-07-27 2007-01-18 Sony Computer Entertainment America Inc. Method and apparatus for use in determining lack of user activity in relation to a system
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US7803050B2 (en) 2002-07-27 2010-09-28 Sony Computer Entertainment Inc. Tracking device with sound emitter for use in obtaining information for controlling game program execution
US7627139B2 (en) 2002-07-27 2009-12-01 Sony Computer Entertainment Inc. Computer image and audio processing of intensity and input devices for interfacing with a computer program
US20060282873A1 (en) 2002-07-27 2006-12-14 Sony Computer Entertainment Inc. Hand-held controller having detectable elements for tracking purposes
US8233642B2 (en) 2003-08-27 2012-07-31 Sony Computer Entertainment Inc. Methods and apparatuses for capturing an audio signal based on a location of the signal
US20070261077A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Using audio/visual environment to select ads on game platform
US10086282B2 (en) 2002-07-27 2018-10-02 Sony Interactive Entertainment Inc. Tracking device for use in obtaining information for controlling game program execution
US8160269B2 (en) 2003-08-27 2012-04-17 Sony Computer Entertainment Inc. Methods and apparatuses for adjusting a listening area for capturing sounds
US20070260517A1 (en) 2006-05-08 2007-11-08 Gary Zalewski Profile detection
US7854655B2 (en) * 2002-07-27 2010-12-21 Sony Computer Entertainment America Inc. Obtaining input for controlling execution of a game program
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US20060256081A1 (en) 2002-07-27 2006-11-16 Sony Computer Entertainment America Inc. Scheme for detecting and tracking user manipulation of a game controller body
US20060264260A1 (en) 2002-07-27 2006-11-23 Sony Computer Entertainment Inc. Detectable and trackable hand-held controller
US8139793B2 (en) 2003-08-27 2012-03-20 Sony Computer Entertainment Inc. Methods and apparatus for capturing audio signals based on a visual image
US7352359B2 (en) * 2002-07-27 2008-04-01 Sony Computer Entertainment America Inc. Method and system for applying gearing effects to inertial tracking
US7918733B2 (en) 2002-07-27 2011-04-05 Sony Computer Entertainment America Inc. Multi-input game control mixer
GB2392286B (en) * 2002-08-19 2004-07-07 Chunghwa Telecom Co Ltd Personal identification system based on the reading of multiple one-dimensional barcodes scanned from scanned from PDA/cell phone screen
US7039199B2 (en) 2002-08-26 2006-05-02 Microsoft Corporation System and process for locating a speaker using 360 degree sound source localization
US6917688B2 (en) 2002-09-11 2005-07-12 Nanyang Technological University Adaptive noise cancelling microphone system
US20040063480A1 (en) * 2002-09-30 2004-04-01 Xiaoling Wang Apparatus and a method for more realistic interactive video games on computers or similar devices
EP1411461A1 (en) 2002-10-14 2004-04-21 STMicroelectronics S.r.l. User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection
US6995666B1 (en) 2002-10-16 2006-02-07 Luttrell Clyde K Cellemetry-operated railroad switch heater
JP2004145448A (ja) 2002-10-22 2004-05-20 Toshiba Corp 端末装置、サーバ装置および画像加工方法
DE60330885D1 (de) 2002-10-30 2010-02-25 Nike International Ltd Kleidungsstücke mit bewegungserfassungsmarker für videospiele
US8206219B2 (en) 2002-10-30 2012-06-26 Nike, Inc. Interactive gaming apparel for interactive gaming
US20040095327A1 (en) 2002-11-14 2004-05-20 Lo Fook Loong Alphanumeric data input system and method
US8012025B2 (en) 2002-12-13 2011-09-06 Applied Minds, Llc Video game controller hub with control input reduction and combination schemes
US7212308B2 (en) 2002-12-18 2007-05-01 Morgan Carol L Interactive photo kiosk
US20040140955A1 (en) 2003-01-21 2004-07-22 Metz Kristofer Erik Input device for a computer and method of operation
JP2004261236A (ja) * 2003-02-20 2004-09-24 Konami Co Ltd ゲームシステム
GB2398690B (en) * 2003-02-21 2006-05-10 Sony Comp Entertainment Europe Control of data processing
GB2398691B (en) * 2003-02-21 2006-05-31 Sony Comp Entertainment Europe Control of data processing
US7161634B2 (en) * 2003-03-06 2007-01-09 Huaya Microelectronics, Ltd. Encoding system for error diffusion dithering
US7665041B2 (en) * 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US20040212589A1 (en) 2003-04-24 2004-10-28 Hall Deirdre M. System and method for fusing and displaying multiple degree of freedom positional input data from multiple input sources
US7519186B2 (en) 2003-04-25 2009-04-14 Microsoft Corporation Noise reduction systems and methods for voice applications
US7379559B2 (en) 2003-05-28 2008-05-27 Trw Automotive U.S. Llc Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system
US6881147B2 (en) * 2003-06-06 2005-04-19 Nyko Technologies, Inc. Video game controller with integrated microphone and speaker
TW571812U (en) 2003-06-11 2004-01-11 Vision Electronics Co Ltd Audio device for TV game machine
ATE339757T1 (de) * 2003-06-17 2006-10-15 Sony Ericsson Mobile Comm Ab Verfahren und vorrichtung zur sprachaktivitätsdetektion
US7156311B2 (en) * 2003-07-16 2007-01-02 Scanbuy, Inc. System and method for decoding and analyzing barcodes using a mobile device
US7489299B2 (en) * 2003-10-23 2009-02-10 Hillcrest Laboratories, Inc. User interface devices and methods employing accelerometers
EP1694195B1 (en) * 2003-10-28 2009-04-08 Welch Allyn, Inc. Digital documenting ophthalmoscope
US20050105777A1 (en) 2003-11-18 2005-05-19 Kozlowski William J.Jr. Personalized multimedia summary
US7277526B2 (en) 2004-04-09 2007-10-02 Lyncean Technologies, Inc. Apparatus, system, and method for high flux, compact compton x-ray source
TWI376520B (en) 2004-04-30 2012-11-11 Hillcrest Lab Inc Free space pointing devices and methods
ES2664472T3 (es) 2004-04-30 2018-04-19 Idhl Holdings, Inc. Dispositivos de señalización de espacio libre con compensación de inclinación y facilidad de uso mejorada
US7296007B1 (en) 2004-07-06 2007-11-13 Ailive, Inc. Real time context learning by software agents
US7263462B2 (en) 2004-07-30 2007-08-28 Ailive, Inc. Non-disruptive embedding of specialized elements
US7613610B1 (en) 2005-03-14 2009-11-03 Escription, Inc. Transcription data extraction
US7918732B2 (en) 2005-05-06 2011-04-05 Milton Charles Van Noland Manifold compatibility electronic omni axis human interface
US7927216B2 (en) * 2005-09-15 2011-04-19 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US7620316B2 (en) 2005-11-28 2009-11-17 Navisense Method and device for touchless control of a camera
US7834850B2 (en) 2005-11-29 2010-11-16 Navisense Method and system for object control
US7636645B1 (en) 2007-06-18 2009-12-22 Ailive Inc. Self-contained inertial navigation system for interactive control using movable controllers
JP4481280B2 (ja) * 2006-08-30 2010-06-16 富士フイルム株式会社 画像処理装置、及び画像処理方法
US8277316B2 (en) * 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
GB0622451D0 (en) 2006-11-10 2006-12-20 Intelligent Earth Ltd Object position and orientation detection device
US7636697B1 (en) 2007-01-29 2009-12-22 Ailive Inc. Method and system for rapid evaluation of logical expressions
US7937243B2 (en) 2007-08-03 2011-05-03 Ailive, Inc. Method and apparatus for non-disruptive embedding of specialized elements
US20090221368A1 (en) 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8419545B2 (en) 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
US8655622B2 (en) * 2008-07-05 2014-02-18 Ailive, Inc. Method and apparatus for interpreting orientation invariant motion

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000033184A (ja) * 1998-05-14 2000-02-02 Masanobu Kujirada 全身動作入力型のゲ―ム及びイベント装置
JP2000200088A (ja) * 1998-12-29 2000-07-18 Nagase & Co Ltd カラオケ装置
JP2000315259A (ja) * 1999-05-06 2000-11-14 Sharp Corp データベース作成装置及びデータベース作成プログラムを記録した記録媒体
JP2002006874A (ja) * 2000-06-27 2002-01-11 Sharp Corp 音声処理装置、動画像処理装置、音声・動画像処理装置及び音声・動画像処理プログラムを記録した記録媒体
JP2002042168A (ja) * 2000-07-31 2002-02-08 Taito Corp 踊り映像強調合成装置

Also Published As

Publication number Publication date
EP1593096B1 (en) 2009-09-23
EP1593096A1 (en) 2005-11-09
US9881382B2 (en) 2018-01-30
KR100965348B1 (ko) 2010-06-22
DE60329424D1 (de) 2009-11-05
US9177387B2 (en) 2015-11-03
TW200415527A (en) 2004-08-16
US20180158196A1 (en) 2018-06-07
AU2003279810A1 (en) 2004-09-06
KR20050099547A (ko) 2005-10-13
CN1764931A (zh) 2006-04-26
CN100409261C (zh) 2008-08-06
US10410359B2 (en) 2019-09-10
TWI274295B (en) 2007-02-21
JP2006514366A (ja) 2006-04-27
WO2004072909A1 (en) 2004-08-26
US20160027188A1 (en) 2016-01-28
US20040155962A1 (en) 2004-08-12
AU2003279810B2 (en) 2008-06-19
ATE443903T1 (de) 2009-10-15

Similar Documents

Publication Publication Date Title
JP4723863B2 (ja) リアルタイムのモーション・キャプチャ方法および装置
JP6938542B2 (ja) 組込みセンサと外界センサとを組み合わせる多関節トラッキングのための方法およびプログラム製品
US10324522B2 (en) Methods and systems of a motion-capture body suit with wearable body-position sensors
EP2585896B1 (en) User tracking feedback
CN107315470B (zh) 图形处理方法、处理器和虚拟现实系统
JP5865357B2 (ja) アバター・ジェスチャーの表示制限
EP1636762B1 (en) System and method for providing a real-time three-dimensional interactive environment
KR101751078B1 (ko) 애니메이션 또는 모션들을 캐릭터에 적용하는 시스템 및 방법
US8866898B2 (en) Living room movie creation
JP3530772B2 (ja) 複合現実感装置及び複合現実空間画像の生成方法
US20120327194A1 (en) Motion capture from body mounted cameras
US20200086219A1 (en) Augmented reality-based sports game simulation system and method thereof
CN113709411A (zh) 一种mr智能眼镜基于眼动追踪技术的体育辅助训练系统
US11103771B1 (en) Motion capture compression suit
CN206819290U (zh) 一种虚拟现实多人互动的系统
CN112837339B (zh) 基于运动捕捉技术的轨迹绘制方法及装置
US20240005600A1 (en) Nformation processing apparatus, information processing method, and information processing program
JP2000258123A (ja) 画像処理装置および方法、並びに提供媒体
Voglhuber Hand simulation for virtual climbing
JP2022050776A (ja) 人体部位追跡方法及び人体部位追跡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061006

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090615

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091007

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091019

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100223

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100423

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100714

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100818

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20101124

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110408

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140415

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4723863

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term