JP4381371B2 - 画像処理方法及び記録媒体 - Google Patents

画像処理方法及び記録媒体 Download PDF

Info

Publication number
JP4381371B2
JP4381371B2 JP2005351271A JP2005351271A JP4381371B2 JP 4381371 B2 JP4381371 B2 JP 4381371B2 JP 2005351271 A JP2005351271 A JP 2005351271A JP 2005351271 A JP2005351271 A JP 2005351271A JP 4381371 B2 JP4381371 B2 JP 4381371B2
Authority
JP
Japan
Prior art keywords
dimensional
color
image processing
processing method
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2005351271A
Other languages
English (en)
Other versions
JP2006178948A5 (ja
JP2006178948A (ja
Inventor
エル．マークス リチャード
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of JP2006178948A publication Critical patent/JP2006178948A/ja
Publication of JP2006178948A5 publication Critical patent/JP2006178948A5/ja
Application granted granted Critical
Publication of JP4381371B2 publication Critical patent/JP4381371B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、コンピュータビジョンシステムに関し、より具体的には、ビデオカメラによってオブジェクトを捕捉し、カメラ画像の解析によってオブジェクトに関する画像の部分を分離させ、さらに、オブジェクトの位置および方向を三次元空間にマッピングするシステムに関する。オブジェクトの三次元的な情報はメモリに格納され、ビデオ画面上のシーンにおける仮想オブジェクトのレンダリング等、ゲームプログラムにおけるアクションの制御に用いられる。
デジタルビデオカメラを用いて動いているオブジェクトを捕捉すること、また、このビデオカメラによって取り込まれたビデオ画像を処理して様々な画面を表示させることは公知の技術である。一例として、Ｓｅｇｅｎを発明者とする特許文献１（以下、Ｓｅｇｅｎ特許という）にはスポーツのイベントをアニメーションにする方法が開示されている。本発明は、このＳｅｇｅｎ特許を参照することによって、その開示内容を本明細書中に組み込んだものとする。この方法によれば、競技中のテニスボールの位置が複数のビデオカメラによって捕捉され、テニスコートにおける三次元的なポイントとカメラの視野の中のデジタル画像における二次元的なポイント（画素）との関連を示す一組の数式が用いられている。特定のデジタル画像において示されたボールを構成する各画素の位置は、競技に使用されているボールの具体的な三次元的な位置に関連付けられ、各ビデオ画像を三角形分割することによって、衝撃が加えられていない状態のボールの運動セグメントを示す軌跡式に、ボールの位置を合わせるように、一連の画像フレームが最小２乗法を用いて分析される。
Ｓｅｇｅｎ特許においてある程度説明されているが、オブジェクトの位置と運動に関する三次元的な情報が求められれば、本技術分野において公知となっている様々な方法を用いてオブジェクトの動作をアニメーションとして再現することができる。このような方法においては、ビデオゲームにおいてオブジェクトのアニメーションを適切に作り出すためのプログラムが用いられる。
つまり、Ｓｅｇｅｎ特許は、一定期間内に取り込まれた複数の二次元的なビデオ画像に基づいて運動中のオブジェクトの三次元的な位置を求めるようにしている。「現実」のオブジェクトの三次元的な位置を求めることができれば、この情報を用いて、ゲームプログラマに一般的に知られている様々な方法により、ゲームプログラムを制御することが可能となる。
しかしながら、Ｓｅｇｅｎ特許のシステムは、三角形分割を用いた分析に基づいてオブジェクトに関する位置情報を得るものであるため、複数のビデオカメラを必要とする。さらに、Ｓｅｇｅｎ特許によって検出されるオブジェクトは、単純な球体であるため、空間内におけるオブジェクトの方向の位置情報（例えば、傾き）を含んでいない。従って、Ｓｅｇｅｎ特許のシステムでは、オブジェクトが動いている場合であっても静止している場合であっても、一つのビデオカメラを使った二次元的なビデオ画像に基づいてオブジェクトの位置および方向を再現することができない。
ゲームプログラムは、通常、三次元的な幾何学的形状を組み合わせた仮想オブジェクトを用いている。ゲームプログラムの実行中、各オブジェクト間の三次元的な情報（位置および方向）は、ジョイスティック、ゲームコントローラ等の入力装置を用いて入力された制御入力パラメータによって決定される。仮想的なオブジェクトの三次元的な位置および情報は、背景設定、照明設定、さらに、陰影付け等を行った後、二次元的な画面に投影され、ゲーム機のレンダリング処理機能によって三次元的な遠近感のあるシーンが作り出される。
例として、画面に表示されている動画の一部として「現実」のオブジェクトの動作に従って動作する「仮想オブジェクト」を想定する。仮想オブジェクトを表示するために、算出された三次元的な情報は、ゲーム機のメモリ空間内で「仮想オブジェクト」の位置および方向の決定に用いられ、画像のレンダリングが公知の投影処理によって行われ、三次元的な情報が、遠近感のあるリアルな画像として画面に表示される。
しかしながら、上述した技術においては、種々の問題によって、オブジェクトの捕捉が成功しないことがある。即ち、対象となっているオブジェクトに明らかに対応するビデオ画像の画素のみを正確に抽出する際に、特に重大な問題がある。例えば、オブジェクトが単色であり、かつ、このオブジェクトの色とは大幅に異なる単色を背景に用いているような場合であれば、オブジェクトの動きを捕捉することは比較的容易である。しかしながら、オブジェクトに鮮やかな色が用いられていても、背景に複数の色が用いられていたり、背景が動いていたりしているのであれば、オブジェクトの捕捉は容易ではない。また、照明の条件が変更されれば、ビデオカメラによって捕捉されるオブジェクトの見かけの色に大きな影響が及ぼされる。従って、特定の色のオブジェクトを検出するようなオブジェクトの検出方法では、大きな誤差が生じやすく、照明条件の変更に伴い、常時、再較正を行わなければならない。ビデオゲームプログラムを一般的な家庭で使用するには、従来のオブジェクトを捕捉するためのコンピュータビジョンシステムの柔軟性かつ信頼性を飛躍的に高める必要がある。
米国特許第６，０７２，５０４号明細書
本発明は、操作されたオブジェクトに対応すると識別された画素群の二次元的な情報を三次元空間にマッピングすることによって、一台のビデオカメラの画像から三次元におけるオブジェクトの三次元的な情報、即ち、位置および方向の情報を得る画像処理方法及び記録媒体を提供することにある。
また、本発明の目的は、操作されたオブジェクトの回転成分を含むオブジェクトの三次元的な情報を得る画像処理方法及び記録媒体を提供することにある。
さらに、本発明の別の目的は、オブジェクトの三次元的な位置および方向の情報を求める際に必要な情報を得るために、ビデオ画像から操作されたオブジェクトに対応する画素群がはっきりと認識されるように、画素群を最も識別しやすくなるようなオブジェクトの色を色遷移に基づいて決定する画像処理方法及び記録媒体を提供することにある。
第１の本発明に係る画像処理方法は、メモリと表示部とを有する処理ユニットと、該処理ユニットに接続された一台のビデオカメラと、前記ビデオカメラによって捕捉されるオブジェクトとを有するシステムにて使用され、前記ビデオカメラによって捕捉された前記オブジェクトの二次元的な画素情報を前記処理ユニットに供給するステップと、前記二次元的な画素情報から前記オブジェクトに対応する少なくとも一つの画素群を抽出するステップと、前記少なくとも一つの画素群に基づいて二次元的な幾何学的形状を定義するための一組の領域情報を求めるステップと、前記一組の領域情報に基づいて、前記二次元的な幾何学的形状を幾何学的な数値による三次元的に定義されたデータにマッピングすることによって、前記オブジェクトの位置および方向に対応する三次元における前記幾何学的な数値の情報を得るステップと、前記三次元に定義されたデータを前記メモリに格納するステップとを含む画像処理方法であって、さらに、第１の色からなる前記オブジェクトを、第２の色からなる背景から捕捉するステップと、前記第１及び第２の色を、色空間における色相環中の色クロミナンス座標として検出するステップと、前記色空間により定義される前記色相環において、所定の傾きθを有する直径に対し、前記第１及び第２のクロミナンス座標によって定義される各ポイントから法線方向にラインを投影するステップと、前記ラインそれぞれが前記直径と交差する各ポイント間の距離Ｄを算出するステップと、前記算出された距離Ｄが所定の閾値を越える画素を特定するステップとを含むことを特徴とする。
この場合、前記ビデオ画像において、複数の画素からなる前記オブジェクトを特定するステップを含むようにしてもよい。また、前記所定の傾きθを有する前記直径を選択するステップを含むようにしてもよい。前記背景は複数の色で構成されていてもよい。前記背景は非静止状態にあってもよい。また、画素を特定した結果に基づき、前記オブジェクトの三次元的な位置情報を得るステップを含むようにしてもよい。前記距離Ｄが次の式によって算出されるようにしてもよい。
Ｄ＝［Ｃｒ 1 ・ｃｏｓθ＋Ｃｂ 1 ・ｓｉｎθ］−［Ｃｒ 2 ・ｃｏｓθ＋Ｃｂ 2 ・ｓｉｎθ］
第２の本発明に係る記録媒体は、メモリと表示部とを有する処理ユニットと、該処理ユニットに接続された一台のビデオカメラと、前記ビデオカメラによって捕捉されるオブジェクトとを有するシステムを、前記ビデオカメラによって捕捉された前記オブジェクトの二次元的な画素情報を前記処理ユニットに供給する手段、前記二次元的な画素情報から前記オブジェクトに対応する少なくとも一つの画素群を抽出する手段、前記少なくとも一つの画素群に基づいて二次元的な幾何学的形状を定義するための一組の領域情報を求める手段、前記一組の領域情報に基づいて、前記二次元的な幾何学的形状を幾何学的な数値による三次元的に定義されたデータにマッピングすることによって、前記オブジェクトの位置および方向に対応する三次元における前記幾何学的な数値の情報を得る手段、前記三次元に定義されたデータを前記メモリに格納する手段、として機能させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、前記プログラムは、前記システムを、さらに、第１の色からなる前記オブジェクトを、第２の色からなる背景から捕捉する手段、前記第１及び第２の色を、色空間における色相環中の色クロミナンス座標として検出する手段、前記色空間により定義される前記色相環において、所定の傾きθを有する直径に対し、前記第１及び第２のクロミナンス座標によって定義される各ポイントから法線方向にラインを投影する手段、前記ラインそれぞれが前記直径と交差する各ポイント間の距離Ｄを算出する手段、前記算出された距離Ｄが所定の閾値を越えるような画素を特定する手段として機能させることを特徴とする記録媒体である。
この場合、前記プログラムは、前記システムを、さらに、ビデオ画像において、複数の画素からなる前記オブジェクトを特定する手段として機能させるようにしてもよい。また、前記プログラムは、前記システムを、さらに、画素を特定した結果に基づき、前記オブジェクトの三次元的な位置情報を得る手段として機能させるようにしてもよい。また、前記距離Ｄが次の式によって算出されるようにしてもよい。
Ｄ＝［Ｃｒ 1 ・ｃｏｓθ＋Ｃｂ 1 ・ｓｉｎθ］−［Ｃｒ 2 ・ｃｏｓθ＋Ｃｂ 2 ・ｓｉｎθ］
また、前記オブジェクトがらせん状の無地のストライプが付けられた無地のシリンダからなり、前記ストライプの色と前記シリンダの色とが異なっており、前記画素群の抽出ステップにおいて前記ストライプに対応する少なくとも一つの画素群が抽出され、さらに、前記オブジェクトの回転度を求めるための所定のアルゴリズムを実行するステップを含むようにしてもよい。
この場合、前記オブジェクトの回転度を求めるための所定のアルゴリズムを実行するステップが、前記シリンダに対応する画素群を抽出するステップと、前記ストライプに対応する画素群に基づいてらせんＨを定義するステップと、前記シリンダに対応する画素群の中心線を求めるステップと、前記シリンダに対応する抽出された画素群の端部と、前記中心線が前記らせんＨに交差する該らせんＨ上のポイントとの間の高さｈを求めるステップとを含み、前記シリンダの回転度を前記シリンダに対応する画素群の全長ｌに対する前記高さｈの比に基づいて求めるようにしてもよい。
次に、本発明に係る色の選択方法は、二次元的な色空間において定義されるクロミナンス座標（Ｃｒ，Ｃｂ）を用いて色を検出するビデオカメラおよび画像処理システムを用いて捕捉されるオブジェクトに適用される色の選択方法において、前記色空間において、各座標（Ｃｒ1，Ｃｂ1）および（Ｃｒ2，Ｃｂ2）によって定義される少なくとも二つの色を有するオブジェクトを前記ビデオカメラによって捕捉するステップと、前記色空間によって定義される色相環上で所定の傾きθを有する直径を選択するステップと、前記座標（Ｃｒ1，Ｃｂ1）および（Ｃｒ2，Ｃｂ2）によって定義される各ポイントから一対のラインを前記直径に対して法線方向に投影させるステップと、前記ラインが前記直径に投影された各ポイント間の距離Ｄを算出するステップと、前記算出された距離Ｄが所定の閾値を超えるような色のみを検出に適した色として選択するステップとを含むことを特徴とする。
この場合、前記距離Ｄが次の式によって算出されるようにしてもよい。
Ｄ＝［Ｃｒ1・ｃoｓθ＋Ｃｂ1・ｓｉｎθ］−［Ｃｒ2・ｃoｓθ＋Ｃｂ2・ｓｉｎθ］
次に、本発明に係る入力装置は、ストライプが付けられたシリンダ本体と、ハンドルとからなる入力装置であって、前記ストライプの色と前記シリンダ本体の色とが異なる色であり、少なくとも前記ストライプに対応する画素群とシリンダ本体に対応する画素群とからなる二次元的な画像データをカメラを介して画像処理ユニットに入力することによって三次元的なデータを入力することが可能なことを特徴とする。
この場合、前記ストライプがらせん状であり、前記シリンダ本体の軸を中心とする回転データを入力するようにしてもよい。
次に、本発明に係る三次元オブジェクトの動作を入力する方法は、ストライプが付けられたシリンダ本体と、ハンドルとからなる三次元オブジェクトを操作するステップと、前記三次元オブジェクトの動作をカメラで捕捉して少なくとも前記シリンダ本体に対応する画素群と前記ストライプに対応する画素群とからなる二次元的な画像データを得るステップと、前記二次元的な画像データを解析して前記オブジェクトの三次元的なデータを算出するステップとを含むことを特徴とする。
この場合、前記ストライプがらせん状であり、前記二次元的な画像データの解析ステップが、前記シリンダ本体に対応する画素群と前記ストライプに対応する画素群との関係を解析して前記シリンダ本体の軸を中心とする回転に関するデータを算出するステップを含むようにしてもよい。
次に、本発明に係る三次元オブジェクトの動作を入力するシステムは、ストライプが付けられたシリンダ本体からなる入力装置と、前記入力装置の動作を捕捉するカメラと、画像処理ユニットとからなり、前記カメラが前記入力装置の動作を捕捉して前記シリンダ本体に対応する画素群と前記ストライプに対応する画素群とからなる二次元的な画像データを前記画像処理ユニットに供給し、前記画像処理ユニットが前記二次元的な画像データを解析して前記入力装置の動作に基づく三次元的なデータを算出することを特徴とする。
この場合、前記ストライプがらせん状であり、前記画像処理ユニットが前記シリンダ本体に対応する画素群と前記ストライプに対応する画素群との関係を解析して前記シリンダ本体の軸を中心とする回転に関するデータを算出するようにしてもよい。
本発明の上述した目的、特徴および利点、さらに、その他の目的、特徴および利点は、本発明の好ましい実施の形態が例示された添付図面および以下の説明を併せ鑑みることによって良好に理解されるであろう。
以上説明したように、本発明によれば、以下の効果を奏することができる。
（１） ビデオゲームプログラムに適したオブジェクト捕捉システム、例えばオブジェクト、即ち、入力装置として機能する柱状オブジェクトの位置および方向を捕捉してゲームプログラムにおけるアクションを実行させることが可能なオブジェクト捕捉システムを提供することができる。
（２） 従来のジョイスティックに代替するゲームのためのインタフェースを提供することができる。
（３） 操作されたオブジェクトに対応すると識別された画素群の二次元的な情報を三次元空間にマッピングすることによって、一台のビデオカメラの画像から三次元におけるオブジェクトの三次元的な情報、即ち、位置および方法を提供することができる。
（４） 操作されたオブジェクトの回転成分を含むオブジェクトの三次元的な情報を提供することができる。
（５） オブジェクトの三次元的な位置および方向の情報を求める際に必要な情報を得るために、ビデオ画像から操作されたオブジェクトに対応する画素群がはっきりと認識されるように、画素群を最も識別しやすくなるようなオブジェクトの色を色遷移に基づいて決定する技法を提供することができる。
本発明に係る柱状入力装置について好適な実施の形態を挙げ、添付の図面を参照しながら以下詳細に説明する。
図１は、ビデオゲーム機６０の要部の構成を示すブロック図である。このビデオゲーム機６０は、操作可能なオブジェクト（柱状オブジェクト）を従来の入力装置に代替して使用するために適したものである。
ビデオゲーム機６０は、図１に示す本発明に係るエンタテインメントシステム１１０の一部を構成している。ビデオゲーム機６０は、エンタテインメントシステム１１０の全体を制御するマイクロプロセッサ（ＭＰＵ）１１２と、種々のプログラムを実行し、データを記憶するメインメモリ１１４と、ジオメトリ処理に必要な浮動少数点ベクトル演算を行うベクトル演算ユニット１１６と、ＭＰＵ１１２による制御に基づいてデータを生成するイメージプロセッサ１２０と、ＣＲＴ等のビデオ信号を出力するモニタ８０と、ＭＰＵ１１２やベクトル演算ユニット１１６とイメージプロセッサ１２０との間の転送バスを介してデータの媒介等を行うグラフィックインタフェース（ＧＩＦ）１２２と、周辺機器とのデータの送受信を可能にする入出力ポート１２４と、カーネル等を制御するために、例えば、フラッシュメモリからなるＯＳＤ機能を内蔵したＲＯＭ（ＯＳＤＲＯＭ）１２６と、カレンダー機能およびタイマー機能を有するリアルタイムクロック１２８（ＲＴＣ）とを備える。
メインメモリ１１４、ベクトル演算ユニット１１６、ＧＩＦ１２２、ＯＳＤＲＯＭ１２６、ＲＴＣ１２８、および入出力ポート１２４は、データバス１３０を介してＭＰＵ１１２に接続されている。
データバス１３０には、画像データを取得するために圧縮された動画像やテクスチャ画像を展開する圧縮画像デコーダ（ＩＰＵ）１３８が接続されている。例えば、ＩＰＵ１３８は、標準的なＭＰＥＧ２形式に従ったビットストリームを復号してデータを取得する機能、マクロブロックの復号を行う機能、逆離散コサイン変換を行う機能、色空間変換を行う機能、さらに、ベクトル量子化を行う機能等を有する。
サウンドシステムは、ＭＰＵ１１２の指示に従って音楽的なエフェクト、または他のサウンドエフェクトを生成するサウンド処理ユニット（ＳＰＵ）１７１と、ＳＰＵ１７１によって波形データが記録されるサウンドバッファ１７３と、ＳＰＵ１７１によって生成された音楽的なエフェクト、または他のサウンドエフェクトを出力するスピーカ１７５とを含む。スピーカ１７５は、モニタ８０に組み込むようにしてもよいし、音声出力端子に接続された外部スピーカであってもよい。
また、データバス１３０には、本発明のデジタルコンテンツの入力を可能にするための、デジタルデータの入出力機能を有する通信インタフェース１４０が接続されている。この通信インタフェース１４０には、モデム５０やネットワークカード等を接続することができる。例えば、この通信インタフェース１４０を介してネットワーク上でサーバの端末にユーザの入力データを送信したり、ステータスデータをサーバの端末から受信したりすることが可能である。入出力ポート１２４には、キー入力データや座標データ等のデータをエンタテインメントシステム１１０に入力するための入力装置１３２（コントローラとも記す）と、各種プログラムおよびデータ（オブジェクトデータ、テクスチャデータ等）が記録されたＣＤ−ＲＯＭ等、光ディスク７０のコンテンツを再生するための光ディスクドライブ１３６とが接続されている。
本発明においては、この入力装置１３２に加えて、または、入力装置１３２に代替するものとして、デジタルビデオカメラ１９０が入出力ポート１２４に接続されている。入出力ポート１２４は、一個の入力インタフェースであってもよく、複数の入力インタフェースであってもよい。また、入出力ポート１２４は、シリアルインタフェースであってもよく、ＵＳＢインタフェースであってもよい。この利便性の高いＵＳＢ入力インタフェース、または他の従来のインタフェースを利用することによってデジタルビデオカメラ１９０の使用が可能となる。
上述したイメージプロセッサ１２０は、レンダリングエンジン１７０と、メモリインタフェース１７２と、画像メモリ１７４と、プログラマブルＣＲＴコントローラ等のディスプレイコントローラ１７６とを含む。
レンダリングエンジン１７０は、ＭＰＵ１１２によって与えられたレンダリングコマンドに従って、メモリインタフェース１７２を通じて画像メモリ１７４内で所定の画像データのレンダリングを行う。
第１バス１７８は、メモリインタフェース１７２とレンダリングエンジン１７０との間を接続し、第２バス１８０は、メモリインタフェース１７２と画像メモリ１７４との間を接続している。第１バス１７８および第２バス１８０は、それぞれ、例えば１２８ビットのビット幅を有し、レンダリングエンジン１７０は、画像メモリ１７４上でレンダリングを高速に行うことが可能である。
レンダリングエンジン１７０は、３２０×２４０画素または６４０×４８０画素の画像データ、もしくは、例えば標準的なＮＴＳＣ方式やＰＡＬ方式に準拠した画像データをリアルタイムで、即ち、１／６０秒毎〜１／３０秒毎に１０〜数十回のレンダリングを行うことが可能である。
画像メモリ１７４は、ユニファイドメモリ構造を採用しており、テクスチャレンダリング領域とディスプレイレンダリング領域とを同一の領域に設定することが可能である。
ディスプレイコントローラ１７６は、光ディスク７０から光ディスクドライブ１３６によって読み出したテクスチャデータ、または、メインメモリ１１４上で作成されたテクスチャデータを、画像メモリ１７４のテクスチャレンダリング領域にメモリインタフェース１７２を介して書き込み、画像メモリ１７４のディスプレイレンダリング領域でレンダリングされた画像データを、メモリインタフェース１７２を介して読み出し、この画像データをモニタ８０に出力してスクリーン上で表示することができるように構成されている。
次に、図２を参照し、柱状のオブジェクトを持ったユーザが、デジタルビデオカメラの正面でこのオブジェクトを操作してビデオゲーム内のアクションを発生させるシステム全体の構成を説明する。
図２に示すように、この柱状オブジェクトとして、通常は黒い色のハンドル３０３と色彩が鮮やかな（例えば飽和色の）シリンダ３０１とからなる棒状のオブジェクトを用いることができる。ユーザは、ソニーコンピュータエンタテインメント社によって製造された「プレイステーション２（商標名）」等のゲーム機の入出力ポート１２４に接続されたＵＳＢウエブカメラ（Webcam）やデジタルカムコーダ（camcorder）等のデジタルビデオカメラ１９０の前に立つ。ユーザがデジタルビデオカメラ１９０の前でオブジェクトを動かすと、オブジェクトのシリンダ３０１の特徴がデジタルビデオカメラ１９０によって検出され、シリンダ３０１のみに対応する画素群を分離して識別するために、後述する処理が行われる。まず、三次元空間における位置や方向等のシリンダ（オブジェクト）３０１に関する三次元的なデータが算出されてビデオゲーム機６０のメインメモリ１１４に格納される。次に、公知のレンダリング技術によってオブジェクトに関する三次元的なデータに基づいてモニタ８０の画面上に表示されているゲームプログラム内でのアクションが実行される。例えば、ユーザによる現実のオブジェクトの動作に対応して、トーチ等の仮想的なオブジェクトをゲームシーンの中で動かすことができる。ユーザがオブジェクトを動かすことによって、オブジェクトの位置や方向が変更され、メインメモリ１１４に格納されたオブジェクトのデータ、画像メモリ１７４のレンダリング領域内でのオブジェクトのレンダリングが継続的に更新され、モニタ８０上の仮想的なオブジェクト、即ち、トーチの位置や方向も変更される。
上述したように、必要な情報はオブジェクト（図２の場合はシリンダ３０１）の三次元的なデータである。しかしながら、デジタルビデオカメラ１９０によって捕捉される画像は、オブジェクトについての二次元的な画素情報でしかない。また、三次元的なオブジェクトのデータを算出する前に、オブジェクト自体に関する画素を識別することが必要である。
図３は、柱状オブジェクトがユーザによって操作される際に、この柱状オブジェクトに対応する画素群を捕捉して識別するために用いられる機能を示すブロック図である。各ブロックによって示された機能は、ビデオゲーム機６０のＭＰＵ１１２によって実行されるソフトウエアによって行われることが理解されよう。また、図３のブロックによって示されている全ての機能が用いられるものではない。特に、色遷移による位置の特定は、後述する図６Ａおよび図６Ｂに関係する実施の形態においてのみ用いられる。
まず、デジタルビデオカメラ１９０から入力された画素データは、入出力インタフェース（入出力ポート）１２４を通じてビデオゲーム機６０に供給され、以下の処理の実行が可能となる。図３に示すように、最初に、例えば、ラスタ毎に画像の各画素がサンプリングされると、色細分化処理（ステップＳ２０１）が行われる。この色細分化処理において、各画素の色が決定され、画像が異なる色の種々の二次元的なセグメントに分割される。次に、実施の形態によっては、色遷移による位置の特定（ステップＳ２０３）が行われる。この色遷移による位置の特定において、異なる色のセグメントが隣接している領域がより具体的に特定され、画像においてはっきりとした色遷移が起こった位置が定義される。次に、実施の形態によっては、ジオメトリ処理（ステップＳ２０５）が行われる。このジオメトリ処理は、エッジ検出処理、または、領域情報を得るための計算処理によって行われ、対象となっているオブジェクトのエッジに対応する輪郭線、曲線、および／またはポリゴンが代数的にもしくは幾何学的に定義される。例えば、図２に示すシリンダ３０１の場合、画素領域は、シリンダ３０１の正面図に対応する概ね矩形状になる。この矩形状の画素領域の代数的または幾何学的な情報によって、オブジェクトのみに対応する画素群の中心、幅、長さ、さらに、二次元的な方向を定義することが可能となる。
ステップＳ２０７において、本発明の好ましい実施の形態に関連して後述するアルゴリズムに従って、オブジェクトの三次元的な位置および方向が計算される。
最後に、三次元的な位置と方向のデータは、性能の向上のために、カルマンフィルタによって処理される（ステップＳ２０９）。このプロセスは、ある時間内にオブジェクトが移動する予定のポイントを推定し、あり得ないと推定される真のデータ集合から外れた偽の測定結果を除去するために行われるものである。また、カルマンフィルタ処理を行う別の理由は、デジタルビデオカメラ１９０が３０Ｈｚで画像を生成するのに対し、通常のディスプレイが６０Ｈｚで動作することから、この周波数の差、即ち、データ間のギャップを補償してゲームプログラムの中でのアクションを制御するためである。カルマンフィルタ処理によって離散データのスムージングを行うことはコンピュータビジョンの分野では公知となっているため、これ以上の詳細な説明は行わないものとする。
図４Ａに示すように、柱状のオブジェクトは、無地で単色のシリンダ３０１であり、好ましくは黒のハンドル３０３に取り付けられている。三次元空間においてオブジェクトの位置および方向を完全に定義するためには、所定のポイントｐ（通常はオブジェクトの中心）のＸ−Ｙ平面での位置および奥行き値ｚ（即ち、ポイントｐのＺ軸上での位置）、また、少なくとも２つの異なる平面におけるオブジェクトの角度情報、例えば、Ｘ−Ｙ平面における傾きθとＹ−Ｚ平面における傾きφが決定されなければならない。シリンダ３０１の実際上の物理的な長さおよび直径、カメラの焦点距離の情報は、スケーリングに用いることもできるが、ゲームプログラムにおけるアクションのプログラミングに必要なものではない。なぜならば、画面上の仮想オブジェクトは、柱状オブジェクト（シリンダ３０１）と同じ長さや直径を有している必要がなく、異なる形状であってもよいからである。
次に、図４Ｂを参照して説明する。図４Ｂは、デジタルビデオカメラ１９０によって生成されたオブジェクトの二次元的な画像３０５を示している。シリンダ状のオブジェクト３０１は、概ね矩形の画素群３０７としてビデオ画像３０５の中に取り込まれる。しかしながら、画素群３０７の長さｌによって定義される方向に沿った幅は、オブジェクトがφ方向の傾きや、デジタルビデオカメラ１９０と柱状オブジェクトの距離の影響を受けるため、変化していてもよい。オブジェクトのφ方向の傾きは、ビデオ画像３０５では直接には視認できないことが理解されよう。
上述したジオメトリ処理（ステップＳ２０５）に従って画素群３０７の長さ、中心点等を決定するためには、公知の領域情報計算法が用いられる。領域情報には、領域、重心、Ｘ軸を中心とするモーメント、Ｙ軸を中心とするモーメント、その他の重要な各モーメント、重要な各モーメントの角度等が含まれ、これらの情報は、通常、特定の軸を中心とするオブジェクトの慣性モーメントを計算するために用いられる。例えば、Ｘ軸とＹ軸を中心とするモーメントを求める場合には、画素群を構成する各画素が薄い均質なシートまたは薄板を構成するある均一な質量ｍの粒子に対応していれば、座標平面に存在するｎ個の粒子（画素）の座標系におけるＸ軸とＹ軸を中心とするモーメントＭｘは次の式によって定義される。
Figure 0004381371
座標系における質量の中心は、以下の式によって定義されるポイント（ｘ，ｙ）に位置する。
Figure 0004381371
また、薄板が、図４Ｂに示す矩形や、後述する図５Ｂに示す円形のように、幾何学的な図形中心を有する形状であると仮定すると、薄板の質量の中心は、幾何学的な図形中心に相当する。つまり、例えば、画素領域の二次元的な形状が矩形であるというように、画素領域の領域情報が分かっていれば、幅、高さ、さらに、方向を直接計算することができる。円形のものについても、中心点や半径を求める際に、同様の計算を行うことが可能である。矩形や円形のものについての代表的な計算方法は、標準的な大学レベルの微積分や物理のテキストに記載されている。
ビデオ画像３０５がＸ−Ｙ平面で既に表現されたため、ビデオ画像３０５から直接的に中心点ｐのｘ座標とｙ座標を求めることができる。また、角度θの値は、シリンダ３０１に対応する画素群３０７の長手方向の軸によって定義される方向を示すラインＬの情報が分かっていれば、上述したジオメトリ処理（ステップＳ２０５）を用いてビデオ画像３０５から直接求めることができる。通常、長手方向のラインＬとして、中心点ｐを通るものが用いられる。
傾きφの値を求めるためには、幾らかの他の情報、即ち、少なくとも２つの異なる位置での画素群の幅Ｗ1およびＷ2に関する情報が必要となる。画素群の幅ｗ1、ｗ2の値の比ｗ1：ｗ2を用いることによって傾きφを求めることができる。より具体的には、シリンダ３０１が、下端側よりも上端側がデジタルビデオカメラ１９０により近づくように傾斜している場合、シリンダ３０１の下端側がデジタルビデオカメラ１９０から離れているため、画像の画素群の幅ｗ2の値は、幅ｗ1の値よりも大きくなる。逆に、シリンダ３０１が、上端側よりも下端側がデジタルビデオカメラ１９０により近づくように傾斜している場合、シリンダ３０１の上端側がデジタルビデオカメラ１９０から離れているため、画像の画素群の幅ｗ1の値は、幅ｗ2の値よりも大きくなる。画素群の幅ｗ1、ｗ2の比率ｗ2／ｗ1は、Ｙ−Ｚ平面上のシリンダ３０１の傾きφに比例する。従って、この比率ｗ2／ｗ1を用いて傾きφの値の大きさを求めることができる。通常、より精度の高い値を得るために、画素群３０７の端辺の間で複数の等距離測定が行われ、平均値を用いて比率ｗ2／ｗ1が求められる。
奥行き値ｚはいろいろな方法によって求められる。しかしながら、二次元的な画素群３０７を構成する画素の大きさと数は、オブジェクトのφ方向への傾きと、デジタルビデオカメラ１９０からオブジェクトまでの実際の距離との双方の影響を受ける。より具体的には、オブジェクトがφ方向に傾くと、デジタルビデオカメラ１９０から見えるオブジェクトの見かけ上の長さは短くなるため、画素群３０７の長さｌも短くなる。さらに、Ｚ軸に沿ってデジタルビデオカメラ１９０からオブジェクトが離れると、長さｌを含め、オブジェクト全体の見かけの大きさは小さくなる。従って、単に長さｌだけをデジタルビデオカメラ１９０とオブジェクト間の距離を示す指標であるとみなすことはできない。つまり、奥行き値ｚは、長さｌと傾きφとの関数によって求める必要がある。
しかしながら、傾きφの値が分かっている場合であれば、ｌをφで重み付けした値を求めることができる。ｌをφで重み付けした値をｌφとし、φが一定であると仮定すれば、画像における画素の長さｌφは、オブジェクトがデジタルビデオカメラ１９０に近づいたり、デジタルビデオカメラ１９０から遠ざかったりすることによって変化する。ｌφは奥行き値ｚに比例するため、ｌφによって奥行き値ｚを求めることができる。
奥行き値ｚを求める別の方法は、画素群３０７のうち、オブジェクトに対応する画素の合計数を数えることによって行われる。オブジェクトがデジタルビデオカメラ１９０に近づいたり、デジタルビデオカメラ１９０から遠ざかったりすると、奥行き値ｚに比例して、ピクセル群３０７を構成する画素の数も多くなったり少なくなったりする。しかしながら，画素群３０７の画素の数は、φ方向の傾きに影響されるため、まず、画素の数Ｎをφで重み付けすることによって重み付けされた値Ｎφを求める必要がある。Ｎφは奥行き値ｚに比例するため、Ｎφによって奥行き値ｚを求めることができる。
奥行き値ｚを求める別の効果的な方法は、矩形（画素群）の平均幅ｗavgを用いることである。矩形の平均幅ｗavgは、矩形の幅を特定の回数だけ測定した後、測定値の合計を測定回数で割ることによって得ることができる。画素群の平均幅は、奥行き値ｚだけでなく、シリンダの傾きφの影響も受けることは明らかであろう。また、画素群の合計の長さと平均幅との比（ｌ：ｗavg）によってφを求めることもできる。さらに、画素幅ｗ1とｗ2の値の大きさを比較することによっても傾きφを求めることができる。
図５Ａは、別の実施の形態（第２の実施の形態）において使用される柱状オブジェクトを示している。また、図５Ｂは、図５Ａの柱状オブジェクトの三次元的な情報、即ち、柱状オブジェクトの位置および方向を二次元的なビデオ画像３０５から求める方法を示している。
第２の実施の形態に係る柱状オブジェクトは、図４Ａに示された第１の実施の形態に係る柱状オブジェクトと同様に、シリンダ状（棒状）のオブジェクトであるが、シリンダ３０１の一端部には、シリンダ３０１の色とは異なる色の球体オブジェクト３０９が固着されている。また、図示はしないが、シリンダ３０１の末端を若干突出させて球体オブジェクト３０９の上端から視認できるようにしてもよい。後述するように、球体オブジェクト３０９を設けることによって、奥行き値ｚおよびφ方向のオブジェクトの傾きを簡単に求めることができるようになる。奥行き値ｚを求めるために、シリンダ３０１の相対的な幅の測定を行うことが不要となり、傾きφを重み付けすることも不要となる。
図５Ｂに示すように、球体オブジェクト３０９に対応する画素群３１１は二次元的な円として画像上で表現される。本実施の形態によれば、円の半径Ｒおよび中心点ＰSは、上述した領域情報の計算によって求めることができる。さらに、この場合、円の画素群３１１を構成する画素の合計数は、円の画素領域によって計算することができる。円形の画素領域は、球体オブジェクト３０９がデジタルビデオカメラ１９０に近づくほど大きくなり、デジタルビデオカメラ１９０から遠ざかるほど小さくなることが理解されよう。円を構成する画素群３１１の画素の合計数は、奥行き値ｚに比例しているため、奥行き値ｚを求めることができる。
第２の実施の形態によれば、第１の実施の形態におけるシリンダとは異なり、円形の画素群の形状と大きさは、傾きφの角度の影響を受けないことが理解されよう。即ち、オブジェクト全体がφ方向に傾いた場合であっても、球体オブジェクト３０９および画素群３１１は、概ね同種の形状を維持し、シリンダ３０１の場合（長さ）とは異なり、傾きによって短くなるようなことがない。従って、画像における円を構成する画素群のピクセルの合計数は常に奥行き値ｚに比例しており、奥行き値ｚを求めるために、第１の実施の形態のように傾きφによる重み付けを行うことが不要となるという利点がある。
また、第１の実施の形態と同様に、θ方向のオブジェクトの傾きは、画像から直接求めることができる。即ち、θ方向のオブジェクトの傾きは、シリンダ３０１に対応する画素群３０７の長手方向の中心線とＹ軸との間の角度θによって求めることができる。
φ方向の傾きは、第１の実施の形態の方法とは別の方法によって求められる。即ち、上述したように求められた奥行き値ｚと、円３１１の中心点ＰSとシリンダ３０１に対応する画素群３０７の中心点Ｐとの間の長さｌとによって求められる。奥行き値ｚがどのような値であれ、決まった値であれば、デジタルビデオカメラ１９０から見た長さｌは、オブジェクトがφ方向に傾くにつれて短くなる。従って、奥行き値ｚが分かっていれば、長さｌによって簡単にφ方向の傾きの度合いを求めることができ、図４Ａおよび図４Ｂで示した第１の実施の形態のように相対的な幅の値や幅の比率を計算することが不要となる。
図６Ａは、本発明のさらに別の実施の形態に係る柱状オブジェクトを示している。
図６Ａに示すように、柱状オブジェクトは、概ねシリンダ状の本体３０１からなる。さらに、このシリンダ３０１には、該シリンダ３０１とは異なる色の三つのストライプＳ1、Ｓ2およびＳ3が付けられている。好ましくは、このストライプＳ1、Ｓ2およびＳ3は、同じ幅を有し、シリンダ３０１の両端と中央に等間隔で付けられている。
この実施の形態によれば、画像から抽出されたシリンダ３０１を構成する画素群には、二次元的なラインが形成されており、この二次元的なラインによって色の遷移を確認することができる。奥行き値ｚ、角度θおよび傾きφの値を求めるために、シリンダ３０１の長手方向によって定義されるラインＬに沿って発生する色遷移の位置が求められる。
即ち、図６Ｂに示すように、ラインＬにおいてはっきりとした色の遷移が起きている位置を特定するために、デジタルビデオカメラ１９０から見た場合の、シリンダ３０１の長手方向に沿ったラインＬに対応する画素群のサンプリングを行う必要がある。特に、このような色遷移を検出するために、デジタルビデオカメラ１９０から出力されるＹＣｒＣｂ信号中のクロミナンス値ＣｒおよびＣｂが検出される。ストライプの色を選択するための基準において、以下に説明する理由のため、シリンダ３０１、さらに、ストライプＳ1、Ｓ2およびＳ3の各色のクロミナンス信号ＣｒおよびＣｂをピタゴラスの距離を用いて合成することによって得られた合成クロミナンス値Ｄを用いることが好ましい。合成クロミナンス値Ｄは次の式によって求められる。
Figure 0004381371
このようにして、デジタルビデオカメラ１９０によって使用される二次元的なクロミナンス色空間における分離度を定義することができる。
後述する合成クロミナンス値Ｄが最大になる色を選択することによって、閾値Ｄtを決めることが可能となる。合成クロミナンス値Ｄの値が閾値Ｄtより大きくなるような、特定の分離度を越えている場合にのみ、ストライプＳ1、Ｓ2およびＳ3に対応する色遷移が検出される。従って、このような閾値Ｄtを用いることによってシリンダ３０１のラインＬに沿った画素がフィルタにかけられ、ストライプＳ1、Ｓ2およびＳ3に対応する大きな色遷移が検出される。
図６Ｂに示すように、ラインＬに沿って色遷移が発生している各位置で、各ストライプＳ1、Ｓ2およびＳ3に対応する２つのスパイクが検出される。これらのスパイクの中心点がストライプの位置であるとみなされる。ストライプの位置が決定されると、ストライプ間の長さ（距離）ｌ1およびｌ2が求められる。シリンダ全体の長さはｌ1とｌ2の合計である。
次に、ストライプ間の長さ（距離）ｌ1とｌ2のデータに基づいて、三次元オブジェクトの位置と方向に関する情報を得るために必要な奥行き値ｚ、角度θおよび傾きφの値を求める方法について説明する。
まず、シリンダ３０１の全長に渡って連続する画素によって定義されるラインＬのデータが既に求められており、また、デジタルビデオカメラ１９０がＸ−Ｙ平面に対して法線方向に向いていると仮定すると、上述した実施の形態の場合と基本的に同じように、角度θは、シリンダ３０１の長手方向のラインＬとＹ軸との間の角度であるとみなして直接的に求めることができる。
φ方向の傾きを求めるためには、長さの比ｌ1：ｌ2が用いられる。例えば、シリンダ３０１がデジタルビデオカメラ１９０に向かってφ方向に傾いているような場合、シリンダ３０１の上端は下端よりもデジタルビデオカメラ１９０に近くなっている。つまり、長さｌ2よりも長さｌ1の方がデジタルビデオカメラ１９０に近くなっているため、長さｌ1の方が長くなる。長さｌ1および１2は、オブジェクトとデジタルビデオカメラ１９０との間の距離ｚに依存するが、角度φが一定であれば、これらの長さの比ｌ1：ｌ2は不変であるため、常にこの比ｌ1：ｌ2を指標としてφ方向のシリンダ３０１の傾きを求めることができる。
奥行き値ｚは、第１の実施の形態の場合と同じような方法で求めることができる。全体の長さｌ（ｌ＝ｌ1＋ｌ2）をφで重み付けした値ｌφを求めれば、奥行き値ｚを得ることができる。即ち、まず、オブジェクトの見かけ上の全体の長さｌに対する傾き（角度）φの影響度が求められる。この傾き（角度）φの影響度によって適切に重み付けを行った全体の長さは、オブジェクトとデジタルビデオカメラ１９０との間の距離（奥行き値）ｚと比例しているため、奥行き値ｚを求めることができる。
より簡単に言えば、傾きφは長さｌ1とｌ2の比によって求められ、傾きφの値が求められれば、奥行き値ｚは、長さｌ1とｌ2の合計によって求めることができる。
次に、図７を参照して柱状オブジェクトの回転成分を求める方法について説明する。この方法は、らせん状のストライプＳHを柱状オブジェクトに付けることによって、上述した実施の形態のいずれにも適用することができる。
上述した捕捉方法は、オブジェクトが有する６つの自由度のうちの５つを得るために用いられる。残りの１つの自由度は、シリンダ３０１の軸を中心とする回転である。シリンダ３０１は軸を中心に対称に形成されているため、シリンダ３０１の回転を求めることは困難であるように思われる。シリンダ３０１の回転成分を得るために本発明において採用した方法は、らせん状のストライプＳHを用いることである。このストライプＳHは、シリンダ３０１に単に一回だけ巻き付けられる。シリンダ３０１が回転した際、ストライプＳHの高さがシリンダの回転角度に対応する。
具体的には、図７に示すように、シリンダ３０１（図５Ａおよび図５Ｂの場合であれば、柱状オブジェクトのシリンダ部分）に一本のらせん状のストライプＳHが一回だけ巻き付けられる。らせん状のストライプＳHに関する情報は、該らせん状のストライプＳHを構成する画素群３１３全体から、または、らせん状のストライプＳHに対応する色遷移を用いて抽出される。このらせん状のストライプＳHに関する情報によって、上述したジオメトリ処理を用いてストライプＳHに最も適合したらせんＨを求めることができる。
また、らせんＨのほか、上述した方法によって、シリンダ３０１に対応する画素群３１３の中心線Ｌが求められる。さらに、画素群３１３の全体の長さｌが求められる。
シリンダ３０１の回転度を求めるため、各部位における高さｈ（説明の簡略化のため、ｈ1およびｈ2のみを図示している）が求められる。これらの高さｈは、シリンダ３０１の一端と中心線ＬがらせんＨに交差するポイントＰａとの間の距離によって定義される。
図７の右側に示すように、デジタルビデオカメラ１９０側からはシリンダ３０１の片側（正投影された状態）しか一度に見ることができない。従って、カメラ画像から領域を抽出してらせんＨを求めた上、このらせんＨに基づいてシリンダ３０１の回転角度が求められる。図７において、回転がない（回転成分が０である）と仮定した場合、シリンダ３０１の一端（下端）かららせんＨ上のあるポイントＰａまでが第１の高さｈ1で示されている。オブジェクトが４５度回転した場合、下端かららせんＨのポイントで交差するまでの中心線Ｌの高さｈ2はより短くなる。図７の一番右には、オブジェクトを９０度回転させた場合が示されている。この場合、中心線ＬがらせんＨと２つのポイントＰａ、Ｐａで交差するという、特別な状態になる。このように、中心線Ｌの高さを計算することによって、シリンダ３０１（またはシリンダ３０１に固着されて回転するほかのオブジェクト）の回転成分を求めることができる。
回転を求めるために用いられる具体的な数値は、画素群３１３の全体の長さｌに対する下端かららせんＨ上のポイントＰａまでの高さの比によって求められる。この比を用いて得られた数値ｋ（ｋ＝ｈmax／ｌ）によって直接０〜３６０度の範囲の回転を求めることができる。従って、オブジェクトに関する追加の情報として、三次元空間におけるシリンダ３０１の方向の情報を求めることができる。このような情報は、例えば、ゲームプログラムによって表示される仮想オブジェクトの回転の制御に用いることができる。
次に、図８Ａおよび図８Ｂを参照し、図６Ａおよび図６Ｂに示した実施の形態におけるストライプの色を決定する方法について説明する。具体的には、図８Ａは、輝度と、色相および彩度の動径座標とによって定義される色空間を示すダイアグラムである。輝度は、色の明るさまたは強度によって定義され、色相は、スペクトル分布の主波長の変化によって定義され、彩度は、ある波長でのスペクトル分布の密度によって定義される。
また、図８Ｂは、デジタルビデオカメラ１９０の出力信号（クロミナンス信号ＣｒおよびＣｂ）に対応する二次元的なクロミナンス色空間を示している。当業者であれば、デジタルビデオカメラ１９０がビデオ画像を構成する各画素の色を制御するための信号を出力することを理解できよう。図８Ａの色相環図に示すように、色は、色相と彩度に対応する各動径座標によって定義される。しかしながら、動径座標を用いることによってコンピュータによる画像処理を複雑にする必要はない。より有用なＹＣｒＣｂ方式による別の基準を用いて色を定義することもできる。この方法は、ビデオ業界において色を表す際に、最も一般的に用いられている方法である。ＹＣｒＣｂ方式は、一つのルマ（ｌｕｍａ）成分Ｙと２つのクロミナンス成分ＣｒおよびＣｂとによって各色を表すものである。Ｙは、明度や輝度に概ね相当するものであり、ＣｒやＣｂは概ね色相に相当するものである。これらの成分は、国際電気通信連合のＩＴＵ−Ｒ勧告 ＢＴ．６０１−４（アスペクト比が４：３の標準方式と１６：９のワイドスクリーン方式のためのデジタルテレビジョンのスタジオ符号化パラメータ）において厳格に定義されている。従って、各画素のクロミナンス信号ＣｒとＣｂは、デカルト座標によって定義され、このデカルト座標を特定の色相および彩度に対応する色相環内での位置を決定するために用いることができる。
本発明によれば、ストライプＳ1、Ｓ2およびＳ3の色およびシリンダの色は、デジタルビデオカメラ１９０によってストライプを最も検出しやすくなるように決められる。色ベースによる捕捉は、照明の違いによって見かけの色が変化するという大きな問題がある。結果として、例えば、ある照明の下でオブジェクトに相当する青の色を検出しようとする場合、カメラによって捉えられる青の色が変化するため、オブジェクトの正確な検出が困難である。本発明においては、絶対的な色を検出するのではなく、色の遷移を検出するため、より信頼性の高い色の捕捉を行うことができる。例えば、図６Ａおよび図６Ｂに示された実施の形態において、シリンダ３０１の色が青であり、ストライプＳ1、Ｓ2およびＳ3の色がオレンジである場合、照明の条件が変わって見かけの色が変化しても、図６Ｂに示すように、これらの色の遷移ははっきりとしたままである。
上述したように、デジタルビデオカメラ１９０は、図８Ｂに示す二次元的なクロミナンス色空間を用いてデータを捕捉する。この色空間内で、色の分離度Ｄが最大となるようにオブジェクトとストライプの色を決定することによって、色遷移の検出性能が大幅に向上する。
具体的には、図８Ｂに示すように、彩度の高い青とオレンジの色は、色相環の概ね正反対端に位置しており、色空間において、距離Ｄが大きく離れている。実際の距離Ｄは、既に式（４）において説明したように、辺ΔＣｒ（青とオレンジの２つの色に対応する各クロミナンス信号値Ｃｒの差）と辺ΔＣｂ（青とオレンジの２つの色に対応する各クロミナンス信号値Ｃｂの差）を有する三角形の斜辺として、即ち、実際の距離Ｄは、（ΔＣｒ）2＋（ΔＣｂ）2の平方根として計算される。
青とオレンジの組み合わせを例に挙げて説明したが、他の色の組み合わせでもよいことが理解されよう。例えば、同じように色空間内で距離が大きく離れている緑とマゼンタを用いることもできる。即ち、この方法は、色空間で色の分離度が最大になるようにクロミナンス信号ＣｒおよびＣｂを用いて色を決定するための一般的な基準を提供するものである。
つまり、２つの色の間の距離の計算方法および色の決定方法は、２つの色の距離が、色相の車輪（色相環）における特定のスポーク（直径）に投影される距離として計算されるように行われる。まず、特定の傾き（角度）θを有する色相の車輪（色相環）のスポーク（直径）が決められる。色相環において決定された直径の傾きを決めることによって、検出されるべき色遷移を決めることができる。例えば、緑を（１、１）とし、マゼンタを（−１、−１）とすると、スポークの直径は４５度の傾き（角度）θに設定される。次に、色の分離度（距離）は、各色を４５度のラインに投影することによって計算される。このように、緑とマゼンタの場合、算出される距離は、上述したピタゴラスの距離Ｄと全く同じになる。しかしながら、直径（ライン）の方向が４５度である場合、青とオレンジの距離はゼロになる。なぜならば、青とオレンジは原点に投影されるからである。即ち、４５度に直径のラインが決められた場合、緑とマゼンタが検出に最適な色となる。なぜならば、この直径では、緑とマゼンタが色空間において分離度が最大になるからである。
従って、０〜１８０度の範囲から決められる特定の角度θにおいて、２つの色（Ｃｒ1、Ｃｂ1）および（Ｃｒ2、Ｃｂ2）の分離度は、次の式によって求められる。
Figure 0004381371
従って、式（５）によって計算される距離は、角度θによって定義される所定の方向に基づいて閾値Ｄtを設定するためにも用いられる。例えば、実際に、オブジェクトの色遷移が緑とマゼンタである場合、上述した一般的な距離計算方法を用いて、この式における角度θを４５度に決めて閾値Ｄtを設定できる。
本明細書において、ビデオカメラの前で操作される現実のオブジェクトの位置および方向をカメラによって取り込まれたオブジェクトの二次元的な画像を三次元空間にマッピングすることによって求める幾つかの方法について説明した。オブジェクトの位置や方向などの三次元的な情報は、ゲームプログラムにおけるアクションの制御に用いられる。
ゲームプログラムの制御に関する一つのわかりやすい例は、ゲームの画面上に表示される動画の一部をなす「仮想オブジェクト」を「現実」のオブジェクトの動作や位置に対応させることであるが、三次元的な情報は、当業者であれば考案可能な他の異なる方法でのゲームプログラムの制御にも用いられることが理解できよう。例えば、操作によるオブジェクトの位置や方向の変化をサウンドプロセッサによって生み出されるサウンドのボリューム、トーン、ピッチ、リズム等に関連付けて「テレミン」のような音楽効果を生み出すこともできる。このような音楽的な音声効果、または、リズムによる音声効果をゲーム機のスクリーンに表示される視覚的な効果と併せて用いることによって、ユーザ（例えばゲームプレイヤ）が体感する効果を高めるようにしてもよい。
本発明の範囲と精神から逸脱することなく、この明細書に記載された実施の形態の内容を当業者によって改変または変形できることが、容易に理解できよう。従って、請求の範囲は、この明細書中に記載された内容に限定されるものではなく、当業者によって均等であると合理的に判断されるような特徴の全てを包含するものと解釈するべきである。
デジタルビデオカメラからの入力の受信に適したビデオゲーム機の要部の構成例を示すブロック図である。 ゲームプログラムのビデオ画面上でアクションを発生させるための、デジタルビデオカメラの前での補助入力装置としてのハンドヘルド柱状オブジェクトの動作を示す図である。 ユーザによって操作される柱状オブジェクトの捕捉および識別に必要な機能を示すブロック図である。 図４Ａは、本発明の実施の形態に係る柱状入力装置を示す図であり、図４Ｂは、図４Ａに示す柱状入力装置に対応するシリンダの二次元的な画素データを三次元空間にマッピングする方法を示す図である。 図５Ａは、本発明の別の実施の形態に係る柱状入力装置を示す図であり、図５Ｂは、図５Ａに示す柱状入力装置に対応する球体およびシリンダの結合体の二次元的な画素データを三次元空間にマッピングする方法を示す図である。 図６Ａは、本発明のさらに別の実施の形態に係る柱状入力装置を示す図であり、図６Ｂは、図６Ａに示す柱状入力装置に対応するシリンダに付けられたストライプの二次元的な画素データをストライプの色遷移に基づいて三次元空間にマッピングする方法を示す図である。 らせん状のストライプが付けられた柱状入力装置を示し、また、本発明の別の実施の形態における柱状入力装置の回転成分を求める原理を説明する図である。 図８Ａおよび図８Ｂは、操作されるオブジェクトに付けられたストライプの色に基づいて最も検出しやすい色遷移を決めるための原理を示す二次元的なクロミナンス色空間の説明図である。
符号の説明
５０…モデム ６０…ビデオゲーム機
７０…光ディスク ８０…モニタ
１１０…エンタテインメントシステム １１２…ＭＰＵ
１１４…メインメモリ １１６…ベクトル演算ユニット
１２０…イメージプロセッサ １２２…ＧＩＦ
１２４…入出力ポート １２６…ＯＳＤＲＯＭ
１２８…ＲＴＣ １３０…データバス
１３２…入力装置 １３６…光ディスクドライブ
１３８…ＩＰＵ １４０…通信インタフェース
１７０…レンダリングエンジン １７１…ＳＰＵ
１７２…メモリインタフェース １７３…サウンドバッファ
１７４…画像メモリ １７５…スピーカ
１７６…ディスプレイコントローラ １７８…第１バス
１８０…第２バス １９０…デジタルビデオカメラ
３０１…シリンダ ３０３…ハンドル
３０５…画像 ３０７、３１１、３１３…画素群
３０９…球体オブジェクト

Claims (11)

  1. メモリと表示部とを有する処理ユニットと、該処理ユニットに接続された一台のビデオカメラと、前記ビデオカメラによって捕捉されるオブジェクトとを有するシステムにて使用され、
    前記ビデオカメラによって捕捉された前記オブジェクトの二次元的な画素情報を前記処理ユニットに供給するステップと、
    前記二次元的な画素情報から前記オブジェクトに対応する少なくとも一つの画素群を抽出するステップと、
    前記少なくとも一つの画素群に基づいて二次元的な幾何学的形状を定義するための一組の領域情報を求めるステップと、
    前記一組の領域情報に基づいて、前記二次元的な幾何学的形状を幾何学的な数値による三次元的に定義されたデータにマッピングすることによって、前記オブジェクトの位置および方向に対応する三次元における前記幾何学的な数値の情報を得るステップと、
    前記三次元に定義されたデータを前記メモリに格納するステップとを含む画像処理方法であって、
    さらに、第１の色からなる前記オブジェクトを、第２の色からなる背景から捕捉するステップと、
    前記第１及び第２の色を、色空間における色相環中の色クロミナンス座標として検出するステップと、
    前記色空間により定義される前記色相環において、所定の傾きθを有する直径に対し、前記第１及び第２のクロミナンス座標によって定義される各ポイントから法線方向にラインを投影するステップと、
    前記ラインそれぞれが前記直径と交差する各ポイント間の距離Ｄを算出するステップと、
    前記算出された距離Ｄが所定の閾値を越える画素を特定するステップとを含むことを特徴とする画像処理方法。
  2. 請求項１記載の画像処理方法において、
    前記ビデオ画像において、複数の画素からなる前記オブジェクトを特定するステップを含むことを特徴とする画像処理方法。
  3. 請求項１記載の画像処理方法において、
    前記所定の傾きθを有する前記直径を選択するステップを含むことを特徴とする画像処理方法。
  4. 請求項１記載の画像処理方法において、
    前記背景は複数の色で構成されることを特徴とする画像処理方法。
  5. 請求項１記載の画像処理方法において、
    前記背景は非静止状態にあることを特徴とする画像処理方法。
  6. 請求項１記載の画像処理方法において、
    画素を特定した結果に基づき、前記オブジェクトの三次元的な位置情報を得るステップを含むことを特徴とする画像処理方法。
  7. 請求項１記載の画像処理方法において、
    前記距離Ｄが次の式によって算出されることを特徴とする画像処理方法。
    Ｄ＝［Ｃｒ1・ｃｏｓθ＋Ｃｂ1・ｓｉｎθ］−［Ｃｒ2・ｃｏｓθ＋Ｃｂ2・ｓｉｎθ］
  8. メモリと表示部とを有する処理ユニットと、該処理ユニットに接続された一台のビデオカメラと、前記ビデオカメラによって捕捉されるオブジェクトとを有するシステムを、
    前記ビデオカメラによって捕捉された前記オブジェクトの二次元的な画素情報を前記処理ユニットに供給する手段、
    前記二次元的な画素情報から前記オブジェクトに対応する少なくとも一つの画素群を抽出する手段、
    前記少なくとも一つの画素群に基づいて二次元的な幾何学的形状を定義するための一組の領域情報を求める手段、
    前記一組の領域情報に基づいて、前記二次元的な幾何学的形状を幾何学的な数値による三次元的に定義されたデータにマッピングすることによって、前記オブジェクトの位置および方向に対応する三次元における前記幾何学的な数値の情報を得る手段、
    前記三次元に定義されたデータを前記メモリに格納する手段、
    として機能させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
    前記プログラムは、前記システムを、さらに、第１の色からなる前記オブジェクトを、第２の色からなる背景から捕捉する手段、
    前記第１及び第２の色を、色空間における色相環中の色クロミナンス座標として検出する手段、
    前記色空間により定義される前記色相環において、所定の傾きθを有する直径に対し、前記第１及び第２のクロミナンス座標によって定義される各ポイントから法線方向にラインを投影する手段、
    前記ラインそれぞれが前記直径と交差する各ポイント間の距離Ｄを算出する手段、
    前記算出された距離Ｄが所定の閾値を越えるような画素を特定する手段として機能させることを特徴とする記録媒体。
  9. 請求項８記載の記録媒体において、
    前記プログラムは、前記システムを、さらに、ビデオ画像において、複数の画素からなる前記オブジェクトを特定する手段として機能させることを特徴とする記録媒体。
  10. 請求項８記載の記録媒体において、
    前記プログラムは、前記システムを、さらに、画素を特定した結果に基づき、前記オブジェクトの三次元的な位置情報を得る手段として機能させることを特徴とする記録媒体。
  11. 請求項８記載の記録媒体において、
    前記距離Ｄが次の式によって算出されることを特徴とする記録媒体。
    Ｄ＝［Ｃｒ1・ｃｏｓθ＋Ｃｂ1・ｓｉｎθ］−［Ｃｒ2・ｃｏｓθ＋Ｃｂ2・ｓｉｎθ］
JP2005351271A 2000-07-21 2005-12-05 画像処理方法及び記録媒体 Expired - Lifetime JP4381371B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US09/621,578 US6795068B1 (en) 2000-07-21 2000-07-21 Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2001220048A Division JP3901960B2 (ja) 2000-07-21 2001-07-19 ゲームプログラムにおけるアクションを制御するために二次元カメラ画像から三次元空間にオブジェクトをマッピングする方法

Publications (3)

Publication Number Publication Date
JP2006178948A JP2006178948A (ja) 2006-07-06
JP2006178948A5 JP2006178948A5 (ja) 2007-01-18
JP4381371B2 true JP4381371B2 (ja) 2009-12-09

Family

ID=24490736

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2001220048A Expired - Lifetime JP3901960B2 (ja) 2000-07-21 2001-07-19 ゲームプログラムにおけるアクションを制御するために二次元カメラ画像から三次元空間にオブジェクトをマッピングする方法
JP2005351271A Expired - Lifetime JP4381371B2 (ja) 2000-07-21 2005-12-05 画像処理方法及び記録媒体

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2001220048A Expired - Lifetime JP3901960B2 (ja) 2000-07-21 2001-07-19 ゲームプログラムにおけるアクションを制御するために二次元カメラ画像から三次元空間にオブジェクトをマッピングする方法

Country Status (3)

Country Link
US (4) US6795068B1 (ja)
EP (1) EP1176559A3 (ja)
JP (2) JP3901960B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10786736B2 (en) 2010-05-11 2020-09-29 Sony Interactive Entertainment LLC Placement of user information in a game space

Families Citing this family (224)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7899511B2 (en) * 2004-07-13 2011-03-01 Dexcom, Inc. Low oxygen in vivo analyte sensor
US9155496B2 (en) 1997-03-04 2015-10-13 Dexcom, Inc. Low oxygen in vivo analyte sensor
AUPQ363299A0 (en) * 1999-10-25 1999-11-18 Silverbrook Research Pty Ltd Paper based information inter face
US6795068B1 (en) * 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
ATE472771T1 (de) * 2001-05-24 2010-07-15 Tecey Software Dev Kg Llc Optische busanordnung für ein computersystem
US8364229B2 (en) * 2003-07-25 2013-01-29 Dexcom, Inc. Analyte sensors having a signal-to-noise ratio substantially unaffected by non-constant noise
US10022078B2 (en) 2004-07-13 2018-07-17 Dexcom, Inc. Analyte sensor
US7613491B2 (en) 2002-05-22 2009-11-03 Dexcom, Inc. Silicone based membranes for use in implantable glucose sensors
US8260393B2 (en) 2003-07-25 2012-09-04 Dexcom, Inc. Systems and methods for replacing signal data artifacts in a glucose sensor data stream
US7497827B2 (en) * 2004-07-13 2009-03-03 Dexcom, Inc. Transcutaneous analyte sensor
US8010174B2 (en) 2003-08-22 2011-08-30 Dexcom, Inc. Systems and methods for replacing signal artifacts in a glucose sensor data stream
US7161579B2 (en) 2002-07-18 2007-01-09 Sony Computer Entertainment Inc. Hand-held computer interactive device
US8797260B2 (en) 2002-07-27 2014-08-05 Sony Computer Entertainment Inc. Inertially trackable hand-held controller
US7623115B2 (en) 2002-07-27 2009-11-24 Sony Computer Entertainment Inc. Method and apparatus for light input device
US7646372B2 (en) 2003-09-15 2010-01-12 Sony Computer Entertainment Inc. Methods and systems for enabling direction detection when interfacing with a computer program
US7883415B2 (en) 2003-09-15 2011-02-08 Sony Computer Entertainment Inc. Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion
US7102615B2 (en) * 2002-07-27 2006-09-05 Sony Computer Entertainment Inc. Man-machine interface using a deformable device
US8313380B2 (en) 2002-07-27 2012-11-20 Sony Computer Entertainment America Llc Scheme for translating movements of a hand-held controller into inputs for a system
US7760248B2 (en) 2002-07-27 2010-07-20 Sony Computer Entertainment Inc. Selective sound source listening in conjunction with computer interactive processing
US9474968B2 (en) 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
US8570378B2 (en) 2002-07-27 2013-10-29 Sony Computer Entertainment Inc. Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera
US9393487B2 (en) 2002-07-27 2016-07-19 Sony Interactive Entertainment Inc. Method for mapping movements of a hand-held controller to game commands
US8686939B2 (en) 2002-07-27 2014-04-01 Sony Computer Entertainment Inc. System, method, and apparatus for three-dimensional input control
US7782297B2 (en) 2002-07-27 2010-08-24 Sony Computer Entertainment America Inc. Method and apparatus for use in determining an activity level of a user in relation to a system
US9682319B2 (en) 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
JP2004199496A (ja) * 2002-12-19 2004-07-15 Sony Corp 情報処理装置および方法、並びにプログラム
WO2004063884A2 (en) * 2003-01-09 2004-07-29 Evolution Robotics, Inc. Computer and vision-based augmented interaction in the use of printed media
US9177387B2 (en) 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US8072470B2 (en) 2003-05-29 2011-12-06 Sony Computer Entertainment Inc. System and method for providing a real-time three-dimensional interactive environment
MXPA06000720A (es) * 2003-07-18 2006-08-23 Baxter Int Metodos para fabricacion, usos y composiciones de particulas esfericas pequenas preparadas por separacion de fase controlada.
US7761130B2 (en) 2003-07-25 2010-07-20 Dexcom, Inc. Dual electrode system for a continuous analyte sensor
US20070208245A1 (en) * 2003-08-01 2007-09-06 Brauker James H Transcutaneous analyte sensor
US7519408B2 (en) * 2003-11-19 2009-04-14 Dexcom, Inc. Integrated receiver for continuous analyte sensor
US8845536B2 (en) * 2003-08-01 2014-09-30 Dexcom, Inc. Transcutaneous analyte sensor
US8160669B2 (en) * 2003-08-01 2012-04-17 Dexcom, Inc. Transcutaneous analyte sensor
US20190357827A1 (en) 2003-08-01 2019-11-28 Dexcom, Inc. Analyte sensor
US9135402B2 (en) 2007-12-17 2015-09-15 Dexcom, Inc. Systems and methods for processing sensor data
US8886273B2 (en) 2003-08-01 2014-11-11 Dexcom, Inc. Analyte sensor
US7591801B2 (en) 2004-02-26 2009-09-22 Dexcom, Inc. Integrated delivery device for continuous glucose sensor
US7778680B2 (en) 2003-08-01 2010-08-17 Dexcom, Inc. System and methods for processing analyte sensor data
US20100168542A1 (en) 2003-08-01 2010-07-01 Dexcom, Inc. System and methods for processing analyte sensor data
US7920906B2 (en) 2005-03-10 2011-04-05 Dexcom, Inc. System and methods for processing analyte sensor data for sensor calibration
US20140121989A1 (en) 2003-08-22 2014-05-01 Dexcom, Inc. Systems and methods for processing analyte sensor data
US8287373B2 (en) 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US8323106B2 (en) 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US9573056B2 (en) 2005-10-26 2017-02-21 Sony Interactive Entertainment Inc. Expandable control device via hardware attachment
US10279254B2 (en) 2005-10-26 2019-05-07 Sony Interactive Entertainment Inc. Controller having visually trackable object for interfacing with a gaming system
US7285047B2 (en) * 2003-10-17 2007-10-23 Hewlett-Packard Development Company, L.P. Method and system for real-time rendering within a gaming environment
US8133115B2 (en) 2003-10-22 2012-03-13 Sony Computer Entertainment America Llc System and method for recording and displaying a graphical path in a video game
US9247900B2 (en) 2004-07-13 2016-02-02 Dexcom, Inc. Analyte sensor
US8423114B2 (en) 2006-10-04 2013-04-16 Dexcom, Inc. Dual electrode system for a continuous analyte sensor
EP1711790B1 (en) 2003-12-05 2010-09-08 DexCom, Inc. Calibration techniques for a continuous analyte sensor
US8287453B2 (en) 2003-12-05 2012-10-16 Dexcom, Inc. Analyte sensor
US11633133B2 (en) 2003-12-05 2023-04-25 Dexcom, Inc. Dual electrode system for a continuous analyte sensor
US8774886B2 (en) 2006-10-04 2014-07-08 Dexcom, Inc. Analyte sensor
US8364231B2 (en) 2006-10-04 2013-01-29 Dexcom, Inc. Analyte sensor
CA2455359C (en) * 2004-01-16 2013-01-08 Geotango International Corp. System, computer program and method for 3d object measurement, modeling and mapping from single imagery
US7663689B2 (en) 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US8808228B2 (en) 2004-02-26 2014-08-19 Dexcom, Inc. Integrated medicament delivery device for use with continuous analyte sensor
US8277713B2 (en) * 2004-05-03 2012-10-02 Dexcom, Inc. Implantable analyte sensor
US20050245799A1 (en) * 2004-05-03 2005-11-03 Dexcom, Inc. Implantable analyte sensor
WO2005119356A2 (en) 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method
US8886272B2 (en) 2004-07-13 2014-11-11 Dexcom, Inc. Analyte sensor
US8547401B2 (en) 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
US20060046851A1 (en) * 2004-08-24 2006-03-02 Hewlett-Packard Development Company, L.P. Remote gaming and projection
US20060071933A1 (en) 2004-10-06 2006-04-06 Sony Computer Entertainment Inc. Application binary interface for multi-pass shaders
US8842186B2 (en) 2004-10-25 2014-09-23 I-Interactive Llc Control system and method employing identification of a displayed image
US8456534B2 (en) 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
US8760522B2 (en) 2005-10-21 2014-06-24 I-Interactive Llc Multi-directional remote control system and method
US7796116B2 (en) 2005-01-12 2010-09-14 Thinkoptics, Inc. Electronic equipment for handheld vision based absolute pointing system
US20060262188A1 (en) * 2005-05-20 2006-11-23 Oded Elyada System and method for detecting changes in an environment
US7636126B2 (en) 2005-06-22 2009-12-22 Sony Computer Entertainment Inc. Delay matching in audio/video systems
US9285897B2 (en) * 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
US7822270B2 (en) * 2005-08-31 2010-10-26 Microsoft Corporation Multimedia color management system
US7426029B2 (en) 2005-08-31 2008-09-16 Microsoft Corporation Color measurement using compact device
US7573620B2 (en) * 2005-09-01 2009-08-11 Microsoft Corporation Gamuts and gamut mapping
US8274714B2 (en) * 2005-11-30 2012-09-25 Microsoft Corporation Quantifiable color calibration
TWI286484B (en) * 2005-12-16 2007-09-11 Pixart Imaging Inc Device for tracking the motion of an object and object for reflecting infrared light
US9757061B2 (en) 2006-01-17 2017-09-12 Dexcom, Inc. Low oxygen in vivo analyte sensor
JP4530419B2 (ja) 2006-03-09 2010-08-25 任天堂株式会社 座標算出装置および座標算出プログラム
US20070216711A1 (en) * 2006-03-14 2007-09-20 Microsoft Corporation Microsoft Patent Group Abstracting transform representations in a graphics API
US7965859B2 (en) 2006-05-04 2011-06-21 Sony Computer Entertainment Inc. Lighting control of a user environment via a display device
EP3711828B1 (en) * 2006-05-04 2023-03-15 Sony Interactive Entertainment LLC Scheme for detecting and tracking user manipulation of a game controller body and for translating movements thereof into inputs and game commands
US7880746B2 (en) 2006-05-04 2011-02-01 Sony Computer Entertainment Inc. Bandwidth management through lighting control of a user environment via a display device
US8766983B2 (en) 2006-05-07 2014-07-01 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
US7573489B2 (en) 2006-06-01 2009-08-11 Industrial Light & Magic Infilling for 2D to 3D image conversion
US7573475B2 (en) 2006-06-01 2009-08-11 Industrial Light & Magic 2D to 3D image conversion
US8013838B2 (en) 2006-06-30 2011-09-06 Microsoft Corporation Generating position information using a video camera
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US8013869B2 (en) * 2006-09-13 2011-09-06 Adobe Systems Incorporated Color selection interface
US8310656B2 (en) 2006-09-28 2012-11-13 Sony Computer Entertainment America Llc Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen
US8781151B2 (en) 2006-09-28 2014-07-15 Sony Computer Entertainment Inc. Object detection using video input combined with tilt angle information
USRE48417E1 (en) 2006-09-28 2021-02-02 Sony Interactive Entertainment Inc. Object direction using video input combined with tilt angle information
US20080111789A1 (en) * 2006-11-09 2008-05-15 Intelligence Frontier Media Laboratory Ltd Control device with hybrid sensing system comprised of video-based pattern recognition and electronic signal transmission
JP2009134677A (ja) * 2007-02-28 2009-06-18 Fuji Xerox Co Ltd ジェスチャインターフェースシステム、ジェスチャ入力用ワンド、アプリケーション制御方法、カメラ校正方法、及び制御プログラム
JP2008219788A (ja) * 2007-03-07 2008-09-18 Toshiba Corp 立体画像表示装置、方法およびプログラム
US8154561B1 (en) 2007-03-22 2012-04-10 Adobe Systems Incorporated Dynamic display of a harmony rule list
EP2284664B1 (en) 2007-03-29 2012-10-31 Y.T. Ventures Ltd System and method for tracking an electronic device
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
US9536322B1 (en) 2007-05-15 2017-01-03 Peter Harmon Smith Implementation of multi-camera tracking applications using rich color transition curve target sequences
US9070192B1 (en) * 2007-05-15 2015-06-30 Vision Interface Technologies, LLC Implementing rich color transition curve tracking for applications
US20200037874A1 (en) 2007-05-18 2020-02-06 Dexcom, Inc. Analyte sensors having a signal-to-noise ratio substantially unaffected by non-constant noise
CA2688184A1 (en) 2007-06-08 2008-12-18 Dexcom, Inc. Integrated medicament delivery device for use with continuous analyte sensor
US8237656B2 (en) * 2007-07-06 2012-08-07 Microsoft Corporation Multi-axis motion-based remote control
GB2451461A (en) * 2007-07-28 2009-02-04 Naveen Chawla Camera based 3D user and wand tracking human-computer interaction system
US20090062002A1 (en) * 2007-08-30 2009-03-05 Bay Tek Games, Inc. Apparatus And Method of Detecting And Tracking Objects In Amusement Games
EP2227132B1 (en) 2007-10-09 2023-03-08 DexCom, Inc. Integrated insulin delivery system with continuous glucose sensor
US8417312B2 (en) 2007-10-25 2013-04-09 Dexcom, Inc. Systems and methods for processing sensor data
US8542907B2 (en) 2007-12-17 2013-09-24 Sony Computer Entertainment America Llc Dynamic three-dimensional object mapping for user-defined control device
US8290559B2 (en) 2007-12-17 2012-10-16 Dexcom, Inc. Systems and methods for processing sensor data
KR101335346B1 (ko) 2008-02-27 2013-12-05 소니 컴퓨터 엔터테인먼트 유럽 리미티드 장면의 심도 데이터를 포착하고, 컴퓨터 액션을 적용하기 위한 방법들
US8368753B2 (en) 2008-03-17 2013-02-05 Sony Computer Entertainment America Llc Controller with an integrated depth camera
EP2281228B1 (en) * 2008-05-26 2017-09-27 Microsoft International Holdings B.V. Controlling virtual reality
WO2009146359A1 (en) 2008-05-28 2009-12-03 Illinois Tool Works Inc. Welding training system
US8890952B2 (en) 2008-07-29 2014-11-18 Microsoft Corporation Imaging system
WO2010014069A1 (en) * 2008-07-31 2010-02-04 Sti Medical Systems, Llc Single spot focus control
WO2010051089A1 (en) * 2008-10-27 2010-05-06 Sony Computer Entertainment Inc Control device for communicating visual information
FR2939325B1 (fr) 2008-12-04 2015-10-16 Parrot Systeme de drones munis de balises de reconnaissance
US8961313B2 (en) 2009-05-29 2015-02-24 Sony Computer Entertainment America Llc Multi-positional three-dimensional controller
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
US8527657B2 (en) 2009-03-20 2013-09-03 Sony Computer Entertainment America Llc Methods and systems for dynamically adjusting update rates in multi-player network gaming
WO2010108499A2 (en) * 2009-03-22 2010-09-30 Algreatly Cherif Atia 3d navigation method and system
US8342963B2 (en) 2009-04-10 2013-01-01 Sony Computer Entertainment America Inc. Methods and systems for enabling control of artificial intelligence game characters
US8393964B2 (en) 2009-05-08 2013-03-12 Sony Computer Entertainment America Llc Base station for position location
US8142288B2 (en) 2009-05-08 2012-03-27 Sony Computer Entertainment America Llc Base station movement detection and compensation
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
WO2011010414A1 (ja) 2009-07-21 2011-01-27 株式会社ソニー・コンピュータエンタテインメント ゲーム装置
US9293060B2 (en) 2010-05-06 2016-03-22 Ai Cure Technologies Llc Apparatus and method for recognition of patient activities when obtaining protocol adherence data
US10762172B2 (en) 2010-10-05 2020-09-01 Ai Cure Technologies Llc Apparatus and method for object confirmation and tracking
US20110153360A1 (en) 2009-12-23 2011-06-23 Al Cure Technologies LLC Method and Apparatus for Verification of Clinical Trial Adherence
US8605165B2 (en) 2010-10-06 2013-12-10 Ai Cure Technologies Llc Apparatus and method for assisting monitoring of medication adherence
US9256776B2 (en) 2009-11-18 2016-02-09 AI Cure Technologies, Inc. Method and apparatus for identification
US8666781B2 (en) 2009-12-23 2014-03-04 Ai Cure Technologies, LLC Method and apparatus for management of clinical trials
US20110119073A1 (en) 2009-11-18 2011-05-19 Al Cure Technologies LLC Method and Apparatus for Verification of Medication Administration Adherence
US9183601B2 (en) * 2010-03-22 2015-11-10 Ai Cure Technologies Llc Method and apparatus for collection of protocol adherence data
US8842096B2 (en) * 2010-01-08 2014-09-23 Crayola Llc Interactive projection system
EP2642371A1 (en) * 2010-01-14 2013-09-25 BrainLAB AG Controlling a surgical navigation system
GB2478911B (en) 2010-03-22 2014-01-08 Timocco Ltd Object locating and tracking in video frames using smoothness check along specified line sections
US9883786B2 (en) 2010-05-06 2018-02-06 Aic Innovations Group, Inc. Method and apparatus for recognition of inhaler actuation
US10116903B2 (en) 2010-05-06 2018-10-30 Aic Innovations Group, Inc. Apparatus and method for recognition of suspicious activities
US9875666B2 (en) 2010-05-06 2018-01-23 Aic Innovations Group, Inc. Apparatus and method for recognition of patient activities
KR101458939B1 (ko) 2010-12-02 2014-11-07 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 시스템
US9665767B2 (en) 2011-02-28 2017-05-30 Aic Innovations Group, Inc. Method and apparatus for pattern tracking
US9116553B2 (en) 2011-02-28 2015-08-25 AI Cure Technologies, Inc. Method and apparatus for confirmation of object positioning
SG184582A1 (en) * 2011-03-07 2012-10-30 Creative Tech Ltd A method, system and electronic device for association based identification
EP3575796B1 (en) 2011-04-15 2020-11-11 DexCom, Inc. Advanced analyte sensor calibration and error detection
US8740702B2 (en) 2011-05-31 2014-06-03 Microsoft Corporation Action trigger gesturing
US8845431B2 (en) 2011-05-31 2014-09-30 Microsoft Corporation Shape trace gesturing
US8657683B2 (en) 2011-05-31 2014-02-25 Microsoft Corporation Action selection gesturing
US8884949B1 (en) 2011-06-06 2014-11-11 Thibault Lambert Method and system for real time rendering of objects from a low resolution depth camera
WO2012172548A1 (en) * 2011-06-14 2012-12-20 Youval Nehmadi Method for translating a movement and an orientation of a predefined object into a computer generated data
US9342817B2 (en) 2011-07-07 2016-05-17 Sony Interactive Entertainment LLC Auto-creating groups for sharing photos
US9101994B2 (en) 2011-08-10 2015-08-11 Illinois Tool Works Inc. System and device for welding training
TWI478098B (zh) * 2011-08-18 2015-03-21 Univ Nat Taiwan 立體影像深度圖的校正系統及方法
US10558845B2 (en) 2011-08-21 2020-02-11 Aic Innovations Group, Inc. Apparatus and method for determination of medication location
KR101830966B1 (ko) * 2011-09-21 2018-02-22 엘지전자 주식회사 전자 기기 및 전자 기기의 컨텐츠 생성 방법
US9754357B2 (en) 2012-03-23 2017-09-05 Panasonic Intellectual Property Corporation Of America Image processing device, stereoscoopic device, integrated circuit, and program for determining depth of object in real space generating histogram from image obtained by filming real space and performing smoothing of histogram
EP2716468A1 (en) * 2012-10-04 2014-04-09 BlackBerry Limited Stylus body having two or more spheres coaxially affixed thereto
US8948498B1 (en) * 2012-10-17 2015-02-03 Google Inc. Systems and methods to transform a colored point cloud to a 3D textured mesh
US9583014B2 (en) 2012-11-09 2017-02-28 Illinois Tool Works Inc. System and device for welding training
US9317136B2 (en) * 2013-01-10 2016-04-19 UL See Inc. Image-based object tracking system and image-based object tracking method
US9672757B2 (en) 2013-03-15 2017-06-06 Illinois Tool Works Inc. Multi-mode software and method for a welding training system
US9583023B2 (en) 2013-03-15 2017-02-28 Illinois Tool Works Inc. Welding torch for a welding training system
US9666100B2 (en) 2013-03-15 2017-05-30 Illinois Tool Works Inc. Calibration devices for a welding training system
US9728103B2 (en) 2013-03-15 2017-08-08 Illinois Tool Works Inc. Data storage and analysis for a welding training system
US9766709B2 (en) 2013-03-15 2017-09-19 Leap Motion, Inc. Dynamic user interactions for display control
US9399111B1 (en) 2013-03-15 2016-07-26 Aic Innovations Group, Inc. Method and apparatus for emotional behavior therapy
US9713852B2 (en) 2013-03-15 2017-07-25 Illinois Tool Works Inc. Welding training systems and devices
US9317916B1 (en) 2013-04-12 2016-04-19 Aic Innovations Group, Inc. Apparatus and method for recognition of medication administration indicator
US9436851B1 (en) 2013-05-07 2016-09-06 Aic Innovations Group, Inc. Geometric encrypted coded image
US9857876B2 (en) * 2013-07-22 2018-01-02 Leap Motion, Inc. Non-linear motion capture using Frenet-Serret frames
US9824297B1 (en) 2013-10-02 2017-11-21 Aic Innovations Group, Inc. Method and apparatus for medication identification
US10056010B2 (en) 2013-12-03 2018-08-21 Illinois Tool Works Inc. Systems and methods for a weld training system
US9454840B2 (en) * 2013-12-13 2016-09-27 Blake Caldwell System and method for interactive animations for enhanced and personalized video communications
US10170019B2 (en) 2014-01-07 2019-01-01 Illinois Tool Works Inc. Feedback from a welding torch of a welding system
US9589481B2 (en) 2014-01-07 2017-03-07 Illinois Tool Works Inc. Welding software for detection and control of devices and for analysis of data
US10105782B2 (en) 2014-01-07 2018-10-23 Illinois Tool Works Inc. Feedback from a welding torch of a welding system
US9724788B2 (en) 2014-01-07 2017-08-08 Illinois Tool Works Inc. Electrical assemblies for a welding system
US9751149B2 (en) 2014-01-07 2017-09-05 Illinois Tool Works Inc. Welding stand for a welding system
US9757819B2 (en) 2014-01-07 2017-09-12 Illinois Tool Works Inc. Calibration tool and method for a welding system
US9679113B2 (en) 2014-06-11 2017-06-13 Aic Innovations Group, Inc. Medication adherence monitoring system and method
US9443311B2 (en) 2014-06-12 2016-09-13 Topcon Positioning Systems, Inc. Method and system to identify a position of a measurement pole
US9862049B2 (en) 2014-06-27 2018-01-09 Illinois Tool Works Inc. System and method of welding system operator identification
US10307853B2 (en) 2014-06-27 2019-06-04 Illinois Tool Works Inc. System and method for managing welding data
US10665128B2 (en) 2014-06-27 2020-05-26 Illinois Tool Works Inc. System and method of monitoring welding information
US9937578B2 (en) * 2014-06-27 2018-04-10 Illinois Tool Works Inc. System and method for remote welding training
US9769494B2 (en) 2014-08-01 2017-09-19 Ati Technologies Ulc Adaptive search window positioning for video encoding
US11014183B2 (en) 2014-08-07 2021-05-25 Illinois Tool Works Inc. System and method of marking a welding workpiece
US9724787B2 (en) 2014-08-07 2017-08-08 Illinois Tool Works Inc. System and method of monitoring a welding environment
US9875665B2 (en) 2014-08-18 2018-01-23 Illinois Tool Works Inc. Weld training system and method
US10210773B2 (en) 2014-11-05 2019-02-19 Illinois Tool Works Inc. System and method for welding torch display
US10402959B2 (en) 2014-11-05 2019-09-03 Illinois Tool Works Inc. System and method of active torch marker control
US10490098B2 (en) 2014-11-05 2019-11-26 Illinois Tool Works Inc. System and method of recording multi-run data
US10373304B2 (en) 2014-11-05 2019-08-06 Illinois Tool Works Inc. System and method of arranging welding device markers
US10204406B2 (en) 2014-11-05 2019-02-12 Illinois Tool Works Inc. System and method of controlling welding system camera exposure and marker illumination
US10417934B2 (en) 2014-11-05 2019-09-17 Illinois Tool Works Inc. System and method of reviewing weld data
GB2533632B (en) * 2014-12-24 2018-01-03 Gen Electric Method and system for obtaining low dose tomosynthesis and material decomposition images
US10427239B2 (en) 2015-04-02 2019-10-01 Illinois Tool Works Inc. Systems and methods for tracking weld training arc parameters
US10657839B2 (en) 2015-08-12 2020-05-19 Illinois Tool Works Inc. Stick welding electrode holders with real-time feedback features
US10373517B2 (en) 2015-08-12 2019-08-06 Illinois Tool Works Inc. Simulation stick welding electrode holder systems and methods
US10438505B2 (en) 2015-08-12 2019-10-08 Illinois Tool Works Welding training system interface
US10593230B2 (en) 2015-08-12 2020-03-17 Illinois Tool Works Inc. Stick welding electrode holder systems and methods
JP2017059207A (ja) * 2015-09-18 2017-03-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像認識方法
CN106548127B (zh) * 2015-09-18 2022-11-04 松下电器（美国）知识产权公司 图像识别方法
US9898665B2 (en) 2015-10-29 2018-02-20 International Business Machines Corporation Computerized video file analysis tool and method
CN108475431B (zh) * 2015-12-18 2022-02-18 株式会社理光 图像处理装置、图像处理系统、图像处理方法和记录介质
EP3408610A4 (en) 2016-01-25 2020-01-01 Topcon Positioning Systems, Inc. METHOD AND DEVICE FOR OPTICAL SINGLE CAMERA MEASUREMENTS
US11170484B2 (en) 2017-09-19 2021-11-09 Aic Innovations Group, Inc. Recognition of suspicious activities in medication administration
US11331022B2 (en) 2017-10-24 2022-05-17 Dexcom, Inc. Pre-connected analyte sensors
DK3700416T3 (da) 2017-10-24 2024-09-30 Dexcom Inc På forhånd forbundne analytsensorer
CN107930125A (zh) * 2017-11-27 2018-04-20 五华怪兽星球科技有限公司 一种具警示功能的交互式游戏系统
GB2571953A (en) 2018-03-13 2019-09-18 Massless Emea Ltd Single view tracking of cylindrical objects
CN111489711B (zh) * 2019-01-28 2022-01-04 咸阳彩虹光电科技有限公司 一种利用演算法改善视角低色偏的方法、装置及显示面板
US12066320B2 (en) * 2019-04-05 2024-08-20 Daedalus Technology Group, Inc. Calibration system and method
US11288978B2 (en) 2019-07-22 2022-03-29 Illinois Tool Works Inc. Gas tungsten arc welding training systems
US11776423B2 (en) 2019-07-22 2023-10-03 Illinois Tool Works Inc. Connection boxes for gas tungsten arc welding training systems
GB2586059B (en) 2019-08-01 2023-06-07 Sony Interactive Entertainment Inc System and method for generating user inputs for a video game
CN111080719A (zh) * 2019-12-26 2020-04-28 四川航天神坤科技有限公司 一种视频注册方法及装置
US11893808B2 (en) * 2020-11-30 2024-02-06 Mangolytics, Inc. Learning-based 3D property extraction
JP2022133769A (ja) * 2021-03-02 2022-09-14 本田技研工業株式会社 車両制御装置、及び車両制御方法
CN115129191B (zh) * 2021-03-26 2023-08-15 北京新氧科技有限公司 三维对象拾取方法、装置、设备及存储介质
KR20230020845A (ko) * 2021-08-04 2023-02-13 현대자동차주식회사 전자장치 및 그의 객체 추적 방법

Family Cites Families (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US561100A (en) * 1896-06-02 Andrew b
US3943277A (en) 1969-02-20 1976-03-09 The United States Of America As Represented By The Secretary Of The Navy Digital memory area correlation tracker
NL7509871A (nl) * 1975-08-20 1977-02-22 Philips Nv Kleurentelevisie chroma-sleutelsignaalgenerator.
US4133004A (en) 1977-11-02 1979-01-02 Hughes Aircraft Company Video correlation tracker
US4448200A (en) 1978-03-27 1984-05-15 University Of Southern California System and method for dynamic background subtraction
JPS5846783A (ja) * 1981-09-12 1983-03-18 Sony Corp クロマキ−装置
JPS592040U (ja) 1982-06-28 1984-01-07 日本電気ホームエレクトロニクス株式会社 ジヨイステイツク制御装置
FI68131C (fi) 1983-06-30 1985-07-10 Valtion Teknillinen Foerfarande och anordning foer gestaltande av omgivningen tillen arbetsmaskin med flera leder med en laserindikator
IL69327A (en) 1983-07-26 1986-11-30 Elscint Ltd Automatic misregistration correction
US4675562A (en) 1983-08-01 1987-06-23 Fairchild Semiconductor Corporation Method and apparatus for dynamically controlling the timing of signals in automatic test systems
US4649504A (en) 1984-05-22 1987-03-10 Cae Electronics, Ltd. Optical position and orientation measurement techniques
US4672564A (en) 1984-11-15 1987-06-09 Honeywell Inc. Method and apparatus for determining location and orientation of objects
JPS61131110A (ja) 1984-11-30 1986-06-18 Fujitsu Ltd 入力装置
IL77610A (en) 1986-01-15 1994-01-25 Technion Res & Dev Foundation Single camera three-dimensional head position sensing system
US4843568A (en) 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
JP2603947B2 (ja) * 1986-09-26 1997-04-23 オリンパス光学工業株式会社 原色画像間の対応領域検出装置
US4864515A (en) * 1987-03-30 1989-09-05 Honeywell Inc. Electronic sensing screen for measuring projectile parameters
US5162781A (en) * 1987-10-02 1992-11-10 Automated Decisions, Inc. Orientational mouse computer input system
US5363120A (en) * 1987-10-14 1994-11-08 Wang Laboratories, Inc. Computer input device using orientation sensor
US4942538A (en) 1988-01-05 1990-07-17 Spar Aerospace Limited Telerobotic tracker
US4991223A (en) * 1988-06-30 1991-02-05 American Innovision, Inc. Apparatus and method for recognizing image features using color elements
US4933864A (en) * 1988-10-04 1990-06-12 Transitions Research Corporation Mobile robot navigation employing ceiling light fixtures
US5045843B1 (en) * 1988-12-06 1996-07-16 Selectech Ltd Optical pointing device
US5034986A (en) 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
DE69033269T2 (de) * 1989-06-20 2000-01-05 Fujitsu Ltd., Kawasaki Verfahren und Vorrichtung zum Messen der Position und Stellung eines Gegenstandes
FR2652972B1 (fr) * 1989-10-06 1996-11-29 Thomson Video Equip Procede et dispositif d'incrustation d'images video couleur auto-adaptatif.
GB9001468D0 (en) 1990-01-23 1990-03-21 Sarnoff David Res Center Computing multiple motions within an image region
DE69118939T2 (de) * 1990-02-06 1996-11-14 Canon Kk Bildverarbeitungsgerät
US5668646A (en) * 1990-02-06 1997-09-16 Canon Kabushiki Kaisha Apparatus and method for decoding differently encoded multi-level and binary image data, the later corresponding to a color in the original image
US5128671A (en) * 1990-04-12 1992-07-07 Ltv Aerospace And Defense Company Control device having multiple degrees of freedom
US5208763A (en) * 1990-09-14 1993-05-04 New York University Method and apparatus for determining position and orientation of mechanical objects
US5128794A (en) 1990-12-31 1992-07-07 Honeywell Inc. Scanning laser helmet mounted sight
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US5548667A (en) 1991-05-24 1996-08-20 Sony Corporation Image processing system and method thereof in which three dimensional shape is reproduced from two dimensional image data
US5227985A (en) 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
US5212888A (en) * 1991-09-16 1993-05-25 Calcomp Inc. Dual function sensor for a pen plotter
US5335557A (en) 1991-11-26 1994-08-09 Taizo Yasutake Touch sensitive input control device
US5631697A (en) * 1991-11-27 1997-05-20 Hitachi, Ltd. Video camera capable of automatic target tracking
US5230623A (en) 1991-12-10 1993-07-27 Radionics, Inc. Operating pointer with interactive computergraphics
US5680487A (en) 1991-12-23 1997-10-21 Texas Instruments Incorporated System and method for determining optical flow
US5577179A (en) * 1992-02-25 1996-11-19 Imageware Software, Inc. Image editing system
US5307137A (en) * 1992-03-16 1994-04-26 Mark F. Jones Terrain imaging apparatus and method
US5450504A (en) 1992-05-19 1995-09-12 Calia; James Method for finding a most likely matching of a target facial image in a data base of facial images
JP3391405B2 (ja) * 1992-05-29 2003-03-31 株式会社エフ・エフ・シー カメラ映像内の物体同定方法
US5473736A (en) * 1992-06-08 1995-12-05 Chroma Graphics Method and apparatus for ordering and remapping colors in images of real two- and three-dimensional objects
JP3244798B2 (ja) 1992-09-08 2002-01-07 株式会社東芝 動画像処理装置
US5982352A (en) 1992-09-18 1999-11-09 Pryor; Timothy R. Method for providing human input to a computer
US5469193A (en) 1992-10-05 1995-11-21 Prelude Technology Corp. Cordless pointing apparatus
JP3679426B2 (ja) 1993-03-15 2005-08-03 マサチューセッツ・インスティチュート・オブ・テクノロジー 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム
GB9308952D0 (en) * 1993-04-30 1993-06-16 Philips Electronics Uk Ltd Tracking objects in video sequences
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
EP0633546B1 (en) * 1993-07-02 2003-08-27 Siemens Corporate Research, Inc. Background recovery in monocular vision
US5598514A (en) * 1993-08-09 1997-01-28 C-Cube Microsystems Structure and method for a multistandard video encoder/decoder
JPH07160412A (ja) 1993-12-10 1995-06-23 Nippon Telegr & Teleph Corp <Ntt> 指示位置検出方法
JP2552427B2 (ja) 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
FR2714502A1 (fr) 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US5611000A (en) 1994-02-22 1997-03-11 Digital Equipment Corporation Spline-based image registration
FR2720977B1 (fr) * 1994-06-09 1996-09-06 Michelin & Cie Procédé de montage d'un ensemble formé d'un pneumatique et d'un appui de soutien de bande de roulement.
US5649032A (en) 1994-11-14 1997-07-15 David Sarnoff Research Center, Inc. System for automatically aligning images to form a mosaic image
GB2295936B (en) 1994-12-05 1997-02-05 Microsoft Corp Progressive image transmission using discrete wavelet transforms
US5757360A (en) * 1995-05-03 1998-05-26 Mitsubishi Electric Information Technology Center America, Inc. Hand held computer control device
US5672820A (en) 1995-05-16 1997-09-30 Boeing North American, Inc. Object location identification system for providing location data of an object being pointed at by a pointing device
US5913727A (en) 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
US5805745A (en) 1995-06-26 1998-09-08 Lucent Technologies Inc. Method for locating a subject's lips in a facial image
US6199093B1 (en) * 1995-07-21 2001-03-06 Nec Corporation Processor allocating method/apparatus in multiprocessor system, and medium for storing processor allocating program
JPH11513483A (ja) * 1995-09-21 1999-11-16 オムニプラナー，インコーポレーテッド 位置及び方位を決定する方法及び装置
US5970173A (en) 1995-10-05 1999-10-19 Microsoft Corporation Image compression and affine transformation for image motion compensation
US5818424A (en) * 1995-10-19 1998-10-06 International Business Machines Corporation Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space
GB2306834B8 (en) * 1995-11-03 2000-02-01 Abbotsbury Software Ltd Tracking apparatus for use in tracking an object
US5825308A (en) 1996-11-26 1998-10-20 Immersion Human Interface Corporation Force feedback interface having isotonic and isometric functionality
FR2741769B1 (fr) * 1995-11-23 1997-12-19 Thomson Broadcast Systems Procede de traitement du signal constitue par un sujet evoluant devant un fond colore et dispositif mettant en oeuvre ce procede
FR2741770B1 (fr) * 1995-11-23 1998-01-02 Thomson Broadcast Systems Procede de calcul d'une cle de decoupe d'un sujet evoluant devant un fond colore et dispositif mettant en oeuvre ce procede
US5963209A (en) 1996-01-11 1999-10-05 Microsoft Corporation Encoding and progressive transmission of progressive meshes
US6049619A (en) 1996-02-12 2000-04-11 Sarnoff Corporation Method and apparatus for detecting moving objects in two- and three-dimensional scenes
US6009188A (en) 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
US5764803A (en) * 1996-04-03 1998-06-09 Lucent Technologies Inc. Motion-adaptive modelling of scene content for very low bit rate model-assisted coding of video sequences
US5889505A (en) 1996-04-04 1999-03-30 Yale University Vision-based six-degree-of-freedom computer input device
US5923318A (en) * 1996-04-12 1999-07-13 Zhai; Shumin Finger manipulatable 6 degree-of-freedom input device
US5805170A (en) 1996-05-07 1998-09-08 Microsoft Corporation Systems and methods for wrapping a closed polygon around an object
CN1131495C (zh) * 1996-08-29 2003-12-17 三洋电机株式会社 特征信息赋予方法及装置
JPH1078768A (ja) * 1996-09-04 1998-03-24 Alps Electric Co Ltd 階調表示制御装置
US6121953A (en) 1997-02-06 2000-09-19 Modern Cartoons, Ltd. Virtual reality system for sensing facial movements
JP3870422B2 (ja) * 1997-02-20 2007-01-17 ソニー株式会社 映像信号処理装置及び方法、画像合成装置、並びに編集装置
US5864742A (en) * 1997-04-11 1999-01-26 Eastman Kodak Company Copy restrictive system using microdots to restrict copying of color-reversal documents
US5917937A (en) 1997-04-15 1999-06-29 Microsoft Corporation Method for performing stereo matching to recover depths, colors and opacities of surface elements
US6072504A (en) 1997-06-20 2000-06-06 Lucent Technologies Inc. Method and apparatus for tracking, storing, and synthesizing an animated version of object motion
US6049636A (en) 1997-06-27 2000-04-11 Microsoft Corporation Determining a rectangular box encompassing a digital picture within a digital image
US5990901A (en) 1997-06-27 1999-11-23 Microsoft Corporation Model based image editing and correction
US6044181A (en) 1997-08-01 2000-03-28 Microsoft Corporation Focal length estimation method and apparatus for construction of panoramic mosaic images
US6018349A (en) 1997-08-01 2000-01-25 Microsoft Corporation Patch-based alignment method and apparatus for construction of image mosaics
US6009190A (en) 1997-08-01 1999-12-28 Microsoft Corporation Texture map construction method and apparatus for displaying panoramic image mosaics
US5986668A (en) 1997-08-01 1999-11-16 Microsoft Corporation Deghosting method and apparatus for construction of image mosaics
US5987164A (en) 1997-08-01 1999-11-16 Microsoft Corporation Block adjustment method and apparatus for construction of image mosaics
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
US6101289A (en) 1997-10-15 2000-08-08 Electric Planet, Inc. Method and apparatus for unencumbered capture of an object
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6031934A (en) 1997-10-15 2000-02-29 Electric Planet, Inc. Computer vision system for subject characterization
US5905894A (en) 1997-10-29 1999-05-18 Microsoft Corporation Meta-programming methods and apparatus
US6162123A (en) 1997-11-25 2000-12-19 Woolston; Thomas G. Interactive electronic sword game
US6172354B1 (en) 1998-01-28 2001-01-09 Microsoft Corporation Operator input device
US6512507B1 (en) * 1998-03-31 2003-01-28 Seiko Epson Corporation Pointing position detection device, presentation system, and method, and computer-readable medium
US6171190B1 (en) * 1998-05-27 2001-01-09 Act Labs, Ltd. Photosensitive input peripheral device in a personal computer-based video gaming platform
US6563499B1 (en) * 1998-07-20 2003-05-13 Geometrix, Inc. Method and apparatus for generating a 3D region from a surrounding imagery
JP3748172B2 (ja) * 1998-12-09 2006-02-22 富士通株式会社 画像処理装置
DE19917660A1 (de) 1999-04-19 2000-11-02 Deutsch Zentr Luft & Raumfahrt Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts
US6917692B1 (en) 1999-05-25 2005-07-12 Thomson Licensing S.A. Kalman tracking of color objects
US6417836B1 (en) * 1999-08-02 2002-07-09 Lucent Technologies Inc. Computer input device having six degrees of freedom for controlling movement of a three-dimensional object
US6594388B1 (en) * 2000-05-25 2003-07-15 Eastman Kodak Company Color image reproduction of scenes with preferential color mapping and scene-dependent tone scaling
US6795068B1 (en) * 2000-07-21 2004-09-21 Sony Computer Entertainment Inc. Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program
JP3581835B2 (ja) * 2001-03-14 2004-10-27 株式会社イマジカ クロマキー処理における色変換方法及び装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10786736B2 (en) 2010-05-11 2020-09-29 Sony Interactive Entertainment LLC Placement of user information in a game space
US11478706B2 (en) 2010-05-11 2022-10-25 Sony Interactive Entertainment LLC Placement of user information in a game space

Also Published As

Publication number Publication date
JP2002140705A (ja) 2002-05-17
JP2006178948A (ja) 2006-07-06
EP1176559A2 (en) 2002-01-30
US20050024379A1 (en) 2005-02-03
JP3901960B2 (ja) 2007-04-04
US20060238549A1 (en) 2006-10-26
US6795068B1 (en) 2004-09-21
US7113193B2 (en) 2006-09-26
US20050026689A1 (en) 2005-02-03
EP1176559A3 (en) 2007-11-14

Similar Documents

Publication Publication Date Title
JP4381371B2 (ja) 画像処理方法及び記録媒体
JP5368454B2 (ja) 画像解析装置および方法
US6864886B1 (en) Enhancing video using a virtual surface
US7928976B2 (en) Telestrator system
US8542250B2 (en) Entertainment device, system, and method
JP4004408B2 (ja) ビデオ情報圧縮方法
US6937255B2 (en) Imaging apparatus and method of the same
US7327361B2 (en) Three-dimensional image generating apparatus, storage medium storing a three-dimensional image generating program, and three-dimensional image generating method
US20210225080A1 (en) Information processing apparatus, information processing method, and storage medium
JP2012507101A (ja) ボール付属コントローラの位置および移動の決定
JP2010526295A (ja) ビデオカメラとｔｖモニタを使用した３次元オブジェクトのスキャン
JP2004280776A (ja) 画像内のオブジェクトの形状を決定する方法
JP4125251B2 (ja) 情報処理方法および装置
US6864889B2 (en) System for previewing a photorealistic rendering of a synthetic scene in real-time
JPH10341431A (ja) 被写体の動き成分検出処理装置およびその処理プログラムを記憶した媒体
JP2021072604A (ja) 生成装置、生成方法、及び、プログラム
JP7418107B2 (ja) 形状推定装置、形状推定方法及びプログラム
WO2023176103A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7500325B2 (ja) 撮像制御装置、評価システム、撮像制御方法及びプログラム
JP2005274887A (ja) 画像表示システム及び画像表示プログラム並びに画像表示方法
JP2022038354A (ja) 仮想視点映像生成装置、方法およびプログラム
JP2001511272A (ja) デジタル化された画像の符号化方法及び装置
JP2004280856A (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090818

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090915

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121002

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4381371

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131002

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term