JP4390012B2 - 画像処理装置および方法、並びに提供媒体 - Google Patents

画像処理装置および方法、並びに提供媒体 Download PDF

Info

Publication number
JP4390012B2
JP4390012B2 JP2008241811A JP2008241811A JP4390012B2 JP 4390012 B2 JP4390012 B2 JP 4390012B2 JP 2008241811 A JP2008241811 A JP 2008241811A JP 2008241811 A JP2008241811 A JP 2008241811A JP 4390012 B2 JP4390012 B2 JP 4390012B2
Authority
JP
Japan
Prior art keywords
image
feature region
extracted
mask
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2008241811A
Other languages
English (en)
Other versions
JP2009048644A (ja
Inventor
章男 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to JP2008241811A priority Critical patent/JP4390012B2/ja
Publication of JP2009048644A publication Critical patent/JP2009048644A/ja
Application granted granted Critical
Publication of JP4390012B2 publication Critical patent/JP4390012B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)

Description

本発明は、画像処理装置および方法、並びに提供媒体に関し、特に、所定の画像の変化を連続して抽出し、追尾することができるようにした画像処理装置および方法、並びに提供媒体に関する。
最近、コンピユータエンタテインメント装置が普及し、各家庭においてゲームを楽しむことができるようになってきた。このコンピュータエンタテインメント装置においては、通常、ボタンあるいはジョイスティックなどをユーザが操作することで、ゲームの対象（キャラクタ）を、任意の方向に、任意の速度で移動させるようになされている。
このように、従来の装置においては、ボタンあるいはジョイスティックなどを操作することで、各種の指令が入力されるようになされているので、ボタンやジョイスティックなどの操作テクニックをゲームに反映させることができるに過ぎず、より変化に富んだゲームを楽しむことができないという課題があった。
本発明はこのような状況に鑑みてなされたものであり、より変化に富んだゲームを楽しむことができるようにするものである。
本発明の画像処理装置は、入力された画像から所定の部位の画像を抽出する入力画像抽出手段と、該抽出された部位の特徴領域を抽出する特徴領域抽出手段と、仮面のＣＧ画像を生成して、前記抽出された特徴領域に対応する領域を有する仮面のＣＧを前記所定の部位に重畳して描画する描画手段と、前記特徴領域抽出手段により抽出された部位の特徴領域に対し動作指示を出し、その動作指示に基づいて前記仮面のＣＧ画像の前記特徴領域に対応する領域の抽出が正しく行われているか否か判断されると、その判断に基づいて必要な補正指示を出力する位置調整手段とを備えることを特徴とする。
その画像処理装置において、前記入力された画像を、左右が反転した像として表示させる表示制御手段をさらに備え、該左右が反転した像として表示された画像に、前記描画する手段によって、前記仮面のＣＧ画像を重畳するようにしてもよい。
その画像処理装置において、前記仮面のＣＧ画像の前記特徴領域を前記特徴領域抽出手段によって抽出された部位の前記特徴領域の動きに対応して変化させる表示制御装置をさらに備えるようにしてもよい。
その画像処理装置において、前記特徴領域抽出手段によって抽出された部位の前記特徴領域の動きを追尾する追尾手段をさらに有することができる。
その画像処理装置において、前記ＣＧ画像に対し前記特徴領域抽出手段により抽出された部位の前記特徴領域の変化の抽出の誤りを補正させるための補正指示を出す手段をさらに有し、それにより、前記追尾手段を補正することができる。
その画像処理装置において、前記ＣＧ画像に対し前記特徴領域抽出手段により抽出された部位の前記特徴領域の位置の移動の変化の抽出の誤りを補正させるための補正指示を出す手段をさらに有し、それにより、前記追尾手段を補正することができる。
その画像処理装置において、前記入力された画像はビデオカメラから出力された画像であるようにしてもよい。
その画像処理装置において、前記入力画像抽出手段は、ピラミッドフィルタ処理により前記入力された画像から所定の部位の画像を抽出する処理を行うようにしてもよい。
その画像処理装置において、前記特徴領域抽出手段は、フレーム間差分処理により、前記入力画像抽出手段によって抽出された部位の特徴領域を抽出する処理を行うようにしてもよい。
本発明の画像処理方法は、入力された画像から所定の部位の画像を抽出する入力画像抽出ステップと、該入力画像抽出ステップにより抽出された部位の特徴領域を抽出する特徴領域抽出ステップと、仮面のＣＧ画像を生成して、前記抽出された特徴領域に対応する領域を有する仮面のＣＧを前記所定の部位に重畳して描画する描画ステップと、前記特徴領域抽出ステップによって抽出された部位の特徴領域に対し動作指示を出し、その動作指示に基づいて前記仮面のＣＧ画像の前記特徴領域に対応する領域の抽出が正しく行われているか否か判断されると、その判断に基づいて必要な補正指示を出力する位置調整ステップとを含むことを特徴とする。
その画像処理方法において、前記入力された画像を、左右が反転した像として表示させる表示制御ステップをさらに含み、該左右が反転した像として表示された画像に、前記描画ステップによって、前記仮面のＣＧ画像を重畳するようにしてもよい。
その画像処理方法において、前記仮面のＣＧ画像の前記特徴領域を前記特徴領域抽出ステップによって抽出された部位の前記特徴領域の動きに対応して変化させる表示制御ステップをさらに含ませてもよい。
その画像処理方法において、前記特徴領域抽出ステップによって抽出された部位の前記特徴領域の動きを追尾する追尾ステップをさらに含ませてもよい。
その画像処理方法において、前記ＣＧ画像に対し前記特徴領域抽出ステップにより抽出された部位の前記特徴領域の変化の抽出の誤りを補正させるための補正指示を出すステップをさらに含み、それにより、前記追尾ステップを補正してもよい。
その画像処理方法において、前記ＣＧ画像に対し前記特徴領域抽出ステップにより抽出された部位の前記特徴領域の位置の移動の変化の抽出の誤りを補正させるための補正指示を出すステップをさらに含み、それにより、前記追尾ステップを補正してもよい。
その画像処理方法において、前記入力された画像はビデオカメラから出力された画像である。
その画像処理方法において、前記入力画像抽出ステップは、ピラミッドフィルタ処理により前記入力された画像から所定の部位の画像を抽出する処理を行うようにしてもよい。
その画像処理方法において、前記特徴領域抽出ステップは、フレーム間差分処理により、前記入力画像抽出ステップによって抽出された部位の特徴領域を抽出する処理を行うようにしてもよい。
本発明の提供媒体は、入力された画像から所定の部位の画像を抽出する入力画像抽出ステップと、該入力画像抽出ステップにより抽出された部位の特徴領域を抽出する特徴領域抽出ステップと、仮面のＣＧ画像を生成して、前記抽出された特徴領域に対応する領域を有する仮面のＣＧを前記所定の部位に重畳して描画する描画ステップと、前記特徴領域抽出ステップによって抽出された部位の特徴領域に対し動作指示を出し、その動作指示に基づいて前記仮面のＣＧ画像の前記特徴領域に対応する領域の抽出が正しく行われているか否か判断されると、その判断に基づいて必要な補正指示を出力する位置調整ステップとを含む処理を画像処理のためのコンピュータに実行させるプログラムを提供することを特徴とする。
その提供媒体において、前記プログラムは、磁気ディスク、ＣＤ−ＲＯＭ、固体メモリなどの記録媒体にて提供することができる。
また、本発明に係る画像処理装置は、入力された画像から所定の部位の画像を抽出する入力画像抽出手段と、該抽出された部位の特徴領域を抽出する特徴領域抽出手段と、
仮面のＣＧ画像を生成して、前記抽出された特徴領域に対応する領域を有する仮面のＣＧを前記所定の部位に重畳して描画する描画手段と、前記入力される画像の所定の部位の特徴領域に、メークアップやマーキングをする指示を出し、その指示に基づいて前記仮面のＣＧ画像のそれに対応する領域の抽出が正しく行われているか否か判断されると、その判断に基づいて必要な補正指示を出力する位置調整手段とを備えることを特徴とする。
その画像処理において、前記特徴領域抽出手段が、前記入力画像抽出手段によって抽出された部位の画像の内、時間的に後のフレームの画像をデスティネーション画像とし、時間的に前のフレームの画像をソース画像として、デスティネーション画像とソース画像との間の画素データの値の差がゼロでない特徴領域を動きのあった領域と判断して抽出するようにしてもよい。
本発明の画像処理装置、画像処理方法、および提供媒体においては、入力された画像から所定の部位の画像が連続的に追尾できるように、より高解像度の画像が抽出される。
以下に本発明の実施の形態を説明するが、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し勿論この記載は、各手段を記載したものに限定することを意味するもではない。
画像処理装置は、入力された画像から所定の部位の画像を抽出する第１の抽出手段（例えば、第４図のステップＳ３２）と、第１の抽出手段により抽出された所定の部位の一部を、より高解像度の画像として抽出する第２の抽出手段（例えば、第４図のステップＳ３５）と、第２の抽出手段が、第１の抽出手段により抽出された画像から所定の部位の画像を連続的に抽出できるように、所定の部位の画像を追尾する追尾手段（例えば、第４図のステップＳ３６）とを備えること特徴とする。
また、画像処理装置は、入力された画像を、左右が反転した像として表示させる表示制御手段（例えば、第３図のステップＳ２）をさらに備えることを特徴とする。
さらに、画像処理装置は、入力された画像とは異なる所定の画像を表示させるとともに、その画像を、第２の抽出手段により抽出された画像に対応して変化させる表示制御手段（例えば、第３図のステップＳ９）をさらに備えることを特徴とする。
第１図は、本発明を適用した画像処理システムの構成例を表すブロック図である。同図に示すように、このシステムにおいては、画像処理装置１−１乃至１−３が、インターネット２を介して、サーバ３に接続されている。画像処理装置１−１乃至１−３（以下、これらを個々に区別する必要がない場合、単に画像処理装置１と称する。他の装置についても同様である）は、自分自身の仮想現実空間上のユーザの仮面画像の現在位置とともに、ユーザの仮面画像の表情を含むデータを、インターネット２を介して、サーバ３に送出する。サーバ３は、各画像処理装置１に対して、そこから供給された仮想現実空間内の位置の近傍に位置するユーザの仮面画像の画像データを、インターネット２を介して供給するようになされている。
第２図は、画像処理装置１−１の構成例を表すブロック図である。図示は省略するが、画像処理装置１−２，１−３も、画像処理装置１−１と同様に構成されている。
メインCPU３１には、バス３４を介して、メインメモリ３２と画像処理チップ３３が接続されている。メインCPU３１は、描画コマンドを生成し、画像処理チップ３３の動作を制御する。メインメモリ３２には、メインCPU３１が各種の処理を実行する上において必要なプログラムやデータなどが適宜記憶される。
画像処理チップ３３のレンダリングエンジン４１は、メインCPU３１から供給される描画コマンドに対応して、メモリインターフェース４２を介して、画像メモリ４３に所定の画像データを描画する動作を実行する。メモリインターフェース４２とレンダリングエンジン４１の間には、バス４５が接続されており、メモリインターフェース４２と画像メモリ４３の間には、バス４６が接続されている。バス４６は、例えば１２８ビットのビット幅を有し、レンダリングエンジン４１は、画像メモリ４３に対して、高速に描画処理を実行することができるようになされている。レンダリングエンジン４１は、例えば、NTSC方式、PAL方式などの３２０×２４０画素の画像データ、あるいは、６４０×４８０画素の画像データを、リアルタイムに（１／３０秒乃至１／６０秒）の間に、十数回乃至数十回以上描画する能力を有している。
画像処理チップ３３はまた、プログラマブルCRTコントローラ（PCRTC）４４を有しており、このPCRTC４４は、ビデオカメラ３５より入力された画像データの位置、大きさ、解像度などをリアルタイムに制御する機能を有している。PCRTC４４は、ビデオカメラ３５より入力された画像データを、メモリインターフェース４２を介して、画像メモリ４ ３のテクスチャエリアに書き込む。また、PCRTC４４は、画像メモリ４３の描画エリアに描画された画像データをメモリインターフェース４２を介して読み取り、これをCRT３６に出力し、表示させるようになされている。画像メモリ４３は、同一のエリアに、テクスチャエリアと描画エリアが指定できるユニファイドメモリ構造のものとされている。
音声処理チップ３７は、マイクロホン３８から入力された音声データを処理し、通信部４０からインターネット２を介して、他の画像処理装置１に出力するようになされている。また、音声処理チップ３７は、通信部４０を介して、他の画像処理装置１から供給された音声データを処理し、スピーカ３９に出力するようになされている。通信部４０は、インターネット２を介して、他の画像処理装置１またはサーバ３との間でデータを授受するようになされている。入力部３０は、ユーザが各種の指令を入力するとき操作される。
レンダリングエンジン４１は、メインCPU３１からのブレンディングモード設定関数Set-Mode（MODE）により指定されたモードに対応して、画像メモリ４３の描画エリア上のデスティネーションの画素値ＤＦ（Ｘ，Ｙ）とテクスチャエリアの画素値ＳＰ（Ｘ，Ｙ）との間で、ブレンディング処理を行わせる。
レンダリングエンジン４１が実行するブレンディングモードには、モード０乃至モード３が存在し、各モードにおいては、次のようなブレンディングが実行される。
MODE０： ＳＰ（Ｘ，Ｙ）
MODEｌ： ＤＰ（Ｘ，Ｙ）＋ＳＰ（Ｘ，Ｙ）
MODE２： ＤＰ（Ｘ，Ｙ）−ＳＰ（Ｘ，Ｙ）
MODE３：（１−αSP（Ｘ，Ｙ））＊ＤＰ（Ｘ，Ｙ）＋αSP（Ｘ，Ｙ）＊ＳＰ（Ｘ，Ｙ）
なお、αSP（Ｘ，Ｙ）は、ソースの画素値のα値を表している。
すなわち、モード０においては、ソースの画素値が、そのままデスティネーションに描画され、モード１においては、ソースの画素値が、デスティネーションの画素値に加算して描画され、モード２においては、デスティネーションの画素値からソースの画素値を減算して描画が行われる。また、モード３においては、ソースのα値に対応する重み付けを行って、ソースの画素値とデスティネーションの画素値が合成される。
画像メモリ４３の描画エリアに描画された画像データは、メモリインターフェース４２を介して、PCRTC４４に読み出され、そこからCRT３６に出力され、表示される。
次に、第３図のフローチャートを参照して、その動作について説明する。最初に、ステップＳ１において、アクティブ画像取得処理が実行される。このアクティブ画像取得処理の一部の詳細は、第４図のフローチャートに示されている。
すなわち、最初にステップＳ３１において、PCRTC４４は、ビデオカメラ３５から入力された画像から全画面の低解像度の画像データを取り込み、これをメモリインターフェース４２を介して、画像メモリ４３に供給し、記憶させる。これにより、第５図に示すように、画像メモリ４３の画像エリア５０上に処理画像５１が記憶される。
次に、ステップＳ３２に進み、メインCPU３１はPCRTC４４を制御し、ステップＳ３１で入力された画像から被写体（ユーザ）の頭部の部分を抽出する処理を実行する。すなわち、第５図に示すように、処理画像５１から頭部の部分の画像５２を抽出する。ステップＳ３３においては、メインCPU３１は、ステップＳ３１で取り込んだ画像から頭部の部分を抽出することができたか否かを判定し、できていない場合には、ステップＳ３１に戻り、それ以降の処理を繰り返し実行する。
ステップＳ３３において、頭部の部分を抽出することができたと判定された場合、ステップＳ３４に進み、メインCPU３１は、PCRTC４４を制御し、ステップＳ３２で抽出した頭部を中心にした領域を中解像度で取り込ませる。すなわち、第５図に示すように、ステップＳ３１で取り込まれた低解像度の処理画像５１から、頭部を中心とした中解像度の画像５２を取り込み、画像メモリ４３の画像工リアに記憶させる。
次に、ステップＳ３５において、メインCPU３１は、ステップＳ３４で取り込まれた中解像度の頭部を中心とした画像から、両眼部の画像を抽出する処理を実行する。すなわち、第５図の頭部を中心とした中解像度の画像５２から、両眼部の部分を抽出する処理を実行する。
ステップＳ３６において、両眼部の部分を抽出することができたか否かを判定し、抽出することができなかった場合には、ステップＳ３１に戻り、それ以降の処理が繰り返し実行される。ステップＳ３６において、両眼部を抽出することができたと判定された場合、メインCPU３１は、PCRTC４４を制御し、ステップＳ３７に進み、両眼部を中心にした領域を高解像度で取り込む処理を実行させる。すなわち、第５図に示す頭部を中心とした中解像度の画像５２から、両眼部を中心とした高解像度の画像５３を取り込ませ、画像エリア５０上に記憶させる。
次に、ステップＳ３８において、メインCPU３１は、ステップＳ３７で取り込んだ高解像度の画像５３から両眼部を抽出し、その位置を計測する処理を実行する。ステップＳ３９においては、両眼部を抽出することができたか否かを判定し、できていない場合には、ステップＳ３４に戻り、それ以降の処理が繰り返し実行される。ステップＳ３９において、両眼部を抽出することができたと判定された場合には、ステップＳ３７に戻り、それ以降の処理が繰り返し実行される。
以上のようにして、より高解像度の画像で所定の部位を抽出するようにし、所定の部位を抽出することができなかった場合、より低解像度の処理ステップに戻って、それ以降の処理を繰り返し実行することで、ユーザが、ビデオカメラ３５に対して相対的に移動した場合においても、その両眼部を自動的に確実に追尾し、画像として取り込むことができる。
第３図のステップＳ１において、以上のような第４図に示した処理を含む処理を実行して、被写体の両眼部を自動的に追尾し、被写体の画像（顔の画像）が得られると、ステップＳ２において、メインCPU３１は、レンダリングエンジン４１を制御して、左右反転画像を生成させ、これをCRT３６に出力し、表示させる。すなわち、レンダリングエンジン４１は、メインCPU３１からの指令に対応して、ステップＳ１で取り込まれたユーザの顔の画像を、その左右を反転した画像に（鏡面画像に）変換する。この左右を反転した画像が、PCRTC４４を介して、CRT３６に出力され、第６図に示すように表示される。このとき、メインCPU３１は、第６図に示すように、レンダリングエンジン４１を制御し、ステップＳ３５，Ｓ３７，Ｓ３８で抽出した両眼部の抽出領域に、線Ｐ１を重畳表示させ、ユーザが認識できるようにする。
ステップＳ３５，Ｓ３７，Ｓ３８において、口についても抽出した場合には、第６図に示すように、口の抽出領域の周りに線Ｐ２が表示される。
このように、線Ｐ１，Ｐ２を表示するようにすると、ユーザは、この線Ｐ１，Ｐ２で囲まれた領域を抽出して、追尾動作が行われていることを認識することができる。
次に、ステップＳ３に進み、ユーザは、CRT３６の表示画像を見て、自分自身の位置あるいはビデオカメラ３５の位置を相対的に位置調整する必要があるか否かを判定し、位置調整する必要があると判定した場合、ステップＳ４に進み、ビデオカメラ３５の位置あるいは自分自身の位置を適宜調整する。その後、ステップＳ１に戻り、それ以降の処理が繰り返し実行される。
ステップＳ３において、ビデオカメラ３５または自分自身の位置を調整する必要がないと判定した場合、ステップＳ５に進み、メインCPU３１は、顔の特徴を抽出するための動作指示を行う。すなわち、メインCPU３１は、音声処理チップ３７を制御し、スピーカ３９からユーザに対して、首振り、まばたき（ウインク）、口の開閉動作など、所定の動作をするようにユーザに指示する。もちろん、この指示は、レンダリングエンジン４１を制御し、画像メモリ４３に所定のメッセージを描画し、この描画したメッセージを、PCRTC４４を介して、CRT３６に出力、表示させることで行うようにしてもよい。
次に、ステップＳ６に進み、メインCPU３１は、ステップＳ５における動作指示に対応して、ユーザの行う動作の変化を画像の変化として抽出し、顔の特徴領域を抽出する。すなわち、例えば、まばたき（ウインク）を指令した後、取り込まれた画像に変化が生じた部分を目として認識する。また、口の開閉を指令した後、変化した画像の領域を口の部分として認識する。
次に、ステップＳ７に進み、メインCPU３１は、仮面のＣＧ画像を生成し、これをレンダリングエンジン４１を制御し、ユーザの顔の画像の表示位置に重畳して描画させる。この画像が、PCRTC４４を介して、CRT３６に出力されると、CRT３６には、例えば第７図に示すように、ユーザの画像の顔の部分が仮面に置き換えられた画像が表示される。
次に、ステップＳ８に進み、メインCPU３１は、ステップＳ６で抽出した顔の特徴領域（例えば、目、口、眉など）を動かすことをユーザに指示するメッセージを、スピーカ３９またはCRT３６から出力する。すなわち、例えば、ユーザに対して、ウインクしたり、口を開閉したり、眉を上げ下げしたりすることを要求する。ユーザが、この要求に対応して、ウインクしたり、口を開閉したり、眉を上げ下げすると、その画像がビデオカメラ３５を介して取り込まれる。メインCPU３１は、動作指示に対応して変化した領域を、その指示に対応する領域の変化としてステップＳ９において検出し、その検出結果に対応して、ステップＳ７で表示した仮面の対応する部位を変化させる。すなわち、まばたき（ウインク）の動作指示に対応してユーザがまばたき（ウインク）を行い、これを検出したとき、メインCPU３１は、仮面の目をまばたき（ウインク）させる。同様に、ユーザが、口を開閉したり、眉を上げ下げしたとき、それに対応して、仮面の口を開閉させ仮面の眉を上げ下げさせる。
次に、ステップＳ１０において、ユーザは、位置が正しく抽出されているか否かを判定する。例えば、ウインクの動作指示に対応してウインクしたにも関わらず、仮面の目がウインクしない場合には、ユーザは、入力部３０の所定のキーを操作して、位置抽出が正しく行われていないことをメインCPU３１に通知する。このとき、ステップＳ１１において、メインCPU３１は、補正指示を出力する。すなわち、ユーザに対して、静止するように指示するとともに、誤判定の要因となっていると思われる背景の動くものを除去したり、照明などを変更させたりするメッセージを出力する。使用者は、このメッセージに対応して、自分の背後において動くものがある場合には、それを除去したり、照明を変更したりする。さらに、メインCPU３１は、例えば第８図に示すように、頭にはちまきをすることを指示したり、帽子をかぶることを指示する。ユーザがこの指示に対応して、はちまきをしたり、帽子をかぶると、そこを基準として頭部を検出することが可能となる。このため、この場合には、ステップＳ１に戻り、それ以降の処理が繰り返し実行される。
ステップＳ１０において、位置が正しく抽出されていると判定された場合、ステップＳ１２に進み、表情が正しく抽出されているか否かが判定される。すなわち、ユーザは、例えば、ステップＳ８における動作指示に対応して頬を動かしたにも関わらず、ステップＳ９で表示されている仮面の頬が変化しない場合には、入力部３０を操作して、表情抽出処理が成功していないことをメインCPU３１に通知する。メインCPU３１は、このとき、ステップＳ１３において、補正指示を出力する。例えば、メインCPU３１は、ユーザに対して、頬の部分にメイキャップしたり、マーキングを施すことを指示する。ユーザが、この指示に対応して、頬にメイキャップしたり、マーキングすれば、第９図に示すような画像が取り込まれることになるので、メインCPU３１は、そのメイキャップやマーキングを基準として、頬を正しく抽出することができる。このため、この場合においても、ステップＳ１３からステップＳ１に戻り、それ以降の処理が繰り返し実行される。
ステップＳ１２において、表情が正しく抽出することができたと判定された場合、第１０図に示すように、ユーザの顔の変化に対応して表情が変化する仮面を有するユーザの画像が得られたことになる。そこで、この場合、ステップＳ１４に進み、パーティイベント処理が実行される。このパーティイベント処理の詳細は、第１１図に示されている。
最初に、ステップＳ５１において、メインCPU３１は、ステップＳ９で生成した仮面を有するユーザの画像を、仮想現実空間のユーザの仮面画像の画像として生成し、レンダリングエンジン４１を制御して、これを画像メモリ４３に描画させる。次に、ステップＳ５２において、メインCPU３１は、ユーザの仮面画像の画像データを画像メモリ４３から読み出し、これを通信部４０に供給させる。そして、メインCPU３１は、さらに通信部４０を制御し、その画像データを、インターネット２を介して、サーバ３に送信させる。また、このとき、メインCPU３１は、入力部３０からの操作に対応して、サーバ３が提供する仮想現実空間内におけるユーザの仮面画像の位置に対応する位置データも同時に送信させる。
さらに、ステップＳ５３において、メインCPU３１は、音声処理チップ３７を制御し、マイクロホン３８から入力されたユーザの音声データを、通信部４０からインターネット２を介して、サーバ３に送信させる。
サーバ３は、インターネット２を介して、例えば画像処理装置１−１から、対応するユーザの仮面画像の画像データ、仮想現実空間における位置データ、並びに音声データが入力されたとき、それらのデータを、その位置の近傍に位置するユーザの仮面画像が対応する画像処理装置１（例えば、画像処理装鷹１−２と画像処理装置１−３）に供給する。同様に、画像処理装置１−２，１−３から、そのユーザの仮面画像の画像データ、位置データ、および音声データが、インターネット２を介して伝送されてきたとき、サーバ３は、このデータを、インターネット２を介して、画像処理装置１−１に出力する。
画像処理装置１−１のメインCPU３１は、このように他の画像処理装置１−２，１−３から、ユーザの仮面画像の画像データ、その位置データ、並びに音声データが伝送されてきことき、ステップＳ５４で、これを受信する。そして、メインCPU３１は、レンダリングエンジン４１を制御し、画像メモリ４３に、仮想現実空間の画像上の対応する位置に、対応するユーザの仮面画像の画像を描画させる。そして、この描画された画像データがPCRTC４４により読み出され、CRT３６に出力され、表示される。また、メインCPU３１は、伝送されてきた音声データを音声処理チップ３７に出力し、音声処理させた後、スピーカ３９から出力させる。
以上のようにして、例えば第１２図に示すように、ユーザＡの使用する画像処理装置１−１のCRT３６−１には、他のユーザ（第１２図の表示例の場合、ユーザＢとユーザＤ）のユーザの仮面画像６１−２，６１−４が表示される。また、ユーザＢの画像処理装置１−２のCRT３６−２には、ユーザＡのユーザの仮面画像６１−１とユーザＣのユーザの仮面画像６１−３が表示される。ユーザＡがしゃべると、これがマイクロホン３８により取り込まれ、例えばユーザＢの画像処理装置１−２のスピーカ３９から放音される。また、このとき、ユーザＡの画像がビデオカメラ３５−１で取り込まれるので、ユーザＡのユーザの仮面画像６１−１の口が、ユーザＡの口に対応して変化する。同様に、ユーザＢが表情を変えると、これがそのビデオカメラ３５−２により取り込まれ、ユーザＢのユーザの仮面画像６１−２の表情が変化する。
以上のような処理は、ステップＳ５５において終了が指示されるまで繰り返し実行される。
なお、以上においては、サーバ３を介して、多数のユーザの仮面画像と仮想現実空間において仮想パーティを楽しむようにしたが、第１３図に示すように、ユーザＡとユーザＢの間で１対１の仮想パーティを楽しむようにすることも可能である。
第４図のステップＳ３２における処理において頭部を抽出する場合、例えば髪の毛の色を基準にして頭部を抽出するようにすることができる。この場合、ピラミッドフィルタ処理を利用することができる。ピラミッドフィルタ処理を行うと、各画素値の平均値が演算されるので、その平均値が髪の毛の色の画素値と近似している領域を髪の毛の領域として抽出するようにすることができる。
次に、ピラミッドフィルタ処理について説明する。このピラミッドフィルタ処理においては、第１４図に示すように、処理画像の相互に隣接する４個の画素値の平均値を求め、その画素を４個の画素の中心に配置する処理が繰り返される。すなわち、バイリニア補間により、近傍４点の平均画素値を演算する処理を実行すると、ｎ×ｎ個（ｎは２のべき乗の値）の処理画像から、（ｎ／２）×（ｎ／２）の画像データが得られる。この処理を繰り返し実行すると、最終的には、ピラミッドの頂点の１画素のデータは、ピラミッドの底面の全画素の平均値を表す画素データとなる。
このようなピラミッドフィルタ処理を実行する場合、メインCPU３１は、レンダリングエンジン４１に対して、次のような描画コマンドを出力する。
int L;／ ＊ソースエリアの一辺の長さ＊／
int offset；
L=2N＾；／＊初期画像の一辺の長さ＊／
offset=0；
while (L>1)｛
Set_Texture_Base(0, offset);/＊テクスチャエリアのベースポイント設定＊／
offset += L;
Set_Drawing_Base(0, offset);／＊描画エリアのベースポイント設定＊／
Flat_Texture_Rectangle (0,0, L/2,0, L/2,L/2, 0,L/2, 0.5,0.5, L+0.5,
0.5, L+0.5, L+0.5, 0.5, L+0.5, 1.0):
L=L/2;｝
この描画コマンドをフローチャートに表すと、第１５図に示すようになる。最初に、ステップＳ６１において、変数offsetに０が初期設定される。次にステップＳ６２において、テクチャエリア５１のベースポイントを（０，offset）に設定する処理が実行される。すなわち、第１６図に示すように、ベースポイントＴ（０，０）が設定される。次に、ステップＳ６３に進み、変数offsetがＬだけインクリメントされる。そして、ステップＳ６４において、描画エリア５２のベースポイントに（０，offset）が設定される。いまの場合、第１６図に示すように、ベースポイントＤ（０，Ｌ）が設定される。
次に、ステップＳ６５において、ソース（テクスチャエリア）の４角形（０．５，０．５，Ｌ＋０．５，０．５，Ｌ＋０．５，Ｌ＋０．５，０．５，Ｌ＋０．５）の画素値に１を乗算して、デスティネーションの４角形（０，０，Ｌ／２，０，Ｌ／２，Ｌ／２，０，Ｌ／２）に加算して描画する処理が実行される。すなわち、これにより、図１４に示す最も下の（ピラミッドの底面の）処理画像から、１つ上の階層の処理画像が得られたことになる。
次に、ステップＳ６６に進み、変数Ｌが現在の値の１／２とされる。ステップＳ６７において、変数Ｌが１より大きいか否かが判定され、変数Ｌが１より大きい場合には、ステップＳ６２に戻り、それ以降め処理が繰り返し実行される。すなわち、これにより、第２番目の階層から、さらに第３番目の階層の画像データが得られることになる。
以下、同様の処理が繰り返し実行され、ステップＳ６７において、変数Ｌが１より大きくないと判定された場合（変数Ｌが１に等しいと判定された場合）、ピラミッドフィルタ処理が終了される。
また、図３のステップＳ５における動作指示に対応して、ステップＳ６で顔の特徴領域を抽出する場合、動作指示に対応して変化した領域（動いた部分）をフレーム間差分処理を行うことで抽出することができる。
次に、フレーム間差分処理について説明する。このフレーム間差分処理においては、第１７図に示すように、時刻ｔにおけるフレームの画像と、時刻ｔ＋１におけるフレームの画像の差が演算される。これにより、動きのある画像のエリアを抽出することができる。
すなわち、この場合、メインCPU３１は、レンダリングエンジン４１に対して、第１８図のフローチャートに示すような処理を実行させる。最初にステップＳ８１において、レンダリングエンジン４１は、メインCPU３１からの指令に対応して、ブレンディングモードとしてモード２を設定する。次に、ステップＳ８２において、レンダリングエンジン４１は、ビデオカメラ３５より入力された画像データのうち、時間的に後のフレームの画像データをデスティネーションの画像とし、時間的に前のフレームの画像データをソース画像データとする。そして、ステップＳ８３において、レンダリングエンジン４１は、デスティネーションの４角形の画素値から、ソースの４角形の画素値を減算して描画する処理を実行する。デスティネーションエリアのフレームの画素データとソースエリアのフレームの画素データは、静止画領域においては、その値は実質的に等しい値となる。その結果、ステップＳ８３における処理を実行すると、その画素データの値は、ほぼ０となる。
これに対して、動きのある領域の画素データの値は、デスティネーションにおける場合とソースにおける場合とで異なる値となる。従って、ステップＳ８３における処理の結果得られる画像データの値は、０以外の所定の大きさを有する値となる。そこで、フレーム間差分の画像データの各画素データの値の大きさから、動き領域と静止画領域とを区分することができる。
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものとする。
なお、上記したような処理を行うコンピュータプログラムをユーザに提供する提供媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
このように、本発明の画像処理装置、画像処理方法、および提供媒体によれば、一旦抽出された画像を、さらにより高解像度の画像として抽出するようにしたので、所定の部位を正確に追尾することが可能となる。
図１は、本発明を適用した画像処理システムの構成例を示すブロック図である。 図２は、図１の画像処理装置の構成例を示すブロック図である。 図３は、図２の画像処理装置の表情データ取得処理を説明するフローチャートである。 図４は、図３のステップＳ１におけるアクティブ画像取得処理を説明するフローチャートである。 図５は、図４のアクティブ画像取得処理を説明する図である。 図６は、図３のステップＳ２における表示例を示す図である。 図７は、図３のステップＳ７における表示例を示す図である。 図８は、図３のステップＳ１１における処理例を説明する図である。 図９は、図３のステップＳ１３における処理例を説明する図である。 図１０は、図３のステップＳ１４における処理例を説明する図である。 図１１は、図３のステップＳ１４におけるパーティイベント処理を説明するフローチャートである。 図１２は、パーティイベント処理を説明する図である。 図１３は、パーティイベント処理の他の例を説明する図である。 図１４は、ピラミッドフィルタ処理を説明する図である。 図１５は、ピラミッドフィルタ処理を説明するフローチャートである。 図１６は、図１５のステップＳ６２，Ｓ６４の処理を説明する図である。 図１７は、フレーム間差分処理を説明する図である。 図１８は、フレーム間差分処理を説明するフローチャートである。

Claims (22)

  1. 入力された画像から所定の部位の画像を抽出する入力画像抽出手段と、
    該抽出された部位の特徴領域を抽出する特徴領域抽出手段と、
    仮面のＣＧ画像を生成して、前記抽出された特徴領域に対応する領域を有する仮面のＣＧを前記所定の部位に重畳して描画する描画手段と、
    前記特徴領域抽出手段により抽出された部位の特徴領域に対し動作指示を出し、その動作指示に基づいて前記仮面のＣＧ画像の前記特徴領域に対応する領域の抽出が正しく行われているか否か判断されると、その判断に基づいて必要な補正指示を出力する位置調整手段とを備えることを特徴とする画像処理装置。
  2. 前記入力された画像を、左右が反転した像として表示させる表示制御手段をさらに備え、該左右が反転した像として表示された画像に、前記描画する手段によって、前記仮面のＣＧ画像を重畳することを特徴とする特許請求の範囲１項に記載の画像処理装置。
  3. 前記仮面のＣＧ画像の前記特徴領域を前記特徴領域抽出手段によって抽出された部位の前記特徴領域の動きに対応して変化させる表示制御装置をさらに備えることを特徴とする特許請求の範囲１項に記載の画像処理装置。
  4. 前記特徴領域抽出手段によって抽出された部位の前記特徴領域の動きを追尾する追尾手段をさらに有することを特徴とする特許請求の範囲１項に記載の画像処理装置。
  5. 前記ＣＧ画像に対し前記特徴領域抽出手段により抽出された部位の前記特徴領域の変化の抽出の誤りを補正させるための補正指示を出す手段をさらに有し、それにより、前記追尾手段を補正することを特徴とする特許請求の範囲４項に記載の画像処理装置。
  6. 前記ＣＧ画像に対し前記特徴領域抽出手段により抽出された部位の前記特徴領域の位置の移動の変化の抽出の誤りを補正させるための補正指示を出す手段をさらに有し、それにより、前記追尾手段を補正することを特徴とする特許請求の範囲４項に記載の画像処理装置。
  7. 前記入力された画像はビデオカメラから出力された画像であることを特徴とする特許請求の範囲１項に記載の画像処理装置。
  8. 前記入力画像抽出手段は、ピラミッドフィルタ処理により前記入力された画像から所定の部位の画像を抽出する処理を行うことを特徴とする特許請求の範囲１項に記載の画像処理装置。
  9. 前記特徴領域抽出手段は、フレーム間差分処理により、前記入力画像抽出手段によって抽出された部位の特徴領域を抽出する処理を行うことを特徴とする特許請求の範囲１項に記載の画像処理装置。
  10. 入力された画像から所定の部位の画像を抽出する入力画像抽出ステップと、
    該入力画像抽出ステップにより抽出された部位の特徴領域を抽出する特徴領域抽出ステップと、
    仮面のＣＧ画像を生成して、前記抽出された特徴領域に対応する領域を有する仮面のＣＧを前記所定の部位に重畳して描画する描画ステップと、
    前記特徴領域抽出ステップによって抽出された部位の特徴領域に対し動作指示を出し、その動作指示に基づいて前記仮面のＣＧ画像の前記特徴領域に対応する領域の抽出が正しく行われているか否か判断されると、その判断に基づいて必要な補正指示を出力する位置調整ステップとを含むことを特徴とする画像処理方法。
  11. 前記入力された画像を、左右が反転した像として表示させる表示制御ステップをさらに含み、該左右が反転した像として表示された画像に、前記描画ステップによって、前記仮面のＣＧ画像を重畳することを特徴とする特許請求の範囲１０項に記載の画像処理方法。
  12. 前記仮面のＣＧ画像の前記特徴領域を前記特徴領域抽出ステップによって抽出された部位の前記特徴領域の動きに対応して変化させる表示制御ステップをさらに含むことを特徴とする特許請求の範囲１０項に記載の画像処理方法。
  13. 前記特徴領域抽出ステップによって抽出された部位の前記特徴領域の動きを追尾する追尾ステップをさらに含むことを特徴とする特許請求の範囲１０項に記載の画像処理方法。
  14. 前記ＣＧ画像に対し前記特徴領域抽出ステップにより抽出された部位の前記特徴領域の変化の抽出の誤りを補正させるための補正指示を出すステップをさらに含み、それにより、前記追尾ステップを補正することを特徴とする特許請求の範囲１３項に記載の画像処理方法。
  15. 前記ＣＧ画像に対し前記特徴領域抽出ステップにより抽出された部位の前記特徴領域の位置の移動の変化の抽出の誤りを補正させるための補正指示を出すステップをさらに含み、それにより、前記追尾ステップを補正することを特徴とする特許請求の範囲１３項に記載の画像処理方法。
  16. 前記入力された画像はビデオカメラから出力された画像であることを特徴とする特許請求の範囲１０項に記載の画像処理方法。
  17. 前記入力画像抽出ステップは、ピラミッドフィルタ処理により前記入力された画像から所定の部位の画像を抽出する処理を行うことを特徴とする特許請求の範囲１０項に記載の画像処理方法。
  18. 前記特徴領域抽出ステップは、フレーム間差分処理により、前記入力画像抽出ステップによって抽出された部位の特徴領域を抽出する処理を行うことを特徴とする特許請求の範囲１０項に記載の画像処理方法。
  19. 入力された画像から所定の部位の画像を抽出する入力画像抽出ステップと、
    該入力画像抽出ステップにより抽出された部位の特徴領域を抽出する特徴領域抽出ステップと、
    仮面のＣＧ画像を生成して、前記抽出された特徴領域に対応する領域を有する仮面のＣＧを前記所定の部位に重畳して描画する描画ステップと、
    前記特徴領域抽出ステップによって抽出された部位の特徴領域に対し動作指示を出し、その動作指示に基づいて前記仮面のＣＧ画像の前記特徴領域に対応する領域の抽出が正しく行われているか否か判断されると、その判断に基づいて必要な補正指示を出力する位置調整ステップとを含む処理を画像処理のためのコンピュータに実行させるプログラムを提供することを特徴とする提供媒体。
  20. 前記プログラムは、磁気ディスク、ＣＤ−ＲＯＭ、固体メモリなどの記録媒体にて提供することを特徴とする特許請求の範囲１９項に記載の提供媒体。
  21. 入力された画像から所定の部位の画像を抽出する入力画像抽出手段と、
    該抽出された部位の特徴領域を抽出する特徴領域抽出手段と、
    仮面のＣＧ画像を生成して、前記抽出された特徴領域に対応する領域を有する仮面のＣＧを前記所定の部位に重畳して描画する描画手段と、
    前記入力される画像の所定の部位の特徴領域に、メークアップやマーキングをする指示を出し、その指示に基づいて前記仮面のＣＧ画像のそれに対応する領域の抽出が正しく行われているか否か判断されると、その判断に基づいて必要な補正指示を出力する位置調整手段とを備えることを特徴とする画像処理装置。
  22. 前記特徴領域抽出手段が、前記入力画像抽出手段によって抽出された部位の画像の内、時間的に後のフレームの画像をデスティネーション画像とし、時間的に前のフレームの画像をソース画像として、デスティネーション画像とソース画像との間の画素データの値の差がゼロでない特徴領域を動きのあった領域と判断して抽出することを特徴とする、特許請求の範囲２１項に記載の画像処理装置。
JP2008241811A 1998-05-19 2008-09-19 画像処理装置および方法、並びに提供媒体 Expired - Lifetime JP4390012B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008241811A JP4390012B2 (ja) 1998-05-19 2008-09-19 画像処理装置および方法、並びに提供媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP13623998 1998-05-19
JP2008241811A JP4390012B2 (ja) 1998-05-19 2008-09-19 画像処理装置および方法、並びに提供媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2000550063A Division JP4258123B2 (ja) 1998-05-19 1999-05-18 画像処理装置および方法、並びに提供媒体

Publications (2)

Publication Number Publication Date
JP2009048644A JP2009048644A (ja) 2009-03-05
JP4390012B2 true JP4390012B2 (ja) 2009-12-24

Family

ID=15170543

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2000550063A Expired - Lifetime JP4258123B2 (ja) 1998-05-19 1999-05-18 画像処理装置および方法、並びに提供媒体
JP2004021529A Expired - Lifetime JP4117682B2 (ja) 1998-05-19 2004-01-29 画像処理装置および方法、並びに提供媒体
JP2008241811A Expired - Lifetime JP4390012B2 (ja) 1998-05-19 2008-09-19 画像処理装置および方法、並びに提供媒体

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2000550063A Expired - Lifetime JP4258123B2 (ja) 1998-05-19 1999-05-18 画像処理装置および方法、並びに提供媒体
JP2004021529A Expired - Lifetime JP4117682B2 (ja) 1998-05-19 2004-01-29 画像処理装置および方法、並びに提供媒体

Country Status (11)

Country Link
US (3) US6714660B1 (ja)
EP (1) EP0999518A4 (ja)
JP (3) JP4258123B2 (ja)
KR (2) KR100575472B1 (ja)
CN (1) CN1222911C (ja)
AU (1) AU751852B2 (ja)
BR (1) BR9906453A (ja)
CA (1) CA2295606A1 (ja)
RU (1) RU2000102890A (ja)
TW (1) TW563053B (ja)
WO (1) WO1999060522A1 (ja)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0574584U (ja) * 1992-03-07 1993-10-12 株式会社大成商会 パチンコ機等における釘調整補助具
CA2295606A1 (en) * 1998-05-19 1999-11-25 Sony Computer Entertainment Inc. Image processing apparatus and method, and providing medium
JP2001222719A (ja) * 1999-12-01 2001-08-17 Matsushita Electric Ind Co Ltd 顔抽出装置及び顔抽出方法並びに顔抽出プログラムの記録媒体
US7391929B2 (en) * 2000-02-11 2008-06-24 Sony Corporation Masking tool
US6807290B2 (en) * 2000-03-09 2004-10-19 Microsoft Corporation Rapid computer modeling of faces for animation
US7106887B2 (en) * 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
AU7664301A (en) * 2000-06-27 2002-01-21 Ruth Gal Make-up and fashion accessory display and marketing system and method
US7020305B2 (en) 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation
JP2002229955A (ja) * 2001-02-02 2002-08-16 Matsushita Electric Ind Co Ltd 情報端末装置及び認証システム
JP4925538B2 (ja) * 2001-09-28 2012-04-25 株式会社バンダイナムコゲームス ゲームシステム
JP3911527B2 (ja) * 2002-01-17 2007-05-09 富士通株式会社 携帯端末、携帯端末処理用プログラム及び携帯端末システム
JP4331488B2 (ja) * 2003-02-20 2009-09-16 パナソニック株式会社 集積回路及びそれを用いた電子機器
GB2406424A (en) 2003-09-23 2005-03-30 Ncr Int Inc Biometric system provides feedback if the biometric capture was not complete
JP3847753B2 (ja) 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JPWO2005076210A1 (ja) * 2004-02-05 2007-10-18 ソフトバンクモバイル株式会社 画像処理方法、画像処理装置及び移動通信端末装置
US7570238B2 (en) * 2004-04-01 2009-08-04 Seiko Epson Corporation System and method for reducing power consumption by a display controller
EP1589758A1 (en) 2004-04-22 2005-10-26 Alcatel Video conference system and method
TWI386744B (zh) * 2004-12-14 2013-02-21 Samsung Display Co Ltd 薄膜電晶體面板以及使用該薄膜電晶體面板之液晶顯示器
JP3920889B2 (ja) * 2004-12-28 2007-05-30 沖電気工業株式会社 画像合成装置
JP4613617B2 (ja) * 2005-01-07 2011-01-19 ソニー株式会社 画像処理システム、学習装置および方法、並びにプログラム
JP2007020033A (ja) * 2005-07-11 2007-01-25 Nikon Corp 電子カメラおよび画像処理プログラム
KR101103115B1 (ko) 2005-08-12 2012-01-04 소니 컴퓨터 엔터테인먼트 인코포레이티드 얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시 프로그램
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US8098885B2 (en) * 2005-11-02 2012-01-17 Microsoft Corporation Robust online face tracking
US20080317264A1 (en) * 2005-12-21 2008-12-25 Jordan Wynnychuk Device and Method for Capturing Vocal Sound and Mouth Region Images
JP5080492B2 (ja) * 2005-12-21 2012-11-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ コンピュータを利用したシステム
KR101240261B1 (ko) 2006-02-07 2013-03-07 엘지전자 주식회사 이동통신 단말기의 영상 통화 장치 및 방법
US8026931B2 (en) * 2006-03-16 2011-09-27 Microsoft Corporation Digital video effects
US8766983B2 (en) 2006-05-07 2014-07-01 Sony Computer Entertainment Inc. Methods and systems for processing an interchange of real time effects during video communication
JP4627052B2 (ja) * 2006-07-06 2011-02-09 株式会社ソニー・コンピュータエンタテインメント 画像に連携した音声出力方法および装置
JP4689548B2 (ja) * 2006-07-19 2011-05-25 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JP2008099160A (ja) 2006-10-16 2008-04-24 Funai Electric Co Ltd 撮像機能を有する機器
US8189864B2 (en) 2007-08-29 2012-05-29 Casio Computer Co., Ltd. Composite image generating apparatus, composite image generating method, and storage medium
JP4973622B2 (ja) * 2007-08-29 2012-07-11 カシオ計算機株式会社 画像合成装置および画像合成処理プログラム
US8582919B2 (en) * 2007-09-24 2013-11-12 Microsoft Corporation Altering the appearance of a digital image using a shape
JP4935647B2 (ja) * 2007-11-29 2012-05-23 カシオ計算機株式会社 合成画像出力装置および合成画像出力処理プログラム
EP2283472B1 (en) * 2008-05-05 2021-03-03 Iomniscient Pty Ltd A system and method for electronic surveillance
JP4809869B2 (ja) * 2008-05-26 2011-11-09 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法及びプログラム
GB2463312A (en) * 2008-09-09 2010-03-17 Skype Ltd Games system with bi-directional video communication
JP5574607B2 (ja) * 2009-02-05 2014-08-20 株式会社タイトー リアルタイム動画対応ゲーム機システム
JP4767331B2 (ja) * 2009-03-10 2011-09-07 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
KR101640458B1 (ko) * 2009-06-25 2016-07-18 삼성전자주식회사 영상 장치 및 컴퓨터 판독 기록매체
KR100954835B1 (ko) * 2009-08-04 2010-04-30 주식회사 크라스아이디 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
JP5325745B2 (ja) 2009-11-02 2013-10-23 株式会社ソニー・コンピュータエンタテインメント 動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置
US8471732B2 (en) * 2009-12-14 2013-06-25 Robert Bosch Gmbh Method for re-using photorealistic 3D landmarks for nonphotorealistic 3D maps
CN102194303A (zh) * 2010-03-15 2011-09-21 鸿富锦精密工业（深圳）有限公司 电子装置及其监测用户阅读状态的方法
FR2958487A1 (fr) * 2010-04-06 2011-10-07 Alcatel Lucent Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video
US8515137B2 (en) * 2010-05-03 2013-08-20 Microsoft Corporation Generating a combined image from multiple images
JP5525923B2 (ja) 2010-06-09 2014-06-18 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
JP5580156B2 (ja) 2010-09-27 2014-08-27 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム制御方法、ならびに、プログラム
JP5781353B2 (ja) 2011-03-31 2015-09-24 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、および位置情報のデータ構造
JP5774889B2 (ja) 2011-03-31 2015-09-09 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP5629642B2 (ja) 2011-05-19 2014-11-26 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
JP5325265B2 (ja) 2011-07-01 2013-10-23 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム
JP5701707B2 (ja) 2011-07-25 2015-04-15 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
JP2013034039A (ja) 2011-07-29 2013-02-14 Sony Computer Entertainment Inc 撮像装置、情報処理装置、情報処理システムおよびフレームデータ出力同期化方法
US9160965B2 (en) 2011-08-01 2015-10-13 Thomson Licensing Telepresence communications system and method
JP5852374B2 (ja) 2011-09-07 2016-02-03 株式会社Ｓｃｒｅｅｎホールディングス 描画装置および描画方法
US9148586B2 (en) 2012-02-10 2015-09-29 Sony Corporation Terminal apparatus for combining images from two different cameras based on detected sound
WO2013133863A1 (en) 2012-03-09 2013-09-12 Thomson Licensing Distributed control of synchronized content
US9137314B2 (en) 2012-11-06 2015-09-15 At&T Intellectual Property I, L.P. Methods, systems, and products for personalized feedback
US9756288B2 (en) 2013-04-10 2017-09-05 Thomson Licensing Tiering and manipulation of peer's heads in a telepresence system
JP6121787B2 (ja) 2013-04-26 2017-04-26 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理システム、および画像データ処理方法
US10284887B2 (en) 2013-06-20 2019-05-07 Interdigital Ce Patent Holdings System and method to assist synchronization of distributed play out of content
CN104869346A (zh) * 2014-02-26 2015-08-26 中国移动通信集团公司 一种视频通话中的图像处理方法及电子设备
JP6129119B2 (ja) 2014-06-04 2017-05-17 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理システム、撮像装置、および画像処理方法
US9706114B2 (en) 2014-09-12 2017-07-11 Sony Corporation Image pickup apparatus, information processing apparatus, display apparatus, information processing system, image data sending method, image displaying method, and computer program
JP6494305B2 (ja) 2015-01-29 2019-04-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、表示装置、および情報処理方法
JP6465672B2 (ja) 2015-01-29 2019-02-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP6345627B2 (ja) 2015-05-20 2018-06-20 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
JP6218787B2 (ja) 2015-09-29 2017-10-25 株式会社ソニー・インタラクティブエンタテインメント 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法
JP6452585B2 (ja) 2015-10-01 2019-01-16 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
JP6514089B2 (ja) 2015-11-02 2019-05-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP6499993B2 (ja) 2016-05-18 2019-04-10 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP6533761B2 (ja) 2016-05-18 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
JP6697986B2 (ja) 2016-09-07 2020-05-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像領域分割方法
JP6615723B2 (ja) 2016-09-07 2019-12-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および対象物認識方法
JP6662745B2 (ja) 2016-10-04 2020-03-11 株式会社ソニー・インタラクティブエンタテインメント 撮影装置、情報処理システム、および偏光画像処理方法
WO2018110432A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、コントローラデバイス、コントローラデバイスの制御方法、及びプログラム
WO2018110433A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、振動制御方法、及びプログラム
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
JP6768933B2 (ja) * 2017-04-14 2020-10-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および画像処理方法
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
WO2018193514A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP6887011B2 (ja) 2017-04-19 2021-06-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP6757466B2 (ja) 2017-04-26 2020-09-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
US11173394B2 (en) 2017-05-18 2021-11-16 Sony Interactive Entertainment Inc. Information processing apparatus and normal line information acquisition method
JP6851475B2 (ja) 2017-06-06 2021-03-31 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
WO2018235163A1 (ja) 2017-06-20 2018-12-27 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
US11710289B2 (en) 2017-06-29 2023-07-25 Sony Interactive Entertainment Inc. Information processing apparatus, information processing system, and material identification method
WO2019003383A1 (ja) 2017-06-29 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および材質特定方法
JP6771435B2 (ja) 2017-07-20 2020-10-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
JP6721550B2 (ja) 2017-08-04 2020-07-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
JP6821028B2 (ja) 2017-08-04 2021-01-27 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および画像データ読み出し方法
KR101961241B1 (ko) * 2017-09-07 2019-03-22 라인 가부시키가이샤 영상 통화 및 객체 인식을 바탕으로 한 게임 제공 방법 및 그 시스템
WO2019049331A1 (ja) 2017-09-08 2019-03-14 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
US11327329B2 (en) 2017-12-22 2022-05-10 Sony Interactive Entertainment Inc. Information processing apparatus and surface roughness acquisition method
WO2020008511A1 (ja) 2018-07-02 2020-01-09 株式会社ソニー・インタラクティブエンタテインメント 電子機器、コンテンツ処理装置、コンテンツ処理システム、画像データ出力方法、および画像処理方法
JP6934575B2 (ja) 2018-09-14 2021-09-15 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および物体検出方法
JP7202156B2 (ja) 2018-11-30 2023-01-11 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、位置姿勢取得用デバイス、およびデバイス情報取得方法
US11972591B2 (en) * 2019-05-16 2024-04-30 Maxell, Ltd. Image processing apparatus and image processing method
JP7218435B2 (ja) 2019-05-23 2023-02-06 株式会社ソニー・インタラクティブエンタテインメント キャリブレーション装置、キャリブレーション用チャート、およびキャリブレーション方法
JP7300517B2 (ja) 2019-11-21 2023-06-29 株式会社ソニー・インタラクティブエンタテインメント 入射光情報取得方法、入射光情報取得システム、および情報処理装置
CN111209050A (zh) * 2020-01-10 2020-05-29 北京百度网讯科技有限公司 用于切换电子设备的工作模式的方法和装置
CN111556305B (zh) 2020-05-20 2022-04-15 京东方科技集团股份有限公司 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质
JP2022138647A (ja) 2021-03-10 2022-09-26 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、情報処理システム、および画像取得方法
US20230410396A1 (en) * 2022-06-17 2023-12-21 Lemon Inc. Audio or visual input interacting with video creation

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4539585A (en) * 1981-07-10 1985-09-03 Spackova Daniela S Previewer
DE3603920A1 (de) * 1985-02-07 1986-08-07 Olympus Optical Co., Ltd., Tokio/Tokyo Verfahren zur aufzeichnung oder darstellung von durch elektrophorese entstandenen bildern
JPH0786914B2 (ja) * 1986-11-07 1995-09-20 株式会社日立製作所 画像を用いた変化検出方法
US5148477A (en) * 1990-08-24 1992-09-15 Board Of Regents Of The University Of Oklahoma Method and apparatus for detecting and quantifying motion of a body part
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
US5307452A (en) * 1990-09-21 1994-04-26 Pixar Method and apparatus for creating, manipulating and displaying images
JP2921973B2 (ja) * 1990-11-29 1999-07-19 株式会社日立製作所 特定物体の画像抽出方法及び画像抽出装置
JP2522859B2 (ja) * 1990-12-14 1996-08-07 日産自動車株式会社 眼位置検出装置
JPH04328689A (ja) 1991-04-30 1992-11-17 Nippon Telegr & Teleph Corp <Ntt> 動画像からの移動物体抽出方法
US5291560A (en) * 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis
JP2849256B2 (ja) * 1991-12-26 1999-01-20 日本電信電話株式会社 画像認識装置
JP2973676B2 (ja) * 1992-01-23 1999-11-08 松下電器産業株式会社 顔画像特徴点抽出装置
JPH05336445A (ja) * 1992-05-29 1993-12-17 Hitachi Ltd 画像処理方法
CN1045129C (zh) * 1993-03-29 1999-09-15 松下电器产业株式会社 个人识别装置
JPH0749949A (ja) * 1993-08-06 1995-02-21 Daikin Ind Ltd 探索点絞り込み方法、追跡型画像位置決め方法、および画像探索方法
US5347306A (en) 1993-12-17 1994-09-13 Mitsubishi Electric Research Laboratories, Inc. Animated electronic meeting place
US5686981A (en) * 1994-02-28 1997-11-11 Menicon Co., Ltd Ophthalmologic device for accurately positioning a contact lens to an eye
US5572596A (en) * 1994-09-02 1996-11-05 David Sarnoff Research Center, Inc. Automated, non-invasive iris recognition system and method
EP0725364B1 (en) * 1995-02-02 2006-11-15 Matsushita Electric Industrial Co., Ltd. Image processing apparatus
JP3892059B2 (ja) * 1995-03-07 2007-03-14 松下電器産業株式会社 動物体追跡装置
DE69524204T2 (de) * 1995-03-31 2002-08-22 Hitachi Europe Ltd., Maidenhead Gesichtsbildverarbeitung
JPH09134418A (ja) * 1995-11-08 1997-05-20 Hitachi Ltd 特定被写体の抽出方法とその装置
JP2920113B2 (ja) 1995-11-09 1999-07-19 ミツビシ・エレクトリック・インフォメイション・テクノロジー・センター・アメリカ・インコーポレイテッド 仮想体験環境ネットワークシステム
JP3588883B2 (ja) 1995-12-08 2004-11-17 ヤマハ株式会社 カラオケ装置
US6046745A (en) * 1996-03-25 2000-04-04 Hitachi, Ltd. Three-dimensional model making device and its method
GB9610212D0 (en) 1996-05-16 1996-07-24 Cyberglass Limited Method and apparatus for generating moving characters
JPH09331509A (ja) * 1996-06-12 1997-12-22 Nec Corp テレビ電話用蓄積人物映像表示装置
US6078310A (en) * 1996-06-26 2000-06-20 Sun Microsystems, Inc. Eyetracked alert messages
JP3274608B2 (ja) 1996-07-12 2002-04-15 日本電気株式会社 携帯端末装置
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
US6400374B2 (en) * 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
JP3771989B2 (ja) * 1997-03-24 2006-05-10 オリンパス株式会社 画像音声通信システムおよびテレビ電話送受信方法
US5892837A (en) * 1997-08-29 1999-04-06 Eastman Kodak Company Computer program product for locating objects in an image
AU4307499A (en) * 1998-05-03 1999-11-23 John Karl Myers Videophone with enhanced user defined imaging system
CA2295606A1 (en) 1998-05-19 1999-11-25 Sony Computer Entertainment Inc. Image processing apparatus and method, and providing medium
US6611242B1 (en) * 1999-02-12 2003-08-26 Sanyo Electric Co., Ltd. Information transmission system to transmit work instruction information
CN1186936C (zh) * 2000-05-22 2005-01-26 松下电器产业株式会社 图像通信终端
DE10301468B4 (de) * 2002-01-18 2010-08-05 Honda Giken Kogyo K.K. Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs

Also Published As

Publication number Publication date
AU3732599A (en) 1999-12-06
JP2004195243A (ja) 2004-07-15
KR100575472B1 (ko) 2006-05-03
JP2009048644A (ja) 2009-03-05
JP4258123B2 (ja) 2009-04-30
BR9906453A (pt) 2000-09-19
US7620206B2 (en) 2009-11-17
TW563053B (en) 2003-11-21
RU2000102890A (ru) 2002-03-27
KR20010021971A (ko) 2001-03-15
KR20060017926A (ko) 2006-02-27
EP0999518A1 (en) 2000-05-10
CN1272192A (zh) 2000-11-01
EP0999518A4 (en) 2005-07-27
CA2295606A1 (en) 1999-11-25
KR100812903B1 (ko) 2008-03-11
US6714660B1 (en) 2004-03-30
US20040240740A1 (en) 2004-12-02
US20070110279A1 (en) 2007-05-17
WO1999060522A1 (en) 1999-11-25
US7200247B2 (en) 2007-04-03
CN1222911C (zh) 2005-10-12
AU751852B2 (en) 2002-08-29
JP4117682B2 (ja) 2008-07-16

Similar Documents

Publication Publication Date Title
JP4390012B2 (ja) 画像処理装置および方法、並びに提供媒体
Gemmell et al. Gaze awareness for video-conferencing: A software approach
JP4872135B2 (ja) 顔メッシュを使用して顔アニメーションを作成する技術
US7116330B2 (en) Approximating motion using a three-dimensional model
KR100914847B1 (ko) 다시점 영상정보를 이용한 삼차원 얼굴 모델 생성방법 및장치
JP2000251090A (ja) 描画装置及び該描画装置で被写界深度を表現する方法
JP2006101186A (ja) カメラ
JP2007151647A (ja) 画像処理装置、画像処理方法及びプログラム
CN111530088B (zh) 一种生成游戏角色的实时表情图片的方法和装置
JP2001160154A (ja) 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体
Isikdogan et al. Eye contact correction using deep neural networks
JP5690080B2 (ja) 動画像データ生成機器および動画像データ生成方法
JP2021111102A (ja) 動画生成装置およびライブ通信システム
Kang et al. Real-time animation and motion retargeting of virtual characters based on single rgb-d camera
JP3062181B1 (ja) 実時間表情検出装置
US20230139989A1 (en) Videoconference method and videoconference system
NZ501228A (en) Imaging process device with predetermined image parts continually extracted, and typically displayed, at higher resolution
JP2001092990A (ja) ３次元仮想空間参加者表示方法、３次元仮想空間表示装置、および３次元仮想空間参加者表示プログラムを記録した記録媒体
KR102320586B1 (ko) 다시각적 모델링을 이용한 인공지능 로봇 시뮬레이터의 제어 방법 및 장치
Lyons Discrete event modeling of misrecognition in PTZ tracking
JP2021132320A (ja) 遊戯画像撮影装置およびプログラム
JP4767331B2 (ja) 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
JPH0993542A (ja) 画像通信装置
JP2012090197A (ja) 画像配信システムおよび画像配信方法と画像配信プログラム
JP2000024316A (ja) ゲーム装置および情報記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090915

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090928

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121016

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131016

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term