JP5026692B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP5026692B2
JP5026692B2 JP2005347602A JP2005347602A JP5026692B2 JP 5026692 B2 JP5026692 B2 JP 5026692B2 JP 2005347602 A JP2005347602 A JP 2005347602A JP 2005347602 A JP2005347602 A JP 2005347602A JP 5026692 B2 JP5026692 B2 JP 5026692B2
Authority
JP
Japan
Prior art keywords
image
screen
display content
group
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005347602A
Other languages
English (en)
Other versions
JP2007151647A (ja
Inventor
智一 掛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Computer Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Priority to JP2005347602A priority Critical patent/JP5026692B2/ja
Priority to US11/600,017 priority patent/US20070126874A1/en
Publication of JP2007151647A publication Critical patent/JP2007151647A/ja
Application granted granted Critical
Publication of JP5026692B2 publication Critical patent/JP5026692B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は画像処理装置、画像処理方法及びプログラムに関し、特にユーザの動画像を含む画面を表示する画像処理装置、画像処理方法及びプログラムに関する。
下記特許文献1には、コンピュータで作成した画像にユーザの動画像を合成し、ユーザの動画像の内容に基づいて画面表示を制御する画像処理装置が開示されている。この画像処理装置によれば、コンピュータで作成した画像中の登場人物のようにユーザを演出することができ、ゲームソフト等の面白さを倍加させることができる。
特許第3298870号公報
しかしながら、上記背景技術は、1のカメラで撮影された1人のユーザの動画像を、コンピュータで作成した画像の固定された位置に合成するものであり、2以上のカメラで撮影される画像を用いて画面表示を制御することができない。このため、複数のユーザによるゲームやコミュニケーションに適用することが困難であるという問題があった。
本発明は上記課題に鑑みてなされたものであって、その目的は、2以上のカメラの各々により撮影される画像を用いて画面表示を制御することができる画像処理装置、画像処理方法及びプログラムを提供することにある。
上記課題を解決するために、本発明に係る画像処理装置は、2以上のカメラの各々により撮影された画像を所定時間毎に取得する画像取得手段と、前記画像取得手段により前記所定時間毎に取得される前記各画像を画面に順次表示する画像表示手段と、前記画像取得手段により取得される、前記2のカメラにより撮影された前記各画像の関係に基づいて、前記画面の表示内容を制御する表示内容制御手段と、を含むことを特徴とする。
また、本発明に係る画像処理方法は、2以上のカメラの各々により撮影された画像を所定時間毎に取得する画像取得ステップと、前記画像取得ステップで前記所定時間毎に取得される前記各画像を画面に順次表示する画像表示ステップと、前記画像取得ステップで取得される、前記2のカメラにより撮影された前記各画像の関係に基づいて、前記画面の表示内容を制御する表示内容制御ステップと、を含むことを特徴とする。
また、本発明に係るプログラムは、2以上のカメラの各々により撮影された画像を所定時間毎に取得する画像取得手段、前記画像取得手段により前記所定時間毎に取得される前記各画像を画面に順次表示する画像表示手段、及び前記画像取得手段により取得される、前記2のカメラにより撮影された前記各画像の関係に基づいて、前記画面の表示内容を制御する表示内容制御手段として、例えば家庭用ゲーム機、携帯用ゲーム機、業務用ゲーム機、パーソナルコンピュータ、サーバコンピュータ、携帯電話機、携帯情報端末等のコンピュータを機能させるためのプログラムである。このプログラムは、例えばDVD−ROM、CD−ROM、ROMカートリッジ等のコンピュータ読み取り可能な情報記憶媒体に格納されてよい。
本発明によれば、2以上のカメラの各々により撮影された画像が所定時間毎に取得され、画面に表示される。そして、その表示内容は、それらカメラのうち2つにより撮影された画像の関係に基づいて制御される。この結果、各カメラにより撮影される内容に応じて画面の表示内容を変化させることができ、複数のユーザによるゲームやコミュニケーションに好適に適用することができるようになる。
なお、前記表示内容制御手段は、前記画像取得手段により取得される、前記2のカメラにより撮影された前記各画像の内容の関係又は該画像に写された被写体の動きの関係に基づいて、前記画面の表示内容を制御するようにしてもよい。この構成によると、例えば各カメラの前でユーザが同じ或いは類似のポーズをとったり、特定の動作を行ったり、そのタイミングを調整したり、或いは特定の物を各カメラで写したりすることで、画面の表示内容を任意に変化させることができるようになる。
この場合、前記表示内容制御手段は、前記2のカメラにより撮影された前記各画像の内容の相違を示す画像を生成するとともに、該画像に基づいて、前記画面の表示内容を制御するようにしてもよい。前記相違を示す画像は、前記画像取得手段により異なる時刻に取得されて前記画面に表示される、前記2のカメラにより撮影された前記各画像の内容の相違を示すものであってよい。或いは、前記画像取得手段により同じ時刻に取得されて前記画面に表示される、前記2のカメラにより撮影された前記各画像の内容の相違を示すものであってもよい。
また、前記表示内容制御手段は、前記画像取得手段により取得される、前記2のカメラにより撮影された前記各画像に写された被写体の動きの方向が所定関係にあるか否かに応じて、前記画面の表示内容を制御するようにしてもよい。こうすれば、各カメラの前で被写体が特定の方向の動きをすることで画面の表示内容を変化させることができる。
以下、本発明の実施形態について図面に基づき詳細に説明する。
図1は、本実施形態に係るエンタテインメントシステム(画像処理装置)を用いて構成されたネットワークシステムの構成図である。同図に示すように、このシステムはインターネットやLAN等のネットワーク50に接続された複数のエンタテインメントシステム10からなる。各エンタテインメントシステム10は、ユーザの動画像を撮影するカメラユニット46が接続されたコンピュータを含んで構成されており、ネットワーク50を介してユーザの動画像を示すデータを授受することで、各エンタテインメントシステム10において、多数のユーザの動画像が含まれる共通の画面を表示させることができるようになっている。
図2は、本実施形態に係るエンタテインメントシステム(画像処理装置)のハードウェア構成を示す図である。同図に示すように、エンタテインメントシステム10は、MPU(Micro Processing Unit)11と、メインメモリ20と、画像処理部24と、モニタ26と、入出力処理部28と、音声処理部30と、スピーカ32と、光ディスク読み取り部34と、光ディスク36と、ハードディスク38と、インタフェース(I/F)40,44と、コントローラ42と、カメラユニット46と、ネットワークインタフェース48と、を含んで構成されるコンピュータシステムである。
図3は、MPU11の構成を示す図である。同図に示すように、MPU11は、メインプロセッサ12と、サブプロセッサ14a〜14hと、バス16と、メモリコントローラ18と、インタフェース(I/F)22と、を含んで構成される。
メインプロセッサ12は、図示しないROM(Read Only Memory)に記憶されるオペレーティングシステム、例えばDVD(Digital Versatile Disk)−ROM等の光ディスク36から読み出されるプログラム及びデータや、通信ネットワークを介して供給されるプログラム及びデータ等に基づいて、各種情報処理を行ったり、サブプロセッサ14a〜14hに対する制御を行ったりする。
サブプロセッサ14a〜14hは、メインプロセッサ12からの指示に従って、各種情報処理を行ったり、エンタテインメントシステム10の各部を、例えばDVD−ROM等の光ディスク36から読み出されるプログラム及びデータや、ネットワーク50を介して供給されるプログラム及びデータ等に基づいて制御したりする。
バス16は、アドレス及びデータをエンタテインメントシステム10の各部でやり取りするためのものである。メインプロセッサ12、サブプロセッサ14a〜14h、メモリコントローラ18、インタフェース22は、バス16を介して相互にデータ授受可能に接続される。
メモリコントローラ18は、メインプロセッサ12及びサブプロセッサ14a〜14hからの指示に従って、メインメモリ20へのアクセスを行う。
メインメモリ20には、光ディスク36やハードディスク38から読み出されたプログラム及びデータや、通信ネットワークを介して供給されたプログラム及びデータが必要に応じて書き込まれる。メインメモリ20はメインプロセッサ12やサブプロセッサ14a〜14hの作業用としても用いられる。
インタフェース22には画像処理部24及び入出力処理部28が接続される。メインプロセッサ12及びサブプロセッサ14a〜14hと、画像処理部24又は入出力処理部28と、の間のデータ授受はインタフェース22を介して行われる。
画像処理部24は、GPU(Graphical Processing Unit)とフレームバッファとを含んで構成される。GPUは、メインプロセッサ12やサブプロセッサ14a〜14hから供給される画像データに基づいてフレームバッファに各種画面を描画する。フレームバッファに形成された画面は、所定のタイミングでビデオ信号に変換されてモニタ26に出力される。なお、モニタ26には例えば家庭用テレビ受像機が用いられる。
入出力処理部28には、音声処理部30、光ディスク読み取り部34、ハードディスク38、インタフェース40,44が接続される。入出力処理部28は、メインプロセッサ12及びサブプロセッサ14a〜14hと、音声処理部30、光ディスク読み取り部34、ハードディスク38、インタフェース40,44、ネットワークインタフェース48と、の間のデータ授受を制御する。
音声処理部30は、SPU(Sound Processing Unit)とサウンドバッファとを含んで構成される。サウンドバッファには、光ディスク40やハードディスク38から読み出されたゲーム音楽、ゲーム効果音やメッセージなどの各種音声データが記憶される。SPUは、これらの各種音声データを再生してスピーカ32から出力させる。なお、スピーカ32には例えば家庭用テレビ受像機の内蔵スピーカが用いられる。
光ディスク読み取り部34は、メインプロセッサ12及びサブプロセッサ14a〜14hからの指示に従って、光ディスク36に記憶されたプログラムやデータを読み取る。なお、エンタテインメントシステム10は、光ディスク36以外の他の情報記憶媒体に記憶されたプログラムやデータを読み取り可能に構成してもよい。
光ディスク36は例えばDVD−ROM等の一般的な光ディスク(コンピュータ読み取り可能な情報記憶媒体)である。また、ハードディスク38は一般的なハードディスク装置である。光ディスク36やハードディスク38には各種プログラムやデータがコンピュータ読み取り可能に記憶される。
インタフェース(I/F)40,44は、コントローラ42やカメラユニット46等の各種周辺機器を接続するためのインタフェースである。このようなインタフェースとしては、例えばUSB(Universal Serial Bus)インタフェースが用いられる。
コントローラ42は汎用操作入力手段であり、ユーザが各種操作(例えばゲーム操作)を入力するために用いられる。入出力処理部28は、所定時間(例えば1/60秒)ごとにコントローラ42の各部の状態をスキャンし、その結果を表す操作信号をメインプロセッサ12やサブプロセッサ14a〜14hに供給する。メインプロセッサ12やサブプロセッサ14a〜14hは、ユーザによって行われた操作の内容をその操作信号に基づいて判断する。なお、エンタテインメントシステム10は複数のコントローラ42を接続可能に構成されており、各コントローラ42から入力される操作信号に基づいて、メインプロセッサ12やサブプロセッサ14a〜14hが各種処理を実行するようになっている。
カメラユニット46は、例えば公知のデジタルカメラを含んで構成され、白黒、グレイスケール又はカラーの撮影画像を所定時間(例えば1/60秒)ごとに入力する。本実施の形態におけるカメラユニット46は、撮影画像をJPEG(Joint Photographic Experts Group)形式の画像データとして入力するようになっている。また、カメラユニット46は、例えばレンズをプレイヤに向けた状態でモニタ26の上に設置され、ケーブルを介してインタフェース44に接続される。ネットワークインタフェース48は入出力処理部28とネットワーク50とに接続されており、エンタテインメントシステム10がネットワーク50を介して他のエンタテインメントシステム10とデータ通信するのを中継するようになっている。
図4は、本実施形態に係る1つのエンタテインメントシステム10において、モニタ26に表示される画面を示している。同図に示すように、モニタ26に表示される画面には、ネットワーク50を介して通信接続された他のエンタテインメントシステム10において撮影され、そこから所定時間毎に送信される他のユーザの画像(動画像)、及び当該モニタ26とともにエンタテインメントシステム10に接続されたカメラユニット46により撮影され、所定時間毎に取得されるユーザの画像(動画像)が(同図では合計16の動画像)含まれている。各ユーザの画像は縦横に整列されており、一目でどのユーザがどのポーズ(姿勢)で写っているかが分かるようになっている。本実施形態では、これら複数の画像の中に所定の関係を有するペアがあるか否かを判定し、その判定結果に応じて、モニタ26に表示される画面にエフェクトを付加するようになっている。すなわち、エンタテインメントシステム10では、自機のカメラユニット46及び他機のカメラユニット46で撮影された複数のユーザの画像の中から、同じ或いは類似のポーズで写っているものがあるかを判定して、そのようなものがあれば、画面にエフェクトを追加するようにしている。
図5は、エフェクトが付加された画面の一例を示している。同図に示すように、エフェクトが付加されると、各ユーザの画像の位置は、エフェクトが付加されていない場合の位置(図4参照)から移動するようになっている。また、エフェクト用の画像や文字も追加で表示されるようになっている。図5の場合は、中央に相対的に大きく表示されている2個のユーザ画像は、同じ或いは類似のポーズで写っているか、同じ又は類似の動きをしているので、エフェクトが付加されている例である。ここで、完全に一致しない場合であっても、画像の類似度によって画面中心からの位置を変化させてもよい。例えば、片手を挙げているポーズに対して完全一致するポーズは画面中心に、両手を挙げているポーズは画面中心から少し離れて、両手を下ろしている場合は画面中心からさらに離して表示する。つまり、画像間の類似度を2次元又は3次元の空間的な距離に変換し、それに応じて配置パターンを制御する。画像間の類似度を距離に変換し、それを空間(2次元、3次元)に表示することで、どれくらい異なっているか視認できるようになる。また、距離だけでなく、画像が配置される場所(画面中心からの方向等)にも意味を持たせれば、画像間の類似度をより認識し易くなる。例えば、両手を挙げたポーズに対して、左手のみを挙げたポーズの場合には、その画像を画面中心から左側に表示し、右手のみを挙げたポーズの場合には、その画像を画面中心から右側に表示すればよい。
図6は、エンタテインメントシステム10の機能ブロック図である。同図に示すように、エンタテインメントシステム10は、機能的には画像取得部60、画像バッファ62、画像表示部64及び表示内容制御部66を含んでいる。これらの機能は、光ディスク36に格納されたプログラムをエンタテインメントシステム10において実行することにより、実現されるものである。まず、画像取得部60は、自機のカメラユニット46で所定時間毎に撮影される画像を所定時間毎に取得し、これを順次画像バッファ62に格納する。さらに、他機のカメラユニット46で所定時間毎に撮影され、自機に送信される画像(他機のユーザが写された画像)を所定時間毎に取得し、これらも順次画像バッファ62に格納する。画像バッファ62は、例えばメインメモリ20を中心に構成されるものであり、図7に示すように、各エンターテインメントシステム10のカメラユニット46に対応づけられた複数(ここでは16個)の個別画像バッファ62a〜62pを含んでいる。そして、各個別画像バッファ62xには、対応するカメラユニット46により最も早い時刻に取得された(最も古い)画像62x−1から、同カメラユニット46により最後に取得された(最新の)画像62x−5までの、合計5つの画像が記録されている。そして、新たな画像が取得されると、最も早い時刻に取得された画像62x−1が破棄され、代わりに新たに取得された画像が個別画像バッファ62xに格納される(x=a〜p)。こうして、各個別画像バッファ62a〜62pには、現在時刻に近い5つの時刻で取得されたユーザの画像が順に格納されることになる。
画像表示部64では、画像バッファ62の各個別画像バッファ62a〜62pから最も古い(早い)時刻に取得された画像62を読み出し、それらを配列した画面を生成し、それをモニタ62に表示させる。このとき、表示内容制御部66は、各個別画像バッファ62a〜62pに格納された、最も古い(早い)時刻に取得された画像62の内容を相互に比較して、ユーザが近似したポーズをとっているものがあるか否かを判断する。そして、そのような関係の画像のペアがあれば画像表示部64にエフェクトの付加を指示する。画像表示部64では、この指示があれば、各画像の画面における位置を変化させたり、文字や絵柄等のエフェクト画像を画面に追加する等のエフェクト処理を実行する。
図8は、エンタテインメントシステム10による画像処理を示すフロー図である。同図に示すように、エンタテインメントシステム10では、表示内容制御部66が、画像バッファ62の各個別画像バッファ62a〜62pに格納された最も古い画像62a−1〜62p−1を取得し、それらの中にユーザが同じ或いは類似のポーズで写ったペアがあるか否かを判断する(S101)。例えば、画像62a−1〜62p−1を取得し、そこから背景を削除して背景削除済み画像を生成し、それらを二値化し、二値化画像を生成する。こうすれば、ユーザ(被写体)が写った領域の画素については「1」の値が、それ以外(背景領域)の画素については「0」の値が関連づけられた二値化画像が得られる。そして、各画像62a−1〜62p−1に対応する二値化画像の差分画像を生成する。この差分画像は、各カメラユニット46で撮影された画像62a−1〜62p−1の内容の相違を示す画像であり、そこの表れた差分が所定量以上の場合には、その差分に対応する画像ペアが、同じ或いは類似のポーズのユーザを写したものであると判断する。
このようにして、画像62a−1〜62p−1の中に同じ或いは類似のポーズのユーザが写ったペアがあるか否かを判断し、そのようなペアがあれば、表示内容制御部66は画像表示部64にエフェクトの付加を指示する(S102)。逆に、そのようなペアがなければ、表示内容制御部66は画像表示部64にエフェクトの付加を指示しない。
画像表示部64は、画像バッファ62に格納された画像62a−1〜62p−1を読み出し、それらの画像に基づいて、表示内容制御部66からの指示に応じてエフェクトが付加された画面を生成し、それをモニタ26に表示させる(S103)。その後、次の画面更新タイミングを待機し(S104)、再びS101以降の処理を実行する。こうして、S101〜S104の処理が所定時間毎に繰り返され、モニタ26には動画像が表示される。
以上の画像処理によれば、各エンタテインメントシステム10のカメラユニット46の前でユーザが同じタイミングで同じ或いは類似のポーズをとれば、それに応じてモニタ26に映し出される画面にエフェクトを発生させることができ、興趣に富むシステムを実現することができる。
なお、ここでは表示内容制御部66が、画像62a〜1〜62p−1、すなわち同じタイミングで取得された画像の中に、ユーザが同じ又は類似のポーズで写ったものがあるか否かを判断するようにしたが、異なるタイミングで取得された画像の中に、ユーザが同じ又は類似のポーズで写ったものがあるか否かを判断するようにしてもよい。具体的には、各カメラユニット46で撮影された画像62x−1と、それ以外のカメラユニット46で該画像62x−1よりも所定時間後に撮影された画像62y−n(yはx以外のすべて;nは1よりも大きい所定値(例えば2))と、を比較して、ユーザが同じ又は類似のポーズで写ったものがあるか否かを判断するようにしてもよい(x,y=a〜p)。こうすれば、あるユーザがとったポーズを、画面を見ながら他のユーザが真似ると、それに応じて画面にエフェクトが発生するようにできる。
また、ここでは表示内容制御部66が、画像62a−1〜62p−1の中に、ユーザが同じ又は類似のポーズで写ったものがあるか否かを判断し、その判断結果に応じて画面にエフェクトを発生させるようにしたが、図9(a)及び(b)に示すような、同じ形状の物(被写体)が2以上のカメラユニット46により撮影されているか否かを判断するようにしてもよい。或いは、図10(a)及び(b)に示すような、同じ色の物(被写体)が2以上のカメラユニット46により撮影されているか否かを判断するようにしてもよい。
さらに、表示内容制御部66は、異なるカメラユニット46により同じ動きを撮影したものがあるか否かを判定して、その判定結果に応じて画面にエフェクトを発生させるようにしてもよい。すなわち、図11(a)に示すように、ユーザが右手を横に延ばした状態から該右手を上方に振り上げた場合に、それと同じ動きをしたユーザが居て、その様子が他のカメラユニット46により写されていれば、画面にエフェクトを発生させ、図11(b)に示すように、他の動きをしたユーザしか他のカメラユニット46により写されていなければ、画面にエフェクトを発生させないようにしてもよい。
例えば、図12(a)〜(c)に示すようにして、ユーザが右手を横に伸ばした状態から該右手を上方に振り上げて、その様子が順次カメラユニット46により写されている場合、カメラユニット46で画像が撮影される毎に直前に撮影された画像との差分画像を生成するとともに、その差分画像に表れた差分領域の重心位置等の代表位置を算出する。図13(a)は、図12(b)の画像とその直前に取得された同図(a)の画像との差分画像を示しており、そこには差分領域72−1が表れている。この差分領域72−1に対して、代表位置70−1が算出される。また、図13(b)は、図12(c)の画像とその直前に取得された同図(b)の画像との差分画像を示しており、そこには差分領域72−2が表れている。この差分領域72−2に対して、代表位置70−2が算出される。そして、各時刻で算出される代表位置70を結ぶベクトルのデータを、カメラユニット46により写されるユーザの動きを示す動きデータとする。
こうした動きデータを、すべてのカメラユニット46で撮影された画像について生成し、それらを比較することにより、各カメラユニット46により写されるユーザが同じ又は類似の動きをしているか否かを判定することができる。これにより、例えば多人数参加型のネットワークゲーム(カメラユニットにより各プレイヤのジェスチャを撮影し、それを解析することにより、コマンド入力を行う格闘ゲーム、ロールプレイングゲーム、ダンシングゲーム等)をプレイしているときに、複数のプレイヤが同じ攻撃ポーズをとった場合、敵キャラクタに数倍のダメージを与えることができるといった応用も考えられ、多彩で魅力的なゲームアプリケーションを実現できる。
なお、上記動きデータを直接比較すると、図14(a)及び(b)に示すように同じ方向の手の動きをユーザがしたとしても、それらは異なる動きであると判断されることになる。そこで、上記動きデータから動きの方向(例えば画面の中央を中心とした回転方向)を算出し、算出される方向を比較することで、各カメラユニット46により写されるユーザが同じ又は類似の方向の動きをしているか否かを判定することができる。そして、その判定結果に応じて画面にエフェクトを発生させるようにすれば、ユーザは他人と同じ方向の動きをすることで、画面にエフェクトを発生させることができるようになる。
本発明の実施形態に係るエンタテインメントシステム(画像処理装置)を用いたネットワークシステムの構成図である。 本発明の実施形態に係るエンタテインメントシステムのハードウェア構成図である。 MPUの内部構成図である。 本発明の実施形態に係るエンタテインメントシステムにおいて、モニタに映し出される画面(エフェクト付加前)の一例を示す図である。 本発明の実施形態に係るエンタテインメントシステムにおいて、モニタに映し出される画面(エフェクト付加後)の一例を示す図である。 本発明の実施形態に係るエンタテインメントシステムの機能ブロック図である。 画像バッファの記憶内容を模式的に示す図である。 本発明の実施形態に係るエンタテインメントシステムの動作を示すフロー図である。 本発明の実施形態に係るエンタテインメントシステムの他の動作例を説明する図である。 本発明の実施形態に係るエンタテインメントシステムの他の動作例を説明する図である。 本発明の実施形態に係るエンタテインメントシステムのさらに他の動作例を説明する図である。 本発明の実施形態に係るエンタテインメントシステムにおいて、撮影済み画像からユーザの動きデータを生成する処理を示す図である。 本発明の実施形態に係るエンタテインメントシステムにおいて、撮影済み画像からユーザの動きデータを生成する処理を示す図である。 本発明の実施形態に係るエンタテインメントシステムのさらに他の動作例を説明する図である。
符号の説明
10 エンタテインメントシステム、11 MPU、12 メインプロセッサ、14a〜14h サブプロセッサ、16 バス、18 メモリコントローラ、20 メインメモリ、22,40,44 インタフェース、24 画像処理部、26 モニタ、28 入出力処理部、30 音声処理部、32 スピーカ、34 光ディスク読み取り部、36 光ディスク、38 ハードディスク、42 コントローラ、46 カメラユニット、48 ネットワークインタフェース、50 ネットワーク、60 画像取得部、62 画像バッファ、64 画像表示部、66 表示内容制御部、70 動作点、72 動作範囲。

Claims (9)

  1. 2以上のカメラの各々により撮影された画像を所定時間毎にネットワークを介して取得する画像取得手段と、
    前記画像取得手段により取得された各画像を、前記撮影したカメラ毎に各画像群として格納する画像バッファと、
    前記画像バッファに格納された各画像群のうち、新たに格納された各画像を画面に順次表示する画像表示手段と、
    前記画像バッファに格納された各画像群相互間で、各画像群に含まれる画像間の関係に基づいて、前記画面の表示内容を制御する表示内容制御手段と、
    を含むことを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記各画像群のうち、第1の画像群に含まれる画像及び前記第2の画像群に含まれる画像に写された被写体の動きの関係に基づいて、前記画面の表示内容を制御する、
    を含むことを特徴とする画像処理装置。
  3. 請求項2に記載の画像処理装置において、
    前記表示内容制御手段は、前記2のカメラにより撮影された前記各画像の内容の相違を示す画像を生成するとともに、該画像に基づいて、前記画面の表示内容を制御する、
    ことを特徴とする画像処理装置。
  4. 請求項3に記載の画像処理装置において、
    前記第1の画像群に含まれる画像及び前記第2の画像群に含まれる画像は、前記画像取得手段により異なる時刻に取得されて前記画面に表示され、前記表示内容制御手段は、前記第1の画像群に含まれる画像及び前記第2の画像群に含まれる画像の内容の相違を示す画像を生成するとともに、該画像に基づいて、前記画面の表示内容を制御する、
    ことを特徴とする画像処理装置。
  5. 請求項3に記載の画像処理装置において、
    前記第1の画像群に含まれる画像及び前記第2の画像群に含まれる画像は、前記画像取得手段により同じ時刻に取得されて前記画面に表示され、前記表示内容制御手段は、前記第1の画像群に含まれる画像及び前記第2の画像群に含まれる画像の内容の相違を示す画像を生成するとともに、該画像に基づいて、前記画面の表示内容を制御する、
    ことを特徴とする画像処理装置。
  6. 請求項2に記載の画像処理装置において、
    前記表示内容制御手段は、前記画像取得手段により取得される、前記2のカメラにより撮影された前記各画像に写された被写体の動きの方向が所定関係にあるか否かに応じて、前記画面の表示内容を制御する、
    ことを特徴とする画像処理装置。
  7. 画像取得手段により、2以上のカメラの各々により撮影された画像を所定時間毎にネットワークを介して取得し、
    画像バッファにより、前記画像取得手段により取得された各画像を、前記撮影したカメラ毎に各画像群として格納し、
    画像表示手段により、前記画像バッファに格納された各画像群のうち、新たに格納された各画像を画面に順次表示し、
    表示内容制御手段により、前記画像バッファに格納された各画像群相互間で、各画像群に含まれる画像間の関係に基づいて、前記画面の表示内容を制御する、
    ことを特徴とする画像処理方法。
  8. 2以上のカメラの各々により撮影された画像を所定時間毎にネットワークを介して取得する画像取得手段、
    前記画像取得手段により取得された各画像を、前記撮影したカメラ毎に各画像群として格納する画像バッファ、
    前記画像バッファに格納された各画像群のうち、新たに格納された各画像を画面に順次表示する画像表示手段、及び、
    前記画像バッファに格納された各画像群相互間で、各画像群に含まれる画像間の関係に基づいて、前記画面の表示内容を制御する表示内容制御手段、
    としてコンピュータを機能させるためのプログラム。
  9. 前記表示内容制御手段は、前記画像群毎に、前記各画像群に含まれる画像間の類似度に基づいて、前記画面に表示された前記各画像の位置を変化させることを特徴とする請求項1記載の画像処理装置。
JP2005347602A 2005-12-01 2005-12-01 画像処理装置、画像処理方法及びプログラム Expired - Fee Related JP5026692B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005347602A JP5026692B2 (ja) 2005-12-01 2005-12-01 画像処理装置、画像処理方法及びプログラム
US11/600,017 US20070126874A1 (en) 2005-12-01 2006-11-15 Image processing device, image processing method, and information storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005347602A JP5026692B2 (ja) 2005-12-01 2005-12-01 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2007151647A JP2007151647A (ja) 2007-06-21
JP5026692B2 true JP5026692B2 (ja) 2012-09-12

Family

ID=38118318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005347602A Expired - Fee Related JP5026692B2 (ja) 2005-12-01 2005-12-01 画像処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
US (1) US20070126874A1 (ja)
JP (1) JP5026692B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
JP2010142592A (ja) * 2008-12-22 2010-07-01 Nintendo Co Ltd ゲームプログラムおよびゲーム装置
US7996793B2 (en) * 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US20100199231A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
CN101579571B (zh) * 2009-04-30 2012-09-26 武汉市高德电气有限公司 实景游戏装置及实现实景游戏的方法
WO2011056657A2 (en) 2009-10-27 2011-05-12 Harmonix Music Systems, Inc. Gesture-based user interface
US9981193B2 (en) * 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
JP2011251006A (ja) * 2010-06-02 2011-12-15 Nintendo Co Ltd ゲームプログラム、携帯型ゲーム装置、ゲームシステム、及びゲーム方法
US9358456B1 (en) 2010-06-11 2016-06-07 Harmonix Music Systems, Inc. Dance competition game
US9615062B2 (en) 2010-12-30 2017-04-04 Pelco, Inc. Multi-resolution image display
JP6001970B2 (ja) * 2012-09-11 2016-10-05 株式会社ソニー・インタラクティブエンタテインメント ゲーム装置、ゲームサーバ、ゲーム制御方法、及びゲーム制御プログラム
JP5689103B2 (ja) * 2012-11-07 2015-03-25 任天堂株式会社 ゲームプログラム、ゲームシステム、ゲーム装置、およびゲーム制御方法
US10220303B1 (en) 2013-03-15 2019-03-05 Harmonix Music Systems, Inc. Gesture-based music game
CN106536005B (zh) 2014-05-16 2019-11-05 世嘉飒美创意股份有限公司 游戏图像生成装置以及方法
JP2018041261A (ja) * 2016-09-07 2018-03-15 東芝テック株式会社 情報処理装置及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594859A (en) * 1992-06-03 1997-01-14 Digital Equipment Corporation Graphical user interface for video teleconferencing
US5886818A (en) * 1992-12-03 1999-03-23 Dimensional Media Associates Multi-image compositing
US6188518B1 (en) * 1993-01-22 2001-02-13 Donald Lewis Maunsell Martin Method and apparatus for use in producing three-dimensional imagery
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5995140A (en) * 1995-08-28 1999-11-30 Ultrak, Inc. System and method for synchronization of multiple video cameras
KR100238668B1 (ko) * 1996-11-28 2000-01-15 윤종용 디지털 비디오 재생장치
US6307550B1 (en) * 1998-06-11 2001-10-23 Presenter.Com, Inc. Extracting photographic images from video
GB2343320B (en) * 1998-10-31 2003-03-26 Ibm Camera system for three dimentional images and video
US6571024B1 (en) * 1999-06-18 2003-05-27 Sarnoff Corporation Method and apparatus for multi-view three dimensional estimation
US6514081B1 (en) * 1999-08-06 2003-02-04 Jeffrey L. Mengoli Method and apparatus for automating motion analysis
JP2001084375A (ja) * 1999-09-13 2001-03-30 Atr Media Integration & Communications Res Lab 動作検証システムおよび非接触マニピュレーションシステム
US7203380B2 (en) * 2001-11-16 2007-04-10 Fuji Xerox Co., Ltd. Video production and compaction with collage picture frame user interface
US7680192B2 (en) * 2003-07-14 2010-03-16 Arecont Vision, Llc. Multi-sensor panoramic network camera
US7502546B2 (en) * 2003-10-29 2009-03-10 Elbex Video Ltd. Method and apparatus for digitally recording and synchronously retrieving a plurality of video signals
US7475112B2 (en) * 2005-03-04 2009-01-06 Microsoft Corporation Method and system for presenting a video conference using a three-dimensional object

Also Published As

Publication number Publication date
US20070126874A1 (en) 2007-06-07
JP2007151647A (ja) 2007-06-21

Similar Documents

Publication Publication Date Title
JP5026692B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4778865B2 (ja) 画像ビューワ、画像表示方法及びプログラム
JP5148660B2 (ja) プログラム、情報記憶媒体及び画像生成システム
JP4921550B2 (ja) ゲームプレイ中にコンピュータ生成アバターに感情的特徴を与える方法
JP5550248B2 (ja) プログラム、情報記憶媒体、画像処理装置、画像処理方法及びデータ構造
US8711169B2 (en) Image browsing device, computer control method and information recording medium
US8520901B2 (en) Image generation system, image generation method, and information storage medium
WO2005099842A1 (ja) ゲーム装置、コンピュータの制御方法及び情報記憶媒体
JP2011258159A (ja) プログラム、情報記憶媒体及び画像生成システム
JP2011258160A (ja) プログラム、情報記憶媒体及び画像生成システム
JP5236674B2 (ja) ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP2011258158A (ja) プログラム、情報記憶媒体及び画像生成システム
JP2011186834A (ja) ゲームプログラム、記録媒体、及びコンピュータ装置
JP2008165584A (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP4809655B2 (ja) 画像表示装置、画像表示装置の制御方法及びプログラム
TW200820133A (en) Image processing device, controlling method of image processing device and information storing media
JP5502043B2 (ja) ゲーム装置、および、プログラム
US8570330B2 (en) Image processing device, image processing method and information storage medium
JP2003135851A (ja) ゲーム装置、コンピュータゲームシステムの制御方法及びプログラム
US7932903B2 (en) Image processor, image processing method and information storage medium
JP5213913B2 (ja) プログラム及び画像生成システム
JP6845682B2 (ja) ゲームプログラム、及び記憶媒体
US20220118358A1 (en) Computer-readable recording medium, and image generation system
JP2003334384A (ja) ゲーム装置、コンピュータゲームシステムの制御方法及びプログラム
CN117950491A (zh) 元宇宙影音系统、控制方法、电子设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081201

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20101124

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120619

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120621

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150629

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5026692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees