JP5791082B2 - 画像合成装置、画像合成システム、画像合成方法およびプログラム - Google Patents
画像合成装置、画像合成システム、画像合成方法およびプログラム Download PDFInfo
- Publication number
- JP5791082B2 JP5791082B2 JP2012168362A JP2012168362A JP5791082B2 JP 5791082 B2 JP5791082 B2 JP 5791082B2 JP 2012168362 A JP2012168362 A JP 2012168362A JP 2012168362 A JP2012168362 A JP 2012168362A JP 5791082 B2 JP5791082 B2 JP 5791082B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- shielding
- shielded
- region
- replacement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
Description
この方法では、ロボットを製造する際に、外観を人間等の外観に似せる必要が無いので、ロボットの設計・製造に要するコストや時間を低減させることができる。また、外観の変更も、合成する画像データを変更することで容易に行い得る。
例えば、仮想の人間等の位置に向けて観察者(合成画像を見る者)が手を出した場合、観察者から見た手と仮想の人間等との重なりの前後関係を表現するために、重なり部分について仮想的な人間等の表示/非表示を制御する必要がある。なお、以下では、観察者から見て重なり合う物(仮想物を含む)の前後関係を「遮蔽関係」と称する。
しかしながら、TOF法を用いて遮蔽関係を把握する場合、TOF法を実施するための精密装置が必要となり、装置の製造コストが増大してしまう。
また、ロボットの像を人間等の像に置き換える上記の方法では、観察者がロボットに触れた際に触感を提供することができる。
図11は、実画像の例を示す説明図であり、ユーザの手の像I1101と、ロボットの像I1102とを含む。また、図12は、合成する人間の像(例えばComputer Graphics;CG)の例を示す説明図である。また、図13は、合成の結果得られる画像の例を示す説明図である。図11の実画像において、クロマキー技術を用いてロボットの像I1102の領域部分を図12の人間の像に置き換えて図13の画像を合成している。
また、図13の例とは逆に、人間の像の領域に対してロボットの像I1102の領域がはみ出す場合は、図12の画像のうち人間の像以外の部分が合成画像に含まれることになる。例えば、図12の画像において人間の像以外の部分がマスクとなっていれば、ロボットの像I1102がはみ出した領域の画像情報が、合成画像において欠落する。かかる人間の像以外の部分の混入(例えば画像情報の欠落)により、人間の像が部分的に切り取られる場合と同様、観察者に違和感を与えてしまう。
なお、ここでいう物体には人物を含む。従って、画像合成システム1が、ヘッドマウントディスプレイ600の撮像する実画像に、実際には位置しない人物の像を合成するようにしてもよい。
また、ここでいう像は、物の外観を示す画像である。
なお、本実施形態では、ロボット400が同一の位置に留まって姿勢を変化させる場合について説明するが、ロボット400が自律歩行など移動するようにしてもよい。この場合、ロボット制御装置100は、ロボット400の姿勢および位置を制御し、ロボット400の位置情報および姿勢情報を画像合成装置200に送信する。
なお、本発明における置換前物体はロボットに限らない。外観を有する様々な物体を置換前物体として用いることができる。
ここで、センサ500として様々なセンサを用いることができる。例えば、センサ500が、赤外線または超音波を照射し、反射波を解析してユーザの頭部の位置および姿勢を算出するようにしてもよい。あるいは、センサ500が、ユーザの頭部の画像を撮像し、画像認識にてユーザの頭部の位置および姿勢を算出するようにしてもよい。あるいは、センサ500が、ヘッドマウントディスプレイ600に搭載されたジャイロセンサを具備し、当該ジャイロセンサの検出する角度および加速度に基づいて、ユーザの頭部の位置および姿勢を算出するようにしてもよい。
ここで、図2〜図4を参照して、画像合成装置200が合成する画像の例について説明する。
なお、以下では、画像合成装置200が像を実画像に合成する物体を「置換後物体」と称し、置換後物体の像を「置換後物体像」と称する。置換後物体は、図3に示す人物に限らない。外観を視覚的に表示可能な様々な物体の像を置換後物体とすることができる。また、置換後物体は、実在の物体であってもよいし架空の物体であってもよい。
このように、画像合成装置200は、ヘッドマウントディスプレイ600が撮像した実画像において、遮蔽関係を保って、置換前物体の像を置換後物体の像に置き換える。
そして、CGデータサーバ装置300は、ロボット400の関節角を取得し、人物の3次元モデルのポーズを当該関節角に対応したポーズに調整する。さらに、CGデータサーバ装置300は、ロボット400とユーザとの位置関係に基づいて大きさおよび向きを調整した人物(置換後物体)のスナップショット(2次元画像)を取得する。
CGデータサーバ装置300は、例えばパソコンにて実現される。
なお、本実施形態では、ヘッドマウントディスプレイ600としてビデオシースルー(Video See-Through)型のヘッドマウントディスプレイを用いる場合について説明するが、これに限らない。例えば、ヘッドマウントディスプレイ600として、光学シースルー(Optical See-Through)型のヘッドマウントディスプレイを用いるようにしてもよい。具体的には、本実施形態では、ヘッドマウントディスプレイ600は、撮像装置で撮像した外部の画像に基づく合成画像を表示装置に表示する。これに代えて、ヘッドマウントディスプレイ600が、外部からの光線の一部を遮蔽して置換後物体の像を示す光線に置き換え、他の部分(遮蔽物体の像の領域や、背景画像の領域)について外界からの光線を透過させることで、実画像に基づく合成画像を表示するようにしてもよい。
なお、本発明は各部の通信形態に依存しない。従って、各部の通信方式として、図1に示すものに限らず様々なものを用いることができる。例えば、画像合成装置200とセンサ500とが無線にて通信を行うようにしてもよい。また、ロボット制御装置100とロボット400とが有線接続されて通信を行うようにしてもよい。同様に、画像合成装置200とヘッドマウントディスプレイ600とが有線接続されて通信を行うようにしてもよい。
また、ロボット制御装置100と、画像合成装置200とが、ネットワーク700を介さず直接、有線または無線接続されて通信するようにしてもよい。また、画像合成装置200とCGデータサーバ装置300とが、ネットワーク700を介さず直接、有線または無線接続されて通信するようにしてもよい。また、ロボット制御装置100とロボット400と、あるいは、画像合成装置200とセンサ500と、あるいは、画像合成装置200とヘッドマウントディスプレイ600とが、ネットワーク700を介して通信を行うようにしてもよい。
なお、本実施形態では、ロボット制御装置100と、画像合成装置200と、CGデータサーバ装置300とは別個の装置にて実現されているが、これらのうち2つ、あるいは3つ全てが、1つの装置(例えば1台のパソコン)にて実現されるようにしてもよい。
図5は、画像合成装置200の機能構成を示す概略ブロック図である。同図において、画像合成装置200は、ネットワーク通信部201と、センサ情報取得部202と、HMD通信部203と、制御部210とを具備する。制御部210は、置換後物体像取得部221と、置換後物体像マスク処理部222と、非遮蔽時像取得部231と、非遮蔽時像マスク化処理部232と、周囲画像取得部233と、実画像取得部241と、置換前物体像領域処理部242と、領域分割部243と、遮蔽領域検出部251と、遮蔽物体像領域検出部252と、遮蔽物体像領域処理部253と、被遮蔽部分除外部254と、合成実行部255とを具備する。
センサ情報取得部202は、センサ500と通信してセンサ情報を取得する。
HMD通信部203は、ヘッドマウントディスプレイ600と通信して、撮像装置610が撮像した実画像のデータを取得し、表示装置620に表示させる合成画像データを送信する。
非遮蔽時像取得部231は、遮蔽物体の像による遮蔽が無い場合の置換前物体の像を取得する。具体的には、上記のように、CGデータサーバ装置300が、ロボット400(置換前物体)の様々な姿勢の完全な像を出力可能である。また、非遮蔽時像取得部231は、置換後物体像取得部221と同様、センサ情報取得部202が取得したセンサ情報に基づいて、ユーザから見たロボット400の姿勢を算出する。そして、非遮蔽時像取得部231は、算出した姿勢の情報を、ネットワーク通信部201を介してCGデータサーバ装置300に送信し、当該姿勢に該当するロボット400の完全な像を、CGデータサーバ装置300から取得する。さらに、非遮蔽時像取得部231は、取得したロボット400の像に対して位置合わせおよび大きさ調整を行って、実画像におけるロボット400の像に重ね合わせる(ユーザの手によって遮蔽された部分以外は像が一致するように重ねる)。
周囲画像取得部233は、非遮蔽時像マスク化処理部232が生成したマスクを置換後物体像取得部221が取得した置換後物体像に適用することで、置換後物体の像のうち、置換前物体の像(遮蔽無し)に重ね合わせられる部分以外の部分の画像を取得(生成)する。
置換前物体像領域処理部242は、実画像取得部241が取得した実画像に含まれる置換前物体像の領域(単色領域)を抽出し、抽出した領域に基づいてマスクを生成する。
被遮蔽部分除外部254は、置換後物体の像のうち、遮蔽物体の像の領域に対応する部分を除外する。ここで、置換後物体の像のうち、遮蔽物体の像の領域に対応する部分とは、置換後物体の像のうち、合成後の画像にて遮蔽物体の像に遮蔽される部分である。
図6および図7は、画像合成装置200が合成画像を生成する処理手順を示す説明図である。画像合成装置200は、例えば、HMD通信部203から実画像P310(動画像のフレーム)を受信する毎に、同図の処理を行う。その際、置換後物体像取得部221が、CGデータサーバ装置300から置換後物体の像P110(本実施形態では人物の画像)を取得し、非遮蔽時像取得部231が、CGデータサーバ装置300から非遮蔽時像P210(本実施形態では、ロボット400の完全な像)とを取得する。
ただし、画像合成装置200がマスクP113を取得する方法は、ステップS111〜S113の処理を行う方法に限らない。例えば、CGデータサーバ装置300が、置換後物体の画像と共に当該画像に対応するマスクを合成する、あるいは、単色に塗り潰された人物(置換後物体)のCG画像を予め記憶しておき当該CG画像からマスクを生成するようにしてもよい。そして、画像合成装置200が、CGデータサーバ装置300から、置換後物体の画像と共にマスクを取得するようにしてもよい。
そして、置換後物体像マスク処理部222は、マスクP121を実画像P310に適用して、画像P122を生成する(ステップS122)。この画像P122は、画像合成装置200が生成する合成画像の一部として用いられる。画像P122は、実画像P310のうち、置換後物体の像の影響を受けない部分の画像である。従って、画像合成装置200(合成実行部255)は、画像P122については、遮蔽関係を検出する必要無しに、そのまま合成することができる。
そして、周囲画像取得部233が、マスクP212を置換後物体の像P221に適用して画像P221を生成する(ステップS221)。画像P221は、置換後物体の像のうち、置換前物体の像に対応する領域を除いた周囲の領域の画像である。この周囲の領域は、実画像にて遮蔽関係が示されていない領域であり、画像合成装置200が実物体との遮蔽関係を検出する必要がある。
また、遮蔽領域検出部251は、マスクP212を反転させてマスクP231を生成する(ステップS231)。すなわち、マスクP231では、背景の領域がマスクされ、非遮蔽時像の領域が非マスクとされている。
次に、置換前物体像領域処理部242は、画像P311をマスク化してマスクP312を生成する(ステップS312)。マスクP312では、置換前物体の像のうち遮蔽されていない部分の領域がマスクされ、それ以外の領域(背景の領域および遮蔽物体の像の領域)が非マスクとされている。
そして、領域分割部243は、置換前物体像領域処理部242が生成した単色領域の画像P311を参照し(ステップS322)、エッジの画像P322における単色領域内のエッジを無視(削除)して、画像P323を生成する(ステップS323)。
また、遮蔽物体像領域処理部253は、マスクP424を、実画像P310に適用して、画像P431を生成する(ステップS431)。画像P431は、遮蔽物体の像(のうち、置換後物体の像に対応する部分)である。
これにより、置換前物体と遮蔽物体との遮蔽関係を、置換後物体のうちの周囲部分(置換前物体の像の領域に対応付けられる部分以外の部分)にも反映させた、自然な遮蔽関係を示す画像を得られる。
図8は、画像合成システム1を適用した第1の態様の例を示す説明図である。同図に示す態様では、画像合成システム1(CGデータサーバ装置300)は、置換後物体として複数のキャラクタの画像データを合成する。
図8の例では、CGデータサーバ装置300は、4つのキャラクタC111〜C114の各々について3次元モデルを予め記憶しており、様々な姿勢の像について、ユーザの任意の視点から見たスナップショット(2次元画像)を出力可能である。そして、画像合成システム1は、ユーザが選択したキャラクタ(図8の例ではキャラクタC111)の像を、実画像に合成して(ロボット400の像から置き換えて)ユーザに提示する。
なお、ロボット400は、自動操縦されていてもよし、他者が遠隔操作にてロボット400を操縦するようにしてもよい。
また、CGデータサーバ装置300がインターネット上にあるなど、共用可能な形態であってもよい。
画像合成システム1は、対話相手のアバターとしてのキャラクタC211の像を実画像に合成してユーザに提示する。この第2の態様では、対話相手が、パソコンをロボット制御装置100として使用してロボット400を遠隔操作する。ユーザは、対話相手のアバターとの対話を、臨場感を持って楽しむことができる。
なお、対話相手のアバターとしてのキャラクタC211とユーザ(のアバター)とが対話する世界W211は、仮想世界であっても良いし、ユーザの部屋など実空間であってもよい。
なお、対話相手のアバターC311とユーザのアバターC312とが対話する世界W311は、仮想世界であっても良いし、互いの部屋(ユーザの部屋および対話相手の部屋)など実空間であってもよい。
これにより、画像合成装置200は、置換前物体の像と遮蔽物体の像との遮蔽関係を把握することで、置換後物体の像と遮蔽物体の像との遮蔽関係を把握することができる。従って、画像合成システム1では、TOF等の装置を必要とせずに比較的低コストにて物の遮蔽関係に応じた画像合成を行うことができる。かつ、画像合成システム1では、置換前物体と置換後物体との差を埋めるための後光の表示を行う必要が無く、観察者の違和感をより低減させることができる。
また、画像合成システム1では、ロボットなど置換前物体を、人物など置換後物体に対して大きくする必要がない。従って、ロボットなど置換前物体のデザインの自由度が高い。また、置換後物体(合成する画像)についても、ロボットの形状に併せてショートカットにするなど形状の制約が不要となる。すなわち、置換後物体について形状の自由度が増した。
これにより、遮蔽物体像領域検出部252は、合成画像における置換後物体の像と、遮蔽物体との遮蔽関係をより正確に把握することができる。
これにより、画像合成システム1は、図6〜図7のステップS421におけるマスクの足し合わせ、および、ステップS422〜S423における重なりのある領域の検出といった、簡単な画像処理や判定にて、合成画像における遮蔽関係を検出することができる。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
100 ロボット制御装置
200 画像合成装置
201 ネットワーク通信部
202 センサ情報取得部
203 HMD通信部
210 制御部
221 置換後物体像取得部
222 置換後物体像マスク処理部
231 非遮蔽時像取得部
232 非遮蔽時像マスク化処理部
233 周囲画像取得部
241 実画像取得部
242 置換前物体像領域処理部
243 領域分割部
251 遮蔽領域検出部
252 遮蔽物体像領域検出部
253 遮蔽物体像領域処理部
254 被遮蔽部分除外部
255 合成実行部
300 CGデータサーバ装置
400 ロボット
500 センサ
600 ヘッドマウントディスプレイ
700 ネットワーク
Claims (6)
- 実画像を取得する実画像取得部と、
前記実画像に含まれる置換前物体の像に置き換えて当該実画像に合成される置換後物体の像を取得する置換後物体像取得部と、
前記実画像にて前記置換前物体の像を遮蔽する遮蔽物体の像の領域を検出する遮蔽物体像領域検出部と、
前記置換後物体の像のうち、前記遮蔽物体の像の領域に対応する部分を除外する被遮蔽部分除外部と、
前記実画像に対して、前記遮蔽物体の像の領域に対応する部分を除外した前記置換後物体の像の前記合成を行う合成実行部と、
を具備し、
前記被遮蔽部分除外部は、前記置換後物体の像のうち、前記遮蔽物体の像に遮蔽された部分を除く前記置換前物体の像に対応する部分の画像と、前記置換後物体の像のうち、前記置換前物体の像に対応する部分と前記遮蔽物体の像に対応する部分とを除外した部分の画像とを生成することを特徴とする画像合成装置。 - 前記実画像に対するエッジ抽出を行って当該実画像を領域分割する領域分割部を具備し、
前記遮蔽物体像領域検出部は、前記領域分割部が分割した領域のうち、少なくとも一部が前記置換前物体の像を遮蔽している領域を、前記遮蔽物体の像の領域として検出することを特徴とする請求項1に記載の画像合成装置。 - 前記遮蔽物体の像による遮蔽が無い場合の前記置換前物体の像を取得する非遮蔽時像取得部と、
前記遮蔽物体の像による遮蔽が無い場合の前記置換前物体の像と、前記遮蔽物体の像に遮蔽された部分を除いた前記置換前物体の像との差分を求めることで、前記置換前物体の像のうち前記遮蔽物体の像に遮蔽される領域を検出する遮蔽領域検出部と、
を具備し、
前記遮蔽物体像領域検出部は、前記実画像を分割した領域のうち、前記遮蔽領域検出部が検出した領域を含む領域を検出する
ことを特徴とする請求項1または請求項2に記載の画像合成装置。 - 撮像装置と、画像合成装置と、表示装置とを具備し、
前記画像合成装置は、
前記撮像装置が撮像した実画像を取得する実画像取得部と、
前記実画像に含まれる置換前物体の像に置き換えて当該実画像に合成される置換後物体の像を取得する置換後物体像取得部と、
前記実画像にて前記置換前物体の像を遮蔽する遮蔽物体の像の領域を検出する遮蔽物体像領域検出部と、
前記置換後物体の像のうち、前記遮蔽物体の像の領域に対応する部分を除外する被遮蔽部分除外部と、
前記実画像に対して、前記遮蔽物体の像の領域に対応する部分を除外した前記置換後物体の像の前記合成を行う合成実行部と、
を具備し、
前記被遮蔽部分除外部は、前記置換後物体の像のうち、前記遮蔽物体の像に遮蔽された部分を除く前記置換前物体の像に対応する部分の画像と、前記置換後物体の像のうち、前記置換前物体の像に対応する部分と前記遮蔽物体の像に対応する部分とを除外した部分の画像とを生成し、
前記表示装置は、前記合成実行部が合成した画像を表示することを特徴とする画像合成システム。 - 画像合成装置の画像合成方法であって、
実画像を取得する実画像取得ステップと、
前記実画像に含まれる置換前物体の像に置き換えて当該実画像に合成される置換後物体の像を取得する置換後物体像取得ステップと、
前記実画像にて前記置換前物体の像を遮蔽する遮蔽物体の像の領域を検出する遮蔽物体像領域検出ステップと、
前記置換後物体の像のうち、前記遮蔽物体の像の領域に対応する部分を除外する被遮蔽部分除外ステップと、
前記実画像に対して、前記遮蔽物体の像の領域に対応する部分を除外した前記置換後物体の像の前記合成を行う合成実行ステップと、
を具備し、
前記被遮蔽部分除外ステップでは、前記置換後物体の像のうち、前記遮蔽物体の像に遮蔽された部分を除く前記置換前物体の像に対応する部分の画像と、前記置換後物体の像のうち、前記置換前物体の像に対応する部分と前記遮蔽物体の像に対応する部分とを除外した部分の画像とを生成することを特徴とする画像合成方法。 - 画像合成装置としてのコンピュータに、
実画像を取得する実画像取得ステップと、
前記実画像に含まれる置換前物体の像に置き換えて当該実画像に合成される置換後物体の像を取得する置換後物体像取得ステップと、
前記実画像にて前記置換前物体の像を遮蔽する遮蔽物体の像の領域を検出する遮蔽物体像領域検出ステップと、
前記置換後物体の像のうち、前記遮蔽物体の像の領域に対応する部分を除外する被遮蔽部分除外ステップと、
前記実画像に対して、前記遮蔽物体の像の領域に対応する部分を除外した前記置換後物体の像の前記合成を行う合成実行ステップと、
を実行させ、
前記被遮蔽部分除外ステップでは、前記置換後物体の像のうち、前記遮蔽物体の像に遮蔽された部分を除く前記置換前物体の像に対応する部分の画像と、前記置換後物体の像のうち、前記置換前物体の像に対応する部分と前記遮蔽物体の像に対応する部分とを除外した部分の画像とを生成させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012168362A JP5791082B2 (ja) | 2012-07-30 | 2012-07-30 | 画像合成装置、画像合成システム、画像合成方法およびプログラム |
US14/417,697 US9449394B2 (en) | 2012-07-30 | 2013-07-30 | Image synthesis device, image synthesis system, image synthesis method and program |
PCT/JP2013/070624 WO2014021326A1 (ja) | 2012-07-30 | 2013-07-30 | 画像合成装置、画像合成システム、画像合成方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012168362A JP5791082B2 (ja) | 2012-07-30 | 2012-07-30 | 画像合成装置、画像合成システム、画像合成方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014026590A JP2014026590A (ja) | 2014-02-06 |
JP2014026590A5 JP2014026590A5 (ja) | 2015-07-09 |
JP5791082B2 true JP5791082B2 (ja) | 2015-10-07 |
Family
ID=50027999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012168362A Active JP5791082B2 (ja) | 2012-07-30 | 2012-07-30 | 画像合成装置、画像合成システム、画像合成方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9449394B2 (ja) |
JP (1) | JP5791082B2 (ja) |
WO (1) | WO2014021326A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015119373A (ja) * | 2013-12-19 | 2015-06-25 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP6596883B2 (ja) * | 2015-03-31 | 2019-10-30 | ソニー株式会社 | ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム |
US20190355179A1 (en) * | 2017-01-19 | 2019-11-21 | Hewlett-Packard Development Company, L.P. | Telepresence |
JP6845072B2 (ja) | 2017-04-21 | 2021-03-17 | ファナック株式会社 | 工場設備の保守支援装置及び保守支援システム |
US11518036B2 (en) | 2017-09-29 | 2022-12-06 | Honda Motor Co., Ltd. | Service providing system, service providing method and management apparatus for service providing system |
JP6564484B1 (ja) * | 2018-03-23 | 2019-08-21 | 国立大学法人電気通信大学 | 同室感コミュニケーションシステム |
JP6688337B2 (ja) * | 2018-06-06 | 2020-04-28 | 任天堂株式会社 | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 |
CN109035185A (zh) * | 2018-06-29 | 2018-12-18 | 努比亚技术有限公司 | 一种图像处理方法及终端 |
US10884525B1 (en) | 2019-04-23 | 2021-01-05 | Lockheed Martin Corporation | Interactive mixed masking system, method and computer program product for a simulator |
CN110070540B (zh) * | 2019-04-28 | 2023-01-10 | 腾讯科技(深圳)有限公司 | 图像生成方法、装置、计算机设备及存储介质 |
US11544906B2 (en) | 2019-06-05 | 2023-01-03 | Beyond Imagination Inc. | Mobility surrogates |
JP7319215B2 (ja) * | 2020-03-06 | 2023-08-01 | Kddi株式会社 | 情報システム、端末及びプログラム |
US11763508B2 (en) | 2020-11-11 | 2023-09-19 | Sony Interactive Entertainment Inc. | Disambiguation of poses |
US11263796B1 (en) | 2020-11-11 | 2022-03-01 | Sony Interactive Entertainment Inc. | Binocular pose prediction |
JP7429633B2 (ja) | 2020-12-08 | 2024-02-08 | Kddi株式会社 | 情報処理システム、端末、サーバ及びプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3037383B2 (ja) * | 1990-09-03 | 2000-04-24 | キヤノン株式会社 | 画像処理システム及びその方法 |
US6317513B2 (en) * | 1996-12-19 | 2001-11-13 | Cognex Corporation | Method and apparatus for inspecting solder paste using geometric constraints |
JP2003179738A (ja) * | 2001-12-11 | 2003-06-27 | Minolta Co Ltd | 画像処理装置 |
JP4083684B2 (ja) | 2002-01-23 | 2008-04-30 | 道彦 庄司 | 画像処理システムおよび画像処理装置 |
JP2004234253A (ja) | 2003-01-29 | 2004-08-19 | Canon Inc | 複合現実感呈示方法 |
JP3991020B2 (ja) | 2003-09-30 | 2007-10-17 | キヤノン株式会社 | 画像表示方法及び画像表示システム |
JP4167590B2 (ja) * | 2003-12-22 | 2008-10-15 | 株式会社東芝 | 画像処理方法 |
US7907791B2 (en) * | 2006-11-27 | 2011-03-15 | Tessera International, Inc. | Processing of mosaic images |
US8144953B2 (en) * | 2007-09-11 | 2012-03-27 | Siemens Medical Solutions Usa, Inc. | Multi-scale analysis of signal enhancement in breast MRI |
JP2009134693A (ja) | 2007-10-30 | 2009-06-18 | Canon Inc | 画像処理装置、画像処理方法 |
TWI417813B (zh) * | 2010-12-16 | 2013-12-01 | Ind Tech Res Inst | 可串接式相機竄改偵測收發器模組 |
DE112013000762T5 (de) * | 2012-01-31 | 2014-12-11 | Panasonic Corporation | Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren |
-
2012
- 2012-07-30 JP JP2012168362A patent/JP5791082B2/ja active Active
-
2013
- 2013-07-30 WO PCT/JP2013/070624 patent/WO2014021326A1/ja active Application Filing
- 2013-07-30 US US14/417,697 patent/US9449394B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
WO2014021326A1 (ja) | 2014-02-06 |
US20150193940A1 (en) | 2015-07-09 |
JP2014026590A (ja) | 2014-02-06 |
US9449394B2 (en) | 2016-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5791082B2 (ja) | 画像合成装置、画像合成システム、画像合成方法およびプログラム | |
RU2693684C1 (ru) | Система отображения изображения, способ управления системой отображения изображения, система трансляции изображения и закрепляемое на голове устройство отображения | |
US10942024B2 (en) | Information processing apparatus, information processing method, and recording medium | |
JP4950834B2 (ja) | 画像処理装置、画像処理方法 | |
KR101687017B1 (ko) | 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템 | |
US20190354754A1 (en) | Method and system of hand segmentation and overlay using depth data | |
US8520027B2 (en) | Method and system of see-through console overlay | |
WO2016017245A1 (ja) | 情報処理装置及び情報処理方法、並びに画像表示システム | |
CN109801379A (zh) | 通用的增强现实眼镜及其标定方法 | |
US11577159B2 (en) | Realistic virtual/augmented/mixed reality viewing and interactions | |
CN102959616A (zh) | 自然交互的交互真实性增强 | |
KR102188313B1 (ko) | Vr을 이용한 다기종 비행 훈련 시뮬레이터 | |
JPH07311857A (ja) | 画像合成表示装置およびシミュレーションシステム | |
JP6312512B2 (ja) | 遠隔見守りシステム | |
US11156830B2 (en) | Co-located pose estimation in a shared artificial reality environment | |
CN109358754A (zh) | 一种混合现实头戴显示系统 | |
JP2009169622A (ja) | 画像処理装置、画像処理方法 | |
KR101638550B1 (ko) | 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 | |
CN109445596A (zh) | 一种一体式混合现实头戴显示系统 | |
Saggio et al. | Augmented reality for restoration/reconstruction of artefacts with artistic or historical value | |
JP7262973B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
Saraiji et al. | Real-time egocentric superimposition of operator's own body on telexistence avatar in virtual environment | |
Ruffaldi et al. | Co-located haptic interaction for virtual USG exploration | |
RU101237U1 (ru) | Система виртуального присутствия | |
WO2018173206A1 (ja) | 情報処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150526 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150714 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150729 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5791082 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |