JPWO2003063086A1 - 画像処理システム、画像処理装置およびディスプレイ装置 - Google Patents
画像処理システム、画像処理装置およびディスプレイ装置 Download PDFInfo
- Publication number
- JPWO2003063086A1 JPWO2003063086A1 JP2003562874A JP2003562874A JPWO2003063086A1 JP WO2003063086 A1 JPWO2003063086 A1 JP WO2003063086A1 JP 2003562874 A JP2003562874 A JP 2003562874A JP 2003562874 A JP2003562874 A JP 2003562874A JP WO2003063086 A1 JPWO2003063086 A1 JP WO2003063086A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- real object
- observer
- image processing
- rear light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
Abstract
低コストにてロボットに対する親近感を高めることができる画像処理システムを提供することを目的とし、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを生成する画像生成用デバイスと、ＣＧの周縁に後光画像を生成する後光生成用デバイスと、ＣＧと後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、合成画像を、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスとを備える画像処理システムを構築する。
Description
技術分野
本発明は、ディスプレイを見る観察者に対して仮想現実（バーチャルリアリティ）を体験させるための画像処理システム、画像処理装置およびディスプレイ装置に関する。
背景技術
従来から、人が実物体である人間型ロボットあるいは人間以外の動物を模した動物型ロボット（以下、単に「ロボット」という）に対して親近感を持つようにさせるために、そのロボットに現実の人間または動物（以下、「人間等」という）と同じような外観を与える方法が試みられている。
具体的には、軟性物質で形成された外皮でロボットを覆う方法（第１の方法）、ロボットの頭部に人間等の顔を映し出す方法（第２の方法）、またはロボットの表面を再帰性反射物質で塗装し、そのロボットの表面をスクリーンとして、映像投射装置から人間等の全身映像を投影する方法（第３の方法）などがある。これらの方法によれば、観察者に対して、ロボットをあたかも本当の人間等であるかのように感じさせ、ロボットに対する違和感を低減することができる。第３の方法は、「バーチャルリアリティの基礎４ 人工現
２０００年２月２９日初版発行）」に開示されている。
しかし、第１の方法では、ロボットをより現実の人間等に近づけるべく、ロボットに顔の表情を持たせる必要がある。顔の表情を持たせるためには、ロボットの顔の表面が自由に動くように数多くのアクチュエータをロボットに備える必要がある。このため、ロボットのコスト上昇およびアクチュエータの制御の煩雑化などを招いてしまう。加えて、外皮で外観を模倣するので、１種類の人間等の外観しか与えることができないという制約もある。
また、第２の方法では、ロボットの頭部に備えたディスプレイ上に人間等の顔を映すため、観察者がロボットを正面から見ない限り不自然となる。すなわち、観察者がロボットを横や後から見ると、ロボットにしか見えなくなってしまう。
さらに、第３の方法では、ロボットと映像投射装置との間に何らかの障害物が存在する場合には、ロボットの表面にその障害物の影が映ってしまう。したがって、かかる場合も、観察者がロボットを現実の人間等と認識するのは困難である。また、観察者は、ロボットに近づくと自分の影が映ってしまうので、ロボットに触れることもできない。
そこで、以上のような問題を解消すべく、観察者に頭部搭載型ディスプレイ（以後、「ＨＭＤ」という）を装着させ、そのＨＭＤにおいて、ロボットの動きに連動させたＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を、ロボットに重ねるように投影させる方法が考えられる。
この方法によれば、人間等のＣＧをロボットに合わせて自由に変化させることができる。このため、ロボットの表情や姿勢なども自由かつ容易に動かすことができる。また、人間等のＣＧを３ＤＣＧとすることにより、観察者がロボットを横や後から見ても不自然さを感じさせない。また、ＨＭＤは観察者の目を覆うゴーグルタイプのディスプレイであって、ＣＧを観察者の目の前で投影するものである。このため、ＨＭＤでは障害物の影が映ってしまうこともない。さらに、観察者がロボットに触れることもできるため、観察者は視覚と触覚により、仮想現実を体験することができる。したがって、観察者は、ロボットに対して一層親近感を抱くことができるようになる。
しかし、上記のようなＨＭＤにＣＧを投影させる方法にも問題が残されている。ロボットの位置や姿勢などの動きに連動させて、ＨＭＤに映し出す人間等のＣＧを変化させるためには、ロボット側またはＨＭＤ側のセンサで検知した各種データに基づいて空間座標の計算を行い、画像処理を行わなければならない。
検知したデータに大きな測定誤差があったり、あるいはデータの送信時間や画像処理における空間座標の計算時間が所定以上必要となると、ロボットの動きとＣＧとの間にずれが生じてしまう。また、ロボットに何らかの外乱が加わることによって、突然、ロボットが動くこともある。この場合にも、ロボットとＣＧとの間にずれが生じてしまう。
このような理由で、ずれが生じると、観察者（すなわち、ＨＭＤ装着者）の心情は白けてしまい、その結果、観察者がロボットに対して感情を移入することが妨げられてしまう。
一方、上記のようなロボットとＣＧとのずれは、各種センサ、ロボットおよびＨＭＤを高性能にして、画像処理の高精度化および画像処理の高速化を図ることによって、小さくできる。しかし、完全にずれを無くすことは不可能である。また、ずれを極めて小さくするために、ロボットに高性能のセンサおよびＣＰＵなどを搭載すると、コストの上昇を招き、経済面でも不利となる。
本発明は、上記のような課題を解決するためになされたものであり、低コストにてロボットに対する親近感を高めることができる画像処理システム、画像処理装置およびディスプレイ装置を提供することを目的とする。
発明の開示
上記目的を達成するため、本願の発明者は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを選択する画像選択用デバイスと、ＣＧの周縁に後光画像を生成する後光生成用デバイスと、ＣＧと後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、合成画像を、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスとを備える画像処理システムを構築した。このようなシステムを構築すると、実物体の形態に合致したＣＧを選択し、そして後光を生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く、実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。
また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを選択する画像選択用デバイスと、ＣＧの周縁に後光画像を生成する後光生成用デバイスと、ＣＧと後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、合成画像を観察者側に送信する合成画像送信用デバイスとを有する画像処理装置と、合成画像送信用デバイスから送信された合成画像を、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスを有するディスプレイ装置とを備える画像処理システムである。このようなシステムを構築すると、実物体の形態に合致したＣＧを選択し、そして後光を生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、画像処理装置においてそのずれを隠すための後光画像付きの合成画像を生成させ、その生成させた合成画像をＨＭＤに送信して、観察者の見るディスプレイ装置において、合成画像を投影させることができる。したがって、観察者は、違和感無く、実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。
また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを生成する画像生成用デバイスと、ＣＧの周縁に後光画像を生成する後光生成用デバイスと、ＣＧと後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、合成画像を、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスとを備える画像処理システムである。このようなシステムを構築すると、実物体の形態に合致したＣＧと後光とを生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く、実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。
また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを生成する画像生成用デバイスと、ＣＧの周縁に後光画像を生成する後光生成用デバイスと、ＣＧと後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、合成画像を観察者側に送信する合成画像送信用デバイスとを有する画像処理装置と、合成画像送信用デバイスから送信された合成画像を、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスを有するディスプレイ装置とを備える画像処理システムである。このようなシステムを構築すると、実物体の形態に合致したＣＧと後光とを生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、画像処理装置においてそのずれを隠すための後光画像付きの合成画像を生成させ、その生成させた合成画像をＨＭＤに送信して、観察者の見るディスプレイ装置において、合成画像を投影させることができる。したがって、観察者は、違和感無く、実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。
また、別の発明は、さらに、後光生成用デバイスによって、観察者と実物体との距離の測定における誤差を見積もり、その誤差に基づいて、実物体がＣＧの周縁にはみ出して見えることを防止するのに十分な厚みの後光画像を生成する画像処理システムである。このため、観察者と実体物との距離が正確に検知されない場合であっても、ＣＧは、十分に実物体を隠すことができる。したがって、観察者は、ごく自然に、ＣＧを楽しむことができる。
また、別の発明は、さらに、後光生成用デバイスによって、実物体または観察者が動いた際に、実物体とＣＧとの間に生じたずれを観察者に見せないのに十分な厚みの後光画像を生成する画像処理システムである。このため、ＣＧの生成が実体物または観察者の動きに追随できない場合であっても、ＣＧは、十分にその実物体を隠すことができる。したがって、観察者は、ごく自然に、ＣＧを楽しむことができる。
また、別の発明は、さらに、観察者が見るディスプレイと実物体との間の距離、角度および観察者から見た実物体の方向の内、少なくともいずれか１つを検知する検知デバイスを備える画像処理システムである。このため、実物体と観察者との動作の変化に対して高精度で追随するＣＧの生成が可能となる。
また、別の発明は、さらに、実物体を、自由に動くことが可能な人間型または人間以外の動物型のロボットとする画像処理システムである。このため、観察者にとって、ロボットがＣＧのキャラクタに見える。したがって、観察者は、あたかも本物のキャラクタがいるかのような仮想現実を味わうことが出来る。
また、別の発明は、さらに、ネットワークを介して、外部からＣＧを受信するための通信デバイスを備える画像処理システムである。このため、観察者は、自分の好みのＣＧを外部から簡単に入手できる。したがって、観察者は、１つの実物体を持つことによって、複数のキャラクタを味わうことができる。
また、別の発明は、さらに、観察者に、実物体よりも観察者側にある部分を持つ第２実物体を見せるための欠落領域を、ＣＧに有し、後光生成用デバイスによって、欠落領域の周縁にも後光画像を生成する画像処理システムである。このため、実物体に、第２実物体を接触させた状態で、実物体にＣＧを重ねても、観察者に、第２実物体の一部又は全部が見える。例えば、人間型ロボット（実物体）にチョコレート（第２実物体）を持たせた場合、観察者は、人間型ロボットよりも観察者側にあるチョコレートの一部を観察できる。したがって、チョコレートを持った人間型ロボットを観察する観察者は、アイドルタレントがチョコレートを持っている光景を認識できる。
また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを選択する画像選択用デバイスと、ＣＧの周縁に後光画像を生成する後光生成用デバイスと、ＣＧと後光画像とを合成した合成画像を生成する合成画像生成用デバイスとを備える画像処理装置である。これにより、その実物体の形態に合致したＣＧを選択し、そしてその後光を生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。さらに、合成画像を表示するディスプレイ装置と画像処理装置とを分けることにより、ディスプレイ装置側の負荷を減らすことができる。
また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを生成する画像生成用デバイスと、ＣＧの周縁に後光画像を生成する後光生成用デバイスと、ＣＧと後光画像とを合成した合成画像を生成する合成画像生成用デバイスとを備える画像処理装置である。これにより、その実物体の形態に合致したＣＧと後光とを生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。さらに、合成画像を表示するディスプレイ装置と画像処理装置とを分けることにより、ディスプレイ装置側の負荷を減らすことができる。
また、別の発明は、さらに、後光生成用デバイスによって、観察者と実物体との距離の測定における誤差を見積もり、その誤差に基づいて、実物体がＣＧの周縁にはみ出して見えることを防止するのに十分な厚みの後光画像を生成する画像処理装置である。このため、観察者と実体物との距離が正確に検知されない場合であっても、ＣＧは、十分に実物体を隠すことができる。したがって、観察者は、ごく自然に、ＣＧを楽しむことができる。
また、別の発明は、さらに、後光生成用デバイスによって、実物体または観察者が動いた際に、実物体とＣＧとの間に生じたずれを観察者に見せないのに十分な厚みの後光画像を生成する画像処理装置である。このため、ＣＧの生成が実体物または観察者の動きに追随できない場合であっても、ＣＧは、十分に実物体を隠すことができる。したがって、観察者は、ごく自然に、ＣＧを楽しむことができる。
また、別の発明は、さらに、観察者が見るディスプレイと実物体との間の距離、角度および観察者から見た実物体の方向の内、少なくともいずれか１つを検知する検知デバイスを備える画像処理装置である。このため、実物体と観察者との動作の変化に対して高精度で追随するＣＧの生成が可能となる。
また、別の発明は、さらに、ネットワークを介して、外部からＣＧを受信するための通信デバイスを備える画像処理装置である。このため、観察者は、自分の好みのＣＧを外部から簡単に入手できる。したがって、観察者は、１つの実物体を持つことによって、複数のキャラクタを味わうことができる。
また、別の発明は、さらに、観察者に、実物体よりも観察者側にある部分を持つ第２実物体を見せるための欠落領域を、ＣＧに有し、後光生成用デバイスによって、欠落領域の周縁にも後光画像を生成する画像処理装置である。このため、実物体に、第２実物体を接触させた状態で、実物体にＣＧを重ねても、観察者に、第２実物体の一部又は全部が見える。例えば、人間型ロボット（実物体）にチョコレート（第２実物体）を持たせた場合、観察者は、人間型ロボットよりも観察者側にあるチョコレートの一部を観察できる。したがって、チョコレートを持った人間型ロボットを観察する観察者は、アイドルタレントがチョコレートを持っている光景を認識できる。
また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを選択する手段と、ＣＧの周縁に後光画像を生成する手段と、ＣＧと後光画像とを合成する手段とを備える画像処理装置である。これにより、その実物体の形態に合致したＣＧを選択し、そしてその後光を生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。さらに、合成画像を表示するディスプレイ装置と画像処理装置とを分けることにより、ディスプレイ装置側の負荷を減らすことができる。ここでいう各手段は、電子回路基板に固定されるＣＰＵ等のデバイス、そのデバイスとそのデバイスの処理によって動作するプログラムを含む広義の意味を持つ。したがって、上記の各手段は、デバイスというハードウェアのみであっても、そのハードウェアとプログラムというソフトウェアとの組み合わせであっても良い。以下、逐一言及しないが、「手段」と記載されるものは、上記の広義の意味を持つものとする。
また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを生成する手段と、ＣＧの周縁に後光画像を生成する手段と、ＣＧと後光画像とを合成する手段とを備える画像処理装置である。これにより、その実物体の形態に合致したＣＧと後光とを生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。さらに、合成画像を表示するディスプレイ装置と画像処理装置とを分けることにより、ディスプレイ装置側の負荷を減らすことができる。
また、別の発明は、さらに、後光画像を生成する手段によって、観察者と実物体との距離の測定における誤差を見積もり、その誤差に基づいて、実物体がＣＧの周縁にはみ出して見えることを防止するのに十分な厚みの後光画像を生成する画像処理装置である。このため、観察者と実体物との距離が正確に検知されない場合であっても、ＣＧは、十分に実物体を隠すことができる。したがって、観察者は、ごく自然に、ＣＧを楽しむことができる。
また、別の発明は、さらに、後光画像を生成する手段によって、実物体または観察者が動いた際に、実物体とＣＧとの間に生じたずれを観察者に見せないのに十分な厚みの後光画像を生成する画像処理装置である。このため、ＣＧの生成が実体物または観察者の動きに追随できない場合であっても、ＣＧは、十分に実物体を隠すことができる。したがって、観察者は、ごく自然に、ＣＧを楽しむことができる。
また、別の発明は、さらに、観察者が見るディスプレイと実物体との間の距離、角度および観察者から見た実物体の方向の内、少なくともいずれか１つを検知する手段を備える画像処理装置である。このため、実物体と観察者との動作の変化に対して高精度で追随するＣＧの生成が可能となる。
また、別の発明は、さらに、ネットワークを介して、外部からＣＧを受信する手段を備える画像処理装置である。このため、観察者は、自分の好みのＣＧを外部から簡単に入手できる。したがって、観察者は、１つの実物体を持つことによって、複数のキャラクタを味わうことができる。
また、別の発明は、さらに、観察者に、実物体よりも観察者側にある部分を持つ第２実物体を見せるための欠落領域を、ＣＧに有し、後光画像を生成する手段によって、欠落領域の周縁にも後光画像を生成する画像処理装置である。このため、実物体に、第２実物体を接触させた状態で、実物体にＣＧを重ねても、観察者に、第２実物体の一部又は全部が見える。例えば、人間型ロボット（実物体）にチョコレート（第２実物体）を持たせた場合、観察者は、人間型ロボットよりも観察者側にあるチョコレートの一部を観察できる。したがって、チョコレートを持った人間型ロボットを観察する観察者は、アイドルタレントがチョコレートを持っている光景を認識できる。
また、別の発明は、実物体の形態および実物体を見る観察者と実物体との間の位置関係に合う形態のＣＧの周縁に生成させた後光画像と、ＣＧとを合成した合成画像とを、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスを備えるディスプレイ装置である。これによって、その実物体の形態に合致したＣＧを選択し、そしてその後光を生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。さらに、合成画像を表示するディスプレイ装置と、合成画像を生成する画像処理装置とを分けることにより、ディスプレイ装置側の負荷を減らすことができる。
また、別の発明は、観察者に、実物体よりも観察者側にある部分を持つ第２実物体を見せるための欠落領域を、ＣＧに有し、後光画像をその欠落領域の周縁にも存在させるディスプレイ装置である。このため、実物体に、第２実物体を接触させた状態で、実物体にＣＧを重ねても、観察者に、第２実物体の一部又は全部が見える。例えば、人間型ロボット（実物体）にチョコレート（第２実物体）を持たせた場合、観察者は、人間型ロボットよりも観察者側にあるチョコレートの一部を観察できる。したがって、チョコレートを持った人間型ロボットを観察する観察者は、アイドルタレントがチョコレートを持っている光景を認識できる。
発明を実施するための最良の形態
以下、本発明の最良の実施の形態につき、図面に基づき説明する。なお、以後、実物体を、人間型ロボットに代表されるロボットとして説明するが、マネキン等の動かないものとしても良い。加えて、以下説明する各デバイスに代えて、同各デバイスとプログラムとの共同によって、同各デバイスと同様の処理を実行可能としても良い。
（第１の実施の形態）
図１は、本発明の画像処理システムの構成を示すブロック図である。図１に示すように、本発明の画像処理システムは、画像処理装置となる人間型ロボット１とディスプレイ装置となるＨＭＤ２とから構成されている。図２は、人間型ロボット１の外観を示す図である。人間型ロボット１は、２足歩行で動くことができ、また、手、首、足などの各関節が動くように構成されている。
図１に示すように、人間型ロボット１は、検知デバイスの一形態であるセンサ１１ａ，１１ｂ，１１ｃと、通信部１２と、画像生成用デバイスの一形態である相対位置姿勢計算部１３と、関節アクチュエータ１４と、画像生成用デバイス、後光生成用デバイスおよび合成画像生成用デバイスの一形態である画像処理部１５と、記憶部１６と、通信デバイスの一形態である通信部１７とを備えている。また、ＨＭＤ２は、検知デバイスの一形態であるセンサ２１ａ、２１ｂと、通信部２２，２３と、画像表示処理用デバイスの一形態である立体画像表示部２４と、制御部２５とを備えている。
センサ１１ａは、人間型ロボット１の表面に加えられた接触圧を検知するセンサである。センサ１１ｂは、人間型ロボット１の姿勢を測定するために、各関節の角度を検知するセンサである。センサ１１ｃは、ＨＭＤ２の位置、すなわち、ＨＭＤ２を装着している観察者と人間型ロボット１との相対距離を測定して検出するセンサである。各センサ１１ａ，１１ｂ，１１ｃのデータ（体表接触圧データ、関節角度データおよび相対距離情報）は、通信部１２に送られる。
通信部１２は、各センサ１１ａ，１１ｂ，１１ｃから送られた各データを受信するとともに、ＨＭＤ２からデータを受信する。ＨＭＤ２から送信されたデータは、ＨＭＤ２にあるセンサ２１ｂが測定した人の頭部の姿勢データ（頭部姿勢データ）である。通信部１２は、これら全てのセンサ１１ａ，１１ｂ，１１ｃからのデータを相対位置姿勢計算部１３に送る構成部である。なお、この実施の形態において、人間型ロボット１とＨＭＤ２との間のデータ通信は、アンテナ（図示せず）を介して無線で行われることを想定しているが、これに限るものではなく、ケーブルを介して有線で行われるものであっても良い。
相対位置姿勢計算部１３は、通信部１２から送られたデータの内、センサ１１ａ，１１ｂでそれぞれ検知されたデータに基づいて、人間型ロボット１が所定の姿勢となるような各関節の目標角度のデータを計算する構成部である。また、相対位置姿勢計算部１３は、通信部１２から送られた全てのデータ（体表接触圧データ、関節角度データ、相対距離情報および頭部姿勢データ）に基づいて、人間型ロボット１の姿勢および人間型ロボット１とＨＭＤ２との相対位置関係を求め、それらの情報から、ＨＭＤ２を装着した観察者がロボット１を見た場合における視界に映る人間型ロボット１の形状である相対位置姿勢データを計算する構成部であり、ＣＧ生成のためのデータを画像処理部１５に送る。
関節アクチュエータ１４は、相対位置姿勢計算部１３で計算された目標関節角度データに基づいて、各関節の角度を変化させる駆動機構である。画像処理部１５は、画像生成用デバイスの一形態である画像生成部１５ａと、後光生成用デバイスの一形態である後光生成部１５ｂと、合成画像生成用デバイスの一形態である合成画像生成部１５ｃとからなる。画像処理部１５は、相対位置姿勢計算部１３で計算された相対位置姿勢データに基づいて、記憶部１６に保存されている人物ＣＧのデータを読み出し、その人物ＣＧのデータに対して画像生成、輪郭抽出、後光生成および画像合成の各処理を施して、合成画像（＝処理済ＣＧデータ）を生成する。ここで、輪郭抽出は、画像生成部１５ａで行われる。画像処理部１５は、中央演算処理ユニット（ＣＰＵ）、画像処理プロセッサ、メモリとで構成されるのが一般的であるが、これ以外のハード構成でも良い。なお、画像処理部１５の詳細な処理動作については、後述する。
記憶部１６は、人物ＣＧのデータを格納する記憶媒体である。人物ＣＧのデータは、例えば、ドライブ（図示せず）によってＣＤ−ＲＯＭなどのメディアから読み込むことより記憶部１６に格納される。ここで、人物ＣＧのデータとしては、例えば、芸能人など著名人のＣＧデータなどが考えられる。通信部１７は、画像処理部１５で処理した処理済ＣＧデータを受け取ると、その処理済ＣＧデータをＨＭＤ２に対して送信する構成部である。
ＨＭＤ２は、図３に示すように、ゴーグルタイプのディスプレイであって、観察者の頭部に装着される装置である。ＨＭＤ２は、透過型のヘッドマウントディスプレイであって、観察者の目前の映像投影部のうち映像が映されていない部分は光を透過する。したがって、観察者は、ＨＭＤ２の映像投影部のうちの映像が映されていない部分から、人間型ロボット１を一例とする実物体（実存している物体であって、ＣＧの立体映像とは反対の意である）を見ることができる。
図１に示すように、ＨＭＤ２の内部にあるセンサ２１ａは、人間型ロボット１の位置、すなわちＨＭＤ２を装着している観察者と人間型ロボット１との相対距離を測定して検出するセンサである。また、センサ２１ｂは、ＨＭＤ２を装着している観察者の頭部の姿勢（顔の向いている方向や傾きなど）を検知するセンサである。
通信部２２は、センサ２１ｂで検知された頭部姿勢データを人間型ロボット１に対して送信する構成部である。また、通信部２３は、人間型ロボット１から送信された処理済ＣＧデータを受信する構成部である。
立体画像表示部２４は、通信部２３で受信された処理済ＣＧデータを表示する構成部である。制御部２５は、ＨＭＤ２の各部の動作を制御する構成部である。
次に、人間型ロボット１の画像処理について、図４から図８に基づいて説明する。
人間型ロボット１は、電源がオンの状態においては、常に、センサ１１ａおよびセンサ１１ｂがそれぞれ体表接触圧データおよび関節角度データを検知している。そして、センサ１１ａおよびセンサ１１ｂで検知された体表接触圧データおよび関節角度データは、通信部１２を介して相対位置姿勢計算部１３に送られる。相対位置姿勢計算部１３は、体表接触圧データおよび関節角度データに基づいて、人間型ロボット１が所定の姿勢になるように目標関節角度データを計算する。そして、関節アクチュエータ１４は、目標関節角度データを受け取って、人間型ロボット１の各関節を目標関節角度に調整する。これにより、人間型ロボット１は、様々な姿勢に変化させて動き回ることが可能となる。
センサ１１ｃが、ＨＭＤ２を検出すると、人物ＣＧのデータに画像処理を施してＨＭＤ２に送信するモードに移行する。センサ１１ｃは、ＨＭＤ２との間の相対距離を測定し、通信部１２を介して、その相対距離の情報を相対位置姿勢計算部１３に送る。また、通信部１２は、ＨＭＤ２の通信部２２から送信された頭部姿勢データを受信し、その頭部姿勢データを相対位置姿勢計算部１３に送る。
相対位置姿勢計算部１３は、全てのセンサデータ、すなわち、体表接触圧データ、関節角度データ、相対位置情報、頭部姿勢データに基づいて、相対位置姿勢データを計算し、その相対位置姿勢データを画像処理部１５に送る。画像処理部１５は、相対位置姿勢データに基づいて、以下のように人物ＣＧのデータに画像処理を施す。
図４は、画像処理部１５の画像処理動作の流れを簡単に説明するためのフローチャートである。画像処理部１５は、相対位置姿勢データを受け取ると、まず、記憶部１６に格納されている人物ＣＧのデータを読み出して、その人物ＣＧデータと相対位置姿勢データに合ったＣＧに変換する（ステップＳ１）。
ここで、ＣＧは、コンピュータで描かれたあらゆるポーズの絵という意味ではなく、関節位置や表面形状の３次元情報を備えた、いわゆる３ＤＣＧであり、コンピュータで描かれた３次元のフィギュアである。画像処理部１５は、このＣＧの関節を自由に動かしたり、視点を変化させたりすることができる。具体的には、画像処理部１５は、空間座標を設定し、相対位置姿勢データに基づいて、人間型ロボット１の各関節位置に軌道を与えて動かすことによって、人間型ロボット１の姿勢に合ったＣＧを生成する。このような画像処理部１５により画像生成処理をしたＣＧ４０の例を、図５に示す。
なお、３ＤＣＧとは、フォトグラフィのような左目と右目に見える像のずれによって脳の錯覚を利用して、目の前にある像（絵）が立体的に浮かんでいるように見える、いわゆる立体視映像とは異なるものであるが、さらに立体視のための処理を３ＤＣＧに対して行っても良い。
次に、画像処理部１５は、画像生成されたＣＧ４０の輪郭を抽出する（ステップＳ２）。このような画像処理部１５による輪郭４１の抽出処理の結果を、図６に示す。次に、画像処理部１５は、抽出したＣＧ４０の輪郭４１の周縁に後光４２を生成する（ステップＳ３）。この後光４２は、人間型ロボット１とＣＧ４０とのずれを隠すための光である。このような画像処理部１５による後光４２の生成処理の結果を、図７に示す。
ここで、後光４２は、その目的から、人間型ロボット１の動きとＣＧ４０とのずれが十分隠れる程度の幅ｔを持たせる必要がある。したがって、後光の幅ｔは、人間型ロボット１の各関節などが最大速度で動いているときに生じるずれをカバーできる厚みが必要である。
次に、画像処理部１５は、生成したＣＧ４０と後光４２の画像とを合成する（ステップＳ４）。このような画像処理部１５により合成された合成画像の例を、図８に示す。図８に示すように、ＣＧ４０の周縁に後光４２を付けることにより、人間型ロボット１とＣＧ４０との微妙なずれを隠すことができるとともに、ＣＧ４０の周縁に後光４２があっても、観察者にとって違和感を感じさせることもない。
画像処理部１５は、図１に示すように、ＣＧ４０に後光４２を合成した処理済ＣＧデータを通信部１７を介してＨＭＤ２に送信する。ＨＭＤ２では、通信部２３が人間型ロボット１の通信部１７から送信された処理済ＣＧデータを受信すると、その処理済ＣＧデータを立体画像表示部２４に送る。立体画像表示部２４は、処理済ＣＧデータを人間型ロボット１の動きと重なるように、図示されない映像投影部に表示させる。ＨＭＤ２を装着している観察者は、人間型ロボット１に重ねて、ＨＭＤ２で後光４２のあるＣＧ４０を見ることができる。これにより、観察者は、人間型ロボット１とＣＧ４０とのずれを感じなくなる。
なお、ＨＭＤ２で人物ＣＧのデータを人間型ロボット１に重ね合わせて表示しているときに、ＨＭＤ２を装着している観察者（利用者）が人間型ロボット１に触った場合には、人間型ロボット１のセンサ１１ａがそれを感知する。この結果、画像処理部１５は、人物ＣＧのデータの画像処理を施して、その人物画像の表情を変化させるように構成しても良い。また、観察者が触った場所や強さなどに応じて人物の表情をプログラムで予め定められた通りに、怒ったり、笑ったりするように構成しても良い。
以上のように、この実施の形態によれば、人間型ロボット１の画像処理部１５によって、ＣＧ４０の周縁に後光４２を施すようにしているので、ロボットの動きとＣＧ４０との間にずれが生じた場合でも、そのずれを隠すことができ、観察者はそのずれを認識することがなくなり、その結果、人間型ロボット１に対して感情移入を容易に行うことが可能となる。また、実際に、観察者が人間型ロボット１に触れることができ、より一層、そのＣＧの人物と触れ合っているような感覚を味わうことができることになる。
なお、本発明における画像処理装置は、玩具的な用途以外にも、様々な用途に利用することが期待できる。具体的には、まず、利用者が好きな芸能人の人物ＣＧのデータを再生することにより、その芸能人と仮想的に触れ合うことができる立体ポスターとして楽しむことができる。さらに、人間型ロボット１に対話装置を搭載することにより、非常に効果的な広告媒体ともなり得る。
また、利用者が人間型ロボット１と一緒に散歩やスポーツなどを楽しむことも考えられる。また、生前に自分の人物ＣＧのデータを遺しておくことにより、自分の死後に家族の悲しみを和らげることもできるものと考えられる。さらに、病人や老人の介護や福祉目的などにも利用されることも期待できる。
また、本実施の形態では、人間型ロボット１側に相対位置姿勢計算部１３および画像処理部１５を設けていたが、これに限るものではない。ＨＭＤ２側に相対位置姿勢計算部１３および画像処理部１５を設けるようにしても良い。この場合、人間型ロボット１の通信部１２から体表接触圧データおよび関節角度データがＨＭＤ２に送信され、ＨＭＤ２側でそれらのデータに基づいて相対位置姿勢データを計算し、その相対位置姿勢データに基づいて人物ＣＧのデータの画像処理を施すことになる。
次に、最適な後光４２の設定方法について、図面に基づいて説明する。人間型ロボット１とＨＭＤ２との間の相対位置の測定には、誤差がある。この測定誤差に起因して、ＣＧ４０の周縁から人間型ロボット１がはみ出して見える可能性がある。かかる事態を防止するため、ＣＧ４０に施す後光４２の厚みを、最適化するようにしている。すなわち、後光４２の厚さを大きくするほど、人間型ロボット１が見えるリスクは低くなる一方で、ＣＧ４０の見え方は、より不自然になる。したがって、上記ずれを隠すに充分で、かつ最低の厚みの後光４２を表示させるのが好ましい。以下、奥行き方向と上下左右方向に分けて、最適な後光４２の厚さを計算する方法を説明する。
まず、奥行き方向の測定誤差に基づいて後光４２の厚さを計算する方法について説明する。
図９は、人間の視覚のピンホールカメラモデルである。原点０はレンズ中心に相当し、原点０から目標点である物体５０までの真の距離がｌ（エル）のとき、センサの測定値は誤差も含めてｌ（１±α）に収まるものとする。距離ｌに存在する、幅ｗの物体５０が視野に占める視野角２θｒｅａｌとする。この場合、ＨＭＤ２の表示部には視野角２θｒｅａｌに相当する幅のＣＧ５１を映し出すことにより、物体５０をＣＧ５１で隠すことが可能である。なお、人間の網膜には、視野角２θｒｅａｌに相当する幅のＣＧ５２が写っている。
これに対し、図１０に示すように、原点０から目標点である物体５０までの距離がｌ（１＋α）であると判定された場合、ＨＭＤ２の表示部には、距離ｌ（１＋α）に存在する幅ｗの物体５３が占める視野角２θｍｉｓに相当する幅でＣＧ５４が表示される。すると、θｒｅａｌ＞θｍｉｓであるため、ＨＭＤ２に表示されたＣＧ５１から物体５０がはみ出して見える。このときのはみ出し幅は、以下の数式１および数式２を用いて計算できる。
よって、数式３を導く事ができる。
よって、はみ出し幅δは、数式４で示すように求めることが出来る。
この結果、例えば、観察者の１ｍ前方に、肩幅５０ｃｍのロボットが存在するものとし、センサ１１ｃを赤外線距離センサ、超音波距離センサとし、それらによる測定誤差を１ｃｍとすると、α＝０．０１となる。また、ｔａｎθｒｅａｌ＝０．２５となる。よって、はみ出し幅は、１・０．２５・（０．０１／１．０１）、すなわち０．００２５ｍとなる。したがって、後光４２の厚みが２．５ｍｍであれば、はみ出しを覆うことができる。
次に、上下左右方向の誤差に基づいて後光４２の厚さを計算する方法について説明する。なお、簡便化のため、三辺測量方式に用いる３点のうち、２点を取り出して説明する。
図１１に示すように、点Ｓ１、Ｓ２から目標点までの距離をそれぞれ、ｌ１、ｌ２で表す。また、点Ｓ１Ｓ２間の距離はｌ１２である。今、目標点がＳ１Ｓ２間の中点を通る垂直線上にあって、ｌ１＝ｌ２とする。それぞれの測定誤差の割合をβとすると、物体の位置の左右誤差が最も大きくなるのは、図１２に示すように、目標点が点Ｓ１からｌ１（１−β）、点Ｓ２からｌ２（１＋β）の距離にあるとされた場合である。この場合の左右誤差ｘは、三平方の定理より、数式５のように計算できる。
次に、数式５の両辺を展開して、ｘについて整理すると、数式６のようになる。また、今、ｌ１＝ｌ２なので、右辺をｌ２でまとめて整理すると、数式７のようになる。
この結果、今、観察者の１ｍ前方に、ロボットが存在するものとし、点Ｓ１および点Ｓ２がＨＭＤ２の左右に存在しているとして、ｌ１２＝０．２ｍとする。すると、誤差無く測定できた場合に、ｌ１とｌ２は、三平方の定理より１．００５ｍである。今、センサによるｌ１とｌ２の測定誤差βを０．０１とすると、左右方向のずれｘは、２・０．０１・（１．００５）２／０．２＝０．１０１となる。
つまり、後光４２の厚みが約１０ｃｍあれば、測定誤差によるはみ出しを覆うことができる。また、この誤差は距離の二乗に比例しており、ロボットが半分の距離にあれば、後光の厚さは１／４の２．５ｃｍで良い。
以上の奥行方向の測定誤差を補償する後光４２の厚さと、上下左右方向の測定誤差を補償する後光４２の厚さの和が、必要な後光４２の厚さである。
次に、人間型ロボット１の動作に対して、ＣＧ４０の処理が遅れる場合に、その遅れを補償するのに必要な後光４２の厚さｔを計算する方法について説明する。
今、人間型ロボット１が動いた瞬間から、当該動いた人間型ロボット１を基準としてＣＧ４０をＨＭＤ２に表示するまでの時間（＝遅れ）をＴ（ｓｅｃ）とする。また、人間型ロボット１の動作速度をＶ（ｍ／ｓｅｃ）とする。すると、図１３に示すように、時間Ｔの間に人間型ロボット１が次の状態（時間Ｔ後の人間型ロボット）１ａに移動する距離Ｘ（ｍ）は、ＶＴ（ｍ）となる。
したがって、後光４２の厚さｔ（ｍ）をＶＴ（ｍ）に設定すると、人間型ロボット１の動作にＣＧ４０の表示処理が追いつかなくても、後光４２の厚みｔから外に、時間Ｔ後の人間型ロボット１ａが見えることはない。
例えば、ＣＧ４０の処理の遅れＴを０．１ｓｅｃ、人が不安に感じないロボットの速度であって最も速い手先の動作速度Ｖを０．６ｍ／ｓｅｃとする。すると、遅れを補償する後光の厚さｔは、０．１ｓｅｃで移動した人間型ロボットの距離Ｘ（＝ＴＶ）である６ｃｍとなる。
（第２の実施の形態）
第１の実施の形態では、メディアを通じて人物ＣＧのデータを記憶部１６に保存していたが、本実施の形態では、ダウンロード装置３から配信される人物ＣＧのデータをインターネットなどのネットワークを通じて受信し、その受信した人物ＣＧのデータを記憶部１６に保存する。
図１４は、本発明の画像処理システムの構成を示すブロック図である。図１４において、ダウンロード装置３は、インターネットなどのネットワーク（図示せず）上にホームページを提供し、そのホームページにアクセスしてきた画像処理装置の利用者に対して、その利用者が希望するＣＧ４０のデータをネットワークを通じて配信（ダウンロード）するサーバである。
このダウンロード装置３の内部には、図１４に示すように、通信デバイスの一形態である通信部３１、記憶部３２および制御部３３を備えている。通信部３１は、図示されないネットワークを介してデータ通信を行う構成部である。記憶部３２は、例えば、複数の著名な人物とそっくりなＣＧ４０のデータを保存する構成部である。制御部３３は、ダウンロード装置３の各部の動作を制御するとともに、ＣＧ４０のデータの配信や配信履歴の管理などを行う構成部である。
人間型ロボット１の通信部１７は、ネットワークに接続可能である。したがって、利用者は、人間型ロボット１の通信部１７を介してネットワーク上に提供されているホームページにアクセスできる。
なお、その他の構成については、図１に示した構成と同様であるため、同一構成については同一符号を付すことにより、重複する説明を省略する。
次に、本発明の画像処理システムの動作について、図１５に基づいて説明する。
図１５は、本発明の画像処理システムの動作の流れを説明するためのフローチャートである。画像処理装置の利用者は、ＣＧ４０のデータの配信を希望する場合には、まず、ダウンロード装置３がネットワーク上に提供しているホームページにアクセスする（ステップＳ１１）。次に、利用者は、そのホームページ上のアイコンをクリックするなどして、希望する人物ＣＧのデータを選択する（ステップＳ１２）。
ダウンロード装置３の制御部３３は、ホームページにアクセスしてきた利用者によって人物ＣＧのデータが選択されると、その選択された人物ＣＧのデータを通信部３１からネットワークを通じて人間型ロボット１に対して配信する（ステップＳ１３）。
人間型ロボット１では、通信部１７がダウンロード装置３から配信された人物ＣＧデータを受信すると（ステップＳ１４）、その受信した人物ＣＧのデータを記憶部１６に格納して保存する（ステップＳ１５）。
以上のように、本実施の形態によれば、ダウンロード装置３がネットワークを通じて人物ＣＧのデータを配信するように構成されているので、利用者が様々な人物ＣＧのデータを簡易かつ確実に取得することができる。その結果、画像処理装置の利用性を一層向上させることができる。
（第３の実施の形態）
次に、画像処理をＨＭＤ２で行うようにした画像処理システムについて説明する。
図１６に示すように、人間型ロボット１は、センサ１１ａ，１１ｂ，１１ｃと、通信部１２と、相対位置姿勢計算部１３と、関節アクチュエータ１４と、通信部１７とを備えている。また、ＨＭＤ２は、画像処理部１５と、記憶部１６と、センサ２１ａ、２１ｂと、通信部２２，２３と、立体画像表示部２４と、制御部２５とを備えている。人間型ロボット１およびＨＭＤ２の両構成部の機能は、第１の実施の形態で説明した機能と同様の機能である。
人間型ロボット１は、各センサ１１ａ，１１ｂ，１１ｃ，２１ｂからのデータに基づいて、人間型ロボット１の体勢および観察者との位置関係を計算し、その計算結果をＨＭＤ２に送信する。ＨＭＤ２は、人間型ロボット１から送信されてきた計算結果に基づいて、記憶部１６からＣＧ４０を選出し、その選出したＣＧ４０を表示部に立体画像表示部２４に表示する。
このように、ＨＭＤ２に画像処理の機能を持たせることにより、人間型ロボット１のコスト低減、ロボット本来の機能の充実を図ることができる。
（第４の実施の形態）
次に、人間型ロボット１に第２実物体の一例としてのチョコレートを持たせて、ＣＧ越しにその人間型ロボット１を観察する場合における画像処理システムについて説明する。画像処理システムの第４の実施の形態は、第１の実施の形態または第３の実施の形態にて説明した人間型ロボット１とＨＭＤ２とそれぞれ同じ装置、あるいは第２の実施の形態にて説明した人間型ロボット１とＨＭＤ２とダウンロード装置３とそれぞれ同じ装置を備えている。ここでは、画像処理システムが第１の実施の形態または第３の実施の形態にて説明した人間型ロボット１とＨＭＤ２を有している例を説明する。
第４の実施の形態とそれ以前の実施の形態との違いの一つは、観察者が人間型ロボット１に重ねられるＣＧ越しに第２実物体を観察できるように、穴あるいは凹部に代表される欠落領域を有していることである。また、第４の実施の形態とそれ以前の実施の形態との違いのもう一つは、上記ＣＧにおける上記欠落領域の周縁にも、後光が生成されていることである。
図１７は、人間型ロボット１に、チョコレート６０を持たせた状態を示す図である。また、図１８は、図１７に示す人間型ロボット１と観察者との間に配置されるＣＧ４０を示す図である。ＣＧ４０は、既に説明した実施の形態と同様の後光４２を有すると共に、チョコレート６０の位置に合わせて設けられた欠落領域（ここでは、穴）６１の周囲にも後光４２ａを有している。したがって、観察者が、ＨＭＤ２に映るＣＧ４０越しに人間型ロボット１を見ると、図１９に示すように、一部にあけられた穴６１からチョコレート６０が見えるＣＧ４０を認識することができる。
人間型ロボット１がチョコレート６０を食べる動作を行うと、人間型ロボット１からＨＭＤ２に、人間型ロボット１とＨＭＤ２との距離、チョコレート６０を持つ手の位置等のデータが送られる。ＨＭＤ２は、そのデータに基づいて、口元にチョコレート用の穴６１があいたＣＧ４０を選択して、これを写す。人間型ロボット１の動作に合わせて、各動作に合致したＣＧ４０は、選択され、そして映し出される。このため、観察者は、人間型ロボット１ではなく、アイドルのＣＧ４０がチョコレート６０を食べている動画を見ることができる。後光４２および後光４２ａは、人間型ロボット１およびチョコレート６０と、ＣＧ４０とのずれによって、人間型ロボット１が観察者に見えてしまうことがないように、ＣＧ４０の周縁および穴６１の周縁に、それぞれ設けられている。
また、この画像処理システムに、第２の実施の形態で説明したダウンロード装置３を設けることにより、以下の処理を行うこともできる。人間型ロボット１にバーコードが割り当てられていて、パソコンに接続されるバーコードリーダにて当該バーコードを読みとると、当該バーコードのデータは、パソコンとインターネット等の通信回線を介して接続されるダウンロード装置３に送られる。ダウンロード装置３は、当該バーコードに基づいてＣＧ４０を選択して、これをＨＭＤ２に送信する。ＨＭＤ２を装着した観察者は、ＣＧ４０を介して人間型ロボット１を観察するので、チョコレート６０を持ったアイドル形態のＣＧ４０を認識できる。
また、第１の実施の形態から第４の実施の形態では、人物ＣＧのデータを適用した画像処理装置および画像処理システムについて説明したが、これに限られるものではない。例えば、人間以外の動物（犬など）のＣＧであってもよい。この場合、人間型ロボット１の代わりに動物型ロボット（犬型ロボットなど）を用いると良い。
また、第２の実施の形態では、ダウンロード装置３から配信される人物ＣＧデータを人間型ロボット１で受信するように構成されていたが、ＨＭＤ２側に相対位置姿勢計算部１３および画像処理部１５を備え、ＨＭＤ２側で受信するようにしても良い。
また、利用者が、自身のパソコンでダウンロード装置３のホームページにアクセスし、そのパソコンで人物ＣＧのデータをダウンロードし、そのダウンロードした人物ＣＧのデータをメディアに移して、メディアを介してＨＭＤ２の記憶部１６に保存するようにしても良い。
なお、画像生成用デバイスに代えて、あるいは画像生成用デバイスに加えて、画像選択用デバイスを採用しても良い。すなわち、人間型ロボット１とＨＭＤ２との間の距離等のデータに基づいて、ＣＧを生成するのではなく、予め多くのＣＧをメモリ内に用意しておき、上記データに基づいて、そのメモリ内から適切なＣＧを選択するようにしても良い。
また、後光生成用デバイスに代えて、あるいは後光生成用デバイスに加えて、後光を選択するデバイスを採用しても良い。これによって、本発明の画像処理システム、画像処理装置またはディスプレイ装置は、上記データに基づいて、逐一、後光を生成することなく、単に、適切な後光を選択する処理を行うだけで良い。
また、後光は、不透明な層であっても、わずかに後ろが透ける程度の半透明な層であっても良い。
産業上の利用可能性
本発明は、ロボットとＣＧを組み合わせたコマーシャルの製作、配信に利用可能である。
【図面の簡単な説明】
図１は、本発明の画像処理システムの構成を示すブロック図である。
図２は、本発明の画像処理装置となる人間型ロボットの外観を示す図である。
図３は、本発明のディスプレイ装置となるヘッドマウントディスプレイの外観を示す図である。
図４は、図２の画像処理装置における画像処理の動作の流れを説明するためのフローチャートである。
図５は、図２の画像処理装置により生成したＣＧの一例を示す図である。
図６は、図２の画像処理装置により抽出したＣＧの輪郭を示す図である。
図７は、図２の画像処理装置において生成した後光の一例を示す図である。
図８は、図２の画像処理装置において、ＣＧと後光とを合成した合成画像の一例を示す図である。
図９は、人間の視覚のピンホールカメラモデルである。
図１０は、実物体の奥行方向の測定誤差がある場合の、実物体とＣＧとのずれを示す図である。
図１１は、両眼から正面の実物体を見る状態を模式的に示す図である。
図１２は、図１１の状態において、左右方向の測定誤差がある場合の、実物体とＣＧとのずれを示す図である。
図１３は、時間Ｔの間に人間型ロボットが次の状態（時間Ｔ後の人間型ロボット）に移動した際に、画像処理の遅れを補償する後光の厚さを示す図である。
図１４は、本発明の画像処理システムの第２の実施の形態を示すブロック図である。
図１５は、図１４の画像処理システムにおいて、ダウンロード装置からＣＧをダウンロードし、記憶する処理動作を説明するためのフローチャートである。
図１６は、本発明の画像処理システムの第３の実施の形態を示すブロック図である。
図１７は、人間型ロボットに、チョコレートを持たせた状態を示す図である。
図１８は、図１７に示す人間型ロボットと観察者との間に配置されるＣＧを示す図である。
図１９は、図１７に示す人間型ロボットを、図１８に示すＣＧ越しに観察した光景を示す図である。
本発明は、ディスプレイを見る観察者に対して仮想現実（バーチャルリアリティ）を体験させるための画像処理システム、画像処理装置およびディスプレイ装置に関する。
背景技術
従来から、人が実物体である人間型ロボットあるいは人間以外の動物を模した動物型ロボット（以下、単に「ロボット」という）に対して親近感を持つようにさせるために、そのロボットに現実の人間または動物（以下、「人間等」という）と同じような外観を与える方法が試みられている。
具体的には、軟性物質で形成された外皮でロボットを覆う方法（第１の方法）、ロボットの頭部に人間等の顔を映し出す方法（第２の方法）、またはロボットの表面を再帰性反射物質で塗装し、そのロボットの表面をスクリーンとして、映像投射装置から人間等の全身映像を投影する方法（第３の方法）などがある。これらの方法によれば、観察者に対して、ロボットをあたかも本当の人間等であるかのように感じさせ、ロボットに対する違和感を低減することができる。第３の方法は、「バーチャルリアリティの基礎４ 人工現
しかし、第１の方法では、ロボットをより現実の人間等に近づけるべく、ロボットに顔の表情を持たせる必要がある。顔の表情を持たせるためには、ロボットの顔の表面が自由に動くように数多くのアクチュエータをロボットに備える必要がある。このため、ロボットのコスト上昇およびアクチュエータの制御の煩雑化などを招いてしまう。加えて、外皮で外観を模倣するので、１種類の人間等の外観しか与えることができないという制約もある。
また、第２の方法では、ロボットの頭部に備えたディスプレイ上に人間等の顔を映すため、観察者がロボットを正面から見ない限り不自然となる。すなわち、観察者がロボットを横や後から見ると、ロボットにしか見えなくなってしまう。
さらに、第３の方法では、ロボットと映像投射装置との間に何らかの障害物が存在する場合には、ロボットの表面にその障害物の影が映ってしまう。したがって、かかる場合も、観察者がロボットを現実の人間等と認識するのは困難である。また、観察者は、ロボットに近づくと自分の影が映ってしまうので、ロボットに触れることもできない。
そこで、以上のような問題を解消すべく、観察者に頭部搭載型ディスプレイ（以後、「ＨＭＤ」という）を装着させ、そのＨＭＤにおいて、ロボットの動きに連動させたＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を、ロボットに重ねるように投影させる方法が考えられる。
この方法によれば、人間等のＣＧをロボットに合わせて自由に変化させることができる。このため、ロボットの表情や姿勢なども自由かつ容易に動かすことができる。また、人間等のＣＧを３ＤＣＧとすることにより、観察者がロボットを横や後から見ても不自然さを感じさせない。また、ＨＭＤは観察者の目を覆うゴーグルタイプのディスプレイであって、ＣＧを観察者の目の前で投影するものである。このため、ＨＭＤでは障害物の影が映ってしまうこともない。さらに、観察者がロボットに触れることもできるため、観察者は視覚と触覚により、仮想現実を体験することができる。したがって、観察者は、ロボットに対して一層親近感を抱くことができるようになる。
しかし、上記のようなＨＭＤにＣＧを投影させる方法にも問題が残されている。ロボットの位置や姿勢などの動きに連動させて、ＨＭＤに映し出す人間等のＣＧを変化させるためには、ロボット側またはＨＭＤ側のセンサで検知した各種データに基づいて空間座標の計算を行い、画像処理を行わなければならない。
検知したデータに大きな測定誤差があったり、あるいはデータの送信時間や画像処理における空間座標の計算時間が所定以上必要となると、ロボットの動きとＣＧとの間にずれが生じてしまう。また、ロボットに何らかの外乱が加わることによって、突然、ロボットが動くこともある。この場合にも、ロボットとＣＧとの間にずれが生じてしまう。
このような理由で、ずれが生じると、観察者（すなわち、ＨＭＤ装着者）の心情は白けてしまい、その結果、観察者がロボットに対して感情を移入することが妨げられてしまう。
一方、上記のようなロボットとＣＧとのずれは、各種センサ、ロボットおよびＨＭＤを高性能にして、画像処理の高精度化および画像処理の高速化を図ることによって、小さくできる。しかし、完全にずれを無くすことは不可能である。また、ずれを極めて小さくするために、ロボットに高性能のセンサおよびＣＰＵなどを搭載すると、コストの上昇を招き、経済面でも不利となる。
本発明は、上記のような課題を解決するためになされたものであり、低コストにてロボットに対する親近感を高めることができる画像処理システム、画像処理装置およびディスプレイ装置を提供することを目的とする。
発明の開示
上記目的を達成するため、本願の発明者は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを選択する画像選択用デバイスと、ＣＧの周縁に後光画像を生成する後光生成用デバイスと、ＣＧと後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、合成画像を、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスとを備える画像処理システムを構築した。このようなシステムを構築すると、実物体の形態に合致したＣＧを選択し、そして後光を生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く、実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。
また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを選択する画像選択用デバイスと、ＣＧの周縁に後光画像を生成する後光生成用デバイスと、ＣＧと後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、合成画像を観察者側に送信する合成画像送信用デバイスとを有する画像処理装置と、合成画像送信用デバイスから送信された合成画像を、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスを有するディスプレイ装置とを備える画像処理システムである。このようなシステムを構築すると、実物体の形態に合致したＣＧを選択し、そして後光を生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、画像処理装置においてそのずれを隠すための後光画像付きの合成画像を生成させ、その生成させた合成画像をＨＭＤに送信して、観察者の見るディスプレイ装置において、合成画像を投影させることができる。したがって、観察者は、違和感無く、実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。
また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを生成する画像生成用デバイスと、ＣＧの周縁に後光画像を生成する後光生成用デバイスと、ＣＧと後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、合成画像を、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスとを備える画像処理システムである。このようなシステムを構築すると、実物体の形態に合致したＣＧと後光とを生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く、実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。
また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを生成する画像生成用デバイスと、ＣＧの周縁に後光画像を生成する後光生成用デバイスと、ＣＧと後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、合成画像を観察者側に送信する合成画像送信用デバイスとを有する画像処理装置と、合成画像送信用デバイスから送信された合成画像を、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスを有するディスプレイ装置とを備える画像処理システムである。このようなシステムを構築すると、実物体の形態に合致したＣＧと後光とを生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、画像処理装置においてそのずれを隠すための後光画像付きの合成画像を生成させ、その生成させた合成画像をＨＭＤに送信して、観察者の見るディスプレイ装置において、合成画像を投影させることができる。したがって、観察者は、違和感無く、実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。
また、別の発明は、さらに、後光生成用デバイスによって、観察者と実物体との距離の測定における誤差を見積もり、その誤差に基づいて、実物体がＣＧの周縁にはみ出して見えることを防止するのに十分な厚みの後光画像を生成する画像処理システムである。このため、観察者と実体物との距離が正確に検知されない場合であっても、ＣＧは、十分に実物体を隠すことができる。したがって、観察者は、ごく自然に、ＣＧを楽しむことができる。
また、別の発明は、さらに、後光生成用デバイスによって、実物体または観察者が動いた際に、実物体とＣＧとの間に生じたずれを観察者に見せないのに十分な厚みの後光画像を生成する画像処理システムである。このため、ＣＧの生成が実体物または観察者の動きに追随できない場合であっても、ＣＧは、十分にその実物体を隠すことができる。したがって、観察者は、ごく自然に、ＣＧを楽しむことができる。
また、別の発明は、さらに、観察者が見るディスプレイと実物体との間の距離、角度および観察者から見た実物体の方向の内、少なくともいずれか１つを検知する検知デバイスを備える画像処理システムである。このため、実物体と観察者との動作の変化に対して高精度で追随するＣＧの生成が可能となる。
また、別の発明は、さらに、実物体を、自由に動くことが可能な人間型または人間以外の動物型のロボットとする画像処理システムである。このため、観察者にとって、ロボットがＣＧのキャラクタに見える。したがって、観察者は、あたかも本物のキャラクタがいるかのような仮想現実を味わうことが出来る。
また、別の発明は、さらに、ネットワークを介して、外部からＣＧを受信するための通信デバイスを備える画像処理システムである。このため、観察者は、自分の好みのＣＧを外部から簡単に入手できる。したがって、観察者は、１つの実物体を持つことによって、複数のキャラクタを味わうことができる。
また、別の発明は、さらに、観察者に、実物体よりも観察者側にある部分を持つ第２実物体を見せるための欠落領域を、ＣＧに有し、後光生成用デバイスによって、欠落領域の周縁にも後光画像を生成する画像処理システムである。このため、実物体に、第２実物体を接触させた状態で、実物体にＣＧを重ねても、観察者に、第２実物体の一部又は全部が見える。例えば、人間型ロボット（実物体）にチョコレート（第２実物体）を持たせた場合、観察者は、人間型ロボットよりも観察者側にあるチョコレートの一部を観察できる。したがって、チョコレートを持った人間型ロボットを観察する観察者は、アイドルタレントがチョコレートを持っている光景を認識できる。
また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを選択する画像選択用デバイスと、ＣＧの周縁に後光画像を生成する後光生成用デバイスと、ＣＧと後光画像とを合成した合成画像を生成する合成画像生成用デバイスとを備える画像処理装置である。これにより、その実物体の形態に合致したＣＧを選択し、そしてその後光を生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。さらに、合成画像を表示するディスプレイ装置と画像処理装置とを分けることにより、ディスプレイ装置側の負荷を減らすことができる。
また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを生成する画像生成用デバイスと、ＣＧの周縁に後光画像を生成する後光生成用デバイスと、ＣＧと後光画像とを合成した合成画像を生成する合成画像生成用デバイスとを備える画像処理装置である。これにより、その実物体の形態に合致したＣＧと後光とを生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。さらに、合成画像を表示するディスプレイ装置と画像処理装置とを分けることにより、ディスプレイ装置側の負荷を減らすことができる。
また、別の発明は、さらに、後光生成用デバイスによって、観察者と実物体との距離の測定における誤差を見積もり、その誤差に基づいて、実物体がＣＧの周縁にはみ出して見えることを防止するのに十分な厚みの後光画像を生成する画像処理装置である。このため、観察者と実体物との距離が正確に検知されない場合であっても、ＣＧは、十分に実物体を隠すことができる。したがって、観察者は、ごく自然に、ＣＧを楽しむことができる。
また、別の発明は、さらに、後光生成用デバイスによって、実物体または観察者が動いた際に、実物体とＣＧとの間に生じたずれを観察者に見せないのに十分な厚みの後光画像を生成する画像処理装置である。このため、ＣＧの生成が実体物または観察者の動きに追随できない場合であっても、ＣＧは、十分に実物体を隠すことができる。したがって、観察者は、ごく自然に、ＣＧを楽しむことができる。
また、別の発明は、さらに、観察者が見るディスプレイと実物体との間の距離、角度および観察者から見た実物体の方向の内、少なくともいずれか１つを検知する検知デバイスを備える画像処理装置である。このため、実物体と観察者との動作の変化に対して高精度で追随するＣＧの生成が可能となる。
また、別の発明は、さらに、ネットワークを介して、外部からＣＧを受信するための通信デバイスを備える画像処理装置である。このため、観察者は、自分の好みのＣＧを外部から簡単に入手できる。したがって、観察者は、１つの実物体を持つことによって、複数のキャラクタを味わうことができる。
また、別の発明は、さらに、観察者に、実物体よりも観察者側にある部分を持つ第２実物体を見せるための欠落領域を、ＣＧに有し、後光生成用デバイスによって、欠落領域の周縁にも後光画像を生成する画像処理装置である。このため、実物体に、第２実物体を接触させた状態で、実物体にＣＧを重ねても、観察者に、第２実物体の一部又は全部が見える。例えば、人間型ロボット（実物体）にチョコレート（第２実物体）を持たせた場合、観察者は、人間型ロボットよりも観察者側にあるチョコレートの一部を観察できる。したがって、チョコレートを持った人間型ロボットを観察する観察者は、アイドルタレントがチョコレートを持っている光景を認識できる。
また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを選択する手段と、ＣＧの周縁に後光画像を生成する手段と、ＣＧと後光画像とを合成する手段とを備える画像処理装置である。これにより、その実物体の形態に合致したＣＧを選択し、そしてその後光を生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。さらに、合成画像を表示するディスプレイ装置と画像処理装置とを分けることにより、ディスプレイ装置側の負荷を減らすことができる。ここでいう各手段は、電子回路基板に固定されるＣＰＵ等のデバイス、そのデバイスとそのデバイスの処理によって動作するプログラムを含む広義の意味を持つ。したがって、上記の各手段は、デバイスというハードウェアのみであっても、そのハードウェアとプログラムというソフトウェアとの組み合わせであっても良い。以下、逐一言及しないが、「手段」と記載されるものは、上記の広義の意味を持つものとする。
また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態のＣＧを生成する手段と、ＣＧの周縁に後光画像を生成する手段と、ＣＧと後光画像とを合成する手段とを備える画像処理装置である。これにより、その実物体の形態に合致したＣＧと後光とを生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。さらに、合成画像を表示するディスプレイ装置と画像処理装置とを分けることにより、ディスプレイ装置側の負荷を減らすことができる。
また、別の発明は、さらに、後光画像を生成する手段によって、観察者と実物体との距離の測定における誤差を見積もり、その誤差に基づいて、実物体がＣＧの周縁にはみ出して見えることを防止するのに十分な厚みの後光画像を生成する画像処理装置である。このため、観察者と実体物との距離が正確に検知されない場合であっても、ＣＧは、十分に実物体を隠すことができる。したがって、観察者は、ごく自然に、ＣＧを楽しむことができる。
また、別の発明は、さらに、後光画像を生成する手段によって、実物体または観察者が動いた際に、実物体とＣＧとの間に生じたずれを観察者に見せないのに十分な厚みの後光画像を生成する画像処理装置である。このため、ＣＧの生成が実体物または観察者の動きに追随できない場合であっても、ＣＧは、十分に実物体を隠すことができる。したがって、観察者は、ごく自然に、ＣＧを楽しむことができる。
また、別の発明は、さらに、観察者が見るディスプレイと実物体との間の距離、角度および観察者から見た実物体の方向の内、少なくともいずれか１つを検知する手段を備える画像処理装置である。このため、実物体と観察者との動作の変化に対して高精度で追随するＣＧの生成が可能となる。
また、別の発明は、さらに、ネットワークを介して、外部からＣＧを受信する手段を備える画像処理装置である。このため、観察者は、自分の好みのＣＧを外部から簡単に入手できる。したがって、観察者は、１つの実物体を持つことによって、複数のキャラクタを味わうことができる。
また、別の発明は、さらに、観察者に、実物体よりも観察者側にある部分を持つ第２実物体を見せるための欠落領域を、ＣＧに有し、後光画像を生成する手段によって、欠落領域の周縁にも後光画像を生成する画像処理装置である。このため、実物体に、第２実物体を接触させた状態で、実物体にＣＧを重ねても、観察者に、第２実物体の一部又は全部が見える。例えば、人間型ロボット（実物体）にチョコレート（第２実物体）を持たせた場合、観察者は、人間型ロボットよりも観察者側にあるチョコレートの一部を観察できる。したがって、チョコレートを持った人間型ロボットを観察する観察者は、アイドルタレントがチョコレートを持っている光景を認識できる。
また、別の発明は、実物体の形態および実物体を見る観察者と実物体との間の位置関係に合う形態のＣＧの周縁に生成させた後光画像と、ＣＧとを合成した合成画像とを、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスを備えるディスプレイ装置である。これによって、その実物体の形態に合致したＣＧを選択し、そしてその後光を生成することができる。この結果、実物体の動きとＣＧとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く実物体に接することができ、かつ低コストにて、ロボットに対する親近感を持つことができる。さらに、合成画像を表示するディスプレイ装置と、合成画像を生成する画像処理装置とを分けることにより、ディスプレイ装置側の負荷を減らすことができる。
また、別の発明は、観察者に、実物体よりも観察者側にある部分を持つ第２実物体を見せるための欠落領域を、ＣＧに有し、後光画像をその欠落領域の周縁にも存在させるディスプレイ装置である。このため、実物体に、第２実物体を接触させた状態で、実物体にＣＧを重ねても、観察者に、第２実物体の一部又は全部が見える。例えば、人間型ロボット（実物体）にチョコレート（第２実物体）を持たせた場合、観察者は、人間型ロボットよりも観察者側にあるチョコレートの一部を観察できる。したがって、チョコレートを持った人間型ロボットを観察する観察者は、アイドルタレントがチョコレートを持っている光景を認識できる。
発明を実施するための最良の形態
以下、本発明の最良の実施の形態につき、図面に基づき説明する。なお、以後、実物体を、人間型ロボットに代表されるロボットとして説明するが、マネキン等の動かないものとしても良い。加えて、以下説明する各デバイスに代えて、同各デバイスとプログラムとの共同によって、同各デバイスと同様の処理を実行可能としても良い。
（第１の実施の形態）
図１は、本発明の画像処理システムの構成を示すブロック図である。図１に示すように、本発明の画像処理システムは、画像処理装置となる人間型ロボット１とディスプレイ装置となるＨＭＤ２とから構成されている。図２は、人間型ロボット１の外観を示す図である。人間型ロボット１は、２足歩行で動くことができ、また、手、首、足などの各関節が動くように構成されている。
図１に示すように、人間型ロボット１は、検知デバイスの一形態であるセンサ１１ａ，１１ｂ，１１ｃと、通信部１２と、画像生成用デバイスの一形態である相対位置姿勢計算部１３と、関節アクチュエータ１４と、画像生成用デバイス、後光生成用デバイスおよび合成画像生成用デバイスの一形態である画像処理部１５と、記憶部１６と、通信デバイスの一形態である通信部１７とを備えている。また、ＨＭＤ２は、検知デバイスの一形態であるセンサ２１ａ、２１ｂと、通信部２２，２３と、画像表示処理用デバイスの一形態である立体画像表示部２４と、制御部２５とを備えている。
センサ１１ａは、人間型ロボット１の表面に加えられた接触圧を検知するセンサである。センサ１１ｂは、人間型ロボット１の姿勢を測定するために、各関節の角度を検知するセンサである。センサ１１ｃは、ＨＭＤ２の位置、すなわち、ＨＭＤ２を装着している観察者と人間型ロボット１との相対距離を測定して検出するセンサである。各センサ１１ａ，１１ｂ，１１ｃのデータ（体表接触圧データ、関節角度データおよび相対距離情報）は、通信部１２に送られる。
通信部１２は、各センサ１１ａ，１１ｂ，１１ｃから送られた各データを受信するとともに、ＨＭＤ２からデータを受信する。ＨＭＤ２から送信されたデータは、ＨＭＤ２にあるセンサ２１ｂが測定した人の頭部の姿勢データ（頭部姿勢データ）である。通信部１２は、これら全てのセンサ１１ａ，１１ｂ，１１ｃからのデータを相対位置姿勢計算部１３に送る構成部である。なお、この実施の形態において、人間型ロボット１とＨＭＤ２との間のデータ通信は、アンテナ（図示せず）を介して無線で行われることを想定しているが、これに限るものではなく、ケーブルを介して有線で行われるものであっても良い。
相対位置姿勢計算部１３は、通信部１２から送られたデータの内、センサ１１ａ，１１ｂでそれぞれ検知されたデータに基づいて、人間型ロボット１が所定の姿勢となるような各関節の目標角度のデータを計算する構成部である。また、相対位置姿勢計算部１３は、通信部１２から送られた全てのデータ（体表接触圧データ、関節角度データ、相対距離情報および頭部姿勢データ）に基づいて、人間型ロボット１の姿勢および人間型ロボット１とＨＭＤ２との相対位置関係を求め、それらの情報から、ＨＭＤ２を装着した観察者がロボット１を見た場合における視界に映る人間型ロボット１の形状である相対位置姿勢データを計算する構成部であり、ＣＧ生成のためのデータを画像処理部１５に送る。
関節アクチュエータ１４は、相対位置姿勢計算部１３で計算された目標関節角度データに基づいて、各関節の角度を変化させる駆動機構である。画像処理部１５は、画像生成用デバイスの一形態である画像生成部１５ａと、後光生成用デバイスの一形態である後光生成部１５ｂと、合成画像生成用デバイスの一形態である合成画像生成部１５ｃとからなる。画像処理部１５は、相対位置姿勢計算部１３で計算された相対位置姿勢データに基づいて、記憶部１６に保存されている人物ＣＧのデータを読み出し、その人物ＣＧのデータに対して画像生成、輪郭抽出、後光生成および画像合成の各処理を施して、合成画像（＝処理済ＣＧデータ）を生成する。ここで、輪郭抽出は、画像生成部１５ａで行われる。画像処理部１５は、中央演算処理ユニット（ＣＰＵ）、画像処理プロセッサ、メモリとで構成されるのが一般的であるが、これ以外のハード構成でも良い。なお、画像処理部１５の詳細な処理動作については、後述する。
記憶部１６は、人物ＣＧのデータを格納する記憶媒体である。人物ＣＧのデータは、例えば、ドライブ（図示せず）によってＣＤ−ＲＯＭなどのメディアから読み込むことより記憶部１６に格納される。ここで、人物ＣＧのデータとしては、例えば、芸能人など著名人のＣＧデータなどが考えられる。通信部１７は、画像処理部１５で処理した処理済ＣＧデータを受け取ると、その処理済ＣＧデータをＨＭＤ２に対して送信する構成部である。
ＨＭＤ２は、図３に示すように、ゴーグルタイプのディスプレイであって、観察者の頭部に装着される装置である。ＨＭＤ２は、透過型のヘッドマウントディスプレイであって、観察者の目前の映像投影部のうち映像が映されていない部分は光を透過する。したがって、観察者は、ＨＭＤ２の映像投影部のうちの映像が映されていない部分から、人間型ロボット１を一例とする実物体（実存している物体であって、ＣＧの立体映像とは反対の意である）を見ることができる。
図１に示すように、ＨＭＤ２の内部にあるセンサ２１ａは、人間型ロボット１の位置、すなわちＨＭＤ２を装着している観察者と人間型ロボット１との相対距離を測定して検出するセンサである。また、センサ２１ｂは、ＨＭＤ２を装着している観察者の頭部の姿勢（顔の向いている方向や傾きなど）を検知するセンサである。
通信部２２は、センサ２１ｂで検知された頭部姿勢データを人間型ロボット１に対して送信する構成部である。また、通信部２３は、人間型ロボット１から送信された処理済ＣＧデータを受信する構成部である。
立体画像表示部２４は、通信部２３で受信された処理済ＣＧデータを表示する構成部である。制御部２５は、ＨＭＤ２の各部の動作を制御する構成部である。
次に、人間型ロボット１の画像処理について、図４から図８に基づいて説明する。
人間型ロボット１は、電源がオンの状態においては、常に、センサ１１ａおよびセンサ１１ｂがそれぞれ体表接触圧データおよび関節角度データを検知している。そして、センサ１１ａおよびセンサ１１ｂで検知された体表接触圧データおよび関節角度データは、通信部１２を介して相対位置姿勢計算部１３に送られる。相対位置姿勢計算部１３は、体表接触圧データおよび関節角度データに基づいて、人間型ロボット１が所定の姿勢になるように目標関節角度データを計算する。そして、関節アクチュエータ１４は、目標関節角度データを受け取って、人間型ロボット１の各関節を目標関節角度に調整する。これにより、人間型ロボット１は、様々な姿勢に変化させて動き回ることが可能となる。
センサ１１ｃが、ＨＭＤ２を検出すると、人物ＣＧのデータに画像処理を施してＨＭＤ２に送信するモードに移行する。センサ１１ｃは、ＨＭＤ２との間の相対距離を測定し、通信部１２を介して、その相対距離の情報を相対位置姿勢計算部１３に送る。また、通信部１２は、ＨＭＤ２の通信部２２から送信された頭部姿勢データを受信し、その頭部姿勢データを相対位置姿勢計算部１３に送る。
相対位置姿勢計算部１３は、全てのセンサデータ、すなわち、体表接触圧データ、関節角度データ、相対位置情報、頭部姿勢データに基づいて、相対位置姿勢データを計算し、その相対位置姿勢データを画像処理部１５に送る。画像処理部１５は、相対位置姿勢データに基づいて、以下のように人物ＣＧのデータに画像処理を施す。
図４は、画像処理部１５の画像処理動作の流れを簡単に説明するためのフローチャートである。画像処理部１５は、相対位置姿勢データを受け取ると、まず、記憶部１６に格納されている人物ＣＧのデータを読み出して、その人物ＣＧデータと相対位置姿勢データに合ったＣＧに変換する（ステップＳ１）。
ここで、ＣＧは、コンピュータで描かれたあらゆるポーズの絵という意味ではなく、関節位置や表面形状の３次元情報を備えた、いわゆる３ＤＣＧであり、コンピュータで描かれた３次元のフィギュアである。画像処理部１５は、このＣＧの関節を自由に動かしたり、視点を変化させたりすることができる。具体的には、画像処理部１５は、空間座標を設定し、相対位置姿勢データに基づいて、人間型ロボット１の各関節位置に軌道を与えて動かすことによって、人間型ロボット１の姿勢に合ったＣＧを生成する。このような画像処理部１５により画像生成処理をしたＣＧ４０の例を、図５に示す。
なお、３ＤＣＧとは、フォトグラフィのような左目と右目に見える像のずれによって脳の錯覚を利用して、目の前にある像（絵）が立体的に浮かんでいるように見える、いわゆる立体視映像とは異なるものであるが、さらに立体視のための処理を３ＤＣＧに対して行っても良い。
次に、画像処理部１５は、画像生成されたＣＧ４０の輪郭を抽出する（ステップＳ２）。このような画像処理部１５による輪郭４１の抽出処理の結果を、図６に示す。次に、画像処理部１５は、抽出したＣＧ４０の輪郭４１の周縁に後光４２を生成する（ステップＳ３）。この後光４２は、人間型ロボット１とＣＧ４０とのずれを隠すための光である。このような画像処理部１５による後光４２の生成処理の結果を、図７に示す。
ここで、後光４２は、その目的から、人間型ロボット１の動きとＣＧ４０とのずれが十分隠れる程度の幅ｔを持たせる必要がある。したがって、後光の幅ｔは、人間型ロボット１の各関節などが最大速度で動いているときに生じるずれをカバーできる厚みが必要である。
次に、画像処理部１５は、生成したＣＧ４０と後光４２の画像とを合成する（ステップＳ４）。このような画像処理部１５により合成された合成画像の例を、図８に示す。図８に示すように、ＣＧ４０の周縁に後光４２を付けることにより、人間型ロボット１とＣＧ４０との微妙なずれを隠すことができるとともに、ＣＧ４０の周縁に後光４２があっても、観察者にとって違和感を感じさせることもない。
画像処理部１５は、図１に示すように、ＣＧ４０に後光４２を合成した処理済ＣＧデータを通信部１７を介してＨＭＤ２に送信する。ＨＭＤ２では、通信部２３が人間型ロボット１の通信部１７から送信された処理済ＣＧデータを受信すると、その処理済ＣＧデータを立体画像表示部２４に送る。立体画像表示部２４は、処理済ＣＧデータを人間型ロボット１の動きと重なるように、図示されない映像投影部に表示させる。ＨＭＤ２を装着している観察者は、人間型ロボット１に重ねて、ＨＭＤ２で後光４２のあるＣＧ４０を見ることができる。これにより、観察者は、人間型ロボット１とＣＧ４０とのずれを感じなくなる。
なお、ＨＭＤ２で人物ＣＧのデータを人間型ロボット１に重ね合わせて表示しているときに、ＨＭＤ２を装着している観察者（利用者）が人間型ロボット１に触った場合には、人間型ロボット１のセンサ１１ａがそれを感知する。この結果、画像処理部１５は、人物ＣＧのデータの画像処理を施して、その人物画像の表情を変化させるように構成しても良い。また、観察者が触った場所や強さなどに応じて人物の表情をプログラムで予め定められた通りに、怒ったり、笑ったりするように構成しても良い。
以上のように、この実施の形態によれば、人間型ロボット１の画像処理部１５によって、ＣＧ４０の周縁に後光４２を施すようにしているので、ロボットの動きとＣＧ４０との間にずれが生じた場合でも、そのずれを隠すことができ、観察者はそのずれを認識することがなくなり、その結果、人間型ロボット１に対して感情移入を容易に行うことが可能となる。また、実際に、観察者が人間型ロボット１に触れることができ、より一層、そのＣＧの人物と触れ合っているような感覚を味わうことができることになる。
なお、本発明における画像処理装置は、玩具的な用途以外にも、様々な用途に利用することが期待できる。具体的には、まず、利用者が好きな芸能人の人物ＣＧのデータを再生することにより、その芸能人と仮想的に触れ合うことができる立体ポスターとして楽しむことができる。さらに、人間型ロボット１に対話装置を搭載することにより、非常に効果的な広告媒体ともなり得る。
また、利用者が人間型ロボット１と一緒に散歩やスポーツなどを楽しむことも考えられる。また、生前に自分の人物ＣＧのデータを遺しておくことにより、自分の死後に家族の悲しみを和らげることもできるものと考えられる。さらに、病人や老人の介護や福祉目的などにも利用されることも期待できる。
また、本実施の形態では、人間型ロボット１側に相対位置姿勢計算部１３および画像処理部１５を設けていたが、これに限るものではない。ＨＭＤ２側に相対位置姿勢計算部１３および画像処理部１５を設けるようにしても良い。この場合、人間型ロボット１の通信部１２から体表接触圧データおよび関節角度データがＨＭＤ２に送信され、ＨＭＤ２側でそれらのデータに基づいて相対位置姿勢データを計算し、その相対位置姿勢データに基づいて人物ＣＧのデータの画像処理を施すことになる。
次に、最適な後光４２の設定方法について、図面に基づいて説明する。人間型ロボット１とＨＭＤ２との間の相対位置の測定には、誤差がある。この測定誤差に起因して、ＣＧ４０の周縁から人間型ロボット１がはみ出して見える可能性がある。かかる事態を防止するため、ＣＧ４０に施す後光４２の厚みを、最適化するようにしている。すなわち、後光４２の厚さを大きくするほど、人間型ロボット１が見えるリスクは低くなる一方で、ＣＧ４０の見え方は、より不自然になる。したがって、上記ずれを隠すに充分で、かつ最低の厚みの後光４２を表示させるのが好ましい。以下、奥行き方向と上下左右方向に分けて、最適な後光４２の厚さを計算する方法を説明する。
まず、奥行き方向の測定誤差に基づいて後光４２の厚さを計算する方法について説明する。
図９は、人間の視覚のピンホールカメラモデルである。原点０はレンズ中心に相当し、原点０から目標点である物体５０までの真の距離がｌ（エル）のとき、センサの測定値は誤差も含めてｌ（１±α）に収まるものとする。距離ｌに存在する、幅ｗの物体５０が視野に占める視野角２θｒｅａｌとする。この場合、ＨＭＤ２の表示部には視野角２θｒｅａｌに相当する幅のＣＧ５１を映し出すことにより、物体５０をＣＧ５１で隠すことが可能である。なお、人間の網膜には、視野角２θｒｅａｌに相当する幅のＣＧ５２が写っている。
これに対し、図１０に示すように、原点０から目標点である物体５０までの距離がｌ（１＋α）であると判定された場合、ＨＭＤ２の表示部には、距離ｌ（１＋α）に存在する幅ｗの物体５３が占める視野角２θｍｉｓに相当する幅でＣＧ５４が表示される。すると、θｒｅａｌ＞θｍｉｓであるため、ＨＭＤ２に表示されたＣＧ５１から物体５０がはみ出して見える。このときのはみ出し幅は、以下の数式１および数式２を用いて計算できる。
次に、上下左右方向の誤差に基づいて後光４２の厚さを計算する方法について説明する。なお、簡便化のため、三辺測量方式に用いる３点のうち、２点を取り出して説明する。
図１１に示すように、点Ｓ１、Ｓ２から目標点までの距離をそれぞれ、ｌ１、ｌ２で表す。また、点Ｓ１Ｓ２間の距離はｌ１２である。今、目標点がＳ１Ｓ２間の中点を通る垂直線上にあって、ｌ１＝ｌ２とする。それぞれの測定誤差の割合をβとすると、物体の位置の左右誤差が最も大きくなるのは、図１２に示すように、目標点が点Ｓ１からｌ１（１−β）、点Ｓ２からｌ２（１＋β）の距離にあるとされた場合である。この場合の左右誤差ｘは、三平方の定理より、数式５のように計算できる。
つまり、後光４２の厚みが約１０ｃｍあれば、測定誤差によるはみ出しを覆うことができる。また、この誤差は距離の二乗に比例しており、ロボットが半分の距離にあれば、後光の厚さは１／４の２．５ｃｍで良い。
以上の奥行方向の測定誤差を補償する後光４２の厚さと、上下左右方向の測定誤差を補償する後光４２の厚さの和が、必要な後光４２の厚さである。
次に、人間型ロボット１の動作に対して、ＣＧ４０の処理が遅れる場合に、その遅れを補償するのに必要な後光４２の厚さｔを計算する方法について説明する。
今、人間型ロボット１が動いた瞬間から、当該動いた人間型ロボット１を基準としてＣＧ４０をＨＭＤ２に表示するまでの時間（＝遅れ）をＴ（ｓｅｃ）とする。また、人間型ロボット１の動作速度をＶ（ｍ／ｓｅｃ）とする。すると、図１３に示すように、時間Ｔの間に人間型ロボット１が次の状態（時間Ｔ後の人間型ロボット）１ａに移動する距離Ｘ（ｍ）は、ＶＴ（ｍ）となる。
したがって、後光４２の厚さｔ（ｍ）をＶＴ（ｍ）に設定すると、人間型ロボット１の動作にＣＧ４０の表示処理が追いつかなくても、後光４２の厚みｔから外に、時間Ｔ後の人間型ロボット１ａが見えることはない。
例えば、ＣＧ４０の処理の遅れＴを０．１ｓｅｃ、人が不安に感じないロボットの速度であって最も速い手先の動作速度Ｖを０．６ｍ／ｓｅｃとする。すると、遅れを補償する後光の厚さｔは、０．１ｓｅｃで移動した人間型ロボットの距離Ｘ（＝ＴＶ）である６ｃｍとなる。
（第２の実施の形態）
第１の実施の形態では、メディアを通じて人物ＣＧのデータを記憶部１６に保存していたが、本実施の形態では、ダウンロード装置３から配信される人物ＣＧのデータをインターネットなどのネットワークを通じて受信し、その受信した人物ＣＧのデータを記憶部１６に保存する。
図１４は、本発明の画像処理システムの構成を示すブロック図である。図１４において、ダウンロード装置３は、インターネットなどのネットワーク（図示せず）上にホームページを提供し、そのホームページにアクセスしてきた画像処理装置の利用者に対して、その利用者が希望するＣＧ４０のデータをネットワークを通じて配信（ダウンロード）するサーバである。
このダウンロード装置３の内部には、図１４に示すように、通信デバイスの一形態である通信部３１、記憶部３２および制御部３３を備えている。通信部３１は、図示されないネットワークを介してデータ通信を行う構成部である。記憶部３２は、例えば、複数の著名な人物とそっくりなＣＧ４０のデータを保存する構成部である。制御部３３は、ダウンロード装置３の各部の動作を制御するとともに、ＣＧ４０のデータの配信や配信履歴の管理などを行う構成部である。
人間型ロボット１の通信部１７は、ネットワークに接続可能である。したがって、利用者は、人間型ロボット１の通信部１７を介してネットワーク上に提供されているホームページにアクセスできる。
なお、その他の構成については、図１に示した構成と同様であるため、同一構成については同一符号を付すことにより、重複する説明を省略する。
次に、本発明の画像処理システムの動作について、図１５に基づいて説明する。
図１５は、本発明の画像処理システムの動作の流れを説明するためのフローチャートである。画像処理装置の利用者は、ＣＧ４０のデータの配信を希望する場合には、まず、ダウンロード装置３がネットワーク上に提供しているホームページにアクセスする（ステップＳ１１）。次に、利用者は、そのホームページ上のアイコンをクリックするなどして、希望する人物ＣＧのデータを選択する（ステップＳ１２）。
ダウンロード装置３の制御部３３は、ホームページにアクセスしてきた利用者によって人物ＣＧのデータが選択されると、その選択された人物ＣＧのデータを通信部３１からネットワークを通じて人間型ロボット１に対して配信する（ステップＳ１３）。
人間型ロボット１では、通信部１７がダウンロード装置３から配信された人物ＣＧデータを受信すると（ステップＳ１４）、その受信した人物ＣＧのデータを記憶部１６に格納して保存する（ステップＳ１５）。
以上のように、本実施の形態によれば、ダウンロード装置３がネットワークを通じて人物ＣＧのデータを配信するように構成されているので、利用者が様々な人物ＣＧのデータを簡易かつ確実に取得することができる。その結果、画像処理装置の利用性を一層向上させることができる。
（第３の実施の形態）
次に、画像処理をＨＭＤ２で行うようにした画像処理システムについて説明する。
図１６に示すように、人間型ロボット１は、センサ１１ａ，１１ｂ，１１ｃと、通信部１２と、相対位置姿勢計算部１３と、関節アクチュエータ１４と、通信部１７とを備えている。また、ＨＭＤ２は、画像処理部１５と、記憶部１６と、センサ２１ａ、２１ｂと、通信部２２，２３と、立体画像表示部２４と、制御部２５とを備えている。人間型ロボット１およびＨＭＤ２の両構成部の機能は、第１の実施の形態で説明した機能と同様の機能である。
人間型ロボット１は、各センサ１１ａ，１１ｂ，１１ｃ，２１ｂからのデータに基づいて、人間型ロボット１の体勢および観察者との位置関係を計算し、その計算結果をＨＭＤ２に送信する。ＨＭＤ２は、人間型ロボット１から送信されてきた計算結果に基づいて、記憶部１６からＣＧ４０を選出し、その選出したＣＧ４０を表示部に立体画像表示部２４に表示する。
このように、ＨＭＤ２に画像処理の機能を持たせることにより、人間型ロボット１のコスト低減、ロボット本来の機能の充実を図ることができる。
（第４の実施の形態）
次に、人間型ロボット１に第２実物体の一例としてのチョコレートを持たせて、ＣＧ越しにその人間型ロボット１を観察する場合における画像処理システムについて説明する。画像処理システムの第４の実施の形態は、第１の実施の形態または第３の実施の形態にて説明した人間型ロボット１とＨＭＤ２とそれぞれ同じ装置、あるいは第２の実施の形態にて説明した人間型ロボット１とＨＭＤ２とダウンロード装置３とそれぞれ同じ装置を備えている。ここでは、画像処理システムが第１の実施の形態または第３の実施の形態にて説明した人間型ロボット１とＨＭＤ２を有している例を説明する。
第４の実施の形態とそれ以前の実施の形態との違いの一つは、観察者が人間型ロボット１に重ねられるＣＧ越しに第２実物体を観察できるように、穴あるいは凹部に代表される欠落領域を有していることである。また、第４の実施の形態とそれ以前の実施の形態との違いのもう一つは、上記ＣＧにおける上記欠落領域の周縁にも、後光が生成されていることである。
図１７は、人間型ロボット１に、チョコレート６０を持たせた状態を示す図である。また、図１８は、図１７に示す人間型ロボット１と観察者との間に配置されるＣＧ４０を示す図である。ＣＧ４０は、既に説明した実施の形態と同様の後光４２を有すると共に、チョコレート６０の位置に合わせて設けられた欠落領域（ここでは、穴）６１の周囲にも後光４２ａを有している。したがって、観察者が、ＨＭＤ２に映るＣＧ４０越しに人間型ロボット１を見ると、図１９に示すように、一部にあけられた穴６１からチョコレート６０が見えるＣＧ４０を認識することができる。
人間型ロボット１がチョコレート６０を食べる動作を行うと、人間型ロボット１からＨＭＤ２に、人間型ロボット１とＨＭＤ２との距離、チョコレート６０を持つ手の位置等のデータが送られる。ＨＭＤ２は、そのデータに基づいて、口元にチョコレート用の穴６１があいたＣＧ４０を選択して、これを写す。人間型ロボット１の動作に合わせて、各動作に合致したＣＧ４０は、選択され、そして映し出される。このため、観察者は、人間型ロボット１ではなく、アイドルのＣＧ４０がチョコレート６０を食べている動画を見ることができる。後光４２および後光４２ａは、人間型ロボット１およびチョコレート６０と、ＣＧ４０とのずれによって、人間型ロボット１が観察者に見えてしまうことがないように、ＣＧ４０の周縁および穴６１の周縁に、それぞれ設けられている。
また、この画像処理システムに、第２の実施の形態で説明したダウンロード装置３を設けることにより、以下の処理を行うこともできる。人間型ロボット１にバーコードが割り当てられていて、パソコンに接続されるバーコードリーダにて当該バーコードを読みとると、当該バーコードのデータは、パソコンとインターネット等の通信回線を介して接続されるダウンロード装置３に送られる。ダウンロード装置３は、当該バーコードに基づいてＣＧ４０を選択して、これをＨＭＤ２に送信する。ＨＭＤ２を装着した観察者は、ＣＧ４０を介して人間型ロボット１を観察するので、チョコレート６０を持ったアイドル形態のＣＧ４０を認識できる。
また、第１の実施の形態から第４の実施の形態では、人物ＣＧのデータを適用した画像処理装置および画像処理システムについて説明したが、これに限られるものではない。例えば、人間以外の動物（犬など）のＣＧであってもよい。この場合、人間型ロボット１の代わりに動物型ロボット（犬型ロボットなど）を用いると良い。
また、第２の実施の形態では、ダウンロード装置３から配信される人物ＣＧデータを人間型ロボット１で受信するように構成されていたが、ＨＭＤ２側に相対位置姿勢計算部１３および画像処理部１５を備え、ＨＭＤ２側で受信するようにしても良い。
また、利用者が、自身のパソコンでダウンロード装置３のホームページにアクセスし、そのパソコンで人物ＣＧのデータをダウンロードし、そのダウンロードした人物ＣＧのデータをメディアに移して、メディアを介してＨＭＤ２の記憶部１６に保存するようにしても良い。
なお、画像生成用デバイスに代えて、あるいは画像生成用デバイスに加えて、画像選択用デバイスを採用しても良い。すなわち、人間型ロボット１とＨＭＤ２との間の距離等のデータに基づいて、ＣＧを生成するのではなく、予め多くのＣＧをメモリ内に用意しておき、上記データに基づいて、そのメモリ内から適切なＣＧを選択するようにしても良い。
また、後光生成用デバイスに代えて、あるいは後光生成用デバイスに加えて、後光を選択するデバイスを採用しても良い。これによって、本発明の画像処理システム、画像処理装置またはディスプレイ装置は、上記データに基づいて、逐一、後光を生成することなく、単に、適切な後光を選択する処理を行うだけで良い。
また、後光は、不透明な層であっても、わずかに後ろが透ける程度の半透明な層であっても良い。
産業上の利用可能性
本発明は、ロボットとＣＧを組み合わせたコマーシャルの製作、配信に利用可能である。
【図面の簡単な説明】
図１は、本発明の画像処理システムの構成を示すブロック図である。
図２は、本発明の画像処理装置となる人間型ロボットの外観を示す図である。
図３は、本発明のディスプレイ装置となるヘッドマウントディスプレイの外観を示す図である。
図４は、図２の画像処理装置における画像処理の動作の流れを説明するためのフローチャートである。
図５は、図２の画像処理装置により生成したＣＧの一例を示す図である。
図６は、図２の画像処理装置により抽出したＣＧの輪郭を示す図である。
図７は、図２の画像処理装置において生成した後光の一例を示す図である。
図８は、図２の画像処理装置において、ＣＧと後光とを合成した合成画像の一例を示す図である。
図９は、人間の視覚のピンホールカメラモデルである。
図１０は、実物体の奥行方向の測定誤差がある場合の、実物体とＣＧとのずれを示す図である。
図１１は、両眼から正面の実物体を見る状態を模式的に示す図である。
図１２は、図１１の状態において、左右方向の測定誤差がある場合の、実物体とＣＧとのずれを示す図である。
図１３は、時間Ｔの間に人間型ロボットが次の状態（時間Ｔ後の人間型ロボット）に移動した際に、画像処理の遅れを補償する後光の厚さを示す図である。
図１４は、本発明の画像処理システムの第２の実施の形態を示すブロック図である。
図１５は、図１４の画像処理システムにおいて、ダウンロード装置からＣＧをダウンロードし、記憶する処理動作を説明するためのフローチャートである。
図１６は、本発明の画像処理システムの第３の実施の形態を示すブロック図である。
図１７は、人間型ロボットに、チョコレートを持たせた状態を示す図である。
図１８は、図１７に示す人間型ロボットと観察者との間に配置されるＣＧを示す図である。
図１９は、図１７に示す人間型ロボットを、図１８に示すＣＧ越しに観察した光景を示す図である。
Claims (26)
- 実物体の形態および上記実物体を見る観察者と上記実物体との位置関係に合う形態のＣＧを選択する画像選択用デバイスと、
上記ＣＧの周縁に後光画像を生成する後光生成用デバイスと、
上記ＣＧと上記後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、
上記合成画像を、上記実物体に重なるように上記観察者が見るディスプレイに表示させる画像表示処理用デバイスと、
を備えることを特徴とする画像処理システム。 - 実物体の形態および上記実物体を見る観察者と上記実物体との位置関係に合う形態のＣＧを選択する画像選択用デバイスと、上記ＣＧの周縁に後光画像を生成する後光生成用デバイスと、上記ＣＧと上記後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、上記合成画像を上記観察者側に送信する合成画像送信用デバイスとを有する画像処理装置と、
上記合成画像送信用デバイスから送信された上記合成画像を、上記実物体に重なるように、上記観察者が見るディスプレイに表示させる画像表示処理用デバイスを有するディスプレイ装置と、
を備えることを特徴とする画像処理システム。 - 実物体の形態および上記実物体を見る観察者と上記実物体との位置関係に合う形態のＣＧを生成する画像生成用デバイスと、
上記ＣＧの周縁に後光画像を生成する後光生成用デバイスと、
上記ＣＧと上記後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、
上記合成画像を、上記実物体に重なるように上記観察者が見るディスプレイに表示させる画像表示処理用デバイスと、
を備えることを特徴とする画像処理システム。 - 実物体の形態および上記実物体を見る観察者と上記実物体との位置関係に合う形態のＣＧを生成する画像生成用デバイスと、上記ＣＧの周縁に後光画像を生成する後光生成用デバイスと、上記ＣＧと上記後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、上記合成画像を上記観察者側に送信する合成画像送信用デバイスとを有する画像処理装置と、
上記合成画像送信用デバイスから送信された上記合成画像を、上記実物体に重なるように、上記観察者が見るディスプレイに表示させる画像表示処理用デバイスを有するディスプレイ装置と、
を備えることを特徴とする画像処理システム。 - 前記後光生成用デバイスは、前記観察者と前記実物体との距離の測定における誤差を見積もり、その誤差に基づいて、前記実物体が前記ＣＧの周縁にはみ出して見えることを防止するのに十分な厚みの前記後光画像を生成することを特徴とする請求項１から４のいずれか１項記載の画像処理システム。
- 前記後光生成用デバイスは、前記実物体または前記観察者が動いた際に、前記実物体と前記ＣＧとの間に生じたずれを前記観察者に見せないのに十分な厚みの前記後光画像を生成することを特徴とする請求項１から４のいずれか１項記載の画像処理システム。
- 前記観察者が見るディスプレイと前記実物体との間の距離、角度および前記観察者から見た前記実物体の方向の内、少なくともいずれか１つを検知する検知デバイスを備えることを特徴とする請求項１から４のいずれか１項記載の画像処理システム。
- 前記実物体は、自由に動くことが可能な人間型または人間以外の動物型のロボットであることを特徴とする請求項１から４のいずれか１項記載の画像処理システム。
- ネットワークを介して、外部から前記ＣＧを受信するための通信デバイスを、さらに備えることを特徴とする請求項１から４のいずれか１項記載の画像処理システム。
- 前記ＣＧは、前記観察者に、前記実物体よりも前記観察者側にある部分を持つ第２実物体を見せるための欠落領域を有し、
前記後光生成用デバイスは、その欠落領域の周縁にも後光画像を生成することを特徴とする請求項１から４のいずれか１項記載の画像処理システム。 - 実物体の形態および上記実物体を見る観察者と上記実物体との位置関係に合う形態のＣＧを選択する画像選択用デバイスと、
上記ＣＧの周縁に後光画像を生成する後光生成用デバイスと、
上記ＣＧと上記後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、
を備えることを特徴とする画像処理装置。 - 実物体の形態および上記実物体を見る観察者と上記実物体との位置関係に合う形態のＣＧを生成する画像生成用デバイスと、
上記ＣＧの周縁に後光画像を生成する後光生成用デバイスと、
上記ＣＧと上記後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、
を備えることを特徴とする画像処理装置。 - 前記後光生成用デバイスは、前記観察者と前記実物体との距離の測定における誤差を見積もり、その誤差に基づいて、前記実物体が前記ＣＧの周縁にはみ出して見えることを防止するのに十分な厚みの前記後光画像を生成することを特徴とする請求項１１または１２記載の画像処理装置。
- 前記後光生成用デバイスは、前記実物体または前記観察者が動いた際に、前記実物体と前記ＣＧとの間に生じたずれを前記観察者に見せないのに十分な厚みの前記後光画像を生成することを特徴とする請求項１１または１２記載の画像処理装置。
- 前記観察者が見るディスプレイと前記実物体との間の距離、角度および前記観察者から見た前記実物体の方向の内、少なくともいずれか１つを検知する検知デバイスを備えることを特徴とする請求項１１または１２記載の画像処理装置。
- ネットワークを介して、外部から前記ＣＧを受信するための通信デバイスを、さらに備えることを特徴とする請求項１１または１２記載の画像処理装置。
- 前記ＣＧは、前記観察者に、前記実物体よりも前記観察者側にある部分を持つ第２実物体を見せるための欠落領域を有し、
前記後光生成用デバイスは、その欠落領域の周縁にも後光画像を生成することを特徴とする請求項１１または１２記載の画像処理装置。 - 実物体の形態および上記実物体を見る観察者と上記実物体との位置関係に合う形態のＣＧを選択する手段と、
上記ＣＧの周縁に後光画像を生成する手段と、
上記ＣＧと上記後光画像とを合成する手段と、
を備えることを特徴とする画像処理装置。 - 実物体の形態および上記実物体を見る観察者と上記実物体との位置関係に合う形態のＣＧを生成する手段と、
上記ＣＧの周縁に後光画像を生成する手段と、
上記ＣＧと上記後光画像とを合成する手段と、
を備えることを特徴とする画像処理装置。 - 前記後光画像を生成する手段は、前記観察者と前記実物体との距離の測定における誤差を見積もり、その誤差に基づいて、前記実物体が前記ＣＧの周縁にはみ出して見えることを防止するのに十分な厚みの前記後光画像を生成することを特徴とする請求項１８または１９記載の画像処理装置。
- 前記後光画像を生成する手段は、前記実物体または前記観察者が動いた際に、前記実物体と前記ＣＧとの間に生じたずれを前記観察者に見せないのに十分な厚みの前記後光画像を生成することを特徴とする請求項１８または１９記載の画像処理装置。
- 前記観察者が見るディスプレイと前記実物体との間の距離、角度および前記観察者から見た前記実物体の方向の内、少なくともいずれか１つを検知する手段を備えることを特徴とする請求項１８または１９記載の画像処理装置。
- ネットワークを介して、外部から前記ＣＧを受信する手段を、さらに備えることを特徴とする請求項１８または１９記載の画像処理装置。
- 前記ＣＧは、前記観察者に、前記実物体よりも前記観察者側にある部分を持つ第２実物体を見せるための欠落領域を有し、
前記後光画像を生成する手段は、その欠落領域の周縁にも後光画像を生成することを特徴とする請求項１８または１９記載の画像処理装置。 - 実物体の形態および上記実物体を見る観察者と上記実物体との間の位置関係に合う形態のＣＧの周縁に生成させた後光画像と、上記ＣＧとを合成した合成画像を、上記実物体に重なるように上記観察者が見るディスプレイに表示させる画像表示処理用デバイスを備えることを特徴とするディスプレイ装置。
- 前記ＣＧは、前記観察者に、前記実物体よりも前記観察者側にある部分を持つ第２実物体を見せるための欠落領域を有し、
前記後光画像は、その欠落領域の周縁にも存在することを特徴とする請求項２５記載のディスプレイ装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002013792 | 2002-01-23 | ||
| JP2002013792 | 2002-01-23 | ||
| PCT/JP2003/000523 WO2003063086A1 (fr) | 2002-01-23 | 2003-01-22 | Systeme de traitement d'images, appareil de traitement d'images, et appareil d'affichage |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2003063086A1 true JPWO2003063086A1 (ja) | 2005-05-26 |
| JP4083684B2 JP4083684B2 (ja) | 2008-04-30 |
Family
ID=27606079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003562874A Expired - Fee Related JP4083684B2 (ja) | 2002-01-23 | 2003-01-22 | 画像処理システムおよび画像処理装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US7095422B2 (ja) |
| EP (1) | EP1469424A4 (ja) |
| JP (1) | JP4083684B2 (ja) |
| WO (1) | WO2003063086A1 (ja) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9971398B2 (en) * | 2003-12-12 | 2018-05-15 | Beyond Imagination Inc. | Virtual encounters |
| US9841809B2 (en) * | 2003-12-12 | 2017-12-12 | Kurzweil Technologies, Inc. | Virtual encounters |
| US20050130108A1 (en) * | 2003-12-12 | 2005-06-16 | Kurzweil Raymond C. | Virtual encounters |
| US9948885B2 (en) * | 2003-12-12 | 2018-04-17 | Kurzweil Technologies, Inc. | Virtual encounters |
| JP4667111B2 (ja) * | 2005-04-21 | 2011-04-06 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| JP5109098B2 (ja) * | 2007-06-14 | 2012-12-26 | 本田技研工業株式会社 | 運動制御システム、運動制御方法および運動制御プログラム |
| US8094090B2 (en) * | 2007-10-19 | 2012-01-10 | Southwest Research Institute | Real-time self-visualization system |
| JP4950834B2 (ja) * | 2007-10-19 | 2012-06-13 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| WO2010102288A2 (en) * | 2009-03-06 | 2010-09-10 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for shader-lamps based physical avatars of real and virtual people |
| JP5418061B2 (ja) * | 2009-08-20 | 2014-02-19 | 沖電気工業株式会社 | 遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステム |
| US11195213B2 (en) * | 2010-09-01 | 2021-12-07 | Apixio, Inc. | Method of optimizing patient-related outcomes |
| US8666978B2 (en) | 2010-09-16 | 2014-03-04 | Alcatel Lucent | Method and apparatus for managing content tagging and tagged content |
| US8533192B2 (en) | 2010-09-16 | 2013-09-10 | Alcatel Lucent | Content capture device and methods for automatically tagging content |
| US8655881B2 (en) | 2010-09-16 | 2014-02-18 | Alcatel Lucent | Method and apparatus for automatically tagging content |
| US20120067954A1 (en) * | 2010-09-16 | 2012-03-22 | Madhav Moganti | Sensors, scanners, and methods for automatically tagging content |
| US9155964B2 (en) * | 2011-09-14 | 2015-10-13 | Steelseries Aps | Apparatus for adapting virtual gaming with real world information |
| US9792715B2 (en) | 2012-05-17 | 2017-10-17 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for utilizing synthetic animatronics |
| JP5791082B2 (ja) * | 2012-07-30 | 2015-10-07 | 国立大学法人横浜国立大学 | 画像合成装置、画像合成システム、画像合成方法およびプログラム |
| JP2014085879A (ja) * | 2012-10-24 | 2014-05-12 | Toppan Printing Co Ltd | 画像処理装置及び画像処理プログラム |
| JP5539486B2 (ja) * | 2012-12-14 | 2014-07-02 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
| WO2015070258A1 (en) | 2013-11-11 | 2015-05-14 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for improved illumination of spatial augmented reality objects |
| KR102651578B1 (ko) * | 2013-11-27 | 2024-03-25 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
| US11269480B2 (en) * | 2016-08-23 | 2022-03-08 | Reavire, Inc. | Controlling objects using virtual rays |
| US10223821B2 (en) | 2017-04-25 | 2019-03-05 | Beyond Imagination Inc. | Multi-user and multi-surrogate virtual encounters |
| JP7012953B2 (ja) * | 2017-08-30 | 2022-01-31 | 株式会社国際電気通信基礎技術研究所 | 感覚刺激提示システム、プログラムおよび方法 |
| JP7023971B2 (ja) * | 2017-09-29 | 2022-02-22 | 本田技研工業株式会社 | サービス提供システム、サービス提供方法およびサービス提供システム用管理装置 |
| US11086124B2 (en) | 2018-06-13 | 2021-08-10 | Reavire, Inc. | Detecting velocity state of a device |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5767648A (en) | 1996-04-19 | 1998-06-16 | Massachusetts Institute Of Technology | Base force/torque sensor apparatus for the precise control of manipulators with joint friction and a method of use thereof |
| JPH10208073A (ja) | 1997-01-16 | 1998-08-07 | Hitachi Ltd | 仮想現実作成装置 |
| JPH11195132A (ja) * | 1997-10-31 | 1999-07-21 | Hewlett Packard Co <Hp> | テクスチャマッピング用バッファ、３次元グラフィクス処理装置、３次元グラフィクス処理システム、３次元グラフィクス処理方法および処理プログラムが記憶された記憶媒体 |
| JP2002157606A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像表示制御装置、複合現実感提示システム、画像表示制御方法、及び処理プログラムを提供する媒体 |
| JP4775989B2 (ja) * | 2001-08-23 | 2011-09-21 | 株式会社バンダイナムコゲームス | 画像生成システム、プログラム及び情報記憶媒体 |
-
2003
- 2003-01-22 US US10/502,468 patent/US7095422B2/en not_active Expired - Fee Related
- 2003-01-22 EP EP03731816A patent/EP1469424A4/en not_active Withdrawn
- 2003-01-22 JP JP2003562874A patent/JP4083684B2/ja not_active Expired - Fee Related
- 2003-01-22 WO PCT/JP2003/000523 patent/WO2003063086A1/ja not_active Application Discontinuation
-
2006
- 2006-06-28 US US11/476,472 patent/US7259771B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7259771B2 (en) | 2007-08-21 |
| US20070008339A1 (en) | 2007-01-11 |
| US20050093887A1 (en) | 2005-05-05 |
| EP1469424A4 (en) | 2005-06-01 |
| WO2003063086A1 (fr) | 2003-07-31 |
| EP1469424A1 (en) | 2004-10-20 |
| US7095422B2 (en) | 2006-08-22 |
| JP4083684B2 (ja) | 2008-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4083684B2 (ja) | 画像処理システムおよび画像処理装置 | |
| US11669152B2 (en) | Massive simultaneous remote digital presence world | |
| RU2664397C2 (ru) | Система отображения виртуальной реальности | |
| CN114766038A (zh) | 共享空间中的个体视图 | |
| WO2017100017A1 (en) | Third party holographic portal | |
| JPH1118025A (ja) | 画像呈示装置 | |
| KR101892735B1 (ko) | 직관적인 상호작용 장치 및 방법 | |
| JP2018526716A (ja) | 媒介現実 | |
| US11156830B2 (en) | Co-located pose estimation in a shared artificial reality environment | |
| CN115176215A (zh) | 用于空间计算的逼真角色配置 | |
| US20220405996A1 (en) | Program, information processing apparatus, and information processing method | |
| JP7262973B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP7111848B2 (ja) | プログラム、情報処理装置、および方法 | |
| JP2021002402A (ja) | 情報処理装置 | |
| CN116612234A (zh) | 基于增强或虚拟现实应用程序内立体视觉的高效动态遮挡 | |
| Abe et al. | Realizing a Mixed Reality Space Guided by a Virtual Human; Creating a Virtual Human from Incomplete 3-D Motion Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071016 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080213 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140222 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |