WO2003063086A1

WO2003063086A1 - Systeme de traitement d'images, appareil de traitement d'images, et appareil d'affichage

Info

Publication number: WO2003063086A1
Application number: PCT/JP2003/000523
Authority: WO
Inventors: Michihiko Shouji
Original assignee: Michihiko Shouji
Priority date: 2002-01-23
Filing date: 2003-01-22
Publication date: 2003-07-31
Also published as: US7259771B2; JP4083684B2; EP1469424A4; US20070008339A1; JPWO2003063086A1; US20050093887A1; US7095422B2; EP1469424A1

Description

明細書画像処理システム、画像処理装置およびディスプレイ装置技術分野

本発明は、ディスプレイを見る観察者に対して仮想現実（バ一チャルリアリティ）を体験させるための画像処理システム、画像処理装置およびディスプレイ装置に関する。背景技術

従来から、人が実物体である人間型ロボットあるいは人間以外の動物を模した動物型口ポット（以下、単に「口ポット」という）に対して親近感を持つようにさせるために、その口ポットに現実の人間または動物（以下、「人間等」という）と同じような外観を与える方法が試みられている。

具体的には、軟性物質で形成された外皮で口ポットを覆う方法（第 1の方法）、口ポットの頭部に人間等の顔を映し出す方法（第 2の方法）、または口ポットの表面を再帰性反射物質で塗装し、そのロポットの表面をスクリーンとして、映像投射装置から人間等の全身映像を投影する方法（第 3の方法）などがある。これらの方法によれば、観察者に対して、ロボットをあたかも本当の人間等であるかのように感じさせ、口ポットに対する違和感を低減することができる。第 3の方法は、「バ一チャルリアリティの基礎 4 人工現実感の評価（監修者：舘障、編者：伊福部達、発行所：株式会社培風館、 2 0 0 0年 2月 2 9日初版発行)」に開示されている。

しかし、第 1の方法では、口ポットをより現実の人間等に近づけるべく、口ポットに顔の表情を持たせる必要がある。顔の表情を持たせるためには、ロポッ卜の顔の表面が自由に動くように数多くのァクチユエ一夕をロポットに備える必要がある。このため、口ポットのコスト上昇およびァクチユエ一夕の制御の煩雑化などを招いてしまう。加えて、外皮で外観を模倣するので、

1種類の人間等の外観しか与えることができないという制約もある。

また、第 2の方法では、口ポットの頭部に備えたディスプレイ上に人間等の顔を映すため、観察者がロボットを正面から見ない限り不自然となる。すなわち、観察者が口ポットを横や後から見ると、口ポットにしか見えなくなつてしまう。

さらに、第 3の方法では、口ポットと映像投射装置との間に何らかの障害物が存在する場合には、ロポッ卜の表面にその障害物の影が映ってしまう。したがって、かかる場合も、観察者が口ポットを現実の人間等と認識するのは困難である。また、観察者は、口ポットに近づくと自分の影が映ってしまうので、口ポットに触れることもできない。

そこで、以上のような問題を解消すべく、観察者に頭部搭載型ディスプレィ（以後、「HMD」という）を装着させ、その HMDにおいて、ロボットの動きに連動させた C G (Computer Graphi cs) を、口ポットに重ねるように投影させる方法が考えられる。

この方法によれば、人間等の C Gをロポットに合わせて自由に変化させることができる。このため、口ポットの表情や姿勢なども自由かつ容易に動かすことができる。また、人間等の C Gを 3 D C Gとすることにより、観察者が口ポットを横や後から見ても不自然さを感じさせない。また、 HMDは観察者の目を覆うゴ一ダル夕ィプのディスプレイであって、 C Gを観察者の目の前で投影するものである。このため、 HMDでは障害物の影が映ってしまうこともない。さらに、観察者が口ポットに触れることもできるため、観察者は視覚と触覚により、仮想現実を体験することができる。したがって、観察者は、口ポットに対して一層親近感を抱くことができるようになる。

しかし、上記のような HMDに C Gを投影させる方法にも問題が残されている。口ポットの位置や姿勢などの動きに連動させて、 HMDに映し出す人間等の C Gを変化させるためには、ロポット側または HMD側のセンサで検知した各種データに基づいて空間座標の計算を行い、画像処理を行わなければならない。

検知したデ一夕に大きな測定誤差があったり、あるいはデータの送信時間や画像処理における空間座標の計算時間が所定以上必要となると、ロポットの動きと C Gとの間にずれが生じてしまう。また、口ポットに何らかの外乱が加わることによって、突然、口ポットが動くこともある。この場合にも、口ポットと C Gとの間にずれが生じてしまう。

このような理由で、ずれが生じると、観察者（すなわち、 HMD装着者）の心情は白けてしまい、その結果、観察者がロボットに対して感情を移入することが妨げられてしまう。

一方、上記のような口ポットと C Gとのずれは、各種センサ、口ポットおよび HMDを高性能にして、画像処理の高精度化および画像処理の高速化を図ることによって、小さくできる。しかし、完全にずれを無くすことは不可能である。また、ずれを極めて小さくするために、口ポットに高性能のセンサおよび C P Uなどを搭載すると、コストの上昇を招き、経済面でも不利となる。

本発明は、上記のような課題を解決するためになされたものであり、低コストにてロポットに対する親近感を高めることができる画像処理システム、画像処理装置およびディスプレイ装置を提供することを目的とする。発明の開示

上記目的を達成するため、本願の発明者は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態の C Gを選択する画像選択用デバイスと、 C Gの周縁に後光画像を生成する後光生成用デバイスと、 C Gと後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、合成画像を、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスとを備える画像処理システムを構築した。このようなシステムを構築すると、実物体の形態に合致した C Gを選択し、そして後光を生成することができる。この結果、実物体の動きと C Gとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く、実物体に接することができ、かつ低コストにて、口ポットに対する親近感を持つことができる。

また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態の C Gを選択する画像選択用デバイスと、 C Gの周縁に後光画像を生成する後光生成用デバイスと、 C Gと後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、合成画像を観察者側に送信する合成画像送信用デバイスとを有する画像処理装置と、合成画像送信用デバイスから送信された合成画像を、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスを有するディスプレイ装置とを備える画像処理システムである。このようなシステムを構築すると、実物体の形態に合致した C Gを選択し、そして後光を生成することができる。この結果、実物体の動きと C Gとの間にずれが生じた場合でも、画像処理装置においてそのずれを隠すための後光画像付きの合成画像を生成させ、その生成させた合成画像を HMDに送信して、観察者の見るディスプレイ装置において、合成画像を投影させることができる。したがって、観察者は、違和感無く、実物体に接することができ、かつ低コストにて、ロポットに対する親近感を持つことができる。

また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態の C Gを生成する画像生成用デバイスと、 C Gの周縁に後光画像を生成する後光生成用デバイスと、 C Gと後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、合成画像を、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスとを備える画像処理システムである。このようなシステムを構築すると、実物体の形態に合致した C Gと後光とを生成することができる。この結果、実物体の動きと C Gとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く、実物体に接することができ、かつ低コストにて、ロポットに対する親近感を持つことができる。

また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態の C Gを生成する画像生成用デバイスと、 C Gの周縁に後光画像を生成する後光生成用デバイスと、 C Gと後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、合成画像を観察者側に送信する合成画像送信用デバイスとを有する画像処理装置と、合成画像送信用デバイスから送信された合成画像を、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスを有するディスプレイ装置とを備える画像処理システムである。このようなシステムを構築すると、実物体の形態に合致した C Gと後光とを生成することができる。この結果、実物体の動きと C Gとの間にずれが生じた場合でも、画像処理装置においてそのずれを隠すための後光画像付きの合成画像を生成させ、その生成させた合成画像を HMDに送信して、観察者の見るディスプレイ装置において、合成画像を投影させることができる。したがって、観察者は、違和感無く、実物体に接することができ、かつ低コストにて、口ポットに対する親近感を持つこができる。

また、別の発明は、さらに、後光生成用デバイスによって、観察者と実物体との距離の測定における誤差を見積もり、その誤差に基づいて、実物体が C Gの周縁にはみ出して見えることを防止するのに十分な厚みの後光画像を生成する画像処理システムである。このため、観察者と実体物との距離が正確に検知されない場合であっても、 C Gは、十分に実物体を隠すことができる。したがって、観察者は、ごく自然に、 C Gを楽しむことができる。

また、別の発明は、さらに、後光生成用デバイスによって、実物体または観察者が動いた際に、実物体と C Gとの間に生じたずれを観察者に見せないのに十分な厚みの後光画像を生成する画像処理システムである。このため、 C Gの生成が実体物または観察者の動きに追随できない場合であっても、 C Gは、十分にその実物体を隠すことができる。したがって、観察者は、ごく自然に、 C Gを楽しむことができる。

また、別の発明は、さらに、観察者が見るディスプレイと実物体との間の距離、角度および観察者から見た実物体の方向の内、少なくともいずれか 1っを検知する検知デバイスを備える画像処理システムである。このため、実物体と観察者との動作の変化に対して高精度で追随する C Gの生成が可能となる。

また、別の発明は、さらに、実物体を、自由に動くことが可能な人間型または人間以外の動物型のロポットとする画像処理システムである。このため、観察者にとって、口ポットが C Gのキャラクタに見える。したがって、観察者は、あたかも本物のキャラクタがいるかのような仮想現実を味わうことが出来る。

また、別の発明は、さらに、ネットワークを介して、外部から C Gを受信するための通信デバィスを備える画像処理システムである。このため、観察者は、自分の好みの C Gを外部から簡単に入手できる。したがつて、観察者は、 1つの実物体を持つことによって、複数のキャラクタを味わうことができる。

また、別の発明は、さらに、観察者に、実物体よりも観察者側にある部分を持つ第 2実物体を見せるための欠落領域を、 C Gに有し、後光生成用デバイスによって、欠落領域の周縁にも後光画像を生成する画像処理システムである。このため、実物体に、第 2実物体を接触させた状態で、実物体に C Gを重ねても、観察者に、第 2実物体の一部又は全部が見える。例えば、人間型口ポット（実物体）にチョコレート（第 2実物体）を持たせた場合、観察者は、人間型口ポットよりも観察者側にあるチョコレートの一部を観察できる。したがって、チョコレートを持った人間型ロポットを観察する観察者は、アイドルタレントがチョコレートを持っている光景を認識できる。

また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態の C Gを選択する画像選択用デバイスと、 C Gの周縁に後光画像を生成する後光生成用デバイスと、 C Gと後光画像とを合成した合成画像を生成する合成画像生成用デバイスとを備える画像処理装置である。これにより、その実物体の形態に合致した C Gを選択し、そしてその後光を生成することができる。この結果、実物体の動きと C Gとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く実物体に接することができ、かつ低コストにて、口ポットに対する親近感を持つことができる。さらに、合成画像を表示するディスプレイ装置と画像処理装置とを分けることにより、ディスプレイ装置側の負荷を減らすことができる。

また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態の C Gを生成する画像生成用デバイスと、 C Gの周縁に後光画像を生成する後光生成用デバイスと、 C Gと後光画像とを合成した合成画像を生成する合成画像生成用デバイスとを備える画像処理装置である。これにより、その実物体の形態に合致した C Gと後光とを生成することができる。この結果、実物体の動きと C Gとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く実物体に接することができ、かつ低コストにて、口ポットに対する親近感を持つことができる。さらに、合成画像を表示するディスプレイ装置と画像処理装置とを分けることにより、ディスプレイ装置側の負荷を減らすことができる。

また、別の発明は、さらに、後光生成用デバイスによって、観察者と実物体との距離の測定における誤差を見積もり、その誤差に基づいて、実物体が C Gの周縁にはみ出して見えることを防止するのに十分な厚みの後光画像を生成する画像処理装置である。このため、観察者と実体物との距離が正確に検知されない場合であっても、 C Gは、十分に実物体を隠すことができる。したがって、観察者は、ごく自然に、 C Gを楽しむことができる。

また、別の発明は、さらに、後光生成用デバイスによって、実物体または観察者が動いた際に、実物体と C Gとの間に生じたずれを観察者に見せないのに十分な厚みの後光画像を生成する画像処理装置である。このため、 C Gの生成が実体物または観察者の動きに追随できない場合であっても、 C Gは、十分に実物体を隠すことができる。したがって、観察者は、ごく自然に、 C Gを楽しむことができる。

また、別の発明は、さらに、観察者が見るディスプレイと実物体との間の距離、角度および観察者から見た実物体の方向の内、少なくともいずれか 1っを検知する検知デバイスを備える画像処理装置である。このため、実物体と観察者との動作の変化に対して高精度で追随する C Gの生成が可能となる。

また、別の発明は、さらに、ネットワークを介して、外部から C Gを受信するための通信デバイスを備える画像処理装置である。このため、観察者は、自分の好みの C Gを外部から簡単に入手できる。したがって、観察者は、 1つの実物体を持つことによって、複数のキャラクタを味わうことができる。また、別の発明は、さらに、観察者に、実物体よりも観察者側にある部分を持つ第 2実物体を見せるための欠落領域を、 C Gに有し、後光生成用デバイスによって、欠落領域の周縁にも後光画像を生成する画像処理装置である。このため、実物体に、第 2実物体を接触させた状態で、実物体に C Gを重ねても、観察者に、第 2実物体の一部又は全部が見える。例えば、人間型口ポット（実物体）にチョコレート（第 2実物体）を持たせた場合、観察者は、人間型口ポットよりも観察者側にあるチヨコレートの一部を観察できる。したがって、チョコレートを持った人間型ロポッ卜を観察する観察者は、アイドル夕レントがチョコレートを持つている光景を認識できる。

また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態の C Gを選択する手段と、 C Gの周縁に後光画像を生成する手段と、 C Gと後光画像とを合成する手段とを備える画像処理装置である。これにより、その実物体の形態に合致した C Gを選択し、そしてその後光を生成することができる。この結果、実物体の動きと C Gとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く実物体に接することができ、かつ低コストにて、口ポットに対する親近感を持つことができる。さらに、合成画像を表示するディスプレイ装置と画像処理装置とを分けることにより、ディスプレイ装置側の負荷を減らすことができる。ここでいう各手段は、電子回路基板に固定される C P U等のデバイス、そのデバィスとそのデバイスの処理によって動作するプロダラムを含む広義の意味を持つ。したがって、上記の各手段は、デバイスというハードウェアのみであっても、そのハ一ドウエアとプログラムというソフトウェアとの組み合わせであっても良い。以下、逐一言及しないが、「手段」と記載されるものは、上記の広義の意味を持つものとする。

また、別の発明は、実物体の形態および実物体を見る観察者と実物体との位置関係に合う形態の C Gを生成する手段と、 C Gの周縁に後光画像を生成する手段と、 C Gと後光画像とを合成する手段とを備える画像処理装置である。これにより、その実物体の形態に合致した C Gと後光とを生成することができる。この結果、実物体の動きと C Gとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く実物体に接することができ、かつ低コストにて、口ポットに対する親近感を持つことができる。さらに、合成画像を表示するディスプレイ装置と画像処理装置とを分けることにより、ディスプレイ装置側の負荷を減らすことができる。また、別の発明は、さらに、後光画像を生成する手段によって、観察者と実物体との距離の測定における誤差を見積もり、その誤差に基づいて、実物体が C Gの周縁にはみ出して見えることを防止するのに十分な厚みの後光画像を生成する画像処理装置である。このため、観察者と実体物との距離が正確に検知されない場合であっても、 C Gは、十分に実物体を隠すことができる。したがって、観察者は、ごく自然に、 C Gを楽しむことができる。

また、別の発明は、さらに、後光画像を生成する手段によって、実物体または観察者が動いた際に、実物体と C Gとの間に生じたずれを観察者に見せないのに十分な厚みの後光画像を生成する画像処理装置である。このため、 C Gの生成が実体物または観察者の動きに追随できない場合であっても、 C Gは、十分に実物体を隠すことができる。したがつて、観察者は、ごく自然に、 C Gを楽しむことができる。

また、別の発明は、さらに、観察者が見るディスプレイと実物体との間の距離、角度および観察者から見た実物体の方向の内、少なくともいずれか 1っを検知する手段を備える画像処理装置である。このため、実物体と観察者との動作の変化に対して高精度で追随する C Gの生成が可能となる。また、別の発明は、さらに、ネットワークを介して、外部から C Gを受信する手段を備える画像処理装置である。このため、観察者は、自分の好みの C Gを外部から簡単に入手できる。したがって、観察者は、 1 つの実物体を持つことによって、複数のキャラクタを味わうことができる。

また、別の発明は、さらに、観察者に、実物体よりも観察者側にある部分を持つ第 2実物体を見せるための欠落領域を、 C Gに有し、後光画像を生成する手段によって、欠落領域の周縁にも後光画像を生成する画像処理装置である。このため、実物体に、第 2実物体を接触させた状態で、実物体に C Gを重ねても、観察者に、第 2実物体の一部又は全部が見える。例えば、人間型ロボット（実物体）にチョコレート（第 2実物体）を持たせた場合、観察者は、人間型口ポットよりも観察者側にあるチョコレートの一部を観察できる。したがって、チョコレートを持った人間型ロポットを観察する観察者は、アイドルタレントがチョコレー卜を持っている光景を認識できる。

また、別の発明は、実物体の形態および実物体を見る観察者と実物体との間の位置関係に合う形態の C Gの周縁に生成させた後光画像と、 C Gとを合成した合成画像とを、実物体に重なるように、観察者が見るディスプレイに表示させる画像表示処理用デバイスを備えるディスプレイ装置である。これによって、その実物体の形態に合致した C Gを選択し、そしてその後光を生成することができる。この結果、実物体の動きと C Gとの間にずれが生じた場合でも、そのずれを隠すことができる。したがって、観察者は、違和感無く実物体に接することができ、かつ低コストにて、口ポットに対する親近感を持つことができる。さらに、合成画像を表示するディスプレイ装置と、合成画像を生成する画像処理装置とを分けることにより、ディスプレイ装置側の負荷を減らすことができる。また、別の発明は、観察者に、実物体よりも観察者側にある部分を持つ第 2実物体を見せるための欠落領域を、 C Gに有し、後光画像をその欠落領域の周縁にも存在させるディスプレイ装置である。このため、実物体に、第 2実物体を接触させた状態で、実物体に C Gを重ねても、観察者に、第 2実物体の一部又は全部が見える。例えば、人間型口ポット

(実物体）にチョコレート（第 2実物体）を持たせた場合、観察者は、人間型口ポットよりも観察者側にあるチヨコレートの一部を観察できる。したがって、チョコレートを持った人間型口ポットを観察する観察者は、アイドル夕レントがチョコレートを持っている光景を認識できる。図面の簡単な説明

図 1は、本発明の画像処理システムの構成を示すブロック図である。

図 2は、本発明の画像処理装置となる人間型ロポッ卜の外観を示す図である。

図 3は、本発明のディスプレイ装置となるへッドマウントディスプレイの外観を示す図である。

図 4は、図 2の画像処理装置における画像処理の動作の流れを説明するためのフロ一チヤ一トである。

図 5は、図 2の画像処理装置により生成した C Gの一例を示す図である。図 6は、図 2の画像処理装置により抽出した C Gの輪郭を示す図である。図 7は、図 2の画像処理装置において生成した後光の一例を示す図である。図 8は、図 2の画像処理装置において、 C Gと後光とを合成した合成画像の一例を示す図である。

図 9は、人間の視覚のピンホールカメラモデルである。

図 1 0は、実物体の奥行方向の測定誤差がある場合の、実物体と C G とのずれを示す図である。図 1 1は、両眼から正面の実物体を見る状態を模式的に示す図である。図 1 2は、図 1 1の状態において、左右方向の測定誤差がある塲合の、実物体と C Gとのずれを示す図である。

図 1 3は、時間 Tの間に人間型口ポットが次の状態（時間 T後の人間型口ポット）に移動した際に、画像処理の遅れを補償する後光の厚さを示す図である。

図 1 4は、本発明の画像処理システムの第 2の実施の形態を示すブロック図である。

図 1 5は、図 1 4の画像処理システムにおいて、ダウンロード装置から C Gをダウンロードし、記憶する処理動作を説明するためのフローチャートである。

図 1 6は、本発明の画像処理システムの第 3の実施の形態を示すブロック図である。

図 1 7は、人間型口ポットに、チョコレートを持たせた状態を示す図である。

図 1 8は、図 1 7に示す人間型ロポットと観察者との間に配置される C Gを示す図である。

図 1 9は、図 1 7に示す人間型口ポットを、図 1 8に示す C G越しに観察した光景を示す図である。発明を実施するための最良の形態

以下、本発明の最良の実施の形態につき、図面に基づき説明する。なお、以後、実物体を、人間型口ポットに代表される口ポットとして説明するが、マネキン等の動かないものとしても良い。加えて、以下説明する各デバイスに代えて、同各デバイスとプログラムとの共同によって、同各デバイスと同様の処理を実行可能としても良い。 (第 1の実施の形態）

図 1は、本発明の画像処理システムの構成を示すブロック図である。図 1 に示すように、本発明の画像処理システムは、画像処理装置となる人間型口ポット 1とディスプレイ装置となる HMD 2とから構成されている。図 2は、人間型ロボット 1の外観を示す図である。人間型口ポット 1は、 2足歩行で動くことができ、また、手、首、足などの各関節が動くように構成されている。

図 1に示すように、人間型口ポット 1は、検知デバイスの一形態であるセンサ 1 1 a， l i , 1 1 cと、通信部 1 2と、画像生成用デバイスの一形態である相対位置姿勢計算部 1 3と、関節ァクチユエ一夕 1 4 と、画像生成用デバイス、後光生成用デバイスおよび合成画像生成用デバイスの一形態である画像処理部 1 5と、記憶部 1 6と、通信デバイスの一形態である通信部 1 7とを備えている。また、 HM D 2は、検知デバイスの一形態であるセンサ 2 1 a、 2 l bと、通信部 2 2 , 2 3と、画像表示処理用デバイスの一形態である立体画像表示部 2 4と、制御部 2 5とを備えている。

センサ 1 1 aは、人間型ロポット 1の表面に加えられた接触圧を検知するセンサである。センサ 1 1 bは、人間型ロポット 1の姿勢を測定するために、各関節の角度を検知するセンサである。センサ 1 1 cは、 HMD 2の位置、すなわち、 HMD 2を装着している観察者と人間型ロボット 1との相対距離を測定して検出するセンサである。各センサ 1 1 a， l i b , 1 1 cのデ一夕（体表接触圧データ、関節角度データおよび相対距離情報）は、通信部 1 2に送られる。

通信部 1 2は、各センサ 1 1 a , l i b , 1 1 cから送られた各データを受信するとともに、 HMD 2からデ一夕を受信する。 HMD 2から送信されたデータは、 HMD 2にあるセンサ 2 1 bが測定した人の頭部の姿勢データ (頭部姿勢デ一夕）である。通信部 1 2は、これら全てのセンサ 1 1 a , 1 1 b , 1 1 cからのデ一夕を相対位置姿勢計算部 1 3に送る構成部である。なお、この実施の形態において、人間型ロポット 1と HMD 2との間のデ一夕通信は、アンテナ（図示せず）を介して無線で行われることを想定しているが、これに限るものではなく、ケーブルを介して有線で行われるものであつても良い。

相対位置姿勢計算部 1 3は、通信部 1 2から送られたデ一夕の内、センサ 1 1 a , 1 1 bでそれぞれ検知されたデータに基づいて、人間型ロポット 1 が所定の姿勢となるような各関節の目標角度のデータを計算する構成部である。また、相対位置姿勢計算部 1 3は、通信部 1 2から送られた全てのデー夕（体表接触圧デ一夕、関節角度データ、相対距離情報および頭部姿勢デー夕）に基づいて、人間型ロポット 1の姿勢および人間型ロポット 1と HMD 2との相対位置関係を求め、それらの情報から、 HMD 2を装着した観察者がロポット 1を見た場合における視界に映る人間型ロポッ卜 1の形状である相対位置姿勢データを計算する構成部であり、 C G生成のためのデータを画像処理部 1 5に送る。

関節ァクチユエ一夕 1 4は、相対位置姿勢計算部 1 3で計算された目標関節角度デ一夕に基づいて、各関節の角度を変化させる駆動機構である。画像処理部 1 5は、画像生成用デバイスの一形態である画像生成部 1 5 aと、後光生成用デバイスの一形態である後光生成部 1 5 bと、合成画像生成用デバイスの一形態である合成画像生成部 1 5 cとからなる。画像処理部 1 5は、相対位置姿勢計算部 1 3で計算された相対位置姿勢データに基づいて、記憶部 1 6に保存されている人物 C Gのデ一夕を読み出し、その人物 C Gのデ一夕に対して画像生成、輪郭抽出、後光生成および画像合成の各処理を施して、合成画像（=処理済 C Gデータ）を生成する。ここで、輪郭抽出は、画像生成部 1 5 aで行われる。画像処理部 1 5は、中央演算処理ュニット（C P U)、画像処理プロセッサ、メモリとで構成されるのが一般的であるが、これ以外のハード構成でも良い。なお、画像処理部 1 5の詳細な処理動作については、後述する。

記憶部 1 6は、人物 C Gのデータを格納する記憶媒体である。人物 C Gのデータは、例えば、ドライブ（図示せず）によって C D— R OMなどのメディァから読み込むことより記憶部 1 6に格納される。ここで、人物 C Gのデ —夕としては、例えば、芸能人など著名人の C Gデータなどが考えられる。通信部 1 7は、画像処理部 1 5で処理した処理済 C Gデータを受け取ると、その処理済 C Gデータを HMD 2に対して送信する構成^である。

HMD 2は、図 3に示すように、ゴーグルタイプのディスプレイであって、観察者の頭部に装着される装置である。 HMD 2は、透過型のヘッドマウントディスプレイであつて、観察者の目前の映像投影部のうち映像が映されていない部分は光を透過する。したがって、観察者は、 HMD 2の映像投影部のうちの映像が映されていない部分から、人間型ロボット 1を一例とする実物体（実存している物体であって、 C Gの立体映像とは反対の意である）を見ることができる。

図 1に示すように、 HMD 2の内部にあるセンサ 2 1 aは、人間型ロポット 1の位置、すなわち HMD 2を装着している観察者と人間型ロポット 1との相対距離を測定して検出するセンサである。また、センサ 2 l bは、 HM D 2を装着している観察者の頭部の姿勢（顔の向いている方向や傾きなど）を検知するセンサである。

通信部 2 2は、センサ 2 1 bで検知された頭部姿勢デ一タを人間型ロポット 1に対して送信する構成部である。また、通信部 2 3は、人間型口ポット 1から送信された処理済 C Gデ一夕を受信する構成部である。

立体画像表示部 2 4は、通信部 2 3で受信された処理済 C Gデータを表示する構成部である。制御部 2 5は、 HMD 2の各部の動作を制御する構成部である。

次に、人間型口ポット 1の画像処理について、図 4から図 8に基づいて説明する。

人間型ロポット 1は、電源がオンの状態においては、常に、センサ 1 1 a およびセンサ 1 1 bがそれぞれ体表接触圧データおよび関節角度デ一夕を検知している。そして、センサ 1 1 aおよびセンサ 1 1 bで検知された体表接触圧データおよび関節角度データは、通信部 1 2を介して相対位置姿勢計算部 1 3に送られる。相対位置姿勢計算部 1 3は、体表接触圧データおよび関節角度データに基づいて、人間型ロポット 1が所定の姿勢になるように目標関節角度デ一夕を計算する。そして、関節ァクチユエ一夕 1 4は、目標関節角度データを受け取って、人間型ロポット 1の各関節を目標関節角度に調整する。これにより、人間型口ポット 1は、様々な姿勢に変化させて動き回ることが可能となる。

センサ 1 1 cが、 HMD 2を検出すると、人物 C Gのデ一夕に画像処理を施して HMD 2に送信するモードに移行する。センサ 1 1 cは、 HMD 2との間の相対距離を測定し、通信部 1 2を介して、その相対距離の情報を相対位置姿勢計算部 1 3に送る。また、通信部 1 2は、 HMD 2の通信部 2 2から送信された頭部姿勢データを受信し、その頭部姿勢データを相対位置姿勢計算部 1 3に送る。

相対位置姿勢計算部 1 3は、全てのセンサデータ、すなわち、体表接触圧データ、関節角度データ、相対位置情報、頭部姿勢データに基づいて、相対位置姿勢データを計算し、その相対位置姿勢データを画像処理部 1 5に送る。画像処理部 1 5は、相対位置姿勢デ一夕に基づいて、以下のように人物 C G のデータに画像処理を施す。

図 4は、画像処理部 1 5の画像処理動作の流れを簡単に説明するためのフローチャートである。画像処理部 i 5は、相対位置姿勢データを受け取ると、まず、記憶部 16に格納されている人物 CGのデ一夕を読み出して、その人物 C Gデータと相対位置姿勢デー夕に合った C Gに変換する（ステップ S 1)。

ここで、 CGは、コンピュータで描かれたあらゆるポーズの絵という意味ではなく、関節位置や表面形状の 3次元情報を備えた、いわゆる 3D CGであり、コンピュータで描かれた 3次元のフィギュアである。画像処理部 15 は、この CGの関節を自由に動かしたり、視点を変化させたりすることができる。具体的には、画像処理部 15は、空間座標を設定し、相対位置姿勢デ —夕に基づいて、人間型ロポット 1の各関節位置に軌道を与えて動かすことによって、人間型口ポット 1の姿勢に合った CGを生成する。このような画像処理部 15により画像生成処理をした CG40の例を、図 5に示す。

なお、 3DCGとは、フォトグラフィのような左目と右目に見える像のずれによって脳の錯覚を利用して、目の前にある像（絵）が立体的に浮かんでいるように見える、いわゆる立体視映像とは異なるものであるが、さらに立体視のための処理を 3D CGに対して行っても良い。

次に、画像処理部 15は、画像生成された CG 40の輪郭を抽出する（ステツプ S 2)。このような画像処理部 15による輪郭 41の抽出処理の結果を、図 6に示す。次に、画像処理部 15は、抽出した CG40の輪郭 41の周縁に後光 42を生成する（ステップ S 3)。この後光 42は、人間型ロボット 1と CG40とのずれを隠すための光である。このような画像処理部 1 5による後光 42の生成処理の結果を、図 7に示す。

ここで、後光 42は、その目的から、人間型ロボット 1の動きと CG40 とのずれが十分隠れる程度の幅 tを持たせる必要がある。したがって、後光の幅 tは、人間型ロボット 1の各関節などが最大速度で動いているときに生じるずれをカバ一できる厚みが必要である。

次に、画像処理部 15は、生成した CG40と後光 42の画像とを合成する（ステップ S 4)。このような画像処理部 1 5により合成された合成画像の例を、図 8に示す。図 8に示すように、 CG40の周縁に後光 42を付けることにより、人間型ロポット 1と CG40との微妙なずれを隠すことができるとともに、 CG40の周縁に後光 42があっても、観察者にとって違和感を感じさせることもない。

画像処理部 15は、図 1に示すように、 CG40に後光 42を合成した処理済 CGデータを通信部 17を介して HMD 2に送信する。 HMD 2では、通信部 23が人間型ロポッ卜 1の通信部 17から送信された処理済 CGデ一夕を受信すると、その処理済 CGデータを立体画像表示部 24に送る。立体画像表示部 24は、処理済 CGデータを人間型口ポット 1の動きと重なるように、図示されない映像投影部に表示させる。 HMD 2を装着している観察者は、人間型口ポット 1に重ねて、 HMD 2で後光 42のある CG40を見ることができる。これにより、観察者は、人間型口ポット 1と CG40とのずれを感じなくなる。

なお、 HMD 2で人物 CGのデ一夕を人間型ロポット 1に重ね合わせて表示しているときに、 HMD 2を装着している観察者（利用者）が人間型ロボット 1に触った場合には、人間型ロボット 1のセンサ 11 aがそれを感知する。この結果、画像処理部 15は、人物 CGのデータの画像処理を施して、その人物画像の表情を変化させるように構成しても良い。また、観察者が触つた場所や強さなどに応じて人物の表情をプログラムで予め定められた通りに、怒ったり、笑ったりするように構成しても良い。

以上のように、この実施の形態によれば、人間型口ポット 1の画像処理部 15によって、 CG40の周縁に後光 42を施すようにしているので、ロボッ卜の動きと CG40との間にずれが生じた場合でも、そのずれを隠すことができ、観察者はそのずれを認識することがなくなり、その結果、人間型口ポット 1に対して感情移入を容易に行うことが可能となる。また、実際に、観察者が人間型口ポット 1に触れることができ、より一層、その C Gの人物と触れ合っているような感覚を味わうことができることになる。

なお、本発明における画像処理装置は、玩具的な用途以外にも、様々な用途に利用することが期待できる。具体的には、まず、利用者が好きな芸能人の人物 C Gのデ一夕を再生することにより、その芸能人と仮想的に触れ合うことができる立体ポスタ一として楽しむことができる。さらに、人間型ロボッ卜 1に対話装置を搭載することにより、非常に効果的な広告媒体ともなり得る。

また、利用者が人間型ロポット 1と一緒に散歩やスポーツなどを楽しむことも考えられる。また、生前に自分の人物 C Gのデータを遺しておくことにより、自分の死後に家族の悲しみを和らげることもできるものと考えられる。さらに、病人や老人の介護や福祉目的などにも利用されることも期待できる。また、本実施の形態では、人間型ロボット 1側に相対位置姿勢計算部 1 3 および画像処理部 1 5を設けていたが、これに限るものではない。 HMD 2 側に相対位置姿勢計算部 1 3および画像処理部 1 5を設けるようにしても良レ^ この場合、人間型口ポット 1の通信部 1 2から体表接触圧デ一夕および関節角度データが HMD 2に送信され、 HMD 2側でそれらのデータに基づいて相対位置姿勢データを計算し、その相対位置姿勢データに基づいて人物 C Gのデ一夕の画像処理を施すことになる。

次に、最適な後光 4 2の設定方法について、図面に基づいて説明する。人間型ロポット 1と H M D 2との間の相対位置の測定には、誤差がある。この測定誤差に起因して、 C G 4 0の周縁から人間型ロポット 1がはみ出して見える可能性がある。かかる事態を防止するため、 C G 4 0に施す後光 4 2の厚みを、最適化するようにしている。すなわち、後光 4 2 の厚さを大きくするほど、人間型口ポット 1が見えるリスクは低くなる一方で、 C G 4 0の見え方は、より不自然になる。したがって、上記ずれを隠すに充分で、かつ最低の厚みの後光 42を表示させるのが好ましレ以下、奥行き方向と上下左右方向に分けて、最適な後光 42の厚さを計算する方法を説明する。

まず、奥行き方向の測定誤差に基づいて後光 42の厚さを計算する方法について説明する。 .

図 9は、人間の視覚のピンホ一ルカメラモデルである。原点 0はレンズ中心に相当し、原点 0から目標点である物体 5 0までの真の距離が 1 (エル）のとき、センサの測定値は誤差も含めて 1(1 ± ）に収まるものとする。距離 1に存在する、幅 wの物体 5 0が視野に占める視野角 2 Θ r e a 1 とする。この場合、 HMD 2の表示部には視野角 2 Θ r e a 1に相当する幅の CG 5 1を映し出すことにより、物体 5 0を CG 5 1で隠すことが可能である。なお、人間の網膜には、視野角 2 0 r e a 1に相当する幅の CG 5 2が写っている。

これに対し、図 1 0に示すように、原点 0から目標点である物体 5 0 までの距離が 1(1+ひ）であると判定された場合、 HMD 2の表示部には、距離 1(1+ a)に存在する幅 wの物体 5 3が占める視野角 2 em i sに相当する幅で CG 54が表示される。すると、 0 r e a 1 >0m i sであるため、 HMD 2に表示された CG 5 1から物体 5 0がはみ出して見える。このときのはみ出し幅は、以下の数式 1および数式 2を用いて計算できる。

数式 1

1 1 + « ) tan Θ mis = w

数式 2 '

1 tan Θ real = w

よって、数式 3を導く事ができる。

数式 3 tan 0 mis = (1Z1 +ひ) tan Θ real ' よって、はみ出し幅 δは、数式 4で示すように求めることが出来る。数式 4

δ = 1 (tan Θ real - tan Θ mis)

= 1 {tan Θ real - ( 1 / 1 + ) tan Θ real}

= 1 tan 0 real { / 1 + )

この結果、例えば、観察者の l m前方に、肩幅 5 O c mの口ポットが存在するものとし、センサ 1 1 cを赤外線距離センサ、超音波距離センサとし、それらによる測定誤差を 1 c mとすると、 α = 0. 0 1となる。また、 t a n 0 r e a l = O . 2 5となる。よって、はみ出し幅は、 1 • 0. 2 5 · ( 0. 0 1/ 1. 0 1)、すなわち 0. 0 0 2 5mとなる。したがって、後光 4 2の厚みが 2. 5 mmであれば、はみ出しを覆うことができる。

次に、上下左右方向の誤差に基づいて後光 4 2の厚さを計算する方法について説明する。なお、簡便化のため、三辺測量方式に用いる 3点のうち、 2点を取り出して説明する。

図 1 1に示すように、点 S ₂から目標点までの距離をそれぞれ、 1 1 ₂で表す。また、点 S i S ₂間の距離は 1 ₁₂である。今、目標点が S S ₂間の中点を通る垂直線上にあって、 1 = 1 ₂とする。それぞれの測定誤差の割合を i3とすると、物体の位置の左右誤差が最も大きくなるのは、図 1 2に示すように、目標点が点 S iから 1 1一 j6)、点 S ₂から 1 ₂(1+ )3)の距離にあるとされた場合である。この場合の左お誤差 Xは、三平方の定理より、数式 5のように計算できる。

数式 5

{ 1 ( 1— ;8)} ²— ( 1 2 - x) ²

= { 1 ( 1 + 0)} ²— ( 1 ^2 + x) ² 次に、数式 5の両辺を展開して、 Xについて整理すると、数式 6のようになる。また、今、 l i= l ₂なので、右辺を 1₂でまとめて整理すると、数式 7のようになる。

数式 6

x= { 1₂ ² ( 1 + /3) ²- 1 I ² ( 1 - /3) ²} / (2 11 ₂) 数式 7

x= 2 i3 1₂ ²/ 1 is

この結果、今、観察者の lm前方に、口ポットが存在するものとし、点 S および点 S ₂が HMD 2の左右に存在しているとして、 1₁₂= 0. 2mとする。すると、誤差無く測定できた場合に、しとはゝ三平方の定理より 1. 005mである。今、センサによる 1 iと 1₂の測定誤差 ;8を 0. 0 1とすると、左右方向のずれ Xは、 2 · 0. 0 1 · ( 1. 0 05) 0 - 2 = 0. 1 01となる。

つまり、後光 42の厚みが約 1 0 cmあれば、測定誤差によるはみ出しを覆うことができる。また、この誤差は距離の二乗に比例しており、口ポットが半分の距離にあれば、後光の厚さは 1/4の 2. 5 cmで良い。

以上の奥行方向の測定誤差を補償する後光 42の厚さと、上下左右方向の測定誤差を補償する後光 42の厚さの和が、必要な後光 42の厚さである。

次に、人間型口ポット 1の動作に対して、 CG40の処理が遅れる場合に、その遅れを補償するのに必要な後光 42の厚さ tを計算する方法について説明する。

今、人間型口ポット 1が動いた瞬間から、当該動いた人間型口ポット 1を基準として CG40を HMD 2に表示するまでの時間（=遅れ）を T (s e c) とする。また、人間型口ポット 1の動作速度を V (mZs e c) とする。すると、図 1 3に示すように、時間 Tの間に人間型ロボット 1が次の状態（時間 T後の人間型ロポッ卜） 1 aに移動する距離 X (m) は、 VT (m) となる。

したがって、後光 42の厚さ t (m) を VT (m) に設定すると、人間型口ポット 1の動作に CG40の表示処理が追いつかなくても、後光 42の厚み tから外に、時間 T後の人間型ロボット 1 aが見えることはない。

例えば、 C G 40の処理の遅れ Tを 0. l s e c、人が不安に感じないロポッ卜の速度であって最も速い手先の動作速度 Vを 0. 6m/s e cとする。すると、遅れを補償する後光の厚さ tは、 0. 1 s e cで移動した人間型口ポットの距離 X ( = TV) である 6 cmとなる。

(第 2の実施の形態）

第 1の実施の形態では、メディアを通じて人物 CGのデータを記憶部 16 に保存していたが、本実施の形態では、ダウンロード装置 3から配信される人物 CGのデータをインターネットなどのネットヮ一クを通じて受信し、その受信した人物 C Gのデータを記憶部 16に保存する。

図 14は、本発明の画像処理システムの構成を示すブロック図である。図 14において、ダウンロード装置 3は、イン夕一ネットなどのネットワーク (図示せず) 上にホームページを提供し、そのホームページにアクセスしてきた画像処理装置の利用者に対して、その利用者が希望する CG40のデー夕をネットワークを通じて配信（ダウンロード）するサーバである。

このダウンロード装置 3の内部には、図 14に示すように、通信デバイスの一形態である通信部 31、記憶部 32および制御部 33を備えている。通信部 31は、図示されないネッ卜ワークを介してデータ通信を行う構成部である。記憶部 32は、例えば、複数の著名な人物とそっくりな CG40のデ —タを保存する構成部である。制御部 33は、ダウンロード装置 3の各部の動作を制御するとともに、 CG40のデ一夕の配信や配信履歴の管理などを行う構成部である。

人間型口ポット 1の通信部 17は、ネットワークに接続可能である。したがって、利用者は、人間型口ポット 1の通信部 17を介してネットワーク上に提供されているホームページにアクセスできる。

なお、その他の構成については、図 1に示した構成と同様であるため、同一構成については同一符号を付すことにより、重複する説明を省略する。次に、本発明の画像処理システムの動作について、図 15に基づいて説明する。

図 15は、本発明の画像処理システムの動作の流れを説明するためのフロ —チャートである。画像処理装置の利用者は、 CG40のデータの配信を希望する場合には、まず、ダウンロード装置 3がネットワーク上に提供しているホームページにアクセスする（ステップ S 11)。次に、利用者は、そのホームページ上のアイコンをクリックするなどして、希望する人物 CGのデ —夕を選択する（ステップ S 12)。

ダウン口一ド装置 3の制御部 33は、ホームページにアクセスしてきた利用者によって人物 CGのデータが選択されると、その選択された人物 CGのデータを通信部 31からネットワークを通じて人間型ロポット 1に対して配信する（ステップ S 13)。

人間型口ポット 1では、通信部 17がダウンロード装置 3から配信された人物 CGデータを受信すると（ステップ S 14)、その受信した人物 CGのデータを記憶部 16に格納して保存する（ステップ S 15)。

以上のように、本実施の形態によれば、ダウンロード装置 3がネットヮークを通じて人物 CGのデータを配信するように構成されているので、利用者が様々な人物 C Gのデータを簡易かつ確実に取得することができる。その結果、画像処理装置の利用性を一層向上させることができる。 (第 3の実施の形態）

次に、画像処理を HMD 2で行うようにした画像処理システムについて説明する。

図 1 6に示すように、人間型ロボット 1は、センサ 1 1 a， l i b, 1 1 cと、通信部 1 2と、相対位置姿勢計算部 1 3と、関節ァクチユエ —夕 14と、通信部 1 7とを備えている。また、 HMD 2は、画像処理部 1 5と、記憶部 1 6と、センサ 2 1 a、 2 1 bと、通信部 22, 23 と、立体画像表示部 24と、制御部 25とを備えている。人間型ロボット 1および HMD 2の両構成部の機能は、第 1の実施の形態で説明した機能と同様の機能である。

人間型口ポット 1は、各センサ 1 1 a， l i b, 1 1 c, 2 1 bからのデ一夕に基づいて、人間型ロポット 1の体勢および観察者との位置関係を計算し、その計算結果を HMD 2に送信する。 HMD 2は、人間型口ポット 1から送信されてきた計算結果に基づいて、記憶部 1 6から C G40を選出し、その選出した CG 40を表示部に立体画像表示部 24 に表示する。

このように、 HMD 2に画像処理の機能を持たせることにより、人間型ロボット 1のコスト低減、ロボット本来の機能の充実を図ることがでさる。

(第 4の実施の形態）

次に、人間型ロポット 1に第 2実物体の一例としてのチョコレートを持たせて、 CG越しにその人間型口ポット 1を観察する場合における画像処理システムについて説明する。画像処理システムの第 4の実施の形態は、第 1の実施の形態または第 3の実施の形態にて説明した人間型口ポット 1と HMD 2とそれぞれ同じ装置、あるいは第 2の実施の形態にて説明した人間型ロポット 1と HMD 2とダウンロード装置 3とそれぞれ同じ装置を備えている。ここでは、画像処理システムが第 1の実施の形態または第 3の実施の形態にて説明した人間型ロポッ卜 1と HMD 2 を有している例を説明する。

第 4の実施の形態とそれ以前の実施の形態との違いの一つは、観察者が人間型ロポット 1に重ねられる CG越しに第 2実物体を観察できるように、穴あるいは凹部に代表される欠落領域を有していることである。また、第 4の実施の形態とそれ以前の実施の形態との違いのもう一つは、上記 CGにおける上記欠落領域の周縁にも、後光が生成されていることである。

図 1 7は、人間型ロポット 1に、チョコレート 60を持たせた状態を示す図である。また、図 18は、図 1 7に示す人間型口ポット 1と観察者との間に配置される CG40を示す図である。 CG40は、既に説明した実施の形態と同様の後光 42を有すると共に、チョコレー卜 60の位置に合わせて設けられた欠落領域（ここでは、穴） 6 1の周囲にも後光 42 aを有している。したがって、観察者が、 HMD 2に映る CG 4 0越しに人間型口ポット 1を見ると、図 1 9に示すように、一部にあけられた穴 6 1からチョコレート 60が見える CG40を認識することができる。

人間型ロポット 1がチョコレート 60を食べる動作を行うと、人間型口ポット 1から HMD 2に、人間型口ポット 1と HMD 2との距離、チョコレート 60を持つ手の位置等のデータが送られる。 HMD 2は、そのデータに基づいて、口元にチョコレート用の穴 6 1があいた CG40 を選択して、これを写す。人間型口ポット 1の動作に合わせて、各動作に合致した C G 4 0は、選択され、そして映し出される。このため、観察者は、人間型口ポット 1ではなく、アイドルの C G 4 0がチョコレート 6 0を食べている動画を見ることができる。後光 4 2および後光 4 2 aは、人間型口ポット 1およびチョコレート 6 0と、 C G 4 0とのずれによって、人間型ロボット 1が観察者に見えてしまうことがないように、 C G 4 0の周縁および穴 6 1の周縁に、それぞれ設けられている。

また、この画像処理システムに、第 2の実施の形態で説明したダウンロード装置 3を設けることにより、以下の処理を行うこともできる。人間型ロポット 1にバ一コ一ドが割り当てられていて、パソコンに接続されるバ一コードリーダにて当該バーコードを読みとると、当該バーコ一ドのデ一夕は、パソコンとィンタ一ネット等の通信回線を介して接続されるダウンロード装置 3に送られる。ダウンロード装置 3は、当該バ一コードに基づいて C G 4 0を選択して、これを H M D 2に送信する。 H M D 2を装着した観察者は、 C G 4 0を介して人間型ロポット 1を観察するので、チョコレート 6 0を持ったアイドル形態の C G 4 0を認識できる。

また、第 1の実施の形態から第 4の実施の形態では、人物 C Gのデータを適用した画像処理装置および画像処理システムについて説明したが、これに限られるものではない。例えば、人間以外の動物（犬など）の C Gであってもよい。この場合、人間型口ポット 1の代わりに動物型口ポット（犬型ロボッ卜など）を用いると良い。

また、第 2の実施の形態では、ダウンロード装置 3から配信される人物 C Gデータを人間型ロポット 1で受信するように構成されていたが、 HMD 2 側に相対位置姿勢計算部 1 3および画像処理部 1 5を備え、 HMD 2側で受信するようにしても良い。

また、利用者が、自身のパソコンでダウンロード装置 3のホームページにアクセスし、そのパソコンで人物 C Gのデータをダウンロードし、そのダウンロードした人物 C Gのデータをメディアに移して、メディアを介して HM D 2の記憶部 1 6に保存するようにしても良い。

なお、画像生成用デバイスに代えて、あるいは画像生成用デバイスに加えて、画像選択用デバイスを採用しても良い。すなわち、人間型ロボット 1と H M D 2との間の距離等のデータに基づいて、 C Gを生成するのではなく、予め多くの C Gをメモリ内に用意しておき、上記データに基づいて、そのメモリ内から適切な C Gを選択するようにしても良い。また、後光生成用デバイスに代えて、あるいは後光生成用デバイスに加えて、後光を選択するデバイスを採用しても良い。これによつて、本発明の画像処理システム、画像処理装置またはディスプレイ装置は、上記データに基づいて、逐一、後光を生成することなく、単に、適切な後光を選択する処理を行うだけで良い。

また、後光は、不透明な層であっても、わずかに後ろが透ける程度の半透明な層であっても良い。産業上の利用可能性

本発明は、口ポットと C Gを組み合わせたコマーシャルの製作、配信に利用可能である。

Claims

請求の範囲

1 . 実物体の形態および上記実物体を見る観察者と上記実物体との位置関係に合う形態の C Gを選択する画像選択用デバイスと、

上記 C Gの周縁に後光画像を生成する後光生成用デバイスと、

上記 C Gと上記後光画像とを合成した合成画像を生成する合成画像生成用上記合成画像を、上記実物体に重なるように上記観察者が見るディスプレィに表示させる画像表示処理用デバイスと、

を備えることを特徴とする画像処理システム。

2 . 実物体の形態および上記実物体を見る観察者と上記実物体との位置関係に合う形態の C Gを選択する画像選択用デバイスと、上記 C Gの周縁に後光画像を生成する後光生成用デバイスと、上記 C Gと上記後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、上記合成画像を上記観察者側に送信する合成画像送信用デバイスとを有する画像処理装置と、上記合成画像送信用デバイスから送信された上記合成画像を、上記実物体に重なるように、上記観察者が見るディスプレイに表示させる画像表示処理用デバイスを有するディスプレイ装置と、

を備えることを特徴とする画像処理システム。

3 . 実物体の形態および上記実物体を見る観察者と上記実物体との位置関係に合う形態の C Gを生成する画像生成用デバイスと、

を備えることを特徴とする画像処理システム。

4 . 実物体の形態および上記実物体を見る観察者と上記実物体との位置関係に合う形態の C Gを生成する画像生成用デバイスと、上記 C Gの周縁に後光画像を生成する後光生成用デバイスと、上記 C Gと上記後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、上記合成画像を上記観察者側に送信する合成画像送信用デバイスとを有する画像処理装置と、上記合成画像送信用デバイスから送信された上記合成画像を、上記実物体に重なるように、上記観察者が見るディスプレイに表示させる画像表示処理用デバイスを有するディスプレイ装置と、

を備えることを特徴とする画像処理システム。

5 . 前記後光生成用デバイスは、前記観察者と前記実物体との距離の測定における誤差を見積もり、その誤差に基づいて、前記実物体が前記 C Gの周縁にはみ出して見えることを防止するのに十分な厚みの前記後光画像を生成することを特徴とする請求項 1から 4のいずれか 1項記載の画像処理システム。

6 . 前記後光生成用デバイスは、前記実物体または前記観察者が動いた際に、前記実物体と前記 C Gとの間に生じたずれを前記観察者に見せないのに十分な厚みの前記後光画像を生成することを特徴とする請求項 1 から 4のいずれか 1項記載の画像処理：

7 . 前記観察者が見るディスプレイと前記実物体との間の距離、角度および前記観察者から見た前記実物体の方向の内、少なくともいずれか 1 つを検知する検知デバイスを備えることを特徴とする請求項 1から 4のいずれか 1項記載の画像処理システム。

8 . 前記実物体は、自由に動くことが可能な人間型または人間以外の動物型のロポットであることを特徴とする請求項 1から 4のいずれか 1項記載の画像処理システム。

9 . ネットワークを介して、外部から前記 C Gを受信するための通信デバイスを、さらに備えることを特徴とする請求項 1から 4のいずれか 1 項記載の画像処理システム。

1 0 . 前記 C Gは、前記観察者に、前記実物体よりも前記観察者側にある部分を持つ第 2実物体を見せるための欠落領域を有し、

前記後光生成用デバイスは、その欠落領域の周縁にも後光画像を生成することを特徴とする請求項 1から 4のいずれか 1項記載の画像処理システム。

1 1 . 実物体の形態および上記実物体を見る観察者と上記実物体との位置関係に合う形態の C Gを選択する画像選択用デバイスと、

上記 C Gと上記後光画像とを合成した合成画像を生成する合成画像生成用デバイスと、

を備えることを特徴とする画像処理装置。

1 2 . 実物体の形態および上記実物体を見る観察者と上記実物体との位置関係に合う形態の C Gを生成する画像生成用デバイスと、上記 C Gの周縁に後光画像を生成する後光生成用デバイスと、

を備えることを特徴とする画像処理装置。

1 3 . 前記後光生成用デバイスは、前記観察者と前記実物体との距離の測定における誤差を見積もり、その誤差に基づいて、前記実物体が前記

C Gの周縁にはみ出して見えることを防止するのに十分な厚みの前記後光画像を生成することを特徴とする請求項 1 1または 1 2記載の画像処

1 4 . 前記後光生成用デバイスは、前記実物体または前記観察者が動いた際に、前記実物体と前記 C Gとの間に生じたずれを前記観察者に見せないのに十分な厚みの前記後光画像を生成することを特徴とする請求項 1 1または 1 2記載の画像処理装置。

1 5 . 前記観察者が見るディスプレイと前記実物体との間の距離、角度および前記観察者から見た前記実物体の方向の内、少なくともいずれか 1っを検知する検知デバイスを備えることを特徴とする請求項 1 1または 1 2記載の画像処理装置。

1 6 . ネットワークを介して、外部から前記 C Gを受信するための通信デバイスを、さらに備えることを特徴とする請求項 1 1または 1 2記載の画像処理装置。

1 7 . 前記 C Gは、前記観察者に、前記実物体よりも前記観察者側にある部分を持つ第 2実物体を見せるための欠落領域を有し、

前記後光生成用デバイスは、その欠落領域の周縁にも後光画像を生成することを特徴とする請求項 1 1または 1 2記載の画像処理装置。

1 8 . 実物体の形態および上記実物体を見る観察者と上記実物体との位置関係に合う形態の C Gを選択する手段と、

上記 C Gの周縁に後光画像を生成する手段と、

上記 C Gと上記後光画像とを合成する手段と、

を備えることを特徴とする画像処理装置。

1 9 . 実物体の形態および上記実物体を見る観察者と上記実物体との位置関係に合う形態の C Gを生成する手段と、

上記 C Gの周縁に後光画像を生成する手段と、

上記 C Gと上記後光画像とを合成する手段と、

を備えることを特徴とする画像処理装置。

2 0 . 前記後光画像を生成する手段は、前記観察者と前記実物体との距離の測定における誤差を見積もり、その誤差に基づいて、前記実物体が前記 C Gの周縁にはみ出して見えることを防止するのに十分な厚みの前記後光画像を生成することを特徴とする請求項 1 8または 1 9記載の画像処理装置。

2 1 . 前記後光画像を生成する手段は、前記実物体または前記観察者が動いた際に、前記実物体と前記 C Gとの間に生じたずれを前記観察者に見せないのに十分な厚みの前記後光画像を生成することを特徴とする請求項 1 8または 1 9記載の画像処理装置。

2 2 . 前記観察者が見るディスプレイと前記実物体との間の距離、角度および前記観察者から見た前記実物体の方向の内、少なくともいずれか 1っを検知する手段を備えることを特徴とする請求項 1 8または 1 9記載の画像処理装置。

2 3 . ネットワークを介して、外部から前記 C Gを受信する手段を、さらに備えることを特徴とする請求項 1 8または 1 9記載の画像処理装

2 4 . 前記 C Gは、前記観察者に、前記実物体よりも前記観察者側にある部分を持つ第 2実物体を見せるための欠落領域を有し、

前記後光画像を生成する手段は、その欠落領域の周縁にも後光画像を生成することを特徴とする請求項 1 8または 1 9記載の画像処理装置。

2 5 . 実物体の形態および上記実物体を見る観察者と上記実物体との間の位置関係に合う形態の C Gの周縁に生成させた後光画像と、上記 C Gとを合成した合成画像を、上記実物体に重なるように上記観察者が見るディスプレィに表示させる画像表示処理用デバイスを備えることを特徴とするディスプレイ装置。

2 6 . 前記 C Gは、前記観察者に、前記実物体よりも前記観察者側にある部分を持つ第 2実物体を見せるための欠落領域を有し、

前記後光画像は、その欠落領域の周縁にも存在することを特徴とする請求項 2 5記載のディスプレイ装置。