JP3450792B2 - 奥行き画像計測装置及び方法、並びに複合現実感提示システム - Google Patents

奥行き画像計測装置及び方法、並びに複合現実感提示システム

Info

Publication number
JP3450792B2
JP3450792B2 JP2000085145A JP2000085145A JP3450792B2 JP 3450792 B2 JP3450792 B2 JP 3450792B2 JP 2000085145 A JP2000085145 A JP 2000085145A JP 2000085145 A JP2000085145 A JP 2000085145A JP 3450792 B2 JP3450792 B2 JP 3450792B2
Authority
JP
Japan
Prior art keywords
image
viewpoint position
depth image
depth
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000085145A
Other languages
English (en)
Other versions
JP2000341721A (ja
Inventor
清秀 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000085145A priority Critical patent/JP3450792B2/ja
Publication of JP2000341721A publication Critical patent/JP2000341721A/ja
Application granted granted Critical
Publication of JP3450792B2 publication Critical patent/JP3450792B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、現実空間の奥行き
情報を任意の視点位置で獲得するために必要な画像処理
技術に関する。本発明は更に矛盾のない複合現実感を観
測者に提供するために必要な画像融合処理技術に関す
る。本発明は更に画像処理のためのプログラムの記憶媒
体にも関する。
【０００２】
【従来の技術】例えば、光学シースルーHMD(head mount
display)等を用いた複合現実感提示システムにおい
て、現実世界と仮想世界を３次元的に整合のとれた形で
融合しようとした場合、現実の物体と仮想物体の前後関
係を正しく認識して、その前後関係に矛盾しない形で仮
想物体を描画することが必要となる。そのためには、観
測者の視点から見た現実世界の奥行き情報（三次元情
報）を獲得する必要があり、さらに、その獲得は、実時
間に近い速度で行われる必要がある。
【０００３】現実世界の奥行き情報の実時間計測手段と
して、いくつかの実時間ステレオ画像処理ハードウェア
を用いた奥行き画像計測装置が作成されている。例え
ば、"CMU Video-Rate Stereo Machine", Mobile Mappin
g Symposium, May 24-26, 1995, Columbus, OHは５台の
カメラからの画像に対してパイプライン処理を行って、
処理の高速化を図っている。
【０００４】
【発明が解決しようとする課題】しかしながら、このよ
うな奥行き画像計測装置は、その撮像部が非常に大掛か
りで重量があるため、観測者の頭部に装着することはで
きず、頭部から離れた位置に固定させる必要がある。従
って、観測者の１人称視点からみた奥行き情報を得るこ
とはできない。もし仮に、観測者の近くにこの装置を設
置し、そこから得られる奥行き画像をそのまま前後判定
に用いたとすると、奥行き画像計測装置のカメラ視点位
置と観測者の視点位置との相違に基づいて、計測された
奥行き情報にずれが生じてしまうため、合成される映像
は観測者に違和感を与えるものになってしまう。
【０００５】第１図を用いて、この問題を詳しく説明す
る。第１図に於いて、４００は実空間中の物体（例えば
ブロック）とし、複合現実感提示システム（不図示）
は、視点位置Vuにいる観測者５００に、この実物体４０
０の背後に仮想物体４１０を融合させて見せるための複
合現実感画像を提示するものとする。ここで、視点位置
Vuでは、観測者５００にはシーン５１０が見えている。
また、視点位置V0に設置された奥行き画像計測装置６０
０からはシーン５１１が見えており、カメラ視点位置V0
から観測したシーン５１１の奥行き画像５２１が複合現
実感提示システムへと出力されているものとする。
【０００６】もし仮に、シーン５１０のごとき奥行き画
像（即ち、視点位置Vuから観測したこのシーンの奥行き
画像５２０）が得られているとすれば、複合現実感提示
システムは、この物体４００の背後に、正しい隠れの関
係で仮想物体４１０を描画することができる（５３
０）。しかし、この複合現実感提示システムが利用でき
る奥行き画像は、カメラ視点位置V0から観測した奥行き
画像５２１である。観測者視点位置Vuは、カメラ視点位
置V0に比して右側を向いており、シーン５１０に示すよ
うに、物体４００は、シーン５１１で見えるであろう位
置と比べて、より左側に観測されることとなる、シーン
５１０に対応する奥行き画像５２０も、シーン５１１に
対応した奥行き画像５２１に比してずれたものとなる。
従って、奥行き画像５２１に従って現実世界と仮想世界
の前後判定を行うと、５３１に示すように、本来ならば
手前に実物体は存在しないので隠されるべきではない仮
想物体４１０の一部が、誤って隠されてしまったり、反
対に、本来隠されるべきではない現実物体の一部が誤っ
て隠されてしまうことになる。
【０００７】
【課題を解決するための手段】本発明は、上記従来技術
の問題点を解決するために提案されたもので、その目的
は、位置ずれを起こさせることない、視点位置の整合性
のとれた奥行き画像を獲得することのできる奥行き画像
計測装置及び奥行き画像計測方法を提案する。
【０００８】上記課題を達成するために、本発明の、情
景の奥行き情報を獲得するための奥行き画像計測装置
は、第１の視点位置から撮影することにより得られる第
１の撮影画像を取得する第１の撮影画像取得手段と、第
１の撮影画像から、第１の視点位置における奥行き画像
を生成する奥行き画像生成手段と、第２の視点位置から
撮影することにより得られる第２の撮影画像を取得する
第２の撮影画像取得手段と、第２の視点位置の視点位置
情報を推定する位置情報推定手段と、第２の視点位置の
視点位置情報に基づいて、生成された第１の視点位置で
の情景の奥行き画像を、第２の視点位置における第２の
奥行き画像に変形する変形手段と、第２の撮影画像を用
いて、第２の奥行き画像を修正する修正手段と、修正さ
れた第２の奥行き画像を出力する出力手段とを具備する
ことを特徴とする。
【０００９】また、上記課題は、位置が固定されている
画像処理装置とユーザが装着するヘッドマウントディス
プレイとを有する複合現実空間提示システムであって、
ヘッドマウントディスプレイは、画像を撮影する第１の
撮影部と、画像を表示する表示部とを有し、位置が固定
されている画像処理装置は、複数の位置から画像を撮影
する第２の撮影部と、複数の位置から撮影された複数の
画像から、奥行き画像を生成する奥行き画像生成手段
と、第１の撮影部によって撮影された撮影画像に対応す
る視点位置情報を取得する位置情報取得手段と、視点位
置情報に応じて、奥行き画像を変形する変形手段と、視
点位置情報に応じてＣＧ画像を生成する生成手段と、変
形された奥行き画像を用いて、第１の撮影部によって撮
影された撮影画像とＣＧ画像を融合する融合処理手段
と、融合された画像を表示部に表示すべく、ヘッドマウ
ントディスプレイに出力する出力手段とを有することを
特徴とする複合現実空間提示システムによっても達成さ
れる。
【００１０】さらに、上記課題は、情景の奥行き情報を
獲得するための奥行き画像計測方法であって、第１の視
点位置から撮影することにより得られる第１の撮影画像
を取得する工程と、第１の撮影画像から、第１の視点位
置における奥行き画像を生成する工程と、第２の視点位
置から撮影することにより得られる第２の撮影画像を取
得する工程と、第２の視点位置の視点位置情報を推定す
る工程と、第２の視点位置の視点位置情報に基づいて、
生成された第１の視点位置での情景の奥行き画像を、第
２の視点位置における第２の奥行き画像に変形する工程
と、第２の撮影画像を用いて、第２の奥行き画像を修正
する工程と、修正された第２の奥行き画像を出力する出
力工程とを具備することを特徴とする奥行き画像計測方
法によっても達成される。
【００１１】また、上記課題は、情景の奥行き情報を獲
得するための奥行き画像計測方法をコンピュータ装置に
実現させるためのコンピュータプログラムを格納したコ
ンピュータ装置読み取り可能な記録媒体であって、コン
ピュータプログラムが、第１の視点位置から撮影するこ
とにより得られる第１の撮影画像を取得する工程のプロ
グラムと、第１の撮影画像から、第１の視点位置におけ
る奥行き画像を生成する工程のプログラムと、第２の視
点位置から撮影することにより得られる第２の撮影画像
を取得する工程のプログラムと、第２の視点位置の視点
位置情報を推定する工程のプログラムと、第２の視点位
置の視点位置情報に基づいて、生成された第１の視点位
置での情景の奥行き画像を、第２の視点位置における第
２の奥行き画像に変形する工程のプログラムと、第２の
撮影画像を用いて、第２の奥行き画像を修正する工程の
プログラムと、修正された第２の奥行き画像を出力する
工程のプログラムとを具備することを特徴とする記録媒
体によっても達成される。
【００１２】
【００１３】
【００１４】
【００１５】
【００１６】
【００１７】
【００１８】
【００１９】
【００２０】
【００２１】
【００２２】
【００２３】
【００２４】
【００２５】
【００２６】
【００２７】
【００２８】
【００２９】
【００３０】
【００３１】
【００３２】
【００３３】
【００３４】
【００３５】
【００３６】
【発明の実施の形態】以下、添付図面を参照しながら、
本発明を適用した好適な実施形態に係る画像処理装置を
説明する。
【００３７】第２図は、実施形態に係る画像処理装置２
００の原理的構成を示す。奥行き画像計測部１００は、
前方のシーンをステレオ撮影するための２台のカメラ１
０１R，１０１Lを有する。夫々のカメラで撮影された実
空間のシーンを表す画像信号はIR，ILとして奥行き推定
モジュール１０２に送られる。奥行き推定モジュール１
０２は、画像信号IR，ILを入力として、カメラ１０１R
の視点位置（視点位置V0）における奥行き画像DV0を推
定する。奥行き画像計測部１００は、奥行き画像修正部
１２０に奥行き画像DV0を出力する。
【００３８】この画像処理装置は、観測者とは切り離さ
れ固定位置におかれるもので、一方、観測者は頭部に三
次元位置方位センサ１１２を装着する。三次元位置方位
センサ１１２と画像処理装置２００とは信号を伝送する
バスラインを含むケーブルで接続されている。
【００３９】視点位置推定部１１０は、観測者５００の
視点位置Vuを推定し奥行き画像修正部１２０に出力す
る。視点位置推定部１１０は、センサ１１２の位置
(xS，yS，ｚS）と方位（ωS，φS，κS）（以下ではこ
れらをまとめて視点位置VSと呼ぶ）を入力し、あらかじ
め計測しておいたところの、センサ１１２と観測者５０
０の視点位置との相対的な位置関係（オフセットVOFF）
をセンサ自身の視点位置VSに付加することにより、観測
者５００の視点位置Vuを推定する。
【００４０】奥行き画像修正部１２０は、奥行き画像計
測部１００が計測した奥行き画像DV 0に変形処理を施
し、視点位置推定部１１０が推定した観測者の視点位置
Vuにおける奥行き画像DVuに変形する。この変形処理の
具体的動作については後述する。
【００４１】以上によって、観測者の頭部に重量の重い
奥行き計測装置の撮像部を装着することなく、観測者の
視点位置から見た奥行き画像を得ることが可能となる。
以上が、本実施形態の基本原理の説明である。
【００４２】第３図を用いて、第１図に示した環境に対
して第２図の実施形態装置を適用した場合の同装置の動
作を説明する。即ち、光学シースルー方式の複合現実感
提示システムのために第２図の画像処理装置を用いるこ
とを考える。この場合、画像計測装置２００より出力さ
れた奥行き画像Dvuと、視点位置推定部１１０より出力
された観測者５００の視点位置情報Vuは、複合現実感提
示システムの画像生成モジュール(不図示)へと入力され
る。更に、観測者５００は頭部に光学シースルー方式の
HMD(不図示)を装着しており、画像生成モジュールが生
成した仮想世界の映像はHMDへ伝送され、観測者５００
へ提示される。本発明の奥行き画像推定をビデオ・シー
・スルー方式のHMDに適用する場合については別の実施
形態で説明する。
【００４３】第２図の画像処理装置の視点位置推定部１
１０は、第１図に示された環境における観測者５００の
視点位置Vuを推定する。また、奥行き画像修正部１２０
は、奥行き画像計測部１００によって得られたカメラ１
０１Ｒの視点位置V0における奥行き画像５２１を、観測
者視点位置Vuで得られるであろう奥行き画像５２２（第
３図を参照）に変形する。上記変形した奥行き画像５２
２は、視点位置Vuからの奥行き画像５２０（第１図を参
照）に類似するはずである。従って、この変形奥行き画
像５２２に基づいて前後関係を判定しながら仮想物体を
描画して観測者に提示することで、視点位置Vuにおい
て、仮想物体４１０が実物体４００と正しい前後関係に
あるように、複合現実感画像を観測者の眼に映ずること
ができる。
【００４４】
【実施例】以下に、上記第１図および第２図に関連して
説明した実施形態の原理を適用した更に具体的な実施例
装置を３つあげて説明する。
【００４５】第１実施例の装置は、実施形態の原理をよ
り具体的に、かつ、奥行き画像生成の部分に限定して説
明した奥行き画像生成装置である。
【００４６】第２実施例と第３実施例の装置は、奥行き
画像を実空間とズレなくリアルタイムで生成する実施形
態の原理を複合現実感提示システムに適用したものであ
る。即ち、第２実施例は、光学シースルー方式のHMDを
用いた光学シースルー方式の複合現実感提示システムで
あり、第３実施例は、ビデオシースルー方式のHMDを用
いたビデオシースルー方式の複合現実感提示システムで
ある。
【００４７】〈第１実施例〉 第４図は、第１実施例の
奥行き画像生成のための画像処理装置３００のブロック
図を示す。第１実施例の画像処理装置３００は、第２図
の実地形態と異なり、奥行き画像生成のための視点位置
の計測対象は、観測者５００ではなく、カメラ１１３で
ある。この画像処理装置３００は、カメラ１１３が観測
する画像IVCに対応した奥行き画像DVCを生成する。要素
１１１は、観測者ではなく台座を表すものとし、台座１
１１にセンサ１１２とカメラ１１３が装着されているも
のとする。
【００４８】第１実施例の視点位置推定部１１０の動作
を説明する。第５図は、視点位置推定部１１０の制御手
順を示す。
【００４９】台座１１１に装着された位置センサ１１２
は、センサ１１２自身の視点位置Vs(xs，ys，ｚs，
ωs，φs，κs）を連続的に出力する（ステップＳ１
０）。尚、ω，φ，κは第６図に示すように夫々Ｘ軸，
Y軸，Z軸周りの回転角度である。
【００５０】視点位置推定部１１０は、位置センサ１１
２から視点位置Vsを入力して、これに、前述のオフセッ
トVOFFを付加することでカメラ１１３の視点位置Vcを出
力する。即ち、視点位置推定部１１０は、台座１１１上
のセンサ１１２の視点位置Vsから、対応するビューイン
グ変換行列（即ち、世界座標系から視点座標系への変換
行列）Msを、
【００５１】[EQ1]
【００５２】として算出する（ステップＳ１２）。
【００５３】位置センサ１１２の視点位置Vsとカメラ１
１３の視点位置VcとのオフセットΔVCS＝（ΔxCS，Δy
CS，ΔzCS，ΔωCS，ΔφCS，ΔκCS）は、システム構
築時にあらかじめ測定することが出来るのでMSの演算時
点では既知である。このオフセットに対応する変換行列
をΔMCSとすると、カメラ１１３の視点位置VCに対応す
るビューイング変換行列Mcは、
【００５４】[EQ2] MC ＝ ΔMCS・MS
【００５５】として求める事が出来る（ステップＳ１
４）。
【００５６】最後に、視点位置推定部１１０は、EQ2の
行列Mcを視点位置Vcの視点位置情報として、奥行き画像
修正部１２０に出力する（ステップＳ１６）。
【００５７】奥行き画像計測部１００は、カメラ１０１
Rとカメラ１０１Lと奥行き画像推定モジュール１０２か
ら構成される。奥行き画像推定モジュール１０２は、カ
メラ１０１R（既知の視点位置V0にある）とカメラ１０
１Lから入力した画像信号IR（IV0），ILを夫々入力し
て、これらの画像信号IR，ILに基づいて周知の三角測量
の原理で奥行き情報を演算する。
【００５８】第７図は奥行き推定部１００の制御手順で
あって、奥行き画像DV0を生成出力する。
【００５９】即ち、ステップＳ２０で、右側カメラで捉
えた画像IR上の点(XR i，YR i)の、画像IL上での対応点(X
L i，YL i)を探索する。ここで、１対の対応点とは、対象
物体の同一点からの投影像を記録する画素である。
【００６０】ステップＳ２２では、ステップＳ２０で対
応付けられた点の組(XR i，YR i)と(X L i，YL i)について三
角測量を適用し、カメラ１０１Rから見た点(XR i，YR i)
の奥行き値Ziを求める。尚、この例ではカメラ１０１R
での視点を基準にしているが、カメラ１０１Ｌからの奥
行きを求めるように変更することは容易である。
【００６１】ステップＳ２４では、得られた奥行き値Zi
を、奥行き画像DV0の座標(XR i，YR i)に格納する。これ
らの処理を画像IR内の全ての画素または特徴的な画素に
ついて行うことで、奥行き画像DV0を生成し、奥行き画
像修正部１２０に出力する（ステップＳ２８）。
【００６２】第２図に示すように、奥行き画像修正部１
２０は、奥行き画像計測部１００から受け取ったところ
の、カメラ１０１での視点位置V0における奥行き画像D
V0を、台座１１１に装着されたカメラ１１３での視点位
置Vcにおける奥行き画像DVCに変形（warping）する。
【００６３】奥行き画像修正部１２０における処理の原
理は以下のようである。視点位置V0で獲得された奥行き
画像DV0を空間に逆投影して、視点位置Vcに想定した撮
像面に再度投影することが（即ち、奥行き画像DVCに対
応する出力画像上の点(xi’，yi’）に奥行き値ZDiを与
えることが）、奥行き画像修正部１２０の基本的な動作
である。
【００６４】奥行き画像修正部１２０は、まず第一に、
視点位置推定部１１０より入力されるカメラ１１３の視
点位置情報Mc（前述したように、カメラ１１３の視点位
置は変換行列Mcとして得られている）と、既知の情報と
してあらかじめ入力されているカメラ１０１Rの視点位
置V0を表す視点位置情報M0に基づいて、カメラ１０１R
の視点位置V0からカメラ１１３の視点位置Vcへと移動す
るような三次元運動ΔMを、
【００６５】[EQ3]ΔM ＝MC・Mo −１ と推定する。カメ
ラ１０１Rの焦点距離をf0とする。また、カメラ１０１R
の視点位置V0での奥行き画像DV0の任意の点(xi，yi)で
の値がZi＝DV0(xi，yi)であったとすると、第８図から
明らかなように、この点(xi，yi)は次式に従って、カメ
ラ１０１Rの撮像面上の点(xi，yi，f0）から、視点位置
V0におけるカメラ１０１Rの視点座標系における３次元
空間中の点(Xi”，Yi”，Zi”）に、
【００６６】[EQ4]
【００６７】に変換される。この点(Xi”，Yi”，
Zi”）は、視点位置V0からカメラ１１３の視点位置Vcへ
と移動するような三次元運動の行列ΔMが表す３次元座
標変換により、視点位置Vcにおけるカメラ１１３の視点
座標系において、
【００６８】[EQ5]
【００６９】で表される３次元空間中の点(XDi，YDi，Z
Di)に移動する筈である。カメラ１１３の焦点距離がfC
であったとすると、カメラ１１３の視点位置Vcでの視点
座標系の点(XDi，YDi，ZDi)は、第９図に示すように、
下記式で表される画像面上の点(xi’，yi’）に投影さ
れるはずである。
【００７０】[EQ6]
【００７１】従って、ZDiを、変形された奥行き画像DVC
(xi’，yi’）の画素値として出力する。
【００７２】第１０図は、カメラ１０１Rでの奥行き画
像DV0をカメラ１１３の視点での奥行き画像DVCに変換す
るための、奥行き画像修正部１２０の処理手順を説明す
る。
【００７３】まず、ステップＳ３０において、奥行き画
像DV0の１つの点(xi，yi)を取り出し、ステップＳ３２
で、EQ4に従って、この点を視点位置V0におけるカメラ
１０１の視点座標系に逆射影する。即ち、カメラ１０１
の視点座標系における点(xi，yi)の座標(Xi”，Yi”，Z
i”）を求める。ステップＳ３４では、点(Xi”，Yi”，
Zi”）の、視点位置Vcにおけるカメラ１１３の視点座標
系からみた座標(XDI，YDI，ZDI）をEQ5に従って求め
る。次に、ステップＳ３６でEQ6に従って奥行き画像の
変形後の位置(xi’，yi’）を求め、ステップＳ３８で
は、この出力画像D VC上の画素(xi’，yi’）をZDiで埋
める。これらの処理を奥行き画像DV0上の全ての点に対
して施すことにより、warping処理、即ち、奥行き画像
の変形が達成される。
【００７４】尚、例えば(xi1，yi1）と(xi2，yi2）とい
う奥行き画像DV0上の複数の点が変形後に出力画像DVC上
で同一の座標に投影された場合には（すなわち、
(xi1’，y i1’）＝(xi2’，yi2’）となった場合に
は）、奥行き値（ZDi1，ZDi2）の小さな点の（すなわ
ち、より視点位置に近い点の）奥行き値をこの画素の値
とすればよい。
【００７５】また、変形後の奥行き画像DVCの画素の中
には、DV0上に対応点が存在しないために画素値が与え
られない画素が存在し、その結果奥行き画像DVCが「穴
あき」状態になってしまう場合がある。この「穴あき」
状態は、値の欠落した画素の画素値を値の得られている
周辺の画素の画素値の線形補間で補うことで、解消する
ことができる。また、例えば、"View Interpolation fo
r Image Synthesis" (S. E. ChenとL. Williams, In P
roceedings of SIGGRAPH 93, pages 279-288, Anaheim,
California, August 1993)の手法を用いることによっ
ても、この穴あき状態を解消することができる。
【００７６】〈第１実施例の変形例〉 変形例１：第１実施例では、奥行き画像計測部１００
は、右側のカメラ１０１Rの視点位置をV0としている
が、いずれのカメラを基準とした奥行き画像を用いても
よい。
【００７７】変形例２：また、第１実施例では奥行き画
像計測部１００は、２眼ステレオカメラを用いている
が、カメラ１０１の数は２個に限られることはない。奥
行き推定の精度を上げるためには、２個以上の方が好ま
しい。例えば、前述の"CMU Video-Rate Stereo Machin
e"に開示されているような多眼ステレオ法、或いはアク
ティブなレンジファインダを用いてもよい。また、奥行
き画像を計測できれば、他のいかなる装置、手法を用い
てもよい。
【００７８】変形例３：また、第１実施例では、カメラ
１１３の視点位置は、３次元センサ１１２の出力に基づ
いて視点位置推定部１１０が推定した。カメラ１１３の
視点位置を、カメラ１１３自身の出力を用いて推定する
方法を提案する。第４図において、視点位置推定部１１
０への他方の入力経路は、台座１１１に装着されたカメ
ラ１１３からの画像信号IVCである。視点位置推定部１
１０が画像信号IVCを入力する場合には、視点位置推定
部１１０はこの画像信号IVCからカメラ１１３の視点位
置Vcを推定するように変更することができる。この場
合、視点位置推定部１１０は、時系列で入力される三次
元位置方位センサ１１２あるいはカメラ１１３のいずれ
かからの信号に基づいて、カメラ１１３の視点位置Vcを
時系列で抽出する。この場合、位置センサ１１２を装着
しない構成も考えられる。また、位置センサ１１２とカ
メラ１１３からの信号を併用して、視点位置Vcを求める
手法を用いることもできる。
【００７９】１つのカメラを用いてカメラの視点位置を
求める手法は、例えば、４つの位置が既知のランドマー
クをカメラによって撮像し、これらのランドマークの画
像座標から視点位置を求める手法として、例えば、ラン
ドマークの見かけの大きさsiが視点からランドマークま
での距離に反比例することを利用した、Mellor（J. P.
Mellor: “Realtime camera calibration for enhanced
reality visualization,” Proc. CVRMed ’95, pp.47
1-475, 1995.）の方法がある。
【００８０】変形例４：また、台座１１１は必ずしも必
要ではない。カメラ１１３に位置センサ１１２を装着し
てもよいし、カメラ１１３の信号から視点位置Vcを推定
する場合には位置センサ１１２を装着する必要もない。
【００８１】変形例５：また、第１実施例では、奥行き
画像を推定する視点位置はカメラ１１３の視点位置のみ
であったが、用途によっては、第１１図に示すように、
独立して移動する複数のカメラ（１１３A，１１３B，１
１３C，...）の視点位置からの奥行き画像を生成しても
よい。この場合、夫々に対応する台座（１１１A，１１
１B，１１１C，...）に３次元センサ（１１２A，１１２
B，１１２C，...）を装着し、夫々のカメラの視点位置V
cA，VcB，VcC，...に対応する奥行き画像DVC A，DVC B，D
VC C，...を、対応する視点位置推定部（１１０A，１１
０B，１１０C，...）や奥行き画像修正部（１２０A，１
２０B，１２０C，...）によって推定する。
【００８２】第１１図の設定では、画像処理装置３００
は、１台で複数の観測者のカメラについての奥行き画像
を生成するので、奥行き画像サーバとして機能する。
【００８３】変形例６：また、第１実施例では、１つの
台座に装着されるカメラはカメラ１１３のみであった。
このカメラは１台に限定する必要はなく、例えば、左右
２台のカメラ１１３Lと１１３Rを台座に装着し、夫々の
視点位置VcL，VcRに対して上記と同様の処理を行い、夫
々の視点位置での奥行き画像DVC L，DVC Rを求めてもよ
い。さらに、３台以上のカメラを装着する場合も同様に
行うことができる。
【００８４】変形例７：また、奥行き画像を推定する視
点位置は、カメラ１１３の視点位置に限定する必要はな
い。用途に応じて、台座１１１のセンサ位置Vsから任意
のオフセットを付加した視点位置を設定し、その視点位
置での奥行き画像を求めてもよい。さらに、複数の視点
位置を設定し、夫々の視点位置での奥行き画像を求める
事もできる。
【００８５】尚、画像処理装置２００は必ずしも固定で
ある必要はない。但し、可動の場合は、視点位置推定部
１１０は更に、カメラ１０１Rの視点位置VOを表わす視
点位置情報MOをリアルタイムで推定し、奥行き画像修正
部へと出力する必要がある。カメラ１０１Rの視点位置V
Oを表わす視点位置情報MOの推定は、例えば、カメラ１
０１Rに三次元位置方位センサ１０３を装着することで
行うことができる。
【００８６】変形例８：視点位置推定部の出力は、視点
の位置方位の情報を含むものであれば座標変換行列の形
式でなくともよく、他のいかなる形式であっても良い。
例えば、位置と方位の情報（Ｘｃ、Ｙｃ、Ｚｃ、ωｃ、
φｃ、κｃ）をそのまま出力するように構成しても良
い。
【００８７】変形例９：上記第１実施例（第４図）は奥
行き画像計測部は１台が設けられていたが、奥行き画像
計測部は１組に限られることはない。第１２図に示すよ
うに、２組以上の奥行き画像計測部１００A，１００
B，...を視点V0 A，V0 B，...に設置し、夫々から得られ
る奥行き画像DV0 A，DV0 B，...を用いて奥行き画像DVCを
生成することで、精度を向上させることができる。
【００８８】第１３図に、複数の奥行き画像DV0 A，
DV0 B，...を用いて、一台のカメラのための奥行き画像D
VCを生成するための奥行き画像修正部１２０の制御手順
を示す。
【００８９】まず、ステップＳ４０において、各奥行き
画像計測部１００A，１００B，...から奥行き画像
DV0 A，DV0 B，...を入力する。次に、ステップＳ４２に
おいて、第９図の処理手順により、夫々の奥行き画像に
基づいて、視点位置Vcに対応する奥行き画像DVC A，
DVC B，...を生成する。さらに、ステップＳ４４で、生
成された奥行き画像DVC A，DVC B，...を統合すること
で、奥行き画像DVCを生成する。ステップＳ４６では、
奥行き画像DVCに生じた穴埋め処理を行い、最後にステ
ップＳ４８で、奥行き画像DVCを出力する。
【００９０】第１３図ステップＳ４４の統合処理は、様
々な方法で行うことができる。例えば、奥行き画像
DVC A，DVC B，...の同一座標の画素値の単純な平均値をD
VCの画素値とすればよい。ただしこの場合は、値の得ら
れていない画素を参照しない。また、奥行き画像DVC A，
DVC B，...の同一座標の画素値の最小値をDVCの画素値と
してもよい。
【００９１】または、視点位置V0 A，V0 B，...の中からV
cに最も近い視点位置を選び、この視点位置によって得
られる奥行き画像をDVCとし、このDVCの中で値の得られ
ていない画素についてのみ、残りの視点位置から得られ
る奥行き画像の同一座標の画素値によって補完すること
もできる。本変形例における奥行き画像計測部１００
は、前述の２眼ステレオカメラや多眼ステレオカメラ、
アクティブなレンジファインダのように奥行き画像を計
測可能な手段であればいかなる装置、方法を用いてもよ
い。また、奥行き画像計測部１００を１００Ａ、１００
Ｂ、・・・と複数設け、これらを組み合わせて用いるこ
ともできる。
【００９２】〈第２実施例〉 第２実施例は、第２図の
実施形態の原理を光学シースルー方式の複合現実感提示
システムに適用したものである。第１４図は、第２実施
例のシステムを示すブロック図であり、第２図と同じ番
号の要素は実施形態の要素と同じである。ただし、第１
４図中の要素１１１は光学シースルー方式のHMDを表す
ものとする。
【００９３】第１４図を参照して、第２実施例は、HMD
１１１、画像処理装置７００、画像生成モジュール４０
０、三次元CGデータベース４０１によって構成される。
HMD１１１は、光学シースルー方式であるために、右目
用画像を表示するLCD１１４Rと左目用画像を表示するLC
D１１４Lが設けられている。また、視点位置を精度よく
検出するために、三次元位置方位センサ１１２がHMD１
１１に設けられている。
【００９４】第２実施例の画像処理装置７００は、第１
４図に示すように、実施形態の画像処理装置２００（第
２図）に比して、以下の点が異なっている。まず第１
に、画像処理装置７００が出力しようとする奥行き画像
は、観測者５００（不図示）の左右の視点位置Vu R，Vu L
における奥行き画像である。第２に、視点位置推定部１
１０の出力が、奥行き画像修正部１２０のみならず画像
生成モジュール４００にも出力されている。即ち、視点
位置推定部１１０は画像生成モジュール４００に対し
て、画像提示時における観測者５００の左右の視点位置
Vu R，Vu Lを表す行列Mu R，Mu Lを出力する。さらに奥行き
画像修正部１２０は、視点位置推定部１１０から入力し
た行列Mu L、Mu Rが表わす観測者５００の左右の視点位置
Vu R、Vu Lの夫々に対応した奥行き画像DVu R，DVu Lを生成
し、画像生成モジュール４００へと出力する。
【００９５】画像生成モジュール４００は、視点位置推
定部１１０から入力した行列MU L、M U Rが表す視点位置Vu
R，Vu LをCG描画の視点位置として、また、画像処理装置
７００より入力した奥行き画像DVu R，DVu Lが表現する現
実世界の物体までの距離にしたがって、三次元CGデータ
ベース４０１を用いて複合現実感画像を生成し、これを
LCD１１４へと提示する。
【００９６】三次元CGデータベース４０１は、例えば第
１図に示した仮想物体４１０のCGデータを記憶する。
【００９７】第２実施例の視点位置推定部１１０は、HM
D１１１を装着した際の観測者５００の左右の視点位置V
u R，Vu Lを表すビューイング変換行列Mu R，Mu Lを、奥行
き画像修正部１２０と画像生成モジュール４００に出力
する。ビューイング変換行列Mu R，Mu Lを求めるための処
理は、視点位置が観測者５００の左右の視点位置である
ことを除けば、第１実施例のそれと同じであるので、説
明を省略する。
【００９８】第２実施例の奥行き画像計測部１００の処
理は第１実施例のそれと同じであるので、説明を省略す
る。
【００９９】第１実施例と異なり、第２実施例における
変形後の奥行き画像は、観測者の視点位置からLCD１１
４を通して観測される現実世界の奥行き画像である。即
ち、観測者の視点に等価な仮想的なカメラを想定し、そ
の仮想カメラの焦点距離をfU（ Uはユーザ（観測者）を
表す）で表わした場合に、視点位置V0で獲得された奥行
き画像DV0を空間に逆投影して、視点位置Vuに想定した
焦点距離fUの仮想カメラの撮像面に再度投影すること
が、第２実施例における奥行き画像修正部１２０の動作
である。
【０１００】この動作は、奥行き画像DVuへの投影を表
すEQ6におけるカメラ１１３の焦点距離fCの値を、仮想
カメラの焦点距離fUに置き換えることによって達成され
る。即ち、
【０１０１】[EQ7]
【０１０２】によって得ることができる。
【０１０３】さらに、第１実施例に比して、第２実施例
の奥行き画像修正部は以下の点が異なっている。即ち、
第１４図に示すように、視点位置を表す行列Muとして、
第２実施例の奥行き画像修正部１２０には、観測者５０
０の左右の視点位置Vu R，Vu Lに対応する２つの行列
Mu R，Mu Lが入力され、奥行き画像として、左右の視点位
置Vu R，Vu Lに対応する２つの奥行き画像DVu R，DVu Lが出
力される。これは、左右の視点に対して夫々独立に上記
の奥行き修正処理を行うことで実現される。
【０１０４】第１５図は第２実施例の画像生成モジュー
ル４００の構成を示す。まず、観測者の右眼に提示され
るLCD１１４Rへの表示画像の生成について説明する。
【０１０５】画像生成モジュール４００は、三次元CGデ
ータベース４０１からのCGデータと、視点位置推定部１
１０から入力したMU Rが表わす観測者５００の右眼の視
点位置Vu Rに基づいて、そのCGの濃淡画像（或いはカラ
ー画像）と奥行き画像を生成する。生成された濃淡画像
（或いはカラー画像）はマスク処理部４０３に、奥行き
画像は前後判定処理部４０４に送られる。
【０１０６】前後判定処理部４０４は、奥行き画像修正
部１２０からの変形された奥行き画像DVu Rをも入力す
る。この奥行き画像DVu Rは実空間の奥行き情報を表す。
従って、前後判定処理部４０４は、表示されるべきCG画
像の奥行きと実空間の奥行きとを画素ごとに比較して、
現実の奥行きがCGの奥行きより手前になる全ての画素に
“０”を、手前にならない画素に“１”を設定したマス
ク画像を生成して、マスク処理部４０３に出力する。
【０１０７】マスク画像上のある座標の画素値が０であ
るということは、CG画像上の同一座標に描画されたCG図
形が現実空間の物体より後ろにあり、CG図形は隠されて
いて見えないはずであると判断されたことに相当する。
【０１０８】マスク処理部４０３は、マスク画像に基づ
いて、CG画像をマスク処理する。即ち、マスク画像上の
各々の座標について、その座標の画素値が０であれば、
CG画像上の同一座標の画素値を０に設定する。マスク処
理部４０３からの出力はLCD１１４Rに出力される。
【０１０９】観測者の左眼に提示されるLCD１１４Lへの
表示画像の生成も、同様の過程で行われる。かくして、
第２実施例の装置によれば、観測者の視点位置における
奥行き画像に基づいてCG画像のマスク処理が施されるの
で、現実空間とCG画像との矛盾のない複合現実感を与え
ることができる。
【０１１０】尚、第２実施例では、観測者の左右の眼に
別個の映像を提示する例を示したが、単眼の表示系をも
つ光学シースルー方式の複合現実感提示システムの場合
には、観測者の一方の眼にのみ対応した処理を行えばよ
い。
【０１１１】尚、画像生成モジュール４００は必ずしも
第１５図の構成をとらなくてもよく、奥行き画像DVu Rを
考慮して、現実物体の手前に来ると推測される点のみを
可視としながら視点位置Vu Rに対応したコンピュータグ
ラフィック図形を描画して出力するものであれば、周知
のコンピュータグラフィック手法を用いたいずれの構成
をとってもよい。例えば、奥行き画像DVu Rをデプスバッ
ファに入力し、その後に視点位置Vu Rに対応したコンピ
ュータグラフィック図形を描画することでも、同様の動
作が実現できる。
【０１１２】〈第３実施例〉 第３実施例は、第２図の
実施形態の原理をビデオシースルー方式の複合現実感提
示システムに適用したもので、その構成は第１６図に示
される。
【０１１３】第１６図に示された第３実施例のシステム
の構成要素は、構成的には、第１４図の第３実施例のシ
ステム構成と比較すれば、前者（第３実施例）は、HMD
１１１が遮蔽型になっている点、位置センサ１１２の代
わりにカメラ１１３L，１１３Rを有しており、視点位置
推定部１１０がカメラ１１３L，１１３Rが取得した画像
から夫々のカメラの視点位置VcR，VcLを推定できるよう
にした点で、後者（第３実施例）と異なる。また、第３
実施例は、ビデオシースルー方式を採用しているること
から、画像生成モジュール４００の構成も後述するよう
に第３実施例と異なり、更に、LCD１１４に表示すべき
画像の一部はカメラ１１３から得ることとなる。
【０１１４】第３実施例の視点位置推定部１１０（第１
６図）は、HMD１１１に装着された左右のカメラ１１３
R，１１３Lの視点位置VcR，VcLを表すビューイング変換
行列McR，McLを、奥行き画像修正部１２０と画像生成モ
ジュール４００に出力する。
【０１１５】第１実施例と第２実施例の視点位置推定部
１１０は位置センサ１１２によって視点位置を検出して
いたが、この第３実施例の視点位置推定部１１０は、カ
メラ１１３R，１１３Lからの画像に基づいて視点位置を
推定する。
【０１１６】画像情報に基づいて視点位置を推定する手
法には色々のものがある。例えば、実空間上の位置が既
知の特徴点の画像内における座標値の変化を追跡するこ
とによって、視点位置の移動を推定することができる。
【０１１７】例えば、第１７図では、実空間に存在する
物体６００は特徴点として頂点Q1，Q2，Q3を有するもの
とする。頂点Q1，Q2，Q3の実空間上での座標値は既知で
あるとする。時刻ｔ1における頂点Q1，Q2，Q3の画像上
での夫々の座標値と、それら頂点の既知の実空間上での
座標値から、視点Vｔ1を演算することができる。また、
カメラが移動して時刻ｔ2において同図に示すような画
像が得られたとしても、同じようにして、視点位置Vｔ2
を計算することができる。
【０１１８】尚、上記手法で用いられる既知の特徴点の
数は、アルゴリズムによって変更されるべきである。例
えば、" A self-tracking augmented reality system "
(U. NeumannとY. Cho, In Proceedings VRST'96, pag
es 109-115, 1996)のアルゴリズムでは３点の特徴点
が、"画像中の特徴点に基づく実写画像とCG画像との動
画像合成システム" (中沢，中野，小松，斎藤，映像情
報メディア学会誌，Vol.51，No.7，pages 1086-1095，1
997)のアルゴリズムでは４点の特徴点が必要とされる。
さらに、左右のカメラ１１３で撮影された２枚の映像か
ら、視点位置を推定する手法（例えば、"Superior augm
ented reality registration by integrating landmark
tracking and magnetic tracking," (A. State et a
l., Proceedings SIGGRAPH'96, pages 429-438, 199
6)）を用いることも可能である。
【０１１９】かくして、第３実施例の視点位置推定部１
１０も、カメラ１１３R，１１３Lの視点位置VcR，VcLを
得た後は、第１実施例と同様の処理にしたがって、カメ
ラ１１３R，１１３Lの視点位置VcR，VcLを表すビューイ
ング変換行列McR，McLを、夫々、奥行き画像修正部１２
０と画像生成モジュール４００に出力する。
【０１２０】第３実施例の奥行き画像計測部１００の処
理は第１実施例のそれと同じであるので、説明を省略す
る。
【０１２１】第３実施例の奥行き画像修正部１２０は、
カメラ１１３R，１１３Lの視点位置VcR，VcLを表すビュ
ーイング変換行列McR，McLと、視点位置V0における奥行
き画像DV0を入力し、左右の視点位置に対応する２つの
奥行き画像DVC R，DVC Lを出力する。
【０１２２】ただし、視点位置はカメラ１１３の視点位
置であるので、奥行き画像DVCへの投影を表す第６式に
おける焦点距離には、カメラ１１３の焦点距離fCの値を
用いればよい。
【０１２３】第１８図に第３実施例の画像生成モジュー
ル４００の構成を示す。第３実施例の画像生成モジュー
ル４００（第１５図）と比較すると、第３実施例のCG描
画部４０２と前後判定処理部４０４は第３実施例のそれ
らと実質的に同一である。一方、融合処理部４０５は、
カメラ１１３からの実空間の画像とCG描画部４０２から
の画像とを融合して出力する。
【０１２４】説明を簡単にするために、観測者の右眼に
提示されるLCD１１４Rへの表示画像の生成についてのみ
説明する。LCD１１４Lへの表示画像の生成も同様の手続
きによって行われる。
【０１２５】第３実施例の画像生成モジュール４００
は、三次元CGデータベース４０１からのCGデータと、視
点位置推定部１１０から入力した行列MC Rが表すカメラ
１１３Rの視点位置VcRに基づいて、そのCGの濃淡画像
（或いはカラー画像）と奥行き画像を生成する。生成さ
れた濃淡画像（或いはカラー画像）は融合処理部４０５
に、奥行き画像は前後判定処理部４０４に送られる。
【０１２６】前後判定処理部４０４の処理は第３実施例
のそれと同じであるので、説明を省略する。但し、第３
実施例では、前後判定処理部４０４が出力する画像を、
マスク画像ではなく前後判定画像と呼ぶ。
【０１２７】融合処理部４０５は、前後判定画像に基づ
いて、描画部４０２からのCG画像（濃淡或いはカラー画
像）とカメラからの実空間の濃淡画像（或いはカラー画
像）IVc Rとを融合する。即ち、前後判定画像上の各々の
座標について、その座標の画素値が１であれば、CG画像
上の同一座標の画素値を出力画像上の同一座標の画素値
に、画素値が０であれば、実画像上の同一座標の画素値
を出力画像上の同一座標の画素値へと設定する。融合処
理部４０５からの出力はLCD１１４Ｒに出力される。
【０１２８】尚、画像生成モジュール４００は必ずしも
第１８図の構成をとらなくてもよく、奥行き画像DVc Rを
考慮して、現実物体の手前に来ると推測される点のみを
可視としながら視点位置Vc Rに対応したコンピュータグ
ラフィック図形を描画して、実空間の濃淡画像（或いは
カラー画像）IVc Rに重畳して出力するものであれば、周
知のコンピュータグラフィック手法を用いたいずれの構
成をとってもよい。例えば、実空間の濃淡画像（或いは
カラー画像）IVc Rを描画した後に、奥行き画像DVc Rをデ
プスバッファに入力し、その後に視点位置Vc Rに対応し
たコンピュータグラフィック図形を描画することでも、
同様の動作が実現できる。
【０１２９】かくして、第３実施例の装置によれば、観
測者の視点位置における奥行き画像に基づいて融合処理
が施されるので、現実空間の画像とCG画像との矛盾のな
い複合現実感を与えることができるという、第３実施例
と同様な効果を発揮することができる。
【０１３０】尚、第３実施例では、観測者の左右の眼に
左右のカメラ１１３R，１１３Lの映像に基づいた映像を
提示する例を示したが、単眼のLCD１１４を持つビデオ
シースルー方式の複合現実感提示システムの場合には、
カメラ１１３を１台のみ装着し、観測者の一方の眼にの
み対応した処理を行えばよい。また、左右の目に対応し
たLCD１１４L，１１４Rを持つビデオシースルー方式の
複合現実感提示システムの場合でも、単眼のカメラ１１
３から得られる映像のみを処理し、同一の映像をLCD１
１４L，１１４R双方に表示することも可能である。
【０１３１】（第３の実施例の変形例） 変形例１：上
記第３実施例では、カメラ１１３はＨＭＤ１１１に装着
されていたが、ＨＭＤ１１１を用いずに、カメラ１１３
が取得した画像に対してコンピュータグラフィック図形
を重畳し、据え置き型のディスプレイ装置に提示するよ
うな、カメラがディスプレイに装着されていないタイプ
の複合現実感提示システムにおいても、本発明を適用す
ることができる。この場合、画像生成モジュール４００
が出力する画像（複合現実感画像）は、ＨＭＤ１１１で
はなくディスプレイ装置１１５に出力される。
【０１３２】〈その他の変形例〉 変形例１：前述の第２実施例、第３実施例は、複合現実
感提示システムにおける現実世界と仮想画像との前後判
定への適用を説明したものであったが、本発明の奥行き
画像測定装置は、複合現実感提示システムにおける現実
世界と仮想画像との衝突判定にも適用可能である。
【０１３３】変形例２：さらに、本発明の奥行き画像測
定装置は、移動ロボットの環境入力装置など、実環境の
奥行き情報を移動物体の視点位置で獲得することが要求
されるアプリケーションには、いずれも適用可能であ
る。
【０１３４】変形例３：第１の実施例の変形例９または
第２実施例における視点位置推定部は三次元位置方位セ
ンサを用い、第３実施例における視点位置推定部はカメ
ラからの画像情報を用いていたが、各実施例はいずれの
手法を用いても実現可能である。
【０１３５】変形例４：上記の実施形態や全ての実施例
における視点位置推定部１１０において、画像特徴によ
る視点位置推定を用いた場合、特徴点の実空間上の位置
が未知であっても、視点位置を得ることができる。
【０１３６】この変形例では、奥行き画像計測部１００
は、奥行き画像DV0を奥行き画像修正部１２０へ出力す
る他に、奥行き画像DV0と、視点位置V0でカメラ１０１
によって撮影された画像IV0を視点位置推定部１１０へ
出力する。
【０１３７】視点位置推定部１１０は、奥行き画像DV0
と、視点位置V0でカメラ１０１によって撮影された画像
IV0を奥行き画像計測部１００より入力し、画像IV0から
特徴的な点を数点（Ｐi：ｉ＝１，２，３，...）抽出
し、視点位置V0の視点座標系における座標(Xi”，
Yi”，Zi”）をEQ4によって求め、世界座標系における
各点の座標(XWi，YWi，ZWi)を、
【０１３８】[EQ8]
【０１３９】によって推定する。視点位置推定部１１０
はさらに、カメラ１１３から画像IVCを入力し、画像IVC
上で点Ｐiの対応点を探索し、画像IVC上で各特徴点Ｐi
の画像座標と３次元情報（即ち世界座標）に基づいて、
視点位置Vcを推定する。この処理は、第３実施例の視点
位置推定部１１０の動作で示した処理と同様に、様々な
手法を用いることが可能である。この変形例４によれ
ば、実空間とズレのない仮想画像を生成する場合などに
使用可能な視点位置センサを提供することができる。
【０１４０】変形例５：上記の実施形態や全ての実施例
における視点位置推定部１１０において、画像特徴によ
る視点位置推定を用いた場合、環境中におけるカメラ１
０１の位置が不定であっても、カメラ１１３の視点位置
Vcからみた奥行き画像DVcを計測することができる。
【０１４１】この変形例では、変形例４と同様、奥行き
画像計測部１００は、奥行き画像DV 0を奥行き画像修正
部１２０へ出力する他に、奥行き画像DV0と、視点位置V
0でカメラ１０１によって撮影された画像IV0を視点位置
推定部１１０へ出力する。
【０１４２】視点位置推定部１１０は、奥行き画像DV0
と、画像IV0を奥行き画像計測部１００より入力し、画
像IV0から特徴的な点を数点（Ｐi：ｉ＝１，２，
３，...）抽出し、視点位置V0の視点座標系における座
標(Xi”，Yi”，Zi”）をEQ4によって推定する。
【０１４３】視点位置推定部１１０はさらに、カメラ１
１３から画像IVCを入力し、画像IVC上において各特徴点
Ｐiの対応点を検出する。視点位置推定部１１０はさら
に、対応点の得られた特徴点Ｐiの画像IVC上での画像座
標と視点位置V0の視点座標系における３次元座標に基づ
いて、視点位置V0の視点座標系における視点位置Vcを推
定し、視点位置V0から視点位置Vcへの視点変換行列MCを
奥行き画像修正部１２０へと出力する。この処理には、
視点位置V0の視点座標系自身を世界座標系と定義するこ
とで、第３実施例の視点位置推定部１１０の動作で示し
た処理と同様に、様々な手法を用いることが可能であ
る。
【０１４４】本変形例では、カメラ１０１が世界座標系
の原点に位置し変換行列MOが単位行列となるので、奥行
き画像修正部１２０は、EQ5の座標変換演算に用いる行
列ΔMとして、視点位置推定部１１０から入力した視点
変換行列MCを用いることができる。
【０１４５】この変形例５によれば、カメラ１０１の位
置が不定であっても、カメラ１１３の視点位置Vcから見
た奥行き画像DVcを計測することが可能になる。
【０１４６】変形例６：第２実施例や第３実施例のよう
に変形後の奥行き画像を複数生成する必要がある場合に
おいて、視点位置推定部１１０は、代表的な視点位置
（例えば右のカメラ１１３Rの視点位置）を表す行列
（例えばMcR）のみを出力しても良い。この場合、奥行
き画像修正部１２０は、その内部で、各視点位置の相対
的な位置関係に基づいて、夫々の視点位置を表す行列Mc
を演算する。
【０１４７】変形例７：上記の実施形態や実施例におい
て、奥行き画像生成装置の出力する画像は、現実空間の
奥行き値そのものを表すものでなくても良い。即ち、奥
行き情報と一対一に対応する例えば視差の情報を保持し
た視差画像でも良く、この場合の演算は、ステレオ画像
計測において通常用いられるような奥行き情報と視差情
報との対応関係に基づいて、容易に行うことができる。
【０１４８】変形例８：上記の実施形態や実施例におい
て、画像処理装置２００，３００，７００が出力する情
報は視点位置Vcにおける奥行き画像DVCのみでなくても
よく、奥行き画像DVCと共に、奥行き画像DVCの各画素の
ステータスを同一座標の画素の画素値として記録したス
テーテス画像EVCを出力しても良い。
【０１４９】即ち、奥行き画像計測部１００は、奥行き
画像DV0を生成する際に、例えば各画素毎に対応の確か
らしさを数値化した確信度を求め、対応する座標へと記
録したステーテス画像EV0を生成し、奥行き画像DV0と共
にステーテス画像EV0を奥行き画像修正部へと出力す
る。奥行き画像修正部は、奥行き画像DV0と共にステー
テス画像EV0を入力し、奥行き画像DVCを生成するととも
に、ステーテス画像EV0にも同様な変形(Warping)を施
し、奥行き画像DVCの各画素に対応したステーテス画像E
VCを生成する。このステーテス画像EVCの生成は、例え
ば、奥行き画像DVCを生成した後に、奥行き画像DVCの各
画素に対応する奥行き画像DV0の画素の座標を求め、同
一座標におけるステーテス画像EV0の画素値を、対応す
るステーテス画像EVCの画素値へ代入することで実現さ
れる。
【０１５０】また、例えば、ステータス画像EVCの内容
としては、対応するDVCの画素値が変形処理によってDV0
から投影されたものか、穴埋め処理によって補完された
ものかを記録することも可能であり、さらに、複数の情
報を夫々に格納した複数のステータス画像を出力しても
よい。
【０１５１】また、第１の実施例の変形例９において、
それぞれの奥行き画像DV0 A，DV0 B，...のステータス画
像EVC A，EVC B，...（視点位置Vcにおける奥行き画像DVC
A，DV C B，...のステータスをそれぞれ示している）を、
奥行き画像DVC A，DVC B，...の統合処理に利用すること
で、信頼度の高い奥行き情報を得ることが可能になる。
これは、例えばステータス画像EVC A，EVC B，...の同一
座標の画素値を比較し、最も信頼度の高いステータスに
対応する奥行き画像の画素値を選択することで実現され
る。
【０１５２】変形例９：上記の実施形態や実施例におい
て、画像処理装置２００，３００，７００が出力する情
報は、３次元センサ１１２やカメラ１１３が情報を出力
した時点（時刻ｔ）での視点位置VC ｔの奥行き画像では
なく、台座またはHMD１１１の動きを予測して、未来の
（奥行き画像が利用されるであろう時刻（時刻ｔ＋α）
における）視点位置VC ｔ＋αの奥行き画像であってもよ
い。このとき視点位置推定部１１０は、時刻ｔまでに入
力された情報から時刻ｔ＋αにおける視点位置Vcｔ＋α
を推定し、奥行き画像修正部１２０へと出力する。
【０１５３】奥行き画像の推定および修正にはコンピュ
ータ上での演算時間がかかる。特に観測者が移動してい
る場合には、この遅れは無視できず、演算されて得られ
た奥行き画像は、上記演算時間分だけ過去の時点での奥
行き画像であるために、このような遅れた奥行き画像を
用いて複合現実感画像を観測者に呈示したのでは、位置
ずれの発生が起こってしまう。ところが、上記のように
未来の時刻における奥行き画像を予想することによって
上記時間遅れはキャンセルされる。
【０１５４】変形例１０：上記の実施形態や実施例にお
ける奥行き画像修正部１２０において、視点位置Vcがカ
メラ１１３の視点位置である場合、出力である奥行き画
像DVCの精度を向上させるために、カメラ１１３の画像I
VCを利用することができる。即ち、奥行き画像修正部１
２０は、視点位置V0における奥行き画像DV0と視点位置V
Cを表す行列Mcの他に、カメラ１０１から画像IV0を、カ
メラ１１３から画像IVCを入力し、これらの情報に基づ
いて、第１０図の手順によって生成される奥行き画像D
VCを修正する。
【０１５５】この修正には、いくつかの方法が考えられ
る。例えば、第１０図の手順によって、奥行き画像DV0
の座標(xi，yi)の奥行き値が奥行き画像DVCの座標
(xi’，yi’）に投影されたとする。このとき、画像IV0
の対応する座標(xi，yi)の画素値と、画像IVCの対応す
る座標(xi’，yi’）の画素値とを比較することによ
り、この投影が正しいものであるかどうかを検証するこ
とが可能となる。即ち、この画素値の差（カラー画像の
場合には、RＧB距離や、赤，青，緑夫々のバンドでの差
分の絶対値の合計、または代表するバンド（例えば緑）
の差分の絶対値など）が予め定めたある一定値以上を持
つ場合には、この投影は正しくないものと判断し、奥行
き画像DVCの座標(xi’，yi’）の値を削除する。また、
投影の正誤判定は、注目する画素のみの比較ではなく、
例えば、注目する画素を中心とした近傍領域の相関値と
いった、画像特徴の対応探索に従来より用いられている
ようないずれの処理を用いることもできる。
【０１５６】画像IVCは、第１０図の手順によって生成
された奥行き画像DVCの「穴あき」状態の解消に利用す
ることも可能である。即ち、奥行き画像DVC上の座標
(xi’，yi’）の値が「穴あき」になっている場合に、
画像IVC上の対応する座標(xi’，yi’）の画素値と、そ
の近傍領域の画素値との比較から、奥行き画像DVCの座
標(xi’，yi’）の値を決定する。この処理は、例えば
以下のように行うことができる。まず第一に、画像IVC
上の座標(xi’，yi’）の近傍領域で、座標(xi’，
yi’）の画素値と画素値が一致する画素(xｊ’，
yｊ’）を抽出し、抽出された各々の点に対応する奥行
き画像DVC上の画素(xｊ’，yｊ’）の値のヒストグラム
を作成する。作成されたヒストグラムの中で、最も頻度
の高い奥行き値Dを選択し、この値Dを画像IVC上の座標
(xi’，yi’）に代入する。以上の処理を、奥行き画像D
VC上で「穴あき」の生じている全ての点に対して行うこ
とで、「穴あき」状態の解消が実現される。また、上記
の穴埋め処理は、ヒストグラムの作成に用いる領域を注
目画素毎の近傍領域に限定する必要は必ずしもなく、画
像全体で単一のヒストグラムを作成してもよく、さら
に、奥行き値の得られている他の画素の画像IVC上での
画素値との様々な類似性に基づいて、決定することがで
きる。
【０１５７】変形例１１：上記の実施形態や全ての実施
例における奥行き画像修正部１２０では、奥行き画像D
V0の全ての画素に対して上記の変形処理を行ったが、他
の方法によっても同様な効果を得ることができる。例え
ば、奥行き画像DV0上の一定間隔毎の画素に対してのみ
上記の変形処理を行い、それによって生成された画像D
Vc（又はDVu）上の他の（値の求まっていない）画素に
関しては、内挿補間によって値を求めるという方法を採
っても良い。また、奥行き画像DV0に周知のパッチ分割
処理を適用し、パッチの頂点に関してのみ上記変形処理
を行うように構成することもできる。本変形例に拠れ
ば、奥行き画像計測の高速化が実現できる。
【０１５８】変形例１２：上記第２実施例又は第３の実
施例において、画像生成モジュール４００が使用する視
点位置情報は、必ずしも画像処理装置７００（または２
００）の視点位置推定部１１０からの出力を使用しなく
てもよい。この場合、例えば周知の複合現実感システム
で用いられている他の任意の方法を用いて視点位置情報
を得ることができる。
【０１５９】
【発明の効果】以上説明したように本発明に因れば、実
空間とズレのない奥行き画像若しくは視差画像、さらに
はステータス画像を生成することができる。
【図面の簡単な説明】
【図１】 従来の複合現実感提示システムの動作原理を
説明する図。
【図２】 本発明を適用した実施形態に係る画像処理装
置２００のブロック図。
【図３】 実施形態の画像処理装置２００による奥行き
画像が位置ずれを起こさない理由を説明する図。
【図４】 本発明の第１実施例に係る画像処理装置の構
成を示すブロック図。
【図５】 第１実施例乃至第３実施例での、視点位置推
定部１１０の制御手順を示すフローチャート。
【図６】 第１実施例乃至第３実施例での、視点位置
(X、Y、Z）及び方位（ω，φ，κ）との関係を説明する
図。
【図７】 第１実施例乃至第３実施例での、奥行き画像
計測部１００の動作手順を説明するフローチャート。
【図８】 第１実施例乃至第３実施例での、奥行き画像
修正部１２０の動作原理を説明する図。
【図９】 第１実施例乃至第３実施例での、奥行き画像
修正部１２０の動作原理を説明する図。
【図１０】 第１実施例乃至第３実施例での、奥行き画
像修正部１２０の動作手順を説明するフローチャート。
【図１１】 第１実施例の変形例に関わり、複数の観測
者がいるシステムの構成を示す図。
【図１２】 第１実施例の変形例に関わり、複数の第１
の視点位置（カメラ）を有するシステムの構成を示す
図。
【図１３】 第１実施例の変形例に関わり、奥行き画像
修正部１２０の動作手順を説明するフローチャート。
【図１４】 第２実施例に係る光学シースルー方式の複
合現実感提示システムの構成を示すブロック図。
【図１５】 第２実施例での画像生成モジュール４００
の構成を示すブロック図。
【図１６】 第３実施例に係るビデオシースルー方式の
複合現実感提示システムの構成を示すブロック図。
【図１７】 第３実施例において、視点位置推定の第１
の方法を説明する図。
【図１８】 第３実施例での画像生成モジュール４００
の構成を示すブロック図。
フロントページの続き (56)参考文献 特開 平10−112831（ＪＰ，Ａ) 特開2000−215311（ＪＰ，Ａ) 昼間香織，複数の奥行き画像による仮 想視点画像の再構成方法２，1998年電子 情報通信学会情報・システムソサイエテ ィ，日本，電子情報通信学会，1998年10 月，206 (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 13/00 G06T 15/00

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項１】 情景の奥行き情報を獲得するための奥行
    き画像計測装置であって、第１の視点位置から撮影することにより得られる第１の
    撮影画像を取得する第１の撮影画像取得手段と、 前記第１の撮影画像から、前記 第１の視点位置における
    奥行き画像を生成する奥行き画像生成手段と、第２の視点位置から撮影することにより得られる第２の
    撮影画像を取得する第２の撮影画像取得手段と、 前記 第２の視点位置の視点位置情報を推定する位置情報
    推定手段と、前 記第２の視点位置の視点位置情報に基づいて、前記生
    成された前記第１の視点位置での前記情景の奥行き画像
    を、前記第２の視点位置における第２の奥行き画像に変
    形する変形手段と、前記第２の撮影画像を用いて、前記第２の奥行き画像を
    修正する修正手段と、 前記修正された 第２の奥行き画像を出力する出力手段と
    を具備することを特徴とする奥行き画像計測装置。
  2. 【請求項２】 前記第２の奥行き画像の画素値の座標に
    対応する前記第１の撮影画像における画像データと、前
    記第２の奥行き画像の画素値に対応する前記第２の撮影
    画像における画像データとを比較する比較手段を有する
    ことを特徴とする請求項１記載の奥行き画像計測装置。
  3. 【請求項３】 前記比較の結果に応じて、前記第２の奥
    行き画像の画素値を削除することを特徴とする請求項２
    記載の奥行き画像計測装置。
  4. 【請求項４】 前記第２の奥行き画像における穴あき状
    態を、該穴あきの画素の値を、近傍領域の画素から求め
    ることを特徴とする請求項１又は３記載の奥行き画像計
    測装置。
  5. 【請求項５】 さらに、 前記視点位置情報に基づき、ＣＧ画像を生成するＣＧ画
    像生成手段と、 前記修正された第２の奥行き画像を用いて、前記第２の
    撮影画像と前記ＣＧ画像を融合する融合処理手段とを有
    することを特徴とする請求項１乃至４のいずれ かに記載
    の奥行き画像計測装置。
  6. 【請求項６】 さらに、前記融合処理手段によって生成
    された画像を表示するヘッドマウントディスプレイを有
    し、 前記第２の撮影画像取得手段は、前記ヘッドマウントデ
    ィスプレイに備えられていることを特徴とする請求項１
    乃至５のいずれかに記載の奥行き画像計測装置。
  7. 【請求項７】 前記奥行き画像生成手段は、前記第１の
    視点位置における奥行き画像とともに、確信度を示すス
    テータスデータを出力することを特徴とする請求項１乃
    至６のいずれかに記載の奥行き画像計測装置。
  8. 【請求項８】 位置が固定されている画像処理装置とユ
    ーザが装着するヘッドマウントディスプレイとを有する
    複合現実空間提示システムであって、 前記ヘッドマウントディスプレイは、 画像を撮影する第１の撮影部と、 画像を表示する表示部とを有し、 前記位置が固定されている画像処理装置は、 複数の位置から画像を撮影する第２の撮影部と、 前記複数の位置から撮影された複数の画像から、奥行き
    画像を生成する奥行き画像生成手段と、 前記第１の撮影部によって撮影された撮影画像に対応す
    る視点位置情報を取得する位置情報取得手段と、 前記視点位置情報に応じて、前記奥行き画像を変形する
    変形手段と、 前記視点位置情報に応じてＣＧ画像を生成する生成手段
    と、 前記変形された奥行き画像を用いて、前記第１の撮影部
    によって撮影された撮影画像と前記ＣＧ画像を融合する
    融合処理手段と、 前記融合された画像を前記表示部に表示すべく、前記ヘ
    ッドマウントディスプレイに出力する出力手段とを有す
    ることを特徴とする複合現実空間提示システム。
  9. 【請求項９】 情景の奥行き情報を獲得するための奥行
    き画像計測方法であって、 第１の視点位置から撮影することにより得られる第１の
    撮影画像を取得する工程と、 前記第１の撮影画像から、前記第１の視点位置における
    奥行き画像を生成する工程と、 第２の視点位置から撮影することにより得られる第２の
    撮影画像を取得する工程と、 前記第２の視点位置の視点位置情報を推定する工程と、 前記第２の視点位置の視点位置情報に基づいて、前記生
    成された前記第１の視点位置での前記情景の奥行き画像
    を、前記第２の視点位置における第２の奥行き画像に変
    形する工程と、 前記第２の撮影画像を用いて、前記第２の奥行き画像を
    修正する工程と、 前記修正された第２の奥行き画像を出力する出力工程と
    を具備することを特徴とする奥行き画像計測方法。
  10. 【請求項１０】 情景の奥行き情報を獲得するための奥
    行き画像計測方法をコンピュータ装置に実現させるため
    のコンピュータプログラムを格納したコンピュータ装置
    読み取り可能な記録媒体であって、前記コンピュータプ
    ログラムが、 第１の視点位置から撮影することにより得られる第１の
    撮影画像を取得する工程のプログラムと、 前記第１の撮影画像から、前記第１の視点位置における
    奥行き画像を生成する工程のプログラムと、 第２の視点位置から撮影することにより得られる第２の
    撮影画像を取得する工程のプログラムと、 前記第２の視点位置の視点位置情報を推定する工程のプ
    ログラムと、 前記第２の視点位置の視点位置情報に基づいて、前記生
    成された前記第１の視点位置での前記情景の奥行き画像
    を、前記第２の視点位置における第２の奥行き画像に変
    形する工程のプログラムと、 前記第２の撮影画像を用いて、前記第２の奥行き画像を
    修正する工程のプログラムと、 前記修正された第２の奥行き画像を出力する工程のプロ
    グラムとを具備するこ とを特徴とする記録媒体。
JP2000085145A 1999-03-25 2000-03-24 奥行き画像計測装置及び方法、並びに複合現実感提示システム Expired - Fee Related JP3450792B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000085145A JP3450792B2 (ja) 1999-03-25 2000-03-24 奥行き画像計測装置及び方法、並びに複合現実感提示システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP8245499 1999-03-25
JP11-82454 1999-03-25
JP2000085145A JP3450792B2 (ja) 1999-03-25 2000-03-24 奥行き画像計測装置及び方法、並びに複合現実感提示システム

Publications (2)

Publication Number Publication Date
JP2000341721A JP2000341721A (ja) 2000-12-08
JP3450792B2 true JP3450792B2 (ja) 2003-09-29

Family

ID=26423465

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000085145A Expired - Fee Related JP3450792B2 (ja) 1999-03-25 2000-03-24 奥行き画像計測装置及び方法、並びに複合現実感提示システム

Country Status (1)

Country Link
JP (1) JP3450792B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103518372A (zh) * 2011-05-19 2014-01-15 索尼公司 图像处理装置、图像处理方法和程序

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4839598B2 (ja) * 2003-10-30 2011-12-21 ブラザー工業株式会社 画像表示装置
JP4522129B2 (ja) 2004-03-31 2010-08-11 キヤノン株式会社 画像処理方法および画像処理装置
JP2006003263A (ja) * 2004-06-18 2006-01-05 Hitachi Ltd 視覚情報処理装置および適用システム
JP4552131B2 (ja) * 2005-02-25 2010-09-29 カシオ計算機株式会社 デジタルカメラ、デジタルカメラの制御方法及びプログラム
JP5574852B2 (ja) * 2010-06-30 2014-08-20 キヤノン株式会社 情報処理装置、情報処理方法、システム及びプログラム
JP2012058968A (ja) * 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP2013101528A (ja) * 2011-11-09 2013-05-23 Sony Corp 情報処理装置、表示制御方法、およびプログラム
JP6520119B2 (ja) * 2012-08-06 2019-05-29 ソニー株式会社 画像処理装置および画像処理方法
US20140307055A1 (en) 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
NZ745790A (en) * 2016-03-15 2023-04-28 Magic Leap Inc Direct light compensation technique for augmented reality system
JP6750867B2 (ja) * 2016-07-29 2020-09-02 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、プログラム
JP6670204B2 (ja) * 2016-08-19 2020-03-18 日本電信電話株式会社 虚像表示システム、及び虚像表示方法
FR3088510A1 (fr) 2018-11-09 2020-05-15 Orange Synthese de vues
CN113865481B (zh) * 2020-06-30 2024-05-07 北京小米移动软件有限公司 对象尺寸测量方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
昼間香織，複数の奥行き画像による仮想視点画像の再構成方法２，１９９８年電子情報通信学会情報・システムソサイエティ，日本，電子情報通信学会，１９９８年１０月，２０６

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103518372A (zh) * 2011-05-19 2014-01-15 索尼公司 图像处理装置、图像处理方法和程序
CN103518372B (zh) * 2011-05-19 2015-12-02 索尼公司 图像处理装置、图像处理方法和程序

Also Published As

Publication number Publication date
JP2000341721A (ja) 2000-12-08

Similar Documents

Publication Publication Date Title
JP3745117B2 (ja) 画像処理装置及び画像処理方法
JP3338618B2 (ja) 実空間画像と仮想空間画像の表示方法及び表示装置
JP3593466B2 (ja) 仮想視点画像生成方法およびその装置
JP3450792B2 (ja) 奥行き画像計測装置及び方法、並びに複合現実感提示システム
JP3728160B2 (ja) 奥行き画像計測装置及び方法、並びに複合現実感提示システム
Kang et al. 3-D scene data recovery using omnidirectional multibaseline stereo
US6438507B1 (en) Data processing method and processing device
EP0680014B1 (en) Image processing method and apparatus
JP4065488B2 (ja) ３次元画像生成装置、３次元画像生成方法及び記憶媒体
JP3976900B2 (ja) 視点位置姿勢の決定方法及びカメラ装置
JP2000354257A (ja) 画像処理装置、画像処理方法、およびプログラム提供媒体
JPH11102438A (ja) 距離画像生成装置及び画像表示装置
JPH07287761A (ja) 画像処理装置及び画像処理方法
JPH10327433A (ja) 合成画像の表示装置
US6809771B1 (en) Data input apparatus having multiple lens unit
JP3561446B2 (ja) 画像生成方法及びその装置
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
JPH09245195A (ja) 画像処理方法およびその装置
JP2849313B2 (ja) 画像記録再生装置
JP3103478B2 (ja) 複眼撮像装置
JP7074546B2 (ja) 画像処理装置および方法
JP2001256482A (ja) 視差画像生成装置および視差画像生成方法
JPH0981746A (ja) 二次元表示画像生成方法
JPH08201941A (ja) ３次元画像形成方法
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030623

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070711

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080711

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080711

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090711

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090711

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100711

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100711

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110711

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120711

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120711

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130711

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees