JP3745117B2

JP3745117B2 - 画像処理装置及び画像処理方法

Info

Publication number: JP3745117B2
Application number: JP12626498A
Authority: JP
Inventors: 清秀佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1998-05-08
Filing date: 1998-05-08
Publication date: 2006-02-15
Anticipated expiration: 2018-05-08
Also published as: JPH11331874A; EP0955606A2; EP0955606A3; US6445815B1

Description

【０００１】
【発明の属する技術分野】
本発明は、現実空間の奥行き情報を獲得するために必要な画像処理技術に関する。本発明は更に矛盾のない複合現実感を観察者に提供するために必要な画像融合処理技術に関する。本発明は更に画像処理のためのプログラムの記憶媒体にも関する。
【０００２】
【従来の技術】
例えば、光学シー・スルー方式のＨＭＤ(head mount display)等を用いた複合現実感提示システムにおいて、現実世界と仮想世界を３次元的に整合のとれた形で融合しようとした場合、現実の物体と仮想物体の前後関係を正しく認識して、その前後関係に矛盾しない形で仮想物体を描画することが必要となる。そのためには、現実世界の奥行き情報（三次元情報）を獲得する必要があり、さらに、その獲得は、実時間に近い速度で行われる必要がある。
【０００３】
奥行き画像を形成するには無視できない時間を要するために、現実世界と、その所定時間後の奥行き画像に基づいて観察者に提示された映像世界にはズレが発生する。このズレは観察者に違和感として認識される。
【０００４】
このようなズレを解消するために、従来では、処理の高速化によりズレ時間を最小化する試みを行っている。例えば、"CMU Video-Rate Stereo Machine", Mobile Mapping Symposium, May 24-26, 1995, Columbus, OHは５台のカメラからの画像をパイプライン処理を行って高速化を図っている。
【０００５】
【発明が解決しようとする課題】
しかしながら、このような高速化によっても数フレーム程度の遅れが発生してしまう。この、数フレーム遅れで得られる奥行き画像は、その間に生じた現実世界の変化（物体の移動や観測者の移動）を反映していないため、実際の（つまり現時点での）現実世界の奥行き情報を正確に表していない。従って、この奥行き画像を用いて現実世界と仮想世界の前後判定を行った場合、現実世界と仮想世界の前後関係は矛盾したものとなってしまい、観察者に耐え難い違和感を与えてしまう。また、パイプラインの高速化は限界があり、原理的に遅れをゼロにすることはできない。
【０００６】
第１図を用いて、この問題を詳しく説明する。ただしここでは説明を簡略化するために、観察者はカメラと同一の視点によって現実世界を観測しているものと仮定する。
【０００７】
第１図に於いて、４００を実空間中の物体（例えば三角柱形状のブロック）とすると、不図示の複合現実感提示システムは、観察者（不図示）に、この実物体４００の例えば背後に仮想物体４１０（例えば円柱形状のブロック）を融合させて見せるための複合現実感画像を提示するものとする。複合現実感提示システムは、観察者と共に移動するカメラが撮像した画像から実物体４００の奥行き画像を生成し、仮想物体４１０の画像を提示するに際して、実物体４００と仮想物体４１０との前後関係をこの奥行き画像から判定する。
【０００８】
観察者は、視点位置を、Ｐ₁，Ｐ₂，Ｐ₃，Ｐ₄と順に移動させてきて、現在、視点位置Ｐ₅にいるとする。すると、視点位置Ｐ₅では、観察者にはシーン５００₅が見えるはずである。
【０００９】
もし仮に、シーン５００₅の奥行き画像（視点位置Ｐ₅から観測して得たシーン５００₅の奥行き画像５１０₅）が得られているとすれば、複合現実感提示システムは、第２図のような、一部分６００が隠れられされるような仮想画像４１０₅を生成し、物体４００の背後に仮想物体４１０の一部が隠れているようなシーン５２０₅（第３図）を正しい隠れの関係で描画することができる筈である。
【００１０】
しかし、この複合現実感提示システムは内部の処理にΔｔ時間だけ要するために、複合現実感提示のために視点位置Ｐ₅で用いようとする奥行き画像は、視点位置Ｐ₅からΔｔだけ遡った過去の視点位置（これを便宜上第１図における視点位置Ｐ₂とする）での奥行き画像である。即ち、現在時刻においては（即ち、第１図における視点位置Ｐ₅では）、Δｔだけ過去の視点位置Ｐ₂でのシーン５００₂に対応した奥行き画像５１０₂しか得ることができない。
【００１１】
物体４００は、視点位置Ｐ₂では、シーン５００₂に示すように、シーン５００₅と比べてより右側の位置に観測されていた筈であり、その奥行き画像５１０₂もシーン５００₂に対応したものになっていた筈である。従って、視点位置Ｐ₅における現実世界と仮想世界の前後判定をこの奥行き画像５１０₂に従って行うと、第４図のように、一部６１０が隠れられされた仮想画像４１０₂が生成されるために、提示される複合現実世界では、第５図に示されるように、前方にある筈の実物体４００が後方にある筈の仮想物体４１０の仮想画像４１０₂に隠され、反対に、仮想物体４１０は隠される筈のない一部６１０が欠けたものととして観察者に提示されることになる。
【００１２】
このように、奥行き画像を生成するのに要する時間を無視して複合現実感を提示すると、不自然な矛盾のある世界が提示される。ところで、ハードウエアによる処理の高速化に基づく実時間ステレオ処理による問題点を指摘した従来技術に、「複合現実感のためのRealtime Delay-free Stereoの提案」（菅谷保之、大田友一）という論文がある。
【００１３】
この論文は、未来の奥行き画像を予測するというアイデアを提示している。即ち、ステレオ法による視差推定を行うとの並列に、過去のステレオ結果を利用し、時系列方向の相関を活用した高速な視差推定手法を実行することで、入力から出力までの遅延をできるだけ短くするアルゴリズムを提案している。
しかしながら、この論文は固定されたカメラを前提としており、カメラ自体（即ち観察者の視点位置）が移動するような場合に対応することはできない。
【００１４】
【課題を解決するための手段】
本発明の目的は、観察者の視点位置が移動する場合においても、三次元的に整合のとれた複合現実感画像を提示することのできる画像処理装置及び画像処理方法を提案することにある。
【００１５】
すなわち、本発明の要旨は、情景の奥行き情報を連続的に獲得するための奥行き画像処理装置であって、連続的に移動する視点位置から情景の画像を連続的な時系列で入力する画像入力手段と、連続的に移動する視点位置の位置情報を連続的な時系列で取得する位置情報取得手段と、入力手段により入力した情景画像から、奥行き画像を生成する奥行き画像生成手段と、所定時間後の視点位置を、位置情報取得手段によって取得した位置情報群から推定する推定手段と、推定された所定時間後の視点位置に応じて、生成された奥行き画像を修正し、所定時間後に入力する情景の画像の奥行き画像として求める奥行き画像修正手段とを有し、奥行き画像修正手段は、生成された奥行き画像を空間に逆投影し、推定された所定時間後の視点位置に想定した撮像面に再度投影することにより、生成された奥行き画像を修正することを特徴とする画像処理装置に存する。
【００１６】
また、本発明の別の要旨は、情景の奥行き情報を連続的に獲得するための奥行き画像処理方法であって、連続的に移動する視点位置から情景の画像を連続的な時系列で入力し、連続的に移動する視点位置の位置情報を連続的な時系列で取得し、入力手段により入力した情景画像から、奥行き画像を生成し、所定時間後の視点位置を、位置情報取得手段によって取得した位置情報群から推定し、生成された奥行き画像を空間に逆投影し、推定された所定時間後の視点位置に想定した撮像面に再度投影することにより、推定された所定時間後の視点位置に応じて、生成された奥行き画像を修正し、所定時間後に入力する情景の画像の奥行き画像として求めることを特徴とする画像処理方法に存する。
【００１７】
また、本発明の別の要旨は、コンピュータ装置に、情景の奥行き情報を連続的に獲得するための奥行き画像処理方法であって、連続的に移動する視点位置から情景の画像を連続的な時系列で入力する工程と、連続的に移動する視点位置の位置情報を連続的な時系列で取得する工程と、入力手段により入力した情景画像から、奥行き画像を生成する工程と、所定時間後の視点位置を、位置情報取得手段によって取得した位置情報群から推定する工程と、生成された奥行き画像を空間に逆投影し、推定された所定時間後の視点位置に想定した撮像面に再度投影することにより、推定された所定時間後の視点位置に応じて、生成された奥行き画像を修正し、所定時間後に入力する情景の画像の奥行き画像として求める工程とを実現させるコンピュータプログラムを格納したコンピュータ装置読み取り可能な記録媒体に存する。
【００１８】
【発明の実施の形態】
以下、添付図面を参照しながら、本発明を適用した好適な実施形態に係る奥行き画像生成のための画像処理装置を説明する。
【００１９】
〈実施形態〉
第６図は、実施形態の原理的構成を示すもので、台座１００に装着された２台のカメラ１０２Ｒ，１０２Ｌを有する、画像処理装置２００を主に示す。
台座１００は、前方のシーンをステレオ撮影するための２台のカメラ１０２Ｒ，１０２Ｌを有する。時刻ｔ₀において夫々のカメラで撮影された実空間の環境シーンを表す画像信号はＩ_R，Ｉ_Lとして画像処理装置２００に送られる。画像処理装置２００は、この画像信号Ｉ_R，Ｉ_Lを入力して環境シーンの奥行き画像ＩＤ（三次元形状情報Ｚ）を抽出する奥行き推定モジュール２０２と、カメラ１０２Ｒの未来時刻ｔ_F（＝ｔ₀＋Δｔ）における視点の相対的な位置を推定するモジュール２０１と、モジュール２０２が推定した奥行き画像をこの視点位置における奥行き画像ＩＤ_Wに変形する奥行き修正モジュール２０３とを有する。
【００２０】
視点位置推定モジュール２０１は、時刻ｔ₀における視点位置からみた時刻ｔ_Fにおける視点の相対的な位置を奥行き修正モジュール２０３に出力する。
【００２１】
視点位置推定モジュール２０１は２つの入力経路を有する。１つは、台座１００に装着された三次元位置方位センサ１０１からの位置情報（ｘ，ｙ，ｚ）と方位情報（ω，ψ，κ）である。尚、位置情報（ｘ，ｙ，ｚ）と方位情報（ω，ψ，κ）とまとめて、以下「位置情報Ｖ」と呼ぶ。他方の視点位置方位推定モジュール２０１への入力経路はカメラ１０２Ｒからの画像信号Ｉ_Rである。
【００２２】
三次元位置方位センサ１０１は台座１００に装着され、カメラ１０２Ｒの視点位置を出力するようにキャリブレーションされている。即ち、センサ自身とカメラ１０２Ｒとの相対的な位置関係（オフセット）をあらかじめ計測し、センサ本来の出力であるセンサ自身の位置情報に、このオフセットを付加することにより、カメラ１０２Ｒの位置情報Ｖが出力される。
【００２３】
視点位置推定モジュール２０１がセンサ１０１から位置情報Ｖ（ｘ，ｙ，ｚ，ω，ψ，κ）を入力するときは、その位置情報Ｖがカメラ１０２Ｒの視点位置を表す。他方、視点位置推定モジュール２０１が画像信号Ｉ_Rを入力するときは、視点位置推定モジュール２０１はこの画像信号Ｉ_Rからカメラ１０２Ｒの位置情報Ｖを抽出する。このように、視点位置推定モジュール２０１は、時系列で入力されるセンサ１０１あるいはカメラ１０２Ｒのいずれからの信号に基づいて、カメラ１０２Ｒの位置情報Ｖを時系列で抽出する。
【００２４】
視点位置推定モジュール２０１はさらに、時系列で入力されたカメラ１０２Ｒの位置情報Ｖに基づいて、時刻ｔ₀におけるカメラ１０２Ｒの視点位置からみた、時刻ｔ_Fにおけるカメラ１０２Ｒの相対的な視点位置の変化ΔＶを推定し、これを出力する。
【００２５】
第６図の画像処理装置２００の特徴は、任意の未来の時刻ｔ_Fにおける視点位置の変化ΔＶを推定し、この視点位置における奥行き画像ＩＤ_Wを生成する点にある。奥行き修正モジュール２０３は、奥行き推定モジュール２０２が推定した奥行き画像ＩＤに変形処理（warping)を施し、奥行き画像ＩＤ_Wを生成する。この変形処理（warping)の具体的動作については後述する。
【００２６】
時刻Δｔの設定は任意である。今、カメラ１０２による画像取り込みが処理時間δ₁を要し、奥行き推定モジュール２０２が処理時間δ₂を要し、奥行き修正モジュール２０３が処理時間δ₃を必要とするとする。例えば、ここで時刻ｔ_Fを、
ｔ_F＝ｔ₀＋δ₁＋δ₂＋δ₃＝ｔ₀＋Δｔ …（１）
（但し、Δｔ≡δ₁＋δ₂＋δ₃と定義した）に設定することで、奥行き画像ＩＤ_Wが出力される時刻を、時刻ｔ_Fと一致させることができる（即ち、遅れのない奥行き画像を得ることができる）。
以上が、本発明の実施形態の基本原理の説明である。
【００２７】
第６図に示された実施形態の画像処理装置は、そのハード構成上、パイプライン処理を行うことにより処理効率を上げることができる。
第７図は、第６図の画像処理装置にパイプライン処理を適用した場合のそのパイプラインの順序を示す。
即ち、任意の時刻ｔ₀（現時点とする）において、２台のカメラ１０２が左右２つの画像信号Ｉ_R，Ｉ_Lを入力する。この入力処理に時間δ₁を要するとする。
【００２８】
時刻ｔ₀＋δ₁において画像信号Ｉ_R，Ｉ_Lを入力した奥行き推定モジュール２０２は、時刻ｔ₀における奥行き推定を行う。この処理に時間δ₂だけ要するとする。すると、時刻ｔ₀＋δ₁＋δ₂に、奥行き推定モジュール２０２は時刻ｔ₀における奥行き画像ＩＤを奥行き修正モジュール２０３に出力する。
【００２９】
一方、視点位置推定モジュール２０１は、その画像信号（或いは位置センサの信号）から現在の視点位置Ｖ_t0を求め、併せて、現時点までの視点位置の軌跡からΔｔ時間後の視点位置Ｖ_tFを推定して、この間の視点位置の変化ΔＶを出力する。視点位置推定モジュール２０１は、この推定処理にδ₀時間（第７図参照）必要とするとする（このとき、時間δ₀は時間δ₂と比べて十分小さいとする）。従って、この視点位置推定処理を時刻ｔ₀＋δ₁＋δ₂−δ₀に開始することで、時刻ｔ₀＋δ₁＋δ₂に（即ち奥行き推定モジュールの出力と同時に）、視点位置の変化ΔＶが奥行き修正モジュール２０３に出力される。
【００３０】
尚、視点位置推定モジュール２０１が推定結果を出力するタイミングと、奥行き修正モジュール２０３が推定結果を入力できるタイミングとの同期を取ることができない場合には、推定結果を一時的に蓄えるバッファメモリを視点位置推定モジュール２０１または奥行き修正モジュール２０３に設ければよい。
【００３１】
奥行き修正モジュール２０３は、時刻ｔ₀＋δ₁＋δ₂に修正（warp）処理を開始する。即ち、奥行き修正モジュール２０３は、奥行き推定モジュール２０２が推定した時刻ｔ₀における奥行き画像ＩＤを、視点位置推定モジュール２０１が推定した時刻ｔ₀＋Δｔにおける視点位置における奥行き画像に変形する処理を開始する。この処理に、奥行き修正モジュール２０３は時間δ₃だけかかるとすると、奥行き修正モジュール２０３は、時刻ｔ₀＋δ₁＋δ₂＋δ₃において、変形された（warpされた）奥行き画像ＩＤ_Wを出力する。
【００３２】
第７図に示すように、視点位置推定モジュール２０１と奥行き推定モジュール２０２の処理とは並列処理となる。
一方、奥行き推定モジュール２０２と奥行き修正モジュール２０３とは、パイプライン処理結合が可能である。
【００３３】
即ち、実施形態の画像処理装置２００を、連続的に入力する複数のフレーム画像に適用する場合には、奥行き推定モジュール２０２は、連続的に順次画像を入力することになる。例えば３０フレーム／秒で画像を入力する場合には、奥行き推定モジュール２０２において、上記処理に要する時間δ₂内に、
３０×δ₂フレーム
が処理されなければならない。そこで、奥行き推定モジュール２０２を更に複数のモジュールユニットに分割する。この分割を、モジュール２０２における処理が、最大３０×δ₂個のユニットモジュールによる分散処理によって行われるようにすれば、奥行き推定モジュール２０２は、３０フレーム／秒で奥行き画像を連続的に推定することができる。同様に、奥行き修正モジュールもその処理に必要な時間δ₃に従って分割する。このようなモジュールユニットの分割により、実施形態の画像処理装置２００は、３０フレーム／秒の画像について、奥行き推定処理、奥行き修正処理の２つの処理をパイプライン的に連続的に行うことができる。
【００３４】
尚、分割したユニットモジュール間で同期を取る必要がある場合には、前述したように、バッファメモリを適宜追加すればよい。
尚、第６図に於いて、奥行き推定モジュール２０２や奥行き修正モジュール２０３は、一方のカメラからの画像について奥行き画像を生成しているが、用途によっては夫々のカメラからの画像について奥行き画像を生成するようにしてもよい。
また、第６図に於いてカメラ１０２の数は２個に限られることはない。奥行き推定の精度を上げるためには、２個以上の方が好ましい。
【００３５】
また、第６図の画像処理装置２００における視点推定の時間幅Δｔはδ₁＋δ₂＋δ₃と設定していた。しかし理想的には、奥行き画像を利用するアプリケーションがどの時刻における奥行き画像を必要としているかによって、Δｔの値は決定されるべきである。しかしながら、視点位置推定モジュール２０１における推定は、時間幅Δｔが大きくなるにつれて誤差が増大し、その傾向は、観察者の移動速度が高い場合や移動方向がランダムな場合に特に顕著となる。
【００３６】
即ち、Δｔを小さくしすぎても、また大きくしすぎても、誤差の増大を招く結果となる。即ち、最適なΔｔの値は、そのシステムの使用環境や、出力される奥行き画像を利用するアプリケーションの目的に応じて適宜調整しなくてはならない。言い換えれば、最適なΔｔをユーザが自由に設定できるようにすることで、最も誤差の少ない奥行き画像を出力する事ができる。
【００３７】
第１図に関して説明した従来技術にまつわる前後判定において発生する矛盾が、第６図の実施形態装置によりどのように解決されるかを説明する。
前後判定に矛盾のない複合現実感を提示するには、生成された複合現実感画像が観測者に提示される時刻における観測者の視点位置（第１図の例では位置Ｐ₅）での奥行き画像でなくてはならない。即ち、第６図の画像処理装置は、変形（ワープ）した奥行き画像を出力した時点から、その奥行きを考慮した複合現実感画像が観測者に提示されるまでに要する処理時刻をδ₄とすると、Δｔは理想的には
Δｔ＝δ₁＋δ₂＋δ₃＋δ₄…（２）
に設定すればよいことになる。
【００３８】
そこで、第６図の画像処理装置の視点位置推定モジュール２０１は、第１図における時刻ｔ₂＋δ₁＋δ₂−δ₀において、Δｔ時間後の視点位置（第１図の例では位置Ｐ₅）を予測する。また、奥行き修正モジュール２０３は、奥行き推定モジュール２０２によって得られた視点位置Ｐ₂における奥行き画像５１０₂を、上記のΔｔ時間後の予測視点位置（即ち視点位置Ｐ₅）で得られるであろう奥行き画像に変形（warp）する。従って、時刻ｔ₅−δ₄には、奥行き修正モジュール２０３は、上記変形した奥行き画像（この奥行き画像は奥行き画像５１０₅に類似することとなる）を出力するはずである。従って、この変形奥行き画像に基づいて前後関係を判定しながら仮想物体を描画して観察者に提示することで、時刻ｔ₅（視点位置Ｐ₅）において、仮想物体４１０が実物体４００と正しい前後関係にあるように、複合現実感画像を観察者の眼に映ずることができる。
【００３９】
即ち、移動するカメラにより奥行き画像を計測してズレのない複合現実感を得るためには、時刻ｔ₅よりも上記内部処理に要する時間幅Δｔだけ過去の時刻ｔ₂において奥行き画像５１０₅を推定し始めなければならず、換言すれば、時刻ｔ₂においてカメラから画像を入力した時点で、時刻ｔ₅における実空間の奥行き画像５１０₅を推定し始める必要があるのである。第６図の画像処理装置２００は、時刻ｔ₂においてカメラから入力した画像の奥行き画像５１０₂を変形し、この変形した奥行き画像を時刻ｔ₅における実空間の奥行き画像５１０₅と見なすのである。
【００４０】
〈実施例〉
以下に、上記第６図乃至第７図に関連して説明した実施形態の原理を適用した更に具体的な実施例装置を３つあげて説明する。
第１実施例の装置は、第６図と第７図に示した実施形態の原理をより具体的に説明した奥行き画像生成装置である。
第２実施例と第３実施例の装置は、奥行き画像を実空間とズレなくリアルタイムで生成する実施形態の原理を複合現実感提示システムに適用したものである。即ち、第２実施例は、光学シー・スルー方式のＨＭＤを用いた光学シー・スルー方式の複合現実感提示システムであり、第３実施例は、ビデオ・シー・スルー方式のＨＭＤを用いたビデオ・シー・スルー方式の複合現実感提示システムである。
【００４１】
〈第１実施例〉
第１実施例の構成および動作について第６図を援用して説明する。
第１実施例の装置は、前述の実施形態と比べ、視点位置をカメラ１０２Ｒの視点位置に設定している。
第６図は、第１実施例の奥行き画像生成装置のブロック図を示す。実施形態では、三次元位置方位センサ１０１を利用する場合と利用しない場合の可能性を示唆したが、第１実施例は三次元位置方位センサ１０１を利用する場合について説明する。
【００４２】
〈視点位置推定モジュール２０１の動作〉…第１実施例
第１実施例の視点位置推定モジュール２０１の動作を説明する。位置センサ１０１は、カメラ１０２Ｒの視点位置情報Ｖ_tsをセンサ１０１の時間軸ｔ_sに沿って連続的に出力する。センサの時間軸ｔ_sに沿った位置情報Ｖ_tsを、
【００４３】
【数１】

【００４４】
で表す。尚、ω，ψ，κは第８図に示すように夫々Ｘ軸，Ｙ軸，Ｚ軸周りの回転角度である。これらの視点位置Ｖ_tsに対応するビューイング変換行列（即ち世界座標系からカメラ座標系への変換行列）Ｍ_tsは、
【００４５】
【数２】

で表される。
【００４６】
第５図は視点位置推定モジュール２０１の制御手順を示す。
ステップＳ２において、センサの時間軸に沿った現時刻ｔ_smにおける位置情報Ｖ_tsmをセンサ１０１から入力する。これにより、過去に入力した位置情報と共に、位置情報列
Ｖ_ts0，Ｖ_ts1，Ｖ_ts2，…，Ｖ_tsm
が得られる。
【００４７】
位置センサ１０１からの出力は時間軸ｔ_sに従って出力される。カメラ１０２と位置センサ１０１の同期がとれている場合には、カメラ１０２によって画像が取り込まれた時刻ｔ₀の位置情報をそのまま用いることができる。一方、両者の位相が一致していない場合には、その前後の時刻にセンサから得られた位置情報の補間処理によって時刻ｔ₀の位置情報を算出する。この補間処理は、例えば簡単な１次補間によって行うことができる。即ち、時刻ｔ₀がセンサ１０１の時刻ｔ_sと第１０図に示すような関係にある場合に、ステップＳ４において、ｔ₀は、ｔ_snとｔ_sn+1と、
【００４８】
【数３】

【００４９】
（但し、０≦ｋ≦１）によって表され、式（５）からｋを求めることができる。即ち、ｋがカメラの時刻系とセンサの時刻系との関係を表す。ステップＳ６において、時刻ｔ₀でのカメラ１０２Ｒの位置Ｖ_t0は、求められたｋを用いて次の式４に従って求められる。
【００５０】
【数４】

【００５１】
次に、ステップＳ８で、時刻ｔ_F（＝ｔ₀＋Δｔ）におけるカメラ１０２Ｒの位置情報Ｖ_tFを推定する。
今、カメラ１０２Ｒの位置情報は、位置系列として、第１０図に示すように、ｔ_sm迄求められているとする。時刻ｔ_Fが、
【００５２】
【数５】

【００５３】
（但し、Δｔ_s＝ｔ_sm−ｔ_sm-1）であるならば、この関係からαを決定することができる。ステップＳ８において、時刻ｔ_Fにおけるカメラ１０２Ｒの視点位置Ｖ_tFを、例えば一次線形予測によって、
【００５４】
【数６】

によって表される。
【００５５】
尚、視点位置Ｖ_tFの推定は、２次の線形予測や、その他の予測手法によって行っても良い。
【００５６】
最後に、ステップＳ１０で、時刻ｔ₀から時刻ｔ_Fまでのカメラの視点位置の三次元運動を推定する。この三次元運動は、次式で表される行列ΔＭを求めることに帰結する。即ち、
【００５７】
【数７】

【００５８】
である。ここで、Ｍ_t0は、時刻ｔ₀における、世界座標系からカメラ１０２Ｒのカメラ座標系への変換行列を意味し、Ｍ_tFは、時刻ｔ_Fにおける、世界座標系からカメラ１０２Ｒのカメラ座標系への変換行列を意味する。また、（Ｍ_t0）^-1はＭ_t0の逆行列を意味する。即ち、ΔＭは、時刻ｔ₀におけるカメラ１０２Ｒのカメラ座標系から、時刻ｔ_Fにおけるカメラ１０２Ｒのカメラ座標系への変換行列を意味している。
ステップＳ１２ではこの変換行列ΔＭを出力する。
【００５９】
〈奥行き推定モジュール２０２〉…第１実施例
奥行き推定モジュール２０２は、カメラ１０２Ｒとカメラ１０２Ｌとから入力した画像信号Ｉ_R，Ｉ_Lをそれぞれ入力して、周知の三角測量の原理で奥行き情報を演算する。
【００６０】
第１１図は奥行き推定モジュール２０２の制御手順である。即ち、ステップＳ２０で２つの画像Ｉ_R，Ｉ_Lの間で対応点を各々の画像内で抽出する。１対の対応点は対象物体の同じ点の画素である。このような対応点の対は、画像Ｉ_R，Ｉ_L内で全ての画素または特徴的な画素について探索される必要がある。ステップＳ２２では、画像Ｉ_R，Ｉ_L内のそれぞれが対応点である一対の画素（Ｘ_Ri，Ｙ_Ri）と（Ｘ_Li，Ｙ_Li）について三角測量を適用し、カメラ１０２Ｒから見たその点の奥行きの値Ｚ_iを求める。そして、ステップＳ２４では、得られた奥行き値Ｚ_iを奥行き画像ＩＤの座標（Ｘ_Ri，Ｙ_Ri）に格納する。
【００６１】
ステップＳ２０〜ステップＳ２６のループで、全ての点についての奥行き値を求める、即ち、奥行き画像ＩＤを生成する。生成された奥行き画像ＩＤは、奥行き修正モジュール２０３に出力される。
【００６２】
また、奥行き推定モジュール２０２は、上記三角測量を用いるほかに、例えば、前述の"CMU Video-Rate Stereo Machine"に開示されている方法、或いはアクティブなレンジファインダによっても、或いは、「複合現実感のためのRealtimeDelay-free Stereoの提案」（菅谷保之他）による手法によっても可能である。
【００６３】
〈奥行き修正モジュール２０３〉…第１実施例
第６図に示すように、奥行き修正モジュール２０３は、奥行き推定モジュール２０２から受け取った視点位置Ｖ_t0における奥行き画像ＩＤを、視点位置Ｖ_tFにおける奥行き画像ＩＤ_Wに変形（warping）する。
【００６４】
奥行き修正モジュール２０３における処理の原理は次ぎのようである。即ち、視点位置Ｖ_t0で獲得された奥行き画像ＩＤを空間に逆投影して、視点位置Ｖ_tFに想定した撮像面に再度投影することが（即ち、奥行き画像ＩＤ_Wに対応する出力画像上の点（ｘ_i’，ｙ_i’）に奥行き値Ｚ_Diを与えることが）、奥行き修正モジュール２０３の基本的な動作である。
【００６５】
カメラ１０２の焦点距離をｆ_Cとする。奥行き画像ＩＤの任意の点の値がＺ_i＝ＩＤ（ｘ_i，ｙ_i）であったとすると、この点（ｘ_i，ｙ_i）は次式に従って、即ち、第１２図から明らかなように、カメラ１０２の撮像面上の点（ｘ_i，ｙ_i，ｆ_C）から視点位置Ｖ_t0におけるカメラ１０２Ｒのカメラ座標系における３次元空間中の点（Ｘ_i，Ｙ_i，Ｚ_i）
【００６６】
【数８】

【００６７】
に変換される。この点（Ｘ_i，Ｙ_i，Ｚ_i）は、カメラ１０２Ｒが視点位置Ｖ_t0から視点位置Ｖ_tFへと移動するような三次元運動ΔＭにより、視点位置Ｖ_tFにおけるカメラ１０２Ｒのカメラ座標系において、
【００６８】
【数９】

【００６９】
で表される位置（Ｘ_Di，Ｙ_Di，Ｚ_Di）に移動する筈である。視点位置Ｖ_tFでのカメラ座標系の点（Ｘ_Di，Ｙ_Di，Ｚ_Di）は、このカメラが焦点距離ｆ_Cを有するものであることから、第１３図に示すように、下記（１２）式で表される画像面上の点（ｘ_i’，ｙ_i’）に投影されるはずである。
【００７０】
【数１０】

【００７１】
奥行き修正モジュール２０３は、変形された奥行き画像ＩＤ_Wとして、ＩＤ_W（ｘ_i，ｙ_i）＝Ｚ_Diを出力する。
【００７２】
第１４図は奥行き修正モジュール２０３の処理手順を説明する。
まず、ステップＳ３０において、奥行き画像ＩＤの１つの点（ｘ_i，ｙ_i）を取り出し、ステップＳ３２で、式（１０）に従って、この点を視点位置Ｖ_t0におけるカメラ１０２のカメラ座標系に射影する。即ち、点（ｘ_i，ｙ_i）のカメラ座標系における座標（Ｘ_i，Ｙ_i，Ｚ_i）を求める。ステップＳ３４では、点（Ｘ_i，Ｙ_i，Ｚ_i）の、視点位置Ｖ_tFにおけるカメラ１０２のカメラ座標系からみた座標（Ｘ_DI，Ｙ_DI，Ｚ_DI）を式（１１）に従って求める。次に、ステップＳ３６で（１２）式に従って奥行き画像の変形後の位置（ｘ_i’，ｙ_i’）を求め、ステップＳ３８では、この出力画像上の画素（ｘ_i’，ｙ_i’）をＺ_Diで埋める。これらの処理を奥行き画像ＩＤ上の全ての点に対して施すことにより、warping処理、即ち、奥行き画像の変形が達成される。
【００７３】
尚、変形前の奥行き画像ＩＤの一点は変形後の奥行き画像ＩＤ_Wの点に一対一に対応するものであるから、変形奥行き画像ＩＤ_Wが「穴あき」状態になってしまうおそれがある。この「穴あき」状態は、値の欠落した画素の画素値を値の得られている周辺の画素の画素値の線形補間で補うことで、解消することができる。また、例えば、"View Interpolation for Image Synthesis" (Shenchang Eric ChenとLance williams, In Computer Graphics Annual Coference Series(Proceedings of SIGGRAPH 93), pages 279-288, Anaheim, California, August 1993)の手法を用いることによっても、この穴あき状態を解消することができる。
【００７４】
〈第１実施例の動作タイミング〉
第１５図は第１実施例の画像処理装置の動作タイミングを示す。
奥行き推定モジュールと奥行き修正モジュールのフレームレートは独立して設定可能である。同図に示すように、奥行き修正モジュールのフレームレートを、奥行き推定モジュールのフレームレートよりも高速に（第１５図の例では６倍）に設定することにより、１つの入力画像から複数（第１５図の例では６枚）の変形奥行き画像ＩＤ_Wをより高速に（第１５図の例では６倍）得ることができる。
【００７５】
〈第１実施例の変形例〉
第１実施例では右側のカメラ１０２Ｒを処理の対象として説明したが、同様の処理によって、左側カメラ１０２Ｌによって撮影される画像に対応した奥行き画像を出力するようにしてもよい。また、左右のカメラ双方の奥行き画像を出力するようにしてもよい。
【００７６】
〈第２実施例〉
第２実施例は、第６図の実施形態の原理を光学シー・スルー方式の複合現実感提示システムに適用したものである。
第１６図は、第２実施例のシステムを示すブロック図であり、第６図と同じ番号の要素は実施形態の要素と同じである。ただし、要素１００は光学シー・スルー方式のＨＭＤを表すものとする。第２実施例は、ＨＭＤ１００、画像処理装置２００、画像生成モジュール３００、三次元ＣＧデータベース３０１によって構成される。
【００７７】
ＨＭＤ１００は、光学シー・スルー方式であるために、右目用画像を表示するＬＣＤ１０３Ｒと左目用画像を表示するＬＣＤ１０３Ｌが設けられている。また、視点位置を精度よく検出するために、三次元位置方位センサ１０１がＨＭＤ１００に設けられている。
【００７８】
第２実施例の画像処理装置２００（第１６図）は、前述の実施形態の画像処理装置２００（第６図）に比して以下の点が異なっている。即ち、第２実施例は、まず第１に、カメラ１０２Ｒの視点位置における奥行き画像ではなく、観察者（不図示）の視点位置における奥行き画像を必要とする。第２に、観察者の左右の視点のそれぞれに対して、奥行き画像を生成する必要がある。更に、第２の実施例の視点位置推定モジュール２０１の出力は、奥行き修正モジュール２０３のみならず画像生成モジュール３００にも出力されている点で、第１実施例と異なっており、視点位置推定モジュール２０１は、画像提示時における観察者の視点位置を画像生成モジュール３００に対して出力する。
【００７９】
画像生成モジュール３００は、視点位置推定モジュール２０１から入力した視点位置をＣＧ描画のための視点位置として用いる。そして、奥行き画像が表現する現実世界の物体までの距離にしたがって、三次元ＣＧデータベースを用いて複合現実感画像を生成し、これをＬＣＤ１０３へと提示する。
尚、三次元ＣＧデータベース３０１は、例えば第１図に示した仮想物体４１０のＣＧデータを記憶する。
【００８０】
〈視点位置推定モジュール２０１の動作〉…第２実施例
第２実施例の視点位置推定モジュール２０１の動作を説明する。
第２実施例における視点位置推定モジュール２０１は、時刻ｔ₀におけるカメラ１０２Ｒの視点位置Ｖ_t0 ^CRから、時刻ｔ_Fにおける観察者の左右の視点位置Ｖ_tF ^UR，Ｖ_tF ^ULまでの三次元運動を表す行列ΔＭ^R，ΔＭ^Lを奥行き修正モジュール２０３に出力する。ここで、添え字をＣはカメラを、Ｕはユーザ（観察者）を、Ｒは右を、Ｌは左を表すものとする。
【００８１】
視点位置推定モジュール２０１は、時刻ｔ_Fにおける観察者の左右の視点位置Ｖ_tF ^UR，Ｖ_tF ^ULを、画像生成モジュール３００に出力する。第１６図に示すように、第２実施例における位置センサ１０１は、第１実施例と異なり、カメラ１０２Ｒの視点位置情報Ｖ_ts ^CRのみではなく、観察者の左右の視点位置情報Ｖ_ts ^UR，Ｖ_ts ^ULを出力する。
【００８２】
第２実施例の、時刻ｔ₀でのカメラ１０２Ｒの位置Ｖ_t0 ^CR（と、これに対応するビューイング変換行列Ｍ_t0 ^CR）の算出方法は、第１実施例と同じである。
【００８３】
一方、時刻ｔ_F（＝ｔ₀＋Δｔ）における観察者の左右の視点位置Ｖ_tF ^UR, Ｖ_tF ^UL（と、これに対応するビューイング変換行列Ｍ_tF ^UR，Ｍ_tF ^UL）も第１実施例と同様に式（８）によって推定できる。ただし、視点位置がカメラから観察者になったことのみが異なっている。
【００８４】
三次元運動を表す行列ΔＭ^R，ΔＭ^Lも、式（９）と同様に求める事ができ、即ち、（１３）式を得る。
【００８５】
【数１１】

【００８６】
尚、第２実施例の奥行き推定モジュール２０２の処理は第１実施例のそれと同じであるので、説明を省略する。
【００８７】
尚、位置センサ１０１はＶ_ts ^CRのみを出力するものであっても良い。この場合、視点位置推定モジュール２０１は、既知の情報であるカメラ１０２Ｒと観察者の左右の視点位置の相対的な位置関係を利用して、内部でＶ_ts ^UR，Ｖ_ts ^ULを算出する構成をとする。
【００８８】
〈奥行き修正モジュール２０３〉…第２実施例
第１実施例と異なり、第２実施形態における変形後の奥行き画像は、観察者の視点位置からＬＣＤ１０３を通して観測される現実世界の奥行き画像である。即ち、観察者の視点に等価な仮想的なカメラを想定し、その仮想カメラの焦点距離をｆ_U（Ｕはユーザ（観察者）を表す）で表わした場合に、視点位置Ｖ_t0で獲得された奥行き画像ＩＤを空間に逆投影して、視点位置Ｖ_tFに想定した焦点距離ｆ_Uの仮想カメラの撮像面に再度投影することが、第２実施例における奥行き修正モジュール２０３の動作である。この動作は、奥行き画像ＩＤ_Wへの投影を表す式（１２）で、カメラ１０２の焦点距離ｆ_Cの値を仮想カメラの焦点距離ｆ_Uに置き換えることによって達成される。
【００８９】
さらに、第１実施例に比して、第２実施例の奥行き修正モジュールは以下の点が異なっている。即ち、第２実施例の奥行き修正モジュールは、視点位置の三次元運動を表す行列ΔＭとして、左右の視点位置に対応する２つの三次元運動を表す行列ΔＭ^R，ΔＭ^Lを入力し、奥行き画像ＩＤ_Wとして、左右の視点位置に対応する２つの奥行き画像ＩＤ_W ^R，ＩＤ_W ^Lを出力する。これは、左右の視点に対してそれぞれ独立に上記の奥行き修正処理を行うことで実現される。
【００９０】
〈画像生成モジュール３００〉…第２実施例
第１６図は第２実施例の画像生成モジュール３００の構成を示す。
まず、観察者の右眼に提示されるＬＣＤ１０３Ｒへの表示画像の生成について説明する。
画像生成モジュール３００は、三次元ＣＧデータベース３０１からのＣＧデータと、視点位置推定モジュール２０１から入力した観察者の右眼の視点位置Ｖ_tF ^URに基づいて、そのＣＧの濃淡画像（或いはカラー画像）と奥行き画像を生成する。生成された濃淡画像（或いはカラー画像）はマスク処理部３０３に、奥行き画像は前後判定処理部３０４に送られる。前後判定処理部３０４は、奥行き修正モジュール２０３からの変形された奥行き画像ＩＤ_W ^Rをも入力する。この奥行き画像ＩＤ_W ^Rは実空間の奥行き情報を表す。従って、前後判定処理部３０４は、表示されるべきＣＧ画像の奥行きと実空間の奥行きとを画素ごとに比較して、現実の奥行きがＣＧの奥行きより手前になる全ての画素に“０”を、手前にならない画素に“１”を設定したマスク画像を生成して、マスク処理部３０３に出力する。
【００９１】
マスク画像上のある座標の画素値が０であるということは、ＣＧ画像上の同一座標に描画されたＣＧ図形が現実空間の物体より後ろにあり、ＣＧ図形は隠されていて見えないはずであると判断されたことに相当する。マスク処理部３０３は、マスク画像に基づいて、ＣＧ画像をマスク処理する。即ち、マスク画像上の各々の座標について、その座標の画素値が０であれば、ＣＧ画像上の同一座標の画素値を０に設定する。マスク処理部３０３からの出力はデイスプレイ１０３Ｒに出力される。観察者の左眼に提示されるＬＣＤ１０３Ｌへの表示画像の生成も、同様の過程で行われる。
【００９２】
かくして、第２実施例の装置によれば、ステレオ処理によって生じる遅れの影響を受けることなく、観察者に提示されるべきＣＧ画像の生成の際に、時刻ｔ_Fで観測されるであろう奥行き画像に基づいてマスク処理が施されるので、現実空間とＣＧ画像との矛盾のない複合現実感を与えることができる。
【００９３】
〈第２実施例の変形例〉
第２実施例においては、奥行き画像の修正は、極力、観察者に複合現実感画像が提示される時点での観察者の視点位置を目的の視点位置として行われることが理論上好ましい。この目的のために、画像生成モジュール３００が奥行き画像ＩＤ_Wを入力してからＬＣＤ１０３へ複合現実感画像が提示されるまでに要する処理時刻をδ₄とする。理論的には、画像処理装置２００における視点推定の時間幅Δｔを、
Δｔ＝δ₁＋δ₂＋δ₃＋δ₄…（１４）
に設定することで、ＬＣＤ１０３に提示される１フレーム毎の複合現実感画像は、観察者が現在見ている現実空間と同期がとれたものとなる。
【００９４】
また、第２実施例では、カメラ１０２の視点位置や焦点距離と観察者の左右の視点位置や焦点距離を別個に扱うようにしているが、観察者の視点がカメラと一致するような構成であれば、これらを同一のものとして扱うことができる。
【００９５】
また、第２実施例では、観察者の左右の眼に別個の映像を提示する例を示したが、単眼の表示系をもつ光学シー・スルー方式の複合現実感提示システムの場合には、観察者の一方の眼にのみ対応した処理を行えばよい。
【００９６】
〈第３実施例〉
第３実施例は、第６図の実施形態の原理をビデオ・シー・スルー方式の複合現実感提示システムに適用したもので、その構成は第１８図に示される。
第１８図に示された第３実施例のシステムの構成要素を第１６図の第２実施例のシステム構成と比較すれば、前者は、頭部センサ１０１を有さない点と、視点位置推定モジュール２０１がカメラ１０２が取得した画像から、視点位置の移動を推定できるようにした点で、後者と異なる。
【００９７】
また、第３実施例はビデオ・シー・スルー方式のＨＭＤを採用することから、画像生成モジュール３００の構成も後述するように第２実施例と異なる。
また、ビデオ・シー・スルー方式であることから、第３実施例では、ＬＣＤ１０３に表示すべき画像の一部はカメラ１０２から得ることとなる。
【００９８】
〈視点位置推定モジュール２０１〉…第３実施例
第３実施例の視点位置推定モジュール２０１は、時刻ｔ₀におけるカメラ１０２Ｒの視点位置Ｖ_t0 ^CRから時刻ｔ_Fにおける左右のカメラ１０２Ｒ，１０２Ｌの視点位置Ｖ_tF ^CR，Ｖ_tF ^CLに至るまでの三次元運動を表す行列ΔＭ^R，ΔＭ^Lを、奥行き修正モジュール２０３に出力する。更に、時刻ｔ_Fにおける左右のカメラ１０２Ｒ，１０２Ｌの視点位置Ｖ_tF ^CR，Ｖ_tF ^CLを、画像生成モジュール３００に出力する。
【００９９】
第１実施例と第２実施例の視点位置推定モジュール２０１は位置センサ１０１によって視点位置を検出していた。この第３実施例の視点位置推定モジュール２０１は、カメラ１０２Ｒ，１０２Ｌからの画像に基づいて視点の移動を推定する。
【０１００】
画像情報に基づいて視点位置を推定する手法には色々のものがある。例えば、実空間上の位置が既知の特徴点の画像内における座標値の変化を追跡することによって、視点位置の移動を推定することができる。例えば、第１９図では、実空間に存在する物体６００は特徴点として頂点Ｑ₁，Ｑ₂，Ｑ₃を有するものとする。頂点Ｑ₁，Ｑ₂，Ｑ₃の実空間上での座標値は既知であるとする。時刻ｔ₁における頂点Ｑ₁，Ｑ₂，Ｑ₃の画像上での夫々の座標値と、それら頂点の既知の実空間上での座標値から視点Ｖ_t1を演算することができる。また、カメラが移動して時刻ｔ₂において同図に示すような画像が得られたとしても、同じようにして、視点位置Ｖ_t2を計算することができる。
【０１０１】
尚、上記手法で用いられる既知の特徴点の数は、アルゴリズムによって変更されるべきである。例えば、" A self-tracking augmented reality system " (U. NeumannとY. Cho, In Proceedings VRST'96, pages 109-115, 1996)のアルゴリズムでは３点の特徴点が、"画像中の特徴点に基づく実写画像とCG画像との動画像合成システム" (中沢，中野，小松，斎藤，映像情報メディア学会誌，Vol.51，No.7，pages 1086-1095，1997)のアルゴリズムでは４点の特徴点が必要とされる。さらに、左右のカメラ１０２で撮影された２枚の映像から、視点位置を推定する手法（例えば、"Superior augmented reality registration by integrating landmark tracking and magnetic tracking," (A. State et al., Proceedings SIGGRAPH'96, pages 429-438, 1996)）を用いることも可能である。
【０１０２】
かくして、第３実施例の視点位置推定モジュール２０１も、時刻ｔ_C0，…，ｔ_Cmにおけるカメラ１０２Ｒの視点位置Ｖ_tC0，…，Ｖ_tCmを得た後は、第１実施例と同様の処理にしたがって、カメラの三次元的移動を記述する行列ΔＭ（ΔＭ^RとΔＭ^L）とカメラ１０２の視点位置Ｍ_tF（Ｍ_tF ^CRとＭ_tF ^CL）を、それぞれ、奥行き修正モジュール２０３と画像生成モジュール３００に出力する。
尚、第３実施例の奥行き推定モジュール２０２の処理は第１実施例のそれと同じであるので、説明を省略する。
【０１０３】
〈奥行き修正モジュール２０３〉…第３実施例
第３実施例における奥行き修正モジュールは、第２実施例と同様に、視点位置の三次元運動を表す行列ΔＭとして、左右の視点位置に対応する２つの三次元運動を表す行列ΔＭ^R，ΔＭ^Lを入力し、奥行き画像ＩＤ_Wとして、左右の視点位置に対応する２つの奥行き画像ＩＤ_W ^R，ＩＤ_W ^Lを出力する。ただし、視点位置はカメラ１０２の視点位置であるので、奥行き画像ＩＤ_Wへの投影を表す式（１２）において、焦点距離にはカメラ１０２の焦点距離ｆ_Cの値を用いればよい。
【０１０４】
〈画像生成モジュール３００〉…第３実施例
第２０図に第３実施例の画像生成モジュール３００の構成を示す。第２実施例の画像生成モジュール３００（第１３図）と比較すると、第３実施例のＣＧ描画部３０２と前後判定処理部３０４は第２実施例のそれらと実質的に同一である。一方、融合処理部３０５は、カメラ１０２からの実空間の画像とＣＧ描画部３０５からの画像とを融合して出力する点で異なる。
【０１０５】
説明を簡単にするために、観察者の右眼に提示されるＬＣＤ１０３Ｒへの表示画像の生成についてのみ説明する。ＬＣＤ１０３Ｌへの表示画像の生成も同様の手続きによって行われる。
【０１０６】
第３実施例の画像生成モジュール３００は、三次元ＣＧデータベース３０１からのＣＧデータと、視点位置推定モジュール２０１から入力したカメラ１０２Ｒの視点位置Ｖ_tF ^CRに基づいて、そのＣＧの濃淡画像（或いはカラー画像）と奥行き画像を生成する。生成された濃淡画像（或いはカラー画像）は融合処理部３０５に、奥行き画像は前後判定処理部３０４に送られる。
【０１０７】
前後判定処理部３０４の処理は第２実施例のそれと同じであるので、説明を省略する。但し、第３実施例では、前後判定処理部３０４が出力する画像を、マスク画像ではなく前後判定画像と呼ぶ。
【０１０８】
融合処理部３０５は、前後判定画像に基づいて、描画部３０２からのＣＧ画像（濃淡或いはカラー画像）とカメラからの実空間の濃淡画像（或いはカラー画像）とを融合する。即ち、前後判定画像上の各々の座標について、その座標の画素値が１であれば、ＣＧ画像上の同一座標の画素値を出力画像上の同一座標の画素値に、画素値が０であれば、実画像上の同一座標の画素値を出力画像上の同一座標の画素値へと設定する。融合処理部３０５からの出力はデイスプレイ１０３に出力される。
【０１０９】
尚、第３実施例においては、視点位置Ｖ_tFとして、融合の対象となる現実空間の画像が入力された時点でのカメラの視点位置を設定することが理論上好ましい。
【０１１０】
かくして、第３実施例の装置によれば、ステレオ処理によって生じる遅れの影響を受けることなく、融合の対象となる現実空間の画像が入力された時刻に同期した奥行き画像に基づいて融合処理が施されるので、現実空間の画像とＣＧ画像との矛盾のない複合現実感を与えることができるという、第２実施例と同様な効果を発揮することができる。
【０１１１】
第３実施例は、カメラからの画像に基づいて視点位置の推定を行うので、ビデオ・シー・スルー方式の複合現実感提示システムには好適である。第２１図は第３実施例の動作タイミングを説明する。
【０１１２】
〈変形例１〉
第２、第３実施例は、複合現実感提示システムにおける現実世界と仮想画像との前後判定への適用を説明したものであったが、本発明の奥行き画像測定装置は、複合現実感提示システムにおける現実世界と仮想画像との衝突判定にも適用可能である。
【０１１３】
さらに、本発明の奥行き画像測定装置は、移動ロボットの環境入力装置など、実環境の奥行き情報を遅れなく実時間で獲得することが要求されるアプリケーションには、いずれも適用可能である。
【０１１４】
〈変形例２〉
第３実施例における視点位置推定モジュール２０１は、画像上の特徴点の二次元的な変位によっても、時刻ｔ_Fにおける視点位置の推定を行うことが可能である。
第２２図は、特徴点を二次元的に抽出するようにした場合の視点位置推定モジュール２０１の制御手順である。
【０１１５】
まず、ステップＳ４０では、カメラ１０２から画像を順次入力する。カメラ１０２は、時刻ｔ_C0，ｔ_C1，ｔ_C2，…で、それぞれ、画像Ｉ_tC0，Ｉ_tC1，Ｉ_tC2，…を撮像したとする。これら入力画像から、ステップＳ４２で、特徴点Ａの座標値列Ｐ^A _tC0，Ｐ^A _tC1，Ｐ^A _tC3，…を得る。ステップＳ４４では、時刻ｔ_Fでの特徴点Ａの座標値Ｐ^A _tFを推定する。例えばこの推定は一次予測によって行うことができる。
【０１１６】
即ち、現時点において時刻ｔ_Cmまでの画像上での特徴点Ａの座標値Ｐ^A _tCmが与えられているとして、
ｔ_F＝ｔ_Cm＋α・（ｔ_Cm−ｔ_Cm-1） …（１５）
であったとき、Ｐ^A _tF＝（ｘ^A _tF，ｙ^A _tF）は、
ｘ^A _tF＝（１＋α）・ｘ^A _tCm−α・ｘ^A _tCm-1
ｙ^A _tF＝（１＋α）・ｙ^A _tCm−α・ｙ^A _tCm-1 …（１６）
を満足するものとして得ることができる。以上の処理を特徴点Ｂ、特徴点Ｃ…に対しても行い、ステップＳ４６では、ステップＳ４４で得られた各特徴点の座標値Ｐ^A _tF，Ｐ^B _tF，Ｐ^C _tF…を用いて、時刻ｔ_Fにおける視点位置Ｖ_tFを推定する。
【０１１７】
〈変形例３〉
第１または第２実施例における視点位置推定モジュールは三次元位置方位センサを、第３実施例における視点位置推定モジュールはカメラからの画像情報を用いていたが、各実施例はいずれの手法を用いても実現可能である。
【０１１８】
〈変形例４〉
上記の実施形態や第１実施例における視点位置推定モジュールにおいて、画像特徴による視点位置推定を用いた場合、特徴点の実空間上の位置が未知であっても、奥行き画像の変形に必要な視点位置の三次元的な運動ΔＭを得ることができる。
【０１１９】
例えば第２３図に示すように、時刻ｔ_c0（＝ｔ₀），ｔ_c1，…，ｔ_cmにおいて、複数枚の画像Ｉ_tc0，Ｉ_tc1，…，Ｉ_tcmが撮影されたとする。このとき、各画像中から、複数（第２３図では３点）の特徴的な特徴点の画像座標値（Ｐ^A _tc0，Ｐ^A _tc1，…，Ｐ^A _tcm；Ｐ^B _tc0，Ｐ^B _tc1，…，Ｐ^B _tcm；Ｐ^C _tc0，Ｐ^C _tc1，…，Ｐ^C _tcm）を追跡し、さらに、時刻ｔ_Fにおける各特徴点の画像座標値（Ｐ^A _tF，Ｐ^B _tF，Ｐ^C _tF）を式（１３）と同様の手法によって推定する。
【０１２０】
これらの特徴点の画像座標値の組に基づくと、時刻ｔ₀から時刻ｔ_Fまでの視点位置の相対的な変化ΔＭを直接推定することができる。具体的には例えば因子分解法（“因子分解法による物体形状とカメラ運動の復元”，金出武男ら，電子情報通信学会論文誌D-II，Vol.J76-D-II，No.8，pages1497-1505，1993）や、Sequential Factorization Method（A Sequential Factorization Method for Recovering Shape and Motion From Image Streams, Toshihiko Morita et al., IEEETrans. PAMI, Vol.19, No.8, pages 858-867, 1997）などを適用すればよい。この場合、環境に関する知識は不要であり、特徴点は未知の点であっても良く、画像処理により特徴点が画像間で同定できさえすればよい。
【０１２１】
〈変形例５〉
上記の実施形態や実施例において、奥行き推定モジュールは複数のカメラが撮影した入力画像に対するそれぞれの奥行き画像ＩＤ^C1，ＩＤ^C2，…を出力しても良い。
【０１２２】
この場合、視点位置推定モジュールは、各奥行き画像の撮影された視点位置Ｖ_t0 ^C1，Ｖ_t0 ^C2，…から視点位置Ｖ_tFまでの各々の三次元的運動を表す行列ΔＭ^C1，ΔＭ^C1，…を出力し、奥行き変形モジュールは、それらの情報を用いて、変形後の奥行き画像ＩＤ_Wを求める事が可能である。
【０１２３】
即ち、入力される各々の奥行き画像に変形処理を施し、変形後の奥行き画像ＩＤ_W ^C1，ＩＤ_W ^C2，…を生成し、これを統合することで、出力となる変形後の奥行き画像ＩＤ_Wを生成すれば良い。あるいは、三次元運動の最も小さい視点位置（例えばこれをＶ_t0 ^Cnとする）で獲得された奥行き画像ＩＤ^CnからＩＤ_Wを生成し、このとき「穴あき」の生じた画素についてのみ他の奥行き画像の情報をもちいて埋めることもできる。
【０１２４】
〈変形例６〉
第２実施例や第３実施例のように変形後の奥行き画像を複数生成する必要がある場合において、視点位置推定モジュールは、代表的な（例えば右のカメラ１０２Ｒの）視点位置の三次元的運動を表す行列ΔＭのみを出力しても良い。この場合、奥行き修正モジュールは、その内部で、各視点位置の相対的な位置関係に基づいて、それぞれの三次元的運動を表す行列ΔＭを演算する。
【０１２５】
〈変形例７〉
上記の実施形態や実施例において、奥行き画像生成装置の出力する画像は、現実空間の奥行き値そのものを表すものでなくても良い。即ち、奥行き情報と一対一に対応する例えば視差の情報を保持した視差画像でも良く、この場合の演算は、ステレオ画像計測において通常用いられるような奥行き情報と視差情報との対応関係に基づいて、容易に行うことができる。
【０１２６】
【発明の効果】
以上説明したように本発明の奥行き画像計測装置及び奥行き画像計測方法に因れば、現実世界の奥行き画像を獲得することができる。
また、本発明の画像処理装置及び画像処理方法、さらには複合現実感提示システム、その提示方法によれば、観察者の視点位置が移動する場合においても、三次元的に整合のとれた複合現実感画像を提示することができる。
また、本発明の画像処理装置及び画像処理方法、さらには複合現実感提示システム、その提示方法によれば、三次元的に整合のとれた複合現実感画像を特に連続的に提示することができる。
【０１２７】
【図面の簡単な説明】
【図１】従来法によって得られた奥行き画像によって複合現実感画像を生成するときに発生する矛盾もしくは不整合を説明する図。
【図２】図１の複合現実感画像において、時間のズレがないと仮定した場合に矛盾もしくは不整合が発生する理由を説明する図。
【図３】図１の複合現実感画像において、時間のズレがないと仮定した場合に矛盾もしくは不整合が発生する理由を説明する図。
【図４】図１の複合現実感画像において、時間のズレがある場合に矛盾もしくは不整合が発生する理由を説明する図。
【図５】図１の複合現実感画像において、時間のズレがある場合に矛盾もしくは不整合が発生する理由を説明する図。
【図６】本発明を適用した実施形態及び第１実施例に係る画像処理装置２００のブロック図。
【図７】実施形態及び第１実施例に係る画像処理装置２００の内部処理をパイプライン処理構成とした場合の同装置の動作を説明するタイミングチャート。
【図８】実施形態及び第１実施例乃至第３実施形態における視点位置（Ｘ、Ｙ、Ｚ）及び方位（ω，ψ，κ）との関係を説明する図。
【図９】本発明の第１実施例の視点位置推定モジュール２０１の制御手順を示すフローチャート。
【図１０】本発明の第１実施例において、センサ出力とカメラ出力とが同期しない場合における同期化のための演算処理の原理を説明する図。
【図１１】本発明の第１実施例の奥行き推定モジュール２０２の動作手順を説明するフローチャート。
【図１２】第１実施例の奥行き修正モジュール２０３の動作原理を説明する図。
【図１３】第１実施例の奥行き修正モジュール２０３の動作原理を説明する図。
【図１４】第１実施例の奥行き修正モジュール２０３の動作手順を説明するフローチャート。
【図１５】第１実施例の一例の動作を説明するタイミングチャート。
【図１６】本発明の第２実施例の画像処理装置を適用した複合現実感提示システムの構成を説明する図。
【図１７】第２実施例の画像処理装置の画像生成モジュール３００の構成を示すブロック図。
【図１８】本発明の第３実施例の画像処理装置を適用した複合現実感提示システムの構成を説明する図。
【図１９】第３実施例において視点推定の他の方法を説明する図。
【図２０】第３実施例の画像処理装置の画像生成モジュール３００の構成を示すブロック図。
【図２１】第３実施例の動作を説明するタイミングチャート。
【図２２】他の手法に係る視点位置推定の制御手順を示すフローチャート。
【図２３】さらに他の手法に係る視点位置推定の制御手順を説明する図。

Claims

情景の奥行き情報を連続的に獲得するための奥行き画像処理装置であって、
連続的に移動する視点位置から前記情景の画像を連続的な時系列で入力する画像入力手段と、
前記連続的に移動する視点位置の位置情報を連続的な時系列で取得する位置情報取得手段と、
前記入力手段により入力した情景画像から、奥行き画像を生成する奥行き画像生成手段と、
所定時間後の視点位置を、前記位置情報取得手段によって取得した位置情報群から推定する推定手段と、
前記推定された所定時間後の視点位置に応じて、前記生成された奥行き画像を修正し、前記所定時間後に入力する前記情景の画像の奥行き画像として求める奥行き画像修正手段とを有し、
前記奥行き画像修正手段は、前記生成された奥行き画像を空間に逆投影し、前記推定された所定時間後の視点位置に想定した撮像面に再度投影することにより、前記生成された奥行き画像を修正することを特徴とする画像処理装置。
情景の奥行き情報を連続的に獲得するための奥行き画像処理方法であって、
連続的に移動する視点位置から前記情景の画像を連続的な時系列で入力し、
前記連続的に移動する視点位置の位置情報を連続的な時系列で取得し、
前記入力手段により入力した情景画像から、奥行き画像を生成し、
所定時間後の視点位置を、前記位置情報取得手段によって取得した位置情報群から推定し、
前記生成された奥行き画像を空間に逆投影し、前記推定された所定時間後の視点位置に想定した撮像面に再度投影することにより、前記推定された所定時間後の視点位置に応じて、前記生成された奥行き画像を修正し、前記所定時間後に入力する前記情景の画像の奥行き画像として求めることを特徴とする画像処理方法。
前記奥行き画像は、ステレオ撮影された前記情景画像を用いて生成されることを特徴とする請求項２記載の画像処理方法。
前記画像の入力と前記位置情報の取得は非同期に行われ、
前記位置情報を補間処理して、前記画像に応じた位置情報を算出することを特徴とする請求項２記載の画像処理方法。
さらに、前記推定した視点位置に応じてＣＧ画像と該ＣＧ画像の奥行き画像とを生成し、
前記所定時間後に入力した前記情景の画像と前記生成されたＣＧ画像とを、前記修正された奥行き画像を前記所定時間後に入力した前記情景の画像の奥行き画像として前記ＣＧ画像の奥行き画像と比較した結果に応じて融合することを特徴とする請求項２記載の画像処理方法。
コンピュータ装置に、
情景の奥行き情報を連続的に獲得するための奥行き画像処理方法であって、
連続的に移動する視点位置から前記情景の画像を連続的な時系列で入力する工程と、
前記連続的に移動する視点位置の位置情報を連続的な時系列で取得する工程と、
前記入力手段により入力した情景画像から、奥行き画像を生成する工程と、
所定時間後の視点位置を、前記位置情報取得手段によって取得した位置情報群から推定する工程と、
前記生成された奥行き画像を空間に逆投影し、前記推定された所定時間後の視点位置に想定した撮像面に再度投影することにより、前記推定された所定時間後の視点位置に応じて、前記生成された奥行き画像を修正し、前記所定時間後に入力する前記情景の画像の奥行き画像として求める工程とを実現させるコンピュータプログラムを格納したコンピュータ装置読み取り可能な記録媒体。