JP4032776B2 - Mixed reality display apparatus and method, storage medium, and computer program - Google Patents

Mixed reality display apparatus and method, storage medium, and computer program Download PDF

Info

Publication number
JP4032776B2
JP4032776B2 JP2002057838A JP2002057838A JP4032776B2 JP 4032776 B2 JP4032776 B2 JP 4032776B2 JP 2002057838 A JP2002057838 A JP 2002057838A JP 2002057838 A JP2002057838 A JP 2002057838A JP 4032776 B2 JP4032776 B2 JP 4032776B2
Authority
JP
Japan
Prior art keywords
image
identification information
teaching index
input
orientation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002057838A
Other languages
Japanese (ja)
Other versions
JP2003256876A (en
Inventor
友一 阿部
竜一 今泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002057838A priority Critical patent/JP4032776B2/en
Publication of JP2003256876A publication Critical patent/JP2003256876A/en
Application granted granted Critical
Publication of JP4032776B2 publication Critical patent/JP4032776B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Circuits (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、コンピュータやネットワーク上で実装された仮想空間上で実世界の様相を組み込む複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、ユーザが存在する場所や実世界オブジェクトの実空間上の位置・姿勢などの実世界状況を積極的に利用して仮想空間を現実世界に拡張する複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示する複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムに係り、特に、実物体を模倣した仮想物体を現実空間に合成して表示する複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムに関する。
【０００３】
【従来の技術】
情報処理技術や情報通信技術が高度に発達した現代においては、パーソナル・コンピュータや携帯情報端末を始めとする情報機器がオフィスや家庭内などの実世界上のいたるところに遍在する。このような環境下では、機器どうしを接続して、いつでもどこでも欲しい情報を入手する「ユビキタス（Ubiquitous）・コンピューティング」や、実世界の状況（実世界の事物やユーザの位置など）を積極的に利用した拡張現実システム（Augmented Reality：ＡＲ）の実現が期待される。
【０００４】
ユビキタス・コンピューティングの概念は、人がどこに移動しても利用できるコンピュータの環境が同じであることである。すなわち、「いつでもどこでも」なのだから、究極のユビキタス・コンピューティングは、必ずしもコンピュータやＰＤＡ（Personal Digital Assistant）や携帯電話機などの情報端末を必要とはしない。
【０００５】
また、拡張現実システムによれば、ユーザの位置などの実世界状況を利用したサービスを提供することができる。この場合、ユーザは携帯端末を保持するだけで、システムはユーザの近傍や視界中にある実世界の事物に応じた情報を提示して、ネットワーク上にある膨大な情報を利用して日常生活のあらゆる局面を支援することができる。例えば、ショッピング・モールでカメラ付き携帯端末をかざしてＣＤショップを訪ねると、お薦めの新譜が端末上で表示される。また、レストランの看板を見ると、料理の感想が表示される。
【０００６】
例えば、家庭内の家具や電化製品、インテリアなどを購入する際、それらが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなど、実際に購入する前に調べたいことが多々ある。また、部屋の模様替えを行う際、実際に家具や家電製品、インテリアなどの配置をいろいろと変更し、試したいものである。
【０００７】
ユーザが現実世界でのみ生活する場合、購入前に実際に自宅の部屋に実物を配置することは困難である。また、一般に家具や電化製品、インテリアなどは大きく重いので、実際に実物を動かしたり、室内でさまざまな配置を試みることは重労働であり現実的でない。
【０００８】
これに対し、コンピュータ上に実際の住居を模倣した３次元の仮想住居を構築して、この仮想住居の中に家具や電化製品、インテリアなどの３次元モデルを配置して、さまざまな視点から住居を眺めることができるアプリケーションが考案されている。これらのアプリケーションは、近年におけるコンピュータの処理速度の向上や、３次元コンピュータ・グラフィックス（３ＤＣＧ）技術の発展に伴い、リアリティ溢れる表現力を可能にしている。
【０００９】
しかしながら、これらの仮想現実アプリケーションを実際に利用する場合、いくつかの問題点がある。
【００１０】
まず、自分が住んでいる部屋のモデルを構築しなければならない点である。住んでいる部屋の間取りを、瞬時に、かつ正確に作成できる人は稀であり、一般にはメジャー等で実際に部屋を計測したり、家を購入する際に入手した間取り図を参考に構築しなければならない。概略的な部屋の雰囲気を表現したいのであれば大まかな部屋モデルで十分であるが、家具や電化製品、インテリアなどのサイズを調べるには正確な部屋モデルの構築が不可欠となる。
【００１１】
また、住居を模倣するには所有している家具や電化製品、インテリアなどの３次元モデルが必要であるが、これらの完全なモデルを作成あるいは入手することは困難であり、複数の３次元モデル素材の中から最も近似しているモデルを選択するのが現状である。このため、現実の住居とは異なる仮想住居が構築されてしまう。
【００１２】
さらに、コンピュータの処理速度の向上とともに、ＣＧ技術が発展し、表現力が格段に向上されたとは言え、現実と見間違えるような表現は難しく、可能であっても多大な計算時間を要するのがほとんどである。
【００１３】
【発明が解決しようとする課題】
本発明の目的は、コンピュータやネットワーク上で実装された仮想空間上で実世界の様相を組み込むことができる、優れた複合現実感表示装置及び方法、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、ユーザが存在する場所や実世界オブジェクトの実空間上の位置・姿勢などの実世界状況を積極的に利用して仮想空間を現実世界に拡張することができる、優れた複合現実感表示装置及び方法、並びにコンピュータ・プログラムを提供することにある。
【００１５】
本発明のさらなる目的は、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示することができる、優れた複合現実感表示装置及び方法、並びにコンピュータ・プログラムを提供することにある。
【００１６】
本発明のさらなる目的は、実物体を模倣した仮想物体を現実空間に合成して表示することができる、優れた複合現実感表示装置及び方法、並びにコンピュータ・プログラムを提供することにある。
【００１７】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、仮想物体を現実空間に合成して表示する複合現実感表示装置又は方法であって、
物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力部又はステップと、
前記画像入力部又はステップによる入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算部又はステップと、
前記画像入力部又はステップによる入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識部又はステップと、
前記物体認識部又はステップにより認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算部又はステップにより算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成部又はステップと、
を具備することを特徴とする複合現実感表示装置又は方法である。
【００１８】
本発明の第１の側面に係る複合現実感表示装置又は方法によれば、物体教示指標をカメラで撮影して、この撮影画像を基に物体教示指標が持つ識別情報を取得するとともに、物体教示指標が現実空間に配置された３次元位置・姿勢を取得する。さらに、仮想空間において、検出した識別情報に対応する３次元モデルを、物体教示指標から求められた３次元位置・姿勢に配置することによって、複合現実空間を比較的短時間で且つ低コストに作成することができる。
【００１９】
例えば、家庭内の家具や電化製品、インテリアなどを購入する際、それらが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなど、実際に購入する前に調べたいことが多々ある。また、部屋の模様替えを行う際、実際に家具や家電製品、インテリアなどの配置をいろいろと変更し、試したいものである。ところが、購入前に実際に自宅の部屋に実物を配置することは困難である。また、一般に家具や電化製品、インテリアなどは大きく重いので、実際に実物を動かしたり、室内でさまざまな配置を試みることは重労働であり現実的でない。
【００２０】
これに対し、本発明の第１の側面に係る複合現実感表示装置又は方法によれば、家具や家電製品、インテリアなどの現実の物体を配置してみたい場合には、現実の物体に代えて、物体教示指標を設置するだけで、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示することができる。
【００２１】
したがって、ユーザは、実空間上のシーンに仮想物体が合成された複合現実感画像を基に、家庭内の家具や電化製品、インテリアなどが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなどを、実際に購入する前に判断することが可能となる。また、家具や電化製品、インテリアなどの仮想物体以外の室内の風景や物体は、カメラから取り込まれた現実の画像をそのまま利用する。すなわち、現実空間について完全なモデルを作成あるいは入手する必要がなく、容易に拡張現実感画像を生成することができる。
【００２２】
ここで、前記画像合成部又はステップは、前記物体認識部により認識された現実物体に関する料金や仕様、あるいはその他の関連情報を入力画像上にさらに合成するようにしてもよい。
【００２３】
また、さらに前記物体教示指標までの距離を測定する距離測定部又はステップを備えていてもよい。このような場合、前記画像合成部又はステップは、前記距離測定部又はステップにより得られた距離に基づいて前記仮想物体に陰面処理を適用することにより、より自然な合成画像を得ることができる。
【００２４】
前記物体教示指標には光学的識別情報が配設されている。光学的識別情報とは、例えば、固有の色、形状、又はバーコードなどのビジュアルコード、あるいは識別情報やその他のデータを符号化した光の点滅パターンなどで構成される。
【００２５】
このような場合、前記物体認識部又はステップは、入力画像から光学的識別情報を抽出して物体の識別情報を取得することができる。
【００２６】
また、物体教示指標に互いの位置関係が既知である複数の光学的識別情報を配設するようにしてもよい。このような場合、前記位置・姿勢計算部又はステップは、入力画像から光学的識別情報を抽出して、該入力画像における各光学的識別情報の検出位置に基づいてその空間的な位置及び姿勢を算出することができる。
【００２７】
例えば、Robert M. Haralick、Chung-nan Lee、Karsten Ottenberg、及びMichael Nolle共著の論文"Analysis and Solutions of The Three Point Perspective Pose Estimation Problem"（In Proceedings of the Conference on Computer Vision and Pattern Recognition, Maui, Hawaii, USA, pp.592-598, 1991）には、対象物体上に配設された既知の３点の位置から該物体の３次元位置及び姿勢を計測する方法について記述されている。したがって、３個以上の光学的識別情報を物体教示指標に配設しておけば、前記位置・姿勢計算部又はステップは、このＲｏｂｅｒｔ外著の方法を用いて、入力画像上で抽出される３つの光学的識別情報の検出位置を基に対応する３次元位置及び姿勢を数学的に算出することができる。
【００２８】
また、加藤博一、Mark Billinghurst、浅野浩一、橘啓八郎共著の論文『マーカー追跡に基づく拡張現実感システムとそのキャリブレーション』（日本バーチャルリアリティ学会論文誌, Vol.4, No.4, 1999）には、平行四辺形の各頂点に配置された４つのマーカを基に平行四辺形の３次元位置及び姿勢を計測する方法について記載されている。したがって、平行四辺形の頂点をなす４個以上の光学的識別情報を物体教示指標に配設しておけば、前記位置・姿勢計算部又はステップは、この加藤外著の方法を用いて、入力画像上で抽出される４つの光学的識別情報の検出位置を基に対応する３次元位置及び姿勢を数学的に算出する選択することができる。
【００２９】
光学的識別情報が光の点滅パターンとして表されている場合には、前記物体認識部又はステップは、入力画像を基に各点滅光源からの点滅パターンを抽出するとともにこれらを復号化して前記物体教示指標が持つ識別情報を認識することができる。
【００３０】
また、このような場合、前記位置・姿勢計算部又はステップは、入力画像を基に各点滅光源からの点滅パターンを抽出しこれらを復号化して各々を識別するとともに、該入力画像における各点滅光源の検出位置に基づいてその空間的な位置及び姿勢を算出することができる。
【００３１】
また、本発明の第２の側面は、仮想物体を現実空間に合成して表示するための処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力ステップと、
前記画像入力ステップにおける入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算ステップと、
前記画像入力ステップにおける入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識ステップと、
前記物体認識ステップにおいて認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算ステップにおいて算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成ステップと、を具備することを特徴とする記憶媒体である。
【００３２】
本発明の第２の側面に係る記憶媒体は、例えば、さまざまなプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、ＤＶＤ（Digital Versatile Disc）やＣＤ（Compact Disc）、ＦＤ（Flexible Disk）、ＭＯ（Magneto-Optical disc）などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク（ネットワークは無線、有線の区別を問わない）などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。
【００３３】
また、本発明の第２の側面に係る記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第２の側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る複合現実感表示装置又はその方法と同様の作用効果を得ることができる。
【００３４】
また、本発明の第３の側面は、仮想物体を現実空間に合成して表示するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力ステップと、
前記画像入力ステップにおける入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算ステップと、
前記画像入力ステップにおける入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識ステップと、
前記物体認識ステップにおいて認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算ステップにおいて算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成ステップと、を具備することを特徴とするコンピュータ・プログラムである。
【００３５】
本発明の第３の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第３の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１側面に係る複合現実感表示装置又はその方法と同様の作用効果を得ることができる。
【００３６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００３７】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３８】
本発明に係る複合現実感表示システムは、実世界上に存在する物理オブジェクトに対して複数の光学的な識別情報を取り付けるとともに、これを２次元イメージ・センサを利用して撮影して画像処理・画像認識により、オブジェクトの同定するとともにその３次元的な位置や姿勢などのオブジェクトが持つ実世界状況を基にした拡張現実（ＡＲ：Augmented Reality）サービスを実現するものであり、例えば、現実空間の一部が仮想世界に拡張された複合現実感画像を提供する。
【００３９】
実世界オブジェクトに取り付ける光学的な識別情報として、色の空間パターンに符号化されたビジュアル・コードの他に、ＬＥＤのような点滅する光源からなる光学信号を利用することができる。後者の場合、距離に応じてデータが変化しない点滅パターンなどの時系列の光学信号に符号化して、データを送信することができる。
【００４０】
また、イメージ・センサは、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補性金属酸化膜半導体）センサやＣＣＤ（Charge Coupled Device：電荷結合素子）センサなどのように、無数の受光素子すなわち画素が２次元アレイ上に配置された構成であり、光学信号並びにその空間的情報を全画素でデコードする。イメージ・センサは、普通のカメラとしてシーンを撮影するとともに、そのイメージ・センサの視界中に配置された光学信号を長距離から受信することができる。したがって、光学的な識別情報を備えた実世界オブジェクトを、実世界状況を発信するための送信機としても利用することができる。
【００４１】
実世界オブジェクトに取り付けられる複数の光学的識別情報は、互いに識別可能であるだけでなく、互いの空間的な位置関係があらかじめ分かっているものとする。このような場合、空間的な解像度を持つ測定装置により実世界オブジェクトを認識することにより、単にその実世界オブジェクトを同定するだけでなく、その３次元的な位置や姿勢などを測定することができる。実世界オブジェクトが持つ空間的な位置や姿勢は、言わば実世界状況に相当する。
【００４２】
したがって、実世界オブジェクトの３次元位置・姿勢の計測結果を実世界の状況（実世界の事物やユーザの位置など）として積極的に利用することにより、拡張現実システム（Augmented Reality：ＡＲ）の実現に役立てることができる。
【００４３】
拡張現実システムによれば、ユーザの位置などの実世界情報を利用したサービスを提供することができる。この場合、ユーザは携帯端末を保持するだけで、システムはユーザの近傍や視界中にある実世界の事物に応じた情報を提示して、ネットワーク上にある膨大な情報を利用して日常生活のあらゆる局面で支援を享受することができる。例えば、ショッピング・モールでカメラ付き携帯端末をかざしてＣＤショップを訪ねると、お薦めの新譜が端末上で表示される。また、レストランの看板を見ると、料理の感想が表示される。
【００４４】
なお、本出願人に既に譲渡されている特願２００１−３２５３５６号明細書には光学的な形式で識別情報やその他のデータを担持又は伝送する光学信号と、これを捕捉する高速な２次元イメージ・センサを利用することで、空間解像度を持つとともに、遠距離でも利用可能なデータ伝送を実現するデータ通信システムについて開示している。同明細書に記載のデータ通信システムでは、ＬＥＤのような点滅する光源を光学信号とし、ビジュアル・コードのように色の空間パターンに符号化するのではなく、距離に応じてデータが変化しない点滅パターンなどの時系列の光学信号に符号化してデータを送信する。イメージ・センサは、例えばＣＭＯＳセンサやＣＣＤセンサなどのように無数の受光素子すなわち画素が２次元アレイ上に配置された構成であり、光学信号並びにその空間的情報を全画素でデコードする。したがって、イメージ・センサは、普通のカメラとしてシーンを撮影するとともに、そのイメージ・センサの視界中に配置された光学信号を長距離から受信することができる。
【００４５】
Ａ．複合現実感システムの構成
図１には、本発明の一実施形態に係る複合現実感システムの構成を模式的に示している。同図に示すように、このシステムは、カメラ１０１と、複合現実感装置１０２と、画像表示装置１０３と、物体教示指標１０４とで構成される。
【００４６】
物体教示指標１０４には、物体の３次元位置・姿勢計測を可能にするため、それぞれ識別可能な複数個のマーカが取り付けられている（後述）。各マーカは、それぞれ固有の色、形状、パターン、又は光の点滅パターンなどからなる視覚的な識別情報を持ち、マーカ毎に識別可能であるとする。また、各マーカが持つこれらの視覚的識別情報や各マーカ間の空間的な位置関係は、複合現実感システムにおいて既知であるとする。
【００４７】
カメラ１０１は、例えばレンズ歪などのない理想的なピンホール・レンズを使用して、ＣＣＤやＣＭＯＳなどの２次元イメージ・センサにより物体教示指標１０４を含む風景やその他のシーンを撮像することができる。カメラ１０１により撮像された画像フレームは空間的分解能を持つ受信データとして複合現実感装置１０２に入力される。
【００４８】
複合現実感装置１０２は、例えばパーソナル・コンピュータ（ＰＣ）などの計算機システムで構成され、ＵＳＢ（Universal Serial Bus）あるいはその他の外部インターフェースを介してカメラ１０１を接続して、撮影画像をコンピュータ・ファイルの形式で取り込むことができる。該装置１０２上では、画像フレーム中からマーカ検出に基づく３次元位置・姿勢計測処理を行なうアプリケーションが起動しており、物体教示指標１０３を含むシーン画像からマーカを３次元位置及び入力画像上の位置を基にその３次元位置及び姿勢などの実世界状況を測定する。そして、複合現実感装置１０２は、実世界状況に応じた拡張現実感サービス（後述）を提供する。
【００４９】
図１に示す例では、物体教示指標１０４は、リビング内でスピーカに挟まれたテレビ台の上に配置されて、仮想的にテレビ受像機（以下、「テレビ」とする）の存在を代行する。このとき、カメラ１０１を用いて物体教示指標１０４を含んだ領域（シーン）が撮影される。
【００５０】
カメラ１０１で取得された画像データは、空間分解能を持ち、複合現実感装置１０２へ入力されて、物体教示指標１０４の識別情報とその空間的位置や姿勢が抽出される。そして、抽出された物体教示指標１０４の識別情報に対応した仮想物体１０５（ここではテレビの３次元モデル)を入力された画像データに合成して、画像表示装置１０３に出力する。このとき、テレビの３次元モデルは、物体教示指標１０４から得られた空間的位置や姿勢などの実世界状況に基づいて現実空間の座標系にマッピングされる。
【００５１】
このようにして、カメラ１０１からの入力画像を表示出力する画像表示装置１０３の表示スクリーン上には、実際に存在しない仮想物体１０５（テレビ）が現実空間を撮影した画像上に現れる（重畳表示される）。したがって、ユーザは、現実空間内に家具や電化製品などの実物体を配置することなく、その大きさや色などといった外観が周囲環境に調和しているかを表示することが可能である。
【００５２】
図２には、本実施形態に係る複合現実感装置１０２のハードウェア構成を模式的に示している。
【００５３】
メイン・コントローラであるＣＰＵ（Central Processing Unit）１は、オペレーティング・システム（ＯＳ）の制御下で、各種のアプリケーションを実行する。
【００５４】
本実施形態では、ＣＰＵ１は、例えば、カメラ１０１の撮影画像のような空間的解像度を持つデータを基に物体教示指標１０４の空間的な位置や姿勢を計測するための３次元位置・姿勢計測アプリケーションや、物体教示指標１０４の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況を利用した拡張現実感（ＡＲ）サービスを提供するＡＲサービス・アプリケーションなどを実行することができる。
【００５５】
図示の通り、ＣＰＵ１は、バス８によって他の機器類（後述）と相互接続されている。
【００５６】
主メモリ２は、ＣＰＵ１において実行されるプログラム・コードをロードしたり、実行プログラムの作業データを一時保管するために使用される記憶装置であり、例えばＤＲＡＭ（Dynamic RAM）のような半導体メモリが使用される。例えば、カメラ１０１の撮影画像のような空間的解像度を持つデータを基に物体教示指標１０４の空間的な位置や姿勢を計測するための３次元位置・姿勢計測アプリケーションや、物体教示指標１０４の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況に応じた拡張現実感（ＡＲ）サービスを提供するＡＲサービス・アプリケーションなどが主メモリ２にロードされる。また、カメラ１０１による撮影画像に基づく物体教示指標１０４の空間的位置や姿勢に関する計算結果や、この計算結果から得られた実世界状況に応じて生成される各種のＡＲサービス・コンテンツ（例えば、家具や電化製品、インテリアなど仮想物体の３次元モデル）などが作業データとして主メモリ２に一時的に格納される。
【００５７】
また、ＲＯＭ（Read Only Memory）３は、データを恒久的に格納する半導体メモリであり、例えば、起動時の自己診断テスト（ＰＯＳＴ：Power On Self Test）や、ハードウェア入出力用のプログラム・コード（ＢＩＯＳ：Basic Input/Output System）などが書き込まれている。
【００５８】
ディスプレイ・コントローラ４は、ＣＰＵ１が発行する描画命令を実際に処理するための専用コントローラである。ディスプレイ・コントローラ４において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、ＣＲＴ（Cathode Ray Tube：陰極線管）ディスプレイやＬＣＤ（Liquid Crystal Display：液晶表示ディスプレイ）などからなる画像表示装置１０３によって画面出力される。
【００５９】
画像表示装置１０３の表示画面は、一般に、ユーザからの入力内容やその処理結果、あるいはエラーその他のシステム・メッセージをユーザに視覚的にフィードバックする役割を持つ。また、本実施形態においては、画像表示装置１０３の表示画面には、物体教示指標１０４に対応した仮想物体１０５をカメラ１０１による撮影画像に合成した拡張現実感シーンのようなＡＲサービス・コンテンツなどを表示出力するために利用される。ここで言うＡＲサービス・コンテンツには、例えば、家具や電化製品、インテリアなど仮想物体の３次元モデルがカメラ１０１による撮影画像に組み込まれた複合現実感画像を挙げることができる。複合現実感画像の生成方法の詳細については後述に譲る。
【００６０】
入力機器インターフェース５は、キーボード１２やマウス１３などのユーザ入力機器を複合現実感装置１０２に接続するための装置である。
【００６１】
キーボード１２やマウス１３は、データやコマンドなどのユーザ入力をシステムに取り込む役割を持つ。本実施形態では、キーボード１２やマウス１３は、３次元位置・姿勢計測アプリケーションの起動、ＡＲサービス・アプリケーションの起動、ＡＲサービスの指定などをユーザが指示するために使用される。
【００６２】
ネットワーク・インターフェース６は、Ｅｔｈｅｒｎｅｔ（登録商標）などの所定の通信プロトコルに従って、システム１０２をＬＡＮ（Local Area Network）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。
【００６３】
ネットワーク上では、複数のホスト端末（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信サービスを行なうことができる。例えば、カメラ１０１の撮影画像のような空間的解像度を持つデータを基に物体教示指標１０４の空間的な位置や姿勢を計測するための３次元位置・姿勢計測アプリケーションや、撮影画像から検出された複数点のマーカを基に３次元位置・推定を行なう複数のアルゴリズム（例えばライブラリ化されている）、物体教示指標１０４の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況に応じた拡張現実感（ＡＲ）サービスを提供するＡＲサービス・アプリケーションなどを、ネットワーク経由でダウンロードすることができる。また、ＡＲサービス・アプリケーションにおいて利用されるＡＲサービス・コンテンツ（例えば、家具や電化製品、インテリアなど仮想物体の３次元モデル）などを、ネットワーク経由で他のホスト装置との間で配信・配布することができる。また、複合現実感画像を提供するＡＲサービスとして、家具や電化製品、インテリアなどの商品を取り扱う場合には、その価格（若しくは拡張現実感サービスの利用料金）や製品仕様、在庫数など、実物体に関する付加情報をネットワーク経由でダウンロードしてもよい。
【００６４】
外部機器インターフェース７は、ハード・ディスク・ドライブ（ＨＤＤ）１４やメディア・ドライブ１５などの外部装置を複合現実感装置１０２に接続するための装置である。
【００６５】
ＨＤＤ１４は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり（周知）、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェア・プログラムを実行可能な状態でＨＤＤ１４上に置くことを、プログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ１４には、ＣＰＵ１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。例えば、カメラ１０１の撮影画像のような空間的解像度を持つデータを基に物体教示指標１０４の空間的な位置や姿勢を計測するための３次元位置・姿勢計測アプリケーションや、物体教示指標１０４の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況に応じた拡張現実感（ＡＲ）サービスを提供するＡＲサービス・アプリケーションなどを、ＨＤＤ１４上にインストールすることができる。また、撮影画像から検出された複数点のマーカを基に３次元位置・姿勢推定を行なう複数のアルゴリズム（例えばライブラリ化されている）や、ＡＲサービス・アプリケーションにおいて利用されるＡＲサービス・コンテンツ（例えば、家具や電化製品、インテリアなど仮想物体の３次元モデル）などをＨＤＤ１４上に蓄積しておいてもよい。また、複合現実感画像を提供するＡＲサービスとして、家具や電化製品、インテリアなどの商品を取り扱う場合には、その価格（若しくは拡張現実感サービスの利用料金）や製品仕様、在庫数など、実物体に関する付加情報を蓄積していてもよい。
【００６６】
メディア・ドライブ１５は、ＣＤ（Compact Disc）やＭＯ（Magneto-Optical disc）、ＤＶＤ（Digital Versatile Disc）などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。
【００６７】
可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。例えば、カメラ１０１の撮影画像のような空間的解像度を持つデータを基に物体教示指標１０４の空間的な位置や姿勢を計測するための３次元位置・姿勢計測アプリケーションや、物体教示指標１０４の空間的な位置や姿勢などを始めとする実世界オブジェクトについての実世界状況に応じた拡張現実感（ＡＲ）サービスを提供するＡＲサービス・アプリケーションなどを、これら可搬型メディアを利用して複数の機器間で物理的に流通・配布することができる。また、撮影画像から検出された複数点のマーカを基に３次元位置・姿勢推定を行なう複数のアルゴリズム（例えばライブラリ化されている）や、ＡＲサービス・アプリケーションにおいて利用されるＡＲサービス・コンテンツ（例えば、家具や電化製品、インテリアなど仮想物体の３次元モデル）などを他の装置との間で交換するために、可搬型メディアを利用することができる。また、複合現実感画像を提供するＡＲサービスとして、家具や電化製品、インテリアなどの商品を取り扱う場合には、その価格（若しくは拡張現実感サービスの利用料金）や製品仕様、在庫数など、実物体に関する付加情報を可搬型メディア経由で流通させてもよい。
【００６８】
カメラ・インターフェース９は、カメラ１０１を接続するための装置であり、例えばＵＳＢインターフェースで構成される。あるいはビデオ・キャプチャ・カードのようにカメラ１０１から動画像を取得するインターフェースで構成されていてもよい。カメラ１０１は、画素が２次元アレイ上に配置された構成で、物体教示指標１０４から光学信号並びにその空間的情報を全画素でデコードする。
【００６９】
なお、図２に示すような複合現実感装置１０２の一例は、米ＩＢＭ社のパーソナル・コンピュータ"ＰＣ／ＡＴ（Personal Computer/Advanced Technology）"の互換機又は後継機である。勿論、他のアーキテクチャで構成されるコンピュータを、本実施形態に係る複合現実感装置１０２として適用することも可能である。
【００７０】
図３には、複合現実感装置１０２上で実行される複合現実感表示の処理手順をフローチャートの形式で示している。この処理手順は、実際には、ＣＰＵ１が所定の複合現実感処理アプリケーションを起動して、カメラ１０１からの入力画像を処理して、画面表示装置１０３に処理結果を表示出力するという形態で実現される。以下、このフローチャートを参照しながら、複合現実感表示処理について詳解する。
【００７１】
カメラ１０１から画像データが入力されると（ステップＳ１）、別途定義されている「物体教示指標の抽出、その識別情報、３次元位置・姿勢情報の取得」処理ルーチン（後述）により、撮影された画像データ中の物体教示指標１０４が抽出され、さらにその識別情報並びに３次元位置・姿勢情報が取得される（ステップＳ２）。
【００７２】
実世界状況に応じた拡張現実感サービス（ステップＳ７，Ｓ８）において、画像データ中の物体教示指標１０４の位置にその識別情報に対応した２次元画像を単に重ねて表示する場合には、ステップＳ２における処理ルーチンでは、物体教示指標１０４の３次元位置・姿勢情報の取得は省略してもよい。物体教示指標１０４の識別情報並びに３次元位置・姿勢情報の取得方法は物体教示指標１０４の態様に依存する処理であるので、後述で物体教示指標１０４の実施形態とともに詳細に説明する。
【００７３】
次いで、カメラ１０１から入力された画像から物体教示指標１０４が抽出されたがどうかを判定する（ステップＳ３）。抽出された場合には、後続のステップＳ４へ進み、抽出された物体教示指標１０４の識別情報に対応した実物体についての３次元モデルの取得を試みる。
【００７４】
ここで、３次元モデルは、実物体の販売者あるいは３次元モデル作成サービスを行なう第３者などが実物体を模倣し作成したものであり、例えばハード・ディスク装置１４上にあらかじめ格納されていたり、あるいはネットワークを介して所定の情報提供サーバ（例えば、３次元モデル・データベース）から逐次的にダウンロードするようにしてもよい。また、実物体が家具や電化製品、インテリアなどの商品である場合にはその価格（若しくは拡張現実感サービスの利用料金）や製品仕様、在庫数など、実物体に関する付加情報やその他のリアルタイム・コンテンツなどを同時にダウンロードしてもよい。
【００７５】
次いで、３次元モデルが成功裏に取得されたがどうかを判定する（ステップＳ５）。
【００７６】
３次元モデルを無事に取得することができた場合には、さらに次ステップＳ６に進み、取得した３次元モデルを、先行ステップＳ２で取得した物体教示指標１０４の３次元位置・姿勢情報に合わせて回転・移動させる。そして、ステップＳ１においてカメラ１０１から入力された現実空間のシーンである画像データと３次元モデルとを合成して、複合現実空間画像を作成する（ステップＳ７）。このとき、ＡＲサービスに関連する料金や商品の仕様、在庫数など、実物体に関する付加情報と画像データとをさらに合成してもよい。
【００７７】
次いで、前ステップＳ７によって合成された複合現実空間画像を画像表示装置１０３で表示出力する（ステップＳ８）。実空間上のシーンに仮想物体が合成された複合現実感画像を基に、家庭内の家具や電化製品、インテリアなどが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなどを、実際に購入する前に判断することが可能となる。
【００７８】
また、ステップＳ３において入力画像から物体教示指標１０４が抽出されないと判定された場合や、ステップＳ５において３次元モデルを取得することができなかった場合には、ステップＳ１で取得された画像データをそのまま画像表示装置１０３で表示出力するようにしてもよい。
【００７９】
次いで、この複合現実感表示処理を続行させるかどうか判定する（ステップＳ９）。そして、本処理ルーチンを続行するならば、ステップＳ１へ戻って上述と同様の動作を繰り返し実行する。他方、非続行ならば、ここで本処理ルーチン全体を終了させる。
【００８０】
本処理ルーチンの終了条件は、例えばキーボード１２やマウス１３を介したユーザ入力であってもよいし、アプリケーション内であらかじめ定められたルール(例えばゲームにおけるゲーム・オーバー)であってもよい。また、メモリフルなどのハードウェア又はソフトウェア上の制約を終了条件にしてもよい。
【００８１】
Ｂ．物体教示指標の構成例
（１）構成例１：
図４には、物体教示指標１０４の１つの構成例を示している。同図に示すように、物体教示指標１０４は板状の三角形をしており、その各頂点には光学的に識別可能なマーカ１０５ａ〜１０５ｃが配置されている。各マーカ１０５ａ〜１０５ｃが持つ識別情報の組み合わせにより対応する実物体を特定することができる。また、物体教示指標１０４には、対応する実物体に関連した情報（例えば、製品型番の文字情報など）が明記（印字）されている。
【００８２】
各マーカ１０５ａ〜１０５ｃは、それぞれ固有の色、形状、パターンなどからなる光学的に一意な識別情報を持ち、マーカ毎に識別可能である。また、各マーカ１０５ａ〜１０５ｃが持つこれらの視覚的識別情報や各マーカ間の空間的な位置関係は、本システムにおいて既知であるとする。したがって、物体教示指標１０４は、ある実物体に取り付けられることにより、各マーカ１０５ａ〜１０５ｃが持つ識別情報の組み合わせによりこのオブジェクトを特定するための情報を与えるとともに、空間的な位置や姿勢などの実世界状況に関する情報を与えることができる。
【００８３】
一方、複合現実感表示装置１０２に接続されているカメラ１０１は、例えばＣＭＯＳセンサやＣＣＤセンサなどのように、無数の受光素子すなわち画素が２次元アレイ上に配置されたイメージ・センサ（図示しない）を備えており、物体教示指標１０４上の各マーカ１０５ａ〜１０５ｃに対して空間的な分解能を持つ。
【００８４】
ここで、物体教示指標１０４上に配置されているすべてのマーカ１０５ａ〜１０５ｃの３次元的な位置関係は既知である。物体教示指標１０４を例えばＸ軸回りにα、Ｙ軸回りにβ、Ｚ軸回りにγだけそれぞれ回転したものとすると、計測対象物体１０１の回転行列Ｒは以下のように表される。
【００８５】
【数１】

Figure 0004032776
【００８６】
また、物体教示指標１０４がカメラ座標系の位置（Ｘt，Ｙt，Ｚt）に移動したものとすると、平行移動行列Ｔは以下のように表される。
【００８７】
【数２】
Figure 0004032776
【００８８】
ここで、物体教示指標１０４の点（Ｘm，Ｙm，Ｚm）に位置するマーカ１０５が回転及び平行移動した後、点（Ｘc，Ｙc，Ｚc）に変換されたものとすると、これらの関係は以下のように表される。
【００８９】
【数３】
Figure 0004032776
【００９０】
上式は物体教示指標１０４を撮像した画像上から空間的な位置関係が既知である３点のマーカを検出することができれば、連立方程式の解としてＲ及びＴ、すなわち物体教示指標１０４の３次元位置及び姿勢を求められることを示している。例えば、Robert M. Haralick、Chung-nan Lee、Karsten Ottenberg、及びMichael Nolle共著の論文"Analysis and Solutions of The Three Point Perspective Pose Estimation Problem"（In Proceedings of the Conference on Computer Vision and Pattern Recognition, Maui, Hawaii, USA, pp.592-598, 1991）には対象物体上に配設された既知の３点の位置から該物体の３次元位置及び姿勢を計測する方法について記述されている。
【００９１】
なお、点（Ｘc，Ｙc，Ｚc）に移動したマーカ１０５の２次元撮像画像上の座標値（Ｘ，Ｙ）は以下の通りとなる。
【００９２】
【数４】
Figure 0004032776
【００９３】
したがって、撮像画像上から空間的な位置関係が既知である３点のマーカを検出することができれば、連立方程式の解としてＲ及びＴ、すなわち物体教示指標１０４の３次元位置及び姿勢を数学的な算出により求めることができる。
【００９４】
また、加藤博一、Mark Billinghurst、浅野浩一、橘啓八郎共著の論文『マーカー追跡に基づく拡張現実感システムとそのキャリブレーション』（日本バーチャルリアリティ学会論文誌, Vol.4, No.4, 1999）には、平行四辺形の各頂点に配置された４つのマーカを基に平行四辺形の３次元位置及び姿勢を計測する方法について記載されている。したがって、物体教示指標１０４に４つのマーカ１０５ａ〜１０５ｄを平行四辺形状に配置することによって、加藤外著の論文で記述された方法に従って、物体教示指標１０４の位置・姿勢を数学的に算出することもできる。３点より４点の情報を用いた方が、より精度の高い計測が期待できるということを充分理解されたい。
【００９５】
図５には、図４に示した物体教示指標１０４を用いた場合の物体教示指標１０４の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順をフローチャートの形式で示している。この処理手順は、図３に示した処理ルーチンのステップＳ２に相当し、実際には、ＣＰＵ１が所定の物体教示指標の抽出、並びにその識別情報及び３次元位置・姿勢情報の取得処理アプリケーションを起動して、カメラ１０１からの入力画像を処理するという形態で実現される。以下、このフローチャートを参照しながら、物体教示指標１０４の認識処理について詳解する。
【００９６】
カメラ１０１からの入力画像からマーカが抽出されると（ステップＳ１１）、抽出されたマーカが３つかどうかを判定する（ステップＳ１２）。これは、Ｒｏｂｅｒｔ外著の論文（前述）に記述された数学的算出方法によれば３点の画像座標から３次元位置及び姿勢を推定できることに依拠する。物体教示指標１０４上に３点以上のマーカを設置した場合、３次元位置及び姿勢を推定するアルゴリズムによっては、必要なマーカの数は３つ以上に設定してもよい。
【００９７】
ステップＳ１２において、抽出されたマーカの数は３つと判定された場合には、次いで、Ｒｏｂｅｒｔ外著の論文（前述）に記述されている数学的算出方法に従い３次元位置及び姿勢を推定する（ステップＳ１３）。
【００９８】
また、ステップＳ１２及びＳ１３における３次元位置及び姿勢の代替的な処理として、物体教示指標１０４上に平行四辺形を形成するように４つのマーカを配設しておき、カメラ１０１からの入力画像から平行四辺形状に４つのマーカを抽出することができたときに、加藤外著の論文（前述）に記載されている方法に従い、数学的算出により物体教示指標１０４の３次元位置及び姿勢を推定する。また、この場合で３つのマーカしか抽出できないときに、Ｒｏｂｅｒｔ外著の論文（前述）に記述されている数学的算出方法に従い３次元位置及び姿勢を推定するようにしてもよい。
【００９９】
次いで、物体教示指標１０４の識別情報を認識する（ステップＳ１４）。物体教示指標１０４には型番などの識別情報が例えば文字情報の形式で明記されているので、これを文字認識技術などを用いて認識する。あるいは、物体教示指標１０４には文字ではなくバーコードやその他のビジュアル・コードの形式で識別情報が明記されている場合には、そのパターン認識によって識別情報を認識することも可能である。
【０１００】
一方、ステップＳ１２において、抽出されたマーカの個数が３つに満たないと判定された場合には、物体教示指標１０４の識別は不可能という結果を返して、本処理ルーチンを終了する。
【０１０１】
上述したように、カメラ１０１及び複合現実感表示装置１０２からなる本実施形態に係るシステムによれば、物体教示指標１０４からその識別情報及び３次元位置・姿勢情報を同時に取得することができる。
【０１０２】
図４に示したように物体教示指標１０４に複数のマーカ１０５ａ〜１０５ｃを設置するのは、カメラ１０１による撮像画像に対する物体教示指標１０４の３次元位置及び姿勢を推定したいため（言い換えれば、物体認識においてカメラ１０１が持つ空間的分解能を活用したいため）である。したがって、物体教示指標１０４の認識において３次元位置及び姿勢が必要でない場合、例えば、画像データ中の物体教示指標１０４の位置に識別情報に対応した２次元画像を単に重ねて表示する場合には、識別情報を得るための単一のマーカのみを物体教示指標１０４に配設しておけば充分である。
【０１０３】
また、物体教示指標１０４にマーカ１０５が１つであっても、カメラ１０１を複数用いることによって、三角測量の原理（周知）より物体教示指標１０４の３次元位置および姿勢を推定することが可能である。
【０１０４】
（２）構成例２：
図６には、物体教示指標１０４の他の構成例を示している。同図において、物体教示指標１０４の各頂点に配設されているマーカは、色、形状、パターンなどの静的な光学識別情報の代わりに、パルス発信が可能なＬＥＤなどの光源１０５ａ’〜１０５ｃ’が設置されている。これらの光源はそれぞれ識別可能なようにＩＤを持っており、各ＩＤに応じた点滅パターンに従って、光源を点滅させる。また、各光源１０５ａ’〜１０５ｃ’は、ＩＤ以外の送信データを点滅パターンに符号化して送信することもできる。
【０１０５】
また、物体教示指標１０４の略中央には、対応する実物体に関連した情報（例えば、製品型番の文字情報など）が明記（印字）されている。但し、各光源１０５ａ’〜１０５ｃ’のＩＤと物体教示指標の識別情報をともに点滅パターンに符号化して同時に送信することも可能である。例えば、８ビットのデータを送信する場合、上位６ビットを物体教示指標１０４が持つ識別情報に割り当て、下位２ビットを各光源１０５ａ’〜１０５ｃ’のＩＤに割り当てることができる。このような場合、物体教示指標１０４本体への情報の印字（並びに印字情報の画像認識）を省略することができる。
【０１０６】
複合現実感表示装置１０２に接続されているカメラ１０１は、例えばＣＭＯＳセンサやＣＣＤセンサなどのように、無数の受光素子すなわち画素が２次元アレイ上に配置されたイメージ・センサ（図示しない）を備えており、物体教示指標１０４上の点滅光源からなる各マーカ１０５ａ’〜１０５ｃ’に対して空間的な分解能を持つ。そして、カメラ１０１で捕捉される動画像を基に各光源１０５ａ’〜１０５ｃ’の点滅パターンを空間的に認識して、それぞれの点滅パターンの受光位置及び点滅パターンによって表されるＩＤを認識することができる。
【０１０７】
このように各マーカ１０５ａ’〜１０５ｃ’がＬＥＤのように光の点滅するデバイスで構成されている場合、各マーカ１０５ａ’〜１０５ｃ ’は、データを点滅パターンなどの時系列の光学信号に符号化して送信することができる。このような場合、各マーカ１０５ａ’〜１０５ｃ’を備えた物体教示指標１０４は、単に実物体の識別情報や空間的な位置や姿勢を計測するための指標としてだけでなく、送信装置としても機能することができる。また、光学信号は距離に応じてデータが変化しないことから、距離に関しロバストなデータ伝送を行なうことができる。このような光の点滅パターンを利用したデータ通信システムに関しては、本出願人に既に譲渡されている特願２００１−３２５３５６号明細書（前述）に開示されている。
【０１０８】
図７には、物体教示指標１０４が各マーカ１０５ａ’〜１０５ｃ’として３個の発光ダイオードを装備したときのカメラ１０１及び複合現実感表示装置１０２側での動作特性を模式的に示している。それぞれの発光ダイオード１０５ａ’〜１０５ｃ ’は識別情報等の送信したいデータを光の点滅パターンに符号化して光学信号として送出することができる。勿論、送信データからなるベースバンド信号をそのまま光の点滅パターンで表してもよいし、あるいは周波数変調や振幅変調などの変調処理を施した後に光学信号を出力するようにしてもよい。
【０１０９】
この場合、各発光ダイオードの点滅パターンは、集光レンズ系（図示しない）によってカメラ１０１側の２次元イメージ・センサの受光面上に結像されて、物体教示指標１０４の実空間上の位置や姿勢に対応した位置の受光素子で検出される。
【０１１０】
例えば、イメージ・センサが持つ２次元受光面において各発光ダイオード１０５ａ’〜１０５ｃ ’の点灯光が結像される受光素子（画素）の座標値をそれぞれ（１０，１０）、（９０，９０）、（４０，７０）とすると、各画素位置では対応する発光ダイオードの点滅パターンが受光強度（明るさ）の時間的変化として検出される。受光強度を所定の閾値で２値化処理することにより、元の送信データに相当する１／０のビット列を復元することができる。
【０１１１】
このように、複合現実感表示装置１０２は、カメラ１０１によって測定対象物体１０１を含んだシーンの撮影画像を全画素でデコードすることによって、各マーカ１０５ａ’〜１０５ｃ ’から送出される光学信号、並びに物体教示指標１０４の空間的情報をすることができる。すなわち、光学信号により物体教示指標１０４との間でデータ伝送を行なうことができるとともに、空間的情報が意味する実世界状況に基づく拡張現実サービスを提供することができる。
【０１１２】
図８には、図６に示した物体教示指標１０４を用いた場合の物体教示指標１０４の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順をフローチャートの形式で示している。この処理手順は、図３に示した処理ルーチンのステップＳ２に相当し、実際には、ＣＰＵ１が所定の物体教示指標の抽出、並びにその識別情報及び３次元位置・姿勢情報の取得処理アプリケーションを起動して、カメラ１０１からの入力画像を処理するという形態で実現される。以下、このフローチャートを参照しながら、物体教示指標１０４の認識処理について詳解する。
【０１１３】
まず、カメラ１０１からの入力画像を画像処理して、点滅パターンの抽出、並びに点滅パターンによって表される送信データのデコードを行なう（ステップＳ２１）
【０１１４】
次いで、抽出された点滅パターンが３つかどうかを判定する（ステップＳ２２）。これは、Ｒｏｂｅｒｔ外著の論文（前述）に記述された数学的算出方法によれば３点の画像座標から３次元位置及び姿勢を推定できることに依拠する。
【０１１５】
ステップＳ２２において、抽出されたマーカの数は３つと判定された場合には、次いで、Ｒｏｂｅｒｔ外著の論文（前述）に記述されている数学的算出方法に従い３次元位置及び姿勢を推定する（ステップＳ２３）。また、点滅パターンの形式で物体教示指標１０４からデータが送られてくる場合には、そのデコード結果と統合して、３次元位置及び姿勢を推定するようにしてもよい。
【０１１６】
また、ステップＳ２２及びＳ２３における３次元位置及び姿勢の代替的な処理として、物体教示指標１０４上に平行四辺形を形成するように４つの点滅光源を配設しておき、カメラ１０１からの入力画像から平行四辺形状に４つの点滅パターンを抽出することができたときに、加藤外著の論文（前述）に記載されている方法に従い、数学的算出により物体教示指標１０４の３次元位置及び姿勢を推定する。
【０１１７】
次いで、物体教示指標１０４の識別情報を認識する（ステップＳ２４）。物体教示指標１０４には型番などの識別情報が例えば文字情報の形式で明記されているので、これを文字認識技術などを用いて認識する。あるいは、物体教示指標１０４には文字ではなくバーコードやその他のビジュアル・コードの形式で識別情報が明記されている場合には、そのパターン認識によって識別情報を認識することも可能である。
【０１１８】
また、点滅パターンの形式で物体教示指標１０４からデータが送られてくる場合には、ステップＳ２４では、そのデコード結果と統合して、識別情報を認識するようにしてもよい。
【０１１９】
あるいは、各光源１０５ａ’〜１０５ｃ’により点滅パターンの形式で送信されるＩＤのみで情報が伝達され、物体教示指標１０４に情報の印字がない場合には、ステップＳ２４では各光源１０５ａ’〜１０５ｃ’における点滅パターンのデコード結果のみにより識別情報の認識を行なう。例えば、各光源１０５ａ’〜１０５ｃ’からは上位６ビットを物体教示指標１０４が持つ識別情報に割り当て、下位２ビットを各光源１０５ａ’〜１０５ｃ’のＩＤに割り当てた８ビットのデータが送信されており、これをデコード処理する。
【０１２０】
図９には、図６に示した物体教示指標１０４の変形例を示している。同図において、物体教示指標１０４の各頂点には、パルス発信が可能なＬＥＤなどの光源１０５ａ’〜１０５ｃ’が設置されている。また、物体教示指標１０４の略中央には、対応する実物体に関連した情報（例えば、製品型番の文字情報など）を印字する代わりに、これらの情報を光の点滅パターンに符号化して送信する光源１０６が追加して配設されている。
【０１２１】
このような場合、複合現実感表示装置１０２側では、カメラ１０１からの入力画像を基に、光源１０６の点滅パターンを空間的に認識することによって、物体教示指標１０４における識別情報をデコードすることができる。
【０１２２】
（３）構成例３：
図１０には、物体教示指標１０４の他の構成例を示している。同図に示す物体教示指標１０４の光学的な識別情報は、「サイバーコード（Ｃｙｂｅｒｃｏｄｅ）」で構成されている。
【０１２３】
このサイバーコードは、２次元的なビジュアル・コードの一種であり、サイバーコードの所在を表すための「ガイド・バー表示領域」と、２次元状のコード・パターンを表示する「コード・パターン表示領域」とで構成されてモザイク状の模様をなす。コード・パターン表示領域内は、ｎ×ｍマトリックス（同図では７×７）に配列されたセルで構成され、各セルを白又は黒の２値表現することで識別情報を付与することができる。但し、コード・パターン表示領域の４隅のコーナー・セルは、識別情報としてではなく位置合わせ（Image Registration）パターンとして、常に黒パターンとなっている。
【０１２４】
サイバーコードの認識手順は、撮像画像を２値化するステップと、２値画像中からガイド・バー１００２の候補を発見するステップと、ガイド・バー１００２の位置や方向に基づいてコーナー・セル１００３を探索するステップと、ガイド・バー１００２及びコーナー・セル１００３を検出したことに応答して画像ビットマップ・パターンを復号化するステップとに大別される。さらに、エラービットの検査を行うことで、撮像画像中に正しいサイバー・コードが含まれていることを確認して、該コードの識別情報や位置情報を導出することができる。また、コーナー・セル１００３の位置に基づいて、カメラやオブジェクトの傾きによって生じる歪みを算出して補償することができる。
【０１２５】
サイバーコードの詳細については、例えば、本出願人に既に譲渡されている特開２０００−８２１０８号公報（「２次元コ―ド認識処理方法、２次元コ―ド認識処理装置、および媒体」）にも開示されている。
【０１２６】
図１１には、図１０に示した物体教示指標１０４を用いた場合の物体教示指標１０４の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順をフローチャートの形式で示している。この処理手順は、図３に示した処理ルーチンのステップＳ２に相当し、実際には、ＣＰＵ１が所定の物体教示指標の抽出、並びにその識別情報及び３次元位置・姿勢情報の取得処理アプリケーションを起動して、カメラ１０１からの入力画像を処理するという形態で実現される。以下、このフローチャートを参照しながら、物体教示指標１０４の認識処理について詳解する。
【０１２７】
まず、カメラ１０１からの入力画像の２値化処理を行ない（ステップＳ３１）、次いでこの２値化画像中からガイド・バー１００２の候補を抽出する（ステップＳ３２）。そして、ガイド・バー１００２が抽出されたかどうかを判定する（ステップＳ３３）。
【０１２８】
ガイド・バー１００２が抽出されたならば、後続のステップＳ３４へ進み、ガイド・バー１００２の位置や方向を基準にして、さらにコーナー・セル１００３を探索する。そして、コーナー・セル１００３が抽出されたかどうかを判定する（ステップＳ３５）。
【０１２９】
そして、コーナー・セル１００３を抽出することができたならば、さらに後続のステップＳ３６へ進んで、ガイド・バー１００２及びコーナー・セル１００３を検出したことに応答して画像ビットマップ・パターンを復号化して、物体教示指標１００１の識別情報を取得する。
【０１３０】
次いで、入力画像中で検出されたガイド・バー１００２及びコーナー・セル１００３の位置から物体教示指標１００１のカメラ１０１に対する３次元位置及び姿勢を推定する（ステップＳ３７）。
【０１３１】
ここで、サイバーコードの４箇所のコーナー・セル１００３の画像座標から３次元位置及び姿勢を推定するためには、例えば、加藤博一、Mark Billinghurst、浅野浩一、橘啓八郎共著の論文“マーカー追跡に基づく拡張現実感システムとそのキャリブレーション”（日本バーチャルリアリティ学会論文誌, Vol.4, No.4, 1999）（前述）に記載されているような、識別可能な平行四辺形の４頂点に基づいてその３次元位置及び姿勢を数学的に算出する方法を適用することができる。
【０１３２】
なお、図４に示した構成の物体教示指標１０４では、各コーナー・セル１００３を単体では識別することはできないが、ガイド・バー１００２との位置関係を用いると識別することができ、同様の手法により３次元位置及び姿勢を推定することが可能である。
【０１３３】
一方、ステップＳ３３においてガイド・バー１００２を発見することができなかった場合、及びステップＳ３５においてコーナー・セル１００３を認識することができなかった場合には、物体教示指標１０４の３次元位置及び姿勢の取得が不能である旨の結果を返して、本処理ルーチン全体を終了する。
【０１３４】
Ｃ．画像データの合成
Ｂ項で示したような方法によって、現実空間に配置した物体教示指標１０４の識別情報及びカメラ１０１に対する３次元位置・姿勢を取得することができる。さらに、仮想空間において、検出した識別情報に対応する３次元モデルを、物体教示指標１０４から求められた３次元位置・姿勢に配置することによって、複合現実空間を作成することができる。
【０１３５】
家具、家電製品、インテリアなど、製品毎に物体教示指標１０４を作成することが望ましい。例えば、図１２に示すような商品パンフレット１２０１の一部に物体教示指標１２０２を貼り付ける。
【０１３６】
消費者は、例えば訪れた店舗で、商品を購入しなくても、商品パンフレット１２０１だけを持ち帰ればよい。そして、自宅の部屋の所望の位置に、該当する商品についての物体教示指標１２０２を配置して、カメラ１０１で室内の風景を撮影する。
【０１３７】
この撮影画像を複合現実感表示装置１０２に投入すると、現実空間に配置した物体教示指標１０４の識別情報及びカメラ１０１に対する３次元位置・姿勢を取得する。さらに、仮想空間において、検出した識別情報に対応する商品の３次元モデルを、物体教示指標１０４から求められた３次元位置・姿勢に配置することによって、複合現実空間画像を作成して、画面表示装置１０３に出力する。この結果、消費者は、実際に商品を室内に配置することなく、複合現実空間画像の表示出力を基に、商品のサイズや色など、部屋との調和を購入前に確認することが可能となる。
【０１３８】
このような仮想空間上に３次元モデルを合成する処理は、図３に示したフローチャートのステップＳ７で行われる処理に相当する。以下、画像データと３次元モデルの合成方法について、再び図３を参照しながら説明する。
【０１３９】
まず、カメラ１０１から入力された画像データを出力画像に相当するフレームバッファに描画する（ステップＳ１）。このとき、入力画像の大きさと出力画像の大きさが異なる場合には、入力画像を縮小又は拡大して、出力画像の大きさに合わせる。
【０１４０】
次いで、物体教示指標の抽出、その識別情報、３次元位置・姿勢情報の取得処理ルーチンにより、撮影された画像データ中の物体教示指標１０４を抽出して（ステップＳ２，Ｓ３）、さらに、抽出された物体教示指標１０４の識別情報に対応した実物体（家具、家電製品、インテリアなど）についての３次元モデルを取得する（ステップＳ４）。
【０１４１】
次いで、ステップＳ４で取得された３次元モデルを、カメラ１０１の入力画像で示される現実空間上でステップＳ２で取得された３次元位置・姿勢に配置して（ステップＳ６）、レンダリングする。このとき、画角などといった仮想空間上のカメラの属性を現実世界のカメラの属性（カメラの種類やレンズ歪など）に合わせなければならない。
【０１４２】
このようにして入力画像が表す現実空間上に仮想的な３次元モデルを重ねて表示することによって、複合現実空間画像を作成することが可能である。
【０１４３】
上記の方法では、入力画像上に3次元モデルを重ねて描画しているだけである。このため、例えば図１３に示すように、カメラ１０１と物体教示指標１０４の間にユーザの手などの障害物がある場合（但し、物体教示指標１０４のマーカ１０５ａ〜１０５ｃは手で隠れていないものとする）、合成画像Ａ０３は、図示のように、手の上に仮想物体Ａ０２が表示され、不自然な画像になる。
【０１４４】
一方、例えば"Entertainment Vision Sensor"のようなカメラからの距離情報を検出できる３次元計測機能を搭載したイメージセンサを用いた場合には、画像データと同時にカメラに対する物体の距離情報を取得することができるので、上記の問題を回避することができる。あるいは、カメラ１０１に対する物体教示指標１０４の位置関係が既知である空間内では、カメラ１０１からの距離情報に基づいて描画する物体を判断することができるので、同様に上記の問題を回避することができる。
【０１４５】
つまり、各画素を描画する際に最もカメラに近い物体を選択し描画することによって、図１４に示すような自然な合成画像Ｂ０１を得ることが可能である。
【０１４６】
なお、"Entertainment Vision Sensor"は、１チップでカラー動画像と３次元距離情報の両方を、毎秒１５フレーム又は３０フレームで取得可能な高機能ＣＭＯＳイメージ・センサである。これら動画像と距離情報を同時に利用することにより、画像認識、物体認識、動き検出など、これまで外部に複雑な情報処理を必要としていた機能を小規模なシステムで実現することができます。これにより、ＰＣ、ゲームなどのユーザ・インターフェースや３次元モデリング、ロボットの障害物検知・人物検知、セキュリティ・システムにおける個人認証、テレビ電話の画像抽出機能など、さまざまな分野において多様なアプリケーションを提供することができる（http://www.sony.co.jp/SonyInfo/News/Press/）。
【０１４７】
［追補］
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１４８】
【発明の効果】
以上詳記したように、本発明によれば、コンピュータやネットワーク上で実装された仮想空間上で実世界の様相を組み込むことができる、優れた複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１４９】
また、本発明によれば、ユーザが存在する場所や実世界オブジェクトの実空間上の位置・姿勢などの実世界状況を積極的に利用して仮想空間を現実世界に拡張することができる、優れた複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１５０】
また、本発明によれば、現実空間に実物体を配置することなく実物体の大きさや色などといった外観と周囲環境との調和が図られた仮想現実世界をユーザに提示することができる、優れた複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１５１】
また、本発明によれば、実物体を模倣した仮想物体を現実空間に合成して表示することができる、優れた複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラムを提供することができる。
【０１５２】
本発明に係る複合現実感表示装置によれば、実空間上のシーンに仮想物体が合成された複合現実感画像を基に、家庭内の家具や電化製品、インテリアなどが部屋の大きさに合っているのか、部屋や他の家具などの色と調和しているのかなどを、実際に購入する前に判断することが可能である。また、家具や電化製品、インテリアなどの仮想物体以外の室内の風景や物体は、カメラから取り込まれた現実の画像をそのまま利用する。すなわち、現実空間について完全なモデルを作成あるいは入手する必要がなく、容易に拡張現実感画像を生成することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る複合現実感システムの構成を模式的に示した図である。
【図２】本実施形態に係る複合現実感装置１０２のハードウェア構成を模式的に示した図である。
【図３】複合現実感装置１０２上で実行される複合現実感表示の処理手順を示したフローチャートである。
【図４】物体教示指標１０４の１つの構成例を示した図である。
【図５】図４に示した物体教示指標１０４を用いた場合の物体教示指標の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順を示したフローチャートである。
【図６】物体教示指標１０４の他の構成例を示した図である。
【図７】物体教示指標１０４が各マーカ１０５ａ’〜１０５ｃ’として３個の発光ダイオードを装備したときのカメラ１０１及び複合現実感表示装置１０２側での動作特性を模式的に示した図である。
【図８】図６に示した物体教示指標１０４を用いた場合の物体教示指標１０４の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順を示したフローチャートである。
【図９】図６に示した物体教示指標１０４の変形例を示した図である。
【図１０】物体教示指標１０４の他の構成例を示した図である。
【図１１】図１０に示した物体教示指標１０４を用いた場合の物体教示指標１０４の抽出、並びにその識別情報及び３次元位置・姿勢情報を取得するための処理手順を示したフローチャートである。
【図１２】複合現実感画像の構成例を示した図である。
【図１３】複合現実感画像の構成例を示した図である。
【図１４】複合現実感画像の構成例を示した図である。
【符号の説明】
１…ＣＰＵ
２…主メモリ，３…ＲＯＭ
４…ディスプレイ・コントローラ
５…入力機器インターフェース
６…ネットワーク・インターフェース
７…外部機器インターフェース
８…バス，９…カメラ・インターフェース
１１…ディスプレイ
１２…キーボード，１３…マウス
１４…ハード・ディスク装置
１５…メディア・ドライブ
１０１…カメラ
１０２…複合現実感装置
１０３…画像表示装置
１０４…物体教示指標
１０５ａ〜１０５ｃ…マーカ
１０５ａ’〜１０５ｃ’…マーカ(光源)
１０６…光源[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a mixed reality display apparatus and method, a storage medium, and a computer program that incorporate aspects of the real world in a virtual space implemented on a computer or a network. In particular, the present invention relates to a place where a user exists or the real world. The present invention relates to a mixed reality display apparatus and method, a storage medium, and a computer program for actively expanding a virtual space into the real world by actively using real world conditions such as the position and orientation of the object in the real space.
[0002]
More specifically, the present invention relates to a mixed reality display device that presents to a user a virtual reality world in which the appearance such as the size and color of a real object and the surrounding environment are harmonized without arranging the real object in the real space In particular, the present invention relates to a mixed reality display apparatus and method, a storage medium, and a computer program for synthesizing and displaying a virtual object imitating a real object in a real space.
[0003]
[Prior art]
In the present day when information processing technology and information communication technology are highly developed, information devices such as personal computers and portable information terminals are ubiquitous in the real world such as offices and homes. In such an environment, "Ubiquitous computing" that connects devices and obtains desired information anytime and anywhere, and real-world situations (real-world things, user positions, etc.) Realization of augmented reality system (Augmented Reality: AR) used in
[0004]
The concept of ubiquitous computing is that the computer environment that can be used wherever a person moves is the same. That is, because it is “anytime, anywhere”, the ultimate ubiquitous computing does not necessarily require an information terminal such as a computer, a PDA (Personal Digital Assistant), or a mobile phone.
[0005]
In addition, according to the augmented reality system, it is possible to provide a service using a real world situation such as a user's position. In this case, the user simply holds the mobile terminal, and the system presents information according to real-world things in the vicinity of the user and in the field of view, and uses a vast amount of information on the network to Can support every aspect. For example, if you visit a CD shop while holding a camera-equipped mobile terminal in a shopping mall, a recommended new score is displayed on the terminal. In addition, when you look at the signboard of the restaurant, you can see the impression of the food.
[0006]
For example, when purchasing furniture, electrical appliances, interiors, etc. in the home, whether they are suitable for the size of the room or whether it matches the color of the room or other furniture, etc. There are many things I want to investigate. Also, when you change the room, you want to experiment with various arrangements of furniture, home appliances, and interiors.
[0007]
When the user lives only in the real world, it is difficult to actually place the actual object in the room at home before purchase. In general, furniture, electrical appliances, interiors, etc. are large and heavy, and it is hard work and practical to move the actual object or try various arrangements indoors.
[0008]
On the other hand, a three-dimensional virtual house imitating an actual house is constructed on a computer, and a three-dimensional model such as furniture, appliances, and interior is placed in the virtual house, and the house is viewed from various viewpoints. An application that can see the image has been devised. These applications have made it possible to express with a high degree of reality with the recent improvement in computer processing speed and the development of 3D computer graphics (3DCG) technology.
[0009]
However, there are some problems when actually using these virtual reality applications.
[0010]
First, you must build a model of the room where you live. It is rare for people who can create a room layout in a living room instantaneously and accurately. In general, a room is actually measured with a measure, etc., or it is constructed with reference to the floor plan obtained when purchasing a house. There must be. A rough room model is sufficient if you want to express the general atmosphere of the room, but building an accurate room model is indispensable for examining the size of furniture, electrical appliances, and interiors.
[0011]
Also, in order to imitate a house, three-dimensional models such as furniture, electrical appliances, and interiors that are owned are necessary. However, it is difficult to create or obtain these complete models. Currently, the closest model is selected from the materials. For this reason, a virtual residence different from an actual residence will be constructed.
[0012]
Furthermore, with the improvement of computer processing speed, the CG technology has been developed and the expressive power has been greatly improved. However, it is difficult to make a representation that is mistaken for reality, and even if possible, it takes a lot of calculation time. Is almost.
[0013]
[Problems to be solved by the invention]
An object of the present invention is to provide an excellent mixed reality display apparatus and method, and a computer program, which can incorporate a real-world aspect on a virtual space implemented on a computer or a network.
[0014]
A further object of the present invention is that the virtual space can be expanded to the real world by actively utilizing the real world situation such as the location where the user exists and the position / posture of the real world object in the real space. To provide a mixed reality display apparatus and method, and a computer program.
[0015]
A further object of the present invention is to provide the user with a virtual reality world in which the appearance such as the size and color of the real object and the surrounding environment are harmonized without arranging the real object in the real space. To provide a mixed reality display apparatus and method, and a computer program.
[0016]
It is a further object of the present invention to provide an excellent mixed reality display device and method, and a computer program that can synthesize and display a virtual object imitating a real object in a real space.
[0017]
[Means and Actions for Solving the Problems]
The present invention has been made in consideration of the above problems, and a first aspect of the present invention is a mixed reality display device or method for combining and displaying a virtual object in a real space,
An image input unit or step for capturing a scene in a real space including an object teaching index;
A position / attitude calculation unit or step for calculating a spatial position and orientation of the object teaching index based on an input image by the image input unit or step;
An object recognition unit or step for recognizing a corresponding real object by recognizing identification information of the object teaching index based on an input image by the image input unit or step;
An input image obtained by rotating / moving a virtual object composed of a three-dimensional model of a real object recognized by the object recognition unit or step according to the spatial position and posture calculated by the position / posture calculation unit or step An image composition unit or step to be synthesized on the top, and
It is a mixed reality display apparatus or method characterized by comprising.
[0018]
According to the mixed reality display apparatus or method of the first aspect of the present invention, an object teaching index is photographed by a camera, and identification information of the object teaching index is acquired based on the photographed image, and the object teaching is taught. A three-dimensional position / posture in which the index is arranged in the real space is acquired. Furthermore, a mixed reality space can be created in a relatively short time and at a low cost by placing a three-dimensional model corresponding to the detected identification information in the virtual space at a three-dimensional position / posture determined from the object teaching index. can do.
[0019]
For example, when purchasing furniture, electrical appliances, interiors, etc. in the home, whether they are suitable for the size of the room or whether it matches the color of the room or other furniture, etc. There are many things I want to investigate. Also, when you change the room, you want to experiment with various arrangements of furniture, home appliances, and interiors. However, it is difficult to actually place the actual object in the room at home before purchase. In general, furniture, electrical appliances, interiors, etc. are large and heavy, and it is hard work and practical to move the actual object or try various arrangements indoors.
[0020]
On the other hand, according to the mixed reality display device or method according to the first aspect of the present invention, when it is desired to place a real object such as furniture, home appliances, interior, etc., instead of the real object, the object By simply installing the teaching index, it is possible to present to the user a virtual reality world in which the appearance such as the size and color of the real object and the surrounding environment are harmonized without arranging the real object in the real space.
[0021]
Therefore, based on a mixed reality image in which a virtual object is synthesized with a scene in real space, the user can check whether the home furniture, appliances, interior, etc. It is possible to determine whether it is in harmony with the color of furniture or the like before actually purchasing. In addition, for indoor scenery and objects other than virtual objects such as furniture, electrical appliances, and interiors, real images captured from cameras are used as they are. That is, it is not necessary to create or obtain a complete model for the real space, and an augmented reality image can be easily generated.
[0022]
Here, the image synthesizing unit or step may further synthesize the charge or specification related to the real object recognized by the object recognizing unit or other related information on the input image.
[0023]
Further, a distance measuring unit or step for measuring a distance to the object teaching index may be provided. In such a case, the image composition unit or step can obtain a more natural composite image by applying hidden surface processing to the virtual object based on the distance obtained by the distance measurement unit or step.
[0024]
Optical identification information is arranged on the object teaching index. The optical identification information includes, for example, a unique color, shape, or visual code such as a barcode, or a light blinking pattern obtained by encoding identification information or other data.
[0025]
In such a case, the object recognition unit or step can extract the optical identification information from the input image and acquire the object identification information.
[0026]
A plurality of pieces of optical identification information whose positional relationships are known may be arranged in the object teaching index. In such a case, the position / posture calculation unit or step extracts the optical identification information from the input image, and determines the spatial position and posture based on the detection position of each optical identification information in the input image. Can be calculated.
[0027]
For example, the paper "Analysis and Solutions of The Three Point Perspective Pose Estimation Problem" by Robert M. Haralick, Chung-nan Lee, Karsten Ottenberg, and Michael Nolle (In Proceedings of the Conference on Computer Vision and Pattern Recognition, Maui, Hawaii , USA, pp. 592-598, 1991), describes a method for measuring the three-dimensional position and orientation of an object from the positions of three known points arranged on the target object. Therefore, if three or more pieces of optical identification information are arranged in the object teaching index, the position / orientation calculation unit or step is extracted on the input image using this Robert's method. The corresponding three-dimensional position and orientation can be mathematically calculated based on the detected positions of the two pieces of optical identification information.
[0028]
Also, a paper written by Hirokazu Kato, Mark Billinghurst, Koichi Asano, and Keihachiro Tachibana “Augmented Reality System Based on Marker Tracking and Its Calibration” (The Virtual Reality Society of Japan, Vol.4, No.4, 1999) Describes a method of measuring the three-dimensional position and orientation of a parallelogram based on four markers arranged at each vertex of the parallelogram. Therefore, if four or more pieces of optical identification information forming the vertices of the parallelogram are arranged in the object teaching index, the position / orientation calculation unit or step can be input using this method by Kato Based on the detected positions of the four optical identification information extracted on the image, the corresponding three-dimensional position and orientation can be calculated mathematically.
[0029]
When the optical identification information is represented as a blinking pattern of light, the object recognition unit or step extracts the blinking pattern from each blinking light source on the basis of the input image and decodes them to decode the object. The identification information held by the index can be recognized.
[0030]
In such a case, the position / orientation calculation unit or step extracts a blinking pattern from each blinking light source based on the input image, decodes these to identify each, and each blinking light source in the input image The spatial position and orientation can be calculated based on the detected position.
[0031]
Further, according to a second aspect of the present invention, computer software described so as to execute a process for synthesizing and displaying a virtual object in a real space on a computer system is physically stored in a computer-readable format. And the computer software includes:
An image input step for capturing a scene in a real space including an object teaching index;
A position / posture calculation step for calculating a spatial position and posture of the object teaching index based on the input image in the image input step;
An object recognition step of recognizing identification information of the object teaching index based on an input image in the image input step and recognizing a corresponding real object;
A virtual object composed of a three-dimensional model of the real object recognized in the object recognition step is rotated and moved in accordance with the spatial position and posture calculated in the position / posture calculation step and synthesized on the input image. An image composition step.
[0032]
The storage medium according to the second aspect of the present invention is a medium that provides computer software in a computer-readable format to, for example, a general-purpose computer system that can execute various program codes. Such a medium is a removable and portable storage medium such as a DVD (Digital Versatile Disc), a CD (Compact Disc), an FD (Flexible Disk), or an MO (Magneto-Optical disc). Alternatively, it is technically possible to provide computer software to a specific computer system via a transmission medium such as a network (whether the network is wireless or wired).
[0033]
In addition, the storage medium according to the second aspect of the present invention is a collaborative structure or function between the computer software and the storage medium for realizing a predetermined computer software function on the computer system. A relationship is defined. In other words, by installing predetermined computer software into the computer system via the storage medium according to the second aspect of the present invention, a cooperative action is exhibited on the computer system, and The same effect as the mixed reality display device according to the first aspect or the method thereof can be obtained.
[0034]
According to a third aspect of the present invention, there is provided a computer program written in a computer-readable format so as to execute a process for synthesizing and displaying a virtual object in a real space on a computer system.
An image input step for capturing a scene in a real space including an object teaching index;
A position / posture calculation step for calculating a spatial position and posture of the object teaching index based on the input image in the image input step;
An object recognition step of recognizing identification information of the object teaching index based on an input image in the image input step and recognizing a corresponding real object;
A virtual object composed of a three-dimensional model of the real object recognized in the object recognition step is rotated and moved in accordance with the spatial position and posture calculated in the position / posture calculation step and synthesized on the input image. And a computer program step.
[0035]
The computer program according to the third aspect of the present invention defines a computer program described in a computer-readable format so as to realize predetermined processing on a computer system. In other words, by installing the computer program according to the third aspect of the present invention in the computer system, a cooperative action is exhibited on the computer system, and the mixed reality according to the first aspect of the present invention is achieved. The same effect as the display device or its method can be obtained.
[0036]
Other objects, features, and advantages of the present invention will become apparent from more detailed description based on embodiments of the present invention described later and the accompanying drawings.
[0037]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0038]
The mixed reality display system according to the present invention attaches a plurality of optical identification information to a physical object existing in the real world, and shoots this using a two-dimensional image sensor to perform image processing / Image recognition is used to realize an augmented reality (AR) service based on the real-world situation of an object, such as identifying the object and its three-dimensional position and orientation. Providing mixed reality images that are partly extended to the virtual world.
[0039]
As optical identification information attached to a real-world object, an optical signal composed of a blinking light source such as an LED can be used in addition to a visual code encoded in a color space pattern. In the latter case, the data can be transmitted after being encoded into a time-series optical signal such as a blinking pattern in which the data does not change according to the distance.
[0040]
The image sensor is a two-dimensional array of innumerable light receiving elements, that is, pixels such as a complementary metal oxide semiconductor (CMOS) sensor and a charge coupled device (CCD) sensor. The optical signal and its spatial information are decoded by all pixels. The image sensor can capture a scene as an ordinary camera and can receive an optical signal arranged in the field of view of the image sensor from a long distance. Therefore, the real world object provided with the optical identification information can also be used as a transmitter for transmitting the real world situation.
[0041]
It is assumed that the plurality of optical identification information attached to the real world object are not only identifiable from each other, but also the spatial positional relationship between them is known in advance. In such a case, by recognizing the real world object by a measuring device having a spatial resolution, it is possible not only to identify the real world object but also to measure its three-dimensional position and orientation. The spatial position and posture of a real world object is equivalent to a real world situation.
[0042]
Therefore, the augmented reality system (AR) is realized by actively using the measurement results of the 3D position and orientation of real world objects as real world situations (real world things and user positions). Can be useful.
[0043]
According to the augmented reality system, it is possible to provide a service using real world information such as a user's location. In this case, the user simply holds the mobile terminal, and the system presents information according to real-world things in the vicinity of the user and in the field of view, and uses a vast amount of information on the network to You can enjoy support in every aspect. For example, if you visit a CD shop while holding a camera-equipped mobile terminal in a shopping mall, a recommended new score is displayed on the terminal. In addition, when you look at the signboard of the restaurant, you can see the impression of the food.
[0044]
Note that Japanese Patent Application No. 2001-325356 already assigned to the present applicant describes an optical signal that carries or transmits identification information and other data in an optical format, and a high-speed two-dimensional image that captures the optical signal. A data communication system that realizes data transmission that has spatial resolution and can be used at a long distance by using a sensor is disclosed. In the data communication system described in the specification, a blinking light source such as an LED is used as an optical signal, and is not encoded into a color spatial pattern like a visual code, but blinking in which data does not change according to distance. Data is transmitted after being encoded into a time-series optical signal such as a pattern. The image sensor has a configuration in which an infinite number of light receiving elements, that is, pixels are arranged on a two-dimensional array, such as a CMOS sensor and a CCD sensor, and decodes an optical signal and its spatial information with all pixels. Therefore, the image sensor can capture a scene as an ordinary camera and can receive an optical signal arranged in the field of view of the image sensor from a long distance.
[0045]
A. Mixed reality system configuration
FIG. 1 schematically shows the configuration of a mixed reality system according to an embodiment of the present invention. As shown in the figure, this system includes a camera 101, a mixed reality device 102, an image display device 103, and an object teaching index 104.
[0046]
The object teaching index 104 is provided with a plurality of markers each of which can be identified in order to enable measurement of the three-dimensional position / orientation of the object (described later). Each marker has visual identification information including a unique color, shape, pattern, or light blinking pattern, and can be identified for each marker. Also, it is assumed that the visual identification information of each marker and the spatial positional relationship between the markers are already known in the mixed reality system.
[0047]
The camera 101 can take an image of a landscape including the object teaching index 104 and other scenes using a two-dimensional image sensor such as a CCD or CMOS, using an ideal pinhole lens having no lens distortion, for example. . An image frame captured by the camera 101 is input to the mixed reality apparatus 102 as received data having spatial resolution.
[0048]
The mixed reality apparatus 102 is configured by a computer system such as a personal computer (PC), for example, and is connected to the camera 101 via a USB (Universal Serial Bus) or other external interface, and the captured image is converted into a computer file. Can be imported in a format. On the apparatus 102, an application for performing a three-dimensional position / posture measurement process based on marker detection is activated from the image frame, and the marker is positioned on the three-dimensional position and the input image from the scene image including the object teaching index 103. Measure the real world situation such as 3D position and posture based on this. The mixed reality device 102 provides an augmented reality service (described later) according to the real world situation.
[0049]
In the example shown in FIG. 1, the object teaching index 104 is arranged on a television stand sandwiched between speakers in the living room and virtually substitutes for the presence of a television receiver (hereinafter referred to as “TV”). . At this time, an area (scene) including the object teaching index 104 is photographed using the camera 101.
[0050]
The image data acquired by the camera 101 has spatial resolution and is input to the mixed reality apparatus 102, and the identification information of the object teaching index 104 and its spatial position and orientation are extracted. Then, a virtual object 105 (here, a three-dimensional model of a television) corresponding to the extracted identification information of the object teaching index 104 is combined with the input image data and output to the image display device 103. At this time, the three-dimensional TV model is mapped to the real space coordinate system based on the real world situation such as the spatial position and orientation obtained from the object teaching index 104.
[0051]
In this way, the virtual object 105 (television) that does not actually exist appears on the image obtained by photographing the real space (superimposed display) on the display screen of the image display device 103 that displays and outputs the input image from the camera 101. ) Therefore, the user can display whether the appearance such as the size and the color is in harmony with the surrounding environment without arranging real objects such as furniture and electrical appliances in the real space.
[0052]
FIG. 2 schematically shows a hardware configuration of the mixed reality apparatus 102 according to the present embodiment.
[0053]
A CPU (Central Processing Unit) 1 serving as a main controller executes various applications under the control of an operating system (OS).
[0054]
In the present embodiment, the CPU 1 is a three-dimensional position / posture measurement application for measuring the spatial position and posture of the object teaching index 104 based on data having a spatial resolution such as a captured image of the camera 101, for example. In addition, an AR service application that provides an augmented reality (AR) service using a real world situation of a real world object such as a spatial position and posture of the object teaching index 104 can be executed. .
[0055]
As illustrated, the CPU 1 is interconnected with other devices (described later) by a bus 8.
[0056]
The main memory 2 is a storage device that is used to load a program code to be executed by the CPU 1 and temporarily store work data of the execution program. For example, a semiconductor memory such as a DRAM (Dynamic RAM) is used. Is done. For example, a three-dimensional position / orientation measurement application for measuring the spatial position and orientation of the object teaching index 104 based on data having a spatial resolution such as a captured image of the camera 101, and the space of the object teaching index 104 The main memory 2 is loaded with an AR service application that provides an augmented reality (AR) service according to the real world situation of a real world object such as a specific position and posture. Also, calculation results regarding the spatial position and orientation of the object teaching index 104 based on the image taken by the camera 101, and various AR service contents (for example, furniture) generated according to the real world situation obtained from the calculation results 3D models of virtual objects such as electrical appliances and interiors) are temporarily stored in the main memory 2 as work data.
[0057]
A ROM (Read Only Memory) 3 is a semiconductor memory for permanently storing data. For example, a self-diagnostic test (POST: Power On Self Test) at startup and a program code for hardware input / output (BIOS: Basic Input / Output System) is written.
[0058]
The display controller 4 is a dedicated controller for actually processing a drawing command issued by the CPU 1. The drawing data processed in the display controller 4 is once written in, for example, a frame buffer (not shown) and then from a CRT (Cathode Ray Tube) display, LCD (Liquid Crystal Display), or the like. The image is displayed on the screen by the image display device 103.
[0059]
The display screen of the image display device 103 generally has a role of visually feeding back to the user the input contents from the user, the processing result thereof, or an error or other system message. In the present embodiment, the display screen of the image display device 103 includes AR service content such as an augmented reality scene in which a virtual object 105 corresponding to the object teaching index 104 is combined with an image captured by the camera 101. Used for display output. Examples of the AR service / content include a mixed reality image in which a three-dimensional model of a virtual object such as furniture, electrical appliances, or interior is incorporated in a photographed image by the camera 101. Details of the mixed reality image generation method will be described later.
[0060]
The input device interface 5 is a device for connecting user input devices such as a keyboard 12 and a mouse 13 to the mixed reality device 102.
[0061]
The keyboard 12 and the mouse 13 have a role of capturing user inputs such as data and commands into the system. In the present embodiment, the keyboard 12 and the mouse 13 are used by the user to instruct the activation of the three-dimensional position / orientation measurement application, the activation of the AR service / application, the designation of the AR service, and the like.
[0062]
The network interface 6 can connect the system 102 to a local network such as a LAN (Local Area Network) and further to a wide area network such as the Internet according to a predetermined communication protocol such as Ethernet (registered trademark).
[0063]
On the network, a plurality of host terminals (not shown) are connected in a transparent state to construct a distributed computing environment. On the network, distribution services such as software programs and data contents can be provided. For example, a three-dimensional position / orientation measurement application for measuring the spatial position and orientation of the object teaching index 104 based on data having a spatial resolution such as a photographed image of the camera 101 or a photographed image is detected. Real-world situation for real-world objects, including multiple algorithms (for example, in a library) that perform three-dimensional position / estimation based on markers at multiple points, and the spatial position and orientation of the object teaching index 104 An AR service application that provides an augmented reality (AR) service according to the network can be downloaded via the network. Also, distribute and distribute AR services and contents used in AR services and applications (for example, three-dimensional models of virtual objects such as furniture, electrical appliances, and interiors) with other host devices via the network. Can do. In addition, when dealing with products such as furniture, electrical appliances, and interiors as AR services that provide mixed reality images, actual objects such as prices (or augmented reality service usage fees), product specifications, and inventory numbers, etc. Additional information related to may be downloaded via the network.
[0064]
The external device interface 7 is a device for connecting an external device such as a hard disk drive (HDD) 14 or a media drive 15 to the mixed reality device 102.
[0065]
The HDD 14 is an external storage device in which a magnetic disk as a storage carrier is fixedly mounted (well-known), and is superior to other external storage devices in terms of storage capacity and data transfer speed. Placing the software program on the HDD 14 in an executable state is called “installation” of the program in the system. Usually, the HDD 14 stores program codes of an operating system to be executed by the CPU 1, application programs, device drivers, and the like in a nonvolatile manner. For example, a three-dimensional position / orientation measurement application for measuring the spatial position and orientation of the object teaching index 104 based on data having a spatial resolution such as a captured image of the camera 101, and the space of the object teaching index 104 An AR service application that provides an augmented reality (AR) service corresponding to a real world situation of a real world object such as a specific position and posture can be installed on the HDD 14. In addition, a plurality of algorithms (for example, in a library) for estimating a three-dimensional position / attitude based on a plurality of markers detected from a captured image, and AR service contents (for example, used in an AR service application) 3D models of virtual objects such as furniture, electrical appliances, and interior) may be stored on the HDD 14. In addition, when dealing with products such as furniture, electrical appliances, and interiors as AR services that provide mixed reality images, actual objects such as prices (or augmented reality service usage fees), product specifications, and inventory numbers, etc. Additional information related to may be accumulated.
[0066]
The media drive 15 is a device for loading portable media such as CD (Compact Disc), MO (Magneto-Optical disc), DVD (Digital Versatile Disc), etc. and accessing the data recording surface.
[0067]
The portable media is mainly used for the purpose of backing up software programs, data files, and the like as data in a computer-readable format, and for moving them between systems (that is, including sales, distribution, and distribution). For example, a three-dimensional position / orientation measurement application for measuring the spatial position and orientation of the object teaching index 104 based on data having a spatial resolution such as a captured image of the camera 101, and the space of the object teaching index 104 AR services and applications that provide augmented reality (AR) services according to the real-world situation of real-world objects such as realistic positions and postures, etc., using these portable media Can be physically distributed and distributed. In addition, a plurality of algorithms (for example, in a library) for estimating a three-dimensional position / attitude based on a plurality of markers detected from a captured image, and AR service contents (for example, used in an AR service application) Portable media can be used to exchange furniture, electrical appliances, 3D models of virtual objects such as interiors) with other devices. In addition, when dealing with products such as furniture, electrical appliances, and interiors as AR services that provide mixed reality images, actual objects such as prices (or augmented reality service usage fees), product specifications, and inventory numbers, etc. Additional information regarding the above may be distributed via portable media.
[0068]
The camera interface 9 is a device for connecting the camera 101, and is configured by a USB interface, for example. Or it may be comprised by the interface which acquires a moving image from the camera 101 like a video capture card | curd. The camera 101 has a configuration in which pixels are arranged on a two-dimensional array, and decodes an optical signal and its spatial information from the object teaching index 104 with all pixels.
[0069]
An example of the mixed reality device 102 as shown in FIG. 2 is a compatible computer or a successor of IBM's personal computer “PC / AT (Personal Computer / Advanced Technology)”. Of course, a computer having another architecture can be applied as the mixed reality apparatus 102 according to the present embodiment.
[0070]
FIG. 3 shows a mixed reality display processing procedure executed on the mixed reality apparatus 102 in the form of a flowchart. This processing procedure is actually realized in such a form that the CPU 1 starts a predetermined mixed reality processing application, processes an input image from the camera 101, and displays and outputs the processing result on the screen display device 103. The Hereinafter, the mixed reality display process will be described in detail with reference to this flowchart.
[0071]
When image data is input from the camera 101 (step S1), the image is captured by a separately defined “object teaching index extraction, identification information thereof, acquisition of three-dimensional position / posture information” processing routine (described later). The object teaching index 104 is extracted from the image data, and its identification information and three-dimensional position / posture information are acquired (step S2).
[0072]
In the augmented reality service according to the real world situation (steps S7 and S8), when a two-dimensional image corresponding to the identification information is simply displayed at the position of the object teaching index 104 in the image data, step S2 is performed. In the processing routine, the acquisition of the three-dimensional position / posture information of the object teaching index 104 may be omitted. The method for acquiring the identification information of the object teaching index 104 and the three-dimensional position / posture information is a process that depends on the aspect of the object teaching index 104, and will be described in detail later together with the embodiment of the object teaching index 104.
[0073]
Next, it is determined whether or not the object teaching index 104 has been extracted from the image input from the camera 101 (step S3). If it has been extracted, the process proceeds to the subsequent step S4, and an attempt is made to acquire a three-dimensional model for the real object corresponding to the identification information of the extracted object teaching index 104.
[0074]
Here, the three-dimensional model is created by imitating a real object by a real object seller or a third party who performs a three-dimensional model creation service, and is stored in advance on the hard disk device 14, for example. Alternatively, it may be downloaded sequentially from a predetermined information providing server (for example, a three-dimensional model database) via a network. If the real object is a product such as furniture, electrical appliances, interior, etc., additional information about the real object and other real-time content such as its price (or augmented reality service usage fee), product specifications, inventory quantity, etc. Etc. may be downloaded at the same time.
[0075]
Next, it is determined whether the three-dimensional model has been acquired successfully (step S5).
[0076]
If the 3D model can be acquired safely, the process proceeds to the next step S6, and the acquired 3D model is matched with the 3D position / posture information of the object teaching index 104 acquired in the preceding step S2. Rotate and move. Then, in step S1, image data that is a scene in the real space input from the camera 101 and the three-dimensional model are synthesized to create a mixed reality space image (step S7). At this time, the additional information related to the real object such as the charge related to the AR service, the specification of the product, the number of inventory, and the like may be further combined.
[0077]
Next, the mixed reality space image synthesized in the previous step S7 is displayed and output on the image display device 103 (step S8). Based on a mixed reality image in which a virtual object is combined with a scene in real space, whether the furniture, appliances, interior, etc. in the home match the size of the room, the color of the room, other furniture, etc. It becomes possible to judge whether it is in harmony before actually purchasing.
[0078]
If it is determined in step S3 that the object teaching index 104 is not extracted from the input image, or if the three-dimensional model cannot be acquired in step S5, the image data acquired in step S1 is used as it is. The image may be displayed on the image display device 103.
[0079]
Next, it is determined whether or not to continue the mixed reality display process (step S9). If this processing routine is continued, the process returns to step S1 and the same operation as described above is repeatedly executed. On the other hand, if not continued, the entire processing routine is terminated here.
[0080]
The end condition of this processing routine may be, for example, a user input via the keyboard 12 or the mouse 13, or may be a rule (for example, game over in a game) predetermined in the application. Further, hardware or software restrictions such as memory full may be used as the end condition.
[0081]
B. Object teaching index configuration example
(1) Configuration example 1:
FIG. 4 shows one configuration example of the object teaching index 104. As shown in the figure, the object teaching index 104 has a plate-like triangle, and optically identifiable markers 105a to 105c are arranged at the respective vertices. A corresponding real object can be specified by a combination of identification information possessed by each of the markers 105a to 105c. In addition, the object teaching index 104 specifies (prints) information (for example, character information of a product model number) related to the corresponding actual object.
[0082]
Each of the markers 105a to 105c has optically unique identification information including a unique color, shape, pattern, etc., and can be identified for each marker. In addition, it is assumed that the visual identification information of each of the markers 105a to 105c and the spatial positional relationship between the markers are already known in the system. Therefore, when the object teaching index 104 is attached to a certain real object, it provides information for specifying this object by a combination of identification information possessed by each of the markers 105a to 105c, and also provides information such as a spatial position and orientation. Can give information about the world situation.
[0083]
On the other hand, the camera 101 connected to the mixed reality display device 102 is an image sensor (not shown) in which an infinite number of light receiving elements, that is, pixels are arranged on a two-dimensional array, such as a CMOS sensor or a CCD sensor. And has a spatial resolution for each of the markers 105 a to 105 c on the object teaching index 104.
[0084]
Here, the three-dimensional positional relationship of all the markers 105a to 105c arranged on the object teaching index 104 is known. Assuming that the object teaching index 104 is rotated by α around the X axis, β around the Y axis, and γ around the Z axis, for example, the rotation matrix R of the measurement target object 101 is expressed as follows.
[0085]
[Expression 1]
Figure 0004032776
[0086]
In addition, the object teaching index 104 is a position (Xt, Yt, Zt), The translation matrix T is expressed as follows.
[0087]
[Expression 2]
Figure 0004032776
[0088]
Here, the point (Xm, Ym, ZmAfter the marker 105 located at) is rotated and translated, the point (Xc, Yc, Zc), These relationships are expressed as follows:
[0089]
[Equation 3]
Figure 0004032776
[0090]
If the above expression can detect three markers whose spatial positional relationship is known from an image obtained by imaging the object teaching index 104, R and T, that is, the three-dimensional of the object teaching index 104, is obtained as a solution to the simultaneous equations. It shows that the position and orientation are required. For example, the paper "Analysis and Solutions of The Three Point Perspective Pose Estimation Problem" by Robert M. Haralick, Chung-nan Lee, Karsten Ottenberg, and Michael Nolle (In Proceedings of the Conference on Computer Vision and Pattern Recognition, Maui, Hawaii , USA, pp. 592-598, 1991) describes a method for measuring the three-dimensional position and orientation of an object from the positions of three known points arranged on the target object.
[0091]
The point (Xc, Yc, ZcThe coordinate values (X, Y) on the two-dimensional captured image of the marker 105 moved to () are as follows.
[0092]
[Expression 4]
Figure 0004032776
[0093]
Therefore, if it is possible to detect three markers whose spatial positional relationship is known from the captured image, R and T, that is, the three-dimensional position and orientation of the object teaching index 104 are mathematically solved as solutions of the simultaneous equations. It can be obtained by calculation.
[0094]
Also, a paper written by Hirokazu Kato, Mark Billinghurst, Koichi Asano, and Keihachiro Tachibana “Augmented Reality System Based on Marker Tracking and Its Calibration” (The Virtual Reality Society of Japan, Vol.4, No.4, 1999) Describes a method of measuring the three-dimensional position and orientation of a parallelogram based on four markers arranged at each vertex of the parallelogram. Therefore, by arranging the four markers 105a to 105d on the object teaching index 104 in a parallelogram shape, the position / posture of the object teaching index 104 is mathematically calculated according to the method described in the paper by Kato. You can also. It should be fully understood that more accurate measurement can be expected by using information of 4 points than 3 points.
[0095]
FIG. 5 shows, in the form of a flowchart, the processing procedure for extracting the object teaching index 104 when using the object teaching index 104 shown in FIG. 4 and acquiring its identification information and three-dimensional position / posture information. ing. This processing procedure corresponds to step S2 of the processing routine shown in FIG. 3. In practice, the CPU 1 starts extraction of a predetermined object teaching index, and its identification information and three-dimensional position / posture information acquisition processing application. In this way, an input image from the camera 101 is processed. Hereinafter, the recognition process of the object teaching index 104 will be described in detail with reference to this flowchart.
[0096]
When markers are extracted from the input image from the camera 101 (step S11), it is determined whether there are three extracted markers (step S12). This is based on the fact that the three-dimensional position and orientation can be estimated from the image coordinates of three points according to the mathematical calculation method described in the paper by Robert et al. When three or more markers are installed on the object teaching index 104, the number of necessary markers may be set to three or more depending on the algorithm for estimating the three-dimensional position and orientation.
[0097]
If it is determined in step S12 that the number of extracted markers is three, then the three-dimensional position and orientation are estimated in accordance with the mathematical calculation method described in Robert's paper (described above) (step S12). S13).
[0098]
Further, as an alternative process of the three-dimensional position and orientation in steps S12 and S13, four markers are arranged so as to form a parallelogram on the object teaching index 104, and an input image from the camera 101 is used. When four markers can be extracted in a parallelogram shape, the three-dimensional position and orientation of the object teaching index 104 are estimated by mathematical calculation according to the method described in Kato's paper (described above). . In this case, when only three markers can be extracted, the three-dimensional position and orientation may be estimated according to a mathematical calculation method described in a paper written by Robert (described above).
[0099]
Next, the identification information of the object teaching index 104 is recognized (step S14). Identification information such as a model number is clearly specified in the object teaching index 104 in the form of character information, for example, and is recognized using character recognition technology or the like. Alternatively, when the object teaching index 104 specifies identification information in the form of a bar code or other visual code instead of characters, it is also possible to recognize the identification information by its pattern recognition.
[0100]
On the other hand, if it is determined in step S12 that the number of extracted markers is less than three, a result indicating that the object teaching index 104 cannot be identified is returned, and this processing routine is terminated.
[0101]
As described above, according to the system according to the present embodiment including the camera 101 and the mixed reality display device 102, the identification information and the three-dimensional position / posture information can be simultaneously acquired from the object teaching index 104.
[0102]
As shown in FIG. 4, the plurality of markers 105a to 105c are installed on the object teaching index 104 because the three-dimensional position and orientation of the object teaching index 104 with respect to the image captured by the camera 101 are to be estimated (in other words, object recognition In order to utilize the spatial resolution of the camera 101 in FIG. Therefore, when the three-dimensional position and orientation are not necessary for the recognition of the object teaching index 104, for example, when a two-dimensional image corresponding to the identification information is simply superimposed on the position of the object teaching index 104 in the image data, It is sufficient to arrange only a single marker for obtaining the identification information on the object teaching index 104.
[0103]
Even if there is one marker 105 for the object teaching index 104, it is possible to estimate the three-dimensional position and orientation of the object teaching index 104 from the principle of triangulation (well known) by using a plurality of cameras 101. is there.
[0104]
(2) Configuration example 2:
FIG. 6 shows another configuration example of the object teaching index 104. In the figure, markers arranged at the vertices of the object teaching index 104 are light sources 105a ′ to 105c such as LEDs that can emit pulses instead of static optical identification information such as color, shape, and pattern. 'Is installed. Each of these light sources has an ID so that they can be identified, and the light sources are caused to blink according to a blinking pattern corresponding to each ID. Each of the light sources 105a 'to 105c' can also transmit transmission data other than the ID by encoding the data in a blinking pattern.
[0105]
In addition, information (for example, character information of the product model number) related to the corresponding actual object is clearly written (printed) at the approximate center of the object teaching index 104. However, it is also possible to encode both the IDs of the light sources 105a 'to 105c' and the identification information of the object teaching index into a blinking pattern and transmit them simultaneously. For example, when transmitting 8-bit data, the upper 6 bits can be assigned to the identification information of the object teaching index 104, and the lower 2 bits can be assigned to the IDs of the light sources 105a 'to 105c'. In such a case, printing of information on the body of the object teaching index 104 (and image recognition of print information) can be omitted.
[0106]
The camera 101 connected to the mixed reality display device 102 includes an image sensor (not shown) in which an infinite number of light receiving elements, that is, pixels are arranged on a two-dimensional array, such as a CMOS sensor or a CCD sensor. And has a spatial resolution for each of the markers 105 a ′ to 105 c ′ composed of blinking light sources on the object teaching index 104. Then, the blinking patterns of the respective light sources 105a ′ to 105c ′ are spatially recognized based on the moving image captured by the camera 101, and the light receiving positions and the IDs represented by the blinking patterns are recognized. Can do.
[0107]
Thus, when each marker 105a'-105c 'is comprised by the device which blinks light like LED, each marker 105a'-105c' encodes data into time series optical signals, such as a blink pattern. Can be sent. In such a case, the object teaching index 104 provided with the markers 105a ′ to 105c ′ functions not only as an index for measuring the identification information of the real object, but also in the spatial position and orientation, and also functions as a transmission device. can do. In addition, since the data of the optical signal does not change according to the distance, robust data transmission with respect to the distance can be performed. A data communication system using such a blinking pattern of light is disclosed in Japanese Patent Application No. 2001-325356 (described above) already assigned to the present applicant.
[0108]
FIG. 7 schematically shows operating characteristics on the camera 101 and mixed reality display device 102 side when the object teaching index 104 is equipped with three light emitting diodes as the respective markers 105a 'to 105c'. Each of the light emitting diodes 105a 'to 105c' can encode data to be transmitted such as identification information into a light blinking pattern and send it as an optical signal. Of course, the baseband signal made up of transmission data may be represented as a light blinking pattern as it is, or the optical signal may be output after performing modulation processing such as frequency modulation or amplitude modulation.
[0109]
In this case, the blinking pattern of each light emitting diode is imaged on the light receiving surface of the two-dimensional image sensor on the camera 101 side by a condenser lens system (not shown), and the position of the object teaching index 104 in the real space or It is detected by the light receiving element at a position corresponding to the posture.
[0110]
For example, the coordinate values of the light receiving elements (pixels) on which the light emitted from the light emitting diodes 105a ′ to 105c ′ is imaged on the two-dimensional light receiving surface of the image sensor are (10, 10), (90, 90), respectively. Assuming (40, 70), the blinking pattern of the corresponding light emitting diode is detected as a temporal change in received light intensity (brightness) at each pixel position. By binarizing the received light intensity with a predetermined threshold, a 1/0 bit string corresponding to the original transmission data can be restored.
[0111]
As described above, the mixed reality display device 102 decodes the captured image of the scene including the measurement target object 101 by the camera 101 with all pixels, thereby transmitting the optical signals transmitted from the markers 105a ′ to 105c ′, and Spatial information of the object teaching index 104 can be obtained. That is, it is possible to transmit data to and from the object teaching index 104 using an optical signal, and it is possible to provide an augmented reality service based on a real world situation that spatial information means.
[0112]
FIG. 8 shows a processing procedure for extracting the object teaching index 104 when using the object teaching index 104 shown in FIG. 6 and acquiring the identification information and the three-dimensional position / attitude information in the form of a flowchart. ing. This processing procedure corresponds to step S2 of the processing routine shown in FIG. 3. In practice, the CPU 1 starts extraction of a predetermined object teaching index, and its identification information and three-dimensional position / posture information acquisition processing application. In this way, an input image from the camera 101 is processed. Hereinafter, the recognition process of the object teaching index 104 will be described in detail with reference to this flowchart.
[0113]
First, the input image from the camera 101 is subjected to image processing, extraction of a blinking pattern, and decoding of transmission data represented by the blinking pattern (step S21).
[0114]
Next, it is determined whether or not there are three extracted blinking patterns (step S22). This is based on the fact that the three-dimensional position and orientation can be estimated from the image coordinates of three points according to the mathematical calculation method described in the paper by Robert et al.
[0115]
If it is determined in step S22 that the number of extracted markers is three, then the three-dimensional position and orientation are estimated in accordance with the mathematical calculation method described in Robert's paper (described above) (step S22). S23). Further, when data is sent from the object teaching index 104 in the form of a blinking pattern, it may be integrated with the decoding result to estimate the three-dimensional position and orientation.
[0116]
As an alternative process of the three-dimensional position and orientation in steps S22 and S23, four blinking light sources are arranged so as to form a parallelogram on the object teaching index 104, and an input image from the camera 101 is displayed. When four blinking patterns can be extracted in a parallelogram shape from the above, the three-dimensional position and orientation of the object teaching index 104 are calculated by mathematical calculation according to the method described in Kato's paper (described above). presume.
[0117]
Next, the identification information of the object teaching index 104 is recognized (step S24). Identification information such as a model number is clearly specified in the object teaching index 104 in the form of character information, for example, and is recognized using character recognition technology or the like. Alternatively, when the object teaching index 104 specifies identification information in the form of a bar code or other visual code instead of characters, it is also possible to recognize the identification information by its pattern recognition.
[0118]
If data is sent from the object teaching index 104 in the form of a blinking pattern, identification information may be recognized in step S24 by integrating with the decoding result.
[0119]
Alternatively, when the information is transmitted only by the ID transmitted in the form of the blinking pattern from the light sources 105a ′ to 105c ′ and no information is printed on the object teaching index 104, the light sources 105a ′ to 105c ′ are set in step S24. The identification information is recognized only by the decoding result of the blinking pattern at. For example, each of the light sources 105a ′ to 105c ′ transmits 8-bit data in which the upper 6 bits are assigned to the identification information of the object teaching index 104 and the lower 2 bits are assigned to the IDs of the light sources 105a ′ to 105c ′. This is decoded.
[0120]
FIG. 9 shows a modification of the object teaching index 104 shown in FIG. In the figure, light sources 105 a ′ to 105 c ′ such as LEDs capable of pulse transmission are installed at each vertex of the object teaching index 104. In addition, instead of printing information related to the corresponding real object (for example, character information of the product model number) in the approximate center of the object teaching index 104, the information is encoded into a light blinking pattern and transmitted. A light source 106 is additionally provided.
[0121]
In such a case, the mixed reality display device 102 side can decode the identification information in the object teaching index 104 by spatially recognizing the blinking pattern of the light source 106 based on the input image from the camera 101. it can.
[0122]
(3) Configuration example 3:
FIG. 10 shows another configuration example of the object teaching index 104. The optical identification information of the object teaching index 104 shown in the figure is composed of “Cybercode”.
[0123]
This cyber code is a kind of two-dimensional visual code. A “guide bar display area” for indicating the location of the cyber code and a “code pattern display area” for displaying a two-dimensional code pattern. ”To form a mosaic pattern. The code pattern display area is composed of cells arranged in an n × m matrix (7 × 7 in the figure), and identification information can be given by expressing each cell in white or black. . However, the corner cells at the four corners of the code pattern display area are always black patterns as registration (image registration) patterns, not as identification information.
[0124]
The cyber code recognition procedure includes a step of binarizing the captured image, a step of finding a candidate of the guide bar 1002 from the binary image, and a corner cell 1003 based on the position and direction of the guide bar 1002. The step of searching is roughly divided into the step of decoding the image bitmap pattern in response to the detection of the guide bar 1002 and the corner cell 1003. Further, by checking the error bit, it is possible to confirm that the correct cyber code is included in the captured image, and to derive the identification information and position information of the code. Also, based on the position of the corner cell 1003, distortion caused by the tilt of the camera or object can be calculated and compensated.
[0125]
Details of the cyber code can be found in, for example, Japanese Laid-Open Patent Publication No. 2000-82108 (“2D code recognition processing method, 2D code recognition processing device, and medium”) already assigned to the present applicant. Is also disclosed.
[0126]
FIG. 11 shows, in the form of a flowchart, a processing procedure for extracting the object teaching index 104 when the object teaching index 104 shown in FIG. 10 is used, and acquiring the identification information and three-dimensional position / posture information. ing. This processing procedure corresponds to step S2 of the processing routine shown in FIG. 3. In practice, the CPU 1 starts extraction of a predetermined object teaching index, and its identification information and three-dimensional position / posture information acquisition processing application. In this way, an input image from the camera 101 is processed. Hereinafter, the recognition process of the object teaching index 104 will be described in detail with reference to this flowchart.
[0127]
First, binarization processing of an input image from the camera 101 is performed (step S31), and then guide bar 1002 candidates are extracted from the binarized image (step S32). Then, it is determined whether or not the guide bar 1002 has been extracted (step S33).
[0128]
If the guide bar 1002 is extracted, the process proceeds to the subsequent step S34, and the corner cell 1003 is further searched based on the position and direction of the guide bar 1002. Then, it is determined whether or not the corner cell 1003 has been extracted (step S35).
[0129]
If the corner cell 1003 can be extracted, the process proceeds to the subsequent step S36 to decode the image bitmap pattern in response to the detection of the guide bar 1002 and the corner cell 1003. Thus, the identification information of the object teaching index 1001 is acquired.
[0130]
Next, the three-dimensional position and orientation of the object teaching index 1001 with respect to the camera 101 are estimated from the positions of the guide bar 1002 and the corner cell 1003 detected in the input image (step S37).
[0131]
Here, in order to estimate the three-dimensional position and orientation from the image coordinates of the four corner cells 1003 of the cyber code, for example, the paper “Marker Tracking” co-authored by Hirokazu Kato, Mark Billinghurst, Koichi Asano, and Keihachiro Tachibana. Augmented Reality System and Its Calibration ”(The Virtual Reality Society of Japan, Vol.4, No.4, 1999) (described above). A method of mathematically calculating the three-dimensional position and orientation based on the method can be applied.
[0132]
In the object teaching index 104 having the configuration shown in FIG. 4, each corner cell 1003 cannot be identified by itself, but can be identified by using the positional relationship with the guide bar 1002, and a similar method can be used. It is possible to estimate a three-dimensional position and posture.
[0133]
On the other hand, if the guide bar 1002 cannot be found in step S33, or if the corner cell 1003 cannot be recognized in step S35, the three-dimensional position and orientation of the object teaching index 104 are determined. A result indicating that acquisition is impossible is returned, and the entire processing routine is terminated.
[0134]
C. Composition of image data
The identification information of the object teaching index 104 arranged in the real space and the three-dimensional position / orientation with respect to the camera 101 can be acquired by the method shown in the section B. Furthermore, in the virtual space, a mixed reality space can be created by arranging a three-dimensional model corresponding to the detected identification information at a three-dimensional position / posture determined from the object teaching index 104.
[0135]
It is desirable to create an object teaching index 104 for each product such as furniture, home appliances, and interior. For example, an object teaching index 1202 is pasted on a part of a product brochure 1201 as shown in FIG.
[0136]
For example, the consumer may take home only the product brochure 1201 without purchasing the product at a store visited. Then, the object teaching index 1202 for the corresponding product is arranged at a desired position in the room at home, and the indoor landscape is photographed by the camera 101.
[0137]
When this captured image is input to the mixed reality display device 102, the identification information of the object teaching index 104 arranged in the real space and the three-dimensional position / posture with respect to the camera 101 are acquired. Furthermore, in the virtual space, a 3D model of the product corresponding to the detected identification information is arranged at the 3D position / orientation obtained from the object teaching index 104 to create a mixed reality space image and display it on the screen. Output to the device 103. As a result, consumers can check the harmony with the room, such as the size and color of the product, before purchasing based on the display output of the mixed reality space image without actually placing the product in the room. Become.
[0138]
Such a process of synthesizing the three-dimensional model in the virtual space corresponds to the process performed in step S7 of the flowchart shown in FIG. Hereinafter, a method for synthesizing the image data and the three-dimensional model will be described with reference to FIG. 3 again.
[0139]
First, image data input from the camera 101 is drawn in a frame buffer corresponding to an output image (step S1). At this time, if the size of the input image is different from the size of the output image, the input image is reduced or enlarged to match the size of the output image.
[0140]
Next, the object teaching index 104 in the photographed image data is extracted by the object teaching index extraction, its identification information, and the three-dimensional position / posture information acquisition processing routine (steps S2 and S3), and further extracted. A three-dimensional model of an actual object (furniture, home appliance, interior, etc.) corresponding to the identification information of the object teaching index 104 is acquired (step S4).
[0141]
Next, the three-dimensional model acquired in step S4 is arranged in the three-dimensional position / posture acquired in step S2 on the real space indicated by the input image of the camera 101 (step S6) and rendered. At this time, the attributes of the camera in the virtual space, such as the angle of view, must be matched to the attributes of the real world camera (camera type, lens distortion, etc.).
[0142]
In this manner, a mixed reality space image can be created by displaying a virtual three-dimensional model superimposed on the reality space represented by the input image.
[0143]
In the above method, the three-dimensional model is simply overlaid on the input image. Therefore, for example, as shown in FIG. 13, when there is an obstacle such as a user's hand between the camera 101 and the object teaching index 104 (however, the markers 105 a to 105 c of the object teaching index 104 are not hidden by the hand). The composite image A03 is an unnatural image with the virtual object A02 displayed on the hand as shown in the figure.
[0144]
On the other hand, when an image sensor equipped with a three-dimensional measurement function capable of detecting distance information from the camera, such as “Entertainment Vision Sensor”, is used, the distance information of the object relative to the camera can be acquired simultaneously with the image data. Therefore, the above problem can be avoided. Alternatively, in a space where the positional relationship of the object teaching index 104 with respect to the camera 101 is known, an object to be drawn can be determined based on distance information from the camera 101, and thus the above problem can be avoided in the same manner. it can.
[0145]
That is, a natural composite image B01 as shown in FIG. 14 can be obtained by selecting and drawing an object closest to the camera when drawing each pixel.
[0146]
The “Entertainment Vision Sensor” is a high-performance CMOS image sensor that can acquire both color moving images and three-dimensional distance information at 15 frames or 30 frames per second with a single chip. By using these moving images and distance information at the same time, functions such as image recognition, object recognition, motion detection, etc. that have so far required complicated information processing can be realized in a small system. This provides various applications in various fields such as user interfaces such as PCs and games, 3D modeling, obstacle detection / person detection of robots, personal authentication in security systems, video phone image extraction functions, etc. (Http://www.sony.co.jp/SonyInfo/News/Press/)
[0147]
[Supplement]
The present invention has been described in detail above with reference to specific embodiments. However, it is obvious that those skilled in the art can make modifications and substitutions of the embodiment without departing from the gist of the present invention. That is, the present invention has been disclosed in the form of exemplification, and the contents described in the present specification should not be interpreted in a limited manner. In order to determine the gist of the present invention, the claims section described at the beginning should be considered.
[0148]
【The invention's effect】
As described above in detail, according to the present invention, an excellent mixed reality display device and method, a storage medium, and a computer that can incorporate a real-world aspect on a virtual space implemented on a computer or a network.・ Provide programs.
[0149]
In addition, according to the present invention, the virtual space can be expanded to the real world by actively using the real world situation such as the location where the user exists and the position / posture of the real world object in the real space. The mixed reality display device and method, the storage medium, and the computer program can be provided.
[0150]
Further, according to the present invention, it is possible to present the user with a virtual reality world in which the appearance such as the size and color of the real object and the surrounding environment are harmonized without arranging the real object in the real space. The mixed reality display device and method, the storage medium, and the computer program can be provided.
[0151]
Further, according to the present invention, it is possible to provide an excellent mixed reality display device and method, a storage medium, and a computer program capable of combining and displaying a virtual object imitating a real object in a real space. it can.
[0152]
According to the mixed reality display device of the present invention, based on a mixed reality image in which a virtual object is synthesized with a scene in a real space, home furniture, appliances, interiors, etc. match the size of the room. It is possible to determine whether it is in harmony with the color of the room or other furniture before actually purchasing it. In addition, for indoor scenery and objects other than virtual objects such as furniture, electrical appliances, and interiors, real images captured from cameras are used as they are. That is, it is not necessary to create or obtain a complete model for the real space, and an augmented reality image can be easily generated.
[Brief description of the drawings]
FIG. 1 is a diagram schematically showing a configuration of a mixed reality system according to an embodiment of the present invention.
FIG. 2 is a diagram schematically illustrating a hardware configuration of a mixed reality apparatus 102 according to the present embodiment.
FIG. 3 is a flowchart showing a mixed reality display processing procedure executed on the mixed reality device 102;
4 is a diagram showing an example of the configuration of an object teaching index 104. FIG.
5 is a flowchart showing a processing procedure for extracting an object teaching index when the object teaching index 104 shown in FIG. 4 is used, and acquiring identification information and three-dimensional position / posture information thereof. FIG.
6 is a diagram showing another configuration example of the object teaching index 104. FIG.
7 is a diagram schematically showing operation characteristics on the camera 101 and mixed reality display device 102 side when the object teaching index 104 is equipped with three light emitting diodes as the respective markers 105a ′ to 105c ′. FIG. .
8 is a flowchart showing a processing procedure for extracting the object teaching index 104 when using the object teaching index 104 shown in FIG. 6 and acquiring identification information and three-dimensional position / posture information thereof. FIG.
9 is a diagram showing a modification of the object teaching index 104 shown in FIG. 6. FIG.
10 is a diagram showing another configuration example of the object teaching index 104. FIG.
11 is a flowchart showing a processing procedure for extracting an object teaching index 104 and acquiring identification information and three-dimensional position / posture information when the object teaching index 104 shown in FIG. 10 is used.
FIG. 12 is a diagram illustrating a configuration example of a mixed reality image.
FIG. 13 is a diagram illustrating a configuration example of a mixed reality image.
FIG. 14 is a diagram illustrating a configuration example of a mixed reality image.
[Explanation of symbols]
1 ... CPU
2 ... Main memory, 3 ... ROM
4. Display controller
5. Input device interface
6 ... Network interface
7. External device interface
8 ... Bus, 9 ... Camera interface
11 ... Display
12 ... Keyboard, 13 ... Mouse
14: Hard disk device
15 ... Media drive
101 ... Camera
102 ... Mixed reality device
103. Image display device
104 ... Object teaching index
105a-105c ... Marker
105a'-105c '... Marker (light source)
106: Light source

Claims (10)

仮想物体を現実空間に合成して表示する複合現実感表示装置であって、
物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力部と、
前記画像入力部による入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算部と、
前記画像入力部による入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識部と、
前記物体認識部により認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算部により算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成部と、
を備え、
前記物体教示指標は、互いの位置関係が既知となるように配設された複数の光学的識別情報であり、
前記物体認識部は、前記複数の光学的識別情報の組み合わせに基づいて前記物体教示指標が持つ識別情報を認識し、
前記位置・姿勢計算部は、前記画像入力部による入力画像を基に各光学的識別情報を抽出し、該入力画像における各光学的識別情報の検出位置に基づいて前記物体教示指標の空間的な位置及び姿勢を算出する、
ことを特徴とする複合現実感表示装置。 A mixed reality display device that synthesizes and displays a virtual object in real space,
An image input unit that captures a scene in the real space including the object teaching index;
A position / attitude calculation unit for calculating a spatial position and orientation of the object teaching index based on an input image by the image input unit;
An object recognition unit for recognizing identification information of the object teaching index based on an input image by the image input unit and recognizing a corresponding real object;
A virtual object composed of a three-dimensional model of a real object recognized by the object recognition unit is rotated and moved in accordance with the spatial position and posture calculated by the position / posture calculation unit and is synthesized on the input image. An image composition unit ;
With
The object teaching index is a plurality of pieces of optical identification information arranged so that their positional relationships are known.
The object recognition unit recognizes identification information of the object teaching index based on a combination of the plurality of optical identification information,
The position / posture calculation unit extracts each piece of optical identification information based on an input image from the image input unit, and based on a detection position of each piece of optical identification information in the input image, the spatial position of the object teaching index is extracted. Calculate position and orientation,
A mixed reality display device characterized by that. 前記物体教示指標は、互いの位置関係が既知となるように配設された複数の点滅光源からなる光学的識別情報であり、各点滅光源は識別情報又はその他のデータを光の点滅パターンに符号化して送信し、The object teaching index is optical identification information including a plurality of blinking light sources arranged so that their positional relationship is known, and each blinking light source encodes identification information or other data into a light blinking pattern. Send
前記物体認識部は、前記画像入力部による入力画像を基に各点滅光源からの点滅パターンを抽出するとともにこれらを復号化して前記物体教示指標が持つ識別情報を認識し、The object recognizing unit extracts a blinking pattern from each blinking light source based on an input image by the image input unit and decodes these to recognize identification information of the object teaching index,
前記位置・姿勢計算部は、前記画像入力部による入力画像を基に各点滅光源からの点滅パターンを抽出しこれらを復号化して各々を識別するとともに、該入力画像における各点滅光源の検出位置に基づいて前記物体教示指標の空間的な位置及び姿勢を算出する、The position / orientation calculation unit extracts a blinking pattern from each blinking light source based on an input image from the image input unit, decodes these to identify each, and sets a detection position of each blinking light source in the input image. Calculating a spatial position and orientation of the object teaching index based on
ことを特徴とする請求項１に記載の複合現実感表示装置。The mixed reality display device according to claim 1. 前記画像合成部は、前記物体認識部により認識された現実物体に関する料金や仕様、あるいはその他の関連情報を入力画像上にさらに合成する、The image synthesis unit further synthesizes charges and specifications related to the real object recognized by the object recognition unit, or other related information on the input image;
ことを特徴とする請求項１に記載の複合現実感表示装置。The mixed reality display device according to claim 1. さらに前記物体教示指標までの距離を測定する距離測定部を備え、Furthermore, a distance measuring unit for measuring the distance to the object teaching index is provided,
前記画像合成部は、前記距離測定部により得られた距離に基づいて前記仮想物体に陰面処理を適用する、The image composition unit applies hidden surface processing to the virtual object based on the distance obtained by the distance measurement unit;
ことを特徴とする請求項１に記載の複合現実感表示装置。The mixed reality display device according to claim 1. コンピュータを用いて構築される複合現実感表示システム上で、仮想物体を現実空間に合成して表示する複合現実感表示方法であって、A mixed reality display method for compositing and displaying a virtual object in a real space on a mixed reality display system constructed using a computer,
前記コンピュータが備える画像入力手段が、物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力ステップと、An image input step in which the image input means included in the computer captures a scene in the real space including the object teaching index;
前記コンピュータが備える位置・姿勢計算手段が、前記画像入力ステップにおける入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算ステップと、Position / attitude calculation means provided in the computer, a position / attitude calculation step for calculating a spatial position and attitude of the object teaching index based on an input image in the image input step;
前記コンピュータが備える物体認識手段が、前記画像入力ステップにおける入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識ステップと、An object recognition unit provided in the computer, recognizing identification information of the object teaching index based on an input image in the image input step and recognizing a corresponding real object; and
前記コンピュータが備える画像合成手段が、前記物体認識ステップにおいて認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算ステップにおいて算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成ステップと、The image synthesizing means provided in the computer rotates a virtual object composed of a three-dimensional model of the real object recognized in the object recognition step according to the spatial position and orientation calculated in the position / posture calculation step. An image compositing step for moving and compositing on the input image;
を備え、With
前記物体教示指標は、互いの位置関係が既知となるように配設された複数の光学的識別情報であり、The object teaching index is a plurality of pieces of optical identification information arranged so that their positional relationships are known.
前記物体認識ステップでは、前記複数の光学的識別情報の組み合わせに基づいて前記物体教示指標が持つ識別情報を認識し、In the object recognition step, the identification information of the object teaching index is recognized based on a combination of the plurality of optical identification information,
前記位置・姿勢計算ステップでは、前記画像入力ステップにおける入力画像を基に各光学的識別情報を抽出し、該入力画像における各光学的識別情報の検出位置に基づいて前記物体教示指標の空間的な位置及び姿勢を算出する、In the position / posture calculation step, each optical identification information is extracted based on the input image in the image input step, and based on the detection position of each optical identification information in the input image, the spatial position of the object teaching index is extracted. Calculate position and orientation,
ことを特徴とする複合現実感表示方法。A mixed reality display method characterized by that. 前記物体教示指標は、互いの位置関係が既知となるように配設された複数の点滅光源からなる光学的識別情報であり、各点滅光源は識別情報又はその他のデータを光の点滅パターンに符号化して送信し、The object teaching index is optical identification information including a plurality of blinking light sources arranged so that their positional relationship is known, and each blinking light source encodes identification information or other data into a light blinking pattern. Send
前記物体認識ステップでは、前記画像入力ステップにおける入力画像を基に各点滅光源からの点滅パターンを抽出するとともにこれらを復号化して前記物体教示指標が持つ識別情報を認識し、In the object recognition step, the blinking pattern from each blinking light source is extracted based on the input image in the image input step, and these are decoded to recognize the identification information of the object teaching index,
前記位置・姿勢計算ステップでは、前記画像入力ステップにおける入力画像を基に各点滅光源からの点滅パターンを抽出しこれらを復号化して各々を識別するとともに、該入力画像における各点滅光源の検出位置に基づいて前記物体教示指標の空間的な位置及び姿勢を算出する、In the position / posture calculation step, a blinking pattern from each blinking light source is extracted based on the input image in the image input step, and these are decoded to identify each, and at the detection position of each blinking light source in the input image Calculating a spatial position and orientation of the object teaching index based on
ことを特徴とする請求項５に記載の複合現実感表示方法。The mixed reality display method according to claim 5, wherein: 前記画像合成ステップでは、前記物体認識ステップにおいて認識された現実物体に関する料金や仕様、あるいはその他の関連情報を入力画像上にさらに合成する、In the image synthesizing step, charges and specifications related to the real object recognized in the object recognition step, or other related information is further synthesized on the input image.
ことを特徴とする請求項５に記載の複合現実感表示方法。The mixed reality display method according to claim 5, wherein: 前記コンピュータが備える距離測定手段が前記物体教示指標までの距離を測定する距離測定ステップをさらに備え、The distance measuring means provided in the computer further comprises a distance measuring step of measuring a distance to the object teaching index,
前記画像合成ステップでは、前記距離測定ステップにおいて得られた距離に基づいて前記仮想物体に陰面処理を適用する、In the image synthesis step, a hidden surface process is applied to the virtual object based on the distance obtained in the distance measurement step.
ことを特徴とする請求項５に記載の複合現実感表示方法。The mixed reality display method according to claim 5, wherein: 仮想物体を現実空間に合成して表示するための処理をコンピュータ上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、前記コンピュータに対し、A computer-readable storage medium that physically stores computer software written to execute a process for synthesizing and displaying a virtual object in a real space on a computer, the computer software comprising: For the computer
物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力手順と、An image input procedure for capturing a scene in a real space including an object teaching index;
前記画像入力手順における入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算手順と、A position / attitude calculation procedure for calculating a spatial position and orientation of the object teaching index based on an input image in the image input procedure;
前記画像入力手順における入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識手順と、An object recognition procedure for recognizing identification information of the object teaching index based on an input image in the image input procedure and recognizing a corresponding real object;
前記物体認識手順において認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算ステップにおいて算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成手順と、A virtual object made up of a three-dimensional model of a real object recognized in the object recognition procedure is rotated and moved in accordance with the spatial position and orientation calculated in the position / posture calculation step and synthesized on the input image. Image compositing procedure;
を実行させ、And execute
前記物体教示指標は、互いの位置関係が既知となるように配設された複数の光学的識別情報であり、The object teaching index is a plurality of pieces of optical identification information arranged so that their positional relationships are known.
前記物体認識手順では、前記複数の光学的識別情報の組み合わせに基づいて前記物体教示指標が持つ識別情報を認識し、In the object recognition procedure, the identification information of the object teaching index is recognized based on a combination of the plurality of optical identification information,
前記位置・姿勢計算手順では、前記画像入力手順における入力画像を基に各光学的識別情報を抽出し、該入力画像における各光学的識別情報の検出位置に基づいて前記物体教示指標の空間的な位置及び姿勢を算出する、In the position / orientation calculation procedure, each optical identification information is extracted based on the input image in the image input procedure, and the spatial position of the object teaching index is determined based on the detection position of each optical identification information in the input image. Calculate position and orientation,
ことを特徴とする記憶媒体。A storage medium characterized by that. 仮想物体を現実空間に合成して表示するための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、A computer program written in a computer-readable format so as to execute a process for synthesizing and displaying a virtual object in a real space on a computer,
物体教示指標を含んだ現実空間上のシーンを捕捉する画像入力手順と、An image input procedure for capturing a scene in a real space including an object teaching index;
前記画像入力手順における入力画像を基に前記物体教示指標の空間的位置及び姿勢を計算する位置・姿勢計算手順と、A position / attitude calculation procedure for calculating a spatial position and orientation of the object teaching index based on an input image in the image input procedure;
前記画像入力手順における入力画像を基に前記物体教示指標が持つ識別情報を認識して対応する現実物体を認識する物体認識手順と、An object recognition procedure for recognizing a corresponding real object by recognizing identification information of the object teaching index based on an input image in the image input procedure;
前記物体認識手順において認識された現実物体についての３次元モデルからなる仮想物体を前記位置・姿勢計算手順において算出された空間的な位置及び姿勢に応じて回転・移動させて入力画像上に合成する画像合成手順と、A virtual object composed of a three-dimensional model of a real object recognized in the object recognition procedure is rotated and moved in accordance with the spatial position and orientation calculated in the position / orientation calculation procedure and synthesized on the input image. Image compositing procedure;
を実行させ、And execute
前記物体教示指標は、互いの位置関係が既知となるように配設された複数の光学的識別情報であり、The object teaching index is a plurality of pieces of optical identification information arranged so that their positional relationships are known.
前記物体認識手順では、前記複数の光学的識別情報の組み合わせに基づいて前記物体教示指標が持つ識別情報を認識し、In the object recognition procedure, the identification information of the object teaching index is recognized based on a combination of the plurality of optical identification information,
前記位置・姿勢計算手順では、前記画像入力手順における入力画像を基に各光学的識別情報を抽出し、該入力画像における各光学的識別情報の検出位置に基づいて前記物体教示指標の空間的な位置及び姿勢を算出する、In the position / orientation calculation procedure, each optical identification information is extracted based on the input image in the image input procedure, and the spatial position of the object teaching index is determined based on the detection position of each optical identification information in the input image. Calculate position and orientation,
ことを特徴とするコンピュータ・プログラム。A computer program characterized by the above.
JP2002057838A 2002-03-04 2002-03-04 Mixed reality display apparatus and method, storage medium, and computer program Expired - Fee Related JP4032776B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002057838A JP4032776B2 (en) 2002-03-04 2002-03-04 Mixed reality display apparatus and method, storage medium, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002057838A JP4032776B2 (en) 2002-03-04 2002-03-04 Mixed reality display apparatus and method, storage medium, and computer program

Publications (2)

Publication Number Publication Date
JP2003256876A JP2003256876A (en) 2003-09-12
JP4032776B2 true JP4032776B2 (en) 2008-01-16

Family

ID=28668010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002057838A Expired - Fee Related JP4032776B2 (en) 2002-03-04 2002-03-04 Mixed reality display apparatus and method, storage medium, and computer program

Country Status (1)

Country Link
JP (1) JP4032776B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012144389A1 (en) 2011-04-20 2012-10-26 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 Individual identification character display system, terminal device, individual identification character display method, and computer program
US9741174B2 (en) 2015-01-14 2017-08-22 Ricoh Company, Ltd. Information processing apparatus, information processing method, and computer-readable recording medium
US9905053B2 (en) 2015-10-07 2018-02-27 Ricoh Company, Ltd. Information processing device, information processing method, and computer program product
CN109586998A (en) * 2018-11-09 2019-04-05 珠海格力电器股份有限公司 Method for indicating running state of equipment, cloud end and equipment

Families Citing this family (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4366165B2 (en) * 2003-09-30 2009-11-18 キヤノン株式会社 Image display apparatus and method, and storage medium
US7991220B2 (en) * 2004-09-01 2011-08-02 Sony Computer Entertainment Inc. Augmented reality game system using identification information to display a virtual object in association with a position of a real object
JP4689380B2 (en) * 2004-09-28 2011-05-25 キヤノン株式会社 Information processing method and apparatus
KR100858399B1 (en) 2004-10-15 2008-09-11 가부시키가이샤 소니 컴퓨터 엔터테인먼트 Object, image data, image data transmission method, card, game mat, card game system, image analysis device, and image analysis method
JP4627084B2 (en) * 2005-04-12 2011-02-09 パイオニア株式会社 COMMUNICATION SYSTEM, COMMUNICATION DEVICE AND METHOD, AND COMPUTER PROGRAM
JP2007058296A (en) * 2005-08-22 2007-03-08 Fujifilm Holdings Corp Information providing system
JP2007206807A (en) * 2006-01-31 2007-08-16 Nippon Hoso Kyokai <Nhk> Image composing device and image composing program
JP2007219082A (en) * 2006-02-15 2007-08-30 Canon Inc Composite reality feeling display system
JP4847192B2 (en) 2006-04-14 2011-12-28 キヤノン株式会社 Image processing system, image processing apparatus, imaging apparatus, and control method thereof
US9867530B2 (en) 2006-08-14 2018-01-16 Volcano Corporation Telescopic side port catheter device with imaging system and method for accessing side branch occlusions
FR2911211B1 (en) * 2007-01-05 2009-06-12 Total Immersion Sa METHOD AND DEVICES FOR REAL-TIME INSERTING VIRTUAL OBJECTS IN AN IMAGE STREAM FROM DATA FROM THE REAL SCENE REPRESENTED BY THESE IMAGES
WO2009009799A1 (en) 2007-07-12 2009-01-15 Volcano Corporation Catheter for in vivo imaging
US10219780B2 (en) 2007-07-12 2019-03-05 Volcano Corporation OCT-IVUS catheter for concurrent luminal imaging
US9596993B2 (en) 2007-07-12 2017-03-21 Volcano Corporation Automatic calibration systems and methods of use
DE102007045835B4 (en) * 2007-09-25 2012-12-20 Metaio Gmbh Method and device for displaying a virtual object in a real environment
DE102007045834B4 (en) 2007-09-25 2012-01-26 Metaio Gmbh Method and device for displaying a virtual object in a real environment
JP2009087176A (en) * 2007-10-02 2009-04-23 Casio Comput Co Ltd Object generation system, object generation device, and object generation program
US9347765B2 (en) * 2007-10-05 2016-05-24 Volcano Corporation Real time SD-OCT with distributed acquisition and processing
US8485038B2 (en) * 2007-12-18 2013-07-16 General Electric Company System and method for augmented reality inspection and data visualization
JP5040796B2 (en) * 2008-05-09 2012-10-03 大日本印刷株式会社 Indoor furniture purchase support system, method, program, medium
JP5413558B2 (en) * 2008-08-13 2014-02-12 カシオ計算機株式会社 Imaging apparatus, image processing method, and image processing program
JP5258549B2 (en) * 2008-12-26 2013-08-07 学校法人立命館 Composite image display system, composite image display method, and composite image display program
JP5258548B2 (en) * 2008-12-26 2013-08-07 学校法人立命館 Composite image display system, composite image display method, and composite image display program
JP4834116B2 (en) * 2009-01-22 2011-12-14 株式会社コナミデジタルエンタテインメント Augmented reality display device, augmented reality display method, and program
JP5233709B2 (en) * 2009-02-05 2013-07-10 株式会社デンソーウェーブ Robot simulation image display system
JP5158007B2 (en) 2009-04-28 2013-03-06 ソニー株式会社 Information processing apparatus, information processing method, and program
JP2011095964A (en) * 2009-10-29 2011-05-12 Toppan Printing Co Ltd Portable terminal, method, and program
KR101601280B1 (en) * 2009-11-25 2016-03-08 엘지전자 주식회사 Managing multimedia contents using general objects
US8610771B2 (en) * 2010-03-08 2013-12-17 Empire Technology Development Llc Broadband passive tracking for augmented reality
JP5564300B2 (en) * 2010-03-19 2014-07-30 富士フイルム株式会社 Head mounted augmented reality video presentation device and virtual display object operating method thereof
JP5055402B2 (en) * 2010-05-17 2012-10-24 株式会社エヌ・ティ・ティ・ドコモ Object display device, object display system, and object display method
KR101330811B1 (en) 2010-08-25 2013-11-18 주식회사 팬택 Apparatus and Method for augmented reality using instant marker
JP5646263B2 (en) 2010-09-27 2014-12-24 任天堂株式会社 Image processing program, image processing apparatus, image processing system, and image processing method
US11141063B2 (en) 2010-12-23 2021-10-12 Philips Image Guided Therapy Corporation Integrated system architectures and methods of use
US11040140B2 (en) 2010-12-31 2021-06-22 Philips Image Guided Therapy Corporation Deep vein thrombosis therapeutic methods
JP5703890B2 (en) * 2011-03-25 2015-04-22 富士ゼロックス株式会社 Recognition object, object recognition apparatus and program, object recognition system
WO2012133417A1 (en) * 2011-03-29 2012-10-04 シャープ株式会社 See-through display device, and electrical device and furniture piece each of which is provided with see-through display device
JP5961938B2 (en) * 2011-07-15 2016-08-03 国立大学法人山梨大学 Monospectral marker and method and apparatus for detecting the same
WO2013033489A1 (en) 2011-08-31 2013-03-07 Volcano Corporation Optical rotary joint and methods of use
JP5821526B2 (en) 2011-10-27 2015-11-24 ソニー株式会社 Image processing apparatus, image processing method, and program
JP5838747B2 (en) 2011-11-11 2016-01-06 ソニー株式会社 Information processing apparatus, information processing method, and program
JP6121647B2 (en) 2011-11-11 2017-04-26 ソニー株式会社 Information processing apparatus, information processing method, and program
JP5831150B2 (en) * 2011-11-14 2015-12-09 コニカミノルタ株式会社 Simulation method, simulation apparatus, and control program for simulation apparatus
JP5831149B2 (en) * 2011-11-14 2015-12-09 コニカミノルタ株式会社 Simulation method, simulation apparatus, and control program for simulation apparatus
JP5810890B2 (en) * 2011-12-20 2015-11-11 カシオ計算機株式会社 Information processing apparatus, information processing method, and program
US9984468B2 (en) 2012-03-26 2018-05-29 Sony Corporation Information processing device and method for recognising an image
JP2013200775A (en) 2012-03-26 2013-10-03 Sony Corp Information processing apparatus, information processing method, and program
JP2013200793A (en) 2012-03-26 2013-10-03 Sony Corp Information processing apparatus, information processing method, and program
JP6065477B2 (en) * 2012-09-13 2017-01-25 カシオ計算機株式会社 Image processing apparatus and program
JP6125785B2 (en) * 2012-09-27 2017-05-10 京セラ株式会社 Display device and control method
WO2014050957A1 (en) * 2012-09-27 2014-04-03 京セラ株式会社 Display device, control method, and control program
JP6159069B2 (en) * 2012-09-27 2017-07-05 京セラ株式会社 Display device
US9307926B2 (en) 2012-10-05 2016-04-12 Volcano Corporation Automatic stent detection
US9324141B2 (en) 2012-10-05 2016-04-26 Volcano Corporation Removal of A-scan streaking artifact
US9858668B2 (en) 2012-10-05 2018-01-02 Volcano Corporation Guidewire artifact removal in images
US11272845B2 (en) 2012-10-05 2022-03-15 Philips Image Guided Therapy Corporation System and method for instant and automatic border detection
US9292918B2 (en) 2012-10-05 2016-03-22 Volcano Corporation Methods and systems for transforming luminal images
US9286673B2 (en) 2012-10-05 2016-03-15 Volcano Corporation Systems for correcting distortions in a medical image and methods of use thereof
US9367965B2 (en) 2012-10-05 2016-06-14 Volcano Corporation Systems and methods for generating images of tissue
US10070827B2 (en) 2012-10-05 2018-09-11 Volcano Corporation Automatic image playback
JP2015532536A (en) 2012-10-05 2015-11-09 デイビッド ウェルフォード， System and method for amplifying light
US10568586B2 (en) 2012-10-05 2020-02-25 Volcano Corporation Systems for indicating parameters in an imaging data set and methods of use
US9840734B2 (en) 2012-10-22 2017-12-12 Raindance Technologies, Inc. Methods for analyzing DNA
EP2931132B1 (en) 2012-12-13 2023-07-05 Philips Image Guided Therapy Corporation System for targeted cannulation
EP2934282B1 (en) 2012-12-20 2020-04-29 Volcano Corporation Locating intravascular images
CA2895989A1 (en) 2012-12-20 2014-07-10 Nathaniel J. Kemp Optical coherence tomography system that is reconfigurable between different imaging modes
EP2934311B1 (en) 2012-12-20 2020-04-15 Volcano Corporation Smooth transition catheters
US10939826B2 (en) 2012-12-20 2021-03-09 Philips Image Guided Therapy Corporation Aspirating and removing biological material
US10942022B2 (en) 2012-12-20 2021-03-09 Philips Image Guided Therapy Corporation Manual calibration of imaging system
US11406498B2 (en) 2012-12-20 2022-08-09 Philips Image Guided Therapy Corporation Implant delivery system and implants
US9486143B2 (en) 2012-12-21 2016-11-08 Volcano Corporation Intravascular forward imaging device
US10058284B2 (en) 2012-12-21 2018-08-28 Volcano Corporation Simultaneous imaging, monitoring, and therapy
WO2014099763A1 (en) 2012-12-21 2014-06-26 Jason Spencer System and method for graphical processing of medical data
US9612105B2 (en) 2012-12-21 2017-04-04 Volcano Corporation Polarization sensitive optical coherence tomography system
US9383263B2 (en) 2012-12-21 2016-07-05 Volcano Corporation Systems and methods for narrowing a wavelength emission of light
CA2895990A1 (en) 2012-12-21 2014-06-26 Jerome MAI Ultrasound imaging with variable line density
US10413317B2 (en) 2012-12-21 2019-09-17 Volcano Corporation System and method for catheter steering and operation
JP2016501623A (en) 2012-12-21 2016-01-21 アンドリュー ハンコック， System and method for multipath processing of image signals
WO2014100162A1 (en) 2012-12-21 2014-06-26 Kemp Nathaniel J Power-efficient optical buffering using optical switch
EP2934653B1 (en) 2012-12-21 2018-09-19 Douglas Meyer Rotational ultrasound imaging catheter with extended catheter body telescope
KR101348680B1 (en) * 2013-01-09 2014-01-09 국방과학연구소 Target acquisition method for video tracker, and target acquisition apparatus using the same
US10226597B2 (en) 2013-03-07 2019-03-12 Volcano Corporation Guidewire with centering mechanism
US9770172B2 (en) 2013-03-07 2017-09-26 Volcano Corporation Multimodal segmentation in intravascular images
EP2967391A4 (en) 2013-03-12 2016-11-02 Donna Collins Systems and methods for diagnosing coronary microvascular disease
US20140276923A1 (en) 2013-03-12 2014-09-18 Volcano Corporation Vibrating catheter and methods of use
JP6339170B2 (en) 2013-03-13 2018-06-06 ジンヒョン パーク System and method for generating images from a rotating intravascular ultrasound device
US11026591B2 (en) 2013-03-13 2021-06-08 Philips Image Guided Therapy Corporation Intravascular pressure sensor calibration
US9301687B2 (en) 2013-03-13 2016-04-05 Volcano Corporation System and method for OCT depth calibration
US10426590B2 (en) 2013-03-14 2019-10-01 Volcano Corporation Filters with echogenic characteristics
US10292677B2 (en) 2013-03-14 2019-05-21 Volcano Corporation Endoluminal filter having enhanced echogenic properties
US10219887B2 (en) 2013-03-14 2019-03-05 Volcano Corporation Filters with echogenic characteristics
EP3008421A1 (en) * 2013-06-13 2016-04-20 Basf Se Detector for optically detecting an orientation of at least one object
KR101539087B1 (en) * 2013-08-22 2015-07-29 김정한 Augmented reality device using mobile device and method of implementing augmented reality
JP6303550B2 (en) 2014-02-03 2018-04-04 ブラザー工業株式会社 Display program and display device
JP6467772B2 (en) * 2014-02-20 2019-02-13 株式会社三洋物産 Game machine
JP2015179392A (en) * 2014-03-19 2015-10-08 カシオ計算機株式会社 Code symbol display device, information processor, and program
JP6336351B2 (en) * 2014-08-08 2018-06-06 東芝テック株式会社 Information processing apparatus and program
JP2016149022A (en) * 2015-02-12 2016-08-18 株式会社キヌガワ京都 Sales support program and sales support device
JP6105117B1 (en) * 2016-03-25 2017-03-29 東芝エレベータ株式会社 Elevator hoistway shape information generating apparatus and marker member used therefor
CN106094540B (en) * 2016-06-14 2020-01-07 珠海格力电器股份有限公司 Electrical equipment control method, device and system
JP7041868B2 (en) * 2017-08-28 2022-03-25 株式会社ヒナタデザイン Display device, display method and display system
JP7275484B2 (en) * 2018-07-05 2023-05-18 凸版印刷株式会社 Object Placement Support System, Object Placement Support Method and Program

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012144389A1 (en) 2011-04-20 2012-10-26 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 Individual identification character display system, terminal device, individual identification character display method, and computer program
US9721388B2 (en) 2011-04-20 2017-08-01 Nec Corporation Individual identification character display system, terminal device, individual identification character display method, and computer program
US9741174B2 (en) 2015-01-14 2017-08-22 Ricoh Company, Ltd. Information processing apparatus, information processing method, and computer-readable recording medium
US9905053B2 (en) 2015-10-07 2018-02-27 Ricoh Company, Ltd. Information processing device, information processing method, and computer program product
CN109586998A (en) * 2018-11-09 2019-04-05 珠海格力电器股份有限公司 Method for indicating running state of equipment, cloud end and equipment
CN109586998B (en) * 2018-11-09 2021-06-04 珠海格力电器股份有限公司 Method for indicating running state of equipment, cloud end and equipment

Also Published As

Publication number Publication date
JP2003256876A (en) 2003-09-12

Similar Documents

Publication Publication Date Title
JP4032776B2 (en) Mixed reality display apparatus and method, storage medium, and computer program
US10121099B2 (en) Information processing method and system
Rekimoto Matrix: A realtime object identification and registration method for augmented reality
US20180336734A1 (en) Augmented Reality System, Method, and Apparatus for Displaying an Item Image in a Contextual Environment
CN102722881B (en) Operationally process the method and system of monochromatic image data
JP6674192B2 (en) Image processing apparatus and image processing method
JP2003254716A (en) Instrument and method for measuring three-dimensional position and posture, storage medium, and computer program
WO2019035155A1 (en) Image processing system, image processing method, and program
JP2005250950A (en) Marker presentation portable terminal, expanded sense of reality system, and its operation method
JP2000020728A (en) Image processor and image processing method
JP2015001875A (en) Image processing apparatus, image processing method, program, print medium, and print-media set
CN107067428B (en) Augmented reality projection device and method
JP2005135355A (en) Data authoring processing apparatus
CN111833457A (en) Image processing method, apparatus and storage medium
KR20180032059A (en) 3-Dimensional Contents Providing System, Method and Computer Readable Recoding Medium
CN111508033A (en) Camera parameter determination method, image processing method, storage medium, and electronic apparatus
JP2021047722A (en) Purchased commodity management system, user terminal, server, purchased commodity management method, and program
CN107330974B (en) Commodity display method and device and mobile equipment
KR20120050714A (en) Augmented reality system and method of a printed matter and video
CN111309212A (en) Split-screen comparison fitting method, device, equipment and storage medium
JP4288904B2 (en) Data communication system, data transmission apparatus and method, and data reception apparatus and method
KR101010904B1 (en) Apparatus for providing augmented space without using markers
CN110852132B (en) Two-dimensional code space position confirmation method and device
CN114723923B (en) Transmission solution simulation display system and method
KR101618308B1 (en) Panoramic image acquisition and Object Detection system for Product of Interactive Online Store based Mirror World.

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071015

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101102

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111102

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121102

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131102

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees