JP3398796B2 - 複合現実感を利用した３次元測量支援用画像システム - Google Patents
複合現実感を利用した３次元測量支援用画像システムInfo
- Publication number
- JP3398796B2 JP3398796B2 JP2001023387A JP2001023387A JP3398796B2 JP 3398796 B2 JP3398796 B2 JP 3398796B2 JP 2001023387 A JP2001023387 A JP 2001023387A JP 2001023387 A JP2001023387 A JP 2001023387A JP 3398796 B2 JP3398796 B2 JP 3398796B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- coordinates
- reference point
- personal computer
- mixed reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は複合現実感を利用し
た３次元測量支援用画像システムに係り、特に建設工事
において現実空間に重ね合わせて映し出された仮想立体
映像を利用して対象とする現場に即した位置情報を提供
し、施工の合理化を図るようにした複合現実感を利用し
た３次元測量支援用画像システムに関する。
た３次元測量支援用画像システムに係り、特に建設工事
において現実空間に重ね合わせて映し出された仮想立体
映像を利用して対象とする現場に即した位置情報を提供
し、施工の合理化を図るようにした複合現実感を利用し
た３次元測量支援用画像システムに関する。
【０００２】
【従来の技術】近年のコンピュータ技術の発達により、
現実空間にコンピュータによる電子的な仮想データを融
合することを目的とした複合現実感（Ｍｉｘｅｄ Ｒｅ
ａｌｉｔｙ、以下、ＭＲと略す）に関する各種の提案が
なされている。ＭＲは、コンピュータ内に仮想空間を構
築し、その中にあたかも存在するような体験をさせる仮
想現実感（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）を
増強する技術として各方面で研究が盛んに行われてい
る。
現実空間にコンピュータによる電子的な仮想データを融
合することを目的とした複合現実感（Ｍｉｘｅｄ Ｒｅ
ａｌｉｔｙ、以下、ＭＲと略す）に関する各種の提案が
なされている。ＭＲは、コンピュータ内に仮想空間を構
築し、その中にあたかも存在するような体験をさせる仮
想現実感（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ）を
増強する技術として各方面で研究が盛んに行われてい
る。
【０００３】このＭＲを体験する方式は、ゴーグルを通
して入射する外界からの光を透過させるように位置する
ハーフミラー上に、組み込まれた表示素子に表示された
ＣＧ（コンピュータグラフィックス）による仮想空間の
立体映像を入射光と重ね合わせるようにして、光学系を
介して投影させることができる半透過型のＨＭＤ（Ｈｅ
ａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用する光
学シースルー方式と、ビデオカメラで撮影された映像に
仮想空間の立体映像を重畳するビデオシースルー方式に
分類される。
して入射する外界からの光を透過させるように位置する
ハーフミラー上に、組み込まれた表示素子に表示された
ＣＧ（コンピュータグラフィックス）による仮想空間の
立体映像を入射光と重ね合わせるようにして、光学系を
介して投影させることができる半透過型のＨＭＤ（Ｈｅ
ａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用する光
学シースルー方式と、ビデオカメラで撮影された映像に
仮想空間の立体映像を重畳するビデオシースルー方式に
分類される。
【０００４】ＭＲの技術的課題の一つに、作業者の視点
位置・視点姿勢の検出あるいは算定誤差に起因して生じ
る現実空間と仮想空間の間の位置ずれという問題があ
り、従来から多くの取り組みが行われてきた。ＭＲにお
ける位置合わせの問題は、作業者の３次元的な位置と姿
勢を正確に求める問題に帰着される。
位置・視点姿勢の検出あるいは算定誤差に起因して生じ
る現実空間と仮想空間の間の位置ずれという問題があ
り、従来から多くの取り組みが行われてきた。ＭＲにお
ける位置合わせの問題は、作業者の３次元的な位置と姿
勢を正確に求める問題に帰着される。
【０００５】ＭＲにおける作業者の３次元的な位置や姿
勢を求める方法には、主に光学シースルー方式のＭＲの
場合に利用される、自動追尾型トータルステーション、
ＧＰＳ受信器、ジャイロセンサ、加速度センサ、磁気セ
ンサおよび超音波センサなどを利用するトラッカベース
法と、主にビデオシースルー方式のＭＲの場合に利用さ
れる、画像情報を基に画像上での位置合わせを直接行う
画像ベース法が一般的に用いられる。
勢を求める方法には、主に光学シースルー方式のＭＲの
場合に利用される、自動追尾型トータルステーション、
ＧＰＳ受信器、ジャイロセンサ、加速度センサ、磁気セ
ンサおよび超音波センサなどを利用するトラッカベース
法と、主にビデオシースルー方式のＭＲの場合に利用さ
れる、画像情報を基に画像上での位置合わせを直接行う
画像ベース法が一般的に用いられる。
【０００６】トラッカベース法の場合、動作が安定して
いる反面、行動範囲がトラッカの有効範囲に限定され
る、計測精度が十分とは言えないなどの問題があり、特
にトラッカの計測誤差が位置ずれの原因になっている。
いる反面、行動範囲がトラッカの有効範囲に限定され
る、計測精度が十分とは言えないなどの問題があり、特
にトラッカの計測誤差が位置ずれの原因になっている。
【０００７】一方、画像ベース法の場合、ランドマーク
の抽出や識別といった画像処理の不安定さによりシステ
ムの安定性に欠ける。これに対して、近年、センサと画
像情報の両者を併用することによって位置合わせを行う
手法が提案されている。
の抽出や識別といった画像処理の不安定さによりシステ
ムの安定性に欠ける。これに対して、近年、センサと画
像情報の両者を併用することによって位置合わせを行う
手法が提案されている。
【０００８】ところで、土木、建築などの建設工事では
構造物の建設位置を絶対座標で把握し、その絶対座標を
もとに設計上の構造寸法を有する構造物を構築する。こ
のため、建設工事の現場では、３次元的な絶対座標を測
定する測量作業が必要となる。このような構造物の位置
出しは、測距装置、測角装置、水準儀、スチールテープ
やレーザーマーカなどの測量機器を利用して、多大な労
力と作業時間を掛けて実測しながら行っていた。
構造物の建設位置を絶対座標で把握し、その絶対座標を
もとに設計上の構造寸法を有する構造物を構築する。こ
のため、建設工事の現場では、３次元的な絶対座標を測
定する測量作業が必要となる。このような構造物の位置
出しは、測距装置、測角装置、水準儀、スチールテープ
やレーザーマーカなどの測量機器を利用して、多大な労
力と作業時間を掛けて実測しながら行っていた。
【０００９】
【発明が解決しようとする課題】ＭＲにおける画像ベー
ス法による位置合わせに関する研究事例の多くは、位置
ずれを２次元的に作業者の見え方に一致させる手法であ
り、カメラ位置と姿勢情報に３次元的に正しい補正を加
えるものではなく、センサ誤差が小さい場合に限定され
ていた。
ス法による位置合わせに関する研究事例の多くは、位置
ずれを２次元的に作業者の見え方に一致させる手法であ
り、カメラ位置と姿勢情報に３次元的に正しい補正を加
えるものではなく、センサ誤差が小さい場合に限定され
ていた。
【００１０】そこで、本発明の目的は上述したＭＲにお
ける位置合わせに関する問題点を解消し、ＣＧにより作
成された仮想立体映像情報を、作業者がディスプレイを
介して見ることにより、現実空間内で作業者が行う測量
作業に有用な情報を与え、作業の効率化、施工精度、安
全性の向上を図ることにある。
ける位置合わせに関する問題点を解消し、ＣＧにより作
成された仮想立体映像情報を、作業者がディスプレイを
介して見ることにより、現実空間内で作業者が行う測量
作業に有用な情報を与え、作業の効率化、施工精度、安
全性の向上を図ることにある。
【００１１】
【課題を解決するための手段】本発明の複合現実感を利
用した３次元測量支援用画像システムは、作業者の目の
替りとなるＣＣＤカメラを介してノート型或は携帯可能
のパソコンに表示された観察対象測量地域の画像は、そ
の現実空間に加えて、予め設計した構造物である描画オ
ブジェクトをその所定設置場所の仮想空間を重畳させ複
合現実感を持たせる画像表示とする３次元測量支援用画
像システムであって、前記パソコンは、左目用及び右目
用ＣＣＤカメラを所定位置に装着し、またそのカメラ視
点位置及び姿勢センサデータを逐次取得してセンサデー
タ記憶部に送信する位置及び姿勢センサ取得装置部を所
定位置に装着し、前記描画オブジェクトの所定設置場所
を示す３次元座標が既知である複数の基準点が含まれる
前記ＣＣＤカメラの画像をリアルタイムでデジタル画像
として逐次画像蓄積部に書込み更新する画像蓄積手段
と、オペレータが初期画像上の基準点の写真座標の抽出
とカメラの少なくとも主点位置、画面距離補正を行う初
期設定の完了後に、前記画像蓄積部より呼出した左右カ
メラの各画像中の複数の基準点を画像面上に自動抽出
し、その位置を定める基準点自動抽出手段と、３次元座
標が（Ｘ，Ｙ，Ｚ）であるような点の写真座標（ｘ，
ｙ）を表わす射影幾何学に基づく共線条件式において、
前記座標（Ｘ，Ｙ，Ｚ）を既知とする基準点座標と、前
記自動抽出し算出した複数の基準点の各写真座標（ｘ，
ｙ）とから、未知のＣＣＤカメラ位置（座標Ｘ０，
Ｙ０，Ｚ０）及び姿勢（回転軸ω，φ，κ）を解く位置
・姿勢検出手段と、前記位置・姿勢検出手段により得ら
れる前記パソコンに装着したＣＣＤカメラ位置及び姿勢
に基づいて、前記現実空間の写真座標基準点に従って前
記描画オブジェクトをそのデータベースより呼出して重
畳させるために逐次描画オブジェクトを再構築する描画
オブジェクト再構築手段と、前記画像蓄積部より観察対
象のＣＣＤカメラ画像を呼出し、その現実空間に、前記
再構築した描画オブジェクトの仮想空間を重畳する画像
合成手段と、前記ＣＣＤカメラ画像に描画オブジェクト
を合成した画像データを前記パソコンの表示部に表示可
能な映像表示信号に変換する映像信号変換手段とを少な
くとも備えることを特徴とする。
用した３次元測量支援用画像システムは、作業者の目の
替りとなるＣＣＤカメラを介してノート型或は携帯可能
のパソコンに表示された観察対象測量地域の画像は、そ
の現実空間に加えて、予め設計した構造物である描画オ
ブジェクトをその所定設置場所の仮想空間を重畳させ複
合現実感を持たせる画像表示とする３次元測量支援用画
像システムであって、前記パソコンは、左目用及び右目
用ＣＣＤカメラを所定位置に装着し、またそのカメラ視
点位置及び姿勢センサデータを逐次取得してセンサデー
タ記憶部に送信する位置及び姿勢センサ取得装置部を所
定位置に装着し、前記描画オブジェクトの所定設置場所
を示す３次元座標が既知である複数の基準点が含まれる
前記ＣＣＤカメラの画像をリアルタイムでデジタル画像
として逐次画像蓄積部に書込み更新する画像蓄積手段
と、オペレータが初期画像上の基準点の写真座標の抽出
とカメラの少なくとも主点位置、画面距離補正を行う初
期設定の完了後に、前記画像蓄積部より呼出した左右カ
メラの各画像中の複数の基準点を画像面上に自動抽出
し、その位置を定める基準点自動抽出手段と、３次元座
標が（Ｘ，Ｙ，Ｚ）であるような点の写真座標（ｘ，
ｙ）を表わす射影幾何学に基づく共線条件式において、
前記座標（Ｘ，Ｙ，Ｚ）を既知とする基準点座標と、前
記自動抽出し算出した複数の基準点の各写真座標（ｘ，
ｙ）とから、未知のＣＣＤカメラ位置（座標Ｘ０，
Ｙ０，Ｚ０）及び姿勢（回転軸ω，φ，κ）を解く位置
・姿勢検出手段と、前記位置・姿勢検出手段により得ら
れる前記パソコンに装着したＣＣＤカメラ位置及び姿勢
に基づいて、前記現実空間の写真座標基準点に従って前
記描画オブジェクトをそのデータベースより呼出して重
畳させるために逐次描画オブジェクトを再構築する描画
オブジェクト再構築手段と、前記画像蓄積部より観察対
象のＣＣＤカメラ画像を呼出し、その現実空間に、前記
再構築した描画オブジェクトの仮想空間を重畳する画像
合成手段と、前記ＣＣＤカメラ画像に描画オブジェクト
を合成した画像データを前記パソコンの表示部に表示可
能な映像表示信号に変換する映像信号変換手段とを少な
くとも備えることを特徴とする。
【００１２】また、前記位置・姿勢検出手段の共線条件
式においてカメラ位置及び姿勢を未知数として解くに際
し、主点位置ずれを含む補正計算を簡単化するため、２
台のＣＣＤカメラのステレオ・ペア画像により少なくと
も主点位置ずれ・画面距離の内部標定要素を補正後、前
記未知数をその近似値と微少補正量とに分解して非線形
方程式を線形化し繰返し計算によって解くことを特徴と
する。
式においてカメラ位置及び姿勢を未知数として解くに際
し、主点位置ずれを含む補正計算を簡単化するため、２
台のＣＣＤカメラのステレオ・ペア画像により少なくと
も主点位置ずれ・画面距離の内部標定要素を補正後、前
記未知数をその近似値と微少補正量とに分解して非線形
方程式を線形化し繰返し計算によって解くことを特徴と
する。
【００１３】また、前記位置・姿勢検出手段は、オペレ
ータが前記初期設定を行った後の初期状態に際しては、
前記パソコンの位置及び姿勢センサ取得装置部のセンシ
ング結果を取得して、その値を初期状態で与えるカメラ
位置及び姿勢の前記近似値として共線条件式を解き、そ
れ以降のフレームの近似値はその時点でのセンシング結
果を用い、もし誤差の大きい場合については前フレーム
の解析結果を用いることを特徴とする。
ータが前記初期設定を行った後の初期状態に際しては、
前記パソコンの位置及び姿勢センサ取得装置部のセンシ
ング結果を取得して、その値を初期状態で与えるカメラ
位置及び姿勢の前記近似値として共線条件式を解き、そ
れ以降のフレームの近似値はその時点でのセンシング結
果を用い、もし誤差の大きい場合については前フレーム
の解析結果を用いることを特徴とする。
【００１４】また、前記位置データ取得装置部は、パソ
コンの所定位置に反射プリズムを装着すると共に、自動
追尾機能付きの位置測定用トータルステーションにより
検出された位置データを無線モデムを介して前記反射プ
リズムに送信し、逐次前記センサデータ記憶部に記録す
ることを特徴とする。
コンの所定位置に反射プリズムを装着すると共に、自動
追尾機能付きの位置測定用トータルステーションにより
検出された位置データを無線モデムを介して前記反射プ
リズムに送信し、逐次前記センサデータ記憶部に記録す
ることを特徴とする。
【００１５】また、前記姿勢データ取得装置部は、パソ
コンの所定位置にジャイロセンサを装着し、そこで検出
された姿勢データを逐次前記センサデータ記憶部に記録
することを特徴とする。
コンの所定位置にジャイロセンサを装着し、そこで検出
された姿勢データを逐次前記センサデータ記憶部に記録
することを特徴とする。
【００１６】また、前記パソコンはその表示部は液晶デ
ィスプレイであり、その左右にそれぞれ左目用ＣＣＤカ
メラ及び右目用ＣＣＤカメラの映像を一定の周波数でリ
フレッシュされて表示され、作業者はこの周波数に同期
して開閉する液晶シャッターメガネを装着することによ
って複合現実感を体験することを特徴とする。
ィスプレイであり、その左右にそれぞれ左目用ＣＣＤカ
メラ及び右目用ＣＣＤカメラの映像を一定の周波数でリ
フレッシュされて表示され、作業者はこの周波数に同期
して開閉する液晶シャッターメガネを装着することによ
って複合現実感を体験することを特徴とする。
【００１７】また、前記映像変換手段により変換した映
像表示信号を前記パソコンの表示部に送信すると共に立
体視ディスプレイの表示部にも送信し、左右の映像を分
離するため２枚のイメージスプリッタを配置したディス
プレイとして、作業者はメガネなしで立体視できること
を特徴とする。
像表示信号を前記パソコンの表示部に送信すると共に立
体視ディスプレイの表示部にも送信し、左右の映像を分
離するため２枚のイメージスプリッタを配置したディス
プレイとして、作業者はメガネなしで立体視できること
を特徴とする。
【００１８】また、前記基準点自動抽出手段は、前記初
期画像で補正されたＣＣＤカメラ主点位置・画面距離に
加えて、前フレームでのカメラ位置及び姿勢データを基
に前記複数の各基準点のカメラ画像上の写真座標を逆算
し、その座標の周囲に所定の探索範囲を設定して、そこ
の基準点のＲＧＢ情報を基に正確な基準点の写真座標を
自動的に抽出する探索範囲設定手段を含むことを特徴と
する。
期画像で補正されたＣＣＤカメラ主点位置・画面距離に
加えて、前フレームでのカメラ位置及び姿勢データを基
に前記複数の各基準点のカメラ画像上の写真座標を逆算
し、その座標の周囲に所定の探索範囲を設定して、そこ
の基準点のＲＧＢ情報を基に正確な基準点の写真座標を
自動的に抽出する探索範囲設定手段を含むことを特徴と
する。
【００１９】また、前記基準点自動抽出手段は、予め基
準点の周囲と異なる色でマーキングする基準点マーキン
グ手段を含み、基準点自動抽出を実行する前にオペレー
タが初期画像での最初のフレームの基準点の写真座標の
抽出を容易に行えることを特徴とする。
準点の周囲と異なる色でマーキングする基準点マーキン
グ手段を含み、基準点自動抽出を実行する前にオペレー
タが初期画像での最初のフレームの基準点の写真座標の
抽出を容易に行えることを特徴とする。
【００２０】また、前記基準点自動抽出手段における基
準点抽出時の探索範囲内でのＲＧＢ値に対するパターン
自動認識では、以下の〜の４つの処理を繰返すこと
を特徴とする。 前フレームで抽出した基準点ｉのＲ値（Ｒ
ｉ（ｔ））、Ｇ値（Ｇｉ（ｔ））、Ｂ値（Ｂ
ｉ（ｔ））、幅（ｗｉ（ｔ））、高さ（ｈｉ（ｔ））を
記憶しておく； 「切り捨て処理」（１） Ｒｉ（ｔ），Ｇ
ｉ（ｔ），Ｂｉ（ｔ）の最大値（Ａｉ（ｔ）ＭＡＸ）を
取るＡ値（ＡはＲ，Ｇ，Ｂのうちいずれかを意味する）
がＡｉ（ｔ＋１）＜Ａｉ（ｔ）ＭＡＸ／２である画素
と、（２） Ｒ（ＧＢ）値それぞれにしきい値ｄＲ（Ｇ
Ｂ）を設け、Ｒ（ＧＢ）ｉ（ｔ）−ｄＲ（ＧＢ）＜Ｒ
（ＧＢ）ｉ（ｔ＋１）＜Ｒ（ＧＢ）ｉ（ｔ）＋ｄＲ（Ｇ
Ｂ）となる画素以上の画素を切り捨てる（重みを０とす
る）； 「連続性処理」探索範囲に重み≠０の範囲が連続す
る画素の集合が２つ以上ある場合、その集合の幅ｗ
ｉ（ｔ＋１）と高さｈｉ（ｔ＋１）が最もｗ
ｉ（ｔ）），ｈｉ（ｔ）に近いもののみを抽出する； 探索範囲内のＡ値に対する重み付き重心座標を求め
写真座標とする。
準点抽出時の探索範囲内でのＲＧＢ値に対するパターン
自動認識では、以下の〜の４つの処理を繰返すこと
を特徴とする。 前フレームで抽出した基準点ｉのＲ値（Ｒ
ｉ（ｔ））、Ｇ値（Ｇｉ（ｔ））、Ｂ値（Ｂ
ｉ（ｔ））、幅（ｗｉ（ｔ））、高さ（ｈｉ（ｔ））を
記憶しておく； 「切り捨て処理」（１） Ｒｉ（ｔ），Ｇ
ｉ（ｔ），Ｂｉ（ｔ）の最大値（Ａｉ（ｔ）ＭＡＸ）を
取るＡ値（ＡはＲ，Ｇ，Ｂのうちいずれかを意味する）
がＡｉ（ｔ＋１）＜Ａｉ（ｔ）ＭＡＸ／２である画素
と、（２） Ｒ（ＧＢ）値それぞれにしきい値ｄＲ（Ｇ
Ｂ）を設け、Ｒ（ＧＢ）ｉ（ｔ）−ｄＲ（ＧＢ）＜Ｒ
（ＧＢ）ｉ（ｔ＋１）＜Ｒ（ＧＢ）ｉ（ｔ）＋ｄＲ（Ｇ
Ｂ）となる画素以上の画素を切り捨てる（重みを０とす
る）； 「連続性処理」探索範囲に重み≠０の範囲が連続す
る画素の集合が２つ以上ある場合、その集合の幅ｗ
ｉ（ｔ＋１）と高さｈｉ（ｔ＋１）が最もｗ
ｉ（ｔ）），ｈｉ（ｔ）に近いもののみを抽出する； 探索範囲内のＡ値に対する重み付き重心座標を求め
写真座標とする。
【００２１】
【発明の実施の形態】以下、本発明の複合現実感を利用
した３次元測量支援用画像システムの実施の形態を図に
基づいて説明する。
した３次元測量支援用画像システムの実施の形態を図に
基づいて説明する。
【００２２】図１は本発明の３次元測量支援用画像シス
テム１００に用いるノート型或は携帯可能なパソコン１
の構成図を示し、図２はそのシステム１００の動作の流
れを説明するための図である。
テム１００に用いるノート型或は携帯可能なパソコン１
の構成図を示し、図２はそのシステム１００の動作の流
れを説明するための図である。
【００２３】図１、図２において、１はパソコン、２は
立体視ディスプレイ、Ｐ１〜Ｐｎは観察対象測量地域１
０に設置する予定の構成物の設置場所を示す複数の基準
点である。この基準点は３次元座標（Ｘ，Ｙ，Ｚ）が既
知である。
立体視ディスプレイ、Ｐ１〜Ｐｎは観察対象測量地域１
０に設置する予定の構成物の設置場所を示す複数の基準
点である。この基準点は３次元座標（Ｘ，Ｙ，Ｚ）が既
知である。
【００２４】パソコン１は市販のオペレーティングシス
テム（ＯＳ）で制御されており、ここで３は中央制御
部、４は表示部或は液晶ディスプレイを示す。５はキー
及びポインティングデバイス入力装置部、６はＣＤディ
スクドライブ、７はハードディスク装置、８はバス、Ｉ
／Ｆはインターフェイス回路を示す。
テム（ＯＳ）で制御されており、ここで３は中央制御
部、４は表示部或は液晶ディスプレイを示す。５はキー
及びポインティングデバイス入力装置部、６はＣＤディ
スクドライブ、７はハードディスク装置、８はバス、Ｉ
／Ｆはインターフェイス回路を示す。
【００２５】また、１１Ｌ，１１Ｒはそれぞれ左目右目
の替りのＣＣＤカメラを示し、図２に示すようにパソコ
ン１の筐体の所定位置に装着し、観察対象測量地域１０
に設置予定構造物の設定場所の基準点Ｐ１〜Ｐｎを含め
てその映像を取得する。
の替りのＣＣＤカメラを示し、図２に示すようにパソコ
ン１の筐体の所定位置に装着し、観察対象測量地域１０
に設置予定構造物の設定場所の基準点Ｐ１〜Ｐｎを含め
てその映像を取得する。
【００２６】また、２１，２２は位置及び姿勢センサ取
得装置部であり、図２に示すようにパソコン１の筐体の
所定位置に装着し、前記カメラの視点位置及び姿勢セン
シング結果を取得する。
得装置部であり、図２に示すようにパソコン１の筐体の
所定位置に装着し、前記カメラの視点位置及び姿勢セン
シング結果を取得する。
【００２７】また、４２は映像信号転送部であり、後述
の映像信号変換手段４１で生成された映像信号はこの転
送部４２を介して立体像ディスプレイ２の映像信号受信
部４０へ送られ立体像ディスプレイ２の表示部４４へ表
示する。
の映像信号変換手段４１で生成された映像信号はこの転
送部４２を介して立体像ディスプレイ２の映像信号受信
部４０へ送られ立体像ディスプレイ２の表示部４４へ表
示する。
【００２８】次に、図２に基づいて本発明のシステム１
００の動作の流れを詳細に説明する。
００の動作の流れを詳細に説明する。
【００２９】このシステムの動作に必要なＣＣＤカメラ
画像蓄積手段１２、カメラ画像の基準点自動抽出手段１
３、カメラ位置・姿勢検出手段２３、描画オブジェクト
再構築手段３１、画像合成手段３２、映像信号変換手段
４１のアプリケーションプログラムは、予めハードディ
スク装置７などへ記録しておく。
画像蓄積手段１２、カメラ画像の基準点自動抽出手段１
３、カメラ位置・姿勢検出手段２３、描画オブジェクト
再構築手段３１、画像合成手段３２、映像信号変換手段
４１のアプリケーションプログラムは、予めハードディ
スク装置７などへ記録しておく。
【００３０】以上の各手段１２，１３，２３，３１，３
２，４１をシステム１００の動作の流れの順に従って説
明する。
２，４１をシステム１００の動作の流れの順に従って説
明する。
【００３１】まず、パソコン１に装着されたＣＣＤカメ
ラ１１Ｌ，１１Ｒを観察対象測量地域１０に向けて設置
する。ＣＣＤカメラの映像の現実空間の中に予め設計し
た構造物を設置する場所を示す基準点Ｐ１〜Ｐｎが入る
ようにパソコン１を設置する。
ラ１１Ｌ，１１Ｒを観察対象測量地域１０に向けて設置
する。ＣＣＤカメラの映像の現実空間の中に予め設計し
た構造物を設置する場所を示す基準点Ｐ１〜Ｐｎが入る
ようにパソコン１を設置する。
【００３２】次に、映像蓄積手段１２により、前記映像
をＣＣＤカメラより取得する。そのＣＣＤカメラ映像に
は、予め設計した構造物である描画オブジェクトの設定
設置場所を示す３次元座標が既知である複数の基準点が
含まれているが、そのカメラ映像をリアルタイムでデジ
タル映像として逐次画像蓄積部１２ａに書込み更新す
る。
をＣＣＤカメラより取得する。そのＣＣＤカメラ映像に
は、予め設計した構造物である描画オブジェクトの設定
設置場所を示す３次元座標が既知である複数の基準点が
含まれているが、そのカメラ映像をリアルタイムでデジ
タル映像として逐次画像蓄積部１２ａに書込み更新す
る。
【００３３】次に、パソコン１の表示部４に左右のＣＣ
Ｄカメラ１１Ｌ，１１Ｒから取得した映像をそれぞれ左
右に表示する。オペレータがこの初期画像上の基準点Ｐ
１〜Ｐｎの写真座標（ｘ，ｙ）をそれぞれ抽出し、また
カメラ１１の主点位置、画面距離補正を行う「初期設
定」の完了した後に、基準点自動抽出手段１３により画
像蓄積部１２ａより呼出した左右カメラの各画像中の複
数の基準点Ｐ１〜Ｐｎを画像面上で自動抽出し、その位
置を定める。
Ｄカメラ１１Ｌ，１１Ｒから取得した映像をそれぞれ左
右に表示する。オペレータがこの初期画像上の基準点Ｐ
１〜Ｐｎの写真座標（ｘ，ｙ）をそれぞれ抽出し、また
カメラ１１の主点位置、画面距離補正を行う「初期設
定」の完了した後に、基準点自動抽出手段１３により画
像蓄積部１２ａより呼出した左右カメラの各画像中の複
数の基準点Ｐ１〜Ｐｎを画像面上で自動抽出し、その位
置を定める。
【００３４】次に、位置・姿勢検出手段２３により、３
次元座標が（Ｘ，Ｙ，Ｚ）であるような点の写真座標
（ｘ，ｙ）を表わす射影幾何学に基づく共線条件式にお
いて、その座標を既知とする基準点座標と、手段１３に
より自動抽出し算出した複数の基準点の各写真座標
（ｘ，ｙ）とから、未知数のＣＣＤカメラ位置（座標Ｘ
０，Ｙ０，Ｚ０）及び姿勢（回転軸ω，φ，κ）を解
く。
次元座標が（Ｘ，Ｙ，Ｚ）であるような点の写真座標
（ｘ，ｙ）を表わす射影幾何学に基づく共線条件式にお
いて、その座標を既知とする基準点座標と、手段１３に
より自動抽出し算出した複数の基準点の各写真座標
（ｘ，ｙ）とから、未知数のＣＣＤカメラ位置（座標Ｘ
０，Ｙ０，Ｚ０）及び姿勢（回転軸ω，φ，κ）を解
く。
【００３５】ここで、前述の共線条件式について、より
詳しく以下に述べる。
詳しく以下に述べる。
【００３６】測定用カメラのように、カメラレンズのひ
ずみ曲収差が無視できる場合、座標が（Ｘ，Ｙ，Ｚ）で
あるような点の写真座標（ｘ，ｙ）は、共線条件式
（１）（２）で表される。（図３参照）
ずみ曲収差が無視できる場合、座標が（Ｘ，Ｙ，Ｚ）で
あるような点の写真座標（ｘ，ｙ）は、共線条件式
（１）（２）で表される。（図３参照）
【００３７】
【式１】
【００３８】
【式２】
【００３９】ここで、ｃは画面距離、（Ｘ０，Ｙ０，Ｚ
０）はカメラ投影中心の座標、（ω，φ，κ）はカメラ
の姿勢であり、ａｉｊは回転行列の要素である。カメラ
の画面距離ｃが既知である場合、３点以上の基準点が与
えられればカメラ位置と姿勢は一義的に求められる。し
かし、使用するＣＣＤカメラは非測定用カメラであり、
主点位置Ｈのずれ（ｘｈ，ｙｈ）、カメラレンズのひず
み曲収差を考慮する必要があり、この場合、式（１）
（２）の共線条件式の左辺は、それぞれｘ−ｘｈ−△
ｘ，ｙ−ｙｈ−△ｙで表される。ただし、
０）はカメラ投影中心の座標、（ω，φ，κ）はカメラ
の姿勢であり、ａｉｊは回転行列の要素である。カメラ
の画面距離ｃが既知である場合、３点以上の基準点が与
えられればカメラ位置と姿勢は一義的に求められる。し
かし、使用するＣＣＤカメラは非測定用カメラであり、
主点位置Ｈのずれ（ｘｈ，ｙｈ）、カメラレンズのひず
み曲収差を考慮する必要があり、この場合、式（１）
（２）の共線条件式の左辺は、それぞれｘ−ｘｈ−△
ｘ，ｙ−ｙｈ−△ｙで表される。ただし、
【００４０】
【式３】
【００４１】
【式４】
【００４２】
【式５】
【００４３】である。さらに、カメラの画面距離ｃも厳
密には未知であるため、共線条件式は、外部標定要素
（Ｘ０，Ｙ０，Ｚ０，ω，φ，κ）に加えて、内部標定
要素（ｃ，ｘｈ，ｙｈ，ｋ１，ｋ２，ｋ３，γ，ｐ１，
ｐ２）も未知数となって、繰り返し計算に時間を要す
る。そこで、主点位置Ｈ補正計算を簡単に行うために、
事前にＭＲ体験と同条件で被験者のＨＭＤに装着した２
台のＣＣＤカメラ１１Ｌ，１１Ｒのステレオ・ペア画像
によって、これらの内部標定要素をキャリブレートして
おく。共線条件式（１）（２）は、未知数（カメラ位置
と姿勢）について非線形であるため、解析では未知数を
「近似値」と「微少補正量」とに分解して非線形方程式
を線形化し、繰り返し計算によって解を求める。
密には未知であるため、共線条件式は、外部標定要素
（Ｘ０，Ｙ０，Ｚ０，ω，φ，κ）に加えて、内部標定
要素（ｃ，ｘｈ，ｙｈ，ｋ１，ｋ２，ｋ３，γ，ｐ１，
ｐ２）も未知数となって、繰り返し計算に時間を要す
る。そこで、主点位置Ｈ補正計算を簡単に行うために、
事前にＭＲ体験と同条件で被験者のＨＭＤに装着した２
台のＣＣＤカメラ１１Ｌ，１１Ｒのステレオ・ペア画像
によって、これらの内部標定要素をキャリブレートして
おく。共線条件式（１）（２）は、未知数（カメラ位置
と姿勢）について非線形であるため、解析では未知数を
「近似値」と「微少補正量」とに分解して非線形方程式
を線形化し、繰り返し計算によって解を求める。
【００４４】前記位置・姿勢検出手段１３では、オペレ
ータが前述した「初期設定」を行った後の初期状態に際
しては、前記パソコンの位置及び姿勢センサ取得装置部
２１，２２、すなわちトラッカのセンシング結果を取得
して、その値を初期状態で与えるカメラ位置及び姿勢の
前記「近似値」として共線条件式（１）（２）を解く。
すなわち、初期状態で与える外部標定要素（カメラ位置
・姿勢に関する要素、Ｘ０，Ｙ０，Ｚ０，ω，φ，κ）
の「近似値」はトラッカのセンシング結果を用い、以降
の「近似値」はその時点で活用できるトラッカの精度を
考慮して、誤差の大きいものについては、前フレームで
の解析結果を、その他はその時点でのトラッカのセンシ
ング結果を用いる。この際、各外部標定要素には個別に
ウェイトを与えることによって、トラッカの精度を考慮
した解析を行う。例えば、ジャイロセンサの鉛直軸周り
のドリフトと呼ばれる見地角度のずれが顕著な場合はκ
の、位置センサが測定範囲外になった場合はＸ０，
Ｙ０，Ｚ０のウェイトを小さくすることになる。
ータが前述した「初期設定」を行った後の初期状態に際
しては、前記パソコンの位置及び姿勢センサ取得装置部
２１，２２、すなわちトラッカのセンシング結果を取得
して、その値を初期状態で与えるカメラ位置及び姿勢の
前記「近似値」として共線条件式（１）（２）を解く。
すなわち、初期状態で与える外部標定要素（カメラ位置
・姿勢に関する要素、Ｘ０，Ｙ０，Ｚ０，ω，φ，κ）
の「近似値」はトラッカのセンシング結果を用い、以降
の「近似値」はその時点で活用できるトラッカの精度を
考慮して、誤差の大きいものについては、前フレームで
の解析結果を、その他はその時点でのトラッカのセンシ
ング結果を用いる。この際、各外部標定要素には個別に
ウェイトを与えることによって、トラッカの精度を考慮
した解析を行う。例えば、ジャイロセンサの鉛直軸周り
のドリフトと呼ばれる見地角度のずれが顕著な場合はκ
の、位置センサが測定範囲外になった場合はＸ０，
Ｙ０，Ｚ０のウェイトを小さくすることになる。
【００４５】なお、図３は重複写真の共線条件を示す説
明図であり、Ｐ（ＸＰ，ＹＰ，ＺＰ）は基準点、Ｏ１，
Ｏ２は（Ｘ，Ｙ，Ｚ）はそれぞれ左右カメラ位置、Ｏ
Ｃ１，ＯＣ２はそれぞれ左右のカメラ画像ＰＣ１，Ｐ
Ｃ２はそれぞれ写真座標を示す。また、Ｈ１，Ｈ２はそ
れぞれの主点位置、Ｃ１，Ｃ２はそれぞれの画面距離を
示す。また、ω，φ，κはそれぞれ座標Ｘ，Ｙ，Ｚ軸の
回転角、すなわちカメラ姿勢を定めるものである。
明図であり、Ｐ（ＸＰ，ＹＰ，ＺＰ）は基準点、Ｏ１，
Ｏ２は（Ｘ，Ｙ，Ｚ）はそれぞれ左右カメラ位置、Ｏ
Ｃ１，ＯＣ２はそれぞれ左右のカメラ画像ＰＣ１，Ｐ
Ｃ２はそれぞれ写真座標を示す。また、Ｈ１，Ｈ２はそ
れぞれの主点位置、Ｃ１，Ｃ２はそれぞれの画面距離を
示す。また、ω，φ，κはそれぞれ座標Ｘ，Ｙ，Ｚ軸の
回転角、すなわちカメラ姿勢を定めるものである。
【００４６】次に、描画オブジェクト再構築手段３１
は、前述の位置・姿勢検出手段２３により得られる前記
パソコンに装着したＣＣＤカメラ位置及び姿勢に基づい
て、前記現実空間の写真座標基準点に従って、予め描画
オブジェクト基本形状データ部３０（データベース）を
呼出して、その描画オブジェクトを重畳させるために逐
次描画オブジェクトを再構築する。
は、前述の位置・姿勢検出手段２３により得られる前記
パソコンに装着したＣＣＤカメラ位置及び姿勢に基づい
て、前記現実空間の写真座標基準点に従って、予め描画
オブジェクト基本形状データ部３０（データベース）を
呼出して、その描画オブジェクトを重畳させるために逐
次描画オブジェクトを再構築する。
【００４７】次に、画像合成手段３２は、前記画像蓄積
部１２ａより観察対象のＣＣＤカメラ画像を呼出し、そ
の現実空間に、前記再構築した描画オブジェクトの仮想
空間を重畳する。
部１２ａより観察対象のＣＣＤカメラ画像を呼出し、そ
の現実空間に、前記再構築した描画オブジェクトの仮想
空間を重畳する。
【００４８】次に、映像信号変換手段４１はＣＣＤカメ
ラ画像に描画オブジェクトを合成した画像データをパソ
コン１の表示部４に表示可能な映像表示信号に変換す
る。
ラ画像に描画オブジェクトを合成した画像データをパソ
コン１の表示部４に表示可能な映像表示信号に変換す
る。
【００４９】その変換出力はパソコン１の表示部４へ出
力され、表示される。なお、立体像ディスプレイ２へは
前述したように、転送部４２を介して、立体像ディスプ
レイ２の受信部４０で受信し、表示部４４へ表示する。
力され、表示される。なお、立体像ディスプレイ２へは
前述したように、転送部４２を介して、立体像ディスプ
レイ２の受信部４０で受信し、表示部４４へ表示する。
【００５０】次に、前述した基準点自動抽出手段１３に
ついて、より詳細に以下に説明する。
ついて、より詳細に以下に説明する。
【００５１】自動抽出手段１３は、予め基準点Ｐ１〜Ｐ
ｎの周囲を異なる色でマーキングする基準点マーキング
手段１３ｙを含み、基準点自動抽出を実行する前にオペ
レータが初期画像での最初のフレームの基準点の写真座
標の抽出を容易に行えるようにする。
ｎの周囲を異なる色でマーキングする基準点マーキング
手段１３ｙを含み、基準点自動抽出を実行する前にオペ
レータが初期画像での最初のフレームの基準点の写真座
標の抽出を容易に行えるようにする。
【００５２】また、自動抽出手段１３は前記初期画像で
補正されたＣＣＤカメラ主点位置Ｈ １，Ｈ２、画面距離
Ｃ１，Ｃ２に加えて、前フレームでのカメラ位置及び姿
勢データを基に基準点Ｐ１〜Ｐｎのカメラ画像上の写真
座標を逆算し、その座標の周囲に所定の探索範囲を設定
して、そこの基準点のＲＧＢ情報を基に正確な基準点の
写真座標を自動的に抽出する探索範囲設定手段１３ｘを
含む。この手段１３ｘによって効率的に必要な部分のみ
探索することによって高速に正確に抽出できる。
補正されたＣＣＤカメラ主点位置Ｈ １，Ｈ２、画面距離
Ｃ１，Ｃ２に加えて、前フレームでのカメラ位置及び姿
勢データを基に基準点Ｐ１〜Ｐｎのカメラ画像上の写真
座標を逆算し、その座標の周囲に所定の探索範囲を設定
して、そこの基準点のＲＧＢ情報を基に正確な基準点の
写真座標を自動的に抽出する探索範囲設定手段１３ｘを
含む。この手段１３ｘによって効率的に必要な部分のみ
探索することによって高速に正確に抽出できる。
【００５３】また、自動抽出手段１３の探索範囲設定手
段１３ｘにおいて基準点抽出時の探索範囲内でのＲＧＢ
値に対するパターン自動認識では、 前フレームで抽出した基準点ｉのＲ値（Ｒ
ｉ（ｔ）），Ｇ値（Ｇｉ（ｔ）），Ｂ値（Ｂ
ｉ（ｔ）），幅（ｗｉ（ｔ）），高さ（ｈｉ（ｔ））を
記憶しておく。（ｔは前フレームの時点） ［切り捨て処理］（１）Ｒｉ（ｔ），Ｇｉ（ｔ），
Ｂｉ（ｔ）の最大値（Ａｉ（ｔ）ｍａｘ）を取るＡ値
（ＡはＲ，Ｇ，Ｂのうちいずれかを意味する）がＡ
ｉ（ｔ＋１）＜Ａｉ（ｔ）ｍａｘ／２である画素と、
（２）Ｒ（ＧＢ）値それぞれにしきい値ｄＲ（ＧＢ）を
設け、Ｒ（ＧＢ）ｉ（ｔ）−ｄＲ（ＧＢ）＜Ｒ（ＧＢ）
ｉ（ｔ＋１）＜Ｒ（ＧＢ）ｉ（ｔ）＋ｄＲ（ＧＢ）とな
る画素以外の画素を切り捨てる（切り捨てた画素を重み
を０とする）。（ｔ＋１は現時点） ［連続性処理］探索範囲に重み≠０（切り捨てられ
なかった画素の重み）の範囲が連続する画素の集合が２
つ以上ある場合、その集合の幅ｗｉ（ｔ＋１）と高さｈ
ｉ（ｔ＋１）が最もｗｉ（ｔ），ｈｉ（ｔ）に近いもの
のみを抽出する。 探索範囲内のＡ値に対する重み付き重心座標を求
め、写真座標とする。という処理を繰り返す。
段１３ｘにおいて基準点抽出時の探索範囲内でのＲＧＢ
値に対するパターン自動認識では、 前フレームで抽出した基準点ｉのＲ値（Ｒ
ｉ（ｔ）），Ｇ値（Ｇｉ（ｔ）），Ｂ値（Ｂ
ｉ（ｔ）），幅（ｗｉ（ｔ）），高さ（ｈｉ（ｔ））を
記憶しておく。（ｔは前フレームの時点） ［切り捨て処理］（１）Ｒｉ（ｔ），Ｇｉ（ｔ），
Ｂｉ（ｔ）の最大値（Ａｉ（ｔ）ｍａｘ）を取るＡ値
（ＡはＲ，Ｇ，Ｂのうちいずれかを意味する）がＡ
ｉ（ｔ＋１）＜Ａｉ（ｔ）ｍａｘ／２である画素と、
（２）Ｒ（ＧＢ）値それぞれにしきい値ｄＲ（ＧＢ）を
設け、Ｒ（ＧＢ）ｉ（ｔ）−ｄＲ（ＧＢ）＜Ｒ（ＧＢ）
ｉ（ｔ＋１）＜Ｒ（ＧＢ）ｉ（ｔ）＋ｄＲ（ＧＢ）とな
る画素以外の画素を切り捨てる（切り捨てた画素を重み
を０とする）。（ｔ＋１は現時点） ［連続性処理］探索範囲に重み≠０（切り捨てられ
なかった画素の重み）の範囲が連続する画素の集合が２
つ以上ある場合、その集合の幅ｗｉ（ｔ＋１）と高さｈ
ｉ（ｔ＋１）が最もｗｉ（ｔ），ｈｉ（ｔ）に近いもの
のみを抽出する。 探索範囲内のＡ値に対する重み付き重心座標を求
め、写真座標とする。という処理を繰り返す。
【００５４】本発明による具体的な実施例３次元測量支
援用画像システム２００を図４に基づき以下に説明す
る。
援用画像システム２００を図４に基づき以下に説明す
る。
【００５５】１はいわゆるノート型或は携帯可能のパソ
コン１で、これにＣＣＤカメラ１１と位置センサとして
の反射プリズム２４と、方位センサとしてのジャイロセ
ンサ２５が取り付けられている。
コン１で、これにＣＣＤカメラ１１と位置センサとして
の反射プリズム２４と、方位センサとしてのジャイロセ
ンサ２５が取り付けられている。
【００５６】２６は自動追尾型のトータルステーション
で、無線モデム２７を介して逐次反射プリズム２４へ位
置データを送信する。
で、無線モデム２７を介して逐次反射プリズム２４へ位
置データを送信する。
【００５７】トータルステーション２６により検出され
た位置データと、ジャイロセンサ２５により検出された
姿勢データは、逐次リアルタイムに画像蓄積部１２ａへ
書込み更新する。
た位置データと、ジャイロセンサ２５により検出された
姿勢データは、逐次リアルタイムに画像蓄積部１２ａへ
書込み更新する。
【００５８】一方、ＣＣＤカメラ１１Ｌ，１１Ｒの画像
は逐次、パソコン１内の画像蓄積部１２でデジタル画像
として蓄積され、パソコン１上で先ず、オペレータが初
期画像上の基準点Ｐの写真座標の抽出とカメラのキャリ
ブレーションすなわちＸｈ，Ｙｈの主点位置・画面距離
補正を行い、この初期設定完了後逐次、基準点の自動抽
出とカメラ位置・姿勢の検出が自動で行われる。
は逐次、パソコン１内の画像蓄積部１２でデジタル画像
として蓄積され、パソコン１上で先ず、オペレータが初
期画像上の基準点Ｐの写真座標の抽出とカメラのキャリ
ブレーションすなわちＸｈ，Ｙｈの主点位置・画面距離
補正を行い、この初期設定完了後逐次、基準点の自動抽
出とカメラ位置・姿勢の検出が自動で行われる。
【００５９】前記手段によって検出されたカメラの位置
・姿勢を基に、パソコン１内の描画オブジェクト再構築
部３１で描画オブジェクトを再構築し、画像合成部３２
でＣＣＤカメラ画像に描画オブジェクトを重畳し、映像
信号変換部４１からパソコン１の表示部４に表示させる
と共に、パソコン１の映像信号転送部４２を介して、立
体視ディスプレイ２の受信部４０からその表示部４４に
転送され、表示される。
・姿勢を基に、パソコン１内の描画オブジェクト再構築
部３１で描画オブジェクトを再構築し、画像合成部３２
でＣＣＤカメラ画像に描画オブジェクトを重畳し、映像
信号変換部４１からパソコン１の表示部４に表示させる
と共に、パソコン１の映像信号転送部４２を介して、立
体視ディスプレイ２の受信部４０からその表示部４４に
転送され、表示される。
【００６０】表示部４は、パソコン１の液晶ディスプレ
イで、左右それぞれの異なる２つの映像を一定の周波数
でリフレッシュされて表示され、作業者はこの周波数に
同期して開閉する液晶シャッターメガネ４３を装着する
ことによって、複合現実感を体験することができる。
イで、左右それぞれの異なる２つの映像を一定の周波数
でリフレッシュされて表示され、作業者はこの周波数に
同期して開閉する液晶シャッターメガネ４３を装着する
ことによって、複合現実感を体験することができる。
【００６１】立体視ディスプレイ２の表示部４４は、左
右の映像を分離するため、２枚のイメージスプリッタを
配置したディスプレイで、作業者はメガネなしでの立体
視が可能である。
右の映像を分離するため、２枚のイメージスプリッタを
配置したディスプレイで、作業者はメガネなしでの立体
視が可能である。
【００６２】
【発明の効果】以上に述べたように本発明によれば、以
下に示す効果を奏する。
下に示す効果を奏する。
【００６３】すなわち、複合現実感の提示における位置
合わせの精度が向上し、特に建設工事において現実空間
に重ね合わせて映し出された仮想立体映像を利用して、
対象とする現場に即した位置情報を提供し、測量作業や
施工の迅速化、合理化、安全性の向上という効果を奏す
る。
合わせの精度が向上し、特に建設工事において現実空間
に重ね合わせて映し出された仮想立体映像を利用して、
対象とする現場に即した位置情報を提供し、測量作業や
施工の迅速化、合理化、安全性の向上という効果を奏す
る。
【図１】本発明の３次元測量支援用画像システムの構成
図である。
図である。
【図２】本発明の３次元測量支援用画像システムの動作
の流れの説明図である。
の流れの説明図である。
【図３】重複写真の共線条件の説明図である。
【図４】本発明の３次元測量支援用画像システムの具体
的な実施例での動作の流れを示す図である。
的な実施例での動作の流れを示す図である。
１ ノート型或は携帯可能のパソコン
２ 立体視ディスプレイ
３ 中央制御部
４ パソコンの表示部
５ キー及びポインティングデバイス入力装置
６ 光ディスクドライブ装置
７ ハードディスク装置
８ バス
１０ 観察対象測量地域
１１，１１Ｌ，１１Ｒ ＣＣＤカメラ
１２ 画像蓄積手段
１２ａ 画像蓄積部
１３ 基準点自動抽出手段
１３ｘ 抽出探索範囲設定手段
１３ｙ 基準点マーキング手段
２１ 位置センサ取得装置部
２２ 姿勢センサ取得装置部
２３ 位置・姿勢検出手段
２３ａ センサデータ記憶部
３０ 描画オブジェクト基本形状データ部（データベ
ース） ３１ 描画オブジェクト再構築手段 ３２ 画像合成手段 ４０ 立体視ディスプレイ２の映像信号受信部 ４１ 映像信号変換手段 ４２ 映像信号転送部 ４３ 液晶シャッターメガネ ４４ 立体視ディスプレイ２の表示部 １００，２００ ３次元測量支援用画像システム Ｉ／Ｆ インターフェイス回路部 Ｐ，Ｐ１，Ｐ２，‥‥，Ｐｎ ３次元座標既知の基準
点
ース） ３１ 描画オブジェクト再構築手段 ３２ 画像合成手段 ４０ 立体視ディスプレイ２の映像信号受信部 ４１ 映像信号変換手段 ４２ 映像信号転送部 ４３ 液晶シャッターメガネ ４４ 立体視ディスプレイ２の表示部 １００，２００ ３次元測量支援用画像システム Ｉ／Ｆ インターフェイス回路部 Ｐ，Ｐ１，Ｐ２，‥‥，Ｐｎ ３次元座標既知の基準
点
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 中 原 博 隆
東京都千代田区三番町２番地 飛島建設
株式会社内
(72)発明者 筒 井 雅 行
東京都千代田区三番町２番地 飛島建設
株式会社内
(72)発明者 熊 谷 幸 樹
東京都千代田区三番町２番地 飛島建設
株式会社内
(56)参考文献 特開2002−228442（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 1/00,17/40
H04N 13/00 - 15/00
Claims (10)
- 【請求項１】 作業者の目の替りとなるＣＣＤカメラを
介してノート型或は携帯可能のパソコンに表示された観
察対象測量地域の画像は、その現実空間に加えて、予め
設計した構造物である描画オブジェクトをその所定設置
場所の仮想空間を重畳させ複合現実感を持たせる画像表
示とする３次元測量支援用画像システムであって、 前記パソコンは、左目用及び右目用ＣＣＤカメラを所定
位置に装着し、またそのカメラ視点位置及び姿勢センサ
データを逐次取得してセンサデータ記憶部に送信する位
置及び姿勢センサ取得装置部を所定位置に装着し、 前記描画オブジェクトの所定設置場所を示す３次元座標
が既知である複数の基準点が含まれる前記ＣＣＤカメラ
の画像をリアルタイムでデジタル画像として逐次画像蓄
積部に書込み更新する画像蓄積手段と、 オペレータが初期画像上の基準点の写真座標の抽出とカ
メラの少なくとも主点位置、画面距離補正を行う初期設
定の完了後に、前記画像蓄積部より呼出した左右カメラ
の各画像中の複数の基準点を画像面上に自動抽出し、そ
の位置を定める基準点自動抽出手段と、 ３次元座標が（Ｘ，Ｙ，Ｚ）であるような点の写真座標
（ｘ，ｙ）を表わす射影幾何学に基づく共線条件式にお
いて、前記座標（Ｘ，Ｙ，Ｚ）を既知とする基準点座標
と、前記自動抽出し算出した複数の基準点の各写真座標
（ｘ，ｙ）とから、未知のＣＣＤカメラ位置（座標
Ｘ０，Ｙ０，Ｚ０）及び姿勢（回転軸ω，φ，κ）を解
く位置・姿勢検出手段と、 前記位置・姿勢検出手段により得られる前記パソコンに
装着したＣＣＤカメラ位置及び姿勢に基づいて、前記現
実空間の写真座標基準点に従って前記描画オブジェクト
をそのデータベースより呼出して重畳させるために逐次
描画オブジェクトを再構築する描画オブジェクト再構築
手段と、 前記画像蓄積部より観察対象のＣＣＤカメラ画像を呼出
し、その現実空間に、前記再構築した描画オブジェクト
の仮想空間を重畳する画像合成手段と、 前記ＣＣＤカメラ画像に描画オブジェクトを合成した画
像データを前記パソコンの表示部に表示可能な映像表示
信号に変換する映像信号変換手段とを少なくとも備える
ことを特徴とする複合現実感を利用した３次元測量支援
用画像システム。 - 【請求項２】 前記位置・姿勢検出手段の共線条件式に
おいてカメラ位置及び姿勢を未知数として解くに際し、
主点位置ずれを含む補正計算を簡単化するため、２台の
ＣＣＤカメラのステレオ・ペア画像により少なくとも主
点位置ずれ・画面距離の内部標定要素を補正後、前記未
知数をその近似値と微少補正量とに分解して非線形方程
式を線形化し繰返し計算によって解くことを特徴とする
請求項１記載の複合現実感を利用した３次元測量支援用
画像システム。 - 【請求項３】 前記位置・姿勢検出手段は、オペレータ
が前記初期設定を行った後の初期状態に際しては、前記
パソコンの位置及び姿勢センサ取得装置部のセンシング
結果を取得して、その値を初期状態で与えるカメラ位置
及び姿勢の前記近似値として共線条件式を解き、それ以
降のフレームの近似値はその時点でのセンシング結果を
用い、もし誤差の大きい場合については前フレームの解
析結果を用いることを特徴とする請求項２記載の複合現
実感を利用した３次元測量支援用画像システム。 - 【請求項４】 前記位置データ取得装置部は、パソコン
の所定位置に反射プリズムを装着すると共に、自動追尾
機能付きの位置測定用トータルステーションにより検出
された位置データを無線モデムを介して前記反射プリズ
ムに送信し、逐次前記センサデータ記憶部に記録するこ
とを特徴とする請求項１，２又は３記載の複合現実感を
利用した３次元測量支援用画像システム。 - 【請求項５】 前記姿勢データ取得装置部は、パソコン
の所定位置にジャイロセンサを装着し、そこで検出され
た姿勢データを逐次前記センサデータ記憶部に記録する
ことを特徴とする請求項１，２，３又は４記載の複合現
実感を利用した３次元測量支援用画像システム。 - 【請求項６】 前記パソコンはその表示部は液晶ディス
プレイであり、その左右にそれぞれ左目用ＣＣＤカメラ
及び右目用ＣＣＤカメラの映像を一定の周波数でリフレ
ッシュされて表示され、作業者はこの周波数に同期して
開閉する液晶シャッターメガネを装着することによって
複合現実感を体験することを特徴とする請求項１，２，
３，４又は５記載の複合現実感を利用した３次元測量支
援用画像システム。 - 【請求項７】 前記映像変換手段により変換した映像表
示信号を前記パソコンの表示部に送信すると共に立体視
ディスプレイの表示部にも送信し、左右の映像を分離す
るため２枚のイメージスプリッタを配置したディスプレ
イとして、作業者はメガネなしで立体視できることを特
徴とする請求項６記載の複合現実感を利用した３次元測
量支援用画像システム。 - 【請求項８】 前記基準点自動抽出手段は、前記初期画
像で補正されたＣＣＤカメラ主点位置・画面距離に加え
て、前フレームでのカメラ位置及び姿勢データを基に前
記複数の各基準点のカメラ画像上の写真座標を逆算し、
その座標の周囲に所定の探索範囲を設定して、そこの基
準点のＲＧＢ情報を基に正確な基準点の写真座標を自動
的に抽出する探索範囲設定手段を含むことを特徴とする
請求項１，２，３，４又は５記載の複合現実感を利用し
た３次元測量支援用画像システム。 - 【請求項９】 前記基準点自動抽出手段は、予め基準点
の周囲と異なる色でマーキングする基準点マーキング手
段を含み、基準点自動抽出を実行する前にオペレータが
初期画像での最初のフレームの基準点の写真座標の抽出
を容易に行えることを特徴とする請求項８記載の複合現
実感を利用した３次元測量支援用画像システム。 - 【請求項１０】 前記基準点自動抽出手段における基準
点抽出時の探索範囲内でのＲＧＢ値に対するパターン自
動認識では、以下の〜の４つの処理を繰返すことを
特徴とする請求項８又は９記載の複合現実感を利用した
３次元測量支援用画像システム。 前フレームで抽出した基準点ｉのＲ値（Ｒ
ｉ（ｔ））、Ｇ値（Ｇｉ（ｔ））、Ｂ値（Ｂ
ｉ（ｔ））、幅（ｗｉ（ｔ））、高さ（ｈｉ（ｔ））を
記憶しておく； 「切り捨て処理」（１） Ｒｉ（ｔ），Ｇ
ｉ（ｔ），Ｂｉ（ｔ）の最大値（Ａｉ（ｔ）ＭＡＸ）を
取るＡ値（ＡはＲ，Ｇ，Ｂのうちいずれかを意味する）
がＡｉ（ｔ＋１）＜Ａｉ（ｔ）ＭＡＸ／２である画素
と、 （２） Ｒ（ＧＢ）値それぞれにしきい値ｄＲ（ＧＢ）
を設け、Ｒ（ＧＢ）ｉ（ｔ）−ｄＲ（ＧＢ）＜Ｒ（Ｇ
Ｂ）ｉ（ｔ＋１）＜Ｒ（ＧＢ）ｉ（ｔ）＋ｄＲ（ＧＢ）
となる画素以上の画素を切り捨てる（重みを０とす
る）； 「連続性処理」探索範囲に重み≠０の範囲が連続す
る画素の集合が２つ以上ある場合、その集合の幅ｗ
ｉ（ｔ＋１）と高さｈｉ（ｔ＋１）が最もｗ
ｉ（ｔ）），ｈｉ（ｔ）に近いもののみを抽出する； 探索範囲内のＡ値に対する重み付き重心座標を求め
写真座標とする。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001023387A JP3398796B2 (ja) | 2001-01-31 | 2001-01-31 | 複合現実感を利用した３次元測量支援用画像システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001023387A JP3398796B2 (ja) | 2001-01-31 | 2001-01-31 | 複合現実感を利用した３次元測量支援用画像システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002230586A JP2002230586A (ja) | 2002-08-16 |
| JP3398796B2 true JP3398796B2 (ja) | 2003-04-21 |
Family
ID=18888682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001023387A Expired - Fee Related JP3398796B2 (ja) | 2001-01-31 | 2001-01-31 | 複合現実感を利用した３次元測量支援用画像システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3398796B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4532856B2 (ja) * | 2003-07-08 | 2010-08-25 | キヤノン株式会社 | 位置姿勢計測方法及び装置 |
| JP2006018444A (ja) * | 2004-06-30 | 2006-01-19 | Taisei Corp | 画像処理システム及び付加情報指示装置 |
| JP5898842B2 (ja) | 2010-01-14 | 2016-04-06 | 任天堂株式会社 | 携帯型情報処理装置、携帯型ゲーム装置 |
| EP2355526A3 (en) | 2010-01-14 | 2012-10-31 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method |
| JP5800501B2 (ja) | 2010-03-12 | 2015-10-28 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法 |
| US8633947B2 (en) | 2010-06-02 | 2014-01-21 | Nintendo Co., Ltd. | Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method |
| US8384770B2 (en) | 2010-06-02 | 2013-02-26 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
| JP5647819B2 (ja) | 2010-06-11 | 2015-01-07 | 任天堂株式会社 | 携帯型電子機器 |
| EP2395768B1 (en) | 2010-06-11 | 2015-02-25 | Nintendo Co., Ltd. | Image display program, image display system, and image display method |
| JP5739674B2 (ja) | 2010-09-27 | 2015-06-24 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
| US8854356B2 (en) | 2010-09-28 | 2014-10-07 | Nintendo Co., Ltd. | Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method |
| KR101022228B1 (ko) | 2010-12-09 | 2011-03-17 | 삼성탈레스 주식회사 | Ｐｃ 기반의 가상 영상 제공 장치 및 제공 방법 |
| WO2013095393A1 (en) | 2011-12-20 | 2013-06-27 | Intel Corporation | Augmented reality representations across multiple devices |
| JP6326996B2 (ja) | 2014-06-13 | 2018-05-23 | 富士通株式会社 | 端末装置、情報処理システム、及び表示制御プログラム |
| JP6733127B2 (ja) * | 2018-01-24 | 2020-07-29 | 株式会社建設システム | 情報処理装置、情報処理方法およびプログラム |
-
2001
- 2001-01-31 JP JP2001023387A patent/JP3398796B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002230586A (ja) | 2002-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3398796B2 (ja) | 複合現実感を利用した３次元測量支援用画像システム | |
| CN107402000B (zh) | 用于将显示装置相对于测量仪器相互关联的方法和系统 | |
| KR101285360B1 (ko) | 증강현실을 이용한 관심 지점 표시 장치 및 방법 | |
| JP6683127B2 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| JP5582548B2 (ja) | 実環境視像における仮想情報の表示方法 | |
| EP2915140B1 (en) | Fast initialization for monocular visual slam | |
| WO2016017253A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| Helpke | State-of-the-art of digital photogrammetric workstations for topographic applications | |
| US7272501B2 (en) | System and method for automatically collecting images of objects at geographic locations and displaying same in online directories | |
| JP4560128B1 (ja) | 地図画像統合データベース生成システム及び地図画像統合データベース生成プログラム | |
| JP4115117B2 (ja) | 情報処理装置および方法 | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| JP2007327938A (ja) | 画像処理装置及びその処理方法 | |
| JP4102324B2 (ja) | 測量データ処理システム、測量データ処理プログラム及び電子地図表示装置 | |
| JP2003344018A (ja) | 画像処理装置およびその方法並びにプログラム、記憶媒体 | |
| KR101574636B1 (ko) | 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템 | |
| JP2020008917A (ja) | 拡張現実表示システム、拡張現実表示方法、及び、拡張現実表示用コンピュータプログラム | |
| JP2010128608A (ja) | ステレオマッチング処理システム、ステレオマッチング処理方法、及びプログラム | |
| CN115371673A (zh) | 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法 | |
| JP3840171B2 (ja) | 画像表示装置及びその方法並びに記憶媒体 | |
| KR101289885B1 (ko) | 건물의 모델링을 위한 장치 및 방법 | |
| WO2006043319A1 (ja) | 端末及びサーバ | |
| JP4673861B2 (ja) | 情報表示システム及び情報表示方法 | |
| JP4810403B2 (ja) | 情報処理装置、情報処理方法 | |
| Rawlinson | Design and implementation of a spatially enabled panoramic virtual reality prototype |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090221 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100221 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100221 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110221 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110221 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120221 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130221 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140221 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140221 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150221 Year of fee payment: 12 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |