JP4319476B2

JP4319476B2 - Surveying system

Info

Publication number: JP4319476B2
Application number: JP2003183697A
Authority: JP
Inventors: 雅実白井; 忍上園; 浩二津田; 良太小川; 武志三村; 哲也片; 健一中村
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2002-06-27
Filing date: 2003-06-27
Publication date: 2009-08-26
Anticipated expiration: 2023-06-27
Also published as: JP2004085555A

Description

【０００１】
【発明の属する技術分野】
本発明は測量情報の処理を伴う測量システムに関する。
【０００２】
【従来の技術】
従来測量においては、測量しようとする点（測点）を含む周囲の風景を撮影し、撮影された画像を測定データと共に保存することがある。このような場合、例えば通常のカメラを用いて測量目標物周囲の概略的な風景を記録する方法や、測量機内に内蔵された撮像装置を用いて測点毎に周囲の風景を撮影する方法などが知られている（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開平１１−３３７３３６号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、通常のカメラを用いて撮影を行なう場合には、撮影された画像上に測点の位置が表示されないことから測点が画像上のどの位置に対応するのか知ることができない。一方、上記特許文献１に記載された方法では、測点毎に１枚以上の画像が記録されるため大容量の記録装置を必要とし、その取り扱いも煩雑となる。
【０００５】
本発明は、測量機で得られる測量情報をカメラで得られる測量現場の画像情報に簡便かつ効率的に関連付けるとともに、関連付けられた測量情報に関して視認性の高い表示を行なうことを目的としている。
【０００６】
【課題を解決するための手段】
本発明の測量システムは、測点の測量情報が基準とする座標系と測点を含む測量現場の概観画像との間の位置関係を算出する位置関係算出手段と、この位置関係から測点の測量情報と測点に対応する概観画像上の位置に関する位置情報とを対応付ける対応付け手段と、概観画像を表示する画像表示手段と、測量情報と概観画像の位置情報との対応付けに基づいて測点の位置を画像表示手段により表示された概観画像上に表示する測点表示手段と、画像表示手段により表示された概観画像上において、複数の測点が縮退している場合に、縮退した測点の位置を報知する縮退報知手段とを備えたことを特徴としている。
【０００７】
測量システムは、例えば測点の測量情報を得るための測量手段を備え、位置関係は、例えば３以上の任意に設定された基準点（以下、位置関係を計算するために使用した任意設定点を基準点と表現する）の測量情報と、基準点の概観画像上の位置との関係から算出される。これにより、カメラの位置を特定するために別途センサ等を設ける必要がない上、カメラの内部定位要素を、治具等を使用して測定する必要がないので、例えば従来の単写真標定の手段を用いて簡便かつ低コストで測量手段と概観画像との対応を高精度に知ることができる。
【０００８】
また測量システムは、画像表示手段における画像上の位置を指定するための入力手段を備え、基準点の位置は入力手段により概観画像上の任意の位置を指定することにより決定されることが好ましい。これにより例えば測量手段により、任意に指定された基準点の測量情報を用いて位置関係を求めることができる。
【０００９】
また更に、基準点の３次元的な測量情報は、例えば所与の地理データである。この場合、国土地理院の三角点や、市販の地図デ−タ等において所与の点を基準点として指定することにより、測量機を用いなくとも、上記座標系と概観画像の位置関係やカメラの内部定位要素を算出することができる。また、測量機で測量した値と混合して使用してもよい。
【００１０】
座標系と概観画像との位置関係は、座標系に対する概観画像撮影時のカメラの位置及び傾きを表す外部標定要素により表されることが好ましく、測点の測量情報の中に、例えば測設測量のための測設点データ、又は所与の地理データが含まれてもよい。また、測量システムは、測点に係る測量情報と概観画像の画像データとを関連付けて記録可能なデータ記録手段を備えることが好ましい。また、測量システムは、例えば概観画像を撮影するためのデジタルカメラを備える。
【００１１】
縮退報知手段は、概観画像上の縮退した測点が表示される位置に、測点が縮退していることを報知する表示を行なうことが好ましい。このとき、縮退報知手段は、例えば縮退の有無に基づいて測点の位置を表すマークの色を変えることにより、あるいは、測点の概観画像に対する奥行き方向の座標値に対応する大きさをもつマークを用いて、あるいは測点の概観画像に対する奥行き方向の座標値に対応する色を持つマークを用いて、あるいは縮退の有無に基づいて測点の位置を表すマークの形状を変えることにより縮退している測点を表わし、これによって縮退を報知する表示を行なう。これにより、オペレータは、概観画像上において視覚的に縮退した測点を認識することができ、簡便に縮退した測点を判別することができる。
【００１２】
縮退の有無に基づいて測点の位置を表すマークの形状を変える場合には、例えば、マークが縮退している測点を代表する位置に、縮退した測点の数に対応する引出線を設け、この引出線の端に縮退している各測点名を表示してもよい。また、マークの形状を縮退している測点の数に対応させてもよい。例えば縮退している測点の数が３以上のときには、測点の数に対応した多角形をマークとして用いてもよい。これにより、縮退している測点の数を計量的に把握できる。また例えば、縮退報知手段は、縮退の有無に基づいて測点の位置を表すマークの大きさを変えることにより、縮退を報知する表示を行い、マークの大きさを例えば、縮退している測点の数に対応させることも可能である。
【００１３】
例えば、入力手段により縮退した測点を含む領域が指定されたとき、縮退報知手段は、この領域に含まれる測点に関わる情報を表示する。このとき、測点に関わる情報は、例えば領域内の測点の測点名と測量情報のリストである。また、例えば測点に関わる情報は、上記領域を拡大表示した画像情報である。これにより、縮退した測点のより詳細な情報を参照することが可能となる。また例えば、測点に関わる情報は、上記領域内の測点の概観画像に対する奥行き方向の座標値に対応して、測点をバーグラフ上に座標値に対応して表示する。この方法によれば、測点が同一視線上に存在するような場合、視覚的に測点に関わる詳細な情報を得ることができる。
【００１４】
また例えば、縮退報知手段は、概観画像上に表示された測点を所定の平面に射影した平面図として表示し、この平面は水平面であることが好ましい。この表示方法によれば、各測点の空間的な配置をより容易に把握することができる。
【００１５】
本発明の測量支援装置は、測点の測量情報が基準とする座標系と測点を含む測量現場の概観画像との間の位置関係を算出する位置関係算出手段と、この位置関係から、測点の測量情報と測点に対応する概観画像上の位置に関する位置情報とを対応付ける対応付け手段と、概観画像を表示する画像表示手段と、測量情報と前記概観画像の位置情報との対応付けに基づいて測点の位置を画像表示手段により表示された概観画像上に表示する測点表示手段と、画像表示手段により表示された概観画像上において、複数の測点が縮退している場合に、縮退した測点の位置を報知する縮退報知手段とを備えたことを特徴としている。
【００１６】
また、本発明の測量支援プログラムは、コンピュータに測点の測量情報が基準とする座標系と測点を含む測量現場の概観画像との間の位置関係を算出する手順と、この位置関係から測点の測量情報と測点に対応する概観画像上の位置に関する位置情報とを対応付ける手順と、概観画像を表示する手順と、測量情報と概観画像の位置情報との対応付けに基づいて測点の位置を画像表示手段により表示された概観画像上に表示する手順と、画像表示手段により表示された概観画像上において、複数の測点が縮退している場合に、縮退した測点の位置を報知する手順とを実行させることを特徴としている。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の一実施形態である測量機とカメラを用いた測量システムの概略を示すブロック図である。
【００１８】
測量機１０は例えばトータルステーション等であり、測距部１１と測角部１２とを備える。測距部１１は視準された測点までの斜距離を例えば光波測距により検出し、測角部１２はこのときの水平角、高度角等を検出する。測距部１１及び測角部１２はそれぞれシステムコンロール回路１３に接続されており、システムコントロール回路１３からの指令に基づき制御される。例えば測距部１１はシステムコントロール回路１３の指令に基づいて測距を行い、測定値をシステムコントロール回路１３に送出する。一方、測角部１２は常時角度を測定しておりシステムコントロール回路１３からの要求に応じて測定値をシステムコントロール回路１３へ送出する。検出された斜距離、水平角、高度角等の測定値はシステムコントロール回路１３において処理される。システムコントロール回路１３には、インターフェース回路１６が接続されており、インターフェース回路１６は、インターフェースケーブルを介して例えばノート型パソコン（ＰＣ）や携帯端末（ＰＤＡ）等の測量支援装置４０に接続され、測距部１１、測角部１２で検出された斜距離、水平角、高度角等が測量情報として転送される。なお、インターフェース回路１６は、データコレクタ（図示せず）等の周辺機器にも接続可能である。また、測量支援装置４０として携帯端末を用いる場合には、電波や光通信を用いて測量情報（測量データ）の転送を行なってもよい。
【００１９】
デジタルスチルカメラ２０は、例えば通常市販されているデジタルスチルカメラである。デジタルスチルカメラ２０には、ＣＣＤ等の撮像素子２１が設けられており、撮像レンズ２２を介して被写体の映像を撮像可能である。すなわち、撮像素子２１では被写体の映像が画像信号として検出され、画像信号処理回路２３へ出力される。画像信号処理回路２３では、入力された画像信号に対してＲＧＢゲイン補正、ホワイトバランス補正、ガンマ補正やスーパインポーズ等の所定の画像処理が施される。画像処理が施された画像信号は例えば表示部（例えばＬＣＤ）２４に送出されシースルー画像として表示される。また、システムコントロール回路２６に接続されたスイッチ群２９に設けられたシャッターボタン（図示せず）が押下されると、被写体の映像がデジタル画像として画像メモリ２５に一時的に記憶される。
【００２０】
画像メモリ２５に記憶されたデジタル画像は、画像信号処理回路２３を介して表示部２４に表示可能であるとともに、システムコントロール回路２６を介して記録媒体に記録可能である。記録媒体２７に記録された画像はシステムコントロール回路２６により表示部２４に表示することが可能である。また、デジタルスチルカメラ２０は、測量支援装置４０にインターフェース回路２８を介して接続されており、撮像された画像は画像データとして測量支援装置４０に転送される。
【００２１】
測量支援装置４０は、例えばシステムコントロール回路４４を中心に入力装置４１、記録媒体４２、画像表示装置４３等を備える。入力装置４１としては、例えばキーボード、マウス、十字キー、トラックボール、ジョイスティック、タッチスクリーン等が用いられる。画像表示装置４３としては、ＬＣＤ、ＣＲＴ等が用いられ、入力装置４１を用いて画面上の任意の位置を指定することが可能である。記録媒体４２としては、例えばハードディスク、ＤＶＤ、ＭＯ、ＩＣカード等を用いることができ、例えば測量支援装置４０に転送された測量データや、概観画像の画像データを記録することができる。
【００２２】
なお、測量支援装置４０も、インターフェース回路等を備えるが、その記載は省略する。また、測量支援装置４０では、記録媒体４２にインストールされている測量支援プログラム（後述）が実行される。
【００２３】
次に図１、図２、図３を参照して第１の実施形態の測量システムにおける測点表示処理について説明する。図２は、第１の実施形態の測量システムにおける測量手順を示すフローチャートであり、図３は第１の実施形態の測量システムにおける測量機およびカメラの配置を概念的に示す図である。
【００２４】
まずステップＳ１０１において、オペレータはデジタルスチルカメラ（ＤＳＣ）２０により測量現場の概観を撮影する。撮影された１枚のデジタル画像（概観画像）には、測量されるべき測点が複数含まれる。ステップＳ１０２では、撮影された概観画像の画像データが測量支援装置４０に転送されるとともに、画像表示装置４３に表示される。また、画像表示装置４３に表示された概観画像では、実空間内で３次元的に配置された複数の点（画素）がオペレータにより入力装置４１を用いて選択され、選択された画素に対応する実空間内の物点が基準点Ｐ_i（ｉ＝１，２，・・・，ｎ）として指定される。このとき指定された各基準点Ｐ_iに対応する撮像面上の像点Ｐ_i’の位置が、それぞれ２次元の画像座標（ｘｐ_i’，ｙｐ_i’）として求められる。なお画像座標系は、画像左上を原点としたｙ軸下向きが正の２次元座標系である。また、基準点の数ｎは３次元的に配置された例えば１１以上の数である。
【００２５】
ステップＳ１０３では、ステップＳ１０２において指定された各基準点Ｐ_iの斜距離及び（高度、水平）角度が測量機１０を用いてオペレータにより測定され、測定値はインターフェースを介して測量支援装置４０のシステムコントロール回路４４へ伝送される。システムコントロール回路４４では、各基準点Ｐ_iの３次元座標（Ｘｐ_i，Ｙｐ_i，Ｚｐ_i）が所定の測量座標系において算出される。このとき各基準点Ｐ_iの測量座標（Ｘｐ_i，Ｙｐ_i，Ｚｐ_i）は、それぞれ像点Ｐ_i’の画像座標（ｘｐ_i’，ｙｐ_i’）に対応付けられる。なお、測量座標系としては、例えば測量機１０に設けられた視準望遠鏡１０ａ（図３参照）の高度角、水平角の回転中心を原点として用いてもよいし、国土地理院等で規定している絶対座標を用いてもよい。また、測量現場で任意に設定された座標を使用してもよい。また、測量機が測量座標計算を行い、その値がデジタルカメラ２０のシステムコントロール回路２６へ伝送されるように構成してもよい。
【００２６】
ステップＳ１０４では後述するように、各基準点Ｐ_iに対する測量座標と画像座標との対応から概観画像を撮影したときのデジタルスチルカメラ２０の位置および傾き等を表わす外部標定要素と、レンズディスト−ションや主点の画像中心からの偏心による共線条件のズレを補正するための内部定位要素が、例えば空間後方交会法により算出される。すなわち、デジタルスチルカメラ２０に固定された３次元カメラ座標系の原点の測量座標系における位置（Ｘ_O，Ｙ_O，Ｚ_O）と、撮影時のカメラ座標系のｘ軸、ｙ軸、ｚ軸回りの回転角（ω，φ，κ）が外部標定要素として求められるとともに、カメラの内部定位要素（ｆ：レンズ投影中心から像面までの距離（画像距離）；Ｄ₂、Ｄ₄、Ｄ₆：ディスト−ション２次、４次、６次成分；Ｎ₁、Ｎ₂：ディスト−ションの非対称成分；Ｘ_C、Ｙ_C：主点の画像中心からの偏心量）が求められる。これにより、画像座標と測量座標との射影関係が確立される。なお、内部定位要素を上記（ｆ，Ｄ₂，Ｄ₄，Ｄ₆，Ｎ₁，Ｎ₂，Ｘ_C，Ｙ_C）に設定した場合、外部標定要素及び内部定位要素を算出するのに必要な基準点の数は７点以上である。このうち、外部標定要素（Ｘ_O，Ｙ_O，Ｚ_O，ω，φ，κ）を算出するのに必要な基準点の数は３点以上である。なお、本実施形態では、外部標定及び内部標定を行なうための基準点として１１点（以上）指定している。
【００２７】
カメラ座標系は、レンズ中心（投影中心）Ｏを原点とした左手座標系であり、そのｚ軸、ｙ軸はスクリーン座標系のｓ’軸、ｔ’軸と平行であり、ｘ軸は撮像面と垂直で、像面とは反対の方向に向けて定義される。すなわち、撮像面上の点は（−ｆ，ｙ，ｚ）で表される。ここでスクリーン座標系は、主点を原点とした撮像面上の２次元座標系であり、ｓ’軸は撮像素子２１の水平ライン方向に、ｔ’軸は垂直ライン方向に対応する。
【００２８】
ステップＳ１０５では、オペレータが測量機１０を用いて測点Ｑ₁を測量する。測定値はインターフェースを介して測量支援装置４０に伝送される。このとき測量支援装置４０のシステムコントロール回路４４では測点Ｑ₁の測量座標が算出される。ステップＳ１０６では、算出された測点Ｑ₁の測量座標およびステップＳ１０４において求められた外部標定要素（Ｘ_O，Ｙ_O，Ｚ_O，ω，φ，κ）及び内部定位要素（ｆ，Ｄ₂，Ｄ₄，Ｄ₆，Ｎ₁，Ｎ₂，Ｘ_C，Ｙ_C）に基づいて測点Ｑ₁に対応する像点Ｑ₁’の概観画像上の画像座標Ｑ₁’（ｘｑ₁’，ｙｑ₁’）が求められ、画像座標Ｑ₁’（ｘｑ₁’，ｙｑ₁’）に対応する位置に測点Ｑ₁を示すマーク（P1、P2・・・のように測点番号も表示してよい）または測定値がスーパインポーズされ測量支援装置４０の画像表示装置４３に表示される。
【００２９】
ステップＳ１０７において測量を継続する場合にはステップＳ１０５以下の処理が繰り返し実行され、例えば測量機１０を用いて測点Ｑ₂、Ｑ₃を測量すると、測量支援装置４０の画像表示装置４３に表示された概観画像には、測点Ｑ₂、Ｑ₃の像点Ｑ₂’、Ｑ₃’に対応する位置にそれぞれ測点Ｑ₂、Ｑ₃を示すマークが表示される。一方測量を終了する場合にはステップＳ１０８において、概観画像の画像データ、カメラの内部定位要素、外部定位要素、像点Ｑ₁’、Ｑ₂’、Ｑ₃’の画像座標（概観画像上の位置を示す位置情報、例えば画素の位置を示すデータであってもよい）、測点Ｑ₁、Ｑ₂、Ｑ₃の斜距離、高度角、水平角または測量座標等の測量データ（測量情報）がそれぞれ関連付けて記録媒体４２に記録され、本実施形態の測量システムを用いた測点表示処理は終了する。なお、概観画像の画像データ、測点に対応する画像座標データ（または画素位置を示すデータ）や測量データ等は、それぞれ別のファイルに記録されてもよいし、同一のファイルに記録されてもよい。
【００３０】
また、図４を参照して第１の実施形態の測量システムにおける測点表示処理の変形例について説明する。図４は、この変形例における測量手順のフローチャートである。
【００３１】
図２の測量手順では、測量座標系に対するデジタルスチルカメラ２０の位置及び傾きを空間後方交会法で算出（Ｓ１０４）した後に、各測点の測量を行いその都度、測点を概観画像上に表示した。一方、図４のフローに示された変形例では、測量機１０による測点の測量が行なわれた後に測量座標系に対するデジタルスチルカメラ２０の位置及び傾きが算出され、その後全測点の位置が概観画像上に一斉に表示される。
【００３２】
すなわち、ステップＳ１１０、Ｓ１１１では、測量機１０を用いて、複数の測点に対する測定が連続して行なわれる。測点の測量が終了した場合には、ステップＳ１１２において、ステップＳ１１０で測定された測点を含む測量現場の概観画像がデジタルスチルカメラ２０を用いて撮影される。ステップＳ１１３では、概観画像上に表示された測点の中から１１個の測点（画素）が基準点Ｐ_iとしてオペレータによって入力装置４１を用いて指定される。ステップＳ１１４では、ステップＳ１１３において指定された基準点Ｐ_iに対応する測点の３次元座標（Ｘｐ_i，Ｙｐ_i，Ｚｐ_i）が、例えばオペレータによって対応付けられる。
【００３３】
ステップＳ１１５では、基準点Ｐ_iに対するステップＳ１１４の対応付けに基づいて、デジタルスチルカメラ２０の位置及び傾きや内部定位要素が、空間後方交会法により、図２のステップＳ１０４と同様に算出される。ステップＳ１１６では、ステップＳ１１５において算出された外部標定要素及び内部定位要素を用いて、ステップＳ１１０において測定された全ての測点に対する概観画像上の画像座標が求められ、概観画像上にその位置を示すマークまたは測定値がスーパインポーズされて画像表示装置４３に表示される。ステップＳ１１７では、ステップＳ１０８と同様に各データが記録媒体４２に記録される。以上により、変形例における測量は終了する。
【００３４】
なお、図２、４ではステップＳ１０１、Ｓ１１２で測量現場の撮影を行ったが、過去に撮影した概観画像を使用してもよい。さらには、撮影と測量が同時に行われるシステムとしてもよい。これは例えばスイッチ群１４内の測量開始スイッチとスイッチ群２９内のＤＳＣ撮影スイッチを連動させる方式を採用して行なうことができる。また、予めステップＳ１０１〜Ｓ１０４を行い、後日ステップＳ１０５〜Ｓ１０８を行ってもよい。この場合、測量機の設置場所は同位置とする。また、図４に示すフロ−のようにステップＳ１１０の測量を先に行い、後で画像との融合を行ってもよい。またステップＳ１１０の測量を行わず、以前測量されたデ−タあるいは既知の地理データ（国土地理院の三角点、市販の地図の地理デ−タ等）を使用してもよい。
【００３５】
次に図５、図６を参照して本実施形態におけるデジタルスチルカメラ２０の空間後方交会法による外部標定要素及び内部定位要素の算出方法（ステップＳ１０４、Ｓ１１５）と、測点の概観画像への表示する方法（ステップＳ１０６、Ｓ１１６）の原理について説明する。
【００３６】
図５は、３つの基準点Ｐ₁、Ｐ₂、Ｐ₃とこれらの撮像面Ｓにおける像点Ｐ₁’、Ｐ₂’、Ｐ₃’との関係を模式的に示している。図６は図２、図４のステップＳ１０４、Ｓ１１５におけるデジタルスチルカメラ２０の位置および傾きを表す外部標定要素（Ｘ_O，Ｙ_O，Ｚ_O，ω，φ，κ）及びカメラの内部定位要素（ｆ，Ｄ₂，Ｄ₄，Ｄ₆，Ｎ₁，Ｎ₂，Ｘ_C，Ｙ_C）を算出する空間後方交会法のプログラムのフローチャートであり、その算出には最小二乗法を用いた逐次近似法が用いられる。なお、本実施形態では、上述したように基準点の数は７点以上であればいくつあってもよいが、ここでは、基準点が１１点指定された場合を例に説明を行なう。また、図５にはその内の３点Ｐ₁、Ｐ₂、Ｐ₃のみが示される。
【００３７】
まず、ステップＳ２０１においてカメラの位置および傾きを表す外部標定要素（Ｘ_O，Ｙ_O，Ｚ_O，ω，φ，κ）及び内部定位要素（ｆ，Ｄ₂，Ｄ₄，Ｄ₆，Ｎ₁，Ｎ₂，Ｘ_C，Ｙ_C）に近似値として適当な初期値（Ｘ_GO，Ｙ_GO，Ｚ_GO，ω_G，φ_G，κ_G）及び（ｆ_G，Ｄ_2G，Ｄ_4G，Ｄ_6G，Ｎ_1G，Ｎ_2G，Ｘ_CG，Ｙ_CG）を与える。次にステップＳ２０２では、与えられた外部標定要素（Ｘ_GO，Ｙ_GO，Ｚ_GO，ω_G，φ_G，κ_G）及び内部定位要素（ｆ_G，Ｄ_2G，Ｄ_4G，Ｄ_6G，Ｎ_1G，Ｎ_2G，Ｘ_CG，Ｙ_CG）を用いて１１個の基準点Ｐ_i（ｉ＝１，２，・・・，１１）の測量座標（Ｘｐ_i，Ｙｐ_i，Ｚｐ_i）から各基準点Ｐ_iに対応する像点Ｐ_i’の近似的な画像座標（ｘｐ_Gi’，ｙｐ_Gi’）を算出する。
【００３８】
すなわち、基準点Ｐ_i（ｉ＝１，２，・・・，１１）のカメラ座標系における座標（ｘｐ_i，ｙｐ_i，ｚｐ_i）は、測量座標系における座標（Ｘｐ_i，Ｙｐ_i，Ｚｐ_i）から次の（１）式により求まるので、近似的な外部標定要素（Ｘ_GO，Ｙ_GO，Ｚ_GO，ω_G，φ_G，κ_G）、及び基準点Ｐ_iの測量座標（Ｘｐ_i，Ｙｐ_i，Ｚｐ_i）を（１）式に代入することにより、基準点Ｐ_iの近似的なカメラ座標（ｘｐ_Gi，ｙｐ_Gi，ｚｐ_Gi）を求めることができる。
【数１】

ここで行列｛Ｔ_jk｝は回転行列であり、各成分Ｔ_jkは例えば次式で表される。
Ｔ₁₁＝ｃｏｓφ・ｃｏｓκ
Ｔ₁₂＝ｃｏｓω・ｓｉｎκ＋ｓｉｎω・ｓｉｎφ・ｃｏｓκ
Ｔ₁₃＝ｓｉｎω・ｓｉｎκ−ｃｏｓω・ｓｉｎφ・ｃｏｓκ
Ｔ₂₁＝−ｃｏｓφ・ｓｉｎκ
Ｔ₂₂＝ｃｏｓω・ｃｏｓκ−ｓｉｎω・ｓｉｎφ・ｓｉｎκ
Ｔ₂₃＝ｓｉｎω・ｃｏｓκ＋ｃｏｓω・ｓｉｎφ・ｓｉｎκ
Ｔ₃₁＝ｓｉｎφ
Ｔ₃₂＝−ｓｉｎω・ｃｏｓφ
Ｔ₃₃＝ｃｏｓω・ｃｏｓφ
【００３９】
また基準点Ｐ_iに対応する像点Ｐ_i’の内部定位要素による補正前のスクリーン座標（ｓｐ_i’，ｔｐ_i’）は、撮影された基準点、投影中心、およびその像点が同一直線上にあるという共線条件から外部標定要素（Ｘ_O，Ｙ_O，Ｚ_O，ω，φ，κ）、及び基準点Ｐ_iのカメラ座標（ｘｐ_i，ｙｐ_i，ｚｐ_i）を用いて次の（２）式により求められる。
【数２】

【００４０】
補正前のスクリーン座標（ｓｐ_i’，ｔｐ_i’）は、ディスト−ション等の影響を受けているが、これらは、（３）式に、各々の像点のＰ_i’のスクリーン座標（ｓｐ_i’，ｔｐ_i’）及び近似的な内部定位要素（ｆ_G，Ｄ_2G，Ｄ_4G，Ｄ_6G，Ｎ_1G，Ｎ_2G，Ｘ_CG，Ｙ_CG）を代入することにより補正される。すなわち、（３）式により補正後の近似的なスクリーン座標（ｓｃｐ_i’，ｔｃｐ_i’）が算出される。
【数３】

【００４１】
像点Ｐ_i’の近似的な画像座標（ｘｐ_Gi’，ｙｐ_Gi’）は補正された近似的なスクリーン座標（ｓｃｐ_Gi’，ｔｃｐ_Gi’）を次の（４）式に代入することにより求められる。
【数４】

ここで、Ｐｘ、ＰｙはそれぞれＣＣＤの水平、垂直方向の画素ピッチであり、Ｗ、Ｈはそれぞれ画像の水平、垂直方向のピクセル数である。
【００４２】
ステップＳ２０３では、近似的に与えられた外部標定要素（Ｘ_GO，Ｙ_GO，Ｚ_GO，ω_G，φ_G，κ_G）及び内部定位要素（ｆ_G，Ｄ_2G，Ｄ_4G，Ｄ_6G，Ｎ_1G，Ｎ_2G，Ｘ_CG，Ｙ_CG）の値が適切か否かを判定するためのメリット関数Φが計算される。メリット関数Φは例えば（５）式で定義される。
【数５】

すなわち、本実施形態においてメリット関数Φは概観画像上で指定された基準点Ｐ_iの像点Ｐ_i’の画像座標（ｘｐ_i’，ｙｐ_i’）と、測量により求められた基準点Ｐ_iの測量座標（Ｘｐ_i，Ｙｐ_i，Ｚｐ_i）および近似的に与えられた外部標定要素（Ｘ_GO，Ｙ_GO，Ｚ_GO，ω_G，φ_G，κ_G）及び内部定位要素（ｆ_G，Ｄ_2G，Ｄ_4G，Ｄ_6G，Ｎ_1G，Ｎ_2G，Ｘ_CG，Ｙ_CG）から求められた像点Ｐ_i’の近似的な画像座標（ｘｐ_Gi’，ｙｐ_Gi’）との間の距離の２乗に対応している。
【００４３】
次にステップＳ２０４において、メリット関数Φが所定値よりも小さいか否かが判定される。すなわち、近似的に与えられた外部標定要素（Ｘ_GO，Ｙ_GO，Ｚ_GO，ω_G，φ_G，κ_G）及び内部定位要素（ｆ_G，Ｄ_2G，Ｄ_4G，Ｄ_6G，Ｎ_1G，Ｎ_2G，Ｘ_CG，Ｙ_CG）による像点Ｐ_i’の近似的な画像座標（ｘｐ_Gi’，ｙｐ_Gi’）が、概観画像上で指定された基準点Ｐ_iの像点Ｐ_i’の画像座標（ｘｐ_i’，ｙｐ_i’）に十分近いか否かが判定される。Φ＜所定値の場合にはこの処理は終了し、現在与えられている外部標定要素（Ｘ_GO，Ｙ_GO，Ｚ_GO，ω_G，φ_G，κ_G）及び内部定位要素（ｆ_G，Ｄ_2G，Ｄ_4G，Ｄ_6G，Ｎ_1G，Ｎ_2G，Ｘ_CG，Ｙ_CG）の値を、概観画像撮影時のカメラの位置、傾き、及び内部定位を表す外部標定要素であるとする。
【００４４】
一方、ステップＳ２０４においてΦ≧所定値であると判定された場合には、ステップＳ２０５において近似的に与えられた外部標定要素（Ｘ_GO，Ｙ_GO，Ｚ_GO，ω_G，φ_G，κ_G）及び内部定位要素（ｆ_G，Ｄ_2G，Ｄ_4G，Ｄ_6G，Ｎ_1G，Ｎ_2G，Ｘ_CG，Ｙ_CG）に対する補正量（δＸ，δＹ，δＺ，δω，δφ，δκ，δｆ，δＤ₂，δＤ₄，δＤ₆，δＮ₁，δＮ₂，δＸ_C，δＹ_C）が例えば最小二乗法により求められる。すなわち、共線条件である（２）式の（ｓｐ_i’，ｔｐ_i’）に（３）式の（ｓｃｐ_i’，ｔｃｐ_i’）を代入し、近似値である外部標定要素（Ｘ_GO，Ｙ_GO，Ｚ_GO，ω_G，φ_G，κ_G）及び内部定位要素（ｆ_G，Ｄ_2G，Ｄ_4G，Ｄ_6G，Ｎ_1G，Ｎ_2G，Ｘ_CG，Ｙ_CG）の周りにテイラー展開し高次の項を省いて線形化する。この線形化された式において補正量（δＸ，δＹ，δＺ，δω，δφ，δκ，δｆ，δＤ₂，δＤ₄，δＤ₆，δＮ₁，δＮ₂，δＸ_C，δＹ_C）を未知量とする正規方程式を作成し、適正な補正量（δＸ，δＹ，δＺ，δω，δφ，δκ，δｆ，δＤ₂，δＤ₄，δＤ₆，δＮ₁，δＮ₂，δＸ_C，δＹ_C）を求める。
【００４５】
ステップＳ２０６では、ステップＳ２０５において算出された補正量（δＸ，δＹ，δＺ，δω，δφ，δκ，δｆ，δＤ₂，δＤ₄，δＤ₆，δＮ₁，δＮ₂，δＸ_C，δＹ_C）に基づいて近似値である外部標定要素（Ｘ_GO，Ｙ_GO，Ｚ_GO，ω_G，φ_G，κ_G）及び内部定位要素（ｆ_G，Ｄ_2G，Ｄ_4G，Ｄ_6G，Ｎ_1G，Ｎ_2G，Ｘ_CG，Ｙ_CG）の値が更新される。すなわち、（Ｘ_GO，Ｙ_GO，Ｚ_GO，ω_G，φ_G，κ_G，ｆ_G，Ｄ_2G，Ｄ_4G，Ｄ_6G，Ｎ_1G，Ｎ_2G，Ｘ_CG，Ｙ_CG）の各値は、それぞれ（Ｘ_GO＋δＸ，Ｙ_GO＋δＹ，Ｚ_GO＋δＺ，ω_G＋δω，φ_G＋δφ，κ_G＋δκ，ｆ_G＋δｆ，Ｄ_2G＋δＤ₂，Ｄ_4G＋δＤ₄，Ｄ_6G＋δＤ₆，Ｎ_1G＋δＮ₁，Ｎ_2G＋δＤ₂，Ｘ_CG＋δＸ_C，Ｙ_CG＋δＹ_C）に置き換えられカメラの位置及び内部定位が更新される。その後処理はステップＳ２０２へ戻り、ステップＳ２０４においてΦ＜所定値と判定されるまでステップＳ２０２〜ステップＳ２０６が繰り返し実行される。
【００４６】
空間後方交会法により撮影時のデジタルスチルカメラ２０の位置および傾きを示す外部標定要素（Ｘ_O，Ｙ_O，Ｚ_O，ω，φ，κ）と内部定位要素（ｆ，Ｄ₂，Ｄ₄，Ｄ₆，Ｎ₁，Ｎ₂，Ｘ_C，Ｙ_C）が算出されると、図２、４のステップＳ１０５、Ｓ１１０で測量される測点に対応する像点の画像座標は、測量された斜距離および高度角から算出された測点の測量座標と、空間後方交会法により算出された外部標定要素及び内部定位要素の値とから（１）式〜（５）式を用いて求められる。ステップＳ１０６、Ｓ１１６では、この画像座標に基づいて概観画像上の測点に対応する位置（画素）に測点を示すマークまたは測定値を表示する。また、算出された内部定位要素は例えば記録媒体４２（図１参照）に記憶される。
【００４７】
次に図７〜図９を参照して、図２、３のステップＳ１０６、Ｓ１１６における測量支援装置４０の画像表示装置４３への測点の表示方法について説明する。
【００４８】
図７は、測点表示を行なうウィンドウＷＮ０の基本となる表示状態を示したものである。ウィンドウＷＮ０の最上部のタイトルバーＴＢには、最小化ボタン、最大化ボタン、クローズボックスの３つのボタンが右隅に配置されており、タイトルバーＴＢの下にはメインメニュＭＭが配置されている。更にメインメニュＭＭの下には、複数のボタンを有するボタンメニュＢＭが配置されており、ボタンメニュＢＭの下には、テキストボックスＴＸ１〜ＴＸ８が配置されている。
【００４９】
テキストボックスＴＸ１〜ＴＸ８は、測点に関する測量データを表示するためのボックスであり、上側のテキストボックスＴＸ１〜ＴＸ４は下側のテキストボックスＴＸ５〜ＴＸ８に表示される内容の項目を表わしている。テキストボックスＴＸ５には測点名が表示され、テキストボックスＴＸ６〜ＴＸ８には、テキストボックスＴＸ５に表示された測点のＸ座標値、Ｙ座標値、Ｚ座標値等の測量データが表示される。
【００５０】
テキストボックスＴＸ５〜ＴＸ８の下には、概観画像を表示するための画像表示領域ＩＭが配置されている。画像表示領域ＩＭの右側には、概観画像を上下方向にスクロールするためのスクロールバーＳＣ１が画像表示領域ＩＭの辺に沿って配置されている。また、画像表示領域ＩＭの下側には、概観画像を左右方向にスクロールするためのスクロールバーＳＣ２が下辺に沿って配置されている。
【００５１】
画像表示領域ＩＭ内の概観画像上には、測量された測点Ｑ−１〜Ｑ−１１が例えば黒丸として表示される。しかし、複数の測点が略同一視線方向に存在する場合、各測点の概観画像上の位置が１つの画素に集中してしまい判別し難くなる。また、例えば測点Ｑ−１〜Ｑ−３のように各測点が密集する場合にも、それぞれの測点が例えば隣接、あるいは近接する画素に対応するため、各測点を判別することは困難となる。すなわち、３次元の測量データとしては、異なる値をもつ複数の測点であっても、２次元に射影された概観画像上では複数の測点（あるいは測点を表すマーク）が重なってしまい（以下このような状態を縮退と呼ぶ）、その一部が画像上から消失してしまう。
【００５２】
以上のことから、第１の実施形態では、図８のフローチャートに示される手順で縮退された測点の表示を行なう。
【００５３】
まず、ステップＳ３０１において、オペレータはポインティングデバイス（入力装置４１）を用いて画像表示領域ＩＭ内の一点（例えば一画素）を指定し、ボタンメニュＢＭの縮退ボタンＤＢをＯＮ状態とする。例えばポインティングデバイスとしては、タッチパネルとポインティングペンが用いられ、オペレータが、画像表示領域ＩＭ内の１つの画素をポインティングペンでタップすることによりその画素が選択される。その後縮退ボタンＤＢがポインティングペンでタップされるとステップＳ３０２以下の処理が実行される。
【００５４】
ステップＳ３０２では、ポインティングペンで指定・選択された画素から一定の範囲にある画素に対応する測点を検索する。ステップＳ３０３では、検索された測点名とその３次元座標値のリストを図９のようなリストボックスとして画像表示装置４３に表示する（測点に係る他の情報も合わせて表示してもよい）。３次元座標値としては、測量座標系やカメラ座標系等の座標値が用いられる。座標値の表示に用いられる座標系は、所定の操作により切換可能であり、リストに表示される測点の順序は、選択された座標系における測点の奥行き方向の座標値に応じて決定される。また、各座標系毎に別々のリストに表示することも可能である。ステップＳ３０４では、オペレータによりポインティングペンを用いてリストボックスの中から所望の測点が選択される。ステップＳ３０５では、図７の画像表示領域ＩＭにおいてステップＳ３０４で選択された測点に対応するマークのみが表示され、テキストボックスＴX５〜ＴX８には、ステップＳ３０４で選択された測点の測点名と３次元座標値が表示される。これにより、この処理は終了する。
【００５５】
なお、図９のリストボックスやテキストボックスＴX５〜ＴX８に記載された座標値は説明の便宜上記載されたものであり、画像表示領域ＩＭに示された測点の位置に幾何学的に対応するものではない。このことは、以下の各実施形態における測点の位置や座標値等の各値についても同様である。
【００５６】
以上のように、第１の実施形態によれば、複数の測点が密集あるいは同一視線方向に存在し、複数の測点が概観画像上において縮退する場合にも、縮退した領域の画素をオペレータが指定すると、その近傍に射影される測点のリストが表示されるので、測点の見落としや測量忘れなどが防止される。また、リストで選択された測点の位置が概観画像上に示され、その３次元座標値も表示されるので、概観画像上において複数の測点が縮退されている場合にも、視覚的かつ計量的に測点の位置を正確に把握することができる。
【００５７】
次に図７、図１０を参照して本発明の第２の実施形態について説明する。第２の実施形態の構成は、第１の実施形態と略同様であり、縮退された測点の表示方法のみが第１の実施形態と異なる。
【００５８】
第２の実施形態では、図７の画面において、オペレータが縮退ボタンＤＢをタップすると、画像表示領域ＩＭは、図１０のように、各測点の配置を水平面に射影して表現する。なお、各測点の水平面への射影は、測点の３次元座標に基づいて行なわれる。概観画像上では縮退している測点でも、水平面内では縮退していないので（特に複数の測点が同一視線方向にあって縮退している場合）、各測点の存在を正確に把握することが可能となる。また、水平面図において、任意の測点が指定されると、その測点の測点名と３次元座標値がテキストボックスＴＸ５〜ＴＸ８に表示される。
【００５９】
以上により第２の実施形態においても、第１の実施形態と略同様な効果が得られる。また、第２の実施形態では、測点が水平面上に表示されるので、概観画像上において縮退された測点の配置をより視覚的に把握することができる。
【００６０】
なお、水平面の換わりに任意に指定された平面（例えば鉛直面）に測点を射影して表示してもよい。
【００６１】
次に図７、図１１を参照して本発明の第３の実施形態について説明する。第３の実施形態の構成は、第１の実施形態と略同様であり、縮退された測点の表示方法のみが第１の実施形態と異なる。
【００６２】
第３の実施形態では、オペレータは図７の画面において縮退された測点を含む領域を例えばポインティングペンを用いて指定する。指定される領域は、例えば四辺形や円形である。図１１には、指定される領域が四辺形の場合を示している。例えばオペレータがポインティングペンを用いて画像表示領域ＩＭ内の２点を指定するとこの２点を対角線とする四辺形領域Ａが画定される。
【００６３】
縮退された測点（例えば白丸で表示）を含む領域Ａが画定されるとその領域を囲む枠が表示される。その後縮退ボタンＤＢがタップされると、スクロールバーＳＣ２の下に領域Ａを拡大して表示するダイアログボックスＤＧ１が現れる。ダイアログボックスＤＧ１の拡大画像内において測点が選択されると、その測点の表示が他の測点とは異なる表示に変更される。これと連動して、テキストボックスＴＸ５〜ＴＸ８には選択された測点の測点名と３次元座標値が表示され、画像表示領域ＩＭの概観画像の対応する測点の表示も変更される（例えば白丸内に黒丸を表示）。
【００６４】
以上のように、第３の実施形態によれば、第１の実施形態と略同様の効果を得ることができる。また、第３の実施形態では、指定された領域が拡大表示されるので実空間において測点が密集している場合などにも有効である。
【００６５】
なお、枠により画定された領域Ａはドラッグできるようにしてもよい。また、第１の実施形態のように指定された画素の周りの所定の範囲を拡大してもよく、この場合領域を画定する枠はなくともよい。
【００６６】
次に図７、図１２を参照して本発明の第４の実施形態について説明する。第４の実施形態の構成は、第３の実施形態と略同様であり、縮退された測点の表示方法のみが第１の実施形態と異なる。
【００６７】
第３の実施形態では、領域Ａを指定した後縮退ボタンＤＢをＯＮすると、領域Ａの拡大画像を表示するダイアログボックスＤＧ１が現れたが、第４の実施形態では、領域Ａを指定して縮退ボタンＤＢをＯＮすると、第３の実施形態のダイアログボックスＤＧ１の位置にダイアログボックスＤＧ２が表示される。ダイアログボックスＤＧ２には、指定された領域Ａ内に存在する測点を画像の奥行き方向の距離（座標値）に応じてバーグラフＢＧでその位置を表わす。バーグラフＢＧの上側には、バーに沿って、奥行き方向の距離（例えば５ｍ、６ｍ等）が表示される。バーグラフＢＧ内には、領域Ａ内に存在する測点に対応するボックス状のマーク（例えばＭ１、Ｍ２、Ｍ３）が表示される。バーグラフＢＧの下側には、バーグラフＢＧ内に表示された測点のマークＭ１、Ｍ２、Ｍ３に対して、それぞれの測点の測点名（例えばＱ−１、Ｑ−２、Ｑ−３）が表示される。
【００６８】
バーグラフＢＧ内の斜線で示された領域は、ダイアログボックスＤＧ２の表示の対象となる奥行き方向の範囲を示している。すなわち、バーグラフＢＧ内には、奥行き方向の座標値が斜線で示された範囲内にある測点のみが表示される。この範囲（斜線領域）は、例えばバーグラフＢＧの下に配置されたスクロールバーＳＣ３により設定される。図１２では、表示の対象となる範囲（斜線領域）の上限をスクロールバーＳＣ３で指定しているが、範囲の下限を指定してもよい。なお、テキストボックス等での数値入力により、表示の対象となる範囲（斜線領域）の上限・下限を指定することも可能である。また、バーグラフＢＧが参照するスケールを拡大／縮小可能としてもよい。すなわち、図１２では、略５ｍ弱〜８ｍ強の範囲がバーグラフＢＧとして表示されているが、これを例えば６ｍ〜７ｍの範囲に拡大表示してもよい。
【００６９】
バーグラフＢＧに表示されたマークの中から所望の測点（例えばＱ−３）に対応するマーク（例えばＭ２）を選択すると、そのマーク（Ｍ２）の表示が他のマーク（Ｍ１、Ｍ３）とは異なる表示に変更される（本実施形態では、白抜きのボックス中央に横棒が追加される）。また、これに連動して、テキストボックスＴＸ５〜ＴＸ８には選択された測点の測点名と３次元座標値が表示され、画像表示領域ＩＭに表示された概観画像の対応する測点の表示も変更される。
【００７０】
以上のように、第４の実施形態においても、第１の実施形態と略同様の効果を得ることができる。
【００７１】
次に図７、図１３及び図１４を参照して第５の実施形態について説明する。第５の実施形態の構成は、第１〜第４の実施形態と略同様であり、縮退された測点の表示方法のみが第１の実施形態と異なる。
【００７２】
第５の実施形態では、画像表示領域ＩＭの概観画像上において測点の縮退を明示的に表示する方法を提供する。例えば図７の画面において、縮退ボタンＤＢがオンされると、画像表示領域ＩＭの概観画像が、図１３に示されるように変更される。
【００７３】
測点は、画像の奥行き方向の座標値に対応した径を持つ円で表される。例えば、測点を表わす円の直径は測点の奥行き方向の座標値の大きさに比例して大きく、又は小さくなり、２つ以上の円が重なる場合には、図１３に示されるように径の小さい円が径の大きい円の上に張付けられて表示される。また、同一視線上に複数の測点が存在する場合には、図１４のように、複数の同心円によって表わされる。例えば、第１の実施形態のようにオペレータが概観画像上の縮退した領域付近の画素を選択すると、選択された画素から所定の画素範囲にある測点が検索されシステムコントロール回路４４内のメモリに保持されるとともに、例えば最もカメラに近い測点が選択される。すなわち、テキストボックスＴＸ５〜ＴＸ８には指定領域の内のカメラに最も近い測点の測点名と３次元座標値が表示される。オペレータが更に選択した領域の画素をタップすると、メモリに保持された測点の中から順次遠方の測点が選択されテキストボックスＴＸ５〜ＴＸ８に表示される。この処理は循環的に行なわれ、選択が最も遠方の測点に達すると、次にタップされたときには、最も近い測点が再び選択される。
【００７４】
次に第５の実施形態に対する変形例について図１５、図１６を参照して説明する。図１５の表示では、縮退により複数の円が重なっている場合には、円を異なる色で塗りつぶし、複数の測点が同一視線方向にある場合には、図１６のような表示となる。このとき、円を塗りつぶす色は、例えば所定のグラディエーションで行なわれ、例えば、測点の奥行き方向の座標値に対応して遠い測点ほど暗い色で表示する。なお、その他の点に関しては、第５の実施形態の説明と同様である。
【００７５】
以上のように、本発明の第５の実施形態においても第１〜第４の実施形態と略同様の効果を得ることができる。また、第５の実施形態では、概観画像上において縮退領域が明示的に示されるので、オペレータは、より簡単に測点の縮退位置を概観画像上で確認することが可能となる。また、変形例では、それぞれの円が異なる色で表示されるので、それぞれの測点をより容易に識別することが可能となる。
【００７６】
なお、第５の実施形態においては、メモリに保持された測点が順次繰り返し選択されたが、ポインティングペン等のポインティングデバイスで個々の円を選択可能な場合には、ポインティングデバイスを用いてオペレータが直接所望の測点を選択してもよい。
【００７７】
次に図１７を参照して本発明の第６の実施形態について説明する。第６の実施形態は、第５の実施形態と略同様であり、図１７は第５の実施形態の図１３又は図１５に対応する。第５の実施形態では、大きさの異なる円を用いて縮退している複数の測点を概観画像上に表わしたが、第６の実施形態では、異なる形状の図形を用いて縮退した状態を表わしている。例えば図１７に示すように、第６の実施形態では、縮退していない測点（単点）は円で表わし、２つの測点が近接し、そのマークが重なる（縮退する）場合には、×印を表示し、３つ以上の測点が縮退する場合には、縮退した測点の数に対応した頂点を持つ正多角形を表示する。多角形の各頂点はその領域で縮退した各測点に対応しており、オペレータがポインティングデバイスを用いて所望の頂点を指定すると、その頂点に対応した測点に対応する測点名と３次元座標値がテキストボックスＴＸ５〜ＴＸ８に表示される。また、各辺の位置に測点の位置を対応（上側から時計周りに各辺を、近距離側からの測点に対応させ、辺選択により測点番号、３次元座標を表示）させてもよい。なお、図１７は、本実施形態における表示方法を例示すものであり図７の測点の数とは一致しない。
【００７８】
図１８は、第６の実施形態の表示方法の変形例である。図１７では、異なる図形を用いて縮退した測点を概観画像上に表わしたが、変形例では、図１８のように、縮退している測点を代表する位置（例えば測点の２次元座標値の平均値に対応する位置）を円形で表わし、その円形に縮退した測点の数に対応する引出線を設け、その端に縮退している各測点名を表示する。オペレータが引出線の何れかを指定すると、その測点の測点名と３次元座標値がテキストボックスＴＸ５〜ＴＸ８に表示される。また、代表する位置で表示された測点の表示は、選択された時点で選択された測点の表示に変更してもよい。また、単点（縮退していない測点）は測点名を表示させてもよいし、させなくてもよい。
【００７９】
以上により、第６の実施形態においても、第５の実施形態と略同様の効果を得ることができる。
【００８０】
次に図１９、図２０を参照して本発明の第７の実施形態について説明する。第７の実施形態では、縮退ボタンＤＢがタップされると、図１９のように概観画像上の測点と測点の間の距離が所定の範囲内にあり、複数の測点が例えば縮退した１つのクラスターと判定される場合に、例えば縮退した複数の測点の中心位置に、縮退した測点の数に対応する大きさのマーク（例えば円）を表示する。なお、縮退の有無に基づいて２種類の大きさのマークを表示しても良い。また、変形例としては、図２０のように、縮退している位置に表示するマークの色と、縮退していない測点のマークの色とを異なる色で表示する。図２０では縮退している部分を複数の点で表示しているが、変形例では、縮退している測点を代表する位置（例えば測点の２次元座標値の平均値に対応する位置）を１つの円形で表わしてもよい。（図示せず）また、別の変形例としては、測点の近くに測点名を表示する場合に、表示名の違いにより単点と縮退点（複数の測点が縮退している点）を区別してもよい。例えば単点はｍ₁〜ｍ_n、縮退点はＭ₁〜Ｍ_n（番号は測点番号）などのように、小文字と大文字とで単点と縮退点を区別することも可能である。
【００８１】
以上により第７の実施形態においても、第６の実施形態と略同様の効果を得ることができる。
【００８２】
なお、本実施形態では、概観画像上においてポインティングデバイスを用いて任意に基準点を指定したが、撮影範囲内に例えば寸法が既知の基準尺や、任意に配置できる基準マーク等を配置し、これらを基準点として外部標定要素を求めてもよい。この場合、概観画像上において基準尺や基準マークの位置がポインティングデバイス等を用いて選択される。また基準尺や基準マークが用いられる場合には、例えば画像処理を用いて基準点の概観画像上の位置を自動的に検出してもよい。
【００８３】
本実施形態では、測量機として斜距離と（高度、水平）角度を測定可能なトータルステーションをあげたが、セオドライトに光波測距儀等組み合わせた装置等の所定の座標系における測点の３次元座標を算出可能な測量機であれば他の測量機であってもよく、例えばＧＰＳ（global positioning system）等を利用した測量機であってもよい。また、測量機において測定される角度は、高度角、水平角以外の角度であってもよく、例えば斜平面内の２点の間の角度であってもよい。
【００８４】
本実施形態では携帯端末を例に説明を行なったが、このような機能を測量機やデジタルカメラに一体的に持たせてもよい。また、本実施形態においては、デジタルスチルカメラで撮影したデジタル画像で説明したが、デジタル画像得られるものであればビデオカメラ等でもかまわない。
【００８５】
なお、第１の実施形態において、指定された画素近傍の領域に複数の測点が縮退していると判定された場合、測点のリストを表示する替わりに警告音や、測点が縮退していることを知らせるメッセージを表示してもよい。また、第１〜第６の実施形態の各表示方法を様々に組み合わすことも可能である。
【００８６】
本実施形態では、測点に関わる測量情報は測量機を用いて測量された例で説明したが、測点として、既知の地理データや、測設測量のための測設点の位置情報、入力手段により概観画像上で任意に決めた測定設定点を表示させた場合に発生した縮退に使用してもよい。また測量機で測定した測点及び上記各点を混合して表示した場合に発生した縮退に使用してもよい。
【００８７】
但し、座標系の違う測量情報を使用する場合には測量情報を座標変換により1つの座標系に統一して行なうことがよい。これは、測点を概観画像上に表示する場合や基準点の測量情報により対応づけを行なう場合も同様である。（例えば、座標系の違う測点を表示させる場合。例えば基準点として、一部所与の測量デ−タを使用する場合などは測量現場での測量座標と違う場合があり、その場合には所与の測量デ−タを座標変換して測量現場の座標値に変換して使用する。又逆を行ってもよい）
【００８８】
本実施形態では、デジタルスチルカメラ位置からの距離により、測点表示の大きさ、色等を変更したが、測量機からの距離に応じて変更してもよい。また任意座標値での値に変換してもよい。
【００８９】
【発明の効果】
以上のように、本発明によれば、測量機で得られる測量情報をカメラで得られる測量現場の画像情報に簡便かつ効率的に関連付けるとともに、関連付けられた測量情報に関して視認性の高い表示を行なうことができる。
【図面の簡単な説明】
【図１】本発明における第１の実施形態である測量システムの構成を概略的に示すブロック図である。
【図２】第１の実施形態の測量システムにおける測量手順を示すフローチャートである。
【図３】第１の実施形態の測量システムにおける測量機およびカメラの配置を概念的に示す図である。
【図４】第１の実施形態の測量システムにおける測量手順の変形例を示すフローチャートである。
【図５】３つの基準点Ｐ₁、Ｐ₂、Ｐ₃と撮像面Ｓにおける像点Ｐ₁’、Ｐ₂’、Ｐ₃’との関係を模式的に示す図である。
【図６】デジタルスチルカメラの位置および傾きを表す外部標定要素（Ｘ_O，Ｙ_O，Ｚ_O，ω，φ，κ）及びカメラの内部定位要素（ｆ，Ｄ₂，Ｄ₄，Ｄ₆，Ｎ₁，Ｎ₂，Ｘ_C，Ｙ_C）を算出する空間後方交会法のプログラムのフローチャートである。
【図７】概観画像を表示するウィンドウの基本的な表示例である。
【図８】第１の実施形態において縮退された測点の表示を行なうときの作業手順を示すフローチャートである。
【図９】第１の実施形態の縮退表示における測点のリスト表示である。
【図１０】第２の実施形態の縮退表示における測点の水平面表示である。
【図１１】第３の実施形態において縮退部を拡大表示するウィンドウである。
【図１２】第４の実施形態における縮退表示を行なうウィンドウである。
【図１３】第５の実施形態において概観画像上に縮退表示を行なったときのウィンドウの一例である。
【図１４】図１３において、測点が同一視線上に存在するときの測点マークの表示例である。
【図１５】第５の実施形態の変形例において概観画像上に縮退表示を行なったときのウィンドウの一例である。
【図１６】図１５において、測点が同一視線上に存在するときの測点マークの表示例である。
【図１７】第６の実施形態において概観画像上に縮退表示を行なったときのウィンドウの一例である。
【図１８】第６の実施形態の縮退した測点の表示方法の変形例である。
【図１９】第７の実施形態において概観画像上に縮退表示を行なったときのウィンドウの一例である。
【図２０】第７の実施形態の縮退した測点の表示方法の変形例である。
【符号の説明】
１０測量機
２０デジタルスチルカメラ
４０測量支援装置（携帯端末）
４１入力装置
４２記録媒体
４３画像表示装置
４４システムコントロール回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a surveying system that involves processing surveying information.
[0002]
[Prior art]
In conventional surveying, a surrounding landscape including a point to be surveyed (measuring point) is photographed, and the photographed image is stored together with measurement data. In such a case, for example, a method of recording a rough landscape around the survey target using a normal camera, a method of photographing the surrounding landscape for each survey point using an imaging device built in the surveying instrument, etc. Is known (see, for example, Patent Document 1).
[0003]
[Patent Document 1]
JP 11-337336 A
[0004]
[Problems to be solved by the invention]
However, when shooting using a normal camera, the position of the station is not displayed on the captured image, so it is impossible to know which position on the image the station corresponds to. On the other hand, the method described in Patent Document 1 requires a large-capacity recording apparatus because one or more images are recorded at each measurement point, and handling thereof is complicated.
[0005]
An object of the present invention is to easily and efficiently associate surveying information obtained by a surveying instrument with image information on a surveying site obtained by a camera, and to perform display with high visibility regarding the associated surveying information.
[0006]
[Means for Solving the Problems]
The survey system of the present invention includes a positional relationship calculation means for calculating a positional relationship between a coordinate system based on surveying information of a survey point and an overview image of a surveying site including the survey point, Corresponding means for associating survey information with position information relating to the position on the overview image corresponding to the measurement point, image display means for displaying the overview image, and measurement information based on the correspondence between the survey information and the position information of the overview image. A point display means for displaying the position of the point on the overview image displayed by the image display means, and a plurality of points that are reduced on the overview image displayed by the image display means, Degeneration notification means for notifying the position of a point is provided.
[0007]
The surveying system includes surveying means for obtaining survey information of a survey point, for example, and the positional relationship is, for example, three or more arbitrarily set reference points (hereinafter referred to as arbitrary set points used for calculating the positional relationship). (Represented as a reference point) and the relationship between the position of the reference point on the overview image. As a result, there is no need to provide a separate sensor or the like to specify the position of the camera, and there is no need to measure the internal localization element of the camera using a jig or the like. It is possible to know the correspondence between the surveying means and the overview image with high accuracy simply and at low cost.
[0008]
The surveying system preferably includes an input unit for designating a position on the image in the image display unit, and the position of the reference point is preferably determined by designating an arbitrary position on the overview image by the input unit. Thereby, for example, the surveying means can obtain the positional relationship using the survey information of the arbitrarily designated reference point.
[0009]
Still further, the three-dimensional survey information of the reference point is given geographic data, for example. In this case, by specifying a given point as a reference point in the Geographical Survey Institute's triangular point or commercially available map data, the positional relationship between the coordinate system and the overview image and the camera can be obtained without using a surveying instrument. Can be calculated. Moreover, you may mix and use the value measured with the surveying instrument.
[0010]
The positional relationship between the coordinate system and the overview image is preferably represented by an external orientation element that represents the position and inclination of the camera at the time of capturing the overview image with respect to the coordinate system. Scoring point data for or for given geographic data may be included. Moreover, it is preferable that the surveying system includes a data recording unit capable of recording the surveying information related to the survey point and the image data of the overview image in association with each other. The surveying system includes a digital camera for taking an overview image, for example.
[0011]
The degeneration notification means preferably performs display for notifying that the measurement point is degenerated at a position where the degenerated measurement point is displayed on the overview image. At this time, the degeneration notification means, for example, changes the color of the mark representing the position of the station based on the presence or absence of degeneration, or a mark having a size corresponding to the coordinate value in the depth direction with respect to the overview image of the station Or by using a mark with a color corresponding to the coordinate value in the depth direction for the overview image of the station, or by changing the shape of the mark representing the position of the station based on the presence or absence of degeneration This indicates a measurement point that is present, and thereby displays a notification of degeneration. Thereby, the operator can recognize the visually reduced point on the overview image, and can easily determine the reduced point.
[0012]
When changing the shape of a mark representing the position of a station based on the presence or absence of degeneration, for example, a leader line corresponding to the number of degenerated stations is provided at a position representative of the station where the mark is degenerated. Each station name that is degenerated may be displayed at the end of the leader line. Further, the mark shape may be made to correspond to the number of degenerating points. For example, when the number of degenerate stations is 3 or more, a polygon corresponding to the number of stations may be used as a mark. Thereby, the number of degenerate stations can be grasped quantitatively. In addition, for example, the degeneration notification means performs a display for notifying degeneration by changing the size of the mark indicating the position of the measurement point based on the presence or absence of degeneration, and the size of the mark is reduced, for example, It is also possible to correspond to the number of.
[0013]
For example, when an area including a degenerated station is specified by the input unit, the degeneration notification unit displays information related to the station included in this area. At this time, the information related to the station is, for example, a list of station names and survey information of the stations in the area. For example, the information related to the measurement point is image information obtained by enlarging the area. Thereby, it becomes possible to refer to more detailed information of the degenerated station. Further, for example, the information related to the measurement points is displayed on the bar graph corresponding to the coordinate values in the depth direction with respect to the coordinate values in the depth direction with respect to the overview image of the measurement points in the region. According to this method, when a measuring point exists on the same line of sight, detailed information relating to the measuring point can be obtained visually.
[0014]
In addition, for example, the degeneration notification means displays the measurement points displayed on the overview image as a plan view projected onto a predetermined plane, and this plane is preferably a horizontal plane. According to this display method, the spatial arrangement of each measurement point can be grasped more easily.
[0015]
The survey support apparatus of the present invention includes a positional relationship calculation means for calculating a positional relationship between a coordinate system based on surveying information of a survey point and an overview image of a survey site including the survey point, and based on this positional relationship, Corresponding means for associating point survey information with position information related to the position on the overview image corresponding to the survey point, image display means for displaying the overview image, and correspondence between survey information and position information of the overview image On the basis of the station display means for displaying the position of the station on the overview image displayed by the image display means, and the plurality of stations on the overview image displayed by the image display means, It is characterized by comprising degeneration notification means for informing the position of the degenerated measurement point.
[0016]
In addition, the survey support program of the present invention calculates the positional relationship between the coordinate system based on the survey information of the survey point on the computer and the overview image of the survey site including the survey point, and measures from this positional relationship. The procedure for associating the survey information of a point with the location information related to the position on the overview image corresponding to the survey point, the procedure for displaying the overview image, and the correspondence between the survey information and the location information of the overview image The procedure for displaying the position on the overview image displayed by the image display means and the position of the degenerated station when a plurality of stations are degenerated on the overview image displayed by the image display means It is characterized by having the procedure to perform.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing an outline of a surveying system using a surveying instrument and a camera according to an embodiment of the present invention.
[0018]
The surveying instrument 10 is a total station, for example, and includes a distance measuring unit 11 and an angle measuring unit 12. The distance measuring unit 11 detects an oblique distance to the collimated measuring point by, for example, light wave ranging, and the angle measuring unit 12 detects a horizontal angle, an altitude angle, and the like at this time. The distance measuring unit 11 and the angle measuring unit 12 are each connected to a system control circuit 13 and controlled based on a command from the system control circuit 13. For example, the distance measuring unit 11 performs distance measurement based on a command from the system control circuit 13 and sends the measured value to the system control circuit 13. On the other hand, the angle measuring unit 12 always measures the angle and sends a measured value to the system control circuit 13 in response to a request from the system control circuit 13. Measurement values such as the detected oblique distance, horizontal angle, and altitude angle are processed by the system control circuit 13. An interface circuit 16 is connected to the system control circuit 13, and the interface circuit 16 is connected to a survey support device 40 such as a notebook personal computer (PC) or a portable terminal (PDA) via an interface cable. The oblique distance, horizontal angle, altitude angle, etc. detected by the distance unit 11 and the angle measuring unit 12 are transferred as survey information. The interface circuit 16 can also be connected to peripheral devices such as a data collector (not shown). When a portable terminal is used as the survey support device 40, survey information (survey data) may be transferred using radio waves or optical communication.
[0019]
The digital still camera 20 is, for example, a commercially available digital still camera. The digital still camera 20 is provided with an imaging element 21 such as a CCD, and can capture an image of a subject via an imaging lens 22. That is, the image of the subject is detected as an image signal by the image sensor 21 and output to the image signal processing circuit 23. The image signal processing circuit 23 performs predetermined image processing such as RGB gain correction, white balance correction, gamma correction and superimpose on the input image signal. The image signal subjected to the image processing is sent to, for example, a display unit (for example, LCD) 24 and displayed as a see-through image. When a shutter button (not shown) provided in the switch group 29 connected to the system control circuit 26 is pressed, the subject image is temporarily stored in the image memory 25 as a digital image.
[0020]
The digital image stored in the image memory 25 can be displayed on the display unit 24 via the image signal processing circuit 23 and can be recorded on a recording medium via the system control circuit 26. The image recorded on the recording medium 27 can be displayed on the display unit 24 by the system control circuit 26. The digital still camera 20 is connected to the survey support device 40 via the interface circuit 28, and the captured image is transferred to the survey support device 40 as image data.
[0021]
The survey support device 40 includes, for example, an input device 41, a recording medium 42, an image display device 43, and the like centering on a system control circuit 44. As the input device 41, for example, a keyboard, a mouse, a cross key, a trackball, a joystick, a touch screen, or the like is used. An LCD, a CRT, or the like is used as the image display device 43, and an arbitrary position on the screen can be designated using the input device 41. As the recording medium 42, for example, a hard disk, a DVD, an MO, an IC card, or the like can be used. For example, survey data transferred to the survey support device 40 or image data of an overview image can be recorded.
[0022]
The survey support device 40 also includes an interface circuit and the like, but the description thereof is omitted. In the survey support apparatus 40, a survey support program (described later) installed in the recording medium 42 is executed.
[0023]
Next, the point display processing in the surveying system of the first embodiment will be described with reference to FIGS. FIG. 2 is a flowchart showing a surveying procedure in the surveying system of the first embodiment, and FIG. 3 is a diagram conceptually showing the arrangement of surveying instruments and cameras in the surveying system of the first embodiment.
[0024]
First, in step S <b> 101, the operator takes an overview of the surveying site using the digital still camera (DSC) 20. One photographed digital image (overview image) includes a plurality of measurement points to be surveyed. In step S <b> 102, the image data of the captured overview image is transferred to the survey support device 40 and displayed on the image display device 43. In the overview image displayed on the image display device 43, a plurality of points (pixels) arranged three-dimensionally in the real space are selected by the operator using the input device 41, and correspond to the selected pixels. The object point in the real space is the reference point P _i (I = 1, 2,..., N). Each reference point P specified at this time _i Image point P on the imaging surface corresponding to _i 'Is a two-dimensional image coordinate (xp _i ', Yp _i ') As required. The image coordinate system is a two-dimensional coordinate system in which the y-axis downward direction is positive with the upper left corner of the image as the origin. The number n of reference points is, for example, a number of 11 or more arranged three-dimensionally.
[0025]
In step S103, each reference point P specified in step S102. _i Are measured by the operator using the surveying instrument 10, and the measured values are transmitted to the system control circuit 44 of the surveying support apparatus 40 via the interface. In the system control circuit 44, each reference point P _i 3D coordinates (Xp _i , Yp _i , Zp _i ) Is calculated in a predetermined survey coordinate system. At this time, each reference point P _i Survey coordinates (Xp _i , Yp _i , Zp _i ) Are image points P respectively. _i 'Image coordinates (xp _i ', Yp _i '). As the survey coordinate system, for example, the rotation angle of the altitude angle and horizontal angle of the collimating telescope 10a (see FIG. 3) provided in the survey instrument 10 may be used as the origin, or specified by the Geospatial Information Authority of Japan. Absolute coordinates may be used. Moreover, you may use the coordinate arbitrarily set in the surveying field. Alternatively, the surveying instrument may perform survey coordinate calculation, and the value may be transmitted to the system control circuit 26 of the digital camera 20.
[0026]
In step S104, as will be described later, each reference point P _i From the correspondence between the survey coordinates and the image coordinates with respect to the external orientation element indicating the position and inclination of the digital still camera 20 when the overview image is taken, and the collinear conditions due to the lens distortion and the eccentricity of the principal point from the image center An internal localization element for correcting the deviation is calculated by, for example, a spatial backward intersection method. That is, the position of the origin of the three-dimensional camera coordinate system fixed to the digital still camera 20 in the survey coordinate system (X _O , Y _O , Z _O ) And rotation angles (ω, φ, κ) around the x-axis, y-axis, and z-axis of the camera coordinate system at the time of shooting are obtained as external orientation elements and the camera's internal localization elements (f: from the lens projection center) Distance to image plane (image distance); D ₂ , D _Four , D ₆ : Distortion second-order, fourth-order, sixth-order components; N ₁ , N ₂ : Asymmetric component of distortion; X _C , Y _C : The amount of eccentricity of the principal point from the image center). Thereby, the projective relationship between the image coordinates and the survey coordinates is established. Note that the internal localization element is the above (f, D ₂ , D _Four , D ₆ , N ₁ , N ₂ , X _C , Y _C ), The number of reference points required to calculate the external orientation element and the internal localization element is 7 or more. Of these, the external orientation element (X _O , Y _O , Z _O , Ω, φ, κ), the number of reference points required to calculate 3 or more. In the present embodiment, 11 points (or more) are designated as reference points for performing external orientation and internal orientation.
[0027]
The camera coordinate system is a left-handed coordinate system with the lens center (projection center) O as the origin, and its z-axis and y-axis are parallel to the s′-axis and t′-axis of the screen coordinate system, and the x-axis is the imaging plane. , And perpendicular to the image plane. That is, the point on the imaging surface is represented by (−f, y, z). Here, the screen coordinate system is a two-dimensional coordinate system on the imaging surface with the principal point as the origin, and the s ′ axis corresponds to the horizontal line direction of the image sensor 21 and the t ′ axis corresponds to the vertical line direction.
[0028]
In step S105, the operator uses the surveying instrument 10 to measure the point Q. ₁ Survey. The measurement value is transmitted to the survey support device 40 via the interface. At this time, the system control circuit 44 of the surveying support apparatus 40 has a measuring point Q. ₁ The survey coordinates are calculated. In step S106, the calculated station Q ₁ Survey coordinates and the external orientation element (X _O , Y _O , Z _O , Ω, φ, κ) and internal localization elements (f, D ₂ , D _Four , D ₆ , N ₁ , N ₂ , X _C , Y _C ) Based on Q ₁ Image point Q corresponding to ₁ Image coordinates Q on the overview image of ' ₁ '(Xq ₁ ', Yq ₁ ') And image coordinates Q ₁ '(Xq ₁ ', Yq ₁ Station Q at the position corresponding to ') ₁ Mark (may also display a station number such as P1, P2,...) Or a measured value is superimposed and displayed on the image display device 43 of the survey support device 40.
[0029]
When the surveying is continued in step S107, the processing from step S105 onward is repeatedly executed. For example, the surveying point Q is measured using the surveying instrument 10. ₂ , Q _Three Is surveyed, the overview image displayed on the image display device 43 of the survey support device 40 includes a survey point Q. ₂ , Q _Three Image point Q ₂ ', Q _Three Station Q at each position corresponding to ' ₂ , Q _Three Is displayed. On the other hand, when the surveying is finished, in step S108, the image data of the overview image, the internal localization element of the camera, the external localization element, the image point Q ₁ ', Q ₂ ', Q _Three 'Image coordinates (position information indicating the position on the overview image, for example, data indicating the pixel position), measurement point Q ₁ , Q ₂ , Q _Three Survey data (survey information) such as the oblique distance, altitude angle, horizontal angle, or survey coordinates is recorded in association with each other, and the survey point display process using the survey system of this embodiment is completed. Note that the image data of the overview image, the image coordinate data (or data indicating the pixel position) corresponding to the survey point, the survey data, etc. may be recorded in separate files, or may be recorded in the same file. Good.
[0030]
Moreover, with reference to FIG. 4, the modification of the survey point display process in the surveying system of 1st Embodiment is demonstrated. FIG. 4 is a flowchart of the surveying procedure in this modification.
[0031]
In the surveying procedure of FIG. 2, after calculating the position and inclination of the digital still camera 20 with respect to the surveying coordinate system by the spatial backward intersection method (S104), surveying of each surveying point is performed, and the surveying point is displayed on the overview image each time. did. On the other hand, in the modification shown in the flow of FIG. 4, the position and inclination of the digital still camera 20 with respect to the survey coordinate system are calculated after the survey of the survey points by the surveying instrument 10, and then the positions of all the survey points are determined. Displayed on the overview image all at once.
[0032]
That is, in steps S110 and S111, the surveying instrument 10 is used to continuously measure a plurality of measurement points. When the surveying of the survey point is completed, an overview image of the survey site including the survey point measured in step S110 is taken using the digital still camera 20 in step S112. In step S113, 11 measurement points (pixels) out of the measurement points displayed on the overview image are set to the reference point P. _i Is designated by the operator using the input device 41. In step S114, the reference point P specified in step S113. _i 3D coordinates (Xp) of the station corresponding to _i , Yp _i , Zp _i For example, by an operator.
[0033]
In step S115, the reference point P _i Based on the association in step S114, the position and tilt of the digital still camera 20 and the internal localization element are calculated in the same manner as in step S104 of FIG. In step S116, using the external orientation element and the internal localization element calculated in step S115, image coordinates on the overview image for all the measurement points measured in step S110 are obtained, and the positions are indicated on the overview image. The mark or measurement value is superimposed and displayed on the image display device 43. In step S117, each data is recorded on the recording medium 42 similarly to step S108. Thus, surveying in the modification is completed.
[0034]
In FIGS. 2 and 4, the surveying site is photographed in steps S101 and S112. However, an overview image photographed in the past may be used. Furthermore, it may be a system in which photographing and surveying are performed simultaneously. This can be performed, for example, by adopting a method in which the surveying start switch in the switch group 14 and the DSC photographing switch in the switch group 29 are linked. Alternatively, steps S101 to S104 may be performed in advance, and steps S105 to S108 may be performed at a later date. In this case, the surveying instrument is installed at the same position. Further, as in the flow shown in FIG. 4, the surveying in step S110 may be performed first, and the fusion with the image may be performed later. Further, the surveyed data or known geographic data (triangular point of Geographical Survey Institute, geographic data of commercially available map, etc.) may be used without performing the survey in step S110.
[0035]
Next, referring to FIG. 5 and FIG. 6, the calculation method of the external orientation element and the internal localization element by the spatial rearward intersection method of the digital still camera 20 in the present embodiment (steps S104 and S115), and the overview image of the station are displayed. The principle of the display method (steps S106 and S116) will be described.
[0036]
FIG. 5 shows three reference points P ₁ , P ₂ , P _Three And the image point P on these imaging surfaces S ₁ ', P ₂ ', P _Three The relationship with 'is shown schematically. FIG. 6 is an external orientation element (X) representing the position and tilt of the digital still camera 20 in steps S104 and S115 of FIGS. _O , Y _O , Z _O , Ω, φ, κ) and the camera's internal localization elements (f, D ₂ , D _Four , D ₆ , N ₁ , N ₂ , X _C , Y _C ) Is calculated by a sequential approximation method using a least-squares method. In the present embodiment, as described above, the number of reference points may be any number as long as it is 7 points or more, but here, a case where 11 reference points are designated will be described as an example. FIG. 5 shows three points P among them. ₁ , P ₂ , P _Three Only shown.
[0037]
First, in step S201, an external orientation element (X _O , Y _O , Z _O , Ω, φ, κ) and internal localization elements (f, D ₂ , D _Four , D ₆ , N ₁ , N ₂ , X _C , Y _C ) To an appropriate initial value (X _GO , Y _GO , Z _GO , Ω _G , Φ _G , Κ _G ) And (f _G , D _2G , D _4G , D _6G , N _1G , N _2G , X _CG , Y _CG )give. Next, in step S202, the given external orientation element (X _GO , Y _GO , Z _GO , Ω _G , Φ _G , Κ _G ) And internal localization elements (f _G , D _2G , D _4G , D _6G , N _1G , N _2G , X _CG , Y _CG ) To use 11 reference points P _i Survey coordinates (Xp) (i = 1, 2,..., 11) _i , Yp _i , Zp _i ) To each reference point P _i Image point P corresponding to _i 'Approximate image coordinates (xp _Gi ', Yp _Gi ') Is calculated.
[0038]
That is, the reference point P _i (I = 1, 2,..., 11) in the camera coordinate system (xp _i , Yp _i , Zp _i ) Is the coordinate in the survey coordinate system (Xp _i , Yp _i , Zp _i ) From the following equation (1), so that the approximate external orientation element (X _GO , Y _GO , Z _GO , Ω _G , Φ _G , Κ _G ) And reference point P _i Survey coordinates (Xp _i , Yp _i , Zp _i ) Is substituted into the equation (1) to obtain the reference point P _i Approximate camera coordinates (xp _Gi , Yp _Gi , Zp _Gi ).
[Expression 1]

Where matrix {T _jk } Is a rotation matrix and each component T _jk Is represented by the following equation, for example.
T ₁₁ = Cosφ ・ cosκ
T ₁₂ = Cosω ・ sinκ + sinω ・ sinφ ・ cosκ
T ₁₃ = Sinω · sinκ-cosω · sinφ · cosκ
T _{twenty one} = -Cosφ · sinκ
T _{twenty two} = Cosω ・ cosκ−sinω ・ sinφ ・ sinκ
T _{twenty three} = Sinω ・ cosκ + cosω ・ sinφ ・ sinκ
T ₃₁ = Sinφ
T ₃₂ = -Sinω ・ cosφ
T ₃₃ = Cosω ・ cosφ
[0039]
Reference point P _i Image point P corresponding to _i Screen coordinates before correction by the internal localization element of '(sp _i ', Tp _i ') Indicates the external orientation element (X _O , Y _O , Z _O , Ω, φ, κ) and the reference point P _i Camera coordinates (xp _i , Yp _i , Zp _i ) Using the following equation (2).
[Expression 2]

[0040]
Screen coordinates before correction (sp _i ', Tp _i ') Is affected by distortion and the like, but these are expressed by the equation (3) as P of each image point. _i 'Screen coordinates (sp _i ', Tp _i ') And approximate internal localization element (f _G , D _2G , D _4G , D _6G , N _1G , N _2G , X _CG , Y _CG ) Is substituted. That is, approximate screen coordinates (scp) after correction according to equation (3). _i ', Tcp _i ') Is calculated.
[Equation 3]

[0041]
Image point P _i 'Approximate image coordinates (xp _Gi ', Yp _Gi ') Is the corrected approximate screen coordinates (scp) _Gi ', Tcp _Gi It is obtained by substituting ') into the following equation (4).
[Expression 4]

Here, Px and Py are the pixel pitches in the horizontal and vertical directions of the CCD, respectively, and W and H are the numbers of pixels in the horizontal and vertical directions of the image, respectively.
[0042]
In step S203, the external orientation element (X _GO , Y _GO , Z _GO , Ω _G , Φ _G , Κ _G ) And internal localization elements (f _G , D _2G , D _4G , D _6G , N _1G , N _2G , X _CG , Y _CG The merit function Φ for determining whether or not the value of) is appropriate is calculated. The merit function Φ is defined by, for example, equation (5).
[Equation 5]

That is, in this embodiment, the merit function Φ is the reference point P specified on the overview image. _i Image point P _i 'Image coordinates (xp _i ', Yp _i ') And the reference point P obtained by surveying _i Survey coordinates (Xp _i , Yp _i , Zp _i ) And the approximated external orientation element (X _GO , Y _GO , Z _GO , Ω _G , Φ _G , Κ _G ) And internal localization elements (f _G , D _2G , D _4G , D _6G , N _1G , N _2G , X _CG , Y _CG ) Image point P obtained from _i 'Approximate image coordinates (xp _Gi ', Yp _Gi It corresponds to the square of the distance between ').
[0043]
Next, in step S204, it is determined whether or not the merit function Φ is smaller than a predetermined value. That is, the external orientation element (X _GO , Y _GO , Z _GO , Ω _G , Φ _G , Κ _G ) And internal localization elements (f _G , D _2G , D _4G , D _6G , N _1G , N _2G , X _CG , Y _CG ) Image point P _i 'Approximate image coordinates (xp _Gi ', Yp _Gi ') Is the reference point P specified on the overview image. _i Image point P _i 'Image coordinates (xp _i ', Yp _i It is determined whether it is close enough to '). If Φ <predetermined value, this process is terminated, and the external orientation element (X _GO , Y _GO , Z _GO , Ω _G , Φ _G , Κ _G ) And internal localization elements (f _G , D _2G , D _4G , D _6G , N _1G , N _2G , X _CG , Y _CG ) Is an external orientation element that represents the position, tilt, and internal orientation of the camera at the time of taking an overview image.
[0044]
On the other hand, if it is determined in step S204 that Φ ≧ predetermined value, the external orientation element (X _GO , Y _GO , Z _GO , Ω _G , Φ _G , Κ _G ) And internal localization elements (f _G , D _2G , D _4G , D _6G , N _1G , N _2G , X _CG , Y _CG ) Correction amounts (δX, δY, δZ, δω, δφ, δκ, δf, δD) ₂ , ΔD _Four , ΔD ₆ , ΔN ₁ , ΔN ₂ , ΔX _C , ΔY _C ) Is obtained, for example, by the method of least squares. That is, (sp) in the equation (2) that is a collinear condition _i ', Tp _i ') To (scp in equation (3) _i ', Tcp _i ') Is substituted, and the external orientation element (X _GO , Y _GO , Z _GO , Ω _G , Φ _G , Κ _G ) And internal localization elements (f _G , D _2G , D _4G , D _6G , N _1G , N _2G , X _CG , Y _CG ) Around Taylor and linearize without higher order terms. In this linearized expression, correction amounts (δX, δY, δZ, δω, δφ, δκ, δf, δD ₂ , ΔD _Four , ΔD ₆ , ΔN ₁ , ΔN ₂ , ΔX _C , ΔY _C ) Is an unknown quantity and an appropriate correction amount (δX, δY, δZ, δω, δφ, δκ, δf, δD) is created. ₂ , ΔD _Four , ΔD ₆ , ΔN ₁ , ΔN ₂ , ΔX _C , ΔY _C )
[0045]
In step S206, the correction amounts (δX, δY, δZ, δω, δφ, δκ, δf, δD calculated in step S205 are calculated. ₂ , ΔD _Four , ΔD ₆ , ΔN ₁ , ΔN ₂ , ΔX _C , ΔY _C ) Based on the external orientation element (X _GO , Y _GO , Z _GO , Ω _G , Φ _G , Κ _G ) And internal localization elements (f _G , D _2G , D _4G , D _6G , N _1G , N _2G , X _CG , Y _CG ) Value is updated. That is, (X _GO , Y _GO , Z _GO , Ω _G , Φ _G , Κ _G , F _G , D _2G , D _4G , D _6G , N _1G , N _2G , X _CG , Y _CG ) For each value (X _GO + ΔX, Y _GO + ΔY, Z _GO + ΔZ, ω _G + Δω, φ _G + Δφ, κ _G + Δκ, f _G + Δf, D _2G + ΔD ₂ , D _4G + ΔD _Four , D _6G + ΔD ₆ , N _1G + ΔN ₁ , N _2G + ΔD ₂ , X _CG + ΔX _C , Y _CG + ΔY _C ) To update the camera position and internal localization. Thereafter, the process returns to step S202, and steps S202 to S206 are repeatedly executed until it is determined in step S204 that Φ <predetermined value.
[0046]
An external orientation element (X) indicating the position and tilt of the digital still camera 20 at the time of shooting by the spatial backward intersection _O , Y _O , Z _O , Ω, φ, κ) and internal localization elements (f, D ₂ , D _Four , D ₆ , N ₁ , N ₂ , X _C , Y _C ) Is calculated, the image coordinates of the image points corresponding to the survey points measured in steps S105 and S110 of FIGS. 2 and 4 are the survey coordinates of the survey points calculated from the measured oblique distance and altitude angle. From the values of the external orientation element and the internal localization element calculated by the space backward intersection method, the values are obtained using the expressions (1) to (5). In steps S106 and S116, a mark indicating a station or a measurement value is displayed at a position (pixel) corresponding to the station on the overview image based on the image coordinates. The calculated internal localization element is stored in, for example, the recording medium 42 (see FIG. 1).
[0047]
Next, with reference to FIGS. 7 to 9, a method for displaying a measurement point on the image display device 43 of the surveying support device 40 in steps S106 and S116 of FIGS.
[0048]
FIG. 7 shows a basic display state of the window WN0 for displaying the measurement points. The title bar TB at the top of the window WN0 has three buttons, a minimize button, a maximize button, and a close box, arranged at the right corner, and a main menu MM is arranged below the title bar TB. . Further, a button menu BM having a plurality of buttons is arranged under the main menu MM, and text boxes TX1 to TX8 are arranged under the button menu BM.
[0049]
The text boxes TX1 to TX8 are boxes for displaying survey data relating to the survey points, and the upper text boxes TX1 to TX4 represent items of contents displayed in the lower text boxes TX5 to TX8. The station name is displayed in the text box TX5, and survey data such as the X coordinate value, the Y coordinate value, and the Z coordinate value of the station displayed in the text box TX5 are displayed in the text boxes TX6 to TX8.
[0050]
Under the text boxes TX5 to TX8, an image display area IM for displaying an overview image is arranged. On the right side of the image display area IM, a scroll bar SC1 for scrolling the overview image in the vertical direction is arranged along the side of the image display area IM. In addition, a scroll bar SC2 for scrolling the overview image in the left-right direction is arranged along the lower side below the image display area IM.
[0051]
The surveyed measurement points Q-1 to Q-11 are displayed as, for example, black circles on the overview image in the image display area IM. However, when a plurality of measurement points are present in substantially the same line-of-sight direction, the positions on the overview image of each measurement point are concentrated on one pixel and are difficult to discriminate. In addition, even when the stations are densely arranged, for example, the stations Q-1 to Q-3, since each station corresponds to, for example, an adjacent or adjacent pixel, it is not possible to determine each station. It becomes difficult. That is, as the three-dimensional survey data, even if there are a plurality of survey points having different values, a plurality of survey points (or marks representing the survey points) overlap on the overview image projected in two dimensions ( Hereinafter, such a state is referred to as “degeneration”, and a part thereof disappears from the image.
[0052]
From the above, in the first embodiment, the degenerated stations are displayed according to the procedure shown in the flowchart of FIG.
[0053]
First, in step S301, the operator designates one point (for example, one pixel) in the image display area IM using the pointing device (input device 41), and turns on the degenerate button DB of the button menu BM. For example, a touch panel and a pointing pen are used as the pointing device, and the operator selects one pixel by tapping one pixel in the image display area IM with the pointing pen. Thereafter, when the degeneration button DB is tapped with the pointing pen, the processing from step S302 is executed.
[0054]
In step S302, a search is made for a measuring point corresponding to a pixel within a certain range from the pixel designated / selected with the pointing pen. In step S303, the list of searched station names and their three-dimensional coordinate values are displayed on the image display device 43 as a list box as shown in FIG. 9 (other information related to the station may also be displayed). . As the three-dimensional coordinate value, a coordinate value such as a survey coordinate system or a camera coordinate system is used. The coordinate system used to display the coordinate values can be switched by a predetermined operation, and the order of the stations displayed in the list is determined according to the coordinate values in the depth direction of the stations in the selected coordinate system. The It is also possible to display each coordinate system in a separate list. In step S304, the operator selects a desired station from the list box using a pointing pen. In step S305, only the mark corresponding to the station selected in step S304 is displayed in the image display area IM of FIG. 7, and the station name of the station selected in step S304 and 3 are displayed in the text boxes TX5 to TX8. The dimension coordinate value is displayed. Thereby, this process is completed.
[0055]
Note that the coordinate values described in the list box and text boxes TX5 to TX8 in FIG. 9 are described for convenience of explanation, and geometrically correspond to the positions of the measurement points indicated in the image display area IM. is not. The same applies to each value such as the position of the measuring point and the coordinate value in each of the following embodiments.
[0056]
As described above, according to the first embodiment, even when a plurality of measurement points exist densely or in the same line-of-sight direction and the plurality of measurement points are reduced on the overview image, the pixels in the reduced region are used as the operator. If is specified, a list of stations to be projected is displayed in the vicinity thereof, so that oversight of stations or forgetting surveys can be prevented. In addition, since the position of the station selected in the list is displayed on the overview image and its three-dimensional coordinate value is also displayed, even when a plurality of stations are reduced on the overview image, The position of the measuring point can be accurately grasped quantitatively.
[0057]
Next, a second embodiment of the present invention will be described with reference to FIGS. The configuration of the second embodiment is substantially the same as that of the first embodiment, and only the method for displaying the degenerated measurement points is different from that of the first embodiment.
[0058]
In the second embodiment, when the operator taps the reduction button DB on the screen of FIG. 7, the image display area IM projects and expresses the arrangement of each measurement point on a horizontal plane as shown in FIG. 10. The projection of each measurement point onto the horizontal plane is performed based on the three-dimensional coordinates of the measurement points. Even if the stations are degenerated on the overview image, they are not degenerated in the horizontal plane (especially when multiple stations are in the same line of sight and are degenerated), the existence of each station is accurately grasped. It becomes possible. In addition, when an arbitrary station is designated in the horizontal plan view, the station name and 3D coordinate value of the station are displayed in the text boxes TX5 to TX8.
[0059]
As described above, also in the second embodiment, substantially the same effect as in the first embodiment can be obtained. In the second embodiment, since the measurement points are displayed on the horizontal plane, the arrangement of the reduced measurement points on the overview image can be grasped more visually.
[0060]
Note that the measurement points may be projected and displayed on an arbitrarily designated plane (for example, a vertical plane) instead of the horizontal plane.
[0061]
Next, a third embodiment of the present invention will be described with reference to FIGS. The configuration of the third embodiment is substantially the same as that of the first embodiment, and only the method for displaying the degenerated measurement points is different from that of the first embodiment.
[0062]
In the third embodiment, the operator designates an area including the reduced measurement point on the screen of FIG. 7 using, for example, a pointing pen. The designated area is, for example, a quadrangle or a circle. FIG. 11 shows a case where the designated area is a quadrilateral. For example, when the operator designates two points in the image display area IM using a pointing pen, a quadrilateral area A having the two points as diagonal lines is defined.
[0063]
When a region A including a reduced station (for example, displayed with a white circle) is defined, a frame surrounding the region is displayed. Thereafter, when the reduction button DB is tapped, a dialog box DG1 for enlarging and displaying the area A appears below the scroll bar SC2. When a station is selected in the enlarged image of the dialog box DG1, the display of the station is changed to a display different from other stations. In conjunction with this, the station names and the three-dimensional coordinate values of the selected station are displayed in the text boxes TX5 to TX8, and the display of the corresponding station of the overview image in the image display area IM is also changed (for example, Black circles are displayed in white circles).
[0064]
As described above, according to the third embodiment, substantially the same effect as that of the first embodiment can be obtained. In the third embodiment, since the designated area is enlarged and displayed, it is effective when the measurement points are densely packed in the real space.
[0065]
The area A defined by the frame may be dragged. Further, a predetermined range around the designated pixel may be enlarged as in the first embodiment, and in this case, there may be no frame for defining the region.
[0066]
Next, a fourth embodiment of the present invention will be described with reference to FIGS. The configuration of the fourth embodiment is substantially the same as that of the third embodiment, and only the method for displaying the degenerated measurement points is different from that of the first embodiment.
[0067]
In the third embodiment, when the reduction button DB is turned on after designating the area A, a dialog box DG1 for displaying an enlarged image of the area A appears. In the fourth embodiment, however, the area A is designated and the reduction is performed. When the button DB is turned on, a dialog box DG2 is displayed at the position of the dialog box DG1 of the third embodiment. In the dialog box DG2, the positions of the measuring points existing in the designated area A are represented by a bar graph BG according to the distance (coordinate value) in the depth direction of the image. On the upper side of the bar graph BG, a distance in the depth direction (for example, 5 m, 6 m, etc.) is displayed along the bar. In the bar graph BG, box-shaped marks (for example, M1, M2, M3) corresponding to the measurement points existing in the area A are displayed. Below the bar graph BG, the station names (for example, Q-1, Q-2, Q-3) of each station with respect to the marks M1, M2, M3 of the station displayed in the bar graph BG. ) Is displayed.
[0068]
A region indicated by diagonal lines in the bar graph BG indicates a range in the depth direction to be displayed in the dialog box DG2. That is, in the bar graph BG, only the measuring points whose depth direction coordinate values are within the range indicated by diagonal lines are displayed. This range (shaded area) is set by, for example, a scroll bar SC3 arranged below the bar graph BG. In FIG. 12, the upper limit of the range to be displayed (shaded area) is specified by the scroll bar SC3, but the lower limit of the range may be specified. It is also possible to specify the upper and lower limits of the display range (shaded area) by inputting numerical values in a text box or the like. The scale referred to by the bar graph BG may be enlarged / reduced. That is, in FIG. 12, a range from about 5 m to a little over 8 m is displayed as the bar graph BG, but this may be enlarged and displayed in a range of 6 m to 7 m, for example.
[0069]
When a mark (for example, M2) corresponding to a desired measuring point (for example, Q-3) is selected from the marks displayed on the bar graph BG, the display of the mark (M2) is displayed with other marks (M1, M3). Is changed to a different display (in this embodiment, a horizontal bar is added at the center of the white box). In conjunction with this, the station names and three-dimensional coordinate values of the selected stations are displayed in the text boxes TX5 to TX8, and the corresponding stations of the overview image displayed in the image display area IM are also displayed. Be changed.
[0070]
As described above, also in the fourth embodiment, substantially the same effect as in the first embodiment can be obtained.
[0071]
Next, a fifth embodiment will be described with reference to FIG. 7, FIG. 13, and FIG. The configuration of the fifth embodiment is substantially the same as that of the first to fourth embodiments, and only the method for displaying the degenerated measurement points is different from that of the first embodiment.
[0072]
In the fifth embodiment, a method for explicitly displaying the degeneration of the measurement points on the overview image in the image display area IM is provided. For example, when the reduction button DB is turned on in the screen of FIG. 7, the overview image of the image display area IM is changed as shown in FIG.
[0073]
The station is represented by a circle having a diameter corresponding to the coordinate value in the depth direction of the image. For example, the diameter of a circle representing a station is larger or smaller in proportion to the coordinate value in the depth direction of the station, and when two or more circles overlap, the diameter is as shown in FIG. A small circle is pasted on a circle with a large diameter. Further, when there are a plurality of measurement points on the same line of sight, they are represented by a plurality of concentric circles as shown in FIG. For example, as in the first embodiment, when an operator selects a pixel in the vicinity of a degenerated area on the overview image, a measuring point within a predetermined pixel range is searched from the selected pixel and stored in the memory in the system control circuit 44. For example, the station closest to the camera is selected while being held. That is, in the text boxes TX5 to TX8, the station name and the three-dimensional coordinate value of the station closest to the camera in the designated area are displayed. When the operator taps a pixel in the further selected area, distant stations are sequentially selected from the stations stored in the memory and displayed in the text boxes TX5 to TX8. This process is performed cyclically. When the selection reaches the farthest station, the next station is selected again when tapped next time.
[0074]
Next, a modification to the fifth embodiment will be described with reference to FIGS. In the display of FIG. 15, when a plurality of circles overlap due to degeneration, the circles are filled with different colors, and when a plurality of measurement points are in the same line-of-sight direction, the display is as shown in FIG. 16. At this time, the color used to fill the circle is, for example, a predetermined gradient. For example, the farther the measurement point corresponding to the coordinate value in the depth direction of the measurement point, the darker the color is displayed. Other points are the same as those described in the fifth embodiment.
[0075]
As described above, also in the fifth embodiment of the present invention, it is possible to obtain substantially the same effect as in the first to fourth embodiments. In the fifth embodiment, the reduced region is explicitly shown on the overview image, so that the operator can more easily check the reduced position of the measurement point on the overview image. In the modified example, since each circle is displayed in a different color, each measurement point can be identified more easily.
[0076]
In the fifth embodiment, the measurement points stored in the memory are repeatedly selected in sequence. However, when individual circles can be selected with a pointing device such as a pointing pen, the operator can use the pointing device. A desired station may be selected directly.
[0077]
Next, a sixth embodiment of the present invention will be described with reference to FIG. The sixth embodiment is substantially the same as the fifth embodiment, and FIG. 17 corresponds to FIG. 13 or FIG. 15 of the fifth embodiment. In the fifth embodiment, a plurality of measurement points that are degenerated using circles having different sizes are shown on the overview image. However, in the sixth embodiment, a degenerated state using figures of different shapes is used. It represents. For example, as shown in FIG. 17, in the sixth embodiment, a non-degenerate station (single point) is represented by a circle, and when two stations are close and their marks overlap (degenerate), When x marks are displayed and three or more stations are degenerated, a regular polygon having vertices corresponding to the number of degenerated stations is displayed. Each vertex of the polygon corresponds to each station degenerated in the area, and when the operator designates a desired vertex using a pointing device, the station name and three-dimensional coordinates corresponding to the station corresponding to that vertex Values are displayed in text boxes TX5 to TX8. Also, the position of each station can correspond to the position of each side (each side from the upper side corresponds to the station from the near distance side, and the station number and 3D coordinates are displayed by selecting the side) Good. FIG. 17 shows an example of the display method in the present embodiment, which does not match the number of measurement points in FIG.
[0078]
FIG. 18 is a modification of the display method of the sixth embodiment. In FIG. 17, the degenerated station using different graphics is shown on the overview image. However, in the modified example, as shown in FIG. 18, the position representing the degenerated station (for example, the two-dimensional coordinates of the station) The position corresponding to the average value) is represented by a circle, a leader line corresponding to the number of stations degenerated in the circle is provided, and each degenerated station name is displayed at the end. When the operator designates one of the leader lines, the station name and the three-dimensional coordinate value of the station are displayed in the text boxes TX5 to TX8. In addition, the display of the station displayed at the representative position may be changed to the display of the station selected at the selected time. A single point (a non-degenerate station) may or may not display the station name.
[0079]
As described above, also in the sixth embodiment, substantially the same effect as that of the fifth embodiment can be obtained.
[0080]
Next, a seventh embodiment of the present invention will be described with reference to FIGS. In the seventh embodiment, when the reduction button DB is tapped, the distance between the stations on the overview image is within a predetermined range as shown in FIG. 19, and the plurality of stations are reduced, for example. When it is determined as one cluster, for example, a mark (for example, a circle) having a size corresponding to the number of degenerated stations is displayed at the center position of a plurality of degenerated stations. Note that two types of marks may be displayed based on the presence or absence of degeneration. As a modification, as shown in FIG. 20, the color of the mark displayed at the degenerated position is different from the color of the mark of the station that is not degenerated. In FIG. 20, the degenerated portion is displayed as a plurality of points. However, in the modified example, a position representing the degenerated station (for example, a position corresponding to the average value of the two-dimensional coordinate values of the stations). May be represented by a single circle. (Not shown) As another modification, when a station name is displayed near a station, a single point and a degenerate point (points where multiple stations are degenerated) are displayed due to the difference in the display name. You may distinguish. For example, a single point is m ₁ ~ M _n The degeneracy point is M ₁ ~ M _n It is also possible to distinguish single points and degenerate points by lowercase letters and uppercase letters, such as (number is a station number).
[0081]
As described above, also in the seventh embodiment, substantially the same effect as that of the sixth embodiment can be obtained.
[0082]
In this embodiment, a reference point is arbitrarily designated on the overview image using a pointing device. However, for example, a reference scale having a known dimension, a reference mark that can be arbitrarily arranged, and the like are arranged in the imaging range. The external orientation element may be obtained using as a reference point. In this case, the position of the reference scale or reference mark on the overview image is selected using a pointing device or the like. When a reference scale or a reference mark is used, the position of the reference point on the overview image may be automatically detected using image processing, for example.
[0083]
In this embodiment, the total station capable of measuring the oblique distance and (altitude, horizontal) angle is given as the surveying instrument. Any other surveying instrument may be used as long as the surveying instrument can calculate the value, for example, a surveying instrument using a global positioning system (GPS) or the like. Further, the angle measured by the surveying instrument may be an angle other than the altitude angle and the horizontal angle, for example, an angle between two points in the oblique plane.
[0084]
In the present embodiment, a portable terminal has been described as an example, but such a function may be provided integrally with a surveying instrument or a digital camera. In the present embodiment, the digital image captured by the digital still camera has been described. However, a video camera or the like may be used as long as a digital image can be obtained.
[0085]
In the first embodiment, when it is determined that a plurality of measurement points are degenerated in the area near the designated pixel, the warning sound or the measurement point is degenerated instead of displaying a list of the measurement points. A message may be displayed to inform you that Also, the display methods of the first to sixth embodiments can be combined in various ways.
[0086]
In the present embodiment, the surveying information related to the surveying points has been described with an example of surveying using a surveying instrument. However, as the surveying points, known geographic data, location information of surveying points for surveying surveying, input You may use for the degeneration which generate | occur | produced when displaying the measurement set point arbitrarily determined on the overview image by the means. Moreover, you may use for the degeneration which generate | occur | produced when the measurement point measured with the surveying instrument and said each point were mixed and displayed.
[0087]
However, when using survey information with different coordinate systems, the survey information is preferably unified into one coordinate system by coordinate transformation. The same applies to the case where the measurement points are displayed on the overview image and the case where the correspondence is performed based on the survey information of the reference points. (For example, when displaying a survey point with a different coordinate system. For example, when using a given survey data as a reference point, the survey coordinate at the survey site may be different. (Convert the given survey data to the coordinate value of the survey site and use it or vice versa)
[0088]
In the present embodiment, the size, color, and the like of the point display are changed according to the distance from the digital still camera position, but may be changed according to the distance from the surveying instrument. Moreover, you may convert into the value in arbitrary coordinate values.
[0089]
【The invention's effect】
As described above, according to the present invention, the survey information obtained by the surveying instrument is simply and efficiently associated with the image information of the survey site obtained by the camera, and the associated survey information is displayed with high visibility. be able to.
[Brief description of the drawings]
FIG. 1 is a block diagram schematically showing the configuration of a surveying system according to a first embodiment of the present invention.
FIG. 2 is a flowchart showing a survey procedure in the survey system of the first embodiment.
FIG. 3 is a diagram conceptually showing an arrangement of surveying instruments and cameras in the surveying system of the first embodiment.
FIG. 4 is a flowchart showing a modification of the surveying procedure in the surveying system according to the first embodiment.
FIG. 5: Three reference points P ₁ , P ₂ , P _Three And image point P on the imaging surface S ₁ ', P ₂ ', P _Three It is a figure which shows the relationship with 'typically.
FIG. 6 is an external orientation element (X) representing the position and tilt of a digital still camera. _O , Y _O , Z _O , Ω, φ, κ) and the camera's internal localization elements (f, D ₂ , D _Four , D ₆ , N ₁ , N ₂ , X _C , Y _C ) Is a flowchart of the program of the spatial backward association method.
FIG. 7 is a basic display example of a window for displaying an overview image.
FIG. 8 is a flowchart showing a work procedure when displaying a reduced station in the first embodiment.
FIG. 9 is a list display of measurement points in the reduced display according to the first embodiment.
FIG. 10 is a horizontal plane display of measurement points in the reduced display of the second embodiment.
FIG. 11 is a window for enlarging and displaying a degenerate portion in the third embodiment.
FIG. 12 is a window for performing reduced display according to the fourth embodiment.
FIG. 13 is an example of a window when a reduced display is performed on an overview image in the fifth embodiment.
FIG. 14 is a display example of a station mark when the station exists on the same line of sight in FIG. 13;
FIG. 15 is an example of a window when a reduced display is performed on an overview image in a modification of the fifth embodiment.
FIG. 16 is a display example of a station mark when the station exists on the same line of sight in FIG. 15;
FIG. 17 is an example of a window when a reduced display is performed on an overview image in the sixth embodiment.
FIG. 18 is a modification of the method for displaying a degenerated station according to the sixth embodiment.
FIG. 19 is an example of a window when a reduced display is performed on an overview image in the seventh embodiment.
FIG. 20 is a modified example of the method for displaying a degenerated station according to the seventh embodiment.
[Explanation of symbols]
10 Surveying machine
20 Digital still camera
40 Surveying support device (mobile terminal)
41 Input device
42 recording media
43 Image display device
44 System control circuit

Claims

A positional relationship calculating means for calculating a positional relationship between the coordinate system based on the survey information of the survey point and the overview image of the survey site including the survey point;
Correlation means for associating the survey information of the survey point with the position information regarding the position on the overview image corresponding to the survey point from the positional relationship;
Image display means for displaying the overview image;
A station display means for displaying the position of the survey point on the overview image displayed by the image display means based on the correspondence between the survey information and the position information of the overview image;
On the overview image displayed by the image display means, in a degenerated state in which the display of a plurality of measurement points is concentrated around one pixel and overlapped, degeneration notification means for notifying the position of the degenerated measurement points; A surveying system characterized by comprising.

The survey system according to claim 1, further comprising surveying means for obtaining survey information of the survey points.

The survey system according to claim 1, wherein the positional relationship is calculated from a relationship between survey information of three or more arbitrarily set reference points and a position of the reference point on the overview image. .

The surveying system includes input means for designating a position on the image in the image display means, and the position of the reference point is determined by designating an arbitrary position on the overview image by the input means. The surveying system according to claim 3.

4. The surveying system according to claim 3, wherein the three-dimensional survey information of the reference point is given geographic data.

The survey system according to claim 1, wherein a positional relationship between the coordinate system and the overview image is represented by an external orientation element that represents a position and an inclination of a camera at the time of capturing the overview image with respect to the coordinate system. .

The surveying system according to claim 1, wherein surveying information of the surveying point includes surveying point data for surveying surveying or given geographic data.

The surveying system according to claim 1, further comprising a data recording unit capable of recording the surveying information related to the surveying point and the image data of the overview image in association with each other.

The surveying system according to claim 1, further comprising a digital camera for capturing the overview image.

The surveying system according to claim 1, wherein the degeneration notification unit performs a display for notifying that a measurement point is degenerated at a position where the degenerated measurement point is displayed on the overview image.

The surveying system according to claim 10, wherein the degeneration notification unit performs display for notifying the degeneration by changing a color of a mark representing a position of a measurement point based on the presence or absence of the degeneration.

The degeneration notification means displays the degeneracy notification by representing a degenerate station using a mark having a size corresponding to a coordinate value in the depth direction with respect to the overview image of the station. The surveying system according to claim 10, wherein the surveying system is characterized.

The degeneracy notification means displays the degeneracy notification by representing a degenerate station using a mark having a color corresponding to a coordinate value in the depth direction with respect to the overview image of the station. The surveying system according to claim 10.

The surveying system according to claim 10, wherein the degeneration notification unit performs display for notifying the degeneration by changing a shape of a mark representing a position of a measurement point based on the presence or absence of the degeneration.

A leader line corresponding to the number of reduced stations is provided at a position representative of the station where the mark is degraded, and the name of each station that is degraded is displayed at the end of the leader line. The surveying system according to claim 14.

The survey system according to claim 14, wherein the shape of the mark corresponds to the number of degenerate points.

The survey system according to claim 16, wherein the shape of the mark is a polygon corresponding to the number of measurement points when the number of degenerate measurement points is 3 or more.

The surveying system according to claim 10, wherein the degeneration notification unit performs display for notifying the degeneration by changing a size of a mark representing a position of a measurement point based on the presence or absence of the degeneration.

19. The surveying system according to claim 18, wherein the size of the mark corresponds to the number of survey points where the size of the mark is degenerated.

The surveying system includes an input unit for designating a position on the image in the image display unit, and when the region including the degenerate point is designated by the input unit, the degeneration notification unit is set in the region. The surveying system according to claim 1, wherein information related to the included survey points is displayed.

21. The survey system according to claim 20, wherein the information related to the survey points is a list of survey points and survey information of the survey points in the area.

21. The surveying system according to claim 20, wherein the information related to the survey point is image information obtained by enlarging and displaying the area.

The information related to the station is displayed in correspondence with the coordinate value in the depth direction with respect to the overview image of the station in the region, and the station is displayed on the bar graph in accordance with the coordinate value. The surveying system according to claim 20.

The surveying system according to claim 1, wherein the degeneration notification unit displays the measurement points displayed on the overview image as a plan view projected onto a predetermined plane.

The surveying system according to claim 24, wherein the plane is a horizontal plane.

A positional relationship calculating means for calculating a positional relationship between the coordinate system based on the survey information of the survey point and the overview image of the survey site including the survey point;
Correlation means for associating the survey information of the survey point with the position information regarding the position on the overview image corresponding to the survey point from the positional relationship;
Image display means for displaying the overview image;
A station display means for displaying the position of the survey point on the overview image displayed by the image display means based on the correspondence between the survey information and the position information of the overview image;
On the overview image displayed by the image display means, in a degenerated state in which the display of a plurality of measurement points is concentrated around one pixel and overlapped, degeneration notification means for notifying the position of the degenerated measurement points; A survey support apparatus characterized by comprising.

A step of calculating the positional relationship between the schematic image of a surveying field including coordinate system and stations which survey information measuring point as a reference,
From the positional relationship, a procedure for associating the survey information of the survey point with the location information regarding the position on the overview image corresponding to the survey point;
Displaying the overview image;
A procedure for displaying the position of the survey point on the overview image displayed by the image display means based on the association between the surveying information and the position information of the overview image;
A procedure for informing the computer of the position of the degenerated station in a degenerated state in which the display of a plurality of stations is concentrated around one pixel on the overview image displayed by the image display means. Survey support program to be executed.