JP4313462B2 - 画像形成装置 - Google Patents
画像形成装置 Download PDFInfo
- Publication number
- JP4313462B2 JP4313462B2 JP11872699A JP11872699A JP4313462B2 JP 4313462 B2 JP4313462 B2 JP 4313462B2 JP 11872699 A JP11872699 A JP 11872699A JP 11872699 A JP11872699 A JP 11872699A JP 4313462 B2 JP4313462 B2 JP 4313462B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- symbol
- ortho
- unit
- image forming
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像形成装置に係り、特に、計測現場の図化を行う装置に中心投影画像から正射投影（オルソ）画像を形成したり、既に得られた正射投影（オルソ）画像を取り入れ、図化を簡単に行えるようにする画像形成装置に関する。本発明は、さらに、計測現場の図化を２次元でなく３次元的に行い、オルソ画像上で見えなかった部分や三次元計測できなかった部分を補うと同時に、オルソ画像を視点を変えて見られるようにすることにより、現況の立体的な確認やシミュレーションを行えるようにした画像形成装置に関する。
【０００２】
【従来の技術】
従来技術によれば、計測現場で測量することにより得られる図面は、平板測量に代表されるような紙と鉛筆等により作成されていた。また、近年では、電子平板に代表されるような測量機とポータブルコンピュータとの組み合わせにより、計測現場の線画図面が作成されていた。このような従来の電子平板では、トータルステーションやＧＰＳなどの測量機を利用してポータブルコンピュータ上で、線画を描画することで図化を行っていた。そして、計測現場の図化を行う際、現地にて現況を見ながら図化したり、別途写真撮影して、それらを見ながらオフィスにて図化を行っていた。また、航空写真などでは、ステレオ撮影していた画像から、解析図化機等を用いて図化を行っていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来では、現地にて電子平板などで図化する場合、２次元的な線画の図化しかできなかった。また、従来、オフィスにて持ち帰って図化する場合は、実際の状況の写真と照らし合わせて図化を行うようにしていたが、この際、図面と写真が一対一に対応しておらず、確認しながらの図化が困難であったり、わからない個所がある等ということがあった。さらに、作成された図面は２次元的なものであり、３次元的に確認することはできず、別途撮影した写真を見ながら現況を想像するしかなかった。
【０００４】
また、従来、航空写真などから図化する場合は、解析図化機等を使用して図化を行っていたが、操作に熟練を要し、誰でも簡単にできるものではなかった。さらに、従来は、オルソ画像から図化する際に、見えないところや計測していない個所は図化することが難しかった。
【０００５】
本発明は、以上の点に鑑み、計測現場の図化を行う際に画像を貼付け、誰でも簡単に図化を行えるようにするのと同時に、オルソ画像上で見えない個所や計測していない個所でも、３次元のシンボルを貼り付けることによって図化を行い、現地状況を視点を変えながら見ることができるようにした画像形成装置を提供することを目的とする。また、本発明は、視点を変えたオルソ画像を描画することで、図化支援だけでなく現況状況の様々な角度からの確認および仮想的・立体的なシミュレーションまでもが行なえる画像形成装置を提供することを目的とする。
【０００６】
また、本発明は、オルソ画像作成、鮮鋭化画像、エッジ画像、エッジ画像と各画像との組合せ画像、等により、それら画像を表示して、画面をなぞるだけで簡単な図化が可能とし、さらに各種画像処理により、線抽出、閉曲線抽出等を半自動的に行い、また、シンボルを登録して配置することで簡単に図化を可能とする画像形成装置を提供することを目的とする。
【０００７】
さらに、本発明は、テンプレートマッチング技術を用いることで、自動図化を可能とし、誰でも容易に図化できる画像形成装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明のひとつの特徴としては、図化したい場所の画像からオルソ画像を作成し、図化を簡単化することである。さらに、本発明の他の特徴としては、この画像から鮮鋭化やエッジ抽出処理などの画像処理を行うことにより図化の支援を行い、また対象物によっては自動図化を行うことにより、図面化をより簡単化した。そして、本発明のさらに他の特徴としては、形状・大きさ等が定められている２次元、３次元のシンボルを予め記憶することにより、オルソ画像上で見えない個所や計測していない個所を図化できるようにし、オルソ画像上で視点を変えて見ることができるようにすることで図面化と同時に現況を簡単に確認できるようにした。
【０００９】
本発明の解決手段によると、
オルソ画像を形成する方向を指定する方向指定部と、
撮影された画像データ及びその三次元データに基づき第１のオルソ画像を形成するとともに、該画像データ及びその三次元データに基づき上記方向指定部で指定された方向に視点を変えた第２のオルソ画像を形成するオルソ画像形成部と、
上記オルソ画像形成部で形成されたオルソ画像中に現れた地物の位置に、該地物を示す所定のシンボルを貼付するシンボル貼付部と、
を備え、
該シンボル貼付部は、上記オルソ画像形成部で形成されたオルソ画像上で見えない個所や計測不足個所に対して入力されたシンボルの位置及び属性に従い、予め記憶されたシンボルに基づいて、シンボルの大きさ及び位置を確定し、上記方向指定部により指定された方向から見た形態で、オルソ画像上で見えない個所や計測不足個所を補うようにオルソ画像上にシンボルを貼付することを特徴とした画像形成装置を提供する。
【００１０】
上記シンボル貼付部は、画像座標系で指示されたシンボルの位置を画像座標から地上座標に変換させて地上座標上の位置にシンボルを登録し、オルソ画像形成時に上記方向指定部により指定された方向から見た形態でオルソ画像上にシンボルを貼付することができる。
また、上記シンボル貼付部は、画像上においてシンボルと似たものを探索し、見つかった場所にそのシンボルを配置する自動貼付け部を有することができる。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
【００１２】
（１）構成及び動作の概要
図１に、本発明に係る画像形成装置の構成図を示す。
この画像形成装置は、オルソ画像による図化支援を行うことができ、オルソ画像形成部１、方向指定部２、特徴抽出部３、シンボル貼付け部４を備える。また、画像形成装置は、表示部５及び入出力部６を備えることができる。
【００１３】
オルソ画像形成部１は、基準点が撮し込まれている中心投影画像である撮影画像に基づき、オルソ画像を形成する。方向指定部２は、オルソ画像を視点をかえて見ることができるように指定し、オルソ画像形成部１により視点を変えたオルソ画像を作成する。特徴抽出部３は、オルソ画像からエッジ、直線、曲線等の特徴を抽出する。シンボル貼付け部４は、形状・大きさ等が定められている２次元、３次元のシンボルを予め記憶し、図化や図化する際に適宜のシンボルを貼り付ける。
【００１４】
表示部５は、ＣＲＴ、液晶ディスプレイ又はプラズマディスプレイ等の２次元又は３次元表示を行うものである。表示部５は、形成されたオルソ画像や、視点を変えて描画したオルソ画像、画像特徴抽出部３によって画像処理されたオルソ画像、シンボル貼付け部４で貼り付けるシンボル等を表示する。また、入出力部６は、各種画像データや測量機等の３次元座標入力装置から３次元座標データ等を他の装置と入出力するものである。入出力部６としては、例えば、光ディスク装置やカード型の記憶媒体（ＨＤＤ，メモリ等）、フロッピーディスク、キーボード、ペン、マウス、ターミナル、ＣＤ−ＲＯＭディスクドライブなどの各種入力装置・出力装置を備えることができる。
【００１５】
図２に、特徴抽出部の構成図を示す。特徴抽出部３は、図示されるように、鮮鋭画像作成部２０、エッジ抽出部２１を備える。鮮鋭画像作成部２０は、図化支援として先鋭化したオルソ画像を作成する。エッジ抽出部２１は、エッジ、直線、曲線等の所定の特徴の抽出を行う。
【００１６】
図３に、シンボル貼付け部の構成図を示す。シンボル貼付け部４は、図化・シンボル貼付け支援部１０、自動貼付け部１１、シンボル記憶部１２を備える。図化・シンボル貼付け支援部１０は、オルソ画像、先鋭画像、エッジ画像等の重ね合わせ表示、シンボル貼付け等による図化支援を行う。自動貼付け部１１は、マッチング、位置合わせ等により、シンボル等の自動配置及び貼付けを行う。シンボル記憶部１２は、２次元、３次元のシンボルを記憶する。
【００１７】
上述のような各部・手段は、例えばポータブルコンピュータ（ＰＣ）により実現することができ、各部・手段についての詳細は後述する。また、これら各部・手段により、以下に説明するように、オルソ画像による図化支援を行うことができる画像形成装置が実現される。
【００１８】
つぎに、本発明に係る処理の概要を説明する。図４に、本発明の画像形成処理のフローチャートを示す。
【００１９】
まず、現地にて測量機とデジタルカメラ、ポータブルコンピュータなどを使用し、オルソ画像形成部１により、基準点が撮し込まれている中心投影画像である撮影画像に基づき、オルソ画像を作成する（ステップＳ９００）。あるいは、航空写真等と基準点測量した地上座標（３次元座標）等を利用してオルソ画像作成を行う。あるいは、販売しているオルソ画像を入手してもよい。但し、この場合も画像上に写し込まれている基準点測量をした地上座標をいっしょに入手する。なお、ここで、特に指定されなければ、標準で作成するオルソ画像は、視点を鉛直方向（真上）又は鉛直方向からやや斜め方向から撮影された画像に基づき求められたものであるが、横方向等の他の方向から撮影したものを用いて良い。また、撮影方向は、方向指定部２により予め方向を指定してもよいし、予め記憶された方向を定めた標準データを用いてもよい。
【００２０】
つぎに、特徴抽出部３の鮮鋭画像作成部２０により、図化支援として鮮鋭化したオルソ画像を作成する（ステップＳ９１０）。さらに、特徴抽出部３のエッジ抽出部２１により、エッジ抽出を行なう（ステップＳ９２０）。これら作成した画像を利用して、シンボル貼り付け部４により、シンボル貼り付け、図化を行なう（ステップＳ９３０）。
【００２１】
一般に、オルソ画像を作成すれば、画像に寸法が反映されているため画像上をなぞるだけで、線画の図化が可能となるので、これだけでも図化する際の支援となる。さらに、本発明では、特徴抽出部３において、鮮鋭画像作成部２０により画像の鮮鋭化処理（ステップＳ９１０）、エッジ抽出部２１によりエッジ抽出処理（ステップＳ９２０）を行い、図化支援を行う。また、シンボル貼付け部４により、シンボル貼付けによる図化、シンボル貼付けによる自動図化を行い、図化支援を行う。したがって、図化支援は、オルソ画像、鮮鋭化したオルソ画像、エッジ画像、エッジ画像とオルソ画像との組合せ画像、エッジ画像と鮮鋭化したオルソ画像との組合せ画像等のように、適宜の画像について行うことができる。
【００２２】
このようにして作成されたオルソ画像は、視点を変えて描画した場合、登録した３次元シンボルにより、見えなかった部分や計測していなかった部分を表現することが可能となり、さらに仮想的にシンボルを配置すれば、現場状況の様々な再現に加えてシミュレーション等も行なうことができるようになる（ステップＳ９４０）。なお、ステップＳ９４０は、省略しても良い。
【００２３】
（２）オルソ画像作成処理（ステップＳ９００）
以下、オルソ画像形成部１によるオルソ画像作成処理（ステップＳ９００）の詳細を説明する。図５に、オルソ画像作成処理のフローチャートを示す。
【００２４】
まず、オルソ画像を作成する際に、撮影された画像を読み込む（ステップＳ２０１）。つぎに、撮影画像上に写し込まれた基準点数点（例えば６点以上）の画像座標を三次元データとして計測する（ステップＳ２０３）。この写し込まれた基準点は測量機等で地上座標をあらかじめ計測してあるものである。つぎに、この画像座標と地上座標の対応づけを行ない、座標変換パラメータを求める（ステップＳ２０５）。これは以下に示す３次の射影変換式により行なう。
【数１】
ここで、 （ｘ、ｙ）：画像座標、
（Ｘ、Ｙ、Ｚ）：地上座標、
Ｌ１〜Ｌ１１ ：未知変量。
これらのような数式を、基準点のデータに基づき最小二乗法を用いて解くと、画像座標（ｘ、ｙ）と３次元座標（Ｘ、Ｙ、Ｚ）との関係を決定する各種変換パラメータを取得することができる。
【００２５】
つぎに、オルソ画像上の各画素（ピクセル）の地上座標を計算する（ステップＳ２０７）。この処理では、オルソ画像作成のために、オルソ画像の画像座標（ｘ、ｙ）を地上座標（Ｘ、Ｙ、Ｚ）に変換するものである。地上座標（Ｘ、Ｙ、Ｚ）は、先に座標変換パラメータ算出処理のステップＳ２０５で求められた変換パラメータを用いて計算される。即ち、オルソ画像の画像座標（ｘ、ｙ）に対応する地上座標（Ｘ、Ｙ、Ｚ）は、以下の式で与えられる。このようにして、オルソ画像上の各ピクセルの取得位置を求めることができる。
【数２】
ここで、
（Ｘ０、Ｙ０） ：地上座標系でのオルソ画像の左上の位置、
（ΔＸ、ΔＹ）：地上座標系での１画素の大きさ（例：ｍ／ｐｉｘｅｌ）、
（ｘ、ｙ） ：オルソ画像の画像座標、
（Ｘ、Ｙ、Ｚ）：地上画像（三次元座標）、
ａ、ｂ、ｃ、ｄ：ある画像座標（ｘ、ｙ）を内挿する複数の基準点により形成される平面方程式の係数である。
【００２６】
今度は、ステップＳ２０５で求めた変換パラメータを使用して、数式１により、ステップＳ２０７で求められた地上座標（Ｘ、Ｙ、Ｚ）に対応する画像座標（ｘ、ｙ）を計算する（ステップＳ２０９）。このように求められた画像座標（ｘ、ｙ）から、該当する画像の地上座標（Ｘ、Ｙ、Ｚ）上の濃度値を取得する。この濃度値が、オルソ画像上における２次元の位置（Ｘ、Ｙ）のピクセルの濃度である。このように、地上座標上の位置（Ｘ、Ｙ）に貼り付ける画像濃度を取得する。以上のような処理を、オルソ画像のすべてのピクセルに対して行うことにより、画像貼付が行なわれる（ステップＳ２１１）。なお、ここでは、画像濃度について画像貼付を説明したが、これに限らず、色、柄等適宜の情報を取得して、画像貼付けを行うことができる。
【００２７】
（３）画像鮮鋭化処理（ステップＳ９１０）
つぎに、特徴抽出部３による画像鮮鋭化処理（ステップＳ９１０）の詳細について説明する。この処理を行なうことにより、画像を鮮鋭化し、輪郭を強調した画像にすることができるため、マニュアル図化する際に、通常の画像上でトレースするよりも図化が行いやすくなるという利点がある。
【００２８】
鮮鋭化画像は、例えば、ステップＳ９００で作成されたオルソ画像に、ラプラシアンフィルタやラプラシアンガウシアンフィルタ等の処理を施し、ぼけ画像を作成、元のオルソ画像からぼけ画像を差分することにより得ることができる。特徴抽出部３の鮮鋭画像作成部２０では、以下の演算処理等を行い、鮮鋭画像を作成する。
ｇ（ｉ，ｊ）＝ｆ（ｉ，ｊ）−∇２ｆ（ｉ，ｊ）
ここで、ｇ（ｉ，Ｊ） ：鮮鋭化画像、
ｆ（ｉ，ｊ） ：入力画像、
∇２ｆ（ｉ，ｊ）：入力画像のラプラシアン
なお、∇２ｆ（ｉ，ｊ）に関しては、いろいろな形の微分オペレータがある。
【００２９】
図６に、ラプラシアンオペレータの一例の説明図を示す。また、これにガウシアンを施したものとしてもよい。なお、オペレータは、これに限られたものではなく、適宜のものを用いることができる。以上の処理により、鮮鋭画像が得られる。鮮鋭画像の求め方はこれによらず、多種のものがある。
【００３０】
また、上述のようなデジタル的な方法でなく、次式に示されるような計算処理によって求めてもよい。次式は、計算処理的なガウシアンを施したものである。
【数３】
この場合、差分は以下の式となる。
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−∇２Ｇ（ｘ，ｙ）
ここで、ｇ（ｘ，ｙ） ：鮮鋭化画像、
ｆ（ｘ，ｙ） ：入力画像、
∇２Ｇ（ｘ，ｙ）：入力画像のラプラシアンガウシアン
【００３１】
また、撮影時において、ピントのあった状態（上式ｆ（ｘ，ｙ）に相当）とピントの合っていない状態（上式∇２Ｇ（ｘ，ｙ）に相当）の同一画像を撮影し、その差分画像を得ることによっても同様の効果が得られるため、そのようにしても良い。
【００３２】
（４）エッジ抽出処理（ステップＳ９２０）
つぎに、特徴抽出部３のエッジ抽出部２１により、鮮鋭化された画像からエッジ抽出を行う処理（ステップＳ９２０）について説明する。
【００３３】
エッジ抽出処理（ステップＳ９２０）は、例えば、先に求めた鮮鋭化画像の濃度値のゼロ交差点をエッジとすることにより行なうことができる。すなわち、ゼロとなった点のみを画像化する、あるいはゼロを境にしてプラス領域を例えば白、マイナス領域を例えば黒とすることにより画像化される。このエッジ抽出された画像を表示し、ポインティングデバイス（入力デバイス、例えばペン、マウス等）で指示することによっても図化が可能である。これらのエッジ画像とオルソ画像、あるいはエッジ画像と鮮鋭化画像を重ね合わせることによって、さらにエッジを強調した画像とし表示することもできる。
【００３４】
（５）図化・シンボル貼付け処理（ステップＳ９３０）
以上の処理によって作成されたオルソ画像、鮮鋭化画像、エッジ画像、エッジ画像とオルソ画像との組合せ画像、エッジ画像と鮮鋭化オルソ画像との組合せ画像等に基づき、シンボル貼付け部４により図化・シンボル貼付け（ステップＳ９３０）を行う。
【００３５】
シンボル貼付け部４による図化支援機能は、例えば、以下のものがある。
▲１▼オルソ画像、鮮鋭画像、エッジ画像、エッジ画像との重ね合わせ表示による図化支援（特に、図化・貼付け支援部１０による）、
▲２▼直線抽出支援（特に、図化・貼付け支援部１０による）、
▲３▼閉曲線抽出支援（特に、図化・貼付け支援部１０による）、
▲４▼シンボル登録による図化（特に、シンボル記憶部１２による）、
▲５▼シンボルについての自動図化（マッチング、位置合わせ）（特に、自動貼付け部１１による）。
【００３６】
▲１▼図化支援は、前述の説明で得られた、オルソ作成画像、鮮鋭化画像、エッジ抽出画像、エッジ抽出画像と各画像との組合せ画像等、の中で図化しやすいものを表示部５に表示し、これら表示された画像をペン等の入力デバイスによってなぞる、あるいは指示をすることによって図化が行われる。鮮鋭化画像やエッジ画像、あるいはエッジ画像との重ね合わせ画像では、例えば輪郭部が強調されているので、図化したい場所が明確になり、作業が容易になる。また、画像上をなぞるだけでよいのできわめて簡単な作業である。
【００３７】
つぎに、▲２▼直線抽出支援について説明する。これは、エッジの始点と終点をポインティングデバイスで指示することにより、その部分のエッジを自動抽出、図化するものである。なお、本当の直線で良ければ、指示したところを直線で結ぶだけなので、以下の処理は必要ない。そこで、厳密な直線でなく、抽出したい２点間を処理する場合について説明する。
【００３８】
図７に、直線抽出についての説明図を示す。例えば、図７（Ａ）に示されるように、抽出されたエッジ画像を表示し、始点と終点を指示すれば、その間が図化したものとなる（太線箇所を参照）。あるいは、オルソ画像や鮮鋭化画像を表示し、始点と終点を指示した場合、始点から線検出オペレータを用いて線検出を行い、エッジの追跡を行う処理をしてもよい。線検出オペレータは、例えば、図７（Ｂ）に示すようなオペレータ等を使用してもよいし、他の適宜のものを用いることもできる。これらのオペレータにより微分画像を作成し、微分値の高い画素を逐次つなぎあわせることにより、対象物の境界線を抽出することができる。
【００３９】
また、これらの微分値の高い画素の候補を選択する際に、曲率の和や平均値を用いると半自動抽出が可能となる。例えば、エッジの有力な候補は、始点と終点や線の向きを指示してやることにより、その方向と一番合うものを選択するようにすれば、エッジが自動抽出される。図７（Ｃ）では、線の傾きθにより指示される例を示している。これらの処理を行い、描画した画像に対し適切であれば、図化された線とみなす。また、ノイズ等がとても多く、抽出が困難な場合は、エッジの候補を画像上に表示することにより、線を選択する。ノイズ等多く、抽出が困難な場合、これら指示を繰り返すことにより図化を行う。
【００４０】
つぎに、▲３▼閉曲線抽出について説明する。図８に、閉曲線抽出についての説明図を示す。図示のように、閉曲線の場合は、閉曲線である旨指示を行う。通常、フィルタ処理によって抽出されたエッジ画像は、閉曲線となるのでそれを選択し、適切ならばそれを図化したものとみなす。しかしながら、ノイズや実際に写っている画像によって閉曲線とならない場合もありうるので、その場合は、エッジの候補を画像上に表示することにより、線を選択する。このようなエッジが多い場合は、これら指示を繰り返すことにより図化を行う。
【００４１】
つぎに、▲５▼シンボル登録による図化について説明する。シンボルには２次元的なものと３次元的なものがある。図９に、シンボルについての説明図を示す。例えば、道路等を図化する場合、横断歩道や停止線、マンホール、止まれの文字等はその大きさ・形状等がおおよそ決まっており、２次元的なシンボルである。（図９（Ａ））。また、ポストや電信柱、標識等は大きさ・形状等が決まっている３次元的なものであり、家やビル、壁等は大きさは決まっていないが３次元的なものである。また、立方体や円柱、円錐、角錐、等の基本的なものも、３次元でシンボルである（図９（Ｂ））。シンボル貼付け部４のシンボル記憶部１２は、これらシンボルについて大きさ・形状等を２次元的又は３次元的に記憶する。また、大きさや形状等の決まっているシンボルは、各方向から見た画像を予め特定することができ、オルソ画像を表示させながらマニュアルによりその位置に持ってくることにより、画像上をなぞらなくとも簡単な図化が可能となる。
【００４２】
つぎに、図１０に、シンボル貼付け処理のフローチャートを示す。以下の手順によりシンボルを貼り付けることにより、視点を変えた場合も描画可能となる。
【００４３】
まず、画像上で計測ポイントをペンやマウスなどで指示する（ステップＳ９３２）。指示は登録されたシンボルにより、例えば重心のみの１点、あるいは”かど”の２点や４点などでよい。図１１に、”かど”や重心についての説明図を示す。これらの指示は、その重心や”かど”が測量機などで３次元計測されていれば、さらに精度のよいものとなる。したがって、その計りたい対象物によってあらかじめ測量機で測量しておいた重心位置や”かど”等の座標と対応させるとよい。
【００４４】
また、引き続きステップＳ９４０における視点を変えたオルソ画像を作成する場合は、例えば、シンボルの位置を画像座標から地上座標に変換させ、地上座標上の位置にシンボル登録、オルソ画像形成時にオルソ画像貼付けと同時にその方向からみたシンボルを貼付けるようにすればよい。
【００４５】
また、測量機等により、シンボルの地上座標が既知の場合は良いが、そうでない場合は、以下の式により、画像座標上の点を地上座標に変換させる。
【数４】
【００４６】
つぎに、シンボルが何であるか、その属性を入力する（ステップＳ９３４）。属性としては、例えば、標識、建物、壁、ランドマーク、路上の図等、適宜の識別情報を用いることができる。標識これらシンボルは、縮尺や計測された座標値にあわせてシンボルの大きさ・形状等を変換する（ステップＳ９３６）。また、高さもわかれば入力する。入力されなければ、デフォルト値が入力される。なお、具体的なシンボルが無い場合やあてはまらない場合は、立方体等の基本図形を入力してもよい。その場合は、対象物として擬似的なものが作成される。そして、これらシンボルの大きさ及び位置が確定したら、その地上座標系の位置にシンボルを貼り付ける。（ステップＳ９３８）。そして、必要に応じて、視点を与えてオルソ画像を作成する（ステップＳ９００、Ｓ９４０）。これらシンボルは、方向指定部２から指示された視点のオルソ画像作成時に、シンボルもその視点から見た角度に変換が行われ貼り付けられる。
【００４７】
これらの処理によって、たとえ、見えていないところや、計測されていなくともその部分を３次元的に表現されたシンボルを配置することによって描画、図化が可能になり、加えて視点を変えて描画することができるようになる。さらに、実際にそれらのものが無くとも、そのシンボルを仮想的に配置すれば、３次元的なシミュレーションが可能になる。
【００４８】
つぎに、シンボル貼付け部４の自動貼付け部１１による自動図化・シンボル配置する例について説明する。
これは、テンプレートマッチングの技術を用いて、画像上においてシンボルと似たものを探索し、見つかった場所にそのシンボルを配置することにより自動図化を行なうものである。マッチングは、例えば、エッジ抽出画像において行なう。エッジ抽出画像によれば、２値画像化されているので、濃淡画像より情報量が少なく、また、余計な情報がないので、高速で確実なマッチング処理が行われる。
【００４９】
以下に、自動図化・シンボル配置についての具体的手順を説明する。
１．まず、寸法・形状等の決まっているシンボル（例えば、図９参照）をテンプレートとして登録する。
２．つぎに、オルソ画像の縮尺にこれらシンボルの寸法を変換する（計算処理）。
３．つぎに、自動図化したい領域を指定する。
４．指定された領域についてテンプレート画像を元にテンプレートマッチングする（計算処理：以下の数式５等参照）
５．一致した画像上の場所に、登録されているシンボルを重ね合わせ、貼付ける。
６．自動図化・シンボル配置が適切であれば終了する。
【００５０】
ここで、上述の手順４．のテンプレートマッチングについて説明する。テンプレートマッチングは、正規化相関法や残差逐次検定法（ＳＳＤＡ法）などどれを用いても良い。残差逐次検定法を使用すれば処理が高速化でき、ここでは、この検定法を説明する。
【００５１】
まず、残差逐次検定法の式を以下に示す。残差Ｒ（ａ，ｂ）が最小になる点が、求める画像の位置である。処理の高速化をはかるため、上式の加算において、Ｒ（ａ，ｂ）の値が過去の残差の最小値を越えたら加算を打ち切り、次の（ａ，ｂ）に移るよう計算処理を行う。
【数５】
【００５２】
上述の説明は、エッジ画像としたが、オルソ画像、鮮鋭化画像、エッジ画像と各画像との組合せ画像等としたものでも上述の処理を行なうことができる。この場合、登録されるシンボルは、濃淡処理を行い、実際に濃淡のついた画像とする。このように図化された画像は、３次元的に視点を変えても、見えない部分や計測点不足個所もシンボルで補い、見えるようになる。
【００５３】
（６）視点を変えたオルソ画像形成処理（ステップＳ９４０）
つぎに、視点をかえて見たオルソ画像の作成について説明する。
【００５４】
ここでは、一例として、オルソ画像形成部１は、方向指定部２で指定された方向に座標系を回転させ、オルソ画像を形成させる。図１２に、座標系の回転についての説明図を示す。すなわち、図示されているように、地上座標系Ｘ，Ｙ，Ｚをそれぞれの軸方向ω、φ、κの適宜の方向に回転させることにより、視点を変えた地上座標系Ｘ’，Ｙ’，Ｚ’が得られ、これらに対し、オルソ画像形成処理Ｓ９００を行ない、オルソ画像を作成する。
【００５５】
以下に詳細に説明する。例えば、傾きのない地上座標系Ｘ，Ｙ，Ｚで表された対象物Ｐ（Ｘ，Ｙ，Ｚ）が、逆に傾きのある地上座標系Ｘ’，Ｙ’，Ｚ’（視点を変えた座標系）でとる座標をＰ’（Ｘ’，Ｙ’，Ｚ’）とすると、以下の数式によりその座標を求めることができる。
【数６】
【００５６】
ここで座標変換して求められた各座標Ｘ’、Ｙ’、Ｚ’について、オルソ画像形成部１によるステップＳ９００と同様のオルソ画像形成処理を行なえば、視点を変えたオルソ画像を得ることができる。なお、作成されたオルソ画像は、表示部５に表示される。
【００５７】
【発明の効果】
本発明によると、以上のように、計測現場の図化を行う際に画像を貼付け、誰でも簡単に図化を行えるようにするのと同時に、オルソ画像上で見えない個所や計測していない個所でも、３次元のシンボルを貼り付けることによって図化を行い、現地状況を視点を変えながら見ることができる。また、本発明によると、視点を変えたオルソ画像を描画することで、図化支援だけでなく現況状況の様々な角度からの確認および仮想的・立体的なシミュレーションまでも行なうことができる。
【００５８】
また、本発明によると、オルソ画像作成、鮮鋭化画像、エッジ画像、エッジ画像と各画像との組合せ画像、等により、それら画像を表示して、画面をなぞるだけで簡単な図化が可能となり、さらに各種画像処理により、線抽出、閉曲線抽出等を半自動的に行い、また、シンボルを登録して配置することで簡単に図化を可能とする。
【００５９】
さらに、本発明によると、テンプレートマッチング技術を用いることで、自動図化を可能とし、誰でも容易に図化することができる。
【図面の簡単な説明】
【図１】本発明に係る画像形成装置の構成図。
【図２】特徴抽出部の構成図。
【図３】シンボル貼付け部の構成図。
【図４】本発明の画像形成処理のフローチャート。
【図５】オルソ画像作成処理のフローチャート。
【図６】ラプラシアンオペレータの一例の説明図。
【図７】直線抽出についての説明図。
【図８】閉曲線抽出についての説明図。
【図９】シンボルについての説明図。
【図１０】シンボル貼付け処理のフローチャート。
【図１１】”かど”や重心についての説明図。
【図１２】座標系の回転についての説明図。
【符号の説明】
１ オルソ画像形成部
２ 方向指定部
３ 特徴抽出部
４ シンボル貼付け部４
５ 表示部
６ 入出力部
２０ 鮮鋭画像作成部
２１ エッジ抽出部
１０ 図化・シンボル貼付け支援部
１１ 自動貼付け部
１２ シンボル記憶部
【発明の属する技術分野】
本発明は、画像形成装置に係り、特に、計測現場の図化を行う装置に中心投影画像から正射投影（オルソ）画像を形成したり、既に得られた正射投影（オルソ）画像を取り入れ、図化を簡単に行えるようにする画像形成装置に関する。本発明は、さらに、計測現場の図化を２次元でなく３次元的に行い、オルソ画像上で見えなかった部分や三次元計測できなかった部分を補うと同時に、オルソ画像を視点を変えて見られるようにすることにより、現況の立体的な確認やシミュレーションを行えるようにした画像形成装置に関する。
【０００２】
【従来の技術】
従来技術によれば、計測現場で測量することにより得られる図面は、平板測量に代表されるような紙と鉛筆等により作成されていた。また、近年では、電子平板に代表されるような測量機とポータブルコンピュータとの組み合わせにより、計測現場の線画図面が作成されていた。このような従来の電子平板では、トータルステーションやＧＰＳなどの測量機を利用してポータブルコンピュータ上で、線画を描画することで図化を行っていた。そして、計測現場の図化を行う際、現地にて現況を見ながら図化したり、別途写真撮影して、それらを見ながらオフィスにて図化を行っていた。また、航空写真などでは、ステレオ撮影していた画像から、解析図化機等を用いて図化を行っていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来では、現地にて電子平板などで図化する場合、２次元的な線画の図化しかできなかった。また、従来、オフィスにて持ち帰って図化する場合は、実際の状況の写真と照らし合わせて図化を行うようにしていたが、この際、図面と写真が一対一に対応しておらず、確認しながらの図化が困難であったり、わからない個所がある等ということがあった。さらに、作成された図面は２次元的なものであり、３次元的に確認することはできず、別途撮影した写真を見ながら現況を想像するしかなかった。
【０００４】
また、従来、航空写真などから図化する場合は、解析図化機等を使用して図化を行っていたが、操作に熟練を要し、誰でも簡単にできるものではなかった。さらに、従来は、オルソ画像から図化する際に、見えないところや計測していない個所は図化することが難しかった。
【０００５】
本発明は、以上の点に鑑み、計測現場の図化を行う際に画像を貼付け、誰でも簡単に図化を行えるようにするのと同時に、オルソ画像上で見えない個所や計測していない個所でも、３次元のシンボルを貼り付けることによって図化を行い、現地状況を視点を変えながら見ることができるようにした画像形成装置を提供することを目的とする。また、本発明は、視点を変えたオルソ画像を描画することで、図化支援だけでなく現況状況の様々な角度からの確認および仮想的・立体的なシミュレーションまでもが行なえる画像形成装置を提供することを目的とする。
【０００６】
また、本発明は、オルソ画像作成、鮮鋭化画像、エッジ画像、エッジ画像と各画像との組合せ画像、等により、それら画像を表示して、画面をなぞるだけで簡単な図化が可能とし、さらに各種画像処理により、線抽出、閉曲線抽出等を半自動的に行い、また、シンボルを登録して配置することで簡単に図化を可能とする画像形成装置を提供することを目的とする。
【０００７】
さらに、本発明は、テンプレートマッチング技術を用いることで、自動図化を可能とし、誰でも容易に図化できる画像形成装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明のひとつの特徴としては、図化したい場所の画像からオルソ画像を作成し、図化を簡単化することである。さらに、本発明の他の特徴としては、この画像から鮮鋭化やエッジ抽出処理などの画像処理を行うことにより図化の支援を行い、また対象物によっては自動図化を行うことにより、図面化をより簡単化した。そして、本発明のさらに他の特徴としては、形状・大きさ等が定められている２次元、３次元のシンボルを予め記憶することにより、オルソ画像上で見えない個所や計測していない個所を図化できるようにし、オルソ画像上で視点を変えて見ることができるようにすることで図面化と同時に現況を簡単に確認できるようにした。
【０００９】
本発明の解決手段によると、
オルソ画像を形成する方向を指定する方向指定部と、
撮影された画像データ及びその三次元データに基づき第１のオルソ画像を形成するとともに、該画像データ及びその三次元データに基づき上記方向指定部で指定された方向に視点を変えた第２のオルソ画像を形成するオルソ画像形成部と、
上記オルソ画像形成部で形成されたオルソ画像中に現れた地物の位置に、該地物を示す所定のシンボルを貼付するシンボル貼付部と、
を備え、
該シンボル貼付部は、上記オルソ画像形成部で形成されたオルソ画像上で見えない個所や計測不足個所に対して入力されたシンボルの位置及び属性に従い、予め記憶されたシンボルに基づいて、シンボルの大きさ及び位置を確定し、上記方向指定部により指定された方向から見た形態で、オルソ画像上で見えない個所や計測不足個所を補うようにオルソ画像上にシンボルを貼付することを特徴とした画像形成装置を提供する。
【００１０】
上記シンボル貼付部は、画像座標系で指示されたシンボルの位置を画像座標から地上座標に変換させて地上座標上の位置にシンボルを登録し、オルソ画像形成時に上記方向指定部により指定された方向から見た形態でオルソ画像上にシンボルを貼付することができる。
また、上記シンボル貼付部は、画像上においてシンボルと似たものを探索し、見つかった場所にそのシンボルを配置する自動貼付け部を有することができる。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照して説明する。
【００１２】
（１）構成及び動作の概要
図１に、本発明に係る画像形成装置の構成図を示す。
この画像形成装置は、オルソ画像による図化支援を行うことができ、オルソ画像形成部１、方向指定部２、特徴抽出部３、シンボル貼付け部４を備える。また、画像形成装置は、表示部５及び入出力部６を備えることができる。
【００１３】
オルソ画像形成部１は、基準点が撮し込まれている中心投影画像である撮影画像に基づき、オルソ画像を形成する。方向指定部２は、オルソ画像を視点をかえて見ることができるように指定し、オルソ画像形成部１により視点を変えたオルソ画像を作成する。特徴抽出部３は、オルソ画像からエッジ、直線、曲線等の特徴を抽出する。シンボル貼付け部４は、形状・大きさ等が定められている２次元、３次元のシンボルを予め記憶し、図化や図化する際に適宜のシンボルを貼り付ける。
【００１４】
表示部５は、ＣＲＴ、液晶ディスプレイ又はプラズマディスプレイ等の２次元又は３次元表示を行うものである。表示部５は、形成されたオルソ画像や、視点を変えて描画したオルソ画像、画像特徴抽出部３によって画像処理されたオルソ画像、シンボル貼付け部４で貼り付けるシンボル等を表示する。また、入出力部６は、各種画像データや測量機等の３次元座標入力装置から３次元座標データ等を他の装置と入出力するものである。入出力部６としては、例えば、光ディスク装置やカード型の記憶媒体（ＨＤＤ，メモリ等）、フロッピーディスク、キーボード、ペン、マウス、ターミナル、ＣＤ−ＲＯＭディスクドライブなどの各種入力装置・出力装置を備えることができる。
【００１５】
図２に、特徴抽出部の構成図を示す。特徴抽出部３は、図示されるように、鮮鋭画像作成部２０、エッジ抽出部２１を備える。鮮鋭画像作成部２０は、図化支援として先鋭化したオルソ画像を作成する。エッジ抽出部２１は、エッジ、直線、曲線等の所定の特徴の抽出を行う。
【００１６】
図３に、シンボル貼付け部の構成図を示す。シンボル貼付け部４は、図化・シンボル貼付け支援部１０、自動貼付け部１１、シンボル記憶部１２を備える。図化・シンボル貼付け支援部１０は、オルソ画像、先鋭画像、エッジ画像等の重ね合わせ表示、シンボル貼付け等による図化支援を行う。自動貼付け部１１は、マッチング、位置合わせ等により、シンボル等の自動配置及び貼付けを行う。シンボル記憶部１２は、２次元、３次元のシンボルを記憶する。
【００１７】
上述のような各部・手段は、例えばポータブルコンピュータ（ＰＣ）により実現することができ、各部・手段についての詳細は後述する。また、これら各部・手段により、以下に説明するように、オルソ画像による図化支援を行うことができる画像形成装置が実現される。
【００１８】
つぎに、本発明に係る処理の概要を説明する。図４に、本発明の画像形成処理のフローチャートを示す。
【００１９】
まず、現地にて測量機とデジタルカメラ、ポータブルコンピュータなどを使用し、オルソ画像形成部１により、基準点が撮し込まれている中心投影画像である撮影画像に基づき、オルソ画像を作成する（ステップＳ９００）。あるいは、航空写真等と基準点測量した地上座標（３次元座標）等を利用してオルソ画像作成を行う。あるいは、販売しているオルソ画像を入手してもよい。但し、この場合も画像上に写し込まれている基準点測量をした地上座標をいっしょに入手する。なお、ここで、特に指定されなければ、標準で作成するオルソ画像は、視点を鉛直方向（真上）又は鉛直方向からやや斜め方向から撮影された画像に基づき求められたものであるが、横方向等の他の方向から撮影したものを用いて良い。また、撮影方向は、方向指定部２により予め方向を指定してもよいし、予め記憶された方向を定めた標準データを用いてもよい。
【００２０】
つぎに、特徴抽出部３の鮮鋭画像作成部２０により、図化支援として鮮鋭化したオルソ画像を作成する（ステップＳ９１０）。さらに、特徴抽出部３のエッジ抽出部２１により、エッジ抽出を行なう（ステップＳ９２０）。これら作成した画像を利用して、シンボル貼り付け部４により、シンボル貼り付け、図化を行なう（ステップＳ９３０）。
【００２１】
一般に、オルソ画像を作成すれば、画像に寸法が反映されているため画像上をなぞるだけで、線画の図化が可能となるので、これだけでも図化する際の支援となる。さらに、本発明では、特徴抽出部３において、鮮鋭画像作成部２０により画像の鮮鋭化処理（ステップＳ９１０）、エッジ抽出部２１によりエッジ抽出処理（ステップＳ９２０）を行い、図化支援を行う。また、シンボル貼付け部４により、シンボル貼付けによる図化、シンボル貼付けによる自動図化を行い、図化支援を行う。したがって、図化支援は、オルソ画像、鮮鋭化したオルソ画像、エッジ画像、エッジ画像とオルソ画像との組合せ画像、エッジ画像と鮮鋭化したオルソ画像との組合せ画像等のように、適宜の画像について行うことができる。
【００２２】
このようにして作成されたオルソ画像は、視点を変えて描画した場合、登録した３次元シンボルにより、見えなかった部分や計測していなかった部分を表現することが可能となり、さらに仮想的にシンボルを配置すれば、現場状況の様々な再現に加えてシミュレーション等も行なうことができるようになる（ステップＳ９４０）。なお、ステップＳ９４０は、省略しても良い。
【００２３】
（２）オルソ画像作成処理（ステップＳ９００）
以下、オルソ画像形成部１によるオルソ画像作成処理（ステップＳ９００）の詳細を説明する。図５に、オルソ画像作成処理のフローチャートを示す。
【００２４】
まず、オルソ画像を作成する際に、撮影された画像を読み込む（ステップＳ２０１）。つぎに、撮影画像上に写し込まれた基準点数点（例えば６点以上）の画像座標を三次元データとして計測する（ステップＳ２０３）。この写し込まれた基準点は測量機等で地上座標をあらかじめ計測してあるものである。つぎに、この画像座標と地上座標の対応づけを行ない、座標変換パラメータを求める（ステップＳ２０５）。これは以下に示す３次の射影変換式により行なう。
【数１】
（Ｘ、Ｙ、Ｚ）：地上座標、
Ｌ１〜Ｌ１１ ：未知変量。
これらのような数式を、基準点のデータに基づき最小二乗法を用いて解くと、画像座標（ｘ、ｙ）と３次元座標（Ｘ、Ｙ、Ｚ）との関係を決定する各種変換パラメータを取得することができる。
【００２５】
つぎに、オルソ画像上の各画素（ピクセル）の地上座標を計算する（ステップＳ２０７）。この処理では、オルソ画像作成のために、オルソ画像の画像座標（ｘ、ｙ）を地上座標（Ｘ、Ｙ、Ｚ）に変換するものである。地上座標（Ｘ、Ｙ、Ｚ）は、先に座標変換パラメータ算出処理のステップＳ２０５で求められた変換パラメータを用いて計算される。即ち、オルソ画像の画像座標（ｘ、ｙ）に対応する地上座標（Ｘ、Ｙ、Ｚ）は、以下の式で与えられる。このようにして、オルソ画像上の各ピクセルの取得位置を求めることができる。
【数２】
（Ｘ０、Ｙ０） ：地上座標系でのオルソ画像の左上の位置、
（ΔＸ、ΔＹ）：地上座標系での１画素の大きさ（例：ｍ／ｐｉｘｅｌ）、
（ｘ、ｙ） ：オルソ画像の画像座標、
（Ｘ、Ｙ、Ｚ）：地上画像（三次元座標）、
ａ、ｂ、ｃ、ｄ：ある画像座標（ｘ、ｙ）を内挿する複数の基準点により形成される平面方程式の係数である。
【００２６】
今度は、ステップＳ２０５で求めた変換パラメータを使用して、数式１により、ステップＳ２０７で求められた地上座標（Ｘ、Ｙ、Ｚ）に対応する画像座標（ｘ、ｙ）を計算する（ステップＳ２０９）。このように求められた画像座標（ｘ、ｙ）から、該当する画像の地上座標（Ｘ、Ｙ、Ｚ）上の濃度値を取得する。この濃度値が、オルソ画像上における２次元の位置（Ｘ、Ｙ）のピクセルの濃度である。このように、地上座標上の位置（Ｘ、Ｙ）に貼り付ける画像濃度を取得する。以上のような処理を、オルソ画像のすべてのピクセルに対して行うことにより、画像貼付が行なわれる（ステップＳ２１１）。なお、ここでは、画像濃度について画像貼付を説明したが、これに限らず、色、柄等適宜の情報を取得して、画像貼付けを行うことができる。
【００２７】
（３）画像鮮鋭化処理（ステップＳ９１０）
つぎに、特徴抽出部３による画像鮮鋭化処理（ステップＳ９１０）の詳細について説明する。この処理を行なうことにより、画像を鮮鋭化し、輪郭を強調した画像にすることができるため、マニュアル図化する際に、通常の画像上でトレースするよりも図化が行いやすくなるという利点がある。
【００２８】
鮮鋭化画像は、例えば、ステップＳ９００で作成されたオルソ画像に、ラプラシアンフィルタやラプラシアンガウシアンフィルタ等の処理を施し、ぼけ画像を作成、元のオルソ画像からぼけ画像を差分することにより得ることができる。特徴抽出部３の鮮鋭画像作成部２０では、以下の演算処理等を行い、鮮鋭画像を作成する。
ｇ（ｉ，ｊ）＝ｆ（ｉ，ｊ）−∇２ｆ（ｉ，ｊ）
ここで、ｇ（ｉ，Ｊ） ：鮮鋭化画像、
ｆ（ｉ，ｊ） ：入力画像、
∇２ｆ（ｉ，ｊ）：入力画像のラプラシアン
なお、∇２ｆ（ｉ，ｊ）に関しては、いろいろな形の微分オペレータがある。
【００２９】
図６に、ラプラシアンオペレータの一例の説明図を示す。また、これにガウシアンを施したものとしてもよい。なお、オペレータは、これに限られたものではなく、適宜のものを用いることができる。以上の処理により、鮮鋭画像が得られる。鮮鋭画像の求め方はこれによらず、多種のものがある。
【００３０】
また、上述のようなデジタル的な方法でなく、次式に示されるような計算処理によって求めてもよい。次式は、計算処理的なガウシアンを施したものである。
【数３】
ｇ（ｘ，ｙ）＝ｆ（ｘ，ｙ）−∇２Ｇ（ｘ，ｙ）
ここで、ｇ（ｘ，ｙ） ：鮮鋭化画像、
ｆ（ｘ，ｙ） ：入力画像、
∇２Ｇ（ｘ，ｙ）：入力画像のラプラシアンガウシアン
【００３１】
また、撮影時において、ピントのあった状態（上式ｆ（ｘ，ｙ）に相当）とピントの合っていない状態（上式∇２Ｇ（ｘ，ｙ）に相当）の同一画像を撮影し、その差分画像を得ることによっても同様の効果が得られるため、そのようにしても良い。
【００３２】
（４）エッジ抽出処理（ステップＳ９２０）
つぎに、特徴抽出部３のエッジ抽出部２１により、鮮鋭化された画像からエッジ抽出を行う処理（ステップＳ９２０）について説明する。
【００３３】
エッジ抽出処理（ステップＳ９２０）は、例えば、先に求めた鮮鋭化画像の濃度値のゼロ交差点をエッジとすることにより行なうことができる。すなわち、ゼロとなった点のみを画像化する、あるいはゼロを境にしてプラス領域を例えば白、マイナス領域を例えば黒とすることにより画像化される。このエッジ抽出された画像を表示し、ポインティングデバイス（入力デバイス、例えばペン、マウス等）で指示することによっても図化が可能である。これらのエッジ画像とオルソ画像、あるいはエッジ画像と鮮鋭化画像を重ね合わせることによって、さらにエッジを強調した画像とし表示することもできる。
【００３４】
（５）図化・シンボル貼付け処理（ステップＳ９３０）
以上の処理によって作成されたオルソ画像、鮮鋭化画像、エッジ画像、エッジ画像とオルソ画像との組合せ画像、エッジ画像と鮮鋭化オルソ画像との組合せ画像等に基づき、シンボル貼付け部４により図化・シンボル貼付け（ステップＳ９３０）を行う。
【００３５】
シンボル貼付け部４による図化支援機能は、例えば、以下のものがある。
▲１▼オルソ画像、鮮鋭画像、エッジ画像、エッジ画像との重ね合わせ表示による図化支援（特に、図化・貼付け支援部１０による）、
▲２▼直線抽出支援（特に、図化・貼付け支援部１０による）、
▲３▼閉曲線抽出支援（特に、図化・貼付け支援部１０による）、
▲４▼シンボル登録による図化（特に、シンボル記憶部１２による）、
▲５▼シンボルについての自動図化（マッチング、位置合わせ）（特に、自動貼付け部１１による）。
【００３６】
▲１▼図化支援は、前述の説明で得られた、オルソ作成画像、鮮鋭化画像、エッジ抽出画像、エッジ抽出画像と各画像との組合せ画像等、の中で図化しやすいものを表示部５に表示し、これら表示された画像をペン等の入力デバイスによってなぞる、あるいは指示をすることによって図化が行われる。鮮鋭化画像やエッジ画像、あるいはエッジ画像との重ね合わせ画像では、例えば輪郭部が強調されているので、図化したい場所が明確になり、作業が容易になる。また、画像上をなぞるだけでよいのできわめて簡単な作業である。
【００３７】
つぎに、▲２▼直線抽出支援について説明する。これは、エッジの始点と終点をポインティングデバイスで指示することにより、その部分のエッジを自動抽出、図化するものである。なお、本当の直線で良ければ、指示したところを直線で結ぶだけなので、以下の処理は必要ない。そこで、厳密な直線でなく、抽出したい２点間を処理する場合について説明する。
【００３８】
図７に、直線抽出についての説明図を示す。例えば、図７（Ａ）に示されるように、抽出されたエッジ画像を表示し、始点と終点を指示すれば、その間が図化したものとなる（太線箇所を参照）。あるいは、オルソ画像や鮮鋭化画像を表示し、始点と終点を指示した場合、始点から線検出オペレータを用いて線検出を行い、エッジの追跡を行う処理をしてもよい。線検出オペレータは、例えば、図７（Ｂ）に示すようなオペレータ等を使用してもよいし、他の適宜のものを用いることもできる。これらのオペレータにより微分画像を作成し、微分値の高い画素を逐次つなぎあわせることにより、対象物の境界線を抽出することができる。
【００３９】
また、これらの微分値の高い画素の候補を選択する際に、曲率の和や平均値を用いると半自動抽出が可能となる。例えば、エッジの有力な候補は、始点と終点や線の向きを指示してやることにより、その方向と一番合うものを選択するようにすれば、エッジが自動抽出される。図７（Ｃ）では、線の傾きθにより指示される例を示している。これらの処理を行い、描画した画像に対し適切であれば、図化された線とみなす。また、ノイズ等がとても多く、抽出が困難な場合は、エッジの候補を画像上に表示することにより、線を選択する。ノイズ等多く、抽出が困難な場合、これら指示を繰り返すことにより図化を行う。
【００４０】
つぎに、▲３▼閉曲線抽出について説明する。図８に、閉曲線抽出についての説明図を示す。図示のように、閉曲線の場合は、閉曲線である旨指示を行う。通常、フィルタ処理によって抽出されたエッジ画像は、閉曲線となるのでそれを選択し、適切ならばそれを図化したものとみなす。しかしながら、ノイズや実際に写っている画像によって閉曲線とならない場合もありうるので、その場合は、エッジの候補を画像上に表示することにより、線を選択する。このようなエッジが多い場合は、これら指示を繰り返すことにより図化を行う。
【００４１】
つぎに、▲５▼シンボル登録による図化について説明する。シンボルには２次元的なものと３次元的なものがある。図９に、シンボルについての説明図を示す。例えば、道路等を図化する場合、横断歩道や停止線、マンホール、止まれの文字等はその大きさ・形状等がおおよそ決まっており、２次元的なシンボルである。（図９（Ａ））。また、ポストや電信柱、標識等は大きさ・形状等が決まっている３次元的なものであり、家やビル、壁等は大きさは決まっていないが３次元的なものである。また、立方体や円柱、円錐、角錐、等の基本的なものも、３次元でシンボルである（図９（Ｂ））。シンボル貼付け部４のシンボル記憶部１２は、これらシンボルについて大きさ・形状等を２次元的又は３次元的に記憶する。また、大きさや形状等の決まっているシンボルは、各方向から見た画像を予め特定することができ、オルソ画像を表示させながらマニュアルによりその位置に持ってくることにより、画像上をなぞらなくとも簡単な図化が可能となる。
【００４２】
つぎに、図１０に、シンボル貼付け処理のフローチャートを示す。以下の手順によりシンボルを貼り付けることにより、視点を変えた場合も描画可能となる。
【００４３】
まず、画像上で計測ポイントをペンやマウスなどで指示する（ステップＳ９３２）。指示は登録されたシンボルにより、例えば重心のみの１点、あるいは”かど”の２点や４点などでよい。図１１に、”かど”や重心についての説明図を示す。これらの指示は、その重心や”かど”が測量機などで３次元計測されていれば、さらに精度のよいものとなる。したがって、その計りたい対象物によってあらかじめ測量機で測量しておいた重心位置や”かど”等の座標と対応させるとよい。
【００４４】
また、引き続きステップＳ９４０における視点を変えたオルソ画像を作成する場合は、例えば、シンボルの位置を画像座標から地上座標に変換させ、地上座標上の位置にシンボル登録、オルソ画像形成時にオルソ画像貼付けと同時にその方向からみたシンボルを貼付けるようにすればよい。
【００４５】
また、測量機等により、シンボルの地上座標が既知の場合は良いが、そうでない場合は、以下の式により、画像座標上の点を地上座標に変換させる。
【数４】
つぎに、シンボルが何であるか、その属性を入力する（ステップＳ９３４）。属性としては、例えば、標識、建物、壁、ランドマーク、路上の図等、適宜の識別情報を用いることができる。標識これらシンボルは、縮尺や計測された座標値にあわせてシンボルの大きさ・形状等を変換する（ステップＳ９３６）。また、高さもわかれば入力する。入力されなければ、デフォルト値が入力される。なお、具体的なシンボルが無い場合やあてはまらない場合は、立方体等の基本図形を入力してもよい。その場合は、対象物として擬似的なものが作成される。そして、これらシンボルの大きさ及び位置が確定したら、その地上座標系の位置にシンボルを貼り付ける。（ステップＳ９３８）。そして、必要に応じて、視点を与えてオルソ画像を作成する（ステップＳ９００、Ｓ９４０）。これらシンボルは、方向指定部２から指示された視点のオルソ画像作成時に、シンボルもその視点から見た角度に変換が行われ貼り付けられる。
【００４７】
これらの処理によって、たとえ、見えていないところや、計測されていなくともその部分を３次元的に表現されたシンボルを配置することによって描画、図化が可能になり、加えて視点を変えて描画することができるようになる。さらに、実際にそれらのものが無くとも、そのシンボルを仮想的に配置すれば、３次元的なシミュレーションが可能になる。
【００４８】
つぎに、シンボル貼付け部４の自動貼付け部１１による自動図化・シンボル配置する例について説明する。
これは、テンプレートマッチングの技術を用いて、画像上においてシンボルと似たものを探索し、見つかった場所にそのシンボルを配置することにより自動図化を行なうものである。マッチングは、例えば、エッジ抽出画像において行なう。エッジ抽出画像によれば、２値画像化されているので、濃淡画像より情報量が少なく、また、余計な情報がないので、高速で確実なマッチング処理が行われる。
【００４９】
以下に、自動図化・シンボル配置についての具体的手順を説明する。
１．まず、寸法・形状等の決まっているシンボル（例えば、図９参照）をテンプレートとして登録する。
２．つぎに、オルソ画像の縮尺にこれらシンボルの寸法を変換する（計算処理）。
３．つぎに、自動図化したい領域を指定する。
４．指定された領域についてテンプレート画像を元にテンプレートマッチングする（計算処理：以下の数式５等参照）
５．一致した画像上の場所に、登録されているシンボルを重ね合わせ、貼付ける。
６．自動図化・シンボル配置が適切であれば終了する。
【００５０】
ここで、上述の手順４．のテンプレートマッチングについて説明する。テンプレートマッチングは、正規化相関法や残差逐次検定法（ＳＳＤＡ法）などどれを用いても良い。残差逐次検定法を使用すれば処理が高速化でき、ここでは、この検定法を説明する。
【００５１】
まず、残差逐次検定法の式を以下に示す。残差Ｒ（ａ，ｂ）が最小になる点が、求める画像の位置である。処理の高速化をはかるため、上式の加算において、Ｒ（ａ，ｂ）の値が過去の残差の最小値を越えたら加算を打ち切り、次の（ａ，ｂ）に移るよう計算処理を行う。
【数５】
上述の説明は、エッジ画像としたが、オルソ画像、鮮鋭化画像、エッジ画像と各画像との組合せ画像等としたものでも上述の処理を行なうことができる。この場合、登録されるシンボルは、濃淡処理を行い、実際に濃淡のついた画像とする。このように図化された画像は、３次元的に視点を変えても、見えない部分や計測点不足個所もシンボルで補い、見えるようになる。
【００５３】
（６）視点を変えたオルソ画像形成処理（ステップＳ９４０）
つぎに、視点をかえて見たオルソ画像の作成について説明する。
【００５４】
ここでは、一例として、オルソ画像形成部１は、方向指定部２で指定された方向に座標系を回転させ、オルソ画像を形成させる。図１２に、座標系の回転についての説明図を示す。すなわち、図示されているように、地上座標系Ｘ，Ｙ，Ｚをそれぞれの軸方向ω、φ、κの適宜の方向に回転させることにより、視点を変えた地上座標系Ｘ’，Ｙ’，Ｚ’が得られ、これらに対し、オルソ画像形成処理Ｓ９００を行ない、オルソ画像を作成する。
【００５５】
以下に詳細に説明する。例えば、傾きのない地上座標系Ｘ，Ｙ，Ｚで表された対象物Ｐ（Ｘ，Ｙ，Ｚ）が、逆に傾きのある地上座標系Ｘ’，Ｙ’，Ｚ’（視点を変えた座標系）でとる座標をＰ’（Ｘ’，Ｙ’，Ｚ’）とすると、以下の数式によりその座標を求めることができる。
【数６】
ここで座標変換して求められた各座標Ｘ’、Ｙ’、Ｚ’について、オルソ画像形成部１によるステップＳ９００と同様のオルソ画像形成処理を行なえば、視点を変えたオルソ画像を得ることができる。なお、作成されたオルソ画像は、表示部５に表示される。
【００５７】
【発明の効果】
本発明によると、以上のように、計測現場の図化を行う際に画像を貼付け、誰でも簡単に図化を行えるようにするのと同時に、オルソ画像上で見えない個所や計測していない個所でも、３次元のシンボルを貼り付けることによって図化を行い、現地状況を視点を変えながら見ることができる。また、本発明によると、視点を変えたオルソ画像を描画することで、図化支援だけでなく現況状況の様々な角度からの確認および仮想的・立体的なシミュレーションまでも行なうことができる。
【００５８】
また、本発明によると、オルソ画像作成、鮮鋭化画像、エッジ画像、エッジ画像と各画像との組合せ画像、等により、それら画像を表示して、画面をなぞるだけで簡単な図化が可能となり、さらに各種画像処理により、線抽出、閉曲線抽出等を半自動的に行い、また、シンボルを登録して配置することで簡単に図化を可能とする。
【００５９】
さらに、本発明によると、テンプレートマッチング技術を用いることで、自動図化を可能とし、誰でも容易に図化することができる。
【図面の簡単な説明】
【図１】本発明に係る画像形成装置の構成図。
【図２】特徴抽出部の構成図。
【図３】シンボル貼付け部の構成図。
【図４】本発明の画像形成処理のフローチャート。
【図５】オルソ画像作成処理のフローチャート。
【図６】ラプラシアンオペレータの一例の説明図。
【図７】直線抽出についての説明図。
【図８】閉曲線抽出についての説明図。
【図９】シンボルについての説明図。
【図１０】シンボル貼付け処理のフローチャート。
【図１１】”かど”や重心についての説明図。
【図１２】座標系の回転についての説明図。
【符号の説明】
１ オルソ画像形成部
２ 方向指定部
３ 特徴抽出部
４ シンボル貼付け部４
５ 表示部
６ 入出力部
２０ 鮮鋭画像作成部
２１ エッジ抽出部
１０ 図化・シンボル貼付け支援部
１１ 自動貼付け部
１２ シンボル記憶部
Claims (7)
- オルソ画像を形成する方向を指定する方向指定部と、
撮影された画像データ及びその三次元データに基づき第１のオルソ画像を形成するとともに、該画像データ及びその三次元データに基づき上記方向指定部で指定された方向に視点を変えた第２のオルソ画像を形成するオルソ画像形成部と、
上記オルソ画像形成部で形成されたオルソ画像中に現れた地物の位置に、該地物を示す所定のシンボルを貼付するシンボル貼付部と、
を備え、
該シンボル貼付部は、上記オルソ画像形成部で形成されたオルソ画像上で見えない個所や計測不足個所に対して入力されたシンボルの位置及び属性に従い、予め記憶されたシンボルに基づいて、シンボルの大きさ及び位置を確定し、上記方向指定部により指定された方向から見た形態で、オルソ画像上で見えない個所や計測不足個所を補うようにオルソ画像上にシンボルを貼付することを特徴とした画像形成装置。 - 請求項１に記載の画像形成装置において、
上記シンボル貼付部は、画像座標系で指示されたシンボルの位置を画像座標から地上座標に変換させて地上座標上の位置にシンボルを登録し、オルソ画像形成時に上記方向指定部により指定された方向から見た形態でオルソ画像上にシンボルを貼付することを特徴とする画像形成装置。 - 請求項１または請求項２に記載の画像形成装置において、
上記シンボル貼付部は、画像上においてシンボルと似たものを探索し、見つかった場所にそのシンボルを配置する自動貼付け部を有する請求項１記載の画像形成装置。 - 請求項１乃至３のいずれかに記載の画像形成装置において、
上記オルソ画像形成部が形成したオルソ画像から所定の特徴を抽出する特徴抽出部をさらに備えたことを特徴とする画像形成装置。 - 請求項４に記載の画像形成装置において、
上記特徴抽出部は、オルソ画像中のエッジ、直線部分、閉曲線部分、地物を表す所定の形状のいずれか又は複数を所定の特徴として抽出することを特徴とする画像形成装置。 - 請求項４又は５に記載の画像形成装置において、
上記特徴抽出部は、ぼけ画像を作成し、元のオルソ画像から該ぼけ画像を差分することにより鮮鋭画像を作成する鮮鋭画像作成部を備えたことを特徴とする画像形成装置。 - 請求項４乃至６のいずれかに記載の画像形成装置において、
上記シンボル貼付部は、上記特徴抽出部で抽出された所定の特徴の位置に基づきシンボルを貼付することを特徴とする画像形成装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11872699A JP4313462B2 (ja) | 1999-04-26 | 1999-04-26 | 画像形成装置 |
| US09/556,781 US6804389B1 (en) | 1999-04-26 | 2000-04-25 | Image forming apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11872699A JP4313462B2 (ja) | 1999-04-26 | 1999-04-26 | 画像形成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000306105A JP2000306105A (ja) | 2000-11-02 |
| JP4313462B2 true JP4313462B2 (ja) | 2009-08-12 |
Family
ID=14743571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11872699A Expired - Fee Related JP4313462B2 (ja) | 1999-04-26 | 1999-04-26 | 画像形成装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6804389B1 (ja) |
| JP (1) | JP4313462B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3413266A1 (en) | 2017-06-09 | 2018-12-12 | Topcon Corporation | Image processing device, image processing method, and image processing program |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3776787B2 (ja) * | 2001-11-02 | 2006-05-17 | Ｎｅｃ東芝スペースシステム株式会社 | 三次元データベース生成システム |
| US20080048979A1 (en) * | 2003-07-09 | 2008-02-28 | Xolan Enterprises Inc. | Optical Method and Device for use in Communication |
| US7164811B2 (en) * | 2004-02-09 | 2007-01-16 | Northrop Grumman Corporation | Pocket-pen ultra-high resolution MEMS projection display in combination with on-axis CCD image capture system including means for permitting 3-D imaging |
| US20050264525A1 (en) * | 2004-05-27 | 2005-12-01 | Adams Charles R | Mouse pointing system/icon identification system |
| JP5137448B2 (ja) * | 2007-04-17 | 2013-02-06 | 飛島建設株式会社 | トンネル切羽面の測量システム |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5101475A (en) * | 1989-04-17 | 1992-03-31 | The Research Foundation Of State University Of New York | Method and apparatus for generating arbitrary projections of three-dimensional voxel-based data |
| US5226109A (en) * | 1990-04-26 | 1993-07-06 | Honeywell Inc. | Three dimensional computer graphic symbol generator |
| US5179638A (en) * | 1990-04-26 | 1993-01-12 | Honeywell Inc. | Method and apparatus for generating a texture mapped perspective view |
| US5900878A (en) * | 1994-01-18 | 1999-05-04 | Hitachi Medical Corporation | Method of constructing pseudo-three-dimensional image for obtaining central projection image through determining view point position by using parallel projection image and apparatus for displaying projection image |
| US5781195A (en) * | 1996-04-16 | 1998-07-14 | Microsoft Corporation | Method and system for rendering two-dimensional views of a three-dimensional surface |
| US6175652B1 (en) * | 1997-12-31 | 2001-01-16 | Cognex Corporation | Machine vision system for analyzing features based on multiple object images |
-
1999
- 1999-04-26 JP JP11872699A patent/JP4313462B2/ja not_active Expired - Fee Related
-
2000
- 2000-04-25 US US09/556,781 patent/US6804389B1/en not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3413266A1 (en) | 2017-06-09 | 2018-12-12 | Topcon Corporation | Image processing device, image processing method, and image processing program |
| US10650583B2 (en) | 2017-06-09 | 2020-05-12 | Topcon Corporation | Image processing device, image processing method, and image processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000306105A (ja) | 2000-11-02 |
| US6804389B1 (en) | 2004-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101841668B1 (ko) | 입체 모델 생성 장치 및 방법 | |
| US9324003B2 (en) | Location of image capture device and object features in a captured image | |
| US9799139B2 (en) | Accurate image alignment to a 3D model | |
| US8897541B2 (en) | Accurate digitization of a georeferenced image | |
| JP4284644B2 (ja) | ３次元モデル構築システム及び３次元モデル構築プログラム | |
| US20100118116A1 (en) | Method of and apparatus for producing a multi-viewpoint panorama | |
| KR100915600B1 (ko) | 지상기준점 표지를 이용한 영상의 ３차원 좌표 측정방법 | |
| JP2011529568A (ja) | ナビゲーションデータを三次元で表示する方法 | |
| EP2652710A1 (en) | Systems and methods for processing images with edge detection and snap-to feature | |
| CN109242966B (zh) | 一种基于激光点云数据的3d全景模型建模方法 | |
| KR101759798B1 (ko) | 실내 2d 평면도의 생성 방법, 장치 및 시스템 | |
| JP4242529B2 (ja) | 関連情報呈示装置及び関連情報呈示方法 | |
| KR101574636B1 (ko) | 면형방식 디지털 항공카메라로 촬영한 시계열 항공사진을 입체시하여 좌표를 연동하고 변화지역을 판독하는 시스템 | |
| JP4313462B2 (ja) | 画像形成装置 | |
| CN111915729B (zh) | 三维gis信息的仿真展示方法及系统 | |
| CN104978476B (zh) | 利用智能手机进行室内地图现场补测的方法 | |
| KR100549511B1 (ko) | 수치사진측량기술과 레이져 스캐너를 이용한 ｇｉｓ용사진도면의 제작방법 | |
| JP5767887B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| Deng et al. | Automatic true orthophoto generation based on three-dimensional building model using multiview urban aerial images | |
| CN113256811B (zh) | 建筑物建模方法、设备和计算机可读存储介质 | |
| JP2005115500A (ja) | 情報処理装置及び情報処理方法 | |
| Jachimski | Video Stereo Digitizer-a small digital Stereophotogrammetric Working Station for the needs of SIT and other application | |
| JP5425045B2 (ja) | オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム | |
| Pu et al. | Refining building facade models with images | |
| JP3789396B2 (ja) | 消波ブロック等の地上敷設定型物の三次元モデリング方法および三次元モデリングプログラムならびにそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060405 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090407 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090512 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090515 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130522 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140522 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |