JP3985643B2

JP3985643B2 - Image display method and display device

Info

Publication number: JP3985643B2
Application number: JP2002274256A
Authority: JP
Inventors: 寿雄松下; 紀夫田中
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-09-20
Filing date: 2002-09-20
Publication date: 2007-10-03
Anticipated expiration: 2022-09-20
Also published as: JP2004110601A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影した画像の画像表示方法及び表示装置に関する。
【０００２】
【従来の技術】
特開２０００−３０６１０５号公報で紹介されているように、画像に撮影されている基準点を画像毎に地上での測量を行い、その測量した高さ情報を元に対象物の高さを算出し、一つの画像よりオルソ画像を作成している。オルソ画像とは、画像の全体または一部が斜めに撮影されている部分をどこでも真上から見たように、つまり正射投影に補正した画像である。
【０００３】
【発明が解決しようとする課題】
上記特開２０００−３０６１０５号公報は、画像の補正をする上で基準点の測量が必要であり、時間的において制約が大きくかかることとなる。
【０００４】
尚、特開平１０−３３２３３４号公報は画像から３次元の位置計測を行い高さデータを考慮し高さ補正するもので、画像について補正をするものではなく、画像を補正する上で高さデータを使用することは考慮されていない。
【０００５】
本発明は、時間的制約を少なくしながら対象物のオルソ画像を作成することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成する為、対象物を判別する為のパターンとパターンに対応した高さ又は高さ係数を記憶したテーブルに基づいて対象物の高さを算出して画像を補正し、補正された画面を表示するものである。
【０００７】
【発明の実施の形態】
高所から地表面を撮影した画像では、地表面から垂直に真上から見た部分だけではなく、画像の全体または一部が、斜めに撮影されている場合がある。地表面の形状や建造物や道路の配置などを、正確に分かり易く判別するためには、斜めから撮影されている部分をどこでも真上から見たように、つまり正射投影に補正する必要がある。この正射投影に補正することをオルソ化といい、正射投影に補正した画像のことをオルソ画像という。ただし、本発明におけるオルソ化及びオルソ画像とは、地表面に対して完全に垂直に真上から撮影した画像を意味するのではなく、地表面を上方から平面視したとみなせる程度をいう。
【０００８】
本発明における対象物とは、船舶や車両や航空機といった、全体の形状や大きさから高さを推定できるようなものである。船舶や車両や航空機は、全体の形状や大きさが大体決まっていることを利用することを特徴とする。画像に撮影されている対象物の長軸方向や短軸方向の長さ、もしくは形状により船舶や車両や航空機を判別し、その種類の形状や大きさを元に推定される定数を、長軸方向又は短軸方向の長さにかけることにより得た数値や、もしくは推定される定数そのものを対象物の高さとする。この高さと撮影角度を利用することによって、オルソ画像を作成する。
【０００９】
以下、本発明に関わる実施例を、図面に基づき説明する。
【００１０】
図２は、一つの例として、船舶を人工衛星から撮影した場合の概略図である。船舶１３は、地表面に対し垂直に真上に人工衛星１１が存在している場合、船舶１２は紙面手前から見て右側（右舷側）上空に人工衛星１１が存在している場合、船舶１４は紙面手前から見て左側（左舷側）上空に人工衛星１１が存在している場合である。人工衛星１１が船舶１３を撮影した場合、船舶画像１６のように船舶の壁面がほとんど見られず、オルソ画像のようになる。しかし、撮影の緊急度合や撮影計画などの理由により、衛星軌道が対象地域や対象物の真上にならないときに、撮影を行う場合がある。船舶１２を撮影した場合、船舶画像１５に示すように右舷側の壁面が多く現れるようになり、船舶１４を撮影した場合、船舶画像１７に示すように左舷側の壁面が多く現れるようになる。これらについては、航空機から撮影した場合においても、画像の中心部から離れるにつれ同様の現象が発生する。なお、本発明は、衛星画像や航空写真等、高所から地表面を撮影した画像に対し適応可能である。
【００１１】
斜めに撮影されている画像を船舶画像１６のようにオルソ画像に補正するためには、対象物の高さの数値が必要不可欠である。従来の技術では、同じ対象物を撮影した二つ以上の画像を使用し、対象物の高さを算出していた。又は、撮影された影の長さにより対象物の高さを算出していた。又は、測量による既知の基準点における高さを基に対象物の高さを算出していた。
【００１２】
図３は、本発明によるオルソ画像作成方法の概略図である。本発明では、対象物画像１８のように斜めに撮影された場合、まず対象物画像１９のように、長軸方向Ｌや短軸方向Ｗの長さを画像により測定する。長軸方向の長さにある程度比例して高さが変化する対象物の場合、一枚の画像より対象物の長軸方向を計測し、式１に示すようにその長さに予め設定していた高さ係数をかけることによって、高さ基準となる部分を算出する。短軸方向の長さを利用して高さ係数を設定する場合もあり得る。また、大きさや種類により高さが決定する対象物の場合、式２に示すようにその形状や大きさにより予め設定していた高さ数値を、高さ基準となる部分の求める高さの数値とする。
【００１３】
ｈ＝Ｌ×ａ(長さにある程度比例して高さが変化する対象物の場合)…(式１)
ｈ＝ｂ(大きさや種類により高さが決定する対象物の場合) …(式２)
ｈ：対象物の求めたい部分の高さ
Ｌ：対象物の長軸方向又は短軸方向の長さ
ａ：高さ係数
ｂ：高さ数値
例えば、船舶を対象物とした場合、表１の通りにそれぞれ高さ係数を設定し、これらを全長方向の長さにかけることで、水面から甲板までの高さと甲板上構造物の高さを算出する。
【００１４】
【表１】

その他、甲板上構造物が二つある場合の船舶パターン等、様々な複数の船舶パターンに対しそれぞれの数値を設定する。
【００１５】
例えば、鉄道車両を対象物とした場合、長さの数値にかかわらず、高さを４ｍと設定する。
【００１６】
例えば、旅客機を対象物とした場合、全長方向が６５ｍから７５ｍ、全幅方向が５５ｍから６５ｍの場合は、胴体部の高さ８ｍ，尾翼最上部の高さ２０ｍ，主翼の高さ０ｍと設定する。その他、様々な大きさや形状の航空機パターンに対し、それぞれの数値を設定する。
【００１７】
また、後述するオルソ化処理方法で、回転処理の際の回転軸の取り方により、設定数値を変更することもあり得る。例えば、船舶の場合は、甲板の高さを回転軸の基準として０ｍとすることや、旅客機の場合は、地表面を回転軸の基準として高さの数値を変更し、計算することもあり得る。
【００１８】
対象物画像２０のように、高さ基準となる部分の高さを算出した後、それらの情報と撮影条件の中の撮影角度を用いて対象物画像２１のようにオルソ画像へと変換する。
【００１９】
図１は、本発明の全体構成図である。本発明の処理法は、対象物画像抽出部２と高さ算出処理部３と、オルソ画像作成部６と、オルソ画像確認部８と、フィードバック部９と、高さ係数・高さ数値テーブル４と、対象物パターンテーブル５とで構成する。
【００２０】
対象物画像抽出部２では、高所から地表面を撮影した画像１と撮影条件７（撮影高度や撮影倍率など）が入力され、対象物を探索して切り出し、同時に対象物の緯経度を算出し、対象物画像を高さ算出処理部３へ出力する。
【００２１】
高さ算出処理部３では、入力された対象物の種類に応じ、対象物パターンテーブル５から対象物パターンが入力され、高さ係数・高さ数値テーブル４から高さ基準部分の高さ係数や高さ数値が入力され、対象物の高さを算出し、オルソ画像作成部６へ出力する。
【００２２】
高さ係数・高さ数値テーブル４では、対象物の種類や形状の大きさにより、各対象物パターンデータの高さ基準位置の高さ係数・高さ数値を蓄積しており、対象物パターンテーブル５では、対象物の様々なパターンデータを蓄積している。対象物パターンデータとは、対象物の高さ基準位置の形状や大きさにより、それぞれの対象物で用意した複数のパターン情報である。例えば、航空機の場合は、主翼が長方形に近いパターンデータと主翼が三角形のパターンデータなどを用意し、それぞれで高さ数値のテーブルを用意する。また、例えば船舶の場合は、甲板上構造物が船尾に近い部分で一つであるパターンデータや、中心部分に二つの構造物があるパターンデータ等を用意し、それぞれで高さ係数のテーブルを用意する。表１は、甲板上構造物が中心付近に一つある場合の高さ係数テーブルである。一つのパターンデータに対し、一組の高さ係数・高さ数値を蓄積している場合や、一つのパターンデータに対し、複数組の高さ係数・高さ数値を蓄積している場合もあり得る。
【００２３】
オルソ画像作成部６では、対象物画像や対象物パターンや高さデータが入力され、及び撮影条件の中の撮影角度が入力され、対象物のオルソ画像を作成し、対象物のオルソ画像をオルソ画像確認部８へ出力する。
【００２４】
オルソ画像確認部８では、作成されたオルソ画像を目視で確認し、もし正常にオルソ化されていないのであれば、対象物パターンテーブル５や高さ係数・高さ数値テーブル４より他の対象物パターンや高さ係数・高さ数値を取得して、又は新たな対象物パターンデータや新たな高さ係数や高さ数値を指定して、オルソ画像作成部へ再度出力する。正常にオルソ化されていれば、オルソ画像と、新規作成や変更していれば対象物パターンや高さ係数・高さ数値をフィードバック部９へ出力する。
【００２５】
フィードバック部９では、対象物パターンや高さ係数・高さ数値が新規作成や変更されている場合に、対象物パターンテーブル５や高さ係数・高さ数値テーブル４へ出力する。また最終的に、オルソ画像を出力する。
【００２６】
次に、対象物画像抽出部２についての処理フローを、図４に基づいて説明する。高所から地表面を撮影した画像１と撮影条件７を入力すると、まず対象物の存在し得る領域を判別する（ステップＳ１）。例えば、画像の輝度値による形状及び大きさ等の情報から、対象物が船舶なら水域，鉄道車両なら線路域，航空機なら飛行場域を判別する。これらの領域の中から、各画素の輝度値による情報より自動で、もしくは目視により対象物が撮影されているかを探索し判別する（ステップＳ２）。対象物が一つも撮影されていないなら、処理終了する（ステップＳ３）。対象物が撮影されていれば、対象物の画像のみを自動で、もしくは目視により手動で抽出する（ステップＳ４）。他に処理する対象物があれば、対象物の数だけ処理を繰り返し、処理する対象物がなければ、処理終了する（ステップＳ５）。
【００２７】
次に、高さ算出処理部３についての処理フローを、図５に基づいて説明する。まず、対象物があれば処理継続し、なければ処理終了する（ステップＳ１０）。そして、対象物の形状や長軸方向や短軸方向の長さなど、対象物を特徴づける特徴量を計測する（ステップＳ１１）。対象物を画面に表示し、目視又は自動により対象物の種類を判別する（ステップＳ１２）。
【００２８】
例えば、対象物が車両であれば、車両天井部の位置を判別し(ステップＳ１３)、高さ係数・高さ数値テーブル４より車両天井部の高さ数値を取得する（ステップＳ１４）。
【００２９】
例えば、対象物が航空機であれば、主翼部，胴体部，尾翼部を輝度の情報や形状により判別し（ステップＳ１５）、対象物パターンテーブル５より航空機パターンを取得し（ステップＳ１６）、高さ係数・高さ数値テーブル４より高さ基準部分の高さ数値を取得する（ステップＳ１７）。
【００３０】
例えば、対象物が船舶であれば、全長方向と船幅方向に伸びている輝度のエッジを基に、又は画面による目視で手動により、甲板部分と艦橋の甲板上構造物の部分とを判別する（ステップＳ１８）。対象物パターンテーブル５より船舶パターンを取得し（ステップＳ１９）、高さ係数・高さ数値テーブル４より高さ基準部分の高さ係数を取得し（ステップＳ２０）、全長方向の長さに高さ係数をかけることにより、高さ基準部分の高さ数値を算出する（ステップＳ２１）。他に処理する対象物があれば、対象物の数だけ処理を繰り返し、処理する対象物がなければ、処理終了する（ステップＳ２２）。
【００３１】
次に、オルソ画像作成部６についての処理フローを、図６に基づいて説明する。まず、対象物があれば処理継続し、なければ処理終了する（ステップＳ３０）。それぞれの高さ基準位置の高さを基に、それらの情報と対象物の種類により、３次元モデルを作成する（ステップＳ３１）。３次元モデルに高さ基準部位の対象物画像を貼り付け（ステップＳ３２）、撮影条件より撮影角度を取得し（ステップＳ３３）、３次元モデルを撮影角度分回転させ（ステップＳ３４）、正射投影の画像を取得する（ステップＳ３５）。他に処理する対象物があれば、対象物の数だけ処理を繰り返し、処理する対象物がなければ、処理終了する（ステップＳ３６）。
【００３２】
次に、オルソ画像確認部８についての処理フローを、図７に基づいて説明する。まず、対象物があれば処理継続し、なければ処理終了する（ステップＳ４０）。そして、オルソ化された画像と対象物画像を画面に表示して(ステップＳ４１)目視で確認し、正常にオルソ化されているか判別する（ステップＳ４２）。正常にオルソ化されていれば、フィードバック部へ出力する。正常にオルソ化されていなければ、すでに作成されているパターンデータを用いて再度オルソ化するか、又は新規にパターンデータを作成するかを選択する。すでに作成されているパターンデータを用いる場合、対象物パターンテーブル５よりパターンデータを選択し（ステップＳ４３）、高さ係数・高さ数値テーブルより高さ係数や高さ数値を取得、又は新規に指定し（ステップＳ４４）、再度オルソ画像を作成するためオルソ画像作成部６に出力する。新規にパターンデータを作成する場合、対象物画像より目視で高さ基準位置を特定し（ステップＳ４５）、新規パターンデータを作成する（ステップＳ４６）。その後、各高さ基準位置の高さ数値や高さ係数を指定し（ステップＳ４７）、再度オルソ画像を作成するため、オルソ画像作成部に出力する。
【００３３】
次に、フィードバック部９についての処理フローを、図８に基づいて説明する。オルソ画像確認部８で、新規にパターンを作成していれば（ステップＳ５０）、対象物パターンテーブル５に新規パターンを保存する（ステップＳ５１）。また、同様に高さ係数・数値を新規に指定していれば（ステップＳ５２）、新規高さ係数・数値を高さ係数・高さ数値テーブルに保存する（ステップＳ５３）。その後、他にオルソ化した対象物があれば、オルソ画像確認部８へ戻り、他にオルソ化した対象物がなければ処理終了する（ステップＳ５４）。このように、オルソ画像を作成した後に、さらに精度の高いパターンデータや数値が分かった場合には、新たにテーブルへ追加することで、オルソ化の精度を向上させることが可能である。
【００３４】
オルソ画像を用いた応用例の一つとして、複数のオルソ画像を比較して、同一もしくは類似するオルソ画像同士を取得する目的のマッチング処理があげられる。図９に、オルソ画像を使用したマッチング処理の構成概念図を示す。高所から地表面を撮影した画像１と、撮影条件７を本発明の全体構成部２２に入力すると、オルソ画像を出力する。オルソ画像は、オルソ画像データベースに記録されるほか、マッチング処理部へ比較元のデータとして出力される場合もある。マッチング処理部では、比較元の対象物のオルソ画像をオルソ画像記録部２３か又はオルソ画像データベース２４から一つ取得し、その比較元画像と類似するオルソ画像をオルソ画像データベースから照合取得し、対象物画像群２６を出力する。
【００３５】
たとえ同一の対象物を撮影した対象物画像だとしても、オルソ化せずに傾いた画像のままであると、異なる対象物であると判別される可能性が高い。そこで、オルソ化せずに傾いた画像であっても、オルソ画像に補正すれば、マッチング処理の精度を向上させることが期待できる。
【００３６】
以上の様に、撮影した画像を入力部へ入力し、処理部において対象物を抽出し、対象物の高さを算出し、対象物の画像を補正し、表示部へ補正した画像を表示することにより、一度の撮影で得られた画像で、地上での測量を行うことなく、また影が撮影されていなくても対象物の高さを推定することができ、これにより、時間的制約を少なくしながら、対象物のオルソ画像を作成することが可能となる。
【００３７】
【発明の効果】
本発明の方法により、対象物の高さを推定することで、撮影した画像から対象物のオルソ画像を作成可能にする。
【図面の簡単な説明】
【図１】全体構成図。
【図２】船舶を人工衛星から撮影した場合の概略図。
【図３】本発明によるオルソ画像作成方法の概略図。
【図４】対象物画像抽出部２についての処理フロー図。
【図５】高さ算出処理部３についての処理フロー図。
【図６】オルソ画像作成部６についての処理フロー図。
【図７】オルソ画像確認部８についての処理フロー図。
【図８】フィードバック部９についての処理フロー図。
【図９】オルソ画像を使用したマッチング処理の構成概念図。
【符号の説明】
１…高所から地表面を撮影した画像、２…対象物画像抽出部、３…高さ算出処理部、４…高さ係数・高さ数値テーブル、５…対象物パターンテーブル、６…オルソ画像作成部、７…撮影条件、８…オルソ画像確認部、９…フィードバック部、１０…オルソ画像、１１…人工衛星、１２，１３，１４…船舶、１５，１６，１７…船舶画像、１８，１９，２０，２１…対象物画像、２２…本発明の全体構成部、２３…オルソ画像記録部、２４…オルソ画像データベース、２５…マッチング処理部、２６…対象物画像群。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image display method and a display device for captured images.
[0002]
[Prior art]
As introduced in Japanese Patent Laid-Open No. 2000-306105, the reference point captured in the image is measured on the ground for each image, and the height of the object is calculated based on the measured height information. Then, an ortho image is created from one image. An ortho image is an image obtained by correcting an orthographic projection as if the whole or a part of the image is obliquely photographed as seen from directly above.
[0003]
[Problems to be solved by the invention]
In the above Japanese Patent Laid-Open No. 2000-306105, it is necessary to survey the reference point in correcting the image, and time is greatly limited.
[0004]
Japanese Patent Application Laid-Open No. 10-332334 performs three-dimensional position measurement from an image and corrects the height in consideration of the height data, and does not correct the image, but corrects the height data when correcting the image. The use of is not considered.
[0005]
An object of the present invention is to create an ortho image of an object while reducing time constraints.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, the image is corrected by calculating the height of the object based on the table for storing the pattern for determining the object and the height corresponding to the pattern or the height coefficient, and corrected. The screen is displayed.
[0007]
DETAILED DESCRIPTION OF THE INVENTION
In an image obtained by photographing the ground surface from a high place, the whole or a part of the image may be photographed obliquely, not just the portion viewed from directly above the ground surface. In order to determine the shape of the ground surface and the layout of buildings and roads accurately and in an easy-to-understand manner, it is necessary to correct the orthophoto projection so that the part taken from an angle is seen from directly above. is there. Correction to this orthographic projection is called orthorectification, and an image corrected to orthographic projection is called an ortho image. However, the orthorectification and the ortho image in the present invention do not mean an image photographed from right above completely perpendicular to the ground surface, but an extent to which the ground surface can be regarded as viewed from above.
[0008]
The object in the present invention is such that the height can be estimated from the overall shape and size of a ship, a vehicle, or an aircraft. Ships, vehicles, and aircraft are characterized by utilizing the fact that the overall shape and size are roughly determined. A long axis is a constant that is estimated based on the shape and size of the type of ship, vehicle, or aircraft that is identified by the length or shape of the object in the long or short axis direction. The numerical value obtained by multiplying the length in the direction or the minor axis direction, or the estimated constant itself is defined as the height of the object. An ortho image is created by using the height and the shooting angle.
[0009]
Embodiments according to the present invention will be described below with reference to the drawings.
[0010]
FIG. 2 is a schematic view when a ship is photographed from an artificial satellite as one example. In the case where the artificial satellite 11 is present directly above the ground surface, the ship 13 is in a state where the artificial satellite 11 is present in the sky on the right side (starboard side) when viewed from the front of the page. Is the case where the artificial satellite 11 exists above the left side (port side) when viewed from the front of the page. When the artificial satellite 11 captures the ship 13, the wall surface of the ship is hardly seen as in the ship image 16, and an ortho image is obtained. However, there are cases in which shooting is performed when the satellite orbit is not directly above the target area or the target due to reasons such as shooting urgency or a shooting plan. When the ship 12 is photographed, many starboard side walls appear as shown in the ship image 15, and when the ship 14 is photographed, many portside wall faces appear as shown in the ship image 17. As for these, even when taken from an aircraft, the same phenomenon occurs as the distance from the center of the image increases. The present invention can be applied to images obtained by photographing the ground surface from a high place, such as satellite images and aerial photographs.
[0011]
In order to correct an image captured obliquely to an ortho image like the ship image 16, the numerical value of the height of the object is indispensable. In the conventional technique, the height of an object is calculated using two or more images obtained by photographing the same object. Alternatively, the height of the object is calculated based on the length of the photographed shadow. Alternatively, the height of the object is calculated based on the height at a known reference point by surveying.
[0012]
FIG. 3 is a schematic diagram of an ortho image creation method according to the present invention. In the present invention, when the image is taken obliquely as in the object image 18, first, the length in the major axis direction L and the minor axis direction W is measured from the image as in the object image 19. In the case of an object whose height changes to some extent in proportion to the length in the long axis direction, the long axis direction of the object is measured from a single image and is set in advance as shown in Equation 1. The height reference portion is calculated by multiplying the height coefficient. The height coefficient may be set using the length in the minor axis direction. In addition, in the case of an object whose height is determined by the size and type, the height value that is preset according to the shape and size as shown in Equation 2 is used as the height value for the portion that is the height reference. And
[0013]
h = L × a (in the case of an object whose height changes in proportion to the length to some extent) (Equation 1)
h = b (in the case of an object whose height is determined by the size and type) (Expression 2)
h: Height of the desired portion of the object L: Length of the object in the major axis direction or minor axis direction a: Height coefficient b: Height value For example, when a ship is an object, as shown in Table 1. The height coefficient is set for each, and these are multiplied by the length in the full length direction to calculate the height from the water surface to the deck and the height of the structure on the deck.
[0014]
[Table 1]

In addition, each numerical value is set with respect to various ship patterns, such as a ship pattern when there are two structures on the deck.
[0015]
For example, when a railway vehicle is used as an object, the height is set to 4 m regardless of the numerical value of the length.
[0016]
For example, when a passenger aircraft is the target, if the total length direction is 65 m to 75 m and the total width direction is 55 m to 65 m, the fuselage height is set to 8 m, the tail top height 20 m, and the main wing height 0 m. . In addition, various numerical values are set for aircraft patterns of various sizes and shapes.
[0017]
In addition, the set numerical value may be changed depending on how the rotation axis is taken during the rotation processing in the orthoprocessing method described later. For example, in the case of a ship, the height of the deck may be set to 0 m with respect to the rotation axis, and in the case of a passenger aircraft, the height value may be changed and calculated with the ground surface as the reference of the rotation axis. .
[0018]
After calculating the height of a portion that becomes a height reference like the object image 20, it is converted into an ortho image like the object image 21 using the information and the shooting angle in the shooting conditions.
[0019]
FIG. 1 is an overall configuration diagram of the present invention. The processing method of the present invention includes an object image extraction unit 2, a height calculation processing unit 3, an ortho image creation unit 6, an ortho image confirmation unit 8, a feedback unit 9, and a height coefficient / height numerical value table 4. And the object pattern table 5.
[0020]
In the object image extraction unit 2, an image 1 obtained by photographing the ground surface from a high place and photographing conditions 7 (such as photographing altitude and photographing magnification) are input, and the object is searched and cut out, and at the same time the latitude and longitude of the object are calculated. Then, the object image is output to the height calculation processing unit 3.
[0021]
In the height calculation processing unit 3, the object pattern is input from the object pattern table 5 according to the type of the input object, and the height coefficient of the height reference portion is calculated from the height coefficient / height numerical value table 4. The height value is input, the height of the object is calculated, and output to the ortho image creation unit 6.
[0022]
The height coefficient / height numerical value table 4 stores the height coefficient / height numerical value of the height reference position of each target object pattern data according to the type and shape of the target object. In 5, the various pattern data of the object is accumulated. The object pattern data is a plurality of pieces of pattern information prepared for each object according to the shape and size of the height reference position of the object. For example, in the case of an aircraft, pattern data having a main wing close to a rectangle and pattern data having a main wing of a triangle are prepared, and a table of height values is prepared for each. For example, in the case of a ship, prepare pattern data that has one structure on the deck close to the stern, pattern data that has two structures in the center, and so on. prepare. Table 1 is a height coefficient table when there is one structure on the deck near the center. In some cases, one set of height coefficient / height values is stored for one pattern data, and in other cases, multiple sets of height coefficient / height values are stored for one pattern data. obtain.
[0023]
In the ortho image creation unit 6, the object image, the object pattern, and the height data are input, and the shooting angle in the shooting conditions is input, the ortho image of the object is generated, and the ortho image of the object is ortho-rectified. The image is output to the image confirmation unit 8.
[0024]
The ortho image confirmation unit 8 visually confirms the created ortho image. If the ortho image is not properly orthorectified, another object is selected from the object pattern table 5 and the height coefficient / height numerical value table 4. A pattern, a height coefficient / a numerical value of the height is acquired, or new object pattern data, a new height coefficient, and a numerical value of the height are specified, and are output again to the ortho image creation unit. If the image is normally orthorectified, the ortho image and the object pattern and the height coefficient / height numerical value are output to the feedback unit 9 if newly created or changed.
[0025]
The feedback unit 9 outputs to the object pattern table 5 and the height coefficient / height numerical value table 4 when the object pattern and the height coefficient / height numerical value are newly created or changed. Finally, an ortho image is output.
[0026]
Next, a processing flow for the object image extraction unit 2 will be described with reference to FIG. When the image 1 obtained by photographing the ground surface from a high place and the photographing condition 7 are input, first, an area where the object can exist is determined (step S1). For example, from the information such as the shape and size based on the luminance value of the image, the water area is determined if the object is a ship, the track area if the object is a railway vehicle, and the airfield area if the object is an aircraft. From these areas, it is determined whether or not the object is photographed automatically or visually based on information based on the luminance value of each pixel (step S2). If no object has been photographed, the process ends (step S3). If the object is photographed, only the image of the object is extracted automatically or manually by visual inspection (step S4). If there are other objects to be processed, the process is repeated for the number of objects, and if there are no objects to be processed, the process ends (step S5).
[0027]
Next, a processing flow for the height calculation processing unit 3 will be described with reference to FIG. First, if there is an object, the process is continued, and if not, the process ends (step S10). Then, feature quantities that characterize the object, such as the shape of the object, the length in the major axis direction, and the length in the minor axis direction, are measured (step S11). The object is displayed on the screen, and the type of the object is determined visually or automatically (step S12).
[0028]
For example, if the object is a vehicle, the position of the vehicle ceiling is determined (step S13), and the height value of the vehicle ceiling is obtained from the height coefficient / height numerical value table 4 (step S14).
[0029]
For example, if the object is an aircraft, the main wing part, the fuselage part, and the tail part are discriminated based on luminance information and shape (step S15), the aircraft pattern is obtained from the object pattern table 5 (step S16), and the height is determined. The height numerical value of the height reference portion is acquired from the coefficient / height numerical value table 4 (step S17).
[0030]
For example, if the object is a ship, the deck part and the part of the structure on the deck of the bridge are discriminated based on the brightness edges extending in the full length direction and the ship width direction or by visual inspection on the screen. (Step S18). The ship pattern is obtained from the object pattern table 5 (step S19), the height coefficient of the height reference portion is obtained from the height coefficient / height numerical value table 4 (step S20), and the height is obtained in the length in the full length direction. By multiplying the coefficient, the height numerical value of the height reference portion is calculated (step S21). If there are other objects to be processed, the process is repeated for the number of objects, and if there are no objects to be processed, the process ends (step S22).
[0031]
Next, the processing flow for the ortho image creation unit 6 will be described with reference to FIG. First, if there is an object, the process is continued, and if not, the process ends (step S30). Based on the height of each height reference position, a three-dimensional model is created based on the information and the type of the object (step S31). The object image of the height reference part is pasted on the three-dimensional model (step S32), the photographing angle is acquired from the photographing conditions (step S33), the three-dimensional model is rotated by the photographing angle (step S34), and orthographic projection is performed. Is acquired (step S35). If there are other objects to be processed, the process is repeated for the number of objects, and if there are no objects to be processed, the process ends (step S36).
[0032]
Next, a processing flow for the ortho image confirmation unit 8 will be described with reference to FIG. First, if there is an object, the process is continued, and if not, the process ends (step S40). Then, the orthorectified image and the object image are displayed on the screen (step S41) and visually confirmed to determine whether or not they are orthonormalized (step S42). If it has been orthonormalized, it is output to the feedback section. If not orthonormalized, it is selected whether to perform orthorectification again using already created pattern data or to create new pattern data. When using already created pattern data, select the pattern data from the object pattern table 5 (step S43), and obtain the height coefficient or height numerical value from the height coefficient / height numerical value table, or newly specify Then (step S44), the image is output to the ortho image creation unit 6 in order to create an ortho image again. When newly creating pattern data, the height reference position is visually identified from the object image (step S45), and new pattern data is created (step S46). After that, the height numerical value and height coefficient of each height reference position are designated (step S47), and output to the ortho image creation unit to create an ortho image again.
[0033]
Next, the processing flow for the feedback unit 9 will be described with reference to FIG. If the ortho image confirmation unit 8 has newly created a pattern (step S50), the new pattern is stored in the object pattern table 5 (step S51). Similarly, if a new height coefficient / numerical value is designated (step S52), the new height coefficient / numerical value is stored in the height coefficient / height numerical value table (step S53). Thereafter, if there are other objects to be orthorectified, the process returns to the ortho image confirmation unit 8 and if there are no other objects to be orthorectified, the process ends (step S54). As described above, when pattern data or numerical values with higher accuracy are found after creating an ortho image, it is possible to improve the accuracy of the ortho formation by newly adding it to the table.
[0034]
One application example using an ortho image is a matching process for the purpose of acquiring a plurality of ortho images by comparing a plurality of ortho images. FIG. 9 shows a conceptual diagram of the configuration of matching processing using an ortho image. When the image 1 obtained by photographing the ground surface from a high place and the photographing condition 7 are input to the overall configuration unit 22 of the present invention, an ortho image is output. In addition to being recorded in the ortho image database, the ortho image may be output to the matching processing unit as comparison source data. The matching processing unit acquires one ortho image of the comparison source object from the ortho image recording unit 23 or the ortho image database 24, and collates and acquires the ortho image similar to the comparison source image from the ortho image database. The object image group 26 is output.
[0035]
Even if it is a target object image obtained by photographing the same target object, if it is an inclined image without being orthorectified, there is a high possibility that it is determined as a different target object. Therefore, even if the image is tilted without being orthorectified, it can be expected to improve the accuracy of the matching processing if the image is corrected to the ortho image.
[0036]
As described above, the captured image is input to the input unit, the target is extracted by the processing unit, the height of the target is calculated, the target image is corrected, and the corrected image is displayed on the display unit. Therefore, it is possible to estimate the height of an object without performing surveying on the ground, and without shadows being shot, using an image obtained by a single shooting, which reduces time constraints. It is possible to create an ortho image of the object while reducing it.
[0037]
【The invention's effect】
By estimating the height of the object by the method of the present invention, an ortho image of the object can be created from the captured image.
[Brief description of the drawings]
FIG. 1 is an overall configuration diagram.
FIG. 2 is a schematic view when a ship is photographed from an artificial satellite.
FIG. 3 is a schematic view of an ortho image creation method according to the present invention.
FIG. 4 is a processing flowchart for the object image extraction unit 2;
FIG. 5 is a processing flowchart for the height calculation processing unit 3;
FIG. 6 is a processing flow diagram for the ortho image creation unit 6;
FIG. 7 is a process flow diagram for the ortho image confirmation unit 8;
FIG. 8 is a process flow diagram for the feedback unit 9;
FIG. 9 is a conceptual diagram of a configuration of matching processing using an ortho image.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Image which image | photographed the ground surface from high place, 2 ... Object image extraction part, 3 ... Height calculation process part, 4 ... Height coefficient and height numerical value table, 5 ... Object pattern table, 6 ... Ortho image Creation unit, 7: photographing condition, 8 ... ortho image confirmation unit, 9 ... feedback unit, 10 ... ortho image, 11 ... artificial satellite, 12, 13, 14 ... ship, 15, 16, 17 ... ship image, 18, 19 , 20, 21 ... object image, 22 ... general component of the present invention, 23 ... ortho image recording unit, 24 ... ortho image database, 25 ... matching processing unit, 26 ... object image group.

Claims

The object is extracted from the photographed image, and a pattern for discriminating the object and a table for storing the height corresponding to the pattern or a height coefficient for calculating the height are stored. A method for displaying an image, comprising: selecting or calculating a height, correcting an image of the object based on the selected or calculated height, and displaying the corrected image.

The image display method according to claim 1, comprising a plurality of height coefficients for calculating a height or height corresponding to the pattern.

The image display method according to claim 1, wherein the image of the object is corrected based on the height of the second object calculated or selected after the corrected image is displayed, and the corrected image is corrected. An image display method characterized by displaying an image.

The image display method according to claim 1, wherein the object is extracted based on a photographing condition of the one photographed image.

The image display method according to claim 3, wherein data input when calculating or selecting a height of the second object is stored.

An input unit for inputting a photographed image, a target for extracting the target from the input image, a pattern for determining the target, and a height coefficient for calculating the height or height corresponding to the pattern The processing unit having a function of selecting or calculating the height of the object based on the table storing the above and correcting the image of the object based on the selected or calculated height, and the corrected image An image display device having a display unit for displaying the image.

7. The image display device according to claim 6, wherein the table has a plurality of height coefficients for calculating a height or a height corresponding to the pattern.

The image display device according to claim 6, wherein the processing unit corrects the image of the object based on a height of the second object calculated or selected after displaying the corrected image. An image display device comprising:

The image display device according to claim 6, wherein the processing unit has a function of extracting the object based on a photographing condition of the one photographed image.

9. The image display device according to claim 8, wherein the image display device has a function of storing data input when calculating or selecting a height of the second object.