JP7378347B2 - Evaluation device, evaluation method, evaluation program and storage medium - Google Patents
Evaluation device, evaluation method, evaluation program and storage medium Download PDFInfo
- Publication number
- JP7378347B2 JP7378347B2 JP2020080478A JP2020080478A JP7378347B2 JP 7378347 B2 JP7378347 B2 JP 7378347B2 JP 2020080478 A JP2020080478 A JP 2020080478A JP 2020080478 A JP2020080478 A JP 2020080478A JP 7378347 B2 JP7378347 B2 JP 7378347B2
- Authority
- JP
- Japan
- Prior art keywords
- orthoimage
- evaluation
- composite
- pixel
- orthoimages
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims description 133
- 239000002131 composite material Substances 0.000 claims description 122
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000000034 method Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 230000001131 transforming effect Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Description
本発明は、オルソ画像を評価する評価装置、評価方法、評価プログラム、及び当該プログラムを記録した記録媒体に関する。 The present invention relates to an evaluation device, an evaluation method, an evaluation program, and a recording medium recording the program for evaluating orthoimages.
従来、走行画像を正射変換(オルソ変換)した画像を用いて、地図情報の作成等の補助として用いてきた。特許文献1には、2つのオルソ画像を合成する手法として、道路上の地物を線形化したうえでオルソ画像同士を比較し、位置ずれを検出する技術が開示されている。 Conventionally, images obtained by orthorectically transforming driving images have been used to assist in creating map information, etc. Patent Document 1 discloses, as a method for synthesizing two ortho-images, a technique in which a feature on a road is linearized and then the ortho-images are compared with each other to detect a positional shift.
ところで、このようにして2以上のオルソ画像を合成することで生成された合成オルソ画像の評価、即ち、オルソ画像として使用に耐えるか(画像がぼやけていないか、合成箇所での位置のずれが発生していないか、など)は、人の目視により行われてきたが、地図情報として生成される合成オルソ画像の数を考慮すると、人の手による評価は非常に煩雑であると言わざるを得ない。また、目視の場合に、合成オルソ画像の評価に個人差によるばらつきがでるという問題がある。 By the way, it is important to evaluate the composite ortho image generated by composing two or more ortho images in this way, that is, whether it can be used as an ortho image (Is the image blurred, is there a positional shift at the compositing point? However, considering the number of synthetic orthoimages generated as map information, it must be said that manual evaluation is extremely complicated. I don't get it. Furthermore, in the case of visual inspection, there is a problem in that the evaluation of the composite orthoimage varies due to individual differences.
そこで、本発明は、上記問題に鑑みてなされたものであり、オルソ画像を定量的に評価する評価装置、評価方法、評価プログラムおよび記憶媒体を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an evaluation device, an evaluation method, an evaluation program, and a storage medium that quantitatively evaluate orthoimages.
上記課題を解決するために、本発明の一態様に係る評価装置は、複数の撮像画像各々を正射変換して得られる複数のオルソ画像各々について、他のオルソ画像と撮像内容が一致する場所が互いに重畳するように合成した合成オルソ画像を評価する評価装置であって、複数のオルソ画像各々と、合成オルソ画像とを取得する取得部と、複数のオルソ画像に含まれる画素であって、他のオルソ画像と重畳する位置にある画素について、重畳対象のオルソ画像の画素それぞれの画素値に基づいて、当該画素の分散値を算出する算出部と、算出部が算出した分散値に基づいて、合成オルソ画像を評価する評価情報を生成する評価部とを備える。 In order to solve the above problems, an evaluation device according to one aspect of the present invention provides a plurality of orthoimages obtained by orthogonally transforming each of a plurality of captured images, at a location where the captured content matches another orthoimage. An evaluation device that evaluates a composite ortho image synthesized such that the images are superimposed on each other, an acquisition unit that acquires each of the plurality of ortho images and the composite ortho image, and pixels included in the plurality of ortho images, A calculation unit that calculates a variance value of a pixel at a position to be superimposed with another orthoimage, based on the pixel value of each pixel of the orthoimage to be superimposed; , and an evaluation unit that generates evaluation information for evaluating the composite orthoimage.
上記課題を解決するために、本発明の一態様に係る評価方法は、複数の撮像画像各々を正射変換して得られる複数のオルソ画像各々について、他のオルソ画像と撮像内容が一致する場所が互いに重畳するように合成した合成オルソ画像を評価する評価方法であって、コンピュータが、複数のオルソ画像各々と、合成オルソ画像とを取得する取得ステップと、複数のオルソ画像に含まれる画素であって、他のオルソ画像と重畳する位置にある画素について、重畳対象のオルソ画像の画素それぞれの画素値に基づいて、当該画素の分散値を算出する算出ステップと、算出ステップが算出した分散値に基づいて、合成オルソ画像を評価する評価情報を生成する評価ステップと、を実行する。 In order to solve the above problems, an evaluation method according to one aspect of the present invention provides a method for evaluating each of a plurality of orthoimages obtained by orthogonally transforming each of a plurality of captured images, at a location where the captured content matches another orthoimage. This is an evaluation method for evaluating a composite ortho image synthesized such that the images are superimposed on each other. and a calculation step of calculating a variance value of the pixel at a position where it is superimposed with another orthoimage, based on the pixel value of each pixel of the orthoimage to be superimposed, and a variance value calculated by the calculation step. an evaluation step of generating evaluation information for evaluating the composite orthoimage based on the
上記課題を解決するために、本発明の一態様に係る評価プログラムは、複数の撮像画像各々を正射変換して得られる複数のオルソ画像各々について、他のオルソ画像と撮像内容が一致する場所が互いに重畳するように合成した合成オルソ画像を評価する評価プログラムであって、コンピュータに、複数のオルソ画像各々と、合成オルソ画像とを取得する取得機能と、複数のオルソ画像に含まれる画素であって、他のオルソ画像と重畳する位置にある画素について、重畳対象のオルソ画像の画素それぞれの画素値に基づいて、当該画素の分散値を算出する算出機能と、算出機能が算出した分散値に基づいて、合成オルソ画像を評価する評価情報を生成する評価機能と、を実現させる。 In order to solve the above problems, an evaluation program according to one aspect of the present invention is configured to perform orthogonal transformation on each of a plurality of captured images, and to detect locations where the captured content matches other orthoimages. This is an evaluation program that evaluates a composite ortho image that has been composited so that the images are superimposed on each other. A calculation function that calculates the variance value of a pixel at a position where it is superimposed with another orthoimage, based on the pixel value of each pixel of the orthoimage to be superimposed, and a variance value calculated by the calculation function. and an evaluation function that generates evaluation information for evaluating a composite orthoimage based on the above.
上記評価装置において、評価部が合成オルソ画像を評価した評価情報を出力する出力部を備えることとしてもよい。 The evaluation device may include an output unit that outputs evaluation information obtained by the evaluation unit evaluating the composite orthoimage.
上記評価装置において、評価部は、合成オルソ画像を小領域に分割し、各小領域について、当該小領域に含まれる各画素の、算出部により算出された分散値の平均値を算出し、算出された平均値のうち最も大きな値を、合成オルソ画像の評価情報とすることとしてもよい。 In the above evaluation device, the evaluation section divides the composite orthoimage into small regions, calculates, for each small region, the average value of the variance values calculated by the calculation section of each pixel included in the small region, and calculates The largest value among the calculated average values may be used as the evaluation information of the composite orthoimage.
上記評価装置において、評価部は、合成オルソ画像に含まれる道路部分以外の画像を除去し、道路部分のみの合成オルソ画像を評価することとしてもよい。 In the above evaluation device, the evaluation unit may remove images other than the road portion included in the composite orthoimage and evaluate the composite orthoimage of only the road portion.
本発明の一態様に係る評価装置は、合成オルソ画像の元となるオルソ画像同士を重畳する際に、重畳する箇所における画素の画素値の分散を算出する。複数の異なるオルソ画像の画素の画素値であって、同じ個所であると推定される場所の画素同士の画素値の分散を算出することで、分散値が大きいほどずれが大きいと推定でき、合成オルソ画像としての評価が低いと見積もることができる。したがって、評価装置は、合成オルソ画像を定量的に評価することができる。 An evaluation device according to one aspect of the present invention calculates the variance of pixel values of pixels at superimposed locations when superimposing orthoimages that are the basis of a composite orthoimage. By calculating the variance of the pixel values of pixels in multiple different orthoimages, which are estimated to be the same location, it can be estimated that the larger the variance value, the greater the deviation, and the synthesis It can be estimated that the evaluation as an orthoimage is low. Therefore, the evaluation device can quantitatively evaluate the composite orthoimage.
以下、本発明の一実施態様に係る評価装置について、図面を参照しながら詳細に説明する。 Hereinafter, an evaluation device according to an embodiment of the present invention will be described in detail with reference to the drawings.
<実施の形態1>
<評価装置の構成>
本発明の一態様に係る評価装置は、複数の撮像画像各々を正射変換して得られる複数のオルソ画像各々について、他のオルソ画像と撮像内容が一致する場所が互いに重畳するように合成した合成オルソ画像を評価する評価装置である。評価装置は、複数のオルソ画像各々と、合成オルソ画像とを取得する取得部(図1の105参照)と、複数のオルソ画像に含まれる画素であって、他のオルソ画像と重畳する位置にある画素について、重畳対象のオルソ画像の画素それぞれの画素値に基づいて、当該画素の分散値を算出する算出部(図1の105参照)と、算出部が算出した分散値に基づいて、合成オルソ画像を評価する評価情報を生成する評価部(図1の105参照)とを備える。以下、詳細に説明する。
<Embodiment 1>
<Configuration of evaluation device>
An evaluation device according to one aspect of the present invention synthesizes each of a plurality of orthoimages obtained by orthogonally transforming each of a plurality of captured images so that locations where the captured content matches that of other orthoimages are superimposed on each other. This is an evaluation device that evaluates synthetic orthoimages. The evaluation device includes an acquisition unit (see 105 in FIG. 1) that acquires each of the plurality of orthoimages and a composite orthoimage, and a pixel included in the plurality of orthoimages at a position superimposed on another orthoimage. For a certain pixel, a calculation unit (see 105 in FIG. 1) calculates a variance value of the pixel based on the pixel value of each pixel of the ortho image to be superimposed, and a combination is performed based on the variance value calculated by the calculation unit. The evaluation unit (see 105 in FIG. 1) generates evaluation information for evaluating the orthoimage. This will be explained in detail below.
図1は、評価装置100の機能構成例を示すブロック図である。図1に示すように、評価装置100は、受信部101と、受付部102と、出力部103と、記憶部104と、CPU105とを備える。
FIG. 1 is a block diagram showing an example of the functional configuration of the
評価装置100は、サーバ装置、PCなどにより実現されるが、これらに限定するものではなく、スマートフォン等の携帯端末などにより実現されるものであってもよい。以下、各機能部について詳細に説明する。
The
受信部101は、他の装置から通信により情報を受信する機能を有する。受信部101は、例えば、実際に自動車が走行した位置や車速などの情報を用いて生成された車両の走行履歴である走行履歴情報、所謂プローブ情報(プローブ交通情報)を受信することとしてよい。この走行履歴情報には車両が走行した際に撮像した撮像画像が含まれる。また、受信部101は、例えば、ユーザのPCやウェブ、フラッシュメモリ等から車両の走行時に撮像された撮像画像を受信する。また、受信部101は、車道を含む撮像画像を正射変換したオルソ画像を受信する。受信部101は、受信した撮像画像またはオルソ画像を、CPU105に伝達する。
The
受付部102は、評価装置100のユーザからの入力を受け付けて、CPU105に伝達する機能を有する。受付部102は、例えば、評価装置100に備えられたハードウェアキーや、タッチキーなどのソフトキーなどにより実現することができる。なお、受付部102に対する入力は音声による入力であってもよい。
The
出力部103は、CPU105からの指示に従って、指示されたデータを出力する機能を有する。出力部103は、例えば、合成オルソ画像の評価値を示す評価情報を出力する。出力部103は、評価情報を、評価装置100に接続されたモニタに画像情報(テキストデータでもよい)として出力することとしてもよいし、評価情報を示す音声データを評価装置100に接続されたスピーカに出力することとしてもよいし、外部の装置に対して、通信により評価情報を送信することとしてもよい。即ち、出力部103は、CPU105から指定された情報を、指定された宛先に出力する通信インターフェースとして機能する。
The
記憶部104は、評価装置100が動作するうえで必要とする各種のプログラム及び地図情報を含む各種のデータを記憶する記録媒体である。記憶部104は、例えば、HDD(Hard Disc Drive)、SSD(Solid State Drive)、フラッシュメモリ等により実現される。
The
記憶部104は、撮像画像141と、オルソ画像142と、合成オルソ画像143と、を記憶していてもよい。撮像画像141は、車道を含む画像を撮像して得られる画像である。オルソ画像142は、撮像画像141を正射変換して得られるオルソ画像である。合成オルソ画像143は、複数のオルソ画像142間で互いに内容(位置)が重複するようにして重畳して得られる画像である。評価装置100は、合成オルソ画像143を評価する。
The
CPU105は、記憶部104に記憶されている各種のプログラム及び各種のデータを利用して、評価装置100が実行すべき処理を実行するプロセッサである。
The
CPU105は、評価装置100の各部を制御し、画像を正射変換して合成して得られる合成オルソ画像を評価する。
The
CPU105は、複数のオルソ画像と、これらの複数のオルソ画像から生成される合成オルソ画像を取得する取得部として機能する。複数のオルソ画像は、受信部101が受信したものを用いてもよいし、記憶部104に記憶されているものを用いてもよい。また、合成オルソ画像は、受信部101が受信したものを用いてもよいし、CPU105が複数のオルソ画像から生成したものを用いることとしてもよい。
The
ここで、オルソ画像および合成オルソ画像について説明する。図2は、オルソ画像を説明するための図である。図2(a)は、車両等に搭載された車載カメラにより車両進行方向を撮像した撮像画像200の一例を示す図である。撮像画像は、静止画であってもよいし、車載カメラが撮像した動画の一フレームであってもよい。そして、図2(b)は、図2(a)に示す撮像画像を正射変換したオルソ画像210の一例である。正射変換とは、画像を、画像を真上から見たような傾きのない正しい大きさと位置に表示されるように変換することをいう。一般的には空中写真や衛星写真のように中心投影により撮像された画像を正射投影した態様に変換することをいうが、車載カメラ等により撮像された画像を変換する際にも用いることができる。なお、図2(b)のオルソ画像210においては、図2(a)に含まれる車道のみを示しているが、実際には、看板や各建築物なども含まれてよい。
Here, orthoimages and composite orthoimages will be explained. FIG. 2 is a diagram for explaining an orthoimage. FIG. 2A is a diagram showing an example of a captured
CPU105は、図2(b)に示すようなオルソ画像を複数つなぎ合わせていくことで、地図を作成することができる。そのような画像を合成オルソ画像という。例えば、図3(a)が合成オルソ画像300の一例であるとする。この合成オルソ画像300は、実際には、図3(b)に示すように、複数のオルソ画像311~317を、それぞれで撮像内容が重複するように重ね合わせていくことで生成した重畳画像となる。
The
このような合成オルソ画像は、各オルソ画像の重畳時のずれによってぼやけた画像となり、場合によっては、地図画像の元となるデータとして使用できないことがある。そこで、CPU105は、合成オルソ画像を定量的に評価する。
Such a composite orthoimage becomes a blurred image due to a shift in the superimposition of each orthoimage, and in some cases, it may not be possible to use it as data that is the source of a map image. Therefore, the
即ち、CPU105は、合成オルソ画像を評価する評価部として機能する。そのために、CPU105は、合成オルソ画像のもととなって複数のオルソ画像に含まれる画素であって、他のオルソ画像と重畳する位置にある画像について重畳対象のオルソ画像の画素それぞれの画素値に基づいて、その画素の分散値を算出する算出部としても機能する。そして、CPU105は、算出した分散値に基づいて、合成オルソ画像を評価する評価情報を生成する。
That is, the
図3(b)を参照して説明する。車載カメラを用いて撮像された動画から抽出したフレームは、連続性が高く、それらのフレームを正射変換して得られるオルソ画像は、図3(b)に示されるように互いに重畳することで一つの地図画像としての合成オルソ画像(図3(a)参照)を生成することができる。重畳するオルソ画像が多い方が平均的にみて地図画像としてより精度の高い合成オルソ画像を生成することができる。このとき、オルソ画像同士の重畳位置がずれたりすると、合成オルソ画像としてはぼやけた画像となることがある、そこで、CPU105は、オルソ画像同士が互いに重畳する画素の画素値の分散を算出する。
This will be explained with reference to FIG. 3(b). The frames extracted from the video captured using the in-vehicle camera are highly continuous, and the ortho images obtained by orthogonally converting these frames are superimposed on each other as shown in Figure 3(b). A composite orthoimage (see FIG. 3(a)) as one map image can be generated. The more orthoimages that are superimposed, the more accurate a composite orthoimage can be generated as a map image on average. At this time, if the superimposition positions of the orthoimages are shifted, the combined orthoimage may become a blurred image. Therefore, the
一例として、図3(b)を用いて説明すると、CPU105は、オルソ画像311の位置320で示される画素と、オルソ画像311に重畳するオルソ画像312の位置320で示される画素と、オルソ画像311とオルソ画像312とに重畳するオルソ画像313の位置320で示される画素と、オルソ画像311~313に重畳するオルソ画像314の位置320で示される画素と、のそれぞれの画素値を取得する。複数のオルソ画像の同じ位置に対応する画素の画素値の一致度が高いと、オルソ画像同士の重畳度合いがよいことを意味し、合成オルソ画像として精度の高い画像が得られていることになる。したがって、CPU105は、合成オルソ画像の各画素について算出された分散値に基づいて合成オルソ画像を評価する。一例として、CPU105は、合成オルソ画像の各画素の分散値を纏めて画素の分散値のリストを評価情報として生成してもよいし、各画素について算出された分散値のうち、最も高い分散値を評価情報として生成してもよいし、分散値の平均値を評価情報として生成してもよい。
As an example, referring to FIG. 3B, the
ただ、合成オルソ画像のうち、最も分散値の高い画素を評価情報として生成したり、合成オルソ画像全体の画素値の平均値を評価情報として生成したりする場合には、評価として正確な値とならないことがある。そこで、より正確な評価を出力するために、CPU105は、合成オルソ画像を複数の小領域に分割する。図4は、合成オルソ画像を複数の小領域に分割した例を示している。なお、分割すると記載しているが、これは、合成オルソ画像300に対して、小領域を設定していくことを意味している。図4では、合成オルソ画像300を、小領域401~415に分割した例を示している。この小領域同士は、同じ面積であることが望ましいが、異なる面積を有するように分割されてもよい。小領域は、一例として、400×400ピクセルの大きさであってもよいが、これ以外の大きさであってもよい。CPU105は、分割した小領域それぞれについて、各小領域に含まれる画素の分散値の平均値を算出する。そして、CPU105は、算出した平均値のうち、最も高い分散値を、合成オルソ画像の評価情報として生成する。
However, when generating the pixel with the highest variance value in the composite orthoimage as evaluation information, or generating the average value of the pixel values of the entire composite orthoimage as evaluation information, it is necessary to Sometimes it doesn't happen. Therefore, in order to output a more accurate evaluation, the
CPU105は、生成した評価情報を、出力部103に出力させる。
The
以上が評価装置100の構成例である。
The above is an example of the configuration of the
<評価装置の動作>
次に、評価装置100の動作について説明する。図5は、評価装置100の動作例を示すフローチャートである。
<Operation of evaluation device>
Next, the operation of the
CPU105は、合成オルソ画像を生成するもととなる車載カメラの撮像映像を取得する。CPU105は、取得した撮像映像から、各フレームを抽出する。そして、CPU105は、抽出した各フレーム各々を正射変換してオルソ画像を生成する(ステップS501)。
The
CPU105は、生成したオルソ画像について、他のオルソ画像と同じ位置同士が重畳するようにして、合成オルソ画像を生成する(ステップS502)。ここで重畳するオルソ画像は、少なくとも2枚のオルソ画像を重畳するものとし、3枚以上のオルソ画像を重畳することとしてよい。
The
CPU105は、合成オルソ画像のうち複数のオルソ画像が重畳する位置の画素の画素値から、当該位置の画素の分散値を算出する(ステップS503)。即ち、CPU105は、合成オルソ画像の各画素について、その元となったオルソ画像各々において対応する位置に存在する画素の画素値を取得し、取得した画素値それぞれを用いて、分散値を算出する。即ち、CPU105は、互いに重畳する同じ個所の画素の画素値の分布が期待値からどれだけ散らばっているかを特定する。分散が小さいほど、重ね合わせた画素の画素値が同じであり、ずれが少ないと推定することができる。CPU105は、合成オルソ画像の各画素(または画素の画像上の位置座標)に対応付けて算出した分散値を記憶部104に記憶する。
The
CPU105は、合成オルソ画像を複数の小領域に分割する(ステップS504)。図4の例では、合成オルソ画像300を、小領域401~415の15の領域に分割した例を示している。
The
そして、CPU105は、分割した各小領域について、当該小領域に含まれる画素に対して算出された画素の分散値を記憶部104から取得する。そして、取得した分散値の平均値を算出する(ステップS505)。即ち、図4の例で言えば、小領域401~415各々の分散値の平均値を算出する。したがって、CPU105は、小領域において、画素の画素値のずれ具合がどの程度であるかを、小領域の単位で特定することができる。分散値の平均値が0に近いほど画素の画素値のずれが少ない、即ち、小領域におけるオルソ画像の重畳においてずれが少ないと評価することができる。逆に、分散値の平均値が1に近いほど画素の画素値のずれが大きい、即ち、小領域におけるオルソ画像の重畳においてずれが大きい(あるいは、撮影時の走行環境や走行条件によって撮像画像がオルソ変換して合成するものに適さない画像であった)と評価することができる。
Then, for each divided small area, the
CPU105は、分割した各小領域について算出した分散値の平均値のうち、最も大きい値を特定する。そして、CPU105は、特定した最も大きい値を、合成オルソ画像の評価値として出力部103に出力させる(ステップS506)。
The
以上が評価装置100による合成オルソ画像の評価方法の説明である。
The above is a description of the method for evaluating a composite orthoimage using the
<実施の形態1まとめ>
本実施の形態1に係る評価装置100は、合成オルソ画像を、合成オルソ画像を生成するもととなったオルソ画像を、それぞれ重畳する際に、同じ位置にある各オルソ画像の画素値の分散値に基づいて、定量的に評価することができる。したがって、ユーザの視認による合成オルソ画像の評価を行うことなく、合成オルソ画像を評価することができる。
<Summary of Embodiment 1>
The
<実施の形態2>
上記実施の形態1においては、合成された合成オルソ画像をそのまま小領域に分割し、各小領域の画素の画素値の分散値の平均を求め、各小領域に対して算出された平均値のうち、最も高い値を合成オルソ画像の評価値として出力する。ところで、地図画像等に合成オルソ画像を利用する場合に、重要となるのは主として車道である。したがって、合成オルソ画像としては、車道部分の画像が正確であればよいという考え方ができる。そこで、本実施の形態2においては、車道に特化した合成オルソ画像の評価方法について説明する。なお、本実施の形態2においては、実施の形態1と異なる構成について説明する。
<Embodiment 2>
In the first embodiment described above, the synthesized orthoimage is directly divided into small regions, the average of the variance values of the pixel values of the pixels in each small region is calculated, and the average value calculated for each small region is Among them, the highest value is output as the evaluation value of the composite orthoimage. By the way, when using a composite orthoimage for a map image, etc., what is important is mainly the road. Therefore, it can be considered that the composite orthoimage should be accurate as long as the image of the roadway portion is accurate. Therefore, in the second embodiment, a method for evaluating a composite orthoimage specialized for roadways will be described. Note that in the second embodiment, a different configuration from the first embodiment will be explained.
<評価装置の構成>
本実施の形態2に係るCPU105は、上記実施の形態1に示した機能に加えて、合成オルソ画像の中から、道路領域と非道路領域とを特定する。そして、特定した非道路領域を合成オルソ画像から除去(削除)する。そして、CPU105は、非道路領域を除去した合成オルソ画像を評価する。
<Configuration of evaluation device>
In addition to the functions described in the first embodiment, the
図6(a)は、非道路領域を除去するための合成オルソ画像を示し、図6(b)は、非道路領域を除去後の合成オルソ画像を示している。 FIG. 6(a) shows a composite ortho image for removing the non-road area, and FIG. 6(b) shows a composite ortho image after removing the non-road area.
図6(a)に示す合成オルソ画像300は、図3(a)に示す合成オルソ画像300と同様のものであって、非道路領域を斜線で示している。即ち、合成オルソ画像300には、非道路領域601と非道路領域602とが含まれる。CPU105は、この日道路領域601と非道路領域602とを、合成オルソ画像300から除去し、図6(b)に示すように、除去後の合成オルソ画像350を生成する。
The
合成オルソ画像300における非道路領域(もしくは道路領域)の検出方法としては、一例として、深層学習のセマンティックセグメンテーションを利用することで実現できるが、これに限定するものではない。
As an example of a method for detecting a non-road area (or road area) in the
<評価装置の動作>
図7は、実施の形態2に係る評価装置100の動作例を示すフローチャートである。図7において、図5に示すフローチャートと異なる処理は、ステップS701、S702の処理になる。
<Operation of evaluation device>
FIG. 7 is a flowchart showing an example of the operation of the
図7に示すように、CPU105は、合成オルソ画像300のうち、非道路領域を特定し、特定した非道路領域を合成オルソ画像300から除去する(ステップS701)。
As shown in FIG. 7, the
そして、CPU105は、非道路領域が除去された合成オルソ画像350を複数の小領域に分割する(ステップS702)。図6(b)の例では、合成オルソ画像350を小領域611~626に分割した例を示している。
Then, the
これによって、CPU105は、道路領域のみが存在する合成オルソ画像を評価することができる。なお、本処理において、非道路領域を除去してから、ステップS503の画素の分散値の算出を行ってもよい。
This allows the
<実施の形態2まとめ>
本実施の形態に係る評価装置100によれば、道路に特化した合成オルソ画像の評価を行うことができる。したがって、例えば、地図情報の作成等に適した合成オルソ画像を特定することができる。
<Summary of Embodiment 2>
According to the
<補足>
上記実施の形態に係る評価装置は、上記実施の形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。
<Supplement>
It goes without saying that the evaluation device according to the embodiment described above is not limited to the embodiment described above, and may be realized by other methods. Various modifications will be described below.
(1)上記実施の形態においては、合成オルソ画像の評価情報として、小領域の画素の分散値の平均値のうち、最も大きい値を出力することとしたが、これはその限りではない。合成オルソ画像を定量的に評価できるのであれば、他の情報であってもよい。例えば、評価装置100は、小領域各々に対して算出された画素の分散値の平均値をそのまま出力することとしてもよいし、平均値の分布を示すグラフを出力してもよい。
(1) In the above embodiment, the largest value among the average values of the variance values of pixels in a small area is output as the evaluation information of the composite orthoimage, but this is not limited to this. Other information may be used as long as the composite orthoimage can be quantitatively evaluated. For example, the
また、評価装置100のCPU105は、画素毎の分散値を合成オルソ画像に対して0~255の値に正規化してグレースケールで描画した画像を評価情報として出力することとしてもよい。分散値をグレースケールで描画した画像では、輝度値が高い場所ほど分散が大きい場所になり、合成時のずれなどが発生している可能性がある場所となる。
Further, the
また、あるいは、評価装置100のCPU105は、合成オルソ画像の各画素の画素値の分散値を、合成オルソ画像の輝度の標準偏差で除して正規化したうえで、小領域の分散値の平均値を算出することとしてもよい。道路領域でいえば、画素毎の分散値は主として白線(区画線)のエッジ付近が高くなり、白線と路面との輝度差が大きいほど、分散値も大きくなる傾向にある。そのため、撮影時の露光の違いや影の有無によって、白線や路面に輝度差が生じ、分散値も変化することがある。そのため、上述のように正規化を行うことで、輝度差の影響を抑制した評価を行うことができる。
Alternatively, the
(2)上記実施の形態において、CPU105は、合成オルソ画像を、評価情報に基づいて、補正する(合成しなおす)補正部として機能してもよい。具体的には、一例として、合成オルソ画像に対して算出された評価情報を所定の閾値と比較する。この所定の閾値は、合成オルソ画像が、基準値を満たしている画像になっているかどうかを判定するための値である。
(2) In the embodiment described above, the
評価情報が所定の閾値を満たしている(評価情報として出力される最も大きい分散値が所定の閾値未満である)場合には、合成オルソ画像は評価値の高い(基準を満たしている)画像となり、CPU105は補正を行わない。一方で、評価情報が所定の閾値を満たしていない場合(分散値が所定の閾値以上である)場合には、CPU105は、その分散値が算出された小領域に対応するオルソ画像の重畳位置を修正する。そして、修正後の合成オルソ画像について、再度評価値としての分散値を算出する。この分散値が前回の分散値よりも小さくなっていれば、よい修正を行えたといえ、分散値が前回よりも大きくなった場合には悪い修正を行ったことになる。
If the evaluation information satisfies a predetermined threshold (the largest variance value output as evaluation information is less than the predetermined threshold), the synthesized orthoimage will be an image with a high evaluation value (satisfying the criteria). , the
CPU105は、このようにして、分散値が所定の基準を満たすまで、修正を繰り返すことで、合成オルソ画像を補正してもよい。
The
(3)上記実施の形態においては、小領域が互いに重ならないように分割する例を示したが、小領域は、一部が互いに重複するように設定されてもよい。 (3) In the above embodiment, an example was shown in which the small areas are divided so that they do not overlap with each other, but the small areas may be set so that some of the small areas overlap with each other.
(4)上記実施の形態2において、合成オルソ画像から非道路領域を除去(削除)する構成を示しているが、これは、非道路領域を除去するのではなく、単一色に塗り替える加工を施すようにしてもよい。例えば、合成オルソ画像中の非道路領域を黒塗り、あるいは、白塗りしたうえで、合成オルソ画像を評価することとしてもよい。 (4) Embodiment 2 above shows a configuration in which non-road areas are removed (deleted) from the composite orthoimage, but this does not involve removing non-road areas, but rather repainting them with a single color. You can do it like this. For example, the non-road areas in the composite orthoimage may be painted black or white, and then the composite orthoimage may be evaluated.
(5)上記実施の形態において、評価装置100は、合成オルソ画像の入力を受け付けて、受け付けた合成オルソ画像を評価してもよい旨を記載している。即ち、上記実施の形態においては、評価装置100が撮像画像を正射変換し、得られたオルソ画像を合成して合成オルソ画像を生成し、生成したオルソ画像を評価する例も示しているが、評価装置100にとって、撮像画像をオルソ画像に変換する機能や、オルソ画像を合成して合成オルソ画像を生成する機能は必須の機能ではなく、評価装置100は、これらの機能を保持していなくともよい。
(5) In the above embodiment, it is described that the
(6)上記実施の形態において、撮像画像を車載カメラにより撮像された画像としているが、これは、ドローン等により空中から撮影された画像であってもよいし、衛星等により撮像された衛星写真であってもよい。 (6) In the above embodiment, the captured image is an image captured by an on-vehicle camera, but this may also be an image captured from the air by a drone, etc., or a satellite photo captured by a satellite, etc. It may be.
(7)上記実施の形態においては、評価装置における合成オルソ画像の評価の手法として、評価装置のプロセッサが評価プログラム等を実行することにより、作成することとしているが、これは装置に集積回路(IC(Integrated Circuit)チップ、LSI(Large Scale Integration))等に形成された論理回路(ハードウェア)や専用回路によって実現してもよい。また、これらの回路は、1または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能は1つの集積回路により実現されることとしてもよい。LSIは、集積度の違いにより、VLSI、スーパーLSI、ウルトラLSIなどと呼称されることもある。すなわち、図8に示すように、評価装置100は、受信回路101a、受付回路102a、出力回路103a、記憶回路104a、制御回路105a、とから構成されてよく、それぞれ、受信部101、受付部102、出力部103、記憶部104、CPU105、に相当する。
(7) In the above embodiment, as a method of evaluating a synthesized orthoimage in the evaluation device, the processor of the evaluation device executes an evaluation program etc. to create the image. It may be realized by a logic circuit (hardware) formed on an IC (Integrated Circuit) chip, an LSI (Large Scale Integration), or a dedicated circuit. Further, these circuits may be realized by one or more integrated circuits, and the functions of the plurality of functional units shown in the above embodiments may be realized by one integrated circuit. LSI is sometimes called VLSI, super LSI, ultra LSI, etc. depending on the degree of integration. That is, as shown in FIG. 8, the
また、上記評価プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記評価プログラムは、当該評価プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記プロセッサに供給されてもよい。つまり、例えば、スマートフォン等の情報処理機器を利用して、ネットワーク上から評価プログラムをダウンロードして実行する構成としてもよい。本発明は、上記評価プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 Further, the evaluation program may be recorded on a processor-readable recording medium, and the recording medium may be a "non-temporary tangible medium" such as a tape, a disk, a card, a semiconductor memory, or a programmable logic circuit. etc. can be used. Further, the evaluation program may be supplied to the processor via any transmission medium (communication network, broadcast wave, etc.) that can transmit the evaluation program. That is, for example, the evaluation program may be downloaded from a network and executed using an information processing device such as a smartphone. The present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the evaluation program is embodied by electronic transmission.
なお、上記評価プログラムは、例えば、ActionScript、JavaScript(登録商標)などのスクリプト言語、Objective-C、Java(登録商標)、C++、Python、Rなどのオブジェクト指向プログラミング言語などを用いて実装できる。 Note that the evaluation program can be implemented using, for example, a script language such as ActionScript or JavaScript (registered trademark), or an object-oriented programming language such as Objective-C, Java (registered trademark), C++, Python, or R.
(8)上記実施の形態に示した各種の実施例や、<補足>に示した各種の例は適宜組み合わせることとしてもよい。また、各フローチャートに示した各動作は、結果として矛盾がなければその実行順序を入れ替えたり、並列に実行したりすることとしてもよい。 (8) The various examples shown in the above embodiment mode and the various examples shown in <Supplement> may be combined as appropriate. Furthermore, the operations shown in each flowchart may be rearranged in the order of execution or executed in parallel if there is no contradiction as a result.
100 評価装置
101 受信部
102 受付部
103 出力部
104 記憶部
105 CPU(取得部、算出部、評価部)
100
Claims (13)
前記複数のオルソ画像各々と、前記合成オルソ画像とを取得する取得部と、
前記複数のオルソ画像に含まれる画素であって、他のオルソ画像と重畳する位置にある画素について、重畳対象のオルソ画像の画素それぞれの画素値に基づいて、当該画素の分散値を算出する算出部と、
前記算出部が算出した分散値に基づいて、前記合成オルソ画像を評価する評価情報を生成する評価部とを備える評価装置。 An evaluation device that evaluates a composite orthoimage obtained by orthogonally converting each of a plurality of captured images so that locations where the captured contents match those of other orthoimages are superimposed on each other. ,
an acquisition unit that acquires each of the plurality of orthoimages and the composite orthoimage;
Calculation of calculating the variance value of a pixel included in the plurality of orthoimages and located at a position where it is superimposed with another orthoimage, based on the pixel value of each pixel of the orthoimage to be superimposed. Department and
An evaluation device comprising: an evaluation section that generates evaluation information for evaluating the composite orthoimage based on the variance value calculated by the calculation section.
ことを特徴とする請求項1に記載の評価装置。 The evaluation device according to claim 1, further comprising an output unit that outputs the evaluation information obtained by the evaluation unit evaluating the composite orthoimage.
ことを特徴とする請求項1又は2に記載の評価装置。 The evaluation unit divides the composite orthoimage into small regions, calculates, for each small region, the average value of the variance values calculated by the calculation unit of each pixel included in the small region, and The evaluation device according to claim 1 or 2, wherein the largest value among the average values is used as evaluation information of the composite orthoimage.
ことを特徴とする請求項1~3のいずれか一項に記載の評価装置。 The evaluation according to any one of claims 1 to 3, wherein the evaluation unit removes images other than the road portion included in the composite orthoimage and evaluates the composite orthoimage of only the road portion. Device.
コンピュータが、
前記複数のオルソ画像各々と、前記合成オルソ画像とを取得する取得ステップと、
前記複数のオルソ画像に含まれる画素であって、他のオルソ画像と重畳する位置にある画素について、重畳対象のオルソ画像の画素それぞれの画素値に基づいて、当該画素の分散値を算出する算出ステップと、
前記算出ステップが算出した分散値に基づいて、前記合成オルソ画像を評価する評価情報を生成する評価ステップと、を実行する評価方法。 An evaluation method for evaluating a composite orthoimage obtained by orthogonally converting each of a plurality of captured images so that locations where the captured content matches those of other orthoimages are superimposed on each other, ,
The computer is
an acquisition step of acquiring each of the plurality of orthoimages and the composite orthoimage;
Calculation of calculating the variance value of a pixel included in the plurality of orthoimages and located at a position where it is superimposed with another orthoimage, based on the pixel value of each pixel of the orthoimage to be superimposed. step and
and an evaluation step of generating evaluation information for evaluating the composite orthoimage based on the variance value calculated in the calculation step.
ことを特徴とする請求項5に記載の評価方法。 The evaluation method according to claim 5, wherein the evaluation step includes an output step of outputting the evaluation information obtained by evaluating the composite orthoimage.
ことを特徴とする請求項5又は6に記載の評価方法。 In the evaluation step, the synthesized orthoimage is divided into small regions, and for each small region, the average value of the variance values calculated in the calculation step of each pixel included in the small region is calculated. The evaluation method according to claim 5 or 6, wherein the largest value among the average values is used as evaluation information of the composite orthoimage.
ことを特徴とする請求項5~7のいずれか一項に記載の評価方法。 The evaluation according to any one of claims 5 to 7, characterized in that in the evaluation step, images other than the road portion included in the composite orthoimage are removed and the composite orthoimage of only the road portion is evaluated. Method.
コンピュータに、
前記複数のオルソ画像各々と、前記合成オルソ画像とを取得する取得機能と、
前記複数のオルソ画像に含まれる画素であって、他のオルソ画像と重畳する位置にある画素について、重畳対象のオルソ画像の画素それぞれの画素値に基づいて、当該画素の分散値を算出する算出機能と、
前記算出機能が算出した分散値に基づいて、前記合成オルソ画像を評価する評価情報を生成する評価機能と、を実現させる評価プログラム。 An evaluation program that evaluates a composite orthoimage obtained by orthogonally converting each of a plurality of captured images so that locations where the captured content matches those of other orthoimages are superimposed on each other. ,
to the computer,
an acquisition function that acquires each of the plurality of orthoimages and the composite orthoimage;
Calculation of calculating the variance value of a pixel included in the plurality of orthoimages and located at a position where it is superimposed with another orthoimage, based on the pixel value of each pixel of the orthoimage to be superimposed. function and
An evaluation program that realizes an evaluation function that generates evaluation information for evaluating the composite orthoimage based on the variance value calculated by the calculation function.
前記評価機能が前記合成オルソ画像を評価した前記評価情報を出力する出力機能を実現させる
ことを特徴とする請求項9に記載の評価プログラム。 to the computer;
The evaluation program according to claim 9, wherein the evaluation function realizes an output function of outputting the evaluation information obtained by evaluating the composite orthoimage.
ことを特徴とする請求項9又は10に記載の評価プログラム。 The evaluation function divides the composite orthoimage into small regions, and calculates, for each small region, the average value of the variance values calculated by the calculation function of each pixel included in the small region. The evaluation program according to claim 9 or 10, wherein the largest value among the average values is set as evaluation information of the composite orthoimage.
ことを特徴とする請求項9~11のいずれか一項に記載の評価プログラム。 The evaluation according to any one of claims 9 to 11, wherein the evaluation function removes images other than the road portion included in the composite orthoimage and evaluates the composite orthoimage of only the road portion. program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020080478A JP7378347B2 (en) | 2020-04-30 | 2020-04-30 | Evaluation device, evaluation method, evaluation program and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020080478A JP7378347B2 (en) | 2020-04-30 | 2020-04-30 | Evaluation device, evaluation method, evaluation program and storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021174450A JP2021174450A (en) | 2021-11-01 |
JP7378347B2 true JP7378347B2 (en) | 2023-11-13 |
Family
ID=78279757
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020080478A Active JP7378347B2 (en) | 2020-04-30 | 2020-04-30 | Evaluation device, evaluation method, evaluation program and storage medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7378347B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6757445B1 (en) | 2000-10-04 | 2004-06-29 | Pixxures, Inc. | Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models |
JP2010272093A (en) | 2009-05-25 | 2010-12-02 | Asahi Koyo Kk | Image connecting method, device and program |
JP2011221231A (en) | 2010-04-08 | 2011-11-04 | Nec Corp | Topographical information display device and display method |
JP5012430B2 (en) | 2007-11-07 | 2012-08-29 | 横河電機株式会社 | DC test equipment and semiconductor test equipment |
JP2019204211A (en) | 2018-05-22 | 2019-11-28 | トヨタ自動車株式会社 | Map generation system |
JP2019204210A (en) | 2018-05-22 | 2019-11-28 | トヨタ自動車株式会社 | Map generation system |
-
2020
- 2020-04-30 JP JP2020080478A patent/JP7378347B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6757445B1 (en) | 2000-10-04 | 2004-06-29 | Pixxures, Inc. | Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models |
JP5012430B2 (en) | 2007-11-07 | 2012-08-29 | 横河電機株式会社 | DC test equipment and semiconductor test equipment |
JP2010272093A (en) | 2009-05-25 | 2010-12-02 | Asahi Koyo Kk | Image connecting method, device and program |
JP2011221231A (en) | 2010-04-08 | 2011-11-04 | Nec Corp | Topographical information display device and display method |
JP2019204211A (en) | 2018-05-22 | 2019-11-28 | トヨタ自動車株式会社 | Map generation system |
JP2019204210A (en) | 2018-05-22 | 2019-11-28 | トヨタ自動車株式会社 | Map generation system |
Also Published As
Publication number | Publication date |
---|---|
JP2021174450A (en) | 2021-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9591237B2 (en) | Automated generation of panning shots | |
WO2020151172A1 (en) | Moving object detection method and apparatus, computer device, and storage medium | |
JP6426433B2 (en) | Image processing apparatus, image processing method, POI information creation system, warning system, and guidance system | |
US10185880B2 (en) | Method and apparatus for augmenting a training data set | |
WO2018168539A1 (en) | Learning method and program | |
JP6820561B2 (en) | Image processing device, display device, navigation system, image processing method and program | |
JP2000011133A (en) | Device and method for detecting moving object | |
CN110781823B (en) | Screen recording detection method and device, readable medium and electronic equipment | |
JP2008118555A (en) | Image processor, image pickup device, and image processing method | |
JPWO2009078056A1 (en) | Moving object detection apparatus and moving object detection program | |
WO2023138556A1 (en) | Video generation method and apparatus based on multiple vehicle-mounted cameras, and vehicle-mounted device | |
CN112101305A (en) | Multi-path image processing method and device and electronic equipment | |
US11599974B2 (en) | Joint rolling shutter correction and image deblurring | |
CN112771843A (en) | Information processing method, device and imaging system | |
CN112561840A (en) | Video clipping method and device, storage medium and electronic equipment | |
WO2018134897A1 (en) | Position and posture detection device, ar display device, position and posture detection method, and ar display method | |
CN114549369A (en) | Data restoration method and device, computer and readable storage medium | |
JP7378347B2 (en) | Evaluation device, evaluation method, evaluation program and storage medium | |
CN113344820A (en) | Image processing method and device, computer readable medium and electronic equipment | |
JP2019209734A (en) | Track identification apparatus | |
WO2020039897A1 (en) | Station monitoring system and station monitoring method | |
JP4469980B2 (en) | Image processing method for tracking moving objects | |
WO2020039898A1 (en) | Station monitoring device, station monitoring method and program | |
US20130038630A1 (en) | Image drawing device and image drawing method | |
JP2019174989A (en) | Image compression method and image compression device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231031 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7378347 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |