JP7378347B2 - Evaluation device, evaluation method, evaluation program and storage medium - Google Patents

Evaluation device, evaluation method, evaluation program and storage medium Download PDF

Info

Publication number
JP7378347B2
JP7378347B2 JP2020080478A JP2020080478A JP7378347B2 JP 7378347 B2 JP7378347 B2 JP 7378347B2 JP 2020080478 A JP2020080478 A JP 2020080478A JP 2020080478 A JP2020080478 A JP 2020080478A JP 7378347 B2 JP7378347 B2 JP 7378347B2
Authority
JP
Japan
Prior art keywords
orthoimage
evaluation
composite
pixel
orthoimages
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020080478A
Other languages
Japanese (ja)
Other versions
JP2021174450A (en
Inventor
大介 立川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Mapmaster Inc
Original Assignee
Toyota Mapmaster Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Mapmaster Inc filed Critical Toyota Mapmaster Inc
Priority to JP2020080478A priority Critical patent/JP7378347B2/en
Publication of JP2021174450A publication Critical patent/JP2021174450A/en
Application granted granted Critical
Publication of JP7378347B2 publication Critical patent/JP7378347B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、オルソ画像を評価する評価装置、評価方法、評価プログラム、及び当該プログラムを記録した記録媒体に関する。 The present invention relates to an evaluation device, an evaluation method, an evaluation program, and a recording medium recording the program for evaluating orthoimages.

従来、走行画像を正射変換(オルソ変換)した画像を用いて、地図情報の作成等の補助として用いてきた。特許文献1には、2つのオルソ画像を合成する手法として、道路上の地物を線形化したうえでオルソ画像同士を比較し、位置ずれを検出する技術が開示されている。 Conventionally, images obtained by orthorectically transforming driving images have been used to assist in creating map information, etc. Patent Document 1 discloses, as a method for synthesizing two ortho-images, a technique in which a feature on a road is linearized and then the ortho-images are compared with each other to detect a positional shift.

特開2018-72637号公報JP2018-72637A

ところで、このようにして2以上のオルソ画像を合成することで生成された合成オルソ画像の評価、即ち、オルソ画像として使用に耐えるか(画像がぼやけていないか、合成箇所での位置のずれが発生していないか、など)は、人の目視により行われてきたが、地図情報として生成される合成オルソ画像の数を考慮すると、人の手による評価は非常に煩雑であると言わざるを得ない。また、目視の場合に、合成オルソ画像の評価に個人差によるばらつきがでるという問題がある。 By the way, it is important to evaluate the composite ortho image generated by composing two or more ortho images in this way, that is, whether it can be used as an ortho image (Is the image blurred, is there a positional shift at the compositing point? However, considering the number of synthetic orthoimages generated as map information, it must be said that manual evaluation is extremely complicated. I don't get it. Furthermore, in the case of visual inspection, there is a problem in that the evaluation of the composite orthoimage varies due to individual differences.

そこで、本発明は、上記問題に鑑みてなされたものであり、オルソ画像を定量的に評価する評価装置、評価方法、評価プログラムおよび記憶媒体を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide an evaluation device, an evaluation method, an evaluation program, and a storage medium that quantitatively evaluate orthoimages.

上記課題を解決するために、本発明の一態様に係る評価装置は、複数の撮像画像各々を正射変換して得られる複数のオルソ画像各々について、他のオルソ画像と撮像内容が一致する場所が互いに重畳するように合成した合成オルソ画像を評価する評価装置であって、複数のオルソ画像各々と、合成オルソ画像とを取得する取得部と、複数のオルソ画像に含まれる画素であって、他のオルソ画像と重畳する位置にある画素について、重畳対象のオルソ画像の画素それぞれの画素値に基づいて、当該画素の分散値を算出する算出部と、算出部が算出した分散値に基づいて、合成オルソ画像を評価する評価情報を生成する評価部とを備える。 In order to solve the above problems, an evaluation device according to one aspect of the present invention provides a plurality of orthoimages obtained by orthogonally transforming each of a plurality of captured images, at a location where the captured content matches another orthoimage. An evaluation device that evaluates a composite ortho image synthesized such that the images are superimposed on each other, an acquisition unit that acquires each of the plurality of ortho images and the composite ortho image, and pixels included in the plurality of ortho images, A calculation unit that calculates a variance value of a pixel at a position to be superimposed with another orthoimage, based on the pixel value of each pixel of the orthoimage to be superimposed; , and an evaluation unit that generates evaluation information for evaluating the composite orthoimage.

上記課題を解決するために、本発明の一態様に係る評価方法は、複数の撮像画像各々を正射変換して得られる複数のオルソ画像各々について、他のオルソ画像と撮像内容が一致する場所が互いに重畳するように合成した合成オルソ画像を評価する評価方法であって、コンピュータが、複数のオルソ画像各々と、合成オルソ画像とを取得する取得ステップと、複数のオルソ画像に含まれる画素であって、他のオルソ画像と重畳する位置にある画素について、重畳対象のオルソ画像の画素それぞれの画素値に基づいて、当該画素の分散値を算出する算出ステップと、算出ステップが算出した分散値に基づいて、合成オルソ画像を評価する評価情報を生成する評価ステップと、を実行する。 In order to solve the above problems, an evaluation method according to one aspect of the present invention provides a method for evaluating each of a plurality of orthoimages obtained by orthogonally transforming each of a plurality of captured images, at a location where the captured content matches another orthoimage. This is an evaluation method for evaluating a composite ortho image synthesized such that the images are superimposed on each other. and a calculation step of calculating a variance value of the pixel at a position where it is superimposed with another orthoimage, based on the pixel value of each pixel of the orthoimage to be superimposed, and a variance value calculated by the calculation step. an evaluation step of generating evaluation information for evaluating the composite orthoimage based on the

上記課題を解決するために、本発明の一態様に係る評価プログラムは、複数の撮像画像各々を正射変換して得られる複数のオルソ画像各々について、他のオルソ画像と撮像内容が一致する場所が互いに重畳するように合成した合成オルソ画像を評価する評価プログラムであって、コンピュータに、複数のオルソ画像各々と、合成オルソ画像とを取得する取得機能と、複数のオルソ画像に含まれる画素であって、他のオルソ画像と重畳する位置にある画素について、重畳対象のオルソ画像の画素それぞれの画素値に基づいて、当該画素の分散値を算出する算出機能と、算出機能が算出した分散値に基づいて、合成オルソ画像を評価する評価情報を生成する評価機能と、を実現させる。 In order to solve the above problems, an evaluation program according to one aspect of the present invention is configured to perform orthogonal transformation on each of a plurality of captured images, and to detect locations where the captured content matches other orthoimages. This is an evaluation program that evaluates a composite ortho image that has been composited so that the images are superimposed on each other. A calculation function that calculates the variance value of a pixel at a position where it is superimposed with another orthoimage, based on the pixel value of each pixel of the orthoimage to be superimposed, and a variance value calculated by the calculation function. and an evaluation function that generates evaluation information for evaluating a composite orthoimage based on the above.

上記評価装置において、評価部が合成オルソ画像を評価した評価情報を出力する出力部を備えることとしてもよい。 The evaluation device may include an output unit that outputs evaluation information obtained by the evaluation unit evaluating the composite orthoimage.

上記評価装置において、評価部は、合成オルソ画像を小領域に分割し、各小領域について、当該小領域に含まれる各画素の、算出部により算出された分散値の平均値を算出し、算出された平均値のうち最も大きな値を、合成オルソ画像の評価情報とすることとしてもよい。 In the above evaluation device, the evaluation section divides the composite orthoimage into small regions, calculates, for each small region, the average value of the variance values calculated by the calculation section of each pixel included in the small region, and calculates The largest value among the calculated average values may be used as the evaluation information of the composite orthoimage.

上記評価装置において、評価部は、合成オルソ画像に含まれる道路部分以外の画像を除去し、道路部分のみの合成オルソ画像を評価することとしてもよい。 In the above evaluation device, the evaluation unit may remove images other than the road portion included in the composite orthoimage and evaluate the composite orthoimage of only the road portion.

本発明の一態様に係る評価装置は、合成オルソ画像の元となるオルソ画像同士を重畳する際に、重畳する箇所における画素の画素値の分散を算出する。複数の異なるオルソ画像の画素の画素値であって、同じ個所であると推定される場所の画素同士の画素値の分散を算出することで、分散値が大きいほどずれが大きいと推定でき、合成オルソ画像としての評価が低いと見積もることができる。したがって、評価装置は、合成オルソ画像を定量的に評価することができる。 An evaluation device according to one aspect of the present invention calculates the variance of pixel values of pixels at superimposed locations when superimposing orthoimages that are the basis of a composite orthoimage. By calculating the variance of the pixel values of pixels in multiple different orthoimages, which are estimated to be the same location, it can be estimated that the larger the variance value, the greater the deviation, and the synthesis It can be estimated that the evaluation as an orthoimage is low. Therefore, the evaluation device can quantitatively evaluate the composite orthoimage.

評価装置の機能構成例を示すブロック図である。It is a block diagram showing an example of functional composition of an evaluation device. (a)は、撮像画像の一例を示す図である。(b)は、撮像画像を正射変換した例を示す図である。(a) is a diagram showing an example of a captured image. (b) is a diagram showing an example in which a captured image is orthogonally transformed. (a)は、合成オルソ画像の一例を示す図である。(b)は、オルソ画像を合成する態様を示す図である。(a) is a diagram showing an example of a composite orthoimage. (b) is a diagram showing a mode of synthesizing orthoimages. 合成オルソ画像を小領域に分割する例を示す図である。FIG. 6 is a diagram illustrating an example of dividing a composite orthoimage into small regions. 評価装置のオルソ画像の評価処理に係る動作例を示すフローチャートである。7 is a flowchart illustrating an example of the operation of the evaluation device for evaluating orthoimages. (a)は、非道路領域の一例を示す図である。(b)は、非道路領域除去後の合成オルソ画像を小領域に分割する例を示す図である。(a) is a diagram showing an example of a non-road area. (b) is a diagram showing an example of dividing the composite orthoimage into small regions after non-road region removal. 評価装置の非道路領域除去後のオルソ画像の評価処理に係る動作例を示すフローチャートである。12 is a flowchart illustrating an example of the operation of the evaluation device regarding evaluation processing of an orthoimage after non-road area removal. 評価装置の他の構成例を示すブロック図である。It is a block diagram showing another example of composition of an evaluation device.

以下、本発明の一実施態様に係る評価装置について、図面を参照しながら詳細に説明する。 Hereinafter, an evaluation device according to an embodiment of the present invention will be described in detail with reference to the drawings.

<実施の形態1>
<評価装置の構成>
本発明の一態様に係る評価装置は、複数の撮像画像各々を正射変換して得られる複数のオルソ画像各々について、他のオルソ画像と撮像内容が一致する場所が互いに重畳するように合成した合成オルソ画像を評価する評価装置である。評価装置は、複数のオルソ画像各々と、合成オルソ画像とを取得する取得部(図1の105参照)と、複数のオルソ画像に含まれる画素であって、他のオルソ画像と重畳する位置にある画素について、重畳対象のオルソ画像の画素それぞれの画素値に基づいて、当該画素の分散値を算出する算出部(図1の105参照)と、算出部が算出した分散値に基づいて、合成オルソ画像を評価する評価情報を生成する評価部(図1の105参照)とを備える。以下、詳細に説明する。
<Embodiment 1>
<Configuration of evaluation device>
An evaluation device according to one aspect of the present invention synthesizes each of a plurality of orthoimages obtained by orthogonally transforming each of a plurality of captured images so that locations where the captured content matches that of other orthoimages are superimposed on each other. This is an evaluation device that evaluates synthetic orthoimages. The evaluation device includes an acquisition unit (see 105 in FIG. 1) that acquires each of the plurality of orthoimages and a composite orthoimage, and a pixel included in the plurality of orthoimages at a position superimposed on another orthoimage. For a certain pixel, a calculation unit (see 105 in FIG. 1) calculates a variance value of the pixel based on the pixel value of each pixel of the ortho image to be superimposed, and a combination is performed based on the variance value calculated by the calculation unit. The evaluation unit (see 105 in FIG. 1) generates evaluation information for evaluating the orthoimage. This will be explained in detail below.

図1は、評価装置100の機能構成例を示すブロック図である。図1に示すように、評価装置100は、受信部101と、受付部102と、出力部103と、記憶部104と、CPU105とを備える。 FIG. 1 is a block diagram showing an example of the functional configuration of the evaluation device 100. As shown in FIG. 1, the evaluation device 100 includes a reception section 101, a reception section 102, an output section 103, a storage section 104, and a CPU 105.

評価装置100は、サーバ装置、PCなどにより実現されるが、これらに限定するものではなく、スマートフォン等の携帯端末などにより実現されるものであってもよい。以下、各機能部について詳細に説明する。 The evaluation device 100 is realized by a server device, a PC, etc., but is not limited to these, and may be realized by a mobile terminal such as a smartphone. Each functional unit will be explained in detail below.

受信部101は、他の装置から通信により情報を受信する機能を有する。受信部101は、例えば、実際に自動車が走行した位置や車速などの情報を用いて生成された車両の走行履歴である走行履歴情報、所謂プローブ情報(プローブ交通情報)を受信することとしてよい。この走行履歴情報には車両が走行した際に撮像した撮像画像が含まれる。また、受信部101は、例えば、ユーザのPCやウェブ、フラッシュメモリ等から車両の走行時に撮像された撮像画像を受信する。また、受信部101は、車道を含む撮像画像を正射変換したオルソ画像を受信する。受信部101は、受信した撮像画像またはオルソ画像を、CPU105に伝達する。 The receiving unit 101 has a function of receiving information from other devices through communication. The receiving unit 101 may receive, for example, driving history information that is a driving history of a vehicle generated using information such as the position where the car actually traveled and the vehicle speed, so-called probe information (probe traffic information). This travel history information includes captured images taken while the vehicle was traveling. Further, the receiving unit 101 receives, for example, a captured image captured while the vehicle is running from a user's PC, the web, a flash memory, or the like. The receiving unit 101 also receives an orthogonal image obtained by orthogonally transforming a captured image including a roadway. The receiving unit 101 transmits the received captured image or orthoimage to the CPU 105.

受付部102は、評価装置100のユーザからの入力を受け付けて、CPU105に伝達する機能を有する。受付部102は、例えば、評価装置100に備えられたハードウェアキーや、タッチキーなどのソフトキーなどにより実現することができる。なお、受付部102に対する入力は音声による入力であってもよい。 The receiving unit 102 has a function of receiving input from the user of the evaluation device 100 and transmitting the input to the CPU 105. The reception unit 102 can be realized by, for example, a hardware key provided in the evaluation device 100 or a soft key such as a touch key. Note that the input to the reception unit 102 may be a voice input.

出力部103は、CPU105からの指示に従って、指示されたデータを出力する機能を有する。出力部103は、例えば、合成オルソ画像の評価値を示す評価情報を出力する。出力部103は、評価情報を、評価装置100に接続されたモニタに画像情報(テキストデータでもよい)として出力することとしてもよいし、評価情報を示す音声データを評価装置100に接続されたスピーカに出力することとしてもよいし、外部の装置に対して、通信により評価情報を送信することとしてもよい。即ち、出力部103は、CPU105から指定された情報を、指定された宛先に出力する通信インターフェースとして機能する。 The output unit 103 has a function of outputting instructed data according to instructions from the CPU 105. The output unit 103 outputs, for example, evaluation information indicating an evaluation value of the composite orthoimage. The output unit 103 may output the evaluation information as image information (or text data) to a monitor connected to the evaluation device 100, or output audio data indicating the evaluation information to a speaker connected to the evaluation device 100. The evaluation information may be output to an external device, or may be transmitted to an external device via communication. That is, the output unit 103 functions as a communication interface that outputs information specified by the CPU 105 to a specified destination.

記憶部104は、評価装置100が動作するうえで必要とする各種のプログラム及び地図情報を含む各種のデータを記憶する記録媒体である。記憶部104は、例えば、HDD(Hard Disc Drive)、SSD(Solid State Drive)、フラッシュメモリ等により実現される。 The storage unit 104 is a recording medium that stores various programs and various data including map information necessary for the operation of the evaluation device 100. The storage unit 104 is realized by, for example, an HDD (Hard Disc Drive), an SSD (Solid State Drive), a flash memory, or the like.

記憶部104は、撮像画像141と、オルソ画像142と、合成オルソ画像143と、を記憶していてもよい。撮像画像141は、車道を含む画像を撮像して得られる画像である。オルソ画像142は、撮像画像141を正射変換して得られるオルソ画像である。合成オルソ画像143は、複数のオルソ画像142間で互いに内容(位置)が重複するようにして重畳して得られる画像である。評価装置100は、合成オルソ画像143を評価する。 The storage unit 104 may store a captured image 141, an orthoimage 142, and a composite orthoimage 143. The captured image 141 is an image obtained by capturing an image including a roadway. The ortho image 142 is an ortho image obtained by orthogonally transforming the captured image 141. The composite orthoimage 143 is an image obtained by superimposing a plurality of orthoimages 142 so that their contents (positions) overlap with each other. The evaluation device 100 evaluates the composite orthoimage 143.

CPU105は、記憶部104に記憶されている各種のプログラム及び各種のデータを利用して、評価装置100が実行すべき処理を実行するプロセッサである。 The CPU 105 is a processor that uses various programs and various data stored in the storage unit 104 to execute processes to be executed by the evaluation device 100.

CPU105は、評価装置100の各部を制御し、画像を正射変換して合成して得られる合成オルソ画像を評価する。 The CPU 105 controls each part of the evaluation device 100 and evaluates a composite orthoimage obtained by orthographically transforming and combining images.

CPU105は、複数のオルソ画像と、これらの複数のオルソ画像から生成される合成オルソ画像を取得する取得部として機能する。複数のオルソ画像は、受信部101が受信したものを用いてもよいし、記憶部104に記憶されているものを用いてもよい。また、合成オルソ画像は、受信部101が受信したものを用いてもよいし、CPU105が複数のオルソ画像から生成したものを用いることとしてもよい。 The CPU 105 functions as an acquisition unit that acquires a plurality of orthoimages and a composite orthoimage generated from these orthoimages. As the plurality of orthoimages, those received by the receiving unit 101 may be used, or those stored in the storage unit 104 may be used. Further, as the composite orthoimage, one received by the receiving unit 101 may be used, or one generated by the CPU 105 from a plurality of orthoimages.

ここで、オルソ画像および合成オルソ画像について説明する。図2は、オルソ画像を説明するための図である。図2(a)は、車両等に搭載された車載カメラにより車両進行方向を撮像した撮像画像200の一例を示す図である。撮像画像は、静止画であってもよいし、車載カメラが撮像した動画の一フレームであってもよい。そして、図2(b)は、図2(a)に示す撮像画像を正射変換したオルソ画像210の一例である。正射変換とは、画像を、画像を真上から見たような傾きのない正しい大きさと位置に表示されるように変換することをいう。一般的には空中写真や衛星写真のように中心投影により撮像された画像を正射投影した態様に変換することをいうが、車載カメラ等により撮像された画像を変換する際にも用いることができる。なお、図2(b)のオルソ画像210においては、図2(a)に含まれる車道のみを示しているが、実際には、看板や各建築物なども含まれてよい。 Here, orthoimages and composite orthoimages will be explained. FIG. 2 is a diagram for explaining an orthoimage. FIG. 2A is a diagram showing an example of a captured image 200 captured in the vehicle traveling direction by an on-vehicle camera mounted on a vehicle or the like. The captured image may be a still image or may be one frame of a moving image captured by an on-vehicle camera. FIG. 2(b) is an example of an orthoimage 210 obtained by orthogonally transforming the captured image shown in FIG. 2(a). Orthographic conversion refers to converting an image so that it is displayed in the correct size and position without any tilt, as if the image were viewed from directly above. Generally speaking, it refers to converting an image captured by central projection, such as an aerial photograph or a satellite photograph, into an orthogonal projection mode, but it can also be used when converting an image captured by an on-vehicle camera, etc. can. Note that the orthoimage 210 in FIG. 2(b) shows only the roadway included in FIG. 2(a), but in reality, signboards, buildings, etc. may also be included.

CPU105は、図2(b)に示すようなオルソ画像を複数つなぎ合わせていくことで、地図を作成することができる。そのような画像を合成オルソ画像という。例えば、図3(a)が合成オルソ画像300の一例であるとする。この合成オルソ画像300は、実際には、図3(b)に示すように、複数のオルソ画像311~317を、それぞれで撮像内容が重複するように重ね合わせていくことで生成した重畳画像となる。 The CPU 105 can create a map by connecting a plurality of orthoimages as shown in FIG. 2(b). Such an image is called a composite orthoimage. For example, assume that FIG. 3A is an example of a composite orthoimage 300. This composite ortho image 300 is actually a superimposed image generated by superimposing a plurality of ortho images 311 to 317 so that the captured contents overlap in each, as shown in FIG. 3(b). Become.

このような合成オルソ画像は、各オルソ画像の重畳時のずれによってぼやけた画像となり、場合によっては、地図画像の元となるデータとして使用できないことがある。そこで、CPU105は、合成オルソ画像を定量的に評価する。 Such a composite orthoimage becomes a blurred image due to a shift in the superimposition of each orthoimage, and in some cases, it may not be possible to use it as data that is the source of a map image. Therefore, the CPU 105 quantitatively evaluates the composite orthoimage.

即ち、CPU105は、合成オルソ画像を評価する評価部として機能する。そのために、CPU105は、合成オルソ画像のもととなって複数のオルソ画像に含まれる画素であって、他のオルソ画像と重畳する位置にある画像について重畳対象のオルソ画像の画素それぞれの画素値に基づいて、その画素の分散値を算出する算出部としても機能する。そして、CPU105は、算出した分散値に基づいて、合成オルソ画像を評価する評価情報を生成する。 That is, the CPU 105 functions as an evaluation unit that evaluates the composite orthoimage. To this end, the CPU 105 determines the pixel value of each pixel of the orthoimage to be superimposed on an image that is included in a plurality of orthoimages that is the basis of the composite orthoimage and is located at a position where it is superimposed with other orthoimages. It also functions as a calculation unit that calculates the variance value of the pixel based on . Then, the CPU 105 generates evaluation information for evaluating the composite orthoimage based on the calculated variance value.

図3(b)を参照して説明する。車載カメラを用いて撮像された動画から抽出したフレームは、連続性が高く、それらのフレームを正射変換して得られるオルソ画像は、図3(b)に示されるように互いに重畳することで一つの地図画像としての合成オルソ画像(図3(a)参照)を生成することができる。重畳するオルソ画像が多い方が平均的にみて地図画像としてより精度の高い合成オルソ画像を生成することができる。このとき、オルソ画像同士の重畳位置がずれたりすると、合成オルソ画像としてはぼやけた画像となることがある、そこで、CPU105は、オルソ画像同士が互いに重畳する画素の画素値の分散を算出する。 This will be explained with reference to FIG. 3(b). The frames extracted from the video captured using the in-vehicle camera are highly continuous, and the ortho images obtained by orthogonally converting these frames are superimposed on each other as shown in Figure 3(b). A composite orthoimage (see FIG. 3(a)) as one map image can be generated. The more orthoimages that are superimposed, the more accurate a composite orthoimage can be generated as a map image on average. At this time, if the superimposition positions of the orthoimages are shifted, the combined orthoimage may become a blurred image. Therefore, the CPU 105 calculates the variance of the pixel values of pixels where the orthoimages are superimposed on each other.

一例として、図3(b)を用いて説明すると、CPU105は、オルソ画像311の位置320で示される画素と、オルソ画像311に重畳するオルソ画像312の位置320で示される画素と、オルソ画像311とオルソ画像312とに重畳するオルソ画像313の位置320で示される画素と、オルソ画像311~313に重畳するオルソ画像314の位置320で示される画素と、のそれぞれの画素値を取得する。複数のオルソ画像の同じ位置に対応する画素の画素値の一致度が高いと、オルソ画像同士の重畳度合いがよいことを意味し、合成オルソ画像として精度の高い画像が得られていることになる。したがって、CPU105は、合成オルソ画像の各画素について算出された分散値に基づいて合成オルソ画像を評価する。一例として、CPU105は、合成オルソ画像の各画素の分散値を纏めて画素の分散値のリストを評価情報として生成してもよいし、各画素について算出された分散値のうち、最も高い分散値を評価情報として生成してもよいし、分散値の平均値を評価情報として生成してもよい。 As an example, referring to FIG. 3B, the CPU 105 selects a pixel indicated by a position 320 of the ortho image 311, a pixel indicated by a position 320 of the ortho image 312 superimposed on the ortho image 311, and a pixel indicated by the position 320 of the ortho image 311. The pixel values of the pixel indicated by the position 320 of the ortho image 313 superimposed on the ortho image 312 and the pixel indicated by the position 320 of the ortho image 314 superimposed on the ortho images 311 to 313 are obtained. If the pixel values of pixels corresponding to the same position in multiple orthoimages have a high degree of agreement, it means that the orthoimages have a good degree of superimposition, and a highly accurate composite orthoimage has been obtained. . Therefore, the CPU 105 evaluates the composite orthoimage based on the variance value calculated for each pixel of the composite orthoimage. As an example, the CPU 105 may compile the variance values of each pixel of the composite orthoimage and generate a list of pixel variance values as evaluation information, or may select the highest variance value among the variance values calculated for each pixel. may be generated as the evaluation information, or the average value of the variance values may be generated as the evaluation information.

ただ、合成オルソ画像のうち、最も分散値の高い画素を評価情報として生成したり、合成オルソ画像全体の画素値の平均値を評価情報として生成したりする場合には、評価として正確な値とならないことがある。そこで、より正確な評価を出力するために、CPU105は、合成オルソ画像を複数の小領域に分割する。図4は、合成オルソ画像を複数の小領域に分割した例を示している。なお、分割すると記載しているが、これは、合成オルソ画像300に対して、小領域を設定していくことを意味している。図4では、合成オルソ画像300を、小領域401~415に分割した例を示している。この小領域同士は、同じ面積であることが望ましいが、異なる面積を有するように分割されてもよい。小領域は、一例として、400×400ピクセルの大きさであってもよいが、これ以外の大きさであってもよい。CPU105は、分割した小領域それぞれについて、各小領域に含まれる画素の分散値の平均値を算出する。そして、CPU105は、算出した平均値のうち、最も高い分散値を、合成オルソ画像の評価情報として生成する。 However, when generating the pixel with the highest variance value in the composite orthoimage as evaluation information, or generating the average value of the pixel values of the entire composite orthoimage as evaluation information, it is necessary to Sometimes it doesn't happen. Therefore, in order to output a more accurate evaluation, the CPU 105 divides the composite orthoimage into a plurality of small regions. FIG. 4 shows an example in which a composite orthoimage is divided into a plurality of small regions. Note that although it is described as dividing, this means that small areas are set for the composite orthoimage 300. FIG. 4 shows an example in which the composite orthoimage 300 is divided into small regions 401 to 415. It is desirable that these small regions have the same area, but they may be divided to have different areas. The small area may have a size of 400×400 pixels, for example, but may have a size other than this. The CPU 105 calculates, for each of the divided small regions, the average value of the variance values of pixels included in each small region. Then, the CPU 105 generates the highest variance value among the calculated average values as evaluation information of the composite orthoimage.

CPU105は、生成した評価情報を、出力部103に出力させる。 The CPU 105 causes the output unit 103 to output the generated evaluation information.

以上が評価装置100の構成例である。 The above is an example of the configuration of the evaluation device 100.

<評価装置の動作>
次に、評価装置100の動作について説明する。図5は、評価装置100の動作例を示すフローチャートである。
<Operation of evaluation device>
Next, the operation of the evaluation device 100 will be explained. FIG. 5 is a flowchart showing an example of the operation of the evaluation device 100.

CPU105は、合成オルソ画像を生成するもととなる車載カメラの撮像映像を取得する。CPU105は、取得した撮像映像から、各フレームを抽出する。そして、CPU105は、抽出した各フレーム各々を正射変換してオルソ画像を生成する(ステップS501)。 The CPU 105 acquires an image captured by an on-vehicle camera, which is the basis for generating a composite orthoimage. The CPU 105 extracts each frame from the acquired captured video. Then, the CPU 105 orthographically transforms each extracted frame to generate an orthoimage (step S501).

CPU105は、生成したオルソ画像について、他のオルソ画像と同じ位置同士が重畳するようにして、合成オルソ画像を生成する(ステップS502)。ここで重畳するオルソ画像は、少なくとも2枚のオルソ画像を重畳するものとし、3枚以上のオルソ画像を重畳することとしてよい。 The CPU 105 generates a composite orthoimage by superimposing the same positions of the generated orthoimage as other orthoimages (step S502). The ortho images to be superimposed here are at least two ortho images, and three or more ortho images may be superimposed.

CPU105は、合成オルソ画像のうち複数のオルソ画像が重畳する位置の画素の画素値から、当該位置の画素の分散値を算出する(ステップS503)。即ち、CPU105は、合成オルソ画像の各画素について、その元となったオルソ画像各々において対応する位置に存在する画素の画素値を取得し、取得した画素値それぞれを用いて、分散値を算出する。即ち、CPU105は、互いに重畳する同じ個所の画素の画素値の分布が期待値からどれだけ散らばっているかを特定する。分散が小さいほど、重ね合わせた画素の画素値が同じであり、ずれが少ないと推定することができる。CPU105は、合成オルソ画像の各画素(または画素の画像上の位置座標)に対応付けて算出した分散値を記憶部104に記憶する。 The CPU 105 calculates the variance value of the pixel at the position of the composite orthoimage from the pixel value of the pixel at the position where the plurality of orthoimages are superimposed (step S503). That is, for each pixel of the composite orthoimage, the CPU 105 acquires the pixel value of the pixel existing at the corresponding position in each of the original orthoimages, and calculates a variance value using each of the acquired pixel values. . That is, the CPU 105 specifies how much the distribution of pixel values of pixels at the same location that overlap each other is scattered from the expected value. It can be estimated that the smaller the variance, the more the pixel values of the superimposed pixels are the same and the smaller the deviation. The CPU 105 stores in the storage unit 104 the calculated variance value in association with each pixel (or the position coordinate of the pixel on the image) of the composite orthoimage.

CPU105は、合成オルソ画像を複数の小領域に分割する(ステップS504)。図4の例では、合成オルソ画像300を、小領域401~415の15の領域に分割した例を示している。 The CPU 105 divides the composite orthoimage into a plurality of small regions (step S504). The example in FIG. 4 shows an example in which the composite orthoimage 300 is divided into 15 small areas 401 to 415.

そして、CPU105は、分割した各小領域について、当該小領域に含まれる画素に対して算出された画素の分散値を記憶部104から取得する。そして、取得した分散値の平均値を算出する(ステップS505)。即ち、図4の例で言えば、小領域401~415各々の分散値の平均値を算出する。したがって、CPU105は、小領域において、画素の画素値のずれ具合がどの程度であるかを、小領域の単位で特定することができる。分散値の平均値が0に近いほど画素の画素値のずれが少ない、即ち、小領域におけるオルソ画像の重畳においてずれが少ないと評価することができる。逆に、分散値の平均値が1に近いほど画素の画素値のずれが大きい、即ち、小領域におけるオルソ画像の重畳においてずれが大きい(あるいは、撮影時の走行環境や走行条件によって撮像画像がオルソ変換して合成するものに適さない画像であった)と評価することができる。 Then, for each divided small area, the CPU 105 acquires the pixel variance value calculated for the pixels included in the small area from the storage unit 104. Then, the average value of the obtained variance values is calculated (step S505). That is, in the example of FIG. 4, the average value of the variance values of each of the small regions 401 to 415 is calculated. Therefore, the CPU 105 can specify, in units of small regions, how much the pixel values of pixels are shifted in each small region. It can be evaluated that the closer the average value of the variance values is to 0, the smaller the deviation of the pixel values of the pixels, that is, the smaller the deviation in the superimposition of orthoimages in a small area. Conversely, the closer the average value of the variance values is to 1, the greater the deviation in the pixel values of the pixels, that is, the larger the deviation in the superimposition of orthoimages in a small area (or the captured image may differ depending on the driving environment or driving conditions at the time of shooting). It can be evaluated that the image was not suitable for ortho-transforming and compositing.

CPU105は、分割した各小領域について算出した分散値の平均値のうち、最も大きい値を特定する。そして、CPU105は、特定した最も大きい値を、合成オルソ画像の評価値として出力部103に出力させる(ステップS506)。 The CPU 105 identifies the largest value among the average values of the variance values calculated for each of the divided small areas. Then, the CPU 105 causes the output unit 103 to output the identified largest value as the evaluation value of the composite orthoimage (step S506).

以上が評価装置100による合成オルソ画像の評価方法の説明である。 The above is a description of the method for evaluating a composite orthoimage using the evaluation device 100.

<実施の形態1まとめ>
本実施の形態1に係る評価装置100は、合成オルソ画像を、合成オルソ画像を生成するもととなったオルソ画像を、それぞれ重畳する際に、同じ位置にある各オルソ画像の画素値の分散値に基づいて、定量的に評価することができる。したがって、ユーザの視認による合成オルソ画像の評価を行うことなく、合成オルソ画像を評価することができる。
<Summary of Embodiment 1>
The evaluation device 100 according to the first embodiment calculates the variance of the pixel values of the orthoimages at the same position when superimposing the composite orthoimage and the orthoimages from which the composite orthoimage is generated. Based on the value, it can be quantitatively evaluated. Therefore, the composite orthoimage can be evaluated without the user visually checking the composite orthoimage.

<実施の形態2>
上記実施の形態1においては、合成された合成オルソ画像をそのまま小領域に分割し、各小領域の画素の画素値の分散値の平均を求め、各小領域に対して算出された平均値のうち、最も高い値を合成オルソ画像の評価値として出力する。ところで、地図画像等に合成オルソ画像を利用する場合に、重要となるのは主として車道である。したがって、合成オルソ画像としては、車道部分の画像が正確であればよいという考え方ができる。そこで、本実施の形態2においては、車道に特化した合成オルソ画像の評価方法について説明する。なお、本実施の形態2においては、実施の形態1と異なる構成について説明する。
<Embodiment 2>
In the first embodiment described above, the synthesized orthoimage is directly divided into small regions, the average of the variance values of the pixel values of the pixels in each small region is calculated, and the average value calculated for each small region is Among them, the highest value is output as the evaluation value of the composite orthoimage. By the way, when using a composite orthoimage for a map image, etc., what is important is mainly the road. Therefore, it can be considered that the composite orthoimage should be accurate as long as the image of the roadway portion is accurate. Therefore, in the second embodiment, a method for evaluating a composite orthoimage specialized for roadways will be described. Note that in the second embodiment, a different configuration from the first embodiment will be explained.

<評価装置の構成>
本実施の形態2に係るCPU105は、上記実施の形態1に示した機能に加えて、合成オルソ画像の中から、道路領域と非道路領域とを特定する。そして、特定した非道路領域を合成オルソ画像から除去(削除)する。そして、CPU105は、非道路領域を除去した合成オルソ画像を評価する。
<Configuration of evaluation device>
In addition to the functions described in the first embodiment, the CPU 105 according to the second embodiment specifies a road area and a non-road area from the composite orthoimage. Then, the identified non-road area is removed (deleted) from the composite orthoimage. Then, the CPU 105 evaluates the composite orthoimage from which the non-road area has been removed.

図6(a)は、非道路領域を除去するための合成オルソ画像を示し、図6(b)は、非道路領域を除去後の合成オルソ画像を示している。 FIG. 6(a) shows a composite ortho image for removing the non-road area, and FIG. 6(b) shows a composite ortho image after removing the non-road area.

図6(a)に示す合成オルソ画像300は、図3(a)に示す合成オルソ画像300と同様のものであって、非道路領域を斜線で示している。即ち、合成オルソ画像300には、非道路領域601と非道路領域602とが含まれる。CPU105は、この日道路領域601と非道路領域602とを、合成オルソ画像300から除去し、図6(b)に示すように、除去後の合成オルソ画像350を生成する。 The composite ortho image 300 shown in FIG. 6(a) is similar to the composite ortho image 300 shown in FIG. 3(a), and non-road areas are indicated by diagonal lines. That is, the composite orthoimage 300 includes a non-road area 601 and a non-road area 602. The CPU 105 removes the day's road area 601 and the non-road area 602 from the composite orthoimage 300, and generates a composite orthoimage 350 after removal, as shown in FIG. 6(b).

合成オルソ画像300における非道路領域(もしくは道路領域)の検出方法としては、一例として、深層学習のセマンティックセグメンテーションを利用することで実現できるが、これに限定するものではない。 As an example of a method for detecting a non-road area (or road area) in the composite orthoimage 300, it can be realized by using deep learning semantic segmentation, but the method is not limited to this.

<評価装置の動作>
図7は、実施の形態2に係る評価装置100の動作例を示すフローチャートである。図7において、図5に示すフローチャートと異なる処理は、ステップS701、S702の処理になる。
<Operation of evaluation device>
FIG. 7 is a flowchart showing an example of the operation of the evaluation device 100 according to the second embodiment. In FIG. 7, the processes that differ from the flowchart shown in FIG. 5 are steps S701 and S702.

図7に示すように、CPU105は、合成オルソ画像300のうち、非道路領域を特定し、特定した非道路領域を合成オルソ画像300から除去する(ステップS701)。 As shown in FIG. 7, the CPU 105 identifies a non-road area in the composite orthoimage 300, and removes the identified non-road area from the composite orthoimage 300 (step S701).

そして、CPU105は、非道路領域が除去された合成オルソ画像350を複数の小領域に分割する(ステップS702)。図6(b)の例では、合成オルソ画像350を小領域611~626に分割した例を示している。 Then, the CPU 105 divides the composite orthoimage 350 from which the non-road area has been removed into a plurality of small areas (step S702). The example in FIG. 6(b) shows an example in which the composite orthoimage 350 is divided into small regions 611 to 626.

これによって、CPU105は、道路領域のみが存在する合成オルソ画像を評価することができる。なお、本処理において、非道路領域を除去してから、ステップS503の画素の分散値の算出を行ってもよい。 This allows the CPU 105 to evaluate the composite orthoimage in which only the road area exists. Note that in this process, the calculation of the pixel variance value in step S503 may be performed after removing the non-road area.

<実施の形態2まとめ>
本実施の形態に係る評価装置100によれば、道路に特化した合成オルソ画像の評価を行うことができる。したがって、例えば、地図情報の作成等に適した合成オルソ画像を特定することができる。
<Summary of Embodiment 2>
According to the evaluation device 100 according to the present embodiment, it is possible to evaluate a composite orthoimage specialized for roads. Therefore, for example, a composite orthoimage suitable for creating map information can be specified.

<補足>
上記実施の形態に係る評価装置は、上記実施の形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。
<Supplement>
It goes without saying that the evaluation device according to the embodiment described above is not limited to the embodiment described above, and may be realized by other methods. Various modifications will be described below.

(1)上記実施の形態においては、合成オルソ画像の評価情報として、小領域の画素の分散値の平均値のうち、最も大きい値を出力することとしたが、これはその限りではない。合成オルソ画像を定量的に評価できるのであれば、他の情報であってもよい。例えば、評価装置100は、小領域各々に対して算出された画素の分散値の平均値をそのまま出力することとしてもよいし、平均値の分布を示すグラフを出力してもよい。 (1) In the above embodiment, the largest value among the average values of the variance values of pixels in a small area is output as the evaluation information of the composite orthoimage, but this is not limited to this. Other information may be used as long as the composite orthoimage can be quantitatively evaluated. For example, the evaluation device 100 may output the average value of the pixel variance values calculated for each small region as is, or may output a graph showing the distribution of the average values.

また、評価装置100のCPU105は、画素毎の分散値を合成オルソ画像に対して0~255の値に正規化してグレースケールで描画した画像を評価情報として出力することとしてもよい。分散値をグレースケールで描画した画像では、輝度値が高い場所ほど分散が大きい場所になり、合成時のずれなどが発生している可能性がある場所となる。 Further, the CPU 105 of the evaluation device 100 may normalize the variance value of each pixel to a value of 0 to 255 with respect to the composite orthoimage and output an image drawn in gray scale as the evaluation information. In an image in which the variance value is drawn in gray scale, the higher the brightness value, the higher the variance, and the area where there is a possibility that a shift during composition may have occurred.

また、あるいは、評価装置100のCPU105は、合成オルソ画像の各画素の画素値の分散値を、合成オルソ画像の輝度の標準偏差で除して正規化したうえで、小領域の分散値の平均値を算出することとしてもよい。道路領域でいえば、画素毎の分散値は主として白線(区画線)のエッジ付近が高くなり、白線と路面との輝度差が大きいほど、分散値も大きくなる傾向にある。そのため、撮影時の露光の違いや影の有無によって、白線や路面に輝度差が生じ、分散値も変化することがある。そのため、上述のように正規化を行うことで、輝度差の影響を抑制した評価を行うことができる。 Alternatively, the CPU 105 of the evaluation device 100 normalizes the variance value of the pixel value of each pixel of the composite orthoimage by dividing it by the standard deviation of the brightness of the composite orthoimage, and then It is also possible to calculate the value. In the road area, the variance value for each pixel tends to be high mainly near the edges of white lines (compartment lines), and the larger the difference in brightness between the white line and the road surface, the larger the variance value tends to be. Therefore, due to differences in exposure during photographing and the presence or absence of shadows, differences in brightness may occur between white lines and road surfaces, and the dispersion value may also change. Therefore, by performing normalization as described above, it is possible to perform evaluations that suppress the influence of brightness differences.

(2)上記実施の形態において、CPU105は、合成オルソ画像を、評価情報に基づいて、補正する(合成しなおす)補正部として機能してもよい。具体的には、一例として、合成オルソ画像に対して算出された評価情報を所定の閾値と比較する。この所定の閾値は、合成オルソ画像が、基準値を満たしている画像になっているかどうかを判定するための値である。 (2) In the embodiment described above, the CPU 105 may function as a correction unit that corrects (synthesizes) the combined orthoimage based on the evaluation information. Specifically, as an example, evaluation information calculated for the composite orthoimage is compared with a predetermined threshold. This predetermined threshold value is a value for determining whether the synthesized orthoimage is an image that satisfies the reference value.

評価情報が所定の閾値を満たしている(評価情報として出力される最も大きい分散値が所定の閾値未満である)場合には、合成オルソ画像は評価値の高い(基準を満たしている)画像となり、CPU105は補正を行わない。一方で、評価情報が所定の閾値を満たしていない場合(分散値が所定の閾値以上である)場合には、CPU105は、その分散値が算出された小領域に対応するオルソ画像の重畳位置を修正する。そして、修正後の合成オルソ画像について、再度評価値としての分散値を算出する。この分散値が前回の分散値よりも小さくなっていれば、よい修正を行えたといえ、分散値が前回よりも大きくなった場合には悪い修正を行ったことになる。 If the evaluation information satisfies a predetermined threshold (the largest variance value output as evaluation information is less than the predetermined threshold), the synthesized orthoimage will be an image with a high evaluation value (satisfying the criteria). , the CPU 105 does not perform correction. On the other hand, if the evaluation information does not satisfy the predetermined threshold (the variance value is greater than or equal to the predetermined threshold), the CPU 105 determines the superimposition position of the ortho image corresponding to the small area for which the variance value was calculated. Fix it. Then, the variance value as the evaluation value is calculated again for the modified composite orthoimage. If this variance value is smaller than the previous variance value, it can be said that a good correction has been made; if the variance value is larger than the previous one, it can be said that a bad correction has been made.

CPU105は、このようにして、分散値が所定の基準を満たすまで、修正を繰り返すことで、合成オルソ画像を補正してもよい。 The CPU 105 may correct the composite orthoimage by repeating corrections in this manner until the variance value satisfies a predetermined criterion.

(3)上記実施の形態においては、小領域が互いに重ならないように分割する例を示したが、小領域は、一部が互いに重複するように設定されてもよい。 (3) In the above embodiment, an example was shown in which the small areas are divided so that they do not overlap with each other, but the small areas may be set so that some of the small areas overlap with each other.

(4)上記実施の形態2において、合成オルソ画像から非道路領域を除去(削除)する構成を示しているが、これは、非道路領域を除去するのではなく、単一色に塗り替える加工を施すようにしてもよい。例えば、合成オルソ画像中の非道路領域を黒塗り、あるいは、白塗りしたうえで、合成オルソ画像を評価することとしてもよい。 (4) Embodiment 2 above shows a configuration in which non-road areas are removed (deleted) from the composite orthoimage, but this does not involve removing non-road areas, but rather repainting them with a single color. You can do it like this. For example, the non-road areas in the composite orthoimage may be painted black or white, and then the composite orthoimage may be evaluated.

(5)上記実施の形態において、評価装置100は、合成オルソ画像の入力を受け付けて、受け付けた合成オルソ画像を評価してもよい旨を記載している。即ち、上記実施の形態においては、評価装置100が撮像画像を正射変換し、得られたオルソ画像を合成して合成オルソ画像を生成し、生成したオルソ画像を評価する例も示しているが、評価装置100にとって、撮像画像をオルソ画像に変換する機能や、オルソ画像を合成して合成オルソ画像を生成する機能は必須の機能ではなく、評価装置100は、これらの機能を保持していなくともよい。 (5) In the above embodiment, it is described that the evaluation device 100 may receive input of a composite orthoimage and evaluate the received composite orthoimage. That is, in the embodiment described above, an example is also shown in which the evaluation device 100 orthogonally transforms a captured image, synthesizes the obtained orthoimages to generate a composite orthoimage, and evaluates the generated orthoimage. , for the evaluation device 100, the function of converting a captured image into an ortho image and the function of composing ortho images to generate a composite ortho image are not essential functions, and the evaluation device 100 does not have these functions. Tomoyoshi.

(6)上記実施の形態において、撮像画像を車載カメラにより撮像された画像としているが、これは、ドローン等により空中から撮影された画像であってもよいし、衛星等により撮像された衛星写真であってもよい。 (6) In the above embodiment, the captured image is an image captured by an on-vehicle camera, but this may also be an image captured from the air by a drone, etc., or a satellite photo captured by a satellite, etc. It may be.

(7)上記実施の形態においては、評価装置における合成オルソ画像の評価の手法として、評価装置のプロセッサが評価プログラム等を実行することにより、作成することとしているが、これは装置に集積回路(IC(Integrated Circuit)チップ、LSI(Large Scale Integration))等に形成された論理回路(ハードウェア)や専用回路によって実現してもよい。また、これらの回路は、1または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能は1つの集積回路により実現されることとしてもよい。LSIは、集積度の違いにより、VLSI、スーパーLSI、ウルトラLSIなどと呼称されることもある。すなわち、図8に示すように、評価装置100は、受信回路101a、受付回路102a、出力回路103a、記憶回路104a、制御回路105a、とから構成されてよく、それぞれ、受信部101、受付部102、出力部103、記憶部104、CPU105、に相当する。 (7) In the above embodiment, as a method of evaluating a synthesized orthoimage in the evaluation device, the processor of the evaluation device executes an evaluation program etc. to create the image. It may be realized by a logic circuit (hardware) formed on an IC (Integrated Circuit) chip, an LSI (Large Scale Integration), or a dedicated circuit. Further, these circuits may be realized by one or more integrated circuits, and the functions of the plurality of functional units shown in the above embodiments may be realized by one integrated circuit. LSI is sometimes called VLSI, super LSI, ultra LSI, etc. depending on the degree of integration. That is, as shown in FIG. 8, the evaluation device 100 may include a receiving circuit 101a, a receiving circuit 102a, an output circuit 103a, a storage circuit 104a, and a control circuit 105a, and the receiving section 101 and the receiving section 102, respectively. , the output section 103, the storage section 104, and the CPU 105.

また、上記評価プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記評価プログラムは、当該評価プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記プロセッサに供給されてもよい。つまり、例えば、スマートフォン等の情報処理機器を利用して、ネットワーク上から評価プログラムをダウンロードして実行する構成としてもよい。本発明は、上記評価プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。 Further, the evaluation program may be recorded on a processor-readable recording medium, and the recording medium may be a "non-temporary tangible medium" such as a tape, a disk, a card, a semiconductor memory, or a programmable logic circuit. etc. can be used. Further, the evaluation program may be supplied to the processor via any transmission medium (communication network, broadcast wave, etc.) that can transmit the evaluation program. That is, for example, the evaluation program may be downloaded from a network and executed using an information processing device such as a smartphone. The present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the evaluation program is embodied by electronic transmission.

なお、上記評価プログラムは、例えば、ActionScript、JavaScript(登録商標)などのスクリプト言語、Objective-C、Java(登録商標)、C++、Python、Rなどのオブジェクト指向プログラミング言語などを用いて実装できる。 Note that the evaluation program can be implemented using, for example, a script language such as ActionScript or JavaScript (registered trademark), or an object-oriented programming language such as Objective-C, Java (registered trademark), C++, Python, or R.

(8)上記実施の形態に示した各種の実施例や、<補足>に示した各種の例は適宜組み合わせることとしてもよい。また、各フローチャートに示した各動作は、結果として矛盾がなければその実行順序を入れ替えたり、並列に実行したりすることとしてもよい。 (8) The various examples shown in the above embodiment mode and the various examples shown in <Supplement> may be combined as appropriate. Furthermore, the operations shown in each flowchart may be rearranged in the order of execution or executed in parallel if there is no contradiction as a result.

100 評価装置
101 受信部
102 受付部
103 出力部
104 記憶部
105 CPU(取得部、算出部、評価部)
100 Evaluation device 101 Receiving unit 102 Accepting unit 103 Output unit 104 Storage unit 105 CPU (acquisition unit, calculation unit, evaluation unit)

Claims (13)

複数の撮像画像各々を正射変換して得られる複数のオルソ画像各々について、他のオルソ画像と撮像内容が一致する場所が互いに重畳するように合成した合成オルソ画像を評価する評価装置であって、
前記複数のオルソ画像各々と、前記合成オルソ画像とを取得する取得部と、
前記複数のオルソ画像に含まれる画素であって、他のオルソ画像と重畳する位置にある画素について、重畳対象のオルソ画像の画素それぞれの画素値に基づいて、当該画素の分散値を算出する算出部と、
前記算出部が算出した分散値に基づいて、前記合成オルソ画像を評価する評価情報を生成する評価部とを備える評価装置。
An evaluation device that evaluates a composite orthoimage obtained by orthogonally converting each of a plurality of captured images so that locations where the captured contents match those of other orthoimages are superimposed on each other. ,
an acquisition unit that acquires each of the plurality of orthoimages and the composite orthoimage;
Calculation of calculating the variance value of a pixel included in the plurality of orthoimages and located at a position where it is superimposed with another orthoimage, based on the pixel value of each pixel of the orthoimage to be superimposed. Department and
An evaluation device comprising: an evaluation section that generates evaluation information for evaluating the composite orthoimage based on the variance value calculated by the calculation section.
前記評価部が前記合成オルソ画像を評価した前記評価情報を出力する出力部を備える
ことを特徴とする請求項1に記載の評価装置。
The evaluation device according to claim 1, further comprising an output unit that outputs the evaluation information obtained by the evaluation unit evaluating the composite orthoimage.
前記評価部は、前記合成オルソ画像を小領域に分割し、各小領域について、当該小領域に含まれる各画素の、前記算出部により算出された分散値の平均値を算出し、算出された平均値のうち最も大きな値を、前記合成オルソ画像の評価情報とする
ことを特徴とする請求項1又は2に記載の評価装置。
The evaluation unit divides the composite orthoimage into small regions, calculates, for each small region, the average value of the variance values calculated by the calculation unit of each pixel included in the small region, and The evaluation device according to claim 1 or 2, wherein the largest value among the average values is used as evaluation information of the composite orthoimage.
前記評価部は、前記合成オルソ画像に含まれる道路部分以外の画像を除去し、道路部分のみの合成オルソ画像を評価する
ことを特徴とする請求項1~3のいずれか一項に記載の評価装置。
The evaluation according to any one of claims 1 to 3, wherein the evaluation unit removes images other than the road portion included in the composite orthoimage and evaluates the composite orthoimage of only the road portion. Device.
複数の撮像画像各々を正射変換して得られる複数のオルソ画像各々について、他のオルソ画像と撮像内容が一致する場所が互いに重畳するように合成した合成オルソ画像を評価する評価方法であって、
コンピュータが、
前記複数のオルソ画像各々と、前記合成オルソ画像とを取得する取得ステップと、
前記複数のオルソ画像に含まれる画素であって、他のオルソ画像と重畳する位置にある画素について、重畳対象のオルソ画像の画素それぞれの画素値に基づいて、当該画素の分散値を算出する算出ステップと、
前記算出ステップが算出した分散値に基づいて、前記合成オルソ画像を評価する評価情報を生成する評価ステップと、を実行する評価方法。
An evaluation method for evaluating a composite orthoimage obtained by orthogonally converting each of a plurality of captured images so that locations where the captured content matches those of other orthoimages are superimposed on each other, ,
The computer is
an acquisition step of acquiring each of the plurality of orthoimages and the composite orthoimage;
Calculation of calculating the variance value of a pixel included in the plurality of orthoimages and located at a position where it is superimposed with another orthoimage, based on the pixel value of each pixel of the orthoimage to be superimposed. step and
and an evaluation step of generating evaluation information for evaluating the composite orthoimage based on the variance value calculated in the calculation step.
前記評価ステップが前記合成オルソ画像を評価した前記評価情報を出力する出力ステップを含む
ことを特徴とする請求項5に記載の評価方法。
The evaluation method according to claim 5, wherein the evaluation step includes an output step of outputting the evaluation information obtained by evaluating the composite orthoimage.
前記評価ステップは、前記合成オルソ画像を小領域に分割し、各小領域について、当該小領域に含まれる各画素の、前記算出ステップにより算出された分散値の平均値を算出し、算出された平均値のうち最も大きな値を、前記合成オルソ画像の評価情報とする
ことを特徴とする請求項5又は6に記載の評価方法。
In the evaluation step, the synthesized orthoimage is divided into small regions, and for each small region, the average value of the variance values calculated in the calculation step of each pixel included in the small region is calculated. The evaluation method according to claim 5 or 6, wherein the largest value among the average values is used as evaluation information of the composite orthoimage.
前記評価ステップは、前記合成オルソ画像に含まれる道路部分以外の画像を除去し、道路部分のみの合成オルソ画像を評価する
ことを特徴とする請求項5~7のいずれか一項に記載の評価方法。
The evaluation according to any one of claims 5 to 7, characterized in that in the evaluation step, images other than the road portion included in the composite orthoimage are removed and the composite orthoimage of only the road portion is evaluated. Method.
複数の撮像画像各々を正射変換して得られる複数のオルソ画像各々について、他のオルソ画像と撮像内容が一致する場所が互いに重畳するように合成した合成オルソ画像を評価する評価プログラムであって、
コンピュータに、
前記複数のオルソ画像各々と、前記合成オルソ画像とを取得する取得機能と、
前記複数のオルソ画像に含まれる画素であって、他のオルソ画像と重畳する位置にある画素について、重畳対象のオルソ画像の画素それぞれの画素値に基づいて、当該画素の分散値を算出する算出機能と、
前記算出機能が算出した分散値に基づいて、前記合成オルソ画像を評価する評価情報を生成する評価機能と、を実現させる評価プログラム。
An evaluation program that evaluates a composite orthoimage obtained by orthogonally converting each of a plurality of captured images so that locations where the captured content matches those of other orthoimages are superimposed on each other. ,
to the computer,
an acquisition function that acquires each of the plurality of orthoimages and the composite orthoimage;
Calculation of calculating the variance value of a pixel included in the plurality of orthoimages and located at a position where it is superimposed with another orthoimage, based on the pixel value of each pixel of the orthoimage to be superimposed. function and
An evaluation program that realizes an evaluation function that generates evaluation information for evaluating the composite orthoimage based on the variance value calculated by the calculation function.
前記コンピュータに、
前記評価機能が前記合成オルソ画像を評価した前記評価情報を出力する出力機能を実現させる
ことを特徴とする請求項9に記載の評価プログラム。
to the computer;
The evaluation program according to claim 9, wherein the evaluation function realizes an output function of outputting the evaluation information obtained by evaluating the composite orthoimage.
前記評価機能は、前記合成オルソ画像を小領域に分割し、各小領域について、当該小領域に含まれる各画素の、前記算出機能により算出された分散値の平均値を算出し、算出された平均値のうち最も大きな値を、前記合成オルソ画像の評価情報とする
ことを特徴とする請求項9又は10に記載の評価プログラム。
The evaluation function divides the composite orthoimage into small regions, and calculates, for each small region, the average value of the variance values calculated by the calculation function of each pixel included in the small region. The evaluation program according to claim 9 or 10, wherein the largest value among the average values is set as evaluation information of the composite orthoimage.
前記評価機能は、前記合成オルソ画像に含まれる道路部分以外の画像を除去し、道路部分のみの合成オルソ画像を評価する
ことを特徴とする請求項9~11のいずれか一項に記載の評価プログラム。
The evaluation according to any one of claims 9 to 11, wherein the evaluation function removes images other than the road portion included in the composite orthoimage and evaluates the composite orthoimage of only the road portion. program.
請求項9~12のいずれか一項に記載の評価プログラムを記録した記録媒体。 A recording medium recording the evaluation program according to any one of claims 9 to 12.
JP2020080478A 2020-04-30 2020-04-30 Evaluation device, evaluation method, evaluation program and storage medium Active JP7378347B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020080478A JP7378347B2 (en) 2020-04-30 2020-04-30 Evaluation device, evaluation method, evaluation program and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020080478A JP7378347B2 (en) 2020-04-30 2020-04-30 Evaluation device, evaluation method, evaluation program and storage medium

Publications (2)

Publication Number Publication Date
JP2021174450A JP2021174450A (en) 2021-11-01
JP7378347B2 true JP7378347B2 (en) 2023-11-13

Family

ID=78279757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020080478A Active JP7378347B2 (en) 2020-04-30 2020-04-30 Evaluation device, evaluation method, evaluation program and storage medium

Country Status (1)

Country Link
JP (1) JP7378347B2 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757445B1 (en) 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
JP2010272093A (en) 2009-05-25 2010-12-02 Asahi Koyo Kk Image connecting method, device and program
JP2011221231A (en) 2010-04-08 2011-11-04 Nec Corp Topographical information display device and display method
JP5012430B2 (en) 2007-11-07 2012-08-29 横河電機株式会社 DC test equipment and semiconductor test equipment
JP2019204211A (en) 2018-05-22 2019-11-28 トヨタ自動車株式会社 Map generation system
JP2019204210A (en) 2018-05-22 2019-11-28 トヨタ自動車株式会社 Map generation system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757445B1 (en) 2000-10-04 2004-06-29 Pixxures, Inc. Method and apparatus for producing digital orthophotos using sparse stereo configurations and external models
JP5012430B2 (en) 2007-11-07 2012-08-29 横河電機株式会社 DC test equipment and semiconductor test equipment
JP2010272093A (en) 2009-05-25 2010-12-02 Asahi Koyo Kk Image connecting method, device and program
JP2011221231A (en) 2010-04-08 2011-11-04 Nec Corp Topographical information display device and display method
JP2019204211A (en) 2018-05-22 2019-11-28 トヨタ自動車株式会社 Map generation system
JP2019204210A (en) 2018-05-22 2019-11-28 トヨタ自動車株式会社 Map generation system

Also Published As

Publication number Publication date
JP2021174450A (en) 2021-11-01

Similar Documents

Publication Publication Date Title
US9591237B2 (en) Automated generation of panning shots
WO2020151172A1 (en) Moving object detection method and apparatus, computer device, and storage medium
JP6426433B2 (en) Image processing apparatus, image processing method, POI information creation system, warning system, and guidance system
US10185880B2 (en) Method and apparatus for augmenting a training data set
WO2018168539A1 (en) Learning method and program
JP6820561B2 (en) Image processing device, display device, navigation system, image processing method and program
JP2000011133A (en) Device and method for detecting moving object
CN110781823B (en) Screen recording detection method and device, readable medium and electronic equipment
JP2008118555A (en) Image processor, image pickup device, and image processing method
JPWO2009078056A1 (en) Moving object detection apparatus and moving object detection program
WO2023138556A1 (en) Video generation method and apparatus based on multiple vehicle-mounted cameras, and vehicle-mounted device
CN112101305A (en) Multi-path image processing method and device and electronic equipment
US11599974B2 (en) Joint rolling shutter correction and image deblurring
CN112771843A (en) Information processing method, device and imaging system
CN112561840A (en) Video clipping method and device, storage medium and electronic equipment
WO2018134897A1 (en) Position and posture detection device, ar display device, position and posture detection method, and ar display method
CN114549369A (en) Data restoration method and device, computer and readable storage medium
JP7378347B2 (en) Evaluation device, evaluation method, evaluation program and storage medium
CN113344820A (en) Image processing method and device, computer readable medium and electronic equipment
JP2019209734A (en) Track identification apparatus
WO2020039897A1 (en) Station monitoring system and station monitoring method
JP4469980B2 (en) Image processing method for tracking moving objects
WO2020039898A1 (en) Station monitoring device, station monitoring method and program
US20130038630A1 (en) Image drawing device and image drawing method
JP2019174989A (en) Image compression method and image compression device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231017

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231031

R150 Certificate of patent or registration of utility model

Ref document number: 7378347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150