JPWO2020049634A1 - 教師データ生成装置、教師データ生成方法、および、教師データ生成システム - Google Patents

Abstract

移動体が撮影された教師データ生成用画像を取得する画像取得部（１０４）と、移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する移動体情報を取得する移動体情報取得部（１０１）と、画像取得部（１０４）が取得した教師データ生成用画像と、移動体情報取得部（１０１）が取得した移動体情報とに基づき、教師データを生成する教師データ生成部（１１１）とを備えた。

Description

この発明は、機械学習モデルを構築する際に使用される教師データを生成する教師データ生成装置に関する。

従来、機械学習を用いた、画像についての様々な活用方法が知られている。
従来知られているような画像の活用方法では、例えば、画像に写っている特定の物体の画像中での位置を出力するアプリケーションが使用され、当該アプリケーションを構築する際に、機械学習が用いられる。
一般に、人手によって、１枚または複数枚の画像から、当該画像中の物体の位置または大きさに関する、機械学習のための教師データを生成するためには、多大な労力を必要とする。
そこで、教師データを容易に生成する技術として、例えば、特許文献１には、予め用意された背景画像から抽出した領域に該当する画像に、複数の人物に関係する、人物の状態の指示情報に従って決定された、群集の人物状態に該当する人物の画像を合成して、群集状態画像を生成し、当該群集状態画像に対する教師ラベルを特定することで、群集画像の教師データを生成する教師データ生成装置に関する技術が開示されている。

国際公開第２０１４／００２６７０号

特許文献１に開示されている技術に代表される従来技術では、背景とする画像の抽出、人物の画像の切り出し、および、背景とする画像と人物の画像の合成等、教師データを生成するにあたって、画像処理に依存する部分が多い。しかし、画像は外界の明るさの変化等で輝度が安定せず、背景とする画像の抽出、または、人物の画像の切り出しを安定的に行える保証がない。また、背景とする画像と人物の画像を合成して教師データを生成しているため、実際に起こり得るシーンが再現されていない可能性がある。
その結果、特許文献１に開示されている技術に代表される従来技術では、教師データとしての信頼性に疑問があるという課題があった。

この発明は上記のような課題を解決するためになされたもので、信頼性の高い教師データを生成することが可能な教師データ生成装置を提供することを目的とする。

この発明に係る教師データ生成装置は、判定対象画像中の移動体の位置を検出するための機械学習モデルを構築する際に使用される教師データを生成する、教師データ生成装置であって、移動体が撮影された教師データ生成用画像を取得する画像取得部と、移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する移動体情報を取得する移動体情報取得部と、画像取得部が取得した教師データ生成用画像と、移動体情報取得部が取得した移動体情報とに基づき、教師データを生成する教師データ生成部とを備えたものである。

この発明によれば、信頼性の高い教師データを生成することができる。

実施の形態１に係る教師データ生成装置の構成例を示す図である。 実施の形態１における、補間部による時間補間処理のイメージの一例を示す図である。 実施の形態１における、間引き部による間引き処理のイメージの一例を示す図である。 実施の形態１で用いる座標系の定義について説明するための図であって、図４Ａは、地球中心座標系の定義を説明するための図であり、図４Ｂは、カメラ座標系の定義を説明するための図である。 実施の形態１において、教師データ生成装置が、船舶の高さ情報を計算するための背景画像を生成し、実際に船舶の高さを計算するまでの処理のイメージを示す図であって、図５Ａは、船舶が撮影された画像のイメージを示す図であり、図５Ｂは、背景画像の生成処理のイメージを示す図であり、図５Ｃは、画像中の船舶の高さを計算する処理のイメージを示す図である。 実施の形態１に係る教師データ生成装置を備えるデータ収集装置の動作を説明するためのフローチャートである。 実施の形態１に係る教師データ生成装置を備えるデータ収集装置の動作を説明するためのフローチャートである。 図７Ａ，図７Ｂは、実施の形態１に係る教師データ生成装置を備えるデータ収集装置のハードウェア構成の一例を示す図である。 実施の形態１に係る教師データ生成装置と、カメラと、記憶装置と、カメラ較正装置とを備えたデータ収集システムの構成例を説明するための図である。

以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１に係る教師データ生成装置は、移動体が撮影された判定対象画像における当該移動体の位置を検出するための機械学習モデルを構築する際に使用される教師データを生成する。実施の形態１において、機械学習モデルとは、複数の画像を学習し予測した結果得られた、当該複数の画像の特徴量のパターンである。判定対象画像とは、機械学習モデルを用いて、その画像上に映っている移動体を検出する対象となる、未知の画像である。
以下の説明においては、一例として、移動体は海上の船舶とし、教師データ生成装置は、海上の船舶が撮影された教師データ生成用画像を取得し、取得した教師データ生成用画像に基づき、教師データを生成するものとする。
また、実施の形態１に係る教師データ生成装置は、後述するデータ収集装置に備えられているものとする。
図１は、実施の形態１に係る教師データ生成装置１００を備えたデータ収集装置１の構成例を示す図である。
データ収集装置１は、教師データ生成装置１００の他、カメラ２００と、記憶装置３００と、カメラ較正装置４００と、移動体情報受信アンテナ５００と、移動体情報受信機６００を備える。

カメラ２００は、可視光カメラを想定しており、船舶が存在し得る海上を撮影する。実施の形態１では、カメラ２００は、１ＦＰＳ（Ｆｒａｍｅ Ｐｅｒ Ｓｅｃｏｎｄ）のフレームレートで撮影するものとする。
カメラ２００は、撮影した画像を記憶装置３００に記憶させる。実施の形態１において、カメラ２００は、予め決められたフレーム数分の画像を、記憶装置３００に記憶させるものとする。何フレーム分の画像を記憶させるようにするかは、ユーザが適宜決定することができるものとするが、ユーザは、少なくとも１フレームの画像が記憶されるようにする。カメラ２００が撮影し、記憶装置３００に記憶させる画像が、教師データ生成用画像である。以下、画像の数について言及する場合、フレーム単位の数を意味するものとする。
なお、データ収集装置１は、カメラ２００によって海上を撮影可能な場所に設置されている。また、ここでは、データ収集装置１は、カメラ２００を備えるものとするが、データ収集装置１は、カメラ２００に代えて、２次元画像を取得可能なセンサ等を備えるようにしてもよい。データ収集装置１は、海上の画像を取得することができるようになっていればよい。

記憶装置３００は、カメラ２００が撮影した画像である教師データ生成用画像を記憶する。
記憶装置３００は、カメラ２００が備えるものとしてもよい。

カメラ較正装置４００は、カメラ２００の較正を行い、カメラ２００の内部パラメータおよび外部パラメータを保存する。カメラ２００の内部パラメータは、カメラ２００の焦点距離に関する情報を含む。カメラ２００の外部パラメータは、カメラ２００の位置または姿勢に関する情報を含む。
カメラ較正装置４００は、カメラ２００の内部パラメータおよび外部パラメータを、教師データ生成装置１００に出力する。
なお、カメラ較正装置４００は、カメラ２００が備えるものとしてもよい。

移動体情報受信アンテナ５００は、移動体の情報を発信する装置（以下「移動体情報発信装置」という。図示省略。）が発する電波を受信する。移動体情報発信装置は、移動体に関する様々な情報を発信する。移動体情報発信装置が発信する、移動体に関する情報（以下「移動体情報」という。）には、少なくとも移動体の属性情報、および、当該移動体の位置情報が含まれる。移動体の属性情報は、移動体の名称等、特定の移動体を識別可能とする固有の情報の他、移動体の大きさ等の情報を含む。移動体の位置情報は、移動体の現在位置の他、移動体の速度等の情報を含む。
実施の形態１では、一例として、移動体情報発信装置は、ＡＩＳ（Ａｕｔｏｍａｔｉｃ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：船舶自動識別装置）とする。ＡＩＳは、船舶に搭載されており、当該ＡＩＳが搭載されている船舶の船名、船舶の大きさ、船舶の現在位置、船舶の速度、船舶の種類、または、針路に関する情報等、船舶に関する様々な情報を発信する。但し、ＡＩＳが発信する情報には、船舶の高さ情報は含まれていない。

移動体情報受信機６００は、移動体情報受信アンテナ５００経由で、上述の移動体情報を受信し、当該移動体情報を教師データ生成装置１００に出力する。

教師データ生成装置１００は、記憶装置３００から取得した教師データ生成用画像と、移動体情報受信機６００から取得した移動体情報に基づき、教師データを生成する。
教師データ生成装置１００は、移動体情報取得部１０１と、記憶部１０２と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２を備える。
データ処理部１０３は、補間部１０３１と間引き部１０３２を備える。
画像取得部１０４は、撮影時刻取得部１０４１を備える。
背景画像生成部１０８は、マスク設定部１０８１を備える。

移動体情報取得部１０１は、移動体情報発信装置から発信された移動体情報を取得する。実施の形態１では、移動体情報取得部１０１は、移動体情報発信装置から発信された移動体情報を、移動体情報受信アンテナ５００および移動体情報受信機６００を経由して取得する。実施の形態１では、移動体情報取得部１０１が取得する移動体情報は、具体的には、船舶に関する情報である。
なお、移動体情報取得部１０１が取得する移動体情報がエンコードされている場合は、例えば、移動体情報取得部１０１がデコード部（図示省略）を備え、デコード部が、取得した移動体情報をデコードする。デコード部は、移動体情報取得部１０１に備えられるのではなく、例えば、移動体情報取得部１０１の外部の、移動体情報取得部１０１が参照可能な場所に備えられ、デコードした移動体情報を記憶するようにし、移動体情報取得部１０１は、デコード部が記憶した、デコード後の移動体情報を取得するようにしてもよい。移動体情報取得部１０１が、デコード後の移動体情報を取得できるようになっていればよい。
移動体情報取得部１０１は、移動体情報受信機６００から取得した移動体情報を、記憶部１０２に記憶させる。デコード部が移動体情報をデコードするようにした場合は、移動体情報取得部１０１は、デコード部によってデコードされた後の移動体情報を、記憶部１０２に記憶させる。
なお、移動体情報には、少なくとも、船舶に関する情報と、移動体情報の受信日時の情報が含まれる。

記憶部１０２は、移動体情報を記憶する。
なお、実施の形態１では、記憶部１０２は、教師データ生成装置１００に備えられるものとするが、これは一例に過ぎず、記憶部１０２は、教師データ生成装置１００の外部の、教師データ生成装置１００が参照可能な場所に備えられるようにしてもよい。

データ処理部１０３は、カメラ較正装置４００から出力された、カメラ２００の内部パラメータおよび外部パラメータを用いて、記憶部１０２に記憶されている移動体情報に対する、時間補間処理および間引き処理を行う。記憶部１０２に記憶されている移動体情報に、複数の異なる船舶に関する移動体情報が含まれる場合、データ処理部１０３は、同一の船舶に関する移動体情報単位で、時間補間処理および間引き処理を行う。つまり、データ処理部１０３は、船舶毎に、当該船舶に関する移動体情報の、時間補間処理および間引き処理を行う。

データ処理部１０３の補間部１０３１は、画像取得部１０４によって取得された、互いに異なる時刻で撮影された複数の教師データ生成用画像にそれぞれ対応する移動体情報が存在するよう、移動体情報取得部１０１が取得した移動体情報に対して時間補間を行う。
実施の形態１では、カメラ２００で撮影される教師データ生成用画像は１ＦＰＳである。一方、実施の形態１では、移動体情報発信装置はＡＩＳである。ＡＩＳは、一定時間おきに移動体情報を発信するが、必ずしも毎秒、当該移動体情報を発信するわけではない。そのため、実施の形態１では、補間部１０３１が、１秒毎に撮影される教師データ生成用画像にそれぞれ対応する１秒毎の移動体情報が存在するよう、移動体情報の時間補間を行う。
補間部１０３１は、移動体情報取得部１０１が取得した移動体情報が示す船舶の速度情報を補間した上で、当該船舶の位置情報の補間を行うことによって、当該移動体情報の時間補間を行う。

ここで、図２は、実施の形態１における、補間部１０３１による時間補間処理のイメージの一例を示す図である。
例えば、ある時刻Ｔ＝０（秒）およびＴ＝３（秒）の、船舶Ｘに関する移動体情報が記憶部１０２に記憶されており、Ｔ＝０（秒）およびＴ＝３（秒）における船舶Ｘの位置および速度がわかっているものとする。
補間部１０３１は、まず、Ｔ＝１（秒）およびＴ＝２（秒）における船舶Ｘの速度Ｖを線形補間で計算する。次に、補間部１０３１は、Ｔ＝１（秒）およびＴ＝２（秒）における船舶Ｘの位置を、速度Ｖの積分で計算する。
そして、補間部１０３１は、Ｔ＝１（秒）およびＴ＝２（秒）における船舶Ｘの位置情報および速度情報を含む移動体情報を生成する。
このように、補間部１０３１は、時間補間処理において、船舶の速度情報を補間した上で船舶の位置情報を補間することで移動体情報の補間を行うため、図２に示すように、秒毎の船舶の位置は必ずしも等間隔にはならない。
補間部１０３１は、時間補間処理により新たに生成した移動体情報を、記憶部１０２に記憶させる。

データ処理部１０３の間引き部１０３２は、カメラ較正装置４００から出力された、カメラ２００の内部パラメータおよび外部パラメータに基づき、地図上における、カメラ２００の撮影範囲を計算する。そして、間引き部１０３２は、移動体情報で示される船舶の存在位置が、計算された撮影範囲の外となる移動体情報を、後段の、教師データを生成するための処理の対象外とする。具体的には、例えば、間引き部１０３２は、移動体情報で示される船舶の存在位置が、撮影範囲の外となる移動体情報に、対象外フラグを付与する。これによって、移動体情報の間引きが行われる。なお、間引き部１０３２による間引き処理は、補間部１０３１が時間補間処理を行った後の移動体情報に対して行うものとしてもよいし、補間部１０３１が時間補間処理を行う前の移動体情報に対して行うものとしてもよい。
移動体情報は、カメラ２００による撮影範囲よりも広い範囲に位置する移動体について取得され得る情報であるため、間引き部１０３２が不要な移動体情報を間引いておくことで、後段の処理が軽くなる。

ここで、図３は、実施の形態１における、間引き部１０３２による間引き処理のイメージの一例を示す図である。
図３において、３０１で示す範囲が、カメラ２００の撮影範囲である。間引き部１０３２は、カメラ較正装置４００から出力された、カメラ２００の内部パラメータおよび外部パラメータに基づき、当該撮影範囲を計算する。
また、図３において、３０２で示す丸印が、移動体情報に基づく各船舶の存在位置を示す。
間引き部１０３２は、船舶の存在位置が撮影範囲３０１の外であることを示す移動体情報を間引く。具体的には、間引き部１０３２は、船舶の存在位置が撮影範囲３０１の外であることを示す移動体情報に、対象外フラグを付与し、後段の処理で当該移動体情報を使用しないようにする。

画像取得部１０４は、カメラ２００が撮影し、記憶装置３００に記憶されている教師データ生成用画像を取得する。画像取得部１０４は、教師データ生成用画像を、フレーム単位で取得する。記憶装置３００に複数フレームの教師データ生成用画像が記憶されている場合、画像取得部１０４は、記憶されている教師データ生成用画像を順に取得する。以下、画像取得部１０４が記憶装置３００から取得した教師データ生成用画像を、「特定教師データ生成用画像」ともいう。
画像取得部１０４の撮影時刻取得部１０４１は、記憶装置３００から取得した特定教師データ生成用画像について、撮影時刻を取得する。
撮影時刻取得部１０４１は、特定教師データ生成用画像の撮影時刻を、例えば、撮影開始時刻からのフレーム数で判断すればよい。撮影開始時刻は、例えば、記憶装置３００に記憶されているものとする。また、例えば、カメラ２００が監視カメラである場合等、カメラ２００が撮影する画像に撮影時刻が文字で重畳表示されている場合、撮影時刻取得部１０４１は、重畳表示されている文字から、撮影時刻を取得するようにしてもよい。
そして、画像取得部１０４は、記憶部１０２を参照し、記憶部１０２から、特定教師データ生成用画像と対応する移動体情報を抽出する。特定教師データ生成用画像と対応する移動体情報とは、特定教師データ生成用画像の撮影時刻と、移動体情報に含まれる、当該移動体情報の受信時刻とが一致する移動体情報をいう。なお、画像取得部１０４が抽出する移動体情報は、データ処理部１０３によって、補間および間引きが行われた後の移動体情報である。また、実施の形態１において、特定教師データ生成用画像の撮像時刻と、移動体情報の受信時刻とが一致するとは、厳密に一致していることを必須としない。画像取得部１０４は、特定教師データ生成用画像の撮像時刻と移動体情報の受信時刻との差が予め許容範囲として設定された範囲内である等、特定教師データ生成用画像が撮影された際の移動体の位置がある程度わかる移動体情報であれば、当該移動体情報の受信時刻は特定教師データ生成用画像の撮像時刻と一致しているとみなす。
画像取得部１０４は、抽出した移動体情報を、特定教師データ生成用画像と対応付けて、立方体領域設定部１０５に出力する。
また、画像取得部１０４は、特定教師データ生成用画像の撮像時刻と一致する受信時刻の複数の移動体情報が存在する場合、全ての移動体情報を抽出する。例えば、同一時刻に複数の船舶が特定教師データ生成用画像の撮影範囲に存在する場合、当該特定教師データ生成用画像と対応付けられる移動体情報は複数存在することになる。

立方体領域設定部１０５は、画像取得部１０４から出力された特定教師データ生成用画像に、当該特定教師データ生成用画像に対応付けられている移動体情報に基づき、移動体情報で示される船舶の位置を表わす立方体を設定する。
実施の形態１では、立方体領域設定部１０５は、移動体情報に基づき、船舶の幅、長さ、および、角度を特定し、当該船舶を囲む立方体（以下「移動体包囲立方体」という。）の座標を設定する。なお、立方体領域設定部１０５が設定する移動体包囲立方体の座標は、移動体包囲立方体の８つの頂点の座標である。以下、立方体領域設定部１０５が設定する、移動体包囲立方体の各頂点の座標を、立方体座標という。
このとき、立方体領域設定部１０５は、立方体座標を、地球中心座標系で設定する。
ここで、図４は、実施の形態１で用いる座標系の定義について説明するための図である。図４Ａは、地球中心座標系の定義を説明するための図（富山高等専門学校 航海科学研究室ホームページより引用）であり、図４Ｂは、カメラ座標系の定義を説明するための図である。
カメラ２００の内部パラメータによって設定可能な３×３の内部行列と、カメラ２００の回転角およびカメラ２００の位置の情報から計算可能な４×３の外部行列により、地球中心座標系とカメラ座標系の間の座標の変換が可能である。

立方体領域設定部１０５が設定する移動体包囲立方体の幅は船舶幅であり、移動体包囲立方体の長さは船舶の船体の長さである。上述のとおり、ＡＩＳが発信する情報に船舶の高さ情報は含まれていないため、移動体情報にも船舶の高さ情報は含まれていない。したがって、立方体領域設定部１０５は、移動体包囲立方体の高さについては、仮の値を設定する。仮の値とは、例えば、実際の船舶の高さより十分に大きいと想定される値であり、ユーザ等が予め設定可能とする。実施の形態１では、一例として、立方体領域設定部１０５は、移動体包囲立方体の高さには、船舶幅の２倍の値を設定するものとする。
画像取得部１０４から出力された特定教師データ生成用画像に対応付けられている移動体情報が複数ある場合、立方体領域設定部１０５は、特定教師データ生成用画像に対応付けられた全ての移動体情報で示される全ての船舶に対して、当該船舶を囲む移動体包囲立方体を設定する。
立方体領域設定部１０５は、設定した各立方体座標を、特定教師データ生成用画像の、対応する移動体情報に付与して、座標変換部１０６に出力する。
なお、画像取得部１０４から特定教師データ生成用画像が複数出力される場合、立方体領域設定部１０５は、特定教師データ生成用画像毎に、当該特定教師データ生成用画像に対応付けられている移動体情報で示される船舶を囲む移動体方位立方体を設定する。

座標変換部１０６は、カメラ較正装置４００から出力される、カメラ２００の内部パラメータおよび外部パラメータを用いて、立方体領域設定部１０５から出力された特定教師データ生成用画像に対応付けられている移動体情報に付与された立方体座標を、カメラ座標系（図４Ｂ参照）に変換する。
上述のとおり、カメラ２００の内部パラメータによって設定可能な３×３の内部行列と、カメラ２００の回転角およびカメラ２００の位置の情報から計算可能な４×３の外部行列により、地球中心座標系とカメラ座標系の間の座標の変換が可能である。
座標変換部１０６は、以下の式（１）によって、立方体座標を、カメラ座標系に変換する。
式（１）に示すｕが、カメラ座標系におけるｘ座標に該当し、式（１）に示すｖが、カメラ座標系におけるｙ座標に該当する。

式（１）において、ｆｘおよびｆｙは焦点距離（単位：ピクセル）である。
立方体領域設定部１０５が立方体座標（Ｘ，Ｙ，Ｚ）を設定し、座標変換部１０６は、立方体領域設定部１０５が設定した立方体座標（Ｘ，Ｙ，Ｚ）を、式（１）を用いてカメラ座標系の座標（ｕ，ｖ）に変換する。なお、地球中心座標系とカメラ座標系の間の座標の変換の技術は、既知の技術である。
立方体領域設定部１０５から出力された特定教師データ生成用画像に対応付けられている移動体情報が複数ある場合、座標変換部１０６は、特定教師データ生成用画像に対応付けられた全ての移動体情報に付与された立方体座標を、それぞれ、カメラ座標系に変換する。
座標変換部１０６は、カメラ座標系に変換した、変換後の各立方体座標（以下「変換後座標」という。）を、特定教師データ生成用画像の、対応する移動体情報に付与して、最小矩形計算部１０７に出力する。
なお、立方体領域設定部１０５から特定教師データ生成用画像が複数出力される場合、座標変換部１０６は、特定教師データ生成用画像毎に、当該特定教師データ生成用画像に対応付けられている各移動体情報に付与された各立方体座標を、カメラ座標系に変換する。

最小矩形計算部１０７は、座標変換部１０６から出力された特定教師データ生成用画像に対応付けられている移動体情報について、当該移動体情報に付与された変換後座標に基づき、当該変換後座標全てを含む最小矩形を計算する。
具体的には、最小矩形計算部１０７は、移動体情報に対応付けられている全て（８つ）の変換後座標のｘ座標のうちの最小値と、全てのカメラ座標のｙ座標のうちの最小値を、当該移動体情報で示される船舶に対応する最小矩形の枠の左上の座標として定義する。また、最小矩形計算部１０７は、全てのカメラ座標のｘ座標のうちの最大値と、全てのカメラ座標のｙ座標のうちの最大値を、当該移動体情報を示される船舶に対応する最小矩形の枠の右下の座標として定義する。
最小矩形計算部１０７は、計算した最小矩形の座標を、特定教師データ生成用画像の、対応する移動体情報に付与する。
座標変換部１０６から出力された特定教師データ生成用画像に対応付けられている移動体情報が複数ある場合、最小矩形計算部１０７は、特定教師データ生成用画像に対応付けられた全ての移動体情報について、最小矩形を計算する。
なお、座標変換部１０６から特定教師データ生成用画像が複数出力される場合、最小矩形計算部１０７は、特定教師データ生成用画像毎に、当該特定教師データ生成用画像に対応付けられている各移動体情報について、最小矩形を計算する。
最小矩形計算部１０７は、移動体情報に最小矩形の座標を付与した特定教師データ生成用画像を、時系列で、例えば、記憶部１０２、または、教師データ生成装置１００が内部に備える記憶領域に一時記憶させる。

背景画像生成部１０８は、特定教師データ生成用画像毎に、当該特定教師データ生成用画像上に船舶が存在しない場合の合成背景画像を生成する。
背景画像生成部１０８が合成背景画像を生成する手順について説明する。
まず、背景画像生成部１０８のマスク設定部１０８１は、最小矩形計算部１０７によって一時記憶されている特定教師データ生成用画像について、それぞれ、当該特定教師データ生成用画像に対応付けられている移動体情報に基づき、特定教師データ生成用画像上にマスクを設定した画像を生成する。実施の形態１において、マスク設定部１０８１が生成した、特定教師データ生成用画像にマスクを設定した画像を、「マスク設定画像」というものとする。具体的には、マスク設定部１０８１は、移動体情報で示される、船舶の長さ、および、船舶の回転角の情報に基づき、マスクの横幅を計算する。そして、マスク設定部１０８１は、特定教師データ生成用画像の縦幅をマスクの縦幅とし、当該縦幅と計算した横幅とからなる領域を、マスクに決定する。マスク設定部１０８１は、特定教師データ生成用画像上に決定したマスクが設定されたマスク設定画像を生成する。
マスク設定部１０８１は、生成したマスク設定画像を、一時記憶されている特定教師データ生成用画像の、対応する移動体情報に付与する。
一時記憶されている特定教師データ生成用画像に対応付けられている移動体情報が複数ある場合、マスク設定部１０８１は、特定教師データ生成用画像に対応付けられた全ての移動体情報について、当該移動体情報に基づいてマスクを設定したマスク設定画像を生成する。例えば、ある特定教師データ生成用画像に対応付けられている移動体情報が３つあるとすると、当該３つそれぞれに対して、マスク設定部１０８１によってマスク設定画像が生成され、移動体情報に付与される。

一時記憶されている各特定教師データ生成用画像について、マスク設定画像を生成し、特定教師データ生成用画像に対応付けられた移動体情報に付与すると、背景画像生成部１０８は、一時記憶されている特定教師データ生成用画像から、合成背景画像を生成する対象とする特定教師データ生成用画像を決定する。なお、合成背景画像を生成する対象とする特定教師データ生成用画像は、すなわち、後段の処理（詳細は後述する）で教師データを生成する対象となる教師データ生成用画像である。以下、背景画像生成部１０８によって決定された特定教師データ生成用画像を、「決定後教師データ生成用画像」ともいうものとして説明する。背景画像生成部１０８は、例えば、一時記憶されている特定教師データ生成用画像を時系列で順番に、決定後教師データ生成用画像に決定するようにすればよい。
具体的には、まず、背景画像生成部１０８は、決定後教師データ生成用画像について、移動体情報に付与されたマスク設定画像に設定されているマスクの領域（以下「注目マスク領域」という。）を切り出し、一時記憶されている、当該決定後教師データ生成用画像の前後の特定教師データ生成用画像（以下「比較対象教師データ生成用画像」という。）を確認して、マスクの領域内に船舶が入っていない特定教師データ生成用画像（以下「合成用画像」という。）を検索する。マスクの領域内に船舶が入っていないとは、比較対象教師データ生成用画像の、注目マスク領域に対応する領域に、マスクが設定されていないことをいう。背景画像生成部１０８は、比較対象教師データ生成用画像の移動体情報に付与されているマスク設定画像から、注目マスク領域に対応する領域に、マスクが設定されているか否かを判断すればよい。つまり、背景画像生成部１０８は、比較対象教師データ生成用画像の移動体情報に、注目マスク領域と同じ領域にマスクが設定されたマスク設定画像が付与されていなければ、当該比較対象教師データ生成用画像は、マスクの領域内に船舶が入っていない合成用画像と判断する。
なお、ここでは、背景画像生成部１０８は、マスクの領域内に船舶が入っていない特定教師データ生成用画像を合成用画像とするものとするが、これは一例に過ぎず、合成用画像は、必ずしもマスクの領域に対応する領域内に船舶が入っていない特定教師データ生成用画像であることを必須としない。例えば、背景画像生成部１０８は、マスクの領域内に多少船舶が入っている特定教師データ生成用画像であっても、合成用画像とするようにしてもよい。
背景画像生成部１０８は、当該検索を、合成用画像を予め設定されたフレーム数見つけるまで反復する。実施の形態１では、一例として、予め設定されたフレーム数は５フレームとする。

そして、予め設定されたフレーム数、合成用画像を見つけると、背景画像生成部１０８は、決定後教師データ生成用画像と、見つけた合成用画像の平均をとり、合成背景画像を生成する。このとき、背景画像生成部１０８は、注目マスク領域については、足し合わせを行わないようにする。
背景画像生成部１０８は、合成背景画像を生成する際には、決定後教師データ生成用画像と合成用画像とを、単純に平均することで合成背景画像を生成してもよいし、当該決定後教師データ生成用画像からみた時差を考慮して、足し合わせる合成用画像に重み付けを行った加重平均によって、合成背景画像を生成するようにしてもよい。

背景画像生成部１０８は、生成した合成背景画像を、決定後教師データ生成用画像の、対応する移動体情報に付与して、差分計算部１０９に出力する。
なお、複数の特定教師データ生成用画像をそれぞれ決定後教師データ生成用画像とする場合、背景画像生成部１０８は、順次決定した決定後教師データ生成用画像毎に、合成背景画像を生成する。このように、背景画像生成部１０８が、順次、決定後教師データ生成用画像を決定して、決定後教師データ生成用画像毎に合成背景画像を生成するのは、できるだけ各決定後教師データ生成用画像に近い時間帯の合成背景画像を取得するためである。
ある決定後教師データ生成用画像において、対応付けられている移動体情報が複数ある場合、背景画像生成部１０８は、決定後教師データ生成用画像に対応付けられた全ての移動体情報について、当該移動体情報に付与されているマスク設定画像に基づき、合成用画像を検索して合成背景画像を生成する。

差分計算部１０９は、背景画像生成部１０８から出力された決定後教師データ生成用画像と、当該決定後教師データ生成用画像に対応付けられている合成背景画像との差分を計算し、閾値以上の変化がある領域を白、閾値以上の変化がない領域を黒とした差分画像を生成する。より詳細には、差分計算部１０９は、背景画像生成部１０８から出力された決定後教師データ生成用画像と、当該決定後教師データ生成用画像に対応付けられている移動体情報に付与された合成背景画像との差分を計算する。
二値の差分画像を生成するためには、閾値を適切に設定する必要がある。船舶のない領域については、事前にＡＩＳで取得した情報があるため、ユーザ等は、予め、船舶のない領域が確実に差分なしに分類されるような閾値を設定する。また、差分計算部１０９は、二値化後にラベリング処理を行い、対象となる領域以外に発生している、面積の小さいノイズを除去する。対象となる領域とは、閾値以上の変化がある領域のことであり、当該領域は、船舶が存在する領域である。例えば、波面のきらめき等によって、差分計算部１０９は、当該波面のきらめき等の領域を閾値以上の変化がある領域と判断して差分画像を生成する場合がある。しかし、波面のきらめき等は船舶が存在する領域ではない。そこで、差分計算部１０９は、船舶が存在する領域と判断できる最大領域以外の、面積の小さいノイズを除去する。なお、これは一例に過ぎず、差分計算部１０９は、当該面積の小さいノイズの除去を行うことを必須とはしない。例えば、差分計算部１０９は、明らかに船舶が存在する領域ではないと判断できる程度に面積の小さい領域については、ノイズの除去を行わないようにしてもよい。
差分計算部１０９は、生成した差分画像を、決定後教師データ生成用画像の、対応する移動体情報に付与して、高さ計算部１１０に出力する。
背景画像生成部１０８から決定後教師データ生成用画像が複数出力される場合、差分計算部１０９は、決定後教師データ生成用画像毎に、差分画像を生成する。
ある決定後教師データ生成用画像に対応付けられている移動体情報が複数ある場合、差分計算部１０９は、決定後教師データ生成用画像に対応付けられた全ての移動体情報に付与されている合成背景画像について、それぞれ、決定後教師データ生成用画像との差分画像を生成し、移動体情報に付与する。

高さ計算部１１０は、決定後教師データ生成用画像に対応付けられている差分画像に基づき、当該決定後教師データ生成用画像上の船舶の高さを計算する。より詳細には、高さ計算部１１０は、決定後教師データ生成用画像に対応付けられている移動体情報に付与された差分画像に基づき、当該決定後教師データ生成用画像上の船舶の高さを計算する。具体的には、高さ計算部１１０は、差分計算部１０９が差分ありと判定した白の領域のｙ座標の最大値および最小値を計算することで、船舶を示す最小矩形の上端および下端のｙ座標を計算する。計算したｙ座標の情報に基づき、高さ計算部１１０は、最小矩形計算部１０７が計算し、移動体情報に付与した最小矩形の枠の上端および下端の情報を更新する。
高さ計算部１１０は、更新後の最小矩形の情報が反映された決定後教師用データ生成用画像を、教師データ生成部１１１に出力する。
なお、差分計算部１０９から決定後教師データ生成用画像が複数出力される場合、高さ計算部１１０は、決定後教師データ生成用画像毎に、当該決定後教師データ生成用画像上の各船舶の高さを計算する。
ある決定後教師データ生成用画像に対応付けられている移動体情報が複数ある場合、高さ計算部１１０は、決定後教師データ生成用画像に対応付けられた全ての移動体情報に付与されている差分画像に基づき、それぞれ、移動体情報に付与されている最小矩形の枠の上端および下端の情報を更新する。

教師データ生成部１１１は、高さ計算部１１０から出力された、更新後の最小矩形の情報が反映された決定後教師データ生成用画像に基づき、当該決定後教師データの移動体情報に付与された最小矩形の情報を、一時記憶されている特定教師データ生成用画像の移動体情報に付与された最小矩形の情報と置き換える。教師データ生成部１１１は、決定後教師データ生成用画像に反映された更新後の最小矩形の情報を、背景画像生成部１０８が決定後教師データ生成用画像に決定した特定教師データ生成用画像の移動体情報に付与された最小矩形の情報と置き換える。
また、教師データ生成部１１１は、高さ計算部１１０から出力された、更新後の最小矩形の情報が反映された決定後教師データ生成用画像に基づき、教師データを生成する。
具体的には、教師データ生成部１１１は、決定後教師データ生成用画像と、高さ計算部１１０が更新した最小矩形の情報とを対応付けて教師データとする。このとき、教師データ生成部１１１は、最小矩形の情報に加えて、船舶の種別等、移動体情報に含まれる情報も、教師データに含めるようにする。教師データ生成部１１１が生成する教師データのフォーマットは、例えば、Ｐａｓｃａｌ ＶＯＣ（Ｖｉｓｕａｌ Ｏｂｊｅｃｔ Ｃｌａｓｓｅｓ）のようなｊｓｏｎ（ＪａｖａＳｃｒｉｐｔ Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）（ＪａｖａＳｃｒｉｐｔは登録商標）形式等が想定される。なお、最小矩形の情報は、例えば、最小矩形の左上と右下の座標の情報を複数まとめた情報である。

教師データ生成部１１１は、教師データとして、決定後教師データ生成用画像上に最小矩形を重畳表示させた画像を生成してもよい。具体的には、例えば、教師データ生成部１１１は、決定後教師データ生成用画像中の船舶の位置を矩形で囲った画像を、教師データとして生成してもよい。また、教師データ生成部１１１は、最小矩形の他に、当該最小矩形で表される船舶が発信している、当該船舶の自己の情報を、教師データに含めるようにしてもよい。船舶が発信している当該船舶の自己の情報とは、自船の進行方向、船名、速度、船種、船幅、船体の長さ、船舶識別番号、状態、または、喫水位置等の情報である。教師データ生成部１１１がこれらの情報を教師データに含めるようにすることで、例えば、船舶の検出だけでなく、種別の分類が可能な機械学習用データセットを生成することができ、更に詳細な画像認識を可能とすることができる。
また、教師データ生成部１１１は、決定後教師データ生成用画像上に最小矩形を重畳させるのではなく、例えば、差分画像の周囲のパスをベクトル情報として決定後教師データ生成用画像と対応付けた教師データを生成するようにしてもよい。

教師データ生成部１１１は、生成した教師データを、教師データ出力部１１２に出力する。
なお、高さ計算部１１０から決定後教師データ生成用画像が複数出力される場合、教師データ生成部１１１は、決定後教師データ生成用画像毎に、一時記憶されている特定教師データ生成用画像との置換えを行い、決定後教師データ生成用画像毎に、教師データを生成する。
ある決定後教師データ生成用画像に対応付けられている移動体情報が複数ある場合、教師データ生成部１１１は、決定後教師データ生成用画像に対応付けられた全ての移動体情報に付与されている最小矩形の情報を、一時記憶されている特定教師データ生成用画像の移動体情報に付与された最小矩形の情報と置き換える。また、ある決定後教師データ生成用画像に対応付けられている移動体情報が複数ある場合、教師データ生成部１１１は、決定後教師データ生成用画像に対応付けられた各移動体情報の分だけ、移動情報に付与された更新後の最小矩形の情報が反映された決定後教師データ生成用画像に基づき、教師データを生成する。
教師データ出力部１１２は、教師データ生成部１１１が生成した教師データを出力する。

図５は、実施の形態１において、教師データ生成装置１００が、船舶の高さ情報を計算するための背景画像を生成し、実際に船舶の高さを計算するまでの処理のイメージを示す図である。
図５Ａに示すように、カメラ２００が撮影した画像中の船舶について、ＡＩＳから得られる移動体情報によれば、当該船舶の船体の長さの情報は得られるが、船舶の高さの情報は得られない。
そこで、教師データ生成装置１００において、背景画像生成部１０８が、マスクを設定したマスク設定画像を生成した上で決定後教師データ生成用画像および合成対象画像を複数枚足し合わせて平均することで、背景画像を生成する（図５Ｂ）。なお、図５Ｂでは、説明の簡単のため、背景画像を生成するもととなる画像を３フレームのみ図示しているが、実施の形態１では、背景画像生成部１０８は、背景が写っている合成対象画像が最低限５フレーム含まれるように、前後の特定教師データ生成用画像を順に検索する。
そして、差分計算部１０９が、決定後教師データ生成用画像と背景画像との差分を計算し、高さ計算部１１０が決定後教師データ生成用画像中の各船舶の高さを更新する（図５Ｃ）。

次に、実施の形態１に係る教師データ生成装置１００を備えるデータ収集装置１の動作について説明する。
図６Ａ，図６Ｂは、実施の形態１に係る教師データ生成装置１００を備えるデータ収集装置１の動作を説明するためのフローチャートである。
カメラ２００は、船舶が存在し得る海上を撮影し、撮影した教師データ生成用画像を記憶装置３００に記憶させる（ステップＳＴ６０１）。
なお、データ収集装置１において、カメラ２００は、所定のフレーム数の画像を撮影するまで、ステップＳＴ６０１の動作を行う。

移動体情報受信機６００は、移動体情報受信アンテナ５００経由で、移動体情報を受信し、教師データ生成装置１００に出力する（ステップＳＴ６０２）。
移動体情報取得部１０１は、ステップＳＴ６０２にて移動体情報受信機６００から出力された移動体情報を取得する。そして、移動体情報取得部１０１は、移動体情報受信機６００から取得した移動体情報を、記憶部１０２に記憶させる（ステップＳＴ６０３）。
データ処理部１０３の補間部１０３１は、画像取得部１０４によって取得された、互いに異なる時刻で撮影された複数の教師データ生成用画像にそれぞれ対応する移動体情報が存在するよう、移動体情報取得部１０１が取得した移動体情報に対して時間補間を行い、新たに生成した移動体情報を、記憶部１０２に記憶させる（ステップＳＴ６０４）。
データ処理部１０３の間引き部１０３２は、カメラ較正装置４００から出力された、カメラ２００の内部パラメータおよび外部パラメータに基づき、地図上における、カメラ２００の撮影範囲を地図上で計算する。そして、間引き部１０３２は、移動体情報で示される船舶の存在位置が、計算した撮影範囲の外となる移動体情報を、後段の、教師データを生成するための処理の対象外とする間引きを行う（ステップＳＴ６０５）。

ステップＳＴ６０１にて、カメラ２００が所定のフレーム数の画像を撮影すると、ステップＳＴ６０６以降の処理に進む。

画像取得部１０４は、特定教師データ生成用画像を取得する。そして、画像取得部１０４の撮影時刻取得部１０４１は、記憶装置３００から取得した特定教師データ生成用画像について、撮影時刻を取得する（ステップＳＴ６０６）。

画像取得部１０４は、記憶部１０２を参照し、記憶部１０２から、特定教師データ生成用画像と対応する移動体情報を抽出する（ステップＳＴ６０７）。
画像取得部１０４は、抽出した移動体情報を、特定教師データ生成用画像と対応付けて、立方体領域設定部１０５に出力する。

立方体領域設定部１０５は、ステップＳＴ６０７にて画像取得部１０４から出力された特定教師データ生成用画像に、当該特定教師データ生成用画像に対応付けられている移動体情報に基づき、移動体情報で示される船舶の位置を表わす立方体を設定する。具体的には、立方体領域設定部１０５は、移動体情報に基づき、船舶の幅、長さ、および、角度を特定し、当該船舶を囲む移動体包囲立方体の座標を設定する（ステップＳＴ６０８）。
立方体領域設定部１０５は、設定した立方体座標を、特定教師データ生成用画像の、対応する移動体情報に付与して、座標変換部１０６に出力する。

座標変換部１０６は、カメラ較正装置４００から出力される、カメラ２００の内部パラメータおよび外部パラメータを用いて、ステップＳＴ６０８にて立方体領域設定部１０５から出力された特定教師データ生成用画像に対応付けられている移動体情報に付与された立方体座標を、変換後座標に変換する（ステップＳＴ６０９）。
座標変換部１０６は、変換後座標を、特定教師データ生成用画像の、対応する移動体情報に付与して、最小矩形計算部１０７に出力する。

最小矩形計算部１０７は、ステップＳＴ６０９にて座標変換部１０６から出力された特定教師データ生成用画像に対応付けられている移動体情報について、当該移動体情報に付与された変換後座標に基づき、当該変換後座標全てを含む最小矩形を計算する（ステップＳＴ６１０）。
最小矩形計算部１０７は、計算した最小矩形の座標を、特定教師データ生成用画像の、対応する移動体情報に付与する。
最小矩形計算部１０７は、移動体情報に最小矩形の座標を付与した特定教師データ生成用画像を、時系列で、例えば、記憶部１０２、または、教師データ生成装置１００が内部に備える記憶領域に一時記憶させる。

ステップＳＴ６０６〜ステップＳＴ６１０の動作は、特定教師データ生成用画像毎に行われる。また、１フレームの特定教師データ生成用画像に、複数の移動体情報が対応付けられている場合、対応付けられた移動体情報の分だけ、ステップＳＴ６０８〜ステップＳＴ６１０の動作が繰り返される。

背景画像生成部１０８のマスク設定部１０８１は、ステップＳＴ６１０にて一時記憶された特定教師データ生成用画像について、それぞれ、当該特定教師データ生成用画像に対応付けられている移動体情報に基づき、特定教師データ生成用画像上にマスクを設定したマスク設定画像を生成する（ステップＳＴ６１１）。

そして、背景画像生成部１０８は、一時記憶されている特定教師データ生成用画像から、順に決定後教師データ生成用画像を決定し、当該決定後教師データ生成用画像の合成背景画像を生成する（ステップＳＴ６１２）。
背景画像生成部１０８は、生成した合成背景画像を、決定後教師データ生成用画像と対応付けて、差分計算部１０９に出力する。

差分計算部１０９は、ステップＳＴ６１２にて背景画像生成部１０８から出力された決定後教師データ生成用画像と、当該決定後教師データ生成用画像に対応付けられている合成背景画像との差分を計算し、閾値以上の変化がある領域を白、閾値以上の変化がない領域を黒とした差分画像を生成する（ステップＳＴ６１３）。
差分計算部１０９は、生成した差分画像を、決定後教師データ生成用画像と対応付けて、高さ計算部１１０に出力する。

高さ計算部１１０は、決定後教師データ生成用画像に対応付けられている差分画像に基づき、当該決定後教師データ生成用画像上の船舶の高さを計算する（ステップＳＴ６１４）。
高さ計算部１１０は、更新後の最小矩形の情報が反映された決定後教師用データ生成用画像を、教師データ生成部１１１に出力する。

教師データ生成部１１１は、ステップＳＴ６１４にて高さ計算部１１０から出力された、更新後の最小矩形の情報が反映された決定後教師データ生成用画像に基づき、教師データを生成する（ステップＳＴ６１５）。教師データ生成部１１１は、生成した教師データを、教師データ出力部１１２に出力する。
なお、このとき、教師データ生成部１１１は、ステップＳＴ６１４にて高さ計算部１１０から出力された、更新後の最小矩形の情報が反映された決定後教師データ生成用画像に基づき、当該決定後教師データの移動体情報に付与された最小矩形の情報を、一時記憶されている特定教師データ生成用画像の移動体情報に付与された最小矩形の情報と置き換える。

教師データ出力部１１２は、ステップＳＴ６１５にて教師データ生成部１１１が生成した教師データを出力する（ステップＳＴ６１６）。

ステップＳＴ６１２〜ステップＳＴ６１６の動作は、決定後教師データ生成用画像毎に行われる。また、１フレームの決定後教師データ生成用画像に、複数の移動体情報が対応付けられている場合、対応付けられた移動体情報の分だけ、ステップＳＴ６１２〜ステップＳＴ６１６の動作が繰り返される。
教師データ出力部１１２が教師データを出力すると、制御部（図示省略）が、記憶装置３００に記憶されている画像、および、一時記憶させている教師データ生成用画像等を削除する。制御部は、画像および教師データ生成用画像等に、処理済フラグを付与する等してもよい。

なお、実施の形態１では、上述のように、教師データ生成装置１００は、教師データ生成用画像（決定後教師データ生成用画像）毎に、当該教師データ生成用画像上の船舶の高さを計算する都度、教師データを生成し、出力するようにしているが、これは一例に過ぎない。
例えば、教師データ生成装置１００は、全ての教師データ生成用画像について、当該全ての教師データ生成用画像上の船舶の高さを計算して教師データを生成し、生成した教師データをまとめて出力するようにしてもよい。

図７Ａ，図７Ｂは、実施の形態１に係る教師データ生成装置１００を備えるデータ収集装置１のハードウェア構成の一例を示す図である。
実施の形態１において、移動体情報取得部１０１と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２の機能は、処理回路７０１により実現される。すなわち、データ収集装置１は、移動体を検出するための教師データを生成する制御を行うための処理回路７０１を備える。
処理回路７０１は、図７Ａに示すように専用のハードウェアであっても、図７Ｂに示すようにメモリ７０７に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０６であってもよい。

処理回路７０１が専用のハードウェアである場合、処理回路７０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路７０１がＣＰＵ７０６の場合、移動体情報取得部１０１と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、移動体情報取得部１０１と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）７０２、メモリ７０７等に記憶されたプログラムを実行するＣＰＵ７０６、またはシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ７０２、またはメモリ７０７等に記憶されたプログラムは、移動体情報取得部１０１と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ７０７とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、移動体情報取得部１０１と、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、移動体情報取得部１０１については専用のハードウェアとしての処理回路７０１でその機能を実現し、データ処理部１０３と、画像取得部１０４と、立方体領域設定部１０５と、座標変換部１０６と、最小矩形計算部１０７と、背景画像生成部１０８と、差分計算部１０９と、高さ計算部１１０と、教師データ生成部１１１と、教師データ出力部１１２については処理回路がメモリ７０７に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、記憶装置３００および記憶部１０２は、メモリ７０７を使用する。なお、これは一例であって、記憶装置３００および記憶部１０２は、ＨＤＤ７０２、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、または、ＤＶＤ等によって構成されるものであってもよい。
また、データ収集装置１は、移動体情報発信装置等との通信を行う、入力インタフェース装置７０３、および、出力インタフェース装置７０４を有する。
また、データ収集装置１は、移動体情報受信アンテナ５００、移動体情報受信機６００、カメラ較正装置４００、および、カメラ２００等の撮影装置７０５を備える。

以上のように、実施の形態１によれば、教師データ生成装置１００は、移動体が撮影された教師データ生成用画像を取得する画像取得部１０４と、移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する移動体情報を取得する移動体情報取得部１０１と、画像取得部１０４が取得した教師データ生成用画像と、移動体情報取得部１０１が取得した移動体情報とに基づき、教師データを生成する教師データ生成部１１１とを備えるように構成した。そのため、従来のように、事前に設計された画像認識の処理精度の影響を受けることを低減し、信頼性の高い教師データを生成することができる。
また、既存の、ＡＩＳ等の移動体情報発信装置から発信される情報をもとに教師データを生成するため、従来のような重い画像処理を必要とせず、教師データ生成の省力化が可能となる。

また、教師データ生成装置１００は、画像取得部１０４によって取得された、互いに異なる時刻で撮影された複数の教師データ生成用画像にそれぞれ対応する移動体情報が存在するよう、移動体情報取得部１０１が取得した移動体情報の時間補間を行う補間部１０３１を備え、教師データ生成部１１１は、補間部１０３１が時間補間を行った後の移動体情報に基づき、教師データを生成するようにした。そのため、教師データ生成用画像の取得タイミングと、移動体情報の取得タイミングが異なる場合であっても、教師データ生成用画像と対応する移動体情報を生成し、当該教師データ生成用画像と当該移動体情報に基づいて教師データを生成することができる。
また、教師データ生成装置１００は、移動体情報取得部１０１が取得した移動体情報について、当該移動体情報で示される移動体の存在位置が、教師データ生成用画像の撮影範囲外となる場合、当該撮影範囲外となる当該移動体情報を、教師データ生成部１１１が教師データを生成するための移動体情報から除外する間引き部１０３２を備えるようにした。そのため、不要なデータを間引き、教師データ生成のための処理を軽くすることができる。
また、移動体が船舶であり、移動体情報発信装置がＡＩＳである場合、教師データ生成装置１００は、教師データ生成用画像（決定後教師データ生成用画像）毎に、当該教師データ生成用画像上に船舶が存在しない場合の合成背景画像を生成する背景画像生成部１０８と、教師データ生成用画像と、当該教師データ生成用画像に対応付けられている合成背景画像との差分を計算し、差分画像を生成する差分計算部１０９と、教師データ生成用画像に対応付けられている差分画像に基づき、教師データ生成用画像上の船舶の高さを計算する高さ計算部１１０を備え、教師データ生成部１１１は、高さ計算部１１０が計算した船舶の高さの情報を含む教師データを生成するようにした。そのため、ＡＩＳから船舶の高さの情報が得られなくても、当該船舶の高さの情報を設定できる。

なお、以上の実施の形態１では、移動体情報発信装置をＡＩＳとし、ＡＩＳから受信する情報からでは、船舶の高さの情報は得られないため、教師データ生成装置１００にて船舶の高さを計算し、教師データに反映するようにした。しかし、これに限らず、移動体情報発信装置から、教師データの生成に必要な情報を過不足なく得られる場合、教師データ生成装置１００は、移動体の高さ等、移動体に関する情報を計算する必要はない。この場合、教師データ生成装置１００において、最小矩形計算部１０７は、移動体の高さに応じた最小矩形を設定するようにすればよい。また、この場合、教師データ生成装置１００は、背景画像生成部１０８、差分計算部１０９、および、高さ計算部１１０を備えない構成とすることができる。

また、以上の実施の形態１では、教師データ生成装置１００は、データ処理部１０３（補間部１０３１および間引き部１０３２）を備えるものとしたが、補間部１０３１および間引き部１０３２は必須ではない。
例えば、カメラ２００が教師データ生成用画像を撮影する時間幅と、移動体情報発信装置が移動体情報を発信する時間幅が同じ場合等、移動体情報を補間する必要がなければ、教師データ生成装置１００は、補間部１０３１を備えない構成としてもよい。
また、例えば、移動体情報発信装置が移動体情報を発信する範囲と、カメラ２００が教師データ生成用画像を撮影する撮影範囲とが同じ場合等、移動体情報を間引く必要がなければ、教師データ生成装置１００は、間引き部１０３２を備えない構成としてもよい。

また、以上の実施の形態１では、教師データ生成装置１００は、教師データ出力部１１２を備えるものとしたが、教師データ出力部１１２は必須ではない。
例えば、教師データ生成部１１１が、生成した教師データを、教師データ生成装置１００に記憶させておくようにする場合、教師データ生成装置１００は、教師データ出力部１１２を備えない構成としてもよい。

また、以上の実施の形態１では、カメラ２００、記憶装置３００、および、カメラ較正装置４００は、データ収集装置１に備えられるものとしたが、これに限らない。カメラ２００、記憶装置３００、および、カメラ較正装置４００は、データ収集装置１の外部の、データ収集装置１からアクセスが可能な場所に備えられるようになっていてもよい。
カメラ２００がデータ収集装置１の外部に備えられる場合、カメラ２００が移動体を撮影可能な場所に設置されるようになっていればよく、データ収集装置１が、移動体を撮影可能な場所に設置される必要はない。
例えば、図８に示すように、データ収集装置１と、カメラ２００と、記憶装置３００と、カメラ較正装置４００とがネットワークで接続されたデータ収集システムを構成するようにしてもよい。なお、図８に示すようなデータ収集システムにおいても、カメラ２００と記憶装置３００を一体型としてもよいし、当該一体型のカメラ２００にカメラ較正装置４００がさらに含まれるようにしてもよい。

また、以上の実施の形態１では、移動体は、船舶であるものとしたが、これは一例に過ぎない。例えば、移動体は、車であってもよい。また、例えば、移動体は、自己位置等の情報を発信可能なデバイスを携帯している人、または、自己位置等の情報を発信可能なデバイスを装着させられている動物であってもよい。

また、以上の実施の形態１では、カメラ２００は、可視光カメラを前提とするが、これに限らず、カメラ２００は、ＩＲカメラ等としてもよい。カメラ２００をＩＲカメラとすることで、夜間でも船舶の観測が可能となり、例えば、２４時間分の撮影画像を用いて教師データを生成することができる。

また、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

この発明に係る教師データ生成装置は、画像処理に依存することなく、信頼性の高い教師データを生成することができるように構成したため、画像中の移動体の位置を検出するための教師データを生成する教師データ生成装置に適用することができる。

１ データ収集装置、１００ 教師データ生成装置、１０１ 移動体情報取得部、１０２ 記憶部、１０３ データ処理部、１０３１ 補間部、１０３２ 間引き部、１０４ 画像取得部、１０４１ 撮影時刻取得部、１０５ 立方体領域設定部、１０６ 座標変換部、１０７ 最小矩形計算部、１０８ 背景画像生成部、１０８１ マスク設定部、１０９ 差分計算部、１１０ 高さ計算部、１１１ 教師データ生成部、１１２ 教師データ出力部、２００ カメラ、３００ 記憶装置、４００ カメラ較正装置、５００ 移動体情報受信アンテナ、６００ 移動体情報受信機、７０１ 処理回路、７０２ ＨＤＤ、７０３ 入力インタフェース装置、７０４ 出力インタフェース装置、７０５ 撮影装置、７０６ ＣＰＵ、７０７ メモリ。

Claims (7)

1. 判定対象画像中の移動体の位置を検出するための機械学習モデルを構築する際に使用される教師データを生成する、教師データ生成装置であって、
   前記移動体が撮影された教師データ生成用画像を取得する画像取得部と、
   前記移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する前記移動体情報を取得する移動体情報取得部と、
   前記画像取得部が取得した前記教師データ生成用画像と、前記移動体情報取得部が取得した前記移動体情報とに基づき、前記教師データを生成する教師データ生成部
   とを備えた教師データ生成装置。
2. 前記画像取得部によって取得された、互いに異なる時刻で撮影された複数の前記教師データ生成用画像にそれぞれ対応する前記移動体情報が存在するよう、前記移動体情報取得部が取得した前記移動体情報の時間補間を行う補間部を備え、
   前記教師データ生成部は、前記補間部が前記時間補間を行った後の前記移動体情報に基づき、前記教師データを生成する
   ことを特徴とする請求項１記載の教師データ生成装置。
3. 前記移動体情報取得部が取得した前記移動体情報について、当該移動体情報で示される移動体の存在位置が、前記教師データ生成用画像の撮影範囲外となる場合、当該撮影範囲外となる当該移動体情報を、前記教師データ生成部が前記教師データを生成するための前記移動体情報から除外する間引き部を備えた
   ことを特徴とする請求項１記載の教師データ生成装置。
4. 前記画像取得部が取得した前記教師データ生成用画像毎に、当該教師データ生成用画像に対応する前記移動体情報に基づき、当該移動体情報で示される移動体の位置を表わす立方体の座標を、地球中心座標系にて設定する立方体領域設定部と、
   前記立方体領域設定部が設定した地球中心座標系の前記立方体の座標を、前記教師データ生成用画像上の座標系に変換し、変換後座標を生成する座標変換部と、
   前記座標変換部が生成した前記変換後座標に基づき、前記教師データ生成用画像上で、前記変換後座標を含む最小矩形を計算する最小矩形計算部を備え、
   前記教師データ生成部は、
   前記最小矩形計算部が計算した最小矩形の情報を含む前記教師データを生成する
   ことを特徴とする請求項１記載の教師データ生成装置。
5. 前記移動体は船舶であり、前記移動体情報発信装置は船舶自動識別装置であって、
   前記教師データ生成用画像毎に、当該教師データ生成用画像上に前記船舶が存在しない場合の合成背景画像を生成する背景画像生成部と、
   前記教師データ生成用画像と、当該教師データ生成用画像に対応付けられている前記合成背景画像との差分を計算し、差分画像を生成する差分計算部と、
   前記教師データ生成用画像に対応付けられている前記差分画像に基づき、前記教師データ生成用画像上の前記船舶の高さを計算する高さ計算部を備え、
   前記教師データ生成部は、
   前記高さ計算部が計算した前記船舶の高さの情報を含む前記教師データを生成する
   ことを特徴とする請求項１記載の教師データ生成装置。
6. 判定対象画像中の移動体の位置を検出するための機械学習モデルを構築する際に使用される教師データを生成する、教師データ生成方法であって、
   画像取得部が、前記移動体が撮影された教師データ生成用画像を取得するステップと、
   移動体情報取得部が、前記移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する前記移動体情報を取得するステップと、
   教師データ生成部が、前記画像取得部が取得した前記教師データ生成用画像と、前記移動体情報取得部が取得した前記移動体情報とに基づき、前記教師データを生成するステップ
   とを備えた教師データ生成方法。
7. 判定対象画像中の移動体の位置を検出するための機械学習モデルを構築する際に使用される教師データを生成する、教師データ生成装置であって、
   前記移動体が撮影された教師データ生成用画像を取得する画像取得部と、
   前記移動体の属性情報と当該移動体の位置情報とを含む移動体情報を発信する移動体情報発信装置から発信された、当該移動体に関する前記移動体情報を取得する移動体情報取得部と、
   前記画像取得部が取得した前記教師データ生成用画像と、前記移動体情報取得部が取得した前記移動体情報とに基づき、前記教師データを生成する教師データ生成部とを備えた教師データ生成装置と、
   前記移動体を撮影する撮影装置とを有する教師データ生成システム。

Images