JP7470016B2

JP7470016B2 - 機械学習を用いた物体検出用識別モデル生成装置およびプログラム

Info

Publication number: JP7470016B2
Application number: JP2020187176A
Authority: JP
Inventors: 靖浩秋山; 圭介稲田; 雅佳古林; 僚太下脇; 健太吉田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2020-11-10
Filing date: 2020-11-10
Publication date: 2024-04-17
Anticipated expiration: 2040-11-10
Also published as: JP2022076675A

Description

本発明は、機械学習を用いて目標物である物体を検出する技術に関する。その中でも特に、水中の物体を検出する技術に関する。

機械学習で生成した識別器を利用して物体検出を実施する場合、学習に使用した学習画像の被写体特徴の影響を受け易いことが知られている。例えば、昼間の人物画像で学習した識別器は、夜間の人物検出には適さない場合が多い。

また、例えば、水中の物体検出にも同様の傾向がみられる。ある特定水中地点の観測画像を使用して学習した識別器は、別の水中地点の物体検出では期待通りの検出精度が得られない場合がある。水中探索の場合、超音波などを利用した探索方法あるが、水温、水底地形、水流速度および水質など、様々な水中観測環境の違いが影響する。水中観測環境の影響は、観測画像へ被写体ぼやけや被写体欠落の他、背景ノイズ発生などとして顕著に反映され、学習時点の画像と物体検出時に取得した画像に差異が生じることが一因と考えられる。特に観測地点が大きく変わると水温、水底地形、水流速度および水質など全ての環境条件が大きく変化するため、より物体検出精度低下への懸念が高まるという課題がある。

この課題を解決するため観測地点が変化することを想定した物体検出方法が検討されている。

上記課題解決のための従来技術として、例えば特許文献１には事前の路上障害物の学習を必要とせずに観測地点の路上障害物を検出する方法が開示されている。

特開２０１８－１９４９１２号公報

特許文献１に記載された技術は、車載システム向けの技術として注目物体が正常物体(既知物体)である確率と、注目物体の周辺が道路であるかどうかの確率を計算して、注目物体が障害物であるかどうかを判定する方法が記載されている。両者のトータル確率値が低いほど注目物体が障害物の可能性大と判定している。

しかしながら、水中など所定条件の環境下においては低SN比信号環境である。このため、正常物体と未知物体の確率の見極め自体が困難であり、水中などの物体検出には適さない。このため、従来技術においては、未知の観測条件下での物体検出が正確に行えないとの課題が存在する。

上記の課題を解決するために、過去に実施済の既知観測条件と新規に実施する未知観測条件の所定パラメータ列の類似度を比較して類似度の高い既知観測条件を選択し、同既知観測条件に紐づいている既知観測画像グループを適応的に抽出して識別モデル学習に使用する。

より具体的には、所定環境下を観測することで、物体を検出するための機械学習を用いた物体検出用識別モデル生成装置において、前記物体の検出のための観測を行う場合の観測条件である未知観測条件を特徴量化する未知観測条件特徴量化部と、記憶装置に記憶されている複数の既知観測条件を特徴量化する既知観測条件特徴量化部と、記憶装置に記憶されている複数の既知観測画像を特徴量化する既知観測画像特徴量化部と、特徴量化された前記既知観測条件のうち、特徴量化された前記未知観測条件と所定の対応関係を有する既知観測条件を特定し、特定された既知観測条件に対応する観測画像であって、特徴量化された既知観測画像を抽出する学習用画像グループ抽出部と、抽出された前記既知観測画像を学習データとした機械学習により、前記未知観測条件での観測による物体検出に用いる物体検出用識別モデルを生成する識別モデル学習部とを有する物体検出用識別モデル生成装置である。

また、本発明には、物体検出用識別モデル生成装置を用いた方法、コンピュータを機能させるためのプログラムやこれを格納した記憶媒体もその一態様として含まれる。

本発明の実施の形態によれば、より容易に、未知環境対応可能な物体検出識別モデルを生成することが可能になる。

本発明の一実施例における物体検出処理の概要を示す図。本発明の一実施例で用いられる物体検出の観測条件の一例を示す図。本発明の一実施例における既知観測条件のクラス化および類似度MAPへの配置処理を示す図。本発明の一実施例における既知観測画像のクラス化および類似度MAPへの配置処理を示す図。本発明の一実施例絵における未知観測条件のクラス化および類似度MAPへの配置処理を示す図。本発明の一実施例における未知観測条件から既知観測画像を抽出する方法の一例を示す図。本発明の一実施例における学習用画像グループ抽出部の処理例を示す図。本発明の一実施例における識別モデル学習部で実施するノイズ低減処理例を示す図。本発明の一実施例における基本処理フロー例の図。本発明の一実施例を適用した物体検出システムの概略構成および処理概要一例を示す図。本発明の一実施例での物体検出システムの第1の運用形態におけるシステム構成を示す図。本発明の一実施例での物体検出システムの第2の運用形態におけるシステム構成を示す図。

以下、本発明の一実施例を、図面を用いて説明する。
本実施例では、物体検出として、水中に存在する物体の探索を例に説明する。例えば、超音波による水底に沈んでいる沈没船などの人工物の探索に利用できる。また、超音波による魚群探知や岩礁の検知など自然物の探知にも利用できる。

図1は、本実施例の物体検出処理の概要を示す図である。図1は、各構成要件とその処理の流れの概要を示している。102～106はコンピュータで実現可能な探索信号送受信装置1000で実現できる。また、既知観測データベース100と未知観測データベース101は、いわゆる記憶装置で実現できる。なお、探索信号送受信装置1000は、物体検出機能を有する物体検出装置として実現することができる。また、既知観測データベース100と未知観測データベース101のそれぞれは、後述する画像蓄積装置1001で実現できる。以下、図1の処理について、説明する。

図1において、まず、既知観測条件特徴量化部102は、取得済の観測条件および観測画像からなる既知観測データベース100から既知観測条件300を受け付ける。そして既知観測条件特徴量化部102は、受け付けた既知観測条件300をクラス化したパタン列を特徴量化する。ここで、特徴量化としては、既知観測条件300の類似度MAP1(307)上に配置する処理が含まれる。

また、既知観測画像特徴量化部103が、既知観測データベース100から既知観測画像400を受け付ける。そして、既知観測画像特徴量化部103は、そのデータ列を特徴量化する。この特徴量化しては、既知観測画像400の類似度MAP2(407)上に配置する処理が含まれる。なお、受け付けた複数の既知観測画像400それぞれには、対象とする検出物体の観測像402が映り込んでいるものとする。

また、未知観測条件特徴量化部104は、未知観測データベース101から過去に実施されていない地域などを対象とする新規観測実行のための未知の観測条件からなる未知観測条件500を受け付ける。そして、未知観測条件特徴量化部104は、未知観測条件500をクラス化したパタン列を特徴量化する。この特徴量化しては、未知観測条件500の類似度MAP3(504)上に配置する処理が含まれる。

ここで、既知観測条件特徴量化部102および未知観測条件特徴量化部104において、クラス化とは、以下の処理を意味する。それは、所定の観測条件の各パラメータについて予め設定されうる項目や数値範囲に分類して、その分類後の項目や数値範囲に所定の分類コード(クラス)を割り当てる処理のことである。

また、既知観測条件特徴量化部102、既知観測画像特徴量化部103および未知観測条件特徴量化部104における特徴量化とは、以下の処理を意味する。それは、クラス化で割り当てた複数個の分類コード群に対してクラス化した異なる観測条件同士またはクラス化した異なる観測画像同士の類似度を得るために実施するオブジェクト変換処理のことである。なお、特徴量化において、異なる観測条件同士または異なる観測画像同士の類似度を測る方法には、Euclidean距離演算、Manhattan距離演算COS距離演算などがある。これらの演算処理は、いずれも比較オブジェクト間の類似度を相対的な数値(距離)で表現する処理であり、数値が小さいほど比較オブジェクト間の類似度が高い。このため、数値が大きいほど比較オブジェクト間の類似度が低く表現される。数値が0の場合は、比較した双方のオブジェクトが一致していることを意味する。特徴量化処理方法は任意に選択して良いが、本実施例ではManhattan距離演算で実施するものとして述べる。

次に、学習用画像グループ抽出部105は、未知観測条件500と類似度の高い既知観測条件300を特定し、特定された既知観測条件300に紐づく既知画像グループを抽出する処理である。なお、類似度が高いとは、類似度の示す数値が一定値以上や他の類似度の示す数値より高いなど予め定められた条件を満たすことを意味する。また、類似度以外の指標が所定条件を満たすこと、つまり、所定の対応関係を有するものを用いてもよい。

そして、識別モデル学習部106は、学習用画像グループ抽出部105で抽出した既知画像グループが保持している複数画像群を使用した機械学習によって物体検出用識別モデル107を生成して出力する。

次に、図2は、本実施例における物体検出の観測条件200の一例を示す図である。

図2(a)は、具体的な観測条件200、つまり、そのパラメータの例を示す図である。まず、観測条件200は、観測項目201、観測設定値202および観測項目に関する備考203を有する。本の実施例の処理の際に、主に用いられる項目は、観測項目201および観測設定値202である。

また、観測条件200の観測項目201は所定N個の項目があり、一例としてデバイス種別204、座標207、航行速度210などがある。デバイス種別204は、観測で使用するデバイスの種類を表すパラメータとして観測設定値202にデバイスA(205)などと記録する。座標207は、観測位置を表すパラメータとして観測設定値202に緯度E、経度F(208)などと記録する。航行速度210は、観測システムを搭載した観測船の航行する速度を表すパラメータとして観測設定値202に速度K(211)などと記録する。なお、観測条件200には、既知観測条件300および未知観測条件500があるが、それぞれ図2で示す項目を有する。つまり、既知観測条件300および未知観測条件500は、共通の構成である。

次に、図2(b)は、観測条件200におけるクラス化の対象207の例を示す図である。観測条件200のうち、クラス化する対象は、観測設定値202の部分である。ここで、クラス化とは、所定の観測条件の各パラメータについて予め設定されうる項目や数値範囲に分類して、その分類後の項目や数値範囲に所定の分類コード(クラス)を割り当てる処理のことである。例えば、観測に使用したデバイス種別210がデバイスA(211)であるならば分類コードに数値の1を割り当てて、この数値の1がクラスコードになる。デバイス種別210がデバイスB(212)であるならば分類コードに数値の2を割り当てて、この数値の2がクラスコードになる。このため、デバイス種別210がデバイスC(213)であるならば分類コードに数値の3を割り当てて、この数値の3がクラスコードになる。

他の観測条件の各パラメータについても同様に観測設定値202に対応する分類コードを割り当てて、その数値をクラスコードとする。

次に、図3は、既知観測条件300のクラス化および類似度MAP1(307)への配置処理を示す図である。図3(a)は、クラス化された既知観測条件300を示す。図3(a)では、既知観測条件300として観測A(303)、観測B(304)、観測C(305)および観測D(306)が4個含まれることを示す。ここで、観測A～観測D(303～306)は対象座標(場所)などが異なるケースの既知観測条件300とする。

既知観測条件300のクラス化とは、前述の通り、所定の観測条件の各パラメータについて予め設定された項目や数値範囲を分類して、その分類後の項目や数値範囲に所定の分類コード(クラス)を割り当てる処理のことである。このような処理が施された結果が、図3(a)に示す既知観測条件300となる。

そして、図3(a)の既知観測条件300に含まれる観測A～観測D(303～306)について、相対的な類似度を表す特徴量数値に変換する。この結果、図3(b)の類似度MAP1(307)が作成される。例えば、観測A～観測D(303～306)に対して、Manhattan距離演算で特徴量数値を算出する。Manhattan距離演算などで算出された特徴量数値は、水平距離と垂直距離の2次元ベクトル成分で表現可能であるため、2次元の類似度MAP1(307)上にサンプル点として配置する。この結果、図3(b)に示す特徴量表現空間である類似度MAP1(307)を作成できる。

類似度MAP1(307)の観測類似度A(309)は既知観測条件(300)の観測A(303)と紐づいている。同様に観測類似度B(309)は観測B(304)、観測類似度C(310)は観測C(305)、そして観測類似度D(311)は観測D(306)と紐づいている。

類似度MAP1(307)の各観測類似度間の配置距離が、観測条件の相対的な類似度を表している。観測類似度間の距離が近いほど観測条件が似ていることを意味する。観測類似度間の距離が離れているほど観測条件が似ていないことを意味する。つまり、特徴量数値への変換により、既知観測条件300が類似度MAP1(307)上に配置されることになる。そして、各観測条件間の距離は、それぞれの相対的な類似度を示す数値で表現可能となる。

例えば、観測類似度A(308)と観測類似度D(311)は類似度MAP1(307)において距離が近いことからお互いの観測条件が似ていることを意味する。つまり、観測条件の類似度が低い。

また、観測類似度A(308)と観測類似度C(311)は類似度MAP1(307)において距離が離れていることからお互いの観測条件が似ていないことを意味する。つまり、観測条件の築地度が高い。なお、観測条件が似ている・似ていない、類似度が高い・低いとは、類似度MAP内での相対的な判断でもよいし、予め定めた基準値と比較した結果としてもよい。また、相対的な判断の場合、各観測類似度間の距離を算出し、それらのうち、上位もしくは下位で判断できる。

次に、図4は、既知観測画像400のクラス化および類似度MAPへの配置処理を示す図である。ここで、図4(a)は、クラス化された既知観測画像400を示す。図4(a)では、既知観測画像400には、図3に示した既知観測条件300に基づいて観測した複数枚の画像401が既知観測条件300のグループ毎に分類されている。つまり、クラス化されている。

同図では既知観測画像400として観測A(403)、観測B(404)、観測C(405)および観測D(406)が4個含まれる。
既知観測画像400のそれぞれには、対象とする検出物体の観測像402が映り込んでいるものとする。また、この既知観測画像400は、図3(a)に示した既知観測条件300のいずれかの観測条件に紐づいているものとする。例えば、既知観測画像400の観測A(403)は既知観測条件300の観測A(303)に紐き、既知観測画像400の観測B(404)は既知観測条件300の観測A(304)に紐づいている、などである。

そして、既知観測画像400を、特徴量数値に変換し、図4(b)に示す類似度MAP2(407)を得られる。ここで、特徴量数値への変換としては、例えば、観測A～観測D(403～406)で保持する各画像の画素データ列(輝度値)をManhattan距離演算で相対的な類似度を表す特徴量数値に変換することが挙げられる。Manhattan距離演算で得た特徴量数値は、水平距離と垂直距離の2次元ベクトル成分で表現可能であるため2次元の類似度MAP2(407)上にサンプル点411として配置する。特徴量数値のサンプル点411は、既知観測画像400に保持している数と同数個が配置される。このことで、既知観測画像400を、類似度MAP2(407)上に配置できる。

図4(b)に示す類似度MAP2(407)の観測類似度A(408)のサンプル点は、既知観測画像400の観測A(403)の画像グループと紐づいている。同様に観測類似度B(409)は観測B(404)、観測類似度C(410)は観測C(405)、そして観測類似度D(411)は観測D(406)と、それぞれの画像グループと紐づいている。

類似度MAP2(407)の各観測類似度間の配置距離が観測画像の相対的な類似度を表している。観測類似度間の距離が近いほど観測画像が似ていることを意味する。観測類似度間の距離が離れているほど観測画像が似ていないことを意味する。つまり、観測類似度間の距離が、既知観測画像400の類似度を示すことになる。例えば、観測類似度A(408)と観測類似度D(411)は類似度MAP2(407)において距離が近いことからお互いの観測画像が似ていることを意味する。また、観測類似度B(409)と観測類似度D(411)は類似度MAP2(407)において距離が離れていることからお互いの観測画像が似ていないことを意味する。なお、似ている・似ていないとは、類似度が高い・低いとは、類似度MAP内での相対的な判断でもよいし、予め定めた基準値と比較した結果としてもよい。また、相対的な判断の場合、各観測画像間の距離を算出し、それらのうち、上位もしくは下位で判断できる。

次に、図5は、未知観測条件500のクラス化および類似度MAPへの配置処理を示す図である。このうち、図5(a)では未知観測条件500として観測Z(503)があるものとする。未知観測条件500とは、新たに観測を行う場合の新規観測条件である。このため、新規観測条件には、観測位置などの条件が過去に実施した既知観測に存在しないことがほとんどである。

未知観測条件500のクラス化は、新規観測条件の各パラメータについて予め設定された項目や数値範囲を分類して、その分類後の項目や数値範囲に所定の分類コード(クラス)を割り当てる処理のことである。この結果、図5(a)に示す観測Z(503)についてクラス化したデータ列を得られる。そして、このデータ列に対して、特徴量数値に変換する。例えば、Manhattan距離演算で相対的な類似度を表す特徴量数値に変換する。Manhattan距離演算で得た特徴量数値は、水平距離と垂直距離の2次元ベクトル成分で表現可能である。このため、これらを2次元上にサンプル点として配置することで、図5(b)に示す類似度MAP3(504)が得られる。ここで、図5(b)の類似度MAP3(504)は、図3(b)に示す類似度MAP1(307)上に、観測類似度Z(509)を追加することになる。

ここで、図5(b)に示すように、類似度MAP3(504)の観測類似度Z(509)は未知観測条件500の観測Z(503)と紐づいている。ここで観測類似度A～D(505～508)は、図3(b)の類似度MAP1(307)に示した既知観測条件300の観測類似度と同じものとする。

類似度MAP3(504)の各観測類似度間の配置距離が観測条件の相対的な類似度を表している。観測類似度間の距離が近いほど観測条件が似ていることを意味する。観測類似度間の距離が離れているほど観測条件が似ていないことを意味する。これは、図3を用いて説明した既知観測条件300と同様である。

未知観測条件500の観測類似度Z(509)は、未知観測条件500の観測類似度A(505)およびD(508)と観測条件が似ていることを意味しており、既知観測条件の抽出候補として観測類似度A(505)およびD(508)を選択する。なお、観測類似度A(505)およびD(508)は、既知観測条件300の観測類似度A(308)およびD(311)と対応している。

物体観測において観測条件が類似している条件下では、取得する観測画像も相対的に類似する傾向があり、画像特徴差も小さくなると考えられる。そこで、この特性を利用して、新規に実施する未知観測条件500と既知観測条件300を比較して両者が類似する既知観測条件300を抽出する。そして、抽出した既知観測条件と紐づいている既知観測画像400を取得する。なお、類似するとは、一定条件を満たすことを意味する。

ここで、取得した既知観測画像400は、未知観測条件500が示す環境下で取得した観測画像と類似する傾向が高いと考えられる。このため、未知観測条件500が示す環境下の観測に対応した識別モデル学習の学習画像利用に適している。

これに準じて、類似度MAP3(504)から選択した未知観測条件500の観測類似度A(505)およびD(508)は、観測類似度Z(509)と観測条件が似ている（類似度が高い）。このため、観測類似度A(505)およびD(508)に紐づいている既知観測画像400の観測A(403)および観測D(406)を未知観測条件500が示す環境下の観測に対応する識別モデル学習の学習画像として利用する。

次に、図6は、本実施例における未知観測条件500から既知観測画像400を抽出する方法の一例を示す図である。

図5において未知観測条件500の観測Z(503)から既知観測画像400の観測A(403)および観測D(406)を抽出する例を示した。

図6(a)は、類似度MAP2(407)の既知観測画像400の観測A(403)および観測D(406)にそれぞれ紐づいている観測類似度A(601)および観測類似度D(604)の各サンプル点(606)を選択(605)した例である。つまり、画像グループAと画像グループDの画像群を抽出している。図6(a)中、各サンプル点は、既知観測画像400を特徴量変換して類似度MAP4a、4b(600、607)に配置されている。即ち、観測類似度A(601)および観測類似度D(604)の各サンプル点(606)を選択(605)することは、既知観測画像の観測A(403)および観測D(406)が保有する各画像を選択して抽出することを意味する。この画像抽出方法は、識別モデル学習に使用する画像数をできるだけ確保したい場合の処理として効果がある。

図6(b)は、既知観測画像の類似度を示す類似度MAP4b(607)の観測類似度A(608)および観測類似度D(611)のサンプル点のうち、両者の中でも類似度が高いサンプル点を選択(サンプル点613)した例である。つまり、画像グループAと画像グループDの中で類似度が高い画像群を抽出している。この類似度が高いとは、予め定められた基準より屡次度が高いことや、各サンプル点において、類似度の値が上位何件など所定条件を満たすことを示す。この画像抽出方法は、識別モデル学習に使用する画像について、観測類似度A(608)および観測類似度D(611)のサンプル点の中でも可能な限り更に類似度の高い画像だけを確保して識別精度向上を図りたい場合の処理として効果がある。

別の例として、類似度MAP4b(607)の観測類似度A(608)および観測類似度D(611)のサンプル点のうち、類似度の高いサンプル点を中心に一定数を抽出するようにしても良い。

さらに別の例として、以下のことがある。類似度MAP(607)の観測類似度A(608)および観測類似度D(611)のサンプル点のうち、両者から選択するサンプル点数の比率(等分を含む)を予め任意設定しておくなどして設定した比率に基づいてサンプル点数を抽出するようにしても良い。

図7は、学習用画像グループ抽出部105の処理例を示す図である。学習用画像グループ抽出部105では、類似度MAPで選択した観測類似度のサンプル点のうち類似度の高いサンプル点を中心に一定数を分割抽出する処理を実施する。ここで、類似度の高いとは、類似度が所定の条件を満たすものを示す。この例として、類似度の数値が所定値以上の場合などがふくまれる。

本実施例では、類似度の高い一定数のサンプル点を抽出するため、まず予めサンプル点の分割グループ数を設定する。ここでは、分割グループ数=3(729)に設定した例で説明する。分割グループ数=3の意図は、以下の3種類の分割グループ数を設定することを示す。
・類似度MAP4b(607)の観測類似度A(608)および観測類似度D(611)の中から類似度の高いサンプル点(613)のグループ
・観測類似度A(608)から類似度の高いサンプル点(613)を除いたサンプル点のグループ
・観測類似度D(611)から類似度の高いサンプル点(613)を除いたサンプル点のグループ
同図で示す例では、概要説明のため入力サンプル点数を11個とし、また図6などで示すように、2次元で表現した類似度を演算簡素化のため1次元類似度に変化して処理を行う。まず、学習用画像グループ抽出部105は、11個の観測類似度サンプル点(既知観測画像400の類似度の数値)のそれぞれを初期重心点として1次元の距離相関軸上に配置する(処理730)。ここで、同図の距離相関軸729は、サンプル点が左側に寄るほど類似度が高くなり、サンプル点が右側に寄るほど観測類似度が低くなることを表現している。図に示す11個のサンプル点について、総当たりで特徴量距離値を調べて距離の近いサンプル点同士を集めてグループ化する。ここでは、予め設定した分割グループ数＝3個に従い、3個のグループを形成するものとする。つまり、サンプル点1から4をグループ1(702)、サンプル点5から8をグループ2(703)、サンプル点9から11をグループ3(704)が形成したものとする(処理731)。

次に、学習用画像グループ抽出部105は、各グループが保有するサンプル点の類似度数値の平均値を求めて、この平均値を各グループの重心点J1、J2、J3(704、705、706)として配置する(処理732)。

次に、学習用画像グループ抽出部105は、各サンプル点と3個の重心点J1、J2、J3(704、705、706)との距離の長さを比較する。つまり、距離のいずれが短いかを判断する。そして、学習用画像グループ抽出部105は、個々のサンプル点が所属グループの重心点との距離よりもグループ以外の重心点との距離が短い場合は、所属グループをより短いグループに変更する。例えば、処理(732)におけるグループ2(703)に属するサンプル点5が、グループ2(703)の重心点よりもグループ1(702)の重心点の距離が短い場合、サンプル点5の所属グループをグループ1(702)に変更(707)する(処理733)。

学習用画像グループ抽出部105は、このような各グループが保有するサンプル点の類似度数値の平均値を求める。そして、学習用画像グループ抽出部105は、この平均値を各グループの重心点J1、J2、J3(713、714、715)として配置する(処理734)。

ここで、処理732の3個の重心点J1、J2、J3(704、705、706)と処理733の3個の重心点J1、J2、J3(713、714、715)において距離相関軸上の位置変化が生じた場合(708、709)がある。この場合、学習用画像グループ抽出部105は、再び各サンプル点と3個の重心点J1、J2、J3(713、714、715)との距離を比較する。そして、この結果に応じて、処理733を同様の処理を行う。例えば、学習用画像グループ抽出部105は、処理(734)においてグループ2(711)のサンプル点8がグループ3(712)の重心点の距離がより短い場合、サンプル点8の所属をグループ3(712)に変更(716)する(処理735)。

続いて、学習用画像グループ抽出部105は、再度各グループが保有するサンプル点の類似度数値の平均値を求める。そして、学習用画像グループ抽出部105は、この平均値を各グループの重心点J1、J2、J3(717、718、719)として配置する(処理736)。

以後、同様に各グループの重心点位置計算と、同重心点と各サンプル点の距離相関に応じた所属グループ変更の操作を3個の重心点位置の変更が生じなくなるまで繰り返す。

学習用画像グループ抽出部105は、処理734と処理736で、3個の重心点位置が同一となったので、分割抽出の処理を終了する(処理737)。

また、学習用画像グループ抽出部105は、処理737において、距離相関軸上で最も左寄りのグループ1(723)の観測された類似度が高いため、グループ1(723)が保有するサンプル点を分割抽出出力として確定する。ここで、類似度が高いとは、類似度の数値が所定数値を満たすことで、上述した例が含まれる。

そして、学習用画像グループ抽出部105は、グループ1(723)の各サンプル点に紐づく既知観測画像400は識別モデル学習部106の学習画像として出力する。以上で、図７の説明を終了する。

次に、図8は、本実施例における識別モデル学習部106で実施するノイズ低減処理例を示す図である。本実施例の水中の物体検出においては、空中に比べて観測の送出信号減衰が大きいため受信信号にノイズ成分が混入しやすくなる傾向がある。このノイズ成分に対応するために、識別モデル学習部106への入力画像にノイズ除去のための前処理を実行する。ここで、図8(a)は、識別モデル学習で使用する学習用元画像800の例である。学習用元画像800には検出物体801と背景ノイズ802が映り込んでいる。また、図8(b)は、学習用元画像に対して、色調補正処理を実行する例である。図8(b)では、検出物体804と背景ノイズ805の信号レベル差が最大となるように画像803の色調補正処理を実行する。補正後色調が破綻(輝度レンジ外)しないように補正範囲は予め限定するようにしても良い。このため、図8では、図8(a)の背景ノイズ802に比べ、図8(b)の背景ノイズ805の色が抜けているように表現している。

図8(c)、図8(d)および図8(e)は、図8(b)の色調補正された画像に対して、背景ノイズ除去の調整処理を行った例である。このために、画像フィルタリング処理で信号レベルの低い(輝度値が低い)領域を画像から削除する。画像フィルタリング処理は画素毎に実行しても良いし、所定画素範囲を区切りながら処理しても良い。また、ラベリング処理を利用して背景ノイズ位置候補を判別しながら処理しても良い。

画像フィルタリング処理では、背景ノイズとして除去する信号レベルのしきい値(輝度値)を設定する。しきい値は可変である。設定したしきい値に応じて背景ノイズ除去量が変化する(806、807、808)。最終的には、これらの中で最も背景ノイズが除去されて検出物体だけが残った画像(図8(e)の812)を選択して出力する。なお、図8(c)～図8(e)に示す例では、背景ノイズの数が最も少ない図8(e)を選択している。但し、背景ノイズの除去の基準として、数以外を用いてもよい。例えば、背景ノイズの色ないし輝度が最も少ない画像を選択してもよい。以上で、図8の説明を終了する。

次に、図9は、本実施例の基本処理フロー例の図である。本図は、図1～図8を用いて説明した処理の内容をまとめたものである。このため、図9の各ステップの詳細等は、図1～図8で説明した内容である。

まず、既知観測条件特徴量化部102が、既知観測データベース100から既知観測条件300を取得して既知観測条件300をクラス化する(ステップS901)。

次に、既知観測条件特徴量化部102が、クラス化された観測条件のパタン列を特徴量化する。そして、既知観測条件特徴量化部102が、既知観測条件300の類似度MAP1(309)上に配置する(ステップS902)。なお、本実施例では、類似度MAP上への配置を行うが、何らかの特徴量化が行われ、各類似度が算出できるような処理であればよい。

また、既知観測画像特徴量化部103が、既知観測データベース100から既知観測画像400を読出し、このデータ列を特徴量化する。そして、既知観測画像特徴量化部103は、既知観測画像400の類似度MAP2(408)上に配置する(ステップS903)。

次に、未知観測条件500特徴量化部104が、未知観測データベース101から未知観測条件500を取得して、未知観測条件500をクラス化する(ステップS904)。

次に、未知観測条件特徴量化部104は、未知観測条件500をクラス化したパタン列を特徴量化する。そして、未知観測条件特徴量化部104は、未知観測条件500の類似度MAP3(504)上に配置する(ステップS905)。本ステップにおいても、MAP化することは必須ではない。

さらに、学習用画像グループ抽出部105は、未知観測条件500と類似度の高い既知観測条件300を選択する(ステップS906)。ここで、類似度の高いとは、上述のとおり、その数値が所定条件を満たすことを意味する。

また、学習用画像グループ抽出部105は、選択した既知観測条件300に紐づく観測画像群から類似度の高い観測画像グループを抽出する(ステップ907)。ここで、類似度の高いとは、上述のとおり、その数値が所定条件を満たすことを意味する。

次に、識別モデル学習部106は、識別モデル学習を実行する。この際、識別モデル学習に入力する画像に対し、前処理としてノイズ低減処理を実施する(ステップS908)。

そして、識別モデル学習部106は、識別モデル学習結果として出力した識別モデルを、未知地点観測用の識別器として使用する(ステップS909)。

次に、図10、図11Aおよび図11Bを用いて、本実施例を適用した物体検出システムの運用形態を説明する。図10は、物体検知システムの概略構成および処理概要の一例を示す図である。また、図11Aおよび図11Bは、物体検知システムのシステム構成図である。そして、図10(a)と図10(b)は、それぞれ図11Aと図11Bに対応している。ここで、本実施例の物体検出システムの運用例として水中に存在する物体の探索に利用することができる。例えば、超音波による水底に沈んでいる沈没船などの人工物の探索に利用できる。また、超音波による魚群探知にも利用できる。

図10(a)および図11Aは、物体検出システムの第1の運用形態を示す。第1の運用形態では、物体検出処理に必要な装置を船舶などの水上移動体11に設置して識別処理を実施する例である（図11A参照）。まず、図10(a)を用いて、その概要を説明する。本例では、探索信号送受信装置1000が、図1～図9を用いて説明した識別モデルを生成するものとする。つまり、探索信号送受信装置1000が、物体検出用識別モデル生成装置として機能する。

ここで、探索信号送受信装置1000は、水中への超音波送信および反射信号受信を行う。そして、PC1002が反射信号を観測画像として可視化変換する。但し、超音波送信、反射信号受信を、探索信号送受信装置1000で行い、識別モデルの生成は、物体検出用識別モデル生成装置との別装置で行ってもよい。

また、PC1002は、可視化変換した観測画像は画像蓄積装置1001に記録保存する。この際、探索信号送受信装置1000は、既知観測条件300および既知観測画像400を記録する。すなわち、観測画像を入力としてPC1002で、物体検出、つまり、識別処理を行う。

探索信号送受信装置1000もしくはPC1002は、上述した本実施例で生成した識別モデルは物体検出プログラム1005に組み込む。そして、PC1002は、物体検出プログラム1005を用いて物体検出処理を実行する。そして、PC1002は、物体検出プログラム1005を用いた物体検出処理での識別結果を、モニタ1003へ表示する。なお、モニタ1003は、PC1002と一体で構成してもよい。また、PC1002は、識別結果画像を既知観測条件300および既知観測画像と関連付けを行った状態で識別結果蓄積装置1004に蓄積する。画像蓄積装置1001と識別結果蓄積装置1004は、同一の蓄積装置に集約しても良い。

次に、図11Aに、図10(a)に示す物体検出システムの第1の運用形態におけるシステム構成を示す。本例では、水上移動体11に各種装置が設けられている。つまり、水上移動体11に、探索信号送受信装置1000、PC1002、画像蓄積装置1001、識別結果蓄積装置1004およびソナー117が互いに接続されている。ソナー117は、探索信号送受信装置1000からの制御信号に応じて、水中へ超音波を発振し、その反射信号を受信する。そして、探索信号送受信装置1000は、この反射信号を受信する。

また、探索信号送受信装置1000は、いわゆるコンピュータで実現される。このため、探索信号送受信装置1000は、各種演算を行う処理部110、HDD、SSDやその他記憶媒体で実現可能な記憶部111および各種情報を入出力する入手力部112を有し、これらが互いに接続されている。

ここで、各種演算を行う処理部110は、いわゆるCPUで実現され、各種コンピュータプログラムに従った演算、処理を実行する。本実施例では、処理部110は、上述の既知観測条件特徴量化部102、既知観測画像特徴量化部103、未知観測条件特徴量化部104、学習用画像グループ抽出部105および識別モデル学習部106を有する。これらの処理は、上述のとおりであり、それぞれハードウエアもしくはプログラムとして実現される。また、これらが、プログラムで実現される場合、各プログラムは、記憶部111に格納され、図示しないメモリなどに展開され、処理部110でその処理が実行される。

また、画像蓄積装置1001は、上述の既知観測条件300、既知観測画像400、未知観測条件500を格納する。そして、画像蓄積装置1001は、類似度MAP113および識別結果画像114を格納する。ここで、類似度MAP113は、図3～図6で説明したものである。

さらに、識別結果蓄積装置1004は、上述の既知観測条件300、既知観測画像400、未知観測条件500を格納する。そして、識別結果蓄積装置1004は、識別結果画像115や探索信号識別プログラム116が格納される。なお、画像蓄積装置1001と識別結果蓄積装置1004は一体であってもよいし、重複する情報は一方に格納する構成としてもよい。

次に、図10(b)および図11を用いて、物体検出システムの第2の運用形態を示す。

第2の運用形態は、物体検出処理に必要な装置をクラウド運用システムとしてネットワーク上に設置して識別処理を実施する例である。クラウドは、インターネット経由でコンピューティング、データベース、ストレージ、アプリケーションなどの様々な IT リソースをオンデマンドで利用する実行形態のことである。

まず、図10(b)を用いて、第2の運用形態の概要を説明する。図10(b)において、探索信号送受信装置1000は、第1の運用形態と同様の機能を有する。可視化変換した画像はホストPC1013とネットワーク1007上の制御PC1008を介して画像蓄積装置1001に記録する。本実施例で生成された識別モデルは、探索信号送受信装置1000ないし制御PC1008により、物体検出プログラム1005に組み込まれる。そして、サブPC1010が、物体検出プログラム1005を実行する。なお、サブPC1010は、複数台設置して物体検出処理を並列実行するようにしても良い。サブPC1010は、識別結果を入力の観測画像と関連付けを行った状態で識別結果蓄積装置1004に蓄積する。さらに、識別結果は、ホストPC1013により、モニタ1014へ表示する。なお、モニタ1014は、ホストPC1013と一体であってもよい。

次に、第2の運用例のシステム構成を図11Bに示す。図11Bにおいて、探索信号送受信装置1000、ホストPC1013およびモニタ1014は、船舶などの水上移動体11に設置する。また、制御PC1008、画像蓄積装置1001、サブPC1010および識別結果蓄積装置1004はクラウド上、つまり、ネットワーク1007上に設置する。なお、水上移動体11とネットワーク1007は、無線でつながっているが、有線でもよい。

また、探索信号送受信装置1000を含む各構成の機能は、第1の運用形態と同様である。例えば、画像蓄積装置1001および識別結果蓄積装置1004への記録に際し、識別結果画像、既知観測条件300および既知観測画像と相互に関連付けを行った状態で保存することは第1の運用形態と同じである。

以上の本実施例では、過去に実施済の既知観測条件と新規に実施する未知観測条件の所定パラメータ列の類似度を比較して類似度の高い既知観測条件を選択する。そして、同既知観測条件に紐づいている既知観測画像グループを適応的に抽出して識別モデル学習に使用する手順を実行する。このため、本実施例では、過去に取得済の既知観測画像を使用した機械学習によって未知環境に対応可能な物体検出識別モデルを生成することが可能になる。即ち、識別モデル学習過程で未知環境の画像データを新規に準備する必要がなくなるというメリットがある。

１００既知観測データベース
１０１未知観測データベース
１０２既知観測条件特徴量化部
１０３既知観測画像特徴量化部
１０４未知観測条件特徴量化部
１０５学習用画像グループ抽出部
１０６識別モデル学習部
１０７物体検出用識別モデル

Claims

所定環境下を観測することで、物体を検出するための機械学習を用いた物体検出用識別モデル生成装置において、
前記物体の検出のための観測を行う場合の観測条件である未知観測条件を特徴量化する未知観測条件特徴量化部と、
記憶装置に記憶されている複数の既知観測条件を特徴量化する既知観測条件特徴量化部と、
記憶装置に記憶されている複数の既知観測画像を特徴量化する既知観測画像特徴量化部と、
特徴量化された前記既知観測条件のうち、特徴量化された前記未知観測条件と所定の対応関係を有する既知観測条件を特定し、特定された既知観測条件に対応する観測画像であって、特徴量化された既知観測画像を抽出する学習用画像グループ抽出部と、
抽出された前記既知観測画像を学習データとした機械学習により、前記未知観測条件での観測による物体検出に用いる物体検出用識別モデルを生成する識別モデル学習部とを有する物体検出用識別モデル生成装置。
請求項１に記載の物体検出用識別モデル生成装置において、
前記所定の対応関係は、類似度の数値が所定の条件を満たすことを示す物体検出用識別モデル生成装置。
請求項２に記載の物体検出用識別モデル生成装置において、
前記類似度の数値が予め定めた基準値以上である場合に、前記所定の条件を満たすと判断する物体検出用識別モデル生成装置。
請求項２に記載の物体検出用識別モデル生成装置において、
前記未知観測条件特徴量化部は、前記未知観測条件に対してクラス化を行い、クラス化された前記未知観測条件を、当該未知観測条件の相対的な類似度を示す類似MAP上に配置し、
前記既知観測条件特徴量化部は、前記既知観測条件に対してクラス化を行い、クラス化された前記既知観測条件を、前記類似MAP上に配置する物体検出用識別モデル生成装置。
請求項１乃至４のいずれかに記載の物体検出用識別モデル生成装置において、
前記物体は、水中に存在する物体であって、
前記識別モデル学習部は、未知観測条件により観測される未知入力画像に対して、ノイズ除去のための前処理を実行する物体検出用識別モデル生成装置。
所定環境下を観測することで、物体を検出するための機械学習を用いた物体検出用識別モデル生成装置をコンピュータとして機能させるプログラムにおいて、
前記物体検出用識別モデル生成装置を、
前記物体の検出のための観測を行う場合の観測条件である未知観測条件を特徴量化する未知観測条件特徴量化部と、
記憶装置に記憶されている複数の既知観測条件を特徴量化する既知観測条件特徴量化部と、
記憶装置に記憶されている複数の既知観測画像を特徴量化する既知観測画像特徴量化部と、
特徴量化された前記既知観測条件のうち、特徴量化された前記未知観測条件と所定の対応関係を有する既知観測条件を特定し、特定された既知観測条件に対応する観測画像であって、特徴量化された既知観測画像を抽出する学習用画像グループ抽出部と、
抽出された前記既知観測画像を学習データとした機械学習により、前記未知観測条件での観測による物体検出に用いる物体検出用識別モデルを生成する識別モデル学習部として機能させるプログラム。
請求項６に記載のプログラムにおいて、
前記所定の対応関係は、類似度の数値が所定の条件を満たすことを示すプログラム。
請求項７に記載のプログラムにおいて、
前記類似度の数値が予め定めた基準値以上である場合に、前記所定の条件を満たすと判断するためのプログラム。
請求項７に記載のプログラムにおいて、
前記未知観測条件特徴量化部が、前記未知観測条件に対してクラス化を行い、クラス化された前記未知観測条件が、当該未知観測条件の相対的な類似度を示す類似MAP上に配置し、
前記既知観測条件特徴量化部が、前記既知観測条件に対してクラス化を行い、クラス化された前記既知観測条件を、前記類似MAP上に配置するためのプログラム。
請求項６乃至９のいずれかに記載のプログラムにおいて、
前記物体は、水中に存在する物体であって、
前記識別モデル学習部が、未知観測条件により観測される未知入力画像に対して、ノイズ除去のための前処理を実行するためのプログラム。