WO2020105225A1 - 機械学習方法、学習済みモデル、制御プログラム、および物体検知システム - Google Patents

Abstract

【課題】物体の検知を高精度で行う機械学習方法、学習済みモデル、制御プログラム、および物体検知システムを提供する。 【解決手段】対象物までの距離値を示す複数の画素で構成された原距離画像の検出対象部分に含まれる少なくとも一部の画素の距離値を異常値に変更する加工が行われた加工距離画像を入力とし、出力を検出対象部分に付与したラベルと、原距離画像として教師あり学習を行うことにより、学習済みモデルを構築する。そして学習済みモデルを用いた物体検知用の制御プログラム、および物体検知システムとする。

Description

機械学習方法、学習済みモデル、制御プログラム、および物体検知システム

　本発明は、機械学習方法、学習済みモデル、制御プログラム、および物体検知システムに関する。

　近年、測定空間内の侵入者や車両を検出する目的で、レーザーレーダーなどのＴｏＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）方式を用いた測定器で検出した距離画像の中から物体を検出する物体検出システムが使用されている。ここで、距離画像とは、２次元座標に物体までの距離値をマッピングしたものである。距離画像から移動体を含む画素を抽出する方法としては、特許文献１にも記載されるように、計測結果である距離画像と予め取得しておいた背景画像（つまり、移動体が存在しない状態の距離画像）とを比較して距離に差がある画素を抽出する方法が知られている。

　ところで、レーザーレーダーは、照射したレーザー光が対象物で反射され受光部に戻ってくるまでの時間を計測することにより対象物までの距離値を取得している。そのため、対象物が鏡面であることで全反射する場合や、物体表面が黒色であること等により吸収成分が多かったりする場合は、受光部にレーザー光が十分に戻ってこず、対象物までの距離値を取得することができない。例えば、雨が降ることにより道路表面にできた水たまりや、光沢のある黒色の車両では、十分な反射光量が得られずに距離値を取得できない。

　特許文献２では、照射したレーザー光の反射光量が得られない照射角度を抽出し、その照射角度には、黒い車両等の移動物体が存在すると判断する物体検出ユニットが開示されている。また、この特許文献２では、さらに、踏切を跨ぐ横断路の四隅に、複数の物体検出ユニットを互いの検知領域が重複するように配置する構成も開示されており、この構成では、それぞれの物体検出ユニットから得られた検出結果を突き合わせることで、移動物体の形状を推定している。

特開２００５－３００２５９号公報 特開２００７－１２６０２５号公報

　しかしながら、特許文献２では、黒い車両等が存在する方向（照射角度）を得ることはできるが、その物体までの距離値や形状を検知できない。距離値や形状を検知するためには、横断道路の４隅に配置した複数の物体検出ユニットからの検出結果を突き合わせる必要があり、特定の場所にしか適用できず、また、装置が大がかりになる。

　本発明は、上記事情に鑑みてなされたものであり、黒い車両などの反射波が得られない物体であっても、精度よくその物体を検知できる機械学習方法、学習済みモデル、制御プログラム、および物体検知システムを提供することを目的とする。

　本発明の上記目的は、下記の手段によって達成される。

　（１）コンピューターが行う機械学習方法であって、
　対象物までの距離値を示す複数の画素で構成された距離画像を取得し、該距離画像をオリジナルの原距離画像とした場合に、該原距離画像から、所定の検出対象物が含まれる検出対象部分を抽出するとともに、前記検出対象部分に、前記検出対象物に対応するラベルを付与するステップ（ａ）と、
　前記原距離画像に対して、該原距離画像の前記検出対象部分に含まれる少なくとも一部の画素の距離値を異常値に変更する加工が行われた加工距離画像を取得するステップ（ｂ）と、
　入力を前記加工距離画像、出力を、前記ラベルと前記原距離画像として教師あり学習を行うことにより、入力された距離画像から所定の前記検出対象物が含まれる検出対象部分を抽出し、抽出した該検出対象部分の少なくとも一部の画素の距離値を他の距離値に置換した距離画像を出力するための学習済みモデルを構築するステップ（ｃ）と、
を含む、機械学習方法。

　（２）前記検出対象物には、人物、車両、および機械の少なくとも１つを含む、上記（１）に記載の機械学習方法。

　（３）画素の前記異常値は、無限遠値、もしくは無限遠を示す識別値、または有限距離のノイズ値である、上記（１）、または上記（２）に記載の機械学習方法。

　（４）複数の前記原距離画像は、それぞれ複数の異なる天候条件下で生成された距離画像を含む、上記（１）から上記（３）のいずれかに記載の機械学習方法。

　（５）対象物までの距離値を示す複数の画素で構成された距離画像から所定の検出対象物が含まれる検出対象部分を抽出するとともに、該検出対象部分の画素の距離値を他の距離値に置換するよう、コンピューターを機能させるための学習済みモデルであって、
　前記距離画像をオリジナルの原距離画像とした場合に、該原距離画像から、所定の検出対象物が含まれる検出対象部分を抽出するとともに、前記検出対象部分に前記検出対象物に対応するラベルを付与し、
　前記原距離画像に対して、該原距離画像の前記検出対象部分に含まれる少なくとも一部の画素の距離値を異常値に変更する加工が行われた加工距離画像を取得し、
入力を前記加工距離画像、出力を、前記ラベルと前記原距離画像として教師あり学習された学習済みモデル。

　（６）物体検知用の制御プログラムであって、
　上記（５）の学習済みモデルであって、入力された距離画像から所定の検出対象物が含まれる検出対象部分を抽出し、抽出した該検出対象部分の少なくとも一部の画素の距離値を他の距離値に置換した距離画像を出力するための学習済みモデルを読み込むステップ（ａ）と、
　距離画像を取得するステップ（ｂ）と、
　前記学習済みモデルを用い、取得した距離画像から、前記検出対象部分を抽出するステップ（ｃ）と、
　前記検出対象部分に含まれる画素において、異常値を示す画素を抽出するステップ（ｄ）と、
　前記抽出した異常値を示す画素について、前記学習済みモデルを用いて、距離値を置換するステップ（ｅ）と、
　前記距離値を置換した距離画像を出力するステップ（ｆ）と、
を含む処理をコンピューターに実行させるための制御プログラム。

　（７）前記ステップ（ｄ）は、前記学習済みモデルを用いて行う、上記（６）に記載の制御プログラム。

　（８）前記ステップ（ｆ）では、表示部に置換した前記距離画像に基づく画像を表示する、上記（６）、または上記（７）に記載の制御プログラム。

　（９）前記ステップ（ｂ）で取得した前記距離画像は、撮影領域を撮影し、対象物までの距離値を示す複数の画素で構成された距離画像を生成する距離画像撮影装置から取得した距離画像であり、
　前記処理は、さらに、前記ステップ（ｅ）で置換した置換処理後の前記距離画像を用いて、前記検出対象物の前記撮影領域における位置情報に基づく異常判定を行うステップ（ｇ）を含む、上記（６）から上記（８）のいずれかに記載の制御プログラム。

　（１０）撮影領域を撮影し、対象物までの距離値を示す複数の画素で構成された距離画像を生成する距離画像撮影装置と、
　前記距離画像撮影装置が、生成した距離画像を、上記（５）に記載の学習済みモデルを用いて処理し、距離画像から所定の検出対象物が含まれる検出対象部分を抽出して、抽出した該検出対象部分の画素の距離値を他の距離値に置換した置換処理後の距離画像を生成する対象領域変換部と、
　置換処理後の前記距離画像を用いて、前記検出対象物の前記撮影領域における位置情報に基づく異常判定を行う、距離情報解析部と、
　前記距離情報解析部で、前記異常判定がなされた場合に、発報情報を出力する出力部と、
を備える物体検知システム。

　（１１）前記距離情報解析部は、前記撮影領域内の所定領域へ、前記検出対象物が侵入した場合に、前記異常判定を行う、上記（１０）に記載の物体検知システム。

　（１２）前記距離情報解析部は、前記撮影領域内における、所定の対象物の移動方向、または移動速度に基づいて、前記異常判定を行う、上記（１０）、または上記（１１）に記載の物体検知システム。

　（１３）前記出力部は、前記撮影領域内に設けられた警報装置、または、前記撮影領域を管理する管理者の端末にアラート情報を出力する、上記（１０）から上記（１２）のいずれかに記載の物体検知システム。

　本発明に係る機械学習方法においては、原距離画像の検出対象部分に含まれる少なくとも一部の画素の距離値を異常値に変更する加工が行われた加工距離画像を入力とし、出力を検出対象部分に付与したラベルと、原距離画像として教師あり学習を行うことにより、学習済みモデルを構築する。そして学習済みモデルを用いた物体検知用の制御プログラム、および物体検知システムとすることで、物体の検知を高精度で行える。

本実施形態に係る物体検知システムの構成を示すブロック図である。 距離画像撮影装置の概略構成を示す断面図である。 車両が通行する道路上が測定空間となるように距離画像撮影装置を配置した状態を示す模式図である。 学習済みモデルの学習に用いる距離画像データを生成する手順を示すフローチャートである。 原距離画像、および原距離画像から生成した加工距離画像を説明するための模式図である。 学習済みモデルの機械学習方法の処理を示すフローチャートである。 学習済みモデルを用いた物体検知処理を示すフローチャートである。 置換処理前の距離画像１、および置換処理後の距離画像２を示す模式図である。

　以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

　図１は、物体検知システム１０の主要構成を示すブロック図である。物体検知システム１０は、距離画像撮影装置１００、解析装置２００、および出力部３００を備える。

　距離画像撮影装置１００は、ＴｏＦ方式により、物体までの距離を測定する。より具体的には、複数の方位に向けた送信波を、測定空間に向けて照射してから、この送信波の対象物からの反射波を受信するまでの時間間隔により各方位における物体までの距離を測定する。距離画像撮影装置１００は、例えば、赤外線（８００～１０００ｎｍ程度）のレーザー光を用いたライダー（ＬｉＤＡＲ：Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）である。ライダーを用いることで、高い分解能で物体までの距離を測定できる。本実施形態では、ライダーを距離画像撮影装置１００として用いるものとして説明する。

　解析装置２００は、学習済みモデル２９０を用いて、距離画像撮影装置１００から取得した距離画像から特定の対象物を認識する。また、解析装置２００は、認識した対象物の位置、移動方向、または移動軌跡により、アラート判定を行い、判定結果を出力部３００に送る。例えば、距離画像撮影装置１００の撮影領域内に設定した所定領域（立入禁止領域）に対象物が侵入した場合には、アラート判定を行う。そして解析装置２００はアラート判定を行うことにより、出力部３００にアラートを行う。

　出力部３００は、距離画像撮影装置１００の撮影領域（監視領域）の内部、または周辺に配置されたスピーカー、または液晶ディスプレイ等で構成されたデジタルサイネージである。アラート情報（アラート信号）に応じて、警告音を発したり、デジタルサイネージに警告を表示したりする。また出力部３００は、接点出力（出力インターフェース）であってもよく、予め登録された撮影領域を管理／監視する管理者が使用するＰＣ（パーソナルコンピューター）端末、またはモバイル端末であってもよい。またディスプレイ（表示部）を出力部３００として用い、このディスプレイに後述する置換処理後の距離画像に基づく表示画像を表示するようにしてもよい。

　以下においては、最初に、距離画像撮影装置１００の詳細について説明し、その後に解析装置２００、および学習済みモデル２９０の詳細について説明する。

　（距離画像撮影装置１００）
　以下、図２、図３を参照し、距離画像撮影装置１００の構成について説明する。図２は、距離画像撮影装置１００の概略構成を示す断面図である。図３は、一例として道路６１上が撮影領域７００となるように、柱６２の上部に距離画像撮影装置１００を配置した状態を示す模式図である。撮影領域７００の道路６１上には、物体（動体）８１、８２が存在する。同図の例では、物体８１は車両（普通乗用車）であり、物体８２は歩行者である。

　図２に示すように距離画像撮影装置１００は、投受光ユニット１１１、および距離画像生成部１１２を有する。投受光ユニット１１１は、半導体レーザー５１、コリメートレンズ５２、ミラーユニット５３、レンズ５４、フォトダイオード５５、およびモーター５６、ならびにこれらの各構成部材を収容する筐体５７を有する。筐体５７内には、距離画像生成部１１２が配置されている。この距離画像生成部１１２は、この受光信号に基づいて、測定空間内の対象物までの距離値の分布を示す複数の画素で構成される距離画像を生成する。この距離画像は測距点群データ、または距離マップとも称される。

　半導体レーザー５１は、パルス状のレーザー光束を出射する。コリメートレンズ５２は、半導体レーザー５１からの発散光を平行光に変換する。ミラーユニット５３は、コリメートレンズ５２で平行とされたレーザー光を、回転するミラー面により測定領域に向かって走査投光するとともに、対象物からの反射光を反射させる。レンズ５４は、ミラーユニット５３で反射された対象物からの反射光を集光する。フォトダイオード５５は、レンズ５４により集光された光を受光し、Ｙ方向に並んだ複数の画素を有する。モーター５６はミラーユニット５３を回転駆動する。

　距離画像生成部１１２は、投受光ユニット１１１の動作を制御し、所定周期（例えば、数～２０Ｈｚ）で連続したフレーム（距離画像）を生成する。距離画像生成部１１２は、距離画像撮影装置１００の半導体レーザー５１の出射タイミングと、フォトダイオード５５の受光タイミングとの時間間隔（時間差）に基づいて距離情報（距離値）を求める。距離画像生成部１１２は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）とメモリで構成され、メモリに記憶しているプログラムを実行することにより各種の処理を実行することによって距離画像を求めるが、距離画像生成用の専用ハードウェア回路を備えてもよい。なお、距離画像生成部１１２を省略し、この機能を後述する解析装置２００が担うようにしてもよい。この場合、距離画像撮影装置１００は、単に各画素に対応する受光信号を、解析装置２００に出力する。

　本実施形態において、半導体レーザー５１とコリメートレンズ５２とで出射部５０１を構成し、レンズ５４とフォトダイオード５５とで受光部５０２を構成する。出射部５０１、受光部５０２の光軸は、ミラーユニット５３の回転軸５３０に対して直交していることが好ましい。

　剛体である柱６２等に固定して設置されたボックス状の筐体５７は、上壁５７ａと、これに対向する下壁５７ｂと、上壁５７ａと下壁５７ｂとを連結する側壁５７ｃとを有する。側壁５７ｃの一部に開口５７ｄが形成され、開口５７ｄには透明板５８が取り付けられている。

　ミラーユニット５３は、２つの四角錐を逆向きに接合して一体化した形状を有し、すなわち対になって向き合う方向に傾いたミラー面５３１ａ、５３１ｂを４対（但し４対に限られない）有している。ミラー面５３１ａ、５３１ｂは、ミラーユニットの形状をした樹脂素材（例えばＰＣ（ポリカーボネート））の表面に、反射膜を蒸着することにより形成されていることが好ましい。

　ミラーユニット５３は、筐体５７に固定されたモーター５６の軸５６ａに連結され、回転駆動されるようになっている。本実施形態では、例えば、柱６２に設置された状態で、軸５６ａの軸線（回転軸線）が鉛直方向であるＹ方向に延在しており、Ｙ方向に直交するＸ方向およびＺ方向によりなすＸＺ平面が水平面となっているが、軸５６ａの軸線を鉛直方向に対して傾けてもよい。

　次に、距離画像撮影装置１００の対象物検出原理について説明する。図２において、半導体レーザー５１からパルス状に間欠的に出射された発散光は、コリメートレンズ５２で平行光束に変換され、回転するミラーユニット５３の第１ミラー面５３１ａに入射する。その後、第１ミラー面５３１ａで反射され、さらに第２ミラー面５３１ｂで反射した後、透明板５８を透過して外部の測定空間に向けて、例えば縦長の矩形断面を持つレーザースポット光として走査投光される。なお、レーザースポット光が出射される方向と、出射されたレーザースポット光が対象物で反射し、反射光として戻ってくる方向は重複し、この重複する２方向を投受光方向という（なお、図２では分かり易さのため、図面では出射光と反射光をずらして示している）。同一の投受光方向に進行するレーザースポット光は、同一の画素で検出される。

　ここで、ミラーユニット５３の対のミラー（例えば第１ミラー面５３１ａと第２ミラー面５３１ｂ）の組み合わせにおいて、４対はそれぞれ交差角が異なっている。レーザー光は、回転する第１ミラー面５３１ａと第２ミラー面５３１ｂにて、順次反射される。まず１番対の第１ミラー面５３１ａと第２ミラー面５３１ｂにて反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の一番上の領域を水平方向（「主走査方向」ともいう）に左から右へと走査される。次に、２番対の第１ミラー面５３１ａと第２ミラー面５３１ｂで反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の上から２番目の領域を水平方向に左から右へと走査される。次に、３番対の第１ミラー面５３１ａと第２ミラー面５３１ｂで反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の上から３番目の領域を水平方向に左から右へと走査される。次に、４番対の第１ミラー面５３１ａと第２ミラー面で反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の最も下の領域を水平方向に左から右へと走査される。これにより距離画像撮影装置１００が測定可能な測定空間全体（撮影領域７００）の１回の走査が完了する。この４つの領域の走査により得られた画像を組み合わせて、１つのフレームが得られる。そして、ミラーユニット５３が１回転した後、再び１番対の第１ミラー面５３１ａと第２ミラー面５３１ｂに戻り、以降は測定空間の一番上の領域から最も下の領域までの走査（この上下方向を「副走査方向」ともいう）を繰り返し、次のフレームが得られる。

　図２において、走査投光された光束のうち対象物に当たって反射したレーザー光の一部は、再び透明板５８を透過して筐体５７内のミラーユニット５３の第２ミラー面５３１ｂに入射し、ここで反射され、さらに第１ミラー面５３１ａで反射されて、レンズ５４により集光され、それぞれフォトダイオード５５の受光面で画素毎に検知される。さらに、距離画像生成部１１２が、半導体レーザー５１の出射タイミングとフォトダイオード５５の受光タイミングとの時間差に応じて距離情報を求める。これにより測定空間内の全領域で対象物の検出を行って、画素毎に距離情報を持つ距離画像としてのフレームを得ることができる。このフレームは、所定周期、例えば１０ｆｐｓで生成される。また、ユーザーの指示により、得られた距離画像を背景画像データとして、距離画像生成部１１２内のメモリ、または解析装置２００のメモリに記憶してもよい。

　（距離画像における「異常値」）
　また、距離画像撮影装置１００の撮影により得られた距離画像においては、測定できない画素には、そのことを示す識別子（例えばＦＦＦＦ値）が埋め込まれている。具体的には、物体までの距離が非常に遠い（「無限遠」ともいう）場合や、表面が鏡面、もしくは光沢な黒色等である場合は、十分な量（光量）の（十分なエネルギーの）反射波を検知できず、距離値が得られない可能性がある。例えば、黒い光沢のある車体を持つ車両では、黒い車体部分は、反射波を検知できる距離値が得られない可能性がある。また、雨が降ることで、路面が濡れて水たまりが生じた場合には、その水面では、照射したレーザー光が鏡面反射するので、以降は、その方向からの反射光は戻ってこなくなり場合があり、その場合、距離値が無限遠値となる。また、レーザー光は、有限の大きさのスポット光である。そのため、手前側の物体のエッジにスポット光の一部が照射し、その他の部分が物体の後ろ側の物体に照射した場合には、反射光は、手前側と、後ろ側の物体それぞれから戻ってくる。この場合、戻り時間と反射光量でプロットしたグラフでは二山分布になる。このような反射光量の戻り時間から距離値を求めたとしても、距離値の算出エラー（無限遠）になったり、二山分布の中央の距離値（有限距離のノイズ値）になったりする可能性がある。以下、本実施形態においては、このような無限遠の距離値（無限遠値）、または物体のエッジにレーザー光が照射することにより、算出エラーになったり、不正確な距離値になったりした場合を「異常値」として定義する。

　（解析装置２００）
　図１を再び参照し、解析装置２００について説明する。解析装置２００は、例えば、コンピューターであり、ＣＰＵ、メモリ（半導体メモリ、磁気記録媒体（ハードディスク等））、入出力部（ディスプレイ、キーボード、等）、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）等を備える。通信Ｉ／Ｆは、外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ　Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いてもよい。また、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、４Ｇなどの無線通信インターフェースを用いてもよい。

　解析装置２００は、対象領域変換部２１０、距離情報解析部２２０、出力制御部２３０として機能する。また、解析装置２００は、予め外部の学習機で生成した学習済みモデル２９０をメモリに保存する。対象領域変換部２１０は、この学習済みモデル２９０を用いて、対象領域変換処理を行う。学習済みモデル２９０は、撮影領域７００を移動する物体のうち、行動追跡、または行動監視の対象とする特定の物体を対象物（以下、「検出対象物」という）として、機械学習したものである。より具体的には、学習済みモデル２９０は、検出対象物を距離画像撮影装置１００で撮影して得られた距離画像を、複数準備し、この距離画像を用いて機械学習したものである。この学習済みモデル２９０は、入力された距離画像から所定の検出対象物が含まれる検出対象部分を抽出し、抽出した検出対象部分の少なくとも一部の画素の距離値を他の距離値に置換した距離画像を出力するために用いられる。

　検出対象物としては、人、車両、および機械の少なくとも１つが含まれる。検出対象物は、物体検知システム１０が用いられる状況（撮影領域）により、適宜設定される。図３に示すように、一般道路６１を撮影領域７００として物体検知システム１０を用いるのであれば、検出対象物には、人、および車両（普通自動車、大型車両（トラック））が含まれ、学習済みモデル２９０は、これらの検出対象物を撮影した距離画像を用いて機械学習する。以下に、おいては、このような人、および車両を検出対象物として説明する。別の例として、工事現場を撮影領域とするのであれば、検出対象物には、人、および機械としての重機、または建機が含まれる。また、製造工場内を撮影領域とするのであれば、検出対象物には、人（作業者）、フォークリフト（車両）、および機械としてのクレーン、組立装置、またはベルトコンベアー、等が含まれる。

　（対象領域変換部２１０）
　対象領域変換部２１０は、学習済みモデル２９０を用いて、距離画像撮影装置１００が、生成した距離画像（以下、「距離画像１」、または「原距離画像」ともいう）から、検出対象物が含まれる領域である「検出対象部分」を抽出する。具体的には、距離画像から、検出対象として人、または車両の輪郭（外周）を検出し、この輪郭に囲まれる領域を検出対象部分として抽出する。そして、検出対象部分に異常値の画素が含まれている場合、この画素を、所定の距離値へ置換する。この置換処理における距離値の設定も、学習済みモデル２９０を用いて行う。対象領域変換部２１０は、置換処理後の距離画像（以下、「距離画像２」ともいう）は、距離情報解析部２２０に送られる。

　（距離情報解析部２２０）
　距離情報解析部２２０は、置換処理後の距離画像２を用いて、以下に説明する手法により撮影領域７００内の物体を認識する。また、距離情報解析部２２０は、認識した物体の位置情報を用いて異常判定を行う。認識した物体の情報、および異常判定の判定結果は、出力制御部２３０に送られる。

　物体認識の手法としては、本実施形態では、例えば背景差分法を採用する。この背景差分法では、予め生成し、解析装置２００のメモリに保存しておいた背景画像データ（基準背景データともいう）を用いる。

　距離情報解析部２２０は、検出対象物を含む複数種類の対象物（動体）を認識する機能を有する。距離情報解析部２２０はメモリに保持している背景画像データと現時点での距離画像とを比較して、差が生じた場合、車両等の何らかの動体（前景の物体）が撮影領域７００内に現れたことを認識できる。例えば、背景差分法を用いて、背景画像データと、現時点での距離画像（距離画像データ）とを比較することで、前景データを抽出する。そして抽出した前景データの画素（画素群）を、例えば画素の距離値に応じてクラスタに分ける。そして、各クラスタのサイズを算定する。例えば、垂直方向寸法、水平方向寸法、総面積等を算出する。なお、ここでいう「サイズ」は、実寸法であり、見た目上の大きさ（画角、すなわち画素の広がり）とは異なり、対象物までの距離に応じて画素群の塊が判断される。例えば、距離情報解析部２２０は算定したサイズが抽出対象の解析対象の動体を特定するための所定のサイズ閾値以下か否か判定する。サイズ閾値は、測定場所や行動解析対象等により任意に設定できる。車両、人を追跡して行動を解析するのであれば、車両、または人の大きさそれぞれの最小値を、クラスタリングする場合のサイズ閾値とすればよい。これにより、落ち葉やビニール袋等のゴミ、または小動物を検知対象から除外できる。特に、本実施形態においては、検出対象物である車両の一例として、黒い車両等の検知が難しい車両が測定空間（撮影領域７００）を通過した場合に、車両のボディの距離を測定できず、無限遠の距離値（異常値）の場合であっても、対象領域変換部２１０による置換処理を行える。置換処理後の距離画像の距離値でクラスタリングすることにより、本来の車両本体の大きさと同等の塊と認識できるので、これらの車両が検知対象外となることを防げ、正しく認識できる。

　また距離情報解析部２２０は、例えば、以下に説明する異常判定も行う。撮影領域７００内の所定エリア（例えば道路６１上に設定した立入禁止領域）へ物体の進入判定、この所定エリア（道路６１）を通過する物体の移動軌跡の判定の少なくとも１つを行う。また、この各種の判定は、物体の種類を判別し、その判別した種類毎に行うようにしてもよい。例えば、この種別は、人、普通車車両、大型車両（トラック等）、および二輪車がある。この種別判定は、例えば種類毎の特徴（サイズ、形状）が予め解析装置２００のメモリに記憶されており、この特徴とマッチングすることにより行う。例えば、異常判定として、人を対象物とした場合には、立入禁止領域に、検出した対象物が位置する場合には、異常判定を行う。また、車両を対象物とした場合には、その移動軌跡として、移動方向、および移動速度を算出する。そして移動方向、または移動速度を所定の基準と比較することにより異常判定を行う。例えば、逆走、または一時停止禁止道路での停止を判定できる。

　（出力制御部２３０）
　出力制御部２３０は、距離情報解析部２２０の検出結果、および判定結果（異常判定）に応じて、出力部３００にアラート情報を出力する。例えば、人の立入禁止領域への侵入により異常判定した場合には、出力部３００として、撮影領域７００周辺に配置されたスピーカー、または液晶ディスプレイから警告を行うためのアラート情報を、出力部３００へ出力する。また、車両の逆走により異常判定した場合には、出力部３００として管理者のＰＣ端末に、状況を示すアラート情報を送信する。

　（学習済みモデル２９０の構築方法）
　次に学習済みモデル２９０の構築方法について説明する。最初に学習に用いる距離画像について説明し、その後、この距離画像を用いた学習済みモデル２９０の学習について説明する。

　（１．使用するサンプル画像の準備）
　図４、図５を参照し、準備する学習サンプルデータについて説明する。図４は、学習済みモデル２９０の学習に用いる学習サンプルデータを生成する手順を示すフローチャートである。図５は、原距離画像、および原距離画像から生成した加工距離画像を説明するための模式図である。

　（ステップＳ１０１）
　距離画像撮影装置１００が測定することにより得られた距離画像を多数準備する。この距離画像は、オリジナルの距離画像（原距離画像）である。図５（ａ）は、原距離画像の例である。図５（ａ）では、各画素の距離値に応じた画像濃度に変換して可視化した画像を表示している。

　また、ここで取得したサンプル数は、原距離画像１～ｎまでのｎ枚であるとする。ｎ枚は、例えば数百～数万であり、多い方が精度の点で好ましいが、対象とする所定の検出対象物の種類数、等に応じて適宜設定できる。なお、この準備する距離画像それぞれには、１つの被写体（検出対象物）が含まれていることが好ましいが、２つ以上の検出対象物が含まれていてもよい。例えば、この原距離画像１～ｎは、１台以上の車両８１が道路６１上を走行しているときに距離画像撮影装置１００で撮影して得られたものである。また、この距離画像には、異常値の画素が含まれていない距離画像であることが好ましい。

　さらに、この距離画像は、学習済みモデル２９０を利用する状況と同じ撮影条件で得られた距離画像が好ましい。すなわち、図３の撮影領域７００に配置された距離画像撮影装置１００で得られた距離画像を用いる。しかしながら、対象とする同様の検出対象物が含まれるのであれば、自装置、または他の距離画像撮影装置１００による、他の撮影領域を撮影することにより得られた距離画像を用いてもよい。

　なお、撮影環境（天候、明度）は、屋外において、複数の異なる天候条件が含まれていることが好ましい。例えば、雨、雪、霧、晴天、昼間、夜間の天候条件下、または撮影環境下で撮影され、得られた距離画像である。また、撮影条件としては、同じ撮影領域７００を１台の距離画像撮影装置１００で、撮影した場合であっても、この距離画像撮影装置１００の設定位置、設置角度を複数水準で変更するようにしてもよい。例えば、距離画像撮影装置１００の柱６２への設置高さや、向き（チルト（ｔｉｌｔ）、ヨー（ｙａｗ））を複数水準で変更する。

　（ステップＳ１０２）
　距離情報解析部２２０の上述した物体を認識する機能を用いて、ステップＳ１０１で準備した、原距離画像１～原距離画像ｎそれぞれにおいて、検出対象物が含まれる検出対象部分を抽出し、その対象物を定義するラベルを付与する。図５（ｂ）の図は、図５（ａ）に対して、抽出した検出対象部分を示す枠、およびラベルの例を示した模式図である。なお、この処理は、既に構築した（改善途中の）学習済みモデル２９０があればこれを利用してもよい。

　（ステップＳ１０３）
　ステップＳ１０２で抽出した、検出対象部分の内部の画素の少なくとも一部の画素の距離値を異常値に変更する加工処理を行う。加工処理後の画像を加工距離画像（加工後距離画像）という。加工後の距離画像の枚数は、加工距離画像１～加工距離画像ｎまでのｎ枚であり、原距離画像と同じである。

　この加工処理は、物体検知システム１０の距離情報解析部２２０が所定のアルゴリズムにより自動的に行うようにしてもよい。例えば、検出対象部分に含まれる画素をランダムに異常値に変更する。または、ユーザーがユーザーインターフェースを用いて、手入力により検出対象部分の一部、または全部を異常値に変更してもよい。さらに、距離情報解析部２２０、およびユーザーの双方で生成された加工距離画像を用いてもよい。

　また、実際の距離画像撮影装置１００から得られた距離画像においては、対象の全ての部位が異常値になるケースはほとんどない。例えば、車両においては、バンパーや高輝度反射板など反射率の高い部位を含んでいることが多いためそのような部位では距離値が得られる。このような部位においては、異常値に置換させる対象からは、除外することが好ましい。

　（ステップＳ１０４）
　ステップＳ１０１からステップＳ１０３で準備したデータを用いてｎ組の学習サンプルデータを準備する。例えば、加工距離画像ｉ、原距離画像ｉ、および原距離画像ｉに付与したラベルの３個のデータを一組とする（ｉは、１～ｎの任意の数値）。そして、これらの組み合わせでｎ組の学習サンプルデータを準備する。なお、後述するように加工距離画像１～ｎは入力用の教師データとして用いられ、原距離画像１～ｎ、およびそれぞれのラベルは、出力用の教師データとして用いられる。

　（２．学習済みモデル２９０の構築（または改善更新））
　図６は、学習済みモデルの機械学習方法の処理を示すフローチャートである。図６の処理においては、図４の処理で準備された学習サンプルデータを用いる。また、以下においては、学習機（図示せず）において、パーセプトロンを組み合わせて構成したニューラルネットワークを用いた学習方法について説明するが、これに限られず、教師あり学習であれば、種種の手法を取り得る。例えば、例えば、ランダムフォレスト、サポートベクターマシン（ＳＶＭ）、ブースティング（Ｂｏｏｓｔｉｎｇ）、ベイジアン（Ｂｓｙｓｉａｎ）ネットワーク線形判別法、非線形判別法、等を適用できる。また、以下の学習方法では、学習機として、ＣＰＵおよびＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）のプロセッサを用いたスタンドアロンの高性能のコンピューター、またはクラウドコンピューターを用いて行える。

　（ステップＳ２０１）
　学習機は、教師データである学習サンプルデータを読み込む。最初であれば１組目（加工距離画像１、原距離画像１、そのラベル）の学習サンプルデータを読み込み、ｉ回目であれば、ｉ組目（加工距離画像ｉ、原距離画像ｉ、そのラベル）の学習サンプルデータを読み込む。

　（ステップＳ２０２）
　学習機は、読み込んだ学習サンプルデータのうち入力データ（加工距離画像ｉ）をニューラルネットワークに入力する。

　（ステップＳ２０３）
　学習機は、ニューラルネットワークの推定結果、すなわち推定された検出対象部分に付与したラベル、およびこのラベル付けされた検出対象部分内の画素の置換結果を、教師データ（原距離画像ｉ、およびそのラベル）と比較する。

　（ステップＳ２０４）
　学習機は、比較結果からパラメータを調整する。例えば、バックプロパゲーション（Ｂａｃｋ－ｐｒｏｐａｇａｔｉｏｎ、誤差逆伝搬法）という処理を行うことにより、比較結果の誤差が小さくなるように、パラメータを調整し、更新する。

　（ステップＳ２０５）
　学習機は、１～ｎ枚目まで全データの処理が完了すれば（ＹＥＳ）、処理をステップＳ２０６に進め、完了していなければ（ＮＯ）、処理をステップＳ２０１に戻し、次の学習サンプルデータを読み込み、ステップＳ２０１以下の処理を繰り返す。

　（ステップＳ２０６）
　学習機は、これまでの処理で構築された学習済みモデル２９０を記憶して終了する（エンド）。

　（学習済みモデル２９０を用いた物体検知処理）
　以下、図７、図８を参照し、図６で構築された学習済みモデル２９０を用いた、物体検知処理について説明する。図７は、物体検知システム１０が実行する物体検知処理を示すフローチャートである。図８は、距離画像１（置換処理前）、および距離画像２（置換処理後）を示す模式図である。

　（ステップＳ３０１）
　物体検知システム１０の解析装置２００は、学習機から、図６の処理で構築された学習済みモデル２９０を取得し、自装置のメモリに読み込む。

　（ステップＳ３０２）
　対象領域変換部２１０は、距離画像撮影装置１００が撮影した距離画像（距離画像１）を取得し、学習済みモデル２９０を用いて検出対象部分を抽出する。図８（ａ）は、この距離画像１の例を示す模式図である。図８（ａ）の例では、中央を歩行する人（検出対象）のシルエット（検出対象部分）に下半身が、黒い材料等の理由により低反射率であるために、その下半身からは、距離値が得られていない、すなわち、検出対象部分に含まれる一部の画素の距離値は異常値である。

　（ステップＳ３０３）
　対象領域変換部２１０は、検出対象部分の中から、異常値の画素を抽出する。なお、このステップＳ３０３処理は、抽出用の学習済みモデル２９０を用いて処理してもよい。

　（ステップＳ３０４）
　対象領域変換部２１０は、学習済みモデル２９０を用いて、検出対象部分の中の異常値の画素に対する置換処理を実行する。図８（ｂ）は、図８（ａ）に対して置換処理した後の距離画像２の例を示す模式図である。図８（ｂ）では、下半身の部分は、人物の上半身と略同じ距離値に置換されている。

　（ステップＳ３０５）
　対象領域変換部２１０は、ステップＳ３０４で、異常値の画素を置換処理した後の距離画像を生成する（距離画像２）。

　（ステップＳ３０６）
　距離情報解析部２２０は、ステップＳ３０５で得られた、距離画像２を用いて、物体検出処理、および検出した物体の位置情報を用いて異常判定（警告判定）を行う。例えば、上述のように、立入禁止領域に、検出対象物として検出した人が位置する場合には、異常判定を行う。また、車両を対象物とした場合には、その移動軌跡として、移動方向、および移動速度を算出する。そして移動方向、または移動速度を所定の基準と比較することにより異常判定を行う。

　（ステップＳ３０７）
　出力制御部２３０は、ステップＳ３０６による異常判定に応じて、発報処理を行う。例えば、立入禁止領域への人の立ち入りにより異常判定した場合には、撮影領域７００周辺に配置された、出力部３００としてのスピーカーから警告音を発する。

　このように本実施形態に係る機械学習方法においては、図４、図５で説明したように、原距離画像の検出対象部分に含まれる少なくとも一部の画素の距離値を異常値に変更する加工が行われた加工距離画像を入力とし、検出対象部分に付与したラベルと、原距離画像を出力として教師あり学習を行うことにより、学習済みモデルを構築する。このような加工距離画像を用いることで、安定した性能を発揮できる学習済みモデルを構築できる。また、このような学習済みモデルを用いることで、低反射率の物体（対象物）等の物体においても、異常値の画素を有限な画素値に置換でき、ひいてはこの置換後の距離画像を用いて物体の検知が高精度で行える。

　また、本実施形態に係る物体検知用の制御プログラム、および物体検知システムは、上述の学習済みモデルを用いて、取得した距離画像から、検出対象部分を抽出し、抽出した検出対象部分に含まれる画素から異常値を示す画素を抽出し、抽出した異常値を示す画素について距離値を置換する。これにより得られた置換処理後の距離画像を用いることで物体の検知を高精度に行える。

　以上に説明した物体検知システム１０の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種種改変することができる。また、一般的な物体検知システム１０が備える構成を排除するものではない。

　また、本実施形態においては、学習済みモデルの学習用の学習サンプルデータとして、原距離画像の検出対象部分に含まれる少なくとも一部の画素の距離値を異常値に変更する加工が行われた加工距離画像を用いたが、これに限られない。例えば検出対象物が人である場合に、人の前方に柱や、他の人等、遮蔽する対象物を追加する加工処理を行うことで、加工距離画像を生成し、この加工距離画像も学習サンプルデータとして用いてもよい。このようにすることで、遮蔽物の置換処理用の学習を行える。

　上述した実施形態に係る物体検知システム１０における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）－ＲＯＭ等の非一時的なコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、装置の一機能としてその装置のソフトウエアに組み込まれてもよい。

　本出願は２０１８年１１月２２日に出願された日本特許出願（特願２０１８－２１９５１８号）に基づいており、その開示内容は、参照され、全体として組み入れられている。

１０　物体検知システム
１００　距離画像撮影装置
２００　解析装置
　２１０　対象領域変換部
　２２０　距離情報解析部
　２３０　出力制御部
　２９０　学習済みモデル
３００　出力部

Claims (13)

1. 　コンピューターが行う機械学習方法であって、
   　対象物までの距離値を示す複数の画素で構成された距離画像を取得し、該距離画像をオリジナルの原距離画像とした場合に、該原距離画像から、所定の検出対象物が含まれる検出対象部分を抽出するとともに、前記検出対象部分に、前記検出対象物に対応するラベルを付与するステップ（ａ）と、
   　前記原距離画像に対して、該原距離画像の前記検出対象部分に含まれる少なくとも一部の画素の距離値を異常値に変更する加工が行われた加工距離画像を取得するステップ（ｂ）と、
   　入力を前記加工距離画像、出力を、前記ラベルと前記原距離画像として教師あり学習を行うことにより、入力された距離画像から所定の前記検出対象物が含まれる検出対象部分を抽出し、抽出した該検出対象部分の少なくとも一部の画素の距離値を他の距離値に置換した距離画像を出力するための学習済みモデルを構築するステップ（ｃ）と、
   を含む、機械学習方法。
2. 　前記検出対象物には、人物、車両、および機械の少なくとも１つを含む、請求項１に記載の機械学習方法。
3. 　画素の前記異常値は、無限遠値、もしくは無限遠を示す識別値、または有限距離のノイズ値である、請求項１、または請求項２に記載の機械学習方法。
4. 　複数の前記原距離画像は、それぞれ複数の異なる天候条件下で生成された距離画像を含む、請求項１から請求項３のいずれかに記載の機械学習方法。
5. 　対象物までの距離値を示す複数の画素で構成された距離画像から所定の検出対象物が含まれる検出対象部分を抽出するとともに、該検出対象部分の画素の距離値を他の距離値に置換するよう、コンピューターを機能させるための学習済みモデルであって、
   　前記距離画像をオリジナルの原距離画像とした場合に、該原距離画像から、所定の検出対象物が含まれる検出対象部分を抽出するとともに、前記検出対象部分に前記検出対象物に対応するラベルを付与し、
   　前記原距離画像に対して、該原距離画像の前記検出対象部分に含まれる少なくとも一部の画素の距離値を異常値に変更する加工が行われた加工距離画像を取得し、
   入力を前記加工距離画像、出力を、前記ラベルと前記原距離画像として教師あり学習された学習済みモデル。
6. 　物体検知用の制御プログラムであって、
   　請求項５の学習済みモデルであって、入力された距離画像から所定の検出対象物が含まれる検出対象部分を抽出し、抽出した該検出対象部分の少なくとも一部の画素の距離値を他の距離値に置換した距離画像を出力するための学習済みモデルを読み込むステップ（ａ）と、
   　距離画像を取得するステップ（ｂ）と、
   　前記学習済みモデルを用い、取得した距離画像から、前記検出対象部分を抽出するステップ（ｃ）と、
   　前記検出対象部分に含まれる画素において、異常値を示す画素を抽出するステップ（ｄ）と、
   　前記抽出した異常値を示す画素について、前記学習済みモデルを用いて、距離値を置換するステップ（ｅ）と、
   　前記距離値を置換した距離画像を出力するステップ（ｆ）と、
   を含む処理をコンピューターに実行させるための制御プログラム。
7. 　前記ステップ（ｄ）は、前記学習済みモデルを用いて行う、請求項６に記載の制御プログラム。
8. 　前記ステップ（ｆ）では、表示部に置換した前記距離画像に基づく画像を表示する、請求項６、または請求項７に記載の制御プログラム。
9. 　前記ステップ（ｂ）で取得した前記距離画像は、撮影領域を撮影し、対象物までの距離値を示す複数の画素で構成された距離画像を生成する距離画像撮影装置から取得した距離画像であり、
   　前記処理は、さらに、前記ステップ（ｅ）で置換した置換処理後の前記距離画像を用いて、前記検出対象物の前記撮影領域における位置情報に基づく異常判定を行うステップ（ｇ）を含む、請求項６から請求項８のいずれかに記載の制御プログラム。
10. 　撮影領域を撮影し、対象物までの距離値を示す複数の画素で構成された距離画像を生成する距離画像撮影装置と、
    　前記距離画像撮影装置が、生成した距離画像を、請求項５に記載の学習済みモデルを用いて処理し、距離画像から所定の検出対象物が含まれる検出対象部分を抽出して、抽出した該検出対象部分の画素の距離値を他の距離値に置換した置換処理後の距離画像を生成する対象領域変換部と、
    　置換処理後の前記距離画像を用いて、前記検出対象物の前記撮影領域における位置情報に基づく異常判定を行う、距離情報解析部と、
    　前記距離情報解析部で、前記異常判定がなされた場合に、発報情報を出力する出力部と、
    を備える物体検知システム。
11. 　前記距離情報解析部は、前記撮影領域内の所定領域へ、前記検出対象物が侵入した場合に、前記異常判定を行う、請求項１０に記載の物体検知システム。
12. 　前記距離情報解析部は、前記撮影領域内における、所定の対象物の移動方向、または移動速度に基づいて、前記異常判定を行う、請求項１０、または請求項１１に記載の物体検知システム。
13. 　前記出力部は、前記撮影領域内に設けられた警報装置、または、前記撮影領域を管理する管理者の端末にアラート情報を出力する、請求項１０から請求項１２のいずれかに記載の物体検知システム。

Images