JP7470967B2

JP7470967B2 - システム、プログラム、機械学習方法、及び機械学習モデル等

Info

Publication number: JP7470967B2
Application number: JP2020059737A
Authority: JP
Inventors: 和範阿部; 直紀松田
Original assignee: 株式会社ユピテル
Priority date: 2020-03-30
Filing date: 2020-03-30
Publication date: 2024-04-19
Anticipated expiration: 2040-03-30
Also published as: JP2021157699A

Description

本発明は、システム、プログラム、機械学習方法、及び機械学習モデル等に関する。

車両の速度超過違反を取り締まるための速度取締装置は、車両が走行する道路の速度取締地点に設置されることがある。速度取締装置は、走行している車両に所定の波長帯のレーザないしレーダ（以下これらをまとめて「電磁波」ということがある。）を照射して、その反射電波ないし反射光を受信ないし受光することで、車両の速度を推定する。そして、速度取締装置は、車両が当該道路に設定された法定速度を超える速度で走行している場合には、その車両を速度超過違反の車両として検出し、カメラで撮影する。

一般的に、速度取締装置は、高速道路や見通しのよい一般道など、ドライバが無意識に車両の速度を上げてしまいがちな個所に設置されることがある。したがって、車両において速度取締器を検出してドライバに注意喚起することができれば、ドライバの安全運転の支援をすることができる。

従来より、車両に搭載され、速度取締装置から照射されるレーザやレーダを探知して速度路取締装置の存在を報知する探知機が提供されている。この探知機によれば、ドライバに速度取締装置の存在を報知して、安全運転を促すことができる。

特開２０１８－１９６０６６号公報

しかしながら、電磁波を探知するだけでは、自動販売機や自動ドアから発せられる電磁波を受信して、これを速度取締装置と誤って認識してしまうことがある。

本発明は上記背景に鑑み、レーザやレーダ等の所定の波長帯の電磁波のみに依らないで速度取締地点であることを示す目標物を検出することに関する技術を提供することを目的の一つとする。

また、本発明は、車両から撮影される所定の目標物の撮影画像をサーバに集約させることを目的の一つとする。

さらに、本発明は、速度取締地点であることを示す目標物を検出する学習モデルを生成することに関する技術を提供することを目的の一つとする。

また、本願の発明の目的はこれらに限定されず、本明細書及び図面等に開示される構成の部分から奏する効果を得ることを目的とする構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「～できる」と記載した箇所を「～が課題である」と読み替えた課題が本明細書には開示されている。課題はそれぞれ独立したものとして記載しているものであり、各々の課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。課題が明細書の記載から黙示的に把握されるものであっても、本出願人は本明細書に記載の構成の一部を補正又は分割出願にて特許請求の範囲とする意思を有する。またこれら独立の課題を組み合わせた課題を解決する構成についても開示しているものであり、権利取得する意思を有する。

（１）一態様のシステムは、車両の外を撮影した画像から、機械学習モデルを用いて車両の速度取締地点であることを示す目標物を検出する検出部と、前記検出部における検出結果に基づいて制御を行う制御部と、を備えた構成を有している。このようにすれば、撮影画像から速度取締地点であることを示す目標物を検出することができる。例えば自動販売機や自動ドアなどの速度取締装置以外の電磁波発生源を速度取締装置として誤認する可能性を軽減できる。

（２）一態様のシステムは、（１）のシステムにおいて、前記検出部は、第一機械学習モデルを用いて前記目標物を検出する一次検出部と、前記一次検出部により前記目標物が検出された場合に、第二機械学習モデルを用いて前記目標物を検出する二次検出部と、を有し、前記制御部は、前記一次検出部及び前記二次検出部における検出結果に基づいて制御を行うとよい。このようにすれば、第一機械学習モデル及び第二機械学習モデルを用いた２段階の方法で目標物を検出するから、目標物をより精度良く検出することができる。

（３）一態様のシステムは、（２）のシステムにおいて、前記一次検出部は、車両に搭載された車載機器に設けられ、前記二次検出部は、前記車載機器と通信ネットワークを介して通信するサーバに設けられるとよい。このようにすれば、車載機器が第二機械学習モデルを備える必要がなく、例えば第二機械学習モデルを複数の車載機器で共用することができる。また、車載機器の一次検出で目標物が検出された撮影画像をサーバに送信するようにすると、全ての撮影画像を送信する場合に比べて、サーバの処理負荷及び通信負荷を軽減できる。

（４）一態様のシステムは、（２）又は（３）のシステムにおいて、前記一次検出部は、前記第一機械学習モデルとしてのバイナリデータとのパターンマッチングを行うことで、前記画像から前記目標物を検出し、前記二次検出部は、前記第二機械学習モデルとして深層学習モデルを用いて前記画像から前記目標物を検出するとよい。このようにすれば、一次検出を二次検出と比較して高速に行うことが期待できる。

（５）一態様のシステムは、（２）～（４）のシステムにおいて、所定の波長帯の電磁波を探知する探知機を前記車両にさらに備え、前記一次検出部は、前記第一機械学習モデルと前記探知機の探知結果とに基づいて、前記目標物を検出するとよい。このようにすれば、従来の速度取締装置の探知方法を併用して一次検出を行うことができる。

（６）一態様のシステムは、（５）のシステムにおいて、前記制御部は、前記探知機により前記電磁波が受信されている期間に、前記第一機械学習モデルに基づいて前記画像から前記目標物が検出された場合、前記制御を行うとよい。このようにすれば、速度取締装置が使用する所定の波長帯の電磁波を受信した場合に、速度取締装置が検出されたときの制御を行うので、本当に速度取締装置が存在する場合に当該制御を行える可能性を高くすることができる。

（７）一態様のシステムは、（１）～（６）のいずれかのシステムにおいて、前前記制御部は、前記一次検出部における検出結果に基づいて、車両に設けられた警報部から警報を出力する制御を行う第一制御部を有するとよい。このようにすれば、一次検出の検出結果に基づいて車両内の人（例えばドライバ）に警報をすることができる。

（８）一態様のシステムは、（２）～（６）のいずれかシステムにおいて、前記制御部は、前記二次検出部における検出結果に基づいて、車両に設けられた警報部から警報を出力する制御を行う第一制御部を有するとよい。このようにすれば、二次検出の検出結果に基づいて車両内の人（例えばドライバ）に警報をすることができる。

（９）一態様のシステムは、（２）～（６）のシステムにおいて、前記制御部は、前記一次検出部における検出結果に基づいて、車両に設けられた警報部から第一警報を出力する制御を行い、前記二次検出部における検出結果に基づいて、前記第一警報と異なる第二警報を出力する制御を行う第一制御部を有するとよい。このようにすれば、車両内の人（例えばドライバ）は、一次検出の結果と二次検出の結果とを区別して警報を認識することができる。

（１０）一態様のシステムは、（７）～（９）のいずれかのシステムにおいて、前記第一制御部は、前記目標物の検出結果の確からしさに応じて異なる警報を出力する制御を行うとよい。このようにすれば、速度取締装置の検出結果の確からしさに応じて異なる警報をするので、車両内の人（例えばドライバ）は速度取締装置が実際に存在する可能性を把握ことができる。

（１１）一態様のシステムは、（１）～（１０）のシステムにおいて、前記目標物の位置情報を記憶する記憶部を備え、前記制御部は、それぞれ異なる車両に搭載された複数の前記検出部における検出結果に基づいて、前記記憶部における前記目標物の位置情報を更新する制御を行う第二制御部を有するとよい。このようにすれば、目標物が検出された位置の位置情報を記憶し、これを目標物の検出結果に応じて更新することができる。

（１２）一態様のシステムは、（７）～（１０）のシステムにおいて、前記目標物の位置情報を記憶する記憶部を備え、前記制御部は、それぞれ異なる車両に搭載された複数の前記検出部における検出結果に基づいて、前記記憶部における前記目標物の位置情報を更新する制御を行う第二制御部を有し、前記第一制御部は、前記記憶部に記憶された前記目標物の位置情報と、前記車両の位置とに基づいて、前記警報を出力する制御を行うとよい。このようにすれば、目標物が検出された位置の位置情報を記憶し、これを目標物の検出結果に応じて更新するとともに、目標物に対する車両の位置に応じて車両内の人（例えばドライバ）に警報をすることができる。

（１３）一態様のシステムは、（１１）又は（１２）のシステムにおいて、前記第一制御部は、車両に搭載された車載機器に設けられ、前記第二制御部は、前記車載機器と通信ネットワークを介して通信するサーバに設けられるとよい。このようにすれば、車載機器で目標物を検出した結果をサーバが取得するので、複数の車載機器で目標物の検出結果を共用できる。

（１４）一態様のシステムは、車両に搭載される車載機器と通信ネットワーク上に設けられたサーバとを備えたシステムであって、前記車載機器は、前記車両の外を撮影して撮影画像を生成するカメラと、前記通信ネットワークを介して前記撮影画像を前記サーバに送信する車両側送信部と、を備え、前記サーバは、前記車載機器から前記通信ネットワークを介して前記撮影画像を受信するサーバ側受信部と、機械学習モデルを用いて前記撮影画像から目標物を検出する検出部と、前記検出部における検出結果を記憶する記憶部と、を備えているとよい。このようにすれば、サーバは、車載機器から撮影画像を取得して目標物を検出し、検出結果を記憶することができる。特に、サーバは、複数の車両から撮影画像を取得することで、多数の目標物の検出結果を得ることができる。

（１５）一態様のシステムは、（１４）のシステムにおいて、前記車載機器は、前記機械学習モデルより検出基準の低い機械学習モデルを用いて前記撮影画像から前記目標物を検出する一次検出部を備え、前記車両側送信部は、前記一次検出部にて前記目標物が検出された前記撮影画像を前記サーバに送信し、前記検出部は、二次検出部として、前記サーバ側受信部にて受信した前記撮影画像から前記目標物を検出するとよい。このようにすれば、車載機器の一次検出で目標物が検出された撮影画像をサーバに送信するので、通信負荷及び二次検出の負荷を軽減できる。

（１６）一態様のシステムは、（１４）のシステムにおいて、前記車載機器は、前記車両の位置情報を取得する位置情報取得部を備え、前記車両側送信部は、前記撮影画像とともに、当該撮影画像を撮影したときの前記車両の位置情報を前記サーバに送信し、前記記憶部は、前記検出結果を前記位置情報に関連付けて記憶する。このようにすれば、目標物が検出された位置の位置情報をサーバに記憶しておくことができる。

（１７）一態様のシステムは、（１６）のシステムにおいて、前記車載機器は、前記記憶部に記憶された情報に基づく通知を受ける車両側受信部と、前記通知に基づく情報出力を行う出力部と、を備えているとよい。このようにすれば、車両は目標物の存在に関する通知を受けることができる。

（１８）一態様のシステムは、車載機器を備えたシステムであって、前記車載機器が、車両の外を撮影した画像から、第一機械学習モデルを用いて目標物を検出する検出部と、前記検出部により前記目標物が検出された場合に、前記画像をサーバに送信する送信部と、前記サーバから、前記画像から第二機械学習モデルを用いて目標物を検出する処理の結果を受信する受信部と、前記検出部における検出結果及び受信した前記処理の結果に基づいて制御を行う制御部と、を有するシステムである。このようにすれば、車載機器が第二機械学習モデルを備えなくとも、第二機械学習モデルを用いた目標物の検出結果を得ることができる。

（１９）一態様のシステムは、車両の速度取締地点であることを示す目標物を撮影した複数の画像の各画像を取得し、取得した当該各画像に前記目標物が含まれていることに関連付けた教師データを用いて学習を行う。このようにすれば、画像から車両の速度取締地点であることを示す目標物を検出するための学習モデルを生成することができる。

（２０）一態様のシステムは、車両に設けられたカメラで前記車両の外を撮影した画像であって、前記車両に設けられた所定の波長帯の電磁波を探知する探知機で前記電磁波が探知されたときに撮影した画像を正例として教師あり学習を行う。このようにすれば、電磁波を受信したときの撮影画像を正例とするので、目標物を検出するための教師あり学習に用いる正例を精度良く得ることができる。

（２１）一態様のシステムは、（２０）のシステムにおいて、前記画像から車両の速度取締地点であることを示す目標物を検出する検出部をさらに備え、前記目標物を検出し、かつ、前記探知機が前記所定の波長帯の電磁波を探知したときの前記画像を正例として教師あり学習を行うとよい。このようにすれば、目標物が検出されていないが探知機では所定の波長帯の電磁波が探知されたときの撮影画像、即ち、自動販売機等の他の電磁波発生源によって探知機が所定の波長帯の電磁波を探知したときの撮影画像を正例として学習してしまう可能性を軽減できる。

（２２）一態様のシステムは、（２０）又は（２１）のシステムにおいて、前記画像から前記目標物を検出する検出部を備え、前記探知機で前記所定の波長帯の電磁波を探知していないが前記目標物が検出されたときの前記画像を負例として前記教師あり学習を行うとよい。このようにすると、所定の波長体の電磁波を検出していないが速度取締装置が検出されている場合は、撮影画像に目標物と紛らわしい物体が映り込んでいると考えられるので、このようにすれば、良質な負例を得ることができる。

（２３）一態様のシステムは、（１９）～（２２）のシステムにおいて、前記車両内の人が目視にて前記目標物を確認したときに撮影された前記画像の投稿を受け付け、投稿された前記画像を正例として前記教師あり学習を行うとよい。このようにすると、ユーザが目視にて目標物が含まれていることを確認した撮影画像を用いて教師あり学習を行うことにより、より良質な機械学習モデルを生成することができる。

（２４）一態様のシステムは、（２３）のシステムにおいて、前記車両内の人が目視にて前記目標物を確認したときに撮影された前記画像に加え、前記探知機における前記所定の波長帯の電磁波の探知結果の投稿を受け付け、投稿された前記画像を、投稿を受け付けた前記探知結果に応じて正例又は負例として前記教師あり学習を行うとよい。このようにすると、ユーザが目視にて目標物が含まれていることを確認した撮影画像に加え、所定の波長体の電磁波の探知結果を用いることで、より良質な機械学習モデルを生成することができる。

（２５）一態様のシステムは、（１９）～（２４）のシステムにおいて、前記画像から前記目標物を検出して警報したときの前記車両内の人からの応答の入力を受け付け、入力を受け付けた前記応答の結果に応じて前記画像を正例又は負例として前記教師あり学習を行うとよい。このようにすると、警報したときに車両内の人が、これが正しい警報か誤報かの応答を入力し、この応答の結果が機械学習モデルに反映されるので、より良質な機械学習モデルを生成することができる。

（２６）一態様のシステムは、（１）～（２５）のシステムにおいて、前記目標物は、車両取締装置であるとよい。このようにすれば、目標物として車両取締装置を検出することに関する技術を提供することができる。

（２７）一態様のプログラムは、（１）～（２６）のいずれかのシステムの機能の少なくとも一部が車載機器で実現され、当該車載機器で実現される機能をコンピュータに実現させるためのプログラムである。このようにすれば、画像から目標物を検出することに関するプログラムを提供することができる。

（２８）一態様の機械学習方法は、車両の速度取締地点であることを示す目標物を撮影した複数の画像の各画像を取得し、取得した当該各画像に前記目標物が含まれていることに関連付けた教師データを用いて学習を行う。このようにすれば、画像から車両の速度取締地点であることを示す目標物を検出するための学習モデルを生成することができる。

（２９）一態様の機械学習モデルは、画像が入力される入力層と、前記画像に車両の速度取締地点であることを示す目標物が含まれている確度に応じたデータを出力する出力層と、複数の画像の各画像を入力とし、当該画像に前記目標物が含まれている確度に応じたデータを出力とする教師データを用いてパラメータが学習された少なくとも１つの中間層と、を有する。このようにすれば、画像から車両の速度取締地点であることを示す目標物を検出するための機械学習モデルを提供することができる。

上述した（１）から（２９）に示した発明は、任意に組み合わせることができる。例えば、（１）に示した発明の全て又は一部の構成に、（２）以降の少なくとも１つの発明の少なくとも一部の構成を加える構成とするとよい。特に、（１）に示した発明に、（２）以降の少なくとも１つの発明の少なくとも一部の構成を加えた発明とするとよい。また、（１）から（２９）に示した発明から任意の構成を抽出し、抽出された構成を組み合わせてもよい。本願の出願人は、これらの構成を含む発明について権利を取得する意思を有する。また「～の場合」「～のとき」という記載があったとしても、その場合やそのときに限られる構成として記載はしているものではない。これらはよりよい構成の例を示しているものであって、これらの場合やときでない構成についても権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えたりした構成についても開示しているものであり、権利取得する意思を有する。

一態様によれば、所定の波長帯の電磁波のみに依らないで速度取締装置を検出することに関する技術を提供することができる。また、本発明の他の態様によれば、車両から撮影される所定の目標物の撮影画像をサーバに集約させることができる。さらに、本発明のさらに他の態様によれば、速度取締地点であることを示す目標物を検出する学習モデルを生成することに関する技術を提供することができる。

また、本願の発明の効果はこれに限定されず、本明細書及び図面等に開示される構成の部分から奏する効果についても開示されており、当該効果を奏する構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「～できる」と記載した箇所などは奏する効果を明示する記載であり、また「～できる」と記載がなくとも効果を示す部分が存在する。またこのような記載がなくとも当該構成よって把握される効果が存在する。

本発明の実施の形態の検出システムの構成を示す図である。本発明の実施の形態の物体検出処理の例を示す図である。本発明の実施の形態の物体検出処理の例を示す図である。本発明の実施の形態の物体検出処理の例を示す図である。本発明の実施の形態の物体検出処理の例を示す図である。本発明の実施の形態の検出方法のフローチャートである。本発明の実施の形態の機械学習方法のフローチャートである。

以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてもよい。

図１は、本発明の実施の形態のシステム１００の構成を示す図である。システム１００は、探知機１０と、車載機器（車両側装置ともいう。）としてのドライブレコーダ２０と、サーバ３０とを備えている。探知機１０及びドライブレコーダ２０は、車両に搭載される。車両は、例えば自家用の自動車や事業用の自動車があり、車種も乗用車、バス、トラック、フォークリフト等の特殊自動車である。サーバ３０は、車両とは別場所に設置される。ドライブレコーダ２０とサーバ３０とは、通信ネットワークを介した通信によって互いに情報を送受信することができる。通信ネットワークは、例えばＬＴＥ、４Ｇ、５Ｇ又はその他の方式の公衆の通信回線である。ドライブレコーダ２０は、無線通信によって携帯電話網等の通信ネットワークに直接又は間接に接続することができる。なお、図１の例では、サーバ３０に対して１つの車両に搭載される探知機１０及びドライブレコーダ２０を示しているが、１つのサーバ３０には多数の車両のドライブレコーダ２０が接続される。この場合、複数のドライブレコーダ２０が、それぞれ異なる車両に搭載されていることになる。

探知機１０は、速度取締装置から発信される所定の波長帯の電磁波を探知する。速度取締装置は、車両の速度取締地点に設置される装置である。車両の速度取締地点は、車両の速度と取締りが行われる地点である。速度取締地点は、あらかじめ速度取締装置が固定的に設置されてその地点が固定されている場合もあれば、比較的軽量かつ小型の速度取締装置が設置されてその地点が固定されていないような場合もある。速度取締装置は、車両の速度取締地点であることを示す目標物に相当する。電磁波は、例えば、マイクロ波で例示される所定の波長帯の電波（レーダ方式の電波）、又は赤外光で例示される所定の波長帯（例えば、９０５ｎｍ、８５０ｎｍ、９５０ｎｍ、１９００ｎｍ）の光（レーザ方式の光。例えば、パルス光）である。速度取締装置には、レーダ方式のものとレーザ方式のものとがあるが、本実施の形態の探知機１０は、このいずれにも対応している。このために、探知機１０は、レーダ探知部１１と、レーザ探知部１２とを備えている。レーダ探知部１１は、レーダ方式の速度取締装置から発せられるレーダ波長帯の電波を受信する受信部を備えている。レーダ探知部１１は、例えば、レーダ波長帯の電波の強度が閾値を超えている場合に、当該電波を探知したと判断するとよい。レーザ探知部１２は、レーザ方式の速度取締装置から発せられるレーザ波長帯の光を受光する受光部を備えている。レーザ探知部１２は、例えば、レーザ波長帯の光の強度が閾値を超えている場合に、当該光を探知したと判断するとよい。さらに探知機１０は、警報部１３を有してもよい。警報部１３は、所定の条件を満たすと、警報を発する。警報部１３は、例えば、ドライブレコーダ２０からの信号に応じて、警報を発してもよい。警報は、（例えば、音や表示、発光等の人が知覚可能な方法を用いて行われるとよい。探知機１０は、これら以外にも、操作入力を受け付ける操作部等を備えていてもよい。

探知機１０は、例えば、車両のダッシュボード上又はフロントガラスにおける上部付近等の、速度取締装置からの電磁波を受信可能な位置に設置される。探知機１０は、レーダ探知部１１にてレーダを探知したときは、警報部１３からその旨を示す警報を発する。また、探知機１０は、レーダを探知したときはその旨を示す信号をドライブレコーダ２０の制御部２４に出力する。探知機１０は、レーザ探知部１２にてレーザを探知したときは、警報部１３からその旨を示す警報を発する。また、探知機１０は、レーザを探知したときは、その旨を示す信号をドライブレコーダ２０の制御部２４に出力する。すなわち、ドライブレコーダ２０は、レーダ方式の速度取締装置を探知した場合と、レーザ方式の速度取締装置を探知した場合とに、車両内の人に警報する。車両内の人は典型的にはドライバである。以下、車両内の人をドライバとした場合について説明する。また、ドライブレコーダ２０は、レーダ方式の速度取締装置を探知した場合とレーザ方式の速度取締装置を探知した場合とを区別してドライブレコーダ２０に報告（通知）する。

ドライブレコーダ２０は、カメラ２１と、一次検出部２２と、位置情報取得部２３と、制御部２４と、出力部としての警報部２５と、通信部２６と、操作入力部２７とを備えている。ドライブレコーダ２０は撮影装置に相当する。カメラ２１は、車両の前方に向けて設置される。カメラ２１は、車両の前方の外を連続的に撮影し、時系列の撮影画像を生成する。撮影画像は、特に断りのない限り、静止画である。複数の撮影画像が時系列順に並べられることにより、動画形式のファイルが生成されてもよい。道路の上方や側方（路肩、道路脇）に設置されている速度取締装置は、カメラ２１によって撮影される。なお、カメラ２１は、例えば、全天球カメラ又は半天球カメラと呼ばれるものでもよい。

一次検出部２２は、カメラ２１で生成された撮影画像に対して、物体検出処理を行うことで、撮影画像から速度取締装置を検出する。一次検出部２２における速度取締装置の検出基準は、本実施形態では、後述する二次検出部３３における速度取締装置の検出基準よりも低い。換言すれば、一次検出部２２における誤検出の許容程度（即ち、目標物である速度取締装置以外の物を誤って速度取締装置として検出することを許容する程度）は、二次検出部３３におけるそれよりも大きい。これにより、二次検出で速度取締装置が検出される撮影画像については一次検出部２２にて極力漏れなく速度取締装置を検出することができる。

具体的には、一次検出部２２は、各種の速度取締装置について、あらかじめ用意された画像（特に、車載カメラから撮影して得られた画像）のパターンをバイナリデータとして記憶している。この速度取締装置の画像のパターンを示すバイナリデータは、第一機械学習モデルに相当する。そして、一次検出部２２は、撮影画像中の矩形の部分画像とバイナリデータとの一致度を求める。この一致度は、部分画像の物体が速度取締装置である確率、すなわち確からしさとして表現される。この確率が所定の閾値を超えている場合には、一次検出部２２は、当該撮影画像中に速度取締装置が含まれている（つまり、映っている）と判断する。一次検出部２２は、このようなパターンマッチングによって撮影画像中の速度取締装置を検出する。一次検出部２２は、撮影画像中から速度取締装置を検出した場合には、その撮影画像と検出結果を制御部２４に出力する。なお、パターンマッチング以外の方法で、一次検出部２２は機械学習モデルを用いた物体検出処理を行ってもよい。一次検出部２２は、撮影画像から画像特徴量を抽出し、この画像特徴量と、をあらかじめ規定された機械学習モデルとに基づいて、物体検出処理を行ってもよい。画像の特徴量としては、例えば、ＳＩＦＴ特徴量、ＳＵＲＦ特徴量又はその他の特徴量を用いることができる。このように、本実施形態では、一次検出部２２は、撮影画像の内容に基づいて目標物を検出する物体検出処理を行う。

位置情報取得部２３は、車両の位置情報を取得する。本実施の形態の位置情報取得部２３は、計算によって位置情報を取得する。具体的には、位置情報取得部２３は、複数のＧＰＳ衛星からのＧＰＳ信号を受信するＧＰＳ受信機を備え、受信した複数のＧＰＳ信号から所定の計算式によって計算をすることで、位置情報を得る。位置情報取得部２３は、取得した位置情報を制御部２４に出力する。なお、この位置情報は、高度情報を含んでいてもよい。

制御部２４は、ドライブレコーダ２０の各部を制御する（第一制御部に相当）。制御部２４は、例えば、演算処理回路、及びメモリを含むマイクロコンピュータである。演算処理回路は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、又はその他の演算処理回路を含む。メモリは、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）又はその他の揮発性のメモリを含む。演算処理回路は、メモリにデータを一時的に読み出して演算処理を行うことにより、各種の制御を行う。制御部２４は、主に警報部２５及び通信部２６を制御する。制御部２４は、一次検出部２２から速度取締装置が検出された撮影画像を得て、位置情報取得部２３から車両の位置情報を取得して、さらに、探知機１０からレーダ又はレーザの探知結果を取得する。制御部２４は、一次検出部２２から速度取締装置を検出した旨の結果を得た場合には、対応する撮影画像と、その撮影をしたときの位置情報及びレーダ又はレーザの探知結果とを一組のデータとして、通信部２６を制御して通信部２６からサーバ３０に送信する。なお、制御部２４は、一次検出部２２から速度取締装置を検出した旨の結果を得た場合において、探知機１０からレーダ又はレーザを検出した旨の探知結果を受けていないときは、撮影画像と位置情報に、レーダ及びレーザは探知されなかった旨の情報を付して、一組のデータとする。

出力部としての警報部２５は、一次検出部２２が速度取締装置を検出した場合に、制御部２４の制御に従って、警報を出力する。警報部２５は、ブザー音を出力するブザーであってよい。あるいは、警報部２５は、速度取締装置の存在をドライバに知らせるための所定の警報音声を出力する音声出力装置であってもよい。この場合に、警報音声は、電子音のメロディであってもよいし、言語メッセージであってもよい。また、警報部２５は、液晶パネル等の表示パネルを備え、当該表示パネルに警報の画像を表示するものであってもよい。さらに、警報部２５は、点灯の有無ないしは点灯色によって速度取締装置の存在をドライバに知らせるランプであってもよい。さらに、警報部２５は、上記のような聴覚や視覚に訴えるものに限らず、ドライバのその他の知覚（例えば、触覚）に訴えることで速度取締装置の存在をドライバに知らせるものであってもよい。

警報出力部２５は、ドライブレコーダ２０において警報を出力するための構成に代えて又は加えて、探知機１０を介して警報を出力してもよい。この場合、警報出力部２５は、探知機１０と有線又は無線の通信路を介して接続するためのインタフェースを備える。制御部２４は、探知機１０を介して警報を発するための信号を、警報部２５から探知機１０に出力する。探知機１０において警報部１３は、この信号を受信したことに応じて警報を発する。警報部１３の警報は、上述した方法で行われるとよい。例えば、探知機１０がダッシュボードに設置されるモニタ型の装置であれば、表示による警報を探知機１０において行うと、ドライバにとっては、警報に関する表示を目視しやすい場合がある。

通信部２６は、本実施の形態では、無線ＬＡＮモジュールである。通信部２６は、モバイルルータやテザリング機能付きスマートフォンに無線ＬＡＮ接続することで、モバイルルータやテザリング機能付きスマートフォンを介して広域の通信ネットワークである携帯電話通信網に接続される。あるいは、通信部２６は、携帯電話通信網に直接接続される通信モジュールであってもよい。この場合には、この通信モジュールにはＳＩＭカードが設置されて、ＳＩＭカードに対応した携帯電話通信網を介して広域の通信ネットワークに接続される。

本実施の形態では、通信部２６は、制御部２４の制御に従って、特に、サーバ３０との間で通信を行う。具体的には、通信部２６は、上記のように、一次検出部２２にて速度取締装置をしたときの撮影画像、位置情報、及びレーダ又はレーザの検出結果を一組のデータとしてサーバ３０に送信する。また、通信部２６は、後述する二次検出部３３での二次検出において速度取締装置が検出された場合に、その旨の報告をサーバ３０から受信する。

制御部２４は、一次検出部２２にて撮影画像から速度取締装置を検出した旨の報告を受けたとき、探知機１０からレーダ又はレーザを探知した旨の報告を受けたとき、及び通信部２６にてサーバ３０から二次検出において速度取締装置を検出した旨の報告を受信したときに、警報部２５を制御して、警報を出力する。このとき、警報出力の原因（即ち、一次検出部２２からの報告であるか、レーダ探知部１１からの報告であるか、レーザ探知部１２からの報告であるか、探知機１０からの報告であるか、それらが複数同時に該当するか、サーバ３０からの報告であるか等）によって、異なる内容の警報を出力してよい。

さらに、例えば、一次検出部２２のみで速度取締装置を検出、探知機１０のみで速度取締装置を検出、一次検出部２２及び探知機１０の両方で速度取締装置を検出、サーバ３０で速度取締装置を検出の順に警戒レベルが高くなるように、警報の内容を設定してよい。例えば、警報を音声で出力する場合に、警戒レベルが高いほど音量を大きくしてよい。また、例えば、警報を画像で表示する場合に、警戒レベルに応じた色で画像を表示してもよい。

なお、制御部２４は、一次検出部２２にて撮影画像から速度取締装置を検出した旨の報告を受けただけでは警報を出力せず、探知機１０からレーダ又はレーザを探知した旨の報告を受けただけでも警報を出力せず、一次検出部２２にて撮影画像から速度取締装置を検出した旨の報告を受けるとともに、探知機１０からもレーダ又はレーザを探知した旨の報告を受けた場合に警報を出力するようにしてもよい。なお、この場合にも、通信部２６にてサーバ３０から二次検出において速度取締装置を検出した旨の報告を受信したときは、一次検出部２２及び探知機１０からの報告に関わらず警報を出力してよい。

操作入力部２７は、ドライバが行った操作が入力される。操作入力部２７は、例えば、押下方式若しくはその他の方式の物理ボタン、タッチセンサ若しくは近接センサの操作又はその他の操作装置を備えてもよい。操作入力部２７は、音声操作又はジェスチャ操作の入力を受け付けてもよい。操作入力部２７は、音声操作の入力を受け付ける場合は例えばマイクロホンを有し、ジェスチャ操作を受け付ける場合は例えばカメラ又は光学センサを有するとよい。操作入力部２７は、ドライブレコーダ２０外の装置（例えば、探知機１０又は所定の機能を割り当てたワンタッチボタン）から、ドライバの操作を示す操作信号の入力を受け付けてもよい。これ以外にも、ドライブレコーダ２０は、車両の状態に関する情報（つまり、車両情報）を取得するために、車両に設けられたＯＢＤ２コネクタと接続するための端子部を有してもよい。ドライブレコーダ２０は、加速度センサ、照度センサで例示される各種センサを必要に応じて備えてもよい。

サーバ３０は、通信部３１と、制御部３２と、二次検出部３３と、記憶部３４と、学習部３５とを備えている。通信部３１は、通信モジュールであり、ドライブレコーダ２０から送信されてきた情報を受信し、ドライブレコーダ２０に対して情報を送信する。通信部３１は、特に、ドライブレコーダ２０から送信されてきた撮影画像、位置情報、及びレーダ及びレーザの探知の有無の情報からなる一組のデータを受信する。また、通信部３１は、二次検出部３３における検出結果をドライブレコーダ２０に送信する。

制御部３２は、通信部３１、二次検出部３３、記憶部３４、及び学習部３５を制御する（第二制御部に相当）。制御部３２は、例えば、演算処理回路、及びメモリを含むマイクロコンピュータである。制御部３２は、通信部３１にてドライブレコーダ２０から一組のデータを受信した場合に、二次検出部３３に撮影画像に対する二次検出を行わせる。また、制御部３２は、二次検出部３３にて二次検出の結果、速度取締装置が検出された場合に、その二次検出の結果と、当該撮影画像とともに受信した位置情報とを対応付けて記憶部３４に記憶するとともに、当該撮影画像を正例として学習部３５に記憶する。

二次検出部３３は、撮影画像に対して、物体検出処理を行うことで、撮影画像から速度取締装置を検出する。二次検出部３３は、一次検出部２２とは異なるアルゴリズムにより物体検出を行う。本実施形態では、二次検出部３３は、ＣＮＮ（Convolutional Neural Network）等の機械学習モデル（第二機械学習モデルに相当）を用いて物体検出を行う。二次検出部３３は、具体的には、機械学習モデルとして、深層学習モデルを用いる。ドライブレコーダ２０から送信されてくる撮影画像は、すでにドライブレコーダ２０の一次検出部２２にて速度取締装置が検出されている画像であるので、二次検出部３３では、一次検出部２２より高精度に速度取締装置を検出する。すなわち、二次検出部３３では、一次検出部２２にて速度取締装置であると誤認された物体が速度取締装置でないことを判定する。

二次検出部３３が用いる機械学習モデルは、速度取締装置の種類も判別可能である。速度取締装置には、Ｈシステム、ＬＨシステム、速度警告安全システム、可搬式、半可搬式などと呼ばれる複数の種類があるが、二次検出部３３は、撮影画像からこれらの速度取締装置を検出するとともにその種類も判別する。二次検出部３３は、深層学習モデルによって、撮影画像の部分画像に含まれる物体が各タイプの速度取締装置である確率、即ち確からしさを取得する。この確率が最も高く、かつ所定の閾値を超えている場合には、当該最高確率の大部の速度取締装置があると判定する。いずれのタイプの速度取締装置の確率も閾値を超えない場合には、当該部分画像には速度取締装置はないと判断する。

図２Ａ～図２Ｄは、二次検出部３３における物体検出処理の例を示す図である。図２Ａ～図２Ｄの例では、それぞれ異なるタイプ（タイプ１～４）の速度取締装置が検出されている。二次検出部３３は、撮影画像内において速度取締装置が検出された領域を特定するとともに、その領域に判別したタイプのラベルを付す。二次検出部３３は、図２Ａ～図２Ｃに示すように、道路わきに設置された速度取締装置のほか、図２Ｄに示すように、道路上に設置された速度取締装置も検出する。

記憶部３４は、二次検出部３３において撮影画像から速度取締装置が検出されると、速度取締装置が存在する旨の情報及びその速度取締装置のタイプの情報と、当該速度取締装置が検出された撮影画像が得られたときの車両の位置情報とを関連付けたデータを取締共有データとして記憶するデータベースである。記憶部３４には、さらに、地図情報も記憶されており、速度取締装置が存在する旨の情報及びそのタイプの情報が、それに対応付けられた位置情報に対応する地図上の地点に配置された形式で（地図上の地点情報と関連付けて）記憶されている。すなわち、記憶部３４は、速度取締装置の分布マップを記憶している。

学習部３５は、二次検出部３３で用いられる機械学習モデルを生成するための機械学習を行う。なお、学習部３５における学習は、上記の他の構成とは非同期で行われてよい。よって、サーバ３０は、この機械学習に用いるための学習データのみを記憶ないし出力するものであって、学習部３５は学習装置としてサーバ３０以外の装置に備えられていてもよい。学習部３５を中心とする機械学習のための処理を行うシステム１００は、機械学習システムとして捉えることができ、サーバ３０は学習装置として捉えることもできる。

学習部３５は、速度取締装置を撮影した複数の画像の各画像を当該画像に速度取締装置が含まれていることに関連付けた教師データとして用いて学習を行う。学習部３５は、様々なタイプの速度取締装置を撮影した複数の撮影画像の各撮影画像に、正例であることを示すラベルを付して、学習用データとしての教師データを生成する。また、教師データとして用いられる撮影画像は、例えば、撮影画像は、速度取締地点で取締りを行う警察官等の人物、速度取締地点に停められていることがある警察車両等の車両、及び速度取締地点として設定される可能性の高い地点を撮影した風景（例えば、街並み）の少なくともいずれかを含むものとするとよい。これらは速度取締装置とともに映る可能性が比較的高い要素であるから、この撮影画像を学習用データとして用いることにより、より良質な機械学習モデルを生成できる効果が期待できる。正例の教師データには、撮影画像に速度取締装置の矩形領域と当該速度取締装置のタイプのラベルが付されたデータである。

さらに、速度取締装置に外観上類似するが、速度取締装置でない対象物を含む撮影画像が、負例の教師データとして用いられるとよい。このような対象物として、ゲート型の構造物（例えば、門形状の構造物。図２Ｄ参照）ある。このような構造物は、Ｈシステムに見かけ上類似していることがあるからである負例の教師データには、撮影画像に速度取締装置と誤認した物体の矩形領域と非速度取締装置のラベルが付されたデータである。ラベルは、例えば、サーバ３０を管理する管理者側で、例えば手動又は自動で付されるとよい。このようにすれば、撮影画像からより良質な機械学習モデルを生成できる効果が期待できる。

撮影画像にラベルを付す作業の少なくとも一部を自動化するための手段として、例えば、以下の手段が採用されてもよい。学習部３５は、二次検出部３３における二次検出の結果とドライブレコーダ２０から送られてきた探知機１０による探知結果とに基づいて、撮影画像にラベルを付して、学習部３５における学習用データとしての教師データを生成する。

具体的には、学習部３５は、二次検出部３３で速度取締装置が検出され、探知機１０による探知結果でも所定の波長帯の電磁波が探知されている場合には、その撮影画像を正例の教師データとする。正例の教師データには、撮影画像に速度取締装置の矩形領域と当該速度取締装置のタイプのラベルが付されたデータである。学習部３５は、二次検出部３３で速度取締装置が検出されたが、探知機１０による探知結果では所定の波長帯の電磁波が探知されていない場合には、見た目は速度取締装置に近いが実際には速度取締装置でない物体を二次検出部３３で誤って速度取締装置として検出したものであり、よって、その撮影画像を負例の教師データとする。なお、負例の教師データには、撮影画像に速度取締装置と誤認した物体の矩形領域と非速度取締装置のラベルが付されたデータである。

学習部３５は、二次検出部３３で速度取締装置が検出されなかった場合には、その撮影画像を学習用データとしては採用しない。これは、二次検出部３３で速度取締装置が検出されなかった撮影画像には、一次検出で速度取締装置と誤認する程度の物体はあるが、二次検出ではすでに速度取締装置ではないと判断できている撮影画像であるため、負例としてはあまり良質でないからである。なお、二次検出部３３で速度取締装置が検出されなかった場合にも、探知機１０による探知結果では所定の波長帯の電磁波が探知されていた場合は、速度取締装置が実際にはあるという可能性もあるが、一方で、探知機１０が自動販売機等の速度取締装置以外の発生源からの電磁波を探知した可能性もあるため、やはり撮影画像を学習用データとしては採用しない。

学習用データとして用いられる複数の撮影画像は、速度取締装置を複数の異なる方向の各方向から撮影した画像を含んでいることが望ましい。複数の異なる方向は、正面側の面、及び少なくとも１つの側面を撮影可能な方向を含むとよく、特に、速度取締装置を正面よりもやや斜め前方から見た方向を含むようにするとよい。また、移動式（例えば、可搬式及び半可搬式）の速度取締装置（図２Ｂ参照）について、複数の異なる方向の各方向から撮影した画像を含んでいることが望ましい。このような移動式の速度取締装置は、路肩に配置され、斜め前方から撮影される機会が固定式の速度取締装置よりも多いと考えられるからである。この場合、車両が比較的速度取締装置から離れている場合には、速度取締装置の正面側の面が撮影されやすいが、車両が比較的速度取締装置に近い場合には、速度取締装置の正面側の面が撮影されにくくなり、側面（例えば、車両の進行方向に対して正面及び右側面の一部）が撮影されやすくなる。よって、速度取締装置を複数の方向の各方向から撮影した画像を含んでいることにより、車両と速度取締装置との距離による速度取締装置の検出精度の変化を抑えた良質な機械学習モデルを生成できる効果が期待できる。この意味では、学習用データとして用いられる複数の撮影画像は、速度取締装置を複数の異なる距離の各距離で撮影した画像を含んでいることによっても、車両と速度取締装置との距離による速度取締装置の検出精度の変化を抑えた良質な機械学習モデルを生成できる効果が期待できる。なお、正例の教師データとして用いる撮影画像を以上のようにしてもよい。

学習部３５は、以上説明したような正例及び負例の教師データを学習データとして用いて深層学習を行い、深層学習モデルである機械学習モデルを生成する。二次検出部３３は、学習部３５で生成された機械学習モデルを用いて二次検出を行うことで、二次検出の精度を向上できる。

図３は、本発明の実施の形態の検出方法のフローチャートである。図１では、システムが探知機１０を含む例を説明したが、図３の検出方法の説明では、この探知機１０を用いない例を説明する。図３において、左の列はドライブレコーダ２０における処理であり、右の列はサーバ３０における処理である。

まず、ドライブレコーダ２０は、カメラ２１で車両の前方を撮影する（ステップＳ２１）。一次検出部２２は、機械学習モデル（例えば、パターンマッチング用）を用いてカメラ２１で得られた撮影画像から速度取締装置を検出する（ステップＳ２２）。制御部２４は、一次検出部２２における一次検出で速度取締装置が検出されたかを判断して（ステップＳ２３）、速度取締装置が検出されない場合は（ステップＳ２３でＮＯ）、続けてカメラ２１に撮影をさせる（ステップＳ２１）。

制御部２４は、一次検出部２２における一次検出で速度取締装置が検出された場合には（ステップＳ２３でＹＥＳ）、警報部２５に警報（第一警報）を出力させ（ステップＳ２４）、位置情報取得部２３から位置情報を取得する（ステップＳ２５）。そして、制御部２４は、通信部２６を制御して、速度取締装置が検出された撮影画像と、そのときの位置情報とを含むデータをサーバ３０に送信する（ステップＳ２６）。

サーバ３０の通信部３１は、ドライブレコーダ２０から送信されてきたデータを受信する（ステップＳ３１）。制御部３２は、二次検出部３３を制御して、二次検出部３３に、受信した撮影画像から速度取締装置を検出する物体検出処理を行わせる（ステップＳ３２）。二次検出部３３は、深層学習モデルである機械学習モデルを用いて撮影画像から速度取締装置を検出する。制御部３２は、二次検出部３３で速度取締装置を検出したか否かを判断し（ステップＳ３３）、速度取締装置が検出されなかった場合は（ステップＳ３３でＮＯ）、処理を終了する。この結果、ドライブレコーダ２０では、一次検出に基づく警報を出力するのみで処理が終了する。

二次検出部３３で速度取締装置が検出された場合には（ステップＳ３３でＹＥＳ）、記憶部３４は、速度取締装置の種類と、当該速度取締装置が検出された撮影画像とともに送られてきた位置情報とを関連付けて記憶する（ステップＳ３４）。また、この場合には、制御部３２は、通信部３１を制御して、二次検出にて速度取締装置が検出された旨、及びその速度取締装置の種類を含む検出結果のデータをドライブレコーダ２０に送信する（ステップＳ３５）。

ドライブレコーダ２０の通信部２６は、サーバ３０からのデータを受信する（ステップＳ２７）。制御部２４は、このデータの受信に応じて、警報部２５を制御して、警報（第二警報）を出力し（ステップＳ２８）、処理を終了する。この第二警報は、第一警報とは内容が異なっており、車両のドライバは、第二警報であることを確認できる。

図４は、本発明の実施の形態の機械学習方法のフローチャートである。以下では、撮影画像にラベルを付す処理を自動化した場合の動作を説明する。学習装置としてのサーバ３０は、通信部３１にてドライブレコーダ２０から撮影画像と探知機１０による探知結果とを受けると、二次検出部３３は二次検出を行う（ステップＳ４１）。学習部３５は二次検出の結果と探知結果とに基づいて、二次検出の結果を学習用データとして記憶する。具体的には、学習部３５は、二次検出部３３で速度取締装置が検出され（ステップＳ４２でＹＥＳ）、かつ探知機１０による探知結果でも所定の波長帯の電磁波が探知されている場合には（ステップＳ４３でＹＥＳ）、その撮影画像を正例の教師データとして記憶する（ステップＳ４４）。

学習部３５は、二次検出部３３で速度取締装置が検出されたが（ステップＳ４２でＹＥＳ）、探知機１０による探知結果では所定の波長帯の電磁波が探知されていない場合には（ステップＳ４３でＮＯ）、その撮影画像を負例の教師データとして記憶する（ステップＳ４５）。学習部３５は、二次検出部３３で速度取締装置が検出されなかった場合には、その撮影画像を学習用データとしては採用しない（ステップＳ４６）。

学習部３５は、学習を実行するための条件を満たすか否かを判断する（ステップＳ４７）。学習部３５は、学習用データが所定の数以上蓄積したことを学習実行の条件とする。女権を満たす場合には（ステップＳ４７でＹＥＳ）、学習部３５は、蓄積された正例及び負例の教師データを含む学習用データを用いて、機械学習モデルを生成するための学習を実行する（ステップＳ４８）。

学習部３５の学習方法として、さらに以下の方法が採用されてもよい。
システム１００は、ドライバが目視にて速度取締装置を確認した場合に、この速度取締装置に関する情報を投稿する機能を有してもよい。例えば、ドライバは、目視にて速度取締装置を確認した場合、操作入力部２７を用いて所定の操作（投稿操作）を行う。制御部２４は、投稿操作を受け付けたことに応じて、当該投稿操作を受け付けたときに撮影された撮影画像（例えば、最新の撮影画像）をカメラ２１から取得する。制御部２４は、この取得した撮影画像を、投稿操作を受け付けた旨のデータとともに通信部２６からサーバ３０に送信する。サーバ３０において通信部３１は、これらのデータを受信することにより投稿を受け付ける。制御部３２は、受信したデータを、学習部３５に供給する。学習部３５は、撮影画像を、速度取締装置が含まれていることに関連付けた正例の教師データとして用いて、教師あり学習を行う。ドライバにより速度取締装置に関する情報が投稿された場合、撮影画像には速度取締装置が含まれている可能性が高い。よって、この撮影画像を用いて教師あり学習を行えば、より良質な深層学習モデルを生成でき、例えば新たなタイプの速度取締装置が登場した場合にこれに対応する効果が期待できる。また、ドライブレコーダ２０は、投稿操作により速度取締装置の種類や、速度取締装置の位置情報を入力可能に構成されてもよい。この場合も、ドライブレコーダ２０は入力されたデータをサーバ３０に送信する。サーバ３０は、このデータを記憶部３４に記憶する。

この速度取締装置に関する情報を投稿する機能に関して、制御部２４は、投稿操作を受け付けたことに応じて、当該投稿操作を受け付けたときに撮影された撮影画像（例えば、最新の撮影画像）と、当該操作を受け付けたときの（例えば、投稿操作のタイミングから前及び後の少なくとも一方の所定期間の）レーダ又はレーザの探知結果とを一組のデータとして、通信部２６からサーバ３０に送信してもよい。そして、制御部３２は、この一組のデータを、学習部３５に供給する。学習部３５は、探知結果に基づいて、撮影画像がレーダ又はレーザが受信されたときに撮影されたと判断した場合は、この撮影画像に速度取締装置が含まれていることに関連付けた正例の教師データとして用いて、教師あり学習を行う。さらに、学習部３５は、探知結果に基づいて、撮影画像がレーダ又はレーザが受信されていないとき（例えば、強度が閾値以下である場合を含む。）に撮影されたと判断した場合は、この撮影画像に速度取締装置が含まれていないことに関連付けた負例の教師データとして用いて、教師あり学習を行ってもよい。ドライバにより速度取締装置に関する情報が投稿された場合に、レーダ又はレーザが探知されていれば、撮影画像に実際に速度取締装置が撮影されている可能性が高い。反対に、レーダ又はレーザが探知されていなければ、ドライバの見間違い等の原因により、撮影画像に実際に速度取締装置が撮影されていない可能性が比較的高い。このように、撮影画像と、レーダ又はレーザの探知結果とを用いて学習を行えば、より良質な深層学習モデルを生成できる。

この速度取締装置に関する情報を投稿する機能に関しては、特定のドライバに絞って利用できるようにしてもよい。例えば、システム１００では、これまでの投稿数に応じて（例えば、投稿数が閾値を超えていること）、又は過去に投稿した情報に対する信頼度に応じて（例えば、信頼度が閾値を超えている）、特定のドライバからの投稿を受け付けて学習に用いるとよい。信頼度は、例えば、投稿された情報が他のドライバにより正しいと判断され、その旨の操作を行ったドライバの数である。このようにすれば、より良質な深層学習モデルを生成できる。

また、システム１００は、警報をした場合のドライバからの応答の入力を取得し、その応答の結果に応じて学習する機能を有してもよい。警報部２５が警報を出力した場合において、ドライバは、実際に速度取締装置を目視にて確認することができた場合、操作入力部２７を操作して、警報が正しい旨の応答の入力を行う。一方で、ドライバが速度取締装置を目視にて確認することができない場合、この警報は誤報の可能性がある。ドライバは、警報が誤報であると判断した場合、操作入力部２７を操作して、誤報である旨の応答の入力を行う。制御部２４は、これらのいずれかの操作を受け付けたことに応じて、当該操作を受け付けたときに撮影された撮影画像（例えば、最新の撮影画像）をカメラ２１から取得する。制御部２４は、この取得した撮影画像を、ドライバからの応答の結果と関連付けたデータを、通信部２６からサーバ３０に送信する。サーバ３０において通信部３１は、このデータを受信する。制御部３２は、受信したデータを、学習部３５に供給する。学習部３５は、この撮影画像を、応答の結果に応じて、警報が正しい場合は正例の教師データとして、誤報である場合は負例の教師データとして用いて教師あり学習を行う。このようにすれば、学習部３５は、ドライバからの応答を反映した深層学習モデルにすることで、より良質な深層学習モデルを生成することができる。特に、誤報のときに撮影された撮影画像を負例の教師データとすると、速度取締装置に外観上類似する構造物等があり、誤った警報が行われた場合において、この誤報を軽減するような深層学習モデルを生成できる効果が期待できる。

警報に関しては、以下のようにしてもよい。
ドライブレコーダ２０において制御部２４は、車両の速度が閾値以下（例えば、３０ｋｍ／ｈ以下）である場合は、速度取締装置が検出されたときであっても、警報部２５から警報を出力しないようにしてもよい。例えば、制御部２４は、車両の速度が閾値以下である場合は、一次検出部２２に速度取締装置の検出を行わせないようにする。警報部２５は、警報を出力しないことに代えて、車両の速度が閾値よりも大きい場合に比べて警報のレベルを低くしてもよい。例えば、車両の速度が閾値である場合、車両が速度違反をしている可能性は低く、安全運転がなされていると推測される。よって、ドライブレコーダ２０が警報を出力しない又は警報のレベルを下げたとしても、ドライバにとって不都合は少ないと考えられるからである。閾値は、例えば車両が走行する道路の法定速度としてもよい。ドライブレコーダ２０は、車両の速度を、車両に設けられたＯＢＤ２コネクタを介して取得してもよいし、車速センサを用いて取得してもよい。

このようにして生成される機械学習モデルは、画像が入力される入力層と、前記画像に速度取締装置が含まれている確度に応じたデータを出力する出力層と、複数の画像の各画像を入力とし、当該画像に速度取締装置が含まれている確度に応じたデータを出力とする教師データを用いてパラメータが学習された少なくとも１つの中間層と、を有するとよい。パラメータの学習は、上記の学習部３５の学習により行われる。このようにすれば、画像から速度取締装置を検出するための機械学習モデルを提供することができる。確度に応じたデータは、当該確度によって変化するデータで、画像に速度取締装置が含まれていると判断される確率を示す値であってもよい。この場合、当該確率が閾値を超えている場合に、画像に速度取締装置が含まれていると判断される。これに限られず、画像に速度取締装置が含まれている確度を示すデータは、画像に速度取締装置が含まれているか否かを示す情報であってもよい。このような深層学習モデルを用いて二次検出を行う二次検出部３３は、深層学習モデルにドライブレコーダ２０で撮影された画像を入力層に入力し、中間層にて演算し、出力層から出力されたデータに基づいて、速度取締装置を検出したか否かを判断する。

以上のように、本発明の実施の形態のシステム１００によれば、探知機１０のみで速度取締装置を探知して警報を出力するのではなく、カメラ２１で得られた撮影画像から一次検出部２２及び二次検出部３３で機械学習モデルを用いて速度取締装置を検出することで速度取締装置の存在を認識するので、自動ドア等の速度取締装置以外の電磁波発生源を速度取締装置として探知して警報（誤報）を出してしまう可能性を低減できる。

また、本発明の実施の形態のシステム１００は、ドライブレコーダ２０とサーバ３０とを備え、車載機器であるドライブレコーダ２０で一次検出をした上で、一次検出によって速度取締装置が検出された撮影画像について、サーバ３０で二次検出を行う。よって、ドライブレコーダ２０における検出処理の負荷を軽減したうえで、ドライブレコーダ２０からサーバ３０への撮影画像の送信にかかる通信負荷を軽減でき、かつ、サーバ３０において比較的処理負荷の大きい検出処理を行うことができる。仮にドライブレコーダ２０のマイコンが小さい等の理由で、深層学習モデルを用いた処理を実行する能力を有しない、又は実行するのが困難である（例えば、処理時間が長い）場合であっても、ドライブレコーダ２０は深層学習モデルを用いた検出処理の処理結果を得ることができる。サーバ３０においては、一次検出で撮影画像から速度取締装置が検出された場合に、深層学習モデルを用いて速度取締装置の検出処理を行うので、全ての撮影画像について検出処理を行う場合に比べて、処理負荷を軽減できる。また、ドライブレコーダ２０が深層学習モデルを備える必要がなく、例えば、当該深層学習モデルを複数のドライブレコーダで共用することもできる。このようにすれば、移動式の速度取締措置が設置された場所を、車両が初めて走行する場合でも、ドライブレコーダ２０は警報を出力することができる。よって、ドライバの安全運転を支援することができる。

また、本発明の実施の形態のシステム１００では、速度取締装置の検出精度が比較的低い一次検出にて速度取締装置が検出された場合にも警報を出力するとともに、速度取締装置の検出精度が比較的高い二次検出にて速度取締装置が検出された場合には、一次検出された場合とは異なる警報を出力するので、早期の警報と精度の高い警報とを車両のドライバに提供できる。

また、本発明の実施の形態のシステム１００では、撮影画像に対する機械学習モデルを用いた検出の結果と探知機による探知の結果とを用いて学習用データを取得すれば、人が正例であるか負例であるかを判別することなく正例及び負例の学習用データを自動で用意することができる。もっとも、人が正例であるか負例であるかを判別して学習用データが生成されるようにすれば、システム１００は、良質な深層学習モデルを生成することができる。

ドライブレコーダ２０は一次検出に基づく警報及び二次検出に基づく警報の少なくとも一方をしないようにしてもよい。ドライブレコーダ２０が，一次検出に基づく警報をしないようにすれば、速度取締装置が実際には存在しないにも関わらず、警報が発生する可能性が低くなる。ドライブレコーダ２０が二次検出に基づく警報をしないようにようにすると、例えば、ドライブレコーダ２０の能力や、通信ネットワークの品質等によって、ドライブレコーダ２０とサーバ３０との通信時間が長い場合や、その他の原因により、ドライブレコーダ２０が撮影から二次検出の結果を得るまでの時間が長い場合に、誤ったタイミングで当該警報をしなくて済む。

上記の実施の形態で説明した各機能を実現する主体（各処理を実行する主体）については、種々の変形が可能である。例えば、上記の実施の形態でドライブレコーダ２０が行っていた処理を、別の車載機器である探知機１０が行うようにしてもよい。例えば、探知機１０の制御部は、ドライブレコーダ２０から撮影画像を取得して一次検出を行い、速度取締装置を検出した場合は、その撮影画像をサーバ３０に送信してもよい。探知機１０の制御部は、サーバ３０からのデータを受信するとこのデータの受信に応じて、警報部１３を制御して、警報（第二警報）するとよい。また、車載機器はドライブレコーダ及び探知機に限られず、車両に搭載されるカーナビゲーション装置、スマートフォン及びタブレット型コンピュータで例示される情報処理装置（例えば、カーナビゲーション装置として機能する情報処理装置であって車両に設置されたもの）、又はその他の車両に搭載される機器であってもよい。また、車両の外を撮影するカメラは、デジタルビデオカメラ又はその他の撮影装置が有するカメラであってもよい。

車載機器が、一次検出及び二次検出を行ってもよい。この場合、車載機器は、一次検出で撮影画像から速度取締装置が検出した場合に、深層学習モデルを用いて速度取締装置の検出処理を行うので、全ての撮影画像について検出処理を行う場合に比べて、車載機器における処理負荷を軽減できる。また、車載機器とサーバとの通信ネットワークを通信に要する時間を考慮しなくてよいので、二次検出に基づく警報を的確なタイミングで行う上でも望ましい。また、車載機器は、一次検出及び二次検出を行って速度取締装置を検出したと判断した場合は、その検出をしたときの車両の位置を示す位置情報を、サーバ３０に送信してもよい。また、一次検出及び二次検出という二段階の物体検出処理を行うのではなく、一段階又は三段階以上の物体検出処理が行われるとよい。一段階の場合は、例えば、深層学習モデルを用いた物体検出処理が行われるとよい。三段階以上の物体検出処理は、それぞれ異なるアルゴリズムで（例えば、それぞれ異なる機械学習モデルを用いて）、物体検出処理が行われるとよい。

上記の実施の形態では、システム１００は、ドライブレコーダ２０とサーバ３０とを備えていたが、車載機器単体でシステム１００が構成されてもよい。この場合には、検出部は１つのみであってもよく、この検出部において、例えば深層学習モデルを用いた精度の高い物体検出を行ってよい。この場合も、車載機器が、一次検出及び二次検出を行ったり、速度取締装置の位置情報を記憶し、これを更新したりしてもよい。また、車載機器は、他の車載機器にこの位置情報を、例えば車両間の通信により送信して、これを複数の車両で共有してもよい。

このように、システムは、車両の外を撮影した画像から、機械学習モデルを用いて速度取締地点であることを示す目標物を検出する検出部と、前記検出部における検出結果に基づいて制御を行う制御部と、を備えた構成を有していればよい。

また、上記の実施の形態の一次検出部２２及び二次検出部３３では、上述のように、撮影画像に速度取締装置が存在するか否かが確率で得られる。すなわち、撮影画像内の矩形枠内の物体が速度取締装置である確かさが確率で得られる。そこで、警報部２５は、この確からしさに応じて警報レベルを用意して、対応する警報レベルに応じた警報を出力してよい。例えば、警報が音声である場合には警報レベルに応じて音声の大きさを調節してもよい。

また、上記の実施の形態では、システム１００は、目標物として速度取締装置を検出し、サーバ３０では、速度取締装置の分布マップを生成したが、システム１００は、速度取締装置以外の目標物について、同様の処理を行って分布マップを生成してよい。例えば、各種のランドマークを目標物をとすることで、システム１００は、ＰＯＩ（Point of Interest）の分布マップを生成することができる。

ドライブレコーダ２０においては、自装置（車両）が置かれる環境に応じて、撮影画像に対する物体検出処理の結果に応じて警報の出力の可否を制御してもよい。ドライブレコーダ２０の制御部２４は、例えば、車両が比較的暗い環境で走行していることをセンサで出している場合（例えば、照度センサにより測定された照度が閾値である場合）、又は夜間等の周辺環境が暗い所定時間帯である場合には、物体検出処理の結果に応じて警報の出力を制限してもよい（例えば、出力を停止する）。換言すると、制御部２４は、例えば、車両が比較的明るい環境で走行していることをセンサで検出している場合（例えば、照度センサにより測定された照度が閾値を超えている場合）、又は昼間等の周辺環境が明るい所定時間帯である場合には、物体検出処理の結果に応じて警報の出力を制限してもよい。さらに、システム１００では、物体検出処理の結果に応じた警報の出力を制限している期間は、探知機１０においてレーダ又はレーザが探知された場合に、警報を出力してもよい。この警報は、物体検出処理の結果に応じた警報とは異なるものとしてもよい。このようにすれば、ドライブレコーダ２０は、車両が速度取締装置を撮影画像から検出しやすい環境の下で走行している場合に、物体検出処理の結果に応じて警報を出力するので、不要な処理の削減、又は誤った警報の出力が発生する可能性が低減する効果が期待できる。もっとも、ドライブレコーダ２０が暗視カメラの撮影画像を用いる方法又はその他の方法により、車両が比較的暗い環境で走行している場合には、そのような環境下でも、物体検出処理の結果に応じて警報を出力することが望ましい。

上記の実施の形態として、速度取締地点であることを示す目標物が、速度取締装置である場合を説明した。速度取締地点であることを示す目標物は、これに代えて又は組み合わせて。速度取締地点で取締りを行う警察官等の人物、速度取締地点に停められていることがある警察車両等の車両、及び速度取締地点として設定される可能性の高い地点を撮影した風景（例えば、街並み）の少なくともいずれかを含むものとするとよい。特に、警察官は制服を着用していることがあり、警察車両は特有の外観を有しているから、これを手掛かりに、上述した物体検出処理によって検出することができると考えられる。

なお、本発明の範囲は、明細書に明示的に説明された構成や限定されるものではなく、本明細書に開示される本発明の様々な側面の組み合わせをも、その範囲に含むものである。本発明のうち、特許を受けようとする構成を、添付の特許請求の範囲に特定したが、現在の処は特許請求の範囲に特定されていない構成であっても、本明細書に開示される構成を、将来的に特許請求の範囲とする意思を有する。

本願発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変形例の任意の構成要素と、発明を解決するための手段に記載の任意の構成要素又は発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正又は分割出願等において権利取得する意思を有する。また「～の場合」「～のとき」という記載があったとしてもその場合やそのときに限られる構成として記載はしているものではない。これらの場合やときでない構成についても開示しているものであり、権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えた構成についても開示しているものであり、権利取得する意思を有する。

また、意匠登録出願への変更により、全体意匠又は部分意匠について権利取得する意思を有する。図面は本装置の全体を実線で描画しているが、全体意匠のみならず当該装置の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の部材を部分意匠とすることはもちろんのこと、部材と関係なく当該装置の一部の部分を部分意匠として包含した図面である。当該装置の一部の部分としては、装置の一部の部材としても良いし、その部材の部分としても良い。全体意匠はもちろんのこと、図面の実線部分のうち任意の部分を破線部分とした部分意匠を、権利化する意思を有する。また、装置の筐体の内部のモジュール・部材・部品等についても、図面に表示されているものは、いずれも独立して取引の対象となるものであって、同様に、意匠登録出願への変更を行って権利化を行う意思を有するものである。

１０探知機
１１レーダ探知部
１２レーザ探知部
１３警報部
２０ドライブレコーダ
２１カメラ
２２一次検出部
２３位置情報取得部
２４制御部
２５警報部
２６通信部
２７操作入力部
３０サーバ
３１通信部
３２制御部
３３二次検出部
３４記憶部
３５学習部
１００システム

Claims

車両の外を撮影した画像から、第一機械学習モデルと、車両に備えられ所定の波長帯の電磁波を探知する探知機の探知結果と、に基づいて、車両の速度取締地点であることを示す目標物を検出する一次検出部と、
前記一次検出部により前記目標物が検出された場合に、前記画像から、第二機械学習モデルを用いて前記目標物を検出する二次検出部と、
前記一次検出部及び前記二次検出部における検出結果に基づいて制御を行う制御部と、
を備え、
前記制御部は、
前記探知機により前記電磁波が受信されている期間に、前記第一機械学習モデルに基づいて前記画像から前記目標物が検出された場合、前記制御を行う、
システム。
車両の外を撮影した画像から、第一機械学習モデルと、速度取締装置から発信される所定の波長帯の電磁波の前記車両側での探知結果と、に基づいて、車両の速度取締地点であることを示す目標物を検出する一次検出部と、
前記一次検出部により前記目標物が検出された場合に、前記画像から、第二機械学習モデルを用いて前記目標物を検出する二次検出部と、
前記一次検出部及び前記二次検出部における検出結果に基づいて制御を行う制御部と、
を備え、
前記制御部は、
前記電磁波が受信されている期間に、前記第一機械学習モデルに基づいて前記画像から前記目標物が検出された場合、前記制御を行う、
システム。
前記制御部は、前記一次検出部における検出結果に基づいて、車両に設けられた警報部から警報を出力する制御を行う第一制御部を有する、
請求項１又は２に記載のシステム。
前記制御部は、前記二次検出部における検出結果に基づいて、車両に設けられた警報部から警報を出力する制御を行う第一制御部を有する、
請求項１又は２に記載のシステム。
車両の外を撮影した画像から、第一機械学習モデルを用いて車両の速度取締地点であることを示す目標物を検出する一次検出部と、
前記一次検出部により前記目標物が検出された場合に、前記画像から、第二機械学習モデルを用いて前記目標物を検出する二次検出部と、
前記一次検出部及び前記二次検出部における検出結果に基づいて制御を行う制御部と、
を備え、
前記制御部は、前記一次検出部における検出結果に基づいて、車両に設けられた警報部から第一警報を出力する制御を行い、前記二次検出部における検出結果に基づいて、前記第一警報と異なる第二警報を出力する制御を行う第一制御部を有する、
システム。
前記一次検出部は、車両に搭載された車載機器に設けられ、
前記二次検出部は、前記車載機器と通信ネットワークを介して通信するサーバに設けられる、
請求項１～５のいずれか１項に記載のシステム。
前記一次検出部は、前記第一機械学習モデルとしてのバイナリデータとのパターンマッチングを行うことで、前記画像から前記目標物を検出し、
前記二次検出部は、前記第二機械学習モデルとして深層学習モデルを用いて前記画像から前記目標物を検出する、
請求項１～６のいずれか１項に記載のシステム。
前記第一制御部は、前記目標物の検出結果の確からしさに応じて異なる警報を出力する制御を行う、
請求項３～５のいずれか１項に記載のシステム。
車両に搭載される車載機器と通信ネットワーク上に設けられたサーバとを備えたシステムであって、
前記車載機器は、
前記車両の外を撮影して撮影画像を生成するカメラと、
前記通信ネットワークを介して前記撮影画像を前記サーバに送信する車両側送信部と、
を備え、
前記サーバは、
前記車載機器から前記通信ネットワークを介して前記撮影画像を受信するサーバ側受信部と、
第二機械学習モデルを用いて前記撮影画像から目標物を検出する二次検出部と、
前記二次検出部における検出結果を記憶する記憶部と、
を備え、
前記車載機器は、
前記撮影画像から、前記第二機械学習モデルより検出基準の低い第一機械学習モデルと、車両に備えられ所定の波長帯の電磁波を探知する探知機の探知結果と、に基づいて、車両の速度取締地点であることを示す目標物を検出する一次検出部を備え、
前記車両側送信部は、前記一次検出部にて前記目標物が検出された前記撮影画像を前記サーバに送信する、
システム。
車両に搭載される車載機器と通信ネットワーク上に設けられたサーバとを備えたシステムであって、
前記車載機器は、
前記車両の外を撮影して撮影画像を生成するカメラと、
前記通信ネットワークを介して前記撮影画像を前記サーバに送信する車両側送信部と、
を備え、
前記サーバは、
前記車載機器から前記通信ネットワークを介して前記撮影画像を受信するサーバ側受信部と、
第二機械学習モデルを用いて前記撮影画像から、車両の速度取締地点であることを示す目標物を検出する二次検出部と、
前記二次検出部における検出結果を記憶する記憶部と、
を備え、
前記車載機器は、
前記撮影画像から、前記第二機械学習モデルより検出基準の低い第一機械学習モデルと、速度取締装置から発信される所定の波長帯の電磁波の前記車両側での探知結果と、に基づいて、前記目標物を検出する一次検出部を備え、
前記車両側送信部は、前記一次検出部にて前記目標物が検出された前記撮影画像を前記サーバに送信する、
システム。
車両に設けられたカメラで前記車両の外を撮影した画像であって、前記車両に設けられた所定の波長帯の電磁波を探知する探知機で前記電磁波が探知されたときに撮影した画像を正例として教師あり学習を行う、システム。
車両に設けられたカメラで前記車両の外を撮影した画像であって、速度取締装置から発信される所定の波長帯の電磁波が前記車両側で探知されたときに撮影した画像を正例として教師あり学習を行う、システム。
前記画像から車両の速度取締地点であることを示す目標物を検出する検出部をさらに備え、前記目標物を検出し、かつ、前記探知機が前記所定の波長帯の電磁波を探知したときの前記画像を正例として教師あり学習を行う、請求項１１に記載のシステム。
前記画像から前記目標物を検出する検出部を備え、
前記探知機で前記所定の波長帯の電磁波を探知していないが前記目標物が検出されたときの前記画像を負例として前記教師あり学習を行う、請求項１３に記載のシステム。
前記車両内の人が目視にて前記目標物を確認したときに撮影された前記画像の投稿を受け付け、
投稿された前記画像を正例として前記教師あり学習を行う、請求項１３又は１４のいずれかに記載のシステム。
車両の速度取締地点であることを示す目標物を撮影した複数の画像の各画像を取得し、取得した当該各画像に前記目標物が含まれていることに関連付けた教師データを用いて学習を行う、システムであって、
前記車両内の人が目視にて前記目標物を確認したときに撮影された前記画像、及び前記車両に備えた探知機における所定の波長帯の電磁波の探知結果の投稿を受け付け、
投稿された前記画像を、投稿を受け付けた前記探知結果に応じて正例又は負例として、教師あり学習を行う、システム。
車両の速度取締地点であることを示す目標物を撮影した複数の画像の各画像を取得し、取得した当該各画像に前記目標物が含まれていることに関連付けた教師データを用いて学習を行う、システムであって、
前記画像から前記目標物を検出して警報したときの前記車両内の人からの応答の入力を受け付け、
入力を受け付けた前記応答の結果に応じて、前記画像を正例又は負例として、教師あり学習を行う、システム。
前記目標物は車両取締装置である、
請求項１～１０、及び１３～１７のいずれか１項に記載のシステム。
請求項１～１８のいずれかに記載のシステムの機能の少なくとも一部が車載機器で実現され、
当該車載機器で実現される機能をコンピュータに実現させるためのプログラム。
車両に設けられたカメラで前記車両の外を撮影した画像であって、前記車両に設けられた所定の波長帯の電磁波を探知する探知機で前記電磁波が探知されたときに撮影した画像を正例として教師あり学習を行う、機械学習方法。
車両に設けられたカメラで前記車両の外を撮影した画像であって、速度取締装置から発信される所定の波長帯の電磁波が前記車両側で探知されたときに撮影した画像を正例として教師あり学習を行う、機械学習方法。
車両の速度取締地点であることを示す目標物を撮影した複数の画像の各画像を取得し、取得した当該各画像に前記目標物が含まれていることに関連付けた教師データを用いて学習を行う、機械学習方法であって、
前記車両内の人が目視にて前記目標物を確認したときに撮影された前記画像、及び前記車両に備えた探知機における所定の波長帯の電磁波の探知結果の投稿を受け付け、
投稿された前記画像を、投稿を受け付けた前記探知結果に応じて正例又は負例として、教師あり学習を行う、機械学習方法。
車両の速度取締地点であることを示す目標物を撮影した複数の画像の各画像を取得し、取得した当該各画像に前記目標物が含まれていることに関連付けた教師データを用いて学習を行う、機械学習方法であって、
前記画像から前記目標物を検出して警報したときの前記車両内の人からの応答の入力を受け付け、
入力を受け付けた前記応答の結果に応じて、前記画像を正例又は負例として、教師あり学習を行う、機械学習方法。