JP7349932B2

JP7349932B2 - 補完装置及び補完プログラム

Info

Publication number: JP7349932B2
Application number: JP2020029125A
Authority: JP
Inventors: 俊晴鈴木
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-02-25
Filing date: 2020-02-25
Publication date: 2023-09-25
Anticipated expiration: 2040-02-25
Also published as: JP2021135567A

Description

この発明は、車両の画像から抽出されたナンバープレート情報を補完する、補完装置に関する。

従来では、高速道路上のＥＴＣ（ＥＴＣは登録商標）のシステムの付属システムとして、車両認識カメラが設置され、利用されている。車両認識カメラは、撮影したカメラ画像によって、ナンバープレート情報を認識していた（例えば、特許文献１）。

特開２００９－６４４６１号公報（図８）

しかし、カメラ画像によってナンバープレート情報を認識する場合は、ナンバープレートの汚れ、あるいは、車両の前に位置する他の車両の存在による車両のナンバープレートの一部隠れにより、ナンバープレート情報の一部を読み取ることができず、車両を特定できない場合があった。

また、ナンバープレート情報の認識が困難な画像を収集することと、及び、その画像の正解情報を収集することが難しく、認識率向上の学習データを作成することが難しかった。

本発明は、カメラ画像によってナンバープレート情報の一部を認識できない場合に、ナンバープレート情報を補完する補完装置の提供を目的とする。

この発明の補完装置は、
撮像カメラから、ナンバープレートが取り付けられた撮像対象の対象車両のカメラ画像を取得する第１取得部と、
前記カメラ画像から、前記対象車両に取り付けられた前記ナンバープレートに記載されているナンバープレート情報を抽出する抽出部と、
抽出された前記ナンバープレート情報を、前記ナンバープレート情報として記載するべき情報が定められたフォーマット情報と照合し、抽出された前記ナンバープレート情報が、記載するべき前記情報の一部が欠落している不完全情報に該当するかを判定する判定部と、
抽出された前記ナンバープレート情報が前記不完全情報に該当すると判定された場合に、前記カメラ画像から、前記対象車両の車体色を示す車体色情報と、前記対象車両の車種を示す車種情報とを含む補助情報を抽出し、前記不完全情報と、前記補助情報とに基づいて、前記不完全情報の補完に利用する利用情報を取得する第２取得部と、
前記利用情報を使用して、前記不完全情報を補完する補完部と、
を備える。

本発明によれば、カメラ画像によってナンバープレート情報の一部を認識できない場合に、ナンバープレート情報を補完する補完装置を提供できる。

実施の形態１の図で、ナンバープレート情報として記載するべき情報が定められたフォーマット情報を示す図。実施の形態１の図で、高速道路４００において、Ｘ地点に設置されたＥＴＣレーンと、Ｘとは異なる地域のＹ地点に設置されたＥＴＣレーンを示す図。実施の形態１の図で、図２のＸ地点のＥＴＣレーンンの拡大図。実施の形態１の図で、補完装置１が行う補完１から補完４を説明する図。実施の形態１の図で、補完装置１のハードウェア構成を示す図。実施の形態１の図で、補完１における、補完装置１の動作を示すフローチャート。実施の形態１の図で、補完１を説明するための図。実施の形態１の図で、補完２における、補完装置１の動作を示すフローチャート。実施の形態１の図で、補完２を説明するための図。実施の形態１の図で、補完３における、補完装置１の動作を示すフローチャート。実施の形態１の図で、補完３を説明するための図。実施の形態１の図で、補完装置１の変形例に係る補完装置１の構成を示す図。

以下、本発明の実施の形態について、図を用いて説明する。なお、各図中、同一または相当する部分には、同一符号を付している。実施の形態の説明において、同一または相当する部分については、説明を適宜省略または簡略化する。

実施の形態１．

図１から図１２を参照して、実施の形態１の補完装置１を説明する。補完装置１は、ナンバープレート１２０が取り付けられた撮像対象の対象車両１００のカメラ画像１１０を取得する。補完装置１は、カメラ画像１１０からナンバープレート１２０の示すナンバープレート情報を抽出する。補完装置１は、抽出したナンバープレート情報が不完全である場合、例えばナンバープレート１２０が汚れているためナンバープレート情報の一部を認識できない場合に、後述の利用情報を使用して、不完全なナンバープレート情報を補完する。

図１は、ナンバープレート情報として記載するべき情報が定められたフォーマット情報１３１ｆを示す。図１では、仮想のナンバープレート情報を示す。フォーマット情報１３１ｆは、第１表示１２１から第４表示１２４の４項目からなる。第１表示１２１は、陸運支局コードである。図１の「日本」は仮想の表記である。第２表示１２２は、用途コードである。第３表示１２３は、自家用あるいはレンタカーのような、車種を示す。第４表示１２４は、一連番号である。

図２は、高速道路４００において、Ｘ地点に設置されたＥＴＣレーンと、Ｘ地点とは異なる他の地点であるＹ地点に設置されたＥＴＣレーンを示す。
図３は、図２のＸ地点のＥＴＣレーンの拡大図である。Ｘ地点のＥＴＣレーンには、路側装置１６０、撮像カメラ１５５が設置されている。対象車両１００は、車載器１９０を搭載している。撮像カメラ１５５は、ナンバープレート１２０が取り付けられた撮像対象の対象車両１００のカメラ画像１１０を撮像する。路側装置１６０は、車載器１９０と、アンテナ１６１を介して通信し、車載器１９０から、後述の車載器情報１９４を受信する。また、路側装置１６０は、撮像カメラ１５５からカメラ画像１１０を受信する。路側装置１６０は、車載器情報１９４とカメラ画像１１０とを、補完装置１に送信する。

Ｙ地点のＥＴＣレーンも、Ｘ地点のＥＴＣレーンと同様の構成である。Ｙ地点のＥＴＣレーンには、路側装置２６０、撮像カメラ２５５が設置されている。撮像カメラ２５５は他地点撮像カメラである。車両２００は、車載器２９０を搭載している。撮像カメラ２５５は、ナンバープレート２２０が取り付けられた車両２００のカメラ画像２１０を撮像する。路側装置２６０は、車載器２９０と、アンテナ２６１を介して通信し、車載器２９０から、車載器情報２９４を受信する。また、路側装置２６０は、撮像カメラ２５５からカメラ画像２１０を受信する。路側装置２６０は、車載器情報２９４とカメラ画像２１０とを、補完装置１に送信する。

以下の実施の形態１では、Ｘ地点における対象車両１００のカメラ画像１１０から補完装置１によって抽出されたナンバープレート情報が不完全であり、補完装置１は、対象車両１００のナンバープレート情報を補完する場合を想定する。対象車両１００のナンバープレートは、図１に示すナンバープレート１２０である。

補完装置１は、次の補完１から補完４の４つの補完方式を使用することで、カメラ画像１１０から抽出した、不完全なナンバープレート情報１３１を補完する。
図４は、補完装置１が行う補完１から補完４を説明する図である。図４を参照して補完装置１によるナンバープレート情報１３１の補完の概要を説明する。

＜補完１＞
補完装置１は、車載器１９０から路側装置１６０に送信される車載器情報１９４と、カメラ画像１１０から抽出されたナンバープレート情報１３１とを照合する。補完装置１は、ナンバープレート情報１３１のうちの不明点以外の情報が車載器情報１９４に含まれる場合は、車載器情報１９４を用いてナンバープレート情報１３１を補完する。なお、カメラ画像１１０と車載器情報１９４とは、同一の時間帯で得られている。

＜補完２＞
高速道路４００には、入路または出路のような箇所に、撮像カメラ１５５及び路側装置１６０が設置されている。車両が通過し得る他の地点であるＹ地点のカメラ画像で認識したナンバープレート情報、車体色及び車種名が、Ｘ地点における情報と一致する場合、補完装置１は、Ｘ地点とＹ地点とで確認された車両を同一車両と判定する。補完装置１は、Ｙ地点の情報を使用して、Ｘ地点における対象車両１００のナンバープレート情報１３１を補完する。

＜補完３＞
Ｘ地点の今回のカメラ画像から抽出されたナンバープレート情報の一部が読み取れない場合、補完装置１は、Ｘ地点で取得された過去データと、Ｘ地点で取得された「ナンバープレート情報１３１を含む今回のデータ」とを照合する。「過去データ」と「今回のデータ」とは、いずれも、ナンバープレート情報、車体色及び車種名を含む。補完装置１は、「過去データ」と「今回のデータ」との比較により、ナンバープレート情報１３１が不完全である今回データの対象車両１００と、ナンバープレート情報が完全である過去データに対応する車両とが同一車両かを判定する。補完装置１は同一車両と判定した場合に、ナンバープレート情報が完全である「過去データ」を用いて、対象車両１００のナンバープレート情報１３１を補完する。

＜補完４＞
補完装置１は、補完を行ったナンバープレート情報が抽出されたカメラ画像と、ナンバープレート情報の補完に用いた利用情報とを教師データとして学習する。これにより、補完装置１は、不完全なナンバープレート情報の認識率を高める。

＊＊＊構成の説明＊＊＊
図５は、補完装置１のハードウェア構成を示す。補完装置１は、コンピュータである。補完装置１は、プロセッサ１０を備えるとともに、主記憶装置２０、補助記憶装置３０、入力インタフェース４０、出力インタフェース５０及び通信インタフェース６０といった他のハードウェアを備える。プロセッサ１０は、信号線７０を介して他のハードウェアと接続され、これら他のハードウェアを制御する。図５ではインタフェースをＩＦと表記している。

補完装置１は、機能要素として、第１取得部１１、抽出部１２、判定部１３、第２取得部１４、補完部１５及び学習部１６を備える。第１取得部１１、抽出部１２、判定部１３、第２取得部１４、補完部１５及び学習部１６の機能は、補完プログラム８０により実現される。

プロセッサ１０は、補完プログラム８０を実行する装置である。補完プログラム８０は、第１取得部１１、抽出部１２、判定部１３、第２取得部１４、補完部１５及び学習部１６の機能を実現するプログラムである。プロセッサ１０は、演算処理を行うＩＣ（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）である。プロセッサ１０の具体例は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）である。

主記憶装置２０は、データを記憶する記憶装置である。主記憶装置２０の具体例は、ＳＲＡＭ（ＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）である。主記憶装置２０は、プロセッサ１０の演算結果を保持する。

補助記憶装置３０は、データを不揮発的に保管する記憶装置である。補助記憶装置３０の具体例は、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）である。補完プログラム８０は、補助記憶装置３０に格納されている。補助記憶装置３０は、ＳＤ（登録商標）（ＳｅｃｕｒｅＤｉｇｉｔａｌ）メモリカード、ＣＦ（ＣｏｍｐａｃｔＦｌａｓｈ）、ＮＡＮＤフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）といった可搬記録媒体であってもよい。

入力インタフェース４０は、各種機器が接続され、各種機器のデータが入力されるポートである。出力インタフェース５０は、各種機器が接続され、各種機器にプロセッサ１０によりデータが出力されるポートである。

プロセッサ１０は補助記憶装置３０から補完プログラム８０を主記憶装置２０にロードし、主記憶装置２０から補完プログラム８０を読み込み実行する。

補完装置１は、プロセッサ１０を代替する複数のプロセッサを備えていてもよい。複数のプロセッサは、補完プログラム８０の実行を分担する。それぞれのプロセッサは、プロセッサ１０と同じように、補完プログラム８０を実行する装置である。

補完プログラム８０は、第１取得部１１、抽出部１２、判定部１３、第２取得部１４、補完部１５及び学習部１６の各部の「部」を「処理」、「手順」あるいは「工程」に読み替えた各処理、各手順あるいは各工程をコンピュータに実行させるプログラムである。また、補完方法は、コンピュータである補完装置１が補完プログラム８０を実行することにより行われる方法である。補完プログラム８０は、コンピュータ読取可能な記録媒体に格納されて提供されてもよいし、プログラムプロダクトとして提供されてもよい。

＊＊＊動作の説明＊＊＊
以下に、補完装置１の行う、補完１から補完４の動作を説明する。以下の動作の説明において、補完装置１の動作手順は、補完方法に相当し、補完装置１の動作を実現するプログラムは、補完プログラム８０に相当する。

＜補完１の動作＞
補完１を説明する。
図６は、補完１における、補完装置１の動作を示すフローチャートである。
図７は、補完１を説明するための図である。

まず、第１取得部１１は、ナンバープレート１２０が取り付けられた撮像対象の対象車両１００のカメラ画像１１０を、路側装置１６０を介して、撮像カメラ１５５から取得する。第１取得部１１は、路側装置１６０を介することなく、撮像カメラ１５５からカメラ画像１１０を取得しても良い。そして、抽出部１２は、カメラ画像１１０から、対象車両１００に取り付けられたナンバープレート１２０に記載されているナンバープレート情報１３１を抽出する。

＜ステップＳ１１＞
ステップＳ１１において、判定部１３は、抽出されたナンバープレート情報１３１を、ナンバープレート情報１３１として記載するべき情報が定められた図１のフォーマット情報１３１ｆと照合し、抽出されたナンバープレート情報１３１が、記載するべき情報の一部が欠落している不完全情報１３１ａに該当するか判定する。不完全情報１３１ａに該当しない場合、処理は終了する。不完全情報１３１ａに該当する場合、処理はステップＳ１２に進む。この例では、図７に示すように、対象車両１００のナンバープレート１２０には汚れ１１１があるため、カメラ画像１１０から抽出されたナンバープレート情報１３１は、不完全情報１３１ａである。

＜ステップＳ１２＞
ステップＳ１２において、第２取得部１４は、抽出されたナンバープレート情報１３１が不完全情報１３１ａに該当すると判定された場合に、カメラ画像１１０から、補助情報１３４を抽出する。補助情報１３４とは、対象車両１００の車体色を示す車体色情報１３２と、対象車両１００の車種を示す車種情報１３３とを含む情報である。車種情報１３３とは、自動車会社が名づけた車両の名称であり、「軽車両」のような、ナンバープレート情報に含まれる「車種分類番号」の車種とは異なる。第２取得部１４は、「白」の車体色情報１３２と、「型式ＡＡＡ車種ＢＢＢ」の車種情報１３３とを、カメラ画像１１０から抽出するとする。車体色情報１３２につては、第２取得部１４は、カメラ画像１１０の画像認識によって、抽出できる。車種情報１３３については、第２取得部１４は、カメラ画像１１０の画像認識により対象車両１００を認識し、認識した対象車両１００を検索キーとして、車両の外観画像と車両の車種とが対応付けられているデータベースを検索することで、抽出できる。

＜ステップＳ１３＞
テップＳ１３において、第２取得部１４は、補助情報１３４と不完全情報１３１ａとに基づいて、不完全情報１３１ａの補完に利用する利用情報１３１ｂを取得する。
具体的には以下のようである。
第２取得部１４は、利用情報１３１ｂとして、車載器情報１９４を取得する。車載器情報１９４は、撮像カメラ１５５と共に配置されたアンテナ１６１によって受信された、車載器１９０から送信された情報である。図３に示すように、車載器情報１９４は、ナンバープレート１２０に記載されるナンバープレート情報１９１と、車両の車体色を示す車体色情報１９２と、車両の車種を示す車種情報１９３とを含む情報である。第２取得部１４は、車載器情報１９４を以下のように取得する。不完全情報１３１ａであるナンバープレート情報１３１は、図７のように、一部がわかっている。第２取得部１４は、不完全情報１３１ａと抽出された補助情報１３４との全体を、認識情報１４１として設定する。ここで、補完装置１は、路側装置１６０から、複数の車両の車載器情報を受信している。第２取得部１４は、複数の車載器情報のなかから、認識情報１４１を含む車載器情報を検索する。この例では、車載器情報１９４がヒットする（ステップＳ１４のＹＥＳ）。このように、第２取得部１４は、補助情報１３４と不完全情報１３１ａとに基づいて、利用情報１３１ｂを取得する。ステップＳ１４でヒットしない場合、処理は終了する。

図７に示すように、車載器情報１９４では、ナンバープレート情報１９１は、「日本，９８７，あ，６５４３」であり、車体色情報１９２は、「白」であり、車種情報１９３は、「型式ＡＡＡ，車種ＢＢＢ」である。カメラ画像１１０から抽出された認識情報１４１は、不完全情報１３１ａであるナンバープレート情報１３１は「９８７，５４３」であり、車体色情報１３２は「白」であり、車種情報１３３は、「型式ＡＡＡ車種ＢＢＢ」である。車載器情報１９４は認識情報１４１を含むので、第２取得部１４の検索結果は、車載器情報１９４がヒットする。

＜ステップＳ１５＞
ステップＳ１５において、補完部１５は、利用情報１３１ｂとして車載器情報１９４を使用して、不完全情報１３１ａを補完する。すなわち、補完部１５は図７の車載器情報１９４を使用して、認識情報１４１に含まれている不完全情報１３１ａであるナンバープレート情報１３１を補完する。補完部１５は、不完全情報１３１ａの「９８７，５４３」を、「日本，９８７，あ，６５４３」と補完する。以上のステップＳ１１からステップＳ１５が補完１である。次に補完２を説明する。

＜補完２の動作＞
図８は、補完２における、補完装置１の動作を示すフローチャートである。
図９は、補完２を説明するための図である。図８のステップＳ２１及びステップＳ２２は、ステップＳ１１及びステップＳ１２と同一であるので説明は省略する。

＜ステップＳ２３＞
テップＳ２３において、第２取得部１４は、補助情報１３４と不完全情報１３１ａとに基づいて、不完全情報１３１ａの補完に利用する利用情報２３１ｂを取得する。具体的には以下のようである。第２取得部１４は、利用情報２３１ｂとして、カメラ画像２１０から抽出された、車両２００のナンバープレート２２０に記載されているナンバープレート情報２３１と、車両２００の車体色を示す車体色情報２３２と、車両２００の車種を示す車種情報２３３とを含むＹ地点の認識情報２４１を取得する。カメラ画像２１０は、撮像カメラ１５５の配置地点であるＸ地点とは別の他の地点であるＹ地点に配置された他地点撮像カメラである撮像カメラ２５５によって撮像された画像であって、ナンバープレート２２０が取り付けられた車両２００の画像である。第２取得部１４は、認識情報２４１を以下のように取得する。不完全情報１３１ａであるナンバープレート情報１３１は、図９のように、一部がわかっている。第２取得部１４は、不完全情報１３１ａと抽出された補助情報１３４との全体を、認識情報１４１として設定する。ここで、補完装置１は、Ｙ地点の路側装置２６０を介して、撮像カメラ２５５から、複数のカメラ画像を取得している。補完装置１は、複数のカメラ画像のそれぞれから抽出された、画像ごとの認識情報２４１を保有している。認識情報２４１は、図９に示すように、完全なナンバープレート情報２３１、車体色情報２３２、及び車種情報２３３を含む。第２取得部１４は、複数の認識情報２４１のなかから、認識情報１４１を含む認識情報２４１を検索する。この例では、図９に示す認識情報２４１がヒットする（ステップＳ２４のＹＥＳ）。このように、第２取得部１４は、補助情報１３４と不完全情報１３１ａとに基づいて、利用情報２３１ｂを取得する。ステップＳ２４でヒットしない場合、処理は終了する。

図９の認識情報２４１では、ナンバープレート情報２３１は、「日本，９８７，あ，６５４３」であり、車体色情報２３２は、「白」であり、車種情報２３３は、「型式ＡＡＡ，車種ＢＢＢ」である。カメラ画像１１０から抽出された認識情報１４１は、不完全情報１３１ａは「９８７，５４３」であり、車体色情報１３２は「白」であり、車種情報１３３は、「型式ＡＡＡ車種ＢＢＢ」である。図９の認識情報２４１は、認識情報１４１を含むので、第２取得部１４の検索結果は、図９の認識情報２４１がヒットする。

＜ステップＳ２５＞
ステップＳ２５において、補完部１５は、利用情報２３１ｂとして認識情報２４１を使用して、不完全情報１３１ａを補完する。すなわち、補完部１５は図９の認識情報２４１を使用して、認識情報１４１に含まれている不完全情報１３１ａであるナンバープレート情報１３１を補完する。補完部１５は、不完全情報１３１ａの「９８７，５４３」を、「日本，９８７，あ，６５４３」と補完する。以上のステップＳ２１からステップＳ２５が補完２である。次に補完３を説明する。

＜補完３の動作＞
図１０は、補完３における、補完装置１の動作を示すフローチャートである。
図１１は、補完３を説明するための図である。図１０のステップＳ３１及びステップＳ３２は、ステップＳ１１及びステップＳ１２と同一であるので説明は省略する。

＜ステップＳ３３＞
テップＳ３３において、第２取得部１４は、補助情報１３４と不完全情報１３１ａとに基づいて、不完全情報１３１ａの補完に利用する利用情報３３１ｂを取得する。具体的には以下のようである。第２取得部１４は、利用情報３３１ｂとして、カメラ画像３１０から抽出された、フォーマット情報１３１ｆに記載すべき情報がすべて記載されているナンバープレート情報３３１と、車両３００の車体色を示す車体色情報３３２と、車両３００の車種を示す車種情報３３３とを含む認識情報３４１を取得する。カメラ画像３１０は、Ｘ地点の撮像カメラ１５５によって過去に撮像された画像であって、ナンバープレート３２０が取り付けられた車両３００の画像である。第２取得部１４は、認識情報３４１を以下のように取得する。不完全情報１３１ａであるナンバープレート情報１３１は、図１１のように、一部がわかっている。第２取得部１４は、不完全情報１３１ａと抽出された補助情報１３４との全体を、認識情報１４１として設定する。ここで、補完装置１は、Ｘ地点の路側装置１６０を介して、撮像カメラ１５５から、複数のカメラ画像を取得している。補完装置１は、複数のカメラ画像のそれぞれから抽出された、画像ごとの認識情報３４１を保有している。認識情報３４１は、図１１に示すように、完全なナンバープレート情報３３１、車体色情報３３２、及び車種情報３３３を含む。第２取得部１４は、複数の認識情報３４１のなかから、認識情報１４１を含む認識情報３４１を検索する。この例では、図１１に示す認識情報３４１がヒットする（ステップＳ３４のＹＥＳ）。このように、第２取得部１４は、補助情報１３４と不完全情報１３１ａとに基づいて、利用情報３３１ｂを取得する。ステップＳ３４でヒットしない場合、処理は終了する。

図１１の認識情報３４１では、ナンバープレート情報３３１は、「日本，９８７，あ，６５４３」であり、車体色情報３３２は、「白」であり、車種情報３３３は、「型式ＡＡＡ，車種ＢＢＢ」である。カメラ画像１１０から抽出された認識情報１４１では、不完全情報１３１ａは、「９８７，５４３」であり、車体色情報１３２は、「白」であり、車種情報１３３は、「型式ＡＡＡ車種ＢＢＢ」である。図１１の認識情報３４１は、認識情報１４１を含むので、第２取得部１４の検索結果は、図１１の認識情報３４１がヒットする。

＜ステップＳ３５＞
ステップＳ３５において、補完部１５は、利用情報３３１ｂとして認識情報３４１を使用して、不完全情報１３１ａを補完する。すなわち、補完部１５は図１１の認識情報３４１を使用して、認識情報１４１に含まれている不完全情報１３１ａであるナンバープレート情報１３１を補完する。補完部１５は、不完全情報１３１ａの「９８７，５４３」を、「日本，９８７，あ，６５４３」と補完する。以上のステップＳ３１からステップＳ３５が補完３である。

＜補完４の動作＞
次に補完４の動作を説明する。補完４は機械学習に関する。学習部１６は、補完１、補完２または補完３によって抽出されたナンバープレート情報が不完全情報に該当すると判定されたカメラ画像と不完全情報の補完に利用された利用情報との組を、記憶装置に複数記憶する。記憶装置は、補助記憶装置３０でもよいし、補完装置１とは異なる別の記憶装置でもよい。学習部１６は、記憶装置に記憶したカメラ画像と不完全情報の利用情報との複数の組を教師データとして学習することにより、不完全情報が抽出された新たなカメラ画像の不完全情報を補完する。補完装置１は学習部１６を備えることによって、ナンバープレート情報の認識が困難なカメラ画像を収集し、及び、その画像の正解情報を収集するので、不完全情報を含むカメラ画像のナンバープレート情報の認識率向上の学習データを作成することができる。

＊＊＊効果の説明＊＊＊
実施の形態１の補完装置１は、第２取得部１４及び補完部１５を備えるので、カメラ画像によってナンバープレート情報の一部を認識できない場合に、ナンバープレート情報を補完できる。
また、補完装置１は学習部１６を備えるので、不完全情報に該当すると判定されたカメラ画像と不完全情報の補完に利用された利用情報との組を、教師データとして蓄積できる。

なお、補完１、補完２、補完３及び補完４は、いずれか二つ、いずれか三つ、あるいは４つを組み合わせることができる。
また、補完１、補完２及び補完３は、完全一致の場合のみ採用する方式と、互いの認識不可部分を除いて矛盾なく一致している場合を採用する方法とがある。
また、補完３は、一致した車両台数に閾値を設けることで、情報の信頼度を上げることができる。

＜ハードウェア構成の補足＞
図１２を参照して補完装置１のハードウェア構成を補足しておく。図５の補完装置１では、補完装置１の機能がソフトウェアで実現されるが、変形例として、補完装置１の機能がハードウェアで実現されてもよい。
図１２は、補完装置１の変形例に係る補完装置１の構成を示す。図１２の電子回路９０は、第１取得部１１、抽出部１２、判定部１３、第２取得部１４、補完部１５、学習部１６、主記憶装置２０、補助記憶装置３０、入力インタフェース４０、出力インタフェース５０及び通信インタフェース６０の機能を実現する専用の電子回路である。電子回路９０は、信号線９１に接続している。電子回路９０は、具体的には、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、または、ＦＰＧＡである。ＧＡは、ＧａｔｅＡｒｒａｙの略語である。ＡＳＩＣは、ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔの略語である。ＦＰＧＡは、Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙの略語である。補完装置１の構成要素の機能は、１つの電子回路で実現されてもよいし、複数の電子回路に分散して実現されてもよい。別の変形例として、補完装置１の構成要素の一部の機能が電子回路で実現され、残りの機能がソフトウェアで実現されてもよい。

プロセッサ１０と電子回路９０の各々は、プロセッシングサーキットリとも呼ばれる。補完装置１において、第１取得部１１、抽出部１２、判定部１３、第２取得部１４、補完部１５及び学習部１６の機能がプロセッシングサーキットリにより実現されてもよい。あるいは、第１取得部１１、抽出部１２、判定部１３、第２取得部１４、補完部１５、学習部１６、主記憶装置２０、補助記憶装置３０、入力インタフェース４０、出力インタフェース５０及び通信インタフェース６０の機能が、プロセッシングサーキットリにより実現されてもよい。

１補完装置、１０プロセッサ、１１第１取得部、１２抽出部、１３判定部、１４第２取得部、１５補完部、１６学習部、２０主記憶装置、３０補助記憶装置、４０入力インタフェース、５０出力インタフェース、６０通信インタフェース、７０信号線、８０補完プログラム、１００対象車両、１１０カメラ画像、１１１汚れ、１２０ナンバープレート、１２１第１表示、１２２第２表示、１２３第３表示、１２４第４表示、１３１ナンバープレート情報、１３１ａ不完全情報、１３１ｂ利用情報、１３１ｆフォーマット情報、１３２車体色情報、１３３車種情報、１３４補助情報、１４１認識情報、１５５撮像カメラ、１６０路側装置、１６１アンテナ、１９０車載器、１９１ナンバープレート情報、１９２車体色情報、１９３車種情報、１９４車載器情報、２００車両、２１０カメラ画像、２２０ナンバープレート、２３１ナンバープレート情報、２３２車体色情報、２３３車種情報、２４１認識情報、２５５撮像カメラ、２６０路側装置、２６１アンテナ、２９０車載器、２９４車載器情報、３００車両、３１０カメラ画像、３２０ナンバープレート、３３１ナンバープレート情報、３３２車体色情報、３３３車種情報、３４１認識情報。

Claims

撮像カメラから、ナンバープレートが取り付けられた撮像対象の対象車両のカメラ画像を、取得する第１取得部と、
前記カメラ画像から、前記対象車両に取り付けられた前記ナンバープレートに記載されているナンバープレート情報を抽出する抽出部と、
抽出された前記ナンバープレート情報を、前記ナンバープレート情報として記載するべき情報が定められたフォーマット情報と照合し、抽出された前記ナンバープレート情報が、記載するべき前記情報の一部が欠落している不完全情報に該当するかを判定する判定部と、
抽出された前記ナンバープレート情報が前記不完全情報に該当すると判定された場合に、前記カメラ画像から、前記対象車両の車体色を示す車体色情報と、前記対象車両の車種を示す車種情報とを含む補助情報を抽出し、前記不完全情報と、前記補助情報とに基づいて、前記不完全情報の補完に利用する利用情報を取得する第２取得部と、
前記利用情報を使用して、前記不完全情報を補完する補完部と、
抽出された前記ナンバープレート情報が前記不完全情報に該当すると判定された前記カメラ画像と前記不完全情報の補完に利用された前記利用情報との組を記憶装置に複数記憶し、記憶した複数の前記組を教師データとして学習することにより、不完全情報が抽出された新たなカメラ画像の前記不完全情報を補完する学習部を備える補完装置。
前記第２取得部は、前記利用情報として、
前記撮像カメラと共に配置されたアンテナによって受信された車載器から送信された情報であり、ナンバープレートに記載されるナンバープレート情報と、車両の車体色を示す車体色情報と、車両の車種を示す車種情報とを含む情報である車載器情報を、取得する請求項１に記載の補完装置。
前記第２取得部は、前記利用情報として、
前記撮像カメラの配置地点とは別の他の地点に配置された他地点撮像カメラによって撮像された画像であって、ナンバープレートが取り付けられた車両の画像であるカメラ画像から抽出された、前記車両の前記ナンバープレートに記載されているナンバープレート情報と、前記車両の車体色を示す車体色情報と、前記車両の車種を示す車種情報とを含む前記他の地点の認識情報を取得する請求項１または請求項２に記載の補完装置。
前記第２取得部は、前記利用情報として、
前記撮像カメラによって撮像された画像であって、ナンバープレートが取り付けられた車両の画像であるカメラ画像から抽出された、前記フォーマット情報に記載すべき前記情報がすべて記載されているナンバープレート情報と、前記車両の車体色を示す車体色情報と、前記車両の車種を示す車種情報とを含む認識情報を取得する請求項１から請求項３の何れか１項に記載の補完装置。
コンピュータに、
撮像カメラから、ナンバープレートが取り付けられた撮像対象の対象車両のカメラ画像を取得する第１取得処理と、
前記カメラ画像から、前記対象車両に取り付けられた前記ナンバープレートに記載されているナンバープレート情報を抽出する抽出処理と、
抽出された前記ナンバープレート情報を、前記ナンバープレート情報として記載するべき情報が定められたフォーマット情報と照合し、抽出された前記ナンバープレート情報が、記載するべき前記情報の一部が欠落している不完全情報に該当するかを判定する判定処理と、
抽出された前記ナンバープレート情報が前記不完全情報に該当すると判定された場合に、前記カメラ画像から、前記対象車両の車体色を示す車体色情報と、前記対象車両の車種を示す車種情報とを含む補助情報を抽出し、前記不完全情報と、前記補助情報とに基づいて、前記不完全情報の補完に利用する利用情報を取得する第２取得処理と、
前記利用情報を使用して、前記不完全情報を補完する補完処理と、
抽出された前記ナンバープレート情報が前記不完全情報に該当すると判定された前記カメラ画像と前記不完全情報の補完に利用された前記利用情報との組を記憶装置に複数記憶し、記憶した複数の前記組を教師データとして学習することにより、不完全情報が抽出された新たなカメラ画像の前記不完全情報を補完する学習処理と、
を実行させる補完プログラム。