JP7454987B2

JP7454987B2 - 情報処理方法、情報処理プログラム、および情報処理装置

Info

Publication number: JP7454987B2
Application number: JP2020065016A
Authority: JP
Inventors: 康貴岡田; 竜介関; 怜広見
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2020-03-31
Filing date: 2020-03-31
Publication date: 2024-03-25
Anticipated expiration: 2040-03-31
Also published as: JP2021163255A

Description

開示の実施形態は、情報処理方法、情報処理プログラム、および情報処理装置に関する。

ＣＮＮ（Convolutional Neural Network）を用いた画像認識用の機械学習モデルを生成する手法の一つに、教師あり学習がある（例えば、特許文献１参照）。教師あり学習では、正解値が付与された画像の教師データを未学習の機械学習モデルに入力し、学習させることによって画像認識用の機械学習モデルを生成する。

物体を画像認識する機械学習モデルを生成する場合、例えば、同一の物体をあらゆる方向から撮像した各画像に物体の名称が正解値として付与された膨大な数の教師データを用意する必要がある。

特開２０２０－００９４４６号公報

しかしながら、人によって正解値が画像に付与される場合、教師データの作成に膨大な量の作業が必要である。

実施形態の一態様は、上記に鑑みてなされたものであって、教師データの作成に要する作業を低減することができる情報処理方法、情報処理プログラム、および情報処理装置を提供することを目的とする。

実施形態の一態様に係る情報処理方法は、画像に含まれる物体に対して３次元のバウンディングボックスを生成して前記物体の画像に付与するステップと、複数の前記物体の画像について、前記３次元のバウンディングボックスの相関を算出するステップと、前記相関の高低を判断し、前記相関が低いと判断した前記３次元のバウンディングボックスが付与された前記物体の画像を教師あり学習に使用される教師データとして複数の前記物体の画像から選択するステップとを含む。

実施形態の一態様に係る情報処理方法、情報処理プログラム、および情報処理装置は、教師データの作成に要する作業を低減することができる。

図１は、実施形態に係る情報処理方法の一例の概要説明図である。図２は、実施形態に係る情報処理装置の構成の一例を示すブロック図である。図３は、実施形態に係る３ＤＢＢの生成方法の一例を示す説明図である。図４は、実施形態に係る相関の算出方法の第１例の説明図である。図５は、実施形態に係る相関の算出方法の第２例の説明図である。図６は、実施形態に係る相関の算出方法の第３例の説明図である。図７は、実施形態に係る情報処理装置が実行する処理の一例を示すフローチャートである。

以下、添付図面を参照して、情報処理方法、情報処理プログラム、および情報処理装置の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。また、以下の説明では、同一の構成要素に対して同一の符号を付することにより、重複する説明を省略する。

図１は、実施形態に係る情報処理方法の概要説明図である。実施形態に係る情報処理方法では、機械学習の一つである教師あり学習用の教師データとして使用される画像を複数の画像の中から選択する。ここでは、ＣＮＮ（Convolutional Neural Network）を用いて画像認識を行う機械学習モデルに学習させる教師データ用の画像を選択する場合を例に挙げて説明する。

例えば、機械学習モデルによって車両を画像認識させる場合、あらゆる方向から撮像された膨大な数の車両の画像に、車両という正解値が付与された教師データを機械学習モデルに入力して事前に学習させる。

しかしながら、例えば、人が数千枚から数万枚の車両の画像に正解値を付与するとなると、教師データの作成に膨大な量の作業が必要となる。また、人が画像に正解値を付与する場合、正解値の作成漏れが発生するおそれがある。

そこで、実施形態に係る情報処理方法では、コンピュータが、膨大な数の画像の中から教師データとして必要十分な数の適切な画像を選択して教師データベース（以下「教師ＤＢ１００」と記載する）に蓄積する。

これにより、実施形態に係る情報処理方法は、教師データの作成者（以下、単に「作成者」と記載する）が教師データの作成に要する作業を低減することができると共に、正解値の作成漏れの発生を抑制することができる。

具体的には、コンピュータは、まず、複数の画像に含まれる物体に対して３次元のバウンディングボックス（以下、「３ＤＢＢ」と記載する）を生成して物体の画像に付与する。例えば、図１に示すように、コンピュータは、時刻ｔ１で撮像された車両１０の画像に、点線で示す箱型の３ＤＢＢ１１を付与する。このとき、コンピュータは、３ＤＢＢを付与する画像が、車両１０を後方から見た画像であるため、前方にある箱を後方から見たような向きにした３ＤＢＢ１１を生成して車両１０の画像に付与する。

次に、コンピュータは、時刻ｔ２で撮像された車両１０の画像に、点線で示す箱型の３ＤＢＢ１２を付与する。時刻ｔ２は、時刻ｔ１よりも後の時刻である。このとき、コンピュータは、３ＤＢＢを付与する画像が、時刻ｔ１で撮像された画像と同様に、車両１０を後方から見た画像であるため、前方にある箱を後方から見たような向きにした３ＤＢＢ１２を生成して車両１０の画像に付与する。

次に、コンピュータは、時刻ｔ３で撮像された車両１０の画像に、点線で示す箱型の３ＤＢＢ１３を付与する。時刻ｔ３は、時刻ｔ２よりも後の時刻である。このとき、コンピュータは、３ＤＢＢを付与する画像が、車両１０を左斜め後方から見た画像であるため、前方にある箱を左斜め後方から見たような向きにした３ＤＢＢ１３を生成して車両１０の画像に付与する。

次に、コンピュータは、時刻ｔ４で撮像された車両１０の画像に、点線で示す箱型の３ＤＢＢ１４を付与する。時刻ｔ４は、時刻ｔ３よりも後の時刻である。このとき、コンピュータは、３ＤＢＢを付与する画像が、車両１０を左側方から見た画像であるため、前方にある箱を左側方から見たような向きにした３ＤＢＢ１４を生成して車両１０の画像に付与する。こうして、コンピュータは、数千枚から数万枚の画像について、画像中の物体に３ＤＢＢを付与する。

ここで、例えば、３ＤＢＢ１１によって囲まれた車両１０の画像と、３ＤＢＢ１２によって囲まれた車両１０の画像とでは、車両１０の見え方に差異がない。このような車両１０の見え方に差異がない複数の画像を機械学習モデルに学習させても、画像認識の精度は向上しない。

一方、３ＤＢＢ１２によって囲まれた車両１０の画像と、３ＤＢＢ１３によって囲まれた車両１０の画像とでは、車両１０の見え方が異なる。また、３ＤＢＢ１３によって囲まれた車両１０の画像と、３ＤＢＢ１４によって囲まれた車両１０の画像とでは、車両１０の見え方が異なる。このような車両１０の見え方が異なる複数の画像を機械学習モデルに学習させると、画像認識の精度が向上する。

そこで、コンピュータは、車両１０の複数の画像について、３ＤＢＢ１１，１２，１３，１４の相関を算出する。コンピュータは、３ＤＢＢ１１，１２，１３，１４のうち、例えば、向きの類似性が高いものほど相関が高く、向きの類似性が低いものほど相関が低いと判断する。具体的な３ＤＢＢの相関の高低判断基準については、後述する。

そして、コンピュータは、３ＤＢＢが付与された複数の画像から、相関が低いと判断した３ＤＢＢが付与された車両１０の画像を教師あり学習に使用される教師データとして複数の車両１０の画像から選択して、教師ＤＢ１００に蓄積する。

これにより、教師データの作成者は、教師ＤＢ１００に蓄積された画像にだけ正解値を付与することによって、不必要に多くの画像に正解値を付与することなく教師データを作成することができるので、教師データの作成に要する作業を低減することができる。

また、実施形態に係る情報処理方法では、例えば、車両１０の見え方が異なる画像のように、画像認識の向上に必要な画像を適切に選択して教師ＤＢ１００に蓄積する。これにより、教師データの作成者は、正解値の作成漏れの発生を抑制することができる。

また、実施形態に係る情報処理方法では、各車両１０の画像に、３ＤＢＢを付与し、３ＤＤＢの向き等の違いによって各３ＤＢＢの相関の高低を判断する。これにより、実施形態に係る情報処理方法では、例えば、目視によって相関を判断する場合、および２次元のバウンディングボックスを使用して相関を判断する場合に比べて、高精度に相関の高低を判断することができる。

なお、ここでは、実施形態に係る情報処理方法によって、教師データとして車両１０が撮像された画像を選択する場合について説明したが、実施形態に係る情報処理方法は、教師データとして、人や信号機等、任意の物体が撮像された画像を選択することもできる。

次に、図２を参照して実施形態に係るコンピュータの一例である情報処理装置の構成について説明する。図２は、実施形態に係る情報処理装置の構成の一例を示すブロック図である。図２に示すように、情報処理装置１は、画像データベース（以下、「画像ＤＢ１０１」と記載する）と、教師ＤＢ１００とに接続される。

画像ＤＢ１０１は、機械学習モデルに学習させるための任意の物体が撮像された数千枚から数万枚の画像が蓄積されたデータフラッシュ等の記憶装置である。教師ＤＢ１００は、情報処理装置１によって選択される画像の教師データを蓄積して記憶するデータフラッシュ等の記憶装置である。

情報処理装置１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを有するマイクロコンピュータや各種の回路を含む。情報処理装置１は、ＣＰＵがＲＯＭに記憶された情報処理プログラムを、ＲＡＭを作業領域として使用して実行することにより機能する画像取得部２と、３ＤＢＢ生成部３と、相関算出部４と、教師データ選択部５とを備える。

なお、情報処理装置１が備える画像取得部２、３ＤＢＢ生成部３、相関算出部４、教師データ選択部５は、一部または全部がＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。

情報処理装置１が備える画像取得部２、３ＤＢＢ生成部３、相関算出部４、教師データ選択部５は、それぞれ以下に説明する情報処理の作用を実現または実行する。なお、情報処理装置１の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

画像取得部２は、画像ＤＢ１０１から時系列に撮像された画像を順次取得して、３ＤＢＢ生成部３へ出力する。画像取得部２は、所定枚数の画像毎に、作成者によって正解値が付与された画像を取得する。作成者は、所定枚数の画像毎に、認識対象物の向きと対応する向きの３ＤＢＢを生成して認識対象物に重畳して付与する。なお、画像取得部２は、時系列に撮像された画像に限らず、任意の時刻に撮像された画像を取得することもできる。

３ＤＢＢ生成部３は、画像取得部２から入力される画像のうち、作成者によって３ＤＢＢが付与されていない画像中の認識対象物に対して３ＤＢＢを生成して付与する。このとき、３ＤＢＢ生成部３は、例えば、画像における物体の向きと対応する（同じ）向きの３ＤＢＢを生成する。また、３ＤＢＢ生成部３は、画像における物体の位置と対応する（同じ）位置に３ＤＢＢを生成する。また、３ＤＢＢ生成部３は、画像における物体の大きさと対応する（同じ）大きさの３ＤＢＢを生成する。

ここで、図３を参照して３ＤＢＢ生成部３による３ＤＢＢの生成方法について説明する。図３は、実施形態に係る３ＤＢＢの生成方法の一例を示す説明図である。３ＤＢＢ生成部３は、第１の時刻において撮像された画像に対応付けられた３ＤＤＢＢから、第１の時刻よりも後に撮像された画像に付与する３ＤＢＢを推定して生成する。例えば、図３に示すように３ＤＢＢ生成部３には、第１の時刻の一例である時刻ｔ１１で撮像された画像が入力される。

時刻ｔ１１で撮像された画像には、認識対象物となる歩行中の人２０が含まれており、作成者によって生成された３ＤＢＢ２１が付与されている。３ＤＢＢ２１は、人２０を内包するような箱型に作成され、人２０の向きと対応する（同じ）向きとなるように作成される。

３ＤＢＢ生成部３は、時刻ｔ１１で撮像された画像に付与された３ＤＢＢ２１から、時刻ｔ１２で撮像された人２０の画像に付与する３ＤＢＢ２２の大きさおよび向きを推定して３ＤＢＢ２２を生成し、時刻ｔ１２で撮像された人２０の画像に重畳させて付与する。時刻ｔ１２は、時刻ｔ１１よりも後の時刻である。

同様に、３ＤＢＢ生成部３は、時刻ｔ１２で撮像された画像に付与した３ＤＢＢ２２から、時刻ｔ１３で撮像された人２０の画像に付与する３ＤＢＢ２３を推定して生成し、時刻ｔ１３で撮像された人２０の画像に重畳させて付与する。時刻ｔ１３は、時刻ｔ１２よりも後の時刻である。

このように、３ＤＢＢ生成部３は、時刻ｔ１１で撮像された画像に付与された３ＤＢＢ２１から、時刻ｔ１２，ｔ１３で撮像された画像に付与する３ＤＢＢ２２，２３を推定して画像に付与する。

これにより、３ＤＢＢ生成部３は、時系列に画像における向き、大きさ、および位置が変化する認識対象物の画像に対して、適切な３ＤＢＢを付与することができる。また、３ＤＢＢ生成部３は、作成者によって全ての画像に３ＤＢＢを付与してもらう場合に比べて、作成者の作業量を低減することができる。

ただし、時系列の画像について３ＤＢＢを順次推定して生成する場合、生成する３ＤＢＢの数が増加するにつれて、３ＤＢＢの向きや大きさ等に、推定による誤差が蓄積されるおそれがある。

そこで、３ＤＢＢ生成部３は、第１の時刻よりも後の第２の時刻において撮像された画像に対応付けられた３ＤＢＢら、第２の時刻よりも前にされた画像に付与する３ＤＢＢを推定して生成する。

例えば、図３に示すように３ＤＢＢ生成部３には、第２の時刻の一例である時刻ｔ１６で撮像された画像が入力される。時刻ｔ１６は、時刻ｔ１１よりも後の時刻である。時刻ｔ１６で撮像された画像には、認識対象物となる歩行中の人２０が含まれており、作成者によって生成された３ＤＢＢ２６が付与されている。３ＤＢＢ２６は、人２０を内包するような箱型に作成され、人２０の向きと対応する（同じ）向きとなるように作成される。

３ＤＢＢ生成部３は、時刻ｔ１６で撮像された画像に付与された３ＤＢＢ２６から、時刻ｔ１５で撮像された人２０の画像に付与する３ＤＢＢ２５の大きさおよび向きを推定して３ＤＢＢ２５を生成し、時刻ｔ１５で撮像された人２０の画像に重畳させて付与する。時刻ｔ１５は、時刻ｔ１６よりも前の時刻である。

同様に、３ＤＢＢ生成部３は、時刻ｔ１５で撮像された画像に付与した３ＤＢＢ２５から、時刻ｔ１４で撮像された人２０の画像に付与する３ＤＢＢ２４を推定して生成し、時刻ｔ１４で撮像された人２０の画像に重畳させて付与する。時刻ｔ１４は、時刻ｔ１５よりも前の時刻である。

このように、３ＤＢＢ生成部３は、時刻ｔ１１以降に撮像された所定枚数（ここでは、２枚）の画像については、時系列に３ＤＢＢ２２，２３を推定して生成し、時刻１６以前に撮像された画像については、逆時系列に３ＤＢＢ２５，２４を推定して生成する。これにより、３ＤＢＢ生成部３は、推定により蓄積される誤差を低減することができる。３ＤＢＢ生成部３は、３ＤＢＢ２１～２６が付与された画像を相関算出部４へ出力する。

図２へ戻り、相関算出部４について説明する。相関算出部４は、３ＤＢＢ生成部３から入力される複数の３ＤＢＢ付画像について、３ＤＢＢの相関を算出し、算出結果を教師データ選択部５へ出力する。

ここで、図４～図６を参照し、相関算出部４による相関の算出方法について説明する。図４～図６は、実施形態に係る相関の算出方法の説明図である。相関算出部４は、２枚の画像における３ＤＢＢの相関を示す相関情報として、３ＤＢＢの向きの変化量を算出する。

例えば、図４に示すように、相関算出部４は、車両１０の画像に付与された３ＤＢＢ３１に対して、３ＤＢＢ３１中心を通り鉛直方向に延伸する軸ＡＸを設定する。次に、相関算出部４は、車両１０の他の画像に付与された３ＤＢＢ３２が、３ＤＢＢ３１の状態から軸ＡＸ周りに回転した回転角度Ｒを相関情報として算出する。

また、相関算出部４は、２枚の画像における３ＤＢＢの相関を示す相関情報として、３ＤＢＢの画像における位置の変化量を算出する。例えば、図５に示すように、相関算出部４は、画像１０３における３ＤＢＢ３３の位置を算出する。次に、相関算出部４は、他の画像１０４における３ＤＢＢ３４の位置が画像１０３における３ＤＢＢ３３の位置から移動した移動量Ｔを相関情報として算出する。

また、相関算出部４は、２枚の画像における３ＤＢＢの相関を示す相関情報として、３ＤＢＢの拡縮率を算出する。例えば、図６に示すように、相関算出部４は、画像１０５における３ＤＢＢ３５の大きさを算出する。次に、相関算出部４は、画像１０５における３ＤＢＢ３５の大きさに対する他の画像１０６における３ＤＢＢ３６の大きさの拡縮率Ｓを相関情報として算出する。相関算出部４は、算出した相関情報と３ＤＢＢ付画像とを教師データ選択部５へ出力する。

図２へ戻り、教師データ選択部５について説明する。教師データ選択部５は、相関算出部４から入力される相関情報に基づいて、各画像に付与された３ＤＢＢの相関の高低を判断する。教師データ選択部５は、画像における向きが類似しない３ＤＢＢを相関が低い３ＤＢＢと判断する。

例えば、教師データ選択部５は、回転角度Ｒが閾値（例えば、５度）以上である場合に、画像における３ＤＢＢの向きが類似しておらず、３ＤＢＢの相関が低いと判断する。
また、教師データ選択部５は、回転角度Ｒが閾値未満である場合に、画像における３ＤＢＢの向きが類似しており、３ＤＢＢの相関が高いと判断する。なお、回転角度Ｒと比較する閾値は、任意に設定変更が可能である。

また、教師データ選択部５は、画像における位置が類似しない３ＤＢＢを相関が低い３ＤＢＢと判断する。例えば、教師データ選択部５は、解像度が１９２０×１０８０画素の画像では、移動量Ｔが閾値（例えば、１００画素）以上である場合に、画像における３ＤＢＢの位置が類似しておらず、３ＤＢＢの相関が低いと判断する。また、教師データ選択部５は、移動量Ｔが閾値未満の場合に、画像における３ＤＢＢの位置が類似しており、３ＤＢＢの相関が高いと判断する。なお、移動量Ｔと比較する閾値は、任意に設定変更が可能である。

また、教師データ選択部５は、画像における大きさが類似しない３ＤＢＢを相関が低い３ＤＢＢと判断する。例えば、教師データ選択部５は、拡縮率Ｓが閾値（例えば、１０％）以上である場合に、画像における３ＤＢＢの大きさが類似しておらず、３ＤＢＢの相関が低いと判断する。また、教師データ選択部５は、拡縮率Ｓが閾値未満の場合に、画像における３ＤＢＢの大きさが類似しており、３ＤＢＢの相関が高いと判断する。なお、拡縮率Ｓと比較する閾値は、任意に設定変更が可能である。

そして、教師データ選択部５は、回転角度Ｒ、移動量Ｔ、および拡縮率Ｓのうち、少なくともいずれか一つに基づいて、相関が低いと判断した３ＤＤＢＢが付与された画像を選択し、教師ＤＢ１００に出力して蓄積する。

これにより、情報処理装置１は、画像における向きが類似しない３ＤＢＢが付与された画像を教師データとして選択することができる。また、情報処理装置１は、画像における位置が類似しない３ＤＢＢが付与された画像を教師データとして選択することができる。また、情報処理装置１は、画像における大きさが類似しない３ＤＢＢが付与された画像を教師データとして選択することができる。

次に、図７を参照して実施形態に係る情報処理装置が実行する処理について説明する。図７は、実施形態に係る情報処理装置が実行する処理の一例を示すフローチャートである。図７に示すように、情報処理装置１は、まず、第１の時刻に撮像された３ＤＢＢ付画像を取得する（ステップＳ１０１）。

続いて、情報処理装置１は、第１の時刻よりも後に時系列に撮像された画像を順次取得し（ステップＳ１０２）、第１の時刻よりも後の第２の時刻に撮像された画像を取得したか否かを判断する（ステップＳ１０３）。そして、情報処理装置１は、第２の時刻に撮像された画像を取得していないと判断した場合（ステップＳ１０３，Ｎｏ）、処理をステップＳ１０２へ移す。

また、情報処理装置１は、第２の時刻に撮像された画像を取得したと判断した場合（ステップＳ１０３，Ｙｅｓ）、第１の時刻に撮像された画像の３ＤＢＢに基づいて、第１の時刻以降の画像に付与する３ＤＢＢを時系列に推定して生成する（ステップＳ１０４）。

続いて、情報処理装置１は、第２の時刻に撮像された画像の３ＤＢＢに基づいて、第２の時刻以前の画像に付与する３ＤＢＢを逆時系列に生成する（ステップＳ１０５）。その後、情報処理装置１は、各画像に３ＤＢＢを付与し（ステップＳ１０６）、各３ＤＢＢの相関を算出する（ステップＳ１０７）。

続いて、情報処理装置１は、各３ＤＢＢの相関を判断し、相関が低いと判断した３ＤＢＢが付与された画像を教師データとして選択し（ステップＳ１０８）、選択した教師データを教師ＤＢ１００へ出力して（ステップＳ１０９）処理を終了する。そして、情報処理装置１は、ステップＳ１０１から再度処理を開始する。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１情報処理装置
２画像取得部
３３ＤＢＢ生成部
４相関算出部
５教師データ選択部
１００教師ＤＢ
１０１画像ＤＢ

Claims

物体が写った複数の画像から、教師あり学習に使用される教師データの作成用の画像を選択する情報処理方法であって、
複数の画像における前記物体に付された３次元のバウンディングボックス間の前記バウンディングボックスの向きの相関を算出し、
前記複数の画像における前記バウンディングボックスの相関を比較し、
前記バウンディングボックスの相関が低い画像を、前記教師データの作成用の画像として選択する
情報処理方法。
複数の画像における前記物体に付された３次元のバウンディングボックス間の前記バウンディングボックスの大きさの相関をさらに算出する請求項１に記載の情報処理方法。
前記複数の画像は、時系列に撮像される画像である請求項１または請求項２に記載の情報処理方法。
物体が写った複数の画像から、教師あり学習に使用される教師データの作成用の画像を選択する処理を行うプログラムであって、
複数の画像における前記物体に付された３次元のバウンディングボックス間の前記バウンディングボックスの向きの相関を算出するステップと、
前記複数の画像における前記バウンディングボックスの相関を比較するステップと、
前記バウンディングボックスの相関が低い画像を、前記教師データの作成用の画像として選択するステップと
をコンピュータに実行させる情報処理プログラム。
物体が写った複数の画像から、教師あり学習に使用される教師データの作成用の画像を選択する情報処理装置であって、
複数の画像における前記物体に付された３次元のバウンディングボックス間の前記バウンディングボックスの向きの相関を算出し、
前記複数の画像における前記バウンディングボックスの相関を比較し、
前記バウンディングボックスの相関が低い画像を、前記教師データの作成用の画像として選択する
情報処理装置。