JP7443990B2

JP7443990B2 - 機械学習装置、画像処理装置、機械学習方法、及び機械学習プログラム

Info

Publication number: JP7443990B2
Application number: JP2020142707A
Authority: JP
Inventors: 尹誠楊; 晋吾木田; 英樹竹原
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2020-08-26
Filing date: 2020-08-26
Publication date: 2024-03-06
Anticipated expiration: 2040-08-26
Also published as: US20230199281A1; WO2022044368A1; JP2022038286A

Description

本発明は、遠赤外線画像を可視光画像に変換する技術に関する。

可視光がない夜間では、可視光カメラの代わりに赤外線カメラを用いて物体を撮影するが、遠赤外線画像にはカラー画像情報がないため、遠赤外線画像から人物など特定の物体を検出することは難しい。そこで人間の目でも容易に認識できるように遠赤外線画像を可視光画像に変換することが行われる。

特許文献１には、対象物に赤外線を照射し反射される赤外線からの赤外スペクトル反射率の測定を二次元的走査で行うことにより、対象物の二次元的なスペクトル画像を得て、該スペクトル画像の各位置に人工的に着色を行う赤外線カラー画像形成装置が開示されている。

特許文献２には、生成器が赤外線画像の画素値から被写体の色を予測することによりカラー画像を生成し、制御部が予測に関連する色ごとの信頼度に基づいて候補色を決定する画像処理装置が開示されている。

特開２００２－１７１５１９号公報特開２０１６－１２２９０５号公報

赤外線画像を可視光画像に変換するためには、赤外線画像の画素値に対してカラー値を正確に指定することが必要であり、精度を上げるには限界があった。また、夜間の赤外線画像を昼間のカラー画像に変換することは難しい。

本発明はこうした状況に鑑みてなされたものであり、その目的は、遠赤外線画像を高い精度で可視光画像に変換することのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様の機械学習装置は、第１の所定時間帯と第２の所定時間帯の遠赤外線画像を取得する遠赤外線画像教師データ取得部と、第２の所定時間帯の可視光画像を取得する可視光画像教師データ取得部と、前記第１の所定時間帯の遠赤外線画像から前記第２の所定時間帯の可視光画像を生成する学習済みの可視光画像生成モデルを生成する可視光画像生成モデル学習部とを備える。前記可視光画像生成モデル学習部は、前記第１の所定時間帯の遠赤外線画像と前記第２の所定時間帯の遠赤外線画像とを教師データとして機械学習し、前記第１の所定時間帯の遠赤外線画像から前記第２の所定時間帯の遠赤外線画像を生成する学習済みの第１の生成モデルを生成する第１の生成モデル学習部と、前記第２の所定時間帯の遠赤外線画像と前記第２の所定時間帯の可視光画像とを教師データとして機械学習し、前記第２の所定時間帯の遠赤外線画像から前記第２の所定時間帯の可視光画像を生成する学習済みの第２の生成モデルを生成する第２の生成モデル学習部とを含む。

本発明の別の態様は、画像処理装置である。この装置は、遠赤外線画像を取得する遠赤外線画像取得部と、前記取得された遠赤外線画像を、遠赤外線画像から可視光画像を生成するために機械学習された可視光画像生成モデルに入力して可視光画像を生成する可視光画像生成部とを備える。前記可視光画像生成部は、前記取得された遠赤外線画像を、第１の所定時間帯の遠赤外線画像と第２の所定時間帯の遠赤外線画像とを教師データとして機械学習された第１の生成モデルに入力して第２の所定時間帯の遠赤外線画像を生成する第１の画像変換部と、前記生成された第２の所定時間帯の遠赤外線画像を、第２の所定時間帯の遠赤外線画像と第２の所定時間帯の可視光画像とを教師データとして機械学習された第２の生成モデルに入力して第２の所定時間帯の可視光画像を生成する第２の画像変換部とを含む。

本発明のさらに別の態様は、機械学習方法である。この方法は、第１の所定時間帯と第２の所定時間帯の遠赤外線画像を取得する遠赤外線画像教師データ取得ステップと、第２の所定時間帯の可視光画像を取得する可視光画像教師データ取得ステップと、前記第１の所定時間帯の遠赤外線画像から前記第２の所定時間帯の可視光画像を生成する学習済みの可視光画像生成モデルを生成する可視光画像生成モデル学習ステップとを備える。前記可視光画像生成モデル学習ステップは、前記第１の所定時間帯の遠赤外線画像と前記第２の所定時間帯の遠赤外線画像とを教師データとして機械学習し、前記第１の所定時間帯の遠赤外線画像から前記第２の所定時間帯の遠赤外線画像を生成する学習済みの第１の生成モデルを生成する第１の生成モデル学習ステップと、前記第２の所定時間帯の遠赤外線画像と前記第２の所定時間帯の可視光画像とを教師データとして機械学習し、前記第２の所定時間帯の遠赤外線画像から前記第２の所定時間帯の可視光画像を生成する学習済みの第２の生成モデルを生成する第２の生成モデル学習ステップとを含む。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、遠赤外線画像を高い精度で可視光画像に変換することができる。

実施の形態に係る機械学習装置の構成図である。実施の形態に係る遠赤外線撮像装置の構成図である。図１の可視光画像生成モデル学習部の構成図である。図２の可視光画像生成部の構成図である。図１の機械学習装置によって、夜間遠赤外線画像から昼間可視光画像を生成する可視光画像生成モデルを機械学習する手順を説明するフローチャートである。図２の画像処理装置によって、夜間遠赤外線画像を昼間可視光画像に変換する手順を説明するフローチャートである。

図１は、実施の形態に係る機械学習装置２００の構成図である。機械学習装置２００は、教師データ記憶部１０、遠赤外線画像教師データ取得部２０、可視光画像教師データ取得部３０、可視光画像生成モデル学習部４０、および学習済みモデル記憶部５０を含む。

教師データ記憶部１０には、第１所定時間帯の遠赤外線画像、第２所定時間帯の遠赤外線画像、および第２所定時間帯の可視光画像が教師データとして格納されている。一例として、第１所定時間帯は夜間であり、第２所定時間帯は昼間である。

遠赤外線画像は、遠赤外線撮像装置により第１所定時間帯および第２所定時間帯に撮影されたものである。可視光画像は、可視光撮像装置により第２所定時間帯に撮影されたものである。第１所定時間帯の遠赤外線画像と第２所定時間帯の遠赤外線画像は、撮影の時間帯が異なるため、画像の構図、すなわち撮影対象の人物や物体の配置は異なる。第２所定時間帯の遠赤外線画像と第２所定時間帯の可視光画像は、同一の時間帯において遠赤外線撮像装置と可視光撮像装置という二種類の撮像装置により撮影されたものであるため、画像の構図はほぼ同じである。

遠赤外線画像教師データ取得部２０は、教師データ記憶部１０から第１所定時間帯と第２所定時間帯の遠赤外線画像を教師データとして取得する。可視光画像教師データ取得部３０は、教師データ記憶部１０から第２所定時間帯の可視光画像を教師データとして取得する。

可視光画像生成モデル学習部４０は、第１所定時間帯の遠赤外線画像から第２所定時間帯の可視光画像を生成する学習済みの可視光画像生成モデルを生成する。可視光画像生成モデルは、第１所定時間帯の遠赤外線画像から第２所定時間帯の遠赤外線画像を生成する第１生成モデル６０と、第２所定時間帯の遠赤外線画像から第２所定時間帯の可視光画像を生成する第２生成モデル７０とを含む。可視光画像生成モデル学習部４０は、機械学習により生成された第１生成モデル６０と第２生成モデル７０を学習済みモデル記憶部５０に保存する。

図３は、可視光画像生成モデル学習部４０の構成図である。可視光画像生成モデル学習部４０は、第１生成モデル学習部４２と第２生成モデル学習部４４を含む。図３を参照して、可視光画像生成モデル学習部４０のより詳細な構成を説明するが、ここでは、一例として、第１所定時間帯は夜間、第２所定時間帯は昼間であるとして説明する。

第１生成モデル学習部４２は、第１所定時間帯の遠赤外線画像（夜間遠赤外線画像２２）と第２所定時間帯の遠赤外線画像（昼間遠赤外線画像２４）とを教師データとして機械学習し、第１所定時間帯の遠赤外線画像（夜間遠赤外線画像２２）から第２所定時間帯の遠赤外線画像（昼間遠赤外線画像２４）を生成する学習済みの第１生成モデル６０を生成する。

第２生成モデル学習部４４は、第２所定時間帯の遠赤外線画像（昼間遠赤外線画像２４）と第２所定時間帯の可視光画像（昼間可視光画像２６）とを教師データとして機械学習し、第２所定時間帯の遠赤外線画像（昼間遠赤外線画像２４）から第２所定時間帯の可視光画像（昼間可視光画像２６）を生成する学習済みの第２生成モデル７０を生成する。

機械学習の一例として、敵対的生成ネットワーク（ＧＡＮ（Generative Adversarial Networks））を用いる。敵対的生成ネットワークでは、生成器（Generator）と識別器（Discriminator）という二つのニューラルネットワークが互いに敵対的な学習を行う。敵対的生成ネットワークを用いて画像から画像への変換を学習する方法として、ＣｙｃｌｅＧＡＮと呼ばれる手法と、Ｐｉｘ２Ｐｉｘと呼ばれる手法がある。Ｐｉｘ２Ｐｉｘでは、訓練データセットとして与える変換前後の画像が１対１に対応するペアとなっている必要があるが、ＣｙｃｌｅＧＡＮでは厳密なペアではない画像の組み合わせを訓練データセットとして用いて学習することができる。

第１生成モデル学習部４２は、撮影時間帯の異なる夜間遠赤外線画像２２と昼間遠赤外線画像２４を教師データとして用いるため、変換前後の画像は同じ構図でなく、データセットは厳密なペアとはなっていない。そのため、第１生成モデル学習部４２では、厳密なペアではないデータセットに対しても学習できるＣｙｃｌｅＧＡＮを用いる。

ＣｙｃｌｅＧＡＮモデルに夜間遠赤外線画像２２を入力データとして、昼間遠赤外線画像２４を真値（ＧｒｏｕｎｄＴｒｕｔｈ）として与える。ＣｙｃｌｅＧＡＮモデルは入力画像の輪郭を保持しながら、画像のスタイルをＧｒｏｕｎｄＴｒｕｔｈへ変換する。ＣｙｃｌｅＧＡＮモデルに与えられる夜間遠赤外線画像２２と昼間遠赤外線画像２４のデータセットは、同じ場所で同じ遠赤外線カメラで撮影した写真であり、撮影時間帯の差があるだけであり、ＣｙｃｌｅＧＡＮモデルによって学習しやすい教師データである。

第２生成モデル学習部４４は、撮影時間帯が同じである昼間遠赤外線画像２４と昼間可視光画像２６を教師データとして用いるため、変換前後の画像は同じ構図であり、データセットはペアとなっている。そのため、第２生成モデル学習部４４では、ペアであるデータセットに対して学習するＰｉｘ２Ｐｉｘを用いる。

Ｐｉｘ２Ｐｉｘモデルに昼間遠赤外線画像２４を入力データとして、昼間可視光画像２６を真値（ＧｒｏｕｎｄＴｒｕｔｈ）として与える。Ｐｉｘ２Ｐｉｘに与えられる昼間遠赤外線画像２４と昼間可視光画像２６のデータセットは、同じ場所で同じ時間帯に遠赤外線カメラおよび可視光カメラという異なるカメラで撮影した写真であり、ペア画像であるため、Ｐｉｘ２Ｐｉｘモデルによって学習しやすい教師データである。

可視光画像生成モデル学習部４０は、夜間遠赤外線画像２２から昼間可視光画像２６への変換を直接機械学習するのではなく、夜間遠赤外線画像２２から昼間遠赤外線画像２４への変換を機械学習し、その後、昼間遠赤外線画像２４から昼間可視光画像２６への変換を機械学習するという２段階変換の機械学習モデルを生成する。

夜間遠赤外線画像２２と昼間遠赤外線画像２４は、同じ遠赤外線画像であるが撮影時間帯が異なるだけであるため、相関が高い。また、昼間遠赤外線画像２４と昼間可視光画像２６は、遠赤外線と可視光の違いがあるが撮影時間帯が同じであるため、相関が高い。それに対して、夜間遠赤外線画像２２と昼間可視光画像２６では、遠赤外線と可視光の違いがあり、撮影時間帯も異なるため、相関が低い。

夜間遠赤外線画像２２から昼間可視光画像２６を１回の変換で機械学習するよりも、夜間遠赤外線画像２２から昼間遠赤外線画像２４を機械学習し、その後、昼間遠赤外線画像２４から昼間可視光画像２６を機械学習するという２段階の変換を機械学習した方が、変換の難易度が低く、学習の精度が高くなる。

また、撮影画像から物体を検出する応用を想定した場合、物体検出モデルは、遠赤外線画像よりも可視光画像の場合に検出精度が高い。物体検出モデルをディープラーニングモデルなどにより機械学習する場合でも、可視光画像であれば、画像の色情報を用いて人物や物体を検出することができるため、検出精度を向上させることができる。また、学習段階で公開された学習済みモデルを利用する場合、可視光画像用の学習済みモデルは一般に公開されているが、遠赤外線画像用の学習済みモデルは公開されていないことが多い。このように撮影画像からの物体検出に応用することを想定する場合、夜間遠赤外線画像を昼間遠赤外線画像に高い精度で変換できるようにすることは有意義である。

図２は、実施の形態に係る遠赤外線撮像装置３００の構成図である。遠赤外線撮像装置３００は、学習済みモデル記憶部５０、画像処理装置１００、および画像表示部１１０を含む。画像処理装置１００は、遠赤外線画像取得部８０および可視光画像生成部９０を含む。学習済みモデル記憶部５０は、図１の学習済みモデル記憶部５０の構成と同じであり、可視光画像生成モデル学習部４０により機械学習により生成された第１生成モデル６０と第２生成モデル７０が格納されている。

遠赤外線画像取得部８０は、第１所定時間帯に撮影された遠赤外線画像を取得する。

可視光画像生成部９０は、遠赤外線画像取得部８０により取得された遠赤外線画像を、遠赤外線画像から可視光画像を生成するために機械学習された可視光画像生成モデルに入力して可視光画像を生成する。可視光画像生成モデルは、第１所定時間帯の遠赤外線画像から第２所定時間帯の遠赤外線画像を生成する第１生成モデル６０と、第２所定時間帯の遠赤外線画像から第２所定時間帯の可視光画像を生成する第２生成モデル７０とを含む。可視光画像生成部９０は、機械学習により生成された第１生成モデル６０と第２生成モデル７０を学習済みモデル記憶部５０から読み出す。画像表示部１１０は、可視光画像生成部９０により生成された可視光画像を表示する。

図４は、可視光画像生成部９０の構成図である。可視光画像生成部９０は、第１画像変換部９２と第２画像変換部９４を含む。図４を参照して、可視光画像生成部９０のより詳細な構成を説明するが、ここでは、一例として、第１所定時間帯は夜間、第２所定時間帯は昼間であるとして説明する。

第１画像変換部９２は、遠赤外線画像取得部８０により取得された遠赤外線画像（夜間遠赤外線画像８２）を、第１所定時間帯の遠赤外線画像（夜間遠赤外線画像２２）と第２所定時間帯の遠赤外線画像（昼間遠赤外線画像２４）とを教師データとして機械学習された第１生成モデル６０に入力して第２所定時間帯の遠赤外線画像（昼間遠赤外線画像８４）を生成する。

第２画像変換部９４は、第１画像変換部９２により生成された第２所定時間帯の遠赤外線画像（昼間遠赤外線画像８４）を、第２所定時間帯の遠赤外線画像（昼間遠赤外線画像２４）と第２所定時間帯の可視光画像（昼間可視光画像２６）とを教師データとして機械学習された第２生成モデル７０に入力して第２所定時間帯の可視光画像（昼間可視光画像８６）を生成する。

図５は、機械学習装置２００によって、夜間遠赤外線画像から昼間可視光画像を生成する可視光画像生成モデルを機械学習する手順を説明するフローチャートである。

教師データ記憶部１０から夜間遠赤外線画像２２、昼間遠赤外線画像２４、昼間可視光画像２６を取得する（Ｓ１０）。

夜間遠赤外線画像２２と昼間遠赤外線画像２４を教師データとする機械学習により、夜間遠赤外線画像２２から昼間遠赤外線画像２４を生成する第１生成モデル６０を生成する（Ｓ２０）。

昼間遠赤外線画像２４と昼間可視光画像２６を教師データとする機械学習により、昼間遠赤外線画像２４から昼間可視光画像２６を生成する第２生成モデル７０を生成する（Ｓ３０）。

第１生成モデル６０と第２生成モデル７０を可視光画像生成モデルとして学習済みモデル記憶部５０に保存する（Ｓ４０）。

図６は、画像処理装置１００によって、夜間遠赤外線画像を昼間可視光画像に変換する手順を説明するフローチャートである。

遠赤外線撮像装置３００により撮影された夜間遠赤外線画像８２を入力する（Ｓ５０）。

夜間遠赤外線画像２２と昼間遠赤外線画像２４を教師データとする機械学習により生成された第１生成モデル６０を用いて、夜間遠赤外線画像８２を昼間遠赤外線画像８４に変換する（Ｓ６０）。

昼間遠赤外線画像２４と昼間可視光画像２６を教師データとする機械学習により生成された第２生成モデル７０を用いて、昼間遠赤外線画像８４を昼間可視光画像８６に変換する（Ｓ７０）。

２段階の変換により生成された昼間可視光画像８６を出力する（Ｓ８０）。出力された昼間可視光画像８６は物体検出などに用いられる。

以上説明した画像処理装置１００、機械学習装置２００、および遠赤外線撮像装置３００の各種の処理は、ＣＰＵやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。

以上述べたように、本発明の実施の形態によれば、夜間遠赤外線画像から昼間可視光画像を直接変換するのではなく、夜間遠赤外線画像を昼間遠赤外線画像に変換し、その後、昼間遠赤外線画像を昼間可視光画像に変換するという２段階の変換を行うことにより、夜間遠赤外線画像から昼間可視光画像を高い精度で生成することができる。

可視光がない夜間では可視光カメラよりも赤外線カメラの方が物体を撮影しやすいが、夜間遠赤外線画像は色情報がないため、物体を検出するのが難しい。本発明の実施の形態の機械学習装置２００および画像処理装置１００を用いれば、高い精度で夜間遠赤外線画像を昼間可視光画像に変換することができるため、物体の検出が容易になる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

１０教師データ記憶部、２０遠赤外線画像教師データ取得部、２２夜間遠赤外線画像、２４昼間遠赤外線画像、２６昼間可視光画像、３０可視光画像教師データ取得部、４０可視光画像生成モデル学習部、４２第１生成モデル学習部、４４第２生成モデル学習部、５０学習済みモデル記憶部、６０第１生成モデル、７０第２生成モデル、８０遠赤外線画像取得部、８２夜間遠赤外線画像、８４昼間遠赤外線画像、８６昼間可視光画像、９０可視光画像生成部、９２第１画像変換部、９４第２画像変換部、１００画像処理装置、１１０画像表示部、２００機械学習装置、３００遠赤外線撮像装置。

Claims

第１の所定時間帯と第２の所定時間帯の遠赤外線画像を取得する遠赤外線画像教師データ取得部と、
第２の所定時間帯の可視光画像を取得する可視光画像教師データ取得部と、
前記第１の所定時間帯の遠赤外線画像から前記第２の所定時間帯の可視光画像を生成する学習済みの可視光画像生成モデルを生成する可視光画像生成モデル学習部とを備え、
前記可視光画像生成モデル学習部は、
前記第１の所定時間帯の遠赤外線画像と前記第２の所定時間帯の遠赤外線画像とを教師データとして機械学習し、前記第１の所定時間帯の遠赤外線画像から前記第２の所定時間帯の遠赤外線画像を生成する学習済みの第１の生成モデルを生成する第１の生成モデル学習部と、
前記第２の所定時間帯の遠赤外線画像と前記第２の所定時間帯の可視光画像とを教師データとして機械学習し、前記第２の所定時間帯の遠赤外線画像から前記第２の所定時間帯の可視光画像を生成する学習済みの第２の生成モデルを生成する第２の生成モデル学習部とを含むことを特徴とする機械学習装置。
遠赤外線画像を取得する遠赤外線画像取得部と、
前記取得された遠赤外線画像を、遠赤外線画像から可視光画像を生成するために機械学習された可視光画像生成モデルに入力して可視光画像を生成する可視光画像生成部とを備え、
前記可視光画像生成部は、
前記取得された遠赤外線画像を、第１の所定時間帯の遠赤外線画像と第２の所定時間帯の遠赤外線画像とを教師データとして機械学習された第１の生成モデルに入力して第２の所定時間帯の遠赤外線画像を生成する第１の画像変換部と、
前記生成された第２の所定時間帯の遠赤外線画像を、第２の所定時間帯の遠赤外線画像と第２の所定時間帯の可視光画像とを教師データとして機械学習された第２の生成モデルに入力して第２の所定時間帯の可視光画像を生成する第２の画像変換部とを含むことを特徴とする画像処理装置。
前記第２の生成モデルの教師データである前記第２の所定時間帯の遠赤外線画像と前記第２の所定時間帯の可視光画像は同一の構図であることを特徴とする請求項２に記載の画像処理装置。
第１の所定時間帯と第２の所定時間帯の遠赤外線画像を取得する遠赤外線画像教師データ取得ステップと、
第２の所定時間帯の可視光画像を取得する可視光画像教師データ取得ステップと、
前記第１の所定時間帯の遠赤外線画像から前記第２の所定時間帯の可視光画像を生成する学習済みの可視光画像生成モデルを生成する可視光画像生成モデル学習ステップとを備え、
前記可視光画像生成モデル学習ステップは、
前記第１の所定時間帯の遠赤外線画像と前記第２の所定時間帯の遠赤外線画像とを教師データとして機械学習し、前記第１の所定時間帯の遠赤外線画像から前記第２の所定時間帯の遠赤外線画像を生成する学習済みの第１の生成モデルを生成する第１の生成モデル学習ステップと、
前記第２の所定時間帯の遠赤外線画像と前記第２の所定時間帯の可視光画像とを教師データとして機械学習し、前記第２の所定時間帯の遠赤外線画像から前記第２の所定時間帯の可視光画像を生成する学習済みの第２の生成モデルを生成する第２の生成モデル学習ステップとを含むことを特徴とする機械学習方法。
第１の所定時間帯と第２の所定時間帯の遠赤外線画像を取得する遠赤外線画像教師データ取得ステップと、
第２の所定時間帯の可視光画像を取得する可視光画像教師データ取得ステップと、
前記第１の所定時間帯の遠赤外線画像から前記第２の所定時間帯の可視光画像を生成する学習済みの可視光画像生成モデルを生成する可視光画像生成モデル学習ステップとをコンピュータに実行させ、
前記可視光画像生成モデル学習ステップは、
前記第１の所定時間帯の遠赤外線画像と前記第２の所定時間帯の遠赤外線画像とを教師データとして機械学習し、前記第１の所定時間帯の遠赤外線画像から前記第２の所定時間帯の遠赤外線画像を生成する学習済みの第１の生成モデルを生成する第１の生成モデル学習ステップと、
前記第２の所定時間帯の遠赤外線画像と前記第２の所定時間帯の可視光画像とを教師データとして機械学習し、前記第２の所定時間帯の遠赤外線画像から前記第２の所定時間帯の可視光画像を生成する学習済みの第２の生成モデルを生成する第２の生成モデル学習ステップとを含むことを特徴とする機械学習プログラム。