JP7010779B2 - 画像補正装置及び画像補正方法 - Google Patents

Description

本発明は、画像の画素値を補正する画像補正装置及び画像補正方法に関する。

従来、同一の被写体を含み、色彩又は輝度がそれぞれ異なる複数の画像に対して、色彩及び輝度が同じになるように補正する装置が知られている。特許文献１には、参照画像及び対象画像の対応する画素を探索し、参照画像の画素に基づいて、参照画像の画素に対応する対象画像に含まれる画素の画素値を補正する技術が記載されている。

特開２００９－０４９７５９号公報

特許文献１のような技術を用いることにより、参照画像及び対象画像それぞれの色彩及び輝度が同じになるように画素値を補正することができる。しかしながら、複数の画像間において異なる被写体を同一の被写体であるとして、対応しない画素を誤って抽出してしまう可能性がある。この場合、複数の画像それぞれの色彩及び輝度が同等レベルになるように画素値を補正することができないという問題があった。

そこで、本発明はこれらの点に鑑みてなされたものであり、複数の画像それぞれの色彩及び輝度が同等レベルになるように画素値を補正する精度を向上させることができる画像補正装置及び画像補正方法を提供することを目的とする。

本発明の第１の態様に係る画像補正装置は、第１撮像画像と、前記第１撮像画像とは異なる撮像画像である第２撮像画像と、を取得する画像取得部と、前記第１撮像画像及び前記第２撮像画像のそれぞれに、入力された画像に基づいて当該画像に含まれる被写体の種別を出力可能な機械学習モデルに含まれる複数の処理層を伝搬させる伝搬制御部と、前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、前記第１撮像画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第１撮像画像出力と前記第２撮像画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第２撮像画像出力とを抽出する抽出部と、前記一以上の第１撮像画像出力に基づいて一以上の第１撮像画像特徴点を検出し、かつ前記一以上の第２撮像画像出力に基づいて一以上の第２撮像画像特徴点を検出する特徴点検出部と、前記一以上の第１撮像画像特徴点に対応する画素の第１画素値と、前記一以上の第１撮像画像特徴点それぞれに対応する前記一以上の第２撮像画像特徴点に対応する画素の第２画素値とが同じになるように前記第２画素値を補正し、補正した前記第２画素値に基づいて、前記第２撮像画像における、補正した画素以外の画素である中間画素の画素値を補正する補正部と、を有する。

前記補正部は、前記一以上の第１撮像画像特徴点に対応する画素以外の画素の画素値と、前記一以上の第１撮像画像特徴点それぞれに対応する前記一以上の第２撮像画像特徴点に対応する画素以外の画素の画素値との差が補正前よりも小さくなるように前記中間画素の画素値を補正してもよい。

前記補正部は、前記第１撮像画像に含まれる各画素の画素値それぞれの分布傾向と前記第２撮像画像に含まれる各画素の画素値それぞれの分布傾向との関係にさらに基づいて、前記中間画素の画素値を補正してもよい。

前記補正部は、前記第１撮像画像と前記第２撮像画像との類似度が補正前よりも大きくなるように前記中間画素の画素値を補正してもよい。

前記補正部は、前記第１画素値と前記第２画素値とが同じになるように前記第１画素値をさらに補正し、補正した前記第１画素値と前記第２画素値とに基づいて、前記第１撮像画像における、補正した画素以外の画素である中間画素の画素値をさらに補正してもよい。

前記抽出部は、前記第１撮像画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第１撮像画像出力、及び前記第２撮像画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第２撮像画像出力から、共通に活性化している一以上の後段第１撮像画像出力及び一以上の後段第２撮像画像出力を抽出する後段抽出部と、前記一以上の後段第１撮像画像出力及び前記一以上の後段第２撮像画像出力を活性化させる要因となった前記前段処理層から出力された複数の前段第１撮像画像出力、及び前記前段処理層から出力された複数の前段第２撮像画像出力のうち、共通に活性化している一以上の前段第１撮像画像出力及び一以上の前段第２撮像画像出力を抽出する前段抽出部と、を有してもよい。

前記前段抽出部は、前記複数の前段第１撮像画像出力及び前記複数の前段第２撮像画像出力のうち、活性化している大きさに基づいて、前記一以上の前段第１撮像画像出力及び前記一以上の前段第２撮像画像出力を抽出してもよい。

前記機械学習モデルは、畳み込みニューラルネットワークを含み、前記後段処理層は、出力層、全結合層、正規化層、プーリング層、及び畳み込み層のうちのいずれかの層であってもよい。
前記前段処理層は、全結合層、正規化層、プーリング層、畳み込み層及び入力層のうちのいずれかの層であってもよい。

前記抽出部は、前記複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択した場合において、前記最後尾層において共通に活性化している前記一以上の第１撮像画像出力及び前記一以上の第２撮像画像出力がない場合、前記最後尾層より前の処理層において共通に活性化している前記一以上の第１撮像画像出力及び前記一以上の第２撮像画像出力を抽出してもよい。

前記画像補正装置は、前記特徴点検出部が検出した前記一以上の第１撮像画像特徴点及び前記一以上の第２撮像画像特徴点から、相互の対応関係に基づいて一部の第１撮像画像特徴点及び一部の第２撮像画像特徴点を選択する選択部をさらに有し、前記補正部は、前記一部の第１撮像画像特徴点に対応する画素の第１画素値と、前記一以上の第１撮像画像特徴点それぞれに対応する前記一部の第２撮像画像特徴点に対応する画素の第２画素値とが同じになるように前記第２画素値を補正してもよい。

前記画像補正装置は、前記複数の処理層のうち、前記後段処理層として用いる処理層を選択する指示を受け付ける指示受付部をさらに有し、前記抽出部は、前記指示受付部が受け付けた前記指示が示す前記処理層を、前記後段処理層として使用してもよい。

前記抽出部は、前記複数の処理層のうち一つの層を前記後段処理層として選択して前記一以上の第１撮像画像出力及び前記一以上の第２撮像画像出力を抽出した後に、前記前段処理層として選択した処理層を前記後段処理層として選択して、別の前記一以上の第１撮像画像出力及び前記一以上の第２撮像画像出力を抽出してもよい。

本発明の第２の態様にかかる画像補正方法は、第１撮像画像と、前記第１撮像画像とは異なる撮像画像である第２撮像画像と、を取得するステップと、前記第１撮像画像及び前記第２撮像画像のそれぞれに、入力された画像に基づいて当該画像に含まれる被写体の種別を出力可能な機械学習モデルに含まれる複数の処理層を伝搬させるステップと、前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、前記第１撮像画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第１撮像画像出力と前記第２撮像画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第２撮像画像出力とを抽出するステップと、前記一以上の第１撮像画像出力に基づいて一以上の第１撮像画像特徴点を検出し、かつ前記一以上の第２撮像画像出力に基づいて一以上の第２撮像画像特徴点を検出するステップと、前記一以上の第１撮像画像特徴点に対応する画素の第１画素値と、前記一以上の第１撮像画像特徴点それぞれに対応する前記一以上の第２撮像画像特徴点に対応する画素の第２画素値とが同じになるように前記第２画素値を補正するステップと、前記補正するステップにおいて補正した前記第２画素値に基づいて、前記第２撮像画像における、補正した画素以外の画素である中間画素の画素値を補正するステップと、を有する。

前記抽出するステップは、前記第１撮像画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第１撮像画像出力、及び前記第２撮像画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第２撮像画像出力から、共通に活性化している一以上の後段第１撮像画像出力及び一以上の後段第２撮像画像出力を抽出する前段抽出ステップと、前記一以上の後段第１撮像画像出力及び前記一以上の後段第２撮像画像出力を活性化させる要因となった前記前段処理層から出力された複数の前段第１撮像画像出力、及び前記前段処理層から出力された複数の前段第２撮像画像出力のうち、共通に活性化している一以上の前段第１撮像画像出力及び一以上の前段第２撮像画像出力を抽出する後段抽出ステップと、を有してもよい。

前記前段抽出ステップを実行した後に、前記一以上の前段第１撮像画像出力及び前記一以上の前段第２撮像画像出力を、前記複数の後段第１撮像画像出力及び前記複数の後段第２撮像画像出力として、前記後段抽出ステップを実行してもよい。
前記複数の処理層のそれぞれに対して、前記後段抽出ステップ及び前記前段抽出ステップを実行してもよい。

本発明によれば、複数の画像それぞれの色彩及び輝度が同等レベルになるように画素値を補正する精度を向上させることができるという効果を奏する。

画像補正処理の概要を説明するための図である。 機械学習モデルの構成の一例を示す図である。 画像補正装置の構成を示す図である。 補正部が行う補正処理を説明するための図である。 抽出部が行う抽出処理について説明するための図である。 抽出部が行う抽出処理について説明するための図である。 抽出部が行う抽出処理について説明するための図である。 抽出部が行う抽出処理について説明するための図である。 抽出部が行う抽出処理について説明するための図である。 抽出部が行う抽出処理について説明するための図である。 画像補正装置が行う処理の流れを示すフローチャートである。 抽出部が行う処理の流れを示すフローチャートである。

［画像補正装置１の概要］
図１は、画像補正処理の概要を説明するための図である。画像補正装置１は、例えばＰＣ（Personal Computer）である。画像補正装置１は、機械学習モデルＭを用いて、複数の画像それぞれの色彩及び輝度が同じになるように補正処理を行う装置である。

画像は、静止画像又は動画像である。画像補正装置１は、画像が動画像である場合、動画像に含まれるフレームごとに補正処理を行う。複数の画像は、撮像パラメータがそれぞれ異なる撮像装置によって撮像された画像である。撮像パラメータは、例えば、撮像画像を撮像した撮像装置の焦点距離、画像の主点、縦横比、傾き、レンズ歪み、撮像した位置情報、及び撮像装置の向きの情報等である。複数の画像は、撮像パラメータが同じである撮像装置によって撮像された画像であり、それぞれ異なる環境下（例えば、第１撮像画像は日中に撮像された画像であり、第２撮像画像は夜間に撮像された画像である等）において撮像された画像であってもよい。

画像補正装置１は、第１撮像装置が生成した第１撮像画像Ａを取得する（図１の（１））。図１に示す第１撮像画像Ａには、塔Ｔ１が写っている。続いて、画像補正装置１は、第１撮像画像Ａとは異なる撮像画像である第２撮像画像Ｂを取得する（図１の（２））。画像補正装置１は、例えば、第１撮像装置とは異なる撮像装置である第２撮像装置が生成した第２撮像画像Ｂを取得する。図１に示す第２撮像画像Ｂには、第１撮像画像Ａに写っている被写体である塔Ｔ１が写っている。

画像補正装置１は、取得した第１撮像画像Ａ及び第２撮像画像Ｂそれぞれを機械学習モデルＭに入力し、当該機械学習モデルＭに含まれる複数の処理層を伝搬させる（図１の（３））。機械学習モデルＭは、入力された画像に基づいて当該画像に含まれる被写体の種別を出力するように学習されたモデルである。

図２は、機械学習モデルＭの構成の一例を示す図である。機械学習モデルＭは、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含む。この場合において、機械学習モデルＭは、入力層Ｍ１、第１の畳み込み層Ｍ２、第２の畳み込み層Ｍ３、第１のプーリング層Ｍ４、正規化層Ｍ５、第３の畳み込み層Ｍ６、第２のプーリング層Ｍ７、第１の全結合層Ｍ８、第２の全結合層Ｍ９、及び出力層Ｍ１０を有する。本明細書においては、隣接する２つの処理層のうち、第１撮像画像Ａ及び第２撮像画像Ｂが伝搬する際の上流側の処理層を前段処理層と称し、下流側の処理層を後段処理層と称する。

後段処理層となり得る処理層は、第１の畳み込み層Ｍ２、第２の畳み込み層Ｍ３、第１のプーリング層Ｍ４、正規化層Ｍ５、第３の畳み込み層Ｍ６、第２のプーリング層Ｍ７、第１の全結合層Ｍ８、第２の全結合層Ｍ９、及び出力層Ｍ１０のうちのいずれかの層である。また、前段処理層となり得る処理層は、入力層Ｍ１、第１の畳み込み層Ｍ２、第２の畳み込み層Ｍ３、第１のプーリング層Ｍ４、正規化層Ｍ５、第３の畳み込み層Ｍ６、第２のプーリング層Ｍ７、第１の全結合層Ｍ８、及び第２の全結合層Ｍ９のうちのいずれかの層である。画像補正装置１は、取得した画像を機械学習モデルＭに入力し、入力層Ｍ１から出力層Ｍ１０までの各処理層を順伝搬させる、すなわち、推論させることにより、画像に写っている被写体の種別を出力させる。

図１に戻り、画像補正装置１は、機械学習モデルＭが被写体の種別を出力するに至った各処理層における計算結果、すなわち、深層学習による抽象度の高い特徴量を用いて、第１撮像画像Ａ及び第２撮像画像Ｂに共通する特徴点を検出する（図１の（４））。ここで、画像補正装置１は、共通する特徴点の検出を、伝搬させた順序とは逆の順序で行う。このようにすることで、画像補正装置１は、抽象度が高い特徴量に基づく特徴点を検出することができる。

画像補正装置１は、共通する特徴点を検出することにより、第１撮像画像Ａに写っている塔Ｔ１と、第２撮像画像Ｂに写っている塔Ｔ１とにそれぞれ対応関係があることを検出する。対応関係は、第１撮像画像Ａの特徴点が示す第１撮像画像Ａに含まれる画素と、第２撮像画像Ｂの特徴点が示す第２撮像画像Ｂに含まれる画素とが一致又は近似した関係である。

そして、画像補正装置１は、検出した対応関係にある第１撮像画像Ａ及び第２撮像画像Ｂそれぞれの特徴点に基づいて、第１撮像画像Ａ及び第２撮像画像Ｂそれぞれに写っている塔Ｔ１の色彩及び輝度が同じになるように、第２撮像画像Ｂに含まれる画素の画素値を補正する（図１の（５））。

このようにすることで、画像補正装置１は、複数の画像それぞれの色彩及び輝度が同じになるように画素値を補正する精度を向上させることができる。画像補正装置１は、例えば、撮像装置の個体差による光源位置又は明暗の差等の影響を受けることなく、複数の画像の色彩及び輝度が同じになるように画素値を補正することができる。また、画像補正装置１は、例えば、夜間に撮像された暗い第２撮像画像Ｂに写っている塔Ｔ１を、日中に撮像された明るい第１撮像画像Ａに基づいて明るくなるように補正することができる。なお、本明細書における「色彩及び輝度が同じ」とは、色彩及び輝度が完全に同一である場合に限定されず、平均的な画像視認者が同等レベルの色彩及び輝度であると認識する限りにおいて、第１撮像画像Ａに含まれる画素の色彩及び輝度と第２撮像画像Ｂに含まれる画素の色彩及び輝度との間に微差があってもよい。
以下、画像補正装置１の詳細について説明する。

［画像補正装置１の構成］
図３は、画像補正装置１の構成を示す図である。画像補正装置１は、操作部１１、記憶部１２、及び制御部１３を有する。
操作部１１は、ユーザの操作を受け付ける入力デバイスである。
記憶部１２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体である。記憶部１２は、制御部１３が実行する各種のプログラムを記憶する。

制御部１３は、例えばＣＰＵ（Central Processing Unit）である。制御部１３は、記憶部１２に記憶されているプログラムを実行することにより、画像補正装置１に係る機能を制御する。制御部１３は、プログラムを実行することにより、画像取得部１３１、伝搬制御部１３２、抽出部１３３、指示受付部１３６、特徴点検出部１３７、選択部１３８、及び補正部１３９として機能する。

画像取得部１３１は、第１撮像画像と第２撮像画像とを取得する。画像取得部１３１は、例えば、記憶部１２に記憶されている第１撮像画像と第２撮像画像とを取得する。画像取得部１３１は、取得した第１撮像画像と第２撮像画像とを、伝搬制御部１３２に入力する。

伝搬制御部１３２は、第１撮像画像及び第２撮像画像のそれぞれに、機械学習モデルＭに含まれる複数の処理層を伝搬させる。図２に示す例において、伝搬制御部１３２は、第１撮像画像及び第２撮像画像のそれぞれに、機械学習モデルＭに含まれる入力層Ｍ１から出力層Ｍ１０までの各処理層を、順に伝搬させる。

抽出部１３３は、複数の処理層から選択した後段処理層、及び後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、第１撮像画像に基づいて後段処理層及び前段処理層から出力された一以上の第１撮像画像出力と第２撮像画像に基づいて後段処理層及び前段処理層から出力された一以上の第２撮像画像出力とを抽出する。抽出部１３３が行う抽出処理の詳細については後述するが、抽出部１３３は、後段処理層で共通に活性化している第１撮像画像出力の一部である後段第１撮像画像出力及び第２撮像画像出力の一部である後段第２撮像画像出力を抽出する後段抽出部１３４と、前段処理層で共通に活性化している第１撮像画像出力の一部である前段第１撮像画像出力及び第２撮像画像出力の一部である前段第２撮像画像出力を抽出する前段抽出部１３５とを有する。

抽出部１３３が抽出する第１撮像画像出力及び第２撮像画像出力は、処理層に含まれる複数のユニットのうち、活性化しているユニットを示す情報である。ユニットは、画像に含まれる一以上の画素である。活性化の定義は、例えば、ユニットの出力値又はユニットの出力値と当該ユニットの結合の重みとの積が、所定の閾値を超えた場合でもよいし、出力の大きい順に所定の個数又は所定の割合に含まれた場合であってもよい。また、全結合層以外の処理層においては、例えば、チャンネルごとに出力の大きい順に所定の個数又は所定の割合に含まれた場合であってもよい。チャンネルは、フィルタ毎に畳み込み演算した出力である。

抽出部１３３は、複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択することが好ましい。しかし、最後尾層において共通に活性化している第１撮像画像出力及び第２撮像画像出力がない場合がある。そこで、抽出部１３３は、複数の処理層のうち、最後尾層を後段処理層として選択した場合において、最後尾層において共通に活性化している一以上の第１撮像画像出力及び一以上の第２撮像画像出力がない場合、最後尾層より前の処理層において共通に活性化している一以上の第１撮像画像出力及び一以上の第２撮像画像出力を抽出してもよい。

例えば、抽出部１３３が、最後尾層である出力層Ｍ１０を後段処理層として選択した場合において、出力層Ｍ１０において共通に活性化している一以上の第１撮像画像出力及び一以上の第２撮像画像出力がないとする。この場合において、抽出部１３３は、出力層Ｍ１０より前の各処理層に対して、共通に活性化している一以上の第１撮像画像出力及び一以上の第２撮像画像出力を繰り返し探索する。

抽出部１３３は、例えば、出力層Ｍ１０の直前の処理層である第２の全結合層Ｍ９において共通に活性化している一以上の第１撮像画像出力及び一以上の第２撮像画像出力があった場合、第２の全結合層Ｍ９を後段処理層として選択する。そして、抽出部１３３は、後段処理層として選択した第２の全結合層Ｍ９において共通に活性化している一以上の第１撮像画像出力及び一以上の第２撮像画像出力を抽出する。このようにすることで、抽出部１３３は、第１撮像画像と第２撮像画像とで一致する領域が少ない場合であっても、それぞれに写る被写体を対応付けることができる。

抽出部１３３は、ユーザによって指定された処理層を後段処理層として選択してもよい。具体的には、まず、指示受付部１３６は、操作部１１を介して、複数の処理層のうち、後段処理層として用いる処理層を選択する指示を受け付ける。そして、抽出部１３３は、指示受付部１３６が受け付けた指示が示す処理層を、後段処理層として使用する。抽出部１３３は、図２に示す例において、ユーザが第２の全結合層Ｍ９を選択した場合に、指示受付部１３６が受け付けた指示が示す第２の全結合層Ｍ９を、後段処理層として使用する。抽出部１３３は、抽出した第１撮像画像出力と第２撮像画像出力とを特徴点検出部１３７に入力する。

特徴点検出部１３７は、一以上の第１撮像画像出力に基づいて一以上の第１撮像画像特徴点を検出し、かつ一以上の第２撮像画像出力に基づいて一以上の第２撮像画像特徴点を検出する。具体的には、特徴点検出部１３７は、まず、一以上の第１撮像画像出力及び一以上の第２撮像画像出力に基づいて、対応する特徴点を探索する。そして、特徴点検出部１３７は、対応関係にある一以上の第１撮像画像出力に基づく一以上の第１撮像画像特徴点と、一以上の第２撮像画像出力に基づく一以上の第２撮像画像特徴点とを検出する。特徴点検出部１３７は、検出した第１撮像画像特徴点及び第２撮像画像特徴点を選択部１３８に入力する。

選択部１３８は、特徴点検出部１３７が検出した一以上の第１撮像画像特徴点及び一以上の第２撮像画像特徴点から、相互の対応関係に基づいて一部の第１撮像画像特徴点及び一部の第２撮像画像特徴点を選択する。具体的には、選択部１３８は、誤検出した対応関係を除去し、除去した後の対応関係に基づく一以上の第１撮像画像特徴点及び一以上の第２撮像画像特徴点を選択する。選択部１３８は、例えば、ＲＡＮＳＡＣ（Random Sampling Consensus）法又は最小２乗メディアン（ＬＭｅｄＳ：Least Median of Square）法に基づいて絞り込みを行うことにより対応関係を除去する。

対応関係の誤検出は、第１撮像画像特徴点及び第２撮像画像特徴点の対応関係に矛盾が生じている状態である。対応関係の誤検出は、例えば、特徴点検出部１３７が探索した、対応関係にある一以上の第１撮像画像特徴点及び一以上の第２撮像画像特徴点のうち、撮像パラメータから明らかに誤りであることが判断できる対応関係を除去する。

選択部１３８は、例えば、第１撮像画像及び第２撮像画像をそれぞれ撮像した２つの撮像装置の画角及び向き等に基づいて、第１撮像画像及び第２撮像画像の画素の位置が数十画素程度のずれしか生じないと推定したとする。この場合において、選択部１３８は、特徴点検出部１３７が検出した一以上の第１撮像画像特徴点及び一以上の第２撮像画像特徴点のうち、数十画素程度のずれを超えている一以上の第１撮像画像特徴点（例えば、第１撮像画像の左下側の画素に対応する第１撮像画像特徴点）及び一以上の第２撮像画像特徴点（例えば、第２撮像画像の右上側の画素に対応する第２撮像画像特徴点）の対応関係を除去する。

選択部１３８は、動画像のｎフレーム目が第１撮像画像であり、ｎ＋１フレーム目が第２撮像画像であって、第１撮像画像及び第２撮像画像それぞれに写っている被写体の移動量にほとんど変動が無い場合において、対応関係にある第１撮像画像特徴点の画素の位置から第２撮像画像特徴点の画素の位置までの移動量が所定の閾値を超える場合に、対応関係を除去してもよい。選択部１３８は、例えば、第１撮像画像及び第２撮像画像それぞれに写っている被写体の移動量に変動が無い場合において、ある第１撮像画像特徴点の画素の位置が第１撮像画像の中央であり、当該第１撮像画像特徴点と対応関係にある第２撮像画像の画素の位置が第２撮像画像の左端である場合に、誤検出と判断して当該対応関係を除去する。

また、選択部１３８は、第１撮像画像及び第２撮像画像がそれぞれ異なる撮像装置によって撮像された画像である場合において、撮像装置の撮像パラメータに基づいて算出することができる多焦点テンソルが有する多重線形拘束を用いて対応関係を除去してもよい。選択部１３８は、例えば、後述する補正部１３９が２つの撮像画像に基づいて第２撮像画像の画素値を補正する場合に、２つの撮像画像に対して、２重線形拘束を満たさない対応関係を除去する。また、選択部１３８は、例えば、補正部１３９が３つの撮像画像に基づいて第２撮像画像の画素値を補正する場合に、３つの撮像画像に対して、３重線形拘束を満たさない対応関係を除去する。また、選択部１３８は、例えば、補正部１３９が４つの撮像画像に基づいて第２撮像画像の画素値を補正する場合に、４つの撮像画像に対して、４重線形拘束を満たさない対応関係を除去する。

また、選択部１３８は、多焦点テンソルに基づいて、抽出部１３３が行う抽出処理で抽出された撮像画像出力の絞り込みを行ってもよい。具体的には、選択部１３８は、まず、抽出部１３３によって抽出された撮像画像出力に基づいて、当該撮像画像出力が抽出された処理層から逆畳み込みを行い、当該撮像画像出力に対応する撮像画像の領域を特定する。そして、選択部１３８は、特定した領域が多重線形拘束を満たさない場合、当該領域に対応する撮像画像出力を、抽出部１３３によって抽出された撮像画像出力から除去する。

選択部１３８は、例えば、一の第１撮像画像出力に対応する第１撮像画像の領域である第１撮像画像領域を、当該一の第１撮像画像出力が抽出された処理層において逆畳み込みを行うことにより特定する。同様に、選択部１３８は、一の第２撮像画像出力に対応する第２撮像画像の領域である第２撮像画像領域を、当該一の第２撮像画像出力が抽出された処理層において逆畳み込みを行うことにより特定する。

選択部１３８は、２重線形拘束（例えば、エピポーラ拘束）を用いて、第２撮像画像上に変換した第１撮像画像領域に、第２撮像画像領域と共通する部分があるか否かを判定する。同様に、選択部１３８は、２重線形拘束を用いて第１撮像画像上に変換した第２撮像画像領域に、第１撮像画像領域と共通する部分があるか否かを判定する。

選択部１３８は、いずれかの判定において共通する部分がないと判定した場合、抽出すべき出力ではないと判断し、当該一の第１撮像画像出力及び当該一の第２撮像画像出力の対応関係を除去する。この場合、抽出部１３３は、選択部１３８が除去した対応関係にある当該一の第１撮像画像出力及び当該一の第２撮像画像出力に基づく抽出処理を中止する。一方、選択部１３８は、２つの判定において共通する部分があると判定した場合、当該一の第１撮像画像出力及び当該一の第２撮像画像出力の対応関係を維持し、次に抽出部１３３が抽出した第１撮像画像出力及び第２撮像画像出力の絞り込みを行う。

補正部１３９は、特徴点検出部１３７が検出した一以上の第１撮像画像特徴点及び一以上の第２撮像画像特徴点に基づいて、第２撮像画像に含まれる画素の画素値を補正する。具体的には、補正部１３９は、一以上の第１撮像画像特徴点に対応する画素の第１画素値と、一以上の第１撮像画像特徴点それぞれに対応する一以上の第２撮像画像特徴点に対応する画素の第２画素値とが同じになるように第２画素値を補正する。補正部１３９は、選択部１３８が選択した一部の第１撮像画像特徴点に対応する画素の第１画素値と、一以上の第１撮像画像特徴点それぞれに対応する一部の第２撮像画像特徴点に対応する画素の第２画素値とが同じになるように第２画素値を補正してもよい。

補正部１３９は、第２画素値を補正した後に、補正した第２画素値に基づいて、第２撮像画像における、補正した画素以外の画素である中間画素の画素値を補正する。具体的には、補正部１３９は、第１撮像画像と第２撮像画像との類似度が補正前よりも大きくなるように中間画素の画素値を補正する。より具体的には、補正部１３９は、一以上の第１撮像画像特徴点に対応する画素以外の画素の画素値と、一以上の第１撮像画像特徴点それぞれに対応する一以上の第２撮像画像特徴点に対応する画素以外の画素の画素値との差が補正前よりも小さくなるように中間画素の画素値を補正する。

図４は、補正部１３９が行う補正処理を説明するための図である。図４（ａ）は、図１に示す第２撮像画像Ｂと同じ画像である。図４（ｂ）は、図４（ａ）に示す塔Ｔ２に含まれる領域Ｔ２１を拡大した画像である。図４（ｂ）に示す破線の領域は、特徴点検出部１３７が検出した一以上の第１撮像画像特徴点と対応関係にある一以上の第２撮像画像特徴点に対応する画素を示す領域である。

図４（ｂ）に示す例において、補正部１３９は、一以上の第１撮像画像特徴点に対応する画素の第１画素値と、一以上の第１撮像画像特徴点それぞれに対応する一以上の第２撮像画像特徴点に対応する画素の第２画素値とが同じになるように、領域Ｔ２２、Ｔ２３それぞれに含まれる画素の第２画素値を補正する。また、補正部１３９は、補正した領域Ｔ２２、Ｔ２３それぞれの第２画素値に基づいて、第２撮像画像における中間画素として、領域Ｔ２２、Ｔ２３の間に含まれる画素の画素値を補正する。

補正部１３９は、例えば、図４（ｂ）に示す補正した領域Ｔ２２、Ｔ２３それぞれに含まれる画素の第２画素値が同じである場合に、領域Ｔ２２、Ｔ２３の間に含まれる画素の画素値を、補正した領域Ｔ２２、Ｔ２３それぞれに含まれる画素の第２画素値と同じになるように補正する。また、補正部１３９は、補正した領域Ｔ２２、Ｔ２３それぞれに含まれる画素の第２画素値のうち、領域Ｔ２３に含まれる画素の第２画素値の方が大きい（明るい）場合に、領域Ｔ２２、Ｔ２３の間に含まれる画素の画素値を、領域Ｔ２２側から領域Ｔ２３側に段階的に大きく（明るく）なるように中間画素の画素値を補正する。このようにすることで、補正部１３９は、中間画素においても第１撮像画像及び第２撮像画像それぞれの色彩及び輝度が同じになるように補正することができる。

補正部１３９は、不図示のルックアップテーブルを用いて第２撮像画像における中間画素の画素値を補正してもよい。ルックアップテーブルにおいては、例えば、対応関係にある一以上の第１撮像画像特徴点の位置と一以上の第２撮像画像特徴点の位置との関係と、当該一以上の第１撮像画像特徴点に対応する画素の第１画素値と、当該一以上の第２撮像画像特徴点に対応する画素の第２画素値と、第１撮像画像における中間画素の画素値と、第２撮像画像における中間画素の画素値に対する補正値とが関連付けられている。ルックアップテーブルを生成する方法は、公知の技術を用いることができる。補正部１３９は、例えば、動的計画法を用いてルックアップテーブルを生成する。

図４に示す例において、補正部１３９は、ルックアップテーブルを参照し、領域Ｔ２２、Ｔ２３それぞれの位置の関係と、領域Ｔ２２、Ｔ２３それぞれに対応する第２撮像画像特徴点と対応関係にある第１撮像画像特徴点に対応する画素の第１画素値と、領域Ｔ２２、Ｔ２３それぞれに対応する第２撮像画像特徴点に対応する画素の第２画素値と、第１撮像画像における中間画素の画素値とに関連付けられている補正値に基づいて、第２撮像画像における中間画素の画素値を補正してもよい。このように補正部１３９は、第２撮像画像における中間画素の画素値に対する補正処理においてルックアップテーブルを用いることにより、補正処理に伴う負荷を軽減させることができる。

補正部１３９は、第１撮像画像に含まれる各画素の画素値それぞれの分布傾向と第２撮像画像に含まれる各画素の画素値それぞれの分布傾向との関係にさらに基づいて、中間画素の画素値を補正してもよい。「画素値の分布傾向」は、例えば、撮像画像における輝度分布、明るさ分布、又は色分布等の傾向である。補正部１３９は、例えば、第１撮像画像に含まれる各画素の画素値それぞれの輝度分布傾向と、第２撮像画像に含まれる各画素の画素値それぞれの輝度分布傾向とが同じになるように、第２撮像画像における中間画素の画素値を補正してもよい。このようにすることで、補正部１３９は、中間画素に対する補正の精度を向上させることができる。

補正部１３９は、第１画素値と第２画素値とが同じになるように第１画素値をさらに補正し、補正した第１画素値と第２画素値とに基づいて、第１撮像画像における、補正した画素以外の画素である中間画素の画素値をさらに補正してもよい。具体的には、補正部１３９は、第１画素値と第２画素値とが同じになるように、第１画素値と第２画素値とを補正する。また、補正部１３９は、補正した第１画素値と第２画素値とに基づいて、第１撮像画像における中間画素の画素値と第２撮像画像における中間画素の画素値とが同じになるように、第１撮像画像における中間画素の画素値と第２撮像画像における中間画素の画素値とを補正する。

補正部１３９は、例えば、第１撮像画像が日中に撮像された明るい画像であり、第２撮像画像が夜間に撮像された暗い画像である場合に、輝度値が第１撮像画像と第２撮像画像との中間値となるように補正することによって、明暗のバランスがとれた撮像画像に補正することができる。また、補正部１３９は、例えば、日中に撮像された第１撮像画像に日向の部分と日陰の部分がある場合であっても、第２撮像画像における第２画素値及び第２撮像画像における中間画素値と同じになるように補正することによって、第１撮像画像における日向の部分と日陰の部分との差を低減することができる。

［抽出処理］
続いて、抽出部１３３が行う抽出処理について説明する。上述のとおり、抽出部１３３は、後段抽出部１３４及び前段抽出部１３５を有する。後段抽出部１３４は、第１撮像画像が複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより後段処理層から出力された複数の後段第１撮像画像出力、及び第２撮像画像が前段処理層及び後段処理層の順に伝搬したことにより後段処理層から出力された複数の後段第２撮像画像出力から、共通に活性化している一以上の後段第１撮像画像出力及び一以上の後段第２撮像画像出力を抽出する。

前段抽出部１３５は、一以上の後段第１撮像画像出力及び一以上の後段第２撮像画像出力を活性化させる要因となった前段処理層から出力された複数の前段第１撮像画像出力、及び前段処理層から出力された複数の前段第２撮像画像出力のうち、共通に活性化している一以上の前段第１撮像画像出力及び一以上の前段第２撮像画像出力を抽出する。

図５から図１０は、抽出部１３３が行う抽出処理について説明するための図である。図５から図１０は、前段処理層から後段処理層に伝搬させた状態を示している。図５から図１０において、実線で示すユニットを結合する結合線は、結合するユニットから出力があったことを示し、破線で示す結合線は、結合するユニットから出力が無かったことを示す。また、結合線を示す線の太さは、結合するユニットからの出力の大きさを示す。

図５の場合において、後段処理層は、最後尾層（例えば、出力層又は全結合層等）又は抽出部１３３が選択した最後尾層より前の処理層（全結合層又はプーリング層等）であり、前段処理層は、後段処理層の直前の処理層（例えば、全結合層又はプーリング層等）である。図５においては、後段処理層が出力層Ｍ２０であり、前段処理層が全結合層Ｍ１９であるとして説明する。

図５（ａ）は、抽出前の状態であり、図５（ｂ）は抽出後の状態である。第１撮像画像において、出力層Ｍ２０は、ユニットＵ５、Ｕ８が活性化しており、全結合層Ｍ１９は、ユニットＵ２、Ｕ５、Ｕ６、Ｕ７、Ｕ８が活性化している。第２撮像画像において、出力層Ｍ２０は、ユニットＵ３、Ｕ５が活性化しており、全結合層Ｍ１９は、ユニットＵ２、Ｕ４、Ｕ５、Ｕ８が活性化している。

この場合において、後段抽出部１３４は、後段処理層である出力層Ｍ２０から出力された後段第１撮像画像出力であるユニットＵ５、Ｕ８、及び出力層Ｍ２０から出力された後段第２撮像画像出力であるユニットＵ３、Ｕ５を比較する。そして、後段抽出部１３４は、共通に活性化している後段第１撮像画像出力のユニットＵ５及び後段第２撮像画像出力のユニットＵ５を抽出する。

続いて、前段抽出部１３５は、後段第１撮像画像出力のユニットＵ５を活性化させる要因となった前段処理層である全結合層Ｍ１９から出力された前段第１撮像画像出力であるユニットＵ２、Ｕ５、Ｕ６、及び後段第２撮像画像出力のユニットＵ５を活性化させる要因となった全結合層Ｍ１９から出力された前段第２撮像画像出力であるユニットＵ２、Ｕ５、Ｕ８を比較する。そして、前段抽出部１３５は、共通に活性化している前段第１撮像画像出力のユニットＵ２、Ｕ５、及び前段第２撮像画像出力のユニットＵ２、Ｕ５を抽出する。

抽出部１３３は、出力層Ｍ２０から全結合層Ｍ１９までの出力を抽出すると、次の処理層に対する出力を抽出する。具体的には、抽出部１３３は、処理層ごとに、共通に活性化している第１撮像画像出力及び第２撮像画像出力を抽出する処理を、伝搬制御部１３２が伝搬させた順序とは逆の順序で繰り返し行う。より具体的には、抽出部１３３は、複数の処理層のうち一つの層を後段処理層として選択して一以上の第１撮像画像出力及び一以上の第２撮像画像出力を抽出した後に、前段処理層として選択した処理層を後段処理層として選択して、別の一以上の第１撮像画像出力及び一以上の第２撮像画像出力を抽出する。このようにすることで、抽出部１３３は、第１撮像画像及び第２撮像画像に対する比較の精度を高めることができる。

図６は、第１撮像画像に基づいて、前段処理層から後段処理層に伝搬させた状態を示している。図７は、第２撮像画像に基づいて、前段処理層から後段処理層に伝搬させた状態を示している。図６及び図７の場合において、後段処理層は、全結合層Ｍ１８であり、前段処理層は、全結合層以外の処理層（例えば、プーリング層又は畳み込み層等）である。図６及び図７においては、前段処理層がプーリング層Ｍ１７であるとして説明する。また、図６及び図７において、前段処理層は、３つのチャンネルを有する。上段の第１チャンネルは、ユニットＵ１１、Ｕ１２、Ｕ１３、Ｕ１４、及びＵ１５を含む。中段の第２チャンネルは、ユニットＵ２１、Ｕ２２、Ｕ２３、Ｕ２４、及びＵ２５を含む。下段の第３チャンネルは、ユニットＵ３１、Ｕ３２、Ｕ３３、Ｕ３４、及びＵ３５を含む。

第１撮像画像において、プーリング層Ｍ１７は、第１チャンネルに含まれるユニットＵ１３及び第２チャンネルに含まれるユニットＵ２１、Ｕ２４が活性化している。第２撮像画像において、全結合層Ｍ１８は、第２チャンネルに含まれるユニットＵ２２、Ｕ２４、Ｕ２５及び第３チャンネルに含まれるユニットＵ３２、Ｕ３３が活性化している。

前段抽出部１３５は、後段第１撮像画像出力のユニットＵ５を活性化させる要因となった前段処理層であるプーリング層Ｍ１７から出力された前段第１撮像画像出力、及び後段第２撮像画像出力のユニットＵ５を活性化させる要因となったプーリング層Ｍ１７から出力された前段第２撮像画像出力を比較する。前段抽出部１３５は、活性化しているユニットの有無を調べ、活性化している前段第１撮像画像出力の第１チャンネルに含まれるユニットＵ１３及び第２チャンネルに含まれるＵ２１、Ｕ２４と、前段第２撮像画像出力の第２チャンネルに含まれるユニットＵ２２、Ｕ２４、Ｕ２５及び第３チャンネルに含まれるＵ３２、Ｕ３３とに着目する。

そして、前段抽出部１３５は、前段第１撮像画像出力と前段第２撮像画像出力との両方において活性化しているユニットが存在しているチャンネルが第２チャンネルであることから、前段第１撮像画像出力の第２チャンネルに含まれるユニットＵ２１、Ｕ２４及び前段第２撮像画像出力の第２チャンネルに含まれるユニットＵ２２、Ｕ２４、Ｕ２５を抽出する。

図８の場合において、後段処理層は、プーリング層Ｍ１６であり、前段処理層は、プーリング層以外の処理層（例えば、畳み込み層又は正規化層等）である。図８においては、前段処理層が畳み込み層Ｍ１５であるとして説明する。また、図８において、前段処理層は、チャンネルが１つであるとして説明する。第１撮像画像において、プーリング層Ｍ１６は、ユニットＵ５が活性化しており、畳み込み層Ｍ１５は、ユニットＵ３、Ｕ５が活性化している。第２撮像画像において、プーリング層Ｍ１６は、ユニットＵ３が活性化しており、畳み込み層Ｍ１５は、ユニットＵ３、Ｕ４が活性化している。

ここで、抽出部１３３は、画像の圧縮を行うプーリング層においては、直前の処理層からプーリング層に結合している複数のユニットのうち、チャンネルごとに活性化している程度に基づいて出力を抽出する。具体的には、前段抽出部１３５は、複数の前段第１撮像画像出力及び複数の前段第２撮像画像出力のうち、活性化している大きさに基づいて、一以上の前段第１撮像画像出力及び一以上の前段第２撮像画像出力を抽出する。前段抽出部１３５は、例えば、複数の前段第１撮像画像出力及び複数の前段第２撮像画像出力のうち、チャンネルごとに最も大きく活性化している一以上の前段第１撮像画像出力及び一以上の前段第２撮像画像出力を抽出する。

この場合において、後段抽出部１３４は、直前の抽出処理において前段処理層として選択したプーリング層Ｍ１６を選択して、プーリング層Ｍ１６から出力された後段第１撮像画像出力のユニットＵ５、及びプーリング層Ｍ１６から出力された後段第２撮像画像出力のユニットＵ３を抽出する。そして、前段抽出部１３５は、後段第１撮像画像出力のユニットＵ３、Ｕ５及び後段第２撮像画像出力のユニットＵ３、Ｕ４のうち、チャンネルごとに最も大きく活性化している前段第１撮像画像出力のユニットＵ５、及び前段第２撮像画像出力のユニットＵ４を抽出する。このようにすることで、前段抽出部１３５は、画像の中で特徴となる領域を特定することができる。

図９の場合において、後段処理層は、畳み込み層Ｍ１４であり、前段処理層は、畳み込み層を含む他の処理層（例えば、正規化層又はプーリング層等）である。図９においては、前段処理層が正規化層Ｍ１３であるとして説明する。また、図９において、前段処理層は、チャンネルが１つであるとして説明する。第１撮像画像において、畳み込み層Ｍ１４は、ユニットＵ５が活性化しており、正規化層Ｍ１３は、ユニットＵ３、Ｕ５、Ｕ６が活性化している。第２撮像画像において、畳み込み層Ｍ１４は、ユニットＵ３が活性化しており、正規化層Ｍ１３は、ユニットＵ３、Ｕ４、Ｕ５が活性化している。

この場合において、後段抽出部１３４は、直前の抽出処理において前段処理層として選択した畳み込み層Ｍ１４を選択して、畳み込み層Ｍ１４から出力された後段第１撮像画像出力のユニットＵ５、及び畳み込み層Ｍ１４から出力された後段第２撮像画像出力のユニットＵ３を抽出する。

続いて、前段抽出部１３５は、後段第１撮像画像出力のユニットＵ５を活性化させる要因となった前段処理層である正規化層Ｍ１３から出力された前段第１撮像画像出力、及び後段第２撮像画像出力のユニットＵ３を活性化させる要因となった前段処理層である正規化層Ｍ１３から出力された前段第２撮像画像出力を比較する。ここで、前段抽出部１３５は、後段処理層が畳み込み層である場合、後段抽出部１３４が後段処理層から抽出したユニットに結合する前段処理層の複数のユニットのうち、前段出力のユニットＵ５、Ｕ６、及び前段第２撮像画像出力のユニットＵ３、Ｕ出力と前段第２撮像画像出力とにおいて画素値が相対的に同じであり、かつチャンネルが共通するユニットを抽出する。この場合、前段抽出部１３５は、前段第１撮像画像出力と前段第２撮像画像出力とにおいて画素値が相対的に同じであり、かつチャンネルが共通するユニットとして、前段第１撮像画像出力のユニットＵ５、Ｕ６、及び前段第２撮像画像出力のユニットＵ３、Ｕ４を抽出する。

図１０の場合において、後段処理層は、正規化層Ｍ１２であり、前段処理層は、正規化層以外の処理層（例えば、畳み込み層又はプーリング層等）である。図１０においては、前段処理層がプーリング層Ｍ１１であるとして説明する。また、図１０において、前段処理層は、チャンネルが１つであるとして説明する。第１撮像画像において、正規化層Ｍ１２は、ユニットＵ５が活性化している。第２撮像画像において、正規化層Ｍ１２は、ユニットＵ３が活性化している。

ここで、抽出部１３３は、画像に対して前処理を行う正規化層においては、後段処理層において活性化しているユニットに結合している前段処理層に含まれる複数のユニットのうち、中心のユニットを抽出する。この場合において、後段抽出部１３４は、後段処理層として選択した正規化層Ｍ１２から出力された後段第１撮像画像出力のユニットＵ５、及び正規化層Ｍ１２から出力された後段第２撮像画像出力のユニットＵ３を抽出する。

そして、前段抽出部１３５は、正規化層Ｍ１２から出力された後段第１撮像画像出力のユニットＵ５に結合しているプーリング層Ｍ１１のユニットのうち、中心のユニットＵ５を抽出する。同様に、前段抽出部１３５は、正規化層Ｍ１２から出力された後段第２撮像画像出力のユニットＵ３に結合しているプーリング層Ｍ１１のユニットのうち、中心のユニットＵ３を抽出する。

抽出部１３３は、上述の抽出処理を入力層まで繰り返し行うことが好ましい。しかし、抽出部１３３は、抽出処理を最初の処理層まで行わずに、途中の処理層（例えば、プーリング層又は正規化層等）で終了してもよい。このように、抽出部１３３は、伝搬制御部１３２が伝搬させた順序とは逆の順序で抽出処理を行うことにより、抽象度が高い出力を抽出することができる。

［画像補正装置１の処理］
続いて、画像補正装置１が行う処理の流れを説明する。図１１は、画像補正装置１が行う処理の流れを示すフローチャートである。本フローチャートは、記憶部１２に記憶されている第１撮像画像と第２撮像画像とを取得したことを契機として開始する（Ｓ１）。

画像取得部１３１は、取得した第１撮像画像と第２撮像画像とを、伝搬制御部１３２に入力する。伝搬制御部１３２は、画像取得部１３１から入力された第１撮像画像及び第２撮像画像のそれぞれに、機械学習モデルＭに含まれる入力層Ｍ１から出力層Ｍ１０までの複数の処理層を、入力層Ｍ１から順に伝搬させる（Ｓ２）。

抽出部１３３は、後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の第１撮像画像出力及び一以上の第２撮像画像出力を抽出する処理を行う（Ｓ３）。図１２は、抽出部１３３が行う処理の流れを示すフローチャートである。抽出部１３３は、指示受付部１３６が、操作部１１を介して、複数の処理層のうち、後段処理層として用いる処理層を選択する指示を受け付けたか否かを判定する（Ｓ３１）。

抽出部１３３は、指示受付部１３６が指示を受け付けたと判定した場合、指示受付部１３６が受け付けた指示が示す処理層を、後段処理層として使用する（Ｓ３２）。抽出部１３３は、例えば、指示受付部１３６が第１の全結合層Ｍ８を示す指示を受け付けたと判定した場合、指示受付部１３６が受け付けた指示が示す第１の全結合層Ｍ８を、後段処理層として選択する。一方、抽出部１３３は、指示受付部１３６が指示を受け付けていないと判定した場合、最後尾層（例えば、出力層Ｍ１０）で共通に活性化している一以上の第１撮像画像出力及び一以上の第２撮像画像出力があるか否かを判定する（Ｓ３３）。

抽出部１３３は、出力層Ｍ１０で共通に活性化している一以上の第１撮像画像出力及び一以上の第２撮像画像出力があると判定した場合、最後尾層である出力層Ｍ１０を、後段処理層として使用する（Ｓ３４）。一方、抽出部１３３は、出力層Ｍ１０で共通に活性化している一以上の第１撮像画像出力及び一以上の第２撮像画像出力がないと判定した場合、出力層Ｍ１０より前の各処理層に対して、共通に活性化している一以上の第１撮像画像出力及び一以上の第２撮像画像出力を繰り返し探索する。そして、抽出部１３３は、共通に活性化している一以上の第１撮像画像出力及び一以上の第２撮像画像出力がある処理層（例えば、第２の全結合層Ｍ９）を、後段処理層として使用する（Ｓ３５）。抽出部１３３は、選択した後段処理層、及び前段処理層の両方の処理層において共通に活性化している、第１撮像画像に基づいて後段処理層及び前段処理層から出力された一以上の第１撮像画像出力と第２撮像画像に基づいて後段処理層及び前段処理層から出力された一以上の第２撮像画像出力とを抽出する。

具体的には、まず、後段抽出部１３４は、選択した後段処理層から出力された複数の後段第１撮像画像出力、及び選択した後段処理層から出力された複数の後段第２撮像画像出力から、共通に活性化している一以上の後段第１撮像画像出力及び一以上の後段第２撮像画像出力を抽出する（Ｓ３６）。そして、前段抽出部１３５は、後段抽出部１３４が抽出した一以上の後段第１撮像画像出力及び一以上の後段第２撮像画像出力を活性化させる要因となった前段処理層から出力された複数の前段第１撮像画像出力、及び前段処理層から出力された複数の前段第２撮像画像出力のうち、共通に活性化している一以上の前段第１撮像画像出力及び一以上の前段第２撮像画像出力を抽出する（Ｓ３７）。

続いて、抽出部１３３は、前段処理層より前に別の処理層があるか否かを判定する（Ｓ３８）。抽出部１３３は、前段処理層（例えば、第２のプーリング層Ｍ７）より前に別の処理層（例えば、第３の畳み込み層Ｍ６）があると判定した場合、第２のプーリング層Ｍ７を後段処理層として使用し（Ｓ３９）、処理をＳ３６に戻す。一方、抽出部１３３は、前段処理層（例えば、入力層Ｍ１）より前に別の処理層がないと判定した場合、抽出した一以上の第１撮像画像出力及び一以上の第２撮像画像出力を特徴点検出部１３７に入力し、抽出処理を終了する。

図１１に戻り、特徴点検出部１３７は、一以上の第１撮像画像出力及び一以上の第２撮像画像出力に基づいて、対応する特徴点を探索し、対応関係にある一以上の第１撮像画像出力に基づく一以上の第１撮像画像特徴点と、一以上の第２撮像画像出力に基づく一以上の第２撮像画像特徴点とを検出する（Ｓ４）。続いて、選択部１３８は、特徴点検出部１３７が検出した第１撮像画像特徴点及び第２撮像画像特徴点に不適切な特徴点があるか否かを判定する（Ｓ５）。選択部１３８は、例えば、ＲＡＮＳＡＣ法に基づいて絞り込みを行う。

選択部１３８は、第１撮像画像特徴点及び第２撮像画像特徴点に不適切な特徴点があると判定した場合、不適切な特徴点、すなわち、誤検出した対応関係にある第１撮像画像特徴点及び第２撮像画像特徴点を除去し（Ｓ６）、除去した後の対応関係に基づく一部の第１撮像画像特徴点及び一部の第２撮像画像特徴点を選択する。

補正部１３９は、選択部１３８が、第１撮像画像特徴点及び第２撮像画像特徴点に不適切な特徴点がないと判定した場合、又は誤検出した対応関係を除去した後に、一以上の第１撮像画像特徴点に対応する画素の第１画素値と、一以上の第１撮像画像特徴点それぞれに対応する一以上の第２撮像画像特徴点に対応する画素の第２画素値とが同じになるように第２画素値を補正する（Ｓ７）。そして、補正部１３９は、補正した第２画素値に基づいて、第２撮像画像における、補正した画素以外の画素である中間画素の画素値を補正する（Ｓ８）。

［実施形態における効果］
以上説明したとおり、画像補正装置１は、取得した第１撮像画像及び第２撮像画像のそれぞれに、機械学習モデルＭに含まれる複数の処理層を伝搬させる。画像補正装置１は、伝搬させた順とは逆の順序で後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の第１撮像画像出力及び一以上の第２撮像画像出力を、処理層ごとに抽出し、対応関係にある一以上の第１撮像画像特徴点及び一以上の第２撮像画像特徴点をそれぞれ検出する。そして、画像補正装置１は、検出した一以上の第１撮像画像特徴点及び一以上の第２撮像画像特徴点に基づいて、第２撮像画像に含まれる画素の画素値を補正する。

このように、画像補正装置１は、畳み込みニューラルネットワークを含む機械学習モデルＭを使用し、深層学習による抽象度が高い特徴量を求めることにより、第１撮像画像と第２撮像画像とが同じになるように第２撮像画像に含まれる画素の画素値を補正することができる。その結果、画像補正装置１は、複数の画像それぞれの色彩及び輝度が同等レベルになるように画素値を補正する精度を向上させることができる。

画像補正装置１は、例えば、同じ被写体をそれぞれ異なる環境下で撮影した複数の画像（日中及び夜間等）を用いて、補正を示す情報（ルックアップテーブル）を自動車の自動運転技術に提供することにより、天候又は環境の変化に対して頑健な状況判断が可能となる。また、画像補正装置１は、例えば、全周囲画像に用いる、複数のカメラで撮影した複数の画像それぞれの画素の画素値が同じになるように補正することにより、スティッチングの境界が分からない自然な全周囲画像に合成することができる。また、画像補正装置１は、例えば、自由視点映像に用いる、複数のカメラで撮影した複数の映像それぞれの画素の画素値が同じになるように補正することにより、合成した自由始点映像の色ムラ及び輝度ムラ等を低減させることができる。

また、画像補正装置１は、例えば、白飛び及び黒つぶれの少ない高階調画像（ハイダイナミックレンジイメージ）を生成するＨＤＲ（High Dynamic Range）合成に用いる、露光を変えつつ撮像された複数の画像それぞれの画素の画素値が同じになるように補正することにより、高精度なＨＤＲ合成を自動的に行うことができる。また、画像補正装置１は、例えば、記者会見等において多くのカメラフラッシュが写った映像に含まれる複数のフレームそれぞれの画素の画素値が同じになるように輝度補正することにより、カメラフラッシュの影響を除去した映像を合成することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

１ 画像補正装置
１１ 操作部
１２ 記憶部
１３ 制御部
１３１ 画像取得部
１３２ 伝搬制御部
１３３ 抽出部
１３４ 後段抽出部
１３５ 前段抽出部
１３６ 指示受付部
１３７ 特徴点検出部
１３８ 選択部
１３９ 補正部

Claims (17)

1. 第１撮像画像と、前記第１撮像画像とは異なる撮像画像である第２撮像画像と、を取得する画像取得部と、
   前記第１撮像画像及び前記第２撮像画像のそれぞれに、入力された画像に基づいて当該画像に含まれる被写体の種別を出力可能な機械学習モデルに含まれる処理層であって、それぞれ当該画像に含まれる一以上の画素を示す複数のユニットをそれぞれ含む複数の処理層を伝搬させる伝搬制御部と、
   前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している前記ユニットを示す画像出力であって前記第１撮像画像に基づいて前記後段処理層及び前記前段処理層から出力された前記画像出力である一以上の第１撮像画像出力と前記第２撮像画像に基づいて前記後段処理層及び前記前段処理層から出力された前記画像出力である一以上の第２撮像画像出力とを抽出する抽出部と、
   前記一以上の第１撮像画像出力と、前記一以上の第２撮像画像出力とに基づいて、前記第１撮像画像に含まれる特徴点である一以上の第１撮像画像特徴点と、前記第２撮像画像に含まれる特徴点であって前記第１撮像画像特徴点と対応関係にある前記特徴点である一以上の第２撮像画像特徴点とを検出する特徴点検出部と、
   前記一以上の第１撮像画像特徴点に対応する画素の第１画素値と、前記一以上の第１撮像画像特徴点それぞれに対応する前記一以上の第２撮像画像特徴点に対応する画素の第２画素値とが同じになるように前記第２画素値を補正し、補正した前記第２画素値に基づいて、前記第２撮像画像における、補正した画素以外の画素である中間画素の画素値を補正する補正部と、
   を有する画像補正装置。
2. 前記補正部は、前記一以上の第１撮像画像特徴点に対応する画素以外の画素の画素値と、前記一以上の第１撮像画像特徴点それぞれに対応する前記一以上の第２撮像画像特徴点に対応する画素以外の画素の画素値との差が補正前よりも小さくなるように前記中間画素の画素値を補正する、
   請求項１記載の画像補正装置。
3. 前記補正部は、前記第１撮像画像に含まれる各画素の画素値それぞれの分布傾向と前記第２撮像画像に含まれる各画素の画素値それぞれの分布傾向との関係にさらに基づいて、前記中間画素の画素値を補正する、
   請求項１又は２に記載の画像補正装置。
4. 前記補正部は、前記第１撮像画像と前記第２撮像画像との類似度が補正前よりも大きくなるように前記中間画素の画素値を補正する、
   請求項１から３のいずれか一項に記載の画像補正装置。
5. 前記補正部は、前記第１画素値と前記第２画素値とが同じになるように前記第１画素値をさらに補正し、補正した前記第１画素値と前記第２画素値とに基づいて、前記第１撮像画像における、補正した画素以外の画素である中間画素の画素値をさらに補正する、
   請求項１から４のいずれか一項に記載の画像補正装置。
6. 前記抽出部は、
   前記第１撮像画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された前記画像出力である複数の後段第１撮像画像出力、及び前記第２撮像画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された前記画像出力である複数の後段第２撮像画像出力から、共通に活性化している一以上の後段第１撮像画像出力及び一以上の後段第２撮像画像出力を抽出する後段抽出部と、
   前記一以上の後段第１撮像画像出力及び前記一以上の後段第２撮像画像出力を活性化させる要因となった前記前段処理層から出力された前記画像出力である複数の前段第１撮像画像出力、及び前記前段処理層から出力された前記画像出力である複数の前段第２撮像画像出力のうち、共通に活性化している一以上の前段第１撮像画像出力及び一以上の前段第２撮像画像出力を抽出する前段抽出部と、
   を有する、
   請求項１から５のいずれか一項に記載の画像補正装置。
7. 前記前段抽出部は、前記複数の前段第１撮像画像出力及び前記複数の前段第２撮像画像出力のうち、活性化している大きさに基づいて、前記一以上の前段第１撮像画像出力及び前記一以上の前段第２撮像画像出力を抽出する、
   請求項６に記載の画像補正装置。
8. 前記機械学習モデルは、畳み込みニューラルネットワークを含み、
   前記後段処理層は、出力層、全結合層、正規化層、プーリング層、及び畳み込み層のうちのいずれかの層である、
   請求項６又は７に記載の画像補正装置。
9. 前記前段処理層は、全結合層、正規化層、プーリング層、畳み込み層及び入力層のうちのいずれかの層である、
   請求項８に記載の画像補正装置。
10. 前記抽出部は、前記複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択した場合において、前記最後尾層において共通に活性化している前記一以上の第１撮像画像出力及び前記一以上の第２撮像画像出力がない場合、前記最後尾層より前の処理層において共通に活性化している前記一以上の第１撮像画像出力及び前記一以上の第２撮像画像出力を抽出する、
    請求項１から９のいずれか一項に記載の画像補正装置。
11. 前記特徴点検出部が検出した前記一以上の第１撮像画像特徴点及び前記一以上の第２撮像画像特徴点から、相互の対応関係に基づいて一部の第１撮像画像特徴点及び一部の第２撮像画像特徴点を選択する選択部をさらに有し、
    前記補正部は、前記一部の第１撮像画像特徴点に対応する画素の第１画素値と、前記一以上の第１撮像画像特徴点それぞれに対応する前記一部の第２撮像画像特徴点に対応する画素の第２画素値とが同じになるように前記第２画素値を補正する、
    請求項１から１０のいずれか一項に記載の画像補正装置。
12. 前記複数の処理層のうち、前記後段処理層として用いる処理層を選択する指示を受け付ける指示受付部をさらに有し、
    前記抽出部は、前記指示受付部が受け付けた前記指示が示す前記処理層を、前記後段処理層として使用する、
    請求項１から１１のいずれか一項に記載の画像補正装置。
13. 前記抽出部は、前記複数の処理層のうち一つの層を前記後段処理層として選択して前記一以上の第１撮像画像出力及び前記一以上の第２撮像画像出力を抽出した後に、前記前段処理層として選択した処理層を前記後段処理層として選択して、別の前記一以上の第１撮像画像出力及び前記一以上の第２撮像画像出力を抽出する、
    請求項１から１２のいずれか一項に記載の画像補正装置。
14. 第１撮像画像と、前記第１撮像画像とは異なる撮像画像である第２撮像画像と、を取得するステップと、
    前記第１撮像画像及び前記第２撮像画像のそれぞれに、入力された画像に基づいて当該画像に含まれる被写体の種別を出力可能な機械学習モデルに含まれる処理層であって、それぞれ当該画像に含まれる一以上の画素を示す複数のユニットをそれぞれ含む複数の処理層を伝搬させるステップと、
    前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している前記ユニットを示す画像出力であって前記第１撮像画像に基づいて前記後段処理層及び前記前段処理層から出力された前記画像出力である一以上の第１撮像画像出力と前記第２撮像画像に基づいて前記後段処理層及び前記前段処理層から出力された前記画像出力である一以上の第２撮像画像出力とを抽出するステップと、
    前記一以上の第１撮像画像出力と、前記一以上の第２撮像画像出力とに基づいて、前記第１撮像画像に含まれる特徴点である一以上の第１撮像画像特徴点と、前記第２撮像画像に含まれる特徴点であって前記第１撮像画像特徴点と対応関係にある前記特徴点である一以上の第２撮像画像特徴点とを検出するステップと、
    前記一以上の第１撮像画像特徴点に対応する画素の第１画素値と、前記一以上の第１撮像画像特徴点それぞれに対応する前記一以上の第２撮像画像特徴点に対応する画素の第２画素値とが同じになるように前記第２画素値を補正するステップと、
    前記補正するステップにおいて補正した前記第２画素値に基づいて、前記第２撮像画像における、補正した画素以外の画素である中間画素の画素値を補正するステップと、
    を有する画像補正方法。
15. 前記抽出するステップは、
    前記第１撮像画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された前記画像出力である複数の後段第１撮像画像出力、及び前記第２撮像画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された前記画像出力である複数の後段第２撮像画像出力から、共通に活性化している一以上の後段第１撮像画像出力及び一以上の後段第２撮像画像出力を抽出する前段抽出ステップと、
    前記一以上の後段第１撮像画像出力及び前記一以上の後段第２撮像画像出力を活性化させる要因となった前記前段処理層から出力された前記画像出力である複数の前段第１撮像画像出力、及び前記前段処理層から出力された前記画像出力である複数の前段第２撮像画像出力のうち、共通に活性化している一以上の前段第１撮像画像出力及び一以上の前段第２撮像画像出力を抽出する後段抽出ステップと、
    を有する、請求項１４に記載の画像補正方法。
16. 前記前段抽出ステップを実行した後に、前記一以上の前段第１撮像画像出力及び前記一以上の前段第２撮像画像出力を、前記複数の後段第１撮像画像出力及び前記複数の後段第２撮像画像出力として、前記後段抽出ステップを実行する、
    請求項１５に記載の画像補正方法。
17. 前記複数の処理層のそれぞれに対して、前記後段抽出ステップ及び前記前段抽出ステップを実行する、
    請求項１５又は１６に記載の画像補正方法。

Images