JP6783742B2 - パラメータ特定装置及びパラメータ特定方法 - Google Patents

Description

本発明は、機械学習モデルを用いて撮像画像の撮像パラメータを特定するパラメータ特定装置及びパラメータ特定方法に関する。

撮像装置で生成した撮像画像を分析することにより、当該撮像画像の撮像パラメータを特定する装置が知られている。特許文献１には、２つの撮像画像を比較して撮像パラメータを求める技術が開示されている。

特開２００９−２０５４７９号公報

撮像画像にＧＰＳ（Global Positioning System）等に基づく位置情報が付与されていない場合、撮像画像が撮像された場所を特定することは難しい。しかし、撮像画像にランドマークとなるような著名な建築物又は風景が映っている場合、当該撮像画像が撮像された場所を特定することができる場合がある。従来の技術を用いることで、撮像画像が撮像された位置が不明であっても、撮像画像に含まれる特徴点と、当該撮像画像に写っている被写体と同じ被写体が写っている画像であって、撮像した位置が予め特定されているモデル画像が有する特徴点とを比較することにより、撮像画像が撮像された位置等の撮影パラメータを特定することができる。しかし、撮像画像に写っているランドマーク以外の被写体が有する特徴点が、モデル画像が有する特徴点に対応すると誤検出してしまった場合に、撮像画像が撮像された位置等の撮影パラメータを誤って特定してしまう可能性がある。

そこで、本発明はこれらの点に鑑みてなされたものであり、撮像画像が撮像された位置等の撮像パラメータを特定する精度を向上させることができるパラメータ特定装置及びパラメータ特定方法を提供することを目的とする。

本発明の第１の態様に係るパラメータ特定装置は、撮像パラメータが未知の第１撮像装置で生成された特定用撮像画像と、撮像パラメータが既知の第２撮像装置で生成された基準撮像画像と、を取得する画像取得部と、前記特定用撮像画像及び前記基準撮像画像のそれぞれに、入力された画像に基づいて当該画像に含まれる被写体の種別を出力可能な機械学習モデルに含まれる複数の処理層を伝搬させる伝搬制御部と、前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、前記特定用撮像画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の特定用出力と前記基準撮像画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の基準出力とを抽出する抽出部と、前記一以上の特定用出力に基づいて一以上の特定用特徴点を検出し、かつ前記一以上の基準出力に基づいて一以上の基準特徴点を検出する特徴点検出部と、前記一以上の特定用特徴点と前記一以上の基準特徴点とを比較することにより、前記第１撮像装置の撮像パラメータを特定するパラメータ特定部と、を有する。

前記抽出部は、前記特定用撮像画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段特定用出力、及び前記基準撮像画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段基準出力から、共通に活性化している一以上の後段特定用出力及び一以上の後段基準出力を抽出する後段抽出部と、前記一以上の後段特定用出力及び前記一以上の後段基準出力を活性化させる要因となった前記前段処理層から出力された複数の前段特定用出力、及び前記前段処理層から出力された複数の前段基準出力のうち、共通に活性化している一以上の前段特定用出力及び一以上の前段基準出力を抽出する前段抽出部と、を有してもよい。

前記前段抽出部は、前記複数の前段特定用出力及び前記複数の前段基準出力のうち、活性化している大きさに基づいて、前記一以上の前段特定用出力及び前記一以上の前段基準出力を抽出してもよい。

前記機械学習モデルは、畳み込みニューラルネットワークを含み、前記後段処理層は、出力層、全結合層、正規化層、プーリング層、及び畳み込み層のうちのいずれかの層であってもよい。
前記前段処理層は、全結合層、正規化層、プーリング層、畳み込み層及び入力層のうちのいずれかの層であってもよい。

前記抽出部は、前記複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択した場合において、前記最後尾層において共通に活性化している前記一以上の特定用出力及び前記一以上の基準出力がない場合、前記最後尾層より前の処理層において共通に活性化している前記一以上の特定用出力及び前記一以上の基準出力を抽出してもよい。

前記パラメータ特定装置は、前記特徴点検出部が特定した前記一以上の特定用特徴点及び前記一以上の基準特徴点から、相互の対応関係に基づいて一部の特定用特徴点及び一部の基準特徴点を選択する選択部をさらに有し、前記パラメータ特定部は、前記一部の特定用特徴点と前記一部の基準特徴点とを比較することにより、前記撮像パラメータを特定してもよい。

前記パラメータ特定部は、前記特定用撮像画像における前記一部の特定用特徴点の位置と、前記基準撮像画像における前記一部の基準特徴点の位置との関係、並びに前記第２撮像装置の設置位置及び撮像方向に基づいて、前記第１撮像装置の撮像パラメータとして設置位置及び撮像方向を特定してもよい。

前記パラメータ特定装置は、前記複数の処理層のうち、前記後段処理層として用いる処理層を選択する指示を受け付ける指示受付部をさらに有し、前記抽出部は、前記指示受付部が受け付けた前記指示が示す前記処理層を、前記後段処理層として使用してもよい。

前記抽出部は、前記複数の処理層のうち一つの層を前記後段処理層として選択して前記一以上の特定用出力及び前記一以上の基準出力を抽出した後に、前記前段処理層として選択した処理層を前記後段処理層として選択して、別の前記一以上の特定用出力及び前記一以上の基準出力を抽出してもよい。

本発明の第２の態様に係るパラメータ特定方法は、撮像パラメータが未知の第１撮像装置で生成された特定用撮像画像と、撮像パラメータが既知の第２撮像装置で生成された基準撮像画像と、を取得するステップと、前記特定用撮像画像及び前記基準撮像画像のそれぞれに、入力された画像に基づいて当該画像に含まれる被写体の種別を出力可能な機械学習モデルに含まれる複数の処理層を伝搬させるステップと、前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、前記特定用撮像画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の特定用出力と前記基準撮像画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の基準出力とを抽出するステップと、前記一以上の特定用出力に基づいて一以上の特定用特徴点を検出し、かつ前記一以上の基準出力に基づいて一以上の基準特徴点を検出するステップと、前記一以上の特定用特徴点と前記一以上の基準特徴点とを比較することにより、前記撮像パラメータを特定するステップと、を有する。

前記抽出するステップは、前記特定用撮像画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段特定用出力、及び前記基準撮像画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段基準出力から、共通に活性化している一以上の後段特定用出力及び一以上の後段基準出力を抽出する前段抽出ステップと、前記一以上の後段特定用出力及び前記一以上の後段基準出力を活性化させる要因となった前記前段処理層から出力された複数の前段特定用出力、及び前記前段処理層から出力された複数の前段基準出力のうち、共通に活性化している一以上の前段特定用出力及び一以上の前段基準出力を抽出する後段抽出ステップと、を有してもよい。

前記パラメータ特定方法は、前記前段抽出ステップを実行した後に、前記一以上の前段特定用出力及び前記一以上の前段基準出力を、前記複数の後段特定用出力及び前記複数の後段基準出力として、前記後段抽出ステップを実行してもよい。

前記パラメータ特定方法は、前記複数の処理層のそれぞれに対して、前記後段抽出ステップ及び前記前段抽出ステップを実行してもよい。

本発明によれば、撮像画像が撮像された位置等の撮像パラメータを特定する精度を向上させることができるという効果を奏する。

撮像パラメータを特定する処理の概要を説明するための図である。 機械学習モデルの構成の一例を示す図である。 パラメータ特定装置の構成を示す図である。 抽出部が行う抽出処理について説明するための図である。 抽出部が行う抽出処理について説明するための図である。 抽出部が行う抽出処理について説明するための図である。 抽出部が行う抽出処理について説明するための図である。 抽出部が行う抽出処理について説明するための図である。 抽出部が行う抽出処理について説明するための図である。 パラメータ特定装置が行う処理の流れを示すフローチャートである。 抽出部が行う処理の流れを示すフローチャートである。

［パラメータ特定装置１の概要］
図１は、撮像パラメータを特定する処理の概要を説明するための図である。パラメータ特定装置１は、例えばＰＣ（Personal Computer）である。パラメータ特定装置１は、撮像パラメータが不明な撮像画像に対して、機械学習モデルＭを用いて撮像パラメータを特定する装置である。撮像パラメータは、例えば、撮像画像を撮像した撮像装置の焦点距離、画像の主点、縦横比、傾き、レンズ歪み、撮像した位置情報、及び撮像装置の向きの情報等である。

パラメータ特定装置１は、撮像パラメータが未知の第１撮像装置で生成された特定用撮像画像Ａ１を取得する（図１の（１））。第１撮像装置は、例えば、カメラ又はスマートフォンである。特定用撮像画像Ａ１は、例えば、インスタグラム（登録商標）及びＦａｃｅＢｏｏｋ（登録商標）等のＳＮＳ（Social Networking Service）に投稿された画像である。図１に例示した特定用撮像画像Ａ１は、ランドマークである被写体Ｌ１を背景として撮像された画像である。

続いて、パラメータ特定装置１は、撮像パラメータが既知の第２撮像装置で生成された基準撮像画像Ｂ１を取得する（図１の（２））。第２撮像装置は、例えば、カメラ、スマートフォン、又はＰＣである。基準撮像画像は、例えば、３次元空間の座標系を含む世界座標に基づいて生成された画像である。基準撮像画像は、ＧＰＳに基づく２次元座標を含む画像であってもよい。

基準撮像画像Ｂ１は、ランドマークとなる被写体Ｌ１を写した画像であり、例えば、特徴領域Ｌ１１、Ｌ１２、Ｌ１３が被写体として特徴的な部分であるとする。なお、特定用撮像画像と基準撮像画像とにそれぞれ写る被写体は、向きが一致していなくてもよい。すなわち、特定用撮像画像に写っている被写体が斜め方向であるのに対して、基準撮像画像に写っている被写体が正面であってもよい。

パラメータ特定装置１は、取得した特定用撮像画像Ａ１及び基準撮像画像Ｂ１それぞれを機械学習モデルＭに入力し、当該機械学習モデルＭに含まれる複数の処理層を伝搬させる（図１の（３））。機械学習モデルＭは、入力された画像に基づいて当該画像に含まれる被写体の種別を出力するように学習されたモデルである。

図２は、機械学習モデルＭの構成の一例を示す図である。機械学習モデルＭは、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含む。この場合において、機械学習モデルＭは、入力層Ｍ１、第１の畳み込み層Ｍ２、第２の畳み込み層Ｍ３、第１のプーリング層Ｍ４、正規化層Ｍ５、第３の畳み込み層Ｍ６、第２のプーリング層Ｍ７、第１の全結合層Ｍ８、第２の全結合層Ｍ９、及び出力層Ｍ１０を有する。本明細書においては、隣接する２つの処理層のうち、特定用撮像画像Ａ１及び基準撮像画像Ｂ１が伝搬する際の上流側の処理層を前段処理層と称し、下流側の処理層を後段処理層と称する。

後段処理層となり得る処理層は、第１の畳み込み層Ｍ２、第２の畳み込み層Ｍ３、第１のプーリング層Ｍ４、正規化層Ｍ５、第３の畳み込み層Ｍ６、第２のプーリング層Ｍ７、第１の全結合層Ｍ８、第２の全結合層Ｍ９、及び出力層Ｍ１０のうちのいずれかの層である。また、前段処理層となり得る処理層は、入力層Ｍ１、第１の畳み込み層Ｍ２、第２の畳み込み層Ｍ３、第１のプーリング層Ｍ４、正規化層Ｍ５、第３の畳み込み層Ｍ６、第２のプーリング層Ｍ７、第１の全結合層Ｍ８、及び第２の全結合層Ｍ９のうちのいずれかの層である。パラメータ特定装置１は、取得した画像を機械学習モデルＭに入力し、入力層Ｍ１から出力層Ｍ１０までの各処理層を順伝搬させる、すなわち、推論させることにより、画像に写っている被写体の種別を出力させる。

図１に戻り、パラメータ特定装置１は、機械学習モデルＭが被写体の種別を出力するに至った各処理層における計算結果、すなわち、深層学習による抽象度の高い特徴量を用いて、特定用撮像画像Ａ１及び基準撮像画像Ｂ１に共通する特徴点を検出する（図１の（４））。ここで、パラメータ特定装置１は、共通する特徴点の検出を、伝搬させた順序とは逆の順序で行う。このようにすることで、パラメータ特定装置１は、抽象度が高い特徴量に基づく特徴点を検出することができる。

パラメータ特定装置１は、共通する特徴点を検出することにより、特定用撮像画像Ａ１に写っている被写体Ｌ１の特徴領域Ｌ１１、Ｌ１２及び基準撮像画像Ｂ１に写っているＬ１の特徴領域Ｌ１１、Ｌ１２に対応関係があることを検出する。対応関係は、特定用特徴点が示す特定用撮像画像に含まれる画素と、基準特徴点が示す基準撮像画像に含まれる画素とが一致又は近似した関係である。

そして、パラメータ特定装置１は、検出した対応関係にある特定用撮像画像Ａ１及び基準撮像画像Ｂ１それぞれの特徴点を比較することにより、第１撮像装置の撮像パラメータを特定する（図１の（５））。このようにすることで、パラメータ特定装置１は、被写体の対比における誤検出の発生確率を低減し、信頼性の高い撮像パラメータを特定することができる。
以下、パラメータ特定装置１の詳細について説明する。

［パラメータ特定装置１の構成］
図３は、パラメータ特定装置１の構成を示す図である。パラメータ特定装置１は、操作部１１、記憶部１２、及び制御部１３を有する。

操作部１１は、ユーザの操作を受け付ける入力デバイスである。
記憶部１２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体である。記憶部１２は、制御部１３が実行する各種のプログラムを記憶する。記憶部１２は、特定用撮像画像及び基準撮像画像を記憶する。

制御部１３は、例えばＣＰＵ（Central Processing Unit）である。制御部１３は、記憶部１２に記憶されているプログラムを実行することにより、パラメータ特定装置１に係る機能を制御する。制御部１３は、プログラムを実行することにより、画像取得部１３１、伝搬制御部１３２、抽出部１３３、指示受付部１３６、特徴点検出部１３７、選択部１３８、及びパラメータ特定部１３９として機能する。

画像取得部１３１は、記憶部１２に記憶されている特定用撮像画像と基準撮像画像とを取得する。画像取得部１３１は、取得した特定用撮像画像と基準撮像画像とを、伝搬制御部１３２に入力する。

伝搬制御部１３２は、特定用撮像画像及び基準撮像画像のそれぞれに、機械学習モデルＭに含まれる複数の処理層を伝搬させる。図２に示す例において、伝搬制御部１３２は、特定用撮像画像及び基準撮像画像のそれぞれに、機械学習モデルＭに含まれる入力層Ｍ１から出力層Ｍ１０までの各処理層を、順に伝搬させる。

抽出部１３３は、複数の処理層から選択した後段処理層、及び後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、特定用撮像画像に基づいて後段処理層及び前段処理層から出力された一以上の特定用出力と基準撮像画像に基づいて後段処理層及び前段処理層から出力された一以上の基準出力とを抽出する。抽出部１３３が行う抽出処理の詳細については後述するが、抽出部１３３は、後段処理層で共通に活性化している特定用出力の一部である後段特定用出力及び基準出力の一部である後段基準出力を抽出する後段抽出部１３４と、前段処理層で共通に活性化している特定用出力の一部である前段特定用出力及び基準出力の一部である前段基準出力を抽出する前段抽出部１３５とを有する。

抽出部１３３が抽出する特定用出力及び基準出力は、処理層に含まれる複数のユニットのうち、活性化しているユニットを示す情報である。ユニットは、画像に含まれる一以上の画素である。活性化の定義は、例えば、ユニットの出力値又はユニットの出力値と当該ユニットの結合の重みとの積が、所定の閾値を超えた場合でもよいし、出力の大きい順に所定の個数又は所定の割合に含まれた場合であってもよい。また、全結合層以外の処理層においては、例えば、チャンネルごとに出力の大きい順に所定の個数又は所定の割合に含まれた場合であってもよい。チャンネルは、フィルタ毎に畳み込み演算した出力である。

抽出部１３３は、複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択することが好ましい。しかし、最後尾層において共通に活性化している特定用出力及び基準出力がない場合がある。そこで、抽出部１３３は、複数の処理層のうち、最後尾層を後段処理層として選択した場合において、最後尾層において共通に活性化している一以上の特定用出力及び一以上の基準出力がない場合、最後尾層より前の処理層において共通に活性化している一以上の特定用出力及び一以上の基準出力を抽出してもよい。

例えば、抽出部１３３が、最後尾層である出力層Ｍ１０を後段処理層として選択した場合において、出力層Ｍ１０において共通に活性化している一以上の特定用出力及び一以上の基準出力がないとする。この場合において、抽出部１３３は、出力層Ｍ１０より前の各処理層に対して、共通に活性化している一以上の特定用出力及び一以上の基準出力を繰り返し探索する。抽出部１３３は、例えば、出力層Ｍ１０の直前の処理層である第２の全結合層Ｍ９において共通に活性化している一以上の特定用出力及び一以上の基準出力があった場合、第２の全結合層Ｍ９を後段処理層として選択する。そして、抽出部１３３は、後段処理層として選択した第２の全結合層Ｍ９において共通に活性化している一以上の特定用出力及び一以上の基準出力を抽出する。このようにすることで、抽出部１３３は、特定用撮像画像と基準撮像画像とで一致する領域が少ない場合であっても、それぞれに写る被写体を対応付けることができる。

抽出部１３３は、ユーザによって指定された処理層を後段処理層として選択してもよい。具体的には、指示受付部１３６が、操作部１１を介して、複数の処理層のうち、後段処理層として用いる処理層を選択する指示を受け付ける。そして、抽出部１３３は、指示受付部１３６が受け付けた指示が示す処理層を、後段処理層として使用する。抽出部１３３は、図２に示す例において、ユーザが第２の全結合層Ｍ９を選択した場合に、指示受付部１３６が受け付けた指示が示す第２の全結合層Ｍ９を、後段処理層として使用する。抽出部１３３は、抽出した特定用出力と基準出力とを特徴点検出部１３７に入力する。

特徴点検出部１３７は、一以上の特定用出力に基づいて一以上の特定用特徴点を検出し、かつ一以上の基準出力に基づいて一以上の基準特徴点を検出する。具体的には、特徴点検出部１３７は、まず、一以上の特定用出力及び一以上の基準出力に基づいて、対応する特徴点を探索する。そして、特徴点検出部１３７は、対応関係にある一以上の特定用出力に基づく一以上の特定用特徴点と、一以上の基準出力に基づく一以上の基準特徴点とを検出する。特徴点検出部１３７は、検出した特定用特徴点及び基準特徴点を選択部１３８に入力する。

選択部１３８は、特徴点検出部１３７が特定した一以上の特定用特徴点及び一以上の基準特徴点から、相互の対応関係に基づいて一部の特定用特徴点及び一部の基準特徴点を選択する。具体的には、選択部１３８は、誤検出した対応関係を除去し、除去した後の対応関係に基づく一以上の特定用特徴点及び一以上の基準特徴点を選択する。対応関係の誤検出は、特定用特徴点及び基準特徴点の対応関係に矛盾が生じている状態であり、例えば射影行列が算出できない場合である。選択部１３８は、例えば、ＲＡＮＳＡＣ（Random Sampling Consensus）法又は最小２乗メディアン（ＬＭｅｄＳ：Least Median of Square）法に基づいて絞り込みを行うことにより対応関係を除去する。

また、例えば、基準撮像画像が３次元空間の座標系を含むＣＧ（Computer Graphics）画像である場合において、特徴点検出部１３７が検出した基準特徴点のうち、４点以上の基準特徴点が実空間中において同一直線上にあることが判明しているとする。この場合において、選択部１３８は、まず、対応関係に基づく特定用特徴点及び基準特徴点それぞれにおいて複比を計算し、値が著しく異なっている特定用特徴点及び基準特徴点があるか否かを判定する。そして、選択部１３８は、値が著しく異なっていると判定した特定用特徴点及び基準特徴点を誤検出された特徴点であるとして、他の対応関係に基づく特定用特徴点及び基準特徴点を選択する。

パラメータ特定部１３９は、一以上の特定用特徴点と一以上の基準特徴点とを比較することにより、第１撮像装置の撮像パラメータを特定する。具体的には、パラメータ特定部１３９は、選択部１３８が誤検出を除去した後の対応関係に基づく一部の特定用特徴点と一部の基準特徴点とを比較することにより、撮像パラメータを特定する。

パラメータ特定部１３９は、例えば、特定用特徴点が示す特定用撮像画像の画素における座標を、特定用特徴点に対応する基準特徴点が示す基準撮像画像の画素における座標に変換した射影行列を生成する。そして、パラメータ特定部１３９は、生成した射影行列に基づいて、第１撮像装置の撮像パラメータを特定する。パラメータ特定部１３９は、特定用特徴点に対応する基準特徴点が示す基準撮像画像の画素における座標を、特定用特徴点が示す特定用撮像画像の画素における座標に変換した射影行列を生成してもよい。

パラメータ特定部１３９は、所定の特徴領域における特定用特徴点と基準特徴点とが対応する数が所定の基準値以上である場合に、射影行列を生成してもよい。所定の基準値は、例えば、活性化の程度に応じて変わる変動値である。パラメータ特定部１３９は、例えば、活性化度が大きい特徴点に基づく出力がある場合に基準値を小さくし、活性化度が大きい特徴点に基づく出力がない場合に基準値を大きくする。

パラメータ特定部１３９は、特定用撮像画像における一部の特定用特徴点の位置と、基準撮像画像における一部の基準特徴点の位置との関係、並びに第２撮像装置の設置位置及び撮像方向に基づいて、第１撮像装置の撮像パラメータとして設置位置及び撮像方向を特定してもよい。例えば、図１に示す特定用撮像画像Ａ１には、右斜め方向の被写体Ｌ１が写っており、基準撮像画像Ｂ１には、正面の被写体Ｌ１が写っているとする。

この場合において、パラメータ特定部１３９は、基準撮像画像Ｂ１の被写体Ｌ１の右側に含まれる基準特徴点と対応関係にある特定用特徴点が、特定用撮像画像Ａ１の被写体Ｌ１の左側に多く含まれることから、特定用撮像画像Ａ１が、基準撮像画像Ｂ１に対して右斜め方向から撮像されたと特定する。そして、パラメータ特定部１３９は、基準撮像画像Ｂ１を撮像した第２撮像装置の撮像パラメータに基づいて、第１撮像装置の設置位置及び撮像方向を含む撮像パラメータを特定する。

このように、パラメータ特定部１３９は、特徴点の対応関係だけでなく、第２撮像装置の設置位置及び撮像方向を考慮することにより、比較する画像に写っている被写体の向きが異なる場合であっても、第１撮像装置の撮像パラメータを特定することができる。パラメータ特定部１３９は、特定した第１撮像装置の撮像パラメータを記憶部１２に記憶させる。

［抽出処理］
続いて、抽出部１３３が行う抽出処理について説明する。上述のとおり、抽出部１３３は、後段抽出部１３４及び前段抽出部１３５を有する。後段抽出部１３４は、特定用撮像画像が複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより後段処理層から出力された複数の後段特定用出力、及び基準撮像画像が前段処理層及び後段処理層の順に伝搬したことにより後段処理層から出力された複数の後段基準出力から、共通に活性化している一以上の後段特定用出力及び一以上の後段基準出力を抽出する。

前段抽出部１３５は、一以上の後段特定用出力及び一以上の後段基準出力を活性化させる要因となった前段処理層から出力された複数の前段特定用出力、及び前段処理層から出力された複数の前段基準出力のうち、共通に活性化している一以上の前段特定用出力及び一以上の前段基準出力を抽出する。

図４から図９は、抽出部１３３が行う抽出処理について説明するための図である。図４から図９は、前段処理層から後段処理層に伝搬させた状態を示している。図４から図９において、実線で示すユニットを結合する結合線は、結合するユニットから出力があったことを示し、破線で示す結合線は、結合するユニットから出力が無かったことを示す。また、結合線を示す線の太さは、結合するユニットからの出力の大きさを示す。

図４の場合において、後段処理層は、最後尾層（例えば、出力層又は全結合層等）又は抽出部１３３が選択した最後尾層より前の処理層（全結合層又はプーリング層等）であり、前段処理層は、後段処理層の直前の処理層（例えば、全結合層又はプーリング層等）である。図４においては、後段処理層が出力層Ｍ２０であり、前段処理層が全結合層Ｍ１９であるとして説明する。

図４（ａ）は、抽出前の状態であり、図４（ｂ）は抽出後の状態である。特定用撮像画像において、出力層Ｍ２０は、ユニットＵ５、Ｕ８が活性化しており、全結合層Ｍ１９は、ユニットＵ２、Ｕ５、Ｕ６、Ｕ７、Ｕ８が活性化している。基準撮像画像において、出力層Ｍ２０は、ユニットＵ３、Ｕ５が活性化しており、全結合層Ｍ１９は、ユニットＵ２、Ｕ４、Ｕ５、Ｕ８が活性化している。

この場合において、後段抽出部１３４は、後段処理層である出力層Ｍ２０から出力された後段特定用出力であるユニットＵ５、Ｕ８、及び出力層Ｍ２０から出力された後段基準出力であるユニットＵ３、Ｕ５を比較する。そして、後段抽出部１３４は、共通に活性化している後段特定用出力のユニットＵ５及び後段基準出力のユニットＵ５を抽出する。

続いて、前段抽出部１３５は、後段特定用出力のユニットＵ５を活性化させる要因となった前段処理層である全結合層Ｍ１９から出力された前段特定用出力であるユニットＵ２、Ｕ５、Ｕ６、及び後段基準出力のユニットＵ５を活性化させる要因となった全結合層Ｍ１９から出力された前段基準出力であるユニットＵ２、Ｕ５、Ｕ８を比較する。そして、前段抽出部１３５は、共通に活性化している前段特定用出力のユニットＵ２、Ｕ５、及び前段基準出力のユニットＵ２、Ｕ５を抽出する。

抽出部１３３は、出力層Ｍ２０から全結合層Ｍ１９までの出力を抽出すると、次の処理層に対する出力を抽出する。具体的には、抽出部１３３は、処理層ごとに、共通に活性化している特定用出力及び基準出力を抽出する処理を、伝搬制御部１３２が伝搬させた順序とは逆の順序で繰り返し行う。より具体的には、抽出部１３３は、複数の処理層のうち一つの層を後段処理層として選択して一以上の特定用出力及び一以上の基準出力を抽出した後に、前段処理層として選択した処理層を後段処理層として選択して、別の一以上の特定用出力及び一以上の基準出力を抽出する。このようにすることで、抽出部１３３は、特定用撮像画像及び基準撮像画像に対する比較の精度を高めることができる。

図５は、特定用撮像画像に基づいて、前段処理層から後段処理層に伝搬させた状態を示している。図６は、基準撮像画像に基づいて、前段処理層から後段処理層に伝搬させた状態を示している。図５及び図６の場合において、後段処理層は、全結合層Ｍ１８であり、前段処理層は、全結合層以外の処理層（例えば、プーリング層又は畳み込み層等）である。図５及び図６においては、前段処理層がプーリング層Ｍ１７であるとして説明する。また、図５及び図６において、前段処理層は、３つのチャンネルを有する。上段の第１チャンネルは、ユニットＵ１１、Ｕ１２、Ｕ１３、Ｕ１４、及びＵ１５を含む。中段の第２チャンネルは、ユニットＵ２１、Ｕ２２、Ｕ２３、Ｕ２４、及びＵ２５を含む。下段の第３チャンネルは、ユニットＵ３１、Ｕ３２、Ｕ３３、Ｕ３４、及びＵ３５を含む。

特定用撮像画像において、プーリング層Ｍ１７は、第１チャンネルに含まれるユニットＵ１３及び第２チャンネルに含まれるユニットＵ２１、Ｕ２４が活性化している。基準撮像画像において、全結合層Ｍ１８は、第２チャンネルに含まれるユニットＵ２２、Ｕ２４、Ｕ２５及び第３チャンネルに含まれるユニットＵ３２、Ｕ３３が活性化している。

前段抽出部１３５は、後段特定用出力のユニットＵ５を活性化させる要因となった前段処理層であるプーリング層Ｍ１７から出力された前段特定用出力、及び後段基準出力のユニットＵ５を活性化させる要因となったプーリング層Ｍ１７から出力された前段基準出力を比較する。前段抽出部１３５は、活性化しているユニットの有無を調べ、活性化している前段特定用出力の第１チャンネルに含まれるユニットＵ１３及び第２チャンネルに含まれるＵ２１、Ｕ２４と、前段基準出力の第２チャンネルに含まれるユニットＵ２２、Ｕ２４、Ｕ２５及び第３チャンネルに含まれるＵ３２、Ｕ３３とに着目する。

そして、前段抽出部１３５は、前段特定用出力と前段基準出力との両方において活性化しているユニットが存在しているチャンネルが第２チャンネルであることから、前段特定用出力の第２チャンネルに含まれるユニットＵ２１、Ｕ２４及び前段基準出力の第２チャンネルに含まれるユニットＵ２２、Ｕ２４、Ｕ２５を抽出する。

図７の場合において、後段処理層は、プーリング層Ｍ１６であり、前段処理層は、プーリング層以外の処理層（例えば、畳み込み層又は正規化層等）である。図７においては、前段処理層が畳み込み層Ｍ１５であるとして説明する。また、図７において、前段処理層は、チャンネルが１つであるとして説明する。特定用撮像画像において、プーリング層Ｍ１６は、ユニットＵ５が活性化しており、畳み込み層Ｍ１５は、ユニットＵ３、Ｕ５が活性化している。基準撮像画像において、プーリング層Ｍ１６は、ユニットＵ３が活性化しており、畳み込み層Ｍ１５は、ユニットＵ３、Ｕ４が活性化している。

ここで、抽出部１３３は、画像の圧縮を行うプーリング層においては、直前の処理層からプーリング層に結合している複数のユニットのうち、チャンネルごとに活性化している程度に基づいて出力を抽出する。具体的には、前段抽出部１３５は、複数の前段特定用出力及び複数の前段基準出力のうち、活性化している大きさに基づいて、一以上の前段特定用出力及び一以上の前段基準出力を抽出する。前段抽出部１３５は、例えば、複数の前段特定用出力及び複数の前段基準出力のうち、チャンネルごとに最も大きく活性化している一以上の前段特定用出力及び一以上の前段基準出力を抽出する。

この場合において、後段抽出部１３４は、直前の抽出処理において前段処理層として選択したプーリング層Ｍ１６を選択して、プーリング層Ｍ１６から出力された後段特定用出力のユニットＵ５、及びプーリング層Ｍ１６から出力された後段基準出力のユニットＵ３を抽出する。そして、前段抽出部１３５は、後段特定用出力のユニットＵ３、Ｕ５及び後段基準出力のユニットＵ３、Ｕ４のうち、チャンネルごとに最も大きく活性化している前段特定用出力のユニットＵ５、及び前段基準出力のユニットＵ４を抽出する。このようにすることで、前段抽出部１３５は、画像の中で特徴となる領域を特定することができる。

図８の場合において、後段処理層は、畳み込み層Ｍ１４であり、前段処理層は、畳み込み層を含む他の処理層（例えば、正規化層又はプーリング層等）である。図８においては、前段処理層が正規化層Ｍ１３であるとして説明する。また、図８において、前段処理層は、チャンネルが１つであるとして説明する。特定用撮像画像において、畳み込み層Ｍ１４は、ユニットＵ５が活性化しており、正規化層Ｍ１３は、ユニットＵ３、Ｕ５、Ｕ６が活性化している。基準撮像画像において、畳み込み層Ｍ１４は、ユニットＵ３が活性化しており、正規化層Ｍ１３は、ユニットＵ３、Ｕ４、Ｕ５が活性化している。

この場合において、後段抽出部１３４は、直前の抽出処理において前段処理層として選択した畳み込み層Ｍ１４を選択して、畳み込み層Ｍ１４から出力された後段特定用出力のユニットＵ５、及び畳み込み層Ｍ１４から出力された後段基準出力のユニットＵ３を抽出する。

続いて、前段抽出部１３５は、後段特定用出力のユニットＵ５を活性化させる要因となった前段処理層である正規化層Ｍ１３から出力された前段特定用出力、及び後段基準出力のユニットＵ４を活性化させる要因となった前段処理層である正規化層Ｍ１３から出力された前段基準出力を比較する。ここで、前段抽出部１３５は、後段処理層が畳み込み層である場合、後段抽出部１３４が後段処理層から抽出したユニットに結合する前段処理層の複数のユニットのうち、前段特定用出力と前段基準出力とにおいて位置が相対的に同じであり、かつチャンネルが共通するユニットを抽出する。この場合、前段抽出部１３５は、前段特定用出力と前段基準出力とにおいて位置が相対的に同じであり、かつチャンネルが共通するユニットとして、前段特定用出力のユニットＵ５、Ｕ６、及び前段基準出力のユニットＵ３、Ｕ４を抽出する。

図９の場合において、後段処理層は、正規化層Ｍ１２であり、前段処理層は、正規化層以外の処理層（例えば、畳み込み層又はプーリング層等）である。図９においては、前段処理層がプーリング層Ｍ１１であるとして説明する。また、図９において、前段処理層は、チャンネルが１つであるとして説明する。特定用撮像画像において、正規化層Ｍ１２は、ユニットＵ５が活性化している。基準撮像画像において、正規化層Ｍ１２は、ユニットＵ３が活性化している。

ここで、抽出部１３３は、画像に対して前処理を行う正規化層においては、後段処理層において活性化しているユニットに結合している前段処理層に含まれる複数のユニットのうち、中心のユニットを抽出する。この場合において、後段抽出部１３４は、後段処理層として選択した正規化層Ｍ１２から出力された後段特定用出力のユニットＵ５、及び正規化層Ｍ１２から出力された後段基準出力のユニットＵ３を抽出する。

そして、前段抽出部１３５は、正規化層Ｍ１２から出力された後段特定用出力のユニットＵ５に結合しているプーリング層Ｍ１１のユニットのうち、中心のユニットＵ５を抽出する。同様に、前段抽出部１３５は、正規化層Ｍ１２から出力された後段基準出力のユニットＵ３に結合しているプーリング層Ｍ１１のユニットのうち、中心のユニットＵ３を抽出する。

抽出部１３３は、上述の抽出処理を入力層まで繰り返し行うことが好ましい。しかし、抽出部１３３は、抽出処理を最初の処理層まで行わずに、途中の処理層（例えば、プーリング層又は正規化層等）で終了してもよい。このように、抽出部１３３は、伝搬制御部１３２が伝搬させた順序とは逆の順序で抽出処理を行うことにより、抽象度が高い出力を抽出することができる。

［パラメータ特定装置１の処理］
続いて、パラメータ特定装置１が行う処理の流れを説明する。図１０は、パラメータ特定装置１が行う処理の流れを示すフローチャートである。本フローチャートは、パラメータ特定装置１が、記憶部１２に特定用撮像画像が格納され、ユーザが撮像パラメータを特定する処理を実行する操作を受け付けたことを契機として開始する。

画像取得部１３１は、記憶部１２に記憶されている特定用撮像画像と基準撮像画像とを取得する（Ｓ１）。画像取得部１３１は、取得した特定用撮像画像と基準撮像画像とを、伝搬制御部１３２に入力する。伝搬制御部１３２は、画像取得部１３１から入力された特定用撮像画像及び基準撮像画像のそれぞれに、機械学習モデルＭに含まれる入力層Ｍ１から出力層Ｍ１０までの複数の処理層を、入力層Ｍ１から順に伝搬させる（Ｓ２）。

抽出部１３３は、後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の特定用出力及び一以上の基準出力を抽出する処理を行う（Ｓ３）。図１１は、抽出部１３３が行う処理の流れを示すフローチャートである。抽出部１３３は、指示受付部１３６が、操作部１１を介して、複数の処理層のうち、後段処理層として用いる処理層を選択する指示を受け付けたか否かを判定する（Ｓ３１）。

抽出部１３３は、指示受付部１３６が指示を受け付けたと判定した場合、指示受付部１３６が受け付けた指示が示す処理層を、後段処理層として選択する（Ｓ３２）。抽出部１３３は、例えば、指示受付部１３６が第１の全結合層Ｍ８を示す指示を受け付けたと判定した場合、指示受付部１３６が受け付けた指示が示す第１の全結合層Ｍ８を、後段処理層として使用する。一方、抽出部１３３は、指示受付部１３６が指示を受け付けていないと判定した場合、最後尾層（例えば、出力層Ｍ１０）で共通に活性化している一以上の特定用出力及び一以上の基準出力があるか否かを判定する（Ｓ３３）。

抽出部１３３は、出力層Ｍ１０で共通に活性化している一以上の特定用出力及び一以上の基準出力があると判定した場合、最後尾層である出力層Ｍ１０を、後段処理層として使用する（Ｓ３４）。一方、抽出部１３３は、出力層Ｍ１０で共通に活性化している一以上の特定用出力及び一以上の基準出力がないと判定した場合、出力層Ｍ１０より前の各処理層に対して、共通に活性化している一以上の特定用出力及び一以上の基準出力を繰り返し探索する。そして、抽出部１３３は、共通に活性化している一以上の特定用出力及び一以上の基準出力がある処理層（例えば、第２の全結合層Ｍ９）を、後段処理層として使用する（Ｓ３５）。抽出部１３３は、選択した後段処理層、及び前段処理層の両方の処理層において共通に活性化している、特定用撮像画像に基づいて後段処理層及び前段処理層から出力された一以上の特定用出力と基準撮像画像に基づいて後段処理層及び前段処理層から出力された一以上の基準出力とを抽出する。

具体的には、まず、後段抽出部１３４は、選択した後段処理層から出力された複数の後段特定用出力、及び選択した後段処理層から出力された複数の後段基準出力から、共通に活性化している一以上の後段特定用出力及び一以上の後段基準出力を抽出する（Ｓ３６）。そして、前段抽出部１３５は、後段抽出部１３４が抽出した一以上の後段特定用出力及び一以上の後段基準出力を活性化させる要因となった前段処理層から出力された複数の前段特定用出力、及び前段処理層から出力された複数の前段基準出力のうち、共通に活性化している一以上の前段特定用出力及び一以上の前段基準出力を抽出する（Ｓ３７）。

続いて、抽出部１３３は、前段処理層より前に別の処理層があるか否かを判定する（Ｓ３８）。抽出部１３３は、前段処理層（例えば、第２のプーリング層Ｍ７）より前に別の処理層（例えば、第３の畳み込み層Ｍ６）があると判定した場合、第２のプーリング層Ｍ７を後段処理層として選択し（Ｓ３９）、処理をＳ３６に戻す。一方、抽出部１３３は、前段処理層（例えば、入力層Ｍ１）より前に別の処理層がないと判定した場合、抽出した一以上の特定用出力及び一以上の基準出力を特徴点検出部１３７に入力し、抽出処理を終了する。

図１０に戻り、特徴点検出部１３７は、一以上の特定用出力及び一以上の基準出力に基づいて、対応する特徴点を探索し、対応関係にある一以上の特定用出力に基づく一以上の特定用特徴点と、一以上の基準出力に基づく一以上の基準特徴点とを検出する（Ｓ４）。続いて、選択部１３８は、特徴点検出部１３７が検出した特定用特徴点及び基準特徴点に不適切な特徴点があるか否かを判定する（Ｓ５）。選択部１３８は、例えば、ＲＡＮＳＡＣ法に基づいて絞り込みを行う。

選択部１３８は、特定用特徴点及び基準特徴点に不適切な特徴点があると判定した場合、不適切な特徴点、すなわち、誤検出した対応関係を除去し（Ｓ６）、除去した後の対応関係に基づく一部の特定用特徴点及び一部の基準特徴点を選択する。パラメータ特定部１３９は、選択部１３８が、特定用特徴点及び基準特徴点に不適切な特徴点がないと判定した場合、又は誤検出した対応関係を除去した後に、一以上の特定用特徴点と一以上の基準特徴点とを比較することにより、第１撮像装置の撮像パラメータを特定する（Ｓ７）。パラメータ特定部１３９は、例えば、特定用特徴点が示す特定用撮像画像の画素における座標を、特定用特徴点に対応する基準特徴点が示す基準撮像画像の画素における座標に変換することにより生成した射影行列に基づいて、第１撮像装置の撮像パラメータを特定する。パラメータ特定部１３９は、特定した第１撮像装置の撮像パラメータを記憶部１２に記憶させる。

［実施形態における効果］
以上説明したとおり、パラメータ特定装置１は、取得した特定用撮像画像及び基準撮像画像のそれぞれに、機械学習モデルＭに含まれる複数の処理層を伝搬させる。パラメータ特定装置１は、伝搬させた順とは逆の順序で後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の特定用出力及び一以上の基準出力を、処理層ごとに抽出し、対応関係にある特定用特徴点及び基準特徴点をそれぞれ検出する。そして、パラメータ特定装置１は、誤検出した対応関係を除去した一以上の特定用特徴点と一以上の基準特徴点とを比較することにより、第１撮像装置の撮像パラメータを特定する。

このようにすることで、パラメータ特定装置１は、畳み込みニューラルネットワークを含む機械学習モデルＭを使用し、深層学習による抽象度が高い特徴量を求めることにより、撮像画像が撮像された撮像パラメータを算出することができる。その結果、パラメータ特定装置１は、撮像画像が撮像された位置等の撮像パラメータを特定する精度を向上させることができる。

パラメータ特定装置１は、例えば、ＳＮＳに投稿された位置情報が付与されていない第１撮像画像に対して、第１撮像画像に写っているランドマークとなるような著名な建築物又は風景と同じ建築物等が写っている第２撮像画像を用いることにより、第１撮像画像が撮像された位置を特定することができる。パラメータ特定装置１は、建築物等が写っている写真だけでなく、建築物等がＣＧによって生成された画像を第２撮像画像として用いることも可能である。

また、パラメータ特定装置１は、例えば、ＣＧによって生成されたサッカー場のフィールドにおけるラインの形状を用いて、ＡＲ（Augmented Reality）映像生成装置又は自由視点映像生成装置に、精度が高い視点の位置及び向きを示す情報を提供することができる。これにより、パラメータ特定装置１は、ＡＲ映像生成装置又は自由視点映像生成装置によって生成されるＡＲ映像又は自由視点映像の画質を向上させることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施の形態は、以上の実施の形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を合わせ持つ。

１ パラメータ特定装置
１１ 操作部
１２ 記憶部
１３ 制御部
１３１ 画像取得部
１３２ 伝搬制御部
１３３ 抽出部
１３４ 後段抽出部
１３５ 前段抽出部
１３６ 指示受付部
１３７ 特徴点検出部
１３８ 選択部
１３９ パラメータ特定部

Claims (14)

1. 撮像パラメータが未知の第１撮像装置で生成された特定用撮像画像と、撮像パラメータが既知の第２撮像装置で生成された基準撮像画像と、を取得する画像取得部と、
   前記特定用撮像画像及び前記基準撮像画像のそれぞれに、入力された画像に基づいて当該画像に含まれる被写体の種別を出力可能な機械学習モデルに含まれる複数の処理層を伝搬させる伝搬制御部と、
   前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、前記特定用撮像画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の特定用出力と前記基準撮像画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の基準出力とを抽出する抽出部と、
   前記一以上の特定用出力に基づいて一以上の特定用特徴点を検出し、かつ前記一以上の基準出力に基づいて一以上の基準特徴点を検出する特徴点検出部と、
   前記一以上の特定用特徴点と前記一以上の基準特徴点とを比較することにより、前記第１撮像装置の撮像パラメータを特定するパラメータ特定部と、
   を有するパラメータ特定装置。
2. 前記抽出部は、
   前記特定用撮像画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段特定用出力、及び前記基準撮像画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段基準出力から、共通に活性化している一以上の後段特定用出力及び一以上の後段基準出力を抽出する後段抽出部と、
   前記一以上の後段特定用出力及び前記一以上の後段基準出力を活性化させる要因となった前記前段処理層から出力された複数の前段特定用出力、及び前記前段処理層から出力された複数の前段基準出力のうち、共通に活性化している一以上の前段特定用出力及び一以上の前段基準出力を抽出する前段抽出部と、
   を有する、
   請求項１に記載のパラメータ特定装置。
3. 前記前段抽出部は、前記複数の前段特定用出力及び前記複数の前段基準出力のうち、活性化している大きさに基づいて、前記一以上の前段特定用出力及び前記一以上の前段基準出力を抽出する、
   請求項２に記載のパラメータ特定装置。
4. 前記機械学習モデルは、畳み込みニューラルネットワークを含み、
   前記後段処理層は、出力層、全結合層、正規化層、プーリング層、及び畳み込み層のうちのいずれかの層である、
   請求項２又は３に記載のパラメータ特定装置。
5. 前記前段処理層は、全結合層、正規化層、プーリング層、畳み込み層及び入力層のうちのいずれかの層である、
   請求項４に記載のパラメータ特定装置。
6. 前記抽出部は、前記複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択した場合において、前記最後尾層において共通に活性化している前記一以上の特定用出力及び前記一以上の基準出力がない場合、前記最後尾層より前の処理層において共通に活性化している前記一以上の特定用出力及び前記一以上の基準出力を抽出する、
   請求項１又は５に記載のパラメータ特定装置。
7. 前記特徴点検出部が特定した前記一以上の特定用特徴点及び前記一以上の基準特徴点から、相互の対応関係に基づいて一部の特定用特徴点及び一部の基準特徴点を選択する選択部をさらに有し、
   前記パラメータ特定部は、前記一部の特定用特徴点と前記一部の基準特徴点とを比較することにより、前記撮像パラメータを特定する、
   請求項１から６のいずれか一項に記載のパラメータ特定装置。
8. 前記パラメータ特定部は、前記特定用撮像画像における前記一部の特定用特徴点の位置と、前記基準撮像画像における前記一部の基準特徴点の位置との関係、並びに前記第２撮像装置の設置位置及び撮像方向に基づいて、前記第１撮像装置の撮像パラメータとして設置位置及び撮像方向を特定する、
   請求項７に記載のパラメータ特定装置。
9. 前記複数の処理層のうち、前記後段処理層として用いる処理層を選択する指示を受け付ける指示受付部をさらに有し、
   前記抽出部は、前記指示受付部が受け付けた前記指示が示す前記処理層を、前記後段処理層として使用する、
   請求項１から８のいずれか一項に記載のパラメータ特定装置。
10. 前記抽出部は、前記複数の処理層のうち一つの層を前記後段処理層として選択して前記一以上の特定用出力及び前記一以上の基準出力を抽出した後に、前記前段処理層として選択した処理層を前記後段処理層として選択して、別の前記一以上の特定用出力及び前記一以上の基準出力を抽出する、
    請求項１から９のいずれか一項に記載のパラメータ特定装置。
11. 撮像パラメータが未知の第１撮像装置で生成された特定用撮像画像と、撮像パラメータが既知の第２撮像装置で生成された基準撮像画像と、を取得するステップと、
    前記特定用撮像画像及び前記基準撮像画像のそれぞれに、入力された画像に基づいて当該画像に含まれる被写体の種別を出力可能な機械学習モデルに含まれる複数の処理層を伝搬させるステップと、
    前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化している、前記特定用撮像画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の特定用出力と前記基準撮像画像に基づいて前記後段処理層及び前記前段処理層から出力された一以上の基準出力とを抽出するステップと、
    前記一以上の特定用出力に基づいて一以上の特定用特徴点を検出し、かつ前記一以上の基準出力に基づいて一以上の基準特徴点を検出するステップと、
    前記一以上の特定用特徴点と前記一以上の基準特徴点とを比較することにより、前記撮像パラメータを特定するステップと、
    を有するパラメータ特定方法。
12. 前記抽出するステップは、
    前記特定用撮像画像が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段特定用出力、及び前記基準撮像画像が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段基準出力から、共通に活性化している一以上の後段特定用出力及び一以上の後段基準出力を抽出する後段抽出ステップと、
    前記一以上の後段特定用出力及び前記一以上の後段基準出力を活性化させる要因となった前記前段処理層から出力された複数の前段特定用出力、及び前記前段処理層から出力された複数の前段基準出力のうち、共通に活性化している一以上の前段特定用出力及び一以上の前段基準出力を抽出する前段抽出ステップと、
    を有する、請求項１１に記載のパラメータ特定方法。
13. 前記前段抽出ステップを実行した後に、前記一以上の前段特定用出力及び前記一以上の前段基準出力を、前記複数の後段特定用出力及び前記複数の後段基準出力として、前記後段抽出ステップを実行する、
    請求項１２に記載のパラメータ特定方法。
14. 前記複数の処理層のそれぞれに対して、前記後段抽出ステップ及び前記前段抽出ステップを実行する、
    請求項１２又は１３に記載のパラメータ特定方法。
    

Images