JPWO2020194378A1 - 画像処理システム、画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

本開示に係る画像処理システムは、系列性のある系列画像列を入力する系列画像列入力部（１０１）と、系列画像列の中から、１枚以上の画像を基準画像として選択する基準画像選択部（２０２）と、系列画像列の中から、基準画像に近接する近接基準画像を選択し、基準画像と近接基準画像の間の変化量を算出する変化量算出部（２０３）と、基準画像を入力として、クラス信頼度を回帰処理により算出する画像情報回帰部（２０４）と、変化量を入力として、クラス信頼度を回帰処理により算出する差分画像情報回帰部（２０５）と、画像情報回帰部（２０４）にて算出されたクラス信頼度と、差分画像情報回帰部（２０５）にて算出されたクラス信頼度と、を統合する信頼度統合部（２０６）と、統合されたクラス信頼度を出力する出力部（３０１）と、を備える。

Description

本開示は、画像処理システム、画像処理装置、画像処理方法、及びコンピュータ可読媒体に関し、特に、深層学習をはじめとする機械学習に基づく画像処理における計算負荷を低減する技術に関する。

画像認識や画像照合などの画像処理の分野において、深層学習を用いた手法が数多く提案されている。深層学習を用いることで、人物や物体の画像の中から人物や物体を高精度に認識すること、高精度に画像を復元することなどが可能となった。しかしながら、一般に、これら深層学習を用いる手法は、モデル（深層学習で用いるネットワーク構造）が大規模であるため、多くの計算量を必要とする。そのため、高速カメラを用いて取得したようなフレームレートが大きな動画像や、複数の照明条件で物体を撮像した画像群などを入力とした場合、非常に多くの計算負荷を要するという課題があった。

このような課題を解決するために、非特許文献１では、蒸留学習と呼ばれる、既に学習済みの高精度なモデル（以下、教師モデルと呼ぶこともある）から、より計算負荷が小さなモデル（以下、生徒モデルと呼ぶこともある）を生成する手法が開示されている。具体的には、非特許文献１では、学習データがどのように汎化しているかを表す情報（以下、特権情報と呼ぶこともある）を用い、この特権情報を手掛かりに生徒モデルに学習データを学習させることで、早い収束で成功させ、かつ教師モデルに近い精度の生徒モデルを得る手法が開示されている。

Geoffrey Hinton, Oriol Vinyals, and Jeff Dean. "Distilling the knowledge in a neural network", arXiv preprint arXiv:1503.02531v1 (9 March 2015)

しかしながら、高速カメラを用いて取得したフレームレートが大きな動画像や、複数の照明条件で物体を撮像した画像群などを入力とした場合、非特許文献１に記載の手法では、これらの入力画像全てに対して、生徒モデルを適用し推論することが必要であるため、冗長な計算が多く、計算負荷が大きいという問題がある。

そこで本開示の目的は、上述した課題を解決し、系列性のある系列画像列について、より少ない計算負荷で画像処理を行うことが可能となる画像処理システム、画像処理装置、画像処理方法、及びコンピュータ可読媒体を提供することにある。

一態様による画像処理システムは、
系列性のある系列画像列を入力する系列画像列入力部と、
前記系列画像列の中から、１枚以上の画像を基準画像として選択する基準画像選択部と、
前記系列画像列の中から、前記基準画像に近接する近接基準画像を選択し、前記基準画像と前記近接基準画像の間の変化量である第１変化量を算出する第１変化量算出部と、
前記基準画像を入力として、クラス信頼度を回帰処理により算出する画像情報回帰部と、
前記第１変化量を入力として、クラス信頼度を回帰処理により算出する差分画像情報回帰部と、
前記画像情報回帰部にて算出されたクラス信頼度と、前記差分画像情報回帰部にて算出されたクラス信頼度と、を統合する信頼度統合部と、
前記統合されたクラス信頼度を出力する出力部と、
を備える。

一態様による画像処理装置は、
系列性のある系列画像列を入力する系列画像列入力部と、
前記系列画像列の中から、１枚以上の画像を基準画像として選択する基準画像選択部と、
前記系列画像列の中から、前記基準画像に近接する近接基準画像を選択し、前記基準画像と前記近接基準画像の間の変化量である第１変化量を算出する第１変化量算出部と、
前記基準画像を入力として、クラス信頼度を回帰処理により算出する画像情報回帰部と、
前記第１変化量を入力として、クラス信頼度を回帰処理により算出する差分画像情報回帰部と、
前記画像情報回帰部にて算出されたクラス信頼度と、前記差分画像情報回帰部にて算出されたクラス信頼度と、を統合する信頼度統合部と、
前記統合されたクラス信頼度を出力する出力部と、
を備える。

一態様による画像処理方法は、
画像処理装置による画像処理方法であって、
系列性のある系列画像列を入力するステップと、
前記系列画像列の中から、１枚以上の画像を基準画像として選択するステップと、
前記系列画像列の中から、前記基準画像に近接する近接基準画像を選択し、前記基準画像と前記近接基準画像の間の変化量である第１変化量を算出するステップと、
前記基準画像を入力として、クラス信頼度を回帰処理により算出する第１回帰ステップと、
前記第１変化量を入力として、クラス信頼度を回帰処理により算出する第２回帰ステップと、
前記第１回帰ステップにて算出されたクラス信頼度と、前記第２回帰ステップにて算出されたクラス信頼度と、を統合するステップと、
前記統合されたクラス信頼度を出力するステップと、
を含む。

一態様によるコンピュータ可読媒体は、
コンピュータに、
系列性のある系列画像列を入力する手順と、
前記系列画像列の中から、１枚以上の画像を基準画像として選択する手順と、
前記系列画像列の中から、前記基準画像に近接する近接基準画像を選択し、前記基準画像と前記近接基準画像の間の変化量である第１変化量を算出する手順と、
前記基準画像を入力として、クラス信頼度を回帰処理により算出する第１回帰手順と、
前記第１変化量を入力として、クラス信頼度を回帰処理により算出する第２回帰手順と、
前記第１回帰手順にて算出されたクラス信頼度と、前記第２回帰手順にて算出されたクラス信頼度と、を統合する手順と、
前記統合されたクラス信頼度を出力する手順と、
を実行させるための画像処理プログラムが格納される。

上述の態様によれば、系列性のある系列画像列について、より少ない計算負荷で画像処理を行うことが可能となる画像処理システム、画像処理装置、画像処理方法、及びコンピュータ可読媒体を提供できるという効果が得られる。

本開示の一実施の形態に係る画像処理システムにおける推論実行部の概略構成例を示すブロック図である。 本開示の一実施の形態に係る画像処理システムにおける学習実行部の概略構成例を示すブロック図である。 基準画像と近接基準画像との関係の例を示す図である。 基準画像と近接基準画像との関係の他の例を示す図である。 図１に示される画像処理システムにおける推論実行部の動作フロー例を示すフロー図である。 図２に示される画像処理システムにおける学習実行部の動作フロー例を示すフロー図である。 図１及び図２に示される画像処理システムを実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、本開示を実施するための形態について図面を参照して詳細に説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化がなされている。また、以下の各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施の形態の構成＞
まず、図１を参照して、本開示の一実施の形態に係る画像処理システムにおける推論実行部の概略構成について説明する。図１は、本実施の形態に係る画像処理システムにおける推論実行部の概略構成例を示すブロック図である。

図１を参照すると、本実施の形態に係る画像処理システムにおける推論実行部は、系列画像列入力部１０１と、推論処理部２０と、出力部３０１と、を備える。また、推論処理部２０は、前処理部２０１と、基準画像選択部２０２と、変化量算出部２０３と、画像情報回帰部２０４と、差分画像情報回帰部２０５と、信頼度統合部２０６と、を備える。

後に詳細を述べるが、図１における画像情報回帰部２０４が画像情報回帰関数を使用し、また、図１における差分画像情報回帰部２０５が差分画像情報回帰関数を使用する。

上記の差分画像情報回帰関数及び画像情報回帰関数は、利用者があらかじめ手動で入力してもよい。
或いは、上記の差分画像情報回帰関数及び画像情報回帰関数は、本実施の形態に係る画像処理システムが学習により推定してもよい。この場合、本実施の形態に係る画像処理システムには、図２に示される構成の学習実行部を追加する。

図２は、本実施の形態に係る画像処理システムにおける学習実行部の概略構成例を示すブロック図である。
図２を参照すると、本実施の形態に係る画像処理システムにおける学習実行部は、学習用系列画像列入力部１０２と、教師画像情報入力部１０３と、学習処理部２１と、画像情報回帰関数出力部３０２と、差分画像情報回帰関数出力部３０３と、を備える。また、学習処理部２１は、前処理部２０１ａと、学習用基準画像選択部２０２ａと、変化量算出部２０３ａと、画像情報回帰関数推定部２０４ａと、差分画像情報回帰関数推定部２０５ａと、を備える。

後に詳細を述べるが、図２における画像情報回帰関数推定部２０４ａが画像情報回帰関数を推定し、また、図２における差分画像情報回帰関数推定部２０５ａが差分画像情報回帰関数を推定する。そのため、図２における画像情報回帰関数推定部２０４ａにて推定された画像情報回帰関数を、図１における画像情報回帰部２０４にて使用してもよい。また、図２における差分画像情報回帰関数推定部２０５ａにて推定された差分画像情報回帰関数を、図１における差分画像情報回帰部２０５にて使用してもよい。

すなわち、図１に示される画像処理システムにおける推論実行部は、一般的な画像処理における推論を実行する処理（或いはインファレンスを実行する処理）に相当する。また、図２に示される画像処理システムにおける学習実行部は、一般的な画像処理における学習を実行する処理（或いはインファレンスを実行する処理）に相当する。

以下、本実施の形態に係る画像処理システムの各構成要素の概要について述べる。
まず、図１に示される画像処理システムにおける推論実行部の各構成要素の概要について述べる。
系列画像列入力部１０１：
系列画像列入力部１０１は、系列性のある系列画像列を入力する。ここでいう系列画像列とは、例えば、ビデオカメラや高速カメラなどで撮影した１つ以上の動画像などを指す。或いは、ここでいう系列画像列とは、例えば、顔や人物或いは物体など、被写体の姿勢を変化させて撮影した一連の画像列であってもよい。或いは、ここでいう系列画像列とは、例えば、照明やカメラの位置を変化させて、顔や人物或いは物体などの被写体を撮影した一連の画像列であってもよい。或いは、ここでいう系列画像列とは、顔や人物或いは物体などの被写体を、複数のスペクトル帯域で撮影したマルチスペクトル画像やハイパースペクトル画像であってもよい。すなわち、ここでいう系列画像列とは、ある一定の規則に基づき、被写体或いは撮影環境を時間的或いは空間的に変化させたものであれば何でもよい。

以下では、系列画像を、ベクトルＩ（ｔ）＝（Ｉ_１（ｔ），Ｉ_２（ｔ），・・・，Ｉ_ｎ（ｔ），・・・，Ｉ_Ｎ（ｔ））と表す。ここで、ｔは、系列を順序づけるためのパラメタであり、例えば時刻、照明や姿勢の角度、物体の姿勢、スペクトルの周波数などであればよい。なお、以下では、ｔを系列パラメタと呼ぶこともある。また、下付き添え字は、画素のインデックスを表す添え字である。また、Ｎは、画像の画素数である。なお、本実施の形態では、説明を明確にするため、系列性のある系列データ列が画像である場合の例について説明するが、本実施の形態は、系列データ列が画像であることを前提としていない。例えば、系列データ列は、画像ではなくＮ個の要素からなる音声信号でもよいし、顧客データなどの非構造データであってもよい。すなわち、系列データ列は、Ｎ個の要素からなるデータであれば何でもよい。

前処理部２０１：
前処理部２０１は、系列画像列入力部１０１にて入力された系列画像列を前処理（画像処理）することで、より画像認識に適した画像に変換する。ここでいう前処理とは、例えば、複数枚超解像或いは１枚超解像であってもよいし、ハイダイナミックレンジ画像合成でもよいし、コントラスト強調であってもよいし、複数枚ノイズ除去であってもよい。

基準画像選択部２０２：
基準画像選択部２０２は、前処理部２０１にて前処理された系列画像列の中から、１枚以上の画像を基準画像として選択する。例えば、基準画像選択部２０２は、系列画像列の中から、最もｔが小さい画像を基準画像として選択してもよい。或いは、基準画像選択部２０２は、系列画像列の中からランダムに選択した画像を基準画像としてもよい。或いは、基準画像選択部２０２は、利用者があらかじめ決定した基準画像を選択してもよい。或いは、基準画像選択部２０２は、系列画像列の中の各画像について、例えば、明度やボケ強度など画像を特徴づける量をあらかじめ算出し、これらの値が大きいもの或いは小さいものを優先的に基準画像として選択してもよい。そして、基準画像選択部２０２は、選択した基準画像をメモリ（図示せず）に記録する。なお、以下では、基準画像選択部２０２にて選択された基準画像をベクトルＩｉ＝Ｉ（ｔｉ）＝（Ｉ_１（ｔｉ），Ｉ_２（ｔｉ），・・・，Ｉ_ｎ（ｔｉ），・・・，Ｉ_Ｎ（ｔｉ））と表す。ここで添え字のｉは、選択された基準画像を区別するためのものである。

変化量算出部２０３：
変化量算出部２０３は、基準画像選択部２０２にて選択された基準画像と基準画像に近接する画像である近接基準画像との間の変化量を算出する。

まず、変化量算出部２０３は、前処理部２０１にて前処理された系列画像列の中から、基準画像選択部２０２にて選択された基準画像に近い系列に属する１枚以上の画像を、近接基準画像として選択する。より具体的に説明すると、変化量算出部２０３は、例えば、系列画像列の中から、基準画像の系列パラメタｔｉと近い系列パラメタを持つ系列画像を優先的に１枚以上選択し、これを近接基準画像として選択してもよい。或いは、変化量算出部２０３は、まず、系列画像列の中から、ランダムに画像を選択し、次に、ランダムに選択した画像の中から、基準画像の系列パラメタｔｉと近い系列パラメタを持つ１枚以上の画像を、近接基準画像として選択してもよい。以下では、複数枚の画像を近接基準画像として選択した場合に、複数枚の近接基準画像を区別するために、近接基準画像をｊで区別する。ただし、以下では、変化量算出部２０３にて近接基準画像として選択された画像が１枚である場合について説明する。また、以下では、変化量算出部２０３にて選択された近接基準画像をＩｉｊ＝Ｉ（ｔｊ）と表す。

なお、基準画像と近接基準画像との関係は、図３に示される関係であってもよい。すなわち、基準画像選択部２０２は、ある特定のフレームの１つの画像を基準画像として選択する。変化量算出部２０３は、その基準画像の次のフレームの画像を近接基準画像として選択し、基準画像と近接基準画像との間の変化量を算出する。変化量算出部２０３は、現在の近接基準画像の以降のフレームの画像を、順番に近接基準画像として選択し、選択した近接基準画像と基準画像との間の変化量を算出し、以降はこの動作を繰り返してもよい。すなわち、変化量は、基準画像と近接基準画像との間の変化量であるとしてもよい。

或いは、基準画像と近接基準画像との関係は、図４に示される関係であってもよい。すなわち、基準画像選択部２０２は、ある特定のフレームの１つの画像を基準画像として選択する。変化量算出部２０３は、その基準画像の次のフレームの画像を近接基準画像として選択し、基準画像と近接基準画像との間の変化量を算出する。変化量算出部２０３は、現在の近接基準画像の以降のフレームの画像を、順番に近接基準画像として選択し、選択した近接基準画像と１つ前のフレームの近接基準画像との変化量を算出し、以降はこの動作を繰り返してもよい。すなわち、変化量は、画像と、その画像の前の画像と、の間の変化量であるとしてもよい。
或いは、基準画像と近接基準画像との関係は、上記の２つの選択の仕方を統合して用いてもよい。

ここでいう変化量とは、基準画像と近接基準画像との変化、或いは、近接基準画像同士の変化を表す量を指す。具体的には、変化量算出部２０３は、例えば、基準画像と近接基準画像の画素値の差分値、その差分値の二乗値、或いは、その差分値の絶対値などを、変化量としてもよい。或いは、変化量算出部２０３は、基準画像と近接基準画像の画素値の差分値に対し、線形関数或いは非線形関数を用いて差分値を変換し、その値を変化量としてもよい。或いは、変化量算出部２０３は、基準画像の画素値と近接基準画像の画素値のそれぞれに対し、線形関数或いは非線形関数を用いて変換した値を算出し、これらの値の差分値を、変化量としてもよいし、これらの値の差分値に対し、さらに線形関数或いは非線形関数を用いて変換した値を変化量としてもよい。或いは、変化量算出部２０３は、基準画像の画素値と近接基準画像の画素値を引数とする関数を用いて変化量を算出してもよいし、正規化相互相関などの相関値を求める関数を用いて変化量を算出してもよい。或いは、変化量算出部２０３は、基準画像の画素値と近接基準画像の画素値から、画像の幾何変換や移動量（すなわちオプティカルフロー）を算出し、これを変化量としてもよい。なお、本実施の形態に係る変化量算出部２０３による変化量の算出方法はこれに限定されず、基準画像と近接基準画像のそれぞれの画素値を引数とする関数を用いた算出方法であれば何でもよい。また、上記の算出方法は、基準画像と近接基準画像の間の変化量の算出方法であるが、近接基準画像同士の変化量も、同様の方法で算出してよい。なお、以下では、変化量算出部２０３にて算出された変化量を、ΔＩｉｊと表し、以下ではこれを単純に変化量と呼ぶこともある。
或いは、変化量算出部２０３にて算出された変化量は、基準画像と近接基準画像との変化、或いは、近接基準画像同士の変化に加え、これら変化量に関する情報に加えて基準画像或いは近接基準画像の情報を加えたものであってもよい。或いは、変化量算出部２０３にて算出された変化量は、これまで過去に算出された変化量に加え、基準画像及び近接基準画像の情報を加えたものであってもよい。

画像情報回帰部２０４：
画像情報回帰部２０４は、基準画像選択部２０２にて選択された基準画像を入力として、画像情報回帰関数により、クラス信頼度を算出する。ここでいうクラス信頼度とは、例えば、照合結果や認識結果などを指す。より具体的には、例えば、クラス信頼度が照合結果である場合には、入力した基準画像と別途用意した画像との相違度や類似度がクラス信頼度に相当する。また、クラス信頼度が認識結果である場合は、入力した基準画像に含まれている物体や人物、或いは文字などの情報がクラス信頼度に相当する。なお、クラス信頼度が認識結果である場合、画像情報回帰部２０４にて算出される値は、通常の画像認識と同様に、人や物体或いは文字などのクラスに相当するベクトルを用意し、このベクトルの各要素に０或いは１（ゼロである場合はその物体が存在しないことを示し、１である場合はその物体が存在することを示す）を入力し、これをクラス信頼度として算出すればよい。或いは、クラス信頼度が認識結果である場合、画像情報回帰部２０４にて出力される値は、通常の画像認識と同様に、人や物体或いは文字などのクラスに相当するベクトルを用意し、このベクトルの各要素に各物体の信頼度（信頼度は大きければ大きいほど、その物体が存在することを示す）を入力し、これをクラス信頼度として算出すればよい。以下では、基準画像Ｉｉのクラス信頼度をｃｉ（ｔｉ）＝（ｃ_１（ｔｉ），ｃ_２（ｔｉ），・・・，ｃ_ｄ（ｔｉ），・・・，ｃ_Ｄ（ｔｉ））と表す。ここで、Ｄは基準画像の次元であり、ｄは各次元を区別するための添え字である。例えば、クラス信頼度が認識結果である場合、Ｄはクラスの数を表す。

なお、本実施の形態において、クラス信頼度ｃｉ（ｔｉ）を算出するために用いる画像情報回帰関数は、利用者があらかじめ手動で入力することで与えてもよい。或いは、別途、図２に示した構成を用いて、この画像情報回帰関数を推定してもよい。また、画像情報回帰関数は、例えば、非特許文献１に記載の手法を用いて推定してもよい。また、画像情報回帰関数は、ディープニューラルネットワークによる回帰関数を用いてもよいし、ランダムフォレストを用いた回帰関数を用いてもよい。或いは、サポートベクトル回帰により、この画像情報回帰関数を獲得してもよい。

差分画像情報回帰部２０５：
差分画像情報回帰部２０５は、変化量算出部２０３にて算出された変化量を入力として、差分画像情報回帰関数により、近接クラス信頼度ｃｉｊ（ｔｊ）を算出する。ここでいう近接クラス信頼度ｃｉｊとは、クラス信頼度ｃｉ（ｔｉ）と同様に、例えば、照合結果や認識結果などを指す。より具体的には、クラス信頼度ｃｉ（ｔｉ）と同様に、例えば、近接クラス信頼度ｃｉｊ（ｔｊ）が照合結果である場合には、入力した基準画像或いは入力した変化量に応じた差分画像と別途用意した画像との相違度や類似度が近接クラス信頼度に相当する。また、近接クラス信頼度ｃｉｊ（ｔｊ）が認識結果である場合は、入力した基準画像或いは入力した変化量に応じた差分画像に含まれている物体や人物、或いは文字などにおけるクラス信頼度が近接クラス信頼度に相当する。

なお、本実施の形態において、近接クラス信頼度ｃｉｊ（ｔｊ）を算出するために用いる差分画像情報回帰関数は、利用者があらかじめ手動で入力することで与えてもよい。或いは、別途、図２に示した構成を用いて、この差分画像情報回帰関数を推定してもよい。また、差分画像情報回帰関数は、例えば、非特許文献１に記載の手法を用いて推定してもよい。また、差分画像情報回帰関数は、ディープニューラルネットワークによる回帰関数を用いてもよいし、ランダムフォレストを用いた回帰関数を用いてもよい。或いは、サポートベクトル回帰により、この差分画像情報回帰関数を獲得してもよい。

信頼度統合部２０６：
信頼度統合部２０６は、差分画像情報回帰部２０５にて算出された近接クラス信頼度ｃｉｊ（ｔｊ）と、画像情報回帰部２０４にて算出されたクラス信頼度ｃｉ（ｔｉ）と、を統合した統合クラス信頼度を算出する。ここでいう統合クラス信頼度とは、クラス信頼度や近接クラス信頼度と同様に、例えば、照合結果や認識結果などを指す。より具体的には、例えば、統合クラス信頼度が照合結果である場合には、基準画像或いは変化量に応じた差分画像と別途用意した画像との相違度や類似度が統合クラス信頼度に相当する。また、統合クラス信頼度が認識結果である場合は、基準画像に含まれている物体や人物、或いは文字などの情報が統合クラス信頼度に相当する。なお、統合クラス信頼度が認識結果である場合、信頼度統合部２０６にて算出される値は、通常の画像認識と同様に、人や物体或いは文字などのクラスに相当するベクトルを用意し、このベクトルの各要素に０或いは１（ゼロである場合はその物体が存在しないことを示し、１である場合はその物体が存在することを示す）を入力し、これを統合クラス信頼度として算出すればよい。或いは、統合クラス信頼度が認識結果である場合、信頼度統合部２０６にて算出される値は、通常の画像認識と同様に、人や物体或いは文字などのクラスに相当するベクトルを用意し、このベクトルの各要素に各物体の信頼度（信頼度は大きければ大きいほど、その物体が存在することを示す）を入力し、これを統合クラス信頼度として算出すればよい。

なお、信頼度統合部２０６は、例えば、クラス信頼度ｃｉ（ｔｉ）と近接クラス信頼度ｃｉｊ（ｔｊ）の和或いは平均値或いは中央値或いは最大値、又はこれらを組み合わせた値を算出することで、クラス信頼度ｃｉ（ｔｉ）と近接クラス信頼度ｃｉｊ（ｔｊ）を統合してもよい。或いは、信頼度統合部２０６は、クラス信頼度ｃｉ（ｔｉ）と近接クラス信頼度ｃｉｊ（ｔｊ）の積を算出することで、クラス信頼度ｃｉ（ｔｉ）と近接クラス信頼度ｃｉｊ（ｔｊ）を統合してもよい。或いは、信頼度統合部２０６は、基準画像と差分画像の画素値を引数とする何らかの線形或いは非線形関数を設定し、この関数に基準画像と差分画像の画素値を代入し得られた出力を統合クラス信頼度として算出することで、クラス信頼度ｃｉ（ｔｉ）と近接クラス信頼度ｃｉｊ（ｔｊ）とを統合してもよい。或いは、信頼度統合部２０６は、plurality votingとsimple soft votingといった投票方法で信頼度を投票してもよい。
出力部３０１は、信頼度統合部２０６にて算出された統合クラス信頼度を出力する。

続いて、図２に示される画像処理システムにおける学習実行部の各構成要素の概要について述べる。
学習用系列画像列入力部１０２：
学習用系列画像列入力部１０２は、学習用にあらかじめ用意した、系列性のある系列画像列（以下、学習用系列画像列と呼ぶこともある）を入力する。ここでいう系列画像列とは、例えば、ビデオカメラや高速カメラなどで撮影した１つ以上の動画像などを指す。或いは、ここでいう系列画像列とは、例えば、顔や人物或いは物体など、被写体の姿勢を変化させて撮影した一連の画像列であってもよい。或いは、ここでいう系列画像列とは、例えば、照明やカメラの位置を変化させて、顔や人物或いは物体などの被写体を撮影した一連の画像列であってもよい。或いは、ここでいう系列画像列とは、顔や人物或いは物体などの被写体を、複数のスペクトル帯域で撮影したマルチスペクトル画像やハイパースペクトル画像であってもよい。すなわち、ここでいう系列画像列とは、ある一定の規則に基づき、被写体或いは撮影環境を時間的或いは空間的に変化させたものであれば何でもよい。なお、以下では、学習用系列画像列入力部１０２にて入力された画像の集合を｛Ｉ_ｋ（ｔ）｝＝（Ｉ_１（ｔ），・・・，Ｉ_ｋ（ｔ），・・・，Ｉ_Ｋ（ｔ））と表し、以下ではこれを学習用系列画像群と呼ぶこともある。ここで、ｋは、入力した学習用系列画像を区別するための添え字であり、Ｋは、入力した学習用系列画像の総数である。

前処理部２０１ａ：
前処理部２０１ａは、学習用系列画像列入力部１０２にて入力された学習用系列画像列を前処理（画像処理）することで、より画像認識に適した画像に変換する。なお、前処理部２０１ａの動作の概要は、図１における前処理部２０１と同様であるので、記述は省略する。

学習用基準画像選択部２０２ａ：
学習用基準画像選択部２０２ａは、前処理部２０１ａにて前処理された学習用系列画像列の中から、１枚以上の画像を学習用基準画像として選択する。なお、学習用基準画像選択部２０２ａの動作の概要は、図１における基準画像選択部２０２と同様であるので、記述は省略する。また、以下では、学習用基準画像選択部２０２ａにて選択された学習用基準画像を、｛Ｉｋｉ（ｔｉ）｝或いは単に｛Ｉｋｉ｝と表す。

変化量算出部２０３ａ：
変化量算出部２０３ａは、学習用基準画像選択部２０２ａにて選択された学習用基準画像と学習用基準画像に近接する画像である近接学習用基準画像との間の変化量を算出する。なお、変化量算出部２０３ａの動作の概要は、図１における変化量算出部２０３と同様であるので、記述は省略する。また、以下では、近接学習用基準画像を｛Ｉｋｉｊ（ｔｊ）｝と表し、算出した変化量を｛ΔＩｋｉｊ｝と表す。

教師画像情報入力部１０３：
教師画像情報入力部１０３は、教師データとなる画像情報を教師画像情報として入力する。本実施の形態における教師画像情報とは、学習用基準画像｛Ｉｋｉ｝或いは学習用近接基準画像｛Ｉｋｉｊ｝に対し、図１における画像情報回帰部２０４にて使用した画像情報回帰関数と同様の画像情報回帰関数を用いた場合に期待する出力（すなわち正解値或いは教師信号）と同様の出力を用いてもよい。

すなわち、教師画像情報入力部１０３にて入力される教師画像情報とは、照合結果や認識結果などの正解値（或いは教師信号）を指す。より具体的には、例えば、教師画像情報が照合結果である場合には、学習用基準画像或いは変化量に応じた差分画像と、別途用意した画像との相違度や類似度が教師画像情報に相当する。また、教師画像情報が認識結果である場合は、学習用基準画像に含まれている物体や人物、或いは文字などの情報が教師画像情報に相当する。なお、教師画像情報が認識結果である場合、教師画像情報入力部１０３にて入力される値は、通常の画像認識と同様に、人や物体或いは文字などのクラスに相当するベクトルを用意し、このベクトルの各要素に０或いは１（ゼロである場合はその物体が存在しないことを示し、１である場合はその物体が存在することを示す）を入力し、これを教師画像情報として入力すればよい。或いは、教師画像情報が認識結果である場合、教師画像情報入力部１０３にて入力される値は、通常の画像認識における教師信号と同様に、人や物体或いは文字などのクラスに相当するベクトルを用意し、このベクトルの各要素に各物体の信頼度（信頼度は大きければ大きいほど、その物体が存在することを示す）を入力し、これを教師画像情報として入力すればよい。以下では、学習用基準画像｛Ｉｋｉ｝に対応する教師画像情報を｛ｚｋｉ｝と表し、変化量｛ΔＩｋｉｊ｝に対応する教師画像情報或いは変化量｛ΔＩｋｉｊ｝に応じた差分画像に対応する教師画像情報を｛ｚｋｉｊ｝と表すこととする。

画像情報回帰関数推定部２０４ａ：
画像情報回帰関数推定部２０４ａは、学習用基準画像選択部２０２ａにて選択された学習用基準画像｛Ｉｋｉ｝と、教師画像情報入力部１０３にて入力された教師画像情報｛ｚｋｉ｝と、から、画像情報回帰関数を推定する。すなわち、画像情報回帰関数推定部２０４ａは、学習用基準画像｛Ｉｋｉ｝及び教師画像情報｛ｚｋｉ｝を入力とし、画像情報回帰関数を推定する。画像情報回帰関数推定部２０４ａは、例えば、深層学習により、画像情報回帰関数を推定してもよい。より具体的には、画像情報回帰関数推定部２０４ａは、例えば、オートエンコーダーや変分オートエンコーダー（ＶＡＥ：Variational Auto Encoder）などの手法を用いて、画像情報回帰関数を回帰してもよい。或いは、画像情報回帰関数推定部２０４ａは、サポートベクトル回帰やランダムフォレストなどの方法を用いて、画像情報回帰関数を算出してもよい。

差分画像情報回帰関数推定部２０５ａ：
差分画像情報回帰関数推定部２０５ａは、変化量算出部２０３ａにて算出された、学習用基準画像｛Ｉｋｉ｝と学習用近接基準画像｛Ｉｋｉｊ｝の間の変化量｛ΔＩｋｉｊ｝と、教師画像情報入力部１０３にて入力された教師画像情報｛ｚｋｉｊ｝と、から、差分画像情報回帰関数を推定する。すなわち、差分画像情報回帰関数推定部２０５ａは、変化量｛ΔＩｋｉｊ｝及び教師画像情報｛ｚｋｉｊ｝を入力とし、差分画像情報回帰関数を推定する。差分画像情報回帰関数推定部２０５ａは、例えば、深層学習により、差分画像情報回帰関数を推定してもよい。より具体的には、差分画像情報回帰関数推定部２０５ａは、例えば、オートエンコーダーや変分オートエンコーダー（ＶＡＥ）などの手法を用いて、の差分画像情報回帰関数を回帰してもよい。或いは、差分画像情報回帰関数推定部２０５ａは、サポートベクトル回帰やランダムフォレストなどの方法を用いて、差分画像情報回帰関数を算出してもよい。

画像情報回帰関数出力部３０２：
画像情報回帰関数出力部３０２は、画像情報回帰関数推定部２０４ａにて推定された画像情報回帰関数を出力する。図１における画像情報回帰部２０４は、画像情報回帰関数出力部３０２から出力された画像情報回帰関数を使用しても良いし、利用者があらかじめ手動で入力した画像情報回帰関数を使用しても良い。

差分画像情報回帰関数出力部３０３：
差分画像情報回帰関数出力部３０３は、差分画像情報回帰関数推定部２０５ａにて推定された差分画像情報回帰関数を出力する。図１における差分画像情報回帰部２０５は、差分画像情報回帰関数出力部３０３から出力された差分画像情報回帰関数を使用しても良いし、利用者があらかじめ手動で入力した差分画像情報回帰関数を使用しても良い。

＜実施の形態の動作＞
以下、本実施の形態に係る画像処理システムの動作について説明する。
まず、図５を参照して、図１に示される画像処理システムにおける推論実行部の動作について説明する。図５は、図１に示される画像処理システムにおける推論実行部の動作フロー例を示すフロー図である。

図５を参照すると、まず、系列画像列入力部１０１は、系列画像列を入力する（Ｓ１０１）。
次に、前処理部２０１は、系列画像列入力部１０１にて入力された系列画像列の前処理を行う（Ｓ１０２）。

次に、基準画像選択部２０２は、前処理部２０１にて前処理された系列画像列の中から基準画像を選択する（Ｓ１０３）。
次に、変化量算出部２０３は、前処理部２０１にて前処理された系列画像列の中から、基準画像選択部２０２にて選択された基準画像に近接する近接基準画像を選択し、さらに、基準画像と近接基準画像との間の変化量を算出する（Ｓ１０４）。

次に、画像情報回帰部２０４は、基準画像選択部２０２にて選択された基準画像を入力として、基準画像情報回帰関数により、クラス信頼度を算出する（Ｓ１０５）。
次に、差分画像情報回帰部２０５は、変化量算出部２０３にて算出された変化量を入力として、差分画像情報回帰関数により、近接クラス信頼度を算出する（Ｓ１０６）。

次に、信頼度統合部２０６は、画像情報回帰部２０４にて算出されたクラス信頼度と、差分画像情報回帰部２０５にて算出された近接クラス信頼度と、を統合した統合クラス信頼度を算出する（Ｓ１０７）。
その後、出力部３０１は、信頼度統合部２０６にて算出された統合クラス信頼度を出力する（Ｓ１０８）。

続いて、図６を参照して、図２に示される画像処理システムにおける学習実行部の動作について説明する。図６は、図２に示される画像処理システムにおける学習実行部の動作フロー例を示すフロー図である。

図６を参照すると、まず、学習用系列画像列入力部１０２は、学習用系列画像列を入力する（Ｓ２０１）。
次に、教師画像情報入力部１０３は、教師データとなる画像情報を教師画像情報として入力する（Ｓ２０２）。
次に、前処理部２０１ａは、学習用系列画像列入力部１０２にて入力された学習用系列画像列の前処理を行う（Ｓ２０３）。

次に、学習用基準画像選択部２０２ａは、前処理部２０１ａにて前処理された学習用系列画像列の中から学習用基準画像を選択する（Ｓ２０４）。
次に、変化量算出部２０３ａは、前処理部２０１ａにて前処理された学習用系列画像列の中から、学習用基準画像選択部２０２ａにて選択された学習用基準画像に近接する近接学習用基準画像を選択し、さらに、学習用基準画像と近接学習用基準画像との間の変化量を算出する（Ｓ２０５）。

次に、画像情報回帰関数推定部２０４ａは、学習用基準画像選択部２０２ａにて選択された学習用基準画像と、教師画像情報入力部１０３にて入力された教師画像情報と、から、画像情報回帰関数を推定する（Ｓ２０６）。
また、差分画像情報回帰関数推定部２０５ａは、変化量算出部２０３ａにて算出された変化量と、教師画像情報入力部１０３にて入力された教師画像情報と、から、差分画像情報回帰関数を推定する（Ｓ２０７）。

その後、画像情報回帰関数出力部３０２は、画像情報回帰関数推定部２０４ａにて推定された画像情報回帰関数を出力する（Ｓ２０８）。
また、差分画像情報回帰関数出力部３０３は、差分画像情報回帰関数推定部２０５ａにて推定された差分画像情報回帰関数を出力する（Ｓ２０９）。

＜実施の形態の効果＞
以下、本実施の形態に係る画像処理システムの効果について説明する。
（１）第１の効果
本実施の形態における第１の効果は、高速カメラを用いて取得したフレームレートが大きな動画像や、複数の照明条件で物体を撮像した画像群などを入力とした場合、より少ない計算負荷で画像認識などの画像処理を行えるという点がある。

以下に、その理由について述べる。本実施の形態では、まず、変化量算出部２０３が、基準画像と、基準画像に近接する画像である近接基準画像と、の間の変化量を算出する。次に、画像情報回帰部２０４が、基準画像を入力として、画像情報回帰関数によりクラス信頼度を算出し、次に、差分画像情報回帰部２０５が、変化量のみを入力として、差分画像情報回帰関数により、クラス信頼度を算出する。次に、信頼度統合部２０６が、これらの信頼度を統合する。本実施の形態はこのような構成になっている。

一般的に、画像そのものの値（すなわち画素値）に比べ、系列に沿った画像間の変化は小さい。このように、相対的に変化量が小さい場合には、差分画像情報回帰関数における計算負荷も小さくてすむ。そのため、結果として、差分画像情報回帰関数の推定や実行（推論）に必要とされる計算コストも小さくてよい。すなわち、より高速に差分画像情報回帰関数の推定や実行（すなわち推論）を行うことが可能となる。

別の見方をすると、例えば、画像情報回帰関数及び差分画像情報回帰関数をニューラルネットワークにより構成する場合を考える（図３及び図４を参照）。この場合、変化量に応じた差分画像を用いることで、画像間の相対的な変化のみに着目することができるため、通常の画像を用いた場合に必要であった前段の層を削減することが可能となる。そのため、差分画像を用いない場合に比べ、計算コストが小さくてすむ。すなわち、より高速に差分画像情報回帰関数の推定や実行（すなわち推論）を行うことが可能となる。

（２）第２の効果
さらに、本実施の形態における第２の効果として、画像認識を安定的に行えるという点がある。なぜならば、上述したように、本実施の形態では、画像情報回帰部２０４にて算出されたクラス信頼度と、差分画像情報回帰部２０５にて算出されたクラス信頼度と、を統合するという構成になっている。

そのため、１枚の画像のみを用いて画像を認識する場合と比較し、差分画像情報回帰部２０５にて出力されたクラス信頼度も用いて画像を認識するために、より多くの情報を用いて、画像認識を行うことができる。なぜならば、例えば、画像情報回帰部２０４にて算出されたクラス信頼度が曖昧である、或いは誤っている場合であっても、差分画像情報回帰部２０５にて算出されたクラス信頼度が正しい場合は、画像を正しく認識することができるためである。

別の見方をすると、画像認識では、空間方向の微分情報（すなわち空間的な差分情報）を特徴量として画像特徴を記述するのが一般的である。この理由は、輝度情報の空間的な変化の方が、輝度値そのものよりも、物体の輪郭などの情報を強調して記述でき、認識性能が向上するためである。一方、高速カメラなどを用いて撮像され、対象となる物体に対して、わずかに動きが異なる時系列画像を、系列画像列入力部１０１にて入力することを考える。時系列画像から、空間的な輝度値の変化を算出するだけでなく、時間的な輝度値の変化を算出し、それを特徴として用いることで、物体の輪郭の変化などの情報を強調して記述することができる。すなわち、変化量算出部２０３にて算出される変化量は、物体の輪郭などの変化を強調した情報であり、これを用いて差分情報回帰関数を構成することで、認識性能が向上させることができるためである。

（３）第３の効果
さらに、本実施の形態における第３の効果として、画像認識をより少ない学習データから行えるという点がある。なぜならば、上述したように、一般的に、画像そのものの値（すなわち画素値）に比べ、系列に沿った画像間の画素値の変化は小さいため、変化量算出部２０３ａにて算出される変化量は相対的に小さな値を持つ。このように、相対的に変化量が小さい場合には、差分画像情報回帰関数の推定を行う場合に、関数の探索範囲が小さくてすむ。そのため、安定的に関数の推定を行うために必要な学習データが少なくてすむ。

なお、本実施の形態に係る画像処理システムは、１台のコンピュータ（画像処理装置）で実現することができる。以下、図７を参照して、本実施の形態に係る画像処理システムを実現するコンピュータ４０のハードウェア構成について説明する。図７は、本実施の形態に係る画像処理システムを実現するコンピュータ４０のハードウェア構成例を示すブロック図である。

図７を参照すると、本実施の形態に係る画像処理システムは、コンピュータ４０で実現することができる。コンピュータ４０は、プロセッサ４１、メモリ４２、ストレージ４３、入出力インタフェース（入出力Ｉ／Ｆ）４４、及び通信インタフェース（通信Ｉ／Ｆ）４５等を備えている。プロセッサ４１、メモリ４２、ストレージ４３、入出力インタフェース４４、及び通信インタフェース４５は、相互にデータを送受信するためのデータ伝送路で接続されている。

プロセッサ４１は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の演算処理装置である。メモリ４２は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリである。ストレージ４３は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はメモリカード等の記憶装置である。また、ストレージ４３は、ＲＡＭやＲＯＭ等のメモリであっても良い。

ストレージ４３は、本実施の形態に係る画像処理システムが備える各構成要素の機能を実現するプログラム（画像処理プログラム）を記憶している。プロセッサ４１は、これら各プログラムを実行することで、本実施の形態に係る画像処理システムが備える各構成要素の機能をそれぞれ実現する。ここで、プロセッサ４１は、上記各プログラムを実行する際、これらのプログラムをメモリ４２上に読み出してから実行しても良いし、メモリ４２上に読み出さずに実行しても良い。

また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータ（コンピュータ４０を含む）に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ−Ｒ（CD-Recordable）、ＣＤ−Ｒ／Ｗ（CD-ReWritable）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

入出力インタフェース４４は、不図示の表示装置や入力装置等と接続される。表示装置は、例えば、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、プロセッサ４１により処理された描画データに対応する画面を表示する装置である。また、入力装置は、例えば、オペレータの操作入力を受け付ける装置であり、例えば、キーボード、マウス、及びタッチセンサなどである。表示装置及び入力装置は一体化され、タッチパネルとして実現されていても良い。
通信インタフェース４５は、外部の装置との間でデータを送受信する。例えば、通信インタフェース４５は、有線ネットワーク又は無線ネットワークを介して外部装置と通信する。

以上、実施の形態を参照して本開示を説明したが、本開示は上記の実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

例えば、本開示に係る画像処理システムは、図１に示された構成要素のうち、前処理部２０１を除く構成要素で最小構成を形成しても良い。この最小構成でも、本開示の効果が得られて、本開示の課題を解決することが可能である。

１０１ 系列画像列入力部
２０ 推論処理部
２０１ 前処理部
２０２ 基準画像選択部
２０３ 変化量算出部
２０４ 画像情報回帰部
２０５ 差分画像情報回帰部
２０６ 信頼度統合部
３０１ 出力部
１０２ 学習用系列画像列入力部
１０３ 教師画像情報入力部
２１ 学習処理部
２０１ａ 前処理部
２０２ａ 学習用基準画像選択部
２０３ａ 変化量算出部
２０４ａ 画像情報回帰関数推定部
２０５ａ 差分画像情報回帰関数推定部
３０２ 画像情報回帰関数出力部
３０３ 差分画像情報回帰関数出力部
４０ コンピュータ
４１ プロセッサ
４２ メモリ
４３ ストレージ
４４ 入出力インタフェース
４５ 通信インタフェース

Claims (8)

1. 系列性のある系列画像列を入力する系列画像列入力部と、
   前記系列画像列の中から、１枚以上の画像を基準画像として選択する基準画像選択部と、
   前記系列画像列の中から、前記基準画像に近接する近接基準画像を選択し、前記基準画像と前記近接基準画像の間の変化量である第１変化量を算出する第１変化量算出部と、
   前記基準画像を入力として、クラス信頼度を回帰処理により算出する画像情報回帰部と、
   前記第１変化量を入力として、クラス信頼度を回帰処理により算出する差分画像情報回帰部と、
   前記画像情報回帰部にて算出されたクラス信頼度と、前記差分画像情報回帰部にて算出されたクラス信頼度と、を統合する信頼度統合部と、
   前記統合されたクラス信頼度を出力する出力部と、
   を備える、画像処理システム。
2. 前記画像情報回帰部は、前記基準画像を入力として、画像情報回帰関数を用いた回帰処理により、クラス信頼度を算出し、
   前記差分画像情報回帰部は、前記第１変化量を入力として、差分画像情報回帰関数を用いた回帰処理により、クラス信頼度を算出する、
   請求項１に記載の画像処理システム。
3. 系列性のある学習用系列画像列を入力する系列画像列入力部と、
   教師データとなる画像情報を教師画像情報として入力する教師画像情報入力部と、
   前記学習用系列画像列の中から、１枚以上の画像を学習用基準画像として選択する学習用基準画像選択部と、
   前記学習用系列画像列の中から、前記学習用基準画像に近接する近接学習用基準画像を選択し、前記学習用基準画像と前記近接学習用基準画像の間の変化量である第２変化量を算出する第２変化量算出部と、
   前記教師画像情報と前記学習用基準画像とから、前記画像情報回帰関数を推定する画像情報回帰関数推定部と、
   前記教師画像情報と前記第２変化量とから、前記差分画像情報回帰関数を推定する差分画像情報回帰関数推定部と、
   をさらに備え、
   前記画像情報回帰部は、前記画像情報回帰関数として、前記画像情報回帰関数推定部にて推定された画像情報回帰関数を用い、
   前記差分画像情報回帰部は、前記差分画像情報回帰関数として、前記差分画像情報回帰関数推定部にて推定された差分画像情報回帰関数を用いる、
   請求項２に記載の画像処理システム。
4. 前記基準画像選択部は、前記系列画像列の中から、特定のフレームの画像を前記基準画像として選択し、
   前記第１変化量算出部は、
   前記系列画像列の中から、前記基準画像の次のフレームの画像を前記近接基準画像として選択し、前記基準画像と前記近接基準画像との間の変化量を算出し、
   以降、前記系列画像列の中から、現在の近接基準画像の以降のフレームの画像を、順番に前記近接基準画像として選択し、選択した前記近接基準画像と前記基準画像との間の変化量を算出する、という動作を繰り返す、
   請求項１から３のいずれか１項に記載の画像処理システム。
5. 前記基準画像選択部は、前記系列画像列の中から、特定のフレームの画像を前記基準画像として選択し、
   前記第１変化量算出部は、
   前記系列画像列の中から、前記基準画像の次のフレームの画像を前記近接基準画像として選択し、前記基準画像と前記近接基準画像との間の変化量を算出し、
   以降、前記系列画像列の中から、現在の近接基準画像の以降のフレームの画像を、順番に前記近接基準画像として選択し、選択した前記近接基準画像と１つ前のフレームの前記近接基準画像との変化量を算出する、という動作を繰り返す、
   請求項１から３のいずれか１項に記載の画像処理システム。
6. 系列性のある系列画像列を入力する系列画像列入力部と、
   前記系列画像列の中から、１枚以上の画像を基準画像として選択する基準画像選択部と、
   前記系列画像列の中から、前記基準画像に近接する近接基準画像を選択し、前記基準画像と前記近接基準画像の間の変化量である第１変化量を算出する第１変化量算出部と、
   前記基準画像を入力として、クラス信頼度を回帰処理により算出する画像情報回帰部と、
   前記第１変化量を入力として、クラス信頼度を回帰処理により算出する差分画像情報回帰部と、
   前記画像情報回帰部にて算出されたクラス信頼度と、前記差分画像情報回帰部にて算出されたクラス信頼度と、を統合する信頼度統合部と、
   前記統合されたクラス信頼度を出力する出力部と、
   を備える、画像処理装置。
7. 画像処理装置による画像処理方法であって、
   系列性のある系列画像列を入力するステップと、
   前記系列画像列の中から、１枚以上の画像を基準画像として選択するステップと、
   前記系列画像列の中から、前記基準画像に近接する近接基準画像を選択し、前記基準画像と前記近接基準画像の間の変化量である第１変化量を算出するステップと、
   前記基準画像を入力として、クラス信頼度を回帰処理により算出する第１回帰ステップと、
   前記第１変化量を入力として、クラス信頼度を回帰処理により算出する第２回帰ステップと、
   前記第１回帰ステップにて算出されたクラス信頼度と、前記第２回帰ステップにて算出されたクラス信頼度と、を統合するステップと、
   前記統合されたクラス信頼度を出力するステップと、
   を含む、画像処理方法。
8. コンピュータに、
   系列性のある系列画像列を入力する手順と、
   前記系列画像列の中から、１枚以上の画像を基準画像として選択する手順と、
   前記系列画像列の中から、前記基準画像に近接する近接基準画像を選択し、前記基準画像と前記近接基準画像の間の変化量である第１変化量を算出する手順と、
   前記基準画像を入力として、クラス信頼度を回帰処理により算出する第１回帰手順と、
   前記第１変化量を入力として、クラス信頼度を回帰処理により算出する第２回帰手順と、
   前記第１回帰手順にて算出されたクラス信頼度と、前記第２回帰手順にて算出されたクラス信頼度と、を統合する手順と、
   前記統合されたクラス信頼度を出力する手順と、
   を実行させるための画像処理プログラムが格納された非一時的なコンピュータ可読媒体。

Images