JP7400959B2 - 判定装置、判定方法およびプログラム - Google Patents
判定装置、判定方法およびプログラム Download PDFInfo
- Publication number
- JP7400959B2 JP7400959B2 JP2022522117A JP2022522117A JP7400959B2 JP 7400959 B2 JP7400959 B2 JP 7400959B2 JP 2022522117 A JP2022522117 A JP 2022522117A JP 2022522117 A JP2022522117 A JP 2022522117A JP 7400959 B2 JP7400959 B2 JP 7400959B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- score
- unit
- classification
- integrated score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
例えば、特許文献1には、加工された画像と加工されていない画像とを含むトレーニングデータセットを用いて分離モジュールのトレーニングを行い、入力画像を、画像が加工されたことを示す第1のクラス、または、加工されていないことを示す第2のクラスの何れかに割り当てることが記載されている。
図1は、第一実施形態に係る判定装置の機能構成を示す概略ブロック図である。図1に示す構成で、判定装置100は、通信部110と、表示部120と、操作入力部130と、記憶部170と、制御部180とを備える。制御部180は、取得部181と、スコア算出部182と、閾値決定部186と、クラス判定部187と、クラス分類学習部188と、学習データ加工部189と、信頼度算出部190と、信頼度学習部191と、信頼度評価部192と、残り時間推定部193とを備える。スコア算出部182は、特徴量算出部183と、個別スコア算出部184と、統合スコア算出部185とを備える。
判定装置100は、例えばパソコン(Personal Computer;PC)またはワークステーション(Workstation)等のコンピュータを用いて構成される。
判定装置100は、要素を取得する毎の2クラス分類を、所定の終了条件が成立するまで繰り返し、終了条件が成立したときの2クラス分類の判定結果を、2クラス分類の最終的な判定結果として採用する。
特に明示する必要がある場合は、最終的な判定結果を最終判定結果と称し、最終判定結果以外の判定結果を中間判定結果と称して、最終判定結果と区別する。
これにより、表示部120は、表示画面を用いる必要なしに、ランプまたは7セグメントディスプレイといった安価かつコンパクトな表示デバイスを用いて残り時間の指標を表示することができる。例えば、表示部120が表示画面を備えていない場合、あるいは、表示部120の表示画面が小さい場合でも、残り時間の指標を表示するための、判定装置100の装置コストの増加、および、判定装置100の大きさの増加が小さくて済む。
表示部120を、残り時間表示部とも称する。
記憶部170は、各種データを記憶する。記憶部170は、判定装置100が備える記憶デバイスを用いて構成される。
例えば、判定装置100が、動画像に映る人物が顔認証を妨げるための偽装を行っているか否かを判定する場合、通信部110が、動画像のフレーム毎の画像を画像データにて受信し、取得部181が、通信部110の受信データからフレーム毎の画像を画像データにて取得するようにしてもよい。この場合、フレーム毎の画像の各々が、系列データに含まれる要素の例に該当する。
個別スコア算出部184が、取得部181が直近に取得した要素に加えて、さらに、取得部181が直近に取得した要素と過去に取得した要素との関連性を考慮して個別スコアを算出するようにしてもよい。
また、クラスをラベルyの値で示す。y=0は、クラスC0を示す。あるいは、y=0は、分類対象がクラスC0に属することを示す。y=1は、クラスC1を示す。あるいは、y=1は、分類対象がクラスC1に属することを示す。
クラスC1を第1クラスとも称する。クラスC2を第2クラスとも称する。
要素x(i)がクラスC0に属する確率p(x(i)|y=0)と、要素x(i)がクラスC1に属する確率p(x(i)|y=1)との尤度比は、式(1)のように表すことができる。
個別スコア算出部184が特徴量算出部183の機能を含む1つの機能部として構成され、系列データの要素の特徴量として個別スコアを算出するようにしてもよい。
統合スコア算出部185が、個別スコア算出部184が直近に算出した個別スコアと、統合スコア算出部185自らが過去に算出した統合スコアとに基づいて、統合スコアを更新するようにしてもよい。例えば、統合スコア算出部185が、個別スコア算出部184が算出した要素x(i)に基づく個別スコアと、統合スコア算出部185自らが算出した要素x(1)、x(2)、…、x(i-1)に基づく統合スコアとに基づいて、要素x(1)、x(2)、…、x(i)に基づく統合スコアを算出するようにしてもよい。
あるいは、統合スコア算出部185が、式(3)に示される尤度比の対数をとった対数尤度比を統合スコアとして算出するようにしてもよい。
一方、系列データの各要素が独立でない場合、尤度比をより高精度に計算するために、要素間の関連性を考慮することが好ましい。
例えば、要素x(i)からそのn個前の要素x(i-n)までの要素の関連性を考慮する場合、式(5)に基づいて対数尤度比を算出することができる。
例えば、要素x(i)とその前の要素x(i-1)との要素の関連性を考慮する場合、式(5)のnに1を代入して得られる式(6)に基づいて対数尤度比を算出することができる。
ただし、上述したように、スコア算出部182が算出する統合スコアは、特定の種類のスコアに限定されない。また、特徴量算出部183の機能と個別スコア算出部184の機能と統合スコア算出部185の機能とが明示的に分かれていなくてもよい。
統合スコアと、統合スコアの上限閾値および下限閾値とを比較することで、分類対象がクラスC0に属するか、クラスC1に属するか、あるいは現時点ではクラス未定かの何れかを判定することができる。
図2のグラフの横軸は、取得部181が取得した要素の個数を示す。縦軸は、統合スコアを示す。要素の個数を要素数とも称する。
線L111は、統合スコアの上限閾値を示す。上限閾値は+T(Tは正の実数)に設定されている。線L112は、統合スコアの下限閾値を示す。下限閾値は-Tに設定されている。
また、図2は、例えば対数尤度比を統合スコアとして用いる場合など、分類対象がクラスC0に属する尤度とクラスC1に属する尤度とが等しい場合の値が0となる指標を統合スコアとして用いる場合の例を示している。
線L121の例の場合、要素数がN個になるまでに統合スコアが上限閾値に到達している。この場合、判定装置100は、分類対象がクラスC1に属すると判定する。
線L124の例の場合、要素数がN個になるまでに統合スコアが下限閾値に到達している。この場合、判定装置100は、分類対象がクラスC0に属すると判定する。
このように、統合スコアと上限閾値および下限閾値とを比較することで、分類対象の2クラス分類の判定結果を、2つのクラスの何れかまたはクラス未定に決定することができる。
図3のグラフの横軸は、取得部181が取得した要素の個数を示す。縦軸は、統合スコアを示す。
また、図3も図2の場合と同様、分類対象がクラスC0に属する尤度とクラスC1に属する尤度とが等しい場合の値が0となる指標を統合スコアとして用いる場合の例を示している。
線L221の例の場合、および、線L222の例の場合の何れも、統合スコアが上限閾値に到達している。この場合、判定装置100は、分類対象がクラスC1に属すると判定する。
図3の例では、要素数がN個のときに上限閾値と下限閾値とが同じ値になっていることで、判定装置100は、分類対象を必ず2つのクラスの何れかに分類する。すなわち、図3の例では、判定装置100は、2クラス分類の最終判定結果をクラス未定に決定することはない。
また、線L221の例のほうが、線L222の例の場合よりも、上限閾値に到達したときの統合スコアが大きくなっている。この点で、線L221の例の場合のほうが、線L222の例の場合よりも、分類対象がクラスC1に属するとの最終判定結果の精度が高いと考えられる。
また、線L224の例のほうが、線L223の例の場合よりも、下限閾値に到達したときの統合スコアが小さくなっている。この点で、線L224の例の場合のほうが、線L223の例の場合よりも、分類対象がクラスC0に属するとの最終判定結果の精度が高いと考えられる。
線L311は、統合スコアの上限閾値を示す。統合スコアの上限閾値は、要素数の増加に応じて単調増加している。線L312は、統合スコアの下限閾値を示す。統合スコアの下限閾値は、要素数の増加に応じて単調減少している。
線L313は、要素数の最大値の例を示す。図4の例では、取得部181が取得可能な要素の個数は最大でN個に限定されている。
また、図4も図2の場合と同様、分類対象がクラスC0に属する尤度とクラスC1に属する尤度とが等しい場合の値が0となる指標を統合スコアとして用いる場合の例を示している。
線L321の例の場合、統合スコアが上限閾値に到達している。この場合、判定装置100は、分類対象がクラスC1に属すると判定する。
一方、線L322の例の場合、および、線L323の例の場合の何れも、要素数がN個になっても統合スコアは上限閾値、下限閾値の何れにも到達していない。この場合、判定装置100は、クラス未定と判定する。
線L324の例の場合、要素数がN個になるまでに統合スコアが下限閾値に到達している。この場合、判定装置100は、分類対象がクラスC0に属すると判定する。
例えば強化学習の場合、エージェントは、分類対象がクラスC0に属すると判定する、分類対象がクラスC1に属すると判定する、あるいは、クラスを決定せずに次の要素を取得する、の3つの行動のうち何れか1つを選択するものとする。また、要素の個数が増えるとコストがかかるように設定する。そして、2クラス分類の正解の個数を最大化するように学習を行う。
これにより、閾値決定部186が、要素の個数を増やしても2クラス分類の判定結果が変わらない場合には、次の要素を取得せずに2クラス分類の判定を行うような閾値を取得すると期待される。
具体的には、統合スコアが上限閾値よりも大きいと判定した場合、クラス判定部187は、分類対象がクラスC1に属するとの判定結果に決定する。統合スコアが下限閾値よりも小さいと判定した場合、クラス判定部187は、分類対象がクラスC0に属するとの判定結果に決定する。
クラス分類学習部188が、式(7)に示される損失関数を用いて学習を行うようにしてもよい。
H0は、分類対象がクラスC0に属するとの仮説を示す。H1は、分類対象がクラスC1に属するとの仮説を示す。HBは、クラス未定との仮説を示す。
IH0は、学習データの正解で、分類対象がクラスC0に属するとされる系列データの集合を示す。系列データはインデックスiで識別される。IH1は、学習データの正解で、分類対象がクラスC1に属するとされる系列データの集合を示す。IHBは、学習データの正解でクラス未定とされる系列データの集合を示す。
あるいは、クラス未定の情報が示されていない学習データに対して、人手でクラス未定の情報を付加するようにしてもよい。この場合、判定装置100が学習データ加工部189を備えていなくてもよい。
ここでいう、統合スコアの信頼度は、統合スコアに基づいて分類対象が2つのクラスの何れに属するかを判定した場合に、実際に分類対象がそのクラスに属している可能性の高さである。
例えば、判定装置100が、動画像をフレームの画像データにて逐次的に取得して、フレームの画像データを取得する毎に顔認証を行う認証システムとして構成されている場合について考える。この場合、統合スコアの信頼度の指標値を、認証結果の信頼度を示す指標値として用いることができる。統合スコアの信頼度が低い場合、認証システムを使用する担当者が、認証対象者に不審な点が無いか特に注意することで、認証システムが誤認証した場合に、担当者が誤認証に気付ける可能性が高くなる。
あるいは、認証システムとしての判定装置100が認証に成功した場合、統合スコアの信頼度が低いときは、表示部120が、認証対象者が担当者の確認を受けるように促すメッセージを表示するようにしてもよい。
この場合、信頼度算出部190が、照合対象者毎に統合スコアの信頼度の指標値を算出し、表示部120が、照合対象者毎に統合スコアの信頼度の指標値を表示するようにしてもよい。あるいは、信頼度算出部190が、複数の統合スコアのうち信頼度が最も高い統合スコアの信頼度の指標値を算出するなど、複数の統合スコアに対して1つの信頼度の指標値を算出するようにしてもよい。そして、表示部120が、この信頼度の指標値を算出するようにしてもよい。
線L411は、統合スコアの上限閾値を示す。線L412は、統合スコアの下限閾値を示す。
線L421、L422は、ぞれぞれ、取得部181が取得した要素の個数に応じた統合スコアの遷移の例を示している。
一方、線L421の例では、統合スコアがおおよそ増加し続けているのに対し、線L422の例では、統合スコアが大きく増減している。
あるいは、信頼度算出部190が、統合スコアの分散の逆数、または、統合スコアの標準偏差の逆数など、統合スコアのばらつきが大きいほど小さい値になる指標値を算出するようにしてもよい。この場合、指標値が大きいほど、統合スコアの信頼度が高い。
図5に例示される統合スコアの遷移は、統合スコアの履歴情報によって示される。統合スコアの分散または標準偏差、あるいはこれらの逆数等の指標値は、統合スコアの履歴情報に基づく統合スコアの信頼度の指標値の例に該当する。
図6の例で、特徴量算出部183は、取得部181が系列データの要素を取得する毎に、その要素の特徴量を算出する。個別スコア算出部184は、取得部181が系列データの要素を取得する毎に、特徴量算出部183が算出する特徴量を用いて個別スコアを算出する。
例えば、統合スコア算出部185が、上記の式(4)から(6)の左辺に示される対数尤度比「log(p(x(1),x(2),・・・,x(t),|y=1)/p(x(1),x(2),・・・,x(t),|y=0))」を統合スコアとして算出する場合、この統合スコアをクラスC1のスコアとしても使用し、0から統合スコアを減算した値、すなわち、「-log(p(x(1),x(2),・・・,x(t),|y=1)/p(x(1),x(2),・・・,x(t),|y=0))」をクラスC0のスコアとして算出するようにしてもよい。
あるいは、統合スコアが複数の要素に基づいて算出されることに応じて、統合スコア算出部185が、要素毎かつクラス毎に得られるスコアをクラス毎に統合したスコアを、クラス毎のスコアとして算出するようにしてもよい。例えば統合スコア算出部185が、統合スコアの算出に用いられる全ての要素の特徴量を、それぞれクラス分類アルゴリズムに適用して得られる要素毎かつクラス毎のスコアを、クラス毎に合計または平均して、クラス毎のスコアを算出するようにしてもよい。
統合スコア算出部185が、統合スコアの算出に用いる特徴量を用いてクラス毎のスコアを算出することで、クラス判定部187が統合スコアに基づいて選択するクラスのスコアが、選択しないクラスのスコアよりも大きいことが期待される。
これにより、信頼度算出部190が算出する信頼度の指標値が、正解のクラスが選択される場合は比較的大きい値になり、不正解のクラスが選択される場合は比較的小さい値になると期待される。
例えば、信頼度算出部190がニューラルネットワークを用いて構成され、信頼度学習部191が、公知のニューラルネットワークの学習アルゴリズムを用いて学習を行うようにしてもよいが、これに限定されない。
これにより、判定装置100では、分類対象が2つのクラスの何れに属するかの最終判定結果を得られないか、あるいは、得られる最終判定結果が誤っている可能性が高いと見込まれる場合に、比較的早い段階で、2クラス分類の処理を中止することができる。
これにより、判定装置100では、統合スコアの信頼度が低い場合、より慎重に判定を行うことができる。具体的には、統合スコアの信頼度が低い場合、判定装置100が、さらに系列データの要素を待ち受けるようにすることができる。
例えば、残り時間推定部193が、残り時間の指標値として、統合スコアが統合スコアの上限閾値または下限閾値に到達するまでに要する統合スコアの更新回数の推定値を算出するようにしてもよい。さらに例えば、残り時間推定部193が、統合スコアを統合スコアの更新回数で除算して統合スコアの変化量の平均値を算出するようにしてもよい。そして、残り時間推定部193が、統合スコアと統合スコアの上限閾値または下限閾値との差を統合スコアの変化量の平均値で除算して、統合スコアが統合スコアの上限閾値または下限閾値に到達するまでに要する統合スコアの更新回数の推定値を算出するようにしてもよい。
上記のように、残り時間推定部193が算出する残り時間の指標値を、表示部120が表示するようにしてもよい。
第二実施形態から第七実施形態では、判定装置100が、図1に示す各部のうちの一部を備える場合の例について説明する。第二実施形態から第七実施形態のうち複数の実施形態を組み合わせて実施してもよい。
これら各部は、第一実施形態の場合と同様である。
図8の処理で、取得部181は、系列データの要素を取得する(ステップS111)。
ステップS111の後、スコア算出部182は、取得部181が取得した要素を用いて統合スコアを算出する(ステップS112)。また、閾値決定部186は、統合スコアの上限閾値および下限閾値を決定する(ステップS113)。
ステップS115の後、判定装置100は、図8の処理を終了する。
これにより、判定装置100が、分類対象を必ず2つのクラスの何れかに分類するようにすることができる。すなわち、判定装置100が、2クラス分類の最終判定結果をクラス未定に決定することを回避できる。
これにより、判定装置100は、2クラス分類の最終判定結果を比較的短時間で得られる場合は、より高精度に判定を行い、かつ、2クラス分類の最終判定結果を得られるまでに時間を要する場合は、判定に要する残り時間を短くすることができる。また、判定装置100が、2クラス分類の最終判定結果をクラス未定に決定する可能性を軽減させることができる。
これにより、判定装置100では、統合スコアが急激に増加する場合、および、統合スコアが急激に減少する場合は、2クラス分類の最終判定結果を比較的短時間で得られ、かつ、統合スコアの変化が比較的小さい場合は、より慎重に判定を行うことができる。
一方、統合スコアの変化が小さい場合、その後の統合スコアの変化次第で、上限閾値、下限閾値の何れにも到達し得る。この場合、閾値決定部186が上限閾値を大きくし、下限閾値を小さくすることで、より多くの要素を用いて慎重に判定を行うことができる。
図9は、第三実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。図9に示す判定装置100の構成では、図1に示す判定装置100の各部のうち、通信部110と、表示部120と、操作入力部130と、記憶部170と、制御部180と、取得部181と、スコア算出部182と、クラス判定部187と、クラス分類学習部188と、学習データ加工部189とが示されている。
これら各部は、第一実施形態の場合と同様である。
図10の処理で、学習データ加工部189は、学習データを取得する(ステップS121)。ここでは、学習データ加工部189は、系列データと、2クラス分類の正解として2つのクラスの何れかとが紐付けられた学習データを取得する。すなわち、学習データ加工部189は、クラス未定の情報が示されていない学習データを取得する。
ループL1の処理で、学習データ加工部189は、分類器に対象系列データの要素を逐次的に入力した場合の分類結果を取得する(ステップS123)。
学習データ加工部189が、分類器を備えて実際に分類器の要素を入力するようにしてもよい。あるいは、学習データ加工部189が、分類器による分類結果の情報を予め取得しておき、その情報から分類結果を読み出すようにしてもよい。
ステップS126で学習データ加工部189がループL1を終了した場合、判定装置100は、図10の処理を終了する。
ステップS125の後、処理がステップS126へ遷移する。
図11の処理で、取得部181は、系列データの要素を取得する(ステップS131)。
次に、スコア算出部182は、取得部181が取得した要素を用いて統合スコアを算出する(ステップS132)。クラス分類学習部188による学習によって、スコア算出部182が、分類対象が2つのクラスの何れに属するか明確でない要素に対しては、統合スコアの値をあまり変化させないことが期待される。
次に、クラス判定部187は、2クラス分類の終了条件が成立しているか否かを判定する(ステップS133)。終了条件が成立していないとクラス判定部187が判定した場合(ステップS133:NO)、処理がステップS131へ戻る。
ステップS134の後、判定装置100は、図11の処理を終了する。
ここで、2クラス分類の正解として2つのクラスの何れかが示されクラス未定は示されない学習データを用いて統合スコアの算出の学習を行う場合について考える。この場合、スコア算出部182が、全ての要素に対して、統合スコアが上限閾値または下限閾値の何れかに近付くように、統合スコアを大きく変化させることが考えられる。
これにより、分類対象が2つのクラスの何れに属するかの判定について公知の手法を用いることができる。
図12は、第四実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。図12に示す判定装置100の構成では、図1に示す判定装置100の各部のうち、通信部110と、表示部120と、操作入力部130と、記憶部170と、制御部180と、取得部181と、スコア算出部182と、特徴量算出部183と、個別スコア算出部184と、統合スコア算出部185と、クラス判定部187と、信頼度算出部190と、信頼度学習部191と、信頼度評価部192とが示されている。
これら各部は、第一実施形態の場合と同様である。
図13の処理で、取得部181は、系列データの要素を取得する(ステップS141)。
ステップS111の後、スコア算出部182は、取得部181が取得した要素を用いて統合スコアを算出する(ステップS142)。また、信頼度算出部190は、統合スコアの信頼度を算出する(ステップS143)。
ステップS145の後、判定装置100は、図13の処理を終了する。
信頼度算出部190が、2クラス分類の判定に用いられる統合スコアの信頼度の指標値を算出することで、2クラス分類の判定の妥当性の把握を支援することができる。判定装置100が、信頼度の指標値をユーザに提示する提示するようにしてもよい。
これにより、信頼度算出部190が算出する信頼度の指標値が、正解のクラスが選択される場合は比較的大きい値になり、不正解のクラスが選択される場合は比較的小さい値になると期待される。
これにより、判定装置100では、分類対象が2つのクラスの何れに属するかの最終判定結果を得られないか、あるいは、得られる最終判定結果が誤っている可能性が高いと見込まれる場合に、比較的早い段階で、2クラス分類の処理を中止することができる。
新たな系列データを取得可能な場合は、判定装置100が、新たな系列データを取得して2クラス分類の処理をやり直すようにしてもよい。新たな系列を取得できない場合は、判定装置100が、処理を中断した旨の警報を出力するようにしてもよい。
このように、クラス判定部187が、統合スコアに加えて統合スコアの信頼度にも基づいて2クラス分類の判定結果を決定することで、統合スコアの信頼度が低い場合、より慎重に判定を行うことができる。具体的には、統合スコアの信頼度が低い場合、判定装置100が、さらに系列データの要素を待ち受けるようにすることができる。
図14は、第五実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。図14に示す判定装置100の構成では、図1に示す判定装置100の各部のうち、通信部110と、表示部120と、操作入力部130と、記憶部170と、制御部180と、取得部181と、スコア算出部182と、クラス判定部187と、残り時間推定部193とが示されている。
これら各部は、第一実施形態の場合と同様である。
このように、残り時間推定部193が2クラス分類の処理に要する残り時間の指標値を算出することで、処理状況の把握を支援することができる。判定装置100が、残り時間の指標値をユーザに提示するようにしてもよい。
これにより、残り時間推定部193は、平均値の算出および除算といった比較的簡単な演算で残り時間の指標値を算出することができる。
これにより、表示部120は、表示画面を用いる必要なしに、ランプといった安価かつコンパクトな表示デバイスを用いて残り時間の指標を表示することができる。例えば、表示部120が表示画面を備えていない場合、あるいは、表示部120の表示画面が小さい場合でも、残り時間の指標を表示するための、判定装置100の装置コストの増加、および、判定装置100の大きさの増加が小さくて済む。
これにより、表示部120は、表示画面を用いる必要なしに、1個の7セグメントディスプレイといった安価かつコンパクトな表示デバイスを用いて残り時間の指標を表示することができる。例えば、表示部120が表示画面を備えていない場合、あるいは、表示部120の表示画面が小さい場合でも、残り時間の指標を表示するための、判定装置100の装置コストの増加、および、判定装置100の大きさの増加が小さくて済む。
第六実施形態では、判定装置100を画像の加工の有無の判定に用いる場合の例を示す。
図15は、第六実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。図15に示す判定装置100の構成では、図1に示す判定装置100の各部のうち、通信部110と、表示部120と、操作入力部130と、記憶部170と、制御部180と、取得部181と、スコア算出部182と、クラス判定部187とが示されている。
第六実施形態に係る判定装置100が、図15に示す各部以外にも、図1に示す各部のうち一部を備えていてもよい。あるいは、第六実施形態に係る判定装置100が、図1に示す各部を全て備えていてもよい。
取得部181が取得する部分画像は、系列データの要素の例に該当する。第一実施形態で上述したように、通信部110が、判定対象の画像を画像データにて受信し、取得部181が、判定対象の画像の部分画像を画像データにて取得するようにしてもよい。
取得部181を、部分画像取得部とも称する。
取得部181が対象画像の部分画像の取得を繰り返す具体的方法は、特定の方法に限定されない。例えば、取得部181が、対象画像を複数の部分画像に分割するようにしてもよい。
取得部181が対象画像のうち顔が映っている部分のみを分割するなど、対象画像の一部のみを分割するようにしてもよい。
また、取得部181が、過去に取得した部分画像と一部が重複する部分画像を取得する場合があってもよい。取得部181が、対象画像の部分画像として、過去に取得した部分画像のさらに部分画像に相当する画像を取得する場合があってもよい。取得部181が、対象画像の部分画像として、過去に取得した部分画像を包含する画像を取得する場合があってもよい。
スコア算出部182は、取得部181が部分画像を取得する毎に統合スコアを算出する。
クラス判定部187を、加工判定部とも称する。
ある人物の顔画像の一部を別の人物の顔画像の一部で置き換えた加工画像では、別の人物の顔画像が部分的に含まれることで、人が見た場合に、元の顔画像の人物とは別人の顔画像のように見える場合がある。一方、元の顔画像が部分的に含まれていることで、顔認証の際に元の顔画像の人物として認証される可能性がある。
例えば、パスポートの写真または入館証の写真等を用いた顔認証が行われる場合について考える。この場合、写真を不正利用した者は、自らの顔画像と、成りすましたい人物の顔画像とを合成した顔画像を生成し顔認証用に提出する。合成された写真に本人の顔画像の部分が含まれることで、本人に似た画像となり、人(顔認証の係員)が写真と本人とを照合する際、本人の写真であると認められることが考えられる。一方、顔認証システムによる顔認証では、写真に成りすましたい人物の顔画像の部分が含まれることで、成りすましたい人物の場合と同様の特徴量が抽出され、顔認証システムが成りすましたい人物であると誤認証することが考えられる。
これに対し、判定装置100がこの画像が加工されていることを検出することで、不正を防止できると期待される。
学習では、加工されている画像および加工されていない画像の両方が含まれ、加工の有無の正解が示される学習データを用いて教師有り学習を行うようにしてもよい。
例えば、判定装置100が、指紋認証に用いられる指紋画像の加工の有無を判定するようにしてもよい。あるいは、判定装置100が、特定の種類の画像に限らず画像全般について加工の有無を判定するようにしてもよい。
図16に示す処理で、取得部181は、対象画像の部分画像を取得する(ステップS151)。
スコア算出部182は、抽出した特徴量に基づいて統合スコアを算出する(ステップS153)。
一方、終了条件が成立していると判定した場合(ステップS154:YES)、クラス判定部187は、対象画像の加工の有無を判定する(ステップS155)。
ステップS155の後、判定装置100は、図16の処理を終了する。
また、終了条件の設定によって、判定の精度および判定に要する時間を調整できる。
仮に、判定装置100が対象画像全体に基づいて加工の有無を判定する場合、特定の部分に集中して加工の有無を判定し、他の部分の加工の有無の判定精度が低くなる可能性がある。例えば、判定装置100が、目の部分が加工されている顔画像が多い学習データを用いて加工の有無の判定の学習を行う場合、目の部分の情報が重み付けされ、他の部分の情報が十分に生かされないように学習を行う可能性がある。
これにより上記のように、判定装置100が、対象画像のどの部分が加工されているかにかかわらず、加工されていることを検出できると期待される。
これにより、判定装置100は、任意の精度で加工の有無の判定を行うことができる。すなわち、高い精度での判定が求められ、精度を達成するために多くの部分画像が必要な場合でも、取得部181は、必要な個数の部分画像を供給することができる。
図17は、第七実施形態に係る判定装置の機能構成の例を示す概略ブロック図である。図17に示す判定装置100の構成では、図1に示す判定装置100の各部のうち、通信部110と、表示部120と、操作入力部130と、記憶部170と、制御部180と、取得部181と、スコア算出部182と、クラス判定部187と、クラス分類学習部188とが示されている。
上述したように、クラス分類学習部188が統合スコアの算出の学習に用いる損失関数は、式(7)から式(12)に示されるものに限定されない。第七実施形態では、クラス分類学習部188による統合スコアの算出の学習に用いる損失関数の、もう1つの例について説明する。
対数尤度比は、例えば式(5)のように表される。式(5)の右辺第1項の分子「p(y=1|x(i),…,x(i-n))」、第1項の分母「p(y=0|x(i),…,x(i-n))」、第2項の分子「p(y=1|x(i-1),…,x(i-n))」、および、第2項の分母「p(y=0|x(i-1),…,x(i-n))」が、ニューラルネットワークの出力となるように、ニューラルネットワークを構成することができるという利点がある。
KLEAPは、KL距離(Kullback-Leibler Divergence)を最小化することで確率密度比を推定する方法であり、任意の確率pとqとのKL距離は、式(13)のように示される。
推定したい確率密度比の真値は、「p(X|y=1)/p(X|y=0)」と表記される。また、推定したい確率密度比の分子に推定値を用い、分母に真値を用いた「p^(X|y=1)/p(X|y=0)」をr^(X)と表記すると、式(14)のように示される。
式(14)は、「p^(X|y=0)=p(X|y=0)r^(X)」とすることができ、これを用いると、p^(X|y=1)とp(X|y=1)とのKL距離は、式(15)のように表される。
式(17)の「min」の括弧の中は、「-∫p(X|y=1)log(r^(X))dx」と表され、期待値として扱うことができる。この期待値を計算する際の確率はp(X|y=1)なので、学習データに適用する場合は、ラベルy=1のデータX、すなわち、正解がクラスC1と示されるデータを用いて計算することになる。したがって、式(17)で示される最小化問題を、式(18)の値を最小化する問題に置き換えることができる。
ただし、式(19)および式(18)に重み係数λ0およびλ1を付加した式(20)を損失関数として用いたのでは、学習が収束しない傾向にある。
そこで、各項の値域を有限にすることを考える。
ここでは、尤度比を式(21)のようにr^と表記する。
クラス分類学習部188が、式(22)に示される損失関数を用いることで、正解としてクラスC1が示される系列データに対しては、シグモイド関数の値を1に近付けるために対数尤度比log(r^)の値がなるべく大きくなるように学習を行う。
スコア算出部182が、統合スコアとしての対数尤度比を大きい値に算出することで、統合スコアが上限閾値に近付きやすくなる。
スコア算出部182が、統合スコアとしての対数尤度比を小さい値に算出することで、統合スコアが下限閾値に近付きやすくなる。
第二実施形態で説明した、正解としてクラス未定が示される系列データを含む学習データを用いた学習を行う場合は、クラス分類学習部188が、式(23)に示される損失関数LOSSを用いて学習を行うようにしてもよい。
スコア算出部182が、統合スコアとしての対数尤度比を0に近い値に計算することで、統合スコアが上限閾値と下限閾値との間の値となり、クラス判定部187が、2クラス分類の判定結果をクラス未定に決定することが期待される。
損失関数の項の値域を有限にするための関数として微分可能な関数を用いることで、逆誤差伝播法(Back Propagation)等の学習方法を適用できることが期待される。
また、系列データに、学習に使用したい要素と使用したくない要素とが含まれる場合、ユーザが、クラス分類学習部188に使用させる特定の要素を選択できるようにしてもよい。
これにより、クラス分類学習部188は、系列データの要素を逐次的に取得する毎に、2クラス分類の判定結果を2つのクラスの何れかまたはクラス未定に決定するクラス分類の学習を行うことができる。
これにより、ユーザは、クラス分類学習部188が学習に用いる要素の個数を調整することができる。例えば、系列データに含まれる要素の個数が多く学習に時間がかかると予想される場合、ユーザが学習に用いる要素の個数を指定して学習時間の短縮を図るようにしてもよい。
また、ユーザは、クラス分類学習部188が学習に用いる要素を指定することができる。例えば、系列データに、学習に使用したい要素と使用したくない要素とが含まれる場合、ユーザは、クラス分類学習部188に使用させる特定の要素を選択することができる。
図18は、第八実施形態に係る判定装置の構成例を示す図である。
図18に示す構成で、判定装置210は、部分画像取得部211と、スコア算出部212と、加工判定部213とを備える。
かかる構成で、部分画像取得部211は、対象画像の部分画像の取得を所定の終了条件が成立するまで繰り返す。スコア算出部212は、部分画像取得部211が部分画像を取得する毎に、部分画像の加工の有無に関するスコアを算出する。加工判定部213は、スコアに基づいて対象画像の加工の有無を判定する。
また、終了条件の設定によって、判定の精度および判定に要する時間を調整できる。
図19は、第九実施形態に係る判定方法における処理手順の例を示す図である。
図19に示す判定方法は、部分画像取得工程(ステップS211)と、スコア算出工程(ステップS212)と、加工有無判定工程(ステップS213)とを含む。
また、終了条件の設定によって、判定の精度および判定に要する時間を調整できる。
図20に示す構成で、コンピュータ700は、CPU710と、主記憶装置720と、補助記憶装置730と、インタフェース740とを備える。
上記の判定装置100、判定装置210のうち何れか1つ以上が、コンピュータ700に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。また、CPU710は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置720に確保する。各装置と他の装置との通信は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD-ROM(Compact Disc Read Only Memory)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
110 通信部
120 表示部
130 操作入力部
170 記憶部
180 制御部
181 取得部
182 スコア算出部
183 特徴量算出部
184 個別スコア算出部
185 統合スコア算出部
186 閾値決定部
187 クラス判定部
188 クラス分類学習部
189 学習データ加工部
190 信頼度算出部
191 信頼度学習部
192 信頼度評価部
193 残り時間推定部
Claims (4)
- 対象画像を複数の部分画像に分割し、得られる複数の部分画像を1つずつランダムな順番で取得し、前記対象画像を分割した複数の部分画像を全て選択しても所定の終了条件が成立しない場合、前記対象画像を別の分割方法で再度分割し、得られる複数の部分画像を1つずつランダムな順番で取得して、前記対象画像の部分画像の取得を所定の終了条件が成立するまで繰り返す部分画像取得部と、
前記部分画像取得部が前記部分画像を取得する毎に、前記部分画像の加工の有無に関するスコアを算出するスコア算出部と、
前記スコアに基づいて前記対象画像の加工の有無を判定する加工判定部と、
を備える判定装置。 - 前記終了条件は、前記加工判定部が前記スコアに基づいて前記対象画像の加工の有無を確定的に判定する場合に成立する、
請求項1に記載の判定装置。 - 対象画像を複数の部分画像に分割し、得られる複数の部分画像を1つずつランダムな順番で取得し、前記対象画像を分割した複数の部分画像を全て選択しても所定の終了条件が成立しない場合、前記対象画像を別の分割方法で再度分割し、得られる複数の部分画像を1つずつランダムな順番で取得して、前記対象画像の部分画像の取得を所定の終了条件が成立するまで繰り返すことと、
前記部分画像を取得する毎に、前記部分画像の加工の有無に関するスコアを算出することと、
前記スコアに基づいて前記対象画像の加工の有無を判定することと、
を含む判定方法。 - コンピュータに、
対象画像を複数の部分画像に分割し、得られる複数の部分画像を1つずつランダムな順番で取得し、前記対象画像を分割した複数の部分画像を全て選択しても所定の終了条件が成立しない場合、前記対象画像を別の分割方法で再度分割し、得られる複数の部分画像を1つずつランダムな順番で取得して、前記対象画像の部分画像の取得を所定の終了条件が成立するまで繰り返すことと、
前記部分画像を取得する毎に、前記部分画像の加工の有無に関するスコアを算出することと、
前記スコアに基づいて前記対象画像の加工の有無を判定することと、
を実行させるためのプログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/018883 WO2021229659A1 (ja) | 2020-05-11 | 2020-05-11 | 判定装置、判定方法および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2021229659A1 JPWO2021229659A1 (ja) | 2021-11-18 |
| JP7400959B2 true JP7400959B2 (ja) | 2023-12-19 |
Family
ID=78525458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022522117A Active JP7400959B2 (ja) | 2020-05-11 | 2020-05-11 | 判定装置、判定方法およびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US12118729B2 (ja) |
| JP (1) | JP7400959B2 (ja) |
| WO (1) | WO2021229659A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12118729B2 (en) * | 2020-05-11 | 2024-10-15 | Nec Corporation | Determination device, determination method, and recording medium |
| WO2025032753A1 (ja) * | 2023-08-09 | 2025-02-13 | 日本電気株式会社 | 判定装置、処理システム、処理方法、および記録媒体 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003230019A (ja) | 2002-02-05 | 2003-08-15 | Fuji Photo Film Co Ltd | 表示方法、及び表示システム |
| JP2008191762A (ja) | 2007-02-01 | 2008-08-21 | Seiko Epson Corp | 変化画像検出装置、変化画像検出方法、及びそれらの機能を実現するためのコンピュータプログラム並びにそのコンピュータプログラムを記録した記録媒体 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9201856D0 (en) * | 1992-01-29 | 1992-03-18 | British Telecomm | Method of forming a template |
| US7308133B2 (en) * | 2001-09-28 | 2007-12-11 | Koninklijke Philips Elecyronics N.V. | System and method of face recognition using proportions of learned model |
| JP3768225B2 (ja) * | 2003-04-02 | 2006-04-19 | 松下電器産業株式会社 | 画像処理方法、画像処理装置、撮影装置および画像出力装置 |
| JP5507962B2 (ja) * | 2009-11-05 | 2014-05-28 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム |
| JP5285748B2 (ja) * | 2011-07-08 | 2013-09-11 | 富士フイルム株式会社 | オブジェクト検出装置、方法およびプログラム |
| US10679083B2 (en) * | 2017-03-27 | 2020-06-09 | Samsung Electronics Co., Ltd. | Liveness test method and apparatus |
| KR102387571B1 (ko) * | 2017-03-27 | 2022-04-18 | 삼성전자주식회사 | 라이브니스 검사 방법 및 장치 |
| JP6925615B2 (ja) * | 2017-06-15 | 2021-08-25 | テンソル・コンサルティング株式会社 | 本人確認書類の真偽判定システム、方法およびプログラム |
| GB201710560D0 (en) | 2017-06-30 | 2017-08-16 | Norwegian Univ Of Science And Tech (Ntnu) | Detection of manipulated images |
| US11222221B2 (en) * | 2018-02-22 | 2022-01-11 | Nec Corporation | Spoofing detection apparatus, spoofing detection method, and computer-readable recording medium |
| JP7004059B2 (ja) * | 2018-02-22 | 2022-01-21 | 日本電気株式会社 | なりすまし検知装置、なりすまし検知方法、及びプログラム |
| US10956719B2 (en) * | 2018-11-30 | 2021-03-23 | Qualcomm Incorporated | Depth image based face anti-spoofing |
| CN110428399B (zh) * | 2019-07-05 | 2022-06-14 | 百度在线网络技术(北京)有限公司 | 用于检测图像的方法、装置、设备和存储介质 |
| US11687778B2 (en) * | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
| US12118729B2 (en) * | 2020-05-11 | 2024-10-15 | Nec Corporation | Determination device, determination method, and recording medium |
| JP7400960B2 (ja) * | 2020-05-11 | 2023-12-19 | 日本電気株式会社 | 学習装置、学習方法およびプログラム |
| WO2021229661A1 (ja) * | 2020-05-11 | 2021-11-18 | 日本電気株式会社 | 判定装置、判定方法および記録媒体 |
| US12165374B2 (en) * | 2020-05-11 | 2024-12-10 | Nec Corporation | Determination device, determination method, and recording medium |
| JP7435755B2 (ja) * | 2020-05-11 | 2024-02-21 | 日本電気株式会社 | 判定装置、学習方法およびプログラム |
| WO2021229654A1 (ja) * | 2020-05-11 | 2021-11-18 | 日本電気株式会社 | 判定装置、判定方法および記録媒体 |
| US11606197B2 (en) * | 2020-07-26 | 2023-03-14 | HCL Technologies Italy S.p.A. | Method and system for encrypting and decrypting a facial segment in an image |
| JP7684636B2 (ja) * | 2021-09-03 | 2025-05-28 | 京セラドキュメントソリューションズ株式会社 | 画像処理プログラムおよび画像処理システム |
| US12190641B2 (en) * | 2021-09-14 | 2025-01-07 | Black: Sesame Technologies Inc. | System for detecting face liveliness in an image |
-
2020
- 2020-05-11 US US17/618,962 patent/US12118729B2/en active Active
- 2020-05-11 WO PCT/JP2020/018883 patent/WO2021229659A1/ja not_active Ceased
- 2020-05-11 JP JP2022522117A patent/JP7400959B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003230019A (ja) | 2002-02-05 | 2003-08-15 | Fuji Photo Film Co Ltd | 表示方法、及び表示システム |
| JP2008191762A (ja) | 2007-02-01 | 2008-08-21 | Seiko Epson Corp | 変化画像検出装置、変化画像検出方法、及びそれらの機能を実現するためのコンピュータプログラム並びにそのコンピュータプログラムを記録した記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021229659A1 (ja) | 2021-11-18 |
| US12118729B2 (en) | 2024-10-15 |
| JPWO2021229659A1 (ja) | 2021-11-18 |
| US20220383503A1 (en) | 2022-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7384282B2 (ja) | 判定装置、判定方法およびプログラム | |
| KR102345026B1 (ko) | 클라우드 서버 및 클라우드 서버 기반의 진단 보조 시스템 | |
| US10699102B2 (en) | Image identification apparatus and image identification method | |
| JP6550094B2 (ja) | 認証装置および認証方法 | |
| KR100944247B1 (ko) | 얼굴 인식 방법 및 시스템 | |
| JP2004511862A (ja) | 虹彩を用いた身元確認システム及び方法並びにその方法を実行するための身元確認プログラムを格納したコンピュータ読取り可能な記録媒体 | |
| US20120230553A1 (en) | Apparatus and method for detecting eye state | |
| JP2015087903A (ja) | 情報処理装置及び情報処理方法 | |
| Sharma et al. | Machine learning approach for detection of diabetic retinopathy with improved pre-processing | |
| KR101972331B1 (ko) | 영상 얼라인먼트 방법 및 그 장치 | |
| KR20200023029A (ko) | 진단 보조 시스템 및 그 제어 방법 | |
| JP7400959B2 (ja) | 判定装置、判定方法およびプログラム | |
| JP7400960B2 (ja) | 学習装置、学習方法およびプログラム | |
| JP7424475B2 (ja) | 判定装置、判定方法およびプログラム | |
| US20250045895A1 (en) | Information processing apparatus, information processing method, and non-transitory recording medium | |
| JP7773139B2 (ja) | 眼瞼裂幅の測定方法、装置及び記憶媒体 | |
| JP7424476B2 (ja) | 判定装置、判定方法およびプログラム | |
| JP7435755B2 (ja) | 判定装置、学習方法およびプログラム | |
| KR20200114837A (ko) | 녹내장 진단용 피쳐 생성 방법 및 장치, 그것을 이용한 녹내장 진단 방법 및 장치 | |
| WO2019082203A1 (en) | SYSTEM AND METHOD FOR DETECTION AND CLASSIFICATION OF RETINAL DISEASES | |
| KR101592110B1 (ko) | 눈 모양 분류 장치 및 방법 | |
| Li et al. | Efficient and accurate iris detection and segmentation based on multi-scale optimized mask R-CNN | |
| US20240160947A1 (en) | Learning device, learning method, and storage medium | |
| KR20190044596A (ko) | 영상 얼라인먼트 방법 및 그 장치 | |
| EP4369284A1 (en) | Image enhancement using generative machine learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221101 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221101 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230815 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231016 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231120 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7400959 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |






















