本発明の画像評価装置、画像評価方法及び画像評価プログラムに係る実施形態について、図面を参照して詳細に説明する。
(第1実施形態)
図1は、評価支援システム1の構成の例を示す図である。評価支援システム1は、画像間の差異を評価するユーザの判断を支援するシステムである。評価支援システム1は、データベース10と、評価支援装置20aと、表示装置30とを備える。
データベース10は、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体(非一時的な記録媒体)を有する記憶装置である。データベース10は、時系列の画像を記憶する。以下、時系列の画像には、ほぼ同一の空間領域が撮像されている。時系列の画像は、ほぼ同じ空間領域が撮像されていれば、画像ごとに異なる方向から撮像されていてもよいし、画像ごとに縮尺が異なっていてもよい。画像は、例えば、医用画像、監視用画像、航空画像又は衛星画像である。衛星画像は、例えば、1日に1回程度の周期で人工衛星によって撮像された地表のほぼ同一地域の画像である。
以下、画像は、ユーザが所望する予め定められた品質基準を満たしている画像(鮮明画像)である。品質基準とは、例えば、撮像対象の空間領域のうち一定以上の面積の空間領域が撮像されているという品質基準である。画像が航空画像又は衛星画像である場合、品質基準とは、一定以上の面積の領域が雲や霧に隠されることなく撮像されているという品質基準である。撮像対象は、例えば、変化の有無を検出したい被写体であってもよい。撮像対象の空間領域又は撮像対象が撮像された画像とは、変化の有無を検出したい被写体が撮像されている画像であってもよい。
品質基準の他の例として、蓄積されている画像間における撮像対象の変化の検出しやすさを品質基準としてもよい。例えば、画像の面積に対する撮像対象が写っている面積の比を用いてもよい。画像において撮像対象が他の被写体に隠れずに写っている面積の比が所定値以上である場合に、当該画像が品質基準を満たしていると判定してもよい。さらに、画像において撮像対象が明りょうに写っている場合に、当該画像が品質基準を満たしていると判定してもよい。すなわち、品質基準は、撮像対象又は撮像対象の空間領域に関して定められてもよい。
画像には、複数の領域(ブロック)が含まれている。画像内の領域の形状は、例えば、矩形である。画像内の領域は、例えば、MPEG(Moving Picture Experts Group)等のマクロブロック(MB: Macro Block)、HEVC(High Efficiency Video Coding)等の符号化ユニット(CU: Coding Unit)、最大符号化ユニット(LCU: Largest CU)、予測ユニット(PU:Prediction Unit)、変換ユニット(TU:Transform Unit)の単位で、画像に定められる。以下、領域は、最大符号化ユニットの単位で画像に定められる場合について説明する。
画像評価装置としての評価支援装置20aは、画像間の差異を評価するユーザの判断を支援する装置である。評価支援装置20aは、ユーザが差異を評価する領域を含む時系列の画像を、データベース10から取得する。評価支援装置20aは、画像内の領域ごとに、時系列の画像間の差異の有無を判定する。
評価支援装置20aは、どの領域を優先して時系列の画像間の差異を評価するかをユーザが判断するための評価指標を、領域ごとの差異の有無を表す判定結果に基づいて、画像内の領域に付与する。評価支援装置20aは、領域に付与された評価指標を、表示装置に送信する。評価支援装置20aは、評価指標に基づいて画像に画像処理を施してもよい。評価支援装置20aは、画像処理が施された画像を表示装置30に送信する。
表示装置30は、液晶ディスプレイや発光ダイオード(LED: light emitting diode)を有する画面を備える。表示装置30は、領域に付与された評価指標を画面に表示する。表示装置30は、評価支援装置20aによって画像処理が施された画像を画面に表示する。これによって、ユーザは、画面に表示された画像及び評価指標に基づいて、画像内の領域ごとに画像間の差異を評価することができる。
表示装置30は、タッチパネル等の操作デバイスを画面に備えてもよい。表示装置30は、タッチパネル等の操作デバイスが受け付けた操作に応じた信号を、評価支援装置20aに送信してもよい。
評価支援装置20aの構成を説明する。
評価支援装置20aは、サイズ取得部21と、パラメータ決定部22と、画像取得部23と、符号化部24と、差異判定部25と、評価指標部26と、画像処理部27と、記憶部28とを備える。
サイズ取得部21とパラメータ決定部22と画像取得部23と符号化部24と差異判定部25と評価指標部26と画像処理部27とのうち一部又は全部は、例えば、CPU(Central Processing Unit)等のプロセッサが、記憶部28に記憶されたプログラムを実行することにより実現されてもよいし、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェアを用いて実現されてもよい。
サイズ取得部21は、画像上での判定対象の差異のサイズ(以下「判定サイズ」という。)を表す情報(以下「判定サイズ情報」という。)を外部から取得する。以下、判定サイズは、最大符号化ユニットのサイズである。判定サイズは、例えば、画素数を用いて表される。サイズ取得部21は、判定サイズ情報をパラメータ決定部22に送信する。
パラメータ決定部22は、判定サイズに基づいて、最大符号化ユニットのサイズ(以下「符号化サイズ」という。)を少なくとも決定する。パラメータ決定部22は、符号化サイズを表す情報等を含む符号化パラメータを、符号化部24に送信する。
画像取得部23は、ユーザが領域ごとに差異を評価する時系列の画像を、データベース10から取得する。画像取得部23は、3枚以上の時系列の画像を取得する。画像取得部23は、一例として、第1画像から第4画像までの4枚の画像を取得する。以下、第1画像は、最も新しい時刻に撮像された画像である。第2画像は、第1画像の次に新しい時刻に撮像された画像である。第3画像は、第2画像の次に新しい時刻に撮像された画像である。第4画像は、最も過去の時刻に撮像された画像である。画像取得部23は、時系列の画像を符号化部24及び画像処理部27に送信する。
符号化部24は、時系列の画像を符号化する。例えば、符号化部24は、符号化パラメータに基づいて、H.264/AVC(Advanced Video Coding)、HEVC、MPEG等の動画像符号化処理を実行してもよい。符号化部24は、符号化パラメータに基づいて、JPEG等の静止画符号化処理を実行してもよい。
以下では、時系列の画像のうちの複数の参照画像は、第2画像、第3画像及び第4画像である。参照画像との差異の有無が判定される対象の画像(以下「対象画像」という。)は、第1画像である。時系列の画像のうち対象画像及び参照画像は、予め定められた条件に基づいて、例えば画像取得部23によって振り分けられる。時系列の画像は、対象画像と参照画像とに分けられてデータベース10に記憶されていてもよい。
符号化部24は、対象画像及び参照画像を、判定サイズに基づいて符号化する。符号化部24は、HEVCの動画像符号化処理を実行する場合、対象画像及び参照画像に、判定サイズに基づくHEVCイントラ符号化処理を施す。
以下、対象画像内の最大符号化ユニットを「対象LCU」という。以下、対象画像において対象LCUに隣接する最大符号化ユニットを「隣接LCU」という。以下、参照画像において対象LCUの位置と空間的にほぼ同じ位置の最大符号化ユニットを「同位置LCU」という。以下、領域内の画像を「領域の小画像」という。
差異判定部25は、対象LCUの領域の小画像と隣接LCUの領域の小画像との差異の有無を、対象LCUの領域の小画像の符号化情報と隣接LCUの領域の小画像の符号化情報との差異に基づいて判定する。例えば、差異判定部25は、対象LCUの領域の小画像と隣接LCUの領域の小画像との差異の有無を、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との差異に基づいて判定する。
差異判定部25は、対象LCUの領域の小画像と隣接LCUの領域の小画像との差異がある場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との差異の有無をさらに判定する。
差異判定部25は、対象LCUの領域の小画像と同位置LCUの領域の小画像との差異の有無を、対象LCUの領域の小画像の符号化情報と同位置LCUの領域の小画像の符号化情報との差異に基づいて判定する。例えば、差異判定部25は、対象LCUの領域の小画像と隣接LCUの領域の小画像との差異の有無を、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との差異に基づいて判定する。
差異判定部25が対象画像及び参照画像の間の差異の有無を判定する方法は、特定の方法に限定されない。以下、一例として、差異判定部25が符号化処理における発生符号量に基づいて小画像間の差異の有無を判定する方法について説明する。
差異判定部25は、対象LCUの領域の発生符号量と、対象LCUの領域の上下左右の各隣接LCUの領域の発生符号量とを比較する。例えば、差異判定部25は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が下記の第1条件から第8条件までのいずれかを満たすか否かを判定する。
第1条件:max(R(N−1)/R(N),R(N)/R(N−1))>R_Th1
第2条件:max(R(N+1)/R(N),R(N)/R(N+1))>R_Th1
第3条件:max(R(N−x)/R(N),R(N)/R(N−x))>R_Th1
第4条件:max(R(N+x)/R(N),R(N)/R(N+x))>R_Th1
第5条件:min(R(N−1)/R(N),R(N)/R(N−1))<R_Th2
第6条件:min(R(N+1)/R(N),R(N)/R(N+1))<R_Th2
第7条件:min(R(N−x)/R(N),R(N)/R(N−x))<R_Th2
第8条件:min(R(N+x)/R(N),R(N)/R(N+x))<R_Th2
ここで、Rは、最大符号化ユニットの領域の発生符号量を表す。max(R(N−1),R(N))は、発生符号量R(N−1)及びR(N)のうち大きい値を表す。min(R(N−1),R(N))は、発生符号量R(N−1)及びR(N)のうち小さい値を表す。R_Th1は、R_Th1>1を満たす発生符号量閾値である。R_Th2は、0<R_Th2≦1を満たす発生符号量閾値である。Nは、対象画像内のN番目の対象LCUを表す。N−1は、対象LCUの左の隣接LCUを表す。N+1は、対象LCUの右の隣接LCUを表す。N−xは、対象LCUの上の隣接LCUを表す。N+xは、対象LCUの下の隣接LCUを表す。
差異判定部25は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第1条件から第8条件までのいずれも満たさない場合、対象LCUの領域の小画像と隣接LCUの領域の小画像との間の差異がないと判定する。すなわち、差異判定部25は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との差が少ない場合、対象LCUの領域の小画像と隣接LCUの領域の小画像との間の差異がないと判定する。差異判定部25は、対象LCUの領域の小画像と隣接LCUの領域の小画像との間の差異がないと判定された結果を、対象LCUの領域に対応付けて記憶部28に記録する。
差異判定部25は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第1条件から第8条件までのいずれかの条件を満たす場合、対象LCUの領域の発生符号量と、同位置LCUの領域の発生符号量とを比較する。例えば、差異判定部25は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が下記の第9条件又は第10条件を満たすか否かを判定する。
第9条件:max(R_A(N)/R_B(N),R_B(N)/R_A(N))>R_Th3
第10条件:min(R_A(N)/R_B(N),R_B(N)/R_A(N))<R_Th4
ここで、R_Aは、参照画像「A」内の同位置LCUの領域の発生符号量を表す。R_Bは、対象画像「B」内の対象LCUの領域の発生符号量を表す。R_Th3は、R_Th3>1を満たす発生符号量閾値である。R_Th4は、0<R_Th4≦1を満たす発生符号量閾値である。
差異判定部25は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第9条件及び第10条件のいずれも満たさない場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異がないと判定する。すなわち、差異判定部25は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との差が少ない場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異がないと判定する。差異判定部25は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異がないと判定された結果を、対象LCUの領域に対応付けて記憶部28に記録する。
差異判定部25は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第9条件又は第10条件を満たす場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異があると判定する。すなわち、差異判定部25は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との差が多い場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異があると判定する。差異判定部25は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異があると判定されたことを表す判定結果を、対象LCUの領域に対応付けて記憶部28に記録する。
差異判定部25は、符号化部24がHEVCの動画像符号化処理を実行した場合、画像の左上端に定められた符号化開始点をずらして符号化した場合における、小画像間の差異の有無の判定結果を算出してもよい。差異判定部25は、符号化開始点をずらさずに符号化した場合の判定結果と符号化開始点をずらして符号化した場合の判定結果とを重畳した結果(論理和の結果)を、最終的な判定結果と定めてもよい。
図2は、時系列の画像の例を示す図である。図2では、画像100−1は、対象画像であり、最も新しい時刻に撮像された画像である。画像100−2は、参照画像であり、画像100−1の次に新しい時刻に撮像された画像である。画像100−3は、参照画像であり、画像100−2の次に新しい時刻に撮像された画像である。画像100−4は、参照画像であり、最も過去の時刻に撮像された画像である。
以下、画像100−1〜100−4に共通する事項については、符号の一部を省略して「画像100」と表記する。画像100には、一例として、領域110と領域120と領域130とが定められている。
図2では、差異判定部25は、対象LCUの領域110−1の小画像と同位置LCUの領域110−2の小画像との間の差異があると判定する。差異判定部25は、対象LCUの領域110−1の小画像と同位置LCUの領域110−3の小画像との間の差異がないと判定する。差異判定部25は、対象LCUの領域110−1の小画像と同位置LCUの領域110−4の小画像との間の差異がないと判定する。
図2では、差異判定部25は、対象LCUの領域120−1の小画像と同位置LCUの領域120−2の小画像との間の差異がないと判定する。差異判定部25は、対象LCUの領域120−1の小画像と同位置LCUの領域120−3の小画像との間の差異があると判定する。差異判定部25は、対象LCUの領域120−1の小画像と同位置LCUの領域120−4の小画像との間の差異があると判定する。
図2では、差異判定部25は、対象LCUの領域130−1の小画像と同位置LCUの領域130−2の小画像との間の差異があると判定する。差異判定部25は、対象LCUの領域130−1の小画像と同位置LCUの領域130−3の小画像との間の差異があると判定する。差異判定部25は、対象LCUの領域130−1の小画像と同位置LCUの領域130−4の小画像との間の差異があると判定する。
図1に戻り、評価支援装置20aの構成の説明を続ける。評価指標取得部としての評価指標部26は、複数の対象LCUの領域のうちどの領域を優先して対象画像及び参照画像の間の差異を評価するかをユーザが判断するための評価指標を、小画像間の差異の有無を表す判定結果に基づいて、対象LCUの領域に付与する。
評価指標部26は、小画像間の差異の有無の判定結果を、符号化部24又は記憶部28から取得する。評価指標部26は、小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組の数(変化有である組の数)を、対象画像内の対象LCUの領域ごとに、画像100−1と2枚以上の参照画像とについて検出する。
図2では、領域110−1の小画像と領域110−2の小画像との間の差異があると判定されたので、小画像間の差異があると判定された対象LCUの領域110−1と同位置LCUの領域との組の数の検出結果(合算結果)は1である。
図2では、領域120−1の小画像と領域120−3の小画像との間の差異があると判定され、領域120−1の小画像と領域120−4の小画像との間の差異があると判定されたので、小画像間の差異があると判定された対象LCUの領域120−1と同位置LCUの領域との組の数の検出結果は2である。
図2では、領域130−1の小画像と領域130−2の小画像との間の差異があると判定され、領域130−1の小画像と領域130−3の小画像との間の差異があると判定され、領域130−1の小画像と領域130−4の小画像との間の差異があると判定されたので、小画像間の差異があると判定された対象LCUの領域130−1と同位置LCUの領域との組の数の検出結果は3である。
評価指標部26は、小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組の数の検出結果を、評価指標として対象LCUの領域に付与する。評価指標部26は、検出結果を評価指標として画像処理部27に出力する。評価指標部26は、評価指標としての検出結果を、表示装置30に出力してもよい。評価指標取得部としての評価指標部26は、対象画像における対象LCUの領域と参照画像における同位置LCUの領域との間で差異があると判定された領域の数と、対象画像における対象LCUの領域と参照画像における同位置LCUの領域との間で差異がないと判定された領域の数との少なくとも一方に基づき、評価指標を取得してもよい。
評価指標は、差異判定部25によって差異の有無が誤判定される確率が第1閾値未満である場合、差異を評価すべき優先度を表す。小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組の数が多い対象LCUの領域は、差異を評価すべき優先度が高い領域である。すなわち、小画像間の差異がないと判定された対象LCUの領域と同位置LCUの領域との組の数が多い対象LCUの領域は、差異を評価すべき優先度が低い領域である。
評価指標部26は、対象画像における対象LCUの領域と参照画像における同位置LCUの領域との間で差異があると判定された領域の数に基づいて、対象LCUそれぞれを評価の優先度を示す階級に分類してもよい。評価指標部26は、同位置LCUと差異があると判定された対象LCUが属する階級の優先度を、評価指標として得てもよい。
評価指標は、差異判定部25によって差異の有無が誤判定される確率が第1閾値以上である場合、小画像間の差異があると判定された結果の確度を表す。小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組の数が多い対象LCUの領域は、小画像間の差異があると判定された結果の確度が高い領域である。すなわち、小画像間の差異がないと判定された対象LCUの領域と同位置LCUの領域との組の数が多い対象LCUの領域は、小画像間の差異がないと判定された結果の確度が高い領域である。
画像処理部27は、評価指標としての検出結果を、評価指標部26から取得する。画像処理部27は、対象画像を画像取得部23から取得する。画像処理部27は、評価指標部26による評価指標としての検出結果に基づいて、対象画像に画像処理を施す。画像処理部27は、画像処理が施された対象画像を表示装置30に出力する。画像処理部27は、操作キー画像を含む画像を、グラフィカル・ユーザ・インタフェースの一つとして生成してもよい。
図3は、画像処理が施された画像100−1の表示の第1例を示す図である。画像処理部27は、領域110−1を囲む枠画像と領域120−1を囲む枠画像と領域130−1を囲む枠画像とを含む画像100−1を、表示装置30に出力する。領域110−1を囲む枠画像と領域120−1を囲む枠画像と領域130−1を囲む枠画像とは、評価指標としての検出結果に応じて異なってもよい。例えば、枠画像の枠の太さは、評価指標としての検出結果に応じて異なってもよい。枠画像の色は、評価指標としての検出結果に応じて異なってもよい。
以下、評価指標を表示する欄の画像を「指標表示欄画像」という。画像処理部27は、指標表示欄画像111−1と指標表示欄画像121−1と指標表示欄画像131−1とを含む画像100−1を、表示装置30に出力してもよい。
図4は、画像処理が施された画像100−1の表示の第2例を示す図である。画像処理部27は、領域110−1と領域120−1と領域130−1とのうち、評価指標としての検出結果を表す値に応じて、領域を塗りつぶしてもよい。画像処理部27は、領域110−1と領域120−1と領域130−1とのうち、評価指標としての検出結果を表す値に応じて、領域を点滅させてもよい。
図5は、画像処理が施された画像100−1の表示の第3例を示す図である。画像処理部27は、画像100−1に地図を重畳してもよい。例えば、画像処理部27は、地名や施設名等の名称を表示するための画像である名称表示欄画像122及び名称表示欄画像132を、画像100−1に重畳してもよい。画像処理部27は、地図上の施設の図形を表す地図画像140を、画像100−1に重畳してもよい。画像処理部27は、地図上の建物の立体図形を表す地図画像を、画像100−1に重畳してもよい。
図6は、画像処理が施された画像100−1の表示の第4例を示す図である。画像処理部27は、画像100−1内の領域の小画像が拡大された画像を生成してもよい。例えば、画像処理部27は、領域130−1の小画像が拡大された画像である領域拡大画像130a−1を生成してもよい。領域拡大画像130a−1の解像度は、領域130−1における画像の解像度と比較して高くてもよい。画像処理部27は、画像100−1と領域拡大画像130a−1とが並べられた画像を、表示装置30に出力してもよい。
画像処理部27は、領域ごとに得られた評価指標に基づいて、拡大する小画像を画像100−1内の領域の小画像から選択してもよい。例えば、画像処理部27は、評価指標、優先度又は確度が最も高い領域の小画像を拡大してもよい。
図7は、画像処理が施された画像100−1の表示の第5例を示す図である。画像処理部27は、画像100−1内の複数の領域の小画像が拡大された画像を生成してもよい。例えば、画像処理部27は、領域120−1の小画像が拡大された画像である領域拡大画像120a−1を生成してもよい。例えば、画像処理部27は、領域130−1の小画像が拡大された画像である領域拡大画像130a−1を生成してもよい。画像処理部27は、領域拡大画像120a−1と領域拡大画像130a−1とが並べられた画像を、表示装置30に出力してもよい。 画像処理部27は、領域ごとに得られた評価指標に基づいて、拡大する小画像を画像100−1内の領域の小画像から選択してもよい。例えば、画像処理部27は、他の領域より評価指標、優先度又は確度が高い幾つかの領域の小画像を拡大してもよい。
図8は、画像処理が施された画像100−1の表示の第6例を示す図である。画像処理部27は、画像100−1から画像100−4までの各小画像について、領域拡大画像を生成してもよい。例えば、画像処理部27は、領域拡大画像130a−1と同様に、領域拡大画像130a−2〜130a−4を生成してもよい。画像処理部27は、領域拡大画像130a−1から領域拡大画像130a−4までの各画像が時系列に並べられた画像を、表示装置30に出力してもよい。 画像処理部27は、領域ごとに得られた評価指標に基づいて、拡大する小画像を画像100−1〜100−4内の領域の小画像から選択してもよい。例えば、画像処理部27は、評価指標、優先度又は確度が最も高い領域の小画像と、当該領域に対応する参照画像内の領域の小画像とを拡大してもよい。
図1に戻り、評価支援装置20aの構成の説明を続ける。記憶部28は、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体(非一時的な記録媒体)を有する記憶装置である。記憶部28は、差異判定部25による判定結果を記憶する。記憶部28は、対象画像に撮像されているほぼ同一の空間領域の高解像度の画像を記憶してもよい。記憶部28は、地図情報を記憶してもよい。記憶部28は、評価指標部26による検出結果を、評価指標として記憶してもよい。
図9は、評価支援システム1の動作の例を示すフローチャートである。サイズ取得部21は、判定サイズ情報を取得する(ステップS101)。パラメータ決定部22は、判定サイズに基づいて符号化サイズ等の符号化パラメータを決定する(ステップS102)。画像取得部23は、3枚以上の時系列の画像を、データベース10から取得する(ステップS103)。符号化部24は、時系列の画像を符号化する(ステップS104)。
差異判定部25は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第1条件から第8条件までのいずれかを満たすか否かを判定する(ステップS105)。対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第1条件から第8条件までのいずれも満たさない場合(ステップS105:NO)、差異判定部25は、対象LCUの領域の小画像と隣接LCUの領域の小画像との間の差異がないと判定されたことを表す判定結果を記憶部28に記録するため、ステップS107に処理を進める。
対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第1条件から第8条件までのいずれかを満たす場合(ステップS105:YES)、差異判定部25は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第9条件又は第10条件を満たすか否かを判定する(ステップS106)。
対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第9条件及び第10条件のいずれも満たさない場合(ステップS106:NO)、差異判定部25は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異がないと判定されたことを表す判定結果を、記憶部28に記録する(ステップS107)。
対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第9条件又は第10条件を満たす場合(ステップS106:YES)、差異判定部25は、対象LCUの領域の小画像と同位置LCUの領域の小画像と間の差異があると判定されたことを表す判定結果を、記憶部28に記録する(ステップS107)。ステップS105からステップS107までの動作は、対象画像の領域(対象LCU)それぞれに対して行われる。
評価指標部26は、小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組の数を、対象画像内の対象LCUの領域ごとに、画像100−1と2枚以上の参照画像とについて検出する(ステップS108)。評価指標部26は、検出結果を評価指標として画像処理部27に出力する(ステップS109)。
画像処理部27は、評価指標部26による評価指標としての検出結果に基づいて、対象画像に画像処理を施す(ステップS110)。画像処理部27は、画像処理が施された対象画像を表示装置30に出力する(ステップS111)。
以上のように、第1実施形態の評価支援装置20aは、評価指標部26を備える。評価指標部26は、判定結果を取得する判定結果取得部として、ほぼ同一の空間領域が撮像された3枚以上の時系列の画像のうちの1枚である対象画像内の領域の小画像と時系列の画像のうちの他の複数の画像である複数の参照画像内の領域の小画像との差異の有無の判定結果を取得する。評価指標部26は、小画像間の差異があると判定された領域の組の数を時系列の画像について対象画像内の領域ごとに検出した結果を評価指標として得る。すなわち、評価支援装置20aは、小画像間の差異の有無に基づいて、蓄積された時系列の画像の品質に基づいた評価指標を得ることができる。
従来の技術では、画像内の複数の領域のうちどの領域を優先して時系列の画像間の差異を評価するかをユーザは判断することが困難である、という問題があった。評価指標をユーザに与えることによって、第1実施形態の評価支援装置20aは、画像内の複数の領域のうちどの領域を優先して時系列の画像間の差異を評価するかをユーザが判断することを支援することが可能である。
画像評価装置としての評価支援装置20aは、データベース10に記憶されている時系列の複数の画像に対して、画像間の差異に基づいた評価指標を得ることを特徴の一つとしている。評価支援装置20aにおいて、判定結果取得部としての評価指標部26が、対象画像における対象LCUの領域と参照画像における同位置LCUの領域との間で差異についての判定結果を取得する。評価指標取得部としての評価指標部26が、対象画像における対象LCUの領域と参照画像における同位置LCUの領域との間で差異があると判定された数と、対象画像における対象LCUの領域と参照画像における同位置LCUの領域との間で差異がないと判定された数との少なくとも一方に基づき、評価指標を対象画像内の領域ごとに取得する。画像間の差異に基づいた処理により、評価支援装置20aは、蓄積される画像が増えても、一貫した評価指標を得ることができる。さらに、評価支援装置20aは、得られた評価指標に基づいて、時系列の画像においていずれの領域の差異を優先して評価すべきかを示すことができ、時系列の画像における各領域に意味付けを行うことができる。
第1実施形態の評価指標部26は、小画像間の差異の有無が誤判定される確率が第1閾値未満である場合、差異を評価すべき優先度を表す値を得る。第1実施形態の評価指標部26は、小画像間の差異の有無が誤判定される確率が第1閾値以上である場合、小画像間の差異があると判定された結果の確度を表す値を得る。
(第2実施形態)
第2実施形態では、多値で表された評価指標としての検出結果が2値にまるめられる点が、第1実施形態と相違する。第2実施形態では、第1実施形態との相違点についてのみ説明する。
図10は、評価支援システム1の構成の例を示す図である。評価支援システム1は、データベース10と、評価支援装置20bと、表示装置30とを備える。評価支援装置20bが出力する評価指標は、評価指標部26によって付与された多値を表す評価指標に応じた値と第2閾値との比較結果である2値(小画像間の差異の有無)を表す。
画像評価装置としての評価支援装置20bは、サイズ取得部21と、パラメータ決定部22と、画像取得部23と、符号化部24と、差異判定部25と、評価指標部26と、画像処理部27と、記憶部28と、2値化部29とを備える。
画像取得部23は、一例として、図2に示された時系列の画像をデータベース10から取得する。第2実施形態では、差異判定部25によって差異の有無が誤判定される確率は、予め定められた一定確率以上である。評価指標部26は、評価指標としての検出結果を、2値化部29に出力する。
2値化部29は、評価指標部26による評価指標としての検出結果に基づいて、小画像間の差異の有無(2値)で表される評価指標を得る。例えば、2値化部29は、小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組の数(変化有である組の数)を、対象LCUの領域と同位置LCUの領域との組の総数で、対象LCUの領域ごとに除算する。すなわち、2値化部29は、変化有である組の数の検出結果(合算結果)を、対象LCUの領域と同位置LCUの領域との組の総数で、対象LCUの領域ごとに除算する。2値化部29は、小画像間の差異の有無で表される評価指標を、対象LCUの領域に付与する。
図2では、小画像間の差異があると判定された対象LCUの領域110−1と同位置LCUの領域との組の数は1である。対象LCUの領域110−1と同位置LCUの領域との組の総数は3である。2値化部29は、対象LCUの領域110−1について、評価指標部26によって付与された評価指標に応じた値である除算結果(1/3)を得る。
図2では、小画像間の差異があると判定された対象LCUの領域120−1と同位置LCUの領域との組の数は2である。対象LCUの領域120−1と同位置LCUの領域との組の総数は3である。2値化部29は、対象LCUの領域120−1について、評価指標部26によって付与された評価指標に応じた値である除算結果(2/3)を得る。
図2では、小画像間の差異があると判定された対象LCUの領域130−1と同位置LCUの領域との組の数は3である。対象LCUの領域130−1と同位置LCUの領域との組の総数は3である。2値化部29は、対象LCUの領域130−1について、評価指標部26によって付与された評価指標に応じた値である除算結果(3/3)を得る。2値化部29は、除算結果を記憶部28に記録してもよい。
2値化部29は、0から1までの間で予め定められた閾値と除算結果との大小関係を、対象LCUの領域ごとに比較する。2値化部29は、除算結果が閾値以上である対象LCUの領域と同位置LCUの領域との組を、小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組であると定める。2値化部29は、除算結果が閾値未満である対象LCUの領域と同位置LCUの領域との組を、小画像間の差異がないと判定された対象LCUの領域と同位置LCUの領域との組であると定める。以下、閾値は、0以上1未満の値のうち(0.5)である。
図2では、2値化部29は、除算結果(1/3)が閾値0.5未満である対象LCUの領域110−1と同位置LCUの領域との組を、小画像間の差異がないと判定された領域の組であると定める。2値化部29は、小画像間の差異がないことを表す評価指標を、対象LCUの領域110−1に付与する。
2値化部29は、除算結果(2/3)が閾値0.5以上である対象LCUの領域120−1と同位置LCUの領域との組を、小画像間の差異があると判定された領域の組であると定める。2値化部29は、小画像間の差異があることを表す評価指標を、対象LCUの領域120−1に付与する。
2値化部29は、除算結果(3/3)が閾値0.5以上である対象LCUの領域130−1と同位置LCUの領域との組を、小画像間の差異があると判定された領域の組であると定める。2値化部29は、小画像間の差異があることを表す評価指標を、対象LCUの領域130−1に付与する。
2値化部29は、小画像間の差異の有無(2値)を表す評価指標を、対象LCUの領域ごとに画像処理部27に出力する。
画像処理部27は、小画像間の差異の有無を表す評価指標を、2値化部29から取得する。画像処理部27は、小画像間の差異の有無を表す評価指標に基づいて、対象画像に画像処理を施す。
第2実施形態における評価指標は、小画像間の差異の有無で表される。差異判定部25によって差異の有無が誤判定される確率が一定確率以上である場合、小画像間の差異があると2値化部29によって判定された対象LCUの領域は、差異を評価すべき優先度が高い領域である。
以上のように、第2実施形態の評価支援装置20bは、2値化部29を備える。2値化部29は、評価指標部26による評価指標に応じた値と第2閾値との比較結果に基づいて、小画像間の差異の有無を表す評価指標を得る。
これによって、第2実施形態の評価支援装置20aは、差異の有無が誤判定される確率が一定確率以上である場合でも、画像内の複数の領域のうちどの領域を優先して時系列の画像間の差異を評価するかをユーザが判断することをより確実に支援することが可能である。
2値化部29は、小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組の数(変化有である組の数)と閾値との大小関係を、対象LCUの領域ごとに比較してもよい。2値化部29は、変化有である組の数が閾値以上である対象LCUの領域と同位置LCUの領域との組を、小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組であると定めてもよい。このようにしても、第2実施形態の評価支援装置20aは、除算結果を用いる場合と同様の効果を得ることが可能である。
2値化部29は、評価指標部26により得られる優先度又は確度に基づいて、小画像間の差異の有無を表す2値の指標を得てもよい。例えば、2値化部29は、確度が所定値以上である場合に小画像間に差異ありを示す指標を対象LCUの領域に付与し、確度が所定値未満である場合に小画像間に差異なしを示す指標を対象LCUの領域に付与してもよい。
(第3実施形態)
図11は、画像分別システム301の構成の例を示す図である。画像分別システム301は、画像を分別するシステムである。画像分別システム301は、画像蓄積装置310と、データベース320と、画像評価装置としての画像分別装置330aとを備える。
画像蓄積装置310は、画像を蓄積する情報処理装置である。画像蓄積装置310は、ユーザが所望する品質基準を満たしている画像を所定の精度で分別するフィルタ処理を、時系列の画像に施す。品質基準とは、例えば、撮像対象の空間領域のうち一定割合以上の面積の空間領域が撮像されているという品質基準である。例えば、画像が航空画像又は衛星画像である場合、品質基準とは、一定割合以上の面積の領域が雲や霧に隠されることなく撮像されているという品質基準である。時系列の画像には、ほぼ同一の空間領域が撮像されている。画像は、例えば、医用画像、監視用画像、航空画像又は衛星画像である。衛星画像は、例えば、1日に1回程度の周期で人工衛星によって撮像された地表のほぼ同一の空間領域の画像である。
品質基準の他の例として、第3実施形態及び後述する第4〜第6実施形態においても、蓄積されている画像間における撮像対象の変化の検出しやすさを品質基準としてもよい。さらに、画像において撮像対象が明りょうに写っている場合に、当該画像が品質基準を満たしていると判定してもよい。すなわち、品質基準は、撮像対象に関して定められてもよい。
画像蓄積装置310は、例えば、特許文献1の図9、図12及び図13に示されたデータ評価部の処理をフィルタ処理として実行する。画像蓄積装置310は、フィルタ処理によって分別された時系列の画像をデータベース320に蓄積する。第3実施形態では、画像蓄積装置310は、所定の精度のフィルタ処理によって分別された画像をデータベース320に蓄積した後、データベース320に蓄積されている時系列の画像に新たな画像を追加しない。
データベース320は、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体(非一時的な記録媒体)を有する記憶装置である。データベース320は、所定の精度のフィルタ処理によって分別された時系列の画像を記憶する。データベース320が記憶している時系列の画像のうち多くは、ユーザが所望する品質基準を満たしている画像である。例えば、データベース320に蓄積された時系列の画像のうち過半数の画像は、ユーザが所望する品質基準を満たしている画像(鮮明画像)である。しかしながら、データベース320が記憶している時系列の画像のうち一部は、フィルタ処理の精度に応じて、ユーザが所望する品質基準を満たしていない画像である。
画像には、複数の領域(ブロック)が含まれている。画像内の領域の形状は、例えば、矩形である。画像内の領域は、例えば、MPEG(Moving Picture Experts Group)等のマクロブロック(MB: Macro Block)、HEVC(High Efficiency Video Coding)等の符号化ユニット(CU: Coding Unit)、最大符号化ユニット(LCU: Largest CU)、予測ユニット(PU:Prediction Unit)、変換ユニット(TU:Transform Unit)の単位で、画像に定められる。領域は、最大符号化ユニットの単位で画像に定められる場合について説明する。
画像分別装置330aは、データベース320に記憶されている時系列の画像を分別する情報処理装置である。画像分別装置330aは、時系列の画像をデータベース320から取得する。画像分別装置330aは、時系列の画像間の差異の有無を判定する。画像分別装置330aは、データベース320に記憶されている時系列の画像のうち、ユーザが所望する品質基準を満たしている画像とユーザが所望する品質基準を満たしていない画像とを分別する。画像分別装置330aは、データベース320に記憶されている時系列の画像から、ユーザが所望する品質基準を満たしていない画像を除去する。
画像分別装置330aは、サイズ取得部331と、パラメータ決定部332と、画像取得部333と、符号化部334と、差異判定部335と、分別部336と、記憶部337と、除去部338とを備える。
サイズ取得部331とパラメータ決定部332と画像取得部333と符号化部334と差異判定部335と分別部336と除去部338とのうち一部又は全部は、例えば、CPU(Central Processing Unit)等のプロセッサが、記憶部337に記憶されたプログラムを実行することにより実現されてもよいし、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェアを用いて実現されてもよい。
サイズ取得部331は、画像上での差異を判定したい対象(画像上での判定対象)のサイズ(以下「判定サイズ」という。)を表す情報(以下「判定サイズ情報」という。)を外部から取得する。以下、判定サイズは、最大符号化ユニットのサイズである。判定サイズは、例えば、画素数を用いて表される。サイズ取得部331は、判定サイズ情報をパラメータ決定部332に送信する。
パラメータ決定部332は、最大符号化ユニットのサイズ(以下「符号化サイズ」という。)等を表す情報を含む符号化パラメータを、判定サイズに基づいて少なくとも決定する。パラメータ決定部332は、符号化サイズを表す情報等を含む符号化パラメータを、符号化部334に送信する。
画像取得部333は、時系列の画像をデータベース320から取得する。画像取得部333は、例えば、3枚以上の時系列の画像を取得する。画像取得部333は、時系列の画像を符号化部334に送信する。以下、参照画像との差異の有無が判定される対象の画像を「対象画像」という。参照画像は、時系列画像の画像であって対象画像以外の画像である。時系列の画像は、予め定められた条件に基づいて、画像取得部333又は差異判定部335によって対象画像及び参照画像に振り分けられる。時系列の画像は、対象画像と参照画像とに分けられてデータベース320に記憶されていてもよい。
符号化部334は、時系列の画像を符号化する。例えば、符号化部334は、符号化パラメータに基づいて、H.264/AVC(Advanced Video Coding)、HEVC、MPEG等の動画像符号化処理を実行する。符号化部334は、符号化パラメータに基づいて、JPEG等の静止画符号化処理を実行してもよい。
符号化部334は、対象画像及び参照画像を、判定サイズに基づいて符号化する。符号化部334は、HEVCの動画像符号化処理を実行する場合、対象画像及び参照画像に、判定サイズに基づくHEVCイントラ符号化処理を施す。
以下、対象画像内の最大符号化ユニットを「対象LCU」という。対象画像において対象LCUに隣接する最大符号化ユニットを「隣接LCU」という。参照画像において対象LCUの位置と空間的に同じ位置の最大符号化ユニットを「同位置LCU」という。領域内の画像を「領域の小画像」という。
差異判定部335は、対象LCUの領域の小画像と隣接LCUの領域の小画像との差異の有無を、対象LCUの領域の小画像の画素値と隣接LCUの領域の小画像の画素値との差異に基づいて判定する。例えば、差異判定部335は、対象LCUの領域の小画像と隣接LCUの領域の小画像との差異の有無を、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との差異に基づいて判定する。
差異判定部335は、対象LCUの領域の小画像と隣接LCUの領域の小画像との差異がある場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との差異の有無をさらに判定する。差異判定部335は、対象LCUの領域の小画像と同位置LCUの領域の小画像との差異の有無を、対象LCUの領域の小画像の画素値と同位置LCUの領域の小画像の画素値との差異に基づいて判定する。例えば、差異判定部335は、対象LCUの領域の小画像と隣接LCUの領域の小画像との差異の有無を、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との差異に基づいて判定する。
差異判定部335が対象画像及び参照画像の間の差異の有無を判定する方法は、特定の方法に限定されない。以下、一例として、差異判定部335が符号化処理における発生符号量に基づいて小画像間の差異の有無を判定する方法について説明する。
差異判定部335は、対象LCUの領域の発生符号量と、対象LCUの領域の上下左右の各隣接LCUの領域の発生符号量とを比較する。例えば、差異判定部335は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が下記の第11条件から第18条件までのいずれかを満たすか否かを判定する。
第11条件:max(R(N−1)/R(N),R(N)/R(N−1))>R_Th1
第12条件:max(R(N+1)/R(N),R(N)/R(N+1))>R_Th1
第13条件:max(R(N−x)/R(N),R(N)/R(N−x))>R_Th1
第14条件:max(R(N+x)/R(N),R(N)/R(N+x))>R_Th1
第15条件:min(R(N−1)/R(N),R(N)/R(N−1))<R_Th2
第16条件:min(R(N+1)/R(N),R(N)/R(N+1))<R_Th2
第17条件:min(R(N−x)/R(N),R(N)/R(N−x))<R_Th2
第18条件:min(R(N+x)/R(N),R(N)/R(N+x))<R_Th2
ここで、Rは、最大符号化ユニットの領域の発生符号量を表す。max(R(N−1),R(N))は、発生符号量R(N−1)及びR(N)のうち大きい値を表す。min(R(N−1),R(N))は、発生符号量R(N−1)及びR(N)のうち小さい値を表す。R_Th1は、R_Th1>1を満たす発生符号量閾値である。R_Th2は、0<R_Th2≦1を満たす発生符号量閾値である。Nは、対象画像内のN番目の対象LCUを表す。N−1は、対象LCUの左の隣接LCUを表す。N+1は、対象LCUの右の隣接LCUを表す。N−xは、対象LCUの上の隣接LCUを表す。N+xは、対象LCUの下の隣接LCUを表す。第11条件から第14条件における発生符号量閾値R_Th1は、第1条件から第4条件における発生符号量閾値R_Th1と同じ値であってもよいし、異なる値であってもよい。第15条件から第18条件における符号発生量閾値R_Th2は、第5条件から第8条件における符号発生量閾値R_Th2と同じ値であってもよいし、異なる値であってもよい。
差異判定部335は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第11条件から第18条件までのいずれも満たさない場合、対象LCUの領域の小画像と隣接LCUの領域の小画像との間の差異がないと判定する。すなわち、差異判定部335は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との差が少ない場合、対象LCUの領域の小画像と隣接LCUの領域の小画像との間の差異がないと判定する。差異判定部335は、対象LCUの領域の小画像と隣接LCUの領域の小画像との間の差異がないと判定された結果を、対象LCUの領域に対応付けて記憶部337に記録する。
差異判定部335は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第11条件から第18条件までのいずれかの条件を満たす場合、対象LCUの領域の発生符号量と、同位置LCUの領域の発生符号量とを比較する。例えば、差異判定部335は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が下記の第19条件又は第20条件を満たすか否かを判定する。
第19条件:max(R_A(N)/R_B(N),R_B(N)/R_A(N))>R_Th3
第20条件:min(R_A(N)/R_B(N),R_B(N)/R_A(N))<R_Th4
ここで、R_Aは、参照画像「A」内の同位置LCUの領域の発生符号量を表す。R_Bは、対象画像「B」内の対象LCUの領域の発生符号量を表す。R_Th3は、R_Th3>1を満たす発生符号量閾値である。R_Th4は、0<R_Th4≦1を満たす発生符号量閾値である。第19条件における発生符号量閾値R_Th3は、第9条件における発生符号量閾値R_Th3と同じ値であってもよいし、異なる値であってもよい。第20条件における発生符号量閾値R_Th4は、第10条件における発生符号量閾値R_Th4と同じ値であってもよいし、異なる値であってもよい。
差異判定部335は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第19条件及び第20条件のいずれも満たさない場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異がないと判定する。すなわち、差異判定部335は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との差が少ない場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異がないと判定する。差異判定部335は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異がないと判定された結果を、対象LCUの領域に対応付けて記憶部337に記録する。
差異判定部335は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第19条件又は第20条件を満たす場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異があると判定する。すなわち、差異判定部335は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との差が多い場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異があると判定する。差異判定部335は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異があると判定されたことを表す判定結果を、対象LCUの領域に対応付けて記憶部337に記録する。
差異判定部335は、符号化部334がHEVCの動画像符号化処理を実行した場合、画像の左上端に定められた符号化開始点をずらして符号化した場合における、小画像間の差異の有無の判定結果を算出してもよい。差異判定部335は、符号化開始点をずらさずに符号化した場合の判定結果と符号化開始点をずらして符号化した場合の判定結果とを重畳した結果(論理和の結果)を、最終的な判定結果と定めてもよい。
図12は、第3実施形態における、画像間の差異の有無の判定の例を示す図である。図12では、符号化部334によって符号化された画像400は、符号化される前の画像400を用いて模式的に表されている。画像400−1〜400−5は、時系列の画像である。例えば、画像400−1は、撮像時刻が最も新しい画像でもよい。第3実施形態では、参照画像が一例として4枚である場合について説明するが、参照画像が2枚以上であれば、画像分別装置330aは、ユーザが所望する品質基準に応じて画像を分別することが可能である。
差異判定部335は、画像400−1〜400−5から1枚ずつ、対象画像とする画像を選択する。時系列の画像がN枚(Nは3以上の整数)である場合、差異判定部335は、(N×(N−1)/2)回、時系列の画像の間の差異を判定する。
図12では、画像400−1は対象画像である。画像400−2〜400−5は、参照画像である。差異判定部335は、対象画像として選択された画像400−1と参照画像である画像400−2〜400−4との間の差異がないと判定する。図12おける丸印は、画像間の差異がないと判定されたことを表す。差異判定部335は、対象画像として選択された画像400−1と参照画像である画像400−5との間の差異があると判定する。図12におけるバツ印は、画像間の差異があると判定されたことを表す。差異判定部335は、画像400−2〜400−4を対象画像として選択した場合も同様に、対象画像と参照画像との差異の有無を判定する。
図13は、第3実施形態における、画像間の差異の有無の判定の第2例を示す図である。図13では、画像400−1〜400−4は、参照画像である。画像400−5は、対象画像である。差異判定部335は、対象画像として選択された画像400−5と参照画像である画像400−1〜400−4との間の差異があると判定する。
図11に戻り、画像分別装置330aの構成の説明を続ける。分別部336は、対象画像との差異があると判定された参照画像の数と、対象画像との差異がないと判定された参照画像の数との比較の結果(多数決の結果)に基づいて、時系列の画像のうち品質基準を満たしている画像と品質基準を満たしていない画像とを分別する。例えば、分別部336は、時系列の画像における参照画像の総数(合計数)に対する、対象画像との差異があると判定された参照画像の数の割合(比率)を、比較の結果(評価指標)として算出する。分別部336は、算出された割合が第3閾値以上であるか否かを、式(1)に示す大小関係に基づいて判定する。第3閾値は、予め定められた1未満の正値である。
(対象画像との差異があると判定された参照画像の数)/(参照画像の総数)≧第3閾値 …(1)
図12では、画像400−1〜400−4が対象画像として選択された場合、式(1)の左辺の値は(1/4)である。図13では、画像400−5が対象画像として選択された場合、式(1)の左辺の値は(4/4)である。
分別部336は、式(1)の左辺の値が第3閾値以上となる対象画像を、ユーザが所望する品質基準を満たしていない画像(不鮮明画像)と定める。分別部336は、分別結果を表す情報を記憶部337に記録する。分別部336は、分別結果を表す情報を除去部338に出力する。分別結果は、例えば、ユーザが所望する品質基準を満たしていない画像の識別情報を含む。
記憶部337は、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体(非一時的な記録媒体)を有する記憶装置である。記憶部337は、差異判定部335による判定結果を記憶する。記憶部337は、分別部336による分別結果を記憶する。
除去部338は、ユーザが所望する品質基準を満たしていない画像を、データベース320に記録されている時系列の画像から分別結果に基づいて除去する。除去部338は、特許文献1の図9、図12及び図13に示されたデータ評価部の画像除去処理を実行してもよい。
図14は、画像分別システム301の動作の例を示すフローチャートである。サイズ取得部331は、判定サイズ情報を取得する(ステップS401)。パラメータ決定部332は、符号化サイズ等の符号化パラメータを、判定サイズに基づいて少なくとも決定する(ステップS402)。画像取得部333は、時系列の画像をデータベース320から取得する(ステップS403)。符号化部334は、時系列の画像を符号化する(ステップS404)。
差異判定部335は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第11条件から第18条件までのいずれかを満たすか否かを判定する(ステップS405)。対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第11条件から第18条件までのいずれも満たさない場合(ステップS405:NO)、差異判定部335は、対象LCUの領域の小画像と隣接LCUの領域の小画像と間の差異がないと判定されたことを表す判定結果を記憶部337に記録するため、ステップS407に処理を進める。
対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第11条件から第18条件までのいずれかを満たす場合(ステップS405:YES)、差異判定部335は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第19条件又は第20条件を満たすか否かを判定する(ステップS406)。
対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第19条件及び第20条件のいずれも満たさない場合(ステップS406:NO)、差異判定部335は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異がないと判定されたことを表す判定結果を、記憶部337に記録する。
対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第19条件又は第20条件を満たす場合(ステップS406:YES)、差異判定部335は、対象LCUの領域の小画像と同位置LCUの領域の小画像と間の差異があると判定されたことを表す判定結果を、記憶部337に記録する。第3実施形態では、差異判定部335は、対象画像の小画像と参照画像の小画像との間の差異があると判定された参照画像を、対象画像との差異がある参照画像であると判定し、記憶部337に記録する(ステップS407)。ステップS405からステップS407までの動作は、対象画像の領域(対象LCU)それぞれに対して行われる。
分別部336は、差異があると判定された参照画像の数と、差異がないと判定された参照画像の数との比較の結果に基づいて、対象画像が品質基準を満たしているか否かを判定する。分別部336は、対象画像が品質基準を満たしているか否かに応じて複数の画像を分別する(ステップS408)。除去部338は、ユーザが所望する品質基準を満たしていない画像を、データベース320に記録されている時系列の画像から分別結果に基づいて除去する(ステップS409)。
以上のように、第3実施形態の画像分別装置330aは、分別部336を備える。分別部336は、判定結果を取得する判定結果取得部として、複数の画像から選択された対象画像と参照画像との差異の有無の判定結果を取得する。評価指標取得部としての分別部336は、対象画像と参照画像との間で差異があると判定された数と、対象画像と参照画像との間で差異がないと判定された数との少なくとも一方に基づき、時系列の画像それぞれの評価指標を取得する。すなわち、分別部336は、データベース320に記録されている時系列の画像の品質に基づいた評価指標を得ることができる。
分別部336は、対象画像との差異があると判定された参照画像の数と対象画像との差異がないと判定された参照画像の数との比較の結果(評価指標)に基づいて、複数の画像のうち品質基準を満たしている画像と品質基準を満たしていない画像とを分別する。記憶部337に記憶されている画像の半数以上が撮像対象に関する品質基準を満たしている場合、分別部336は、比較の結果として得られる評価指標に基づいて、時系列の画像において品質基準を満たしていない画像を検出できる。したがって、分別部336は、評価指標に基づいて、品質基準を満たしている画像を時系列の画像から分別できる。
従来の技術では、ユーザが所望する品質基準に応じて画像を分別することができない、という問題があった。上記の分別によって、第3実施形態の画像分別装置330aは、ユーザが所望する品質基準に応じて画像を分別することが可能である。第3実施形態の画像分別装置330aは、単一の画像を解析する代わりに複数の画像を用いて画像を分別するので、精度良く画像を分別することが可能である。
画像評価装置としての画像分別装置330aは、データベース320に記憶されている時系列の複数の画像に対して、画像間の差異に基づいた評価指標を得ることを特徴の一つとしている。画像間の差異に基づいた処理により、画像分別装置330aは、蓄積される画像が増えても、一貫した評価指標を得ることができる。さらに、画像分別装置330aは、得られた評価指標に基づいて、時系列の画像における品質基準に応じた分別を行うことができる。
(第4実施形態)
第4実施形態では、画像内の領域の小画像の面積に基づいて画像間の差異の有無を差異判定部335が判定する点が、第3実施形態と相違する。第4実施形態では、第3実施形態との相違点についてのみ説明する。
図15は、第4実施形態における、画像間の差異の有無の判定の第1例を示す図である。画像400−1〜400−6は、時系列の画像である。画像400は、3×3(=9)の領域410〜490に区分されている。領域410〜490の小画像の各面積は、画像400において同じである。
差異判定部335は、画像400−1〜400−6から1枚ずつ、対象画像とする画像を選択する。図15では、画像400−1は対象画像である。画像400−2〜400−6は、参照画像である。
差異判定部335は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異があるか否かを判定する。例えば、差異判定部335は、対象LCUの領域490−1の小画像と同位置LCUの領域490−2の小画像との間の差異があると判定する。時系列の画像が6枚である場合、差異判定部335は、15(=6×(6−1)/2)回、時系列の画像の間の差異を判定する。
画像400−1と画像400−2との間では、差異判定部335は、領域490−1の小画像と領域490−2の小画像との間で差異があると判定する。画像400−1との差異がある画像400−2の領域の小画像の総面積は、画像400−2の面積の(1/9)である。すなわち、画像400−1との差異がある画像400−2の領域の小画像の数は、画像400−2の領域の小画像の総数の(1/9)である。領域と小画像とは一対一で対応するので、領域の小画像の数は、領域の数と等しい。
画像400−1と画像400−3との間では、差異判定部335は、領域490−1の小画像と領域490−3の小画像との間で差異があると判定する。画像400−1との差異がある画像400−3の領域の小画像の総面積は、画像400−3の面積の(1/9)である。すなわち、画像400−1との差異がある画像400−3の領域の小画像の数は、画像400−3の領域の小画像の総数の(1/9)である。
画像400−1と画像400−4との間では、差異判定部335は、領域480−1の小画像と領域480−4の小画像との間で差異があると判定する。差異判定部335は、領域490−1の小画像と領域490−4の小画像との間で差異があると判定する。画像400−1との差異がある画像400−4の領域の小画像の総面積は、画像400−4の面積の(2/9)である。すなわち、画像400−1との差異がある画像400−3の領域の小画像の数は、画像400−3の領域の小画像の総数の(2/9)である。
画像400−1と画像400−5との間では、差異判定部335は、領域450−1の小画像と領域450−5の小画像との間で差異があると判定する。差異判定部335は、領域480−1の小画像と領域480−5の小画像との間で差異があると判定する。差異判定部335は、領域490−1の小画像と領域490−5の小画像との間で差異があると判定する。画像400−1との差異がある画像400−5の領域の小画像の総面積は、画像400−5の面積の(3/9)である。すなわち、画像400−1との差異がある画像400−5の領域の小画像の数は、画像400−5の領域の小画像の総数の(3/9)である。
画像400−1と画像400−6との間では、差異判定部335は、領域490−1の小画像と領域490−6の小画像との間で差異がないと判定する。画像400−1との差異がある画像400−6の領域の小画像の総面積は、画像400−6の面積の(8/9)である。すなわち、画像400−1との差異がある画像400−6の領域の小画像の数は、画像400−6の領域の小画像の総数の(8/9)である。
差異判定部335は、参照画像内の一定割合(第4閾値)以上の面積で対象画像との差異があると判定された参照画像を、対象画像との差異がある参照画像と定める。一定割合が(3/9)である場合、差異判定部335は、対象画像として選択された画像400−1と参照画像である画像400−2〜400−4との間の差異がないと判定する。差異判定部335は、対象画像として選択された画像400−1と参照画像である画像400−5〜400−6との間の差異があると判定する。
分別部336は、時系列の画像における参照画像の総数に対する、対象画像との差異がある参照画像の数の割合(2/5)を、比較の結果として算出する。分別部336は、算出された割合が第3閾値以上であるか否かを、式(1)に示す大小関係に基づいて判定する。第3閾値が(1/2)である場合、分別部336は、式(1)の左辺の値(割合)が第3閾値未満である画像400−1を、ユーザが所望する品質基準を満たしている画像(鮮明画像)と定める。
図16は、第4実施形態における、画像間の差異の有無の判定の第2例を示す図である。図16では、画像400−6は対象画像である。画像400−1〜400−5は、参照画像である。差異判定部335は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異があるか否かを判定する。例えば、差異判定部335は、対象LCUの領域490−6の小画像と同位置LCUの領域490−5の小画像との間の差異があると判定する。
画像400−6と画像400−1との間では、差異判定部335は、領域490−6の小画像と領域490−1の小画像との間で差異がないと判定する。画像400−6との差異がある画像400−1の領域の小画像の総面積は、画像400−1の面積の(8/9)である。
画像400−6と画像400−2との間では、画像400−6との差異がある画像400−2の領域の小画像の総面積は、画像400−2の面積の(9/9)である。画像400−3〜400−5についても、画像400−2と同様に、差異がある領域の小画像の総面積は、画像400−3〜400−5の面積の(9/9)である。
差異判定部335は、参照画像内の一定割合(第4閾値)以上の面積で対象画像との差異があると判定された参照画像を、対象画像との差異がある参照画像と定める。一定割合が(3/9)である場合、差異判定部335は、対象画像として選択された画像400−6と参照画像である画像400−1〜400−5との間の差異があると判定する。
分別部336は、参照画像の総数に対する、対象画像との差異がある参照画像の数の割合(5/5)を、比較の結果として算出する。分別部336は、算出された割合が第3閾値以上であるか否かを、式(1)に示す大小関係に基づいて判定する。第3閾値が(1/2)である場合、分別部336は、式(1)の左辺の値(割合)が第3閾値以上である画像400−6を、ユーザが所望する品質基準を満たしていない画像と定める。例えば、データベース320に記憶されている時系列の画像において過半数の画像に撮像対象が明りょうに写っている場合、分別部336は、画像400−6を撮像対象に関する品質基準を満たしていない不鮮明な画像と定める。
図17は、第4実施形態における、画像分別システムの動作の例を示すフローチャートである。ステップS501〜ステップS507における動作は、図14のステップS401〜ステップS407における動作と同様である。
差異判定部335は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間で差異がある領域の小画像の面積を、参照画像ごとに検出する(ステップS508)。差異判定部335は、参照画像内の一定割合以上の面積で対象画像との差異があると判定された参照画像を、対象画像との差異がある参照画像と定める(ステップS509)。差異判定部335は、対象画像との差異がある参照画像を計数する(ステップS510)。
ステップS511〜ステップS512における動作は、図4のステップS408〜ステップS409における動作と同様である。
以上のように、第4実施形態の差異判定部335は、参照画像の面積に対する一定割合以上の面積で対象画像との差異があると判定された参照画像を、対象画像との差異がある参照画像であると判定する。これによって、第4実施形態の画像分別装置330aは、ユーザが所望する品質基準に応じて、画像をより精度良く分別することが可能である。
(第5実施形態)
第5実施形態では、小画像間の差異がある領域の小画像の面積に応じて分別部336が画像を分別する点が、第3及び第4実施形態と相違する。第5実施形態では、第3及び第4実施形態との相違点についてのみ説明する。
差異判定部335は、時系列の画像における、対象画像内の領域の小画像との差異があると判定された参照画像内の領域の小画像の総面積を検出する。分別部336は、時系列の画像における参照画像の総面積に対する、対象画像内の領域の小画像との差異があると判定された参照画像内の領域の小画像の総面積の割合に基づいて、画像を分別する。分別部336は、時系列の画像における参照画像内の領域の総数に対する、対象画像内の領域の小画像との差異があると判定された小画像を含む参照画像内の領域の数の割合に基づいて、画像を分別してもよい。
第5実施形態における判定の一例を、図16を用いて説明する。画像400−6との差異がある画像400−1の領域の小画像の数は、8個である。画像400−6との差異がある画像400−2の領域の小画像の数は、9個である。画像400−6との差異がある画像400−3の領域の小画像の数は、9個である。画像400−6との差異がある画像400−4の領域の小画像の数は、9個である。画像400−6との差異がある画像400−5の領域の小画像の数は、9個である。したがって、時系列の画像において、対象画像である画像400−6の領域の小画像との差異がある参照画像の領域の小画像の総数は、計44個である。
分別部336は、時系列の画像において、対象画像の領域の小画像との差異がある参照画像の領域の小画像の総数が閾値以上となる対象画像を、ユーザが所望する品質基準を満たしていない画像(不鮮明画像)と定める。図16では、分別部336は、画像400−6の領域の小画像との差異がある画像400−1〜400−5の領域の小画像の総数(44)が第5閾値(23)以上である画像400−6を、ユーザが所望する品質基準を満たしていない画像(不鮮明画像)と定める。第5閾値は、各参照画像における領域の総数に対する半数に基づいて定められてもよい。
分別部336は、ユーザが所望する品質基準を満たしている画像であるか否かを、以下のように判定してもよい。
対象画像の領域の小画像との差異がある参照画像の領域の小画像の数は、時系列の画像における参照画像の総数の(44/45)である。すなわち、対象画像の領域の小画像との差異がある参照画像の領域の小画像の総面積は、時系列の画像における参照画像の総面積の(44/45)である。
分別部336は、時系列の画像における参照画像の総面積に対して、対象画像の領域の小画像との差異がある参照画像の領域の小画像の総面積の割合が閾値以上となる対象画像を、ユーザが所望する品質基準を満たしていない画像と定める。図16では、分別部336は、時系列の画像における参照画像の総面積(45)に対して、画像400−6の領域の小画像との差異がある画像400−1〜400−5の領域の小画像の総面積の割合(44/45)が第6閾値(1/2)以上である画像400−6を、ユーザが所望する品質基準を満たしていない画像と定めてもよい。
図18は、第5実施形態における、画像分別システム301の動作の例を示すフローチャートである。ステップS601〜ステップS608における動作は、図17のステップS501〜ステップS508における動作と同様である。
差異判定部335は、時系列の画像における、対象画像内の領域の小画像との差異があると判定された参照画像内の領域の小画像の総面積を検出する(ステップS609)。分別部336は、時系列の画像における参照画像の総面積に対する、対象画像内の領域の小画像との差異があると判定された参照画像内の領域の小画像の総面積の割合を検出する(ステップS610)。分別部336は、小画像の総面積の割合に基づいて画像を分別する(ステップS611)。ステップS612における動作は、図17のステップS512における動作と同様である。
以上のように、第5実施形態の分別部336は、複数の画像における参照画像の総面積に対する、対象画像内の領域の小画像との差異があると判定された参照画像内の領域の小画像の総面積の割合に基づいて、対象画像との差異がある参照画像であると判定する。これによって、第5実施形態の画像分別装置330aは、ユーザが所望する品質基準に応じて画像を分別することが可能である。
(第6実施形態)
第6実施形態では、データベース320に記憶されている時系列の画像に新たな画像が追加される点が、第3〜第5実施形態と相違する。第6実施形態では、第3〜第5実施形態との相違点についてのみ説明する。
図19は、第6実施形態における、画像分別システム301の構成の例を示す図である。画像分別システム301は、画像蓄積装置310と、データベース320と、画像評価装置としての画像分別装置330bとを備える。画像蓄積装置310は、データベース320に記録しようとする新たな画像を、画像分別装置330bに送信する。画像蓄積装置310は、新たな画像が品質基準を満たす画像であるか否かを表す情報を、画像分別装置330bから取得する。画像蓄積装置310は、ユーザが所望する品質基準を新たな画像が満たしている場合、新たな画像をデータベース320に記録する。
画像取得部333は、データベース320に記憶されている時系列の画像には含まれていない新たな画像を、画像蓄積装置310から取得する。
差異判定部335は、画像蓄積装置310がデータベース320に記録しようとしている新たな画像との差異の有無を判定する参照画像として適した画像を、データベース320に記憶されている時系列の画像から選択する。
差異の有無を判定する参照画像として適した画像は、例えば、データベース320に記憶されている時系列の画像のうち最も平均的な画像である。最も平均的な画像の一例は、データベース320に記憶されている時系列の画像のうち他の画像との差異が最も少ないと判定された画像である。差異の有無を判定する参照画像として適した画像は、ユーザが所望する品質基準を満たしていない画像との差異が最も多い画像でもよい。
第6実施形態における差異判定部335の動作例を、図15を用いて説明する。図15では、ユーザが所望する品質基準を満たしていない画像400−6が時系列の画像から除去されているので、データベース320は、画像400−1〜400−5を時系列の画像として記憶している。
差異判定部335は、ユーザが所望する品質基準を満たしている画像400−1〜400−5のうちから、新たな画像との差異の有無を判定する参照画像として適した画像を選択する。図15では、差異判定部335は、画像400−1と他の画像400との間では、計7個の領域の小画像で差異があると判定する。差異判定部335は、画像400−2と他の画像400との間では、計4個の領域の小画像で差異があると判定する。差異判定部335は、画像400−3と他の画像400との間では、計4個の領域の小画像で差異があると判定する。差異判定部335は、画像400−4と他の画像400との間では、計5個の領域の小画像で差異があると判定する。
したがって、差異判定部335は、時系列の画像のうち他の画像との差異が最も少ないと判定された画像400−2及び画像400−3を、参照画像として選択する。差異判定部335は、画像400−2又は画像400−3のうちいずれかを、予め定められた条件に基づいて選択してもよい。予め定められた条件とは、例えば、撮像時刻がより新しい画像が選択されるという条件である。
差異判定部335は、画像蓄積装置310がデータベース320に記録しようとする新たな画像を、画像取得部333を介して画像蓄積装置310から取得する。差異判定部335は、画像蓄積装置310から取得された新たな画像と選択された参照画像との間の差異の有無を判定する。差異判定部335は、画像蓄積装置310から取得された新たな画像と選択された参照画像との間の差異がないと判定した場合、新たな画像が品質基準を満たす画像であると判定する。差異判定部335は、新たな画像が品質基準を満たす画像であるか否かを表す情報を、画像蓄積装置310に送信する。
図20は、第6実施形態における、画像分別システム301の動作の例を示すフローチャートである。画像取得部333は、データベース320に記憶されている時系列の画像には含まれていない新たな画像を、画像蓄積装置310から取得する(ステップS701)。差異判定部335は、画像蓄積装置310がデータベース320に記録しようとしている新たな画像との差異の有無を判定する参照画像として適した画像を、データベース320に記憶されている時系列の画像から選択する(ステップS702)。
差異判定部335は、画像蓄積装置310から取得された新たな画像と選択された参照画像との間の差異の有無を判定する(ステップS703)。画像蓄積装置310から取得された新たな画像と選択された参照画像との間の差異がないと判定された場合(ステップS703:NO)、画像蓄積装置310は、新たな画像をデータベース320に記録する(ステップS704)。画像蓄積装置310から取得された新たな画像と選択された参照画像との間の差異があると判定された場合(ステップS703:YES)、画像分別装置330bは、処理を終了する。
以上のように、第6実施形態の差異判定部335は、データベース320の時系列の画像から選択された参照画像との差異がないと判定された新たな画像を、データベース320の時系列の画像に含める。これによって、第6実施形態の画像分別装置330bは、新たに撮像された画像をデータベース320の時系列の画像に含めるか否かを、効率良く判定することが可能である。第6実施形態の画像分別装置330bは、時系列の画像から選択された参照画像と新たな画像との差異の有無を差異判定部335が判定するので、新たな画像をデータベース320に記録するか否かの判定に要する画像の比較回数の増加を抑えることができる。
上述した実施形態における画像評価装置としての評価支援装置又は画像分別装置の少なくとも一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
例えば、本発明の実施に用いられる変化検出方法、及び小画像間の差異の有無を判定する方法は、上記の実施形態に記載された方法に限らず、画像特徴量や画素値、輝度値を比較や機械学習に基づいた方法等の従来の方法でもよい。