JP6708749B2 - 画像評価装置、画像評価方法及び画像評価プログラム - Google Patents

画像評価装置、画像評価方法及び画像評価プログラム Download PDF

Info

Publication number
JP6708749B2
JP6708749B2 JP2018550227A JP2018550227A JP6708749B2 JP 6708749 B2 JP6708749 B2 JP 6708749B2 JP 2018550227 A JP2018550227 A JP 2018550227A JP 2018550227 A JP2018550227 A JP 2018550227A JP 6708749 B2 JP6708749 B2 JP 6708749B2
Authority
JP
Japan
Prior art keywords
image
difference
images
area
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018550227A
Other languages
English (en)
Other versions
JPWO2018088425A1 (ja
Inventor
暁経 三反崎
暁経 三反崎
和也 早瀬
和也 早瀬
清水 淳
淳 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2018088425A1 publication Critical patent/JPWO2018088425A1/ja
Application granted granted Critical
Publication of JP6708749B2 publication Critical patent/JP6708749B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0008Industrial image inspection checking presence/absence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、画像評価装置、画像評価方法及び画像評価プログラムに関する。
本願は、2016年11月10日に日本に出願された特願2016−219716号と、2016年11月18日に日本に出願された特願2016−224922号とに基づき優先権を主張し、その内容をここに援用する。
ハードディスクドライブや半導体記憶装置の記憶容量の増加に伴い、大量の画像を蓄積することが可能になっている(特許文献1参照)。蓄積された画像間における差異を検出する技術も検討されている(特許文献2参照)。しかし、蓄積される画像が増えるほど、適切ではない画像の数若しくは/及び割合も増えると想定され、蓄積された複数の画像に基づいた適切な評価を行うことが困難になる。蓄積された複数の画像の評価が困難になる原因として、例えば、蓄積された複数の画像に基づいた評価指標を定めにくいことがある。
特開2014−86913号公報 特許第4995787号公報
上記事情に鑑み、本発明は、蓄積された複数の画像の品質に基づいた評価指標を得ることができる画像評価装置、画像評価方法及び画像評価プログラムを提供することを目的としている。
本発明の第1の態様における画像評価装置は、ほぼ同一の空間領域が撮像された3枚以上の複数の画像のうちの一つの画像である対象画像と、前記複数の画像のうち前記対象画像以外の画像である参照画像との差異の有無についての判定結果を取得する判定結果取得部と、前記対象画像と前記参照画像との間で差異があると判定された数と、前記対象画像と前記参照画像との間で差異がないと判定された数との少なくとも一方に基づき、前記複数の画像の評価指標を取得する評価指標取得部と、を備える。
本発明の第2の態様によれば、第1の態様の画像評価装置において、前記複数の画像は、時系列の画像であり、前記判定結果取得部により取得される前記判定結果は、前記対象画像内の領域の小画像と、前記参照画像内の領域の小画像との差異の有無を示し、前記評価指標取得部は、前記小画像間の差異があると判定された前記領域の組の数を前記時系列の画像について前記対象画像内の前記領域ごとに検出した結果を前記評価指標として得る。
本発明の第3の態様によれば、上記の第2の態様の画像評価装置において、前記評価指標取得部は、前記小画像間の差異の有無が誤判定される確率が第1閾値未満である場合、差異を評価すべき優先度を表す値を前記評価指標として得る。
本発明の第4の態様によれば、上記の第2の態様の画像評価装置において、前記評価指標取得部は、前記小画像間の差異の有無が誤判定される確率が第1閾値以上である場合、前記小画像間の差異があると判定された結果の確度を表す値を前記評価指標として得る。
本発明の第5の態様によれば、上記の第3又は第4の態様の画像評価装置において、前記評価指標に応じた値と第2閾値との比較結果に基づいて、前記小画像間の差異の有無を表す2値の前記評価指標を得る2値化部をさらに備える。
本発明の第6の態様によれば、上記の第2から第5の態様のいずれかの画像評価装置において、前記対象画像内の前記領域の小画像と前記参照画像内の前記領域の小画像との差異の有無を判定し、前記判定結果を得る差異判定部をさらに備える。
本発明の第7の態様によれば、上記の第2から第6の態様のいずれかの画像評価装置において、前記対象画像内の前記領域ごとに得た前記評価指標に基づいて、前記対象画像内の前記領域の前記小画像を拡大する画像処理部をさらに備える。
本発明の第8の態様によれば、上記の第1の態様の画像評価装置において、前記評価指標取得部は、前記評価指標に基づいて、前記複数の画像のうち前記空間領域に関する品質基準を満たしている画像と前記品質基準を満たしていない画像とを分別する。
本発明の第9の態様によれば、上記の第8の態様の画像評価装置において、前記評価指標取得部は、前記複数の画像における前記参照画像の総数に対する、前記対象画像との差異があると判定された前記参照画像の数の割合を、前記評価指標として取得する。
本発明の第10の態様によれば、上記の第8の態様の画像評価装置において、前記評価指標取得部は、前記複数の画像における前記参照画像の総面積に対する、前記対象画像内の領域の小画像との差異があると判定された前記参照画像内の領域の小画像の総面積の割合と、前記複数の画像における前記参照画像内の領域の総数に対する、前記対象画像内の領域の小画像との差異があると判定された小画像を含む前記参照画像内の領域の数の割合とのいずれかを、前記評価指標として取得する。
本発明の第11の態様によれば、上記の第9又は第10の態様の画像評価装置において、前記品質基準を満たしていない前記対象画像を、前記評価指標と閾値との大小関係に基づいて前記複数の画像から除去する除去部をさらに備える。
本発明の第12の態様によれば、上記の第8から第11の態様のいずれかの画像評価装置において、前記対象画像と前記参照画像との差異の有無を判定する差異判定部をさらに備える。
本発明の第13の態様によれば、上記の第12の態様の画像評価装置において、前記差異判定部は、前記参照画像の面積に対する一定割合以上の面積で前記対象画像との差異があると判定された前記参照画像を、前記対象画像との差異がある前記参照画像であると判定する。
本発明の第14の態様によれば、上記の第12又は第13の態様の画像評価装置において、前記差異判定部は、前記複数の画像から選択された画像との差異がないと判定された他の画像を前記複数の画像に含める。
本発明の第15の態様における画像評価方法は、ほぼ同一の空間領域が撮像された3枚以上の複数の画像のうちの一つの画像である対象画像と、前記複数の画像のうち前記対象画像以外の画像である参照画像との差異の有無についての判定結果を取得するステップと、前記対象画像と前記参照画像との間で差異があると判定された数と、前記対象画像と前記参照画像との間で差異がないと判定された数との少なくとも一方に基づき、前記複数の画像の評価指標を取得するステップと、を含む。
本発明の第16の態様における画像評価プログラムは、画像評価装置が備えるコンピュータを、ほぼ同一の空間領域が撮像された3枚以上の複数の画像のうちの一つの画像である対象画像と、前記複数の画像のうち前記対象画像以外の画像である参照画像との差異の有無についての判定結果を取得する判定結果取得部と、前記対象画像と前記参照画像との間で差異があると判定された数と、前記対象画像と前記参照画像との間で差異がないと判定された数との少なくとも一方に基づき、前記複数の画像の評価指標を取得する評価指標取得部と、として機能させるためのプログラムである。
本発明によれば、蓄積された複数の画像の品質に基づいた評価指標を得ることが可能となる。
第1実施形態における、評価支援システムの構成の例を示す図である。 第1実施形態における、時系列の画像の例を示す図である。 第1実施形態における、画像処理が施された画像の表示の第1例を示す図である。 第1実施形態における、画像処理が施された画像の表示の第2例を示す図である。 第1実施形態における、画像処理が施された画像の表示の第3例を示す図である。 第1実施形態における、画像処理が施された画像の表示の第4例を示す図である。 第1実施形態における、画像処理が施された画像の表示の第5例を示す図である。 第1実施形態における、画像処理が施された画像の表示の第6例を示す図である。 第1実施形態における、評価支援システムの動作の例を示すフローチャートである。 第2実施形態における、評価支援システムの構成の例を示す図である。 第3実施形態における、画像分別システムの構成の例を示す図である。 第3実施形態における、画像間の差異の有無の判定の第1例を示す図である。 第3実施形態における、画像間の差異の有無の判定の第2例を示す図である。 第3実施形態における、画像分別システムの動作の例を示すフローチャートである。 第4実施形態における、画像間の差異の有無の判定の第1例を示す図である。 第4実施形態における、画像間の差異の有無の判定の第2例を示す図である。 第4実施形態における、画像分別システムの動作の例を示すフローチャートである。 第5実施形態における、画像分別システムの動作の例を示すフローチャートである。 第6実施形態における、画像分別システムの構成の例を示す図である。 第6実施形態における、画像分別システムの動作の例を示すフローチャートである。
本発明の画像評価装置、画像評価方法及び画像評価プログラムに係る実施形態について、図面を参照して詳細に説明する。
(第1実施形態)
図1は、評価支援システム1の構成の例を示す図である。評価支援システム1は、画像間の差異を評価するユーザの判断を支援するシステムである。評価支援システム1は、データベース10と、評価支援装置20aと、表示装置30とを備える。
データベース10は、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体(非一時的な記録媒体)を有する記憶装置である。データベース10は、時系列の画像を記憶する。以下、時系列の画像には、ほぼ同一の空間領域が撮像されている。時系列の画像は、ほぼ同じ空間領域が撮像されていれば、画像ごとに異なる方向から撮像されていてもよいし、画像ごとに縮尺が異なっていてもよい。画像は、例えば、医用画像、監視用画像、航空画像又は衛星画像である。衛星画像は、例えば、1日に1回程度の周期で人工衛星によって撮像された地表のほぼ同一地域の画像である。
以下、画像は、ユーザが所望する予め定められた品質基準を満たしている画像(鮮明画像)である。品質基準とは、例えば、撮像対象の空間領域のうち一定以上の面積の空間領域が撮像されているという品質基準である。画像が航空画像又は衛星画像である場合、品質基準とは、一定以上の面積の領域が雲や霧に隠されることなく撮像されているという品質基準である。撮像対象は、例えば、変化の有無を検出したい被写体であってもよい。撮像対象の空間領域又は撮像対象が撮像された画像とは、変化の有無を検出したい被写体が撮像されている画像であってもよい。
品質基準の他の例として、蓄積されている画像間における撮像対象の変化の検出しやすさを品質基準としてもよい。例えば、画像の面積に対する撮像対象が写っている面積の比を用いてもよい。画像において撮像対象が他の被写体に隠れずに写っている面積の比が所定値以上である場合に、当該画像が品質基準を満たしていると判定してもよい。さらに、画像において撮像対象が明りょうに写っている場合に、当該画像が品質基準を満たしていると判定してもよい。すなわち、品質基準は、撮像対象又は撮像対象の空間領域に関して定められてもよい。
画像には、複数の領域(ブロック)が含まれている。画像内の領域の形状は、例えば、矩形である。画像内の領域は、例えば、MPEG(Moving Picture Experts Group)等のマクロブロック(MB: Macro Block)、HEVC(High Efficiency Video Coding)等の符号化ユニット(CU: Coding Unit)、最大符号化ユニット(LCU: Largest CU)、予測ユニット(PU:Prediction Unit)、変換ユニット(TU:Transform Unit)の単位で、画像に定められる。以下、領域は、最大符号化ユニットの単位で画像に定められる場合について説明する。
画像評価装置としての評価支援装置20aは、画像間の差異を評価するユーザの判断を支援する装置である。評価支援装置20aは、ユーザが差異を評価する領域を含む時系列の画像を、データベース10から取得する。評価支援装置20aは、画像内の領域ごとに、時系列の画像間の差異の有無を判定する。
評価支援装置20aは、どの領域を優先して時系列の画像間の差異を評価するかをユーザが判断するための評価指標を、領域ごとの差異の有無を表す判定結果に基づいて、画像内の領域に付与する。評価支援装置20aは、領域に付与された評価指標を、表示装置に送信する。評価支援装置20aは、評価指標に基づいて画像に画像処理を施してもよい。評価支援装置20aは、画像処理が施された画像を表示装置30に送信する。
表示装置30は、液晶ディスプレイや発光ダイオード(LED: light emitting diode)を有する画面を備える。表示装置30は、領域に付与された評価指標を画面に表示する。表示装置30は、評価支援装置20aによって画像処理が施された画像を画面に表示する。これによって、ユーザは、画面に表示された画像及び評価指標に基づいて、画像内の領域ごとに画像間の差異を評価することができる。
表示装置30は、タッチパネル等の操作デバイスを画面に備えてもよい。表示装置30は、タッチパネル等の操作デバイスが受け付けた操作に応じた信号を、評価支援装置20aに送信してもよい。
評価支援装置20aの構成を説明する。
評価支援装置20aは、サイズ取得部21と、パラメータ決定部22と、画像取得部23と、符号化部24と、差異判定部25と、評価指標部26と、画像処理部27と、記憶部28とを備える。
サイズ取得部21とパラメータ決定部22と画像取得部23と符号化部24と差異判定部25と評価指標部26と画像処理部27とのうち一部又は全部は、例えば、CPU(Central Processing Unit)等のプロセッサが、記憶部28に記憶されたプログラムを実行することにより実現されてもよいし、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェアを用いて実現されてもよい。
サイズ取得部21は、画像上での判定対象の差異のサイズ(以下「判定サイズ」という。)を表す情報(以下「判定サイズ情報」という。)を外部から取得する。以下、判定サイズは、最大符号化ユニットのサイズである。判定サイズは、例えば、画素数を用いて表される。サイズ取得部21は、判定サイズ情報をパラメータ決定部22に送信する。
パラメータ決定部22は、判定サイズに基づいて、最大符号化ユニットのサイズ(以下「符号化サイズ」という。)を少なくとも決定する。パラメータ決定部22は、符号化サイズを表す情報等を含む符号化パラメータを、符号化部24に送信する。
画像取得部23は、ユーザが領域ごとに差異を評価する時系列の画像を、データベース10から取得する。画像取得部23は、3枚以上の時系列の画像を取得する。画像取得部23は、一例として、第1画像から第4画像までの4枚の画像を取得する。以下、第1画像は、最も新しい時刻に撮像された画像である。第2画像は、第1画像の次に新しい時刻に撮像された画像である。第3画像は、第2画像の次に新しい時刻に撮像された画像である。第4画像は、最も過去の時刻に撮像された画像である。画像取得部23は、時系列の画像を符号化部24及び画像処理部27に送信する。
符号化部24は、時系列の画像を符号化する。例えば、符号化部24は、符号化パラメータに基づいて、H.264/AVC(Advanced Video Coding)、HEVC、MPEG等の動画像符号化処理を実行してもよい。符号化部24は、符号化パラメータに基づいて、JPEG等の静止画符号化処理を実行してもよい。
以下では、時系列の画像のうちの複数の参照画像は、第2画像、第3画像及び第4画像である。参照画像との差異の有無が判定される対象の画像(以下「対象画像」という。)は、第1画像である。時系列の画像のうち対象画像及び参照画像は、予め定められた条件に基づいて、例えば画像取得部23によって振り分けられる。時系列の画像は、対象画像と参照画像とに分けられてデータベース10に記憶されていてもよい。
符号化部24は、対象画像及び参照画像を、判定サイズに基づいて符号化する。符号化部24は、HEVCの動画像符号化処理を実行する場合、対象画像及び参照画像に、判定サイズに基づくHEVCイントラ符号化処理を施す。
以下、対象画像内の最大符号化ユニットを「対象LCU」という。以下、対象画像において対象LCUに隣接する最大符号化ユニットを「隣接LCU」という。以下、参照画像において対象LCUの位置と空間的にほぼ同じ位置の最大符号化ユニットを「同位置LCU」という。以下、領域内の画像を「領域の小画像」という。
差異判定部25は、対象LCUの領域の小画像と隣接LCUの領域の小画像との差異の有無を、対象LCUの領域の小画像の符号化情報と隣接LCUの領域の小画像の符号化情報との差異に基づいて判定する。例えば、差異判定部25は、対象LCUの領域の小画像と隣接LCUの領域の小画像との差異の有無を、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との差異に基づいて判定する。
差異判定部25は、対象LCUの領域の小画像と隣接LCUの領域の小画像との差異がある場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との差異の有無をさらに判定する。
差異判定部25は、対象LCUの領域の小画像と同位置LCUの領域の小画像との差異の有無を、対象LCUの領域の小画像の符号化情報と同位置LCUの領域の小画像の符号化情報との差異に基づいて判定する。例えば、差異判定部25は、対象LCUの領域の小画像と隣接LCUの領域の小画像との差異の有無を、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との差異に基づいて判定する。
差異判定部25が対象画像及び参照画像の間の差異の有無を判定する方法は、特定の方法に限定されない。以下、一例として、差異判定部25が符号化処理における発生符号量に基づいて小画像間の差異の有無を判定する方法について説明する。
差異判定部25は、対象LCUの領域の発生符号量と、対象LCUの領域の上下左右の各隣接LCUの領域の発生符号量とを比較する。例えば、差異判定部25は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が下記の第1条件から第8条件までのいずれかを満たすか否かを判定する。
第1条件:max(R(N−1)/R(N),R(N)/R(N−1))>R_Th1
第2条件:max(R(N+1)/R(N),R(N)/R(N+1))>R_Th1
第3条件:max(R(N−x)/R(N),R(N)/R(N−x))>R_Th1
第4条件:max(R(N+x)/R(N),R(N)/R(N+x))>R_Th1
第5条件:min(R(N−1)/R(N),R(N)/R(N−1))<R_Th2
第6条件:min(R(N+1)/R(N),R(N)/R(N+1))<R_Th2
第7条件:min(R(N−x)/R(N),R(N)/R(N−x))<R_Th2
第8条件:min(R(N+x)/R(N),R(N)/R(N+x))<R_Th2
ここで、Rは、最大符号化ユニットの領域の発生符号量を表す。max(R(N−1),R(N))は、発生符号量R(N−1)及びR(N)のうち大きい値を表す。min(R(N−1),R(N))は、発生符号量R(N−1)及びR(N)のうち小さい値を表す。R_Th1は、R_Th1>1を満たす発生符号量閾値である。R_Th2は、0<R_Th2≦1を満たす発生符号量閾値である。Nは、対象画像内のN番目の対象LCUを表す。N−1は、対象LCUの左の隣接LCUを表す。N+1は、対象LCUの右の隣接LCUを表す。N−xは、対象LCUの上の隣接LCUを表す。N+xは、対象LCUの下の隣接LCUを表す。
差異判定部25は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第1条件から第8条件までのいずれも満たさない場合、対象LCUの領域の小画像と隣接LCUの領域の小画像との間の差異がないと判定する。すなわち、差異判定部25は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との差が少ない場合、対象LCUの領域の小画像と隣接LCUの領域の小画像との間の差異がないと判定する。差異判定部25は、対象LCUの領域の小画像と隣接LCUの領域の小画像との間の差異がないと判定された結果を、対象LCUの領域に対応付けて記憶部28に記録する。
差異判定部25は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第1条件から第8条件までのいずれかの条件を満たす場合、対象LCUの領域の発生符号量と、同位置LCUの領域の発生符号量とを比較する。例えば、差異判定部25は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が下記の第9条件又は第10条件を満たすか否かを判定する。
第9条件:max(R_A(N)/R_B(N),R_B(N)/R_A(N))>R_Th3
第10条件:min(R_A(N)/R_B(N),R_B(N)/R_A(N))<R_Th4
ここで、R_Aは、参照画像「A」内の同位置LCUの領域の発生符号量を表す。R_Bは、対象画像「B」内の対象LCUの領域の発生符号量を表す。R_Th3は、R_Th3>1を満たす発生符号量閾値である。R_Th4は、0<R_Th4≦1を満たす発生符号量閾値である。
差異判定部25は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第9条件及び第10条件のいずれも満たさない場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異がないと判定する。すなわち、差異判定部25は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との差が少ない場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異がないと判定する。差異判定部25は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異がないと判定された結果を、対象LCUの領域に対応付けて記憶部28に記録する。
差異判定部25は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第9条件又は第10条件を満たす場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異があると判定する。すなわち、差異判定部25は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との差が多い場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異があると判定する。差異判定部25は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異があると判定されたことを表す判定結果を、対象LCUの領域に対応付けて記憶部28に記録する。
差異判定部25は、符号化部24がHEVCの動画像符号化処理を実行した場合、画像の左上端に定められた符号化開始点をずらして符号化した場合における、小画像間の差異の有無の判定結果を算出してもよい。差異判定部25は、符号化開始点をずらさずに符号化した場合の判定結果と符号化開始点をずらして符号化した場合の判定結果とを重畳した結果(論理和の結果)を、最終的な判定結果と定めてもよい。
図2は、時系列の画像の例を示す図である。図2では、画像100−1は、対象画像であり、最も新しい時刻に撮像された画像である。画像100−2は、参照画像であり、画像100−1の次に新しい時刻に撮像された画像である。画像100−3は、参照画像であり、画像100−2の次に新しい時刻に撮像された画像である。画像100−4は、参照画像であり、最も過去の時刻に撮像された画像である。
以下、画像100−1〜100−4に共通する事項については、符号の一部を省略して「画像100」と表記する。画像100には、一例として、領域110と領域120と領域130とが定められている。
図2では、差異判定部25は、対象LCUの領域110−1の小画像と同位置LCUの領域110−2の小画像との間の差異があると判定する。差異判定部25は、対象LCUの領域110−1の小画像と同位置LCUの領域110−3の小画像との間の差異がないと判定する。差異判定部25は、対象LCUの領域110−1の小画像と同位置LCUの領域110−4の小画像との間の差異がないと判定する。
図2では、差異判定部25は、対象LCUの領域120−1の小画像と同位置LCUの領域120−2の小画像との間の差異がないと判定する。差異判定部25は、対象LCUの領域120−1の小画像と同位置LCUの領域120−3の小画像との間の差異があると判定する。差異判定部25は、対象LCUの領域120−1の小画像と同位置LCUの領域120−4の小画像との間の差異があると判定する。
図2では、差異判定部25は、対象LCUの領域130−1の小画像と同位置LCUの領域130−2の小画像との間の差異があると判定する。差異判定部25は、対象LCUの領域130−1の小画像と同位置LCUの領域130−3の小画像との間の差異があると判定する。差異判定部25は、対象LCUの領域130−1の小画像と同位置LCUの領域130−4の小画像との間の差異があると判定する。
図1に戻り、評価支援装置20aの構成の説明を続ける。評価指標取得部としての評価指標部26は、複数の対象LCUの領域のうちどの領域を優先して対象画像及び参照画像の間の差異を評価するかをユーザが判断するための評価指標を、小画像間の差異の有無を表す判定結果に基づいて、対象LCUの領域に付与する。
評価指標部26は、小画像間の差異の有無の判定結果を、符号化部24又は記憶部28から取得する。評価指標部26は、小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組の数(変化有である組の数)を、対象画像内の対象LCUの領域ごとに、画像100−1と2枚以上の参照画像とについて検出する。
図2では、領域110−1の小画像と領域110−2の小画像との間の差異があると判定されたので、小画像間の差異があると判定された対象LCUの領域110−1と同位置LCUの領域との組の数の検出結果(合算結果)は1である。
図2では、領域120−1の小画像と領域120−3の小画像との間の差異があると判定され、領域120−1の小画像と領域120−4の小画像との間の差異があると判定されたので、小画像間の差異があると判定された対象LCUの領域120−1と同位置LCUの領域との組の数の検出結果は2である。
図2では、領域130−1の小画像と領域130−2の小画像との間の差異があると判定され、領域130−1の小画像と領域130−3の小画像との間の差異があると判定され、領域130−1の小画像と領域130−4の小画像との間の差異があると判定されたので、小画像間の差異があると判定された対象LCUの領域130−1と同位置LCUの領域との組の数の検出結果は3である。
評価指標部26は、小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組の数の検出結果を、評価指標として対象LCUの領域に付与する。評価指標部26は、検出結果を評価指標として画像処理部27に出力する。評価指標部26は、評価指標としての検出結果を、表示装置30に出力してもよい。評価指標取得部としての評価指標部26は、対象画像における対象LCUの領域と参照画像における同位置LCUの領域との間で差異があると判定された領域の数と、対象画像における対象LCUの領域と参照画像における同位置LCUの領域との間で差異がないと判定された領域の数との少なくとも一方に基づき、評価指標を取得してもよい。
評価指標は、差異判定部25によって差異の有無が誤判定される確率が第1閾値未満である場合、差異を評価すべき優先度を表す。小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組の数が多い対象LCUの領域は、差異を評価すべき優先度が高い領域である。すなわち、小画像間の差異がないと判定された対象LCUの領域と同位置LCUの領域との組の数が多い対象LCUの領域は、差異を評価すべき優先度が低い領域である。
評価指標部26は、対象画像における対象LCUの領域と参照画像における同位置LCUの領域との間で差異があると判定された領域の数に基づいて、対象LCUそれぞれを評価の優先度を示す階級に分類してもよい。評価指標部26は、同位置LCUと差異があると判定された対象LCUが属する階級の優先度を、評価指標として得てもよい。
評価指標は、差異判定部25によって差異の有無が誤判定される確率が第1閾値以上である場合、小画像間の差異があると判定された結果の確度を表す。小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組の数が多い対象LCUの領域は、小画像間の差異があると判定された結果の確度が高い領域である。すなわち、小画像間の差異がないと判定された対象LCUの領域と同位置LCUの領域との組の数が多い対象LCUの領域は、小画像間の差異がないと判定された結果の確度が高い領域である。
画像処理部27は、評価指標としての検出結果を、評価指標部26から取得する。画像処理部27は、対象画像を画像取得部23から取得する。画像処理部27は、評価指標部26による評価指標としての検出結果に基づいて、対象画像に画像処理を施す。画像処理部27は、画像処理が施された対象画像を表示装置30に出力する。画像処理部27は、操作キー画像を含む画像を、グラフィカル・ユーザ・インタフェースの一つとして生成してもよい。
図3は、画像処理が施された画像100−1の表示の第1例を示す図である。画像処理部27は、領域110−1を囲む枠画像と領域120−1を囲む枠画像と領域130−1を囲む枠画像とを含む画像100−1を、表示装置30に出力する。領域110−1を囲む枠画像と領域120−1を囲む枠画像と領域130−1を囲む枠画像とは、評価指標としての検出結果に応じて異なってもよい。例えば、枠画像の枠の太さは、評価指標としての検出結果に応じて異なってもよい。枠画像の色は、評価指標としての検出結果に応じて異なってもよい。
以下、評価指標を表示する欄の画像を「指標表示欄画像」という。画像処理部27は、指標表示欄画像111−1と指標表示欄画像121−1と指標表示欄画像131−1とを含む画像100−1を、表示装置30に出力してもよい。
図4は、画像処理が施された画像100−1の表示の第2例を示す図である。画像処理部27は、領域110−1と領域120−1と領域130−1とのうち、評価指標としての検出結果を表す値に応じて、領域を塗りつぶしてもよい。画像処理部27は、領域110−1と領域120−1と領域130−1とのうち、評価指標としての検出結果を表す値に応じて、領域を点滅させてもよい。
図5は、画像処理が施された画像100−1の表示の第3例を示す図である。画像処理部27は、画像100−1に地図を重畳してもよい。例えば、画像処理部27は、地名や施設名等の名称を表示するための画像である名称表示欄画像122及び名称表示欄画像132を、画像100−1に重畳してもよい。画像処理部27は、地図上の施設の図形を表す地図画像140を、画像100−1に重畳してもよい。画像処理部27は、地図上の建物の立体図形を表す地図画像を、画像100−1に重畳してもよい。
図6は、画像処理が施された画像100−1の表示の第4例を示す図である。画像処理部27は、画像100−1内の領域の小画像が拡大された画像を生成してもよい。例えば、画像処理部27は、領域130−1の小画像が拡大された画像である領域拡大画像130a−1を生成してもよい。領域拡大画像130a−1の解像度は、領域130−1における画像の解像度と比較して高くてもよい。画像処理部27は、画像100−1と領域拡大画像130a−1とが並べられた画像を、表示装置30に出力してもよい。
画像処理部27は、領域ごとに得られた評価指標に基づいて、拡大する小画像を画像100−1内の領域の小画像から選択してもよい。例えば、画像処理部27は、評価指標、優先度又は確度が最も高い領域の小画像を拡大してもよい。
図7は、画像処理が施された画像100−1の表示の第5例を示す図である。画像処理部27は、画像100−1内の複数の領域の小画像が拡大された画像を生成してもよい。例えば、画像処理部27は、領域120−1の小画像が拡大された画像である領域拡大画像120a−1を生成してもよい。例えば、画像処理部27は、領域130−1の小画像が拡大された画像である領域拡大画像130a−1を生成してもよい。画像処理部27は、領域拡大画像120a−1と領域拡大画像130a−1とが並べられた画像を、表示装置30に出力してもよい。 画像処理部27は、領域ごとに得られた評価指標に基づいて、拡大する小画像を画像100−1内の領域の小画像から選択してもよい。例えば、画像処理部27は、他の領域より評価指標、優先度又は確度が高い幾つかの領域の小画像を拡大してもよい。
図8は、画像処理が施された画像100−1の表示の第6例を示す図である。画像処理部27は、画像100−1から画像100−4までの各小画像について、領域拡大画像を生成してもよい。例えば、画像処理部27は、領域拡大画像130a−1と同様に、領域拡大画像130a−2〜130a−4を生成してもよい。画像処理部27は、領域拡大画像130a−1から領域拡大画像130a−4までの各画像が時系列に並べられた画像を、表示装置30に出力してもよい。 画像処理部27は、領域ごとに得られた評価指標に基づいて、拡大する小画像を画像100−1〜100−4内の領域の小画像から選択してもよい。例えば、画像処理部27は、評価指標、優先度又は確度が最も高い領域の小画像と、当該領域に対応する参照画像内の領域の小画像とを拡大してもよい。
図1に戻り、評価支援装置20aの構成の説明を続ける。記憶部28は、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体(非一時的な記録媒体)を有する記憶装置である。記憶部28は、差異判定部25による判定結果を記憶する。記憶部28は、対象画像に撮像されているほぼ同一の空間領域の高解像度の画像を記憶してもよい。記憶部28は、地図情報を記憶してもよい。記憶部28は、評価指標部26による検出結果を、評価指標として記憶してもよい。
図9は、評価支援システム1の動作の例を示すフローチャートである。サイズ取得部21は、判定サイズ情報を取得する(ステップS101)。パラメータ決定部22は、判定サイズに基づいて符号化サイズ等の符号化パラメータを決定する(ステップS102)。画像取得部23は、3枚以上の時系列の画像を、データベース10から取得する(ステップS103)。符号化部24は、時系列の画像を符号化する(ステップS104)。
差異判定部25は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第1条件から第8条件までのいずれかを満たすか否かを判定する(ステップS105)。対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第1条件から第8条件までのいずれも満たさない場合(ステップS105:NO)、差異判定部25は、対象LCUの領域の小画像と隣接LCUの領域の小画像との間の差異がないと判定されたことを表す判定結果を記憶部28に記録するため、ステップS107に処理を進める。
対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第1条件から第8条件までのいずれかを満たす場合(ステップS105:YES)、差異判定部25は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第9条件又は第10条件を満たすか否かを判定する(ステップS106)。
対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第9条件及び第10条件のいずれも満たさない場合(ステップS106:NO)、差異判定部25は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異がないと判定されたことを表す判定結果を、記憶部28に記録する(ステップS107)。
対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第9条件又は第10条件を満たす場合(ステップS106:YES)、差異判定部25は、対象LCUの領域の小画像と同位置LCUの領域の小画像と間の差異があると判定されたことを表す判定結果を、記憶部28に記録する(ステップS107)。ステップS105からステップS107までの動作は、対象画像の領域(対象LCU)それぞれに対して行われる。
評価指標部26は、小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組の数を、対象画像内の対象LCUの領域ごとに、画像100−1と2枚以上の参照画像とについて検出する(ステップS108)。評価指標部26は、検出結果を評価指標として画像処理部27に出力する(ステップS109)。
画像処理部27は、評価指標部26による評価指標としての検出結果に基づいて、対象画像に画像処理を施す(ステップS110)。画像処理部27は、画像処理が施された対象画像を表示装置30に出力する(ステップS111)。
以上のように、第1実施形態の評価支援装置20aは、評価指標部26を備える。評価指標部26は、判定結果を取得する判定結果取得部として、ほぼ同一の空間領域が撮像された3枚以上の時系列の画像のうちの1枚である対象画像内の領域の小画像と時系列の画像のうちの他の複数の画像である複数の参照画像内の領域の小画像との差異の有無の判定結果を取得する。評価指標部26は、小画像間の差異があると判定された領域の組の数を時系列の画像について対象画像内の領域ごとに検出した結果を評価指標として得る。すなわち、評価支援装置20aは、小画像間の差異の有無に基づいて、蓄積された時系列の画像の品質に基づいた評価指標を得ることができる。
従来の技術では、画像内の複数の領域のうちどの領域を優先して時系列の画像間の差異を評価するかをユーザは判断することが困難である、という問題があった。評価指標をユーザに与えることによって、第1実施形態の評価支援装置20aは、画像内の複数の領域のうちどの領域を優先して時系列の画像間の差異を評価するかをユーザが判断することを支援することが可能である。
画像評価装置としての評価支援装置20aは、データベース10に記憶されている時系列の複数の画像に対して、画像間の差異に基づいた評価指標を得ることを特徴の一つとしている。評価支援装置20aにおいて、判定結果取得部としての評価指標部26が、対象画像における対象LCUの領域と参照画像における同位置LCUの領域との間で差異についての判定結果を取得する。評価指標取得部としての評価指標部26が、対象画像における対象LCUの領域と参照画像における同位置LCUの領域との間で差異があると判定された数と、対象画像における対象LCUの領域と参照画像における同位置LCUの領域との間で差異がないと判定された数との少なくとも一方に基づき、評価指標を対象画像内の領域ごとに取得する。画像間の差異に基づいた処理により、評価支援装置20aは、蓄積される画像が増えても、一貫した評価指標を得ることができる。さらに、評価支援装置20aは、得られた評価指標に基づいて、時系列の画像においていずれの領域の差異を優先して評価すべきかを示すことができ、時系列の画像における各領域に意味付けを行うことができる。
第1実施形態の評価指標部26は、小画像間の差異の有無が誤判定される確率が第1閾値未満である場合、差異を評価すべき優先度を表す値を得る。第1実施形態の評価指標部26は、小画像間の差異の有無が誤判定される確率が第1閾値以上である場合、小画像間の差異があると判定された結果の確度を表す値を得る。
(第2実施形態)
第2実施形態では、多値で表された評価指標としての検出結果が2値にまるめられる点が、第1実施形態と相違する。第2実施形態では、第1実施形態との相違点についてのみ説明する。
図10は、評価支援システム1の構成の例を示す図である。評価支援システム1は、データベース10と、評価支援装置20bと、表示装置30とを備える。評価支援装置20bが出力する評価指標は、評価指標部26によって付与された多値を表す評価指標に応じた値と第2閾値との比較結果である2値(小画像間の差異の有無)を表す。
画像評価装置としての評価支援装置20bは、サイズ取得部21と、パラメータ決定部22と、画像取得部23と、符号化部24と、差異判定部25と、評価指標部26と、画像処理部27と、記憶部28と、2値化部29とを備える。
画像取得部23は、一例として、図2に示された時系列の画像をデータベース10から取得する。第2実施形態では、差異判定部25によって差異の有無が誤判定される確率は、予め定められた一定確率以上である。評価指標部26は、評価指標としての検出結果を、2値化部29に出力する。
2値化部29は、評価指標部26による評価指標としての検出結果に基づいて、小画像間の差異の有無(2値)で表される評価指標を得る。例えば、2値化部29は、小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組の数(変化有である組の数)を、対象LCUの領域と同位置LCUの領域との組の総数で、対象LCUの領域ごとに除算する。すなわち、2値化部29は、変化有である組の数の検出結果(合算結果)を、対象LCUの領域と同位置LCUの領域との組の総数で、対象LCUの領域ごとに除算する。2値化部29は、小画像間の差異の有無で表される評価指標を、対象LCUの領域に付与する。
図2では、小画像間の差異があると判定された対象LCUの領域110−1と同位置LCUの領域との組の数は1である。対象LCUの領域110−1と同位置LCUの領域との組の総数は3である。2値化部29は、対象LCUの領域110−1について、評価指標部26によって付与された評価指標に応じた値である除算結果(1/3)を得る。
図2では、小画像間の差異があると判定された対象LCUの領域120−1と同位置LCUの領域との組の数は2である。対象LCUの領域120−1と同位置LCUの領域との組の総数は3である。2値化部29は、対象LCUの領域120−1について、評価指標部26によって付与された評価指標に応じた値である除算結果(2/3)を得る。
図2では、小画像間の差異があると判定された対象LCUの領域130−1と同位置LCUの領域との組の数は3である。対象LCUの領域130−1と同位置LCUの領域との組の総数は3である。2値化部29は、対象LCUの領域130−1について、評価指標部26によって付与された評価指標に応じた値である除算結果(3/3)を得る。2値化部29は、除算結果を記憶部28に記録してもよい。
2値化部29は、0から1までの間で予め定められた閾値と除算結果との大小関係を、対象LCUの領域ごとに比較する。2値化部29は、除算結果が閾値以上である対象LCUの領域と同位置LCUの領域との組を、小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組であると定める。2値化部29は、除算結果が閾値未満である対象LCUの領域と同位置LCUの領域との組を、小画像間の差異がないと判定された対象LCUの領域と同位置LCUの領域との組であると定める。以下、閾値は、0以上1未満の値のうち(0.5)である。
図2では、2値化部29は、除算結果(1/3)が閾値0.5未満である対象LCUの領域110−1と同位置LCUの領域との組を、小画像間の差異がないと判定された領域の組であると定める。2値化部29は、小画像間の差異がないことを表す評価指標を、対象LCUの領域110−1に付与する。
2値化部29は、除算結果(2/3)が閾値0.5以上である対象LCUの領域120−1と同位置LCUの領域との組を、小画像間の差異があると判定された領域の組であると定める。2値化部29は、小画像間の差異があることを表す評価指標を、対象LCUの領域120−1に付与する。
2値化部29は、除算結果(3/3)が閾値0.5以上である対象LCUの領域130−1と同位置LCUの領域との組を、小画像間の差異があると判定された領域の組であると定める。2値化部29は、小画像間の差異があることを表す評価指標を、対象LCUの領域130−1に付与する。
2値化部29は、小画像間の差異の有無(2値)を表す評価指標を、対象LCUの領域ごとに画像処理部27に出力する。
画像処理部27は、小画像間の差異の有無を表す評価指標を、2値化部29から取得する。画像処理部27は、小画像間の差異の有無を表す評価指標に基づいて、対象画像に画像処理を施す。
第2実施形態における評価指標は、小画像間の差異の有無で表される。差異判定部25によって差異の有無が誤判定される確率が一定確率以上である場合、小画像間の差異があると2値化部29によって判定された対象LCUの領域は、差異を評価すべき優先度が高い領域である。
以上のように、第2実施形態の評価支援装置20bは、2値化部29を備える。2値化部29は、評価指標部26による評価指標に応じた値と第2閾値との比較結果に基づいて、小画像間の差異の有無を表す評価指標を得る。
これによって、第2実施形態の評価支援装置20aは、差異の有無が誤判定される確率が一定確率以上である場合でも、画像内の複数の領域のうちどの領域を優先して時系列の画像間の差異を評価するかをユーザが判断することをより確実に支援することが可能である。
2値化部29は、小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組の数(変化有である組の数)と閾値との大小関係を、対象LCUの領域ごとに比較してもよい。2値化部29は、変化有である組の数が閾値以上である対象LCUの領域と同位置LCUの領域との組を、小画像間の差異があると判定された対象LCUの領域と同位置LCUの領域との組であると定めてもよい。このようにしても、第2実施形態の評価支援装置20aは、除算結果を用いる場合と同様の効果を得ることが可能である。
2値化部29は、評価指標部26により得られる優先度又は確度に基づいて、小画像間の差異の有無を表す2値の指標を得てもよい。例えば、2値化部29は、確度が所定値以上である場合に小画像間に差異ありを示す指標を対象LCUの領域に付与し、確度が所定値未満である場合に小画像間に差異なしを示す指標を対象LCUの領域に付与してもよい。
(第3実施形態)
図11は、画像分別システム301の構成の例を示す図である。画像分別システム301は、画像を分別するシステムである。画像分別システム301は、画像蓄積装置310と、データベース320と、画像評価装置としての画像分別装置330aとを備える。
画像蓄積装置310は、画像を蓄積する情報処理装置である。画像蓄積装置310は、ユーザが所望する品質基準を満たしている画像を所定の精度で分別するフィルタ処理を、時系列の画像に施す。品質基準とは、例えば、撮像対象の空間領域のうち一定割合以上の面積の空間領域が撮像されているという品質基準である。例えば、画像が航空画像又は衛星画像である場合、品質基準とは、一定割合以上の面積の領域が雲や霧に隠されることなく撮像されているという品質基準である。時系列の画像には、ほぼ同一の空間領域が撮像されている。画像は、例えば、医用画像、監視用画像、航空画像又は衛星画像である。衛星画像は、例えば、1日に1回程度の周期で人工衛星によって撮像された地表のほぼ同一の空間領域の画像である。
品質基準の他の例として、第3実施形態及び後述する第4〜第6実施形態においても、蓄積されている画像間における撮像対象の変化の検出しやすさを品質基準としてもよい。さらに、画像において撮像対象が明りょうに写っている場合に、当該画像が品質基準を満たしていると判定してもよい。すなわち、品質基準は、撮像対象に関して定められてもよい。
画像蓄積装置310は、例えば、特許文献1の図9、図12及び図13に示されたデータ評価部の処理をフィルタ処理として実行する。画像蓄積装置310は、フィルタ処理によって分別された時系列の画像をデータベース320に蓄積する。第3実施形態では、画像蓄積装置310は、所定の精度のフィルタ処理によって分別された画像をデータベース320に蓄積した後、データベース320に蓄積されている時系列の画像に新たな画像を追加しない。
データベース320は、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体(非一時的な記録媒体)を有する記憶装置である。データベース320は、所定の精度のフィルタ処理によって分別された時系列の画像を記憶する。データベース320が記憶している時系列の画像のうち多くは、ユーザが所望する品質基準を満たしている画像である。例えば、データベース320に蓄積された時系列の画像のうち過半数の画像は、ユーザが所望する品質基準を満たしている画像(鮮明画像)である。しかしながら、データベース320が記憶している時系列の画像のうち一部は、フィルタ処理の精度に応じて、ユーザが所望する品質基準を満たしていない画像である。
画像には、複数の領域(ブロック)が含まれている。画像内の領域の形状は、例えば、矩形である。画像内の領域は、例えば、MPEG(Moving Picture Experts Group)等のマクロブロック(MB: Macro Block)、HEVC(High Efficiency Video Coding)等の符号化ユニット(CU: Coding Unit)、最大符号化ユニット(LCU: Largest CU)、予測ユニット(PU:Prediction Unit)、変換ユニット(TU:Transform Unit)の単位で、画像に定められる。領域は、最大符号化ユニットの単位で画像に定められる場合について説明する。
画像分別装置330aは、データベース320に記憶されている時系列の画像を分別する情報処理装置である。画像分別装置330aは、時系列の画像をデータベース320から取得する。画像分別装置330aは、時系列の画像間の差異の有無を判定する。画像分別装置330aは、データベース320に記憶されている時系列の画像のうち、ユーザが所望する品質基準を満たしている画像とユーザが所望する品質基準を満たしていない画像とを分別する。画像分別装置330aは、データベース320に記憶されている時系列の画像から、ユーザが所望する品質基準を満たしていない画像を除去する。
画像分別装置330aは、サイズ取得部331と、パラメータ決定部332と、画像取得部333と、符号化部334と、差異判定部335と、分別部336と、記憶部337と、除去部338とを備える。
サイズ取得部331とパラメータ決定部332と画像取得部333と符号化部334と差異判定部335と分別部336と除去部338とのうち一部又は全部は、例えば、CPU(Central Processing Unit)等のプロセッサが、記憶部337に記憶されたプログラムを実行することにより実現されてもよいし、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェアを用いて実現されてもよい。
サイズ取得部331は、画像上での差異を判定したい対象(画像上での判定対象)のサイズ(以下「判定サイズ」という。)を表す情報(以下「判定サイズ情報」という。)を外部から取得する。以下、判定サイズは、最大符号化ユニットのサイズである。判定サイズは、例えば、画素数を用いて表される。サイズ取得部331は、判定サイズ情報をパラメータ決定部332に送信する。
パラメータ決定部332は、最大符号化ユニットのサイズ(以下「符号化サイズ」という。)等を表す情報を含む符号化パラメータを、判定サイズに基づいて少なくとも決定する。パラメータ決定部332は、符号化サイズを表す情報等を含む符号化パラメータを、符号化部334に送信する。
画像取得部333は、時系列の画像をデータベース320から取得する。画像取得部333は、例えば、3枚以上の時系列の画像を取得する。画像取得部333は、時系列の画像を符号化部334に送信する。以下、参照画像との差異の有無が判定される対象の画像を「対象画像」という。参照画像は、時系列画像の画像であって対象画像以外の画像である。時系列の画像は、予め定められた条件に基づいて、画像取得部333又は差異判定部335によって対象画像及び参照画像に振り分けられる。時系列の画像は、対象画像と参照画像とに分けられてデータベース320に記憶されていてもよい。
符号化部334は、時系列の画像を符号化する。例えば、符号化部334は、符号化パラメータに基づいて、H.264/AVC(Advanced Video Coding)、HEVC、MPEG等の動画像符号化処理を実行する。符号化部334は、符号化パラメータに基づいて、JPEG等の静止画符号化処理を実行してもよい。
符号化部334は、対象画像及び参照画像を、判定サイズに基づいて符号化する。符号化部334は、HEVCの動画像符号化処理を実行する場合、対象画像及び参照画像に、判定サイズに基づくHEVCイントラ符号化処理を施す。
以下、対象画像内の最大符号化ユニットを「対象LCU」という。対象画像において対象LCUに隣接する最大符号化ユニットを「隣接LCU」という。参照画像において対象LCUの位置と空間的に同じ位置の最大符号化ユニットを「同位置LCU」という。領域内の画像を「領域の小画像」という。
差異判定部335は、対象LCUの領域の小画像と隣接LCUの領域の小画像との差異の有無を、対象LCUの領域の小画像の画素値と隣接LCUの領域の小画像の画素値との差異に基づいて判定する。例えば、差異判定部335は、対象LCUの領域の小画像と隣接LCUの領域の小画像との差異の有無を、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との差異に基づいて判定する。
差異判定部335は、対象LCUの領域の小画像と隣接LCUの領域の小画像との差異がある場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との差異の有無をさらに判定する。差異判定部335は、対象LCUの領域の小画像と同位置LCUの領域の小画像との差異の有無を、対象LCUの領域の小画像の画素値と同位置LCUの領域の小画像の画素値との差異に基づいて判定する。例えば、差異判定部335は、対象LCUの領域の小画像と隣接LCUの領域の小画像との差異の有無を、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との差異に基づいて判定する。
差異判定部335が対象画像及び参照画像の間の差異の有無を判定する方法は、特定の方法に限定されない。以下、一例として、差異判定部335が符号化処理における発生符号量に基づいて小画像間の差異の有無を判定する方法について説明する。
差異判定部335は、対象LCUの領域の発生符号量と、対象LCUの領域の上下左右の各隣接LCUの領域の発生符号量とを比較する。例えば、差異判定部335は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が下記の第11条件から第18条件までのいずれかを満たすか否かを判定する。
第11条件:max(R(N−1)/R(N),R(N)/R(N−1))>R_Th1
第12条件:max(R(N+1)/R(N),R(N)/R(N+1))>R_Th1
第13条件:max(R(N−x)/R(N),R(N)/R(N−x))>R_Th1
第14条件:max(R(N+x)/R(N),R(N)/R(N+x))>R_Th1
第15条件:min(R(N−1)/R(N),R(N)/R(N−1))<R_Th2
第16条件:min(R(N+1)/R(N),R(N)/R(N+1))<R_Th2
第17条件:min(R(N−x)/R(N),R(N)/R(N−x))<R_Th2
第18条件:min(R(N+x)/R(N),R(N)/R(N+x))<R_Th2
ここで、Rは、最大符号化ユニットの領域の発生符号量を表す。max(R(N−1),R(N))は、発生符号量R(N−1)及びR(N)のうち大きい値を表す。min(R(N−1),R(N))は、発生符号量R(N−1)及びR(N)のうち小さい値を表す。R_Th1は、R_Th1>1を満たす発生符号量閾値である。R_Th2は、0<R_Th2≦1を満たす発生符号量閾値である。Nは、対象画像内のN番目の対象LCUを表す。N−1は、対象LCUの左の隣接LCUを表す。N+1は、対象LCUの右の隣接LCUを表す。N−xは、対象LCUの上の隣接LCUを表す。N+xは、対象LCUの下の隣接LCUを表す。第11条件から第14条件における発生符号量閾値R_Th1は、第1条件から第4条件における発生符号量閾値R_Th1と同じ値であってもよいし、異なる値であってもよい。第15条件から第18条件における符号発生量閾値R_Th2は、第5条件から第8条件における符号発生量閾値R_Th2と同じ値であってもよいし、異なる値であってもよい。
差異判定部335は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第11条件から第18条件までのいずれも満たさない場合、対象LCUの領域の小画像と隣接LCUの領域の小画像との間の差異がないと判定する。すなわち、差異判定部335は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との差が少ない場合、対象LCUの領域の小画像と隣接LCUの領域の小画像との間の差異がないと判定する。差異判定部335は、対象LCUの領域の小画像と隣接LCUの領域の小画像との間の差異がないと判定された結果を、対象LCUの領域に対応付けて記憶部337に記録する。
差異判定部335は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第11条件から第18条件までのいずれかの条件を満たす場合、対象LCUの領域の発生符号量と、同位置LCUの領域の発生符号量とを比較する。例えば、差異判定部335は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が下記の第19条件又は第20条件を満たすか否かを判定する。
第19条件:max(R_A(N)/R_B(N),R_B(N)/R_A(N))>R_Th3
第20条件:min(R_A(N)/R_B(N),R_B(N)/R_A(N))<R_Th4
ここで、R_Aは、参照画像「A」内の同位置LCUの領域の発生符号量を表す。R_Bは、対象画像「B」内の対象LCUの領域の発生符号量を表す。R_Th3は、R_Th3>1を満たす発生符号量閾値である。R_Th4は、0<R_Th4≦1を満たす発生符号量閾値である。第19条件における発生符号量閾値R_Th3は、第9条件における発生符号量閾値R_Th3と同じ値であってもよいし、異なる値であってもよい。第20条件における発生符号量閾値R_Th4は、第10条件における発生符号量閾値R_Th4と同じ値であってもよいし、異なる値であってもよい。
差異判定部335は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第19条件及び第20条件のいずれも満たさない場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異がないと判定する。すなわち、差異判定部335は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との差が少ない場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異がないと判定する。差異判定部335は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異がないと判定された結果を、対象LCUの領域に対応付けて記憶部337に記録する。
差異判定部335は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第19条件又は第20条件を満たす場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異があると判定する。すなわち、差異判定部335は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との差が多い場合、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異があると判定する。差異判定部335は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異があると判定されたことを表す判定結果を、対象LCUの領域に対応付けて記憶部337に記録する。
差異判定部335は、符号化部334がHEVCの動画像符号化処理を実行した場合、画像の左上端に定められた符号化開始点をずらして符号化した場合における、小画像間の差異の有無の判定結果を算出してもよい。差異判定部335は、符号化開始点をずらさずに符号化した場合の判定結果と符号化開始点をずらして符号化した場合の判定結果とを重畳した結果(論理和の結果)を、最終的な判定結果と定めてもよい。
図12は、第3実施形態における、画像間の差異の有無の判定の例を示す図である。図12では、符号化部334によって符号化された画像400は、符号化される前の画像400を用いて模式的に表されている。画像400−1〜400−5は、時系列の画像である。例えば、画像400−1は、撮像時刻が最も新しい画像でもよい。第3実施形態では、参照画像が一例として4枚である場合について説明するが、参照画像が2枚以上であれば、画像分別装置330aは、ユーザが所望する品質基準に応じて画像を分別することが可能である。
差異判定部335は、画像400−1〜400−5から1枚ずつ、対象画像とする画像を選択する。時系列の画像がN枚(Nは3以上の整数)である場合、差異判定部335は、(N×(N−1)/2)回、時系列の画像の間の差異を判定する。
図12では、画像400−1は対象画像である。画像400−2〜400−5は、参照画像である。差異判定部335は、対象画像として選択された画像400−1と参照画像である画像400−2〜400−4との間の差異がないと判定する。図12おける丸印は、画像間の差異がないと判定されたことを表す。差異判定部335は、対象画像として選択された画像400−1と参照画像である画像400−5との間の差異があると判定する。図12におけるバツ印は、画像間の差異があると判定されたことを表す。差異判定部335は、画像400−2〜400−4を対象画像として選択した場合も同様に、対象画像と参照画像との差異の有無を判定する。
図13は、第3実施形態における、画像間の差異の有無の判定の第2例を示す図である。図13では、画像400−1〜400−4は、参照画像である。画像400−5は、対象画像である。差異判定部335は、対象画像として選択された画像400−5と参照画像である画像400−1〜400−4との間の差異があると判定する。
図11に戻り、画像分別装置330aの構成の説明を続ける。分別部336は、対象画像との差異があると判定された参照画像の数と、対象画像との差異がないと判定された参照画像の数との比較の結果(多数決の結果)に基づいて、時系列の画像のうち品質基準を満たしている画像と品質基準を満たしていない画像とを分別する。例えば、分別部336は、時系列の画像における参照画像の総数(合計数)に対する、対象画像との差異があると判定された参照画像の数の割合(比率)を、比較の結果(評価指標)として算出する。分別部336は、算出された割合が第3閾値以上であるか否かを、式(1)に示す大小関係に基づいて判定する。第3閾値は、予め定められた1未満の正値である。
(対象画像との差異があると判定された参照画像の数)/(参照画像の総数)≧第3閾値 …(1)
図12では、画像400−1〜400−4が対象画像として選択された場合、式(1)の左辺の値は(1/4)である。図13では、画像400−5が対象画像として選択された場合、式(1)の左辺の値は(4/4)である。
分別部336は、式(1)の左辺の値が第3閾値以上となる対象画像を、ユーザが所望する品質基準を満たしていない画像(不鮮明画像)と定める。分別部336は、分別結果を表す情報を記憶部337に記録する。分別部336は、分別結果を表す情報を除去部338に出力する。分別結果は、例えば、ユーザが所望する品質基準を満たしていない画像の識別情報を含む。
記憶部337は、磁気ハードディスク装置や半導体記憶装置等の不揮発性の記録媒体(非一時的な記録媒体)を有する記憶装置である。記憶部337は、差異判定部335による判定結果を記憶する。記憶部337は、分別部336による分別結果を記憶する。
除去部338は、ユーザが所望する品質基準を満たしていない画像を、データベース320に記録されている時系列の画像から分別結果に基づいて除去する。除去部338は、特許文献1の図9、図12及び図13に示されたデータ評価部の画像除去処理を実行してもよい。
図14は、画像分別システム301の動作の例を示すフローチャートである。サイズ取得部331は、判定サイズ情報を取得する(ステップS401)。パラメータ決定部332は、符号化サイズ等の符号化パラメータを、判定サイズに基づいて少なくとも決定する(ステップS402)。画像取得部333は、時系列の画像をデータベース320から取得する(ステップS403)。符号化部334は、時系列の画像を符号化する(ステップS404)。
差異判定部335は、対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第11条件から第18条件までのいずれかを満たすか否かを判定する(ステップS405)。対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第11条件から第18条件までのいずれも満たさない場合(ステップS405:NO)、差異判定部335は、対象LCUの領域の小画像と隣接LCUの領域の小画像と間の差異がないと判定されたことを表す判定結果を記憶部337に記録するため、ステップS407に処理を進める。
対象LCUの領域の発生符号量と隣接LCUの領域の発生符号量との関係が第11条件から第18条件までのいずれかを満たす場合(ステップS405:YES)、差異判定部335は、対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第19条件又は第20条件を満たすか否かを判定する(ステップS406)。
対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第19条件及び第20条件のいずれも満たさない場合(ステップS406:NO)、差異判定部335は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異がないと判定されたことを表す判定結果を、記憶部337に記録する。
対象LCUの領域の発生符号量と同位置LCUの領域の発生符号量との関係が第19条件又は第20条件を満たす場合(ステップS406:YES)、差異判定部335は、対象LCUの領域の小画像と同位置LCUの領域の小画像と間の差異があると判定されたことを表す判定結果を、記憶部337に記録する。第3実施形態では、差異判定部335は、対象画像の小画像と参照画像の小画像との間の差異があると判定された参照画像を、対象画像との差異がある参照画像であると判定し、記憶部337に記録する(ステップS407)。ステップS405からステップS407までの動作は、対象画像の領域(対象LCU)それぞれに対して行われる。
分別部336は、差異があると判定された参照画像の数と、差異がないと判定された参照画像の数との比較の結果に基づいて、対象画像が品質基準を満たしているか否かを判定する。分別部336は、対象画像が品質基準を満たしているか否かに応じて複数の画像を分別する(ステップS408)。除去部338は、ユーザが所望する品質基準を満たしていない画像を、データベース320に記録されている時系列の画像から分別結果に基づいて除去する(ステップS409)。
以上のように、第3実施形態の画像分別装置330aは、分別部336を備える。分別部336は、判定結果を取得する判定結果取得部として、複数の画像から選択された対象画像と参照画像との差異の有無の判定結果を取得する。評価指標取得部としての分別部336は、対象画像と参照画像との間で差異があると判定された数と、対象画像と参照画像との間で差異がないと判定された数との少なくとも一方に基づき、時系列の画像それぞれの評価指標を取得する。すなわち、分別部336は、データベース320に記録されている時系列の画像の品質に基づいた評価指標を得ることができる。
分別部336は、対象画像との差異があると判定された参照画像の数と対象画像との差異がないと判定された参照画像の数との比較の結果(評価指標)に基づいて、複数の画像のうち品質基準を満たしている画像と品質基準を満たしていない画像とを分別する。記憶部337に記憶されている画像の半数以上が撮像対象に関する品質基準を満たしている場合、分別部336は、比較の結果として得られる評価指標に基づいて、時系列の画像において品質基準を満たしていない画像を検出できる。したがって、分別部336は、評価指標に基づいて、品質基準を満たしている画像を時系列の画像から分別できる。
従来の技術では、ユーザが所望する品質基準に応じて画像を分別することができない、という問題があった。上記の分別によって、第3実施形態の画像分別装置330aは、ユーザが所望する品質基準に応じて画像を分別することが可能である。第3実施形態の画像分別装置330aは、単一の画像を解析する代わりに複数の画像を用いて画像を分別するので、精度良く画像を分別することが可能である。
画像評価装置としての画像分別装置330aは、データベース320に記憶されている時系列の複数の画像に対して、画像間の差異に基づいた評価指標を得ることを特徴の一つとしている。画像間の差異に基づいた処理により、画像分別装置330aは、蓄積される画像が増えても、一貫した評価指標を得ることができる。さらに、画像分別装置330aは、得られた評価指標に基づいて、時系列の画像における品質基準に応じた分別を行うことができる。
(第4実施形態)
第4実施形態では、画像内の領域の小画像の面積に基づいて画像間の差異の有無を差異判定部335が判定する点が、第3実施形態と相違する。第4実施形態では、第3実施形態との相違点についてのみ説明する。
図15は、第4実施形態における、画像間の差異の有無の判定の第1例を示す図である。画像400−1〜400−6は、時系列の画像である。画像400は、3×3(=9)の領域410〜490に区分されている。領域410〜490の小画像の各面積は、画像400において同じである。
差異判定部335は、画像400−1〜400−6から1枚ずつ、対象画像とする画像を選択する。図15では、画像400−1は対象画像である。画像400−2〜400−6は、参照画像である。
差異判定部335は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異があるか否かを判定する。例えば、差異判定部335は、対象LCUの領域490−1の小画像と同位置LCUの領域490−2の小画像との間の差異があると判定する。時系列の画像が6枚である場合、差異判定部335は、15(=6×(6−1)/2)回、時系列の画像の間の差異を判定する。
画像400−1と画像400−2との間では、差異判定部335は、領域490−1の小画像と領域490−2の小画像との間で差異があると判定する。画像400−1との差異がある画像400−2の領域の小画像の総面積は、画像400−2の面積の(1/9)である。すなわち、画像400−1との差異がある画像400−2の領域の小画像の数は、画像400−2の領域の小画像の総数の(1/9)である。領域と小画像とは一対一で対応するので、領域の小画像の数は、領域の数と等しい。
画像400−1と画像400−3との間では、差異判定部335は、領域490−1の小画像と領域490−3の小画像との間で差異があると判定する。画像400−1との差異がある画像400−3の領域の小画像の総面積は、画像400−3の面積の(1/9)である。すなわち、画像400−1との差異がある画像400−3の領域の小画像の数は、画像400−3の領域の小画像の総数の(1/9)である。
画像400−1と画像400−4との間では、差異判定部335は、領域480−1の小画像と領域480−4の小画像との間で差異があると判定する。差異判定部335は、領域490−1の小画像と領域490−4の小画像との間で差異があると判定する。画像400−1との差異がある画像400−4の領域の小画像の総面積は、画像400−4の面積の(2/9)である。すなわち、画像400−1との差異がある画像400−3の領域の小画像の数は、画像400−3の領域の小画像の総数の(2/9)である。
画像400−1と画像400−5との間では、差異判定部335は、領域450−1の小画像と領域450−5の小画像との間で差異があると判定する。差異判定部335は、領域480−1の小画像と領域480−5の小画像との間で差異があると判定する。差異判定部335は、領域490−1の小画像と領域490−5の小画像との間で差異があると判定する。画像400−1との差異がある画像400−5の領域の小画像の総面積は、画像400−5の面積の(3/9)である。すなわち、画像400−1との差異がある画像400−5の領域の小画像の数は、画像400−5の領域の小画像の総数の(3/9)である。
画像400−1と画像400−6との間では、差異判定部335は、領域490−1の小画像と領域490−6の小画像との間で差異がないと判定する。画像400−1との差異がある画像400−6の領域の小画像の総面積は、画像400−6の面積の(8/9)である。すなわち、画像400−1との差異がある画像400−6の領域の小画像の数は、画像400−6の領域の小画像の総数の(8/9)である。
差異判定部335は、参照画像内の一定割合(第4閾値)以上の面積で対象画像との差異があると判定された参照画像を、対象画像との差異がある参照画像と定める。一定割合が(3/9)である場合、差異判定部335は、対象画像として選択された画像400−1と参照画像である画像400−2〜400−4との間の差異がないと判定する。差異判定部335は、対象画像として選択された画像400−1と参照画像である画像400−5〜400−6との間の差異があると判定する。
分別部336は、時系列の画像における参照画像の総数に対する、対象画像との差異がある参照画像の数の割合(2/5)を、比較の結果として算出する。分別部336は、算出された割合が第3閾値以上であるか否かを、式(1)に示す大小関係に基づいて判定する。第3閾値が(1/2)である場合、分別部336は、式(1)の左辺の値(割合)が第3閾値未満である画像400−1を、ユーザが所望する品質基準を満たしている画像(鮮明画像)と定める。
図16は、第4実施形態における、画像間の差異の有無の判定の第2例を示す図である。図16では、画像400−6は対象画像である。画像400−1〜400−5は、参照画像である。差異判定部335は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間の差異があるか否かを判定する。例えば、差異判定部335は、対象LCUの領域490−6の小画像と同位置LCUの領域490−5の小画像との間の差異があると判定する。
画像400−6と画像400−1との間では、差異判定部335は、領域490−6の小画像と領域490−1の小画像との間で差異がないと判定する。画像400−6との差異がある画像400−1の領域の小画像の総面積は、画像400−1の面積の(8/9)である。
画像400−6と画像400−2との間では、画像400−6との差異がある画像400−2の領域の小画像の総面積は、画像400−2の面積の(9/9)である。画像400−3〜400−5についても、画像400−2と同様に、差異がある領域の小画像の総面積は、画像400−3〜400−5の面積の(9/9)である。
差異判定部335は、参照画像内の一定割合(第4閾値)以上の面積で対象画像との差異があると判定された参照画像を、対象画像との差異がある参照画像と定める。一定割合が(3/9)である場合、差異判定部335は、対象画像として選択された画像400−6と参照画像である画像400−1〜400−5との間の差異があると判定する。
分別部336は、参照画像の総数に対する、対象画像との差異がある参照画像の数の割合(5/5)を、比較の結果として算出する。分別部336は、算出された割合が第3閾値以上であるか否かを、式(1)に示す大小関係に基づいて判定する。第3閾値が(1/2)である場合、分別部336は、式(1)の左辺の値(割合)が第3閾値以上である画像400−6を、ユーザが所望する品質基準を満たしていない画像と定める。例えば、データベース320に記憶されている時系列の画像において過半数の画像に撮像対象が明りょうに写っている場合、分別部336は、画像400−6を撮像対象に関する品質基準を満たしていない不鮮明な画像と定める。
図17は、第4実施形態における、画像分別システムの動作の例を示すフローチャートである。ステップS501〜ステップS507における動作は、図14のステップS401〜ステップS407における動作と同様である。
差異判定部335は、対象LCUの領域の小画像と同位置LCUの領域の小画像との間で差異がある領域の小画像の面積を、参照画像ごとに検出する(ステップS508)。差異判定部335は、参照画像内の一定割合以上の面積で対象画像との差異があると判定された参照画像を、対象画像との差異がある参照画像と定める(ステップS509)。差異判定部335は、対象画像との差異がある参照画像を計数する(ステップS510)。
ステップS511〜ステップS512における動作は、図4のステップS408〜ステップS409における動作と同様である。
以上のように、第4実施形態の差異判定部335は、参照画像の面積に対する一定割合以上の面積で対象画像との差異があると判定された参照画像を、対象画像との差異がある参照画像であると判定する。これによって、第4実施形態の画像分別装置330aは、ユーザが所望する品質基準に応じて、画像をより精度良く分別することが可能である。
(第5実施形態)
第5実施形態では、小画像間の差異がある領域の小画像の面積に応じて分別部336が画像を分別する点が、第3及び第4実施形態と相違する。第5実施形態では、第3及び第4実施形態との相違点についてのみ説明する。
差異判定部335は、時系列の画像における、対象画像内の領域の小画像との差異があると判定された参照画像内の領域の小画像の総面積を検出する。分別部336は、時系列の画像における参照画像の総面積に対する、対象画像内の領域の小画像との差異があると判定された参照画像内の領域の小画像の総面積の割合に基づいて、画像を分別する。分別部336は、時系列の画像における参照画像内の領域の総数に対する、対象画像内の領域の小画像との差異があると判定された小画像を含む参照画像内の領域の数の割合に基づいて、画像を分別してもよい。
第5実施形態における判定の一例を、図16を用いて説明する。画像400−6との差異がある画像400−1の領域の小画像の数は、8個である。画像400−6との差異がある画像400−2の領域の小画像の数は、9個である。画像400−6との差異がある画像400−3の領域の小画像の数は、9個である。画像400−6との差異がある画像400−4の領域の小画像の数は、9個である。画像400−6との差異がある画像400−5の領域の小画像の数は、9個である。したがって、時系列の画像において、対象画像である画像400−6の領域の小画像との差異がある参照画像の領域の小画像の総数は、計44個である。
分別部336は、時系列の画像において、対象画像の領域の小画像との差異がある参照画像の領域の小画像の総数が閾値以上となる対象画像を、ユーザが所望する品質基準を満たしていない画像(不鮮明画像)と定める。図16では、分別部336は、画像400−6の領域の小画像との差異がある画像400−1〜400−5の領域の小画像の総数(44)が第5閾値(23)以上である画像400−6を、ユーザが所望する品質基準を満たしていない画像(不鮮明画像)と定める。第5閾値は、各参照画像における領域の総数に対する半数に基づいて定められてもよい。
分別部336は、ユーザが所望する品質基準を満たしている画像であるか否かを、以下のように判定してもよい。
対象画像の領域の小画像との差異がある参照画像の領域の小画像の数は、時系列の画像における参照画像の総数の(44/45)である。すなわち、対象画像の領域の小画像との差異がある参照画像の領域の小画像の総面積は、時系列の画像における参照画像の総面積の(44/45)である。
分別部336は、時系列の画像における参照画像の総面積に対して、対象画像の領域の小画像との差異がある参照画像の領域の小画像の総面積の割合が閾値以上となる対象画像を、ユーザが所望する品質基準を満たしていない画像と定める。図16では、分別部336は、時系列の画像における参照画像の総面積(45)に対して、画像400−6の領域の小画像との差異がある画像400−1〜400−5の領域の小画像の総面積の割合(44/45)が第6閾値(1/2)以上である画像400−6を、ユーザが所望する品質基準を満たしていない画像と定めてもよい。
図18は、第5実施形態における、画像分別システム301の動作の例を示すフローチャートである。ステップS601〜ステップS608における動作は、図17のステップS501〜ステップS508における動作と同様である。
差異判定部335は、時系列の画像における、対象画像内の領域の小画像との差異があると判定された参照画像内の領域の小画像の総面積を検出する(ステップS609)。分別部336は、時系列の画像における参照画像の総面積に対する、対象画像内の領域の小画像との差異があると判定された参照画像内の領域の小画像の総面積の割合を検出する(ステップS610)。分別部336は、小画像の総面積の割合に基づいて画像を分別する(ステップS611)。ステップS612における動作は、図17のステップS512における動作と同様である。
以上のように、第5実施形態の分別部336は、複数の画像における参照画像の総面積に対する、対象画像内の領域の小画像との差異があると判定された参照画像内の領域の小画像の総面積の割合に基づいて、対象画像との差異がある参照画像であると判定する。これによって、第5実施形態の画像分別装置330aは、ユーザが所望する品質基準に応じて画像を分別することが可能である。
(第6実施形態)
第6実施形態では、データベース320に記憶されている時系列の画像に新たな画像が追加される点が、第3〜第5実施形態と相違する。第6実施形態では、第3〜第5実施形態との相違点についてのみ説明する。
図19は、第6実施形態における、画像分別システム301の構成の例を示す図である。画像分別システム301は、画像蓄積装置310と、データベース320と、画像評価装置としての画像分別装置330bとを備える。画像蓄積装置310は、データベース320に記録しようとする新たな画像を、画像分別装置330bに送信する。画像蓄積装置310は、新たな画像が品質基準を満たす画像であるか否かを表す情報を、画像分別装置330bから取得する。画像蓄積装置310は、ユーザが所望する品質基準を新たな画像が満たしている場合、新たな画像をデータベース320に記録する。
画像取得部333は、データベース320に記憶されている時系列の画像には含まれていない新たな画像を、画像蓄積装置310から取得する。
差異判定部335は、画像蓄積装置310がデータベース320に記録しようとしている新たな画像との差異の有無を判定する参照画像として適した画像を、データベース320に記憶されている時系列の画像から選択する。
差異の有無を判定する参照画像として適した画像は、例えば、データベース320に記憶されている時系列の画像のうち最も平均的な画像である。最も平均的な画像の一例は、データベース320に記憶されている時系列の画像のうち他の画像との差異が最も少ないと判定された画像である。差異の有無を判定する参照画像として適した画像は、ユーザが所望する品質基準を満たしていない画像との差異が最も多い画像でもよい。
第6実施形態における差異判定部335の動作例を、図15を用いて説明する。図15では、ユーザが所望する品質基準を満たしていない画像400−6が時系列の画像から除去されているので、データベース320は、画像400−1〜400−5を時系列の画像として記憶している。
差異判定部335は、ユーザが所望する品質基準を満たしている画像400−1〜400−5のうちから、新たな画像との差異の有無を判定する参照画像として適した画像を選択する。図15では、差異判定部335は、画像400−1と他の画像400との間では、計7個の領域の小画像で差異があると判定する。差異判定部335は、画像400−2と他の画像400との間では、計4個の領域の小画像で差異があると判定する。差異判定部335は、画像400−3と他の画像400との間では、計4個の領域の小画像で差異があると判定する。差異判定部335は、画像400−4と他の画像400との間では、計5個の領域の小画像で差異があると判定する。
したがって、差異判定部335は、時系列の画像のうち他の画像との差異が最も少ないと判定された画像400−2及び画像400−3を、参照画像として選択する。差異判定部335は、画像400−2又は画像400−3のうちいずれかを、予め定められた条件に基づいて選択してもよい。予め定められた条件とは、例えば、撮像時刻がより新しい画像が選択されるという条件である。
差異判定部335は、画像蓄積装置310がデータベース320に記録しようとする新たな画像を、画像取得部333を介して画像蓄積装置310から取得する。差異判定部335は、画像蓄積装置310から取得された新たな画像と選択された参照画像との間の差異の有無を判定する。差異判定部335は、画像蓄積装置310から取得された新たな画像と選択された参照画像との間の差異がないと判定した場合、新たな画像が品質基準を満たす画像であると判定する。差異判定部335は、新たな画像が品質基準を満たす画像であるか否かを表す情報を、画像蓄積装置310に送信する。
図20は、第6実施形態における、画像分別システム301の動作の例を示すフローチャートである。画像取得部333は、データベース320に記憶されている時系列の画像には含まれていない新たな画像を、画像蓄積装置310から取得する(ステップS701)。差異判定部335は、画像蓄積装置310がデータベース320に記録しようとしている新たな画像との差異の有無を判定する参照画像として適した画像を、データベース320に記憶されている時系列の画像から選択する(ステップS702)。
差異判定部335は、画像蓄積装置310から取得された新たな画像と選択された参照画像との間の差異の有無を判定する(ステップS703)。画像蓄積装置310から取得された新たな画像と選択された参照画像との間の差異がないと判定された場合(ステップS703:NO)、画像蓄積装置310は、新たな画像をデータベース320に記録する(ステップS704)。画像蓄積装置310から取得された新たな画像と選択された参照画像との間の差異があると判定された場合(ステップS703:YES)、画像分別装置330bは、処理を終了する。
以上のように、第6実施形態の差異判定部335は、データベース320の時系列の画像から選択された参照画像との差異がないと判定された新たな画像を、データベース320の時系列の画像に含める。これによって、第6実施形態の画像分別装置330bは、新たに撮像された画像をデータベース320の時系列の画像に含めるか否かを、効率良く判定することが可能である。第6実施形態の画像分別装置330bは、時系列の画像から選択された参照画像と新たな画像との差異の有無を差異判定部335が判定するので、新たな画像をデータベース320に記録するか否かの判定に要する画像の比較回数の増加を抑えることができる。
上述した実施形態における画像評価装置としての評価支援装置又は画像分別装置の少なくとも一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA(Field Programmable Gate Array)等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
例えば、本発明の実施に用いられる変化検出方法、及び小画像間の差異の有無を判定する方法は、上記の実施形態に記載された方法に限らず、画像特徴量や画素値、輝度値を比較や機械学習に基づいた方法等の従来の方法でもよい。
本発明は、蓄積された複数の画像の品質に基づいた評価指標を得ることが必要な用途に適用可能である。
1…評価支援システム、10…データベース、20a…評価支援装置、20b…評価支援装置、21…サイズ取得部、22…パラメータ決定部、23…画像取得部、24…符号化部、25…差異判定部、26…評価指標部、27…画像処理部、28…記憶部、29…2値化部、30…表示装置、100…画像、110…領域、111…指標表示欄画像、120…領域、120a…領域拡大画像、121…指標表示欄画像、122…名称表示欄画像、130…領域、130a…領域拡大画像、131…指標表示欄画像、132…名称表示欄画像、140…地図画像、301…画像分別システム、310…画像蓄積装置、320…データベース、330a…画像分別装置、330b…画像分別装置、331…サイズ取得部、332…パラメータ決定部、333…画像取得部、334…符号化部、335…差異判定部、336…分別部、337…記憶部、338…除去部、400…画像、410…領域、420…領域、430…領域、440…領域、450…領域、460…領域、470…領域、480…領域、490…領域

Claims (17)

  1. ほぼ同一の空間領域が、異なる時刻に撮像された3枚以上の複数の画像のうちの一つの画像である対象画像と、前記複数の画像のうち前記対象画像以外の残りの画像である複数の参照画像との差異の有無についての判定を行う差異定部と、
    前記対象画像と前記複数の参照画像との間で差異があると判定された数と、前記対象画像と前記複数の参照画像との間で差異がないと判定された数との少なくとも一方に基づき、前記対象画像及び前記複数の参照画像のうちの少なくとも前記対象画像の評価を行い評価指標を取得する評価指標取得部と、
    を備える画像評価装置。
  2. 前記複数の画像は、時系列の画像であり、
    前記差異定部による判定結果は、前記対象画像内の領域の小画像と、前記対象画像内の領域の小画像とほぼ同位置の前記参照画像内の領域の小画像との差異の有無を示し、
    前記評価指標取得部は、前記小画像間の差異があると判定された前記領域の組の数を前記時系列の画像について前記対象画像内の前記領域ごとに検出した結果を前記評価指標として取得し
    取得された前記評価指標は、ユーザに提示される、
    請求項1に記載の画像評価装置。
  3. 前記評価指標取得部は、前記小画像間の差異の有無が誤判定される確率が第1閾値未満である場合、差異を評価すべき優先度を表す値を前記評価指標として得る、請求項2に記載の画像評価装置。
  4. 前記評価指標取得部は、前記小画像間の差異の有無が誤判定される確率が第1閾値以上である場合、前記小画像間の差異があると判定された結果の確度を表す値を前記評価指標として得る、請求項2に記載の画像評価装置。
  5. 前記評価指標に応じた値と第2閾値との比較結果に基づいて、前記小画像間の差異の有無を表す2値の前記評価指標を得る2値化部
    をさらに備える、請求項3又は請求項4に記載の画像評価装置。
  6. 前記対象画像内の前記領域の小画像と前記参照画像内の前記領域の小画像との差異の有無を判定し、前記判定結果を得る差異判定部
    をさらに備える、請求項2から請求項5のいずれか一項に記載の画像評価装置。
  7. 前記対象画像内の前記領域ごとに得た前記評価指標に基づいて、前記対象画像内の前記領域の前記小画像を拡大する画像処理部
    をさらに備える、請求項2から請求項6のいずれか一項に記載の画像評価装置。
  8. 前記評価指標は差異があると判定された数と差異がないと判定された数との比較の結果であり、
    差異があると判定された数が所定の閾値よりも大きい場合、品質基準を満たしていない画像として分別する、
    請求項1に記載の画像評価装置。
  9. 前記評価指標取得部は、前記複数の画像における前記参照画像の総数に対する、前記対象画像との差異があると判定された前記参照画像の数の割合を、前記評価指標として取得する、請求項8に記載の画像評価装置。
  10. 前記評価指標取得部は、前記複数の画像における前記参照画像内の領域の総数に対する、前記対象画像内の領域の小画像との差異があると判定された小画像を含む前記参照画像内の領域の数の割合を、前記評価指標として取得する、請求項8に記載の画像評価装置。
  11. 前記品質基準を満たしていない前記対象画像を、前記評価指標と閾値との大小関係に基づいて前記複数の画像から除去する除去部
    をさらに備える、請求項9又は請求項10に記載の画像評価装置。
  12. 前記対象画像と前記参照画像との差異の有無を判定する差異判定部
    をさらに備える、請求項8から請求項11のいずれか一項に記載の画像評価装置。
  13. 前記差異判定部は、前記参照画像の面積に対する一定割合以上の面積で前記対象画像との差異があると判定された前記参照画像を、前記対象画像との差異がある前記参照画像であると判定する、請求項12に記載の画像評価装置。
  14. 前記差異判定部は、前記複数の画像から選択された画像との差異がないと判定された他の画像を前記複数の画像に含める、請求項12又は請求項13に記載の画像評価装置。
  15. ほぼ同一の空間領域が、異なる時刻に撮像された3枚以上の複数の画像のうちの一つの画像である対象画像と、前記複数の画像のうち前記対象画像以外の画像である参照画像との差異の有無についての判定を行う差異判定部と、
    前記対象画像と前記参照画像との間で差異があると判定された面積と、前記対象画像と前記参照画像との間で差異がないと判定された面積との少なくとも一方に基づき、複数の画像の評価を行い評価指標を取得する評価指標取得部と、
    を備え、
    前記評価指標は、差異があると判定された面積と差異がないと判定された面積との比較の結果であり、
    差異があると判定された面積が所定の閾値よりも大きい場合、品質基準を満たしていない画像として分別し、
    前記評価指標取得部は、前記複数の画像における前記参照画像の総面積に対する、前記対象画像内の領域の小画像との差異があると判定された前記参照画像内の領域の小画像の総面積の割合を、前記評価指標として取得する、画像評価装置。
  16. ほぼ同一の空間領域が、異なる時刻に撮像された3枚以上の複数の画像のうちの一つの画像である対象画像と、前記複数の画像のうち前記対象画像以外の残りの画像である複数の参照画像との差異の有無についての判定を行うステップと、
    前記対象画像と前記複数の参照画像との間で差異があると判定された数と、前記対象画像と前記複数の参照画像との間で差異がないと判定された数との少なくとも一方に基づき、前記対象画像及び前記複数の参照画像のうちの少なくとも前記対象画像の評価を行い評価指標を取得するステップと、
    を含む画像評価方法。
  17. 画像評価装置が備えるコンピュータを、
    ほぼ同一の空間領域が、異なる時刻に撮像された3枚以上の複数の画像のうちの一つの画像である対象画像と、前記複数の画像のうち前記対象画像以外の残りの画像である複数の参照画像との差異の有無についての判定を行う差異定部と、
    前記対象画像と前記複数の参照画像との間で差異があると判定された数と、前記対象画像と前記複数の参照画像との間で差異がないと判定された数との少なくとも一方に基づき、前記対象画像及び前記複数の参照画像のうちの少なくとも前記対象画像の評価を行い評価指標を取得する評価指標取得部と、
    として機能させるための画像評価プログラム。
JP2018550227A 2016-11-10 2017-11-08 画像評価装置、画像評価方法及び画像評価プログラム Active JP6708749B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016219716 2016-11-10
JP2016219716 2016-11-10
JP2016224922 2016-11-18
JP2016224922 2016-11-18
PCT/JP2017/040238 WO2018088425A1 (ja) 2016-11-10 2017-11-08 画像評価装置、画像評価方法及び画像評価プログラム

Publications (2)

Publication Number Publication Date
JPWO2018088425A1 JPWO2018088425A1 (ja) 2019-03-07
JP6708749B2 true JP6708749B2 (ja) 2020-06-10

Family

ID=62109814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018550227A Active JP6708749B2 (ja) 2016-11-10 2017-11-08 画像評価装置、画像評価方法及び画像評価プログラム

Country Status (4)

Country Link
US (2) US11042771B2 (ja)
EP (2) EP4002832B1 (ja)
JP (1) JP6708749B2 (ja)
WO (1) WO2018088425A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3537379B1 (en) * 2016-12-13 2021-10-20 Nippon Telegraph and Telephone Corporation Image difference determination device, method and program
CN111160219B (zh) * 2019-12-26 2022-04-26 深圳云天励飞技术股份有限公司 对象完整度评估方法、装置、电子设备及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0950525A (ja) 1995-08-08 1997-02-18 Canon Inc 画像処理装置
US7123769B2 (en) * 2001-11-09 2006-10-17 Arcsoft, Inc. Shot boundary detection
TWI267805B (en) * 2005-09-23 2006-12-01 Compal Electronics Inc Method and apparatus for automatically adjusting monitoring frame based on image change
JP2007195141A (ja) 2005-12-20 2007-08-02 Nissan Motor Co Ltd 画像速度算出装置及び画像速度算出方法
KR101103724B1 (ko) * 2007-07-02 2012-01-11 니폰덴신뎅와 가부시키가이샤 동화상 스케일러블 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체
EP2048871B1 (en) * 2007-10-09 2011-08-31 Tektronix International Sales GmbH Image evaluation
JP4995787B2 (ja) 2008-08-26 2012-08-08 日本電信電話株式会社 画像蓄積装置,画像蓄積装置用プログラムおよび画像蓄積システム
JP5567384B2 (ja) 2010-05-06 2014-08-06 株式会社日立製作所 類似映像検索装置
CN102479321B (zh) 2010-11-26 2016-10-26 罗普特(厦门)科技集团有限公司 差异影像自动识别系统及方法
JP5281632B2 (ja) * 2010-12-06 2013-09-04 日本電信電話株式会社 多視点画像符号化方法,多視点画像復号方法,多視点画像符号化装置,多視点画像復号装置およびそれらのプログラム
JP2011227915A (ja) 2011-06-07 2011-11-10 Fujifilm Corp 画像分類装置および方法並びにプログラム
JP6053125B2 (ja) 2012-10-24 2016-12-27 日本電信電話株式会社 映像解析装置
JP5719401B2 (ja) * 2013-04-02 2015-05-20 日本電信電話株式会社 ブロックサイズ決定方法、映像符号化装置、及びプログラム
JP5947977B2 (ja) * 2013-04-11 2016-07-06 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP2015184760A (ja) 2014-03-20 2015-10-22 株式会社ニコン 電子機器及び類似性判定用プログラム
WO2015146243A1 (ja) 2014-03-27 2015-10-01 Nkワークス株式会社 画像処理装置
JP2016219716A (ja) 2015-05-26 2016-12-22 住友ベークライト株式会社 過渡電圧保護素子、樹脂組成物および保護部材
JP2016224922A (ja) 2015-05-26 2016-12-28 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム

Also Published As

Publication number Publication date
EP4002832B1 (en) 2024-01-03
US11042771B2 (en) 2021-06-22
EP4002832A1 (en) 2022-05-25
WO2018088425A1 (ja) 2018-05-17
EP3525459A1 (en) 2019-08-14
EP3525459B1 (en) 2023-05-24
EP3525459A4 (en) 2020-05-20
US20210182593A1 (en) 2021-06-17
US20190272439A1 (en) 2019-09-05
US11710226B2 (en) 2023-07-25
JPWO2018088425A1 (ja) 2019-03-07

Similar Documents

Publication Publication Date Title
WO2019119567A1 (en) Systems and methods for block based edgel detection with false edge elimination
EP2172903B1 (en) Video motion detection
JP6708749B2 (ja) 画像評価装置、画像評価方法及び画像評価プログラム
CN109313806A (zh) 图像处理装置、图像处理系统、图像处理方法和程序
JP2019117547A (ja) 画像処理装置、画像処理方法およびプログラム
US8948502B2 (en) Image processing method, and image processor
JP6577397B2 (ja) 画像解析装置、画像解析方法、画像解析プログラム、および画像解析システム
Zhuang et al. A novel approach based on structural information for change detection in SAR images
RU2017144798A (ru) Способ определения карты глубин для изображения и устройство для его осуществления
US20150043807A1 (en) Depth image compression and decompression utilizing depth and amplitude data
US10630991B2 (en) Image difference detection device, method for detecting image difference, and computer program
CN104182940B (zh) 一种模糊图像恢复方法及系统
JP2010140315A (ja) 物体検出装置
KR20080079443A (ko) 영상으로부터의 객체 검출 방법 및 장치
CN106504282A (zh) 一种视频遮挡检测方法和装置
US20160055642A1 (en) Identifying points of interest in an image
CN106846262A (zh) 去除蚊式噪声的方法及系统
CN107079121A (zh) 用于检测有缺陷像素的方法
TWI511545B (zh) 數位視訊的區塊雜訊偵測
JP6849583B2 (ja) 画像異常判定装置、画像異常判定方法及びコンピュータプログラム
JPWO2017221376A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Xu et al. Multifocus image fusion using local perceived sharpness
GB2499799B (en) Identifying points of interest in an image
Huang et al. Multi-focus image fusion based on salient edge information within adaptive focus-measuring windows
JP6557612B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200521

R150 Certificate of patent or registration of utility model

Ref document number: 6708749

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150