JP4755012B2 - 映像評価装置、時空間周波数解析装置、映像評価方法、時空間周波数解析方法、映像評価プログラム、および時空間周波数解析プログラム - Google Patents

映像評価装置、時空間周波数解析装置、映像評価方法、時空間周波数解析方法、映像評価プログラム、および時空間周波数解析プログラム Download PDF

Info

Publication number
JP4755012B2
JP4755012B2 JP2006113827A JP2006113827A JP4755012B2 JP 4755012 B2 JP4755012 B2 JP 4755012B2 JP 2006113827 A JP2006113827 A JP 2006113827A JP 2006113827 A JP2006113827 A JP 2006113827A JP 4755012 B2 JP4755012 B2 JP 4755012B2
Authority
JP
Japan
Prior art keywords
video
frequency
characteristic
frequency component
spatio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006113827A
Other languages
English (en)
Other versions
JP2007043655A (ja
Inventor
暁 藤林
チュンセン ブン
禎篤 加藤
力 堀越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2006113827A priority Critical patent/JP4755012B2/ja
Priority to EP20060013391 priority patent/EP1739981A3/en
Priority to US11/476,026 priority patent/US8064638B2/en
Publication of JP2007043655A publication Critical patent/JP2007043655A/ja
Application granted granted Critical
Publication of JP4755012B2 publication Critical patent/JP4755012B2/ja
Priority to US13/246,103 priority patent/US8462985B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Description

本発明は、映像を評価する映像評価装置、時空間周波数解析装置、映像評価方法、時空間周波数解析方法、映像評価プログラム、および時空間周波数解析プログラムに関する。
「映像」は、単一の静止画像である「フレーム」を連続させることにより構成されている。映像の取得、蓄積、伝送、表示、符号化、および復号化等を含む映像処理では、一般的に個々のフレームの空間解像度（以降、単純に解像度とよぶ）が一定または徐々に変化する映像を対象としている。また、人間の眼は、画像の解像度の違いを明確に識別することができる。したがって、解像度の違いは画像の品質に対する評価に直接結びつくことが多く、一般には高解像度の画像が好まれる。
ここで、個々のフレームが解像度の低い画像であっても、各フレームが連続した映像として表示されたとき、この映像を見る人は、画像の解像度が上がり鮮明な映像として見えたり、またより滑らかな動きであるように知覚したりといった、錯視現象が生ずることが非特許文献１に記載されている。この錯視現象は、motion sharpening現象と呼ばれる。
このmotion sharpening現象は、画像に含まれる被撮影物の動きの大きさ、および空間周波数の高周波成分に起因する可能性があると、非特許文献１に記載されている。また、motionsharpening現象の中で、解像度が低いフレームで構成された画像の間に解像度が高いフレームが挿入されることで、動画像として見たときに解像度が低いフレームの解像度が、元の解像度に比べて高く知覚されるということが、記載されている。特に映像を構成するフレームの５０％が高解像度のフレームである場合、その映像の解像度が、全フレームが高解像度で構成された動画像と変わらないように見える、つまり、知覚される解像度が変わらないように錯覚される場合がある。
一方、人間の視覚特性において、眼の感度には映像の時空間周波数に対する特性（以降、時空間周波数特性とよぶ）が存在することが知られている。つまり、人間の目には、画像に含まれる特定の時空間周波数に対する感度が高いといった性質が存在する。また、人間の視覚特性としての眼の感度は、見ている映像の時空間周波数が高くなるにつれて低下することが知られている。そのため低下した眼の感度では映像の時空間周波数が変化しても、その違いが知覚できないことがあると考えられている。
特開平１１−２６６４６９号公報 Takeuchi T, Karen K.DeValois, "Sharpening image motionbased onspatio-temporal characteristics ofhuman vision", HumanVision and Electronic Imaging X, March 18, 2005; Volume 5666, No.5666, p. 83-94; ISBN / ISSN:0-8194-5639-X
ところで、非特許文献１では、各フレームを連続した映像として見た場合に知覚される解像度に関して、各フレームの空間周波数を低下させた場合に（解像度を低下させた場合に）、人間の眼にはどの程度の周波数が存在しているように見えるかという実験報告をおこなっているが、その人間の目で知覚された解像度（以降、知覚解像度とよぶ）をもつ映像の品質がどのような評価になるかという点に関して記載されていない。別の言い方をすれば、人間の眼に知覚され、品質の評価が異なる結果となるのは、映像の時空間周波数の変化がどの程度であるかについて示されていない。これらより、非特許文献１に記載の技術では、複数のフレームからなる映像の品質を、人間の視覚特性に基づく客観的な基準をもって適切に評価することができない、という問題がある。
また、映像の品質を評価する方法としては、特許文献１に記載されている技術のように、パワースペクトルから劣化度を求める方法が挙げられるが、この方法では、上述のmotion sharpening現象を前提とした適切な評価を行うことができない。
そこで、上述の課題を解決するために本発明は、複数のフレームからなる映像を客観的な基準を用いて適切に評価することができる映像評価装置、時空間周波数解析装置、映像評価方法、時空間周波数解析方法、映像評価プログラム、および時空間周波数解析プログラムを提供することを目的とする。
上述の課題を解決するために、本発明の映像評価装置は、映像に関する予め定められた時空間周波数特性である基準特性を記憶する記憶手段と、複数の画像からなる対象映像の時空間周波数特性を算出する映像特性解析手段と、上記映像特性解析手段により算出された時空間周波数特性と上記記憶手段に記憶された基準特性との相対的な関係に基づいて、上記対象映像の評価値を算出する映像評価決定手段と、上記映像評価決定手段により決定された評価値に基づき、上記対象映像にある任意の２枚の画像の間にあるＮ枚（Ｎは１以上の整数）の画像に対し、所定の周波数成分を調整する周波数成分調整手段とを備え、上記映像評価決定手段は、上記周波数成分調整手段により信号周波数成分が調整された画像の評価値を算出することを特徴とする構成を備えている。
また、本発明の映像評価方法は、複数の画像からなる対象映像の時空間周波数特性を算出する映像特性解析ステップと、上記映像特性解析ステップにより算出された時空間周波数特性と、映像に関する予め定められた時空間周波数特性である基準特性と、の相対的な関係に基づいて、上記対象映像の評価値を算出する映像評価決定ステップと、上記映像評価決定ステップにより決定された評価値に基づき、上記対象映像にある任意の２枚の画像の間にあるＮ枚（Ｎは１以上の整数）の画像に対し、所定の周波数成分を調整する周波数成分調整ステップとを備え、上記映像評価決定ステップは、上記周波数成分調整ステップにより信号周波数成分が調整された画像の評価値を算出することを特徴とする処理を備えている。
この発明によれば、映像に関する予め定められた時空間周波数特性である基準特性を記憶しておき、複数の画像からなる対象映像を入力し、対象映像の時空間周波数特性を算出し、算出された時空間周波数特性と基準特性との相対的な関係に基づいて、入力された対象映像の評価値を決定することができる。これにより、連続する画像である映像としての特性に基づいた評価を行うことができ、映像の中の一画像を評価することと比べて、適切に映像を評価することができる。よって、映像中の画像の一枚一枚が、解像度が低いなどで低評価となる場合があっても、映像としては高評価を得る場合があり、映像として適切に評価することができる。また、周波数成分を調整した一部の画像に対して再評価を行うことができ、様々な角度から、あらゆる周波数成分における映像を評価することができる。
また、本発明の映像評価装置においては、上記映像特性解析手段は、複数の画像の空間周波数を算出する空間周波数算出手段と、上記空間周波数算出手段により算出された空間周波数の成分を、予め定められた基準に対応付けられたデータに変換する空間周波数成分整理手段と、上記空間周波数成分整理手段により変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出する時空間周波数算出手段と、上記時空間周波数算出手段により算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを算出する特性算出手段と、から構成されていることが好ましい。
この発明によれば、複数の画像の空間周波数を算出し、算出された空間周波数の成分を、予め定められた基準特性に対応付けたデータに変換する。そして、変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出し、算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを算出することができる。これにより、映像の時空間周波数特性を適切に表現することができ、連続する画像である映像としての特性に基づいた評価を行うことができ、映像の中の一画像を評価することと比べて、適切に映像を評価することができる。
また、本発明の映像評価装置は、映像に関する予め定められた時空間周波数特性である基準特性を記憶する記憶手段と、複数の画像からなる対象映像の時空間周波数特性に基づいた第1映像特性を算出する第１映像特性解析手段と、上記対象画像に対して一部の周波数成分を制限して得られた周波数成分制限映像における時空間周波数特性に基づいた第２映像特性を算出する第２映像特性解析手段と、上記第１映像特性に対する上記第２映像特性の変化量と上記記憶手段に記憶された基準特性との相対的な関係に基づいて、入力された上記対象映像の評価値を算出する映像評価決定手段と、を備えている。
また、映像評価方法は、複数の画像からなる対象映像の時空間周波数特性に基づいた第1映像特性を算出する第１映像特性解析ステップと、上記対象画像に対して一部の周波数成分を制限して得られた周波数成分制限映像における時空間周波数特性に基づいた第２映像特性を算出する第２映像特性解析ステップと、上記第１映像特性に対する上記第２映像特性の変化量と、映像に関する予め定められた時空間周波数特性である基準特性と、の相対的な関係に基づいて、入力された上記対象映像の評価値を算出する映像評価決定ステップと、を備えている。
この発明によれば、映像に関する予め定められた時空間周波数特性である基準特性を記憶しておき、複数の画像からなる対象映像を入力し、対象映像の時空間周波数特性に基づいた第1映像特性を算出し、対象画像に対して一部の周波数成分を制限して得られた周波数成分制限映像における時空間周波数特性に基づいた第２映像特性を算出し、第１映像特性に対する第２映像特性の変化量と基準特性との相対的な関係に基づいて、入力された対象映像の評価値を算出することができる。
これにより、一部の周波数成分を制限して得られた周波数成分制限映像を用いて対象映像の評価を行うことができ、時空間周波数特性の周波数成分制限による画像における周波数成分上の違いを明らかにすることができる。よって、周波数成分制限映像に基づいて評価しようとする映像の周波数成分の特性を適切に評価することができる。例えば、周波数成分制限映像を人間の視覚が感知することができる周波数成分を制限した映像とした場合、この周波数成分制限映像と対象映像との間の変化量と基準特性との相対的な関係に基づいて評価することで、人間の視覚が感知することができない周波数成分の特性に関する映像の評価を行うことができる。
また、本発明の映像評価装置の上記第２映像特性解析手段は、上記対象映像の中の任意の２枚の画像の間にあるＮ枚（Ｎは１以上の整数）の画像に対して一部の周波数成分を制限することで周波数成分制限映像を得ることが好ましい。
この発明によれば、対象映像の中の任意の２枚の画像の間にあるＮ枚（Ｎは１以上の整数）の画像に対し、Ｎ枚の画像の一部の周波数成分を制限した周波数成分制限映像を得ることができる。よって、この制限した周波数成分制限映像に基づいて対象映像を評価することができ、対象映像の中の一部のＮ枚の画像の周波数成分を考慮した評価を行うことができる。
また、本発明の映像評価装置は、上記評価値に基づいて、上記第２映像特性解析手段により制限される周波数成分を調整する周波数成分調整手段をさらに備え、上記映像評価決定手段は、上記周波数成分調整手段により信号周波数成分が調整された上記Ｎ枚の画像の評価値を算出することが好ましい。この発明によれば、評価値に基づいて、制限される周波数成分の特性を調整することができ、調整された周波数成分の特性により再評価を行うことができる。
また、本発明の映像評価装置は、上記評価値に基づいて、上記第２映像特性解析手段により周波数成分の制限対象を定める任意の２枚の画像を変更する周波数成分制限量調整手段をさらに備えることが好ましい。この発明によれば、評価値に基づいて周波数成分の制限対象とされる任意の２枚の画像を変更することができ、制限対象が変更された画像に基づいて再評価を行うことができる。
また、本発明の映像評価装置において、上記第1映像特性解析手段は、複数の画像の空間周波数を算出する空間周波数算出手段と、上記空間周波数算出手段により算出された空間周波数の成分を、予め定められた基準に対応付けられたデータに変換する空間周波数成分整理手段と、上記空間周波数成分整理手段により変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出する時空間周波数算出手段と、上記時空間周波数算出手段により算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを算出する特性算出手段と、から構成されていることが好ましい。
この発明によれば、複数の画像の空間周波数を算出し、算出された空間周波数の成分を、予め定められた基準特性に対応付けたデータに変換する。そして、変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出し、算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを算出することができる。これにより、映像の時空間周波数特性を適切に表現することができ、連続する画像である映像としての特性に基づいた評価を行うことができ、映像の中の一画像を評価することと比べて、適切に映像を評価することができる。
また、本発明の映像評価装置において、上記第２映像特性解析手段は、対象画像に対して一部の周波数成分を制限して得られた周波数成分制限映像から空間周波数を算出する空間周波数算出手段と、上記空間周波数算出手段により算出された空間周波数の成分を、予め定められた基準に対応付けられたデータに変換する空間周波数成分整理手段と、上記空間周波数成分整理手段により変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出する時空間周波数算出手段と、上記時空間周波数算出手段により算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを算出する特性算出手段と、から構成されていることが好ましい。
この発明によれば、対象画像に対して一部の周波数成分を制限して得られた周波数成分制限映像から空間周波数を算出し、算出された空間周波数の成分を、予め定められた基準特性に対応付けたデータに変換する。そして、変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出し、算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを算出することができる。これにより、映像の時空間周波数特性を適切に表現することができ、連続する画像である映像としての特性に基づいた評価を行うことができ、映像の中の一画像を評価することと比べて、適切に映像を評価することができる。
また、本発明の映像評価装置の上記基準特性は、人間の視覚特性に基づいて定められた周波数特性であることが好ましい。この発明によれば、基準特性を、人間の視覚特性に基づいて定められた周波数特性とすることで、人間の視覚特性に基づいた評価を行うことができる。
また、本発明の時空間周波数特性解析装置は、複数の画像の空間周波数を算出する空間周波数算出手段と、上記空間周波数算出手段により算出された空間周波数の成分を、予め定められた基準に対応付けられたデータに変換する空間周波数成分整理手段と、上記空間周波数成分整理手段により変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出する時空間周波数算出手段と、上記時空間周波数算出手段により算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができる周波数特性データを算出する周波数特性算出手段と、を備えている。
この発明によれば、複数の画像の空間周波数を算出し、算出された空間周波数の成分を、予め定められた基準特性に対応付けたデータに変換する。そして、変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出し、算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを算出することができる。これにより、映像の時空間周波数特性を適切に表現することができ、連続する画像である映像としての特性に基づいた評価を行うことができ、映像の中の一画像を評価することと比べて、適切に映像を評価することができる。
さらに、以下のように映像評価プログラム、および時空間周波数特性解析プログラムの発明としても記述することができる。これはカテゴリ等が異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。
本発明の映像評価プログラムは、映像に関する予め定められた時空間周波数特性である基準特性を記憶する記憶モジュールと、複数の画像からなる対象映像の時空間周波数特性を算出する映像特性解析モジュールと、上記映像特性解析モジュールにより算出された時空間周波数特性と上記記憶モジュールに記憶された基準特性との相対的な関係に基づいて、上記対象映像の評価値を算出する映像評価決定モジュールと、上記映像評価決定モジュールにより決定された評価値に基づき、上記対象映像にある任意の２枚の画像の間にあるＮ枚（Ｎは１以上の整数）の画像に対し、所定の周波数成分を調整する周波数成分調整モジュールとを備え、上記映像評価決定モジュールは、上記周波数成分調整モジュールにより信号周波数成分が調整された画像の評価値を算出することを特徴とする処理を備えている。
また、本発明の映像評価プログラムは、映像に関する予め定められた時空間周波数特性である基準特性を記憶する記憶モジュールと、複数の画像からなる対象映像の時空間周波数特性に基づいた第1映像特性を算出する第１映像特性解析モジュールと、上記対象画像に対して一部の周波数成分を制限して得られた周波数成分制限映像における時空間周波数特性に基づいた第２映像特性を算出する第２映像特性解析モジュールと、上記第１映像特性解析モジュールにより算出された第１映像特性に対する上記第２映像特性解析モジュールにより算出された第２映像特性の変化量と上記記憶モジュールに記憶された基準特性との相対的な関係に基づいて、入力された上記対象映像の評価値を算出する映像評価決定モジュールと、を備えている。
また、本発明の時空間周波数特性解析プログラムは、複数の画像の空間周波数を算出する空間周波数算出モジュールと、上記空間周波数算出モジュールにより算出された空間周波数の成分を、予め定められた基準に対応付けられたデータに変換する空間周波数成分整理モジュールと、上記空間周波数成分整理モジュールにより変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出する時空間周波数算出モジュールと、上記時空間周波数算出モジュールにより算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを算出する周波数特性算出モジュールと、を備えている。
本発明は、連続する画像である映像としての特性に基づいた評価を行うことができ、映像の中の一画像を評価することと比べて、適切に映像を評価することができる。よって、映像中の画像の一枚一枚が、解像度が低いなどで低評価となる場合があっても、映像としては高評価を得る場合があり、映像として適切に評価することができる。
また、本発明は、一部の周波数成分を制限して得られた周波数成分制限映像を用いて対象映像の評価を行うことができ、時空間周波数特性の周波数成分制限による画像における周波数成分の特性上の違いを明らかにすることができる。よって、周波数成分制限映像に基づいて、評価しようとする映像の周波数成分を適切に評価することができる。例えば、周波数成分制限映像を人間の視覚が感知することができる周波数成分を制限した映像とした場合、この周波数成分制限映像と対象映像との間の変化量と基準特性との相対的な関係に基づいて評価することで、人間の視覚が感知することができない周波数成分に関する映像の評価を行うことができる。
以下、本発明に係る映像評価装置の各実施形態を図面に基づき説明する。なお、各図において、同一要素には同一符号を付して重複する説明を省略する。
［第１実施形態］
まず、本発明の第１実施形態について説明する。図１は、第１実施形態における映像評価装置１０の機能構成を例示するブロック構成図である。この映像評価装置１０は、物理的には、ＣＰＵ（中央処理装置）、メモリ等の記憶装置、および映像を入出力するための入出力装置（通信装置等）を備えるコンピュータである。例えば、映像評価装置１０は、パーソナルコンピュータ等の固定通信端末、または携帯電話機等の移動通信端末などの情報処理可能な装置である。
図１を参照して映像評価装置１０の機能構成について説明する。図１に示すように、映像評価装置１０は、映像特性解析部１０１（映像特性解析手段）と、映像評価決定部１０２（映像評価決定手段）と、基準特性格納部１０３（記憶手段）とを含んで構成される。
映像特性解析部１０１は、外部から動画像信号として入力された入力映像信号１０４をフレーム画像に分解し、分解した複数のフレーム画像に基づいて、入力映像信号の時空間周波数特性に関する特徴量を算出する部分である。
ここで、図２を参照して、時空間周波数特性の解析として時空間周波数特性に関する特徴量を算出する方法について具体的に説明する。図２は、複数のフレーム画像からなる映像の概念図である。なお、説明の便宜のため、連続する４枚のフレーム画像を、外部から入力される順に、フレーム画像Ｐ０〜Ｐ３として説明する。入力映像信号１０４から分解された連続する４枚のフレーム画像Ｐ０〜Ｐ３は、映像特性解析部１０１により順次読み込まれ保存される。そして、フレーム画像Ｐ０〜Ｐ３の４枚における動き特徴量が映像特性解析部１０１により算出される。以下、動き特徴量が算出されるまでの詳細処理について説明する。
まず、映像特性解析部１０１は、連続する２枚のフレーム画像を順次読み込む。映像特性解析部１０１は、読み込んだ２枚のフレーム画像間で互いに一致度が所定値以上であり、いわゆる互いに類似する画像信号パターンに基づいて、両フレーム画像間における空間的な変位量である動きベクトル（ＭＶｂｘ，ＭＶｂｙ）を算出する。
本実施形態では、映像特性解析部１０１は、フレーム画像を所定の大きさの複数のブロックに分割し、フレーム画像Ｐ１の各ブロックについて、当該各ブロックの画像信号パターンに最も類似する（例えば一致度が所定値以上）画像信号パターンをブロックマッチング法などの探索処理を用いてフレーム画像Ｐ０から探索する。そして、映像特性解析部１０１は、フレーム画像Ｐ０とＰ１とのあいだで画像信号パターンが一致するブロックが、フレーム画像内でどれぐらいの位置がずれているかを示すずれ量を判断することにより、動きベクトルを算出する。
その後、映像特性解析部１０１は、全ブロックにおいて算出された動きベクトル（ＭＶｂｘ，ＭＶｂｙ）に基づいて、各ブロックの動きベクトルの平均値を算出することによりフレーム全体における動きベクトルＶi（ＭＶｘi、ＭＶｙi）を算出する。映像特性解析部１０１は、さらにフレーム４枚間における３つのＶiの大きさの平均とフレームレートｆとを利用し算出することにより動き特徴量Ｖを式（１）に従って算出する。
Figure 0004755012
上記式１において、iはフレームの番号を示すものである。またαは定数とする。
なお、本実施形態では、連続する２枚のフレームから動きベクトルを算出したが、２枚以上のフレームを用いて動きベクトルを算出してもよい。また、複数枚のフレームから得られた動きベクトルの平均値、最大値、最小値を用いても良い。
また、本実施形態では、フレーム全体における動きベクトルＶiによって算出される値を用いた動き特徴量を示したが、全ブロックにおいて求められた動きベクトル（ＭＶｂｘ，ＭＶｂｙ）を用いた動き特徴量を用いてもよい。また、動きベクトルにおける大きさの平均値に代えて、例えばフレーム画像に含まれるブロックごとに求められる動きベクトルの大きさ（ＭＶｂｘ，ＭＶｂｙ）の最大値、中間値、または最小値のいずれかを用いても良い。
なお、本実施形態では、画像全体の動きベクトルの大きさを利用して動き特徴量を算出したが、他にも画像の動きに注目した特徴量、例えば動きの方向、フレーム画像内のブロックの持つ動きベクトルの分布、各動きベクトルの大きさの差、各動きベクトルの方向差、規定値以上の大きさの動きベクトルの割合を利用した時間方向の変化を表すものを利用して動き特徴量を算出してもよい。
また、動き特徴量については画像の周波数変換時の位相を用いて算出してもよい。その場合、２枚のフレーム画像の全画素に対してそれぞれ離散フーリエ変換などを行い、画素空間から周波数空間に変換を行い、各フレームの同一周波数成分を除算することで、位相の大きさを用いた移動量を用いて、各周波数成分の位相の大きさを算出することができる。そして、各周波数成分の位相を算出後、全位相の値を合計し、動き特徴量とする。また、周波数変換後の位相の利用はこれに限るものではなく、２フレーム間の動き量を表すものであればどのように算出してもよい。
つぎに、映像特性解析部１０１は、保存されているフレーム画像Ｐ０を読み込み、フレーム画像Ｐ０の空間周波数特性に関する特徴量である空間周波数特徴量Ｒを算出する。具体的には、まず、映像特性解析部１０１は、フレーム画像の全画素に対して離散フーリエ変換を行うことにより、画素空間から周波数空間に変換を行う。本実施形態では、映像特性解析部１０１は、フレーム画像に対して２次元離散フーリエ変換を行い、フレーム画像を、空間周波数領域を有するデータ形式に変換する。そして、映像特性解析部１０１は、周波数空間における画像の空間周波数の周波数成分に関する空間周波数特徴量を式（２）に従って算出する。
ここで空間周波数特徴量Ｒは、画像の周波数空間に変換されたときの周波数成分の特性を表す特徴量である。この空間周波数特徴量Ｒは、フレーム画像を構成する空間周波数Ｓと各空間周波数Ｓのエネルギーの大きさＰｓとによって表現される重み付け関数（式（２））を用いて、映像特性解析部１０１により算出される。
Figure 0004755012
上記式２においてiはフレーム番号、ｊは空間周波数を示す。またβjは各空間周波数Ｓに対する重み付け係数を示す。
ここで、画像の空間周波数特性について説明する。図３は、１次元での空間周波数のエネルギーの大きさＰと空間周波数Ｓとの関係を示す空間周波数特性を例示する説明図であり、図３（ａ）は、一の画像の空間周波数特性を示す説明図であり、図３（ｂ）は、人間の眼で感知することができる空間周波数特性を示す説明図である。図３に示されるように、画像の空間周波数特性は、空間周波数ごとにそのエネルギーの大きさが異なっており、また、人間の眼で感知することのできる空間周波数特性も、空間周波数ごとにそのエネルギーの大きさが異なっている。
以上のとおり、映像特性解析部１０１は、フレーム画像Ｐ０の空間周波数特徴量Ｒを算出し、これと同様に、保存されているフレーム画像Ｐ１〜Ｐ３に対しても空間周波数特徴量Ｒを算出する。
なお、本実施形態では、空間周波数特徴量Ｒは各フレームで算出しているが、複数枚のフレームで算出した空間周波数を用いて、空間周波数特徴量Ｒを算出してもよい。たとえば、複数枚のフレーム空間周波数の平均値や重み付け演算などを用いても良い。
また、本実施形態では空間周波数Ｓとこのエネルギーの大きさＰｓとの重み付け関数に基づいて、空間周波数特徴量を算出するようにしているが、画像の周波数領域における空間周波数の周波数成分の特性を示す関数であれば、どのような形式の関数に基づいて、空間周波数特徴量を算出するようにしてもよい。
また、本実施形態では、空間周波数特徴量の算出において、離散フーリエ変換をフレーム画像全体で行った例を示したが、画像の各方向への１次元離散フーリエ変換を用いて、複数回に分けて周波数領域へ変換しても良い。また、周波数領域に変換せずに、画素空間から例えば微分値を計算する等を用いて空間周波数の周波数成分の特性を求めても良い。
つぎに、映像特性解析部１０１は、フレーム画像Ｐ０〜Ｐ３の時間方向周波数特徴量を算出する。具体的には、映像特性解析部１０１は、水平方向１列×時間軸方向４行で構成される、水平方向と時間軸方向とからなる２次元画像を抽出する。ここで、２次元画像を抽出するときの概念について説明する。図４は、フレーム画像Ｐ０〜Ｐ３から水平方向に２次元画像を抽出するときの概念を示す概念図である。図４に示すように、フレーム画像Ｐ０における水平方向１列分の画像Ｐ０１が取り出される。同様にして、フレーム画像Ｐ１、Ｐ２、Ｐ３における水平方向１列分の画像Ｐ１１、Ｐ２１、Ｐ３１が取り出され、２次元画像Ｐ１００が生成される。次に、画像Ｐ０２、Ｐ１２、Ｐ２２、Ｐ３２が取り出され、２次元画像Ｐ２００が生成される。以下、同様にして、順次２次元画像が生成される。映像特性解析部１０１は、抽出した２次元画像に対して２次元離散フーリエ変換を行い、２次元画像を周波数領域に変換する。
このように映像特性解析部１０１は、空間方向の垂直方向に１画素下の位置から同様に水平方向と時間軸方向とからなる２次元画像を抽出し周波数領域に変換する。映像特性解析部１０１は、この処理をフレーム画像全体にわたって繰り返し行う。
映像特性解析部１０１は、フレーム画像の垂直方向に対する処理の終了後、抽出した全ての２次元画像における周波数周波数成分である全抽出２次元画像周波数成分の平均水平周波数成分ＴＦＢｈを式（３）に基づいて算出する。
Figure 0004755012
Phは含まれる周波数成分のエネルギーの大きさを示す。また、Shは周波数を示す。φmは各周波数成分への重み付け係数を示し、平均値を算出することができるような値が定められている。
つぎに、映像特性解析部１０１は、画像の左端から垂直方向１列×時間軸方向４列で構成される、垂直方向と時間軸方向とからなる２次元画像を抽出する。ここで、２次元画像を抽出するときの概念について説明する。図５は、フレーム画像Ｐ０〜Ｐ３から垂直方向に２次元画像を抽出するときの概念を示す概念図である。図５に示すように、フレーム画像Ｐ０における垂直方向１行分の画像Ｐ０１ａが取り出される。同様にして、フレーム画像Ｐ１、Ｐ２、Ｐ３における垂直方向１行分の画像Ｐ１１ａ、Ｐ２１ａ、Ｐ３１ａが取り出され、２次元画像Ｐ１００ａが生成される。次に、画像Ｐ０２ａ、Ｐ１２ａ、Ｐ２２ａ、Ｐ３２ａが取り出され、２次元画像Ｐ２００ａが生成される。以下、順次２次元画像が生成される。
映像特性解析部１０１は、抽出した２次元画像に対して２次元離散フーリエ変換を行い、２次元画像を周波数領域に変換する。このように、映像特性解析部１０１は、空間方向の水平方向に１画素右に進んだ位置から同様に垂直方向と時間軸方向とからなる２次元画像を抽出し、周波数領域に変換する。映像特性解析部１０１は、この処理をフレーム画像全体にわたって繰り返し行う。映像特性解析部１０１は、画像の水平方向に対する処理の終了後、抽出した全ての２次元画像における周波数周波数成分である全抽出２次元画像周波数成分の平均垂直周波数成分ＴＦＢｖを式（４）のとおり算出する。
Figure 0004755012
Pvは含まれる周波数成分のエネルギーの大きさを示す。また、Svは周波数を示す。μmは各周波数成分への重み付け係数を示し、平均値を算出することができるような値が定められている。
つぎに、映像特性解析部１０１は、算出した平均水平周波数成分ＴＦＢｈと平均垂直周波数成分ＴＦＢｖとの重み付け関数の計算により、時間方向周波数特徴量Ｃの算出を行う。具体的には、映像特性解析部１０１は、以下の式（５）に従って時間方向周波数特徴量Ｃを算出する。
Figure 0004755012
上記式において、式（５）において、δおよびεは重み付け係数である。
なお、本実施形態では平均水平周波数成分ＴＦＢｈと平均垂直周波数成分ＴＦＢｖとの重み付け関数の計算により、時間方向周波数特徴量の算出を行ったが、平均水平周波数成分ＴＦＢｈと平均垂直周波数成分ＴＦＢｖとを用いた関数であれば、どのような形の関数であってもよい。
このように、映像特性解析部１０１により算出された、動き特徴量Ｖと空間周波数特徴量Ｒと時間方向周波数特徴量Ｃとは、画像の時空間周波数特性に関する特徴量１０５として映像評価決定部１０２に出力される。この時空間周波数特性は、その概念において、映像の空間周波数で表される特徴的な時間方向での変化を表現することができるパラメータであれば、特徴量１０５に限定するものではなく、動き特徴量Ｖ、空間周波数特徴量Ｒ、および時間方向周波数特徴量Ｃのうちいずれかのものがなくてもよく。
なお、本実施形態では、平均水平周波数成分ＴＦＢｈおよび平均垂直周波数成分ＴＦＢｖとして、全抽出２次元画像周波数成分の平均値を算出しているが、各２次元画像の周波数周波数成分の中の特徴的な画像のみに対する平均値を算出するようにしてもよい。たとえば、全抽出２次元画像周波数成分の中の周波数構成が閾値以上である画像における平均値を算出しても良い。また、たとえば、注目を受けやすい画像の中心に近いほど高い重みがあるような重み付け平均値を算出してもよい。
また、本実施形態では、空間方向の水平方向一列（または垂直方向一行）×時間方向の４行の２次元画像を抽出して画像全体に周波数変換処理を行う方法を示したが、それ以外にも、たとえばフレーム画像をブロック単位に区分し、それを時間方向に対して抜き出して２次元画像として生成したものに対して周波数変換処理を行ってもよい。
さらに、本実施形態では、時間方向への２次元周波数領域への変換を繰り返す方法を示したが３次元の周波数領域へ変換してもよい。また、時間方向への１次元フーリエ変換を用いてもよい。また、周波数領域に変換せずに、画素空間から例えば微分値を計算する等を用いて時間方向への周波数成分の特性を求めても良い。
また、本実施形態では、画像の時間方向の周波数成分における関数を用いたが、時間方向への変化を表す、たとえば時間方向での画素の相関値の変化や空間周波数特徴量の変化に基づく関数などを用いて特性を表してもよい。
また、本実施形態では、空間周波数特徴量の算出および時間方向周波数特徴量において離散フーリエ変換を行い周波数領域の周波数成分に関する特徴量の算出を行ったが、周波数成分に変換する方法は、離散コサイン変換、離散Wavelet変換など他の方法を用いてもよい。
また、動き特徴量や時間方向周波数特徴量の算出するフレームの枚数は、連続する２フレーム以上であれば何枚用いても良い。
また、本実施形態では、映像の時空間周波数特性として、映像が持つ動きと空間周波数の特性と時空間周波数の特性に注目した特徴量を用いたが、これら以外にも映像の時空間周波数特性に関連する特徴量を利用してもよい。
引き続き、図の説明を行う。映像評価決定部１０２は、映像特性解析部１０１から受信した特徴量１０５と、基準特性格納部１０３に格納された相対評価の基準となる人間の視覚特性の時空間周波数特性に関する特徴量１０６とに基づき映像の持つ時空間周波数特性と人間の眼の時空間周波数特性との相対的な関係に基づいた映像の評価値１０７を算出する。
ここで、図３を参照して、対象映像の時空間周波数特性と映像に対する視覚特性との相対的な関係に基づいた評価値を算出する方法について具体的に説明する。まず、映像評価決定部１０２は、映像特性解析部１０１にて算出した映像の時空間周波数特性に関する特徴量１０５と、人間の眼が感知することができる空間周波数特性に関する特徴量１０６（基準特性格納部１０３に記憶されている基準特性）と、の差を算出する。そして、映像評価決定部１０２は、映像の持つ周波数周波数成分と人間の眼が感知できる周波数周波数成分との差分に基づいたΔＲと、時間方向周波数特徴量Ｃと、動き特徴量Ｖとに基づいて、予め定められた関数により、時空間周波数特性と人間の眼の時空間周波数特性との相対的な関係に基づいた評価値１０７を算出する。本実施形態では、式（６）に従って、映像評価決定部１０２は、映像の持つ周波数成分と人間の眼が感知できる周波数成分の特性との差分に基づいたΔＲを算出する。そして、式（７）に従って、映像評価決定部１０２は、評価値Ｄを算出する。
Figure 0004755012
式（６）において、Ｈ（Ｐｓ，Ｓ）は、人間の眼が感知することができる時空間周波数特性に関する特徴量１０６を示す。また、式（６）において、フレーム番号ｉを０から３としており、このフレーム番号ｉはフレーム画像の特定の仕方によって変わるものである。
Figure 0004755012
式（７）において、ρ、ωは重み付け係数を示す。
なお、人間の眼が感知できる周波数成分の特性であるＨ（Ｐｓ，Ｓ）はある一定の特徴量である必要はなく、特徴量１０５によって決定される時空間周波数特性に関する特徴量１０６であってもよい。
また、人間の眼が感知できる周波数成分の特性Ｈ（Ｐｓ，Ｓ）は、映像の品質に関わる時空間の周波数に対する感度を表す特性を用いたが、それに限るものではない。たとえば、映像のボケ、ギクシャクさ、フリッカに対する感度の特性など、映像のある特定の品質に対する特性を用いてもよい。また、その場合に評価値Ｄは、映像のある特定の品質に対する評価を示す値を算出することになる。
さらに、本実施形態では、映像評価決定部１０２は、特徴量１０５と特徴量１０６との差分に基づいたΔＲを用いて評価値Ｄを算出するが、特徴量１０５と特徴量１０６とを比較することにより算出される関数であれば、差である必要はなくどのような関数（例えば比を示す関数）でもよい。
また、本実施形態では、評価値Ｄを算出に用いる特徴量１０５は、動き特徴量Ｖ、空間周波数特徴量の差分ΔＲ、および時間方向周波数特徴量Ｃを用いたが、そのうちいずれかのものがなくてもよい。
つぎに、第１実施形態の映像評価装置１０における映像評価処理について説明する。図６は、映像評価装置１０の映像評価処理を示すフローチャートである。
まず、映像特性解析部１０１は、入力映像信号１０４から分解された連続する４枚のフレーム画像（フレーム画像Ｐ０からフレーム画像Ｐ３）を順次読み込み保存する（ステップＳ４０１）。
つぎに、映像特性解析部１０１は、フレーム画像Ｐ０〜フレーム画像Ｐ３に基づいて動き特徴量として各フレーム間の動きベクトルを算出し、フレーム画像Ｐ０からＰ３の動きベクトルの平均値を算出する。映像特性解析部１０１は、動きベクトルの平均値とフレームレートｆとを上述の式（１）に適用させて動き特徴量Ｖを算出する（ステップＳ４０２）。
つぎに、映像特性解析部１０１は、読み込んだフレーム画像Ｐ０の画素データに対して周波数変換を行い、フレーム画像を画素空間から周波数空間に変換する（ステップＳ４０３）。変換されて得られた空間周波数に基づいて、映像特性解析部１０１は、フレーム画像Ｐ０の空間周波数の周波数成分の特性に関する空間周波数特徴量Ｒを、上述の式（２）に従って算出する（ステップＳ４０４）。以上の処理（Ｓ４０３、Ｓ４０４）を、映像特性解析部１０１は、フレーム画像Ｐ１〜フレーム画像Ｐ３に対して繰り返す（Ｓ４０５）。
すべてのフレーム画像Ｐ０〜Ｐ３についての処理が終了すると、映像特性解析部１０１は、フレーム画像Ｐ０〜フレーム画像Ｐ３の平均水平周波数成分ＴＦＢｈ、および平均垂直周波数成分ＴＦＢｖに基づいて時間方向周波数特徴量Ｃを算出する（ステップＳ４０６）。
これらの算出された、動き特徴量Ｖ、空間周波数特徴量Ｒ、および時間方向周波数特徴量Ｃが、映像の時空間周波数特性に関する特徴量１０５として映像評価決定部１０２に出力される。
つぎに、映像評価決定部１０２は、基準特性格納部１０３に格納された人間の視覚特性としての時空間周波数特性に関する特徴量１０６を読み込む（ステップＳ４０７）。そして、映像評価決定部１０２は、読み込んだ特徴量１０６と特徴量１０５とを比較して、入力した対象映像の持つ時空間周波数特性と人間の眼の時空間周波数特性とによる相対的な関係に基づいた評価値１０７（評価値Ｄ）を算出する（ステップＳ４０８）。
以上のように、第１実施形態における映像評価装置１０によれば、映像の時空間周波数特性に関する特徴量が算出され、算出された特徴量と予め定められた基準となる時空間周波数特性に関する特徴量との比較を行うことで、入力した対象映像の持つ時空間周波数特性と予め定められた基準となる時空間周波数特性とによる相対的な関係に基づいた評価値を算出することができる。したがって、入力映像信号の時空間周波数特性にしたがって、予め定められた基準となる時空間周波数特性との比較において適切な評価値を示すことができる。例えば、予め定められた基準となる時空間周波数特性を、人間の視覚特性が持つ時空間周波数特性とした場合に、人間の眼への影響を考慮した相対的な関係に基づいた評価値を適切に示すことができる。
［第２実施形態］
つぎに、本発明の第２実施形態について説明する。図７は、第２実施形態における映像評価装置５０の機能構成を例示するブロック構成図である。この映像評価装置５０は、物理的には、ＣＰＵ(中央処理装置)、メモリ等の記憶装置、および映像を入出力する入出力装置（通信装置等）を備えるコンピュータである。例えば、映像評価装置５０は、ＰＣ端末等の固定通信端末、または携帯電話機等の移動通信端末などの情報処理可能な装置である。
つぎに、図７を参照して映像評価装置５０の機能構成について説明する。図７に示すように、映像評価装置５０は、映像特性解析部５０１（第1映像特性解析手段）、周波数成分制限映像加工部５０２（第２映像特性解析手段）、時空間特性変化量算出部５０５、映像評価決定部５０６（映像評価決定手段）、および基準特性格納部５０７を含んで構成されている。なお、周波数成分制限映像加工部５０２は、周波数成分制限加工部５０３および映像特性解析部５０４を含んでいる。以下、各構成について説明する。
映像特性解析部５０１は、上述した第１実施形態に記載された映像特性解析部１０１と同様の機能を有する部分である。すなわち、映像特性解析部５０１は、入力映像信号５０８に対する画像の時空間周波数特性に関する特徴量５１０を算出し、算出した特徴量５１０を時空間特性変化量算出部５０５に出力する。
周波数成分制限映像加工部５０２は、複数のフレーム画像からなる入力映像信号５０８に対して周波数成分制限を加え、周波数成分制限が加えられた周波数成分制限画像から生成された特徴量５１１を時空間特性変化量算出部５０５に出力する部分である。この周波数成分制限映像加工部５０２は、周波数成分制限加工部５０３および映像特性解析部５０４を含む。以下、これら構成要素について説明する。
周波数成分制限加工部５０３は、複数のフレーム画像からなる入力映像信号５０８の任意の２枚のフレーム画像の間にあるＮ枚（Ｎは１以上の整数）のフレーム画像に対し、一部の信号周波数成分を制限した周波数成分制限を伴う加工を行い、周波数成分制限加工映像５０９を作成する部分である。この周波数成分制限加工部５０３は、作成した周波数成分制限加工映像５０９を、映像特性解析部５０４に出力する。
より詳細には、周波数成分制限加工部５０３は、外部から動画像信号として入力された入力映像信号５０８をフレーム画像に分解する。そして、周波数成分制限加工部５０３は、分解した複数のフレーム画像内の、Ｎ枚のフレーム画像を挟み込む２枚のフレーム画像を特定して、特定した所定のフレーム画像の間に挟まれているN枚のフレーム画像に対して、少なくとも一部の周波数成分を制限した周波数成分制限加工映像５０９を作成する。周波数成分制限加工部５０３は、作成した周波数成分制限加工映像５０９を映像特性解析部５０４に出力する。なお、周波数成分制限加工部５０３は、フレーム画像を特定することなく、すべてのフレーム画像に対して周波数成分を制限するようにしてもよい。
ここで、４枚のフレーム画像を例に説明する（例えば、図２参照）。周波数成分制限加工部５０３は、入力映像信号５０８から分解された連続する４枚のフレーム画像を順次読み込み保存する。周波数成分制限加工部５０３は、フレーム画像Ｐ０とＰ３とを特定し、フレーム画像Ｐ１とＰ２とのフレーム画像の信号周波数成分の制限を行う。具体的には、周波数成分制限加工部５０３は、フレーム画像Ｐ１およびＰ２を読み込み、フレーム画像の全画素に対して離散フーリエ変換を行い、画素空間から周波数空間に変換を行う。また、周波数成分制限加工部５０３は、空間周波数の周波数成分ごとに対応付けて、エネルギーレベル（パワースペクトル）の制限とカットオフ周波数とからなる周波数成分制限量Ｂを複数種類記憶している。この周波数成分制限量Ｂは、周波数成分ごとに周波数のエネルギーレベルの上限を定めるエネルギーレベル制限情報と、高周波数をカットするためのカットオフ周波数とを含む。そして、周波数成分制限加工部５０３は、変換した空間周波数の周波数成分に基づいて、一の周波数成分制限量Ｂを決定する。周波数成分制限加工部５０３は、周波数成分制限量Ｂに基づいて周波数空間に変換されたフレーム画像Ｐ１およびＰ２を加工することで周波数成分制限加工映像５０９を作成することができる。
ここで、周波数成分制限量Ｂについて説明する。図８は、エネルギーレベルの制限およびカットオフ周波数を制限する様子を示す説明図である。図８に示すように、エネルギーレベル（パワースペクトル）の上限が定められており、この上限を超えたエネルギーを有する周波数が周波数成分制限加工部５０３により除去される。また、図８に示すように、高周波を除去するため、周波数の上限（カットオフ周波数）が定められており、この上限を超える周波数は、周波数成分制限加工部５０３により除去される。このように、エネルギーレベルの上限を超えた周波数およびカットオフ周波数を超えた周波数が、周波数成分制限加工部５０３により除去された周波数空間が得られ、周波数成分制限加工映像５０９が生成される。
なお、本実施形態では、画像の空間周波数の周波数成分に基づき、一の周波数成分制限量Ｂをあらかじめ複数種類用意している周波数成分制限量Ｂの中から決定したが、画像の空間周波数とは関係なく周波数成分制限量Ｂを決定しておいてもよい。また、画像の空間周波数の特徴量に基づいて一の周波数成分制限量Ｂが自動的に選択され、算出されてもよい。
また、上述した所定の周波数成分制限量Ｂおよび特定するフレームに関する情報（任意の２枚のフレーム画像を特定するための情報）は、外部に入出力され、ユーザにより設定可能にするように、周波数成分制限加工部５０３は入出力機能を有してもよい。
また、本実施形態では、空間周波数の周波数成分制限を行う手段として、周波数領域における処理を示したが、フィルタなどを用いた処理を決定してもよい。また、カットオフ周波数を決定することで高周波成分を周波数空間から除去する加工を例示したが、ある特定の周波数に対して加工を行ってもよい。例えば、フィルタであれば、ハイパスフィルタ、バンドパスフィルタ、バンドリジェクトフィルタなどを用いて、特定の周波数に対する加工を行うようにしてもよい。
さらに、本実施形態では、特定した２枚の間のフレーム画像枚数Nと周波数成分制限量Ｂを別々に決定したが、フレーム画像枚数Nに応じた周波数成分制限量Ｂを決定しておいても良い。また、本実施形態では、フレーム画像Ｐ１およびＰ２に対して同じ周波数成分制限量Ｂを決定したがフレームによって異なる周波数成分制限量Ｂを決定してもよい。
図７に戻り、引き続き説明する。映像特性解析部５０４は、上述した第１実施形態に記載された映像特性解析部１０１と同様の機能を有する部分である。すなわち、映像特性解析部５０４は、周波数成分制限加工映像５０９に対する画像の時空間周波数特性に関する特徴量５１１を算出し、時空間特性変化量算出部５０５に出力する部分である。
時空間特性変化量算出部５０５は、映像特性解析部５０１および映像特性解析部５０４から出力された２つの時空間周波数特性に関する特徴量５１０と特徴量５１１とに基づき、時空間周波数特性の変化量５１２を算出する部分である。具体的には、時空間特性変化量算出部５０５は、時空間周波数特性に関する特徴量５１０の空間周波数特徴量Ｒ（式（２）参照）と特徴量１１の空間周波数特徴量Ｒ（式（２）参照）との差分に基づいたΔＲを算出する。また、時空間特性変化量算出部５０５は、特徴量５１０の時間方向周波数特徴量Ｃ（式（５）参照）と特徴量５１１の時間方向周波数特徴量Ｃ（式（５）参照）との差分に基づいたΔＣを算出する。例えば、時空間特性変化量算出部５０５は、以下の式（８）および式（９）に基づいて変化量５１２を算出する。
Figure 0004755012
Figure 0004755012
式（８）および式（９）において、添え字の数字はそれぞれ特徴量５１０と特徴量５１１の空間周波数特徴量Ｒと時間方向周波数特徴量Ｃを示す。また、式（８）において、フレーム番号ｉを１から２としており、フレーム画像Ｐ１およびＰ２の変化量を算出しているが、フレーム番号ｉは任意の２枚のフレーム画像の特定の仕方によって変わるものである。
なお、本実施形態では、時空間特性変化量算出部５０５は、特徴量５１０と特徴量５１１とにおける空間周波数特徴量Ｒの差分および時間方向周波数特徴量Ｃの差分からなる関数を用いて、変化量５１２を算出していたが、空間周波数特徴量Ｒと時間方向周波数特徴量Ｃとのうち少なくともいずれか一方の変化量（ΔＲｍまたはΔＣ）に基づいて変化量５１２を算出してもよい。また、上述式（８）および式（９）に基づく関数は、差分ではなく特徴量５１０と特徴量５１１との割合から算出する関数であってもよい。
このように、時空間特性変化量算出部５０５は、算出した変化量５１２を動き特徴量５１０とともに、映像評価決定部５０６に出力する。
映像評価決定部５０６は、時空間特性変化量算出部５０５から出力された動き特徴量５１０および変化量５１２と基準特性格納部５０７に格納された相対評価の基準となる人間の視覚特性の時空間周波数特性に関する特徴量５１３とに基づいた映像の持つ時空間周波数特性、および人間の眼の時空間周波数特性、の相対的な関係に基づいた評価値５１４を算出する。なお、この評価値５１４は、映像全体に対する評価であってもよいし、任意の２枚のフレーム画像に挟まれたＮ枚のフレーム画像および当該任意の２枚のフレーム画像に対する評価であってもよい。
具体的には、映像評価決定部５０６は、基準特性である特徴量５１３と、変化量５１２（空間周波数特徴量の差分に基づいたΔＲｍ、時間方向周波数特徴量の差分に基づいたΔＣ）と、動き特徴量５１０と、に基づいて、以下の式（１０）により、時空間周波数差分と人間の眼の時空間周波数特性との相対的な関係に基づいた評価値５１４を算出する。この評価値５１４は、映像の持つ周波数成分の特性の変化量と人間の眼が感知できる周波数成分の特性との相対的な関係を示すものである。
Figure 0004755012
ais
上記式において、ρ、ωは、重み付け係数、τは定数を示す。また、Ｈ（Ｐｓ，Ｓ）は、人間の眼が感知することができる時空間周波数特性に関する特徴量５１３であり、基準特性格納部５０７に記憶されているものである。また、Ｖ５１０は、入力映像信号に対する特徴量５１０の動き特徴量を示す。
なお、人間の眼が感知できる周波数成分の特性であるＨ（Ｐｓ，Ｓ）は、ある一定の特徴量である必要はなく、特徴量１０５によって決定される時空間周波数特性に関する特徴量１０６であってもよい。
また、人間の眼が感知できる周波数成分の特性は、時空間の周波数に対する感度を表す特性を用いたが、それに限るものではない。たとえば、映像のボケ、ギクシャクさ、フリッカに対する時空間周波数の特性など、映像のある特定の品質に対する特性を用いてもよい。また、その場合に評価値Ｅは、映像のある特定の品質に対する評価を示す値を算出することになる。
また、本実施形態では、基準特性である特徴量５１３と、空間周波数特徴量の差分に基づいたΔＲｍと、時間方向周波数特徴量の差分に基づいたΔＣと、動き特徴量５１０とによって算出される評価値Ｅを示したが、変化量５１２と特徴量５１３とを比較することにより算出され、変化量５１２と特徴量５１３との間の相対的な関係に基づいて算出される関数であれば、どのような関数でもよい。このような関数によれば、入力映像に加えた一部の信号周波数成分を制限した周波数成分制限が人間の眼に対してどれくらいの影響を与えるかの視覚特性に対する相対的な評価値を示すことができる。
また、本実施形態では、評価値Ｅを算出に用いる特徴量５１０は、動き特徴量Ｖ、空間周波数特徴量の差分に基づいたΔＲｍと、時間方向周波数特徴量の差分に基づいたΔＣを用いたが、そのうちいずれかのものがなくてもよい。
つぎに、第２実施形態の映像評価装置における映像評価処理について説明する。図９は、映像評価装置５０の映像評価処理を示すフローチャートである。
映像特性解析部５０１は、入力映像信号５０８に対しての映像の持つ時空間周波数特性に関する特徴量５１０を算出する。
一方、周波数成分制限加工部５０３は、複数のフレーム画像の中から２枚のフレーム画像を特定する（ステップＳ７０１）。そして、周波数成分制限加工部５０３は、フレーム画像の中の２枚のフレームの間に存在するＮ枚のフレーム画像に対して周波数成分制限処理を行うための周波数成分制限量Ｂを、変換されたフレーム画像の空間周波数の周波数成分に基づいて決定する（ステップＳ７０２）。
つぎに、周波数成分制限加工部５０３は、Ｎ枚のフレーム画像から周波数成分制限量Ｂで定められた周波数を除去するように、当該フレーム画像に対して周波数成分制限加工処理を行い、周波数成分制限加工映像５０９を作成する（ステップＳ７０３）。そして、映像特性解析部５０４は、作成された周波数成分制限加工映像５０９に対しての映像の持つ時空間周波数特性に関する特徴量５１１を算出する（ステップＳ７０４）。すなわち、映像特性解析部５０４は、各フレーム画像に対して、上述した第１実施形態において説明したステップＳ４０１〜Ｓ４０５までの映像評価処理（図６参照）を行うことによって、周波数成分制限加工映像５０９の時空間周波数特性に関する特徴量５１１を算出する。一方、映像特性解析部５０１も、同様に、入力映像信号５０８の時空間周波数特性に関する動き特徴量５１０を算出する。
つぎに、時空間特性変化量算出部５０５は、映像特性解析部５０１および映像特性解析部５０４から出力された２つの特徴量５１０および特徴量５１１の差分を計算し、変化量５１２を算出する（ステップＳ７０５）。そして、映像評価決定部５０６は、基準特性格納部５０７に格納された人間の視覚特性としての時空間周波数特性に関する特徴量５１３を読み込む（ステップＳ７０６）。映像評価決定部５０６は、読み込んだ特徴量５１３と変化量５１２とを比較して、入力映像の持つ時空間周波数特性と人間の眼の時空間周波数特性との間における相対的な関係および動き特徴量５１０に基づいた評価値５１４を算出する（ステップＳ７０７）。
以上のように、第２実施形態における映像評価装置５０によれば、入力映像の中のあるフレーム画像に対し、一部の信号周波数成分を制限する加工を行うことで作成された周波数成分制限加工映像５０９を作成することができる。そして、一部周波数成分制限された映像と入力映像との時空間周波数特性に関する特徴量が算出され、算出された特徴量の変化量と人間の視覚特性が持つ時空間周波数特性に関する特徴量との比較を行うことで、入力映像に加えた周波数成分制限による時空間周波数特性の変化量と人間の眼の時空間周波数特性による相対的な関係に基づいた評価値を算出することができる。したがって、入力映像に与えた周波数成分制限による時空間周波数特性の変化量に基づいて、人間の眼への影響を考慮した相対的な値を示すことができる。
［第３実施形態］
つぎに、本発明の第３実施形態について説明する。図１０は、第３実施形態における映像処理装置８０の機能構成を例示するブロック構成図である。この映像処理装置８０は、物理的には、ＣＰＵ(中央処理装置)、メモリ等の記憶装置、および映像を入出力する入出力装置（通信装置等）を備えるコンピュータである。例えば、映像処理装置８０は、ＰＣ端末等の固定通信端末、携帯電話機等の移動通信端末などの、情報処理可能な装置である。
図１０を参照して映像処理装置８０の機能構成について説明する。図１０に示すように、映像処理装置８０は、バッファ部８０１と、周波数成分制限加工評価部８０２と、評価値判定部８０３と、周波数成分制限量調整部８０４（周波数成分調整手段、周波数成分制限量調整手段）とを含んで構成されている。
バッファ部８０１は、外部から動画像信号として入力された入力映像信号８０５を一時的に保存することができるメモリを備え、当該メモリに対してデータの読み書きを制御する部分であり、入力映像信号８０５を、周波数成分制限加工評価部８０２に出力する。なお、以後、バッファ部８０１に一時的に保存された入力映像信号８０６は、再評価指示８０９によって、周波数成分制限加工評価部８０２に出力される。
周波数成分制限加工評価部８０２は、上述した第２実施形態に記載された映像評価装置５０が有する機能と同様の機能を有する。すなわち、周波数成分制限加工評価部８０２は、上述した映像特性解析部５０１と、周波数成分制限加工部５０３および映像特性解析部５０４からなる周波数成分制限映像加工部５０２と、時空間特性変化量算出部５０５と、映像評価決定部５０６と、基準特性格納部５０７とが有する機能と同様の機能を有する。周波数成分制限加工評価部８０２は、バッファ部８０１から出力された入力映像信号８０６に基づいて、上述した時空間周波数特性の周波数成分制限による評価値８０７を算出する。なお、周波数成分制限加工部５０３と同様の機能を有する手段は、所定の周波数成分制限量Ｂおよび特定するフレームに関する情報（任意の２枚のフレームを特定する情報）は、ユーザにより設定可能にするように外部に入出力できる機能を有するものとする。
周波数成分制限加工評価部８０２は、算出した評価値８０７を、評価値判定部８０３に出力する。また、周波数成分制限加工評価部８０２内の周波数成分制限加工部５０３と同様の機能を有する手段は、決定した周波数成分制限量Ｂと特定したフレーム画像とを周波数成分制限量調整部８０４に出力する。
評価値判定部８０３は、周波数成分制限加工評価部８０２から出力された評価値８０７が規定値以上であるか否かを判定する。なお、上記規定値は、予め設定されたものであってもよいし、外部から与えられたものであってもよい。評価値判定部８０３は、判定結果８０８を周波数成分制限量調整部８０４に出力する。
周波数成分制限量調整部８０４は、評価値判定部８０３から出力された判定結果８０８を受信し、バッファ部８０１から出力された入力映像信号８０６に対する周波数成分制限量の調整を行う部分である。また、周波数成分制限加工評価部８０２より受信した周波数成分制限量Ｂの大きさと特定したフレーム画像に関する情報（任意の２枚のフレーム画像を特定する情報）とを記憶する。周波数成分制限量調整部８０４は、判定結果８０８が規定値以上の場合、記憶された周波数成分制限量Ｂおよびフレーム画像に関する情報に基づいて、周波数成分制限量Ｂと２つのフレーム画像に挟まれるフレーム画像枚数であるＮ値とが大きくなるよう調整を行う。そして、周波数成分制限量調整部８０４は、調整した周波数成分制限量Ｂnと特定するフレームに関する情報と（信号８１０）を周波数成分制限加工評価部８０２に出力する。周波数成分制限量調整部８０４は、同時にバッファ部８０１に対して再評価指示８０９を出力する。
なお、本実施形態では、周波数成分制限量Ｂの大きさとＮ値との両方の調整を行ったが、周波数成分制限加工評価部８０２より受信した周波数成分制限量Ｂの大きさと特定したフレーム画像の情報とに基づき、周波数成分制限量Ｂの大きさと特定したフレーム画像の情報との少なくとも１つを調整してもよい。
また、本実施形態では、周波数成分制限量Ｂを大きくなるように調整を行ったが、周波数成分制限量Ｂｎが周波数成分制限量Ｂより小さくなるよう調整を行ってもよい。同様に、Ｎ値が小さくするよう調整を行ってもよい。
周波数成分制限量調整部８０４は、評価値判定部８０３から判定結果８０８を受信し、判定結果８０８が規定値以下となるまで、周波数成分制限量の周波数成分制限量Ｂの大きさや加工対象であるフレーム画像枚数Ｎの調整を行う。周波数成分制限量調整部８０４は、判定結果８０８が規定値よりも小さい値となった場合は、周波数成分制限量Ｂの大きさと加工対象であるフレーム画像枚数Ｎとの調整を終了する。
なお、本実施形態では、判定結果８０８が規定値以下となったら調整を終了する例を示したが、それ以外の調整終了の基準があってもよい。たとえば、周波数成分制限量Ｂの大きさがある規定値以上になるまでといった方法や、調整回数がある回数を超えたら調整を終了するといった評価値以外の終了設定の方法をとっても良い。
周波数成分制限量調整部８０４は、周波数成分制限量Ｂの大きさと加工対象であるフレーム画像枚数Ｎとの調整を終了すると調整し終えた周波数成分制限量Ｂｎの大きさと特定したフレーム画像の情報とを調整結果８１１として出力する。
なお、本実施形態では、調整結果８１１として調整し終えた周波数成分制限量Ｂｎの大きさと特定したフレーム画像の情報とを出力したが、調整した任意の数の周波数成分制限量Ｂｎの大きさと特定したフレーム画像の情報とを出力してもよい。
また、周波数成分制限加工評価部８０２は、第１実施形態の映像評価装置１０としてもよい。この場合、周波数成分制限加工評価部８０２は、映像特性解析部１０１（図１参照）から出力された特徴量１０５と、基準特性格納部１０３（図１参照）に格納された相対評価の基準となる人間の視覚特性の時空間周波数特性に関する特徴量１０６とに基づき映像の持つ時空間周波数特性と人間の眼の時空間周波数特性との相対的な関係に基づいた評価値８０７を算出し、評価値判定部８０３に出力することができる。
そして、評価値判定部８０３は、受信した評価値８０７が規定値以上のであるか否かを判断し、規定値以上である場合には、評価値判定部８０３は、判定結果８０８として周波数成分制限量調整部８０４に判定結果を出力する。周波数成分制限量調整部８０４は、評価値判定部８０３から出力された判定結果８０８を受信し、入力映像信号８０６に対する周波数成分制限量Ｂの調整を行い、周波数成分制限加工評価部８０２（映像評価装置１０）およびバッファ部８０１に調整指示を出力する。
ここでは、周波数成分制限加工評価部８０２（映像評価装置１０）は、調整指示を受信すると、バッファ部８０１から出力された入力映像信号から任意の２枚のフレーム画像を選択する。そして、周波数成分制限加工評価部８０２は、選択された２枚のフレーム画像に挟まれているＮ枚（Ｎは１以上の整数）の画像に対して予め定められた周波数を制限した周波数成分制限画像を生成するように、映像特性解析部１０１を制御する。この周波数の制限処理は、第２実施形態における周波数成分制限量Ｂを用いた制限処理と同じである。なお、この制限処理を行う機能を、第１実施形態の映像評価装置１０は備えている必要がある。また、ここで再度評価され、調整された周波数成分制限画像に基づいた評価値は、映像全体に対する評価であってもよいし、任意の２枚のフレーム画像に挟まれたＮ枚のフレーム画像および当該任意の２枚のフレーム画像に対する評価であってもよい。
つぎに、第３実施形態の映像処理装置８０における映像処理の流れについて説明する。図１１は、映像処理装置８０の映像処理を示すフローチャートである。
まず、バッファ部８０１は、外部から動画像信号として入力された入力映像信号８０５を周波数成分制限加工評価部８０２に出力するとともに、当該入力映像信号８０５を一時的に保存する（ステップＳ９０１）。
つぎに、周波数成分制限加工評価部８０２は、バッファ部８０１から出力された入力映像信号８０５を用いて、周波数成分制限による時空間周波数特性の変化量に基づく評価値８０７を算出する（ステップＳ９０２）。すなわち、周波数成分制限加工評価部８０２は、入力映像信号８０５を用いて、上述した第２実施形態において説明したステップＳ７０１〜Ｓ７０７までの時空間解像度可変量決定処理（図９参照）を行うことによって、周波数成分制限による時空間周波数特性の変化量の人間の視覚特性との相対的な関係に基づいた評価値８０７を算出する。
つぎに、評価値判定部８０３は、評価値８０７が所定の評価値であるか否かの判定を行い、判定結果を周波数成分制限量調整部８０４に出力する（ステップＳ９０３）。周波数成分制限量調整部８０４は、判定結果８０８が規定値より大きいと判定した場合（Ｓ９０４）、周波数成分制限量を調整して、調整した周波数成分制限量およびフレーム画像の情報（信号８１０）を周波数成分制限加工評価部８０２に出力する（ステップＳ９０５）。
周波数成分制限量調整部８０４は、判定結果８０８が規定値よりも小さい判定結果８０８を受けるまで、周波数成分制限量を調整して周波数成分制限加工評価部８０２に出力するステップ（ステップＳ９０２〜Ｓ９０５）を繰り返す。
周波数成分制限量調整部８０４は、判定結果８０８が規定値よりも小さいと判定を受けると調整を終了すると、調整し終えた周波数成分制限量Ｂｎの大きさと特定のフレーム画像の情報を調整結果８１１として出力する。（ステップＳ９０６）。
なお、周波数成分制限加工評価部８０２を第１実施形態の映像評価装置１０とした場合は、Ｓ９０２〜Ｓ９０５として、周波数成分制限加工評価部８０２は、評価値Ｄが規定値以下になるまで、入力した入力映像信号から任意の２枚のフレーム画像を選択し、選択したフレーム画像にはさまれているＮ枚のフレーム画像に対して評価値Ｄを算出することを繰り返し処理する。この場合、Ｎを小さくする方向に制御が行われる。
以上のように、第３実施形態における映像処理装置８０によれば、入力映像の中のあるフレーム画像に対し、一部の信号周波数成分を制限する加工を行うことで作成された周波数成分制限加工映像を作成することができる。そして、映像処理装置８０は、一部周波数成分制限された映像と入力映像との時空間周波数特性に関する特徴量が算出する。映像処理装置８０は、算出した特徴量の変化量と人間の視覚特性が持つ時空間周波数特性に関する特徴量との比較を行うことで、入力映像に加えた周波数成分制限による時空間周波数特性の変化量と人間の眼の時空間周波数特性（変化量に対応した基準値）とによる相対的な関係に基づいた評価値を算出する。映像処理装置８０は、算出した評価値の判定を行い、判定結果により周波数成分制限量を調整し、調整した周波数成分制限量を出力する。
このようにして、映像処理装置８０は、入力映像に与えた周波数成分制限による時空間周波数特性の変化量に基づいて、人間の眼への影響を考慮した相対的な値を規定値と判定し、規定値以上の値が保たれる周波数成分制限量を決定することができる。
なお、上述した映像処理装置８０は、例えば、映像取得装置（例えばカメラ）、映像伝送装置、映像符号化装置、または映像復号装置のために利用可能である。
［第４実施形態］
つぎに、本発明の第４実施形態について説明する。この第４の実施形態における時空間周波数特性解析装置１００は、第１の実施形態における映像評価装置１０の映像特性解析部１０１、第２の実施形態における映像評価装置５０の映像特性解析部５０１、または映像特性解析部５０４に相当するものである。図１２は、第４実施形態における時空間周波数特性解析装置１００の機能構成を例示するブロック構成図である。この時空間周波数特性解析装置１００は、物理的には、ＣＰＵ(中央処理装置)、メモリ等の記憶装置、および映像を入出力する入出力装置（通信装置等）を備えるコンピュータである。例えば、時空間周波数特性解析装置１００は、ＰＣ端末等の固定通信端末、または携帯電話機等の移動通信端末などの情報処理可能な装置である。
図１２を参照して時空間周波数特性解析装置１００の機能構成について説明する。図１２に示すように、時空間周波数特性解析装置１００は、空間周波数算出部１００１（空間周波数算出手段）、空間周波数成分整理部１００２（空間周波数成分整理手段）、基準特性格納部１００３、時空間周波数算出部１００４（時空間周波数算出手段）、時空間周波数特性表現部１００５（特性演算手段）、を含んで構成されている。以下、各構成について説明する。
時空間周波数特性解析装置１００は、映像を構成するフレーム（例えば図２に示されるフレーム画像）を順次読み込み、記憶部（図示せず）に記憶する。
空間周波数算出部１００１は、記憶されているフレーム画像を読み込み、フレーム画像の空間周波数の空間周波数振幅の大きさを算出する部分である。具体的には、まず、空間周波数算出部１００１は、フレーム画像の全画素に対して離散フーリエ変換を行うことにより、画素空間から周波数空間に変換を行う。本実施形態では、空間周波数算出部１００１は、フレーム画像に対して２次元離散フーリエ変換を行い、フレーム画像を、空間周波数領域を有するデータ形式に変換する。空間周波数算出部１００１は、変換したフーリエ係数に基づいて、さらにフーリエ変換を行った空間周波数成分の振幅を算出する。具体的には、対象画像に対して２次元フーリエ変換を施し周波数係数行列を生成し、その周波数係数行列内の係数のエネルギーレベルとしてパワースペクトルの平方根を算出する。つまり、空間周波数算出部１００１は、各フーリエ係数の実数項と虚数項とそれぞれの２乗の和の平方根を各空間周波数の空間周波数振幅の大きさとして算出する。空間周波数算出部１００１は、算出した空間周波数成分の振幅を、空間周波数成分整理部１００２に送る。
なお、映像特性解析部５０４として、時空間周波数特性解析装置１００が構成される場合には、空間周波数算出部１００１は、対象画像に対して一部の周波数成分を制限して得られた周波数成分制限映像を入力し、これに基づいて空間周波数成分の振幅を算出する。
また、空間周波数振幅の表現法は、これに限るものではなく、その他の表現法でもよい。また、本実施形態では、フーリエ変換を行い空間周波数成分の振幅を算出したが、空間周波数成分の利用方法はこれに限るものではない。たとえば、位相を算出して振幅と位相の両方を用いてもよい。
また、本実施形態では、空間周波数の算出において、離散フーリエ変換をフレーム画像全体で行った例を示したが、画像の各方向への１次元離散フーリエ変換を用いて、複数回に分けて周波数領域へ変換しても良い。また、周波数変換の方法は離散フーリエ変換に限るものではなく、離散コサイン変換や離散ウエーブレット変換などを用いてもよい。
空間周波数成分整理部１００２は、空間周波数算出部１００１で算出された空間周波数成分の振幅１００７を空間周波数の低帯域成分から高帯域成分の順に読み込み、１次元のデータ列に変換することにより、空間周波数成分の整理を行う。具体的には、空間周波数成分整理部１００２は、２次元フーリエ変換で求められた空間周波数成分の振幅をジグザグスキャンやあらかじめ設定した順序に従いＤＣ成分から周波数成分の折り返しにならない最後まで（すなわち１列分）を順に読み込み１次元のデータへ変換する。
なお、本実施形態では、空間周波数成分の振幅を１次元のデータに変換したが、２次元のまま整理してもよい。
また、本実施形態では、空間周波数成分の振幅の一部分の空間周波数成分を整理したが、空間周波数成分の少なくとも一部の周波数成分であればどの空間周波数成分を整理してもよい。例えば、空間周波数成分の振幅全てを整理してもよいし、基準特性格納部１００３にて格納される基準特性との対応の取れた周波数成分のみを整理すればよい。
また、あらかじめ設定した順序で読み込む際には、基準特性格納部１００３に格納される基準特性との対応の取れた順序であることが望ましい。また、空間周波数の振幅を整理する方法は、これに限るものではない。
また、空間周波数成分整理部１００２は、整理された空間周波数成分の振幅を映像のフレームレートの枚数分を蓄積する。ここでは、説明の便宜のため、映像のフレームレートを３０と設定する。時空間周波数算出部１００４は、３０フレーム分における空間周波数成分の振幅の1次元データを２次元データ１００９に変換する。すなわち、１次元データの空間周波数成分が同じ列となるように、１行で構成されるそれぞれの１次元データを列方向に並べることにより整理し２次元データ１００９とする。空間周波数成分整理部１００２は、整理した２次元データを時空間周波数算出部１００４に送る。
また、本実施形態では、映像のフレームレートの枚数分を蓄積することでフレームレートと時間周波数との単位を一致させることができるが、映像のフレームレートの枚数分はこれに限るものではない。
時空間周波数算出部１００４は、整理された２次元データを各空間周波数成分の時間方向への変化を表す列に対して１次元フーリエ変換を行い、時空間周波数の振幅１０１０を算出する。具体的には、時空間周波数算出部１００４は、各空間周波数成分の３０個の振幅データに対してフーリエ変換を順次行い、変換したフーリエ係数を用いて時空間周波数成分の振幅を算出する。すなわち、各空間周波数成分の１次元フーリエ係数のエネルギーレベルとしてパワースペクトルの平方根を算出するために、各フーリエ係数の実数項と虚数項の２乗の和の平方根を各空間周波数の空間周波数振幅の大きさとして算出する。なお、空間周波数振幅の表現法は、これに限るものではなく、その他の表現法でもよい。
そして、時空間周波数算出部１００４は、算出した時空間周波数の振幅１０１０を、時空間周波数特性表現部１００５に送る。
なお、本実施形態では、全空間周波数成分のデータ列に関してフーリエ変換を行う例を示したが、少なくとも一部の空間周波数成分の振幅データに関してフーリエ変換を行えばよい。また、本実施形態では1次元フーリエ変換を用いて時間周波数を算出したが、２次元フーリエ変換を用いて時空間周波数を算出してもよい。
また、本実施形態では、フーリエ変換を行い空間周波数成分の振幅を算出したが、空間周波数成分の利用方法はこれに限るものではない。たとえば、位相を算出して振幅と位相の両方を用いてもよい。
また、周波数変換の方法は離散フーリエ変換に限るものではなく、離散コサイン変換や離散ウエーブレット変換などを用いてもよい。
時空間周波数特性表現部１００５は、時空間周波数算出部１００４により算出された時間周波数の特定の周波数成分の振幅を抽出する。具体的には、時空間周波数特性表現部１００５は、空間的高帯域ｘ[Ｈｚ] の特定の時間周波数ｙ[Hz]の大きさＰ１と空間的低帯域z[Ｈｚ]の特定の時間周波数v[Ｈｚ]の成分の大きさＰ２を抽出する。抽出したＰ１とＰ２とを用いて映像の時空間周波数特性Ｆを以下の数式を用いて表現する。

時空間周波数特性Ｆ Ｊ（Ｐ１、Ｐ２）＝ｋ１＊Ｐ１＋ｋ２＊Ｐ２・・・（１１）
なお、ｋ１およびｋ２はそれぞれ、Ｐ１とＰ２に対する重み付け係数を示す。
なお、本実施形態で示した時空間周波数の特定の周波数ｘ、ｙ、ｚ、vは基準特性格納部１００３の基準特性に基づくものであることが好ましい。また、あらかじめ定められた係数ｘ、ｙ、ｚ、ｖを用いてもよい。
また、本実施形態では、特定の空間周波数および時間周波数を設定したが、それぞれの周波数は帯域幅を設定してもよい。また、その場合設定したそれぞれの周波数の帯域幅に含まれる時空間周波数の大きさの最大値、最小値または平均値を用いた時空間周波数成分の大きさを抽出してもよい。
なお、本実施形態では、２つの周波数成分の振幅を抽出する例を示したが、少なくとも高周波数成分および低周波数成分の振幅の大きさを用いて時空間周波数特性Ｆを表現すればよい。また、本実施形態では、高周波成分および低周波成分を用いたが、中周波成分も用いて空間周波数特性Ｆを表現してもよい。また、時空間周波数特性Ｆの算出は、Ｐ１とＰ２との重み付け演算にて求めたが、Ｐ１とＰ２とを用いた演算であればどのような演算を用いて時空間周波数特性Ｆを求めてもよい。
つぎに、第４実施形態の時空間周波数特性解析装置１００における映像評価処理について説明する。図１３は、時空間周波数特性解析装置１００の映像評価処理を示すフローチャートである。
空間周波数算出部１００１は、連続する画像データの入力映像信号１００６を読み込む（ステップＳ１１０１）。つぎに、空間周波数算出部１００１は、フレーム数を取得し（Ｓ１１０２）、フレーム画像である入力映像信号１００６を映像の持つ空間周波数の振幅１００７に変換する（ステップＳ１１０３）。
つぎに、空間周波数成分整理部１００２は、空間周波数１００７を一次元データに変換することにより整理し（ステップＳ１１０４）、例えば３０フレーム分の空間周波数データを蓄積し、２次元データ１００９を生成する（ステップＳ１１０５）。
つぎに、時空間周波数算出部１００４は、２次元データ１００９における各空間周波数の時間方向の変化を示す列に対して順次１次元フーリエ変換を行い、変換したフーリエ変換係数の振幅を求めることで時空間周波数の振幅１０１０を算出する（ステップＳ１１０６）。
そして、時空間周波数特性表現部１００５は、時空間周波数の振幅１０１０少なくとも１つ以上の特定周波数成分を抽出し、映像の時空間周波数特性１０１１を表現する（ステップＳ１１０７）。
以上のように、第４実施形態における時空間周波数特性解析装置１００によれば、入力映像の中のあるフレーム画像に対し、時空間周波数成分の基準特性に合わせた整理を行った表現をすることで基準特性にあった時空間周波数特性を表現することができる。また、基準特性を視覚特性にすることで、人間の眼への影響を考慮した映像の時空間周波数の表現をすることができる。
［第５の実施形態］
以上の第１の実施形態〜第４の実施形態における映像評価装置１０、５０および映像処理装置８０ならびに時空間周波数特性解析装置１００について、同等の機能をプログラムにより実現することができる。すなわち、プログラムを記録媒体（例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ等）に記録させ、ＣＰＵ、ＲＡＭ、ＲＯＭ、補助記憶装置等から構成されるコンピュータに読みこませることにより、映像評価装置１０、５０および映像処理装置８０ならびに時空間周波数特性解析装置１００と同等の機能をコンピュータにより実現させることができる。以下、これらプログラムについて説明する。
まず、映像評価装置１０と同等の機能を実現することができるプログラムについて説明する。図１４は、映像評価装置１０と同等の機能を実現することができるプログラムＰ１０のモジュール構成図である。プログラムＰ１０は、映像特性解析モジュールＰ１０１、映像評価決定モジュールＰ１０２、および基準特性格納モジュールＰ１０３を含んで構成されている。
これら各モジュールが実行されることにより実現される機能は、映像評価装置１０の各構成要素の機能と同様である。すなわち、上述各モジュールは、映像特性解析部１０１、映像評価決定部１０２、および基準特性格納部１０３に夫々対応して、各構成要素と同等の機能を実現することができる。
つぎに、映像評価装置５０と同等の機能を実現することができるプログラムについて説明する。図１５は、映像評価装置５０と同等の機能を実現することができるプログラムＰ５０のモジュール構成図である。プログラムＰ５０は、映像特性解析モジュールＰ５０１、周波数成分制限加工モジュールＰ５０３、映像特性解析モジュールＰ５０４、時空間特性変化量算出モジュールＰ５０５、映像評価決定モジュールＰ５０６、および基準特性格納モジュールＰ５０７を含んで構成されている。
これら各モジュールが実行されることにより実現される機能は、映像評価装置５０の各構成要素の機能と同様である。すなわち、上述各モジュールは、映像特性解析部５０１、周波数成分制限映像加工部５０２（周波数成分制限加工部５０３および映像特性解析部５０４）、時空間特性変化量算出部５０５、映像評価決定部５０６、および基準特性格納部５０７に夫々対応して、各構成要素と同等の機能を実現することができる。
つぎに、映像処理装置８０と同等の機能を実現することができるプログラムについて説明する。図１６は、映像処理装置８０と同等の機能を実現することができるプログラムＰ８０のモジュール構成図である。プログラムＰ８０は、バッファモジュールＰ８０１、周波数成分制限加工評価モジュールＰ８０２、評価値判定モジュールＰ８０３、および周波数成分制限量調整モジュールＰ８０４を含んで構成されている。なお、周波数成分制限加工モジュールＰ８０２は、映像評価プログラムＰ１０またはＰ５０と同等のモジュールである。
これら各モジュールが実行されることにより実現される機能は、映像処理装置８０の各構成要素の機能と同様である。すなわち、上述各モジュールは、バッファ部８０１、周波数成分制限加工評価部８０２、評価値判定部８０３、および周波数成分制限量調整部８０４に夫々対応して、各構成要素と同等の機能を実現することができる。
つぎに、時空間周波数特性解析装置１００と同等の機能を実現することができるプログラムについて説明する。図１７は、時空間周波数特性解析装置１００と同等の機能を実現することができるプログラムＰ１０００のモジュール構成図である。プログラムＰ１０００は、空間周波数モジュールＰ１００１、空間周波数成分整理モジュールＰ１００２、基準特性格納モジュールＰ１００３、時空間周波数算出モジュールＰ１００４、および時空間周波数特性表現モジュールＰ１００５を含んで構成されている。
これら各モジュールが実行されることにより、実現される機能は、時空間周波数特性解析装置１００の各構成要素の機能と同様である。すなわち、上述各モジュールは、空間周波数算出部１００１、空間周波数成分整理部１００２、基準特性格納部１００３、時空間周波数算出部１００４、時空間周波数特性表現部１００５に夫々対応して、各構成要素と同等の機能を実現することができる。
つぎに、本実施形態の映像評価装置１０、映像評価装置５０、および映像処理装置８０の作用効果について説明する。映像評価装置１０は、映像に関する予め定められた時空間周波数特性である基準特性を基準特性格納部１０３に記憶しておく。そして、映像評価装置１０において、映像特性解析部１０１が複数の画像からなる対象映像を入力し、対象映像の時空間周波数特性を算出する。映像評価決定部１０２は、算出された時空間周波数特性と基準特性との相対的な関係に基づいて、入力された対象映像の評価値を決定する。これにより、連続する画像である映像としての特性に基づいた評価を行うことができ、映像の中の一画像を評価することと比べて、適切に映像を評価することができる。よって、映像中の画像の一枚一枚が、解像度が低いなどで低評価となる場合があっても、映像としては高評価を得る場合があり、映像として適切に評価することができる。
また、この映像評価装置１０の映像特性解析部１０１は、空間周波数算出部１００１、空間周波数成分整理部１００２、基準特性格納部１００３、時空間周波数算出部１００４、および時空間周波数特性表現部１００５を備えており、以下の動作を行うことができる。すなわち、空間周波数算出部１００１は複数の画像の空間周波数を算出し、空間周波数成分整理部１００２は算出された空間周波数の成分を、基準特性格納部１００３に記憶された基準特性に対応付けたデータに変換する。そして、時空間周波数算出部１００４は、変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出し、時空間周波数特性表現部１００５は算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを演算することができる。これにより、映像の時空間周波数特性を適切に表現することができ、連続する画像である映像としての特性に基づいた評価を行うことができ、映像の中の一画像を評価することと比べて、適切に映像を評価することができる。
また、映像処理装置８０において周波数成分制限量調整部８０４は、周波数成分制限加工評価部８０２（映像評価装置１０に相当）で決定された評価値に基づき、対象映像にある任意の２枚の画像の間にあるＮ枚（Ｎは１以上の整数）の画像に対し、所定の周波数成分を調整する。そして、周波数成分制限加工評価部８０２は、信号周波数成分が調整された上記Ｎ枚の画像の評価値を算出することができる。これにより、周波数成分を調整した一部の画像に対して再評価を行うことができ、様々な角度から、あらゆる周波数成分における映像を評価することができる。
映像評価装置５０は、映像に関する予め定められた時空間周波数特性である基準特性を基準特性格納部５０７に記憶しておく。そして映像評価装置５０の映像特性解析部５０１は、複数の画像からなる対象映像を入力し、対象映像の時空間周波数特性に基づいた第１映像特性を算出する。また、周波数成分制限映像加工部５０２は、対象画像に対して一部の周波数成分を制限して得られた周波数成分制限映像における時空間周波数特性に基づいた第２映像特性を算出する。時空間特性変化量算出部５０５は、第１映像特性に対する第２映像特性の変化量を算出し、映像評価決定部５０６は、この変化量と基準特性との相対的な関係に基づいて、入力された対象映像の評価値を算出する。
これにより、一部の周波数成分を制限して得られた周波数成分制限映像を用いて対象映像の評価を行うことができ、時空間周波数特性の周波数成分制限による画像における周波数成分上の違いを明らかにすることができる。よって、周波数成分制限映像に基づいて評価しようとする映像の周波数成分を適切に評価することができる。例えば、周波数成分制限映像を人間の視覚が感知することができる周波数成分を制限した映像とした場合、この周波数成分制限映像と対象映像との間の変化量と基準特性との相対的な関係に基づいて評価することで、人間の視覚が感知することができない周波数成分に関する映像の評価を行うことができる。
また、映像評価装置５０は、周波数成分制限映像加工部５０２において、対象映像の中の任意の２枚の画像の間にあるＮ枚（Ｎは１以上の整数）の画像に対し、Ｎ枚の画像の一部の周波数成分を制限した周波数成分制限映像を得ることができる。よって、この制限した周波数成分制限映像に基づいて対象映像を評価することができ、対象映像の中の一部のＮ枚の画像の周波数成分の特性を考慮した評価を行うことができる。
また、映像評価装置５０の映像特性解析部５０１は、空間周波数算出部１００１、空間周波数成分整理部１００２、基準特性格納部１００３、時空間周波数算出部１００４、および時空間周波数特性表現部１００５を備えており、以下の動作を行うことができる。すなわち、空間周波数算出部１００１は、複数の画像の空間周波数を算出し、空間周波数成分整理部１００２は算出された空間周波数の成分を、基準特性格納部１００３に記憶されている基準特性に対応付けたデータに変換する。そして、時空間周波数算出部１００４は、変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出し、時空間周波数特性表現部１００５は、算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを演算することができる。これにより、映像の時空間周波数特性を適切に表現することができ、連続する画像である映像としての特性に基づいた評価を行うことができ、映像の中の一画像を評価することと比べて、適切に映像を評価することができる。
また、映像評価装置５０の映像特性解析部５０４は、空間周波数算出部１００１、空間周波数成分整理部１００２、基準特性格納部１００３、時空間周波数算出部１００４、および時空間周波数特性表現部１００５を備えており、以下の動作を行うことができる。すなわち、空間周波数算出部１００１は、対象画像に対して一部の周波数成分を制限して得られた周波数成分制限映像から空間周波数を算出し、空間周波数成分整理部１００２は、算出された空間周波数の成分を、基準特性格納部１００３に記憶された基準特性に対応付けたデータに変換する。そして、時空間周波数算出部１００４は、変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出し、時空間周波数特性表現部１００５は、算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを演算することができる。これにより、映像の時空間周波数特性を適切に表現することができ、連続する画像である映像としての特性に基づいた評価を行うことができ、映像の中の一画像を評価することと比べて、適切に映像を評価することができる。
また、映像処理装置８０の周波数成分制限量調整部８０４は、評価値に基づいて制限される周波数成分の特性を調整することができ、調整された周波数成分の特性により再評価を行うことができる。
また、映像処理装置８０の周波数成分制限量調整部８０４は、評価値に基づいて周波数成分の制限対象とされる任意の２枚の画像を変更することができ、制限対象が変更された画像に基づいて再評価を行うことができる。
また、これら映像評価装置１０、映像評価装置５０、および映像処理装置８０において、基準特性格納部１０３、５０７に記憶されている基準特性を、人間の視覚特性に基づいて定められた周波数特性とすることで、人間の視覚特性に基づいた評価を行うことができる。
また、上述の映像特性解析部１０１、映像特性解析部５０１、および映像特性解析部５０４は、時空間周波数特性解析装置１００として構成することができ、以下の作用効果を奏する。すなわち、空間周波数算出部１００１は、複数の画像の空間周波数を算出し、空間周波数成分整理部１００２は、算出された上記空間周波数の成分を、予め定められた基準特性に対応付けた一次元データに変換する基づき整理する。そして、時空間周波数算出部１００４は、変換整理された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出し、時空間周波数特性表現部１００５は、算出された時空間周波数のうち高周波数成分および低周波数成分を用いて少なくとも１つ以上の特定の時空間周波数の成分から映像の時空間周波数特性を表現することができる周波数特性データを算出することができる。これにより、映像の時空間周波数特性を適切に表現することができ、連続する画像である映像としての特性に基づいた評価を行うことができ、映像の中の一画像を評価することと比べて、適切に映像を評価することができる。
第１実施形態における映像評価装置の機能構成を例示すブロック構成図である。 読み込まれるフレーム画像を示す概念図である。 周波数領域におけるパワースペクトルと空間周波数の関係を例示する図である。 フレーム画像Ｐ０〜Ｐ３から水平方向に２次元画像を抽出するときの概念を示す概念図である。 フレーム画像Ｐ０〜Ｐ３から垂直方向に２次元画像を抽出するときの概念を示す概念図である。 第１実施形態における映像評価処理の流れを示すフローチャートである。 第２実施形態における映像評価装置の機能構成を例示すブロック構成図である。 空間周波数の加工の例を示す図である。 第２実施形態における映像処理の流れを示すフローチャートである。 第３実施形態における映像処理装置の機能構成を例示すブロック構成図である。 第３実施形態における映像処理の流れを示すフローチャートである。 第４実施形態における時空間周波数特性解析装置の機能構成を例示するブロック構成図である。 第４実施形態における時空間周波数特性解析装置の映像評価処理を示すフローチャートである。 映像評価装置１０と同等の機能を実現することができるプログラムＰ１０のモジュール構成図である。 映像評価装置５０と同等の機能を実現することができるプログラムＰ５０のモジュール構成図である。 映像処理装置８０と同等の機能を実現することができるプログラムＰ８０のモジュール構成図である。 時空間周波数特性解析装置１００と同等の機能を実現することができるプログラムＰ１０００のモジュール構成図である。
符号の説明
１０…映像評価装置、５０…映像評価装置、８０…映像処理装置、１０１…映像特性解析部、１０２…映像評価決定部、１０３…基準特性格納部、５０１…映像特性解析部、５０２…周波数成分制限映像加工部、５０３…周波数成分制限加工部、５０４…映像特性解析部、５０５…時空間特性変化量算出部、５０６…映像評価決定部、５０７…基準特性格納部、５０９…周波数成分制限加工映像、８０１…バッファ部、８０２…周波数成分制限加工評価部、８０３…評価値判定部、８０４…周波数成分制限量調整部、１００１…空間周波数算出部、１００２…空間周波数成分整理部、１００３…基準特性格納部、１００４…時空間周波数算出部、１００５…時空間周波数特性表現部。

Claims (16)

  1. 映像に関する予め定められた時空間周波数特性である基準特性を記憶する記憶手段と、
    複数の画像からなる対象映像の時空間周波数特性を算出する映像特性解析手段と、
    前記映像特性解析手段により算出された時空間周波数特性と前記記憶手段に記憶された基準特性との相対的な関係に基づいて、前記対象映像の評価値を算出する映像評価決定手段と、
    前記映像評価決定手段により決定された評価値に基づき、前記対象映像にある任意の２枚の画像の間にあるＮ枚（Ｎは１以上の整数）の画像に対し、所定の周波数成分を調整する周波数成分調整手段とを備え、
    前記映像評価決定手段は、前記周波数成分調整手段により信号周波数成分が調整された画像の評価値を算出することを特徴とする映像評価装置。
  2. 前記映像特性解析手段は、
    複数の画像の空間周波数を算出する空間周波数算出手段と、
    前記空間周波数算出手段により算出された空間周波数の成分を、予め定められた基準に対応付けられたデータに変換する空間周波数成分整理手段と、
    前記空間周波数成分整理手段により変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出する時空間周波数算出手段と、
    前記時空間周波数算出手段により算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを算出する特性算出手段と、
    から構成されていることを特徴とする請求項１に記載の映像評価装置。
  3. 映像に関する予め定められた時空間周波数特性である基準特性を記憶する記憶手段と、
    複数の画像からなる対象映像の時空間周波数特性に基づいた第１映像特性を算出する第１映像特性解析手段と、
    前記対象画像に対して一部の周波数成分を制限して得られた周波数成分制限映像における時空間周波数特性に基づいた第２映像特性を算出する第２映像特性解析手段と、
    前記第１の映像特性解析手段により算出された第１映像特性に対する前記第２の映像特性解析手段により算出された第２映像特性の変化量と前記記憶手段に記憶された基準特性との相対的な関係に基づいて、入力された前記対象映像の評価値を算出する映像評価決定手段と、
    を備える映像評価装置。
  4. 前記第２映像特性解析手段は、前記対象映像の中の任意の２枚の画像の間にあるＮ枚（Ｎは１以上の整数）の画像に対して一部の周波数成分を制限することで周波数成分制限映像を得ることを特徴とする請求項３に記載の映像評価装置。
  5. 前記評価値に基づいて、前記第２映像特性解析手段により制限される周波数成分を調整する周波数成分調整手段を備え、
    前記映像評価決定手段は、前記周波数成分調整手段により信号周波数成分が調整された画像の評価値を算出することを特徴とする請求項３または４に記載の映像評価装置。
  6. 前記評価値に基づいて、前記第２映像特性解析手段により周波数成分の制限対象を定める任意の２枚の画像を変更する周波数成分制限量調整手段を備えることを特徴とする請求項４に記載の映像評価装置。
  7. 前記第１映像特性解析手段は、
    複数の画像の空間周波数を算出する空間周波数算出手段と、
    前記空間周波数算出手段により算出された空間周波数の成分を、予め定められた基準に対応付けられたデータに変換する空間周波数成分整理手段と、
    前記空間周波数成分整理手段により変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出する時空間周波数算出手段と、
    前記時空間周波数算出手段により算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを算出する特性算出手段と、
    から構成されていることを特徴とする請求項３から５のいずれか一項に記載の映像評価装置。
  8. 前記第２映像特性解析手段は、
    対象画像に対して一部の周波数成分を制限して得られた周波数成分制限映像から空間周波数を算出する空間周波数算出手段と、
    前記空間周波数算出手段により算出された空間周波数の成分を、予め定められた基準に対応付けられたデータに変換する空間周波数成分整理手段と、
    前記空間周波数成分整理手段により変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出する時空間周波数算出手段と、
    前記時空間周波数算出手段により算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを算出する特性算出手段と、
    から構成されていることを特徴とする請求項３から５のいずれか一項に記載の映像評価装置。
  9. 前記基準特性は、人間の視覚特性に基づいて定められた周波数特性であることを特徴とする請求項１から８のいずれか１項に記載の映像評価装置。
  10. 複数の画像の空間周波数を算出する空間周波数算出手段と、
    前記空間周波数算出手段により算出された空間周波数の成分を、予め定められた基準に対応付けられたデータに変換する空間周波数成分整理手段と、
    前記空間周波数成分整理手段により変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出する時空間周波数算出手段と、
    前記時空間周波数算出手段により算出された時空間周波数のうち少なくとも高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを算出する周波数特性算出手段と、
    を備える時空間周波数特性解析装置。
  11. 複数の画像からなる対象映像の時空間周波数特性を算出する映像特性解析ステップと、
    前記映像特性解析ステップにより算出された時空間周波数特性と、映像に関する予め定められた時空間周波数特性である基準特性と、の相対的な関係に基づいて、前記対象映像の評価値を算出する映像評価決定ステップと、
    前記映像評価決定ステップにより決定された評価値に基づき、前記対象映像にある任意の２枚の画像の間にあるＮ枚（Ｎは１以上の整数）の画像に対し、所定の周波数成分を調整する周波数成分調整ステップとを備え、
    前記映像評価決ステップ段は、前記周波数成分調整ステップにより信号周波数成分が調整された画像の評価値を算出することを特徴とする映像評価方法。
  12. 複数の画像からなる対象映像の時空間周波数特性に基づいた第１映像特性を算出する第１映像特性解析ステップと、
    前記対象画像に対して一部の周波数成分を制限して得られた周波数成分制限映像における時空間周波数特性に基づいた第２映像特性を算出する第２映像特性解析ステップと、
    前記第１映像特性に対する前記第２映像特性の変化量と、映像に関する予め定められた時空間周波数特性である基準特性と、の相対的な関係に基づいて、入力された前記対象映像の評価値を算出する映像評価決定ステップと、を備える映像評価方法。
  13. 複数の画像の空間周波数を算出する空間周波数算出ステップと、
    前記空間周波数算出ステップにより算出された空間周波数の成分を、予め定められた基準特性に対応付けた一次元データに変換する空間周波数成分整理ステップと、
    前記空間周波数成分整理ステップにより変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出する時空間周波数算出ステップと、
    前記時空間周波数算出ステップにより算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを算出する周波数特性算出ステップと、
    を備える時空間周波数特性解析方法。
  14. 映像に関する予め定められた時空間周波数特性である基準特性を記憶する記憶モジュールと、
    複数の画像からなる対象映像の時空間周波数特性を算出する映像特性解析モジュールと、
    前記映像特性解析モジュールにより算出された時空間周波数特性と前記記憶モジュールに記憶された基準特性との相対的な関係に基づいて、前記対象映像の評価値を算出する映像評価決定モジュールと、
    前記映像評価決定モジュールにより決定された評価値に基づき、前記対象映像にある任意の２枚の画像の間にあるＮ枚（Ｎは１以上の整数）の画像に対し、所定の周波数成分を調整する周波数成分調整モジュールとを備え、
    前記映像評価決定モジュールは、前記周波数成分調整モジュールにより信号周波数成分が調整された画像の評価値を算出することを特徴とする映像評価プログラム。
  15. 映像に関する予め定められた時空間周波数特性である基準特性を記憶する記憶モジュールと、
    複数の画像からなる対象映像の時空間周波数特性に基づいた第１映像特性を算出する第１映像特性解析モジュールと、
    前記対象画像に対して一部の周波数成分を制限して得られた周波数成分制限映像における時空間周波数特性に基づいた第２映像特性を算出する第２映像特性解析モジュールと、
    前記第１映像特性解析モジュールにより算出された第１映像特性に対する前記第２映像特性解析モジュールにより算出された第２映像特性の変化量と前記記憶モジュールに記憶された基準特性との相対的な関係に基づいて、入力された前記対象映像の評価値を算出する映像評価決定モジュールと、
    を備える映像評価プログラム。
  16. 複数の画像の空間周波数を算出する空間周波数算出モジュールと、
    前記空間周波数算出モジュールにより算出された空間周波数の成分を、予め定められた基準に対応付けられたデータに変換する空間周波数成分整理モジュールと、
    前記空間周波数成分整理モジュールにより変換された空間周波数成分の少なくとも１つ以上の空間周波数成分の時間変化に対して周波数変換を行い、時空間周波数を算出する時空間周波数算出モジュールと、
    前記時空間周波数算出モジュールにより算出された時空間周波数のうち高周波数成分および低周波数成分を用いて映像の時空間周波数特性を表現することができるデータを算出する周波数特性算出モジュールと、
    を備える時空間周波数特性解析プログラム。
JP2006113827A 2005-06-29 2006-04-17 映像評価装置、時空間周波数解析装置、映像評価方法、時空間周波数解析方法、映像評価プログラム、および時空間周波数解析プログラム Expired - Fee Related JP4755012B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006113827A JP4755012B2 (ja) 2005-06-29 2006-04-17 映像評価装置、時空間周波数解析装置、映像評価方法、時空間周波数解析方法、映像評価プログラム、および時空間周波数解析プログラム
EP20060013391 EP1739981A3 (en) 2005-06-29 2006-06-28 Video evaluation apparatus, spatio-temporal frequency analyzing apparatus, video evaluation method, spatio-temporal frequency analyzing method, video evaluation program, and spatio-temporal frequency analyzing program
US11/476,026 US8064638B2 (en) 2005-06-29 2006-06-28 Video evaluation apparatus, spatio-temporal frequency analyzing apparatus, video evaluation method, spatio-temporal frequency analyzing method, video evaluation program, and spatio-temporal frequency analyzing program
US13/246,103 US8462985B2 (en) 2005-06-29 2011-09-27 Video evaluation apparatus, spatio-temporal frequency analyzing apparatus, video evaluation method, spatio-temporal frequency analyzing method, video evaluation program, and spatio-temporal frequency analyzing program

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005190443 2005-06-29
JP2005190443 2005-06-29
JP2006113827A JP4755012B2 (ja) 2005-06-29 2006-04-17 映像評価装置、時空間周波数解析装置、映像評価方法、時空間周波数解析方法、映像評価プログラム、および時空間周波数解析プログラム

Publications (2)

Publication Number Publication Date
JP2007043655A JP2007043655A (ja) 2007-02-15
JP4755012B2 true JP4755012B2 (ja) 2011-08-24

Family

ID=37114356

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006113827A Expired - Fee Related JP4755012B2 (ja) 2005-06-29 2006-04-17 映像評価装置、時空間周波数解析装置、映像評価方法、時空間周波数解析方法、映像評価プログラム、および時空間周波数解析プログラム

Country Status (3)

Country Link
US (2) US8064638B2 (ja)
EP (1) EP1739981A3 (ja)
JP (1) JP4755012B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9240056B2 (en) * 2008-04-02 2016-01-19 Microsoft Technology Licensing, Llc Video retargeting
JP5013487B2 (ja) * 2008-11-18 2012-08-29 Ｋｄｄｉ株式会社 映像の客観画質評価装置
JP5234812B2 (ja) * 2009-08-13 2013-07-10 日本電信電話株式会社 映像品質推定装置、方法、およびプログラム
JP5237226B2 (ja) * 2009-08-25 2013-07-17 日本電信電話株式会社 映像品質推定装置、方法、およびプログラム
JP5548212B2 (ja) * 2009-09-29 2014-07-16 パナソニック株式会社 横断歩道標示検出方法および横断歩道標示検出装置
KR20110045949A (ko) * 2009-10-28 2011-05-04 삼성전자주식회사 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
JP6494903B2 (ja) * 2013-02-14 2019-04-03 ソニー株式会社 分析システム、分析プログラム及び分析方法
CN203985214U (zh) * 2014-08-12 2014-12-10 惠东美新塑木型材制品有限公司 一种插接式容器
CN106919890A (zh) * 2015-12-25 2017-07-04 中国移动通信集团公司 一种评价用户动作标准性的方法及装置
US10735737B1 (en) 2017-03-09 2020-08-04 Google Llc Bit assignment based on spatio-temporal analysis
US11120273B2 (en) * 2019-06-21 2021-09-14 Gfycat, Inc. Adaptive content classification of a video content item
US20220247888A1 (en) * 2021-02-03 2022-08-04 Xerox Corporation Utilizing a graininess-based metric to estimate a total colorant limit

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5034986A (en) * 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
JP2894117B2 (ja) * 1992-10-20 1999-05-24 富士ゼロックス株式会社 画像信号処理方法及びその装置
JP3123866B2 (ja) * 1993-11-26 2001-01-15 エヌイーシーケーブルメディア株式会社 Ｃａｔｖ伝送路周波数特性偏差測定装置
KR100355375B1 (ko) * 1995-11-01 2002-12-26 삼성전자 주식회사 영상부호화장치에있어서양자화간격결정방법및회로
JP3618998B2 (ja) 1998-01-26 2005-02-09 日本放送協会 画像処理に伴う画質劣化を評価するための画質評価装置
JPH11266469A (ja) * 1998-03-18 1999-09-28 Toshiba Corp 画像評価装置
JP4040259B2 (ja) * 2001-02-16 2008-01-30 株式会社リコー 画像評価装置
KR100871576B1 (ko) * 2001-05-01 2008-12-02 필립스 일렉트로닉스 노쓰 아메리카 코포레이션 복합 객관적 비디오 품질 측정
US6822675B2 (en) 2001-07-03 2004-11-23 Koninklijke Philips Electronics N.V. Method of measuring digital video quality
US20030161406A1 (en) * 2002-02-26 2003-08-28 Chulhee Lee Methods for objective measurement of video quality
JP4350342B2 (ja) * 2002-04-26 2009-10-21 株式会社リコー 画像処理装置、画像記録装置、カメラシステム、プログラム、記憶媒体及び画像処理方法
JP2004228742A (ja) 2003-01-21 2004-08-12 Olympus Corp 画質評価装置
KR100798834B1 (ko) * 2003-08-22 2008-01-28 니뽄 덴신 덴와 가부시키가이샤 영상품질 평가장치, 영상품질 평가방법, 영상품질 평가프로그램을 기록한 기록매체
US7733372B2 (en) * 2003-12-02 2010-06-08 Agency For Science, Technology And Research Method and system for video quality measurements

Also Published As

Publication number Publication date
US8462985B2 (en) 2013-06-11
US20120020574A1 (en) 2012-01-26
JP2007043655A (ja) 2007-02-15
EP1739981A2 (en) 2007-01-03
US20070002183A1 (en) 2007-01-04
EP1739981A3 (en) 2009-05-06
US8064638B2 (en) 2011-11-22

Similar Documents

Publication Publication Date Title
JP4755012B2 (ja) 映像評価装置、時空間周波数解析装置、映像評価方法、時空間周波数解析方法、映像評価プログラム、および時空間周波数解析プログラム
Bishop et al. Blind image deconvolution: problem formulation and existing approaches
EP1762101B1 (en) Methods and apparatus for image encoding/decoding, and extended image compression/expansion
KR101913264B1 (ko) 신규한 평면 예측 모드
JP4885690B2 (ja) 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置
Rajala et al. Adaptive nonlinear image restoration by a modified Kalman filtering approach
CN101273639A (zh) 多维数字信号的滤波方法和设备及相关编解码方法和设备
EP3637363B1 (en) Image processing device, image processing method and image processing program
JP2013003892A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
CN113989100A (zh) 一种基于样式生成对抗网络的红外纹理样本扩充方法
JP4611535B2 (ja) 符号化された画像を評価するための処理、装置及び、使用
CA2688041A1 (en) Method and device for selecting transform matrices for down-sampling dct image using learning with forgetting algorithm
JPH11317966A (ja) ビデオ信号に基準劣化を加えるための方法及び装置
US10540735B2 (en) Information processing device, information processing method, and recording medium
CN100566431C (zh) 影像评价装置、方法
US8774545B2 (en) Image processing apparatus and image processing method with weighted vectors for filtering
KR100434162B1 (ko) 객관적 비디오 화질 평가 장치 및 방법
WO2008148205A1 (en) Method and device for down-sampling a dct image in the dct domain
KR101059649B1 (ko) 적응적 보간 필터를 이용한 부호화 장치, 그 방법 및 복호화 장치
KR100999648B1 (ko) 영상 크기 조정 장치 및 방법
CN106780331B (zh) 一种新的基于邻域嵌入的超分辨率方法
JP4442076B2 (ja) データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
CN114819109B (zh) 双目图像的超分辨率处理方法、装置、设备及介质
JP5087368B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Branch New image interpolation algorithms based on dual-tree complex wavelet transform and multilayer feedforward neural networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110524

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110526

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140603

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4755012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees