JP4783985B2 - 映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム - Google Patents
映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム Download PDFInfo
- Publication number
- JP4783985B2 JP4783985B2 JP2001053449A JP2001053449A JP4783985B2 JP 4783985 B2 JP4783985 B2 JP 4783985B2 JP 2001053449 A JP2001053449 A JP 2001053449A JP 2001053449 A JP2001053449 A JP 2001053449A JP 4783985 B2 JP4783985 B2 JP 4783985B2
- Authority
- JP
- Japan
- Prior art keywords
- correction
- correction amount
- image
- moving image
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/643—Hue control means, e.g. flesh tone control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
- H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Description
【０００１】
【発明の属する技術分野】
本発明は映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラムに関し、特に動画像の画質を自動的に高画質化する方法に関する。
【０００２】
【従来の技術】
画像の高画質化とは静止画や動画をより綺麗に見えるように、元画像に画像補正処理を施すことをいう。例えば、彩度補正やγ補正等がこれらの高画質化の補正処理である。
【０００３】
彩度補正は色の濃さを表す彩度を調整する補正である。人は彩度が高めの画像を好むことが多いため、彩度補正では元画像の彩度が高くなるよう調整することが多い。γ補正は画像の明るさを調整する補正である。人は暗すぎる画像や明るすぎる画像を好まず、適正な明るさとなっている画像をより好む。このような明るさを調整するのがγ補正である。
【０００４】
これら以外にも様々な補正があり、これらの補正処理を用いて画像をより綺麗に見えるようにするものが高画質化処理である。上記のような画像を高画質化する方法としては、従来、以下のような方法が用いられている。
【０００５】
静止画像を高画質化する場合には、様々な静止画自動高画質化手法が用いられている。ここでいう静止画高画質化手法としては、“彩度、コントラスト、鮮鋭度の調整によるカラー画像の自動画質改善”（井上、田島，第２４回画像工学コンファレンス論文集，３‐３，１９９３）（文献１）に記載された手法と、特開平０９−１４７０９８号公報（文献２）に記載された手法と、特開平１０−１５０５６６号公報（文献３）に記載された手法と、“好ましい色再現を実現する自動色補正方法”（塚田、舟山、田島，カラーフォーラムＪＡＰＡＮ２０００論文集，ｐｐ．９−１２，２０００）（文献４）に記載された手法とがある。
【０００６】
これらの文献に記載された自動高画質化手法では、静止画像からなる入力画像からある特徴量を抽出し、その特徴量に基づいて補正量を決定し、高画質化補正を行っている。ここでいう特徴量とは、例えば画面内の暗い領域の平均輝度であったり、画面内の明るい領域における各ＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）の平均階調値であったりする。
【０００７】
以下に各補正手法の一例を詳細に説明する。彩度補正の実現法の一例を図２８に示す。この彩度補正の実現法では、まず図２８（ａ）に示す入力画像に対してＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖｌｕｅ）座標系等を用いてＳ値に関してヒストグラムを作成する［図２８（ｂ）参照］。ここで、ＨＳＶ座標系については、“Ｃｏｌｏｒ Ｇａｍｕｔ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｐａｉｒｓ”（Ａ．Ｒ．Ｓｍｉｔｈ，Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ，ｖｏｌ．１２，ｐｐ．１２−１９，１９７８）に記載されている。
【０００８】
ＨＳＶ座標系のＳ値は彩度を表しており、Ｓ値のヒストグラムは彩度のヒストグラムといえる。ここで作成したヒストグラムのうち、全画素数に対する面積比が一定の割合ａとなる高彩度部分を高彩度領域とする。そして、この高彩度領域の平均彩度ＳＡＦを算出する［図２８（ｂ）参照］。この平均彩度ＳＡＦから補正量Ｃopt を、
Ｃopt ＝ＳＡＦopt ／ＳＡＦ ……（１）
という式によって算出する。ここで、平均彩度ＳＡＦopt は入力画像の彩度画像の取り得る最適値を表す。
【０００９】
このようにして算出した補正量Ｃopt は値が大きくなればなるほど、彩度を強調することになる［図２８（ｃ）参照］。図中のｃ0 の値は入力画像の彩度Ｓのレンジを取り得る範囲いっぱいに広げる時の値であり、ｃ＝ｃ0 であれば、図２８（ｃ）のように入力画像の彩度Ｓはレンジいっぱいに広がることになる［図２８（ｄ）参照］。
【００１０】
画像の高画質化はフレーム画像の各画素のＲＧＢ値からＳ値を求め、これを、
Ｓ’＝Ｃopt ×Ｓ ……（２）
という式によって線形変換する。変換後に、再びＲＧＢ値に戻すことで補正後の画像が完成される。上記の彩度補正については、文献１に記載されている。
【００１１】
露光補正の実現法の一例を図２９に示す。この露光補正の実現法では、まず図２９（ａ）に示す入力画像に対してＸＹＺ座標系を用いてＹ値のヒストグラムを作成する［図２９（ｂ）参照］。Ｙ値は輝度を表しており、Ｙ値のヒストグラムは輝度ヒストグラムといえる。
【００１２】
この時、画素数のａ倍をｍとして、輝度の高い方からｍ番目の輝度値をＺmax 、輝度の低いほうからｍ番目の輝度値をＺmin とし、ヒストグラムの中間値Ｍを、
Ｍ＝（Ｚmax ＋Ｚmin ）／２ ……（３）
という式によって求める。
【００１３】
変換後に中間値Ｍがダイナミックレンジの半分の値Ｍ0 になるようなγ値は、
γ＝［ｌｏｇ（２５５／Ｍ0 ）］／［ｌｏｇ（２５５／Ｍ）］……（４）
という式によって求まる。
【００１４】
露光補正は最初にフレーム画像の各画素のＲＧＢ値からＹ値を求め、その値に対して（４）式で求めたγ値と、
【数１】
……（５）
という式とを用いて入力画像にガンマ補正を施すことで実現する［図２９（ｃ），（ｄ）参照］。上記の露光補正については、文献３に記載されている。
【００１５】
ホワイトバランス補正の実現法の一例を図３０に示す。ホワイトバランス補正の実現法では、まず図３０（ａ）に示す入力画像に対してＸＹＺ座標系等を用いて輝度ヒストグラムを作成する［図３０（ｂ）参照］。
【００１６】
この時、画素数のａ倍をｍとして、輝度の高い方からｍ番目までの輝度を持つ画素の各階調値の平均値をその画像の白色点とする。この白色ＲＧＢ値を（ｗｒ，ｗｇ，ｗｂ）とし、調整後の白色ＲＧＢ値を（ｗｒ0 ，ｗｇ0 ，ｗｂ0 ）とし、ホワイトバランス補正量ｒ，ｇ，ｂを、
ｒ＝ｗｒ0 ／ｗｒ
ｇ＝ｗｇ0 ／ｗｇ
ｂ＝ｗｂ0 ／ｗｂ ……（６）
という式にて求める。
【００１７】
この補正量と、
Ｒ’＝ｒ×Ｒ
Ｇ’＝ｇ×Ｇ
Ｂ’＝ｂ×Ｂ ……（７）
という式とから、図３０（ｃ）に示すように、各階調値を線形変換することでホワイトバランス補正が実現される。上記のホワイトバランス補正については、文献２に記載されている。
【００１８】
コントラスト補正の実現法の一例を図３１に示す。コントラスト補正の実現法では、まず図３１（ａ）に示す入力画像に対してＸＹＺ座標系等を用いてＹ値のヒストグラム、つまり輝度ヒストグラムを作成する［図３１（ｂ）参照］。
【００１９】
この時、画素数のａ倍をｍとして、輝度の高い方からｍ番目までの輝度を持つ画素の平均輝度Ｖmax を求める。同様に、輝度の低い方からｍ番目までの輝度を持つ画素の平均輝度Ｖmin を求める［図３１（ｂ）参照］。
【００２０】
これらから座標（Ｖmin ，０），（Ｖmax ，２５５）を通過する直線である、
Ｖ’＝ａ×Ｖ＋ｂ ……（８）
という式を求める。ここで、Ｖは元画像の画素の輝度Ｙ値を表し、Ｖ’は変換後の画素のＹ値である。この（８）式を用いて各画素の輝度を線形変換し、ＲＧＢ値に逆変換することによってコントラスト強調が実現される。上記のコントラスト補正については、文献１に記載されている。
【００２１】
鮮鋭度補正の実現法の一例を図３２に示す。鮮鋭度補正の実現法では、まず図３２（ａ）に示す入力画像に対してハイパスフィルタをかけ、図３２（ｂ）に示すように、エッジ成分を抽出する。ｓｓをハイパスフィルタ、Ｅ（Ｖ）をエッジ領域、ＡＥ（Ｖ）をエッジ領域の面積、Ｖを輝度、ＥＳopt をその画像の最適鮮鋭度とすると、鮮鋭度補正量ｋは、
【数２】
……（９）
という式によって求まる。
【００２２】
この（９）式によって求まったｋを用いて、鮮鋭化は、
【数３】
……（１０）
という式によって行われる。この（１０）式によって求めたＶ’からＲＧＢ値を逆変換することで、鮮鋭化補正が実現される。上記の鮮鋭度補正については、文献１に記載されている。
【００２３】
好ましい色補正の実現法の一例を図３３に示す。好ましい色補正は画像の色を、人間が持つその対象物の記憶色に近づけることによって、画像の色の見え（人間の知覚による見え様を示す、以下同様）をより好ましくするものである。図３３に示した一例の具体的な処理は以下のようになる。
【００２４】
図３３（ａ）に示すフレーム画像の各画素の色相を計算し、図３３（ｂ）に示すような色相のヒストグラムを作成する。このヒストグラムを、図３３（ｃ）に示すように、各分割色相領域に応じて事前に与えている色補正パラメータを適用し、肌色、空色、草木の緑に関係する色相をより好ましい色となる色相に補正する。
【００２５】
その結果、図３３（ｄ）に示すように、肌色、空色、草木の緑の色だけが変化し、より好ましい色となっている。このような処理を施すことによって、好ましい色補正が実現される。この好ましい色補正とは、補正された画像のみを見て人間が好ましいと感じる色を実現するためのものであり、長年のノウハウの積み重ねをデータベースに蓄積しておき、そのデータベースに蓄積された内容に基づいて行われる。尚、上記の好ましい色補正については、文献４に記載されている。
【００２６】
上述したような静止画自動高画質化手法を用いることで、静止画の高画質化が実現されている。動画像を高画質化する場合には固定パラメータを用いて高画質化を行う方法が用いられている。固定パラメータとは動画像にある補正を施す場合にその補正量パラメータをある一定値に固定したものである。例えば、固定パラメータには次のようなものがある。
【００２７】
図３４に示すように、様々な（５）式のガンマ補正のパラメータであるγ値を変えて補正を施した画像を作成し、それぞれを比較することで、画像がより綺麗に見えるγ値の最適値を主観評価実験によって求めておく。このγ補正を動画像にかける際に、γ値を変動させずに、最適γ値を用いて補正を施した場合、このγ値が固定パラメータであるといえる。このような固定パラメータをγ補正だけではなく、様々な補正処理において用いることで画像を高画質化するものが、動画像の高画質化処理に用いられている。
【００２８】
【発明が解決しようとする課題】
しかしながら、上述した従来のシステムでは、補正量が固定パラメータで与えられているため、動画像の高画質化手法では映像ソースや映像の撮影状況に応じて適応的に補正量を変化させることができない。
【００２９】
動画像はその映像ソースや撮影状況によって画像の画質が大きく異なっている。映像ソースの違いでいうと、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）デッキから得られる動画像は彩度も高く、コントラストも高めになっている。それに対して、ホームユースのディジタルビデオカメラ等で個人が撮影した動画像は、カメラの特性によって彩度が低く、コントラストも低いものとなっている。
【００３０】
撮影状況の違いでいうと、ディジタルビデオカメラで撮影した曇天での風景と快晴での風景とで、やはり彩度やコントラストが異なってしまう。このように、動画像は場合によって画質が大きく異なっている。
【００３１】
これに対して、固定パラメータにて補正量を決定すると、ディジタルビデオカメラの画像は明瞭になるが、ＤＶＤ画像は補正がかかり過ぎて不自然な見えを呈してしまう場合がある。この場合、映像ソース毎に固定パラメータを求めて映像ソース毎に手動で切替えて用いる方法もあるが、これは撮影状況の違いによる画質の違いに対応することができず、また手動にて切替えなければならないため、不便である。
【００３２】
そこで、本発明の目的は上記の問題点を解消し、入力動画像の画質に応じて適応的に補正量を変化させることができ、動画像を自動的に高画質化することができる映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラムを提供することにある。
【００３３】
【課題を解決するための手段】
本発明による映像処理装置は、順次入力される動画像からフレーム画像を取得する画像入力手段と、
前記画像入力手段で取得されたフレーム画像から補正量を取得する補正量取得手段と、
前記補正量取得手段で取得された補正量に基づいてフレーム画像に、ホワイトバランス補正、コントラスト補正、彩度補正、露光補正、鮮鋭度補正、予め設定された好ましい色への補正のうちの少なくとも一つの補正を行って前記動画像をより綺麗に見えるようにする高画質化補正を施す画像補正手段と、
前記補正量取得手段で得られた現フレーム画像の補正量と記憶してある前フレーム画像の補正量との変化量を制限する補正量変化制限手段とを備え、
前記補正量取得手段は、前記動画像のホワイトバランス補正量を算出するホワイトバランス補正量算出手段と、前記動画像のコントラスト補正量を算出するコントラスト補正量算出手段と、前記動画像の彩度補正量を算出する彩度補正量算出手段と、前記動画像の露光補正量を算出する露光補正量算出手段と、前記動画像の鮮鋭度補正量を算出する鮮鋭度補正量算出手段と、前記動画像において予め設定された好ましい色への補正量を示す好ましい色補正量を算出する好ましい色補正量算出手段とのうちの少なくとも一つを含み、
前記画像補正手段は、前記補正量取得手段に対応して、前記動画像のホワイトバランス補正を行うホワイトバランス補正手段と、前記動画像のコントラスト補正を行うコントラスト補正手段と、前記動画像の彩度補正を行う彩度補正手段と、前記動画像の露光補正を行う露光補正手段と、前記動画像の鮮鋭度補正を行う鮮鋭度補正手段と、前記動画像の前記好ましい色補正を行う好ましい色補正手段とのうちの少なくとも一つを含むことを特徴とする。
【００３８】
本発明による映像処理方法は、順次入力される動画像を構成する各々のフレーム画像から補正量を取得するステップと、
その取得した補正量に基づいて前記フレーム画像に、ホワイトバランス補正、コントラスト補正、彩度補正、露光補正、鮮鋭度補正、予め設定された好ましい色への補正のうちの少なくとも一つの補正を行って前記動画像をより綺麗に見えるようにする高画質化補正を施すステップと、
取得した現フレームの補正量と記憶している前フレームの補正量との変化量を制限するステップとを備え、
前記補正量を取得するステップは、前記動画像のホワイトバランス補正量を算出するステップと、前記動画像のコントラスト補正量を算出するステップと、前記動画像の彩度補正量を算出するステップと、前記動画像の露光補正量を算出するステップと、前記動画像の鮮鋭度補正量を算出するステップと、前記動画像において予め設定された好ましい色への補正量を示す好ましい色補正量を算出するステップとのうちの少なくとも一つを含み、
前記高画質化補正を施すステップは、前記補正量を取得するステップに対応して、前記動画像のホワイトバランス補正を行うステップと、前記動画像のコントラスト補正を行うステップと、前記動画像の彩度補正を行うステップと、前記動画像の露光補正を行うステップと、前記動画像の鮮鋭度補正を行うステップと、前記動画像の前記好ましい色補正を行うステップとのうちの少なくとも一つを含むことを特徴とする。
【００４０】
本発明によるプログラムは、コンピュータに実行させるプログラムであって、
順次入力される動画像を構成する各々のフレーム画像から補正量を取得する処理と、
その取得した補正量に基づいて前記フレーム画像に、ホワイトバランス補正、コントラスト補正、彩度補正、露光補正、鮮鋭度補正、予め設定された好ましい色への補正のうちの少なくとも一つの補正を行って前記動画像をより綺麗に見えるようにする高画質化補正を施す処理と、
取得した現フレームの補正量と記憶している前フレームの補正量との変化量を制限する処理とを含み、
前記補正量を取得する処理は、前記動画像のホワイトバランス補正量を算出する処理と、前記動画像のコントラスト補正量を算出する処理と、前記動画像の彩度補正量を算出する処理と、前記動画像の露光補正量を算出する処理と、前記動画像の鮮鋭度補正量を算出する処理と、前記動画像において予め設定された好ましい色への補正量を示す好ましい色補正量を算出する処理とのうちの少なくとも一つを含み、
前記高画質化補正を施す処理は、前記補正量を取得する処理に対応して、前記動画像のホワイトバランス補正を行う処理と、前記動画像のコントラスト補正を行う処理と、前記動画像の彩度補正を行う処理と、前記動画像の露光補正を行う処理と、前記動画像の鮮鋭度補正を行う処理と、前記動画像の前記好ましい色補正を行う処理とのうちの少なくとも一つを含むことを特徴とする。
【００４３】
すなわち、本発明の第１の映像処理装置は、順次入力される動画像を自動的に高画質化する際に、動画像を入力する画像入力手段と、入力動画像を高画質化補正するために入力動画像から補正量を取得する補正量取得手段と、補正量取得手段によって取得された補正量に基づいて入力動画像に高画質化補正を施す画像補正手段と、補正した動画像を出力する画像出力手段とを有することを特徴としている。
【００４４】
本発明の第２の映像処理装置は、順次入力される動画像を自動的に高画質化する際に、動画像からフレーム画像を取得する画像入力手段と、フレーム画像を高画質化補正するためにフレーム画像から補正量を取得する補正量取得手段と、補正量取得手段によって取得された補正量に基づいてフレーム画像に高画質化補正を施す画像補正手段と、補正したフレーム画像を出力する画像出力手段とを有することを特徴としている。
【００４５】
本発明の第３の映像処理装置は、上記の第１及び第２の映像処理装置の構成に加えて、入力画像に補正処理を施す前に、入力画像から補正対象領域を切り出す補正領域切り出し手段と、補正対象領域と補正対象領域を切り出した時の残りの部分である非補正対象領域とを合成する画像合成手段とを有することを特徴としている。
【００４６】
本発明の第４の映像処理装置は、順次入力される動画像を自動的に高画質化する際に、上記の第２の映像処理装置の構成に加えて、補正量取得手段によって得られた現フレーム画像の補正量と記憶してある前フレーム画像の補正量との変化量を制限する補正量変化制限手段を有することを特徴とする。
【００４７】
本発明の第５の映像処理装置は、上記の第２から第４の映像処理装置の構成に加えて、補正量が最後に更新されたフレーム画像から現フレーム画像までのフレーム数を数えてフレーム数が一定値を越えたか否かを判定する一定時間経過検出手段と、一定時間が経過したら補正量の更新を指示する検出補正量更新判断手段とを有することを特徴としている。
【００４８】
本発明の第６の映像処理装置は、上記の第２から第４の映像処理装置の構成に加えて、各フレーム画像から求められる特徴量の変化に基づいて動画像における画面の切替わりを示すカット点を検出するカット点検出手段と、カット点が検出されると補正量の更新を指示する補正量更新判断手段とを有することを特徴としている。
【００４９】
本発明の第７の映像処理装置は、上記の第２から第４の映像処理装置の構成に加えて、補正量が最後に更新されたフレーム画像から現フレーム画像までのフレーム数を数えてフレーム数が一定値を越えたか否かを判定する一定時間経過検出手段と、各フレーム画像から求められる特徴量の変化に基づいて動画像における画面の切替わりを示すカット点を検出するカット点検出手段と、一定時間が経過するかまたはカット点が検出されると補正量の更新を指示する補正量更新判断手段とを有することを特徴としている。
【００５０】
本発明の第８の映像処理装置は、上記の第１から第７の映像処理装置において、補正量取得手段がｎ種類（ｎ≧１）の任意の補正量を算出する補正量算出手段を有し、画像補正手段がｎ種類（ｎ≧１）の任意の補正手段を有することを特徴としている。
【００５１】
本発明の第９の映像処理装置は、上記の第１から第７の映像処理装置において、補正量取得手段が動画像のホワイトバランス補正量を取得するホワイトバランス補正量算出手段を有し、それに対応して、画像補正手段が動画像に対してホワイトバランス補正を施すホワイトバランス補正手段を有することを特徴としている。
【００５２】
本発明の第１０の映像処理装置は、上記の第１から第７と第９との映像処理装置において、補正量取得手段が動画像のコントラスト補正量を取得するコントラスト補正量算出手段を有し、それに対応して、画像補正手段が動画像に対してコントラスト補正を施すコントラスト補正手段を有することを特徴としている。
【００５３】
本発明の第１１の映像処理装置は、上記の第１から第７と第９と第１０との映像処理装置において、補正量取得手段が動画像の彩度補正量を取得する彩度補正量算出手段を有し、それに対応して、画像補正手段が動画像に対して彩度補正を施す彩度補正手段を有することを特徴としている。
【００５４】
本発明の第１２の映像処理装置は、上記の第１から第７と第９から第１１との映像処理装置において、補正量取得手段が動画像の露光補正量を取得する露光補正量算出手段を有し、それに対応して、画像補正手段が動画像に対して露光補正を施す露光補正手段を有することを特徴としている。
【００５５】
本発明の第１３の映像処理装置は、上記の第１から第７と第９から第１２との映像処理装置において、補正量取得手段が動画像の鮮鋭度補正量を取得する鮮鋭度補正量算出手段を有し、それに対応して、画像補正手段が動画像に対して鮮鋭度補正を施す鮮鋭度補正手段を有することを特徴としている。
【００５６】
本発明の第１４の映像処理装置は、上記の第１から第７と第９から第１２との映像処理装置において、補正量取得手段が動画像において予め設定された好ましい色への補正量を示す好ましい色補正量を取得する好ましい色補正量算出手段を有し、それに対応して、画像補正手段が動画像に対して好ましい色補正を施す好ましい色補正手段を有することを特徴としている。
【００５７】
本発明の第１５の映像処理装置は、上記の第９から第１４の映像処理装置において、補正量取得手段が、フレーム画像から補正量を算出するための評価画像領域を切り出せる評価領域切り出し手段を有することを特徴としている。
【００５８】
本発明の第１６の映像処理装置は、上記の第９から第１５の映像処理装置において、補正量取得手段が、事前に取得された補正量を上限値と比較し、もし上限値よりも値が大きければ設定値と入れ替える上限値調整手段を有することを特徴としている。
【００５９】
本発明の第１７の映像処理装置は、上記の第４から第７と第９と第１６との映像処理装置において、補正量変化制限手段が、最新補正量と前フレームの補正量との変化量を算出する変化量算出手段と、最大変化幅を基に補正量の変化量を制限する変化量制限手段とを有することを特徴としている。
【００６０】
本発明の第１８の映像処理装置は、上記の第６及び第７の映像処理装置において、カット点検出手段が、入力画像の各画素の色情報を基に作成した色ヒストグラムをフレーム毎に比較した結果を特徴量とし、この特徴量の変化に基づいて動画像のカット点を検出するようにしたことを特徴としている。
【００６１】
本発明の第１９の映像処理装置は、上記の第１８の映像処理装置において、カット点検出手段が、入力画像から色ヒストグラムを作成する際に一定間隔で画像を間引いてから色ヒストグラムを作成するようにしたことを特徴としている。
【００６２】
本発明の映像表示装置は、順次入力される動画像を自動的に高画質化して表示する際に、動画像を入力する画像入力手段と、入力動画像を高画質化補正するために入力動画像からＮ種類（Ｎ≧１）の補正量を取得する動画補正量取得手段と、動画補正量取得手段によって取得された補正量に基づいて入力動画像にＮ種類（Ｎ≧１）の高画質化補正を施す画像補正手段と、補正した動画像を表示する画像表示手段とを有することを特徴としている。
【００６３】
本発明の第１の映像処理方法は、順次入力される映像を高画質化する際に、入力動画像を高画質化補正するために入力動画像から補正量を取得し、取得した補正量に基づいて入力動画像に高画質化補正を施すことを特徴としている。
【００６４】
本発明の第２の映像処理方法は、順次入力される映像を高画質化する際に、入力動画像を構成する各々のフレーム画像から補正量を取得し、取得した補正量に基づいてフレーム画像に高画質化補正を施すことを特徴としている。
【００６５】
本発明の第３の映像処理方法は、順次入力される映像を高画質化する際に、上記の第１及び２の映像処理方法に加えて、Ｎフレーム（Ｎ≧１）毎に補正量を更新することを特徴としている。
【００６６】
本発明の第４の映像処理方法は、順次入力される映像を高画質化する際に、上記の第１及び２の映像処理方法に加えて、入力動画像をフレーム毎に調べ、カット点が検出された時に補正量を更新することを特徴としている。
【００６７】
本発明の第５の映像処理方法は、順次入力される映像を高画質化する際に、上記の第１及び２の映像処理方法に加えて、Ｎフレーム（Ｎ≧１）毎に補正量を更新することと、入力動画像をフレーム毎に調べてカット点が検出された時に補正量を更新することとを特徴としている。
【００６８】
本発明の第６の映像処理方法は、上記の第１から第５の映像処理方法において、入力動画像から補正量を取得する際に、ｎ種類（ｎ≧１）の任意の補正量を取得することと、求めた補正量を基に入力動画像にｎ種類（ｎ≧１）の任意の高画質化補正を施すこととを特徴としている。
【００６９】
本発明の第７の映像処理方法は、上記の第２から第５の映像処理方法において、フレーム画像から補正量を取得する際にホワイトバランス補正量を取得することと、求めた補正量を基にフレーム画像にホワイトバランス補正を施すこととを特徴としている。
【００７０】
本発明の第８の映像処理方法は、上記の第２から第５と第７との映像処理方法において、フレーム画像から補正量を取得する際にコントラスト補正量を取得することと、求めた補正量を基にフレーム画像にコントラスト補正を施すこととを特徴としている。
【００７１】
本発明の第９の映像処理方法は、上記の第２から第５と第７と第８との映像処理方法において、フレーム画像から補正量を取得する際に彩度補正量を取得することと、求めた補正量を基にフレーム画像に彩度補正を施すこととを特徴としている。
【００７２】
本発明の第１０の映像処理方法は、上記の第２から第５と第７から第９との映像処理方法において、フレーム画像から補正量を取得する際に露光補正量を取得することと、求めた補正量を基にフレーム画像に露光補正を施すこととを特徴としている。
【００７３】
本発明の第１１の映像処理方法は、上記の第２から第５と第７から第１０との映像処理方法において、フレーム画像から補正量を取得する際に鮮鋭度補正量を取得することと、求めた補正量を基にフレーム画像に鮮鋭度補正を施すこととを特徴とする。
【００７４】
本発明の第１２の映像処理方法は、上記の第２から第５と第７から第１１との映像処理方法において、フレーム画像から補正量を取得する際に動画像において予め設定された好ましい色への補正量を示す好ましい色補正量を取得することと、求めた補正量を基にフレーム画像に好ましい色補正を施すこととを特徴としている。
【００７５】
本発明の第１３の映像処理方法は、上記の第７から第１２の映像処理方法において、取得した現フレームの補正量と記憶している前フレームの補正量との変化量を制限することを特徴としている。
【００７６】
本発明の第１４の映像処理方法は、上記の第７から第１３の映像処理方法において、フレーム画像から補正量を取得するために必要な評価画像領域を切り出し、その切り出した評価画像から補正量を取得することを特徴としている。
【００７７】
本発明の第１５の映像処理方法は、上記の第４及び第５の映像処理方法において、動画像における画面の切替わりを示すカット点を検出する際にフレーム画像の各画素の色情報を基に作成した色ヒストグラムをフレーム毎に比較した結果を特徴量とし、この特徴量の変化に基づいて動画像のカット点を検出することを特徴としている。
【００７８】
本発明の第１６の映像処理方法は、上記の第１５の映像処理方法において、カット点を検出する場合、フレーム画像から色ヒストグラムを作成する際に一定間隔で画像を間引いてから色ヒストグラムを作成することを特徴としている。
【００７９】
本発明の第１７の映像処理方法は、上記の第１から第１６の映像処理方法において、パソコンの画面のように画面中の一部に動画像が流れている場合、入力画像に補正処理を施す前に入力画像から補正対象領域を切り出し、その切り出した補正対象画像に対して画像補正を施していくことと、画像補正を施された補正対象領域と補正対象領域を切り出した時の残りの部分である非補正対象領域とを張り合わせて画像を出力することとを特徴としている。
【００８０】
本発明の第１のプログラムは、順次入力される映像を高画質化する際に、入力動画像を高画質化補正するために入力動画像から１つ以上の補正量を取得する処理と、取得された補正量を過去１フレーム以上前の１つ以上のフレームから得られた補正量と比較して補正量の変化を抑制する処理と、抑制された補正量に基づいてフレーム画像に高画質化補正を施す処理とをコンピュータに実行させることを特徴としている。
【００８１】
本発明の第２のプログラムは、順次入力される映像を高画質化する際に、入力動画像を高画質化補正するために入力動画像から１つ以上の補正量を取得する処理と、入力された動画像のフレーム画像から求めた特徴量の変化に基づいて動画像のカット点を検出する処理と、取得された補正量を過去１フレーム以上前の１つ以上のフレームから得られた補正量と比較しかつカット点の有無を考慮して補正量の変化量を抑制する処理と、抑制された補正量に基づいてフレーム画像に高画質化補正を施す処理とをコンピュータに実行させることを特徴としている。
【００８２】
上述したように、本発明は、最新フレームの補正量を決定する際に、最新フレームの補正量と過去フレームの補正量との変化量を求め、これをちらつき等が生じない程度の変化量に抑えることで、ちらつき等の違和感のある見えを呈することなしに、動画像を自動的に高画質化することが可能となる。
【００８３】
本発明ではカット点検出を用いることで、シーンが切替わったことを検出することが可能となるため、シーンの違いに応じて適切な補正量で高画質化することが可能となる。
【００８４】
動画像中のシーンが切替わると、それまでの画像とは見えが異なる画像がシステムに入力される。このように、画像の見えが大きく変化すると、それぞれの画像に最適な補正量も大きく変化することがある。従来の方法では、この補正量を固定パラメータとしていたため、適切な補正量で動画像に補正を施すことができてない。
【００８５】
本発明ではシーンの切替えを検出すると、そこで改めて最適な補正量を動画補正量取得手段によって自動的に取得することが可能となるため、シーンの違いを検出し、それぞれに最適な補正量で高画質化補正を施すことが可能となる。
【００８６】
本発明ではカット点検出及びフレーム内補正量取得手段が画像を評価する際に評価領域切り出し手段によって評価領域を任意の大きさで切り出せるので、映像ソースの違いによらず自動的に高画質化することが可能となる。
【００８７】
動画像はその入力源によって表示領域が大きく異なる。ＴＶ画像やゲーム画像ではＴＶモニタ全域に画像が表示される。それに対して、ハイビジョン画像や映画等は上下に黒い帯が表示され、画像の表示領域が小さくなっている。
【００８８】
本発明において例に挙げた高画質化補正方法では、この黒い帯が影響してより最適な補正量を得られない場合が出てくる。例えば、コントラスト補正は画面の暗い領域を基にして補正量を決めるのだが、画面全体を評価領域にすると、上下の黒い帯の領域を基にして補正量を決めてしまい、黒帯以外の領域の画像を最適に高画質化することができない。
【００８９】
同様に、本発明において例に挙げたカット点検出もこの黒い帯びが影響して適切にカット点を検出することができない場合が出てくる。しかしながら、ここで述べている評価領域切り出し手段を用いることによって、これらの問題を解決し、適切にシーンを切り分け最適な補正量で動画像を高画質化することが可能となる。
【００９０】
本発明では静止画自動高画質化手法である彩度補正手段と、露光補正手段と、ホワイトバランス補正手段と、コントラスト補正手段と、鮮鋭度補正手段と、好ましい色補正手段とを、それぞれ独立に様々な組み合わせで、映像処理装置の構成に含んでいるので、様々な高画質化補正を自動的に行うことが可能となる。
【００９１】
また、本発明では上述したような６つの手段だけではなく、他の高画質化手段を組み込み、上記の６つの補正手段と同様にして、動画像を高画質化することが可能となる。
【００９２】
本発明では上述したカット点検出において、そのカット点検出を行う際に間引き画像を作成しているため、インタレースの特性によらず、カット点検出を行うことが可能となる。
【００９３】
本発明では入力画像にＴＶ画像やＤＶＤ画像等の様々な画像を想定している。これらの画像には時々１フレームの中に２つの画像が重なって見えることがある。これはインタレース画像であるビデオ信号が３０フレーム／秒なのに対して、大本の動画像が２４フレーム／秒である時に発生する現象で、そのフレームレートの違いによって、上記のような１フレームの中に２つの画像が重なって見えるという現象が発生している。
【００９４】
このように、２つの画像が重なってしまうと、カット点では１フレームに前のシーンの画像と次のシーンの画像とが重なって見える。こうなると、カット点において、その前後のフレームの類似度が高くなり、上記の効果で述べたカット点検出がうまくいかなくなることがある。そのため、画像を間引くことで、画像の重なりをなくし、カット点検出をより良くできるようにすることが可能となる。
【００９５】
本発明では高画質化補正処理を施す際に、補正領域切り出し手段によって入力画像中の動画像領域を切り出すことが可能となり、さらに切り出して高画質化補正を施した動画像を元のコンピュータ画面のような配置に戻す画像合成手段があるため、コンピュータ画面のように画面の一部で動画像が流れているような画像に対して、その動画像領域のみを高画質化して表示することが可能となる。
【００９６】
コンピュータ画面ではメディアプレーヤ等の動画像を表示するアプリケーションを立ち上げると、周囲は静止画であるが、局所的に動画像が流れている画像ができる。これに対して、補正領域切り出し手段は静止画の領域と動画像の領域とを切り分ける。その結果、動画像の領域に最適な補正量を用いて高画質化補正をすることが可能となる。
【００９７】
このようにして、補正された動画像は画像合成手段によって周囲の静止画領域と合成され、元のコンピュータ画面のような表示であるが、動画像は動画像に最適な補正量で高画質化されているものが得られる。
【００９８】
【発明の実施の形態】
次に、本発明の実施例について図面を参照して説明する。図１は本発明の第１の実施例による映像処理装置の構成を示すブロック図である。図１において、本発明の第１の実施例による映像処理装置はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）プレーヤやコンピュータ、ゲーム機器やＤＶ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ）カメラ等と接続して入力動画像を構成するフレーム画像を取得する画像入力手段１と、プログラム制御によって動作するデータ処理装置２と、情報を記憶する記憶装置３と、補正後のフレーム画像を外部に出力する画像出力手段４とから構成されている。
【００９９】
記憶装置３は補正量記憶部３１を備えている。補正量記憶部３１は最新補正量を記憶する。記録している補正量としては露光補正量、ホワイトバランス補正量、コントラスト補正量、彩度補正量、鮮鋭度補正量等様々なものがあるが、何が記録されるかはここに挙げたものに限らず、実際に実行される補正処理によって異なる。
【０１００】
データ処理装置２は補正量取得手段２１と、補正量記録手段２２と、画像補正手段２３とを備えている。補正量取得手段２１は画像入力手段１から取得したフレーム画像から補正量を算出する。補正量記録手段２２は補正量取得手段２１で求められた補正量を補正量記憶部３１に記憶する。
【０１０１】
画像補正手段２３は補正量記憶部３１に記憶されている補正量を用いて画像入力手段１から取得したフレーム画像に高画質化補正をかけ、補正後の画像を画像出力手段４へ出力する。
【０１０２】
図２は図１の補正量取得手段２１の詳細な構成を示すブロック図である。図２において、補正量取得手段２１は評価領域切り出し手段２１１と、補正量算出手段２１２と、上限値調整手段２１３と、上限値記憶部２１４と、設定値記憶部２１５とから構成されている。
【０１０３】
評価領域切り出し手段２１１はフレーム画像から補正量算出の際に用いる評価画像領域を切り出す。上限値記憶部２１４は各補正量の取りうる最大値を記憶している。設定値記憶部２１５は各補正量のディフォルト値を記憶している。
【０１０４】
補正量算出手段２１２は彩度補正量算出手段２１２１と、ホワイトバランス補正量算出手段２１２２と、コントラスト補正量算出手段２１２３と、露光補正量算出手段２１２４と、鮮鋭度補正量算出手段２１２５と、好ましい色補正量算出手段２１２６とから構成されている。ここで、補正量算出手段２１２は各補正量算出手段のうちいずれか１手段以上欠けていても構わない。また、ここに挙げた補正量算出手段は一例であって、他の補正量算出手段を組み込んでも構わない。また、図２では各補正量算出手段を並列に図示しているが、任意の順序で逐次実行しても構わない。
【０１０５】
彩度補正量算出手段２１２１は評価領域切り出し手段２１１で切り出された評価用画像から特徴量を抽出し、その特徴量を基に彩度補正量を決定する。ホワイトバランス補正量算出手段２１２２は評価領域切り出し手段２１１で切り出された評価用画像から特徴量を抽出し、その特徴量を基にホワイトバランス補正量を決定する。
【０１０６】
コントラスト補正量算出手段２１２３は評価領域切り出し手段２１１で切り出された評価用画像から特徴量を抽出し、その特徴量を基にコントラスト補正量を決定する。露光補正量算出手段２１２４は評価領域切り出し手段２１１で切り出された評価用画像から特徴量を抽出し、その特徴量を基に露光補正量を決定する。
【０１０７】
鮮鋭度補正量算出手段２１２５は評価領域切り出し手段２１１で切り出された評価用画像から特徴量を抽出し、その特徴量を基に鮮鋭度補正量を決定する。好ましい色補正量算出手段２１２６は評価領域切り出し手段２１１で切り出された評価用画像から特徴量を抽出し、その特徴量を基に予め設定された好ましい色への補正を行うための好ましい色補正量を決定する。
【０１０８】
ここで、好ましい色補正とは、補正された画像のみを見て人間が好ましいと感じる色を実現するためのものであり、長年のノウハウの積み重ねをデータベースに蓄積しておき、そのデータベースに蓄積された内容に基づいて行われる。つまり、各分割色相領域に応じて事前に与えている色補正パラメータを適用し、肌色、空色、草木の緑に関係する色相をより好ましい色となる色相に補正する。その結果、肌色、空色、草木の緑の色だけが変化し、より好ましい色となる。この好ましい色補正については、上記の文献４に記載されている。
【０１０９】
上限値調整手段２１３は補正量算出手段２１２によって獲得された補正量の内のいずれかが上限値記憶部２１４内に記録されている上限値を越えた場合、設定値記憶部２１５内に記録されている設定値に変換する。
【０１１０】
図３は図１の補正量取得手段２１の上限値と設定値とを用いた補正量の調整法を説明するための図である。図３において、上限値調整手段２１３は補正量算出手段２１２によって獲得された補正量の内のいずれかが上限値記憶部２１４内に記録されている上限値を越えた場合、設定値記憶部２１５内に記録されている設定値に変換する。
【０１１１】
図４は図１の画像補正手段２３の詳細な構成例を示すブロック図である。図４において、画像補正手段２３はホワイトバランス補正手段２３１と、コントラスト補正手段２３２と、露光補正手段２３３と、彩度補正手段２３４と、鮮鋭度補正手段２３５と、好ましい色補正手段２３６とから構成されている。これらの補正手段の配置順序は図４に記載の順序に限らない。また、各補正手段のうちいずれか１手段以上の補正手段が欠けても構わないし、他の補正手段を加えても構わない。
【０１１２】
ホワイトバランス補正手段２３１は補正量記憶部３１内に記録されている補正量の中のホワイトバランス補正量に基づき、入力されたフレーム画像に対してホワイトバランス補正を施す。コントラスト補正手段２３２は補正量記憶部３１内に記録されている補正量の中のコントラスト補正量に基づき、入力されたフレーム画像に対してコントラスト補正を施す。
【０１１３】
露光補正手段２３３は補正量記憶部３１内に記録されている補正量の中の露光補正量に基づき、入力されたフレーム画像に対して露光補正を施す。彩度補正手段２３４は補正量記憶部３１内に記録されている補正量の中の彩度補正量に基づき、入力されたフレーム画像に対して彩度補正を施す。
【０１１４】
鮮鋭度補正手段２３５は補正量記憶部３１内に記録されている補正量の中の鮮鋭度補正量に基づき、入力されたフレーム画像に対して鮮鋭度補正を施す。好ましい色補正手段２３６は補正量記憶部３１内に記録されている補正量の中の好ましい色補正量に基づき、入力されたフレーム画像に対して好ましい色補正を施す。
【０１１５】
図５は本発明の第１の実施例による映像処理装置の動作を示すフローチャートであり、図６及び図７は図１の補正量取得手段２１の動作を示すフローチャートである。これら図１〜図７を参照して本発明の第１の実施例による映像処理装置の動作について説明する。
【０１１６】
映像処理装置は処理が開始されると、まず記憶領域や変数等の初期化を行う（図５ステップＳ１）。その後、映像処理装置は補正対象の画像を取得し（図５ステップＳ２）、取得した画像を基に画像補正量を算出し（図５ステップＳ３）、算出した画像補正量を記憶する（図５ステップＳ４）。
【０１１７】
映像処理装置は算出した補正に基づいて入力画像に画像補正処理を施し（図５ステップＳ５）、補正を施した画像を出力する（図５ステップＳ６）。引き続き、映像処理装置は画像が入力されているか否かを判定し（図５ステップＳ７）、入力されていれば、ステップＳ２に戻って画像を取得し、上記と同様の処理を繰り返す。映像処理装置は画像が入力されていなければ、処理を終了する。
【０１１８】
補正量取得手段２１においては処理が開始されると、まずフレーム画像から補正量を取得するための評価領域を切り出し（図６ステップＳ１１）。この切り出した評価用画像に対して彩度補正量を算出する（図６ステップＳ１２）。
【０１１９】
これに続き、補正量取得手段２１は順次露光補正量を算出し（図６ステップＳ１３）、ホワイトバランス補正量を算出し（図６ステップＳ１４）、コントラスト補正量を算出し（図６ステップＳ１５）、鮮鋭度補正量を算出し（図６ステップＳ１６）、好ましい色補正量を算出する（図６ステップＳ１７）。尚、各補正量の取得順はこれに限らない。また、以上の補正量のうちのいずれか１つ以上欠けていても構わないし、他の補正量を算出しても構わない。
【０１２０】
次に、補正量取得手段２１は取得した補正量の上限値を確認していく。まず、補正量取得手段２１は彩度補正量が上限値を越えているかどうかを調べ（図６ステップＳ１８）、上限値を越えていれば取得した彩度補正量を設定値とし（図６ステップＳ１９）、上限値を越えていなければ先に取得した彩度補正量のままとする。
【０１２１】
同様に、補正量取得手段２１は露光補正量が上限値を越えているかどうかを調べ（図６ステップＳ２０）、上限値を越えていれば取得した露光補正量を設定値とし（図６ステップＳ２１）、上限値を越えていなければ先に取得した露光補正量のままとする。
【０１２２】
補正量取得手段２１はホワイトバランス補正量が上限値を越えているか否かを調べ（図７ステップＳ２２）、上限値を越えていれば取得したホワイトバランス補正量を設定値とし（図７ステップＳ２３）、上限値を越えていなければ先に取得したホワイトバランス補正量のままとする。
【０１２３】
補正量取得手段２１はコントラスト補正量が上限値を越えているか否かを調べ（図７ステップＳ２４）、上限値を越えていれば取得したコントラスト補正量を設定値とし（図７ステップＳ２５）、上限値を越えていなければ先に取得したコントラスト補正量のままとする。
【０１２４】
補正量取得手段２１は鮮鋭度補正量が上限値を越えているか否かを調べ（図７ステップＳ２６）、上限値を越えていれば取得した鮮鋭度補正量を設定値とし（図７ステップＳ２７）、上限値を越えていなければ先に取得した鮮鋭度補正量のままとする。
【０１２５】
最後に、補正量取得手段２１は好ましい色補正量が上限値を越えているか否かを調べ（図７ステップＳ２８）、上限値を越えていれば取得した好ましい色補正量を設定値とし（図７ステップＳ２９）、上限値を越えていなければ先に取得した好ましい色補正量のままとする。補正量取得手段２１は以上の過程を処理した後、処理を終了する。
【０１２６】
このように、最新フレームの補正量を決定する際に、最新フレームの補正量と過去フレームの補正量との変化量を求め、これをちらつき等が生じない程度の変化量に抑えることによって、ちらつき等の違和感のある見えを呈することなしに、動画像を自動的に高画質化することができる。
【０１２７】
また、本実施例では、補正量取得手段２１が画像を評価する際に評価領域切り出し手段２１１において評価領域を任意の大きさで切り出せるので、映像ソースの違いによらず自動的に高画質化することができる。
【０１２８】
さらに、本実施例では、静止画自動高画質化手法である彩度補正手段２３４と、露光補正手段２３３と、ホワイトバランス補正手段２３１と、コントラスト補正手段２３２と、鮮鋭度補正手段２３５と、好ましい色補正手段２３６とをそれぞれ独立に様々な組み合わせで映像処理装置の構成に含むことができるので、様々な高画質化補正を自動的に行うことができる。また、ここにあげた６つの手段だけではなく、他の高画質化手段を組み込み、上記の６つの補正手段と同様にして、動画像を高画質化することができる。
【０１２９】
図８は本発明の第２の実施例による映像処理装置の構成を示すブロック図である。図８において、本発明の第２の実施例による映像処理装置はデータ処理装置５に補正量変化制限手段２４を設けた以外は図１に示す本発明の第１の実施例と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第１の実施例と同様である。
【０１３０】
補正量変化抑制手段２４は補正量取得手段２１で取得された補正量を前フレームの補正量と比較し、その比較結果に応じて変化量が一定値を越えないように補正量を変化させる。
【０１３１】
図９は図８の補正量変化制限手段２４の詳細な構成を示すブロック図である。図９において、補正量変化制限手段２４は変化量算出手段２４１と、変化量制限手段２４２と、最大変化幅記憶部２４３とから構成されている。
【０１３２】
最大変化幅記憶部２４３は引き続くフレーム画像において、前フレームの補正量から現フレームの補正量へと変化する時に変化することができる最大の変化量を記憶している。
【０１３３】
変化量算出手段２４１は補正量取得手段２１から得られた最新フレームの補正量と、補正量記憶部３１内に記録されている前フレームの補正量とからその差の絶対値を求め、補正量の変化量を求める。
【０１３４】
変化量制限手段２４２は変化量算出手段２４１で算出された補正量の変化量が最大変化幅記憶部２４３内に記録されている最大変化幅を越えないように、現フレームの補正量を制限する。
【０１３５】
図１０は図８の変化量変化制限手段２４の処理の一例を示す図である。図１０に示すように、変化量変化制限手段２４は新補正量と旧補正量との差の絶対値を求め、その値が最大変化幅を越えていなければ、現フレームの補正量をそのまま出力する。
【０１３６】
もし、差の絶対値が最大変化幅を越えていれば、変化量変化制限手段２４はその変化量を最大変化幅と同じにすることで、変化幅以内に差の絶対値が収まるように、現フレームの補正量を制限して制限後の補正量を出力する。
【０１３７】
図１１は本発明の第２の実施例による映像処理装置の動作を示すフローチャートである。これら図８〜図１１を参照して本発明の第２の実施例による映像処理装置の動作について説明する。尚、図１１において、ステップＳ３１〜Ｓ３３，Ｓ３５〜３８の処理動作は図５に示すステップＳ１〜Ｓ７の処理動作と同様であるため、その説明は省略する。
【０１３８】
本発明の第１の実施例では入力画像から補正量を取得すると、その補正量をそのまま記録し、入力画像に画像補正を施している。これに対し、本実施例では補正量を取得した後（図１１ステップＳ３３）、その補正量をそのまま画像補正に用いた時の前フレームの補正量との変化量をある一定値以内に制限している（図１１ステップＳ３４）。
【０１３９】
上記のように、本実施例では補正量の時間的な変化量を制限したものを記録し（図１１ステップＳ３５）、それに基づいて画像補正を入力画像に施していく（図１１ステップＳ３６）。
【０１４０】
このように、本実施例ではちらつきを感じない範囲に補正量の時間的な変化量を抑えることで、ちらつき等の不自然に見える現象を解決している。つまり、補正量変化制限手段２４によってちらつきを感じない範囲内で補正量を変化させ、動画像の自動的な高画質化を実現している。
【０１４１】
従来の方法では、静止画高画質化手法を動画像の各フレーム画像にかけていくと、各フレーム画像の画質がそれぞれ若干異なるため、フレーム毎に補正量が変化する。時間的に隣接するフレーム画像において補正量が大きく変化すると、瞬間的に画像の見えが変化するため、補正後の動画像にちらつきを感じるようになる。本実施例ではこの問題点を解決している。
【０１４２】
図１２は本発明の第３の実施例による映像処理装置の構成を示すブロック図である。図１２において、本発明の第３の実施例による映像処理装置はデータ処理装置６に補正量更新判断手段２５と変化量制限実行判断手段２６とを設け、記憶装置７にフレーム数記憶部３２を設けた以外は図８に示す本発明の第２の実施例と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第２の実施例と同様である。
【０１４３】
補正量更新判断手段２５は画像入力手段１から画像を取得すると、フレーム数記憶部３２の値を１上昇させ、得られたフレーム画像からカット点を検出するか、またはフレーム数記憶部３２の値が一定値を超えていることを検出すると、補正量を更新することを決定する。つまり、補正量更新判断手段２５はカット点を検出するとカット点検出信号を発信し、一定時間が経過したことを検出すると一定時間経過信号を発信する。
【０１４４】
変化量制限実行判断手段２６は補正量更新判断手段２５から受取る信号によって、補正量変化制限手段２４を実行するか否かを決定する。つまり、変化量制限実行判断手段２６は補正量更新判断手段２５から一定時間経過信号を受取ると補正量取得手段２１から得られた補正量を補正量変化制限手段２４に送り、補正量更新判断手段２５からカット点検出信号を受取ると補正量を補正量記録手段２２に送る。
【０１４５】
図１３は図１２の補正量更新判断手段２５の詳細な構成を示すブロック図である。図１３において、補正量更新判断手段２５はフレームカウント手段２５１と、カット点検出手段２５２と、一定時間経過検出手段２５３とから構成されている。
【０１４６】
フレームカウント手段２５１は入力画像においてフレームが切替わると、フレーム数記憶部３２に記憶されているフレーム数を１上昇させる。カット点検出手段２５２は入力画像から特徴量を抽出し、この特徴量を前フレームで抽出した特徴量と比較することによってカット点を検出する。フレームカウント手段２５１はカット点を検出すると、カット点検出信号を出力し、フレーム数記憶部３２をリセットする。
【０１４７】
一定時間経過検出手段２５３はフレーム数記憶部３２に記憶されているフレーム数を調べ、ある一定値を越えているか否かを検出する。一定時間経過検出手段２５３は一定時間を経過したことを検出すると、一定時間経過信号を出力し、フレーム数記憶部３２をリセットする。
【０１４８】
図１４は図１３のカット点検出手段２５２の詳細な構成を示すブロック図である。図１４において、カット点検出手段２５２は評価領域切り出し手段２５２１と、画像間引き手段２５２２と、ヒストグラム作成手段２５２３と、ヒストグラム比較手段２５２４と、ヒストグラム記憶部２５２５とから構成されている。
【０１４９】
図１５は図１３のカット点検出手段２５２で用いる色ヒストグラムを説明するための図であり、図１６は図１３のカット点検出手段２５２で用いる特徴点の比較例における差分値の推移としきい値との関係を示す図である。これら図１４〜図１６を参照してカット点検出手段２５２の動作について説明する。
【０１５０】
評価領域切り出し手段２５２１は入力されたフレーム画像からカット点検出に用いる画像領域を切り出す。画像間引き手段２５２２は評価領域切り出し手段２５２１によって切り出された画像からｎ画素（ｎ≧１）毎に抽出し、抽出した画素をまとめて間引き画像を作成する。
【０１５１】
ヒストグラム作成手段２５２３は入力されたフレーム画像の各画素の色情報を基に色ヒストグラムを作成する。色ヒストグラムは、図１５に示すように、フレーム画像の各画素の色情報であるＲＧＢ値に対してそれぞれ独立に作成したヒストグラムである。
【０１５２】
ヒストグラム記憶部２５２５は前フレームから抽出したヒストグラムを記憶している。ヒストグラム比較手段２５２４はヒストグラム作成手段２５２３によって作成された色ヒストグラムとヒストグラム記憶部２５２５に記憶されている前フレームの色ヒストグラムとを比較し、得られた特徴量からそのフレーム間にカット点が有るか否かを判定する。
【０１５３】
ここで、ヒストグラム比較手段２５２４で行われているヒストグラムの比較処理にはヒストグラムの差分値を用いる手法や相関値を用いる手法等があるが、その手法については特に限定しない。ここでは、ヒストグラムの差分値を用いる場合について説明する。
【０１５４】
ヒストグラムの差分値を用いると、図１６に示すように、フレームが変わるとその差分値が変化する。カット点であるフレーム間ではその差分値が他よりも大きくなる傾向にある。このため、図１６に示すように、しきい値を設けることで、このしきい値よりも大きい差分値になった場合にカット点、小さい場合に非カット点と分類することができ、カット点検出を行うことができる。尚、上記のカット点検出の手法は本実施例のような映像処理のみならず、画像の圧縮や映像からの要約作成等にも適用可能である。
【０１５５】
図１７は本発明の第３の実施例による映像処理装置の動作を示すフローチャートである。これら図１２と図１３と図１７とを参照して本発明の第３の実施例による映像処理装置の動作について説明する。尚、図１７のステップＳ４１，Ｓ４２，Ｓ４６，Ｓ４８，Ｓ４９，Ｓ５０〜Ｓ５２の処理動作は図１１のステップＳ３１〜３８の処理動作と同様であるため、その説明は省略する。
【０１５６】
本発明の第２の実施例では入力画像から補正量を取得すると、その補正量と前フレームから得られた補正量との変化量の取り得る範囲を制限している。これに対し、本実施例では、まず新しいフレーム画像が入力される度にフレームカウント手段２５１に１を加える（図１７ステップＳ４３）。
【０１５７】
本実施例では入力された画像にカット点を検出するか、フレームカウント手段２５１が一定値を越えると、補正量を更新すると判定する（図１７ステップＳ４４）。補正量が更新されない場合には、現状の補正量によって画像補正を行う（図１７ステップＳ５０）。
【０１５８】
もしも、補正量が更新される場合には、フレームカウント手段２５１を０にリセットし（図１７ステップＳ４５）、現フレーム画像から補正量を取得する（図１７ステップＳ４６）。この時、カット点を検出していた場合には（図１７ステップＳ４７）、ここでこの補正量を記録し（図１７ステップＳ４９）、画像補正をしていく。カット点を検出していなかった場合には（図１７ステップＳ４７）、補正量の変化量を制限し（図１７ステップＳ４８）、変化量が制限された補正量を記録し（図１７ステップＳ４９）、画像補正をしていく。
【０１５９】
図１８は図１２の補正量更新判断手段２５の動作を示すフローチャートである。これら図１２と図１３と図１８とを参照して補正量更新判断手段２５の動作について説明する。
【０１６０】
補正量更新判断手段２５は処理が開始されると、フレームカウント手段２５１を１増やし（図１８ステップＳ６１）、フレーム画像に基づいてカット点の有無を調べる（図１８ステップＳ６２）。
【０１６１】
補正量更新判断手段２５はカット点が検出されたか否かを調べ（図１８ステップＳ６３）、もし検出されればカット点検出信号を出力し（図１８ステップＳ６４）、フレームカウント手段２５１を０にし（図１８ステップＳ６７）、処理を補正量取得手段２１へ移行する。
【０１６２】
補正量更新判断手段２５はカット点が検出されなければ、フレームカウント手段２５１が一定値を超えているか否かを調べ（図１８ステップＳ６５）、もし一定値を超えていれば一定時間検出信号を出力し（図１８ステップＳ６６）、フレームカウント手段２５１を０にし（図１８ステップＳ６７）、処理を補正量取得手段２１へ移行する。補正量更新判断手段２５は一定値を超えていると判定すれば、そのまま処理を画像補正手段２３へ移行する。
【０１６３】
図１９は図１３のカット点検出手段２５２の動作を示すフローチャートである。これら図１３と図１４と図１９とを参照してカット点検出手段２５２の動作について説明する。
【０１６４】
カット点検出手段２５２は処理が開始されると、フレーム画像からカット点検出に用いる画像領域を切り出し（図１９ステップＳ７１）、切り出した画像からｎ画素（ｎ≧０）毎に抽出してまとめた間引き画像を作成する（図１９ステップＳ７２）。
【０１６５】
カット点検出手段２５２はこの間引き画像を基にヒストグラムを作成し（図１９ステップＳ７３）、このヒストグラムと前フレームのヒストグラムとを比較する（図１９ステップＳ７４）。
【０１６６】
その比較の結果、カット点検出手段２５２はカット点が検出されたか否かを調べ（図１９ステップＳ７５）、カット点が検出されればカット点検出信号を出力し（図１９ステップＳ７６）、この処理で作成したヒストグラムを記録して（図１９ステップＳ７７）、処理を終了する。
【０１６７】
本実施例では、カット点検出を用いることで、シーンが切替わったことを検出することができるので、シーンの違いに応じて適切な補正量で高画質化することができる。
【０１６８】
動画像中のシーンが切替わると、それまでの画像とは見えが異なる画像がシステムに入力される。このように、画像の見えが大きく変化すると、それぞれの画像に最適な補正量も大きく変化することがある。
【０１６９】
従来の方法では、この補正量を固定パラメータとしているため、適切な補正量で動画像に補正を施すことができない。これに対し、本発明ではシーンの切替えを検出すると、そこで改めて最適な補正量を補正量取得手段２１によって自動的に取得することができる。このため、シーンの違いを検出し、それぞれに最適な補正量で高画質化補正を施すことができる。
【０１７０】
動画像はその入力源によって表示領域が大きく異なる。ＴＶ画像やゲーム画像ではＴＶモニタ全域に画像が表示される。それに対して、ハイビジョン画像や映画等では上下に黒い帯が表示され、画像の表示領域が小さくなっている。
【０１７１】
本実施例では、この黒い帯が影響してより最適な補正量を得られない場合が出てくる。例えば、コントラスト補正は画面の暗い領域を基にして補正量を決めるのだが、画面全体を評価領域にすると、上下の黒い帯の領域を基にして補正量を決めてしまい、黒帯以外の領域の画像を最適に高画質化することができない。
【０１７２】
同様に、カット点検出もこの黒い帯びが影響して適切にカット点を検出することができない場合が出てくる。しかしながら、ここで述べている評価領域切り出し手段２１１を用いることによって、これらの問題を解決し、適切にシーンを切り分け、最適な補正量で動画像を高画質化することができる。
【０１７３】
本実施例では、カット点検出を行う際に間引き画像を作成しているため、インタレースの特性によらず、カット点を検出することができる。本実施例では、入力画像にＴＶ画像やＤＶＤ画像等の様々な画像を想定している。これらの画像には時々１フレームの中に２つの画像が重なって見えることがある。これはインタレース画像であるビデオ信号が３０フレーム／秒なのに対して、大本の動画像が２４フレーム／秒である時に発生する現象で、そのフレームレートの違いによって１フレームの中に２つの画像が重なって見えるという現象が発生している。
【０１７４】
上記のように、２つの画像が重なってしまうと、カット点では１フレームに前のシーンの画像と次のシーンの画像とが重なって見える。こうなると、カット点において、その前後のフレームの類似度が高くなり、上述したカット点の検出がうまくいかなくなることがある。そのため、画像を間引くことで、画像の重なりをなくし、カット点の検出をより良く行うことができる。
【０１７５】
図２０は本発明の第４の実施例による映像処理装置の構成を示すブロック図である。図２０において、本発明の第４の実施例による映像処理装置はデータ処理装置８に補正領域切り出し手段２７と、画像合成手段２８とを設けた以外は図１に示す本発明の第１の実施例と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第１の実施例と同様である。
【０１７６】
図２１は本発明の第４の実施例による映像処理装置の処理を示す模式図である。この図２１を参照して上記の補正領域切り出し手段２７及び画像合成手段２８について説明する。
【０１７７】
補正領域切り出し手段２７は、図２１（ａ）に示すように、部分的に動画が流れている画像から補正対象領域を切り出し、図２１（ｂ）に示すような切り出し画像と、図２１（ｅ）に示すような非補正対象領域画像とを切り分ける。図２１（ｂ）に示すような切り出し画像は、本発明の第１の実施例で説明した高画質化手法によって、図２１（ｃ）に示すように、高画質化される。
【０１７８】
画像合成手段２８は補正領域切り出し手段２７で切り出された非補正対象領域画像と補正後の画像とを合成し、図２１（ｄ）に示すような入力画像を作成する。ここで、作成された画像が画像出力手段４から出力されて処理が終了する。
【０１７９】
図２２は本発明の第４の実施例による映像処理装置の動作を示すフローチャートである。これら図２０〜図２２を参照して本発明の第４の実施例による映像処理装置の動作について説明する。尚、図２２のステップＳ８１，Ｓ８２，Ｓ８４〜Ｓ８６，Ｓ８８，Ｓ８９の処理動作は図５のステップＳ１〜Ｓ７の処理動作と同様であるため、その説明は省略する。
【０１８０】
本発明の第１の実施例では入力画像全体を補正対象領域として補正を施している。これに対し、本実施例では、まず入力画像から動画像が表示されている領域を切り出す（図２２ステップＳ８３）。
【０１８１】
本実施例ではこの切り出した画像に対して補正量を取得し（図２２ステップＳ８４）、その補正量に基づいて切り出し画像のみに補正処理を施す（図２２ステップＳ８６）。補正後の画像は補正対象領域を切り出した残りの画像である非補正対象領域と合成され（図２２ステップＳ８７）、元の画像と同様な画面となる。本実施例ではこの処理を入力画像がなくなるまで繰り返していく。
【０１８２】
本発明では、高画質化補正処理を施す際に、補正領域切り出し手段２７によって入力画像中の動画像領域を切り出すことができ、さらに切り出して高画質化補正を施した動画像を元のコンピュータ画面のような配置に戻す画像合成手段２８があるので、コンピュータ画面のように、画面の一部で動画像が流れているような画像に対して、その動画像領域のみを高画質化して表示することができる。
【０１８３】
コンピュータ画面ではメディアプレーヤ等の動画像を表示するアプリケーションを立上げると、周囲は静止画であるが、局所的に動画像が流れている画像ができる。これに対して、補正領域切り出し手段２７は静止画の領域と動画像の領域とを切り分ける。その結果、動画像の領域に最適な補正量を用いて高画質化補正を行うことができる。このようにして、補正された動画像は画像合成手段２８によって周囲の静止画領域と合成され、元のコンピュータ画面のような表示であるが、動画像は動画像に最適な補正量で高画質化されているものが得られる。
【０１８４】
図２３は本発明の第５の実施例による映像処理装置の構成を示すブロック図である。図２３において、本発明の第５の実施例による映像処理装置はデータ処理装置９において画像補正手段３０で補正された画像を補正量取得手段２９に戻すように構成した以外は図１に示す本発明の第１の実施例と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第１の実施例と同様である。
【０１８５】
図２４は図２３の補正量取得手段２９の詳細な構成を示すブロック図である。図２４において、補正量取得手段２９は画像補正手段３０で補正された画像を評価領域切り出し手段２１１に入力するようにした以外は図２に示す補正量取得手段２１と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は補正量取得手段２１の動作と同様である。
【０１８６】
図２５は図２３の画像補正手段３０の詳細な構成例を示すブロック図である。図２５において、画像補正手段３０は補正画像バッファ２３７を設けた以外は図４に示す画像補正手段２３と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は画像補正手段２３の動作と同様である。
【０１８７】
これら図２３〜図２５を参照して本発明の第５の実施例による映像処理装置の特徴的な動作について説明する。本発明の第５の実施例による映像処理装置では画像補正手段３０で補正された画像を補正量取得手段２９に戻すように構成することで、補正量取得手段２９の各算出手段で取得された補正量に基づいて画像補正手段３０の各補正手段で補正し、補正量取得手段２９の各算出手段がその補正された画像から補正量を取得するようにしている。
【０１８８】
つまり、まず彩度補正手段２３４は彩度補正量算出手段２１２１で取得された補正量に基づいて入力画像に対して補正を行い、その補正画像を補正画像バッファ２３７に一時蓄積するとともに、その補正画像を補正量取得手段２９に戻す。
【０１８９】
続いて、ホワイトバランス補正量算出手段２１２２は彩度補正手段２３４での補正画像から補正量を取得する。ホワイトバランス補正手段２３１はホワイトバランス補正量算出手段２１２２で取得された補正量に基づいて補正画像バッファ２３７に一時蓄積された彩度補正手段２３４での補正画像に対して補正を行い、その補正画像を補正画像バッファ２３７に一時蓄積するとともに、その補正画像を補正量取得手段２９に戻す。
【０１９０】
上記と同様に、コントラスト補正量算出手段２１２３はホワイトバランス補正手段２３１での補正画像から補正量を取得する。コントラスト補正手段２３２はコントラスト補正量算出手段２１２３で取得された補正量に基づいて補正画像バッファ２３７に一時蓄積されたホワイトバランス補正手段２３１での補正画像に対して補正を行い、その補正画像を補正画像バッファ２３７に一時蓄積するとともに、その補正画像を補正量取得手段２９に戻す。
【０１９１】
露光補正量算出手段２１２４はコントラスト補正手段２３２での補正画像から補正量を取得する。露光補正手段２３３は露光補正量算出手段２１２４で取得された補正量に基づいて補正画像バッファ２３７に一時蓄積されたコントラスト補正手段２３２での補正画像に対して補正を行い、その補正画像を補正画像バッファ２３７に一時蓄積するとともに、その補正画像を補正量取得手段２９に戻す。
【０１９２】
鮮鋭度補正量算出手段２１２５は露光補正手段２３３での補正画像から補正量を取得する。鮮鋭度補正手段２３５は鮮鋭度補正量算出手段２１２５で取得された補正量に基づいて補正画像バッファ２３７に一時蓄積された露光補正手段２３３での補正画像に対して補正を行い、その補正画像を補正画像バッファ２３７に一時蓄積するとともに、その補正画像を補正量取得手段２９に戻す。
【０１９３】
好ましい色補正量算出手段２１２６は鮮鋭度補正手段２３５での補正画像から補正量を取得する。好ましい色補正手段２３６は好ましい色補正量算出手段２１２６で取得された補正量に基づいて補正画像バッファ２３７に一時蓄積された鮮鋭度補正手段２３５での補正画像に対して補正を行い、その補正画像を補正画像バッファ２３７に一時蓄積するとともに、その補正画像を補正量取得手段２９に戻す。
【０１９４】
このように、補正量取得手段２９の各算出手段で取得された補正量に基づいて画像補正手段３０の各補正手段で補正し、補正量取得手段２９の各算出手段がその補正された画像から補正量を取得することによって、入力画像に対してより適正な補正を行うことができる。尚、上記の補正量算出手段及び補正手段の配置順序は図２４及び図２５に記載の順序に限らない。また、補正量算出手段及び補正手段各々のうちのいずれか１手段以上の手段が欠けても構わないし、他の手段を加えても構わない。この場合、上記の各手段の削除及び追加は補正量算出手段及び補正手段がそれぞれ組として行われる。
【０１９５】
図２６は本発明の第６の実施例による映像表示装置の構成を示すブロック図である。図２６において、本発明の第６の実施例による映像表示装置は上記の映像処理装置を用いた装置であり、画像入力手段１と画像表示機器１０とから構成されている。
【０１９６】
画像入力手段１は本発明の第１の実施例と同様である。画像表示機器１０はデータ処理装置２と、記憶装置３と、画像表示手段（モニタ）１１とから構成されている。ここで、データ処理装置２及び記憶装置３は本発明の第１の実施例と同様である。画像表示手段１１はＣＲＴ（ｃａｔｈｏｄｅ−ｒａｙ ｔｕｂｅ）モニタや液晶モニタ等である。
【０１９７】
動画像データが画像入力手段１から入力されると、本発明の第１の実施例による処理と同様に、この動画像に対してデータ処理装置２と記憶装置３とによってホワイトバランス補正、コントラスト補正、露光補正、彩度補正、鮮鋭度補正等の補正が施されて高画質化される。ここで、画像に施される補正はここにあげた５つ全部がある必要はないし、ここにあげた補正以外にも例えば好ましい色補正のような高画質化補正を加えることもできる。この補正が施されて高画質化された画像は画像表示手段１１に表示される。
【０１９８】
図２７は本発明の第７の実施例による映像処理装置の構成を示すブロック図である。図２７において、本発明の第７の実施例による映像処理装置は上記の映像処理方法のプログラムを記録した記録媒体１５を備えている。
【０１９９】
すなわち、本発明の第７の実施例による映像処理装置は動画像を入力する映像入力装置１２と、プログラムを処理するパーソナルコンピュータ（以下、パソコンとする）１３と、処理結果を表示する画像表示装置１４と、パソコン１３で実行されかつ上記の映像処理方法を実現するプログラムを記憶した記録媒体１５とから構成されている。
【０２００】
動画像が映像入力装置１２からパソコン１３に入力されると、パソコン１３は記録媒体１５に記録されている動画像の自動高画質化を行う映像処理方法のプログラムに基づいて動画像に補正を施す。補正が施された動画像は画像表示装置１４へと送られて表示される。
【０２０１】
【発明の効果】
以上説明したように本発明によれば、順次入力される映像を高画質化する際に、入力動画像を高画質化補正するために入力動画像を構成する各々のフレーム画像から補正量を取得し、その取得した補正量に基づいてフレーム画像に高画質化補正を施すことによって、入力動画像の画質に応じて適応的に補正量を変化させることができ、動画像を自動的に高画質化することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施例による映像処理装置の構成を示すブロック図である。
【図２】図１の補正量取得手段の詳細な構成を示すブロック図である。
【図３】図１の補正量取得手段の上限値と設定値とを用いた補正量の調整法を説明するための図である。
【図４】図１の画像補正手段の詳細な構成例を示すブロック図である。
【図５】本発明の第１の実施例による映像処理装置の動作を示すフローチャートである。
【図６】図１の補正量取得手段の動作を示すフローチャートである。
【図７】図１の補正量取得手段の動作を示すフローチャートである。
【図８】本発明の第２の実施例による映像処理装置の構成を示すブロック図である。
【図９】図８の補正量変化制限手段の詳細な構成を示すブロック図である。
【図１０】図８の変化量変化制限手段の処理の一例を示す図である。
【図１１】本発明の第２の実施例による映像処理装置の動作を示すフローチャートである。
【図１２】本発明の第３の実施例による映像処理装置の構成を示すブロック図である。
【図１３】図１１の補正量更新判断手段の詳細な構成を示すブロック図である。
【図１４】図１３のカット点検出手段の詳細な構成を示すブロック図である。
【図１５】図１３のカット点検出手段で用いる色ヒストグラムを説明するための図である。
【図１６】図１３のカット点検出手段で用いる特徴点の比較例における差分値の推移としきい値との関係を示す図である。
【図１７】本発明の第３の実施例による映像処理装置の動作を示すフローチャートである。
【図１８】図１２の補正量更新判断手段の動作を示すフローチャートである。
【図１９】図１３のカット点検出手段の動作を示すフローチャートである。
【図２０】本発明の第４の実施例による映像処理装置の構成を示すブロック図である。
【図２１】本発明の第４の実施例による映像処理装置の処理を示す模式図である。
【図２２】本発明の第４の実施例による映像処理装置の動作を示すフローチャートである。
【図２３】本発明の第５の実施例による映像処理装置の構成を示すブロック図である。
【図２４】図２３の補正量取得手段の詳細な構成を示すブロック図である。
【図２５】図２３の画像補正手段の詳細な構成例を示すブロック図である。
【図２６】本発明の第６の実施例による映像表示装置の構成を示すブロック図である。
【図２７】本発明の第７の実施例による映像処理装置の構成を示すブロック図である。
【図２８】従来の彩度自動高画質化補正の一例を説明するための図である。
【図２９】従来の露光自動高画質化補正の一例を説明するための図である。
【図３０】従来のホワイトバランス自動高画質化補正の一例を説明するための図である。
【図３１】従来のコントラスト自動高画質化補正の一例を説明するための図である。
【図３２】従来の鮮鋭度自動高画質化補正の一例を説明するための図である。
【図３３】従来の好ましい色補正の一例を説明するための図である。
【図３４】従来の固定パラメータを用いた高画質化手法の一例を説明するための図である。
【符号の説明】
１ 画像入力手段
２，５，６，８，９ データ処理装置
３，７ 記憶装置
４ 画像出力手段
１０ 画像表示機器
１１ 画像表示手段
１２ 映像入力装置
１３ パーソナルコンピュータ
１４ 画像表示装置
１５ 記録媒体
２１，２９ 補正量取得手段
２２ 補正量記録手段
２３，３０ 画像補正手段
２４ 補正量変化制限手段
２５ 補正量更新判断手段
２６ 変化量制限実行判断手段
２７ 補正領域切り出し手段
２８ 画像合成手段
３１ 補正量記憶部
３２ フレーム数記憶部
２１１ 評価領域切り出し手段
２１２ 補正量算出手段
２１３ 上限値調整手段
２１４ 上限値記憶部
２１５ 設定値記憶部
２３１ ホワイトバランス補正手段
２３２ コントラスト補正手段
２３３ 露光補正手段
２３４ 彩度補正手段
２３５ 鮮鋭度補正手段
２３６ 好ましい色補正手段
２３７ 補正画像バッファ
２４１ 変化量算出手段
２４２ 変化量制限手段
２４３ 最大変化幅記憶部
２５１ フレームカウント手段
２５２ カット点検出手段
２５３ 一定時間経過検出手段
２１２１ 彩度補正量取得手段
２１２２ ホワイトバランス補正量取得手段
２１２３ コントラスト補正量取得手段
２１２４ 露光補正量取得手段
２１２５ 鮮鋭度補正量取得手段
２１２６ 好ましい色補正量取得手段
２５２１ 評価領域切り出し手段
２５２２ 画像間引き手段
２５２３ ヒストグラム作成手段
２５２４ ヒストグラム比較手段
２５２５ ヒストグラム記憶部
【発明の属する技術分野】
本発明は映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラムに関し、特に動画像の画質を自動的に高画質化する方法に関する。
【０００２】
【従来の技術】
画像の高画質化とは静止画や動画をより綺麗に見えるように、元画像に画像補正処理を施すことをいう。例えば、彩度補正やγ補正等がこれらの高画質化の補正処理である。
【０００３】
彩度補正は色の濃さを表す彩度を調整する補正である。人は彩度が高めの画像を好むことが多いため、彩度補正では元画像の彩度が高くなるよう調整することが多い。γ補正は画像の明るさを調整する補正である。人は暗すぎる画像や明るすぎる画像を好まず、適正な明るさとなっている画像をより好む。このような明るさを調整するのがγ補正である。
【０００４】
これら以外にも様々な補正があり、これらの補正処理を用いて画像をより綺麗に見えるようにするものが高画質化処理である。上記のような画像を高画質化する方法としては、従来、以下のような方法が用いられている。
【０００５】
静止画像を高画質化する場合には、様々な静止画自動高画質化手法が用いられている。ここでいう静止画高画質化手法としては、“彩度、コントラスト、鮮鋭度の調整によるカラー画像の自動画質改善”（井上、田島，第２４回画像工学コンファレンス論文集，３‐３，１９９３）（文献１）に記載された手法と、特開平０９−１４７０９８号公報（文献２）に記載された手法と、特開平１０−１５０５６６号公報（文献３）に記載された手法と、“好ましい色再現を実現する自動色補正方法”（塚田、舟山、田島，カラーフォーラムＪＡＰＡＮ２０００論文集，ｐｐ．９−１２，２０００）（文献４）に記載された手法とがある。
【０００６】
これらの文献に記載された自動高画質化手法では、静止画像からなる入力画像からある特徴量を抽出し、その特徴量に基づいて補正量を決定し、高画質化補正を行っている。ここでいう特徴量とは、例えば画面内の暗い領域の平均輝度であったり、画面内の明るい領域における各ＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）の平均階調値であったりする。
【０００７】
以下に各補正手法の一例を詳細に説明する。彩度補正の実現法の一例を図２８に示す。この彩度補正の実現法では、まず図２８（ａ）に示す入力画像に対してＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖｌｕｅ）座標系等を用いてＳ値に関してヒストグラムを作成する［図２８（ｂ）参照］。ここで、ＨＳＶ座標系については、“Ｃｏｌｏｒ Ｇａｍｕｔ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ Ｐａｉｒｓ”（Ａ．Ｒ．Ｓｍｉｔｈ，Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ，ｖｏｌ．１２，ｐｐ．１２−１９，１９７８）に記載されている。
【０００８】
ＨＳＶ座標系のＳ値は彩度を表しており、Ｓ値のヒストグラムは彩度のヒストグラムといえる。ここで作成したヒストグラムのうち、全画素数に対する面積比が一定の割合ａとなる高彩度部分を高彩度領域とする。そして、この高彩度領域の平均彩度ＳＡＦを算出する［図２８（ｂ）参照］。この平均彩度ＳＡＦから補正量Ｃopt を、
Ｃopt ＝ＳＡＦopt ／ＳＡＦ ……（１）
という式によって算出する。ここで、平均彩度ＳＡＦopt は入力画像の彩度画像の取り得る最適値を表す。
【０００９】
このようにして算出した補正量Ｃopt は値が大きくなればなるほど、彩度を強調することになる［図２８（ｃ）参照］。図中のｃ0 の値は入力画像の彩度Ｓのレンジを取り得る範囲いっぱいに広げる時の値であり、ｃ＝ｃ0 であれば、図２８（ｃ）のように入力画像の彩度Ｓはレンジいっぱいに広がることになる［図２８（ｄ）参照］。
【００１０】
画像の高画質化はフレーム画像の各画素のＲＧＢ値からＳ値を求め、これを、
Ｓ’＝Ｃopt ×Ｓ ……（２）
という式によって線形変換する。変換後に、再びＲＧＢ値に戻すことで補正後の画像が完成される。上記の彩度補正については、文献１に記載されている。
【００１１】
露光補正の実現法の一例を図２９に示す。この露光補正の実現法では、まず図２９（ａ）に示す入力画像に対してＸＹＺ座標系を用いてＹ値のヒストグラムを作成する［図２９（ｂ）参照］。Ｙ値は輝度を表しており、Ｙ値のヒストグラムは輝度ヒストグラムといえる。
【００１２】
この時、画素数のａ倍をｍとして、輝度の高い方からｍ番目の輝度値をＺmax 、輝度の低いほうからｍ番目の輝度値をＺmin とし、ヒストグラムの中間値Ｍを、
Ｍ＝（Ｚmax ＋Ｚmin ）／２ ……（３）
という式によって求める。
【００１３】
変換後に中間値Ｍがダイナミックレンジの半分の値Ｍ0 になるようなγ値は、
γ＝［ｌｏｇ（２５５／Ｍ0 ）］／［ｌｏｇ（２５５／Ｍ）］……（４）
という式によって求まる。
【００１４】
露光補正は最初にフレーム画像の各画素のＲＧＢ値からＹ値を求め、その値に対して（４）式で求めたγ値と、
【数１】
という式とを用いて入力画像にガンマ補正を施すことで実現する［図２９（ｃ），（ｄ）参照］。上記の露光補正については、文献３に記載されている。
【００１５】
ホワイトバランス補正の実現法の一例を図３０に示す。ホワイトバランス補正の実現法では、まず図３０（ａ）に示す入力画像に対してＸＹＺ座標系等を用いて輝度ヒストグラムを作成する［図３０（ｂ）参照］。
【００１６】
この時、画素数のａ倍をｍとして、輝度の高い方からｍ番目までの輝度を持つ画素の各階調値の平均値をその画像の白色点とする。この白色ＲＧＢ値を（ｗｒ，ｗｇ，ｗｂ）とし、調整後の白色ＲＧＢ値を（ｗｒ0 ，ｗｇ0 ，ｗｂ0 ）とし、ホワイトバランス補正量ｒ，ｇ，ｂを、
ｒ＝ｗｒ0 ／ｗｒ
ｇ＝ｗｇ0 ／ｗｇ
ｂ＝ｗｂ0 ／ｗｂ ……（６）
という式にて求める。
【００１７】
この補正量と、
Ｒ’＝ｒ×Ｒ
Ｇ’＝ｇ×Ｇ
Ｂ’＝ｂ×Ｂ ……（７）
という式とから、図３０（ｃ）に示すように、各階調値を線形変換することでホワイトバランス補正が実現される。上記のホワイトバランス補正については、文献２に記載されている。
【００１８】
コントラスト補正の実現法の一例を図３１に示す。コントラスト補正の実現法では、まず図３１（ａ）に示す入力画像に対してＸＹＺ座標系等を用いてＹ値のヒストグラム、つまり輝度ヒストグラムを作成する［図３１（ｂ）参照］。
【００１９】
この時、画素数のａ倍をｍとして、輝度の高い方からｍ番目までの輝度を持つ画素の平均輝度Ｖmax を求める。同様に、輝度の低い方からｍ番目までの輝度を持つ画素の平均輝度Ｖmin を求める［図３１（ｂ）参照］。
【００２０】
これらから座標（Ｖmin ，０），（Ｖmax ，２５５）を通過する直線である、
Ｖ’＝ａ×Ｖ＋ｂ ……（８）
という式を求める。ここで、Ｖは元画像の画素の輝度Ｙ値を表し、Ｖ’は変換後の画素のＹ値である。この（８）式を用いて各画素の輝度を線形変換し、ＲＧＢ値に逆変換することによってコントラスト強調が実現される。上記のコントラスト補正については、文献１に記載されている。
【００２１】
鮮鋭度補正の実現法の一例を図３２に示す。鮮鋭度補正の実現法では、まず図３２（ａ）に示す入力画像に対してハイパスフィルタをかけ、図３２（ｂ）に示すように、エッジ成分を抽出する。ｓｓをハイパスフィルタ、Ｅ（Ｖ）をエッジ領域、ＡＥ（Ｖ）をエッジ領域の面積、Ｖを輝度、ＥＳopt をその画像の最適鮮鋭度とすると、鮮鋭度補正量ｋは、
【数２】
という式によって求まる。
【００２２】
この（９）式によって求まったｋを用いて、鮮鋭化は、
【数３】
という式によって行われる。この（１０）式によって求めたＶ’からＲＧＢ値を逆変換することで、鮮鋭化補正が実現される。上記の鮮鋭度補正については、文献１に記載されている。
【００２３】
好ましい色補正の実現法の一例を図３３に示す。好ましい色補正は画像の色を、人間が持つその対象物の記憶色に近づけることによって、画像の色の見え（人間の知覚による見え様を示す、以下同様）をより好ましくするものである。図３３に示した一例の具体的な処理は以下のようになる。
【００２４】
図３３（ａ）に示すフレーム画像の各画素の色相を計算し、図３３（ｂ）に示すような色相のヒストグラムを作成する。このヒストグラムを、図３３（ｃ）に示すように、各分割色相領域に応じて事前に与えている色補正パラメータを適用し、肌色、空色、草木の緑に関係する色相をより好ましい色となる色相に補正する。
【００２５】
その結果、図３３（ｄ）に示すように、肌色、空色、草木の緑の色だけが変化し、より好ましい色となっている。このような処理を施すことによって、好ましい色補正が実現される。この好ましい色補正とは、補正された画像のみを見て人間が好ましいと感じる色を実現するためのものであり、長年のノウハウの積み重ねをデータベースに蓄積しておき、そのデータベースに蓄積された内容に基づいて行われる。尚、上記の好ましい色補正については、文献４に記載されている。
【００２６】
上述したような静止画自動高画質化手法を用いることで、静止画の高画質化が実現されている。動画像を高画質化する場合には固定パラメータを用いて高画質化を行う方法が用いられている。固定パラメータとは動画像にある補正を施す場合にその補正量パラメータをある一定値に固定したものである。例えば、固定パラメータには次のようなものがある。
【００２７】
図３４に示すように、様々な（５）式のガンマ補正のパラメータであるγ値を変えて補正を施した画像を作成し、それぞれを比較することで、画像がより綺麗に見えるγ値の最適値を主観評価実験によって求めておく。このγ補正を動画像にかける際に、γ値を変動させずに、最適γ値を用いて補正を施した場合、このγ値が固定パラメータであるといえる。このような固定パラメータをγ補正だけではなく、様々な補正処理において用いることで画像を高画質化するものが、動画像の高画質化処理に用いられている。
【００２８】
【発明が解決しようとする課題】
しかしながら、上述した従来のシステムでは、補正量が固定パラメータで与えられているため、動画像の高画質化手法では映像ソースや映像の撮影状況に応じて適応的に補正量を変化させることができない。
【００２９】
動画像はその映像ソースや撮影状況によって画像の画質が大きく異なっている。映像ソースの違いでいうと、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）デッキから得られる動画像は彩度も高く、コントラストも高めになっている。それに対して、ホームユースのディジタルビデオカメラ等で個人が撮影した動画像は、カメラの特性によって彩度が低く、コントラストも低いものとなっている。
【００３０】
撮影状況の違いでいうと、ディジタルビデオカメラで撮影した曇天での風景と快晴での風景とで、やはり彩度やコントラストが異なってしまう。このように、動画像は場合によって画質が大きく異なっている。
【００３１】
これに対して、固定パラメータにて補正量を決定すると、ディジタルビデオカメラの画像は明瞭になるが、ＤＶＤ画像は補正がかかり過ぎて不自然な見えを呈してしまう場合がある。この場合、映像ソース毎に固定パラメータを求めて映像ソース毎に手動で切替えて用いる方法もあるが、これは撮影状況の違いによる画質の違いに対応することができず、また手動にて切替えなければならないため、不便である。
【００３２】
そこで、本発明の目的は上記の問題点を解消し、入力動画像の画質に応じて適応的に補正量を変化させることができ、動画像を自動的に高画質化することができる映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラムを提供することにある。
【００３３】
【課題を解決するための手段】
本発明による映像処理装置は、順次入力される動画像からフレーム画像を取得する画像入力手段と、
前記画像入力手段で取得されたフレーム画像から補正量を取得する補正量取得手段と、
前記補正量取得手段で取得された補正量に基づいてフレーム画像に、ホワイトバランス補正、コントラスト補正、彩度補正、露光補正、鮮鋭度補正、予め設定された好ましい色への補正のうちの少なくとも一つの補正を行って前記動画像をより綺麗に見えるようにする高画質化補正を施す画像補正手段と、
前記補正量取得手段で得られた現フレーム画像の補正量と記憶してある前フレーム画像の補正量との変化量を制限する補正量変化制限手段とを備え、
前記補正量取得手段は、前記動画像のホワイトバランス補正量を算出するホワイトバランス補正量算出手段と、前記動画像のコントラスト補正量を算出するコントラスト補正量算出手段と、前記動画像の彩度補正量を算出する彩度補正量算出手段と、前記動画像の露光補正量を算出する露光補正量算出手段と、前記動画像の鮮鋭度補正量を算出する鮮鋭度補正量算出手段と、前記動画像において予め設定された好ましい色への補正量を示す好ましい色補正量を算出する好ましい色補正量算出手段とのうちの少なくとも一つを含み、
前記画像補正手段は、前記補正量取得手段に対応して、前記動画像のホワイトバランス補正を行うホワイトバランス補正手段と、前記動画像のコントラスト補正を行うコントラスト補正手段と、前記動画像の彩度補正を行う彩度補正手段と、前記動画像の露光補正を行う露光補正手段と、前記動画像の鮮鋭度補正を行う鮮鋭度補正手段と、前記動画像の前記好ましい色補正を行う好ましい色補正手段とのうちの少なくとも一つを含むことを特徴とする。
【００３８】
本発明による映像処理方法は、順次入力される動画像を構成する各々のフレーム画像から補正量を取得するステップと、
その取得した補正量に基づいて前記フレーム画像に、ホワイトバランス補正、コントラスト補正、彩度補正、露光補正、鮮鋭度補正、予め設定された好ましい色への補正のうちの少なくとも一つの補正を行って前記動画像をより綺麗に見えるようにする高画質化補正を施すステップと、
取得した現フレームの補正量と記憶している前フレームの補正量との変化量を制限するステップとを備え、
前記補正量を取得するステップは、前記動画像のホワイトバランス補正量を算出するステップと、前記動画像のコントラスト補正量を算出するステップと、前記動画像の彩度補正量を算出するステップと、前記動画像の露光補正量を算出するステップと、前記動画像の鮮鋭度補正量を算出するステップと、前記動画像において予め設定された好ましい色への補正量を示す好ましい色補正量を算出するステップとのうちの少なくとも一つを含み、
前記高画質化補正を施すステップは、前記補正量を取得するステップに対応して、前記動画像のホワイトバランス補正を行うステップと、前記動画像のコントラスト補正を行うステップと、前記動画像の彩度補正を行うステップと、前記動画像の露光補正を行うステップと、前記動画像の鮮鋭度補正を行うステップと、前記動画像の前記好ましい色補正を行うステップとのうちの少なくとも一つを含むことを特徴とする。
【００４０】
本発明によるプログラムは、コンピュータに実行させるプログラムであって、
順次入力される動画像を構成する各々のフレーム画像から補正量を取得する処理と、
その取得した補正量に基づいて前記フレーム画像に、ホワイトバランス補正、コントラスト補正、彩度補正、露光補正、鮮鋭度補正、予め設定された好ましい色への補正のうちの少なくとも一つの補正を行って前記動画像をより綺麗に見えるようにする高画質化補正を施す処理と、
取得した現フレームの補正量と記憶している前フレームの補正量との変化量を制限する処理とを含み、
前記補正量を取得する処理は、前記動画像のホワイトバランス補正量を算出する処理と、前記動画像のコントラスト補正量を算出する処理と、前記動画像の彩度補正量を算出する処理と、前記動画像の露光補正量を算出する処理と、前記動画像の鮮鋭度補正量を算出する処理と、前記動画像において予め設定された好ましい色への補正量を示す好ましい色補正量を算出する処理とのうちの少なくとも一つを含み、
前記高画質化補正を施す処理は、前記補正量を取得する処理に対応して、前記動画像のホワイトバランス補正を行う処理と、前記動画像のコントラスト補正を行う処理と、前記動画像の彩度補正を行う処理と、前記動画像の露光補正を行う処理と、前記動画像の鮮鋭度補正を行う処理と、前記動画像の前記好ましい色補正を行う処理とのうちの少なくとも一つを含むことを特徴とする。
【００４３】
すなわち、本発明の第１の映像処理装置は、順次入力される動画像を自動的に高画質化する際に、動画像を入力する画像入力手段と、入力動画像を高画質化補正するために入力動画像から補正量を取得する補正量取得手段と、補正量取得手段によって取得された補正量に基づいて入力動画像に高画質化補正を施す画像補正手段と、補正した動画像を出力する画像出力手段とを有することを特徴としている。
【００４４】
本発明の第２の映像処理装置は、順次入力される動画像を自動的に高画質化する際に、動画像からフレーム画像を取得する画像入力手段と、フレーム画像を高画質化補正するためにフレーム画像から補正量を取得する補正量取得手段と、補正量取得手段によって取得された補正量に基づいてフレーム画像に高画質化補正を施す画像補正手段と、補正したフレーム画像を出力する画像出力手段とを有することを特徴としている。
【００４５】
本発明の第３の映像処理装置は、上記の第１及び第２の映像処理装置の構成に加えて、入力画像に補正処理を施す前に、入力画像から補正対象領域を切り出す補正領域切り出し手段と、補正対象領域と補正対象領域を切り出した時の残りの部分である非補正対象領域とを合成する画像合成手段とを有することを特徴としている。
【００４６】
本発明の第４の映像処理装置は、順次入力される動画像を自動的に高画質化する際に、上記の第２の映像処理装置の構成に加えて、補正量取得手段によって得られた現フレーム画像の補正量と記憶してある前フレーム画像の補正量との変化量を制限する補正量変化制限手段を有することを特徴とする。
【００４７】
本発明の第５の映像処理装置は、上記の第２から第４の映像処理装置の構成に加えて、補正量が最後に更新されたフレーム画像から現フレーム画像までのフレーム数を数えてフレーム数が一定値を越えたか否かを判定する一定時間経過検出手段と、一定時間が経過したら補正量の更新を指示する検出補正量更新判断手段とを有することを特徴としている。
【００４８】
本発明の第６の映像処理装置は、上記の第２から第４の映像処理装置の構成に加えて、各フレーム画像から求められる特徴量の変化に基づいて動画像における画面の切替わりを示すカット点を検出するカット点検出手段と、カット点が検出されると補正量の更新を指示する補正量更新判断手段とを有することを特徴としている。
【００４９】
本発明の第７の映像処理装置は、上記の第２から第４の映像処理装置の構成に加えて、補正量が最後に更新されたフレーム画像から現フレーム画像までのフレーム数を数えてフレーム数が一定値を越えたか否かを判定する一定時間経過検出手段と、各フレーム画像から求められる特徴量の変化に基づいて動画像における画面の切替わりを示すカット点を検出するカット点検出手段と、一定時間が経過するかまたはカット点が検出されると補正量の更新を指示する補正量更新判断手段とを有することを特徴としている。
【００５０】
本発明の第８の映像処理装置は、上記の第１から第７の映像処理装置において、補正量取得手段がｎ種類（ｎ≧１）の任意の補正量を算出する補正量算出手段を有し、画像補正手段がｎ種類（ｎ≧１）の任意の補正手段を有することを特徴としている。
【００５１】
本発明の第９の映像処理装置は、上記の第１から第７の映像処理装置において、補正量取得手段が動画像のホワイトバランス補正量を取得するホワイトバランス補正量算出手段を有し、それに対応して、画像補正手段が動画像に対してホワイトバランス補正を施すホワイトバランス補正手段を有することを特徴としている。
【００５２】
本発明の第１０の映像処理装置は、上記の第１から第７と第９との映像処理装置において、補正量取得手段が動画像のコントラスト補正量を取得するコントラスト補正量算出手段を有し、それに対応して、画像補正手段が動画像に対してコントラスト補正を施すコントラスト補正手段を有することを特徴としている。
【００５３】
本発明の第１１の映像処理装置は、上記の第１から第７と第９と第１０との映像処理装置において、補正量取得手段が動画像の彩度補正量を取得する彩度補正量算出手段を有し、それに対応して、画像補正手段が動画像に対して彩度補正を施す彩度補正手段を有することを特徴としている。
【００５４】
本発明の第１２の映像処理装置は、上記の第１から第７と第９から第１１との映像処理装置において、補正量取得手段が動画像の露光補正量を取得する露光補正量算出手段を有し、それに対応して、画像補正手段が動画像に対して露光補正を施す露光補正手段を有することを特徴としている。
【００５５】
本発明の第１３の映像処理装置は、上記の第１から第７と第９から第１２との映像処理装置において、補正量取得手段が動画像の鮮鋭度補正量を取得する鮮鋭度補正量算出手段を有し、それに対応して、画像補正手段が動画像に対して鮮鋭度補正を施す鮮鋭度補正手段を有することを特徴としている。
【００５６】
本発明の第１４の映像処理装置は、上記の第１から第７と第９から第１２との映像処理装置において、補正量取得手段が動画像において予め設定された好ましい色への補正量を示す好ましい色補正量を取得する好ましい色補正量算出手段を有し、それに対応して、画像補正手段が動画像に対して好ましい色補正を施す好ましい色補正手段を有することを特徴としている。
【００５７】
本発明の第１５の映像処理装置は、上記の第９から第１４の映像処理装置において、補正量取得手段が、フレーム画像から補正量を算出するための評価画像領域を切り出せる評価領域切り出し手段を有することを特徴としている。
【００５８】
本発明の第１６の映像処理装置は、上記の第９から第１５の映像処理装置において、補正量取得手段が、事前に取得された補正量を上限値と比較し、もし上限値よりも値が大きければ設定値と入れ替える上限値調整手段を有することを特徴としている。
【００５９】
本発明の第１７の映像処理装置は、上記の第４から第７と第９と第１６との映像処理装置において、補正量変化制限手段が、最新補正量と前フレームの補正量との変化量を算出する変化量算出手段と、最大変化幅を基に補正量の変化量を制限する変化量制限手段とを有することを特徴としている。
【００６０】
本発明の第１８の映像処理装置は、上記の第６及び第７の映像処理装置において、カット点検出手段が、入力画像の各画素の色情報を基に作成した色ヒストグラムをフレーム毎に比較した結果を特徴量とし、この特徴量の変化に基づいて動画像のカット点を検出するようにしたことを特徴としている。
【００６１】
本発明の第１９の映像処理装置は、上記の第１８の映像処理装置において、カット点検出手段が、入力画像から色ヒストグラムを作成する際に一定間隔で画像を間引いてから色ヒストグラムを作成するようにしたことを特徴としている。
【００６２】
本発明の映像表示装置は、順次入力される動画像を自動的に高画質化して表示する際に、動画像を入力する画像入力手段と、入力動画像を高画質化補正するために入力動画像からＮ種類（Ｎ≧１）の補正量を取得する動画補正量取得手段と、動画補正量取得手段によって取得された補正量に基づいて入力動画像にＮ種類（Ｎ≧１）の高画質化補正を施す画像補正手段と、補正した動画像を表示する画像表示手段とを有することを特徴としている。
【００６３】
本発明の第１の映像処理方法は、順次入力される映像を高画質化する際に、入力動画像を高画質化補正するために入力動画像から補正量を取得し、取得した補正量に基づいて入力動画像に高画質化補正を施すことを特徴としている。
【００６４】
本発明の第２の映像処理方法は、順次入力される映像を高画質化する際に、入力動画像を構成する各々のフレーム画像から補正量を取得し、取得した補正量に基づいてフレーム画像に高画質化補正を施すことを特徴としている。
【００６５】
本発明の第３の映像処理方法は、順次入力される映像を高画質化する際に、上記の第１及び２の映像処理方法に加えて、Ｎフレーム（Ｎ≧１）毎に補正量を更新することを特徴としている。
【００６６】
本発明の第４の映像処理方法は、順次入力される映像を高画質化する際に、上記の第１及び２の映像処理方法に加えて、入力動画像をフレーム毎に調べ、カット点が検出された時に補正量を更新することを特徴としている。
【００６７】
本発明の第５の映像処理方法は、順次入力される映像を高画質化する際に、上記の第１及び２の映像処理方法に加えて、Ｎフレーム（Ｎ≧１）毎に補正量を更新することと、入力動画像をフレーム毎に調べてカット点が検出された時に補正量を更新することとを特徴としている。
【００６８】
本発明の第６の映像処理方法は、上記の第１から第５の映像処理方法において、入力動画像から補正量を取得する際に、ｎ種類（ｎ≧１）の任意の補正量を取得することと、求めた補正量を基に入力動画像にｎ種類（ｎ≧１）の任意の高画質化補正を施すこととを特徴としている。
【００６９】
本発明の第７の映像処理方法は、上記の第２から第５の映像処理方法において、フレーム画像から補正量を取得する際にホワイトバランス補正量を取得することと、求めた補正量を基にフレーム画像にホワイトバランス補正を施すこととを特徴としている。
【００７０】
本発明の第８の映像処理方法は、上記の第２から第５と第７との映像処理方法において、フレーム画像から補正量を取得する際にコントラスト補正量を取得することと、求めた補正量を基にフレーム画像にコントラスト補正を施すこととを特徴としている。
【００７１】
本発明の第９の映像処理方法は、上記の第２から第５と第７と第８との映像処理方法において、フレーム画像から補正量を取得する際に彩度補正量を取得することと、求めた補正量を基にフレーム画像に彩度補正を施すこととを特徴としている。
【００７２】
本発明の第１０の映像処理方法は、上記の第２から第５と第７から第９との映像処理方法において、フレーム画像から補正量を取得する際に露光補正量を取得することと、求めた補正量を基にフレーム画像に露光補正を施すこととを特徴としている。
【００７３】
本発明の第１１の映像処理方法は、上記の第２から第５と第７から第１０との映像処理方法において、フレーム画像から補正量を取得する際に鮮鋭度補正量を取得することと、求めた補正量を基にフレーム画像に鮮鋭度補正を施すこととを特徴とする。
【００７４】
本発明の第１２の映像処理方法は、上記の第２から第５と第７から第１１との映像処理方法において、フレーム画像から補正量を取得する際に動画像において予め設定された好ましい色への補正量を示す好ましい色補正量を取得することと、求めた補正量を基にフレーム画像に好ましい色補正を施すこととを特徴としている。
【００７５】
本発明の第１３の映像処理方法は、上記の第７から第１２の映像処理方法において、取得した現フレームの補正量と記憶している前フレームの補正量との変化量を制限することを特徴としている。
【００７６】
本発明の第１４の映像処理方法は、上記の第７から第１３の映像処理方法において、フレーム画像から補正量を取得するために必要な評価画像領域を切り出し、その切り出した評価画像から補正量を取得することを特徴としている。
【００７７】
本発明の第１５の映像処理方法は、上記の第４及び第５の映像処理方法において、動画像における画面の切替わりを示すカット点を検出する際にフレーム画像の各画素の色情報を基に作成した色ヒストグラムをフレーム毎に比較した結果を特徴量とし、この特徴量の変化に基づいて動画像のカット点を検出することを特徴としている。
【００７８】
本発明の第１６の映像処理方法は、上記の第１５の映像処理方法において、カット点を検出する場合、フレーム画像から色ヒストグラムを作成する際に一定間隔で画像を間引いてから色ヒストグラムを作成することを特徴としている。
【００７９】
本発明の第１７の映像処理方法は、上記の第１から第１６の映像処理方法において、パソコンの画面のように画面中の一部に動画像が流れている場合、入力画像に補正処理を施す前に入力画像から補正対象領域を切り出し、その切り出した補正対象画像に対して画像補正を施していくことと、画像補正を施された補正対象領域と補正対象領域を切り出した時の残りの部分である非補正対象領域とを張り合わせて画像を出力することとを特徴としている。
【００８０】
本発明の第１のプログラムは、順次入力される映像を高画質化する際に、入力動画像を高画質化補正するために入力動画像から１つ以上の補正量を取得する処理と、取得された補正量を過去１フレーム以上前の１つ以上のフレームから得られた補正量と比較して補正量の変化を抑制する処理と、抑制された補正量に基づいてフレーム画像に高画質化補正を施す処理とをコンピュータに実行させることを特徴としている。
【００８１】
本発明の第２のプログラムは、順次入力される映像を高画質化する際に、入力動画像を高画質化補正するために入力動画像から１つ以上の補正量を取得する処理と、入力された動画像のフレーム画像から求めた特徴量の変化に基づいて動画像のカット点を検出する処理と、取得された補正量を過去１フレーム以上前の１つ以上のフレームから得られた補正量と比較しかつカット点の有無を考慮して補正量の変化量を抑制する処理と、抑制された補正量に基づいてフレーム画像に高画質化補正を施す処理とをコンピュータに実行させることを特徴としている。
【００８２】
上述したように、本発明は、最新フレームの補正量を決定する際に、最新フレームの補正量と過去フレームの補正量との変化量を求め、これをちらつき等が生じない程度の変化量に抑えることで、ちらつき等の違和感のある見えを呈することなしに、動画像を自動的に高画質化することが可能となる。
【００８３】
本発明ではカット点検出を用いることで、シーンが切替わったことを検出することが可能となるため、シーンの違いに応じて適切な補正量で高画質化することが可能となる。
【００８４】
動画像中のシーンが切替わると、それまでの画像とは見えが異なる画像がシステムに入力される。このように、画像の見えが大きく変化すると、それぞれの画像に最適な補正量も大きく変化することがある。従来の方法では、この補正量を固定パラメータとしていたため、適切な補正量で動画像に補正を施すことができてない。
【００８５】
本発明ではシーンの切替えを検出すると、そこで改めて最適な補正量を動画補正量取得手段によって自動的に取得することが可能となるため、シーンの違いを検出し、それぞれに最適な補正量で高画質化補正を施すことが可能となる。
【００８６】
本発明ではカット点検出及びフレーム内補正量取得手段が画像を評価する際に評価領域切り出し手段によって評価領域を任意の大きさで切り出せるので、映像ソースの違いによらず自動的に高画質化することが可能となる。
【００８７】
動画像はその入力源によって表示領域が大きく異なる。ＴＶ画像やゲーム画像ではＴＶモニタ全域に画像が表示される。それに対して、ハイビジョン画像や映画等は上下に黒い帯が表示され、画像の表示領域が小さくなっている。
【００８８】
本発明において例に挙げた高画質化補正方法では、この黒い帯が影響してより最適な補正量を得られない場合が出てくる。例えば、コントラスト補正は画面の暗い領域を基にして補正量を決めるのだが、画面全体を評価領域にすると、上下の黒い帯の領域を基にして補正量を決めてしまい、黒帯以外の領域の画像を最適に高画質化することができない。
【００８９】
同様に、本発明において例に挙げたカット点検出もこの黒い帯びが影響して適切にカット点を検出することができない場合が出てくる。しかしながら、ここで述べている評価領域切り出し手段を用いることによって、これらの問題を解決し、適切にシーンを切り分け最適な補正量で動画像を高画質化することが可能となる。
【００９０】
本発明では静止画自動高画質化手法である彩度補正手段と、露光補正手段と、ホワイトバランス補正手段と、コントラスト補正手段と、鮮鋭度補正手段と、好ましい色補正手段とを、それぞれ独立に様々な組み合わせで、映像処理装置の構成に含んでいるので、様々な高画質化補正を自動的に行うことが可能となる。
【００９１】
また、本発明では上述したような６つの手段だけではなく、他の高画質化手段を組み込み、上記の６つの補正手段と同様にして、動画像を高画質化することが可能となる。
【００９２】
本発明では上述したカット点検出において、そのカット点検出を行う際に間引き画像を作成しているため、インタレースの特性によらず、カット点検出を行うことが可能となる。
【００９３】
本発明では入力画像にＴＶ画像やＤＶＤ画像等の様々な画像を想定している。これらの画像には時々１フレームの中に２つの画像が重なって見えることがある。これはインタレース画像であるビデオ信号が３０フレーム／秒なのに対して、大本の動画像が２４フレーム／秒である時に発生する現象で、そのフレームレートの違いによって、上記のような１フレームの中に２つの画像が重なって見えるという現象が発生している。
【００９４】
このように、２つの画像が重なってしまうと、カット点では１フレームに前のシーンの画像と次のシーンの画像とが重なって見える。こうなると、カット点において、その前後のフレームの類似度が高くなり、上記の効果で述べたカット点検出がうまくいかなくなることがある。そのため、画像を間引くことで、画像の重なりをなくし、カット点検出をより良くできるようにすることが可能となる。
【００９５】
本発明では高画質化補正処理を施す際に、補正領域切り出し手段によって入力画像中の動画像領域を切り出すことが可能となり、さらに切り出して高画質化補正を施した動画像を元のコンピュータ画面のような配置に戻す画像合成手段があるため、コンピュータ画面のように画面の一部で動画像が流れているような画像に対して、その動画像領域のみを高画質化して表示することが可能となる。
【００９６】
コンピュータ画面ではメディアプレーヤ等の動画像を表示するアプリケーションを立ち上げると、周囲は静止画であるが、局所的に動画像が流れている画像ができる。これに対して、補正領域切り出し手段は静止画の領域と動画像の領域とを切り分ける。その結果、動画像の領域に最適な補正量を用いて高画質化補正をすることが可能となる。
【００９７】
このようにして、補正された動画像は画像合成手段によって周囲の静止画領域と合成され、元のコンピュータ画面のような表示であるが、動画像は動画像に最適な補正量で高画質化されているものが得られる。
【００９８】
【発明の実施の形態】
次に、本発明の実施例について図面を参照して説明する。図１は本発明の第１の実施例による映像処理装置の構成を示すブロック図である。図１において、本発明の第１の実施例による映像処理装置はＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）プレーヤやコンピュータ、ゲーム機器やＤＶ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ）カメラ等と接続して入力動画像を構成するフレーム画像を取得する画像入力手段１と、プログラム制御によって動作するデータ処理装置２と、情報を記憶する記憶装置３と、補正後のフレーム画像を外部に出力する画像出力手段４とから構成されている。
【００９９】
記憶装置３は補正量記憶部３１を備えている。補正量記憶部３１は最新補正量を記憶する。記録している補正量としては露光補正量、ホワイトバランス補正量、コントラスト補正量、彩度補正量、鮮鋭度補正量等様々なものがあるが、何が記録されるかはここに挙げたものに限らず、実際に実行される補正処理によって異なる。
【０１００】
データ処理装置２は補正量取得手段２１と、補正量記録手段２２と、画像補正手段２３とを備えている。補正量取得手段２１は画像入力手段１から取得したフレーム画像から補正量を算出する。補正量記録手段２２は補正量取得手段２１で求められた補正量を補正量記憶部３１に記憶する。
【０１０１】
画像補正手段２３は補正量記憶部３１に記憶されている補正量を用いて画像入力手段１から取得したフレーム画像に高画質化補正をかけ、補正後の画像を画像出力手段４へ出力する。
【０１０２】
図２は図１の補正量取得手段２１の詳細な構成を示すブロック図である。図２において、補正量取得手段２１は評価領域切り出し手段２１１と、補正量算出手段２１２と、上限値調整手段２１３と、上限値記憶部２１４と、設定値記憶部２１５とから構成されている。
【０１０３】
評価領域切り出し手段２１１はフレーム画像から補正量算出の際に用いる評価画像領域を切り出す。上限値記憶部２１４は各補正量の取りうる最大値を記憶している。設定値記憶部２１５は各補正量のディフォルト値を記憶している。
【０１０４】
補正量算出手段２１２は彩度補正量算出手段２１２１と、ホワイトバランス補正量算出手段２１２２と、コントラスト補正量算出手段２１２３と、露光補正量算出手段２１２４と、鮮鋭度補正量算出手段２１２５と、好ましい色補正量算出手段２１２６とから構成されている。ここで、補正量算出手段２１２は各補正量算出手段のうちいずれか１手段以上欠けていても構わない。また、ここに挙げた補正量算出手段は一例であって、他の補正量算出手段を組み込んでも構わない。また、図２では各補正量算出手段を並列に図示しているが、任意の順序で逐次実行しても構わない。
【０１０５】
彩度補正量算出手段２１２１は評価領域切り出し手段２１１で切り出された評価用画像から特徴量を抽出し、その特徴量を基に彩度補正量を決定する。ホワイトバランス補正量算出手段２１２２は評価領域切り出し手段２１１で切り出された評価用画像から特徴量を抽出し、その特徴量を基にホワイトバランス補正量を決定する。
【０１０６】
コントラスト補正量算出手段２１２３は評価領域切り出し手段２１１で切り出された評価用画像から特徴量を抽出し、その特徴量を基にコントラスト補正量を決定する。露光補正量算出手段２１２４は評価領域切り出し手段２１１で切り出された評価用画像から特徴量を抽出し、その特徴量を基に露光補正量を決定する。
【０１０７】
鮮鋭度補正量算出手段２１２５は評価領域切り出し手段２１１で切り出された評価用画像から特徴量を抽出し、その特徴量を基に鮮鋭度補正量を決定する。好ましい色補正量算出手段２１２６は評価領域切り出し手段２１１で切り出された評価用画像から特徴量を抽出し、その特徴量を基に予め設定された好ましい色への補正を行うための好ましい色補正量を決定する。
【０１０８】
ここで、好ましい色補正とは、補正された画像のみを見て人間が好ましいと感じる色を実現するためのものであり、長年のノウハウの積み重ねをデータベースに蓄積しておき、そのデータベースに蓄積された内容に基づいて行われる。つまり、各分割色相領域に応じて事前に与えている色補正パラメータを適用し、肌色、空色、草木の緑に関係する色相をより好ましい色となる色相に補正する。その結果、肌色、空色、草木の緑の色だけが変化し、より好ましい色となる。この好ましい色補正については、上記の文献４に記載されている。
【０１０９】
上限値調整手段２１３は補正量算出手段２１２によって獲得された補正量の内のいずれかが上限値記憶部２１４内に記録されている上限値を越えた場合、設定値記憶部２１５内に記録されている設定値に変換する。
【０１１０】
図３は図１の補正量取得手段２１の上限値と設定値とを用いた補正量の調整法を説明するための図である。図３において、上限値調整手段２１３は補正量算出手段２１２によって獲得された補正量の内のいずれかが上限値記憶部２１４内に記録されている上限値を越えた場合、設定値記憶部２１５内に記録されている設定値に変換する。
【０１１１】
図４は図１の画像補正手段２３の詳細な構成例を示すブロック図である。図４において、画像補正手段２３はホワイトバランス補正手段２３１と、コントラスト補正手段２３２と、露光補正手段２３３と、彩度補正手段２３４と、鮮鋭度補正手段２３５と、好ましい色補正手段２３６とから構成されている。これらの補正手段の配置順序は図４に記載の順序に限らない。また、各補正手段のうちいずれか１手段以上の補正手段が欠けても構わないし、他の補正手段を加えても構わない。
【０１１２】
ホワイトバランス補正手段２３１は補正量記憶部３１内に記録されている補正量の中のホワイトバランス補正量に基づき、入力されたフレーム画像に対してホワイトバランス補正を施す。コントラスト補正手段２３２は補正量記憶部３１内に記録されている補正量の中のコントラスト補正量に基づき、入力されたフレーム画像に対してコントラスト補正を施す。
【０１１３】
露光補正手段２３３は補正量記憶部３１内に記録されている補正量の中の露光補正量に基づき、入力されたフレーム画像に対して露光補正を施す。彩度補正手段２３４は補正量記憶部３１内に記録されている補正量の中の彩度補正量に基づき、入力されたフレーム画像に対して彩度補正を施す。
【０１１４】
鮮鋭度補正手段２３５は補正量記憶部３１内に記録されている補正量の中の鮮鋭度補正量に基づき、入力されたフレーム画像に対して鮮鋭度補正を施す。好ましい色補正手段２３６は補正量記憶部３１内に記録されている補正量の中の好ましい色補正量に基づき、入力されたフレーム画像に対して好ましい色補正を施す。
【０１１５】
図５は本発明の第１の実施例による映像処理装置の動作を示すフローチャートであり、図６及び図７は図１の補正量取得手段２１の動作を示すフローチャートである。これら図１〜図７を参照して本発明の第１の実施例による映像処理装置の動作について説明する。
【０１１６】
映像処理装置は処理が開始されると、まず記憶領域や変数等の初期化を行う（図５ステップＳ１）。その後、映像処理装置は補正対象の画像を取得し（図５ステップＳ２）、取得した画像を基に画像補正量を算出し（図５ステップＳ３）、算出した画像補正量を記憶する（図５ステップＳ４）。
【０１１７】
映像処理装置は算出した補正に基づいて入力画像に画像補正処理を施し（図５ステップＳ５）、補正を施した画像を出力する（図５ステップＳ６）。引き続き、映像処理装置は画像が入力されているか否かを判定し（図５ステップＳ７）、入力されていれば、ステップＳ２に戻って画像を取得し、上記と同様の処理を繰り返す。映像処理装置は画像が入力されていなければ、処理を終了する。
【０１１８】
補正量取得手段２１においては処理が開始されると、まずフレーム画像から補正量を取得するための評価領域を切り出し（図６ステップＳ１１）。この切り出した評価用画像に対して彩度補正量を算出する（図６ステップＳ１２）。
【０１１９】
これに続き、補正量取得手段２１は順次露光補正量を算出し（図６ステップＳ１３）、ホワイトバランス補正量を算出し（図６ステップＳ１４）、コントラスト補正量を算出し（図６ステップＳ１５）、鮮鋭度補正量を算出し（図６ステップＳ１６）、好ましい色補正量を算出する（図６ステップＳ１７）。尚、各補正量の取得順はこれに限らない。また、以上の補正量のうちのいずれか１つ以上欠けていても構わないし、他の補正量を算出しても構わない。
【０１２０】
次に、補正量取得手段２１は取得した補正量の上限値を確認していく。まず、補正量取得手段２１は彩度補正量が上限値を越えているかどうかを調べ（図６ステップＳ１８）、上限値を越えていれば取得した彩度補正量を設定値とし（図６ステップＳ１９）、上限値を越えていなければ先に取得した彩度補正量のままとする。
【０１２１】
同様に、補正量取得手段２１は露光補正量が上限値を越えているかどうかを調べ（図６ステップＳ２０）、上限値を越えていれば取得した露光補正量を設定値とし（図６ステップＳ２１）、上限値を越えていなければ先に取得した露光補正量のままとする。
【０１２２】
補正量取得手段２１はホワイトバランス補正量が上限値を越えているか否かを調べ（図７ステップＳ２２）、上限値を越えていれば取得したホワイトバランス補正量を設定値とし（図７ステップＳ２３）、上限値を越えていなければ先に取得したホワイトバランス補正量のままとする。
【０１２３】
補正量取得手段２１はコントラスト補正量が上限値を越えているか否かを調べ（図７ステップＳ２４）、上限値を越えていれば取得したコントラスト補正量を設定値とし（図７ステップＳ２５）、上限値を越えていなければ先に取得したコントラスト補正量のままとする。
【０１２４】
補正量取得手段２１は鮮鋭度補正量が上限値を越えているか否かを調べ（図７ステップＳ２６）、上限値を越えていれば取得した鮮鋭度補正量を設定値とし（図７ステップＳ２７）、上限値を越えていなければ先に取得した鮮鋭度補正量のままとする。
【０１２５】
最後に、補正量取得手段２１は好ましい色補正量が上限値を越えているか否かを調べ（図７ステップＳ２８）、上限値を越えていれば取得した好ましい色補正量を設定値とし（図７ステップＳ２９）、上限値を越えていなければ先に取得した好ましい色補正量のままとする。補正量取得手段２１は以上の過程を処理した後、処理を終了する。
【０１２６】
このように、最新フレームの補正量を決定する際に、最新フレームの補正量と過去フレームの補正量との変化量を求め、これをちらつき等が生じない程度の変化量に抑えることによって、ちらつき等の違和感のある見えを呈することなしに、動画像を自動的に高画質化することができる。
【０１２７】
また、本実施例では、補正量取得手段２１が画像を評価する際に評価領域切り出し手段２１１において評価領域を任意の大きさで切り出せるので、映像ソースの違いによらず自動的に高画質化することができる。
【０１２８】
さらに、本実施例では、静止画自動高画質化手法である彩度補正手段２３４と、露光補正手段２３３と、ホワイトバランス補正手段２３１と、コントラスト補正手段２３２と、鮮鋭度補正手段２３５と、好ましい色補正手段２３６とをそれぞれ独立に様々な組み合わせで映像処理装置の構成に含むことができるので、様々な高画質化補正を自動的に行うことができる。また、ここにあげた６つの手段だけではなく、他の高画質化手段を組み込み、上記の６つの補正手段と同様にして、動画像を高画質化することができる。
【０１２９】
図８は本発明の第２の実施例による映像処理装置の構成を示すブロック図である。図８において、本発明の第２の実施例による映像処理装置はデータ処理装置５に補正量変化制限手段２４を設けた以外は図１に示す本発明の第１の実施例と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第１の実施例と同様である。
【０１３０】
補正量変化抑制手段２４は補正量取得手段２１で取得された補正量を前フレームの補正量と比較し、その比較結果に応じて変化量が一定値を越えないように補正量を変化させる。
【０１３１】
図９は図８の補正量変化制限手段２４の詳細な構成を示すブロック図である。図９において、補正量変化制限手段２４は変化量算出手段２４１と、変化量制限手段２４２と、最大変化幅記憶部２４３とから構成されている。
【０１３２】
最大変化幅記憶部２４３は引き続くフレーム画像において、前フレームの補正量から現フレームの補正量へと変化する時に変化することができる最大の変化量を記憶している。
【０１３３】
変化量算出手段２４１は補正量取得手段２１から得られた最新フレームの補正量と、補正量記憶部３１内に記録されている前フレームの補正量とからその差の絶対値を求め、補正量の変化量を求める。
【０１３４】
変化量制限手段２４２は変化量算出手段２４１で算出された補正量の変化量が最大変化幅記憶部２４３内に記録されている最大変化幅を越えないように、現フレームの補正量を制限する。
【０１３５】
図１０は図８の変化量変化制限手段２４の処理の一例を示す図である。図１０に示すように、変化量変化制限手段２４は新補正量と旧補正量との差の絶対値を求め、その値が最大変化幅を越えていなければ、現フレームの補正量をそのまま出力する。
【０１３６】
もし、差の絶対値が最大変化幅を越えていれば、変化量変化制限手段２４はその変化量を最大変化幅と同じにすることで、変化幅以内に差の絶対値が収まるように、現フレームの補正量を制限して制限後の補正量を出力する。
【０１３７】
図１１は本発明の第２の実施例による映像処理装置の動作を示すフローチャートである。これら図８〜図１１を参照して本発明の第２の実施例による映像処理装置の動作について説明する。尚、図１１において、ステップＳ３１〜Ｓ３３，Ｓ３５〜３８の処理動作は図５に示すステップＳ１〜Ｓ７の処理動作と同様であるため、その説明は省略する。
【０１３８】
本発明の第１の実施例では入力画像から補正量を取得すると、その補正量をそのまま記録し、入力画像に画像補正を施している。これに対し、本実施例では補正量を取得した後（図１１ステップＳ３３）、その補正量をそのまま画像補正に用いた時の前フレームの補正量との変化量をある一定値以内に制限している（図１１ステップＳ３４）。
【０１３９】
上記のように、本実施例では補正量の時間的な変化量を制限したものを記録し（図１１ステップＳ３５）、それに基づいて画像補正を入力画像に施していく（図１１ステップＳ３６）。
【０１４０】
このように、本実施例ではちらつきを感じない範囲に補正量の時間的な変化量を抑えることで、ちらつき等の不自然に見える現象を解決している。つまり、補正量変化制限手段２４によってちらつきを感じない範囲内で補正量を変化させ、動画像の自動的な高画質化を実現している。
【０１４１】
従来の方法では、静止画高画質化手法を動画像の各フレーム画像にかけていくと、各フレーム画像の画質がそれぞれ若干異なるため、フレーム毎に補正量が変化する。時間的に隣接するフレーム画像において補正量が大きく変化すると、瞬間的に画像の見えが変化するため、補正後の動画像にちらつきを感じるようになる。本実施例ではこの問題点を解決している。
【０１４２】
図１２は本発明の第３の実施例による映像処理装置の構成を示すブロック図である。図１２において、本発明の第３の実施例による映像処理装置はデータ処理装置６に補正量更新判断手段２５と変化量制限実行判断手段２６とを設け、記憶装置７にフレーム数記憶部３２を設けた以外は図８に示す本発明の第２の実施例と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第２の実施例と同様である。
【０１４３】
補正量更新判断手段２５は画像入力手段１から画像を取得すると、フレーム数記憶部３２の値を１上昇させ、得られたフレーム画像からカット点を検出するか、またはフレーム数記憶部３２の値が一定値を超えていることを検出すると、補正量を更新することを決定する。つまり、補正量更新判断手段２５はカット点を検出するとカット点検出信号を発信し、一定時間が経過したことを検出すると一定時間経過信号を発信する。
【０１４４】
変化量制限実行判断手段２６は補正量更新判断手段２５から受取る信号によって、補正量変化制限手段２４を実行するか否かを決定する。つまり、変化量制限実行判断手段２６は補正量更新判断手段２５から一定時間経過信号を受取ると補正量取得手段２１から得られた補正量を補正量変化制限手段２４に送り、補正量更新判断手段２５からカット点検出信号を受取ると補正量を補正量記録手段２２に送る。
【０１４５】
図１３は図１２の補正量更新判断手段２５の詳細な構成を示すブロック図である。図１３において、補正量更新判断手段２５はフレームカウント手段２５１と、カット点検出手段２５２と、一定時間経過検出手段２５３とから構成されている。
【０１４６】
フレームカウント手段２５１は入力画像においてフレームが切替わると、フレーム数記憶部３２に記憶されているフレーム数を１上昇させる。カット点検出手段２５２は入力画像から特徴量を抽出し、この特徴量を前フレームで抽出した特徴量と比較することによってカット点を検出する。フレームカウント手段２５１はカット点を検出すると、カット点検出信号を出力し、フレーム数記憶部３２をリセットする。
【０１４７】
一定時間経過検出手段２５３はフレーム数記憶部３２に記憶されているフレーム数を調べ、ある一定値を越えているか否かを検出する。一定時間経過検出手段２５３は一定時間を経過したことを検出すると、一定時間経過信号を出力し、フレーム数記憶部３２をリセットする。
【０１４８】
図１４は図１３のカット点検出手段２５２の詳細な構成を示すブロック図である。図１４において、カット点検出手段２５２は評価領域切り出し手段２５２１と、画像間引き手段２５２２と、ヒストグラム作成手段２５２３と、ヒストグラム比較手段２５２４と、ヒストグラム記憶部２５２５とから構成されている。
【０１４９】
図１５は図１３のカット点検出手段２５２で用いる色ヒストグラムを説明するための図であり、図１６は図１３のカット点検出手段２５２で用いる特徴点の比較例における差分値の推移としきい値との関係を示す図である。これら図１４〜図１６を参照してカット点検出手段２５２の動作について説明する。
【０１５０】
評価領域切り出し手段２５２１は入力されたフレーム画像からカット点検出に用いる画像領域を切り出す。画像間引き手段２５２２は評価領域切り出し手段２５２１によって切り出された画像からｎ画素（ｎ≧１）毎に抽出し、抽出した画素をまとめて間引き画像を作成する。
【０１５１】
ヒストグラム作成手段２５２３は入力されたフレーム画像の各画素の色情報を基に色ヒストグラムを作成する。色ヒストグラムは、図１５に示すように、フレーム画像の各画素の色情報であるＲＧＢ値に対してそれぞれ独立に作成したヒストグラムである。
【０１５２】
ヒストグラム記憶部２５２５は前フレームから抽出したヒストグラムを記憶している。ヒストグラム比較手段２５２４はヒストグラム作成手段２５２３によって作成された色ヒストグラムとヒストグラム記憶部２５２５に記憶されている前フレームの色ヒストグラムとを比較し、得られた特徴量からそのフレーム間にカット点が有るか否かを判定する。
【０１５３】
ここで、ヒストグラム比較手段２５２４で行われているヒストグラムの比較処理にはヒストグラムの差分値を用いる手法や相関値を用いる手法等があるが、その手法については特に限定しない。ここでは、ヒストグラムの差分値を用いる場合について説明する。
【０１５４】
ヒストグラムの差分値を用いると、図１６に示すように、フレームが変わるとその差分値が変化する。カット点であるフレーム間ではその差分値が他よりも大きくなる傾向にある。このため、図１６に示すように、しきい値を設けることで、このしきい値よりも大きい差分値になった場合にカット点、小さい場合に非カット点と分類することができ、カット点検出を行うことができる。尚、上記のカット点検出の手法は本実施例のような映像処理のみならず、画像の圧縮や映像からの要約作成等にも適用可能である。
【０１５５】
図１７は本発明の第３の実施例による映像処理装置の動作を示すフローチャートである。これら図１２と図１３と図１７とを参照して本発明の第３の実施例による映像処理装置の動作について説明する。尚、図１７のステップＳ４１，Ｓ４２，Ｓ４６，Ｓ４８，Ｓ４９，Ｓ５０〜Ｓ５２の処理動作は図１１のステップＳ３１〜３８の処理動作と同様であるため、その説明は省略する。
【０１５６】
本発明の第２の実施例では入力画像から補正量を取得すると、その補正量と前フレームから得られた補正量との変化量の取り得る範囲を制限している。これに対し、本実施例では、まず新しいフレーム画像が入力される度にフレームカウント手段２５１に１を加える（図１７ステップＳ４３）。
【０１５７】
本実施例では入力された画像にカット点を検出するか、フレームカウント手段２５１が一定値を越えると、補正量を更新すると判定する（図１７ステップＳ４４）。補正量が更新されない場合には、現状の補正量によって画像補正を行う（図１７ステップＳ５０）。
【０１５８】
もしも、補正量が更新される場合には、フレームカウント手段２５１を０にリセットし（図１７ステップＳ４５）、現フレーム画像から補正量を取得する（図１７ステップＳ４６）。この時、カット点を検出していた場合には（図１７ステップＳ４７）、ここでこの補正量を記録し（図１７ステップＳ４９）、画像補正をしていく。カット点を検出していなかった場合には（図１７ステップＳ４７）、補正量の変化量を制限し（図１７ステップＳ４８）、変化量が制限された補正量を記録し（図１７ステップＳ４９）、画像補正をしていく。
【０１５９】
図１８は図１２の補正量更新判断手段２５の動作を示すフローチャートである。これら図１２と図１３と図１８とを参照して補正量更新判断手段２５の動作について説明する。
【０１６０】
補正量更新判断手段２５は処理が開始されると、フレームカウント手段２５１を１増やし（図１８ステップＳ６１）、フレーム画像に基づいてカット点の有無を調べる（図１８ステップＳ６２）。
【０１６１】
補正量更新判断手段２５はカット点が検出されたか否かを調べ（図１８ステップＳ６３）、もし検出されればカット点検出信号を出力し（図１８ステップＳ６４）、フレームカウント手段２５１を０にし（図１８ステップＳ６７）、処理を補正量取得手段２１へ移行する。
【０１６２】
補正量更新判断手段２５はカット点が検出されなければ、フレームカウント手段２５１が一定値を超えているか否かを調べ（図１８ステップＳ６５）、もし一定値を超えていれば一定時間検出信号を出力し（図１８ステップＳ６６）、フレームカウント手段２５１を０にし（図１８ステップＳ６７）、処理を補正量取得手段２１へ移行する。補正量更新判断手段２５は一定値を超えていると判定すれば、そのまま処理を画像補正手段２３へ移行する。
【０１６３】
図１９は図１３のカット点検出手段２５２の動作を示すフローチャートである。これら図１３と図１４と図１９とを参照してカット点検出手段２５２の動作について説明する。
【０１６４】
カット点検出手段２５２は処理が開始されると、フレーム画像からカット点検出に用いる画像領域を切り出し（図１９ステップＳ７１）、切り出した画像からｎ画素（ｎ≧０）毎に抽出してまとめた間引き画像を作成する（図１９ステップＳ７２）。
【０１６５】
カット点検出手段２５２はこの間引き画像を基にヒストグラムを作成し（図１９ステップＳ７３）、このヒストグラムと前フレームのヒストグラムとを比較する（図１９ステップＳ７４）。
【０１６６】
その比較の結果、カット点検出手段２５２はカット点が検出されたか否かを調べ（図１９ステップＳ７５）、カット点が検出されればカット点検出信号を出力し（図１９ステップＳ７６）、この処理で作成したヒストグラムを記録して（図１９ステップＳ７７）、処理を終了する。
【０１６７】
本実施例では、カット点検出を用いることで、シーンが切替わったことを検出することができるので、シーンの違いに応じて適切な補正量で高画質化することができる。
【０１６８】
動画像中のシーンが切替わると、それまでの画像とは見えが異なる画像がシステムに入力される。このように、画像の見えが大きく変化すると、それぞれの画像に最適な補正量も大きく変化することがある。
【０１６９】
従来の方法では、この補正量を固定パラメータとしているため、適切な補正量で動画像に補正を施すことができない。これに対し、本発明ではシーンの切替えを検出すると、そこで改めて最適な補正量を補正量取得手段２１によって自動的に取得することができる。このため、シーンの違いを検出し、それぞれに最適な補正量で高画質化補正を施すことができる。
【０１７０】
動画像はその入力源によって表示領域が大きく異なる。ＴＶ画像やゲーム画像ではＴＶモニタ全域に画像が表示される。それに対して、ハイビジョン画像や映画等では上下に黒い帯が表示され、画像の表示領域が小さくなっている。
【０１７１】
本実施例では、この黒い帯が影響してより最適な補正量を得られない場合が出てくる。例えば、コントラスト補正は画面の暗い領域を基にして補正量を決めるのだが、画面全体を評価領域にすると、上下の黒い帯の領域を基にして補正量を決めてしまい、黒帯以外の領域の画像を最適に高画質化することができない。
【０１７２】
同様に、カット点検出もこの黒い帯びが影響して適切にカット点を検出することができない場合が出てくる。しかしながら、ここで述べている評価領域切り出し手段２１１を用いることによって、これらの問題を解決し、適切にシーンを切り分け、最適な補正量で動画像を高画質化することができる。
【０１７３】
本実施例では、カット点検出を行う際に間引き画像を作成しているため、インタレースの特性によらず、カット点を検出することができる。本実施例では、入力画像にＴＶ画像やＤＶＤ画像等の様々な画像を想定している。これらの画像には時々１フレームの中に２つの画像が重なって見えることがある。これはインタレース画像であるビデオ信号が３０フレーム／秒なのに対して、大本の動画像が２４フレーム／秒である時に発生する現象で、そのフレームレートの違いによって１フレームの中に２つの画像が重なって見えるという現象が発生している。
【０１７４】
上記のように、２つの画像が重なってしまうと、カット点では１フレームに前のシーンの画像と次のシーンの画像とが重なって見える。こうなると、カット点において、その前後のフレームの類似度が高くなり、上述したカット点の検出がうまくいかなくなることがある。そのため、画像を間引くことで、画像の重なりをなくし、カット点の検出をより良く行うことができる。
【０１７５】
図２０は本発明の第４の実施例による映像処理装置の構成を示すブロック図である。図２０において、本発明の第４の実施例による映像処理装置はデータ処理装置８に補正領域切り出し手段２７と、画像合成手段２８とを設けた以外は図１に示す本発明の第１の実施例と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第１の実施例と同様である。
【０１７６】
図２１は本発明の第４の実施例による映像処理装置の処理を示す模式図である。この図２１を参照して上記の補正領域切り出し手段２７及び画像合成手段２８について説明する。
【０１７７】
補正領域切り出し手段２７は、図２１（ａ）に示すように、部分的に動画が流れている画像から補正対象領域を切り出し、図２１（ｂ）に示すような切り出し画像と、図２１（ｅ）に示すような非補正対象領域画像とを切り分ける。図２１（ｂ）に示すような切り出し画像は、本発明の第１の実施例で説明した高画質化手法によって、図２１（ｃ）に示すように、高画質化される。
【０１７８】
画像合成手段２８は補正領域切り出し手段２７で切り出された非補正対象領域画像と補正後の画像とを合成し、図２１（ｄ）に示すような入力画像を作成する。ここで、作成された画像が画像出力手段４から出力されて処理が終了する。
【０１７９】
図２２は本発明の第４の実施例による映像処理装置の動作を示すフローチャートである。これら図２０〜図２２を参照して本発明の第４の実施例による映像処理装置の動作について説明する。尚、図２２のステップＳ８１，Ｓ８２，Ｓ８４〜Ｓ８６，Ｓ８８，Ｓ８９の処理動作は図５のステップＳ１〜Ｓ７の処理動作と同様であるため、その説明は省略する。
【０１８０】
本発明の第１の実施例では入力画像全体を補正対象領域として補正を施している。これに対し、本実施例では、まず入力画像から動画像が表示されている領域を切り出す（図２２ステップＳ８３）。
【０１８１】
本実施例ではこの切り出した画像に対して補正量を取得し（図２２ステップＳ８４）、その補正量に基づいて切り出し画像のみに補正処理を施す（図２２ステップＳ８６）。補正後の画像は補正対象領域を切り出した残りの画像である非補正対象領域と合成され（図２２ステップＳ８７）、元の画像と同様な画面となる。本実施例ではこの処理を入力画像がなくなるまで繰り返していく。
【０１８２】
本発明では、高画質化補正処理を施す際に、補正領域切り出し手段２７によって入力画像中の動画像領域を切り出すことができ、さらに切り出して高画質化補正を施した動画像を元のコンピュータ画面のような配置に戻す画像合成手段２８があるので、コンピュータ画面のように、画面の一部で動画像が流れているような画像に対して、その動画像領域のみを高画質化して表示することができる。
【０１８３】
コンピュータ画面ではメディアプレーヤ等の動画像を表示するアプリケーションを立上げると、周囲は静止画であるが、局所的に動画像が流れている画像ができる。これに対して、補正領域切り出し手段２７は静止画の領域と動画像の領域とを切り分ける。その結果、動画像の領域に最適な補正量を用いて高画質化補正を行うことができる。このようにして、補正された動画像は画像合成手段２８によって周囲の静止画領域と合成され、元のコンピュータ画面のような表示であるが、動画像は動画像に最適な補正量で高画質化されているものが得られる。
【０１８４】
図２３は本発明の第５の実施例による映像処理装置の構成を示すブロック図である。図２３において、本発明の第５の実施例による映像処理装置はデータ処理装置９において画像補正手段３０で補正された画像を補正量取得手段２９に戻すように構成した以外は図１に示す本発明の第１の実施例と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は本発明の第１の実施例と同様である。
【０１８５】
図２４は図２３の補正量取得手段２９の詳細な構成を示すブロック図である。図２４において、補正量取得手段２９は画像補正手段３０で補正された画像を評価領域切り出し手段２１１に入力するようにした以外は図２に示す補正量取得手段２１と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は補正量取得手段２１の動作と同様である。
【０１８６】
図２５は図２３の画像補正手段３０の詳細な構成例を示すブロック図である。図２５において、画像補正手段３０は補正画像バッファ２３７を設けた以外は図４に示す画像補正手段２３と同様の構成となっており、同一構成要素には同一符号を付してある。また、同一構成要素の動作は画像補正手段２３の動作と同様である。
【０１８７】
これら図２３〜図２５を参照して本発明の第５の実施例による映像処理装置の特徴的な動作について説明する。本発明の第５の実施例による映像処理装置では画像補正手段３０で補正された画像を補正量取得手段２９に戻すように構成することで、補正量取得手段２９の各算出手段で取得された補正量に基づいて画像補正手段３０の各補正手段で補正し、補正量取得手段２９の各算出手段がその補正された画像から補正量を取得するようにしている。
【０１８８】
つまり、まず彩度補正手段２３４は彩度補正量算出手段２１２１で取得された補正量に基づいて入力画像に対して補正を行い、その補正画像を補正画像バッファ２３７に一時蓄積するとともに、その補正画像を補正量取得手段２９に戻す。
【０１８９】
続いて、ホワイトバランス補正量算出手段２１２２は彩度補正手段２３４での補正画像から補正量を取得する。ホワイトバランス補正手段２３１はホワイトバランス補正量算出手段２１２２で取得された補正量に基づいて補正画像バッファ２３７に一時蓄積された彩度補正手段２３４での補正画像に対して補正を行い、その補正画像を補正画像バッファ２３７に一時蓄積するとともに、その補正画像を補正量取得手段２９に戻す。
【０１９０】
上記と同様に、コントラスト補正量算出手段２１２３はホワイトバランス補正手段２３１での補正画像から補正量を取得する。コントラスト補正手段２３２はコントラスト補正量算出手段２１２３で取得された補正量に基づいて補正画像バッファ２３７に一時蓄積されたホワイトバランス補正手段２３１での補正画像に対して補正を行い、その補正画像を補正画像バッファ２３７に一時蓄積するとともに、その補正画像を補正量取得手段２９に戻す。
【０１９１】
露光補正量算出手段２１２４はコントラスト補正手段２３２での補正画像から補正量を取得する。露光補正手段２３３は露光補正量算出手段２１２４で取得された補正量に基づいて補正画像バッファ２３７に一時蓄積されたコントラスト補正手段２３２での補正画像に対して補正を行い、その補正画像を補正画像バッファ２３７に一時蓄積するとともに、その補正画像を補正量取得手段２９に戻す。
【０１９２】
鮮鋭度補正量算出手段２１２５は露光補正手段２３３での補正画像から補正量を取得する。鮮鋭度補正手段２３５は鮮鋭度補正量算出手段２１２５で取得された補正量に基づいて補正画像バッファ２３７に一時蓄積された露光補正手段２３３での補正画像に対して補正を行い、その補正画像を補正画像バッファ２３７に一時蓄積するとともに、その補正画像を補正量取得手段２９に戻す。
【０１９３】
好ましい色補正量算出手段２１２６は鮮鋭度補正手段２３５での補正画像から補正量を取得する。好ましい色補正手段２３６は好ましい色補正量算出手段２１２６で取得された補正量に基づいて補正画像バッファ２３７に一時蓄積された鮮鋭度補正手段２３５での補正画像に対して補正を行い、その補正画像を補正画像バッファ２３７に一時蓄積するとともに、その補正画像を補正量取得手段２９に戻す。
【０１９４】
このように、補正量取得手段２９の各算出手段で取得された補正量に基づいて画像補正手段３０の各補正手段で補正し、補正量取得手段２９の各算出手段がその補正された画像から補正量を取得することによって、入力画像に対してより適正な補正を行うことができる。尚、上記の補正量算出手段及び補正手段の配置順序は図２４及び図２５に記載の順序に限らない。また、補正量算出手段及び補正手段各々のうちのいずれか１手段以上の手段が欠けても構わないし、他の手段を加えても構わない。この場合、上記の各手段の削除及び追加は補正量算出手段及び補正手段がそれぞれ組として行われる。
【０１９５】
図２６は本発明の第６の実施例による映像表示装置の構成を示すブロック図である。図２６において、本発明の第６の実施例による映像表示装置は上記の映像処理装置を用いた装置であり、画像入力手段１と画像表示機器１０とから構成されている。
【０１９６】
画像入力手段１は本発明の第１の実施例と同様である。画像表示機器１０はデータ処理装置２と、記憶装置３と、画像表示手段（モニタ）１１とから構成されている。ここで、データ処理装置２及び記憶装置３は本発明の第１の実施例と同様である。画像表示手段１１はＣＲＴ（ｃａｔｈｏｄｅ−ｒａｙ ｔｕｂｅ）モニタや液晶モニタ等である。
【０１９７】
動画像データが画像入力手段１から入力されると、本発明の第１の実施例による処理と同様に、この動画像に対してデータ処理装置２と記憶装置３とによってホワイトバランス補正、コントラスト補正、露光補正、彩度補正、鮮鋭度補正等の補正が施されて高画質化される。ここで、画像に施される補正はここにあげた５つ全部がある必要はないし、ここにあげた補正以外にも例えば好ましい色補正のような高画質化補正を加えることもできる。この補正が施されて高画質化された画像は画像表示手段１１に表示される。
【０１９８】
図２７は本発明の第７の実施例による映像処理装置の構成を示すブロック図である。図２７において、本発明の第７の実施例による映像処理装置は上記の映像処理方法のプログラムを記録した記録媒体１５を備えている。
【０１９９】
すなわち、本発明の第７の実施例による映像処理装置は動画像を入力する映像入力装置１２と、プログラムを処理するパーソナルコンピュータ（以下、パソコンとする）１３と、処理結果を表示する画像表示装置１４と、パソコン１３で実行されかつ上記の映像処理方法を実現するプログラムを記憶した記録媒体１５とから構成されている。
【０２００】
動画像が映像入力装置１２からパソコン１３に入力されると、パソコン１３は記録媒体１５に記録されている動画像の自動高画質化を行う映像処理方法のプログラムに基づいて動画像に補正を施す。補正が施された動画像は画像表示装置１４へと送られて表示される。
【０２０１】
【発明の効果】
以上説明したように本発明によれば、順次入力される映像を高画質化する際に、入力動画像を高画質化補正するために入力動画像を構成する各々のフレーム画像から補正量を取得し、その取得した補正量に基づいてフレーム画像に高画質化補正を施すことによって、入力動画像の画質に応じて適応的に補正量を変化させることができ、動画像を自動的に高画質化することができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１の実施例による映像処理装置の構成を示すブロック図である。
【図２】図１の補正量取得手段の詳細な構成を示すブロック図である。
【図３】図１の補正量取得手段の上限値と設定値とを用いた補正量の調整法を説明するための図である。
【図４】図１の画像補正手段の詳細な構成例を示すブロック図である。
【図５】本発明の第１の実施例による映像処理装置の動作を示すフローチャートである。
【図６】図１の補正量取得手段の動作を示すフローチャートである。
【図７】図１の補正量取得手段の動作を示すフローチャートである。
【図８】本発明の第２の実施例による映像処理装置の構成を示すブロック図である。
【図９】図８の補正量変化制限手段の詳細な構成を示すブロック図である。
【図１０】図８の変化量変化制限手段の処理の一例を示す図である。
【図１１】本発明の第２の実施例による映像処理装置の動作を示すフローチャートである。
【図１２】本発明の第３の実施例による映像処理装置の構成を示すブロック図である。
【図１３】図１１の補正量更新判断手段の詳細な構成を示すブロック図である。
【図１４】図１３のカット点検出手段の詳細な構成を示すブロック図である。
【図１５】図１３のカット点検出手段で用いる色ヒストグラムを説明するための図である。
【図１６】図１３のカット点検出手段で用いる特徴点の比較例における差分値の推移としきい値との関係を示す図である。
【図１７】本発明の第３の実施例による映像処理装置の動作を示すフローチャートである。
【図１８】図１２の補正量更新判断手段の動作を示すフローチャートである。
【図１９】図１３のカット点検出手段の動作を示すフローチャートである。
【図２０】本発明の第４の実施例による映像処理装置の構成を示すブロック図である。
【図２１】本発明の第４の実施例による映像処理装置の処理を示す模式図である。
【図２２】本発明の第４の実施例による映像処理装置の動作を示すフローチャートである。
【図２３】本発明の第５の実施例による映像処理装置の構成を示すブロック図である。
【図２４】図２３の補正量取得手段の詳細な構成を示すブロック図である。
【図２５】図２３の画像補正手段の詳細な構成例を示すブロック図である。
【図２６】本発明の第６の実施例による映像表示装置の構成を示すブロック図である。
【図２７】本発明の第７の実施例による映像処理装置の構成を示すブロック図である。
【図２８】従来の彩度自動高画質化補正の一例を説明するための図である。
【図２９】従来の露光自動高画質化補正の一例を説明するための図である。
【図３０】従来のホワイトバランス自動高画質化補正の一例を説明するための図である。
【図３１】従来のコントラスト自動高画質化補正の一例を説明するための図である。
【図３２】従来の鮮鋭度自動高画質化補正の一例を説明するための図である。
【図３３】従来の好ましい色補正の一例を説明するための図である。
【図３４】従来の固定パラメータを用いた高画質化手法の一例を説明するための図である。
【符号の説明】
１ 画像入力手段
２，５，６，８，９ データ処理装置
３，７ 記憶装置
４ 画像出力手段
１０ 画像表示機器
１１ 画像表示手段
１２ 映像入力装置
１３ パーソナルコンピュータ
１４ 画像表示装置
１５ 記録媒体
２１，２９ 補正量取得手段
２２ 補正量記録手段
２３，３０ 画像補正手段
２４ 補正量変化制限手段
２５ 補正量更新判断手段
２６ 変化量制限実行判断手段
２７ 補正領域切り出し手段
２８ 画像合成手段
３１ 補正量記憶部
３２ フレーム数記憶部
２１１ 評価領域切り出し手段
２１２ 補正量算出手段
２１３ 上限値調整手段
２１４ 上限値記憶部
２１５ 設定値記憶部
２３１ ホワイトバランス補正手段
２３２ コントラスト補正手段
２３３ 露光補正手段
２３４ 彩度補正手段
２３５ 鮮鋭度補正手段
２３６ 好ましい色補正手段
２３７ 補正画像バッファ
２４１ 変化量算出手段
２４２ 変化量制限手段
２４３ 最大変化幅記憶部
２５１ フレームカウント手段
２５２ カット点検出手段
２５３ 一定時間経過検出手段
２１２１ 彩度補正量取得手段
２１２２ ホワイトバランス補正量取得手段
２１２３ コントラスト補正量取得手段
２１２４ 露光補正量取得手段
２１２５ 鮮鋭度補正量取得手段
２１２６ 好ましい色補正量取得手段
２５２１ 評価領域切り出し手段
２５２２ 画像間引き手段
２５２３ ヒストグラム作成手段
２５２４ ヒストグラム比較手段
２５２５ ヒストグラム記憶部
Claims (16)
- 順次入力される動画像からフレーム画像を取得する画像入力手段と、
前記画像入力手段で取得されたフレーム画像から補正量を取得する補正量取得手段と、
前記補正量取得手段で取得された補正量に基づいてフレーム画像に、ホワイトバランス補正、コントラスト補正、彩度補正、露光補正、鮮鋭度補正、予め設定された好ましい色への補正のうちの少なくとも一つの補正を行って前記動画像をより綺麗に見えるようにする高画質化補正を施す画像補正手段と、
前記補正量取得手段で得られた現フレーム画像の補正量と記憶してある前フレーム画像の補正量との変化量を制限する補正量変化制限手段とを有し、
前記補正量取得手段は、前記動画像のホワイトバランス補正量を算出するホワイトバランス補正量算出手段と、前記動画像のコントラスト補正量を算出するコントラスト補正量算出手段と、前記動画像の彩度補正量を算出する彩度補正量算出手段と、前記動画像の露光補正量を算出する露光補正量算出手段と、前記動画像の鮮鋭度補正量を算出する鮮鋭度補正量算出手段と、前記動画像において予め設定された好ましい色への補正量を示す好ましい色補正量を算出する好ましい色補正量算出手段とのうちの少なくとも一つを含み、
前記画像補正手段は、前記補正量取得手段に対応して、前記動画像のホワイトバランス補正を行うホワイトバランス補正手段と、前記動画像のコントラスト補正を行うコントラスト補正手段と、前記動画像の彩度補正を行う彩度補正手段と、前記動画像の露光補正を行う露光補正手段と、前記動画像の鮮鋭度補正を行う鮮鋭度補正手段と、前記動画像の前記好ましい色補正を行う好ましい色補正手段とのうちの少なくとも一つを含むことを特徴とする映像処理装置。 - 前記補正量が最後に更新されたフレーム画像から現フレーム画像までのフレーム数を数えかつ当該フレーム数が一定値を越えたか否かを判定する一定時間経過検出手段と、前記一定時間経過検出手段で一定時間が経過したと判定された時に前記補正量の更新を指示する補正量更新判断手段とを含むことを特徴とする請求項１記載の映像処理装置。
- 各フレーム画像から求められる特徴量の変化に基づいて前記動画像における場面の切替わりを示すカット点を検出するカット点検出手段と、前記カット点検出手段で前記カット点が検出された時に前記補正量の更新を指示する補正量更新判断手段とを含むことを特徴とする請求項１記載の映像処理装置。
- 前記補正量が最後に更新されたフレーム画像から現フレーム画像までのフレーム数を数えかつ当該フレーム数が一定値を越えたか否かを判定する一定時間経過検出手段と、各フレーム画像から求められる特徴量の変化に基づいて前記動画像における場面の切替わりを示すカット点を検出するカット点検出手段と、前記一定時間経過検出手段による一定時間の経過検出と前記カット点検出手段による前記カット点の検出とのいずれかが行われた時に前記補正量の更新を指示する補正量更新判断手段とを含むことを特徴とする請求項１記載の映像処理装置。
- 前記画像補正手段は、前段の画像補正手段で補正された動画像に対して前記補正量取得手段で算出された補正量を基に補正を行い、前記補正量取得手段は前段の補正量取得手段に対応する画像補正手段で補正された動画像から前記補正量を算出するようにしたことを特徴とする請求項１から請求項４のいずれか記載の映像処理装置。
- 前記補正量取得手段は、前記フレーム画像から補正量を算出するための評価画像領域を切り出す評価領域切り出し手段を含むことを特徴とする請求項１から請求項５のいずれか記載の映像処理装置。
- 前記補正量取得手段は、事前に取得された補正量を上限値と比較しかつ前記上限値よりも値が大きい時に予め定められた設定値と入れ替える上限値調整手段を含むことを特徴とする請求項１から請求項５のいずれか記載の映像処理装置。
- 順次入力される動画像を構成する各々のフレーム画像から補正量を取得するステップと、
その取得した補正量に基づいて前記フレーム画像に、ホワイトバランス補正、コントラスト補正、彩度補正、露光補正、鮮鋭度補正、予め設定された好ましい色への補正のうちの少なくとも一つの補正を行って前記動画像をより綺麗に見えるようにする高画質化補正を施すステップと、
取得した現フレームの補正量と記憶している前フレームの補正量との変化量を制限するステップとを有し、
前記補正量を取得するステップは、前記動画像のホワイトバランス補正量を算出するステップと、前記動画像のコントラスト補正量を算出するステップと、前記動画像の彩度補正量を算出するステップと、前記動画像の露光補正量を算出するステップと、前記動画像の鮮鋭度補正量を算出するステップと、前記動画像において予め設定された好ましい色への補正量を示す好ましい色補正量を算出するステップとのうちの少なくとも一つを含み、
前記高画質化補正を施すステップは、前記補正量を取得するステップに対応して、前記動画像のホワイトバランス補正を行うステップと、前記動画像のコントラスト補正を行うステップと、前記動画像の彩度補正を行うステップと、前記動画像の露光補正を行うステップと、前記動画像の鮮鋭度補正を行うステップと、前記動画像の前記好ましい色補正を行うステップとのうちの少なくとも一つを含むことを特徴とする映像処理方法。 - Ｎフレーム（Ｎ≧１）毎に補正量を更新するステップを含むことを特徴とする請求項８記載の映像処理方法。
- 前記入力動画像をフレーム毎に調べて前記入力動画像における場面の切替わりを示すカット点が検出された時に補正量を更新するステップを含むことを特徴とする請求項８記載の映像処理方法。
- Ｎフレーム（Ｎ≧１）毎に補正量を更新するステップと、前記入力動画像をフレーム毎に調べて前記入力動画像における場面の切替わりを示すカット点が検出された時に補正量を更新するステップとを含むことを特徴とする請求項８記載の映像処理方法。
- 前記入力動画像から前記補正量を取得する際にｎ種類（ｎ≧１）の任意の補正量を取得するステップと、その求めた補正量を基に前記入力動画像にｎ種類（ｎ≧１）の任意の高画質化補正を施すステップとを含むことを特徴とする請求項８から請求項１１のいずれか記載の映像処理方法。
- 前記高画質化補正を施すステップにおいて、前段の高画質化補正を施すステップで補正された動画像に対して前記補正量を取得するステップで算出された補正量を基に補正を行い、
前記補正量を取得するステップにおいて、前段の補正量を取得するステップに対応する前記高画質化補正を施すステップで補正された動画像から前記補正量を算出するようにしたことを特徴とする請求項８から請求項１２のいずれか記載の映像処理方法。 - 前記フレーム画像から前記補正量を取得するために必要な評価画像領域を切り出すステップと、その切り出した評価画像から前記補正量を取得するステップとを含むことを特徴とする請求項８から請求項１３のいずれか記載の映像処理方法。
- パーソナルコンピュータの画面の如く当該画面中の一部に動画像が流れている場合に前記動画像に補正処理を施す前に当該動画像から補正対象領域を切り出すステップと、その切り出した補正対象画像に対して画像補正を施していくステップと、前記画像補正が施された補正対象領域と当該補正対象領域を切り出した時の残りの部分である非補正対象領域とを張り合わせて画像を出力するステップとを含むこと特徴とする請求項８から請求項１４のいずれか記載の映像処理方法。
- コンピュータに実行させるプログラムであって、
順次入力される動画像を構成する各々のフレーム画像から補正量を取得する処理と、
その取得した補正量に基づいて前記フレーム画像に、ホワイトバランス補正、コントラスト補正、彩度補正、露光補正、鮮鋭度補正、予め設定された好ましい色への補正のうちの少なくとも一つの補正を行って前記動画像をより綺麗に見えるようにする高画質化補正を施す処理と、
取得した現フレームの補正量と記憶している前フレームの補正量との変化量を制限する処理とを含み、
前記補正量を取得する処理は、前記動画像のホワイトバランス補正量を算出する処理と、前記動画像のコントラスト補正量を算出する処理と、前記動画像の彩度補正量を算出する処理と、前記動画像の露光補正量を算出する処理と、前記動画像の鮮鋭度補正量を算出する処理と、前記動画像において予め設定された好ましい色への補正量を示す好ましい色補正量を算出する処理とのうちの少なくとも一つを含み、
前記高画質化補正を施す処理は、前記補正量を取得する処理に対応して、前記動画像のホワイトバランス補正を行う処理と、前記動画像のコントラスト補正を行う処理と、前記動画像の彩度補正を行う処理と、前記動画像の露光補正を行う処理と、前記動画像の鮮鋭度補正を行う処理と、前記動画像の前記好ましい色補正を行う処理とのうちの少なくとも一つを含むことを特徴とするプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001053449A JP4783985B2 (ja) | 2001-02-28 | 2001-02-28 | 映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム |
| US10/083,362 US7705919B2 (en) | 2001-02-28 | 2002-02-27 | Video processing device, video display device and video processing method therefor and program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001053449A JP4783985B2 (ja) | 2001-02-28 | 2001-02-28 | 映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002262303A JP2002262303A (ja) | 2002-09-13 |
| JP4783985B2 true JP4783985B2 (ja) | 2011-09-28 |
Family
ID=18913914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001053449A Expired - Lifetime JP4783985B2 (ja) | 2001-02-28 | 2001-02-28 | 映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7705919B2 (ja) |
| JP (1) | JP4783985B2 (ja) |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002158893A (ja) * | 2000-11-22 | 2002-05-31 | Minolta Co Ltd | 画像補正装置、画像補正方法および記録媒体 |
| JP2003345315A (ja) * | 2002-05-30 | 2003-12-03 | Fujitsu Ltd | 信号処理部及び液晶表示装置 |
| US7463295B2 (en) | 2002-06-26 | 2008-12-09 | Panasonic Corporation | Characteristic correction apparatus for gamma correcting an image based on the image type |
| JP3873917B2 (ja) * | 2003-03-14 | 2007-01-31 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP3873918B2 (ja) | 2003-03-14 | 2007-01-31 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| US20040208363A1 (en) * | 2003-04-21 | 2004-10-21 | Berge Thomas G. | White balancing an image |
| US7145608B2 (en) * | 2003-07-01 | 2006-12-05 | Primax Electronics Ltd. | Method of using locality statistics characteristic to enhance gamma corrections |
| US20050001935A1 (en) | 2003-07-03 | 2005-01-06 | Shinya Kiuchi | Image processing device, image display device, and image processing method |
| JP4504094B2 (ja) * | 2003-07-03 | 2010-07-14 | パナソニック株式会社 | 画像処理装置及びそれを用いた画像表示装置、並びに画像処理方法 |
| US8159561B2 (en) * | 2003-10-10 | 2012-04-17 | Nikon Corporation | Digital camera with feature extraction device |
| US7680326B2 (en) * | 2004-03-18 | 2010-03-16 | Fujifilm Corporation | Method, system, and program for correcting the image quality of a moving image |
| JP4444709B2 (ja) | 2004-03-26 | 2010-03-31 | 富士通株式会社 | 動画像補正係数算出装置、動画像補正装置、動画像補正係数算出方法および動画像補正係数算出プログラム |
| KR100612494B1 (ko) * | 2004-06-07 | 2006-08-14 | 삼성전자주식회사 | 칼러 영상의 채도 조절 장치 및 방법 |
| JPWO2006059573A1 (ja) * | 2004-12-02 | 2008-06-05 | 松下電器産業株式会社 | 色彩調整装置及び方法 |
| JP4736487B2 (ja) | 2005-03-22 | 2011-07-27 | 株式会社日立製作所 | 映像処理装置 |
| JP4982964B2 (ja) * | 2005-04-15 | 2012-07-25 | ソニー株式会社 | 色調整回路、画像表示装置、色調整方法およびプログラム |
| JP4577174B2 (ja) * | 2005-09-29 | 2010-11-10 | 日本ビクター株式会社 | 映像信号処理装置 |
| JP2007208413A (ja) * | 2006-01-31 | 2007-08-16 | Olympus Corp | 色補正装置および色補正方法ならびに色補正プログラム |
| JP2007288555A (ja) * | 2006-04-18 | 2007-11-01 | Pioneer Electronic Corp | 画像調整装置および画像調整方法 |
| JP2007328555A (ja) * | 2006-06-08 | 2007-12-20 | Hitachi Ltd | 映像補正装置 |
| JP4692435B2 (ja) * | 2006-08-04 | 2011-06-01 | 三菱電機株式会社 | 階調改善回路及び表示システム |
| JP4854431B2 (ja) * | 2006-08-31 | 2012-01-18 | キヤノン株式会社 | 画像処理装置およびその方法 |
| US20080122857A1 (en) * | 2006-11-29 | 2008-05-29 | Chih-Lin Hsuan | Methods and devices for adjusting display characteristic of a video frame according to luminance statistics |
| JP4916341B2 (ja) * | 2007-02-28 | 2012-04-11 | オリンパス株式会社 | 画像処理装置及び画像処理プログラム |
| JP4826857B2 (ja) * | 2007-03-09 | 2011-11-30 | 日本電気株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
| ES2396318B1 (es) * | 2007-07-25 | 2013-12-16 | Tay HIOK NAM | Control de exposicion para un sistema de formacion de imagenes |
| US20090033747A1 (en) * | 2007-07-31 | 2009-02-05 | Trafficland Inc. | Method and System for Monitoring Quality of Live Video Feed From Multiple Cameras |
| US20090109341A1 (en) * | 2007-10-30 | 2009-04-30 | Qualcomm Incorporated | Detecting scene transitions in digital video sequences |
| JP5067218B2 (ja) * | 2008-03-18 | 2012-11-07 | ソニー株式会社 | 映像信号処理装置、表示装置、及び映像信号処理方法 |
| JP2010161665A (ja) * | 2009-01-08 | 2010-07-22 | Renesas Electronics Corp | 映像処理装置 |
| JP2010193186A (ja) * | 2009-02-18 | 2010-09-02 | Nikon Corp | 画像編集装置、撮像装置、および画像編集プログラム |
| US8687912B2 (en) * | 2009-03-16 | 2014-04-01 | Nikon Corporation | Adaptive overshoot control for image sharpening |
| JP5436020B2 (ja) | 2009-04-23 | 2014-03-05 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP2010278724A (ja) * | 2009-05-28 | 2010-12-09 | Olympus Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
| US8279349B2 (en) * | 2009-11-17 | 2012-10-02 | Nice Systems Ltd. | Automatic control of visual parameters in video processing |
| JP4791570B2 (ja) * | 2009-11-25 | 2011-10-12 | 富士通株式会社 | 動画像補正係数算出装置 |
| KR101769543B1 (ko) * | 2011-01-04 | 2017-08-31 | 인하대학교 산학협력단 | 선명도 및 색 채도를 이용한 영상 화질 개선을 위한 장치 및 방법 |
| US8761537B2 (en) * | 2011-05-27 | 2014-06-24 | Vixs Systems, Inc. | Adaptive edge enhancement |
| US11401045B2 (en) * | 2011-08-29 | 2022-08-02 | Aerovironment, Inc. | Camera ball turret having high bandwidth data transmission to external image processor |
| JP6060498B2 (ja) * | 2012-02-29 | 2017-01-18 | 株式会社ニコン | 補正装置 |
| JP5906817B2 (ja) * | 2012-03-02 | 2016-04-20 | 株式会社ニコン | 画像処理装置 |
| JP5942522B2 (ja) * | 2012-03-23 | 2016-06-29 | 株式会社ニコン | 撮像装置 |
| JP6255856B2 (ja) * | 2013-09-30 | 2018-01-10 | 株式会社ニコン | 撮像装置 |
| US10055824B2 (en) | 2014-03-28 | 2018-08-21 | Nec Corporation | Image correction device, image correction method and storage medium |
| JP2018206323A (ja) * | 2017-06-09 | 2018-12-27 | アイシン精機株式会社 | 画像処理装置 |
| CN109040613B (zh) * | 2017-06-09 | 2022-03-25 | 株式会社爱信 | 图像处理装置 |
| JP6455582B2 (ja) * | 2017-12-06 | 2019-01-23 | 株式会社ニコン | 撮像装置 |
| TWI660633B (zh) * | 2018-04-13 | 2019-05-21 | 瑞昱半導體股份有限公司 | 基於膚色資訊的白平衡校正方法及其影像處理裝置 |
Family Cites Families (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4802350B2 (ja) * | 1998-03-12 | 2011-10-26 | ソニー株式会社 | 表示装置 |
| US3634613A (en) * | 1970-04-13 | 1972-01-11 | Zenith Radio Corp | Automatic contrast control |
| US4823184A (en) * | 1984-04-09 | 1989-04-18 | Corporate Communications Consultants, Inc. | Color correction system and method with scene-change detection |
| US4679067A (en) * | 1984-04-09 | 1987-07-07 | Corporate Communications Consultants, Inc. | Color correction system and method with localized color sampling |
| US5247366A (en) * | 1989-08-02 | 1993-09-21 | I Sight Ltd. | Color wide dynamic range camera |
| US5289282A (en) * | 1991-05-28 | 1994-02-22 | Matsushita Electric Industrial Co., Ltd. | Video signal gradation corrector |
| US5296910A (en) * | 1992-10-05 | 1994-03-22 | University Of Akransas | Method and apparatus for particle analysis |
| US5691821A (en) * | 1992-12-04 | 1997-11-25 | Canon Kabushiki Kaisha | A/D converting apparatus and image sensing apparatus |
| JP3587308B2 (ja) * | 1993-04-26 | 2004-11-10 | 日本電信電話株式会社 | ぶれ消去映像表示方法 |
| US5719643A (en) * | 1993-08-10 | 1998-02-17 | Kokusai Denshin Denwa Kabushiki Kaisha | Scene cut frame detector and scene cut frame group detector |
| GB9322260D0 (en) * | 1993-10-28 | 1993-12-15 | Pandora Int Ltd | Digital video processor |
| US5642294A (en) * | 1993-12-17 | 1997-06-24 | Nippon Telegraph And Telephone Corporation | Method and apparatus for video cut detection |
| JPH08186727A (ja) * | 1994-12-28 | 1996-07-16 | Canon Inc | 画像処理装置及び方法 |
| US5966121A (en) * | 1995-10-12 | 1999-10-12 | Andersen Consulting Llp | Interactive hypervideo editing system and interface |
| JP2929983B2 (ja) | 1995-11-20 | 1999-08-03 | 日本電気株式会社 | カラー画像処理装置 |
| US8107015B1 (en) * | 1996-06-07 | 2012-01-31 | Virage, Incorporated | Key frame selection |
| US6097836A (en) * | 1996-07-22 | 2000-08-01 | Nec Corporation | Image processing system and its smoothing method for correcting color fog and backlight of a digital image |
| KR100275681B1 (ko) * | 1996-08-28 | 2000-12-15 | 윤종용 | 히스토그램 추출에 의한 실 색 보정(rcc) 테이블 변경장치 |
| US6351558B1 (en) * | 1996-11-13 | 2002-02-26 | Seiko Epson Corporation | Image processing system, image processing method, and medium having an image processing control program recorded thereon |
| JPH10150566A (ja) | 1996-11-18 | 1998-06-02 | Nec Corp | 明度補正装置 |
| US6456328B1 (en) * | 1996-12-18 | 2002-09-24 | Lucent Technologies Inc. | Object-oriented adaptive prefilter for low bit-rate video systems |
| JP3932631B2 (ja) * | 1997-03-21 | 2007-06-20 | 松下電器産業株式会社 | 圧縮動画像データカット検出装置 |
| GB9705999D0 (en) * | 1997-03-22 | 1997-05-07 | Philips Electronics Nv | Video signal analysis and storage |
| US5949918A (en) * | 1997-05-21 | 1999-09-07 | Sarnoff Corporation | Method and apparatus for performing image enhancement |
| US6496228B1 (en) * | 1997-06-02 | 2002-12-17 | Koninklijke Philips Electronics N.V. | Significant scene detection and frame filtering for a visual indexing system using dynamic thresholds |
| WO1999004562A1 (en) * | 1997-07-14 | 1999-01-28 | LEMLEY, Michael, S. | Ambient light-dependent video-signal processing |
| JPH11164190A (ja) * | 1997-11-28 | 1999-06-18 | Matsushita Electric Ind Co Ltd | 自動露出制御方法 |
| JPH11220739A (ja) * | 1997-11-30 | 1999-08-10 | Sony Corp | ビデオカメラ装置 |
| US6493468B1 (en) * | 1998-05-06 | 2002-12-10 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| US6643398B2 (en) * | 1998-08-05 | 2003-11-04 | Minolta Co., Ltd. | Image correction device, image correction method and computer program product in memory for image correction |
| JP4428742B2 (ja) * | 1998-10-19 | 2010-03-10 | キヤノン株式会社 | 画像処理装置及びその方法 |
| US6792043B1 (en) * | 1998-10-23 | 2004-09-14 | Telecommunications Advancement Organization Of Japan | Method, apparatus and program products for retrieving moving image |
| US6735776B1 (en) * | 1999-02-01 | 2004-05-11 | Kim R. Legate | Motion picture editing and distribution |
| JP2001126075A (ja) * | 1999-08-17 | 2001-05-11 | Fuji Photo Film Co Ltd | 画像処理方法および装置並びに記録媒体 |
| US6873658B2 (en) * | 1999-12-20 | 2005-03-29 | Texas Instruments Incorporated | Digital still camera system and method |
| AUPQ535200A0 (en) * | 2000-01-31 | 2000-02-17 | Canon Kabushiki Kaisha | Extracting key frames from a video sequence |
| JP4158332B2 (ja) * | 2000-02-03 | 2008-10-01 | コニカミノルタビジネステクノロジーズ株式会社 | カラー画像処理装置 |
| GB0007448D0 (en) * | 2000-03-29 | 2000-05-17 | Discreet Logic Inc | Gamma calibration |
| US6724933B1 (en) * | 2000-07-28 | 2004-04-20 | Microsoft Corporation | Media segmentation system and related methods |
| US6674898B2 (en) * | 2000-12-08 | 2004-01-06 | Koninklijke Philips Electronics N.V. | Apparatus and method for correcting signal and color degradation in a video using known icons from video images |
| US20020118883A1 (en) * | 2001-02-24 | 2002-08-29 | Neema Bhatt | Classifier-based enhancement of digital images |
-
2001
- 2001-02-28 JP JP2001053449A patent/JP4783985B2/ja not_active Expired - Lifetime
-
2002
- 2002-02-27 US US10/083,362 patent/US7705919B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20020145678A1 (en) | 2002-10-10 |
| JP2002262303A (ja) | 2002-09-13 |
| US7705919B2 (en) | 2010-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4783985B2 (ja) | 映像処理装置、映像表示装置及びそれに用いる映像処理方法並びにそのプログラム | |
| EP1858247B1 (en) | Image correction circuit, image correction method and image display | |
| JP4677753B2 (ja) | 動画像処理装置及び方法 | |
| JP4419933B2 (ja) | 画像処理装置、画像表示装置および画像処理方法 | |
| US7755670B2 (en) | Tone-conversion device for image, program, electronic camera, and tone-conversion method | |
| US8462169B2 (en) | Method and system of immersive generation for two-dimension still image and factor dominating method, image content analysis method and scaling parameter prediction method for generating immersive sensation | |
| JP2007094742A (ja) | 画像信号処理装置及び画像信号処理プログラム | |
| US8654260B2 (en) | Image processing apparatus and image processing method for performing correction processing on input video | |
| JPH11331596A (ja) | 画像処理方法及び装置 | |
| JP2012205244A (ja) | 画像処理装置、及びその制御方法 | |
| TWI387318B (zh) | 影像校正電路、影像校正方法以及影像顯示器 | |
| US9928582B2 (en) | Method and system for processing image content for enabling high dynamic range (UHD) output thereof and computer-readable medium comprising UHD content created using same | |
| JP2020154609A (ja) | 情報処理装置および情報処理方法 | |
| JP4758999B2 (ja) | 画像処理プログラム、画像処理方法、画像処理装置 | |
| JPWO2016017081A1 (ja) | 画像補正装置及び映像コンテンツ再生装置 | |
| US9990702B2 (en) | Method and system for processing image content for enabling high dynamic range (UHD) output thereof and computer-readable medium comprising UHD content created using same | |
| JP4930781B2 (ja) | 画像補正回路、画像補正方法および画像表示装置 | |
| WO2017159182A1 (ja) | 表示制御装置、表示装置、テレビジョン受像機、表示制御装置の制御方法、制御プログラム、及び記録媒体 | |
| JP2020109914A (ja) | 情報処理装置および情報処理方法 | |
| JP2004266757A (ja) | 画像処理装置および方法 | |
| JP5365881B2 (ja) | 画像処理装置、画像処理方法 | |
| KR101903428B1 (ko) | 연관 이미지간 컬러 보정 시스템 및 보정방법 | |
| JP3943611B2 (ja) | 画像再生方法及び画像再生装置 | |
| JP2007060169A (ja) | 画像処理装置、画像表示装置および画像処理方法 | |
| JP2008312177A (ja) | 映像階調変換装置、映像階調変換方法、映像階調変換プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080111 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100727 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100927 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110425 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110425 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20110511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110614 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110627 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4783985 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140722 Year of fee payment: 3 |
|
| EXPY | Cancellation because of completion of term |