JP5084615B2 - Image display device - Google Patents
Image display device Download PDFInfo
- Publication number
- JP5084615B2 JP5084615B2 JP2008145529A JP2008145529A JP5084615B2 JP 5084615 B2 JP5084615 B2 JP 5084615B2 JP 2008145529 A JP2008145529 A JP 2008145529A JP 2008145529 A JP2008145529 A JP 2008145529A JP 5084615 B2 JP5084615 B2 JP 5084615B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- value
- unit
- hue
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Electric Information Into Light Information (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、テレビジョン受像機等の画像表示装置に関する。 The present invention relates to an image display device such as a television receiver.
従来の画質制御装置として例えば特許文献1に開示されているテレビジョン受像機がある。特許文献1に記載のテレビジョン受像機では、受信中の番組名、番組のジャンル、放送チャンネル、放送時間帯、EPG(Electronic Program Guide)データ、データ放送で伝送される番組情報、文字多重放送で電送される番組目次情報のうち、何れかの情報から番組の種別を取得し、取得した種別に対応した視聴者所望の最適な画質設定状態に画質を自動的に復元することができる。
As a conventional image quality control device, for example, there is a television receiver disclosed in
また、マルチメディアデータ中の映像に着目し、内容ジャンルを判定し出力する方法が例えば特許文献2に開示されている。特許文献2に記載の内容ジャンル判定方法では、画面が切り替わった時間間隔の履歴からマルチメディアデータの属する内容種を推定している。また、予め内容種が既知のマルチメディアデータと、入力された映像を含むマルチメディアデータを比較し、入力されたマルチメディアデータの属する内容種を推定している。
Further, for example,
また、放送される映像信号の特徴判断を、放送局から送られてくる情報だけでなく、輝度信号におけるヒストグラムから判断し、映像をジャンル別に判定することができる画像表示装置が例えば特許文献3に開示されている。
Further, for example,
特許文献1において、番組情報あるいはEPGデータは、CS放送のようなデジタル放送の場合に、映像情報と同時に送られてくるものである。すなわち、ジャンル情報を含むこれらのコンテンツ情報は、従来のアナログ放送や、DVDなどの録画された映像には含まれていない情報であるという制限があった。
In
また、送られてくる映像のジャンルを元にして画質設定を行った場合、不適切な設定が行われることが考えられる。例えば、スポーツをテーマにした映画を受信した場合、放送局から送られてくるEPGデータによるとジャンルは映画であると判断される。しかし、本来であれば、最適な画質設定状態は映像情報から推定すべきであり、本例においては、スポーツを鮮やかに見せるための最適な画質設定が実現できないという問題点があった。 In addition, when the image quality setting is performed based on the genre of the transmitted video, it is possible that an inappropriate setting is performed. For example, when a movie with the theme of sports is received, the genre is determined to be a movie according to EPG data sent from a broadcasting station. However, originally, the optimum image quality setting state should be estimated from the video information. In this example, there is a problem that the optimum image quality setting for making sports look vivid cannot be realized.
特許文献2において、内容ジャンルを判定するためには、特定の時間間隔の履歴、あるいは予め内容種が既知であるマルチメディアデータが保持されている必要があり、内容種が既知であるマルチメディアデータと、新しく入力されたマルチメディアデータを比較することにより、新しく入力されたマルチメディアデータの内容種を判断している。このため、マルチメディアデータが保持されていない初見データ、あるいは内容種が既知ではないデータに関しては内容ジャンルを判定することができないという問題点があった。
In
特許文献1あるいは特許文献2の上記した問題点を考慮した場合、特許文献3のように、入力された映像信号の輝度ヒストグラムにより映像の特徴量を抽出し、映像信号の特徴に適応した画像処理を行うという手法が考えられる。しかし、この手法においても、1フレーム分の画像信号から得られる特徴量は同一ジャンルであっても定まりにくく、画像処理を行った場合、不具合が生じることがあるという問題点があった。また、輝度ヒストグラムにより映像の特徴量算出は可能であるが、より詳細な特徴を算出するためには輝度ヒストグラムでは不十分であるという問題点があった。
In consideration of the above-mentioned problems in
この発明は上記問題点を解決するためになされたもので、リアルタイム性を維持しながら、画質の変化を抑えた画像補正を行うことができる画像処理装置を得ることを目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to obtain an image processing apparatus capable of performing image correction while suppressing a change in image quality while maintaining real-time characteristics.
この発明に係る請求項1記載の画像表示装置は、画像信号を受け、1フレーム分の前記画像信号から得られる色味情報に対し、色空間内で分割された複数の分割領域における解析処理を行って色味情報値を得る色味情報解析部を備え、前記色味情報は、彩度情報及び色相情報のうち少なくとも一つを含み、前記色味情報値に基づき、前記画像信号に対するコンテンツの特徴判定を行い決定コンテンツ特徴判定値を求めるコンテンツ特徴判定部と、前記決定コンテンツ特徴判定値に基づいて、1フレーム分の画像信号に対して画像補正を行う画像補正部とをさらに備え、前記コンテンツ特徴判定部は、前記色味情報値に基づき、1フレーム分の前記画像信号に対するコンテンツの特徴判定を行い仮コンテンツ特徴判定値を得る色味特徴判定部と、前記仮コンテンツ特徴判定値を所定フレーム分相当量解析して前記決定コンテンツ特徴判定値を求める複数フレーム解析部と、判断速度情報値が可変設定可能な判断速度調整部とを含み、前記複数フレーム解析部による前記決定コンテンツ特徴判定値を求めるための判定速度は前記判断速度情報値に基づき決定され、前記判断速度調整部は、前記仮コンテンツ特徴判定値及び前記決定コンテンツ特徴判定値のうち、少なくとも一方の判定値に基づいて前記判断速度情報値を可変設定する。 According to a first aspect of the present invention, there is provided an image display device which receives an image signal and performs analysis processing in a plurality of divided regions divided in a color space on the color information obtained from the image signal for one frame. A tint information analysis unit that obtains a tint information value, the tint information including at least one of saturation information and hue information, and based on the tint information value, content information for the image signal a content feature judging unit for determining the decision content feature judging value after feature judging, based on the determination content feature judging value, further comprising an image correction unit that performs image correction on the image signals for one frame, the content A feature determination unit configured to perform feature determination of content on the image signal for one frame based on the color information value and obtain a temporary content feature determination value; A plurality of frame analysis units including a plurality of frame analysis units for obtaining the determined content feature determination values by analyzing the provisional content feature determination values for a predetermined amount of frames, and a determination speed adjustment unit capable of variably setting a determination speed information value The determination speed for obtaining the determined content feature determination value by the unit is determined based on the determination speed information value, and the determination speed adjustment unit is at least one of the temporary content feature determination value and the determined content feature determination value. The determination speed information value is variably set based on the determination value.
この発明に係る請求項4記載の画像表示装置は、画像信号を受け、1フレーム分の前記画像信号から得られる色味情報に対し、色空間内で分割された複数の分割領域における解析処理を行って色味情報値を得る色味情報解析部を備え、前記色味情報は、彩度情報、色相情報及び明度情報のうち少なくとも一つを含み、前記色味情報値に基づき、前記画像信号に対するコンテンツの特徴判定を行い決定コンテンツ特徴判定値を求めるコンテンツ特徴判定部と、前記決定コンテンツ特徴判定値に基づいて、1フレーム分の画像信号に対して画像補正を行う画像補正部とをさらに備え、前記複数の分割領域は互いに分割内容が異なる第1及び第2の複数の分割領域を少なくとも含み、前記色味情報解析部は、1フレーム分の前記画像信号から得ら前記色味情報を検出する色味情報検出部と、前記第1の複数の分割領域における前記色味情報に対する分割統計処理を行って第1の統計結果を出力する分割統計処理部とを含み、前記分割統計処理部は分割内容指示情報を受け、該分割内容指示情報が詳細分割を指示するとき、前記第2の複数の分割領域における前記色味情報に対する分割統計処理を行って第2の統計結果をさらに出力し、前記分割統計処理部により得られる前記第1及び第2の統計結果のうち少なくとも一つに基づき、前記色味情報値を算出するとともに、前記第1の統計結果に基づき前記分割内容指示情報を出力する分割領域解析処理部をさらに含み、前記分割領域解析処理部は、前記第1の統計結果に基づき得られる前記色味情報値が所定の要件を満足する場合、前記詳細分割を指示する分割内容指示情報を出力する。 According to a fourth aspect of the present invention, there is provided an image display device that receives an image signal and performs analysis processing in a plurality of divided regions divided in a color space on the color information obtained from the image signal for one frame. A hue information analysis unit that obtains a hue information value, and the hue information includes at least one of saturation information, hue information, and lightness information, and based on the hue information value, the image signal A content feature determination unit that determines a feature of the content and obtains a determined content feature determination value; and an image correction unit that performs image correction on an image signal for one frame based on the determined content feature determination value. The plurality of divided areas include at least a first and a second plurality of divided areas having different division contents, and the color information analyzing unit obtains a previous frame from the image signal for one frame. A color information detecting unit that detects color information; and a divided statistical processing unit that performs a divided statistical process on the color information in the first plurality of divided regions and outputs a first statistical result, The division statistical processing unit receives the division content instruction information, and when the division content instruction information instructs detailed division, performs a division statistical process on the color information in the second plurality of division areas and performs a second statistical result. Is further output, the color information value is calculated based on at least one of the first and second statistical results obtained by the divided statistical processing unit, and the divided based on the first statistical result And further including a divided region analysis processing unit that outputs content instruction information, wherein the divided region analysis processing unit, when the color information value obtained based on the first statistical result satisfies a predetermined requirement, And outputs the divided content instruction information for instructing the division.
請求項1記載の画像表示装置おけるコンテンツ特徴判定部は、色味情報値に基づき決定コンテンツ特徴判定値を求めている。色味情報値は、色味情報解析部より、彩度情報及び色相情報のうち少なくとも一つを含む色味情報に対し、色空間内で分割された複数の分割領域における解析処理を行って得られた値である。
The content feature determination unit in the image display device according to
したがって、請求項1記載の画像表示装置は、画像信号より得られるコンテンツの特性を正確に反映した決定コンテンツ特徴判定値に基づいて、画像補正部により1フレーム分の画像信号に対し画像補正を行うことにより、リアルタイム性を維持しながら、コンテンツの特徴あるいは特徴の変化過程に順応させて画質の劣化を抑えた精度の良い画像補正を行うことができる。
Therefore, the image display device according to
この発明における請求項4記載の画像表示装置において、色味情報解析部の分割統計処理部は、第1の複数の分割領域における色味情報に対する分割統計処理を行って第1の統計結果を得ている。
In the image display device according to
一方、分割領域解析処理部は、第1の統計結果に基づき得られた色味情報値が所定の要件を満足する場合、詳細分割を指示する分割内容指示情報を出力する。分割統計処理部は、分割内容指示情報が詳細分割を指示すると、第2の複数の分割領域における色味情報に対する分割統計処理を行ってさらに第2の統計結果を得ている。 On the other hand, when the color information value obtained based on the first statistical result satisfies a predetermined requirement, the divided region analysis processing unit outputs divided content instruction information for instructing detailed division. When the division content instruction information indicates detailed division, the division statistical processing unit performs division statistical processing on the color information in the second plurality of divided areas and further obtains a second statistical result.
したがって、請求項4記載の画像表示装置は、第1の統計結果に基づく色味情報値のみによる比較的高速な画像補正処理と、少なくとも第2の統計結果に基づく色味情報値による比較的精度の高い画像補正処理とを画像信号内容に基づき選択的に行うことができるため、画像信号の状況に応じてより適切な画像補正が行える。
Therefore, the image display device according to
<実施の形態1>
図1はこの発明の実施の形態1である画像表示装置の構成を示すブロック図である。同図に示すように、実施の形態1に係る画像表示装置は、入力端子1、受信部2、画像処理装置7、及び表示部8から構成される。
<
FIG. 1 is a block diagram showing a configuration of an image display apparatus according to
入力端子1には、テレビやコンピューター等で用いられている所定の形式の画像信号Daが入力される。受信部2は画像信号Daを、入力端子1を介して受信し、画像信号Daを画像処理装置7で処理可能な形式に変換して画像信号Dbとして出力する。例えば受信部2は、画像信号Daを、色相情報H、彩度情報S、明度情報V等、いくつかのデジタル形式の画像信号に変換した後、画像信号Dbとして出力する。上述した動作を行う受信部2は、画像信号Daがアナログ形式の信号の場合にはA/D変換器などで構成され、入力された画像信号Daがデジタル形式の信号の場合にはその形式に適合した所定の復調器等で構成される。
The
画像処理装置7は、色味情報解析部9及びコンテンツ特徴判定部10及び画像補正部6から構成され、画像補正部6は、補正制御部4及び補正実行部5を有している。受信部2から得られる画像信号Dbは、画像処理装置7の色味情報解析部9及び補正実行部5にそれぞれ入力される。
The
色味情報解析部9は、画像信号Dbに含まれる色相情報Hから、各フレームにおける色味情報値Ciを検出して、コンテンツ特徴判定部10に出力する。
The hue
コンテンツ特徴判定部10は、色味情報値Ciをもとに1フレーム分の画像信号Dbに対する映像コンテンツの特徴を判定し、さらに、複数フレーム分の映像コンテンツを解析した後、その解析結果である、複数コンテンツ特徴判定値Fi(決定コンテンツ特徴判定値Fi)を補正制御部4に出力する。
The content
補正制御部4は、補正実行部5が画像信号Dbに対する画像補正を行う際に使用する補正パラメータPiを複数コンテンツ特徴情報Fiに基づいて算出し、補正実行部5に出力する。
The
一方、補正実行部5は、入力された補正パラメータPiを用いて、1フレーム分の画像信号Dbに対して階調補正等の画像補正処理を行い、画像補正後の信号を画像信号Dcとして表示部8に出力する。表示部8は、入力された画像信号Dcに基づいて画像を表示する。表示部8は、例えば、液晶ディスプレイ、DMD(Digital Micromirror Device)ディスプレイ、EL(ElectoroLuminescence)ディスプレイ、プラズマディスプレイ、CRT(Cathode-Ray Tube)ディスプレイであって、反射型、透過型、あるいは自発光デバイスなどのあらゆる表示手段を適応できる。
On the other hand, the
図2は、図1で示した色味情報解析部9の一内部構成例の詳細を示すブロック図である。図2に示されるように、実施の形態1の画像表示装置における色味情報解析部9は、色相検出部90c、色空間領域分割部91c、及び色相情報解析部92cを備えている。
FIG. 2 is a block diagram showing details of one internal configuration example of the color
図2で示した例では、受信部2から得られ、色相情報H、彩度情報S、明度情報Vを含む画像信号Dbは、色相検出部90cに入力される。
In the example illustrated in FIG. 2, the image signal Db obtained from the receiving
色相検出部90cは、1フレーム分の画像信号Dbから色相情報Hを抽出して、色空間領域分割部91cへ出力する。
The
色空間領域分割部91cは、1フレーム分の画像信号Dbにおける色相情報Hに基づき、色空間を複数の分割(色)領域に分割し、分割領域における分割統計処理を行い、領域分割情報JDd(H,D(度数))を検出して色相情報解析部92cに出力する。実施の形態1では色空間の例として、HSV色空間を利用する。
The color space
色相情報解析部92cは、色空間領域分割部91cで生成された領域分割情報JDdに基づき、1フレーム分の画像信号Dbにおける色相信号特徴値Chを算出して、色味情報値Ciとし、この色味情報値Ciをコンテンツ特徴判定部10へ出力する。
The hue
図2で示した色味情報解析部9の構成例において、入力映像信号Dbがインターレス信号の場合は、2フィールド分を1フレーム分の画像信号として、色相検出部90cにより変換を行った後、色空間領域分割部91cより領域分割情報JDdを求める。このように色相検出部90cにおいて、領域分割情報JDdを求めるための前処理を行っても良い。
In the configuration example of the color
色相検出部90cが行う他の前処理の例として、映像信号DbがRGB信号等の、色相情報H、彩度情報S、及び明度情報Vと異なった表色系で示されている際、既知の計算式により色相情報H、彩度情報S、及び明度情報Vへと変換することも考えられる。
Another example of pre-processing performed by the
図3は、色空間領域分割部91cが生成する。領域分割情報JDdの一例を示した説明図である。図3で示した例では、領域分割情報JDdとして、色相情報Hに関する色相ヒストグラムを生成している。以下、色空間領域分割部91cにより生成された画像信号Dbにおける色相情報Hのヒストグラムを規定した情報を色相ヒストグラムDbhと呼ぶ。
FIG. 3 is generated by the color space
図3で示した例において、図中の横軸は色相角を示し、縦軸は度数、つまり1フレーム分の画像信号Dbの色相角に対する画素数を示している。なお以下の説明では、画像信号Dbの色相信号は、 “0”から“360”までの値を採っているが、“0”から“256”や“0”から“1”などのように、ほかの尺度を利用して表してもよい。なお、本例では0度は赤色を表し、続いて60度の黄色、120度の緑色、180度の水色、240度の青色、300度色の紫となり、360度で再び赤色を表している。 In the example shown in FIG. 3, the horizontal axis in the figure indicates the hue angle, and the vertical axis indicates the frequency, that is, the number of pixels with respect to the hue angle of the image signal Db for one frame. In the following description, the hue signal of the image signal Db takes a value from “0” to “360”, but “0” to “256”, “0” to “1”, etc. Other scales may be used. In this example, 0 degrees represents red, followed by 60 degrees yellow, 120 degrees green, 180 degrees light blue, 240 degrees blue, 300 degrees purple, and again represents red at 360 degrees. .
本実施の形態1に係る、色空間領域分割部91cが生成する色相ヒストグラムDbhは、例えば360の色相角を60度ごとに6個の領域に分割し、当該6個の領域を色相ヒストグラムの色相角としている。そして、各色相角での中心値付近の値、本例では、当該中心値に最も近くそれよりも大きい整数値を当該色相角の代表値としている。例えば、色相角“0”から“60”までで構成される階級では、中心値は“30”となるため、当該色相角の代表値は“30”となる。図3の横軸の数字は各色相角の代表値を示している。
The hue histogram Dbh generated by the color space
なお、色相角の中心値が整数であれば、当該中心値を当該色相角の代表値としても良い。また、色相角の中心値が整数でなく小数の場合であっても、色相角の代表値として当該色相角の中心値を採用しても良い。色相角の中心値が小数の場合には、色相角の代表値として当該色相角の中心値付近の整数を採用することによって、演算量を低減できる。 If the central value of the hue angle is an integer, the central value may be used as the representative value of the hue angle. Even if the center value of the hue angle is not an integer but a decimal number, the center value of the hue angle may be adopted as a representative value of the hue angle. When the central value of the hue angle is a decimal, the amount of calculation can be reduced by adopting an integer near the central value of the hue angle as a representative value of the hue angle.
さらに演算量を低減する必要があるときには、各色相角の代表値として、便宜的に簡単な数字を割り当ててもかまわない。すなわち、本例の場合には代表値“30”の色相角を、代表値“1”として表し、続いて“2”、“3”・・・のように表すことも可能である。 When it is necessary to further reduce the amount of calculation, a simple number may be assigned as a representative value of each hue angle for convenience. That is, in the case of this example, the hue angle of the representative value “30” can be expressed as a representative value “1”, and subsequently expressed as “2”, “3”.
このように、実施の形態1に係る色空間領域分割部91cでは、連続する色相角の値からなる領域を一つの階級としているため、図3に示される色相ヒストグラムの各度数は、0〜60度までの色相角の信号の総和となる。例えば、横軸の数値30に示された色相ヒストグラムDbh(30)の度数は、1フレーム分の輝度信号Dbに含まれる、色相角0度から色相角60度までの信号の総和に相当する。以下、代表値が“i”である色相角の色相をCbh(i),度数を、Dbh(i)と呼ぶ。すなわち図3の例では、0〜60度までの色相角の信号の総和を代表値“30”として表しているため、当該領域の色相をCbh(30),度数をDbh(30)と表す。
As described above, in the color space
したがって、色空間領域分割部91cは、色相ヒストグラムDbh(30)、色相ヒストグラムDbh(90)、色相ヒストグラムDbh(150)、色相ヒストグラムDbh(210)、色相ヒストグラムDbh(270)及び色相ヒストグラムDbh(330)からなる6種類の色相ヒストグラムDbhに分割している。すなわち、色空間領域分割部91cは画像信号Dbより得られる色相情報Hに基づき、6つの分割領域における色相ヒストグラムDbh(30)〜Dbh(330)を得ている。
Therefore, the color space
図3で示した例において、色相ヒストグラムDbhを作成するにあたり、色相情報Hを利用しているが、色相情報H以外の、彩度情報S、明度情報Vを利用してヒストグラムを作成してもかまわない。また、色相情報H、彩度情報S、及び明度情報Vにおける少なくとも二つの組み合わせにより色空間における複数の分割領域に分割して、当該複数の分割領域におけるヒストグラムを作成してもかまわない。 In the example shown in FIG. 3, the hue information H is used to create the hue histogram Dbh. However, even if the histogram is created using the saturation information S and the brightness information V other than the hue information H, It doesn't matter. Further, it is possible to divide into a plurality of divided areas in the color space by combining at least two of the hue information H, the saturation information S, and the lightness information V, and create histograms in the divided areas.
なお、実施の形態1においては色相情報Hに関するヒストグラムを作成することで、色相情報Hを所定の閾値により複数の領域へと分割しているが、ヒストグラムを作成する以外の手法により領域を分割することも考えられる。
In
また、領域の分割に関しては、繰り返し分割を行ってもよい。例えば、色相情報Hに関するヒストグラムを作成した後、結果如何により、色相情報H、彩度情報S、明度情報Vに関して、ヒストグラムを作成することで再度領域の分割を行い、より詳細な解析を行うことができる。 In addition, regarding the division of the region, repeated division may be performed. For example, after creating a histogram related to the hue information H, depending on the result, for the hue information H, the saturation information S, and the lightness information V, the region is divided again to perform more detailed analysis. Can do.
なお、図3の色相ヒストグラムとは異なり、色相角ごとに角度を計数して色相ヒストグラムを生成してもよい。つまり、各色相角を一つの色相角で構成するようにしても良い。この場合には、各色相角の代表値は当該色相角を構成する色相角の値そのものとなる。 Unlike the hue histogram of FIG. 3, the hue histogram may be generated by counting the angle for each hue angle. That is, each hue angle may be constituted by one hue angle. In this case, the representative value of each hue angle is the value of the hue angle that constitutes the hue angle.
また、色相角を分割する場合には、その分割数は6以外に設定しても良く、色相ヒストグラムの分割数や範囲を自由に設定しても良い。例えば、色相角“0”から“60”と“300”から“360”の範囲を10度刻み、その他を30度刻みとすることもできる。あるいは、必要のない色相角の度数を省略してもかまわない。このように当該分割数を変化させ、必要のない色相角の度数を省くことにより、色空間領域分割部91cでの演算量や、色相ヒストグラムの精度を調節することができる。分割数や範囲は、検出したいコンテンツの特徴やコンテンツのジャンルに合わせて選択することが考えられる。
Further, when the hue angle is divided, the number of divisions may be set to other than 6, and the division number and range of the hue histogram may be set freely. For example, the hue angles “0” to “60” and “300” to “360” can be set in increments of 10 degrees, and the others can be set in increments of 30 degrees. Alternatively, the frequency of unnecessary hue angles may be omitted. In this way, by changing the number of divisions and omitting the frequency of unnecessary hue angles, the calculation amount in the color space
本例では色相ヒストグラムの度数は1フレーム分の画像信号Dbの色相角に対する画素数で表しているが、累積画素数として表示してもよい。また、画素数ではなく、全体の画素数に占める割合として、10%等の表示を行ってもよい。 In this example, the frequency of the hue histogram is represented by the number of pixels with respect to the hue angle of the image signal Db for one frame, but may be displayed as the cumulative number of pixels. Further, 10% or the like may be displayed as a ratio of the total number of pixels, not the number of pixels.
図4は色相情報解析部92cによる色相信号特徴値Chの生成例を示す説明図である。同図に示すように、色相情報解析部92cは色相ヒストグラムDbhの各度数Dbh(i)が、所定の色相判定閾値TDbh2より小さい値であるか、閾値TDbh2とそれより大きく所定の閾値である閾値TDbh1(>TDbh2)以下の値であるか、色相判定閾値TDbh1より大きい値であるかを判定し、3つの分類情報値、小(低)・中・大(高)のうち、いずれか一を規定した色相判定情報値Dbhc(i)を算出する。
FIG. 4 is an explanatory diagram illustrating an example of generation of the hue signal feature value Ch by the hue
図4に表す例では、色相ヒストグラムDbh(30)は、閾値TDbh1より大きい値であるため、色相判定情報値Dbhc(30)は「大(高)」を指示する値が入力される。また、色相ヒストグラムDbh(90)は、閾値TDbh2と閾値TDbh1との間の値であるため、色相判定情報値Dbhc(90)は「中」を指示する値が入力される。色相ヒストグラムDbh(150),Dbh(210),Dbh(270)及びDbh(330)は色相判定閾値TDbh2より小さい値であるため、色相判定情報値Dbhc(150),Dbhc(210),Dbhc(270),及びDbhc(330)は「小(低)」を指示する値が入力される。 In the example shown in FIG. 4, the hue histogram Dbh (30) is a value larger than the threshold value TDbh1, and therefore, a value indicating “large (high)” is input as the hue determination information value Dbhc (30). Further, since the hue histogram Dbh (90) is a value between the threshold value TDbh2 and the threshold value TDbh1, a value indicating “medium” is input as the hue determination information value Dbhc (90). Since the hue histograms Dbh (150), Dbh (210), Dbh (270), and Dbh (330) are smaller than the hue determination threshold TDbh2, the hue determination information values Dbhc (150), Dbhc (210), Dbhc (270) ) And Dbhc (330) are input with values indicating "small (low)".
なお、本例では度数Dbh(i)比較用の閾値は二種類(TDbh2,TDbh1)であり大中小の3通りに分類したが、3通り以外に分類してもよい。すなわち閾値は二種類より多くても、少なくてもかまわない。閾値を多く調整することにより、色相判定情報値Dbhcに関し、より詳細な分類が可能になる。また、閾値の数を少なくすることにより、処理量を低減することができる。 In this example, the threshold value for frequency Dbh (i) comparison is two types (TDbh2, TDbh1), which are classified into three types of large, medium, and small. That is, the threshold value may be more or less than two types. By adjusting a large number of threshold values, it is possible to classify the hue determination information value Dbhc in more detail. Further, the processing amount can be reduced by reducing the number of thresholds.
また、色相ヒストグラムDbh(i)毎に閾値の値を変えてもかまわない。例えば、色相ヒストグラムDbh(30)に関しては、所定の閾値TDbh1のみにより判断し、色相ヒストグラムDbh(90)は、所定の閾値TDbh1及び、別の所定の閾値TDbh2、TDbh3により色相信号特徴値Chを求めるという手法も取ることができる。このように、色相ヒストグラムDbh(i)毎に閾値の値を変えることにより、詳細に解析を行いたい色相を重点的に解析し、詳細な解析が不要な色相の解析精度を下げる等の効果を得ることができる。 Further, the threshold value may be changed for each hue histogram Dbh (i). For example, the hue histogram Dbh (30) is determined based only on the predetermined threshold value TDbh1, and the hue histogram Dbh (90) obtains the hue signal feature value Ch based on the predetermined threshold value TDbh1 and other predetermined threshold values TDbh2 and TDbh3. You can also take the method. In this way, by changing the threshold value for each hue histogram Dbh (i), it is possible to focus on the hue to be analyzed in detail, and to reduce the analysis accuracy of hues that do not require detailed analysis. Can be obtained.
色相情報解析部92cは、色相角領域Cbh(i)(色相ヒストグラムDbh(i))における色相判定情報値Dbhc(i)を規定した色相信号特徴値Chを色味情報値Ciとしてコンテンツ特徴判定部10に出力する。
The hue
すなわち図4に表す例では、Dbhc(30)=「大」、Dbhc(90)=「中」、Dbhc(150)=Dbhc(210)=Dbhc(270)=Dbhc(330)=「小」を規定した色相信号特徴値Chが、色味情報値Ciとしてコンテンツ特徴判定部10に出力される。
That is, in the example shown in FIG. 4, Dbhc (30) = “large”, Dbhc (90) = “medium”, Dbhc (150) = Dbhc (210) = Dbhc (270) = Dbhc (330) = “small”. The specified hue signal feature value Ch is output to the content
したがって、色空間領域分割部91cは色相情報Hを含む色味情報に対し6つの分割領域(色相ヒストグラムDbh(30)等)における統計分類処理を行い統計結果である色相信号特徴値Chを得るため、色相情報Hを詳細に分析した精度の良い色相信号特徴値Chを得ることができる。
Therefore, the color space
なお、色相信号特徴値Chを出力するにあたって、色相角領域Cbh(i)及び色相判定情報値Dbhc(i)のうち、いずれか一方を規定することにより、色相角領域Cbh(i)のみ、あるいは、色相判定情報値Dbhc(i)のみを規定する色相信号特徴値Chを出力してもかまわない。 In outputting the hue signal feature value Ch, by specifying one of the hue angle region Cbh (i) and the hue determination information value Dbhc (i), only the hue angle region Cbh (i) or The hue signal feature value Ch that defines only the hue determination information value Dbhc (i) may be output.
たとえば、色相判定情報値Dbhc(i)=「大」である色相角領域Cbh(i)を規定する色相信号特徴値Chを出力する方法が考えられる。図4の例に戻ると、Dbhc(i)=「大」を満足する色相角領域Cbh(i)である、色相角領域Cbh(30)を規定する色相信号特徴値Chが色味情報値Ciとしてコンテンツ特徴判定部10に出力される。
For example, a method of outputting a hue signal feature value Ch that defines a hue angle region Cbh (i) where the hue determination information value Dbhc (i) = “large” is conceivable. Returning to the example of FIG. 4, the hue signal feature value Ch defining the hue angle region Cbh (30), which is the hue angle region Cbh (i) satisfying Dbhc (i) = “large”, is the hue information value Ci. Is output to the content
また、他の例として、色相角領域Cbh(30)における色相判定情報値Dbhc(30)を規定する色相信号特徴値Chを出力する方法が考えられる。 As another example, a method of outputting a hue signal feature value Ch that defines the hue determination information value Dbhc (30) in the hue angle region Cbh (30) is conceivable.
図4の例に戻ると、色相角領域Cbh(30)に対応する色相判定情報値Dbhc(30)=「大」を規定した色相信号特徴値Chが色味情報値Ciとしてコンテンツ特徴判定部10に出力される。
Returning to the example of FIG. 4, the content
図5はコンテンツ特徴判定部10の詳細な構成を示すブロック図の一例である。同図に示すように、実施の形態1の画像表示装置におけるコンテンツ特徴判定部10は、色相特徴判定部101、複数フレーム積算部102、及び判断速度調整部103とを備えている。
FIG. 5 is an example of a block diagram illustrating a detailed configuration of the content
色相特徴判定部101は、色味情報解析部9から出力される色味情報値Ci(色相信号特徴値Ch)が規定する組み合わせ内容に基づき、1フレーム分の画像信号Dbにおけるコンテンツ特徴判定値Si(仮コンテンツ特徴判定値)を判定して、複数フレーム積算部102及び判断速度調整部103にそれぞれ出力する。
The hue
図6は色相特徴判定部101によるコンテンツ特徴判定値Siの判定内容を表形式で示す説明図である。同図にした例では、色味情報値Ci(色相信号特徴値Ch)が規定する、6種類の値Dbhc(30),Dbhc(90),Dbhc(150),Dbhc(210),Dbhc(270)及びDbhc(330)の値(大・中・小のいずれか)による729通り(3の6乗)の組み合わせにより、特徴判定値S1〜S729からなる729種類のコンテンツ特徴判定値Siが色相特徴判定部101により判定される。
FIG. 6 is an explanatory diagram showing the determination content of the content feature determination value Si by the hue
なお、色相特徴判定部101によるコンテンツ特徴判定の組み合わせ内容は、観視者の好みや映像データベースを元に任意に作成することが出来る。図6の例では、色相判定情報値Dbhc(30)、Dbhc(90)、Dbhc(150)、Dbhc(210)、及びDbhc(270)が「小」であり、色相判定情報値Dbhc(330)が「大」であると、色相特徴判定部101より判定種別である特徴判定値S3が選択される。そして、特徴判定値S3を指示するコンテンツ特徴判定値Siが色相特徴判定部101より複数フレーム積算部102及び判断速度調整部103にそれぞれ出力される。
It should be noted that the content feature determination combination by the hue
また、色相特徴判定部101は、色味情報値Ci(色相信号特徴値Ch)が規定する6種類の組合せ内容のうちの一部の情報に基づき判定してもよい。例えば色相判定情報値Dbhc(30)のみに基づき色相特徴を判定する。色相判定情報値Dbhc(30),Dbhc(90)の組み合わせに基づき色相特徴を判定する等の判定内容を選択することが可能である。このように、色味情報値Ci(色相信号特徴値Ch)で規定される情報のうち、色相特徴判定部101による色相特徴判定処理に用いる情報量を減らすことによって、色相特徴判定速度を速め、必要なメモリー容量を減らすことができる。
Further, the hue
図5で示したコンテンツ特徴判定部10は一構成例であり、コンテンツ特徴判定部10は、色味情報値Ci(色相信号特徴値Ch)に基づき、コンテンツ特徴情報値Siを決定できる構成であればどのようなものでもよい。
The content
色味情報値Ciを基にして、コンテンツ特徴情報値Siを出力する手法の一例として、各色味情報値Ciの尤度を計算し、統計上の処理からコンテンツ特徴情報値Siを出力する方法などが考えられる。 As an example of a method of outputting the content feature information value Si based on the color information value Ci, a method of calculating the likelihood of each color information value Ci and outputting the content feature information value Si from statistical processing, etc. Can be considered.
また、色味情報値Ciに基づき、コンテンツ特徴情報値Siを求める手法の例として、1フレーム分の画像信号から得られる色相信号に関するヒストグラムを作成し、該当ヒストグラムから構成される色相情報値Ciに基づいて、複数フレーム分の平均値を求めることで、新しい色相情報値Ciを算出し、画像信号に対する映像コンテンツの特徴判定を行う方法などが考えられる。このように、1フレーム分の画像信号から得られる色相情報値Ciを、複数フレーム分の演算により新しい色相情報値Ciを求め、画像信号に対する映像コンテンツの特徴判定を行ってもよい。 Further, as an example of a method for obtaining the content feature information value Si based on the hue information value Ci, a histogram relating to a hue signal obtained from an image signal for one frame is created, and the hue information value Ci configured from the corresponding histogram is generated. On the basis of this, a method of calculating a new hue information value Ci by obtaining an average value for a plurality of frames and determining the feature of the video content with respect to the image signal can be considered. In this manner, the hue information value Ci obtained from the image signal for one frame may be used to obtain a new hue information value Ci by calculation for a plurality of frames, and the feature determination of the video content for the image signal may be performed.
図7は色相特徴判定部101によるコンテンツ特徴判定値Siの他の判定内容を表形式で示す説明図である。図7は、色相特徴判定部101により求められたコンテンツ特徴判定値Siの組み合わせに関し、全ての場合において、映像ジャンルごとに6種類(S1〜S5,S0)に分類した一例を示している。
FIG. 7 is an explanatory diagram showing other determination contents of the content feature determination value Si by the hue
本例では、前述の例より色相情報値Ciを少なくし、色相判定情報値Dbhc(30),Dbhc(90),Dbhc(150)及びDbhc(210)に基づき、コンテンツ特徴判定値Siを判定し、コンテンツ特徴判定値Siとして映像ジャンル毎に6種類の分類を行っている。 In this example, the hue information value Ci is reduced from the above example, and the content feature determination value Si is determined based on the hue determination information values Dbhc (30), Dbhc (90), Dbhc (150), and Dbhc (210). The content feature determination value Si is classified into six types for each video genre.
本例で示される分類は、様々なジャンルの映像コンテンツを調査し、統計的に分布特徴を分類することでデータベース化し、各コンテンツ特徴情報値Siとの対応付けを行っている。本例ではジャンルを6種類に分類しているが、分類を行う種類はいくつでもよい。同図では、色相特徴判定部101によりコンテンツの特徴情報値Siとして、特徴判定値S0〜S5が出力される。例えば、色相判定情報値Dbhc(30)が「小」、Dbhc(90)が「中」、Dbhc(150)が「中」、Dbhc(210)が「小Lであれば、コンテンツ特徴判定値SiはS1(スポーツ)と判断され出力される。
The classification shown in this example is a database created by examining video contents of various genres, statistically classifying distribution features, and associating with each content feature information value Si. In this example, the genres are classified into six types, but any number of classifications may be used. In the figure, the feature determination values S0 to S5 are output as the feature information value Si of the content by the hue
上記した例では、6つの映像ジャンルで分類したため、分類名を代表的なジャンル名で呼ぶこととする。図7の分類で、スポーツ(S1)は、主にスポーツや自然画のジャンルで、サッカーや野球の芝生のグリーンのあるような映像で色相分布は緑や青が多くなる特徴を持つ。音楽(S2)は、主に音楽のミュージッククリップ等のジャンルで、明暗を使った映像が多く鮮やかな色合いが多い。スタジオ(S3)は、主にバラエティや報道のジャンルであり、スタジオ内で撮影された映像が多い。そのため、平均輝度が高く全体的に明るい色合いが多いという特徴を持つ。映画(S4)は主にジャンルは映画で、暗いシーンが多いという特徴を持つ。ドラマ(S5)は、主にドラマやアニメのジャンルで、黒が少ないが平均輝度は低く、暗めの色合いが多いという特徴を持つ。ノーマル(S0)は、ジャンルを判定しにくく特徴の少ない映像である。 In the above example, since classification is performed by six video genres, the classification name is referred to as a representative genre name. In the classification of FIG. 7, sports (S1) is mainly a genre of sports and natural images, and has a feature that the hue distribution is green and blue in a video such as soccer or baseball green. The music (S2) is mainly a genre such as a music clip of music, and there are many images using light and dark and many vivid colors. Studio (S3) is mainly a variety and media genre, and there are many videos shot in the studio. For this reason, it has a feature that the average luminance is high and there are many bright colors as a whole. The movie (S4) is mainly characterized in that the genre is a movie and there are many dark scenes. The drama (S5) is mainly a genre of drama and animation, and has the characteristics that there are few blacks but low average brightness and many dark shades. Normal (S0) is a video with few features that makes it difficult to determine the genre.
本例における色相特徴判定部101より判別されたジャンル(コンテンツ特徴判定値Si)は、映像コンテンツを規定する画像信号Daに基づいて判断されているため、コンテンツ特徴判定値Siは、それぞれ代表的なジャンルの映像特徴に近いということを示している。例えば、入力映像がスポーツをテーマにした映画であった場合、映画(S4)ではなく、スポーツ(S1)に分類される。
Since the genre (content feature determination value Si) determined by the hue
コンテンツ特徴検出において、ジャンル判別の精度を上げるために、既知の他手法と併用しても良い。他手法の例としては、特許文献1にあるようなデジタル番組表のジャンル情報などが挙げられる。
In content feature detection, in order to improve the accuracy of genre discrimination, it may be used in combination with other known methods. Examples of other methods include genre information of a digital program guide as disclosed in
このように、色相特徴判定部101では、画像信号Dbに基づき色味情報解析部9により得られた色味情報値Ci(色相信号特徴値Ch)が規定する色相情報Hに基づき、統計的に特徴を分類してコンテンツ特徴判定値Siを判定することにより、映像のコンテンツ特徴やジャンルを精度良く判定することができる効果を奏する。なお、色味情報値Ciが規定する情報は、色相情報H、彩度情報S、及び明度情報Vの少なくとも一つに関連する情報(ただし、明度情報Vのみ除く)であれば同様な効果が期待できる。
As described above, the hue
複数フレーム積算部102は、入力されたコンテンツ特徴情報値Siにもとにして解析処理を行い、判断速度調整部103より出力される判断速度情報値Tiに基づき複数フレーム分のコンテンツ特徴情報値Siに対する解析処理を行い、複数のコンテンツ特徴値Siを反映した複数コンテンツ特徴情報値Fiを求める。これにより、複数フレームのコンテンツ特徴情報値Siと比較して、より精度の高く、安定したコンテンツ判定を行うことができる。
The
また、判断速度調整部103により判断速度情報値Tiを複数フレーム積算部102に出力して、複数フレーム積算部102による判断速度を調整することにより、コンテンツの特徴に合わせてコンテンツの判断を行うタイミングを調整し、階調補正を行うタイミングを調整することができる。
Further, the determination
複数フレーム積算部102における解析処理の手法の一例を説明する。複数フレーム積算部102は、順次入力されたコンテンツ特徴判定値Siに基づき、1フレーム分の特徴判定値Si(判定種別)を加算し、同一の特徴判定値(判定種別)が判断速度調整部103により出力される判断速度情報値Tiの指示する一定判断数N1(所定の出現数)に達した場合に、複数特徴判定値Fiとして判断する手法(第1の判断例)が挙げられる。
An example of an analysis processing method in the
具体的には、例えば、判断速度情報値Tiの指示する一定判断数N1が“10”である場合、図8に示すように1フレーム毎のコンテンツ特徴判定値Siを、複数フレーム分加算する。図8において、最も早く一定判断数N1=10に達したコンテンツ特徴判定値は、「S3」であるため、複数コンテンツ特徴判定値Fiは、「S3」であると検出され、特徴判定値S3を指示する複数コンテンツ特徴情報値Fiが判断速度調整部103及び画像補正部6内の補正制御部4に入力される。
Specifically, for example, when the fixed determination number N1 indicated by the determination speed information value Ti is “10”, the content feature determination value Si for each frame is added for a plurality of frames as shown in FIG. In FIG. 8, the content feature determination value that has reached the fixed determination number N1 = 10 earliest is “S3”. Therefore, the multiple content feature determination value Fi is detected as “S3”, and the feature determination value S3 is The instructed multiple content feature information value Fi is input to the determination
また、他の手法の例として、複数フレーム積算部102は、順次入力されるコンテンツ特徴判定値Siをもとに、1フレーム分の特徴判定値Siを加算し、同一の特徴判定値が連続して、判断速度調整部103により出力される判断速度情報値Tiの指示する一定判断数N2(所定の連続出現数)に達した場合に、複数特徴判定値Fiとして判断する手法(第2の判断例)が挙げられる。
As another example of the technique, the
具体的には、例えば一定判断数N2が“10”である場合、図9に示すように1フレーム毎のコンテンツ特徴判定値Siを、複数フレーム分加算する。本例において、4フレーム目から13フレーム目まで連続して10回、コンテンツ特徴判定値は「S3」である。そのため、最も早く連続して一定判断数10に達したコンテンツ特徴判定値は「S3」となる。その結果、複数フレーム積算部102により、複数コンテンツ特徴判定値Fiは、S3であると判定され、特徴判定値S3を指示する複数コンテンツ特徴情報値Fiが、判断速度調整部103及び画像補正部6内の補正制御部4に入力される。
Specifically, for example, when the fixed determination number N2 is “10”, the content feature determination value Si for each frame is added for a plurality of frames as shown in FIG. In this example, the content feature determination value is “S3” 10 times continuously from the 4th frame to the 13th frame. For this reason, the content feature determination value that has reached the predetermined determination number of 10 consecutively earliest is “S3”. As a result, the multiple content feature determination value Fi is determined to be S3 by the multiple
また、他の手法として、複数フレーム積算部102は、入力されたコンテンツ特徴判定値Siにもとに、1フレーム分の特徴判定値Siを加算し、同一の特徴判定値が判断速度調整部103により出力される判断速度情報値Tiの指示する一定判断数N3(所定期間)内において最大の出現度を持つ場合に、複数特徴判定値Fiとして判断する手法(第3の判断例)が挙げられる。
As another method, the
具体的には、例えば一定判断数N3が“15”である場合、図10に示すように1フレーム毎のコンテンツ特徴判定値Siを、一定判定数N3である15フレーム分加算する。本例において、15フレーム内における、各コンテンツ特徴判定値の出現度は、「S1」が0回、「S2」が7回、「S3」が6回、「S4」,「S5」が各1回となる。最大の出現度を持つ特徴判定値は、7回の判定が行われている特徴判定値種別「S2」である。そのため、複数フレーム積算部102により、特徴判定値S2を指示する複数コンテンツ特徴判定値Fiが、判断速度調整部103及び画像補正部6内の補正制御部4に入力される。
Specifically, for example, when the fixed determination number N3 is “15”, the content feature determination value Si for each frame is added for 15 frames, which is the fixed determination number N3, as shown in FIG. In this example, the appearance level of each content feature determination value in 15 frames is “S1” 0 times, “S2” 7 times, “S3” 6 times, “S4”, “S5” 1 each. Times. The feature determination value having the maximum appearance degree is the feature determination value type “S2” for which determination has been performed seven times. Therefore, a plurality of content feature determination values Fi instructing the feature
このように複数フレーム積算部102は、上述した第1〜第3の判断例に沿って、順次得られるコンテンツ特徴判定値Siが指示する判定種別を計算し、コンテンツ特徴判定値Siを複数フレーム分相当量解析することにより、コンテンツ特徴判定値Siに比べて精度の高い複数コンテンツ特徴情報値Fiを得ることができる。
As described above, the
加えて、複数フレーム積算部102は、判断速度情報値Tiに基づき、所定フレーム分相当量である一定判断数N1〜N3の値を決定することにより、複数コンテンツ特徴判定値Fiを求めるタイミングを適宜調整することができる。判断速度情報値Tiは前述したように、判断速度調整部3によって、コンテンツ特徴判定値Ji及び複数コンテンツ特徴判定値Fiに基づき決定される。
In addition, the
その結果、複数フレーム積算部102は、コンテンツ特徴判定値Si及び複数コンテンツ特徴判定値Fiで指示されるジャンル等の映像コンテンツの特徴に合致する判定速度(一定判断数N1〜N3に基づく判断等)で複数コンテンツ特徴判定値Fiを得ることができる。
As a result, the
また、複数フレーム積算部102は、上記3手法(第1〜第3の判断例)に代表される解析処理の組み合わせにより、複数個組み合わせて実施してもよい。
Further, the plurality of
たとえば、一定判断数Naとして1フレーム分の特徴判定値Siを加算し、同一の特徴判定値が一定判断数Naに達した後、一定判断数Nbとして1フレーム分の特徴判定値Siを加算し、同一の特徴判定値が連続して一定判断数Nbに達した場合に、はじめて複数コンテンツ特徴判定値Fiとして判断するなどの組み合わせが考えられる。 For example, the feature judgment value Si for one frame is added as the constant judgment number Na, and after the same feature judgment value reaches the constant judgment number Na, the feature judgment value Si for one frame is added as the constant judgment number Nb. For example, when the same feature determination value continuously reaches a certain determination number Nb, a combination of determining as a plurality of content feature determination values Fi for the first time is conceivable.
また、他の組み合わせの手法として、一定判断数Naとして1フレーム分の特徴判定値Siを加算し、複数コンテンツ特徴判定値Faiを求めた後、複数コンテンツ特徴判定値Faiを加算し、複数コンテンツ特徴判定値Fiを求めてもよい。本例では2回の組み合わせであるが、2回以上の組み合わせを行ってもよい。 As another combination method, the feature determination value Si for one frame is added as the fixed determination number Na to obtain the multiple content feature determination value Fai, and then the multiple content feature determination value Fai is added to obtain the multiple content feature. The determination value Fi may be obtained. In this example, the combination is two times, but two or more combinations may be performed.
このように、複数フレーム積算部102は、コンテンツ特徴判定値Siに基づき、上述した第1〜第3の判断基準に少なくとも一つの判断基準を含む複数種の組み合わせで複数コンテンツ特徴情報値Fiを求めることにより、複数コンテンツ特徴判定値Fiを決定する際、決定するまでの速度や精度の調節が可能となる。その結果、最終的に画像補正部6による順応性に富んだ階調補正が可能となる。
As described above, the
実施の形態1における複数フレーム積算部102は、複数コンテンツ特徴判定値Fiとして、コンテンツ特徴判定値Siを出力してもよい。すなわち、複数フレーム積算部102による処理を省略し、色相特徴判定部101から出力されるコンテンツ特徴判定値Siがそのまま複数コンテンツ特徴判定値Fiとして判断速度調整部103及び補正制御部4に取り込まれる構成を採用することもできる。
The multiple
複数フレーム積算部102において、電源を入れた直後等、複数コンテンツ特徴情報値Fiが定まっていない際には、複数コンテンツ特徴情報値Fiが不定であることを示すジャンルとして、例えばノーマルなどのジャンルを独自に設定しても良い。なお、本例では同様に際立った特徴のないジャンルとしてノーマルを設定している。
In the
実施の形態1における複数フレーム積算部102により、同一ジャンル内で、ある1フレームのみコンテンツの内容が大幅に変わった場合においても、当該フレームにおけるコンテンツ特徴判定値Siの判定種別は、複数フレーム積算部102における解析処理により自動的に除去され、複数コンテンツ特徴判定値Fiに基づき画像補正部6により極端な画質補正が行われることを防ぐことができる。
Even when the content of only one frame within the same genre changes significantly in the same genre, the determination type of the content feature determination value Si in the frame is the multiple
すなわち、1フレーム毎に映像コンテンツが切り替わるような映像の場合に、複数フレーム積算部102により、1フレームごとに画質が切り替わることを防止でき、不自然な映像になることを防止することができる。
That is, in the case of a video in which the video content is switched for each frame, the
判断速度調整部103は、色相特徴判定部101により出力されるコンテンツ特徴情報値Si及び複数フレーム積算部102により出力される複数コンテンツ特徴情報値Fiを基にして、コンテンツやジャンルの変化過程に最適と思われる一定判断数N1等を指示する判断速度情報値Tiを算出し、複数フレーム積算部102に出力する。
Based on the content feature information value Si output from the hue
図11は判断速度調整部103による判断速度情報値Tiの作成例を表形式で示す説明図である。同図に示すように、コンテンツ特徴情報値Si、複数コンテンツ特徴情報値Fiの組み合わせに対して、それぞれ対応した判断速度情報値Tiを求める。
FIG. 11 is an explanatory diagram showing an example of creation of the judgment speed information value Ti by the judgment
具体的には、例えばコンテンツ特徴情報値Siが特徴判定値S3、複数コンテンツ特徴情報値Fiが複数特徴判定値F4を指示する値であった場合に、判断速度情報値T43を指示する判断速度情報値Tiが、複数フレーム積算部102に出力される。
Specifically, for example, when the content feature information value Si is a feature determination value S3 and the multiple content feature information value Fi is a value indicating the multiple feature determination value F4, the determination speed information indicating the determination speed information value T43. The value Ti is output to the
例えば、図7で示す組合せで色相特徴判定部101がコンテンツ特徴判定値Siを出力する場合、複数特徴判定値F3及び特徴判定値S3の組合せは、複数特徴判定値(F4)が示す映画のような全体的に暗い色合いが多いジャンルから、特徴判定値(S3)が示すバラエティや報道などの平均輝度が高く明るいシーンが多いジャンルに変化するタイミングを指示している。
For example, when the hue
この場合、画像補正部6において行われる画像補正は、現在の判定コンテンツである複数特徴判定値(F4)により行われているため、画像補正の特徴が正反対のものになっている。そのため、判断速度情報値T43が比較的高速な値を指示するように設定することにより、不自然な画像補正が行われる期間を限りなく短く設定し、不自然な画像補正が目立たないようにすることができる。
In this case, since the image correction performed in the
上記の例では、判断速度調整部103はコンテンツ特徴情報値Si及び複数コンテンツ特徴情報値Fiを基にして判断速度情報値Tiを求めているが、複数コンテンツ特徴情報値Fiのみ、あるいはコンテンツ特徴情報値Siのみを利用して判断速度情報値Tiを調整してもかまわない。
In the above example, the determination
また、判断速度調整部103は、画像信号Daに含まれる特徴により判断速度情報値Tiを調整できる構成であればどのようなものでもよい。また、音声信号などのように画像信号以外の信号により判断速度情報値Tiの調整を行ってもよい。
The determination
図1に戻って、補正制御部4は、複数コンテンツ特徴情報値Fiに対応した補正パラメータPiを選択して、補正実行部5に出力する。例えば、コンテンツ特徴情報値Siが色味情報値Ciの組み合わせによって特徴判定値S1を指示し、最終的に複数コンテンツ特徴情報値Fiは複数特徴判定値F1を指示した場合、複数特徴判定値F1対応する補正パラメータP1が選定される。補正パラメータPiは、ジャンルの傾向や特性を基に、視観者の好みやシステムに応じ、自由に調整可能である。
Returning to FIG. 1, the
補正制御部4から補正実行部5に出力される、複数コンテンツ判定値Fiに対する補正パラメータPiは、例えば、映像コントラストによる輝度制御、シャープネスによる鮮鋭度制御、色の濃さ、3次元(3D)ノイズリダクションによるノイズ除去制御、ガンマ補正による輝度補正、バックライトの明るさ調整等である。
The correction parameters Pi for the multiple content determination values Fi output from the
図12は、5つのジャンルに分類された複数コンテンツ特徴判定値Fiに対する補正制御部4の出力の一例である。補正制御部4の補正パラメータPiの設定は、例えば、複数コンテンツ特徴判定値Fiが指示する値がスポーツ(F1)の場合、画像信号Dbで規定される映像の特徴として輝度は中間調が多く、階調は平均的に全ての階調に広がっていて、色相は緑や青の多く含まれる映像が多いことが挙げられる。そのため、ガンマ補正は、x軸が入力信号(画像信号Db)の階調値、y軸は出力される階調値(画像信号Dc)として直線型になり、コントラストは「中」とする。自然画のため、シャープネスは「低」、色の濃さは「中」、バックライトの明るさは「中」とする。スポーツであるため激しい動きに対応すべく、3次元処理の3Dノイズリダクションは動画では尾引きする場合があるため「低」とするなどの設定が可能である。
FIG. 12 is an example of the output of the
また、複数コンテンツ特徴判定値Fiが指示する値が、例えば映画(F4)のように、全体的に暗いシーンが多く、バックライトの明るさを低減させることによる影響が少ない場合において、バックライトの明るさを「低」にすることで画像表示装置の省エネルギー化を図ることができる。このように、映像コンテンツの内容に合わせて、バックライトの明るさを低減させることにより、画質をある程度維持したまま、省エネルギー化を図ることができる。 When the value indicated by the multiple content feature determination value Fi is, for example, a movie (F4), where there are many dark scenes as a whole and the influence of reducing the brightness of the backlight is small, the backlight Energy saving of the image display apparatus can be achieved by setting the brightness to “low”. Thus, by reducing the brightness of the backlight in accordance with the content of the video content, it is possible to save energy while maintaining a certain level of image quality.
ここで、準備される補正パラメータPiは、色味情報値Ciによる組み合わせの数だけ配備してもよいし、コンテンツ特徴の種類の数と同じ数であってもよい。 Here, the correction parameters Pi to be prepared may be provided by the number of combinations based on the color information value Ci, or may be the same as the number of types of content features.
補正実行部5は、当該補正パラメータPiに基づいて画像信号Dbに対し画像補正を行う。この画像補正は、1フレームごとに行う。
The
補正実行部5は、フレームバッファ等を利用することにより、映像信号Dbを遅らせることで、複数コンテンツ特徴判定値Fiを求めた際に解析した映像信号Dbから画像補正を開始してもよい。また、複数コンテンツ特徴判定値Fiを求めた際に解析した画像信号Dbの後、新しく得られるフレームから画像補正を開始してもよい。
The
また、補正実行部5はシーンチェンジに合わせて画像補正を行ってもよい。同じように、補正を行うパラメータ量を極めてわずかな値とし、一定時間Mの間、数回に分けて補正を行ってもよい。この場合、一定時間Mの値も、複数コンテンツ特徴判定値Fiに応じて調整することが考えられる。このように補正を行うタイミングを調整することで、視聴者に違和感を与えにくい、自然な画像補正が可能となる。
Further, the
このように、実施の形態1の画像表示装置おけるコンテンツ特徴判定部10は、色味情報値Ciに基づき決定コンテンツ特徴判定値である複数コンテンツ特徴判定値Fiを求めている。色味情報値Ciは、色味情報解析部9より、色相情報を含む色味情報に対し、色空間内で分割された複数の分割領域における解析処理を行って得られる。
As described above, the content
したがって、実施の形態1の画像表示装置は、画像信号Dbより得られるコンテンツの特性を正確に反映した複数コンテンツ特徴判定値Fiに基づいて、画像補正部6により1フレーム分の画像信号Dbに対し画像補正を行うことにより、リアルタイム性を維持しながら、コンテンツの特徴あるいは特徴の変化過程に順応させて画質の劣化を抑えた画像補正を行うことができる効果を奏する。この効果は、色味情報値Ciが規定する情報が、色相情報H、彩度情報S、及び明度情報Vの少なくとも一つに関連する情報(ただし、明度情報Vのみ除く)であれば期待できる。
Therefore, the image display apparatus according to the first embodiment uses the
以上のように、実施の形態1に係る画像表示装置では、色相情報Hを含む色味情報値Ciから判定された1フレーム分のコンテンツ特徴判定値Siに基づいて、複数フレーム分の特徴量よりコンテンツの特徴を判定して複数コンテンツ特徴判定値Fiを求めているため、コンテンツの特性をより正確に判定することができる。 As described above, in the image display device according to the first embodiment, based on the content feature determination value Si for one frame determined from the hue information value Ci including the hue information H, the feature amount for a plurality of frames is used. Since the characteristics of the content are determined and the multiple content feature determination value Fi is obtained, the characteristics of the content can be determined more accurately.
すなわち、実施の形態1の画像表示装置におけるコンテンツ特徴判定部10内の複数フレーム積算部102は、色相特徴判定部101より得られる仮コンテンツ特徴判定値である色味情報値Ciを、所定フレーム分相当量解析することにより複数コンテンツ特徴判定値Fiを求めるため、画像信号Dbより得られるコンテンツの特性を正確に判定することができる。
That is, the
また、複数フレーム積算部102は判断速度情報値Tiに基づいてコンテンツ判定の速度を変更しているため、コンテンツの特徴に合わせてコンテンツの判断を行うタイミングを調整し、画像補正部6による画像補正を行うタイミングを調整することができる。これにより画質の変化が目立たない画像補正を行うことができる。
Further, since the
実施の形態1に係る画像表示装置は、色味情報値Ciから、映像コンテンツの特徴量をより正確に判定する手法として、映像表示装置に限らず映像に関わる他分野での利用も考えられる。他の分野での利用として、例えば、ハードディスクやDVD等の映像レコーダー等の映像記録装置が上げられる。 The image display device according to the first embodiment is not limited to the video display device and can be used in other fields related to video as a method for more accurately determining the feature amount of the video content from the color information value Ci. For example, a video recording device such as a video recorder such as a hard disk or a DVD may be used as another field.
一方、実施の形態1と同様なことを、上述の特許文献2に記載の技術を用いてコンテンツ特徴判定を行うには、予め内容種が既知であるマルチメディアデータが保持されている必要がある。そのため、初見の番組等では分類を行うことができない。
On the other hand, in order to perform the content feature determination using the technique described in
特許文献3では、映像信号を、明度信号Vを基にした輝度ヒストグラムのみで分類しているため、画像信号Dbに含まれる色相情報Hあるいは彩度情報Sに基づき複数の分割領域に分類した場合に比べ、分類の精度が劣っており、詳細かつ正確な分類ができない。
In
なお、実施の形態1に係る画像表示装置では、HSV色空間を元に複数の色空間に分割したが、たとえばRGB色空間、CMY色空間、HLS色空間、YCbCr色空間、Lab表色系、L*a*b*表色系、L*u*v*表色系、等その他のあらゆる色空間や表色系に関しても適応することができる。 In the image display device according to the first embodiment, the color space is divided into a plurality of color spaces based on the HSV color space. For example, the RGB color space, the CMY color space, the HLS color space, the YCbCr color space, the Lab color system, The present invention can also be applied to all other color spaces and color systems such as the L * a * b * color system, the L * u * v * color system, and the like.
<実施の形態2>
図13は、この発明の実施の形態2である画像表示装置の構成を示すブロック図である。本実施の形態2に係る画像表示装置は、上述の実施の形態1に係る画像処理装置において、画像処理装置7の替わりに画像処理装置17を備えるものである。
<
FIG. 13 is a block diagram showing a configuration of an image display apparatus according to
本実施の形態2に係る画像処理装置17は、色味情報解析部19、コンテンツ特徴判定部12及び画像補正部6から構成され、画像補正部6は、補正制御部4及び補正実行部5を有している。受信部2から得られる画像信号Dbは、画像処理装置17の色味情報解析部19及び補正実行部5にそれぞれ入力される。
The
色味情報解析部19は、画像信号Dbに含まれる色相情報H、彩度情報S、明度情報Vから、各フレームにおける色味情報値Ciを検出して、コンテンツ特徴判定部12に出力する。
The hue
コンテンツ特徴判定部12は、色味情報値Ciをもとに1フレーム分の映像コンテンツの特徴を判定し、複数フレーム分の映像コンテンツを解析した後、その解析結果である、複数コンテンツ特徴判定値Fiを補正制御部4に出力する。
The content
補正制御部4は、補正実行部5が1フレーム分の画像信号Dbに対する画像補正を行う際に使用する補正パラメータPiを複数コンテンツ特徴情報Fiに基づいて算出し、補正実行部5に出力する。
The
図14は、図13で示した色味情報解析部19の一内部構成例の詳細を示すブロック図である。図14に示されるように、本実施の形態2の画像表示装置における色味情報解析部19は、色味情報検出部190c、色空間領域分割部191c、及び色味情報解析部192cを備えている。
FIG. 14 is a block diagram illustrating details of an internal configuration example of the color
図15で示した例では、受信部2から得られ、色相情報H、彩度情報S、明度情報Vを含む画像信号Dbは、色味情報検出部190cに入力される。
In the example illustrated in FIG. 15, the image signal Db obtained from the receiving
色味情報検出部190cは、1フレーム分の画像信号Dbから色相情報H、彩度情報S、及び明度情報Vを抽出し、色空間領域分割部191cへ出力する。
The hue
色空間領域分割部191cは、1フレーム分の画像信号Dbにおける色相情報H、彩度情報S、及び明度情報Vに基づき、色空間を複数の色領域に分割し、当該色領域から、領域分割情報JDd(H,S,V,D)を検出し、色味情報解析部192cに出力する。実施の形態2では色空間の例として、HSV色空間を利用する。
The color space
色味情報解析部192cは、色空間領域分割部191cで生成された領域分割情報JDdに基づき、1フレーム分の画像信号Dbにおける色味特徴値Ctを算出して、色味情報値Ciとし、色味情報値Ciをコンテンツ特徴判定部12へ出力する。
The color
図14で示した例において、入力映像信号Dbがインターレス信号の場合は、2フィールド分を1フレーム分の画像信号として、色味情報検出部190cにより変換を行い、領域分割情報JDdを求める。このように色味情報検出部190cにおいて、領域分割情報JDdを求めるための前処理を行っても良い。
In the example shown in FIG. 14, when the input video signal Db is an interlace signal, the color
他の前処理の例として、画像信号DbがRGB信号等の、色相情報H、彩度情報S、明度情報Vと異なった表色系で示されている際、既知の計算式により色相情報H、彩度情報S、明度情報Vへと変換することも考えられる。 As another example of pre-processing, when the image signal Db is shown in a color system different from the hue information H, the saturation information S, and the lightness information V such as an RGB signal, the hue information H is expressed by a known calculation formula. It is also conceivable to convert to saturation information S and lightness information V.
図15は、色空間領域分割部191cによる、領域分割の一例を示したものである。図15で示した例では、HSV色空間を色相情報H、彩度情報S、明度情報Vにより分割することで、領域分割情報JDdを作成している。本例ではHSV色空間を分割するにあたり、彩度情報Sにより分割(第1分割)したのち、色相情報H、明度情報Vにより詳細に分割(第2分割)を行っている。
FIG. 15 shows an example of area division by the color space
色空間領域分割部191cは、彩度情報Sを利用してHSV色空間を分割するにあたり、彩度情報値Sが、所定の彩度判定閾値r1より小さい値であるか、閾値r1とそれより大きな所定の閾値である閾値r2値の間の値であるか、彩度閾値r2より大きい値であるかを判定し、それぞれ3つの分割領域Dr(1)、Dr(2)、Dr(3)に分割した第1分割を行う。
In dividing the HSV color space using the saturation information S, the color space
図15に示す例では、彩度情報Sを閾値により3種類に分割しているが、分割数は多くても少なくともかまわない。また、明度情報Vによる分割数も同様に、図15に示す例より、多くても少なくてもかまわない。また、分割にあたり、色相情報H、彩度情報S、明度情報Vのいずれか一つ以上を利用すれば、他の情報は省略してもよい。これにより分類の精度は落ちるものの、高速な演算が可能になる。ただし、色相情報H及び彩度情報Sのうち少なくとも一つの情報は含ませる方が望ましい。 In the example shown in FIG. 15, the saturation information S is divided into three types based on threshold values, but the number of divisions may be at least as large. Similarly, the number of divisions based on the lightness information V may be larger or smaller than the example shown in FIG. Further, in the division, if any one or more of the hue information H, the saturation information S, and the lightness information V are used, the other information may be omitted. This reduces the accuracy of classification, but enables high-speed computation. However, it is desirable to include at least one of the hue information H and the saturation information S.
図16は第2分割の第1例を示す説明図である。同図に示すように、第1分割後の分割領域Dr(1)を、明度情報Vによりさらに分割している。図16に示すように、第2分割の第1例は、分割領域Dr(1)から、明度情報Vが均一になるように6等分し、さらに6種類の分割領域Dd(1)〜Dd(6)を得る分割を行っている。分割領域Dr(1)は、彩度情報が閾値r1より小さい値であるため、鮮やかな色合いのない白黒に近い映像の領域である。そのため、分割領域Dd(1)は白色に近く、分割領域Dd(6)へと近づくにつれて色が黒色へと変化していく。 FIG. 16 is an explanatory diagram showing a first example of the second division. As shown in the figure, the divided region Dr (1) after the first division is further divided by the brightness information V. As shown in FIG. 16, in the first example of the second division, the division information Dr (1) is divided into six equal parts so that the lightness information V is uniform, and six types of division areas Dd (1) to Dd are further divided. The division to obtain (6) is performed. The divided region Dr (1) is a near-monochrome image region with no vivid hue because the saturation information is smaller than the threshold value r1. Therefore, the divided region Dd (1) is close to white, and the color changes to black as the divided region Dd (6) approaches.
図16で示す例では、明度情報Vが均一になるように分割を行っているが、不均一に分割を行ってもよいし、分割数は6種類に限らず、自由に調整してよい。分割を行う参考としてPCCS(Practical Color Co-ordinate System)などが利用できる。また、分割領域Dr(1)は彩度情報Sが小さいため、色相情報Hの影響は少なくなる。そのため、本例では色相情報Hでの分割は行っていないが、色相情報Hを利用してさらに分割領域Dr(1)をさらに詳細に分割してもかまわない。 In the example shown in FIG. 16, the division is performed so that the lightness information V is uniform. However, the division may be performed non-uniformly, and the number of divisions is not limited to six, and may be freely adjusted. PCCS (Practical Color Coordinate System) can be used as a reference for dividing. Further, since the saturation information S is small in the divided area Dr (1), the influence of the hue information H is reduced. Therefore, in this example, the division by the hue information H is not performed, but the division information Dr (1) may be further divided in more detail using the hue information H.
図17は第2分割の第2例を示す説明図である。同図に示すように、第1分割後の分割領域Dr(2)を、色相情報Hによりさらに分割している。図17に示すように、第2分割の第2例は、分割領域Dr(2)から、色相情報Hが均一になるように6等分し、さらに6種類の分割領域Dd(7)〜Dd(12)を得る分割を行っている。分割領域Dr(7)は色相角0度から60度を表し、赤から黄へと変化する色合いが含まれ、分割領域Dr(8)は色相角60度から120度を表し、黄から緑へと変化する色合いが含まれ、分割領域Dr(9)は色相角120度から180度を表し、緑から水色へと変化する色合いが含まれる。また、分割領域Dr(10)は色相角180度から240度を表し、水色から青へと変化する色合いが含まれ、分割領域Dr(11)は色相角240度から300度を表し、青から紫へと変化する色合いが含まれ、分割領域Dr(12)は色相角300度から360度を表し、紫から赤へと変化する色合いが含まれる。 FIG. 17 is an explanatory diagram showing a second example of the second division. As shown in the figure, the divided region Dr (2) after the first division is further divided by the hue information H. As shown in FIG. 17, in the second example of the second division, the hue information H is divided into six equal parts from the divided region Dr (2), and six types of divided regions Dd (7) to Dd are further divided. The division to obtain (12) is performed. The divided area Dr (7) represents a hue angle of 0 to 60 degrees and includes a hue that changes from red to yellow, and the divided area Dr (8) represents a hue angle of 60 to 120 degrees and changes from yellow to green. The divided region Dr (9) represents a hue angle of 120 degrees to 180 degrees, and includes a hue that changes from green to light blue. Further, the divided region Dr (10) represents a hue angle of 180 degrees to 240 degrees and includes a hue that changes from light blue to blue, and the divided region Dr (11) represents a hue angle of 240 degrees to 300 degrees, from blue A hue that changes from purple is included, and the divided region Dr (12) represents a hue angle of 300 degrees to 360 degrees, and includes a hue that changes from purple to red.
図17で示す例では、色相情報Hが均一になるように分割を行っているが、不均一に分割を行ってもよいし、分割数は6種類に限らず、自由に調整してよい。また、明度情報Vを利用してさらに分割領域Dr(2)を詳細に分割してもかまわない。 In the example shown in FIG. 17, the division is performed so that the hue information H is uniform, but the division may be performed non-uniformly, and the number of divisions is not limited to six, and may be freely adjusted. Further, the divided area Dr (2) may be further divided in detail using the lightness information V.
図18は第2分割の第3例を示す説明図である。同図に示すように、第1分割後の分割領域Dr(3)を、色相情報Hによりさらに分割している。図18に示すように、第2分割の第3例は、分割領域Dr(3)から、色相情報Hが均一になるように6等分し、さらに6種類の分割領域Dd(13)〜Dd(17)を得る分割を行っている。分割領域Dd(13)は色相角0度から60度を表し、赤から黄へと変化する色合いが含まれ、分割領域Dd(14)は色相角60度から120度を表し、黄から緑へと変化する色合いが含まれ、分割領域Dd(15)は色相角120度から180度を表し、緑から水色へと変化する色合いが含まれる。また、分割領域Dd(16)は色相角180度から240度を表し、水色から青へと変化する色合いが含まれ、分割領域Dd(17)は色相角240度から300度を表し、青から紫へと変化する色合いが含まれ、分割領域Dd(18)は色相角300度から360度を表し、紫から赤へと変化する色合いが含まれる。 FIG. 18 is an explanatory diagram showing a third example of the second division. As shown in the drawing, the divided region Dr (3) after the first division is further divided by the hue information H. As shown in FIG. 18, in the third example of the second division, the hue information H is divided into six equal parts from the divided region Dr (3), and six types of divided regions Dd (13) to Dd are further divided. The division to obtain (17) is performed. The divided area Dd (13) represents a hue angle of 0 to 60 degrees and includes a hue that changes from red to yellow, and the divided area Dd (14) represents a hue angle of 60 to 120 degrees and changes from yellow to green. The divided region Dd (15) represents a hue angle of 120 degrees to 180 degrees, and includes a hue that changes from green to light blue. Further, the divided area Dd (16) represents a hue angle from 180 degrees to 240 degrees, and includes a hue that changes from light blue to blue. The divided area Dd (17) represents a hue angle from 240 degrees to 300 degrees, and from blue A hue that changes from purple is included, and the divided region Dd (18) represents a hue angle of 300 degrees to 360 degrees, and includes a hue that changes from purple to red.
図18で示す例では、色相情報Hが均一になるように分割を行っているが、不均一に分割を行ってもよいし、分割数は6種類に限らず、自由に調整してよい。また、明度情報Vを利用してさらに分割領域Dr(3)を詳細に分割してもかまわない。 In the example illustrated in FIG. 18, the division is performed so that the hue information H is uniform, but the division may be performed non-uniformly, and the number of divisions is not limited to six and may be freely adjusted. Further, the divided area Dr (3) may be further divided in detail using the lightness information V.
領域の分割に関しては、繰り返し分割を行ってもよい。例えば、上述した図15〜図18に示すように、HSV色空間を18種類(詳細分割領域Dd(1)〜Dd(18))に分割した後、結果如何により、一部の領域をさらに分割することにより詳細な解析を行うことができる。なお、一部の領域には分割済みの2以上の領域を含む。 Regarding the division of the region, it may be repeated. For example, as shown in FIGS. 15 to 18 described above, after dividing the HSV color space into 18 types (detailed divided regions Dd (1) to Dd (18)), some regions are further divided depending on the result. By doing so, detailed analysis can be performed. Note that some regions include two or more regions that have been divided.
色空間領域分割部191cは、それぞれの分割領域Dd(i)の度数、つまり1フレーム分の画像信号Dbの分割領域に対する画素数を算出し、該当分割領域の色相情報H、彩度情報S、明度情報Vとともに、上記度数を含む情報を領域分割情報JDd(H,S,V,D)として色味情報解析部192cに出力する。
The color space
本例では分割領域Dd(i)の度数は1フレーム分の画像信号Dbの分割領域に対する画素数で表しているが、累積画素数として表示してもよい。また、画素数ではなく、全体の画素数に占める割合として、10%等の表示を行ってもよい。 In this example, the frequency of the divided region Dd (i) is represented by the number of pixels with respect to the divided region of the image signal Db for one frame, but may be displayed as the cumulative number of pixels. Further, 10% or the like may be displayed as a ratio of the total number of pixels, not the number of pixels.
また、領域を分割する場合には、その分割数や範囲は自由に設定しても良い。例えば、色相情報Hより分割する場合、色相角“0”から“60”と“300”から“360”の範囲を10度刻み、その他を30度刻みとすることもできる。あるいは、必要のない色相角の度数を省略してもかまわない。このように当該分割数を変化させ、必要のない色相角の度数を省くことにより、色空間領域分割部191cによる演算量や、分割領域Dd(i)の精度を調節することができる。分割数や範囲は、検出したいコンテンツの特徴やコンテンツのジャンルに合わせて選択することが考えられる。
Further, when the region is divided, the number and range of division may be freely set. For example, in the case of division based on the hue information H, the hue angles “0” to “60” and “300” to “360” may be in increments of 10 degrees, and the others may be in increments of 30 degrees. Alternatively, the frequency of unnecessary hue angles may be omitted. In this way, by changing the number of divisions and omitting the frequency of unnecessary hue angles, the calculation amount by the color space
色味情報解析部192cは領域分割情報JDdで規定される分割領域Dd(i)の各度数Ddh(i)が、所定の色味情報判定閾値TDCh2より小さい値であるか、閾値TDCh2とそれより大きく所定の閾値である色味情報判定閾値TDCh1以下の値であるか、色味情報判定閾値TDCh1より大きい値であるかを判定する。そして、色相情報解析部192cは、3つの分類情報値、「小(低)」・「中」・「大(高)」のうち、いずれか一を指示する色味情報判定情報値DDCc(i)を算出する。色味情報解析部192cは各色味情報判定情報値DDCc(i)の指示内容を規定した色味特徴値Ctを色味情報値Ciとして出力する。
The color
なお、本例では所定の閾値は二種類であり、色味情報判定情報値DDCc(i)の種別は大中小の3通りに分類したが、3通り以外に分類してもよい。すなわち閾値は二種類より多くても、少なくてもかまわない。閾値を多く調整することにより、より詳細な分類が可能になる。また、閾値の数を少なくすることにより、処理量を低減することができる。 In this example, there are two predetermined thresholds, and the color information determination information value DDCc (i) is classified into three types of large, medium, and small, but may be classified into other than three types. That is, the threshold value may be more or less than two types. More detailed classification is possible by adjusting a large number of threshold values. Further, the processing amount can be reduced by reducing the number of thresholds.
また、分割領域Dd(i)毎に閾値の値を変えてもかまわない。例えば、詳細分割領域Dd(1)(Ddh(1))に関しては、所定の閾値TDCh1のみにより判断し、Ddh(2)は、所定の閾値TDCh1及び、別の所定の閾値TDCh2、TDCh3により色味特徴値Ctを求めるという手法も取ることができる。このように、分割領域Dd(i)によって閾値の値を変えることにより、詳細に解析を行いたいHSV色空間を重点的に解析し、詳細な解析が不要な空間の解析精度を下げる等の効果を得ることができる。 Further, the threshold value may be changed for each divided region Dd (i). For example, the detailed division region Dd (1) (Ddh (1)) is determined based on only a predetermined threshold value TDCh1, and Ddh (2) is colored based on a predetermined threshold value TDCh1 and other predetermined threshold values TDCh2 and TDCh3. A technique of obtaining the feature value Ct can also be taken. As described above, by changing the threshold value according to the divided region Dd (i), the HSV color space to be analyzed in detail is focused on, and the analysis accuracy of the space that does not require detailed analysis is reduced. Can be obtained.
このように、色相情報解析部192cは、各分割領域Dd(i)における色味情報判定情報値DDCc(i)を規定した色味特徴値Ctを色味情報値Ciとしてコンテンツ特徴判定部12に出力する。
In this way, the hue
すなわち、色味情報解析部192cは、明度情報V、色相情報H及び彩度情報Sのうち少なくとも二つの組合せより色空間が分割された詳細分割領域Dd(1)〜Dd(18)における解析結果を規定した色味特徴値Ctを出力するため、画像信号Dbによるコンテンツの特徴をより反映させた色味特徴値Ctを得ることができる。
In other words, the color
その結果、実施の形態2の画像表示装置は、色味特徴値Ctである色味情報値Ciに基づきコンテンツ特徴判定部12により出力される複数コンテンツ特徴判定値Fiに基づき、画像補正部6により画像信号Dbに対し画像補正を行うため、より精度の高い画像補正を行うことができる効果を奏する。
As a result, the image display device according to the second embodiment uses the
なお、色味特徴値Ctを出力するにあたって、分割領域Dd(i)と色味情報判定情報値DDCc(i)のうち、いずれか一方を規定しても良い。すなわち、色相情報解析部192cは、分割領域Dd(i)のみ、あるいは、色味情報判定情報値DDCc(i)のみを規定した色味特徴値Ctを出力してもかまわない。
Note that when outputting the color feature value Ct, one of the divided region Dd (i) and the color information determination information value DDCc (i) may be defined. That is, the hue
たとえば、色味情報判定情報値DDCc(i)=「大(高)」である分割領域Dd(i)を規定する色味特徴値Ctを出力する方法が考えられる。また、他の例として、分割領域Dd(1)の色味情報判定情報値DDCc(1)を色味特徴値Ctとして出力する方法が考えられる。 For example, a method of outputting the color feature value Ct that defines the divided area Dd (i) where the color information determination information value DDCc (i) = “large (high)” is conceivable. As another example, a method of outputting the color information determination information value DDCc (1) of the divided region Dd (1) as the color characteristic value Ct is conceivable.
図19はコンテンツ特徴判定部12の詳細な構成を示すブロック図の一例である。同図に示すように、実施の形態2の画像表示装置におけるコンテンツ特徴判定部12は、分割領域特徴判定部201、複数フレーム積算部102、及び判断速度調整部103とを備えている。
FIG. 19 is an example of a block diagram illustrating a detailed configuration of the content
分割領域特徴判定部201は、色味情報解析部19から出力される色味情報値Ci(色味特徴値Ct)が規定する組み合わせ内容に基づきコンテンツ特徴判定値Siを判定して、複数フレーム積算部102及び判断速度調整部103にそれぞれ出力する。
The divided region
図15〜図18で示した例では、色味特徴値Ctが規定する、18種類の詳細分割領域Dd(1)〜Dd(18)による最大(3の18乗)通りの組み合わせにより、所定数のコンテンツ特徴判定値Siが分割領域特徴判定部201により判定される。
In the example shown in FIGS. 15 to 18, a predetermined number is obtained by the maximum (3 to the 18th power) combinations of 18 kinds of detailed divided regions Dd (1) to Dd (18) defined by the color feature value Ct. The divided region
なお、分割領域特徴判定部201によるコンテンツ特徴判定の組み合わせ内容は、観視者の好みや映像データベースを元に任意に作成することが出来る。
Note that the combination details of content feature determination by the divided region
また、分割領域特徴判定部201は、色味情報値Ci(色味特徴値Ct)が規定する18種類の組合せ内容のうちの一部の情報に基づき判定してもよい。例えば、詳細分割領域Dd(7)〜Dd(12)(図17参照)のみに基づき色相特徴を判定する等の判定内容を選択することが可能である。このように、色味情報値Ci(色味特徴値Ct)で規定される情報のうち、分割領域特徴判定部201による色相特徴判定処理に用いる情報量を減らすことによって、色相特徴判定速度を速め、必要なメモリー容量を減らすことができる。
In addition, the divided region
図19で示したコンテンツ特徴判定部12は一構成例であり、コンテンツ特徴判定部12は、色味情報値Ci(色味特徴値Ct)に基づき、コンテンツ特徴情報値Siを決定できる構成であればどのようなものでもよい。
The content
このように、実施の形態2の画像表示装置における分割領域特徴判定部201では、画像信号Dbに基づき色味情報解析部19により得られた色味情報値Ci(色味特徴値Ct)が規定する色相情報H、彩度情報S、及び明度情報V全てに関連する情報に基づき、統計的に特徴を分類してコンテンツ特徴判定値Siを判定することにより、映像のコンテンツ特徴やジャンルを精度良く判定することができる。
As described above, in the divided region
なお、複数フレーム積算部102及び判断速度調整部103の処理は、図5で示したコンテンツ特徴判定部10における複数フレーム積算部102及び判断速度調整部103と同様であるため、同一符号を付して説明を適宜省略する。
The processes of the
実施の形態2に係る画像補正部6(補正制御部4,補正実行部5)は、実施の形態1と同じものであり、実施の形態1で説明した動作と同じ動作を行うため、同一符号を付して説明を適宜省略する。
The image correction unit 6 (
以上のように、実施の形態2に係る画像表示装置では、色味情報値Ciから判定された1フレーム分のコンテンツ特徴判定値Siに基づいて、複数フレーム分の特徴量より複数コンテンツ特徴判定値Fiを判定しているため、コンテンツの特性をより正確に判定することができる。また、コンテンツ特徴判定部12内の複数フレーム積算部102は判断速度情報値Ti基づいてコンテンツ判定の速度を変更しているため、コンテンツの特徴に合わせてコンテンツの判断を行うタイミングを調整し、画像補正部6による画像補正を行うタイミングを調整することができる。これにより画質の変化が目立たない画像補正を行うことができる。
As described above, in the image display device according to the second embodiment, based on the content feature determination value Si for one frame determined from the color information value Ci, a plurality of content feature determination values based on a feature amount for a plurality of frames. Since Fi is determined, the characteristics of the content can be determined more accurately. Further, since the
実施の形態2に係る画像表示装置は、色味情報値Ciから、映像コンテンツの特徴量をより正確に判定する手法として、映像表示装置に限らず映像に関わる他分野での利用も考えられる。他の分野での利用として、例えば、ハードディスクやDVD等の映像レコーダー等の映像記録装置が上げられる。 The image display apparatus according to the second embodiment is not limited to the video display apparatus and can be used in other fields related to video as a technique for more accurately determining the feature amount of the video content from the color information value Ci. For example, a video recording device such as a video recorder such as a hard disk or a DVD may be used as another field.
一方、本実施の形態と同様なことを、上述の特許文献2に記載の技術を用いてコンテンツ特徴判定を行うには、予め内容種が既知であるマルチメディアデータが保持されている必要がある。そのため、初見の番組等では分類を行うことができない。
On the other hand, in order to perform content feature determination using the technique described in
特許文献3では、映像信号を、明度信号Vを基にした輝度ヒストグラムのみで分類しているため、画像信号Dbに含まれる色相情報H、彩度情報S、明度情報Vを併用して分類した場合に比べ、分類の精度が劣っており、詳細かつ正確な分類ができない。
In
なお、実施の形態2に係る画像表示装置では、HSV色空間を元に複数の色空間に分割したが、たとえばRGB色空間、CMY色空間、HLS色空間、YCbCr色空間、Lab表色系、L*a*b*表色系、L*u*v*表色系、等その他のあらゆる色空間や表色系に関しても適応することができる。 In the image display device according to the second embodiment, the color space is divided into a plurality of color spaces based on the HSV color space. For example, the RGB color space, the CMY color space, the HLS color space, the YCbCr color space, the Lab color system, The present invention can also be applied to all other color spaces and color systems such as the L * a * b * color system, the L * u * v * color system, and the like.
<実施の形態3>
図20は、本発明の実施の形態3である画像表示装置の構成を示すブロック図である。実施の形態3に係る画像表示装置は、上述の実施の形態1に係る画像処理装置において、画像処理装置7の替わりに画像処理装置27を備えるものである。
<
FIG. 20 is a block diagram showing a configuration of an image display apparatus according to
実施の形態3に係る画像処理装置27は、色味情報解析部29、コンテンツ特徴判定部13及び画像補正部6から構成され、画像補正部6は、補正制御部4及び補正実行部5を有している。受信部2から得られる画像信号Dbは、画像処理装置27の色味情報解析部29及び補正実行部5にそれぞれ入力される。
The
色味情報解析部29は、画像信号Dbに含まれる色相情報H、彩度情報S、明度情報Vから、各フレームにおける色味情報(特徴)値Ciを検出して、コンテンツ特徴判定部13に出力する。
The hue
コンテンツ特徴判定部13は、色味情報値Ciをもとに1フレーム分の映像コンテンツの特徴を判定し、複数フレーム分の映像コンテンツを解析した後、その解析結果である、複数コンテンツ特徴判定値Fiを補正制御部4に出力する。
The content
補正制御部4は、補正実行部5が画像信号Dbに対する画像補正を行う際に使用する補正パラメータPiを複数コンテンツ特徴情報Fiに基づいて算出し、補正実行部5に出力する。
The
図21は、図20で示した色味情報解析部29の一内部構成例の詳細を示すブロック図である。図21に示されるように、実施の形態3の画像表示装置における色味情報解析部29は、色味情報検出部190c、色空間領域分割部291c、特徴情報算出部93c、及び特徴情報解析部292cを備えている。
FIG. 21 is a block diagram illustrating details of an internal configuration example of the color
図21で示した例では、受信部2から得られ、色相情報H、彩度情報S、及び明度情報Vを含む画像信号Dbは、色味情報検出部190cに入力される。
In the example illustrated in FIG. 21, the image signal Db obtained from the receiving
色味情報検出部190cは、1フレーム分の画像信号Dbから色相情報H、彩度情報S、及び明度情報Vを抽出し、色空間領域分割部291cへ出力する。
The hue
分割統計処理部である色空間領域分割部291cは、色味情報検出部190cから色相情報H、彩度情報S、及び明度情報Vを受ける共に、特徴情報解析部292cより分割内容指示情報Cbを受ける。
The color space
そして、色空間領域分割部291cは、1フレーム分の画像信号Dbにおける明度情報Vのみに基づき、色空間を複数の色領域(第1の複数の分割領域)に分割する。そして、色空間領域分割部291cは、色空間から、上記第1の複数の分割領域における分割統計処理を行って第1の統計結果である領域分割情報JDdを検出して、特徴情報算出部93cに出力する。実施の形態3では色空間の例として、HSV色空間を利用する。
Then, the color space
なお、実施の形態3においては、色空間領域分割部291cは明度情報Vのみに基づき、色空間を複数の色領域(第1の複数の分割領域)に分割しているが、1フレーム分の画像信号Dbにおける色相情報H、彩度情報S及び明度情報Vのいずれか一つに基づき、色空間を複数の色領域に分割することも勿論可能である。
In the third embodiment, the color space
色空間領域分割部291cは、上記第1の統計結果である領域分割情報JDdを出力後、詳細分割を指示する分割内容指示情報Cbを受けた場合、以下の処理をさらに行う。すなわち、色空間領域分割部291cは、1フレーム分の画像信号Dbにおける彩度情報S及び色相情報Hの少なくとも一つに基づき、色空間を複数の色領域(第2の複数の分割領域)に分割する。そして、色空間領域分割部291cは、色空間から、上記第2の複数の分割領域における分割統計処理を行って第2の統計結果である領域分割情報JDdをさらに検出し、特徴情報算出部93cに出力する。なお、分割内容指示情報Cbには詳細分割すべき具体的な指示内容(色相情報Hのみ、色相情報H及び彩度情報Sの組合せ等)の指示内容が含まれる。
When the color space
特徴情報算出部93c及び特徴情報解析部292cは色空間領域分割部291cより受ける領域分割情報JDd(第1あるいは第2の統計結果)に基づき、後に詳述する色味特徴値Ct、色味特徴値付随情報Ct2及び分割内容指示情報Cbを生成する分割領域解析処理部として機能する。
The feature
特徴情報算出部93cは、色空間領域分割部291cで生成された領域分割情報JDdから領域特徴情報Ddsを抽出し、特徴情報解析部292cに出力する。
The feature
特徴情報解析部292cは、特徴情報算出部93cで生成された領域特徴情報Ddsに基づき、1フレーム分の画像信号Dbにおける色味特徴値Ctを算出して、色味情報値Ciとしてコンテンツ特徴判定部13に出力する。したがって、領域特徴情報Ddsが明度情報Vのみによる第1の統計結果に基づく場合、明度情報Vに基づく色味特徴値Ct(第1の色味特徴値)が得られる。一方、領域特徴情報Ddsが少なくとも色相情報H及び彩度情報Sの一方を含む第2の統計結果に基づく場合、色相情報H及び彩度情報Sの少なくとも一つに基づく色味特徴値Ct(第2の色味特徴値)が得られる。
The feature
さらに、特徴情報解析部292cは必要に応じて色味特徴値Ctについての付帯情報である色味特徴値付随情報Ct2をコンテンツ特徴判定部13に出力する。
Furthermore, the feature
特徴情報解析部292cは、色味特徴値Ctが上記第1の色味特徴値に該当する場合、色味特徴値Ctの値の大きさを判定することにより、上記第2の複数の分割領域における詳細な解析が必要であるか、不要であるかを判断する。そして、上記第2の複数の分割領域に詳細な分析が必要であると判断した場合、特徴情報解析部292cは、詳細分割を指示する分割内容指示情報Cbを色空間領域分割部291cに出力する。また、分割内容指示情報Cbが詳細分割を指示する場合、分割内容指示情報Cbには分割内容も含まれる。
When the color feature value Ct corresponds to the first color feature value, the feature
特徴情報解析部292cは、上記第2の複数の分割領域における詳細な分析が不要であると判断した場合、明度情報Vに基づく色味特徴値Ct(第1の色味特徴値)をそのまま色味情報値Ciとしてコンテンツ特徴判定部13に出力する。
When the feature
図21で示した例において、入力される画像信号Dbがインターレス信号の場合は、2フィールド分を1フレーム分の画像信号として、色味情報検出部190cにより変換を行った後、色空間領域分割部291cより領域分割情報JDdを求める。このように色味情報検出部190cにおいて、領域分割情報JDdを求めるための前処理を行っても良い。
In the example shown in FIG. 21, when the input image signal Db is an interlace signal, the color information is converted by the color
他の前処理の例として、映像信号DbがRGB信号等の、色相情報H、彩度情報S、明度情報Vと異なった表色系で示されている際、既知の計算式により色相情報H、彩度情報S、明度情報Vへと変換することも考えられる。 As another example of pre-processing, when the video signal Db is shown in a color system different from the hue information H, the saturation information S, and the lightness information V, such as an RGB signal, the hue information H is expressed by a known calculation formula. It is also conceivable to convert to saturation information S and lightness information V.
図22は、色空間領域分割部291cが必ず生成する、上記第1の複数の分割領域における領域分割情報JDd(第1の統計結果)の一例を示したグラフである。図22で示した例では、領域分割情報JDdとして、明度情報Vに関する明度ヒストグラムを生成している。以下、色空間領域分割部291cにより生成された画像信号Dbにおける明度情報Vのヒストグラムを規定した情報を明度ヒストグラムDbvと呼ぶ。
FIG. 22 is a graph showing an example of the region division information JDd (first statistical result) in the first plurality of divided regions that is always generated by the color space
図22で示した例において、明度ヒストグラムDbvを作成するにあたり、明度情報Vを利用しているが、明度情報V以外の、色相情報H、彩度情報Sを利用してヒストグラムを作成してもかまわない。また、色相情報H、彩度情報S、明度情報Vを組み合わせて明度ヒストグラムDbvを作成してもかまわない。 In the example shown in FIG. 22, the brightness information V is used to create the brightness histogram Dbv. However, even if the histogram is created using hue information H and saturation information S other than the brightness information V, the histogram is created. It doesn't matter. Further, the lightness histogram Dbv may be created by combining the hue information H, the saturation information S, and the lightness information V.
なお、実施の形態3においては明度情報Vに関するヒストグラムを作成することで、明度情報Vを所定の閾値により複数の領域へと分割しているが、ヒストグラムを作成する以外の手法により領域を分割することも考えられる。 In the third embodiment, the lightness information V is divided into a plurality of regions by creating a histogram relating to the lightness information V. However, the region is divided by a method other than creating a histogram. It is also possible.
図22で示した例では、図中の横軸は階調値(階級)を示し、縦軸は度数、つまり1フレーム分の画像信号Dbの明度に対する画素数を示している。なお以下の説明では、画像信号Dbの明度情報Vは、例えば8ビットのデータで構成されており、その階調値が“0”から“255”までの値を採り、その階調数は“256”とする。画像信号Dbは本例では8ビットで表しているが、例えば10ビット、6ビットのような他の階調数で表しても良い。 In the example shown in FIG. 22, the horizontal axis in the figure indicates the gradation value (class), and the vertical axis indicates the frequency, that is, the number of pixels with respect to the brightness of the image signal Db for one frame. In the following description, the lightness information V of the image signal Db is composed of, for example, 8-bit data, and the gradation value takes a value from “0” to “255”. 256 ". The image signal Db is represented by 8 bits in this example, but may be represented by other gradation numbers such as 10 bits and 6 bits.
実施の形態3における色空間領域分割部291cは、例えば256の階調数を8階調ごとに32の領域に分割し、当該32の領域をヒストグラムの階級としている。そして、各階級での中心値付近の値、本例では、当該中心値に最も近くそれよりも大きい整数値を当該階級の代表値としている。例えば、階調値“0”から“7”までで構成される階級では、中心値は“3.5”となるため、当該階級の代表値は“4”となる。図22の横軸の数字は各階級の代表値を示している。以下、代表値が“i”である明度ヒストグラムの明度をCbv(i),その度数を、Dbv(i)と呼ぶ。
The color space
なお、階級の中心値が整数であれば、当該中心値を当該階級の代表値としても良い。また、本例のように階級の中心値が整数でなく小数の場合であっても、階級の代表値として当該階級の中心値を採用しても良い。階級の中心値が小数の場合には、本例のように、階級の代表値として当該階級の中心値付近の整数を採用することによって、演算量を低減できる。 If the center value of the class is an integer, the center value may be used as the representative value of the class. Further, even when the center value of the class is not an integer but a decimal number as in this example, the center value of the class may be adopted as the representative value of the class. When the center value of a class is a decimal, the amount of calculation can be reduced by adopting an integer near the center value of the class as a representative value of the class as in this example.
このように、実施の形態3における色空間領域分割部291cでは、8つの連続する階調値からなる領域を一つの階級としているため、図22に示されるヒストグラムの各度数は、8階調分の信号の総和となる。例えば、横軸の数値4に示された度数は、1フレーム分の輝度信号Dbに含まれる、階調値0から階調値7までの信号の総和に相当する。
As described above, in the color space
なお、図22のヒストグラムとは異なり、各階調値ごとに度数を計数してヒストグラムを生成してもよい。つまり、各階級を一つの階調値で構成するようにしても良い。この場合には、各階級の代表値は当該階級を構成する階調値そのものとなる。 Note that, unlike the histogram of FIG. 22, the histogram may be generated by counting the frequency for each gradation value. That is, each class may be configured with one gradation value. In this case, the representative value of each class is the gradation value itself constituting the class.
また、階調数を分割する場合には、その分割数は32以外に設定しても良く、ヒストグラムの分割数や範囲を自由に設定しても良い。例えば、階調数が“256”の場合、階調値“0”から“32”と“200”から“255”の範囲を4階調刻み、その他を24刻みとすることもできる。このように当該分割数を変化させることによって、色空間領域分割部291cでの演算量や、ヒストグラムの精度を調節することができる。
Further, when the number of gradations is divided, the number of divisions may be set to other than 32, and the division number and range of the histogram may be set freely. For example, when the number of gradations is “256”, the gradation values “0” to “32” and “200” to “255” can be in four gradations, and the others can be in 24. In this way, by changing the number of divisions, it is possible to adjust the amount of calculation in the color space
特徴情報算出部93cは、色空間領域分割部291cで生成されたヒストグラムにおいて、階級の最大から最小に向かって度数を累積し、それによって得られる累積度数HYWが所定の閾値YAよりも初めて大きくなる階級の代表値を抽出する。そして、抽出した値を最大階調情報値Vimaxとして算出する。
In the histogram generated by the color space
一方、色空間領域分割部291cで生成されたヒストグラムにおいて、階級の最小から最大に向かって度数を累積し、それによって得られる累積度数HYBが所定の閾値YBよりも初めて大きくなる階級の代表値を抽出する。そして、抽出した値を最小階調情報値Viminとして算出する。
On the other hand, in the histogram generated by the color space
また、色空間領域分割部291cで生成されたヒストグラムにおいて、階級の最小から最大に向かって度数を累積し、それによって得られる累積度数HYBが所定の閾値YC(たとえば画素数全体の半分)よりも初めて大きくなる階級の代表値を抽出する。そして、抽出した値を中間輝度階調Vimidとして算出する。なお、中間輝度階調Vimidの算出は、累積度数HYWを用いてもよい。
Further, in the histogram generated by the color space
図22に示されるヒストグラムでは、累積度数HYWが閾値YAよりも初めて大きくなる階級の代表値は“188”であるため、この“188”が最大階調情報値Vimaxとなる。このように、最大階調情報値Vimaxは1フレーム分の映像信号Dbにおける最大階調値“204”とは異なり、累積度数HYW及び閾値YAを用いて検出された最大階調値に準ずる値である。なお、処理の軽減のため最大階調値自体を最大階調情報値として用いてもよい。これは以下の最小階調情報値についても同様である。 In the histogram shown in FIG. 22, the representative value of the class in which the cumulative frequency HYW becomes larger than the threshold value YA for the first time is “188”, so “188” is the maximum gradation information value Vimax. Thus, unlike the maximum gradation value “204” in the video signal Db for one frame, the maximum gradation information value Vimax is a value according to the maximum gradation value detected using the cumulative frequency HYW and the threshold value YA. is there. Note that the maximum gradation value itself may be used as the maximum gradation information value in order to reduce processing. The same applies to the following minimum gradation information values.
また図22の例では、累積度数HYBが閾値YBよりも初めて大きくなる階級の代表値が“20”であるため、この“20”が最小階調情報値Viminとなる。この最小階調情報値Viminは、1フレーム分の画像信号Dbにおける最小階調値ではなく、累積度数HYB及び閾値YBを用いて検出された、最小階調値に準ずる値となる。 In the example of FIG. 22, the representative value of the class in which the cumulative frequency HYB becomes larger than the threshold value YB for the first time is “20”, so “20” is the minimum gradation information value Vimin. This minimum gradation information value Vimin is not the minimum gradation value in the image signal Db for one frame, but a value according to the minimum gradation value detected using the cumulative frequency HYB and the threshold value YB.
そして、累積度数HYBが閾値YCよりも初めて大きくなる階級の代表値は“76”であるため、この“76”が中間階調情報値Vimidとなる。通常、この中間階調情報値Vimidは、1フレーム分の画像信号Dbにおける全体の画素数の半分(50%)に達したときの階調値となる。 Since the representative value of the class in which the cumulative frequency HYB becomes larger than the threshold value YC for the first time is “76”, this “76” becomes the intermediate gradation information value Vimid. Normally, this intermediate gradation information value Vimid is a gradation value when it reaches half (50%) of the total number of pixels in the image signal Db for one frame.
さらに、特徴情報算出部93cは、色空間領域分割部291cをスルーして得られる1フレーム分の画像信号Dbの明度情報Vから、1フレーム分の明度情報Vにおける平均明度情報値を演算してこれを平均階調情報値Viaveとして算出する。具体的には、明度信号階調数をVi、その明度信号階調の画素数をVdi として以下の式(1)で計算する。
Further, the feature
(平均明度情報値)=Σ(Vi×Vdi)/ΣVdi…(1)
この平均明度情報値を平均階調情報値Viaveとして出力する。
(Average brightness information value) = Σ (Vi × Vdi) / ΣVdi (1)
This average brightness information value is output as an average gradation information value Viave.
このようにして、特徴情報算出部93cは、最小階調情報値Vimin、最大階調情報値Vimax、中間階調情報値Vimid及び平均階調情報値Viaveを規定した第1の統計結果用の領域特徴情報Ddsを出力する。上記のように、明度情報値V、明度ヒストグラムDbvより統計的に分類される最大階調情報値Vimax等の情報値を含むため、1フレーム毎に統計的に分類された精度の高い明度情報値を得ることができる。
In this way, the feature
また上記した例では、色空間領域分割部291cにより、ヒストグラムを均等に分割しているが、ヒストグラムを不均等に分割し、度数を計数する対象となる階調値の範囲を自由に設定できるように構成してもよい。これにより、演算量を低減することができる。
In the above example, the color space
例えば、最小明度情報値条件(閾値YB)を16階調、最大明度情報値条件(閾値YW)を160階調と設定した場合を想定する。均等分割をする場合には、最小明度情報値条件に合致させるべく16階調ごとに分割を行うことで、16個の領域に分割することが考えられる。一方、不均等に分割できる場合、最低限0から16階調、16から160階調、160から255階調の3個の領域分割で上記した最小明度情報値条件および最大明度情報条件値を満足させながら、分割数軽減に伴う大幅な演算量低減を図ることができる。 For example, it is assumed that the minimum brightness information value condition (threshold YB) is set to 16 gradations and the maximum brightness information value condition (threshold YW) is set to 160 gradations. In the case of equal division, it is possible to divide into 16 areas by dividing every 16 gradations so as to match the minimum brightness information value condition. On the other hand, if it can be divided non-uniformly, the minimum brightness information value condition and the maximum brightness information condition value described above are satisfied with at least three area divisions of 0 to 16 gradations, 16 to 160 gradations, and 160 to 255 gradations. In this way, it is possible to significantly reduce the amount of calculation associated with the reduction in the number of divisions.
なお、最小明度情報値条件、最大明度情報値条件に合致せずとも、他の階調の値より算術演算により最小明度情報値条件、最大明度情報値条件を推定してもかまわない。ただし、その際には精度が減少する。たとえば、16階調の階調値を求める際に、12階調および20階調の階調値を求め、平均値を取ることで、16階調を推定する方法などが考えられる。本例を利用するのは、ハードウェアやソフトウェアなどの制約により、合致する階調値が算出できない場合等が考えられる。 Note that, even if the minimum brightness information value condition and the maximum brightness information value condition are not met, the minimum brightness information value condition and the maximum brightness information value condition may be estimated by arithmetic operation from values of other gradations. However, in that case, accuracy decreases. For example, when obtaining gradation values of 16 gradations, a method of estimating gradation values of 16 gradations by obtaining gradation values of 12 gradations and 20 gradations and taking an average value may be considered. This example may be used when a matching gradation value cannot be calculated due to restrictions such as hardware and software.
特徴情報解析部292cは、明度ヒストグラムDbvから抽出した領域特徴情報Dds(最大階調情報値Vimax、中間階調情報値Vimid、最小階調情報値Vimin、平均階調情報値Viave)の各度数が、所定の明度判定閾値TDbv1より小さい値であるか、閾値TDbv1より大きく所定の閾値である閾値TDbv2以下の値であるか、明度判定閾値TDbv2より大きい値であるかを判定する。
The feature
そして、特徴情報解析部292cは、最大階調情報値Vimax、中間階調情報値Vimid、最小階調情報値Vimin、平均階調情報値Viaveそれぞれに関し、3つの分類情報値、「小(低)」・「中」・「大(高)」のうちいずれか一を指示する明度判定情報値Dbvcを規定する色味特徴値Ctを決定する。
The feature
図23は特徴情報解析部292cによる明度判定情報値Dbvcの生成例を示す説明図である。同図に示すように、最大階調情報値Vimaxは、所定の閾値TDbv1と、閾値TDbv1より大きな所定の閾値であるTDbv2値との間の値であるため、明度判定情報値Dbvcは最大階調情報値Vimaxに関し「中」であると規定する。
FIG. 23 is an explanatory diagram illustrating an example of generation of the brightness determination information value Dbvc by the feature
なお、本例では所定の閾値は二種類であり分類情報値は大中小の3通りに分類したが、二種類,3通り以外に分類してもよい。すなわち閾値は二種類より多くても、少なくてもかまわない。閾値を多く調整することにより、より詳細な分類が可能になる。また、閾値の数を少なくすることにより、処理量を低減することができる。同様にして、分類情報値は3通りより多くても少なくても構わない。 In this example, the predetermined threshold value is classified into two types and the classification information value is classified into three types of large, medium and small, but may be classified into other than two types and three types. That is, the threshold value may be more or less than two types. More detailed classification is possible by adjusting a large number of threshold values. Further, the processing amount can be reduced by reducing the number of thresholds. Similarly, there may be more or less classification information values.
また、領域特徴情報Dds内の各パラメータ毎に閾値の値を変えてもかまわない。例えば、一のパラメータである最大階調情報値Vimaxに関しては、所定の閾値TDbv1のみにより判断し、別のパラメータである最小階調情報値Viminは、所定の閾値TDbv1及び、別の所定の閾値TDbv2、TDbv3により明度判定情報値Dbvcを求めるという手法も取ることができる。このように、領域特徴情報Ddsの各パラメータ毎に閾値の値を変えることにより、詳細に解析を行いたい明度領域を重点的に解析し、詳細な解析が不要な明度領域の解析精度を下げる等の効果を得ることができる。 Further, the threshold value may be changed for each parameter in the region feature information Dds. For example, the maximum gradation information value Vimax that is one parameter is determined only by a predetermined threshold TDbv1, and the minimum gradation information value Vimin that is another parameter is determined by a predetermined threshold TDbv1 and another predetermined threshold TDbv2. , TDbv3 can also be used to obtain the lightness determination information value Dbvc. In this way, by changing the threshold value for each parameter of the region feature information Dds, the lightness region desired to be analyzed in detail is focused on, and the analysis accuracy of the lightness region that does not require detailed analysis is reduced. The effect of can be obtained.
特徴情報解析部292cは、色味特徴値Ctを色味情報値Ciとしてコンテンツ特徴判定部13に出力するに先がけて、求めた色味特徴値Ctの値により、さらに、上記第2の複数の分割領域における領域分割情報Ddによる詳細な解析が必要であるか、不要であるかを指示する分割内容指示情報Cbを算出する。
Prior to outputting the color feature value Ct to the content
図24は、特徴情報解析部292cによる色味特徴値Ct(第1の色味特徴値)と分割内容指示情報Cbとの関係を表形式で示す説明図である。同図に示すように、特徴情報解析部292cは色味特徴値Ctが指示する中間階調情報値Vimidが「大」である場合(第1のケース)には、色味特徴値Ctは原則として色味情報値Ciとしてコンテンツ特徴判定部13に出力しない。
FIG. 24 is an explanatory diagram showing the relationship between the color feature value Ct (first color feature value) and the divided content instruction information Cb by the feature
上記第1のケースでは、特徴情報解析部292cは、色相情報H及び彩度情報Sに関する詳細分割を指示する分割内容指示情報Cbを色空間領域分割部291cに出力し、色相情報H及び彩度情報Sに関する上記第2の複数の分割領域における分割統計処理を色空間領域分割部291cに実行させる。
In the first case, the feature
一方、特徴情報解析部292cは色味特徴値Ctが指示する中間階調情報値Vimidが「中」である場合(第2のケース)には、色味特徴値Ct(第1の色味特徴値)は原則として色味情報値Ciとしてコンテンツ特徴判定部13に出力しない。
On the other hand, when the intermediate tone information value Vimid indicated by the color feature value Ct is “medium” (second case), the feature
上記第2のケースでは、特徴情報解析部292cは、色相情報Hに関する詳細分割を指示する分割内容指示情報Cbを色空間領域分割部291cに出力し、色相情報Hに関する上記第2の複数の分割領域における分割統計処理を色空間領域分割部291cに実行させる。
In the second case, the feature
上述した第1及び第2のケースでは、最終的に特徴情報解析部292cは、上記第2の統計結果である領域分割情報JDdに基づき特徴情報算出部93cより再び得られた領域特徴情報Ddsに基づき、色味特徴値Ct(第2の色味特徴値)を再び得て、この色味特徴値Ctを少なくとも含む情報を色味情報値Ciとしてコンテンツ特徴判定部13に出力することになる。
In the first and second cases described above, the feature
また、特徴情報解析部292cは、色味特徴値Ctが指示する中間階調情報値Vimidが「小」である場合(第3のケース)には、色味特徴値Ct(第1の色味特徴値)をそのまま色味情報値Ciとしてコンテンツ特徴判定部13に出力する。上記第3のケースでは、特徴情報解析部292cは、詳細分割を指示する分割内容指示情報Cbを出力することはない。
Also, the feature
上記第1〜第3ケースによける特徴情報解析部292cによる分割内容指示情報Cbの指示内容の判断は、領域特徴情報Ddsにおける明度判定情報値Dbvc毎に一意に与えられている。なお、分割内容指示情報Cbは、色味特徴値Ct内における明度判定情報値Dbvcの組み合わせに基づき指示内容を変更するようにしてもかまわない。
The determination of the instruction content of the divided content instruction information Cb by the feature
図24で示した例では、中間階調情報値Vimidが「大」である上記第1のケースの際に、色空間領域分割部291cによって「色相情報H・彩度情報S」に関する第2の複数の分割領域における分割統計処理が再び行われる。その結果、色空間領域分割部291cは、彩度情報S及び彩度情報Sに基づく第2の複数の分割領域の度数、つまり1フレーム分の画像信号Dbの第2の複数の分割領域それぞれに対する画素数を算出し、該当分割領域の色相情報H、彩度情報Sとともに、上記度数を含む情報である領域分割情報JDd(H,S,V,D)を特徴情報算出部93cに出力する。この領域分割情報JDdが第2の統計結果となる。
In the example shown in FIG. 24, in the first case where the intermediate gradation information value Vimid is “large”, the color space
これは、第1の統計結果より得られる中間階調情報値Vimidが「大」であるとき、明度情報Vのみで判断するより、第2の統計結果により得られる色相情報H及び彩度情報Sを含めて判断する方が精度が向上するためである。例えば、中間階調情報値Vimidが「大」であるときに、多く含まれる色として緑や赤などの色合いが挙げられるが、明度ヒストグラムDbvからでは、これらの色合いの区別がつきにくい。そのため、該当領域あるいは全体に関する詳細解析を行うべく、色相情報H、及び彩度情報Sを含む情報を色空間領域分割部291cから出力させる必要があるからである。
This is because the hue information H and the saturation information S obtained from the second statistical result are judged by only the lightness information V when the intermediate gradation information value Vimid obtained from the first statistical result is “large”. This is because the accuracy is improved by making a judgment including the above. For example, when the intermediate gradation information value Vimid is “large”, shades of green, red, and the like are included as colors that are often included, but it is difficult to distinguish these shades from the brightness histogram Dbv. For this reason, it is necessary to output information including the hue information H and the saturation information S from the color space
その結果、特徴情報算出部93c及び特徴情報解析部292cによって、色相情報H及び彩度情報Sに基づく色味特徴値Ct(第2の色味特徴値)を少なくとも含む情報が色味情報値Ciとしてコンテンツ特徴判定部13に出力される。
As a result, the feature
なお、コンテンツ特徴判定部13による詳細な解析を行うにあたり、第1の色味特徴値に該当する色味情報値Ciの値から判断できる内容を色味特徴値付随情報Ct2に反映させてもかまわない。例えば、中間階調情報値Vimidが「大」である上記第1のケースに該当する場合、コンテンツ特徴判定部13において求められるコンテンツ特徴情報値Siは、スポーツ(S1)あるいはドラマ(S5)である可能性が高い。そこで、特徴情報解析部292cは、スポーツ(S1)あるいはドラマ(S5)である可能性が高いことを指示する色味特徴値付随情報Ct2をコンテンツ特徴判定部13に出力する。したがって、コンテンツ特徴判定部13は、色相情報H及び彩度情報Sに基づく第2の色味特徴値に該当する色味情報値Ciに対して詳細な解析を行う際、色味特徴値付随情報Ct2の情報を考慮して、音楽(S2)、スタジオ(S3)、映画(S4)の選択肢をはずし、スポーツ(S1)あるいはドラマ(S5)のどちらかに判断することで、処理数を減らすことが可能になる。
In the detailed analysis by the content
特徴情報解析部292cは、前述したように詳細な解析を行う必要があると判断した場合、詳細分割を指示する分割内容指示情報Cbを出力する。この場合、色空間領域分割部291cは、特徴情報解析部292cからの分割内容指示情報Cbの指示内容に基づき、上記第2の複数の分割領域における詳細な領域分割処理を行う。
When the feature
一方、特徴情報解析部292cは、前述したように詳細な解析を行う必要がないと判断した場合、第1の色味特徴値である色味特徴値Ctをそのまま色味情報値Ciとしてコンテンツ特徴判定部13に出力する。
On the other hand, if the feature
なお、実施の形態3では、特徴情報解析部292cからの分割内容指示情報Cbの詳細分割指示による詳細な解析は1回のみ行われているが、必要に応じて解析する領域を変更し、詳細解析を複数回行うようにしてもよい。また、詳細な解析を行う際に、領域の分割数や閾値の設定を必要に応じて変更してもよい。これにより以前の解析で、求め切れなかった詳細な解析が可能になる。
In the third embodiment, the detailed analysis based on the detailed division instruction of the divided content instruction information Cb from the feature
第2の複数の分割領域を用いた詳細な解析の一例を図25に示す。図25に示す例では、画像信号Dbに対して、色相情報H、彩度情報Sに関する詳細な解析を行っており、色空間領域分割部291cにより、色相情報H及び彩度情報Sに基づき3種類の分割領域Dd(19)、Dd(20)、及びDd(21)からなる複数の分割領域(第2の複数の分割領域)による分割を行っている。本例におけるDd(19)は、HSV色空間において、色が鮮やかではなく黒や白に近い色であり、またDd(20)は緑に近い色合い、Dd(21)は赤に近い色合いを表している。
An example of detailed analysis using the second plurality of divided regions is shown in FIG. In the example shown in FIG. 25, detailed analysis regarding the hue information H and the saturation information S is performed on the image signal Db, and the color space
このように、色空間領域分割部291cは、分割内容指示情報Cbが詳細分割を指示する場合、色相情報H及び彩度情報Sのうち少なくと一つに基づき色空間が分割された第2の複数の分割領域における分割統計処理を行って、第2の統計結果である領域分割情報JDdを出力する。
In this way, the color space
これらの第2の複数の分割領域に関しても、特徴情報解析部292cにおける例で示した通り、閾値により「大(高)」「中」「小(低)」のいずれかに分類し、詳細分割領域Dd(19)、Dd(20)、Dd(21)における色相・彩度判定情報値Ddshc(i)の組み合わせを色味特徴値Ct(第2の色味特徴値)とし、さらに必要に応じて第1の色味特定値の内容を含めて色味情報値Ciして出力する。このようにして、詳細な解析を行うことで、明度情報Vで表した場合に近い値であったジャンル間においても、その区別を正確に判定することができる。
These second plurality of divided regions are also classified into one of “large (high)”, “medium”, and “small (low)” according to the threshold, as shown in the example in the feature
そのほかの詳細な解析の例として、一部の領域のみ詳細な解析を行うことが挙げられる。例えば、図26に示すように、明度ヒストグラムDbvにおいて度数が最大である領域Dbv(100)の領域に関して、色相情報H、彩度情報Sに関する詳細な解析を行う等の手法が考えられる。この場合、分割内容指示情報Cbには、明度ヒストグラムDbvにおいて度数が最大である明度情報Vと、色相情報H及び彩度情報Sに関する詳細分割を指示する情報とが含まれる。 Another example of detailed analysis is to perform detailed analysis on only a part of the region. For example, as shown in FIG. 26, a method of performing a detailed analysis on the hue information H and the saturation information S with respect to the region Dbv (100) where the frequency is maximum in the brightness histogram Dbv can be considered. In this case, the division content instruction information Cb includes lightness information V having the highest frequency in the lightness histogram Dbv, and information instructing detailed division related to the hue information H and the saturation information S.
また、その他の例として、最小階調情報値Viminと最大階調情報値Vimaxの間の領域に関して色相情報H、彩度情報Sに関する詳細な解析を行うという方法も考えられる。明度情報Vの高い領域、低い領域は白黒に近い色味になっている。このため、明度情報Vの高い領域、低い領域に関しては、上記第1の複数の分割領域のみを用いて詳細な解析を行わず、それ以外の領域に関して上記第2の複数の領域をさらに用いた詳細な解析を行うことにより、必要な演算量を低減することができる。このように一部の領域のみにおいて詳細な解析を行うことで、余計な解析を省略し、演算量を低減することが可能になる。 As another example, a method of performing a detailed analysis on the hue information H and the saturation information S for a region between the minimum gradation information value Vimin and the maximum gradation information value Vimax is also conceivable. Areas with high and low brightness information V have a color close to black and white. For this reason, for the regions with high and low brightness information V, detailed analysis is not performed using only the first plurality of divided regions, and the second plurality of regions are further used for the other regions. By performing detailed analysis, it is possible to reduce the amount of calculation required. Thus, by performing detailed analysis only in a part of the region, it is possible to omit extra analysis and reduce the amount of calculation.
なお、実施の形態3では明度情報Vに関する解析結果(第1の色味特徴値)に基づき、色相情報Hあるいは彩度情報Sに関する詳細な解析を行ったが、詳細な解析は色相情報H、彩度情報S、明度情報Vのうち、少なくとも一つを利用すればどの情報に関して行ってもよい。また、詳細な解析を行う領域は、既存の分割領域、新しく作成する分割領域、HSV色相空間全体のいずれを利用してもよい。 In the third embodiment, the detailed analysis on the hue information H or the saturation information S is performed based on the analysis result (first color characteristic value) on the lightness information V. The detailed analysis is performed on the hue information H, Any information may be used as long as at least one of the saturation information S and the lightness information V is used. In addition, as an area for performing detailed analysis, any of existing divided areas, newly created divided areas, and the entire HSV hue space may be used.
図27はコンテンツ特徴判定部13の詳細な構成を示すブロック図の一例である。同図に示すように、実施の形態3の画像表示装置におけるコンテンツ特徴判定部13は、明度等特徴判定部301、複数フレーム積算部102、及び判断速度調整部103とを備えている。
FIG. 27 is an example of a block diagram illustrating a detailed configuration of the content
明度等特徴判定部301は、色味情報解析部29から出力される色味情報値Ci(色味特徴値Ct)が規定する組み合わせ内容に基づきコンテンツ特徴判定値Siを判定して、複数フレーム積算部102及び判断速度調整部103にそれぞれ出力する。この際、色味特徴値付随情報Ct2に有用な指示内容が存在する場合、その内容も加味してコンテンツ特徴判定値Siを判定する。
The
例えば、図24の例において、中間階調情報値Vimidが「大」である上記第1のケースに該当する場合、上述したように、スポーツ(S1)あるいはドラマ(S5)である可能性が高いことを指示する色味特徴値付随情報Ct2を色味情報解析部29より受けるため、明度等特徴判定部301はスポーツ(S1)あるいはドラマ(S5)に絞り込んだ判定を行うことができる。
For example, in the example of FIG. 24, when it corresponds to the first case where the intermediate gradation information value Vimid is “large”, as described above, there is a high possibility of being a sport (S1) or a drama (S5). Since the color feature value accompanying information Ct2 is received from the color
明度等特徴判定部301は、色味情報値Ci(色味特徴値Ct)が上記第1の統計結果に基づく第1の色味特徴値に該当する場合、色味情報値Ciに基づきコンテンツ特徴判定値Siを判定する。
When the color information value Ci (color characteristic value Ct) corresponds to the first color characteristic value based on the first statistical result, the
図22〜図24で示した例では、色味情報値Ci(色味特徴値Ct)が規定する、4種類の最大階調情報値Vimax等による最大81(3の4乗)通りの組み合わせにより、所定数のコンテンツ特徴判定値Siが明度等特徴判定部301により判定される。
In the example shown in FIG. 22 to FIG. 24, there are a maximum of 81 (3 to the 4th power) combinations based on four types of maximum gradation information values Vimax defined by the color information value Ci (color characteristic value Ct). A predetermined number of content feature determination values Si are determined by the
一方、明度等特徴判定部301は、色味情報値Ci(色味特徴値Ct)が上記第2の統計結果に基づく第2の色味特徴値に該当する場合、当該色味情報値Ciに加え、必要に応じて色味特徴値付随情報Ct2の情報を加味して、コンテンツ特徴判定値Siを判定する。
On the other hand, if the color information value Ci (color characteristic value Ct) corresponds to the second color characteristic value based on the second statistical result, the lightness
なお、明度等特徴判定部301による第1あるいは第2の色味特徴値に該当する色味情報値Ciに基づくコンテンツ特徴判定の組み合わせ内容は、観視者の好みや映像データベースを元に任意に作成することが出来る。
Note that the content feature determination combination content based on the color information value Ci corresponding to the first or second color feature value by the
また、明度等特徴判定部301は、色味情報値Ciが規定する組合せ内容のうちの一部の情報に基づき判定してもよい。
The
図27で示したコンテンツ特徴判定部13は一構成例であり、コンテンツ特徴判定部13は、色味情報値Ci(色味特徴値Ct)に基づき、コンテンツ特徴情報値Siを決定できる構成であればどのようなものでもよい。
The content
なお、複数フレーム積算部102及び判断速度調整部103の処理は、図5で示した実施の形態1におけるコンテンツ特徴判定部10における複数フレーム積算部102及び判断速度調整部103と同様であるため、同一符号を付して説明を適宜省略する。
Note that the processing of the
実施の形態3に係る画像補正部6は、図1で示した実施の形態1と同じものであり、実施の形態1で説明した動作と同じ動作を行うため、同一符号を付して説明を適宜省略する。
The
実施の形態3における画像表示装置において、色味情報解析部29の分割統計処理部である色空間領域分割部291cは、上記第1の複数の分割領域における色味情報(明度情報V)に関する分割統計処理を行って第1の統計結果を得ている。
In the image display device according to the third embodiment, the color space
一方、分割領域解析処理部を構成する特徴情報算出部93c及び特徴情報解析部292cにおける特徴情報解析部292cは、第1の統計結果に基づき得られた色味特徴値Ctが所定の要件を満足する場合、詳細分割を指示する分割内容指示情報Cbを色空間領域分割部291cに出力する。
On the other hand, in the feature
色空間領域分割部291cは、分割内容指示情報Cbの詳細分割の指示に応じて、上記第2の複数の分割領域における色味情報(色相情報H,彩度情報S)に関する分割統計処理を行って第2の統計結果をさらに得ている。
The color space
したがって、実施の形態3の画像表示装置は、第1の統計結果に基づく色味特徴値Ctのみによる比較的省短時間で実行可能な画像補正処理と、少なくとも第2の統計結果に基づく色味特徴値Ctによる比較的精度の高い画像補正処理を選択的に行うことができるため、画像信号の状況に応じてより適切な画像補正が行える。 Therefore, the image display apparatus according to the third embodiment has an image correction process that can be performed in a relatively short time using only the color feature value Ct based on the first statistical result, and a color based on at least the second statistical result. Since image correction processing with relatively high accuracy by the feature value Ct can be selectively performed, more appropriate image correction can be performed according to the state of the image signal.
加えて、実施の形態3に係る画像表示装置では、色味情報値Ciから判定された1フレーム分のコンテンツ特徴判定値Siに基づいて、複数フレーム分の特徴量より複数コンテンツ特徴判定値Fiを判定しているため、コンテンツの特性をより正確に判定することができる。また、コンテンツ特徴判定部13内の複数フレーム積算部102は判断速度情報値Tiに基づいてコンテンツ判定の速度を変更しているため、コンテンツの特徴に合わせてコンテンツの判断を行うタイミングを調整し、画像補正部6による画像補正を行うタイミングを調整することができる。これにより画質の変化が目立たない画像補正を行うことができる。
In addition, in the image display device according to the third embodiment, based on the content feature determination value Si for one frame determined from the color information value Ci, the multiple content feature determination value Fi is obtained from the feature amount for a plurality of frames. Since the determination is made, the characteristics of the content can be determined more accurately. In addition, since the
実施の形態3に係る画像表示装置は、色味情報値から、映像コンテンツの特徴量をより正確に判定する手法として、映像表示装置に限らず映像に関わる他分野での利用も考えられる。他の分野での利用として、例えば、ハードディスクやDVD等の映像レコーダー等の映像記録装置が上げられる。 The image display device according to the third embodiment is not limited to the video display device and can be used in other fields related to video as a method for more accurately determining the feature amount of the video content from the color information value. For example, a video recording device such as a video recorder such as a hard disk or a DVD may be used as another field.
一方、本実施の形態と同様なことを、上述の特許文献2に記載の技術を用いてコンテンツ特徴判定を行うには、予め内容種が既知であるマルチメディアデータが保持されている必要がある。そのため、初見の番組等では分類を行うことができない。
On the other hand, in order to perform content feature determination using the technique described in
特許文献3では、映像信号を、明度信号Vを基にした輝度ヒストグラムのみで分類しているため、画像信号Dbに含まれる色相情報H、彩度情報S、明度情報Vを併用して分類した場合に比べ、分類の精度が劣っており、詳細かつ正確な分類ができない。
In
なお、実施の形態3に係る画像表示装置では、HSV色空間を元に複数の色空間に分割したが、たとえばRGB色空間、CMY色空間、HLS色空間、YCbCr色空間、Lab表色系、L*a*b*表色系、L*u*v*表色系、等その他のあらゆる色空間や表色系に関しても適応することができる。 In the image display device according to the third embodiment, the color space is divided into a plurality of color spaces based on the HSV color space. For example, the RGB color space, the CMY color space, the HLS color space, the YCbCr color space, the Lab color system, The present invention can also be applied to all other color spaces and color systems such as the L * a * b * color system, the L * u * v * color system, and the like.
<プログラムへの応用>
実施の形態1の画像表示装置における構成部分(図1の色味情報解析部9、コンテンツ特徴判定部10及び補正制御部4による処理)の少なくとも一部をコンピュータ実行可能な実施の形態1対応のプログラムとして記述することができる。
<Application to program>
Corresponding to
同様にして、実施の形態2の画像表示装置における構成部分(図13の色味情報解析部19、コンテンツ特徴判定部12及び補正制御部4による処理)の少なくとも一部をコンピュータ実行可能な実施の形態2対応のプログラムとして記述することができる。
Similarly, an embodiment in which at least a part of the components in the image display apparatus according to the second embodiment (processing by the color
同様にして、実施の形態3の画像表示装置における構成部分(図20の色味情報解析部29、コンテンツ特徴判定部13及び補正制御部4による処理)の少なくとも一部をコンピュータ実行可能な実施の形態3対応のプログラムとして記述することができる。
Similarly, at least a part of the constituent parts (processing by the color
したがって、上記した実施の形態1〜実施の形態3対応のプログラムをコンピュータに実行させることにより、各実施の形態において、画像信号より得られるコンテンツの特性を正確に判定することができる効果を奏する。 Therefore, by causing the computer to execute the above-described programs corresponding to the first to third embodiments, in each embodiment, there is an effect that the characteristics of the content obtained from the image signal can be accurately determined.
2 受信部、4 補正制御部、5 補正実行部、6 画像補正部、7,17,27 画像処理装置、8 表示部、9,19,29 色味情報解析部、10,12,13 コンテンツ特徴判定部、90c 色相検出部、91c,191c,291c 色空間領域分割部、92c 色相情報解析部、292c 特徴情報解析部、101 色相特徴判定部、102 複数フレーム積算部、103 判断速度調整部、190c 色味情報検出部、192c 色味情報解析部、201 分割領域特徴判定部、93c 特徴情報算出部、301 明度等特徴判定部。 2 receiving unit, 4 correction control unit, 5 correction executing unit, 6 image correcting unit, 7, 17, 27 image processing device, 8 display unit, 9, 19, 29 color information analyzing unit, 10, 12, 13 content feature Determination unit, 90c Hue detection unit, 91c, 191c, 291c Color space region division unit, 92c Hue information analysis unit, 292c Feature information analysis unit, 101 Hue feature determination unit, 102 Multiple frame integration unit, 103 Judgment speed adjustment unit, 190c Color information detection unit, 192c Color information analysis unit, 201 Divided region feature determination unit, 93c Feature information calculation unit, 301 Brightness etc. feature determination unit
Claims (4)
前記色味情報値に基づき、前記画像信号に対するコンテンツの特徴判定を行い決定コンテンツ特徴判定値を求めるコンテンツ特徴判定部と、
前記決定コンテンツ特徴判定値に基づいて、1フレーム分の画像信号に対して画像補正を行う画像補正部とをさらに備え、
前記コンテンツ特徴判定部は、
前記色味情報値に基づき、1フレーム分の前記画像信号に対するコンテンツの特徴判定を行い仮コンテンツ特徴判定値を得る色味特徴判定部と、
前記仮コンテンツ特徴判定値を所定フレーム分相当量解析して前記決定コンテンツ特徴判定値を求める複数フレーム解析部と、
判断速度情報値が可変設定可能な判断速度調整部とを含み、前記複数フレーム解析部による前記決定コンテンツ特徴判定値を求めるための判定速度は前記判断速度情報値に基づき決定され、
前記判断速度調整部は、前記仮コンテンツ特徴判定値及び前記決定コンテンツ特徴判定値のうち、少なくとも一方の判定値に基づいて前記判断速度情報値を可変設定する、
画像表示装置。 A color information analysis unit that receives an image signal and performs analysis processing on a plurality of divided areas divided in the color space for the color information obtained from the image signal for one frame to obtain a color information value The color information includes at least one of saturation information and hue information;
A content feature determination unit that determines content features for the image signal based on the color information value and obtains a determined content feature determination value;
An image correction unit that performs image correction on an image signal for one frame based on the determined content feature determination value ;
The content feature determination unit
A color feature determination unit that performs content feature determination on the image signal for one frame based on the color information value and obtains a temporary content feature determination value;
A plurality of frame analysis units for analyzing the provisional content feature determination value by an amount corresponding to a predetermined frame to obtain the determined content feature determination value;
A determination speed adjustment unit capable of variably setting a determination speed information value, and a determination speed for obtaining the determined content feature determination value by the plurality of frame analysis units is determined based on the determination speed information value,
The determination speed adjustment unit variably sets the determination speed information value based on at least one of the temporary content feature determination value and the determined content feature determination value.
Image display device.
前記色味情報解析部は、
1フレーム分の前記画像信号から得られる前記色味情報を検出する色味情報検出部と、
前記色味情報に対し前記複数の分割領域における分割統計処理を行い統計結果を得る分割統計処理部と、
前記分割統計処理部による前記統計結果に基づき前記色味情報値を得る分割領域解析処理部とを含む、
画像表示装置。 The image display device according to claim 1,
The color information analysis unit
A color information detecting unit for detecting the color information obtained from the image signal for one frame;
A divided statistical processing unit for performing statistical processing on the plurality of divided areas and obtaining a statistical result for the color information;
A divided region analysis processing unit that obtains the color information value based on the statistical result by the divided statistical processing unit,
Image display device.
前記色味情報は、明度情報、彩度情報及び色相情報のうち少なくとも二つの組合せを含む、
画像表示装置。 The image display device according to claim 1 or 2,
The hue information includes a combination of at least two of lightness information, saturation information, and hue information.
Image display device.
前記色味情報値に基づき、前記画像信号に対するコンテンツの特徴判定を行い決定コンテンツ特徴判定値を求めるコンテンツ特徴判定部と、
前記決定コンテンツ特徴判定値に基づいて、1フレーム分の画像信号に対して画像補正を行う画像補正部とをさらに備え、
前記複数の分割領域は互いに分割内容が異なる第1及び第2の複数の分割領域を少なくとも含み、
前記色味情報解析部は、
1フレーム分の前記画像信号から得られる前記色味情報を検出する色味情報検出部と、
前記第1の複数の分割領域における前記色味情報に対する分割統計処理を行って第1の統計結果を出力する分割統計処理部とを含み、前記分割統計処理部は分割内容指示情報を受け、該分割内容指示情報が詳細分割を指示するとき、前記第2の複数の分割領域における前記色味情報に対する分割統計処理を行って第2の統計結果をさらに出力し、
前記分割統計処理部により得られる前記第1及び第2の統計結果のうち少なくとも一つに基づき、前記色味情報値を算出するとともに、前記第1の統計結果に基づき前記分割内容指示情報を出力する分割領域解析処理部をさらに含み、前記分割領域解析処理部は、前記第1の統計結果に基づき得られる前記色味情報値が所定の要件を満足する場合、前記詳細分割を指示する分割内容指示情報を出力する、
画像表示装置。 A color information analysis unit that receives an image signal and performs analysis processing on a plurality of divided areas divided in the color space for the color information obtained from the image signal for one frame to obtain a color information value The color information includes at least one of saturation information, hue information, and brightness information,
A content feature determination unit that determines content features for the image signal based on the color information value and obtains a determined content feature determination value;
An image correction unit that performs image correction on an image signal for one frame based on the determined content feature determination value;
The plurality of divided regions include at least a first and a second plurality of divided regions having different division contents.
The color information analysis unit
A color information detecting unit for detecting the color information obtained from the image signal for one frame;
A division statistical processing unit that performs division statistical processing on the color information in the first plurality of divided regions and outputs a first statistical result, wherein the division statistical processing unit receives division content instruction information, When the division content instruction information indicates detailed division, the division statistical processing is performed on the color information in the second plurality of divided areas, and a second statistical result is further output,
The color information value is calculated based on at least one of the first and second statistical results obtained by the divided statistical processing unit, and the divided content instruction information is output based on the first statistical result. The divided area analysis processing unit further includes: a divided content instructing the detailed division when the color information value obtained based on the first statistical result satisfies a predetermined requirement Output instruction information,
Image display device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008145529A JP5084615B2 (en) | 2008-06-03 | 2008-06-03 | Image display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008145529A JP5084615B2 (en) | 2008-06-03 | 2008-06-03 | Image display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009296113A JP2009296113A (en) | 2009-12-17 |
JP5084615B2 true JP5084615B2 (en) | 2012-11-28 |
Family
ID=41543932
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008145529A Expired - Fee Related JP5084615B2 (en) | 2008-06-03 | 2008-06-03 | Image display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5084615B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11138437B2 (en) | 2018-11-16 | 2021-10-05 | Samsung Electronics Co., Ltd. | Image processing apparatus and method thereof |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2526049C2 (en) * | 2012-03-12 | 2014-08-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." | Method and apparatus for detecting game incidents in field sports in video sequences |
JP6751370B2 (en) * | 2017-05-10 | 2020-09-02 | 信越化学工業株式会社 | Curable silicone resin composition, optical semiconductor element sealing material, and optical semiconductor device |
CN109640169B (en) | 2018-11-27 | 2020-09-22 | Oppo广东移动通信有限公司 | Video enhancement control method and device and electronic equipment |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4277773B2 (en) * | 2004-09-21 | 2009-06-10 | 株式会社日立製作所 | Video display device |
JP2007042033A (en) * | 2005-08-05 | 2007-02-15 | Matsushita Electric Ind Co Ltd | Color correction apparatus and image display device |
JP4311395B2 (en) * | 2005-10-31 | 2009-08-12 | 三菱電機株式会社 | Image display device and image display method |
JP4684966B2 (en) * | 2006-08-02 | 2011-05-18 | 三菱電機株式会社 | Image display device |
US8488901B2 (en) * | 2007-09-28 | 2013-07-16 | Sony Corporation | Content based adjustment of an image |
-
2008
- 2008-06-03 JP JP2008145529A patent/JP5084615B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11138437B2 (en) | 2018-11-16 | 2021-10-05 | Samsung Electronics Co., Ltd. | Image processing apparatus and method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP2009296113A (en) | 2009-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4279318B2 (en) | Video display device | |
US8558772B2 (en) | Image display apparatus | |
US7003153B1 (en) | Video contrast enhancement through partial histogram equalization | |
US10313605B2 (en) | Image processing apparatus and control method thereof for generating high dynamic range image data | |
RU2643485C2 (en) | Device and method for conversion of dynamic range of images | |
US9773300B2 (en) | Method and apparatus for correcting image based on distribution of pixel characteristic | |
JP4783985B2 (en) | Video processing apparatus, video display apparatus, video processing method used therefor, and program thereof | |
US8654260B2 (en) | Image processing apparatus and image processing method for performing correction processing on input video | |
KR101114865B1 (en) | Method and system for scene adaptive dynamic 3-d color management | |
KR101985880B1 (en) | Display device and control method thereof | |
JP7092952B2 (en) | Content Aware PQ Range Analyzer and Tone Mapping in Live Feed | |
JP4267025B2 (en) | Video display device | |
JP5084615B2 (en) | Image display device | |
US20070242898A1 (en) | Image processing apparatus, image processing method, and image processing program | |
US11189064B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
KR101769543B1 (en) | Apparatus and method for improving image resolution using sharpness and color saturation | |
US20120008050A1 (en) | Video processing apparatus and video processing method | |
JP4311395B2 (en) | Image display device and image display method | |
JP5393124B2 (en) | Image display device | |
JP4298743B2 (en) | Image display device | |
JP6826472B2 (en) | Image processing device and its control method | |
JP2011223054A (en) | Image processing apparatus and image processing method | |
JP5312171B2 (en) | Image processing apparatus and method | |
JPWO2009031398A1 (en) | Similar image determination device, chapter determination device, video signal recording device, and image processing device | |
JP2008042300A (en) | Image display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120518 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120807 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120904 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5084615 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150914 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |