JP4200681B2 - 画像信号処理回路 - Google Patents
画像信号処理回路 Download PDFInfo
- Publication number
- JP4200681B2 JP4200681B2 JP2002070651A JP2002070651A JP4200681B2 JP 4200681 B2 JP4200681 B2 JP 4200681B2 JP 2002070651 A JP2002070651 A JP 2002070651A JP 2002070651 A JP2002070651 A JP 2002070651A JP 4200681 B2 JP4200681 B2 JP 4200681B2
- Authority
- JP
- Japan
- Prior art keywords
- telop
- motion
- image signal
- pixel data
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、画面のうちテロップを含む領域を抽出する際に適用して好適な画像信号処理回路に関する。
【０００２】
詳しくは、この発明は、テロップを含むテロップ領域か否かを判別すべき判別領域に対応した複数画素の動き量の度数分布を作成し、この度数分布よりテロップの動き量の候補をそれぞれ含む複数の動き量範囲を選択し、この複数の動き量範囲のそれぞれについて動き量の分布に基づく特徴量を求め、この特徴量に基づいて判別領域がテロップを含むテロップ領域か否かを判別することによって、テロップを含む領域を精度よく抽出できるようにした画像信号処理回路に係るものである。
【０００３】
【従来の技術】
従来、フィールド周波数を例えば５０Ｈｚから１００Ｈｚに変換するフィールド周波数の変換方法として、フィールド間の動きを推定し、推定した動き量を用いてフィールド間に新しいフィールドを生成する処理が知られている。しかし、この方法は、動き推定に失敗すると、処理結果に直接影響するという問題があった。また、この方法は、単なる補間処理であり、時間的または空間的な解像度を向上させることはできない。
【０００４】
そこで、本出願人は、先に、入力画像信号の複数個のフィールドから抽出した画素データを使用して、クラス分類適応処理によって新たなフィールドを生成することにより、フィールド周波数を変換する方法を提案した（特開２０００−３２４４９５号参照）。
【０００５】
【発明が解決しようとする課題】
この場合、入力画像信号により得られる画面のうちテロップに対応する位置でも、他の位置と同様のクラス分類適応処理が行われるため、出力画像信号により得られる画面で、テロップが見えにくくなるという問題があった。
この発明の目的は、画面のうちテロップを含む領域を精度よく抽出することにある。また、この発明の目的は、例えばクラス分類適用処理により入力画像信号から出力画像信号を得る場合にテロップが見えにくくなることを防止することにある。
【０００６】
【課題を解決するための手段】
この発明に係る画像信号処理回路は、複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号処理回路であって、第１の画像信号に基づいて、第２の画像信号における注目位置の動き情報を出力するテロップ領域抽出手段と、このテロップ領域抽出手段により出力される注目位置の動き情報に基づいて、第１の画像信号に対して動き補償を行う動き補償手段と、この動き補償手段で動き補償が行われた第１の画像信号から、注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、この第１のデータ選択手段で選択された複数の第１の画素データを用いて、第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備え、テロップ領域抽出手段は、第１の画像信号に基づいて、画面を構成する各画素の動き量をそれぞれ検出する動き量検出手段と、この動き量検出手段で検出された各画素の動き量のうち、テロップを含むテロップ領域か否かを判別すべき判別領域に対応した複数画素の動き量の度数分布を作成する度数分布作成手段と、この度数分布作成手段で作成された度数分布より、テロップの動き量の候補をそれぞれ含む複数の動き量範囲を選択する候補選択手段と、この候補選択手段で選択された複数の動き量範囲のそれぞれについて動き量の散らばり度合いを示す特徴量を求める演算手段と、この演算手段で求められた複数の動き量に基づいて、判別領域がテロップを含む領域か否かを判別し、その判別結果および当該領域がテロップ領域であると判別するときはさらにテロップの動き量を、動き情報として出力する判別手段と、この判別手段から出力される各判別領域の動き情報を格納する記憶手段と、この記憶手段から注目位置に対応する判別領域の動き情報を当該注目位置の動き情報として読み出して出力する動き情報出力手段とを有するものである。
【０００７】
この発明においては、入力画像信号に基づいて、画面を構成する各画素の動き量がそれぞれ検出される。このように各画素の動き量は、例えばブロックマッチング法等によって検出される。このように検出される各画素の動き量のうち、テロップを含むテロップ領域か否かを判別すべき判別領域に対応した複数画素の動き量の度数分布が作成される。ここで、テロップが水平方向に帯状に流れる場合、例えば判別領域はライン単位、あるいは横方向（水平方向）に長い矩形領域に設定することで、テロップ領域の抽出を良好に行うことができる。
【０００８】
この度数分布よりテロップの動き量の候補をそれぞれ含む複数の動き量範囲が選択される。この場合、度数の大きな動き量を中心とする所定の動き量範囲が順次選択されていく。この複数の動き量範囲のそれぞれについて動き量の分布に基づく特徴量が求められる。例えば、特徴量として分散または周波数パワースペクトラムが算出される。ある動き量範囲がテロップに係るものである場合には分散は小さくなり、また中域から高域にかけての周波数パワースペクトラムが増加する。
【０００９】
そして、複数の動き量範囲のそれぞれについての特徴量に基づいて、判別領域がテロップを含むテロップ領域か否かが判別される。この場合、複数の動き量範囲のうちのいずれかに対応した特徴量がテロップの動き量を含むことを示すときには、判別領域はテロップを含むものと判別される。なおこの場合、ある動き量範囲の特徴量がテロップの動き量を含むことを示し、判別領域がテロップを含むものと判別される場合、当該動き量範囲の中心の動き量がテロップの動き量として決定される。
【００１０】
このように、テロップを含むテロップ領域か否かを判別すべき判別領域に対応した複数画素の動き量の度数分布を作成し、この度数分布よりテロップの動き量の候補をそれぞれ含む複数の動き量範囲を選択し、この複数の動き量範囲のそれぞれについて動き量の分布に基づく特徴量を求め、この特徴量に基づいて判別領域がテロップを含むテロップ領域か否かを判別するものであり、テロップを含む領域を精度よく抽出できるようになる。
【００１１】
またこの発明においては、テロップ領域抽出手段から、第２の画像信号における注目位置の動き情報が出力される。この動き情報は、第１の画像信号に基づいて得られる。この動き情報は、注目位置に対応する判別領域がテロップを含む領域であるか否かの判断結果および当該領域がテロップ領域であると判別されるときはさらにテロップの動き量からなっている。
【００１２】
この注目位置の動き情報に基づいて、第１の画像信号に対して動き補償が行われる。つまり、第１の画像信号により得られる各画面に存在するテロップの空間方向の位置が一致するようにされる。このように動き補償が行われた第１の画像信号から、注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データが選択される。そして、この第１の画素データを用いて、第２の画像信号における注目位置の画素データが生成される。
【００１３】
このように、第１の画像信号により得られる画面のうちテロップを含む領域の動きを検出し、この動きに基づいて第１の画像信号の動き補償を行った後にこの第１の画像信号を用いて第２の画像信号を得る処理を行うものであり、第２の画像信号により得られる画面ではテロップが見やすいものとなる。
【００１８】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのテレビ受信機１００の構成を示している。このテレビ受信機１００は、放送信号よりフィールド周波数が５０Ｈｚであるインタレース方式の映像信号Ｖａを得、この映像信号Ｖａをフィールド周波数が１００Ｈｚであるインタレース方式の映像信号Ｖｂに変換し、その映像信号Ｖｂによる画像を表示するものである。
【００１９】
テレビ受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００２０】
また、テレビ受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行って画像信号としてのフィールド周波数が５０Ｈｚであるインタレース方式の映像信号Ｖａを得るチューナ部１０６と、このチューナ部１０６より出力される映像信号Ｖａを一時的に保存するためのバッファメモリ１０９とを有している。
【００２１】
また、テレビ受信機１００は、バッファメモリ１０９に一時的に保存される映像信号Ｖａを、画像信号としてのフィールド周波数が１００Ｈｚであるインタレース方式の映像信号Ｖｂに変換する画像信号処理部１１０と、この画像信号処理部１１０より出力される映像信号Ｖｂによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等の表示器で構成されている。
【００２２】
図１に示すテレビ受信機１００の動作を説明する。
チューナ部１０６より出力されるフィールド周波数が５０Ｈｚである映像信号Ｖａは、バッファメモリ１０９に供給されて一時的に記憶される。そして、このバッファメモリ１０９に一時的に記憶された映像信号Ｖａは画像信号処理部１１０に供給され、フィールド周波数が１００Ｈｚである映像信号Ｖｂに変換される。すなわち、画像信号処理部１１０では、映像信号Ｖａを構成する画素データから、映像信号Ｖｂを構成する画素データが生成される。この画像信号処理部１１０より出力される映像信号Ｖｂはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその映像信号Ｖｂによる画像が表示される。
【００２３】
次に、画像信号処理部１１０の詳細を説明する。
この画像信号処理部１１０は、バッファメモリ１０９に記憶されている映像信号Ｖａに基づいて、映像信号Ｖｂにおける注目位置の動き情報ＭＯＶを出力するテロップ領域抽出部１２０を有している。
【００２４】
図２は、テロップ領域抽出部１２０の構成を示している。
このテロップ領域抽出部１２０は、映像信号Ｖａを入力する入力端子１２１と、この映像信号Ｖａに基づいて、画面を構成する各画素の動き量をそれぞれ検出する動き量検出部１２２と、この動き量検出部１２２で検出された各画素の動き量を格納する記憶部１２３とを有している。
【００２５】
本実施の形態においては、水平方向に帯状に流れるテロップを想定している。そのため、この動き量検出部１２２は、各画素の水平方向の動き量を検出する。例えば、ブロックマッチングの処理により、各画素におけるフレーム間の水平方向の動き量を求める。
【００２６】
すなわち、図３に示すように、現在ラインの着目画素を含むｍ個の画素からなる参照ブロックＢ１と、探索範囲である過去フレームの対応するライン（以下、「過去ライン」という）に設定したｓ個の画素からなる探索範囲Ｓ１中のｍ個の画素からなる候補ブロックＢ２との間でマッチング演算をする。すなわち、参照ブロックＢ１と候補ブロックＢ２との間で対応する位置の画素値の差分をとり、差分の絶対値をブロック全体にわたった累積する等の処理によって候補ブロックＢ２についての評価値を作成する。
【００２７】
そして、このような評価値を探索範囲Ｓ１中の画素を含む全候補ブロックＢ２について作成し、評価値が最小となる候補ブロックＢ２の位置を最もマッチングのよい候補ブロックＢ２の位置として決定することにより、参照ブロックＢ１に対応する水平方向の動き量を検出する。この場合、候補ブロックとして１画素ずつずれたブロックを用いる場合には、全部でｓ個の候補ブロックを取り扱うことになる。
【００２８】
また、テロップ領域抽出部１２０は、領域切出部１２４と度数分布作成部１２５とを有している。領域切出部１２４は、記憶部１２３に格納された各画素の水平方向の動き量のうち、テロップを含むテロップ領域か否かを判別すべき判別領域に対応した複数画素の動き量を、判別領域毎に順次読み出して出力する。度数分布作成部１２５は、領域切出部１２４より出力される判別領域に対応した複数画素の動き量を用いてその度数分布を作成する。上述したように本実施の形態においては、水平方向に帯状に流れるテロップを想定していることから、判別領域をライン単位として、テロップ領域の抽出を良好に行い得るようにしている。
【００２９】
図４は、度数分布作成部１２５で作成される度数分布の一例を示すものである。曲線ａは判別領域にテロップを含む場合の度数分布を示しており、曲線ｂは判別領域にテロップを含んでいない場合の度数分布を示している。判別領域にテロップを含む場合には、テロップの動き量に対応した度数が突出した度数分布となる。曲線ａで示される度数分布によれば、判別領域に動き量が−２６のテロップを含んでいるものと推定される。
【００３０】
また、テロップ領域抽出部１２０は、度数分布作成部１２５で作成された度数分布より、テロップの動き量の候補をそれぞれ含む複数の動き量範囲を選択する候補選択部１２６を有している。候補選択部１２６は、度数の大きな動き量を中心とした±ｐの範囲を順次選択していく。
【００３１】
例えば、度数分布作成部１２５で図４の曲線ａで示す度数分布が作成される場合であって、ｐ＝４である３つの動き量範囲を選択する場合を考える。この場合、まず、度数が最大である−２６の動き量を中心とした±４の範囲を動き量範囲として選択する（ＥＸ１の範囲参照）。次に、度数が２番目に大きな０の動き量を中心とした±４の範囲を動き量範囲として選択する（ＥＸ２の範囲参照）。最後に、度数が３番目に大きな１０の動き量を中心とした±４の範囲を動き量範囲として選択する（ＥＸ３の範囲参照）。
【００３２】
また、テロップ領域抽出部１２０は、候補選択部１２６で選択された複数の動き量範囲のそれぞれについて、動き量の分布に基づく特徴量としての分散σ2を求める分散演算部１２７を有している。この分散σ2は、動き量範囲に含まれる動き量ｘｉ（ｉ＝１〜Ｎ）を用いて、（１）式に基づいて求められる。この（１）式において、Ｎは度数の合計である。
【００３３】
【数１】
【００３４】
また、テロップ領域抽出部１２０は、分散演算部１２７で求められた複数の動き量範囲のそれぞれについての分散σ2に基づいて、判別領域がテロップを含むテロップ領域か否かを判別する判別部１２８を有している。テロップの動き量を含む動き量範囲では、当該テロップの動き量に対応した度数が突出したものとなっている。そのため、テロップの動き量を含む動き量範囲についての分散σ2は、テロップの動き量を含まない動き量範囲に比較して、小さくなる。
【００３５】
そこで、判別部１２８は、複数の動き量範囲のそれぞれについての分散σ2をそれぞれ所定の閾値と比較し、当該閾値より小さな分散σ2があるときは、判別領域がテロップを含むテロップ領域であると判別する。さらに、判別部１２８は、分散σ2が閾値より小さくなる動き量範囲の中心の動き量をテロップの動き量として決定する。
【００３６】
また、テロップ領域抽出部１２０は、記憶部１２９と動き情報出力部１３０とを有している。記憶部１２９は、判別部１２８より順次出力される、各判別領域がテロップ領域であるか否かの判別結果および当該判別領域がテロップ領域であると判別するときはさらにテロップの動き量を、動き情報として格納する。動き情報出力部１３０は、記憶部１２９から映像信号Ｖｂにおける注目位置に対応する判別領域の動き情報を、当該注目位置の動き情報ＭＯＶとして読み出して出力する。ここで、注目位置に対応する判別領域の動き情報とは、後述するように注目位置の周辺に位置し、予測タップやクラスタップの画素データとして使用される画素データを含む判別領域（ライン）の動き情報を意味している。
【００３７】
図２に示すテロップ領域抽出部１２０の動作を説明する。
入力端子１２１に入力される映像信号Ｖａは動き量検出器１２２に供給される。この動き量検出器１２２では、その映像信号Ｖａに基づいて、例えばブロックマッチングの処理によって、画面を構成する各画素の動き量がそれぞれ検出される。この各画素の動き量は記憶部１２３に格納される。
【００３８】
また、領域切出部１２４によって、テロップを含むテロップ領域か否かを判別すべき判別領域（本実施の形態ではライン）に対応した複数画素の動き量が、記憶部１２３より判別領域毎に読み出されて度数分布作成部１２５に供給される。度数分布作成部１２５では、判別領域に対応した複数画素の動き量の度数分布が作成される。この度数分布は、候補選択部１２６に供給される。
【００３９】
そして、候補選択部１２６では、度数分布に基づいて、テロップの動き量の候補をそれぞれ含む複数の動き量範囲が選択される。この場合、度数の大きな動き量を中心とした±ｐの範囲が順次選択される。そして、このように選択された複数の動き量範囲の度数分布情報が、候補選択部１２６から分散演算部１２７に供給される。
【００４０】
分散演算部１２７では、複数の動き量範囲のそれぞれについて、動き量の分布に基づく特徴量としての分散σ2が求められる（（１）式参照）。この分散σ2は、動き量範囲における平均値のまわりの散らばり度合いを示すものであり、テロップの動き量を含む動き量範囲についての分散σ2は、テロップの動き量を含まない動き量範囲に比較して、小さくなる。
【００４１】
そして、分散演算部１２７から判別部１２８に、複数の動き量範囲における、度数分布情報（動き量範囲における最大度数の動き量のみであってもよい）および分散σ2が供給される。判別部１２８では、複数の動き量範囲のそれぞれについての分散σ2に基づいて、判別領域がテロップを含むテロップ領域か否かの判別が行われる。この場合、複数の動き量範囲のそれぞれについての分散σ2がそれぞれ所定の閾値と比較され、閾値より小さな分散σ2があるときは、判別領域がテロップを含むテロップ領域であると判別される。またこの場合、分散σ2が閾値より小さくなる動き量範囲の中心の動き量が、テロップの動き量として決定される。
【００４２】
例えば、図４の曲線ａで示す度数分布に対して、動き量範囲ＥＸ１〜ＥＸ３が選択され、動き量範囲ＥＸ１にはテロップの動き量を含み、動き量範囲ＥＸ２，ＥＸ３にはテロップの動き量を含まないものとする。その場合、動き量範囲ＥＸ１についての分散σ2は小さく、それに比べて動き量範囲ＥＸ２，ＥＸ３についての分散σ2は大きくなる。この場合、動き量範囲ＥＸ１についての分散σ2が閾値より小さくなることから、判別領域はテロップ領域と判別され、テロップの動き量は−２６と決定される。
【００４３】
判別部１２８より順次出力される、各判別領域についてのテロップ領域であるか否かの判別結果およびテロップの動き量は、動き情報として記憶部１２９に記憶される。そして、動き情報出力部１３０は、記憶部１２９から映像信号Ｖｂにおける注目位置に対応する判別領域の動き情報を、当該注目位置の動き情報ＭＯＶとして読み出して出力する。
【００４４】
なお、上述したテロップ領域の抽出動作を、ソフトウェアで実現することも可能である。図５のフローチャートを参照して、各判別領域について、テロップ領域であるか否かの判別結果およびテロップの動き量を得るまでの処理手順を説明する。
まず、ステップＳＴ１で、映像信号Ｖａに基づいて、画面を構成する各画素の動き量を、例えばブロックマッチングの処理によってそれぞれ検出してメモリに記憶する。
【００４５】
次に、ステップＳＴ２で、テロップを含むテロップ領域か否かを判別すべき判別領域（ライン）に対応した複数画素の動き量を、メモリから読み出す。そして、ステップＳＴ３で、読み出した複数の動き量の度数分布を作成し、ステップＳＴ４で、度数分布に基づいて、テロップの動き量の候補をそれぞれ含む複数の動き量範囲を選択する。
【００４６】
次に、ステップＳＴ５で、複数の動き量範囲のそれぞれについて、（１）式によって、動き量の分布に基づく特徴量としての分散σ2を求める。そして、ステップＳＴ６で、複数の動き量範囲のそれぞれについての分散σ2に基づいて、判別領域がテロップを含むテロップ領域か否かの判別をする。
【００４７】
この場合、複数の動き量範囲のそれぞれについての分散σ2をそれぞれ所定の閾値と比較し、閾値より小さな分散σ2があるときは、判別領域がテロップを含むテロップ領域であると判別する。また、このステップＳＴ６では、判別領域がテロップ領域であると判別するとき、分散σ2が閾値より小さくなる動き量範囲の中心の動き量をテロップの動き量として決定する。
【００４８】
次に、ステップＳＴ７で、ステップＳＴ６で得られる、判別領域についてのテロップ領域であるか否かの判別結果およびテロップの動き量を、当該判別領域の動き情報としてメモリに記憶する。
次に、ステップＳＴ８で、画面上の全ての判別領域（ライン）での判別が終了したか否かを判定する。全ての判別領域での判別が終了していないときは、ステップＳＴ２に戻り、次の判別領域について、上述したと同様の処理をする。一方、全ての判別領域での判別が終了したときは、処理を終了する。
【００４９】
図１に戻って、画像信号処理部１１０は、テロップ情報抽出部１２０より出力される動き情報ＭＯＶに基づいて、バッファメモリ１０９からの映像信号Ｖａに対して動き補償を行う動き補償部１３１を有している。この動き補償部１３１では、後述する予測タップおよびクラスタップの画素データを抽出するための各フィールドにおいて、テロップの水平方向の動きがほぼうち消された状態とされる。
【００５０】
また、画像信号処理部１１０は、動き補償部１３１で動き補償が行われた映像信号Ｖａ′の複数のフィールドから、映像信号Ｖｂにおける注目位置に対して時間方向および空間方向（水平方向、垂直方向）の周辺に位置する複数の画素データを選択的に取り出して出力する第１、第２のタップ選択回路１３２，１３３を有している。第１のタップ選択回路１３２は、予測に使用する画素データ（予測タップの画素データ）を選択的に取り出すものである。第２のタップ選択回路１３３は、クラス分類に使用する画素データ（クラスタップの画素データ）を選択的に取り出すものである。
【００５１】
また、画像信号処理部１１０は、第２のタップ選択回路１３３で選択的に取り出されるクラスタップの画素データからレベル分布パターンを特徴量として検出し、このレベル分布パターンに基づいてクラスコードＣＬを発生するクラス検出回路１３４を有している。
【００５２】
このクラス検出回路１３４では、例えば、まず８ビットの各データを２ビットに圧縮するような演算が行われる。ここでは、ＡＤＲＣによってデータ圧縮が行われる、この場合、各データの最大値をＭＡＸ、最小値をＭＩＮ、ダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、各データｋｉに対して、（２）式の演算により、圧縮データとしての再量子化コードｑｉが得られる。ただし、（２）式において、[ ]は切り捨て処理を意味している。第２のタップ選択回路１３３で選択されたデータの個数がＮａであるとき、ｉ＝１〜Ｎａである。
ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）＊２P／ＤＲ］ ・・・（２）
【００５３】
クラス検出回路１３４では、次に、上述したように得られる再量子化コードｑｉに基づき、（３）式によって、作成すべき映像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが演算される。
【００５４】
【数２】
【００５５】
また、画像信号処理部１１０は、係数メモリ１３５を有している。この係数メモリ１３５は、後述する推定予測演算回路１３６で使用される推定式の係数データを格納するものである。この係数データは、映像信号Ｖａを、映像信号Ｖｂに変換する際に使用する情報である。係数メモリ１３５には、クラスコードＣＬで示される各クラスの係数データが格納されている。この係数メモリ１３５には、上述したクラス検出回路１３４より出力されるクラスコードＣＬが読み出しアドレス情報として供給される。この係数メモリ１３５からはクラスコードＣＬに対応した係数データｗｉが読み出され、推定予測演算回路１３６に供給される。係数データの生成方法については後述する。
【００５６】
また、画像信号処理部１１０は、第１のタップ選択回路１３２で選択的に取り出される予測タップの画素データｘｉと、係数メモリ１３５より読み出される係数データｗｉとから、作成すべき映像信号Ｖｂの画素データ（注目位置の画素データ）ｙを演算する推定予測演算回路１３６を有している。
【００５７】
この推定予測演算回路１３６には、第１のタップ選択回路１２６より注目位置に対応した予測タップのデータｘｉと、係数メモリ１３５よりその注目位置に対応した係数データｗｉとが供給され、注目位置の画素データｙは（４）式の推定式で演算される。
【００５８】
【数３】
【００５９】
また、画像信号処理部１１０は、推定予測演算回路１３６より順次出力される注目位置の画素データｙを、フィールド周波数が１００Ｈｚのインタレース方式の映像信号Ｖｂとして出力する後処理回路１３７を有している。
【００６０】
次に、画像信号処理部１１０の動作を説明する。
バッファメモリ１０９に記憶されている映像信号Ｖａがテロップ領域抽出部１２０に供給される。このテロップ領域抽出部１２０は、映像信号Ｖａに基づいて、画面の各判別領域、本実施の形態においては各ラインがテロップを含むテロップ領域であるか否かを判別し、その判別結果およびテロップ領域であると判別するときはさらにテロップの動き量を、動き情報として取得し、作成すべき映像信号Ｖｂにおける注目位置に対応した動き情報ＭＯＶを順次出力していく。
【００６１】
このようにテロップ領域抽出部１２０より出力される動き情報ＭＯＶは、動き補償部１３１に供給される。この動き補償部１３１では、動き情報ＭＯＶに基づいて、バッファメモリ１０９からの映像信号Ｖａに対して動き補償が行われる。この場合、映像信号Ｖｂにおける注目位置がテロップ領域あるいはその近傍にあるとき、予測タップおよびクラスタップの画素データを抽出するための各フィールドにおいてテロップの水平方向の動きがほぼうち消された状態となる。
【００６２】
動き補償部１３１より出力される映像信号Ｖａ′より、第２のタップ選択回路１３３で、映像信号Ｖｂにおける注目位置の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データはクラス検出回路１３４に供給される。このクラス検出回路１３４では、クラスタップのデータからレベル分布パターンが特徴量として検出され、このレベル分布パターンに基づいて、上述の注目位置の画素データが属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。そして、このクラスコードＣＬは、係数メモリ１３５に読み出しアドレス情報として供給される。
【００６３】
また、動き補償部１３１より出力される映像信号Ｖａ′より、第１のタップ選択回路１３２で、映像信号Ｖｂにおける注目位置の周辺に位置する予測タップの画素データｘｉが選択的に取り出される。この予測タップの画素データｘｉは、推定予測演算回路１３６に供給される。推定予測演算回路１３６では、予測タップの画素データｘｉと、係数メモリ１３５より読み出される注目位置に対応した係数データｗｉとを用いて、推定式（（４）式参照）に基づいて、注目位置の画素データｙが求められる。
【００６４】
そして、この推定予測演算回路１３６より順次出力される映像信号Ｖｂにおける注目位置の画素データｙは、後処理回路１３７に供給される。この後処理回路１３７は、推定予測演算回路１３６より順次出力される画素データｙより、フィールド周波数が１００Ｈｚのインタレース方式の映像信号を生成する。つまり、この後処理回路１３７からは、フィールド周波数が１００Ｈｚのインタレース方式の映像信号Ｖｂが出力される。
【００６５】
上述したように、テロップ領域抽出部１２０では、テロップを含むテロップ領域か否かを判別すべき判別領域（ライン）に対応した複数画素の動き量の度数分布を作成し、この度数分布よりテロップの動き量の候補をそれぞれ含む複数の動き量範囲を選択し、この複数の動き量範囲のそれぞれについて動き量の分布に基づく特徴量として分散を求め、この分散に基づいて判別領域がテロップを含むテロップ領域か否かを判別するものであり、テロップを含む領域を精度よく抽出できる。
【００６６】
また、画像信号処理部１１０では、テロップ領域抽出部１２０から作成すべき映像信号Ｖｂにおける注目位置に対応した動き情報ＭＯＶを順次出力し、この動き情報に基づいて映像信号Ｖａの動き補償を行って予測タップおよびクラスタップの画素データを抽出するための各フィールドをテロップの水平方向の動きがほぼうち消された状態とし、動き補償後の映像信号Ｖａを用いて映像信号Ｖｂを得るものであり、映像信号Ｖｂによってディスプレイ部１１１に表示される画面ではテロップが見やすいものとなる。
【００６７】
次に、係数メモリ１３５に記憶される係数データの生成方法について説明する。この係数データは、予め学習によって生成されたものである。
まず、この学習方法について説明する。上述の、（４）式において、学習前は係数データｗ1 ，ｗ2，‥‥，ｗn は未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（４）式に従って、以下に示す（５）式が設定される。ｎは予測タップの数を示している。
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn ・・・（５）
（ｋ＝１，２，‥‥，ｍ）
【００６８】
ｍ＞ｎの場合、係数データｗ1 ，ｗ2，‥‥，ｗnは、一意に決まらないので、誤差ベクトルｅの要素ｅkを、以下の式（６）で定義して、（７）式のｅ2を最小にする係数データを求める。いわゆる最小２乗法によって係数データを一意に定める。
ｅk＝ｙk−｛ｗ1×ｘk1＋ｗ2×ｘk2＋‥‥＋ｗn×ｘkn｝ ・・・（６）
（ｋ＝１，２，‥‥ｍ）
【００６９】
【数４】
【００７０】
（７）式のｅ2を最小とする係数データを求めるための実際的な計算方法としては、まず、（８）式に示すように、ｅ2を係数データｗｉ(ｉ＝１，２，・・・，ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データｗｉを求めればよい。
【００７１】
【数５】
【００７２】
（８）式から係数データｗｉを求める具体的な手順について説明する。（９）式、（１０）式のようにＸji，Ｙi を定義すると、（８）式は、（１１）式の行列式の形に書くことができる。
【００７３】
【数６】
【００７４】
【数７】
【００７５】
（１１）式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データｗｉ（ｉ＝１，２，・・・，ｎ）を求めることができる。
【００７６】
図６は、係数データ生成装置１５０を示している。この係数データ生成装置１５０は、教師信号としての、フィールド周波数が１００Ｈｚでインタレース方式の映像信号Ｖｂが入力される入力端子１５１と、この映像信号Ｖｂから、生徒信号としての、フィールド周波数が５０Ｈｚでインタレース方式の映像信号Ｖａを得る生徒信号生成回路１５２とを有している。
【００７７】
また、係数データ生成装置１５０は、生徒信号生成回路１５２より出力される映像信号Ｖａに基づいて、映像信号Ｖｂにおける注目位置の動き情報ＭＯＶを出力するテロップ領域抽出部１５３を有している。このテロップ領域抽出部１５３は、上述した画像信号処理部１１０のテロップ領域抽出部１２０と同様に構成され、同様の処理を行う。
【００７８】
すなわち、映像信号Ｖａに基づいて、画面の各判別領域、本実施の形態においては各ラインがテロップを含むテロップ領域であるか否かを判別し、その判別結果およびテロップ領域であると判別するときはさらにテロップの動き量を、動き情報として取得し、映像信号Ｖｂにおける注目位置に対応した動き情報ＭＯＶを順次出力していく。
【００７９】
また、係数データ生成装置１５０は、テロップ領域抽出部１５３より出力される動き情報ＭＯＶに基づいて、生徒信号生成回路１５２より出力される映像信号Ｖａに対して動き補償を行う動き補償部１５４を有している。この動き補償部１５４は、上述した画像信号処理部１１０の動き補償部１３１と同様に構成され、同様の処理を行う。
【００８０】
すなわち、この動き補償部１５４では、映像信号Ｖｂにおける注目位置がテロップ領域あるいはその近傍にあるとき、後述する予測タップおよびクラスタップの画素データを抽出するための各フィールドにおいてテロップの水平方向の動きがほぼうち消された状態とされる。
【００８１】
また、係数データ生成装置１５０は、動き補償部１５４で動き補償が行われた映像信号Ｖａ′より、映像信号Ｖｂにおける注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択的に取り出して出力する第１のタップ選択回路１５５および第２のタップ選択回路１５６を有している。これら第１、第２のタップ選択回路１５５，１５６は、上述した画像信号処理部１１０の第１、第２のタップ選択回路１３２，１３３と同様に構成される。
【００８２】
また、係数データ生成装置１５０は、第２のタップ選択回路１５６で選択的に取り出されるクラスタップのデータからレベル分布パターンを特徴量として検出し、このレベル分布パターンに基づいて、映像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを発生するクラス検出回路１５８を有している。このクラス検出回路１５８は、上述した画像信号処理部１１０のクラス検出回路１３４と同様に構成される。
【００８３】
また、係数データ生成装置１５０は、正規方程式生成部１６１を有している。この正規方程式生成部１６１は、入力端子１５１に供給される映像信号Ｖｂから得られる注目位置の各データｙと、この各データｙにそれぞれ対応して第１のタップ選択回路１５５で選択的に取り出される予測タップのデータｘｉと、各データｙにそれぞれ対応してクラス検出回路１５８で発生されるクラスコードＣＬとを用いて、クラス毎に、ｎ個の係数データｗｉを得るための正規方程式（（１１）式参照）を生成する。
【００８４】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉ（ｉ＝１〜ｎ）との組み合わせで上述した１個の学習データが生成される。したがって、正規方程式生成部１６１では多くの学習データが登録された正規方程式が生成される。
【００８５】
また、係数データ生成装置１５０は、正規方程式生成部１６１でクラス毎に生成された正規方程式のデータが供給され、クラス毎に生成された正規方程式を解いて、各クラスの係数データｗｉを求める係数データ決定部１６２と、この求められた係数データｗｉを記憶する係数メモリ１６３とを有している。係数データ決定部１６２では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗｉが求められる。
【００８６】
図６に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には教師信号としての映像信号Ｖｂ（フィールド周波数が１００Ｈｚでインタレース方式の映像信号）が供給される。この映像信号Ｖｂは生徒信号生成回路１５２に供給され、生徒信号としての映像信号Ｖａ（フィールド周波数が５０Ｈｚでインタレース方式の映像信号）が生成される。
【００８７】
そして、映像信号Ｖａがテロップ領域抽出部１５３に供給される。このテロップ領域抽出部１５３では、映像信号Ｖａに基づいて、画面の各判別領域、つまり各ラインがテロップを含むテロップ領域であるか否かを判別し、その判別結果およびテロップ領域であると判別するときはさらにテロップの動き量を、動き情報として取得し、映像信号Ｖｂにおける注目位置に対応した動き情報ＭＯＶを順次出力していく。
【００８８】
この動き情報ＭＯＶは動き補償部１５４に供給される。動き補償部１５４では、動き情報ＭＯＶに基づいて、生徒信号生成回路１５２より出力される映像信号Ｖａに対して動き補償が行われる。これにより、映像信号Ｖｂにおける注目位置がテロップ領域あるいはその近傍にあるとき、後述する予測タップおよびクラスタップの画素データを抽出するための各フィールドは、テロップの水平方向の動きがほぼうち消された状態とされる。
【００８９】
動き補償部１５４より出力される映像信号Ｖａ′より、第２のタップ選択回路１５６で、映像信号Ｖｂにおける注目位置の周辺に位置するクラスタップのデータが選択的に取り出される。このクラスタップのデータはクラス検出回路１５８に供給される。このクラス検出回路１５８では、クラスタップのデータからレベル分布パターンが特徴量として検出され、このレベル分布パターンに基づいて、映像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが発生される（（３）式参照）。
【００９０】
また、動き補償部１５４より出力される映像信号Ｖａ′より、第１のタップ選択回路１５５で、映像信号Ｖｂにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。そして、入力端子１５１に供給される映像信号Ｖｂより順次得られる注目位置の画素データｙと、この画素データｙに対応して第１のタップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、この画素データｙに対応してクラス検出回路１５８より出力されるクラスコードＣＬとから、正規方程式生成部１６１では、クラス毎に、ｎ個の係数データｗｉを生成するための正規方程式が生成される。
そして、係数データ決定部１６２でその正規方程式が解かれ、各クラスの係数データｗｉが求められ、その係数データｗｉはクラス別にアドレス分割された係数メモリ１６３に記憶される。
【００９１】
このように、図６に示す係数データ生成装置１５０においては、図１の画像信号処理部１１０の係数メモリ１３５に記憶される各クラスの係数データｗｉを生成できる。
なお、上述実施の形態においては、各動き量範囲についての分散σ2を求めて使用するものを示したが、動き量の散らばり度合いを示すものとして、分散の代わりに標準偏差等のその他の統計値を求めて使用してもよい。
【００９２】
また、分散の代わりに、各動き量範囲について、ＦＦＴ(fast Fourier transform)やＬＰＣ(linear predictive coding)等の周波数解析処理によって、動き量の散らばり度合いを示す周波数パワースペクトラムを求めて使用してもよい。この周波数パワースペクトラムは、テロップの動き量を含む動き量範囲については中域から高域にかけての周波数パワースペクトラムが増加する。したがって、この周波数パワースペクトラムに基づいて、各動き量範囲がテロップの動き量を含むか否かを判別できる。
【００９３】
図７は、ＦＦＴの周波数解析処理によって求めた周波数パワースペクトラムの一例を示しており、曲線ａがテロップの動き量を含む動き量範囲に対応したものであり、曲線ｂがテロップの動き量を含まない動き量範囲に対応したものである。また、図８は、ＬＰＣの周波数解析処理によって求めた周波数パワースペクトラムの一例を示しており、曲線ａがテロップの動き量を含む動き量範囲に対応したものであり、曲線ｂがテロップの動き量を含まない動き量範囲に対応したものである。
【００９４】
また、上述実施の形態においては、水平方向に帯状に流れるテロップを想定しており、判別領域をライン単位として、テロップ領域の抽出を良好に行い得るようにしているが、この判別領域はライン単位ではなく、水平方向（横方向）に長い矩形領域としても、テロップ領域の抽出を良好に行うことができる。また、垂直方向に帯状に流れるテロップを想定した場合には、判別領域を垂直方向（縦方向）に長い矩形領域とすることで、テロップ領域の抽出を良好に行うことができる。また、このように垂直方向に帯状に流れるテロップを想定した場合には、画面を構成する各画素の動き量として、水平方向の動き量ではなく、垂直方向の動き量を検出して使用すればよい。
【００９５】
【発明の効果】
この発明によれば、テロップを含むテロップ領域か否かを判別すべき判別領域に対応した複数画素の動き量の度数分布を作成し、この度数分布よりテロップの動き量の候補をそれぞれ含む複数の動き量範囲を選択し、この複数の動き量範囲のそれぞれについて動き量の分布に基づく特徴量を求め、この特徴量に基づいて判別領域がテロップを含むテロップ領域か否かを判別するものであり、テロップを含む領域を精度よく抽出できる。
【００９６】
また、この発明によれば、第１の画像信号により得られる画面のうちテロップを含む領域の動きを検出し、この動きに基づいて第１の画像信号の動き補償を行った後にこの第１の画像信号を用いて第２の画像信号を得る処理を行うものであり、第２の画像信号により得られる画面ではテロップが見やすいものとなる。
【図面の簡単な説明】
【図１】実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図２】テロップ領域抽出部１２０の構成を示すブロック図である。
【図３】ブロックマッチングの処理を説明するための図である。
【図４】度数分布の一例を示す図である。
【図５】テロップ領域抽出動作を説明するためのフローチャートである。
【図６】係数データ生成装置の構成を示すブロック図である。
【図７】ＦＦＴの周波数解析処理による周波数パワースペクトラムの一例を示す図である。
【図８】ＬＰＣの周波数解析処理による周波数パワースペクトラムの一例を示す図である。
【符号の説明】
１００・・・テレビ受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ部、１０９・・・バッファメモリ、１１０・・・画像信号処理部、１２０・・・テロップ領域抽出部、１２１・・・入力端子、１２２・・・動き量検出器、１２３，１２９・・・記憶部、１２４・・・領域切出部、１２５・・・度数分布作成部、１２６・・・候補選択部、１２７・・・分散演算部、１２８・・・判別部、１３０・・・動き情報出力部、１３１・・・動き補償部、１３２・・・第１のタップ選択回路、１３３・・・第２のタップ選択回路、１３４・・・クラス検出回路、１３５・・・係数メモリ、１３６・・・推定予測演算回路、１３７・・・後処理回路
【発明の属する技術分野】
この発明は、画面のうちテロップを含む領域を抽出する際に適用して好適な画像信号処理回路に関する。
【０００２】
詳しくは、この発明は、テロップを含むテロップ領域か否かを判別すべき判別領域に対応した複数画素の動き量の度数分布を作成し、この度数分布よりテロップの動き量の候補をそれぞれ含む複数の動き量範囲を選択し、この複数の動き量範囲のそれぞれについて動き量の分布に基づく特徴量を求め、この特徴量に基づいて判別領域がテロップを含むテロップ領域か否かを判別することによって、テロップを含む領域を精度よく抽出できるようにした画像信号処理回路に係るものである。
【０００３】
【従来の技術】
従来、フィールド周波数を例えば５０Ｈｚから１００Ｈｚに変換するフィールド周波数の変換方法として、フィールド間の動きを推定し、推定した動き量を用いてフィールド間に新しいフィールドを生成する処理が知られている。しかし、この方法は、動き推定に失敗すると、処理結果に直接影響するという問題があった。また、この方法は、単なる補間処理であり、時間的または空間的な解像度を向上させることはできない。
【０００４】
そこで、本出願人は、先に、入力画像信号の複数個のフィールドから抽出した画素データを使用して、クラス分類適応処理によって新たなフィールドを生成することにより、フィールド周波数を変換する方法を提案した（特開２０００−３２４４９５号参照）。
【０００５】
【発明が解決しようとする課題】
この場合、入力画像信号により得られる画面のうちテロップに対応する位置でも、他の位置と同様のクラス分類適応処理が行われるため、出力画像信号により得られる画面で、テロップが見えにくくなるという問題があった。
この発明の目的は、画面のうちテロップを含む領域を精度よく抽出することにある。また、この発明の目的は、例えばクラス分類適用処理により入力画像信号から出力画像信号を得る場合にテロップが見えにくくなることを防止することにある。
【０００６】
【課題を解決するための手段】
この発明に係る画像信号処理回路は、複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号処理回路であって、第１の画像信号に基づいて、第２の画像信号における注目位置の動き情報を出力するテロップ領域抽出手段と、このテロップ領域抽出手段により出力される注目位置の動き情報に基づいて、第１の画像信号に対して動き補償を行う動き補償手段と、この動き補償手段で動き補償が行われた第１の画像信号から、注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、この第１のデータ選択手段で選択された複数の第１の画素データを用いて、第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備え、テロップ領域抽出手段は、第１の画像信号に基づいて、画面を構成する各画素の動き量をそれぞれ検出する動き量検出手段と、この動き量検出手段で検出された各画素の動き量のうち、テロップを含むテロップ領域か否かを判別すべき判別領域に対応した複数画素の動き量の度数分布を作成する度数分布作成手段と、この度数分布作成手段で作成された度数分布より、テロップの動き量の候補をそれぞれ含む複数の動き量範囲を選択する候補選択手段と、この候補選択手段で選択された複数の動き量範囲のそれぞれについて動き量の散らばり度合いを示す特徴量を求める演算手段と、この演算手段で求められた複数の動き量に基づいて、判別領域がテロップを含む領域か否かを判別し、その判別結果および当該領域がテロップ領域であると判別するときはさらにテロップの動き量を、動き情報として出力する判別手段と、この判別手段から出力される各判別領域の動き情報を格納する記憶手段と、この記憶手段から注目位置に対応する判別領域の動き情報を当該注目位置の動き情報として読み出して出力する動き情報出力手段とを有するものである。
【０００７】
この発明においては、入力画像信号に基づいて、画面を構成する各画素の動き量がそれぞれ検出される。このように各画素の動き量は、例えばブロックマッチング法等によって検出される。このように検出される各画素の動き量のうち、テロップを含むテロップ領域か否かを判別すべき判別領域に対応した複数画素の動き量の度数分布が作成される。ここで、テロップが水平方向に帯状に流れる場合、例えば判別領域はライン単位、あるいは横方向（水平方向）に長い矩形領域に設定することで、テロップ領域の抽出を良好に行うことができる。
【０００８】
この度数分布よりテロップの動き量の候補をそれぞれ含む複数の動き量範囲が選択される。この場合、度数の大きな動き量を中心とする所定の動き量範囲が順次選択されていく。この複数の動き量範囲のそれぞれについて動き量の分布に基づく特徴量が求められる。例えば、特徴量として分散または周波数パワースペクトラムが算出される。ある動き量範囲がテロップに係るものである場合には分散は小さくなり、また中域から高域にかけての周波数パワースペクトラムが増加する。
【０００９】
そして、複数の動き量範囲のそれぞれについての特徴量に基づいて、判別領域がテロップを含むテロップ領域か否かが判別される。この場合、複数の動き量範囲のうちのいずれかに対応した特徴量がテロップの動き量を含むことを示すときには、判別領域はテロップを含むものと判別される。なおこの場合、ある動き量範囲の特徴量がテロップの動き量を含むことを示し、判別領域がテロップを含むものと判別される場合、当該動き量範囲の中心の動き量がテロップの動き量として決定される。
【００１０】
このように、テロップを含むテロップ領域か否かを判別すべき判別領域に対応した複数画素の動き量の度数分布を作成し、この度数分布よりテロップの動き量の候補をそれぞれ含む複数の動き量範囲を選択し、この複数の動き量範囲のそれぞれについて動き量の分布に基づく特徴量を求め、この特徴量に基づいて判別領域がテロップを含むテロップ領域か否かを判別するものであり、テロップを含む領域を精度よく抽出できるようになる。
【００１１】
またこの発明においては、テロップ領域抽出手段から、第２の画像信号における注目位置の動き情報が出力される。この動き情報は、第１の画像信号に基づいて得られる。この動き情報は、注目位置に対応する判別領域がテロップを含む領域であるか否かの判断結果および当該領域がテロップ領域であると判別されるときはさらにテロップの動き量からなっている。
【００１２】
この注目位置の動き情報に基づいて、第１の画像信号に対して動き補償が行われる。つまり、第１の画像信号により得られる各画面に存在するテロップの空間方向の位置が一致するようにされる。このように動き補償が行われた第１の画像信号から、注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データが選択される。そして、この第１の画素データを用いて、第２の画像信号における注目位置の画素データが生成される。
【００１３】
このように、第１の画像信号により得られる画面のうちテロップを含む領域の動きを検出し、この動きに基づいて第１の画像信号の動き補償を行った後にこの第１の画像信号を用いて第２の画像信号を得る処理を行うものであり、第２の画像信号により得られる画面ではテロップが見やすいものとなる。
【００１８】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのテレビ受信機１００の構成を示している。このテレビ受信機１００は、放送信号よりフィールド周波数が５０Ｈｚであるインタレース方式の映像信号Ｖａを得、この映像信号Ｖａをフィールド周波数が１００Ｈｚであるインタレース方式の映像信号Ｖｂに変換し、その映像信号Ｖｂによる画像を表示するものである。
【００１９】
テレビ受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機２００よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００２０】
また、テレビ受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行って画像信号としてのフィールド周波数が５０Ｈｚであるインタレース方式の映像信号Ｖａを得るチューナ部１０６と、このチューナ部１０６より出力される映像信号Ｖａを一時的に保存するためのバッファメモリ１０９とを有している。
【００２１】
また、テレビ受信機１００は、バッファメモリ１０９に一時的に保存される映像信号Ｖａを、画像信号としてのフィールド周波数が１００Ｈｚであるインタレース方式の映像信号Ｖｂに変換する画像信号処理部１１０と、この画像信号処理部１１０より出力される映像信号Ｖｂによる画像を表示するディスプレイ部１１１とを有している。ディスプレイ部１１１は、例えばＣＲＴ（cathode-ray tube)ディスプレイ、あるいはＬＣＤ（liquid crystal display）等の表示器で構成されている。
【００２２】
図１に示すテレビ受信機１００の動作を説明する。
チューナ部１０６より出力されるフィールド周波数が５０Ｈｚである映像信号Ｖａは、バッファメモリ１０９に供給されて一時的に記憶される。そして、このバッファメモリ１０９に一時的に記憶された映像信号Ｖａは画像信号処理部１１０に供給され、フィールド周波数が１００Ｈｚである映像信号Ｖｂに変換される。すなわち、画像信号処理部１１０では、映像信号Ｖａを構成する画素データから、映像信号Ｖｂを構成する画素データが生成される。この画像信号処理部１１０より出力される映像信号Ｖｂはディスプレイ部１１１に供給され、このディスプレイ部１１１の画面上にはその映像信号Ｖｂによる画像が表示される。
【００２３】
次に、画像信号処理部１１０の詳細を説明する。
この画像信号処理部１１０は、バッファメモリ１０９に記憶されている映像信号Ｖａに基づいて、映像信号Ｖｂにおける注目位置の動き情報ＭＯＶを出力するテロップ領域抽出部１２０を有している。
【００２４】
図２は、テロップ領域抽出部１２０の構成を示している。
このテロップ領域抽出部１２０は、映像信号Ｖａを入力する入力端子１２１と、この映像信号Ｖａに基づいて、画面を構成する各画素の動き量をそれぞれ検出する動き量検出部１２２と、この動き量検出部１２２で検出された各画素の動き量を格納する記憶部１２３とを有している。
【００２５】
本実施の形態においては、水平方向に帯状に流れるテロップを想定している。そのため、この動き量検出部１２２は、各画素の水平方向の動き量を検出する。例えば、ブロックマッチングの処理により、各画素におけるフレーム間の水平方向の動き量を求める。
【００２６】
すなわち、図３に示すように、現在ラインの着目画素を含むｍ個の画素からなる参照ブロックＢ１と、探索範囲である過去フレームの対応するライン（以下、「過去ライン」という）に設定したｓ個の画素からなる探索範囲Ｓ１中のｍ個の画素からなる候補ブロックＢ２との間でマッチング演算をする。すなわち、参照ブロックＢ１と候補ブロックＢ２との間で対応する位置の画素値の差分をとり、差分の絶対値をブロック全体にわたった累積する等の処理によって候補ブロックＢ２についての評価値を作成する。
【００２７】
そして、このような評価値を探索範囲Ｓ１中の画素を含む全候補ブロックＢ２について作成し、評価値が最小となる候補ブロックＢ２の位置を最もマッチングのよい候補ブロックＢ２の位置として決定することにより、参照ブロックＢ１に対応する水平方向の動き量を検出する。この場合、候補ブロックとして１画素ずつずれたブロックを用いる場合には、全部でｓ個の候補ブロックを取り扱うことになる。
【００２８】
また、テロップ領域抽出部１２０は、領域切出部１２４と度数分布作成部１２５とを有している。領域切出部１２４は、記憶部１２３に格納された各画素の水平方向の動き量のうち、テロップを含むテロップ領域か否かを判別すべき判別領域に対応した複数画素の動き量を、判別領域毎に順次読み出して出力する。度数分布作成部１２５は、領域切出部１２４より出力される判別領域に対応した複数画素の動き量を用いてその度数分布を作成する。上述したように本実施の形態においては、水平方向に帯状に流れるテロップを想定していることから、判別領域をライン単位として、テロップ領域の抽出を良好に行い得るようにしている。
【００２９】
図４は、度数分布作成部１２５で作成される度数分布の一例を示すものである。曲線ａは判別領域にテロップを含む場合の度数分布を示しており、曲線ｂは判別領域にテロップを含んでいない場合の度数分布を示している。判別領域にテロップを含む場合には、テロップの動き量に対応した度数が突出した度数分布となる。曲線ａで示される度数分布によれば、判別領域に動き量が−２６のテロップを含んでいるものと推定される。
【００３０】
また、テロップ領域抽出部１２０は、度数分布作成部１２５で作成された度数分布より、テロップの動き量の候補をそれぞれ含む複数の動き量範囲を選択する候補選択部１２６を有している。候補選択部１２６は、度数の大きな動き量を中心とした±ｐの範囲を順次選択していく。
【００３１】
例えば、度数分布作成部１２５で図４の曲線ａで示す度数分布が作成される場合であって、ｐ＝４である３つの動き量範囲を選択する場合を考える。この場合、まず、度数が最大である−２６の動き量を中心とした±４の範囲を動き量範囲として選択する（ＥＸ１の範囲参照）。次に、度数が２番目に大きな０の動き量を中心とした±４の範囲を動き量範囲として選択する（ＥＸ２の範囲参照）。最後に、度数が３番目に大きな１０の動き量を中心とした±４の範囲を動き量範囲として選択する（ＥＸ３の範囲参照）。
【００３２】
また、テロップ領域抽出部１２０は、候補選択部１２６で選択された複数の動き量範囲のそれぞれについて、動き量の分布に基づく特徴量としての分散σ2を求める分散演算部１２７を有している。この分散σ2は、動き量範囲に含まれる動き量ｘｉ（ｉ＝１〜Ｎ）を用いて、（１）式に基づいて求められる。この（１）式において、Ｎは度数の合計である。
【００３３】
【数１】
また、テロップ領域抽出部１２０は、分散演算部１２７で求められた複数の動き量範囲のそれぞれについての分散σ2に基づいて、判別領域がテロップを含むテロップ領域か否かを判別する判別部１２８を有している。テロップの動き量を含む動き量範囲では、当該テロップの動き量に対応した度数が突出したものとなっている。そのため、テロップの動き量を含む動き量範囲についての分散σ2は、テロップの動き量を含まない動き量範囲に比較して、小さくなる。
【００３５】
そこで、判別部１２８は、複数の動き量範囲のそれぞれについての分散σ2をそれぞれ所定の閾値と比較し、当該閾値より小さな分散σ2があるときは、判別領域がテロップを含むテロップ領域であると判別する。さらに、判別部１２８は、分散σ2が閾値より小さくなる動き量範囲の中心の動き量をテロップの動き量として決定する。
【００３６】
また、テロップ領域抽出部１２０は、記憶部１２９と動き情報出力部１３０とを有している。記憶部１２９は、判別部１２８より順次出力される、各判別領域がテロップ領域であるか否かの判別結果および当該判別領域がテロップ領域であると判別するときはさらにテロップの動き量を、動き情報として格納する。動き情報出力部１３０は、記憶部１２９から映像信号Ｖｂにおける注目位置に対応する判別領域の動き情報を、当該注目位置の動き情報ＭＯＶとして読み出して出力する。ここで、注目位置に対応する判別領域の動き情報とは、後述するように注目位置の周辺に位置し、予測タップやクラスタップの画素データとして使用される画素データを含む判別領域（ライン）の動き情報を意味している。
【００３７】
図２に示すテロップ領域抽出部１２０の動作を説明する。
入力端子１２１に入力される映像信号Ｖａは動き量検出器１２２に供給される。この動き量検出器１２２では、その映像信号Ｖａに基づいて、例えばブロックマッチングの処理によって、画面を構成する各画素の動き量がそれぞれ検出される。この各画素の動き量は記憶部１２３に格納される。
【００３８】
また、領域切出部１２４によって、テロップを含むテロップ領域か否かを判別すべき判別領域（本実施の形態ではライン）に対応した複数画素の動き量が、記憶部１２３より判別領域毎に読み出されて度数分布作成部１２５に供給される。度数分布作成部１２５では、判別領域に対応した複数画素の動き量の度数分布が作成される。この度数分布は、候補選択部１２６に供給される。
【００３９】
そして、候補選択部１２６では、度数分布に基づいて、テロップの動き量の候補をそれぞれ含む複数の動き量範囲が選択される。この場合、度数の大きな動き量を中心とした±ｐの範囲が順次選択される。そして、このように選択された複数の動き量範囲の度数分布情報が、候補選択部１２６から分散演算部１２７に供給される。
【００４０】
分散演算部１２７では、複数の動き量範囲のそれぞれについて、動き量の分布に基づく特徴量としての分散σ2が求められる（（１）式参照）。この分散σ2は、動き量範囲における平均値のまわりの散らばり度合いを示すものであり、テロップの動き量を含む動き量範囲についての分散σ2は、テロップの動き量を含まない動き量範囲に比較して、小さくなる。
【００４１】
そして、分散演算部１２７から判別部１２８に、複数の動き量範囲における、度数分布情報（動き量範囲における最大度数の動き量のみであってもよい）および分散σ2が供給される。判別部１２８では、複数の動き量範囲のそれぞれについての分散σ2に基づいて、判別領域がテロップを含むテロップ領域か否かの判別が行われる。この場合、複数の動き量範囲のそれぞれについての分散σ2がそれぞれ所定の閾値と比較され、閾値より小さな分散σ2があるときは、判別領域がテロップを含むテロップ領域であると判別される。またこの場合、分散σ2が閾値より小さくなる動き量範囲の中心の動き量が、テロップの動き量として決定される。
【００４２】
例えば、図４の曲線ａで示す度数分布に対して、動き量範囲ＥＸ１〜ＥＸ３が選択され、動き量範囲ＥＸ１にはテロップの動き量を含み、動き量範囲ＥＸ２，ＥＸ３にはテロップの動き量を含まないものとする。その場合、動き量範囲ＥＸ１についての分散σ2は小さく、それに比べて動き量範囲ＥＸ２，ＥＸ３についての分散σ2は大きくなる。この場合、動き量範囲ＥＸ１についての分散σ2が閾値より小さくなることから、判別領域はテロップ領域と判別され、テロップの動き量は−２６と決定される。
【００４３】
判別部１２８より順次出力される、各判別領域についてのテロップ領域であるか否かの判別結果およびテロップの動き量は、動き情報として記憶部１２９に記憶される。そして、動き情報出力部１３０は、記憶部１２９から映像信号Ｖｂにおける注目位置に対応する判別領域の動き情報を、当該注目位置の動き情報ＭＯＶとして読み出して出力する。
【００４４】
なお、上述したテロップ領域の抽出動作を、ソフトウェアで実現することも可能である。図５のフローチャートを参照して、各判別領域について、テロップ領域であるか否かの判別結果およびテロップの動き量を得るまでの処理手順を説明する。
まず、ステップＳＴ１で、映像信号Ｖａに基づいて、画面を構成する各画素の動き量を、例えばブロックマッチングの処理によってそれぞれ検出してメモリに記憶する。
【００４５】
次に、ステップＳＴ２で、テロップを含むテロップ領域か否かを判別すべき判別領域（ライン）に対応した複数画素の動き量を、メモリから読み出す。そして、ステップＳＴ３で、読み出した複数の動き量の度数分布を作成し、ステップＳＴ４で、度数分布に基づいて、テロップの動き量の候補をそれぞれ含む複数の動き量範囲を選択する。
【００４６】
次に、ステップＳＴ５で、複数の動き量範囲のそれぞれについて、（１）式によって、動き量の分布に基づく特徴量としての分散σ2を求める。そして、ステップＳＴ６で、複数の動き量範囲のそれぞれについての分散σ2に基づいて、判別領域がテロップを含むテロップ領域か否かの判別をする。
【００４７】
この場合、複数の動き量範囲のそれぞれについての分散σ2をそれぞれ所定の閾値と比較し、閾値より小さな分散σ2があるときは、判別領域がテロップを含むテロップ領域であると判別する。また、このステップＳＴ６では、判別領域がテロップ領域であると判別するとき、分散σ2が閾値より小さくなる動き量範囲の中心の動き量をテロップの動き量として決定する。
【００４８】
次に、ステップＳＴ７で、ステップＳＴ６で得られる、判別領域についてのテロップ領域であるか否かの判別結果およびテロップの動き量を、当該判別領域の動き情報としてメモリに記憶する。
次に、ステップＳＴ８で、画面上の全ての判別領域（ライン）での判別が終了したか否かを判定する。全ての判別領域での判別が終了していないときは、ステップＳＴ２に戻り、次の判別領域について、上述したと同様の処理をする。一方、全ての判別領域での判別が終了したときは、処理を終了する。
【００４９】
図１に戻って、画像信号処理部１１０は、テロップ情報抽出部１２０より出力される動き情報ＭＯＶに基づいて、バッファメモリ１０９からの映像信号Ｖａに対して動き補償を行う動き補償部１３１を有している。この動き補償部１３１では、後述する予測タップおよびクラスタップの画素データを抽出するための各フィールドにおいて、テロップの水平方向の動きがほぼうち消された状態とされる。
【００５０】
また、画像信号処理部１１０は、動き補償部１３１で動き補償が行われた映像信号Ｖａ′の複数のフィールドから、映像信号Ｖｂにおける注目位置に対して時間方向および空間方向（水平方向、垂直方向）の周辺に位置する複数の画素データを選択的に取り出して出力する第１、第２のタップ選択回路１３２，１３３を有している。第１のタップ選択回路１３２は、予測に使用する画素データ（予測タップの画素データ）を選択的に取り出すものである。第２のタップ選択回路１３３は、クラス分類に使用する画素データ（クラスタップの画素データ）を選択的に取り出すものである。
【００５１】
また、画像信号処理部１１０は、第２のタップ選択回路１３３で選択的に取り出されるクラスタップの画素データからレベル分布パターンを特徴量として検出し、このレベル分布パターンに基づいてクラスコードＣＬを発生するクラス検出回路１３４を有している。
【００５２】
このクラス検出回路１３４では、例えば、まず８ビットの各データを２ビットに圧縮するような演算が行われる。ここでは、ＡＤＲＣによってデータ圧縮が行われる、この場合、各データの最大値をＭＡＸ、最小値をＭＩＮ、ダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、各データｋｉに対して、（２）式の演算により、圧縮データとしての再量子化コードｑｉが得られる。ただし、（２）式において、[ ]は切り捨て処理を意味している。第２のタップ選択回路１３３で選択されたデータの個数がＮａであるとき、ｉ＝１〜Ｎａである。
ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）＊２P／ＤＲ］ ・・・（２）
【００５３】
クラス検出回路１３４では、次に、上述したように得られる再量子化コードｑｉに基づき、（３）式によって、作成すべき映像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが演算される。
【００５４】
【数２】
また、画像信号処理部１１０は、係数メモリ１３５を有している。この係数メモリ１３５は、後述する推定予測演算回路１３６で使用される推定式の係数データを格納するものである。この係数データは、映像信号Ｖａを、映像信号Ｖｂに変換する際に使用する情報である。係数メモリ１３５には、クラスコードＣＬで示される各クラスの係数データが格納されている。この係数メモリ１３５には、上述したクラス検出回路１３４より出力されるクラスコードＣＬが読み出しアドレス情報として供給される。この係数メモリ１３５からはクラスコードＣＬに対応した係数データｗｉが読み出され、推定予測演算回路１３６に供給される。係数データの生成方法については後述する。
【００５６】
また、画像信号処理部１１０は、第１のタップ選択回路１３２で選択的に取り出される予測タップの画素データｘｉと、係数メモリ１３５より読み出される係数データｗｉとから、作成すべき映像信号Ｖｂの画素データ（注目位置の画素データ）ｙを演算する推定予測演算回路１３６を有している。
【００５７】
この推定予測演算回路１３６には、第１のタップ選択回路１２６より注目位置に対応した予測タップのデータｘｉと、係数メモリ１３５よりその注目位置に対応した係数データｗｉとが供給され、注目位置の画素データｙは（４）式の推定式で演算される。
【００５８】
【数３】
また、画像信号処理部１１０は、推定予測演算回路１３６より順次出力される注目位置の画素データｙを、フィールド周波数が１００Ｈｚのインタレース方式の映像信号Ｖｂとして出力する後処理回路１３７を有している。
【００６０】
次に、画像信号処理部１１０の動作を説明する。
バッファメモリ１０９に記憶されている映像信号Ｖａがテロップ領域抽出部１２０に供給される。このテロップ領域抽出部１２０は、映像信号Ｖａに基づいて、画面の各判別領域、本実施の形態においては各ラインがテロップを含むテロップ領域であるか否かを判別し、その判別結果およびテロップ領域であると判別するときはさらにテロップの動き量を、動き情報として取得し、作成すべき映像信号Ｖｂにおける注目位置に対応した動き情報ＭＯＶを順次出力していく。
【００６１】
このようにテロップ領域抽出部１２０より出力される動き情報ＭＯＶは、動き補償部１３１に供給される。この動き補償部１３１では、動き情報ＭＯＶに基づいて、バッファメモリ１０９からの映像信号Ｖａに対して動き補償が行われる。この場合、映像信号Ｖｂにおける注目位置がテロップ領域あるいはその近傍にあるとき、予測タップおよびクラスタップの画素データを抽出するための各フィールドにおいてテロップの水平方向の動きがほぼうち消された状態となる。
【００６２】
動き補償部１３１より出力される映像信号Ｖａ′より、第２のタップ選択回路１３３で、映像信号Ｖｂにおける注目位置の周辺に位置するクラスタップの画素データが選択的に取り出される。このクラスタップの画素データはクラス検出回路１３４に供給される。このクラス検出回路１３４では、クラスタップのデータからレベル分布パターンが特徴量として検出され、このレベル分布パターンに基づいて、上述の注目位置の画素データが属するクラスを示すクラスコードＣＬが得られる（（３）式参照）。そして、このクラスコードＣＬは、係数メモリ１３５に読み出しアドレス情報として供給される。
【００６３】
また、動き補償部１３１より出力される映像信号Ｖａ′より、第１のタップ選択回路１３２で、映像信号Ｖｂにおける注目位置の周辺に位置する予測タップの画素データｘｉが選択的に取り出される。この予測タップの画素データｘｉは、推定予測演算回路１３６に供給される。推定予測演算回路１３６では、予測タップの画素データｘｉと、係数メモリ１３５より読み出される注目位置に対応した係数データｗｉとを用いて、推定式（（４）式参照）に基づいて、注目位置の画素データｙが求められる。
【００６４】
そして、この推定予測演算回路１３６より順次出力される映像信号Ｖｂにおける注目位置の画素データｙは、後処理回路１３７に供給される。この後処理回路１３７は、推定予測演算回路１３６より順次出力される画素データｙより、フィールド周波数が１００Ｈｚのインタレース方式の映像信号を生成する。つまり、この後処理回路１３７からは、フィールド周波数が１００Ｈｚのインタレース方式の映像信号Ｖｂが出力される。
【００６５】
上述したように、テロップ領域抽出部１２０では、テロップを含むテロップ領域か否かを判別すべき判別領域（ライン）に対応した複数画素の動き量の度数分布を作成し、この度数分布よりテロップの動き量の候補をそれぞれ含む複数の動き量範囲を選択し、この複数の動き量範囲のそれぞれについて動き量の分布に基づく特徴量として分散を求め、この分散に基づいて判別領域がテロップを含むテロップ領域か否かを判別するものであり、テロップを含む領域を精度よく抽出できる。
【００６６】
また、画像信号処理部１１０では、テロップ領域抽出部１２０から作成すべき映像信号Ｖｂにおける注目位置に対応した動き情報ＭＯＶを順次出力し、この動き情報に基づいて映像信号Ｖａの動き補償を行って予測タップおよびクラスタップの画素データを抽出するための各フィールドをテロップの水平方向の動きがほぼうち消された状態とし、動き補償後の映像信号Ｖａを用いて映像信号Ｖｂを得るものであり、映像信号Ｖｂによってディスプレイ部１１１に表示される画面ではテロップが見やすいものとなる。
【００６７】
次に、係数メモリ１３５に記憶される係数データの生成方法について説明する。この係数データは、予め学習によって生成されたものである。
まず、この学習方法について説明する。上述の、（４）式において、学習前は係数データｗ1 ，ｗ2，‥‥，ｗn は未定係数である。学習は、クラス毎に、複数の信号データに対して行う。学習データ数がｍの場合、（４）式に従って、以下に示す（５）式が設定される。ｎは予測タップの数を示している。
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn ・・・（５）
（ｋ＝１，２，‥‥，ｍ）
【００６８】
ｍ＞ｎの場合、係数データｗ1 ，ｗ2，‥‥，ｗnは、一意に決まらないので、誤差ベクトルｅの要素ｅkを、以下の式（６）で定義して、（７）式のｅ2を最小にする係数データを求める。いわゆる最小２乗法によって係数データを一意に定める。
ｅk＝ｙk−｛ｗ1×ｘk1＋ｗ2×ｘk2＋‥‥＋ｗn×ｘkn｝ ・・・（６）
（ｋ＝１，２，‥‥ｍ）
【００６９】
【数４】
（７）式のｅ2を最小とする係数データを求めるための実際的な計算方法としては、まず、（８）式に示すように、ｅ2を係数データｗｉ(ｉ＝１，２，・・・，ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データｗｉを求めればよい。
【００７１】
【数５】
（８）式から係数データｗｉを求める具体的な手順について説明する。（９）式、（１０）式のようにＸji，Ｙi を定義すると、（８）式は、（１１）式の行列式の形に書くことができる。
【００７３】
【数６】
【数７】
（１１）式は、一般に正規方程式と呼ばれるものである。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データｗｉ（ｉ＝１，２，・・・，ｎ）を求めることができる。
【００７６】
図６は、係数データ生成装置１５０を示している。この係数データ生成装置１５０は、教師信号としての、フィールド周波数が１００Ｈｚでインタレース方式の映像信号Ｖｂが入力される入力端子１５１と、この映像信号Ｖｂから、生徒信号としての、フィールド周波数が５０Ｈｚでインタレース方式の映像信号Ｖａを得る生徒信号生成回路１５２とを有している。
【００７７】
また、係数データ生成装置１５０は、生徒信号生成回路１５２より出力される映像信号Ｖａに基づいて、映像信号Ｖｂにおける注目位置の動き情報ＭＯＶを出力するテロップ領域抽出部１５３を有している。このテロップ領域抽出部１５３は、上述した画像信号処理部１１０のテロップ領域抽出部１２０と同様に構成され、同様の処理を行う。
【００７８】
すなわち、映像信号Ｖａに基づいて、画面の各判別領域、本実施の形態においては各ラインがテロップを含むテロップ領域であるか否かを判別し、その判別結果およびテロップ領域であると判別するときはさらにテロップの動き量を、動き情報として取得し、映像信号Ｖｂにおける注目位置に対応した動き情報ＭＯＶを順次出力していく。
【００７９】
また、係数データ生成装置１５０は、テロップ領域抽出部１５３より出力される動き情報ＭＯＶに基づいて、生徒信号生成回路１５２より出力される映像信号Ｖａに対して動き補償を行う動き補償部１５４を有している。この動き補償部１５４は、上述した画像信号処理部１１０の動き補償部１３１と同様に構成され、同様の処理を行う。
【００８０】
すなわち、この動き補償部１５４では、映像信号Ｖｂにおける注目位置がテロップ領域あるいはその近傍にあるとき、後述する予測タップおよびクラスタップの画素データを抽出するための各フィールドにおいてテロップの水平方向の動きがほぼうち消された状態とされる。
【００８１】
また、係数データ生成装置１５０は、動き補償部１５４で動き補償が行われた映像信号Ｖａ′より、映像信号Ｖｂにおける注目位置に対して時間方向および空間方向の周辺に位置する複数の画素データを選択的に取り出して出力する第１のタップ選択回路１５５および第２のタップ選択回路１５６を有している。これら第１、第２のタップ選択回路１５５，１５６は、上述した画像信号処理部１１０の第１、第２のタップ選択回路１３２，１３３と同様に構成される。
【００８２】
また、係数データ生成装置１５０は、第２のタップ選択回路１５６で選択的に取り出されるクラスタップのデータからレベル分布パターンを特徴量として検出し、このレベル分布パターンに基づいて、映像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬを発生するクラス検出回路１５８を有している。このクラス検出回路１５８は、上述した画像信号処理部１１０のクラス検出回路１３４と同様に構成される。
【００８３】
また、係数データ生成装置１５０は、正規方程式生成部１６１を有している。この正規方程式生成部１６１は、入力端子１５１に供給される映像信号Ｖｂから得られる注目位置の各データｙと、この各データｙにそれぞれ対応して第１のタップ選択回路１５５で選択的に取り出される予測タップのデータｘｉと、各データｙにそれぞれ対応してクラス検出回路１５８で発生されるクラスコードＣＬとを用いて、クラス毎に、ｎ個の係数データｗｉを得るための正規方程式（（１１）式参照）を生成する。
【００８４】
この場合、１個の画素データｙとそれに対応するｎ個の予測タップの画素データｘｉ（ｉ＝１〜ｎ）との組み合わせで上述した１個の学習データが生成される。したがって、正規方程式生成部１６１では多くの学習データが登録された正規方程式が生成される。
【００８５】
また、係数データ生成装置１５０は、正規方程式生成部１６１でクラス毎に生成された正規方程式のデータが供給され、クラス毎に生成された正規方程式を解いて、各クラスの係数データｗｉを求める係数データ決定部１６２と、この求められた係数データｗｉを記憶する係数メモリ１６３とを有している。係数データ決定部１６２では、正規方程式が例えば掃き出し法などによって解かれて、係数データｗｉが求められる。
【００８６】
図６に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には教師信号としての映像信号Ｖｂ（フィールド周波数が１００Ｈｚでインタレース方式の映像信号）が供給される。この映像信号Ｖｂは生徒信号生成回路１５２に供給され、生徒信号としての映像信号Ｖａ（フィールド周波数が５０Ｈｚでインタレース方式の映像信号）が生成される。
【００８７】
そして、映像信号Ｖａがテロップ領域抽出部１５３に供給される。このテロップ領域抽出部１５３では、映像信号Ｖａに基づいて、画面の各判別領域、つまり各ラインがテロップを含むテロップ領域であるか否かを判別し、その判別結果およびテロップ領域であると判別するときはさらにテロップの動き量を、動き情報として取得し、映像信号Ｖｂにおける注目位置に対応した動き情報ＭＯＶを順次出力していく。
【００８８】
この動き情報ＭＯＶは動き補償部１５４に供給される。動き補償部１５４では、動き情報ＭＯＶに基づいて、生徒信号生成回路１５２より出力される映像信号Ｖａに対して動き補償が行われる。これにより、映像信号Ｖｂにおける注目位置がテロップ領域あるいはその近傍にあるとき、後述する予測タップおよびクラスタップの画素データを抽出するための各フィールドは、テロップの水平方向の動きがほぼうち消された状態とされる。
【００８９】
動き補償部１５４より出力される映像信号Ｖａ′より、第２のタップ選択回路１５６で、映像信号Ｖｂにおける注目位置の周辺に位置するクラスタップのデータが選択的に取り出される。このクラスタップのデータはクラス検出回路１５８に供給される。このクラス検出回路１５８では、クラスタップのデータからレベル分布パターンが特徴量として検出され、このレベル分布パターンに基づいて、映像信号Ｖｂにおける注目位置の画素データが属するクラスを示すクラスコードＣＬが発生される（（３）式参照）。
【００９０】
また、動き補償部１５４より出力される映像信号Ｖａ′より、第１のタップ選択回路１５５で、映像信号Ｖｂにおける注目位置の周辺に位置する予測タップの画素データが選択的に取り出される。そして、入力端子１５１に供給される映像信号Ｖｂより順次得られる注目位置の画素データｙと、この画素データｙに対応して第１のタップ選択回路１５５で選択的に取り出される予測タップの画素データｘｉと、この画素データｙに対応してクラス検出回路１５８より出力されるクラスコードＣＬとから、正規方程式生成部１６１では、クラス毎に、ｎ個の係数データｗｉを生成するための正規方程式が生成される。
そして、係数データ決定部１６２でその正規方程式が解かれ、各クラスの係数データｗｉが求められ、その係数データｗｉはクラス別にアドレス分割された係数メモリ１６３に記憶される。
【００９１】
このように、図６に示す係数データ生成装置１５０においては、図１の画像信号処理部１１０の係数メモリ１３５に記憶される各クラスの係数データｗｉを生成できる。
なお、上述実施の形態においては、各動き量範囲についての分散σ2を求めて使用するものを示したが、動き量の散らばり度合いを示すものとして、分散の代わりに標準偏差等のその他の統計値を求めて使用してもよい。
【００９２】
また、分散の代わりに、各動き量範囲について、ＦＦＴ(fast Fourier transform)やＬＰＣ(linear predictive coding)等の周波数解析処理によって、動き量の散らばり度合いを示す周波数パワースペクトラムを求めて使用してもよい。この周波数パワースペクトラムは、テロップの動き量を含む動き量範囲については中域から高域にかけての周波数パワースペクトラムが増加する。したがって、この周波数パワースペクトラムに基づいて、各動き量範囲がテロップの動き量を含むか否かを判別できる。
【００９３】
図７は、ＦＦＴの周波数解析処理によって求めた周波数パワースペクトラムの一例を示しており、曲線ａがテロップの動き量を含む動き量範囲に対応したものであり、曲線ｂがテロップの動き量を含まない動き量範囲に対応したものである。また、図８は、ＬＰＣの周波数解析処理によって求めた周波数パワースペクトラムの一例を示しており、曲線ａがテロップの動き量を含む動き量範囲に対応したものであり、曲線ｂがテロップの動き量を含まない動き量範囲に対応したものである。
【００９４】
また、上述実施の形態においては、水平方向に帯状に流れるテロップを想定しており、判別領域をライン単位として、テロップ領域の抽出を良好に行い得るようにしているが、この判別領域はライン単位ではなく、水平方向（横方向）に長い矩形領域としても、テロップ領域の抽出を良好に行うことができる。また、垂直方向に帯状に流れるテロップを想定した場合には、判別領域を垂直方向（縦方向）に長い矩形領域とすることで、テロップ領域の抽出を良好に行うことができる。また、このように垂直方向に帯状に流れるテロップを想定した場合には、画面を構成する各画素の動き量として、水平方向の動き量ではなく、垂直方向の動き量を検出して使用すればよい。
【００９５】
【発明の効果】
この発明によれば、テロップを含むテロップ領域か否かを判別すべき判別領域に対応した複数画素の動き量の度数分布を作成し、この度数分布よりテロップの動き量の候補をそれぞれ含む複数の動き量範囲を選択し、この複数の動き量範囲のそれぞれについて動き量の分布に基づく特徴量を求め、この特徴量に基づいて判別領域がテロップを含むテロップ領域か否かを判別するものであり、テロップを含む領域を精度よく抽出できる。
【００９６】
また、この発明によれば、第１の画像信号により得られる画面のうちテロップを含む領域の動きを検出し、この動きに基づいて第１の画像信号の動き補償を行った後にこの第１の画像信号を用いて第２の画像信号を得る処理を行うものであり、第２の画像信号により得られる画面ではテロップが見やすいものとなる。
【図面の簡単な説明】
【図１】実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図２】テロップ領域抽出部１２０の構成を示すブロック図である。
【図３】ブロックマッチングの処理を説明するための図である。
【図４】度数分布の一例を示す図である。
【図５】テロップ領域抽出動作を説明するためのフローチャートである。
【図６】係数データ生成装置の構成を示すブロック図である。
【図７】ＦＦＴの周波数解析処理による周波数パワースペクトラムの一例を示す図である。
【図８】ＬＰＣの周波数解析処理による周波数パワースペクトラムの一例を示す図である。
【符号の説明】
１００・・・テレビ受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０５・・・受信アンテナ、１０６・・・チューナ部、１０９・・・バッファメモリ、１１０・・・画像信号処理部、１２０・・・テロップ領域抽出部、１２１・・・入力端子、１２２・・・動き量検出器、１２３，１２９・・・記憶部、１２４・・・領域切出部、１２５・・・度数分布作成部、１２６・・・候補選択部、１２７・・・分散演算部、１２８・・・判別部、１３０・・・動き情報出力部、１３１・・・動き補償部、１３２・・・第１のタップ選択回路、１３３・・・第２のタップ選択回路、１３４・・・クラス検出回路、１３５・・・係数メモリ、１３６・・・推定予測演算回路、１３７・・・後処理回路
Claims (2)
- 複数の画素データからなる第１の画像信号を複数の画素データからなる第２の画像信号に変換する画像信号処理回路であって、
上記第１の画像信号に基づいて、上記第２の画像信号における注目位置の動き情報を出力するテロップ領域抽出手段と、
上記テロップ領域抽出手段により出力される上記注目位置の動き情報に基づいて、上記第１の画像信号に対して動き補償を行う動き補償手段と、
上記動き補償手段で動き補償が行われた上記第１の画像信号から、上記注目位置に対して時間方向および空間方向の周辺に位置する複数の第１の画素データを選択する第１のデータ選択手段と、
上記第１のデータ選択手段で選択された複数の第１の画素データを用いて、上記第２の画像信号における注目位置の画素データを生成する画素データ生成手段とを備え、
上記テロップ領域抽出手段は、
上記第１の画像信号に基づいて、画面を構成する各画素の動き量をそれぞれ検出する動き量検出手段と、
上記動き量検出手段で検出された各画素の動き量のうち、テロップを含むテロップ領域か否かを判別すべき判別領域に対応した複数画素の動き量の度数分布を作成する度数分布作成手段と、
上記度数分布作成手段で作成された度数分布より、上記テロップの動き量の候補をそれぞれ含む複数の動き量範囲を選択する候補選択手段と、
上記候補選択手段で選択された上記複数の動き量範囲のそれぞれについて動き量の散らばり度合いを示す特徴量を求める演算手段と、
上記演算手段で求められた上記複数の動き量に基づいて、上記判別領域がテロップを含む領域か否かを判別し、その判別結果および当該領域がテロップ領域であると判別するときはさらにテロップの動き量を、動き情報として出力する判別手段と、
上記判別手段から出力される各判別領域の動き情報を格納する記憶手段と、
上記記憶手段から上記注目位置に対応する判別領域の動き情報を当該注目位置の動き情報として読み出して出力する動き情報出力手段とを有する画像信号処理回路。 - 上記画素データ生成手段は、
上記動き補償手段で動き補償が行われた上記第１の画像信号から、上記注目位置の周辺に位置する複数の第２の画素データを選択する第２のデータ選択手段と、
上記第２のデータ選択手段で選択された複数の第２の画素データに基づいて、上記注目位置の画素データが属するクラスを検出するクラス検出手段と、
上記クラス検出手段で検出されたクラスに対応した、推定式の係数データを発生する係数データ発生手段と、
上記係数データ発生手段で発生された係数データおよび上記第１のデータ選択手段で選択された複数の第１の画素データを用いて、上記推定式に基づいて、上記第２の画像信号における上記注目位置の画素データを算出して得る演算手段とを有する請求項１に記載の画像信号処理回路。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002070651A JP4200681B2 (ja) | 2002-03-14 | 2002-03-14 | 画像信号処理回路 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002070651A JP4200681B2 (ja) | 2002-03-14 | 2002-03-14 | 画像信号処理回路 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003271970A JP2003271970A (ja) | 2003-09-26 |
| JP4200681B2 true JP4200681B2 (ja) | 2008-12-24 |
Family
ID=29201159
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002070651A Expired - Fee Related JP4200681B2 (ja) | 2002-03-14 | 2002-03-14 | 画像信号処理回路 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4200681B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4048996B2 (ja) | 2003-04-11 | 2008-02-20 | ソニー株式会社 | テロップの抽出装置および抽出方法、並びにプログラムおよび媒体 |
| WO2009130972A1 (ja) * | 2008-04-22 | 2009-10-29 | 日本電気株式会社 | テロップ移動ベクトル算出方法、装置及びプログラムを格納する記録媒体 |
| JP5164716B2 (ja) * | 2008-07-28 | 2013-03-21 | 株式会社日立製作所 | 映像処理装置および映像表示装置 |
| JP5479080B2 (ja) * | 2009-12-24 | 2014-04-23 | キヤノン株式会社 | 映像処理装置及び方法 |
-
2002
- 2002-03-14 JP JP2002070651A patent/JP4200681B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003271970A (ja) | 2003-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101646034B (zh) | 图像处理器和图像处理方法 | |
| KR100939736B1 (ko) | 계수 데이터 생성장치 및 생성방법, 그것을 사용한 정보신호 처리장치 및 처리방법, 그것에 사용하는 종계수 데이터 생성장치 및 생성방법, 및 정보제공매체 | |
| US7551226B2 (en) | Image signal conversion apparatus, method and, display for image signal conversion based on selected pixel data | |
| CN101631211B (zh) | 遥控器、图像信号处理设备和图像信号处理方法 | |
| US20040070685A1 (en) | Method and apparatus for processing information, storage medium, and program | |
| JP4277446B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに記録媒体 | |
| JP3885786B2 (ja) | 情報信号の処理装置および処理方法、並びにその処理方法を実行させるためのプログラム | |
| JP4200681B2 (ja) | 画像信号処理回路 | |
| KR100770067B1 (ko) | 정보 신호 처리 장치, 정보 신호 처리 방법, 화상 신호처리 장치 및 그것을 사용한 화상 표시 장치, 그리고 정보제공 매체 | |
| KR101089853B1 (ko) | 계수 데이터의 생성 장치 및 생성 방법, 계수종 데이터의 생성 장치 및 생성 방법, 정보 신호 처리 장치, 및 프로그램을 기록한 매체 | |
| JP2002374505A (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数データの取得装置および取得方法、並びに情報提供媒体 | |
| KR100982625B1 (ko) | 정보 신호의 처리 장치 및 처리 방법 | |
| JP4311166B2 (ja) | 情報信号の処理装置および処理方法、それに使用される係数種データの生成装置および生成方法、並びに各方法を実行するためのプログラム、そのプログラムを記録した媒体 | |
| JP4349086B2 (ja) | 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体 | |
| JP4457277B2 (ja) | 画像信号変換装置、画像信号変換方法、およびそれを使用した画像表示装置 | |
| JP4441860B2 (ja) | 情報信号の処理装置および処理方法、並びにプログラムおよびそれを記録した媒体 | |
| JP3912161B2 (ja) | 画像表示装置、それに使用する画像信号処理装置および画像信号処理方法、並びにその方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4051934B2 (ja) | 情報信号処理装置、情報信号処理方法およびそれを使用した画像処理装置および画像処理方法、並びに情報信号処理方法又は画像処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| CN100367789C (zh) | 系数数据产生和信息信号处理设备和方法 | |
| JP4042402B2 (ja) | 画像信号処理装置および画像信号処理方法、係数データ生成装置および係数データ生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4692801B2 (ja) | 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、並びに、それに使用する係数情報の生成装置および生成方法 | |
| JP4649812B2 (ja) | 画像信号処理装置、画像信号処理方法およびそれを使用した画像表示装置、並びに各画像信号処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP4692798B2 (ja) | 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに記録媒体 | |
| JP4154961B2 (ja) | 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| JP2004173012A (ja) | 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050310 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080318 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080519 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080610 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080811 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080819 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080916 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080929 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131017 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |