WO2003055211A1 - Processeur de signaux d'image et procede de traitement - Google Patents

Processeur de signaux d'image et procede de traitement Download PDF

Info

Publication number
WO2003055211A1
WO2003055211A1 PCT/JP2002/013099 JP0213099W WO03055211A1 WO 2003055211 A1 WO2003055211 A1 WO 2003055211A1 JP 0213099 W JP0213099 W JP 0213099W WO 03055211 A1 WO03055211 A1 WO 03055211A1
Authority
WO
WIPO (PCT)
Prior art keywords
field
image signal
motion vector
image
signal processing
Prior art date
Application number
PCT/JP2002/013099
Other languages
English (en)
French (fr)
Inventor
Takaya Hoshino
Toshio Sarugaku
Ikuo Someya
Makoto Kondo
Kazuhiko Nishibori
Koji Aoyama
Yukihiko Mogi
Nobuo Ueki
Masuyoshi Kurokawa
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to EP02786103A priority Critical patent/EP1460845A4/en
Priority to US10/498,426 priority patent/US7215377B2/en
Priority to KR1020047009067A priority patent/KR100930759B1/ko
Publication of WO2003055211A1 publication Critical patent/WO2003055211A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • H04N5/145Movement estimation
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S348/00Television
    • Y10S348/91Flicker reduction

Definitions

  • the field f and field f 2 becomes a signal created from the same film frame, and so the field f 3 and buoy one field f 4 also constituting the same frame. Since these image signals are interlaced image signals, pixel positions in the vertical direction differ between adjacent fields. For this reason, it is not possible to create one new field between each field while maintaining interlacing.
  • the image signal processing method is generated by performing double-speed conversion on a telecine-converted image, one frame is composed of four fields, the beginning of a frame starts with the first field, and the second
  • the subsequent image signal is input to the third and fourth fields, and in the input image signal, the detected pixel of the current field and the detected pixel at the same position of the field one frame after the current field are detected.
  • the detected pixel is shifted in the direction opposite to the motion vector for the first field identified, and the detected image is shifted for the identified fourth field.
  • Element in the direction of the motion vector so that the detected pixels for the specified second and third fields sequentially approach the pixel positions shifted in the fourth field as they continue from the first field. Shift in the direction of the motion vector or in the opposite direction of the motion vector.
  • FIG. 3A and FIG. 3B are diagrams showing the relationship between each field and the image position when the image moves in the horizontal direction.
  • the image signal processing device 1 may integrate a field double-speed conversion circuit 3 that doubles the field frequency of the image signal.
  • the field double speed conversion circuit 3 is integrated to improve the resolution and prevent the interference of surface fritting. For example, in the PAL method, the field frequency is reduced to 5
  • the image signal of 0 Hz is converted into a double image signal of 100 Hz.
  • the field frequency conversion circuit 3 includes an input terminal 31 connected to a television receiver, a double-speed conversion unit 32, and a frame memory 33.
  • the double-speed converter 32 writes the telecine-converted image signal input from the television receiver via the input terminal 31 to the frame memory 33.
  • the double-speed conversion unit 32 reads out the image signal written to the frame memory 33 at twice the speed at the time of writing.
  • the shift amount can be linearly increased with respect to time, and the motion of the image can be further smoothed.
  • the image shift unit 15 can shift each image in the first to third fields in the direction opposite to the motion vector, and in the fourth field, shift the images in the direction of the motion vector. is there. In such a case, in the first to third fields, the shift amount is shifted so as to gradually decrease as the first field continues.
  • the motion vector detection unit 14 detects a motion vector of the image signal input to the image signal processing device 1 at an interval of two frames. For example, when a field which is outputted from the second image memory 1 2 is a field t, Fi is supplied to the first image memory 1 1 - field, since the two frames after, a field t 3. Accordance connection, Ugokibeku torr detector 1 4 first obtains the Ugokibeku Torr between the field ti and the field t 3.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

明細書 画像信号処理装置及び処理方法 技術分野 本発明は、 テレシネ変換した画像を倍速変換することにより生成された 1コマ が 4フィールドで構成される画像信号の各検出画素の位置をシフトさせる画像信 号処理装置及び処理方法に関する。
" 本出願は、 日本国において 2 0 0 1年 1 2月 1 3日に出願された日本特許出願 番号 2 0 0 1— 3 8 0 7 6 5を基礎として優先権を主張するものであり、 この出 願は参照することにより、 本出願に援用される。 背景技術 従来、 テレビ放送の走査方式として、 水平走査線を 1本おきに飛越して走査す るインタレース走査方式が広く用いられている。 このインタレース走査方式では、 奇数番目の走査線から構成されるフィールド画像と、 偶数番目の走査線から構成 されるフィールド画像により 1枚のフレーム画像を形成し、 画面全体がちらつい て見える面フリッカ妨害を抑え、 画面品質の劣化を防止する。
ィンタレース走査方式は、 世界各国のテレビジョン標準方式として採用されて おり、 このうち例えば欧州のテレビジョ ン放送における P A L (Phase Alternat ion by Line) 方式では、 フィールド周波数が 5 0 〔H z〕 (フレーム画像が 2 5 フレーム/秒、 フィールド画像が 5 0フィールド/秒) で構成される。
特に、 P A L方式では、 更なる面フリツ力妨害の抑制を期すべく、 入力画像信 号を捕間等の処理を行うことにより、 フィールド周波数を 5 0 H zから 2倍の 1 0 0 H zの画像信号に変換する、 フィールド周波数倍速方式が従来より採用され ている。
図 1は、 このフィールド周波数倍速方式を適用したフィールド倍速変換回路 5 のブロック図を示している。 このフィールド倍速変換回路 5は、 入力端子 6 1と、 水平垂直偏向回路 6 2と、 C R T 6 3とを備えるテレビジョン受像機 6に集積化 される。 このフィールド倍速変換回路 5は、 倍速変換部 5 1と、 フレームメモリ 5 2とを備える。
倍速変換部 5 1は、 入力端子 6 1から入力された、 例えば P A L方式の 5 0フ ィールド/秒の画像信号を、 フレームメモリ 5 2へ書き込む。 また、 この倍速変 換部 5 1は、 フレームメモリ 5 2へ書き込んだ画像信号を、 書込み時の 2倍の速 度で読み出す。 これにより、 5 0フィールド/秒の画像信号の周波数を 2倍に変 換し、 1 0 0フィールド /秒の画像信号を生成することができる。
倍速変換部 5 1は、 倍速変換した画像信号を C R T 6 3へ出力する。 C R T 6 3は、 入力された画像信号を画面上に表示する。 なお、 C R T 6 3における画像 信号の水平、 垂直の偏向は、 水平垂直偏向回路 6 2において生成された、 入力画 像信号の 2倍の周波数の水平垂直鋸歯状波に基づいて制御する。
図 2 A、 図 2 Bは、 倍速変換前後の各画像信号における各フィールドと画素位 置との関係を示している。 ここで横軸は時間、 縦軸は画素の垂直方向の位置を示 す。 図 2 Aの白丸で示した画像信号は、 倍速変換前の 5 0フィールド/秒のイン タレース画像信号であり、 図 2 Bの黒丸で示した画像信号は、 倍速変換した 1 0 0フィールド Z秒のィンタレース画像信号である。
図 2 Aに示す画像信号において、 フィールド f とフィールド f 2は、 フィルム の同一のコマから作成された信号となり、 以下同様にフィールド f 3とブイ一ルド f 4も同一のコマを構成する。 これらの画像信号は、 インタレース画像信号である ため、 隣り合うフィールド間で垂直方向の画素位置が異なる。 このため、 インタ レース性を保ちつつ、 各フィールド間に 1個ずつのフィールドを新規に生成する ことはできない。
そこで、 図 2 Bに示すように、 フィールド f iとフィールド f 2の間に、 新規に 2枚のフィールド: f 2 ' 、 f i , を生成する。 フィールド f 2とフィールド ί 3の間 では、 フィールドの生成を行わず、 フィールド f 3とフィールド ί 4の間に、 新規 に 2枚のフィールド f 4 ' 、 f 3 'を生成する。 すなわち 4フィールド、 2フレー ムで 1つのコマを形成する。 この新規に生成したフィールド ί 、 f ' , · · · は、 それぞれの画素値を、 各画素の周囲 3画素の中間値として、 メディアン 'フィルタ等を用いて求める場 合もある。 この新規に生成したフィールド ί 、 、 · · · は、 それぞれフ ィールド f 2、 · ' と同じ内容となる。
すなわち、 フィールド倍速変換回路 5は、 倍速変換前の画像信号のフィールド 間に 2枚のフィールドを新規に生成する部分と全く生成しない部分とを交互に配 置することで、 単位時間当たりの画面枚数を増やすことができ、 上述の面フリ ツ 力妨害を抑えることが可能となる。
ところで、 2 4コマ/秒の静止画で構成される映画のフィルムを通常のテレビ で見るためには、 インタレースのテレビ信号にするために、 テレビシネマ変換
(以下、 テレシネ変換と称する) を行う。 このテレシネ変換後の画像信号におい て、 水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図 3 A及び図 3 Bに示す。 ここで横軸は画像の水平方向における位置、 縦軸は時間 を示している。 図 3 Aに示す倍速変換前の画像信号において、 フィールド f f 2は、 同一のコマを構成するため、 同じ位置に画像が表示される。 この画像は、 フ ィールド f 3に移行すると水平方向 (右方向) へ移動する。 フィールド f は、 フ ィールド ί 3と同一のコマを構成するため、 フィールド f 3と同一の位置に表示さ れる。
図 3 Aに示すテレシネ変換後の画像信号をフィールド周波数倍速方式により倍 速変換すると、 図 3 Bに示すように、 同一のコマを構成するフィールド f f 2 、 f ' , f 2で、 同一位置に同一の画像が表示される。 同様に、 同一のコマを 構成するフィールド f 、 f ' , f ' , f で同一位置に同一の画像が表示され る。
このテレシネ変換後に倍速変換した画像信号は、 図 3 Bに示すように、 フィー ルド f 〜 f まで同じ位置に表示される一方、 f 〜 ί に移行する場合に大きく 水平方向へ移動する。 特に倍速変換後の画像信号は、 1 / 1 0 0秒の周期で規則 的に各ブイールドを構成しているため、 画像の動作する時間帯が画像の静止する 時間帯と比較して短く、 実際に C R Tを介して番組を視聴すると画像の動きが不 連続に見えてしまう。 かかる動きの不連続性を解消するため、 例えばプロックマ ツチング法に基づき、 画面を所定の画素からなるブロックに分割し、 各ブロック 単位で相似度を評価す.ることにより動きべク トルを求める。 この求めた動きべク トルに応じて各プロック毎に画素位置をシフトさせて動き補正する。
しかしながら、 図 4に示すように、 テレビ画面 T中において、 物体の画像 Aが 図中矢印 方向の左方向に移動し、 背景 Bが図中矢印 X 2方向の右方向に移動す るような単一のプロック内に 2方向の動きが存在する場合において、 動きべク ト ルの方向を正確に検出することができず、 上述した画像の動きの不連続性を解消 することができない。 なお、 図 4中の Cは、 ブロックマッチングを行う際のプロ ックを示す。 発明の開示 本発明の目的は、 上述したようなテレシネ変換した画像を倍速変換する画像信 号処理装置及び処理方法が有する問題点を解決し得る新規な画像信号処理装置及 び処理方法を提供することにある。
本発明の他の目的は、 テレシネ変換した画像を倍速変換することにより生成さ れた画像信号について、 単一プロック内で 2方向に画像が動くようなバリエーシ ヨ ンの画像においても、 面フリツ力妨害を抑えつつ、 動きをスムーズにすること ができる画像信号処理装置及び処理方法を提供することにある。
本発明は、 テレシネ変換した画像を倍速変換することにより生成された 1コマ が 4フィールドで構成される画像信号が入力され、 演算した画素信号レベルの差 分値に基づいて各フィールドを特定し、 特定した第 1のフィールドにおいて動き べク トルの反対方向へ、 特定した第 4のフィールドにおいて動きべク トルの方向 へ、 更に特定した第 2及び第 3のブイールドにおいて上記第 1のブイールドから 後続するにつれて上記第 4のフィールドにおいてシフトさせた画素位置へ順次接 近するように検出画素の位置をシフトさせる画像信号処理装置及び処理方法であ る。
本発明に係る画像信号処理装置は、 具体的には、 テレシネ変換した画像を倍速 変換することにより生成され、 1コマが4フィールドで構成され、 コマの最初が 第 1のフィールドで始まり、 第 2、 第 3、 第 4のフィールドへと後続する画像信 号が入力される画像信号処理装置であって、 入力された上記画像信号について、 現フィールドの検出画素と、 現フィールドから 1 フレーム後のフィールドの同 1 箇所における検出画素との間で、 画素信号レベルの差分値を演算し、 当該差分値 に基づきコマを構成する各フィ一ルドを特定するシーケンス検出手段と、 現ブイ ールドの検出画素について、 現フィールドから 2フレーム後のブイールドに対す る動きべク トルを検出する動きべク トル検出手段と、 シーケンス検出手段により 特定した各フィールドに応じて、 検出した上記動きべク トルのべク トル量の範囲 内で、 画像信号の検出画素の位置をシフトさせる画像制御手段とを備える。 画像 制御手段は、 特定した第 1のフィールドについて検出画素を動きべク トルの反対 方向へシフ トさせ、 特定した第 4のフィールドについて検出画素を動きべク トル の方向へシフトさせ、 特定した第 2及び上記第 3のフィールドについて検出画素 を、 第 1のフィールドから後続するにつれて、 第 4のフィールドにおいてシフ ト させた画素位置へ順次接近するように、 動きべク トルの方向又は動きべク トルの 反対方向へシフトさせる。
本発明に係る画像信号処理方法は、 具体的には、 テレシネ変換した画像を倍速 変換することにより生成され、 1コマが 4フィールドで構成され、 コマの最初が 第 1のフィールドで始まり、 第 2、 第 3、 第 4のフィールドへと後続する画像信 号が入力され、 入力された上記画像信号において、 現フィールドの検出画素と、 現フィールドから 1フレーム後のブイールドの同一箇所における検出画素との間 で演算した画素信号レベルの差分値に基づき、 コマを構成する各フィールドを特 定し、 現フィールドの検出画素について、 現フィールドから 2フレーム後のフィ 一ルドに対する動きベク トルを検出し、 特定した第 1のフィールドについて、 検 出画素を動きべク トルの反対方向へシフ トさせ、 特定した第 4のフィールドにつ いて検出画素を上記動きべクトルの方向へシフトさせ、 特定した第 2及び第 3の ブイールドについて検出画素を、 第 1のフィールドから後続するにつれて第 4の フィールドにおいてシフトさせた画素位置へ順次接近するように、 動きべク トル の方向又は動きべク トルの反対方向へシフ トさせる。
本発明の更に他の目的、 本発明によって得られる具体的な利点は、 以下におい て図面を参照して説明される実施の形態の説明から一層明らかにされるであろう c 図面の簡単な説明 図 1は、 フィールド周波数倍速方式を適用したブイールド倍速変換回路を示す ブロック図である。
図 2 A及び図 2 Bは、 倍速変換前後の各ブイールドと画素位置の関係を示した 図である。
図 3 A及び図 3 Bは、 水平方向へ画像が移動する場合における各フィ一ルドと 画像位置の関係を示した図である。
図 4は、 単一のプロック内に 2方向の動きが存在するバリエーションの画像に ついて説明するための図である。
図 5は、 本発明を適用した画像信号処理装置を示すプロック回路部図である。 図 6 A及び図 6 Bは、 フィールド倍速変換回路における倍速変換前後の各フィ —ルドと画素位置の関係を示した図である。 '
図 7は、 水平方向へ画像が移動する場合における各フィールドと画像位置の関 係を示した図である。
図 8は、 シーケンス検出部におけるシーケンスの検出方法について説明するた めの図である。
図 9は、 画像シフト部及ぴ画像逆シフト部における画像のシフト方法について 説明するための図である。
図 1 0は、 各フィールドにおいて画像をシフトさせた結果を示した図である。 図 1 1は、 各画像を第 1及び第 2のフィールドにおいて動きべク トルの反対方 向にシフトさせるシフト方法について説明するための図である。
図 1 2は、 図 1 1に示すシフト方法により画像をシフトさせた結果を示した図 である。
図 1 3は、 入力される画像信号について、 コマを構成するフィールドの順番を 入れ替えて C R Tへ出力する画像信号処理装置のブロック構成図である。
図 1 4は、 コマを構成するフィールドの順番を入れ替えて出力する画像信号処 理装置の動作例について示した図である。
図 1 5は、 図 1 4に示す画像信号処理装置の動作例を、 コマを構成するフィー ルドの順番を入れ替えて説明するための図である。
図 1 6は、 コマを構成するフィールドの順番を入れ替えて出力する画像信号処 理装置の第 2の動作例を示した図である。
図 1 7は、 コマを構成するフィールドの順番を人れ替えて出力する画像信号処 理装置の第 3の動作例を示した図である。
図 1 8は、 コマを構成するフィ一ルドの順番を入れ替えて出力する画像信号処 理装置の第 4の動作例を示した図である。 発明を実施するための最良の形態 以下、 本発明の実施の形態について図面を参照しながら詳細に説明する。
本発明は、 例えば P A L (Phase Alternat i on by Line) 方式によるテレビジョ ン受像機に内蔵される画像信号処理装置に適用される。
本発明が適用された画像信号処理装置 1は、 図 5に示すような構成を備える。 画像信号処理装置 1は、 図 5に示すように、 第 1の画像メモリ 1 1と、 第 2の 画像メモリ 1 2と、 シーケンス検出部 1 3 と、 動きべク トル検出部 1 4 と、 画像 シフト部 1 5と、 画像逆シフト部 1 6と、 スィッチ 1 7とを備えている。
第 1の画像メモリ 1 1は、 テレシネ変換した画像を倍速変換することにより生 成された 1コマが 4フィールドで構成された、 例えば 1 0 0フィールド Z秒のィ ンタレース画像信号が順次供給される。
第 1の画像メモリ 1 1は、 供給された画像信号を、 各フィールド単位で、 1 フ レーム分格納する。 すなわち、 第 1の画像メモリ 1 1から出力される画像信号は、 この第 1の画像メモリ 1 1に供給される画像信号より 1フレーム後になる。
第 2の画像メモリ 1 2は、 第 1の画像メモリ 1 1と同様の内部構成を有し、 第 1の画像メモリ 1 1から供給された画像信号を、 各フィールド単位で、 1 フレー ム分格納する。 すなわち、 第 2の画像メモリ 1 2から出力される画像信号は、 こ の第 2の画像メモリ 1 2に供給される画像信号より 1フレーム後になり、 第 1の 画像メモリ 1 1に供給される画像信号より 2フレ一ム後になる。 この第 2の画像 メモリ 1 2に格納された画像信号は、 動きべクトル検出部 1 4に供給される。 シーケンス検出部 1 3は、 第 1の画像メモリ 1 1に供給される画像信号と、 第 1 の画像メモリ 1 1から出力される画像信号を検出し、 各画素毎に画像信号レべ ルを比較し、 両者間で差分値を演算する。 すなわち、 このシーケンス検出部 1 3 は、 画面上の同一箇所における画素の I面像信号レベルを、 1 フレーム間隔で比較 する。 シーケンス検出部 1 3は、 画像信号レベルの差分値の演算結果を画像シフ ト部 1 5及び画像逆シフト部 1 6 へ送信する。
動きべク トル検出部 1 4は、 第 1の画像メモリ 1 1に供給される画像信号と、 第 2の画像メモリ 1 2から出力される画像信号を検出し、 例えばブロックマッチ ング法に基づき動きベク トルを検出する。 このブロックマッチング法は、 画面を 所定の画素からなるプロックに分割し、 各プロック単位で相似度を評価すること により動きべク トルを求める方法である。 動きべク トル検出部 1 4は、 各画素毎 又は各プロック毎に検出した動きべク トルを画像シフト部 1 5及び画像逆シフ ト 部 1 6へ送信する。
画像シフ ト部 1 5は、 画素信号レベルの比較結果をシーケンス検出部 1 3から 受信する。 また、 画像シフ ト部 1 5は、 動きベク トル検出部 1 4が検出した動き ベタ トルを受信する。 更に画像シフト部 1 5は、 第 1の画像メモリ 1 1から、 入 力画像信号よりも 1フレーム遅延された画像信号が供給される。 画像シフト部 1 5は、 この供給された画像信号における各画素位置を、 受信した動きべク トルの べク トル量の範囲内で、 かつべク トル方向へシフトさせる。
画像逆シフ ト部 1 6は、 画素信号レベルの比較結果をシーケンス検出部 1 3か ら受信する。 画像逆シフ ト部 1 6は、 動きベク トル検出部 1 4が検出した動きべ ク トルを受信する。 更に画像逆シフト部 1 6は、 第 1の画像メモリ 1 1から、 入 力画像信号よりも 1 フレーム遅延された画像信号が供給される。 画像逆シフト部 1 6は、 この供給された画像信号における各画素位置を、 受信した動きべク トル の反対方向へシフトさせる。 なお、 この画像逆シフト部 1 6は、 上述の画像シフ ト部 1 5と一体化されて構成される場合にも適用可能である。
画像シフト部 1 5及び画像逆シフト部 1 6は、 フィールド単位で各画素位置を シフトさせた画像信号を、 スィッチ 1 7へ供給する。 スィッチ 1 7は、 シーケン ス検出部 1 3から供給される画素信号レベルの比較結果に基づき、 フィールド単 位で、 必要な画像信号を選択する。 スィッチ 1 7により選択された画像信号は C R T 2へ出力される。 C R T 2は、 スィッチ 1 7から入力された画像信号を画面 上に表示し、 また画像信号の水平、 垂直方向の偏向を、 図示しない水平垂直偏向 回路に基づき制御する。
なお、 画像信号処理装置 1には、 画像信号のフィールド周波数を倍速変換する フィールド倍速変換回路 3が集積される場合もある。 フィールド倍速変換回路 3 は、 解像度を向上させることにより、 面フリツ力妨害を防止すべく集積されるも のであり、 例えば、 P A L方式において、 捕間等の処理を行うことにより、 フィ ールド周波数が 5 0 H zの画像信号を 2倍の 1 0 0 H zの画像信号に変換する。 フィールド周波数変換回路 3は、 図 5に示すように、 テレビジョン受像機に接 続された入力端子 3 1と、 倍速変換部 3 2と、 フレームメモリ 3 3とを備える。 倍速変換部 3 2は、 テレビジョン受像機から入力端子 3 1を介して入力された、 テレシネ変換後の画像信号を、 フレームメモリ 3 3へ書き込む。 この倍速変換部 3 2は、 フレームメモリ 3 3へ書き込んだ画像信号を、 書込み時の 2倍の速度で 読み出す。 これにより、 例えば、 P A L方式の 5 0フィールド Z秒の画像信号の 周波数を 2倍に変換し、 1 0 0フィールド/秒の画像信号を生成することができ る。 倍速変換部 3 2は、 この倍速変換した画像信号を画像信号処理装置 1へ供給 する。
図 6 A及び図 6 Bは、 このフィールド倍速変換回路 3における倍速変換前後の 各フィールドと画素位置の関係を示している。 ここで横軸は時間、 縦軸は画素の 垂直方向の位置を示す。
倍速変換前の画像信号は、 P A L方式の 5 0フィールド /秒のィンタレース画 像信号であり、 図 6 Aに示すように、 2フィールドで 1つのコマを形成する。
—方、 倍速変換後の画像信号は、 1 0 0フィールド/秒のインタレース画像信 号であるため、 図 6 Bに示すように、 フィールド t とフィールド t 2の間に、 新 規に 2枚のフィ一ノレド t 2一、 t を生成する。 そして、 フィールド t とフィー ルド t の間では、 フィールドの生成を行わず、 フィーノレド t 3とブイ一ノレド t の 間に、 新規に 2枚のフィールド し 、 t 3 ,を生成する。 すなわち、 画像信号は、 4フィールドで 1つのコマを形成する。
この新規に生成したフィールド t 、 t 2 ' , · · · は、 それぞれの画素値を、 各画素の周囲 3画素の中間値として、 メディアン ' フィルタ等を用いて求める場 合もある。 また、 この新規に生成したフィールド t 、 t ' , · · · は、 それ ぞれフィールド t t、 t 2、 · ' と同じ内容となる。 これにより、 4フィールドで 1つのコマを形成することとなり、 単位時間当たりの画面枚数を増やすことで解 像度を向上させることができ、 面フリッカ妨害を抑制することが可能となる。 次に、 本発明に係る画像信号処理 置 1の動作について説明する。
画像信号処理装置 1は、 フィールド倍速変換回路 3から、 テレシネ変換後、 倍 速変換した 1コマが 4フィールドで構成される画像信号が順次供給される。 この 画像信号の水平方向へ画像が移動する場合における各フィールドと画像位置の関 係を図 7に示す。 図 7において、 横軸は画像の水平方向における位置、 縦軸は時 間を示している。 既にテレシネ変換された画像は、 図 7に示すように、 ブイール ド t ' , t t '、 t の順で、 一定の時間間隔で第 1の画像メモリ 1 1に供 給され、 画像は全て同一の位置に表示される。 またフィールド t に移行すると画 像が水平方向 (右方向) に移り、 フィールド t 、 t ' , t ' , t 4の順で第 1 の画像メモリ 1 1 に供給される。
ここで、 例えば、 第 1の画像メモリ 1 1に供給されるフィールド (以下、 参照 フィールドと称する) が、 フィールド t 3である場合には、 第 2の画像メモリ 1 2 から出力される、 参照フィールドより 2フレーム前のフィールド (以下、 2フレ ーム遅延フィールドと称する) は、 フィールド となる。
動きべク トル検出部 1 4は、 この参照フィールドと 2フレーム遅延ブイールド 間で、 各画素又は各ブロック単位で動きベク トルを検出する。 図 7に示す例の場 合には、 動きベク トルのベク トル方向は、 2フレーム遅延フィールドを基準とし て水平方向 (右方向) となり、 ベク トル量は Aとなる。 同様に、 参照フィールド が t 5の場合には、 2フレーム遅延フィールドは、 t 3となり、 動きベク トルのべ タ トル量は Bとなる。 この手順を繰り返すことにより、 2フレーム遅延フィール ドを基準とした動きべク トルのべク トル方向とべク トル量を順次求めることがで きる。 動きベク トル検出部 1 4は、 この求めた動きベク トルのベク トル量とべク トル方向とを画像シフ ト部 1 5及び画像逆シフ ト部 1 6へ順次送信する。
シーケンス検出部 1 3は、 参照フィールドと、 第 1 の画像メモリ 1 1から出力 される参照フィールドよ り 1 フレーム前のフィールド (以下、 1 フレーム遅延フ ィールドと称する) を順次検出し、 同一の画素位置における画素信号レベルの差 分値をそれぞれ演算する。
すなわち、 図 8に示すよ うに、 参照ブイールド t i と、 1 フレーム遅延フィ一 ルド は、 同一のコマを構成するため、 例えば画素位置 a点における画素信号レ ベルの差分値は 0になる。 次に参照フィールドとしてフィールド t 2が供給される と、 1 フレーム遅延フィールドはフィールド t 2 'となり、 a点における画素信号 レベルの差分値は同様に 0となる。
次に、 参照フィールドとしてフィールド t 3が供給されると、 1 フレーム遅延フ ィールドは ' となり、 両者はそれぞれ別のコマを形成するため、 a点における 画素信号レベルの差分値は 0以外 (以下、 1とする) となる。 次に参照フィール ドとして t 4 'が供給されると 1フレーム遅延フィールドはフィールド t 2となり、 a点における画素信号レベルの差分値は、 同様に 1となる。
更に、 参照フィールドとして t 3 'が供給されると、 1 フレーム遅延フィールド は、 t 3となり、 両者は同一のコマを形成するため、 a点における画素信号レベル の差分値は再び 0になる。 その後に供給される参照フィールドについても同様の 傾向となり、 演算した差分値は、 4フィールド周期で 「0 0 1 1」 の順で繰り返 される。 従って、 このシーケンスを 4フィールド単位で検出することにより、 各 ブイールドの前後関係を特定することが可能となる。
この傾向を 1 フレーム遅延フィールドにっき着目すると、 差分値は、 コマの最 初のフィールドから 「0 0 1 1」 の順になる。 従って、 図 8に示すように、 最初 に差分値 0を算出したとき、 検出した 1 フレーム遅延フィールドを、 コマの最初 のフィールド (以下、 第 1のフィールドと称する) として特定する。 また差分値 0が連続したときには、 検出した 1 フレーム遅延フィールドを第 2のフィールド として特定する。 また差分値として最初に 1を算出した場合に、 検出した 1 フレ ーム遅延ブイ—ルドを第 3のフィールドとして特定する。 また、 差分値 1が連続 したときには、 検出した 1 フレーム遅延フィールドを第 4のフィールドと して特 定する。
シーケンス検出部 1 3は、 上述の各フィールドにおける前後関係の特定結果を. 画像シフ ト部 1 5及び画像逆シフ ト部 1 6へ送信する。
画像シフ ト部 1 5及び画像逆シフ ト部 1 6は、 供給される画像信号を、 シーケ ンス検出部 1 3により特定された各フィールドの前後関係に基づき、 検出画素の 位置をべク トル方向へシフ トさせる。 画像信号が画像シフ ト部 1 5に供給される までに、 各フィールドが第 1のフィールド〜第 4のブイールドのいずれに該当す るか判明しているため、 検出画素の位置を正確かつ容易にシフトさせることがで きる。
各フィールドのシフ ト方向は、 図 9の黒で塗りつぶした矢印のように、 第 1の フィールドにおいて動きべクトルの反対方向にシフトさせ、 第 2のフィールド以 降では、 動きベク トルの方向へシフトさせる。 ここで第 2のフィールド以降のシ フト量は、 第 2のフィールドから後続するにつれて上記動きべク トルのべク トル 量の範囲内で順次増大させ、 第 4のフィールドにおいて最大となるようにする。 すなわち本発明では、 各フィールドを動きべク トルの方向及ぴ反対方向へバラン スよくシフ トさせることにより、 シフト量が最大となる第 4のフィールドにおい て、 シフ ト量を抑え込み、 動きベク トル検出時の誤差を蛏減させる。
この動きべク トル検出時の誤差とは、 例えば単一ブロック内で 2方向に画像が 動く とき (例えば、 物体の画像が左方向に移動し、 背景が右方向に移動するよう な場合) において、 動きベク トルの検出した方向が誤っている場合をいう。 例え ば図 9における点線の矢印に示すように、 各フィールドを動きべク トルのべク ト ル方向のみにシフトさせて動き捕正する例では、 第 4のフィールドにおいて、 シ フト量自体が過大となる。 検出した動きべク トルの方向が誤っている場合には、 第 4のフィールドにおいて画像を大きく移動させている分、 画面上で誤差が顕著 に現れてしまう。
一方、 各フィールドを動きべク トルの方向及び反対方向へバランスよくシフト させる本発明では、 図 9に示すように第 4のフィールドにおけるシフト量を小さ く抑えることができる。 これにより、 単一のプロック内で 2方向に画像が動くと きに、 検出した動きベク トルの方向を誤っても、 画面上にかかる誤差を目立たせ ることなく、 スムーズな動きを実現することができる。
図 9に示す例において、 画像のシフト量は、 第 2のフィールドのシフト量を 0 と し、 第 2のフィールドの後へフィールドが続く毎に、 検出した動きベク トルの ベク トル量の 1 / 4倍ずつ増加させることも可能である。 かかる場合、 ベク トル 量が Aの場合には、 第 2のフィールドのシフ ト fiを 0 と し、 第 3のフィールドを A X 1 / 4倍、 第 4のフィールドを A X 2 / 4倍だけシフ トさせる。 また次のコ マの第 1のブイールドにおいて、 シフ ト量を、 動きべク トル Aの 1 / 4倍とし、 同様に次のコマにおける動きべク トルが Bの場合には、 第 2のフィールドのシフ ト量を 0とし、 第 3のフィールドのシフト量を B X 1 / 4倍、 第 4のフィールド のシフト量を B X 2 / 4倍とすることも可能である。
このようにシフトさせることにより、 シフト量を時間に対して線形に増加させ ることが可能となり、 画像の動きを更にスムーズにすることができる。
各フィールドにおいて画像をシフ トさせた結果を図 1 0に示す。 画像は、 後の フィールドに移行する毎に徐々に水平方向へ移動する。 すなわち、 画像シフ ト部 1 5は、 動きベク トル量に相当する画像のシフ ト量を、 各フィールドに分散する ことが可能となる。 これにより、 画像をシフトさせる前と比べて、 第 4のフィー ルドから第 1のフィールドに移行する際に画像を大きく移動させることなく、 画 像の動きをスムーズにすることができる。
なお、 画像シフト部 1 5は、 図 1 1に示すように、 各画像を第 1及び第 2のフ ィールドにおいて動きべク トルの反対方向にシフトさせ、 第 3のフィールド以降 において、 動きべク トルの方向へシフトさせることも可能である。 ここで第 1及 び第 2のフィールドでは、 シフト量を第 1のフィールドから後続するにつれて順 次減少するようにシフトさせる。 また、 第 3及び第 4のフィールドでは、 シフト 量を第 3のフィールドから後続するにつれて上記動きべク トルのべク トル量の範 囲内で順次増大させ、 第 4のフィールドにおいて最大となるようにする。 これに より、 図 9に示す例と同様に各フィールドを異なる方向へシフトさせることによ り、 1 フィールドあたりのシフ ト量を抑え込み、 動きベク トル検出時の誤差を軽 減させることができる。 図 1 1に示す例において、 画像のシフト量は、 第 3のフィールドのシフト量を 0とし、 第 3のフィールドの後へフィールドが続く毎に、 検出した動きベク トル のベク トル量の 1ノ4倍ずつ増加させることも可能である。 かかる場合、 べク ト ル量が Aの場合には、 第 3のフィールドのシフ ト量を 0とし、 第 4のフィールド を A X 1 / 4倍だけシフ トさせる。 次のコマの第 1のフィールドにおいて、 シフ ト量を、 動きベク トル Aの 2 / 4倍とし、 第 2のフィールドにおいてシフ ト量を 1 / 4倍とする。 同様に次のコマにおける動きベク トルが Bの場合には、 第 3の フィールドのシフ ト量を 0とし、 第 4のフィールドのシフ ト量を B X 1 Z 4倍と することも可能である。
図 1 1に示すように画像をシフトさせた結果を図 1 2に示す。 この図 1 2にお いても同様に、 各画像は、 後のフィールドに移行する毎に徐々に水平方向へ移動 する。
更に、 この画像シフト部 1 5、 各画像を第 1乃至第 3のフィールドにおいて動 きべク トルの反対方向にシフトさせ、 第 4のフィールドにおいて、 動きベク トル の方向へシフトさせることも可能である。 かかる場合には、 この第 1乃至第 3の フィールドにおいて、 シフト量を第 1のフィールドから後続するにつれて順次減 少するようにシフトさせる。
この画像信号処理装置 1を、 ブイールド倍速変換回路 3を集積化してテレビジ ヨン受像機に内蔵することにより、 テレシネ変換後、 倍速変換した画像信号特有 である動きの不連続感を解消することができる。 すなわち、 この画像信号処理装 置 1は、 単一のブロック内で 2方向に画像が動く場合等、 様々なバリエーション の画像においても、 フィールド倍速変換回路 3により解像度を向上させ、 面フリ ッカ妨害を抑制しつつ、 各画像の動きを更にスムーズにすることができる。
従って、 この画像信号処理装置 1は、 単独で実施する場合のみならず、 ブイ一 ルド倍速変換回路 3と一体で実施することで顕著な効果が得られる。 また、 フィ ールド倍速変換回路が既に集積化されているテレビジョン受像機に対しても、 後 からこの画像信号処理装置 1を内蔵することにより、 バージョンアップを容易に 実現することができる。
本発明に係る画像信号処理装置 1は、 上述の実施の形態に限定されるものでは ない。 本発明は、 入力される画像信号について、 コマを構成するフィールドの順 番を入れ替えて C R T 2へ出力する画像信号処理装置 4に対しても適用可能であ る。 図 1 3に、 この画像信号処理装置 4のプロック構成例を示す。 上述の画像信 号処理装置 1と同一の構成要素は同一符号を付することによりその詳細な説明を 省略する。
この画像信号処理装置 4は、 第 1の画像メモリ 1 1と、 第 2の画像メモリ 1 2 と、 シーケンス検出部 1 3と、 動きべク トル検出部 1 4と、 画像シフト部 5 5と、 画像逆シフ ト部 5 6と、 スィッチ 1 7 とを備えている。
画像シフ ト部 5 5は、 画像信号レベルの比較結果をシーケンス検出部 1 3から 受信する。 また、 画像シフ ト部 5 5は、 動きベク トル検出部 1 4が検出した動き ベク トルを受信する。 更に画像シフ ト部 5 5は、 第 2の画像メモリ 1 2から供給 された画像信号における各画素位置を受信した動くべク トルのべク トル量の範囲 内で、 かつベク トル方向へシフトさせる。 すなわち、 この画像シフ ト部 5 5がシ フトさせる画像信号は、 入力画像信号よりも 2フレーム遅延された画像信号であ る。
画像逆シフ ト部 5 6は、 画素信号レベルの比較結果をシーケンス検出部 1 3か ら受信する。 画像逆シフト部 5 6は、 動きベク トル検出部 1 4が検出した動きべ ク トルを受信する。 更に画像逆シフト部 5 6は、 第 1の画像メモリ 1 2へ供給さ れる画像信号における各画素位置を、 受信した動きべク トルのべク トル量の範囲 内で、 かつベク トル方向と反対方向へシフトさせる。 すなわち、 この画像逆シフ ト部 5 6がシフ トさせる画像信号は、 入力画像信号と同一であるため、 上記画像 シフト部 5 5がシフトさせる画像信号より 2フレーム分の時間差がある。 なお、 画像逆シフト部 5 6は、 上記画像シフト部 5 5と一体化されて構成される場合も ある。
この画像シフト部 5 5及び画像逆シフト部 5 6によりシフ トされた画像信号は、 共にスィ ッチ 1 7へ入力される。 スィッチ 1 7は、 シーケンス検出部 1 3から供 給される画素信号レベルの比較結果に基づき、 フィールド単位で、 必要な画像信 号を選択する。 スィツチ 1 7により選択された画像信号は C R T 2へ出力される。 次に、 本発明を適用した画像信号処理装置 4の動作について図 1 4を用いて説 明する。
画像信号処理装置 4は、 フィールド倍速変換回路 3から、 テレシネ変換後、 倍 速変換した 1コマ 4フィールドで構成される画像信号が順次入力される。 この画 像信号処理装置 4は、 供給された画像信号につき、 第 1及び第 2のフィールドを 特定し、 これらを第 2の画像メモリ 1 2に基づき 2フレーム遅延させて、 動きべ ク トルのベク トル方向へシフ ト させる。 また、 画像信号処理装置 4は、 供給され た画像信号につき、 第 3乃至第 4のフィールドを特定し、 これらを遅延させずに、 動きべク トルの反対方向へシフトさせる。
画像信号処理装置 4へ供給される画像信号は、 フィールド t t ' , t ! ' , t 2の順で、 一定の時間間隔で配列している。 またフィールド t 3へ移行すると動 きベク トル Aの位置に画像が移動し、 フィールド t 、 t ' t ' , t 4の順で 画像信号処理装置 4へ供給される。 更にフィールド t 5へ移行すると、 動きべク ト ル Bの位置に画像が移動し、 フィールド t 、 t 6 ' 、 t ' , t eの順で画像信号 処理装置 4へ供給される。
動きべク トル検出部 1 4は、 画像信号処理装置 1に入力される画像信号につい て順次 2フレーム間隔で動きべク トルを検出する。 例えば、 第 2の画像メモリ 1 2から出力されるフィールドがフィールド t であるとき、 第 1の画像メモリ 1 1 に供給されるフィ—ルドは、 2フレーム後となるため、 フィールド t 3となる。 従 つて、 動きべク トル検出部 1 4は、 先ずフィールド t iとフィールド t 3との間で 動きべク トルを求める。
次に、 第 2の画像メモリ 1 2から出力されるフィールドがフィールド t 2 ' とな る場合には、 第 1 の画像メモリに供給されるフィールドはフィールド t ' となる ため、 フィールド t 2 とフィールド t 4 との間で動きベク トルを検出する。 す なわち、 この動きベク トル検出部 1 4は、 図 1 4に示す括弧書き番号の順で動き ベタ トルを順次検出していく。
ここで ( 1 ) の時間帯において動きベク トルを検出後、 画像シフ ト部 5 5には、 フィールド t が入力される。 また、 画像逆シフ ト部 5 6には、 フィールド t 3が 入力される。 画像シフト部 5 5は、 このブイールド t をベタ トル方向へシフトさ せ、 又はシフト fiを 0としてスィツチ 1 7へ出力する。 また画像逆シフト部 5 6 に入力されたフィ一ノレ ド t 3は、 2フレーム遅延させた後にベタ トル方向にシフト させるため、 何ら処理を施さない。
同様に (2 ) の時間帯において動きベク トルを検出後、 画像シフ ト部 5 5には、 フィールド t 2 'が入力される。 画像シフ ト部 5 5は、 このフィールド t 2 ,をべ ク トル方向へシフトさせ、 スィッチ 1 7へ出力する。 また画像逆シフト部 5 6に 入力されたフィールド t 'は、 2フレーム遅延させた後にべク トル方向にシフト させるため、 何ら処理を施さない。
( 3 ) の時間帯においてフィールド t ' とフィールド t 3 '間で動きべク トノレ を検出後、 画像シフ ト部 5 5にはフィールド t 'が入力され、 また画像逆シフ ト 部 5 6には、 フィールド t 3 'が入力される。 かかる場合において、 画像逆シフ ト 部 5 6は、 入力されたフィールド t 3 'を動きべク トルの反対方向へシフトさせる c なお、 フィールド t については、 画像逆シフト部 5 6により画像をシフトして いるため、 何ら処理を施さなくても良い。
同様に (4 ) の時間帯においても、 画像逆シフ ト部 5 6により、 入力されたフ ィールド t 4を動きべク トルの反対方向へシフトさせる。
更に、 (5 ) の時間帯においては、 フィールド t 3とフィールド t 5との間で動 きベク トルを検出後、 画像シフ ト部 5 5には、 フィールド t 3が入力され、 画像逆 シフ ト部 5 6には、 フィールド t 5が入力される。 画像シフ ト部はフィールド t をべク トル方向にシフ トさせ、 又はシフ ト量を 0とする。 ちなみにこのフィール ド t 3は既に一度画像逆シフト部 5 6に入力されているが、 1つのフィールドに対 するシフトの重複を防止するために、 かかる画像逆シフト部 5 6において何ら処 理を施されていない。
同様に (6 ) の時間帯においても、 画像シフト部 5 5により、 入力されたフィ ールド を動きべク トルの方向へシフ トさせる。
すなわち、 この画像信号処理装置 4は、 上述の処理手順からも示されるように、 動きべク トルを検出後、 画像シフト部 5 5及び画像逆シフト部 5 6へ供給される 各フィールドを交互にシフトさせる。
図 1 5は、 画像信号処理装置 4において、 シフ ト量に応じて各フィールドを並 ベ替えた結果を示している。 この図 1 5において、 コマを構成する各フィールド (例えばフィールド t 3、 t 4 ' , t 、 t .. ) において、 図 1 4に示す入力画像 信号と順番が入れ替わつている。 これは、 コマを構成する各フィールドにおいて、 どのフィールドから先にシフトさせても同一の結果を得ることができることを示 唆している。
すなわち、 この画像信号処理装置 4は、 前述した画像信号処理装置 1と同様に、 単一のプロック内で 2方向に画像が動く場合等、 様々なバリエーションの画像に おいても、 面フリツ力妨害を抑制しつつ、 各画像の動きを更にスムーズにするこ とができる。
図 1 5に示す例において、 画像のシフト量を、 フィールド t のシフト量を 0と し、 フィールド t i 'において、 検出した動きベク トルのべク トル量 Aの 1 / 4倍 とすることも可能である。 また次のコマの第 1のフィールドにおいて、 シフト量 を、 べク トル量 Aの 2ノ 4倍とし、 第 2のフィールドにおいてシフ ト量を、 べク トル量 A 1 Z 4倍とし、 同様に次のコマにおける動きべク トルが Bの場合には、 第 3のフィールドのシフ ト量を 0とし、 第 4のフィ一ノレドのシフト量を B X 1 Z 4倍とすることも可能である。 これにより、 出力される画像信号は、 図 1 5に示 す画像のシフト例と同一になり、 シフト量を時間に対して線形に増加させること が可能となることから、 画像の動きを更にスムーズにすることができる。
このフィールドの並ぴ替えについては、 図 1 5に示される例に限定されるもの ではなく、 1コマを構成する 4つのフィールド内において、 (例えば、 フィール ド t 3、 t 1 '、 t 3 ' , t 4の順に配列している入力画像信号において) 、 シフト させるべク トル方向とベタ トル量を自由に設定することができる。
例えば図 1 6に示すように、 出力する画像信号が、 フィールド t 4、 t 3、 一、 t 3 'の順で水平方向に並ぶようにシフトさせることも可能である。 また、 例えば 図 1 7に示すように、 出力する画像信号が、 フィールド t 4 '、 t 、 t 4、 t 3 の順で水平方向に並ぶようにシフトさせることも可能である。 更に、 例えば図 1 8に示すように、 出力する画像信号が、 フィールド t 3 ,、 t 4 t 3、 の順 で水平方向に並ぶようにシフトさせることも可能である。
これら図 1 6〜図 1 8に示す例において、 シフト量をべク トル量の 1 / 4倍ず つ増減させることで、 シフ ト量を時間に対して線形に増減させ、 画像の動きの更 なる改善を図ることも可能である。
本発明を適用した画像信号処理装置は、 P A L方式によるテレビジョン受像機 に対して適用される場合に限定されることはなく、 例えば、 N T S C (Nat ional TV System Commi ttee) 方式の 6 0フィールド秒 ( 3 0コマ/秒) のインタレース 画像信号が入力されるテレビジョン受像機に対しても適用可能である。 また、 S E C A M方式によるテレビジョ ン受像機に対しても適用可能である。
更に、 本発明に係る画像信号処理装置は、 テレビジョ ン受像機に内蔵される場 合のみならず、 テレビジョン受像機に接続する信号変換器へも内蔵可能であるこ とは勿論である。
なお、 本発明は、 図面を参照して説明した上述の実施例に限定されるものでは なく、 添付の請求の範囲及びその主旨を逸脱することなく、 様々な変更、 置換又 はその同等のものを行うことができることは当業者にとって明らかである。 産業上の利用可能性 上述したように、 本発明に係る画像信号処理装置及び方法は、 テレシネ変換し た画像を倍速変換することにより生成された 1コマが 4フィールドで構成される 画像信号が入力され、 演算した画素信号レベルの差分値に基づいて各フィールド を特定し、 特定した第 1のフィールドにおいて動きべク トルの反対方向へ、 特定 した第 4のフィールドにおいて動きべク トルの方向へ、 更に特定した第 2及び第 3のフィールドにおいて上記第 1のフィールドから後続するにつれて上記第 4の フィールドにおいてシフトさせた画素位置へ順次接近するように、 検出画素の位 置をシフトさせる。 ' これにより、 本発明に係る画像信号処理装置及び方法は、 単一のプロ ック内で 2方向に画像が動く場合等、 様々なバリエーションの画像においても、 面フリ ツ 力妨害を抑制しつつ、 各画像の動きをスムーズにすることができる。

Claims

請求の範囲
1 . テレシネ変換した画像を倍速変換することにより生成され、 1コマが 4フィ 一ルドで構成され、 コマの最初が第 1 のフィールドで始まり、 第 2、 第 3、 第 4 のフィールドへと後続する画像信号が入力される画像信号処理装置において、 入力された上記画像信号について、 現フィールドの検出画素と、 上記現ブイ一 ルドから 1 フレーム後のフィールドの同一箇所における検出画素との間で、 画素 信号レベルの差分値を演算し、 当該差分値に基づきコマを構成する各フィールド を特定するシーケンス検出手段と、
上記現フィールドの検出画素について、 上記現フィールドから 2フレーム後の フィールドに対する動きべクトルを検出する動きべク トル検出手段と、
上記シーケンス検出手段により特定した各フィールドに応じて、 検出した上記 動きべク トルのベタトル量の範囲内で、 上記画像信号の上記検出画素の位置をシ フトさせる画像制御手段とを備え、
上記画像制御手段は、
特定した上記第 1のフィールドについて、 上記検出画素を上記動きべク トルの 反対方向へシフトさせ、
特定した上記第 4のフィールドについて、 上記検出画素を上記動きべク トルの 方向へシフトさせ、
特定した上記第 2及び上記第 3のフィールドについて、 上記検出画素を、 上記 第 1のフィールドから後続するにつれて、 上記第 4のフィールドにおいてシフト させた画素位置へ順次接近するように、 上記動きべク トルの方向又は上記動きべ ク トルの反対方向へシフ トさせることを特徴とする画像信号処理装置。
2 . 上記画像制御手段は、 上記第 2のフィールドのシフ ト量を 0にすることを特 徴とする請求の範囲第 1項記載の画像信号処理装置。
3 . 上記画像制御手段は、 上記第 2のフィールドの後へフィールドが続く毎に、 上記シフト量を、 検出した上記動きべク トルのべク トル量の 1ノ 4倍ずつ増加さ せ、 上記第 1のフィールドのシフト量を、 上記現フィールドから 2フレーム前の フィールドに基づく動きべクトルのべク トル量の 1 / 4倍とすることを特徴とす る請求の範囲第 2項記載の画像信号処理装置。
4 . 上記画像制御手段は、 上記第 3のフィールドのシフト量を 0にすることを特 徴とする請求の範囲第 1項記載の画像信号処理装置。
5 . 上記画像制御手段は、 上記第 4のフィールドのシフ ト量を、 検出した上記動 きべク トルのベタ トル量の 1 / 4倍とし、 上記第 1のフィールドのシフ ト量を、 上記現フィールドから 2フレーム前のフィールドに基づく動きべク トルのベタ ト ル量の 2 Z 4倍とし、 上記第 2のフィールドのシフ ト量を、 上記現フィールドか ら 2フレーム前のフィールドに基づく動きべク トルのベタ トル量の 1 Z 4倍とす ることを特徴とする請求の範囲第 4項記載の画像信号処理装置。
6 . 上記シーケンス検出手段は、 上記差分値が連続して 0になる場合に、 先に入 力された現フィールドを、 第 1のフィールドとして特定することを特徴とする請 求の範囲第 1項記載の画像信号処理装置。
7 . 上記動きベク トル検出手段は、 所定の画素数からなるプロック毎に、 ブロッ クマッチング法に基づいて上記動きべク トルを検出することを特徴とする請求の 範囲第 1項記載の画像信号処理装置。
8 . 上記入力された画像信号は、 P A L方式のインタレース画像信号であること を特徴とする請求の範囲第 1項記載の画像信号処理装置。
9 . テレシネ変換した画像を倍速変換することにより生成され、 1コマが 4フィ 一ルドで構成され、 コマの最初が第 1のフィールドで始まり、 第 2、 第 3、 第 4 のフィールドへと後続する画像信号が入力され、
入力された上記画像信号において、 現フィールドの検出画素と、 上記現ブイ一 ルドから 1フレーム後のフィ一ルドの同一箇所における検出画素との間で演算し た画素信号レベルの差分値に基づき、 コマを構成する各フィールドを特定し、 上記現フィールドの検出面素について、 上記現フィールドから 2フレーム後の フィールドに対する動きべクトルを検出し、
特定した上記第 1のフィールドについて、 上記検出画素を上記動きべク トルの 反対方向へシフトさせ、
特定した上記第 4のフィールドについて、 上記検出画素を上記動きべク トルの 方向へシフトさせ、 特定した上記第 2及び上記第 3のフィールドについて、 上記検出画素を、 上記 第 1のフィールドから後続するにつれて、 上記第 4のフィールドにおいてシフト させた画素位置へ順次接近するように、 上記動きべク トルの方向又は上記動きべ ク トルの反対方向へシフトさせることを特徴とする画像信号処理方法。
1 0 . 上記第 2のフィールドのシフト量を 0にすることを特徴とする請求の範囲 第 9項記載の画像信号処理方法。
1 1 . 上記第 2のフィールドの後へフィールドが続く毎に、 上記シフト量を、 検 出した上記動きべク トルのベタ トル量の 1 Z 4倍ずつ増加させ、 上記第 1のブイ ールドのシフト量を、 上記現フィールドから 2フレーム前のフィールドに基づく 動きべク トルのべク トル量の 1ノ 4倍とすることを特徴とする請求の範囲第 1 0 項記載の画像信号処理方法。
1 2 . 上記第 3のフィールドのシフト量を 0にすることを特徴とする請求の範囲 第 9項記載の画像信号処理方法。
1 3 . 上記第 4のフィールドのシフ ト量を、 検出した上記動きべク トルのべク ト ル量の 1 Z 4倍とし、 上記第 1のフィールドのシフ ト量を、 上記現フィールドか ら 2フレーム前のフィールドに基づく動きべクトルのべク トル量の 2 Z 4倍とし、 上記第 2のフィールドのシフト量を、 上記現フィールドから 2フレーム前のフィ ールドに基づく動きべク トルのベタ トル量の 1 / 4倍とすることを特徴とする請 求の範囲第 1 2項記載の画像信号処理方法。
1 4 . 上記差分値が連続して 0になる場合に、 先に入力された現フィールドを、 第 1のフィールドとして特定することを特徴とする請求の範囲第 9項記載の画像 信号処理方法。
1 5 . 上記動きベク トルを、 所定の画素数からなるブロック毎に、 ブロックマツ チング法に基づいて検出することを特徴とする請求の範囲第 9項記載の画像信号 処理方法。
1 6 . 上記入力画像信号として、 フィールド周波数を 5 0フィールド /秒から 1 0 0フィールド/秒へ 2倍に変換した P A L方式のィンタレース画像信号が入力 されることを特徴とする請求の範囲第 9項記載の画像信号処理方法。
PCT/JP2002/013099 2001-12-13 2002-12-13 Processeur de signaux d'image et procede de traitement WO2003055211A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP02786103A EP1460845A4 (en) 2001-12-13 2002-12-13 IMAGE SIGNAL PROCESSING DEVICE AND PROCESSING METHOD
US10/498,426 US7215377B2 (en) 2001-12-13 2002-12-13 Image signal processing apparatus and processing method
KR1020047009067A KR100930759B1 (ko) 2001-12-13 2002-12-13 화상 신호 처리 장치 및 처리 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001380765A JP3596521B2 (ja) 2001-12-13 2001-12-13 画像信号処理装置及び方法
JP2001-380765 2001-12-13

Publications (1)

Publication Number Publication Date
WO2003055211A1 true WO2003055211A1 (fr) 2003-07-03

Family

ID=19187252

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/013099 WO2003055211A1 (fr) 2001-12-13 2002-12-13 Processeur de signaux d'image et procede de traitement

Country Status (6)

Country Link
US (1) US7215377B2 (ja)
EP (1) EP1460845A4 (ja)
JP (1) JP3596521B2 (ja)
KR (1) KR100930759B1 (ja)
CN (1) CN1322750C (ja)
WO (1) WO2003055211A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008136116A1 (ja) * 2007-04-26 2008-11-13 Pioneer Corporation 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体
WO2010046990A1 (ja) * 2008-10-23 2010-04-29 パイオニア株式会社 内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体
WO2010046989A1 (ja) * 2008-10-23 2010-04-29 パイオニア株式会社 フレームレート変換装置、画像処理装置、表示装置、フレームレート変換方法、そのプログラム、および、そのプログラムを記録した記録媒体

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3596521B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP3596519B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP4565339B2 (ja) * 2003-05-16 2010-10-20 ソニー株式会社 動き補正装置及び方法
TWI280805B (en) * 2005-07-20 2007-05-01 Novatek Microelectronics Corp Method and apparatus for cost calculation in decimal motion estimation
JP5061444B2 (ja) * 2005-09-20 2012-10-31 ソニー株式会社 撮像装置及び撮像方法
KR101270167B1 (ko) * 2006-08-17 2013-05-31 삼성전자주식회사 저복잡도의 이미지 압축 방법 및 장치, 저복잡도의 이미지복원 방법 및 장치
JPWO2008114658A1 (ja) * 2007-03-16 2010-07-01 ソニー株式会社 画像処理装置、画像表示装置および画像処理方法
JP4513034B2 (ja) * 2008-02-20 2010-07-28 ソニー株式会社 画像信号処理装置、画像信号処理方法、およびプログラム
JP5095472B2 (ja) * 2008-04-04 2012-12-12 シャープ株式会社 画像補間装置、画像補間方法、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体
JP4513913B2 (ja) * 2008-08-07 2010-07-28 ソニー株式会社 画像信号処理装置および方法
JP5480674B2 (ja) * 2010-03-09 2014-04-23 キヤノン株式会社 画像処理装置およびその制御方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6126382A (ja) * 1984-07-17 1986-02-05 Kokusai Denshin Denwa Co Ltd <Kdd> 動き量を用いた動画像フレ−ムレ−ト変換方式
JPH03165190A (ja) * 1989-08-04 1991-07-17 Lab Europ De Rech Electron Avance Snc 動き情報を動き情報信号に変換する装置
JPH04227180A (ja) * 1990-09-03 1992-08-17 Philips Gloeilampenfab:Nv 映像フイールド周波数変換装置
EP0514012A2 (en) * 1991-04-15 1992-11-19 Vistek Electronics Limited Method and apparatus for the standard conversion of an image signal
JPH05137122A (ja) * 1991-11-14 1993-06-01 Hitachi Ltd 映像信号の信号処理方法及び回路
JPH06500910A (ja) * 1991-06-27 1994-01-27 トムソン コンシュメ エレクトロニクス 動画像のシーケンスのタイミングの変換方法
US5398071A (en) 1993-11-02 1995-03-14 Texas Instruments Incorporated Film-to-video format detection for digital television
EP0675643A1 (en) 1994-03-30 1995-10-04 Thomson Consumer Electronics (S.A.) Method and apparatus for reducing conversion artefacts
JPH0884293A (ja) * 1994-03-30 1996-03-26 Thomson Consumer Electron Sa 変換アーチファクトの減少方法及び装置
JPH10501953A (ja) * 1995-04-11 1998-02-17 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 動き補償されたフィールドレート変換
JPH11196383A (ja) * 1998-01-06 1999-07-21 Sony Corp 映像信号処理装置
JPH11298861A (ja) * 1998-04-14 1999-10-29 Hitachi Ltd 画像信号のフレーム数変換方法および装置
JP2001169252A (ja) * 1999-12-06 2001-06-22 Victor Co Of Japan Ltd 順次走査変換装置及び方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8713454D0 (en) * 1987-06-09 1987-07-15 Sony Corp Television standards converters
GB8713456D0 (en) * 1987-06-09 1987-07-15 Sony Corp Motion vector estimation in television images
US5410356A (en) * 1991-04-19 1995-04-25 Matsushita Electric Industrial Co., Ltd. Scanning-line interpolation apparatus
JP3360586B2 (ja) * 1997-11-21 2002-12-24 日本電気株式会社 スキャン変換装置及び方法
EP1001353A1 (en) * 1998-11-10 2000-05-17 Sony Corporation Interpolation apparatus and methods and image display apparatus
JP3893227B2 (ja) * 1999-03-24 2007-03-14 パイオニア株式会社 走査線補間装置、及び走査線補間方法
JP2001054075A (ja) * 1999-08-06 2001-02-23 Hitachi Ltd 画像信号の動き補償走査変換回路
JP3611507B2 (ja) * 2000-05-30 2005-01-19 松下電器産業株式会社 動きベクトル検出装置
JP3653450B2 (ja) * 2000-07-17 2005-05-25 三洋電機株式会社 動き検出装置
JP2002171424A (ja) * 2000-11-30 2002-06-14 Nec Corp 動画像処理方法、動画像処理装置および動画像表示装置
JP3855761B2 (ja) * 2001-10-09 2006-12-13 ソニー株式会社 画像信号処理装置及び方法
JP3596519B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP3596521B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
JP3596520B2 (ja) * 2001-12-13 2004-12-02 ソニー株式会社 画像信号処理装置及び方法
KR100441509B1 (ko) * 2002-02-25 2004-07-23 삼성전자주식회사 주사포맷변환장치 및 방법
JP2003299040A (ja) * 2002-04-03 2003-10-17 Sony Corp 動きベクトル検出装置及び方法
JP2003339029A (ja) * 2002-05-20 2003-11-28 Sony Corp 動きベクトル補正回路及び方法
JP4565339B2 (ja) * 2003-05-16 2010-10-20 ソニー株式会社 動き補正装置及び方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6126382A (ja) * 1984-07-17 1986-02-05 Kokusai Denshin Denwa Co Ltd <Kdd> 動き量を用いた動画像フレ−ムレ−ト変換方式
JPH03165190A (ja) * 1989-08-04 1991-07-17 Lab Europ De Rech Electron Avance Snc 動き情報を動き情報信号に変換する装置
JPH04227180A (ja) * 1990-09-03 1992-08-17 Philips Gloeilampenfab:Nv 映像フイールド周波数変換装置
EP0514012A2 (en) * 1991-04-15 1992-11-19 Vistek Electronics Limited Method and apparatus for the standard conversion of an image signal
JPH06500910A (ja) * 1991-06-27 1994-01-27 トムソン コンシュメ エレクトロニクス 動画像のシーケンスのタイミングの変換方法
JPH05137122A (ja) * 1991-11-14 1993-06-01 Hitachi Ltd 映像信号の信号処理方法及び回路
US5398071A (en) 1993-11-02 1995-03-14 Texas Instruments Incorporated Film-to-video format detection for digital television
EP0675643A1 (en) 1994-03-30 1995-10-04 Thomson Consumer Electronics (S.A.) Method and apparatus for reducing conversion artefacts
JPH0884293A (ja) * 1994-03-30 1996-03-26 Thomson Consumer Electron Sa 変換アーチファクトの減少方法及び装置
JPH10501953A (ja) * 1995-04-11 1998-02-17 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 動き補償されたフィールドレート変換
JPH11196383A (ja) * 1998-01-06 1999-07-21 Sony Corp 映像信号処理装置
JPH11298861A (ja) * 1998-04-14 1999-10-29 Hitachi Ltd 画像信号のフレーム数変換方法および装置
JP2001169252A (ja) * 1999-12-06 2001-06-22 Victor Co Of Japan Ltd 順次走査変換装置及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HAAN ET AL.: "An Evolutionary Architecture for Motion Compensated 100Hz Television", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, June 1995 (1995-06-01)
See also references of EP1460845A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008136116A1 (ja) * 2007-04-26 2008-11-13 Pioneer Corporation 内挿フレーム作成制御装置、フレームレート変換装置、表示装置、内挿フレーム作成制御方法、そのプログラム、および、そのプログラムを記録した記録媒体
WO2010046990A1 (ja) * 2008-10-23 2010-04-29 パイオニア株式会社 内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体
WO2010046989A1 (ja) * 2008-10-23 2010-04-29 パイオニア株式会社 フレームレート変換装置、画像処理装置、表示装置、フレームレート変換方法、そのプログラム、および、そのプログラムを記録した記録媒体

Also Published As

Publication number Publication date
KR20040065256A (ko) 2004-07-21
EP1460845A4 (en) 2009-10-28
CN1322750C (zh) 2007-06-20
US20050062886A1 (en) 2005-03-24
US7215377B2 (en) 2007-05-08
JP3596521B2 (ja) 2004-12-02
JP2003189259A (ja) 2003-07-04
EP1460845A1 (en) 2004-09-22
KR100930759B1 (ko) 2009-12-09
CN1605196A (zh) 2005-04-06

Similar Documents

Publication Publication Date Title
EP2151996B1 (en) Image signal processing unit and method of processing image signal
JP3855761B2 (ja) 画像信号処理装置及び方法
US5610662A (en) Method and apparatus for reducing conversion artifacts
JP4575431B2 (ja) 補正インタレース解除装置による保護
WO2003055211A1 (fr) Processeur de signaux d&#39;image et procede de traitement
JP4772562B2 (ja) プルダウン信号検出装置およびプルダウン信号検出方法並びに順次走査変換装置および順次走査変換方法
US8154654B2 (en) Frame interpolation device, frame interpolation method and image display device
JP2000253365A (ja) 解像度変換方法および解像度変換装置
EP1460847B1 (en) Image signal processing apparatus and processing method
US7327397B2 (en) Image processing with pixel interpolation
JP2003116109A (ja) インターレース映像信号の動き検出装置及びこれを用いた順次走査変換装置
JP4074306B2 (ja) 2−2プルダウン信号検出装置及び2−2プルダウン信号検出方法
JP4226939B2 (ja) 順次走査変換装置及び順次走査変換方法
JP2007074439A (ja) 映像処理装置
JP2004023673A (ja) 動きベクトル検出装置及び方法、動き補正装置及び方法
KR100715168B1 (ko) 영상 신호 처리 장치 및 영상 신호 처리 방법
JP2003032636A (ja) 動き補償を用いた主走査変換装置及び主走査変換方法
JP2004266395A (ja) 順次走査変換装置及び順次走査変換方法
JP2002016822A (ja) 画像処理装置及び画像処理方法
JP2006203286A (ja) 映像出力装置および映像出力方法
JPH02154587A (ja) 映像信号変換回路
KR930015827A (ko) Hdtv필드율 변환방식과 장치

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LU MC NL PT SE SI SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10498426

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2002786103

Country of ref document: EP

Ref document number: 1020047009067

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 20028250532

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2002786103

Country of ref document: EP