JP4083265B2 - 画像信号の方式変換方法および装置 - Google Patents
画像信号の方式変換方法および装置 Download PDFInfo
- Publication number
- JP4083265B2 JP4083265B2 JP29030797A JP29030797A JP4083265B2 JP 4083265 B2 JP4083265 B2 JP 4083265B2 JP 29030797 A JP29030797 A JP 29030797A JP 29030797 A JP29030797 A JP 29030797A JP 4083265 B2 JP4083265 B2 JP 4083265B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- frame
- signal
- motion vector
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/46—Receiver circuitry for the reception of television signals according to analogue transmission standards for receiving on more than one standard at will
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
Description
【０００１】
【発明の属する技術分野】
本発明は画像信号の方式変換方法および装置に係り、特に、動き補正に固有な画質劣化を抑圧し、高画質な動き補正のフレームレートの変換を実現するに好適な画像信号の方式変換方法および装置に関する。
【０００２】
【従来の技術】
異なるテレビジョンシステム間の信号変換である方式変換は、放送の分野では番組交換などで広く使用されている。一般に、方式変換では、走査線数やフィールド周波数の変換処理が必要なため、動き画像で滑らかさが損なわれるモーションジャダーなどの画質劣化が発生する。
【０００３】
これら画質劣化を防ぐため、走査線数変換には動き適応型走査線数・順次走査変換法、フレーム数変換には動き補正型フレーム数変換法などの信号処理技術が考案されている。
【０００４】
このうち、動き補正型フレーム数変換法は、動きベクトルで前後のフレームの画像の位置を移動させて内挿フレームの信号を生成するもので、動き画像のモーションジャダーの除去には極めて有効である。このため、放送関係の方式変換装置では、ほとんどがこの方法を採用している。
【０００５】
しかしながら、動き補正型のフレーム数変換では、特有な画質劣化が発生する。すなわち、一様に動いている画像や同一物体の一部が孤立点的に全く別の画像に置き換わる孤立点的な劣化が発生する。また、動きによって背景が隠れたり現れたりする領域では、動画の輪郭周縁部がフリッカしたり動きが不自然に見える動画像の解像度劣化が発生する。これらの画質劣化を抑圧するため、例えば特開平７−３３６６５０号公報には、内挿フィールドの前後２つの入力フィールドを用いてアンカバード領域、カバード領域の内挿処理を行うフィールド内挿方法が開示されている。
【０００６】
【発明が解決しようとする課題】
従来の技術では、画質劣化を抑圧するための信号処理が、極めて複雑となっている。したがって、この種の信号処理を行う方式変換装置は、その回路規模が大きくなり、またコストも高くなるという問題を有している。
【０００７】
本発明は、上記の問題に鑑みてなされたもので、画質劣化を簡単な信号処理で抑圧し得る高画質かつ低コストの画像信号の方式変換方法および装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、画像信号の現フレームの信号と前フレームの信号から画像の動きを検出する工程と、前記動きを検出する工程により動きを検出しないブロックにはブロック単位動きベクトルとして０を割り当て、動きを検出したブロックには１フレーム期間での動きベクトルのうち最少の動き補正誤差を有するものをブロック単位動きベクトルとして割り当てるブロック単位動きベクトルを生成する工程と、前記動きを検出する工程により動きを検出しない画素には画素単位動きベクトルとして０を割り当て、動きを検出した画素には前記ブロック単位の動き補正誤差が閾値未満のときはブロック内の画素に前記ブロック単位動きベクトルを割り当て、閾値以上のときは現ブロックと隣接ブロックの動きベクトルを用いて前記ブロックを縮小したミニブロックを内包する算出領域のうち最少の動き補正誤差を有するものを画素単位動きベクトルとして割り当てる画素単位動きベクトルを生成する工程と、現フレームの信号を第１の動き補正ベクトルで位置を移動させて生成する第１の動き補正信号と前フレームの信号を第２の動き補正ベクトルで位置を移動させて生成する第２の動き補正信号との絶対値差分成分が閾値未満の場合は、前記画素単位動きベクトルに基づいて生成した画像信号の第１の内挿フレームを用い、閾値以上の場合は、画像信号のフレームの信号で生成した画像信号の第２の内挿フレームを用いて、画像信号のフレーム数を変換する工程とを備え、前記第１の動き補正ベクトルは、前記画素単位動きベクトルと、前記第１の内挿フレームと現フレームとの時間的距離に関する係数との乗算により生成され、前記第２の補正ベクトルは前記画素単位動きベクトルと前記第１の内挿フレームと前フレームとの時間的距離に関する係数との乗算により生成されることを特徴とする画像信号の方式変換方法である。
【０００９】
本発明の前記第２の内挿フレームは、現フレームと前フレームのうち時間的距離が近いフレームの信号に基づいて生成したものであることを特徴とする。前記絶対値差分成分は、前記２つの動き補正信号の輝度信号成分の差分、又は輝度信号成分及び色差信号成分の差分に基づいて求められるものであることを特徴とする。前記画像信号のフレーム数を変換する工程は、画像信号の特定の動きを検出する工程を備え、前記第１の内挿フレームを用いたフレーム内挿処理の動作は前記特定の動きを検出した場合に制限することを特徴とする。前記画像信号のフレーム数を変換する工程は、１フレーム期間における動き検出領域の累積値でシーンチェンジを検出する工程を備え、シーンチェンジを検出したフレームでは、前記第１の内挿フレームを用いたフレーム内挿処理の動作を中止し、現フレームの信号もしくは前フレームの信号で内挿フレームの信号を生成する動作を行うことを特徴とする。前記画像信号のフレーム数を変換する工程は、画像信号の特定の動きを検出する工程と、１フレーム期間における動き検出領域の累積値でシーンチェンジを検出する工程とを備え、前記特定の動きを検出した場合には前記第１の内挿フレームを用いた動き補正のフレーム内挿処理の動作を行い、シーンチェンジを検出したフレームでは、前記第１の内挿フレームを用いた動き補正のフレーム内挿処理の動作を中止し、現フレームの信号もしくは前フレームの信号で内挿フレームの信号を生成する動作を行うことを特徴とする。
【００１０】
本発明は、画像信号の現フレームの信号と前フレームの信号から画像の動きを検出する動き検出部と、前記動きを検出する工程により動きを検出しないブロックにはブロック単位動きベクトルとして０を割り当て、動きを検出したブロックには１フレーム期間での動きベクトルのうち最少の動き補正誤差を有するものをブロック単位動きベクトルとして割り当てるブロック単位動きベクトルを探索するブロック単位動きベクトル探索部と、前記動きを検出する工程により動きを検出しない画素には画素単位動きベクトルとして０を割り当て、動きを検出した画素には前記ブロック単位の動き補正誤差が閾値未満のときはブロック内の画素に前記ブロック単位動きベクトルを割り当て、閾値以上のときは現ブロックと隣接ブロックの動きベクトルを用いて前記ブロックを縮小したミニブロックを内包する算出領域のうち最少の動き補正誤差を有するものを画素単位動きベクトルとして割り当てる画素単位動きベクトルを生成する画素単位動きベクトル生成部と、現フレームの信号を第１の動き補正ベクトルで位置を移動させて生成する第１の動き補正信号と前フレームの信号を第２の動き補正ベクトルで位置を移動させて生成する第２の動き補正信号との絶対値差分成分が閾値未満の場合は、前記画素単位動きベクトルに基づいて生成した画像信号の第１の内挿フレームを用い、閾値以上の場合は、画像信号のフレームの信号で生成した画像信号の第２の内挿フレームを用いて、画像信号のフレーム数を変換する動き補正内挿フレーム生成部とを備え、前記第１の動き補正ベクトルは、前記画素単位動きベクトルと、前記第１の内挿フレームと現フレームとの時間的距離に関する係数との乗算により生成され、前記第２の補正ベクトルは前記画素単位動きベクトルと前記第１の内挿フレームと前フレームとの時間的距離に関する係数との乗算により生成されることを特徴とする画像信号の方式変換装置である。
【００１１】
本発明の前記第２の内挿フレームは、現フレームと前フレームのうち時間的距離が近いフレームの信号に基づいて生成したものであることを特徴とする。前記絶対値差分成分は、前記２つの動き補正信号の輝度信号成分の差分、又は輝度信号成分及び色差信号成分の差分に基づいて求められるものであることを特徴とする。前記動き補正内挿フレーム生成部は、画像信号の特定の動きを検出する動き速度検出部を備え、前記第１の内挿フレームを用いたフレーム内挿処理の動作は前記動きを検出した場合に制限することを特徴とする。前記動き補正内挿フレーム生成部は、１フレーム期間における動き検出領域の累積値でシーンチェンジを検出するシーンチェンジ検出部を備え、シーンチェンジを検出したフレームでは、前記第１の内挿フレームを用いたフレーム内挿処理の動作を中止し、現フレームの信号もしくは前フレームの信号で内挿フレームの信号を生成する動作を行うことを特徴とする。前記動き補正内挿フレーム生成部は、画像信号の特定の動きを検出する動き速度検出部と、１フレーム期間における動き検出領域の累積値でシーンチェンジを検出するシーンチェンジ検出部とを備え、前記動き速度検出部で該当する動きを検出した場合には前記第１の内挿フレームを用いた動き補正のフレーム内挿処理の動作を行い、前記シーンチェンジ検出部でシーンチェンジを検出したフレームでは、前記第１の内挿フレームを用いた動き補正のフレーム内挿処理の動作を中止し、現フレームの信号もしくは前フレームの信号で内挿フレームの信号を生成する動作を行うことを特徴とする。前記ブロック単位動きベクトル探索部は、ＭＰＥＧ符号化された画像信号において、動きが検出された動画ブロックに対しては、ＭＰＥＧ符号化で送られる動きベクトル情報をもとにブロック単位動きベクトルを生成することを特徴とする。前記画素単位動きベクトル生成部は、動き補正誤差の算出を画像信号の輝度信号成分を用いて行うことを特徴とする。前記画素単位動きベクトル生成部は、動き補正誤差の算出を画像信号の輝度信号成分および色成分を用いて行うことを特徴とする。
【００１２】
このようにすることにより、画質の劣化を簡単な信号処理で抑圧することができ、高画質かつ低コストの画像信号の方式変換方法および装置を実現することができる。
【００１３】
【発明の実施の形態】
はじめに、動き補正のフレーム数変換における内挿フレーム信号生成の概略を図２２（ａ）〜（ｃ）を用いて説明する。同図（ａ）、（ｂ）は、フレーム周波数５０Ｈｚの信号を動き補正処理により６０Ｈｚの信号に変換する場合を示すものである。６０Ｈｚフレーム順１の信号は５０Ｈｚフレーム順１の信号で生成する。一方、６０Ｈｚフレーム順２、３、４、５、６の信号系列（ＭＣ内挿と表示）は、５０Ｈｚフレーム順１、２、３、４、５、１の信号を動き補正ベクトルで内挿フレームの位置に移動させた信号で生成する。例えば、フレーム順２のＭＣ内挿フレームの信号は、５０Ｈｚフレーム順１の前フレーム信号Ｓ３とフレーム順２の現フレーム信号Ｓ２、フレーム順３のＭＣ内挿フレームの信号は、５０Ｈｚフレーム順２の前フレーム信号Ｓ３とフレーム順３の現フレーム信号Ｓ２、…で生成する。すなわち、現フレームＳ２と前フレームＳ３との間の動きベクトルPVをもとに、動き補正ベクトルVpr(PV*(ka/Ka+kb))とVct(PV*(kb/Ka+kb))を生成する。そして、同図（ｃ）に示す様に、内挿フレーム上の画素A(x,y)の信号は、前フレームＳ３の画素A(x,y)を動き補正ベクトルVprの水平方向成分Vprx、垂直方向成分Vpryだけ移動させた点A'(x1、y1)の信号Spr=S3(x1,y1)と、現フレームＳ２の画素A(x,y)を動き補正ベクトルVctの水平方向成分Vctx、垂直方向成分Vctyだけ移動させた点A''(x2、y2)の信号Sct=S2(x2,y2)との平均値で生成する。
【００１４】
次に、本発明における動き補正内挿フレーム生成の概略を図２３と図２４で説明する。
【００１５】
図２３は、信号処理のフローチャートである。従来技術と同様、はじめに動き補正ベクトルVpr、Vctで前、現フレームの画像の位置を移動させた補正信号SprとSctを生成する。次に、補正信号Spr、Sctの絶対値差分ＥＲ(|Spr−Sct|)を求め、これが閾値ＴＨ未満か以上かで、動き補正ベクトルの精度を判定する。
【００１６】
そして、絶対値差分成分ＥＲが閾値ＴＨ未満（ＥＲ＜ＴＨ）の場合は、動き補正ベクトルの精度は高いと判定し、補正信号SprとSctの平均値で内挿フレームの信号を生成する。
【００１７】
一方、絶対値差分成分ＥＲが閾値ＴＨ以上（ＥＲ≧ＴＨ）の場合は、動き補正ベクトルの精度は低いと判定し、前、現フレームのうちで内挿フレームと時間的距離が近いフレームを選択する。そして内挿フレームの点A(x,y)の信号は、選択フレームの同一位置の信号で置換する。
【００１８】
図２４（ａ）、（ｂ）は、内挿フレーム信号生成を示す概略図である。同図（ａ）は、ＥＲ＜ＴＨの場合であり、補正信号SprとSctの平均値で内挿フレームの信号を生成する。一方、ＥＲ≧ＴＨの場合は、同図（ｂ）に示すように、現フレームと前フレームのうちで内挿フレームと時間的距離が近いフレームを選択し、この選択したフレームの画素A(x,y)の信号で内挿フレームの画素A(x,y)の信号を生成する。例えば、６０Ｈｚフレーム順２、３、４、５、６のＭＣ内挿フレームは、それぞれ５０Ｈｚフレーム順２、３、４、４、５のフレームの信号を選択し、このA(x,y)の画素の信号で置換する。
【００１９】
このようにすることにより、極めて簡単な信号処理で、動き補正処理に特有な画質劣化を大幅に抑圧することが可能となる。
【００２０】
本発明の第１の実施例について、図１乃至図９の図面で説明する。
【００２１】
図１は、本実施例に係る方式変換装置のブロック構成図である。本装置は、同図のとおり、ＩＰ変換部１と動き補正フレーム数変換部２とを備える。動き補正フレーム数変換部２は、１フレーム遅延部３、動き検出部４、ブロック単位動きベクトル探索部５、画素単位動きベクトル生成部６、および動き補正内挿フレーム生成部７を有する。動き補正内挿フレーム生成部７は、現フレーム動き補正信号生成部８、前フレーム動き補正信号生成部９、動き補正ベクトル生成部１０、および動き補正信号設定部１１を有する。図１において、動き補正内挿フレーム生成部７内の各部の接続関係は概略を示すもので、詳しくは後述の図２又は図４に示すとおりである。
【００２２】
ＩＰ変換部１は、飛び越し走査の入力画像信号Ｓ１（輝度信号成分と色差信号成分）を入力し、飛び越し−順次の走査変換を行う走査変換部である。例えば、輝度信号成分は動き適応型の補間処理、色差信号はライン間の補間処理で補間走査線の信号を生成し、出力に順次走査の信号系列Ｓ２（輝度信号成分と色差信号成分）を得る。なお、入力画像信号がテレシネ画像信号（映画などのフィルム画像を２ー３プルダウン処理でテレビ信号のフォーマットに変換した信号）の場合は、フィルムモードの補間処理（同一フィルムフレームに属す飛び越し走査の信号で補間走査線の信号を生成）で、フィルム画像の形態の順次走査の信号系列を生成する。
【００２３】
動き補正フレーム数変換部２は、動き補正処理で内挿フレームの信号系列を生成してフレームレート変換の信号処理を行い、フレーム周波数が入力画像信号系列より高い周波数の順次走査の画像信号系列Ｓ４（輝度信号成分と色差信号成分）を出力する。
【００２４】
このうち、動き検出部４は、現フレームの信号系列Ｓ２と、１フレーム遅延部３で１フレーム期間遅延させた前フレームの信号系列Ｓ３の輝度信号成分を減算して１フレーム間の差分信号を抽出し、これを２値量子化し、動き検出信号ＭＩ１、ＭＩ２を出力する。
【００２５】
ブロック単位動きベクトル探索部５は、ブロックマッチング処理でブロック単位（例えば１６画素×１６ラインあるいは８画素×８ライン）の動きベクトルを検出する。また、画素単位動きベクトル生成部６は、ブロック単位の動きベクトルをもとに、画素単位動きベクトルＰＶを生成する。これらの詳細は後述する。
【００２６】
動き補正内挿フレーム生成部７では、動き補正ベクトル生成部１０で画素単位動きベクトルＰＶをもとに動き補正ベクトルを生成する。前フレーム動き補正信号生成部９は、前フレームの信号Ｓ３の画像の位置をこの動き補間ベクトルで移動させた信号で、内挿フレームの信号Sprを生成する。また、現フレーム動き補正信号生成部８は、現フレームの信号Ｓ２の画像の位置をこの動き補間ベクトルで移動させた信号で、内挿フレームの信号Sctを生成する。動き補正信号設定部１１は、信号SctとSprの絶対値差分成分ＥＲが閾値ＴＨ(例えば、８ビット量子化の場合は１６レベル程度)未満の時は、信号SctとSprの平均値、閾値ＴＨ以上の時は時間的距離の近いフレームの信号を選択し、動き補正フレーム数変換した信号系列Ｓ４を出力する。
【００２７】
以下、本実施例における主要ブロック部について説明する。
【００２８】
図２は、本発明の主要部である動き補正内挿フレーム生成部１１の第１の構成例である。
【００２９】
動き補正ベクトル生成部１０は、画素単位動きベクトルＰＶおよびフレーム順制御信号ＦＳにより、前述の図２２（ａ）に示した、動き補正ベクトルVctとVprを生成する。すなわち、画素単位動きベクトルＰＶに係数加重する係数値ｋａ,ｋｂを変化させ、（数１）に示す演算で補正補間動きベクトルVpr、Vctを生成する。
【００３０】
【数１】
Vpr＝ＰＶ*ka/(ka+kb)
Vct＝−ＰＶ*kb/(ka+kb) （数１）
例えば、フレーム順が２の内挿フレームは、Vpr＝ＰＶ*5/6,Vct＝−ＰＶ*1/6(ka=5,kb=1)、３のものは、Vpr＝ＰＶ*4/6,Vct＝−ＰＶ*2/6(ka=4,kb=2)…の如く、係数値ｋａ，ｋｂを発生させ、時間方向での位置ずれのない動き補正ベクトルを生成する。また、フレーム順情報FS1を生成する。
【００３１】
現フレーム動き補正信号生成部８では、現フレームの信号Ｓ２と動き補正ベクトルVctから動き補正信号Sctを生成する。また、前フレーム動き補正信号生成部９は、前フレームの信号Ｓ３と動き補正ベクトルVprから動き補正信号Sprを生成する。すなわち、図２２（ｃ）に示したように、現フレームの信号Ｓ２では点A(x,y)を補正補間動きベクトルVct(水平方向成分Vctx、垂直方向成分Vcty)で移動させた点A”(x2,y2)=(x−Vctx,y−Vcty)の位置の信号Sct、前フレームの信号Ｓ３では点A(x,y)を補正補間動きベクトルVpr(水平方向成分Vprx、垂直方向成分Vpry)で移動させた点A'(x1,y1)=(x＋Vprx,y＋Vpry)の位置の信号Sprで、内挿フレームの点A（x,y）の信号を生成する。従って、動き補正信号SprとSctは、以下の（数２）で与えられる。
【００３２】
【数２】
Spr=Ｓ３(x＋Vprx,y＋Vpry)
Sct=Ｓ２(x−Vctx,y−Vcty) （数２）
この信号処理は、動き補正信号生成部に内蔵のメモリ回路の読み出し動作を制御することで簡単に実現できる。すなわち、読み出しのためのアドレスを動き補正ベクトルVpr、Vctの位置だけずらせたアドレスを生成し、このアドレスで点A',A”に対応した画素の信号を読み出す。
【００３３】
動き補正信号設定部１１は、加算部１２、減算部１３、制御信号生成部１４、選択部１５、及び時系列変換部１６を有する。このうち、加算部１２は動き補正信号SprとSctとの加算平均を行い、その結果を信号Ｓｍｃとして出力する。減算部１３は、動き補正信号SprとSctの輝度信号成分、又は輝度信号成分及び色差信号成分の減算演算を行い、その絶対値を信号ＥＲとして出力する。
【００３４】
制御信号生成部１４は、信号ＥＲとフレーム順情報ＦＳ１をもとに、選択部１５で選択する信号を制御する信号ＳＬを生成する。この動作概略を図３に示す。誤差信号ＥＲが閾値ＴＨ未満（ＥＲ＜ＴＨ）の時は、図２４（ａ）のように、動き補正信号Ｓｍｃを選択するように制御信号ＳＬを設定する。一方、誤差信号ＥＲが閾値ＴＨ以上（ＥＲ≧ＴＨ）の場合は、フレーム順情報ＦＳ１に応じて、内挿フレームと時間的距離の近いフレームの信号を選択するように制御信号ＳＬを設定する。すなわち、図２４（ｂ）に示したように、６０Ｈｚフレーム順１〜４では現フレームの信号Ｓ２、５〜６では前フレームの信号Ｓ３を選択する。
【００３５】
選択部１５は、制御信号ＳＬに応じて信号Ｓ２、Ｓ３、Ｓｍｃのいずれかを選択する動作を行い、信号Ｓｏを出力する。
【００３６】
時系列変換部１６は、時間軸の圧縮と時系列並び替えの処理を行い、図２４（ａ）、（ｂ）に示すように、６０Ｈｚフレーム順１では信号Ｓ２、２〜６では信号Ｓｏの信号系列からなる動き補正フレーム数変換信号Ｓ４を得る。
【００３７】
図４は、動き補正内挿フレーム生成部の第２の構成例図である。これは、モーションジャダー妨害が目立ちやすい速度の動き、あるいは水平パンや上下パンや文字スクロールなどの特殊な動きの場合のみ、動き補正のフレーム内挿処理を行うものである。
【００３８】
同図の動き補正ベクトル生成部１０では、画素単位動きベクトルＰＶとフレーム順制御信号ＦＳで、第１の構成例と同様、動き補正ベクトルVctとVpr、フレーム順情報ＦＳ１を生成する。さらに本例では、画素単位動きベクトルＰＶの速度の絶対値成分ＶＰ１を生成する。
【００３９】
制御信号生成部１７は、信号ＥＲ、ＦＳ１、ＶＰ１をもとに、選択部１５で選択する信号を制御する信号ＳＬを生成する。この動作概略を図５に示す。誤差信号ＥＲが閾値ＴＨ未満（ＥＲ＜ＴＨ）で、かつ、信号ＶＰ１が設定値ＶＰｍａｘ未満（ＶＰ１＜ＶＰｍａｘ）の時は、動き補正信号Ｓｍｃを選択するように制御信号ＳＬを設定する。一方、誤差信号ＥＲが閾値ＴＨ（ＥＲ≧ＴＨ）以上、あるいは、信号ＶＰ１がＶＰｍａｘ以上（ＶＰ１≧ＶＰｍａｘ）の時は、信号Ｓ２かＳ３を選択するように制御信号ＳＬを設定する。なお、設定値ＶＰｍａｘは、水平パンや垂直パン、あるいはスクロールなどの動きでモーションジャダー妨害が目立ちやすい速度の上限で、例えば、１秒／画面幅、１秒／画面高程度の速度に設定する。
【００４０】
この他のものは、第１の構成例と同様な動作を行うので、説明は省略する。
【００４１】
次に、ブロック単位動きベクトル探索部の一構成例を図６で説明する。静動ブロック判定部１８は、ブロック単位（例えば１６画素×１６ラインあるいは８画素×８ライン）で、動き検出信号ＭＩ１の１の有無を検出する。そして、信号ＭＩ１が全て０の時は静止ブロックと判定し信号ＢＭとして０を、それ以外の時は動画ブロックと判定して１を出力する。なお、動き検出信号ＭＩ１は、図１の動き検出部４で現フレームの信号Ｓ２と前フレームの信号Ｓ３の輝度信号成分の絶対値差分成分を閾値ＴＨａ以上の時は１、ＴＨａ未満の時は０、と２値量子化した信号である。
【００４２】
ブロック単位の動きベクトルの探索は、図７に示すフローチャートの信号処理に従って実行する。上述の静止又は動画ブロックの判定は、同図の第１ステップの処理である。そして、第２ステップにおいては、信号ＢＭが０の静止ブロックのときは、動きベクトル探索の動作は行わず、ブロック単位動きベクトルＢＶは０に設定する。一方、信号ＢＭが１の動画ブロックでは、以下に述べる動きベクトル探索の動作を行う。
【００４３】
ブロックマッチング第１処理部２０は、図７の第２ステップの動画ブロック側の処理を行う。予め設定した複数個数の代表動きベクトルについて、現フレームの信号Ｓ２と前フレームの信号Ｓ３の輝度信号成分とでブロックマッチング処理で動き補正誤差を算出し、これが最少となるものを代表動きベクトルＢＶ１として出力する。なお、複数個数の代表動きベクトルには、既に探索を終了した直前のブロックの動きベクトルも併用することもできる。
【００４４】
ブロックマッチング第２処理部２１は、図７の第３ステップの処理を行う。現フレームの信号Ｓ２と前フレームの信号Ｓ３の輝度信号成分を用いて、代表動きベクトルＢＶ１を起点として、ｘ成分を±ＤＸの範囲、ｙ成分を±ＤＹの範囲で定まる動きベクトルについてブロックマッチング処理で動き補正誤差を算出し、これが最少となるものをブロック単位動きベクトルＢＶとして出力する。
【００４５】
制御部１９は、信号ＢＭに従って、ブロックマッチング第１処理部２０とブロックマッチング第２処理部２１の動作に必要な制御信号を生成する。
【００４６】
次に、画素単位動きベクトル生成部の一構成例を図８、その信号処理フローチャートを図９に示す。
【００４７】
補正誤差算出部２２は、図９に示す第１ステップの処理を行う。すなわち、現フレームの信号Ｓ２、前フレームの信号Ｓ３の輝度信号成分に対し、ブロック単位動きベクトルＢＶによる動き補正誤差を算出する。そして、この誤差の値が閾値ＴＨ’未満の場合は信号ＰＭに０、閾値ＴＨ’以上の場合は１を出力する。
【００４８】
制御部２３は、信号ＰＭと動き検出信号ＭＩ２をもとに、図９の第２、第３ステップの信号処理に必要な制御信号ＰＣ１、ＰＣ２を生成する。なお、動き検出信号ＭＩ２は、図１の動き検出部４において、フレーム間差分信号を０の時に０、それ以外の時は１、と２値量子化した信号である。
【００４９】
補正誤差算出部２５−１、…、２５−Ｎは、図９の第２ステップの閾値以上の場合の信号処理を行う。すなわち、制御信号ＰＣ１が閾値以上を示す時、参照動きベクトル生成部２４で生成する、現ブロックの動きベクトルＶ０と、これに隣接するブロックに対応する動きベクトルＶ１、…、ＶＮで、ミニブロック（例えば水平ＭＸ＝２、垂直ＭＹ＝２の２画素×２ライン）毎に、これを内包する水平４（ＭＸ＋２）画素、垂直４（ＭＹ＋２）ラインの算出領域での動き補正誤差ＥＲ０、ＥＲ１、…、ＥＲＮを算出する。なお、この動き補正誤差の算出は、現フレームの信号Ｓ２と前フレームの信号Ｓ３の輝度信号成分、もしくは輝度信号成分と色差信号成分、のいずれかに対し、（数３）に示す演算で実現できる。
【００５０】
【数３】
ER0=Σabs{S2(x,y)−S3(V0)}=Σabs{S2(x,y)−S3(x+V0x,y+V0y)}
ER1=Σabs{S2(x,y)−S3(V1)}=Σabs{S2(x,y)−S3(x+V1x,y+V1y)}
ER2=Σabs{S2(x,y)−S3(V2)}=Σabs{S2(x,y)−S3(x+V2x,y+V2y)}
…………………………………………………………………………
ERN=Σabs{S2(x,y)−S3(VN)}=Σabs{S2(x,y)−S3(x+VNx,y+VNy)} （数３）
ここで、Ｓ２(ｘ,ｙ)は算出領域内の現フレームの画素の信号、Ｓ３(ＶＮ)は動きベクトルＶＮで位置を移動させた前フレームの画素の信号、abs{ }は絶対値、Σは算出領域内の画素の総和、ＶＮｘは動きベクトルＶＮのｘ成分、ＶＮｙはｙ成分である。
【００５１】
画素動きベクトル設定部２６は、図９の第２ステップの閾値未満および第３ステップの信号処理を行う。すなわち、制御信号ＰＣ２が閾値未満を示す場合は、現ブロックの動きベクトルＶ０を画素単位動きベクトルＰＶに出力する。一方、閾値以上を示す場合は、動き補正誤差ＥＲ０、ＥＲ１、…、ＥＲＮの内で最少値をとる動きベクトルを各ミニブロック内の画素の動きベクトルとして出力する。また、制御信号ＰＣ２が動き検出信号ＭＩ２が０を示す画素では、画素単位動きベクトルＰＶに強制的に０を出力する。
【００５２】
以上に述べた如く、本実施例によれば、極めて簡単な信号処理で、動き補正処理に特有な画質劣化を大幅に抑圧した高画質な画像信号の方式変換装置が実現できる。そして、低コスト化や高画質化に顕著な効果が得られる。
【００５３】
次に、本発明の第２の実施例について、図１０のブロック構成図で説明する。本実施例は、シーンチェンジの領域では動き補正処理の信号処理を中止する動作を行うに好適なものである。同図において、ＩＰ変換部１ないし動き補正信号設定部１１は、図１の第１の実施例と同じ動作を行う。図１０においても、動き補正内挿フレーム生成部７内の各部の接続関係は概略を示すもので、詳しくは図２又は図４に示すとおりである。この事情は、後述の図１１、図１３〜図１７においても同様である。
【００５４】
シーンチェンジ検出部２７は、１フレーム期間でのフレーム間差分信号成分の発生形態を基にシーンチェンジの発生した領域を検出する動作を行う。一般に、シーンチェンジの領域では、画像の内容が切り替わるため、フレーム間差分信号成分は比較的大きな値を持つ。そこで、比較的高いレベルの閾値で画素毎に２値量子化する。そして、１フレーム期間で閾値以上の画素を計測し、全画面の半分以上の画素数の場合をシーンチェンジ領域と判定し、信号ＳＣＦに１フレームの期間にわたり１を出力する。これ以外の場合は０を出力する。
【００５５】
動き補正ベクトル生成部２８は、信号ＳＣＦが１のシーンチェンジ領域では、フレーム順情報ＦＳ１に動き補正処理の動作を中止する信号も出力する。動き補正信号設定部１１は、この信号を受けた場合は、優先的に現フレームの信号Ｓ２、あるいは前フレームの信号Ｓ３を選択して出力する。
【００５６】
以上に述べた如く、本実施例によれば、シーンチェンジ領域における動きベクトルの不正確さに起因する画質劣化を回避できる、高画質な画像信号の方式変換装置が実現でき、低コスト化や高画質化に顕著な効果が得られる。
【００５７】
次に、本発明の第３の実施例について、図１１に示すブロック構成図で説明する。本実施例は、フレーム繰り返し操作でフレームレートをアップした信号系列で動き補正変換を行うに好適なものである。
【００５８】
飛び越し走査の入力画像信号Ｓ１（輝度信号成分と色差信号成分）は、ＩＰ変換部１に入力し、飛び越し−順次の走査変換を行う。例えば、輝度信号成分は動き適応型の補間処理、色差信号はライン間の補間処理で補間走査線の信号を生成し、出力に順次走査の信号系列Ｓ２（輝度信号成分と色差信号成分）を得る。
【００５９】
フレームレートアップ部（ＦＲＵＰ）２９は、フレーム繰り返し処理でフレームレートをアップした信号系列を生成する。すなわち、図１２（ａ）に示すような５０Ｈｚ順次のフレーム順が１、２、３、４、５、１の信号系列に対して、同図（ｂ）に示すようなフレーム順が１、１、２、３、４、５、１、１の信号系列Ｓ２を生成する。
【００６０】
動き補正フレーム数変換部２においては、信号Ｓ２と、１フレーム遅延部３で１フレーム期間遅延させた同図（ｃ）に示すような信号Ｓ３に対し、動き補正処理を行う。なお、動き補正信号生成部３０は、図２の時系列変換部１６を省略した構成である。
【００６１】
信号Ｓ２とＳ３とがフレーム順１の時は、両者は同一のフレームの信号であるため、フレーム間の動きベクトルは常に０となり、同図（ｄ）に示すようなフレーム順１の信号がＳ４に出力される。一方、これ以外の時は、信号Ｓ２と信号Ｓ３はそれぞれ異なるフレームの信号であるので、フレーム順１と２、２と３、…で動き補正フレーム内挿（ＭＣ内挿）した信号Ｓ４を得る。
【００６２】
次に、本発明の第４の実施例について、図１３に示すブロック構成図で説明する。本実施例は、第３の実施例にシーンチェンジ検出部を付加し、シーンチェンジの領域では動き補正処理の信号処理を中止する動作を行うに好適なものである。
【００６３】
なお、この動作は、第２、第３の実施例で容易に理解できるので説明は省略する。
【００６４】
以上、第３、第４の実施例によれば、動き補正処理に特有な画質劣化を回避する高画質な画像信号の方式変換装置が実現でき、低コスト化や高画質化に顕著な効果が得られる。
【００６５】
次に、本発明の第５乃至第８の実施例について、図１４乃至図１７のブロック構成図で説明する。これらの実施例は、ブロック単位の動きベクトルをＭＰＥＧ符号化で用いられる動きベクトル情報で生成するに好適なものである。
【００６６】
図１４の第５の実施例は、図１の第１の実施例のブロック単位動きベクトル探索部５を、ブロック単位動きベクトル生成部３１で置き換えた構成で実現する。このブロック単位動きベクトル生成部３１では、ＭＰＥＧ符号化で用いられた動きベクトル情報ＭＶをもとに、ブロック単位の動きベクトルを生成する。すなわち、ＭＰＥＧ符号化の一方向予測のＰピクチャ、双方向予測のＢピクチャの符号化に使われるブロック単位ないしはマクロブロック単位の動きベクトルをもとに、再生画像信号系列の１フレーム間の動きベクトルを生成し、動画ブロックではブロックマッチング処理による探索は行わず、この動きベクトルをブロック単位の動きベクトルＢＶに割り当てる。
【００６７】
図１５の第６の実施例は、図１０の第２の実施例のブロック単位動きベクトル探索部５を、ブロック単位動きベクトル生成部３１で置き換えた構成で実現する。
【００６８】
また、図１６の第７の実施例は、図１１の第３の実施例のブロック単位動きベクトル探索部５を、ブロック単位動きベクトル生成部３１で置き換えた構成で実現する。
【００６９】
図１７の第８の実施例は、図１３の第４の実施例のブロック単位動きベクトル探索部５を、ブロック単位動きベクトル生成部３１で置き換えた構成で実現する。
【００７０】
なお、いずれの実施例においても、ブロック単位動きベクトル生成部３１は、図１４と同じ構成、動作を行う。
【００７１】
以上述べた第５乃至第８の実施例によれば、動き補正処理に必要な動きベクトルの探索、生成をより少ない演算量で実現できる。このため、高画質化、低コスト化に顕著な効果を得る。
【００７２】
次に、本発明の動き補正フレーム数変換部を、画像信号のフォーマット変換信号処理装置に適用した実施例について、図１８乃至図２１のブロック構成図で説明する。この信号処理装置は、テレビジョン受像機やパソコンなどの情報メディア機器としての
に用いることができる。
【００７３】
図１８は、その第１の実施例である。入力信号Ｓ１は、ＩＰ変換部１で、飛び越し走査の信号は走査線補間の処理で順次走査の信号Ｓ２に変換する。
【００７４】
動き補正フレーム数変換部３２は、その構成が本発明の第１乃至第８の実施例によるもので、動き補正フレーム数変換処理を行い、出力に動き補正フレーム内挿でフレーム数をアップした順次走査の信号Ｓ１０を得る。
【００７５】
スケーリング変換部３３は、直線補間特性の垂直ＭーＮ変換処理（Ｍ＜Ｎ）による垂直拡大の信号処理で、走査線数のＮ／Ｍ倍の拡大変換処理を行う。また、マルチウィンド表示のための画面サイズの拡大、縮小などの信号処理も行う。そして、スケーリング処理した順次走査の信号Ｓ１１を出力する。なお、この構成は従来技術で容易に実現することができるため、説明は省略する。
【００７６】
ＰＩ変換部３４は、走査線の２：１の間引き処理による順次−飛び越し走査の変換を行い、飛び越し走査の信号Ｓ１２を出力する。
【００７７】
図１９は、その第２の実施例である。入力信号Ｓ１は、ＩＰ変換部１で、飛び越し走査の信号は走査線補間の処理で順次走査の信号Ｓ２に変換する。
【００７８】
スケーリング変換部３３は、直線補間特性の垂直ＮーＭ変換処理（Ｍ＜Ｎ）による垂直縮小の信号処理で、走査線数のＭ／Ｎ倍の縮小変換処理を行う。また、マルチウィンド表示のための画面サイズの拡大、縮小などの信号処理も行う。そして、スケーリング処理した順次走査の信号Ｓ１０を出力する。なお、この構成は従来技術で容易に実現することができるため、説明は省略する。
【００７９】
動き補正フレーム数変換部３２は、その構成が本発明の第１乃至第８の実施例によるもので、動き補正フレーム数変換処理を行い、出力に動き補正フレーム内挿でフレーム数をアップした順次走査の信号Ｓ１１を得る。
【００８０】
一方、飛び越し走査の信号Ｓ１２は、ＰＩ変換部３４で走査線の２：１の間引き処理による順次−飛び越し走査の変換を行うことで生成する。
【００８１】
図２０に示す第３の実施例は、図１８の第１の実施例におけるＰＩ変換部３４を省略した構成、図２１に示す第４の実施例は図１９の第２の実施例におけるＰＩ変換部３４を省略した構成で実現する。なお、これら実施例の動作は第１、第２の実施例と同様なため、説明は省略する。
【００８２】
以上に述べた画像信号のフォーマット変換処理装置の第１乃至第４の実施例によれば、各種ＴＶ方式の信号やパソコンなどの画像信号を各種形態のディスプレイに表示するための画像フォーマット変換を、高画質、低コストで実現できる。そして、多種多様な入出力に柔軟に対応するテレビジョン受像機やパソコンなどの情報メディア機器の低コスト化、高画質化に顕著な効果を得る。
【００８３】
【発明の効果】
本発明によれば、画質劣化を簡単な信号処理で抑圧することができ、高画質かつ低コストの画像信号の方式変換方法および装置を実現することができる。
【図面の簡単な説明】
【図１】本発明に係る方式変換装置の第１の実施例を示すブロック構成図である。
【図２】動き補正内挿フレーム生成部の第１の構成例を示す図である。
【図３】制御信号生成部と選択部における動作概略を示す図である。
【図４】動き補正内挿フレーム生成部の第２の構成例を示す図である。
【図５】制御信号生成部と選択部における動作概略を示す図である。
【図６】ブロック単位動きベクトル探索部の一構成例を示す図である。
【図７】ブロック単位動きベクトル探索の信号処理フローチャートを示す図である。
【図８】画素単位動きベクトル生成部の一構成例を示す図である。
【図９】画素単位動きベクトル生成の信号処理フローチャートを示す図である。
【図１０】本発明に係る方式変換装置の第２の実施例を示すブロック構成図である。
【図１１】本発明に係る方式変換装置の第３の実施例を示すブロック構成図である。
【図１２】（ａ）〜（ｄ）はそれぞれフレームレートアップの信号処理動作を示す概略図である。
【図１３】本発明に係る方式変換装置の第４の実施例を示すブロック構成図である。
【図１４】本発明に係る方式変換装置の第５の実施例を示すブロック構成図である。
【図１５】本発明に係る方式変換装置の第６の実施例を示すブロック構成図である。
【図１６】本発明に係る方式変換装置の第７の実施例を示すブロック構成図である。
【図１７】本発明に係る方式変換装置の第８の実施例を示すブロック構成図である。
【図１８】画像フォーマット変換の第１の実施例を示すブロック構成図である。
【図１９】画像フォーマット変換の第２の実施例を示すブロック構成図である。
【図２０】画像フォーマット変換の第３の実施例を示すブロック構成図である。
【図２１】画像フォーマット変換の第４の実施例を示すブロック構成図である。
【図２２】（ａ）〜（ｃ）はそれぞれ動き補正フレームレート変換の内挿フレーム信号生成を示す動作概略図である。
【図２３】本発明における動き補正内挿フレーム生成のフローチャートを示す図である。
【図２４】（ａ）、（ｂ）はそれぞれ本発明における内挿フレーム信号生成の概略を示す図である。
【符号の説明】
１ ＩＰ変換部
２ 動き補正フレーム数変換部
３ １フレーム遅延部
４ 動き検出部
５ ブロック単位動きベクトル探索部
６ 画素単位動きベクトル生成部
７ 動き補正内挿フレーム生成部
８ 現フレーム動き補正信号生成部
９ 前フレーム動き補正信号生成部
１０ 動き補正ベクトル生成部
１１ 動き補正信号設定部
１２ 加算部
１３ 減算部
１４ 制御信号生成部
１５ 選択部
１６ 時系列変換部
【発明の属する技術分野】
本発明は画像信号の方式変換方法および装置に係り、特に、動き補正に固有な画質劣化を抑圧し、高画質な動き補正のフレームレートの変換を実現するに好適な画像信号の方式変換方法および装置に関する。
【０００２】
【従来の技術】
異なるテレビジョンシステム間の信号変換である方式変換は、放送の分野では番組交換などで広く使用されている。一般に、方式変換では、走査線数やフィールド周波数の変換処理が必要なため、動き画像で滑らかさが損なわれるモーションジャダーなどの画質劣化が発生する。
【０００３】
これら画質劣化を防ぐため、走査線数変換には動き適応型走査線数・順次走査変換法、フレーム数変換には動き補正型フレーム数変換法などの信号処理技術が考案されている。
【０００４】
このうち、動き補正型フレーム数変換法は、動きベクトルで前後のフレームの画像の位置を移動させて内挿フレームの信号を生成するもので、動き画像のモーションジャダーの除去には極めて有効である。このため、放送関係の方式変換装置では、ほとんどがこの方法を採用している。
【０００５】
しかしながら、動き補正型のフレーム数変換では、特有な画質劣化が発生する。すなわち、一様に動いている画像や同一物体の一部が孤立点的に全く別の画像に置き換わる孤立点的な劣化が発生する。また、動きによって背景が隠れたり現れたりする領域では、動画の輪郭周縁部がフリッカしたり動きが不自然に見える動画像の解像度劣化が発生する。これらの画質劣化を抑圧するため、例えば特開平７−３３６６５０号公報には、内挿フィールドの前後２つの入力フィールドを用いてアンカバード領域、カバード領域の内挿処理を行うフィールド内挿方法が開示されている。
【０００６】
【発明が解決しようとする課題】
従来の技術では、画質劣化を抑圧するための信号処理が、極めて複雑となっている。したがって、この種の信号処理を行う方式変換装置は、その回路規模が大きくなり、またコストも高くなるという問題を有している。
【０００７】
本発明は、上記の問題に鑑みてなされたもので、画質劣化を簡単な信号処理で抑圧し得る高画質かつ低コストの画像信号の方式変換方法および装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、画像信号の現フレームの信号と前フレームの信号から画像の動きを検出する工程と、前記動きを検出する工程により動きを検出しないブロックにはブロック単位動きベクトルとして０を割り当て、動きを検出したブロックには１フレーム期間での動きベクトルのうち最少の動き補正誤差を有するものをブロック単位動きベクトルとして割り当てるブロック単位動きベクトルを生成する工程と、前記動きを検出する工程により動きを検出しない画素には画素単位動きベクトルとして０を割り当て、動きを検出した画素には前記ブロック単位の動き補正誤差が閾値未満のときはブロック内の画素に前記ブロック単位動きベクトルを割り当て、閾値以上のときは現ブロックと隣接ブロックの動きベクトルを用いて前記ブロックを縮小したミニブロックを内包する算出領域のうち最少の動き補正誤差を有するものを画素単位動きベクトルとして割り当てる画素単位動きベクトルを生成する工程と、現フレームの信号を第１の動き補正ベクトルで位置を移動させて生成する第１の動き補正信号と前フレームの信号を第２の動き補正ベクトルで位置を移動させて生成する第２の動き補正信号との絶対値差分成分が閾値未満の場合は、前記画素単位動きベクトルに基づいて生成した画像信号の第１の内挿フレームを用い、閾値以上の場合は、画像信号のフレームの信号で生成した画像信号の第２の内挿フレームを用いて、画像信号のフレーム数を変換する工程とを備え、前記第１の動き補正ベクトルは、前記画素単位動きベクトルと、前記第１の内挿フレームと現フレームとの時間的距離に関する係数との乗算により生成され、前記第２の補正ベクトルは前記画素単位動きベクトルと前記第１の内挿フレームと前フレームとの時間的距離に関する係数との乗算により生成されることを特徴とする画像信号の方式変換方法である。
【０００９】
本発明の前記第２の内挿フレームは、現フレームと前フレームのうち時間的距離が近いフレームの信号に基づいて生成したものであることを特徴とする。前記絶対値差分成分は、前記２つの動き補正信号の輝度信号成分の差分、又は輝度信号成分及び色差信号成分の差分に基づいて求められるものであることを特徴とする。前記画像信号のフレーム数を変換する工程は、画像信号の特定の動きを検出する工程を備え、前記第１の内挿フレームを用いたフレーム内挿処理の動作は前記特定の動きを検出した場合に制限することを特徴とする。前記画像信号のフレーム数を変換する工程は、１フレーム期間における動き検出領域の累積値でシーンチェンジを検出する工程を備え、シーンチェンジを検出したフレームでは、前記第１の内挿フレームを用いたフレーム内挿処理の動作を中止し、現フレームの信号もしくは前フレームの信号で内挿フレームの信号を生成する動作を行うことを特徴とする。前記画像信号のフレーム数を変換する工程は、画像信号の特定の動きを検出する工程と、１フレーム期間における動き検出領域の累積値でシーンチェンジを検出する工程とを備え、前記特定の動きを検出した場合には前記第１の内挿フレームを用いた動き補正のフレーム内挿処理の動作を行い、シーンチェンジを検出したフレームでは、前記第１の内挿フレームを用いた動き補正のフレーム内挿処理の動作を中止し、現フレームの信号もしくは前フレームの信号で内挿フレームの信号を生成する動作を行うことを特徴とする。
【００１０】
本発明は、画像信号の現フレームの信号と前フレームの信号から画像の動きを検出する動き検出部と、前記動きを検出する工程により動きを検出しないブロックにはブロック単位動きベクトルとして０を割り当て、動きを検出したブロックには１フレーム期間での動きベクトルのうち最少の動き補正誤差を有するものをブロック単位動きベクトルとして割り当てるブロック単位動きベクトルを探索するブロック単位動きベクトル探索部と、前記動きを検出する工程により動きを検出しない画素には画素単位動きベクトルとして０を割り当て、動きを検出した画素には前記ブロック単位の動き補正誤差が閾値未満のときはブロック内の画素に前記ブロック単位動きベクトルを割り当て、閾値以上のときは現ブロックと隣接ブロックの動きベクトルを用いて前記ブロックを縮小したミニブロックを内包する算出領域のうち最少の動き補正誤差を有するものを画素単位動きベクトルとして割り当てる画素単位動きベクトルを生成する画素単位動きベクトル生成部と、現フレームの信号を第１の動き補正ベクトルで位置を移動させて生成する第１の動き補正信号と前フレームの信号を第２の動き補正ベクトルで位置を移動させて生成する第２の動き補正信号との絶対値差分成分が閾値未満の場合は、前記画素単位動きベクトルに基づいて生成した画像信号の第１の内挿フレームを用い、閾値以上の場合は、画像信号のフレームの信号で生成した画像信号の第２の内挿フレームを用いて、画像信号のフレーム数を変換する動き補正内挿フレーム生成部とを備え、前記第１の動き補正ベクトルは、前記画素単位動きベクトルと、前記第１の内挿フレームと現フレームとの時間的距離に関する係数との乗算により生成され、前記第２の補正ベクトルは前記画素単位動きベクトルと前記第１の内挿フレームと前フレームとの時間的距離に関する係数との乗算により生成されることを特徴とする画像信号の方式変換装置である。
【００１１】
本発明の前記第２の内挿フレームは、現フレームと前フレームのうち時間的距離が近いフレームの信号に基づいて生成したものであることを特徴とする。前記絶対値差分成分は、前記２つの動き補正信号の輝度信号成分の差分、又は輝度信号成分及び色差信号成分の差分に基づいて求められるものであることを特徴とする。前記動き補正内挿フレーム生成部は、画像信号の特定の動きを検出する動き速度検出部を備え、前記第１の内挿フレームを用いたフレーム内挿処理の動作は前記動きを検出した場合に制限することを特徴とする。前記動き補正内挿フレーム生成部は、１フレーム期間における動き検出領域の累積値でシーンチェンジを検出するシーンチェンジ検出部を備え、シーンチェンジを検出したフレームでは、前記第１の内挿フレームを用いたフレーム内挿処理の動作を中止し、現フレームの信号もしくは前フレームの信号で内挿フレームの信号を生成する動作を行うことを特徴とする。前記動き補正内挿フレーム生成部は、画像信号の特定の動きを検出する動き速度検出部と、１フレーム期間における動き検出領域の累積値でシーンチェンジを検出するシーンチェンジ検出部とを備え、前記動き速度検出部で該当する動きを検出した場合には前記第１の内挿フレームを用いた動き補正のフレーム内挿処理の動作を行い、前記シーンチェンジ検出部でシーンチェンジを検出したフレームでは、前記第１の内挿フレームを用いた動き補正のフレーム内挿処理の動作を中止し、現フレームの信号もしくは前フレームの信号で内挿フレームの信号を生成する動作を行うことを特徴とする。前記ブロック単位動きベクトル探索部は、ＭＰＥＧ符号化された画像信号において、動きが検出された動画ブロックに対しては、ＭＰＥＧ符号化で送られる動きベクトル情報をもとにブロック単位動きベクトルを生成することを特徴とする。前記画素単位動きベクトル生成部は、動き補正誤差の算出を画像信号の輝度信号成分を用いて行うことを特徴とする。前記画素単位動きベクトル生成部は、動き補正誤差の算出を画像信号の輝度信号成分および色成分を用いて行うことを特徴とする。
【００１２】
このようにすることにより、画質の劣化を簡単な信号処理で抑圧することができ、高画質かつ低コストの画像信号の方式変換方法および装置を実現することができる。
【００１３】
【発明の実施の形態】
はじめに、動き補正のフレーム数変換における内挿フレーム信号生成の概略を図２２（ａ）〜（ｃ）を用いて説明する。同図（ａ）、（ｂ）は、フレーム周波数５０Ｈｚの信号を動き補正処理により６０Ｈｚの信号に変換する場合を示すものである。６０Ｈｚフレーム順１の信号は５０Ｈｚフレーム順１の信号で生成する。一方、６０Ｈｚフレーム順２、３、４、５、６の信号系列（ＭＣ内挿と表示）は、５０Ｈｚフレーム順１、２、３、４、５、１の信号を動き補正ベクトルで内挿フレームの位置に移動させた信号で生成する。例えば、フレーム順２のＭＣ内挿フレームの信号は、５０Ｈｚフレーム順１の前フレーム信号Ｓ３とフレーム順２の現フレーム信号Ｓ２、フレーム順３のＭＣ内挿フレームの信号は、５０Ｈｚフレーム順２の前フレーム信号Ｓ３とフレーム順３の現フレーム信号Ｓ２、…で生成する。すなわち、現フレームＳ２と前フレームＳ３との間の動きベクトルPVをもとに、動き補正ベクトルVpr(PV*(ka/Ka+kb))とVct(PV*(kb/Ka+kb))を生成する。そして、同図（ｃ）に示す様に、内挿フレーム上の画素A(x,y)の信号は、前フレームＳ３の画素A(x,y)を動き補正ベクトルVprの水平方向成分Vprx、垂直方向成分Vpryだけ移動させた点A'(x1、y1)の信号Spr=S3(x1,y1)と、現フレームＳ２の画素A(x,y)を動き補正ベクトルVctの水平方向成分Vctx、垂直方向成分Vctyだけ移動させた点A''(x2、y2)の信号Sct=S2(x2,y2)との平均値で生成する。
【００１４】
次に、本発明における動き補正内挿フレーム生成の概略を図２３と図２４で説明する。
【００１５】
図２３は、信号処理のフローチャートである。従来技術と同様、はじめに動き補正ベクトルVpr、Vctで前、現フレームの画像の位置を移動させた補正信号SprとSctを生成する。次に、補正信号Spr、Sctの絶対値差分ＥＲ(|Spr−Sct|)を求め、これが閾値ＴＨ未満か以上かで、動き補正ベクトルの精度を判定する。
【００１６】
そして、絶対値差分成分ＥＲが閾値ＴＨ未満（ＥＲ＜ＴＨ）の場合は、動き補正ベクトルの精度は高いと判定し、補正信号SprとSctの平均値で内挿フレームの信号を生成する。
【００１７】
一方、絶対値差分成分ＥＲが閾値ＴＨ以上（ＥＲ≧ＴＨ）の場合は、動き補正ベクトルの精度は低いと判定し、前、現フレームのうちで内挿フレームと時間的距離が近いフレームを選択する。そして内挿フレームの点A(x,y)の信号は、選択フレームの同一位置の信号で置換する。
【００１８】
図２４（ａ）、（ｂ）は、内挿フレーム信号生成を示す概略図である。同図（ａ）は、ＥＲ＜ＴＨの場合であり、補正信号SprとSctの平均値で内挿フレームの信号を生成する。一方、ＥＲ≧ＴＨの場合は、同図（ｂ）に示すように、現フレームと前フレームのうちで内挿フレームと時間的距離が近いフレームを選択し、この選択したフレームの画素A(x,y)の信号で内挿フレームの画素A(x,y)の信号を生成する。例えば、６０Ｈｚフレーム順２、３、４、５、６のＭＣ内挿フレームは、それぞれ５０Ｈｚフレーム順２、３、４、４、５のフレームの信号を選択し、このA(x,y)の画素の信号で置換する。
【００１９】
このようにすることにより、極めて簡単な信号処理で、動き補正処理に特有な画質劣化を大幅に抑圧することが可能となる。
【００２０】
本発明の第１の実施例について、図１乃至図９の図面で説明する。
【００２１】
図１は、本実施例に係る方式変換装置のブロック構成図である。本装置は、同図のとおり、ＩＰ変換部１と動き補正フレーム数変換部２とを備える。動き補正フレーム数変換部２は、１フレーム遅延部３、動き検出部４、ブロック単位動きベクトル探索部５、画素単位動きベクトル生成部６、および動き補正内挿フレーム生成部７を有する。動き補正内挿フレーム生成部７は、現フレーム動き補正信号生成部８、前フレーム動き補正信号生成部９、動き補正ベクトル生成部１０、および動き補正信号設定部１１を有する。図１において、動き補正内挿フレーム生成部７内の各部の接続関係は概略を示すもので、詳しくは後述の図２又は図４に示すとおりである。
【００２２】
ＩＰ変換部１は、飛び越し走査の入力画像信号Ｓ１（輝度信号成分と色差信号成分）を入力し、飛び越し−順次の走査変換を行う走査変換部である。例えば、輝度信号成分は動き適応型の補間処理、色差信号はライン間の補間処理で補間走査線の信号を生成し、出力に順次走査の信号系列Ｓ２（輝度信号成分と色差信号成分）を得る。なお、入力画像信号がテレシネ画像信号（映画などのフィルム画像を２ー３プルダウン処理でテレビ信号のフォーマットに変換した信号）の場合は、フィルムモードの補間処理（同一フィルムフレームに属す飛び越し走査の信号で補間走査線の信号を生成）で、フィルム画像の形態の順次走査の信号系列を生成する。
【００２３】
動き補正フレーム数変換部２は、動き補正処理で内挿フレームの信号系列を生成してフレームレート変換の信号処理を行い、フレーム周波数が入力画像信号系列より高い周波数の順次走査の画像信号系列Ｓ４（輝度信号成分と色差信号成分）を出力する。
【００２４】
このうち、動き検出部４は、現フレームの信号系列Ｓ２と、１フレーム遅延部３で１フレーム期間遅延させた前フレームの信号系列Ｓ３の輝度信号成分を減算して１フレーム間の差分信号を抽出し、これを２値量子化し、動き検出信号ＭＩ１、ＭＩ２を出力する。
【００２５】
ブロック単位動きベクトル探索部５は、ブロックマッチング処理でブロック単位（例えば１６画素×１６ラインあるいは８画素×８ライン）の動きベクトルを検出する。また、画素単位動きベクトル生成部６は、ブロック単位の動きベクトルをもとに、画素単位動きベクトルＰＶを生成する。これらの詳細は後述する。
【００２６】
動き補正内挿フレーム生成部７では、動き補正ベクトル生成部１０で画素単位動きベクトルＰＶをもとに動き補正ベクトルを生成する。前フレーム動き補正信号生成部９は、前フレームの信号Ｓ３の画像の位置をこの動き補間ベクトルで移動させた信号で、内挿フレームの信号Sprを生成する。また、現フレーム動き補正信号生成部８は、現フレームの信号Ｓ２の画像の位置をこの動き補間ベクトルで移動させた信号で、内挿フレームの信号Sctを生成する。動き補正信号設定部１１は、信号SctとSprの絶対値差分成分ＥＲが閾値ＴＨ(例えば、８ビット量子化の場合は１６レベル程度)未満の時は、信号SctとSprの平均値、閾値ＴＨ以上の時は時間的距離の近いフレームの信号を選択し、動き補正フレーム数変換した信号系列Ｓ４を出力する。
【００２７】
以下、本実施例における主要ブロック部について説明する。
【００２８】
図２は、本発明の主要部である動き補正内挿フレーム生成部１１の第１の構成例である。
【００２９】
動き補正ベクトル生成部１０は、画素単位動きベクトルＰＶおよびフレーム順制御信号ＦＳにより、前述の図２２（ａ）に示した、動き補正ベクトルVctとVprを生成する。すなわち、画素単位動きベクトルＰＶに係数加重する係数値ｋａ,ｋｂを変化させ、（数１）に示す演算で補正補間動きベクトルVpr、Vctを生成する。
【００３０】
【数１】
Vpr＝ＰＶ*ka/(ka+kb)
Vct＝−ＰＶ*kb/(ka+kb) （数１）
例えば、フレーム順が２の内挿フレームは、Vpr＝ＰＶ*5/6,Vct＝−ＰＶ*1/6(ka=5,kb=1)、３のものは、Vpr＝ＰＶ*4/6,Vct＝−ＰＶ*2/6(ka=4,kb=2)…の如く、係数値ｋａ，ｋｂを発生させ、時間方向での位置ずれのない動き補正ベクトルを生成する。また、フレーム順情報FS1を生成する。
【００３１】
現フレーム動き補正信号生成部８では、現フレームの信号Ｓ２と動き補正ベクトルVctから動き補正信号Sctを生成する。また、前フレーム動き補正信号生成部９は、前フレームの信号Ｓ３と動き補正ベクトルVprから動き補正信号Sprを生成する。すなわち、図２２（ｃ）に示したように、現フレームの信号Ｓ２では点A(x,y)を補正補間動きベクトルVct(水平方向成分Vctx、垂直方向成分Vcty)で移動させた点A”(x2,y2)=(x−Vctx,y−Vcty)の位置の信号Sct、前フレームの信号Ｓ３では点A(x,y)を補正補間動きベクトルVpr(水平方向成分Vprx、垂直方向成分Vpry)で移動させた点A'(x1,y1)=(x＋Vprx,y＋Vpry)の位置の信号Sprで、内挿フレームの点A（x,y）の信号を生成する。従って、動き補正信号SprとSctは、以下の（数２）で与えられる。
【００３２】
【数２】
Spr=Ｓ３(x＋Vprx,y＋Vpry)
Sct=Ｓ２(x−Vctx,y−Vcty) （数２）
この信号処理は、動き補正信号生成部に内蔵のメモリ回路の読み出し動作を制御することで簡単に実現できる。すなわち、読み出しのためのアドレスを動き補正ベクトルVpr、Vctの位置だけずらせたアドレスを生成し、このアドレスで点A',A”に対応した画素の信号を読み出す。
【００３３】
動き補正信号設定部１１は、加算部１２、減算部１３、制御信号生成部１４、選択部１５、及び時系列変換部１６を有する。このうち、加算部１２は動き補正信号SprとSctとの加算平均を行い、その結果を信号Ｓｍｃとして出力する。減算部１３は、動き補正信号SprとSctの輝度信号成分、又は輝度信号成分及び色差信号成分の減算演算を行い、その絶対値を信号ＥＲとして出力する。
【００３４】
制御信号生成部１４は、信号ＥＲとフレーム順情報ＦＳ１をもとに、選択部１５で選択する信号を制御する信号ＳＬを生成する。この動作概略を図３に示す。誤差信号ＥＲが閾値ＴＨ未満（ＥＲ＜ＴＨ）の時は、図２４（ａ）のように、動き補正信号Ｓｍｃを選択するように制御信号ＳＬを設定する。一方、誤差信号ＥＲが閾値ＴＨ以上（ＥＲ≧ＴＨ）の場合は、フレーム順情報ＦＳ１に応じて、内挿フレームと時間的距離の近いフレームの信号を選択するように制御信号ＳＬを設定する。すなわち、図２４（ｂ）に示したように、６０Ｈｚフレーム順１〜４では現フレームの信号Ｓ２、５〜６では前フレームの信号Ｓ３を選択する。
【００３５】
選択部１５は、制御信号ＳＬに応じて信号Ｓ２、Ｓ３、Ｓｍｃのいずれかを選択する動作を行い、信号Ｓｏを出力する。
【００３６】
時系列変換部１６は、時間軸の圧縮と時系列並び替えの処理を行い、図２４（ａ）、（ｂ）に示すように、６０Ｈｚフレーム順１では信号Ｓ２、２〜６では信号Ｓｏの信号系列からなる動き補正フレーム数変換信号Ｓ４を得る。
【００３７】
図４は、動き補正内挿フレーム生成部の第２の構成例図である。これは、モーションジャダー妨害が目立ちやすい速度の動き、あるいは水平パンや上下パンや文字スクロールなどの特殊な動きの場合のみ、動き補正のフレーム内挿処理を行うものである。
【００３８】
同図の動き補正ベクトル生成部１０では、画素単位動きベクトルＰＶとフレーム順制御信号ＦＳで、第１の構成例と同様、動き補正ベクトルVctとVpr、フレーム順情報ＦＳ１を生成する。さらに本例では、画素単位動きベクトルＰＶの速度の絶対値成分ＶＰ１を生成する。
【００３９】
制御信号生成部１７は、信号ＥＲ、ＦＳ１、ＶＰ１をもとに、選択部１５で選択する信号を制御する信号ＳＬを生成する。この動作概略を図５に示す。誤差信号ＥＲが閾値ＴＨ未満（ＥＲ＜ＴＨ）で、かつ、信号ＶＰ１が設定値ＶＰｍａｘ未満（ＶＰ１＜ＶＰｍａｘ）の時は、動き補正信号Ｓｍｃを選択するように制御信号ＳＬを設定する。一方、誤差信号ＥＲが閾値ＴＨ（ＥＲ≧ＴＨ）以上、あるいは、信号ＶＰ１がＶＰｍａｘ以上（ＶＰ１≧ＶＰｍａｘ）の時は、信号Ｓ２かＳ３を選択するように制御信号ＳＬを設定する。なお、設定値ＶＰｍａｘは、水平パンや垂直パン、あるいはスクロールなどの動きでモーションジャダー妨害が目立ちやすい速度の上限で、例えば、１秒／画面幅、１秒／画面高程度の速度に設定する。
【００４０】
この他のものは、第１の構成例と同様な動作を行うので、説明は省略する。
【００４１】
次に、ブロック単位動きベクトル探索部の一構成例を図６で説明する。静動ブロック判定部１８は、ブロック単位（例えば１６画素×１６ラインあるいは８画素×８ライン）で、動き検出信号ＭＩ１の１の有無を検出する。そして、信号ＭＩ１が全て０の時は静止ブロックと判定し信号ＢＭとして０を、それ以外の時は動画ブロックと判定して１を出力する。なお、動き検出信号ＭＩ１は、図１の動き検出部４で現フレームの信号Ｓ２と前フレームの信号Ｓ３の輝度信号成分の絶対値差分成分を閾値ＴＨａ以上の時は１、ＴＨａ未満の時は０、と２値量子化した信号である。
【００４２】
ブロック単位の動きベクトルの探索は、図７に示すフローチャートの信号処理に従って実行する。上述の静止又は動画ブロックの判定は、同図の第１ステップの処理である。そして、第２ステップにおいては、信号ＢＭが０の静止ブロックのときは、動きベクトル探索の動作は行わず、ブロック単位動きベクトルＢＶは０に設定する。一方、信号ＢＭが１の動画ブロックでは、以下に述べる動きベクトル探索の動作を行う。
【００４３】
ブロックマッチング第１処理部２０は、図７の第２ステップの動画ブロック側の処理を行う。予め設定した複数個数の代表動きベクトルについて、現フレームの信号Ｓ２と前フレームの信号Ｓ３の輝度信号成分とでブロックマッチング処理で動き補正誤差を算出し、これが最少となるものを代表動きベクトルＢＶ１として出力する。なお、複数個数の代表動きベクトルには、既に探索を終了した直前のブロックの動きベクトルも併用することもできる。
【００４４】
ブロックマッチング第２処理部２１は、図７の第３ステップの処理を行う。現フレームの信号Ｓ２と前フレームの信号Ｓ３の輝度信号成分を用いて、代表動きベクトルＢＶ１を起点として、ｘ成分を±ＤＸの範囲、ｙ成分を±ＤＹの範囲で定まる動きベクトルについてブロックマッチング処理で動き補正誤差を算出し、これが最少となるものをブロック単位動きベクトルＢＶとして出力する。
【００４５】
制御部１９は、信号ＢＭに従って、ブロックマッチング第１処理部２０とブロックマッチング第２処理部２１の動作に必要な制御信号を生成する。
【００４６】
次に、画素単位動きベクトル生成部の一構成例を図８、その信号処理フローチャートを図９に示す。
【００４７】
補正誤差算出部２２は、図９に示す第１ステップの処理を行う。すなわち、現フレームの信号Ｓ２、前フレームの信号Ｓ３の輝度信号成分に対し、ブロック単位動きベクトルＢＶによる動き補正誤差を算出する。そして、この誤差の値が閾値ＴＨ’未満の場合は信号ＰＭに０、閾値ＴＨ’以上の場合は１を出力する。
【００４８】
制御部２３は、信号ＰＭと動き検出信号ＭＩ２をもとに、図９の第２、第３ステップの信号処理に必要な制御信号ＰＣ１、ＰＣ２を生成する。なお、動き検出信号ＭＩ２は、図１の動き検出部４において、フレーム間差分信号を０の時に０、それ以外の時は１、と２値量子化した信号である。
【００４９】
補正誤差算出部２５−１、…、２５−Ｎは、図９の第２ステップの閾値以上の場合の信号処理を行う。すなわち、制御信号ＰＣ１が閾値以上を示す時、参照動きベクトル生成部２４で生成する、現ブロックの動きベクトルＶ０と、これに隣接するブロックに対応する動きベクトルＶ１、…、ＶＮで、ミニブロック（例えば水平ＭＸ＝２、垂直ＭＹ＝２の２画素×２ライン）毎に、これを内包する水平４（ＭＸ＋２）画素、垂直４（ＭＹ＋２）ラインの算出領域での動き補正誤差ＥＲ０、ＥＲ１、…、ＥＲＮを算出する。なお、この動き補正誤差の算出は、現フレームの信号Ｓ２と前フレームの信号Ｓ３の輝度信号成分、もしくは輝度信号成分と色差信号成分、のいずれかに対し、（数３）に示す演算で実現できる。
【００５０】
【数３】
ER0=Σabs{S2(x,y)−S3(V0)}=Σabs{S2(x,y)−S3(x+V0x,y+V0y)}
ER1=Σabs{S2(x,y)−S3(V1)}=Σabs{S2(x,y)−S3(x+V1x,y+V1y)}
ER2=Σabs{S2(x,y)−S3(V2)}=Σabs{S2(x,y)−S3(x+V2x,y+V2y)}
…………………………………………………………………………
ERN=Σabs{S2(x,y)−S3(VN)}=Σabs{S2(x,y)−S3(x+VNx,y+VNy)} （数３）
ここで、Ｓ２(ｘ,ｙ)は算出領域内の現フレームの画素の信号、Ｓ３(ＶＮ)は動きベクトルＶＮで位置を移動させた前フレームの画素の信号、abs{ }は絶対値、Σは算出領域内の画素の総和、ＶＮｘは動きベクトルＶＮのｘ成分、ＶＮｙはｙ成分である。
【００５１】
画素動きベクトル設定部２６は、図９の第２ステップの閾値未満および第３ステップの信号処理を行う。すなわち、制御信号ＰＣ２が閾値未満を示す場合は、現ブロックの動きベクトルＶ０を画素単位動きベクトルＰＶに出力する。一方、閾値以上を示す場合は、動き補正誤差ＥＲ０、ＥＲ１、…、ＥＲＮの内で最少値をとる動きベクトルを各ミニブロック内の画素の動きベクトルとして出力する。また、制御信号ＰＣ２が動き検出信号ＭＩ２が０を示す画素では、画素単位動きベクトルＰＶに強制的に０を出力する。
【００５２】
以上に述べた如く、本実施例によれば、極めて簡単な信号処理で、動き補正処理に特有な画質劣化を大幅に抑圧した高画質な画像信号の方式変換装置が実現できる。そして、低コスト化や高画質化に顕著な効果が得られる。
【００５３】
次に、本発明の第２の実施例について、図１０のブロック構成図で説明する。本実施例は、シーンチェンジの領域では動き補正処理の信号処理を中止する動作を行うに好適なものである。同図において、ＩＰ変換部１ないし動き補正信号設定部１１は、図１の第１の実施例と同じ動作を行う。図１０においても、動き補正内挿フレーム生成部７内の各部の接続関係は概略を示すもので、詳しくは図２又は図４に示すとおりである。この事情は、後述の図１１、図１３〜図１７においても同様である。
【００５４】
シーンチェンジ検出部２７は、１フレーム期間でのフレーム間差分信号成分の発生形態を基にシーンチェンジの発生した領域を検出する動作を行う。一般に、シーンチェンジの領域では、画像の内容が切り替わるため、フレーム間差分信号成分は比較的大きな値を持つ。そこで、比較的高いレベルの閾値で画素毎に２値量子化する。そして、１フレーム期間で閾値以上の画素を計測し、全画面の半分以上の画素数の場合をシーンチェンジ領域と判定し、信号ＳＣＦに１フレームの期間にわたり１を出力する。これ以外の場合は０を出力する。
【００５５】
動き補正ベクトル生成部２８は、信号ＳＣＦが１のシーンチェンジ領域では、フレーム順情報ＦＳ１に動き補正処理の動作を中止する信号も出力する。動き補正信号設定部１１は、この信号を受けた場合は、優先的に現フレームの信号Ｓ２、あるいは前フレームの信号Ｓ３を選択して出力する。
【００５６】
以上に述べた如く、本実施例によれば、シーンチェンジ領域における動きベクトルの不正確さに起因する画質劣化を回避できる、高画質な画像信号の方式変換装置が実現でき、低コスト化や高画質化に顕著な効果が得られる。
【００５７】
次に、本発明の第３の実施例について、図１１に示すブロック構成図で説明する。本実施例は、フレーム繰り返し操作でフレームレートをアップした信号系列で動き補正変換を行うに好適なものである。
【００５８】
飛び越し走査の入力画像信号Ｓ１（輝度信号成分と色差信号成分）は、ＩＰ変換部１に入力し、飛び越し−順次の走査変換を行う。例えば、輝度信号成分は動き適応型の補間処理、色差信号はライン間の補間処理で補間走査線の信号を生成し、出力に順次走査の信号系列Ｓ２（輝度信号成分と色差信号成分）を得る。
【００５９】
フレームレートアップ部（ＦＲＵＰ）２９は、フレーム繰り返し処理でフレームレートをアップした信号系列を生成する。すなわち、図１２（ａ）に示すような５０Ｈｚ順次のフレーム順が１、２、３、４、５、１の信号系列に対して、同図（ｂ）に示すようなフレーム順が１、１、２、３、４、５、１、１の信号系列Ｓ２を生成する。
【００６０】
動き補正フレーム数変換部２においては、信号Ｓ２と、１フレーム遅延部３で１フレーム期間遅延させた同図（ｃ）に示すような信号Ｓ３に対し、動き補正処理を行う。なお、動き補正信号生成部３０は、図２の時系列変換部１６を省略した構成である。
【００６１】
信号Ｓ２とＳ３とがフレーム順１の時は、両者は同一のフレームの信号であるため、フレーム間の動きベクトルは常に０となり、同図（ｄ）に示すようなフレーム順１の信号がＳ４に出力される。一方、これ以外の時は、信号Ｓ２と信号Ｓ３はそれぞれ異なるフレームの信号であるので、フレーム順１と２、２と３、…で動き補正フレーム内挿（ＭＣ内挿）した信号Ｓ４を得る。
【００６２】
次に、本発明の第４の実施例について、図１３に示すブロック構成図で説明する。本実施例は、第３の実施例にシーンチェンジ検出部を付加し、シーンチェンジの領域では動き補正処理の信号処理を中止する動作を行うに好適なものである。
【００６３】
なお、この動作は、第２、第３の実施例で容易に理解できるので説明は省略する。
【００６４】
以上、第３、第４の実施例によれば、動き補正処理に特有な画質劣化を回避する高画質な画像信号の方式変換装置が実現でき、低コスト化や高画質化に顕著な効果が得られる。
【００６５】
次に、本発明の第５乃至第８の実施例について、図１４乃至図１７のブロック構成図で説明する。これらの実施例は、ブロック単位の動きベクトルをＭＰＥＧ符号化で用いられる動きベクトル情報で生成するに好適なものである。
【００６６】
図１４の第５の実施例は、図１の第１の実施例のブロック単位動きベクトル探索部５を、ブロック単位動きベクトル生成部３１で置き換えた構成で実現する。このブロック単位動きベクトル生成部３１では、ＭＰＥＧ符号化で用いられた動きベクトル情報ＭＶをもとに、ブロック単位の動きベクトルを生成する。すなわち、ＭＰＥＧ符号化の一方向予測のＰピクチャ、双方向予測のＢピクチャの符号化に使われるブロック単位ないしはマクロブロック単位の動きベクトルをもとに、再生画像信号系列の１フレーム間の動きベクトルを生成し、動画ブロックではブロックマッチング処理による探索は行わず、この動きベクトルをブロック単位の動きベクトルＢＶに割り当てる。
【００６７】
図１５の第６の実施例は、図１０の第２の実施例のブロック単位動きベクトル探索部５を、ブロック単位動きベクトル生成部３１で置き換えた構成で実現する。
【００６８】
また、図１６の第７の実施例は、図１１の第３の実施例のブロック単位動きベクトル探索部５を、ブロック単位動きベクトル生成部３１で置き換えた構成で実現する。
【００６９】
図１７の第８の実施例は、図１３の第４の実施例のブロック単位動きベクトル探索部５を、ブロック単位動きベクトル生成部３１で置き換えた構成で実現する。
【００７０】
なお、いずれの実施例においても、ブロック単位動きベクトル生成部３１は、図１４と同じ構成、動作を行う。
【００７１】
以上述べた第５乃至第８の実施例によれば、動き補正処理に必要な動きベクトルの探索、生成をより少ない演算量で実現できる。このため、高画質化、低コスト化に顕著な効果を得る。
【００７２】
次に、本発明の動き補正フレーム数変換部を、画像信号のフォーマット変換信号処理装置に適用した実施例について、図１８乃至図２１のブロック構成図で説明する。この信号処理装置は、テレビジョン受像機やパソコンなどの情報メディア機器としての
に用いることができる。
【００７３】
図１８は、その第１の実施例である。入力信号Ｓ１は、ＩＰ変換部１で、飛び越し走査の信号は走査線補間の処理で順次走査の信号Ｓ２に変換する。
【００７４】
動き補正フレーム数変換部３２は、その構成が本発明の第１乃至第８の実施例によるもので、動き補正フレーム数変換処理を行い、出力に動き補正フレーム内挿でフレーム数をアップした順次走査の信号Ｓ１０を得る。
【００７５】
スケーリング変換部３３は、直線補間特性の垂直ＭーＮ変換処理（Ｍ＜Ｎ）による垂直拡大の信号処理で、走査線数のＮ／Ｍ倍の拡大変換処理を行う。また、マルチウィンド表示のための画面サイズの拡大、縮小などの信号処理も行う。そして、スケーリング処理した順次走査の信号Ｓ１１を出力する。なお、この構成は従来技術で容易に実現することができるため、説明は省略する。
【００７６】
ＰＩ変換部３４は、走査線の２：１の間引き処理による順次−飛び越し走査の変換を行い、飛び越し走査の信号Ｓ１２を出力する。
【００７７】
図１９は、その第２の実施例である。入力信号Ｓ１は、ＩＰ変換部１で、飛び越し走査の信号は走査線補間の処理で順次走査の信号Ｓ２に変換する。
【００７８】
スケーリング変換部３３は、直線補間特性の垂直ＮーＭ変換処理（Ｍ＜Ｎ）による垂直縮小の信号処理で、走査線数のＭ／Ｎ倍の縮小変換処理を行う。また、マルチウィンド表示のための画面サイズの拡大、縮小などの信号処理も行う。そして、スケーリング処理した順次走査の信号Ｓ１０を出力する。なお、この構成は従来技術で容易に実現することができるため、説明は省略する。
【００７９】
動き補正フレーム数変換部３２は、その構成が本発明の第１乃至第８の実施例によるもので、動き補正フレーム数変換処理を行い、出力に動き補正フレーム内挿でフレーム数をアップした順次走査の信号Ｓ１１を得る。
【００８０】
一方、飛び越し走査の信号Ｓ１２は、ＰＩ変換部３４で走査線の２：１の間引き処理による順次−飛び越し走査の変換を行うことで生成する。
【００８１】
図２０に示す第３の実施例は、図１８の第１の実施例におけるＰＩ変換部３４を省略した構成、図２１に示す第４の実施例は図１９の第２の実施例におけるＰＩ変換部３４を省略した構成で実現する。なお、これら実施例の動作は第１、第２の実施例と同様なため、説明は省略する。
【００８２】
以上に述べた画像信号のフォーマット変換処理装置の第１乃至第４の実施例によれば、各種ＴＶ方式の信号やパソコンなどの画像信号を各種形態のディスプレイに表示するための画像フォーマット変換を、高画質、低コストで実現できる。そして、多種多様な入出力に柔軟に対応するテレビジョン受像機やパソコンなどの情報メディア機器の低コスト化、高画質化に顕著な効果を得る。
【００８３】
【発明の効果】
本発明によれば、画質劣化を簡単な信号処理で抑圧することができ、高画質かつ低コストの画像信号の方式変換方法および装置を実現することができる。
【図面の簡単な説明】
【図１】本発明に係る方式変換装置の第１の実施例を示すブロック構成図である。
【図２】動き補正内挿フレーム生成部の第１の構成例を示す図である。
【図３】制御信号生成部と選択部における動作概略を示す図である。
【図４】動き補正内挿フレーム生成部の第２の構成例を示す図である。
【図５】制御信号生成部と選択部における動作概略を示す図である。
【図６】ブロック単位動きベクトル探索部の一構成例を示す図である。
【図７】ブロック単位動きベクトル探索の信号処理フローチャートを示す図である。
【図８】画素単位動きベクトル生成部の一構成例を示す図である。
【図９】画素単位動きベクトル生成の信号処理フローチャートを示す図である。
【図１０】本発明に係る方式変換装置の第２の実施例を示すブロック構成図である。
【図１１】本発明に係る方式変換装置の第３の実施例を示すブロック構成図である。
【図１２】（ａ）〜（ｄ）はそれぞれフレームレートアップの信号処理動作を示す概略図である。
【図１３】本発明に係る方式変換装置の第４の実施例を示すブロック構成図である。
【図１４】本発明に係る方式変換装置の第５の実施例を示すブロック構成図である。
【図１５】本発明に係る方式変換装置の第６の実施例を示すブロック構成図である。
【図１６】本発明に係る方式変換装置の第７の実施例を示すブロック構成図である。
【図１７】本発明に係る方式変換装置の第８の実施例を示すブロック構成図である。
【図１８】画像フォーマット変換の第１の実施例を示すブロック構成図である。
【図１９】画像フォーマット変換の第２の実施例を示すブロック構成図である。
【図２０】画像フォーマット変換の第３の実施例を示すブロック構成図である。
【図２１】画像フォーマット変換の第４の実施例を示すブロック構成図である。
【図２２】（ａ）〜（ｃ）はそれぞれ動き補正フレームレート変換の内挿フレーム信号生成を示す動作概略図である。
【図２３】本発明における動き補正内挿フレーム生成のフローチャートを示す図である。
【図２４】（ａ）、（ｂ）はそれぞれ本発明における内挿フレーム信号生成の概略を示す図である。
【符号の説明】
１ ＩＰ変換部
２ 動き補正フレーム数変換部
３ １フレーム遅延部
４ 動き検出部
５ ブロック単位動きベクトル探索部
６ 画素単位動きベクトル生成部
７ 動き補正内挿フレーム生成部
８ 現フレーム動き補正信号生成部
９ 前フレーム動き補正信号生成部
１０ 動き補正ベクトル生成部
１１ 動き補正信号設定部
１２ 加算部
１３ 減算部
１４ 制御信号生成部
１５ 選択部
１６ 時系列変換部
Claims (13)
- 画像信号の現フレームの信号と前フレームの信号から画像の動きを検出する工程と、
前記動きを検出する工程により動きを検出しないブロックにはブロック単位動きベクトルとして０を割り当て、動きを検出したブロックには１フレーム期間での動きベクトルのうち最少の動き補正誤差を有するものをブロック単位動きベクトルとして割り当てるブロック単位動きベクトルを生成する工程と、
前記動きを検出する工程により動きを検出しない画素には画素単位動きベクトルとして０を割り当て、動きを検出した画素には前記ブロック単位の動き補正誤差が閾値未満のときはブロック内の画素に前記ブロック単位動きベクトルを割り当て、閾値以上のときは現ブロックと隣接ブロックの動きベクトルを用いて前記ブロックを縮小したミニブロックを内包する算出領域のうち最少の動き補正誤差を有するものを画素単位動きベクトルとして割り当てる画素単位動きベクトルを生成する工程と、
現フレームの信号を第１の動き補正ベクトルで位置を移動させて生成する第１の動き補正信号と前フレームの信号を第２の動き補正ベクトルで位置を移動させて生成する第２の動き補正信号との絶対値差分成分が閾値未満の場合は、前記第１の動き補正信号と第２の動き補正信号の平均値である画像信号の第１の内挿フレームを用い、閾値以上の場合は、現フレームと前フレームのうち時間的距離が近いフレームである第２の内挿フレームを用いて、画像信号のフレーム数を変換する工程とを備え、
前記第１の動き補正ベクトルは、前記画素単位動きベクトルと、前記第１の内挿フレームと現フレームとの時間的距離に関する係数との乗算により生成され、前記第２の補正ベクトルは前記画素単位動きベクトルと前記第１の内挿フレームと前フレームとの時間的距離に関する係数との乗算により生成されることを特徴とする画像信号の方式変換方法。 - 前記絶対値差分成分は、前記２つの動き補正信号の輝度信号成分の差分、又は輝度信号成分及び色差信号成分の差分により求められるものであることを特徴とする請求項１記載の画像信号の方式変換方法。
- 前記画像信号のフレーム数を変換する工程は、画像信号の前記画素単位動きベクトルの速度の絶対値成分を検出する工程を備え、前記第１の内挿フレームを用いたフレーム内挿処理の動作は前記画素単位動きベクトルの速度の絶対値成分が設定値未満であることを検出した場合に限って行うことを特徴とする請求項１記載の画像信号の方式変換方法。
- 前記画像信号のフレーム数を変換する工程は、１フレーム期間における動き検出領域の累積値でシーンチェンジを検出する工程を備え、シーンチェンジを検出したフレームでは、前記第１の内挿フレームを用いたフレーム内挿処理の動作を中止し、現フレームの信号もしくは前フレームの信号で内挿フレームの信号を生成する動作を行うことを特徴とする請求項１記載の画像信号の方式変換方法。
- 前記画像信号のフレーム数を変換する工程は、画像信号の前記画素単位動きベクトルの速度の絶対値成分を検出する工程と、１フレーム期間における動き検出領域の累積値でシーンチェンジを検出する工程とを備え、前記画素単位動きベクトルの速度の絶対値成分が設定値未満であることを検出した場合には前記第１の内挿フレームを用いた動き補正のフレーム内挿処理の動作を行い、シーンチェンジを検出したフレームでは、前記第１の内挿フレームを用いた動き補正のフレーム内挿処理の動作を中止し、現フレームの信号もしくは前フレームの信号で内挿フレームの信号を生成する動作を行うことを特徴とする請求項１記載の画像信号の方式変換方法。
- 画像信号の現フレームの信号と前フレームの信号から画像の動きを検出する動き検出部と、
前記動きを検出する工程により動きを検出しないブロックにはブロック単位動きベクトルとして０を割り当て、動きを検出したブロックには１フレーム期間での動きベクトルのうち最少の動き補正誤差を有するものをブロック単位動きベクトルとして割り当てるブロック単位動きベクトルを探索するブロック単位動きベクトル探索部と、
前記動きを検出する工程により動きを検出しない画素には画素単位動きベクトルとして０を割り当て、動きを検出した画素には前記ブロック単位の動き補正誤差が閾値未満のときはブロック内の画素に前記ブロック単位動きベクトルを割り当て、閾値以上のときは現ブロックと隣接ブロックの動きベクトルを用いて前記ブロックを縮小したミニブロックを内包する算出領域のうち最少の動き補正誤差を有するものを画素単位動きベクトルとして割り当てる画素単位動きベクトルを生成する画素単位動きベクトル生成部と、
現フレームの信号を第１の動き補正ベクトルで位置を移動させて生成する第１の動き補正信号と前フレームの信号を第２の動き補正ベクトルで位置を移動させて生成する第２の動き補正信号との絶対値差分成分が閾値未満の場合は、前記第１の動き補正信号と第２の動き補正信号の平均値である画像信号の第１の内挿フレームを用い、閾値以上の場合は、現フレームと前フレームのうち時間的距離が近いフレームである第２の内挿フレームを用いて、画像信号のフレーム数を変換する動き補正内挿フレーム生成部とを備え、
前記第１の動き補正ベクトルは、前記画素単位動きベクトルと、前記第１の内挿フレームと現フレームとの時間的距離に関する係数との乗算により生成され、前記第２の補正ベクトルは前記画素単位動きベクトルと前記第１の内挿フレームと前フレームとの時間的距離に関する係数との乗算により生成されることを特徴とする画像信号の方式変換装置。 - 前記絶対値差分成分は、前記２つの動き補正信号の輝度信号成分の差分、又は輝度信号成分及び色差信号成分の差分により求められるものであることを特徴とする請求項６記載の画像信号の方式変換装置。
- 前記動き補正内挿フレーム生成部は、画像信号の前記画素単位動きベクトルの速度の絶対値成分を検出する動き速度検出部を備え、前記第１の内挿フレームを用いたフレーム内挿処理の動作は前記画素単位動きベクトルの速度の絶対値成分が設定値未満であることを検出した場合に限って行うことを特徴とする請求項６記載の画像信号の方式変換装置。
- 前記動き補正内挿フレーム生成部は、１フレーム期間における動き検出領域の累積値でシーンチェンジを検出するシーンチェンジ検出部を備え、シーンチェンジを検出したフレームでは、前記第１の内挿フレームを用いたフレーム内挿処理の動作を中止し、現フレームの信号もしくは前フレームの信号で内挿フレームの信号を生成する動作を行うことを特徴とする請求項６記載の画像信号の方式変換装置。
- 前記動き補正内挿フレーム生成部は、画像信号の前記画素単位動きベクトルの速度の絶対値成分を検出する動き速度検出部と、１フレーム期間における動き検出領域の累積値でシーンチェンジを検出するシーンチェンジ検出部とを備え、前記動き速度検出部で前記画素単位動きベクトルの速度の絶対値成分が設定値未満であることを検出した場合には前記第１の内挿フレームを用いた動き補正のフレーム内挿処理の動作を行い、前記シーンチェンジ検出部でシーンチェンジを検出したフレームでは、前記第１の内挿フレームを用いた動き補正のフレーム内挿処理の動作を中止し、現フレームの信号もしくは前フレームの信号で内挿フレームの信号を生成する動作を行うことを特徴とする請求項６記載の画像信号の方式変換装置。
- 前記ブロック単位動きベクトル探索部は、ＭＰＥＧ符号化された画像信号において、動きが検出された動画ブロックに対しては、ＭＰＥＧ符号化で送られる動きベクトル情報をもとにブロック単位動きベクトルを生成することを特徴とする請求項６記載の画像信号の方式変換装置。
- 前記画素単位動きベクトル生成部は、動き補正誤差の算出を画像信号の輝度信号成分を用いて行うことを特徴とする請求項６記載の画像信号の方式変換装置。
- 前記画素単位動きベクトル生成部は、動き補正誤差の算出を画像信号の輝度信号成分および色成分を用いて行うことを特徴とする請求項６記載の画像信号の方式変換装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29030797A JP4083265B2 (ja) | 1997-10-07 | 1997-10-07 | 画像信号の方式変換方法および装置 |
| EP98118653A EP0909092A3 (en) | 1997-10-07 | 1998-10-02 | Method and apparatus for video signal conversion |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29030797A JP4083265B2 (ja) | 1997-10-07 | 1997-10-07 | 画像信号の方式変換方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11112939A JPH11112939A (ja) | 1999-04-23 |
| JP4083265B2 true JP4083265B2 (ja) | 2008-04-30 |
Family
ID=17754422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29030797A Expired - Fee Related JP4083265B2 (ja) | 1997-10-07 | 1997-10-07 | 画像信号の方式変換方法および装置 |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP0909092A3 (ja) |
| JP (1) | JP4083265B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8432488B2 (en) | 2009-04-23 | 2013-04-30 | Panasonic Corporation | Video processing apparatus and video processing method |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6731818B1 (en) * | 1999-06-30 | 2004-05-04 | Realnetworks, Inc. | System and method for generating video frames |
| JP3596520B2 (ja) * | 2001-12-13 | 2004-12-02 | ソニー株式会社 | 画像信号処理装置及び方法 |
| JP3898606B2 (ja) | 2002-09-12 | 2007-03-28 | 株式会社東芝 | 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置 |
| US7425990B2 (en) * | 2003-05-16 | 2008-09-16 | Sony Corporation | Motion correction device and method |
| JP4611666B2 (ja) * | 2003-06-02 | 2011-01-12 | 三星電子株式会社 | 走査変換装置及び走査変換方法 |
| GB2412807A (en) * | 2004-04-02 | 2005-10-05 | Snell & Wilcox Ltd | Video processing to reduce program length |
| JP4512982B2 (ja) * | 2004-04-09 | 2010-07-28 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| EP1610560A1 (en) * | 2004-06-24 | 2005-12-28 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for generating and for decoding coded picture data |
| JP4359223B2 (ja) | 2004-10-29 | 2009-11-04 | 株式会社 日立ディスプレイズ | 映像補間装置とこれを用いたフレームレート変換装置，映像表示装置 |
| JP4396496B2 (ja) | 2004-12-02 | 2010-01-13 | 株式会社日立製作所 | フレームレート変換装置、及び映像表示装置、並びにフレームレート変換方法 |
| EP1825457B1 (en) | 2004-12-15 | 2009-08-12 | THOMSON Licensing | Method and apparatus for processing video image signals |
| KR100755688B1 (ko) | 2005-02-02 | 2007-09-05 | 삼성전자주식회사 | 에러 은닉 장치 및 방법 |
| JP4961800B2 (ja) * | 2006-03-31 | 2012-06-27 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| US8472524B2 (en) * | 2006-04-03 | 2013-06-25 | Intel Corporation | Motion compensated frame rate conversion with protection against compensation artifacts |
| FR2907301A1 (fr) * | 2006-10-12 | 2008-04-18 | Thomson Licensing Sas | Procede d'interpolation d'une image compensee en mouvement et dispositif pour la mise en oeuvre dudit procede |
| JP4844370B2 (ja) | 2006-12-04 | 2011-12-28 | 株式会社日立製作所 | フレームレート変換装置及び表示装置 |
| JP4950653B2 (ja) | 2006-12-25 | 2012-06-13 | 株式会社東芝 | 画像表示装置、画像信号処理装置、及び画像信号処理方法 |
| CN101543053B (zh) * | 2007-02-07 | 2011-07-06 | 索尼株式会社 | 图像处理设备，成像设备，图像处理方法 |
| WO2008102826A1 (ja) * | 2007-02-20 | 2008-08-28 | Sony Corporation | 画像表示装置、映像信号処理装置および映像信号処理方法 |
| JP5029112B2 (ja) * | 2007-04-13 | 2012-09-19 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| JP5023780B2 (ja) * | 2007-04-13 | 2012-09-12 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
| EP2012532A3 (en) * | 2007-07-05 | 2012-02-15 | Hitachi Ltd. | Video displaying apparatus, video signal processing apparatus and video signal processing method |
| JP5142373B2 (ja) * | 2007-11-29 | 2013-02-13 | パナソニック株式会社 | 再生装置 |
| KR101524062B1 (ko) * | 2008-07-30 | 2015-06-01 | 삼성전자주식회사 | 영상신호 처리장치 및 그 방법 |
| JP4931884B2 (ja) * | 2008-09-04 | 2012-05-16 | 独立行政法人科学技術振興機構 | フレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラム |
| US20100135395A1 (en) * | 2008-12-03 | 2010-06-03 | Marc Paul Servais | Efficient spatio-temporal video up-scaling |
| EP2374278B1 (fr) * | 2008-12-19 | 2018-05-30 | Thomson Licensing DTV | Codage video base sur la compensation de mouvement global |
| FR2940576A1 (fr) * | 2008-12-19 | 2010-06-25 | Thomson Licensing | Procede de codage video base sur la compensation de mouvement global et dispositifs apparentes |
| US20100260255A1 (en) * | 2009-04-13 | 2010-10-14 | Krishna Sannidhi | Method and system for clustered fallback for frame rate up-conversion (fruc) for digital televisions |
| JP2013165488A (ja) | 2012-01-11 | 2013-08-22 | Panasonic Corp | 画像処理装置、撮像装置、およびプログラム |
| JP2016048810A (ja) * | 2013-01-24 | 2016-04-07 | パナソニック株式会社 | フレームレート変換装置、及び、フレームレート変換方法 |
| CN114501137B (zh) * | 2022-01-25 | 2024-04-09 | 中铁七局集团第三工程有限公司 | 一种亲情耦合沉浸式安全教培视频模板系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2263602B (en) * | 1992-01-24 | 1995-06-21 | Sony Broadcast & Communication | Motion compensated video signal processing |
| GB2279844B (en) * | 1993-07-07 | 1997-04-30 | Sony Uk Ltd | Motion compensated image interpolation |
| EP0637889B1 (en) * | 1993-08-06 | 2001-01-17 | Lg Electronics Inc. | Device for converting the frame rate of an image |
-
1997
- 1997-10-07 JP JP29030797A patent/JP4083265B2/ja not_active Expired - Fee Related
-
1998
- 1998-10-02 EP EP98118653A patent/EP0909092A3/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8432488B2 (en) | 2009-04-23 | 2013-04-30 | Panasonic Corporation | Video processing apparatus and video processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11112939A (ja) | 1999-04-23 |
| EP0909092A2 (en) | 1999-04-14 |
| EP0909092A3 (en) | 2000-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4083265B2 (ja) | 画像信号の方式変換方法および装置 | |
| JP4563603B2 (ja) | 両方向動きベクトルを用いたフォーマット変換装置及びその方法 | |
| US5784114A (en) | Motion compensated video processing | |
| EP0883298A2 (en) | Conversion apparatus for image signals and TV receiver | |
| CN100417188C (zh) | 块模式自适应运动补偿 | |
| JP4083266B2 (ja) | 動きベクトルの生成方法および装置 | |
| JP4092778B2 (ja) | 画像信号の方式変換装置及びテレビジョン受像機 | |
| US5444493A (en) | Method and apparatus for providing intra-field interpolation of video signals with adaptive weighting based on gradients of temporally adjacent fields | |
| KR20060047595A (ko) | 적응 시간적인 예측을 채용하는 움직임 벡터 추정 | |
| KR20060047556A (ko) | 필름 모드 검출 방법과, 필름 모드 검출기와, 움직임 보상방법 및 움직임 보상기 | |
| US8355442B2 (en) | Method and system for automatically turning off motion compensation when motion vectors are inaccurate | |
| JP4119092B2 (ja) | 画像信号のフレーム数変換方法および装置 | |
| US6930728B2 (en) | Scan conversion apparatus | |
| JP4092773B2 (ja) | 画像信号のフレーム数変換方法および装置 | |
| JP3293561B2 (ja) | 画像表示装置及び画像表示方法 | |
| US8345148B2 (en) | Method and system for inverse telecine and scene change detection of progressive video | |
| KR100968642B1 (ko) | 비월된 비디오 신호로부터 움직임 벡터를 계산하기 위한 방법 및 보간 디바이스와, 보간 디바이스를 포함하는 디스플레이 디바이스와, 컴퓨터 판독가능 매체 | |
| JP2000259146A (ja) | 画像表示装置 | |
| JP4222090B2 (ja) | 動画像時間軸補間方法及び動画像時間軸補間装置 | |
| JP3898546B2 (ja) | 画像走査変換方法及び装置 | |
| JP2004320278A (ja) | 動画像時間軸補間方法及び動画像時間軸補間装置 | |
| JP4179089B2 (ja) | 動画像補間用動き推定方法及び動画像補間用動き推定装置 | |
| US7944504B2 (en) | Apparatus for interpolating scanning lines | |
| KR100850710B1 (ko) | 위상 정정 필드를 이용한 적응적 디-인터레이싱 방법 및그 장치와, 이를 구현하기 위한 프로그램이 기록된 기록매체 | |
| JP3022977B2 (ja) | テレビジョン信号内挿方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041005 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070724 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080118 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080213 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130222 Year of fee payment: 5 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| LAPS | Cancellation because of no payment of annual fees |