JP3937247B2 - Still image data generating apparatus and still image data generating method - Google Patents

Still image data generating apparatus and still image data generating method Download PDF

Info

Publication number
JP3937247B2
JP3937247B2 JP01729396A JP1729396A JP3937247B2 JP 3937247 B2 JP3937247 B2 JP 3937247B2 JP 01729396 A JP01729396 A JP 01729396A JP 1729396 A JP1729396 A JP 1729396A JP 3937247 B2 JP3937247 B2 JP 3937247B2
Authority
JP
Japan
Prior art keywords
block
image data
frame
residual
still image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP01729396A
Other languages
Japanese (ja)
Other versions
JPH09214976A (en
Inventor
森本　　直樹
英彦 森貞
誠 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP01729396A priority Critical patent/JP3937247B2/en
Publication of JPH09214976A publication Critical patent/JPH09214976A/en
Application granted granted Critical
Publication of JP3937247B2 publication Critical patent/JP3937247B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color Television Systems (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、静止画像データ生成装置および静止画像データ生成方法に関し、特に、インタレースの動画像データより静止画像データを生成するとき、所定のフレームのブロックと前後のフレームの対応するブロックとで規定される差分絶対値の総和と、動きベクトルにより、動画ブロックまたは静止画ブロックの正確な判定を行い、良質の静止画像データを生成するようにした静止画像データ生成装置および静止画像データ生成方法に関する。
【０００２】
【従来の技術】
従来より、インタレースの動画像データより静止画像データを生成することが行われている。
【０００３】
インタレースの動画像データより静止画像データを生成する場合、動画像データの所定のフレームのデータを、そのまま用いて静止画像データを生成すると、１つのフレームを構成する２つのフィールドの走査に時間的な隔たり（ＮＴＳＣ方式の場合、1/60秒）があるため、生成された静止画像のうち、その間に移動する動画部分には、ぶれが生ずる。
【０００４】
そこで、１つのフレームを構成する画素を所定の数の画素からなるブロックに分割し、そのブロックの単位で、動画ブロックまたは静止画ブロックの判定を行うようにする。動画ブロックと静止画ブロックの判定は、１つのフレームを構成する２つのフィールド間で、対応するブロック同士を比較し、その差分が所定値以上であれば、動画ブロックであると判定し、所定値未満であれば、静止画ブロックであると判定するようにする。そして、動画ブロックにおいては、１つのフレームを構成する２つのフィールドデータのうち、一方のフィールドデータのみを用いてブロック内の静止画像データを生成し、静止画ブロックにおいては、１つのフレームを構成する両方のフィールドデータを用いてブロック内の静止画像データを生成するようにする。
【０００５】
このようにすることで、インタレースの動画像データより、動画像の動きに起因するぶれを抑制した静止画像データを生成することができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の動画ブロックと静止画ブロックの判定方法においては、特に、静止画ブロックの空間的な変化量が大きい場合、例えば、ブロック内で隣接する画素の画素値が急激に変化するような高域成分の多い静止画ブロックの場合、そのブロックに対応する２つのフィールドデータ間に所定値以上の差分が生ずるため、静止画ブロックを動画ブロックと誤認し易い課題があった。
【０００７】
また、上述したように、静止画ブロックの静止画は２つのフィールドデータを用いて生成され、動画ブロックの静止画は一方のフィールドデータを用いて生成されるため、静止画ブロックと動画ブロックとの境界において、解像度が不連続となり、その結果、静止画ブロックと動画ブロックとの境界は不自然な画像となる課題があった。
【０００８】
さらに、上述の処理を行う画像処理装置を実現する場合、静止画ブロックと動画ブロックとの判定を行うための回路が必要となり、構成が複雑化し、装置が大型化するとともに、低コストでの実現が困難である課題があった。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、所定のフレームとその前後のフレームのインタレース動画像データを用いて、動画ブロックと静止画ブロックのより正確な判定を行い、良質の静止画像データを生成するようにした静止画像データ生成装置を実現するものである。
【００１０】
【課題を解決するための手段】
請求項１に記載の静止画像データ生成装置は、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積する蓄積手段と、蓄積手段に蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算する計算手段と、計算手段により計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定する判定手段と、判定に基づいて静止画像データを生成する生成手段とを備えることを特徴とする。
【００１１】
請求項３に記載の静止画像データ生成方法は、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定し、判定に基づいて静止画像データを生成することを特徴とする。
【００１２】
請求項４に記載の静止画像データ生成装置は、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積する蓄積手段と、蓄積手段に蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算する計算手段と、計算手段により計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定する判定手段と、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数を用いて、所定のフレームを構成する２つのフィールドのうちの１つのフィールドの各画素値の補間画像データを、静止画像データとして生成する生成手段とを備えることを特徴とする。
請求項５に記載の静止画像データ生成方法は、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定し、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数を用いて、所定のフレームを構成する２つのフィールドのうちの１つのフィールドの各画素値の補間画像データを、静止画像データとして生成することを特徴とする。
請求項６に記載の静止画像データ生成装置は、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積する蓄積手段と、蓄積手段に蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算する計算手段と、計算手段により計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定する判定手段と、所定のフレームの１つのフィールドの各画素を対象画素とし、対象画素がフレームの最下ラインの画素であるとき、最下ラインの１つ上のラインの画素が、最下ラインの１つ下のラインに位置するものとして、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数と、対象画素が位置するラインの１つ上のラインおよび１つ下のラインに位置する画素の画素値とを用いて、各対象画素の画素値の補間画像データを、静止画像データとして生成する生成手段とを備えることを特徴とする。
請求項７に記載の静止画像データ生成方法は、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定し、所定のフレームの１つのフィールドの各画素を対象画素とし、対象画素がフレームの最下ラインの画素であるとき、最下ラインの１つ上のラインの画素が、最下ラインの１つ下のラインに位置するものとして、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数と、対象画素が位置するラインの１つ上のラインおよび１つ下のラインに位置する画素の画素値とを用いて、各対象画素の画素値の補間画像データを、静止画像データとして生成することを特徴とする。
【００１６】
請求項１に記載の静止画像データ生成装置においては、蓄積手段が、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、計算手段が、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、判定手段が、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定し、生成手段が、判定に基づいて静止画像データを生成する。例えば、判定手段により、ブロックが動画ブロックと判定されたとき、生成手段に、一方のフィールドデータを基に対応する補間画像データを生成させ、静止画ブロックと判定されたとき、両方のフィールドデータを基に対応する補間画像データを生成させることができる。
【００１７】
請求項３に記載の静止画像データ生成方法においては、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとが蓄積され、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルが計算され、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックが動画ブロックと判定され、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定され、判定に基づいて静止画像データが生成される。例えば、ブロックが動画ブロックと判定されたとき、一方のフィールドデータを基に対応する補間画像データが生成され、静止画ブロックと判定されたとき、両方のフィールドデータを基に対応する補間画像データが生成される。
【００１８】
請求項４に記載の静止画像データ生成装置においては、蓄積手段が、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、計算手段が、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、判定手段が、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定し、生成手段が、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数を用いて、所定のフレームを構成する２つのフィールドのうちの１つのフィールドの各画素値の補間画像データを、静止画像データとして生成する。例えば、動画ブロックから静止画ブロックに近づくに従い、一方のフィールドデータを用いて生成した補間画像データから、両方のフィールドデータを用いて生成した補間画像データに、段階的に移行させた補間画像データを生成手段に生成させることができる。
請求項５に記載の静止画像データ生成方法においては、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとが蓄積され、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルが計算され、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックが動画ブロックと判定され、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定され、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数を用いて、所定のフレームを構成する２つのフィールドのうちの１つのフィールドの各画素値の補間画像データが、静止画像データとして生成される。
請求項６に記載の静止画像データ生成装置においては、蓄積手段が、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、計算手段が、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、判定手段が、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定し、生成手段が、所定のフレームの１つのフィールドの各画素を対象画素とし、対象画素がフレームの最下ラインの画素であるとき、最下ラインの１つ上のラインの画素が、最下ラインの１つ下のラインに位置するものとして、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数と、対象画素が位置するラインの１つ上のラインおよび１つ下のラインに位置する画素の画素値とを用いて、各対象画素の画素値の補間画像データを、静止画像データとして生成する。
請求項７に記載の静止画像データ生成方法においては、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとが蓄積され、蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルが計算され、計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックが動画ブロックと判定され、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定され、所定のフレームの１つのフィールドの各画素を対象画素とし、対象画素がフレームの最下ラインの画素であるとき、最下ラインの１つ上のラインの画素が、最下ラインの１つ下のラインに位置するものとして、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数と、対象画素が位置するラインの１つ上のラインおよび１つ下のラインに位置する画素の画素値とを用いて、各対象画素の画素値の補間画像データが、静止画像データとして生成される。
【００２２】
【発明の実施の形態】
以下に本発明の実施例を説明するが、特許請求の範囲に記載の各手段と以下の実施例との対応関係を明かにするために、各手段の後の括弧内に、対応する実施例（但し一例）を付加して本発明の特徴を記述すると、次のようになる。但し、勿論この記載は、各手段を記載したものに限定することを意味するものではない。
【００２３】
請求項１に記載の静止画像データ生成装置は、インタレースの動画像データより所定の静止画像データを生成する静止画像データ生成装置において、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積する蓄積手段（例えば、図１のフレームメモリ１１）と、蓄積手段に蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算する計算手段（例えば、図１の動き検出回路１７）と、計算手段により計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定する判定手段（例えば、図１の動画静止画判定装置２０）と、判定に基づいて静止画像データを生成する生成手段（例えば、図１の補間画像生成装置１３）とを備えることを特徴とする。
【００２４】
請求項４に記載の静止画像データ生成装置は、インタレースの動画像データより所定の静止画像データを生成する静止画像データ生成装置において、動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積する蓄積手段（例えば、図１のフレームメモリ１１）と、蓄積手段に蓄積された所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算する計算手段（例えば、図１の動き検出回路１７）と、計算手段により計算された第１の残差と第２の残差のうちの何れかが所定の基準値より大きい場合、所定のフレームを構成するブロックを動画ブロックと判定し、第１の残差、第２の残差、および動きベクトルのうちの何れもが所定の基準値以下である場合、静止画ブロックと判定する判定手段（例えば、図１の動画静止画判定装置２０）と、判定に対応して、動画ブロックと静止画ブロックとの境界近傍において段階的に変化する補間係数を用いて、所定のフレームを構成する２つのフィールドのうちの１つのフィールドの各画素値の補間画像データを、静止画像データとして生成する生成手段（例えば、図２の境界判定・係数切換回路３２）とを備えることを特徴とする。
【００２６】
図１は本発明の静止画像データ生成装置を応用した画像圧縮記録システムの一実施例の構成を示すブロック図である。
【００２７】
画像入力装置１は、例えば、放送用ビデオテープレコーダと、その出力信号をＡ-Ｄ(アナログ-デジタル）変換する装置とから構成され、デジタル化した画像信号を前処理装置２に出力するようになされている。
【００２８】
前処理装置２は、画像入力装置１より入力された画像信号に対し、サンプリング数や毎秒のフレーム数を所定の値にする解像度変換と、符号化すべき画素を限定する画素数変換を行い、画像圧縮装置３に出力するようになされている。
【００２９】
画像圧縮装置３は、前処理装置２から入力されるインタレースの動画像データを、所定の圧縮動画像データや圧縮静止画像データに圧縮符号化した後、ビデオＣＤ(Compact Disc)、ＤＶＤ(Digital Video Disc)などの記録媒体にデジタル映像信号を記録する記録装置４に出力するようになされている。
【００３０】
画像圧縮装置３の制御回路２３は、前処理装置２より入力される動画像データから圧縮静止画像データを生成する場合（図示せぬ装置から静止画生成指令の入力を受けた場合）、スイッチ２４を端子b側に切り換えるようになされている。また、制御回路２３は、圧縮動画像データを生成する場合、動き補償を行わない圧縮動画像データ（Iピクチャのデータ）を検知したとき、スイッチ２４を端子b側に切り換え、動き補償を行う圧縮動画像データ（PピクチャまたはBピクチャのデータ）を検知したとき、端子a側に切り換えるようになされている。
【００３１】
フレームメモリ１１は、前処理装置２より画像圧縮装置３に入力される動画像データをフレーム単位で、この実施例の場合３フレーム分、蓄積し、適宜、動き検出回路１７と残差検出回路１８に出力するようになされている。
【００３２】
引き算回路１２は、前処理装置２より入力される動画像データから、スイッチ２４を介して入力されるデータ（予測画像データ（スイッチ２４の端子aから供給されるデータ）または零データ（スイッチ２４の端子bから供給されるデータ））を減じ、予測誤差データとして補間画像生成装置１３に出力するようになされている。
【００３３】
補間画像生成装置１３は、圧縮静止画像データを生成する場合、動画静止画判定装置２０から供給されるブロック毎に判定された動画ブロックまたは静止画ブロックの判定結果に対応する補間画像データを生成し、ＤＣＴ(Discrete Cosine Transform)回路１４に出力するようになされている。また、補間画像生成装置１３は、圧縮動画像データを生成する場合（圧縮静止画像データを生成しない場合）、引き算回路１２より入力される予測誤差データを、そのまま（特に処理せずに）ＤＣＴ回路１４に出力するようになされている。
【００３４】
ＤＣＴ回路１４は、補間画像生成装置１３より入力された画像データに対して２次元ＤＣＴ（離散コサイン変換）を施して、冗長性を除去し、一部分の周波数成分にエネルギー集中させた後、量子化回路１５に出力するようになされている。
【００３５】
量子化回路１５は、ＤＣＴ回路１４が出力するＤＣＴ係数を量子化し、可変長符号化回路１６と逆量子化回路２１に出力するようになされている。
【００３６】
可変長符号化回路１６は、量子化回路１５より供給された量子化代表値または量子化代表ベクトルの出現確率を基に、平均的な符号長が短くなるように符号割当を行い、記録装置４に出力するようになされている。
【００３７】
逆量子化回路２１と、逆ＤＣＴ回路２２は、それぞれ、量子化回路１５とＤＣＴ回路１４と逆の変換処理を行うようになされており、量子化回路１５より入力される量子化画像データは、逆量子化回路２１で逆量子化され、さらに逆ＤＣＴ回路２２で逆離散コサイン変換が施された後、足し算回路２５に入力されるようになされている。
【００３８】
動き検出回路１７は、フレームメモリ１１から入力される所定のフレームデータを基に、動きベクトルと動き補償後の残差（差分絶対値の総和）を計算し、動き補償回路１９と動画静止画判定装置２０に出力するようになされている。
【００３９】
動き補償回路１９は、フレームメモリ２６より読み込んだ、１つ前のフレームの画像データを、動き検出回路１７より入力される動きベクトルに基づいて、動き補償を施し、予測画像データを生成し、スイッチ２４の端子ａを介して引き算回路１２に出力するとともに、足し算回路２５に出力するようになされている。
【００４０】
足し算回路２５は、動き補償回路１９から入力された予測画像データに、逆ＤＣＴ回路２２から入力される予測誤差データを加え、フレームメモリ２６に記憶させるようになされている。
【００４１】
残差検出回路１８は、フレームメモリ１１より入力されるフレームデータを基に、所定のフレームを構成するブロック毎に残差を求め、動画静止画判定装置２０に出力するようになされている。
【００４２】
動画静止画判定装置２０は、動き検出回路１７から供給される動きベクトルおよび動き補償後の残差の情報と、残差検出回路１８から供給される残差情報を基に、処理対象のフレームを構成するブロック毎に動画または静止画の判定を行い、その判定結果を補間画像生成装置１３に出力するようになされている。
【００４３】
図２は、補間画像生成装置１３の一実施例の構成を示すブロック図である。
【００４４】
境界判定・係数切換回路３２は、動画静止画判定装置２０から供給される判定情報を基に、補間画像データを生成するとき用いられる補間係数を決定し、フィルタ演算回路３１に出力するようになされている。
【００４５】
フィルタ演算回路３１は、この補間係数を基に、引き算回路１２より入力される画像データから補間画像データを生成することにより、対応する静止画像データ生成し、ＤＣＴ回路１４に出力するようになされている。
【００４６】
次に、図３のフローチャートを参照して図１の画像圧縮記録システムの処理動作について説明する。
【００４７】
図３のステップＳ１で、画像入力装置１は、ビデオテープなどより再生した画像信号をデジタル化した後、前処理装置２に出力する。前処理装置２はこの画像信号を、所定の値のサンプリング数、フレーム数、および画素数の動画像データに変換し、画像圧縮装置３に出力する。このようにして、例えば、水平方向が704画素、垂直方向が480画素からなる輝度データと、水平方向が352画素、垂直方向が240画素からなる色差データが、画像圧縮装置３に入力される。
【００４８】
今、Iピクチャデータが画像圧縮装置３に入力されたものとする。
【００４９】
続くステップＳ２で、制御回路２３は、この動画像データより圧縮静止画像データを生成するか否かを判断する。図示せぬ装置より、静止画生成指令が入力されていないとき（圧縮動画像データを生成することが指令されているとき）、このステップでＮＯの判定がなされ、ステップＳ３に分岐する。ステップＳ３で、制御回路２３は、今、前処理装置２より入力されている画像データが、動き補償を行う画像データ（PピクチャまたはBピクチャのデータ）であるか否かを判断する。今の場合、Iピクチャのデータが入力されたので、ＮＯの判定がなされ、ステップＳ４で、制御回路２３は、スイッチ２４を端子ｂに接続する。
【００５０】
続くステップＳ５で、前処理装置２より入力された動画像データは、引き算回路１２により、スイッチ２４から入力された信号が減じられ、補間画像生成装置１３に出力される。今の場合、スイッチ２４は、他方の端子が接地された端子ｂに接続されているため、スイッチ２４から入力される信号は零であり、前処理装置２から入力された動画像データは、実質的に、そのまま、補間画像生成装置１３に出力される。また、このとき、前処理装置２より入力された動画像データは、フレーム単位で、フレームメモリ１１に記憶される。
【００５１】
補間画像生成装置１３は、動画像データから、所定の圧縮静止画像データを生成する場合、動画静止画判定装置２０から供給される判定結果に基づいて、引き算回路１２から入力される動画像信号より、所定の静止画像データを生成するための補間画像データを生成し、ＤＣＴ回路１４に出力する。今の場合、動画像データから圧縮静止画像データを生成する処理ではないので、引き算回路１２より入力された動画像データが、そのままＤＣＴ回路１４に出力される。
【００５２】
この動画像信号は、ＤＣＴ回路１４で、離散コサイン変換が施され、エネルギーが一部の周波数成分に集中された後、量子化回路１５で、所定の量子化レベルに対応する値に各画素値またはその組み合わせによる値がまるめられ、可変長符号化回路１６に出力される。
【００５３】
可変長符号化回路１６は、量子化された画像データに対し、平均的な符号長が短くなるように符号化を行い、記録装置４に出力する。
【００５４】
続くステップＳ６で、記録装置４は、入力された圧縮画像データを記録媒体に記録する。
【００５５】
このようにして、画像入力装置１で生成された動画像データは、圧縮符号化され、記録媒体に記録される。
【００５６】
前処理装置２より入力された動画像データが動き補償を必要とする画像データ（PピクチャまたはBピクチャのデータ）である場合、ステップＳ３で、ＹＥＳの判定がなされ、後続のステップＳ７で、制御回路２３は、スイッチ２４を端子ａに接続する。
【００５７】
ステップＳ８で、フレームメモリ１１は、所定のフレームデータと、その前後のフレームデータを動き検出回路１７と残差検出回路１８に出力する。動き検出回路１７は、所定のフレームとその前のフレームデータを用いて、所定のフレームを構成するブロック（輝度データで16*16画素、色差データで8*8画素）に対し、動きベクトルを算出し、動き補償回路１９と動画静止画判定装置２０に出力する。
【００５８】
続く、ステップＳ９で、動き補償回路１９は、この動きベクトルを基に、フレームメモリ２６から供給される１つ前のフレームのデータに対して、動き補償を施して予測画像データを生成し、スイッチ２４を介して引き算回路１２に出力する。
【００５９】
後続のステップＳ１０で、引き算回路１２は、前処理装置２より入力された動画像データから動き補償回路１９より入力された予測画像データを減じ、補間画像生成装置１３に出力する。そして、今の場合、静止画像データを生成する処理ではないので、補間画像生成装置１３は、引き算回路１２より入力された画像データをそのままＤＣＴ回路１４に出力する。
【００６０】
その後、この動画像データは、ＤＣＴ回路１４で、離散コサイン変換され、量子化回路１５で、量子化された後、可変長符号化回路１６で、符号割当ての処理が施され、記録装置４に出力される。このとき、量子化回路１５で量子化された画像データは、逆量子化回路２１にも入力され、逆量子化され、逆ＤＣＴ回路２２で、逆離散コサイン変換された後（予測誤差データに変換された後）、足し算回路２５に出力される。足し算回路２５は、この予測誤差データに動き補償回路１９から入力される予測画像データを加え、フレームメモリ２６に記憶させる。
【００６１】
続く、ステップＳ６で、記録処理が実行され、記録媒体に画像データが記録される。このようにして、圧縮動画像データが記録媒体に記録される。
【００６２】
以上の処理は、従来の場合と同様の処理である。
【００６３】
今、前処理装置２より入力された動画像データから、圧縮静止画像データを生成することが指令されたものとする。この場合、ステップＳ２で、ＹＥＳの判定がなされ、ステップＳ１１で、制御回路２３は、スイッチ２４を端子ｂに接続する。
【００６４】
続く、ステップＳ１２で、フレームメモリ１１は、対象となるフレームデータとその前後のフレームデータを動き検出回路１７と残差検出回路１８に出力する。動き検出回路１７は、対象となるフレームのブロックとその後のフレーム（または前のフレームでもよい）の対応するブロックとで規定される動きベクトルを算出し、動き補償回路１９と動画静止画判定装置２０に出力する。また、動き検出回路１７は、動き補償後の残差を計算し、動画静止画判定装置２０に出力する。残差検出回路１８は、対象となるフレームのフィールドのブロック毎に、そのブロックとその前後のフレームの対応するフィールドのブロックとの残差を計算し、動画静止画判定装置２０に出力する。このとき、計算される残差Ｅの式を数１に示す。
【００６５】
【数１】

Figure 0003937247
【００６６】
数１において、ｎは、ブロック内の画素数であり、ｄ_o(i)は、所定のブロックiの画素の画素値であり、ｄ_r(i)は、それに対応するブロックiの画素の画素値である。すなわち、この実施例の場合、残差は、各画素の差分の絶対値の総和とされている。
【００６７】
ここで、ステップＳ１２で、計算される動きベクトルと、残差について、図４に示す図を参照して説明する。
【００６８】
図４は、対象フレームに対応する圧縮静止画像データの生成時に使用される動きベクトルと残差を計算するために必要な３つのフレームを表している。
【００６９】
対象フレームとその前後のフレームは、それぞれ２つのフィールドで構成されており、以後、それぞれ、topフィールドとbottomフィールドと称する。
【００７０】
bottom-bottom残差Ｅbは、対象フレームのbottomフィールドのブロックと前のフレームのbottomフィールド（対応するフィールド）の対応するブロックとで計算される残差である。
【００７１】
top-top残差Ｅtは、対象フレームのtopフィールドのブロックと後のフレームのtopフィールド（対応するフィールド）の対応するブロックとで計算される残差である。
【００７２】
bottom-top動きベクトルＢは、対象フレームのbottomフィールドのブロックと後のフレームのtopフィールド（対応しないフィールド）の対応する移動後のブロックとで計算される動きベクトルである。
【００７３】
未補償の残差Ｅ0は、対象フレームのbottomフィールドのブロックと後のフレームのtopフィールドの対応するブロックとで計算される残差である。
【００７４】
動き補償後の残差Ｅbtは、対象フレームのbottomフィールドのブロックを動き補償したブロックと後のフレームのtopフィールドの対応するブロックとで計算される残差である。
【００７５】
なお、bottom-top動きベクトルＢ、未補償の残差Ｅ0、および動き補償後の残差Ｅbtは、対象フレームと前のフレームとで規定されるものを用いるようにしてもよい。
【００７６】
続くステップＳ１３で、これらの計算結果が用られて、ブロックの動画または静止画の判定処理が行われる。
【００７７】
ここで、図３のステップＳ１３のサブルーチン処理の詳細を、図５のフローチャートを参照して説明する。
【００７８】
図５のステップＳ２１で、動画静止画判定装置２０は、ブロック毎に、top-top残差Ｅtが規準値Th1を超えている否かを判断する。そのブロックのtop-top残差Ｅtが規準値Th1を超えていると判断した場合、ステップＳ２２に分岐し、そのブロックは動画ブロックであると判定される。
【００７９】
また、ステップＳ２１で、動画静止画判定装置２０は、そのブロックのtop-top残差Ｅtが規準値Th1以下であると判断した場合、さらに、ステップＳ２３で、そのブロックのbottom-bottom残差Ｅbが規準値Th1を超えているか否かを判断する。動画静止画判定装置２０が、そのブロックのbottom-bottom残差Ｅbが規準値Th1を超えていると判断した場合、ステップＳ２２に分岐し、そのブロックは動画ブロックであると判定される。
【００８０】
ステップＳ２３で、そのブロックのbottom-bottom残差Ｅbが規準値Th1以下であると判断された場合、ステップＳ２４で、動画静止画判定装置２０は、動きベクトルＢの長さ（大きさ）Ｌが規準値Th2を超えているか否かを判断する。動きベクトルＢの長さＬが規準値Th2以下であると判断された場合、ステップＳ２６に分岐し、そのブロックは、静止画であると判定される。
【００８１】
ステップＳ２４で、動きベクトルＢの長さＬが規準値Th2を超えていると判断された場合、さらに、ステップＳ２５で、動き補償後の残差Ｅbtが、未補償の残差Ｅ0の一定の割合を超えているか否かが判断され、動き補償後の残差Ｅbtが、未補償の残差Ｅ0の一定の割合k以上であると判断された場合、ステップＳ２６に分岐し、そのブロックは静止画ブロックであると判定され、動き補償後の残差Ｅbtが、未補償の残差Ｅ0の一定の割合kより小さいと判断された場合、ステップＳ２２に分岐し、そのブロックは動画ブロックであると判定される。
【００８２】
図５のフローチャートに示すステップＳ２１とステップＳ２３においては、隣接するフレームの対応するフィールド間で規定される残差（top-top残差Etとbottom-bottom残差Eb）を用いて判定を行うため、同一フレームの２つのフィールド間で規定される残差を用いる判定と比べ、正確な判定結果を得ることができる。
【００８３】
また、ステップＳ２４に示す動きベクトルによる判定を用いることにより、所定の大きさの物体が早く移動するような入力画像を静止画と誤認すること（所定のブロックで、フィールド毎に残差が大きく変化するが、たまたま、top-top残差Etとbottom-bottom残差Ebが所定値以下である動画ブロックを静止画ブロックと誤認すること）を抑止することができる。
【００８４】
さらに、ステップＳ２５に示す判定を用いることにより、たまたま、後のtopフィールドに、対象のブロックと類似したブロックが存在する場合、静止画ブロックを動きベクトルに対応する動画ブロックと誤認することを抑止することができる。
【００８５】
このようにして、所定のブロック間での残差と動きベクトルを用いて、対象のブロックが動画ブロックであるのか静止画ブロックであるのかの正確な判定を行うことができる。なお、top-top残差Etとbottom-bottom残差Ebのうち、いずれか一方でも規準値Th1を超えているとき、対象ブロックは、動画ブロックであるとし、それ以外のとき、静止画ブロックであると判定するようにしてもよい。
【００８６】
続いて、図３のステップＳ１４で、補間画像生成装置１３は、動画静止画判定装置２０から供給される動画静止画の判定結果に基づき、引き算回路１２より入力される動画像データから静止画像データを生成する。
【００８７】
ここで、このステップの処理の詳細を図６と図７を参照して説明する。
【００８８】
図６は、動画ブロックと静止画ブロックとが隣接した状態を表している。
【００８９】
図６に示す動画ブロックと静止画ブロックには、それぞれ、２フィールド分のデータが示されている。それぞれのフィールドは、topとbottomで示したラインの画素を含んでいる。
【００９０】
静止画ブロックと動画ブロックのiラインj列のtopフィールドの画素値をt(i,j)とし、iラインj列のbottomフィールドの画素値をb(i,j)とすると、フィルタ演算回路３１は、topフィールドの画素値はそのままとするが、引き算回路１２から供給される画素値t(i,j),b(i,j)、および画素値t(i+1,j)を用いて、iラインj列のbottomフィールドの画素値bn(i,j)の補間画像データを式（１）に従って生成する。
bn(i,j)=k1*t(i,j)+k2*b(i,j)+k1*t(i+1,j) （１）
【００９１】
ここで、補間係数k1と補間係数k2は、動画静止画判定装置２０から供給される判定結果を基に境界判定・係数切換回路３２が設定し、フィルタ演算回路３１に出力する補間係数であり、静止画ブロックと動画ブロックとでは、異なる値となる。また、静止画ブロックと動画ブロックとの境界近傍においては、各画素値が不連続な値とならないように、境界判定・係数切換回路３２は、補間係数k1と補間係数K2を段階的に変化させ、フィルタ演算回路３１に出力する。図７に静止画ブロックにおける、補間係数K1と補間係数K2の具体的な値の例を示す。
【００９２】
図７には、静止画ブロックと動画ブロックの境界近傍における静止画ブロック内の４つの画素の画素値を求めるときに用いられる補間係数K1と補間係数K2の値の例が示されている。
【００９３】
例えば、輝度信号の画素値においては、境界から４つ目（または、それ以降）の画素の画素値を計算するときの対応する補間係数K1と補間係数K2の値は、それぞれ0と1となっており、これを式（１）に代入すると、bn(i,j)=b(i,j)となる。このことは、生成された補間画像データ（bottomフィールドの画素値）には、静止画ブロックのbottomフィールドの画素値がそのまま用いられることを意味している。これと同様に、境界から十分（４画素以上）離れた静止画ブロックの画素の補間画像データは、静止画ブロックの画素の画素値をそのまま用いるようにする。すなわち、静止画ブロックに対応する静止画像データは、静止画ブロックの２つのフィールドデータがそのまま用いられることになる。
【００９４】
また、境界から３つ目、２つ目、および１つ目の画素の画素値を図７に示した補間係数K1と補間係数K2より求めると、それぞれ、次のようになる。
(1/8)*t(i,j)+(6/8)*b(i,j)+(1/8)*t(i+1,j),
(2/8)*t(i,j)+(4/8)*b(i,j)+(2/8)*t(i+1,j),
(3/8)*t(i,j)+(2/8)*b(i,j)+(3/8)*t(i+1,j)
【００９５】
動画ブロックに近づくに従い、topフィールド（一方のフィールド）の画素値の重みが増し、bottomフィールドの画素値の重みが減っていくことがわかる。すなわち、静止画ブロック内の静止画ブロックと動画ブロックとの境界近傍においては、境界に近づく程、一方のフィールド（topフィールド）データがより大きい重みを持った静止画像データが生成される。
【００９６】
一方、動画ブロックにおいては、境界判定・係数切換回路３２は、補間係数K1を1/2、補間係数K2を0に設定し、フィルタ演算回路３１に供給する。従って、フィルタ演算回路３１は、topフィールド（一方のフィールド）のみの画素値を用いてbottomフィールドの画素値を生成する。この場合、bn(i,j)は、
(1/2)*t(i,j)+(1/2)*t(i+1,j)となり、これは、iライン目のtopフィールドの画素値と、i+1ライン目のtopフィールドの画素値の平均値となっている。すなわち、フィルタ演算回路３１は、topフィールドデータのみを用いて、より自然な補間画像データ（bottomフィールドデータ）を生成する。
【００９７】
なお、境界判定・係数切換回路３２は、動画ブロックにおいては、静止画ブロックとの境界近傍と中央部とで補間係数K1,K2の値を変化させることはしない。これにより、静止画像に較べて鮮明でない可能性の高い動画像がさらに不鮮明になるのを防止する。
【００９８】
このように、動画ブロックでは、一方のフィールドデータを基に、静止画ブロックでは、２つのフィールドデータを基に、それぞれ、補間画像データが生成され、静止画ブロックの動画ブロックとの境界近傍においては、段階的に係数が変化するので、より自然な静止画像データが生成される。
【００９９】
このことは、色差信号についても同様である。なお、色差信号は、１つのフレームを構成する画素数が、輝度信号のそれの半分であるため、輝度信号の画素に対応する補間係数と同じ値の補間係数が用いられる。
【０１００】
また、式（１）において、bn(i,j)が画面上の最下ラインの画素値である場合、フィルタ演算回路３１は、仮想的に、その１つ下のラインの画素値t(i+1,j)を考え、その値は、iラインのtopフィールドの画素値t(i,j)と同様であるとして計算する。すなわち、この場合、bn(i,j)は、式（２）で与えられる。
bn(i,j)=2*k1*t(i,j)+k2*b(i,j) （２）
【０１０１】
このようにして、補間画像生成装置１３は、動画静止画判定装置２０から供給される判定結果を基に、自然な補間画像データを生成するため、より良質の静止画像データを生成することができる。
【０１０２】
図３の説明に戻り、続く、ステップＳ１５で、補間画像生成装置１３は、この静止画像データをＤＣＴ回路１４に出力する。静止画像データは、ＤＣＴ回路１４で離散コサイン変換され、量子化回路１５で量子化され、可変長符号化回路１６で符号化された後、記録装置４に出力される。その後、後続のステップＳ６で、記録装置４は、この圧縮静止画像データを記録媒体に記録する。
【０１０３】
以上のようにして、インタレース動画像データのブロックを、正確に動画ブロックと静止画ブロックに判定することにより、ぶれが少く、解像度の低下を最小限に押さえた静止画像データを生成することができる。
【０１０４】
また、動画ブロックと静止画ブロックとの境界近傍で、解像度の不連続を考慮して、補間係数を段階的に変化させているため、より自然な静止画像データを生成することができる。
【０１０５】
さらにまた、本発明の静止画像データ生成装置は、従来の画像圧縮装置を構成する回路を基本的にそのまま用いるようにしているため、設計が容易であり、かつ低コストで簡易な構成で実現することができる。
【０１０６】
なお、上述の実施例においては、残差として差分絶対値の総和を用いたが、差分２乗の総和としてもよい。また、動画ブロックのデータを、topフィールドの画像データから生成するようにしたが、bottomフィールドの画像データから生成するようにしてもよい。さらに、静止画ブロックのデータをtopフィールドのそのままデータと、bottomフィールドのデータを演算したデータとから生成するようにしたが、bottomフィールドのそのままのデータと、topフィールドのデータを演算したデータとから生成することもできる。また、動画ブロック、静止画ブロックの判定手法やそれに対応した補間手法は、種々の画素数や解像度に柔軟に対応することが可能である。
【０１０７】
【発明の効果】
以上のように、本発明によれば、所定のフレームのブロックと、その前後のフレームの所定のフィールドの対応するブロックとで規定される残差または動きベクトルを計算し、計算された残差または動きベクトルを用いて、動画ブロックまたは静止画ブロックの判定を行うようにしたので、動画ブロックと静止画ブロックの誤認判定を抑止することができる。
【０１０８】
また、本発明によれば、動画ブロックと静止画ブロックとの境界において、より自然な静止画像データを生成することができる。
【図面の簡単な説明】
【図１】本発明の静止画像データ生成装置を用いた画像圧縮記録システムの一実施例の構成を示すブロック図である。
【図２】補間画像生成装置１３の一実施例の構成を示すブロック図である。
【図３】図１の画像圧縮記録システムの処理動作を説明するフローチャートである。
【図４】残差と動きベクトルを計算するとき使用されるフレーム内のブロックの関係を示す図である。
【図５】図３のステップＳ１３に示すサブルーチン処理の詳細を説明するフローチャートである。
【図６】静止画ブロックと動画ブロックが隣接した場合の画素を示す図である。
【図７】静止画ブロックにおける境界からの距離と補間係数の値との関係を示す図である。
【符号の説明】
１ 画像入力装置， ２ 前処理装置， ３ 画像圧縮装置， ４ 記録装置， １１ フレームメモリ， １２ 引き算回路， １３ 補間画像生成装置，１４ ＤＣＴ回路， １５ 量子化回路， １６ 可変長符号化回路， １７動き検出回路， １８ 残差検出回路， １９ 動き補償回路， ２０ 動画静止画判定装置， ２１ 逆量子化回路， ２２ 逆ＤＣＴ回路， ２３ 制御回路， ２４ スイッチ， ２５ 足し算回路， ２６ フレームメモリ， ３１ フィルタ演算回路， ３２ 境界判定・係数切換回路[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a still image data generation device and a still image data generation method, and in particular, when still image data is generated from interlaced moving image data, it is defined by a block of a predetermined frame and corresponding blocks of preceding and following frames. The present invention relates to a still image data generation device and a still image data generation method that generate a high-quality still image data by accurately determining a moving image block or a still image block based on a sum of absolute differences and a motion vector.
[0002]
[Prior art]
Conventionally, still image data is generated from interlaced moving image data.
[0003]
When still image data is generated from interlaced moving image data, if still image data is generated using data of a predetermined frame of the moving image data as it is, time is required for scanning the two fields constituting one frame. Since there is a long gap (1/60 seconds in the case of the NTSC system), blurring occurs in the moving image portion that moves between the generated still images.
[0004]
Therefore, the pixels constituting one frame are divided into blocks each including a predetermined number of pixels, and a moving image block or a still image block is determined in units of the blocks. The determination of a moving image block and a still image block is performed by comparing corresponding blocks between two fields constituting one frame, and if the difference is equal to or greater than a predetermined value, it is determined that the block is a moving image block. If it is less than this, it is determined that the block is a still image block. In the moving picture block, still image data in the block is generated using only one of the two field data constituting one frame, and one frame is constituted in the still picture block. Both field data are used to generate still image data in the block.
[0005]
In this way, still image data in which blurring due to motion of moving images is suppressed can be generated from interlaced moving image data.
[0006]
[Problems to be solved by the invention]
However, in the conventional moving image block and still image block determination method, in particular, when the spatial change amount of the still image block is large, for example, a high value such that the pixel value of an adjacent pixel in the block changes rapidly. In the case of a still image block with many band components, a difference of a predetermined value or more is generated between two field data corresponding to the block, and there is a problem that a still image block is easily misidentified as a moving image block.
[0007]
In addition, as described above, a still image of a still image block is generated using two field data, and a still image of a moving image block is generated using one field data. There is a problem that the resolution becomes discontinuous at the boundary, and as a result, the boundary between the still image block and the moving image block becomes an unnatural image.
[0008]
Furthermore, when realizing an image processing apparatus that performs the above-described processing, a circuit for determining a still image block and a moving image block is required, the configuration is complicated, the apparatus is enlarged, and the apparatus is realized at low cost. There was a problem that was difficult.
[0009]
The present invention has been made in view of such a situation, and by using interlaced moving image data of a predetermined frame and frames before and after the predetermined frame, more accurate determination of a moving image block and a still image block is performed. A still image data generation device configured to generate still image data is realized.
[0010]
[Means for Solving the Problems]
The still image data generation apparatus according to claim 1 stores the storage unit that stores data of a predetermined frame and data of at least one field of frames before and after the moving image data, and the storage unit stores the data. Predetermined frame And a block in each field of the two fields constituting the frame and a block in the corresponding field of the frame adjacent to the predetermined frame, respectively. Stipulated The first residual and the second residual. Residual error And a block in one field of a predetermined frame and a block corresponding to that block in a non-corresponding field of a frame before or after the predetermined frame. The calculation means for calculating the motion vector and the calculation means First residual and second Residual error If any of is larger than the predetermined reference value , Blocks that make up a given frame The Video block When Judgment If any of the first residual, the second residual, and the motion vector is equal to or less than a predetermined reference value, it is determined as a still image block. It is characterized by comprising determination means and generation means for generating still image data based on the determination.
[0011]
Claim 3 The still image data generation method described in the above description is such that a predetermined frame of moving image data and at least one field of the preceding and following frames are accumulated, and the accumulated predetermined frame is stored. And a block in each field of the two fields constituting the frame and a block in the corresponding field of the frame adjacent to the predetermined frame, respectively. Stipulated The first residual and the second residual. Residual error And a block in one field of a predetermined frame and a block corresponding to that block in a non-corresponding field of a frame before or after the predetermined frame. Calculate motion vector, calculated First residual and second Residual error If any of is larger than the predetermined reference value , Blocks that make up a given frame The Video block When Judgment If any of the first residual, the second residual, and the motion vector is equal to or less than a predetermined reference value, it is determined as a still image block. And still image data is generated based on the determination.
[0012]
According to a fourth aspect of the present invention, there is provided a still image data generating device that stores data of a predetermined frame of moving image data and data of at least one field of frames before and after the frame, and is stored in the storage unit. A first residual and a second residual defined respectively by a block in each field of two fields constituting the predetermined frame and a block in a corresponding field of a frame adjacent to the predetermined frame. Defined by two residuals of residuals, a block in one field of a given frame, and a block corresponding to that block in a non-corresponding field of a frame before or after the given frame The calculation means for calculating the motion vector, and any one of the first residual and the second residual calculated by the calculation means is based on a predetermined reference value. If the threshold value is less than the predetermined reference value, the block constituting the predetermined frame is determined to be a moving image block, and any of the first residual, the second residual, and the motion vector is equal to or less than the predetermined reference value. In the vicinity of the boundary between the moving image block and the still image block, Each pixel value of one field out of two fields constituting a predetermined frame using an interpolation coefficient that changes stepwise Interpolated image data As still image data And generating means for generating.
The still image data generation method according to claim 5, wherein data of a predetermined frame of moving image data and data of at least one field of frames before and after the moving image data are stored, and the stored predetermined frame is configured. Two residuals of a first residual and a second residual respectively defined by a block in each field of the two fields and a block in the corresponding field of a frame adjacent to the predetermined frame. Calculating a difference and a motion vector defined by a block in one field of a given frame and a block corresponding to that block in a non-corresponding field of a frame before or after the given frame; If any of the calculated first residual and second residual is larger than a predetermined reference value, the block constituting the predetermined frame is moved. If it is determined as a block and any of the first residual, the second residual, and the motion vector is equal to or less than a predetermined reference value, it is determined as a still image block, and a video block corresponding to the determination Near the boundary between the image and the still image block Each pixel value of one field out of two fields constituting a predetermined frame using an interpolation coefficient that changes stepwise Interpolated image data As still image data It is characterized by generating.
The still image data generation apparatus according to claim 6 stores the storage unit that stores data of a predetermined frame and data of at least one field of frames before and after the moving image data, and is stored in the storage unit. A first residual and a second residual defined respectively by a block in each field of two fields constituting the predetermined frame and a block in a corresponding field of a frame adjacent to the predetermined frame. Defined by two residuals of residuals, a block in one field of a given frame, and a block corresponding to that block in a non-corresponding field of a frame before or after the given frame The calculation means for calculating the motion vector, and any one of the first residual and the second residual calculated by the calculation means is based on a predetermined reference value. If the threshold value is less than the predetermined reference value, the block constituting the predetermined frame is determined to be a moving image block, and any of the first residual, the second residual, and the motion vector is equal to or less than the predetermined reference value. Determining means for determining Each pixel in one field of a predetermined frame is a target pixel, and the target pixel Is the bottom of the frame Line pixels When Bottom line The pixel in the line one above is Bottom line As being located one line below, Corresponding to the determination, an interpolation coefficient that changes stepwise in the vicinity of the boundary between the moving image block and the still image block, and pixels of pixels that are located one line above and one line below the line where the target pixel is located Value of the pixel value of each target pixel Interpolated image data As still image data And generating means for generating.
The still image data generation method according to claim 7, wherein the predetermined frame data and the data of at least one field of the frames before and after the moving image data are accumulated, and the accumulated predetermined frame is configured. Two residuals of a first residual and a second residual respectively defined by a block in each field of the two fields and a block in the corresponding field of a frame adjacent to the predetermined frame. Calculating a difference and a motion vector defined by a block in one field of a given frame and a block corresponding to that block in a non-corresponding field of a frame before or after the given frame; If any of the calculated first residual and second residual is larger than a predetermined reference value, the block constituting the predetermined frame is moved. Determines that block, the first residual, if second residual, and none of the motion vector is less than a predetermined reference value, determines that the still picture blocks, Each pixel in one field of a predetermined frame is a target pixel, and the target pixel Is the bottom of the frame Line pixels When Bottom line The pixel in the line one above is Bottom line As being located one line below, Corresponding to the determination, an interpolation coefficient that changes stepwise in the vicinity of the boundary between the moving image block and the still image block, and pixels of pixels that are located one line above and one line below the line where the target pixel is located Value of the pixel value of each target pixel Interpolated image data As still image data It is characterized by generating.
[0016]
In the still image data generation device according to claim 1, the storage unit stores data of a predetermined frame and data of at least one field of frames before and after the moving image data, and the calculation unit includes , Accumulated frames And a block in each field of the two fields constituting the frame and a block in the corresponding field of the frame adjacent to the predetermined frame, respectively. Stipulated Two of the first residual and the second residual Residual error And a block in one field of a predetermined frame and a block corresponding to that block in a non-corresponding field of a frame before or after the predetermined frame. The motion vector is calculated and the judgment means is calculated First residual and second Residual error If any of the above is larger than the predetermined reference value , Blocks that make up a given frame The Video block When Judgment If any of the first residual, the second residual, and the motion vector is equal to or less than a predetermined reference value, it is determined as a still image block. Then, the generation unit generates still image data based on the determination. For example, when the determining unit determines that the block is a moving image block, the generating unit generates corresponding interpolated image data based on one of the field data. When the determining unit determines that the block is a still image block, both field data are Interpolated image data corresponding to the base can be generated.
[0017]
Claim 3 In the still image data generation method described in the above, the predetermined frame data and the data of at least one field of the frames before and after the moving image data are accumulated, and the accumulated predetermined frame is stored. And a block in each field of the two fields constituting the frame and a block in the corresponding field of the frame adjacent to the predetermined frame, respectively. Stipulated Two of the first residual and the second residual Residual error And a block in one field of a predetermined frame and a block corresponding to that block in a non-corresponding field of a frame before or after the predetermined frame. Motion vector was calculated and calculated First residual and second Residual error If any of the above is larger than the predetermined reference value , Blocks that make up a given frame But Video block When Judgment If any of the first residual, the second residual, and the motion vector is equal to or less than a predetermined reference value, it is determined as a still image block. Then, still image data is generated based on the determination. For example, when the block is determined to be a moving image block, the corresponding interpolated image data is generated based on one field data, and when the block is determined to be a still image block, the corresponding interpolated image data is determined based on both field data. Generated.
[0018]
In the still image data generating device according to claim 4, the storage means stores data of a predetermined frame in the moving image data and data of at least one field of the preceding and following frames, and the calculation means includes A first residual defined respectively by a block in each of the two fields constituting the stored predetermined frame and a block in the corresponding field of a frame adjacent to the predetermined frame; Two residuals of the second residual, and a block in one field of a given frame and a block corresponding to that block in a non-corresponding field of a frame before or after the given frame A prescribed motion vector is calculated, and the determination means has one of the calculated first residual and second residual greater than a predetermined reference value. The block constituting the predetermined frame is determined to be a moving image block, and when any of the first residual, the second residual, and the motion vector is equal to or less than a predetermined reference value, In response to the determination, the generation means determines the vicinity of the boundary between the moving image block and the still image block. Each pixel value of one field out of two fields constituting a predetermined frame using an interpolation coefficient that changes stepwise Interpolated image data As still image data Generate. For example, as the moving image block approaches the still image block, the interpolated image data that is shifted stepwise from the interpolated image data generated using one field data to the interpolated image data generated using both field data. It can be generated by the generating means.
In the still image data generation method according to claim 5, data of a predetermined frame and data of at least one field of frames before and after the moving image data are stored, and the stored predetermined frame is stored. Two blocks of a first residual and a second residual respectively defined by a block in each field of the two fields constituting and a block in a corresponding field of a frame adjacent to the predetermined frame The residual and motion vector defined by the block in one field of the given frame and the block corresponding to that block in the non-corresponding field of the frame before or after the given frame are calculated. If any of the calculated first and second residuals is greater than a predetermined reference value, a predetermined frame is formed When the lock is determined to be a moving image block, and any of the first residual, the second residual, and the motion vector is equal to or less than a predetermined reference value, it is determined to be a still image block, and in response to the determination In the vicinity of the boundary between the video block and the still image block Each pixel value of one field out of two fields constituting a predetermined frame using an interpolation coefficient that changes stepwise Interpolated image data As still image data Generated.
In the still image data generating device according to claim 6, the storage unit stores data of a predetermined frame and data of at least one field of frames before and after the moving image data, and the calculation unit includes A first residual defined respectively by a block in each of the two fields constituting the stored predetermined frame and a block in the corresponding field of a frame adjacent to the predetermined frame; Two residuals of the second residual, and a block in one field of a given frame and a block corresponding to that block in a non-corresponding field of a frame before or after the given frame A prescribed motion vector is calculated, and the determination means has one of the calculated first residual and second residual greater than a predetermined reference value. The block constituting the predetermined frame is determined to be a moving image block, and when any of the first residual, the second residual, and the motion vector is equal to or less than a predetermined reference value, Determining and generating means, Each pixel in one field of a predetermined frame is a target pixel, and the target pixel Is the bottom of the frame Line pixels When Bottom line The pixel in the line one above is Bottom line As being located one line below, Corresponding to the determination, an interpolation coefficient that changes stepwise in the vicinity of the boundary between the moving image block and the still image block, and pixels of pixels that are located one line above and one line below the line where the target pixel is located Value of the pixel value of each target pixel Interpolated image data As still image data Generate.
In the still image data generation method according to claim 7, data of a predetermined frame and data of at least one field of frames before and after the moving image data are stored, and the stored predetermined frame is stored. Two blocks of a first residual and a second residual respectively defined by a block in each field of the two fields constituting and a block in a corresponding field of a frame adjacent to the predetermined frame The residual and motion vector defined by the block in one field of the given frame and the block corresponding to that block in the non-corresponding field of the frame before or after the given frame are calculated. If any of the calculated first and second residuals is greater than a predetermined reference value, a predetermined frame is formed Lock is determined that video block, the first residual, second residual, and if none of the motion vector is less than a predetermined reference value, it is determined that the still image block, Each pixel in one field of a predetermined frame is a target pixel, and the target pixel Is the bottom of the frame Line pixels When Bottom line The pixel in the line one above is Bottom line As being located one line below, Corresponding to the determination, an interpolation coefficient that changes stepwise in the vicinity of the boundary between the moving image block and the still image block, and pixels of pixels that are located one line above and one line below the line where the target pixel is located Value of the pixel value of each target pixel Interpolated image data is As still image data Generated.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Examples of the present invention will be described below. In order to clarify the correspondence between each means described in the claims and the following examples, the corresponding examples are shown in parentheses after each means. The characteristics of the present invention will be described with the addition of (one example). However, of course, this description does not mean that each means is limited to the description.
[0023]
The still image data generation device according to claim 1 is a still image data generation device that generates predetermined still image data from interlaced moving image data. Storage means (for example, the frame memory 11 in FIG. 1) for storing data of at least one field of the frame, and a predetermined frame stored in the storage means And a block in each field of the two fields constituting the frame and a block in the corresponding field of the frame adjacent to the predetermined frame, respectively. Stipulated Two of the first residual and the second residual Residual error And a block in one field of a predetermined frame and a block corresponding to that block in a non-corresponding field of a frame before or after the predetermined frame. The calculation means for calculating the motion vector (for example, the motion detection circuit 17 in FIG. 1) and the calculation means First residual and second Residual error If any of the above is larger than the predetermined reference value , Blocks that make up a given frame The Video block When Judgment If any of the first residual, the second residual, and the motion vector is equal to or less than a predetermined reference value, it is determined as a still image block. The image processing apparatus includes a determination unit (for example, the moving image still image determination device 20 in FIG. 1) and a generation unit (for example, the interpolation image generation device 13 in FIG. 1) that generates still image data based on the determination.
[0024]
The still image data generation device according to claim 4 is a still image data generation device that generates predetermined still image data from interlaced moving image data. Storage means (for example, the frame memory 11 in FIG. 1) for storing data of at least one field of the frame of the frame, blocks in each field of two fields constituting a predetermined frame stored in the storage means, Two residuals, a first residual and a second residual, respectively defined by a block in a corresponding field of a frame adjacent to the predetermined frame, and in one field of the predetermined frame Block and the block corresponding to that block in the non-corresponding field of the frame before or after the given frame. Calculating means (for example, the motion detection circuit 17 in FIG. 1), and any one of the first residual and the second residual calculated by the calculating means is predetermined. When larger than the reference value, the block constituting the predetermined frame is determined as a moving image block, and when any of the first residual, the second residual, and the motion vector is equal to or smaller than the predetermined reference value, In the vicinity of the boundary between the moving image block and the still image block corresponding to the determination means (for example, the moving image still image determining device 20 in FIG. 1) for determining the still image block. Each pixel value of one field out of two fields constituting a predetermined frame using an interpolation coefficient that changes stepwise Interpolated image data As still image data And generating means (for example, boundary determination / coefficient switching circuit 32 in FIG. 2).
[0026]
FIG. 1 is a block diagram showing a configuration of an embodiment of an image compression recording system to which a still image data generation apparatus of the present invention is applied.
[0027]
The image input device 1 is composed of, for example, a broadcast video tape recorder and a device that converts an output signal thereof from analog to digital (A / D), and outputs the digitized image signal to the preprocessing device 2. Has been made.
[0028]
The preprocessing device 2 performs resolution conversion on the image signal input from the image input device 1 so that the number of samplings and the number of frames per second are predetermined values, and pixel number conversion that limits the pixels to be encoded. The data is output to the compression device 3.
[0029]
The image compression apparatus 3 compresses and encodes interlaced moving image data input from the preprocessing apparatus 2 into predetermined compressed moving image data or compressed still image data, and then video CD (Compact Disc), DVD (Digital The digital video signal is output to a recording device 4 that records the digital video signal on a recording medium such as a video disc.
[0030]
The control circuit 23 of the image compression device 3 generates the compressed still image data from the moving image data input from the preprocessing device 2 (when a still image generation command is input from a device not shown), and the switch 24 Is switched to the terminal b side. Further, when generating compressed moving image data, the control circuit 23 switches the switch 24 to the terminal b side when detecting compressed moving image data (I-picture data) for which motion compensation is not performed, and performs compression for motion compensation. When moving image data (P-picture or B-picture data) is detected, switching is made to the terminal a side.
[0031]
The frame memory 11 accumulates the moving image data input from the preprocessing device 2 to the image compression device 3 in units of frames, in the case of this embodiment, for three frames, and the motion detection circuit 17 and the residual detection circuit 18 as appropriate. To be output.
[0032]
The subtraction circuit 12 uses data (predicted image data (data supplied from the terminal a of the switch 24)) or zero data (of the switch 24) from the moving image data input from the preprocessing device 2 via the switch 24. Data supplied from the terminal b) is subtracted and output as prediction error data to the interpolated image generating device 13.
[0033]
When generating the compressed still image data, the interpolation image generation device 13 generates interpolation image data corresponding to the determination result of the moving image block or the still image block determined for each block supplied from the moving image still image determination device 20. , And output to a DCT (Discrete Cosine Transform) circuit 14. Further, when generating the compressed moving image data (when the compressed still image data is not generated), the interpolated image generation device 13 uses the DCT circuit as it is (without special processing) as the prediction error data input from the subtraction circuit 12. 14 is output.
[0034]
The DCT circuit 14 performs two-dimensional DCT (discrete cosine transform) on the image data input from the interpolated image generation device 13 to remove redundancy, concentrate energy on a part of frequency components, and then quantize the data. An output is made to the circuit 15.
[0035]
The quantization circuit 15 quantizes the DCT coefficient output from the DCT circuit 14 and outputs the quantized signal to the variable length encoding circuit 16 and the inverse quantization circuit 21.
[0036]
The variable length encoding circuit 16 performs code allocation so that the average code length is shortened based on the appearance probability of the quantized representative value or the quantized representative vector supplied from the quantizing circuit 15, and the recording device 4. To be output.
[0037]
The inverse quantization circuit 21 and the inverse DCT circuit 22 perform conversion processing opposite to that of the quantization circuit 15 and the DCT circuit 14, respectively, and the quantized image data input from the quantization circuit 15 is The signal is inversely quantized by the inverse quantization circuit 21 and further subjected to inverse discrete cosine transform by the inverse DCT circuit 22 and then input to the addition circuit 25.
[0038]
The motion detection circuit 17 calculates a motion vector and a residual after motion compensation (sum of absolute differences) based on predetermined frame data input from the frame memory 11, and the motion compensation circuit 19 and moving image still image determination The data is output to the device 20.
[0039]
The motion compensation circuit 19 performs motion compensation on the image data of the previous frame read from the frame memory 26 based on the motion vector input from the motion detection circuit 17, generates predicted image data, and The signal is output to the subtraction circuit 12 through the terminal a of 24 and output to the addition circuit 25.
[0040]
The addition circuit 25 adds the prediction error data input from the inverse DCT circuit 22 to the prediction image data input from the motion compensation circuit 19 and stores it in the frame memory 26.
[0041]
The residual detection circuit 18 obtains a residual for each block constituting a predetermined frame based on the frame data input from the frame memory 11 and outputs the residual to the moving image still image determination device 20.
[0042]
The moving image still image determination device 20 determines the frame to be processed based on the motion vector supplied from the motion detection circuit 17 and the residual information after motion compensation and the residual information supplied from the residual detection circuit 18. A moving image or a still image is determined for each constituting block, and the determination result is output to the interpolated image generating device 13.
[0043]
FIG. 2 is a block diagram showing a configuration of an embodiment of the interpolated image generation apparatus 13.
[0044]
The boundary determination / coefficient switching circuit 32 determines an interpolation coefficient used when generating the interpolated image data based on the determination information supplied from the moving image still image determination device 20 and outputs the interpolation coefficient to the filter operation circuit 31. ing.
[0045]
Based on the interpolation coefficient, the filter arithmetic circuit 31 generates interpolated image data from the image data input from the subtractor circuit 12 to generate corresponding still image data and outputs the generated still image data to the DCT circuit 14. Yes.
[0046]
Next, the processing operation of the image compression recording system of FIG. 1 will be described with reference to the flowchart of FIG.
[0047]
In step S <b> 1 of FIG. 3, the image input device 1 digitizes an image signal reproduced from a video tape or the like, and then outputs it to the preprocessing device 2. The preprocessing device 2 converts the image signal into moving image data having a predetermined number of samplings, frames, and pixels, and outputs the moving image data to the image compression device 3. In this way, for example, luminance data composed of 704 pixels in the horizontal direction and 480 pixels in the vertical direction and color difference data composed of 352 pixels in the horizontal direction and 240 pixels in the vertical direction are input to the image compression apparatus 3.
[0048]
Assume that I picture data is input to the image compression apparatus 3.
[0049]
In subsequent step S2, the control circuit 23 determines whether or not to generate compressed still image data from the moving image data. When no still image generation command is input from a device (not shown) (when generation of compressed moving image data is instructed), NO is determined in this step, and the process branches to step S3. In step S3, the control circuit 23 determines whether or not the image data currently input from the preprocessing device 2 is image data (P picture or B picture data) for which motion compensation is performed. In this case, since I picture data has been input, a NO determination is made, and in step S4, the control circuit 23 connects the switch 24 to the terminal b.
[0050]
In the subsequent step S5, the moving image data input from the preprocessing device 2 is subtracted by the subtraction circuit 12 from the signal input from the switch 24 and output to the interpolated image generating device 13. In this case, since the switch 24 is connected to the terminal b whose other terminal is grounded, the signal input from the switch 24 is zero, and the moving image data input from the preprocessing device 2 is substantially Therefore, it is output to the interpolation image generation device 13 as it is. At this time, the moving image data input from the preprocessing device 2 is stored in the frame memory 11 in units of frames.
[0051]
When generating predetermined compressed still image data from moving image data, the interpolation image generating device 13 uses a moving image signal input from the subtraction circuit 12 based on the determination result supplied from the moving image still image determining device 20. Interpolated image data for generating predetermined still image data is generated and output to the DCT circuit 14. In this case, since it is not processing for generating compressed still image data from moving image data, the moving image data input from the subtraction circuit 12 is output to the DCT circuit 14 as it is.
[0052]
The moving image signal is subjected to discrete cosine transform in the DCT circuit 14 and energy is concentrated on a part of frequency components, and then the quantization circuit 15 converts each pixel value to a value corresponding to a predetermined quantization level. Alternatively, the value of the combination is rounded and output to the variable length coding circuit 16.
[0053]
The variable length encoding circuit 16 encodes the quantized image data so that the average code length is shortened, and outputs the encoded image data to the recording device 4.
[0054]
In subsequent step S6, the recording device 4 records the input compressed image data on a recording medium.
[0055]
In this way, the moving image data generated by the image input device 1 is compression-coded and recorded on the recording medium.
[0056]
If the moving image data input from the preprocessing device 2 is image data that requires motion compensation (P picture or B picture data), a YES determination is made in step S3, and control is performed in the subsequent step S7. The circuit 23 connects the switch 24 to the terminal a.
[0057]
In step S <b> 8, the frame memory 11 outputs predetermined frame data and frame data before and after the predetermined frame data to the motion detection circuit 17 and the residual detection circuit 18. The motion detection circuit 17 calculates a motion vector for a block (16 * 16 pixels for luminance data and 8 * 8 pixels for color difference data) that constitutes the predetermined frame using the predetermined frame and the previous frame data. And output to the motion compensation circuit 19 and the moving image still image determination device 20.
[0058]
In step S9, the motion compensation circuit 19 generates predicted image data by applying motion compensation to the data of the previous frame supplied from the frame memory 26 based on the motion vector. 24 to the subtraction circuit 12.
[0059]
In subsequent step S <b> 10, the subtraction circuit 12 subtracts the predicted image data input from the motion compensation circuit 19 from the moving image data input from the preprocessing device 2 and outputs the subtraction image data to the interpolation image generation device 13. In this case, since it is not processing for generating still image data, the interpolation image generating device 13 outputs the image data input from the subtraction circuit 12 to the DCT circuit 14 as it is.
[0060]
Thereafter, the moving image data is subjected to discrete cosine transform by the DCT circuit 14, quantized by the quantization circuit 15, and then subjected to code allocation processing by the variable length coding circuit 16. Is output. At this time, the image data quantized by the quantization circuit 15 is also input to the inverse quantization circuit 21, is inversely quantized, and is subjected to inverse discrete cosine transform by the inverse DCT circuit 22 (converted into prediction error data). Is output to the addition circuit 25. The addition circuit 25 adds the predicted image data input from the motion compensation circuit 19 to the prediction error data, and stores it in the frame memory 26.
[0061]
In step S6, a recording process is executed, and image data is recorded on the recording medium. In this way, the compressed moving image data is recorded on the recording medium.
[0062]
The above processing is the same processing as in the conventional case.
[0063]
Now, it is assumed that generation of compressed still image data is instructed from moving image data input from the preprocessing device 2. In this case, a determination of YES is made in step S2, and the control circuit 23 connects the switch 24 to the terminal b in step S11.
[0064]
In step S12, the frame memory 11 outputs the target frame data and the frame data before and after the frame data to the motion detection circuit 17 and the residual detection circuit 18. The motion detection circuit 17 calculates a motion vector defined by a block of a target frame and a corresponding block of a subsequent frame (or a previous frame), and a motion compensation circuit 19 and a moving image still image determination device 20. Output to. In addition, the motion detection circuit 17 calculates the residual after motion compensation and outputs it to the moving image still image determination device 20. The residual detection circuit 18 calculates, for each block in the field of the target frame, the residual between the block and the corresponding field block in the previous and subsequent frames, and outputs the residual to the moving image still image determination device 20. At this time, the equation of the residual E calculated is shown in Equation 1.
[0065]
[Expression 1]
Figure 0003937247
[0066]
In Equation 1, n is the number of pixels in the block, d_o (i) is the pixel value of the pixel of the predetermined block i, and d_r (i) is the pixel value of the pixel of the block i corresponding thereto. is there. That is, in the case of this embodiment, the residual is the sum of absolute values of the differences between the pixels.
[0067]
Here, the motion vector calculated in step S12 and the residual will be described with reference to the diagram shown in FIG.
[0068]
FIG. 4 shows three frames necessary for calculating a motion vector and a residual used when generating compressed still image data corresponding to the target frame.
[0069]
The target frame and the frames before and after the target frame are each composed of two fields, and are hereinafter referred to as a top field and a bottom field, respectively.
[0070]
The bottom-bottom residual Eb is a residual calculated by the block of the bottom field of the target frame and the corresponding block of the bottom field (corresponding field) of the previous frame.
[0071]
The top-top residual Et is a residual calculated by a block in the top field of the target frame and a corresponding block in the top field (corresponding field) of the subsequent frame.
[0072]
The bottom-top motion vector B is a motion vector calculated from the bottom field block of the target frame and the moved block corresponding to the top field (non-corresponding field) of the subsequent frame.
[0073]
The uncompensated residual E0 is a residual calculated by the block of the bottom field of the target frame and the corresponding block of the top field of the subsequent frame.
[0074]
The residual Ebt after motion compensation is a residual calculated by a block obtained by motion compensation of a block in the bottom field of the target frame and a corresponding block in the top field of the subsequent frame.
[0075]
The bottom-top motion vector B, the uncompensated residual E0, and the residual Ebt after motion compensation may be those defined by the target frame and the previous frame.
[0076]
In the subsequent step S13, these calculation results are used to determine whether a block moving image or still image is determined.
[0077]
Details of the subroutine processing in step S13 in FIG. 3 will be described with reference to the flowchart in FIG.
[0078]
In step S21 of FIG. 5, the moving image still image determination device 20 determines, for each block, whether or not the top-top residual Et exceeds the reference value Th1. If it is determined that the top-top residual Et of the block exceeds the reference value Th1, the process branches to step S22, and it is determined that the block is a moving image block.
[0079]
If the moving picture still image determination device 20 determines that the top-top residual Et of the block is equal to or less than the reference value Th1 in step S21, the bottom-bottom residual Eb of the block is further determined in step S23. It is determined whether or not exceeds the reference value Th1. When the moving image still image determination device 20 determines that the bottom-bottom residual Eb of the block exceeds the reference value Th1, the process branches to step S22, and the block is determined to be a moving image block.
[0080]
When it is determined in step S23 that the bottom-bottom residual Eb of the block is equal to or less than the reference value Th1, the moving image still image determination device 20 determines that the length (size) L of the motion vector B is equal to step S24. It is determined whether or not the reference value Th2 is exceeded. If it is determined that the length L of the motion vector B is equal to or less than the reference value Th2, the process branches to step S26, and the block is determined to be a still image.
[0081]
If it is determined in step S24 that the length L of the motion vector B exceeds the reference value Th2, then in step S25, the residual Ebt after motion compensation is a fixed ratio of the uncompensated residual E0. If it is determined whether the residual Ebt after motion compensation is equal to or greater than a certain ratio k of the uncompensated residual E0, the process branches to step S26, and the block is a still image. If it is determined that the block is a block and the residual Ebt after motion compensation is determined to be smaller than a certain ratio k of the uncompensated residual E0, the process branches to step S22, and the block is determined to be a moving image block. Is done.
[0082]
In steps S21 and S23 shown in the flowchart of FIG. 5, the determination is performed using the residuals (top-top residual Et and bottom-bottom residual Eb) defined between corresponding fields of adjacent frames. Compared with the determination using the residual defined between two fields of the same frame, an accurate determination result can be obtained.
[0083]
Also, by using the determination based on the motion vector shown in step S24, an input image in which an object of a predetermined size moves quickly is mistaken as a still image (the residual changes greatly for each field in a predetermined block). However, it is possible to prevent a video block in which the top-top residual Et and the bottom-bottom residual Eb are less than a predetermined value from being mistaken as a still image block.
[0084]
Furthermore, by using the determination shown in step S25, if a block similar to the target block happens to be present in the subsequent top field, it is prevented from misidentifying a still image block as a moving image block corresponding to a motion vector. be able to.
[0085]
In this way, it is possible to accurately determine whether the target block is a moving image block or a still image block by using a residual and a motion vector between predetermined blocks. Note that if either one of the top-top residual Et or bottom-bottom residual Eb exceeds the reference value Th1, the target block is a video block, and otherwise, a still image block You may make it determine with there.
[0086]
Subsequently, in step S14 of FIG. 3, the interpolated image generation device 13 uses still image data from moving image data input from the subtraction circuit 12 based on the determination result of the moving image still image supplied from the moving image still image determination device 20. Is generated.
[0087]
Here, the details of the processing in this step will be described with reference to FIGS.
[0088]
FIG. 6 shows a state in which the moving image block and the still image block are adjacent to each other.
[0089]
Each of the moving image block and the still image block shown in FIG. 6 shows data for two fields. Each field contains the pixels of the line indicated by top and bottom.
[0090]
When the pixel value of the top field of the i line j column of the still image block and the moving image block is t (i, j) and the pixel value of the bottom field of the i line j column is b (i, j), the filter operation circuit 31 Uses the pixel values t (i, j) and b (i, j) and the pixel values t (i + 1, j) supplied from the subtraction circuit 12 while keeping the pixel values in the top field as they are. The interpolated image data of the pixel value bn (i, j) in the bottom field of the i line j column is generated according to the equation (1).
bn (i, j) = k1 * t (i, j) + k2 * b (i, j) + k1 * t (i + 1, j) (1)
[0091]
Here, the interpolation coefficient k1 and the interpolation coefficient k2 are interpolation coefficients that are set by the boundary determination / coefficient switching circuit 32 based on the determination result supplied from the moving image still image determination device 20 and output to the filter operation circuit 31, The still image block and the moving image block have different values. In addition, in the vicinity of the boundary between the still image block and the moving image block, the boundary determination / coefficient switching circuit 32 changes the interpolation coefficient k1 and the interpolation coefficient K2 in stages so that the pixel values do not become discontinuous values. And output to the filter operation circuit 31. FIG. 7 shows an example of specific values of the interpolation coefficient K1 and the interpolation coefficient K2 in the still image block.
[0092]
FIG. 7 shows an example of values of the interpolation coefficient K1 and the interpolation coefficient K2 used when obtaining pixel values of four pixels in the still image block in the vicinity of the boundary between the still image block and the moving image block.
[0093]
For example, in the pixel value of the luminance signal, the values of the corresponding interpolation coefficient K1 and interpolation coefficient K2 when calculating the pixel value of the fourth (or subsequent) pixel from the boundary are 0 and 1, respectively. If this is substituted into equation (1), then bn (i, j) = b (i, j). This means that the pixel value of the bottom field of the still image block is used as it is for the generated interpolated image data (pixel value of the bottom field). Similarly, the interpolated image data of the pixels of the still image block sufficiently separated from the boundary (4 pixels or more) uses the pixel values of the pixels of the still image block as they are. That is, as the still image data corresponding to the still image block, the two field data of the still image block are used as they are.
[0094]
Further, when the pixel values of the third pixel, the second pixel, and the first pixel from the boundary are obtained from the interpolation coefficient K1 and the interpolation coefficient K2 shown in FIG. 7, they are as follows.
(1/8) * t (i, j) + (6/8) * b (i, j) + (1/8) * t (i + 1, j),
(2/8) * t (i, j) + (4/8) * b (i, j) + (2/8) * t (i + 1, j),
(3/8) * t (i, j) + (2/8) * b (i, j) + (3/8) * t (i + 1, j)
[0095]
It can be seen that the weight of the pixel value of the top field (one field) increases and the weight of the pixel value of the bottom field decreases as the moving image block is approached. That is, in the vicinity of the boundary between the still image block and the moving image block in the still image block, still image data in which one field (top field) data has a greater weight is generated as the boundary is approached.
[0096]
On the other hand, in the moving image block, the boundary determination / coefficient switching circuit 32 sets the interpolation coefficient K1 to 1/2 and the interpolation coefficient K2 to 0, and supplies it to the filter operation circuit 31. Therefore, the filter operation circuit 31 generates the pixel value of the bottom field using the pixel value of only the top field (one field). In this case, bn (i, j) is
(1/2) * t (i, j) + (1/2) * t (i + 1, j), which is the pixel value of the i-th top field and the i + 1-th line top This is the average value of the pixel values in the field. That is, the filter operation circuit 31 generates more natural interpolation image data (bottom field data) using only the top field data.
[0097]
Note that the boundary determination / coefficient switching circuit 32 does not change the values of the interpolation coefficients K1 and K2 in the vicinity of the boundary with the still image block and in the central portion in the moving image block. This prevents moving images that are likely to be less clear than still images from becoming more unclear.
[0098]
As described above, in the moving image block, the interpolated image data is generated based on one field data and in the still image block based on the two field data, respectively, and in the vicinity of the boundary between the still image block and the moving image block, Since the coefficient changes step by step, more natural still image data is generated.
[0099]
The same applies to the color difference signal. Since the number of pixels constituting one frame is half that of the luminance signal, the color difference signal uses an interpolation coefficient having the same value as the interpolation coefficient corresponding to the pixel of the luminance signal.
[0100]
Further, in the equation (1), when bn (i, j) is the pixel value of the lowermost line on the screen, the filter operation circuit 31 virtually hypothesizes the pixel value t (i) of the next lower line. + 1, j) is considered, and the value is calculated as being the same as the pixel value t (i, j) of the i-line top field. That is, in this case, bn (i, j) is given by equation (2).
bn (i, j) = 2 * k1 * t (i, j) + k2 * b (i, j) (2)
[0101]
In this way, since the interpolation image generation device 13 generates natural interpolation image data based on the determination result supplied from the moving image still image determination device 20, it can generate higher quality still image data. .
[0102]
Returning to the description of FIG. 3, the interpolated image generation device 13 outputs the still image data to the DCT circuit 14 in step S <b> 15. The still image data is subjected to discrete cosine transform by the DCT circuit 14, quantized by the quantization circuit 15, encoded by the variable length encoding circuit 16, and then output to the recording device 4. Thereafter, in the subsequent step S6, the recording device 4 records the compressed still image data on a recording medium.
[0103]
As described above, it is possible to generate still image data with minimal blurring and minimal reduction in resolution by accurately determining the block of interlaced moving image data as a moving image block and a still image block. it can.
[0104]
Further, since the interpolation coefficient is changed stepwise in the vicinity of the boundary between the moving image block and the still image block in consideration of the discontinuity of resolution, more natural still image data can be generated.
[0105]
Still further, the still image data generation apparatus of the present invention is basically designed as it is using the circuits constituting the conventional image compression apparatus, so that the design is easy, and the low-cost and simple configuration is realized. be able to.
[0106]
In the above-described embodiment, the sum of absolute differences is used as the residual, but the sum of squares of the differences may be used. In addition, the moving image block data is generated from the top field image data, but may be generated from the bottom field image data. Furthermore, the still image block data is generated from the data in the top field and the data in the bottom field, but the data in the bottom field and the data in the top field are calculated. It can also be generated. In addition, the moving image block and still image block determination method and the interpolation method corresponding thereto can flexibly support various numbers of pixels and resolutions.
[0107]
【The invention's effect】
As above , The present invention According to the above, a residual or motion vector defined by a block of a predetermined frame and a corresponding block of a predetermined field of a frame before and after the frame is calculated, and the moving image is calculated using the calculated residual or motion vector. Since the determination of the block or the still image block is performed, it is possible to suppress the erroneous determination of the moving image block and the still image block.
[0108]
Moreover, according to the present invention, , Between video block and still image block boundary Therefore, more natural still image data can be generated.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of an image compression recording system using a still image data generation apparatus of the present invention.
FIG. 2 is a block diagram illustrating a configuration of an example of an interpolated image generation apparatus 13;
FIG. 3 is a flowchart for explaining a processing operation of the image compression recording system of FIG. 1;
FIG. 4 is a diagram illustrating a relationship between blocks in a frame used when calculating a residual and a motion vector.
FIG. 5 is a flowchart for explaining details of a subroutine process shown in step S13 of FIG. 3;
FIG. 6 is a diagram illustrating pixels when a still image block and a moving image block are adjacent to each other.
FIG. 7 is a diagram illustrating a relationship between a distance from a boundary and a value of an interpolation coefficient in a still image block.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Image input device, 2 Preprocessing device, 3 Image compression device, 4 Recording device, 11 Frame memory, 12 Subtraction circuit, 13 Interpolation image generation device, 14 DCT circuit, 15 Quantization circuit, 16 Variable length coding circuit, 17 Motion detection circuit, 18 residual detection circuit, 19 motion compensation circuit, 20 moving image still image determination device, 21 inverse quantization circuit, 22 inverse DCT circuit, 23 control circuit, 24 switch, 25 addition circuit, 26 frame memory, 31 filter Arithmetic circuit, 32 Boundary judgment / coefficient switching circuit

Claims (7)

インタレースの動画像データより所定の静止画像データを生成する静止画像データ生成装置において、
前記動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積する蓄積手段と、
前記蓄積手段に蓄積された前記所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、前記所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算する計算手段と、
前記計算手段により計算された前記第１の残差と前記第２の残差のうちの何れかが所定の基準値より大きい場合、前記所定のフレームを構成するブロックを動画ブロックと判定し、前記第１の残差、前記第２の残差、および前記動きベクトルのうちの何れもが前記所定の基準値以下である場合、静止画ブロックと判定する判定手段と、
前記判定に基づいて前記静止画像データを生成する生成手段と
を備えることを特徴とする静止画像データ生成装置。In a still image data generating device that generates predetermined still image data from interlaced moving image data,
Storage means for storing data of a predetermined frame of the moving image data and data of at least one field of frames before and after the frame;
First defined respectively by a block in each field of two fields constituting the predetermined frame stored in the storage means and a block in a corresponding field of a frame adjacent to the predetermined frame. Two residuals, and a block in one field of the predetermined frame and a block in a non-corresponding field of a frame before or after the predetermined frame. A calculation means for calculating a motion vector defined by a corresponding block;
If any of the first residual and the second residual calculated by the calculating means is larger than a predetermined reference value, the block constituting the predetermined frame is determined as a moving image block, A determination unit that determines a still image block when any of the first residual, the second residual, and the motion vector is equal to or less than the predetermined reference value;
A still image data generating apparatus comprising: generating means for generating the still image data based on the determination. 前記フレームは、第１のフィールドと第２のフィールドから構成され、
前記計算手段は、前記蓄積手段に蓄積された前記所定のフレームの第１のフィールド内の第１のブロックと、その所定のフレームの前のフレームの第１のフィールド内の、前記第１のブロックに対応するブロックとで規定される残差を前記第１の残差として計算し、
前記所定のフレームの第２のフィールド内の第２のブロックと、その所定のフレームの後のフレームの第２のフィールド内の、前記第２のブロックに対応するブロックとで規定される残差を前記第２の残差として計算する
ことを特徴とする請求項１に記載の静止画像データ生成装置。The frame includes a first field and a second field,
The calculation means includes a first block in a first field of the predetermined frame stored in the storage means, and a first block in a first field of a frame before the predetermined frame. A residual defined by the block corresponding to is calculated as the first residual,
A residual defined by a second block in a second field of the predetermined frame and a block corresponding to the second block in a second field of a frame after the predetermined frame; The still image data generation device according to claim 1, wherein the still image data generation device calculates the second residual. インタレースの動画像データより所定の静止画像データを生成する静止画像データ生成方法において、
前記動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、
蓄積された前記所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、前記所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、
計算された前記第１の残差と前記第２の残差のうちの何れかが所定の基準値より大きい場合、前記所定のフレームを構成するブロックを動画ブロックと判定し、前記第１の残差、前記第２の残差、および前記動きベクトルのうちの何れもが前記所定の基準値以下である場合、静止画ブロックと判定し、
前記判定に基づいて前記静止画像データを生成する
ことを特徴とする静止画像データ生成方法。In a still image data generation method for generating predetermined still image data from interlaced moving image data,
Among the moving image data, storing data of a predetermined frame and data of at least one field of frames before and after the frame,
A first residual defined respectively by a block in each field of the two fields constituting the stored predetermined frame and a block in a corresponding field of a frame adjacent to the predetermined frame; Two residuals of a second residual, a block in one field of the predetermined frame, and a block corresponding to that block in a non-corresponding field of a frame before or after the predetermined frame Calculate the motion vector specified by
If any of the calculated first residual and second residual is larger than a predetermined reference value, the block constituting the predetermined frame is determined as a moving image block, and the first residual is determined. If any of the difference, the second residual, and the motion vector is less than or equal to the predetermined reference value, it is determined as a still image block,
The still image data generation method, wherein the still image data is generated based on the determination. インタレースの動画像データより所定の静止画像データを生成する静止画像データ生成装置において、
前記動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積する蓄積手段と、
前記蓄積手段に蓄積された前記所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、前記所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算する計算手段と、
前記計算手段により計算された前記第１の残差と前記第２の残差のうちの何れかが所定の基準値より大きい場合、前記所定のフレームを構成するブロックを動画ブロックと判定し、前記第１の残差、前記第２の残差、および前記動きベクトルのうちの何れもが前記所定の基準値以下である場合、静止画ブロックと判定する判定手段と、
前記判定に対応して、前記動画ブロックと前記静止画ブロックとの境界近傍において段階的に変化する補間係数を用いて、前記所定のフレームを構成する２つのフィールドのうちの１つのフィールドの各画素値の補間画像データを、前記静止画像データとして生成する生成手段と
を備えることを特徴とする静止画像データ生成装置。In a still image data generating device that generates predetermined still image data from interlaced moving image data,
Storage means for storing data of a predetermined frame of the moving image data and data of at least one field of frames before and after the frame;
First defined respectively by a block in each field of two fields constituting the predetermined frame stored in the storage means and a block in a corresponding field of a frame adjacent to the predetermined frame. Two residuals, and a block in one field of the predetermined frame and a block in a non-corresponding field of a frame before or after the predetermined frame. A calculation means for calculating a motion vector defined by a corresponding block;
If any of the first residual and the second residual calculated by the calculating means is larger than a predetermined reference value, the block constituting the predetermined frame is determined as a moving image block, A determination unit that determines a still image block when any of the first residual, the second residual, and the motion vector is equal to or less than the predetermined reference value;
Corresponding to the determination, each pixel of one field of the two fields constituting the predetermined frame using an interpolation coefficient that changes stepwise in the vicinity of the boundary between the moving image block and the still image block. A still image data generating device comprising: generating means for generating interpolated image data of values as the still image data. インタレースの動画像データより所定の静止画像データを生成する静止画像データ生成方法において、
前記動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、
蓄積された前記所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、前記所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、
計算された前記第１の残差と前記第２の残差のうちの何れかが所定の基準値より大きい場合、前記所定のフレームを構成するブロックを動画ブロックと判定し、前記第１の残差、前記第２の残差、および前記動きベクトルのうちの何れもが前記所定の基準値以下である場合、静止画ブロックと判定し、
前記判定に対応して、前記動画ブロックと前記静止画ブロックとの境界近傍において段階的に変化する補間係数を用いて、前記所定のフレームを構成する２つのフィールドのうちの１つのフィールドの各画素値の補間画像データを、前記静止画像データとして生成する
ことを特徴とする静止画像データ生成方法。In a still image data generation method for generating predetermined still image data from interlaced moving image data,
Among the moving image data, storing data of a predetermined frame and data of at least one field of frames before and after the frame,
A first residual defined respectively by a block in each field of the two fields constituting the stored predetermined frame and a block in a corresponding field of a frame adjacent to the predetermined frame; Two residuals of a second residual, a block in one field of the predetermined frame, and a block corresponding to that block in a non-corresponding field of a frame before or after the predetermined frame Calculate the motion vector specified by
If any of the calculated first residual and second residual is larger than a predetermined reference value, the block constituting the predetermined frame is determined as a moving image block, and the first residual is determined. If any of the difference, the second residual, and the motion vector is less than or equal to the predetermined reference value, it is determined as a still image block,
Corresponding to the determination, each pixel of one field of the two fields constituting the predetermined frame using an interpolation coefficient that changes stepwise in the vicinity of the boundary between the moving image block and the still image block. A still image data generation method comprising generating interpolated image data of values as the still image data. インタレースの動画像データより所定の静止画像データを生成する静止画像データ生成装置において、
前記動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積する蓄積手段と、
前記蓄積手段に蓄積された前記所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、前記所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算する計算手段と、
前記計算手段により計算された前記第１の残差と前記第２の残差のうちの何れかが所定の基準値より大きい場合、前記所定のフレームを構成するブロックを動画ブロックと判定し、前記第１の残差、前記第２の残差、および前記動きベクトルのうちの何れもが前記所定の基準値以下である場合、静止画ブロックと判定する判定手段と、
前記所定のフレームの１つのフィールドの各画素を対象画素とし、前記対象画素がフレームの最下ラインの画素であるとき、前記最下ラインの１つ上のラインの画素が、前記最下ラインの１つ下のラインに位置するものとして、前記判定に対応して、前記動画ブロックと前記静止画ブロックとの境界近傍において段階的に変化する補間係数と、前記対象画素が位置するラインの１つ上のラインおよび１つ下のラインに位置する画素の画素値とを用いて、各対象画素の画素値の補間画像データを、前記静止画像データとして生成する生成手段と
を備えることを特徴とする静止画像データ生成装置。In a still image data generating device that generates predetermined still image data from interlaced moving image data,
Storage means for storing data of a predetermined frame of the moving image data and data of at least one field of frames before and after the frame;
First defined respectively by a block in each field of two fields constituting the predetermined frame stored in the storage means and a block in a corresponding field of a frame adjacent to the predetermined frame. Two residuals, and a block in one field of the predetermined frame and a block in a non-corresponding field of a frame before or after the predetermined frame. A calculation means for calculating a motion vector defined by a corresponding block;
If any of the first residual and the second residual calculated by the calculating means is larger than a predetermined reference value, the block constituting the predetermined frame is determined as a moving image block, A determination unit that determines a still image block when any of the first residual, the second residual, and the motion vector is equal to or less than the predetermined reference value;
As one pixel of each pixel of the field of the predetermined frame, the target pixel when a pixel of the lowermost line of the frame, one on top of the pixels of the line of the lowermost line, the lowermost line An interpolation coefficient that changes stepwise in the vicinity of the boundary between the moving image block and the still image block, and one of the lines where the target pixel is located, corresponding to the determination, as being located in the next lower line And generating means for generating interpolated image data of the pixel value of each target pixel as the still image data using the pixel values of the pixels located in the upper line and the next lower line. Still image data generation device. インタレースの動画像データより所定の静止画像データを生成する静止画像データ生成方法において、
前記動画像データのうち、所定のフレームのデータと、その前後のフレームの少なくとも一方のフィールドのデータとを蓄積し、
蓄積された前記所定のフレームを構成する２つのフィールドの各フィールド内のブロックと、その所定のフレームに隣接するフレームの、対応するフィールド内のブロックとで、それぞれ規定される第１の残差と第２の残差の２つの残差、および、前記所定のフレームの１つのフィールド内のブロックと、その所定のフレームの前または後のフレームの、対応しないフィールドの、そのブロックに対応するブロックとで規定される動きベクトルを計算し、
計算された前記第１の残差と前記第２の残差のうちの何れかが所定の基準値より大きい場合、前記所定のフレームを構成するブロックを動画ブロックと判定し、前記第１の残差、前記第２の残差、および前記動きベクトルのうちの何れもが前記所定の基準値以下である場合、静止画ブロックと判定し、
前記所定のフレームの１つのフィールドの各画素を対象画素とし、前記対象画素がフレームの最下ラインの画素であるとき、前記最下ラインの１つ上のラインの画素が、前記最下ラインの１つ下のラインに位置するものとして、前記判定に対応して、前記動画ブロックと前記静止画ブロックとの境界近傍において段階的に変化する補間係数と、前記対象画素が位置するラインの１つ上のラインおよび１つ下のラインに位置する画素の画素値とを用いて、各対象画素の画素値の補間画像データを、前記静止画像データとして生成する
ことを特徴とする静止画像データ生成方法。In a still image data generation method for generating predetermined still image data from interlaced moving image data,
Among the moving image data, storing data of a predetermined frame and data of at least one field of frames before and after the frame,
A first residual defined respectively by a block in each field of the two fields constituting the stored predetermined frame and a block in a corresponding field of a frame adjacent to the predetermined frame; Two residuals of a second residual, a block in one field of the predetermined frame, and a block corresponding to that block in a non-corresponding field of a frame before or after the predetermined frame Calculate the motion vector specified by
If any of the calculated first residual and second residual is larger than a predetermined reference value, the block constituting the predetermined frame is determined as a moving image block, and the first residual is determined. If any of the difference, the second residual, and the motion vector is less than or equal to the predetermined reference value, it is determined as a still image block,
As one pixel of each pixel of the field of the predetermined frame, the target pixel when a pixel of the lowermost line of the frame, one on top of the pixels of the line of the lowermost line, the lowermost line An interpolation coefficient that changes stepwise in the vicinity of the boundary between the moving image block and the still image block, and one of the lines where the target pixel is located, corresponding to the determination, as being located in the next lower line Still image data generation method characterized by generating interpolated image data of pixel values of each target pixel as the still image data using pixel values of pixels located on the upper line and the next lower line .
JP01729396A 1996-02-02 1996-02-02 Still image data generating apparatus and still image data generating method Expired - Fee Related JP3937247B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP01729396A JP3937247B2 (en) 1996-02-02 1996-02-02 Still image data generating apparatus and still image data generating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP01729396A JP3937247B2 (en) 1996-02-02 1996-02-02 Still image data generating apparatus and still image data generating method

Publications (2)

Publication Number Publication Date
JPH09214976A JPH09214976A (en) 1997-08-15
JP3937247B2 true JP3937247B2 (en) 2007-06-27

Family

ID=11939957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP01729396A Expired - Fee Related JP3937247B2 (en) 1996-02-02 1996-02-02 Still image data generating apparatus and still image data generating method

Country Status (1)

Country Link
JP (1) JP3937247B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100873636B1 (en) * 2005-11-14 2008-12-12 삼성전자주식회사 Method and apparatus for encoding/decoding image using single coding mode
JP5136470B2 (en) 2009-03-06 2013-02-06 富士通株式会社 Moving picture coding apparatus and moving picture coding method
JP6875138B2 (en) 2017-02-01 2021-05-19 日本ペイント・オートモーティブコーティングス株式会社 Method for forming laminated coating film, coated material and laminated coating film

Also Published As

Publication number Publication date
JPH09214976A (en) 1997-08-15

Similar Documents

Publication Publication Date Title
KR100231186B1 (en) Method and device for decoding image data
US6466625B1 (en) Picture signal processing method and apparatus
US6928234B2 (en) Picture recording apparatus and method thereof
JPH09163380A (en) Image coding device and motion vector detection method
WO1997049250A1 (en) Device and method for encoding picture and device and method for decoding picture
KR19980071311A (en) Image signal processing apparatus and method
US6873657B2 (en) Method of and system for improving temporal consistency in sharpness enhancement for a video signal
KR100415494B1 (en) Image encoding method and apparatus, recording apparatus, video signal encoding apparatus, processing apparatus and method, video data processing apparatus and method
EP1506525B1 (en) System for and method of sharpness enhancement for coded digital video
US6480543B1 (en) Detection of a change of scene in a motion estimator of a video encoder
JP2000013643A (en) Device and method for reducing noise, video signal processor and motion detecting method
JPH10322705A (en) Motion detection and motion compensation prediction circuit
JP3200196B2 (en) Motion vector detection method
JP3937247B2 (en) Still image data generating apparatus and still image data generating method
JP3951321B2 (en) Image signal processing apparatus and recording / reproducing apparatus
JP3348776B2 (en) Moving picture coding apparatus and method
JPH10313455A (en) Supervisory image recording device and its reproducing device
JP2574572B2 (en) Image encoding method and image encoding device
JP2630022B2 (en) Motion compensated interframe coding device
JP3013111B2 (en) Intra-frame coding method
JPH07264594A (en) Motion compensative prediction encoding method for dynamic image
JP2629997B2 (en) Motion compensated interframe coding device
JPH06217284A (en) Image encoding device
JP3569564B2 (en) Interpolated image data generation apparatus and method
JPH06105299A (en) Dynamic image compressor

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060928

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070315

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100406

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110406

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120406

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130406

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees