JP3569564B2

JP3569564B2 - 補間画像データ生成装置および方法

Info

Publication number: JP3569564B2
Application number: JP8867795A
Authority: JP
Inventors: 杉夫巻島; 龍司白幡
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1995-03-23
Filing date: 1995-03-23
Publication date: 2004-09-22
Anticipated expiration: 2019-09-22
Also published as: JPH08265710A

Description

【０００１】
【技術分野】
この発明は，奇数行または偶数行の画素からなるフィールド画像をフレーム画像に変換するための補間画像データ生成装置および方法に関する。
【０００２】
【発明の背景】
ディジタル・ビデオ・テープ・レコーダ（ＤＶＴＲ）は，ＣＣＤのような固体電子撮像素子を用いて被写体を撮像し，撮像により得られた被写体像を表わす映像信号をディジタル画像データに変換して磁気テープに記録するものである。ＤＶＴＲにおいては動画を記録する際には一定周期でＣＣＤのインターレース読出しを行ない，奇数行の画素からなるフィールド画像と偶数行の画素からなるフィールド画像とを交互に得るのが一般的である。これにより撮像周期を早くすることが可能であり，動きの速い被写体であっても動きの滑らかな画像を記録することができるからである。
【０００３】
動画を再生する場合には奇数行の画素からなるフィールド画像と偶数行の画素からなるフィールド画像とが交互に与えられることによりフレーム画像が構成され，テレビジョン装置に映し出される。図２に連続する複数の（ここでは８個）フィールド画像が示されている。連続する２個のフィールド画像から１つのフレーム画像が構成される。たとえば第１フィールド画像と第２フィールド画像から第１フレーム画像が構成され，第３フィールド画像と第４フィールド画像から第２フレーム画像が構成され，第５フィールド画像と第６フィールド画像から第３フレーム画像が構成され，第７フィールド画像と第８フィールド画像とから第４フレーム画像が構成される。
【０００４】
所望の場面をプリントとして得たいという要求から，ＤＶＴＲにおいては動画再生機能に加え静止画再生機能を有するものも開発されてきている。しかしながら動画記録において得られたフィールド画像をプリントしたのでは，フィールド画像は奇数行または偶数行の画素から構成されているため，垂直解像度が低く，高画質のプリントが得られない。
【０００５】
高画質なプリントを得るために２つのフィールド画像からフレーム画像を構成すると，２つのフィールド画像間の撮像に時間的なずれがあるため，被写体に動きがある場合，得られるプリントは画像ずれの生じた不鮮明なものとなることがある。このためにフィールド画像において欠如した画素の上下の画素を用いて欠如した画素を生成し，フィールド画像からフレーム画像を構成しフレーム画像のプリントを得るものがある（たとえば特開昭６３−１８７７８５号公報参照）。この場合には斜め方向の線については階段状の段差を生ずるという欠点がある。
【０００６】
この欠点を解消するために，フィールド画像において，欠如している画素の斜め方向の相関の強い方向を検出し，画素の補間を行ないフィールド画像からフレーム画像を生成するものがある（たとえば特開平４−３６６８９４号公報参照）。
【０００７】
しかしながら，この方法であっても垂直解像度，斜め方向の線について生じる階段状の段差の改善は必ずしも充分ではない。
【０００８】
さらに記録時において被写体が静止しているときはフィールド間符号化がなされ，被写体が動いているときはフィールド内符号化がなされていることを利用して補間方法を変えてフレーム画像を得るものもある（たとえば特開平４−８６１８５号公報）。これはフィールド間符号化またはフィールド内符号化がなされているかをブロックごとに判断し，フィールド間符号化の場合は被写体が静止していると考えられるためフィールド間補間をしてフレーム画像を生成し，フィールド内符号化の場合は被写体が動いていると考えられるためフィールド内補間をしてフレーム画像を生成するものである。この場合符号化時においてフィールド間補間をするかフィールド内補間をするかを判断する必要があり，この判断には動きベクトルを算出するのが一般的である。しかしながらこの動きベクトルの算出はその計算量が膨大である。
【０００９】
【発明の開示】
この発明は，動画再生用のフィールド画像から高画質で画像ずれの少ない静止画用のフレーム画像を生成できるようにすることを目的とする。
【００１０】
この発明は，インターレース走査することにより，行方向および列方向に存在する多数の画素からなるフレーム画像を構成する，奇数行の画素からなるフィールド画像と偶数行の画素からなるフィールド画像とが交互に連続するものであり，連続する第１のフィールド画像を表わす第１のフィールド画像データと，第２のフィールド画像を表わす第２のフィールド画像データと，第３のフィールド画像を表わす第３のフィールド画像データとが与えられたときに上記第１のフィールド画像と上記第３のフィールド画像との間にある上記第２のフィールド画像を上記フレーム画像に変換するために奇数行または偶数行の画素のうち欠如している画素を表わす補間画像データを生成する装置であり，第１のフィールド画像と第３のフィールド画像上の対応する位置にそれぞれ設定されたウィンドウ内において，第２のフィールド画像上の上記ウィンドウの中心に相当する中心画素を中心位置として点対称の位置にある画素の画素データを取出す第１の画素データ取出手段，第２のフィールド画像上の上記ウィンドウ内であって，上記中心画素を中心位置として点対称の位置にある１対の画素の画素データを取出す第２の画素データ取出手段，上記第１の画素データ取出手段によって取出された第１のフィールド画像の画素データと第３のフィールド画像の画素データとの相関値および上記第２の画素データ取出手段によって取出された第２のフィールド画像の１対の画素の画素データの相関値をそれぞれ算出する相関値算出手段，ならびに上記相関値算出手段によって算出された相関値のうち最も強い相関を表わす相関値を生成した１対の画素データに基づいて，上記第２のフィールド画像の上記中心画素の画素データを補間演算する補間演算手段を備えていることを特徴とする。
【００１１】
またこの発明は，上記補間画像データを生成する方法も提供している。すなわち，インターレース走査することにより，行方向および列方向に存在する多数の画素からなるフレーム画像を構成する，奇数行の画素からなるフィールド画像と偶数行の画素からなるフィールド画像とが交互に連続するものであり，連続する第１のフィールド画像を表わす第１のフィールド画像データと，第２のフィールド画像を表わす第２のフィールド画像データと，第３のフィールド画像を表わす第３のフィールド画像データとが与えられたときに上記第１のフィールド画像と上記第３のフィールド画像との間にある上記第２のフィールド画像を上記フレーム画像に変換するために奇数行または偶数行の画素のうち欠如している画素を表わす補間画像データを生成する方法であり，第１のフィールド画像と第３のフィールド画像上の対応する位置にそれぞれ設定されたウィンドウ内において，第２のフィールド画像上の上記ウィンドウの中心に相当する中心画素を中心位置として点対称の位置にある画素の画素データを取出す第１の画素データ取出処理を行ない，第２のフィールド画像上の上記ウィンドウ内であって，上記中心画素を中心位置として点対称の位置にある１対の画素の画素データを取出す第２の画素データ取出処理を行ない，取出された第１のフィールド画像の画素データと第３のフィールド画像の画素データとの相関値および取出された第２のフィールド画像の１対の画素の画素データの相関値をそれぞれ算出し，算出された相関値のうち最も強い相関を表わす相関値を生成した１対の画素データに基づいて，上記第２のフィールド画像の上記中心画素の画素データを補間演算することを特徴とする。
【００１２】
上記第１のフィールド画像および上記第３のフィールド画像上において上記ウィンドウの位置を，１または複数画素分ずつ水平方向および垂直方向に順次シフトしながら，上記ウィンドウの各位置で上記第１の画素データ取出動作，上記第２の画素データ取出動作，上記相関演算および上記補間演算を繰返し，第２のフィールド画像と組合わせることによりフレーム画像を得ることができる。
【００１３】
補間演算の算出には，最も強い相関を表わす相関値を生成した１対の画素データの平均値を算出することが挙げられる。
【００１４】
また上記第１の画素データの取出処理はたとえば，第２のフィールド画像の補間すべき画素の位置に対応する，第１のフィールド画像の画素の画素データおよび第３のフィールド画像の画素の画素データの取出処理が挙げられる。上記第２の画素データの取出処理は，たとえば第２のフィールド画像の補間すべき画素の位置の上下に隣接する１対の画素データを取出す処理が挙げられる。
【００１５】
この発明によると，第２のフィールド画像上の上記ウィンドウの中心に相当する中心画素を中心として点対称の位置にある，第１のフィールド画像および第３のフィールド画像上のウィンドウ内の画素の画素データならびに第２のフィールド画像上のウィンドウ内の一対の画素の画素データをそれぞれ取出している。取出した一対の画素の画素データの相関値が算出される。最も強い相関を表わす相関値を生成した一対の画素がほぼ同じ像を表わしている。
【００１６】
この発明によるとほぼ同じ像を表わす一対の画素を表わす画素データに基づいて第２のフィールド画像をフレーム画像に変換している。得られるフレーム画像は，エッジの滑らかなものとなる。第２のフィールド画像は奇数行または偶数行の画素からなり比較的垂直解像度の低いものであるが，画素補間が行なわれて得られるフレーム画像は垂直解像度の高いものとなる。したがって高画質の静止画像が得られる。
【００１７】
上記第２の画素データ取出処理の一例には，第２のフィールド画像上の上記ウィンドウ内であって，上記中心画素およびこの中心画素に水平方向に隣接する位置に存在すべき画素の上下にある画素を表わすデータを抽出し，これらの画素を表わすデータの加算値を得，得られた加算値が水平方向に存在する画素についての加算値ほど増加または減少しているかどうかを判定し，増加または減少しているときには，上記欠如している画素の上下の画素を表わすデータを取出し，増加または減少していないときには上記欠如している画素の上下の画素および斜め上下の画素の３方向の画素の相関値を算出し，もっとも高い相関を与える画素を表わすデータを取出すものがある。
【００１８】
上記加算値が水平方向についての加算値ほど増加または減少しているときは，その部分の画像は階段状の部分である。このような場合，欠如している中心画素の上下の画素を用いて，欠如している中心画素を表わすデータを生成すると階段状の部分が強調され画像の乱れが生じることがある。
【００１９】
一方，欠如している中心画素の上下方向，右上左下方向および左上右下方向の３方向にあるそれぞれ２個の画素を表わす画像データを抽出し，それらの相関値を算出し，相関のもっとも高い２個の画素から欠如している画素を表わすデータを生成するものもある。この場合には，欠如している画素の上下にレベルが少し異なる画素があり，欠如している画素の右上左下方向または左上右下方向に存在する画素のレベルが０のときであっても，欠如している画素の右上左下方向または左上右下方向に存在する２個の画素の相関が高いのでこれらの２個の画素にもとづいて欠如している画素が生成される。このため実際の画像と異なる不自然な画像となることがあった。
【００２０】
上記においては，上記第２の画素データの取出処理において取出された一対の画素の相関値が，上記第１の画素データの取出処理において取出された一対の画素の相関値よりも高い相関を与えるときには，上記加算値が水平方向についての加算値ほど増加または減少しているときには最も高い上記相関を与える２個の画素にもとづいて上記欠如している画素のデータを生成し，上記加算値が水平方向についての加算値ほど増加または減少していないときには欠如している画素の上下の画素を用いて欠如している画素を生成しているので，階段状の部分であってもそれが強調されずかつ実際の画像に近い画像が得られる。
【００２１】
【実施例の説明】
図１はこの発明の実施例を示すもので，フィールド画像データからフレーム画像データを生成する装置の電気的構成を示すブロック図である。このフレーム画像データ生成装置は，少なくとも３つの第１，第２および第３のフィールド画像データがこの順序で連続し，かつ奇数フィールド画像と偶数フィールド画像とが交互に現われる場合に，フレーム画像データを生成する装置である。
【００２２】
図２に示すように奇数行の画素からなる奇数フィールド画像（第１フィールド画像，第３フィールド画像，第５フィールド画像，第７フィールド画像）と偶数行の画素からなる偶数フィールド画像（第２フィールド画像，第４フィールド画像，第６フィールド画像，第８フィールド画像）とが交互に現れる画像データが与えられる。以下，図２において第１フィールド画像，第２フィールド画像および第３フィールド画像がこの順序で連続して与えられたときに，第２フィールド画像の画像データを補間してフレーム画像を生成する場合について説明する。
【００２３】
フレーム画像データ生成装置には３つのフィールド・メモリ１１，１２および１３が含まれている。これらのフィールド・メモリ１１，１２および１３のうちフィールド・メモリ１２に，補間することによりフレーム画像データを生成するフィールド画像データが記憶され，このフィールド画像データの前後のフィールド画像データがそれぞれフィールド・メモリ１１またはフィールド・メモリ１３に記憶されるように切換スイッチ１０の切換が制御される。この例では，フィールド・メモリ１１に第１フィールドの画像データが記憶され，フィールド・メモリ１３に第３フィールドの画像データが記憶されるものとする。フィールド・メモリ１２には第２フィールドの画像データが記憶される。
【００２４】
切換スイッチ１０として有接点のものが図示されているが，もちろん実際は半導体無接点スイッチ（ゲート回路等）として実現される。
【００２５】
図３および図４は，第１フィールド画像データおよび第３フィールド画像データからウィンドウＷ１およびＷ３を通してそれぞれ抽出された３画素×３画素の画素群を示すものである。また，これらの画素群の間に，補間によって生成されるべき第２フィールドの画像データの対応する画素も図示されている。図３は画素間の対称関係を明確にするために斜視図的に描かれ，かつ各画素が点（黒丸）で表わされている。図４は画素配列を分りやすくするために平面的に描かれている。ウィンドウＷ２の中心にある画素（２，５）に対応する第２フィールドの画素についての画像データが生成される。
【００２６】
第１フィールド画像，第２フィールド画像および第３フィールド画像のいずれともフィールド画像であるため奇数行または偶数行にのみ画素が存在する。第１フィールド画像および第３フィールド画像においては中央の行にのみ画素が存在し，第２フィールド画像においては第１フィールド画像および第３フィールド画像に画素が存在しない行にのみ画素が存在する。図４においては存在する画素がハッチングで示されている。第１フィールド画像および第３フィールド画像は奇数フィールド画像であり奇数行にのみ画素が存在し，第２フィールド画像は偶数フィールド画像であり偶数行にのみ画素が存在することから，たとえば第２行，第３行および第４行の第１列，第２列および第３列の画素を画像から抽出すれば図３および図４に示す画素群が得られる。
【００２７】
まず補間により画像データを生成すべき画素（２，５）と同一の第２フィールド画像に存在する画素であって，画素（２，５）を中心として点対称の位置にある画素の相関値，すなわち画像（２，１）と画素（２，９）との相関値ｓ_１，画素（２，２）と画素（２，８）との相関値ｓ_２および画素（２，３）と画素（２，７）との相関値ｓ_３を算出する。また補間により画像データを生成すべき画素（２，５）の第２フィールド画像の前後の第１フィールド画像および第３フィールド画像に存在する画素であって，画素（２，５）を中心として，互いに点対称の位置関係にある第１フィールドの画素と第３フィールドの画素との間の相関値，すなわち第１フィールド画像の画素（１，４）と第３フィールド画像の画素（３，６）の相関値ｓ_４，画素（１，５）を画素（３，５）との相関値ｓ_５および画素（１，６）と画素（３，４）の相関値ｓ_６を算出する。画像データを生成すべき画素（２，５）に対応する画素（１，５）と画素（３，５）も画素（２，５）を中心として点対称関係にあるとする。
【００２８】
相関値としては，たとえば２つの画素の画像データの差の絶対値，差の二乗の値等が用いられる。
【００２９】
次に，これらの相関値ｓ_ｉ（ｉ＝１〜６）の中で最も小さい値（最も相関が強いもの）を見付ける。
【００３０】
最小の相関値を生じさせる２つの画素の画像データを用いた補間演算が行なわれ，この補間演算結果が第２フィールドの画素（２，５）の画像データとなる。補間演算は公知の演算でよく，たとえば２つの画素の画像データの平均値を算出する方法が用いられる。
【００３１】
画像データによって表わされる対象物にある方向への動きがあり，第１フィールドから第３フィールドまでの時間（２フィールド周期）の間に２画素分動いたとする。たとえば，この動きが左から右に向う方向であるとすると，第１フィールドの画素（１，４）によって表わされる像は第３フィールドでは画素（３，６）の位置に至る。画素（１，４）の画像データと画素（３，６）の画像データはほぼ等しい値を示すことになるので，相関値ｓ_４は零または零に近い値となる。
【００３２】
第２フィールドの画像データを生成すべき画素を中心として，互いに点対称の位置関係にある第１フィールドの画素と第３フィールドの画素との相関値の最小値を見付け出す（相関の強い画素の対を見付け出す）ということは，上述のように画像データによって表わされる像の動きの方向を検出することを意味する。
【００３３】
この検出した動きの方向にそって補間演算が行なわれ，第２フィールドの画素（２，５）の画像データが算出される。したがって，画素（２，５）の算出された画像データは，第１フィールドの時点と第３フィールドの時点との丁度中間の時点において，その画素（２，５）の位置まで動いてきた像を表わしていることになる。
【００３４】
したがって，上述の処理によって生成されたフレーム画像データを再生したとすると，自然なフレーム画像が得られる。
【００３５】
一方，第１フィールドと第３フィールドとの間でシーンが切換わる場合，第１フィールドの画素と第３フィールドの画素との相関は低くなる。このため第１フィールドの画素と第３フィールドの画素との相関値を見付け出し，画素（２，５）の画像データを生成しても不自然な画像となることがある。このため図１に示すフレーム画像データ生成装置では第１フィールドの画素と第３フィールドの画素との相関演算に加えて画素（２，５）の画素を中心として第２フィールド内において点対称の位置にある一組の画素の相関演算が行なわれる。たとえば第２フィールドにおいて左上の画素（２，１）と右下の画素（２，９）との相関が高い場合は，左上と右下とを結ぶ間に画像の一部が存在すると考えられる。この場合は，画素（２，１）と画素（２，９）の画像データから補間演算が行なわれ，画素（２，５）の画像データが導出される。
【００３６】
補間処理のために画像データを切出すべきウィンドウの大きさは対象物の動きの程度によって定めればよい。ウィンドウの大きさは３画素×３画素に限らず，５画素×５画素，７画素×７画素，９画素×９画素のように任意に決定できる。ウィンドウを大きくすれば大きくするほど大きな動きに対処できる。もちろん小さな動きにも対処できることになる。
【００３７】
ウィンドウは正方形に限られることはない。横方向の動きが大きい場合には３画素（縦方向）×５画素（横方向），３画素×７画素，５画素×７画素，５画素×９画素のようにウィンドウを横方向に長い長方形に設定すればよい。縦方向の動きを重要視する場合には５画素×３画素，７画素×３画素，７画素×５画素，９画素×５画素のように縦方向に長いウィンドウを設定すればよい。この場合中心画素からの距離が遠いほど重い重み付けを行ない，中心画素からの距離が近いほど軽い重み付けを行なうとよい。
【００３８】
個々の画素の画像データにはノイズの影響が顕著に現われやすく，相関値もばらつきやすい。そこで，見付け出された最小の相関値の妥当性の判定を追加することが好ましい。たとえば，所定のしきい値を設定しておき，最小の相関値がこのしきい値よりも小さい場合にはその相関値は妥当なものとする。このしきい値として，ウィンドウの中心の画素（１，５）の画像データと画素（３，５）の画像データとの平均値を採用することもできる。上述した相関値演算および最小の相関値の検出をソフトウェアで実行する場合にもしきい値を用いることができる。たとえば，一定の順序で画素対の相関値を算出し，相関値を算出するごとにしきい値と比較し，しきい値よりも小さい相関値が見付かった時点で処理を終了する。しきい値よりも小さい見付かった相関値を最小のものとみなす。
【００３９】
図１に戻って，ウィンドウ回路１４，１５および１６はそれぞれフィールド・メモリ１１，１２および１３に格納されているフィールド画像データに上述したウィンドウＷ１，Ｗ２およびＷ３を設定するものである。ウィンドウ回路１４，１５および１６によって設定されたウィンドウＷ１，Ｗ２およびＷ３を構成するうち，第１フィールド画像の画像データ，第２フィールド画像の画像データおよび第３フィールド画像の画像データは補間方向判別回路１７に与えられる。
【００４０】
補間方向判別回路１７は，第２フィールド画像内における１組の画素の相関演算および第１フィールド画像の画素と第３フィールド画像の画素との相関演算を行ない，得られた相関値が最も小さくなる１組の画素を見付け出す回路である。補間方向判別回路１７において見付け出された１組の画素を表わすデータは第１の補間画素値演算回路２０および第２の補間画素値演算回路２１にそれぞれ与えられる。
【００４１】
ウィンドウ回路１４，１５および１６によって設定されるウィンドウＷ１，Ｗ２およびＷ３は，１または複数画素ずつ水平および垂直に走査される。各走査位置において，補間画像データが算出されることになる。したがって第２フィールド画像のすべての画素について補間画像データが生成されることになる。
【００４２】
ウィンドウ回路１４，１５および１６は，それぞれ複数個（たとえば３個）の縦続接続されたライン・メモリから構成することができる。補間方向判別回路１７は，減算回路，二乗回路，加算回路，比較回路およびレベル弁別回路から構成することができる。ソフトウェアによって実現する場合には，ウィンドウの設定，動き検出のいずれかまたは両方がプログラムされたコンピュータによって達成される。
【００４３】
ウィンドウ回路１４および１６によって設定されたウィンドウＷ１およびＷ３に含まれる画素の画像データは第２の補間画素値演算回路２１にも与えられる。ウィンドウ回路１５によって設定されたウィンドウＷ２に含まれる画素の画像データは第１の補間画素値演算回路２０にも与えられる。
【００４４】
補間方向判別回路１７において，最も相関値が小さい１組の画素が画素（２，５）が存在するフィールドと同一の第２フィールドに存在すると判断されると第１の補間画素値演算回路２０において，第２フィールド画像に含まれる最も相関値の小さい１組の画素から補間演算が行なわれ，第２フィールドの画素（２，５）の画像データが算出される。このとき第２の補間画素値演算回路２１においては補間演算処理は行なわれない。補間方向判別回路１７において，最も相関値が小さい１組の画素が第１フィールドの画素と第３フィールドの画素とに存在すると判断されると第２の補間画素値演算回路２１において，第１フィールド画像と第３フィールド画像に含まれる最も相関値の小さい１組の画素から補間演算が行なわれ，第２フィールドの画素（２，５）の画像データが算出される。このときは第１の補間画素値演算回路２０において補間演算処理は行なわれない。補間演算はたとえば平均値演算である。
【００４５】
補間画素値演算回路２０または２１から出力されたデータはフレーム・メモリ２２に与えられる。フレーム・メモリ２２にはフィールド・メモリ１２に格納されている第２フィールド画像のデータも与えられる。補間画素値演算回路２０または２１において，第２フィールド画像の欠如している偶数行のすべての画素を表わすデータが生成されフレーム・メモリ２２に与えられることにより，フィールド・メモリ１２に格納されている第２フィールド画像のデータと合成され，フレーム画像が生成される。
【００４６】
上記の説明においては，２つの補間画素値演算回路２０および２１を用いているが，ウィンドウ回路１４，１５および１６の出力を１つの補間画素値演算回路に与え，補間画素値を演算するようにしてもよい。
【００４７】
また上記の説明においては第２フィールドにおける一対の画素の相関演算と第１フィールドおよび第３フィールドにおける一対の画素の相関演算との間では重み付けをすることなく同じように相関演算を施しているが，第２フィールドにおける一対の画素と第１フィールドおよび第３フィールドにおける一対の画素との間に重み付けを行ない，重み付けが行なわれた画素について相関演算を行なうようにしてもよい。さらに画像の種類があらかじめわかっているときには画像の種類に応じて第１フィールドから第３フィールドの各画素に重み付けを行ない，重み付けが行なわれた画素について相関演算を行なうようにしてもよい。
【００４８】
さらに上記の説明においては，補間方向判別回路１７は第２フィールドのウィンドウＷ２内における一対の画素の相関ならびに第１フィールドのウィンドウＷ１内の画素と第３フィールドのウィンドウＷ３内の画素との相関を算出し，最も高い相関を与える一対の画素を検出しているが，第２フィールドのウィンドウＷ２内において補間画素の生成に用いるのに最も適した一対の画素を検出し，この検出された第２フィールドのウィンドウＷ２内における一対の画素から得られる相関値と第１フィールドのウィンドウＷ１内の画素と第３フィールドのウィンドウＷ３内の画素との相関値とを比較し，高い相関を与える一対の画素を検出し相関に用いる一対の画素を決定してもよい。この場合には次に述べるようにして第２フィールドのウィンドウＷ２内において補間画素の生成に用いるのに最も適した画素の対が検出される。
【００４９】
図５に３画素×３画素の画素群が示されている。図５においても図３と同様に画像データが存在する画素がハッチングで示されている。図５では画素Ａ，Ｂ，Ｃ，Ｆ，ＧおよびＨに画像データがあり，画素Ｄ，ＸおよびＥには画像データは存在しない。したがって図５に示す画素群は図４に示す第２フィールドの画素群に対応する。図６は第２フィールドのウィンドウＷ２内において補間画素の生成に用いるのに最も適した一対の画素を検出する手順を示している。
【００５０】
データが存在しない画素の上下の画素（ＡとＦ，ＢとＧ，ＣとＨ）を加算した場合その加算値が水平方向についての加算値ほど増加または減少しているときは，その部分の画像は階段状の部分であり，データが存在しない画素の上下の画素の画像データの相加平均をその欠如している画素の画像データとすると階段状の部分が強調されてしまう。その一方画素Ｘのまわりの２個の画素の相関値を算出し，最も高い相関を与える画素の相加平均をその欠如している画素の画像データとすると，データが欠如している画素Ｘの列に隣接する列の画素Ａ，Ｆ，ＣおよびＨの画像データのレベルがきわめて低く，かつ相関が高く，（たとえばすべて０レベルの場合）画素Ｘの上下の画素ＢおよびＧの画像データのレベルが高くかつ相関が低い場合（たとえば最高レベルと最高レベルに近い場合）などは不自然な画像となることがある。
【００５１】
図６に示す一対の画素を検出する処理手順は，データを生成する画像の部分が階段状のような部分であってもその部分が強調されず，かつ自然な画像が得られるように欠如している画素のデータを生成するための画素を見付ける手順を示している。図６において画素を表わす画像データのレベルも画素と同一符号で示している。
【００５２】
まず，画素ＡとＦの画像データの加算値Ｄａ，画素ＢとＧの画像データの加算値Ｘａおよび画素ＣとＨの画像データの加算値Ｅａが算出される（ステップ６０）。得られた加算値Ｄａ，ＸａおよびＥａを比較し水平方向の加算値ほど増加（Ｄａ＜Ｘａ＜Ｅａ）しているかまたは減少（Ｄａ＞Ｘａ＞Ｅａ）しているかが判断される（ステップ６１）。増加または減少でなければ（ステップ６１でＮＯ），データを生成する画素Ｘの周辺部分は階段状の部分ではないと考えられ，画素Ｘの上下の画素ＢとＧが補間画素の生成に用いるのに適した画素とされる（ステップ６７）。増加または減少していると（ステップ６１でＹＥＳ），データを生成する画素Ｘの周辺部分は階段状の部分であると考えられ，画素Ｘの上下の画素ＢとＧの画像データの相加平均を画素Ｘの画像データとするとその階段状の部分が強調されるので，画素Ｘの斜め方向の２個の画素のうち相関のもっとも高い一対の画素が第２フィールドのウィンドウＷ２内において補間画素の生成に用いるのに最も適した画素とされる。
【００５３】
画素Ｘの左上の画素Ａの画像データと右下の画素Ｈの画像データとの絶対値差Δ１（＝｜Ａ−Ｈ｜），画素Ｘの上の画素Ｂの画像データと下の画素Ｇの画像データとの絶対値差Δ２（＝｜Ｂ−Ｇ｜）および画素Ｘの右上の画素Ｃの画像データと左下の画素Ｆの画像データとの絶対値差Δ３（＝｜Ｃ−Ｆ｜）がそれぞれ算出される（ステップ６２）。これらの絶対値差の演算結果から最も相関の高い画素の組合わせが判断され（ステップ６３および６４），最も高い相関を与える一対の画素が第２フィールドのウィンドウＷ２内において補間画素の生成に用いるのに最も適した画素とされる（ステップ６５，６６または６７）。
【００５４】
上述した補間画像データ生成処理または補間方向判別処理は輝度データ，輝度データと色差データの両方，Ｒ，Ｇ，Ｂの色画像データの全部または一部（たとえばＧ色画像データのみ）等のいかなる画像データにも適用できる。
【００５５】
上述したフレーム画像データ生成装置は，次に詳述するようなディジタル・ビデオ・テープ・レコーダまたはディジタル画像データ再生装置においても好適に利用される。
【００５６】
図７は，ディジタル画像データの記録および再生が可能なディジタル・ビデオ・テープ・レコーダ（ＤＶＴＲ）の電気的構成を示すブロック図である。ディジタル・ビデオ・テープ・レコーダの全体の動作はシステム・コントローラ７０によって統括される。
【００５７】
このディジタル・ビデオ・テープ・レコーダにおいては，奇数行の画素からなる奇数フィールド画像と偶数行の画素からなる偶数フィールド画像とが交互に撮影され，この撮影が１／６０秒の周期で繰返される。
【００５８】
撮影のためのシャッタ速度が適当（たとえば１／６０秒，または必要に応じてこれよりも短い時間）になるように，いわゆる電子シャッタ制御により定められる。ＣＣＤ７１から１／６０秒ごとに被写体像を表わす映像信号が出力されＣＤＳ（ｃｏｒｒｅｌａｔｅｄｏｕｂｌｅｓａｍｐｌｉｍｇ）回路７２に与えられる。映像信号はＣＤＳ回路７２においてｋＴＣノイズ成分が除去され，アナログ／ディジタル変換回路７３においてディジタル画像データに変換される。ディジタル画像データはガンマ補正回路７４に与えられ，ガンマ補正される。ガンマ補正後のディジタル画像データがデータ圧縮回路７５を介して（このときは，まだデータ圧縮されない）フィールド・メモリ８５に与えられ一旦記憶される。
【００５９】
フィールド・メモリ８５から読出された画像データは，データ圧縮回路７５に与えられる。データ圧縮回路７５においてＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）処理，量子化処理などが行なわれることにより，画像データにデータ圧縮が施される。データ圧縮処理回路７５において圧縮された画像データは誤り訂正符号付加回路７６を介して（単に通過して）フィールド・メモリ８６に与えられ一旦記憶される。
【００６０】
フィールド・メモリ８６に記憶された画像データは順次誤り訂正符号付加回路７６に与えられ，誤り訂正符号が付加される。
【００６１】
誤り訂正符号付加回路７６から出力される画像データは記録符号化回路７７に与えられ，符号化（たとえばＮＲＺＩ符号化）されて記録再生増幅回路８７に与えられる。記録再生増幅回路８７において増幅された画像データは磁気ヘッド７８に与えられる。これにより磁気ヘッド７８によって磁気テープ８８の各トラックのうちビデオ記録領域に画像データが記録される。オーディオ・データやトラック情報の記録ももちろん行なわれる。
【００６２】
図７に示すディジタル・ビデオ・テープ・レコーダは，磁気テープ８８に記録されたディジタル画像データの再生も可能である。再生モードには好ましくはムービ再生モードとスチル再生モードとがある。
【００６３】
ディジタル画像データの再生モードにおいて，磁気テープ８８に記録された画像データ，その他のデータが磁気ヘッド９１によって読取られ記録再生増幅回路８７に与えられる。記録再生増幅回路８７において増幅されたデータは復調回路９２に与えられる。復調回路９２においてデータ復調が行なわれ，誤り訂正回路９３を介してフィールド・メモリ８６に与えられ一旦記憶される。フィールド・メモリ８６に記憶されたデータは読み出され誤り訂正回路９３に与えられる。復調回路９２において復調されたデータにデータ誤りがあると，誤り訂正回路９３において誤り訂正処理が行なわれる。誤り訂正処理が行なわれたデータのうち被写体像を表わすディジタル画像データはデータ伸張回路９４を介してフィールド・メモリ８５に与えられる。
【００６４】
ムービ再生モードにおいては，フィールド・メモリ８５に記憶された画像データはデータ伸張回路９４に与えられ，圧縮された画像データのデータ伸張処理が行なわれる。奇数フィールド画像のデータと偶数フィールド画像のデータとがモニタ表示装置９９に交互に与えられ，ムービ再生が行なわれる。モニタ表示装置９９はディジタル・ビデオ・テープ・レコーダに設けてもよい。
【００６５】
図７に示すディジタル・ビデオ・テープ・レコーダは動画再生に加えて静止画再生も可能である。スチル再生モードにおいては，データ伸張回路９４においてデータ伸張が施された画像データはフレーム画像データ生成装置９６に与えられる。
【００６６】
フレーム画像データ生成装置９６において，上述したようにフィールド画像を表わすフィールド画像データからフレーム画像データが生成される。生成されたフレーム画像データはプリンタ装置９８に与えられ，ぶれがなく，かつ高画質の静止画がプリントされる。
【図面の簡単な説明】
【図１】この発明の実施例を示すもので，フレーム画像データ生成装置の電気的構成を示すブロック図である。
【図２】奇数フィールド画像と偶数フィールド画像とが交互に現われる様子を示している。
【図３】補間のための画素の対応関係を斜視図的に示すものである。
【図４】補間のための画素の対応関係を平面的に示すものである。
【図５】欠如された画素のデータを生成するための画素ブロックを示している。
【図６】欠如され画素のデータを生成するための処理手順を示すフローチャートである。
【図７】ディジタル・ビデオ・テープ・レコーダの電気的構成を示すブロック図である。
【符号の説明】
１４，１５，１６ウィンドウ回路
１７補間方向判別回路
２０，２１補間画素値演算回路

Claims

インターレース走査することにより，行方向および列方向に存在する多数の画素からなるフレーム画像を構成する，奇数行の画素からなるフィールド画像と偶数行の画素からなるフィールド画像とが交互に連続するものであり，連続する第１のフィールド画像を表わす第１のフィールド画像データと，第２のフィールド画像を表わす第２のフィールド画像データと，第３のフィールド画像を表わす第３のフィールド画像データとが与えられたときに上記第１のフィールド画像と上記第３のフィールド画像との間にある上記第２のフィールド画像を上記フレーム画像に変換するために奇数行または偶数行の画素のうち欠如している画素を表わす補間画像データを生成する装置であり，
第１のフィールド画像と第３のフィールド画像上の対応する位置にそれぞれ設定されたウィンドウ内において，第２のフィールド画像上の上記ウィンドウの中心に相当する中心画素を中心位置として点対称の位置にある画素の画素データを取出す第１の画素データ取出手段，
第２のフィールド画像上の上記ウィンドウ内であって，上記中心画素を中心位置として点対称の位置にある１対の画素の画素データを取出す第２の画素データ取出手段，
上記第１の画素データ取出手段によって取出された第１のフィールド画像の画素データと第３のフィールド画像の画素データとの相関値および上記第２の画素データ取出手段によって取出された第２のフィールド画像の１対の画素の画素データの相関値をそれぞれ算出する相関値算出手段，ならびに
上記相関値算出手段によって算出された相関値のうち最も強い相関を表わす相関値を生成した１対の画素データに基づいて，上記第２のフィールド画像の上記中心画素の画素データを補間演算する補間演算手段，
を備え，
上記第２の画素データ取出手段が，
第２のフィールド画像上の上記ウィンドウ内であって，上記中心画素およびこの中心画素に水平方向に隣接する位置に存在すべき画素の上下にある画素を表わすデータを抽出し，これらの画素を表わすデータの加算値を得，得られた加算値が水平方向に存在する画素についての加算値ほど増加または減少しているかどうかを判定する手段，ならびに
増加または減少していないときには，上記欠如している画素の上下の画素を表わすデータを取出し，増加または減少しているときには上記欠如している画素の上下の画素および斜め上下の画素の３方向の画素の相関値を算出し，もっとも高い相関を与える画素を表わすデータを取出す手段，
を備えた補間画像データ生成装置。
上記補間演算手段における補間演算が，上記最も強い相関を表わす相関値を生成した１対の画素データの平均値を算出するものである，請求項１に記載の補間画像データ生成装置。
上記第１の画素データ取出手段が，第２のフィールド画像の補間すべき画素の位置に対応する，第１のフィールド画像の画素の画素データおよび第３のフィールド画像の画素の画素データを取出すものである，
請求項１に記載の補間画像データ生成装置。
インターレース走査することにより，行方向および列方向に存在する多数の画素からなるフレーム画像を構成する，奇数行の画素からなるフィールド画像と偶数行の画素からなるフィールド画像とが交互に連続するものであり，連続する第１のフィールド画像を表わす第１のフィールド画像データと，第２のフィールド画像を表わす第２のフィールド画像データと，第３のフィールド画像を表わす第３のフィールド画像データとが与えられたときに上記第１のフィールド画像と上記第３のフィールド画像との間にある上記第２のフィールド画像を上記フレーム画像に変換するために奇数行または偶数行の画素のうち欠如している画素を表わす補間画像データを生成する方法であり，
第１のフィールド画像と第３のフィールド画像上の対応する位置にそれぞれ設定されたウィンドウ内において，第２のフィールド画像上の上記ウィンドウの中心に相当する中心画素を中心位置として点対称の位置にある画素の画素データを取出す第１の画素データ取出処理を行ない，
第２のフィールド画像上の上記ウィンドウ内であって，上記中心画素を中心位置として点対称の位置にある１対の画素の画素データを取出す第２の画素データ取出処理を行ない，
取出された第１のフィールド画像の画素データと第３のフィールド画像の画素データとの相関値および取出された第２のフィールド画像の１対の画素の画素データの相関値をそれぞれ算出し，
算出された相関値のうち最も強い相関を表わす相関値を生成した１対の画素データに基づいて，上記第２のフィールド画像の上記中心画素の画素データを補間演算し，
上記第２の画像データ取出処理が，
第２のフィールド画像上の上記ウィンドウ内であって，上記中心画素およびこの中心画素に水平方向に隣接する位置に存在すべき画素の上下にある画素を表わすデータを抽出し，これらの画素を表わすデータの加算値を得，得られた加算値が水平方向に存在する画素についての加算値ほど増加または減少しているかどうかを判定し，
増加または減少していないときには，上記欠如している画素の上下の画素を表わすデータを取出し，増加または減少しているときには上記欠如している画素の上下の画素および斜め上下の画素の３方向の画素の相関値を算出し，もっとも高い相関を与える画素を表わすデータを取出すものである，
補間画像データ生成方法。
上記補間演算が，上記最も強い相関を表わす相関値を生成した１対の画素データの平均値を算出するものである，請求項４に記載の補間画像データ生成方法。
上記第１の画素データ取出処理が，第２のフィールド画像の補間すべき画素の位置に対応する，第１のフィールド画像の画素の画素データおよび第３のフィールド画像の画素の画素データを取出すものである，
請求項４に記載の補間画像データ生成方法。