JPH08265710A - 補間画像データ生成装置および方法 - Google Patents

Abstract

(57)【要約】 【目的】 フィールド画像データから，ぶれがなく高画
質のフレーム画像を表わすフレーム画像データを生成す
る。 【構成】 奇数フィールド画像と偶数フィールド画像と
の画像データが１／60秒ごとに交互に与えられる。偶数
フィールド画像データがフィールド・メモリ12に与えら
れ，偶数フィールド画像の前後の奇数フィールド画像の
データがフィールド・メモリ11および13に与えられる。
それらの画像データにウィンドウが設定される（ウィン
ドウ回路14，15，16）。補間する画素が存在する第２フ
ィールドと同一の第２フィールドならびに前後の第１フ
ィールドおよび第３フィールドにおいて補間する画素と
点対称の位置にある１組の画素の相関値が算出される。
最も小さな相関値を与える画素の組から補間する画素が
演算される（補間画素値演算回路20，21）。

Description

【発明の詳細な説明】

【０００１】

【技術分野】この発明は，奇数行または偶数行の画素か
らなるフィールド画像をフレーム画像に変換するための
補間画像データ生成装置および方法に関する。

【０００２】

【発明の背景】ディジタル・ビデオ・テープ・レコーダ
（ＤＶＴＲ）は，ＣＣＤのような固体電子撮像素子を用
いて被写体を撮像し，撮像により得られた被写体像を表
わす映像信号をディジタル画像データに変換して磁気テ
ープに記録するものである。ＤＶＴＲにおいては動画を
記録する際には一定周期でＣＣＤのインターレース読出
しを行ない，奇数行の画素からなるフィールド画像と偶
数行の画素からなるフィールド画像とを交互に得るのが
一般的である。これにより撮像周期を早くすることが可
能であり，動きの速い被写体であっても動きの滑らかな
画像を記録することができるからである。

【０００３】動画を再生する場合には奇数行の画素から
なるフィールド画像と偶数行の画素からなるフィールド
画像とが交互に与えられることによりフレーム画像が構
成され，テレビジョン装置に映し出される。図２に連続
する複数の（ここでは８個）フィールド画像が示されて
いる。連続する２個のフィールド画像から１つのフレー
ム画像が構成される。たとえば第１フィールド画像と第
２フィールド画像から第１フレーム画像が構成され，第
３フィールド画像と第４フィールド画像から第２フレー
ム画像が構成され，第５フィールド画像と第６フィール
ド画像から第３フレーム画像が構成され，第７フィール
ド画像と第８フィールド画像とから第４フレーム画像が
構成される。

【０００４】所望の場面をプリントとして得たいという
要求から，ＤＶＴＲにおいては動画再生機能に加え静止
画再生機能を有するものも開発されてきている。しかし
ながら動画記録において得られたフィールド画像をプリ
ントしたのでは，フィールド画像は奇数行または偶数行
の画素から構成されているため，垂直解像度が低く，高
画質のプリントが得られない。

【０００５】高画質なプリントを得るために２つのフィ
ールド画像からフレーム画像を構成すると，２つのフィ
ールド画像間の撮像に時間的なずれがあるため，被写体
に動きがある場合，得られるプリントは画像ずれの生じ
た不鮮明なものとなることがある。このためにフィール
ド画像において欠如した画素の上下の画素を用いて欠如
した画素を生成し，フィールド画像からフレーム画像を
構成しフレーム画像のプリントを得るものがある（たと
えば特開昭63−187785号公報参照）。この場合には斜め
方向の線については階段状の段差を生ずるという欠点が
ある。

【０００６】この欠点を解消するために，フィールド画
像において，欠如している画素の斜め方向の相関の強い
方向を検出し，画素の補間を行ないフィールド画像から
フレーム画像を生成するものがある（たとえば特開平４
−366894号公報参照）。

【０００７】しかしながら，この方法であっても垂直解
像度，斜め方向の線について生じる階段状の段差の改善
は必ずしも充分ではない。

【０００８】さらに記録時において被写体が静止してい
るときはフィールド間符号化がなされ，被写体が動いて
いるときはフィールド内符号化がなされていることを利
用して補間方法を変えてフレーム画像を得るものもある
（たとえば特開平４−86185号公報）。これはフィール
ド間符号化またはフィールド内符号化がなされているか
をブロックごとに判断し，フィールド間符号化の場合は
被写体が静止していると考えられるためフィールド間補
間をしてフレーム画像を生成し，フィールド内符号化の
場合は被写体が動いていると考えられるためフィールド
内補間をしてフレーム画像を生成するものである。この
場合符号化時においてフィールド間補間をするかフィー
ルド内補間をするかを判断する必要があり，この判断に
は動きベクトルを算出するのが一般的である。しかしな
がらこの動きベクトルの算出はその計算量が膨大であ
る。

【０００９】

【発明の開示】この発明は，動画再生用のフィールド画
像から高画質で画像ずれの少ない静止画用のフレーム画
像を生成できるようにすることを目的とする。

【００１０】この発明は，インターレース走査すること
により，行方向および列方向に存在する多数の画素から
なるフレーム画像を構成する，奇数行の画素からなるフ
ィールド画像と偶数行の画素からなるフィールド画像と
が交互に連続するものであり，連続する第１のフィール
ド画像を表わす第１のフィールド画像データと，第２の
フィールド画像を表わす第２のフィールド画像データ
と，第３のフィールド画像を表わす第３のフィールド画
像データとが与えられたときに上記第１のフィールド画
像と上記第３のフィールド画像との間にある上記第２の
フィールド画像を上記フレーム画像に変換するために奇
数行または偶数行の画素のうち欠如している画素を表わ
す補間画像データを生成する装置であり，第１のフィー
ルド画像と第３のフィールド画像上の対応する位置にそ
れぞれ設定されたウィンドウ内において，第２のフィー
ルド画像上の上記ウィンドウの中心に相当する中心画素
を中心位置として点対称の位置にある画素の画素データ
を取出す第１の画素データ取出手段，第２のフィールド
画像上の上記ウィンドウ内であって，上記中心画素を中
心位置として点対称の位置にある１対の画素の画素デー
タを取出す第２の画素データ取出手段，上記第１の画素
データ取出手段によって取出された第１のフィールド画
像の画素データと第３のフィールド画像の画素データと
の相関値および上記第２の画素データ取出手段によって
取出された第２のフィールド画像の１対の画素の画素デ
ータの相関値をそれぞれ算出する相関値算出手段，なら
びに上記相関値算出手段によって算出された相関値のう
ち最も強い相関を表わす相関値を生成した１対の画素デ
ータに基づいて，上記第２のフィールド画像の上記中心
画素の画素データを補間演算する補間演算手段を備えて
いることを特徴とする。

【００１１】またこの発明は，上記補間画像データを生
成する方法も提供している。すなわち，インターレース
走査することにより，行方向および列方向に存在する多
数の画素からなるフレーム画像を構成する，奇数行の画
素からなるフィールド画像と偶数行の画素からなるフィ
ールド画像とが交互に連続するものであり，連続する第
１のフィールド画像を表わす第１のフィールド画像デー
タと，第２のフィールド画像を表わす第２のフィールド
画像データと，第３のフィールド画像を表わす第３のフ
ィールド画像データとが与えられたときに上記第１のフ
ィールド画像と上記第３のフィールド画像との間にある
上記第２のフィールド画像を上記フレーム画像に変換す
るために奇数行または偶数行の画素のうち欠如している
画素を表わす補間画像データを生成する方法であり，第
１のフィールド画像と第３のフィールド画像上の対応す
る位置にそれぞれ設定されたウィンドウ内において，第
２のフィールド画像上の上記ウィンドウの中心に相当す
る中心画素を中心位置として点対称の位置にある画素の
画素データを取出す第１の画素データ取出処理を行な
い，第２のフィールド画像上の上記ウィンドウ内であっ
て，上記中心画素を中心位置として点対称の位置にある
１対の画素の画素データを取出す第２の画素データ取出
処理を行ない，取出された第１のフィールド画像の画素
データと第３のフィールド画像の画素データとの相関値
および取出された第２のフィールド画像の１対の画素の
画素データの相関値をそれぞれ算出し，算出された相関
値のうち最も強い相関を表わす相関値を生成した１対の
画素データに基づいて，上記第２のフィールド画像の上
記中心画素の画素データを補間演算することを特徴とす
る。

【００１２】上記第１のフィールド画像および上記第３
のフィールド画像上において上記ウィンドウの位置を，
１または複数画素分ずつ水平方向および垂直方向に順次
シフトしながら，上記ウィンドウの各位置で上記第１の
画素データ取出動作，上記第２の画素データ取出動作，
上記相関演算および上記補間演算を繰返し，第２のフィ
ールド画像と組合わせることによりフレーム画像を得る
ことができる。

【００１３】補間演算の算出には，最も強い相関を表わ
す相関値を生成した１対の画素データの平均値を算出す
ることが挙げられる。

【００１４】また上記第１の画素データの取出処理はた
とえば，第２のフィールド画像の補間すべき画素の位置
に対応する，第１のフィールド画像の画素の画素データ
および第３のフィールド画像の画素の画素データの取出
処理が挙げられる。上記第２の画素データの取出処理
は，たとえば第２のフィールド画像の補間すべき画素の
位置の上下に隣接する１対の画素データを取出す処理が
挙げられる。

【００１５】この発明によると，第２のフィールド画像
上の上記ウィンドウの中心に相当する中心画素を中心と
して点対称の位置にある，第１のフィールド画像および
第３のフィールド画像上のウィンドウ内の画素の画素デ
ータならびに第２のフィールド画像上のウィンドウ内の
一対の画素の画素データをそれぞれ取出している。取出
した一対の画素の画素データの相関値が算出される。最
も強い相関を表わす相関値を生成した一対の画素がほぼ
同じ像を表わしている。

【００１６】この発明によるとほぼ同じ像を表わす一対
の画素を表わす画素データに基づいて第２のフィールド
画像をフレーム画像に変換している。得られるフレーム
画像は，エッジの滑らかなものとなる。第２のフィール
ド画像は奇数行または偶数行の画素からなり比較的垂直
解像度の低いものであるが，画素補間が行なわれて得ら
れるフレーム画像は垂直解像度の高いものとなる。した
がって高画質の静止画像が得られる。

【００１７】上記第２の画素データ取出処理の一例に
は，第２のフィールド画像上の上記ウィンドウ内であっ
て，上記中心画素およびこの中心画素に水平方向に隣接
する位置に存在すべき画素の上下にある画素を表わすデ
ータを抽出し，これらの画素を表わすデータの加算値を
得，得られた加算値が水平方向に存在する画素について
の加算値ほど増加または減少しているかどうかを判定
し，増加または減少しているときには，上記欠如してい
る画素の上下の画素を表わすデータを取出し，増加また
は減少していないときには上記欠如している画素の上下
の画素および斜め上下の画素の３方向の画素の相関値を
算出し，もっとも高い相関を与える画素を表わすデータ
を取出すものがある。

【００１８】上記加算値が水平方向についての加算値ほ
ど増加または減少しているときは，その部分の画像は階
段状の部分である。このような場合，欠如している中心
画素の上下の画素を用いて，欠如している中心画素を表
わすデータを生成すると階段状の部分が強調され画像の
乱れが生じることがある。

【００１９】一方，欠如している中心画素の上下方向，
右上左下方向および左上右下方向の３方向にあるそれぞ
れ２個の画素を表わす画像データを抽出し，それらの相
関値を算出し，相関のもっとも高い２個の画素から欠如
している画素を表わすデータを生成するものもある。こ
の場合には，欠如している画素の上下にレベルが少し異
なる画素があり，欠如している画素の右上左下方向また
は左上右下方向に存在する画素のレベルが０のときであ
っても，欠如している画素の右上左下方向または左上右
下方向に存在する２個の画素の相関が高いのでこれらの
２個の画素にもとづいて欠如している画素が生成され
る。このため実際の画像と異なる不自然な画像となるこ
とがあった。

【００２０】上記においては，上記第２の画素データの
取出処理において取出された一対の画素の相関値が，上
記第１の画素データの取出処理において取出された一対
の画素の相関値よりも高い相関を与えるときには，上記
加算値が水平方向についての加算値ほど増加または減少
しているときには最も高い上記相関を与える２個の画素
にもとづいて上記欠如している画素のデータを生成し，
上記加算値が水平方向についての加算値ほど増加または
減少していないときには欠如している画素の上下の画素
を用いて欠如している画素を生成しているので，階段状
の部分であってもそれが強調されずかつ実際の画像に近
い画像が得られる。

【００２１】

【実施例の説明】図１はこの発明の実施例を示すもの
で，フィールド画像データからフレーム画像データを生
成する装置の電気的構成を示すブロック図である。この
フレーム画像データ生成装置は，少なくとも３つの第
１，第２および第３のフィールド画像データがこの順序
で連続し，かつ奇数フィールド画像と偶数フィールド画
像とが交互に現われる場合に，フレーム画像データを生
成する装置である。

【００２２】図２に示すように奇数行の画素からなる奇
数フィールド画像（第１フィールド画像，第３フィール
ド画像，第５フィールド画像，第７フィールド画像）と
偶数行の画素からなる偶数フィールド画像（第２フィー
ルド画像，第４フィールド画像，第６フィールド画像，
第８フィールド画像）とが交互に現れる画像データが与
えられる。以下，図２において第１フィールド画像，第
２フィールド画像および第３フィールド画像がこの順序
で連続して与えられたときに，第２フィールド画像の画
像データを補間してフレーム画像を生成する場合につい
て説明する。

【００２３】フレーム画像データ生成装置には３つのフ
ィールド・メモリ11，12および13が含まれている。これ
らのフィールド・メモリ11，12および13のうちフィール
ド・メモリ12に，補間することによりフレーム画像デー
タを生成するフィールド画像データが記憶され，このフ
ィールド画像データの前後のフィールド画像データがそ
れぞれフィールド・メモリ11またはフィールド・メモリ
13に記憶されるように切換スイッチ10の切換が制御され
る。この例では，フィールド・メモリ11に第１フィール
ドの画像データが記憶され，フィールド・メモリ13に第
３フィールドの画像データが記憶されるものとする。フ
ィールド・メモリ12には第２フィールドの画像データが
記憶される。

【００２４】切換スイッチ10として有接点のものが図示
されているが，もちろん実際は半導体無接点スイッチ
（ゲート回路等）として実現される。

【００２５】図３および図４は，第１フィールド画像デ
ータおよび第３フィールド画像データからウィンドウＷ
１およびＷ３を通してそれぞれ抽出された３画素×３画
素の画素群を示すものである。また，これらの画素群の
間に，補間によって生成されるべき第２フィールドの画
像データの対応する画素も図示されている。図３は画素
間の対称関係を明確にするために斜視図的に描かれ，か
つ各画素が点（黒丸）で表わされている。図４は画素配
列を分りやすくするために平面的に描かれている。ウィ
ンドウＷ２の中心にある画素（２，５）に対応する第２
フィールドの画素についての画像データが生成される。

【００２６】第１フィールド画像，第２フィールド画像
および第３フィールド画像のいずれともフィールド画像
であるため奇数行または偶数行にのみ画素が存在する。
第１フィールド画像および第３フィールド画像において
は中央の行にのみ画素が存在し，第２フィールド画像に
おいては第１フィールド画像および第３フィールド画像
に画素が存在しない行にのみ画素が存在する。図４にお
いては存在する画素がハッチングで示されている。第１
フィールド画像および第３フィールド画像は奇数フィー
ルド画像であり奇数行にのみ画素が存在し，第２フィー
ルド画像は偶数フィールド画像であり偶数行にのみ画素
が存在することから，たとえば第２行，第３行および第
４行の第１列，第２列および第３列の画素を画像から抽
出すれば図３および図４に示す画素群が得られる。

【００２７】まず補間により画像データを生成すべき画
素（２，５）と同一の第２フィールド画像に存在する画
素であって，画素（２，５）を中心として点対称の位置
にある画素の相関値，すなわち画像（２，１）と画素
（２，９）との相関値ｓ₁ ，画素（２，２）と画素
（２，８）との相関値ｓ₂ および画素（２，３）と画素
（２，７）との相関値ｓ₃ を算出する。また補間により
画像データを生成すべき画素（２，５）の第２フィール
ド画像の前後の第１フィールド画像および第３フィール
ド画像に存在する画素であって，画素（２，５）を中心
として，互いに点対称の位置関係にある第１フィールド
の画素と第３フィールドの画素との間の相関値，すなわ
ち第１フィールド画像の画素（１，４）と第３フィール
ド画像の画素（３，６）の相関値ｓ₄ ，画素（１，５）
を画素（３，５）との相関値ｓ₅ および画素（１，６）
と画素（３，４）の相関値ｓ₆ を算出する。画像データ
を生成すべき画素（２，５）に対応する画素（１，５）
と画素（３，５）も画素（２，５）を中心として点対称
関係にあるとする。

【００２８】相関値としては，たとえば２つの画素の画
像データの差の絶対値，差の二乗の値等が用いられる。

【００２９】次に，これらの相関値ｓ_i （ｉ＝１〜６）
の中で最も小さい値（最も相関が強いもの）を見付け
る。

【００３０】最小の相関値を生じさせる２つの画素の画
像データを用いた補間演算が行なわれ，この補間演算結
果が第２フィールドの画素（２，５）の画像データとな
る。補間演算は公知の演算でよく，たとえば２つの画素
の画像データの平均値を算出する方法が用いられる。

【００３１】画像データによって表わされる対象物にあ
る方向への動きがあり，第１フィールドから第３フィー
ルドまでの時間（２フィールド周期）の間に２画素分動
いたとする。たとえば，この動きが左から右に向う方向
であるとすると，第１フィールドの画素（１，４）によ
って表わされる像は第３フィールドでは画素（３，６）
の位置に至る。画素（１，４）の画像データと画素
（３，６）の画像データはほぼ等しい値を示すことにな
るので，相関値ｓ₄ は零または零に近い値となる。

【００３２】第２フィールドの画像データを生成すべき
画素を中心として，互いに点対称の位置関係にある第１
フィールドの画素と第３フィールドの画素との相関値の
最小値を見付け出す（相関の強い画素の対を見付け出
す）ということは，上述のように画像データによって表
わされる像の動きの方向を検出することを意味する。

【００３３】この検出した動きの方向にそって補間演算
が行なわれ，第２フィールドの画素（２，５）の画像デ
ータが算出される。したがって，画素（２，５）の算出
された画像データは，第１フィールドの時点と第３フィ
ールドの時点との丁度中間の時点において，その画素
（２，５）の位置まで動いてきた像を表わしていること
になる。

【００３４】したがって，上述の処理によって生成され
たフレーム画像データを再生したとすると，自然なフレ
ーム画像が得られる。

【００３５】一方，第１フィールドと第３フィールドと
の間でシーンが切換わる場合，第１フィールドの画素と
第３フィールドの画素との相関は低くなる。このため第
１フィールドの画素と第３フィールドの画素との相関値
を見付け出し，画素（２，５）の画像データを生成して
も不自然な画像となることがある。このため図１に示す
フレーム画像データ生成装置では第１フィールドの画素
と第３フィールドの画素との相関演算に加えて画素
（２，５）の画素を中心として第２フィールド内におい
て点対称の位置にある一組の画素の相関演算が行なわれ
る。たとえば第２フィールドにおいて左上の画素（２，
１）と右下の画素（２，９）との相関が高い場合は，左
上と右下とを結ぶ間に画像の一部が存在すると考えられ
る。この場合は，画素（２，１）と画素（２，９）の画
像データから補間演算が行なわれ，画素（２，５）の画
像データが導出される。

【００３６】補間処理のために画像データを切出すべき
ウィンドウの大きさは対象物の動きの程度によって定め
ればよい。ウィンドウの大きさは３画素×３画素に限ら
ず，５画素×５画素，７画素×７画素，９画素×９画素
のように任意に決定できる。ウィンドウを大きくすれば
大きくするほど大きな動きに対処できる。もちろん小さ
な動きにも対処できることになる。

【００３７】ウィンドウは正方形に限られることはな
い。横方向の動きが大きい場合には３画素（縦方向）×
５画素（横方向），３画素×７画素，５画素×７画素，
５画素×９画素のようにウィンドウを横方向に長い長方
形に設定すればよい。縦方向の動きを重要視する場合に
は５画素×３画素，７画素×３画素，７画素×５画素，
９画素×５画素のように縦方向に長いウィンドウを設定
すればよい。この場合中心画素からの距離が遠いほど重
い重み付けを行ない，中心画素からの距離が近いほど軽
い重み付けを行なうとよい。

【００３８】個々の画素の画像データにはノイズの影響
が顕著に現われやすく，相関値もばらつきやすい。そこ
で，見付け出された最小の相関値の妥当性の判定を追加
することが好ましい。たとえば，所定のしきい値を設定
しておき，最小の相関値がこのしきい値よりも小さい場
合にはその相関値は妥当なものとする。このしきい値と
して，ウィンドウの中心の画素（１，５）の画像データ
と画素（３，５）の画像データとの平均値を採用するこ
ともできる。上述した相関値演算および最小の相関値の
検出をソフトウェアで実行する場合にもしきい値を用い
ることができる。たとえば，一定の順序で画素対の相関
値を算出し，相関値を算出するごとにしきい値と比較
し，しきい値よりも小さい相関値が見付かった時点で処
理を終了する。しきい値よりも小さい見付かった相関値
を最小のものとみなす。

【００３９】図１に戻って，ウィンドウ回路14，15およ
び16はそれぞれフィールド・メモリ11，12および13に格
納されているフィールド画像データに上述したウィンド
ウＷ１，Ｗ２およびＷ３を設定するものである。ウィン
ドウ回路14，15および16によって設定されたウィンドウ
Ｗ１，Ｗ２およびＷ３を構成するうち，第１フィールド
画像の画像データ，第２フィールド画像の画像データお
よび第３フィールド画像の画像データは補間方向判別回
路17に与えられる。

【００４０】補間方向判別回路17は，第２フィールド画
像内における１組の画素の相関演算および第１フィール
ド画像の画素と第３フィールド画像の画素との相関演算
を行ない，得られた相関値が最も小さくなる１組の画素
を見付け出す回路である。補間方向判別回路17において
見付け出された１組の画素を表わすデータは第１の補間
画素値演算回路20および第２の補間画素値演算回路21に
それぞれ与えられる。

【００４１】ウィンドウ回路14，15および16によって設
定されるウィンドウＷ１，Ｗ２およびＷ３は，１または
複数画素ずつ水平および垂直に走査される。各走査位置
において，補間画像データが算出されることになる。し
たがって第２フィールド画像のすべての画素について補
間画像データが生成されることになる。

【００４２】ウィンドウ回路14，15および16は，それぞ
れ複数個（たとえば３個）の縦続接続されたライン・メ
モリから構成することができる。補間方向判別回路17
は，減算回路，二乗回路，加算回路，比較回路およびレ
ベル弁別回路から構成することができる。ソフトウェア
によって実現する場合には，ウィンドウの設定，動き検
出のいずれかまたは両方がプログラムされたコンピュー
タによって達成される。

【００４３】ウィンドウ回路14および16によって設定さ
れたウィンドウＷ１およびＷ３に含まれる画素の画像デ
ータは第２の補間画素値演算回路21にも与えられる。ウ
ィンドウ回路15によって設定されたウィンドウＷ２に含
まれる画素の画像データは第１の補間画素値演算回路20
にも与えられる。

【００４４】補間方向判別回路17において，最も相関値
が小さい１組の画素が画素（２，５）が存在するフィー
ルドと同一の第２フィールドに存在すると判断されると
第１の補間画素値演算回路20において，第２フィールド
画像に含まれる最も相関値の小さい１組の画素から補間
演算が行なわれ，第２フィールドの画素（２，５）の画
像データが算出される。このとき第２の補間画素値演算
回路21においては補間演算処理は行なわれない。補間方
向判別回路17において，最も相関値が小さい１組の画素
が第１フィールドの画素と第３フィールドの画素とに存
在すると判断されると第２の補間画素値演算回路21にお
いて，第１フィールド画像と第３フィールド画像に含ま
れる最も相関値の小さい１組の画素から補間演算が行な
われ，第２フィールドの画素（２，５）の画像データが
算出される。このときは第１の補間画素値演算回路20に
おいて補間演算処理は行なわれない。補間演算はたとえ
ば平均値演算である。

【００４５】補間画素値演算回路20または21から出力さ
れたデータはフレーム・メモリ22に与えられる。フレー
ム・メモリ22にはフィールド・メモリ12に格納されてい
る第２フィールド画像のデータも与えられる。補間画素
値演算回路20または21において，第２フィールド画像の
欠如している偶数行のすべての画素を表わすデータが生
成されフレーム・メモリ22に与えられることにより，フ
ィールド・メモリ12に格納されている第２フィールド画
像のデータと合成され，フレーム画像が生成される。

【００４６】上記の説明においては，２つの補間画素値
演算回路20および21を用いているが，ウィンドウ回路1
4，15および16の出力を１つの補間画素値演算回路に与
え，補間画素値を演算するようにしてもよい。

【００４７】また上記の説明においては第２フィールド
における一対の画素の相関演算と第１フィールドおよび
第３フィールドにおける一対の画素の相関演算との間で
は重み付けをすることなく同じように相関演算を施して
いるが，第２フィールドにおける一対の画素と第１フィ
ールドおよび第３フィールドにおける一対の画素との間
に重み付けを行ない，重み付けが行なわれた画素につい
て相関演算を行なうようにしてもよい。さらに画像の種
類があらかじめわかっているときには画像の種類に応じ
て第１フィールドから第３フィールドの各画素に重み付
けを行ない，重み付けが行なわれた画素について相関演
算を行なうようにしてもよい。

【００４８】さらに上記の説明においては，補間方向判
別回路17は第２フィールドのウィンドウＷ２内における
一対の画素の相関ならびに第１フィールドのウィンドウ
Ｗ１内の画素と第３フィールドのウィンドウＷ３内の画
素との相関を算出し，最も高い相関を与える一対の画素
を検出しているが，第２フィールドのウィンドウＷ２内
において補間画素の生成に用いるのに最も適した一対の
画素を検出し，この検出された第２フィールドのウィン
ドウＷ２内における一対の画素から得られる相関値と第
１フィールドのウィンドウＷ１内の画素と第３フィール
ドのウィンドウＷ３内の画素との相関値とを比較し，高
い相関を与える一対の画素を検出し相関に用いる一対の
画素を決定してもよい。この場合には次に述べるように
して第２フィールドのウィンドウＷ２内において補間画
素の生成に用いるのに最も適した画素の対が検出され
る。

【００４９】図５に３画素×３画素の画素群が示されて
いる。図５においても図３と同様に画像データが存在す
る画素がハッチングで示されている。図５では画素Ａ，
Ｂ，Ｃ，Ｆ，ＧおよびＨに画像データがあり，画素Ｄ，
ＸおよびＥには画像データは存在しない。したがって図
５に示す画素群は図４に示す第２フィールドの画素群に
対応する。図６は第２フィールドのウィンドウＷ２内に
おいて補間画素の生成に用いるのに最も適した一対の画
素を検出する手順を示している。

【００５０】データが存在しない画素の上下の画素（Ａ
とＦ，ＢとＧ，ＣとＨ）を加算した場合その加算値が水
平方向についての加算値ほど増加または減少していると
きは，その部分の画像は階段状の部分であり，データが
存在しない画素の上下の画素の画像データの相加平均を
その欠如している画素の画像データとすると階段状の部
分が強調されてしまう。その一方画素Ｘのまわりの２個
の画素の相関値を算出し，最も高い相関を与える画素の
相加平均をその欠如している画素の画像データとする
と，データが欠如している画素Ｘの列に隣接する列の画
素Ａ，Ｆ，ＣおよびＨの画像データのレベルがきわめて
低く，かつ相関が高く，（たとえばすべて０レベルの場
合）画素Ｘの上下の画素ＢおよびＧの画像データのレベ
ルが高くかつ相関が低い場合（たとえば最高レベルと最
高レベルに近い場合）などは不自然な画像となることが
ある。

【００５１】図６に示す一対の画素を検出する処理手順
は，データを生成する画像の部分が階段状のような部分
であってもその部分が強調されず，かつ自然な画像が得
られるように欠如している画素のデータを生成するため
の画素を見付ける手順を示している。図６において画素
を表わす画像データのレベルも画素と同一符号で示して
いる。

【００５２】まず，画素ＡとＦの画像データの加算値Ｄ
ａ，画素ＢとＧの画像データの加算値Ｘａおよび画素Ｃ
とＨの画像データの加算値Ｅａが算出される（ステップ
60）。得られた加算値Ｄａ，ＸａおよびＥａを比較し水
平方向の加算値ほど増加（Ｄａ＜Ｘａ＜Ｅａ）している
かまたは減少（Ｄａ＞Ｘａ＞Ｅａ）しているかが判断さ
れる（ステップ61）。増加または減少でなければ（ステ
ップ61でNO），データを生成する画素Ｘの周辺部分は階
段状の部分ではないと考えられ，画素Ｘの上下の画素Ｂ
とＧが補間画素の生成に用いるのに適した画素とされる
（ステップ67）。増加または減少していると（ステップ
61でYES ），データを生成する画素Ｘの周辺部分は階段
状の部分であると考えられ，画素Ｘの上下の画素ＢとＧ
の画像データの相加平均を画素Ｘの画像データとすると
その階段状の部分が強調されるので，画素Ｘの斜め方向
の２個の画素のうち相関のもっとも高い一対の画素が第
２フィールドのウィンドウＷ２内において補間画素の生
成に用いるのに最も適した画素とされる。

【００５３】画素Ｘの左上の画素Ａの画像データと右下
の画素Ｈの画像データとの絶対値差Δ１（＝｜Ａ−Ｈ
｜），画素Ｘの上の画素Ｂの画像データと下の画素Ｇの
画像データとの絶対値差Δ２（＝｜Ｂ−Ｇ｜）および画
素Ｘの右上の画素Ｃの画像データと左下の画素Ｆの画像
データとの絶対値差Δ３（＝｜Ｃ−Ｆ｜）がそれぞれ算
出される（ステップ62）。これらの絶対値差の演算結果
から最も相関の高い画素の組合わせが判断され（ステッ
プ63および64），最も高い相関を与える一対の画素が第
２フィールドのウィンドウＷ２内において補間画素の生
成に用いるのに最も適した画素とされる（ステップ65，
66または67）。

【００５４】上述した補間画像データ生成処理または補
間方向判別処理は輝度データ，輝度データと色差データ
の両方，Ｒ，Ｇ，Ｂの色画像データの全部または一部
（たとえばＧ色画像データのみ）等のいかなる画像デー
タにも適用できる。

【００５５】上述したフレーム画像データ生成装置は，
次に詳述するようなディジタル・ビデオ・テープ・レコ
ーダまたはディジタル画像データ再生装置においても好
適に利用される。

【００５６】図７は，ディジタル画像データの記録およ
び再生が可能なディジタル・ビデオ・テープ・レコーダ
（ＤＶＴＲ）の電気的構成を示すブロック図である。デ
ィジタル・ビデオ・テープ・レコーダの全体の動作はシ
ステム・コントローラ70によって統括される。

【００５７】このディジタル・ビデオ・テープ・レコー
ダにおいては，奇数行の画素からなる奇数フィールド画
像と偶数行の画素からなる偶数フィールド画像とが交互
に撮影され，この撮影が１／60秒の周期で繰返される。

【００５８】撮影のためのシャッタ速度が適当（たとえ
ば１／60秒，または必要に応じてこれよりも短い時間）
になるように，いわゆる電子シャッタ制御により定めら
れる。ＣＣＤ71から１／60秒ごとに被写体像を表わす映
像信号が出力されＣＤＳ（correlate double samplimg
）回路72に与えられる。映像信号はＣＤＳ回路72にお
いてｋＴＣノイズ成分が除去され，アナログ／ディジタ
ル変換回路73においてディジタル画像データに変換され
る。ディジタル画像データはガンマ補正回路74に与えら
れ，ガンマ補正される。ガンマ補正後のディジタル画像
データがデータ圧縮回路75を介して（このときは，まだ
データ圧縮されない）フィールド・メモリ85に与えられ
一旦記憶される。

【００５９】フィールド・メモリ85から読出された画像
データは，データ圧縮回路75に与えられる。データ圧縮
回路75においてＤＣＴ（Discrete Cosine Transform ）
処理，量子化処理などが行なわれることにより，画像デ
ータにデータ圧縮が施される。データ圧縮処理回路75に
おいて圧縮された画像データは誤り訂正符号付加回路76
を介して（単に通過して）フィールド・メモリ86に与え
られ一旦記憶される。

【００６０】フィールド・メモリ86に記憶された画像デ
ータは順次誤り訂正符号付加回路76に与えられ，誤り訂
正符号が付加される。

【００６１】誤り訂正符号付加回路76から出力される画
像データは記録符号化回路77に与えられ，符号化（たと
えばＮＲＺＩ符号化）されて記録再生増幅回路87に与え
られる。記録再生増幅回路87において増幅された画像デ
ータは磁気ヘッド78に与えられる。これにより磁気ヘッ
ド78によって磁気テープ88の各トラックのうちビデオ記
録領域に画像データが記録される。オーディオ・データ
やトラック情報の記録ももちろん行なわれる。

【００６２】図７に示すディジタル・ビデオ・テープ・
レコーダは，磁気テープ88に記録されたディジタル画像
データの再生も可能である。再生モードには好ましくは
ムービ再生モードとスチル再生モードとがある。

【００６３】ディジタル画像データの再生モードにおい
て，磁気テープ88に記録された画像データ，その他のデ
ータが磁気ヘッド91によって読取られ記録再生増幅回路
87に与えられる。記録再生増幅回路87において増幅され
たデータは復調回路92に与えられる。復調回路92におい
てデータ復調が行なわれ，誤り訂正回路93を介してフィ
ールド・メモリ86に与えられ一旦記憶される。フィール
ド・メモリ86に記憶されたデータは読み出され誤り訂正
回路93に与えられる。復調回路92において復調されたデ
ータにデータ誤りがあると，誤り訂正回路93において誤
り訂正処理が行なわれる。誤り訂正処理が行なわれたデ
ータのうち被写体像を表わすディジタル画像データはデ
ータ伸張回路94を介してフィールド・メモリ85に与えら
れる。

【００６４】ムービ再生モードにおいては，フィールド
・メモリ85に記憶された画像データはデータ伸張回路94
に与えられ，圧縮された画像データのデータ伸張処理が
行なわれる。奇数フィールド画像のデータと偶数フィー
ルド画像のデータとがモニタ表示装置99に交互に与えら
れ，ムービ再生が行なわれる。モニタ表示装置99はディ
ジタル・ビデオ・テープ・レコーダに設けてもよい。

【００６５】図７に示すディジタル・ビデオ・テープ・
レコーダは動画再生に加えて静止画再生も可能である。
スチル再生モードにおいては，データ伸張回路94におい
てデータ伸張が施された画像データはフレーム画像デー
タ生成装置96に与えられる。

【００６６】フレーム画像データ生成装置96において，
上述したようにフィールド画像を表わすフィールド画像
データからフレーム画像データが生成される。生成され
たフレーム画像データはプリンタ装置98に与えられ，ぶ
れがなく，かつ高画質の静止画がプリントされる。

【図面の簡単な説明】

【図１】この発明の実施例を示すもので，フレーム画像
データ生成装置の電気的構成を示すブロック図である。

【図２】奇数フィールド画像と偶数フィールド画像とが
交互に現われる様子を示している。

【図３】補間のための画素の対応関係を斜視図的に示す
ものである。

【図４】補間のための画素の対応関係を平面的に示すも
のである。

【図５】欠如された画素のデータを生成するための画素
ブロックを示している。

【図６】欠如され画素のデータを生成するための処理手
順を示すフローチャートである。

【図７】ディジタル・ビデオ・テープ・レコーダの電気
的構成を示すブロック図である。

【符号の説明】

14，15，16 ウィンドウ回路 17 補間方向判別回路 20，21 補間画素値演算回路

Claims (10)

【特許請求の範囲】
1. 【請求項１】 インターレース走査することにより，行
   方向および列方向に存在する多数の画素からなるフレー
   ム画像を構成する，奇数行の画素からなるフィールド画
   像と偶数行の画素からなるフィールド画像とが交互に連
   続するものであり，連続する第１のフィールド画像を表
   わす第１のフィールド画像データと，第２のフィールド
   画像を表わす第２のフィールド画像データと，第３のフ
   ィールド画像を表わす第３のフィールド画像データとが
   与えられたときに上記第１のフィールド画像と上記第３
   のフィールド画像との間にある上記第２のフィールド画
   像を上記フレーム画像に変換するために奇数行または偶
   数行の画素のうち欠如している画素を表わす補間画像デ
   ータを生成する装置であり，第１のフィールド画像と第
   ３のフィールド画像上の対応する位置にそれぞれ設定さ
   れたウィンドウ内において，第２のフィールド画像上の
   上記ウィンドウの中心に相当する中心画素を中心位置と
   して点対称の位置にある画素の画素データを取出す第１
   の画素データ取出手段，第２のフィールド画像上の上記
   ウィンドウ内であって，上記中心画素を中心位置として
   点対称の位置にある１対の画素の画素データを取出す第
   ２の画素データ取出手段，上記第１の画素データ取出手
   段によって取出された第１のフィールド画像の画素デー
   タと第３のフィールド画像の画素データとの相関値およ
   び上記第２の画素データ取出手段によって取出された第
   ２のフィールド画像の１対の画素の画素データの相関値
   をそれぞれ算出する相関値算出手段，ならびに上記相関
   値算出手段によって算出された相関値のうち最も強い相
   関を表わす相関値を生成した１対の画素データに基づい
   て，上記第２のフィールド画像の上記中心画素の画素デ
   ータを補間演算する補間演算手段，を備えた補間画像デ
   ータ生成装置。
2. 【請求項２】 上記第１のフィールド画像および上記第
   ３のフィールド画像上において上記ウィンドウの位置
   を，１または複数画素分ずつ水平方向および垂直方向に
   順次シフトしながら，上記ウィンドウの各位置で上記第
   １の画素データ取出手段による画素データ取出動作，上
   記第２の画素データ取出手段による画素データ取出動
   作，上記相関値算出手段による相関演算および上記補間
   演算手段による補間演算を繰返すよう制御する手段をさ
   らに備えた請求項１に記載の補間画像データ生成装置。
3. 【請求項３】 上記補間演算手段における補間演算が，
   上記最も強い相関を表わす相関値を生成した１対の画素
   データの平均値を算出するものである，請求項１に記載
   の補間画像データ生成装置。
4. 【請求項４】 上記第１の画素データ取出手段が，第２
   のフィールド画像の補間すべき画素の位置に対応する，
   第１のフィールド画像の画素の画素データおよび第３の
   フィールド画像の画素の画素データを取出すものであ
   り，上記第２の画素データ取出手段が，第２のフィール
   ド画像の補間すべき画素の位置の上下に隣接する１対の
   画素の画素データを取出すものである，請求項１に記載
   の補間画像データ生成装置。
5. 【請求項５】 上記第２の画素データ取出手段が，第２
   のフィールド画像上の上記ウィンドウ内であって，上記
   中心画素およびこの中心画素に水平方向に隣接する位置
   に存在すべき画素の上下にある画素を表わすデータを抽
   出し，これらの画素を表わすデータの加算値を得，得ら
   れた加算値が水平方向に存在する画素についての加算値
   ほど増加または減少しているかどうかを判定する手段，
   ならびに増加または減少しているときには，上記欠如し
   ている画素の上下の画素を表わすデータを取出し，増加
   または減少していないときには上記欠如している画素の
   上下の画素および斜め上下の画素の３方向の画素の相関
   値を算出し，もっとも高い相関を与える画素を表わすデ
   ータを取出す手段，を備えた請求項１に記載の補間画像
   データ生成装置。
6. 【請求項６】 インターレース走査することにより，行
   方向および列方向に存在する多数の画素からなるフレー
   ム画像を構成する，奇数行の画素からなるフィールド画
   像と偶数行の画素からなるフィールド画像とが交互に連
   続するものであり，連続する第１のフィールド画像を表
   わす第１のフィールド画像データと，第２のフィールド
   画像を表わす第２のフィールド画像データと，第３のフ
   ィールド画像を表わす第３のフィールド画像データとが
   与えられたときに上記第１のフィールド画像と上記第３
   のフィールド画像との間にある上記第２のフィールド画
   像を上記フレーム画像に変換するために奇数行または偶
   数行の画素のうち欠如している画素を表わす補間画像デ
   ータを生成する方法であり，第１のフィールド画像と第
   ３のフィールド画像上の対応する位置にそれぞれ設定さ
   れたウィンドウ内において，第２のフィールド画像上の
   上記ウィンドウの中心に相当する中心画素を中心位置と
   して点対称の位置にある画素の画素データを取出す第１
   の画素データ取出処理を行ない，第２のフィールド画像
   上の上記ウィンドウ内であって，上記中心画素を中心位
   置として点対称の位置にある１対の画素の画素データを
   取出す第２の画素データ取出処理を行ない，取出された
   第１のフィールド画像の画素データと第３のフィールド
   画像の画素データとの相関値および取出された第２のフ
   ィールド画像の１対の画素の画素データの相関値をそれ
   ぞれ算出し，算出された相関値のうち最も強い相関を表
   わす相関値を生成した１対の画素データに基づいて，上
   記第２のフィールド画像の上記中心画素の画素データを
   補間演算する，補間画像データ生成方法。
7. 【請求項７】 上記第１のフィールド画像および上記第
   ３のフィールド画像上において上記ウィンドウの位置
   を，１または複数画素分ずつ水平方向および垂直方向に
   順次シフトしながら，上記ウィンドウの各位置で上記第
   １の画素データ取出処理，上記第２の画素データ取出処
   理，上記相関演算および上記補間演算を繰返す，請求項
   ６に記載の補間画像データ生成方法。
8. 【請求項８】 上記補間演算が，上記最も強い相関を表
   わす相関値を生成した１対の画素データの平均値を算出
   するものである，請求項６に記載の補間画像データ生成
   方法。
9. 【請求項９】 上記第１の画素データ取出処理が，第２
   のフィールド画像の補間すべき画素の位置に対応する，
   第１のフィールド画像の画素の画素データおよび第３の
   フィールド画像の画素の画素データを取出すものであ
   り，上記第２の画素データ取出処理が，第２のフィール
   ド画像の補間すべき画素の位置の上下に隣接する１対の
   画素の画素データを取出すものである，請求項６に記載
   の補間画像データ生成方法。
10. 【請求項１０】 上記第２の画像データ取出処理が，第
    ２のフィールド画像上の上記ウィンドウ内であって，上
    記中心画素およびこの中心画素に水平方向に隣接する位
    置に存在すべき画素の上下にある画素を表わすデータを
    抽出し，これらの画素を表わすデータの加算値を得，得
    られた加算値が水平方向に存在する画素についての加算
    値ほど増加または減少しているかどうかを判定し，増加
    または減少しているときには，上記欠如している画素の
    上下の画素を表わすデータを取出し，増加または減少し
    ていないときには上記欠如している画素の上下の画素お
    よび斜め上下の画素の３方向の画素の相関値を算出し，
    もっとも高い相関を与える画素を表わすデータを取出す
    ものである，請求項６に記載の補間画像データ生成方
    法。