JPH08223536A - 補間画像データ生成装置および方法 - Google Patents

Abstract

(57)【要約】 【目的】 駒落しにより欠落した駒の画像データを，そ
の前後の駒の画像データに基づいて，像の動きを考慮し
て，滑らかな動きが再生できるように，補間処理により
作成する。 【構成】 駒落しにより欠落した駒の前，後の駒の画像
データがフレーム・メモリ11，12にそれぞれ与えられ
る。それらの画像データにウィンドウが設定され（ウィ
ンドウ回路13，14），そのウィンドウ内において，補間
により生成すべき画素を中心として点対称の位置にある
一対の画素の相関値がそれぞれ算出される（相関演算回
路15）。最も相関の強い一対の画素の画像データを用い
て補間演算により上記中心画素の画像データが生成され
る（選択回路16，補間画素値演算回路17）。

Description

【発明の詳細な説明】

【０００１】

【技術分野】この発明は，駒落しにより欠落した駒の画
像データを，その前後の駒の画像データに基づいて補間
処理により作成する装置および方法に関する。

【０００２】

【従来技術とその問題点】動画像は連続する多数の駒の
画像によって表わされる。動画像を表わす画像データを
効率的に伝達または蓄積するために画像データの圧縮処
理が行なわれる。この圧縮処理（広義の圧縮処理）の一
環として，連続する駒の中から適数の駒ずつ定期的に
（通常は１駒おきに１駒ずつ）間引く，いわゆる駒落し
が行なわれることがある。駒落し後に残った駒の画像デ
ータが符号化され（データ圧縮），伝送または蓄積され
る。

【０００３】図13は連続する複数の（ここでは７個の）
フレームを示すものである。これらの連続する複数のフ
レームから，第２フレーム，第４フレームおよび第６フ
レームの駒落しが実施される。残った第１フレーム，第
３フレーム，第５フレームおよび第７フレームが符号化
される。

【０００４】連続する複数フレームにより表わされる動
画像を再生するときには，第１フレーム，第３フレー
ム，第５フレームおよび第７フレームが復号化（データ
伸張）される。駒落しにより欠落されたフレームはその
直前の復号化されたフレームで代用される。すなわち，
再生出力として，まず第１フレームの画像データが出力
され，次に第２フレームの代わりに再び第１フレームの
画像データが出力される。以下同じように，第３フレー
ムの画像データが連続して２回出力され，第５フレーム
の画像データも連続して２回出力され，最後に第７フレ
ームの画像データが出力される。

【０００５】フレーム画像についての駒落しを説明した
が，フィールド画像の駒落しが実施されることもある。

【０００６】このように動画像の再生にさいして，駒落
しにより欠落したフィールドまたはフレームは，その直
前に駒落しされずに残ったフィールドまたはフレームに
よって代用されるために動画像の連続性が失なわれ，と
くに駒落しされる駒数が多い場合や大きな動きのある動
画像の場合には，動画像の動きがぎこちなく，不自然さ
が生じるという問題点がある。

【０００７】この問題点を解決するために，動画像の再
生にさいして，駒落しにより欠落したフレーム画像の画
像データを，その前後のフレーム画像の画像データを用
いて，単純内挿補間により生成することが提案されてい
る（たとえば，特開平6-237444号公報参照）。図13に示
す例で説明すると，第２フレームの各画素の画像データ
を，第１フレームと第３フレームの対応する画素の画像
データを用いて単純補間することにより生成する。同じ
ように，第４フレームの各画素の画像データを，第３フ
レームと第５フレームの対応する画素の画像データを用
いて単純補間することにより生成する。第６フレームの
画像データを第５フレームと第７フレームの対応する画
素間単純補間により生成する。

【０００８】しかしこの方法は，駒落しされずに残った
前後のフレーム画像の画像データを用いて対応する画素
間の単純な内挿補間により実施するものであるために，
動画の動きを考慮したものではなく，したがって動きを
充分に滑らかにするものではなかった。

【０００９】

【発明の開示】この発明は，動きを考慮した補間処理を
行うことにより，滑らかな動きを表わすことができる画
像データを生成することを目的とする。

【００１０】この発明による補間画像データ生成装置
は，それぞれが１駒を構成する第１の画像と第２の画像
と第３の画像とがこの順序で連続しており，かつ第２の
画像が欠落しており，第１の画像を表わす第１の画像デ
ータと第３の画像を表わす第３の画像データとが与えら
れたときに，これらの間の第２の画像を表わす第２の画
像データを，第１の画像データと第３の画像データを用
いて生成する装置であり，第１の画像と第３の画像上の
対応する位置にそれぞれ設定されたウインドウ内におい
て，第２の画像上の上記ウインドウの中心に相当する位
置の中心単位領域を中心として点対称の位置にある単位
領域の画像データを，第１の画像と第３の画像上の単位
領域の位置を変えながら取出す単位領域画像データ取出
手段，上記単位領域画像データ取出手段によって取出さ
れた第１の画像の単位領域画像データと第３の画像の単
位領域画像データとの相関値をそれぞれ算出する相関値
算出手段，および上記相関値算出手段によって算出され
た相関値のうち最も強い相関を表わす相関値を生成した
１対の単位領域画像データに基づいて，上記第２の画像
の中心単位領域の画像データを補間演算する補間演算手
段を備えているものである。

【００１１】この発明による補間画像データ生成方法
は，それぞれが１駒を構成する第１の画像と第２の画像
と第３の画像とがこの順序で連続しており，かつ第２の
画像が欠落しており，第１の画像を表わす第１の画像デ
ータと第３の画像を表わす第３の画像データとが与えら
れたときに，これらの間の第２の画像を表わす第２の画
像データを，第１の画像データと第３の画像データを用
いて生成する方法であり，第１の画像と第３の画像上の
対応する位置にそれぞれ設定されたウインドウ内におい
て，第２の画像上の上記ウインドウの中心に相当する位
置の中心単位領域を中心として点対称の位置にある単位
領域の画像データを，第１の画像と第３の画像上の単位
領域の位置を変えながら取出し，取出された第１の画像
の単位領域画像データと第３の画像の単位領域画像デー
タとの相関値をそれぞれ算出し，算出された相関値のう
ち最も強い相関を表わす相関値を生成した１対の単位領
域画像データに基づいて，上記第２の画像の中心単位領
域の画像データを補間演算するものである。

【００１２】第１の画像および第３の画像上において上
記ウインドウの位置を，単位領域の水平方向および垂直
方向の大きさ分ずつ水平方向および垂直方向に順次シフ
トしながら，上記ウインドウの各位置で，上記単位領域
画像データの取出し，上記相関演算および上記補間演算
を繰返すことにより，第２の画像を表わすすべての第２
画像データを得ることができる。

【００１３】単位領域の画像データの取出しのやり方に
は種々の態様がある。

【００１４】その一は単位領域を１画素の大きさに設定
することである。この場合，ウインドウは水平方向およ
び垂直方向に奇数画素（１画素を除く）分の大きさであ
る。画像データが取出される単位領域は１画素分ずつ
（複数画素分ずつでもよい）シフトされることになろ
う。

【００１５】その二は単位領域を複数画素を含むブロッ
クとして設定することである。ブロックごとに相関値の
演算が行なわれるので，ノイズに対して強いものとな
る。

【００１６】この場合に，単位領域（ブロック）の位置
をブロック単位で変えてもよいし，１画素または複数画
素分ずつ変えてもよい。

【００１７】この発明によると，第２の画像上の上記ウ
インドウの中心に相当する位置の中心単位領域を中心と
して点対称の位置にある，第１の画像および第３の画像
上のウインドウ内の単位領域の画像データを取出してい
る。単位領域の位置を変えながら第１の画像および第３
の画像の単位領域画像データを取出し，それらの相関値
を算出している。最も強い相関を表わす相関値を生成し
た一対の単位領域がほぼ同じ像を表わしているといえ
る。最も強い相関を表わす相関値を生成した第１の画像
と第３の画像における一対の単位領域を結ぶ方向が像の
動きの方向であり，これらの単位領域間の距離（時空間
における距離）が動きの程度を表わしていることにな
る。

【００１８】このように，像の動きに最も強く関係する
第１の画像と第３の画像の一対の単位領域の画像データ
に基づいて第２の画像を表わす画像データを補間演算に
より算出している。第２の画像の画像データは第１の画
像と第３の画像との中間の位置に，第１の画像と第３の
画像とをつなぐ画像を表わすことになる。

【００１９】したがって，第１の画像と第２の画像と第
３の画像とを連続的に再生した場合には，これらの画像
中に像の動きがあれば，その動きは滑らかに表現される
ことになる。

【００２０】このようにして，この発明によると，画像
中の像の動きを考慮した補間処理が行なわれるので，再
生したときに滑らかな動きを表わす画像データが得られ
る。

【００２１】

【実施例の説明】図１はこの発明の第１の実施例を示す
もので，駒落しにより欠落した画像データを補間によっ
て生成する装置の電気的構成を示すブロック図である。
この実施例は画素間補間を行うものである。

【００２２】図13に示すように，偶数フレームのフレー
ム画像データが駒落しにより欠落され，奇数フレームの
フレーム画像データが与えられた場合について説明す
る。前後の奇数フレーム画像データに基づいて，その間
の偶数フレーム画像の画像データが生成される。

【００２３】１フレーム分の画像データは切換スイッチ
10を経てフレーム・メモリ11および12のいずれかに入力
し，格納される。切換スイッチ10は１フレーム分の画像
データが通過するごとに切換えられる。したがって，入
力する１フレーム分の画像データはフレーム・メモリ11
または12に交互に与えられることになる。

【００２４】たとえば，第１フレーム画像データがフレ
ーム・メモリ11に与えられたとすると，次の第３フレー
ム画像データがフレーム・メモリ12に与えられる。フレ
ーム・メモリ11および12にそれぞれ第１フレームおよび
第３フレーム画像データが格納されている状態で，これ
らの画像データを用いて第２フレームの画像データが生
成される。

【００２５】その後，第５フレーム画像データがフレー
ム・メモリ11に与えられる。この状態で，フレーム・メ
モリ12，11に格納されている第３フレーム，第５フレー
ム画像データを用いて，第４フレームの画像データが生
成される。

【００２６】その後，第７フレーム画像データがフレー
ム・メモリ12に与えられて記憶される。フレーム・メモ
リ11，12に格納されている第５，第７フレーム画像デー
タを用いて第６フレームの画像データが生成される。

【００２７】補間による画像データの生成が動画像表示
のためにリアル・タイムで行なわれるときには，１フレ
ーム分の画像データは１フレーム周期（ＮＴＳＣ方式の
場合には１／30秒）の間に生成される。

【００２８】たとえば，第１，第３フレーム画像データ
がフレーム・メモリ11，12にそれぞれ格納された状態
で，１フレーム周期の間に，第１，第３フレーム画像デ
ータを用いて第２フレーム画像データが生成される。続
く１フレーム周期の間に，フレーム・メモリ11に第５フ
レーム画像データが読込まれる。さらにその後に続く１
フレーム周期の間に，第３，第５フレーム画像データを
用いて第４フレーム画像データが生成される。このよう
にして，フレーム・メモリ11または12へのフレーム画像
データの読込みと，補間によるフレーム画像データの生
成とがフレーム周期で交互に繰返されることになる。こ
の場合に，切換スイッチ10は２フレーム周期で交互に切
換えられる。

【００２９】切換スイッチ10として有接点のものが図示
されているが，もちろん実際は半導体無接点スイッチ
（ゲート回路等）として実現される。フレーム・メモリ
11および12における指定アドレスを切換えることによっ
ても切換スイッチ10による切換えと同等の機能を達成で
きる（フレーム・メモリ11と12が異なるアドレス空間を
もつ場合）。

【００３０】フレーム・メモリ11および12にそれぞれ第
１フレーム画像データおよび第３フレーム画像データが
格納されており，これらの第１，第３フレーム画像デー
タを用いて第２フレームの画像データを補間により生成
する処理について，図２および図３を参照して説明す
る。

【００３１】図２および図３は，第１フレーム画像デー
タおよび第３フレーム画像データからウインドウを通し
てそれぞれ抽出された３画素×３画素の画素群を示すも
のである。また，これらの画素群の間に，補間によって
生成されるべき第２フレームの画像データの対応する画
素も図示されている。図２は画素間の対称関係を明確に
するために斜視図的に描かれ，かつ各画素が点（黒丸）
で表わされている。図３は画素配列を分りやすくするた
めに平面的に描かれている。ウインドウの中心にある画
素に対応する第２フレームの画素についての画像データ
が生成される。

【００３２】まず，補間により画像データを生成すべき
第２フレームの画素（２，５）を中心として，互いに点
対称の位置関係にある第１フレームの画素と第３フレー
ムの画素との間の相関値を算出する。すなわち，第１フ
レームの画素（１，１）と第３フレームの画素（３，
９）との相関値ｓ₁ ，画素（１，２）と画素（３，８）
との相関値ｓ₂ ，画素（１，３）と画素（３，７）との
相関値ｓ₃ ，画素（１，４）と画素（３，６）との相関
値ｓ₄ ，画素（１，５）と画素（３，５）との相関値ｓ
₅ ，画素（１，６）と画素（３，４）との相関値ｓ₆ ，
画素（１，７）と画素（３，３）との相関値ｓ₇ ，画素
（１，８）と画素（３，２）との相関値ｓ₈ ，および画
素（１，９）と画素（３，１）との相関値ｓ₉ が算出さ
れる。画像データを生成すべき画素（２，５）に対応す
る画素（１，５）と画素（３，５）も，画素（２，５）
を中心として点対称関係にあるとする。

【００３３】相関値としては，たとえば２つの画素の画
像データの差の絶対値，差の二乗の値等が用いられる。

【００３４】次に，これらの相関値ｓ_i （ｉ＝１〜９）
の中で最も小さい値（最も相関が強いもの）を見付け
る。

【００３５】最小の相関値を生じさせる２つの画素（第
１フレームと第３フレームにおける）の画像データを用
いた補間演算が行なわれ，この補間演算結果が第２フレ
ームの画素（２，５）の画像データとなる。補間演算は
公知の演算でよく，たとえば２つの画素の画像データの
平均値を算出する方法が用いられる。

【００３６】画像データによって表わされる対象物にあ
る方向への動きがあり，第１フレームから第３フレーム
までの時間（２フレーム周期）の間に２画素分動いたと
する。たとえば，この動きが左下から右上に向う斜めの
方向であるとすると，第１フレームの画素（１，７）に
よって表わされる像は第３フレームでは画素（３，３）
の位置に至る。画素（１，７）の画像データと画素
（３，３）の画像データはほぼ等しい値を示すことにな
るので，相関値ｓ₇ は零または零に近い値となる。

【００３７】第２フレームの画像データを生成すべき画
素を中心として，互いに点対称の位置関係にある第１フ
レームの画素と第３フレームの画素との相関値の最小値
を見付け出す（相関の強い画素の対を見付け出す）とい
うことは，上述のように画像データによって表わされる
像の動きの方向を検出することを意味する。

【００３８】この検出した動きの方向にそって補間演算
が行なわれ，第２フレームの画素（２，５）の画像デー
タが算出される。したがって，画素（２，５）の算出さ
れた画像データは，第１フレームの時点と第３フレーム
の時点との丁度中間の時点において，その画素（２，
５）の位置まで動いてきた像を表わしていることにな
る。

【００３９】したがって，上述の処理によって生成され
た第２フレームの画像データを含めて，第１フレームか
ら第３フレームまでの画像データによって表わされる対
象物像をフレーム周期で連続的に再生したとすると，対
象物の動きが滑らかに表現されることになる。

【００４０】補間処理のために画像データを切出すべき
ウインドウの大きさは対象物の動きの程度によって定め
ればよい。ウインドウの大きさは３画素×３画素に限ら
ず，５画素×５画素，７画素×７画素，９画素×９画素
のように任意に決定できる。ウインドウを大きくすれば
大きくするほど大きな動きに対処できる。もちろん小さ
な動きにも対処できることになる。

【００４１】ウインドウは正方形に限られることはな
い。横方向の動きが大きい場合には３画素（縦方向）×
５画素（横方向），３画素×７画素，５画素×７画素，
５画素×９画素のようにウインドウを横方向に長い長方
形に設定すればよい。縦方向の動きを重要視する場合に
は５画素×３画素，７画素×３画素，７画素×５画素，
９画素×５画素のように縦方向に長いウインドウを設定
すればよい。

【００４２】個々の画素の画像データにはノイズの影響
が顕著に現われやすく，相関値もばらつきやすい。そこ
で，見付け出された最小の相関値の妥当性の判定を追加
することが好ましい。たとえば，所定のしきい値を設定
しておき，最小の相関値がこのしきい値よりも小さい場
合にはその相関値は妥当なものとする。このしきい値と
して，ウインドウの中心の画素（１，５）の画像データ
と画素（３，５）の画像データとの平均値を採用するこ
ともできる。上述した相関値演算および最小の相関値の
検出をソフトウェアで実行する場合にもしきい値を用い
ることができる。たとえば，一定の順序で画素対の相関
値を算出し，相関値を算出するごとにしきい値と比較
し，しきい値よりも小さい相関値が見付かった時点で処
理を終了する。しきい値よりも小さい見付かった相関値
を最小のものとみなす。

【００４３】多くの種類の画像の中には動きのない，ま
たは殆んどない画像も少なくない。そのような画像につ
いてまで常に上述の処理を行う必要は必ずしもない。そ
こで，まず動きの程度を算出し，動きの程度が所定のし
きい値を超えていた場合にのみ上述の処理を行ない，そ
れ以外の場合には，画素（２，５）の画像データをウイ
ンドウの中心の画素（１，５）と画素（３，５）の画像
データに基づいて算出するようにしてもよい。動きの程
度は，たとえばウインドウの中心の画素（１，５）の画
像データと画素（３，５）の画像データとの相関値によ
って表わせばよい。

【００４４】図１に戻って，ウインドウ回路13，14はそ
れぞれフレーム・メモリ11，12に格納されている画像デ
ータに上述したウインドウを設定するものである。この
回路13，14によってそれぞれ設定された各ウインドウに
含まれる画素の画像データは相関演算回路15に与えら
れ，ここで相互に点対称の位置にある画素間の相関値が
算出される。補間参照画素選択回路16において，算出さ
れた相関値のうちの最小値が検出され，この最小値を生
じさせる一対の画素が選択される。選択された一対の画
素の画像データがウインドウ回路13，14から出力され，
これらの画像データに基づいて，補間すべき画素の画像
データが補間画素値演算回路17において算出され，出力
される。

【００４５】ウインドウ回路13，14によって設定される
ウインドウは一画素分ずつ水平および垂直方向に走査さ
れる。各走査位置において，補間画像データが算出され
ることになる。したがって，第２フレームのすべての画
素（周辺部の画素については充分な動き検出に基づく補
間は必ずしも行なわれない。）について画像データが生
成されることになる。

【００４６】図１の装置がハードウェアで実現される場
合には，ウインドウ回路13，14は，たとえば，それぞれ
複数個（たとえば３個）の縦続接続されたライン・メモ
リから構成されよう。相関演算回路15は複数組（たとえ
ば９組）の減算回路と絶対値回路，または減算回路と二
乗回路により構成されよう。ウインドウ回路13，14の複
数のライン・メモリのウインドウ内のセル（たとえば９
×２＝18個）のうち，上述した点対称の位置関係にある
一対のセルが一つの減算回路に接続される。補間参照画
素選択回路16はＭＩＮ回路と複数（たとえば９個）の比
較回路を含む。ＭＩＮ回路は複数の絶対値回路または二
乗回路の出力の最小値を検出する。複数の上記比較回路
にこの最小値に微小値を加えたしきい値が与えられる。
各比較回路には絶対値回路または二乗回路の出力がそれ
ぞれ与えられる。しきい値よりも小さい入力が与えられ
た比較回路から出力が発生する。この出力を発生した比
較回路に対応する画素対が最小の補間値を生成したもの
である。補間画素値演算回路17はウインドウ回路13，14
におけるウインドウ内のセル（９×２＝18個）の出力側
に接続されるゲート回路を含む。このゲート回路は一対
ずつ対応する比較回路により制御される。上記の出力を
発生した比較回路によって制御される２つのゲート回路
を通って出力される画像データが上記の最小値を生成し
た画素対の画像データである。演算回路17はさらに平均
値回路を含み，ゲート回路から出力される画像データが
この平均値回路に与えられる。平均値回路の出力が補間
画像データとなる。

【００４７】フレーム・メモリ11，12から画像データが
水平走査の順で順次読出され，ウインドウ回路13，14に
それぞれ与えられる。各回路13，14，15，16，17は画素
クロックに同期して動作し，画素クロックごとに補間画
像データが順次出力されることになる。

【００４８】図１の装置の機能の一部または全部をソフ
トウェアによって実現することもできる。この場合に
は，上述したウインドウ設定，画素間相関値の演算，最
小の相関値の検出，最小の相関値を生じさせた画素の画
像データを用いた補間値の演算のいずれか一つ，複数，
または全部がプログラムされたコンピュータにより実現
される。

【００４９】図４は第２の実施例を示すものである。こ
の実施例ではブロック間処理が行なわれる。

【００５０】各画素の画像データは上述のようにノイズ
によって影響されやすい。第２実施例はノイズ等の影響
を極力少なくするために，ブロックを単位として動きを
検出するものである。

【００５１】第１実施例と同じように奇数フレームの画
像データが切換スイッチ10を経てフレーム・メモリ11お
よび12に交互に与えられ，かつ格納される。これらのフ
レーム・メモリ11，12にそれぞれ格納されたフレーム画
像データを切出すためのウインドウがウインドウ回路13
Ａ，14Ａにそれぞれ設定されている。

【００５２】図５はウインドウ回路13Ａに設定されたウ
インドウによって切出された第１フレーム画像の画素，
およびウインドウ回路14Ａに設定されたウインドウによ
って切出された第２フレーム画像の画素を示すもので，
第１実施例の図３に対応している。図５にはまた，第１
フレーム画像データと第３フレーム画像データとを用い
て画像データが補間により生成される第２フレームの画
素も示されている。

【００５３】１ブロックはこの実施例では８画素×８画
素の大きさである。ウインドウは３ブロック×３ブロッ
クの画素を含む大きさに設定されている。第１フレーム
のブロックに［１，１］，［１，２］，…，［１，９］
の符号を付し，第３フレームのブロックには［３，
１］，［３，２］，…，［３，９］の符号を付してあ
る。第１フレームおよび第３フレームの各ウインドウに
相当する第２フレームのウインドウを仮想し，この第２
フレームのウインドウの中心のブロックを［２，５］と
する。このブロック［２，５］内の画素の画像データが
補間により生成される。

【００５４】１ブロックの大きさを，２画素×２画素，
３画素×３画素，４画素×４画素，３画素×５画素，５
画素×４画素のように任意に設定できる。ウインドウ内
に含まれるブロックも４ブロック×４ブロック，３ブロ
ック×４ブロック，５ブロック×３ブロックのように任
意に設定できる。

【００５５】第２フレームのブロック［２，５］を中心
として，互いに点対称の関係にある第１フレームのブロ
ックと第３フレームのブロックとの間の相関値が相関演
算回路15Ａにおいて算出される。すなわち，第１フレー
ムのブロック［１，１］と第３フレームのブロック
［３，９］との相関値Ｓ₁ ，ブロック［１，２］とブロ
ック［３，８］との相関値Ｓ₂ ，ブロック［１，３］と
ブロック［３，７］との相関値Ｓ₃ ，ブロック［１，
４］とブロック［３，６］との相関値Ｓ₄ ，ブロック
［１，５］とブロック［３，５］との相関値Ｓ₅ ，ブロ
ック［１，６］とブロック［３，４］との相関値Ｓ₆ ，
ブロック［１，７］とブロック［３，３］との相関値Ｓ
₇ ，ブロック［１，８］とブロック［３，２］との相関
値Ｓ₈ ，およびブロック［１，９］とブロック［３，
１］との相関値Ｓ₉ が算出される。

【００５６】これらの相関値Ｓ_i （ｉ＝１〜９）の中で
最も小さい値が補間参照ブロック選択回路16Ａにおいて
検出される。最小の相関値を生じされる一対のブロック
が最も相関の強いものである。

【００５７】ブロック間の相関値Ｓ_i はたとえば次のよ
うにして算出される。ブロック［１，１］とブロック
［３，９］との相関値Ｓ₁ を例にとって説明する。

【００５８】これらのブロック［１，１］および［３，
９］にはそれぞれ８×８＝64画素が含まれている。ブロ
ック［１，１］と［３，９］において対応する画素間の
相関値ｓ_j が算出される。すなわち，ブロック［１，
１］内の画素（１，ｊ）とブロック［３，９］内の画素
（３，ｊ）との相関値がｓ_j （ｊ＝１〜64）である。画
素間の相関値は上述のように，２つの画素の画素データ
の差の絶対値，差の二乗値等を求めることにより得られ
る。次に，これらの画素間の相関値ｓ_j が１ブロック内
で加算される。１ブロックにおける相関値ｓ_j の総和が
ブロック間の相関値Ｓ_j となる。総和に代えて平均値で
もよい。

【００５９】相関値が最も小さい一対のブロック（第１
フレームにおける１つのブロックと第３フレームにおけ
る１つのブロック）が選択されると，これらの選択され
たブロックの画像データを用いて第２フレームにおける
ウインドウの中央に相当する位置のブロック［２，５］
の画像データが補間演算により生成される。

【００６０】たとえば第１フレームのブロック［１，
１］および第３フレームのブロック［３，９］が選択さ
れたとすると，これらのブロックに含まれる画素の画像
データを用いて第２フレームのブロック［２，５］の各
画素の画像データが次のように算出される。ブロック
［２，５］における画素（２，ｊ）の画像データは，ブ
ロック［１，１］の画素（１，ｊ）の画像データとブロ
ック［３，９］の画素（３，ｊ）の画像データを用いた
補間演算（たとえば平均値演算）により得られる。この
補間演算は補間画素値演算回路17Ａによって行なわれ
る。この回路17Ａからは１ブロック（８×８画素）分の
画像データが出力される。

【００６１】第１フレームおよび第３フレームにおける
ウインドウがブロックの一辺の長さ（画素数）を単位と
して順次，水平方向および垂直方向に走査され，各位置
において１ブロックの画素について第２フレームの画像
データが得られることになる。

【００６２】図４に示す回路はハードウェアで実現する
こともできるし，その機能の一部または全部をソフトウ
ェアで達成することもできる。いずれの場合にもリアル
タイム処理（たとえばフレーム当り１／30秒の処理時
間）が可能である。ハードウェア回路は図１に関連して
説明した回路を拡張すればよい。ウインドウ回路13Ａ，
14Ａは３ブロック（たとえば８×３＝24）分の数のライ
ン・メモリから構成されよう。相関演算回路15Ａは１ブ
ロックに含まれる画素数（たとえば８×８＝64）に相当
する数の減算回路を含み，これらの減算回路の後段にそ
れぞれ絶対値回路または二乗回路が接続されよう。ま
た，これらの絶対値回路または二乗回路の出力の総和を
演算する加算回路が設けられよう。補間参照ブロック選
択回路は最小値検出回路と，ブロック数と同数の比較回
路を含むことになろう。１画素分ずつ補間画像データを
算出する場合には，補間画素値演算回路17Ａは１つの平
均値回路を含めばよい。１画素分の算出された画像デー
タが順次出力されることになる。

【００６３】図６は動き検出の他のやり方を示してい
る。このやり方においても図４に示す回路が適用され
る。

【００６４】第１フレームに設定されたウインドウの左
上のブロック［１，１］内の画像データと第３フレーム
に設定されたウインドウの右下のブロック［３，256 ］
内の画像データとの相関値が算出される。次に，第１フ
レームのウインドウ内においてブロック［１，１］から
右に１画素分シフトした位置にブロック［１，２］が設
定される。同じように第３フレームのウインドウ内にお
いてブロック［３，256 ］から左に１画素分シフトした
位置にブロック［３，255 ］が設定される。これらのブ
ロック［１，２］内の画素データとブロック［３，255
］内の画像データとの相関値が算出される。

【００６５】このように，第１フレームにおいてはブロ
ックを１画素分ずつ水平方向に右にシフトしながら，第
３フレームにおいてはブロックを１画素分ずつ水平方向
に左にシフトしながら，各位置において，第１フレーム
のブロック内の画像データと第３フレーム内の画像デー
タとの相関値が算出される。

【００６６】第１フレームにおいてブロックが右端に至
り，第３フレームにおいてブロックが左端に至ると，第
１フレームにおいてはブロック［１，１］の位置から１
画素分下方にシフトした位置にブロックが設定され，第
３フレームにおいてはブロック［３，256 ］の位置から
１画素分上方にシフトした位置にブロックが設定され，
これらのブロック内の画像データの相関値が算出され
る。第１フレームにおいてブロックが水平方向に右に，
第３フレームにおいてはブロックが水平方向に左にそれ
ぞれ１画素分ずつシフトされながら，各位置で相関値が
算出される。

【００６７】ブロックを第１フレームにおいては，水平
方向には左から右に，垂直方向には上から下に，第３フ
レームにおいては，水平方向には右から左に，垂直方向
には下から上に１画素分ずつシフトしながら，すべての
位置において，第１フレームのブロックの画像データと
第３フレームのブロックの画像データとの相関値が算出
される。第１フレームのブロックと第３フレームのブロ
ックは，第２フレームにおけるウインドウの中央の位置
に相当する位置にあるブロック［２，128 ］を中心とし
て，常に点対称の関係にある。

【００６８】ウインドウが正方形でその一辺が24画素，
ブロックが正方形でその一辺が８画素の場合には，256
個の相関値が得られる。これらの相関値のうち最小のも
のが選択される。選択されたブロックの画像データを用
いて，第２フレームのブロック［２，128 ］に含まれる
各画素の画像データが補間演算されること，およびウイ
ンドウを水平方向および垂直方向にブロックの一辺の画
素分ずつシフトしながら上述の処理が行なわれること
は，第２実施例の場合と同じである。

【００６９】ブロック間の相関値を演算する場合に，上
述のようにブロックを１画素分ずつシフトするのではな
くて，数画素分ずつシフトするようにしてもよい。この
ことは画素間の相関値を演算する第１実施例においても
あてはまる。

【００７０】上記実施例においてはフレーム間補間が行
なわれているが，フィールド画像を単位として補間処理
を行うこともできる。

【００７１】欠落したフレーム（またはフィールド）の
前後にあるフレーム（またはフィールド）において，画
像の位置がずれている場合，たとえば上述した第１フレ
ーム内の画像の位置と第３フレーム内の画像の位置とが
ずれている場合（画像の動きによるものではなく，たと
えばカメラを動かしたために２つのフレームにおいて画
像の位置がずれたような場合），このずれ量があらかじ
め分っていれば，このずれをあらかじめいずれかのフレ
ームにおいて補正（ずれ量に相当する分だけ画像データ
をシフトする）したのちに，上述した処理によって補間
画像を生成するようにしてもよい。このずれ補正はウイ
ンドウの設定位置をいずれかのフレームでシフトするこ
とによっても達成できる。もちろん，ずれ補正をしなく
てもよい。ずれ補正をして補間画像を生成したのちずれ
を元に戻してもよい。

【００７２】２つのフレーム（またはフィールド）の間
の時間における画像の動きの方向と量があらかじめ分っ
ている場合には，相関値を算出すべき画素対またはブロ
ック対を動きの方向と量に応じて選択し，相関値演算の
回数を減少させることができる。動きの大きさがウイン
ドウ内には収まらないほどに大きい場合には，いずれか
一方のフレーム（フィールド）におけるウインドウの位
置を動きの方向と大きさに応じてあらかじめシフトさせ
るか，または少なくとも一方の画像を動きの方向と大き
さに応じてシフトさせておいた上で，上述した補間画像
データ生成処理を行うようにすることもできる。

【００７３】上述した補間画像データ生成処理は，輝度
データのみ，輝度データと色差データの両方，Ｒ，Ｇ，
Ｂの色画像データの全部または一部（たとえばＢ色画像
データのみ）等のいかなる画像データにも適用できる。
この場合，輝度データに基づいて得られた動きの程度と
色差データに基づいて得られた動きの程度とが異なる場
合には，いずれか一方の動き検出結果を用いてもよい
し，重み付け平均値を用いてもよい。

【００７４】従来技術の項で説明したように，連続する
多数の駒の画像によって表わされる動画像を効率的に伝
送または蓄積するために，連続する多数の駒の中から，
たとえば一つおきに，駒落しされる。駒落しされたのち
に残った画像の画像データが，適当な画像圧縮アルゴリ
ズムにしたがってデータ圧縮されて伝送または蓄積され
る。

【００７５】この発明による補間画像データ生成装置お
よび方法は，このような駒落しにより欠落した駒の画像
を復元するときに有用である。圧縮画像データは伸張処
理ののち，補間画像データ生成装置に与えられる。この
装置において，駒落しにより欠落した駒の画像が生成さ
れる。この結果，連続する駒の画像によって表わされる
元の動画像が再生されることになる。

【００７６】この発明による補間画像データ生成装置
は，次に詳述するようなディジタル・ビデオ・テープ・
レコーダまたはディジタル画像データ再生装置において
も好適に利用される。

【００７７】ディジタル・ビデオ・テープ・レコーダの
構成および動作の説明に先だち，ディジタル・ビデオ・
テープ・レコーダによる磁気テープへの記録方式に関す
る既存の標準的な業界規格について説明しておく。

【００７８】磁気テープの記録フォーマットが図10(A)
および(B) に示されている。図10(A) は磁気テープ28の
トラックＴｒを示すもので，磁気テープ28の長手方向に
対して斜め方向に一定の角度で多数のトラックＴｒが形
成される。これらの多数のトラックＴｒのうち連続する
10個のトラックを用いて１フレーム分のディジタル画像
データが記録される。

【００７９】図10(B) にトラック・フォーマットが示さ
れている。１つのトラックＴｒには，サブコード記録領
域，ビデオ記録領域，補助記録領域，オーディオ記録領
域およびトラック情報記録領域が含まれている。サブコ
ード記録領域には高速検索のためのタイムコードや絶対
トラック番号などの情報が記録される。ビデオ記録領域
には被写体像を表わすディジタル画像データが記録され
る。オーディオ記録領域には音を表わすデータが記録さ
れる。トラック情報記録領域には磁気ヘッドがトラック
Ｔｒの中心をトレースするための，トラックＴｒの基準
となる情報が記録される。補助記録領域は飛び飛びに設
けられ，この補助記録領域には付加情報が記録される。
各領域の間に設けられるギャップは図示が省略されてい
る。

【００８０】ディジタル・ビデオ・テープ・レコーダに
用いられるＣＣＤは一般的には水平方向720 画素，垂直
方向480 画素の約35万画素の画素数をもつものが用いら
れる。このようなＣＣＤを用いて得られた１フレーム分
のディジタル画像データが，磁気テープ28の10トラック
に記録される。これが既存の規格である。

【００８１】磁気テープ28に記録される画像データによ
って表わされる画像の画質を向上させるためには，画素
数の多いＣＣＤを用いれば良い。しかしながら，ディジ
タル・ビデオ・テープ・レコーダにおいては35万画素の
画素数をもつＣＣＤを用いて被写体を撮像して得られた
ディジタル画像データを，10個のトラックに記録するよ
うにその規格が定められているので，35万画素の画素数
よりも画素数の多いＣＣＤを用いて被写体を撮像して得
られたディジタル画像データを磁気テープ28に記録する
と，この規格から外れてしまう。ここで説明するディジ
タル・ビデオ・テープ・レコーダは，ディジタル・ビデ
オ・テープ・レコーダに一般的に用いられる35万画素の
画素数よりも多い画素数をもつＣＣＤを用いて被写体を
撮像し，かつディジタル・ビデオ・テープ・レコーダの
従来からの記録規格に合致した画像データの記録を可能
とするものである。

【００８２】図７は，ディジタル画像データの記録およ
び再生が可能なディジタル・ビデオ・テープ・レコーダ
（ＤＶＴＲ）の電気的構成を示すブロック図である。デ
ィジタル・ビデオ・テープ・レコーダの全体の動作はシ
ステム・コントローラ30によって統括される（制御線は
図示略）。

【００８３】このディジタル・ビデオ・テープ・レコー
ダで用いられるＣＣＤ31は，図８に示されているように
水平方向1440画素，垂直方向480 画素の約70万画素の画
素数をもつものであり，35万画素ＣＣＤの２倍の量の画
像データが得られる。このような70万画素ＣＣＤ31から
得られる１フレーム分の画像データのデータ量は，35万
画素ＣＣＤの２フレーム分の画像データ，すなわち４フ
ィールド分の画像データのデータ量に相当する。

【００８４】このディジタル・ビデオ・テープ・レコー
ダではＣＣＤ31から得られる１駒分の画像データを４フ
ィールド分の画像データに分け，各２フィールド分をそ
れぞれ10トラックずつを用いて磁気テープ28に記録する
ことにより，高画質撮影を達成しつつ，ディジタル・ビ
デオ・テープ・レコーダの従来からの記録規格に合致し
た画像データの記録を可能とする。

【００８５】記録モードにおいて，約70万画素の画素数
をもつＣＣＤ31によって１／15秒の一定周期で被写体が
連続的に撮影される。撮影のためのシャッタ速度が適当
（たとえば１／60秒，または必要に応じてこれよりも短
い時間）になるように，いわゆる電子シャッタ制御によ
り定められる。ＣＣＤ31から１／15秒ごとに被写体像を
表わす映像信号が出力されＣＤＳ（correlate double s
amplimg ）回路32に与えられる。映像信号はＣＤＳ回路
32において増幅され，アナログ／ディジタル変換回路33
においてディジタル画像データに変換される。ディジタ
ル画像データはガンマ補正回路34に与えられ，ガンマ補
正される。ガンマ補正後のディジタル画像データがデー
タ圧縮回路35を介して（このときは，まだデータ圧縮さ
れない）フレーム・メモリ25に与えられ一旦記憶され
る。フレーム・メモリ25は１駒70万画素分のカラー画像
データを記憶できる容量をもつ。

【００８６】フレーム・メモリ25に記憶された１駒分の
画像データはフレーム・メモリ25から読出される過程
で，４フィールド分の画像データに分けられる。この分
け方は次の通りである。

【００８７】図９はＣＣＤ31における画素配列およびこ
れらの画素の画像データが４フィールドに分割される様
子を模式的に表わすものである。水平方向および垂直方
向とも，図示の便宜上，画素数はきわめて少なく描かれ
ている。また，配列方式（モザイク，ストライプ，デル
タ等）はここでは問わない。図９の上部に示すように，
ＣＣＤ31から出力されかつＡ／Ｄ変換された１駒分の画
像データはＣＣＤ31の水平方向および垂直方向のすべて
の画素（水平方向720 画素，垂直方向480 画素）につい
ての画像データを含んでいる。フレーム・メモリ25に
は，ＣＣＤ31のすべての画素に対応する画像データが記
憶される。画像データは白黒画像を表わす画像データ
（輝度データ）およびカラー画像を表わす画像データ
（Ｒ，Ｇ，Ｂの色データ，または輝度データと色差デー
タとの組合せ）を含む概念である。特にカラー画像デー
タの場合に，色データまたは色差データの配列はＣＣＤ
のカラー・フィルタ配列，リサンプリングの方式，その
他の処理方式によって異なるであろう。たとえば，一画
素をＲ，Ｇ，Ｂの三原色データで表わす場合もあるし，
一または二原色データで表わす場合もある。

【００８８】これらの画像データのフレーム・メモリ25
からの読出しは第１フィールドから第４フィールドまで
４フィールドにわたって行なわれる（図９の下部参
照）。

【００８９】第１回目に読出される第１フィールドの画
像データおよび第３回目に読出される第３フィールドの
画像データは奇数行の画素の画像データである。これら
の奇数行の画像データは黒三角印と白三角印によって表
現されている。黒三角印が奇数列，白三角印が偶数列の
画像データである。第１フィールドの画像データは，奇
数列と偶数列の画像データが垂直方向に交互に繰返すこ
とにより構成される。第３フィールドの画像データは，
偶数列の画像データと奇数列の画像データとが垂直方向
に交互に繰返すことにより構成され，これらは第１フィ
ールドに含まれないものである。

【００９０】第２回目に読出される第２フィールドの画
像データおよび第４回目に読出される第４フィールドの
画像データは偶数行の画素の画像データである。これら
の偶数行の画像データは白丸印と黒丸印によって表現さ
れている。白丸印が奇数列，黒丸印が偶数列の画像デー
タである。第２フィールドの画像データは，奇数列と偶
数列の画像データが垂直方向に交互に繰返すことにより
構成される。第４フィールドの画像データは，偶数列の
画像データと奇数列の画像データとが垂直方向に交互に
繰返すことにより構成され，これらは第２フィールドに
含まれないものである。

【００９１】このようにして，すべての画素の画像デー
タが１回のみ，いずれかのフィールドにおいて読出され
ることになる。しかも，各フィールドを構成する画像デ
ータの画素は，垂直方向および水平方向に飛び飛びにな
っていて，どのフィールドの画像データによっても被写
体像の全体を表現することができる。第１フィールドと
第２フィールドによって１フレームが構成される。第３
フィールドと第４フィールドによって１フレームが構成
される。これらの各フレームはインタレース走査に適し
ている。したがって，後述する動画の再生において，従
来からの通常インタレース走査による再生と表示が可能
となる。

【００９２】これらの４フィールドにわたる画像データ
の読出しはフレーム・メモリ25のアドレッシングの制御
により容易に表現することができる。たとえば，第１フ
ィールドの読出しにおいては，垂直アドレスとして奇数
行を指定する。水平アドレスとしては，（４ｍ＋１）行
のときは奇数列を，（４ｍ＋３）行のときは偶数列を指
定するアドレス信号を発生させればよい（ｍ＝０，１，
２，…）。１フィールド分の画像データの読出しは１／
60秒で行なえばよい。このようなアドレス信号発生はシ
ステム・コントローラ30に行なわせてもよいしカウン
タ，分周回路，論理回路等で構成することもできる。

【００９３】フレーム・メモリ25から読出された画像デ
ータは，第１フィールドの画像データから順次データ圧
縮回路35に与えられる。データ圧縮回路35においてＤＣ
Ｔ（Discrete Cosine Transform ）処理，量子化処理な
どが行なわれることにより，画像データにデータ圧縮が
施される。データ圧縮処理回路35において圧縮された画
像データは誤り訂正符号付加回路36を介して（単に通過
して）フレーム・メモリ26に与えられ一旦記憶される。

【００９４】フレーム・メモリ26に記憶された４フィー
ルド分の画像データは順次誤り訂正符号付加回路36に与
えられ，誤り訂正符号が付加される。誤り訂正符号が付
加された画像データは再びフレーム・メモリ26に与えら
れ記憶される。画像データはフレーム・メモリ26から再
び読出され誤り訂正符号付加回路36に与えられる。誤り
訂正符号付加回路36にはシステム・コントローラ30から
記録領域データも与えられている。この記録領域データ
は，１フレームを構成する４つのフィールド・データを
識別するもので，４つのフィールド画像データのそれぞ
れに付加される（補助領域）。

【００９５】誤り訂正符号付加回路36から出力される画
像データは記録符号化回路37に与えられ，符号化（たと
えばＮＲＺＩ符号化）されて記録再生増幅回路27に与え
られる。記録再生増幅回路27において増幅された画像デ
ータは磁気ヘッド38に与えられる。これにより磁気ヘッ
ド38によって磁気テープ28の各トラックのうちビデオ記
録領域Ａ₂ に画像データが記録され，補助記録領域Ａ₃
に記録領域データが記録される。補助記録領域Ａ₃ に
は，１駒分の画像を４つのフィールドに分けたときに，
これらの４つのフィールドを表わす画像データが磁気テ
ープ28のどこのトラックに記録されたかどうかを表わす
記録領域データが記録される。オーディオ・データやト
ラック情報の記録ももちろん行なわれる。

【００９６】70万画素のＣＣＤ31を用いて得られた１駒
分の画像データ，すなわち４フィールド分の画像データ
のうち最初の２フィールド分の画像データは，一般的に
用いられる35万画素ＣＣＤ31を用いて被写体を撮影して
得られた１フレーム分の画像データのデータ量に相当す
るから，連続する10個のトラックのビデオ記録領域Ａ₂
に記録される。４フィールド分の画像データのうち残り
の２フィールド分の画像データは，最初の２フィールド
分の画像データが既に記録された画像データの次の10個
のトラックのビデオ記録領域Ａ₂ に記録される。70万画
素ＣＣＤ31を用いて得られた１駒分の画像データは，一
般的に用いられる35万画素ＣＣＤ31を用いて得られた１
フレーム分の画像データの２倍のデータ量をもつことか
ら，20トラックを用いて磁気テープ28に記録されること
となる。４フィールド分の記録動作は４フィールド分の
撮影動作と同じように１／15秒の周期で行なわれる。

【００９７】図７に示すディジタル・ビデオ・テープ・
レコーダは，磁気テープ28に記録されたディジタル画像
データの再生も可能である。再生モードには好ましくは
ムービ再生モードとスチル再生モードとがある。

【００９８】ディジタル画像データの再生モードにおい
て，磁気テープ28に記録された画像データ，記録領域デ
ータ，その他のデータが磁気ヘッド41によって読取られ
記録再生増幅回路27に与えられる。記録再生増幅回路27
において増幅されたデータは復調回路42に与えられる。
復調回路42においてデータ復調が行なわれ，誤り訂正回
路43を介してフレーム・メモリ26に与えられ一旦記憶さ
れる。フレーム・メモリ26に記憶されたデータは読み出
され誤り訂正回路43に与えられる。復調回路42において
復調されたデータにデータ誤りがあると，誤り訂正回路
43において誤り訂正処理が行なわれる。誤り訂正処理が
行なわれたデータのうち被写体像を表わすディジタル画
像データはデータ伸張回路44を介してフレーム・メモリ
25に与えられ，記録領域データはシステム・コントロー
ラ30に与えられる。この再生動作も４フィールド分の画
像データについて１／15秒の周期で行なわれる。

【００９９】ムービ再生モードにおいては，フレーム・
メモリ25に記憶された画像データはデータ伸張回路44に
与えられ，圧縮された画像データのデータ伸張処理が行
なわれる。

【０１００】上述したように１／15秒間隔で撮影するこ
とにより２フレーム分に相当するデータ量の画像データ
（第１フィールドから第４フィールド）が得られ，これ
らの画像データが磁気テープ28の合計20トラックに記録
される。これらの４フィールド分の画像データのうちデ
ータ伸張回路44でデータ伸張された２フィールド分（た
とえば第１フィールドと第２フィールドの画像データが
１／15秒の間隔でこの発明による補間画像データ生成装
置45に与えられるとともに，遅延回路49に与えられる。
残りの２フィールド分の画像データはムービ再生モード
では使用されない。

【０１０１】補間画像データ生成装置45には１／15秒間
隔（２フレーム周期）で奇数フレーム（図13参照）の画
像データが入力することになるから，時間的に隣接する
これらの２フレーム分の画像データに基づいて，時間的
にそれらの間に位置する偶数フレーム（図13参照）の画
像データが生成される。

【０１０２】遅延回路49は１フレーム分の画像データを
２フレーム周期遅延するものである。したがって，磁気
テープ28から読出された２フレーム分の画像データのう
ち１フレーム分の画像データ（奇数フレーム）が遅延回
路49から，補間処理により生成された１フレーム分の画
像データ（偶数フレーム）が補間画像データ生成装置45
から，１フレーム周期ごとに交互にモニタ表示装置50に
与えられる。

【０１０３】モニタ表示装置25に与えられる各フレーム
の画像データに基づいてインタレース走査が行なわれ，
モニタ表示装置25上において動画が再生される。補間画
像データ生成装置45における上述した動きを考慮した補
間処理により，表示される動画における像の動きは滑ら
かとなる。モニタ表示装置50をディジタル・ビデオ・テ
ープ・レコーダに設けてもよい。

【０１０４】図７に示すディジタル・ビデオ・テープ・
レコーダは動画再生に加えて静止画再生も可能である。
スチル再生モードにおいては，データ伸張回路44におい
てデータ伸張が施された画像データは画像合成回路46に
与えられる。画像合成回路46において，システム・コン
トローラ30に与えられた記録領域データにもとづいて一
つの駒を構成する４つのフィールド・データが識別さ
れ，図11に示すように，識別された４つのフィルード・
データから１駒の画像データが生成される。

【０１０５】画像合成回路46において生成された１駒の
画像データは垂直補間回路47に与えられる。

【０１０６】図７に示すディジタル・ビデオ・テープ・
レコーダに用いられるＣＣＤ11は水平方向が1440画素あ
り画素数が多いが，垂直方向は480 画素であり，一般的
な画素数（35万画素）をもつＣＣＤの垂直方向の画素数
とあまり変わらない。垂直方向の解像度を高めるため
に，垂直方向に画素のデータを補間する処理を行なって
いる。この補間処理を行なうのが垂直補間回路47であ
る。

【０１０７】垂直補間回路47において垂直補間処理が行
なわれた画像データはプリンタ48に与えられ，高画質の
静止画がプリントされる。垂直補間処理回路47はプリン
タ48に設けてもよい。

【０１０８】もっとも，垂直補間処理することなく画像
データをプリンタ48に与えてもよい。画像データ（垂直
補間されたもの，またはされないもの）をモニタ表示装
置50に与え，高画質の静止画を表示するしようにしても
よい。

【０１０９】垂直補間回路47における垂直補間処理は次
の様にして行なわれる。

【０１１０】図12は，画素配列の一部を示しており，中
央の画素Ｓ_m,n が補間によりその画像データを生成すべ
き画素である。この補間すべき画素の画像データＳ_m,n
（以下，画像データも画素と同じ記号を用いる）を算出
する場合，補間すべき画素Ｓ_m,n の上下に隣接する画素
Ｄ_m,n の画像データとＤ_m,n+1 の画像データとの差Δ₁
＝｜Ｄ_m,n+1 −Ｄ_m,n ｜，斜め上下に隣接する画素Ｄ
_m-1,n とＤ_m+1,n+1 との画像データの差Δ₂ ＝｜Ｄ
_m+1,n −Ｄ_m-1,n+1 ｜，ならびにＤ_m+1,n とＤ_m-1,n+1
との差Δ₃ ＝｜Ｄ_m-1,n+1 −Ｄ_m+1,n ｜がそれぞれ算出
される。

【０１１１】つづいて，これら算出された画像データの
差Δ₁ ，Δ₂ およびΔ₃ のうち最も小さいものが検出さ
れる。この最も小さい差を算出するのに用いられた２つ
の画像データの相加平均が算出される。この相加平均に
より得られたデータが補間すべき画素Ｓ_m,n の画像デー
タとなる。たとえばΔ₁ 〜Δ₃ のうちΔ₁ が最も小さい
場合には補間すべき画素の画像データはＳ_m,n ＝（Ｄ
_m,n+1 ＋Ｄ_m,n ）／２となる。Δ₂ が最も小さい場合に
はＳ_m,n ＝（Ｄ_m+1,n ＋Ｄ_m-1,n+1 ）／２となり，Δ₃
が最も小さい場合にはＳ_m,n ＝（Ｄ_m-1,n+1 ＋
Ｄ_m+1,n ）／２となる。

【０１１２】これにより上下または斜め方向に相関が強
くなるように垂直補間が行なわれるので，得られる静止
画のエッジが滑らかになる。

【０１１３】このような垂直補間処理がすべての列間に
おいて行なわれ，実質的に垂直方向に480 画素の倍の画
素をもつ画像データが得られる（図11の最下部の図を参
照）。

【０１１４】記録モードと再生モードとを切換える，ま
たは選択するスイッチ（またはキー等）が設けられ，こ
のスイッチにより上述した記録モードと再生モードとの
切換えが行なわれる。また，再生モードのうち，ムービ
再生モードとスチル再生モードとを切換える，または選
択するスイッチが設けられ，このスイッチにより上述し
たムービ再生とスチル再生の切換えが行なわれる。これ
らのスイッチからのモード選択信号はシステム・コント
ローラ10に与えられ，システム・コントローラ30が上述
した各種モードにおける処理が実行されるように各回路
を制御する。

【図面の簡単な説明】

【図１】第１実施例における補間画像データ生成装置を
示すブロック図である。

【図２】補間のための画素の対応関係を斜視図的に示す
ものである。

【図３】補間のための画素の対応関係を平面的に示すも
のである。

【図４】第２実施例における補間画像データ生成装置を
示すブロック図である。

【図５】補間のための画素の対応関係を平面的に示すも
のである。

【図６】ブロックのシフトの様子を示すものである。

【図７】ディジタル・ビデオ・テープ・レコーダの電気
的構成を示すブロック図である。

【図８】ＣＣＤの構成を示している。

【図９】１駒分の画像を４つのフィールド画像に分ける
手順を示している。

【図１０】(A) は磁気テープの記録フォーマットを示し
ており，(B) はトラックのフォーマットを示している。

【図１１】４つのフィールド画像から１駒画像および垂
直補間画像を構成する手順を示している。

【図１２】画素配列の一例を示し，垂直補間を説明する
ための図である。

【図１３】駒落しされたフレームとその前後のフレーム
とを示すものである。

【符号の説明】

11，12 フレーム・メモリ 13，14，13Ａ，14Ａ ウィンドウ回路 15，15Ａ 相関演算回路 16 補間参照画素選択回路 16Ａ 補間参照ブロック選択回路 17，17Ａ 補間画素値演算回路

Claims (7)

【特許請求の範囲】
1. 【請求項１】 それぞれが１駒を構成する第１の画像と
   第２の画像と第３の画像とがこの順序で連続しており，
   かつ第２の画像が欠落しており，第１の画像を表わす第
   １の画像データと第３の画像を表わす第３の画像データ
   とが与えられたときに，これらの間の第２の画像を表わ
   す第２の画像データを，第１の画像データと第３の画像
   データを用いて生成する装置であり，第１の画像と第３
   の画像上の対応する位置にそれぞれ設定されたウインド
   ウ内において，第２の画像上の上記ウインドウの中心に
   相当する位置の中心単位領域を中心として点対称の位置
   にある単位領域の画像データを，第１の画像と第３の画
   像上の単位領域の位置を変えながら取出す単位領域画像
   データ取出手段，上記単位領域画像データ取出手段によ
   って取出された第１の画像の単位領域画像データと第３
   の画像の単位領域画像データとの相関値をそれぞれ算出
   する相関値算出手段，および上記相関値算出手段によっ
   て算出された相関値のうち最も強い相関を表わす相関値
   を生成した１対の単位領域画像データに基づいて，上記
   第２の画像の中心単位領域の画像データを補間演算する
   補間演算手段，を備えた補間画像データ生成装置。
2. 【請求項２】 第１の画像および第３の画像上において
   上記ウインドウの位置を，単位領域の水平方向および垂
   直方向の大きさ分ずつ水平方向および垂直方向に順次シ
   フトしながら，上記ウインドウの各位置で，上記単位領
   域画像データ取出手段による単位領域画像データ取出動
   作，上記相関演算手段による相関演算，および上記補間
   演算手段による補間演算を繰返すよう制御する手段をさ
   らに備えた請求項１に記載の補間画像データ生成装置。
3. 【請求項３】 上記単位領域が１画素の大きさであり，
   上記ウインドウが水平方向および垂直方向に奇数画素
   （１画素を除く）分の大きさである，請求項１に記載の
   補間画像データ生成装置。
4. 【請求項４】 上記単位領域が複数画素を含むブロック
   であり，上記ウインドウが水平方向および垂直方向に奇
   数ブロック（１ブロックを除く）分の大きさである，請
   求項１に記載の補間画像データ生成装置。
5. 【請求項５】 上記単位領域が複数画素を含むブロック
   であり，上記ウインドウが１ブロックよりも大きく設定
   されており，上記単位領域画像データ取出手段はブロッ
   クの位置を１画素または複数画素分ずつ水平方向および
   垂直方向に変えながら単位領域画像データを取出す，請
   求項１に記載の補間画像データ生成装置。
6. 【請求項６】 それぞれが１駒を構成する第１の画像と
   第２の画像と第３の画像とがこの順序で連続しており，
   かつ第２の画像が欠落しており，第１の画像を表わす第
   １の画像データと第３の画像を表わす第３の画像データ
   とが与えられたときに，これらの間の第２の画像を表わ
   す第２の画像データを，第１の画像データと第３の画像
   データを用いて生成する方法であり，第１の画像と第３
   の画像上の対応する位置にそれぞれ設定されたウインド
   ウ内において，第２の画像上の上記ウインドウの中心に
   相当する位置の中心単位領域を中心として点対称の位置
   にある単位領域の画像データを，第１の画像と第３の画
   像上の単位領域の位置を変えながら取出し，取出された
   第１の画像の単位領域画像データと第３の画像の単位領
   域画像データとの相関値をそれぞれ算出し，算出された
   相関値のうち最も強い相関を表わす相関値を生成した１
   対の単位領域画像データに基づいて，上記第２の画像の
   中心単位領域の画像データを補間演算する，補間画像デ
   ータ生成方法。
7. 【請求項７】 第１の画像および第３の画像上において
   上記ウインドウの位置を，単位領域の水平方向および垂
   直方向の大きさ分ずつ水平方向および垂直方向に順次シ
   フトしながら，上記ウインドウの各位置で，上記単位領
   域画像データ取出し処理，上記相関演算，および上記補
   間演算を繰返すことにより，第２の画像を表わすすべて
   の第２画像データを得る，請求項６に記載の補間画像デ
   ータ生成方法。