JPH09172621A

JPH09172621A - 圧縮高解像度ビデオ信号の補間装置および補間方法

Info

Publication number: JPH09172621A
Application number: JP34913995A
Authority: JP
Inventors: Kenji Takahashi; 健治高橋; Tetsujiro Kondo; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-12-20
Filing date: 1995-12-20
Publication date: 1997-06-30
Anticipated expiration: 2015-12-20
Also published as: JP3864444B2

Abstract

(57)【要約】【目的】サブサンプリングにより間引かれた画素のデ
ータを正確に補間し、復号画像の画質を向上させる。【構成】動き部分・動き量検出回路５３では、ＭＵＳ
Ｅ信号と動きベクトルから動き部分および動き量が検出
される。フレーム間内挿回路５１では、ＭＵＳＥ信号の
静止画像に動きベクトルを考慮したフレームが補間さ
れ、ＬＰＦ５４およびサンプリング周波数変換回路５５
を介してフィールド間内挿回路５６において、フィール
ド間にフィールドが補間される。クラス分類適応補間回
路５２では、補間がなされる周辺画素のレベル分布のパ
ターンとエッジデータからクラス分類がなされ、読み出
された係数データを用いてフィールド内内挿および／ま
たはフレーム内内挿の処理が行われ、サンプリング周波
数変換回路５７を介して混合回路５８へ供給される。混
合回路５８では、動き部分・動き量に応じて比率が決定
され、静止画像と動き画像とが混合される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、サブサンプリングに
より伝送情報量を圧縮するような高解像度ビデオ信号の
デコーダ例えばハイビジョン信号の圧縮方式であるＭＵ
ＳＥ方式のデコーダに適用される圧縮高解像度ビデオ信
号の補間装置に関する。

【０００２】

【従来の技術】ディジタル画像信号を記録したり、伝送
する際の帯域圧縮あるいは情報量削減のための一つの方
法として、画素をサブサンプリングによって間引くこと
によって、伝送データ量を減少させるものがある。その
一例は、ＭＵＳＥ方式における多重サブナイキストサン
プリングエンコーディング方式である。このシステム
は、ハイビジョン信号を８ＭＨｚ程度の帯域に圧縮する
ことができる。

【０００３】

【発明が解決しようとする課題】従来のＭＵＳＥ方式で
は、エンコード時に、１回あるいは２回サブサンプリン
グされたデータをデコードする際に、補間のために２次
元の空間フィルタを用いている。しかしながら、ＭＵＳ
Ｅ方式では、斜め方向の解像度が低いという視覚特性を
利用して伝送情報量を圧縮しているので、エンコード時
に失われた斜め方向の解像度を取り戻すことができない
問題点があった。

【０００４】従って、この発明の目的は、ＭＵＳＥ方式
のデコーダに対して適用され、伝送された画素データ
と、検出されたエッジデータとを用いてクラス分けを行
うことによって、予め用意した最適な予測式より出力を
予測するようにした高解像度ビデオ信号の補間装置を提
供することにある。

【０００５】

【課題を解決するための手段】請求項１に記載の発明
は、サブサンプリングにより伝送情報量が圧縮されたデ
ィジタル高解像度ビデオ信号を受け取り、間引かれた画
素を補間するための高解像度ビデオ信号の補間装置にお
いて、補間対象としての注目画素の動き量を検出するた
めに、注目画素に関してエッジを検出し、エッジデータ
を発生するエッジ検出手段と、複数の参照画素および／
または注目画素のレベル分布のパターンとエッジデータ
から注目画素のクラスを決定するためのクラス分類手段
と、間引かれた画素の補間値を生成するために、予め学
習により獲得されたクラス毎の係数が格納されたメモリ
手段と、メモリ手段と結合され、注目画素の空間的およ
び／または時間的に近傍の複数の画素と係数を線形１次
結合によって補間値を生成する補間値生成手段とからな
ることを特徴とした圧縮高解像度ビデオ信号の補間装置
である。

【０００６】また、請求項３に記載の発明は、サブサン
プリングにより伝送情報量が圧縮されたディジタル高解
像度ビデオ信号を受け取り、間引かれた画素を補間する
ための高解像度ビデオ信号の補間方法において、補間対
象としての注目画素の動き量を検出するために、注目画
素に関してエッジを検出し、エッジデータを発生するス
テップと、複数の参照画素および／または注目画素のレ
ベル分布のパターンとエッジデータから注目画素のクラ
スを決定するためのステップと、間引かれた画素の補間
値を生成するために、予め学習により獲得されたクラス
毎の係数が格納されるステップと、注目画素の空間的お
よび／または時間的に近傍の複数の画素と係数を線形１
次結合によって補間値を生成するステップとからなるこ
とを特徴とした圧縮高解像度ビデオ信号の補間方法であ
る。

【０００７】係数と周辺画素の値との線形１次結合によ
り補間値を生成する。この係数を予め学習によって、ク
ラス毎に求める。このクラスは、周辺画素および／また
は注目画素のレベル分布のパターンとエッジデータを用
いて表現される。学習時に、周辺画素として、フィール
ド内のものおよびフレーム内のものをそれぞれ使用して
第１および第２の係数を求める。補間時には、注目画素
の静止判定を行ない、注目画素が動きのときは、第１の
係数とフィールド内の周辺画素の値との線形１次結合に
より補間値を形成し、これが静止のときは、第２の係数
を使用する。この選択によって、精度が高い補間を行な
うことができ、復号画像の画質を向上できる。

【０００８】

【発明の実施の形態】以下、この発明の一実施例につい
て図面を参照して説明する。まず、ＭＵＳＥ方式のエン
コーダの主要部を図１を参照して説明する。１で示す入
力端子からハイビジョン信号が入力され、入力されたハ
イビジョン信号は、白クリップ回路２へ供給される。白
クリップ回路２では、白レベルがクリップされ、〔−１
ｄＢ〕回路３において、−１ｄＢの補正が行われる。逆
γ補正回路４では、γ補正の逆補正が供給された信号に
対してなされ、Ｙ、Ｐｒ、Ｐｂ変換回路５において、マ
トリックス演算により、Ｙ（輝度）信号、Ｐｒ（Ｒ−Ｙ
成分）信号、Ｐｂ（Ｂ−Ｙ成分）信号が形成される。
Ｙ、Ｐｒ、Ｐｂ変換回路５において、変換されたＹ信号
は、フィールド間フィルタ６へ供給され、Ｐｒ信号は、
垂直ＬＰＦ（ローパスフィルタ）２１へ供給され、Ｐｂ
信号は、垂直ＬＰＦ２２へ供給される。

【０００９】Ｙ信号が供給されたフィールド間フィルタ
６に対して、フィールドオフセットサブサンプリング回
路７、ＬＰＦ８およびサンプリング周波数変換回路９が
接続される。フィールドオフセットサブサンプリング回
路７は、フィールド間でサブサンプリングの位相が１画
素ずらされるもので、その出力がＬＰＦ１０に供給され
る。原Ｙ信号のサンプリング周波数は、４８．６ＭＨｚ
で、サブサンプリング回路７のサンプリング周波数が２
４．３ＭＨｚで、ＬＰＦ１０によって、１２．１５ＭＨ
ｚ以上の周波数成分が除去されるとともに、データが内
挿されてサンプリング周波数が４８．６ＭＨｚに戻され
る。

【００１０】ＬＰＦ１０に対して、サンプリング周波数
変換回路１１が接続され、サンプリング周波数がサンプ
リング周波数変換回路１１によって、３２．４ＭＨｚに
変換される。この回路１１の出力信号がＴＣＩ(Time Co
mpressed Integration) スイッチ１２に供給される。サ
ブサンプリング回路７から変換回路１１までの信号路
は、静止領域の処理のために設けられている。

【００１１】帯域制限用のＬＰＦ８に対してサンプリン
グ周波数変換回路１３が接続され、４８．６ＭＨｚから
３２．４ＭＨｚへサンプリング周波数が変換される。こ
の回路１３の出力がＴＣＩスイッチ１４に供給される。
ＴＣＩスイッチ１４からの信号が２次元サブサンプリン
グフィルタ１８を介して混合（ＭＩＸ）回路１９に供給
される。ＬＰＦ８から２次元サブサンプリングフィルタ
１８に至る信号路が動き領域の処理のために設けられて
いる。混合回路１９では、フィルタ１８の出力信号とＴ
ＣＩスイッチ１２の出力信号とが混合される。

【００１２】サンプリング周波数変換回路９に対して
は、動きベクトル検出回路１５が接続される。動きベク
トル検出回路１５に対して、動きフィルタ１６および動
き検出回路１７が接続される。動きフィルタ１６には、
サンプリング周波数変換回路１３の出力信号も供給され
る。動きフィルタ１６の出力が動き検出回路１７に供給
される。動き検出回路１７での検出結果（動き量）に基
づいて混合回路１９の混合比を制御する制御信号が生成
される。

【００１３】Ｙ、Ｐｒ、Ｐｂ変換回路５からの色信号Ｐ
ｒ、Ｐｂが垂直ＬＰＦ２１、２２をそれぞれ介して線順
次化回路２３に供給される。線順次化回路２３からの線
順次色信号がＬＰＦ２４に供給され、７ＭＨｚ以上の成
分が除去され、そして、フィールドオフセットサブサン
プリング回路２６に供給される。線順次色信号が帯域制
限用のＬＰＦ２５を介してフィールドオフセットサブサ
ンプリング回路２７に供給される。サブサンプリング回
路２７に対して時間圧縮回路２８が接続される。

【００１４】ＬＰＦ２４およびサブサンプリング回路２
６は、静止領域用の処理回路であり、ＬＰＦ２５、サブ
サンプリング回路２７および時間圧縮回路２８は、動き
領域用の処理回路である。サブサンプリング回路２６お
よび時間圧縮回路２８の出力信号がＴＣＩスイッチ１２
および１４へそれぞれ供給され、上述のように処理され
た輝度信号成分と時間軸多重化される。

【００１５】混合回路１９の出力信号がフレーム，ライ
ンオフセットサブサンプリング回路３１に供給される。
ここでのサブサンプリングのパターンは、フレーム間お
よびライン間で反転され、また、サンプリング周波数が
１６．２ＭＨｚとされる。サブサンプリング回路３１の
出力信号が伝送用γ補正回路３２を介してＭＵＳＥのフ
ォーマット化回路３３に供給される。図では省略されて
いるが、時間軸圧縮されたオーディオ信号、同期信号、
ＶＩＴ信号等がフォーマット化回路３３に加えられ、出
力端子３４に約８ＭＨｚのＭＵＳＥ信号が取り出され
る。

【００１６】上述のＭＵＳＥエンコーダのサブサンプリ
ングについて、図２を参照して概略的に説明する。静止
領域の処理が上側に示され、動き領域の処理が下側に示
されている。図１の各点の信号に関して、そのサンプリ
ング状態を図２に示す。また、Ｃ信号の処理は、Ｙ信号
と同様であるため、その説明を省略する。フィールドオ
フセットサブサンプリング回路７の入力（Ａ点）からデ
ィジタルＹ信号が供給され、フィールド毎にサンプリン
グ位相が１画素ずれたパターンでサブサンプリングされ
た出力信号がＢ点に発生する。

【００１７】ＬＰＦ１０の出力（Ｃ点）には、内挿処理
された信号（サンプリング周波数が４８．６ＭHz）が発
生する。サンプリング周波数変換回路１１の出力（Ｄ
点）もサンプリング周波数が３２．４ＭHzに変換された
信号が現れる。

【００１８】一方、ＬＰＦ８の入力（ａ点）には、Ａ点
と同様のディジタルＹ信号が供給される。動き領域で
は、フィールドオフセットサブサンプリングがなされ
ず、サンプリング周波数回路１３の出力（ｂ点）には、
Ｄ点と同様のＹ信号が発生する。

【００１９】静止領域および動き領域のそれぞれの処理
を受けたＹ信号が混合回路１９で混合され、混合回路１
９の出力がフレーム、ラインオフセットサブサンプリン
グ回路３１に供給される。この回路３１の出力（Ｅ点）
では、フレーム間およびライン間で水平方向に１画素の
オフセットを持つようにサンプリングされた出力信号が
発生する。

【００２０】図３は、この発明を適用できるＭＵＳＥデ
コーダの一部を示す。受信されたベースバンド信号に変
換され、ディジタル信号に変換されたＭＵＳＥ信号がフ
レーム間内挿回路４１、フィールド内内挿回路４２およ
び動き部分検出回路４３にそれぞれ供給される。動き部
分検出回路４３によって、動き領域を検出し、動き領域
と静止領域との処理がそれぞれなされた信号の混合比が
制御される。

【００２１】すなわち、静止領域は、フレーム間内挿回
路４１により１フレーム前の画像データを使用したフレ
ーム間内挿がなされる。但し、カメラのパニングのよう
に、画像の全体が動く時には、コントロール信号として
伝送される動きベクトルに応じて１フレーム前の画像を
動かして重ね合わせる処理がなされる。フレーム間内挿
回路４１の出力信号がＬＰＦ４４、サンプリング周波数
変換回路（３２．４ＭＨｚから２４．３ＭＨｚへ）４５
およびフィールド間内挿回路４６を介して混合回路４８
に供給される。サブサンプリング周波数変換回路４５か
らは、２４．３ＭＨｚのサンプリング周波数の信号が得
られる。

【００２２】動き領域は、フィールド内内挿回路４２に
よって、空間的内挿がなされる。内挿回路４２に対し
て、３２．４ＭＨｚから４８．６ＭＨｚへのサンプリン
グ周波数変換回路４７が接続され、その出力信号が混合
回路４８に供給される。この混合回路４８の混合比は、
動き部分検出回路４３の出力信号により制御される。混
合回路４８の出力信号が図示しないが、ＴＣＩデコーダ
に供給され、Ｙ、Ｐｒ、Ｐｂの各信号に分離される。さ
らに、Ｄ／Ａ変換され、逆マトリクス演算され、ガンマ
補正がされてからＲ、Ｇ、Ｂ信号が得られる。

【００２３】上述のデコーダの処理を図４のサンプリン
グパターンを参照して概略的に説明する。入力信号（Ｅ
点）のサンプリング状態は、上述のエンコーダの出力
（Ｅ点）と同一である。静止領域がフレーム間内挿回路
４１を介され、その出力（Ｆ点）で間引き画素が内挿さ
れたビデオ信号が生じる。

【００２４】サンプリング周波数変換回路４５（Ｇ点）
では、サンプリング周波数が２４．３ＭHzに変換された
ビデオ信号が現れる。そのビデオ信号は、フィールド毎
に１画素ずれたオフセットサンプリングがなされたもの
である。次のフィールド間内挿回路４６の出力（Ｈ点）
に画素が内挿された信号が生じる。これが混合回路４８
に供給される。

【００２５】動き領域の処理のためのフィールド内内挿
回路４２の出力（ｆ点）にフィールド内の画素により内
挿されたビデオ信号が発生する。サンプリング周波数変
換回路４７によって、その出力（ｇ点）には、４８．６
ＭＨｚのサンプリング周波数のビデオ信号が発生する。
これが混合回路４８に供給される。

【００２６】さて、上述のＭＵＳＥ方式では、静止領域
に関して２回のサブサンプリングがなされ、２回の補間
がなされ、また、動き領域に関しては、１回のサブサン
プリングと補間がなされる。これらの補間のために、従
来では、フィルタを使用していたが、その結果、最初に
述べたように、斜め方向の解像度が失われる問題があっ
た。この問題点を解決するのがこの発明であり、従っ
て、この発明は、上述のＭＵＳＥデコーダにおけるフレ
ーム間内挿回路４１、フィールド内内挿回路４２および
フィールド間内挿回路４６の何れに対しても適用でき
る。

【００２７】一例として、フィールド間内挿回路４６に
対してこの発明を適用した一実施例を図５に示す。受信
されたベースバンド信号に変換され、ディジタル信号に
変換されたＭＵＳＥ信号は、動き部分・動き量検出回路
５３、フレーム間内挿回路５１およびクラス分類適応補
間回路５２へ供給される。動き部分・動き量検出回路５
３では、供給される画面全体の動きベクトルに基づい
て、供給された画像データの動き領域および動き量さら
にエッジデータが検出される。この動き部分・動き量検
出回路５３で検出される動き領域および動き量は、混合
（ＭＩＸ）回路５８において、静止領域と動き領域との
画素毎の混合比の基準となるものである。また、この動
き部分・動き量検出回路５３で求められるエッジデータ
は、クラス分類適応補間回路５２へ供給される。同様
に、検出された動き領域および動き量は、混合回路５８
へ供給される。

【００２８】画像データからの静止領域は、フレーム間
内挿回路５１により１フレーム前の画像データを使用し
たフレーム間内挿がなされる。但し、カメラのパニング
のように、画像の全体が動く時には、コントロール信号
として伝送される動きベクトルに応じて１フレーム前の
画像を動かして重ね合わせる処理がなされる。フレーム
間内挿回路５１の出力信号がＬＰＦ５４へ供給される。
ＬＰＦ５４では、供給された画像データに対して１２Ｍ
Hzの帯域制限が施され、サンプリング周波数変換回路５
５では、画像データのサンプリング周波数が３２．４Ｍ
Hzから２４．３ＭHzへ周波数変換される。フィールド間
内挿回路５６では、フレーム間内挿回路５１と同様に、
１フィールド前の画像データを使用したフィールド間内
挿がなされる。フィールド間内挿回路５６の出力信号
は、混合回路５８へ供給される。

【００２９】画像データからの動き領域は、クラス分類
適応補間回路５２により、動き部分・動き量検出回路５
３からのエッジデータと周辺画素および／または注目画
素のレベル分布のパターンとからクラス分類が行われ、
後述するように空間的内挿、すなわちフレーム内内挿ま
たはフィールド内内挿がなされる。クラス分類適応補間
回路５２の出力信号がサンプリング周波数変換回路５７
へ供給される。サンプリング周波数変換回路５７では、
画像データのサンプリング周波数が３２．４ＭHzから４
８．６ＭHzへ周波数変換される。その出力信号が混合回
路５８へ供給される。この混合回路５８は、動き部分・
動き量検出回路５３からの信号に基づいて、静止画像と
動き画像の混合比が制御される。この混合回路５３の出
力信号は、図示しないがＴＣＩデコーダに供給され、
Ｙ、Ｐｒ、Ｐｂの各信号に分離される。さらに、Ｄ／Ａ
変化され、逆マトリクス演算され、γ補正がなされた
後、Ｒ、Ｇ、Ｂ信号が得られる。

【００３０】ここで、この動き部分・動き量検出回路５
３の詳細なブロック図を図６に示す。この動き部分・動
き量検出回路５３に供給されるＭＵＳＥ信号のフレーム
は、入力端子６１から供給される。横線エッジ検出回路
６２では、供給されたフレームから後述するように横線
となるエッジ、すなわち水平方向のエッジが検出され
る。検出された水平方向のエッジは、２フレーム検出エ
ッジ回路７０へ供給される。縦線エッジ検出回路６３で
は、供給されたフレームから後述するように縦線となる
エッジ、すなわち垂直方向のエッジが検出される。検出
された垂直方向のエッジは、２フレーム検出エッジ回路
７０へ供給される。上述のように検出された水平方向の
エッジおよび垂直方向のエッジの両者または一方がクラ
ス分類適応補間回路５２へ供給され、クラス分類のため
に使用される。

【００３１】ノンリニアエッジ検出回路６４では、供給
されたフレームからエッジであると判断された部分に対
して、所定のレベルに重み付けがなされる。１フレーム
検出エッジ回路６５では、供給されたフレームと、ノン
リニアエッジ検出回路６４の出力と、横線エッジ検出回
路６２からの水平方向のエッジとが加算される。ここで
は、横線エッジ検出回路６２の出力が用いられている
が、縦線エッジ検出回路６３からの垂直方向のエッジを
用いることも可能である。

【００３２】ＬＰＦ６６および６７は、カットオフ周波
数が４ＭHzであり、ＬＰＦ６６では、供給されたＭＵＳ
Ｅ信号のフレームが帯域制限され、ＬＰＦ６７では、１
フレーム前のＭＵＳＥ信号のフレームが帯域制限され
る。帯域制限されたそれぞれの信号は、１フレーム差分
回路６８へ供給される。１フレーム差分回路６８では、
４ＭHzの帯域制限がなされた１フレーム間の差分が算出
される。算出された１フレーム差分は、感度設定回路６
９へ供給される。感度設定回路６９では、供給された１
フレーム差分と、１フレーム検出エッジ回路６５からの
出力によって、動き部分・動き量検出の感度が設定され
る。この感度設定回路６９では、エッジ部分では、フレ
ーム差が大きくなるため、動き部分・動き量検出の感度
が落とされる。

【００３３】２フレーム検出エッジ回路７０では、供給
されたＭＵＳＥ信号のフレームと、横線エッジ検出回路
６２からの水平方向のエッジと、縦線エッジ検出回路６
３からの垂直方向のエッジとが加算される。加算結果
は、感度設定回路７２へ供給される。２フレーム差分回
路７１では、供給されたフレームと、２フレーム前のフ
レームとの２フレーム差分が算出される。感度設定回路
７２では、供給された２フレーム差分と、２フレーム検
出エッジ回路７０からの加算結果に基づいて動き部分・
動き量検出の感度が設定される。この感度設定回路７２
も感度設定回路６９と同様に動き部分・動き量検出の感
度が落とされる。

【００３４】孤立点除去回路７３では、供給された２フ
レーム差分から孤立点の除去が行われる。フレーム補間
回路７４では、孤立点が除去された２フレーム差分と、
１フレームディレイ回路７５から１フレーム遅延がなさ
れた２フレーム差分とを用いて２フレーム差分の補間処
理がなされる。１フレームディレイ回路７５では、フレ
ーム補間された２フレーム差分を１フレームの時間だけ
遅延が行われた後、保持された２フレーム差分は、フレ
ーム補間回路７４へ供給される。２次元ＬＰＦ７６で
は、フレーム補間された２フレーム差分に対して２次元
の帯域制限が行われる。帯域制限が行われたフレーム
は、ミキシング回路７７へ供給される。

【００３５】ミキシング回路７７では、感度設定回路６
９からの１フレーム差分と、２次元ＬＰＦからの２フレ
ーム差分とが加算される。フィールド補間回路７８で
は、フィールド毎の合成フレーム差分が作られ、フィー
ルドの補間が行われる。フィールドの補間が行われた信
号は、しきい値処理回路７９において、合成フレーム差
分に対してしきい値処理が行われ、１６段階にて表現さ
れた動き量が得られる。この動き量は、出力端子８０を
介して混合回路５８へ供給される。

【００３６】ここで、横線エッジ検出回路６２の一例を
図７に示す。また、縦線エッジ検出回路６３も同様の構
成である。８１で示す入力端子からＭＵＳＥ信号のフレ
ームが供給される。画素抽出回路８２では、供給された
フレームから画素が抽出される。抽出された画素は、差
分検出回路８３₁〜８３₃において、差分が検出され
る。検出された差分は、最大差分検出回路８４におい
て、絶対値へ変換され、最大となる差分絶対値が検出さ
れる。検出された差分絶対値は、エッジデータとして、
出力端子８５を介して１フレーム検出エッジ回路６５お
よび／または２フレーム検出エッジ回路７０へ供給され
る。また、上述したように検出されたエッジデータは、
クラス分類適応補間回路５２にも供給される。

【００３７】このエッジ検出回路を図８および図９に示
す伝送された画素を用いて説明する。まず、図８は、水
平方向のエッジを検出する場合に抽出される画素のパタ
ーンを示す。さらに、図８Ａは、注目画素が伝送された
画素ｅに相当する場合、差分検出回路８３₁では、抽出
された画素ａと画素ｄの差分が検出され、差分検出回路
８３₂では、抽出された画素ｂと画素ｅの差分が検出さ
れ、差分検出回路８３₃では、抽出された画素ｃと画素
ｆの差分が検出される。最大差分検出回路８４におい
て、検出されたこれら３つの差分が絶対値に変換され、
３つの差分絶対値から最大となる差分絶対値が検出され
る。検出された差分絶対値は、エッジデータとして伝送
される。

【００３８】図８Ｂは、注目画素が伝送された画素ｈと
画素ｋの間にある場合、差分検出回路８３₁では、抽出
された画素ｇと画素ｊの差分が検出され、差分検出回路
８３₂では、抽出された画素ｈと画素ｋの差分が検出さ
れ、差分検出回路８３₃では、抽出された画素ｉと画素
ｌの差分が検出される。最大差分検出回路８４におい
て、検出されたこれら３つの差分が絶対値に変換され、
３つの差分絶対値から最大となる差分絶対値が検出され
る。検出された差分絶対値は、エッジデータとして伝送
される。

【００３９】また、図９は、垂直方向のエッジを検出す
る場合に抽出される画素のパターンを示す。図９Ａは、
注目画素が伝送された画素ｐに相当する場合、差分検出
回路８３₁では、抽出された画素ｍと画素ｎの差分が検
出され、差分検出回路８３₂では、抽出された画素ｏと
画素ｐの差分が検出され、差分検出回路８３₃では、抽
出された画素ｐと画素ｑの差分が検出される。最大差分
検出回路８４において、検出されたこれら３つの差分が
絶対値に変換され、３つの差分絶対値から最大となる差
分絶対値が検出される。検出された差分絶対値は、エッ
ジデータとして伝送される。

【００４０】図９Ｂは、注目画素が伝送された画素ｕと
画素ｖの間にある場合、差分検出回路８３₁では、抽出
された画素ｒと画素ｓの差分が検出され、差分検出回路
８３₂では、抽出された画素ｓと画素ｔの差分が検出さ
れ、差分検出回路８３₃では、抽出された画素ｕと画素
ｖの差分が検出される。最大差分検出回路８４におい
て、検出されたこれら３つの差分が絶対値に変換され、
３つの差分絶対値から最大となる差分絶対値が検出され
る。検出された差分絶対値は、エッジデータとして伝送
される。

【００４１】ここで、この発明が適用されるクラス分類
適応補間回路５２の一例を図１０に示す。入力端子９１
から画像データの動き領域が供給される。この動き領域
は、レベル検出回路９３および補間回路９６へ供給され
る。レベル検出回路９３では、供給された動き領域、例
えば３画素×３ライン（以下、（３×３）ブロックと称
する）毎のレベル分布のパターンが検出される。ブロッ
ク毎のレベル分布のパターンは、一例として（３×３）
ブロックの各画素のレベルを、例えばそのブロックの平
均値と比較することによって２値化し、さらに４ビット
へ圧縮され、検出される。

【００４２】クラス作成回路９４では、端子９２を介し
て動き部分・動き量検出回路５３から供給されるエッジ
データと、検出された（３×３）ブロック毎のレベル分
布のパターンとからクラスが作成される。ここで、水平
方向のエッジと、垂直方向のエッジの両者をクラス分類
のために使用した場合の一例を示す。横線エッジ検出回
路６２からの水平方向のエッジ（２ビット）、縦線エッ
ジ検出回路６３からの垂直方向のエッジ（２ビット）か
らなり、レベル分布のパターン（４ビット）と共に合計
８ビットでブロックのクラスが作成される。この２ビッ
トからなる横線エッジおよび縦線エッジは、検出された
エッジの方向に関する差分値を段階的に分けたものであ
り、例えば `00' はエッジ無し、 `01' は差分値が小、
`10' は差分値が中、 `11' は差分値が大となる。これ
らの８ビットからなるクラスがクラス作成回路９４から
係数ＲＯＭ９５へ供給される。

【００４３】係数ＲＯＭ９５では、供給されたクラスを
アドレスとして、そのアドレスに対応する係数データが
読み出される。この係数データは、後述するように予め
演算により求められている。読み出された係数データ
は、係数ＲＯＭ９５から補間回路９６へ供給される。補
間回路９６では、供給された係数データから補間データ
を作成するために、例えば線形一次結合式が用いられ、
空間内内挿、すなわちフレーム内内挿またはフィールド
内内挿が行われる。補間が行われた画像データは、出力
端子９７を介してサンプリング周波数変換回路５７へ供
給される。

【００４４】ここでは、８ビットからなるクラスをレベ
ル分布のパターン（４ビット）、横線エッジ（２ビッ
ト）および縦線エッジ（２ビット）からなるとしたが、
レベル分布のパターン（４ビット）、横線エッジ（１ビ
ット）、縦線エッジ（１ビット）および４ビットからな
る動き量を２ビットへ丸め２ビットとし、８ビットとす
ることも可能である。このとき、横線エッジおよび縦線
エッジは、エッジの有無を表現する。また、エッジデー
タとして、エッジ量（２ビット）およびエッジの方向
（３ビット）をレベル分布のパターン（４ビット）と組
み合わせることによって、クラスを表しても良い。

【００４５】次に、上述した係数ＲＯＭ９５に記憶され
る係数データの学習の一例を図１１のフローチャートを
用いて説明する。このフローチャートは、ステップＳ１
から学習処理の制御が始まり、ステップＳ１の学習デー
タ形成では、既知の画像に対応した学習データが形成さ
れる。フィールド内またはフレーム内の周辺画素の値が
学習データとして採用される。注目画素の真値と複数の
周辺画素の値とが一組の学習データである。

【００４６】ここで、周辺画素で構成されるブロックの
ダイナミックレンジが所定のしきい値より小さいもの
は、学習データとして扱わない制御がなされる。ダイナ
ミックレンジが小さいものは、ノイズの影響を受けやす
く、正確な学習結果が得られないおそれがあるからであ
る。ステップＳ２のデータ終了では、入力された全デー
タ、例えば１フレームのデータの処理が終了していれ
ば、ステップＳ５の予測係数決定へ制御が移り、終了し
ていなければ、ステップＳ３のクラス決定へ制御が移
る。

【００４７】ステップＳ３のクラス決定は、上述のよう
に、フィールド内またはフレーム内の所定の画素の値お
よびエッジデータに基づいたクラス決定がなされる。ス
テップＳ４の正規方程式生成では、後述する式（８）の
正規方程式が作成される。全データの処理が終了後、ス
テップＳ２のデータ終了から制御がステップＳ５に移
る。このステップＳ５の予測係数決定では、この正規方
程式を行列解法を用いて解いて、予測係数を決める。ス
テップＳ６の予測係数ストアで、予測係数をメモリにス
トアし、この学習のフローチャートが終了する。

【００４８】図１１中のステップＳ４（正規方程式生
成）およびステップＳ５（予測係数決定）の処理をより
詳細に説明する。注目画素の真値をｙとし、その推定値
をｙ´とし、その周囲の画素の値をｘ₁〜ｘ_nとしたと
き、クラス毎に係数ｗ₁〜ｗ_nによるｎタップの線形１
次結合ｙ´＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・＋ｗ_nｘ_n （１）を設定する。学習前は、ｗ_iが未定係数である。

【００４９】上述のように、学習はクラス毎になされ、
データ数がｍの場合、式（１）は、式（２）で表され
る。ｙ_j´＝ｗ₁ｘ_j1＋ｗ₂ｘ_j2＋・・・＋ｗ_nｘ_jn （２）（但し、ｊ＝１，２，・・・，ｍ）

【００５０】ｍ＞ｎの場合、ｗ₁〜ｗ_nは、一意には決
まらないので、誤差ベクトルＥの要素をそれぞれの学習
データｘ_j1，ｘ_j2，・・・，ｘ_jn，ｙ_jにおける予測誤
差をｅ_jとして、次の式（３）のごとく定義する。ｅ_j＝ｙ_j−（ｗ₁ｘ_j1＋ｗ₂ｘ_j2＋・・・＋ｗ_nｘ_jn）（３）（但し、ｊ＝１，２，・・・，ｍ）次に、式（４）を最小にする係数を求め、最小自乗法に
おける最適な予測係数ｗ₁，ｗ₂，・・・，ｗ_nを決定
する。

【００５１】

【数１】

【００５２】すなわち、式（４）のｗ_iによる偏微分係
数を求めると、式（５）に示すようになる。式（５）で
（ｉ＝１，２，・・・，ｎ）である。

【００５３】

【数２】

【００５４】式（５）を０にするように各ｗ_iを決めれ
ばよいから、

【００５５】

【数３】

【００５６】として、行列を用いると、

【００５７】

【数４】

【００５８】となる。この方程式は、一般に正規方程式
と呼ばれている。正規方程式は、丁度未知数がｎ個だけ
ある連立方程式である。これにより最確値たる各未定係
数ｗ₁，ｗ₂，・・・ｗ_nを求めることができる。具体
的には、一般的に式（８）の左辺の行列は、正定値対称
なので、コレスキー法という手法により式（８）の連立
方程式を解くことができ、未定係数ｗ_iが求まり、クラ
スコードをアドレスとして、この係数ｗ_iをメモリに格
納しておく。

【００５９】上述の係数ＲＯＭ９５に記憶される係数デ
ータの学習を概略的に説明する。図１２Ａに示すよう
に、例えば（３×３）ブロックの注目画素、すなわち間
引かれた注目画素ｙの周囲にある画素ｘ₁〜ｘ₄のレベ
ル方向およびエッジデータを用いてクラスが生成され
る。画素ｘ₁〜ｘ₄のレベル方向（図１２Ｂ）に対して
施す正規化の一例として、４つの画素の平均と４つの画
素との大小関係が２値化され、表現される（図１２
Ｃ）。すなわち、４つの画素の平均をしきい値として画
素毎に大小の判定が行われ、大きいと判断された場合、
`１' とし、小さいと判断された場合、 `０' とする。
この４つの画素の判断結果、図１２Ｃに示すように `01
01' をクラスとし、クラス分けが行われる。また、画素
の値をそのまま、クラス分け用のビットとして用いるこ
とも可能である。

【００６０】このようにクラス分けを行った後、画素ｘ
₁〜ｘ₄を用いて間引かれた画素を式（９）を用いて、
注目画素ｙの予測が行われる。ｙ＝ｗ₁×ｘ₁＋ｗ₂×ｘ₂＋ｗ₃×ｘ₃＋ｗ₄×ｘ₄ （９）（ただし、ｗ₁〜ｗ₄は、係数データとする）この式（９）の各画素に係る係数データを上述した最小
自乗法によって求める。

【００６１】このように学習によって、求められた係数
データは、デコード時に各クラスに応じた出力を周囲の
画素から予測することができる。図１３Ａに示すよう
に、学習時と同じようにサブサンプリングされて間引か
れた画素の周辺データ（図１３Ｂ）のレベル分布のパタ
ーンと動き量を用いてクラスが求められる。このように
して、式（１０）に示すように、クラスと周辺画素のデ
コード値を求めることにより、補間値を予測することが
できる。

【００６２】ｙ´＝ｗ₁´×ｘ₁´＋ｗ₂´×ｘ₂´＋ｗ₃´×ｘ₃´＋ｗ₄´×ｘ₄´ （１０）（ただし、ｗ₁´〜ｗ₄´は、学習によって求められた
係数データとする）

【００６３】また、デコード時に求めるエッジデータ以
外との組み合わせでも良い。さらに、正規化の方法は、
この手法以外にもビット数を増やす方法や、ＡＤＲＣ
（適応型ダイナミックレンジ符号化）のようにエンコー
ドしたものを用いる方法などが考えられる。

【００６４】

【発明の効果】この発明に依れば、伝送された周辺画素
および／または注目画素のレベル分布のパターンとエッ
ジデータからクラスを生成することで、予め学習によっ
て決定された正確な値で補間することができ、斜め方向
の解像度を復元できる。然も、この発明は、注目画素の
静止判定を行い、動き画素の時には、フィールド内の画
素を補間に使用し、静止画素の時には、フレーム内の画
素を補間に使用しているので、精度が高い補間を行うこ
とができる。また、学習時に、アクティビティーが低い
データを学習対象から除外しているので、精度の高い補
間値を生成できる。

【図面の簡単な説明】

【図１】ＭＵＳＥ方式のエンコーダの部分的なブロック
図である。

【図２】ＭＵＳＥ方式のエンコーダのサブサンプリング
を説明するための略線図である。

【図３】この発明を適用できるＭＵＳＥ方式のデコーダ
の部分的なブロック図である。

【図４】ＭＵＳＥ方式のデコーダの補間処理を説明する
ための略線図である。

【図５】この発明のＭＵＳＥ方式のデコーダの部分的な
ブロック図である。

【図６】この発明の動き部分・動き量検出回路の一例を
示すブロック図である。

【図７】この発明の動き部分・動き量検出回路に含まれ
るエッジデータを検出する一例を示すブロック図であ
る。

【図８】この発明のエッジデータ検出を説明するための
略線図である。

【図９】この発明のエッジデータ検出を説明するための
略線図である。

【図１０】この発明を適用できる補間処理を行うための
クラス分類適応補間回路の一例を示すブロック図であ
る。

【図１１】係数を求めるための学習を説明するためのフ
ローチャートである。

【図１２】係数を求めるための学習を説明するための略
線図である。

【図１３】学習により得た係数を用いた補間を説明する
ための略線図である。

【符号の説明】

５１フレーム間内挿回路５２クラス分類適応補間回路５３動き部分・動き量検出回路５４ＬＰＦ５５、５７サンプリング周波数変換回路５６フィールド間内挿回路５８混合回路

Claims

【特許請求の範囲】

【請求項１】サブサンプリングにより伝送情報量が圧
縮されたディジタル高解像度ビデオ信号を受け取り、間
引かれた画素を補間するための高解像度ビデオ信号の補
間装置において、補間対象としての注目画素の動き量を検出するために、
上記注目画素に関してエッジを検出し、エッジデータを
発生するエッジ検出手段と、複数の参照画素および／または上記注目画素のレベル分
布のパターンと上記エッジデータから上記注目画素のク
ラスを決定するためのクラス分類手段と、上記間引かれた画素の補間値を生成するために、予め学
習により獲得された上記クラス毎の係数が格納されたメ
モリ手段と、上記メモリ手段と結合され、上記注目画素の空間的およ
び／または時間的に近傍の複数の画素と上記係数を線形
１次結合によって補間値を生成する補間値生成手段とか
らなることを特徴とした圧縮高解像度ビデオ信号の補間
装置。
【請求項２】請求項１に記載の圧縮高解像度ビデオ信
号の補間装置において、上記複数の参照画素を減算し、水平方向のエッジを検出
する水平方向エッジ検出手段と、上記複数の参照画素を減算し、垂直方向のエッジを検出
する垂直方向エッジ検出手段と、上記水平方向のエッジおよび／または上記垂直方向のエ
ッジからエッジデータを発生するエッジ検出手段とから
なることを特徴とした圧縮高解像度ビデオ信号の補間装
置。
【請求項３】サブサンプリングにより伝送情報量が圧
縮されたディジタル高解像度ビデオ信号を受け取り、間
引かれた画素を補間するための高解像度ビデオ信号の補
間方法において、複数の参照画素および／または上記注目画素のレベル分
布のパターンと上記エッジデータから上記注目画素のク
ラスを決定するためのステップと、補間対象となる複数の参照画素と上記エッジデータから
上記注目画素のクラスを決定するためのステップと、上記間引かれた画素の補間値を生成するために、予め学
習により獲得された上記クラス毎の係数が格納されるス
テップと、上記注目画素の空間的および／または時間的に近傍の複
数の画素と上記係数を線形１次結合によって補間値を生
成するステップとからなることを特徴とした圧縮高解像
度ビデオ信号の補間方法。