JPH05225321A

JPH05225321A - 画素補間装置

Info

Publication number: JPH05225321A
Application number: JP4022694A
Authority: JP
Inventors: Yoshie Yamamoto; 芳枝山本; Kazuhiro Chiba; 和弘千葉; Kazuyoshi Watabe; 一喜渡部; Jun Someya; 潤染谷; Mamoru Inamura; 守稲村; Takeshi Nagayama; 剛永山; Noriko Baba; 典子馬場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1992-02-07
Filing date: 1992-02-07
Publication date: 1993-09-03

Abstract

(57)【要約】【目的】ディジタル映像信号の補間画素を生成する装
置であって、画像の斜めの境界線が滑らかに再現できる
画素補間装置を提供する。【構成】入力データの着目画素の周囲の４画素から成
る画素ブロックを抽出する手段１１と、該４画素から閾
値を算出する手段２と、画素ブロックの最大値および最
小値以外のデータを求める手段（１２〜１５、２３、２
４）と、画素ブロックの各画素を閾値に基づいて２値化
する手段２０と、予め作成された２値化して得られる画
素配列の全ての組合せに対する補間方向を設定したパタ
ーンテーブル２２と、２値化パターンとパターンテーブ
ル２２とを照合して、補間参照画素の方向を決定する手
段２１と、該手段２１の出力に応じて補間データを選択
する手段２５と、選択した補間データから補間画素値を
算出する手段３とで構成される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ディジタル映像信号の
処理系または伝送路において、欠落したデータを復元す
る補間装置に係り、特にビデオプリンタ等の画像信号処
理に係る画素補間装置に関する。

【０００２】

【従来の技術】図１１は従来のビデオプリンタにおける
色信号の画素間引き及び補間装置の構成図を示したもの
である。図において、１は映像信号の入力端子、８１は
映像信号を輝度信号Ｙと色信号Ｃに分離するＹ／Ｃ分離
回路、８２はＹ／Ｃ分離回路で分離された色信号をＡ／
Ｄ変換するＡ／Ｄ変換器、８３は被変換データを画素毎
に間引くスイッチ、８４は間引かれた被変換データを記
憶する画像メモリ、８５は画像メモリ８４のデータを出
力する出力端子である。

【０００３】次に動作について説明する。図１１におい
て、Ｙ／Ｃ分離回路８１で分離された色信号は、Ａ／Ｄ
変換器８２にて標本化周波数２ｆSC（ｆSCは副搬送波周
波数）で標本化され信号８ａとなる。図１２は信号８ａ
の画素配置を示したもので、Ｈは１画素間隔、Ｖは１ラ
イン間隔を示す。次に信号８ａは、スイッチ８３により
画素毎に間引かれ信号８ｂとなる。信号８ｂは、サンプ
ルクロックｆSC毎にリサンプルした信号となるため画像
情報が半分に減少し、そのため信号８ｂを記憶する画像
メモリ８４の容量は半分で済む。図１３は信号８ｂの画
素配置を示し、×印は、リサンプリングにより欠落した
画素を示す。画像メモリ８４は、信号８ｂを任意のタイ
ミングで１画面分記憶し、任意のタイミングで第１ライ
ン目から順に出力する。この際、欠落画素に関して特別
な補間演算は行われず、単に欠落画素のデータとして直
前のデータがそのまま用いられる。

【０００４】

【発明が解決しようとする課題】従来の画素補間装置
は、欠落した画素に対する特別な補間処理を行っておら
ず画質が大幅に劣化するとともに、斜め方向のエッジの
境界線がギザギザするなどの問題点があった。

【０００５】本発明は上記のような問題点を解消するた
めになされたもので、画質の劣化が少なく、また、斜め
方向のエッジの境界線をなめらかに再現できる画素補間
装置を得ることを目的とする。

【０００６】

【課題を解決するための手段】請求項第１項及び第２項
記載の画素補間装置は、欠落画素の周囲の画素ブロック
を抽出する手段と、画素ブロックを構成する画素データ
より閾値を求め、前記画素ブロックを構成する各画素を
閾値に基づいて２値化する手段と、該２値化データに応
じて補間演算に必要なデータを選択する手段と、選択さ
れたデータから補間画素値を算出する手段とを有するも
のである。

【０００７】なお、前記閾値は、抽出された画素ブロッ
クを構成する画素データの最大値と最小値の平均値若し
くは同画素データの平均値である。

【０００８】また、請求項第３項及び第４項記載の画素
補間装置は、上記画素補間装置をより簡素化したもの
で、欠落画素の周囲の画素ブロックを抽出する手段と、
画素ブロックを構成する画素データの中から、最大値及
び最小値以外のデータを抽出し、該データより補間画素
値を求める手段とを有するものである。

【０００９】ここで、補間画素値は、画素ブロックを構
成する画素データの最大値及び最小値以外のデータの平
均値若しくは該データの内の何れかのデータとする。

【００１０】

【作用】請求項第１項及び第２項記載の画素補間装置に
於いては、欠落画素の周囲の画素ブロックを２値化する
ことにより局所的に画像の変化している方向を検出し、
該検出結果により適応的に補間参照データを選択してい
るので画質の劣化が少なく、特に斜め方向の境界線が滑
らかになる。

【００１１】請求項第３項及び第４項記載の画素補間装
置は、上記請求項第１項及び第２項記載の画素補間装置
で最もよく選択される補間参照データから補間画素値を
求めているので、画質は上記画素補間装置より若干劣る
もののかなり近いものが得られる。また、この様に画像
の変化している方向を特に考慮せず一意的に補間画素値
を求めているので、回路規模がかなり縮小され、処理速
度も速くなる。

【００１２】

【実施例】

実施例１．以下、本発明の一実施例を図について説明す
る。図１において、１は一部欠落したディジタルビデオ
信号を入力するディジタル映像信号入力端子、１１は入
力端子１より欠落画素周辺のブロックを抽出するブロッ
ク抽出回路、１２はブロック抽出回路１１で抽出された
４画素のデータａ、ｂ、ｃ、ｄの内のａとｂの最大値を
出力する最大値出力回路、１３はｃとｄの最大値を出力
する最大値出力回路、１４はａとｂの最小値を出力する
最小値出力回路、１５はｃとｄの最小値を出力する最小
値出力回路、２は最大値出力回路１２、１３と最小値出
力回路１４、１５の出力データより閾値を算出する閾値
算出回路で、１６は最大値出力回路１２と１３の出力デ
ータの最大値、即ちブロック抽出回路１１にて抽出され
たブロックデータの最大値ＭＸを算出する最大値出力回
路、１７は最小値出力回路１４と１５の出力データの最
小値、即ち同ブロックデータの最小値ＭＮを算出する最
小値出力回路、１８は最大値出力回路１６と最小値出力
回路１７の出力を加算する加算器、１９は加算器１８の
出力を１／２倍する係数回路である。

【００１３】２０は閾値算出回路２で算出された閾値に
基づいて先のブロックデータを２値化する２値化回路、
２２は予め作成された２値化データの全ての組合せパタ
ーンとそれに対する補間方向を設定したパターンテーブ
ル、２１はパターンテーブルと２値化データとを照合し
て補間方向を決定するパターンテーブル参照回路、２３
は最大値出力回路１２と１３の出力データの最小値を算
出する最小値出力回路、２４は最小値出力回路１４と１
５の出力データの最大値を算出する最大値出力回路、２
５はパターンテーブル参照回路２１の出力に応じて補間
画素値を算出するのに必要な画素データを選択する補間
参照データ選択回路、３は補間参照データ選択回路２５
で選択されたデータより、補間画素値を算出する補間画
素値算出回路、２６は２５の出力データｋとｌを加算す
る加算器、２７は加算器２６の出力を１／２倍する係数
回路、４は補間画素値算出回路３の結果を出力する出力
端子である。

【００１４】次に動作について説明する。ここで例とし
て図５に示す欠落画素ｐを補間する場合について述べ
る。まずブロック抽出回路１１にて補間画素の周辺４画
素、即ち、図５のａ，ｂ，ｃ，ｄを抽出する。最大値出
力回路１２、１３と最小値出力回路１４、１５では、こ
れらａ、ｂ、ｃ、ｄデータよりそれぞれ、ＭＡＸ
（ａ，ｂ）、ＭＡＸ（ｃ，ｄ）、ＭＩＮ（ａ，ｂ）、Ｍ
ＩＮ（ｃ，ｄ）を求め、該算出データより閾値算出回路
２の最大値出力回路１６と最小値出力回路１７で、それ
ぞれａ、ｂ、ｃ、ｄデータの最大値ＭＸ＝ＭＡＸ（ＭＡ
Ｘ（ａ，ｂ），ＭＡＸ（ｃ，ｄ））と最小値ＭＮ＝ＭＩ
Ｎ（ＭＩＮ（ａ，ｂ），ＭＩＮ（ｃ，ｄ））を求める。
ここで、仮にａ＝７０，ｂ＝８０，ｃ＝９０，ｄ＝２０
０とすると最大値ＭＸは２００となり、最小値ＭＮは７
０となる。これより閾値ＳＨは、ＳＨ＝（ＭＸ＋ＭＮ）／２＝１３５となる。この閾値ＳＨに基づき、下記の条件で２値化回
路２０によりブロックデータａ、ｂ、ｃ、ｄを２値
化データｅ、ｆ、ｇ、ｈに変換する。

【００１５】

【数１】

【００１６】上記によればｅ，ｆ，ｇ，ｈは、図６の通
りｅ＝０，ｆ＝０，ｇ＝０，ｈ＝１となる。

【００１７】一方、予めパターンテーブル２２には、図
９のように２値化して得られる全てのパターンとそれに
対する補間参照画素の方向（各パターン中央の双方向矢
印）が示されている。この補間参照画素の方向は、２値
化パターンよりその部分の画像のエッジの方向を想定し
決定しているものである。ここで、該補間参照画素の方
向の妥当性について、図１０をもとに説明する。図１０
の（ａ）〜（ｃ）は、幾つかの画像について、画素ブロ
ック毎に水平方向の絶対値差分（図５におけるｂ画素の
データとｃ画素のデータの差分の絶対値）と垂直方向の
絶対値差分（図５におけるａ画素のデータとｄ画素のデ
ータの差分の絶対値）を求め、これらを対応する補間参
照画素の方向別にグラフにしたものである。図１０
（ａ）は、補間参照画素の方向が水平方向の画素ブロッ
クについてのグラフで、どのデータも水平方向の絶対値
差分が垂直方向の絶対値差分より小さく、補間参照画素
の方向と同じ水平方向に相関があることがわかる。図１
０（ｂ）は、補間参照画素の方向が垂直方向の画素ブロ
ックについてのグラフで、どのデータも垂直方向の絶対
値差分が水平方向の絶対値差分より小さく、補間参照画
素の方向と同じ垂直方向に相関があることがわかる。ま
た、図１０（ｃ）は、補間参照画素の方向が特定できな
い画素ブロックについてのグラフで、データが水平方向
の絶対値差分と垂直方向の絶対値差分とが同じであるｙ
＝ｘ付近に存在しており、水平、垂直どちらの方向にも
相関性が無い。以上のように、パターンテーブルで設定
している補間参照画素の方向は、画素ブロックのデータ
の相関方向と一致しており、その妥当性が証明できる。

【００１８】パターンテーブル参照回路２１では、この
パターンテーブルと先の２値化データｅ、ｆ、ｇ、ｈと
を照合し補間参照画素の方向を決定する。ちなみに先の
図６のパターンは図９のパターンＮと一致しており、補
間参照画素方向が水平方向で、補間画素値ｐは、ｐ＝（ｂ＋ｃ）／２で算出される。また、図７の様なパターンは、図９のパ
ターンＤと一致し補間参照画素方向が垂直方向で、補間
画素値ｐは、ｐ＝（ａ＋ｄ）／２で算出される。また、以上のように補間参照画素方向が
特定できない図８の様なパターン（図９において、パタ
ーン中央に水平と垂直両方向の矢印が記されたパター
ン）については、補間画素値ｐを、ｐ＝（ＭＤ１＋ＭＤ２）／２で算出する。ここで、ＭＤ１、ＭＤ２は、ブロックデー
タａ、ｂ、ｃ、ｄの中の、最大値ＭＸ ≧ ＭＤ
１、ＭＤ２ ≧ 最小値ＭＮなる条件を満たすデータ
である。尚、ＭＤ１とＭＤ２は、最小値出力回路２３と
最大値出力回路２４において、前記最大値出力回路１
２、１３と最小値出力回路１４、１５の出力データから
求められる。以上に基づき、補間参照データ選択回路２
５では、ｋ、ｌデータとして、パターンテーブル参照回
路２１の出力が、水平方向のときｂとｃのデータを、垂
直方向のときａとｄのデータを、方向特定不可のとき
ＭＤ１とＭＤ２データを出力し、補間画素値算出回路３
において、（ｋ＋ｌ）／２なる演算を行う。

【００１９】実施例２．図２は本実施例の別の構成を示
す図である。上記実施例では、ブロック抽出回路１１で
抽出された４画素の最大値と最小値の平均値を閾値ＳＨ
としているが、本実施例では、同４画素の平均値を閾値
ＳＨとしており、上記実施例の閾値算出回路よりも回路
構成が簡素化でき、かつほぼ同じ動作が期待できる。

【００２０】実施例３．図１、図２に示す上記実施例で
は、補間画素値を図９に示すパターンテーブルに応じて
求めている。ここで、図９のパターンは大きく次の４つ
のパターンに分類することができる。１つ目は、図６の
様な白丸が１つで黒丸が３つのパターンで、２つ目は、
図７の様な白丸が３つで黒丸が１つのパターン、３つ目
は、図８の様な白丸、黒丸共に２つのパターン、４つ目
は、４つ共黒丸のパターンである。ここで、各パターン
を構成する４つの画素データの最大値をＭＸ、最小値を
ＭＮ、それ以外をＭＤ１、ＭＤ２とすると、図９によれ
ば、１つ目のパターンは、最大値ＭＸである白丸の画素
を除く３つの画素の内の２画素の平均値即ち、ＭＤ１、
ＭＤ２、ＭＮの内の何れか２つのデータの平均値を補間
画素値とし、２つ目のパターンは逆に、最小値ＭＮであ
る黒丸のデータを除く３つの画素の内の２画素の平均値
即ち、ＭＸ、ＭＤ１、ＭＤ２の内の何れか２つのデータ
の平均値を補間画素値としている。また、３つ目のパタ
ーン及び４つ目のパターンは、ＭＤ１とＭＤ２の平均値
を補間画素値としている。この様に、全てのパターンに
対する補間画素値は、最大値ＭＸ、最小値ＭＮ以外のＭ
Ｄ１とＭＤ２より求められる確率が高い。従って、本実
施例では回路規模を小さくするため、前記パターンに関
係なくＭＤ１とＭＤ２の平均値を補間画素値とすること
にした。

【００２１】図３は本実施例の構成を示す図である。図
３によれば、本実施例の構成図は図１または図２の右半
分（一部を除く）そのままで、図中の同一符号は、同一
部分を示す。従って、最大値出力回路２３、最小値出力
回路２４の出力は、それぞれブロック抽出回路１１で抽
出された画素ブロックを構成する画素データの中の最大
値 ≧ ＭＤ１、ＭＤ２ ≧ 最小値なる条件を満たす
ＭＤ１、ＭＤ２データで、加算器２６と係数回路２７に
よりＭＤ１とＭＤ２データの平均値が求められる。

【００２２】実施例４．本実施例は、上記実施例３の回
路を更に簡素化したもので、その構成図を図４に示す。
図４は図３の左半分の回路即ち、ブロック抽出回路１１
と最大値出力回路１２、１３と最小値出力回路２３によ
り構成され、ＭＤ１を補間画素値として出力する。図４
では、図３の左半分の回路を用い、補間画素値をＭＤ１
とするようにしたが、逆に、図３の右半分の回路を用い
て、ＭＤ２を補間画素値とするようにしてもよい。この
様に、補間画素値をＭＤ１とＭＤ２の平均値でなく、Ｍ
Ｄ１あるいはＭＤ２とすることで回路規模は、更に小さ
くなり、処理速度も速くなり、ハイビジョン受信機の受
信処理などにも使用できる。

【００２３】

【発明の効果】以上のように、請求項第１項及び第２項
記載の画素補間装置によれば、欠落画素の周辺画素ブロ
ックを２値化することにより画像の局所的な変化の方向
を推定し、その結果に応じて補間データを生成する構成
としたので画質の劣化が少なく、特に、斜めの境界線が
滑らかな画像が得られる効果がある。

【００２４】また、請求第３項及び第４項記載の画素補
間装置によれば、画像の変化方向に関わらず、欠落画素
の周辺画素ブロックの最大値及び最小値以外のデータよ
り補間画素値を求めるようにしたので、多少の画質劣化
があるものの上記画素補間装置に近い効果が得られ、且
つ、回路規模が小さく、処理速度を高速化した画素補間
装置が得られる効果がある。

【図面の簡単な説明】

【図１】本発明の実施例１における画素補間回路を示す
ブロック図である。

【図２】本発明の実施例２における画素補間回路を示す
ブロック図である。

【図３】本発明の実施例３における画素補間回路を示す
ブロック図である。

【図４】本発明の実施例４における画素補間回路を示す
ブロック図である。

【図５】本発明を画素上の演算として説明するための画
素配置図である。

【図６】本発明の２値化処理を説明するための２値化パ
ターンの一例の図である。

【図７】本発明の２値化パターンの一例の図である。

【図８】本発明の２値化パターンの一例の図である。

【図９】本発明の２値化パターンに対する補間参照画素
の方向を設定したパターンテーブルの説明図である。

【図１０】画素ブロックのデータの相関性を示す図であ
る。

【図１１】従来の画素補間装置のブロック図である。

【図１２】従来例に於ける入力データの画素配置図であ
る。

【図１３】従来例に於ける画素間引き後の画素配置図で
ある。

【符号の説明】

１映像信号の入力端子２閾値算出回路３補間画素値算出回路４、８５出力端子１１ブロック抽出回路１２、１３、１６、２４最大値出力回路１４、１５、１７、２３最小値出力回路１８、２６、２８加算器１９、２７、２９係数回路２０２値化回路２１パターンテーブル参照回路２２パターンテーブル２５補間参照データ選択回路８１Ｙ／Ｃ分離回路８２Ａ／Ｄ変換器８３間引きスイッチ８４画像メモリ

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成４年５月２１日

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】図５

【補正方法】変更

【補正内容】

【図５】

───────────────────────────────────────────────────── フロントページの続き (72)発明者染谷潤京都府長岡京市馬場図所１番地三菱電機株式会社電子商品開発研究所内 (72)発明者稲村守京都府長岡京市馬場図所１番地三菱電機株式会社電子商品開発研究所内 (72)発明者永山剛京都府長岡京市馬場図所１番地三菱電機株式会社電子商品開発研究所内 (72)発明者馬場典子京都府長岡京市馬場図所１番地三菱電機株式会社電子商品開発研究所内

Claims

【特許請求の範囲】

【請求項１】ディジタル画像信号の欠落画素を復元す
るもので、欠落画素の周囲の画素ブロックを抽出する手
段と、画素ブロックを構成する画素の最大値及び最小値
と、それ以外のデータを求める手段と、該最大値と最小
値の平均値を閾値とし、前記画素ブロックを構成する各
画素毎に、閾値に基づいて２値化する手段と、該２値化
データに応じて、前記画素ブロックを構成する画素のデ
ータから補間演算に必要なデータを選択する手段と、選
択されたデータから補間画素値を算出する手段とを備え
たことを特徴とする画素補間装置。
【請求項２】上記画素ブロックを構成する全ての画素
の平均値を閾値とするようにしたことを特徴とする請求
項１記載の画素補間装置。
【請求項３】ディジタル画像信号の欠落画素を復元す
るもので、欠落画素の周囲の画素ブロックを抽出する手
段と、画素ブロックを構成する画素のデータを比較し、
画素ブロック中の最大値及び最小値以外のデータを求め
る手段と、該データの平均値を補間画素値として算出す
る手段とを備えたことを特徴とする画素補間装置。
【請求項４】ディジタル画像信号の欠落画素を復元す
るもので、欠落画素の周囲の画素ブロック中の最大値及
び最小値以外のデータの内の何れかを補間画素値として
出力するようにしたことを特徴とする画素補間装置。