JPH08154251A - 画像信号補間装置 - Google Patents
画像信号補間装置Info
- Publication number
- JPH08154251A JPH08154251A JP31905494A JP31905494A JPH08154251A JP H08154251 A JPH08154251 A JP H08154251A JP 31905494 A JP31905494 A JP 31905494A JP 31905494 A JP31905494 A JP 31905494A JP H08154251 A JPH08154251 A JP H08154251A
- Authority
- JP
- Japan
- Prior art keywords
- flatness
- image signal
- pixel
- pixels
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Input (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【目的】折り返し歪みの発生を未然に回避して真値に近
い補間画素値を求めることができる簡易な構成の画像信
号補間装置を実現する。 【構成】クラスに対応した予測係数Ｄ８を読み出し、当
該予測係数Ｄ８に基づいて補間データＤ２を求めるよう
にしたことにより、折り返し歪みを回避して真値に近い
補間データＤ２を得ることができる。加えて、補間対象
画素近傍の平坦度を検出し、当該検出結果Ｄ４に応じて
クラス分類に用いる画素を選択するようにしたことによ
り、補間対象画素を少ないクラス数で的確にクラス分類
できるようになる。この結果構成を簡易化できる。
い補間画素値を求めることができる簡易な構成の画像信
号補間装置を実現する。 【構成】クラスに対応した予測係数Ｄ８を読み出し、当
該予測係数Ｄ８に基づいて補間データＤ２を求めるよう
にしたことにより、折り返し歪みを回避して真値に近い
補間データＤ２を得ることができる。加えて、補間対象
画素近傍の平坦度を検出し、当該検出結果Ｄ４に応じて
クラス分類に用いる画素を選択するようにしたことによ
り、補間対象画素を少ないクラス数で的確にクラス分類
できるようになる。この結果構成を簡易化できる。
Description
【０００１】
【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術（図６〜図８） 発明が解決しようとする課題 課題を解決するための手段（図１及び図２） 作用（図１） 実施例 （１）全体構成（図１及び図２） （２）クラス分類処理（図３及び図４） （３）予測係数メモリの作成（図５） （４）実施例の動作（図１） （５）実施例の効果 （６）他の実施例 発明の効果
【０００２】
【産業上の利用分野】本発明は画像信号補間装置に関
し、例えばサブサンプリングにより間引かれた画素を補
間することにより画像の解像度を向上させる画像信号補
間装置に適用して好適なものである。
し、例えばサブサンプリングにより間引かれた画素を補
間することにより画像の解像度を向上させる画像信号補
間装置に適用して好適なものである。
【０００３】
【従来の技術】従来、画像信号を記録、伝送する際の帯
域圧縮あるいは情報量削減のための方法としてサブサン
プリングによつて原画像の画素を所定間隔おきに間引く
方法が広く用いられている。その一例としては、ＭＵＳ
Ｅ（MUltiple Sub-nyquist Sampling Encoding）方式に
おける多重サブナイキストサンプリングエンコーデイン
グ方式がある。
域圧縮あるいは情報量削減のための方法としてサブサン
プリングによつて原画像の画素を所定間隔おきに間引く
方法が広く用いられている。その一例としては、ＭＵＳ
Ｅ（MUltiple Sub-nyquist Sampling Encoding）方式に
おける多重サブナイキストサンプリングエンコーデイン
グ方式がある。
【０００４】またサブサンプリングの一例としてオフセ
ツトサブサンプリングが広く用いられている。このオフ
セツトサブサンプリングにおいては、２次元の場合には
図６に示すように水平方向（ｘ方向）及び垂直方向（ｙ
方向）のサンプリング間隔（Ｔｘ、Ｔｙ）をそれぞれ原
信号における画素間隔（Ｈｘ、Ｈｙ）の２倍に設定する
ことにより、１画素おきにサブサンプル（×）する。ま
たオフセツトサブサンプリングでは、垂直方向に隣合う
サンプリング点（○）を互いにサンプリング間隔の半分
（Ｔｘ／２）だけオフセツトする。この結果オフセツト
サブサンプリング後の画像信号の伝送帯域は、図７に示
すように斜め方向の空間周波数に対して水平あるいは垂
直方向の空間周波数成分を広帯域化することができ、こ
の結果視覚上画質劣化の目立たない間引き処理を行うこ
とができる。
ツトサブサンプリングが広く用いられている。このオフ
セツトサブサンプリングにおいては、２次元の場合には
図６に示すように水平方向（ｘ方向）及び垂直方向（ｙ
方向）のサンプリング間隔（Ｔｘ、Ｔｙ）をそれぞれ原
信号における画素間隔（Ｈｘ、Ｈｙ）の２倍に設定する
ことにより、１画素おきにサブサンプル（×）する。ま
たオフセツトサブサンプリングでは、垂直方向に隣合う
サンプリング点（○）を互いにサンプリング間隔の半分
（Ｔｘ／２）だけオフセツトする。この結果オフセツト
サブサンプリング後の画像信号の伝送帯域は、図７に示
すように斜め方向の空間周波数に対して水平あるいは垂
直方向の空間周波数成分を広帯域化することができ、こ
の結果視覚上画質劣化の目立たない間引き処理を行うこ
とができる。
【０００５】ここでオフセツトサブサンプリングされた
画像信号をモニタに表示したりプリントアウトする場合
には、図８に示すように各サンプリング点間の画素を隣
接画素を用いて補間する必要がある。このような補間処
理は、図７に示す斜線領域の周波数成分を通過させると
共に、折り返し点Ａを含む領域の周波数成分の通過を阻
止する空間フイルタとして機能するものであり、この補
間処理はサンプリング理論上では後置フイルタとして位
置付けられる。
画像信号をモニタに表示したりプリントアウトする場合
には、図８に示すように各サンプリング点間の画素を隣
接画素を用いて補間する必要がある。このような補間処
理は、図７に示す斜線領域の周波数成分を通過させると
共に、折り返し点Ａを含む領域の周波数成分の通過を阻
止する空間フイルタとして機能するものであり、この補
間処理はサンプリング理論上では後置フイルタとして位
置付けられる。
【０００６】
【発明が解決しようとする課題】ところで、オフセツト
サブサンプリングは、サブサンプリング前の前置フイル
タが正しくかけられている場合には非常に有効な手法で
あるが、例えばハードウエア上の制約によつて前置フイ
ルタを十分にかけられない場合や伝送帯域の広帯域化を
はかるために前置フイルタを十分にかけない場合等には
折り返し歪みに基づく画像劣化が発生する問題がある。
サブサンプリングは、サブサンプリング前の前置フイル
タが正しくかけられている場合には非常に有効な手法で
あるが、例えばハードウエア上の制約によつて前置フイ
ルタを十分にかけられない場合や伝送帯域の広帯域化を
はかるために前置フイルタを十分にかけない場合等には
折り返し歪みに基づく画像劣化が発生する問題がある。
【０００７】この折り返し歪みの発生を軽減する一つの
方法として、適応型補間方法が提案されている。この方
法は、サブサンプリングされた画像信号に対して補間処
理を行う際に、補間画素の周辺で相関の強い方向を検出
し、当該検出結果に応じて複数の異なつた補間手段を選
択的に用いて補間処理を行うものである。
方法として、適応型補間方法が提案されている。この方
法は、サブサンプリングされた画像信号に対して補間処
理を行う際に、補間画素の周辺で相関の強い方向を検出
し、当該検出結果に応じて複数の異なつた補間手段を選
択的に用いて補間処理を行うものである。
【０００８】ところで、適応型補間方法においては、補
間精度が相関の強い方向を検出する際の検出精度と個々
の補間手段の能力とに大きく依存する。そのため、個々
の補間手段の能力が十分でなく適切な補間ができない場
合や、相関の強い方向を誤判定した場合には、本来の信
号成分を減少させるばかりでなく、逆に折り返し歪みを
増大させてしまう問題点があつた。
間精度が相関の強い方向を検出する際の検出精度と個々
の補間手段の能力とに大きく依存する。そのため、個々
の補間手段の能力が十分でなく適切な補間ができない場
合や、相関の強い方向を誤判定した場合には、本来の信
号成分を減少させるばかりでなく、逆に折り返し歪みを
増大させてしまう問題点があつた。
【０００９】本発明は以上の点を考慮してなされたもの
で、折り返し歪みの発生を未然に回避して真値に近い補
間画素値を求めることができる簡易な構成の画像信号補
間装置を提案しようとするものである。
で、折り返し歪みの発生を未然に回避して真値に近い補
間画素値を求めることができる簡易な構成の画像信号補
間装置を提案しようとするものである。
【００１０】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、所定画素が間引かれた伝送画像デ
ータ（Ｄ１）を入力し、間引かれた画素を補間する画像
信号補間装置（１）において、補間対象画素（図２の×
印）の近傍画素（ａ〜ｄ）を用いて、補間対象画素近傍
の平坦度を検出する平坦度検出手段（３）と、補間対象
画素の周辺画素（ａ〜ｌ）のうち、平坦度検出手段
（３）による平坦度検出結果（Ｄ４）に応じた周辺画素
（ａ〜ｄ又はａ〜ｌ）を選択する画素選択手段（４）
と、画素選択手段（４）により選択された周辺画素（ａ
〜ｄ又はａ〜ｌ）のレベル分布のパターンに応じて、補
間対象画素をクラス分類するクラス分類手段（５及び
６）と、クラス分類手段（５及び６）により分類された
クラスに対応する予測係数（Ｄ８）を発生する予測係数
発生手段（７）と、予測係数（Ｄ８）と伝送画像データ
（Ｄ１）とを用いて予測演算を行うことにより、補間対
象画素に対応する補間データ（Ｄ２）を算出する補間デ
ータ算出手段（８）とを備えるようにする。
め本発明においては、所定画素が間引かれた伝送画像デ
ータ（Ｄ１）を入力し、間引かれた画素を補間する画像
信号補間装置（１）において、補間対象画素（図２の×
印）の近傍画素（ａ〜ｄ）を用いて、補間対象画素近傍
の平坦度を検出する平坦度検出手段（３）と、補間対象
画素の周辺画素（ａ〜ｌ）のうち、平坦度検出手段
（３）による平坦度検出結果（Ｄ４）に応じた周辺画素
（ａ〜ｄ又はａ〜ｌ）を選択する画素選択手段（４）
と、画素選択手段（４）により選択された周辺画素（ａ
〜ｄ又はａ〜ｌ）のレベル分布のパターンに応じて、補
間対象画素をクラス分類するクラス分類手段（５及び
６）と、クラス分類手段（５及び６）により分類された
クラスに対応する予測係数（Ｄ８）を発生する予測係数
発生手段（７）と、予測係数（Ｄ８）と伝送画像データ
（Ｄ１）とを用いて予測演算を行うことにより、補間対
象画素に対応する補間データ（Ｄ２）を算出する補間デ
ータ算出手段（８）とを備えるようにする。
【００１１】また本発明においては、画素選択手段
（４）は、平坦度検出結果（Ｄ４）が平坦度が小さいこ
とを表わすものであつた場合には、第１の個数の周辺画
素（ａ〜ｄ）を選択し、平坦度検出結果（Ｄ４）が平坦
度が大きいことを表わすものであつた場合には、第１の
個数よりも多い第２の個数の周辺画素（ａ〜ｌ）を選択
すると共に、クラス分類手段（５及び６）は、データ圧
縮手段でなり、平坦度検出結果（Ｄ４）が平坦度が小さ
いことを表わすものであつた場合には、第１の圧縮率で
選択された周辺画素（ａ〜ｄ）を圧縮し、平坦度検出結
果（Ｄ４）が平坦度が大きいことを表わすものであつた
場合には、第１の圧縮率よりも大きい第２の圧縮率で選
択された周辺画素（ａ〜ｌ）を圧縮するようにする。
（４）は、平坦度検出結果（Ｄ４）が平坦度が小さいこ
とを表わすものであつた場合には、第１の個数の周辺画
素（ａ〜ｄ）を選択し、平坦度検出結果（Ｄ４）が平坦
度が大きいことを表わすものであつた場合には、第１の
個数よりも多い第２の個数の周辺画素（ａ〜ｌ）を選択
すると共に、クラス分類手段（５及び６）は、データ圧
縮手段でなり、平坦度検出結果（Ｄ４）が平坦度が小さ
いことを表わすものであつた場合には、第１の圧縮率で
選択された周辺画素（ａ〜ｄ）を圧縮し、平坦度検出結
果（Ｄ４）が平坦度が大きいことを表わすものであつた
場合には、第１の圧縮率よりも大きい第２の圧縮率で選
択された周辺画素（ａ〜ｌ）を圧縮するようにする。
【００１２】
【作用】クラスに対応した予測係数（Ｄ８）を使つて補
間データ（Ｄ２）を求めるようにしたことにより、折り
返し歪みを回避して真値に近い補間データ（Ｄ２）を得
ることができる。加えて、補間対象画素近傍の平坦度を
検出し、当該検出結果（Ｄ４）に応じてクラス分類に用
いる画素を選択するようにしたことにより、補間対象画
素を少ないクラス数で的確にクラス分類できるようにな
る。この結果予測係数発生手段の構成を簡易化できる。
間データ（Ｄ２）を求めるようにしたことにより、折り
返し歪みを回避して真値に近い補間データ（Ｄ２）を得
ることができる。加えて、補間対象画素近傍の平坦度を
検出し、当該検出結果（Ｄ４）に応じてクラス分類に用
いる画素を選択するようにしたことにより、補間対象画
素を少ないクラス数で的確にクラス分類できるようにな
る。この結果予測係数発生手段の構成を簡易化できる。
【００１３】
【実施例】以下図面について、本発明の一実施例を詳述
する。
する。
【００１４】（１）全体構成 図１において、１は全体として画像信号補間装置を示
し、オフセツトサブサンプリングによつて情報量が削減
された入力画像データＤ１に対してクラス分類による適
応補間処理を施すことにより真値に近い補間データＤ２
を生成するようになされている。
し、オフセツトサブサンプリングによつて情報量が削減
された入力画像データＤ１に対してクラス分類による適
応補間処理を施すことにより真値に近い補間データＤ２
を生成するようになされている。
【００１５】具体的には、画像信号補間装置１は、補間
対象画素の周辺のサンプリング画素（すなわち入力画像
データＤ１に含まれている画素）のレベル分布のパター
ンに応じて補間対象画素（すなわち間引かれた画素）を
クラス分類し、予め各クラス毎に学習により求められて
いる予測係数を読み出し、この予測係数を使つて補間画
素値を求める。これにより画像信号補間装置１において
は、補間対象画素を単にその周辺のサンプリング画素を
用いた平均補間によつて求める場合と比較して、格段に
真値に近い補間画素値を求めることができる。
対象画素の周辺のサンプリング画素（すなわち入力画像
データＤ１に含まれている画素）のレベル分布のパター
ンに応じて補間対象画素（すなわち間引かれた画素）を
クラス分類し、予め各クラス毎に学習により求められて
いる予測係数を読み出し、この予測係数を使つて補間画
素値を求める。これにより画像信号補間装置１において
は、補間対象画素を単にその周辺のサンプリング画素を
用いた平均補間によつて求める場合と比較して、格段に
真値に近い補間画素値を求めることができる。
【００１６】画像信号補間装置１は入力画像データＤ１
をブロツク化回路２に入力し、当該ブロツク化回路２に
おいて入力画像データＤ１を所定の大きさのブロツクに
分割する。実際上ブロツク化回路２は、図２に示すよう
に、補間対象画素（×印）を中心としてその周辺の１２
個の周辺画素ａ〜ｌによつて各ブロツクを形成するよう
になされている。
をブロツク化回路２に入力し、当該ブロツク化回路２に
おいて入力画像データＤ１を所定の大きさのブロツクに
分割する。実際上ブロツク化回路２は、図２に示すよう
に、補間対象画素（×印）を中心としてその周辺の１２
個の周辺画素ａ〜ｌによつて各ブロツクを形成するよう
になされている。
【００１７】平坦度検出回路３はブロツク化画像データ
Ｄ３を入力し、そのブロツク内の補間対象画素を含む領
域での局所的な平坦度を検出する。具体的には、平坦度
検出回路３は、補間対象画素（×印）に隣接する４個の
周辺画素ａ〜ｄを用いて平坦度を検出する。
Ｄ３を入力し、そのブロツク内の補間対象画素を含む領
域での局所的な平坦度を検出する。具体的には、平坦度
検出回路３は、補間対象画素（×印）に隣接する４個の
周辺画素ａ〜ｄを用いて平坦度を検出する。
【００１８】そして周辺画素ａ〜ｄの平坦度が小さかっ
た場合には、補間対象画素（×印）のクラスをこの４画
素ａ〜ｄのみで十分に推定し得ると判断し、続く画素選
択回路４にこのことを表わす平坦度検出信号Ｄ４を送出
する。これに対して、周辺画素ａ〜ｄの平坦度が大きか
つた場合には、補間対象画素のクラスをこの４画素ａ〜
ｄのみでは推定し得ないと判断し、続く画素選択回路４
にこのことを表わす平坦度検出信号Ｄ４を送出する。因
に、実施例の平坦度検出回路３では、４画素ａ〜ｄの画
素値の最大値と最小値の差が２０を越えていた場合に平
坦度が小さいとし、２０以下であつた場合に平坦度が大
きいするようになされている。
た場合には、補間対象画素（×印）のクラスをこの４画
素ａ〜ｄのみで十分に推定し得ると判断し、続く画素選
択回路４にこのことを表わす平坦度検出信号Ｄ４を送出
する。これに対して、周辺画素ａ〜ｄの平坦度が大きか
つた場合には、補間対象画素のクラスをこの４画素ａ〜
ｄのみでは推定し得ないと判断し、続く画素選択回路４
にこのことを表わす平坦度検出信号Ｄ４を送出する。因
に、実施例の平坦度検出回路３では、４画素ａ〜ｄの画
素値の最大値と最小値の差が２０を越えていた場合に平
坦度が小さいとし、２０以下であつた場合に平坦度が大
きいするようになされている。
【００１９】画素選択回路４は平坦度検出信号Ｄ４に基
づいて、平坦度が小さかつた場合には選択画素データＤ
５としてブロツク内画素ａ〜ｌのうち４画素ａ〜ｄの画
素データのみを適応ダイナミツクレンジ符号化（ＡＤＲ
Ｃ（Adaptive Dynamic RangeCoding ））回路５に送出
する。これに対して画素選択回路４は平坦度が大きかつ
た場合には選択画素データＤ５として、４画素ａ〜ｄの
平均値Ｍと共に周辺画素ｅ〜ｌの合計９個の画素データ
をＡＤＲＣ回路５に送出する。
づいて、平坦度が小さかつた場合には選択画素データＤ
５としてブロツク内画素ａ〜ｌのうち４画素ａ〜ｄの画
素データのみを適応ダイナミツクレンジ符号化（ＡＤＲ
Ｃ（Adaptive Dynamic RangeCoding ））回路５に送出
する。これに対して画素選択回路４は平坦度が大きかつ
た場合には選択画素データＤ５として、４画素ａ〜ｄの
平均値Ｍと共に周辺画素ｅ〜ｌの合計９個の画素データ
をＡＤＲＣ回路５に送出する。
【００２０】ＡＤＲＣ回路４は画素選択回路４からの選
択画素データＤ５を受け、当該選択画素データＤ５に対
して適応ダイナミツクレンジ符号化処理を施すことによ
り各画素値をビツト圧縮することによりパターン圧縮デ
ータＤ６を形成する。
択画素データＤ５を受け、当該選択画素データＤ５に対
して適応ダイナミツクレンジ符号化処理を施すことによ
り各画素値をビツト圧縮することによりパターン圧縮デ
ータＤ６を形成する。
【００２１】このように画像信号補間装置１において
は、常にブロツク化回路２により切り出された周辺画素
ａ〜ｌ全てを用いてクラス分類するのではなく、局所的
な周辺画素ａ〜ｄの平坦度に応じてクラス分類に用いる
画素数を適応的に選択するようにしたことにより、クラ
ス数を有効に削減することができる。
は、常にブロツク化回路２により切り出された周辺画素
ａ〜ｌ全てを用いてクラス分類するのではなく、局所的
な周辺画素ａ〜ｄの平坦度に応じてクラス分類に用いる
画素数を適応的に選択するようにしたことにより、クラ
ス数を有効に削減することができる。
【００２２】この結果、続くＡＤＲＣ回路５を例えば１
ビツトの適応量子化を行うもので構成すると、平坦度が
小さいときには補間対象画素の周辺の状態を２4 個のパ
ターンで表現し得、平坦度が大きいときには２9 個のパ
ターンで表現し得る。従つて周辺の１２画素全てを用い
たときのパターンが２12個であることを考えると、補間
対象画素を非常に少ないパターンで表現できることが分
かる。
ビツトの適応量子化を行うもので構成すると、平坦度が
小さいときには補間対象画素の周辺の状態を２4 個のパ
ターンで表現し得、平坦度が大きいときには２9 個のパ
ターンで表現し得る。従つて周辺の１２画素全てを用い
たときのパターンが２12個であることを考えると、補間
対象画素を非常に少ないパターンで表現できることが分
かる。
【００２３】これに加えて、ＡＤＲＣ回路５は平坦度検
出回路３からの平坦度検出信号Ｄ４に基づいてビツト圧
縮率を切り換えるようになされている。具体的には、平
坦度が小さいことを表わす平坦度検出結果信号Ｄ４を受
けると４画素ａ〜ｄに対して１画素当り８ビツトの各画
素値を２ビツトに圧縮する。これに対して平坦度が大き
いことを示す平坦度検出信号Ｄ４を受けると平均画素値
Ｍ及び周辺８画素ｅ〜ｌの合計９画素をそれぞれ１ビツ
トに圧縮する。
出回路３からの平坦度検出信号Ｄ４に基づいてビツト圧
縮率を切り換えるようになされている。具体的には、平
坦度が小さいことを表わす平坦度検出結果信号Ｄ４を受
けると４画素ａ〜ｄに対して１画素当り８ビツトの各画
素値を２ビツトに圧縮する。これに対して平坦度が大き
いことを示す平坦度検出信号Ｄ４を受けると平均画素値
Ｍ及び周辺８画素ｅ〜ｌの合計９画素をそれぞれ１ビツ
トに圧縮する。
【００２４】従つて周辺画素の状態は、平坦度が小さい
場合には４4 個のパターンで表され、平坦度が大きい場
合には２9 個のパターンで表わされる。これによりＡＤ
ＲＣ回路５は、周辺画素の特徴量を残しながら効率の良
い圧縮処理を施すことができる。
場合には４4 個のパターンで表され、平坦度が大きい場
合には２9 個のパターンで表わされる。これによりＡＤ
ＲＣ回路５は、周辺画素の特徴量を残しながら効率の良
い圧縮処理を施すことができる。
【００２５】パターン圧縮データＤ６はクラスコード発
生回路６に与えられる。クラスコード発生回路６はパタ
ーン圧縮データＤ６に基づいたクラスコードＤ６を発生
し、これを予測係数メモリ７に与える。予測係数メモリ
７はクラスコードＤ６を読み出しアドレスとして、予め
クラス毎に後述する学習によつて求められて記憶されて
いる予測係数Ｄ８を出力する。
生回路６に与えられる。クラスコード発生回路６はパタ
ーン圧縮データＤ６に基づいたクラスコードＤ６を発生
し、これを予測係数メモリ７に与える。予測係数メモリ
７はクラスコードＤ６を読み出しアドレスとして、予め
クラス毎に後述する学習によつて求められて記憶されて
いる予測係数Ｄ８を出力する。
【００２６】予測演算回路８はブロツク化画像データＤ
３に含まれる各画素値ａ〜ｌと予測係数Ｄ８とを用いて
線形一次結合式に基づく演算を行うことにより、補間対
象画素の画素値を算出し、これを補間データＤ２として
出力する。
３に含まれる各画素値ａ〜ｌと予測係数Ｄ８とを用いて
線形一次結合式に基づく演算を行うことにより、補間対
象画素の画素値を算出し、これを補間データＤ２として
出力する。
【００２７】かくして画像信号補間装置１においては、
予め学習により求めた予測係数を用いて補間画素を形成
するようにしたことにより真値に近い補間画素値を得る
ことができる。また平坦度に応じてクラス分類に用いる
画素を選択すると共にクラス分類の際の圧縮率を変化さ
せるようにしたことによりクラス分類の効率を格段に改
善し得る。この結果クラス数が減ることにより、予測係
数メモリ７の構成を簡易化し得る。
予め学習により求めた予測係数を用いて補間画素を形成
するようにしたことにより真値に近い補間画素値を得る
ことができる。また平坦度に応じてクラス分類に用いる
画素を選択すると共にクラス分類の際の圧縮率を変化さ
せるようにしたことによりクラス分類の効率を格段に改
善し得る。この結果クラス数が減ることにより、予測係
数メモリ７の構成を簡易化し得る。
【００２８】（２）クラス分類処理 次にＡＤＲＣ回路５及びクラスコード発生回路６による
クラス分類処理について説明する。ＡＤＲＣ回路５は画
像のもつ局所的特徴としてブロツク内ダイナミツクレン
ジを定義し、主としてレベル方向の冗長度を適応的に除
去する。例えば図３に示すように、１画素当り８ビツト
の画素データの持つ０〜 255のダイナミツクレンジの中
で、各ブロツク毎に再量子化するために必要なブロツク
内ダイナミツクレンジＡ、Ｂは大幅に小さくなることが
分かる。従つてこの小さなダイナミツクレンジＡ、Ｂ内
で再量子化を行えば、必要なビツト数を大幅に低減する
ことができるのである。
クラス分類処理について説明する。ＡＤＲＣ回路５は画
像のもつ局所的特徴としてブロツク内ダイナミツクレン
ジを定義し、主としてレベル方向の冗長度を適応的に除
去する。例えば図３に示すように、１画素当り８ビツト
の画素データの持つ０〜 255のダイナミツクレンジの中
で、各ブロツク毎に再量子化するために必要なブロツク
内ダイナミツクレンジＡ、Ｂは大幅に小さくなることが
分かる。従つてこの小さなダイナミツクレンジＡ、Ｂ内
で再量子化を行えば、必要なビツト数を大幅に低減する
ことができるのである。
【００２９】具体的には、ＡＤＲＣ回路５は先ずブロツ
ク内ダイナミツクレンジをＤＲ、ビツト割当をｐ、ブロ
ツク内の各画素レベルをｘ、再量子化コードをＱとし
て、次式
ク内ダイナミツクレンジをＤＲ、ビツト割当をｐ、ブロ
ツク内の各画素レベルをｘ、再量子化コードをＱとし
て、次式
【数１】 により、図４（Ａ）に示すようにブロツク内の最大値Ｍ
ＡＸと最小値ＭＩＮとの間を指定されたビツト長で均等
に分割して再量子化を行う。因に、図４は３ビツトで再
量子化した場合（すなわちｐ＝３の場合）を表わす。
ＡＸと最小値ＭＩＮとの間を指定されたビツト長で均等
に分割して再量子化を行う。因に、図４は３ビツトで再
量子化した場合（すなわちｐ＝３の場合）を表わす。
【００３０】次に、図４（Ａ）の最上位の階調レベル
（２p −１）に相当するデータレベル内に存在するブロ
ツク内画素の平均値をとり、これを図４（Ｂ）に示すよ
うに最大値ＭＡＸ′とする。また図４（Ａ）の最下位の
階調レベル０に相当するデータレベル内に存在するブロ
ツク内画素の平均値をとり、これを図４（Ｂ）に示すよ
うに最小値ＭＩＮ′とする。
（２p −１）に相当するデータレベル内に存在するブロ
ツク内画素の平均値をとり、これを図４（Ｂ）に示すよ
うに最大値ＭＡＸ′とする。また図４（Ａ）の最下位の
階調レベル０に相当するデータレベル内に存在するブロ
ツク内画素の平均値をとり、これを図４（Ｂ）に示すよ
うに最小値ＭＩＮ′とする。
【００３１】次に新しく求めた最大値ＭＡＸ′及び最小
値ＭＩＮ′によりブロツク内ダイナミツクレンジＤＲ′
を新たに定義し直して、再量子化コードをｑとして、新
しく求めたブロツク内の最大値ＭＡＸ′及び最小値ＭＩ
Ｎ′に基づいて、次式
値ＭＩＮ′によりブロツク内ダイナミツクレンジＤＲ′
を新たに定義し直して、再量子化コードをｑとして、新
しく求めたブロツク内の最大値ＭＡＸ′及び最小値ＭＩ
Ｎ′に基づいて、次式
【数２】 により図４（Ｂ）に示すような再量子化を行う。このよ
うにＡＤＲＣ回路５は二重の再量子化を行うことによ
り、ノイズによる悪影響を低減して効率の良い情報量圧
縮を行いパターン圧縮データＤ６を形成する。但し実施
例のＡＤＲＣ回路５は３ビツトで再量子化を行うのでは
なく、上述したように平坦度検出信号Ｄ４に応じて１ビ
ツト又は２ビツトで再量子化を行う。
うにＡＤＲＣ回路５は二重の再量子化を行うことによ
り、ノイズによる悪影響を低減して効率の良い情報量圧
縮を行いパターン圧縮データＤ６を形成する。但し実施
例のＡＤＲＣ回路５は３ビツトで再量子化を行うのでは
なく、上述したように平坦度検出信号Ｄ４に応じて１ビ
ツト又は２ビツトで再量子化を行う。
【００３２】クラス分類回路６は、このようにＡＤＲＣ
回路５によつてｐビツトにデータ圧縮された結果の再量
子化データをｑ1 〜ｑn として、次式
回路５によつてｐビツトにデータ圧縮された結果の再量
子化データをｑ1 〜ｑn として、次式
【数３】 を実行することにより、そのブロツクの属するクラスす
なわち補間対象画素のクラスを表わすクラスコードｃ
（Ｄ７）を決定する。
なわち補間対象画素のクラスを表わすクラスコードｃ
（Ｄ７）を決定する。
【００３３】（３）予測係数メモリの作成 次に予測係数メモリ７に記憶させる予測係数の求め方
を、図５に従つて説明する。先ずステツプＳＰ１におい
て予測係数を学習するために、既に知られている画像に
対応した学習データを形成する。具体的には、図２にお
けるサンプリング画素ａ〜ｌと、補間対象画素（×印）
のサブサンプル以前の画素値を一組の学習データとす
る。
を、図５に従つて説明する。先ずステツプＳＰ１におい
て予測係数を学習するために、既に知られている画像に
対応した学習データを形成する。具体的には、図２にお
けるサンプリング画素ａ〜ｌと、補間対象画素（×印）
のサブサンプル以前の画素値を一組の学習データとす
る。
【００３４】なお、このように学習データを形成する際
に、１つの画像のみを用いるのではなく複数の画像を用
いることで非常に多数の学習データを形成すれば、より
正確な予測係数を得ることができる。
に、１つの画像のみを用いるのではなく複数の画像を用
いることで非常に多数の学習データを形成すれば、より
正確な予測係数を得ることができる。
【００３５】ステツプＳＰ２では必要上十分な学習デー
タが形成されたか否か判定する。そして更に学習データ
が必要であると判定した場合にはステツプＳＰ３に進
み、十分な学習データが得られた判定した場合にはステ
ツプＳＰ４に移る。
タが形成されたか否か判定する。そして更に学習データ
が必要であると判定した場合にはステツプＳＰ３に進
み、十分な学習データが得られた判定した場合にはステ
ツプＳＰ４に移る。
【００３６】ステツプＳＰ３では学習データをクラス分
類する。このとき上述した画像信号補間装置１でしたの
と同様のクラス分類を行うようにする。具体的には、先
ず学習サンプリングデータの局所的な平坦度を検出し、
当該検出結果に応じてクラス分類に用いる画素を選択
し、選択した画素をＡＤＲＣ符号化により圧縮した後に
クラスコードを形成することにより各学習データをクラ
ス分類する。
類する。このとき上述した画像信号補間装置１でしたの
と同様のクラス分類を行うようにする。具体的には、先
ず学習サンプリングデータの局所的な平坦度を検出し、
当該検出結果に応じてクラス分類に用いる画素を選択
し、選択した画素をＡＤＲＣ符号化により圧縮した後に
クラスコードを形成することにより各学習データをクラ
ス分類する。
【００３７】次にステツプＳＰ５において、クラス分類
された学習データに基づき、各クラス毎に正規化方程式
を形成する。ステツプＳＰ５での処理を具体的に説明す
る。ここでは一般化するために学習データとしてｎ個の
サンプリング画素が存在する場合について述べる。先ず
各サンプリング画素の画素レベルｘ1 、……、ｘn と注
目補間画素のサブサンプル以前の画素レベルｙの関係
を、クラス（ｃ）毎に予測係数ｗ1 、……、ｗn による
ｎタツプの線型一次予測式で表現することにより、次式
された学習データに基づき、各クラス毎に正規化方程式
を形成する。ステツプＳＰ５での処理を具体的に説明す
る。ここでは一般化するために学習データとしてｎ個の
サンプリング画素が存在する場合について述べる。先ず
各サンプリング画素の画素レベルｘ1 、……、ｘn と注
目補間画素のサブサンプル以前の画素レベルｙの関係
を、クラス（ｃ）毎に予測係数ｗ1 、……、ｗn による
ｎタツプの線型一次予測式で表現することにより、次式
【数４】 を形成する。
【００３８】この（４）式における予測係数ｗ1 、…
…、ｗn を求めれば良い。そこで実際の補間対象画素と
補間処理結果の誤差が最小になるような予測係数ｗ1 、
……、ｗn を求める。ここで学習はクラス毎に複数の学
習データに対して行うので、学習データ数がｍとすると
一般的なｍ＞ｎである場合には予測係数ｗ1 、……、ｗ
n は一意に決定できない。そこで誤差ベクトルｅの要素
を、それぞれの学習データｘk1、……、ｘkn、ｙk （ｋ
＝１、２、……、ｍ）における予測誤差をｅk として、
次式
…、ｗn を求めれば良い。そこで実際の補間対象画素と
補間処理結果の誤差が最小になるような予測係数ｗ1 、
……、ｗn を求める。ここで学習はクラス毎に複数の学
習データに対して行うので、学習データ数がｍとすると
一般的なｍ＞ｎである場合には予測係数ｗ1 、……、ｗ
n は一意に決定できない。そこで誤差ベクトルｅの要素
を、それぞれの学習データｘk1、……、ｘkn、ｙk （ｋ
＝１、２、……、ｍ）における予測誤差をｅk として、
次式
【数５】 のように定義して、次式
【数６】 を最小にする予測係数ｗ1 、……、ｗn を求める。いわ
ゆる最小二乗法による解法である。
ゆる最小二乗法による解法である。
【００３９】ここで（６）式のｗi による偏微分係数を
求めると、次式
求めると、次式
【数７】 となる。（７）式が０になるような各ｗi を決めればよ
い。そこで次式
い。そこで次式
【数８】 及び
【数９】 のように、Ｘij、Ｙi を定義すると、上述した（７）式
は行列を用いて、次式
は行列を用いて、次式
【数１０】 の正規化方程式に書き換えることができる。
【００４０】ここで（１０）式の正規化方程式は未知数
がｎ個の連立方程式であるから、これにより最確値であ
る各未定係数ｗ1 、……、ｗn を求めることができる。
すなわちこの予測係数算出処理手順では、ステツプＳＰ
５において各クラス毎に未定係数ｗ1 、……、ｗn を求
めることができるような正規化方程式を形成できるまで
ステツプＳＰ１−ＳＰ２−ＳＰ３−ＳＰ５−ＳＰ１のル
ープを繰り返す。
がｎ個の連立方程式であるから、これにより最確値であ
る各未定係数ｗ1 、……、ｗn を求めることができる。
すなわちこの予測係数算出処理手順では、ステツプＳＰ
５において各クラス毎に未定係数ｗ1 、……、ｗn を求
めることができるような正規化方程式を形成できるまで
ステツプＳＰ１−ＳＰ２−ＳＰ３−ＳＰ５−ＳＰ１のル
ープを繰り返す。
【００４１】やがてステツプＳＰ５において各クラス毎
に（１０）式で表わされる正規化方程式が形成され、ス
テツプＳＰ２において肯定結果が得られると、ステツプ
ＳＰ４に進んで、ここで（１０）式の正規化方程式を解
いて各クラス毎の予測係数ｗ1 、……、ｗn を決定す
る。具体的には、一般に（１０）式の左辺の行列は正定
値対称なので、コレスキー法により解くことができる。
に（１０）式で表わされる正規化方程式が形成され、ス
テツプＳＰ２において肯定結果が得られると、ステツプ
ＳＰ４に進んで、ここで（１０）式の正規化方程式を解
いて各クラス毎の予測係数ｗ1 、……、ｗn を決定す
る。具体的には、一般に（１０）式の左辺の行列は正定
値対称なので、コレスキー法により解くことができる。
【００４２】次にステツプＳＰ６において、各クラス毎
に決定された予測係数ｗ1 、……、ｗn を予測係数メモ
リ７の対応するクラスのアドレスに格納し、続くステツ
プＳＰ７において当該予測係数算出処理手順を終了す
る。
に決定された予測係数ｗ1 、……、ｗn を予測係数メモ
リ７の対応するクラスのアドレスに格納し、続くステツ
プＳＰ７において当該予測係数算出処理手順を終了す
る。
【００４３】（４）実施例の動作 以上の構成において、画像信号補間装置１は間引かれた
画素を補間対象画素として、当該補間対象画素をその周
辺のブロツク化データＤ３の状態に応じてクラス分類す
る。このとき画像信号補間装置１はクラス分類の前処理
として、補間対象画素近傍の画素ａ〜ｄの平坦度を検出
し、この平坦度の大きさによつてクラス分類に用いる周
辺画素を選択する。この結果画像の特徴量をできるだけ
残しながら必要最小限の画素を用いてクラス分類できる
ようになり、不必要なクラス数の増加を抑制し得、効率
の良いクラス分類ができるようになる。
画素を補間対象画素として、当該補間対象画素をその周
辺のブロツク化データＤ３の状態に応じてクラス分類す
る。このとき画像信号補間装置１はクラス分類の前処理
として、補間対象画素近傍の画素ａ〜ｄの平坦度を検出
し、この平坦度の大きさによつてクラス分類に用いる周
辺画素を選択する。この結果画像の特徴量をできるだけ
残しながら必要最小限の画素を用いてクラス分類できる
ようになり、不必要なクラス数の増加を抑制し得、効率
の良いクラス分類ができるようになる。
【００４４】次に、画像信号補間装置１は選択された画
素を圧縮することによりパターン圧縮データＤ６を形成
し、当該パターン圧縮データＤ６に基づいてクラスコー
ドＤ７を形成する。このとき画像信号補間装置１は平坦
度の大きさにより圧縮率を変化させる。この結果画像の
特徴量を残しながら十分な圧縮処理を施すことができる
ようになり、ここでも不必要なクラス数の増加を抑制し
得る。
素を圧縮することによりパターン圧縮データＤ６を形成
し、当該パターン圧縮データＤ６に基づいてクラスコー
ドＤ７を形成する。このとき画像信号補間装置１は平坦
度の大きさにより圧縮率を変化させる。この結果画像の
特徴量を残しながら十分な圧縮処理を施すことができる
ようになり、ここでも不必要なクラス数の増加を抑制し
得る。
【００４５】次に、画像信号補間装置１はクラスコード
Ｄ７を読み出しアドレスとして、予測係数メモリ７に記
憶された予測係数Ｄ８を読み出す。そして予測演算回路
８によつてこのクラスｃに対応した予測係数ｗ1 （ｃ）
〜ｗ12（ｃ）とブロツク化データＤ３に含まれるサンプ
リング画素ａ〜ｌの画素データｘ1 〜ｘ12とを、次式
Ｄ７を読み出しアドレスとして、予測係数メモリ７に記
憶された予測係数Ｄ８を読み出す。そして予測演算回路
８によつてこのクラスｃに対応した予測係数ｗ1 （ｃ）
〜ｗ12（ｃ）とブロツク化データＤ３に含まれるサンプ
リング画素ａ〜ｌの画素データｘ1 〜ｘ12とを、次式
【数１１】 のように線形一次結合することにより、補間対象画素に
対応する補間値ｙ′を算出し、これを補間データＤ２と
して出力する。
対応する補間値ｙ′を算出し、これを補間データＤ２と
して出力する。
【００４６】このようにして画像補間装置１において
は、原画に含まれる画素データとほとんど変わらない補
間データＤ２を形成することができる。この補間データ
Ｄ２は図示しない合成回路により入力画像データＤ１と
合成された後、例えばテレビジヨン受像装置やビデオテ
ープレコーダ装置等に供給される。
は、原画に含まれる画素データとほとんど変わらない補
間データＤ２を形成することができる。この補間データ
Ｄ２は図示しない合成回路により入力画像データＤ１と
合成された後、例えばテレビジヨン受像装置やビデオテ
ープレコーダ装置等に供給される。
【００４７】（５）実施例の効果 以上の構成によれば、補間対象画素を含む周辺画素の局
所的な平坦度を検出し、当該平坦度検出結果に応じて、
クラス分類に用いる画素を選択すると共にクラス分類の
際の圧縮率を変化させるようにしたことにより、補間対
象画素を少ないクラス数で的確にクラス分類できる。こ
れにより真値に近い補間データを形成し得る簡易な構成
の画像信号補間装置１を実現できる。
所的な平坦度を検出し、当該平坦度検出結果に応じて、
クラス分類に用いる画素を選択すると共にクラス分類の
際の圧縮率を変化させるようにしたことにより、補間対
象画素を少ないクラス数で的確にクラス分類できる。こ
れにより真値に近い補間データを形成し得る簡易な構成
の画像信号補間装置１を実現できる。
【００４８】（６）他の実施例 なお上述の実施例においては、補間対象画素の近傍４画
素ａ〜ｄにより平坦度を検出し、平坦度が小さかつた場
合にはこの４画素ａ〜ｄのみをクラス分類に用い、平坦
度が大きかつた場合には４画素ａ〜ｄの平均値Ｍとさら
に広い範囲に分布する周辺画素ｅ〜ｌを用いてクラス分
類する場合について述べたが、平坦度検出に用いる画素
数及び平坦度検出結果に応じて選択する画素数はこれに
限らず、要は補間対象画素の近傍画素を用いて平坦度を
検出し、平坦度が大きかつた場合には、平坦度が小さか
つた場合に用いた画素よりも多くの画素を用いてクラス
分類するようにすれば良い。
素ａ〜ｄにより平坦度を検出し、平坦度が小さかつた場
合にはこの４画素ａ〜ｄのみをクラス分類に用い、平坦
度が大きかつた場合には４画素ａ〜ｄの平均値Ｍとさら
に広い範囲に分布する周辺画素ｅ〜ｌを用いてクラス分
類する場合について述べたが、平坦度検出に用いる画素
数及び平坦度検出結果に応じて選択する画素数はこれに
限らず、要は補間対象画素の近傍画素を用いて平坦度を
検出し、平坦度が大きかつた場合には、平坦度が小さか
つた場合に用いた画素よりも多くの画素を用いてクラス
分類するようにすれば良い。
【００４９】また上述の実施例においては、平坦度検出
結果に応じて、クラス分類に用いる画素数を変えると共
にＡＤＲＣ回路５の圧縮率も変化させる場合について述
べたが、クラス分類に用いる画素数のみを変えるように
しても良い。また圧縮率を変化させる場合には、上述の
ように１ビツトと２ビツトで切り換える場合に限らな
い。
結果に応じて、クラス分類に用いる画素数を変えると共
にＡＤＲＣ回路５の圧縮率も変化させる場合について述
べたが、クラス分類に用いる画素数のみを変えるように
しても良い。また圧縮率を変化させる場合には、上述の
ように１ビツトと２ビツトで切り換える場合に限らな
い。
【００５０】また上述の実施例においては、画像選択回
路４によつて選択された選択画素データＤ５をＡＤＲＣ
回路５及びクラスコード発生回路６を用いてビツト圧縮
することによりクラス分類する場合について述べたが、
クラス分類手段はＡＤＲＣ回路５及びクラスコード発生
回路６に限らず、例えば離散コサイン変換（ＤＣＴ）、
差分量子化（ＤＰＣＭ）、サブバンド符号化やウエーブ
レツト変換等の種々の圧縮手段を用いることができる。
さらにクラス分類の方法はビツト圧縮によるものに限ら
ず、例えば補間対象画素の周辺画像において相関性の強
い方向を検出し、当該検出結果に基づいてクラス分類す
るようにしても良い。
路４によつて選択された選択画素データＤ５をＡＤＲＣ
回路５及びクラスコード発生回路６を用いてビツト圧縮
することによりクラス分類する場合について述べたが、
クラス分類手段はＡＤＲＣ回路５及びクラスコード発生
回路６に限らず、例えば離散コサイン変換（ＤＣＴ）、
差分量子化（ＤＰＣＭ）、サブバンド符号化やウエーブ
レツト変換等の種々の圧縮手段を用いることができる。
さらにクラス分類の方法はビツト圧縮によるものに限ら
ず、例えば補間対象画素の周辺画像において相関性の強
い方向を検出し、当該検出結果に基づいてクラス分類す
るようにしても良い。
【００５１】また上述の実施例においては、クラス毎の
予測係数を最小二乗法による学習により求めた場合につ
いて述べたが、予測係数の求め方はこれに限らず、種々
の学習方法を用いることができる。
予測係数を最小二乗法による学習により求めた場合につ
いて述べたが、予測係数の求め方はこれに限らず、種々
の学習方法を用いることができる。
【００５２】また上述の実施例においては、予測係数メ
モリ７及び予測演算回路８を設け、予め学習により予測
係数メモリ７に記憶された予測係数Ｄ８をクラスコード
Ｄ７に応じて読出し、読出した予測係数Ｄ８とブロツク
化データＤ３を線形一次結合することにより補間データ
を求めるようにした場合について述べたが、本発明はこ
れに限らず、予測係数メモリ７及び予測演算回路８に代
えて、予め学習により求めたクラス毎の代表値を格納す
るメモリを設け、クラスに応じた代表値を読み出して、
読み出した代表値を補間データとするようにしても良
い。
モリ７及び予測演算回路８を設け、予め学習により予測
係数メモリ７に記憶された予測係数Ｄ８をクラスコード
Ｄ７に応じて読出し、読出した予測係数Ｄ８とブロツク
化データＤ３を線形一次結合することにより補間データ
を求めるようにした場合について述べたが、本発明はこ
れに限らず、予測係数メモリ７及び予測演算回路８に代
えて、予め学習により求めたクラス毎の代表値を格納す
るメモリを設け、クラスに応じた代表値を読み出して、
読み出した代表値を補間データとするようにしても良
い。
【００５３】この場合、メモリに格納するを求める第１
の方法としては、加重平均による学習がある。詳述すれ
ば、補間対象画素に対応する真の画素値をクラス毎に積
算し、この積算結果を積算した画素値の個数によつて割
るといた処理を様々な画像に対して行うことによりクラ
ス毎の代表値を得るといつた学習である。
の方法としては、加重平均による学習がある。詳述すれ
ば、補間対象画素に対応する真の画素値をクラス毎に積
算し、この積算結果を積算した画素値の個数によつて割
るといた処理を様々な画像に対して行うことによりクラ
ス毎の代表値を得るといつた学習である。
【００５４】また代表値を求める第２の方法としては、
正規化による学習がある。詳述すれば、補間対象画素を
含む複数の画素からなるブロツクを形成し、当該ブロツ
ク内のダイナミツクレンジによつて、補間対象画素に対
応する真の画素値からブロツクの基準値を減算した値を
正規化し、この正規化された値の累積値を累積度数で割
るといつた処理を様々な画像に対して行うことによりク
ラス毎の代表値を得るといつた学習である。
正規化による学習がある。詳述すれば、補間対象画素を
含む複数の画素からなるブロツクを形成し、当該ブロツ
ク内のダイナミツクレンジによつて、補間対象画素に対
応する真の画素値からブロツクの基準値を減算した値を
正規化し、この正規化された値の累積値を累積度数で割
るといつた処理を様々な画像に対して行うことによりク
ラス毎の代表値を得るといつた学習である。
【００５５】
【発明の効果】上述のように本発明によれば、補間対象
画素の近傍画素を用いて、補間対象画素近傍の平坦度を
検出する平坦度検出手段と、補間対象画素の周辺画素の
うち、平坦度検出結果に応じた周辺画素を選択する画素
選択手段と、選択された画素を用いて、補間対象画素を
クラス分類するクラス分類手段と、分類されたクラスに
対応する予測係数を発生する予測係数発生手段と、予測
係数と伝送画像データとを用いて予測演算を行うことに
より、補間対象画素に対応する補間データを算出する補
間データ算出手段とを設けるようにしたことにより、折
り返し歪みの発生を未然に回避して真値に近い補間画素
値を求めることができる。
画素の近傍画素を用いて、補間対象画素近傍の平坦度を
検出する平坦度検出手段と、補間対象画素の周辺画素の
うち、平坦度検出結果に応じた周辺画素を選択する画素
選択手段と、選択された画素を用いて、補間対象画素を
クラス分類するクラス分類手段と、分類されたクラスに
対応する予測係数を発生する予測係数発生手段と、予測
係数と伝送画像データとを用いて予測演算を行うことに
より、補間対象画素に対応する補間データを算出する補
間データ算出手段とを設けるようにしたことにより、折
り返し歪みの発生を未然に回避して真値に近い補間画素
値を求めることができる。
【００５６】また本発明によれば、平坦度検出結果に応
じてクラス分類に用いる画素を選択するようにしたこと
により、補間対象画素を少ないクラス数で的確にクラス
分類でき、この結果構成を簡易化できる。
じてクラス分類に用いる画素を選択するようにしたこと
により、補間対象画素を少ないクラス数で的確にクラス
分類でき、この結果構成を簡易化できる。
【図１】本発明による画像信号補間装置の一実施例の構
成を示すブロツク図である。
成を示すブロツク図である。
【図２】実施例のクラス分類処理に用いる周辺画素の説
明に供する略線図である。
明に供する略線図である。
【図３】ＡＤＲＣ回路によるビツト圧縮の説明に供する
略線図である。
略線図である。
【図４】ＡＤＲＣ回路によるビツト圧縮の説明に供する
略線図である。
略線図である。
【図５】学習による予測係数算出処理手順を示すフロー
チヤートである。
チヤートである。
【図６】オフセツトサブサンプリングの説明に供する略
線図である。
線図である。
【図７】２次元のオフセツトサブサンプリングにより伝
送可能な帯域の空間周波数スペクトラムを示す略線図で
ある。
送可能な帯域の空間周波数スペクトラムを示す略線図で
ある。
【図８】補間処理の説明に供する略線図である。
１……画像信号補間装置、３……平坦度検出回路、４…
…画素選択回路、５……ＡＤＲＣ回路、６……クラスコ
ード発生回路、７……予測係数メモリ、８……予測演算
回路、Ｄ１……入力画像データ、Ｄ２……補間データ、
Ｄ３……ブロツク化データ、Ｄ４……平坦度検出信号、
Ｄ５……選択画素データ、Ｄ６……パターン圧縮デー
タ、Ｄ７……クラスコード、Ｄ８……予測係数、ａ〜ｌ
……周辺画素。
…画素選択回路、５……ＡＤＲＣ回路、６……クラスコ
ード発生回路、７……予測係数メモリ、８……予測演算
回路、Ｄ１……入力画像データ、Ｄ２……補間データ、
Ｄ３……ブロツク化データ、Ｄ４……平坦度検出信号、
Ｄ５……選択画素データ、Ｄ６……パターン圧縮デー
タ、Ｄ７……クラスコード、Ｄ８……予測係数、ａ〜ｌ
……周辺画素。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 1/41 Ｂ
Claims (16)
- 【請求項１】所定画素が間引かれた伝送画像データを入
力し、当該間引かれた画素を補間する画像信号補間装置
において、 補間対象画素の近傍画素を用いて、上記補間対象画素近
傍の平坦度を検出する平坦度検出手段と、 上記補間対象画素の周辺画素のうち、上記平坦度検出手
段による平坦度検出結果に応じた周辺画素を選択する画
素選択手段と、 上位画素選択手段により選択された周辺画素のレベル分
布のパターンに応じて、上記補間対象画素をクラス分類
するクラス分類手段と、 上記クラス分類手段により分類されたクラスに対応する
予測係数を発生する予測係数発生手段と、 上記予測係数と上記伝送画像データとを用いて予測演算
を行うことにより、上記補間対象画素に対応する補間デ
ータを算出する補間データ算出手段とを具えることを特
徴とする画像信号補間装置。 - 【請求項２】上記画素選択手段は、 上記平坦度検出結果が平坦度が小さいことを表わすもの
であつた場合には、第１の個数の上記周辺画素を選択
し、 上記平坦度検出結果が平坦度が大きいことを表わすもの
であつた場合には、上記第１の個数よりも多い第２の個
数の上記周辺画素を選択することを特徴とする請求項１
に記載の画像信号補間装置。 - 【請求項３】上記画素選択手段は、上記平坦度検出結果
が平坦度の大きいことを表わすものであつた場合には、
一部の周辺画素を平均化して出力することを特徴とする
請求項１又は請求項２に記載の画像信号補間装置。 - 【請求項４】上記クラス分類手段は、上記選択された画
素を圧縮するデータ圧縮手段であることを特徴とする請
求項１に記載の画像信号補間装置。 - 【請求項５】上記データ圧縮手段は、適応ダイナミツク
レンジ符号化（ＡＤＲＣ）手段であることを特徴とする
請求項４に記載の画像信号補間装置。 - 【請求項６】上記データ圧縮手段は、上記平坦度検出結
果に応じて圧縮率を変化させることを特徴とする請求項
４又は請求項５に記載の画像信号補間装置。 - 【請求項７】上記画素選択手段は、 上記平坦度検出結果が平坦度が小さいことを表わすもの
であつた場合には、第１の個数の上記周辺画素を選択
し、 上記平坦度検出結果が平坦度が大きいことを表わすもの
であつた場合には、上記第１の個数よりも多い第２の個
数の上記周辺画素を選択すると共に、 上記クラス分類手段は、データ圧縮手段でなり、 上記平坦度検出結果が平坦度が小さいことを表わすもの
であつた場合には、第１の圧縮率で上記選択された周辺
画素を圧縮し、 上記平坦度検出結果が平坦度が大きいことを表わすもの
であつた場合には、上記第１の圧縮率よりも大きい第２
の圧縮率で上記選択された周辺画素を圧縮することを特
徴とする請求項１に記載の画像信号補間装置。 - 【請求項８】上記予測係数発生手段は、予め学習により
求められた各クラス毎の予測係数を格納するメモリを有
し、上記クラス分類手段により分類されたクラスに対応
する予測係数を発生することを特徴とする請求項１に記
載の画像信号補間装置。 - 【請求項９】所定画素が間引かれた伝送画像データを入
力し、上記間引かれた画素を補間する画像信号補間装置
において、 補間対象画素の近傍画素を用いて、上記補間対象画素近
傍の平坦度を検出する平坦度検出手段と、 上記補間対象画素の周辺画素のうち、上記平坦度検出手
段による平坦度検出結果に応じた周辺画素を選択する画
素選択手段と、 上位画素選択手段により選択された周辺画素のレベル分
布のパターンに応じて、上記補間対象画素をクラス分類
するクラス分類手段と、 上記クラス分類手段により分類されたクラスに対応する
代表値を発生する代表値発生手段とを具え、上記代表値
発生手段により発生された上記代表値を上記補間対象画
素に対応する補間データとするを具えることを特徴とす
る画像信号補間装置。 - 【請求項１０】上記画素選択手段は、 上記平坦度検出結果が平坦度が小さいことを表わすもの
であつた場合には、第１の個数の上記周辺画素を選択
し、 上記平坦度検出結果が平坦度が大きいことを表わすもの
であつた場合には、上記第１の個数よりも多い第２の個
数の上記周辺画素を選択することを特徴とする請求項９
に記載の画像信号補間装置。 - 【請求項１１】上記画素選択手段は、上記平坦度検出結
果が平坦度の大きいことを表わすものであつた場合に
は、一部の周辺画素を平均化して出力することを特徴と
する請求項９又は請求項１０に記載の画像信号補間装
置。 - 【請求項１２】上記クラス分類手段は、上記選択された
画素を圧縮するデータ圧縮手段であることを特徴とする
請求項９に記載の画像信号補間装置。 - 【請求項１３】上記データ圧縮手段は、適応ダイナミツ
クレンジ符号化（ＡＤＲＣ）手段であることを特徴とす
る請求項１２に記載の画像信号補間装置。 - 【請求項１４】上記データ圧縮手段は、上記平坦度検出
結果に応じて圧縮率を変化させることを特徴とする請求
項１２又は請求項１３に記載の画像信号補間装置。 - 【請求項１５】上記画素選択手段は、 上記平坦度検出結果が平坦度が小さいことを表わすもの
であつた場合には、第１の個数の上記周辺画素を選択
し、 上記平坦度検出結果が平坦度が大きいことを表わすもの
であつた場合には、上記第１の個数よりも多い第２の個
数の上記周辺画素を選択すると共に、 上記クラス分類手段は、データ圧縮手段でなり、 上記平坦度検出結果が平坦度が小さいことを表わすもの
であつた場合には、第１の圧縮率で上記選択された周辺
画素を圧縮し、 上記平坦度検出結果が平坦度が大きいことを表わすもの
であつた場合には、上記第１の圧縮率よりも大きい第２
の圧縮率で上記選択された周辺画素を圧縮することを特
徴とする請求項９に記載の画像信号補間装置。 - 【請求項１６】上記代表値発生手段は、予め学習により
求められた各クラス毎の代表値を格納するメモリを有
し、上記クラス分類手段により分類されたクラスに対応
する代表値を発生することを特徴とする請求項９に記載
の画像信号補間装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31905494A JP3781203B2 (ja) | 1994-11-28 | 1994-11-28 | 画像信号補間装置及び画像信号補間方法 |
| US08/562,429 US6285714B1 (en) | 1994-11-28 | 1995-11-24 | Image signal interpolating apparatus |
| US09/200,249 US6016164A (en) | 1994-11-28 | 1998-11-25 | Image signal interpolating apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31905494A JP3781203B2 (ja) | 1994-11-28 | 1994-11-28 | 画像信号補間装置及び画像信号補間方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005344472A Division JP4085396B2 (ja) | 2005-11-29 | 2005-11-29 | 学習装置及び学習方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08154251A true JPH08154251A (ja) | 1996-06-11 |
| JP3781203B2 JP3781203B2 (ja) | 2006-05-31 |
Family
ID=18105995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31905494A Expired - Lifetime JP3781203B2 (ja) | 1994-11-28 | 1994-11-28 | 画像信号補間装置及び画像信号補間方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6285714B1 (ja) |
| JP (1) | JP3781203B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1011583A (ja) * | 1996-06-27 | 1998-01-16 | Sony Corp | クラス分類適応処理装置、クラス分類適応処理用の学習装置および学習方法 |
| JP2005353100A (ja) * | 2005-08-22 | 2005-12-22 | Sony Corp | 情報信号変換装置および方法、並びに学習装置および学習方法 |
| JP2009044769A (ja) * | 2008-11-10 | 2009-02-26 | Nippon Telegr & Teleph Corp <Ntt> | フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6292591B1 (en) | 1996-07-17 | 2001-09-18 | Sony Coporation | Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks |
| US6381369B1 (en) | 1996-07-17 | 2002-04-30 | Sony Corporation | Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium |
| AU714554B2 (en) * | 1996-07-17 | 2000-01-06 | Sony Corporation | Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks |
| TW359919B (en) | 1996-07-17 | 1999-06-01 | Sony Corp | Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium |
| AU718453B2 (en) | 1996-07-17 | 2000-04-13 | Sony Corporation | Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks |
| JP3915855B2 (ja) | 1997-12-19 | 2007-05-16 | ソニー株式会社 | 画像符号化装置および画像符号化方法、並びに学習装置および学習方法 |
| US6510254B1 (en) * | 1998-04-06 | 2003-01-21 | Seiko Epson Corporation | Apparatus and method for image data interpolation and medium on which image data interpolation program is recorded |
| KR100657776B1 (ko) * | 1998-09-30 | 2006-12-15 | 소니 가부시끼 가이샤 | 연산 장치, 변환기, 및 이들의 방법 |
| WO2000021301A1 (en) * | 1998-10-05 | 2000-04-13 | Sony Corporation | Image transform device and method, learning device and method, and recording medium |
| EP1073279A4 (en) * | 1999-02-19 | 2006-04-05 | Sony Corp | PICTURE SIGNAL PROCESSOR, PICTURE SIGNAL PROCESSING METHOD, LEARNING DEVICE, LERMETHOID AND RECORDING MEDIUM |
| US6678405B1 (en) * | 1999-06-08 | 2004-01-13 | Sony Corporation | Data processing apparatus, data processing method, learning apparatus, learning method, and medium |
| JP2001136352A (ja) * | 1999-11-04 | 2001-05-18 | Canon Inc | 画像入力装置及びその制御方法 |
| CA2344615A1 (en) | 2000-09-08 | 2002-03-08 | Jaldi Semiconductor Corp. | A method and apparatus for motion adaptive deinterlacing |
| US7324709B1 (en) * | 2001-07-13 | 2008-01-29 | Pixelworks, Inc. | Method and apparatus for two-dimensional image scaling |
| US7116841B2 (en) * | 2001-08-30 | 2006-10-03 | Micron Technology, Inc. | Apparatus, method, and product for downscaling an image |
| US6933983B2 (en) * | 2001-09-10 | 2005-08-23 | Jaldi Semiconductor Corp. | System and method for reducing noise in images |
| JP4055203B2 (ja) * | 2002-09-12 | 2008-03-05 | ソニー株式会社 | データ処理装置およびデータ処理方法、記録媒体、並びにプログラム |
| SG111093A1 (en) * | 2002-11-18 | 2005-05-30 | St Microelectronics Asia | Motion vector selection based on a preferred point |
| JP4978402B2 (ja) * | 2007-09-28 | 2012-07-18 | 富士通セミコンダクター株式会社 | 画像処理フィルタ、画像処理フィルタの画像処理方法及び画像処理フィルタを備える画像処理装置の画像処理回路 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4858013A (en) * | 1987-03-19 | 1989-08-15 | Mitsubishi Denki Kabushiki Kaisha | Solid state imaging device with adaptive pixel correction |
| US5032910A (en) * | 1989-10-02 | 1991-07-16 | Eastman Kodak Company | Mechanism for producing interpolated color values for a sampled color image signal using a linear equation technique |
| US5131057A (en) * | 1990-02-12 | 1992-07-14 | Wright State University | Method for video-to-printing image resolution conversion |
| US5184218A (en) * | 1991-07-03 | 1993-02-02 | Wavephore, Inc. | Bandwidth compression and expansion system |
| US5363213A (en) * | 1992-06-08 | 1994-11-08 | Xerox Corporation | Unquantized resolution conversion of bitmap images using error diffusion |
| JP3104439B2 (ja) * | 1992-11-13 | 2000-10-30 | ソニー株式会社 | 高能率符号化及び／又は復号化装置 |
-
1994
- 1994-11-28 JP JP31905494A patent/JP3781203B2/ja not_active Expired - Lifetime
-
1995
- 1995-11-24 US US08/562,429 patent/US6285714B1/en not_active Expired - Fee Related
-
1998
- 1998-11-25 US US09/200,249 patent/US6016164A/en not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1011583A (ja) * | 1996-06-27 | 1998-01-16 | Sony Corp | クラス分類適応処理装置、クラス分類適応処理用の学習装置および学習方法 |
| JP2005353100A (ja) * | 2005-08-22 | 2005-12-22 | Sony Corp | 情報信号変換装置および方法、並びに学習装置および学習方法 |
| JP2009044769A (ja) * | 2008-11-10 | 2009-02-26 | Nippon Telegr & Teleph Corp <Ntt> | フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6285714B1 (en) | 2001-09-04 |
| US6016164A (en) | 2000-01-18 |
| JP3781203B2 (ja) | 2006-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH08154251A (ja) | 画像信号補間装置 | |
| US5598216A (en) | Method and apparatus for encoding/decoding a video signal | |
| US5751362A (en) | Apparatus for encoding a video signal using feature point based motion estimation | |
| EP0721287A1 (en) | Method and apparatus for encoding a video signal | |
| US5367334A (en) | Video signal encoding and decoding apparatus | |
| US5731851A (en) | Method for determining feature points based on hierarchical block searching technique | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| JP3271095B2 (ja) | ディジタル画像信号の高能率符号化装置および復号装置 | |
| JP3400055B2 (ja) | 画像情報変換装置及び画像情報変換方法並びに画像処理装置及び画像処理方法 | |
| US6061401A (en) | Method and apparatus for selectively encoding/decoding a video signal | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP3724008B2 (ja) | 画像情報変換装置および係数データ作成装置 | |
| JP4085396B2 (ja) | 学習装置及び学習方法 | |
| JPH0884335A (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| JPH0888849A (ja) | 画像信号処理方法及び画像信号伝送装置 | |
| JP3371159B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JPH0884336A (ja) | 画像信号伝送装置 | |
| JP3693187B2 (ja) | 信号変換装置及び信号変換方法 | |
| JPH08130744A (ja) | テレビジヨン受像装置 | |
| JP3630246B2 (ja) | 画像信号補間装置及び画像信号補間方法 | |
| JPH06178277A (ja) | 画像情報変換装置 | |
| KR100203695B1 (ko) | 물체 기반 부호화에 있어서의 텍스쳐 분류를 위한 전처리 장치 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP3653287B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JPH0785287A (ja) | 予測符号化装置およびその復号装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050114 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050315 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060124 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060302 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100317 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110317 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130317 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140317 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |