JPH11164264A

JPH11164264A - 画像処理装置および画像処理方法

Info

Publication number: JPH11164264A
Application number: JP10032473A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Tsutomu Watanabe; 勉渡辺; Tomoyuki Otsuki; 知之大月
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-02-14
Filing date: 1998-02-16
Publication date: 1999-06-18
Anticipated expiration: 2018-02-16
Also published as: JP4120898B2

Abstract

(57)【要約】【課題】解像度の高い元の画像を再生することで、折
り返し歪みを除去する。【解決手段】折り返し歪みのない元の画像が、図２に
実線で示すような、水平走査期間に対応する周波数の１
／２よりも高い周波数で周期的に変化し、その位相が時
間とともにずれていく三角波で表されるとする。第Ｎフ
レームにおけるサンプリング点（図２に○印で示す）
を、折り返し歪みを有する歪み画像の動きに対応した位
置に移動し、その移動後のサンプリング点のサンプル
値、および第Ｎ＋１フレームのサンプル値を結べば、そ
の波形は、図２（Ｂ）に点線で示すように、元の画像に
近づく。以下、同様にして、過去のフレームのサンプリ
ング点を、歪み画像の動きに対応した位置に移動し、そ
の移動後のサンプリング点のサンプル値、および現在の
フレームのサンプル値を結んでいくことにより、図２
（Ｃ）乃至図２（Ｅ）に点線で示すように、徐々に、元
の画像が再生されていく。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法に関し、特に、例えば、画像の画素数を
増加させることにより、走査線と直交する方向の折り返
し歪みを低減（除去）したり、高解像度の画像を生成し
たりすることができるようにする画像処理装置および画
像処理方法に関する。

【０００２】

【従来の技術】例えば、テレビジョン受像機で受信され
た画像や、ＶＴＲ（Video Tape Racorder）、ビデオＣ
Ｄ（Compact Disc）プレーヤ、ＤＶＤ（Digital Versat
ile Disc）プレーヤで再生された画像などは、図２６に
示すように、左から右方向に走査が繰り返されることに
より、例えば、ＣＲＴ（Cathode Ray Tube）などに表示
される。

【０００３】即ち、ＣＲＴの蛍光面に、画像に対応する
ビームが照射され、これにより、蛍光面の各点が光り、
画像が表示される。従って、表示された画像（表示画
像）は、そのような点、つまり画素の集合ということが
できる。

【０００４】

【発明が解決しようとする課題】表示画像を、上述のよ
うに画素の集合と捉えると、表示画像は、元の画像を画
素の位置でサンプリングしたディジタル信号と考えるこ
とができる。即ち、例えば、自然の風景を撮影して得ら
れる表示画像は、アナログ信号としての実際の自然の風
景を、画素の位置をサンプリング点としてサンプリング
したディジタル信号と考えることができる。

【０００５】従って、元の画像をサンプリングする際
に、いわゆるサンプリングの定理（アナログ信号をサン
プリングして得られたディジタル信号から、元のアナロ
グ信号を再生するには、アナログ信号の最高周波数の２
倍以上の周波数でサンプリングを行う必要があるという
定理）を満たしていない場合、表示画像には、折り返し
歪みが生じる。

【０００６】上述したように、画像は、左から右方向に
走査が繰り返されることから、その方向、即ち、走査線
の方向である水平方向には、サンプリングの定理を満た
すように、プリフィルタがかけられることが多いが、走
査線と直交する方向である垂直方向には、従来、そのよ
うなプリフィルタがかけられず、このため、表示画像に
は、垂直方向の折り返し歪みが生じる課題があった。

【０００７】即ち、例えば、いま、第Ｎフレームの、あ
る垂直方向に注目し、その垂直方向における元の画像
が、図２７（Ａ）に実線で示すように、１ライン（水平
走査期間）に対応する周波数の１／２よりも高い周波数
の信号成分を有する場合、サンプリングの定理を満たさ
ないことから、折り返し歪みが生じ、表示画像として、
元の画像を得ることはできず、同図（Ａ）において点線
で示すような信号に対応する画像が得られる。

【０００８】そして、このような折り返し歪みは、例え
ば、Ｙ／Ｃ分離や、ノイズ除去、さらには画質改善のた
めの処理、その他の信号処理に弊害を及ぼす。

【０００９】また、視覚的には、折り返し歪みが生じ、
上述したように、図２７（Ａ）に実線で示すような信号
が、同図（Ａ）に点線で示すような信号となっても、各
画素における画素値が変化しなければ、解像度が悪くな
るだけで、視聴者が、それほど大きな違和感を感じるこ
とはない。しかしながら、例えば、葉の生い茂った木が
風に吹かれている風景などについての画像に関しては、
第Ｎフレームでは、図２７（Ａ）に実線で示すような信
号が、第Ｎ＋１フレームでは、同図（Ｂ）に示すように
変化する。このように折り返し歪みが生じている信号が
変化すると、表示画像に、いわゆる画面のざわざわ感が
感じられ、これは、視聴者に大きな違和感を感じさせ
る。

【００１０】一方、ある１フレームの信号に注目した場
合に、その信号は、既に、図２７（Ａ）に点線で示した
ように、垂直方向の折り返し歪みを含むものであるか
ら、その１フレームの信号のみから、高周波成分を含む
元の信号を再生することは、サンプリングの定理から困
難であり、また、既に垂直方向の折り返し歪みを有する
画像に、垂直方向のプリフィルタをかけて折り返し歪み
を除去することも困難である。

【００１１】本発明は、このような状況に鑑みてなされ
たものであり、画像から、それに含まれていない元の高
周波数成分を含む、より画素数の多い画像、即ち、高解
像度の画像を生成することができるようにし、さらに、
これにより、例えば、折り返し歪みの除去などを可能に
するものである。

【００１２】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、第１の画像の動きに対応した位置に画素を想
定することにより、第２の画像を生成する想定手段を備
えることを特徴とする。

【００１３】請求項３１に記載の画像処理方法は、第１
の画像の動きに対応した位置に画素を想定することによ
り、第２の画像を生成する想定ステップを備えることを
特徴とする。

【００１４】請求項１に記載の画像処理装置において
は、想定手段が、第１の画像の動きに対応した位置に画
素を想定することにより、第２の画像を生成するように
なされている。

【００１５】請求項３１に記載の画像処理方法において
は、第１の画像の動きに対応した位置に画素を想定する
ことにより、第２の画像を生成するようになされてい
る。

【００１６】

【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態（但
し、一例）を付加して、本発明の特徴を記述すると、次
のようになる。

【００１７】即ち、請求項１に記載の画像処理装置は、
第１の画像から第２の画像を生成する画像処理装置であ
って、第１の画像を受信する受信手段（例えば、図１に
示すチューナ１など）と、第１の画像の動きに対応した
位置に画素を想定することにより、第２の画像を生成す
る想定手段（例えば、図４に示すコントローラ１４およ
び解像度創造用メモリ部１５など）とを備えることを特
徴とする。

【００１８】請求項２に記載の画像処理装置は、第１の
画像の動きを検出する動き検出手段（例えば、図４に示
す動き検出部１２など）をさらに備え、想定手段が、動
き検出手段によって検出された第１の画像の動きに対応
した位置に画素を想定することにより、第２の画像を生
成することを特徴とする。

【００１９】請求項６に記載の画像処理装置は、動き検
出手段が、第１の画像の動きを、その第１の画像を構成
する画素より細かい単位で検出し、想定手段が、第１の
画像を記憶する、第１の画像の１画面分より多い記憶容
量の画像記憶手段（例えば、図４に示す解像度想像用メ
モリ部１５など）と、画像記憶手段に第１の画像を書き
込むときのアドレスを、その第１の画像の動きに基づい
て制御するとともに、画像記憶手段の記憶値の読み出し
を制御する制御手段（例えば、図４に示すコントローラ
１４など）とを有することを特徴とする。

【００２０】請求項８に記載の画像処理装置は、第１の
画像のシーンチェンジを検出するシーンチェンジ検出手
段（例えば、図４に示すシーンチェンジ検出部１３な
ど）と、第１の画像に、シーンチェンジが生じたとき
に、画像記憶手段の記憶値をクリアするクリア手段（例
えば、図４に示すコントローラ１４など）とをさらに備
えることを特徴とする。

【００２１】請求項９に記載の画像処理装置は、第２の
画像をフィルタリングするフィルタ手段（例えば、図４
に示す垂直ＬＰＦ１６など）をさらに備えることを特徴
とする。

【００２２】請求項１０に記載の画像処理装置は、第２
の画像をフィルタリングするフィルタ手段（例えば、図
４に示す垂直ＬＰＦ１６など）と、フィルタ手段によっ
てフィルタリングされた第２の画像を、第１の画像と同
一の画素数にして出力する出力手段（例えば、図４に示
すフレームメモリ部１７など）とをさらに備えることを
特徴とする。

【００２３】請求項１１に記載の画像処理装置は、画像
記憶手段のアドレスのうち、第１の画像の画素が記憶さ
れていないものを検出するアドレス検出手段（例えば、
図２５に示す書き込みフラグ記憶部４２および画素生成
部４３など）と、アドレス検出手段によって検出された
画像記憶手段のアドレスに対応する第２の画像の画素を
生成する生成手段（例えば、図２５に示す画素生成部４
３など）とをさらに備えることを特徴とする。

【００２４】請求項１２に記載の画像処理装置は、アド
レス検出手段が、画像記憶手段のアドレスに、第１の画
像の画素が書き込まれたときに、その旨を表すフラグ
が、対応するアドレスに書き込まれる、フラグを記憶す
るフラグ記憶手段（例えば、図２５に示す書き込みフラ
グ記憶部４２など）を有することを特徴とする。

【００２５】請求項１４に記載の画像処理装置は、生成
手段が、アドレス検出手段によって検出された画像記憶
手段のアドレスに対応する第２の画像の画素を、画像記
憶手段に記憶されている第１の画像の画素の性質に応じ
て、所定のクラスに分類するクラス分類手段（例えば、
図１８に示すクラス分類部２０１など）と、クラスごと
に、所定の予測係数を記憶している予測係数記憶手段
（例えば、図１８に示す係数ＲＯＭ２０７など）と、ア
ドレス検出手段によって検出された画像記憶手段のアド
レスに対応する第２の画像の画素のクラスに対応する予
測係数と、画像記憶手段に記憶されている第１の画像の
画素とを用いて所定の演算を行うことにより、アドレス
検出手段によって検出された画像記憶手段のアドレスに
対応する第２の画像の画素を求める演算手段（例えば、
図１８に示す予測演算回路２０６など）とを有すること
を特徴とする。

【００２６】請求項１６に記載の画像処理装置は、第１
の画像を複数の領域に分割する領域分割手段（例えば、
図１０に示す領域分割部２１並びにスイッチ２２Ａおよ
び２２Ｂなど）と、第１の画像の複数の領域それぞれに
対応する第２の画像の複数の領域を合成することによ
り、第２の画像を生成する合成手段（例えば、図１０に
示す合成部２４など）とをさらに備え、想定手段が、第
１の画像の動きに対応した位置に画素を想定することに
より、第１の画像の複数の領域それぞれに対応する第２
の画像の複数の領域を求めることを特徴とする。

【００２７】請求項１７に記載の画像処理装置は、第１
の画像の複数の領域それぞれの動きを検出する動き検出
手段（例えば、図１０に示す動き検出部１２など）をさ
らに備え、想定手段が、動き検出手段によって検出され
た第１の画像の複数の領域それぞれの動きに対応した位
置に画素を想定することにより、第２の画像の複数の領
域それぞれを求めることを特徴とする。

【００２８】請求項２１に記載の画像処理装置は、動き
検出手段が、第１の画像の複数の領域それぞれの動き
を、その第１の画像を構成する画素より細かい単位で検
出し、想定手段が、第１の画像の複数の領域をそれぞれ
記憶する、第１の画像の１画面分より多い記憶容量の複
数の画像記憶手段（例えば、図１０に示す解像度想像用
メモリ部１５Ａおよび１５Ｂなど）と、複数の画像記憶
手段それぞれに、第１の画像の複数の領域それぞれを書
き込むときのアドレスを、その第１の画像の複数の領域
それぞれの動きに基づいて制御するとともに、複数の画
像記憶手段の記憶値の読み出しを制御する制御手段（例
えば、図１０に示すコントローラ１４Ａおよび１４Ｂな
ど）とを有することを特徴とする。

【００２９】請求項２３に記載の画像処理装置は、第１
の画像のシーンチェンジを検出するシーンチェンジ検出
手段（例えば、図１０に示すシーンチェンジ検出部１３
など）と、第１の画像に、シーンチェンジが生じたとき
に、複数の画像記憶手段の記憶値をクリアするクリア手
段（例えば、図１０に示すコントローラ１４Ａおよび１
４Ｂなど）とをさらに備えることを特徴とする。

【００３０】請求項２４に記載の画像処理装置は、第２
の画像をフィルタリングするフィルタ手段（例えば、図
１０に示す垂直ＬＰＦ１６など）をさらに備えることを
特徴とする。

【００３１】請求項２５に記載の画像処理装置は、第２
の画像をフィルタリングするフィルタ手段（例えば、図
１０に示す垂直ＬＰＦ１６など）と、フィルタ手段によ
ってフィルタリングされた第２の画像を、第１の画像と
同一の画素数にして出力する出力手段（例えば、図１０
に示すフレームメモリ部１７など）とをさらに備えるこ
とを特徴とする。

【００３２】請求項２６に記載の画像処理装置は、画像
記憶手段のアドレスのうち、第１の画像の画素が記憶さ
れていないものを検出するアドレス検出手段（例えば、
図１２に示す書き込みフラグ記憶部４２および画素生成
部４３など）と、アドレス検出手段によって検出された
画像記憶手段のアドレスに対応する第２の画像の画素を
生成する生成手段（例えば、図１２に示す画素生成部４
３など）とをさらに備えることを特徴とする。

【００３３】請求項２７に記載の画像処理装置は、アド
レス検出手段がは、画像記憶手段のアドレスに、第１の
画像の画素が書き込まれたときに、その旨を表すフラグ
が、対応するアドレスに書き込まれる、フラグを記憶す
るフラグ記憶手段（例えば、図１２に示す書き込みフラ
グ記憶部４２など）を有することを特徴とする。

【００３４】請求項２９に記載の画像処理装置は、生成
手段が、アドレス検出手段によって検出された画像記憶
手段のアドレスに対応する第２の画像の画素を、画像記
憶手段に記憶されている第１の画像の画素の性質に応じ
て、所定のクラスに分類するクラス分類手段（例えば、
図１８に示すクラス分類部２０１など）と、クラスごと
に、所定の予測係数を記憶している予測係数記憶手段
（例えば、図１８に示す係数ＲＯＭ２０７など）と、ア
ドレス検出手段によって検出された画像記憶手段のアド
レスに対応する第２の画像の画素のクラスに対応する予
測係数と、画像記憶手段に記憶されている第１の画像の
画素とを用いて所定の演算を行うことにより、アドレス
検出手段によって検出された画像記憶手段のアドレスに
対応する第２の画像の画素を求める演算手段（例えば、
図１８に示す予測演算回路２０６など）とを有すること
を特徴とする。

【００３５】請求項３６に記載の画像処理方法は、画像
処理装置が、第１の画像を記憶する、第１の画像の１画
面分より多い記憶容量の画像記憶手段（例えば、図４に
示す解像度想像用メモリ部１５など）を有し、動き検出
ステップにおいて、第１の画像の動きを、その第１の画
像を構成する画素より細かい単位で検出し、想定ステッ
プにおいて、画像記憶手段に第１の画像を書き込むとき
のアドレスを、その第１の画像の動きに基づいて制御す
るとともに、画像記憶手段の記憶値の読み出しを制御す
ることを特徴とする。

【００３６】請求項４２に記載の画像処理方法は、画像
処理装置が、画像記憶手段のアドレスに、第１の画像の
画素が書き込まれたときに、その旨を表すフラグが、対
応するアドレスに書き込まれる、フラグを記憶するフラ
グ記憶手段（例えば、図２５に示す書き込みフラグ記憶
部４２など）をさらに有し、アドレス検出ステップにお
いて、フラグ記憶手段を参照することにより、第１の画
像の画素が記憶されていない画像記憶手段のアドレスを
検出することを特徴とする。

【００３７】請求項４４に記載の画像処理方法は、画像
処理装置が、所定のクラスごとに、所定の予測係数を記
憶している予測係数記憶手段（例えば、図１８に示す係
数ＲＯＭ２０７など）をさらに有し、生成ステップにお
いて、アドレス検出ステップで検出された画像記憶手段
のアドレスに対応する第２の画像の画素を、画像記憶手
段に記憶されている第１の画像の画素の性質に応じて、
所定のクラスのうちのいずれかに分類し、アドレス検出
ステップで検出された画像記憶手段のアドレスに対応す
る第２の画像の画素のクラスに対応する予測係数と、画
像記憶手段に記憶されている第１の画像の画素とを用い
て所定の演算を行うことにより、アドレス検出ステップ
で検出された画像記憶手段のアドレスに対応する第２の
画像の画素を求めることを特徴とする。

【００３８】請求項５１に記載の画像処理方法は、画像
処理装置が、第１の画像の複数の領域をそれぞれ記憶す
る、第１の画像の１画面分より多い記憶容量の複数の画
像記憶手段（例えば、図１０に示す解像度想像用メモリ
部１５Ａおよび１５Ｂなど）を有し、動き検出ステップ
において、第１の画像の複数の領域それぞれの動きを、
その第１の画像を構成する画素より細かい単位で検出
し、想定ステップにおいて、複数の画像記憶手段それぞ
れに、第１の画像の複数の領域それぞれを書き込むとき
のアドレスを、その第１の画像の複数の領域それぞれの
動きに基づいて制御するとともに、複数の画像記憶手段
の記憶値の読み出しを制御することを特徴とする。

【００３９】請求項５７に記載の画像処理方法は、画像
処理装置が、画像記憶手段のアドレスに、第１の画像の
画素が書き込まれたときに、その旨を表すフラグが、対
応するアドレスに書き込まれる、フラグを記憶するフラ
グ記憶手段（例えば、図１２に示す書き込みフラグ記憶
部４２など）をさらに有し、アドレス検出ステップにお
いて、フラグ記憶手段を参照することにより、第１の画
像の画素が記憶されていない画像記憶手段のアドレスを
検出することを特徴とする。

【００４０】請求項５９に記載の画像処理方法は、画像
処理装置が、所定のクラスごとに、所定の予測係数を記
憶している予測係数記憶手段（例えば、図１８に示す係
数ＲＯＭ２０７など）をさらに有し、生成ステップにお
いて、アドレス検出ステップで検出された画像記憶手段
のアドレスに対応する第２の画像の画素を、画像記憶手
段に記憶されている第１の画像の画素の性質に応じて、
所定のクラスのうちのいずれかに分類し、アドレス検出
ステップで検出された画像記憶手段のアドレスに対応す
る第２の画像の画素のクラスに対応する予測係数と、画
像記憶手段に記憶されている第１の画像の画素とを用い
て所定の演算を行うことにより、アドレス検出ステップ
で検出された画像記憶手段のアドレスに対応する第２の
画像の画素を求めることを特徴とする。

【００４１】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。

【００４２】図１は、本発明を適用したテレビジョン受
像機の一実施の形態の構成例を示している。

【００４３】チューナ１は、図示せぬアンテナで受信さ
れた受信信号から、所定のチャンネルのテレビジョン放
送信号を検波、復調し、ＬＰＦ（Low Pass Filter）２
に出力するようになされている。ＬＰＦ２は、その後段
のＡ／Ｄ変換器３でサンプリング（Ａ／Ｄ変換）を行う
際に、サンプリングの定理を満たすようにするためのプ
リフィルタで、チューナ１からのテレビジョン放送信号
の高周波数成分を制限し、Ａ／Ｄ変換器３に出力するよ
うになされている。Ａ／Ｄ変換器３は、ＬＰＦ２の出力
をサンプリングすることにより、アナログのテレビジョ
ン放送信号を、ディジタル信号に変換し、歪み補正部４
に出力するようになされている。歪み補正部４は、Ａ／
Ｄ変換器３からのテレビジョン放送信号から、前述した
ような垂直方向の折り返し歪みを除去（低減）し、Ｄ／
Ａ変換器５に出力するようになされている。Ｄ／Ａ変換
器５は、歪み補正部４からのディジタルの画像信号をＤ
／Ａ変換することによりアナログ信号とし、ＣＲＴ６に
出力するようになされている。ＣＲＴ６は、Ｄ／Ａ変換
器５の出力に対応した画像を表示するようになされてい
る。

【００４４】次に、その動作について説明する。

【００４５】チューナ１では、アンテナで受信された受
信信号から、所定のチャンネルのテレビジョン放送信号
が検波、復調され、ＬＰＦ２を介してＡ／Ｄ変換器３に
出力される。Ａ／Ｄ変換器３では、ＬＰＦ２を介して供
給されるテレビジョン放送信号がＡ／Ｄ変換され、歪み
補正部４に供給される。

【００４６】ここで、図示していないが、チューナ１と
ＬＰＦ２との間、または歪み補正部４とＤ／Ａ変換器５
との間には、例えば、Ｙ／Ｃ分離その他の必要な画像処
理を行う回路が設けられいる。なお、Ａ／Ｄ変換器３で
は、そこに、Ｙ／Ｃ分離前のコンポジット信号が入力さ
れる場合には、例えば、サブキャリアの周波数で、ま
た、Ｙ／Ｃ分離後の信号が入力される場合には、例え
ば、１３．５ＭＨｚなどで、それぞれサンプリングが行
われる。

【００４７】歪み補正部４は、Ａ／Ｄ変換器３からディ
ジタルの画像信号を受信すると、その画像信号から、垂
直方向（水平走査線と直交する方向）の折り返し歪みを
除去し、Ｄ／Ａ変換器５を介して、ＣＲＴ６に出力す
る。これにより、ＣＲＴ６では、折り返し歪みのない画
像が表示される。

【００４８】次に、図１の歪み補正部４における折り返
し歪みの除去処理についての詳細を説明するが、その前
に、その前段階の準備として、その折り返し歪みの除去
（低減）方法の原理について説明する。

【００４９】歪み補正部４は、垂直方向の折り返し歪み
を含む画像から、高周波成分を含む元の画像（例えば、
風景を撮影して得られる画像について、その風景を実際
に見たときに、人間が視覚的に認識する画像（またはそ
れにより近い画像））を再生し、それに垂直方向のプリ
フィルタをかけて垂直方向の高周波数成分をカットする
ことにより、画像に含まれていた折り返し歪みを除去
（折り返し歪みの生じていない画像を生成）するように
なされている。

【００５０】垂直方向の折り返し歪みを含む画像（以
下、適宜、歪み画像という）からの元の画像の再生は、
次のようにして行われる。

【００５１】即ち、いま、例えば、図２に示すように、
ある垂直方向の１列に注目し、そこにおける元の画像
が、同図に実線で示すような、水平走査期間に対応する
周波数の１／２よりも高い周波数で周期的に変化し、そ
の位相が時間とともに垂直方向にずれていく三角波で表
されるとする。

【００５２】この場合、ある第Ｎフレームだけに注目す
ると、図２（Ａ）に点線で示すように、元の画像を走査
線上でサンプリングすることにより得られるサンプル値
を結んだ、元の画像とはまったく異なる歪み画像が得ら
れる。

【００５３】次に、第Ｎ＋１フレームでは、そのフレー
ムだけに注目すると、やはり、第Ｎフレームだけに注目
した場合と同様に、元の画像とはまったく異なる歪み画
像が得られる。

【００５４】しかしながら、上述したように、歪み画像
の位相が時間とともに垂直方向にずれていっているの
で、第Ｎ＋１フレームで得られる歪み画像は、第Ｎフレ
ームにおける場合とは異なる位置で元の画像をサンプリ
ングすることにより得られるサンプル値を結んだものと
なる。

【００５５】従って、第Ｎフレームにおけるサンプル値
のサンプリング点（図２において○印で示す）を、元の
画像の位相の変化、つまり歪み画像の動きに対応した位
置に移動し、その移動後のサンプリング点におけるサン
プル値、および第Ｎ＋１フレームにおけるサンプル値を
結べば、その波形は、図２（Ｂ）において点線で示すよ
うに、元の画像に近づくことになる。

【００５６】以下、同様にして、過去のフレームにおけ
るサンプル値のサンプリング点を、歪み画像の動きに対
応した位置に移動し、その移動後のサンプリング点にお
けるサンプル値、および現在のフレームにおけるサンプ
ル値を結んでいくことにより、図２（Ｃ）乃至図２
（Ｅ）に示すように、徐々に、元の画像が再生されてい
く。

【００５７】以上のように、歪み画像の動きに対応した
位置にサンプリング点を移動していき、その移動後のサ
ンプリング点におけるサンプル値を用いることで、元の
画像を再生することができる。即ち、歪み画像の動きに
対応した位置に画素を想定していくことで、垂直方向の
画素数が増加し、これによりサンプリングの定理が満た
され、その結果、元の画像が得られるようになる。

【００５８】これは、次のように考えることもできる。
即ち、歪み画像は、画面の中の固定の位置にある水平走
査線上で、元の画像をサンプリングしたものと捉えるこ
とができ、従って、元の画像が動いている場合におい
て、時間的に連続する複数フレームそれぞれの固定の位
置にある水平走査線上では、図２に示したように、元の
画像の異なる位置の信号がサンプリングされる。従っ
て、そのような、元の画像の異なる位置の信号（サンプ
ル値）を、時間的に連続する複数フレームの歪み画像か
ら集め、その動きにしたがって合成することにより、固
定の位置にある水平走査線の間を、いわば埋めて１フレ
ームの画像を構成すれば、元の画像が得られることにな
る。なお、このことは、時間方向の解像度の、空間解像
度への反映ということができる。

【００５９】以上のようにして、歪み補正部４では、例
えば、図３（Ａ）に示すような、時間的に連続する歪み
画像の各フレームについて、その動きに対応した位置
に、過去のフレームの歪み画像を構成する画素を想定し
ていくことにより、同図（Ｂ）に示すように、垂直方向
の画素数、即ち、水平走査線数が増加した、折り返し歪
みのない画像が生成されるようになされている。

【００６０】なお、以上のような歪み画像から元の画像
を再生する方法を用いるには、歪み画像（従って、元の
画像についても同様）に動きがある必要がある。但し、
歪み画像に動きがない場合においては、前述したよう
に、解像度は悪くなるが、画面のざわざわ感は生じない
ので、折り返し歪みは、視覚的に、それほど問題となら
ない。

【００６１】さらに、歪み画像として、その形状が変化
するような物体が表示されている場合には、その形状の
変化する速さｖ１に対して、物体自体の動き（移動）の
速さｖ２が充分速いこと（ｖ１＜＜ｖ２であること）が
必要である。但し、このこと（ｖ１＜＜ｖ２であるこ
と）は、一般的に成立することが多い。

【００６２】次に、図４は、図１の歪み補正部４の構成
例を示している。なお、ここでは、説明を簡単にするた
めに、例えば、ビデオカメラをパンやチルトすることに
より、風景などを撮影することにより得られた、全画面
が同一の動きをする歪み画像が入力されるものとする。

【００６３】フレームメモリ部１１は、連続する２フレ
ームの歪み画像を記憶するようになされている。即ち、
フレームメモリ部１１は、現フレームメモリ１１Ａおよ
び前フレームメモリ１１Ｂを有し、現フレームメモリ１
１Ａは、いま入力された現フレームを、前フレームメモ
リ１１Ｂは、現フレームの１つ前の前フレーム（従っ
て、現フレームが現フレームメモリ１１Ａに供給される
直前まで、その現フレームメモリ１１Ａに記憶されてい
たフレーム）を、それぞれ記憶するようになされてい
る。

【００６４】動き検出部１２は、フレームメモリ部１１
を参照し、現フレームの、前フレームに対する動きを表
す動きベクトルを検出し、コントローラ１４に供給する
ようになされている。なお、上述したように、ここで
は、歪み画像として、全画面が同一の動きをするものが
入力されるので、全画面（１フレーム）について、１つ
の動きベクトルが検出されるようになされている。ま
た、ここでは、動き検出部１２は、動きベクトルを構成
する成分のうち、折り返し歪みが生じている方向、即
ち、垂直方向の成分についてだけは、歪み画像を構成す
る画素より細かい単位で動きを検出するようになされて
いる。

【００６５】ここで、画素より細かい単位での動きベク
トルの検出は、例えば、次のようにして行うことができ
る。即ち、例えば、動きベクトルを検出しようとする現
フレームの、例えば８×８画素（横×縦）のブロック
（以下、適宜、処理対象ブロックという）と同一の大き
さで同一の形のブロックを、前フレームの所定の位置に
考え、まず最初に、そのブロック（以下、適宜、参照ブ
ロックという）と処理対象ブロックとの、対応する位置
にある画素の画素値どうしの差分の絶対値和など（以
下、適宜、誤差という）を求める。

【００６６】画素単位で動きベクトルを検出する場合、
参照ブロックを画素単位で種々の位置に移動して得られ
る誤差のうち、その最小値を与える参照ブロックの位置
からの、処理対象ブロックへのベクトルが動きベクトル
とされるが、このようにして画素単位で動きベクトルを
検出した後、例えば、図５に示すように、誤差と参照ブ
ロックの位置との対応関係を考え、誤差を、例えば直線
で線形補間したときに得られる最小値の参照ブロックの
位置（図５において×印で示す部分）を求めれば、その
位置に対応するベクトルが、画素より細かい単位での動
きベクトルとなる。

【００６７】図４に戻り、シーンチェンジ検出部１３
は、フレームメモリ部１１を参照することにより、いわ
ゆるシーンチェンジを検出するようになされている。即
ち、シーンチェンジ検出部１３は、例えば、上述した画
素単位で動きベクトルを検出する場合と同様にして、現
フレームを構成する各ブロックの誤差の最小値を求め、
その誤差の最小値の、現フレームを構成するブロックに
ついての総和が所定の閾値以上の場合、前フレームから
現フレームにかけてシーンチェンジがあったと判定し、
その旨を、コントローラ１４に出力するようになされて
いる。

【００６８】コントローラ１４は、動き検出部１２から
の動きベクトルに基づいて、解像度創造用メモリ部１５
における書き込みアドレスおよび読み出しアドレスを制
御するようになされている。また、コントローラ１４
は、シーンチェンジ検出部１３からシーンチェンジであ
る旨を受信したとき、解像度創造用メモリ部１５におけ
る書き込みアドレスおよび読み出しアドレスをリセット
するとともに、その記憶値を、所定の初期値にクリアす
るようにもなされている。

【００６９】解像度創造用メモリ部１５は、歪み画像の
１フレーム分より多い記憶容量を有するメモリなどで構
成され、コントローラ１４の制御の下、フレームメモリ
部１１の現フレームメモリ１１Ａに記憶された現フレー
ムの画像データを記憶し、また、記憶した画像データを
読み出して、垂直ＬＰＦ１６に出力するようになされて
いる。

【００７０】即ち、解像度創造用メモリ部１５は、例え
ば、図６に示すように、水平方向（水平走査線の方向）
にはＰ_H’個の画素についての画像データを、垂直方向
にはＰ_V’個の画素についての画像データを、それぞれ
記憶することができるようになされている。なお、歪み
画像を構成する水平方向または垂直方向の画素数を、そ
れぞれＰ_HまたはＰ_Vとすると、ここでは、例えば、
Ｐ_H’≧Ｐ_H，Ｐ_V’≧４Ｐ_Vとなっており、従って、解像
度創造用メモリ部１５は、水平方向については、歪み画
像を構成する水平方向の画素数と同一の数以上の画素
を、垂直方向については、歪み画像を構成する垂直方向
の画素数の４倍以上の画素を、それぞれ記憶することが
できるようになされている。

【００７１】ここで、解像度創造用メモリ部１５のアド
レスについては、絶対アドレスと相対アドレスとが定義
されている。絶対アドレスは、例えば、解像度創造用メ
モリ部１５の最も左上の記憶領域を原点（０，０）と
し、水平または垂直方向をそれぞれｘまたはｙ軸として
シーケンシャルに付されており、従って、左からｉ＋１
番目で、上からｊ＋１番目の絶対アドレスは、（ｉ，
ｊ）となっている。

【００７２】一方、相対アドレスは、図７に示すよう
に、相対アドレスポインタが指している絶対アドレスを
原点とするもので、相対アドレスポインタの左からｉ＋
１番目で、上からｊ＋１番目の相対アドレスは、（ｉ，
ｊ）と表される。

【００７３】相対アドレスポインタは、コントローラ１
４により制御されるようになされており、解像度創造用
メモリ部１５への画像データの書き込み、およびそこか
らの画像データの読み出しは、相対アドレスポインタを
最も左上の点とする、例えば、Ｐ_H×４Ｐ_V画素の範囲
（同図において点線で示す部分）（以下、適宜、アクセ
ス範囲という）を対象として行われるようになされてい
る。

【００７４】ここで、上述のように、解像度創造用メモ
リ部１５への画像データの書き込みは、アクセス範囲を
対象として行われ、ここでは、アクセス範囲の大きさ
は、Ｐ_H×４Ｐ_V画素の範囲となっている。従って、この
場合、アクセス範囲には、水平方向については、歪み画
像を構成する水平方向の画素数と同一数の画素の書き込
みしかできないが、垂直方向については、歪み画像を構
成する垂直方向の画素数の４倍の画素の書き込みをする
ことができる。このようにしたのは、図２や図３で説明
したように、歪み画像の各フレームについて、その動き
に対応した位置に画素を想定していくことにより、垂直
方向の画素数（水平走査線の数）が増加した、折り返し
歪みのない画像を生成（創造）するためである。

【００７５】即ち、アクセス範囲への１フレームの歪み
画像の書き込みは、図８に斜線を付して示すように、水
平方向については、相対アドレスポインタが指すアドレ
スから順次行われていくが、垂直方向については、相対
アドレスポインタが指すアドレスから３行おきに行われ
ていく。従って、歪み画像における１画素分の垂直方向
の動きは、アクセス範囲においては４画素分に相当し、
その結果、歪み画像における１／４画素分単位の垂直方
向の動きに対応した位置に画素を想定することができる
ことになる。つまり、垂直方向にだけ注目すれば、歪み
画像の動きにしたがってアクセス範囲を１画素より細か
い単位（ここでは、歪み画像を構成する画素間の距離の
１／４の単位）で移動させることができ、そのようなア
クセス範囲に、歪み画像を３行おきに書き込んで行け
ば、図２や図３で説明したように、水平走査線の間が埋
められていき、垂直方向の解像度が４倍となった画像
（このように、いわば解像度が創造された画像が得られ
るので、メモリ部１５を、解像度創造用メモリ部と呼ん
でいる）、即ち、垂直方向のサンプリング点の数が４倍
になった画像が、元の画像として得られることになる。

【００７６】再び、図４に戻り、解像度創造用メモリ部
１５に記憶され、アクセス範囲から読み出された、垂直
方向の画素数が増加した画像データは、垂直ＬＰＦ１６
に供給されるようになされている。垂直ＬＰＦ１６は、
解像度創造用メモリ部１５からの画像データに対して、
垂直方向にＬＰＦをかけることにより、その最高周波数
成分を、垂直方向のサンプリング点の数が１／４になっ
ても折り返し歪みが生じないように制限し、フレームメ
モリ部１７に供給するようになされている。フレームメ
モリ部１７は、例えば、アクセス範囲と同様の記憶容量
を有し、垂直ＬＰＦから供給される、垂直方向の最高周
波数が制限された画像データを一時記憶し、また、記憶
した画像データを、例えば３ライン（３水平走査線）お
きに読み出すことにより、１フレームの歪み画像を構成
するライン数と同一数のラインからなる画像を構成して
出力するようになされている。

【００７７】次に、図４の歪み補正部４の動作につい
て、図９のフローチャートを参照して説明する。

【００７８】歪み画像は、フレームメモリ部１１に供給
され、現フレームメモリ１１Ａに記憶される。そして、
次のフレームの歪み画像が供給されると、その歪み画像
が、現フレームとして、現フレームメモリ１１Ａに記憶
されるとともに、いままで現フレームメモリ１１Ａに記
憶されていた歪み画像が、前フレームとして前フレーム
メモリ１１Ｂに供給されて記憶される。以下、フレーム
メモリ部１１では、同様の処理が繰り返される。

【００７９】フレームメモリ部１１の現フレームメモリ
１１Ａにおいて、最初のフレームが記憶されると、シー
ンチェンジ検出部１３では、シーンチェンジを検出する
のと同様にして、最初のフレームが現フレームメモリ１
１Ａに記憶されたことが検出され、シーンチェンジがあ
った旨が、コントローラ１４に知らされる。

【００８０】ここで、シーンチェンジ検出部１３では、
最初のフレームが現フレームメモリ１１Ａに記憶された
場合、前フレームメモリ１１Ｂには、まだ画像データが
記憶されていないため、両者の差分の絶対値和が大きく
なり、上述のように、シーンチェンジが検出されるが、
ここでは、シーンチェンジか、または最初のフレームが
現フレームメモリ１１Ａに記憶されたのかを区別する必
要はないので、問題はない。

【００８１】コントローラ１４は、シーンチェンジ検出
部１３からシーンチェンジ（但し、実際には、上述した
ように、シーンチェンジではなく、現フレームメモリ１
１Ａへの最初のフレームの記憶）を受信すると、ステッ
プＳ１において、解像度創造用メモリ部１５をリセット
する。即ち、相対アドレスポインタを、絶対アドレスの
原点（０，０）に移動させ、さらに、解像度創造用メモ
リ部１５の記憶値をすべて、所定の初期値にクリアす
る。

【００８２】そして、ステップＳ２に進み、現フレーム
メモリ１１Ａに記憶された歪み画像が、解像度創造用メ
モリ部１５に供給されて記憶される。この歪み画像の書
き込みは、上述したように、アクセス範囲内に行われ、
また、垂直方向については４画素ごと（３画素おき）に
行われる。なお、解像度創造用メモリ部１５に歪み画像
を書き込むときのアドレス制御は、コントローラ１４に
よって行われる。

【００８３】その後、ステップＳ３に進み、アクセス範
囲内において、歪み画像の書き込みが行われていない記
憶領域の補間が行われる。即ち、ステップＳ２において
のアクセス範囲内への歪み画像の書き込みは、上述した
ように、垂直方向については、４画素ごとに行われるた
め、それを、そのまま読み出したのでは、いわば隙間の
あいたものとなる。そこで、ステップＳ３では、アクセ
ス範囲内において、歪み画像の書き込みが行われていな
い記憶領域の補間が行われる。具体的には、ステップＳ
２の終了後は、図８に斜線を付して示す部分（ライン）
の書き込みしか行われていないので、ステップＳ３で
は、例えば、その書き込みが行われた部分が、その下の
３ラインにコピーされる。

【００８４】補間が終了すると、ステップＳ４に進み、
アクセス範囲内の画像データが読み出され、垂直ＬＰＦ
１６およびフレームメモリ部１７を介して出力される。
なお、アクセス範囲内の画像データを読み出すときのア
ドレス制御も、コントローラ１４によって行われる。ま
た、アクセス範囲内からの画像データの読み出しは、書
き込み時と異なり、隙間をあけずに、１ラインごとに行
われる。

【００８５】その後、次のフレームがフレームメモリ部
１１に供給されると、シーンチェンジ検出部１３では、
ステップＳ５において、シーンチェンジがあったかどう
かが判定される。ステップＳ５において、シーンチェン
ジがあったと判定された場合、ステップＳ１に戻り、上
述した場合と同様の処理が行われる。

【００８６】一方、ステップＳ５において、シーンチェ
ンジがなかったと判定された場合、ステップＳ６に進
み、動き検出部１２において、動きベクトルが検出され
る。なお、ここでは、垂直方向については、上述したよ
うにして、１ラインの間隔よりも短い単位で動きベクト
ルが検出される。動き検出部１２で検出された動きベク
トルは、コントローラ１４に供給される。コントローラ
１４は、動きベクトルを受信すると、その動きベクトル
に対応する分だけ相対アドレスポインタを移動させる。

【００８７】ここで、相対アドレスポインタは、水平方
向については、動きベクトルの水平方向の成分と同一の
画素数だけ移動されるが、垂直方向については、動きベ
クトルの垂直方向の成分を４倍した値を、例えば、四捨
五入したものと同一の画素数だけ移動される。これは、
アクセス範囲が、上述したように、垂直方向について
は、歪み画像の４倍の画素数に対応する記憶容量を有す
るからである。

【００８８】相対アドレスポインタの移動後は、ステッ
プＳ８に進み、現フレームメモリ１１Ａに記憶された歪
み画像（ステップＳ６で動きベクトルが検出された画
像）が、解像度創造用メモリ部１５に供給される。そし
て、その歪み画像は、ステップＳ２における場合と同様
にして、アクセス範囲内に、４ラインごとに書き込ま
れ、ステップＳ９に進む。ステップＳ９では、ステップ
Ｓ４における場合と同様に、アクセス範囲内の画像デー
タが読み出され、垂直ＬＰＦ１６およびフレームメモリ
部１７を介して出力される。

【００８９】その後、ステップＳ１０に進み、歪み画像
が終了したかどうか、即ち、フレームメモリ部１１への
画像の供給がなくなったかどうかが判定される。ステッ
プＳ１０において、歪み画像が終了していないと判定さ
れた場合、即ち、さらに次のフレームがフレームメモリ
部１１に供給された場合、ステップＳ５に戻り、ステッ
プＳ５でシーンチェンジがあったと判定されるか、また
はステップＳ１０で歪み画像が終了したと判定されるま
で、ステップＳ５乃至Ｓ１０の処理が繰り返される。ま
た、ステップＳ１０において、歪み画像が終了したと判
定された場合、処理を終了する。

【００９０】ステップＳ５乃至Ｓ１０の処理が繰り返さ
れることにより、アクセス範囲内には、図２や図３で説
明したように、歪み画像（第１の画像）の水平走査線の
間の、その動きに対応した位置に画素が想定され、これ
により、元の画像（第２の画像）が再生されていく。即
ち、いま、元の画像に含まれる垂直方向の最高周波数
が、歪み画像の水平走査期間の１／４に対応する周波数
の１／２以下であったとすれば、ステップＳ５乃至Ｓ１
０の処理が数回繰り返されることにより、アクセス範囲
内には、垂直方向に充分なサンプリング点（画素）（サ
ンプリングの定理を満足するのに必要なサンプリング
点）が想定された、垂直方向の折り返し歪みがない画像
が形成されていく。

【００９１】従って、このような折り返し歪みのない画
像に、Ｙ／Ｃ分離や、ノイズ除去、画質改善のための処
理、その他の信号処理を施すようにすることにより、従
来生じていた弊害を防止することが可能となる。

【００９２】また、ＣＲＴ６が、歪み画像の４倍の水平
走査線を有する高解像度のものであれば、解像度創造用
メモリ部１５におけるアクセス範囲内の記憶値を、その
ままＣＲＴ６に供給することで、垂直方向の折り返し歪
みのない高解像度の画像を表示することが可能となる。

【００９３】なお、ここでは、解像度創造用メモリ部１
５の出力を、垂直ＬＰＦ１６およびフレームメモリ部１
７を介することにより、歪み画像と同一の解像度を有す
る画像を表示することとしているため、解像度は改善さ
れないが、垂直ＬＰＦ１６によって帯域制限されるた
め、前述したような画面のざわざわ感が生じることはな
く、視聴者に大きな違和感を感じさせることを防止する
ことができる。

【００９４】また、元の画像に含まれる垂直方向の最高
周波数が、歪み画像の水平走査期間の１／４に対応する
周波数の１／２より高い場合、ステップＳ５乃至Ｓ１０
の処理を何回繰り返しても、サンプリングの定理が満た
されることはなく、垂直方向の折り返し歪みがない画像
は得られない。しかしながら、この場合であっても、垂
直方向の画素数は増加するから、垂直方向の折り返し歪
みを低減した画像を得ることができ、従って、従来生じ
ていた信号処理上の弊害や、画面のざわざわ感などを低
減することができる。

【００９５】次に、図１０は、図１の歪み補正部４の他
の構成例を示している。なお、図中、図４における場合
と対応する部分については同一の符号を付してあり、以
下では、その説明は、適宜省略する。即ち、この歪み補
正部４は、領域分割部２１、スイッチ２２Ａおよび２２
Ｂ、メモリ２３Ａおよび２３Ｂ、並びに合成部２４が新
たに設けられるとともに、コントローラ１４または解像
度創造用メモリ部１５に代えて、コントローラ１４Ａと
１４Ｂ、または解像度創造用メモリ部１５Ａと１５Ｂが
それぞれ設けられている他は、図４における場合と基本
的に同様に構成されている。

【００９６】また、図４においては、全画面が同一の動
きをする歪み画像が入力されるものとしたが、ここで
は、１フレームが、異なる動きをする複数の領域として
の、例えば、第１と第２の２つの領域からなる歪み画像
（例えば、背景となる空を、前景となる航空機が飛行し
ているものなど）が入力されるものとする。

【００９７】このように、ここでは、第１と第２の２つ
の領域からなる歪み画像が入力されるため、領域分割部
２１では、動き検出部１２の出力に基づいて、歪み画像
が、その第１と第２の２つの領域に分割される。

【００９８】即ち、動き検出部１２は、図４においては
全画面についての１つの動きベクトルを検出するように
なされていたが、ここでは、歪み画像を、例えば、８×
８画素や１６×１６画素などのブロックに分割したブロ
ック単位で動きベクトルを検出し、そのブロック単位の
動きベクトルを、領域分割部２１に出力するようになさ
れている。

【００９９】領域分割部２１は、動き検出部１２からの
動きベクトルや、隣接する画素の画素値どうしの差分そ
の他を用いて領域分割のための処理を行い、さらにスム
ージングその他の必要な処理を行うことで、歪み画像を
構成する第１と第２の領域を認識し（領域分割し）、そ
の認識結果に対応して、スイッチ２２Ａおよび２２Ｂを
制御する。即ち、例えば、フレームメモリ部１１から第
１の領域を構成する画素の画素値が読み出されるタイミ
ングでは、スイッチ２２Ａをオンにするとともに、スイ
ッチ２２Ｂをオフにし、これにより、第１の領域を構成
する画素の画素値をメモリ２３Ａに供給して記憶させ
る。また、フレームメモリ部１１から第２の領域を構成
する画素の画素値が読み出されるタイミングでは、その
逆に、スイッチ２２Ａをオフにするとともに、スイッチ
２２Ｂをオンにし、これにより、第２の領域を構成する
画素の画素値をメモリ２３Ｂに供給して記憶させる。

【０１００】以上のようにして、歪み画像は、第１と第
２の領域に領域分割され、メモリ２３Ａと２３Ｂにそれ
ぞれ記憶される。

【０１０１】また、領域分割部２１は、第１または第２
の領域を代表する１つ動きベクトルを、例えば、その第
１または第２の領域に含まれるブロックの動きベクトル
に基づいて求め、コントローラ１４Ａまたは１４Ｂにそ
れぞれ出力する。コントローラ１４Ａおよび解像度創造
用メモリ部１５Ａと、コントローラ１４Ｂおよび解像度
創造用メモリ部１５Ｂは、いずれも図４のコントローラ
１４および解像度創造用メモリ部１５に対応するもの
で、コントローラ１４および解像度創造用メモリ部１５
は、１フレーム全体を対象として処理を行うようになさ
れていたが、コントローラ１４Ａおよび解像度創造用メ
モリ部１５Ａ、またはコントローラ１４Ｂおよび解像度
創造用メモリ部１５Ｂは、メモリ２３Ａまたは２３Ｂに
記憶された第１または第２の領域を対象としてそれぞれ
処理を行うようになされている。

【０１０２】従って、ここでは、解像度創造用メモリ部
１５Ａまたは１５Ｂそれぞれのアクセス範囲内に、第１
または第２の領域の水平走査線の間の位置に画素が想定
され、これにより、第１または第２の領域それぞれにつ
いて、元の画像が再生（創造）されていく。

【０１０３】なお、コントローラ１４Ａまたは１４Ｂ
は、シーンチェンジ検出部１３からシーンチェンジであ
る旨を受信すると、コントローラ１４における場合と同
様に、解像度創造用メモリ部１５Ａまたは１５Ｂをそれ
ぞれリセットするようになされている。

【０１０４】解像度創造用メモリ部１５Ａまたは１５Ｂ
それぞれのアクセス範囲内に記憶された、水平走査線の
間の位置に画素が想定された第１または第２の領域は、
いずれも合成部２４に供給され、そこで合成される。こ
れにより、第１と第２の領域からなる、垂直方向の折り
返し歪みのない高解像度の画像が形成され、この画像
は、垂直ＬＰＦ１６およびフレームメモリ部１７を介し
て出力される。

【０１０５】以上のように、第１と第２の２つの領域か
らなる歪み画像であっても、各領域ごとに処理を行うこ
とで、垂直方向の折り返し歪みのない（低減された）画
像を得ることができる。

【０１０６】なお、上述の場合においては、歪み画像が
２つの領域からなるものとしたが、歪み画像が３以上の
領域からなるものである場合には、その３以上の領域そ
れぞれを処理して合成するようにすれば良い。

【０１０７】さらに、上述の場合には、垂直方向の折り
返し歪みを除去するようにしたが、画像に、水平方向の
折り返し歪みが含まれる場合には、その折り返し歪みも
同様にして除去することが可能である。即ち、例えば、
水平方向について、周波数帯域の制限が行われていない
場合においては、それにより生じる水平方向の折り返し
歪みを、上述した場合と同様にして除去することが可能
である。

【０１０８】また、上述の場合には、垂直方向に、歪み
画像の画素数（水平走査線数）の４倍の数の画素を想定
するようにしたが、想定する画素数は、これに限定され
るものではない。

【０１０９】さらに、アクセス範囲は、図７に示した相
対アドレスポインタの位置によっては、解像度創造用メ
モリ部１５の記憶領域からはみ出す場合があるが、この
ような場合、そのはみ出し部分は、例えば、解像度創造
用メモリ部１５の記憶領域の中の、その記憶領域が周辺
に繰り返し存在すると仮定したときの位置に確保され
る。即ち、いま、Ｘ≧Ｐ_H’，Ｙ≧Ｐ_V’として、絶対ア
ドレスが（Ｘ，Ｙ）で表される位置が、アクセス範囲に
含まれるようになった場合、その位置は、絶対アドレス
が（ｍｏｄ（Ｘ，Ｐ_H’），ｍｏｄ（Ｙ，Ｐ_V’））で表
される解像度創造用メモリ部１５の記憶領域に確保され
る。但し、ｍｏｄ（ａ，ｂ）は、ａをｂで除算したとき
の剰余を表す。

【０１１０】また、上述の場合には、歪み画像の動き
を、その歪み画像を構成する画素より細かい単位で検出
し、その動きに対応する位置に画素を想定することで、
折り返し歪みのない元の画像を復元するようにしたが、
この復元は、例えば、次のようにして行うことも可能で
ある。即ち、いま、折り返し歪みのない元の画像をＰと
表すとともに、歪み画像をＰ’と表すと、両者の関係
は、次式で表すことができる。

【０１１１】Ｐ’＝ｆ（Ｐ）但し、ｆ（）は、括弧内の画像をサブサンプルする関数
を表す。

【０１１２】この場合、ｆ（）の逆関数をｇ（）と表す
と、式Ｐ＝ｇ（Ｐ’）が成り立つ。

【０１１３】従って、歪み画像Ｐ’の、元の画像Ｐへの
復元は、歪み画像の動きを検出しなくても、原理的に
は、関数ｇ（）が分かれば行うことができる。

【０１１４】即ち、上述したように、本発明は、元の画
像Ｐの異なる位置の信号（サンプル値）を、時間的に連
続する複数フレームの歪み画像Ｐ’から集め、固定の位
置にある水平走査線の間を埋めて元の画像Ｐを構成する
ものであるから、関数ｇ（）は、例えば、元の画像Ｐを
教師データとするとともに、その元の画像Ｐをサブサン
プルして得られる、時間的に連続する複数フレームの歪
み画像Ｐ’を学習データとして、学習を行うことにより
求めることが可能であり、元の画像Ｐの復元は、このよ
うにして求めた関数ｇ（）によって行うようにすること
も可能である。

【０１１５】次に、図２で説明したように、画像の動き
に対応した位置に画素を想定していくことで、その画像
の画素数を増加させることは、折り返し歪みの除去の
他、例えば、標準解像度または低解像度の画像（以下、
適宜、ＳＤ（Standard Definition）画像という）を、
高解像度の画像（以下、適宜、ＨＤ（High Definitio
n）画像という）に変換したり、また、画像を拡大した
りする場合などにも適用することができる。

【０１１６】そこで、図１１は、ＳＤ画像のテレビジョ
ン放送信号を、ＨＤ画像に変換して表示するテレビジョ
ン受像機の一実施の形態の構成例を示している。なお、
図中、図１における場合と対応する部分については、同
一の符号を付してある。即ち、図１１のテレビジョン受
像機は、歪み補正部４またはＣＲＴ６に代えて、解像度
変換部３４またはＣＲＴ３６がそれぞれ設けられている
他は、図１のテレビジョン受像機と基本的に同様に構成
されている。

【０１１７】解像度変換部３４は、Ａ／Ｄ変換器３から
のＳＤ画像を、ＨＤ画像に変換し、Ｄ／Ａ変換器５に供
給するようになされている。ＣＲＴ３６は、ＨＤ画像に
対応する高解像度のＣＲＴで、解像度変換部３４から、
Ｄ／Ａ変換器５を介して供給されるＨＤ画像を表示する
ようになされている。

【０１１８】図１２は、図１１の解像度変換部３４の構
成例を示している。なお、図中、図４または図１０の歪
み補正部４における場合と対応する部分については、同
一の符号を付してある。

【０１１９】即ち、解像度変換部３４においては、図１
０におけるコントローラ１４Ａ、解像度創造用メモリ部
１５Ａ、スイッチ２２Ａ、およびメモリ２３Ａや、コン
トローラ１４Ｂ、解像度創造用メモリ部１５Ｂ、スイッ
チ２２Ｂ、およびメモリ２３Ｂに対応する、Ｍ個の高解
像度オブジェクト生成部４１₁乃至４１_Mが設けられてい
る。但し、高解像度オブジェクト生成部４１_mは（ｍ＝
１，２，・・・，Ｍ）、図１０におけるコントローラ１
４Ａ、解像度創造用メモリ部１５Ａ、スイッチ２２Ａ、
およびメモリ２３Ａや、コントローラ１４Ｂ、解像度創
造用メモリ部１５Ｂ、スイッチ２２Ｂ、およびメモリ２
３Ｂに対応するコントローラ１４、解像度創造用メモリ
部１５、スイッチ２２、およびメモリ２３の他に、書き
込みフラグ記憶部４２および画素生成部４３を有してい
る。

【０１２０】書き込みフラグ記憶部４２は、解像度創造
用メモリ部１５が記憶する画素数と同一数の書き込みフ
ラグを記憶するようになされている。ここで、書き込み
フラグは、解像度創造用メモリ部１５の、対応するアド
レスに、ＳＤ画像の画素が記憶されているかどうかを表
す１ビットのフラグで、例えば、記憶されている場合は
１にセットされ、記憶されていない場合は０にリセット
されるようになされている。この書き込みフラグは、コ
ントローラ１４によって、セット／リセットされるよう
になされている。なお、解像度創造用メモリ部１５の、
あるアドレスに、ＳＤ画像の画素が記憶されていない場
合、そのアドレスにおける記憶値は、初期値になってい
ることから、書き込みフラグは、解像度創造用メモリ部
１５の記憶値が、初期値かどうかを表すフラグであると
いうこともできる。

【０１２１】画素生成部４３は、書き込みフラグ記憶部
４２を参照して、解像度創造用メモリ部１５から読み出
された記憶値が、初期値かどうかを判定し、初期値であ
る場合には、その記憶値のアドレスに対応するＨＤ画像
の画素を、解像度創造用メモリ部１５の、初期値以外の
記憶値、即ち、コントローラ１４によって、解像度創造
用メモリ部１５に書き込まれたＳＤ画像の画素を用いて
生成するようになされている。

【０１２２】なお、ここでは、例えば、図１３に示すよ
うに、ＳＤ画像を構成する水平方向または垂直方向の画
素数を、それぞれＰ_HまたはＰ_Vとすると、解像度創造用
メモリ部１５が記憶可能な水平方向、垂直方向の画素数
Ｐ_H’，Ｐ_V’は、Ｐ_H’≧２Ｐ_H，Ｐ_V’≧２Ｐ_Vとなって
おり、従って、解像度創造用メモリ部１５は、水平方向
および垂直方向のいずれについても、ＳＤ画像を構成す
る画素数の２倍以上の画素を記憶することができるよう
になされている。また、アクセス範囲は、図１３に示す
ように、相対アドレスポインタを最も左上の点とする２
Ｐ_H×２Ｐ_V画素の範囲とされている。

【０１２３】さらに、動き検出部１２では、水平方向お
よび垂直方向のいずれの方向についても、ＳＤ画像の画
素より細かい単位で動きが検出されるようになされてい
る。

【０１２４】ここで、高解像度オブジェクト生成部４１
₁乃至４１_Mは、いずれも同様に構成されるため、以下で
は、そのうちの、例えば、高解像度オブジェクト生成部
４１₁についてだけ説明する。

【０１２５】以上のように構成される解像度変換部３４
では、Ａ／Ｄ変換器３からのＳＤ画像が、その水平方向
または垂直方向の解像度（画素数）を、例えば、それぞ
れ２倍にしたＨＤ画像に変換される。

【０１２６】即ち、フレームメモリ部１１に対しては、
Ａ／Ｄ変換器３（図１１）から、ＳＤ画像が供給され、
そこでは、Ａ／Ｄ変換器３からのＳＤ画像が、上述した
ようにして、順次記憶されていく。

【０１２７】そして、動き検出部１２において、フレー
ムメモリ部１１に記憶されたＳＤ画像の動きベクトル
が、水平方向および垂直方向とも、そのＳＤ画像の画素
よりも細かい単位で検出され、領域分割部２１に供給さ
れる。

【０１２８】領域分割部２１は、動き検出部１２からの
動きベクトルや、隣接する画素の画素値どうしの差分そ
の他を用いて領域分割のための処理を行い、さらにスム
ージングその他の必要な処理を行うことで、ＳＤ画像
を、それを構成する幾つかのオブジェクトの領域に領域
分割し、その領域分割結果に対応して、スイッチ２２を
制御する。即ち、例えば、フレームメモリ部１１から、
所定のオブジェクトの領域を構成する画素（ＳＤ画像の
画素（以下、適宜、ＳＤ画素という））の画素値が読み
出されるタイミングでは、スイッチ２２をオンにすると
ともに、他の高解像度オブジェクト生成部４１₂乃至４
１_Mが内蔵するスイッチをすべてオフにし、これによ
り、所定のオブジェクトの領域を構成するＳＤ画素（画
素値）を、メモリ２３に供給して記憶させる。

【０１２９】また、領域分割部２１は、メモリ２３にＳ
Ｄ画素を記憶させたオブジェクトの領域を代表する１つ
動きベクトルを、その領域に含まれるブロックの動きベ
クトルに基づいて求め、コントローラ１４に出力する。
コントローラ１４は、解像度創造用メモリ部１５におけ
る相対アドレスポインタを、領域分割部２１からの動き
ベクトルにしたがって移動し、その移動後の相対アドレ
スポインタを最も左上の頂点とするアクセス範囲に、メ
モリ２３に記憶されたＳＤ画素を記憶させる。さらに、
コントローラ１４は、書き込みフラグ記憶部４２に記憶
されている書き込みフラグのうち、ＳＤ画素を書き込ん
だ解像度創造用メモリ部１５のアドレスに対応するもの
を、１にセットする。なお、アクセス範囲へのＳＤ画素
の書き込みは、ここでは、水平および垂直方向とも、１
つおき（２画素ごと）に行われる。

【０１３０】従って、ここでは、解像度創造用メモリ部
１５のアクセス範囲内に、垂直方向だけでなく、水平方
向にも画素が想定され、これにより、ＳＤ画像の水平方
向および垂直方向の画素数を、いずれも２倍にしたＨＤ
画像が再生（創造）されていく。

【０１３１】なお、コントローラ１４は、シーンチェン
ジ検出部１３からシーンチェンジである旨を受信する
と、解像度創造用メモリ部１５をリセット（クリア）す
る他、書き込みフラグ記憶部４２もリセットする（書き
込みフラグすべてを０にリセットする）ようになされて
いる。

【０１３２】解像度創造用メモリ部１５のアクセス範囲
内における記憶値は、すべて、コントローラ１４の制御
の下、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素
という）として読み出され、画素生成部４３に供給され
る。画素生成部４３は、ＨＤ画素として読み出された記
憶値が、初期値かどうかを、書き込みフラグ記憶部４２
を参照することにより判定（検出）し、即ち、ＨＤ画素
として読み出された値が、メモリ２３から書き込まれた
ＳＤ画素であるかどうかを判定し、その判定結果に基づ
いて、ＨＤ画素を生成する。

【０１３３】即ち、ここでは、図１３に示したように、
アクセス範囲は、１画面のＳＤ画像の水平方向または垂
直方向の画素数を、それぞれ２倍にした数に対応するア
ドレス空間を有し、また、アクセス範囲は、動きベクト
ルにしたがって移動されるから、アクセス範囲が、常
時、その全体に、ＳＤ画素が書き込まれた状態になって
いるとは限らない。そこで、画素生成部４３は、アクセ
ス範囲内の各アドレスの記憶値が、ＳＤ画素であるかど
うかを判定し、ＳＤ画素である場合には、そのＳＤ画素
を、そのままＨＤ画素として出力し、ＳＤ画素でない場
合、即ち、シーンチェンジの検出後に書き込まれた初期
値である場合には、アクセス範囲に、既に書き込まれて
いるＳＤ画素を用いて、ＨＤ画素を生成して出力するよ
うになされている。

【０１３４】以上のようにして、画素生成部４３が出力
する、所定のオブジェクトを構成するＨＤ画素は、合成
部２４に供給される。

【０１３５】合成部２４には、他の高解像度オブジェク
ト生成部４１₂乃至４１_Mが、高解像度オブジェクト生成
部４１₁と同様にして生成するＨＤ画素で構成される他
のオブジェクトも供給されるようになされており、合成
部２４では、これらのＨＤ画素で構成されるオブジェク
トが合成され、これにより、ＳＤ画像の水平方向または
垂直方向の画素数（解像度）をそれぞれ２倍にしたＨＤ
画像が形成される。

【０１３６】このＨＤ画像は、Ｄ／Ａ変換器５（図１
１）を介して、ＣＲＴ３６に供給されて表示される。

【０１３７】次に、図１４のフローチャートを参照し
て、図１２の高解像度オブジェクト生成部４１₁におけ
る解像度創造用メモリ部１５へのＳＤ画素の書き込み処
理について、さらに説明する。

【０１３８】図１４の書き込み処理は、メモリ２３に、
１フレームにおける、所定のオブジェクトを構成するＳ
Ｄ画素が記憶されるごとに行われる。

【０１３９】即ち、メモリ２３に、１フレームの所定の
オブジェクトを構成するＳＤ画素が記憶されると、まず
最初に、コントローラ１４は、ステップＳ１１におい
て、シーンチェンジ検出部１３からの出力を参照するこ
とにより、シーンチェンジが生じたかどうかを判定す
る。ステップＳ１１において、シーンチェンジが生じた
と判定された場合、ステップＳ１２に進み、解像度創造
メモリ部１５がリセットされる。即ち、図９のステップ
Ｓ１における場合と同様に、相対アドレスポインタが、
例えば、絶対アドレスの原点（０，０）に移動されると
ともに、解像度創造用メモリ部１５の記憶値がすべて、
所定の初期値にクリアされる。

【０１４０】そして、ステップＳ１３に進み、コントロ
ーラ１４は、さらに、書き込みフラグ記憶部４２に記憶
されている書き込みフラグをすべて０にリセット（クリ
ア）し、ステップＳ１４に進む。ステップＳ１４では、
相対アドレスポインタを最も左上の頂点とするアクセス
範囲内に、メモリ２３に記憶されたＳＤ画素が書き込ま
れる。

【０１４１】なお、ここでは、アクセス範囲へのＳＤ画
素の書き込みは、水平方向および垂直方向のいずれにつ
いても、相対アドレスポインタが指すアドレスから１つ
おきに行われていき、これにより、ＳＤ画像における１
／２画素分単位の水平方向および垂直方向の動きに対応
した位置に画素が想定される。

【０１４２】メモリ２３に記憶されたオブジェクトのＳ
Ｄ画素の、解像度創造用メモリ部１５への書き込みが終
了すると、ステップＳ１４からＳ１５に進み、コントロ
ーラ１５は、書き込みフラグ記憶部４２に記憶されてい
る書き込みフラグのうち、ＳＤ画素が書き込まれた解像
度創造用メモリ部１５のアドレスに対応する書き込みフ
ラグを、１にセットし、書き込み処理を終了する。

【０１４３】一方、ステップＳ１１において、シーンチ
ェンジが生じていないと判定された場合、ステップＳ１
６に進み、コントローラ１４は、領域分割部２１が出力
する動きベクトルに対応して、相対アドレスポインタを
移動し、ステップＳ１４に進む。ステップＳ１４では、
その移動後の相対アドレスポインタを最も左上の頂点と
するアクセス範囲内に、メモリ２３に記憶されたＳＤ画
素が、上述したように書き込まれ、ステップＳ１５に進
み、ＳＤ画素が書き込まれた解像度創造用メモリ部１５
のアドレスに対応する書き込みフラグが１にセットされ
て、書き込み処理を終了する。

【０１４４】以上のような書き込み処理が行われていく
ことにより、解像度創造用メモリ部１５には、ＳＤ画像
の水平方向または垂直方向それぞれの解像度を２倍にし
たＨＤ画像が形成されていく。

【０１４５】即ち、例えば、いま、あるＳＤ画像を構成
する三角形のオブジェクトが、図１５（Ａ）乃至図１５
（Ｄ）に示すように移動しており、第Ｎフレームでは、
ＳＤ画素ａ乃至ｅで（図１５（Ａ））、第Ｎ＋１フレー
ムでは、ＳＤ画素ｆ，ｇで（図１５（Ｂ））、第Ｎ＋２
フレームでは、ＳＤ画素ｈ乃至ｋで（図１５（Ｃ））、
第Ｎ＋３フレームでは、ＳＤ画素ｌ，ｍで、それぞれ、
オブジェクトが構成されるとする。

【０１４６】この場合、第ＮフレームにおけるＳＤ画素
ａ乃至ｅは、図１５（Ｅ）に示すように、相対アドレス
ポインタを最も左上の頂点とするアクセス範囲内におけ
る水平および垂直方向とも１つおきのアドレスに書き込
まれる。ここで、図１５（Ｅ）においては（図１５
（Ｆ）乃至図１５（Ｈ）においても同様）、ＳＤ画素が
書き込まれたアドレスを、斜線を付して示してある。

【０１４７】さらに、第Ｎ＋１フレームにおけるＳＤ画
素ｆ，ｇの書き込み時においては、相対アドレスポイン
タが、オブジェクトの動きに対応して移動され、画素
ｆ，ｇは、図１５（Ｆ）に示すように、その移動後の相
対アドレスポインタを最も左上の頂点とするアクセス範
囲内における水平および垂直方向とも１つおきのアドレ
スに書き込まれる。また、第Ｎ＋２フレームにおけるＳ
Ｄ画素ｈ乃至ｇの書き込み時においても、相対アドレス
ポインタが、オブジェクトの動きに対応して移動され、
ＳＤ画素ｈ乃至ｇは、図１５（Ｇ）に示すように、その
移動後の相対アドレスポインタを最も左上の頂点とする
アクセス範囲内における水平および垂直方向とも１つお
きのアドレスに書き込まれる。そして、第Ｎ＋３フレー
ムにおけるＳＤ画素ｌ，ｍの書き込み時においても、相
対アドレスポインタが、オブジェクトの動きに対応して
移動され、ＳＤ画素ｌ，ｍは、図１５（Ｈ）に示すよう
に、その移動後の相対アドレスポインタを最も左上の頂
点とするアクセス範囲内における水平および垂直方向と
も１つおきのアドレスに書き込まれる。

【０１４８】以上のように、ＳＤ画像の動きを、ＳＤ画
素単位よりも細かい単位で検出し、その動きにしたがっ
て、相対アドレスポインタを移動して、ＳＤ画素を、そ
の移動後の相対アドレスポインタを最も左上の頂点とす
るアクセス範囲内における水平および垂直方向とも１つ
おきのアドレスに書き込んでいくことで、水平および垂
直方向とも、ＳＤ画像の２倍の画素数となったＨＤ画像
を形成することができる。

【０１４９】次に、図１６のフローチャートを参照し
て、図１２の高解像度オブジェクト生成部４１₁におけ
る解像度創造用メモリ部１５からのＨＤ画素の読み出し
処理について、さらに説明する。

【０１５０】図１６の読み出し処理は、図１４の書き込
み処理が終了するごとに行われる。

【０１５１】即ち、あるフレームについての、解像度創
造用メモリ部１５へのＳＤ画素の書き込みが終了する
と、コントローラ２１は、ステップＳ２１において、解
像度創造用メモリ部１５のアクセス範囲内の記憶値を読
み出し、画素生成部４３に供給する。

【０１５２】画素生成部４３は、アクセス範囲内の、所
定のアドレスの記憶値を受信すると、ステップＳ２２に
おいて、書き込みフラグ記憶部４２を参照することで、
そのアドレスに対応する書き込みフラグがセットされて
いるかどうかを判定する。ステップＳ２２において、所
定のアドレスに対応する書き込みフラグがセットされて
いないと判定された場合、即ち、そのアドレスに、まだ
ＳＤ画素が記憶されておらず（前回のシーンチェンジが
検出されてから、まだＳＤ画素が書き込まれておら
ず）、従って、そのアドレスが、図１４のステップＳ１
２においてリセットされたままの状態であり（以下、適
宜、このようなアドレスを、未記憶アドレスという）、
そこに初期値が記憶されている場合、ステップＳ２３に
進み、その未記憶アドレスに対応するＨＤ画素を生成す
る生成処理が行われ、ステップＳ２４に進む。この場
合、ステップＳ２４では、ステップＳ２３で生成された
ＨＤ画素が、合成部２４に出力される。

【０１５３】即ち、上述したように、アクセス範囲が、
常時、その全体に、ＳＤ画素が書き込まれた状態になっ
ているとは限らないため、画素生成部４３では、ＳＤ画
素が書き込まれていないアドレス（未記憶アドレス）に
ついては、ＳＤ画素が、既に書き込まれているアドレス
（以下、適宜、既記憶アドレスという）に記憶されてい
る、そのＳＤ画素を用いて、未記憶アドレスに対応する
ＨＤ画素が生成される。

【０１５４】一方、ステップＳ２２において、所定のア
ドレスに対応する書き込みフラグがセットされていると
判定された場合、即ち、そのアドレスに、ＳＤ画素が記
憶されている場合（前回のシーンチェンジが検出されて
から、ＳＤ画素の書き込みがあった場合）、ステップＳ
２３をスキップして、ステップＳ２４に進み、その記憶
されているＳＤ画素が、ＨＤ画素として、そのまま、合
成部２４に出力される。

【０１５５】ステップＳ２４の処理後は、ステップＳ２
５に進み、アクセス範囲内における記憶値がすべて読み
出されたかどうかが判定される。ステップＳ２５におい
て、アクセス範囲内における記憶値（但し、ここでは、
オブジェクトに対応する記憶値）が、まだ、すべて読み
出されていないと判定された場合、ステップＳ２１に戻
り、まだ読み出されていない記憶値を対象に、同様の処
理が繰り返される。一方、ステップＳ２５において、ア
クセス範囲内における記憶値が、すべて読み出されたと
判定された場合、読み出し処理を終了する。

【０１５６】次に、図１７のフローチャートを参照し
て、図１６におけるステップＳ２３のＨＤ画素の生成処
理について説明する。なお、この生成処理は、上述した
ように、画素生成部４３において行われる。

【０１５７】画素生成部４３は、まず最初に、ステップ
Ｓ３１において、既記憶アドレスに記憶されている画素
のうち、未記憶アドレスに対応する画素の周辺にあるも
の（以下、適宜、既記憶周辺画素という）を検出する。
なお、この検出は、書き込みフラグ記憶部４２を参照す
ることで行われる。

【０１５８】そして、ステップＳ３２に進み、画素生成
部４３は、解像度創造用メモリ部１５から、ステップＳ
３１で検出した既記憶周辺画素を読み出し、ステップＳ
３３に進む。ステップＳ３３では、画素生成部４３は、
ステップＳ３２で読み出した既記憶周辺画素を用いて、
未記憶アドレスに対応する画素を生成し、リターンす
る。

【０１５９】ここで、既記憶周辺画素を用いての、未記
憶アドレスに対応する画素の生成方法としては、例え
ば、線形補間などがある。

【０１６０】ところで、線形補間などの単純な補間で
は、未記憶アドレスに対応する画素として、既記憶周辺
画素に含まれていない高周波成分を含むものは生成する
ことができない。

【０１６１】そこで、本件出願人は、ＳＤ画像を、そこ
に含まれていない高周波成分をも含むＨＤ画像に変換す
る画像変換装置を先に提案しているが、未記憶アドレス
に対応する画素の生成には、この画像変換装置を適用す
ることができる。

【０１６２】この画像変換装置においては、ＳＤ画像
と、所定の予測係数との線形結合により、ＨＤ画像の画
素の予測値を求める適応処理を行うことで、ＳＤ画像に
は含まれていない高周波成分が復元されるようになされ
ている。

【０１６３】即ち、例えば、いま、ＨＤ画像を構成する
ＨＤ画素の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ
画素の画素値（以下、適宜、学習データという）ｘ₁，
ｘ₂，・・・と、所定の予測係数ｗ₁，ｗ₂，・・・の線
形結合により規定される線形１次結合モデルにより求め
ることを考える。この場合、予測値Ｅ［ｙ］は、次式で
表すことができる。

【０１６４】Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１）

【０１６５】そこで、一般化するために、予測係数ｗの
集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、お
よび予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、

【数１】で定義すると、次のような観測方程式が成立する。

【０１６６】ＸＷ＝Ｙ’ ・・・（２）

【０１６７】そして、この観測方程式に最小自乗法を適
用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求
めることを考える。この場合、教師データとなるＨＤ画
素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素
の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でな
る行列Ｅを、

【数２】で定義すると、式（２）から、次のような残差方程式が
成立する。

【０１６８】ＸＷ＝Ｙ＋Ｅ・・・（３）

【０１６９】この場合、ＨＤ画素の画素値ｙに近い予測
値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差

【数３】を最小にすることで求めることができる。

【０１７０】従って、上述の自乗誤差を予測係数ｗ_iで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗ_iが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］
を求めるため最適値ということになる。

【０１７１】

【数４】・・・（４）

【０１７２】そこで、まず、式（３）を、予測係数ｗ_i
で微分することにより、次式が成立する。

【０１７３】

【数５】・・・（５）

【０１７４】式（４）および（５）より、式（６）が得
られる。

【０１７５】

【数６】・・・（６）

【０１７６】さらに、式（３）の残差方程式における学
習データｘ、予測係数ｗ、教師データｙ、および残差ｅ
の関係を考慮すると、式（６）から、次のような正規方
程式を得ることができる。

【０１７７】

【数７】・・・（７）

【０１７８】式（７）の正規方程式は、求めるべき予測
係数ｗの数と同じ数だけたてることができ、従って、式
（７）を解くことで（但し、式（７）を解くには、式
（７）において、予測係数ｗにかかる係数で構成される
行列が正則である必要がある）、最適な予測係数ｗを求
めることができる。なお、式（７）を解くにあたって
は、例えば、掃き出し法（Gauss-Jordanの消去法）など
を適用することが可能である。

【０１７９】以上のようにして、最適な予測係数ｗを求
めておき、さらに、その予測係数ｗを用い、式（１）に
より、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求め
るのが適応処理である。

【０１８０】なお、適応処理は、ＳＤ画像には含まれて
いない、ＨＤ画像に含まれる成分が再現される点で、補
間処理とは異なる。即ち、適応処理では、式（１）だけ
を見る限りは、いわゆる補間フィルタを用いての補間処
理と同一であるが、その補間フィルタのタップ係数に相
当する予測係数ｗが、教師データｙを用いての、いわば
学習により求められるため、ＨＤ画像に含まれる成分を
再現することができる。即ち、容易に、高解像度の画像
を得ることができる。このことから、適応処理は、いわ
ば画像の創造作用がある処理ということができる。

【０１８１】図１８は、以上のような適応処理により、
ＳＤ画像をＨＤ画像に変換する画像変換装置の構成例を
示している。

【０１８２】ＳＤ画像は、クラス分類部２０１および適
応処理部２０４に供給されるようになされている。クラ
ス分類部２０１は、クラスタップ生成回路２０２および
クラス分類回路２０３で構成され、そこでは、適応処理
により予測値を求めようとするＨＤ画素（以下、適宜、
注目画素という）が、その注目画素に対応するＳＤ画像
の画素の性質に基づいて、所定のクラスにクラス分類さ
れる。

【０１８３】即ち、クラスタップ生成回路２０２では、
注目画素に対応するＳＤ画素として、例えば、注目画素
に対して所定の位置関係にある複数のＳＤ画素（以下、
適宜、クラスタップという）が、クラス分類部２０１に
供給されるＳＤ画像から抽出され、クラス分類回路２０
３に供給される。クラス分類回路２０３では、クラスタ
ップ生成回路２０２からのクラスタップを構成するＳＤ
画素の画素値のパターン（画素値の分布）が検出され、
そのパターンにあらかじめ割り当てられた値が、注目画
素のクラスとして、適応処理部２０３に供給される。

【０１８４】具体的には、例えば、いま、ＨＤ画像が、
図１９において、×印で示す画素（ＨＤ画素）で構成さ
れ、ＳＤ画像が、同図において、○印で示す画素（ＳＤ
画素）で構成されるとする。即ち、ＳＤ画像が、ＨＤ画
像の横または縦の画素数をそれぞれ１／２にして構成さ
れるとする。ここで、図１９においては、左からｉ＋１
番目で、上からｊ＋１番目のＳＤ画素（図中、○印で示
す部分）をＸ_i,jと表し、同様に、左からｉ’＋１番目
で、上からｊ’＋１番目のＨＤ画素（図中、×印で示す
部分）をＹ_i',j'と表す。この場合、ＳＤ画素Ｘ_i,jの位
置と、ＨＤ画素Ｙ_2i _,2jの位置とは一致する。

【０１８５】いま、あるＳＤ画素としての、例えばＸ
_2,2の位置と一致するＨＤ画素Ｙ_4,4を注目画素とする
と、クラスタップ生成回路２０２では、そのＨＤ画素Ｙ
_4,4に対応するＳＤ画素として、例えば、ＨＤ画素Ｙ_4,4
との相関が高いと予想されるＨＤ画素Ｙ_4,4の位置と一
致するＳＤ画素Ｘ_2,2を中心とする３×３（横×縦）の
ＳＤ画素Ｘ_1,1，Ｘ_2,1，Ｘ_3,1，Ｘ_1,2，Ｘ_2,2，Ｘ_3,2，
Ｘ_1,3，Ｘ_2,3，Ｘ_3,3（図１９において点線で囲んであ
る範囲のＳＤ画素）が抽出され、それが、注目画素（Ｈ
Ｄ画素）Ｙ_4,4のクラスタップとされる。

【０１８６】また、ここでは、例えば、Ｘ_2,2の位置と
一致するＨＤ画素Ｙ_4,4の右隣のＨＤ画素Ｙ_5,4が注目画
素とされた場合、Ｘ_2,2の位置と一致するＨＤ画素Ｙ_4,4
の下に隣接するＨＤ画素Ｙ_4,5が注目画素とされた場
合、およびＸ_2,2の位置と一致するＨＤ画素Ｙ_4,4の右斜
め下に隣接するＨＤ画素Ｙ_5,5が注目画素とされた場合
においても、クラスタップ生成回路２０２では、ＨＤ画
素Ｙ_4,4が注目画素とされた場合に形成されるクラスタ
ップと同一のクラスタップが形成される。なお、ＨＤ画
素Ｙ_4,4，Ｙ_5,4，Ｙ_4,5，Ｙ_5,5がそれぞれ注目画素とさ
れた場合に形成するクラスタップは、異なるものとする
ことも可能である。

【０１８７】そして、クラス分類回路２０３では、クラ
スタップ生成回路２０２で構成されたクラスタップとし
ての９個のＳＤ画素（画素値）のパターンが検出され、
そのパターンに対応する値が、注目画素のクラスとして
出力される。

【０１８８】このクラスは、適応処理部２０４における
係数ＲＯＭ（Read Only Memory）２０７のアドレス端子
（ＡＤ）に供給される。

【０１８９】ここで、画像を構成する画素には、一般的
に、８ビットなどが割り当てられる。いま、ＳＤ画素に
８ビットが割り当てられているとすると、例えば、図１
９に示した３×３画素の正方形状のクラスタップだけを
考えても、画素値のパターン数は、（２⁸）⁹通りという
莫大な数となり、その後の処理の迅速化が困難となる。

【０１９０】そこで、クラス分類を行う前の前処理とし
て、クラスタップには、それを構成するＳＤ画素のビッ
ト数を低減するための処理である、例えばＡＤＲＣ（Ad
aptiv Dynamic Range Coding）処理などが施される。

【０１９１】即ち、ＡＤＲＣ処理では、まず、処理ブロ
ックを構成する９個ののＳＤ画素から、その画素値の最
大のもの（以下、適宜、最大画素という）と最小のもの
（以下、適宜、最小画素という）とが検出される。そし
て、最大画素の画素値ＭＡＸと最小画素の画素値ＭＩＮ
との差分ＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、このＤ
Ｒを処理ブロックの局所的なダイナミックレンジとし、
このダイナミックレンジＤＲに基づいて、処理ブロック
を構成する各画素値が、元の割当ビット数より少ないＫ
ビットに再量子化される。つまり、処理ブロックを構成
する各画素値から最小画素の画素値ＭＩＮが減算され、
各減算値が、ＤＲ／２^Kで除算される。

【０１９２】その結果、処理ブロックを構成する各画素
値はＫビットで表現されるようになる。従って、例えば
Ｋ＝１とした場合、９個のＳＤ画素の画素値のパターン
数は、（２¹）⁹通りになり、ＡＤＲＣ処理を行わない場
合に比較して、パターン数を非常に少ないものとするこ
とができる。

【０１９３】一方、適応処理部２０４は、予測タップ生
成回路２０５、予測演算回路２０６、および係数ＲＯＭ
２０７で構成され、そこでは、適応処理が行われる。

【０１９４】即ち、予測タップ生成回路２０５では、適
応処理部２０４に供給されるＳＤ画像から、予測演算回
路２０６において注目画素の予測値を求めるのに用い
る、その注目画素に対して所定の位置関係にある複数の
ＳＤ画素が抽出され、これが予測タップとして、予測演
算回路２０６に供給される。

【０１９５】具体的には、例えば、ＨＤ画素Ｙ_4,4が注
目画素とされ、図１９で説明したようなクラスタップが
構成される場合、予測タップ生成回路２０５では、例え
ば、ＨＤ画素Ｙ_4,4との相関が高いと予想されるＳＤ画
素として、同図に実線で囲んで示す範囲の、注目画素Ｙ
_4,4の位置に一致するＳＤ画素Ｘ_2,2を中心とする５×５
のＳＤ画素が抽出され、これが、注目画素（ＨＤ画素）
Ｙ_4,4の予測タップとされる。

【０１９６】なお、ここでは、ＨＤ画素Ｙ_5,4，Ｙ_4,5，
Ｙ_5,5が注目画素とされた場合においても、ＨＤ画素Ｙ
_4,4が注目画素とされた場合に形成される予測タップと
同一の予測タップが形成される。但し、ＨＤ画素
Ｙ_4,4，Ｙ_5,4，Ｙ_4,5，Ｙ_5,5がそれぞれ注目画素とされ
た場合に形成する予測タップは、異なるものとすること
も可能である。

【０１９７】そして、予測演算回路２０６には、予測タ
ップ生成回路２０５から予測タップが供給される他、係
数ＲＯＭ２０７から予測係数も供給される。

【０１９８】即ち、係数ＲＯＭ２０７は、あらかじめ学
習が行われることにより求められた予測係数を、クラス
ごとに記憶しており、クラス分類回路２０３からクラス
が供給されると、そのクラスに対応するアドレスに記憶
されている予測係数を読み出し、予測演算回路２０６に
供給する。

【０１９９】これにより、予測演算回路２０６には、注
目画素に対応する予測タップと、その注目画素のクラス
についての予測係数とが供給される。そして、予測演算
回路２０６では、係数ＲＯＭ２０７からの予測係数
ｗ₁，ｗ₂，・・・と、予測タップ生成回路２０５からの
予測タップ（を構成するＳＤ画素）ｘ₁，ｘ₂，・・・と
を用いて、式（１）に示した演算が行われることによ
り、注目画素（ＨＤ画素）ｙの予測値Ｅ［ｙ］が求めら
れ、これが、ＨＤ画素の画素値として出力される。

【０２００】以上の処理が、すべてのＨＤ画素を注目画
素として行われ、これにより、ＳＤ画像がＨＤ画像に変
換される。

【０２０１】次に、図２０は、図１８の係数ＲＯＭ２０
７に記憶させる予測係数を算出する学習処理を行う学習
装置の構成例を示している。

【０２０２】学習における教師データｙとなるべきＨＤ
画像（学習用のＨＤ画像）が、間引き回路２１１および
教師データ抽出回路１４６に供給されるようになされて
おり、間引き回路２１１では、ＨＤ画像が、例えば、そ
の画素数が間引かれることにより少なくされ、これによ
りＳＤ画像とされる。即ち、間引き回路２１１では、Ｈ
Ｄ画像の横または縦の画素数がそれぞれ１／２にされ、
これにより、ＳＤ画像が形成される。このＳＤ画像は、
クラス分類部２１２および予測タップ生成回路１４５に
供給される。

【０２０３】クラス分類部２１２または予測タップ生成
回路１４５では、図１８のクラス分類部２０１または予
測タップ生成回路２０５における場合と同様の処理が行
われ、これにより注目画素のクラスまたは予測タップが
それぞれ出力される。クラス分類部２１２が出力するク
ラスは、予測タップメモリ１４７および教師データメモ
リ１４８のアドレス端子（ＡＤ）に供給され、予測タッ
プ生成回路１４５が出力する予測タップは、予測タップ
メモリ１４７に供給される。

【０２０４】予測タップメモリ１４７では、クラス分類
部２１２から供給されるクラスに対応するアドレスに、
予測タップ生成回路１４５から供給される予測タップが
記憶される。

【０２０５】一方、教師データ抽出回路１４６では、ク
ラス分類部２１２および予測タップ生成回路１４５にお
いて注目画素とされるＨＤ画素が、そこに供給されるＨ
Ｄ画像から抽出され、教師データとして、教師データメ
モリ１４８に供給される。

【０２０６】そして、教師データメモリ１４８では、ク
ラス分類部２１２から供給されるクラスに対応するアド
レスに、教師データ抽出回路１４６から供給される教師
データが記憶される。

【０２０７】以上の処理が、あらかじめ学習用に用意さ
れたすべてのＨＤ画像（学習用のＨＤ画像）を構成する
すべてのＨＤ画素を、順次、注目画素として行われる。

【０２０８】その結果、教師データメモリ１４８または
予測タップメモリ１４７の同一のアドレスには、そのア
ドレスに対応するクラスのＨＤ画素、またはそのＨＤ画
素にについて図１９において説明した予測タップを構成
する位置にあるＳＤ画素が、教師データｙまたは学習デ
ータｘとして、それぞれ記憶される。

【０２０９】なお、予測タップメモリ１４７と教師デー
タメモリ１４８においては、同一アドレスに複数の情報
を記憶することができるようになされており、これによ
り、同一アドレスには、同一のクラスに分類される複数
の学習データｘと教師データｙを記憶することができる
ようになされている。

【０２１０】その後、演算回路１４９は、予測タップメ
モリ１４７または教師データメモリ１４８から、同一ア
ドレスに記憶されている学習データとしての予測タップ
または教師データとしてのＨＤ画素を読み出し、それら
を用いて、例えば、最小自乗法によって、予測値と教師
データとの間の誤差を最小にする予測係数を算出する。
即ち、演算回路１４９では、クラスごとに、式（７）に
示した正規方程式がたてられ、これを解くことにより予
測係数が求められる。

【０２１１】以上のようにして、演算回路１４９で求め
られたクラスごとの予測係数が、図１８の係数ＲＯＭ２
０７における、そのクラスに対応するアドレスに記憶さ
れている。

【０２１２】なお、上述の場合では、ＨＤ画素Ｙ_4,4，
Ｙ_5,4，Ｙ_4,5，Ｙ_5,5がそれぞれ注目画素とされた場合
に形成するクラスタップ、予測タップをそれぞれ同一の
ものとしたため、予測係数は、ＨＤ画素Ｙ_4,4，Ｙ_5,4，
Ｙ_4,5，Ｙ_5,5それぞれについて、それぞれ教師データと
して、個別に、正規方程式をたてて求める必要がある。

【０２１３】適応処理によれば、元のＳＤ画像には含ま
れていない高周波成分を含んだＨＤ画像を得ることがで
き、また、注目画素について、クラス分類処理を行い、
その結果得られるクラスに対応した予測係数を用いて適
応処理を行うことで、注目画素に適した適応処理を施す
ことができる。

【０２１４】なお、上述したクラス分類処理および適応
処理（以下、適宜、クラス分類適応処理という）によっ
て、未記憶アドレスに対応するＨＤ画素を、既記憶周辺
画素から生成する場合においては、図１９に示したクラ
スタップや予測タップを形成するための既記憶周辺画素
が存在しないことがあり、この場合、図１９に示したよ
うな、クラスタップや予測タップを形成することができ
ない。従って、未記憶アドレスに対応する画素を、クラ
ス分類適応処理によって生成するには、存在する既記憶
周辺画素を用いて、適応的に、クラスタップや予測タッ
プを形成する必要があり、そのために、学習時には、種
々の形状のクラスタップや予測タップを形成して、予測
係数を求めておく必要がある。

【０２１５】次に、上述の場合においては、図１３に示
したように、解像度創造用メモリ部１５を、水平方向お
よび垂直方向のいずれについても、ＳＤ画像を構成する
画素数の２倍以上の画素を記憶することができるように
構成するとともに、アクセス範囲を、相対アドレスポイ
ンタを最も左上の点とする２Ｐ_H×２Ｐ_V画素の範囲、即
ち、ＨＤ画像の１画面と同一の範囲としたため、ＳＤ画
像の動きベクトルのｘ成分およびｙ成分が、１／２の奇
数倍になっていれば、その動きベクトルを２倍したベク
トルにしたがって、相対アドレスポインタを移動するこ
とにより、水平方向のＳＤ画素どうしの中点や、垂直方
向のＳＤ画素どうしの間の中点に画素が想定され、従っ
て、解像度の良いＨＤ画像を得ることができる。

【０２１６】しかしながら、ＳＤ画像の動きベクトルの
ｘ成分およびｙ成分が、常時、１／２の奇数倍になると
は限らない。また、ＳＤ画像の動きベクトルのｘ成分お
よびｙ成分が、１／２の奇数倍になっていない場合に、
その動きベクトルを２倍したもののｘおよびｙ成分を、
例えば、図９で説明したように四捨五入したベクトルに
したがって、相対アドレスポインタを移動することとす
ると、本来、水平方向のＳＤ画素どうしの中点や、垂直
方向のＳＤ画素どうしの間の中点からずれた位置に想定
されるべき画素が、そのような中点に想定されることに
なり、得られるＨＤ画像の解像度が劣化することにな
る。なお、このことは、ＳＤ画像の動きベクトルのｘ成
分やｙ成分が、１／２の奇数倍になっていない場合の
他、１／２の偶数倍になっていない場合も同様である。

【０２１７】そこで、ＳＤ画像の動きベクトルのｘ，ｙ
成分が、１／２の整数倍から、大きくはずれている場合
には、そのＳＤ画像を構成するＳＤ画素を、解像度創造
用メモリ部１５に書き込まないようにすることができ
る。この場合、本来、水平方向のＳＤ画素どうしの中点
や、垂直方向のＳＤ画素どうしの間の中点から大きくず
れた位置に想定されるべき画素が、そのような中点に想
定されることに起因する、ＨＤ画像の解像度の劣化を防
止（低減）することができる。

【０２１８】ところで、ＳＤ画像の動きベクトルのｘ，
ｙ成分が、１／２の整数倍から、大きくはずれている場
合に、そのＳＤ画像を構成するＳＤ画素を、解像度創造
用メモリ部１５に書き込まないようにしたときには、書
き込むようにしたときと比較して、解像度創造用メモリ
部１５に書き込まれるＳＤ画素の数が少なくなり、画素
生成部４３において生成するＨＤ画素の数が多くなる。
そして、画素生成部４３では、解像度創造用メモリ部１
５に、既に記憶されたＳＤ画素を用いて、ＨＤ画素が生
成されるから、解像度創造用メモリ部１５に書き込まれ
るＳＤ画素の数が少なくなると、画素生成部４３におい
て生成されるＨＤ画素の精度が悪化することになる。

【０２１９】そこで、例えば、図２１に示すように、解
像度創造用メモリ部１５を、水平方向および垂直方向の
いずれについても、ＳＤ画像を構成する画素数の４倍以
上の画素を記憶することができるように構成し、また、
アクセス範囲も、相対アドレスポインタを最も左上の点
とする４Ｐ_H×４Ｐ_V画素の範囲、即ち、ここでは、水平
方向および垂直方向のいずれについても、ＨＤ画像を構
成する画素数の２倍の範囲とするようにする。

【０２２０】そして、ＳＤ画像の動きベクトルを４倍し
たもののｘおよびｙ成分を、例えば、図９で説明したよ
うに四捨五入したベクトルにしたがって、相対アドレス
ポインタを移動して、アクセス範囲に、ＳＤ画素を、水
平および垂直方向のアドレスとも３つおきに書き込むこ
ととする。但し、この場合でも、ＳＤ画像の動きベクト
ルのｘ，ｙ成分が、１／４の整数倍から、大きくはずれ
ているときには、そのＳＤ画像を構成するＳＤ画素を、
解像度創造用メモリ部１５に書き込まないようにする。

【０２２１】以上のようにアクセス範囲を拡大すること
で、解像度創造用メモリ部１５に書き込まれるＳＤ画素
の数を増加させることができる。

【０２２２】ここで、例えば、図２２に示すように、第
Ｎ−４フレームから第Ｎフレームにかけて移動するオブ
ジェクトを構成するＳＤ画素を、４Ｐ_H×４Ｐ_V画素の範
囲とされたアクセス範囲に、上述したように書き込んだ
状態を、図２３に示す。

【０２２３】ところで、以上のように、アクセス範囲
を、４Ｐ_H×４Ｐ_V画素の範囲とした場合において、２Ｐ
_H×２Ｐ_V画素で構成されるＨＤ画像を得るには、図２３
に示した、水平方向と垂直方向との点線の交点上のＳＤ
画素だけを、アクセス範囲から読み出せば良い。即ち、
アクセス範囲内における記憶値を、水平および垂直方向
とも１つおきに読み出せば良い。

【０２２４】しかしながら、この場合でも、図２３に示
した、水平方向と垂直方向との点線の交点上に、ＳＤ画
素が書き込まれていないことがある。この場合、対応す
るＨＤ画素は、上述したように、既記憶周辺画素を用い
て生成することとなるが、その生成時においては、図２
３を拡大した図２４に示すように、水平方向と垂直方向
との点線の交点上にある既記憶周辺画素の他、そのよう
な交点上にない既記憶周辺画素も用いることができる。
このように、交点上にない既記憶周辺画素も用いて、Ｈ
Ｄ画素を生成する場合には、より解像度の高いＨＤ画像
を得ることが可能となる。

【０２２５】ここで、この場合、ＨＤ画素の生成は、上
述した線形補間や、クラス分類処理および適応処理によ
る他、例えば、そのＨＤ画素に最も近い位置にある既記
憶周辺画素への置き換えなどによって行うことも可能で
ある。

【０２２６】なお、アクセス範囲内のアドレスのうち、
既に、ＳＤ画素が記憶されているアドレスに、新たにＳ
Ｄ画素が供給された場合には、その新たなＳＤ画素を上
書きしても良いし、既に記憶されているＳＤ画素の動き
ベクトルと、新たなＳＤ画素の動きベクトルとを比較
し、動きベクトルのｘ，ｙ成分が、１／４の整数倍に最
も近い方を、優先的に記憶させるようにしても良い。但
し、動きベクトルのｘ，ｙ成分が、１／４の整数倍に最
も近い方を、優先的に記憶させるようにする場合には、
解像度創造用メモリ部１５に既に記憶されているＳＤ画
素の動きベクトルを記憶するためのメモリなどが必要と
なる。

【０２２７】次に、ＳＤ画像が、複数（Ｍ個以下）の異
なる動きのオブジェクトから構成される場合には、解像
度変換部３４は、図１２に示したように構成する必要が
あるが、ＳＤ画像が、例えば、ビデオカメラをパンやチ
ルトすることにより、風景などを撮影することにより得
られた、全画面が同一の動きをするものである場合に
は、解像度変換部３４は、例えば、図２５に示すように
構成することができる。

【０２２８】即ち、図２５は、図１１の解像度変換部３
４の他の構成例を示している。なお、図中、図１２にお
ける場合と対応する部分については、同一の符号を付し
てある。即ち、図２５の解像度変換部３４は、領域分割
部２１および合成部２４が設けられておらず、Ｍ個の高
解像度オブジェクト生成部４１₁乃至４１_Mに替えて、１
の高解像度オブジェクト生成部４１が設けられ、さら
に、高解像度オブジェクト生成部４１には、スイッチ２
２およびメモリ２３が設けられていない他は、図１２に
おける場合と同様に構成されている。

【０２２９】以上のように構成される解像度変換部３４
では、図１２における場合と同様に、フレームメモリ部
１１に対して、Ａ／Ｄ変換器３（図１１）から、ＳＤ画
像が供給され、そこでは、Ａ／Ｄ変換器３からのＳＤ画
像が、順次記憶されていく。

【０２３０】そして、動き検出部１２において、フレー
ムメモリ部１１に記憶されたＳＤ画像の動きベクトル
が、水平方向および垂直方向とも、そのＳＤ画像の画素
よりも細かい単位で検出され、コントローラ１４に供給
される。なお、上述したように、ここでは、ＳＤ画像と
して、全画面が同一の動きをするものが入力されるの
で、全画面（１フレーム）について、１つの動きベクト
ルが検出されるようになされている。

【０２３１】コントローラ１４は、解像度創造用メモリ
部１５における相対アドレスポインタを、動き検出部１
２からの動きベクトルにしたがって移動し、その移動後
の相対アドレスポインタを最も左上の頂点とするアクセ
ス範囲に、フレームメモリ部１１の現フレームメモリ１
１Ａに記憶された１フレーム分のＳＤ画素を記憶させ
る。さらに、コントローラ１４は、書き込みフラグ記憶
部４２に記憶されている書き込みフラグのうち、ＳＤ画
素を書き込んだ解像度創造用メモリ部１５のアドレスに
対応するものを、１にセットする。なお、アクセス範囲
（従って、解像度創造用メモリ部１５も）としては、例
えば、図１３で説明した範囲が設定されており、従っ
て、アクセス範囲へのＳＤ画素の書き込みは、ここで
は、水平および垂直方向とも、１つおきに行われる。

【０２３２】以上のようにして、解像度創造用メモリ部
１５のアクセス範囲内には、垂直方向だけでなく、水平
方向にも画素が想定され、ＳＤ画像の水平方向および垂
直方向の画素数を、いずれも２倍にしたＨＤ画像が再生
（創造）されていく。

【０２３３】なお、シーンチェンジ検出部１３は、上述
したようにして、ＳＤ画像のシーンチェンジを検出して
おり、コントローラ１４は、シーンチェンジ検出部１３
からシーンチェンジである旨を受信すると、解像度創造
用メモリ部１５をリセットするとともに、書き込みフラ
グ記憶部４２もリセットするようになされている。

【０２３４】解像度創造用メモリ部１５のアクセス範囲
内における記憶値は、コントローラ１４の制御の下、Ｈ
Ｄ画像を構成するＨＤ画素として読み出され、画素生成
部４３に供給される。画素生成部４３は、ＨＤ画素とし
て読み出された記憶値が、初期値かどうかを、書き込み
フラグ記憶部４２を参照することにより判定し、即ち、
ＨＤ画素として読み出された値が、フレームメモリ１１
から書き込まれたＳＤ画素であるかどうかを判定し、そ
の判定結果に基づいて、ＨＤ画素を生成する。

【０２３５】即ち、ここでは、上述の図１３に示したよ
うに、アクセス範囲は、１画面のＳＤ画像の水平方向ま
たは垂直方向の画素数を、それぞれ２倍にした数に対応
するアドレス空間を有し、また、アクセス範囲は、動き
ベクトルにしたがって移動されるから、アクセス範囲
が、常時、その全体に、ＳＤ画素が書き込まれた状態に
なっているとは限らない。そこで、画素生成部４３は、
アクセス範囲内の各アドレスの記憶値が、ＳＤ画素であ
るかどうかを判定し、ＳＤ画素である場合には、そのＳ
Ｄ画素を、そのままＨＤ画素として出力し、ＳＤ画素で
ない場合、即ち、シーンチェンジの検出後に書き込まれ
た初期値である場合には、アクセス範囲に、既に書き込
まれているＳＤ画素を用いて、ＨＤ画素を生成して出力
する。なお、既に書き込まれているＳＤ画素からのＨＤ
画素の生成は、例えば、上述したような単純な補間によ
って行っても良いし、クラス分類適応処理によって行っ
ても良い。

【０２３６】以上のようにして、画素生成部４３が出力
するＨＤ画素で構成される１フレームのＨＤ画像、即
ち、ここでは、ＳＤ画像の水平方向または垂直方向の画
素数（解像度）をそれぞれ２倍にしたＨＤ画像は、Ｄ／
Ａ変換器５（図１１）を介して、ＣＲＴ３６に供給され
て表示される。

【０２３７】なお、図２５の実施の形態においても、例
えば、図２１に示したように、解像度創造用メモリ部１
５を、水平方向および垂直方向のいずれについても、Ｓ
Ｄ画像を構成する画素数の４倍以上の画素を記憶するこ
とができるように構成するとともに、アクセス範囲も、
相対アドレスポインタを最も左上の点とする４Ｐ_H×４
Ｐ_V画素の範囲、即ち、水平方向および垂直方向のいず
れについても、ＨＤ画像を構成する画素数の２倍の範囲
とするようにすることが可能であり、この場合、より解
像度の高いＨＤ画像を得ることが可能となる。

【０２３８】以上、本発明を、折り返し歪みを有する画
像からの、その折り返し歪みの除去（低減）、およびＳ
Ｄ画像のＨＤ画像への変換に適用した場合について説明
したが、本発明は、その他、例えば、画像を拡大する場
合や、インターレース走査された画像を、プログレッシ
ブな画像（ノンインターレース走査される画像）に変換
する場合などにも適用可能である。

【０２３９】なお、本実施の形態では、フレーム単位の
画像を処理するようにしたが、フィールド単位で処理を
行うことも可能である。

【０２４０】また、本実施の形態では、画像をＣＲＴに
表示するようにしたが、本発明は、画像を液晶ディスプ
レイなどに表示する場合などにも適用可能である。

【０２４１】さらに、本実施の形態では、テレビジョン
受像機において、アナログのテレビジョン放送を受信す
るようにしたが、本発明は、ディジタル放送を受信する
場合にも適用可能である。

【０２４２】

【発明の効果】以上の如く、本発明の画像処理装置およ
び画像処理方法によれば、第１の画像の動きに対応した
位置に画素を想定することにより、第２の画像が生成さ
れる。従って、例えば、第１の画像が折り返し歪みを有
する場合に、その折り返し歪みを除去または低減した第
２の画像を得ることが可能となる。

【図面の簡単な説明】

【図１】本発明を適用したテレビジョン受像機の一実施
の形態の構成を示すブロック図である。

【図２】本発明の原理を説明するための図である。

【図３】本発明の原理を説明するための図である。

【図４】図１の歪み補正部４の構成例を示すブロック図
である。

【図５】画素より細かい単位での動きベクトルの検出方
法を説明するための図である。

【図６】図４の解像度創造用メモリ部１５の構成例を示
す図である。

【図７】相対アドレスポインタとアクセス範囲を説明す
るための図である。

【図８】アクセス範囲への画像データの書き込み方法を
説明するための図である。

【図９】図４の歪み補正部４の動作を説明するためのフ
ローチャートである。

【図１０】図１の歪み補正部４の他の構成例を示すブロ
ック図である。

【図１１】本発明を適用したテレビジョン受像機の他の
実施の形態の構成例を示すブロック図である。

【図１２】図１１の解像度変換部３４の構成例を示すブ
ロック図である。

【図１３】図１２の解像度創造用メモリ部１５の構成例
を示す図である。

【図１４】図１２の解像度創造用メモリ部１５への書き
込み処理を説明するためのフローチャートである。

【図１５】解像度創造用メモリ部１５に、ＳＤ画像が記
憶されていく様子を示す図である。

【図１６】図１２の解像度創造用メモリ部１５からの読
み出し処理を説明するためのフローチャートである。

【図１７】図１６のステップＳ２３の処理のより詳細を
説明するためのフローチャートである。

【図１８】ＳＤ画像からＨＤ画像を生成する画像変換装
置の構成例を示すブロック図である。

【図１９】クラスタップおよび予測タップを示す図であ
る。

【図２０】図１８の係数ＲＯＭ２０７に記憶されている
予測係数を求める学習を行う学習装置の構成例を示すブ
ロック図である。

【図２１】図１２の解像度創造用メモリ部１５の構成例
を示す図である。

【図２２】ＳＤ画像を構成するオブジェクトが移動して
いる様子を示す図である。

【図２３】ＳＤ画素が書き込まれたアクセス範囲を示す
図である。

【図２４】図２３のアクセス範囲の記憶値からの、ＨＤ
画素の生成方法を説明するための図である。

【図２５】図１１の解像度変換部３４の他の構成例を示
すブロック図である。

【図２６】ＣＲＴに画像が表示されるときの走査の様子
を示す図である。

【図２７】垂直方向の折り返し歪みを説明するための図
である。

【符号の説明】

１チューナ，２ＬＰＦ，３Ａ／Ｄ変換器，
４歪み補正部，５Ｄ／Ａ変換器，６ＣＲＴ，
１１フレームメモリ部，１１Ａ現フレームメモ
リ，１１Ｂ前フレームメモリ，１２動き検出
部，１３シーンチェンジ検出部，１４，１４Ａ，
１４Ｂコントローラ，１５，１５Ａ，１５Ｂ解像
度創造用メモリ部，１６垂直ＬＰＦ，１７フレ
ームメモリ部，２１領域分割部，２２Ａ，２２Ｂ
スイッチ，２３Ａ，２３Ｂメモリ，２４合成
部，３４解像度変換部，３６ＣＲＴ，４１，
４１₁乃至４１_M 高解像度オブジェクト生成部，４２
書き込みフラグ記憶部，４３画素生成部，１４５
予測タップ生成回路，１４６教師データ抽出回
路，１４７予測タップメモリ，１４８教師デー
タメモリ，１４９演算回路，２０１クラス分類
部，２０２クラスタップ生成回路，２０３クラ
ス分類回路，２０４適応処理部，２０５予測タ
ップ生成回路，２０６予測演算回路，２０７係数
ＲＯＭ，２１１間引き回路，２１２クラス分類
部

Claims

【特許請求の範囲】

【請求項１】第１の画像から第２の画像を生成する画
像処理装置であって、前記第１の画像を受信する受信手段と、前記第１の画像の動きに対応した位置に画素を想定する
ことにより、前記第２の画像を生成する想定手段とを備
えることを特徴とする画像処理装置。
【請求項２】前記第１の画像の動きを検出する動き検
出手段をさらに備え、前記想定手段は、前記動き検出手段によって検出された
前記第１の画像の動きに対応した位置に画素を想定する
ことにより、前記第２の画像を生成することを特徴とす
る請求項１に記載の画像処理装置。
【請求項３】前記第２の画像は、前記第１の画像より
も解像度の高いものであることを特徴とする請求項１に
記載の画像処理装置。
【請求項４】前記第２の画像は、前記第１の画像より
も画素数の多いものであることを特徴とする請求項１に
記載の画像処理装置。
【請求項５】前記想定手段は、前記第１の画像の動き
に対応した位置に画素を想定することにより、前記第１
の画像より、垂直方向の画素数の多い前記第２の画像を
生成することを特徴とする請求項４に記載の画像処理装
置。
【請求項６】前記動き検出手段は、前記第１の画像の
動きを、その第１の画像を構成する画素より細かい単位
で検出し、前記想定手段は、前記第１の画像を記憶する、前記第１の画像の１画面分
より多い記憶容量の画像記憶手段と、前記画像記憶手段に前記第１の画像を書き込むときのア
ドレスを、その第１の画像の動きに基づいて制御すると
ともに、前記画像記憶手段の記憶値の読み出しを制御す
る制御手段とを有することを特徴とする請求項２に記載
の画像処理装置。
【請求項７】前記制御手段は、前記画像記憶手段の記
憶値を、前記第２の画像の画素として読み出すことを特
徴とする請求項６に記載の画像処理装置。
【請求項８】前記第１の画像のシーンチェンジを検出
するシーンチェンジ検出手段と、前記第１の画像に、シーンチェンジが生じたときに、前
記画像記憶手段の記憶値をクリアするクリア手段とをさ
らに備えることを特徴とする請求項６に記載の画像処理
装置。
【請求項９】前記第２の画像をフィルタリングするフ
ィルタ手段をさらに備えることを特徴とする請求項１ま
たは６のうちのいずれかに記載の画像処理装置。
【請求項１０】前記第２の画像をフィルタリングする
フィルタ手段と、前記フィルタ手段によってフィルタリングされた前記第
２の画像を、前記第１の画像と同一の画素数にして出力
する出力手段とをさらに備えることを特徴とする請求項
３または６のうちのいずれかに記載の画像処理装置。
【請求項１１】前記画像記憶手段のアドレスのうち、
前記第１の画像の画素が記憶されていないものを検出す
るアドレス検出手段と、前記アドレス検出手段によって検出された前記画像記憶
手段のアドレスに対応する前記第２の画像の画素を生成
する生成手段とをさらに備えることを特徴とする請求項
６に記載の画像処理装置。
【請求項１２】前記アドレス検出手段は、前記画像記
憶手段のアドレスに、前記第１の画像の画素が書き込ま
れたときに、その旨を表すフラグが、対応するアドレス
に書き込まれる、前記フラグを記憶するフラグ記憶手段
を有することを特徴とする請求項１１に記載の画像処理
装置。
【請求項１３】前記生成手段は、前記アドレス検出手
段によって検出された前記画像記憶手段のアドレスに対
応する前記第２の画像の画素を、前記画像記憶手段に記
憶されている前記第１の画像の画素を用いて補間を行う
ことにより生成することを特徴とする請求項１１に記載
の画像処理装置。
【請求項１４】前記生成手段は、前記アドレス検出手段によって検出された前記画像記憶
手段のアドレスに対応する前記第２の画像の画素を、前
記画像記憶手段に記憶されている前記第１の画像の画素
の性質に応じて、所定のクラスに分類するクラス分類手
段と、前記クラスごとに、所定の予測係数を記憶している予測
係数記憶手段と、前記アドレス検出手段によって検出された前記画像記憶
手段のアドレスに対応する前記第２の画像の画素のクラ
スに対応する前記予測係数と、前記画像記憶手段に記憶
されている前記第１の画像の画素とを用いて所定の演算
を行うことにより、前記アドレス検出手段によって検出
された前記画像記憶手段のアドレスに対応する前記第２
の画像の画素を求める演算手段とを有することを特徴と
する請求項１１に記載の画像処理装置。
【請求項１５】前記予測係数は、学習用の前記第２の
画像を用いて学習を行うことにより求められたものであ
ることを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】前記第１の画像を複数の領域に分割す
る領域分割手段と、前記第１の画像の複数の領域それぞ
れに対応する前記第２の画像の複数の領域を合成するこ
とにより、前記第２の画像を生成する合成手段とをさら
に備え、前記想定手段は、前記第１の画像の動きに対応した位置
に画素を想定することにより、前記第１の画像の複数の
領域それぞれに対応する前記第２の画像の複数の領域を
求めることを特徴とする請求項１に記載の画像処理装
置。
【請求項１７】前記第１の画像の複数の領域それぞれ
の動きを検出する動き検出手段をさらに備え、前記想定手段は、前記動き検出手段によって検出された
前記第１の画像の複数の領域それぞれの動きに対応した
位置に画素を想定することにより、前記第２の画像の複
数の領域それぞれを求めることを特徴とする請求項１６
に記載の画像処理装置。
【請求項１８】前記第２の画像は、前記第１の画像よ
りも解像度の高いものであることを特徴とする請求項１
６に記載の画像処理装置。
【請求項１９】前記第２の画像は、前記第１の画像よ
りも画素数の多いものであることを特徴とする請求項１
６に記載の画像処理装置。
【請求項２０】前記想定手段は、前記第１の画像の動
きに対応した位置に画素を想定することにより、前記第
１の画像の複数の領域それぞれより、垂直方向の画素数
の多い前記第２の画像の複数の領域それぞれを求めるこ
とを特徴とする請求項１９に記載の画像処理装置。
【請求項２１】前記動き検出手段は、前記第１の画像
の複数の領域それぞれの動きを、その第１の画像を構成
する画素より細かい単位で検出し、前記想定手段は、前記第１の画像の複数の領域をそれぞれ記憶する、前記
第１の画像の複数の領域それぞれの１画面分より多い記
憶容量の複数の画像記憶手段と、前記複数の画像記憶手段それぞれに、前記第１の画像の
複数の領域それぞれを書き込むときのアドレスを、その
第１の画像の複数の領域それぞれの動きに基づいて制御
するとともに、前記複数の画像記憶手段の記憶値の読み
出しを制御する制御手段とを有することを特徴とする請
求項１７に記載の画像処理装置。
【請求項２２】前記制御手段は、前記複数の画像記憶
手段の記憶値を、前記第２の画像の複数の領域を構成す
る画素として、それぞれ読み出すことを特徴とする請求
項２１に記載の画像処理装置。
【請求項２３】前記第１の画像のシーンチェンジを検
出するシーンチェンジ検出手段と、前記第１の画像に、シーンチェンジが生じたときに、前
記複数の画像記憶手段の記憶値をクリアするクリア手段
とをさらに備えることを特徴とする請求項２１に記載の
画像処理装置。
【請求項２４】前記第２の画像をフィルタリングする
フィルタ手段をさらに備えることを特徴とする請求項１
６または２３のうちのいずれかに記載の画像処理装置。
【請求項２５】前記第２の画像をフィルタリングする
フィルタ手段と、前記フィルタ手段によってフィルタリングされた前記第
２の画像を、前記第１の画像と同一の画素数にして出力
する出力手段とをさらに備えることを特徴とする請求項
１８または２３のうちのいずれかに記載の画像処理装
置。
【請求項２６】前記画像記憶手段のアドレスのうち、
前記第１の画像の画素が記憶されていないものを検出す
るアドレス検出手段と、前記アドレス検出手段によって検出された前記画像記憶
手段のアドレスに対応する前記第２の画像の画素を生成
する生成手段とをさらに備えることを特徴とする請求項
２１に記載の画像処理装置。
【請求項２７】前記アドレス検出手段は、前記画像記
憶手段のアドレスに、前記第１の画像の画素が書き込ま
れたときに、その旨を表すフラグが、対応するアドレス
に書き込まれる、前記フラグを記憶するフラグ記憶手段
を有することを特徴とする請求項２６に記載の画像処理
装置。
【請求項２８】前記生成手段は、前記アドレス検出手
段によって検出された前記画像記憶手段のアドレスに対
応する前記第２の画像の画素を、前記画像記憶手段に記
憶されている前記第１の画像の画素を用いて補間を行う
ことにより生成することを特徴とする請求項２６に記載
の画像処理装置。
【請求項２９】前記生成手段は、前記アドレス検出手段によって検出された前記画像記憶
手段のアドレスに対応する前記第２の画像の画素を、前
記画像記憶手段に記憶されている前記第１の画像の画素
の性質に応じて、所定のクラスに分類するクラス分類手
段と、前記クラスごとに、所定の予測係数を記憶している予測
係数記憶手段と、前記アドレス検出手段によって検出された前記画像記憶
手段のアドレスに対応する前記第２の画像の画素のクラ
スに対応する前記予測係数と、前記画像記憶手段に記憶
されている前記第１の画像の画素とを用いて所定の演算
を行うことにより、前記アドレス検出手段によって検出
された前記画像記憶手段のアドレスに対応する前記第２
の画像の画素を求める演算手段とを有することを特徴と
する請求項２６に記載の画像処理装置。
【請求項３０】前記予測係数は、学習用の前記第２の
画像を用いて学習を行うことにより求められたものであ
ることを特徴とする請求項２９に記載の画像処理装置。
【請求項３１】第１の画像から第２の画像を生成する
画像処理装置の画像処理方法であって、前記第１の画像を受信する受信ステップと、前記第１の画像の動きに対応した位置に画素を想定する
ことにより、前記第２の画像を生成する想定ステップと
を備えることを特徴とする画像処理方法。
【請求項３２】前記第１の画像の動きを検出する動き
検出ステップをさらに備え、前記想定ステップにおいて、前記動き検出ステップで検
出された前記第１の画像の動きに対応した位置に画素を
想定することにより、前記第２の画像を生成することを
特徴とする請求項３１に記載の画像処理方法。
【請求項３３】前記第２の画像は、前記第１の画像よ
りも解像度の高いものであることを特徴とする請求項３
１に記載の画像処理方法。
【請求項３４】前記第２の画像は、前記第１の画像よ
りも画素数の多いものであることを特徴とする請求項３
１に記載の画像処理方法。
【請求項３５】前記想定ステップにおいて、前記第１
の画像の動きに対応した位置に画素を想定することによ
り、前記第１の画像より、垂直方向の画素数の多い前記
第２の画像を生成することを特徴とする請求項３４に記
載の画像処理方法。
【請求項３６】前記画像処理装置は、前記第１の画像
を記憶する、前記第１の画像の１画面分より多い記憶容
量の画像記憶手段を有し、前記動き検出ステップにおいて、前記第１の画像の動き
を、その第１の画像を構成する画素より細かい単位で検
出し、前記想定ステップにおいて、前記画像記憶手段に前記第
１の画像を書き込むときのアドレスを、その第１の画像
の動きに基づいて制御するとともに、前記画像記憶手段
の記憶値の読み出しを制御することを特徴とする請求項
３２に記載の画像処理方法。
【請求項３７】前記想定ステップにおいて、前記画像
記憶手段の記憶値を、前記第２の画像の画素として読み
出すことを特徴とする請求項３６に記載の画像処理方
法。
【請求項３８】前記第１の画像のシーンチェンジを検
出するシーンチェンジ検出ステップと、前記第１の画像に、シーンチェンジが生じたときに、前
記画像記憶手段の記憶値をクリアするクリアステップと
をさらに備えることを特徴とする請求項３６に記載の画
像処理方法。
【請求項３９】前記第２の画像をフィルタリングする
フィルタステップをさらに備えることを特徴とする請求
項３１または３６のうちのいずれかに記載の画像処理方
法。
【請求項４０】前記第２の画像をフィルタリングする
フィルタステップと、前記フィルタステップにおいてフィルタリングされた前
記第２の画像を、前記第１の画像と同一の画素数にして
出力する出力ステップとをさらに備えることを特徴とす
る請求項３３または３６のうちのいずれかに記載の画像
処理方法。
【請求項４１】前記画像記憶手段のアドレスのうち、
前記第１の画像の画素が記憶されていないものを検出す
るアドレス検出ステップと、前記アドレス検出ステップにおいて検出された前記画像
記憶手段のアドレスに対応する前記第２の画像の画素を
生成する生成ステップとをさらに備えることを特徴とす
る請求項３６に記載の画像処理方法。
【請求項４２】前記画像処理装置は、前記画像記憶手
段のアドレスに、前記第１の画像の画素が書き込まれた
ときに、その旨を表すフラグが、対応するアドレスに書
き込まれる、前記フラグを記憶するフラグ記憶手段をさ
らに有し、前記アドレス検出ステップにおいて、前記フラグ記憶手
段を参照することにより、前記第１の画像の画素が記憶
されていない前記画像記憶手段のアドレスを検出するこ
とを特徴とする請求項４１に記載の画像処理方法。
【請求項４３】前記生成ステップにおいて、前記アド
レス検出ステップで検出された前記画像記憶手段のアド
レスに対応する前記第２の画像の画素を、前記画像記憶
手段に記憶されている前記第１の画像の画素を用いて補
間を行うことにより生成することを特徴とする請求項４
１に記載の画像処理方法。
【請求項４４】前記画像処理装置は、所定のクラスご
とに、所定の予測係数を記憶している予測係数記憶手段
をさらに有し、前記生成ステップにおいて、前記アドレス検出ステップで検出された前記画像記憶手
段のアドレスに対応する前記第２の画像の画素を、前記
画像記憶手段に記憶されている前記第１の画像の画素の
性質に応じて、前記所定のクラスのうちのいずれかに分
類し、前記アドレス検出ステップで検出された前記画像記憶手
段のアドレスに対応する前記第２の画像の画素のクラス
に対応する前記予測係数と、前記画像記憶手段に記憶さ
れている前記第１の画像の画素とを用いて所定の演算を
行うことにより、前記アドレス検出ステップで検出され
た前記画像記憶手段のアドレスに対応する前記第２の画
像の画素を求めることを特徴とする請求項４１に記載の
画像処理方法。
【請求項４５】前記予測係数は、学習用の前記第２の
画像を用いて学習を行うことにより求められたものであ
ることを特徴とする請求項４４に記載の画像処理方法。
【請求項４６】前記第１の画像を複数の領域に分割す
る領域分割ステップと、前記第１の画像の複数の領域それぞれに対応する前記第
２の画像の複数の領域を合成することにより、前記第２
の画像を生成する合成ステップとをさらに備え、前記想定ステップにおいて、前記第１の画像の動きに対
応した位置に画素を想定することにより、前記第１の画
像の複数の領域それぞれに対応する前記第２の画像の複
数の領域を求めることを特徴とする請求項３１に記載の
画像処理方法。
【請求項４７】前記第１の画像の複数の領域それぞれ
の動きを検出する動き検出ステップをさらに備え、前記想定ステップにおいて、前記動き検出ステップで検
出された前記第１の画像の複数の領域それぞれの動きに
対応した位置に画素を想定することにより、前記第２の
画像の複数の領域それぞれを求めることを特徴とする請
求項４６に記載の画像処理方法。
【請求項４８】前記第２の画像は、前記第１の画像よ
りも解像度の高いものであることを特徴とする請求項４
６に記載の画像処理方法。
【請求項４９】前記第２の画像は、前記第１の画像よ
りも画素数の多いものであることを特徴とする請求項４
６に記載の画像処理方法。
【請求項５０】前記想定ステップにおいて、前記第１
の画像の動きに対応した位置に画素を想定することによ
り、前記第１の画像の複数の領域それぞれより、垂直方
向の画素数の多い前記第２の画像の複数の領域それぞれ
を求めることを特徴とする請求項４９に記載の画像処理
方法。
【請求項５１】前記画像処理装置は、前記第１の画像
の複数の領域をそれぞれ記憶する、前記第１の画像の１
画面分より多い記憶容量の複数の画像記憶手段を有し、前記動き検出ステップにおいて、前記第１の画像の複数
の領域それぞれの動きを、その第１の画像を構成する画
素より細かい単位で検出し、前記想定ステップにおいて、前記複数の画像記憶手段そ
れぞれに、前記第１の画像の複数の領域それぞれを書き
込むときのアドレスを、その第１の画像の複数の領域そ
れぞれの動きに基づいて制御するとともに、前記複数の
画像記憶手段の記憶値の読み出しを制御することを特徴
とする請求項４７に記載の画像処理方法。
【請求項５２】前記想定ステップにおいて、前記複数
の画像記憶手段の記憶値を、前記第２の画像の複数の領
域を構成する画素として、それぞれ読み出すことを特徴
とする請求項５１に記載の画像処理方法。
【請求項５３】前記第１の画像のシーンチェンジを検
出するシーンチェンジ検出ステップと、前記第１の画像に、シーンチェンジが生じたときに、前
記複数の画像記憶手段の記憶値をクリアするクリアステ
ップとをさらに備えることを特徴とする請求項５１に記
載の画像処理方法。
【請求項５４】前記第２の画像をフィルタリングする
フィルタステップをさらに備えることを特徴とする請求
項４６または５３のうちのいずれかに記載の画像処理方
法。
【請求項５５】前記第２の画像をフィルタリングする
フィルタステップと、前記フィルタステップでフィルタ
リングされた前記第２の画像を、前記第１の画像と同一
の画素数にして出力する出力ステップとをさらに備える
ことを特徴とする請求項４８または５３のうちのいずれ
かに記載の画像処理方法。
【請求項５６】前記画像記憶手段のアドレスのうち、
前記第１の画像の画素が記憶されていないものを検出す
るアドレス検出ステップと、前記アドレス検出ステップで検出された前記画像記憶手
段のアドレスに対応する前記第２の画像の画素を生成す
る生成ステップとをさらに備えることを特徴とする請求
項５１に記載の画像処理方法。
【請求項５７】前記画像処理装置は、前記画像記憶手
段のアドレスに、前記第１の画像の画素が書き込まれた
ときに、その旨を表すフラグが、対応するアドレスに書
き込まれる、前記フラグを記憶するフラグ記憶手段をさ
らに有し、前記アドレス検出ステップにおいて、前記フラグ記憶手
段を参照することにより、前記第１の画像の画素が記憶
されていない前記画像記憶手段のアドレスを検出するこ
とを特徴とする請求項５６に記載の画像処理方法。
【請求項５８】前記生成ステップにおいて、前記アド
レス検出ステップで検出された前記画像記憶手段のアド
レスに対応する前記第２の画像の画素を、前記画像記憶
手段に記憶されている前記第１の画像の画素を用いて補
間を行うことにより生成することを特徴とする請求項５
６に記載の画像処理方法。
【請求項５９】前記画像処理装置は、所定のクラスご
とに、所定の予測係数を記憶している予測係数記憶手段
をさらに有し、前記生成ステップにおいて、前記アドレス検出ステップで検出された前記画像記憶手
段のアドレスに対応する前記第２の画像の画素を、前記
画像記憶手段に記憶されている前記第１の画像の画素の
性質に応じて、前記所定のクラスのうちのいずれかに分
類し、前記アドレス検出ステップで検出された前記画像記憶手
段のアドレスに対応する前記第２の画像の画素のクラス
に対応する前記予測係数と、前記画像記憶手段に記憶さ
れている前記第１の画像の画素とを用いて所定の演算を
行うことにより、前記アドレス検出ステップで検出され
た前記画像記憶手段のアドレスに対応する前記第２の画
像の画素を求めることを特徴とする請求項５６に記載の
画像処理方法。
【請求項６０】前記予測係数は、学習用の前記第２の
画像を用いて学習を行うことにより求められたものであ
ることを特徴とする請求項５９に記載の画像処理方法。