JP4120898B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP4120898B2 JP4120898B2 JP03247398A JP3247398A JP4120898B2 JP 4120898 B2 JP4120898 B2 JP 4120898B2 JP 03247398 A JP03247398 A JP 03247398A JP 3247398 A JP3247398 A JP 3247398A JP 4120898 B2 JP4120898 B2 JP 4120898B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- pixels
- address
- stored
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関し、特に、例えば、画像の画素数を増加させることにより、走査線と直交する方向の折り返し歪みを低減（除去）したり、高解像度の画像を生成したりすることができるようにする画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
例えば、テレビジョン受像機で受信された画像や、ＶＴＲ（Video Tape Recorder）、ビデオＣＤ（Compact Disc）プレーヤ、ＤＶＤ（Digital Versatile Disc）プレーヤで再生された画像などは、図２６に示すように、左から右方向に走査が繰り返されることにより、例えば、ＣＲＴ（Cathode Ray Tube）などに表示される。
【０００３】
即ち、ＣＲＴの蛍光面に、画像に対応するビームが照射され、これにより、蛍光面の各点が光り、画像が表示される。従って、表示された画像（表示画像）は、そのような点、つまり画素の集合ということができる。
【０００４】
【発明が解決しようとする課題】
表示画像を、上述のように画素の集合と捉えると、表示画像は、元の画像を画素の位置でサンプリングしたディジタル信号と考えることができる。即ち、例えば、自然の風景を撮影して得られる表示画像は、アナログ信号としての実際の自然の風景を、画素の位置をサンプリング点としてサンプリングしたディジタル信号と考えることができる。
【０００５】
従って、元の画像をサンプリングする際に、いわゆるサンプリングの定理（アナログ信号をサンプリングして得られたディジタル信号から、元のアナログ信号を再生するには、アナログ信号の最高周波数の２倍以上の周波数でサンプリングを行う必要があるという定理）を満たしていない場合、表示画像には、折り返し歪みが生じる。
【０００６】
上述したように、画像は、左から右方向に走査が繰り返されることから、その方向、即ち、走査線の方向である水平方向には、サンプリングの定理を満たすように、プリフィルタがかけられることが多いが、走査線と直交する方向である垂直方向には、従来、そのようなプリフィルタがかけられず、このため、表示画像には、垂直方向の折り返し歪みが生じる課題があった。
【０００７】
即ち、例えば、いま、第Ｎフレームの、ある垂直方向に注目し、その垂直方向における元の画像が、図２７（Ａ）に実線で示すように、１ライン（水平走査期間）に対応する周波数の１／２よりも高い周波数の信号成分を有する場合、サンプリングの定理を満たさないことから、折り返し歪みが生じ、表示画像として、元の画像を得ることはできず、同図（Ａ）において点線で示すような信号に対応する画像が得られる。
【０００８】
そして、このような折り返し歪みは、例えば、Ｙ／Ｃ分離や、ノイズ除去、さらには画質改善のための処理、その他の信号処理に弊害を及ぼす。
【０００９】
また、視覚的には、折り返し歪みが生じ、上述したように、図２７（Ａ）に実線で示すような信号が、同図（Ａ）に点線で示すような信号となっても、各画素における画素値が変化しなければ、解像度が悪くなるだけで、視聴者が、それほど大きな違和感を感じることはない。しかしながら、例えば、葉の生い茂った木が風に吹かれている風景などについての画像に関しては、第Ｎフレームでは、図２７（Ａ）に実線で示すような信号が、第Ｎ＋１フレームでは、同図（Ｂ）に示すように変化する。このように折り返し歪みが生じている信号が変化すると、表示画像に、いわゆる画面のざわざわ感が感じられ、これは、視聴者に大きな違和感を感じさせる。
【００１０】
一方、ある１フレームの信号に注目した場合に、その信号は、既に、図２７（Ａ）に点線で示したように、垂直方向の折り返し歪みを含むものであるから、その１フレームの信号のみから、高周波成分を含む元の信号を再生することは、サンプリングの定理から困難であり、また、既に垂直方向の折り返し歪みを有する画像に、垂直方向のプリフィルタをかけて折り返し歪みを除去することも困難である。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、画像から、それに含まれていない元の高周波数成分を含む、より画素数の多い画像、即ち、高解像度の画像を生成することができるようにし、さらに、これにより、例えば、折り返し歪みの除去などを可能にするものである。
【００１２】
【課題を解決するための手段】
本発明の画像処理装置は、動画像を構成する第１の画像に基づいて、前記第１の画像よりも垂直方向の画素数が多い第２の画像を生成する画像処理装置であって、前記第１の画像を受信する受信手段と、時間的に前後する２枚の前記第１の画像の間の動きベクトルを画素よりも細かい単位で検出する動き検出手段と、複数の前記第１の画像を記憶するためのものであって、水平方向の記憶可能画素数が前記第１の画像の水平画素数以上であり、且つ、垂直方向の記憶可能画素数が前記第１の画像の垂直画素数の所定数倍以上である画像記憶手段と、時系列に連続する複数の前記第１の画像を、前記動き検出手段によってそれぞれ検出された前記動きベクトルに対応し、前記画像記憶手段に前記第１の画像を書き込むときの位置を示す相対アドレスの原点を移動した後、前記第１の画像の水平方向の画素列を１列ずつ垂直方向に所定の画素数だけ間隔を空けて前記画像記憶手段に記憶させることにより、前記画像記憶手段上に前記第２の画像を生成する制御手段とを備えることを特徴とする。
【００１３】
本発明の画像処理方法は、動画像を構成する第１の画像に基づいて、前記第１の画像より多い画素数から成る第２の画像を生成する画像処理装置の画像処理方法であって、前記第１の画像を受信する受信ステップと、時間的に前後する２枚の前記第１の画像の間の動きベクトルを画素よりも細かい単位で検出する動き検出ステップと、時系列に連続する複数の前記第１の画像を、前記動き検出ステップの処理でそれぞれ検出された前記動きベクトルに対応し、複数の前記第１の画像を記憶するためのものであって、水平方向の記憶可能画素数が前記第１の画像の水平画素数以上であり、且つ、垂直方向の記憶可能画素数が前記第１の画像の垂直画素数の所定数倍以上である画像記憶手段に前記第１の画像を書き込むときの位置を示す相対アドレスの原点を移動した後、前記第１の画像の水平方向の画素列を１列ずつ垂直方向に所定の画素数だけ間隔を空けて前記画像記憶手段に記憶させることにより、前記画像記憶手段上に前記第２の画像を生成する制御ステップとを含むことを特徴とする。
【００１４】
本発明の画像処理装置および方法においては、時間的に前後する２枚の第１の画像の間の動きベクトルが画素よりも細かい単位で検出され、時系列に連続する複数の前記第１の画像が、それぞれ検出された動きベクトルに対応し、複数の第１の画像を記憶するためのものであって、水平方向の記憶可能画素数が第１の画像の水平画素数以上であり、且つ、垂直方向の記憶可能画素数が第１の画像の垂直画素数の所定数倍以上である画像記憶手段に第１の画像を書き込むときの位置を示す相対アドレスの原点が移動された後、第１の画像の水平方向の画素列が１列ずつ垂直方向に所定の画素数だけ間隔を空けて画像記憶手段に記憶されることにより、画像記憶手段上に第２の画像が生成される。
【００１６】
【発明の実施の形態】
以下に、本発明の実施の形態を説明する。
【００４２】
図１は、本発明を適用したテレビジョン受像機の一実施の形態の構成例を示している。
【００４３】
チューナ１は、図示せぬアンテナで受信された受信信号から、所定のチャンネルのテレビジョン放送信号を検波、復調し、ＬＰＦ（Low Pass Filter）２に出力するようになされている。ＬＰＦ２は、その後段のＡ／Ｄ変換器３でサンプリング（Ａ／Ｄ変換）を行う際に、サンプリングの定理を満たすようにするためのプリフィルタで、チューナ１からのテレビジョン放送信号の高周波数成分を制限し、Ａ／Ｄ変換器３に出力するようになされている。Ａ／Ｄ変換器３は、ＬＰＦ２の出力をサンプリングすることにより、アナログのテレビジョン放送信号を、ディジタル信号に変換し、歪み補正部４に出力するようになされている。歪み補正部４は、Ａ／Ｄ変換器３からのテレビジョン放送信号から、前述したような垂直方向の折り返し歪みを除去（低減）し、Ｄ／Ａ変換器５に出力するようになされている。Ｄ／Ａ変換器５は、歪み補正部４からのディジタルの画像信号をＤ／Ａ変換することによりアナログ信号とし、ＣＲＴ６に出力するようになされている。ＣＲＴ６は、Ｄ／Ａ変換器５の出力に対応した画像を表示するようになされている。
【００４４】
次に、その動作について説明する。
【００４５】
チューナ１では、アンテナで受信された受信信号から、所定のチャンネルのテレビジョン放送信号が検波、復調され、ＬＰＦ２を介してＡ／Ｄ変換器３に出力される。Ａ／Ｄ変換器３では、ＬＰＦ２を介して供給されるテレビジョン放送信号がＡ／Ｄ変換され、歪み補正部４に供給される。
【００４６】
ここで、図示していないが、チューナ１とＬＰＦ２との間、または歪み補正部４とＤ／Ａ変換器５との間には、例えば、Ｙ／Ｃ分離その他の必要な画像処理を行う回路が設けられている。なお、Ａ／Ｄ変換器３では、そこに、Ｙ／Ｃ分離前のコンポジット信号が入力される場合には、例えば、サブキャリアの周波数で、また、Ｙ／Ｃ分離後の信号が入力される場合には、例えば、１３．５ＭＨｚなどで、それぞれサンプリングが行われる。
【００４７】
歪み補正部４は、Ａ／Ｄ変換器３からディジタルの画像信号を受信すると、その画像信号から、垂直方向（水平走査線と直交する方向）の折り返し歪みを除去し、Ｄ／Ａ変換器５を介して、ＣＲＴ６に出力する。これにより、ＣＲＴ６では、折り返し歪みのない画像が表示される。
【００４８】
次に、図１の歪み補正部４における折り返し歪みの除去処理についての詳細を説明するが、その前に、その前段階の準備として、その折り返し歪みの除去（低減）方法の原理について説明する。
【００４９】
歪み補正部４は、垂直方向の折り返し歪みを含む画像から、高周波成分を含む元の画像（例えば、風景を撮影して得られる画像について、その風景を実際に見たときに、人間が視覚的に認識する画像（またはそれにより近い画像））を再生し、それに垂直方向のプリフィルタをかけて垂直方向の高周波数成分をカットすることにより、画像に含まれていた折り返し歪みを除去（折り返し歪みの生じていない画像を生成）するようになされている。
【００５０】
垂直方向の折り返し歪みを含む画像（以下、適宜、歪み画像という）からの元の画像の再生は、次のようにして行われる。
【００５１】
即ち、いま、例えば、図２に示すように、ある垂直方向の１列に注目し、そこにおける元の画像が、同図に実線で示すような、水平走査期間に対応する周波数の１／２よりも高い周波数で周期的に変化し、その位相が時間とともに垂直方向にずれていく三角波で表されるとする。
【００５２】
この場合、ある第Ｎフレームだけに注目すると、図２（Ａ）に点線で示すように、元の画像を走査線上でサンプリングすることにより得られるサンプル値を結んだ、元の画像とはまったく異なる歪み画像が得られる。
【００５３】
次に、第Ｎ＋１フレームでは、そのフレームだけに注目すると、やはり、第Ｎフレームだけに注目した場合と同様に、元の画像とはまったく異なる歪み画像が得られる。
【００５４】
しかしながら、上述したように、歪み画像の位相が時間とともに垂直方向にずれていっているので、第Ｎ＋１フレームで得られる歪み画像は、第Ｎフレームにおける場合とは異なる位置で元の画像をサンプリングすることにより得られるサンプル値を結んだものとなる。
【００５５】
従って、第Ｎフレームにおけるサンプル値のサンプリング点（図２において○印で示す）を、元の画像の位相の変化、つまり歪み画像の動きに対応した位置に移動し、その移動後のサンプリング点におけるサンプル値、および第Ｎ＋１フレームにおけるサンプル値を結べば、その波形は、図２（Ｂ）において点線で示すように、元の画像に近づくことになる。
【００５６】
以下、同様にして、過去のフレームにおけるサンプル値のサンプリング点を、歪み画像の動きに対応した位置に移動し、その移動後のサンプリング点におけるサンプル値、および現在のフレームにおけるサンプル値を結んでいくことにより、図２（Ｃ）乃至図２（Ｅ）に示すように、徐々に、元の画像が再生されていく。
【００５７】
以上のように、歪み画像の動きに対応した位置にサンプリング点を移動していき、その移動後のサンプリング点におけるサンプル値を用いることで、元の画像を再生することができる。即ち、歪み画像の動きに対応した位置に画素を想定していくことで、垂直方向の画素数が増加し、これによりサンプリングの定理が満たされ、その結果、元の画像が得られるようになる。
【００５８】
これは、次のように考えることもできる。即ち、歪み画像は、画面の中の固定の位置にある水平走査線上で、元の画像をサンプリングしたものと捉えることができ、従って、元の画像が動いている場合において、時間的に連続する複数フレームそれぞれの固定の位置にある水平走査線上では、図２に示したように、元の画像の異なる位置の信号がサンプリングされる。従って、そのような、元の画像の異なる位置の信号（サンプル値）を、時間的に連続する複数フレームの歪み画像から集め、その動きにしたがって合成することにより、固定の位置にある水平走査線の間を、いわば埋めて１フレームの画像を構成すれば、元の画像が得られることになる。なお、このことは、時間方向の解像度の、空間解像度への反映ということができる。
【００５９】
以上のようにして、歪み補正部４では、例えば、図３（Ａ）に示すような、時間的に連続する歪み画像の各フレームについて、その動きに対応した位置に、過去のフレームの歪み画像を構成する画素を想定していくことにより、同図（Ｂ）に示すように、垂直方向の画素数、即ち、水平走査線数が増加した、折り返し歪みのない画像が生成されるようになされている。
【００６０】
なお、以上のような歪み画像から元の画像を再生する方法を用いるには、歪み画像（従って、元の画像についても同様）に動きがある必要がある。但し、歪み画像に動きがない場合においては、前述したように、解像度は悪くなるが、画面のざわざわ感は生じないので、折り返し歪みは、視覚的に、それほど問題とならない。
【００６１】
さらに、歪み画像として、その形状が変化するような物体が表示されている場合には、その形状の変化する速さｖ１に対して、物体自体の動き（移動）の速さｖ２が充分速いこと（ｖ１＜＜ｖ２であること）が必要である。但し、このこと（ｖ１＜＜ｖ２であること）は、一般的に成立することが多い。
【００６２】
次に、図４は、図１の歪み補正部４の構成例を示している。なお、ここでは、説明を簡単にするために、例えば、ビデオカメラをパンやチルトすることにより、風景などを撮影することにより得られた、全画面が同一の動きをする歪み画像が入力されるものとする。
【００６３】
フレームメモリ部１１は、連続する２フレームの歪み画像を記憶するようになされている。即ち、フレームメモリ部１１は、現フレームメモリ１１Ａおよび前フレームメモリ１１Ｂを有し、現フレームメモリ１１Ａは、いま入力された現フレームを、前フレームメモリ１１Ｂは、現フレームの１つ前の前フレーム（従って、現フレームが現フレームメモリ１１Ａに供給される直前まで、その現フレームメモリ１１Ａに記憶されていたフレーム）を、それぞれ記憶するようになされている。
【００６４】
動き検出部１２は、フレームメモリ部１１を参照し、現フレームの、前フレームに対する動きを表す動きベクトルを検出し、コントローラ１４に供給するようになされている。なお、上述したように、ここでは、歪み画像として、全画面が同一の動きをするものが入力されるので、全画面（１フレーム）について、１つの動きベクトルが検出されるようになされている。また、ここでは、動き検出部１２は、動きベクトルを構成する成分のうち、折り返し歪みが生じている方向、即ち、垂直方向の成分についてだけは、歪み画像を構成する画素より細かい単位で動きを検出するようになされている。
【００６５】
ここで、画素より細かい単位での動きベクトルの検出は、例えば、次のようにして行うことができる。即ち、例えば、動きベクトルを検出しようとする現フレームの、例えば８×８画素（横×縦）のブロック（以下、適宜、処理対象ブロックという）と同一の大きさで同一の形のブロックを、前フレームの所定の位置に考え、まず最初に、そのブロック（以下、適宜、参照ブロックという）と処理対象ブロックとの、対応する位置にある画素の画素値どうしの差分の絶対値和など（以下、適宜、誤差という）を求める。
【００６６】
画素単位で動きベクトルを検出する場合、参照ブロックを画素単位で種々の位置に移動して得られる誤差のうち、その最小値を与える参照ブロックの位置からの、処理対象ブロックへのベクトルが動きベクトルとされるが、このようにして画素単位で動きベクトルを検出した後、例えば、図５に示すように、誤差と参照ブロックの位置との対応関係を考え、誤差を、例えば直線で線形補間したときに得られる最小値の参照ブロックの位置（図５において×印で示す部分）を求めれば、その位置に対応するベクトルが、画素より細かい単位での動きベクトルとなる。
【００６７】
図４に戻り、シーンチェンジ検出部１３は、フレームメモリ部１１を参照することにより、いわゆるシーンチェンジを検出するようになされている。即ち、シーンチェンジ検出部１３は、例えば、上述した画素単位で動きベクトルを検出する場合と同様にして、現フレームを構成する各ブロックの誤差の最小値を求め、その誤差の最小値の、現フレームを構成するブロックについての総和が所定の閾値以上の場合、前フレームから現フレームにかけてシーンチェンジがあったと判定し、その旨を、コントローラ１４に出力するようになされている。
【００６８】
コントローラ１４は、動き検出部１２からの動きベクトルに基づいて、解像度創造用メモリ部１５における書き込みアドレスおよび読み出しアドレスを制御するようになされている。また、コントローラ１４は、シーンチェンジ検出部１３からシーンチェンジである旨を受信したとき、解像度創造用メモリ部１５における書き込みアドレスおよび読み出しアドレスをリセットするとともに、その記憶値を、所定の初期値にクリアするようにもなされている。
【００６９】
解像度創造用メモリ部１５は、歪み画像の１フレーム分より多い記憶容量を有するメモリなどで構成され、コントローラ１４の制御の下、フレームメモリ部１１の現フレームメモリ１１Ａに記憶された現フレームの画像データを記憶し、また、記憶した画像データを読み出して、垂直ＬＰＦ１６に出力するようになされている。
【００７０】
即ち、解像度創造用メモリ部１５は、例えば、図６に示すように、水平方向（水平走査線の方向）にはＰH’個の画素についての画像データを、垂直方向にはＰV’個の画素についての画像データを、それぞれ記憶することができるようになされている。なお、歪み画像を構成する水平方向または垂直方向の画素数を、それぞれＰHまたはＰVとすると、ここでは、例えば、ＰH’≧ＰH，ＰV’≧４ＰVとなっており、従って、解像度創造用メモリ部１５は、水平方向については、歪み画像を構成する水平方向の画素数と同一の数以上の画素を、垂直方向については、歪み画像を構成する垂直方向の画素数の４倍以上の画素を、それぞれ記憶することができるようになされている。
【００７１】
ここで、解像度創造用メモリ部１５のアドレスについては、絶対アドレスと相対アドレスとが定義されている。絶対アドレスは、例えば、解像度創造用メモリ部１５の最も左上の記憶領域を原点（０，０）とし、水平または垂直方向をそれぞれｘまたはｙ軸としてシーケンシャルに付されており、従って、左からｉ＋１番目で、上からｊ＋１番目の絶対アドレスは、（ｉ，ｊ）となっている。
【００７２】
一方、相対アドレスは、図７に示すように、相対アドレスポインタが指している絶対アドレスを原点とするもので、相対アドレスポインタの左からｉ＋１番目で、上からｊ＋１番目の相対アドレスは、（ｉ，ｊ）と表される。
【００７３】
相対アドレスポインタは、コントローラ１４により制御されるようになされており、解像度創造用メモリ部１５への画像データの書き込み、およびそこからの画像データの読み出しは、相対アドレスポインタを最も左上の点とする、例えば、ＰH×４ＰV画素の範囲（同図において点線で示す部分）（以下、適宜、アクセス範囲という）を対象として行われるようになされている。
【００７４】
ここで、上述のように、解像度創造用メモリ部１５への画像データの書き込みは、アクセス範囲を対象として行われ、ここでは、アクセス範囲の大きさは、ＰH×４ＰV画素の範囲となっている。従って、この場合、アクセス範囲には、水平方向については、歪み画像を構成する水平方向の画素数と同一数の画素の書き込みしかできないが、垂直方向については、歪み画像を構成する垂直方向の画素数の４倍の画素の書き込みをすることができる。このようにしたのは、図２や図３で説明したように、歪み画像の各フレームについて、その動きに対応した位置に画素を想定していくことにより、垂直方向の画素数（水平走査線の数）が増加した、折り返し歪みのない画像を生成（創造）するためである。
【００７５】
即ち、アクセス範囲への１フレームの歪み画像の書き込みは、図８に斜線を付して示すように、水平方向については、相対アドレスポインタが指すアドレスから順次行われていくが、垂直方向については、相対アドレスポインタが指すアドレスから３行おきに行われていく。従って、歪み画像における１画素分の垂直方向の動きは、アクセス範囲においては４画素分に相当し、その結果、歪み画像における１／４画素分単位の垂直方向の動きに対応した位置に画素を想定することができることになる。つまり、垂直方向にだけ注目すれば、歪み画像の動きにしたがってアクセス範囲を１画素より細かい単位（ここでは、歪み画像を構成する画素間の距離の１／４の単位）で移動させることができ、そのようなアクセス範囲に、歪み画像を３行おきに書き込んで行けば、図２や図３で説明したように、水平走査線の間が埋められていき、垂直方向の解像度が４倍となった画像（このように、いわば解像度が創造された画像が得られるので、メモリ部１５を、解像度創造用メモリ部と呼んでいる）、即ち、垂直方向のサンプリング点の数が４倍になった画像が、元の画像として得られることになる。
【００７６】
再び、図４に戻り、解像度創造用メモリ部１５に記憶され、アクセス範囲から読み出された、垂直方向の画素数が増加した画像データは、垂直ＬＰＦ１６に供給されるようになされている。垂直ＬＰＦ１６は、解像度創造用メモリ部１５からの画像データに対して、垂直方向にＬＰＦをかけることにより、その最高周波数成分を、垂直方向のサンプリング点の数が１／４になっても折り返し歪みが生じないように制限し、フレームメモリ部１７に供給するようになされている。フレームメモリ部１７は、例えば、アクセス範囲と同様の記憶容量を有し、垂直ＬＰＦから供給される、垂直方向の最高周波数が制限された画像データを一時記憶し、また、記憶した画像データを、例えば３ライン（３水平走査線）おきに読み出すことにより、１フレームの歪み画像を構成するライン数と同一数のラインからなる画像を構成して出力するようになされている。
【００７７】
次に、図４の歪み補正部４の動作について、図９のフローチャートを参照して説明する。
【００７８】
歪み画像は、フレームメモリ部１１に供給され、現フレームメモリ１１Ａに記憶される。そして、次のフレームの歪み画像が供給されると、その歪み画像が、現フレームとして、現フレームメモリ１１Ａに記憶されるとともに、いままで現フレームメモリ１１Ａに記憶されていた歪み画像が、前フレームとして前フレームメモリ１１Ｂに供給されて記憶される。以下、フレームメモリ部１１では、同様の処理が繰り返される。
【００７９】
フレームメモリ部１１の現フレームメモリ１１Ａにおいて、最初のフレームが記憶されると、シーンチェンジ検出部１３では、シーンチェンジを検出するのと同様にして、最初のフレームが現フレームメモリ１１Ａに記憶されたことが検出され、シーンチェンジがあった旨が、コントローラ１４に知らされる。
【００８０】
ここで、シーンチェンジ検出部１３では、最初のフレームが現フレームメモリ１１Ａに記憶された場合、前フレームメモリ１１Ｂには、まだ画像データが記憶されていないため、両者の差分の絶対値和が大きくなり、上述のように、シーンチェンジが検出されるが、ここでは、シーンチェンジか、または最初のフレームが現フレームメモリ１１Ａに記憶されたのかを区別する必要はないので、問題はない。
【００８１】
コントローラ１４は、シーンチェンジ検出部１３からシーンチェンジ（但し、実際には、上述したように、シーンチェンジではなく、現フレームメモリ１１Ａへの最初のフレームの記憶）を受信すると、ステップＳ１において、解像度創造用メモリ部１５をリセットする。即ち、相対アドレスポインタを、絶対アドレスの原点（０，０）に移動させ、さらに、解像度創造用メモリ部１５の記憶値をすべて、所定の初期値にクリアする。
【００８２】
そして、ステップＳ２に進み、現フレームメモリ１１Ａに記憶された歪み画像が、解像度創造用メモリ部１５に供給されて記憶される。この歪み画像の書き込みは、上述したように、アクセス範囲内に行われ、また、垂直方向については４画素ごと（３画素おき）に行われる。なお、解像度創造用メモリ部１５に歪み画像を書き込むときのアドレス制御は、コントローラ１４によって行われる。
【００８３】
その後、ステップＳ３に進み、アクセス範囲内において、歪み画像の書き込みが行われていない記憶領域の補間が行われる。即ち、ステップＳ２においてのアクセス範囲内への歪み画像の書き込みは、上述したように、垂直方向については、４画素ごとに行われるため、それを、そのまま読み出したのでは、いわば隙間のあいたものとなる。そこで、ステップＳ３では、アクセス範囲内において、歪み画像の書き込みが行われていない記憶領域の補間が行われる。具体的には、ステップＳ２の終了後は、図８に斜線を付して示す部分（ライン）の書き込みしか行われていないので、ステップＳ３では、例えば、その書き込みが行われた部分が、その下の３ラインにコピーされる。
【００８４】
補間が終了すると、ステップＳ４に進み、アクセス範囲内の画像データが読み出され、垂直ＬＰＦ１６およびフレームメモリ部１７を介して出力される。なお、アクセス範囲内の画像データを読み出すときのアドレス制御も、コントローラ１４によって行われる。また、アクセス範囲内からの画像データの読み出しは、書き込み時と異なり、隙間をあけずに、１ラインごとに行われる。
【００８５】
その後、次のフレームがフレームメモリ部１１に供給されると、シーンチェンジ検出部１３では、ステップＳ５において、シーンチェンジがあったかどうかが判定される。ステップＳ５において、シーンチェンジがあったと判定された場合、ステップＳ１に戻り、上述した場合と同様の処理が行われる。
【００８６】
一方、ステップＳ５において、シーンチェンジがなかったと判定された場合、ステップＳ６に進み、動き検出部１２において、動きベクトルが検出される。なお、ここでは、垂直方向については、上述したようにして、１ラインの間隔よりも短い単位で動きベクトルが検出される。動き検出部１２で検出された動きベクトルは、コントローラ１４に供給される。コントローラ１４は、動きベクトルを受信すると、その動きベクトルに対応する分だけ相対アドレスポインタを移動させる。
【００８７】
ここで、相対アドレスポインタは、水平方向については、動きベクトルの水平方向の成分と同一の画素数だけ移動されるが、垂直方向については、動きベクトルの垂直方向の成分を４倍した値を、例えば、四捨五入したものと同一の画素数だけ移動される。これは、アクセス範囲が、上述したように、垂直方向については、歪み画像の４倍の画素数に対応する記憶容量を有するからである。
【００８８】
相対アドレスポインタの移動後は、ステップＳ８に進み、現フレームメモリ１１Ａに記憶された歪み画像（ステップＳ６で動きベクトルが検出された画像）が、解像度創造用メモリ部１５に供給される。そして、その歪み画像は、ステップＳ２における場合と同様にして、アクセス範囲内に、４ラインごとに書き込まれ、ステップＳ９に進む。ステップＳ９では、ステップＳ４における場合と同様に、アクセス範囲内の画像データが読み出され、垂直ＬＰＦ１６およびフレームメモリ部１７を介して出力される。
【００８９】
その後、ステップＳ１０に進み、歪み画像が終了したかどうか、即ち、フレームメモリ部１１への画像の供給がなくなったかどうかが判定される。ステップＳ１０において、歪み画像が終了していないと判定された場合、即ち、さらに次のフレームがフレームメモリ部１１に供給された場合、ステップＳ５に戻り、ステップＳ５でシーンチェンジがあったと判定されるか、またはステップＳ１０で歪み画像が終了したと判定されるまで、ステップＳ５乃至Ｓ１０の処理が繰り返される。また、ステップＳ１０において、歪み画像が終了したと判定された場合、処理を終了する。
【００９０】
ステップＳ５乃至Ｓ１０の処理が繰り返されることにより、アクセス範囲内には、図２や図３で説明したように、歪み画像（第１の画像）の水平走査線の間の、その動きに対応した位置に画素が想定され、これにより、元の画像（第２の画像）が再生されていく。即ち、いま、元の画像に含まれる垂直方向の最高周波数が、歪み画像の水平走査期間の１／４に対応する周波数の１／２以下であったとすれば、ステップＳ５乃至Ｓ１０の処理が数回繰り返されることにより、アクセス範囲内には、垂直方向に充分なサンプリング点（画素）（サンプリングの定理を満足するのに必要なサンプリング点）が想定された、垂直方向の折り返し歪みがない画像が形成されていく。
【００９１】
従って、このような折り返し歪みのない画像に、Ｙ／Ｃ分離や、ノイズ除去、画質改善のための処理、その他の信号処理を施すようにすることにより、従来生じていた弊害を防止することが可能となる。
【００９２】
また、ＣＲＴ６が、歪み画像の４倍の水平走査線を有する高解像度のものであれば、解像度創造用メモリ部１５におけるアクセス範囲内の記憶値を、そのままＣＲＴ６に供給することで、垂直方向の折り返し歪みのない高解像度の画像を表示することが可能となる。
【００９３】
なお、ここでは、解像度創造用メモリ部１５の出力を、垂直ＬＰＦ１６およびフレームメモリ部１７を介することにより、歪み画像と同一の解像度を有する画像を表示することとしているため、解像度は改善されないが、垂直ＬＰＦ１６によって帯域制限されるため、前述したような画面のざわざわ感が生じることはなく、視聴者に大きな違和感を感じさせることを防止することができる。
【００９４】
また、元の画像に含まれる垂直方向の最高周波数が、歪み画像の水平走査期間の１／４に対応する周波数の１／２より高い場合、ステップＳ５乃至Ｓ１０の処理を何回繰り返しても、サンプリングの定理が満たされることはなく、垂直方向の折り返し歪みがない画像は得られない。しかしながら、この場合であっても、垂直方向の画素数は増加するから、垂直方向の折り返し歪みを低減した画像を得ることができ、従って、従来生じていた信号処理上の弊害や、画面のざわざわ感などを低減することができる。
【００９５】
次に、図１０は、図１の歪み補正部４の他の構成例を示している。なお、図中、図４における場合と対応する部分については同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、この歪み補正部４は、領域分割部２１、スイッチ２２Ａおよび２２Ｂ、メモリ２３Ａおよび２３Ｂ、並びに合成部２４が新たに設けられるとともに、コントローラ１４または解像度創造用メモリ部１５に代えて、コントローラ１４Ａと１４Ｂ、または解像度創造用メモリ部１５Ａと１５Ｂがそれぞれ設けられている他は、図４における場合と基本的に同様に構成されている。
【００９６】
また、図４においては、全画面が同一の動きをする歪み画像が入力されるものとしたが、ここでは、１フレームが、異なる動きをする複数の領域としての、例えば、第１と第２の２つの領域からなる歪み画像（例えば、背景となる空を、前景となる航空機が飛行しているものなど）が入力されるものとする。
【００９７】
このように、ここでは、第１と第２の２つの領域からなる歪み画像が入力されるため、領域分割部２１では、動き検出部１２の出力に基づいて、歪み画像が、その第１と第２の２つの領域に分割される。
【００９８】
即ち、動き検出部１２は、図４においては全画面についての１つの動きベクトルを検出するようになされていたが、ここでは、歪み画像を、例えば、８×８画素や１６×１６画素などのブロックに分割したブロック単位で動きベクトルを検出し、そのブロック単位の動きベクトルを、領域分割部２１に出力するようになされている。
【００９９】
領域分割部２１は、動き検出部１２からの動きベクトルや、隣接する画素の画素値どうしの差分その他を用いて領域分割のための処理を行い、さらにスムージングその他の必要な処理を行うことで、歪み画像を構成する第１と第２の領域を認識し（領域分割し）、その認識結果に対応して、スイッチ２２Ａおよび２２Ｂを制御する。即ち、例えば、フレームメモリ部１１から第１の領域を構成する画素の画素値が読み出されるタイミングでは、スイッチ２２Ａをオンにするとともに、スイッチ２２Ｂをオフにし、これにより、第１の領域を構成する画素の画素値をメモリ２３Ａに供給して記憶させる。また、フレームメモリ部１１から第２の領域を構成する画素の画素値が読み出されるタイミングでは、その逆に、スイッチ２２Ａをオフにするとともに、スイッチ２２Ｂをオンにし、これにより、第２の領域を構成する画素の画素値をメモリ２３Ｂに供給して記憶させる。
【０１００】
以上のようにして、歪み画像は、第１と第２の領域に領域分割され、メモリ２３Ａと２３Ｂにそれぞれ記憶される。
【０１０１】
また、領域分割部２１は、第１または第２の領域を代表する１つ動きベクトルを、例えば、その第１または第２の領域に含まれるブロックの動きベクトルに基づいて求め、コントローラ１４Ａまたは１４Ｂにそれぞれ出力する。コントローラ１４Ａおよび解像度創造用メモリ部１５Ａと、コントローラ１４Ｂおよび解像度創造用メモリ部１５Ｂは、いずれも図４のコントローラ１４および解像度創造用メモリ部１５に対応するもので、コントローラ１４および解像度創造用メモリ部１５は、１フレーム全体を対象として処理を行うようになされていたが、コントローラ１４Ａおよび解像度創造用メモリ部１５Ａ、またはコントローラ１４Ｂおよび解像度創造用メモリ部１５Ｂは、メモリ２３Ａまたは２３Ｂに記憶された第１または第２の領域を対象としてそれぞれ処理を行うようになされている。
【０１０２】
従って、ここでは、解像度創造用メモリ部１５Ａまたは１５Ｂそれぞれのアクセス範囲内に、第１または第２の領域の水平走査線の間の位置に画素が想定され、これにより、第１または第２の領域それぞれについて、元の画像が再生（創造）されていく。
【０１０３】
なお、コントローラ１４Ａまたは１４Ｂは、シーンチェンジ検出部１３からシーンチェンジである旨を受信すると、コントローラ１４における場合と同様に、解像度創造用メモリ部１５Ａまたは１５Ｂをそれぞれリセットするようになされている。
【０１０４】
解像度創造用メモリ部１５Ａまたは１５Ｂそれぞれのアクセス範囲内に記憶された、水平走査線の間の位置に画素が想定された第１または第２の領域は、いずれも合成部２４に供給され、そこで合成される。これにより、第１と第２の領域からなる、垂直方向の折り返し歪みのない高解像度の画像が形成され、この画像は、垂直ＬＰＦ１６およびフレームメモリ部１７を介して出力される。
【０１０５】
以上のように、第１と第２の２つの領域からなる歪み画像であっても、各領域ごとに処理を行うことで、垂直方向の折り返し歪みのない（低減された）画像を得ることができる。
【０１０６】
なお、上述の場合においては、歪み画像が２つの領域からなるものとしたが、歪み画像が３以上の領域からなるものである場合には、その３以上の領域それぞれを処理して合成するようにすれば良い。
【０１０７】
さらに、上述の場合には、垂直方向の折り返し歪みを除去するようにしたが、画像に、水平方向の折り返し歪みが含まれる場合には、その折り返し歪みも同様にして除去することが可能である。即ち、例えば、水平方向について、周波数帯域の制限が行われていない場合においては、それにより生じる水平方向の折り返し歪みを、上述した場合と同様にして除去することが可能である。
【０１０８】
また、上述の場合には、垂直方向に、歪み画像の画素数（水平走査線数）の４倍の数の画素を想定するようにしたが、想定する画素数は、これに限定されるものではない。
【０１０９】
さらに、アクセス範囲は、図７に示した相対アドレスポインタの位置によっては、解像度創造用メモリ部１５の記憶領域からはみ出す場合があるが、このような場合、そのはみ出し部分は、例えば、解像度創造用メモリ部１５の記憶領域の中の、その記憶領域が周辺に繰り返し存在すると仮定したときの位置に確保される。即ち、いま、Ｘ≧ＰH’，Ｙ≧ＰV’として、絶対アドレスが（Ｘ，Ｙ）で表される位置が、アクセス範囲に含まれるようになった場合、その位置は、絶対アドレスが（ｍｏｄ（Ｘ，ＰH’），ｍｏｄ（Ｙ，ＰV’））で表される解像度創造用メモリ部１５の記憶領域に確保される。但し、ｍｏｄ（ａ，ｂ）は、ａをｂで除算したときの剰余を表す。
【０１１０】
また、上述の場合には、歪み画像の動きを、その歪み画像を構成する画素より細かい単位で検出し、その動きに対応する位置に画素を想定することで、折り返し歪みのない元の画像を復元するようにしたが、この復元は、例えば、次のようにして行うことも可能である。即ち、いま、折り返し歪みのない元の画像をＰと表すとともに、歪み画像をＰ’と表すと、両者の関係は、次式で表すことができる。
【０１１１】
Ｐ’＝ｆ（Ｐ）
但し、ｆ（）は、括弧内の画像をサブサンプルする関数を表す。
【０１１２】
この場合、ｆ（）の逆関数をｇ（）と表すと、式Ｐ＝ｇ（Ｐ’）が成り立つ。
【０１１３】
従って、歪み画像Ｐ’の、元の画像Ｐへの復元は、歪み画像の動きを検出しなくても、原理的には、関数ｇ（）が分かれば行うことができる。
【０１１４】
即ち、上述したように、本発明は、元の画像Ｐの異なる位置の信号（サンプル値）を、時間的に連続する複数フレームの歪み画像Ｐ’から集め、固定の位置にある水平走査線の間を埋めて元の画像Ｐを構成するものであるから、関数ｇ（）は、例えば、元の画像Ｐを教師データとするとともに、その元の画像Ｐをサブサンプルして得られる、時間的に連続する複数フレームの歪み画像Ｐ’を学習データとして、学習を行うことにより求めることが可能であり、元の画像Ｐの復元は、このようにして求めた関数ｇ（）によって行うようにすることも可能である。
【０１１５】
次に、図２で説明したように、画像の動きに対応した位置に画素を想定していくことで、その画像の画素数を増加させることは、折り返し歪みの除去の他、例えば、標準解像度または低解像度の画像（以下、適宜、ＳＤ（Standard Definition）画像という）を、高解像度の画像（以下、適宜、ＨＤ（High Definition）画像という）に変換したり、また、画像を拡大したりする場合などにも適用することができる。
【０１１６】
そこで、図１１は、ＳＤ画像のテレビジョン放送信号を、ＨＤ画像に変換して表示するテレビジョン受像機の一実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。即ち、図１１のテレビジョン受像機は、歪み補正部４またはＣＲＴ６に代えて、解像度変換部３４またはＣＲＴ３６がそれぞれ設けられている他は、図１のテレビジョン受像機と基本的に同様に構成されている。
【０１１７】
解像度変換部３４は、Ａ／Ｄ変換器３からのＳＤ画像を、ＨＤ画像に変換し、Ｄ／Ａ変換器５に供給するようになされている。ＣＲＴ３６は、ＨＤ画像に対応する高解像度のＣＲＴで、解像度変換部３４から、Ｄ／Ａ変換器５を介して供給されるＨＤ画像を表示するようになされている。
【０１１８】
図１２は、図１１の解像度変換部３４の構成例を示している。なお、図中、図４または図１０の歪み補正部４における場合と対応する部分については、同一の符号を付してある。
【０１１９】
即ち、解像度変換部３４においては、図１０におけるコントローラ１４Ａ、解像度創造用メモリ部１５Ａ、スイッチ２２Ａ、およびメモリ２３Ａや、コントローラ１４Ｂ、解像度創造用メモリ部１５Ｂ、スイッチ２２Ｂ、およびメモリ２３Ｂに対応する、Ｍ個の高解像度オブジェクト生成部４１1乃至４１Mが設けられている。但し、高解像度オブジェクト生成部４１mは（ｍ＝１，２，・・・，Ｍ）、図１０におけるコントローラ１４Ａ、解像度創造用メモリ部１５Ａ、スイッチ２２Ａ、およびメモリ２３Ａや、コントローラ１４Ｂ、解像度創造用メモリ部１５Ｂ、スイッチ２２Ｂ、およびメモリ２３Ｂに対応するコントローラ１４、解像度創造用メモリ部１５、スイッチ２２、およびメモリ２３の他に、書き込みフラグ記憶部４２および画素生成部４３を有している。
【０１２０】
書き込みフラグ記憶部４２は、解像度創造用メモリ部１５が記憶する画素数と同一数の書き込みフラグを記憶するようになされている。ここで、書き込みフラグは、解像度創造用メモリ部１５の、対応するアドレスに、ＳＤ画像の画素が記憶されているかどうかを表す１ビットのフラグで、例えば、記憶されている場合は１にセットされ、記憶されていない場合は０にリセットされるようになされている。この書き込みフラグは、コントローラ１４によって、セット／リセットされるようになされている。なお、解像度創造用メモリ部１５の、あるアドレスに、ＳＤ画像の画素が記憶されていない場合、そのアドレスにおける記憶値は、初期値になっていることから、書き込みフラグは、解像度創造用メモリ部１５の記憶値が、初期値かどうかを表すフラグであるということもできる。
【０１２１】
画素生成部４３は、書き込みフラグ記憶部４２を参照して、解像度創造用メモリ部１５から読み出された記憶値が、初期値かどうかを判定し、初期値である場合には、その記憶値のアドレスに対応するＨＤ画像の画素を、解像度創造用メモリ部１５の、初期値以外の記憶値、即ち、コントローラ１４によって、解像度創造用メモリ部１５に書き込まれたＳＤ画像の画素を用いて生成するようになされている。
【０１２２】
なお、ここでは、例えば、図１３に示すように、ＳＤ画像を構成する水平方向または垂直方向の画素数を、それぞれＰHまたはＰVとすると、解像度創造用メモリ部１５が記憶可能な水平方向、垂直方向の画素数ＰH’，ＰV’は、ＰH’≧２ＰH，ＰV’≧２ＰVとなっており、従って、解像度創造用メモリ部１５は、水平方向および垂直方向のいずれについても、ＳＤ画像を構成する画素数の２倍以上の画素を記憶することができるようになされている。また、アクセス範囲は、図１３に示すように、相対アドレスポインタを最も左上の点とする２ＰH×２ＰV画素の範囲とされている。
【０１２３】
さらに、動き検出部１２では、水平方向および垂直方向のいずれの方向についても、ＳＤ画像の画素より細かい単位で動きが検出されるようになされている。
【０１２４】
ここで、高解像度オブジェクト生成部４１1乃至４１Mは、いずれも同様に構成されるため、以下では、そのうちの、例えば、高解像度オブジェクト生成部４１1についてだけ説明する。
【０１２５】
以上のように構成される解像度変換部３４では、Ａ／Ｄ変換器３からのＳＤ画像が、その水平方向または垂直方向の解像度（画素数）を、例えば、それぞれ２倍にしたＨＤ画像に変換される。
【０１２６】
即ち、フレームメモリ部１１に対しては、Ａ／Ｄ変換器３（図１１）から、ＳＤ画像が供給され、そこでは、Ａ／Ｄ変換器３からのＳＤ画像が、上述したようにして、順次記憶されていく。
【０１２７】
そして、動き検出部１２において、フレームメモリ部１１に記憶されたＳＤ画像の動きベクトルが、水平方向および垂直方向とも、そのＳＤ画像の画素よりも細かい単位で検出され、領域分割部２１に供給される。
【０１２８】
領域分割部２１は、動き検出部１２からの動きベクトルや、隣接する画素の画素値どうしの差分その他を用いて領域分割のための処理を行い、さらにスムージングその他の必要な処理を行うことで、ＳＤ画像を、それを構成する幾つかのオブジェクトの領域に領域分割し、その領域分割結果に対応して、スイッチ２２を制御する。即ち、例えば、フレームメモリ部１１から、所定のオブジェクトの領域を構成する画素（ＳＤ画像の画素（以下、適宜、ＳＤ画素という））の画素値が読み出されるタイミングでは、スイッチ２２をオンにするとともに、他の高解像度オブジェクト生成部４１2乃至４１Mが内蔵するスイッチをすべてオフにし、これにより、所定のオブジェクトの領域を構成するＳＤ画素（画素値）を、メモリ２３に供給して記憶させる。
【０１２９】
また、領域分割部２１は、メモリ２３にＳＤ画素を記憶させたオブジェクトの領域を代表する１つ動きベクトルを、その領域に含まれるブロックの動きベクトルに基づいて求め、コントローラ１４に出力する。コントローラ１４は、解像度創造用メモリ部１５における相対アドレスポインタを、領域分割部２１からの動きベクトルにしたがって移動し、その移動後の相対アドレスポインタを最も左上の頂点とするアクセス範囲に、メモリ２３に記憶されたＳＤ画素を記憶させる。さらに、コントローラ１４は、書き込みフラグ記憶部４２に記憶されている書き込みフラグのうち、ＳＤ画素を書き込んだ解像度創造用メモリ部１５のアドレスに対応するものを、１にセットする。なお、アクセス範囲へのＳＤ画素の書き込みは、ここでは、水平および垂直方向とも、１つおき（２画素ごと）に行われる。
【０１３０】
従って、ここでは、解像度創造用メモリ部１５のアクセス範囲内に、垂直方向だけでなく、水平方向にも画素が想定され、これにより、ＳＤ画像の水平方向および垂直方向の画素数を、いずれも２倍にしたＨＤ画像が再生（創造）されていく。
【０１３１】
なお、コントローラ１４は、シーンチェンジ検出部１３からシーンチェンジである旨を受信すると、解像度創造用メモリ部１５をリセット（クリア）する他、書き込みフラグ記憶部４２もリセットする（書き込みフラグすべてを０にリセットする）ようになされている。
【０１３２】
解像度創造用メモリ部１５のアクセス範囲内における記憶値は、すべて、コントローラ１４の制御の下、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）として読み出され、画素生成部４３に供給される。画素生成部４３は、ＨＤ画素として読み出された記憶値が、初期値かどうかを、書き込みフラグ記憶部４２を参照することにより判定（検出）し、即ち、ＨＤ画素として読み出された値が、メモリ２３から書き込まれたＳＤ画素であるかどうかを判定し、その判定結果に基づいて、ＨＤ画素を生成する。
【０１３３】
即ち、ここでは、図１３に示したように、アクセス範囲は、１画面のＳＤ画像の水平方向または垂直方向の画素数を、それぞれ２倍にした数に対応するアドレス空間を有し、また、アクセス範囲は、動きベクトルにしたがって移動されるから、アクセス範囲が、常時、その全体に、ＳＤ画素が書き込まれた状態になっているとは限らない。そこで、画素生成部４３は、アクセス範囲内の各アドレスの記憶値が、ＳＤ画素であるかどうかを判定し、ＳＤ画素である場合には、そのＳＤ画素を、そのままＨＤ画素として出力し、ＳＤ画素でない場合、即ち、シーンチェンジの検出後に書き込まれた初期値である場合には、アクセス範囲に、既に書き込まれているＳＤ画素を用いて、ＨＤ画素を生成して出力するようになされている。
【０１３４】
以上のようにして、画素生成部４３が出力する、所定のオブジェクトを構成するＨＤ画素は、合成部２４に供給される。
【０１３５】
合成部２４には、他の高解像度オブジェクト生成部４１2乃至４１Mが、高解像度オブジェクト生成部４１1と同様にして生成するＨＤ画素で構成される他のオブジェクトも供給されるようになされており、合成部２４では、これらのＨＤ画素で構成されるオブジェクトが合成され、これにより、ＳＤ画像の水平方向または垂直方向の画素数（解像度）をそれぞれ２倍にしたＨＤ画像が形成される。
【０１３６】
このＨＤ画像は、Ｄ／Ａ変換器５（図１１）を介して、ＣＲＴ３６に供給されて表示される。
【０１３７】
次に、図１４のフローチャートを参照して、図１２の高解像度オブジェクト生成部４１1における解像度創造用メモリ部１５へのＳＤ画素の書き込み処理について、さらに説明する。
【０１３８】
図１４の書き込み処理は、メモリ２３に、１フレームにおける、所定のオブジェクトを構成するＳＤ画素が記憶されるごとに行われる。
【０１３９】
即ち、メモリ２３に、１フレームの所定のオブジェクトを構成するＳＤ画素が記憶されると、まず最初に、コントローラ１４は、ステップＳ１１において、シーンチェンジ検出部１３からの出力を参照することにより、シーンチェンジが生じたかどうかを判定する。ステップＳ１１において、シーンチェンジが生じたと判定された場合、ステップＳ１２に進み、解像度創造メモリ部１５がリセットされる。即ち、図９のステップＳ１における場合と同様に、相対アドレスポインタが、例えば、絶対アドレスの原点（０，０）に移動されるとともに、解像度創造用メモリ部１５の記憶値がすべて、所定の初期値にクリアされる。
【０１４０】
そして、ステップＳ１３に進み、コントローラ１４は、さらに、書き込みフラグ記憶部４２に記憶されている書き込みフラグをすべて０にリセット（クリア）し、ステップＳ１４に進む。ステップＳ１４では、相対アドレスポインタを最も左上の頂点とするアクセス範囲内に、メモリ２３に記憶されたＳＤ画素が書き込まれる。
【０１４１】
なお、ここでは、アクセス範囲へのＳＤ画素の書き込みは、水平方向および垂直方向のいずれについても、相対アドレスポインタが指すアドレスから１つおきに行われていき、これにより、ＳＤ画像における１／２画素分単位の水平方向および垂直方向の動きに対応した位置に画素が想定される。
【０１４２】
メモリ２３に記憶されたオブジェクトのＳＤ画素の、解像度創造用メモリ部１５への書き込みが終了すると、ステップＳ１４からＳ１５に進み、コントローラ１５は、書き込みフラグ記憶部４２に記憶されている書き込みフラグのうち、ＳＤ画素が書き込まれた解像度創造用メモリ部１５のアドレスに対応する書き込みフラグを、１にセットし、書き込み処理を終了する。
【０１４３】
一方、ステップＳ１１において、シーンチェンジが生じていないと判定された場合、ステップＳ１６に進み、コントローラ１４は、領域分割部２１が出力する動きベクトルに対応して、相対アドレスポインタを移動し、ステップＳ１４に進む。ステップＳ１４では、その移動後の相対アドレスポインタを最も左上の頂点とするアクセス範囲内に、メモリ２３に記憶されたＳＤ画素が、上述したように書き込まれ、ステップＳ１５に進み、ＳＤ画素が書き込まれた解像度創造用メモリ部１５のアドレスに対応する書き込みフラグが１にセットされて、書き込み処理を終了する。
【０１４４】
以上のような書き込み処理が行われていくことにより、解像度創造用メモリ部１５には、ＳＤ画像の水平方向または垂直方向それぞれの解像度を２倍にしたＨＤ画像が形成されていく。
【０１４５】
即ち、例えば、いま、あるＳＤ画像を構成する三角形のオブジェクトが、図１５（Ａ）乃至図１５（Ｄ）に示すように移動しており、第Ｎフレームでは、ＳＤ画素ａ乃至ｅで（図１５（Ａ））、第Ｎ＋１フレームでは、ＳＤ画素ｆ，ｇで（図１５（Ｂ））、第Ｎ＋２フレームでは、ＳＤ画素ｈ乃至ｋで（図１５（Ｃ））、第Ｎ＋３フレームでは、ＳＤ画素ｌ，ｍで、それぞれ、オブジェクトが構成されるとする。
【０１４６】
この場合、第ＮフレームにおけるＳＤ画素ａ乃至ｅは、図１５（Ｅ）に示すように、相対アドレスポインタを最も左上の頂点とするアクセス範囲内における水平および垂直方向とも１つおきのアドレスに書き込まれる。ここで、図１５（Ｅ）においては（図１５（Ｆ）乃至図１５（Ｈ）においても同様）、ＳＤ画素が書き込まれたアドレスを、斜線を付して示してある。
【０１４７】
さらに、第Ｎ＋１フレームにおけるＳＤ画素ｆ，ｇの書き込み時においては、相対アドレスポインタが、オブジェクトの動きに対応して移動され、画素ｆ，ｇは、図１５（Ｆ）に示すように、その移動後の相対アドレスポインタを最も左上の頂点とするアクセス範囲内における水平および垂直方向とも１つおきのアドレスに書き込まれる。また、第Ｎ＋２フレームにおけるＳＤ画素ｈ乃至ｇの書き込み時においても、相対アドレスポインタが、オブジェクトの動きに対応して移動され、ＳＤ画素ｈ乃至ｇは、図１５（Ｇ）に示すように、その移動後の相対アドレスポインタを最も左上の頂点とするアクセス範囲内における水平および垂直方向とも１つおきのアドレスに書き込まれる。そして、第Ｎ＋３フレームにおけるＳＤ画素ｌ，ｍの書き込み時においても、相対アドレスポインタが、オブジェクトの動きに対応して移動され、ＳＤ画素ｌ，ｍは、図１５（Ｈ）に示すように、その移動後の相対アドレスポインタを最も左上の頂点とするアクセス範囲内における水平および垂直方向とも１つおきのアドレスに書き込まれる。
【０１４８】
以上のように、ＳＤ画像の動きを、ＳＤ画素単位よりも細かい単位で検出し、その動きにしたがって、相対アドレスポインタを移動して、ＳＤ画素を、その移動後の相対アドレスポインタを最も左上の頂点とするアクセス範囲内における水平および垂直方向とも１つおきのアドレスに書き込んでいくことで、水平および垂直方向とも、ＳＤ画像の２倍の画素数となったＨＤ画像を形成することができる。
【０１４９】
次に、図１６のフローチャートを参照して、図１２の高解像度オブジェクト生成部４１1における解像度創造用メモリ部１５からのＨＤ画素の読み出し処理について、さらに説明する。
【０１５０】
図１６の読み出し処理は、図１４の書き込み処理が終了するごとに行われる。
【０１５１】
即ち、あるフレームについての、解像度創造用メモリ部１５へのＳＤ画素の書き込みが終了すると、コントローラ２１は、ステップＳ２１において、解像度創造用メモリ部１５のアクセス範囲内の記憶値を読み出し、画素生成部４３に供給する。
【０１５２】
画素生成部４３は、アクセス範囲内の、所定のアドレスの記憶値を受信すると、ステップＳ２２において、書き込みフラグ記憶部４２を参照することで、そのアドレスに対応する書き込みフラグがセットされているかどうかを判定する。ステップＳ２２において、所定のアドレスに対応する書き込みフラグがセットされていないと判定された場合、即ち、そのアドレスに、まだＳＤ画素が記憶されておらず（前回のシーンチェンジが検出されてから、まだＳＤ画素が書き込まれておらず）、従って、そのアドレスが、図１４のステップＳ１２においてリセットされたままの状態であり（以下、適宜、このようなアドレスを、未記憶アドレスという）、そこに初期値が記憶されている場合、ステップＳ２３に進み、その未記憶アドレスに対応するＨＤ画素を生成する生成処理が行われ、ステップＳ２４に進む。この場合、ステップＳ２４では、ステップＳ２３で生成されたＨＤ画素が、合成部２４に出力される。
【０１５３】
即ち、上述したように、アクセス範囲が、常時、その全体に、ＳＤ画素が書き込まれた状態になっているとは限らないため、画素生成部４３では、ＳＤ画素が書き込まれていないアドレス（未記憶アドレス）については、ＳＤ画素が、既に書き込まれているアドレス（以下、適宜、既記憶アドレスという）に記憶されている、そのＳＤ画素を用いて、未記憶アドレスに対応するＨＤ画素が生成される。
【０１５４】
一方、ステップＳ２２において、所定のアドレスに対応する書き込みフラグがセットされていると判定された場合、即ち、そのアドレスに、ＳＤ画素が記憶されている場合（前回のシーンチェンジが検出されてから、ＳＤ画素の書き込みがあった場合）、ステップＳ２３をスキップして、ステップＳ２４に進み、その記憶されているＳＤ画素が、ＨＤ画素として、そのまま、合成部２４に出力される。
【０１５５】
ステップＳ２４の処理後は、ステップＳ２５に進み、アクセス範囲内における記憶値がすべて読み出されたかどうかが判定される。ステップＳ２５において、アクセス範囲内における記憶値（但し、ここでは、オブジェクトに対応する記憶値）が、まだ、すべて読み出されていないと判定された場合、ステップＳ２１に戻り、まだ読み出されていない記憶値を対象に、同様の処理が繰り返される。一方、ステップＳ２５において、アクセス範囲内における記憶値が、すべて読み出されたと判定された場合、読み出し処理を終了する。
【０１５６】
次に、図１７のフローチャートを参照して、図１６におけるステップＳ２３のＨＤ画素の生成処理について説明する。なお、この生成処理は、上述したように、画素生成部４３において行われる。
【０１５７】
画素生成部４３は、まず最初に、ステップＳ３１において、既記憶アドレスに記憶されている画素のうち、未記憶アドレスに対応する画素の周辺にあるもの（以下、適宜、既記憶周辺画素という）を検出する。なお、この検出は、書き込みフラグ記憶部４２を参照することで行われる。
【０１５８】
そして、ステップＳ３２に進み、画素生成部４３は、解像度創造用メモリ部１５から、ステップＳ３１で検出した既記憶周辺画素を読み出し、ステップＳ３３に進む。ステップＳ３３では、画素生成部４３は、ステップＳ３２で読み出した既記憶周辺画素を用いて、未記憶アドレスに対応する画素を生成し、リターンする。
【０１５９】
ここで、既記憶周辺画素を用いての、未記憶アドレスに対応する画素の生成方法としては、例えば、線形補間などがある。
【０１６０】
ところで、線形補間などの単純な補間では、未記憶アドレスに対応する画素として、既記憶周辺画素に含まれていない高周波成分を含むものは生成することができない。
【０１６１】
そこで、本件出願人は、ＳＤ画像を、そこに含まれていない高周波成分をも含むＨＤ画像に変換する画像変換装置を先に提案しているが、未記憶アドレスに対応する画素の生成には、この画像変換装置を適用することができる。
【０１６２】
この画像変換装置においては、ＳＤ画像と、所定の予測係数との線形結合により、ＨＤ画像の画素の予測値を求める適応処理を行うことで、ＳＤ画像には含まれていない高周波成分が復元されるようになされている。
【０１６３】
即ち、例えば、いま、ＨＤ画像を構成するＨＤ画素の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１６４】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【０１６５】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【０１６６】
ＸＷ＝Ｙ’
・・・（２）
【０１６７】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【０１６８】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【０１６９】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
を最小にすることで求めることができる。
【０１７０】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１７１】
【数４】
・・・（４）
【０１７２】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【０１７３】
【数５】
・・・（５）
【０１７４】
式（４）および（５）より、式（６）が得られる。
【０１７５】
【数６】
・・・（６）
【０１７６】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１７７】
【数７】
・・・（７）
【０１７８】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１７９】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０１８０】
なお、適応処理は、ＳＤ画像には含まれていない、ＨＤ画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。即ち、容易に、高解像度の画像を得ることができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０１８１】
図１８は、以上のような適応処理により、ＳＤ画像をＨＤ画像に変換する画像変換装置の構成例を示している。
【０１８２】
ＳＤ画像は、クラス分類部２０１および適応処理部２０４に供給されるようになされている。クラス分類部２０１は、クラスタップ生成回路２０２およびクラス分類回路２０３で構成され、そこでは、適応処理により予測値を求めようとするＨＤ画素（以下、適宜、注目画素という）が、その注目画素に対応するＳＤ画像の画素の性質に基づいて、所定のクラスにクラス分類される。
【０１８３】
即ち、クラスタップ生成回路２０２では、注目画素に対応するＳＤ画素として、例えば、注目画素に対して所定の位置関係にある複数のＳＤ画素（以下、適宜、クラスタップという）が、クラス分類部２０１に供給されるＳＤ画像から抽出され、クラス分類回路２０３に供給される。クラス分類回路２０３では、クラスタップ生成回路２０２からのクラスタップを構成するＳＤ画素の画素値のパターン（画素値の分布）が検出され、そのパターンにあらかじめ割り当てられた値が、注目画素のクラスとして、適応処理部２０３に供給される。
【０１８４】
具体的には、例えば、いま、ＨＤ画像が、図１９において、×印で示す画素（ＨＤ画素）で構成され、ＳＤ画像が、同図において、○印で示す画素（ＳＤ画素）で構成されるとする。即ち、ＳＤ画像が、ＨＤ画像の横または縦の画素数をそれぞれ１／２にして構成されるとする。ここで、図１９においては、左からｉ＋１番目で、上からｊ＋１番目のＳＤ画素（図中、○印で示す部分）をＸi,jと表し、同様に、左からｉ’＋１番目で、上からｊ’＋１番目のＨＤ画素（図中、×印で示す部分）をＹi',j'と表す。この場合、ＳＤ画素Ｘi,jの位置と、ＨＤ画素Ｙ2i,2jの位置とは一致する。
【０１８５】
いま、あるＳＤ画素としての、例えばＸ2,2の位置と一致するＨＤ画素Ｙ4,4を注目画素とすると、クラスタップ生成回路２０２では、そのＨＤ画素Ｙ4,4に対応するＳＤ画素として、例えば、ＨＤ画素Ｙ4,4との相関が高いと予想されるＨＤ画素Ｙ4,4の位置と一致するＳＤ画素Ｘ2,2を中心とする３×３（横×縦）のＳＤ画素Ｘ1,1，Ｘ2,1，Ｘ3,1，Ｘ1,2，Ｘ2,2，Ｘ3,2，Ｘ1,3，Ｘ2,3，Ｘ3,3（図１９において点線で囲んである範囲のＳＤ画素）が抽出され、それが、注目画素（ＨＤ画素）Ｙ4,4のクラスタップとされる。
【０１８６】
また、ここでは、例えば、Ｘ2,2の位置と一致するＨＤ画素Ｙ4,4の右隣のＨＤ画素Ｙ5,4が注目画素とされた場合、Ｘ2,2の位置と一致するＨＤ画素Ｙ4,4の下に隣接するＨＤ画素Ｙ4,5が注目画素とされた場合、およびＸ2,2の位置と一致するＨＤ画素Ｙ4,4の右斜め下に隣接するＨＤ画素Ｙ5,5が注目画素とされた場合においても、クラスタップ生成回路２０２では、ＨＤ画素Ｙ4,4が注目画素とされた場合に形成されるクラスタップと同一のクラスタップが形成される。なお、ＨＤ画素Ｙ4,4，Ｙ5,4，Ｙ4,5，Ｙ5,5がそれぞれ注目画素とされた場合に形成するクラスタップは、異なるものとすることも可能である。
【０１８７】
そして、クラス分類回路２０３では、クラスタップ生成回路２０２で構成されたクラスタップとしての９個のＳＤ画素（画素値）のパターンが検出され、そのパターンに対応する値が、注目画素のクラスとして出力される。
【０１８８】
このクラスは、適応処理部２０４における係数ＲＯＭ（Read Only Memory）２０７のアドレス端子（ＡＤ）に供給される。
【０１８９】
ここで、画像を構成する画素には、一般的に、８ビットなどが割り当てられる。いま、ＳＤ画素に８ビットが割り当てられているとすると、例えば、図１９に示した３×３画素の正方形状のクラスタップだけを考えても、画素値のパターン数は、（２8）9通りという莫大な数となり、その後の処理の迅速化が困難となる。
【０１９０】
そこで、クラス分類を行う前の前処理として、クラスタップには、それを構成するＳＤ画素のビット数を低減するための処理である、例えばＡＤＲＣ（Adaptive Dynamic Range Coding）処理などが施される。
【０１９１】
即ち、ＡＤＲＣ処理では、まず、処理ブロックを構成する９個のＳＤ画素から、その画素値の最大のもの（以下、適宜、最大画素という）と最小のもの（以下、適宜、最小画素という）とが検出される。そして、最大画素の画素値ＭＡＸと最小画素の画素値ＭＩＮとの差分ＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、このＤＲを処理ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、処理ブロックを構成する各画素値が、元の割当ビット数より少ないＫビットに再量子化される。つまり、処理ブロックを構成する各画素値から最小画素の画素値ＭＩＮが減算され、各減算値が、ＤＲ／２Kで除算される。
【０１９２】
その結果、処理ブロックを構成する各画素値はＫビットで表現されるようになる。従って、例えばＫ＝１とした場合、９個のＳＤ画素の画素値のパターン数は、（２1）9通りになり、ＡＤＲＣ処理を行わない場合に比較して、パターン数を非常に少ないものとすることができる。
【０１９３】
一方、適応処理部２０４は、予測タップ生成回路２０５、予測演算回路２０６、および係数ＲＯＭ２０７で構成され、そこでは、適応処理が行われる。
【０１９４】
即ち、予測タップ生成回路２０５では、適応処理部２０４に供給されるＳＤ画像から、予測演算回路２０６において注目画素の予測値を求めるのに用いる、その注目画素に対して所定の位置関係にある複数のＳＤ画素が抽出され、これが予測タップとして、予測演算回路２０６に供給される。
【０１９５】
具体的には、例えば、ＨＤ画素Ｙ4,4が注目画素とされ、図１９で説明したようなクラスタップが構成される場合、予測タップ生成回路２０５では、例えば、ＨＤ画素Ｙ4,4との相関が高いと予想されるＳＤ画素として、同図に実線で囲んで示す範囲の、注目画素Ｙ4,4の位置に一致するＳＤ画素Ｘ2,2を中心とする５×５のＳＤ画素が抽出され、これが、注目画素（ＨＤ画素）Ｙ4,4の予測タップとされる。
【０１９６】
なお、ここでは、ＨＤ画素Ｙ5,4，Ｙ4,5，Ｙ5,5が注目画素とされた場合においても、ＨＤ画素Ｙ4,4が注目画素とされた場合に形成される予測タップと同一の予測タップが形成される。但し、ＨＤ画素Ｙ4,4，Ｙ5,4，Ｙ4,5，Ｙ5,5がそれぞれ注目画素とされた場合に形成する予測タップは、異なるものとすることも可能である。
【０１９７】
そして、予測演算回路２０６には、予測タップ生成回路２０５から予測タップが供給される他、係数ＲＯＭ２０７から予測係数も供給される。
【０１９８】
即ち、係数ＲＯＭ２０７は、あらかじめ学習が行われることにより求められた予測係数を、クラスごとに記憶しており、クラス分類回路２０３からクラスが供給されると、そのクラスに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路２０６に供給する。
【０１９９】
これにより、予測演算回路２０６には、注目画素に対応する予測タップと、その注目画素のクラスについての予測係数とが供給される。そして、予測演算回路２０６では、係数ＲＯＭ２０７からの予測係数ｗ1，ｗ2，・・・と、予測タップ生成回路２０５からの予測タップ（を構成するＳＤ画素）ｘ1，ｘ2，・・・とを用いて、式（１）に示した演算が行われることにより、注目画素（ＨＤ画素）ｙの予測値Ｅ［ｙ］が求められ、これが、ＨＤ画素の画素値として出力される。
【０２００】
以上の処理が、すべてのＨＤ画素を注目画素として行われ、これにより、ＳＤ画像がＨＤ画像に変換される。
【０２０１】
次に、図２０は、図１８の係数ＲＯＭ２０７に記憶させる予測係数を算出する学習処理を行う学習装置の構成例を示している。
【０２０２】
学習における教師データｙとなるべきＨＤ画像（学習用のＨＤ画像）が、間引き回路２１１および教師データ抽出回路１４６に供給されるようになされており、間引き回路２１１では、ＨＤ画像が、例えば、その画素数が間引かれることにより少なくされ、これによりＳＤ画像とされる。即ち、間引き回路２１１では、ＨＤ画像の横または縦の画素数がそれぞれ１／２にされ、これにより、ＳＤ画像が形成される。このＳＤ画像は、クラス分類部２１２および予測タップ生成回路１４５に供給される。
【０２０３】
クラス分類部２１２または予測タップ生成回路１４５では、図１８のクラス分類部２０１または予測タップ生成回路２０５における場合と同様の処理が行われ、これにより注目画素のクラスまたは予測タップがそれぞれ出力される。クラス分類部２１２が出力するクラスは、予測タップメモリ１４７および教師データメモリ１４８のアドレス端子（ＡＤ）に供給され、予測タップ生成回路１４５が出力する予測タップは、予測タップメモリ１４７に供給される。
【０２０４】
予測タップメモリ１４７では、クラス分類部２１２から供給されるクラスに対応するアドレスに、予測タップ生成回路１４５から供給される予測タップが記憶される。
【０２０５】
一方、教師データ抽出回路１４６では、クラス分類部２１２および予測タップ生成回路１４５において注目画素とされるＨＤ画素が、そこに供給されるＨＤ画像から抽出され、教師データとして、教師データメモリ１４８に供給される。
【０２０６】
そして、教師データメモリ１４８では、クラス分類部２１２から供給されるクラスに対応するアドレスに、教師データ抽出回路１４６から供給される教師データが記憶される。
【０２０７】
以上の処理が、あらかじめ学習用に用意されたすべてのＨＤ画像（学習用のＨＤ画像）を構成するすべてのＨＤ画素を、順次、注目画素として行われる。
【０２０８】
その結果、教師データメモリ１４８または予測タップメモリ１４７の同一のアドレスには、そのアドレスに対応するクラスのＨＤ画素、またはそのＨＤ画素にについて図１９において説明した予測タップを構成する位置にあるＳＤ画素が、教師データｙまたは学習データｘとして、それぞれ記憶される。
【０２０９】
なお、予測タップメモリ１４７と教師データメモリ１４８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、同一のクラスに分類される複数の学習データｘと教師データｙを記憶することができるようになされている。
【０２１０】
その後、演算回路１４９は、予測タップメモリ１４７または教師データメモリ１４８から、同一アドレスに記憶されている学習データとしての予測タップまたは教師データとしてのＨＤ画素を読み出し、それらを用いて、例えば、最小自乗法によって、予測値と教師データとの間の誤差を最小にする予測係数を算出する。即ち、演算回路１４９では、クラスごとに、式（７）に示した正規方程式がたてられ、これを解くことにより予測係数が求められる。
【０２１１】
以上のようにして、演算回路１４９で求められたクラスごとの予測係数が、図１８の係数ＲＯＭ２０７における、そのクラスに対応するアドレスに記憶されている。
【０２１２】
なお、上述の場合では、ＨＤ画素Ｙ4,4，Ｙ5,4，Ｙ4,5，Ｙ5,5がそれぞれ注目画素とされた場合に形成するクラスタップ、予測タップをそれぞれ同一のものとしたため、予測係数は、ＨＤ画素Ｙ4,4，Ｙ5,4，Ｙ4,5，Ｙ5,5それぞれについて、それぞれ教師データとして、個別に、正規方程式をたてて求める必要がある。
【０２１３】
適応処理によれば、元のＳＤ画像には含まれていない高周波成分を含んだＨＤ画像を得ることができ、また、注目画素について、クラス分類処理を行い、その結果得られるクラスに対応した予測係数を用いて適応処理を行うことで、注目画素に適した適応処理を施すことができる。
【０２１４】
なお、上述したクラス分類処理および適応処理（以下、適宜、クラス分類適応処理という）によって、未記憶アドレスに対応するＨＤ画素を、既記憶周辺画素から生成する場合においては、図１９に示したクラスタップや予測タップを形成するための既記憶周辺画素が存在しないことがあり、この場合、図１９に示したような、クラスタップや予測タップを形成することができない。従って、未記憶アドレスに対応する画素を、クラス分類適応処理によって生成するには、存在する既記憶周辺画素を用いて、適応的に、クラスタップや予測タップを形成する必要があり、そのために、学習時には、種々の形状のクラスタップや予測タップを形成して、予測係数を求めておく必要がある。
【０２１５】
次に、上述の場合においては、図１３に示したように、解像度創造用メモリ部１５を、水平方向および垂直方向のいずれについても、ＳＤ画像を構成する画素数の２倍以上の画素を記憶することができるように構成するとともに、アクセス範囲を、相対アドレスポインタを最も左上の点とする２ＰH×２ＰV画素の範囲、即ち、ＨＤ画像の１画面と同一の範囲としたため、ＳＤ画像の動きベクトルのｘ成分およびｙ成分が、１／２の奇数倍になっていれば、その動きベクトルを２倍したベクトルにしたがって、相対アドレスポインタを移動することにより、水平方向のＳＤ画素どうしの中点や、垂直方向のＳＤ画素どうしの間の中点に画素が想定され、従って、解像度の良いＨＤ画像を得ることができる。
【０２１６】
しかしながら、ＳＤ画像の動きベクトルのｘ成分およびｙ成分が、常時、１／２の奇数倍になるとは限らない。また、ＳＤ画像の動きベクトルのｘ成分およびｙ成分が、１／２の奇数倍になっていない場合に、その動きベクトルを２倍したもののｘおよびｙ成分を、例えば、図９で説明したように四捨五入したベクトルにしたがって、相対アドレスポインタを移動することとすると、本来、水平方向のＳＤ画素どうしの中点や、垂直方向のＳＤ画素どうしの間の中点からずれた位置に想定されるべき画素が、そのような中点に想定されることになり、得られるＨＤ画像の解像度が劣化することになる。なお、このことは、ＳＤ画像の動きベクトルのｘ成分やｙ成分が、１／２の奇数倍になっていない場合の他、１／２の偶数倍になっていない場合も同様である。
【０２１７】
そこで、ＳＤ画像の動きベクトルのｘ，ｙ成分が、１／２の整数倍から、大きくはずれている場合には、そのＳＤ画像を構成するＳＤ画素を、解像度創造用メモリ部１５に書き込まないようにすることができる。この場合、本来、水平方向のＳＤ画素どうしの中点や、垂直方向のＳＤ画素どうしの間の中点から大きくずれた位置に想定されるべき画素が、そのような中点に想定されることに起因する、ＨＤ画像の解像度の劣化を防止（低減）することができる。
【０２１８】
ところで、ＳＤ画像の動きベクトルのｘ，ｙ成分が、１／２の整数倍から、大きくはずれている場合に、そのＳＤ画像を構成するＳＤ画素を、解像度創造用メモリ部１５に書き込まないようにしたときには、書き込むようにしたときと比較して、解像度創造用メモリ部１５に書き込まれるＳＤ画素の数が少なくなり、画素生成部４３において生成するＨＤ画素の数が多くなる。そして、画素生成部４３では、解像度創造用メモリ部１５に、既に記憶されたＳＤ画素を用いて、ＨＤ画素が生成されるから、解像度創造用メモリ部１５に書き込まれるＳＤ画素の数が少なくなると、画素生成部４３において生成されるＨＤ画素の精度が悪化することになる。
【０２１９】
そこで、例えば、図２１に示すように、解像度創造用メモリ部１５を、水平方向および垂直方向のいずれについても、ＳＤ画像を構成する画素数の４倍以上の画素を記憶することができるように構成し、また、アクセス範囲も、相対アドレスポインタを最も左上の点とする４ＰH×４ＰV画素の範囲、即ち、ここでは、水平方向および垂直方向のいずれについても、ＨＤ画像を構成する画素数の２倍の範囲とするようにする。
【０２２０】
そして、ＳＤ画像の動きベクトルを４倍したもののｘおよびｙ成分を、例えば、図９で説明したように四捨五入したベクトルにしたがって、相対アドレスポインタを移動して、アクセス範囲に、ＳＤ画素を、水平および垂直方向のアドレスとも３つおきに書き込むこととする。但し、この場合でも、ＳＤ画像の動きベクトルのｘ，ｙ成分が、１／４の整数倍から、大きくはずれているときには、そのＳＤ画像を構成するＳＤ画素を、解像度創造用メモリ部１５に書き込まないようにする。
【０２２１】
以上のようにアクセス範囲を拡大することで、解像度創造用メモリ部１５に書き込まれるＳＤ画素の数を増加させることができる。
【０２２２】
ここで、例えば、図２２に示すように、第Ｎ−４フレームから第Ｎフレームにかけて移動するオブジェクトを構成するＳＤ画素を、４ＰH×４ＰV画素の範囲とされたアクセス範囲に、上述したように書き込んだ状態を、図２３に示す。
【０２２３】
ところで、以上のように、アクセス範囲を、４ＰH×４ＰV画素の範囲とした場合において、２ＰH×２ＰV画素で構成されるＨＤ画像を得るには、図２３に示した、水平方向と垂直方向との点線の交点上のＳＤ画素だけを、アクセス範囲から読み出せば良い。即ち、アクセス範囲内における記憶値を、水平および垂直方向とも１つおきに読み出せば良い。
【０２２４】
しかしながら、この場合でも、図２３に示した、水平方向と垂直方向との点線の交点上に、ＳＤ画素が書き込まれていないことがある。この場合、対応するＨＤ画素は、上述したように、既記憶周辺画素を用いて生成することとなるが、その生成時においては、図２３を拡大した図２４に示すように、水平方向と垂直方向との点線の交点上にある既記憶周辺画素の他、そのような交点上にない既記憶周辺画素も用いることができる。このように、交点上にない既記憶周辺画素も用いて、ＨＤ画素を生成する場合には、より解像度の高いＨＤ画像を得ることが可能となる。
【０２２５】
ここで、この場合、ＨＤ画素の生成は、上述した線形補間や、クラス分類処理および適応処理による他、例えば、そのＨＤ画素に最も近い位置にある既記憶周辺画素への置き換えなどによって行うことも可能である。
【０２２６】
なお、アクセス範囲内のアドレスのうち、既に、ＳＤ画素が記憶されているアドレスに、新たにＳＤ画素が供給された場合には、その新たなＳＤ画素を上書きしても良いし、既に記憶されているＳＤ画素の動きベクトルと、新たなＳＤ画素の動きベクトルとを比較し、動きベクトルのｘ，ｙ成分が、１／４の整数倍に最も近い方を、優先的に記憶させるようにしても良い。但し、動きベクトルのｘ，ｙ成分が、１／４の整数倍に最も近い方を、優先的に記憶させるようにする場合には、解像度創造用メモリ部１５に既に記憶されているＳＤ画素の動きベクトルを記憶するためのメモリなどが必要となる。
【０２２７】
次に、ＳＤ画像が、複数（Ｍ個以下）の異なる動きのオブジェクトから構成される場合には、解像度変換部３４は、図１２に示したように構成する必要があるが、ＳＤ画像が、例えば、ビデオカメラをパンやチルトすることにより、風景などを撮影することにより得られた、全画面が同一の動きをするものである場合には、解像度変換部３４は、例えば、図２５に示すように構成することができる。
【０２２８】
即ち、図２５は、図１１の解像度変換部３４の他の構成例を示している。なお、図中、図１２における場合と対応する部分については、同一の符号を付してある。即ち、図２５の解像度変換部３４は、領域分割部２１および合成部２４が設けられておらず、Ｍ個の高解像度オブジェクト生成部４１1乃至４１Mに替えて、１の高解像度オブジェクト生成部４１が設けられ、さらに、高解像度オブジェクト生成部４１には、スイッチ２２およびメモリ２３が設けられていない他は、図１２における場合と同様に構成されている。
【０２２９】
以上のように構成される解像度変換部３４では、図１２における場合と同様に、フレームメモリ部１１に対して、Ａ／Ｄ変換器３（図１１）から、ＳＤ画像が供給され、そこでは、Ａ／Ｄ変換器３からのＳＤ画像が、順次記憶されていく。
【０２３０】
そして、動き検出部１２において、フレームメモリ部１１に記憶されたＳＤ画像の動きベクトルが、水平方向および垂直方向とも、そのＳＤ画像の画素よりも細かい単位で検出され、コントローラ１４に供給される。なお、上述したように、ここでは、ＳＤ画像として、全画面が同一の動きをするものが入力されるので、全画面（１フレーム）について、１つの動きベクトルが検出されるようになされている。
【０２３１】
コントローラ１４は、解像度創造用メモリ部１５における相対アドレスポインタを、動き検出部１２からの動きベクトルにしたがって移動し、その移動後の相対アドレスポインタを最も左上の頂点とするアクセス範囲に、フレームメモリ部１１の現フレームメモリ１１Ａに記憶された１フレーム分のＳＤ画素を記憶させる。さらに、コントローラ１４は、書き込みフラグ記憶部４２に記憶されている書き込みフラグのうち、ＳＤ画素を書き込んだ解像度創造用メモリ部１５のアドレスに対応するものを、１にセットする。なお、アクセス範囲（従って、解像度創造用メモリ部１５も）としては、例えば、図１３で説明した範囲が設定されており、従って、アクセス範囲へのＳＤ画素の書き込みは、ここでは、水平および垂直方向とも、１つおきに行われる。
【０２３２】
以上のようにして、解像度創造用メモリ部１５のアクセス範囲内には、垂直方向だけでなく、水平方向にも画素が想定され、ＳＤ画像の水平方向および垂直方向の画素数を、いずれも２倍にしたＨＤ画像が再生（創造）されていく。
【０２３３】
なお、シーンチェンジ検出部１３は、上述したようにして、ＳＤ画像のシーンチェンジを検出しており、コントローラ１４は、シーンチェンジ検出部１３からシーンチェンジである旨を受信すると、解像度創造用メモリ部１５をリセットするとともに、書き込みフラグ記憶部４２もリセットするようになされている。
【０２３４】
解像度創造用メモリ部１５のアクセス範囲内における記憶値は、コントローラ１４の制御の下、ＨＤ画像を構成するＨＤ画素として読み出され、画素生成部４３に供給される。画素生成部４３は、ＨＤ画素として読み出された記憶値が、初期値かどうかを、書き込みフラグ記憶部４２を参照することにより判定し、即ち、ＨＤ画素として読み出された値が、フレームメモリ１１から書き込まれたＳＤ画素であるかどうかを判定し、その判定結果に基づいて、ＨＤ画素を生成する。
【０２３５】
即ち、ここでは、上述の図１３に示したように、アクセス範囲は、１画面のＳＤ画像の水平方向または垂直方向の画素数を、それぞれ２倍にした数に対応するアドレス空間を有し、また、アクセス範囲は、動きベクトルにしたがって移動されるから、アクセス範囲が、常時、その全体に、ＳＤ画素が書き込まれた状態になっているとは限らない。そこで、画素生成部４３は、アクセス範囲内の各アドレスの記憶値が、ＳＤ画素であるかどうかを判定し、ＳＤ画素である場合には、そのＳＤ画素を、そのままＨＤ画素として出力し、ＳＤ画素でない場合、即ち、シーンチェンジの検出後に書き込まれた初期値である場合には、アクセス範囲に、既に書き込まれているＳＤ画素を用いて、ＨＤ画素を生成して出力する。なお、既に書き込まれているＳＤ画素からのＨＤ画素の生成は、例えば、上述したような単純な補間によって行っても良いし、クラス分類適応処理によって行っても良い。
【０２３６】
以上のようにして、画素生成部４３が出力するＨＤ画素で構成される１フレームのＨＤ画像、即ち、ここでは、ＳＤ画像の水平方向または垂直方向の画素数（解像度）をそれぞれ２倍にしたＨＤ画像は、Ｄ／Ａ変換器５（図１１）を介して、ＣＲＴ３６に供給されて表示される。
【０２３７】
なお、図２５の実施の形態においても、例えば、図２１に示したように、解像度創造用メモリ部１５を、水平方向および垂直方向のいずれについても、ＳＤ画像を構成する画素数の４倍以上の画素を記憶することができるように構成するとともに、アクセス範囲も、相対アドレスポインタを最も左上の点とする４ＰH×４ＰV画素の範囲、即ち、水平方向および垂直方向のいずれについても、ＨＤ画像を構成する画素数の２倍の範囲とするようにすることが可能であり、この場合、より解像度の高いＨＤ画像を得ることが可能となる。
【０２３８】
以上、本発明を、折り返し歪みを有する画像からの、その折り返し歪みの除去（低減）、およびＳＤ画像のＨＤ画像への変換に適用した場合について説明したが、本発明は、その他、例えば、画像を拡大する場合や、インターレース走査された画像を、プログレッシブな画像（ノンインターレース走査される画像）に変換する場合などにも適用可能である。
【０２３９】
なお、本実施の形態では、フレーム単位の画像を処理するようにしたが、フィールド単位で処理を行うことも可能である。
【０２４０】
また、本実施の形態では、画像をＣＲＴに表示するようにしたが、本発明は、画像を液晶ディスプレイなどに表示する場合などにも適用可能である。
【０２４１】
さらに、本実施の形態では、テレビジョン受像機において、アナログのテレビジョン放送を受信するようにしたが、本発明は、ディジタル放送を受信する場合にも適用可能である。
【０２４２】
【発明の効果】
以上の如く、本発明の画像処理装置および画像処理方法によれば、第１の画像の動きに対応した位置に画素を想定することにより、第２の画像が生成される。従って、例えば、第１の画像が折り返し歪みを有する場合に、その折り返し歪みを除去または低減した第２の画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したテレビジョン受像機の一実施の形態の構成を示すブロック図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の原理を説明するための図である。
【図４】図１の歪み補正部４の構成例を示すブロック図である。
【図５】画素より細かい単位での動きベクトルの検出方法を説明するための図である。
【図６】図４の解像度創造用メモリ部１５の構成例を示す図である。
【図７】相対アドレスポインタとアクセス範囲を説明するための図である。
【図８】アクセス範囲への画像データの書き込み方法を説明するための図である。
【図９】図４の歪み補正部４の動作を説明するためのフローチャートである。
【図１０】図１の歪み補正部４の他の構成例を示すブロック図である。
【図１１】本発明を適用したテレビジョン受像機の他の実施の形態の構成例を示すブロック図である。
【図１２】図１１の解像度変換部３４の構成例を示すブロック図である。
【図１３】図１２の解像度創造用メモリ部１５の構成例を示す図である。
【図１４】図１２の解像度創造用メモリ部１５への書き込み処理を説明するためのフローチャートである。
【図１５】解像度創造用メモリ部１５に、ＳＤ画像が記憶されていく様子を示す図である。
【図１６】図１２の解像度創造用メモリ部１５からの読み出し処理を説明するためのフローチャートである。
【図１７】図１６のステップＳ２３の処理のより詳細を説明するためのフローチャートである。
【図１８】ＳＤ画像からＨＤ画像を生成する画像変換装置の構成例を示すブロック図である。
【図１９】クラスタップおよび予測タップを示す図である。
【図２０】図１８の係数ＲＯＭ２０７に記憶されている予測係数を求める学習を行う学習装置の構成例を示すブロック図である。
【図２１】図１２の解像度創造用メモリ部１５の構成例を示す図である。
【図２２】ＳＤ画像を構成するオブジェクトが移動している様子を示す図である。
【図２３】ＳＤ画素が書き込まれたアクセス範囲を示す図である。
【図２４】図２３のアクセス範囲の記憶値からの、ＨＤ画素の生成方法を説明するための図である。
【図２５】図１１の解像度変換部３４の他の構成例を示すブロック図である。
【図２６】ＣＲＴに画像が表示されるときの走査の様子を示す図である。
【図２７】垂直方向の折り返し歪みを説明するための図である。
【符号の説明】
１ チューナ， ２ ＬＰＦ， ３ Ａ／Ｄ変換器， ４ 歪み補正部， ５Ｄ／Ａ変換器， ６ ＣＲＴ， １１ フレームメモリ部， １１Ａ 現フレームメモリ， １１Ｂ 前フレームメモリ， １２ 動き検出部， １３ シーンチェンジ検出部， １４，１４Ａ，１４Ｂ コントローラ， １５，１５Ａ，１５Ｂ 解像度創造用メモリ部， １６ 垂直ＬＰＦ， １７ フレームメモリ部， ２１ 領域分割部， ２２Ａ，２２Ｂ スイッチ， ２３Ａ，２３Ｂ メモリ， ２４ 合成部， ３４ 解像度変換部， ３６ ＣＲＴ， ４１，４１1乃至４１M 高解像度オブジェクト生成部， ４２ 書き込みフラグ記憶部， ４３ 画素生成部， １４５ 予測タップ生成回路， １４６ 教師データ抽出回路， １４７ 予測タップメモリ， １４８ 教師データメモリ， １４９ 演算回路， ２０１ クラス分類部， ２０２ クラスタップ生成回路， ２０３ クラス分類回路， ２０４ 適応処理部， ２０５ 予測タップ生成回路，２０６ 予測演算回路， ２０７ 係数ＲＯＭ， ２１１ 間引き回路， ２１２ クラス分類部
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関し、特に、例えば、画像の画素数を増加させることにより、走査線と直交する方向の折り返し歪みを低減（除去）したり、高解像度の画像を生成したりすることができるようにする画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
例えば、テレビジョン受像機で受信された画像や、ＶＴＲ（Video Tape Recorder）、ビデオＣＤ（Compact Disc）プレーヤ、ＤＶＤ（Digital Versatile Disc）プレーヤで再生された画像などは、図２６に示すように、左から右方向に走査が繰り返されることにより、例えば、ＣＲＴ（Cathode Ray Tube）などに表示される。
【０００３】
即ち、ＣＲＴの蛍光面に、画像に対応するビームが照射され、これにより、蛍光面の各点が光り、画像が表示される。従って、表示された画像（表示画像）は、そのような点、つまり画素の集合ということができる。
【０００４】
【発明が解決しようとする課題】
表示画像を、上述のように画素の集合と捉えると、表示画像は、元の画像を画素の位置でサンプリングしたディジタル信号と考えることができる。即ち、例えば、自然の風景を撮影して得られる表示画像は、アナログ信号としての実際の自然の風景を、画素の位置をサンプリング点としてサンプリングしたディジタル信号と考えることができる。
【０００５】
従って、元の画像をサンプリングする際に、いわゆるサンプリングの定理（アナログ信号をサンプリングして得られたディジタル信号から、元のアナログ信号を再生するには、アナログ信号の最高周波数の２倍以上の周波数でサンプリングを行う必要があるという定理）を満たしていない場合、表示画像には、折り返し歪みが生じる。
【０００６】
上述したように、画像は、左から右方向に走査が繰り返されることから、その方向、即ち、走査線の方向である水平方向には、サンプリングの定理を満たすように、プリフィルタがかけられることが多いが、走査線と直交する方向である垂直方向には、従来、そのようなプリフィルタがかけられず、このため、表示画像には、垂直方向の折り返し歪みが生じる課題があった。
【０００７】
即ち、例えば、いま、第Ｎフレームの、ある垂直方向に注目し、その垂直方向における元の画像が、図２７（Ａ）に実線で示すように、１ライン（水平走査期間）に対応する周波数の１／２よりも高い周波数の信号成分を有する場合、サンプリングの定理を満たさないことから、折り返し歪みが生じ、表示画像として、元の画像を得ることはできず、同図（Ａ）において点線で示すような信号に対応する画像が得られる。
【０００８】
そして、このような折り返し歪みは、例えば、Ｙ／Ｃ分離や、ノイズ除去、さらには画質改善のための処理、その他の信号処理に弊害を及ぼす。
【０００９】
また、視覚的には、折り返し歪みが生じ、上述したように、図２７（Ａ）に実線で示すような信号が、同図（Ａ）に点線で示すような信号となっても、各画素における画素値が変化しなければ、解像度が悪くなるだけで、視聴者が、それほど大きな違和感を感じることはない。しかしながら、例えば、葉の生い茂った木が風に吹かれている風景などについての画像に関しては、第Ｎフレームでは、図２７（Ａ）に実線で示すような信号が、第Ｎ＋１フレームでは、同図（Ｂ）に示すように変化する。このように折り返し歪みが生じている信号が変化すると、表示画像に、いわゆる画面のざわざわ感が感じられ、これは、視聴者に大きな違和感を感じさせる。
【００１０】
一方、ある１フレームの信号に注目した場合に、その信号は、既に、図２７（Ａ）に点線で示したように、垂直方向の折り返し歪みを含むものであるから、その１フレームの信号のみから、高周波成分を含む元の信号を再生することは、サンプリングの定理から困難であり、また、既に垂直方向の折り返し歪みを有する画像に、垂直方向のプリフィルタをかけて折り返し歪みを除去することも困難である。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、画像から、それに含まれていない元の高周波数成分を含む、より画素数の多い画像、即ち、高解像度の画像を生成することができるようにし、さらに、これにより、例えば、折り返し歪みの除去などを可能にするものである。
【００１２】
【課題を解決するための手段】
本発明の画像処理装置は、動画像を構成する第１の画像に基づいて、前記第１の画像よりも垂直方向の画素数が多い第２の画像を生成する画像処理装置であって、前記第１の画像を受信する受信手段と、時間的に前後する２枚の前記第１の画像の間の動きベクトルを画素よりも細かい単位で検出する動き検出手段と、複数の前記第１の画像を記憶するためのものであって、水平方向の記憶可能画素数が前記第１の画像の水平画素数以上であり、且つ、垂直方向の記憶可能画素数が前記第１の画像の垂直画素数の所定数倍以上である画像記憶手段と、時系列に連続する複数の前記第１の画像を、前記動き検出手段によってそれぞれ検出された前記動きベクトルに対応し、前記画像記憶手段に前記第１の画像を書き込むときの位置を示す相対アドレスの原点を移動した後、前記第１の画像の水平方向の画素列を１列ずつ垂直方向に所定の画素数だけ間隔を空けて前記画像記憶手段に記憶させることにより、前記画像記憶手段上に前記第２の画像を生成する制御手段とを備えることを特徴とする。
【００１３】
本発明の画像処理方法は、動画像を構成する第１の画像に基づいて、前記第１の画像より多い画素数から成る第２の画像を生成する画像処理装置の画像処理方法であって、前記第１の画像を受信する受信ステップと、時間的に前後する２枚の前記第１の画像の間の動きベクトルを画素よりも細かい単位で検出する動き検出ステップと、時系列に連続する複数の前記第１の画像を、前記動き検出ステップの処理でそれぞれ検出された前記動きベクトルに対応し、複数の前記第１の画像を記憶するためのものであって、水平方向の記憶可能画素数が前記第１の画像の水平画素数以上であり、且つ、垂直方向の記憶可能画素数が前記第１の画像の垂直画素数の所定数倍以上である画像記憶手段に前記第１の画像を書き込むときの位置を示す相対アドレスの原点を移動した後、前記第１の画像の水平方向の画素列を１列ずつ垂直方向に所定の画素数だけ間隔を空けて前記画像記憶手段に記憶させることにより、前記画像記憶手段上に前記第２の画像を生成する制御ステップとを含むことを特徴とする。
【００１４】
本発明の画像処理装置および方法においては、時間的に前後する２枚の第１の画像の間の動きベクトルが画素よりも細かい単位で検出され、時系列に連続する複数の前記第１の画像が、それぞれ検出された動きベクトルに対応し、複数の第１の画像を記憶するためのものであって、水平方向の記憶可能画素数が第１の画像の水平画素数以上であり、且つ、垂直方向の記憶可能画素数が第１の画像の垂直画素数の所定数倍以上である画像記憶手段に第１の画像を書き込むときの位置を示す相対アドレスの原点が移動された後、第１の画像の水平方向の画素列が１列ずつ垂直方向に所定の画素数だけ間隔を空けて画像記憶手段に記憶されることにより、画像記憶手段上に第２の画像が生成される。
【００１６】
【発明の実施の形態】
以下に、本発明の実施の形態を説明する。
【００４２】
図１は、本発明を適用したテレビジョン受像機の一実施の形態の構成例を示している。
【００４３】
チューナ１は、図示せぬアンテナで受信された受信信号から、所定のチャンネルのテレビジョン放送信号を検波、復調し、ＬＰＦ（Low Pass Filter）２に出力するようになされている。ＬＰＦ２は、その後段のＡ／Ｄ変換器３でサンプリング（Ａ／Ｄ変換）を行う際に、サンプリングの定理を満たすようにするためのプリフィルタで、チューナ１からのテレビジョン放送信号の高周波数成分を制限し、Ａ／Ｄ変換器３に出力するようになされている。Ａ／Ｄ変換器３は、ＬＰＦ２の出力をサンプリングすることにより、アナログのテレビジョン放送信号を、ディジタル信号に変換し、歪み補正部４に出力するようになされている。歪み補正部４は、Ａ／Ｄ変換器３からのテレビジョン放送信号から、前述したような垂直方向の折り返し歪みを除去（低減）し、Ｄ／Ａ変換器５に出力するようになされている。Ｄ／Ａ変換器５は、歪み補正部４からのディジタルの画像信号をＤ／Ａ変換することによりアナログ信号とし、ＣＲＴ６に出力するようになされている。ＣＲＴ６は、Ｄ／Ａ変換器５の出力に対応した画像を表示するようになされている。
【００４４】
次に、その動作について説明する。
【００４５】
チューナ１では、アンテナで受信された受信信号から、所定のチャンネルのテレビジョン放送信号が検波、復調され、ＬＰＦ２を介してＡ／Ｄ変換器３に出力される。Ａ／Ｄ変換器３では、ＬＰＦ２を介して供給されるテレビジョン放送信号がＡ／Ｄ変換され、歪み補正部４に供給される。
【００４６】
ここで、図示していないが、チューナ１とＬＰＦ２との間、または歪み補正部４とＤ／Ａ変換器５との間には、例えば、Ｙ／Ｃ分離その他の必要な画像処理を行う回路が設けられている。なお、Ａ／Ｄ変換器３では、そこに、Ｙ／Ｃ分離前のコンポジット信号が入力される場合には、例えば、サブキャリアの周波数で、また、Ｙ／Ｃ分離後の信号が入力される場合には、例えば、１３．５ＭＨｚなどで、それぞれサンプリングが行われる。
【００４７】
歪み補正部４は、Ａ／Ｄ変換器３からディジタルの画像信号を受信すると、その画像信号から、垂直方向（水平走査線と直交する方向）の折り返し歪みを除去し、Ｄ／Ａ変換器５を介して、ＣＲＴ６に出力する。これにより、ＣＲＴ６では、折り返し歪みのない画像が表示される。
【００４８】
次に、図１の歪み補正部４における折り返し歪みの除去処理についての詳細を説明するが、その前に、その前段階の準備として、その折り返し歪みの除去（低減）方法の原理について説明する。
【００４９】
歪み補正部４は、垂直方向の折り返し歪みを含む画像から、高周波成分を含む元の画像（例えば、風景を撮影して得られる画像について、その風景を実際に見たときに、人間が視覚的に認識する画像（またはそれにより近い画像））を再生し、それに垂直方向のプリフィルタをかけて垂直方向の高周波数成分をカットすることにより、画像に含まれていた折り返し歪みを除去（折り返し歪みの生じていない画像を生成）するようになされている。
【００５０】
垂直方向の折り返し歪みを含む画像（以下、適宜、歪み画像という）からの元の画像の再生は、次のようにして行われる。
【００５１】
即ち、いま、例えば、図２に示すように、ある垂直方向の１列に注目し、そこにおける元の画像が、同図に実線で示すような、水平走査期間に対応する周波数の１／２よりも高い周波数で周期的に変化し、その位相が時間とともに垂直方向にずれていく三角波で表されるとする。
【００５２】
この場合、ある第Ｎフレームだけに注目すると、図２（Ａ）に点線で示すように、元の画像を走査線上でサンプリングすることにより得られるサンプル値を結んだ、元の画像とはまったく異なる歪み画像が得られる。
【００５３】
次に、第Ｎ＋１フレームでは、そのフレームだけに注目すると、やはり、第Ｎフレームだけに注目した場合と同様に、元の画像とはまったく異なる歪み画像が得られる。
【００５４】
しかしながら、上述したように、歪み画像の位相が時間とともに垂直方向にずれていっているので、第Ｎ＋１フレームで得られる歪み画像は、第Ｎフレームにおける場合とは異なる位置で元の画像をサンプリングすることにより得られるサンプル値を結んだものとなる。
【００５５】
従って、第Ｎフレームにおけるサンプル値のサンプリング点（図２において○印で示す）を、元の画像の位相の変化、つまり歪み画像の動きに対応した位置に移動し、その移動後のサンプリング点におけるサンプル値、および第Ｎ＋１フレームにおけるサンプル値を結べば、その波形は、図２（Ｂ）において点線で示すように、元の画像に近づくことになる。
【００５６】
以下、同様にして、過去のフレームにおけるサンプル値のサンプリング点を、歪み画像の動きに対応した位置に移動し、その移動後のサンプリング点におけるサンプル値、および現在のフレームにおけるサンプル値を結んでいくことにより、図２（Ｃ）乃至図２（Ｅ）に示すように、徐々に、元の画像が再生されていく。
【００５７】
以上のように、歪み画像の動きに対応した位置にサンプリング点を移動していき、その移動後のサンプリング点におけるサンプル値を用いることで、元の画像を再生することができる。即ち、歪み画像の動きに対応した位置に画素を想定していくことで、垂直方向の画素数が増加し、これによりサンプリングの定理が満たされ、その結果、元の画像が得られるようになる。
【００５８】
これは、次のように考えることもできる。即ち、歪み画像は、画面の中の固定の位置にある水平走査線上で、元の画像をサンプリングしたものと捉えることができ、従って、元の画像が動いている場合において、時間的に連続する複数フレームそれぞれの固定の位置にある水平走査線上では、図２に示したように、元の画像の異なる位置の信号がサンプリングされる。従って、そのような、元の画像の異なる位置の信号（サンプル値）を、時間的に連続する複数フレームの歪み画像から集め、その動きにしたがって合成することにより、固定の位置にある水平走査線の間を、いわば埋めて１フレームの画像を構成すれば、元の画像が得られることになる。なお、このことは、時間方向の解像度の、空間解像度への反映ということができる。
【００５９】
以上のようにして、歪み補正部４では、例えば、図３（Ａ）に示すような、時間的に連続する歪み画像の各フレームについて、その動きに対応した位置に、過去のフレームの歪み画像を構成する画素を想定していくことにより、同図（Ｂ）に示すように、垂直方向の画素数、即ち、水平走査線数が増加した、折り返し歪みのない画像が生成されるようになされている。
【００６０】
なお、以上のような歪み画像から元の画像を再生する方法を用いるには、歪み画像（従って、元の画像についても同様）に動きがある必要がある。但し、歪み画像に動きがない場合においては、前述したように、解像度は悪くなるが、画面のざわざわ感は生じないので、折り返し歪みは、視覚的に、それほど問題とならない。
【００６１】
さらに、歪み画像として、その形状が変化するような物体が表示されている場合には、その形状の変化する速さｖ１に対して、物体自体の動き（移動）の速さｖ２が充分速いこと（ｖ１＜＜ｖ２であること）が必要である。但し、このこと（ｖ１＜＜ｖ２であること）は、一般的に成立することが多い。
【００６２】
次に、図４は、図１の歪み補正部４の構成例を示している。なお、ここでは、説明を簡単にするために、例えば、ビデオカメラをパンやチルトすることにより、風景などを撮影することにより得られた、全画面が同一の動きをする歪み画像が入力されるものとする。
【００６３】
フレームメモリ部１１は、連続する２フレームの歪み画像を記憶するようになされている。即ち、フレームメモリ部１１は、現フレームメモリ１１Ａおよび前フレームメモリ１１Ｂを有し、現フレームメモリ１１Ａは、いま入力された現フレームを、前フレームメモリ１１Ｂは、現フレームの１つ前の前フレーム（従って、現フレームが現フレームメモリ１１Ａに供給される直前まで、その現フレームメモリ１１Ａに記憶されていたフレーム）を、それぞれ記憶するようになされている。
【００６４】
動き検出部１２は、フレームメモリ部１１を参照し、現フレームの、前フレームに対する動きを表す動きベクトルを検出し、コントローラ１４に供給するようになされている。なお、上述したように、ここでは、歪み画像として、全画面が同一の動きをするものが入力されるので、全画面（１フレーム）について、１つの動きベクトルが検出されるようになされている。また、ここでは、動き検出部１２は、動きベクトルを構成する成分のうち、折り返し歪みが生じている方向、即ち、垂直方向の成分についてだけは、歪み画像を構成する画素より細かい単位で動きを検出するようになされている。
【００６５】
ここで、画素より細かい単位での動きベクトルの検出は、例えば、次のようにして行うことができる。即ち、例えば、動きベクトルを検出しようとする現フレームの、例えば８×８画素（横×縦）のブロック（以下、適宜、処理対象ブロックという）と同一の大きさで同一の形のブロックを、前フレームの所定の位置に考え、まず最初に、そのブロック（以下、適宜、参照ブロックという）と処理対象ブロックとの、対応する位置にある画素の画素値どうしの差分の絶対値和など（以下、適宜、誤差という）を求める。
【００６６】
画素単位で動きベクトルを検出する場合、参照ブロックを画素単位で種々の位置に移動して得られる誤差のうち、その最小値を与える参照ブロックの位置からの、処理対象ブロックへのベクトルが動きベクトルとされるが、このようにして画素単位で動きベクトルを検出した後、例えば、図５に示すように、誤差と参照ブロックの位置との対応関係を考え、誤差を、例えば直線で線形補間したときに得られる最小値の参照ブロックの位置（図５において×印で示す部分）を求めれば、その位置に対応するベクトルが、画素より細かい単位での動きベクトルとなる。
【００６７】
図４に戻り、シーンチェンジ検出部１３は、フレームメモリ部１１を参照することにより、いわゆるシーンチェンジを検出するようになされている。即ち、シーンチェンジ検出部１３は、例えば、上述した画素単位で動きベクトルを検出する場合と同様にして、現フレームを構成する各ブロックの誤差の最小値を求め、その誤差の最小値の、現フレームを構成するブロックについての総和が所定の閾値以上の場合、前フレームから現フレームにかけてシーンチェンジがあったと判定し、その旨を、コントローラ１４に出力するようになされている。
【００６８】
コントローラ１４は、動き検出部１２からの動きベクトルに基づいて、解像度創造用メモリ部１５における書き込みアドレスおよび読み出しアドレスを制御するようになされている。また、コントローラ１４は、シーンチェンジ検出部１３からシーンチェンジである旨を受信したとき、解像度創造用メモリ部１５における書き込みアドレスおよび読み出しアドレスをリセットするとともに、その記憶値を、所定の初期値にクリアするようにもなされている。
【００６９】
解像度創造用メモリ部１５は、歪み画像の１フレーム分より多い記憶容量を有するメモリなどで構成され、コントローラ１４の制御の下、フレームメモリ部１１の現フレームメモリ１１Ａに記憶された現フレームの画像データを記憶し、また、記憶した画像データを読み出して、垂直ＬＰＦ１６に出力するようになされている。
【００７０】
即ち、解像度創造用メモリ部１５は、例えば、図６に示すように、水平方向（水平走査線の方向）にはＰH’個の画素についての画像データを、垂直方向にはＰV’個の画素についての画像データを、それぞれ記憶することができるようになされている。なお、歪み画像を構成する水平方向または垂直方向の画素数を、それぞれＰHまたはＰVとすると、ここでは、例えば、ＰH’≧ＰH，ＰV’≧４ＰVとなっており、従って、解像度創造用メモリ部１５は、水平方向については、歪み画像を構成する水平方向の画素数と同一の数以上の画素を、垂直方向については、歪み画像を構成する垂直方向の画素数の４倍以上の画素を、それぞれ記憶することができるようになされている。
【００７１】
ここで、解像度創造用メモリ部１５のアドレスについては、絶対アドレスと相対アドレスとが定義されている。絶対アドレスは、例えば、解像度創造用メモリ部１５の最も左上の記憶領域を原点（０，０）とし、水平または垂直方向をそれぞれｘまたはｙ軸としてシーケンシャルに付されており、従って、左からｉ＋１番目で、上からｊ＋１番目の絶対アドレスは、（ｉ，ｊ）となっている。
【００７２】
一方、相対アドレスは、図７に示すように、相対アドレスポインタが指している絶対アドレスを原点とするもので、相対アドレスポインタの左からｉ＋１番目で、上からｊ＋１番目の相対アドレスは、（ｉ，ｊ）と表される。
【００７３】
相対アドレスポインタは、コントローラ１４により制御されるようになされており、解像度創造用メモリ部１５への画像データの書き込み、およびそこからの画像データの読み出しは、相対アドレスポインタを最も左上の点とする、例えば、ＰH×４ＰV画素の範囲（同図において点線で示す部分）（以下、適宜、アクセス範囲という）を対象として行われるようになされている。
【００７４】
ここで、上述のように、解像度創造用メモリ部１５への画像データの書き込みは、アクセス範囲を対象として行われ、ここでは、アクセス範囲の大きさは、ＰH×４ＰV画素の範囲となっている。従って、この場合、アクセス範囲には、水平方向については、歪み画像を構成する水平方向の画素数と同一数の画素の書き込みしかできないが、垂直方向については、歪み画像を構成する垂直方向の画素数の４倍の画素の書き込みをすることができる。このようにしたのは、図２や図３で説明したように、歪み画像の各フレームについて、その動きに対応した位置に画素を想定していくことにより、垂直方向の画素数（水平走査線の数）が増加した、折り返し歪みのない画像を生成（創造）するためである。
【００７５】
即ち、アクセス範囲への１フレームの歪み画像の書き込みは、図８に斜線を付して示すように、水平方向については、相対アドレスポインタが指すアドレスから順次行われていくが、垂直方向については、相対アドレスポインタが指すアドレスから３行おきに行われていく。従って、歪み画像における１画素分の垂直方向の動きは、アクセス範囲においては４画素分に相当し、その結果、歪み画像における１／４画素分単位の垂直方向の動きに対応した位置に画素を想定することができることになる。つまり、垂直方向にだけ注目すれば、歪み画像の動きにしたがってアクセス範囲を１画素より細かい単位（ここでは、歪み画像を構成する画素間の距離の１／４の単位）で移動させることができ、そのようなアクセス範囲に、歪み画像を３行おきに書き込んで行けば、図２や図３で説明したように、水平走査線の間が埋められていき、垂直方向の解像度が４倍となった画像（このように、いわば解像度が創造された画像が得られるので、メモリ部１５を、解像度創造用メモリ部と呼んでいる）、即ち、垂直方向のサンプリング点の数が４倍になった画像が、元の画像として得られることになる。
【００７６】
再び、図４に戻り、解像度創造用メモリ部１５に記憶され、アクセス範囲から読み出された、垂直方向の画素数が増加した画像データは、垂直ＬＰＦ１６に供給されるようになされている。垂直ＬＰＦ１６は、解像度創造用メモリ部１５からの画像データに対して、垂直方向にＬＰＦをかけることにより、その最高周波数成分を、垂直方向のサンプリング点の数が１／４になっても折り返し歪みが生じないように制限し、フレームメモリ部１７に供給するようになされている。フレームメモリ部１７は、例えば、アクセス範囲と同様の記憶容量を有し、垂直ＬＰＦから供給される、垂直方向の最高周波数が制限された画像データを一時記憶し、また、記憶した画像データを、例えば３ライン（３水平走査線）おきに読み出すことにより、１フレームの歪み画像を構成するライン数と同一数のラインからなる画像を構成して出力するようになされている。
【００７７】
次に、図４の歪み補正部４の動作について、図９のフローチャートを参照して説明する。
【００７８】
歪み画像は、フレームメモリ部１１に供給され、現フレームメモリ１１Ａに記憶される。そして、次のフレームの歪み画像が供給されると、その歪み画像が、現フレームとして、現フレームメモリ１１Ａに記憶されるとともに、いままで現フレームメモリ１１Ａに記憶されていた歪み画像が、前フレームとして前フレームメモリ１１Ｂに供給されて記憶される。以下、フレームメモリ部１１では、同様の処理が繰り返される。
【００７９】
フレームメモリ部１１の現フレームメモリ１１Ａにおいて、最初のフレームが記憶されると、シーンチェンジ検出部１３では、シーンチェンジを検出するのと同様にして、最初のフレームが現フレームメモリ１１Ａに記憶されたことが検出され、シーンチェンジがあった旨が、コントローラ１４に知らされる。
【００８０】
ここで、シーンチェンジ検出部１３では、最初のフレームが現フレームメモリ１１Ａに記憶された場合、前フレームメモリ１１Ｂには、まだ画像データが記憶されていないため、両者の差分の絶対値和が大きくなり、上述のように、シーンチェンジが検出されるが、ここでは、シーンチェンジか、または最初のフレームが現フレームメモリ１１Ａに記憶されたのかを区別する必要はないので、問題はない。
【００８１】
コントローラ１４は、シーンチェンジ検出部１３からシーンチェンジ（但し、実際には、上述したように、シーンチェンジではなく、現フレームメモリ１１Ａへの最初のフレームの記憶）を受信すると、ステップＳ１において、解像度創造用メモリ部１５をリセットする。即ち、相対アドレスポインタを、絶対アドレスの原点（０，０）に移動させ、さらに、解像度創造用メモリ部１５の記憶値をすべて、所定の初期値にクリアする。
【００８２】
そして、ステップＳ２に進み、現フレームメモリ１１Ａに記憶された歪み画像が、解像度創造用メモリ部１５に供給されて記憶される。この歪み画像の書き込みは、上述したように、アクセス範囲内に行われ、また、垂直方向については４画素ごと（３画素おき）に行われる。なお、解像度創造用メモリ部１５に歪み画像を書き込むときのアドレス制御は、コントローラ１４によって行われる。
【００８３】
その後、ステップＳ３に進み、アクセス範囲内において、歪み画像の書き込みが行われていない記憶領域の補間が行われる。即ち、ステップＳ２においてのアクセス範囲内への歪み画像の書き込みは、上述したように、垂直方向については、４画素ごとに行われるため、それを、そのまま読み出したのでは、いわば隙間のあいたものとなる。そこで、ステップＳ３では、アクセス範囲内において、歪み画像の書き込みが行われていない記憶領域の補間が行われる。具体的には、ステップＳ２の終了後は、図８に斜線を付して示す部分（ライン）の書き込みしか行われていないので、ステップＳ３では、例えば、その書き込みが行われた部分が、その下の３ラインにコピーされる。
【００８４】
補間が終了すると、ステップＳ４に進み、アクセス範囲内の画像データが読み出され、垂直ＬＰＦ１６およびフレームメモリ部１７を介して出力される。なお、アクセス範囲内の画像データを読み出すときのアドレス制御も、コントローラ１４によって行われる。また、アクセス範囲内からの画像データの読み出しは、書き込み時と異なり、隙間をあけずに、１ラインごとに行われる。
【００８５】
その後、次のフレームがフレームメモリ部１１に供給されると、シーンチェンジ検出部１３では、ステップＳ５において、シーンチェンジがあったかどうかが判定される。ステップＳ５において、シーンチェンジがあったと判定された場合、ステップＳ１に戻り、上述した場合と同様の処理が行われる。
【００８６】
一方、ステップＳ５において、シーンチェンジがなかったと判定された場合、ステップＳ６に進み、動き検出部１２において、動きベクトルが検出される。なお、ここでは、垂直方向については、上述したようにして、１ラインの間隔よりも短い単位で動きベクトルが検出される。動き検出部１２で検出された動きベクトルは、コントローラ１４に供給される。コントローラ１４は、動きベクトルを受信すると、その動きベクトルに対応する分だけ相対アドレスポインタを移動させる。
【００８７】
ここで、相対アドレスポインタは、水平方向については、動きベクトルの水平方向の成分と同一の画素数だけ移動されるが、垂直方向については、動きベクトルの垂直方向の成分を４倍した値を、例えば、四捨五入したものと同一の画素数だけ移動される。これは、アクセス範囲が、上述したように、垂直方向については、歪み画像の４倍の画素数に対応する記憶容量を有するからである。
【００８８】
相対アドレスポインタの移動後は、ステップＳ８に進み、現フレームメモリ１１Ａに記憶された歪み画像（ステップＳ６で動きベクトルが検出された画像）が、解像度創造用メモリ部１５に供給される。そして、その歪み画像は、ステップＳ２における場合と同様にして、アクセス範囲内に、４ラインごとに書き込まれ、ステップＳ９に進む。ステップＳ９では、ステップＳ４における場合と同様に、アクセス範囲内の画像データが読み出され、垂直ＬＰＦ１６およびフレームメモリ部１７を介して出力される。
【００８９】
その後、ステップＳ１０に進み、歪み画像が終了したかどうか、即ち、フレームメモリ部１１への画像の供給がなくなったかどうかが判定される。ステップＳ１０において、歪み画像が終了していないと判定された場合、即ち、さらに次のフレームがフレームメモリ部１１に供給された場合、ステップＳ５に戻り、ステップＳ５でシーンチェンジがあったと判定されるか、またはステップＳ１０で歪み画像が終了したと判定されるまで、ステップＳ５乃至Ｓ１０の処理が繰り返される。また、ステップＳ１０において、歪み画像が終了したと判定された場合、処理を終了する。
【００９０】
ステップＳ５乃至Ｓ１０の処理が繰り返されることにより、アクセス範囲内には、図２や図３で説明したように、歪み画像（第１の画像）の水平走査線の間の、その動きに対応した位置に画素が想定され、これにより、元の画像（第２の画像）が再生されていく。即ち、いま、元の画像に含まれる垂直方向の最高周波数が、歪み画像の水平走査期間の１／４に対応する周波数の１／２以下であったとすれば、ステップＳ５乃至Ｓ１０の処理が数回繰り返されることにより、アクセス範囲内には、垂直方向に充分なサンプリング点（画素）（サンプリングの定理を満足するのに必要なサンプリング点）が想定された、垂直方向の折り返し歪みがない画像が形成されていく。
【００９１】
従って、このような折り返し歪みのない画像に、Ｙ／Ｃ分離や、ノイズ除去、画質改善のための処理、その他の信号処理を施すようにすることにより、従来生じていた弊害を防止することが可能となる。
【００９２】
また、ＣＲＴ６が、歪み画像の４倍の水平走査線を有する高解像度のものであれば、解像度創造用メモリ部１５におけるアクセス範囲内の記憶値を、そのままＣＲＴ６に供給することで、垂直方向の折り返し歪みのない高解像度の画像を表示することが可能となる。
【００９３】
なお、ここでは、解像度創造用メモリ部１５の出力を、垂直ＬＰＦ１６およびフレームメモリ部１７を介することにより、歪み画像と同一の解像度を有する画像を表示することとしているため、解像度は改善されないが、垂直ＬＰＦ１６によって帯域制限されるため、前述したような画面のざわざわ感が生じることはなく、視聴者に大きな違和感を感じさせることを防止することができる。
【００９４】
また、元の画像に含まれる垂直方向の最高周波数が、歪み画像の水平走査期間の１／４に対応する周波数の１／２より高い場合、ステップＳ５乃至Ｓ１０の処理を何回繰り返しても、サンプリングの定理が満たされることはなく、垂直方向の折り返し歪みがない画像は得られない。しかしながら、この場合であっても、垂直方向の画素数は増加するから、垂直方向の折り返し歪みを低減した画像を得ることができ、従って、従来生じていた信号処理上の弊害や、画面のざわざわ感などを低減することができる。
【００９５】
次に、図１０は、図１の歪み補正部４の他の構成例を示している。なお、図中、図４における場合と対応する部分については同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、この歪み補正部４は、領域分割部２１、スイッチ２２Ａおよび２２Ｂ、メモリ２３Ａおよび２３Ｂ、並びに合成部２４が新たに設けられるとともに、コントローラ１４または解像度創造用メモリ部１５に代えて、コントローラ１４Ａと１４Ｂ、または解像度創造用メモリ部１５Ａと１５Ｂがそれぞれ設けられている他は、図４における場合と基本的に同様に構成されている。
【００９６】
また、図４においては、全画面が同一の動きをする歪み画像が入力されるものとしたが、ここでは、１フレームが、異なる動きをする複数の領域としての、例えば、第１と第２の２つの領域からなる歪み画像（例えば、背景となる空を、前景となる航空機が飛行しているものなど）が入力されるものとする。
【００９７】
このように、ここでは、第１と第２の２つの領域からなる歪み画像が入力されるため、領域分割部２１では、動き検出部１２の出力に基づいて、歪み画像が、その第１と第２の２つの領域に分割される。
【００９８】
即ち、動き検出部１２は、図４においては全画面についての１つの動きベクトルを検出するようになされていたが、ここでは、歪み画像を、例えば、８×８画素や１６×１６画素などのブロックに分割したブロック単位で動きベクトルを検出し、そのブロック単位の動きベクトルを、領域分割部２１に出力するようになされている。
【００９９】
領域分割部２１は、動き検出部１２からの動きベクトルや、隣接する画素の画素値どうしの差分その他を用いて領域分割のための処理を行い、さらにスムージングその他の必要な処理を行うことで、歪み画像を構成する第１と第２の領域を認識し（領域分割し）、その認識結果に対応して、スイッチ２２Ａおよび２２Ｂを制御する。即ち、例えば、フレームメモリ部１１から第１の領域を構成する画素の画素値が読み出されるタイミングでは、スイッチ２２Ａをオンにするとともに、スイッチ２２Ｂをオフにし、これにより、第１の領域を構成する画素の画素値をメモリ２３Ａに供給して記憶させる。また、フレームメモリ部１１から第２の領域を構成する画素の画素値が読み出されるタイミングでは、その逆に、スイッチ２２Ａをオフにするとともに、スイッチ２２Ｂをオンにし、これにより、第２の領域を構成する画素の画素値をメモリ２３Ｂに供給して記憶させる。
【０１００】
以上のようにして、歪み画像は、第１と第２の領域に領域分割され、メモリ２３Ａと２３Ｂにそれぞれ記憶される。
【０１０１】
また、領域分割部２１は、第１または第２の領域を代表する１つ動きベクトルを、例えば、その第１または第２の領域に含まれるブロックの動きベクトルに基づいて求め、コントローラ１４Ａまたは１４Ｂにそれぞれ出力する。コントローラ１４Ａおよび解像度創造用メモリ部１５Ａと、コントローラ１４Ｂおよび解像度創造用メモリ部１５Ｂは、いずれも図４のコントローラ１４および解像度創造用メモリ部１５に対応するもので、コントローラ１４および解像度創造用メモリ部１５は、１フレーム全体を対象として処理を行うようになされていたが、コントローラ１４Ａおよび解像度創造用メモリ部１５Ａ、またはコントローラ１４Ｂおよび解像度創造用メモリ部１５Ｂは、メモリ２３Ａまたは２３Ｂに記憶された第１または第２の領域を対象としてそれぞれ処理を行うようになされている。
【０１０２】
従って、ここでは、解像度創造用メモリ部１５Ａまたは１５Ｂそれぞれのアクセス範囲内に、第１または第２の領域の水平走査線の間の位置に画素が想定され、これにより、第１または第２の領域それぞれについて、元の画像が再生（創造）されていく。
【０１０３】
なお、コントローラ１４Ａまたは１４Ｂは、シーンチェンジ検出部１３からシーンチェンジである旨を受信すると、コントローラ１４における場合と同様に、解像度創造用メモリ部１５Ａまたは１５Ｂをそれぞれリセットするようになされている。
【０１０４】
解像度創造用メモリ部１５Ａまたは１５Ｂそれぞれのアクセス範囲内に記憶された、水平走査線の間の位置に画素が想定された第１または第２の領域は、いずれも合成部２４に供給され、そこで合成される。これにより、第１と第２の領域からなる、垂直方向の折り返し歪みのない高解像度の画像が形成され、この画像は、垂直ＬＰＦ１６およびフレームメモリ部１７を介して出力される。
【０１０５】
以上のように、第１と第２の２つの領域からなる歪み画像であっても、各領域ごとに処理を行うことで、垂直方向の折り返し歪みのない（低減された）画像を得ることができる。
【０１０６】
なお、上述の場合においては、歪み画像が２つの領域からなるものとしたが、歪み画像が３以上の領域からなるものである場合には、その３以上の領域それぞれを処理して合成するようにすれば良い。
【０１０７】
さらに、上述の場合には、垂直方向の折り返し歪みを除去するようにしたが、画像に、水平方向の折り返し歪みが含まれる場合には、その折り返し歪みも同様にして除去することが可能である。即ち、例えば、水平方向について、周波数帯域の制限が行われていない場合においては、それにより生じる水平方向の折り返し歪みを、上述した場合と同様にして除去することが可能である。
【０１０８】
また、上述の場合には、垂直方向に、歪み画像の画素数（水平走査線数）の４倍の数の画素を想定するようにしたが、想定する画素数は、これに限定されるものではない。
【０１０９】
さらに、アクセス範囲は、図７に示した相対アドレスポインタの位置によっては、解像度創造用メモリ部１５の記憶領域からはみ出す場合があるが、このような場合、そのはみ出し部分は、例えば、解像度創造用メモリ部１５の記憶領域の中の、その記憶領域が周辺に繰り返し存在すると仮定したときの位置に確保される。即ち、いま、Ｘ≧ＰH’，Ｙ≧ＰV’として、絶対アドレスが（Ｘ，Ｙ）で表される位置が、アクセス範囲に含まれるようになった場合、その位置は、絶対アドレスが（ｍｏｄ（Ｘ，ＰH’），ｍｏｄ（Ｙ，ＰV’））で表される解像度創造用メモリ部１５の記憶領域に確保される。但し、ｍｏｄ（ａ，ｂ）は、ａをｂで除算したときの剰余を表す。
【０１１０】
また、上述の場合には、歪み画像の動きを、その歪み画像を構成する画素より細かい単位で検出し、その動きに対応する位置に画素を想定することで、折り返し歪みのない元の画像を復元するようにしたが、この復元は、例えば、次のようにして行うことも可能である。即ち、いま、折り返し歪みのない元の画像をＰと表すとともに、歪み画像をＰ’と表すと、両者の関係は、次式で表すことができる。
【０１１１】
Ｐ’＝ｆ（Ｐ）
但し、ｆ（）は、括弧内の画像をサブサンプルする関数を表す。
【０１１２】
この場合、ｆ（）の逆関数をｇ（）と表すと、式Ｐ＝ｇ（Ｐ’）が成り立つ。
【０１１３】
従って、歪み画像Ｐ’の、元の画像Ｐへの復元は、歪み画像の動きを検出しなくても、原理的には、関数ｇ（）が分かれば行うことができる。
【０１１４】
即ち、上述したように、本発明は、元の画像Ｐの異なる位置の信号（サンプル値）を、時間的に連続する複数フレームの歪み画像Ｐ’から集め、固定の位置にある水平走査線の間を埋めて元の画像Ｐを構成するものであるから、関数ｇ（）は、例えば、元の画像Ｐを教師データとするとともに、その元の画像Ｐをサブサンプルして得られる、時間的に連続する複数フレームの歪み画像Ｐ’を学習データとして、学習を行うことにより求めることが可能であり、元の画像Ｐの復元は、このようにして求めた関数ｇ（）によって行うようにすることも可能である。
【０１１５】
次に、図２で説明したように、画像の動きに対応した位置に画素を想定していくことで、その画像の画素数を増加させることは、折り返し歪みの除去の他、例えば、標準解像度または低解像度の画像（以下、適宜、ＳＤ（Standard Definition）画像という）を、高解像度の画像（以下、適宜、ＨＤ（High Definition）画像という）に変換したり、また、画像を拡大したりする場合などにも適用することができる。
【０１１６】
そこで、図１１は、ＳＤ画像のテレビジョン放送信号を、ＨＤ画像に変換して表示するテレビジョン受像機の一実施の形態の構成例を示している。なお、図中、図１における場合と対応する部分については、同一の符号を付してある。即ち、図１１のテレビジョン受像機は、歪み補正部４またはＣＲＴ６に代えて、解像度変換部３４またはＣＲＴ３６がそれぞれ設けられている他は、図１のテレビジョン受像機と基本的に同様に構成されている。
【０１１７】
解像度変換部３４は、Ａ／Ｄ変換器３からのＳＤ画像を、ＨＤ画像に変換し、Ｄ／Ａ変換器５に供給するようになされている。ＣＲＴ３６は、ＨＤ画像に対応する高解像度のＣＲＴで、解像度変換部３４から、Ｄ／Ａ変換器５を介して供給されるＨＤ画像を表示するようになされている。
【０１１８】
図１２は、図１１の解像度変換部３４の構成例を示している。なお、図中、図４または図１０の歪み補正部４における場合と対応する部分については、同一の符号を付してある。
【０１１９】
即ち、解像度変換部３４においては、図１０におけるコントローラ１４Ａ、解像度創造用メモリ部１５Ａ、スイッチ２２Ａ、およびメモリ２３Ａや、コントローラ１４Ｂ、解像度創造用メモリ部１５Ｂ、スイッチ２２Ｂ、およびメモリ２３Ｂに対応する、Ｍ個の高解像度オブジェクト生成部４１1乃至４１Mが設けられている。但し、高解像度オブジェクト生成部４１mは（ｍ＝１，２，・・・，Ｍ）、図１０におけるコントローラ１４Ａ、解像度創造用メモリ部１５Ａ、スイッチ２２Ａ、およびメモリ２３Ａや、コントローラ１４Ｂ、解像度創造用メモリ部１５Ｂ、スイッチ２２Ｂ、およびメモリ２３Ｂに対応するコントローラ１４、解像度創造用メモリ部１５、スイッチ２２、およびメモリ２３の他に、書き込みフラグ記憶部４２および画素生成部４３を有している。
【０１２０】
書き込みフラグ記憶部４２は、解像度創造用メモリ部１５が記憶する画素数と同一数の書き込みフラグを記憶するようになされている。ここで、書き込みフラグは、解像度創造用メモリ部１５の、対応するアドレスに、ＳＤ画像の画素が記憶されているかどうかを表す１ビットのフラグで、例えば、記憶されている場合は１にセットされ、記憶されていない場合は０にリセットされるようになされている。この書き込みフラグは、コントローラ１４によって、セット／リセットされるようになされている。なお、解像度創造用メモリ部１５の、あるアドレスに、ＳＤ画像の画素が記憶されていない場合、そのアドレスにおける記憶値は、初期値になっていることから、書き込みフラグは、解像度創造用メモリ部１５の記憶値が、初期値かどうかを表すフラグであるということもできる。
【０１２１】
画素生成部４３は、書き込みフラグ記憶部４２を参照して、解像度創造用メモリ部１５から読み出された記憶値が、初期値かどうかを判定し、初期値である場合には、その記憶値のアドレスに対応するＨＤ画像の画素を、解像度創造用メモリ部１５の、初期値以外の記憶値、即ち、コントローラ１４によって、解像度創造用メモリ部１５に書き込まれたＳＤ画像の画素を用いて生成するようになされている。
【０１２２】
なお、ここでは、例えば、図１３に示すように、ＳＤ画像を構成する水平方向または垂直方向の画素数を、それぞれＰHまたはＰVとすると、解像度創造用メモリ部１５が記憶可能な水平方向、垂直方向の画素数ＰH’，ＰV’は、ＰH’≧２ＰH，ＰV’≧２ＰVとなっており、従って、解像度創造用メモリ部１５は、水平方向および垂直方向のいずれについても、ＳＤ画像を構成する画素数の２倍以上の画素を記憶することができるようになされている。また、アクセス範囲は、図１３に示すように、相対アドレスポインタを最も左上の点とする２ＰH×２ＰV画素の範囲とされている。
【０１２３】
さらに、動き検出部１２では、水平方向および垂直方向のいずれの方向についても、ＳＤ画像の画素より細かい単位で動きが検出されるようになされている。
【０１２４】
ここで、高解像度オブジェクト生成部４１1乃至４１Mは、いずれも同様に構成されるため、以下では、そのうちの、例えば、高解像度オブジェクト生成部４１1についてだけ説明する。
【０１２５】
以上のように構成される解像度変換部３４では、Ａ／Ｄ変換器３からのＳＤ画像が、その水平方向または垂直方向の解像度（画素数）を、例えば、それぞれ２倍にしたＨＤ画像に変換される。
【０１２６】
即ち、フレームメモリ部１１に対しては、Ａ／Ｄ変換器３（図１１）から、ＳＤ画像が供給され、そこでは、Ａ／Ｄ変換器３からのＳＤ画像が、上述したようにして、順次記憶されていく。
【０１２７】
そして、動き検出部１２において、フレームメモリ部１１に記憶されたＳＤ画像の動きベクトルが、水平方向および垂直方向とも、そのＳＤ画像の画素よりも細かい単位で検出され、領域分割部２１に供給される。
【０１２８】
領域分割部２１は、動き検出部１２からの動きベクトルや、隣接する画素の画素値どうしの差分その他を用いて領域分割のための処理を行い、さらにスムージングその他の必要な処理を行うことで、ＳＤ画像を、それを構成する幾つかのオブジェクトの領域に領域分割し、その領域分割結果に対応して、スイッチ２２を制御する。即ち、例えば、フレームメモリ部１１から、所定のオブジェクトの領域を構成する画素（ＳＤ画像の画素（以下、適宜、ＳＤ画素という））の画素値が読み出されるタイミングでは、スイッチ２２をオンにするとともに、他の高解像度オブジェクト生成部４１2乃至４１Mが内蔵するスイッチをすべてオフにし、これにより、所定のオブジェクトの領域を構成するＳＤ画素（画素値）を、メモリ２３に供給して記憶させる。
【０１２９】
また、領域分割部２１は、メモリ２３にＳＤ画素を記憶させたオブジェクトの領域を代表する１つ動きベクトルを、その領域に含まれるブロックの動きベクトルに基づいて求め、コントローラ１４に出力する。コントローラ１４は、解像度創造用メモリ部１５における相対アドレスポインタを、領域分割部２１からの動きベクトルにしたがって移動し、その移動後の相対アドレスポインタを最も左上の頂点とするアクセス範囲に、メモリ２３に記憶されたＳＤ画素を記憶させる。さらに、コントローラ１４は、書き込みフラグ記憶部４２に記憶されている書き込みフラグのうち、ＳＤ画素を書き込んだ解像度創造用メモリ部１５のアドレスに対応するものを、１にセットする。なお、アクセス範囲へのＳＤ画素の書き込みは、ここでは、水平および垂直方向とも、１つおき（２画素ごと）に行われる。
【０１３０】
従って、ここでは、解像度創造用メモリ部１５のアクセス範囲内に、垂直方向だけでなく、水平方向にも画素が想定され、これにより、ＳＤ画像の水平方向および垂直方向の画素数を、いずれも２倍にしたＨＤ画像が再生（創造）されていく。
【０１３１】
なお、コントローラ１４は、シーンチェンジ検出部１３からシーンチェンジである旨を受信すると、解像度創造用メモリ部１５をリセット（クリア）する他、書き込みフラグ記憶部４２もリセットする（書き込みフラグすべてを０にリセットする）ようになされている。
【０１３２】
解像度創造用メモリ部１５のアクセス範囲内における記憶値は、すべて、コントローラ１４の制御の下、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）として読み出され、画素生成部４３に供給される。画素生成部４３は、ＨＤ画素として読み出された記憶値が、初期値かどうかを、書き込みフラグ記憶部４２を参照することにより判定（検出）し、即ち、ＨＤ画素として読み出された値が、メモリ２３から書き込まれたＳＤ画素であるかどうかを判定し、その判定結果に基づいて、ＨＤ画素を生成する。
【０１３３】
即ち、ここでは、図１３に示したように、アクセス範囲は、１画面のＳＤ画像の水平方向または垂直方向の画素数を、それぞれ２倍にした数に対応するアドレス空間を有し、また、アクセス範囲は、動きベクトルにしたがって移動されるから、アクセス範囲が、常時、その全体に、ＳＤ画素が書き込まれた状態になっているとは限らない。そこで、画素生成部４３は、アクセス範囲内の各アドレスの記憶値が、ＳＤ画素であるかどうかを判定し、ＳＤ画素である場合には、そのＳＤ画素を、そのままＨＤ画素として出力し、ＳＤ画素でない場合、即ち、シーンチェンジの検出後に書き込まれた初期値である場合には、アクセス範囲に、既に書き込まれているＳＤ画素を用いて、ＨＤ画素を生成して出力するようになされている。
【０１３４】
以上のようにして、画素生成部４３が出力する、所定のオブジェクトを構成するＨＤ画素は、合成部２４に供給される。
【０１３５】
合成部２４には、他の高解像度オブジェクト生成部４１2乃至４１Mが、高解像度オブジェクト生成部４１1と同様にして生成するＨＤ画素で構成される他のオブジェクトも供給されるようになされており、合成部２４では、これらのＨＤ画素で構成されるオブジェクトが合成され、これにより、ＳＤ画像の水平方向または垂直方向の画素数（解像度）をそれぞれ２倍にしたＨＤ画像が形成される。
【０１３６】
このＨＤ画像は、Ｄ／Ａ変換器５（図１１）を介して、ＣＲＴ３６に供給されて表示される。
【０１３７】
次に、図１４のフローチャートを参照して、図１２の高解像度オブジェクト生成部４１1における解像度創造用メモリ部１５へのＳＤ画素の書き込み処理について、さらに説明する。
【０１３８】
図１４の書き込み処理は、メモリ２３に、１フレームにおける、所定のオブジェクトを構成するＳＤ画素が記憶されるごとに行われる。
【０１３９】
即ち、メモリ２３に、１フレームの所定のオブジェクトを構成するＳＤ画素が記憶されると、まず最初に、コントローラ１４は、ステップＳ１１において、シーンチェンジ検出部１３からの出力を参照することにより、シーンチェンジが生じたかどうかを判定する。ステップＳ１１において、シーンチェンジが生じたと判定された場合、ステップＳ１２に進み、解像度創造メモリ部１５がリセットされる。即ち、図９のステップＳ１における場合と同様に、相対アドレスポインタが、例えば、絶対アドレスの原点（０，０）に移動されるとともに、解像度創造用メモリ部１５の記憶値がすべて、所定の初期値にクリアされる。
【０１４０】
そして、ステップＳ１３に進み、コントローラ１４は、さらに、書き込みフラグ記憶部４２に記憶されている書き込みフラグをすべて０にリセット（クリア）し、ステップＳ１４に進む。ステップＳ１４では、相対アドレスポインタを最も左上の頂点とするアクセス範囲内に、メモリ２３に記憶されたＳＤ画素が書き込まれる。
【０１４１】
なお、ここでは、アクセス範囲へのＳＤ画素の書き込みは、水平方向および垂直方向のいずれについても、相対アドレスポインタが指すアドレスから１つおきに行われていき、これにより、ＳＤ画像における１／２画素分単位の水平方向および垂直方向の動きに対応した位置に画素が想定される。
【０１４２】
メモリ２３に記憶されたオブジェクトのＳＤ画素の、解像度創造用メモリ部１５への書き込みが終了すると、ステップＳ１４からＳ１５に進み、コントローラ１５は、書き込みフラグ記憶部４２に記憶されている書き込みフラグのうち、ＳＤ画素が書き込まれた解像度創造用メモリ部１５のアドレスに対応する書き込みフラグを、１にセットし、書き込み処理を終了する。
【０１４３】
一方、ステップＳ１１において、シーンチェンジが生じていないと判定された場合、ステップＳ１６に進み、コントローラ１４は、領域分割部２１が出力する動きベクトルに対応して、相対アドレスポインタを移動し、ステップＳ１４に進む。ステップＳ１４では、その移動後の相対アドレスポインタを最も左上の頂点とするアクセス範囲内に、メモリ２３に記憶されたＳＤ画素が、上述したように書き込まれ、ステップＳ１５に進み、ＳＤ画素が書き込まれた解像度創造用メモリ部１５のアドレスに対応する書き込みフラグが１にセットされて、書き込み処理を終了する。
【０１４４】
以上のような書き込み処理が行われていくことにより、解像度創造用メモリ部１５には、ＳＤ画像の水平方向または垂直方向それぞれの解像度を２倍にしたＨＤ画像が形成されていく。
【０１４５】
即ち、例えば、いま、あるＳＤ画像を構成する三角形のオブジェクトが、図１５（Ａ）乃至図１５（Ｄ）に示すように移動しており、第Ｎフレームでは、ＳＤ画素ａ乃至ｅで（図１５（Ａ））、第Ｎ＋１フレームでは、ＳＤ画素ｆ，ｇで（図１５（Ｂ））、第Ｎ＋２フレームでは、ＳＤ画素ｈ乃至ｋで（図１５（Ｃ））、第Ｎ＋３フレームでは、ＳＤ画素ｌ，ｍで、それぞれ、オブジェクトが構成されるとする。
【０１４６】
この場合、第ＮフレームにおけるＳＤ画素ａ乃至ｅは、図１５（Ｅ）に示すように、相対アドレスポインタを最も左上の頂点とするアクセス範囲内における水平および垂直方向とも１つおきのアドレスに書き込まれる。ここで、図１５（Ｅ）においては（図１５（Ｆ）乃至図１５（Ｈ）においても同様）、ＳＤ画素が書き込まれたアドレスを、斜線を付して示してある。
【０１４７】
さらに、第Ｎ＋１フレームにおけるＳＤ画素ｆ，ｇの書き込み時においては、相対アドレスポインタが、オブジェクトの動きに対応して移動され、画素ｆ，ｇは、図１５（Ｆ）に示すように、その移動後の相対アドレスポインタを最も左上の頂点とするアクセス範囲内における水平および垂直方向とも１つおきのアドレスに書き込まれる。また、第Ｎ＋２フレームにおけるＳＤ画素ｈ乃至ｇの書き込み時においても、相対アドレスポインタが、オブジェクトの動きに対応して移動され、ＳＤ画素ｈ乃至ｇは、図１５（Ｇ）に示すように、その移動後の相対アドレスポインタを最も左上の頂点とするアクセス範囲内における水平および垂直方向とも１つおきのアドレスに書き込まれる。そして、第Ｎ＋３フレームにおけるＳＤ画素ｌ，ｍの書き込み時においても、相対アドレスポインタが、オブジェクトの動きに対応して移動され、ＳＤ画素ｌ，ｍは、図１５（Ｈ）に示すように、その移動後の相対アドレスポインタを最も左上の頂点とするアクセス範囲内における水平および垂直方向とも１つおきのアドレスに書き込まれる。
【０１４８】
以上のように、ＳＤ画像の動きを、ＳＤ画素単位よりも細かい単位で検出し、その動きにしたがって、相対アドレスポインタを移動して、ＳＤ画素を、その移動後の相対アドレスポインタを最も左上の頂点とするアクセス範囲内における水平および垂直方向とも１つおきのアドレスに書き込んでいくことで、水平および垂直方向とも、ＳＤ画像の２倍の画素数となったＨＤ画像を形成することができる。
【０１４９】
次に、図１６のフローチャートを参照して、図１２の高解像度オブジェクト生成部４１1における解像度創造用メモリ部１５からのＨＤ画素の読み出し処理について、さらに説明する。
【０１５０】
図１６の読み出し処理は、図１４の書き込み処理が終了するごとに行われる。
【０１５１】
即ち、あるフレームについての、解像度創造用メモリ部１５へのＳＤ画素の書き込みが終了すると、コントローラ２１は、ステップＳ２１において、解像度創造用メモリ部１５のアクセス範囲内の記憶値を読み出し、画素生成部４３に供給する。
【０１５２】
画素生成部４３は、アクセス範囲内の、所定のアドレスの記憶値を受信すると、ステップＳ２２において、書き込みフラグ記憶部４２を参照することで、そのアドレスに対応する書き込みフラグがセットされているかどうかを判定する。ステップＳ２２において、所定のアドレスに対応する書き込みフラグがセットされていないと判定された場合、即ち、そのアドレスに、まだＳＤ画素が記憶されておらず（前回のシーンチェンジが検出されてから、まだＳＤ画素が書き込まれておらず）、従って、そのアドレスが、図１４のステップＳ１２においてリセットされたままの状態であり（以下、適宜、このようなアドレスを、未記憶アドレスという）、そこに初期値が記憶されている場合、ステップＳ２３に進み、その未記憶アドレスに対応するＨＤ画素を生成する生成処理が行われ、ステップＳ２４に進む。この場合、ステップＳ２４では、ステップＳ２３で生成されたＨＤ画素が、合成部２４に出力される。
【０１５３】
即ち、上述したように、アクセス範囲が、常時、その全体に、ＳＤ画素が書き込まれた状態になっているとは限らないため、画素生成部４３では、ＳＤ画素が書き込まれていないアドレス（未記憶アドレス）については、ＳＤ画素が、既に書き込まれているアドレス（以下、適宜、既記憶アドレスという）に記憶されている、そのＳＤ画素を用いて、未記憶アドレスに対応するＨＤ画素が生成される。
【０１５４】
一方、ステップＳ２２において、所定のアドレスに対応する書き込みフラグがセットされていると判定された場合、即ち、そのアドレスに、ＳＤ画素が記憶されている場合（前回のシーンチェンジが検出されてから、ＳＤ画素の書き込みがあった場合）、ステップＳ２３をスキップして、ステップＳ２４に進み、その記憶されているＳＤ画素が、ＨＤ画素として、そのまま、合成部２４に出力される。
【０１５５】
ステップＳ２４の処理後は、ステップＳ２５に進み、アクセス範囲内における記憶値がすべて読み出されたかどうかが判定される。ステップＳ２５において、アクセス範囲内における記憶値（但し、ここでは、オブジェクトに対応する記憶値）が、まだ、すべて読み出されていないと判定された場合、ステップＳ２１に戻り、まだ読み出されていない記憶値を対象に、同様の処理が繰り返される。一方、ステップＳ２５において、アクセス範囲内における記憶値が、すべて読み出されたと判定された場合、読み出し処理を終了する。
【０１５６】
次に、図１７のフローチャートを参照して、図１６におけるステップＳ２３のＨＤ画素の生成処理について説明する。なお、この生成処理は、上述したように、画素生成部４３において行われる。
【０１５７】
画素生成部４３は、まず最初に、ステップＳ３１において、既記憶アドレスに記憶されている画素のうち、未記憶アドレスに対応する画素の周辺にあるもの（以下、適宜、既記憶周辺画素という）を検出する。なお、この検出は、書き込みフラグ記憶部４２を参照することで行われる。
【０１５８】
そして、ステップＳ３２に進み、画素生成部４３は、解像度創造用メモリ部１５から、ステップＳ３１で検出した既記憶周辺画素を読み出し、ステップＳ３３に進む。ステップＳ３３では、画素生成部４３は、ステップＳ３２で読み出した既記憶周辺画素を用いて、未記憶アドレスに対応する画素を生成し、リターンする。
【０１５９】
ここで、既記憶周辺画素を用いての、未記憶アドレスに対応する画素の生成方法としては、例えば、線形補間などがある。
【０１６０】
ところで、線形補間などの単純な補間では、未記憶アドレスに対応する画素として、既記憶周辺画素に含まれていない高周波成分を含むものは生成することができない。
【０１６１】
そこで、本件出願人は、ＳＤ画像を、そこに含まれていない高周波成分をも含むＨＤ画像に変換する画像変換装置を先に提案しているが、未記憶アドレスに対応する画素の生成には、この画像変換装置を適用することができる。
【０１６２】
この画像変換装置においては、ＳＤ画像と、所定の予測係数との線形結合により、ＨＤ画像の画素の予測値を求める適応処理を行うことで、ＳＤ画像には含まれていない高周波成分が復元されるようになされている。
【０１６３】
即ち、例えば、いま、ＨＤ画像を構成するＨＤ画素の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１６４】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（１）
【０１６５】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
【０１６６】
ＸＷ＝Ｙ’
・・・（２）
【０１６７】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
【０１６８】
ＸＷ＝Ｙ＋Ｅ
・・・（３）
【０１６９】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
【０１７０】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１７１】
【数４】
【０１７２】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【０１７３】
【数５】
【０１７４】
式（４）および（５）より、式（６）が得られる。
【０１７５】
【数６】
【０１７６】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１７７】
【数７】
【０１７８】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１７９】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０１８０】
なお、適応処理は、ＳＤ画像には含まれていない、ＨＤ画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。即ち、容易に、高解像度の画像を得ることができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０１８１】
図１８は、以上のような適応処理により、ＳＤ画像をＨＤ画像に変換する画像変換装置の構成例を示している。
【０１８２】
ＳＤ画像は、クラス分類部２０１および適応処理部２０４に供給されるようになされている。クラス分類部２０１は、クラスタップ生成回路２０２およびクラス分類回路２０３で構成され、そこでは、適応処理により予測値を求めようとするＨＤ画素（以下、適宜、注目画素という）が、その注目画素に対応するＳＤ画像の画素の性質に基づいて、所定のクラスにクラス分類される。
【０１８３】
即ち、クラスタップ生成回路２０２では、注目画素に対応するＳＤ画素として、例えば、注目画素に対して所定の位置関係にある複数のＳＤ画素（以下、適宜、クラスタップという）が、クラス分類部２０１に供給されるＳＤ画像から抽出され、クラス分類回路２０３に供給される。クラス分類回路２０３では、クラスタップ生成回路２０２からのクラスタップを構成するＳＤ画素の画素値のパターン（画素値の分布）が検出され、そのパターンにあらかじめ割り当てられた値が、注目画素のクラスとして、適応処理部２０３に供給される。
【０１８４】
具体的には、例えば、いま、ＨＤ画像が、図１９において、×印で示す画素（ＨＤ画素）で構成され、ＳＤ画像が、同図において、○印で示す画素（ＳＤ画素）で構成されるとする。即ち、ＳＤ画像が、ＨＤ画像の横または縦の画素数をそれぞれ１／２にして構成されるとする。ここで、図１９においては、左からｉ＋１番目で、上からｊ＋１番目のＳＤ画素（図中、○印で示す部分）をＸi,jと表し、同様に、左からｉ’＋１番目で、上からｊ’＋１番目のＨＤ画素（図中、×印で示す部分）をＹi',j'と表す。この場合、ＳＤ画素Ｘi,jの位置と、ＨＤ画素Ｙ2i,2jの位置とは一致する。
【０１８５】
いま、あるＳＤ画素としての、例えばＸ2,2の位置と一致するＨＤ画素Ｙ4,4を注目画素とすると、クラスタップ生成回路２０２では、そのＨＤ画素Ｙ4,4に対応するＳＤ画素として、例えば、ＨＤ画素Ｙ4,4との相関が高いと予想されるＨＤ画素Ｙ4,4の位置と一致するＳＤ画素Ｘ2,2を中心とする３×３（横×縦）のＳＤ画素Ｘ1,1，Ｘ2,1，Ｘ3,1，Ｘ1,2，Ｘ2,2，Ｘ3,2，Ｘ1,3，Ｘ2,3，Ｘ3,3（図１９において点線で囲んである範囲のＳＤ画素）が抽出され、それが、注目画素（ＨＤ画素）Ｙ4,4のクラスタップとされる。
【０１８６】
また、ここでは、例えば、Ｘ2,2の位置と一致するＨＤ画素Ｙ4,4の右隣のＨＤ画素Ｙ5,4が注目画素とされた場合、Ｘ2,2の位置と一致するＨＤ画素Ｙ4,4の下に隣接するＨＤ画素Ｙ4,5が注目画素とされた場合、およびＸ2,2の位置と一致するＨＤ画素Ｙ4,4の右斜め下に隣接するＨＤ画素Ｙ5,5が注目画素とされた場合においても、クラスタップ生成回路２０２では、ＨＤ画素Ｙ4,4が注目画素とされた場合に形成されるクラスタップと同一のクラスタップが形成される。なお、ＨＤ画素Ｙ4,4，Ｙ5,4，Ｙ4,5，Ｙ5,5がそれぞれ注目画素とされた場合に形成するクラスタップは、異なるものとすることも可能である。
【０１８７】
そして、クラス分類回路２０３では、クラスタップ生成回路２０２で構成されたクラスタップとしての９個のＳＤ画素（画素値）のパターンが検出され、そのパターンに対応する値が、注目画素のクラスとして出力される。
【０１８８】
このクラスは、適応処理部２０４における係数ＲＯＭ（Read Only Memory）２０７のアドレス端子（ＡＤ）に供給される。
【０１８９】
ここで、画像を構成する画素には、一般的に、８ビットなどが割り当てられる。いま、ＳＤ画素に８ビットが割り当てられているとすると、例えば、図１９に示した３×３画素の正方形状のクラスタップだけを考えても、画素値のパターン数は、（２8）9通りという莫大な数となり、その後の処理の迅速化が困難となる。
【０１９０】
そこで、クラス分類を行う前の前処理として、クラスタップには、それを構成するＳＤ画素のビット数を低減するための処理である、例えばＡＤＲＣ（Adaptive Dynamic Range Coding）処理などが施される。
【０１９１】
即ち、ＡＤＲＣ処理では、まず、処理ブロックを構成する９個のＳＤ画素から、その画素値の最大のもの（以下、適宜、最大画素という）と最小のもの（以下、適宜、最小画素という）とが検出される。そして、最大画素の画素値ＭＡＸと最小画素の画素値ＭＩＮとの差分ＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、このＤＲを処理ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、処理ブロックを構成する各画素値が、元の割当ビット数より少ないＫビットに再量子化される。つまり、処理ブロックを構成する各画素値から最小画素の画素値ＭＩＮが減算され、各減算値が、ＤＲ／２Kで除算される。
【０１９２】
その結果、処理ブロックを構成する各画素値はＫビットで表現されるようになる。従って、例えばＫ＝１とした場合、９個のＳＤ画素の画素値のパターン数は、（２1）9通りになり、ＡＤＲＣ処理を行わない場合に比較して、パターン数を非常に少ないものとすることができる。
【０１９３】
一方、適応処理部２０４は、予測タップ生成回路２０５、予測演算回路２０６、および係数ＲＯＭ２０７で構成され、そこでは、適応処理が行われる。
【０１９４】
即ち、予測タップ生成回路２０５では、適応処理部２０４に供給されるＳＤ画像から、予測演算回路２０６において注目画素の予測値を求めるのに用いる、その注目画素に対して所定の位置関係にある複数のＳＤ画素が抽出され、これが予測タップとして、予測演算回路２０６に供給される。
【０１９５】
具体的には、例えば、ＨＤ画素Ｙ4,4が注目画素とされ、図１９で説明したようなクラスタップが構成される場合、予測タップ生成回路２０５では、例えば、ＨＤ画素Ｙ4,4との相関が高いと予想されるＳＤ画素として、同図に実線で囲んで示す範囲の、注目画素Ｙ4,4の位置に一致するＳＤ画素Ｘ2,2を中心とする５×５のＳＤ画素が抽出され、これが、注目画素（ＨＤ画素）Ｙ4,4の予測タップとされる。
【０１９６】
なお、ここでは、ＨＤ画素Ｙ5,4，Ｙ4,5，Ｙ5,5が注目画素とされた場合においても、ＨＤ画素Ｙ4,4が注目画素とされた場合に形成される予測タップと同一の予測タップが形成される。但し、ＨＤ画素Ｙ4,4，Ｙ5,4，Ｙ4,5，Ｙ5,5がそれぞれ注目画素とされた場合に形成する予測タップは、異なるものとすることも可能である。
【０１９７】
そして、予測演算回路２０６には、予測タップ生成回路２０５から予測タップが供給される他、係数ＲＯＭ２０７から予測係数も供給される。
【０１９８】
即ち、係数ＲＯＭ２０７は、あらかじめ学習が行われることにより求められた予測係数を、クラスごとに記憶しており、クラス分類回路２０３からクラスが供給されると、そのクラスに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路２０６に供給する。
【０１９９】
これにより、予測演算回路２０６には、注目画素に対応する予測タップと、その注目画素のクラスについての予測係数とが供給される。そして、予測演算回路２０６では、係数ＲＯＭ２０７からの予測係数ｗ1，ｗ2，・・・と、予測タップ生成回路２０５からの予測タップ（を構成するＳＤ画素）ｘ1，ｘ2，・・・とを用いて、式（１）に示した演算が行われることにより、注目画素（ＨＤ画素）ｙの予測値Ｅ［ｙ］が求められ、これが、ＨＤ画素の画素値として出力される。
【０２００】
以上の処理が、すべてのＨＤ画素を注目画素として行われ、これにより、ＳＤ画像がＨＤ画像に変換される。
【０２０１】
次に、図２０は、図１８の係数ＲＯＭ２０７に記憶させる予測係数を算出する学習処理を行う学習装置の構成例を示している。
【０２０２】
学習における教師データｙとなるべきＨＤ画像（学習用のＨＤ画像）が、間引き回路２１１および教師データ抽出回路１４６に供給されるようになされており、間引き回路２１１では、ＨＤ画像が、例えば、その画素数が間引かれることにより少なくされ、これによりＳＤ画像とされる。即ち、間引き回路２１１では、ＨＤ画像の横または縦の画素数がそれぞれ１／２にされ、これにより、ＳＤ画像が形成される。このＳＤ画像は、クラス分類部２１２および予測タップ生成回路１４５に供給される。
【０２０３】
クラス分類部２１２または予測タップ生成回路１４５では、図１８のクラス分類部２０１または予測タップ生成回路２０５における場合と同様の処理が行われ、これにより注目画素のクラスまたは予測タップがそれぞれ出力される。クラス分類部２１２が出力するクラスは、予測タップメモリ１４７および教師データメモリ１４８のアドレス端子（ＡＤ）に供給され、予測タップ生成回路１４５が出力する予測タップは、予測タップメモリ１４７に供給される。
【０２０４】
予測タップメモリ１４７では、クラス分類部２１２から供給されるクラスに対応するアドレスに、予測タップ生成回路１４５から供給される予測タップが記憶される。
【０２０５】
一方、教師データ抽出回路１４６では、クラス分類部２１２および予測タップ生成回路１４５において注目画素とされるＨＤ画素が、そこに供給されるＨＤ画像から抽出され、教師データとして、教師データメモリ１４８に供給される。
【０２０６】
そして、教師データメモリ１４８では、クラス分類部２１２から供給されるクラスに対応するアドレスに、教師データ抽出回路１４６から供給される教師データが記憶される。
【０２０７】
以上の処理が、あらかじめ学習用に用意されたすべてのＨＤ画像（学習用のＨＤ画像）を構成するすべてのＨＤ画素を、順次、注目画素として行われる。
【０２０８】
その結果、教師データメモリ１４８または予測タップメモリ１４７の同一のアドレスには、そのアドレスに対応するクラスのＨＤ画素、またはそのＨＤ画素にについて図１９において説明した予測タップを構成する位置にあるＳＤ画素が、教師データｙまたは学習データｘとして、それぞれ記憶される。
【０２０９】
なお、予測タップメモリ１４７と教師データメモリ１４８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、同一のクラスに分類される複数の学習データｘと教師データｙを記憶することができるようになされている。
【０２１０】
その後、演算回路１４９は、予測タップメモリ１４７または教師データメモリ１４８から、同一アドレスに記憶されている学習データとしての予測タップまたは教師データとしてのＨＤ画素を読み出し、それらを用いて、例えば、最小自乗法によって、予測値と教師データとの間の誤差を最小にする予測係数を算出する。即ち、演算回路１４９では、クラスごとに、式（７）に示した正規方程式がたてられ、これを解くことにより予測係数が求められる。
【０２１１】
以上のようにして、演算回路１４９で求められたクラスごとの予測係数が、図１８の係数ＲＯＭ２０７における、そのクラスに対応するアドレスに記憶されている。
【０２１２】
なお、上述の場合では、ＨＤ画素Ｙ4,4，Ｙ5,4，Ｙ4,5，Ｙ5,5がそれぞれ注目画素とされた場合に形成するクラスタップ、予測タップをそれぞれ同一のものとしたため、予測係数は、ＨＤ画素Ｙ4,4，Ｙ5,4，Ｙ4,5，Ｙ5,5それぞれについて、それぞれ教師データとして、個別に、正規方程式をたてて求める必要がある。
【０２１３】
適応処理によれば、元のＳＤ画像には含まれていない高周波成分を含んだＨＤ画像を得ることができ、また、注目画素について、クラス分類処理を行い、その結果得られるクラスに対応した予測係数を用いて適応処理を行うことで、注目画素に適した適応処理を施すことができる。
【０２１４】
なお、上述したクラス分類処理および適応処理（以下、適宜、クラス分類適応処理という）によって、未記憶アドレスに対応するＨＤ画素を、既記憶周辺画素から生成する場合においては、図１９に示したクラスタップや予測タップを形成するための既記憶周辺画素が存在しないことがあり、この場合、図１９に示したような、クラスタップや予測タップを形成することができない。従って、未記憶アドレスに対応する画素を、クラス分類適応処理によって生成するには、存在する既記憶周辺画素を用いて、適応的に、クラスタップや予測タップを形成する必要があり、そのために、学習時には、種々の形状のクラスタップや予測タップを形成して、予測係数を求めておく必要がある。
【０２１５】
次に、上述の場合においては、図１３に示したように、解像度創造用メモリ部１５を、水平方向および垂直方向のいずれについても、ＳＤ画像を構成する画素数の２倍以上の画素を記憶することができるように構成するとともに、アクセス範囲を、相対アドレスポインタを最も左上の点とする２ＰH×２ＰV画素の範囲、即ち、ＨＤ画像の１画面と同一の範囲としたため、ＳＤ画像の動きベクトルのｘ成分およびｙ成分が、１／２の奇数倍になっていれば、その動きベクトルを２倍したベクトルにしたがって、相対アドレスポインタを移動することにより、水平方向のＳＤ画素どうしの中点や、垂直方向のＳＤ画素どうしの間の中点に画素が想定され、従って、解像度の良いＨＤ画像を得ることができる。
【０２１６】
しかしながら、ＳＤ画像の動きベクトルのｘ成分およびｙ成分が、常時、１／２の奇数倍になるとは限らない。また、ＳＤ画像の動きベクトルのｘ成分およびｙ成分が、１／２の奇数倍になっていない場合に、その動きベクトルを２倍したもののｘおよびｙ成分を、例えば、図９で説明したように四捨五入したベクトルにしたがって、相対アドレスポインタを移動することとすると、本来、水平方向のＳＤ画素どうしの中点や、垂直方向のＳＤ画素どうしの間の中点からずれた位置に想定されるべき画素が、そのような中点に想定されることになり、得られるＨＤ画像の解像度が劣化することになる。なお、このことは、ＳＤ画像の動きベクトルのｘ成分やｙ成分が、１／２の奇数倍になっていない場合の他、１／２の偶数倍になっていない場合も同様である。
【０２１７】
そこで、ＳＤ画像の動きベクトルのｘ，ｙ成分が、１／２の整数倍から、大きくはずれている場合には、そのＳＤ画像を構成するＳＤ画素を、解像度創造用メモリ部１５に書き込まないようにすることができる。この場合、本来、水平方向のＳＤ画素どうしの中点や、垂直方向のＳＤ画素どうしの間の中点から大きくずれた位置に想定されるべき画素が、そのような中点に想定されることに起因する、ＨＤ画像の解像度の劣化を防止（低減）することができる。
【０２１８】
ところで、ＳＤ画像の動きベクトルのｘ，ｙ成分が、１／２の整数倍から、大きくはずれている場合に、そのＳＤ画像を構成するＳＤ画素を、解像度創造用メモリ部１５に書き込まないようにしたときには、書き込むようにしたときと比較して、解像度創造用メモリ部１５に書き込まれるＳＤ画素の数が少なくなり、画素生成部４３において生成するＨＤ画素の数が多くなる。そして、画素生成部４３では、解像度創造用メモリ部１５に、既に記憶されたＳＤ画素を用いて、ＨＤ画素が生成されるから、解像度創造用メモリ部１５に書き込まれるＳＤ画素の数が少なくなると、画素生成部４３において生成されるＨＤ画素の精度が悪化することになる。
【０２１９】
そこで、例えば、図２１に示すように、解像度創造用メモリ部１５を、水平方向および垂直方向のいずれについても、ＳＤ画像を構成する画素数の４倍以上の画素を記憶することができるように構成し、また、アクセス範囲も、相対アドレスポインタを最も左上の点とする４ＰH×４ＰV画素の範囲、即ち、ここでは、水平方向および垂直方向のいずれについても、ＨＤ画像を構成する画素数の２倍の範囲とするようにする。
【０２２０】
そして、ＳＤ画像の動きベクトルを４倍したもののｘおよびｙ成分を、例えば、図９で説明したように四捨五入したベクトルにしたがって、相対アドレスポインタを移動して、アクセス範囲に、ＳＤ画素を、水平および垂直方向のアドレスとも３つおきに書き込むこととする。但し、この場合でも、ＳＤ画像の動きベクトルのｘ，ｙ成分が、１／４の整数倍から、大きくはずれているときには、そのＳＤ画像を構成するＳＤ画素を、解像度創造用メモリ部１５に書き込まないようにする。
【０２２１】
以上のようにアクセス範囲を拡大することで、解像度創造用メモリ部１５に書き込まれるＳＤ画素の数を増加させることができる。
【０２２２】
ここで、例えば、図２２に示すように、第Ｎ−４フレームから第Ｎフレームにかけて移動するオブジェクトを構成するＳＤ画素を、４ＰH×４ＰV画素の範囲とされたアクセス範囲に、上述したように書き込んだ状態を、図２３に示す。
【０２２３】
ところで、以上のように、アクセス範囲を、４ＰH×４ＰV画素の範囲とした場合において、２ＰH×２ＰV画素で構成されるＨＤ画像を得るには、図２３に示した、水平方向と垂直方向との点線の交点上のＳＤ画素だけを、アクセス範囲から読み出せば良い。即ち、アクセス範囲内における記憶値を、水平および垂直方向とも１つおきに読み出せば良い。
【０２２４】
しかしながら、この場合でも、図２３に示した、水平方向と垂直方向との点線の交点上に、ＳＤ画素が書き込まれていないことがある。この場合、対応するＨＤ画素は、上述したように、既記憶周辺画素を用いて生成することとなるが、その生成時においては、図２３を拡大した図２４に示すように、水平方向と垂直方向との点線の交点上にある既記憶周辺画素の他、そのような交点上にない既記憶周辺画素も用いることができる。このように、交点上にない既記憶周辺画素も用いて、ＨＤ画素を生成する場合には、より解像度の高いＨＤ画像を得ることが可能となる。
【０２２５】
ここで、この場合、ＨＤ画素の生成は、上述した線形補間や、クラス分類処理および適応処理による他、例えば、そのＨＤ画素に最も近い位置にある既記憶周辺画素への置き換えなどによって行うことも可能である。
【０２２６】
なお、アクセス範囲内のアドレスのうち、既に、ＳＤ画素が記憶されているアドレスに、新たにＳＤ画素が供給された場合には、その新たなＳＤ画素を上書きしても良いし、既に記憶されているＳＤ画素の動きベクトルと、新たなＳＤ画素の動きベクトルとを比較し、動きベクトルのｘ，ｙ成分が、１／４の整数倍に最も近い方を、優先的に記憶させるようにしても良い。但し、動きベクトルのｘ，ｙ成分が、１／４の整数倍に最も近い方を、優先的に記憶させるようにする場合には、解像度創造用メモリ部１５に既に記憶されているＳＤ画素の動きベクトルを記憶するためのメモリなどが必要となる。
【０２２７】
次に、ＳＤ画像が、複数（Ｍ個以下）の異なる動きのオブジェクトから構成される場合には、解像度変換部３４は、図１２に示したように構成する必要があるが、ＳＤ画像が、例えば、ビデオカメラをパンやチルトすることにより、風景などを撮影することにより得られた、全画面が同一の動きをするものである場合には、解像度変換部３４は、例えば、図２５に示すように構成することができる。
【０２２８】
即ち、図２５は、図１１の解像度変換部３４の他の構成例を示している。なお、図中、図１２における場合と対応する部分については、同一の符号を付してある。即ち、図２５の解像度変換部３４は、領域分割部２１および合成部２４が設けられておらず、Ｍ個の高解像度オブジェクト生成部４１1乃至４１Mに替えて、１の高解像度オブジェクト生成部４１が設けられ、さらに、高解像度オブジェクト生成部４１には、スイッチ２２およびメモリ２３が設けられていない他は、図１２における場合と同様に構成されている。
【０２２９】
以上のように構成される解像度変換部３４では、図１２における場合と同様に、フレームメモリ部１１に対して、Ａ／Ｄ変換器３（図１１）から、ＳＤ画像が供給され、そこでは、Ａ／Ｄ変換器３からのＳＤ画像が、順次記憶されていく。
【０２３０】
そして、動き検出部１２において、フレームメモリ部１１に記憶されたＳＤ画像の動きベクトルが、水平方向および垂直方向とも、そのＳＤ画像の画素よりも細かい単位で検出され、コントローラ１４に供給される。なお、上述したように、ここでは、ＳＤ画像として、全画面が同一の動きをするものが入力されるので、全画面（１フレーム）について、１つの動きベクトルが検出されるようになされている。
【０２３１】
コントローラ１４は、解像度創造用メモリ部１５における相対アドレスポインタを、動き検出部１２からの動きベクトルにしたがって移動し、その移動後の相対アドレスポインタを最も左上の頂点とするアクセス範囲に、フレームメモリ部１１の現フレームメモリ１１Ａに記憶された１フレーム分のＳＤ画素を記憶させる。さらに、コントローラ１４は、書き込みフラグ記憶部４２に記憶されている書き込みフラグのうち、ＳＤ画素を書き込んだ解像度創造用メモリ部１５のアドレスに対応するものを、１にセットする。なお、アクセス範囲（従って、解像度創造用メモリ部１５も）としては、例えば、図１３で説明した範囲が設定されており、従って、アクセス範囲へのＳＤ画素の書き込みは、ここでは、水平および垂直方向とも、１つおきに行われる。
【０２３２】
以上のようにして、解像度創造用メモリ部１５のアクセス範囲内には、垂直方向だけでなく、水平方向にも画素が想定され、ＳＤ画像の水平方向および垂直方向の画素数を、いずれも２倍にしたＨＤ画像が再生（創造）されていく。
【０２３３】
なお、シーンチェンジ検出部１３は、上述したようにして、ＳＤ画像のシーンチェンジを検出しており、コントローラ１４は、シーンチェンジ検出部１３からシーンチェンジである旨を受信すると、解像度創造用メモリ部１５をリセットするとともに、書き込みフラグ記憶部４２もリセットするようになされている。
【０２３４】
解像度創造用メモリ部１５のアクセス範囲内における記憶値は、コントローラ１４の制御の下、ＨＤ画像を構成するＨＤ画素として読み出され、画素生成部４３に供給される。画素生成部４３は、ＨＤ画素として読み出された記憶値が、初期値かどうかを、書き込みフラグ記憶部４２を参照することにより判定し、即ち、ＨＤ画素として読み出された値が、フレームメモリ１１から書き込まれたＳＤ画素であるかどうかを判定し、その判定結果に基づいて、ＨＤ画素を生成する。
【０２３５】
即ち、ここでは、上述の図１３に示したように、アクセス範囲は、１画面のＳＤ画像の水平方向または垂直方向の画素数を、それぞれ２倍にした数に対応するアドレス空間を有し、また、アクセス範囲は、動きベクトルにしたがって移動されるから、アクセス範囲が、常時、その全体に、ＳＤ画素が書き込まれた状態になっているとは限らない。そこで、画素生成部４３は、アクセス範囲内の各アドレスの記憶値が、ＳＤ画素であるかどうかを判定し、ＳＤ画素である場合には、そのＳＤ画素を、そのままＨＤ画素として出力し、ＳＤ画素でない場合、即ち、シーンチェンジの検出後に書き込まれた初期値である場合には、アクセス範囲に、既に書き込まれているＳＤ画素を用いて、ＨＤ画素を生成して出力する。なお、既に書き込まれているＳＤ画素からのＨＤ画素の生成は、例えば、上述したような単純な補間によって行っても良いし、クラス分類適応処理によって行っても良い。
【０２３６】
以上のようにして、画素生成部４３が出力するＨＤ画素で構成される１フレームのＨＤ画像、即ち、ここでは、ＳＤ画像の水平方向または垂直方向の画素数（解像度）をそれぞれ２倍にしたＨＤ画像は、Ｄ／Ａ変換器５（図１１）を介して、ＣＲＴ３６に供給されて表示される。
【０２３７】
なお、図２５の実施の形態においても、例えば、図２１に示したように、解像度創造用メモリ部１５を、水平方向および垂直方向のいずれについても、ＳＤ画像を構成する画素数の４倍以上の画素を記憶することができるように構成するとともに、アクセス範囲も、相対アドレスポインタを最も左上の点とする４ＰH×４ＰV画素の範囲、即ち、水平方向および垂直方向のいずれについても、ＨＤ画像を構成する画素数の２倍の範囲とするようにすることが可能であり、この場合、より解像度の高いＨＤ画像を得ることが可能となる。
【０２３８】
以上、本発明を、折り返し歪みを有する画像からの、その折り返し歪みの除去（低減）、およびＳＤ画像のＨＤ画像への変換に適用した場合について説明したが、本発明は、その他、例えば、画像を拡大する場合や、インターレース走査された画像を、プログレッシブな画像（ノンインターレース走査される画像）に変換する場合などにも適用可能である。
【０２３９】
なお、本実施の形態では、フレーム単位の画像を処理するようにしたが、フィールド単位で処理を行うことも可能である。
【０２４０】
また、本実施の形態では、画像をＣＲＴに表示するようにしたが、本発明は、画像を液晶ディスプレイなどに表示する場合などにも適用可能である。
【０２４１】
さらに、本実施の形態では、テレビジョン受像機において、アナログのテレビジョン放送を受信するようにしたが、本発明は、ディジタル放送を受信する場合にも適用可能である。
【０２４２】
【発明の効果】
以上の如く、本発明の画像処理装置および画像処理方法によれば、第１の画像の動きに対応した位置に画素を想定することにより、第２の画像が生成される。従って、例えば、第１の画像が折り返し歪みを有する場合に、その折り返し歪みを除去または低減した第２の画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したテレビジョン受像機の一実施の形態の構成を示すブロック図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の原理を説明するための図である。
【図４】図１の歪み補正部４の構成例を示すブロック図である。
【図５】画素より細かい単位での動きベクトルの検出方法を説明するための図である。
【図６】図４の解像度創造用メモリ部１５の構成例を示す図である。
【図７】相対アドレスポインタとアクセス範囲を説明するための図である。
【図８】アクセス範囲への画像データの書き込み方法を説明するための図である。
【図９】図４の歪み補正部４の動作を説明するためのフローチャートである。
【図１０】図１の歪み補正部４の他の構成例を示すブロック図である。
【図１１】本発明を適用したテレビジョン受像機の他の実施の形態の構成例を示すブロック図である。
【図１２】図１１の解像度変換部３４の構成例を示すブロック図である。
【図１３】図１２の解像度創造用メモリ部１５の構成例を示す図である。
【図１４】図１２の解像度創造用メモリ部１５への書き込み処理を説明するためのフローチャートである。
【図１５】解像度創造用メモリ部１５に、ＳＤ画像が記憶されていく様子を示す図である。
【図１６】図１２の解像度創造用メモリ部１５からの読み出し処理を説明するためのフローチャートである。
【図１７】図１６のステップＳ２３の処理のより詳細を説明するためのフローチャートである。
【図１８】ＳＤ画像からＨＤ画像を生成する画像変換装置の構成例を示すブロック図である。
【図１９】クラスタップおよび予測タップを示す図である。
【図２０】図１８の係数ＲＯＭ２０７に記憶されている予測係数を求める学習を行う学習装置の構成例を示すブロック図である。
【図２１】図１２の解像度創造用メモリ部１５の構成例を示す図である。
【図２２】ＳＤ画像を構成するオブジェクトが移動している様子を示す図である。
【図２３】ＳＤ画素が書き込まれたアクセス範囲を示す図である。
【図２４】図２３のアクセス範囲の記憶値からの、ＨＤ画素の生成方法を説明するための図である。
【図２５】図１１の解像度変換部３４の他の構成例を示すブロック図である。
【図２６】ＣＲＴに画像が表示されるときの走査の様子を示す図である。
【図２７】垂直方向の折り返し歪みを説明するための図である。
【符号の説明】
１ チューナ， ２ ＬＰＦ， ３ Ａ／Ｄ変換器， ４ 歪み補正部， ５Ｄ／Ａ変換器， ６ ＣＲＴ， １１ フレームメモリ部， １１Ａ 現フレームメモリ， １１Ｂ 前フレームメモリ， １２ 動き検出部， １３ シーンチェンジ検出部， １４，１４Ａ，１４Ｂ コントローラ， １５，１５Ａ，１５Ｂ 解像度創造用メモリ部， １６ 垂直ＬＰＦ， １７ フレームメモリ部， ２１ 領域分割部， ２２Ａ，２２Ｂ スイッチ， ２３Ａ，２３Ｂ メモリ， ２４ 合成部， ３４ 解像度変換部， ３６ ＣＲＴ， ４１，４１1乃至４１M 高解像度オブジェクト生成部， ４２ 書き込みフラグ記憶部， ４３ 画素生成部， １４５ 予測タップ生成回路， １４６ 教師データ抽出回路， １４７ 予測タップメモリ， １４８ 教師データメモリ， １４９ 演算回路， ２０１ クラス分類部， ２０２ クラスタップ生成回路， ２０３ クラス分類回路， ２０４ 適応処理部， ２０５ 予測タップ生成回路，２０６ 予測演算回路， ２０７ 係数ＲＯＭ， ２１１ 間引き回路， ２１２ クラス分類部
Claims (11)
- 動画像を構成する第１の画像に基づいて、前記第１の画像よりも垂直方向の画素数が多い第２の画像を生成する画像処理装置であって、
前記第１の画像を受信する受信手段と、
時間的に前後する２枚の前記第１の画像の間の動きベクトルを画素よりも細かい単位で検出する動き検出手段と、
複数の前記第１の画像を記憶するためのものであって、水平方向の記憶可能画素数が前記第１の画像の水平画素数以上であり、且つ、垂直方向の記憶可能画素数が前記第１の画像の垂直画素数の所定数倍以上である画像記憶手段と、
時系列に連続する複数の前記第１の画像を、前記動き検出手段によってそれぞれ検出された前記動きベクトルに対応し、前記画像記憶手段に前記第１の画像を書き込むときの位置を示す相対アドレスの原点を移動した後、前記第１の画像の水平方向の画素列を１列ずつ垂直方向に所定の画素数だけ間隔を空けて前記画像記憶手段に記憶させることにより、前記画像記憶手段上に前記第２の画像を生成する制御手段と
を備えることを特徴とする画像処理装置。 - 前記第２の画像は、前記第１の画像よりも解像度の高いものである
ことを特徴とする請求項１に記載の画像処理装置。 - 前記第１の画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記第１の画像に、シーンチェンジが生じたときに、前記画像記憶手段に記憶されている前記第１の画像をクリアするクリア手段と
をさらに備えることを特徴とする請求項１に記載の画像処理装置。 - 前記画像記憶手段から読み出された前記第２の画像の垂直方向の高周波成分を除去するローパスフィルタリング手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。 - 前記ローパスフィルタリング手段によって垂直方向の高周波成分が除去された前記第２の画像の水平方向の画素列を間引くことにより、垂直方向の折り返し歪が除去された前記第１の画像として出力する出力手段と
をさらに備えることを特徴とする請求項４に記載の画像処理装置。 - 前記画像記憶手段上の前記第２の画像が生成されるアドレスのうち、前記第１の画像の画素が記憶されていないアドレスである未記憶アドレスを検出するアドレス検出手段と、
前記アドレス検出手段によって検出された前記画像記憶手段の未記憶アドレスに対応する前記第２の画像の画素を、前記未記憶アドレスの近傍のアドレスに記憶されている前記第１の画像の画素を用いた補間により生成する生成手段と
をさらに備えることを特徴とする請求項１に記載の画像処理装置。 - 前記アドレス検出手段は、前記画像記憶手段のアドレスに、前記第１の画像の画素が書き込まれたときに、その旨を表すフラグが、対応するアドレスに書き込まれる、前記フラグを記憶するフラグ記憶手段を有する
ことを特徴とする請求項６に記載の画像処理装置。 - 前記生成手段は、
前記アドレス検出手段によって検出された前記画像記憶手段の未記憶アドレスに対応する前記第２の画像の画素を注目画素とし、前記注目画素の近傍のアドレスに記憶されている前記第１の画像の複数の画素の画素値に応じて、前記注目画素を所定のクラスに分類するクラス分類手段と、
前記クラスごとに、所定の予測係数を記憶している予測係数記憶手段と、
前記注目画素のクラスに対応する前記予測係数と、前記注目画素の近傍のアドレスに記憶されている前記第１の画像の複数の画素とを用いた積和演算を行うことにより、前記注目画素の画素値を求める演算手段と
を有する
ことを特徴とする請求項６に記載の画像処理装置。 - 前記予測係数は、学習用の前記第２の画像を用いて学習を行うことにより求められたものである
ことを特徴とする請求項８に記載の画像処理装置。 - 前記第１の画像を複数の領域に分割する領域分割手段を
さらに備え、
前記動き検出手段は、時間的に前後する２枚の前記第１の画像の間の動きベクトルを前記複数の領域毎に画素よりも細かい単位で検出し、
前記制御手段は、前記動き検出手段によって検出された前記複数の領域毎の前記動きベクトルに対応し、前記画像記憶手段に前記第１の画像を書き込むときの位置を示す相対アドレスの原点を移動した後、前記第１の画像の水平方向の画素列を１列ずつ所定の画素数だけ間隔を空けて前記画像記憶手段に記憶させることにより、前記複数の画像記憶手段上に、前記第１の画像の複数の領域それぞれに対応する前記第２の画像の複数の領域を生成する
ことを特徴とする請求項１に記載の画像処理装置。 - 動画像を構成する第１の画像に基づいて、前記第１の画像より多い画素数から成る第２の画像を生成する画像処理装置の画像処理方法であって、
前記第１の画像を受信する受信ステップと、
時間的に前後する２枚の前記第１の画像の間の動きベクトルを画素よりも細かい単位で検出する動き検出ステップと、
時系列に連続する複数の前記第１の画像を、前記動き検出ステップの処理でそれぞれ検出された前記動きベクトルに対応し、複数の前記第１の画像を記憶するためのものであって、水平方向の記憶可能画素数が前記第１の画像の水平画素数以上であり、且つ、垂直方向の記憶可能画素数が前記第１の画像の垂直画素数の所定数倍以上である画像記憶手段に前記第１の画像を書き込むときの位置を示す相対アドレスの原点を移動した後、前記第１の画像の水平方向の画素列を１列ずつ垂直方向に所定の画素数だけ間隔を空けて前記画像記憶手段に記憶させることにより、前記画像記憶手段上に前記第２の画像を生成する制御ステップと
を含むことを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03247398A JP4120898B2 (ja) | 1997-02-14 | 1998-02-16 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3018197 | 1997-02-14 | ||
| JP9-261934 | 1997-09-26 | ||
| JP26193497 | 1997-09-26 | ||
| JP9-30181 | 1997-09-26 | ||
| JP03247398A JP4120898B2 (ja) | 1997-02-14 | 1998-02-16 | 画像処理装置および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11164264A JPH11164264A (ja) | 1999-06-18 |
| JP4120898B2 true JP4120898B2 (ja) | 2008-07-16 |
Family
ID=27286863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03247398A Expired - Fee Related JP4120898B2 (ja) | 1997-02-14 | 1998-02-16 | 画像処理装置および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4120898B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4419499B2 (ja) | 2003-01-07 | 2010-02-24 | セイコーエプソン株式会社 | 画像生成装置、画像ずれ量検出装置、画像生成方法、画像ずれ量検出方法、画像生成プログラムおよび画像ずれ量検出プログラム |
| JP4151422B2 (ja) | 2003-01-23 | 2008-09-17 | セイコーエプソン株式会社 | 画像生成装置、画像生成方法および画像生成プログラム |
| JP2009033582A (ja) * | 2007-07-30 | 2009-02-12 | Hitachi Ltd | 画像信号記録再生装置 |
| JP2009033581A (ja) * | 2007-07-30 | 2009-02-12 | Hitachi Ltd | 画像信号記録再生装置 |
| RU2423015C2 (ru) | 2007-12-18 | 2011-06-27 | Сони Корпорейшн | Устройство обработки данных, способ обработки данных и носитель информации |
-
1998
- 1998-02-16 JP JP03247398A patent/JP4120898B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11164264A (ja) | 1999-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0859513B1 (en) | Image signal converting apparatus and method | |
| JP5288214B2 (ja) | データ処理装置、データ処理方法、及びプログラム | |
| US7466451B2 (en) | Method and apparatus for converting motion image data, and method and apparatus for reproducing motion image data | |
| US20100202711A1 (en) | Image processing apparatus, image processing method, and program | |
| JP2004266381A (ja) | 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム | |
| JPH0423874B2 (ja) | ||
| JPH1175180A (ja) | 画像処理装置および画像処理方法、並びに伝送媒体および伝送方法 | |
| JP4120898B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2000115716A (ja) | 映像信号の変換装置および変換方法、並びにそれを使用した画像表示装置およびテレビ受信機 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JP3849817B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4300446B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4470323B2 (ja) | 画像変換装置および方法 | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| KR100505516B1 (ko) | 영상신호변환장치및방법 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP4449489B2 (ja) | 信号処理装置および信号処理方法 | |
| JP4120095B2 (ja) | 画像情報変換装置および変換方法 | |
| JP3480011B2 (ja) | 画像情報変換装置 | |
| JP4310847B2 (ja) | 画像情報変換装置および変換方法 | |
| JP3162671B2 (ja) | 画像拡大処理装置 | |
| JP4674439B2 (ja) | 信号処理装置および信号処理方法、並びに情報記録媒体 | |
| JPH07225835A (ja) | 映像信号処理方法および映像信号処理装置 | |
| JPH0759083B2 (ja) | 画像情報伝送方法 | |
| JPH08195936A (ja) | スロー画像再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050204 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071031 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080313 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080404 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080417 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110509 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110509 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120509 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130509 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130509 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |