JP4158232B2 - 画像情報変換装置および画像表示装置 - Google Patents

画像情報変換装置および画像表示装置 Download PDF

Info

Publication number
JP4158232B2
JP4158232B2 JP20811698A JP20811698A JP4158232B2 JP 4158232 B2 JP4158232 B2 JP 4158232B2 JP 20811698 A JP20811698 A JP 20811698A JP 20811698 A JP20811698 A JP 20811698A JP 4158232 B2 JP4158232 B2 JP 4158232B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
signal
pixel
information
image signal
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP20811698A
Other languages
English (en)
Other versions
JP2000041223A (ja )
Inventor
秀雄 中屋
賢 井上
真史 内田
卓夫 守村
一隆 安藤
渉 新妻
伸幸 朝倉
勉 渡辺
靖 立平
哲二郎 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145Conversion of standards involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels

Description

【0001】
【発明の属する技術分野】
この発明は、例えば、テレビジョン受像機に用いて好適な画像情報変換装置および画像表示装置に関する。
【0002】
【従来の技術】
入力画像信号とは走査線構造が異なる出力画像信号を形成する場合に、出力画像信号毎に異なるハードウエアを使用する方法が考えられる。また、積和演算を行う時に、複数の形態の積和演算結果を必要とする場合がある。複数の演算結果を得るために、異なる演算回路を切り替えることが考えられる。しかしながら、このように、ハードウエアを切り替えることは、ハードウエアの規模が大きくなり、動作しないハードウエアが生じる無駄がある。
【0003】
具体的なアプリケーションとして、SD信号から、高画質、高解像度の出力信号を形成する信号変換の場合、複数の出力信号へ変換する場合には、出力信号の種類毎にハードウエアを設け、出力信号を指定した時に、対応するハードウエアを使用することが考えられる。この方法も、ハードウエアの規模、無駄を生じる。複数の出力信号を必要とするのは、入力画像信号の絵柄に応じて適した出力画像信号を得るためである。例えばSD信号が走査線数が525本で、インターレス方式の画像信号を、走査線数が1050本で、インターレス方式の画像信号へ変換することを想定する。確かに走査線数が2倍となるので、自然画の場合では、高画質、高解像度の出力画像信号が得られる。しかしながら、インターレス方式であるために、グラフィックスの画像では、ラインフリッカが目立つ問題がある。従って、入力画像信号に応じて変換により得られる出力画像信号の走査線構造を切り替える必要がある。
【0004】
ラインフリッカ成分を除去する従来の方法としては、インターレス方式の信号をプログレッシブ方式の信号へ変換するものが知られている。しかしながら、この方法は、線形補間によって、補間信号を作成するので、入力信号のもの以上の解像度を改善できず、また、動き検出の結果に基づいて補間方法(静止画処理と動画処理)を切り替える時に、切り替わり時に原信号と補間信号との間の解像度の差が目立ち、さらに、動き検出を誤った時に、画質の劣化が大きい問題があった。
【0005】
【発明が解決しようとする課題】
この発明は、画像信号の走査線構造を変換する場合に、指定した走査線構造の出力画像信号を得ることが可能な画像情報変換装置および画像表示装置を提供するものである。
【0006】
【課題を解決するための手段】
上述した課題を達成するために、請求項1の発明は、ライン数がN本のインタ−レスの入力画像信号からライン数がほぼ2N本の出力画像信号を形成する第1の信号変換と、入力画像信号からプログレッシブの出力画像信号を形成する第2の信号変換との内の一方を行うようにした画像情報変換装置において、
第1および第2の信号変換毎に、第1のタップ位置情報と、第2のタップ位置情報と、積和演算によって、第1の画素を生成した時に、生成された値と第1の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって予め取得されている係数と、出力画像信号の走査線構造を指定する制御信号とを組とする情報を記憶するメモリ手段と、
メモリ手段から第1および第2の信号変換の内の所望の信号変換に対応して、第1のタップ位置情報レジスタ、第2のタップ位置情報レジスタ、係数メモリおよびレジスタへ第1のタップ位置情報と、第2のタップ位置情報と、係数と、出力画像信号の走査線構造を指定する制御信号とをそれぞれロードする情報設定手段と、
情報設定手段により設定された第1のタップ位置情報に従って、出力画像信号の作成すべき第1の画素の位置と特定の位置関係にある複数の第2の画素を選択する第1のデータ選択手段と、
情報設定手段により設定された第2のタップ位置情報に従って、出力画像信号の作成すべき第1の画素の位置と特定の位置関係にある複数の第3の画素を選択する第2のデータ選択手段と、
第2のデータ選択手段で選択された複数の第3の画素を用いて第1の画素近傍のレベル分布の時空間パターンを表すクラス情報を形成するクラス決定手段と、
第1のデータ選択手段で選択された複数の第2の画素と、クラス情報に対応する係数の積和演算によって、第1の画素の画素値を作成する画素値作成手段と、
画素値作成手段に対して接続され、画素値作成手段により作成された第1の画素を走査線構造を指定する制御信号に応じてた出力画像信号の走査線構造へ変換するための走査変換手段とからなることを特徴とする画像情報変換装置である。
【0007】
請求項の発明は、ライン数がN本のインタ−レスの入力画像信号からライン数がほぼ2N本の出力画像信号を形成する第1の信号変換と、入力画像信号からプログレッシブの出力画像信号を形成する第2の信号変換との内の一方を行う画像情報変換装置が入力画像信号源と表示装置との間に設けられ、画像情報変換装置の出力画像信号を表示装置に表示するようにした画像表示装置において、
画像情報変換装置は、
第1および第2の信号変換毎に、第1のタップ位置情報と、第2のタップ位置情報と、積和演算によって、第1の画素を生成した時に、生成された値と第1の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって予め取得されている係数と、出力画像信号の走査線構造を指定する制御信号とを組とする情報を記憶するメモリ手段と、
メモリ手段から第1および第2の信号変換の内の所望の信号変換に対応して、第1のタップ位置情報レジスタ、第2のタップ位置情報レジスタ、係数メモリおよびレジスタへ第1のタップ位置情報と、第2のタップ位置情報と、係数と、出力画像信号の走査線構造を指定する制御信号とをそれぞれロードする情報設定手段と、
情報設定手段により設定された第1のタップ位置情報に従って、出力画像信号の作成すべき第1の画素の位置と特定の位置関係にある複数の第2の画素を選択する第1のデータ選択手段と、
情報設定手段により設定された第2のタップ位置情報に従って、出力画像信号の作成すべき第1の画素の位置と特定の位置関係にある複数の第3の画素を選択する第2のデータ選択手段と、
第2のデータ選択手段で選択された複数の第3の画素を用いて第1の画素近傍のレベル分布の時空間パターンを表すクラス情報を形成するクラス決定手段と、
第1のデータ選択手段で選択された複数の第2の画素と、クラス情報に対応する係数の積和演算によって、第1の画素の画素値を作成する画素値作成手段と、
画素値作成手段に対して接続され、画素値作成手段により作成された第1の画素を走査線構造を指定する制御信号に応じてた出力画像信号の走査線構造へ変換するための走査変換手段とからなることを特徴とする画像表示装置である。
【0009】
この発明では、ハードウエアを基本的に同一としているので、動作条件設定信号でもって、複数の信号処理機能を実現する時に、複数のハードウエアう切り替える方法と比較して、ハードウエアを小規模とできる。また、この発明による画像情報変換装置は、入力画像信号を、走査線構造の異なる複数の出力画像信号の内の選択したものへ変換することができる。従って、入力画像の絵柄に応じて適した走査線構造の出力画像へ変換することができる。この場合も、ハードウエアの規模の増大を防止できる。さらに、この発明は、画像情報を変換する時に、入力画像信号の複数画素に基づいてクラスを検出し、各クラスで最適となる推定予測式を用いて画素値を作成するので、静止画、動画とも高画質とすることができる。
【0010】
【発明の実施の形態】
この発明の実施形態の説明に先立って、図1を参照してこの発明による情報信号処理装置の基本的構成および動作について説明する。図1において、1が可変アーキテクチャハードウエアである。可変アーキテクチャハードウエア1は、基本的なハードウエアの構成を変更しないで、複数の信号処理機能を発揮できる信号処理回路である。可変アーキテクチャハードウエア1は、少なくとも2個の処理部を有している。例えば可変アーキテクチャハードウエア1は、内部の信号経路、タップ構造、演算処理内容、積和演算の係数の変更が可能とされている。入力信号は、選択スイッチ2を介して可変アーキテクチャハードウエア1に対して入力される。
【0011】
可変アーキテクチャハードウエア1の発揮する機能を設定するのが動作条件設定信号(コンフィギュレーションデータと称する)である。所望の機能と対応したコンフィギュレーションデータがメモリ3から可変アーキテクチャハードウエア1のレジスタに対してロードされる。可変アーキテクチャハードウエア1内の複数の処理部の内の一つの動作態様がコンフィギュレーションデータに応じて可変されると、この動作態様の変化に関連して他の処理部の動作態様が可変されるようになされている。メモリ3に格納されるコンフィギュレーションデータの発生は、幾つかの方法によって可能である。
【0012】
ユーザがスイッチ等を操作することによって発生したコマンドをデコーダ4により復号することによってコンフィギュレーションを形成できる。また、状態センサ出力例えば入力信号の性質の検出等の結果をデコーダ5により復号することによってコンフィギュレーションを形成できる。さらに、入力信号の選択スイッチ2の選択結果をデコーダ6により復号することによってコンフィギュレーションを形成できる。よりさらに、可変アーキテクチャハードウエア1から発生する信号をデコーダ7により復号することによってコンフィギュレーションを形成できる。復号処理を介しないで、媒体読み取り装置8が記録媒体から読み取ったコンフィギュレーションデータを使用しても良い。
【0013】
複数のコンフィギュレーションデータが発生する時に、演算回路9によって、複数のデータを演算することによって、メモリ3に格納するコンフィギュレーションデータを形成しても良い。演算回路9と関連して、状態履歴保存のための付加回路10が設けられている。演算回路9の簡単なものは、複数のコンフィギュレーションデータの一つを選択する選択回路である。
【0014】
上述した図1の情報信号処理装置は、コマンド等に応じてコンフィギュレーションデータを作成し、可変アーキテクチャハードウエア1をコンフィギュレーションデータに従って所望の機能を発揮できるように設定できる。従って、複数の信号処理機能毎にハードウエアを用意する必要がなく、ハードウエアの規模を小さくできる。
【0015】
以下、この発明の第1の実施形態について説明する。第1の実施形態は、ライン数が525本でインターレス方式の入力画像信号(以下、525p信号と称する)からより解像度の高い出力画像信号を形成する画像情報変換装置に対して、この発明を適用したものである。解像度がより高い出力画像信号としては、2種類の画像信号を選択可能とされている。第1の出力画像信号は、ライン数が1050本でインターレス方式の画像信号(以下、1050i信号と称する)である。第2の出力画像信号は、ライン数が525本でプログレッシブ方式(ノンインターレス方式と同義である)の画像信号(以下、525p信号と称する)である。さらに、これらの出力画像信号は、水平方向の画素数が入力画像信号の2倍とされる。
【0016】
このように、2種類の高解像度の画像信号を選択的に出力可能とするのは、入力画像信号の性質に応じて良好な信号変換結果を得るためである。1050i信号は、インターレス方式であるために、ラインフリッカが発生しやすい問題がある。従って、入力画像信号が自然画の場合には、高画質の出力画像を得ることができるが、入力画像信号がグラフィックス情報の場合には、ラインフリッカが目につきやすい。グラフィックス情報の場合には、プログレッシブ方式の画像信号の方がラインフリッカが目立たない点で好ましい。このように、入力画像信号の絵柄に応じて、1050i信号と525p信号とを選択できるようにしている。この選択のための指令は、ユーザの入力によって行ったり、入力画像信号の自動判別に従って行われる。
【0017】
また、この第1実施形態では、本願出願人の提案にかかわるクラス分類適応処理によって、解像度を高めるようにしている。この処理は、従来の補間処理によって高解像度信号を形成するものと異なる。従来は、例えば図2に示すように、入力される525i方式のSD(Standard Definition)信号を動き判定回路21、フレーム間補間回路22およびフィールド内補間回路23に供給し、これら補間回路22および23の出力を切り替え回路24により選択し、選択した信号を線順次変換回路25に供給している。線順次変換回路25は、入力SD信号に含まれるラインデータL1と補間により形成されたラインデータL2とを受け取り、水平走査の倍速処理を行う。線順次変換回路25から出力信号(525p信号)が得られる。
【0018】
切り替え回路24は、動き判定回路21の判定結果が静止の場合には、フィールド間補間回路22からのフィールド間補間で形成されたラインの信号を選択し、判定結果が動きの場合には、フィールド内補間回路23で形成されたラインの信号を選択する。例えばフィールド間補間回路22は、前フィールドのラインの信号を使用して新たなラインの信号を形成し、フィールド内補間回路23は、同一フィールドの上下のラインの信号の平均値により新たなラインの信号を形成する。
【0019】
しかしながら、上述の従来の画像情報変換装置は、SD信号を基にして、単に垂直方向の補間を行っているに過ぎないため、解像度は基となるSD信号より高くならない。また、元々のラインと補間ラインとを切り替える時に、解像度の差が目立つ問題がある。これに対し、入力信号である画像信号レベルの3次元(時空間)分布に応じてクラス分割を行い、クラス毎に予め学習により獲得された予測係数値を格納した記憶手段を持ち、予測式に基づいた演算により最適な推定値を出力する方式は、解像度を入力SD信号のもの以上に高めることが可能である。
【0020】
この手法は、HD(High Definition )画素を作成する場合、作成するHD画素の近傍にある、SD画素をクラス分割し、それぞれのクラス毎に予測係数値を学習により獲得することで、より真値に近いHD画素を得るものである。図3に示す第1の実施形態は、このよう手法による画像信号変換装置である。
【0021】
図3において、入力SD信号(525i信号)が第1のタップ選択回路31、第2のタップ選択回路32および第3のタップ選択回路33に供給される。第1のタップ選択回路31は、予測に使用するSD画素(予測タップと称する)を選択するものである。第2のタップ選択回路32は、作成するHD画素の近傍のSD画素のレベル分布のパターンに対応するクラス分類に使用するSD画素(空間クラスタップと称する)を選択するものである。第3のタップ選択回路33は、作成するHD画素の近傍のSD画素に基づいて動きに対応するクラス分類に使用するSD画素(動きクラスタップと称する)を選択するものである。なお、空間クラスを複数フィールドに属するSD画素を使用して決定する時には、空間クラスにも、動き情報が含まれることになる。
【0022】
第1のタップ選択回路31により選択された予測タップが推定予測演算回路34に供給される。第2のタップ選択回路32により選択された空間クラスタップが空間クラス検出回路35に供給される。空間クラス検出回路35は、空間クラスを検出する。検出された空間クラスがクラス合成回路37に供給される。第3のタップ選択回路33により選択された動きクラスタップが動きクラス検出回路36に供給される。動きクラス検出回路36は、動きクラスを検出する。検出された動きクラスがクラス合成回路37に供給される。クラス合成回路37によって、空間クラスおよび動きクラスが統合され、最終的なクラスコードが形成される。
【0023】
このクラスコードが係数メモリ38に対して、アドレスとして供給され、係数メモリからクラスコードに対応する係数データが読出される。係数データと予測タップとが推定予測演算回路34に供給される。推定予測演算回路34では、予測タップ(525i信号の画素)と係数データとの線形推定式を用いて、SDデータに対応するHDデータ(1050i信号のデータまたは525p信号のデータ)を算出する。推定予測演算回路34からの出力信号(ラインデータL1,L2)が線順次変換回路39に供給される。線順次変換回路39は、ラインメモリを有し、推定予測演算回路34から出力されるラインデータL1、L2を線順次で出力する。線順次変換回路39からHD信号(1050i信号または525p信号)が出力される。
【0024】
図示しないが、出力HD信号がCRTディスプレイに供給される。CRTディスプレイは、出力HD信号が1050i信号または525p信号の何れであっても、同期系を切り替えることによって表示することが可能である。入力SD信号としては、放送信号、またはVTR等の再生装置の再生信号が供給され、解像度がより高くされた画像をディスプレイによって再現することができる。すなわち、この一実施形態をテレビジョン受像機に内蔵することができる。
【0025】
作成すべき1050i信号の画素としては、525i信号のラインに近い位置のラインデータL1と、525i信号のラインから遠い位置のラインデータL2とが存在する。また、525p信号の画素としては、525i信号のラインと同一位置のラインデータL1と、525i信号のラインから遠い位置のラインデータL2とが存在する。ラインデータL1を作成する処理をモード1と称し、ラインデータL2を作成する処理をモード2と称する。さらに、水平方向に関しても画素数が2倍とされる。このように、ラインデータL1およびL2は、特定のラインを指すものではなく、ラインデータL1は、モード1により生成される画素データのラインを意味し、ラインデータL2は、モード2により生成される画素データのラインを意味する。
【0026】
図4は、1フィールドの画像の一部を拡大することによって、525i信号と525p信号との画素の配置を示すものである。大きなドットが525i信号の画素であり、小さいドットが出力される525p信号の画素である。この関係は、図4以外の他の図面においても同様である。図4は、あるフレーム(F)の奇数(O)フィールドの画素配置である。他のフィールド(偶数フィールド)では、525i信号のラインが空間的に0.5ラインずれたものとなる。図4から分かるように、第1の実施形態の画像信号変換装置は、525i信号のラインと同一位置のラインデータL1および525i信号の上下のラインの中間位置のラインデータL2を形成し、また、各ラインの水平方向の画素数を2倍とする。従って、525p信号の4画素のデータが同時的に生成される。
【0027】
図5は、1フィールドの画像の一部を拡大することによって、525i信号と1050i信号との画素の配置を示すものである。大きなドットが525i信号の画素であり、小さいドットが出力される1050i信号の画素である。この関係は、図5以外の他の図面においても同様である。図5は、あるフレーム(F)の奇数(o)フィールドの画素配置である。他のフィールド(偶数(e)フィールド)のラインを破線で示す。他のフィールドでは、ラインデータL1’,L2’の画素が形成される。図5から分かるように、第1の実施形態の画像信号変換装置は、525i信号のラインから2倍のライン数であって、インターレス構造を有するラインデータL1,L2を形成し、また、各ラインの水平方向の画素数を2倍とする。従って、1050i信号の4画素のデータが同時的に生成される。
【0028】
推定予測演算回路34は、525i信号から525p信号または1050i信号を生成するので、水平周期は、525i信号と同一である。線順次変換回路39は、水平周期を2倍とするライン倍速処理を行い、ラインデータL1およびL2を線順次化する。図6は、525p信号を出力する場合のライン倍速処理をアナログ波形を用いて示すものである。前述したように、推定予測演算回路34によって、ラインデータL1およびL2が生成される。ラインデータL1には、順にa1,a2,a3,・・・のラインが含まれ、ラインデータL2には、順にb1,b2,b3,・・・のラインが含まれる。線順次変換回路39は、各ラインのデータを時間軸方向に1/2に圧縮し、圧縮されたデータを交互に選択することによって、線順次出力(a0,b0,a1,b1,・・・)を形成する。1050i信号を出力する場合には、インターレスの関係を満たすように、線順次変換回路39が出力を発生する。従って、525pと1050iの線順次変換回路39の動作を切り替える必要がある。この切り替え情報は、レジスタ40に格納されている。
【0029】
第1の実施形態では、第1のタップ選択回路31により選択される予測タップは、レジスタ41に格納されている第1のタップ位置情報に従って指定される。また、第2のタップ選択回路32により選択される空間クラスタップは、レジスタ42に格納されている第2のタップ位置情報に従って指定される。さらに、第3のタップ選択回路33により選択される動きクラスタップは、レジスタ43に格納されている第3のタップ位置情報に従って指定される。一例として、第1、第2および第3のタップ位置情報は、選択される可能性のある複数のSD画素に対して番号付けを行い、選択するSD画素の番号を指定するものである。
【0030】
係数メモリ38内の係数データ、レジスタ40内の走査線構造を指定する制御信号、レジスタ41、42および43のタップ位置情報は、情報メモリバンク44からロードされる。情報メモリバンク44には、係数メモリ38およびレジスタ40〜43にそれぞれ格納されるデータが予め形成され、蓄えられている。情報メモリバンク44に対して、変換方法選択信号が供給され、選択信号に従ってロードする情報が選択される。第1の実施形態では、ユーザが絵柄に応じて525p信号と1050i信号との一方を指定する操作を行い、操作に基づいて変換方法選択信号が発生する。入力画像信号の絵柄を検出し、検出結果に応じて自動的に選択信号を発生しても良い。
【0031】
なお、525p信号および1050i信号以外の走査線構造を有する出力画像信号例えば1050p信号を出力するようにしても良い。また、走査線数は、525本、1050本に限らない。
【0032】
上述した空間クラスタップおよび動きクラスタップの具体例について説明する。図7および図8は、525i→1050i変換の場合に第2のタップ選択回路32により選択されるタップ(SD画素)を示す。図7および図8は、時間的に連続するフレームF−1の奇数フィールドo(F−1/oと表記する)、F−1の偶数フィールド(F−1/e)、F/o、F/eのそれぞれを垂直方向の切り出した時の画素の配列を示す。
【0033】
図7に示すように、フィールドF/oのラインデータL1およびL2を予測する時の空間クラスタップは、このフィールドF/oに含まれ、作成すべき1025i信号の画素の近傍のSD画素(525i信号の画素)T1,T2,T3と、前のフィールドF−1/eのSD画素T4,T5,T6,T7である。フィールドF/eのラインデータL1およびL2を予測する時には、図8に示すように、フィールドF/eに含まれ、作成すべき1025i信号の画素の近傍のSD画素T1,T2,T3と、前のフィールドF/oのSD画素T4,T5,T6,T7である。なお、ラインデータL1の画素を予測するモード1では、T7の画素がクラスタップとして選択せず、ラインデータL2の画素を予測するモード2では、T4の画素がクラスタップとして選択しないようにしても良い。
【0034】
図9および図10は、525i→525p変換の場合に第2のタップ選択回路32により選択されるタップ(SD画素)を示す。図9および図10は、時間的に連続するフレームF−1の奇数フィールドo(F−1/oと表記する)、F−1の偶数フィールド(F−1/e)、F/o、F/eのそれぞれの垂直方向の画素の配列を示す。
【0035】
図9に示すように、フィールドF/oのラインデータL1およびL2を予測する時の空間クラスタップは、このフィールドF/oの次のフィールドF/eに含まれ、作成すべき525p信号の画素と空間的に近傍位置のSD画素T1およびT2と、フィールドF/oに含まれ、作成すべき525p信号の画素の近傍のSD画素T3,T4,T5と、前のフィールドF−1/eのSD画素T6,T7である。フィールドF/eのラインデータL1およびL2を予測する時には、図10に示すように、このフィールドF/eの次のフィールドF/oに含まれ、作成すべき525p信号の画素と空間的に近傍位置のSD画素T1およびT2と、フィールドF/eに含まれ、作成すべき525p信号の画素の近傍のSD画素T3,T4,T5と、前のフィールドF/oのSD画素T6,T7である。なお、ラインデータL1の画素を予測するモード1では、T7の画素をクラスタップとして選択せず、ラインデータL2の画素を予測するモード2では、T4の画素をクラスタップとして選択しないようにしても良い。
【0036】
さらに、空間クラスタップは、図7〜図10に示すように、複数フィールドの同一の垂直位置にあるSD画素に加えて、水平方向の1または複数のSD画素を使用しても良い。
【0037】
図11および図12は、第3のタップ選択回路33により選択されるタップ、すなわち、動きクラスタップの例を示す。図11は、525i→1050iの変換を行う時の動きクラスタップである。図11に示すように、フィールドF/oのラインデータL1およびL2を予測する時の動きクラスタップは、このフィールドF/oに含まれ、作成すべき1025i信号の画素の近傍のSD画素n1,n3,n5と、次のフィールドF/eのSD画素n2,n4,n6と、前のフィールドF−1/eのSD画素m2,m4,m6と、さらに前のフィールドF−1/oのSD画素m1,m3,m5である。SD画素m1およびn1の垂直方向の位置が一致する。SD画素m2およびn2、m3およびn3、m4およびn4の各2個のSD画素の垂直方向の位置が一致する。
【0038】
図12は、525i→525pの変換を行う時の動きクラスタップである。図12に示すように、フィールドF/oのラインデータL1およびL2を予測する時の動きクラスタップは、このフィールドF/oに含まれ、作成すべき525p信号の画素の近傍のSD画素n1,n3,n5と、次のフィールドF/eのSD画素n2,n4,n6と、前のフィールドF−1/eのSD画素m2,m4,m6と、さらに前のフィールドF−1/oのSD画素m1,m3,m5である。SD画素m1およびn1の垂直方向の位置が一致する。SD画素m2およびn2、m3およびn3、m4およびn4の各2個のSD画素の垂直方向の位置が一致する。
【0039】
第1のタップ選択回路32で選択された空間クラスタップが空間クラス検出回路35に供給される。空間クラス検出回路35は、選択された空間クラスタップのレベル分布のパターンを検出する。この場合、各画素8ビットのSDデータを2ビットのSDデータへ圧縮するような処理を行う。一例として、ADRC(Adaptive Dynamic Range Coding )によって、空間クラスタップのSD画素のデータが圧縮される。なお、情報圧縮手段としては、ADRC以外にDPCM(予測符号化)、VQ(ベクトル量子化)等の圧縮手段を用いても良い。
【0040】
本来、ADRCは、VTR(Video Tape Recoder)向け高能率符号化用に開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この一実施形態では、ADRCを空間クラス分類のコード発生に使用している。ADRCは、空間クラスタップのダイナミックレンジをDR、ビット割当をn、空間クラスタップの画素のデータレベルをL、再量子化コードをQとして、以下の式(1)により、最大値MAXと最小値MINとの間を指定されたビット長で均等に分割して再量子化を行う。
【0041】
DR=MAX−MIN+1
Q={(L−MIN+0.5)×2/DR} (1)
ただし、{ }は切り捨て処理を意味する。
【0042】
第1のタップ選択回路で選択された動きクラスタップが動きクラス検出回路36に供給される。動きクラス検出回路36では、以下の式(2)により、動きクラスタップの空間的に同一位置の画素値の差分の絶対値の平均値param を算出する。
【0043】
【数1】
【0044】
第1の実施形態では、n=6である。そして、この平均値param としきい値とが比較されることによって、動きの指標である動きクラスが決定される。例えば(param ≦2)の場合は、動きクラス0、(2<param ≦4)の場合は、動きクラス1、(4<param ≦8)の場合は、動きクラス2、(param >8)の場合は、動きクラス3と、動きクラスが決定される。動きクラス0が動きが最小(静止)であり、動きクラス1,2,3になるに従って、動きが大きいものと判断される。このように決定された動きクラスは、クラス合成回路37へ供給される。なお、上述の方法と異なり、動きベクトルを検出し、動きベクトルによって動きクラスを検出しても良い。
【0045】
クラス合成回路37は、空間クラス検出回路35からの空間クラスと、動きクラス検出回路36からの動きクラスとを合成したクラスコードを発生する。このクラスコードが係数メモリ38に、そのアドレスとして供給される。係数メモリ38からは、クラスコードに対応する係数データが読出される。また、動きクラスがレジスタ42に供給され、動きクラスに応じて、タップ位置情報が切り替えられる。
【0046】
例えば動きが無いか、または小さいために、動きクラスが0および1と検出される時には、空間クラスタップが上述した図7、図8、図9、図10に示すように、2フィールドに跨がるものとされる。若し、動きが比較的大きく、動きクラスが2および3と検出される時には、空間クラスタップが作成すべき画素と同一フィールド内のSD画素のみによって構成される。また、動きクラスによって、第1のクラスタップ選択回路31のタップ位置情報(レジスタ41)を切り替えることにより、動きクラスによって、予測タップを切り替えるようにしても良い。さらに、予測タップおよび空間クラスタップの両者を動きクラスによって切り替えるようにしても良い。
【0047】
係数メモリ38には、525i信号のパターンとHD信号(1050i信号または525p信号)の関係を学習することにより、取得された係数データが各クラス毎に記憶されている。係数データは、線形推定式により525i信号をより高い解像度の画像信号へ変換するための情報である。なお、係数データの取得方法については後述する。
【0048】
クラスコードclass で示される係数メモリ38のアドレスから、そのクラスの係数データであるが読出される。この係数データは、推定予測演算回路34に供給される。推定予測演算回路34は、第1のタップ選択回路31からの予測タップ(画素値)T1,T2,・・・Tiと、係数データw1 ,w2 ,・・・wiとの線形1次結合式(式(3))の演算を行うことにより、ラインデータL1を算出する。ラインデータL2も同様に算出する。但し、ラインデータL1およびL2との間では、使用する係数データが相違する。
【0049】
L1=w1 T1+w2 T2+・・・・+wiTi (3)
このように、SDデータに対応するHDデータを推定するための係数データが各クラス毎に予め学習により求められた上で、係数メモリ38に記憶しておき、入力される予測タップおよび読出された係数データに基づいて演算が行われ、入力されたSDデータに対応するHDデータを形成して出力することにより、入力されるSDデータを単に補間処理したのとは異なり、実際のHDデータにより近い画像信号を出力することができる。
【0050】
次に、係数メモリ38に格納される係数データの作成方法(学習)について図13を用いて説明する。係数データを学習によって得るためには、まず、既に知られているHD画像(1050i信号または525p信号)に対応し、HD画像の1/4の画素数のSD画像を2次元間引きフィルタ50によって形成する。例えばHDデータの垂直方向の画素を垂直間引きフィルタによりフィールド内の垂直方向の周波数が1/2になるように間引き処理し、さらに水平間引きフィルタにより、HDデータの水平方向の画素を間引き処理することにより、SDデータを得る。
【0051】
2次元間引きフィルタ50からのSD信号が第1のタップ選択回路51、第2のタップ選択回路52および第3のタップ選択回路53にそれぞれ供給される。これらのタップ選択回路は、図3に示す信号変換装置におけるタップ選択回路31、32および33と同様に、予測タップ、空間クラスタップ、動きクラスタップを選択する。タップ選択回路51からの予測タップが正規方程式加算回路58に供給される。タップ選択回路52からの空間クラスタップが空間クラス検出回路55に供給される。タップ選択回路53からの動きクラスタップが動きクラス検出回路56に供給される。
【0052】
信号変換装置における空間クラス検出回路35と同様に、空間クラス検出回路55は、空間クラスタップのデータをADRCにより圧縮し、空間クラスコードを発生する。また、動きクラス検出回路56は、信号変換装置における動きクラス検出回路36と同様の処理によって、動きクラスタップから動きクラスコードを発生する。空間クラスコードと動きクラスコードとがクラス合成回路57によって合成され、最終的なクラスが形成される。クラス合成回路57からのクラスコードが正規方程式加算回路58へ供給される。
【0053】
ここで、正規方程式加算回路58の説明のために、複数個のSD画素からHD画素への変換式の学習とその予測式を用いた信号変換について述べる。以下に、説明のために学習をより一般化してn画素による予測を行う場合について説明する。予測タップとして選択されるSD画素のレベルをそれぞれx1 、‥‥、xn とし、HD画素レベルをyとしたとき、クラス毎に係数データw1 、‥‥、wn によるnタップの線形推定式を設定する。これを下記の式(4)に示す。学習前は、wi が未定係数である。
【0054】
y=w11 +w22 +‥‥+wn n (4)
学習は、クラス毎に複数の信号データに対して行う。データ数がmの場合、式(4)にしたがって、以下に示す式(5)が設定される。
【0055】
k =w1k1+w2k2+‥‥+wn kn (5)
(k=1,2,‥‥m)
m>nの場合、係数データwi 、‥‥wn は、一意に決まらないので、誤差ベクトルeの要素を以下の式(6)で定義して、式(7)を最小にする係数データを求める。いわゆる、最小自乗法による解法である。
【0056】
k =yk −{w1k1+w2k2+‥‥+wn kn} (6)
(k=1,2,‥‥m)
【0057】
【数2】
【0058】
ここで、式(7)のwi による偏微分係数を求める。それは以下の式(8)を `0' にするように、各係数wi を求めればよい。
【0059】
【数3】
【0060】
以下、式(9)、(10)のようにXij、Yi を定義すると、式(8)は、行列を用いて式(11)へ書き換えられる。
【0061】
【数4】
【0062】
【数5】
【0063】
【数6】
【0064】
この方程式は、一般に正規方程式と呼ばれている。正規方程式加算回路58は、クラスコード合成回路57から供給されたクラスコードと、タップ選択回路51から供給された予測タップ(SD画素x1 、‥‥、xn )と、入力された、SDデータに対応するHD画素yを用いて、この正規方程式の加算を行う。
【0065】
全ての学習用のデータの入力が終了した後、正規方程式加算回路58は、予測係数決定回路59に正規方程式データを出力する。予測係数決定回路59は、正規方程式を掃き出し法等の一般的な行列解法を用いて、wi について解き、係数データを算出する。予測係数決定回路59は、算出された予測係数を係数メモリ60に書込む。
【0066】
以上のように学習を行った結果、係数メモリ60には、クラス毎に、注目HD画素yを推定するための、統計的にもっとも真値に近い推定ができる係数データが格納される。係数メモリ60に格納された係数データは、上述の画像信号変換装置において、係数メモリ38にロードされる。以上の処理により、線形推定式により、SDデータからHDデータを作成するための係数データの学習が終了する。
【0067】
上述した係数データを取得するための学習装置において、入力HD信号としては、1050i信号または525p信号が適用される。一方の信号を選択するための変換方法選択信号は、2次元間引きフィルタ50およびタップ選択制御回路54に対して供給される。2次元間引きフィルタ50における間引き処理の態様が変換方法指定信号によって変更される。タップ選択制御回路54は、選択信号を受け取って第1のタップ選択回路51により選択される予測タップ、第2のタップ選択回路52により選択される空間クラスタップ、並びに第3のタップ選択回路53により選択される動きクラスタップを切り替えるための制御信号を発生する。また、動きクラスに応じて、空間クラスタップを切り替えるために、動きクラスコードがタップ選択制御回路54に対して供給される。
【0068】
このタップ選択制御回路54が発生する制御信号によって、変換出力のHD信号の走査線構造(1050i信号、525p信号)に応じて、上述した画像信号変換装置におけるのと同様に、選択されるタップが切り替えられる。
【0069】
次に、この発明の第2の実施形態について説明する。第2の実施形態は、上述した第1の実施形態における線順次変換回路39に複数のフィールドメモリを設け、線順次変換に加えてフィールド倍速化の処理を行うようにしたものである。それによって、出力画像信号の走査線構造として、525pおよび/または1050iと、フィールド倍速信号例えば525iでフィールド倍速信号を出力できるようにしたものである。フィールド倍速化の処理によって、動きがより滑らかに改善された出力画像信号を得ることができる。また、クラス分類を行い、線形推定式によってフィールド倍速画像を作成するので、同一フィールドを繰り返して出力したり、連続する2フィールドの平均値画像で補間する処理と異なり、動きがなめらかでなくなったり、解像度が劣化することを防止できる。
【0070】
第2の実施形態では、走査線構造を設定する信号がフィールド倍速信号を指定するものである時には、第1の実施形態と同様に、予測タップ、空間クラスタップ、動きクラスタップ、係数データの切り替えがなされる。これと共に、第1の実施形態における線順次変換回路に相当する走査線変換回路に対して、フィールド倍速処理を指示する情報が与えられる。
【0071】
図14は、このように、フィールド倍速処理が設定された時の走査変換回路の構成の一例である。第1の実施形態と同様の処理で、水平方向の画素数が2倍とされた画像信号がフィールドメモリ71および72の直列接続に供給される。フィールドメモリ71および72によって、時間的に連続する3フィールドの信号が同時化され、クラス分類適応処理および順次走査変換回路73に供給される。クラス分類適応処理および順次走査変換回路73から二つの出力が発生し、各出力がフィールド74および75にそれぞれ供給される。フィールドメモリ74および75は、フィールド周期を1/2に圧縮する。フィールドスイッチ76によって、フィールドメモリ74および75の出力が選択され、その出力にフィールド倍速信号が取り出される。
【0072】
クラス分類適応処理および順次走査変換回路73は、図15Aに示すような二つの出力を発生する。のこぎり波形の一つは、1フィールド分の信号を表している。また、AおよびBは、525i信号のAフィールドおよびBフィールド、すなわち、空間位相を表している。さらに、AまたはBの前の数字(1,1.5,2,・・・)は、フレーム周期を1とした時の時間を表している。入力信号は、出力1として表すように、1A,1.5A,2A,2.5A・・・とフィールドが連続するものである。
【0073】
クラス分類適応処理および順次走査変換回路73は、クラス分類適応処理によって、入力信号には存在しないフィールド画像(1B,1.5A,2B,・・・)からなる出力2を作成する。図16において、三角形の画素として示すように、時間的に2フィールドの中間に存在するようなフィールド画像をクラス分類適応処理によって作成する。例えば入力信号のフィールド1Aと1.5Bの中間の時間的位置に相当する画像であるフィールド1Bを作成し、フィールド1.5Bと2Aの中間の時間的位置に相当する画像であるフィールド1.5Bを作成する。
【0074】
クラス分類適応処理および順次走査変換回路73の出力1および出力2は、フィールドメモリ74および75によってフィールド倍速化される。図15Bに示すように、フィールド倍速化は、フィールド周期を半分に圧縮して同一フィールドを繰り返し出力する処理である。そして、フィールドスイッチ76によって、フィールド倍速信号▲1▼および▲2▼を選択し、最終的出力信号を発生する。図15Bにおいて、斜線を付したフィールドがフィールドスイッチ76が選択するフィールドを表している。出力信号は、図15Cに示すように、各フィールド周期が1/2とされ、1A,1B,1.5A,1.5B,・・・の順序のものである。
【0075】
なお、第2の実施形態において、クラス分類適応処理によって、1B、1.5A等のフィールド画像を形成しているが、より時間的変化を忠実に表現するために、1A,1.17B,1.33A,1.5B,・・・のような出力信号を形成するようにしても良い。
【0076】
図17は、この発明の第3の実施形態を示す。8ビットの入力A,B,C,Dが供給されるセレクタ100が設けられ、セレクタ100の4個の出力と、それぞれ8ビットの係数X,Y,Z,Wとを乗算器101,102,103,104が乗算する。乗算器101〜104は、乗算出力を上位ビットと下位ビットに分割して出力する。乗算器101〜104の出力と、4入力の加算器111,112,113,114との間の接続がセレクタ105で設定される。
【0077】
加算器111〜114は、加算器114から加算器113に対して繰り上がり出力が供給される。同様に、加算器113から加算器112へ繰り上がり出力が供給され、加算器112から加算器111へ繰り上がり出力が供給される。加算器111からは、繰り上がりビットを有する加算出力が発生する。また、セレクタ105は、乗算器101〜104の出力をそのまま出力115として出力する機能を有する。セレクタ100および105の選択動作は、それぞれに対して供給されるコンフィギュレーションデータによって指定される。
【0078】
コンフィギュレーションデータによってセレクタ100および105の選択動作が指定されることによって実現される第1の機能を図18に示す。セレクタ100は、入力A〜Dを乗算器101〜104にそれぞれ入力するように設定される。各乗算器において、入力A〜DとX,Y,Z,Wとが乗算される。セレクタ105は、乗算器101〜104の出力をそのまま出力115として出力するように設定される。従って、乗算器101〜104から出力として、A×X、B×Y、C×Z、D×Wの4個の積が得られる。
【0079】
図19は、第2の機能を実現する時の構成を示す。セレクタ100は、入力A〜Dを乗算器101〜104にそれぞれ入力するように設定される。セレクタ105は、乗算器101〜104の乗算出力の内、上位ビットを加算器111に入力し、下位ビットを加算器112に入力するように設定される。残りの加算器113および114の入力は、セレクタ105の機能によってゼロデータとされる。従って、加算器111および112からは、A×X+B×Y+C×Z+D×Wの出力が取り出される。
【0080】
図20は、第3の機能を実現する時の構成を示す。16ビット入力を上位8ビット入力(入力A)と下位8ビット入力(入力B)とに分割してセレクタ100に入力する。セレクタ100は、この入力Aを乗算器101および103に入力し、入力Bを乗算器102および104に入力するように設定される。乗算器101に対する係数Xとして、16ビット係数の上位8ビットCを供給する。この係数の上位8ビットは、乗算器102に対しても係数Yとして供給される。また、係数の下位8ビットDが乗算器103の入力Z、並びに乗算器104の入力Wとして供給される。
【0081】
セレクタ105によって、乗算器104の出力の下位ビットが加算器114の一つの入力に供給され、加算器114の他の3個の入力は、ゼロデータとされるように設定される。加算器114から積BDの下位8ビットが得られる。これは、16ビットの入力データABと16ビットの係数CDの乗算出力の最下位側の8ビットである。
【0082】
セレクタ105によって、乗算器104の出力の上位ビット(積BDの上位8ビット)と、乗算器103の出力の下位ビット(積ADの下位8ビット)と、乗算器102の下位ビット(積BCの下位8ビット)とが加算器113に入力され、加算器113の残りの入力は、ゼロデータとなるように設定される。従って、加算器113からは、(BDの上位+ADの下位+BCの下位)の加算結果が得られる。これは、16ビットの入力データABと16ビットの係数CDの乗算出力の下位側の8ビットである。
【0083】
セレクタ105によって、乗算器103の出力の上位ビット(積ADの上位8ビット)と、乗算器102の出力の上位ビット(積BCの上位8ビット)と、乗算器101の下位ビット(積ACの下位8ビット)とが加算器112に入力され、加算器112の残りの入力は、ゼロデータとなるように設定される。従って、加算器112からは、(ADの上位+BCの上位+ACの下位)の加算結果が得られる。これは、16ビットの入力データABと16ビットの係数CDの乗算出力の上位側の8ビットである。
【0084】
セレクタ105によって、乗算器101の出力の上位ビットが加算器111の一つの入力に供給され、加算器111の他の3個の入力は、ゼロデータとされるように設定される。加算器111から積ACの上位8ビットが得られる。これは、16ビットの入力データABと16ビットの係数CDの乗算出力の最上位側の8ビットである。このようにして、第3の機能は、16ビット入力と16ビットの係数の乗算出力を得ることができる。
【0085】
【発明の効果】
この発明によれば、ハードウエアを基本的に同一としているので、複数の信号処理機能を実現する時に、複数のハードウエアう切り替える方法と比較して、ハードウエアを小規模とできる。また、この発明による画像情報変換装置は、ハードウエアの規模が増加することなく、入力画像信号を、走査線構造の異なる複数の出力画像信号の内の選択したものへ変換することができる。例えば入力画像の絵柄が自然画の場合には、高画質な1050iの出力画像へ入力画像を変換し、グラフィックス等のラインフリッカが目立つ絵柄の場合には、525pの出力画像へ変換し、さらに、動きがなめらかな出力画像を望む時には、フィールド倍速の出力画像へ変換する。
【0086】
この発明は、画像情報を変換する時に、入力画像信号の複数画素に基づいてクラスを検出し、各クラスで最適となる推定予測式を用いて画素値を作成するので、従来の画像情報変換装置と比較して、静止画、動画とも高画質とすることができる。さらに、動きの情報をクラスの情報に取り込むので、静止画/動画の検出と、検出による切り替えが不要とでき、切り替え時に画質の相違が目立つことを防止でき、また、動き検出の誤りによる劣化を大幅に少なくできる。
【図面の簡単な説明】
【図1】この発明の基本的構成および動作を説明するためのブロック図である。
【図2】従来の画像情報変換装置の一例のブロック図である。
【図3】この発明の第1の実施形態のブロック図である。
【図4】SD画素と525pの画素の位置関係を説明するための略線図である。
【図5】SD画素と1050iの画素の位置関係を説明するための略線図である。
【図6】線順次変換回路の動作を説明するための波形図である。
【図7】SD画素および1050iの画素の位置関係と、空間クラスタップの一例を示す略線図である。
【図8】SD画素および1050iの画素の位置関係と、空間クラスタップの一例を示す略線図である。
【図9】SD画素および525pの画素の位置関係と、空間クラスタップの一例を示す略線図である。
【図10】SD画素および525pの画素の位置関係と、空間クラスタップの一例を示す略線図である。
【図11】SD画素および1050iの画素の位置関係と、動きクラスタップの一例を示す略線図である。
【図12】SD画素および525pの画素の位置関係と、動きクラスタップの一例を示す略線図である。
【図13】係数データを取得するための構成の一例を示すブロック図である。
【図14】この発明の第2の実施形態の主要部の構成を示すブロック図である。
【図15】この発明の第2の実施形態のフィールド倍速処理を説明するためのタイミングチャートである。
【図16】この発明の第2の実施形態のフィールド倍速処理を説明するための略線図である。
【図17】この発明の第3の実施形態のブロック図である。
【図18】この発明の第3の実施形態の第1の機能を示すブロック図である。
【図19】この発明の第3の実施形態の第2の機能を示すブロック図である。
【図20】この発明の第3の実施形態の第3の機能を示すブロック図である。
【符号の説明】
31・・・第1のタップ選択回路、32・・・第2のタップ選択回路、33・・・第3のタップ選択回路、38・・・係数メモリ、39・・・線順次変換回路、40〜43・・・レジスタ、44・・・情報メモリバンク

Claims (4)

  1. ライン数がN本のインタ−レスの入力画像信号からライン数がほぼ2N本の出力画像信号を形成する第1の信号変換と、上記入力画像信号からプログレッシブの出力画像信号を形成する第2の信号変換との内の一方を行うようにした画像情報変換装置において、
    上記第1および第2の信号変換毎に、第1のタップ位置情報と、第2のタップ位置情報と、積和演算によって、第1の画素を生成した時に、生成された値と第1の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって予め取得されている係数と、出力画像信号の走査線構造を指定する制御信号とを組とする情報を記憶するメモリ手段と、
    上記メモリ手段から上記第1および第2の信号変換の内の所望の信号変換に対応して、第1のタップ位置情報レジスタ、第2のタップ位置情報レジスタ、係数メモリおよびレジスタへ上記第1のタップ位置情報と、上記第2のタップ位置情報と、上記係数と、出力画像信号の走査線構造を指定する制御信号とをそれぞれロードする情報設定手段と、
    上記情報設定手段により設定された上記第1のタップ位置情報に従って、上記出力画像信号の作成すべき第1の画素の位置と特定の位置関係にある複数の第2の画素を選択する第1のデータ選択手段と、
    上記情報設定手段により設定された上記第2のタップ位置情報に従って、上記出力画像信号の作成すべき第1の画素の位置と特定の位置関係にある複数の第3の画素を選択する第2のデータ選択手段と、
    上記第2のデータ選択手段で選択された複数の上記第3の画素を用いて上記第1の画素近傍のレベル分布の時空間パターンを表すクラス情報を形成するクラス決定手段と、
    上記第1のデータ選択手段で選択された複数の上記第2の画素と、上記クラス情報に対応する上記係数の積和演算によって、上記第1の画素の画素値を作成する画素値作成手段と、
    上記画素値作成手段に対して接続され、上記画素値作成手段により作成された上記第1の画素を上記走査線構造を指定する制御信号に応じてた出力画像信号の走査線構造へ変換するための走査変換手段とからなることを特徴とする画像情報変換装置。
  2. 請求項において、
    上記出力画像信号として、さらに走査線数N本でフィールド倍速化したインターレス信号を形成するために、上記走査変換手段を制御することにより、線順次化の処理とフィールド倍速化の処理とを切り替えるようにしたことを特徴とする画像情報変換装置。
  3. ライン数がN本のインタ−レスの入力画像信号からライン数がほぼ2N本の出力画像信号を形成する第1の信号変換と、上記入力画像信号からプログレッシブの出力画像信号を形成する第2の信号変換との内の一方を行う画像情報変換装置が入力画像信号源と表示装置との間に設けられ、上記画像情報変換装置の上記出力画像信号を上記表示装置に表示するようにした画像表示装置において、
    上記画像情報変換装置は、
    上記第1および第2の信号変換毎に、第1のタップ位置情報と、第2のタップ位置情報と、積和演算によって、第1の画素を生成した時に、生成された値と第1の画素の真値との誤差を最小とするように、クラス情報毎に予め学習によって予め取得されている係数と、出力画像信号の走査線構造を指定する制御信号とを組とする情報を記憶するメモリ手段と、
    上記メモリ手段から上記第1および第2の信号変換の内の所望の信号変換に対応して、第1のタップ位置情報レジスタ、第2のタップ位置情報レジスタ、係数メモリおよびレジスタへ上記第1のタップ位置情報と、上記第2のタップ位置情報と、上記係数と、出力画像信号の走査線構造を指定する制御信号とをそれぞれロードする情報設定手段と、
    上記情報設定手段により設定された上記第1のタップ位置情報に従って、上記出力画像信号の作成すべき第1の画素の位置と特定の位置関係にある複数の第2の画素を選択する第1のデータ選択手段と、
    上記情報設定手段により設定された上記第2のタップ位置情報に従って、上記出力画像信号の作成すべき第1の画素の位置と特定の位置関係にある複数の第3の画素を選択する第2のデータ選択手段と、
    上記第2のデータ選択手段で選択された複数の上記第3の画素を用いて上記第1の画素近傍のレベル分布の時空間パターンを表すクラス情報を形成するクラス決定手段と、
    上記第1のデータ選択手段で選択された複数の上記第2の画素と、上記クラス情報に対応する上記係数の積和演算によって、上記第1の画素の画素値を作成する画素値作成手段と、
    上記画素値作成手段に対して接続され、上記画素値作成手段により作成された上記第1の画素を上記走査線構造を指定する制御信号に応じてた出力画像信号の走査線構造へ変換するための走査変換手段とからなることを特徴とする画像表示装置。
  4. 請求項において、
    上記出力画像信号として、さらに走査線数N本でフィールド倍速化したインターレス信号を形成するために、上記走査変換手段を制御することにより、線順次化の処理とフィールド倍速化の処理とを切り替えるようにしたことを特徴とする画像表示装置。
JP20811698A 1998-07-23 1998-07-23 画像情報変換装置および画像表示装置 Expired - Fee Related JP4158232B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20811698A JP4158232B2 (ja) 1998-07-23 1998-07-23 画像情報変換装置および画像表示装置

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
JP20811698A JP4158232B2 (ja) 1998-07-23 1998-07-23 画像情報変換装置および画像表示装置
US09358272 US6483545B1 (en) 1998-07-23 1999-07-21 Information signal processing apparatus, picture information converting apparatus, and picture displaying apparatus
DE1999641804 DE69941804D1 (de) 1998-07-23 1999-07-22 Informationssignalsverarbeitungsgerät, Bildinformationsumwandlungsgerät und Bildwiedergabegerät
EP19990305833 EP0975156B1 (en) 1998-07-23 1999-07-22 Information signal processing apparatus, picture information converting apparatus, and picture displaying apparatus
CN 99111681 CN1252998C (zh) 1998-07-23 1999-07-23 信息信号处理装置、图像信息转换装置和图像显示装置
KR19990030047A KR100638500B1 (ko) 1998-07-23 1999-07-23 정보 신호 처리 장치, 화상 정보 변환 장치, 및 화상 디스플레이 장치
CN 200510120132 CN100542258C (zh) 1998-07-23 1999-07-23 图像信息转换装置和方法、以及信息信号处理装置
US10177285 US7113225B2 (en) 1998-07-23 2002-06-20 Information signal processing apparatus, picture information converting apparatus, and picture displaying apparatus
US11056141 US7397512B2 (en) 1998-07-23 2005-02-10 Information signal processing apparatus, picture information converting apparatus, and picture displaying apparatus

Publications (2)

Publication Number Publication Date
JP2000041223A true JP2000041223A (ja) 2000-02-08
JP4158232B2 true JP4158232B2 (ja) 2008-10-01

Family

ID=16550908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20811698A Expired - Fee Related JP4158232B2 (ja) 1998-07-23 1998-07-23 画像情報変換装置および画像表示装置

Country Status (6)

Country Link
US (3) US6483545B1 (ja)
EP (1) EP0975156B1 (ja)
JP (1) JP4158232B2 (ja)
KR (1) KR100638500B1 (ja)
CN (2) CN1252998C (ja)
DE (1) DE69941804D1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4158232B2 (ja) * 1998-07-23 2008-10-01 ソニー株式会社 画像情報変換装置および画像表示装置
DE60041114D1 (de) * 1999-04-23 2009-01-29 Sony Corp Bildumwandlungsvorrichtung und -verfahren
JP2001238185A (ja) * 2000-02-24 2001-08-31 Sony Corp 画像信号変換装置、画像信号変換方法、およびそれを使用した画像表示装置、並びにそれに使用される係数データの生成装置および生成方法
WO2001063921A1 (en) * 2000-02-24 2001-08-30 Sony Corporation Image signal converter, image signal converting method, and image display using it, and coefficient data generator for use therein
JP4501217B2 (ja) * 2000-04-25 2010-07-14 ソニー株式会社 画像信号変換装置、画像信号変換方法、およびそれを使用した画像表示装置
JP2001318745A (ja) * 2000-05-11 2001-11-16 Sony Corp データ処理装置およびデータ処理方法、並びに記録媒体
JP4470280B2 (ja) * 2000-05-24 2010-06-02 ソニー株式会社 画像信号処理装置及び画像信号処理方法
JP4040826B2 (ja) * 2000-06-23 2008-01-30 株式会社東芝 画像処理方法および画像表示システム
JP2006173657A (ja) * 2000-10-25 2006-06-29 Matsushita Electric Ind Co Ltd 映像信号処理回路
JP4696388B2 (ja) * 2000-11-15 2011-06-08 ソニー株式会社 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、係数データ生成装置、並びに情報記録媒体
KR100847185B1 (ko) * 2000-11-15 2008-07-17 소니 가부시끼 가이샤 정보 신호 처리 장치, 정보 신호 처리 방법, 화상 신호 처리 장치 및 그것을 사용한 화상 표시 장치, 그것에 사용되는 계수종 데이터 생성 장치 및 생성 방법, 그리고 정보 제공 매체
JP4670169B2 (ja) 2000-11-15 2011-04-13 ソニー株式会社 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置、並びに情報記録媒体
JP4277446B2 (ja) * 2000-12-26 2009-06-10 ソニー株式会社 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、並びに記録媒体
CN100367788C (zh) 2001-01-22 2008-02-06 索尼公司 系数种类数据生成装置及生成方法
KR100835454B1 (ko) * 2001-01-22 2008-06-04 소니 가부시끼 가이샤 정보 신호 처리 장치, 정보 신호 처리 방법, 화상 신호 처리 장치, 화상 신호 처리 방법 및 그것을 사용한 화상 표시 장치, 그것에 사용되는 계수종 데이터 생성 장치 및 생성 방법, 및 컴퓨터 판독 가능한 매체
JP4649812B2 (ja) * 2001-11-30 2011-03-16 ソニー株式会社 画像信号処理装置、画像信号処理方法およびそれを使用した画像表示装置、並びに各画像信号処理方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
JP3885594B2 (ja) * 2002-01-30 2007-02-21 ソニー株式会社 コンテンツデータの処理装置および処理方法、並びにその方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体、並びに係数データ生成装置および係数データ生成方法
JP4006628B2 (ja) * 2002-07-03 2007-11-14 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びにプログラム
US7330181B2 (en) 2003-10-31 2008-02-12 Sony Corporation Method and apparatus for processing an image, image display system, storage medium, and program
DE10327083A1 (de) * 2003-02-11 2004-08-19 Giesecke & Devrient Gmbh Sicherheitspapier und Verfahren zur Herstellung desselben
JP4265237B2 (ja) * 2003-02-27 2009-05-20 ソニー株式会社 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム
JP4055655B2 (ja) 2003-05-29 2008-03-05 ソニー株式会社 係数の生成装置および生成方法、クラス構成の生成装置および生成方法、情報信号処理装置、並びに各方法を実行するためのプログラム
JP4337505B2 (ja) 2003-10-31 2009-09-30 ソニー株式会社 撮像装置および撮像方法、画像処理装置および画像処理方法、画像表示システム、記録媒体、並びにプログラム
GB2411784B (en) * 2004-03-02 2006-05-10 Imagination Tech Ltd Motion compensation deinterlacer protection
JP2005333254A (ja) * 2004-05-18 2005-12-02 Sony Corp 画像処理装置および画像処理方法
KR100555869B1 (ko) * 2004-06-15 2006-03-03 삼성전자주식회사 저더 검출을 이용한 디인터레이싱 장치 및 방법
CN100518285C (zh) 2004-09-29 2009-07-22 Tcl王牌电子(深圳)有限公司 一种电视机逐行扫描数字归一化的实现方法
JP4622611B2 (ja) 2005-03-24 2011-02-02 ソニー株式会社 信号処理装置
US7894522B2 (en) * 2005-09-16 2011-02-22 Sony Corporation Classified filtering for temporal prediction

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100360206B1 (ko) 1992-12-10 2003-02-11 소니 가부시끼 가이샤 화상신호변환장치
JPH06274612A (ja) * 1993-03-17 1994-09-30 Matsushita Electric Ind Co Ltd 画像処理装置
JP3480015B2 (ja) 1993-11-24 2003-12-15 ソニー株式会社 画像データの生成装置および生成方法
JP3974946B2 (ja) * 1994-04-08 2007-09-12 オリンパス株式会社 画像分類装置
US5903481A (en) 1994-09-09 1999-05-11 Sony Corporation Integrated circuit for processing digital signal
JP3794505B2 (ja) * 1995-03-22 2006-07-05 ソニー株式会社 信号変換装置及び信号変換方法
JP3669530B2 (ja) * 1995-06-30 2005-07-06 ソニー株式会社 画像信号変換装置及び画像信号変換方法
US5946044A (en) 1995-06-30 1999-08-31 Sony Corporation Image signal converting method and image signal converting apparatus
US5787201A (en) * 1996-04-09 1998-07-28 The United States Of America As Represented By The Secretary Of The Navy High order fractal feature extraction for classification of objects in images
EP1445949B1 (en) * 1996-05-30 2006-06-28 Sony Corporation Sum-of-product calculating circuit and method thereof
US5912676A (en) * 1996-06-14 1999-06-15 Lsi Logic Corporation MPEG decoder frame memory interface which is reconfigurable for different frame store architectures
US5936676A (en) * 1997-08-21 1999-08-10 Miranda Technologies Inc. Apparatus and method for line interpolating an interlaced video signal
US5781241A (en) * 1996-11-08 1998-07-14 Chrontel, Inc. Apparatus and method to convert computer graphics signals to television video signals with vertical and horizontal scaling requiring no frame buffers
JP3360586B2 (ja) * 1997-11-21 2002-12-24 日本電気株式会社 スキャン変換装置及び方法
JPH11231820A (ja) * 1998-02-16 1999-08-27 Fujitsu Ltd 表示モード選択方法及び表示装置
JP4158232B2 (ja) * 1998-07-23 2008-10-01 ソニー株式会社 画像情報変換装置および画像表示装置
JP4055655B2 (ja) * 2003-05-29 2008-03-05 ソニー株式会社 係数の生成装置および生成方法、クラス構成の生成装置および生成方法、情報信号処理装置、並びに各方法を実行するためのプログラム

Also Published As

Publication number Publication date Type
EP0975156B1 (en) 2009-12-16 grant
US7397512B2 (en) 2008-07-08 grant
US20020180884A1 (en) 2002-12-05 application
DE69941804D1 (de) 2010-01-28 grant
EP0975156A3 (en) 2003-06-11 application
US6483545B1 (en) 2002-11-19 grant
US7113225B2 (en) 2006-09-26 grant
KR100638500B1 (ko) 2006-10-26 grant
CN1252998C (zh) 2006-04-19 grant
CN1770854A (zh) 2006-05-10 application
EP0975156A2 (en) 2000-01-26 application
CN1249627A (zh) 2000-04-05 application
US20050162550A1 (en) 2005-07-28 application
KR20000011936A (ko) 2000-02-25 application
JP2000041223A (ja) 2000-02-08 application
CN100542258C (zh) 2009-09-16 grant

Similar Documents

Publication Publication Date Title
US6188794B1 (en) Image signal coding system
US5157742A (en) Motion image data compression system
US6456329B1 (en) De-interlacing of video signals
EP0571180A2 (en) Digital data conversion equipment
US6108047A (en) Variable-size spatial and temporal video scaler
US5943099A (en) Interlaced-to-progressive conversion apparatus and method using motion and spatial correlation
US6118489A (en) Deinterlacing device and method for digital TV receiver
US7012649B2 (en) Image processing apparatus and method, program, and recording medium
US20010017889A1 (en) Motion compensated interpolation
US7321396B2 (en) Deinterlacing apparatus and method
US5459519A (en) Video images decoder architecture for implementing a 40 MS processing algorithm in high definition television
US5666164A (en) Image signal converting apparatus
US5430490A (en) Scanning format converting circuit using motion vectors
JPH09200763A (ja) 動画像符号化における動き補償方法
US20050259740A1 (en) Method and apparatus for converting motion image data, method and apparatus for reproducing motion image data, computer program for converting motion image data, and computer program for reproducing motion image data
JP2000134585A (ja) 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
JPH0678298A (ja) インターレース動画像の動き補償予測装置
JP2001024988A (ja) 画像信号の動き補償フレーム数変換方式および装置
US5485224A (en) Motion compensated video signal processing by interpolation of correlation surfaces and apparatus for doing the same
US6930728B2 (en) Scan conversion apparatus
EP0975156A2 (en) Information signal processing apparatus, picture information converting apparatus, and picture displaying apparatus
US20050212974A1 (en) Image processing apparatus and method, recording medium, and program
JPH08130716A (ja) 走査線補間装置及び走査線補間用動きベクトル検出装置
JP2003244659A (ja) フレーム補間方法
KR20040096548A (ko) 동화상 코딩 방법 및 디코딩 방법, 및 이 방법을 사용하는장치 및 프로그램

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050310

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080422

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080707

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110725

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120725

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130725

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees