JP5271243B2 - 画像特徴情報多重化装置、補間映像生成装置、受像機、画像特徴情報多重化プログラム、及び、補間映像生成プログラム - Google Patents

Description

本発明は、カラー映像信号の画素補間処理に係り、特に、送信機側で画像特徴情報を映像信号に多重化して送信し、受像機側で受信した画像特徴情報を用いて、映像信号の画素補間処理を行う技術に関する。

単板カラー撮像方式や、４板プリズム撮像方式などにより撮像された映像信号の各色成分の画素数は、最終的に生成される映像信号の画素数より少ないため、不足する画素を補間処理によって補う必要がある。

例えば、映像信号には、近年では色再現性に優れたベイヤー配列（特許文献１）が広く用いられるが、本配列を例にすると、撮影された映像信号は、最終的に必要な画素数に対して、Ｇ信号では１／２、Ｒ信号およびＢ信号ではそれぞれ１／４の画素数しか有していない。このため、受像機側で、不足する画素の補間処理を行っている。

画素の補間処理方法として、周辺画素の平均値を取るバイリニア法などの単純な方法を採用すると、受像機側での信号処理の負荷は少なくて済むが、画像上にエッジや細かい縞模様などがあると、偽色などの画質劣化が生じる。

この画質劣化を最小限にとどめるために、画像の特徴を検出し、その特徴に合わせて適応的に画素の補間処理を行う手法が多数提案されている（非特許文献１）。リアルタイム性が重要な映像信号の画素補間処理においては、計算コストが少なく演算結果が安定した、ＦＩＲ（Finite Impulse Response）フィルタ処理に基づく画素補間アルゴリズムが特に有効である。

米国特許第３９７１０６５号公報

B. K. Gunturk, et al."Demosaicking: Color Filter Array Interpolation", IEEE signal processing magazine, pp.44-54, January 2005.

しかし、適応的な画素補間処理を行う場合、最適なフィルタ係数を選択するために、注目する画素周辺の画像特徴情報を抽出するための信号処理と、その画像特徴情報に基づく実際のＦＩＲ（Finite Impulse Response）フィルタ処理という、２段階のステップの信号処理が必要となる。これらの処理は一般的には受像機側で行っている。

特に、最適なフィルタ係数を選択するステップでは、注目する画素周辺の画像特徴を評価して分類するという手順が必要となるため、最終的なフィルタ処理よりも大きな演算負荷がかかる。このことから、画素補間処理が必要な全ての受像機では、信号処理の負荷増大による、機器の大型化、製造コストの上昇、消費電力の上昇などの課題がある。

この課題を解決するための手段として最も簡単な方法は、映像の送信機側で画素補間処理を行い、補間によりアップコンバートされた映像信号を受像機側へ伝送することである。

しかし、この手法では、受像機側の信号処理の負荷は低下するが、映像信号を伝送するための伝送帯域が大幅に増加するという課題がある。例えば、ベイヤー配列に基づく信号の場合、画素補間を行ってフル解像度の信号を生成すると、非圧縮の場合、伝送には３倍の帯域が必要となる。また、従来の伝送インターフェースとの互換性も課題となる。

本発明は、かかる課題を解決するためになされたものであり、受像機側での画素補間処理の負荷を減らしながら、できる限り伝送帯域を増やさず、従来の映像信号との互換性を保つ技術を提供することを目的とする。

本発明は、前記課題を解決するために創案されたものであり、まず、請求項１に記載の画像特徴情報多重化装置は、画像特徴情報に対応するフィルタ係数を用いて映像信号の画素補間処理を行う補間映像生成装置に対して、画像特徴情報を多重化した映像信号を出力する画像特徴情報多重化装置であって、入力手段と、特徴情報抽出手段と、信号多重化手段と、出力手段と、を備える構成とした。

かかる構成において、画像特徴情報多重化装置は、入力手段によって、映像信号を入力する。そして、画像特徴情報多重化装置は、特徴情報抽出手段によって、映像信号から、対象画素と周辺画素との相関を表す画像特徴情報を抽出する。なお、この画像特徴情報は、補間映像生成装置で用いられるフィルタ係数と予め対応付けられている。

そして、画像特徴情報多重化装置は、信号多重化手段によって、特徴情報抽出手段が抽出した画像特徴情報を、映像信号に多重化する。そして、画像特徴情報多重化装置は、出力手段によって、信号多重化手段が多重化した映像信号を出力する。

また、請求項２に記載の画像特徴情報多重化装置は、画像特徴情報に対応するフィルタ係数を用いて映像信号の画素補間処理を行う補間映像生成装置に対して、画像特徴情報とフィルタ係数とを多重化した映像信号を出力する画像特徴情報多重化装置であって、入力手段と、特徴情報抽出手段と、信号多重化手段と、出力手段と、フィルタ記憶手段と、を備える構成とした。

かかる構成において、画像特徴情報多重化装置は、入力手段によって、映像信号を入力する。そして、画像特徴情報多重化装置は、特徴情報抽出手段によって、映像信号から、対象画素と周辺画素との相関を表す画像特徴情報を抽出する。また、画像特徴情報多重化装置は、フィルタ記憶手段によって、フィルタ係数を記憶（保持）する。

そして、画像特徴情報多重化装置は、信号多重化手段によって、特徴情報抽出手段が抽出した画像特徴情報と、フィルタ記憶手段から取得した当該画像特徴情報に対応するフィルタ係数とを、映像信号に多重化する。そして、画像特徴情報多重化装置は、出力手段によって、信号多重化手段が多重化した映像信号を出力する。

また、請求項１又は請求項２に記載の画像特徴情報多重化装置において、入力手段が、アナログ映像信号をデジタル映像信号へ変換する変換手段をさらに備える構成としてもよい。
かかる構成により、画像特徴情報多重化装置は、アナログ映像信号に対しても、画像特徴情報を抽出して多重化することができる。

また、請求項３に記載の画像特徴情報多重化装置は、請求項１又は請求項２に記載の画像特徴情報多重化装置において、入力手段は、Ｇ信号が２チャンネル、Ｂ信号及びＲ信号がそれぞれ１チャンネルのベイヤー配列構造を有する映像信号を入力する構成とした。
かかる構成により、画像特徴情報多重化装置は、ベイヤー配列構造を有する映像信号を出力する撮像装置により撮像された映像信号に対しても、画像特徴情報を抽出して多重化することができる。

また、請求項４に記載の画像特徴情報多重化装置は、請求項１乃至請求項３のいずれか１項に記載の画像特徴情報多重化装置において、特徴情報抽出手段は、映像信号の対象画素からＮ通りの方向（Ｎは２以上の整数）について相関を判定し、その中で最も相関の高い１つの方向を選択し、その方向情報を画像特徴情報として抽出する構成とした。
かかる構成により、画像特徴情報多重化装置は、画像特徴情報として方向情報を抽出することができる。

また、請求項５に記載の画像特徴情報多重化装置は、請求項１乃至請求項４のいずれか１項に記載の画像特徴情報多重化装置において、信号多重化手段は、画像特徴情報を、映像信号の水平ブランキング期間又は垂直ブランキング期間の少なくとも一方に多重化する構成とした。
かかる構成により、画像特徴情報多重化装置は、映像信号の画素値の情報を変更しないため、映像の劣化が抑えられる。

また、請求項６に記載の画像特徴情報多重化装置は、請求項１乃至請求項４のいずれか１項に記載の画像特徴情報多重化装置において、信号多重化手段は、画像特徴情報を、映像信号の当該画像特徴情報を抽出した前記対象画素と対応する画素の特定のｎビット（ｎは１以上の整数）と置換することによって多重化する構成とした。

かかる構成により、画像特徴情報多重化装置は、多重化の前後で映像信号の映像フォーマットの互換性が維持されるように多重化できるとともに、ｎが小さい場合には映像信号の劣化が抑えられる。

また、請求項７に記載の補間映像生成装置は、予め対応付けられたフィルタ係数と画像特徴情報とが多重化された映像信号を画像特徴情報多重化装置から入力して、映像信号に画素補間処理を行う補間映像生成装置であって、入力手段と、特徴情報分離手段と、補間方法選択手段と、補間処理手段と、出力手段と、を備える構成とした。

かかる構成によれば、補間映像生成装置は、入力手段によって、映像信号を入力する。そして、補間映像生成装置は、特徴情報分離手段によって、映像信号から、多重化されている画像特徴情報とフィルタ係数とを分離する。そして、補間映像生成装置は、補間方法選択手段によって、特徴情報分離手段が分離した画像特徴情報をフィルタ係数の指示情報に変換する。

そして、補間映像生成装置は、補間処理手段によって、補間方法選択手段が変換した指示情報に対応する、前記特徴情報分離手段が分離したフィルタ係数を用いて、前記映像信号の画素補間処理を行う。そして、補間映像生成装置は、出力手段によって、補間処理手段が補間した映像信号を出力する。

また、請求項８に記載の受像機は、請求項７に記載の補間映像生成装置と、補間映像生成装置が出力する補間された映像信号を表示する表示手段と、を備える構成とした。
かかる構成によれば、受像機は、補間映像生成装置が出力した補間された映像信号を表示することができる。

また、請求項９に記載の画像特徴情報多重化プログラムは、画像特徴情報に対応するフィルタ係数を用いて映像信号の画素補間処理を行う補間映像生成プログラムに対して、画像特徴情報を多重化した映像信号を出力するために、コンピュータを、入力手段、画像特徴情報を抽出する特徴情報抽出手段、信号多重化手段、出力手段、として機能させる構成とした。なお、画像特徴情報は、補間映像生成プログラムで用いられるフィルタ係数と予め対応付けられている。

また、請求項１０に記載の画像特徴情報多重化プログラムは、画像特徴情報に対応するフィルタ係数を用いて映像信号の画素補間処理を行う補間映像生成プログラムに対して、画像特徴情報とフィルタ係数とを多重化した映像信号を出力するために、コンピュータを、入力手段、特徴情報分離手段、画像特徴情報とフィルタ係数とを映像信号に多重化する信号多重化手段、出力手段、として機能させる構成とした。

また、請求項１１に記載の補間映像生成プログラムは、予め対応付けられたフィルタ係数と画像特徴情報とが多重化された映像信号を画像特徴情報多重化プログラムから入力して、映像信号に画素補間処理を行うために、コンピュータを、入力手段、特徴情報分離手段、補間方法選択手段、補間処理手段、出力手段、として機能させる構成とした。

請求項１、９に記載の発明によれば、映像信号に、補間映像生成装置（受像機）で用いられるフィルタ係数と予め対応付けられた画像特徴情報を多重化するため、受像機側での画素補間処理による計算コストを大幅に削減させることができる。このため、受像機の小型化、省電力化、開発・製造のコスト削減につながる。
また、映像信号自体のフォーマットは維持されるので、従来の受像機等でも、問題なく映像信号を表示させることができる。

請求項２、１０に記載の発明によれば、映像信号に、画像特徴情報と、当該画像特徴情報に対応するフィルタ係数とを多重化して送信するため、補間映像生成装置（受像機）側での画素補間処理による計算コストを大幅に削減させることができる。このため、受像機の小型化、省電力化、開発・製造コストの削減につながる。
また、映像信号自体のフォーマットは維持されるので、従来の受像機等でも、問題なく映像信号を表示させることができる。

請求項３に記載の発明によれば、ベイヤー配列構造を有する映像信号を出力する撮像装置により撮像された映像信号に対しても、画像特徴情報を抽出して多重化することができる。

請求項４に記載の発明によれば、方向情報である画像特徴情報を抽出することができる。

請求項５に記載の発明によれば、映像信号の画素値の情報を変更しないため、映像の劣化を抑えつつ、映像信号に画像特徴情報を多重化できる。また、映像信号のフォーマットを変更することなく、映像信号に画像特徴情報を多重化できる。

請求項６に記載の発明によれば、映像信号に、１画素につきｎビット使用した画像特徴情報を多重化するため、受像機側で選択できるフィルタ係数の数を多くすることができる。また、ｎが小さい場合には、映像信号の劣化を抑えることができる。また、映像信号のフォーマットを変更することなく、映像信号に画像特徴情報を多重化できる。

請求項７、１１に記載の発明によれば、映像信号から、予め対応付けられたフィルタ係数と画像特徴情報とを分離して、画像特徴情報に対応したフィルタ係数を用いて、画素補間処理を行うため、画素補間処理による計算コストを大幅に削減することができる。このため、補間映像生成装置を小型化、省電力化でき、開発・製造コストを削減にすることができる。

請求項８に記載の発明によれば、補間映像生成装置が出力した補間された映像信号を表示することができる。

映像信号処理システムの構成を示すブロック図である。 第１−３実施形態に係る画像特徴情報多重化装置の構成を示すブロック図である。 （ａ）映像信号におけるベイヤー配列構造の画素の位置関係を示す図である。（ｂ）特徴情報抽出手段において、Ｇ信号の画像特徴情報抽出する方法の一例を示す図である。（ｃ）特徴情報抽出手段において、Ｒ信号の画像特徴情報を抽出する方法の一例を示す図である。 信号多重化手段において、画像特徴情報を画素の最下位ビットと置換する方法を示す図である。 信号多重化手段において、映像信号と画像特徴情報との同期をとるための構成を示すブロック図である。 特徴情報抽出手段において、Ｎ通りの方向から相関の高い１つの方向を選択する場合の構成を示すブロック図である。 映像信号及び画像特徴情報のそれぞれに同期情報が含まれる場合の信号多重化手段の構成を示すブロック図である。 第１−３実施形態に係る補間映像生成装置の構成を示すブロック図である。 （ａ）Ｇ１信号及びＧ２信号の補間処理の流れを示す図である。（ｂ）Ｒ信号の補間処理の流れを示す図である。（ｃ）Ｂ信号の補間処理の流れを示す図である。 第１−３実施形態に係る画像特徴情報多重化装置の動作を示すフローチャートである。 第１−３実施形態に係る補間映像生成装置の動作を示すフローチャートである。 ＨＤ−ＳＤＩ信号の画像特徴情報を多重化する部分（水平ブランキング期間のＨＡＮＣ領域）を示す図である。 信号多重化手段において、補間すべき画素の画像特徴情報を対応する２つの信号の最下位ビットと置換する方法を示す図である。 信号多重化手段において、補間すべき画素の画像特徴情報を対応する４つの信号の最下位ビットと置換する方法を示す図である。 第４実施形態に係る画像特徴情報多重化装置の構成を示すブロック図である。 第４実施形態に係る補間映像生成装置の構成を示すブロック図である。 １画面を４つの領域に分割して、ライン及び領域ごとに異なるフィルタ係数を対応付ける例を示す図である。 （ａ）１画面をＭｘＮのブロックに分割する例を示す図である。（ｂ）各ブロックと当該ブロックのフィルタ係数の格納場所との対応を示す図である。 第４実施形態に係る画像特徴情報多重化装置の動作を示すフローチャートである。 第４実施形態に係る補間映像生成装置の動作を示すフローチャートである。

以下、本発明の実施形態について適宜図面を参照して説明する。
なお、実施形態において、同一の機能を有する手段には同一の符号を付して、その説明を省略する。

［映像信号処理システム］
図１を参照して、本発明の実施形態に係る映像信号処理システム１の構成について説明する。
映像信号処理システム１は、画像特徴情報多重化装置２が出力した映像信号を、補間映像生成装置３が受信し、映像表示装置４が表示するもので、画像特徴情報多重化装置２と、補間映像生成装置３と、映像表示装置４とを備える。
なお、補間映像生成装置３と映像表示装置４は、受像機５に一体的に備えられていてもよい。

画像特徴情報多重化装置２は、入力された映像信号から画像特徴情報を抽出し、この画像特徴情報を映像信号に多重化して、多重化した映像信号を出力するものである。

補間映像生成装置３は、画像特徴情報多重化装置２が出力した映像信号を入力し、多重化されている画像特徴情報に基づいて、映像信号に画素補間処理を行い、補間した映像信号を出力するものである。

映像表示装置４は、表示手段を備え、補間映像生成装置３が出力した補間された映像信号を表示手段に表示するものである。これは、液晶ディスプレイ等の一般的な表示装置である。以下の実施形態において、映像表示装置４は、共通であるので、その説明を省略する。

なお、画像特徴情報多重化装置２と補間映像生成装置３又は受像機５とは、図示しない放送波や、インターネット等のネットワークを介して、映像信号の送受信が可能なものとする。

（第１実施形態）
［画像特徴情報多重化装置２Ａの構成］
図２を参照して、本発明の第１実施形態に係る画像特徴情報多重化装置２Ａ（２）の構成について説明する。

画像特徴情報多重化装置２Ａは、入力された映像信号から画像特徴情報を抽出し、映像信号と多重化して、多重化した映像信号を出力するものである。画像特徴情報多重化装置２Ａは、入力手段２１と、特徴情報抽出手段２２と、信号多重化手段２３と、出力手段２４と、を備える。

入力手段２１は、外部から映像信号を入力して、特徴情報抽出手段２２と、信号多重化手段２３とに出力するものである。

入力手段２１に入力される映像信号は、デジタル映像信号又はアナログ映像信号である。入力手段２１は、アナログ映像信号が入力される場合には、アナログ信号からデジタル信号へ変換する変換手段をさらに備える。

入力される映像信号は、特に限定されるものではないが、ここでは、映像信号は、ベイヤー配列構造（上記特許文献１）をもつ撮像装置により撮像され、映像信号の系列として、Ｇ信号２チャンネル、Ｒ信号及びＢ信号がそれぞれ１チャンネルで構成されると仮定する。各チャンネルの信号名をＧ１、Ｇ２、Ｂ、Ｒとすると、画素の位置関係は、図３（ａ）で示すように対応する。入力される映像信号は、各画素が１０ビット階調のデジタル信号であると仮定し、このＧ１、Ｇ２、Ｂ、Ｒがそれぞれ独立した信号として入力されるものとする。

特徴情報抽出手段２２は、入力手段２１から映像信号を入力して、映像信号から対象画素と周辺画素との輝度や色の相関等を表す画像特徴情報を抽出して、信号多重化手段２３へ出力するものである。

特徴情報抽出手段２２は、Ｇ信号については、水平・垂直方向の相関を利用して補間するための画像特徴情報を抽出し、Ｒ信号及びＢ信号については、Ｇ信号との相関を利用して補間するための画像特徴情報を抽出するものとする。

すなわち、特徴情報抽出手段２２は、Ｇ信号の対象画素について、水平方向に相関が強い場合を０、垂直方向に相関が強い場合を１として、１ビットの画像特徴情報を抽出する。また、特徴情報抽出手段２２は、Ｒ信号及びＢ信号それぞれの対象画素について、Ｇ信号との相関が弱い場合を０、Ｇ信号との相関が強い場合を１として、１ビットの画像特徴情報を抽出する。

ここで、図３を参照して、特徴情報抽出手段２２が映像信号から画像特徴情報を抽出する一例を説明する。
Ｇ信号について、例として、図３（ａ）の左の点線で囲まれた画素に対して、図３（ｂ）のようにＧａ〜Ｇｅとおく。特徴情報抽出手段２２は、未知の対象画素Ｇｅに対する画像特徴情報を、その周辺画素Ｇａ〜Ｇｄから求めるために、（１）式のようにΔＨとΔＶとを定義する。

そして、特徴情報抽出手段２２は、ΔＨ≦ΔＶならば、水平方向の相関が強い（０）と判定し、ΔＨ＞ΔＶならば、垂直方向の相関が強い（１）と判定する。そして、特徴情報抽出手段２２は、この１ビットの画像特徴情報を、後記する信号多重化手段２３で多重化するために、例えば画素Ｇａの画像特徴情報とする。

また、Ｒ信号について、例として、図３（ａ）の右の点線で囲まれた画素に対して、図３（ｃ）のようにＲａ〜Ｒｄ、Ｇ１ａ〜Ｇ１ｄ、Ｇ２ａ〜Ｇ２ｄとおく。ここで、Ｇ１ａ〜Ｇ１ｄ、Ｇ２ａ〜Ｇ２ｄは、Ｇ信号の画素である。特徴情報抽出手段２２は、これらから、対象画素Ｒａに対する画像特徴情報を求めるために、Ｒ信号とＧ信号との比である（２）式のＮＲａ〜ＮＲｄを計算する。

そして、特徴情報抽出手段２２は、Ｒａから右下方向の４画素について、（３）式の差分を計算し、その和を（４）式のように評価値ＮＲａとする。

そして、特徴情報抽出手段２２は、予め設定された適当な閾値Ｃ（＞０）に対して、ＮＲａ＜Ｃならば、Ｇ信号との相関がある（１）と判定し、ＮＲａ≧Ｃならば、Ｇ信号との相関がない（０）と判定する。そして、特徴情報抽出手段２２は、この１ビットの画像特徴情報を、Ｒａの画像特徴情報とする。
また、Ｂ信号についても、Ｒ信号と同様であるので、その説明を省略する。

このように、特徴情報抽出手段２２は、映像信号のＧ１、Ｇ２、Ｒ、Ｂの各信号の各画素に対して、１ビットの画像特徴情報を抽出して、出力する。

この画像特徴情報は、後記する受像機側の補間映像生成装置３Ａ（３）の補間方法選択手段３３で選択されるＦＩＲフィルタの係数と、予め対応付けられているものである。

図２に戻り、説明を続ける。
信号多重化手段２３は、入力手段２１から入力された映像信号に、特徴情報抽出手段２２で抽出された画像特徴情報を多重化して、多重化した映像信号を出力手段２４に出力するものである。

信号多重化手段２３は、図４に示すように、対象画素の画像特徴情報を、当該画素の信号の最下位ビット（ＬＳＢ；Least Significant Bit）と置換する。こうすると、入力された映像信号の最下位ビットの情報は失われるが、映像信号が９ビット階調を有するので、映像信号は、Ｓ／Ｎ（Signal-to-Noise ratio）５４ｄＢ程度を確保することができる。これは、高精細テレビジョン（ＨＤＴＶ；High Definition TeleVision）などの映像信号では十分な品質である。

なお、信号多重化手段２３は、多重化の前後で、映像信号の映像フォーマットの互換性が維持されるように画像特徴情報を多重化する。こうすることで、多重化された画像特徴情報を処理しない一般の受像機でも映像信号を再生することができる。

ここで、図５を参照して、映像信号と画像特徴情報とのタイミングの同期をとるための信号多重化手段２３の構成について、説明する。信号多重化手段２３は、映像遅延用メモリと、画像特徴情報用メモリと、画像特徴情報多重化手段とを備える。

信号多重化手段２３は、画像特徴情報が映像信号と比べて遅延しているため、双方に対してメモリを備え、互いのタイミングを同期し、画像特徴情報多重化手段で多重化する。この構成では、信号多重化手段２３は、メモリの読み書きと多重化の制御を行うために、外部から制御信号を入力する。
なお、図２において、制御信号は省略した。

図２に戻り、説明を続ける。
出力手段２４は、信号多重化手段２３から入力された多重化した映像信号を、外部に出力するものである。

この画像特徴情報多重化装置２Ａによれば、入力手段２１によって、映像信号が入力され、特徴情報抽出手段２２によって、映像信号から画像特徴情報が抽出され、信号多重化手段２３によって、映像信号に画像特徴情報が多重化され、出力手段２４によって、多重化された映像信号が出力される。このため、映像信号に補間処理をするための画像特徴情報を予め多重化でき、受信機側での信号処理の負荷を軽減できる。

なお、画像特徴情報多重化装置２Ａの構成はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。

例えば、特徴情報抽出手段２２は、Ｒ信号及びＢ信号の画像特徴情報について、対象画素の右下方向の画素のみを評価対象としたが（前記（２）式〜（４）式）、上下左右に評価対象を広げてもよい。こうすることで、より高い精度で相関を評価することができる。
また、右方向の画素のみを評価対象として、計算量を減らしてもよい。

また、特徴情報抽出手段２２において、各信号について、各画素につき１ビットの画像特徴情報を抽出した。しかし、特徴情報抽出手段２２は、例えば、Ｇ信号上の各画素について、Ｎ通りの方向（Ｎは３以上の整数）について相関を判定し、その中で最も相関の高い１つの方向を選択し、その方向情報を画像特徴情報として出力してもよい。

この場合には、特徴情報抽出手段２２は、Ｇ信号の各画素につき、ｎ＝ｃｅｉｌ（ｌｏｇ_２Ｎ）ビットの画像特徴情報を出力する。ここで、ｃｅｉｌ（ｘ）は、ｘ以上の最小の整数を表す。したがって、信号多重化手段２３では、対象画素の画像特徴情報を、当該画素の信号の下位ｎビットと置換することとなる。

ここで、図６を参照して、Ｎ通りの方向から相関の高い１つの方向を選択する場合の特徴情報抽出手段２２の構成を説明する。特徴情報抽出手段２２は、方向１から方向ＮまでのＮ個の相関評価手段と、評価値判定手段とを備える。

方向ｉの相関評価手段（ｉは１以上Ｎ以下の整数）は、映像信号が入力されると、注目画素に対する方向ｉに関する相関を評価し、評価値を評価値判定手段に出力する。

評価値判定手段は、方向１から方向ＮまでのＮ個の評価値が入力されると、その最大の評価値を選択し、その評価値に係る方向情報を画像特徴情報として出力する。

また、実施形態１では、図５に示したように、信号多重化手段２３において、制御信号が外部から入力されて、映像信号と画像特徴情報との同期をとる構成とした。
しかし、信号多重化手段２３は、外部から制御信号を入力せずに、映像信号及び画像特徴情報のそれぞれに同期情報が含まれる構成としてもよい。

図７を参照して、この場合の信号多重化手段２３の構成を説明する。
信号多重化手段２３は、映像信号用の同期信号分離手段と、画像特徴情報用の同期信号分離手段と、映像遅延用メモリと、画像特徴情報用メモリと、タイミングパルス生成手段と、画像特徴情報多重化手段と、を備える。

信号多重化手段２３は、映像信号用の同期信号分離手段によって、映像信号に含まれる同期情報１を抽出し、画像特徴情報用の同期信号分離手段によって、画像特徴情報に含まれる同期情報２を抽出する。そして、信号多重化手段２３は、タイミングパルス生成手段によって、同期情報１と同期情報２とを用いて、タイミングパルスを発生させ、映像信号が記憶されている映像遅延用メモリと、画像特徴情報が記憶されている画像特徴情報用メモリとの同期をとる。さらに、信号多重化手段２３は、画像特徴情報多重化手段によって、タイミングパルスにより同期をとって、映像信号と画像特徴情報とを多重化する。

［補間映像生成装置３Ａの構成］
次に、図８を参照して、本発明の第１実施形態に係る補間映像生成装置３Ａ（３）の構成について説明する。

補間映像生成装置３Ａは、映像信号に多重化されている画像特徴情報に基づいて、映像信号の画素補間処理を行い、補間した映像信号を出力するものである。補間映像生成装置３Ａは、入力手段３１と、特徴情報分離手段３２と、補間方法選択手段３３と、補間処理手段３４と、フィルタ記憶手段３５と、出力手段３６と、を備える。

入力手段３１は、外部から入力される映像信号を入力して、特徴情報分離手段３２に出力するものである。

特徴情報分離手段３２は、映像信号から画像特徴情報を分離するものである。
具体的には、特徴情報分離手段３２は、入力手段３１から入力された画像特徴情報が多重化されている映像信号から、各画素に対する画像特徴情報を分離して、画像特徴情報を補間方法選択手段３３へ、映像信号を補間処理手段３４へそれぞれ出力する。

図４に示したように、映像信号において、画像特徴情報は、各画素の信号の最下位ビットと置換されているので、特徴情報分離手段３２は、この最下位ビットから画像特徴情報を分離する。

補間方法選択手段３３は、画像特徴情報から対応するフィルタ係数の指示情報に変換するものである。
具体的には、補間方法選択手段３３は、特徴情報分離手段３２から入力された各画素に対する画像特徴情報から、補間処理に使用するＦＩＲフィルタのフィルタ係数の指示情報に変換して、この指示情報を補間処理手段３４に出力する。

このフィルタ係数は、後記するフィルタ記憶手段３５に記憶されているものであり、画像特徴情報多重化装置２Ａから映像信号に多重化されて送られてくる画像特徴情報と、予め対応付けられている。

補間処理手段３４は、指示情報で指示されたフィルタ係数を用いて、画素補間処理を行うものである。
具体的には、補間処理手段３４は、補間方法選択手段３３から各画素についての指示情報を入力し、後記するフィルタ記憶手段３５から指示情報に対応するフィルタ係数を取得する。そして、補間処理手段３４は、補間すべき画素に対して、フィルタ係数を用いて画素値を補間し、補間された映像信号を出力手段３６へ出力する。

図９を用いて、補間処理手段３４が、画素補間処理を行う一例について説明する。
画像特徴情報は、Ｇ信号（Ｇ１信号、Ｇ２信号）の画素については、水平方向に相関が強い場合を０、垂直方向に相関が強い場合を１として抽出されている。このため、補間処理手段３４は、画像特徴情報が０の場合には、水平方向に強く重みづけをしたフィルタ係数を用いてＧ信号の対象画素を補間し、画像特徴情報が１の場合には、垂直方向に強く重みづけをしたフィルタ係数を用いてＧ信号の対象画素を補間する（図９（ａ））。

また、画像特徴情報は、Ｒ信号の画素については、Ｇ信号との相関がない場合を０、Ｇ信号との相関がある場合を１として抽出されている。このため、補間処理手段３４は、画像特徴情報が０の場合には、Ｇ信号は用いず、Ｒ信号の画素値と、フィルタ記憶手段３５から取得したフィルタ係数とを用いて、補間すべき画素（図９（ｂ）中央の図の点線で囲んだＲに対するＲ１、Ｒ２、Ｒ４）を補間する。

また、補間処理手段３４は、画像特徴情報が１の場合には、図９（ｂ）で示すように、Ｒ信号の補間すべき画素Ｒ１、Ｒ２、Ｒ４に対して、対応する補間前のＲ信号の画素値Ｒと、対応する補間後のＧ信号の画素値Ｇ１、Ｇ２、Ｇ３、Ｇ４を用いて、（５）式のように補間する。

Ｂ信号の画素補間処理も、Ｒ信号の画素補間処理と同一であるので、その説明を省略する。なお、Ｂ信号の画素を補間する場合において、画像特徴情報が１の場合の、Ｒ信号の（５）式に対応するＢ信号の式は、（６）式のようになる。

図８に戻り、説明を続ける。
フィルタ記憶手段３５は、ＦＩＲフィルタのフィルタ係数を予め記憶しておき、補間処理手段３４からの指示情報に基づいて、対応するフィルタ係数を出力するものである。

出力手段３６は、補間処理手段３４から出力された補間された映像信号を、外部（映像表示装置４）に出力するものである。

この補間映像生成装置３Ａによれは、入力手段３１によって、映像信号が入力され、特徴情報分離手段３２によって、映像信号と画像特徴情報が分離され、補間方法選択手段３３によって、画像特徴情報がフィルタ係数の指示情報に変換され、補間処理手段３４によって、フィルタ記憶手段３５から取得したフィルタ係数を用いて、映像信号に画素補間処理が行われ、出力手段３６によって、補間された映像信号が出力される。

このため、補間映像生成装置３Ａは、映像信号に多重化された画像特徴情報から、予めフィルタ記憶手段３５に記憶されたフィルタ係数を取得でき、信号処理の負荷を大幅に軽減することができる。

なお、補間映像生成装置３Ａの構成はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。

例えば、画像特徴情報多重化装置２Ａの信号多重化手段２３において、対象画像の画像特徴情報が、当該画素の信号の下位ｎビットと置換されている場合には、特徴情報分離手段３２は、映像信号の下位ｎビットから画像特徴情報を抽出する。
この場合には、補間方法選択手段３３は、高々２^ｎ個のフィルタ係数から１つを選択する指示情報に変換して、この指示情報を出力する。

［画像特徴情報多重化装置２Ａの動作］
次に、図１０を参照して（構成については適宜図２を参照のこと）、本発明の第１実施形態に係る画像特徴情報多重化装置２Ａ（２）の動作について説明する。

まず、画像特徴情報多重化装置２Ａは、入力手段２１によって、外部から映像信号を入力する（ステップＳ１１）。そして、画像特徴情報多重化装置２Ａは、特徴情報抽出手段２２によって、映像信号から対象画素と周辺画素との輝度や色の相関等を表す画像特徴情報を抽出する（ステップＳ１２）。

そして、画像特徴情報多重化装置２Ａは、信号多重化手段２３によって、映像信号に抽出された画像特徴情報を多重化する（ステップＳ１３）。そして、画像特徴情報多重化装置２Ａは、出力手段２４によって、画像特徴情報が多重化された映像信号を外部へ出力する（ステップＳ１４）。

［補間映像生成装置３Ａの動作］
次に、図１１を参照して（構成については適宜図８を参照のこと）、本発明の第１実施形態に係る補間映像生成装置３Ａ（３）の動作について説明する。

まず、補間映像生成装置３Ａは、入力手段３１によって、外部から画像特徴情報が多重化された映像信号を入力する（ステップＳ２１）。そして補間映像生成装置３Ａは、特徴情報分離手段３２によって、映像信号から画像特徴情報を分離する（ステップＳ２２）。

そして、補間映像生成装置３Ａは、補間方法選択手段３３によって、画像特徴情報を対応するフィルタ係数の指示情報に変換する（ステップＳ２３）。そして、補間映像生成装置３Ａは、補間処理手段３４によって、指示情報で指示されたフィルタ係数をフィルタ記憶手段３５から取得して、映像信号に対して画素補間処理を行う（ステップＳ２４）。

そして、補間映像生成装置３Ａは、出力手段３６によって、補間した映像信号を外部に出力する（ステップＳ２５）。

（第２実施形態）
［画像特徴情報多重化装置２Ｂの構成］
次に、本発明の第２実施形態に係る画像特徴情報多重化装置２Ｂ（２）の構成について説明する（適宜図２を参照のこと）。

画像特徴情報多重化装置２Ｂは、入力された映像信号から画像特徴情報を抽出し、映像信号と多重化して、多重化した映像信号を出力するものである。画像特徴情報多重化装置２Ｂは、入力手段２１と、特徴情報抽出手段２２と、信号多重化手段２３Ｂと、出力手段２４と、を備える。
入力手段２１、特徴情報抽出手段２２、及び、出力手段２４は、第１実施形態に係る画像特徴情報多重化装置２Ａの備える手段と同一であるため、説明を省略する。

第２実施形態の映像信号は、ＨＤ−ＳＤＩ（High Definition-Serial Digital Interface）信号とする（ＳＭＰＴＥ−２９２Ｍ規格）。また、映像信号の画素のビット数は１０ビットとする。

信号多重化手段２３Ｂは、入力手段２１から入力された映像信号に、特徴情報抽出手段２２で抽出された画像特徴情報を多重化して、多重化した映像信号を出力手段２４に出力するものである。
具体的には、信号多重化手段２３Ｂは、図１２に示すように、画像特徴情報を、ＨＤ−ＳＤＩ信号の水平ブランキング期間に多重化する。

ＨＤ−ＳＤＩ信号において、有効画素数は１ラインにつき１９２０画素であるから、１画素に１ビットの画像特徴情報が存在する場合、１ラインのトータルの画像特徴情報は１９２０ビットである。
ＨＤ−ＳＤＩ信号では、１画素＝１ワード＝１０ビットとして、１ラインの信号は、２２００ワードで構成されている。このうち、水平ブランキング期間内に、ユーザが設定できる情報を最大２６８ワードまで格納できる期間（図１２のＨＡＮＣ領域）が設けられている。

１ワードが１０ビットであるから、１ライン分の画素特徴情報は、１９２ワードあれば格納できる。したがって、図１２のように、ＨＡＮＣ領域の一部へ画像特徴情報を格納することにより、全ての画素に対する画像特徴情報をＨＤ−ＳＤＩ信号内に多重化することができる。

この画像特徴情報多重化装置２Ｂによれば、入力手段２１によって、映像信号が入力され、特徴情報抽出手段２２によって、映像信号から画像特徴情報が抽出され、信号多重化手段２３Ｂによって、映像信号の水平ブランキング期間に画像特徴情報が多重化され、出力手段２４によって、多重化された映像信号が出力される。このため、映像信号に補間処理をするための画像特徴情報を予め多重化でき、受信機側での信号処理の負荷を軽減できるとともに、映像信号の画素値の情報を変更しないため、映像の劣化が抑えられる。

なお、画像特徴情報多重化装置２Ｂの構成はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、信号多重化手段２３Ｂでは、１ビットの画像特徴情報をＨＤ−ＳＤＩ信号の水平ブランキング期間に多重化した。

しかし、特徴情報抽出手段２２が抽出する画像特徴情報が２ビットである場合には、第１実施形態の信号多重化手段２３における画素の最下位ビットと置換する方法を併用して、１ビットを最下位ビットと置換し、１ビットを水平ブランキング期間に多重化してもよい。こうすることにより、画像特徴情報が１画素につき２ビットある場合でも、映像の劣化が抑えられる。

また、信号多重化手段２３Ｂは、水平ブランキング期間ではなく、垂直ブランキング期間に画像特徴情報を多重化してもよい。

［補間映像生成装置３Ｂの構成］
次に、本発明の第２実施形態に係る補間映像生成装置３Ｂ（３）の構成について説明する（適宜図８を参照のこと）。

補間映像生成装置３Ｂは、映像信号に多重化されている画像特徴情報に基づいて、映像信号の画素補間処理を行い、補間した映像信号を出力するものである。補間映像生成装置３Ｂは、入力手段３１と、特徴情報分離手段３２Ｂと、補間方法選択手段３３と、補間処理手段３４と、フィルタ記憶手段３５、出力手段３６と、を備える。
入力手段３１、補間方法選択手段３３、補間処理手段３４、フィルタ記憶手段３５、及び、出力手段３６は、第１実施形態に係る補間映像生成装置３Ａの備える手段と同一であるため説明を省略する。

特徴情報分離手段３２Ｂは、映像信号から画像特徴情報を分離するものである。
具体的には、特徴情報分離手段３２Ｂは、入力手段３１から入力された画像特徴情報が多重化されている映像信号から、各画素に対する画像特徴情報を分離して、画像特徴情報を補間方法選択手段３３へ、映像信号を補間処理手段３４へそれぞれ出力する。

図１２に示したように、映像信号において、画像特徴情報は、映像信号（ＨＤ−ＳＤＩ信号）の水平ブランキング期間に多重化されているので、特徴情報分離手段３２は、この期間から画像特徴情報を分離する。

この補間映像生成装置３Ｂによれは、入力手段３１によって、映像信号が入力され、特徴情報分離手段３２Ｂによって、映像信号と画像特徴情報が分離され、補間方法選択手段３３によって、画像特徴情報がフィルタ係数の指示情報に変換され、補間処理手段３４によって、フィルタ記憶手段３５から取得したフィルタ係数を用いて、映像信号に画素補間処理が行われ、出力手段３６によって、補間された映像信号が出力される。

このため、補間映像生成装置３Ｂは、映像信号に多重化された画像特徴情報から、予めフィルタ記憶手段３５に記憶されたフィルタ係数を取得でき、信号処理の負荷を大幅に軽減することができるとともに、映像信号の画素値の情報を変更しないため、映像の劣化が抑えられる。

なお、補間映像生成装置３Ｂの構成はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。

例えば、画像特徴情報多重化装置２Ｂの変更例に記載したように、画像特徴情報が２ビットであって、１ビットが画素の最下位ビットと置換されているとともに、１ビットが水平ブランキング期間に多重化されている場合には、特徴情報分離手段３２Ｂは、画像特徴情報の１ビットを画素の最下位ビットから抽出するとともに、１ビットを水平ブランキング期間から抽出する構成としてもよい。

こうすることにより、画像特徴情報が１画素につき２ビットある場合でも、映像の劣化が抑えられる。

［画像特徴情報多重化装置２Ｂの動作］
本発明の第２実施形態に係る画像特徴情報多重化装置２Ｂ（２）の動作は、第１実施形態に係る画像特徴情報多重化装置２Ａの動作と、信号多重化手段２３が信号多重化手段２３Ｂである点を除き同一であるので、その説明を省略する（図１０を参照のこと）。

［補間映像生成装置３Ｂの動作］
本発明の第２実施形態に係る補間映像生成装置３Ｂ（３）の動作は、第１実施形態に係る補間映像生成装置３Ａの動作と、特徴情報分離手段３２が特徴情報分離手段３２Ｂである点を除き同一であるので、その説明を省略する（図１１を参照のこと）。

（第３実施形態）
［画像特徴情報多重化装置２Ｃの構成］
次に、本発明の第３実施形態に係る画像特徴情報多重化装置２Ｃ（２）の構成について説明する（適宜図２を参照のこと）。

画像特徴情報多重化装置２Ｃは、入力された映像信号から画像特徴情報を抽出し、映像信号と多重化して、多重化した映像信号を出力するものである。画像特徴情報多重化装置２Ｂは、入力手段２１と、特徴情報抽出手段２２Ｃと、信号多重化手段２３Ｃと、出力手段２４と、を備える。
入力手段２１、及び、出力手段２４は、第１実施形態に係る画像特徴情報多重化装置２Ａの備える手段と同一であるため、説明を省略する。

特徴情報抽出手段２２Ｃは、入力手段２１から映像信号を入力して、映像信号から対象画素と周辺画素との輝度や色の相関等を表す画像特徴情報を抽出して、信号多重化手段２３へ出力するものである。

特徴情報抽出手段２２Ｃは、Ｇ信号については、水平・垂直方向の相関を利用して補間するための画像特徴情報を抽出する。なお、Ｒ信号及びＢ信号に関する補間は、後記する補間映像生成装置３Ｃ（３）において演算して行うため、画像特徴情報を抽出しない。

特徴情報抽出手段２２Ｃは、Ｇ信号用の画像特徴情報として、補間映像生成装置３Ｃ（３）のフィルタ記憶手段３５に記憶されているＮｘＮの２次元ＦＩＲフィルタで、以下の４種類のものから１つに対応する情報を抽出して用いる。ここで、Ｎは例えば７である。
１．水平方向・垂直方向ともに相関が高い。
２．水平方向の相関が高い。
３．垂直方向の相関が高い。
４．水平方向・垂直方向ともに相関が低い。
これらのフィルタは４種類なので、例えば、００、０１、１０、１１の２ビットの情報で表すことができる。これをフィルタ係数番号とよぶ。

ここで、図３の（ａ）及び（ｂ）を参照して、特徴情報抽出手段２２Ｃが映像信号から画像特徴情報を抽出する一例を説明する。
Ｇ信号について、例として、図３（ａ）の左の点線で囲まれた画素に対して、図３（ｂ）のようにＧａ〜Ｇｅとおく。特徴情報抽出手段２２Ｃは、未知の対象画素Ｇｅに対する画像特徴情報を、その周辺画素Ｇａ〜Ｇｄから求めるために、前記した（１）式のようにΔＨとΔＶとを定義する。

そして、特徴情報抽出手段２２Ｃは、予め設定された適当な閾値Ｇｔ（＞０）に対して、以下のように判定する。
１．ΔＨ＜Ｇｔ かつ ΔＶ＜Ｇｔ ならば、水平方向・垂直方向ともに相関が高い。
２．ΔＨ＜Ｇｔ かつ ΔＶ≧Ｇｔ ならば、水平方向の相関が高い。
３．ΔＨ≧Ｇｔ かつ ΔＶ＜Ｇｔ ならば、垂直方向の相関が高い。
４．ΔＨ≧Ｇｔ かつ ΔＶ≧Ｇｔ ならば、水平方向・垂直方向ともに相関が低い。

特徴情報抽出手段２２Ｃは、この１〜４に対応する前記した２ビットの情報を、Ｇｅの画像特徴情報とする。
なお、この画像特徴情報は、後記する受像機側の補間映像生成装置３Ｃ（３）の補間方法選択手段３３Ｃで選択されるＦＩＲフィルタの係数と、予め対応付けられているものである。

図２に戻り、説明を続ける。
信号多重化手段２３Ｃは、入力手段２１から入力された映像信号に、特徴情報抽出手段２２Ｃで抽出された画像特徴情報を多重化して、多重化した映像信号を出力手段２４に出力するものである。

信号多重化手段２３Ｃは、特徴情報抽出手段２２Ｃから、Ｇ信号の補間すべき画素（図９（ａ）の一番右の図におけるＧ３及びＧ４の画素）に対して、それぞれ２ビットのフィルタ係数番号である画像特徴情報が入力される。図１３に示すように、信号多重化手段２３Ｃは、Ｇ３に対する画像特徴情報を、映像信号の対応するＧ１及びＲのそれぞれの最下位ビットと置換する。また、信号多重化手段２３Ｃは、Ｇ４に対する画像特徴情報を、映像信号の対応するＧ２およびＢのそれぞれの最下位ビットと置換する。

なお、画像特徴情報と、映像信号の最下位ビットとの置換方法は、第１実施形態の説明において、図４に示したものと同一である。
こうすることにより、入力された映像信号の最下位ビットの情報は失われるが、映像信号が９ビット階調を有するので、映像信号は、Ｓ／Ｎ５４ｄＢ程度を確保することができる。

この画像特徴情報多重化装置２Ｃによれば、入力手段２１によって、映像信号が入力され、特徴情報抽出手段２２Ｃによって、映像信号から画像特徴情報が抽出され、信号多重化手段２３Ｃによって、映像信号に画像特徴情報が多重化され、出力手段２４によって、多重化された映像信号が出力される。このため、映像信号に画素補間処理をするためのフィルタ係数番号である画像特徴情報を予め多重化でき、受信機側での信号処理の負荷を軽減できる。

なお、画像特徴情報多重化装置２Ｃの構成はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。

例えば、信号多重化手段２３Ｃにおいて、Ｇ３に対する画像特徴情報を、対応するＧ２及びＲのそれぞれの最下位ビットと置換し、Ｇ４に対する画像特徴情報を、対応するＧ１及びＢのそれぞれの最下位ビットと置換してもよい。

また、特徴情報抽出手段２２Ｃは、近傍の画像特徴は類似しているという性質を用いて、Ｇ３及びＧ４に共通の２次元ＦＩＲフィルタに対応する情報を画像特徴情報として用いてもよい。この場合には、信号多重化手段２３Ｃは、図１４に示したように、Ｇ３及びＧ４に共通の画像特徴情報を、Ｇ１、Ｇ２、Ｒ、Ｂの４画素の最下位ビットと置換することができる。このため、特徴情報抽出手段２２Ｃは、２^４＝１６種類のフィルタ係数番号を画像特徴情報として用いることができる。

［補間映像生成装置３Ｃの構成］
次に、本発明の第３実施形態に係る補間映像生成装置３Ｃ（３）の構成について説明する（適宜図８を参照のこと）。

補間映像生成装置３Ｃは、映像信号に多重化されている画像特徴情報に基づいて、映像信号の画素補間処理を行い、補間した映像信号を出力するものである。補間映像生成装置３Ｂは、入力手段３１と、特徴情報分離手段３２Ｃと、補間方法選択手段３３Ｃと、補間処理手段３４Ｃと、フィルタ記憶手段３５と、及び、出力手段３６と、を備える。
入力手段３１、フィルタ記憶手段３５、及び、出力手段３６は、第１実施形態に係る補間映像生成装置３Ａの備える手段と同一であるため説明を省略する。

特徴情報分離手段３２Ｃは、映像信号から画像特徴情報を分離するものである。
具体的には、特徴情報分離手段３２Ｃは、入力手段３１から入力された画像特徴情報が多重化されている映像信号から、Ｇ信号の画素に対する画像特徴情報を分離して、画像特徴情報を補間方法選択手段３３Ｃへ、映像信号を補間処理手段３４Ｃへそれぞれ出力する。

特徴情報分離手段３２Ｃは、Ｇ信号の補間すべき画素Ｇ３に対して、図１３に示したように、対応するＧ１及びＲの最下位ビットに多重化されている画像特徴情報を分離する。同様に、特徴情報分離手段３２Ｃは、Ｇ信号の補間すべき画素Ｇ４に対して、対応するＧ２及びＢの最下位ビットに多重化されている画像特徴情報を分離する。

補間方法選択手段３３Ｃは、画像特徴情報から対応するフィルタ係数の指示情報に変換するものである。
具体的には、補間方法選択手段３３Ｃは、特徴情報分離手段３２Ｃから入力されたＧ信号の画素に対する画像特徴情報から、補間処理に使用するＦＩＲフィルタのフィルタ係数の指示情報に変換して、この指示情報を補間処理手段３４Ｃに出力する。

このフィルタ係数は、後記するフィルタ記憶手段３５に記憶されているものであり、画像特徴情報多重化装置２Ｃから映像信号に多重化されて送られてくる画像特徴情報と、予め対応付けられている。

補間処理手段３４Ｃは、指示情報で指示されたフィルタ係数を用いて、画素補間処理を行うものである。
具体的には、補間処理手段３４Ｃは、補間方法選択手段３３ＣからＧ信号の画素についての指示情報を入力し、フィルタ記憶手段３５から指示情報に対応するフィルタ係数を取得する。そして、補間処理手段３４Ｃは、Ｇ信号の画素に対しては、フィルタ係数を用いて画素値を補間するとともに、Ｒ信号及びＢ信号の補間すべき画素に対しては、補間後のＧ信号の画素値との比を利用して補間し、補間された映像信号を出力手段３６へ出力する。

補間処理手段３４Ｃは、Ｇ信号の補間すべき画素Ｇ３に対しては、指示情報であるフィルタ係数番号に対応するフィルタ係数を取得し、このフィルタ係数を用いて画素値を補間する（図９（ａ））。同様に、補間処理手段３４Ｃは、Ｇ信号の補間すべき画素Ｇ４に対しても、指示情報であるフィルタ係数番号に対応するフィルタ係数を取得し、このフィルタ係数を用いて画素値を補間する。

また、補間処理手段３４Ｃは、Ｒ信号の補間すべき画素Ｒ１、Ｒ２、Ｒ４に対しては、図９（ｂ）で示すように、対応する補間前のＲ信号の画素値Ｒと、対応する補間後のＧ信号の画素値Ｇ１、Ｇ２、Ｇ３、Ｇ４を用いて、前記した（５）式のように補間する。

同様に、補間処理手段３４Ｃは、Ｂ信号の補間すべき画素Ｂ１、Ｂ２、Ｂ３に対しては、図９（ｃ）で示すように、対応する補間前のＢ信号の画素値Ｂと、対応する補間後のＧ信号の画素値Ｇ１、Ｇ２、Ｇ３、Ｇ４を用いて、前記した（６）式のように補間する。

この補間映像生成装置３Ｃによれは、入力手段３１によって、映像信号が入力され、特徴情報分離手段３２Ｃによって、映像信号と画像特徴情報が分離され、補間方法選択手段３３Ｃによって、画像特徴情報がフィルタ係数の指示情報に変換され、補間処理手段３４Ｃによって、フィルタ記憶手段３５から取得したフィルタ係数を用いて、Ｇ信号に画素補間処理が行われるとともに、Ｂ信号及びＲ信号に対しては補間後のＧ信号を用いて画素補間処理が行われ、出力手段３６によって、補間された映像信号が出力される。

このため、補間映像生成装置３Ｃは、映像信号に多重化されたフィルタ係数番号である像特徴情報から、予めフィルタ記憶手段に記憶されたフィルタ係数を取得でき、信号処理の負荷を大幅に軽減することができる。

なお、補間映像生成装置３Ｃの構成はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。

例えば、画像特徴情報多重化装置２Ｃの信号多重化手段２３Ｃにおいて、Ｇ３に対する画像特徴情報が、Ｇ２及びＲの最下位ビットと置換され、Ｇ４に対する画像特徴情報が、Ｇ１及びＢの最下位ビットと置換されている場合には、特徴情報分離手段３２Ｃは、Ｇ３に対して、Ｇ２及びＲの最下位ビットから画像特徴情報を分離し、Ｇ４に対して、Ｇ１及びＢの最下位ビットから画像特徴情報を分離する。

また、Ｇ３及びＧ４に共通の２次元ＦＩＲフィルタを用いる場合には、特徴情報分離手段３２Ｃは、Ｇ３及びＧ４に対して、Ｇ１、Ｇ２、Ｒ、Ｂの最下位ビットに多重化されている画像特徴情報を分離して、補間方法選択手段３３Ｃへ出力する。

そして、補間処理手段３４Ｃは、Ｇ信号の補間すべき画素Ｇ３およびＧ４に対して、共通の指示情報であるフィルタ係数番号に対応するフィルタ係数を取得し、このフィルタ係数を用いて画素値を補間する。

［画像特徴情報多重化装置２Ｃの動作］
本発明の第３実施形態に係る画像特徴情報多重化装置２Ｃ（２）の動作は、第１実施形態に係る画像特徴情報多重化装置２Ａの動作と、特徴情報抽出手段２２及び信号多重化手段２３が、それぞれ特徴情報抽出手段２２Ｃ及び信号多重化手段２３Ｃである点を除き同一であるので、その説明を省略する（図１０を参照のこと）。

［補間映像生成装置３Ｃの動作］
本発明の第３実施形態に係る補間映像生成装置３Ｃ（３）の動作は、第１実施形態に係る補間映像生成装置３Ａの動作と、特徴情報分離手段３２、補間方法選択手段３３及び補間処理手段３４が、それぞれ特徴情報分離手段３２Ｃ、補間方法選択手段３３Ｃ及び補間処理手段３４Ｃである点を除き同一であるので、その説明を省略する（図１１を参照のこと）。

（第４実施形態）
［画像特徴情報多重化装置２Ｄの構成］
次に、図１５を参照して、本発明の第４実施形態に係る画像特徴情報多重化装置２Ｄ（２）の構成について説明する。

画像特徴情報多重化装置２Ｄは、入力された映像信号から画像特徴情報を抽出し、フィルタ係数と対応する画像特徴情報とを映像信号に多重化して、多重化した映像信号を出力するものである。画像特徴情報多重化装置２Ｄは、入力手段２１と、特徴情報抽出手段２２Ｄと、信号多重化手段２３Ｄと、出力手段２４と、フィルタ記憶手段２５と、を備える。
入力手段２１、及び、出力手段２４は、第１実施形態に係る画像特徴情報多重化装置２Ａの備える手段と同一であるため、説明を省略する。

特徴情報抽出手段２２Ｄは、入力手段２１から映像信号を入力して、映像信号から対象画素と周辺画素との輝度や色の相関等を表す画像特徴情報を抽出して、信号多重化手段２３Ｄへ出力するものである。

この特徴情報抽出手段２２Ｄは、フィルタ係数番号を画像特徴情報として用いるＮｘＮの２次元ＦＩＲフィルタが、フィルタ記憶手段２５に記憶されているものであることを除いて、第３実施形態に係る画像特徴情報多重化装置２Ｃの特徴情報抽出手段２２Ｃと同一である。

信号多重化手段２３Ｄは、入力手段２１から入力された映像信号に、特徴情報抽出手段２２Ｄで抽出された画像特徴情報と、フィルタ記憶手段２５から取得したフィルタ係数とを多重化して、多重化した映像信号を出力手段２４に出力するものである。
ここでの映像信号は、ＨＤ−ＳＤＩ信号（ＳＭＰＴＥ−２９２Ｍ規格）とする。

信号多重化手段２３Ｄは、画像特徴情報を、第３実施形態に係る画像特徴情報多重化装置２Ｃの信号多重化手段２３Ｃと同一の方法で多重化する。

また、信号多重化手段２３Ｄは、画像特徴情報に含まれるフィルタ係数番号に対応するフィルタ係数を、フィルタ記憶手段２５から取得し、図１２に示すように、ＨＤ−ＳＤＩ信号の水平ブランキング期間に多重化する（ここで取得されるフィルタ係数は、セット（４種類）である）。

１つの２次元ＦＩＲフィルタ係数は、例えば、７ｘ７のサイズであるとすると、係数の数は４９個である。１つの係数に１０ビット（＝１ワード）を割り当てるとすると、１つのフィルタ係数は、４９ワードの領域を必要とする。４種類のフィルタ係数を用いる場合、４ｘ４９＝１９６ワードとなって、１ライン期間の水平ブランキング期間（ＨＡＮＣ領域）に多重化することができる。

フィルタ記憶手段２５は、ＦＩＲフィルタのフィルタ係数を予め記憶しておき、信号多重化手段２３Ｄからの要求に基づいて、対応するフィルタ係数を出力するものである。

この画像特徴情報多重化装置２Ｄによれば、入力手段２１によって、映像信号が入力され、特徴情報抽出手段２２Ｄによって、映像信号から画像特徴情報が抽出され、信号多重化手段２３Ｄによって、フィルタ記憶手段２５から取得されたフィルタ係数と画像特徴情報とが映像信号に多重化され、出力手段２４によって、多重化された映像信号が出力される。

このため、映像信号に画素補間処理をするための画像特徴情報とフィルタ係数とを予め多重化でき、受信機側での信号処理の負荷を軽減できるとともに、より優れたフィルタ係数が利用できるようになった場合、受信側の補間映像生成装置３Ｄの構成を変更せずに、フィルタ係数を更新できる。

なお、画像特徴情報多重化装置２Ｄの構成はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。

例えば、特徴情報抽出手段２２Ｄは、第３実施形態に係る特徴情報抽出手段２２Ｃと同一であるとしたが、第１実施形態に係る特徴情報抽出手段２２と同様に画像特徴情報を抽出してもよい。

＜変形例１＞
特徴情報抽出手段２２Ｄは、１画面のラインごとに異なるフィルタ係数に対応する画像特徴情報を抽出して、信号多重化手段２３Ｄは、この画像特徴情報と、この画像特徴情報に対応するラインごとに異なるフィルタ係数を、映像信号に多重化してもよい。

＜変形例２＞
変形例１のように１画面の異なるラインごとに異なるフィルタ係数を用いる場合において、さらに、図１７のように、１画面を水平方向に４つの領域に分割して、領域ごとに異なるフィルタ係数を用いてもよい。

この場合には、前記したように、（１つの信号の）１ラインのＨＡＮＣ領域に収まるように４種類のフィルタ係数を用いれば、４つの領域のラインごとに異なるフィルタ係数は、Ｇ１信号、Ｇ２信号、Ｂ信号、及び、Ｒ信号のそれぞれのＨＡＮＣ領域に格納することができる。

具体的には、図１７のように、１画面が水平方向に１９２０画素、垂直方向に１０８０ラインで構成されているとする。１画面を４つの領域に分割するため、同一ラインの１つの領域の１９２０／４＝４８０画素に対して同一のフィルタ係数を用いる。この４８０画素に用いるフィルタ係数を１セットとする。

特徴情報抽出手段２２Ｄは、同一ライン・同一領域の４８０画素に対して、前記フィルタ係数の１セット（４種類）から画素の相関に対応するフィルタ係数番号を選んで、画像特徴情報とする。

信号多重化手段２３Ｄは、映像信号に、画像特徴情報を、第３実施形態に係る画像特徴情報多重化装置２Ｃの信号多重化手段２３Ｃと同一の方法で多重化する。また、信号多重化手段２３Ｄは、図１７において、ラインごとに、一番左の領域のフィルタ係数のセットをＧ１信号のＨＡＮＣ領域に、左から２番目の領域のフィルタ係数のセットをＧ２信号のＨＡＮＣ領域に、左から３番目の領域のフィルタ係数のセットをＢ信号のＨＡＮＣ領域に、一番右の領域のフィルタ係数のセットをＲのＨＡＮＣ領域に、それぞれ多重化する。

変形例２によれば、ライン数は全部で１０８０なので、１画面分のＧ１信号には、１０８０セットを格納できる。Ｇ１、Ｇ２、Ｒ、Ｂの全てのＨＡＮＣ領域を用いるため、１０８０ｘ４＝４３２０セット格納できる。こうすることにより、ラインや領域ごとに、最適な係数を選択することができる。

＜変形例３＞
変形例２では、垂直方向にフィルタ係数が１０８０セットとれるが、水平方向には４セットしかとれずに、バランスがよくない。このため、共通のフィルタ係数を使う領域を垂直方向に拡大してもよい。

図１８（ａ）に示すように、１画面の水平方向をＮブロックに分割する。すると、水平方向の１ブロックあたりの画素数は、１９２０／Ｎ画素である。一例として、変形例２と同様に、４８０画素ごとに１セットのフィルタ係数を用いるとすると、垂直方向は、４８０／（１９２０／Ｎ）＝Ｎ／４ラインごとにブロックに分割すればよい。この垂直方向のブロック数をＭとする。

すなわち、１画面を、Ｎ／４ｘ１９２０／Ｎの画素数のブロックに分割する。図１８（ａ）に示したＡ_ｉｊ（１≦ｉ≦Ｍ、１≦ｊ≦Ｎ）が、分割したブロックに相当する。なお、前記した各分数が整数となるようにＭ、Ｎの値をとる必要がある。

図１８（ａ）におけるＫ行目のブロックは、（７）式で示すラインに相当する。

このＫ行のｊ（１≦ｊ≦Ｎ）番目のブロックのフィルタ係数は、図１８（ｂ）に示すように、（８）式で示すラインの、Ｇ１信号、Ｇ２信号、Ｂ信号、Ｒ信号をそれぞれ、０番、１番、２番、３番とすると、（ｊ−１）mod ４番の信号に対応付けられる（多重化される）。

特徴情報抽出手段２２Ｄは、前記ブロックに含まれる画素に対して、対応付けられているフィルタ係数の１セット（４種類）から画素の相関に対応するフィルタ係数番号を選んで、画像特徴情報とする。

信号多重化手段２３Ｄは、映像信号に、画像特徴情報を、第３実施形態に係る画像特徴情報多重化装置２Ｃの信号多重化手段２３Ｃと同一の方法で多重化する。また、信号多重化手段２３Ｄは、フィルタ係数のセットを前記の対応付けをした信号のＨＡＮＣ領域に多重化する。

変形例３によれば、ブロックごとにフィルタ係数のセットを用いるので、近傍にある画素に適したフィルタ係数を選択することができる。

［補間映像生成装置３Ｄの構成］
次に、図１６を参照して、本発明の第４実施形態に係る補間映像生成装置３Ｄ（３）の構成について説明する。

補間映像生成装置３Ｄは、映像信号に多重化されているフィルタ係数及び画像特徴情報に基づいて、映像信号の画素補間処理を行い、補間した映像信号を出力するものである。補間映像生成装置３Ｄは、入力手段３１と、特徴情報分離手段３２Ｄと、補間方法選択手段３３と、補間処理手段３４Ｄと、出力手段３６と、を備える。
入力手段３１、補間方法選択手段３３、及び、出力手段３６は、第１実施形態に係る補間映像生成装置３Ａの備える手段と同一であるため説明を省略する。

特徴情報分離手段３２Ｄは、映像信号から画像特徴情報とフィルタ係数とを分離するものである。
具体的には、特徴情報分離手段３２Ｄは、入力手段３１から入力されたフィルタ係数及び画像特徴情報が多重化されている映像信号から、Ｇ信号の画素に対する画像特徴情報を分離して、補間方法選択手段３３へ出力する。また、特徴情報分離手段３２Ｄは、映像信号から、フィルタ係数を分離して、このフィルタ係数と映像信号とを補間処理手段３４Ｄへ出力する。

特徴情報分離手段３２Ｄは、画像特徴情報を、第３実施形態に係る補間映像生成装置３Ｃの特徴情報分離手段３２Ｃと同一の方法で分離する。

また、図１２に示したように、映像信号において、フィルタ係数は、映像信号（ＨＤ−ＳＤＩ信号）の水平ブランキング期間に多重化されているので、特徴情報分離手段３２Ｄは、この期間からフィルタ係数を分離する。

補間処理手段３４Ｄは、指示情報で指示されたフィルタ係数を用いて、画素補間処理を行うものである。
具体的には、補間処理手段３４Ｄは、補間方法選択手段３３からＧ信号の画素についての指示情報を入力し、特徴情報分離手段３２Ｄからフィルタ係数を取得する。そして、補間処理手段３４Ｄは、Ｇ信号の画素に対しては、指示情報に対応するフィルタ係数を用いて画素値を補間するとともに、Ｒ信号及びＢ信号の補間すべき画素に対しては、補間後のＧ信号の画素値との比を利用して補間し、補間された映像信号を出力手段３６へ出力する。

補間処理手段３４Ｄの具体的な補間方法については、第３実施形態に係る補間映像生成装置３Ｃの補間処理手段３４Ｃの方法と同一である。

この補間映像生成装置３Ｄによれは、入力手段３１によって、映像信号が入力され、特徴情報分離手段３２Ｄによって、映像信号から画像特徴情報とフィルタ係数とが分離され、補間方法選択手段３３によって、画像特徴情報がフィルタ係数の指示情報に変換され、補間処理手段３４Ｄによって、フィルタ係数を用いて、Ｇ信号に画素補間処理が行われるとともに、Ｂ信号及びＲ信号に対しては補間後のＧ信号を用いて画素補間処理が行われ、出力手段３６によって、補間された映像信号が出力される。

このため、補間映像生成装置３Ｄは、映像信号に多重化されたフィルタ係数を、画像特徴情報により選択して補間処理ができるので、信号処理の負荷を大幅に軽減することができるとともに、より優れたフィルタ係数が利用できるようになった場合、補間映像生成装置３Ｄの構成を変更せずに、用いるフィルタ係数を更新できる。

なお、補間映像生成装置３Ｄの構成はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
補間映像生成装置３Ｄは、画像特徴情報多重化装置２Ｄの変形例１−３に対しても、補間した映像信号を出力することができる。

［画像特徴情報多重化装置２Ｄの動作］
次に、図１９を参照して（構成については適宜図１５を参照のこと）、本発明の第４実施形態に係る画像特徴情報多重化装置２Ｄ（２）の動作について説明する。

まず、画像特徴情報多重化装置２Ｄは、入力手段２１によって、外部から映像信号を入力する（ステップＳ３１）。そして、画像特徴情報多重化装置２Ｄは、特徴情報抽出手段２２Ｄによって、映像信号から対象画素と周辺画素との輝度や色の相関等を表す画像特徴情報を抽出する（ステップＳ３２）。

そして、画像特徴情報多重化装置２Ｄは、信号多重化手段２３Ｄによって、画像特徴情報に用いられるフィルタ係数をフィルタ記憶手段２５から取得して、映像信号に抽出された画像特徴情報とフィルタ係数とを多重化する（ステップＳ３３）。そして、画像特徴情報多重化装置２Ｄは、出力手段２４によって、画像特徴情報を多重化した映像信号を外部へ出力する（ステップＳ３４）。

［補間映像生成装置３Ｄの動作］
次に、図２０を参照して（構成については適宜図１６を参照のこと）、本発明の第４実施形態に係る補間映像生成装置３Ｄ（３）の動作について説明する。

まず、補間映像生成装置３Ｄは、入力手段３１によって、外部からフィルタ係数と画像特徴情報とが多重化された映像信号を入力する（ステップＳ４１）。そして補間映像生成装置３Ｄは、特徴情報分離手段３２Ｄによって、映像信号から画像特徴情報とフィルタ係数とを分離する（ステップＳ４２）。

そして、補間映像生成装置３Ｄは、補間方法選択手段３３によって、画像特徴情報を対応するフィルタ係数の指示情報に変換する（ステップＳ４３）。そして、補間映像生成装置３Ｄは、補間処理手段３４Ｄによって、指示情報で指示されたフィルタ係数を用いて、映像信号に対して画素補間処理を行う（ステップＳ４４）。

そして、補間映像生成装置３Ｄは、出力手段３６によって、補間した映像信号を外部に出力する（ステップＳ４５）。

以上、本発明について実施形態に即して各装置を説明したが、本発明は、これらの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、画像特徴情報多重化装置２は、コンピュータにおいて各手段を機能プログラムとして実現することも可能であり、各機能プログラムを結合して、画像特徴情報多重化プログラムとして動作させることも可能である。同様に、補間映像生成装置３、映像表示装置４、及び、受像機５についても、それぞれ、補間映像生成プログラム、映像表示プログラム、及び、受像プログラムとして動作させることも可能である。

１ 映像信号処理システム
２（２Ａ、２Ｂ、２Ｃ、２Ｄ） 画像特徴情報多重化装置
２１ 入力手段
２２、２２Ｃ、２２Ｄ 特徴情報抽出手段
２３、２３Ｂ、２３Ｃ、２３Ｄ 信号多重化手段
２４ 出力手段
２５ フィルタ記憶手段
３（３Ａ、３Ｂ、３Ｃ、３Ｄ） 補間映像生成装置
３１ 入力手段
３２、３２Ｂ、３２Ｃ、３２Ｄ 特徴情報分離手段
３３、３３Ｃ 補間方法選択手段
３４、３４Ｃ、３４Ｄ 補間処理手段
３５ フィルタ記憶手段
３６ 出力手段
４ 映像表示装置
５ 受像機

Claims (11)

1. 画像特徴情報に対応するフィルタ係数を用いて映像信号の画素補間処理を行う補間映像生成装置に対して、前記画像特徴情報を多重化した前記映像信号を出力する画像特徴情報多重化装置であって、
   前記映像信号を入力する入力手段と、
   前記映像信号から、対象画素と周辺画素との相関を表す前記画像特徴情報を抽出する特徴情報抽出手段と、
   前記特徴情報抽出手段が抽出した画像特徴情報を、前記映像信号に多重化する信号多重化手段と、
   前記信号多重化手段が多重化した映像信号を出力する出力手段と、
   を備え、
   前記画像特徴情報は、前記補間映像生成装置で用いられる前記フィルタ係数と予め対応付けられている
   ことを特徴とする画像特徴情報多重化装置。
2. 画像特徴情報に対応するフィルタ係数を用いて映像信号の画素補間処理を行う補間映像生成装置に対して、前記画像特徴情報と前記フィルタ係数とを多重化した前記映像信号を出力する画像特徴情報多重化装置であって、
   前記映像信号を入力する入力手段と、
   前記映像信号から、対象画素と周辺画素との相関を表す前記画像特徴情報を抽出する特徴情報抽出手段と、
   前記フィルタ係数を記憶するフィルタ記憶手段と、
   前記特徴情報抽出手段が抽出した画像特徴情報と、前記フィルタ記憶手段から取得した当該画像特徴情報に対応するフィルタ係数とを、前記映像信号に多重化する信号多重化手段と、
   前記信号多重化手段が多重化した映像信号を出力する出力手段と、
   を備えることを特徴とする画像特徴情報多重化装置。
3. 前記入力手段は、Ｇ信号が２チャンネル、Ｂ信号及びＲ信号がそれぞれ１チャンネルのベイヤー配列構造を有する前記映像信号を入力することを特徴とする請求項１又は請求項２に記載の画像特徴情報多重化装置。
4. 前記特徴情報抽出手段は、
   前記映像信号の前記対象画素からＮ通りの方向（Ｎは２以上の整数）について相関を判定し、その中で最も相関の高い１つの方向を選択し、その方向情報を前記画像特徴情報として抽出する
   ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像特徴情報多重化装置。
5. 前記信号多重化手段は、
   前記画像特徴情報を、前記映像信号の水平ブランキング期間又は垂直ブランキング期間の少なくとも一方に多重化する
   ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像特徴情報多重化装置。
6. 前記信号多重化手段は、
   前記画像特徴情報を、前記映像信号の当該画像特徴情報を抽出した前記対象画素と対応する画素の特定のｎビット（ｎは１以上の整数）と置換することによって多重化する
   ことを特徴とする請求項１乃至請求項４のいずれか１項に記載の画像特徴情報多重化装置。
7. 予め対応付けられたフィルタ係数と画像特徴情報とが多重化された映像信号を画像特徴情報多重化装置から入力して、前記映像信号に画素補間処理を行う補間映像生成装置であって、
   映像信号を入力する入力手段と、
   前記映像信号から、多重化されている前記画像特徴情報と前記フィルタ係数とを分離する特徴情報分離手段と、
   前記特徴情報分離手段が分離した画像特徴情報を前記フィルタ係数の指示情報に変換する補間方法選択手段と、
   前記補間方法選択手段が変換した指示情報に対応する、前記特徴情報分離手段が分離したフィルタ係数を用いて、前記映像信号の画素補間処理を行う補間処理手段と、
   前記補間処理手段が補間した映像信号を出力する出力手段と、
   を備えることを特徴とする補間映像生成装置。
8. 請求項７に記載の補間映像生成装置と、
   前記補間映像生成装置が出力する補間された映像信号を表示する表示手段と、
   を備えることを特徴とする受像機。
9. 画像特徴情報に対応するフィルタ係数を用いて映像信号の画素補間処理を行う補間映像生成プログラムに対して、前記画像特徴情報を多重化した前記映像信号を出力するために、コンピュータを、
   前記映像信号を入力する入力手段、
   前記映像信号から、対象画素と周辺画素との相関を表す前記画像特徴情報を抽出する特徴情報抽出手段、
   前記特徴情報抽出手段が抽出した画像特徴情報を、前記映像信号に多重化する信号多重化手段、
   前記信号多重化手段が多重化した映像信号を出力する出力手段、
   として機能させ、
   前記画像特徴情報は、前記補間映像生成プログラムで用いられる前記フィルタ係数と予め対応付けられている
   ことを特徴とする画像特徴情報多重化プログラム。
10. 画像特徴情報に対応するフィルタ係数を用いて映像信号の画素補間処理を行う補間映像生成プログラムに対して、前記画像特徴情報と前記フィルタ係数とを多重化した前記映像信号を出力するために、コンピュータを、
    前記映像信号を入力する入力手段、
    前記映像信号から、対象画素と周辺画素との相関を表す前記画像特徴情報を抽出する特徴情報抽出手段、
    前記特徴情報抽出手段が抽出した画像特徴情報と、前記フィルタ記憶手段から取得した当該画像特徴情報に対応するフィルタ係数とを、前記映像信号に多重化する信号多重化手段、
    前記信号多重化手段が多重化した映像信号を出力する出力手段、
    として機能させることを特徴とする画像特徴情報多重化プログラム。
11. 予め対応付けられたフィルタ係数と画像特徴情報とが多重化された映像信号を画像特徴情報多重化プログラムから入力して、前記映像信号に画素補間処理を行うために、コンピュータを、
    映像信号を入力する入力手段、
    前記映像信号から、多重化されている前記画像特徴情報と前記フィルタ係数とを分離する特徴情報分離手段、
    前記特徴情報分離手段が分離した画像特徴情報を前記フィルタ係数の指示情報に変換する補間方法選択手段、
    前記補間方法選択手段が変換した指示情報に対応する、前記特徴情報分離手段が分離したフィルタ係数を用いて、前記映像信号の画素補間処理を行う補間処理手段、
    前記補間処理手段が補間した映像信号を出力する出力手段、
    として機能させることを特徴とする補間映像生成プログラム。

Images