次に、ある信号フォーマットの画像信号を処理し、その処理の結果得られる画像信号に対応する画像を、ある表示フォーマットで表示する画像処理システムと、その画像処理システムで採用される信号フォーマットと表示フォーマットの求め方について説明する。
図1は、画像を処理する画像処理システム(システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない)の第1の構成例を示している。
図1において、画像処理システムは、カメラ(ビデオカメラ)1と表示装置2とで構成されている。
カメラ1は、物体(被写体)を撮影し、その撮影によって得られる画像信号である撮影画像信号を出力する。表示装置2は、カメラ1が出力する撮影画像信号を受信し、その撮影画像信号を、撮影画像信号に対応する画像よりも高画質の画像の画像信号である高画質画像信号に変換して、その高画質画像信号に対応する画像を表示する。
なお、カメラ1は、例えば、単板式のカメラであり、後述する学習によって決定された信号フォーマットの撮影画像信号を出力するようになっている。
即ち、学習によって決定された撮影画像信号の信号フォーマットが、例えば、ベイヤフォーマットであるとすると、カメラ1には、ベイヤ配列のカラーフィルタが採用され、カメラ1は、そのベイヤ配列のカラーフィルタによって得られるベイヤフォーマットの撮影画像信号を、RGB画像信号に変換することなく、そのまま出力する。
ここで、カメラ1が出力する撮影画像信号は、例えば、標準解像度の画像信号であるSD(Standard Definition)画像信号であるとし、そのSD画像信号を変換することにより得られる高画質画像信号は、高解像度の画像信号であるHD(High Definition)画像信号であるとする。なお、以下、適宜、SD画像信号に対応する画像をSD画像ともいい、HD画像信号に対応する画像をHD画像ともいう。
図2は、図1の表示装置2の構成例を示している。
表示装置2は、画像変換部11、表示制御部12、およびディスプレイ13で構成される。
画像変換部11は、カメラ1からのSD画像信号を、あらかじめ行われた学習によって得られたタップ係数との演算によって、HD画像信号に変換し、表示制御部12に供給する。
表示制御部12は、HD画像よりも高画質の画像を用いて行われた学習によって決定された表示フォーマットで、画像変換部11から供給されるHD画像信号に対応するHD画像を、ディスプレイ13に表示させる表示制御を行う。
ここで、以下、適宜、HD画像よりも高画質の画像を、SHD画像(Super HD画像)ともいい、その画像信号を、SHD画像信号という。
ディスプレイ13は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)パネル等で構成される表示手段であり、表示制御部12の制御にしたがって、画像を表示する。
次に、図3のフローチャートを参照して、図2の表示装置2の動作について説明する。
表示装置2には、カメラ1からのSD画像信号が供給される。表示装置2では、カメラ1からのSD画像信号が受信され、画像変換部11に供給される。
画像変換部11は、ステップS1において、カメラ1からのSD画像信号を、例えば、後述する学習によって得られたタップ係数を用いた演算によって、HD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部12に供給して、ステップS2に進む。
ステップS2では、表示制御部12が、SHD画像を用いて行われた後述する学習によって決定された表示フォーマットで、画像変換部11から供給されるHD画像信号に対応するHD画像を、ディスプレイ13に表示させる。
以上のようにして、ディスプレイ13では、HD画像が表示される。
次に、図2の画像変換部11で行われる画像変換処理について説明する。
画像変換部11は、第1の画像信号を、その第1の画像信号に対応する画像よりも高画質の画像の第2の画像信号に変換する画像変換処理を行う。
ここで、画像変換部11は、カメラ1からのSD画像信号を第1の画像信号とするとともに、HD画像信号を第2の画像信号として、第1の画像信号を第2の画像信号に変換する画像変換処理を行うが、かかる画像変換処理によれば、第1および第2の画像信号をどのように定義するかによって、様々な処理を実現することができる。
即ち、例えば、第2の画像信号をHD画像信号とするとともに、第1の画像信号を、第2の画像信号の解像度と画素数を低下させたSD画像信号とすれば、画像変換処理は、SD画像をHD画像に変換する処理ということができる。また、例えば、第2の画像信号を高S/Nの画像信号とするとともに、第1の画像信号を、第2の画像信号のS/Nを低下させた(第2の画像信号にノイズを付加した)低S/Nの画像信号とすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。さらに、例えば、第2の画像信号を、ある画像信号とするとともに、第1の画像信号を、第2の画像信号の画素数を間引いた画像信号とすれば、画像変換処理は、画像を拡大する拡大処理ということができる。
図4は、図2の画像変換部11の構成例を示している。
画像変換部11は、タップ抽出部41および42、クラス分類部43、係数メモリ44、並びに予測部45から構成される。
画像変換部11には、カメラ1からのSD画像信号が、第1の画像信号として供給される。そして、第1の画像信号としてのSD画像信号は、タップ抽出部41および42に供給される。
タップ抽出部41は、第1の画像信号を変換して得ようとする第2の画像信号(この第2の画像信号としてのHD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される)を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、第1の画像信号から抽出する。
具体的には、タップ抽出部41は、注目画素に対応する、第1の画像信号の画像の位置(例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている第1の画像信号の画像上の位置)に対して、空間的または時間的に近い位置関係にある複数の画素(例えば、注目画素に対応する、第1の画像信号の画像上の位置に最も近い画素と、その画素に空間的に隣接する画素など)の画素値を、予測タップとして抽出する。
タップ抽出部42は、注目画素を、幾つか(複数)のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の画素の画素値であるクラスタップを、第1の画像信号から抽出する。
なお、ここでは、説明を簡単にするために、予測タップとクラスタップとしては、タップ構造が同一の複数の画素の画素値、即ち、注目画素に対応する位置に対する位置関係が同一の複数の画素の画素値を採用することとする。但し、予測タップとクラスタップとは、異なるタップ構造とすることが可能である。
タップ抽出部41で得られた予測タップは、予測部45に供給され、タップ抽出部42で得られたクラスタップは、クラス分類部43に供給される。
クラス分類部43は、タップ抽出部42からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ44に供給する。
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
ADRCを用いる方法では、クラスタップを構成する画素の画素値が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、クラスタップとしての複数の画素値の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップとしての複数の画素値それぞれがKビットに再量子化される。即ち、クラスタップとしての各画素値から、最小値MINが減算され、その減算値がDR/2Kで除算(量子化)される。そして、以上のようにして得られる、クラスタップとしてのKビットの各画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、1ビットADRC処理される場合には、そのクラスタップとしての各画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の1/2で除算され(小数点以下切り捨て)、これにより、各画素値が1ビットとされる(2値化される)。そして、その1ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
なお、クラス分類部43には、例えば、クラスタップとしての複数の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、N個の画素値で構成され、各画素値に、Kビットが割り当てられているとすると、クラス分類部43が出力するクラスコードの場合の数は、(2N)K通りとなり、画素値のビット数Kに指数的に比例した膨大な数となる。
従って、クラス分類部43においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮し、その圧縮結果を用いて、クラス分類を行うのが好ましい。
また、クラス分類は、クラスタップの他、注目画素に対応する第1の画像信号の画像上の位置(以下、適宜、対応位置という)付近の動きを表すベクトル(動きベクトル)や、対応位置に最も近い第1の画像信号の画素と対応位置との位置関係を表すベクトル(位置関係ベクトル)などにも基づいて行うことができる。即ち、例えば、クラスタップのADRCコードと、動きベクトルや位置関係ベクトルのベクトル量子化結果としてのコード(シンボル)を表すビット列とを一列に並べたビット列などを、注目画素のクラスを表すクラスコードとすることが可能である。
係数メモリ44は、後述する学習によってあらかじめ求められているクラスごとのタップ係数を記憶している。即ち、係数メモリ44は、クラス分類部43で注目画素がクラス分類されうる複数のクラスそれぞれについて、タップ係数を記憶している。係数メモリ44は、クラスごとのタップ係数のうちの、クラス分類部43から供給されるクラスコードが表すクラス、つまり、注目画素のクラスのタップ係数を出力する。
なお、タップ係数は、例えば、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当する。
予測部45は、タップ抽出部41が出力する予測タップと、係数メモリ44が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部45は、注目画素の画素値(の予測値)、即ち、第2の画像信号を構成する画素の画素値を求めて出力する。
次に、図5のフローチャートを参照して、図4の画像変換部11が行う図3のステップS1の画像変換処理について説明する。
タップ抽出部41では、カメラ1から供給される第1の画像信号としてのSD画像信号に対する第2の画像信号としてのHD画像信号を構成する各画素が、順次、注目画素とされる。そして、ステップS11において、タップ抽出部41と42が、そこに供給される第1の画像信号から、注目画素についての予測タップとクラスタップとする画素の画素値を、それぞれ抽出する。そして、予測タップは、タップ抽出部41から予測部45に供給され、クラスタップは、タップ抽出部42からクラス分類部43に供給される。
クラス分類部43は、タップ抽出部42から、注目画素についてのクラスタップを受信し、ステップS12において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部43は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数メモリ44に出力し、ステップS13に進む。
ステップS13では、係数メモリ44が、クラス分類部43から供給されるクラスコードが表すクラスのタップ係数、即ち、注目画素のクラスのタップ係数を読み出して出力し、ステップS14に進む。係数メモリ44が出力するタップ係数は、予測部45において取得(受信)される。
ステップS14では、予測部45が、タップ抽出部41が出力した予測タップと、係数メモリ44から取得したタップ係数とを用いて、所定の予測演算を行うことにより、注目画素の画素値、即ち、第2の画像信号の画素の画素値を求める。予測部45は、以上のようにして、第2の画像信号の画素の画素値を、例えば1フレーム分求めるごとに、その第2の画像信号であるHD画像信号を、表示制御部12(図2)に出力する。
以上のように、画像変換部11では、第2の画像信号の注目画素についての予測タップとクラスタップを、第1の画像信号から抽出し、クラスタップに基づき、注目画素のクラスを求め、そのクラスのタップ係数と、予測タップとを用いた演算を行って、第2の画像信号の注目画素の画素値(の予測値)を求めることにより、第1の画像信号が第2の画像信号に変換される。このように、注目画素のクラスを求め、そのクラスのタップ係数と第1の画像信号(予測タップ)とを用いた演算を行うことにより、注目画素の画素値を求める処理は、クラス分類適応処理と呼ばれる。
クラス分類適応処理では、上述のように、タップ係数が用いられるが、このタップ係数は、例えば、最小自乗法を利用した学習によって求めることができる。
即ち、例えば、いま、画像変換処理として、HD画像信号を第2の画像信号とするとともに、そのHD画像信号の画素を間引き、LPF(Low Pass Filter)によってフィルタリングする等して得られるSD画像信号を第1の画像信号として、第1の画像信号から予測タップを抽出し、その予測タップとタップ係数を用いて、第2の画像信号の画素値を、所定の予測演算によって求める(予測する)ことを考える。
所定の予測演算として、例えば、線形1次予測演算を採用することとすると、第2の画像信号の画素(以下、適宜、第2の画素という)の画素値yは、次の線形1次式によって求められることになる。
但し、式(1)において、xnは、第2の画素yについての予測タップを構成する、n番目の第1の画像信号の画素(以下、適宜、第1の画素という)の画素値を表し、wnは、n番目の第1の画素の画素値と乗算されるn番目のタップ係数を表す。なお、式(1)では、予測タップが、複数であるN個の第1の画素の画素値x1,x2,・・・,xNで構成されるものとしてある。この場合、タップ係数は、1クラスにつき、N個存在する。
ここで、第2の画素の画素値yは、式(1)に示した線形1次式ではなく、2次以上の高次の式によって求めるようにすることも可能である。
いま、第kサンプルの第2の画素の画素値の真値をykと表すとともに、式(1)によって得られるその真値ykの予測値をyk’と表すと、その予測誤差ekは、次式で表される。
いま、式(2)の予測値yk’は、式(1)にしたがって求められるため、式(2)のyk’を、式(1)にしたがって置き換えると、次式が得られる。
但し、式(3)において、xn,kは、第kサンプルの第2の画素についての予測タップを構成するn番目の第1の画素の画素値を表す。
式(3)(または式(2))の予測誤差ekを0とするタップ係数wnが、第2の画素の画素値を予測するのに最適なものとなるが、すべての第2の画素について、そのようなタップ係数wnを求めることは、一般には困難である。
そこで、タップ係数wnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数wnは、次式で表される自乗誤差の総和Eを最小にすることで求めることができる。
但し、式(4)において、Kは、第2の画素の画素値ykと、その第2の画素についての予測タップを構成する第1の画素の画素値x1,k,x2,k,・・・,xN,kとのセットのサンプル数(学習用のサンプルの数)を表す。
式(4)の自乗誤差の総和Eの最小値(極小値)は、式(5)に示すように、総和Eをタップ係数wnで偏微分したものを0とするwnによって与えられる。
一方、上述の式(3)をタップ係数wnで偏微分すると、次式が得られる。
式(5)と式(6)から、次式が得られる。
式(7)のekに、式(3)を代入することにより、式(7)は、式(8)に示す正規方程式で表すことができる。
式(8)の正規方程式は、例えば、掃き出し法(Gauss-Jordanの消去法)などを用いることにより、タップ係数wnについて解くことができる。
式(8)の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数(ここでは、自乗誤差の総和Eを最小にするタップ係数)wnを、クラスごとに求めることができる。
クラス分類適応処理によれば、以上のようにして求められるクラスごとのタップ係数を用いて、式(1)の演算を行うことにより、第1の画像信号としてのSD画像信号が、第2の画像信号としてのHD画像信号に変換される。
なお、式(8)の正規方程式を、クラスごとにたてて解くことにより、クラスごとのタップ係数を求める方法(以下、適宜、正規方程式を用いる学習方法という)は、クラスごとのタップ係数を求める学習の一例である。図4の係数メモリ44には、正規方程式を用いる学習方法ではなく、後述する総当たり学習によって求められたクラスごとのタップ係数が記憶されている。
ここで、以下においては、画像変換処理は、特に断らない限り、クラス分類適応処理によって第1の画像信号を第2の画像信号に変換する処理を意味することとする。
クラス分類適応処理は、式(1)だけを見る限りは、一見、FIR(Finite Impulse Response)フィルタによるフィルタリングのように見えるが、そのFIRフィルタの係数(フィルタ係数)に相当するタップ係数wが、例えば、HD画像信号を第2の画像信号とするとともに、そのHD画像信号の画素数を少なくする等して得られるSD画像信号を第2の画像信号として、それらの第1の画像信号と第2の画像信号とを用いての学習により求められるため、第1の画像信号には含まれていないが、第2の画像信号には含まれる信号成分を再現することができる。このことから、クラス分類適応処理(による画像変換処理)は、いわば、第1の画像信号に含まれていない信号成分の創造作用がある処理であるということができる。
次に、図1の画像処理システムにおいて、カメラ1が出力するSD画像信号(撮影画像信号)の信号フォーマット、表示装置2(図2)の表示制御部12がディスプレイ13に表示させるHD画像の表示フォーマット、および表示装置2の画像変換部11(図4)が画像変換処理に用いるタップ係数について説明をする。
上述したように、カメラ1は、学習によって決定された信号フォーマットのSD画像信号を出力し、表示装置2の表示制御部12(図2)は、学習によって決定された表示フォーマットで、HD画像をディスプレイ13に表示させる。さらに、表示装置2の画像変換部11(図4)は、学習によって決定されたタップ係数を用いて、カメラ1からのSD画像信号を、HD画像信号に変換する画像変換処理を行う。
従って、カメラ1が出力するSD画像信号の信号フォーマット、そのSD画像信号をHD画像信号に変換する画像変換処理で用いられるタップ係数、および、画像変換処理で得られたHD画像信号に対応するHD画像を表示する表示フォーマットは、いずれも、学習によって決定されるのであるが、信号フォーマット、タップ係数、および表示フォーマットの学習は、図1の画像処理システム全体の性能を向上させるように、即ち、最終的に、表示装置2のディスプレイ13(図2)に表示される画像が適切な画像(ユーザが高画質であると感じる画像)となるように行われる。
ここで、既存の表示フォーマットとしては、例えば、図6に示すような表示フォーマットがある。
即ち、図6は、既存の表示フォーマットの例を示している。
一般的な表示装置において、例えば、1画素の画素値として、R,G,Bの3つの色成分すべてを有する画像信号(RGB画像信号)に対応した画像を表示する場合、同一の位置に、R,G,Bの3つの色成分を表示することは、物理的に困難であるため、表示装置では、1画素の画素値としてのR,G,Bの3つの色成分が、異なる位置に配列されて表示される。
即ち、表示装置では、表示画面上の1画素としての小領域が、R,G,Bそれぞれ用のさらに小さな領域(以下、適宜、サブピクセルという)に分割されており、1画素の画素値としてのR,G,Bが、R,G,B用のサブピクセルに、それぞれ表示される。
サブピクセルの配列パターンとしては、例えば、図6の左から1番目、2番目、3番目(右から1番目)にそれぞれ示すような配列パターンが知られている。
図6の左から1番目では、正方形状の領域を1画素として、1画素を横方向に3等分した3つの領域がサブピクセルになっている。そして、各画素において、左から1番目、2番目、3番目のサブピクセルが、R,G,Bそれぞれ用のサブピクセルになっており、このようなサブピクセルの配列(表示フォーマット)は、ストライプと呼ばれる。
図6の左から2番目では、横長の長方形状のサブピクセルの横方向に並ぶ2つの第1と第2のサブピクセルと、その2つの第1と第2のサブピクセルの上または下の、サブピクセルの横の長さの半分だけずれた位置に配置された第3のピクセルとで、1画素が構成されている。そして、それらの第1乃至第3のサブピクセルのぞれぞれが、R,G,Bのうちのいずれか用のサブピクセルとなるのであるが、同一の色成分のサブピクセルは隣接しないようになっている。このようなサブピクセルの配列(表示フォーマット)は、デルタと呼ばれる。
図6の左から3番目では、図6の左から1番目のストライプと同様に、正方形状の領域を1画素として、1画素を横方向に3等分した3つの領域がサブピクセルになっている。但し、図6の左から1番目のストライプでは、縦方向に、同一の色成分のサブピクセルが配置されているが、図6の左から3番目では、縦方向に、同一の色成分のサブピクセルが隣接しないように、即ち、同一の色成分のサブピクセルが斜め方向に並ぶようになっている。このようなサブピクセルの配列(表示フォーマット)は、モザイクと呼ばれる。
以上のような表示フォーマットのうちの、例えば、ストライプは、線、図形、文字の表示に適していると言われている。また、モザイクによれば、ストライプより自然な画像が得られると言われており、デルタによれば、より自然な画像が得られると言われている。
以上のような既存の表示フォーマットは、例えば、画像を表示する表示装置の処理の都合等により定められたものであり、従って、既存の表示フォーマットで表示される画像が、ユーザが高画質であると感じる画像であるとは限らない。即ち、既存の表示フォーマットで表示された画像よりも、ユーザが高画質であると感じる、既存の表示フォーマットではない表示フォーマットが存在する可能性がある。
ここで、図7は、既存の表示フォーマットでない表示フォーマットの例を示している。
即ち、図7は、ストライプを基準として、そのストライプを変形して得られる新たな表示フォーマットを示している。
図7の左上は、図6の左から1番目と同一のストライプの表示フォーマットを示している。
図7の左下は、図7の左上に示したストライプのサブピクセルで表示する色成分を変えた表示フォーマットを示している。即ち、図7の左上に示したストライプでは、1画素の横方向に並ぶ3つのサブピクセルが、R,G,Bをそれぞれ表示するサブピクセルの順に並んでいるが、図7の左下の表示フォーマットでは、G,B,Rをそれぞれ表示するサブピクセルの順に並んでいる。
図7の右上は、図7の左上に示したストライプのサブピクセルの位置を縦方向にずらした表示フォーマットを示している。即ち、図7の左上に示したストライプでは、1画素のR,G,Bの順で横方向に並ぶ3つのサブピクセルが、縦方向については同一の位置に配置されているが、図7の右上の表示フォーマットでは、1画素のR,G,Bの順で横方向に並ぶ3つのサブピクセルのうちの、Gのサブピクセルが、RとBのサブピクセルよりも下の位置に配置されている。
図7の右下も、図7の右上に示した表示フォーマットと同様に、図7の左上に示したストライプのサブピクセルの位置を縦方向にずらした表示フォーマットを示している。但し、図7の右下の表示フォーマットでは、1画素のR,G,Bの順で横方向に並ぶ3つのサブピクセルのうちの、Gのサブピクセルが、Rのサブピクセルよりも下の位置に配置されており、かつ、Bのサブピクセルが、Rのサブピクセルよりも上の位置に配置されている。
表示制御部12がディスプレイ13に表示させる画像の表示フォーマットは、表示装置2(図2)においてユーザが高画質であると感じる画像が表示されるように、学習によって決定される。
次に、図8は、画像信号の信号フォーマットの例を(模式的に)示している。
図8の上は、ベイヤフォーマットの画像信号を表している。
上述したように、単板式のカメラでは、1画素の画素値として、R,G,Bのうちのいずれか1つの色成分しか得られないので、他の2つの色成分を補間する処理の都合等のために定められた信号フォーマットがベイヤフォーマットである。従って、そのようなベイヤフォーマットの画像信号が表示装置2の画像変換部11でHD画像信号に変換されてディスプレイ13に最終的に表示されるHD画像が、適切な画像になるとは限らない。即ち、ベイヤフォーマットなどの既存の信号フォーマットよりも、ディスプレイ13に最終的に表示されるHD画像が、より適切な画像となる信号フォーマットが存在する可能性がある。
ここで、図8の下は、既存の信号フォーマットでない信号フォーマットの例を示している。
即ち、図8の下は、ベイヤフォーマットを基準として、そのベイヤフォーマットを変形して得られる新たな信号フォーマットを(模式的に)示している。
図8の下の左は、図8の上に示したベイヤフォーマットの画素の位置を、1列おきに下方向にずらした信号フォーマットを示している。また、図8の下の右は、図8の上に示したベイヤフォーマットの画素の位置を、1行おきに右(または左)方向にずらした信号フォーマットを示している。
上述したように、カメラ1が出力するSD画像信号の信号フォーマット、そのSD画像信号をHD画像信号に変換する画像変換処理で用いられるタップ係数、および、画像変換処理で得られたHD画像信号に対応するHD画像を表示する表示フォーマットの学習は、図1の画像処理システム全体の性能を向上させるように、即ち、最終的に、表示装置2のディスプレイ13(図2)に表示される画像が適切な画像(ユーザが高画質であると感じる画像)となるように行われるのであるが、図9は、そのような学習を行う学習装置の構成例を示している。
即ち、図9の学習装置では、カメラ1(図1)が出力するSD画像信号(撮影画像信号)を、そのSD画像信号に対応するSD画像よりも高画質の画像(HD画像)の高画質画像信号(HD画像信号)に変換する画像変換処理を行うのに画像変換部11(図2)で用いられるタップ係数を求める学習が、ディスプレイ13(図2)に表示される画像が適切な画像となるように行われる。さらに、図9の学習装置では、カメラ1が出力するSD画像信号の信号フォーマットと、そのSD画像信号を対象とした画像変換処理によって得られるHD画像信号に対応するHD画像を表示する表示フォーマットとの学習も、ディスプレイ13(図2)に表示される画像が適切な画像となるように行われる。
具体的には、図9の学習装置において、学習データ記憶部61は、タップ係数、信号フォーマット、および表示フォーマットの学習に用いられる学習データとして、SHD画像信号(SHD画像)を記憶している。
疑似撮影画像生成部62には、後述する制御部72から、信号フォーマットを表す信号フォーマット情報が供給される。疑似撮影画像生成部62は、学習データ記憶部61に記憶されているSHD画像信号の各フレームの画像信号を注目SHD画像信号として順次選択し、その注目SHD画像信号の画素数を間引くこと等によって、制御部72からの信号フォーマット情報が表す信号フォーマットのSD画像信号を生成し、カメラ1(図1)が出力する撮影画像信号に相当する疑似撮影画像信号として、タップ抽出部63および64に供給する。
タップ抽出部63,64、クラス分類部65、係数メモリ66、予測部67は、図4の画像変換部11と同様の画像変換処理を行う画像変換部73を構成しており、この画像変換部73では、疑似撮影画像生成部62から供給される疑似撮影画像信号(SD画像信号)が、制御部72から供給されるタップ係数との演算によって、HD画像信号に変換される。
即ち、タップ抽出部63は、疑似撮影画像生成部62から供給される疑似撮影画像信号を第1の画像信号とするとともに、その第1の画像信号を変換して得ようとする高画質(高解像度)のHD画像信号を第2の画像信号(この第2の画像信号としてのHD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される)として、第2の画像信号を構成する画素を、順次、注目画素とする。そして、タップ抽出部63は、注目画素について、図4のタップ抽出部41が抽出する予測タップと同一のタップ構造の予測タップを、第1の画像信号から抽出し、予測部67に供給する。
タップ抽出部64は、注目画素について、図4のタップ抽出部42が抽出するクラスタップと同一のタップ構造のクラスタップを、第1の画像信号から抽出し、クラス分類部65に供給する。
クラス分類部65は、タップ抽出部64からのクラスタップに基づき、図4のクラス分類部43と同一の方法で、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ66に供給する。
係数メモリ66は、制御部72の制御にしたがい、クラスごとのタップ係数を記憶する。そして、係数メモリ66は、図4の係数メモリ44と同様に、クラスごとのタップ係数のうちの、クラス分類部65から供給されるクラスコードが表すクラス、つまり、注目画素のクラスのタップ係数を出力する。
予測部67は、タップ抽出部63が出力する予測タップと、係数メモリ66が出力するタップ係数とを取得(受信)し、その予測タップとタップ係数とを用いて、図4の予測部45と同一の予測演算を行う。これにより、予測部67は、注目画素の画素値(の予測値)、即ち、HD画像信号(第2の画像信号)を構成する画素の画素値を求め、表示制御部68に供給する。
表示制御部68には、制御部72から、表示フォーマットを表す表示フォーマット情報が供給される。表示制御部68は、予測部67から供給されるHD画像信号に対応するHD画像を、制御部72からの表示フォーマット情報が表す表示フォーマットで、ディスプレイ69に表示させる。
ディスプレイ69は、表示制御部68の制御にしたがった表示フォーマットで、光としてのHD画像を表示する。
光検出器70は、ディスプレイ69に表示されたHD画像(表示画像)としての光を検出し(光電変換し)、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部71に出力する。
評価値算出部71は、光検出器70からの表示画像信号、ひいては、ディスプレイ69に表示されたHD画像を評価する。
即ち、評価値算出部71には、光検出器70から表示画像信号が供給される他、学習データ記憶部61から、注目SHD画像信号が供給される。評価値算出部71は、光検出器70からの表示画像信号と、学習データ記憶部61からの注目SHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ69に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部72に供給する。
制御部72は、評価値算出部71からの評価値に基づき、カメラ1(図1)が出力するSD画像信号に相当する、疑似撮影画像生成部62に生成させる疑似撮影画像信号の信号フォーマットを決定し、その信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部62に供給する。
また、制御部72は、評価値算出部71からの評価値に基づき、表示制御部68が、予測部67から供給されるHD画像信号に対応するHD画像をディスプレイ69に表示する表示フォーマットを決定し、その表示フォーマットを表す表示フォーマット情報を、表示制御部68に供給する。
さらに、制御部72は、評価値算出部71からの評価値に基づき、画像変換部73が画像変換処理に用いるクラスごとのタップ係数を決定し、そのタップ係数を、係数メモリ66を制御することにより、係数メモリ66に記憶させる。
次に、図10を参照して、図9の学習データ記憶部61が学習データとして記憶しているSHD画像信号と、画像変換部73(の予測部67)が出力するHD画像信号(ディスプレイ69に表示されるHD画像のHD画像信号)との関係を説明する。
SHD画像信号とHD画像信号とは、例えば、それぞれ、図10の上と下に示すように、1画素につき、R,G,Bの3つの色成分を画素値として有する画像信号である点で共通している。
但し、HD画像信号は、SHD画像信号よりも画素数の少ない低解像度の画像信号になっている(SHD画像信号は、HD画像信号よりも画素数の多い高解像度の画像信号になっている)。
即ち、例えば、HD画像信号は、SHD画像信号の6×6画素が1画素に対応する画像信号になっている。なお、図10では、HD画像信号の1画素と、SHD画像信号の6×6画素とが対応することを分かりやすくするために、HD画像信号の1画素と、SHD画像信号の6×6画素とを同一の大きさで図示してあるが、HD画像信号とSHD画像信号との画素の大きさ自体は、必ずしも、図10に示した関係にある必要はない。このことは、SD画像信号とHD画像信号との画素の大きさについても同様である。
次に、図11および図12を参照して、図9の疑似撮影画像生成部62が学習データとしてのSHD画像信号から疑似撮影画像信号(SD画像信号)を生成する生成方法について説明する。
疑似撮影画像生成部62は、例えば、SHD画像信号から、図10で説明した関係にあるHD画像信号を生成し、即ち、例えば、SHD画像信号の6×6画素のR,G,Bそれぞれの平均値を、その6×6画素に対応するHD画像信号の1画素のR,G,Bそれぞれとして求めることにより、あるいは、SHD画像信号の6×6画素のうちのいずれか1画素のR,G,Bを、その6×6画素に対応するHD画像信号の1画素のR,G,Bそれぞれとすることにより、HD画像信号を生成し、さらに、そのHD画像信号から、SD画像信号としての疑似撮影画像信号を生成する。
具体的には、いま、SD画像信号が、例えば、HD画像信号の2×2画素が1画素に対応する画像信号であるとし、制御部72から疑似撮影画像生成部62に対して、例えば、図8の上に示したベイヤフォーマットを表す信号フォーマット情報が供給されたとすると、疑似撮影画像生成部62は、例えば、図11に示すように、HD画像信号から、制御部72からの信号フォーマット情報が表す信号フォーマットのSD画像信号としての疑似撮影画像信号を生成する。
即ち、この場合、疑似撮影画像生成部62は、図11に示すように、ベイヤフォーマットのSD画像信号の各画素に対応する、HD画像信号の2×2画素を検出し、その2×2画素から、その2×2画素に対応するSD画像信号の1画素の画素値を求めることにより、疑似撮影画像信号としてのベイヤフォーマットのSD画像信号を生成する。
ここで、ベイヤフォーマットのSD画像信号の各画素は、R,G,Bのうちのいずれかの色成分だけを画素値として有するので、疑似撮影画像生成部62は、HD画像信号の2×2画素から、その2×2画素に対応するSD画像信号の1画素が画素値として有する色成分だけを求める。
具体的には、ベイヤフォーマットのSD画像信号の画素のうちの、例えば、G成分だけを画素値として有する画素を注目画素とした場合、図11に示すように、注目画素に対応するHD画像信号の2×2画素の画素値のうちのG成分の平均値等が、注目画素の画素値として求められる。
また、ベイヤフォーマットのSD画像信号の画素のうちの、例えば、B成分だけを画素値として有する画素を注目画素とした場合、図11に示すように、注目画素に対応するHD画像信号の2×2画素の画素値のうちのB成分の平均値等が、注目画素の画素値として求められる。ベイヤフォーマットのSD画像信号の画素のうちの、R成分だけを画素値として有する画素についても、同様にして画素値が求められる。
なお、その他、制御部72から疑似撮影画像生成部62に対して、例えば、図8の下の左に示した、ベイヤフォーマットの画素の位置を1列おきに下方向にずらした信号フォーマットを表す信号フォーマット信号が供給された場合も、疑似撮影画像生成部62は、図11で説明したのと同様にして、HD画像信号から、制御部72からの信号フォーマット情報が表す信号フォーマットのSD画像信号としての疑似撮影画像信号を生成する。
即ち、疑似撮影画像生成部62は、図8の下の左に示した信号フォーマットのSD画像信号の画素のうちの、例えば、G成分だけを画素値として有する画素を注目画素とした場合、図12に示すように、注目画素に対応するHD画像信号の2×2画素の画素値のうちのG成分の平均値等を、注目画素の画素値として求める。
また、図8の下の左に示した信号フォーマットのSD画像信号の画素のうちの、例えば、R成分だけを画素値として有する画素を注目画素とした場合、図12に示すように、注目画素に対応するHD画像信号の2×2画素の画素値のうちのR成分の平均値等が、注目画素の画素値として求められる。図8の下の左に示した信号フォーマットのSD画像信号の画素のうちの、B成分だけを画素値として有する画素についても、同様にして画素値が求められる。
次に、図9の学習装置では、表示制御部68が、制御部72から供給される表示フォーマット情報が表す表示フォーマットで、HD画像信号に対応するHD画像を、ディスプレイ69に表示させる。このため、ディスプレイ69は、各種の表示フォーマットでHD画像を表示することができるように構成されている。
即ち、図13は、ディスプレイ69の表示画面と、HD画像との関係を示している。
ディスプレイ69は、図13の上に示すように、SHD画像の1画素に対応する領域を、色成分を表示することができる最小の単位である最小表示単位とする表示画面を有している。図10で説明したように、SHD画像の6×6画素と、HD画像の1画素とが対応するので、SHD画像の1画素に対応する領域を最小表示単位とする表示画面については、その6×6個の最小表示単位が、図13の下に示すHD画像の1画素と対応する。なお、表示画面において、HD画像の画素に対応する6×6個の最小表示単位を、以下、適宜、画素ともいう。
表示制御部68は、例えば、図14や図15に示すように、制御部72からの表示フォーマット情報が表す表示フォーマットで、HD画像を、ディスプレイ69の表示画面に表示させる。
即ち、制御部72からの表示フォーマット情報が、例えば、図7の左上に示したストライプを表している場合には、表示制御部68は、図14に示すように、表示画面の画素を、横方向に3等分するような、横×縦が2×6個の最小表示単位をサブピクセルとする。そして、表示制御部68は、図14に示すように、HD画像の画素のR,G,Bの色成分を、その画素に対応する表示画面の画素の左から1,2,3番目のサブピクセルに、それぞれ表示させ、これにより、HD画像が、制御部72からの表示フォーマット情報が表すストライプで表示される。
また、制御部72からの表示フォーマット情報が、例えば、図7の右上に示した、1画素のR,G,Bの順で横方向に並ぶ3つのサブピクセルのうちの、Gのサブピクセルが、RとBのサブピクセルよりも下の位置に配置される表示フォーマットを表している場合には、表示制御部68は、図15に示すように、表示画面のR,G,Bの3つのサブピクセル(2×6個の最小表示単位)を、表示フォーマットと同様に、Gのサブピクセルが、RとBのサブピクセルよりも下の位置に配置されるように設定する。そして、表示制御部68は、図15に示すように、HD画像の画素のR,G,Bの色成分を、表示画面の対応するサブピクセルに表示させ、これにより、HD画像が、制御部72からの表示フォーマット情報が表す表示フォーマットで表示される。
次に、図16乃至図18を参照して、図9の評価値算出部71の処理について説明する。
評価値算出部71は、図9で説明したように、光検出器70からの表示画像信号と、学習データ記憶部61からの注目SHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ69に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行う。
ここで、光検出器70は、ディスプレイ69に表示されたHD画像(表示画像)としての光を、R,G,Bごとに検出し(光電変換し)、そのR,G,Bの光にそれぞれ対応する電気信号であるR成分、G成分、B成分を、各画素の画素値として有するHD画像信号である表示画像信号を、評価値算出部71に出力する。
即ち、図16の上に示すように、光検出器70は、ディスプレイ69の表示画面の6×6の最小表示単位で構成される各画素の光を、R,G,Bごとに検出し、そのR,G,Bの光にそれぞれ対応する電気信号であるR成分、G成分、B成分を、各画素の画素値として有するHD画像信号である表示画像信号を、評価値算出部71に出力する。
一方、評価値算出部71は、学習データ記憶部61に記憶されている注目SHD画像信号から、表示画像信号の評価に用いるHD画像信号である評価用HD画像信号を生成する。
具体的には、評価値算出部71は、HD画像信号の画素に対応する注目SHD画像信号の6×6画素の画素値から、HD画像信号の画素の画素値とする代表値を求める。即ち、評価値算出部71は、例えば、HD画像信号の画素に対応する注目SHD画像信号の6×6画素のR,G,B成分それぞれの平均値や、その6×6画素のうちのいずれか1画素のR,G,B成分を、その6×6画素のR,G,B成分それぞれの代表値として求める。そして、評価値算出部71は、注目SHD画像信号の6×6画素のR,G,B成分の代表値を、それぞれ、対応する画素のR,G,B成分とするHD画像信号を、評価用HD画像信号として生成する。
さらに、評価値算出部71は、評価用HD画像信号の画素の画素値(R1,G1,B1)と、表示画像信号の対応する画素の画素値(R2,G2,B2)との自乗誤差(R1-R2)2+(G1-G2)2+(B1-B2)2を、学習データ記憶部61に記憶されたSHD画像信号から得られる評価用HD画像信号のすべての画素について求め、そのすべての画素についての自乗誤差の総和に反比例する値を、評価値として求める。
従って、ディスプレイ69において、HD画像が、例えば、図14に示した表示フォーマットであるストライプで表示される場合には、光検出器70(図9)において、図17に示すように、表示画面の1画素としての6×6個の最小表示単位のR,G,Bの光、即ち、表示画面の1画素に含まれる、R,G,Bそれぞれのサブピクセル(2×6個の最小表示単位)のR,G,Bの光が検出され、そのR,G,Bの光にそれぞれ対応する電気信号としてのR,G,B成分が、評価値算出部71に供給される。そして、評価値算出部71では、評価値算出部71からのR,G,B成分と、注目SHD画像信号の6×6画素の代表値を画素値とする評価用HD画像信号の画素のR,G,B成分との自乗誤差が、学習データ記憶部61に記憶されたSHD画像信号から得られる評価用HD画像信号のすべての画素について求められ、そのすべての画素についての自乗誤差の総和に反比例する値が、評価値として求められる。
また、ディスプレイ69において、HD画像が、例えば、図15に示した、R,G,Bのサブピクセルのうちの、Gのサブピクセルが、RとBのサブピクセルよりも下の位置に配置される表示フォーマットで表示される場合には、光検出器70(図9)において、図18に示すように、表示画面の1画素としての6×6個の最小表示単位のR,G,Bの光が検出され、そのR,G,Bの光にそれぞれ対応する電気信号としてのR,G,B成分が、評価値算出部71に供給される。
即ち、この場合、Rについては、光検出器70において、表示画面の1画素に含まれる、Rの1つのサブピクセル(2×6個の最小表示単位)のRの光が検出され、そのRの光に対応する電気信号としてのR成分が、評価値算出部71に供給される。Bについても、Rと同様に、光検出器70において、表示画面の1画素に含まれる、Bの1つのサブピクセル(2×6個の最小表示単位)のBの光が検出され、そのBの光に対応する電気信号としてのB成分が、評価値算出部71に供給される。
また、Gについては、RとBのサブピクセルよりも下の位置に配置されているため、表示画面の1画素には、2つのGのサブピクセルの一部が含まれる。このため、Gについては、光検出器70において、表示画面の1画素に含まれる、Bの2つのサブピクセル(2×6個の最小表示単位)それぞれのBの光の一部を合成(合計)した光(図18において斜線を付して示す部分)が検出され、その合成した光に対応する電気信号としてのB成分が、評価値算出部71に供給される。
そして、評価値算出部71では、評価値算出部71からのR,G,B成分と、注目SHD画像信号の6×6画素の代表値を画素値とする評価用HD画像信号の画素のR,G,B成分との自乗誤差が、学習データ記憶部61に記憶されたSHD画像信号から得られる評価用HD画像信号のすべての画素について求められ、そのすべての画素についての自乗誤差の総和に反比例する値が、評価値として求められる。
次に、図19のフローチャートを参照して、図9の学習装置が行う、タップ係数、信号フォーマット、および表示フォーマットを学習する学習処理について説明する。
ステップS31において、制御部72は、複数の初期信号フォーマットの中から、注目信号フォーマットとする初期信号フォーマットAiを決定し、その注目信号フォーマットAiを表す信号フォーマット情報を、疑似撮影画像生成部62に供給して、ステップS32に進む。
即ち、図9の学習装置には、例えば、ベイヤフォーマットその他の既存の信号フォーマットなどの複数の信号フォーマットが、学習処理の最初に用いる初期信号フォーマットとして設定(決定)されており、制御部72は、複数の初期信号フォーマットそれぞれを表す信号フォーマット情報を、内蔵するメモリ(図示せず)に記憶している。そして、制御部72は、内蔵するメモリに記憶している複数の信号フォーマット情報が表す複数の初期信号フォーマットのうちの、まだ注目信号フォーマットとしていないものの1つを注目信号フォーマットAiに決定(設定)し、その注目信号フォーマットAiを表す信号フォーマット情報を、疑似撮影画像生成部62に供給する。
ここで、Aiは、例えば、複数の初期信号フォーマットのうちのi番目の初期信号フォーマットを表す。
ステップS32では、制御部72は、複数の初期表示フォーマットの中から、注目表示フォーマットとする初期表示フォーマットBjを決定し、その注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部68に供給して、ステップS33に進む。
即ち、図9の学習装置には、例えば、ストライプやデルタその他の既存の表示フォーマットなどの複数の表示フォーマットが、学習処理の最初に用いる初期表示フォーマットとして設定されており、制御部72は、複数の初期表示フォーマットそれぞれを表す表示フォーマット情報を、内蔵するメモリに記憶している。そして、制御部72は、内蔵するメモリに記憶している複数の表示フォーマット情報が表す複数の初期表示フォーマットのうちの、まだ注目表示フォーマットとしていないものの1つを注目表示フォーマットBjに決定し、その注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部68に供給する。
ここで、Bjは、例えば、複数の初期表示フォーマットのうちのj番目の初期表示フォーマットを表す。
ステップS33では、学習装置(図9)において、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセット(式(1)の演算で用いられる、各クラスのタップ係数(x1,x2,・・・,xN)のセット)Fi,jが決定される。
即ち、ステップS33では、注目信号フォーマットAiのSD画像信号を第1の画像信号として、図4の画像変換部11でタップ係数を用いた画像変換処理を行うことにより得られる、画素値としてのR,G,Bの各成分を有する画素からなる第2の画像信号としてのHD画像信号に対応するHD画像を、注目表示フォーマットBjで、ディスプレイ69に表示した場合に、そのディスプレイ69に表示されたHD画像としての光を光検出器70で検出することにより得られる表示画像信号の評価値を最も高くするタップ係数のセットが、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセットFi,jとして求められる。
そして、ステップS33からステップS34に進み、制御部72は、内蔵するメモリに記憶されている複数の表示フォーマット情報が表す複数の初期表示フォーマットのすべてを、注目表示フォーマットとして、ステップS33でタップ係数のセットを求めたかどうかを判定する。
ステップS34において、複数の初期表示フォーマットのすべてが、まだ、注目表示フォーマットとされていないと判定された場合、ステップS32に戻り、制御部72は、複数の初期表示フォーマットのうちの、まだ、注目表示フォーマットとしていない初期表示フォーマットの1つを、注目表示フォーマットに新たに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部68に供給して、以下、同様の処理を繰り返す。
また、ステップS34において、複数の初期表示フォーマットのすべてが、注目表示フォーマットとされたと判定された場合、ステップS35に進み、制御部72は、内蔵するメモリに記憶されている複数の信号フォーマット情報が表す複数の初期信号フォーマットのすべてを、注目信号フォーマットとして、ステップS33でタップ係数のセットを求めたかどうかを判定する。
ステップS35において、複数の初期信号フォーマットのすべてが、まだ、注目信号フォーマットとされていないと判定された場合、ステップS31に戻り、制御部72は、複数の初期信号フォーマットのうちの、まだ、注目信号フォーマットとしていない初期表示フォーマットの1つを、注目信号フォーマットに新たに決定し、その注目信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部62に供給して、以下、同様の処理を繰り返す。
また、ステップS35において、複数の初期信号フォーマットのすべてが、注目信号フォーマットとされたと判定された場合、即ち、複数の初期信号フォーマットそれぞれと、複数の初期表示フォーマットそれぞれとの組み合わせすべてについて、ステップS33で最適なタップ係数のセットが求められた場合、ステップS36に進み、制御部72は、初期信号フォーマットおよび初期表示フォーマットと、その初期信号フォーマットおよび初期表示フォーマットの組み合わせについての最適なタップ係数のセットとの組み合わせの中から、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせを、仮に決定する(仮決定する)。
即ち、複数の初期信号フォーマットとして、I通りの信号フォーマットがあり、複数の初期表示フォーマットとして、J通りの表示フォーマットがある場合には、ステップS33において、I×J通りの初期信号フォーマットと初期表示フォーマットとの組み合わせそれぞれについて、仮の最適なタップ係数のセットが求められ、その結果、I×J通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせが得られる。ステップS36では、そのI×J通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせの中から、表示画像信号の評価値が最大の組み合わせが、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせとして仮決定される。
ステップS36において、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせが仮決定された後は、ステップS37に進み、現在の最適な表示フォーマットとタップ係数のセットとの組み合わせについて、最適な信号フォーマットを仮決定する最適信号フォーマット決定処理が行われ、ステップS38に進む。
ステップS38では、現在の最適な信号フォーマットとタップ係数のセットとの組み合わせについて、最適な表示フォーマットを仮決定する最適表示フォーマット決定処理が行われ、ステップS39に進む。
ステップS39では、現在の最適な信号フォーマットと表示フォーマットとの組み合わせについて、最適なタップ係数のセットを仮決定する最適タップ係数セット決定処理が行われ、ステップS40に進む。
ステップS40では、制御部72が、直前のステップS37で求められた現在の最適な信号フォーマット、直前のステップS38で求められた現在の最適な表示フォーマット、および直前のステップS39で求められた現在の最適なタップ係数のセットの組み合わせが、最適化されたものであるかどうかを判定する。
即ち、直前のステップS39の最適タップ係数セット決定処理では、現在の仮の最適な信号フォーマットと表示フォーマットとの組み合わせについて、後述するようにして評価値算出部71が算出する評価値を最大にするタップ係数のセットが、最適なタップ係数のセットとして仮決定されるが、ステップS40では、例えば、その最適なタップ係数のセットについての評価値が、あらかじめ定められた最適化の判定用の閾値以上である(より大きい)かどうかによって、現在の仮の最適な信号フォーマット、現在の仮の最適な表示フォーマット、および現在の仮の最適なタップ係数のセットの組み合わせが、最適化されたものであるかどうかが判定される。
ステップS40において、現在の仮の最適な信号フォーマット、現在の仮の最適な表示フォーマット、および現在の仮の最適なタップ係数のセットの組み合わせが、最適化されたものでないと判定された場合、即ち、直前のステップS39で仮決定された最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上でない場合、ステップS37に戻り、同様の処理が繰り返される。
また、ステップS40において、現在の仮の最適な信号フォーマット、現在の仮の最適な表示フォーマット、および現在の仮の最適なタップ係数のセットの組み合わせが、最適化されたものであると判定された場合、即ち、直前のステップS39で仮決定された最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上である場合、制御部72は、現在の仮の最適な信号フォーマット、現在の仮の最適な表示フォーマット、および現在の仮の最適なタップ係数のセットの組み合わせを、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせに最終的に決定し(最終決定し)、学習処理を終了する。
図1の画像処理システムにおいて、カメラ1は、図19の学習処理によって最終決定された最適な信号フォーマットの撮影画像信号(SD画像信号)を出力する。また、表示装置2の表示制御部12(図2)は、図19の学習処理によって最終決定された最適な表示フォーマットでHD画像をディスプレイ13に表示させる。さらに、表示装置2の画像変換部11の係数メモリ44には、図19の学習処理によって最終決定された最適なタップ係数のセットが記憶されており、画像変換部11は、そのタップ係数のセットを用いて、画像変換処理を行う。
その結果、図1のカメラ1と表示装置2との組み合わせである画像処理システムの性能を向上させることができる。即ち、図1のカメラ1と表示装置2との組み合わせである画像処理システムによれば、カメラ1が出力する撮影画像信号や、画像変換部11が出力するHD画像信号のS/N(Signal to Noise ratio)等はともかく、ユーザが高画質であると感じる画像を、ディスプレイ13に表示することができる。
なお、図19では、最適タップ係数セット決定処理において求められたタップ係数のセットについての評価値が、最適化の判定用の閾値以上である場合に、信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにしたが、その他、例えば、最適信号フォーマット決定処理、最適表示フォーマット決定処理、および最適タップ係数セット決定処理が、所定の回数だけ繰り返された場合に、信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにすることが可能である。
次に、図20のフローチャートを参照して、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセットFi,jを決定する図19のステップS33の処理について、詳述する。
制御部72は、ステップS51において、画像変換部73が画像変換処理に用いるクラスごとのタップ係数のセットを決定する。即ち、例えば、クラスの総数をαと、各クラスのタップ係数の数をβ(式(1)のN)と、タップ係数のビット数をγとすると、タップ係数のセットが取り得る場合の数は、α×β×2γ通りだけ存在するが、制御部72は、そのα×β×2γ通りのタップ係数のセットのうちの、今回の図20の処理において、まだ注目タップ係数セットとしていないものの1つを、注目タップ係数セットに決定する。
そして、制御部72は、注目タップ係数セットを、係数メモリ66に供給して記憶させ、ステップS51からS52に進む。
ステップS52では、制御部72は、注目信号フォーマットAiを表す信号フォーマット情報を、疑似撮影画像生成部62に供給し、これにより、疑似撮影画像生成部62に、注目信号フォーマットAiの疑似撮影画像信号としてのSD画像信号を生成させる。
即ち、疑似撮影画像生成部62は、制御部72から、注目信号フォーマットAiを表す信号フォーマット情報が供給されると、学習データ記憶部61に記憶されているSHD画像信号の画素数を間引くこと等によって、注目信号フォーマットAiのSD画像信号を生成し、カメラ1(図1)が出力する撮影画像信号に相当する疑似撮影画像信号として、画像変換部73に供給する。
その後、ステップS52からステップS53に進み、画像変換部73は、疑似撮影画像生成部62から供給される注目信号フォーマットAiの疑似撮影画像信号(SD画像信号)を第1の画像信号として、その第1の画像信号を、例えば、1画素がR,G,B成分のすべてを有する第2の画像信号としてのHD画像信号に変換する画像変換処理を行う。
即ち、ステップS53では、まず最初に、ステップS531において、画像変換部73のタップ抽出部63が、疑似撮影画像生成部62から供給される疑似撮影画像信号を第1の画像信号とするとともに、その第1の画像信号を変換して得ようとする高画質(高解像度)のHD画像信号を第2の画像信号(この第2の画像信号としてのHD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される)として、第2の画像信号を構成する画素を、順次、注目画素とする。そして、タップ抽出部63は、注目画素について、図4のタップ抽出部41が抽出する予測タップと同一のタップ構造の予測タップを、第1の画像信号から抽出し、予測部67に供給する。
さらに、ステップS531では、タップ抽出部64が、注目画素について、図4のタップ抽出部42が抽出するクラスタップと同一のタップ構造のクラスタップを、第1の画像信号から抽出し、クラス分類部65に供給する。
そして、ステップS531からステップS532に進み、クラス分類部65が、タップ抽出部64からのクラスタップに基づき、図4のクラス分類部43と同一の方法で、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数メモリ66に供給して、ステップS533に進む。
ステップS533では、係数メモリ66が、制御部72の制御にしたがって記憶している注目タップ係数セットのうちの、クラス分類部65から供給されるクラスコードが表すクラス、つまり、注目画素のクラスのタップ係数を取得し、予測部67に出力して、ステップS534に進む。
ステップS534では、予測部67が、タップ抽出部63が出力する予測タップと、係数メモリ66が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、図4の予測部45と同一の予測演算、即ち、例えば、式(1)の演算を行う。これにより、予測部67は、注目画素の画素値(の予測値)、即ち、HD画像信号(第2の画像信号)を構成する画素の画素値を求め、表示制御部68に供給する。
ステップS53の処理後は、ステップS54に進み、制御部72は、注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部68に供給する。これにより、表示制御部68は、制御部72からの表示フォーマット情報が表す注目表示フォーマットBjで、画像変換部73が出力するHD画像信号に対応するHD画像を、ディスプレイ69に表示させ、ステップS54からステップS55に進む。
ステップS55では、光検出器70が、ディスプレイ69に表示されたHD画像(表示画像)としての光を検出し(光電変換し)、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部71に出力して、ステップS56に進む。
ステップS56では、評価値算出部71が、光検出器70からの表示画像信号、ひいては、ディスプレイ69に表示されたHD画像を評価する。
即ち、評価値算出部71は、光検出器70からの表示画像信号に対応するSHD画像信号を、学習データ記憶部61から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ69に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部72に供給する。
ここで、ステップS52乃至S56の処理は、学習データ記憶部61に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部72は、注目タップ係数セットにつき、学習データ記憶部61に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
その後、ステップS56からステップS57に進み、制御部72は、タップ係数のセットが取り得るα×β×2γ通りの値のすべてについて、評価値を算出したかどうかを判定する。
ステップS57において、タップ係数のセットが取り得るα×β×2γ通りの値のすべてについて、まだ、評価値を算出していないと判定された場合、即ち、α×β×2γ通りのタップ係数のセットの中に、今回の図20の処理において、まだ注目タップ係数セットとしていないものがある場合、ステップS51に戻り、制御部72は、α×β×2γ通りのタップ係数のセットのうちの、今回の図20の処理において、まだ注目タップ係数セットとしていないものの1つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップS57において、タップ係数のセットが取り得るα×β×2γ通りの値のすべてについて、評価値を算出したと判定された場合、ステップS58に進み、制御部72は、α×β×2γ通りのタップ係数のセットのうちの、評価値が最も高いタップ係数のセットを、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについての最適なタップ係数のセットFi,jとして決定してリターンする。
ここで、図19で説明したように、複数の初期信号フォーマットとして、I通りの信号フォーマットがあり、複数の初期表示フォーマットとして、J通りの表示フォーマットがある場合には、ステップS33の処理である図20の処理が、I×J回行われ、その結果、I×J通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせが得られる。図19のステップS36では、そのI×J通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせの中から、図20の処理で得られる評価値が最大の組み合わせが、最適な信号フォーマット、表示フォーマット、およびタップ係数のセットの組み合わせとして仮決定される。
なお、上述したように、タップ係数のセットが取り得るα×β×2γ通りの値のすべてについて評価値を算出し、その評価値が最も高いタップ係数を求めるタップ係数の学習を、総当たり学習と呼ぶ。
次に、図21のフローチャートを参照して、図19のステップS37の最適信号フォーマット決定処理について詳述する。
ステップS71において、制御部72は、現在の仮の(仮決定された)最適な信号フォーマットを基準として、最適な信号フォーマットの複数の候補を決定する。
即ち、例えば、いま、ベイヤフォーマットが、現在の仮の最適な信号フォーマットであるとすると、制御部72は、例えば、図8に示したように、ベイヤフォーマットを僅かに変形して得られる信号フォーマットの幾つか(複数)を、最適な信号フォーマットの複数の候補として決定する。なお、最適な信号フォーマットの複数の候補を得るために、現在の仮の最適な信号フォーマットを、どのように変形するかは、例えば、あらかじめ変形ルールが決められており、制御部72は、その変形ルールにしたがって、現在の仮の最適な信号フォーマットを変形して、最適な信号フォーマットの複数の候補を決定する。
ステップS71の処理後はステップS72に進み、制御部72は、最適な信号フォーマットの複数の候補のうちの、まだ、注目信号フォーマットとしていないものの1つを、注目信号フォーマットに決定し、その注目信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部62に供給して、ステップS73に進む。
ステップS73では、疑似撮影画像生成部62は、学習データ記憶部61に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部72からの信号フォーマット情報が表す注目信号フォーマットのSD画像信号を生成し、カメラ1(図1)が出力する撮影画像信号に相当する疑似撮影画像信号として、画像変換部73に供給して、ステップS74に進む。
ステップS74では、制御部72が、現在の仮の最適なタップ係数のセットを、係数メモリ66に記憶させる。さらに、ステップS74では、画像変換部73が、図20のステップS53と同様に、疑似撮影画像生成部62から供給される注目信号フォーマットの疑似撮影画像信号(SD画像信号)を第1の画像信号として、その第1の画像信号を、係数メモリ66に記憶されている、現在の仮の最適なタップ係数のセットとの演算によって、第2の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部68に供給する。
ステップS74の処理後は、ステップS75に進み、制御部72は、現在の仮の最適な表示フォーマットを表す表示フォーマット情報を、表示制御部68に供給する。これにより、表示制御部68は、制御部72からの表示フォーマット情報が表す現在の仮の最適な表示フォーマットで、画像変換部73が出力するHD画像信号に対応するHD画像を、ディスプレイ69に表示させ、ステップS75からステップS76に進む。
ステップS76では、光検出器70が、ディスプレイ69に表示されたHD画像(表示画像)としての光を検出し(光電変換し)、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部71に出力して、ステップS77に進む。
ステップS77では、評価値算出部71が、光検出器70からの表示画像信号、ひいては、ディスプレイ69に表示されたHD画像を評価する。
即ち、評価値算出部71は、光検出器70からの表示画像信号に対応するSHD画像信号を、学習データ記憶部61から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ69に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部72に供給する。
ここで、ステップS73乃至S77の処理は、学習データ記憶部61に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部72は、注目信号フォーマットにつき、学習データ記憶部61に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目信号フォーマットについての最終的な評価値として、一時記憶する。
その後、ステップS77からステップS78に進み、制御部72は、最適な信号フォーマットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップS78において、最適な信号フォーマットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップS72に戻り、制御部72は、最適な信号フォーマットの複数の候補のうちの、まだ注目信号フォーマットとしていないものの1つを、注目信号フォーマットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップS78において、最適な信号フォーマットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップS79に進み、制御部72は、最適な信号フォーマットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な表示フォーマットとタップ係数のセットとの組み合わせに対する最適な信号フォーマットに、新たに仮決定してリターンする。
次に、図22のフローチャートを参照して、図19のステップS38の最適表示フォーマット決定処理について詳述する。
ステップS91において、制御部72は、現在の仮の(仮決定された)最適な表示フォーマットを基準として、最適な表示フォーマットの複数の候補を決定する。
即ち、例えば、いま、ストライプが、現在の仮の最適な表示フォーマットであるとすると、制御部72は、例えば、図7に示したように、ストライプを僅かに変形して得られる表示フォーマットの幾つか(複数)を、最適な表示フォーマットの複数の候補として決定する。なお、最適な表示フォーマットの複数の候補を得るために、現在の仮の最適な表示フォーマットを、どのように変形するかは、例えば、あらかじめ変形ルールが決められており、制御部72は、その変形ルールにしたがって、現在の仮の最適な表示フォーマットを変形して、最適な表示フォーマットの複数の候補を決定する。
ステップS91の処理後はステップS92に進み、制御部72は、現在の仮の最適な信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部62に供給する。これにより、疑似撮影画像生成部62は、学習データ記憶部61に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部72からの信号フォーマット情報が表す注目信号フォーマットのSD画像信号を生成し、カメラ1(図1)が出力する撮影画像信号に相当する疑似撮影画像信号として、画像変換部73に供給して、ステップS93に進む。
ステップS93では、画像変換部73が、図20のステップS53と同様に、疑似撮影画像生成部62から供給される疑似撮影画像信号(SD画像信号)を第1の画像信号として、その第1の画像信号を、係数メモリ66に記憶されている、現在の仮の最適なタップ係数のセットとの演算によって、第2の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部68に供給する。
ステップS93の処理後はステップS94に進み、制御部72は、最適な表示フォーマットの複数の候補のうちの、まだ、注目表示フォーマットとしていないものの1つを、注目表示フォーマットに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部68に供給して、ステップS95に進む。
ステップS95では、表示制御部68が、制御部72からの表示フォーマット情報が表す注目表示フォーマットで、画像変換部73が出力するHD画像信号に対応するHD画像を、ディスプレイ69に表示させ、ステップS96に進む。
ステップS96では、光検出器70が、ディスプレイ69に表示されたHD画像(表示画像)としての光を検出し(光電変換し)、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部71に出力して、ステップS97に進む。
ステップS97では、評価値算出部71が、光検出器70からの表示画像信号、ひいては、ディスプレイ69に表示されたHD画像を評価する。
即ち、評価値算出部71は、光検出器70からの表示画像信号に対応するSHD画像信号を、学習データ記憶部61から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ69に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部72に供給する。
ここで、ステップS92およびS93、並びにステップS95乃至S97の処理は、学習データ記憶部61に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部72は、注目表示フォーマットにつき、学習データ記憶部61に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目表示フォーマットについての最終的な評価値として、一時記憶する。
その後、ステップS97からステップS98に進み、制御部72は、最適な表示フォーマットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップS98において、最適な表示フォーマットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップS94に戻り、制御部72は、最適な表示フォーマットの複数の候補のうちの、まだ注目表示フォーマットとしていないものの1つを、注目表示フォーマットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップS98において、最適な表示フォーマットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップS99に進み、制御部72は、最適な表示フォーマットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な信号フォーマットとタップ係数のセットとの組み合わせに対する最適な表示フォーマットに、新たに仮決定してリターンする。
次に、図23のフローチャートを参照して、図19のステップS39の最適タップ係数セット決定処理について詳述する。
ステップS111において、制御部72は、現在の仮の(仮決定された)最適なタップ係数のセットを基準として、最適なタップ係数のセットの複数の候補を決定する。
即ち、制御部72は、例えば、現在の仮の最適なタップ係数のセットの各タップ係数をコンポーネントとするZ次元のベクトル(この場合、クラスの総数と、1クラスあたりのタップ係数の数との積がZ)が表す、Z次元のベクトル空間の点を基準とする所定の範囲内の複数の点を選択し、その複数の点それぞれを表す複数のZ次元のベクトル(のコンポーネント)を、最適なタップ係数のセットの複数の候補として決定する。なお、最適なタップ係数のセットの複数の候補を得るために、現在の仮の最適なタップ係数のセットに対応するZ次元のベクトルを基準として、どのような範囲の、どのような点を選択するかは、あらかじめルールが決められており、制御部72は、そのルールにしたがって、現在の仮の最適なタップ係数のセットに対応するZ次元のベクトルを基準とする所定の範囲内の複数の点を選択することにより、最適なタップ係数のセットの複数の候補を決定する。
ステップS111の処理後はステップS112に進み、制御部72は、現在の仮の最適な信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部62に供給する。これにより、疑似撮影画像生成部62は、学習データ記憶部61に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部72からの信号フォーマット情報が表す信号フォーマットのSD画像信号を生成し、カメラ1(図1)が出力する撮影画像信号に相当する疑似撮影画像信号として、画像変換部73に供給して、ステップS113に進む。
ステップS113では、制御部72は、最適なタップ係数のセットの複数の候補のうちの、まだ、注目タップ係数セットとしていないものの1つを、注目タップ係数セットに決定し、その注目タップ係数セットを、係数メモリ66を制御することにより記憶させ、ステップS114に進む。
ステップS114では、画像変換部73が、図20のステップS53と同様に、疑似撮影画像生成部62から供給される疑似撮影画像信号(SD画像信号)を第1の画像信号として、その第1の画像信号を、係数メモリ66に記憶されている注目タップ係数セットとの演算によって、第2の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部68に供給する。
ステップS114の処理後は、ステップS115に進み、制御部72は、現在の仮の最適な表示フォーマットを表す表示フォーマット情報を、表示制御部68に供給する。これにより、表示制御部68は、制御部72からの表示フォーマット情報が表す表示フォーマットで、画像変換部73が出力するHD画像信号に対応するHD画像を、ディスプレイ69に表示させ、ステップS116に進む。
ステップS116では、光検出器70が、ディスプレイ69に表示されたHD画像(表示画像)としての光を検出し(光電変換し)、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部71に出力して、ステップS117に進む。
ステップS117では、評価値算出部71が、光検出器70からの表示画像信号、ひいては、ディスプレイ69に表示されたHD画像を評価する。
即ち、評価値算出部71は、光検出器70からの表示画像信号に対応するSHD画像信号を、学習データ記憶部61から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ69に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部72に供給する。
ここで、ステップS112、およびステップS114乃至S117の処理は、学習データ記憶部61に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部72は、注目タップ係数セットにつき、学習データ記憶部61に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
その後、ステップS117からステップS118に進み、制御部72は、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップS118において、最適なタップ係数のセットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップS113に戻り、制御部72は、最適なタップ係数のセットの複数の候補のうちの、まだ注目タップ係数セットとしていないものの1つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップS118において、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップS119に進み、制御部72は、最適なタップ係数のセットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な信号フォーマットと表示フォーマットとの組み合わせに対する最適なタップ係数のセットに、新たに仮決定してリターンする。
以上のように、図9の学習装置では、図19のステップS37において、制御部72が、最適な信号フォーマットの複数の候補として、複数の信号フォーマットを決定し、その複数の信号フォーマットそれぞれについて、疑似撮影画像生成部62が、疑似撮影画像信号を生成し、画像変換部73が、疑似撮影画像信号を、制御部72で決定されたタップ係数(現在の仮の最適なタップ係数のセット)との演算によって、HD画像信号に変換し、表示制御部68が、HD画像信号に対応するHD画像を、制御部72で決定されたある表示フォーマット(現在の仮の最適な表示フォーマット)で、ディスプレイ69に表示させ、光検出器70が、表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、評価値算出部71が、表示画像信号を評価することにより、表示画像信号の評価が最も高くなる信号フォーマットを、複数の信号フォーマットの中から仮決定する最適信号フォーマット決定処理(図21)を行う。
さらに、図9の学習装置では、図19のステップS38において、制御部72が、最適な表示フォーマットの複数の候補として、複数の表示フォーマットを決定し、疑似撮影画像生成部62が、制御部72で決定された信号フォーマット(現在の仮の最適な信号フォーマット)の疑似撮影画像信号を生成し、画像変換部73が、疑似撮影画像信号を、制御部72で決定されたタップ係数(現在の仮の最適なタップ係数のセット)との演算によって、HD画像信号に変換し、複数の表示フォーマットそれぞれについて、表示制御部68が、HD画像信号に対応するHD画像を、ディスプレイ69に表示させ、光検出器70が、表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、評価値算出部71が、表示画像信号を評価することにより、表示画像信号の評価が最も高くなる表示フォーマットを、複数の表示フォーマットの中から仮決定する最適表示フォーマット決定処理(図22)を行う。
また、図9の学習装置では、図19のステップS39において、制御部72が、最適なタップ係数のセットの複数の候補として、複数のタップ係数(のセット)を決定し、疑似撮影画像生成部62が、制御部72で決定された信号フォーマット(現在の仮の最適な信号フォーマット)の疑似撮影画像信号を生成し、複数のタップ係数それぞれについて、画像変換部73が、疑似撮影画像信号を、HD画像信号に変換し、表示制御部68が、HD画像信号に対応するHD画像を、制御部72で決定された表示フォーマット(現在の仮の最適な表示フォーマット)で、ディスプレイ69に表示させ、光検出器70が、表示画像としての光を検出して、その光に対応する電気信号である表示画像信号を出力し、評価値算出部71が、表示画像信号を評価することにより、表示画像信号の評価が最も高くなるタップ係数を、複数のタップ係数の中から仮決定する最適タップ係数セット決定処理(図23)を行う。
そして、図9の学習装置では、図19で説明したように、以上の最適信号フォーマット決定処理、最適表示フォーマット決定処理、および最適タップ係数セット決定処理を、評価値(ここでは、直前の最適タップ係数セット決定処理で得られる評価値)が最適化の判定用の閾値以上となるまで繰り返すことにより、ディスプレイ69に表示されるHD画像である表示画像をより高画質化する画像変換処理を行うのに用いられるタップ係数(のセット)、そのタップ係数を用いて行われる画像変換処理の対象となる撮影画像信号の信号フォーマット、および、その信号フォーマットの撮影画像信号を対象とした画像変換処理により得られるHD画像信号に対応するHD画像を表示する表示フォーマットを求める。
従って、図9の学習装置によれば、ディスプレイ69に表示される表示画像がより高画質であるとユーザが感じるタップ係数、信号フォーマット、および表示フォーマット、つまりは、図1のカメラ1と表示装置2で構成される画像処理システムの性能をより向上させる最適な(適切な)タップ係数、信号フォーマット、および表示フォーマットを求めることができる。
そして、図1のカメラ1において、図9の学習装置で得られた最適な信号フォーマットの撮影画像信号を出力するとともに、図1の表示装置2において、図9の学習装置で得られた最適なタップ係数を用いて画像変換処理を行い、さらに、その画像変換処理によって得られるHD画像を、図9の学習装置で得られた最適な表示フォーマットで表示することにより、カメラ1と表示装置2との組み合わせで画像処理システムが構成される場合に、その画像処理システム全体として、最大の性能を発揮することができる。
なお、図21の最適信号フォーマット決定処理において、現在の仮の最適な信号フォーマットを基準として、最適な信号フォーマットの複数の候補を決定するにあたり、現在の仮の最適な信号フォーマットの変形のさせ方としては、図19のステップS37乃至S39の繰り返し回数が小のときに、いわば大きく変形し、その繰り返し回数が増えるに連れ、徐々に微小な変形にする方法を採用することができる。表示フォーマットとタップ係数のセットについても同様である。
また、最適な信号フォーマットの候補について求められる評価値が、それほど大きくない値で、ほとんど増加しなくなった場合には、現在の仮の最適な信号フォーマットを、大きく変形して、最適な信号フォーマットの複数の候補を決定することができる。この場合、いわゆるローカルミニマムの問題を解消することができる。表示フォーマットとタップ係数のセットについても同様である。
次に、図24は、画像を処理する画像処理システムの第2の構成例を示している。
図24の画像処理システムは、カメラ601、送信装置602、受信装置603、および表示装置605から構成されている。
カメラ601は、物体(被写体)を撮影し、その撮影によって得られるSD画像信号である、所定の信号フォーマットの撮影画像信号を出力する。送信装置602は、カメラ601が出力する所定の信号フォーマットの撮影画像信号を、受信装置603に送信する。
受信装置603は、送信装置602から送信されてくる所定の信号フォーマットの撮影画像信号を受信する。また、受信装置603は、フォーマット変換部604を有し、フォーマット変換部604には、受信装置603が受信した所定の信号フォーマットの撮影画像信号が供給されるとともに、表示装置605から、その表示装置605が画像を表示する表示フォーマットを表す表示フォーマット情報が供給される。
フォーマット変換部604は、受信装置603で受信された撮影画像信号の所定の信号フォーマットと、表示装置605からの表示フォーマット情報が表す表示フォーマットとに対応して、所定の信号フォーマット(第1の信号フォーマット)の撮影画像信号を、他の信号フォーマット(第2の信号フォーマット)の撮影画像信号(SD画像信号)に変換し、表示装置605に供給する。
表示装置605は、受信装置603のフォーマット変換部604から供給される他の信号フォーマットの撮影画像信号を、その撮影画像信号に対応する画像よりも高画質のHD画像信号に変換して、そのHD画像信号に対応するHD画像を表示する。
次に、図25は、図24のフォーマット変換部604と表示装置605の構成例を示している。
フォーマット変換部604は、信号取得部611、信号変換部612、および表示フォーマット取得部613から構成されている。
信号取得部611は、カメラ601(図24)が出力する所定の信号フォーマットの撮影画像信号を、送信装置602を介して受信することにより取得し、信号変換部612に供給する。また、信号取得部611は、撮影画像信号の信号フォーマットを検出(認識)し、その信号フォーマットを表す信号フォーマット情報を、信号変換部612に供給する。
信号変換部612は、表示装置605の後述する画像変換部621において画像変換処理の対象となるSD画像信号の信号フォーマットと、画像変換処理によって得られるHD画像信号に対応するHD画像を表示する表示フォーマットとの対応関係を表すフォーマット対応関係情報を記憶している。ここで、フォーマット対応関係情報は、あらかじめ行われた学習によって求められたもので、SD画像信号の信号フォーマットと、その信号フォーマットのSD画像信号を対象とした画像変換処理によって得られるHD画像信号に対応するHD画像を表示した場合に、ユーザが最も高画質であると感じる表示フォーマットとの対応関係を表す。
信号変換部612は、フォーマット対応関係情報において、表示フォーマット取得部613から供給される表示フォーマット情報が表す表示装置605の表示フォーマットに対応付けられている信号フォーマット(以下、適宜、対応信号フォーマットという)を認識し、信号取得部611からの所定の信号フォーマットの撮影画像信号を、他の信号フォーマットとしての対応信号フォーマットの撮影画像信号に変換して、表示装置605に供給する。
表示フォーマット取得部613は、表示装置605の表示制御部622がHD画像をディスプレイ623に表示させる表示フォーマットを表す表示フォーマット情報を、表示制御部622から取得し(受信し)、信号変換部612に供給する。
なお、フォーマット変換部604を内蔵する受信装置603と、表示装置605とは、有線または無線で接続されるが、表示フォーマット取得部613は、例えば、受信装置603と表示装置605との接続が確立されるたびに、表示装置605から、表示フォーマット情報を取得して、信号変換部612に供給する。
表示装置605は、画像変換部621、表示制御部622、およびディスプレイ623から構成される。
画像変換部621には、フォーマット変換部612から、他の信号フォーマットとしての対応信号フォーマットの撮影画像信号(SD画像信号)が供給される。画像変換部621は、あらかじめ行われた学習によって得られたタップ係数のセットを記憶しており、そのタップ係数との演算によって、対応信号フォーマットの撮影画像信号であるSD画像信号を、HD画像信号に変換し、表示制御部622に供給する。
表示制御部622は、例えば、HD画像よりも高画質のSHD画像を用いて行われた学習によって決定された表示フォーマットや、既存の表示フォーマット、その他の、あらかじめ決められた表示フォーマットで、画像変換部621から供給されるHD画像信号に対応するHD画像を、ディスプレイ623に表示させる表示制御を行う。なお、表示制御部622は、HD画像を表示させる表示フォーマットを表す表示フォーマット情報を、外部に出力する機能を有する。
ディスプレイ623は、例えば、CRTやLCDパネル等で構成される表示手段であり、表示制御部622の制御にしたがって、画像を表示する。
次に、フォーマット変換部604を構成する信号変換部612は、上述したように、信号取得部611からの所定の信号フォーマットのSD画像信号(撮影画像信号)を、他の信号フォーマットとしての対応信号フォーマットのSD画像信号に変換する。この変換は、画素(サブピクセルを含む)の間引きや補間によって行うこともできるが、第1の画像信号を第2の画像信号に変換する画像変換処理によって行うこともできる。
そこで、図26は、所定の信号フォーマットのSD画像信号を第1の画像信号とするとともに、他の信号フォーマットとしての対応信号フォーマットのSD画像信号を第2の画像信号として、所定の信号フォーマットのSD画像信号を対応信号フォーマットのSD画像信号に変換する信号変換部612の構成例を示している。
図26において、信号変換部612は、タップ抽出部631および632、クラス分類部633、係数メモリ634、予測部635、および係数選択部636から構成される。
信号変換部612には、信号取得部611からの所定の信号フォーマットのSD画像信号が、第1の画像信号として供給される。そして、第1の画像信号としてのSD画像信号は、タップ抽出部631および632に供給される。
タップ抽出部631は、第1の画像信号を変換して得ようとする第2の画像信号としての対応信号フォーマットのSD画像信号(この第2の画像信号としてのSD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される)を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、第1の画像信号から抽出する。
具体的には、タップ抽出部631は、注目画素に対応する、第1の画像信号の画像の位置(例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている第1の画像信号の画像上の位置)に対して、空間的または時間的に近い位置関係にある複数の画素(例えば、注目画素に対応する、第1の画像信号の画像上の位置に最も近い画素と、その画素に空間的に隣接する画素など)の画素値を、予測タップとして抽出する。
タップ抽出部632は、注目画素を、幾つか(複数)のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の画素の画素値であるクラスタップを、第1の画像信号から抽出する。
タップ抽出部631で得られた予測タップは、予測部635に供給され、タップ抽出部632で得られたクラスタップは、クラス分類部633に供給される。
クラス分類部633は、タップ抽出部632からのクラスタップに基づき、注目画素をクラス分類し、その結果得られる注目画素のクラスを、係数メモリ634に供給する。
ここで、クラス分類部633でクラス分類を行う方法としては、例えば、図4のクラス分類部43で説明した方法を採用することができる。
係数メモリ634は、複数(種類)の信号フォーマットのうちの任意の2つのそれぞれを、第1の信号フォーマットと第2の信号フォーマットとして、第1の信号フォーマットのSD画像信号を、第2の信号フォーマットのSD画像信号に変換する画像変換処理に用いるタップ係数のセット(以下、適宜、第1/第2変換タップ係数のセットという)を、第1の信号フォーマットと第2の信号フォーマットとの複数の組み合わせそれぞれについて記憶している。
複数(種類)の第1/第2変換タップ係数のセットは、後述する学習によってあらかじめ求められるクラスごとのタップ係数であり、係数メモリ634は、係数選択部636の制御にしたがい、複数の第1/第2変換タップ係数のセットの中から、信号取得部611(図25)から供給される信号フォーマット情報が表す信号フォーマットを第1の信号フォーマットとするとともに、対応信号フォーマットを第2の信号フォーマットとする第1/第2変換タップ係数のセットを、有効なタップ係数のセットとして選択し、その有効なタップ係数のセットのうちの、クラス分類部633から供給されるクラスのタップ係数を読み出すことにより取得し、予測部635に出力する。
予測部635は、タップ抽出部631が出力する予測タップと、係数メモリ634が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算としての式(1)の演算を行う。これにより、予測部635は、注目画素の画素値(の予測値)、即ち、ここでは、第2の画像信号としての対応信号フォーマットのSD画像信号を構成する画素の画素値を求めて出力する。
係数選択部636には、信号取得部611(図25)から、カメラ601が出力するSD画像信号の信号フォーマットを表す信号フォーマット情報(以下、適宜、カメラ信号フォーマット情報という)が供給されるとともに、表示フォーマット取得部613(図25)から、表示装置605の表示フォーマットを表す表示フォーマット情報が供給される。係数選択部636は、フォーマット対応関係情報を記憶しており、フォーマット対応関係情報において、表示フォーマット取得部613からの表示フォーマット情報が表す表示装置605の表示フォーマットに対応付けられている対応信号フォーマットを認識する。そして、係数選択部636は、係数メモリ634に記憶されている複数の第1/第2変換タップ係数のセットの中から、信号取得部611(図25)から供給されるカメラ信号フォーマット情報が表す信号フォーマットを第1の信号フォーマットとするとともに、対応信号フォーマットを第2の信号フォーマットとする第1/第2変換タップ係数のセットを、有効なタップ係数のセットとして選択するように、係数メモリ634を制御する。
次に、図27のフローチャートを参照して、図26の信号変換部612が行う画像変換処理について説明する。
信号変換部612では、ステップS601において、係数選択部636が、記憶しているフォーマット対応関係情報において、表示フォーマット情報取得部613(図25)から供給される表示フォーマット情報が表す表示装置605の表示フォーマットに対応付けられている対応信号フォーマットを認識し、信号取得部611からのカメラ信号フォーマット情報が表す信号フォーマットを第1の信号フォーマットとするとともに、対応信号フォーマットを第2の信号フォーマットとする第1/第2変換タップ係数のセットを、有効なタップ係数のセットとして選択するように、係数メモリ634を制御する。これにより、係数メモリ634は、係数選択部636の制御にしたがい、複数の第1/第2変換タップ係数のセットから、カメラ信号フォーマット情報が表す信号フォーマットを第1の信号フォーマットとするとともに、対応信号フォーマットを第2の信号フォーマットとする第1/第2変換タップ係数のセットを、有効なタップ係数のセットとして選択し、ステップS602に進む。
ステップS602では、タップ抽出部631が、信号取得部611(図25)から供給されるSD画像信号を第1の画像信号とするとともに、その第1の画像信号を対応信号フォーマットのSD画像信号に変換した、その対応信号フォーマットのSD画像信号を第2の画像信号として、第2の画像信号としての対応信号フォーマットのSD画像信号を構成する各画素を、順次、注目画素とする。そして、タップ抽出部631と632は、第1の画像信号としてのSD画像信号から、注目画素についての予測タップとクラスタップとする画素の画素値を、それぞれ抽出する。予測タップは、タップ抽出部631から予測部635に供給され、クラスタップは、タップ抽出部632からクラス分類部633に供給される。
クラス分類部633は、タップ抽出部632から、注目画素についてのクラスタップを受信し、ステップS603において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部633は、そのクラス分類の結果得られる注目画素のクラスを、係数メモリ634に出力し、ステップS604に進む。
ステップS604では、係数メモリ634が、有効なタップ係数のセットのうちの、クラス分類部633から供給されるクラスのタップ係数を読み出して出力し、ステップS605に進む。係数メモリ634が出力するタップ係数は、予測部635において取得される。
ステップS605では、予測部635が、タップ抽出部631が出力した予測タップと、係数メモリ634から取得したタップ係数とを用いて、所定の予測演算としての式(1)の演算を行うことにより、注目画素の画素値、即ち、第2の画像信号の画素の画素値を求める。予測部635は、以上のようにして、第2の画像信号の画素の画素値を、例えば1フレーム分求めるごとに、その第2の画像信号である対応信号フォーマットのSD画像信号を、表示装置605(の画像変換部621)(図25)に出力する。
次に、図28のフローチャートを参照して、図25のフォーマット変換部604の処理について説明する。
フォーマット変換部604では、ステップS611において、表示フォーマット取得部613が、表示装置605の表示制御部622から表示フォーマット情報を取得(受信)し、信号変換部612に供給して、ステップS612に進む。
ステップS612では、信号取得部611が、送信装置602(図24)から送信されてくる所定の信号フォーマットのSD画像信号を取得(受信)し、そのSD画像信号の信号フォーマットを検出する。さらに、信号取得部611は、検出した信号フォーマットを表すカメラ信号フォーマット情報と、その信号フォーマットのSD画像信号とを、信号変換部612に供給して、ステップS612からステップS613に進む。
ステップS613では、信号変換部612が、例えば、図27で説明したように、フォーマット対応関係情報に基づき、信号取得部611からのカメラ信号フォーマット情報が表す信号フォーマットを第1の信号フォーマットとするとともに、表示フォーマット取得部613からの表示フォーマット情報が表す表示フォーマットに対応する対応信号フォーマットを第2の信号フォーマットとする第1/第2変換タップ係数のセットを用いて、信号取得部611からの所定の信号フォーマット(カメラ信号フォーマット情報が表す信号フォーマット)のSD画像信号を、対応信号フォーマットのSD画像信号に変換し、表示装置605に供給する。
次に、図29は、図26の係数メモリ634に記憶される複数の信号フォーマットそれぞれについてのタップ係数のセットを求める学習処理を行う学習装置の構成例を示している。
図29の学習装置は、学習データ記憶部641、学習対データ生成部642、制御部643、タップ抽出部644,645、クラス分類部646、正規方程式生成部647、およびタップ係数算出部648から構成され、上述した正規方程式を用いる学習方法、つまり、式(8)の正規方程式を、クラスごとにたてて解く学習方法による学習を行うことにより、クラスごとのタップ係数を求める。
学習データ記憶部641は、複数の信号フォーマットそれぞれについてのタップ係数の学習に用いられる学習データとして、例えば、SHD画像信号(SHD画像)、HD画像信号、またはSD画像信号を記憶している。
学習対データ生成部642は、制御部643の制御にしたがい、学習データ記憶部641に記憶されている学習データから、生徒信号としての、第1の信号フォーマットのSD画像信号と、そのSD画像信号の信号フォーマットを第2の信号フォーマットとした、教師信号としての、第2の信号フォーマットのSD画像信号とを生成し、その生徒信号としてのSD画像信号と、教師信号としてのSD画像信号とのセットを、学習対データとして、タップ抽出部644および645、並びに正規方程式生成部647に供給する。
ここで、教師信号とは、ある入力信号に対する理想的な出力信号を意味する。また、生徒信号とは、教師信号を得るために与えられる入力信号を意味する。
制御部643は、生徒信号としてのSD画像信号の信号フォーマット(第1の信号フォーマット)と、教師信号としてのSD画像信号の信号フォーマット(第2の信号フォーマット)とを表す信号フォーマット指示情報を、学習対データ生成部642に供給することにより、学習対データ生成部642に対し、教師信号と生徒信号としてのSD画像信号それぞれの信号フォーマットを制御(指示)する。
また、制御部643には、学習対データ生成部642に供給した信号フォーマット情報が表す第1の信号フォーマットと第2の信号フォーマットそれぞれのSD画像信号のセットを学習対データとして用いて求められる第1/第2変換タップ係数のセットが、タップ係数算出部648から供給される。制御部643は、学習対データ生成部642に供給した信号フォーマット情報に対応付けて、タップ係数算出部648からの第1/第2変換タップ係数のセットを記憶する。
タップ抽出部644は、学習対データ生成部642から供給される学習対データのうちの教師信号としての第2の信号フォーマットのSD画像信号の画素を、順次、注目画素として、その注目画素について、学習対データのうちの生徒信号としての第1の信号フォーマットのSD画像信号から、予測タップとする画素の画素値を抽出し、図26の信号変換部612を構成するタップ抽出部631で得られるのと同一のタップ構造の予測タップを、正規方程式生成部647に供給する。
タップ抽出部645は、注目画素について、学習対データ生成部642から供給される第1の信号フォーマットのSD画像信号から、クラスタップとする画素の画素値を抽出し、図26の信号変換部612を構成するタップ抽出部632で得られるのと同一のタップ構造のクラスタップを、クラス分類部646に供給する。
クラス分類部646は、タップ抽出部645から供給されるクラスタップに基づき、図26の信号変換部612を構成するクラス分類部633と同様にして、注目画素をクラス分類し、その結果得られる注目画素のクラスを、正規方程式生成部647に供給する。
正規方程式生成部647は、学習対データ生成部642から供給される学習対データの教師信号としての第2の信号フォーマットのSD画像信号のうちの、注目画素(の画素値)ykと、タップ抽出部631から供給される注目画素についての予測タップを構成する画素(の画素値)xn,kとを対象とした足し込みを、クラス分類部646から供給されるクラスごとに行う。
即ち、正規方程式生成部647は、クラス分類部646から供給されるクラスごとに、タップ抽出部644から供給される注目画素についての予測タップを構成する第1の信号フォーマットのSD画像信号の画素(以下、適宜、第1の画素ともいう)xn,kを用い、式(8)の左辺の行列における第1の画素どうしの乗算(xn,kxn',k)と、サメーション(Σ)に相当する演算を行う。
さらに、正規方程式生成部647は、やはり、クラス分類部646から供給されるクラスごとに、第1の画素xn,kと第2の信号フォーマットのSD画像信号の画素(注目画素)ykを用い、式(8)の右辺のベクトルにおける、第1の画素xn,kおよび注目画素ykの乗算(xn,kyk)と、サメーション(Σ)に相当する演算を行う。
即ち、正規方程式生成部647は、前回、注目画素とされた第2の信号フォーマットのSD画像信号の画素(以下、適宜、第2の画素ともいう)について求められた式(8)における左辺の行列のコンポーネント(Σxn,kxn',k)と、右辺のベクトルのコンポーネント(Σxn,kyk)を、その内蔵するメモリ(図示せず)に記憶している。
そして、正規方程式生成部647は、メモリに記憶している行列のコンポーネント(Σxn,kxn',k)に対して、新たに注目画素とされた第2の画素についての予測タップを構成する第1の画素xn,k+1を用いて計算される、対応するコンポーネントxn,k+1xn',k+1を足し込む(式(8)における左辺の行列内のサメーションで表される加算を行う)とともに、メモリに記憶しているベクトルのコンポーネント(Σxn,kyk)に対して、新たに注目画素とされた第2の画素について、その第2の画素yk+1および第1の画素xn,k+1を用いて計算される、対応するコンポーネントxn,k+1yk+1を足し込む(式(8)における右辺のベクトル内のサメーションで表される加算を行う)。
正規方程式生成部647は、学習対データ生成部642から供給される学習対データの教師信号としての第2の信号フォーマットのSD画像信号の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式(8)に示した正規方程式をたてると、その正規方程式を、タップ係数算出部648に供給する。
タップ係数算出部648は、正規方程式生成部647から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数(式(4)の自乗誤差の総和Eを最小にするタップ係数)wnのセットを求め、第1/第2変換タップ係数のセットとして、制御部643に供給する。
次に、図30のフローチャートを参照して、図29の学習装置が行う、第1/第2変換タップ係数のセットを求める学習処理について説明する。
図29の学習装置では、ステップS621において、制御部643が、あらかじめ決められている複数の信号フォーマットの中から、まだ、注目第1信号フォーマットと注目第2信号フォーマットとの組み合わせとされていない1の信号フォーマットと他の1の信号フォーマットとの組み合わせのうちの1つの組み合わせの1の信号フォーマットを注目第1信号フォーマットに決定するとともに、他の1の信号フォーマットを注目第2信号フォーマットに決定し、その注目第1信号フォーマットと注目第2信号フォーマットとを表す信号フォーマット指示情報を、学習対データ生成部642に供給して、ステップS622に進む。
ステップS622では、学習対データ生成部642が、制御部643からの信号フォーマット指示情報にしたがい、学習データ記憶部641に記憶されている学習データから、生徒信号としての、信号フォーマット指示情報が表す注目第1信号フォーマットのSD画像信号と、教師信号としての、信号フォーマット情報が表す注目第2信号フォーマットのSD画像信号とを生成し、その生徒信号としてのSD画像信号と、教師信号としてのSD画像信号とのセットを、学習対データとして、タップ抽出部644および645、並びに正規方程式生成部647に供給して、ステップS623に進む。
ステップS623では、タップ抽出部644が、学習対データ生成部642から供給される学習対データのうちの教師信号としての注目第2信号フォーマットのSD画像信号の画素を、順次、注目画素として、その注目画素について、予測タップとなる画素の画素値を、学習対データのうちの生徒信号としての注目第1信号フォーマットのSD画像信号から抽出し、正規方程式生成部647に供給する。
また、タップ抽出部645が、注目画素について、クラスタップとなる画素の画素値を、学習対データのうちの生徒信号としての注目第1信号フォーマットのSD画像信号から抽出し、クラス分類部646に供給する。
クラス分類部646は、ステップS624において、タップ抽出部645からのクラスタップに基づき、注目画素をクラス分類し、その結果得られる注目画素のクラスを、正規方程式生成部647に供給して、ステップS625に進む。
ステップS625では、正規方程式生成部647は、学習対データ生成部642からの学習対データのうちの、注目画素(の画素値)と、タップ抽出部644から供給される注目画素について得られた予測タップを構成する注目第1信号フォーマットのSD画像信号の画素(の画素値)とを対象として、クラス分類部646から供給されるクラスについてたてられた式(8)の足し込みを、上述したように行う。
そして、正規方程式生成部647は、学習対データ生成部642から供給された学習対データの教師信号としての注目第2信号フォーマットのSD画像信号の画素すべてを注目画素として、ステップS625の足し込みを行うと、その足し込みによって得られた各クラスの正規方程式(クラスごとの式(8)における左辺の行列と、右辺のベクトル)を、タップ係数算出部648に供給して、ステップS625からステップS626に進む。
ステップS626では、タップ係数算出部648は、正規方程式生成部647から供給された各クラスの正規方程式(クラスごとの式(8)における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式)を解くことにより、各クラスごとのタップ係数のセットを求め、そのタップ係数のセットを、注目第1信号フォーマットを第1の信号フォーマットとするとともに、注目第2信号フォーマットを第2の信号フォーマットとする第1/第2変換タップ係数のセットとして、制御部643に供給する。
制御部643は、タップ係数算出部648からの第1/第2変換タップ係数のセットを、注目第1信号フォーマットおよび注目第2信号フォーマットと対応付けて記憶し、ステップS626からステップS627に進む。
ステップS627では、制御部643が、あらかじめ決められている複数の信号フォーマットの中に、注目第1信号フォーマットと注目第2信号フォーマットとの組み合わせとされていない1の信号フォーマットと他の1の信号フォーマットとの組み合わせがないかどうかを判定する。
ステップS627において、あらかじめ決められている複数の信号フォーマットの中に、注目第1信号フォーマットと注目第2信号フォーマットとの組み合わせとされていない1の信号フォーマットと他の1の信号フォーマットとの組み合わせがあると判定された場合、ステップS621に戻り、制御部643は、あらかじめ決められている複数の信号フォーマットの中から、まだ、注目第1信号フォーマットと注目第2信号フォーマットとの組み合わせとされていない1の信号フォーマットと他の1の信号フォーマットとの組み合わせのうちの1つの組み合わせの1の信号フォーマットを注目第1信号フォーマットに新たに決定するとともに、他の1の信号フォーマットを注目第2信号フォーマットに新たに決定し、以下、同様の処理を繰り返す。
また、ステップS627において、あらかじめ決められている複数の信号フォーマットの中に、注目第1信号フォーマットと注目第2信号フォーマットとの組み合わせとされていない1の信号フォーマットと他の1の信号フォーマットとの組み合わせがないと判定された場合、即ち、あらかじめ決められている複数の信号フォーマットから、注目第1信号フォーマットと注目第2信号フォーマットとの組み合わせとして得られるすべての場合について、第1/第2変換タップ係数のセットが求められ、制御部643が、各種の第1の信号フォーマットと第2の信号フォーマットの組み合わせに対応付けられた第1/第2変換タップ係数のセットを記憶した場合、学習処理は終了する。
以上の学習処理において制御部643に記憶された、各種の第1の信号フォーマットと第2の信号フォーマットの組み合わせに対応付けられた第1/第2変換タップ係数のセットが、図26の信号変換部612を構成する係数メモリ634に記憶されている。
そして、その信号変換部612を有するフォーマット変換部604(図25)では、信号取得部611において、カメラ601が出力するSD画像信号を取得するとともに、表示フォーマット取得部613において、表示装置605の表示フォーマットを取得する。さらに、フォーマット変換部604では、信号変換部612において、カメラ601が出力するSD画像信号の信号フォーマットと、表示装置605の表示フォーマットとに基づき、カメラ601からのSD画像信号が、フォーマット対応関係情報において表示装置605の表示フォーマットに対応付けられた信号フォーマット(対応信号フォーマット)の画像信号に変換される。
後述するように、フォーマット対応関係情報において表示フォーマットに対応付けられた信号フォーマットは、その信号フォーマットのSD画像信号を対象に画像変換処理を行うことによって得られるHD画像信号に対応するHD画像を、その信号フォーマットが対応付けられている表示フォーマットで表示した場合に、ユーザが最も高画質であると感じる信号フォーマットになっている。従って、そのような信号フォーマットのSD画像信号を、画像変換部621での画像変換処理によってHD画像信号に変換し、そのHD画像信号に対応するHD画像を、表示制御部622によって表示装置605の表示フォーマットでディスプレイ623に表示することにより、ユーザにとって適切なHD画像(ユーザが高画質であると感じる画像)を表示することができる。
次に、図31は、図25の画像変換部621の構成例を示している。
なお、図中、図4の画像変換部11と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、画像変換部621は、図4の画像変換部11と同様に、第1の画像信号を第2の画像信号に変換する画像変換処理を行うようになっており、タップ抽出部41および42、クラス分類部43、並びに予測部45を備える点で、図4の画像変換部11と共通する。但し、画像変換部621は、係数メモリ44に代えて、係数メモリ651が設けられている点で、図4の画像変換部11と異なっている。
係数メモリ651は、後述する図34の学習装置が行う学習によってあらかじめ求められたクラスごとのタップ係数のセットを記憶しており、そのタップ係数のセットのうちの、クラス分類部43から供給される注目画素のクラスのタップ係数を読み出すことにより取得し、予測部45に出力する。
ここで、表示装置605では、上述したように、画像変換部621において、フォーマット変換部604(の信号変換部612)から供給される対応信号フォーマットのSD画像信号がHD画像信号に変換され、表示制御部622において、そのHD画像信号に対応するHD画像が、あらかじめ決められた表示装置605の表示フォーマット(以下、適宜、既定表示フォーマットという)で、ディスプレイ623に表示されるが、係数メモリ651に記憶されているタップ係数のセットは、対応信号フォーマットのSD画像信号を、ディスプレイ623に既定表示フォーマットで表示されるHD画像が高画質であるとユーザが感じるようなHD画像信号に変換する画像変換処理を行うものとなっている。
次に、図32のフローチャートを参照して、図31の画像変換部621が行う画像変換処理について説明する。
画像変換部621には、フォーマット変換部604(の信号変換部612)(図25)から、対応信号フォーマットのSD画像信号が供給され、その対応信号フォーマットのSD画像信号は、タップ抽出部41および42に供給される。
タップ抽出部41は、ステップS631において、対応信号フォーマットのSD画像信号を第1の画像信号とするとともに、そのSD画像信号を高画質化したHD画像信号を第2の画像信号として、その第2の画像信号としてのHD画像信号を構成する各画素を、順次、注目画素とする。そして、タップ抽出部41と42は、第1の画像信号としての対応信号フォーマットのSD画像信号から、注目画素についての予測タップとクラスタップとする画素の画素値を、それぞれ抽出する。予測タップは、タップ抽出部41から予測部45に供給され、クラスタップは、タップ抽出部42からクラス分類部43に供給される。
クラス分類部43は、タップ抽出部42から、注目画素についてのクラスタップを受信し、ステップS632において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部43は、そのクラス分類の結果得られる注目画素のクラスを、係数メモリ651に出力し、ステップS633に進む。
ステップS633では、係数メモリ651が、クラス分類部43から供給される注目画素のクラスのタップ係数を読み出して出力し、ステップS634に進む。係数メモリ651が出力するタップ係数は、予測部45において取得される。
ステップS634では、予測部45が、タップ抽出部41が出力した予測タップと、係数メモリ651から取得したタップ係数とを用いて、所定の予測演算としての式(1)の演算を行うことにより、注目画素の画素値、即ち、第2の画像信号の画素の画素値を求める。予測部45は、以上のようにして、第2の画像信号としてのHD画像信号の画素の画素値を、例えば1フレーム分求めるごとに、その第2の画像信号であるHD画像信号を、表示制御部622(図25)に出力する。
次に、図33のフローチャートを参照して、図25の表示装置605の処理について説明する。
表示装置605では、フォーマット変換部604からの対応信号フォーマットのSD画像信号が、画像変換部621に供給される。画像変換部621は、ステップS641において、図32で説明したように、対応信号フォーマットのSD画像信号をHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号は、表示制御部622に供給される。
表示制御部622は、ステップS642において、画像変換部621からのHD画像信号を、既定表示フォーマットで、ディスプレイ623に表示させる。
次に、図34は、画像変換部621(図31)の係数メモリ651に記憶させるタップ係数のセットを求める学習を行う学習装置の構成例を示している。
なお、図中、図9の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図34の学習装置は、制御部72に代えて制御部661が設けられている他は、図9の学習装置と同様に構成されている。
制御部661には、複数の初期信号フォーマットとして、例えば、既存の複数の信号フォーマットが設定されており、制御部661は、評価値算出部71からの評価値に基づき、複数の初期信号フォーマット等の中から、疑似撮影画像生成部62に生成させる疑似撮影画像信号としてのSD画像信号の信号フォーマットを決定し、その信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部62に供給する。
また、制御部661には、複数の初期表示フォーマットとして、例えば、フォーマット変換部604(を有する受信装置603(図24))に接続しうる、表示装置605を含む表示装置の表示フォーマットの一部またはすべてが設定されており、制御部661は、その複数の初期表示フォーマットを、順次、注目表示フォーマットとして、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部68に供給する。
さらに、制御部661は、評価値算出部71からの評価値に基づき、画像変換部73が画像変換処理に用いるクラスごとのタップ係数を決定し、そのタップ係数を、係数メモリ66を制御することにより、係数メモリ66に記憶させる。
次に、図35のフローチャートを参照して、図34の学習装置が行う、タップ係数(のセット)を学習する学習処理について説明する。
ステップS661において、制御部661は、例えば、図19のステップS31と同様に、複数の初期信号フォーマットの中から、注目信号フォーマットとする初期信号フォーマットAiを決定し、その注目信号フォーマットAiを表す信号フォーマット情報を、疑似撮影画像生成部62に供給して、ステップS662に進む。
ステップS662では、制御部661は、例えば、図19のステップS32と同様に、複数の初期表示フォーマットの中から、注目表示フォーマットとする初期表示フォーマットBjを決定し、その注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部68に供給して、ステップS663に進む。
ステップS663では、学習装置(図34)において、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセット(式(1)の演算で用いられる、各クラスのタップ係数(x1,x2,・・・,xN)のセット)Fi,jが決定される。
即ち、ステップS663では、図20のフローチャートで説明した場合と同様にして、注目信号フォーマットAiのSD画像信号を第1の画像信号として、画像変換部73でタップ係数を用いた画像変換処理を行うことにより得られる、画素値としてのR,G,Bの各成分を有する画素からなる第2の画像信号としてのHD画像信号に対応するHD画像を、注目表示フォーマットBjで、ディスプレイ69に表示した場合に、そのディスプレイ69に表示されたHD画像としての光を光検出器70で検出することにより得られる表示画像信号の評価値を最も高くするタップ係数のセットが、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせについて、仮の最適なタップ係数のセットFi,jとして求められる。
そして、ステップS663からステップS664に進み、制御部661は、複数の初期表示フォーマットのすべてを、注目表示フォーマットとして、ステップS663でタップ係数のセットを求めたかどうかを判定する。
ステップS664において、複数の初期表示フォーマットのすべてが、まだ、注目表示フォーマットとされていないと判定された場合、ステップS662に戻り、制御部661は、注目信号フォーマットAiに対して、複数の初期表示フォーマットのうちの、まだ、注目表示フォーマットとしていない初期表示フォーマットの1つを、注目表示フォーマットに新たに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部68に供給して、以下、同様の処理を繰り返す。
また、ステップS664において、複数の初期表示フォーマットのすべてが、注目表示フォーマットとされたと判定された場合、ステップS665に進み、制御部661は、複数の初期信号フォーマットのすべてを、注目信号フォーマットとして、ステップS663でタップ係数のセットを求めたかどうかを判定する。
ステップS665において、複数の初期信号フォーマットのすべてが、まだ、注目信号フォーマットとされていないと判定された場合、ステップS661に戻り、制御部661は、複数の初期信号フォーマットのうちの、まだ、注目信号フォーマットとしていない初期表示フォーマットの1つを、注目信号フォーマットに新たに決定し、その注目信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部62に供給して、以下、同様の処理を繰り返す。
また、ステップS665において、複数の初期信号フォーマットのすべてが、注目信号フォーマットとされたと判定された場合、即ち、複数の初期信号フォーマットそれぞれと、複数の初期表示フォーマットそれぞれとの組み合わせすべてについて、ステップS663で最適なタップ係数のセットが求められた場合、ステップS666に進み、制御部661は、初期信号フォーマットおよび初期表示フォーマットと、その初期信号フォーマットおよび初期表示フォーマットの組み合わせについての最適なタップ係数のセットとの組み合わせ(つまりは、初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせ)の中から、各初期表示フォーマットについて、仮の最適な初期信号フォーマットとタップ係数のセットを、仮に決定する(仮決定する)。
即ち、複数の初期信号フォーマットとして、I通りの信号フォーマットがあり、複数の初期表示フォーマットとして、J通りの表示フォーマットがある場合には、ステップS663において、I×J通りの初期信号フォーマットと初期表示フォーマットとの組み合わせそれぞれについて、仮の最適なタップ係数のセットが求められ、その結果、I×J通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせが得られる。ステップS666では、そのI×J通りの初期信号フォーマット、初期表示フォーマット、およびタップ係数のセットの組み合わせの中から、J通りの初期表示フォーマットそれぞれについて、表示画像信号の評価値(ステップS663で得られる評価値)が最大の初期信号フォーマットとタップ係数のセットとの組み合わせが、仮の最適な初期信号フォーマットとタップ係数のセットとして決定される。
ステップS666において、各初期表示フォーマットについて、仮の最適な信号フォーマットとタップ係数のセットが決定された後は、ステップS667に進み、制御部661は、再度、複数の初期表示フォーマットのうちの、まだ、注目表示フォーマットとしていない初期表示フォーマットの1つを、注目表示フォーマットに決定して、ステップS668に進む。
ステップS668では、注目表示フォーマットと、その注目表示フォーマットについての現在の仮の最適なタップ係数のセットとの組み合わせについて、最適な信号フォーマットを仮決定する最適信号フォーマット決定処理が行われ、ステップS669に進む。
ステップS669では、注目表示フォーマットと、その注目表示フォーマットについての現在の仮の最適な信号フォーマットとの組み合わせについて、最適なタップ係数のセットを仮決定する最適タップ係数セット決定処理が行われ、ステップS670に進む。
ステップS670では、制御部661が、注目表示フォーマットについて、直前のステップS668で求められた現在の仮の最適な信号フォーマットと、直前のステップS669で求められた現在の仮の最適なタップ係数のセットとが、最適化されたものであるかどうかを判定する。
即ち、直前のステップS669の最適タップ係数セット決定処理では、注目表示フォーマットと、その注目表示フォーマットについての現在の仮の最適な信号フォーマットとの組み合わせについて、後述するようにして評価値算出部71が算出する評価値を最大にするタップ係数のセットが、最適なタップ係数のセットとして仮決定されるが、ステップS670では、例えば、その最適なタップ係数のセットについての評価値が、あらかじめ定められた最適化の判定用の閾値以上である(より大きい)かどうかによって、注目表示フォーマットについて、現在の仮の最適な信号フォーマットとタップ係数のセットとが、最適化されたものであるかどうかを判定する。
ステップS670において、注目表示フォーマットについての、現在の仮の最適な信号フォーマットとタップ係数のセットとが、最適化されたものでないと判定された場合、即ち、直前のステップS669で求められた最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上でない場合、ステップS668に戻り、同様の処理が繰り返される。
また、ステップS670において、注目表示フォーマットについての、現在の仮の最適な信号フォーマットとタップ係数のセットとが、最適化されたものであると判定された場合、即ち、直前のステップS669で求められた最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上であり、注目表示フォーマットについての最適な信号フォーマットとタップ係数のセットが求められた場合、制御部661は、注目表示フォーマット(を表す表示フォーマット情報)と、その注目表示フォーマットについて求められた最適な信号フォーマット(を表す信号フォーマット情報)とを対応付けたフォーマット対応関係情報を生成して記憶するとともに、注目表示フォーマットと、その注目表示フォーマットについて求められた最適なタップ係数のセットとを対応付けて記憶して、ステップS671に進む。
ステップS671では、制御部661は、複数の初期表示フォーマットのすべてを、注目表示フォーマットとして、複数の初期表示フォーマットそれぞれについて、最適化された信号フォーマットとタップ係数のセットとが求められたかどうかを判定する。
ステップS671において、複数の初期表示フォーマットのすべてが、まだ、注目表示フォーマットとされていないと判定された場合、ステップS667に戻り、制御部661は、複数の初期表示フォーマットのうちの、まだ、注目表示フォーマットとしていない初期表示フォーマットの1つを、注目表示フォーマットに新たに決定し、以下、同様の処理を繰り返す。
また、ステップS671において、複数の初期表示フォーマットのすべてが、注目表示フォーマットとされたと判定された場合、即ち、複数の初期表示フォーマットそれぞれについての最適な信号フォーマットとタップ係数のセットが求められた場合、学習処理は終了する。
図31の画像変換部621を構成する係数メモリ651には、図35の学習処理で求められた複数の初期表示フォーマットそれぞれについての最適なタップ係数のセットのうちの、その画像変換部621を内蔵する表示装置605(図25)の表示フォーマットについての最適なタップ係数のセットが記憶される。
また、図26の信号変換部612を構成する係数選択部636には、複数の初期表示フォーマットそれぞれと、各初期表示フォーマットについて図35の学習処理で求められる、その初期表示フォーマットに最適な信号フォーマットとを対応付けたフォーマット対応関係情報が記憶され、係数選択部636は、上述したように、フォーマット対応関係情報において、表示フォーマット取得部613(図25)からの表示フォーマット情報が表す表示装置605の表示フォーマットに対応付けられている信号フォーマット(対応信号フォーマット)を認識し、信号取得部611から供給されるカメラ信号フォーマット情報が表す信号フォーマットを第1の信号フォーマットとするとともに、対応信号フォーマットを第2の信号フォーマットとする第1/第2変換タップ係数のセットを、有効なタップ係数のセットとして選択するように、係数メモリ634を制御する。
そして、信号変換部612を内蔵する図25のフォーマット変換部604では、表示装置605の表示フォーマットで表示したときにユーザが最も高画質であると感じるHD画像信号が得られる画像変換処理の対象となるSD画像信号の信号フォーマットを対応信号フォーマットとして、カメラ601からのSD画像信号が、対応信号フォーマットのSD画像信号に変換される。さらに、表示装置605(図25)では、画像変換部621において、対応信号フォーマットのSD画像信号を対象に画像変換処理が行われ、表示制御部622において、その画像変換処理によって得られるHD画像が、表示装置605の表示フォーマットで表示される。
従って、対応信号フォーマットのSD画像信号のS/N等はともかく、フォーマット変換部604と表示装置605とを組み合わせたシステム全体としては、ユーザが高画質であると感じる画像を、ディスプレイ623に表示することができる。
なお、図26の信号変換部612を構成する係数メモリ634に記憶させる第1/第2変換タップ係数のセットを学習する図29の学習装置では、上述したように、図30の学習処理によって、各種の第1の信号フォーマットと第2の信号フォーマットの組み合わせについての第1/第2変換タップ係数のセットが求められるが、各種の第2の信号フォーマットには、図35の学習処理で求められるフォーマット対応関係情報において複数の初期表示フォーマットそれぞれに対応付けられる複数の信号フォーマットが含まれている必要がある。
また、図35の学習処理では、最適タップ係数セット決定処理において求められたタップ係数のセットについての評価値が、最適化の判定用の閾値以上である場合に、注目表示フォーマットについて、信号フォーマットおよびタップ係数のセットの組み合わせが最適化されたと判定するようにしたが、その他、例えば、最適信号フォーマット決定処理および最適タップ係数セット決定処理が、所定の回数だけ繰り返された場合に、信号フォーマットおよびタップ係数のセットの組み合わせがが最適化されたと判定するようにすることが可能である。
次に、図36のフローチャートを参照して、図35のステップS668の最適信号フォーマット決定処理について詳述する。
ステップS681において、制御部661(図34)は、現在の仮の(仮決定された)最適な信号フォーマットを基準として、例えば、図21のステップS71の場合と同様にして、最適な信号フォーマットの複数の候補を決定して、ステップS682に進む。
ステップS682では、制御部661は、最適な信号フォーマットの複数の候補のうちの、まだ、注目信号フォーマットとしていないものの1つを、注目信号フォーマットに決定し、その注目信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部62に供給して、ステップS683に進む。
ステップS683では、疑似撮影画像生成部62は、学習データ記憶部61に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部661からの信号フォーマット情報が表す注目信号フォーマットのSD画像信号を生成し、画像変換部73に供給して、ステップS684に進む。
ステップS684では、制御部661が、注目表示フォーマットについての現在の仮の最適なタップ係数のセットを、係数メモリ66に記憶させる。さらに、ステップS684では、画像変換部73が、図20のステップS53と同様に、疑似撮影画像生成部62から供給される注目信号フォーマットのSD画像信号を第1の画像信号として、その第1の画像信号を、係数メモリ66に記憶されている、現在の仮の最適なタップ係数のセットとの演算によって、第2の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部68に供給する。
ステップS684の処理後は、ステップS685に進み、制御部661は、注目表示フォーマットを表す表示フォーマット情報を、表示制御部68に供給する。これにより、表示制御部68は、制御部661からの表示フォーマット情報が表す注目表示フォーマットで、画像変換部73が出力するHD画像信号に対応するHD画像を、ディスプレイ69に表示させ、ステップS685からステップS686に進む。
ステップS686では、光検出器70が、ディスプレイ69に表示されたHD画像(表示画像)としての光を検出し(光電変換し)、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部71に出力して、ステップS687に進む。
ステップS687では、評価値算出部71が、光検出器70からの表示画像信号、ひいては、ディスプレイ69に表示されたHD画像を評価する。
即ち、評価値算出部71は、光検出器70からの表示画像信号に対応するSHD画像信号を、学習データ記憶部61から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ69に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部661に供給する。
ここで、ステップS683乃至S687の処理は、学習データ記憶部61に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部661は、注目信号フォーマットにつき、学習データ記憶部61に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目信号フォーマットについての最終的な評価値として、一時記憶する。
その後、ステップS687からステップS688に進み、制御部661は、最適な信号フォーマットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップS688において、最適な信号フォーマットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップS682に戻り、制御部661は、最適な信号フォーマットの複数の候補のうちの、まだ注目信号フォーマットとしていないものの1つを、注目信号フォーマットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップS688において、最適な信号フォーマットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップS689に進み、制御部661は、最適な信号フォーマットの複数の候補のうちの、評価値が最も高い候補を、注目表示フォーマット(と、その注目表示フォーマットに対しての現在の仮の最適なタップ係数のセットとの組み合わせ)に対する最適な信号フォーマットに、新たに仮決定してリターンする。
次に、図37のフローチャートを参照して、図35のステップS669の最適タップ係数セット決定処理について詳述する。
ステップS691において、制御部661は、現在の仮の(仮決定された)最適なタップ係数のセットを基準として、例えば、図23のステップS111の場合と同様にして、最適なタップ係数のセットの複数の候補を決定する。
ステップS691の処理後はステップS692に進み、制御部661は、注目表示フォーマットに対して現在の仮の最適な信号フォーマットを表す信号フォーマット情報を、疑似撮影画像生成部62に供給する。これにより、疑似撮影画像生成部62は、学習データ記憶部61に記憶されているSHD画像信号の画素数を間引くこと等によって、制御部661からの信号フォーマット情報が表す信号フォーマットのSD画像信号を生成し、画像変換部73に供給して、ステップS693に進む。
ステップS693では、制御部661は、最適なタップ係数のセットの複数の候補のうちの、まだ、注目タップ係数セットとしていないものの1つを、注目タップ係数セットに決定し、その注目タップ係数セットを、係数メモリ66を制御することにより記憶させ、ステップS694に進む。
ステップS694では、画像変換部73が、図20のステップS53と同様に、疑似撮影画像生成部62から供給されるSD画像信号を第1の画像信号として、その第1の画像信号を、係数メモリ66に記憶されている注目タップ係数セットとの演算によって、第2の画像信号としてのHD画像信号に変換する画像変換処理を行い、その結果得られるHD画像信号を、表示制御部68に供給する。
ステップS694の処理後は、ステップS695に進み、制御部661は、注目表示フォーマットを表す表示フォーマット情報を、表示制御部68に供給する。これにより、表示制御部68は、制御部661からの表示フォーマット情報が表す注目表示フォーマットで、画像変換部73が出力するHD画像信号に対応するHD画像を、ディスプレイ69に表示させ、ステップS696に進む。
ステップS696では、光検出器70が、ディスプレイ69に表示されたHD画像(表示画像)としての光を検出し(光電変換し)、その光に対応する電気信号である、HD画像信号に相当する表示画像信号を、評価値算出部71に出力して、ステップS697に進む。
ステップS697では、評価値算出部71が、光検出器70からの表示画像信号、ひいては、ディスプレイ69に表示されたHD画像を評価する。
即ち、評価値算出部71は、光検出器70からの表示画像信号に対応するSHD画像信号を、学習データ記憶部61から読み出し、表示画像信号と、対応するSHD画像信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ69に表示されたHD画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部661に供給する。
ここで、ステップS692、およびステップS694乃至S697の処理は、学習データ記憶部61に記憶されているSHD画像信号のすべてのフレームに対して行われる。そして、制御部661は、注目タップ係数セットにつき、学習データ記憶部61に記憶されているSHD画像信号のすべてのフレームに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
その後、ステップS697からステップS698に進み、制御部661は、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップS698において、最適なタップ係数のセットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップS693に戻り、制御部661は、最適なタップ係数のセットの複数の候補のうちの、まだ注目タップ係数セットとしていないものの1つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップS698において、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップS699に進み、制御部661は、最適なタップ係数のセットの複数の候補のうちの、評価値が最も高い候補を、注目表示フォーマット(と、その注目表示フォーマットに対しての現在の仮の最適な信号フォーマットとの組み合わせ)に対する最適なタップ係数のセットに、新たに仮決定してリターンする。
以上のように、図34の学習装置では、図35で説明したように、各種の表示フォーマット(複数の初期表示フォーマット)それぞれについて、最適信号フォーマット決定処理および最適タップ係数セット決定処理を、評価値(ここでは、直前の最適タップ係数セット決定処理で得られる評価値)が最適化の判定用の閾値以上となるまで繰り返すことにより、表示されるHD画像である表示画像をより高画質化する画像変換処理を行うのに用いられるタップ係数(のセット)、そのタップ係数を用いて行われる画像変換処理の対象となるSD画像信号の信号フォーマットを求める。
従って、図34の学習装置によれば、各種の表示フォーマットそれぞれで表示される表示画像がより高画質であるとユーザが感じるタップ係数および信号フォーマットを求めることができる。
なお、図36の最適信号フォーマット決定処理において、現在の仮の最適な信号フォーマットを基準として、最適な信号フォーマットの複数の候補を決定するにあたり、現在の仮の最適な信号フォーマットの変形のさせ方としては、図35のステップS668およびS669の繰り返し回数が小のときに、いわば大きく変形し、その繰り返し回数が増えるに連れ、徐々に微小な変形にする方法を採用することができる。タップ係数のセットについても同様である。
また、最適な信号フォーマットの候補について求められる評価値が、それほど大きくない値で、ほとんど増加しなくなった場合には、現在の仮の最適な信号フォーマットを、大きく変形して、最適な信号フォーマットの複数の候補を決定することができる。この場合、いわゆるローカルミニマムの問題を解消することができる。タップ係数のセットについても同様である。
次に、図38は、画像を処理する画像処理システムの第3の構成例を示している。
なお、図中、図24の画像処理システムと対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図38の画像処理システムは、カメラ671および表示装置605から構成されている。
カメラ671は、フォーマット変換部604を内蔵しており、そのフォーマット変換部604には、表示装置605から、その表示フォーマットを表す表示フォーマット情報が供給される。
カメラ671は、物体(被写体)を撮影し、その撮影によって得られる所定の信号フォーマットの撮影画像信号であるSD画像信号を得る。さらに、カメラ671では、その内蔵するフォーマット変換部604が、所定の信号フォーマットのSD画像信号を、表示装置605からの表示フォーマット情報が表す表示フォーマットに対応する対応信号フォーマットのSD画像信号に変換して出力する。
カメラ671が出力する対応信号フォーマットのSD画像信号は、表示装置605に供給される。表示装置605では、カメラ671が出力する対応信号フォーマットのSD画像信号を対象に画像変換処理が行われ、その結果得られるHD画像信号に対応するHD画像が、表示装置605の表示フォーマットで表示される。
従って、図38の画像処理システムでは、カメラ671が出力する対応信号フォーマットのSD画像信号のS/N等はともかく、カメラ671と表示装置605からなる画像処理システムシステム全体としては、ユーザが高画質であると感じる画像を、表示装置605で表示することができる。
次に、図39は、画像を処理する画像処理システムの第4の構成例を示している。
図39において、画像処理システムは、カメラ(ビデオカメラ)701と表示装置702とで構成されている。
カメラ701は、物体(被写体)を撮影し、その撮影によって得られる画像信号である撮影画像信号としての、例えばSD画像信号を出力する。表示装置702は、カメラ701が出力する撮影画像信号を受信して、その撮影画像信号に画像処理を施し、その画像処理によって得られる画像信号(以下、適宜、画像処理後画像信号という)に対応する画像を表示する。
なお、カメラ701は、例えば、単板式のカメラであり、ある信号フォーマットの撮影画像信号を出力するようになっている。
図40は、図39の表示装置702の構成例を示している。
表示装置702は、画像処理部711、表示制御部714、ディスプレイ715、信号フォーマット取得部716、表示フォーマット取得部717、操作部718、および制御部719で構成される。
画像処理部711には、カメラ701が出力する撮影画像信号(ここでは、例えばSD画像信号)が供給される。画像処理部711は、例えば、前処理部712と画像変換部713から構成され、カメラ701からの撮影画像信号に対して、制御部719の制御にしたがった画像処理を施し、その結果得られる画像処理後画像信号を、表示制御部714に供給する。
即ち、画像処理部711においては、前処理部712に、カメラ701からSD画像信号が供給される。前処理部712は、カメラ701からの撮影画像信号に対し、制御部719からの制御にしたがって、後段の画像変換処理部713での画像変換処理に適した信号を得るための前処理を施し、その前処理の結果得られる画像信号(以下、適宜、前処理後撮影画像信号ともいう)を、画像変換部713に供給する。
画像変換部713は、前処理部712からの前処理後撮影画像信号を、第1の画像信号とするとともに、画像変換処理によって得ようとする画像信号を、第2の画像信号として、制御部719の制御にしたがい、あらかじめ行われた学習によって得られたタップ係数との演算によって、第1の画像信号としての前処理後撮影画像信号を、第2の画像信号に変換し、画像処理後画像信号として、表示制御部714に供給する。
表示制御部714は、ある表示フォーマットで、画像変換部713から供給される画像処理後画像信号に対応する画像を、ディスプレイ715に表示させる表示制御を行う。
ディスプレイ715は、例えば、CRTやLCDパネル等で構成される表示手段であり、表示制御部714の制御にしたがって、画像を表示する。
信号フォーマット取得部716には、カメラ701が出力する撮影画像信号が供給される。信号フォーマット取得部716は、カメラ701からの撮影画像信号の信号フォーマットを検出する等して取得し、その信号フォーマットを表す信号フォーマット情報を、制御部719に供給する。
表示フォーマット取得部717は、表示制御部714がディスプレイ715に画像を表示する表示フォーマットを表す表示フォーマット情報を、表示制御部714から取得し、制御部719に供給する。
操作部718は、ユーザによって操作され、ユーザの操作に対応した指示を表す指示信号を、制御部719に供給する。ここで、指示信号には、例えば、ノイズ除去や、画像の拡大、SD画像のHD画像への変換などの、カメラ701からの撮影画像信号に対して施す画像処理(の内容)を指示する信号がある。
制御部719は、操作部718から供給される指示信号にしたがい、撮影画像信号に対して施す画像処理を決定し、その画像処理と、信号フォーマット取得部716からの信号フォーマット情報および表示フォーマット取得部717からの表示フォーマット情報に応じて、画像処理部711の前処理部712と画像変換部713を制御する。
次に、図41は、図40の前処理部712の構成例を示している。
前処理部712は、例えば、前処理タップ抽出部731、前処理演算部732、および係数メモリ733から構成されている。
前処理タップ抽出部731は、カメラ701(図40)からの撮影画像信号に前処理を施して得ようとする前処理後撮影画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を求めるのに用いる複数の画素の画素値である前処理タップを、カメラ701からの撮影画像信号から抽出する。そして、前処理タップ抽出部731は、注目画素に対して得た前処理タップを、前処理演算部732に供給する。
なお、前処理タップ抽出部731は、制御部719(図40)からの制御に応じて、その制御にしたがったタップ構造の前処理タップを得る。
前処理演算部732は、係数メモリ733に記憶されている、HD画像よりも高画質のSHD画像を用いて行われた学習によって決定された前処理係数(セット)によって定義される所定の前処理用の関数の演算を、前処理タップ抽出部731から供給される前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後撮影画像信号の注目画素の画素値として出力する。
係数メモリ733は、HD画像よりも高画質のSHD画像を用いて行われた学習によってあらかじめ求められている、前処理用の関数を定義する前処理係数セットを、複数セット記憶している。そして、係数メモリ733は、その複数セットの前処理係数セットの中から、制御部719(図40)からの制御に応じた前処理係数セットを、有効な前処理係数セットとして選択し、前処理演算部732に供給する。
ここで、上述した前処理演算部732では、係数メモリ733からの有効な前処理係数セットによって定義される前処理用の関数の演算が行われる。
なお、前処理用の関数f()として、例えば、線形一次式を採用することとすると、前処理用の関数f(x1,x2,・・・,xM)は、式f(x1,x2,・・・,xM)=p1x1+p2x2+・・・+pMxMで表される。但し、x1,x2,・・・,xMは、注目画素についての前処理タップとしての複数の画素(M個の画素)の画素値を表し、p1,p2,・・・,pMは、係数メモリ733に記憶されている、前処理用の関数f()を定義する係数のセットを表す。
次に、図42は、図40の画像変換部713の構成例を示している。
なお、図中、図4の画像変換部11と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図42の画像変換部713は、タップ抽出部41,42、クラス分類部43、および予測部45が設けられている点で、図4の画像変換部11と共通するが、係数メモリ44に代えて、係数メモリ741が設けられている点で、図4の画像変換部11と相違している。
係数メモリ741は、画像変換処理に用いられるタップ係数のセットを、複数セット記憶している。ここで、係数メモリ741に記憶されている複数のタップ係数のセットは、HD画像よりも高画質のSHD画像を用いて行われた学習によってあらかじめ求められる。
画像変換部713では、複数セットのタップ係数のセットのうちの、制御部719(図40)からの制御に応じたタップ係数のセットが、有効なタップ係数のセットとされ、その有効なタップ係数のセット(有効タップ係数のセット)を用いて画像変換処理が行われる。
即ち、画像変換部713では、前処理部712(図40)からの前処理後撮影画像信号を、第1の画像信号とするとともに、画像処理後画像信号を、第2の画像信号として、タップ抽出部41が、第2の画像信号としての画像処理後画像信号の画素を、順次、注目画素とし、その注目画素について、第1の画像信号としての前処理後撮影画像信号から、予測タップとする画素の画素値を抽出して、予測部45に供給する。さらに、タップ抽出部42が、注目画素について、第1の画像信号としての前処理後撮影画像信号から、クラスタップとする画素の画素値を抽出し、クラス分類部43に供給する。
クラス分類部43は、タップ抽出部42からのクラスタップに基づき、注目画素のクラスを求めるクラス分類を行い、その結果得られる注目画素のクラス(を表すクラスコード)を、係数メモリ741に供給する。係数メモリ741は、有効タップ係数のセットのうちの、クラス分類部43からのクラスのタップ係数(のセット)を読み出して、予測部45に出力する。
予測部45は、タップ抽出部41からの予測タップと、係数メモリ741からのタップ係数とを用いて、例えば、上述した式(1)の演算を行い、これにより、第2の画像信号としての画像処理後画像信号の注目画素の画素値を求める(予測する)。
次に、図43のフローチャートを参照して、図40の表示装置702の動作について説明する。
表示装置702には、カメラ701からの撮影画像信号が供給される。表示装置702では、カメラ701からの撮影画像信号が受信され、画像処理部711の前処理部712と、信号フォーマット取得部716に供給される。
そして、ステップS701において、制御部719は、操作部718から供給される指示信号に応じて、カメラ701からの撮影画像信号に施す画像処理を決定する。即ち、制御部719が撮影画像信号に施す画像処理として決定する画像処理を、決定処理ということとすると、制御部719は、例えば、ユーザが操作部718を操作することにより、操作部718から指示信号が供給された場合、その指示信号が指示する画像処理を決定処理に決定する。また、制御部719は、操作部718から指示信号が供給されていない場合、直前に、操作部718から供給された指示信号が指示する画像処理、または、あらかじめ決められたデフォルトの画像処理を、決定処理に決定する。
一方、信号フォーマット取得部716は、ステップS702において、カメラ701からの撮影画像信号の信号フォーマットを取得し、その信号フォーマットを表す信号フォーマット情報を、制御部719に供給する。また、表示フォーマット取得部717は、ステップS703において、表示装置702の表示フォーマット(表示制御部714がディスプレイ715に画像を表示する表示フォーマット)を表す表示フォーマット情報を、表示制御部714から取得し、制御部719に供給する。
そして、制御部719は、ステップS701で決定した決定処理、ステップS702で信号フォーマット取得部716から供給された信号フォーマット情報、およびステップS703で表示フォーマット取得部717から供給された表示フォーマット情報に応じて、画像処理部711を制御する。画像処理部711では、制御部719の制御にしたがい、決定処理、信号フォーマット情報、および表示フォーマット情報に応じて異なる処理が行われることにより、決定処理としての画像処理が行われる。
即ち、ステップS704では、前処理部712が、ステップS7041において、カメラ701からの撮影画像信号に対し、制御部719からの制御にしたがった前処理を施し、その前処理の結果得られる前処理後撮影画像信号を、画像変換部713に供給する。
画像変換部713は、ステップS7042において、前処理部712からの前処理後撮影画像信号を、第1の画像信号とするとともに、画像処理後画像信号を、第2の画像信号として、制御部719の制御にしたがった画像変換処理を行う。
ここで、以上のように、制御部719は、決定処理、信号フォーマット情報、および表示フォーマット情報に応じて、画像処理部711を制御する。画像処理部711を構成する前処理部712と画像変換部713のそれぞれは、制御部719からの制御、即ち、決定処理、信号フォーマット情報、および表示フォーマット情報に応じて異なる処理を行い、これにより、画像処理部711全体としては、決定処理が行われる。
画像変換部713において画像変換処理が行われることにより得られる画像処理後画像信号は、表示制御部714に供給される。
表示制御部714は、ステップS705において、あらかじめ決められたある表示フォーマットで、画像変換部713から供給される画像処理後画像信号に対応する画像を、ディスプレイ715に表示させる。
次に、表示装置702(図40)の前処理部712(図41)における前処理タップ抽出部731が抽出する前処理タップのタップ構造と、係数メモリ733に記憶される前処理係数セット、および画像変換部713(図42)の係数メモリ741に記憶されるタップ係数のセットの3つ(のパラメータ)は、例えば、HD画像よりも高画質のSHD画像を用いて学習を行うことにより決定される。
図44は、前処理タップのタップ構造、前処理係数セット、およびタップ係数のセットを求める学習を行う学習装置の構成例を示している。
なお、図中、図9と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図44の学習装置は、疑似撮影画像生成部62と制御部72にそれぞれ代えて、学習対データ生成部751と制御部752が設けられているとともに、画像変換部73に代えて、学習部255が設けられている他は、図9の学習装置と同様に構成されている。
学習部255は、前処理部261および画像変換部262からなる。
前処理部261は、図40の前処理部712(図41)と同様に構成され、制御部752の制御にしたがい、学習対データ生成部751から後述するように供給される学習対データのうちの生徒信号としての疑似撮影画像信号に前処理を施し、その結果得られる前処理後撮影画像信号を、画像変換部262に供給する。
画像変換部262は、図40の画像変換部713(図42)と同様に構成され、制御部752の制御にしたがい、前処理部261から供給される前処理後撮影画像信号を第1の画像信号とするとともに、その前処理後撮影画像信号に画像処理を施して得られる画像処理後画像信号を、第2の画像信号として、前処理後撮影画像信号を、画像処理後画像信号に変換する画像変換処理を行う。さらに、画像変換部262は、画像変換処理によって得られる画像処理後画像信号を、表示制御部68に供給する。
学習対データ生成部751には、制御部752から、信号フォーマットを表す信号フォーマット情報と、図40の操作部718が出力する指示信号によって指示することができる画像処理を表す処理情報が供給される。
学習対データ生成部751は、学習データ記憶部61に記憶されている学習データから、制御部752からの信号フォーマット情報が表す信号フォーマットの画像信号を、生徒信号として生成する。さらに、学習対データ生成部751は、学習データ記憶部61に記憶されている学習データから、制御部752からの処理情報が表す画像処理を生徒信号に施すことにより得られる、いわば理想的な画像信号(画像処理後画像信号として理想的な画像信号)を、教師信号として生成する。そして、学習対データ生成部751は、生徒信号としての画像信号と、その生徒信号に対応する教師信号としての画像信号(処理情報が表す画像処理を生徒信号に施すことにより得られる教師信号)とのセットを、学習対データとして、評価値算出部71および学習部255に供給する。
制御部752には、評価値算出部71から評価値が供給される。制御部752は、評価値算出部71からの評価値に基づき、学習部255を構成する前処理部261および画像変換部262を制御する。具体的には、制御部752は、前処理部261での前処理に用いられる前処理タップのタップ構造および前処理係数セットの制御(設定)と、画像変換部262での画像変換処理に用いられるタップ係数のセットの制御とを行う。
また、制御部752は、表示制御部68が、学習部255の画像変換部262から供給される画像処理後画像信号に対応する画像をディスプレイ69に表示する表示フォーマットを決定し、その表示フォーマットを表す表示フォーマット情報を、表示制御部68に供給する。さらに、制御部752は、信号フォーマット情報と処理情報を、学習対データ生成部751に供給する。
次に、図45のフローチャートを参照して、図44の学習装置が行う、前処理タップのタップ構造、前処理係数セット、およびタップ係数のセットを学習する学習処理について説明する。
まず最初に、ステップS721において、制御部752は、複数の信号フォーマットの中から、まだ、注目信号フォーマットとしていない信号フォーマットの1つを、注目信号フォーマットAiに決定し、その注目信号フォーマットAiを表す信号フォーマット情報を、学習対データ生成部751に供給して、ステップS722に進む。
ここで、図44の学習装置には、学習処理に用いる複数の信号フォーマットがあらかじめ設定されており、制御部752は、そのあらかじめ設定されている複数の信号フォーマットの中から、注目信号フォーマットAiを決定する。なお、あらかじめ設定されている複数の信号フォーマットは、例えば、既存の信号フォーマットであっても良いし、既存の信号フォーマットを変形した新たな信号フォーマットであっても良い。
ステップS722では、制御部752は、複数の表示フォーマットの中から、まだ、注目表示フォーマットとしていない表示フォーマットの1つを、注目表示フォーマットBjに決定し、その注目表示フォーマットBjを表す表示フォーマット情報を、表示制御部68に供給して、ステップS723に進む。
ここで、図44の学習装置には、学習処理に用いる複数の表示フォーマットがあらかじめ設定されており、制御部752は、そのあらかじめ設定されている複数の表示フォーマットの中から、注目表示フォーマットBjを決定する。なお、あらかじめ設定されている複数の表示フォーマットは、例えば、既存の表示フォーマットであっても良いし、既存の表示フォーマットを変形した新たな表示フォーマットであっても良い。
ステップS723では、制御部752は、複数の画像処理(の内容)の中から、まだ、注目処理としていない画像処理の1つを、注目処理Ckに決定し、その注目処理Ckを表す処理情報を、学習対データ生成部751に供給して、ステップS724に進む。
ここで、図44の学習装置には、学習処理に用いる複数の画像処理(の内容)があらかじめ設定されており、制御部752は、そのあらかじめ設定されている複数の画像処理の中から、注目処理Ckを決定する。なお、あらかじめ設定されている複数の画像処理は、図40の操作部718が出力する指示信号によって指示することができる画像処理を少なくとも含む。
ステップS724では、学習装置(図44)において、注目信号フォーマットAi、注目表示フォーマットBj、および注目処理Ckの組み合わせについて、前処理タップの最適なタップ構造Di,j,k、最適な前処理係数セットEi,j,k、および最適なタップ係数のセット(式(1)の演算で用いられる、各クラスのタップ係数(x1,x2,・・・,xN)のセット)Fi,j,kが決定される。
即ち、ステップS724では、注目信号フォーマットAi、注目表示フォーマットBj、および注目処理Ckの組み合わせについて、注目信号フォーマットAiの画像信号に対し、注目処理Ckを施して得られる画像信号に対応する画像を、注目表示フォーマットBjで表示した場合に、ユーザが最も高画質であると感じるように、注目処理Ckとしての画像処理である前処理および画像変換処理に用いられるタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットFi,j,kが決定される。
そして、ステップS724からステップS725に進み、制御部752は、注目信号フォーマットAiと注目表示フォーマットBjとの組み合わせに対して、あらかじめ設定されている複数の画像処理のすべてを、注目処理として、ステップS724でタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットFi,j,kが求められた(決定された)かどうかを判定する。
ステップS725において、複数の画像処理のすべてが、まだ、注目処理とされていないと判定された場合、ステップS723に戻り、制御部752は、複数の画像処理のうちの、まだ、注目処理としていない画像処理の1つを、注目処理に新たに決定し、その注目処理を表す処理情報を、学習対データ生成部751に供給して、以下、同様の処理を繰り返す。
また、ステップS725において、複数の画像処理のすべてが、注目処理とされたと判定された場合、ステップS726に進み、制御部752は、注目信号フォーマットAiに対して、あらかじめ設定されている複数の表示フォーマットのすべてを、注目表示フォーマットとして、ステップS724でタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットFi,j,kが求められた(決定された)かどうかを判定する。
ステップS726において、あらかじめ設定されている複数の表示フォーマットのすべてが、まだ、注目表示フォーマットとされていないと判定された場合、ステップS722に戻り、制御部752は、複数の表示フォーマットのうちの、まだ、注目表示フォーマットとしていない表示フォーマットの1つを、注目表示フォーマットに新たに決定し、その注目表示フォーマットを表す表示フォーマット情報を、表示制御部68に供給して、以下、同様の処理を繰り返す。
また、ステップS726において、あらかじめ設定されている複数の表示フォーマットのすべてが、注目表示フォーマットとされたと判定された場合、ステップS727に進み、制御部752は、あらかじめ設定されている複数の信号フォーマットのすべてを、注目信号フォーマットとして、ステップS724でタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットFi,j,kが求められた(決定された)かどうかを判定する。
ステップS727において、あらかじめ設定されている複数の信号フォーマットのすべてが、まだ、注目信号フォーマットとされていないと判定された場合、ステップS722に戻り、制御部752は、複数の信号フォーマットのうちの、まだ、注目信号フォーマットとしていない信号フォーマットの1つを、注目信号フォーマットに新たに決定し、その注目信号フォーマットを表す信号フォーマット情報を、学習対データ生成部751に供給して、以下、同様の処理を繰り返す。
また、ステップS727において、あらかじめ設定されている複数の信号フォーマットのすべてが、注目信号フォーマットとされたと判定された場合、即ち、複数の信号フォーマット、複数の表示フォーマット、および複数の画像処理の組み合わせのすべてについて、最適なタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットが求められた場合、学習処理は終了する。
図40の制御部719は、図45の学習処理において、上述したように、複数の信号フォーマット、複数の表示フォーマット、および複数の画像処理の組み合わせのすべてについて求められた最適なタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットを表す制御情報を記憶している。
さらに、前処理部712の係数メモリ733(図41)には、複数の信号フォーマット、複数の表示フォーマット、および複数の画像処理の組み合わせのすべてについて求められた複数の前処理係数セットEi,j,kが記憶されており、画像変換部713の係数メモリ741(図42)には、複数の信号フォーマット、複数の表示フォーマット、および複数の画像処理の組み合わせのすべてについて求められた複数のタップ係数のセットが記憶されている。
そして、図40の表示装置702では、制御部719が、制御情報を参照することにより、信号フォーマット取得部716からの信号フォーマット情報が表す信号フォーマット、表示フォーマット取得部717からの表示フォーマット、および操作部718からの指示信号が指示する画像処理の組み合わせについて最適なタップ構造、前処理係数セット、およびタップ係数のセットを認識する。
さらに、制御部719は、前処理部712を制御することにより、前処理タップ抽出部731で得られる前処理タップのタップ構造を、制御情報を参照して認識した最適なタップ構造とさせるとともに、係数メモリ733に記憶されている複数の前処理係数セットのうちの、制御情報を参照して認識した最適な前処理係数セットを有効にさせる。
また、制御部719は、画像変換部713を制御することにより、係数メモリ741に記憶されている複数のタップ係数のセットのうちの、制御情報を参照して認識した最適なタップ係数のセットを有効にさせる。
これにより、前処理部712においては、信号フォーマット取得部716からの信号フォーマット情報が表す信号フォーマット、表示フォーマット取得部717からの表示フォーマット、および操作部718からの指示信号が指示する画像処理の組み合わせに応じて異なる前処理(異なるタップ構造の前処理タップと、異なる前処理係数セットとを用いた前処理)が行われる。
また、画像変換部713においても、信号フォーマット取得部716からの信号フォーマット情報が表す信号フォーマット、表示フォーマット取得部717からの表示フォーマット、および操作部718からの指示信号が指示する画像処理の組み合わせに応じて異なる画像変換処理(異なるタップ係数のセットを用いた画像変換処理)が行われる。
そして、図39の画像処理システムでは、カメラ701が出力する撮影画像信号や、前処理部712(図40)の前処理で得られる画像信号、画像変換部713で得られる画像信号のS/N等はともかく、カメラ701と表示装置702からなる画像処理システムシステム全体としては、ユーザが高画質であると感じる画像を、表示装置702で表示することができる。
次に、図46のフローチャートを参照して、図45のステップS724の処理の詳細について説明する。
ステップS741において、制御部752は、複数の初期タップ構造の中から、注目タップ構造とする初期タップ構造Dmを決定し、その注目タップ構造Dmを表すタップ構造情報を、学習部255の前処理部261に供給して、ステップS742に進む。
即ち、図44の学習装置には、前処理タップの複数のタップ構造が、学習処理の最初に用いる初期タップ構造として設定(決定)されており、制御部752は、複数の初期タップ構造それぞれを表すタップ構造情報を、内蔵するメモリ(図示せず)に記憶している。そして、制御部752は、内蔵するメモリに記憶している複数のタップ構造情報が表す複数の初期タップ構造のうちの、まだ注目タップ構造としていないものの1つを注目タップ構造Dmに決定(設定)し、その注目タップ構造Dmを表すタップ構造情報を、前処理部261に供給する。
具体的には、図44の学習装置には、例えば、注目画素の位置に最も近い画素を中心とする横×縦が3×3の画素や、注目画素の位置に最も近い画素を中心として横方向に並ぶ9画素と縦方向に並ぶ5画素などといったような、前処理タップの複数のタップ構造が、学習処理の最初に用いる初期タップ構造として設定(決定)されており、制御部752は、複数の初期タップ構造それぞれを表すタップ構造情報を、内蔵するメモリ(図示せず)に記憶している。そして、制御部752は、内蔵するメモリに記憶している複数のタップ構造情報が表す複数の初期タップ構造のうちの、まだ注目タップ構造としていないものの1つを注目タップ構造Dmに決定(設定)し、その注目タップ構造Dmを表すタップ構造情報を、前処理部261に供給する。
ここで、Dmは、例えば、複数の初期タップ構造のうちのm番目の初期タップ構造を表す。
ステップS742では、制御部752は、前処理部261が前処理に用いる前処理係数のセットである注目前処理係数セットEnを決定する。即ち、例えば、注目タップ構造Dmの前処理タップを構成する画素(の画素値)の数をXとするとともに、前処理係数のビット数をYとすると、注目タップ構造Dmの前処理タップに対して前処理係数のセットが取り得る場合の数は、X×2Y通りだけ存在するが、制御部752は、そのX×2Y通りの前処理係数のセットのうちの、まだ注目前処理係数セットとしていないものの1つを、注目前処理係数セットEnに決定する。
そして、制御部752は、注目前処理係数セットEnを、前処理部261に供給して、ステップS742からステップS743に進む。
ステップS743では、学習装置(図44)において、注目タップ構造Dmおよび注目前処理係数セットEnの組み合わせについて、仮の最適なタップ係数のセット(式(1)の演算で用いられる、各クラスのタップ係数(x1,x2,・・・,xN)のセット)Fm,nが決定される。
即ち、ステップS743では、注目タップ構造Dmの前処理タップと、注目前処理係数セットEnとを用い、SD画像信号に対して前処理を施すことにより得られる前処理後撮影画像信号を第1の画像信号として、タップ係数のセットを用いた画像変換処理を行うことにより得られる、第2の画像信号としての、第1の画像信号に注目処理Ckとしての画像処理を施して得られる理想的な画像信号(画像処理後画像信号)に対応する画像を、注目表示フォーマットBjで、ディスプレイ69に表示した場合に、そのディスプレイ69に表示された画像としての光を光検出器70で検出することにより得られる表示画像信号の評価値を最も高くするタップ係数のセットが、注目タップ構造Dmおよび注目前処理係数セットEnの組み合わせについて、仮の最適なタップ係数のセットFm,nとして求められる。
そして、ステップS743からステップS744に進み、制御部752は、注目タップ構造Dmの前処理タップに対して取り得るX×2Y通りの前処理係数のセットのすべてを、注目前処理係数セットとしたかどうかを判定する。
ステップS744において、注目タップ構造Dmの前処理タップに対して取り得るX×2Y通りの前処理係数のセットのすべてを、まだ、注目前処理係数セットとしていないと判定された場合、ステップS742に戻り、制御部752は、注目タップ構造Dmの前処理タップに対して取り得るX×2Y通りの前処理係数のセットのうちの、まだ、注目前処理係数セットとしていないものの1つを、新たに、注目前処理係数セットに決定して、同様の処理を繰り返す。
また、ステップS744において、注目タップ構造Dmの前処理タップに対して取り得るX×2Y通りの前処理係数のセットのすべてを、注目前処理係数セットとしたと判定された場合、ステップS745に進み、制御部752は、内蔵するメモリに記憶されている複数のタップ構造情報が表す複数の初期タップ構造のすべてを、注目タップ構造としたかどうかを判定する。
ステップS745において、複数の初期タップ構造のすべてが、まだ、注目タップ構造とされていないと判定された場合、ステップS741に戻り、制御部752は、複数の初期タップ構造のうちの、まだ、注目タップ構造としていない初期タップ構造の1つを、注目タップ構造に決定し、同様の処理を繰り返す。
また、ステップS745において、複数の初期タップ構造のすべてが、注目タップ構造とされたと判定された場合、即ち、複数の初期タップ構造と、取り得る前処理係数セットとの組み合わせすべてについて、ステップS743で最適なタップ係数のセットが求められた場合、ステップS746に進み、制御部752は、ステップS743で求められたタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせの中から、最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせを、仮に決定する(仮決定する)。
即ち、初期タップ構造としてM通りのタップ構造があり、前処理係数セットが取り得る値の場合の数がN通りある場合には、(初期)タップ構造および前処理係数セットの組み合わせとして、M×N通りの組み合わせが存在し、ステップS743では、そのM×N通りの組み合わせそれぞれについて、仮の最適なタップ係数のセットが求められる。従って、ステップS743では、タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが、M×N×J通りだけ得られるが、ステップS746では、そのM×N通りの組み合わせ(タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせ)の中から、表示画像信号の評価値が最大の組み合わせが、最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせとして仮決定される。
ステップS746において、最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが仮決定された後は、ステップS747に進み、現在の最適な前処理係数セットとタップ係数のセットとの組み合わせについて、最適なタップ構造を仮決定する最適タップ構造決定処理が行われ、ステップS748に進む。
ステップS748では、現在の最適なタップ構造とタップ係数のセットとの組み合わせについて、最適な前処理係数セットを仮決定する最適前処理係数セット決定処理が行われ、ステップS749に進む。
ステップS749では、現在の最適なタップ構造と前処理係数セットとの組み合わせについて、最適なタップ係数のセットを仮決定する最適タップ係数セット決定処理が行われ、ステップS750に進む。
ステップS750では、制御部752が、直前のステップS747で求められた現在の仮の最適なタップ構造、直前のステップS748で求められた現在の仮の最適な前処理係数セット、および直前のステップS749で求められた現在の仮の最適なタップ係数のセットの組み合わせが、最適化されたものであるかどうかを判定する。
即ち、直前のステップS749の最適タップ係数セット決定処理では、現在の仮の最適なタップ構造と前処理係数セットとの組み合わせについて、評価値算出部71が算出する評価値を最大にするタップ係数のセットが、最適なタップ係数のセットとして仮決定される。ステップS750では、例えば、その最適なタップ係数のセットについての評価値が、あらかじめ定められた最適化の判定用の閾値以上である(より大きい)かどうかによって、現在の仮の最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが、最適化されたものであるかどうかが判定される。
ステップS750において、現在の仮の最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが、最適化されたものでないと判定された場合、即ち、直前のステップS749で求められた最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上でない場合、ステップS747に戻り、同様の処理が繰り返される。
また、ステップS750において、現在の仮の最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが、最適化されたものであると判定された場合、即ち、直前のステップS749で求められた最適なタップ係数のセットについての評価値が、最適化の判定用の閾値以上であり、タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが最適化されたものとなった場合、ステップS751に進み、制御部752は、そのタップ構造、前処理係数セット、およびタップ係数のセットを、注目信号フォーマットAi、注目表示フォーマットBj、および注目処理Ckの組み合わせについての最適なタップ構造Di,j,k、前処理係数セットEi,j,k、およびタップ係数のセットFi,j,kに決定し、内蔵するメモリに記憶してリターンする。
なお、図46のステップS750では、ステップS749の最適タップ係数セット決定処理で得られたタップ係数のセットについての評価値が、最適化の判定用の閾値以上である場合に、タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにしたが、その他、例えば、ステップS749の最適化処理が、所定の回数だけ繰り返された場合に、タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにすることが可能である。
また、ステップS750では、ステップS749の最適タップ係数セット決定処理で得られたタップ係数のセットについての評価値の他、ステップS747の最適タップ構造決定処理で得られたタップ構造についての評価値、または、ステップS748の最適前処理係数セット決定処理で得られた前処理係数セットについての評価値が、最適化の判定用の閾値以上である場合に、タップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが最適化されたと判定するようにしても良い。
次に、図47のフローチャートを参照して、注目タップ構造Dmおよび注目前処理係数セットEnの組み合わせについて、最適なタップ係数のセットFm,nを決定する図46のステップS743の処理について、詳述する。
学習対データ生成部751は、ステップS761において、学習データ記憶部61に記憶されている学習データから、制御部752からの信号フォーマット情報が表す注目信号フォーマットAiの画像信号(疑似撮影画像信号)を、生徒信号として生成して、ステップS762に進む。ステップS762では、学習対データ生成部751が、学習データ記憶部61に記憶されている学習データから、制御部752からの処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる画像信号(画像処理後画像信号として理想的な画像信号)を、教師信号として生成する。
即ち、例えば、注目処理Ckとしての画像処理が、ノイズ除去処理である場合、学習対データ生成部751は、生徒信号としての画像信号のS/Nを良くした画像信号を教師信号として生成する(教師信号としての画像信号にノイズを付加した画像信号を、生徒信号として生成する)。
そして、学習対データ生成部751は、生徒信号としての画像信号と、その生徒信号に対応する教師信号としての画像信号(処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる教師信号)とのセットを、学習対データとして、評価値算出部71および学習部255に供給して、ステップS762からステップS763に進む。
ステップS763では、制御部752が、注目タップ構造Dm、および注目前処理係数セットEnに基づく前処理を行うように、前処理部261を制御する。これにより、前処理部261は、制御部752の制御にしたがい、学習対データ生成部751から学習部255に供給される学習対データのうちの生徒信号としての注目信号フォーマットAiの疑似撮影画像信号に前処理を施し、その結果得られる前処理後撮影画像信号を、画像変換部262に供給する。
即ち、前処理部261は、学習対データ生成部751から供給される注目信号フォーマットAiの疑似撮影画像信号に対応する前処理後撮影画像信号を構成する画素を、順次、注目画素とし、その注目画素について、注目タップ構造Dmの前処理タップとなる複数の画素の画素値を、学習対データ生成部751から供給される注目信号フォーマットAiの疑似撮影画像信号から抽出する。さらに、前処理部261は、注目前処理係数セットEnによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後撮影画像信号の注目画素の画素値として、画像変換部262に供給する。
そして、制御部752は、ステップS764において、学習部255の画像変換部262が画像変換処理に用いるクラスごとのタップ係数のセットを決定する。即ち、例えば、クラスの総数をαと、各クラスのタップ係数の数をβと、タップ係数のビット数をγとすると、タップ係数のセットが取り得る場合の数は、α×β×2γ通りだけ存在するが、制御部752は、そのα×β×2γ通りのタップ係数のセットのうちの、今回の図47の処理において、まだ注目タップ係数セットとしていないものの1つを、注目タップ係数セットに決定する。
さらに、制御部752は、注目タップ係数セットを、画像変換部262に供給して、ステップS764からS765に進む。
ステップS765では、画像変換部262が、前処理部261から供給される前処理後撮影画像信号を第1の画像信号とするとともに、その前処理後撮影画像信号に注目処理Ckとしての画像処理を施して得られる画像処理後画像信号を、第2の画像信号として、直前のステップS764で制御部752から供給された注目タップ係数セットを用い、前処理後撮影画像信号を、画像処理後画像信号に変換する画像変換処理を行う。そして、画像変換部262は、画像変換処理によって得られる画像処理後画像信号を、表示制御部68に供給する。
ステップS765の処理後は、ステップS766に進み、表示制御部68は、制御部752から供給された表示フォーマット情報が表す注目表示フォーマットBjで、画像変換部262が出力する画像処理後画像信号に対応する画像を、ディスプレイ69に表示させ、ステップS766からステップS767に進む。
ステップS767では、光検出器70が、ディスプレイ69に表示された画像(表示画像)としての光を検出し(光電変換し)、その光に対応する電気信号である表示画像信号を、評価値算出部71に出力して、ステップS768に進む。
ステップS768では、評価値算出部71が、光検出器70からの表示画像信号、ひいては、ディスプレイ69に表示された画像を評価する。
即ち、評価値算出部71は、光検出器70からの表示画像信号に対応する教師信号を、学習データ記憶部61からの学習対データから得て、表示画像信号と、対応する教師信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ69に表示された画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部752に供給する。
ここで、ステップS765乃至S768の処理は、ステップS761およびS762で生成された学習対データのすべてに対して行われる。そして、制御部752は、注目タップ係数セットにつき、学習対データのすべてに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
その後、ステップS768からステップS769に進み、制御部752は、タップ係数のセットが取り得るα×β×2γ通りの値のすべてについて、評価値を算出したかどうかを判定する。
ステップS769において、タップ係数のセットが取り得るα×β×2γ通りの値のすべてについて、まだ、評価値を算出していないと判定された場合、即ち、α×β×2γ通りのタップ係数のセットの中に、今回の図47の処理において、まだ注目タップ係数セットとしていないものがある場合、ステップS764に戻り、制御部752は、α×β×2γ通りのタップ係数のセットのうちの、今回の図47の処理において、まだ注目タップ係数セットとしていないものの1つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップS769において、タップ係数のセットが取り得るα×β×2γ通りの値のすべてについて、評価値を算出したと判定された場合、ステップS770に進み、制御部752は、α×β×2γ通りのタップ係数のセットのうちの、評価値が最も高いタップ係数のセットを、注目タップ構造Dmおよび注目前処理係数セットEnの組み合わせについての最適なタップ係数のセットFm,nとして決定(仮決定)してリターンする。
なお、図46のステップS746では、図47のステップS770で最適なタップ係数のセットに決定されたタップ係数のセットについての評価値が最大のタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせが、最適なタップ構造、前処理係数セット、およびタップ係数のセットの組み合わせに仮決定される。
次に、図48のフローチャートを参照して、図46のステップS747の最適タップ構造決定処理について詳述する。
ステップS781において、制御部752は、現在の仮の最適なタップ構造を基準として、そのタップ構造を、あらかじめ決められた変形ルールにしたがって変形することにより、最適なタップ構造の複数の候補を決定する。
即ち、例えば、いま、注目画素の位置に最も近い画素を中心とする横×縦が3×3の隣接する画素が、現在の仮の最適なタップ構造であるとすると、制御部752は、例えば、注目画素の位置に最も近い画素を中心とする横×縦が3×3の1画素おきの画素や、2画素おきの画素などの、現在の仮の最適なタップ構造を変形したタップ構造を、最適なタップ構造の複数の候補として決定する。
なお、最適なタップ構造の複数の候補を得るために、現在の仮の最適なタップ構造を、どのように変形するかは、例えば、あらかじめ変形ルールが決められており、制御部752は、その変形ルールにしたがって、現在の仮の最適なタップ構造を変形して、最適なタップ構造の複数の候補を決定する。
また、最適なタップ構造の複数の候補には、現在の仮の最適なタップ構造も含まれる。
ステップS781の処理後はステップS782に進み、学習対データ生成部751は、学習データ記憶部61に記憶されている学習データから、制御部752からの信号フォーマット情報が表す注目信号フォーマットAiの画像信号(疑似撮影画像信号)を、生徒信号として生成して、ステップS783に進む。ステップS783では、学習対データ生成部751が、学習データ記憶部61に記憶されている学習データから、制御部752からの処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる画像処理後画像信号として理想的な画像信号を、教師信号として生成する。そして、学習対データ生成部751は、生徒信号としての画像信号と、その生徒信号に対応する教師信号としての画像信号(処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる教師信号)とのセットを、学習対データとして、評価値算出部71および学習部255に供給して、ステップS783からステップS784に進む。
ステップS784では、制御部752は、最適なタップ構造の複数の候補のうちの、まだ、注目タップ構造としていないものの1つを、注目タップ構造に決定し、ステップS785に進む。
ステップS785では、制御部752が、注目タップ構造、および現在の仮の最適な前処理係数セットに基づく前処理を行うように、前処理部261を制御する。これにより、前処理部261は、制御部752の制御にしたがい、学習対データ生成部751から学習部255に供給される疑似撮影画像信号に前処理を施し、その結果得られる前処理後撮影画像信号を、画像変換部262に供給する。
即ち、前処理部261は、学習対データ生成部751から供給される疑似撮影画像信号に対応する前処理後撮影画像信号を構成する画素を、順次、注目画素とし、その注目画素について、注目タップ構造の前処理タップとなる複数の画素の画素値を、学習対データ生成部751から供給される疑似撮影画像信号から抽出する。さらに、前処理部261は、現在の仮の最適な前処理係数セットによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後撮影画像信号の注目画素の画素値として、画像変換部262に供給する。
画像変換部262は、ステップS786において、制御部752から、現在の仮の最適なタップ係数のセットの供給を受ける。さらに、画像変換部262は、前処理部261から供給される前処理後撮影画像信号を第1の画像信号とするとともに、その前処理後撮影画像信号に注目処理Ckとしての画像処理を施して得られる画像処理後画像信号を、第2の画像信号として、制御部752からの現在の仮の最適なタップ係数のセットを用い、前処理後撮影画像信号を、画像処理後画像信号に変換する画像変換処理を行う。そして、画像変換部262は、画像変換処理によって得られる画像処理後画像信号を、表示制御部68に供給する。
ステップS786の処理後は、ステップS787に進み、表示制御部68が、制御部752からの表示フォーマット情報が表す注目表示フォーマットBjで、画像変換部262が出力する画像処理後画像信号に対応する画像を、ディスプレイ69に表示させ、ステップS788に進む。
ステップS788では、光検出器70が、ディスプレイ69に表示された画像(表示画像)としての光を検出し(光電変換し)、その光に対応する電気信号である表示画像信号を、評価値算出部71に出力して、ステップS789に進む。
ステップS789では、評価値算出部71が、光検出器70からの表示画像信号、ひいては、ディスプレイ69に表示された画像を評価する。
即ち、評価値算出部71は、光検出器70からの表示画像信号に対応する教師信号を、学習対データ生成部751からの学習対データから得て、表示画像信号と、対応する教師信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ69に表示された画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部752に供給する。
ここで、ステップS785乃至S789の処理は、ステップS782およびS783で生成された学習対データすべてに対して行われる。そして、制御部752は、注目タップ構造につき、学習対データすべてに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ構造についての最終的な評価値として、一時記憶する。
その後、ステップS789からステップS790に進み、制御部752は、ステップS781で決定した最適なタップ構造の複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップS790において、最適なタップ構造の複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップS784に戻り、制御部752は、最適なタップ構造の複数の候補のうちの、まだ注目タップ構造としていないものの1つを、注目タップ構造に新たに決定し、以下、同様の処理が繰り返される。
また、ステップS790において、最適なタップ構造の複数の候補のすべてについて、評価値を算出したと判定された場合、ステップS791に進み、制御部752は、最適なタップ構造の複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適な前処理係数セットおよびタップ係数のセットの組み合わせに対する最適なタップ構造に、新たに仮決定してリターンする。
次に、図49のフローチャートを参照して、図46のステップS748の最適前処理係数セット決定処理について詳述する。
ステップS801において、制御部752は、現在の仮の最適な前処理係数セットを基準として、あらかじめ決められたルールに基づき、最適な前処理係数セットの複数の候補を決定する。
即ち、制御部752は、例えば、現在の仮の最適な前処理係数セットの各前処理係数をコンポーネントとするΦ次元のベクトル(この場合、前処理係数セットとしての前処理係数の総数がΦ個)が表す、Φ次元のベクトル空間の点を基準とする所定の範囲内の複数の点を選択し、その複数の点それぞれを表す複数のΦ次元のベクトル(のコンポーネント)を、最適な前処理係数セットの複数の候補として決定する。なお、最適な前処理係数セットの複数の候補を得るために、現在の仮の最適な前処理係数セットに対応するΦ次元のベクトルを基準として、どのような範囲の、どのような点を選択するかは、あらかじめルールが決められており、制御部752は、そのルールにしたがって、現在の仮の最適な前処理係数セットに対応するΦ次元のベクトルを基準とする所定の範囲内の複数の点を選択することにより、最適な前処理係数セットの複数の候補を決定する。
ステップS801の処理後は、ステップS802に進み、学習対データ生成部751は、学習データ記憶部61に記憶されている学習データから、制御部752からの信号フォーマット情報が表す注目信号フォーマットAiの画像信号(疑似撮影画像信号)を、生徒信号として生成して、ステップS803に進む。ステップS803では、学習対データ生成部751が、学習データ記憶部61に記憶されている学習データから、制御部752からの処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる画像処理後画像信号として理想的な画像信号を、教師信号として生成する。そして、学習対データ生成部751は、生徒信号としての画像信号と、その生徒信号に対応する教師信号としての画像信号(処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる教師信号)とのセットを、学習対データとして、評価値算出部71および学習部255に供給して、ステップS803からステップS804に進む。
ステップS804では、制御部752は、最適な前処理係数セットの複数の候補のうちの、まだ、注目前処理係数セットとしていないものの1つを、注目前処理係数セットに決定し、ステップS805に進む。
ステップS805では、制御部752が、現在の仮の最適なタップ構造、および注目前処理係数セットに基づく前処理を行うように、前処理部261を制御する。これにより、前処理部261は、制御部752の制御にしたがい、学習対データ生成部751から学習部255に供給される学習対データのうちの生徒信号としての疑似撮影画像信号に前処理を施し、その結果得られる前処理後撮影画像信号を、画像変換部262に供給する。
即ち、前処理部261は、学習対データ生成部751から供給される疑似撮影画像信号に対応する前処理後撮影画像信号を構成する画素を、順次、注目画素とし、その注目画素について、現在の仮の最適なタップ構造の前処理タップとなる複数の画素の画素値を、学習対データ生成部751から供給される生徒信号としての疑似撮影画像信号から抽出する。さらに、前処理部261は、注目前処理係数セットによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後撮影画像信号の注目画素の画素値として、画像変換部262に供給する。
画像変換部262は、ステップS806において、制御部752から、現在の仮の最適なタップ係数のセットの供給を受ける。さらに、画像変換部262は、前処理部261から供給される前処理後撮影画像信号を第1の画像信号とするとともに、その前処理後撮影画像信号に注目処理Ckとしての画像処理を施して得られる画像処理後画像信号を、第2の画像信号として、制御部752からの現在の仮の最適なタップ係数のセットを用い、前処理後撮影画像信号を、画像処理後画像信号に変換する画像変換処理を行う。そして、画像変換部262は、画像変換処理によって得られる画像処理後画像信号を、表示制御部68に供給する。
ステップS806の処理後は、ステップS807に進み、表示制御部68は、制御部752からの表示フォーマット情報が表す注目最適な表示フォーマットBjで、画像変換部262が出力する画像処理後画像信号に対応する画像を、ディスプレイ69に表示させ、ステップS808に進む。
ステップS808では、光検出器70が、ディスプレイ69に表示された画像(表示画像)としての光を検出し(光電変換し)、その光に対応する電気信号である表示画像信号を、評価値算出部71に出力して、ステップS809に進む。
ステップS809では、評価値算出部71が、光検出器70からの表示画像信号、ひいては、ディスプレイ69に表示された画像を評価する。
即ち、評価値算出部71は、光検出器70からの表示画像信号に対応する教師信号を、学習対データ生成部751からの学習対データから得て、表示画像信号と、対応する教師信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ69に表示された画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部752に供給する。
ここで、ステップS805乃至S809の処理は、ステップS802およびS803で生成された学習対データすべてに対して行われる。そして、制御部752は、注目前処理係数セットにつき、学習対データすべてに対して得られた評価値の、例えば総和を求め、その総和を、注目前処理係数セットについての最終的な評価値として、一時記憶する。
その後、ステップS809からステップS810に進み、制御部752は、ステップS801で決定した最適な前処理係数セットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップS810において、最適な前処理係数セットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップS804に戻り、制御部752は、最適な前処理係数セットの複数の候補のうちの、まだ注目前処理係数セットとしていないものの1つを、注目前処理係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップS810において、最適な前処理係数セットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップS811に進み、制御部752は、最適な前処理係数セットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適なタップ構造およびタップ係数のセットの組み合わせに対する最適な前処理係数セットに、新たに仮決定してリターンする。
次に、図50のフローチャートを参照して、図46のステップS749の最適タップ係数セット決定処理について詳述する。
ステップS831において、制御部752は、図23のステップS111の場合と同様に、現在の仮の最適なタップ係数のセットを基準として、あらかじめ決められたルールに基づき、最適なタップ係数のセットの複数の候補を決定する。
ステップS831の処理後は、ステップS832に進み、学習対データ生成部751は、学習データ記憶部61に記憶されている学習データから、制御部752からの信号フォーマット情報が表す注目信号フォーマットAiの画像信号(疑似撮影画像信号)を、生徒信号として生成して、ステップS833に進む。ステップS833では、学習対データ生成部751が、学習データ記憶部61に記憶されている学習データから、制御部752からの処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる画像処理後画像信号として理想的な画像信号を、教師信号として生成する。そして、学習対データ生成部751は、生徒信号としての画像信号と、その生徒信号に対応する教師信号としての画像信号(処理情報が表す注目処理Ckとしての画像処理を生徒信号に施すことにより得られる教師信号)とのセットを、学習対データとして、評価値算出部71および学習部255に供給して、ステップS833からステップS834に進む。
ステップS834では、制御部752は、現在の仮の最適なタップ構造と前処理係数セットに基づく前処理を行うように、前処理部261(図44)を制御する。これにより、前処理部261は、制御部752の制御にしたがい、学習対データ生成部751から学習部255に供給される学習対データのうちの生徒信号としての疑似撮影画像信号に前処理を施し、その結果得られる前処理後撮影画像信号を、画像変換部262に供給する。
即ち、前処理部261は、学習対データ生成部751から供給される疑似撮影画像信号に対応する前処理後撮影画像信号を構成する画素を、順次、注目画素とし、その注目画素について、現在の仮の最適なタップ構造の前処理タップとなる複数の画素の画素値を、学習対データ生成部751から供給される疑似撮影画像信号から抽出する。さらに、前処理部261は、現在の仮の最適な前処理係数セットによって定義される前処理用の関数の演算を、前処理タップとしての画素値を引数として行い、その前処理用の関数の演算結果を、前処理後撮影画像信号の注目画素の画素値として、画像変換部262に供給する。
ステップS835では、制御部752は、最適なタップ係数のセットの複数の候補のうちの、まだ、注目タップ係数セットとしていないものの1つを、注目タップ係数セットに決定し、その注目タップ係数セットを、画像変換部262に供給して、ステップS836に進む。
ステップS836では、画像変換部262は、前処理部261から供給される前処理後撮影画像信号を第1の画像信号とするとともに、その前処理後撮影画像信号に注目処理Ckとしての画像処理を施して得られる画像処理後画像信号を、第2の画像信号として、直前のステップS835で制御部752から供給された注目タップ係数セットを用い、前処理後撮影画像信号を、画像処理後画像信号に変換する画像変換処理を行う。そして、画像変換部262は、画像変換処理によって得られる画像処理後画像信号を、表示制御部68に供給する。
ステップS836の処理後は、ステップS837に進み、表示制御部68は、制御部752からの表示フォーマット情報が表す注目表示フォーマットBjで、学習部255が出力する画像処理後画像信号に対応する画像を、ディスプレイ69に表示させ、ステップS838に進む。
ステップS838では、光検出器70が、ディスプレイ69に表示された表示画像としての光を検出し(光電変換し)、その光に対応する電気信号である表示画像信号を、評価値算出部71に出力して、ステップS839に進む。
ステップS839では、評価値算出部71が、光検出器70からの表示画像信号、ひいては、ディスプレイ69に表示された画像を評価する。
即ち、評価値算出部71は、光検出器70からの表示画像信号に対応する教師信号を、学習対データ生成部751から供給される学習対データから得て、表示画像信号と、対応する教師信号とを比較することにより、表示画像信号の評価、ひいては、ディスプレイ69に表示された画像を見たユーザが感じる画質の評価としての、評価値の算出を行い、制御部752に供給する。
ここで、ステップS834、およびステップS836乃至S839の処理は、ステップS832およびS833で生成された学習対データすべてに対して行われる。そして、制御部752は、注目タップ係数セットにつき、学習対データすべてに対して得られた評価値の、例えば総和を求め、その総和を、注目タップ係数セットについての最終的な評価値として、一時記憶する。
その後、ステップS839からステップS840に進み、制御部752は、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したかどうかを判定する。
ステップS840において、最適なタップ係数のセットの複数の候補のすべてについて、まだ、評価値を算出していないと判定された場合、ステップS835に戻り、制御部752は、最適なタップ係数のセットの複数の候補のうちの、まだ注目タップ係数セットとしていないものの1つを、注目タップ係数セットに新たに決定し、以下、同様の処理が繰り返される。
また、ステップS840において、最適なタップ係数のセットの複数の候補のすべてについて、評価値を算出したと判定された場合、ステップS841に進み、制御部752は、最適なタップ係数のセットの複数の候補のうちの、評価値が最も高い候補を、現在の仮の最適なタップ構造および前処理係数セットの組み合わせに対する最適なタップ係数のセットに、新たに仮決定してリターンする。
次に、図51は、画像を処理する画像処理システムの第5の構成例を示している。
図51において、画像処理システムは、カメラ1001、送信装置1002、受信装置1003、および表示装置1004から構成されている。
カメラ1001は、物体(被写体)を撮影し、その撮影によって得られる画像信号として、既存の信号フォーマットである、例えば、D1フォーマットのSD画像信号を出力する。
即ち、カメラ1001は、イメージャ1011、画像変換部1012、およびI/F(Interface)1013から構成される。
イメージャ1011は、例えば、CCDやCMOSイメージャなどの光電変換素子であり、そこに入射する光を光電変換し、その結果得られる電気信号である、所定の信号フォーマットのSD画像信号、即ち、例えば、ベイヤフォーマットのSD画像信号を出力する。
イメージャ1011が出力するベイヤフォーマットのSD画像信号は、画像変換部1012に供給される。画像変換部1012は、イメージャ1011からのベイヤフォーマットのSD画像信号を、後段のI/F1013から出力することができるD1フォーマットのSD画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるD1フォーマットのSD画像信号を、I/F1013に供給する。
I/F1013は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、画像変換部1012から供給されるD1フォーマットのSD画像信号を外部に出力する。
カメラ1001のI/F1013から出力されるD1フォーマットのSD画像信号は、有線または無線による通信によって、送信装置1002に送信される。
送信装置1002は、カメラ1001からのD1フォーマットのSD画像信号を受信し、例えば、テレビジョン放送信号として送信する。
即ち、送信装置1002は、I/F1021、画像変換部1022、信号処理部1023、画像変換部1024、およびI/F1025から構成される。
I/F1021は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、カメラ1001(のI/F1013)からのD1フォーマットのSD画像信号を受信し、画像変換部1022に供給する。
画像変換部1022は、コンポーネント信号である、I/F1021からのD1フォーマットのSD画像信号を、後段の信号処理部1023で処理することができる、例えば、コンポジット信号のSD画像信号に変換する画像変換処理を行い、その結果得られるコンポジット信号のSD画像信号を、信号処理部1023に供給する。
信号処理部1023は、画像変換部1022からのコンポジット信号のSD画像信号に対して所定の信号処理を施し、その信号処理の結果得られるコンポジット信号のSD画像信号を、画像変換部1024に供給する。
画像変換部1024は、信号処理部1023からのコンポジット信号のSD画像信号を、後段のI/F1025から出力することができるD1フォーマットのSD画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるD1フォーマットのSD画像信号を、I/F1025に供給する。
I/F1025は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、画像変換部1024から供給されるD1フォーマットのSD画像信号を外部に出力する。
送信装置1002のI/F1025から出力されるD1フォーマットのSD画像信号は、有線または無線による通信によって、テレビジョン放送信号として、受信装置1003に送信される。
受信装置1003は、例えば、テレビジョン放送信号を受信するチューナなどであり、送信装置1002から送信されてくるD1フォーマットのSD画像信号を受信する。
即ち、受信装置1003は、I/F1031、画像変換部1032、信号処理部1033、画像変換部1034、およびI/F1035から構成される。
I/F1031は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、送信装置1002(のI/F1025)からのD1フォーマットのSD画像信号を受信し、画像変換部1032に供給する。
画像変換部1032は、I/F1031からのD1フォーマットのSD画像信号を、後段の信号処理部1033で処理することができる、例えば、輝度信号と色差信号(以下、両方まとめてY/C信号という)に変換する画像変換処理を行い、その結果得られるY/C信号を、信号処理部1033に供給する。
信号処理部1033は、画像変換部1032からのY/C信号に対して所定の信号処理を施し、その信号処理の結果得られるY/C信号を、画像変換部1034に供給する。
画像変換部1034は、信号処理部1033からのY/C信号を、後段のI/F1035から出力することができるD1フォーマットのSD画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるD1フォーマットのSD画像信号を、I/F1035に供給する。
I/F1035は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、画像変換部1034から供給されるD1フォーマットのSD画像信号を外部に出力する。
受信装置1003のI/F1035から出力されるD1フォーマットのSD画像信号は、有線または無線による通信によって、表示装置1004に送信される。
表示装置1004は、例えば、受信装置1003からのD1フォーマットのSD画像信号を受信し、対応する画像を表示する。
即ち、表示装置1004は、I/F1041、画像変換部1042、表示制御部1043、およびディスプレイ1044から構成される。
I/F1041は、D1フォーマットのSD画像信号の入出力を行うためのインタフェースで、受信装置1003(のI/F1035)からのD1フォーマットのSD画像信号を受信し、画像変換部1042に供給する。
画像変換部1042は、I/F1041からのD1フォーマットのSD画像信号を、後段の表示制御部1043でディスプレイ1044への表示をすることができる、例えば、1画素につき、R,G,Bの色成分を画素値として有するRGB画像信号に変換する画像変換処理を行い、その結果得られるRGB画像信号を、表示制御部1043に供給する。
表示制御部1043は、画像変換部1042からのRGB画像信号に対応する画像を、ディスプレイ1044に表示させる。
ディスプレイ1044は、CRTやLCDパネル等で構成され、既存の表示フォーマットである、例えば、ストライプで画像を表示する。
以上のように構成される画像処理システムでは、カメラ1001において、撮影によって得られたベイヤフォーマットのSD画像信号を、画像変換部1012の画像変換処理によって、装置間でのやりとりに適したD1フォーマットのSD画像信号に変換して出力する。
カメラ1001が出力したD1フォーマットのSD画像信号は、送信装置1002に供給される。送信装置1002は、カメラ1001からのD1フォーマットのSD画像信号を、画像変換部1022の画像変換処理によって、内部の信号処理部1023の信号処理に適したコンポジット信号のSD画像信号に変換し、信号処理を施す。さらに、送信装置1002は、信号処理後のコンポジット信号のSD画像信号を、画像変換部1024の画像変換処理によって、装置間でのやりとりに適したD1フォーマットのSD画像信号に変換して送信する。
送信装置1002が送信したD1フォーマットのSD画像信号は、受信装置1003において受信される。受信装置1003は、送信装置1002からのD1フォーマットのSD画像信号を、画像変換部1032の画像変換処理によって、内部の信号処理部1033の信号処理に適したY/C信号に変換し、信号処理を施す。さらに、受信装置1003は、信号処理後のY/C信号を、画像変換部1034の画像変換処理によって、装置間でのやりとりに適したD1フォーマットのSD画像信号に変換して出力する。
受信装置1003が出力したD1フォーマットのSD画像信号は、表示装置1004に供給される。表示装置1004は、受信装置1003からのD1フォーマットのSD画像信号を、ディスプレイ1044への表示に適したRGB画像信号に変換し、そのRGB画像信号に対応する画像を表示する。
以上のように、図51の画像処理システムを構成するカメラ1001、送信装置1002、および受信装置1003のいずれも、既存の信号フォーマットであるD1フォーマットのSD画像信号を出力するので、D1フォーマットの画像信号を入力するI/Fを有する装置は、カメラ1001、送信装置1002、および受信装置1003のいずれの出力も受け付ける(入力する)ことができる。
また、図51の画像処理システムを構成する送信装置1002、受信装置1003、および表示装置1004のいずれも、既存の信号フォーマットであるD1フォーマットのSD画像信号を受け付けることができるので、送信装置1002、受信装置1003、および表示装置1004は、D1フォーマットの画像信号を出力するI/Fを有する装置であれば、どのような装置の出力であっても受け付けることができる。
ところで、図51の画像処理システムでは、カメラ1001、送信装置1002、受信装置1003、および表示装置1004において、1の信号を他の1の信号に変換する処理が行われる。
即ち、カメラ1001では、ベイヤフォーマットのSD画像信号をD1フォーマットのSD画像信号に変換する処理が行われ、送信装置1002では、D1フォーマットのSD画像信号をコンポジット信号のSD画像信号に変換する処理と、コンポジット信号のSD画像信号をD1フォーマットのSD画像信号に変換する処理とが行われる。また、受信装置1003では、D1フォーマットのSD画像信号をY/C信号に変換する処理と、Y/C信号をD1フォーマットのSD画像信号に変換する処理とが行われ、表示装置1004では、D1フォーマットのSD画像信号をRGB画像信号に変換する処理が行われる。
1の信号を他の1の信号に変換する処理では、一般に、信号成分のロス(S/Nの低下を含む)が生じるが、クラス分類適応処理による画像変換処理によれば、クラス分類適応処理は、上述したように、信号成分の創造作用がある処理であるため、信号成分のロスを最小限に抑えること(より低減すること)ができる。
そこで、図51の画像処理システムのカメラ1001、送信装置1002、受信装置1003、および表示装置1004では、1の信号を他の1の信号に変換する処理に、クラス分類適応処理による画像変換処理が採用されている。
即ち、図51において、カメラ1001の画像変換部1012、送信装置1002の画像変換部1022および1024、受信装置1003の画像変換部1032および1034、並びに表示装置1004の画像変換部1042は、クラス分類適応処理による画像変換処理を行う。
図52は、図51の画像変換部1012の構成例を示している。
画像変換部1012は、タップ抽出部1061および1062、クラス分類部1063、係数メモリ1064、並びに予測部1065から構成される。
画像変換部1012には、イメージャ1011からのベイヤフォーマットのSD画像信号が、第1の画像信号として供給される。そして、第1の画像信号としてのSD画像信号は、タップ抽出部1061および1062に供給される。
タップ抽出部1061は、第1の画像信号としてのベイヤフォーマットのSD画像信号を変換して得ようとするD1フォーマットのSD画像信号を、第2の画像信号(この第2の画像信号としてのHD画像信号は、これから求めようとする画像信号であり、現段階では存在しないため、仮想的に想定される)として、その第2の画像信号を構成する画素を、順次、注目画素とし、さらに、その注目画素の画素値を予測するのに用いる複数の画素の画素値である予測タップを、第1の画像信号から抽出する。
具体的には、タップ抽出部1061は、注目画素に対応する、第1の画像信号の画像の位置(例えば、注目画素の位置に映っているのと同一の被写体の部分が映っている第1の画像信号の画像上の位置)に対して、空間的または時間的に近い位置関係にある複数の画素(例えば、注目画素に対応する、第1の画像信号の画像上の位置に最も近い画素と、その画素に空間的に隣接する画素など)の画素値を、予測タップとして抽出する。
タップ抽出部1062は、注目画素を、幾つか(複数)のクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる複数の画素の画素値であるクラスタップを、第1の画像信号から抽出する。
タップ抽出部1061で得られた予測タップは、予測部1065に供給され、タップ抽出部1062で得られたクラスタップは、クラス分類部1063に供給される。
クラス分類部1063は、タップ抽出部1062からのクラスタップに基づき、注目画素をクラス分類し、その結果得られる注目画素のクラスを、係数メモリ1064に供給する。
ここで、クラス分類を行う方法としては、図4のクラス分類部43で説明したのと同様の方法を採用することができる。
係数メモリ1064は、学習に用いられる学習データとして用意された高画質の画像信号から生成された、第1の画像信号と第2の画像信号とにそれぞれ相当する生徒信号としての画像信号と教師信号としての画像信号との組み合わせである学習対データを用いた学習によってあらかじめ求められているクラスごとのタップ係数(のセット)を記憶している。即ち、係数メモリ1064は、クラス分類部1063で注目画素がクラス分類されうる複数のクラスそれぞれについて、タップ係数のセットを記憶している。係数メモリ1064は、クラスごとのタップ係数のセットのうちの、クラス分類部1063から供給されるクラスコードが表すクラス、つまり、注目画素のクラスのタップ係数のセットを出力する。
予測部1065は、タップ抽出部1061が出力する予測タップと、係数メモリ1064が出力するタップ係数とを取得し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測部1065は、注目画素の画素値(の予測値)、即ち、第2の画像信号を構成する画素の画素値を求めて出力する。
次に、図53のフローチャートを参照して、図52の画像変換部1012が行う画像変換処理について説明する。
タップ抽出部1061では、イメージャ1011から供給される第1の画像信号としてのSD画像信号に対応する第2の画像信号としてのD1フォーマットのSD画像信号を構成する各画素が、順次、注目画素とされる。そして、ステップS1001において、タップ抽出部1061と1062が、そこに供給される第1の画像信号から、注目画素についての予測タップとクラスタップとする画素の画素値を、それぞれ抽出する。そして、予測タップは、タップ抽出部1061から予測部1065に供給され、クラスタップは、タップ抽出部1062からクラス分類部1063に供給される。
クラス分類部1063は、タップ抽出部1062から、注目画素についてのクラスタップを受信し、ステップS1002において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部1063は、そのクラス分類の結果得られる注目画素のクラスを、係数メモリ1064に出力し、ステップS1003に進む。
ステップS1003では、係数メモリ1064が、クラス分類部1063から供給されるクラスコードが表すクラスのタップ係数、即ち、注目画素のクラスのタップ係数を読み出して出力し、ステップS1004に進む。係数メモリ1064が出力するタップ係数は、予測部1065において取得される。
ステップS1004では、予測部1065が、タップ抽出部1061が出力した予測タップと、係数メモリ1064から取得したタップ係数とを用いて、所定の予測演算としての式(1)の演算を行うことにより、注目画素の画素値、即ち、第2の画像信号の画素の画素値を求める。予測部1065は、以上のようにして、第2の画像信号の画素の画素値を、例えば1フレーム分求めるごとに、その第2の画像信号であるD1フォーマットのSD画像信号を出力する。
次に、図54は、図52の係数メモリ1064に記憶されるタップ係数のセットを求める学習処理を行う学習装置の構成例を示している。
図54の学習装置は、学習データ記憶部1071、学習対データ生成部1072、タップ抽出部1073,1074、クラス分類部1075、正規方程式生成部1076、およびタップ係数算出部1077から構成され、上述した正規方程式を用いる学習方法、つまり、式(8)の正規方程式を、クラスごとにたてて解く学習方法による学習を行うことにより、クラスごとのタップ係数を求める。
学習データ記憶部1071は、学習データとして、例えば、SHD画像信号、HD画像信号、またはSD画像信号を記憶している。
学習対データ生成部1072は、学習データ記憶部1071に記憶されている学習データとしての画像信号のフレームを、順次、注目フレームとして、注目フレームから、生徒信号としての、第1の画像信号に相当するベイヤフォーマットのSD画像信号と、教師信号としての、第2の画像信号に相当するD1フォーマットのSD画像信号とを生成し、その生徒信号としてのSD画像信号と、教師信号としてのSD画像信号とのセットを、学習対データとして、タップ抽出部1073および1074、並びに正規方程式生成部1076に供給する。
タップ抽出部1073は、学習対データ生成部1072から供給される学習対データのうちの教師信号としてのD1フォーマットのSD画像信号の画素を、順次、注目画素として、その注目画素について、学習対データのうちの生徒信号としてのベイヤフォーマットのSD画像信号から、予測タップとする画素の画素値を抽出し、図52の画像変換部1012を構成するタップ抽出部1061で得られるのと同一のタップ構造の予測タップを、正規方程式生成部1076に供給する。
タップ抽出部1074は、注目画素について、学習対データ生成部1072から供給されるベイヤフォーマットのSD画像信号から、クラスタップとする画素の画素値を抽出し、図52の画像変換部1012を構成するタップ抽出部1062で得られるのと同一のタップ構造のクラスタップを、クラス分類部1075に供給する。
クラス分類部1075は、タップ抽出部1074から供給されるクラスタップに基づき、図52の画像変換部1012を構成するクラス分類部1063と同様にして、注目画素をクラス分類し、その結果得られる注目画素のクラスを、正規方程式生成部1076に供給する。
正規方程式生成部1076は、学習対データ生成部1072から供給される学習対データの教師信号としてのD1フォーマットのSD画像信号のうちの、注目画素(の画素値)ykと、タップ抽出部1061から供給される注目画素についての予測タップを構成する画素(の画素値)xn,kとを対象とした足し込みを、クラス分類部1075から供給されるクラスごとに行う。
即ち、正規方程式生成部1076は、クラス分類部1075から供給されるクラスごとに、タップ抽出部1073から供給される注目画素についての予測タップを構成するベイヤフォーマットのSD画像信号の画素(第1の画素)xn,kを用い、式(8)の左辺の行列における第1の画素どうしの乗算(xn,kxn',k)と、サメーション(Σ)に相当する演算を行う。
さらに、正規方程式生成部1076は、やはり、クラス分類部1075から供給されるクラスごとに、第1の画素xn,kとD1フォーマットのSD画像信号の画素(注目画素)ykを用い、式(8)の右辺のベクトルにおける、第1の画素xn,kおよび注目画素ykの乗算(xn,kyk)と、サメーション(Σ)に相当する演算を行う。
即ち、正規方程式生成部1076は、前回、注目画素とされたD1フォーマットのSD画像信号の画素(第2の画素)について求められた式(8)における左辺の行列のコンポーネント(Σxn,kxn',k)と、右辺のベクトルのコンポーネント(Σxn,kyk)を、その内蔵するメモリ(図示せず)に記憶している。
そして、正規方程式生成部1076は、メモリに記憶している行列のコンポーネント(Σxn,kxn',k)に対して、新たに注目画素とされた第2の画素についての予測タップを構成する第1の画素xn,k+1を用いて計算される、対応するコンポーネントxn,k+1xn',k+1を足し込む(式(8)における左辺の行列内のサメーションで表される加算を行う)とともに、メモリに記憶しているベクトルのコンポーネント(Σxn,kyk)に対して、新たに注目画素とされた第2の画素について、その第2の画素yk+1および第1の画素xn,k+1を用いて計算される、対応するコンポーネントxn,k+1yk+1を足し込む(式(8)における右辺のベクトル内のサメーションで表される加算を行う)。
正規方程式生成部1076は、学習対データ生成部1072から供給される学習対データの教師信号としてのD1フォーマットのSD画像信号の画素すべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式(8)に示した正規方程式をたてると、その正規方程式を、タップ係数算出部1077に供給する。
タップ係数算出部1077は、正規方程式生成部1076から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数(式(4)の自乗誤差の総和Eを最小にするタップ係数)wnのセットを求める。
次に、図55のフローチャートを参照して、図54の学習装置が行う、タップ係数のセットを求める学習処理について説明する。
図54の学習装置では、ステップS1011において、学習対データ生成部1072が、学習データ記憶部1071に記憶されている学習データから、生徒信号としてのベイヤフォーマットのSD画像信号と、教師信号としてのD1フォーマットのSD画像信号とを生成し、その生徒信号としてのSD画像信号と、教師信号としてのSD画像信号とのセットを、学習対データとして、タップ抽出部1073および1074、並びに正規方程式生成部1076に供給して、ステップS1012に進む。
ステップS1012では、タップ抽出部1073が、学習対データ生成部1072から供給される学習対データのうちの教師信号としてのD1フォーマットのSD画像信号の画素を、順次、注目画素として、その注目画素について、予測タップとなる画素の画素値を、学習対データのうちの生徒信号としてのベイヤフォーマットのSD画像信号から抽出し、正規方程式生成部1076に供給する。
また、タップ抽出部1074が、注目画素について、クラスタップとなる画素の画素値を、学習対データのうちの生徒信号としてのベイヤフォーマットのSD画像信号から抽出し、クラス分類部1075に供給する。
クラス分類部1075は、ステップS1013において、タップ抽出部1074からのクラスタップに基づき、注目画素をクラス分類し、その結果得られる注目画素のクラスを、正規方程式生成部1076に供給して、ステップS1014に進む。
ステップS1014では、正規方程式生成部1076は、学習対データ生成部1072からの学習対データのうちの、注目画素(の画素値)と、タップ抽出部1073から供給される注目画素について得られた予測タップを構成するベイヤフォーマットのSD画像信号の画素(の画素値)とを対象として、クラス分類部1075から供給されるクラスについてたてられた式(8)の足し込みを、上述したように行う。
そして、正規方程式生成部1076は、学習対データ生成部1072から供給された学習対データの教師信号としてのD1フォーマットのSD画像信号の画素すべてを注目画素として、ステップS1014の足し込みを行うと、その足し込みによって得られた各クラスの正規方程式(クラスごとの式(8)における左辺の行列と、右辺のベクトル)を、タップ係数算出部1077に供給して、ステップS1014からステップS1015に進む。
ステップS1015では、タップ係数算出部1077は、正規方程式生成部1076から供給される各クラスの正規方程式(クラスごとの式(8)における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式)を解くことにより、各クラスごとのタップ係数のセットを求める。
以上の学習処理においてタップ係数算出部1077で求められたタップ係数のセットが、図52の画像変換部1012を構成する係数メモリ1064に記憶されている。
なお、図51のカメラ1001の画像変換部1012の他、送信装置1002の画像変換部1022および1024、受信装置1003の画像変換部1032および1034、並びに表示装置1004の画像変換部1042も、図52に示したように構成される。但し、係数メモリ1064に記憶されるタップ係数のセットは、画像変換部1012,1022,1024,1032,1034,1042それぞれごとに異なる。
即ち、ベイヤフォーマットのSD画像信号をD1フォーマットの画像信号に変換する画像変換部1012を構成する係数メモリ1064には、上述したように、学習データとしての画像信号から生成されたベイヤフォーマットのSD画像信号と、D1フォーマットのSD画像信号を、それぞれ、生徒信号と教師信号として図55の学習処理を行うことにより得られるタップ係数のセットが記憶される。
また、D1フォーマットのSD画像信号をコンポジット信号のSD画像信号に変換する画像変換部1022を構成する係数メモリ1064には、学習データとしての画像信号から生成されたD1フォーマットのSD画像信号と、コンポジット信号のSD画像信号を、それぞれ、生徒信号と教師信号として図55の学習処理を行うことにより得られるタップ係数のセットが記憶される。
さらに、コンポジット信号のSD画像信号をD1フォーマットのSD画像信号に変換する画像変換部1024を構成する係数メモリ1064には、学習データとしての画像信号から生成されたコンポジット信号のSD画像信号と、D1フォーマットのSD画像信号を、それぞれ、生徒信号と教師信号として図55の学習処理を行うことにより得られるタップ係数のセットが記憶される。
同様に、D1フォーマットのSD画像信号をY/C信号に変換する画像変換部1032を構成する係数メモリ1064には、学習データとしての画像信号から生成されたD1フォーマットのSD画像信号と、Y/C信号を、それぞれ、生徒信号と教師信号として図55の学習処理を行うことにより得られるタップ係数のセットが記憶され、Y/C信号をD1フォーマットのSD画像信号に変換する画像変換部1034を構成する係数メモリ1064には、学習データとしての画像信号から生成されたY/C信号と、D1フォーマットのSD画像信号を、それぞれ、生徒信号と教師信号として図55の学習処理を行うことにより得られるタップ係数のセットが記憶される。
また、D1フォーマットのSD画像信号をRGB画像信号に変換する画像変換部1042を構成する係数メモリ1064には、学習データとしての画像信号から生成されたD1フォーマットのSD画像信号と、RGB画像信号を、それぞれ、生徒信号と教師信号として図55の学習処理を行うことにより得られるタップ係数のセットが記憶される。
次に、図56は、画像を処理する画像処理システムの第6の構成例を示している。
なお、図中、図51の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図56において、画像処理システムは、カメラ1101、送信装置1102、受信装置1103、および表示装置1104から構成されている。
カメラ1101は、物体(被写体)を撮影し、その撮影によって得られる画像信号として、既存の信号フォーマットである、例えば、D1フォーマットのSD画像信号を出力する。
即ち、カメラ1101は、イメージャ1011、画像変換部1111、およびI/F(Interface)1112から構成される。
画像変換部1111には、イメージャ1011が出力するベイヤフォーマットのSD画像信号が供給される。画像変換部1111は、イメージャ1011からのベイヤフォーマットのSD画像信号を、後段の送信装置1102で処理することができるコンポジット信号のSD画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるコンポジット信号のSD画像信号を、I/F1112に供給する。
I/F1112は、コンポジット信号のSD画像信号の入出力を行うためのインタフェースで、画像変換部1111から供給されるコンポジット信号のSD画像信号を外部に出力する。
カメラ1101のI/F1112から出力されるコンポジット信号のSD画像信号は、有線または無線による通信によって、送信装置1102に送信される。
送信装置1102は、カメラ1101からのコンポジット信号のSD画像信号を受信し、例えば、テレビジョン放送信号として送信する。
即ち、送信装置1102は、I/F1121、信号処理部1023、画像変換部1122、およびI/F1123から構成される。
I/F1121は、コンポジット信号のSD画像信号の入出力を行うためのインタフェースで、カメラ1101(のI/F1112)からのコンポジット信号のSD画像信号を受信し、コンポジット信号を処理することができる信号処理部1023に供給する。
画像変換部1122は、信号処理部1023が出力するコンポジット信号のSD画像信号を、後段の受信装置1103で処理することができるY/C信号に変換する画像変換処理を行い、その画像変換処理によって得られるY/C信号を、I/F1123に供給する。
I/F1123は、Y/C信号の入出力を行うためのインタフェースで、画像変換部1122から供給されるY/C信号を外部に出力する。
送信装置1102のI/F1123から出力されるY/C信号は、有線または無線による通信によって、テレビジョン放送信号として、受信装置1103に送信される。
受信装置1103は、例えば、テレビジョン放送信号を受信するチューナなどであり、送信装置1102から送信されてくるY/C信号を受信する。
即ち、受信装置1103は、I/F1131、信号処理部1033、画像変換部1132、およびI/F1133から構成される。
I/F1131は、Y/C信号の入出力を行うためのインタフェースで、送信装置1102(のI/F1123)からのY/C信号を受信し、Y/C信号を処理することができる信号処理部1033に供給する。
画像変換部1132は、信号処理部1033が出力するY/C信号を、後段の表示装置1104での表示に用いることができるRGB画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるRGB画像信号を、I/F1133に供給する。
I/F1133は、RGB画像信号の入出力を行うためのインタフェースで、画像変換部1132から供給されるRGB画像信号を外部に出力する。
受信装置1103のI/F1133から出力されるRGB画像信号は、有線または無線による通信によって、表示装置1104に送信される。
表示装置1104は、例えば、受信装置1103からのRGB画像信号を受信し、対応する画像を表示する。
即ち、表示装置1104は、I/F1141、表示制御部1043、およびディスプレイ1044から構成される。
I/F1141は、RGB画像信号の入出力を行うためのインタフェースで、受信装置1103(のI/F1133)からのRGB画像信号を受信し、RGB画像信号に対応する画像の表示を制御する表示制御部1043に供給する。
以上のように構成される画像処理システムでは、カメラ1101において、撮影によって得られたベイヤフォーマットのSD画像信号を、画像変換部1111の画像変換処理によって、後段の送信装置1102での処理に適したコンポジット信号のSD画像信号に変換して出力する。
送信装置1102では、信号処理部1023において、カメラ1101からのコンポジット信号のSD画像信号に信号処理が施され、信号処理後のコンポジット信号のSD画像信号が、画像変換部1122の画像変換処理によって、後段の受信装置1103での処理に適したY/C信号に変換されて送信される。
受信装置1103は、信号処理部1033において、送信装置1102からのY/C信号に信号処理を施し、信号処理後のY/C信号を、画像変換部1132の画像変換処理によって、後段の表示装置1104での処理に適したRGB画像信号に変換して出力する。
そして、表示装置1104では、表示制御部1043が、受信装置1103からのRGB画像信号に対応する画像を、ディスプレイ1044に表示する。
以上のように、図56の画像処理システムでは、カメラ1101が、後段の送信装置1102の処理に適したコンポジット信号のSD画像信号を出力し、送信装置1102が、やはり後段の受信装置1103の処理に適したY/C信号を出力する。同様に、受信装置1103も、後段の表示装置1104の処理に適したRGB画像信号を出力する。
従って、図56の画像処理システムでは、送信装置1102は、D1フォーマットのSD画像信号を、信号処理部1023での処理に適したコンポジット信号のSD画像信号に変換する画像変換部1022(図51)を設けずに構成することができる。
また、受信装置1103は、D1フォーマットのSD画像信号を、信号処理部1033での処理に適したY/C信号に変換する画像変換部1032(図51)を設けずに構成することができる。同様に、表示装置1104も、D1フォーマットのSD画像信号を、表示制御部1043での画像の表示に適したRGB画像信号に変換する画像変換部1042(図51)を設けずに構成することができる。
なお、図56の画像処理システムのカメラ1101の画像変換部1111、送信装置1102の画像変換部1122、および受信装置1103の画像変換部1132でも、信号成分のロスを最小限に抑える(より低減する)ために、画像変換処理には、クラス分類適応処理を採用することができる。
この場合、画像変換部1111,1122、および1132は、図52に示した画像変換部1012と同様に構成される。但し、係数メモリ1064(図51)に記憶されるタップ係数のセットは、画像変換部1111,1122,1132それぞれごとに異なる。
即ち、ベイヤフォーマットのSD画像信号をコンポジット信号の画像信号に変換する画像変換部1111を構成する係数メモリ1064には、学習データとしての画像信号から生成されたベイヤフォーマットのSD画像信号と、コンポジット信号のSD画像信号を、それぞれ、生徒信号と教師信号として図55の学習処理を行うことにより得られるタップ係数のセットが記憶される。
また、コンポジット信号のSD画像信号をY/C信号に変換する画像変換部1122を構成する係数メモリ1064には、学習データとしての画像信号から生成されたコンポジット信号のSD画像信号と、Y/C信号を、それぞれ、生徒信号と教師信号として図55の学習処理を行うことにより得られるタップ係数のセットが記憶される。
さらに、Y/C信号をRGB画像信号に変換する画像変換部1132を構成する係数メモリ1064には、学習データとしての画像信号から生成されたY/C信号と、RGB画像信号を、それぞれ、生徒信号と教師信号として図55の学習処理を行うことにより得られるタップ係数のセットが記憶される。
次に、図57は、画像を処理する画像処理システムの第7の構成例を示している。
なお、図中、図51または図56の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図57において、画像処理システムは、カメラ1201と表示装置1104から構成されている。
カメラ1201は、物体(被写体)を撮影し、その撮影によって得られる画像信号として、後段の表示装置1104での表示に用いることができるRGB画像信号を出力する。
即ち、カメラ1201は、イメージャ1011、画像変換部1211、およびI/F1212から構成される。
画像変換部1211には、イメージャ1011が出力するベイヤフォーマットのSD画像信号が供給される。画像変換部1211は、イメージャ1011からのベイヤフォーマットのSD画像信号を、後段の表示装置1104での表示に用いることができるRGB画像信号に変換する画像変換処理を行い、その画像変換処理によって得られるRGB画像信号を、I/F1212に供給する。
I/F1212は、RGB画像信号の入出力を行うためのインタフェースで、画像変換部1211から供給されるRGB画像信号を外部に出力する。
カメラ1201のI/F1212から出力されるRGB画像信号は、有線または無線による通信によって、表示装置1202に供給される。
以上のように構成される画像処理システムでは、カメラ1201において、撮影によって得られたベイヤフォーマットのSD画像信号を、画像変換部1211の画像変換処理によって、後段の表示装置1104での処理に適したRGB画像信号に変換して出力する。
そして、表示装置1104では、表示制御部1043が、カメラ1201からのRGB画像信号に対応する画像を、ディスプレイ1044に表示する。
以上のように、図57の画像処理システムでは、カメラ1201が、後段の表示装置1104の処理に適したRGB画像信号を出力する。
従って、図57の画像処理システムでは、図56の場合と同様に、表示装置1104は、D1フォーマットのSD画像信号を、表示制御部1043での画像の表示に適したRGB画像信号に変換する画像変換部1042(図51)を設けずに構成することができる。
なお、図57の画像処理システムのカメラ1201の画像変換部1211でも、信号成分のロスを最小限に抑える(より低減する)ために、画像変換処理には、クラス分類適応処理を採用することができる。
この場合、画像変換部1211は、図52に示した画像変換部1012と同様に構成される。但し、係数メモリ1064(図52)に記憶されるタップ係数のセットは、学習データとしての画像信号から生成されたベイヤフォーマットのSD画像信号と、RGB画像信号を、それぞれ、生徒信号と教師信号として図55の学習処理を行うことにより得られるタップ係数のセットである必要がある。
図56や図57の画像処理システムのように、前段の装置(例えば、図57のカメラ1201)において、内部で得たある信号フォーマットの画像信号(例えば、ベイヤフォーマットのSD画像信号)を、後段の装置(例えば、図57の表示装置1104)での処理に適した信号フォーマットの画像信号(例えば、RGB画像信号)を出力することにより、後段の装置は、前段の装置のように、後段の装置での処理に適した信号フォーマットの画像信号を出力する装置にしか接続することができなくなるが(前段の装置は、その前段の装置が出力する信号フォーマットの画像信号を受け付けることができる、後段の装置のような装置にしか接続することができなくなるが)、後段の装置では、前段の装置からの画像信号の信号フォーマットを変換せずに、信号処理を行うことができる。
なお、図56や図57の画像処理システムでは、前段の装置において、内部で得たある信号フォーマットの画像信号を、後段の装置での処理に適した信号フォーマットの画像信号を出力するようにしたが、その他、前段の装置では、内部で得たある信号フォーマットの画像信号をそのまま出力し、後段の装置では、前段の装置が出力する画像信号を、後段の装置の処理に適した信号フォーマットの画像信号に変換してから、信号処理を行うようにすることが可能である。
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図58は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク2005やROM2003に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体2011に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体2011は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体2011からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部2008で受信し、内蔵するハードディスク2005にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)2002を内蔵している。CPU2002には、バス2001を介して、入出力インタフェース2010が接続されており、CPU2002は、入出力インタフェース2010を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部2007が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)2003に格納されているプログラムを実行する。あるいは、また、CPU2002は、ハードディスク2005に格納されているプログラム、衛星若しくはネットワークから転送され、通信部2008で受信されてハードディスク2005にインストールされたプログラム、またはドライブ2009に装着されたリムーバブル記録媒体2011から読み出されてハードディスク2005にインストールされたプログラムを、RAM(Random Access Memory)2004にロードして実行する。これにより、CPU2002は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU2002は、その処理結果を、必要に応じて、例えば、入出力インタフェース2010を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部2006から出力、あるいは、通信部2008から送信、さらには、ハードディスク2005に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
また、プログラムは、1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
1 カメラ, 2 表示装置, 11 画像変換部, 12 表示制御部, 13 ディスプレイ, 41,42 タップ抽出部, 43 クラス分類部, 44 係数メモリ, 45 予測部, 61 学習データ記憶部, 62 疑似撮影画像生成部, 63,64 タップ抽出部, 65 クラス分類部, 66 係数メモリ, 67 予測部, 68 表示制御部, 69 ディスプレイ, 70 光検出器, 71 評価値算出部, 72 制御部, 73 画像変換部, 255 学習部, 261 前処理部, 262 画像変換部, 601 カメラ, 602 送信装置, 603 受信装置, 604 フォーマット変換部, 605 表示装置, 611 信号取得部, 612 信号変換部, 613 表示フォーマット取得部, 621 画像変換部, 622 表示制御部, 623 ディスプレイ, 631,632 タップ抽出部, 633 クラス分類部, 634 係数メモリ, 635 予測部, 636 係数選択部, 641 学習データ記憶部, 642 学習対データ生成部, 643 制御部, 644,645 タップ抽出部, 646 クラス分類部, 647 正規方程式生成部, 648 タップ係数算出部, 651 係数メモリ, 661 制御部, 671,701 カメラ, 702 表示装置, 711 画像処理部, 712 前処理部, 713 画像変換部, 714 表示制御部, 715 ディスプレイ, 716 信号フォーマット取得部, 717 表示フォーマット取得部, 718 操作部, 719 制御部, 731 前処理タップ抽出部, 732 前処理演算部, 733,741 係数メモリ, 751 学習対データ生成部, 752 制御部, 1001 カメラ, 1002 送信装置, 1003 受信装置, 1004 表示装置, 1011 イメージャ, 1012 画像変換部, 1013,1021 I/F, 1022 画像変換部, 1023 信号処理部, 1024 画像変換部, 1025,1031 I/F, 1032 画像変換部, 1033 信号処理部, 1034 画像変換部, 1035,1041 I/F, 1042 画像変換部, 1043 表示制御部, 1044 ディスプレイ, 1061,1062 タップ抽出部, 1063 クラス分類部, 1064 係数メモリ, 1065 予測部, 1071 学習データ記憶部, 1072 学習対データ生成部, 1073 1074 タップ抽出部, 1075 クラス分類部, 1076 正規方程式生成部, 1077 タップ係数算出部, 1101 カメラ, 1102 送信装置, 1103 受信装置, 1104 表示装置, 1111 画像変換部, 1112,1121 I/F, 1122 画像変換部, 1123,1131 I/F, 1132 画像変換部, 1133,1141 I/F, 1201 カメラ, 1211 画像変換部, 1212 I/F, 2001 バス, 2002 CPU, 2003 ROM, 2004 RAM, 2005 ハードディスク, 2006 出力部, 2007 入力部, 2008 通信部, 2009 ドライブ, 2010 入出力インタフェース, 2011 リムーバブル記録媒体