JP3757560B2

JP3757560B2 - 画像信号の変換装置および変換方法

Info

Publication number: JP3757560B2
Application number: JP20682897A
Authority: JP
Inventors: 知之大月; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-07-31
Filing date: 1997-07-31
Publication date: 2006-03-22
Anticipated expiration: 2017-07-31
Also published as: JPH1155537A

Description

【０００１】
【発明の属する技術分野】
この発明は、入力画像信号をこれより画素数の多い出力画像信号に変換する画像信号の変換装置および変換方法に関する。詳しくは、入力画像信号に係る撮像対象を構成する各画素領域の色分布の推定結果に基づいて、出力画像信号に係る各画素領域の色分布を求め、この色分布に基づき入力画像信号を構成する各画素の信号を使用して出力画像信号を構成する各画素の信号を得ることによって、解像度の向上した自然な出力画像を得ようとした画像信号の変換装置および変換方法に係るものである。
【０００２】
【従来の技術】
従来、入力画像信号をこれより画素数の多い出力画像信号に変換する画像信号変換装置が提案されている。この種の変換装置においては、例えば入力画像信号を構成する各画素の信号より補間画素の信号を生成することで、出力画像信号を得るようになっている。
【０００３】
【発明が解決しようとする課題】
従来の画像信号変換装置にあっては、入力画像信号を構成する各画素の信号を、撮像対象の面積を持たない一点における信号として取り扱っている。そのため、一般に、近傍の複数画素の信号を重み付け加算をすることで補間画素の信号を生成している。
【０００４】
このように従来の画像信号変換装置では、入力画像信号を構成する各画素の信号が撮像対象を構成する一定の面積を持つ各画素領域における信号であるにも拘わらず、補間画素の信号を生成するに際して、入力画像信号に係る撮像対象を構成する各画素領域の色の分布、従って補間画素領域の色の分布に関しては何等考慮していなかった。そのため、解像度の向上した自然な出力画像を得ることが困難であった。
【０００５】
そこで、この発明では、解像度の向上した自然な出力画像を得ることができる画像信号の変換装置および変換方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
この発明に係る画像信号変換装置は、入力画像信号を、これより画素数の多いまたはこれより解像度の高い出力画像信号に変換する画像信号変換装置において、入力画像信号に係る撮像対象を構成する各画素領域の色の分布を推定する色分布推定手段と、この色分布推定手段の分布推定結果に基づいて、出力画像信号に係る各画素領域の色の分布を求め、この色の分布に基づき入力画像信号を構成する各画素の信号を使用して出力画像信号を構成する各画素の信号を得る画素合成手段とを備えるものである。
【０００７】
また、この発明に係る画像信号変換方法は、入力画像信号を、これより画素数の多いまたはこれより解像度の高い出力画像信号に変換する画像信号変換方法において、入力画像信号に係る撮像対象を構成する各画素領域の色の分布を推定する色分布推定ステップと、この色分布推定ステップの色分布推定結果に基づいて、出力画像信号に係る各画素領域の色の分布を求め、この色の分布に基づき入力画像信号を構成する各画素の信号を使用して出力画像信号を構成する各画素の信号を得る画素合成ステップとを備えるものである。
【０００８】
入力画像信号が色分布推定手段に供給され、入力画像信号に係る撮像対象を構成する各画素領域の色の分布が推定される。ここで、色は、色相、彩度、明度で特定される。
色分布推定手段は、入力画像信号を構成する各画素の信号を用いて、撮像対象を構成する各画素領域のうち色が第１の状態から第２の状態に変化するエッジを有する画素領域を検出するエッジ画素検出部と、このエッジ画素検出部で検出された上記画素領域におけるエッジの向きを検出するエッジ向き検出部と、エッジ向き検出部で検出されたエッジの向きと入力画像信号を構成する各画素の信号とに基づいてエッジ画素検出部で検出された上記画素領域における第１の状態の部分および第２の状態の部分の面積比を検出するエッジ両側面積比検出部と、エッジ向き検出部で検出されたエッジの向きと、エッジ両側面積検出部で検出された面積比とに基づいて、エッジ画素検出部で検出された各画素領域におけるエッジ位置を検出して色分布推定結果とする第１のエッジ位置検出部とを有する。
【０００９】
また、画素合成手段は、第１のエッジ位置検出部で検出されたエッジ位置に基づいて、出力画像信号に係る各画素領域のうちエッジを有する画素領域およびそのエッジ位置を検出する第２のエッジ位置検出部と、この第２のエッジ位置検出部で検出されるエッジを有する画素領域およびそのエッジ位置に基づき入力画像信号を構成する各画素の信号を使用して出力画像信号を構成する各画素の信号を得る画素生成部とを有する。
【００１０】
また、上述した色分布推定結果が画素合成手段に供給され、この色分布推定結果より出力画像信号に係る各画素領域の色の分布が求められる。そして、この色の分布に基づき入力画像信号を構成する各画素の信号を使用して出力画像信号を構成する各画素の信号が得られる。このように、出力画像信号を構成する各画素の信号が生成される際に、入力画像信号に係る撮像対象を構成する各画素領域の色の分布、従って出力画像信号に係る各画素領域の色の分布が考慮される。
【００１１】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像信号変換装置１０の構成を示している。この変換装置１０は、入力画像信号Ｖinを、これより画素数の多い出力画像信号Ｖoutに変換するものである。
【００１２】
この変換装置１０は、入力画像信号Ｖinが入力される入力端子１１と、この入力画像信号Ｖinに係る撮像対象を構成する各画素領域の色の分布を推定する色分布推定器１２と、この色分布推定器１２の色分布推定結果に基づいて、出力画像信号Ｖoutに係る各画素領域の色の分布を求め、この色の分布に基づき入力画像信号Ｖinを構成する各画素の信号を使用して出力画像信号Ｖoutを構成する各画素の信号を得る画素合成器１３と、この画素合成器１３より出力される出力画像信号Ｖoutを導出する出力端子１４とを有している。
【００１３】
以上の構成において、入力端子１１に入力画像信号Ｖinが入力されると、色分布推定器１２では、この入力画像信号Ｖinに係る撮像対象を構成する各画素領域の色の分布が推定される。すなわち、後述するように、撮像対象を構成する各画素領域のうち色が第１の状態から第２の状態に変化するエッジがある画素領域およびそのエッジ位置が検出される。ここで、色は色相、彩度、明度で特定されるが、上述した色が第１の状態から第２の状態に変化するとは、色相、彩度、明度の全部が変化する場合、あるいはその一部が変化する場合が含まれる。したがって、色の状態の変化を検出する際には、色相、彩度、明度の全部を見て、あるいはその一部を見て行われる。
【００１４】
また、色分布推定器１２からの色分布の推定結果が画素合成器１３に供給され、出力画像信号Ｖoutに係る各画素領域うちエッジを有する画素領域およびそのエッジ位置が検出される。そして、出力画像信号Ｖoutに係る各画素領域うちエッジを有する画素領域およびそのエッジ位置に基づき、入力画像信号Ｖinを構成する各画素の信号を使用して出力画像信号Ｖoutを構成する各画素の信号が得られる。したがって、出力端子１４には、画素合成器１３で得られた各画素の信号からなる出力画像信号Ｖoutが導出される。
【００１５】
次に、色分布推定器１２の詳細を説明する。色分布推定器１２は、入力端子１１に入力される入力画像信号Ｖinを構成する各画素の信号を用いて、撮像対象を構成する各画素領域のうち色が第１の状態から第２の状態に変化するエッジを有する画素領域（以下、「エッジ画素領域」という）の候補を検出するエッジ画素候補検出部１２ａと、このエッジ画素候補検出部１２ａで検出されたエッジ画素領域の候補群より不適当な候補を削除して有効なエッジ画素領域のみを検出するエッジ画素検出部１２ｂと、このエッジ画素検出部１２ｂで検出された各エッジ画素領域におけるエッジの向きを検出するエッジ向き検出部１２ｃとを有している。
【００１６】
また、色分布推定器１２は、エッジ向き検出部１２ｃで検出されたエッジの向きと、入力画像信号Ｖinを構成する各画素の信号とに基づいて、エッジ画素検出部１２ｂで検出された各エッジ画素領域における第１の状態の部分および第２の状態の部分の面積比を検出するエッジ両側面積比検出部１２ｄと、エッジ向き検出部１２ｃで検出されたエッジの向きと、エッジ両側面積比検出部１２ｄで検出されたエッジの両側の面積比とに基づいて、エッジ画素検出部１２ｂで検出された各エッジ画素領域におけるエッジの位置を検出し、それを色分布推定結果として出力するエッジ位置検出部１２ｅとを有している。
【００１７】
また、画素合成器１３は、色分布推定器１２で検出される各エッジ画素領域のエッジの位置に基づいて、出力画像信号Ｖoutに係る各画素領域のうちエッジを有する画素領域およびそのエッジ位置を検出し、出力画像信号Ｖoutに係る各画素領域の色分布を求めるエッジ位置検出部１３ａと、このエッジ位置検出部１３ａで検出されるエッジを有する画素領域およびそのエッジ位置に基づき、入力画素信号Ｖinを構成する各画素の信号を使用して出力画像信号Ｖoutを構成する各画素の信号を得る画素生成部１３ｂとを有している。
【００１８】
次に、図２のフローチャートを使用して、色分布推定器１２の処理手順を詳細に説明する。
【００１９】
まず、ステップＳＴ１で、エッジ画素候補検出部１２ａによって、入力端子１１に入力される入力画像信号Ｖinを構成する各画素の信号を用いて、撮像対象を構成する各画素領域のうち色が第１の状態から第２の状態に変化するエッジを有するエッジ画素領域の候補が検出される。このエッジ画素領域の候補の検出には、例えば以下のような方法が採られる。すなわち、入力画像信号Ｖinに係る撮像対象を構成する各画素領域を順に注目画素領域Ｌoとし、各注目画素領域Ｌoに対してエッジ画素領域の候補となるか否かを、上下左右に隣接する画素領域Ｌa〜Ｌdの画素の信号Ｓa〜Ｓｄを用いて判定する（図３参照）。
【００２０】
この場合、上下の画素領域Ｌa，Ｌbに対応する画素の信号Ｓa，Ｓbの差分値と、左右の画素領域Ｌc，Ｌdに対応する画素の信号Ｓc，Ｓdの差分値との和を注目画素領域Ｌoの評価値として求め、この評価値がある一定の閾値より大きくなる注目画素領域Ｌoをエッジ画素領域の候補とする。このように評価値が一定の閾値より大きくなる場合には、注目画素領域Ｌoがエッジを有すると予想されるからである。ここで、信号Ｓa，Ｓbの差分値は、信号Ｓa，Ｓbが白黒ビデオ信号に対応するものであるときは、信号Ｓa，Ｓbの差の絶対値であり、信号Ｓa，Ｓbがカラービデオ信号に対応するものであるときは、信号Ｓa，Ｓbを構成する各色成分を要素とする２つのベクトルの差分ベクトルの大きさである。信号Ｓc，Ｓdの差分値に関しても同様である。図４は、エッジ画素領域の候補の検出結果の一例を示しており、各マスが画素領域に対応しており、「○」の付された画素領域がエッジ画素領域の候補である。
【００２１】
次に、ステップＳＴ２で、エッジ画素検出部１２ｂによって、エッジ画素候補検出部１２ａで検出されたエッジ画素領域の候補群より不適当な候補を削除して有効なエッジ画素領域が検出される。エッジ画素検出部１２ａで検出されたエッジ画素領域群には、その画素領域にエッジが存在し、その両側の画素領域に対応する画素の信号の差分値が大きかったために検出された本来検出されるべきエッジ画素領域以外に、その画素領域にエッジが存在しないが、その画素領域とその両側のいずれかの画素領域とに対応する画素の信号の差分値が大きかったために検出された本来検出されるべきでないエッジ画素領域が含まれる。エッジ画素検出部１２ｂでは、後者の本来検出されるべきでないエッジ画素領域が削除される。
【００２２】
上述した本来検出されるべきでないエッジ画素領域を削除するため、エッジ画素検出部１２ｂでは、まず以下の第１の処理が施される。すなわち、水平方向および垂直方向のそれぞれに２画素領域からなるブロックにおいて、図５Ａに示すように全ての画素領域がエッジ画素領域の候補であるときは、図５Ｂに示すようにその中で最も評価値の小さなエッジ画素領域の候補をエッジ画素領域の候補から削除する。
【００２３】
各ブロックは重なり合っているが、上述した第１の処理は、全てのブロックに対して行われる。例えば、最初に左上の４画素領域からなるブロックに対して処理をし、そのブロックの処理が終了すると、１画素領域だけ右側にシフトした部分のブロックに対する処理に移り、以下１画素領域だけ右側にシフトしたブロックに対する処理に順次移り、さらに第１、第２ラインに係る全てのブロックの処理が終了すると、左端に戻って第２、第３ラインに係るブロックの処理に移るというように、処理が進められる。
【００２４】
また、エッジ画素検出部１２ｂでは、上述した第１の処理が終了した後、以下の第２の処理が施される。すなわち、第１の処理の結果、図６Ａに示すように、水平方向または垂直方向に連続した３個のエッジ画素領域の候補と、さらにその中央のエッジ画素領域の候補に隣接したはみ出しの１個のエッジ画素領域の候補とからなるエッジ画素領域の候補の集合がある場合、図６Ｂに示すように、その集合よりはみ出しのエッジ画素領域の候補を削除する。この第２の処理は、処理すべき集合がなくなるまで行われる。
【００２５】
このようにエッジ画素検出部１２ｂでは、上述した第１の処理および第２の処理が行われることで、エッジ画素候補検出部１２ａで検出されたエッジ画素領域の候補群より不適当なエッジ画素領域の候補が削除され、本来検出されるべき有効なエッジ画素領域のみが検出される。例えば、エッジ画素候補検出部１２ａでエッジ画素領域の候補が図４に示すように検出される場合、エッジ画素検出部１２ｂで検出されるエッジ画素領域は図７に「○」を付した画素領域となる。
【００２６】
次に、ステップＳＴ３で、エッジ向き検出部１２ｃによって、エッジ検出部１２で検出された各エッジ画素領域におけるエッジの向きが検出される。このエッジの向きの検出には、例えば以下のような方法が採られる。すなわち、注目画素領域Ｌoを中心にして、水平方向および垂直方向にそれぞれＮ画素領域からなるＮ×Ｎ画素領域を参照し、その中の全てのエッジ画素領域の中心から最も近い位置を通る直線を最小自乗法によって求め、その直線の向きを注目画素領域Ｌoにおけるエッジの向きとする。図８は、Ｎ＝５である場合のエッジの向きの検出結果例を示している。図８において、各マスが画素領域に対応しており、「○」を付した画素領域はエッジ画素領域である。
【００２７】
次に、ステップＳＴ４で、エッジ両側面積比検出部１２ｄによって、エッジ向き検出部１２ｃで検出されたエッジの向きと、入力画像信号Ｖinを構成する各画素の信号とに基づいて、エッジ画素検出部１２ｂで検出された各エッジ画素領域における第１の状態の部分および第２の状態の部分の面積比、つまりエッジの両側の面積比が検出される。この面積比の検出は、注目画素領域Ｃに対応する画素の信号が、注目画素領域Ｃに隣接し、かつエッジの両側に存在する参照画素領域Ｒ１，Ｒ２に対応する画素の信号を面積比で重み付け加算した結果となっていることを前提にして行われる。
【００２８】
参照画素領域Ｒ１，Ｒ２は、エッジの向き（角度）に応じて、以下のように設定される。すなわち、図９Ａに示すように、エッジの向きが０゜〜９０゜の範囲ＡＲ１にあるときは、注目画素領域Ｃに対して左上、右下の画素領域がそれぞれ参照画素領域Ｒ１，Ｒ２として設定される。一方、図９Ｂに示すように、エッジの向きが９０゜〜１８０゜の範囲ＡＲ２にあるときは、注目画素領域Ｃに対して左下、右上の画素領域がそれぞれ参照画素領域Ｒ１，Ｒ２として設定される。
【００２９】
ここで、注目画素領域Ｃの面積を１とし、そのうち参照画素領域Ｒ１側にある第１の状態の部分の面積をａ、参照画素領域Ｒ２側にある第２の状態の部分の面積を１−ａとし、さらに注目画素領域Ｃに対応する画素の信号をＳ_C、参照画素領域Ｒ１，Ｒ２に対応する画素の信号をＳ_R1，Ｓ_R2とすると（図１０参照）、（１）式が成立する。この（１）式より、ａを求めることができ、注目画素領域Ｃにおけるエッジの両側の面積比ａ：（１−ａ）が求められる。このような面積比の検出動作は、エッジ画素検出部１２ｂで検出された各エッジ画素領域の全てに対して行われる。
Ｓ_C＝ａＳ_R1＋（１−ａ）Ｓ_R2 ・・・（１）
【００３０】
次に、ステップＳＴ５で、エッジ位置検出部１２ｅによって、エッジ向き検出部１２ｃで検出されたエッジの向きと、エッジ両側面積比検出部１２ｄで検出された面積比とに基づいて、エッジ画素検出部で１２ｂで検出された各エッジ画素領域におけるエッジの位置が検出される。この場合、エッジの向きと、エッジの両側の面積比が決まると、エッジの存在する位置が一意に決まる。つまり、エッジの向きと、エッジの両側の面積比とから、エッジ画素領域におけるエッジ位置が求められる。色分布推定器１２は、このようにエッジ位置検出部１２ｅで検出された各エッジ画素領域におけるエッジ位置の検出結果を、色分布推定結果として画素合成器１３に供給する。
【００３１】
次に、画素合成器１３の詳細を説明する。画素合成器１３は、色分布推定器１２のエッジ位置検出部１２ｅで検出されたエッジ画素領域のエッジ位置に基づいて、出力画像信号Ｖoutに係る各画素領域のうちエッジを有する画素領域およびそのエッジ位置を検出するエッジ位置検出部１３ａと、このエッジ位置検出部１３ａで検出されるエッジを有する画素領域およびそのエッジ位置に基づき、入力画像信号Ｖinを構成する各画素の信号を使用して出力画像信号Ｖoutを構成する各画素の信号を得る画素生成部１３ｂとを有している。
【００３２】
次に、図１１のフローチャートを使用して、画素合成器１３の処理手順を詳細に説明する。
【００３３】
まず、ステップＳＴ１１で、エッジ位置検出部１３ａによって、色分布推定器１２より供給される各エッジ画素領域のエッジ位置の検出結果に基づいて、出力画像信号Ｖoutに係る各画素領域のうちエッジを有する画素領域およびそのエッジ位置が検出される。この場合、入力画像信号Ｖinに係る撮像対象を構成する各画素領域に対して出力画像信号Ｖoutに係る各画素領域が対応させられ、上述した各エッジ画素領域のエッジは出力画像信号Ｖoutに係る複数の画素領域に亘って投影される。したがって、出力画像信号Ｖoutに係る各画素領域のうちエッジを有する画素領域およびそのエッジ位置が検出される。
【００３４】
例えば、出力画像信号Ｖoutの画素数が入力画像信号Ｖinの４倍とされる場合であって、入力画像信号Ｖinに係る撮像対象を構成する各画素領域が図１２Ａのように表されるとき、それに対応させられた出力画像信号Ｖoutに係る各画素領域は図１２Ｂのように表される。このように、出力画像信号Ｖoutに係る各画素領域のうちエッジを有する画素領域およびそのエッジ位置が検出されることで、出力画像信号Ｖoutに係る各画素領域の色分布が求められることになる。
【００３５】
次に、ステップＳＴ１２で、画素生成部１３ｂによって、出力画像信号Ｖoutに係る各画素領域のうちエッジを有する画素領域およびそのエッジ位置に基づき、入力画像信号Ｖinを構成する各画素の信号を使用して、出力画像信号Ｖoutを構成する各画素の信号が得られる。
【００３６】
この場合、出力画像信号Ｖoutに係る各画素領域に対応する画素の信号は、注目画素領域と重なる入力画像信号Ｖinに係る撮像対象を構成する画素領域がエッジ画素領域であるか否かによって、以下のように求められる。
【００３７】
すなわち、注目画素領域と重なる入力画像信号Ｖinに係る撮像対象を構成する画素領域がエッジ画素領域でない第１の画素領域であるとき、その注目画素領域に対応する画素の信号は、第１の画素領域に対応する入力画像信号Ｖinを構成する画素の信号と等しくされる。例えば、注目画素領域Ｐ１が図１２Ｂに示す位置にあり、この注目画素領域Ｐ１と重なる第１の画素領域Ｒ３が図１２Ａに示すようにエッジ画素領域でないとき、注目画素領域Ｐ１に対応する画素の信号は、第１の画素領域Ｒ３に対応する画素の信号Ｓ_R3と等しくされる。
【００３８】
また、注目画素領域と重なる入力画像信号Ｖinに係る撮像対象を構成する画素領域がエッジ画素領域である第２の画素領域であるとき、その注目画素領域に対応する画素の信号は、第２の画素領域に隣接し、かつエッジの両側に存在する２個の画素領域に対応する信号（色分布推定器１２のエッジ両側面積比検出部１２ｄで面積比を求めるために使用された信号と同じ）を使用して求められる。
【００３９】
ここで、注目画素領域がエッジを有しないものであるとき、その注目画素領域に対応する画素の信号は、第２の画素領域に隣接する上述した２個の画素領域のうち、エッジに対して注目画素領域側にある画素領域に対応する画素の信号と等しくされる。例えば、注目画素領域Ｐ２が図１２Ｂに示す位置にあり、この注目画素領域Ｐ２と重なる第２の画素領域Ｃが図１２Ａに示すようにエッジ画素領域であるとき、注目画素領域Ｐ２に対応する画素の信号は、第２の画素領域Ｃに隣接する画素領域Ｒ２に対応する応する画素の信号Ｓ_R2と等しくされる。
【００４０】
一方、注目画素領域がエッジを有するものであるとき、その注目画素領域に対応する画素の信号は、その注目画素領域の第１の状態の部分および第２の状態の部分の面積比に応じて第２の画素領域に隣接する２個の画素領域に対応する画素の信号が重み付け加算されて求められる。
【００４１】
例えば、注目画素領域Ｐ３が図１２Ｂに示す位置にあり、この注目画素領域Ｐ３と重なる第２の画素領域Ｃが図１２Ａに示すようにエッジ画素領域であるとき、注目画素領域の第１の状態の部分（エッジに対して画素領域Ｒ１側の部分）の面積をｄ１、その第２の状態の部分（エッジに対して画素領域Ｒ２側の部分）の面積をｄ２とするとき、注目画素領域Ｐ３に対応する画素の信号Ｓ_P3は、（２）式のように求められる。なお、注目画素領域Ｐ３の面積ｄ１，ｄ２は、エッジ位置検出部１３ａでエッジ位置が検出されており、その検出結果に基づいて容易に求めることができる。
Ｓ_P3＝（ｄ１・Ｓ_R1＋ｄ２・Ｓ_R2）／（ｄ１＋ｄ２）・・・（２）
【００４２】
このように画素合成器１３の画素生成部１３ｂでは出力画像信号Ｖoutを構成する各画素の信号が得られ、従って出力端子１４にはその各画素信号によって構成される出力画像信号Ｖoutが導出される。
【００４３】
上述した本実施の形態においては、入力画像信号Ｖinを構成する各画素の信号より出力画像信号Ｖoutを構成する各画素の信号を得る際に、入力画像信号Ｖinに係る撮像対象を構成する各画素領域の色の分布、従って出力画像信号Ｖoutに係る各画素領域の色の分布が考慮されるため、解像度の向上した自然な出力画像を得ることができる。
【００４４】
なお、上述実施の形態においては、出力画像信号Ｖoutの画素数が入力画像信号Ｖinの４倍とされる場合を示したが（図１２Ａ，Ｂ参照）、その他の整数倍とされる場合も同様である。さらに、出力画像信号Ｖoutの画素数が入力画像信号Ｖinの整数倍でない場合にも、この発明を同様に適用することができる。
【００４５】
例えば、出力画像信号Ｖoutの画素数が入力画像信号Ｖinの９／４倍とされる場合であって、入力画像信号Ｖinに係る撮像対象を構成する各画素領域が図１３Ａのように表されるとき、それに対応させられた出力画像信号Ｖoutに係る各画素領域は図１３Ｂのように表される。したがって、画素合成器１３のエッジ位置検出部１３ａによって、上述した出力画像信号Ｖoutの画素数が入力画像信号Ｖinの４倍の場合と同様に、出力画像信号Ｖoutに係る各画素領域のうちエッジを有する画素領域およびそのエッジ位置を検出できる。そして、画素合成器１３の画素生成部１３ｂによって、出力画像信号Ｖoutに係る各画素領域のうちエッジを有する画素領域およびそのエッジ位置の検出結果に基づき、入力画像信号Ｖinを構成する各画素の信号を使用して出力画像信号Ｖoutを構成する各画素の信号を得ることができる。
【００４６】
例えば、注目画素領域がエッジを有しないものであるとき、その注目画素領域に対応する画素の信号は、その注目画素領域と重なる入力画像信号Ｖinに係る撮像対象を構成する第３の画素領域に対応する画素の信号に基づいて得られる。第３の画素領域が１個であるときは、その１個の第３の画素領域に対応した画素の信号と等しくされ、第３の画素領域が２個以上あるときは、注目画素領域と重なる面積比でその２個以上の第３の画素領域に対応する画素の信号が重み付け加算されて得られる。
【００４７】
一方、注目画素領域がエッジを有するものであるとき、その注目画素領域に対応する画素の信号は、その注目画素領域の第１の状態の部分および第２の状態の部分の面積比に応じて、その注目画素領域と重なる入力画像信号Ｖinに係る撮像対象を構成する第４の画素領域（エッジ画素領域）の両側に隣接する画素領域に対応する画素の信号が重み付け加算されて求められる。
【００４８】
また、上述実施の形態において、画素合成器１３の画素生成部１３ｂでは、出力画像信号Ｖoutに係る画素領域のうち、エッジを有する注目画素領域に対応する画素の信号を、その注目画素領域と重なる入力画像信号Ｖinに係る撮像対象を構成する第２の画素領域の両側に隣接する画素領域に対応する画素の信号のみを使用して求めるものであったが、第２の画素領域に隣接しない画素領域に対応する画素の信号を含めて求めるようにしてもよい。エッジの両側の色が一様でなく、傾斜をもっている場合に有効となる。
【００４９】
【発明の効果】
この発明によれば、入力画像信号に係る撮像対象を構成する各画素領域の色の分布の推定結果に基づいて、出力画像信号に係る各画素領域の色の分布を求め、この色分布に基づき入力画像信号を構成する各画素の信号を使用して出力画像信号を構成する各画素の信号を得るものであり、出力画像信号を構成する各画素の信号を得る際に、入力画像信号に係る撮像対象を構成する各画素領域の色の分布、従って出力画像信号に係る各画素領域の色の分布が考慮されるため、解像度の向上した自然な出力画像を得ることができる。
【図面の簡単な説明】
【図１】実施の形態としての画像信号変換装置の構成を示すブロック図である。
【図２】画像変換装置を構成する色分布推定器の処理手順を示すフローチャートである。
【図３】エッジ画素候補の検出動作を説明するための図である。
【図４】エッジ画素領域の候補の検出結果例を示す図である。
【図５】エッジ画素候補の削除動作（第１の処理）を説明するための図である。
【図６】エッジ画素候補の削除動作（第２の処理）を説明するための図である。
【図７】エッジ画素領域の検出結果例を示す図である。
【図８】エッジ向きの検出結果例を示す図である。
【図９】参照画素領域の設定動作を説明するための図である。
【図１０】面積比の検出動作を説明するための図である。
【図１１】画素合成器の処理手順を示すフローチャートである。
【図１２】入力画像信号に係る撮像対象を構成する各画素領域と出力画像信号に係る各画素領域との関係を示す図である。
【図１３】入力画像信号に係る撮像対象を構成する各画素領域と出力画像信号に係る各画素領域との関係を示す図である。
【符号の説明】
１０・・・画像信号変換装置、１１・・・入力端子、１２・・・色分布推定器、１２ａ・・・エッジ画素候補検出部、１２ｂ・・・エッジ画素検出部、１２ｃ・・・エッジ向き検出部、１２ｄ・・・エッジ両側面積比検出部、１２ｅ・・・エッジ画素のエッジ位置検出部、１３・・・画素合成器、１３ａ・・・出力画素のエッジ位置検出部、１３ｂ・・・画素生成部、１４・・・出力端子

Claims

入力画像信号を、これより画素数の多い出力画像信号に変換する画像信号変換装置において、
上記入力画像信号に係る撮像対象を構成する各画素領域の色の分布を推定する色分布推定手段と、
上記色分布推定手段の色分布推定結果に基づいて、上記出力画像信号に係る各画素領域の色の分布を求め、この色の分布に基づき上記入力画像信号を構成する各画素の信号を使用して上記出力画像信号を構成する各画素の信号を得る画素合成手段とを備え、
上記色分布推定手段は、
上記入力画像信号を構成する各画素の信号を用いて、上記撮像対象を構成する各画素領域のうち上記色が第１の状態から第２の状態に変化するエッジを有する画素領域を検出するエッジ画素検出部と、
上記エッジ画素検出部で検出された各画素領域における上記エッジの向きを検出するエッジ向き検出部と、
上記エッジ向き検出部で検出されたエッジの向きと、上記入力画像信号を構成する各画素の信号とに基づいて、上記エッジ画素検出部で検出された各画素領域における上記第１の状態の部分および上記第２の状態の部分の面積比を検出するエッジ両側面積比検出部と、
上記エッジ向き検出部で検出された上記エッジの向きと、上記エッジ両側面積比検出部で検出された上記面積比とに基づいて、上記エッジ画素検出部で検出された各画素領域におけるエッジ位置を検出して上記色分布推定結果とする第１のエッジ位置検出部とを有し、
上記画素合成手段は、
上記第１のエッジ位置検出部で検出されたエッジ位置に基づいて、上記出力画像信号に係る各画素領域のうちエッジを有する画素領域およびそのエッジ位置を検出する第２のエッジ位置検出部と、
上記第２のエッジ位置検出部で検出されるエッジを有する画素領域およびそのエッジ位置に基づき、上記入力画像信号を構成する各画素の信号を使用して上記出力画像信号を構成する各画素の信号を得る画素生成部とを有する
ことを特徴とする画像信号変換装置。
上記出力画像信号に係る画素数は、上記入力画像信号に係る画素数の整数倍である
ことを特徴とする請求項１に記載の画像信号変換装置。
上記出力画像信号に係る画素数は、上記入力画像信号に係る画素数の整数倍でない
ことを特徴とする請求項１に記載の画像信号変換装置。
入力画像信号を、これより画素数の多い出力画像信号に変換する画像信号変換方法において、
上記入力画像信号に係る撮像対象を構成する各画素領域の色の分布を推定する色分布推定ステップと、
上記色分布推定ステップの分布推定結果に基づいて、上記出力画像信号に係る各画素領域の色の分布を求め、この色の分布に基づき上記入力画像信号を構成する各画素の信号を使用して上記出力画像信号を構成する各画素の信号を得る画素合成ステップとを備え、
上記色分布推定ステップは、
上記入力画像信号を構成する各画素の信号を用いて、上記撮像対象を構成する各画素領域のうち上記色が第１の状態から第２の状態に変化するエッジを有する画素領域を検出するエッジ画素検出ステップと、
上記エッジ画素検出ステップで検出された各画素領域における上記エッジの向きを検出するエッジ向き検出ステップと、
上記エッジ向き検出ステップで検出されたエッジの向きと、上記入力画像信号を構成する各画素の信号とに基づいて、上記エッジ画素検出ステップで検出された各画素領域における上記第１の状態の部分および上記第２の状態の部分の面積比を検出するエッジ両側面積比検出ステップと、
上記エッジ向き検出ステップで検出された上記エッジの向きと、上記エッジ両側面積比検出ステップで検出された上記面積比とに基づいて、上記エッジ画素検出ステップで検出された各画素領域におけるエッジ位置を検出して上記色分布推定結果とする第１のエッジ位置検出ステップとを有し、
上記画素合成ステップは、
上記第１のエッジ位置検出ステップで検出されたエッジ位置に基づいて、上記出力画像信号に係る各画素領域のうちエッジを有する画素領域およびそのエッジ位置を検出する第２のエッジ位置検出ステップと、
上記第２のエッジ位置検出ステップで検出されるエッジを有する画素領域およびそのエッジ位置に基づき、上記入力画像信号を構成する各画素の信号を使用して上記出力画像信号を構成する各画素の信号を得る画素生成ステップとを有する
ことを特徴とする画像信号変換方法。
入力画像信号を、これより解像度の高い出力画像信号に変換する画像信号変換装置において、
上記入力画像信号に係る撮像対象を構成する各画素領域の色の分布を推定する色分布推定手段と、
上記色分布推定手段の色分布推定結果に基づいて、上記出力画像信号に係る各画素領域の色の分布を求め、この色の分布に基づき上記入力画像信号を構成する各画素の信号を使用して上記出力画像信号を構成する各画素の信号を得る画素合成手段とを備え、
上記色分布推定手段は、
上記入力画像信号を構成する各画素の信号を用いて、上記撮像対象を構成する各画素領域のうち上記色が第１の状態から第２の状態に変化するエッジを有する画素領域を検出するエッジ画素検出部と、
上記エッジ画素検出部で検出された各画素領域における上記エッジの向きを検出するエッジ向き検出部と、
上記エッジ向き検出部で検出されたエッジの向きと、上記入力画像信号を構成する各画素の信号とに基づいて、上記エッジ画素検出部で検出された各画素領域における上記第１の状態の部分および上記第２の状態の部分の面積比を検出するエッジ両側面積比検出部と、
上記エッジ向き検出部で検出された上記エッジの向きと、上記エッジ両側面積比検出部で検出された上記面積比とに基づいて、上記エッジ画素検出部で検出された各画素領域におけるエッジ位置を検出して上記色分布推定結果とする第１のエッジ位置検出部とを有し、
上記画素合成手段は、
上記第１のエッジ位置検出部で検出されたエッジ位置に基づいて、上記出力画像信号に係る各画素領域のうちエッジを有する画素領域およびそのエッジ位置を検出する第２のエッジ位置検出部と、
上記第２のエッジ位置検出部で検出されるエッジを有する画素領域およびそのエッジ位置に基づき、上記入力画像信号を構成する各画素の信号を使用して上記出力画像信号を構成する各画素の信号を得る画素生成部とを有する
ことを特徴とする画像信号変換装置。
入力画像信号を、これより解像度の高い出力画像信号に変換する画像信号変換方法において、
上記入力画像信号に係る撮像対象を構成する各画素領域の色の分布を推定する色分布推定ステップと、
上記色分布推定ステップの分布推定結果に基づいて、上記出力画像信号に係る各画素領域の色の分布を求め、この色の分布に基づき上記入力画像信号を構成する各画素の信号を使用して上記出力画像信号を構成する各画素の信号を得る画素合成ステップとを備え、
上記色分布推定ステップは、
上記入力画像信号を構成する各画素の信号を用いて、上記撮像対象を構成する各画素領域のうち上記色が第１の状態から第２の状態に変化するエッジを有する画素領域を検出するエッジ画素検出ステップと、
上記エッジ画素検出ステップで検出された各画素領域における上記エッジの向きを検出するエッジ向き検出ステップと、
上記エッジ向き検出ステップで検出されたエッジの向きと、上記入力画像信号を構成する各画素の信号とに基づいて、上記エッジ画素検出ステップで検出された各画素領域における上記第１の状態の部分および上記第２の状態の部分の面積比を検出するエッジ両側面積比検出ステップと、
上記エッジ向き検出ステップで検出された上記エッジの向きと、上記エッジ両側面積比検出ステップで検出された上記面積比とに基づいて、上記エッジ画素検出ステップで検出された各画素領域におけるエッジ位置を検出して上記色分布推定結果とする第１のエッジ位置検出ステップとを有し、
上記画素合成ステップは、
上記第１のエッジ位置検出ステップで検出されたエッジ位置に基づいて、上記出力画像信号に係る各画素領域のうちエッジを有する画素領域およびそのエッジ位置を検出する第２のエッジ位置検出ステップと、
上記第２のエッジ位置検出ステップで検出されるエッジを有する画素領域およびそのエッジ位置に基づき、上記入力画像信号を構成する各画素の信号を使用して上記出力画像信号を構成する各画素の信号を得る画素生成ステップとを有する
ことを特徴とする画像信号変換方法。