JP6215861B2 - 画像拡大装置および画像拡大方法 - Google Patents

Description

本発明は、特に画像処理に関するものであり、特に拡大画像を生成する際の画像処理に関するものである。

情報通信社会の発展とともに様々な表示特性を持った表示装置が用いられるようになっている。表示装置は、用途や特性に応じた画面サイズや解像度を有し、解像度に応じた画像データを基に表示装置への画像の表示が行われる。様々な表示装置が広く用いられている中で、ある解像度の表示装置用に生成された画像データを、他の解像度の表示装置で表示する必要がある場合もある。そのような場合に、表示を行いたい表示装置の解像度に相当する画素数よりも画像データ有している画素数が小さい場合には、画像を拡大して表示する必要が生じ得る。

表示装置の階調特性やコントラスト比の向上によって表示品質が向上している。一方で、表示品質の向上により画質の劣化等が人の目に認識されやすくなっている。そのため、元の解像度よりも画像を拡大して表示する際には、出来る限り画質の劣化が抑制されていることが望ましい。

拡大された画像の生成は、実在する画素間に演算処理によって予測的に画素データを算出した画素を補完することによって行われることが多い。例えば、共一次内挿法によって、実在する画素間の画素データを算出して各画素間に挿入することで、元画像よりも拡大された画像データを生成して画像の拡大を行うことができる。

所定の倍率の拡大画像を生成する際に、画像の端部で実データが存在しない箇所が生じることがある。そのため、拡大画像において端部まで表示を行うためには、端部の画素データを生成するための技術が必要となる。そのような、拡大画像における端部の画素データを生成するための技術としては、例えば、特許文献１のような技術が開示されている。

特許文献１は、画像データを補完して解像度を変換する画像拡大装置に関するものである。特許文献１の画像拡大装置は、拡大前の各画素間に線形補完法で画素データを算出した画素を設定し拡大画像データを生成している。また、特許文献１の画像拡大装置は、画像の周辺部の補完データをあらかじめ設定されている仮想画素データを用いて算出し、拡大画像の周辺部のデータを生成している。特許文献１ではこのような構成とすることで、画素数の加工ができないような画像データにおいても性能を低下させることなく画像の拡大を行うことができるとしている。

特開２０１０−１７１６２２号公報

しかしながら、特許文献１の技術は次のような点で十分ではない。特許文献１の画像拡大装置では、拡大画像の周辺画素を生成する際にあらかじめ設定された仮想画素データを用いて、周辺画素のデータを算出している。そのため、実データを用いて画素データが生成されている部分と画素データの差が大きくなり、拡大後の画像の周辺部が不自然な画像となる恐れがある。そのため、特許文献１の技術は、元画像からの画質の劣化を抑制しつつ画像の拡大を行う技術としては十分ではない。

本発明は、周辺部の画質の劣化を抑制しつつ画像を拡大することが可能な画像拡大装置を得ることを目的としている。

上記の課題を解決するため、本発明の画像拡大装置は、仮想画素データ生成手段と、通常画素データ生成手段と、周辺画素データ生成手段と、拡大画像生成手段を備えている。仮想画素データ生成手段は、入力された画像データのうち、画面最外周の第１の画素の第１の画素データと、第１の画素と隣接する第２の画素の第２の画素データとを基に、仮想画素の画素データを仮想画素データとして算出する。仮想画素は、第１の画素と隣接した位置に存在すると仮定した画素である。通常画素データ生成手段は、画像データの拡大画像の画素のうち所定の周辺画素以外の画素を生成する際に、画像データの隣接する画素間に挿入する画素の画素データを、隣接する画素の画素データを内挿して通常画素データとして算出する。周辺画素データ生成手段は、画像データの拡大画像の所定の周辺画素を生成する際に、画像データの第１の画素と仮想画素の間に挿入する画素の画素データを、第１の画素データと仮想画素データを内挿して周辺画素データとして算出する。拡大画像生成手段は、通常画素データおよび周辺画素データを基に拡大画像のデータを生成して出力する。

本発明の画像拡大方法は、入力された画像データのうち、画面最外周の第１の画素の第１の画素データと、第１の画素と隣接する第２の画素の第２の画素データとを基に、仮想画素の画素データを仮想画素データとして算出する。仮想画素は、第１の画素と隣接した位置に存在すると仮定した画素である。本発明の画像拡大方法は、画像データの拡大画像の画素のうち所定の周辺画素以外の画素を生成する際に、画像データの隣接する画素間に挿入する画素の画素データを、隣接する画素の画素データを内挿して通常画素データとして算出する。本発明の画像拡大方法は、画像データの拡大画像の所定の周辺画素を生成する際に、画像データの第１の画素と仮想画素の間に挿入する画素の画素データを第１の画素データと仮想画素データを内挿して周辺画素データとして算出する。本発明の画像拡大方法は、通常画素データおよび周辺画素データを基に拡大画像のデータを生成して出力する。

本発明によると、周辺部の画質の劣化を抑制しつつ画像を拡大することができる。

本発明の第１の実施形態の構成の概要を示す図である。 本発明の第２の実施形態の構成の概要を示す図である。 本発明の第２の実施形態における画素位置の例を示す図である。 本発明の第２の実施形態における元画像と拡大画像の対応の例を示す図である。 本発明の第２の実施形態の装置の一部の構成を示す図である。 本発明の第２の実施形態における画素データの位置関係の例を示す図である。 本発明の第３の実施形態の構成の概要を示す図である。 本発明の第３の実施形態における画素データの位置関係の例を示す図である。 本発明の第３の実施形態の装置の一部の構成を示す図である。

（第１の実施形態）
本発明の第１の実施形態について図を参照して詳細に説明する。図１は、本実施形態の画像拡大装置の構成の概要を示したものである。本実施形態の画像拡大装置は、仮想画素データ生成手段１と、通常画素データ生成手段２と、周辺画素データ生成手段３と、拡大画像生成手段４を備えている。

仮想画素データ生成手段１は、入力された画像データのうち、画面最外周の第１の画素の第１の画素データと、第１の画素と隣接する第２の画素の第２の画素データとを基に、仮想画素の画素データを仮想画素データとして算出する。仮想画素は、第１の画素と隣接した位置に存在すると仮定した画素である。通常画素データ生成手段２は、画像データの拡大画像の画素のうち所定の周辺画素以外の画素を生成する際に、画像データの隣接する画素間に挿入する画素の画素データを、隣接する画素の画素データを内挿して通常画素データとして算出する。周辺画素データ生成手段３は、画像データの拡大画像の所定の周辺画素を生成する際に、画像データの第１の画素と仮想画素の間に挿入する画素の画素データを、第１の画素データと仮想画素データを内挿して周辺画素データとして算出する。拡大画像生成手段４は、通常画素データおよび周辺画素データを基に所定の倍率の拡大画像のデータを生成して出力する。

本実施形態の画像拡大装置では、仮想画素データ生成手段１が、入力された画像データの最外周の第１の画素に隣接する位置に仮想画素を設定して、仮想画素の画素データを第１の画素と第２の画素の画素データを基に算出している。すなわち、仮想画素の画素データを、入力された画像データに実際に存在する隣接する２つの画素データを基に算出している。本実施形態の画像拡大装置では、周辺画像データ生成手段３が、仮想画素と画面最外周の第１の画素の画素データを基に、所定の倍率の拡大画像を生成する際に用いる画素データを周辺画素データとして内挿により算出している。また、本実施形態の画像拡大装置では、通常画素生成手段２が算出した通常画素データと周辺画素データを基に、拡大画像生成手段４が拡大画像を生成している。

このように本実施形態の画像拡大装置では、入力された画像の実データを基に実画像に仮想画素を設定し、仮想画素を基に拡大画像の周辺部の画素データを算出することで周辺部とそれに隣接する領域の画素データが互いに大きく異なることはない。そのため、本実施形態の画像拡大装置では、拡大画像の周辺部が人の目に不自然に見えるような状態を避けることができる。よって、本実施形態の画像拡大装置では、拡大画像の周辺部における画像の劣化を抑制することができる。その結果、本実施形態の画像拡大装置は、周辺部の画質の劣化を抑制しつつ画像を拡大することができる。

（第２の実施形態）
本発明の第２の実施形態について図を参照して詳細に説明する。図２は、本実施形態の画像拡大装置の構成の概要を示したものである。本実施形態の画像拡大装置１０は、拡大処理回路１１と、端処理回路１２を備えている。拡大処理回路１１は、通常画素生成部１３と、周辺画素生成部１４と、拡大画像生成部１５をさらに備えている。

本実施形態の画像拡大装置１０は、入力された画像データの所定の画像を生成する際に、元画像の隣接画素間に共一次内挿法で算出した画素データを用いた画素を挿入して画像の拡大を行う。本実施形態の画像拡大装置１０では、拡大画像の周辺部の画素データを算出する際に、最外周の画素として仮想的な画素を元データに配置し、仮想画素と実画素との間に共一次内挿法で算出した画素データを挿入する。本実施形態の画像拡大装置１０では、仮想画素の画素データを実画素のデータから算出し、周辺部の近傍の画素との連続性を維持することを特徴とする。

拡大処理回路１１の構成について説明する。拡大処理回路１１は、実画像の画素データと仮想画素データを基に拡大画像を生成する機能を有する。

拡大処理回路１１の通常画素生成部１３は、元画像の画素データを基に、所定の倍率の拡大画像の画素データを生成する機能を有する。通常画素生成部１３は、画像拡大装置が備えられている画像処理装置等から元画像データ信号Ｓ１として入力される画像データに含まれる各画素の画素データを用いて拡大画像の画素データを生成する。以下の説明では元画像データ信号Ｓ１として入力される画像データを元画像データとよぶ。

通常画素生成部１３は、元画像データのうち互いに隣接する２画素の画素データを内挿して、拡大画像の画素データを算出する。隣接する２画素の間で算出される画素データの数は、元画像に対する拡大画像の倍率である所定の倍率に応じて設定される。通常画素生成部１３は、算出した画素データを通常画素データ信号Ｓ１３として拡大画像生成部１５へ出力する。また、本実施形態の通常画素生成部１３の機能は、第１の実施形態の通常画素データ生成手段２に相当する。

本実施形態では拡大画像を生成する際の所定の倍率はあらかじめ設定されているとする。所定の倍率は、外部から入力される制御信号等により可変としてもよい。そのような構成とした場合には、各画素間で算出される仮想画素データの数は所定の倍率に応じて設定される。

また、通常画素生成部１３は、元画像データに隣接する２画素が含まれている領域のみ拡大画像の画素データの算出を行う。元画像データに隣接する２画素のうち一方が含まれない画面の端、すなわち、画面の周辺領域における拡大画像の画素データは、周辺画素生成部１４で算出される。

通常画素生成部１３は、元画像データ信号Ｓ１として入力される元画像データに含まれる隣接する２画素の画素データを基に、共一次内挿法で拡大画像の画素データを算出する。

図３のように４つの画素Ａ、画素Ｂ、画素Ｃおよび画素Ｄに囲まれた内部の点Ｐの画素データを算出する方法について説明する。図３では、画素Ａ、画素Ｂ、画素Ｃおよび画素Ｄの座標は、それぞれＡ(ｐ,ｑ)、Ｂ(ｐ＋１,ｑ)、Ｃ(ｐ,ｑ＋１)およびＤ(ｐ＋１,＋１)として示している。共一次内挿法では、画素Ａから画素Ｂの方向である横方向、すなわち、画面の水平方向と、画素Ａから画素Ｃの方向である縦方向、すなわち、画面の垂直方向のそれぞれについて線形性が成り立つと仮定して、内部の点Ｐの画素データを算出する。

図３のように点Ｐが画素Ａから画素Ｂの方向、すなわち横方向をａ：１−ａ、画素Ａから画素Ｃの方向、すなわち縦方向をｂ：１−ｂに分割した際の交点であるとする。このとき点Ｐの画素データは、
Ｐ＝ａ×ｂ×Ｄ＋(１−ａ)×(１−ｂ)×Ａ＋ａ×(１−ｂ)×Ｂ＋(１−ａ)×ｂ×Ｃ
として算出することができる。Ｐ、Ａ、Ｂ、ＣおよびＤは、各画素における画素データである。画素データは、輝度や色度など画像データの規格に基づいて設定されている各パラメータについてそれぞれ計算される。

拡大処理回路１１が縦方向４画素、横方向４画素の画像を、２．５倍に拡大して縦方向１０画素、横方向１０画素の画像を生成する例について説明する。図４は、縦方向４画素、横方向４画素の画像を、２．５倍に拡大して縦方向１０画素、横方向１０画素の画像を生成する場合の、画素の対応関係を模式的に示した図である。

図４の黒丸は、元画像データに含まれる画素、すなわち、元の画像に実在する画素を示している。図４の白丸は、元画像データに実際の画素データが存在しない仮想画素である。仮想画素の画素データは、端処理回路１２で生成される。図４の格子の交点は、２．５倍の拡大画像の各画素を示している。すなわち、元データで実在する黒丸の間に、拡大処理回路１１で算出された画素データの画素が挿入されて拡大画像が生成される。通常画素生成部１３は、図４の黒丸で示した画素を基にした、拡大画素の画素データの算出を行う。

２．５倍の拡大画像の生成は、例えば、実際の画像では、水平方向６４０画素、垂直方向４８０画素の画像データを、水平方向１６００画素、垂直方向１２００画素のディスプレイに表示するために２．５倍拡大する動作が相当する。

通常画素生成部１３は、元画像の画素Ａ、画素Ｂ、画素Ｃおよび画素Ｄの４つの画素から共一次内挿法で、拡大画像において隣接する２画素間の中に含まれる画素データを算出する。例えば、通常画素生成部１３は、元画像の４つの画素データＡ＝(0,0)、Ｂ＝(1,0)、Ｃ＝(0,1)、Ｄ＝(1,1)から、拡大画像の９点の画素データを算出する。拡大画像の９点の画素は、図４の９つの交点(0,0)、(1,0)、(2,0)、(0,1)、(1,1)、(2,1)、(0,2)、(1,2)、(2,2)が該当する。

このとき、通常画素生成部１３は、aおよびｂの値を以下のように設定して、拡大画像の各画素データを算出する。拡大画像の(0,0)の点はa＝0およびｂ＝0、(1,0)の点はa＝0.4およびb＝0、(2,0)の点はa＝0.8、b＝0、(1,0)の点はａ＝0およびb＝0.4としてaおよびbの値が設定される。また、拡大画像の(1,1)の点はa＝0.4およびb＝0.4、(1,2)の点はa＝0.8およびb＝0.4、(2,0)の点はa＝0、b＝0.8、(2,1)の点はa＝0.4およびb＝0.8、(2.2)の点はa＝0.8およびb＝0.8としてaおよびbの値が設定される。

同様に、通常画素生成部１３は、Ａ＝(1,0)、Ｂ＝(2,0)、Ｃ＝(1.1)、Ｄ＝(2,1)から拡大画像の画素データを６点生成する。また、通常画素生成部１３は、Ａ＝(0,1)、Ｂ＝(1,1)、Ｃ＝(0,2)、Ｄ＝(1,2)から拡大画像の画素データを６点生成する。また、通常画素生成部１３は、Ａ＝(1,1)、Ｂ＝(2,1)、Ｃ＝(1,2)、Ｄ＝(2,2)から拡大画像の画素データを４点生成する。このように、通常画素生成部１３は、拡大画像の画素データを順次、算出するが、元画像の(4,0)、(4,1)、(4,2)、(4,3)、(4,4)、(0,4)、(1,4)、(2,4)および(3,4)の画素は、元画像に画素データの値が無い。そのため、通常画素生成部１３は、拡大画像の(8,0)、(8,1)・・・(8,10)、(9,0)、(9,1) ・・・(9,10)、(0,8)、(1,8) ・・・(10,8)、(0,9)、(1,9) ・・・(10,9)の画素データの値を、元画像の実データを用いては算出することができない。拡大画像のこれらの画素データは、元画像に画素データが存在しない存在しない(4,0)、(4,1)、(4,2)、(4,3)、(4,4)、(0,4)、(1,4)、(2,4)および(3,4)に相当する画素に仮想画素を設定し、周辺画素生成部１４によって算出される。

周辺画素生成部１４は、元画像データに実データが存在しない画面の端の拡大画像の画素データを生成する機能を有する。周辺画素生成部１４は、端処理回路１２から端処理回路出力信号Ｓ１２として入力される仮想画素データと、元画像データ信号Ｓ１として入力される仮想画素に隣接する実画素の画素データを基に、拡大画像の画面端付近の画素データを生成する。周辺画素生成部１４は、通常画素生成部１３と同様に共一次内挿法で、拡大画像の画素データを算出する。周辺画素生成部１４は、算出した拡大画像の画素データを、周辺画素データ信号Ｓ１４として拡大画像生成部１５に送る。また、本実施形態の周辺画素生成部１４の機能は、第１の実施形態の周辺画素データ生成手段３に相当する。

例えば、周辺画素生成部１４は、元画像の(3,0)と(3,１)および仮想画素の(4,0)と(4,１)から、拡大画像の(8,0)、(8,1)、(8,2)、(9,0)、(9,1)、(9,2)、(10,1)および(10,2)の画素データを算出する。周辺画素生成部１４は、画面端付近、すなわち画面周辺の他の画素についても同様に実データと仮想画素データを用いて、拡大画像の画素データを生成する。

拡大画像生成部１５は、通常画素生成部１３および周辺画素生成部１４が算出した拡大画像の画素データを基に、拡大画像を生成する機能を有する。拡大画像生成部１５は、通常画素生成部１３から通常画素データ信号Ｓ１３として入力される画素データおよび周辺画素生成部１４から周辺画素データ信号Ｓ１４として入力される画素データを、一時保存する。

拡大画像生成部１５は、拡大画像の1画面分に相当する画素データを一時保存すると、各画素データを拡大画像の対応する各画素に割り当てて拡大画像の画像データを生成する。拡大画像生成部１５は、生成した拡大画像の画像データを拡大画像データ信号Ｓ２として出力する。拡大画像生成部１５から拡大画像データ信号Ｓ２として出力された拡大画像の画像データは、画像拡大装置１０が備えられた映像処理装置等によって表示や映像データの生成等に用いられる。また、本実施形態の拡大画像生成部１５の機能は、第１の実施形態の拡大画像生成手段４に相当する。

端処理回路１２の構成について詳細に説明する。図５は、端処理回路１２の構成の概要を示した図である。本実施形態の端処理回路１２は、図５に示すように第１のレジスタ２１と、第２のレジスタ２２と、乗算器２３と、減算器２４を備えている。また、本実施形態の端処理回路１２の機能は、第１の実施形態の仮想画素データ生成手段１に相当する。

第１のレジスタ２１は、画素データを一時保存する機能を有する。第１のレジスタ２１は、元画像の画素データが元画像データ信号Ｓ１として入力されると、入力された画素データを一次保存する。第１のレジスタ２１は、次の画素データが入力されるタイミングで、保存していた画素データを第１出力信号Ｓ２１として出力し、新たに入力された画素データを保存する。第１のレジスタ２１は、画素が入力されるごとに一次保存と出力を繰り返す。第１のレジスタ２１から第１出力信号Ｓ２１として出力された画素データは、第２のレジスタ２１と乗算器２３に入力される。

第２のレジスタ２２は、第１のレジスタ２１と同様に画素データを一時保存する機能を有する。第２のレジスタ２２は、第１のレジスタ２１から第１出力信号Ｓ２１として元画像の画素データが入力されると、入力された画素データを一時保存する。第２のレジスタ２２は、次の画素データが第１のレジスタ２１から入力されるタイミングで、保存していた画素データを第２出力信号Ｓ２２として出力し、新たに入力された画素データを保存する。第２のレジスタ２２は、画素が入力されるごとに一次保存と出力を繰り返す。第２のレジスタ２２から出力された第２出力信号Ｓ２２として画素データは、減算器２４に入力される。

第１のレジスタ２１および第２のレジスタ２２には、順次、画素データが入力されるが、第２のレジスタ２２に入力される画素データは、第１のレジスタ２１に入力される画素データよりも１つ前の画素データとなる。第１のレジスタ２１に入力された画素データが、Ｋ(Ｘ−１,Ｙ)の画素データであるとすると、第２のレジスタ２１に入力される画素データは、Ｋ(Ｘ−２,Ｙ)の画素データとなる。

乗算器２３は、入力された画素データを基に乗算を行ってデータを出力する機能を有する。乗算器２３は、第１のレジスタ２１から第１出力信号Ｓ２１として入力された画素データの値を２倍にして出力する。乗算器２３は、２倍にした画素データを減算器２４に乗算器出力信号Ｓ２３として出力する。

減算器２４は、入力された２つの画素データを基に減算を行って、結果を出力する機能を有する。減算器２４は、第２のレジスタ２２から第２出力信号Ｓ２２として入力された画素データと、乗算器２３から乗算器出力信号Ｓ２３として入力された画素データを基に、減算による演算処理を行う。減算器２４は、乗算器２３から入力された画素データの値から第２のレジスタ２２から入力された画素データの値を引いた値を算出して、結果を仮想画素データ信号Ｓ１２として出力する。減算器２４から仮想画素データ信号Ｓ１２として出力された画素データは、拡大処理回路１１に送られる。

図６は、端処理回路１２で画素データを算出する仮想画素と、仮想画素を算出する際に実データを用いる画素の横方向の位置関係を模式的に示したものである。図６では横方向、すなわち、画面の水平方向がＸ軸として示されている。本実施形態の端処理回路１２は、元画像の最外周の画素の画素データＫ（Ｘ−１,Ｙ）と、最外周の画素と隣接し、最外周より1つ前の画素の画素データＫ（Ｘ−２,Ｙ）を基に、仮想画素データＫ（Ｘ,Ｙ）を算出している。仮想画素データＫ（Ｘ,Ｙ）は、元画像の最外周の画素よりもＸ方向にさらに1画素分、画素が存在すると仮定して設定された画素の画素データである。図６の例の場合に、端処理回路１２によって算出される仮想画素データＫ（Ｘ−１,Ｙ）は、２×Ｋ(Ｘ−１,Ｙ)−Ｋ(Ｘ−２,Ｙ)の値となる。また、図６の例では、画面の水平方向ついてのみ示したが、画面の垂直方向の端の画素についても同様に仮想画素データの算出が行われる。

本実施形態の画像拡大装置１０の動作について説明する。画像サイズの変更のために拡大が必要な画像の画像データが、画像拡大装置１０が備えられた画像処理装置等から元画像データＳ１として画像拡大装置１０に入力される。

画素データの入力は、例えば、水平方向の1ライン分の各画素のデータが順に入力され、1ライン分の入力が終わると垂直方向に1ライン下の画素データが順次、入力される方法で行われる。

画像拡大装置１０に元画像データ信号Ｓ１として入力された元画像の画素データは、拡大処理回路１１と、端処理回路１２にそれぞれ送られる。拡大処理回路１１に入力された元画像データ信号Ｓ１は、通常画素生成部１３と周辺画素生成部１４にそれぞれ入力される。通常画素生成部１３および周辺画素生成部１４は、元画像データ信号Ｓ１として画素データが入力されると、入力された画素データを一時保存する。通常画素生成部１３と周辺画素生成部１４は、それぞれ自ユニットで拡大画像を生成する際に用いる画素のデータのみを保存するようにしてもよい。

端処理回路１２に元画像データ信号Ｓ１として入力された画素データは、第１のレジスタ２１に入力される。第１のレジスタ２１は、元画像データ信号Ｓ１として画素データが入力されると、入力された画素データを一時保存する。第１のレジスタ２１は、次の画素データを受け取ると、一時保存していた画素データを第１出力信号Ｓ２１として出力する。また、第１のレジスタ２１は、入力された画素データをそれまで保存していたデータに代えて一時保存する。

第１のレジスタ２１から出力された第１出力信号Ｓ２１は分岐されて、第２のレジスタ２２および乗算器２３にそれぞれ入力される。

第２のレジスタ２２は、第１出力信号Ｓ２１として画素データが入力されると、入力された画素データを一時保存する。第２のレジスタ２２は、次の画素データを受け取ると、一時保存していた画素データを第２出力信号Ｓ２２として出力する。また、第２のレジスタ２２は、入力された画素データをそれまで保存していたデータに代えて一時保存する。第２のレジスタ２２から出力された第２出力信号Ｓ２２は、減算器２４に入力される。

乗算器２３に第１出力信号Ｓ２１が入力されると、乗算器２３は入力された画素データの値を２倍にして、２倍にした画素データを乗算器出力信号Ｓ２３として減算器２４に出力する。

第２出力信号Ｓ２２および乗算器出力信号Ｓ２３が減算器２４に入力されると、減算器２４は入力された２つの画素データを基に演算処理を行う。減算器２４は、乗算器出力信号Ｓ２２として入力された画素データの値から、第２出力信号Ｓ２２として入力された画素データの値を引いた値を仮想画素データとして算出する。減算器２４は、仮想画素データの値を算出すると、算出した仮想画素データの値を端処理回路出力信号Ｓ１２として拡大処理回路１１へ出力する。

端処理回路出力信号Ｓ１２として拡大処理回路１１に入力された仮想画素データは、周辺画素生成部１４に入力される。端処理回路出力信号Ｓ１２として仮想画素データが入力されると周辺画素生成部１４は、入力された仮想画素データを一時保存する。

通常画素生成部１３および周辺画素生成部１４に１画面分の画素データが一時保存されると、通常画素生成部１３および周辺画素生成部１４は、拡大画像の画素データの算出をそれぞれ行う。通常画素生成部１３および周辺画素生成部１４は、１画面分の画素データが一時保存される前に、拡大画像の各画素の画素データを算出するためのデータがそろった段階で拡大画像の画素データの算出を開始してもよい。また、通常画素生成部１３および周辺画素生成部１４は、所定のブロック単位で元データがそろった段階で拡大画像の画素データの算出を開始してもよい。

通常画素生成部１３および周辺画素生成部１４は、共一次内挿法に基づいて拡大画像の各画素データを算出する。通常画素生成部１３および周辺画素生成部１４は、拡大画像の画素データを算出すると、算出した各画素データを通常画素データ信号Ｓ１３および周辺画素データ信号Ｓ１４として拡大画像生成部１５にそれぞれ出力する。

通常画素データ信号Ｓ１３および周辺画素データ信号Ｓ１４として拡大画素の画素データが入力されると、拡大画像生成部１５は、入力された拡大画像の画素データを一時保存する。拡大画素生成部１５は、１画面分の拡大画像の画素データを一時保存すると、各画素データを該当する画素の位置に割り当てた拡大画像の画像データを生成する。

拡大画素生成部１５は、拡大画像の画像データを生成すると、生成した拡大画像の画像データを拡大画像データ信号Ｓ２として出力する。拡大処理回路１１から出力された拡大画像データ信号Ｓ２は、画像拡大装置１０が備えられている画像処理装置等において画像データして処理され保存または表示装置等への表示が行われる。

本実施形態の画像拡大装置１０では、端処理回路１２が元画像の実データを基に生成した仮想画素データと元画像の最外周の画素を基に、拡大処理回路１１の周辺画素生成部１４が拡大画像における画面周辺部の画素データを算出している。このように本実施形態の画像拡大装置１０では、実データを基に仮想画素データを設定し、拡大画像の周辺部の画素データを算出しているので、拡大画像の周辺部とそれに隣接する領域と画素データが大きく異なることは生じない。そのため、本実施形態の画像拡大装置１０では、拡大画像の周辺部で輝度や色度等が急激に変化して人の目に不自然な画像に見える状態を避けることができる。よって、本実施形態の画像拡大装置１０では、拡大画像の周辺部での画質の劣化を抑えることができる。その結果、本実施形態の画像拡大装置は、周辺部の画質の劣化を抑制しつつ画像を拡大することができる。

（第３の実施形態）
本発明の第３の実施形態について図を参照して詳細に説明する。図７は、本実施形態の画像拡大装置３０の構成の概要を示したものである。本実施形態の画像拡大装置３０は、拡大処理回路３１と、端処理回路３２を備えている。拡大処理回路３１は、通常画素生成部３３と、周辺画素生成部３４と、拡大画像生成部３５をさらに備えている。

第２の実施形態では、端処理回路によって算出された画素データを用いた仮想画素を元画像の最外周より外側に配置したが、本実施形態では元画像の最外周には実データを有する画素が配置される。本実施形態では、端処理回路によって算出された画素データを用いた画素は、最外周の画素よりも１画素前に配置される。

拡大処理回路３１の構成について説明する。拡大処理回路３１は、第２の実施形態の拡大処理回路１１と同様に入力された画像データを基に所定の倍率の拡大画像の画像データを生成する機能を有する。

通常画素生成部３３は、第２の実施形態の通常画素生成部１３と同様の機能を有する。通常画素生成部３３は、元画像データ信号Ｓ１として入力される元画像の画素データを基に、拡大画像の画素データを共一次内挿法で算出する。本実施形態の通常画素生成部３３は、第２の実施形態と同様に、元画像の実データを用いる画素のみ拡大画像の画素データの算出を行う。通常画素生成部３３は、算出した拡大画像の画素データを通常画素データ信号Ｓ３３として拡大画像生成部３５へ出力する。

周辺画素生成部３４は、所定の倍率の拡大画像の周辺部の画素データを共一次内挿法で算出する機能を有する。周辺画素生成部３４は、第２の実施形態の周辺画素生成部１４と同様に、拡大画像の画素データの算出の際に、端処理回路３２が算出した画素データを使用する画素のみを対象として拡大画像の画素データを算出する。

周辺画素生成部３４は、拡大画像の画素データを算出する際に、最も端になる仮想画素には元画像データ信号Ｓ１として入力される元画像データのうち最外周の実データを用いる。周辺画素生成部３４は、最も端から１つ前の画素データについて端処理回路３２で算出した画素データを用いて、拡大画像の画素データを算出する。周辺画素生成部３４は、元画像の実データのうち最外周からさらに１つ手前、すなわち、最外周から２つ目の画素と、端処理回路３２で算出した画素データとの間でも拡大画像の画素データを算出する。周辺画素生成部３４は、算出した拡大画像の画素データを周辺画素データ信号Ｓ３４として拡大画像生成部３５へ出力する。

図８は、端処理回路３２で画素データを算出する対象となる画素と、画素データを算出する際に用いる元画像に実データがある画素の横方向の位置関係を模式的に示したものである。図８では横方向、すなわち、画面の水平方向がＸ軸として示されている。本実施形態の端処理回路３２は、元画像の最外周の画素の画素データＫ（Ｘ,Ｙ）を仮想画素データとして設定する。本実施形態では、元画像の最外周の画素が、実際の画素の位置よりも１画素分外側にあると仮定して拡大画像の画素データの算出が行われる。

元画像の最外周の画素を１つ外にずらしたことによって元画像の画素データが無くなる画素は、端処理回路３２によって画素データＫ（Ｘ−１,Ｙ）が算出される。端処理回路３２によって算出される画素データＫ（Ｘ−１,Ｙ）は、（Ｋ(Ｘ−１,Ｙ)＋Ｋ(Ｘ−２,Ｙ)）／２の値となる。すなわち、最外周の２画素の実画素データの平均値が端処理回路３２によって算出される画素データの値となる。

拡大画像生成部３５は、第２の実施形態の拡大画像生成部１５と同様の機能を有する。拡大画像生成部３５は、通常画素生成部３３から通常画素データ信号Ｓ３３として入力される画素データと、周辺画素生成部３４から周辺画素データ信号Ｓ３４として入力される画素データを基に、拡大画像の画像データを生成する。拡大画像生成部３５は、生成した拡大画像の画像データを拡大画像データ信号Ｓ２として出力する。拡大画像生成部３５から拡大画像データ信号Ｓ２として出力された拡大画像の画像データは、画像拡大装置が備えられた映像処理装置等によって表示や映像データの生成等に用いられる。

端処理回路３２の構成について説明する。図９は本実施形態の端処理回路３２の構成の概要を示した図である。図９に示す通り、本実施形態の端処理回路３２は、第１のレジスタ４１と、第２のレジスタ４２と、加算器４３と、除算器４４を備えている。

第１のレジスタ４１は、第２の実施形態の第１のレジスタ２１と同様の機能を有する。第１のレジスタ４１は、元画像データＳ１として入力される画素の保存と出力を繰り返し行う。第１のレジスタ４１は、一時保存していた画素データを第１出力信号Ｓ４１として第２のレジスタ４２と加算器４３へ出力する。

第２のレジスタ４２は、第２の実施形態の第２のレジスタ２２と同様の機能を有する。第２のレジスタ４２は、第１出力信号Ｓ４１として入力されて一時保存していた画素データを第２出力信号Ｓ４２として加算器４３へ出力する。

加算器４３は、入力された画素データを基に加算を行ってデータを出力する機能を有する。本実施形態の加算器４３は、第１のレジスタ４１から第１出力信号Ｓ４１として入力された画素データの値と第２のレジスタ４２から第２出力信号Ｓ４２として入力された画素データの値を加算して、結果を加算器出力信号Ｓ４３として除算器４４へ出力する。

除算器４４は、加算器出力信号Ｓ４３として入力された画素データの値について除算を行って結果を出力する機能を有する。除算器４４は、加算器出力信号Ｓ４３として入力された画素データの値を２で割って、結果を端処理回路出力信号Ｓ３２として拡大処理回路３１へ出力する。

本実施形態の画像拡大装置３０の動作について説明する。画像サイズの変更のために拡大が必要な画像の画像データが、第２の実施形態と同様に元画像データＳ１として画像拡大装置３０に入力される。

画像拡大装置３０に元画像データ信号Ｓ１として入力された元画像の画素データは、拡大処理回路３１と、端処理回路３２にそれぞれ送られる。

拡大処理回路３１に入力された元画像データ信号Ｓ１は、通常画素生成部３３と周辺画素生成部３４にそれぞれ入力される。通常画素生成部３３および周辺画素生成部３４は、元画像データ信号Ｓ１として画素データが入力されると、入力された画素データを一時保存する。通常画素生成部３３と周辺画素生成部３４は、それぞれ自ユニットで拡大画像を生成する際に用いる画素のデータのみを保存するようにしてもよい。

端処理回路３２に元画像データ信号Ｓ１として入力された画素データは、第１のレジスタ４１に入力される。第１のレジスタ４１は、元画像データ信号Ｓ１として画素データが入力されると、入力された画素データを一時保存する。第１のレジスタ４１は、次の画素データを受け取ると、新たに入力されたデータを一時保存し、それまで一時保存していた画素データを第１出力信号Ｓ４１として出力する。

第１のレジスタ４１から出力された第１出力信号Ｓ４１は分岐されて、第２のレジスタ４２および加算器４３にそれぞれ入力される。

第２のレジスタ４２は、第１出力信号Ｓ４１として画素データが入力されると、入力された画素データを一時保存する。第２のレジスタ２２は、次の画素データを受け取ると、受け取った画素データを一時保存し、それまで一時保存していた画素データを第２出力信号Ｓ４２として出力する。第２のレジスタ４２から出力された第２出力信号Ｓ２２は、加算器４３に入力される。

加算器４３に第１出力信号Ｓ４１および第２出力信号Ｓ４２が入力されると、加算器４３は２つの信号として入力された画素データの値を加算する。加算器４３は、加算した画素データを加算器出力信号Ｓ４３として除算器４４に出力する。

加算器出力信号Ｓ４３が除算器４４に入力されると、除算器４４は入力された値を２で割って結果を端処理回路出力信号Ｓ３２として出力する。除算器４４から出力された端処理回路出力信号Ｓ３２は、拡大処理回路３１に入力される。

端処理回路出力信号Ｓ３２として拡大処理回路３１に入力された画素データは、周辺画素生成部３４に入力される。端処理回路出力信号Ｓ３２として画素データが入力されると周辺画素生成部３４は、入力された仮想画素データを一時保存する。

通常画素生成部３３および周辺画素生成部３４に１画面分の画素データが一時保存されると、通常画素生成部３３および周辺画素生成部３４は、拡大画像の画素データの算出をそれぞれ行う。通常画素生成部３３および周辺画素生成部３４は、１画面分の画素データが一時保存される前に、拡大画像の各画素の画素データを算出するためのデータがそろった段階で拡大画像の画素データの算出を開始してもよい。また、通常画素生成部３３および周辺画素生成部３４は、所定のブロック単位で元データがそろった段階で拡大画像の画素データの算出を開始してもよい。

通常画素生成部３３および周辺画素生成部３４は、共一次内挿法に基づいて拡大画像の各画素データを算出する。通常画素生成部３３および周辺画素生成部３４は、拡大画像の画素データを算出すると、算出した各画素データを通常画素データ信号Ｓ３３および周辺画素データ信号Ｓ３４として拡大画像生成部３５にそれぞれ出力する。

通常画素データ信号Ｓ３３および周辺画素データ信号Ｓ３４として拡大画素の画素データが入力されると、拡大画像生成部３５は、入力された拡大画像の画素データを一時保存する。拡大画素生成部３５は、１画面分の拡大画像の画素データを一時保存すると、各画素データを該当する画素の位置に割り当てた拡大画像の画像データを生成する。

拡大画素生成部３５は、拡大画像の画像データを生成すると、生成した拡大画像の画像データを拡大画像データ信号Ｓ２として出力する。拡大処理回路３１から出力された拡大画像データ信号Ｓ２は、画像拡大装置３０が備えられている画像処理装置等において画像データして処理され保存または表示装置等への表示が行われる。

本実施形態の画像拡大装置３０では、端処理回路３２が元画像の実データを基に算出した画素データと元画像の画素データを基に、拡大処理回路３１の周辺画素生成部３４が拡大画像における画面周辺部の画素データを算出している。本実施形態の画像拡大装置３０では、最外周部に実データを用いた画素を配置し、最外周から２つ前の画素より外側の領域の画素データの算出で、端処理回路３２が算出した画素データを用いている。そのため、第２の実施形態より、端処理回路３２が算出した画素データが用いられている領域が広い。このような構成とすることで、本実施形態の画像拡大装置３０では、拡大画像の周辺部とそれに隣接する領域の連続性を向上させることができる。そのため、本実施形態の画像拡大装置３０では、拡大画像の周辺部で輝度や色度等が急激に変化して人の目に不自然な画像に見える状態をより抑制することができる。以上より、本実施形態の画像拡大装置３０は、周辺部の画質の劣化を抑制しつつ画像を拡大することができる。

第２および第３の実施形態では、拡大画像の画像データを生成する際に、画面の水平方向と垂直方向についてそれぞれ片方のみ仮想画素を設定して画素データの算出を行っている。そのような構成に代えて、水平方向と垂直方向の両方またはいずれか一方について画面の両側に仮想画素を設定して、拡大画像の画素データを算出する構成としてもよい。

また、第２および第３の実施形態では、仮想画素を水平方向または垂直方向１ラインにつき１点のみ設定しているが、周辺部において仮想画素を複数、設定してもよい。そのような構成とする場合は、例えば、元画像において１画素おきに実データの画素と端処理回路で算出した画素データの画素が並ぶようにする。

第１乃至第３の実施形態の画像拡大装置は、画像表示装置だけでなく画像読み取り装置に用いることもできる。例えば、光学式の読み取り装置で読み取られた画像データが所定の画像サイズよりも小さいときに、本実施形態の画像拡大装置を用いて拡大画像の画像データを生成して利用または保存を行うことができる。

第１乃至第３の実施形態の画像拡大装置の各機能に相当する処理は、コンピュータプログラムとしてコンピュータで実行されるようにしてもよい。また、第１乃至第３の実施形態に示した各処理をコンピュータに実行させることのできるプログラムは、記憶媒体格納して頒布することもできる。記憶媒体としては、例えば、データ記録用磁気テープや、ハードディスクなどの磁気ディスクを用いることができる。また、記憶媒体としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ（Digital Versatile Disc）などの光ディスク、光磁気ディスク（ＭＯ：Magneto Optical disk）を用いることもできる。半導体メモリを記憶媒体として用いてもよい。

１ 仮想画素データ生成手段
２ 通常画素データ生成手段
３ 周辺画素データ生成手段
４ 拡大画像生成手段
１０ 画像拡大装置
１１ 拡大処理回路
１２ 端処理回路
１３ 通常画素生成部
１４ 周辺画素生成部
１５ 拡大画像生成部
２１ 第１のレジスタ
２２ 第２のレジスタ
２３ 乗算器
２４ 減算器
３０ 画像拡大装置
３１ 拡大処理回路
３２ 端処理回路
３３ 通常画素生成部
３４ 周辺画素生成部
３５ 拡大画像生成部
４１ 第１のレジスタ
４２ 第２のレジスタ
４３ 加算器
４４ 除算器
Ｓ１ 元画像データ信号
Ｓ２ 拡大画像データ信号
Ｓ１２ 端処理回路出力信号
Ｓ１３ 通常画素データ信号
Ｓ１４ 周辺画素データ信号
Ｓ２１ 第１出力信号
Ｓ２２ 第２出力信号
Ｓ２３ 乗算器出力信号
Ｓ３２ 端処理回路出力信号
Ｓ３３ 通常画素データ信号
Ｓ３４ 周辺画素データ信号
Ｓ４１ 第１出力信号
Ｓ４２ 第２出力信号
Ｓ４３ 加算器出力信号

Claims (10)

1. 入力された画像データのうち、画面最外周の第１の画素の第１の画素データと、前記第１の画素と隣接する第２の画素の第２の画素データとを基に、前記第１の画素と隣接した位置に存在すると仮定した仮想画素の画素データを仮想画素データとして算出する仮想画素データ生成手段と、
   前記画像データの拡大画像の画素のうち所定の周辺画素以外の画素を生成する際に、前記画像データの隣接する画素間に挿入する画素の画素データを、前記隣接する画素の画素データを内挿して通常画素データとして算出する通常画素データ生成手段と、
   前記通常画素データ生成手段と並列に配置され、前記画像データの拡大画像の所定の周辺画素を生成する際に、前記画像データの前記第１の画素と前記仮想画素の間に挿入する画素の画素データを、前記第１の画素データと前記仮想画素データを内挿して周辺画素データとして算出する周辺画素データ生成手段と、
   並列処理で算出された前記通常画素データおよび前記周辺画素データを基に前記拡大画像のデータを生成して出力する拡大画像生成手段と
   を備えることを特徴とする画像拡大装置。
2. 周辺画素データ生成手段は、前記仮想画素が前記第１の画素よりも外側に設定されているとして前記周辺画素データを算出することを特徴とする請求項１に記載の画像拡大装置。
3. 前記仮想画素データ生成手段は、前記仮想画素データを生成する際に前記第２の画素データよりも前記第１の画素データの寄与が大きくなるように所定の重みづけを行って算出することを特徴とする請求項１または２いずれかに記載の画像拡大装置。
4. 前記仮想画素は前記第１の画素と前記第２の画素の間に設定され、
   前記周辺画素データ生成手段は、前記第２の画素と前記仮想画素の間の画素データの算出をさらに行うことを特徴とする請求項１に記載の画像拡大装置。
5. 前記仮想画素データ生成手段は、前記第１の画素データと前記第２の画素データの平均値となるように前記仮想画素データを算出することを特徴とする請求項４に記載の画像拡大装置。
6. 入力された画像データのうち、画面最外周の第１の画素の第１の画素データと、前記第１の画素と隣接する第２の画素の第２の画素データとを基に、前記第１の画素と隣接した位置に存在すると仮定した仮想画素の画素データを仮想画素データとして算出し、
   前記画像データの拡大画像の画素のうち所定の周辺画素以外の画素を生成する際に、前記画像データの隣接する画素間に挿入する画素の画素データを、前記隣接する画素の画素データを内挿して通常画素データとして算出し、
   前記画像データの拡大画像の所定の周辺画素を生成する際に、前記画像データの前記第１の画素と前記仮想画素の間に挿入する画素の画素データを、前記第１の画素データと前記仮想画素データを内挿して周辺画素データとして算出し、
   並列処理で算出された前記通常画素データおよび前記周辺画素データを基に前記拡大画像のデータを生成して出力することを特徴とする画像拡大方法。
7. 前記仮想画素が前記第１の画素よりも外側に設定されているとして前記周辺画素データを算出することを特徴とする請求項６に記載の画像拡大方法。
8. 前記仮想画素データを生成する際に前記第２の画素データよりも前記第１の画素データの寄与が大きくなるように所定の重みづけを行って算出することを特徴とする請求項６または７いずれかに記載の画像拡大方法。
9. 前記仮想画素は前記第１の画素と前記第２の画素の間に設定され、
   前記第２の画素と前記仮想画素の間の画素データの算出をさらに行うことを特徴とする請求項６に記載の画像拡大方法。
10. 前記第１の画素データと前記第２の画素データの平均値となるように前記仮想画素データを算出することを特徴とする請求項９に記載の画像拡大方法。

Images