JP4274238B2 - 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、デジタル画像を表示出力する画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに係り、特に、高解像度化や大画面化に従ってデジタル画像の拡大処理を行なう画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに関する。

さらに詳しくは、本発明は、大画面上にアイコンや文字を含んだオンスクリーン表示を行なう画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに係り、特に、表示品質を保ったままオンスクリーン表示エリアを拡大処理する画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに関する。

現在、画像表示の高解像度化、大画面化が進んでおり、デジタル画像の拡大処理は非常に重要な技術である。

ここで、デジタル化された画像は以下の２つに大別される。

（１）カメラなどの撮像デバイスでキャプチャされ、記録又は伝送された自然画像。
（２）コンピュータなどで生成されたグラフィックや文字テキストなどの人工画像。

自然画像においては、双線形補間やＣｕｂｉｃ補間などサンプリング定理を根拠とした補間フィルタによって画像を拡大あるいは縮小処理する手法が一般的である。これらの画像処理方法によれば、多値階調を持ち、原理上、ノイズが含まれる自然画像については品質の高い拡大画像を得ることができる。

一方、人工画像に対し上述した補間フィルタを用いて拡大処理すると、文字などのエッジがなまってしまうため、品質の高い拡大画像を得ることができない。特に、文字テキストなどの２値画像では、エッジのなまりに起因するボケを回避するために、最近傍補間による拡大処理を行なうことが多い。ところが、最近傍補間による拡大処理では、ジャギー（画像の輪郭に観察されるギザギザ）が視覚上の問題となる。

また、最近では、人工画像においても複雑な映像を取り扱うことが多くなってきている。このような場合、データ・マッチングなどを用いた拡大で文字テキストを適切に拡大処理するだけでは、その他の人工画像との組み合わせにおいて不整合が生じるといった問題がある。

デジタル画像に表示される人工画像の一例として、画面に出現する画面設定用の操作画面などのオンスクリーンディスプレイ（ＯＳＤ）が挙げられる。ＯＳＤ機能は、各種の画像情報のメディアに対するユーザ・インターフェースとして用いられ、装置状態や動作条件を示すアイコンあるいはキャラクタなどの表示をディスプレイ画面上で主画像に重ねるような形式で行ない、装置の動作モード等をアイコン表示したり、装置の操作方法を案内したりすることができる。

例えば、画像情報のメディアとしてデジタルカメラが広範に普及しているが、メモリカードに格納された画像データを再生、表示するモードと、スルーで撮影画像を表示するモードの動作を可能とし、表示装置であるＬＣＤパネルの画面上で画像データと、カウンタ、日付、撮影条件等を示すキャラクタ・データを合成して、オンスクリーン表示させることが知られている（例えば、特許文献１を参照のこと）。

また、オンスクリーン画像はモニタ上で比較的見易いと思われるサイズ及び位置で表示されるべきであるという観点から、キャラクタあるいはパターンを、任意のサイズに拡大縮小する手段と任意の位置に表示させる手段、操作部に上記キャラクタあるいはパターンを任意のサイズに拡大縮小するキーと任意の位置に移動させるキーを設け、該キーの操作により上記キャラクタあるいはパターンを任意のサイズ及び任意の位置に表示するようにしたオンスクリーン制御装置について提案がなされている（例えば、特許文献２を参照のこと）。

また、ユーザ設定に係わるアイコンの表示サイズを拡大することで、オンスクリーン画像の視認性を向上させることができる。例えば、装置の状態変化又は動作条件の設定変更を判定し、変化が判定された装置の状態又は動作条件を示すアイコンを指定して、前のアイコンと異なった形態でＯＳＤ表示を行なうディスプレイ付き電子装置について提案がなされている（例えば、特許文献３を参照のこと）。

このように、デジタルカメラなどの製品を中心として、自然画像に重畳された人工画像を拡大処理する機会が増えてきており、高解像度・多値階調の自然画像と同様に品質よく人工画像の拡大画像を得る必要がある。従来より、人工画像のうち文字テキストなど比較的少ない階調からなる画像データに関する拡大処理する手法について提案がなされている。

例えば、基本文字と拡大文字の両方の文字フォントをあらかじめ蓄積しておき、拡大文字パターンに対して幾つかのパターン・マッチングを施して拡大文字を生成するアウトライン・フォント生成方法について提案がなされている（例えば、特許文献４を参照のこと）。この方法は、フォント・データを格納するために大容量のメモリが必要になってしまう。また、この方法は、基本文字フォント・データから拡大文字を生成し、この拡大文字に対して補正を施すという、拡大処理と補正処理の２パスの処理になることから、処理時間やハードウェア化の際のコスト負担が大きくなる。

また、区分的多項式補間を用いて２値画像をスケーリングする方法について提案がなされているが（例えば、特許文献５を参照のこと）、膨大なパターンＲＯＭが必要になるか、又は、少ないパターンでは拡大画像が低品質なものになってしまう。また、複雑な演算処理が必要となり、処理時間やハードウェア化の際のコスト負担が大きくなる。

また、文字や図形を拡大する際のスムージング方法について提案がなされているが（例えば、特許文献６を参照のこと）、この場合も、複雑な演算処理が必要となり、処理時間やハードウェア化の際のコスト負担が大きくなる。

また、遺伝的アルゴリズムによるフォント生成システムについて提案がなされているが（例えば、特許文献７を参照のこと）、この場合も、複雑な演算処理が必要となり、処理時間やハードウェア化の際のコスト負担が大きくなる。

上述したいずれの方法も、基本的には２値のグラフィック画像を処理対象としているが、縁取りや影文字などの文字装飾に対応することができない。

また、文字をパターン・マッチングにより拡大する方法について提案がなされているが（例えば、特許文献８を参照のこと）、ターゲットのパターンを高品質に拡大することは可能であるが、複雑な人工画像では背景画と合成する際に不自然なパターンが生じることがある。

特開平１１−１４６２３４号公報 特開平７−１６２７５０号公報 特開２００５−３０１９９２号公報 特開平５−９４１７１号公報 特開平８−６３５９２号公報 特開平９−３０５７５５号公報 特開２００４−４３０２号公報 特開２００６−３４２０号公報

本発明の目的は、高解像度化や大画面化に従ってデジタル画像の拡大処理を好適に行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、大画面上にアイコンや文字を含んだオンスクリーン表示を好適に行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、表示品質を保ったままオンスクリーン表示エリアなどの人工画像を拡大処理することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、オンスクリーン表示エリアなどの人工画像を、その他の人工画像との組み合わせにおいて不整合を生じることなく好適に拡大処理することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明のさらなる目的は、縁取りや影文字などの装飾が施された文字テキストや比較的複雑な人工画像を好適に拡大処理することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。

本発明は、上記課題を参酌してなされたものであり、その第１の側面は、画像を拡大処理する画像処理装置であって、
入力画像の各画素についての属性を判別する属性判定部と、
入力画像中の各画素を注目画素として、該注目画素及びその周囲で該属性と判定された画素からなる入力画像のパターンと所定の補間パターンとの一致性を判定するパターン一致性判定部と、
前記パターン一致性判定部による一致性判定結果に基づいて、該注目画素をＮ倍に拡大した後のＮ×Ｎ個の各画素の画素データを選択するデータ選択部と（但し、Ｎは２以上の整数）、
を具備することを特徴とする画像処理装置である。

現在、画像表示の高解像度化、大画面化が進んでおり、デジタル画像の拡大処理は非常に重要な技術である。デジタル化された画像は、自然画像とグラフィックや文字テキストなどの人工画像に大別されるが、自然画像に関しては画像の拡大並びに縮小処理方法は確立されているのに対し、人工画像に関しては、拡大処理時にエッジのなまりやこれに起因するボケの問題があり、最近傍補間を用いてもジャギーが可視化してしまう。

現在、文字や図形を拡大する際のスムージング方法について幾つか提案がなされているが、いずれも処理時間やハードウェア化の際のコスト負担が大きくなるという問題があり、また、縁取りや影文字といった文字装飾の相違など人工画像が持つさまざまな属性に十分対応していない。

これに対し、本願発明に係る画像処理装置では、まず属性判定部が入力画像の各画素についての属性を判別する。入力画像は、例えば、カメラなどで捕捉された映像信号に対して重畳する、文字や図形などの人工画像である。

前記属性判定部は、入力画像の各画素について人工画像を示す属性を持つか否かを判別する。続いてパターン一致性判定部は、入力画像中の各画素を注目画素として、該注目画素及びその周囲で該属性と判定された画素からなるパターンと所定の補間パターンとの一致性を判定する。そして、データ選択部では、該注目画素をＮ倍に拡大した後のＮ×Ｎ個の各画素の画素データについて、注目画素が持つ元の画素データにするか、あるいは隣接画素の画素データで補間すべきか、データ選択を行なう。

補間並びに拡大処理した後の各画素の画素データが決定した後は、さらにカラーパレットを用いて各画素のカラーコードをＲＧＢ又はＹｃｒＣｂの画素データに変換する。そして、画像合成部において、画像データに変換した後の入力画像を、カメラなどで捕捉された映像信号と重畳することによって、オンスクリーン画像を合成することができる。

ここで、前記属性判定部は、人工画像に関する複数の属性を判定し、前記複数の属性を属性グループにグループ化するようにしてもよい。このような場合、前記パターン一致性判定部は、属性グループ毎に補間パターンを用意して、注目画素に対して判定された属性が属する属性グループに対応する補間パターンを用いて、入力画像のパターンとの一致性を判定することができる。

例えば、人工画像を構成する画素データのカラーコードを属性グループに応じたアドレス範囲でグループ分けしておくことによって、前記属性判定部は、入力画像の各画素が持つカラーコードのアドレス範囲に基づいて、画素毎の属性グループを容易に判定することができる。具体的には、カラーコードを、前景グループ(太字用)、前景グループ(細字用)、背景グループ、縁グループなど、人工画像の属性グループ毎にアドレス範囲をグループ化し、前記属性判定部は入力画像の各画素のカラーコードのアドレス範囲に基づいて属性を判定する。

このような場合、前記パターン一致性判定部は、前記属性判定部による注目画素の属性判定結果に応じて、パターン・マッチングに使用する補間パターンを選択して、パターン一致性を判定する。注目画素とその周辺画素の属性判定結果が同じパターンであったとしても、属性グループの種別に応じて注目画素を拡大したときの補間画素の選択方法が変わるので、属性グループに応じて補間方法を適応的に切り換えて拡大処理を行なうことになる。

したがって、本発明に係る画像処理装置によれば、特に、文字に着目した人工画像の拡大処理では、カラーコード値に基づく属性判定により太線処理や細線処理、縁取り処理、背景処理といったように、注目画素が持つ属性に応じて最適な拡大処理方法（若しくは、画素を拡大した際の最適な画素補間方法）を選択することができる。勿論、文字だけではない複雑な人工画を持ったオンスクリーン画像の拡大処理において、少ないメモリ容量で文字だけではなく背景画の品質も縁取り付きの文字の品質も向上することができる。

特許文献８にもパターン・マッチングにより拡大する方法について提案がなされているが（前述）、本発明によれば、注目画素の属性に応じて補間方法が適応的に切り換えるので、ターゲットのパターンを高品質に拡大することは可能であり、且つ、複雑な人工画像では背景画と合成する際に不自然なパターンの発生を抑制することができる。

また、前記パターン一致性判定部は、属性グループ毎に補間方法を切り替える場合において、さらに属性グループ間で優先関係をさらに定義することもできる。例えば、属性グループ２を属性グループ１よりも優先するという優先関係を定義した場合、注目画素が属性グループ２であるときには属性グループ１をその他のグループとして扱うことはないが、注目画素が属性グループ１である場合には属性グループ２を同じグループとして扱うことができる。

このような場合、通常のパターン・マッチングでは一致性が判定される注目画素が補間の対象となる一方、属性グループ間で優先関係を定義することによって不一致とみなされ、注目画素が補間の対象外となり、異なる補間・拡大処理が適用されるケースが想定される。勿論、画像やパターン次第では、その逆、すなわち、通常のパターン・マッチングでは不一致が判定されるのに対して、属性グループ間で優先関係を定義することによって一致とみなされて補間の対象となることもある。

したがって、属性グループ間で優先関係を定義することによって、背景に相当する属性グループの側のみ補間する、又は補間しないといった制御が容易になる。また、カラーコードのアドレス範囲によるグループ分けが行なわれているので、グラフィックよりもフォントを優先して補間する、フォントの文字部分よりも縁取り部分を優先するといった制約を与えることも可能である。

また、パターン一致性を判定する範囲が処理対象となる画像の領域を超えることがある。このような場合には、前記パターン一致性判定部は、画像範囲外を背景グループとして画像の端部において補間パターンとのパターン一致性判定を行なうとともに、前記データ選択部は補間に使用する画素の位置を適宜変更することで、画像の端まで補間することが可能となる。

例えば、画像の左端では、注目画素を２倍に拡大した際の左上の補間対象となる１画素を上部の画素データで補間を行なう。また、画像の上端では、注目画素を２倍に拡大した際の左上の補間対象となる１画素を左側の画素データで補間を行なう。

また、本発明に係る画像処理装置は、オンスクリーン画像を構成する注目画素の画素数を拡大する際、一部の画素については元の注目画素データに代えて隣接画素データで補間することで、解像度を損なわずに曲線を滑らかに拡大したオンスクリーン画像を生成することができる。すなわち、前記データ選択部は、注目画素に隣接する背景色の並びに応じて画素データの補間のために参照する画素の位置を適応的に切り替えるようになっている。

具体的には、注目画素に隣接して２種類の背景色が横に並んでいる場合には、注目画素の上方の画素を参照位置として選択する。また、注目画素に隣接して２種類の背景色が縦に並んでいる場合には、注目画素の左の画素を参照位置として選択する。

また、本発明の第２の側面は、画像を拡大処理するための画像処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
入力画像の各画素についての属性を判別する属性判定手順と、
入力画像中の各画素を注目画素として、該注目画素及びその周囲で該属性と判定された画素からなる入力画像のパターンと所定の補間パターンとの一致性を判定するパターン一致性判定手順と、
前記パターン一致性判定手順を実行して得られる一致性判定結果に基づいて、該注目画素をＮ倍に拡大した後のＮ×Ｎ個の各画素の画素データを選択するデータ選択手順と（但し、Ｎは２以上の整数）、
を実行させることを特徴とするコンピュータ・プログラムである。

本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る画像処理装置と同様の作用効果を得ることができる。

本発明によれば、大画面上にアイコンや文字を含んだオンスクリーン表示を好適に行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、大画面上にアイコンや文字を含んだオンスクリーン表示を好適に行なうことができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、表示品質を保ったままオンスクリーン表示エリアなどの人工画像を拡大処理することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、オンスクリーン表示エリアなどの人工画像を、その他の人工画像との組み合わせにおいて不整合を生じることなく好適に拡大処理することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することができる。

また、本発明によれば、縁取りや影文字などの装飾が施された文字テキストや比較的複雑な人工画像を好適に拡大処理することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することができる。

本発明によれば、多値で構成されるオンスクリーン画像であっても、グループに振り分けることなく２値のパターン・マッチングにより、複雑な演算を行なうことなく画像に応じたさまざまな補間処理を行なうことができるので、回路規模を削減することが可能となる。

また、本発明によれば、文字テキストなどの人工画像を複数の色を持つ背景色と合成する場合であっても、背景画処理を加えることで背景の不自然さをなくし、拡大画像の品質を高めることが可能である。

本発明に係る画像表示処理は、例えばマイクロコンピュータの制御によりカラーパレットの管理を追加することで実現することができ、追加のフラグなどを必要としないことから、従来と同様のオンスクリーン画像生成を実行するだけで容易に補間処理の制御が可能である。

特許文献８にもパターン・マッチングにより拡大する方法について提案がなされているが（前述）、本発明に係る画像処理装置及び画像処理方法によれば、注目画素の属性に応じて補間方法が適応的に切り換えるので、ターゲットのパターンを高品質に拡大することは可能であり、且つ、複雑な人工画像では背景画と合成する際に不自然なパターンの発生を抑制することができる。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

以下、図面を参照しながら本発明の実施形態について詳解する。

図１には、本発明の一実施形態に係る画像処理装置の構成例を示している。図示の画像処理装置１００００は、人工画像生成部１０００と、生成された人工画像を記憶する人工画像記憶メモリ２０００と、メモリ・データ読み出し制御部３０００と、補間・拡大部４００−０〜４００−Ｎと、カラーパレット５００−０〜５００−Ｎと、画像合成部６００−０〜６００−Ｎを備え、マイクロコンピュータ７０００により装置全体の動作が統括的にコントロールされている。

人工画像生成部１０００は、ＯＳＤ用のオンスクリーン画像などの合成用の人工画像を生成する。オンスクリーン画像は、カラーコードにより表されるビットマップ形式の画像であり、グラフィックとフォントがオンスクリーン画像内に存在する。

生成されたオンスクリーン画像などの人工画像は、一旦人工画像記憶メモリ２０００へ保存される。メモリ・データ読み出し制御部３０００は、映像信号と合成するタイミングに合わせて、人工画像記憶メモリ２０００から人工画像を読み出して、画像合成を行なう複数の系統に出力する。

映像信号と人工画像とを合成処理する各系統は、補間・拡大部４００−ｉにより人工画像の補間並びに拡大してから映像信号との合成処理を行なう系統（但し、ｉは０〜Ｎで２以外の整数）と、人工画像を等倍のまま映像信号との合成処理を行なう系統からなる。各系統では、補間及び拡大され、又は等倍のままの人工画像をそれぞれカラーパレット５００−０〜５００〜ＮによりカラーコードかＲＧＢデータ又はＹＣｒＣｂデータに変換し、画像合成部６００−０〜６００−Ｎで映像信号と合成される。これにより、オンスクリーン画像などの人工画像を、タイミングやサイズの異なる複数の系統で共通して重畳することが可能である。

なお、各画像合成部６００−０〜６００−Ｎに入力される映像信号は、例えばデジタルカメラなどの撮像デバイスでキャプチャされ、記録又は伝送された自然画像であるとする。デジタルカメラ自体の構成や撮像画像の処理は本発明の要旨に直接関連しないので、本明細書では詳細な説明を省略する。

図２には、補間・拡大部４００−０〜４００−Ｎの内部構成例を示している。図示の補間・拡大部は、パターン・マッチングにより人工画像の補間・拡大処理を行なうようになっている。

ラインメモリ及びシフトレジスタ４１００は、補間対象となる画素とその近傍の画素のデータを保持し、属性判定部４２００及びデータ選択部４４００へ供給する。

属性判定部４２００は、任意の手段を用いて補間対象画素及びその近傍画素がそれぞれどの属性グループに属するコードであるかを判別し、その結果を表すフラグを、後続のパターン一致性判定部４３００へ供給する。ここで言う属性とは、例えば文字情報の人工画像に関して、前景グループ（太字用）、前景グループ（細字用）、背景グループ、縁グループなどの属性に相当する。

画素の属性グループを判別する１つの方法として、人工画像を構成する画素データに対して属性グループに応じたカラーコードのアドレッシング（すなわち、アドレス範囲に応じたグループ分け）を行なうことが挙げられる。例えば図１２に示すように、人工画像に関するＲＧＢ又はＹＣｂＣｒデータを保持するカラーパレットに対し、カラーパレットのアドレス０からアドレスＬはグループ０、アドレスＬ＋１からアドレスＭまではグループ１、アドレスＭ＋１からＮまではグループ２、アドレスＮ＋１からアドレス２５５まではグループ３、という条件をあらかじめ与えておく。この条件はマイクロコンピュータ７０００などより自由に変更可能とする。

ＯＳＤ用の人工画像のカラーコードを、背景などの自然画像とは異なるアドレス・グループにマッピングする場合、カラーコードが所定のアドレス範囲内のグループに含まれているかどうかに基づいて注目画素毎の属性（すなわち、前景となる人工画像と背景となる自然画像のいずれであるか）を容易に判定することができる。すなわち、属性判定部４２００は、アドレス範囲によるグループ分けにより、後述の前景グループ（太字用）、前景グループ（細字用）、背景グループ、縁グループなどの属性をカラーコードから判断を行なう。これにより、カラーコードの選択のみで容易に属性グループを使い分けたオンスクリーン画像生成が可能となる。そして、この属性グループを必要数だけ用意することでより自由度を高めることが可能である。

勿論、本発明の要旨は、カラーコードを属性毎にアドレス範囲でグループ分けする方法に限定される分けではなく、人工画像を構成する画素データ毎に、カラーコードとは別に属性のフラグを持たせるなど、他の方法を用いて画素毎の属性判定処理を行なうようにしてもよい。

パターン一致性判定部４３００は、属性判定部４２００において前景と判定された各画素を注目画素として、注目画素及びその周囲の各画素の属性（すなわち前景と背景のいずれであるか）の判定結果のパターンを、あらかじめ用意されている１以上の補間パターンとの間でマッチングを行なう。

そして、データ選択部４４００は、パターン一致性判定部４３００による一致性判定結果に基づいて、当該注目画素をＮ倍に拡大したときに（但し、Ｎは２以上の整数）、拡大後のＮ×Ｎ画素のうち少なくとも一部の画素を隣接画素データで補間するなどの補間処理を行なうべきかどうかを選択する。

本実施形態では、複数の属性の判別情報を各カラーコードに与えることにより（図１２を参照のこと）、属性判定部４２００は、カラーコード値に基づいて注目画素が前景又は背景のいずれであるかといった属性を判別することができる。そして、属性が判別された画像のパターン・マッチングにより拡大に使用すべき補間パターンをデータ選択部４４００で選択して、人工画像の拡大処理を行なう。

さらには、パターン一致性判定部４３００におけるパターン・マッチングの範囲が処理対象となる画像の領域を超える場合の処理を規定するとともに、注目画素の属性毎に補間パターンをグループ分けするようにしてもよい。すなわち、単純に、前景からなる補間パターンを用いるのではなく、前景の細字用グループ、前景の太字用グループ、前景の縁グループといった具合に、属性グループ毎に異なる補間パターンを用意しておく。このような場合、パターン一致性判定部４３００は、属性判定部４２００による注目画素の属性判定結果に応じて、パターン・マッチングに使用する補間パターンを選択して、パターン一致性を判定する。、注目画素とその周辺画素の属性判定結果が同じパターンであったとしても、属性グループの種別に応じて注目画素を拡大したときの補間画素の選択方法が変わるので、属性グループに応じて補間方法を適応的に切り換えて拡大処理を行なうことになる。

したがって、本実施形態に係る画像処理装置によれば、特に、文字に着目した人工画像の拡大処理では、カラーコード値に基づく属性判定により太線処理や細線処理、縁取り処理、背景処理といったように、注目画素が持つ属性に応じて最適な拡大処理方法（若しくは、画素を拡大した際の最適な画素補間方法）を選択することができる。勿論、文字だけではない複雑な人工画を持ったオンスクリーン画像の拡大処理において、少ないメモリ容量で文字だけではなく背景画の品質も縁取り付きの文字の品質も向上することができる。

特許文献８にもパターン・マッチングにより拡大する方法について提案がなされているが（前述）、本発明に係る画像処理装置及び画像処理方法によれば、注目画素の属性に応じて補間方法が適応的に切り換えるので、ターゲットのパターンを高品質に拡大することは可能であり、且つ、複雑な人工画像では背景画と合成する際に不自然なパターンの発生を抑制することができる。

ここで、パターン一致判定部４３００でのパターン・マッチングの結果に応じて縦２倍横２倍の拡大を行なう処理について、図３Ａ〜３Ｄを参照しながら説明する。

パターン一致判定部４３００は、画像の拡大処理を行なう際に注目画素を補間するために使用する補間パターンを必要枚数だけ用意している。そして、パターン一致判定処理の結果、注目画素とその近傍画素の前景又は背景パターンが補間パターンのうち１つと一致した場合には、注目画素を縦２倍横２倍にした画素群のうち１つの画素を、注目画素の代わりに隣接画素データを使用することで、画像を拡大した後も滑らかに見える補間拡大された画素が生成される。

図３Ａには、属性判定部４２００における判定結果、すなわちパターン一致性判定部４３００への入力例３１０を示している。各画素には、属性に応じてグループ化されたカラーコードが付与されている。同図において、ｂ０並びにｂ１は背景のグループ色であり、ｆ０は前景のグループ色である。そして、属性値ｆ０を持つ前景パターンのうち太枠で描かれた画素が注目画素となる。

また、図３Ｂには、注目画素を補間するべきかどうかを判定するために用意された補間パターンの一例３００を示している。図示の補間パターンは、前景のパターンに相当する黒く塗り潰された領域と、白抜きの背景パターンに相当する領域と、画素の属性が背景又は前景のいずれであるかが問われないドット表示された領域を含んでいる。

パターン一致性判定部４３００は、図３Ｂに示した補間パターンと、図３Ａに示した属性判定された画像の前景パターンとのパターン・マッチングを行なう。図３Ｃには、図３Ａに示したオンスクリーン表示画像が入力された際に属性判定部４２００から出力される画像情報に含まれる前景パターンを示している。

パターン領域内に背景グループ色であるカラーコードが２種類以上存在しても、図３Ｃに示したように一律に背景として扱うとする。また、図３Ｂに示したように補間パターンは画素の属性が背景又は前景のいずれであるかを問われない領域が設けられている。よって、図３Ａと図３Ｂの画像をパターン・マッチングすると、図３Ｃに示すように、処理対象となる画像領域３２０のうち注目画素を含む太枠で描かれた画素が補間パターンと一致しているとみなされる（属性判定部４２００が出力する画像に複数の前景グループ色が存在する場合も同様である）。

注目画素とその近傍画素の前景パターンが、パターン一致性判定部４３００で用意するいずれかの補間パターンと一致するときには、注目画素を縦２倍横２倍に補間する際の補間方法を、一致したパターンに応じて適応的に切り替える。図３Ｃに示す補間パターンと一致する場合には、注目画素を縦２倍横２倍にした２×２画素群のうち、図３Ｄに示すように左上の１画素を、元の注目画素の代わりに隣接画素により補間した画素データを使用し、他の３画素は元の注目画素の画素データをそのまま使用する。

なお、注目画素を縦２倍横２倍にしたとき、隣接画素で補間すべき画素の位置は２×２の４画素群のうち必ず左上の１画素となる。これを９０度ずつ回転させて行なうことで、全４画素を補間の対象とすることができる。

図３Ｅには、パターン一致性判定部４３００に入力された画像（図３Ａを参照のこと）を拡大する際に、図３Ｄに示した補間方法を適用した結果を示している。同図からも、前景パターンのエッジが滑らか見えるように画像が補間拡大されていることが理解できよう。

図４には、図３に示したような画素の補間並びに拡大処理を入力画像のすべての画素を注目画素として適用した結果を示している。図４Ａに示す入力画像は、オンスクリーン画像などの前景パターンを含んでいる。この入力画像全体に対して画素数を縦２倍横２倍に拡大する際、前景パターンの屈曲部分に相当する各注目画素において、縦２倍横２倍に拡大したときの一部の画素を元の注目画素ではなく隣接画素の画素データで補間する。この結果、図４Ｂに示すように、画素数が縦２倍横２倍となっても、解像度を損なうことなく、曲線が滑らかに拡大された前景パターン（オンスクリーン画像）を生成することができる。

本実施形態では、パターン一致性判定部４３００におけるパターン一致性を判定する範囲が処理対象となる画像の領域を超える場合の処理を規定している。図５には、画像の端部でパターン一致判定を行なう様子を示している。画像範囲外は背景グループとすることで、パターン一致性判定部４３００は画像の端部において補間パターンとのパターン一致性判定を行なうとともに、補間に使用する画素の位置を適宜変更することで、画像の端まで補間することが可能となる。例えば、図５Ａに示すように、画像の左端では、注目画素を２倍に拡大した際の左上の補間対象となる１画素を上部の画素データで補間を行なう。また、図５Ｂに示すように、画像の上端では、注目画素を２倍に拡大した際の左上の補間対象となる１画素を左側の画素データで補間を行なう。

上述したように、本実施形態では、オンスクリーン画像を構成する注目画素の画素数を拡大する際、一部の画素については元の注目画素データに代えて隣接画素データで補間することで、解像度を損なわずに曲線を滑らかに拡大したオンスクリーン画像を生成するようにしている。補間データとしての参照先となる画素の位置は、注目画素に隣接する背景色の並びに応じて適応的に切り替えられる。

注目画素を縦２倍横２倍にしたとき、隣接画素で補間すべき画素の位置は２×２の４画素群のうち左上の１画素となるが、画素データの補間のために参照する画素の位置を背景色の並びに応じて適応的に切り替えることとする。例えば、５×５画素からなる画素ブロックの各画素の位置を図６Ａのように表し、このうちＭ０Ｃ０を注目画素としたとし、この注目画素Ｍ０Ｃ０に隣接する画素が図６Ｂに示すような各背景色パターンを持つ場合には、画素データの補間のために参照する画素の位置をそれぞれ以下のように定義することができ、パターンによってはこれらのどれかが反映されるものとする。

パターン１： Ｍ０Ｌ１＝＝Ｕ１Ｌ１ ⇒ 注目画素の上部の画素位置の画素データを参照
パターン２： Ｍ０Ｌ１＝＝Ｄ１Ｌ１ ⇒ 注目画素の上部の画素位置の画素データを参照
パターン３： Ｕ１Ｌ１＝＝Ｕ１Ｃ０ ⇒ 注目画素の左部の画素位置の画素データを参照
パターン４： Ｕ１Ｃ０＝＝Ｕ１Ｒ１ ⇒ 注目画素の左部の画素位置の画素データを参照
パターン５： Ｕ１Ｃ０＝＝Ｕ１Ｌ１＝＝Ｕ１Ｒ１ ⇒ 注目画素の左部の画素位置の画素データを参照

例えば、図６Ｃに示すように、注目画素に隣接して２種類の背景色が横に並んでいる場合には、注目画素の上方の画素データを参照して、注目画素を２倍に拡大したときの２×２画素の左上の画素を補間することができる。

また、図６Ｄに示すように、注目画素に隣接して２種類の背景色が縦に並んでいる場合には、注目画素の左の画素データを参照して、注目画素を２倍に拡大したときの２×２画素の左上の画素を補間することができる。

既に述べたように、前景からなる補間パターンのように１種類の属性だけを単純に用いるのではなく、前景の細字用グループ、前景の太字用グループ、前景の縁グループといった具合に、複数の属性グループを設けるとともに、属性グループ毎に補間パターンをグループ分けするようにしてもよい。

すなわち、パターン一致性判定部４３００は、属性判定部４２００による注目画素の属性判定結果に応じて、パターン・マッチングに使用する補間パターンを取捨選択して、パターン一致性を判定する。このような場合、注目画素とその周辺画素の属性判定結果が同じパターンであったとしても、属性グループの種別に応じて注目画素を拡大したときの補間画素の選択方法が変わるので、属性グループに応じて補間方法を適応的に切り換えて拡大処理を行なうことができる。

以下では、パターン一致性判定部４３００において、属性グループ別にパターンの一致性の判別に使用する補間パターンを使い分ける処理について、図７を参照しながら説明する。

図７Ａ並びに図７Ｂには、属性判定部４２００における判定結果、すなわちパターン一致性判定部４３００への入力例７１１並びに７１２をそれぞれ示している。同図において、ｇ１並びにｇ２はパターン一致性判定の対象となる属性グループ１及び属性グループ２にそれぞれ属する色（カラーコード）を持つ画素である。また、ｇ０は、パターン一致性判定の対象となる色（カラーコード）を持つ画素である。

図７Ｃ並びに図７Ｄには、属性グループ１及び属性グループ２に対してそれぞれ用意された、注目画素を補間するべきかどうかを判定するための補間パターン７０１並びに７０２をそれぞれ示している。図示の補間パターンは、前景のパターンに相当する黒く塗り潰された領域と、白抜きの背景パターンに相当する領域と、画素の属性が背景又は前景のいずれであるかが問われないドット表示された領域を含んでいる。

パターン一致性判定部４３００は、属性判定部４２００により判定された注目画素が持つ属性が属する属性グループに応じて、パターン・マッチングに使用する補間パターンを選択して、パターンの一致性を判定する。

例えば、図７Ａに示した画像７１１が属性判定部４２００から入力されたときには、注目画素は属性グループ１に属するカラーコードｇ１を持つことから、図７Ｃに示した補間パターン７０１を用いてパターン一致性の判定処理を行なう。

図７Ｅには、図７Ａに示した入力画像７１１を図７Ｃに示した補間パターン７０１とパターン・マッチングを行なった結果７２１を示している。パターン領域内に背景グループ色であるカラーコードが２種類以上存在しても、一律に背景として扱うとする。よって、図７Ａと図７Ｃの画像をパターン・マッチングすると、図７Ｅに示すように、処理対象となる画像領域７１１のうち注目画素を含む太枠で描かれた画素が補間パターンと一致しているとみなされる（属性判定部４２００からの入力画像７１１に同じ属性グループに属する複数の属性値が存在する場合も同様である）。

ちなみに、図７Ｆには、図７Ａに示した入力画像７１１を図７Ｄに示した補間パターン７０２とパターン・マッチングを行なった結果７３１を示している。この場合、注目画素のカラーコードｇ１が属しない属性グループ２のための補間パターン７０２でパターン・マッチングを行なうことになり、補間パターンとは一致しないと判定されるであろう。

一方、図７Ｂに示した画像７１２が属性判定部４２００から入力されたときには、注目画素は属性グループ２に属するカラーコードｇ２を持つことから、図７Ｄに示した補間パターン７０２を用いてパターン一致性の判定処理を行なう。

図７Ｇには、図７Ｂに示した入力画像７１２を図７Ｄに示した補間パターン７０２とパターン・マッチングを行なった結果７３２を示している。パターン領域内に背景グループ色であるカラーコードが２種類以上存在しても、一律に背景として扱うとする。よって、図７Ｂと図７Ｄの画像をパターン・マッチングすると、図７Ｇに示すように、処理対象となる画像領域７１２のうち注目画素を含む太枠で描かれた画素が補間パターンと一致しているとみなされる（属性判定部４２００からの入力画像７１２に同じ属性グループに属する複数の属性値が存在する場合も同様である）。

ちなみに、図７Ｈには、図７Ｂに示した入力画像７１２を図７Ｃに示した補間パターン７０１とパターン・マッチングを行なった結果を示している。この場合、注目画素のカラーコードｇ２が属しない属性グループ１のための補間パターン７０１でパターン・マッチングを行なうことになり、補間パターンとは一致しないと判定されるであろう。

また、画素の属性のグルーピングは色（カラーコード）に限定されるものではない。例えば、人工画像としての文字若しくは線分の太字又は細字を属性グループとして扱い、上述と同様に、属性グループに応じた補間パターンを用意して、属性グループに応じて補間方法を適応的に切り換えて拡大処理を行なうことができる。

図８Ａには、太線属性を持つ人工画像を太線用の補間パターンを用いて補間拡大処理を行なった結果を示している。また、図８Ｂには、細線属性を持つ人工画像を細線用の補間パターンを用いて補間拡大処理を行なった結果を示している。両図を比較しても分るように、注目画素の属性グループに応じて補間方法を適応的に切り換えて拡大処理を行なうことで、補間拡大した後も、太線並びに細線それぞれの特徴を保つことができる。

画素の属性に関して複数の属性グループを設けるとともに、属性グループ毎に補間パターンをグループ分けして、注目画素における属性グループの種別に応じて補間拡大時に使用する補間パターンを適用的に切り替える処理手順については、図７Ａ〜図７Ｈを参照しながら既に説明した。このような処理動作において、パターン一致性判定部４３００は、属性グループ間で優先関係をさらに定義することもできる。

例えば、属性グループ２を属性グループ１よりも優先するという優先関係を定義した場合、注目画素が属性グループ２であるときには属性グループ１をその他のグループとして扱うことはないが、注目画素が属性グループ１である場合には属性グループ２を同じグループとして扱うことができる。

ここで、パターン一致性判定部４３００に対して、図９Ａに示すような画像９１０が入力された場合ついて考えてみる。図示の入力画像９１０において、ｇ１並びにｇ２はパターン一致性判定の対象となる属性グループ１及び属性グループ２にそれぞれ属する色（カラーコード）を持つ画素である。また、ｇ０は、パターン一致性判定の対象となる色（カラーコード）を持つ画素である。

属性グループ２を属性グループ１よりも優先するという優先関係を定義した場合には、属性グループ１用の補間パターンとマッチングをとるときには、属性グループ２の画素を同じグループとして扱うから、パターン一致性判定部４３００では、図９Ａに示した入力画像９１０を図９Ｂに示すような等価画像９２０として扱って、属性グループ１用の補間パターンとの一致性を判定することになる。一方、属性グループ２用の補間パターンとマッチングをとるときには、属性グループ１の画素を同じグループとしては扱わないから、パターン一致性判定部４３００では、図９Ａに示した入力画像９１０を図９Ｃに示すような等価画像９２２として扱って、属性グループ２用の補間パターンとの一致性を判定することになる。

そして、パターン一致性判定部４３００は、属性グループ１に対して図９Ｄに示す補間パターン９００が用意されているものとする。属性グループ２と属性グループ１の間で優先関係を定義せず、通常のパターン・マッチング、すなわち補間パターン９００と入力と等価画像９２２との間でパターン・マッチングを行なう場合には、図９Ｅに示すようにパターン９３１の一致が判定され、補間の対象となる。

これに対し、属性グループ２と属性グループ１の間で優先関係を定義したときには、属性グループ２を優先したパターン・マッチング、すなわち補間パターン９００と入力と等価画像９２２との間でパターン・マッチングが行なわれるから、図９Ｆに示すようにパターン９３２の不一致が判定され、補間の対象外となる。

なお、図９に示した例では、通常のパターン・マッチングでは一致性が判定されるのに対して、属性グループ間で優先関係を定義することによって不一致とみなされ、補間の対象外となる。勿論、画像やパターン次第では、その逆、すなわち、通常のパターン・マッチングでは不一致が判定されるのに対して、属性グループ間で優先関係を定義することによって一致とみなされて補間の対象となることもある。

パターン一致性を判定した以降は、上述と同様に、この判定結果に基づいてデータ選択すなわち補間対象の画素が選択され、補間及び拡大処理が実施される。属性グループ間で優先関係を定義することによって、図１０に示すように、背景に相当する属性グループの側のみ補間する、又は補間しないといった制御が容易になる。また、カラーコードのアドレス範囲によるグループ分けが行なわれているので、グラフィックよりもフォントを優先して補間する、フォントの文字部分よりも縁取り部分を優先するといった制約を与えることも可能である。

図１１には、属性グループ間で優先関係を定義して補間拡大方法を用いてオンスクリーン画像を補間並びに拡大した具体例を示している。同図は、元のオンスクリーン画像は、“２”というフォントを含み、背景色、縁取り色、文字色という３種類の属性のうちいずれかが各画素に与えられており、縁取り色≧文字色＞背景色という順で優先順位が割り振られている場合の結果である。元画像１１００を最近傍補間により縦２倍横２倍に拡大した結果の画像１１１０に比べると、本実施形態に係る補間拡大方法によれば、解像度を保ったまま曲線を滑らかにした結果１１２０が得られることを理解できよう。

図１に示した画像処理装置１００００は、上述したような補間・拡大部４００を各系統に備えており、カラーコードと属性グループの対応や補間パターンをそれぞれ個別に与えることにより、補間拡大処理方法を系統毎に任意に設定することが可能である。

これは、さまざまな映像出力に対して適切な補間拡大を、ある１つのオンスクリーン画像から生成することが可能であることを意味する。

図１３には、画像処理装置１００００において実行される処理手順をフローチャートの形式で示している。

入力された画像データは、各処理系統へ入力される。それぞれの処理系統では、カラーコードの属性が設定されており（ステップＳ１）、注目画素及びその周囲画素についてカラーコードから属性を判定する（ステップＳ２）。

次いで、判断された属性に応じてあらかじめ用意された補間パターンの中から適切なものを選択して（ステップＳ３）、パターンの一致性を判定する（ステップＳ４）。

ここで、入力画像と補間パターンとの不一致が判定されたときには（ステップＳ４のＮｏ）、例えば公知の最近傍補間方法などによる単純拡大処理を実施する（ステップＳ５）。また、入力画像と補間パターンとの一致が判定されたときには（ステップＳ４のＹｅｓ）、隣接画素により補間拡大を実施する（ステップＳ６）。

ステップＳ６において、パターンとの一致性の確認方法や隣接画素の補間方法は、既に説明した通りであり、注目画素やその周囲画その属性に基づいてさまざまな方法を適用することができる。

次いで、拡大された結果は、カラーパレットを用いてカラーコードからＲＧＢ若しくはＹＣｒＣｂの色情報へ変換される（ステップＳ７）。その後、カメラの捕捉画像などの映像信号と合成され（ステップＳ８）、合成映像画像を出力する（ステップＳ９）。

このように、本実施形態に係る画像処理装置によれば、より自由度が高く、ユーザの好みに合わせたパターン・マッチングによる補間拡大処理を実行することが可能である。

図１４には、図１３に示したフローチャート中のステップＳ２（若しくは属性判定部４２００）で実行される属性判定処理の詳細な処理手順をフローチャートの形式で示している。

各画素にカラーコードが付与された画像データを入力すると、入力画像の各画素が持つカラーコードのアドレス範囲に基づいて、画素毎の属性グループを判定する。具体的には、０＜ｄ＜Ｌのアドレス範囲の画像データｄを属性グループｇ０と判定し（ステップＳ１１、Ｓ１２）、Ｌ＋１＜ｄ＜Ｍのアドレス範囲の画像データｄを属性グループｇ１と判定し（ステップＳ１３、Ｓ１４）、Ｍ＋１＜ｄ＜Ｎのアドレス範囲の画像データｄを属性グループｇ２と判定し（ステップＳ１５、Ｓ１６）。

次いで、各画素に判定された属性グループｍについて、補間対象となっている注目画素に判定された属性グループｃとの優先関係を確認する（ステップＳ１８）。

ここで、自分の属性グループｍの方が注目画素の属性グループｃよりも優先度が高いときには（ステップＳ１９のＹｅｓ）、属性判定結果として０を返す（ステップＳ２０）。

また、自分の属性グループｍの方が注目画素の属性グループｃよりも優先度が低いときには（ステップＳ１９のＮｏ）、さらにｍと所定値ｐとの比較を行なう（ステップＳ２１）。そして、ｍがｐに等しければ（ステップＳ２１のＹｅｓ）、属性判定結果として１を返し（ステップＳ２２）、ｍがｐと等しくなければ（ステップＳ２１のＮｏ）、判定結果として２を返す（ステップＳ２３）。

そして、入力画像のすべての画素について上記の属性判定を行なった結果を、後続の処理（若しくはパターン一致性判定部４３００）に出力して、本処理ルーチンを終了する。

また、図１５には、図１３に示したフローチャート中のステップＳ３〜Ｓ４（もしくはパターン一致性判定部４３００並びにデータ選択部４４００）で実行されるパターン一致性の判定並びに補間データの選択処理の詳細な処理手順をフローチャートの形式で示している。

属性判定部４２００などから図１４に示したフローチャートを実行した結果を受け取ると、現在の注目画素が持つ属性値が属する属性グループを判定して、その判定結果に応じて、補間・拡大処理に利用する補間パターンを選択する。すなわち、注目画素が属性グループｇ０であればｇ０用の補間パターンを選択してパターン・マッチングを行ない（ステップＳ３１−０、Ｓ３２−０）、注目画素が属性グループｇ１であればｇ０及びｇ１用の各補間パターンを選択してパターン・マッチングを行ない（ステップＳ３１−１、Ｓ３２−１）、…、注目画素が属性グループｇｎであればｇ０〜ｇｎ用の各補間パターンを選択してパターン・マッチングを行なう（ステップＳ３１−ｎ、Ｓ３２−ｎ）。

パターン・マッチングした結果、属性グループに応じて選択した補間パターンとの不一致が判定されたときには（ステップＳ３３のＮｏ）、当該注目画素を補間しないことを決定する（ステップＳ３４）。

ここで、パターン一致性を判定する範囲が処理対象となる画像の領域を超えることがあるので、画像範囲外を背景グループとして画像の端部において補間パターンとのパターン一致性判定を行なうとともに、補間に使用する画素の位置を適宜変更することで、画像の端まで補間する。

また、注目画素を縦２倍横２倍にしたとき、隣接画素で補間すべき画素の位置は２×２の４画素群のうち左上の１画素となるが、画素データの補間のために参照する画素の位置を背景色の並びに応じて適応的に切り替える。

具体的には、画像の上端又は上部の２画素が同一の画素データを持つときには（ステップＳ３５のＹｅｓ）、補間対象画素をその左隣の画素で補間することを決定する（ステップＳ３６）。

また、画像の左端又は左部の２画素が同一の画素データを持つときには（ステップＳ３７のＹｅｓ）、補間対象画素をその上隣の画素で補間することを決定する（ステップＳ３８）。それ以外のときには（ステップＳ３７のＮｏ）、補間対象画素をその左隣の画素で補間することを決定する（ステップＳ３９）。

そして、入力画像の各画素を注目画素として上記のパターン一致性判定を行なった結果を、後続の処理に出力して、本処理ルーチンを終了する。

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本発明は、大画面上にアイコンや文字を含んだオンスクリーン表示を画像処理装置に好適に適用することができるが、本発明の要旨はこれに限定されるものではない。文字だけではない複雑な人工画像を持ったオンスクリーン画像の拡大処理に本発明を適用することによって、同様に、少ないメモリ容量で文字だけではなく背景画の品質も縁取り付きの文字の品質も向上することができる。

本明細書では、入力画像を縦２倍横２倍に拡大する場合を例にとって本発明に係る補間・拡大処理について説明してきたが、本発明の要旨はこれに限定されるものではなく、縦横それぞれ任意の倍率に対しても同様に本発明を適用することができる。

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。

図１は、本発明の一実施形態に係る画像処理装置の構成例を示している。図示の画像処理装置１００００の構成を示した図である。 図２は、補間・拡大部４００−０〜４００−Ｎの構成例を示した図である。 図３Ａは、属性判定部４２００に入力されるオンスクリーン表示画像の一例３１０を示した図である。 図３Ｂは、注目画素を補間するために用意された補間パターンの一例３００を示した図である。 図３Ｃは、図３Ａに示したオンスクリーン表示画像が入力された際に属性判定部４２００から出力される画像情報に含まれる前景パターンを示した図である。 図３Ｄは、注目画素を縦２倍、横２倍にした２×２画素群のうち、左上の１画素を、元の注目画素の代わりに隣接画素により補間した画素データを使用し、他の３画素は元の注目画素の画素データをそのまま使用する様子を示した図である。 図３Ｅは、パターン一致性判定部４３００に入力された画像（図３Ａを参照のこと）を拡大する際に、図３Ｄに示した補間方法を適用した結果を示した図である。 図４Ａは、補間拡大を全画像に対して適用する処理例を示した図である。 図４Ｂは、補間拡大を全画像に対して適用する処理例を示した図である。 図５Ａは、画像の左端において、注目画素を２倍に拡大した際の左上の補間対象となる１画素を上部の画素データで補間を行なう様子を示した図である。 図５Ｂは、画像の上端において、注目画素を２倍に拡大した際の左上の補間対象となる１画素を左側の画素データで補間を行なう様子を示した図である。 図６Ａは、５×５画素からなる画素ブロックの各画素の位置を示した図である。 図６Ｂは、注目画素Ｍ０Ｃ０に隣接する画素の背景色の並びを例示した図である。 図６Ｃは、注目画素に隣接して２種類の背景色が横に並んでいる場合に、注目画素の上方の画素データを参照して、注目画素を２倍に拡大したときの２×２画素の左上の画素を補間する様子を示した図である。 図６Ｄは、注目画素に隣接して２種類の背景色が縦に並んでいる場合に、注目画素の左の画素データを参照して、注目画素を２倍に拡大したときの２×２画素の左上の画素を補間する様子を示した図である。 図７Ａは、パターン一致性判定部４３００への入力例７１１を示した図である。 図７Ｂは、パターン一致性判定部４３００への入力例７１２を示した図である。 図７Ｃは、属性グループ１に対して用意された、注目画素を補間するべきかどうかを判定するための補間パターン７０１を示した図である。 図７Ｄは、属性グループ２に対して用意された、注目画素を補間するべきかどうかを判定するための補間パターン７０２を示した図である。 図７Ｅは、図７Ａに示した入力画像７１１を図７Ｃに示した補間パターン７０１とパターン・マッチングを行なった結果７２１を示した図である。 図７Ｆは、図７Ａに示した入力画像７１１を図７Ｄに示した補間パターン７０２とパターン・マッチングを行なった結果７３１を示した図である。 図７Ｇは、図７Ｂに示した入力画像７１２を図７Ｄに示した補間パターン７０２とパターン・マッチングを行なった結果７３２を示した図である。 図７Ｈは、図７Ｂに示した入力画像７１２を図７Ｃに示した補間パターン７０１とパターン・マッチングを行なった結果７２２を示した図である。 図８Ａは、太線属性を持つ人工画像を太線用の補間パターンを用いて補間拡大処理を行なった結果を示した図である。 図８Ｂは、細線属性を持つ人工画像を細線用の補間パターンを用いて補間拡大処理を行なった結果を示した図である。 図９Ａは、パターン一致性判定部４３００への入力画像９１０を示した図である。 図９Ｂは、属性グループ２を属性グループ１よりも優先するという優先関係を定義した場合において、パターン一致性判定部４３００が属性パターン１用のパターン・マッチングを行なう際に図９Ａに示した入力画像９１０を扱う等価画像９２０を示した図である。 図９Ｃは、属性グループ２を属性グループ１よりも優先するという優先関係を定義した場合において、パターン一致性判定部４３００が属性パターン２用のパターン・マッチングを行なう際の図９Ａに示した入力画像９１０を扱う等価画像９２２を示した図である。 図９Ｄは、パターン一致性判定部４３００が属性グループ１用に用意した補間パターン９００を示した図である。 図９Ｅは、属性グループ２と属性グループ１の間で優先関係を定義せず、パターン一致性判定部４３００が通常のパターン・マッチングを行なったときの結果９３１を示した図である。 図９Ｆは、属性グループ２と属性グループ１の間で優先関係を定義して、パターン一致性判定部４３００がパターン・マッチングを行なったときの結果９３２を示した図である。 図１０は、背景に相当する属性グループの側のみ補間する、又は補間しないという制御によって入力画像を補間・拡大した結果を示した図である。 図１１は、属性グループ間で優先関係を定義して補間拡大方法を用いてオンスクリーン画像を補間並びに拡大した具体例を示した図である。 図１２は、人工画像に関するＲＧＢ又はＹＣｂＣｒデータを保持するカラーパレットを、画素の属性グループに応じてアドレス範囲によりグループ分けした様子を示した図である。 図１３は、画像処理装置１００００において実行される処理手順を示したフローチャートである。 図１４は、図１３に示したフローチャート中のステップＳ２で実行される属性判定処理の詳細な処理手順を示したフローチャートである。 図１５は、図１３に示したフローチャート中のステップＳ３〜Ｓ４で実行されるパターン一致性の判定並びに補間データの選択処理の詳細な処理手順をフローチャートである。

符号の説明

１０００…人工画像生成部
２０００…人工画像記憶メモリ
３０００…メモリ・データ読み出し制御部
４００−０〜４００−Ｎ…補間拡大部
４１００…ラインメモリ及びシフトレジスタ
４２００…属性判定部
４３００…パターン一致判定部
４４００…データ選択部
５００−０〜５００−Ｎ…カラーパレット
６００−０〜６００−Ｎ…画像合成部
７０００…マイクロコンピュータ

Claims (9)

1. 画像を拡大処理する画像処理装置であって、
   人工画像を構成する画素データのカラーコードを属性グループに応じたアドレス範囲で複数の属性グループにグループ分けし、映像信号に対して重畳する人工画像で構成される入力画像の各画素が持つカラーコードのアドレス範囲に基づいて属性グループを判別する属性判定部と、
   属性グループ毎に対応する補間パターンを用意して、前記属性判定部において人工画像を示す属性グループであると判定された入力画像中の各画素を注目画素として、該注目画素及びその周囲で該属性と判定された画素からなる入力画像のパターンと該注目画素に対して判定された属性が属する属性グループに対応する補間パターンとの一致性を判定するパターン一致性判定部と、
   前記パターン一致性判定部による一致性判定結果に基づいて、該注目画素をＮ倍に拡大した後のＮ×Ｎ個の各画素の画素データを選択するデータ選択部と（但し、Ｎは２以上の整数）、
   を具備することを特徴とする画像処理装置。
2. 前記パターン一致性判定部は、属性グループ間で優先関係を定義する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記データ選択部は、前記パターン一致性判定部において補間パターンと一致すると判定された注目画素をＮ倍に拡大したときに、拡大後のＮ×Ｎ個の各画素について、元の画素のカラーコードを付与するか、又は隣接画素の画素データを用いて補間するかを選択し、
   各画素のカラーコードをＲＧＢ又はＹｃｒＣｂの画素データに変換するカラーパレットと、画像データに変換した後の入力画像及び背景となる映像信号とを重畳する画像合成部をさらに備える、
   ことを特徴とする請求項１に記載の画像処理装置。
4. パターン一致性を判定する範囲が処理対象となる画像の領域を超える場合には、前記パターン一致性判定部は画像範囲外を背景として画像の端部において補間パターンとのパターン一致性判定を行なうとともに、前記データ選択部は補間に使用する画素の位置を適宜変更する、
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記データ選択部は、注目画素に隣接する背景色の並びに応じて、該注目画素を拡大した後の補間対象画素の画素データの補間のために参照する画素の位置を適応的に切り替える、
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記データ選択部は、注目画素に隣接して２種類の背景色が横に並んでいる場合には、注目画素の上方の画素を参照位置として選択する、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記データ選択部は、注目画素に隣接して２種類の背景色が縦に並んでいる場合には、注目画素の左の画素を参照位置として選択する、
   ことを特徴とする請求項５に記載の画像処理装置。
8. 画像を拡大処理するための画像処理方法であって、
   人工画像を構成する画素データのカラーコードを属性グループに応じたアドレス範囲で複数の属性グループにグループ分けし、映像信号に対して重畳する人工画像で構成される入力画像の各画素が持つカラーコードのアドレス範囲に基づいて属性グループを判別する属性判定ステップと、
   属性グループ毎に対応する補間パターンを用意して、前記属性判定部において人工画像を示す属性グループであると判定された入力画像中の各画素を注目画素として、該注目画素及びその周囲で該属性と判定された画素からなる入力画像のパターンと該注目画素に対して判定された属性が属する属性グループに対応する補間パターンとの一致性を判定するパターン一致性判定ステップと、
   前記パターン一致性判定ステップにおける一致性判定結果に基づいて、該注目画素をＮ倍に拡大した後のＮ×Ｎ個の各画素の画素データを選択するデータ選択ステップと（但し、Ｎは２以上の整数）、
   を有することを特徴とする画像処理方法。
9. 画像を拡大処理するための画像処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータに対し、
   人工画像を構成する画素データのカラーコードを属性グループに応じたアドレス範囲で複数の属性グループにグループ分けし、映像信号に対して重畳する人工画像で構成される入力画像の各画素が持つカラーコードのアドレス範囲に基づいて属性グループを判別する属性判定手順と、
   属性グループ毎に対応する補間パターンを用意して、前記属性判定部において人工画像を示す属性グループであると判定された入力画像中の各画素を注目画素として、該注目画素及びその周囲で該属性と判定された画素からなる入力画像のパターンと該注目画素に対して判定された属性が属する属性グループに対応する補間パターンとの一致性を判定するパターン一致性判定手順と、
   前記パターン一致性判定手順を実行して得られる一致性判定結果に基づいて、該注目画素をＮ倍に拡大した後のＮ×Ｎ個の各画素の画素データを選択するデータ選択手順と（但し、Ｎは２以上の整数）、
   を実行させることを特徴とするコンピュータ・プログラム。

Images