JP4779389B2

JP4779389B2 - 画像処理回路、画像処理方法、電気光学装置

Info

Publication number: JP4779389B2
Application number: JP2005074473A
Authority: JP
Inventors: 賢次森
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2005-03-16
Filing date: 2005-03-16
Publication date: 2011-09-28
Anticipated expiration: 2025-03-16
Also published as: JP2006259047A

Description

本発明は、入力画像の拡大処理を行なう画像処理回路、画像処理方法、電気光学装置に関する。

従来より入力画像を拡大処理する画像処理装置では、拡大回路において、まず垂直補間を行う補間器が入力画像の垂直拡大処理（垂直方向の画素の間の補間画素の座標を算出する処理）を行い、また水平補間を行う補間器が入力画像の水平拡大処理（水平方向の画素の間の補間画素の座標を算出する処理）を行うか、またはその逆の順序で水平拡大処理と垂直拡大処理を行なって、拡大後の出力画像を出力している。このような画像処理装置においては、予め水平拡大処理を行なう補間器と、垂直拡大処理を行なう補間器を拡大回路に備える必要がある。また、拡大倍率は複数の水平方向と垂直方向の倍率の組合せがあるので、多くの組合せに対応させようとした場合、拡大回路に備えるべき補間器の数が増大してしまう。

例えば、図１１に示すような水平方向３倍：垂直方向４倍の拡大処理を行なう拡大回路においては、水平拡大処理を行なう補間器が３つ、また垂直拡大処理を行なう補間器がそれぞれの水平拡大処理を行なう補間器からの各出力先に４つずつ必要となり、合計１５個必要となる。また図１２に示すような水平方向４倍：垂直方向３倍の拡大処理を行なう拡大回路においては、水平拡大処理を行なう補間器が４つ、また垂直拡大処理を行なう補間器がそれぞれの水平拡大処理を行なう補間器からの各出力先に３つずつ必要となり、合計１５個必要となる。また、水平拡大率Ｋ、垂直拡大率Ｌとし、垂直方向の拡大→垂直方向の拡大の順序で拡大処理する拡大回路においては、図１３（拡大倍率の組合せに応じて必要な補間器数を表す図）の表に示すように、必要な補間器数が異なる。そして、図１３で示す拡大倍率（水平２倍×垂直５倍、水平５倍×垂直２倍、水平３倍×垂直４倍、水平４倍×垂直３倍）の組合せに全て対応できるような拡大回路（拡大順序は垂直補間処理→水平補間処理）では、図１４（従来の拡大回路における補間器数を示す図）で示すように、合計２４個の補間器が必要となってしまう。なお、入力画像を拡大する関連技術として特許文献１、特許文献２が公開されている。
特開２００３−２８３８１５号公報特開２００１−１９７３４８号公報

しかしながら、上述の技術では、水平拡大率Ｋと垂直拡大率Ｌの組合せが多くなると、その分補間器の数が多く必要となるので、回路規模が増大してしまうという問題が発生する。

そこでこの発明は、入力画像の拡大処理において、拡大倍率の、水平拡大率と垂直拡大率の組合せが増しても、拡大回路における補間器の数を制限することのできる画像処理回路、画像処理方法、電気光学装置を提供することを目的としている。

本発明は、上述の課題を解決すべくなされたもので、入力画像の垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理する画像処理回路であって、前記入力画像の水平方向の各２画素の間の拡大処理と、前記入力画像の垂直方向の各２画素の間の拡大処理と、のいずれかを切り替えて行う複数の補間器処理部と、前記垂直方向について指定を受付けた拡大倍率と、前記水平方向について指定を受付けた拡大倍率とに基づいて、水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序、または垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序のいずれかを決定する拡大順序決定処理部と、水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う場合の拡大順序に必要となる前記補間器処理部の総数または、垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう場合の拡大順序に必要となる前記補間器処理部の総数のいずれかを、補間器処理部数算出式により算出する補間器処理部総数算出処理部と、前記決定した拡大順序において最初に行う前記水平方向または前記垂直方向の拡大処理のいずれかの拡大倍率の数の前記補間器処理部を、当該決定した拡大順序において最初に行う前記水平方向または前記垂直方向のいずれかの拡大処理を行う補間器処理部と決定し、前記補間器処理部総数までの前記決定した補間器処理部以外の他の前記補間器処理部を前記拡大順序において次に前記水平方向または前記垂直方向のいずれかの拡大処理を行う補間器処理部と決定する、利用補間器処理部数決定処理部と、を備えることを特徴とする画像処理回路である。

本発明によれば、補間器が水平方向の拡大処理と垂直方向の拡大処理を切り替えて行なうことができる構成となっているので、指定に応じた補間器の水平拡大または垂直拡大の処理の変更が可能となり、これにより水平方向と垂直方向の各拡大倍率の複数の組合せを行なう画像処理装置において、回路規模の増大を抑制することができる。また、拡大順序を計算して、利用する補間器の数が最小となるような処理をするので、拡大処理に利用される補間器の数を抑制することができ、これにより消費電力が軽減されるという効果も得られる。

また本発明は、前記水平方向の前記拡大処理のみを行う、決められた最低の水平方向の前記拡大倍率数の水平補間器処理部と、前記垂直方向の前記拡大処理のみを行う、決められた最低の垂直方向の前記拡大倍率数の水平補間器処理部と、を備え、前記利用補間器処理部数決定処理部は、前記水平方向の拡大処理を行なう補間器処理部として、前記水平補間器処理部を優先して利用すると決定し、また前記垂直方向の拡大処理を行なう補間器処理部として、前記垂直補間器処理部を優先して利用すると決定することを特徴とする。

これにより、最低限の補間器については水平方向の拡大処理専用、または垂直方向の拡大処理専用の補間器とするので、その補間器については片方のみの拡大処理専用の回路構成とすればよい。従って、さらに、回路規模の増大を抑制することができる。

また本発明は、上述の画像処理回路において、前記拡大順序決定処理部は、前記指定された拡大倍率から水平拡大倍率と垂直拡大倍率とを読み取り比較し、水平拡大倍率が大きければ水平方向の拡大処理を最初に行い次に垂直方向の拡大処理を行なうと決定し、また垂直拡大倍率が大きければ垂直方向の拡大処理を最初に行い次に水平方向の拡大処理を行なうと決定することを特徴とする。

また本発明は、入力画像の垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理する画像処理回路であって、前記入力画像の水平方向の各２画素の間の拡大処理と、前記入力画像の垂直方向の各２画素の間の拡大処理と、のいずれかを行う補間処理部と、前記垂直方向について指定を受付けた拡大倍率と、前記水平方向について指定を受付けた拡大倍率とに基づいて、水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序、または垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序のいずれかを決定する拡大順序決定処理部とを備え、前記垂直方向について指定を受付けた拡大倍率と前記水平方向について指定を受付けた拡大倍率とを読み取り比較し、前記水平拡大倍率が大きければ水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序に決定し、前記垂直拡大倍率が大きければ垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序に決定することを特徴とする画像処理回路である。

また本発明は、入力画像の垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理し、指示に応じて前記入力画像の水平方向の各２画素の間の拡大処理と、前記入力画像の垂直方向の各２画素の間の拡大処理とのいずれかを切り替えて処理する複数の補間処理部とを備える画像処理装置における画像処理方法であって、前記垂直方向について指定を受付けた拡大倍率と、前記水平方向について指定を受付けた拡大倍率とに基づいて、水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序、または垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序のいずれかを決定し、水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う場合の拡大順序に必要となる前記補間処理部の総数または、垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう場合の拡大順序に必要となる前記補間処理部の総数のいずれかを、補間処理部数算出式により算出し、前記決定した拡大順序において最初に行う前記水平方向または前記垂直方向の拡大処理のいずれかの拡大倍率の数の前記補間処理部を、当該決定した拡大順序において最初に行う前記水平方向または前記垂直方向のいずれかの拡大処理を行う補間処理部と決定し、前記補間処理部総数までの前記決定した補間処理部以外の他の前記補間処理部を前記拡大順序において次に前記水平方向または前記垂直方向のいずれかの拡大処理を行う補間処理部と決定することを特徴とする画像処理方法である。

また本発明は、入力画像の垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理する画像処理装置における画像処理方法であって、前記垂直方向について指定を受付けた拡大倍率と前記水平方向について指定を受付けた拡大倍率とを読み取り比較し、前記水平拡大倍率が大きければ水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序に決定し、前記垂直拡大倍率が大きければ垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序に決定することを特徴とする画像処理方法である。

また本発明は、入力画像の垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理する画像処理装置を備えた電気光学装置であって、前記入力画像の水平方向の各２画素の間の拡大処理と、前記入力画像の垂直方向の各２画素の間の拡大処理と、のいずれかを切り替えて行う複数の補間処理部と、前記垂直方向について指定を受付けた拡大倍率と、前記水平方向について指定を受付けた拡大倍率とに基づいて、水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序、または垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序のいずれかを決定する拡大順序決定処理部と、水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う場合の拡大順序に必要となる前記補間処理部の総数または、垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう場合の拡大順序に必要となる前記補間処理部の総数のいずれかを、補間処理部数算出式により算出する補間処理部総数算出処理部と、前記決定した拡大順序において最初に行う前記水平方向または前記垂直方向の拡大処理のいずれかの拡大倍率の数の前記補間処理部を、当該決定した拡大順序において最初に行う前記水平方向または前記垂直方向のいずれかの拡大処理を行う補間処理部と決定し、前記補間処理部総数までの前記決定した補間処理部以外の他の前記補間処理部を前記拡大順序において次に前記水平方向または前記垂直方向のいずれかの拡大処理を行う補間処理部と決定する、利用補間処理部数決定処理部と、前記補間器処理部によって垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理された出力画像を表示する表示処理部と、を備えることを特徴とする電気光学装置である。

また本発明は、入力画像の垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理し、指示に応じて前記入力画像の水平方向の各２画素の間の拡大処理と、前記入力画像の垂直方向の各２画素の間の拡大処理とのいずれかを切り替えて処理する複数の補間処理部とを備える画像処理装置のコンピュータに実行させるプログラムであって、前記垂直方向について指定を受付けた拡大倍率と、前記水平方向について指定を受付けた拡大倍率とに基づいて、水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序、または垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序のいずれかを決定する処理と、水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う場合の拡大順序に必要となる前記補間処理部の総数または、垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう場合の拡大順序に必要となる前記補間処理部の総数のいずれかを、補間処理部数算出式により算出する処理と、前記決定した拡大順序において最初に行う前記水平方向または前記垂直方向の拡大処理のいずれかの拡大倍率の数の前記補間処理部を、当該決定した拡大順序において最初に行う前記水平方向または前記垂直方向のいずれかの拡大処理を行う補間処理部と決定し、前記補間処理部総数までの前記決定した補間処理部以外の他の前記補間処理部を前記拡大順序において次に前記水平方向または前記垂直方向のいずれかの拡大処理を行う補間処理部と決定する処理と、をコンピュータに実行させるプログラムである。

また本発明は、入力画像の垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理する画像処理装置のコンピュータに実行させるプログラムであって、前記垂直方向について指定を受付けた拡大倍率と前記水平方向について指定を受付けた拡大倍率とを読み取り比較し、前記水平拡大倍率が大きければ水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序に決定し、前記垂直拡大倍率が大きければ垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序に決定する処理をコンピュータに実行させるプログラムである。

以下、本発明の一実施形態による画像処理装置を図面を参照して説明する。図１は同実施形態による画像処理装置の構成を示すブロック図である。この図において、符号１は画像処理装置である。そして、画像処理装置１において、符号１１は入力画像や拡大倍率の指定を受付けるＩ／Ｆ（インターフェース）である。また１２は入力画像の拡大処理において水平拡大処理（水平方向への入力画像の拡大）と垂直拡大処理（垂直方向への入力画像の拡大）のどちらを先にやるかの拡大順序の決定や拡大回路における補間器の決定を行う制御部である。また１３はＲＡＭ（Random Access Memory）やＲＯＭ（read Only Memory）などのメモリである。また１４はＨＤＤなどの磁気記録媒体である。また１５は入力画像の拡大処理を行なう拡大処理装置である。

図２は拡大処理部の構成概要を示す図である。
この図が示すように拡大処理部１５は複数の補間器１５１（１，２，・・・Ｈ個）と、ラインメモリ１５２（１，２，・・・・Ｔ個）が備えられている。補間器１５１は、画像の水平拡大処理または垂直拡大処理のいずれか指定された処理を行なう。そして、拡大処理部１５は入力画像と、作動させる補間器１５１の情報と、当該補間器１５１が水平拡大処理または垂直拡大処理のどちらを行うかを指定する情報とを受付け、これにより、それぞれの補間器１５１において、水平拡大処理または垂直拡大処理を行い、入力画像の拡大処理を行なう。本実施形態においては入力画像の水平方向をｎ、垂直方向をｍとする。また拡大処理後の出力画像の水平方向をＮ、垂直方向をＭとする。

図３は拡大処理部の詳細構成を示す図である。
この図が示すように、補間器は１，２，・・・Ｈ個備えている。そして、それぞれの補間器１５１は他の補間器１５１と相互に、またラインメモリ１５２と接続されている。ここで補間器１５１の数Ｈは、拡大処理部１５で処理できる拡大倍率に応じて決められる数である。例えば、拡大倍率が水平拡大倍率Ｋ、垂直拡大倍率Ｌであるとすると、ＫとＬとを比較し、Ｋが大きければＨ＝Ｋ＋Ｋ×Ｌで算出できる数の補間器１５１が備えられ、またＬが大きければＨ＝Ｌ＋Ｌ×Ｋで算出できる数の補間器１５１がそなえられる。またＫ＝Ｌであれば、どちらの算出式でもよい。なお、拡大倍率が小数点で表される場合には、小数点以下については切り上げた数をＫまたはＬとして算出する。例えば、拡大倍率が３．５倍の場合は、ＫまたはＬが４となり、４．５倍のときは５として計算される。また上述したように、補間器１５１は、指定に応じて水平拡大処理と垂直拡大処理を切り替えて処理するが、所定の数の補間器１５１については、水平拡大処理または垂直拡大処理のいずれかのみを専用に行う補間器１５１であってもよい。この所定の数とは、水平拡大処理のみを行なう補間器１５１である場合には、予め決められた最低の水平方向の拡大倍率の数、垂直拡大処理のみを行なう補間器１５１である場合には、予め決められた最低の垂直方向の拡大倍率の数である。

図４は制御部における拡大順序決定処理と利用補間器数決定処理のフローを示す図である。
図４より、まず、制御部１２は、Ｉ／Ｆ１１に入力された入力画像と拡大倍率（水平拡大倍率と垂直拡大倍率）の情報を受付ける（ステップＳ１）。すると制御部１２は、拡大倍率から水平拡大倍率Ｋと垂直拡大倍率Ｌを読み取り、ＫとＬの数を比較する（ステップＳ２）。ここで制御部１２は拡大順序について、Ｋが大きければ水平方向の拡大処理を最初に行い次に垂直方向の拡大処理を行なうと決定し、またＬが大きければ垂直方向の拡大処理を最初に行い次に水平方向の拡大処理を行なうと決定する（ステップＳ３）。

次に、制御部１３は、ステップＳ３において水平方向の拡大処理を最初に行い次に垂直方向の拡大処理を行なう拡大順序と決定した場合、Ｋ＋Ｋ×Ｌにより、拡大処理に必要な補間器１５１の数Ｘ_１を算出する。または制御部１３は、ステップＳ３において垂直方向の拡大処理を最初に行い次に水平方向の拡大処理を行なう拡大順序と決定した場合、Ｌ＋Ｌ×Ｋにより、拡大処理に必要な補間器１５１の数Ｘ_２を算出する（ステップＳ４）。なおステップＳ２、ステップＳ３においてはＫとＬの数を比較し、数の少ない拡大倍率の拡大処理を先行して行なっているが、ステップＳ４を行なうことにより、拡大処理に必要な補間器１５１の少ない数を算出した拡大順序から水平方向または垂直方向のいずれかの拡大処理が最初に行なわれるかを決定するようにしても良い。

次に、制御部１３は、ステップＳ３において水平方向の拡大処理を最初に行い次に垂直方向の拡大処理を行なう拡大順序と決定した場合、最初に拡大処理を行なう水平方向の拡大倍率の数Ｋ個の補間器１５１を水平方向の拡大処理を行なうために必要な補間器１５１と決定し、またＸ_１−Ｋの数の補間器１５１（つまり、水平方向の拡大倍率の数Ｋ個以外の、補間器総数Ｘ_１に達するまでの他の補間器１５１）を垂直方向の拡大処理を行なう補間器１５１と決定する。また制御部１３は、ステップＳ３において垂直方向の拡大処理を最初に行い次に水平方向の拡大処理を行なう拡大順序と決定した場合、最初に拡大処理を行なう垂直方向の拡大倍率の数Ｌ個の補間器１５１を垂直方向の拡大処理を行なうために必要な補間器１５１と決定し、またＸ_２−Ｌの数の補間器１５１（つまり、垂直方向の拡大倍率の数Ｌ個以外の、補間器総数Ｘ_２に達するまでの他の補間器）を水平方向の拡大処理を行なう補間器１５１と決定する（ステップＳ５）。

そして制御部１３は、ステップＳ３で決定した拡大順序の情報と、水平方向の拡大処理を行なう補間器１５１の数と、垂直方向の拡大処理を行なう補間器１５１の数とを拡大処理部１５に通知する（ステップＳ６）。次に、拡大処理部１５は、制御部１３から通知を受けた、拡大順序と、水平方向の拡大処理を行なう補間器１５１の数と、垂直方向の拡大処理を行なう補間器１５１の数とに基づいて、指定された数の各補間器１５１を利用して拡大処理を行なう。ここで、制御部１３は、拡大処理部１５の備える補間器１５１の全てが、水平方向の拡大処理または垂直方向の拡大処理のいずれかを切り替えることができる補間器１５１である場合には、決定した拡大順序の拡大方向（水平または垂直）の順に、前記決定した数の補間器１５１それぞれに、垂直方向の拡大または水平方向の拡大を行うよう指示する。

なお、拡大処理部１５が補間器１５１について、水平方向の拡大倍率の数の水平拡大専用の補間器１５１（水平方向の拡大処理のみを専用に行う補間器１５１）と、垂直方向の拡大倍率の数の垂直拡大専用の補間器１５１（垂直方向の拡大処理のみを行う補間器１５１）とを備えている場合、制御部１３は、それらの補間器１５１を優先的に利用すると決定し、水平拡大または垂直拡大の処理を前記水平拡大専用または垂直拡大専用の補間器１５１それぞれに指示するよう拡大処理部１５に通知する。このとき、水平拡大専用の補間器１５１や垂直拡大専用の補間器１５１だけでは、制御部１２から指定された数の補間器に達しない場合には、水平方向の拡大処理または垂直方向の拡大処理のいずれかを切り替えることができる補間器１５１に水平拡大または垂直拡大の処理のいずれかを行なうよう指示する。なお、拡大処理とは、入力画像の隣り合う画素の間に新たな画素を補間して挿入することにより、拡大倍率分の入力画像の拡大を行なう処理のことを言い、例えばバイリニア補間やバイキュービック補間などが従来より用いられている。バイリリニア補間では、補間器１５１が水平方向の拡大処理を行なう場合には、水平方向の隣り合う画素の間に新たな画素を補完して挿入する処理（複数の挿入する画素の座標の算出）を行い、また補間器１５１が垂直方向の拡大処理を行なう場合には、垂直方向の隣り合う画素の間に新たな画素を補間して挿入する処理（複数の挿入する画素の座標の算出）を行う。

図５は水平方向→垂直方向の拡大順序の場合の補間器間の回路構成を示す図である。
この図が示すように、水平拡大処理→垂直拡大処理の拡大順序で拡大処理を行なう場合には、拡大処理部１５は、まず水平方向の拡大処理を通知した補間器１５１を用いて画素の水平補間を行い、次に垂直方向の拡大処理を通知した補間器１５１を用いて画素の垂直補間を行う。また水平拡大処理を行なう補間器１５１と垂直拡大処理を行なう補間器１５１の間にラインメモリ１５２を設け、最初に水平拡大処理を行なった水平方向の入力画像の１ラインをラインメモリ１５２に蓄積しておき、当該蓄積したラインの各画素と、次に水平拡大処理を行った水平方向の入力画像の１ラインの各画素と、の間の垂直拡大処理が垂直拡大処理を行なう補間器１５１により行われる。

図６は垂直方向→水平方向の拡大順序の場合の補間器間の回路構成を示す図である。
この図が示すように、垂直拡大処理→水平拡大処理の拡大順序で拡大処理を行なう場合には、拡大処理部１５では、まず垂直方向の拡大処理の指示された補間器１５１が画素の水平補間を行い、次に水平方向の拡大処理の指示された補間器１５１が画素の水平補間を行う。また垂直拡大処理を行なう補間器１５１と水平拡大処理を行なう補間器１５１の間にラインメモリを設け、最初に入力された入力画像の水平方向の１ラインをラインメモリに蓄積しておき、当該蓄積したラインの各画素と、次に入力された入力画像の水平方向の１ラインの各画素との間の垂直拡大処理を行なった後、水平方向の２ラインの各画素の間の水平拡大処理を、水平方向の拡大処理を指示された補間器１５１が行なう。

図７は補間器における拡大処理の概要を示す図である。
この図において（ａ）では垂直拡大処理を行なう４つの補間器１５１の処理を示している。垂直拡大処理を行なう４つの各補間器１５１は２つの垂直方向の入力画素の入力に対して各垂直拡大処理を行なう補間器１５１が１つずつ異なる出力画素の座標を算出する。そして４つの補間器１５１によって前記２つの入力画素の間の４つの補間画素それぞれの座標が出力される。そしてその出力がラインメモリに書込まれる。また（ｂ）では水平拡大処理を行なう補間器１５１の処理を示している。水平拡大処理を行なう補間器１５１はラインメモリから水平方向の２画素の入力を受付けて、その２つの画素の間の補間画素の座標を算出する。そして、４つの水平拡大処理を行なう補間器１５３によって水平方向の４ラインについて、垂直方向の各画素の間の４つの補間画素が出力される。これにより出力画像が生成される。

図８は、水平拡大→垂直拡大の場合のラインメモリの構成を示す図である。
この図が示すように、ラインメモリは、水平拡大処理の拡大倍率の最大値がＴである場合にはＴ個のラインメモリを備えることとなる。そして水平拡大倍率Ｋが最大値Ｔであるとき、水平拡大処理を行なうＴ個の補間器１５１それぞれから出力された補間結果が、Ｔ個のラインメモリそれぞれに同時にメモリ書込み制御部によって書込まれていき、またメモリ読出し制御部がＴ個のラインメモリからデータをそれぞれ読み出して同時に垂直拡大処理を行なう補間器１５１のそれぞれに同時に送出する。

図９は、水平方向の拡大倍率の指示がその拡大倍率の最大値Ｔよりも小さい場合のラインメモリの処理概要を示す図である。
この図が示すように、最大の水平拡大率Ｔが５倍であるとき、ラインメモリは５個備えられる。ここで５個のラインメモリをＭ１〜Ｍ５とする。そして入力画像の拡大について指示された水平拡大率が３倍であるとすると、水平方向の拡大処理（水平補間）を行なう補間器１５１が３つ指定され、そして、水平拡大処理において３つの補間器１５１それぞれが補間を行ない、ラインメモリＭ１，Ｍ２，Ｍ３と順番に書込んでいく。また次に水平拡大処理において３つの補間器１５１それぞれが補間を行い、ラインメモリＭ４，Ｍ５，Ｍ１と順番に書込んでいく。またその後の垂直拡大処理を行なう１番目の補間器１５１は、１番目の水平拡大処理を行なう補間器１５１が出力した画素を２つずつ読み込んで、垂直拡大処理を行なう。また垂直拡大処理を行なう２番目の補間器１５１は、２番目の水平拡大処理を行なう補間器１５１が出力した画素を２つずつ読み込んで、垂直拡大処理を行なう。同様に垂直拡大処理を行なう３番目の補間器１５１は、３番目の水平拡大処理を行なう補間器１５１が出力した画素を２つずつ読み込んで、垂直拡大処理を行なう。

図１０は、画像処理装置を用いた電気光学装置の構成例を示す図である。
図１０において、電気光学装置は、画像処理装置１と、この画像処理装置１により表示制御されるパネル１００と、電圧形成回路６００とを有している。そして、画像処理装置１は、プログラムされたＭＰＵと、このＭＰＵのワーキングメモリとなるシステムメモリと、システムメモリと同一のアドレス空間に表示データを格納するＶＲＡＭと、画像，データ及び音声情報等を記憶する補助記憶装置と、パネル１００に必要な走査スタート信号等を生成するタイミング信号発生回路と、ＶＲＡＭから読み出した表示データを制御部（制御回路）へ転送するＤＭＡと、拡大処理部（拡大回路）とＸドライバとの間に設けられた複数画素を同時に書き込めるフレームメモリであるＶＲＡＭとを有している。なお、パネル１００自体が複数画素同時書込み可能である場合等はＶＲＡＭは不要である。

次にパネル１００には、複数のデータ線２１２が列（Ｙ）方向に延在して形成される一方、複数の走査線３１２が行（Ｘ）方向に延在して形成されるとともに、データ線２１２と走査線３１２との各交差に対応して画素１１６が形成されている。ここで、各画素１１６は、液晶容量１１８と、ＴＦＤ（Thin Film Diode：薄膜ダイオード）２２０との直列接続からなる。なお、本実施形態にあっては、説明の便宜上、走査線３１２の総数を１６０本とし、データ線２１２の総数を１２０本として、１６０行×１２０列のマトリクス型表示装置として説明するが、本発明をこれに限定する趣旨ではない。

次に、Ｙドライバ３５０は、一般には走査線駆動回路と呼ばれるものであり、走査信号Ｙ１、Ｙ２、Ｙ３、…、Ｙ１６０を、それぞれ１行目、２行目、３行目、…、１６０行目の走査線３１２に供給するものである。詳細には、Ｙドライバ３５０は、１６０本の走査線３１２を後述するように１本ずつ選択して、選択した走査線３１２には選択電圧を、他の走査線３１２には非選択電圧を、それぞれ供給するものである。

また、Ｘドライバ２５０は、一般にはデータ線駆動回路と呼ばれるものであり、Ｙドライバ３５０により選択された走査線３１２に位置する画素１１６に対し、データ信号Ｘ１、Ｘ２、Ｘ３、…、Ｘ１２０を、表示内容に応じてそれぞれ対応するデータ線２１２を介して供給するものである。

ここで、制御部（制御回路）は、Ｘドライバ２５０に対して、水平走査を規定するための各種制御信号やクロック信号などを供給する一方、Ｙドライバ３５０に対して、垂直走査を規定するための各種制御信号やクロック信号などを供給するものである。さらに、制御部（制御回路）は、入力画像データＤpを拡大処理部（拡大回路）に出力する。次に、拡大処理部（拡大回路）は、入力画像データＤpを、拡大画像データＤpixに拡大処理するものである。続いて、電圧形成回路６００は、パネル１００に用いられる電圧±ＶＳと電圧±ＶＤ／２とをそれぞれ生成するものである。ここで、電圧±ＶＳは、走査信号における選択電圧として用いられる。また、電圧±ＶＤ／２は、走査信号における非選択電圧と、データ信号におけるデータ電圧とで兼用される構成となっている。

このような電気光学装置においては、画像処理装置１で拡大処理された画像がＶＲＡＭに格納されて液晶表示装置に表示される。なお電気光学装置としては液晶表示装置の他に、例えば、エレクトロルミネッセンス装置、プラズマディスプレイ装置、電気泳動表示装置、電子放出素子を用いた表示装置などがある。

以上、本実施形態による画像処理装置について説明したが、複数の補間器それぞれを水平方向と垂直方向の拡大処理を切り替えて、利用することができるので、水平方向と垂直方向の各拡大倍率の複数の組合せを行なう画像処理装置において、回路規模の増大を抑制することができる。
また、最低限の補間器については水平方向の拡大処理専用、または垂直方向の拡大処理専用の補間器とすれば、その補間器については片方のみの拡大処理専用の回路構成とすればよいので、さらに、回路規模の増大を抑制することができる。
また、本実施形態においては回路を用いて処理を行なっているが、垂直方向について指定を受付けた拡大倍率と水平方向について指定を受付けた拡大倍率とを読み取り比較し、水平拡大倍率が大きければ水平方向の拡大処理を最初に行い垂直方向の拡大処理を次に行う拡大順序に決定し、垂直拡大倍率が大きければ垂直方向の拡大処理を最初に行い水平方向の拡大処理を次に行なう拡大順序に決定する処理を行なう為のプログラムを用いて、ＣＰＵにより拡大処理を行っても良い。この場合、最小の拡大処理回数で拡大処理できるようになるので、処理速度を早くすることができる。

なお、上述の画像処理装置が、内部にコンピュータシステムを有しており、上述した処理の過程が、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われるようにしてもよい。例えばプログラムを用いて、上述の補間処理部の機能を備えたＣＰＵにより、上述の各実施形態に対応する拡大処理を行っても良い。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

本発明の一実施形態の画像処理装置の構成を示すブロック図である。拡大処理部の構成概要を示す図である。拡大処理部の詳細構成を示す図である。拡大順序決定処理と利用補間器数決定処理のフローを示す図である。水平→垂直方向の拡大順序の場合の補間器間の回路構成を示す図である。垂直→水平方向の拡大順序の場合の補間器間の回路構成を示す図である。補間器における拡大処理の概要を示す図である。水平拡大→垂直拡大の場合のラインメモリの構成を示す図である。ラインメモリの処理概要を示す図である。画像処理装置を用いた電気光学装置の構成例を示す図である。水平方向３倍：垂直方向４倍の拡大処理を行う拡大回路を示す図である。水平方向４倍：垂直方向３倍の拡大処理を行う拡大回路を示す図である。拡大倍率の組合せに応じて必要な補間器数を表す図である。従来の拡大回路における補間器数を示す図である。

符号の説明

１・・・画像処理装置、１１・・・Ｉ／Ｆ、１２・・・制御部、１３・・・メモリ、１４・・・磁気記録媒体、１５・・・拡大処理部

Claims

入力画像の垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理する画像処理回路であって、
前記入力画像の水平方向の各２画素の間の拡大処理と、前記入力画像の垂直方向の各２画素の間の拡大処理と、のいずれかを切り替えて行う複数の補間器処理部と、
前記垂直方向について指定を受付けた拡大倍率と、前記水平方向について指定を受付けた拡大倍率とに基づいて、水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序、または垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序のいずれかを決定する拡大順序決定処理部と、
水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う場合の拡大順序に必要となる前記補間器処理部の総数または、垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう場合の拡大順序に必要となる前記補間器処理部の総数のいずれかを、補間器処理部数算出式により算出する補間器処理部総数算出処理部と、
前記決定した拡大順序において最初に行う前記水平方向または前記垂直方向の拡大処理のいずれかの拡大倍率の数の前記補間器処理部を、当該決定した拡大順序において最初に行う前記水平方向または前記垂直方向のいずれかの拡大処理を行う補間器処理部と決定し、前記補間器処理部総数までの前記決定した補間器処理部以外の他の前記補間器処理部を前記拡大順序において次に前記水平方向または前記垂直方向のいずれかの拡大処理を行う補間器処理部と決定する、利用補間器処理部数決定処理部と、
を備えることを特徴とする画像処理回路。
入力画像の垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理する画像処理回路であって、
前記入力画像の水平方向の各２画素の間の拡大処理と、前記入力画像の垂直方向の各２画素の間の拡大処理と、のいずれかを切り替えて行う複数の補間器処理部と、
前記水平方向の前記拡大処理のみを行う、決められた最低の水平方向の前記拡大倍率数の水平補間器処理部と、
前記垂直方向の前記拡大処理のみを行う、決められた最低の垂直方向の前記拡大倍率数の垂直補間器処理部と、
前記垂直方向について指定を受付けた拡大倍率と、前記水平方向について指定を受付けた拡大倍率とに基づいて、水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序、または垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序のいずれかを決定する拡大順序決定処理部と、
水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う場合の拡大順序に必要となる前記補間器処理部、前記水平補間器処理部及び前記垂直補間器処理部の総数または、垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう場合の拡大順序に必要となる前記補間器処理部、前記水平補間器処理部及び前記垂直補間器処理部の総数のいずれかを、補間器処理部数算出式により算出する補間器処理部総数算出処理部と、
水平方向の前記拡大処理においては、水平方向の拡大倍率の数に達するまで前記水平補間器処理部を優先しながら前記水平補間器処理部を割り当て、不足分を前記補間器処理部が水平方向の前記拡大処理を行うように決定し、垂直方向の前記拡大処理においては、垂直方向の拡大倍率の数に達するまで前記垂直補間器処理部を優先しながら前記垂直補間器処理部を割り当て、不足分を前記補間器処理部が垂直方向の前記拡大処理を行うように決定する、利用補間器処理部数決定処理部と、
を備えることを特徴とする画像処理回路。
前記拡大順序決定処理部は、前記垂直方向について指定を受付けた拡大倍率と、前記水平方向について指定を受付けた拡大倍率とを比較し、前記水平方向について指定を受付けた拡大倍率が大きければ水平方向の拡大処理を最初に行い次に垂直方向の拡大処理を行なうと決定し、また前記垂直方向について指定を受付けた拡大倍率が大きければ垂直方向の拡大処理を最初に行い次に水平方向の拡大処理を行なうと決定する
ことを特徴とする請求項１又は請求項２に記載の画像処理回路。
入力画像の垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理する画像処理回路であって、
前記入力画像の水平方向の各２画素の間の拡大処理と、前記入力画像の垂直方向の各２画素の間の拡大処理と、のいずれかを切り替えて行う複数の補間器処理部と、
前記垂直方向について指定を受付けた拡大倍率と、前記水平方向について指定を受付けた拡大倍率とに基づいて、水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序、または垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序のいずれかを決定する拡大順序決定処理部とを備え、
前記垂直方向について指定を受付けた拡大倍率と前記水平方向について指定を受付けた拡大倍率とを読み取り比較し、前記水平拡大倍率が大きければ水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序に決定し、前記垂直拡大倍率が大きければ垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序に決定する
ことを特徴とする画像処理回路。
入力画像の垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理し、指示に応じて前記入力画像の水平方向の各２画素の間の拡大処理と、前記入力画像の垂直方向の各２画素の間の拡大処理とのいずれかを切り替えて処理する複数の補間処理部とを備える画像処理装置における画像処理方法であって、
前記垂直方向について指定を受付けた拡大倍率と、前記水平方向について指定を受付けた拡大倍率とに基づいて、水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序、または垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序のいずれかを決定し、
水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う場合の拡大順序に必要となる前記補間処理部の総数または、垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう場合の拡大順序に必要となる前記補間処理部の総数のいずれかを、補間処理部数算出式により算出し、
前記決定した拡大順序において最初に行う前記水平方向または前記垂直方向の拡大処理のいずれかの拡大倍率の数の前記補間処理部を、当該決定した拡大順序において最初に行う前記水平方向または前記垂直方向のいずれかの拡大処理を行う補間処理部と決定し、前記補間処理部総数までの前記決定した補間処理部以外の他の前記補間処理部を前記拡大順序において次に前記水平方向または前記垂直方向のいずれかの拡大処理を行う補間処理部と決定する
ことを特徴とする画像処理方法。
入力画像の垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理する画像処理装置における画像処理方法であって、
前記垂直方向について指定を受付けた拡大倍率と前記水平方向について指定を受付けた拡大倍率とを読み取り比較し、前記水平拡大倍率が大きければ水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序に決定し、前記垂直拡大倍率が大きければ垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序に決定する
ことを特徴とする画像処理方法。
入力画像の垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理する画像処理装置を備えた電気光学装置であって、
前記入力画像の水平方向の各２画素の間の拡大処理と、前記入力画像の垂直方向の各２画素の間の拡大処理と、のいずれかを切り替えて行う複数の補間器処理部と、
前記垂直方向について指定を受付けた拡大倍率と、前記水平方向について指定を受付けた拡大倍率とに基づいて、水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序、または垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序のいずれかを決定する拡大順序決定処理部と、
水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う場合の拡大順序に必要となる前記補間器処理部の総数または、垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう場合の拡大順序に必要となる前記補間器処理部の総数のいずれかを、補間器処理部数算出式により算出する補間器処理部総数算出処理部と、
前記決定した拡大順序において最初に行う前記水平方向または前記垂直方向の拡大処理のいずれかの拡大倍率の数の前記補間器処理部を、当該決定した拡大順序において最初に行う前記水平方向または前記垂直方向のいずれかの拡大処理を行う補間器処理部と決定し、前記補間器処理部総数までの前記決定した補間器処理部以外の他の前記補間器処理部を前記拡大順序において次に前記水平方向または前記垂直方向のいずれかの拡大処理を行う補間器処理部と決定する、利用補間器処理部数決定処理部と、
前記補間器処理部によって垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理された出力画像を表示する表示処理部と、
を備えることを特徴とする電気光学装置。
入力画像の垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理し、指示に応じて前記入力画像の水平方向の各２画素の間の拡大処理と、前記入力画像の垂直方向の各２画素の間の拡大処理とのいずれかを切り替えて処理する複数の補間処理部とを備える画像処理装置のコンピュータに実行させるプログラムであって、
前記垂直方向について指定を受付けた拡大倍率と、前記水平方向について指定を受付けた拡大倍率とに基づいて、水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序、または垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序のいずれかを決定する処理と、
水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う場合の拡大順序に必要となる前記補間処理部の総数または、垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう場合の拡大順序に必要となる前記補間処理部の総数のいずれかを、補間処理部数算出式により算出する処理と、
前記決定した拡大順序において最初に行う前記水平方向または前記垂直方向の拡大処理のいずれかの拡大倍率の数の前記補間処理部を、当該決定した拡大順序において最初に行う前記水平方向または前記垂直方向のいずれかの拡大処理を行う補間処理部と決定し、前記補間処理部総数までの前記決定した補間処理部以外の他の前記補間処理部を前記拡大順序において次に前記水平方向または前記垂直方向のいずれかの拡大処理を行う補間処理部と決定する処理と、
をコンピュータに実行させるプログラム。
入力画像の垂直方向と水平方向の指定された拡大倍率により前記入力画像を拡大処理する画像処理装置のコンピュータに実行させるプログラムであって、
前記垂直方向について指定を受付けた拡大倍率と前記水平方向について指定を受付けた拡大倍率とを読み取り比較し、前記水平拡大倍率が大きければ水平方向の前記拡大処理を最初に行い垂直方向の前記拡大処理を次に行う拡大順序に決定し、前記垂直拡大倍率が大きければ垂直方向の前記拡大処理を最初に行い水平方向の前記拡大処理を次に行なう拡大順序に決定する
処理をコンピュータに実行させるプログラム。