JP4915850B2 - 画像処理装置及び画像表示装置 - Google Patents

Description

プロジェクションディスプレイ、ヘッドマウントディスプレイなどの電子ディスプレイ装置の分野に係り、特に表示される１フレームの画像データを複数のサブフレームの画像データに分割し、時分割で画像表示素子の解像度以上の表示を実現する画像データにＯＳＤ用画像データを合成する機能を備えた画像処理装置及びその表示を行う画像表示装置に関する。

近年、情報処理装置の処理能力の飛躍的増大により表示画像の高解像度化が進んでおり、それに伴ってプロジェクタなどの画像表示装置においても、高解像度化の要求が高まってきている。高解像度化の一つの方法として、１フレームの画像データを複数のサブフレームの画像データに分割し、時分割で画像表示素子の解像度以上の表示をする方法がある。また、プロジェクタなどの画像表示装置においては、ユーザの操作指示などに応じて、あらかじめ記憶された表、文字、図等を原画像データに合成して表示することが多々ある。このような合成に用いる表、文字、図等のデータをＯＳＤ（Ｏn Ｓcreen Ｄisplay）用画像データと称している。

従来、１フレームの画像データを複数のサブフレームの画像データに分割し、時分割で画像表示素子の解像度以上の表示を実現すると共に、該画像データにＯＳＤ用画像データを合成する画像処理を行う方法としては、例えば、特許文献１のように、元の画像データにＯＳＤ用画像データを合成する処理を含む画像処理を行った後に、複数のサブフレームに分割する方法と、特許文献２のように、元の画像データを複数のサブフレームに分割した後に、画像処理を行う方法がある。

特開２００３−３０２９５２号公報 特開２００５−１８９５４６号公報

特許文献１の方法では、高解像度化が進むと画像処理を行う表示画像データのデータ量が膨大になることから、画像処理には非常に高速な処理速度が必要になるため、画像処理が実現することができなくなる場合も発生してくる。また実現できる場合においても高速処理に対応した部品が必要になることから、高コストな装置になってしまう問題がある。一方、特許文献２の方法では、ＯＳＤ処理手段の一部をサブフレームの数だけ備えることにより、その処理の一部を並列にすることで処理速度を下げている。しかし、記憶手段から展開用記憶手段へ展開する過程では、ＯＳＤ用画像データを１画素ずつ処理していることから、その過程では処理速度が下がらず、高解像度化が進むと特許文献１と同様の問題が発生する。

本発明は、複数のサブフレームに分割された画像データにＯＳＤ用画像データを合成する画像処理装置において、ＯＳＤ用画像データの展開処理の高速化を実現し、また、展開記憶手段等の低容量化等による低コスト化を実現することを目的とする。

本発明は、１フレームを複数のサブフレームに分割した原画像データに、ＯＳＤ用画像データを各サブフレーム対応に合成する合成手段を備えた画像処理装置であって、原画像データの分割に合わせて複数のサブフレームに分割したＯＳＤ用画像データを記憶した記憶手段と、記憶手段の複数のサブフレームに対応するＯＳＤ用画像データを展開して記憶するための展開用記憶手段と、記憶手段に記憶された複数のサブフレームに対応するＯＳＤ用画像データを並列に読み出す読出し手段と、記憶手段から並列に読み出された複数のサブフレームに対応するＯＳＤ用画像データを展開して展開用記憶手段に並列に書き込み、該展開用記憶手段から並列に読み出して合成手段に送る制御を行う制御手段とを有することを基本とする。

そして、本発明の画像処理装置においては、記憶手段は、１アドレスに少なくとも画素データの２倍以上のデータ長を有し、１アドレス内に少なくとも２つ以上のサブフレームの画素データを所定の順で記憶し、読出し手段は、記憶手段をアドレス単位に並列に読出しを行うことを特徴とする。

また、本発明の画像処理装置においては、展開用記憶手段は、１アドレスに少なくとも画素データの２倍以上のデータ長を有し、制御手段は、展開用記憶手段の１アドレス内に少なくとも２つ以上のサブフレームの画素データを並列に書き込み、アドレス単位に並列に読み出すことを特徴とする。

また、本発明は、２次元配列の画素をもち、画素毎に電気信号を入力することで透過光または反射光を変調し、入力する電気信号の更新を少なくとも１走査線毎に行う画像表示素子と、画像表示素子を照明する光源と、該画像表示素子で変調した光を偏向する偏向手段と、画像を投射する光学系を備え、１フレームを複数のサブフレームに分割して、偏向手段によりに偏向された位置に対応したサブフレーム画像を時分割に前記画像表示素子に表示する画像表示装置において、上記画像処理装置を備えたことを特徴とする。

本発明による主な効果を列挙すれば、以下の通りである。
（１） サブフレームの分割に合わせたＯＳＤ用画像データを記憶手段に予め記憶することにより、ＯＳＤ用画像データの展開用記憶手段への展開処理が軽量化され、ＯＳＤ用画像データの展開処理を高速化することができる。
（２） ＯＳＤ用画像データの記憶手段に記憶するデータ形式を画素データの長さを分割したサブフレーム数倍した画素データ長を処理単位とし、１単位内に所定の順で前記各サブフレームの画素データを並べることにより、構成の簡素化による低コスト化を実現することができる。
（３） 展開用記憶手段の１アドレスに記憶されるデータの形式をサブフレーム数倍の長さをした形式とすることで、サブフレームに対応した合成手段へ送る際に、配線にて分割することができ、さらに全サブフレームを同時処理することができるようになり、簡素な構成で低コスト化を実現することができる。
（４） ＯＳＤ処理を高速且つ低コストで実現する画像処理装置を備えることにより、高解像度の表示を行う、ＯＳＤ処理を高速に処理し、低コストで行うことができる画像表示装置を実現することができる。

以下、本発明の実施の形態を図面を参照して説明する。

図１は本発明にかかる画像処理装置の第１の実施形態の構成ブロック図を示す。ここでは一例として、１フレームの原画像データを水平・垂直方向に２分割、合計４つのサブフレームに分割し、この４つのサブフレームの原画像データに、ＯＳＤ用画像データを同じく４つのサブフレームに分割して合成する場合を示す。図２は、４つのサブフレームに分割したＯＳＤ用画像データの一例を示す。図２（ａ）は１フレームのＯＳＤ用画像データで、図２（ｂ）〜（ｅ）が１フレームのそれぞれに２×２画素で表された範囲を４つのサブフレームに分割したものである。ここで、図２（ｂ）〜（ｅ）は２×２画素の１，２，３，４の部分のサブフレーム（ＳＦ１〜ＳＦ４）に対応している。

図１において、記憶手段（１）１１は４つからなり、それぞれ４つのサブフレームに分割したＯＳＤ用画像データを予め記憶している。実際には、このような記憶手段（１）１１は複数組あり、それぞれ文字、図、表等のＯＳＤ用画像データを複数のサブフレームらに分割して記憶している。この記憶手段（１）１１には、一般的に各種のＲＯＭやＲＡＭ、ＨＤＤなどの画像データの記憶を行うことができるデバイスが用いられる。記憶手段（２）１５も４つからなり、それぞれ４つのサブフレームに分割した原画像データを記憶している。この記憶手段（２）１５には一般にＲＡＭが用いられ、当然のことながら必要な記憶容量は記憶手段（１）１１より大きい。

図３は、図１に示した構成にて、４つのサブフレームに分割したＯＳＤ用画像データを原画像データに合成する際に、図３（ｂ）の矢印の位置に示すようなＯＳＤ用画像データの描画開始座標が、常にサブフレームの分割単位となり、原画像データへ合成する座標が、図３（ａ）の１のサブフレームに対応するＯＳＤ用画像データになるように展開したものを合成することを示したものである。本例では２×２に分割しているので分割単位は、２×２となる。

読出し手段１２は、ＣＰＵ等であり、ユーザの操作指示など必要に応じて原画像データに合成するＯＳＤ用画像データについて、該ＯＳＤ用画像データの各サブフレームを予め記憶した４つの記憶手段（１）１１の中から並列に読み出し（例えば、４つのサブフレームを一度に、２サブフレームずつ２回に分ける等）、制御手段１４を制御して各サブフレームに対応した展開用記憶手段１３上の所定アドレスに展開し、各サブフレームに対応したＯＳＤ用画像を記憶させる。展開用記憶手段１３は、ＲＡＭなどのデータの読み書きを行うことができるデバイスが用いられる。

４つの記憶手段（１）１１には、ＯＳＤ用画像データの描画開始座標が、常に原画像データへの合成する座標がサブフレームの分割単位になることから、分割時の同じ位置になる各サブフレームに対応したＯＳＤ用画像データが記憶される。すなわち、各記憶手段（１）１１には、各サブフレームに対応して分割されたＯＳＤ用画像データが同一アドレスに記憶されることで、同じアドレス信号を用いて、同時に読出すことができ、ＯＳＤ用画像データの読出し処理を高速化することができる。また、各記憶手段（１）１１は所定のサブフレームのＯＳＤ用画像データを記憶し、各展開用記憶手段１３も所定のサブフレームのＯＳＤ用画像データを用いてＯＳＤ画像を展開することから、記憶手段１と展開用記憶手段４が１対１で対応し、サブフレームごとの振分け手段の必要がなくなり、構成ブロックが簡素になる。このように、本実施例においては、記憶手段（１）１１、記憶手段（２）１５、展開用記憶手段１３並びに合成手段１６は、各サブフレームに対応するように独立して設けるため、サブフレームの数に合わせて用意する。

制御手段１４は、各サブフレームに対応したＯＳＤ用画像データの展開用記憶手段１３への展開時に、読出し手段１２の制御下でサブフレームのアドレス信号を元に展開用記憶手段１３の動作及びアドレスを制御する。すなわち、ＯＳＤ用画像データを原画像データの各サブフレームに対応したアドレスに展開する。

展開用記憶手段１３に記憶された各サブフレームに対応したＯＳＤ用画像データは、同じく制御手段１３の制御により、それぞれ当該サブフレームに対応した合成手段６に送られ、記憶手段（２）１５から合成手段１６に送られてきた各サブフレームの原画像データと合成される。つまり、対応するサブフレームのアドレスごとに両者のデータをそれぞれ合成手段１６により合成する。

本実施例により、記憶手段（１）１１へ原画像データのサブフレームの分割に合わせたＯＳＤ用画像データを予め記憶し、所定のサブフレームに合わせたＯＳＤ用画像と、合成する原画像データのサブフレームを固定化することにより、ＯＳＤ処理に関する全処理を並列化することができることにより、ＯＳＤ処理を高速化し、低コストで実現することができる。

図４は本発明にかかる画像処理装置の第２の実施形態の構成ブロック図を示す。全体構成は図１と基本的に同様であるが、本実施例では記憶手段（１）２１及び展開用記憶手段２３に記憶または展開されるＯＳＤ用画像データのデータ形式が異なる。このため、後述するように、記憶手段（１）２１及び展開記憶手段２３は各サブフレーム対応に独立に構成する必要はなく、構成が簡単化される。

図５に記憶手段（１）２１及び展開用記憶手段２３に記憶されるＯＳＤ用画像データのデータ形式の一例を示す。ここでは、１フレームを４つのサブフレーム（ＳＦ１〜ＳＦ４）に分割し、記憶手段（１）２１と展開用記憶手段２３に記憶または展開されるＯＳＤ用画像データの形式を１アドレスに少なくとも画素データの２倍以上のデータ長を有し、１アドレス内に少なくとも２つ以上のサブフレームの画素データを所定の順で記憶したものの一例として、１画素は８ビット単色の画素データで表され、１アドレス内には４つのサブフレームのＯＳＤ用画像の画素データをＳＦ１から順に記憶するデータ形式を示す。例えば、アドレス１には、１フレームのＯＳＤ用画像データの最初の２×２画素の画素データがＳＦ１〜ＳＦ４の順に記憶され、アドレス２には、次の２×２画素の画素データがＳＦ１〜ＳＦ４の順に記憶される。以下、同様にして、１アドレス内にそれぞれ２×２画素の画素データがＳＦ１から順に記憶される。

図４において、記憶手段１にはＯＳＤ用画像データが、図５のようなデータ形式で予め記憶されている。つまり、本例では８ビットの単色画像データの４つのサブフレームを２×２画素単位に１アドレスに記憶するデータ形式とすることから、３２ビット長のＯＳＤ用画像データが、サブフレームに対応した１つのアドレスに記憶されることとなる。したがって、記憶手段（１）２１は、図１の記憶手段（１）１１のように、各サブフレーム対応に独立に構成する必要はない。

読出し手段２２では、必要に応じて、記憶手段（１）２１よりＯＳＤ用画像データを各アドレスずつ読み出し、制御手段２４を制御して展開用記憶手段２３上の所定アドレスに展開させる。展開用記憶手段２３に記憶されるＯＳＤ用画像データの形式は、記憶手段（１）２１と同様であり、図１の展開用記憶手段２３のように、各サブフレーム対応に独立に構成する必要はない。記憶手段（１）２１から読出し手段２２、読出し手段２２から展開用記憶手段２３へのＯＳＤ用画像データの転送は、並列に行われることにより、高速化することができる。制御手段２４は、ＯＳＤ用画像データの展開記憶手段２３への展開時に、サブフレームのアドレス信号を元に展開用記憶手段２４の動作及びアドレスを制御する。

制御手段２４は、同様にサブフレームのアドレス信号を元に、展開用記憶手段２３のＯＳＤ用画像データを合成手段２５に送出する。この場合、展開用記憶手段２３からＳＦ１のＯＳＤ用画像データはＳＦ１のサブフレームに対応した合成手段２６というように、各サブフレームに対応した合成手段に送られる。すなわち、展開用記憶手段２３と各サブフレームに対応した合成手段２６が一対一に接続されている。ここでは、一例として、展開用記憶手段２３側の３２ビットのピンが、８ピンずつ４つの合成手段２６にそれぞれある８ビットのピンが接続されているとする。図５で説明すると、ＳＦ１の８ビットを出力するピンがサブフレーム１に対応する合成手段の８ビットのピンと、ＳＦ２の８ビットを出力するピンがサブフーレム２に対応する合成手段の８ビットのピンというようにそれぞれ接続されている。このように展開用記憶手段２３と各サブフレームに対応した合成手段２６とを接続することによって、サブフレームのアドレス信号に応じて制御手段２４が展開用記憶手段２３のＯＳＤ用画像データを合成手段２５に転送する制御を行うことで、各サブフレームの画像データに対応したＯＳＤ用画像データが４つの合成手段２６に並列に送ることができる。各合成手段２６では、記憶手段（２）２５から送られてきた各サブフレームの原画像データと展開用記憶手段２３から送られてきたＯＳＤ用画像データとを、対応するサブフレームのアドレスごとに合成することとなる。

本実施例により、記憶手段及び展開用記憶手段に記憶または展開するＯＳＤ用画像データは、１アドレスに少なくとも画素データの２倍以上のデータ長を有し、１アドレス内に少なくとも２つ以上のサブフレームの画素データを所定の順で記憶することにより、記憶手段からの読出しを並列に行うことができる。さらに、１アドレスに全サブフレーム分のＯＳＤ用画像データを記憶するデータ形式にすると、全サブフレームで同時に行えることと、記憶手段から展開用記憶手段までのデータを同じデータ形式で並列に処理が行えること及び、展開用記憶手段から合成手段への転送が、並列に行えることにより、記憶手段、読出し手段、展開用記憶手段と制御手段の構成を簡単化させることができ、構成を複雑化しないで、データの並列処理を行うことができることから、高速、低コストでＯＳＤ処理の行える画像処理装置を実現することができる。

図６は本発明にかかる画像処理装置の第３の実施形態の構成ブロック図を示す。本実施例は、複数のサブフレームの少なくとも２つ以上で共通のＯＳＤ用画像データを用いることで、記憶手段（１）３１及び展開用記憶手段３３の必要な記憶容量を軽減するものである。

１フレームを複数のサブフレームに分割し、時分割で画像表示素子の解像度以上の表示をすると、高解像度の表示ができるが、ＯＳＤ用画像データの表示に関しては、実使用上問題とならない解像度があればよく、表示する原画像と比べ、多少低い解像度であっても問題は少ない場合がある。図７に複数のサブフレームの少なくとも２つ以上で同一のＯＳＤ用画像データ（共通ＯＳＤ用画像データ）を用いる一例として、１フレームを水平・垂直方向に２分割し、合計４つのサブフレームに分割した場合の全てのサブフレームで、同一のＯＳＤ用画像データを用いた例を示す。ここで、図７（ａ）が共通ＯＳＤ用画像データ、図７（ｂ）〜（ｅ）が各サブフレームのＯＳＤ用画像データで、それぞれ（ａ）と同じデータ、（ｆ）が（ｂ）〜（ｅ）の各サブフレームの同一ＯＳＤ用画像データを合成して得られるＯＳＤ画像である。

図６において、記憶手段（１）３１には、予め共通ＯＳＤ用画像データが記憶されている。読出し手段３２は必要に応じて、記憶手段（１）３１より共通ＯＳＤ用画像データを読み出し、制御手段３４を制御して、展開用記憶手段３３上のサブフレームのアドレスに対応したアドレスに展開し記憶させる。制御手段３４は、展開用記憶手段３３をサブフレームのアドレス信号を元に、その読書きするアドレスと動作を制御する。展開用記憶手段３３に記憶された共通ＯＳＤ用画像データは、制御手段３４の制御により読み出され、各合成手段３６にそれぞれ送られる。すなわち、ここでは、４つのサブフレームに対応した合成手段３６に対し、同じＯＳＤ画像データが送られる。各合成手段３６では、それぞれ展開用記憶手段３３から送られたＯＳＤ画像データと、記憶手段（２）３５から送られてきたサブフレームの原画像データを合成し、４つのサブフレームに対応したＯＳＤ合成サブフレーム画像を出力する。

本実施例により、１フレームを分割した複数のサブフレームの少なくとも２つ以上で、記憶手段に予め記憶された同一のＯＳＤ用画像データを用いることによって、さらに図７のようにサブフレーム全てで記憶手段１に予め記憶された同一の共通ＯＳＤ用画像データを用いることにより、記憶手段から展開用記憶手段、合成手段までに処理するＯＳＤ用画像データのデータ量が少なくなり、また、例では１サブフレームと同じになることで、各部品の点数が減るとともに、部品の規模も少なくなることでコストが下がり、低コストでＯＳＤ処理が高速の画像処理装置を実現することができる。

図８は本発明の画像処理装置を用いた画像表示装置の実施形態として、１フレームの画像データを水平・垂直各々計４つのサブフレームの画像データに分割し、時分割で画像表示素子の解像度以上の表示をする画像表示装置の構成例の概要図を示したものである。光源光を均一化するためのインテグレータ光学系は光源１０１と放物面リフレクタ１０２とフライアイレンズアレイ１０３、１０４で構成される。コンデンサレンズ１０５は照明光を偏光ビームスプリッタ１０６を通して画像表示素子１０７に集光、照明する。画像表示素子１０７は、反射型液晶パネルであり、液晶パネル制御回路１１１により制御され、画像を表示する。表示される画像はＯＳＤ用画像データを表示する場合も含めて、本発明の画像処理装置により生成され、その画像データを液晶パネル制御回路１１１の制御により、反射型液晶パネルである画像表示装置１０７に表示する。投射レンズ１０９は、その画像を偏光ビームスプリッタ１０６、光偏向素子１０８を通して投射し、スクリーン１１０に表示する。偏光ビームスプリッタ１０６は照明光と画像光を分離するためのものである。光偏向素子１０８は光学素子等よりなり、光偏向制御回路１１２の制御により、各サブフレームに応じて画像光を水平・垂直方向に所定量だけ偏光（シフト）する。

照明光源１０１から放出された照明光は、インテグレータ照明系により均一化された照明光となり、コンデンサレンズ１０５、偏光ビームスプリッタ１０６により液晶パネル１０７を照明する。この液晶パネル１０７で空間光変調された照明光は、ビームスプリッタ１０６を通り、画像光として光偏向素子１０８に入射し、該光偏向素子１０８によって、画像光が画素の配列方向に設定されたシフト量だけシフトされる。この光偏向素子１０８を通った画像光は、投射レンズ１０９で拡大されスクリーン１１０に投射される。ここで、シフト量は画素ピッチの１／２にする。１フレームを時間的に４分割したサブフレームで構成し、光偏向制御回路１１２の制御により、各サブフレームごとに光偏向素子１０８を作用させ、光偏向素子１０８の作用状態に応じた表示位置に対応する画像デ−タをスクリーン１１０に表示させることで、見かけ上高精細な画像を表示することができる。こごては、ＯＳＤ合成画像データを表示することができる。

以上により、ＯＳＤ用画像データを原画像データに合成し、高解像度の表示を行う画像表示装置を低コストで実現することができた。

本発明に係る画像処理装置の第１の実施形態の構成ブロック図である。 １フレームを４つのサブフレームに分割したＯＳＤ用画像データの一例である。 原画像データへのＯＳＤ用画像データの合成を説明する図である。 本発明にかかる画像処理装置の第２の実施形態の構成ブロック図である。 第２の実施形態で用いられるＯＳＤ用画像データの記憶手段内でのデータ形式の一例である。 本発明にかかる画像処理装置の第３の実施形態の構成ブロック図である。 第３の実施形態で用いられるＯＳＤ用画像データの一例である。 本発明の画像処理装置が適用される画像費用時装置の構成例を示す図である。

符号の説明

１１、２１、３１ 記憶手段（１）
１２、２２、３２ 読出し手段
１３、２３、３３ 展開用記憶手段
１４、２４、３４ 制御手段
１５、２５、３５ 記憶手段（２）
１６、２６、３６ 合成手段
１０１ 光源
１０２ 放物面リフレクタ
１０３、１０４ フライアイレンズアレイ
１０５ コンデンサレンズ
１０６ 偏光ビームスプリッタ
１０７ 液晶パネル
１０８ 光偏向素子
１０９ 投射レンズ
１１０ スクリーン
１１１ 液晶パネル制御回路
１１２ 光偏向制御回路

Claims (3)

1. １フレームを複数のサブフレームに分割した原画像データに、ＯＳＤ用画像データを各サブフレーム対応に合成する合成手段を備えた画像処理装置であって、
   原画像データの分割に合わせて複数のサブフレームに分割したＯＳＤ用画像データを記憶した記憶手段と、
   前記記憶手段の複数のサブフレームに対応するＯＳＤ用画像データを展開して記憶するための展開用記憶手段と、
   前記記憶手段に記憶された前記複数のサブフレームに対応するＯＳＤ用画像データを並列に読み出す読出し手段と、
   前記記憶手段から並列に読み出された前記複数のサブフレームに対応するＯＳＤ用画像データを展開して前記展開用記憶手段に並列に書き込み、該展開用記憶手段から並列に読み出して前記合成手段に送る制御を行う制御手段とを有し、
   前記記憶手段は、１アドレスに少なくとも画素データの２倍以上のデータ長を有して、１アドレス内に少なくとも２つ以上のサブフレームの画素データを所定の順で記憶し、
   前記読出し手段は、前記記憶手段を前記アドレス単位に並列に読出しを行うことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記展開用記憶手段は、１アドレスに少なくとも画素データの２倍以上のデータ長を有し、
   前記制御手段は、前記展開用記憶手段の１アドレス内に少なくとも２つ以上のサブフレームの画素データを並列に書き込み、前記アドレス単位に並列に読み出すことを特徴とする画像処理装置。
3. ２次元配列の画素をもち、画素毎に電気信号を入力することで透過光または反射光を変調し、入力する電気信号の更新を少なくとも１走査線毎に行う画像表示素子と、前記画像表示素子を照明する光源と、該画像表示素子で変調した光を偏向する偏向手段と、画像を投射する光学系を備え、１フレームを複数のサブフレームに分割して、前記偏向手段によりに偏向された位置に対応したサブフレーム画像を時分割に前記画像表示素子に表示する画像表示装置において、請求項１もしくは２に記載の画像処理装置を備えたことを特徴とする画像表示装置。

Images