JP4010173B2 - 映像表示装置及び映像表示方法 - Google Patents
映像表示装置及び映像表示方法 Download PDFInfo
- Publication number
- JP4010173B2 JP4010173B2 JP2002115350A JP2002115350A JP4010173B2 JP 4010173 B2 JP4010173 B2 JP 4010173B2 JP 2002115350 A JP2002115350 A JP 2002115350A JP 2002115350 A JP2002115350 A JP 2002115350A JP 4010173 B2 JP4010173 B2 JP 4010173B2
- Authority
- JP
- Japan
- Prior art keywords
- light
- screen
- signal
- video signal
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Liquid Crystal (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Overhead Projectors And Projection Screens (AREA)
Description
【発明の属する技術分野】
本発明は、液晶プロジェクタ又はレーザ光プロジェクタ等の映像投射装置から投射される光を表示する映像表示装置及び方法に関する。
【0002】
【従来の技術】
液晶プロジェクタ、レーザ光プロジェクタ及びフィルム映写機等の映像投射装置は、映像の大画面化が容易であり、これによってより臨場感を得易く、またより大人数で同時に映像を見られる等の特徴を有する。
【0003】
しかし、一般に映像投射装置においては、大画面化に伴って光源の出力強度を増加させる必要があるが、これは必ずしも容易ではなく、大画面化を制約する要因の一つにもなっている。また、例えば屋外シアタ等、屋外での使用においては、周囲が十分に暗い状態で用いられるとは限らず、プロジェクタよりも自発光による映像の方が見易くて適当である。
【0004】
このような問題に対し、従来、映像機又はプロジェクタにより投射した画像を明るく観察できるように、投写用スクリーンに輝度増幅機能を持たせた増幅発光スクリーンが特開平10−123622号公報に開示されている(以下、従来例という。)。
【0005】
図14(a)及び(b)は、従来例に記載の増幅発光スクリーンを示す図であって、夫々1画素を拡大して示す側面図、及びスクリーンを示す正面図である。図14(a)に示すように、従来の増幅発光スクリーンの単位画素213は、投写される画像である信号光201を受光して電流に変換して増幅する受光素子203と、この受光素子203の一端に接続された導線204と、導線204の他端に接続され、受光素子203から増幅電流が供給される発光素子205と、発光素子205から発光される光の配光角度を調整して出力光207とするレンズ206と、受光素子203及び発光素子205にワイヤを介して接続された夫々マイナス側リード209及びプラス側リード208と、これらを格納するパッケージ210とから構成される。増幅発光スクリーン211は、図14(b)に示すように、画素213がマトリックス状に配列されたものである。
【0006】
このように構成された従来例に記載の増幅発光スクリーンにおいては、特に高出力型でない通常の映写機及びプロジェクタ等の投写型画像機器による画像が大画面に明るく表示することができる。
【0007】
【発明が解決しようとする課題】
しかしながら、液晶プロジェクタ及びレーザ光プロジェクタ、並びに従来例においては、画素あるいは走査線のような離散化された情報の集合によって画像を構成することから、投影するスクリーンが大きくなるほど、即ち、大画面化するほど、画素間若しくは走査線間の隙間等の粗が目に付き易くなったり、又は精細さが低下したりする等の問題点がある。
【0008】
また、従来の自発型の映像表示装置においては、各画素に映像信号を供給する映像信号処理装置が接続されるが、大画面化又は高解像度化によって画素数が増加するほど、映像信号処理装置から各画素までの信号線の配線数が増大し、そのために装置の設置及びメンテナンスが大変であったり拡張性に欠けたりする等の問題点がある。
【0009】
本発明は、このような従来の実情に鑑みて提案されたものであり、大画面化されても高解像度且つ高精細であると共に十分な明るさの映像が表示可能な映像表示装置及び映像表示方法を提供することを目的とする。
【0010】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る映像表示装置は、スクリーン上に第1の映像信号に基づく光が投射され、この投射光から得られた信号を処理して上記スクリーンに映像を表示する映像表示装置であって、上記スクリーン上に設けられ上記投射光を透過する複数の光透過手段と、上記スクリーンの裏面側にて上記光透過手段と対向する位置に設けられ上記スクリーンの表面側から投射された上記投射光を受光し該投射光に基づく信号を出力する受光手段と、上記受信手段からの出力信号を補正処理して第2の映像信号を生成する信号処理手段と、上記第2の映像信号に基づく光を上記スクリーンの裏面側から該スクリーンの表面側に投射する光投射手段とを有することを特徴とする。
【0011】
本発明においては、映像信号をスクリーン上に投射すると共に、スクリーン側においては投射された投射光に基づいて補正処理した第2の映像信号をスクリーン裏面側から光投射手段によって投射することにより、大画面においても高画質で高輝度の映像を表示することができる。
【0012】
また、上記信号処理手段が複数設けられ、この各信号処理手段は、上記スクリーンの所定領域に投射する1以上の上記光投射手段に上記所定領域の上記映像信号を供給するものであり、上記所定領域に設けられる受光手段からの出力信号を上記所定領域に隣接する他の領域に設けられる他の信号処理手段に送信し、該他の領域に設けられる受光手段からの出力信号を上記他の信号処理手段から受信するインターフェース手段を有することにより、信号処理手段の相互接続及び切断・終端が極めて容易である。
【0013】
更に、上記補正処理は、画質向上処理であり、クラス分類適応処理を使用することができ、例えば、上記第1の映像信号より上記第2の映像信号の解像度を高くする高解像度化処理及び/又は上記第1の映像信号からノイズを除去するノイズ除去処理とすることができる。
【0014】
更にまた、上記第1の映像信号に基づく光を上記スクリーンの表面側から該スクリーン上に投射する映像信号投射手段を有することができ、更に、上記第1の映像信号に付加データを付加した合成映像信号を生成する映像信号処理手段を有し、上記合成映像信号に基づく光を上記スクリーンに投射することにより、付加データを映像信号と共に投射して、信号処理手段における補正処理に使用することができる。
【0017】
【発明の実施の形態】
本発明においては、映像信号を映像投射装置によってスクリーン上に投射すると共に、スクリーン側においては、この投射光を受光し、受光した投射光に基づいて映像信号を造り直し、これをスクリーン裏面側から光投射手段によってスクリーン表面に投射することにより、大画面においても高画質で高輝度の映像表示を実現する。以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【0018】
図1(a)及び(b)は、本発明の第1の実施の形態における映像表示装置を示す図であって、夫々スクリーンの一部を示す正面図及び図1(a)のA―A線における側面図である。
【0019】
図1(a)に示すように、本実施の形態の映像表示装置は、スクリーンの表面側からスクリーン上に投射装置によって第1の映像信号に基づく光が投射され、その投射光から得られた信号を補正処理して第1の映像信号より解像度が高い第2の映像信号を生成し、この第2の映像信号に基づき映像を再表示する映像表示装置であり、スクリーン1上にマトリックス状に設けられた複数の光透過手段である透過部2と、スクリーン1の裏面側10bにて光透過部2と対向する位置に設けられスクリーン1の表面側10aから投射された投射光3を受光する受光手段である受光部4と、受光部4が受光した投射光3に基づいて補正処理をして映像信号を生成する信号処理手段である信号処理部5と、信号処理部5から出力される映像信号をスクリーン1の裏面側10bから光として投射する光投射手段である投射部6とから構成されている。
【0020】
光透過部2は、例えば、スクリーン1を貫通する微小な孔、又は貫通する孔に透明なガラス若しくは樹脂類を嵌め込んだもの等を使用することができる。あるいは、受光部4において検知するのに十分な光量が得られる場合には、スクリーン1におけるその部分を薄くしただけであってもよく、または他の部分と同一のままでもスクリーンの構造自体が光透過手段であると見做すこともできる。
【0021】
スクリーン1の表面側10aに投射された光3は、スクリーン1上に設けられた光透過部2を介し、スクリーン1の裏面側10bに設けられた受光部4において検知される。ここで、スクリーン1の表面側10aには、第1の映像信号が投射光3として投射されるものとしたが、この投射光3は、可視光に限らず、例えば赤外線及び紫外線等の不可視光を使用することもできる。また、受光部4の代わりに、受信部を設けて、無線によってデータ伝送することも可能である。
【0022】
受光部4は、スクリーン1の表面側10aにおける投射光3、又は後述する信号処理部5における具体的な処理に応じて異なり、例えば3原色(RGB)の光を併せて受光するもの、又は、例えばRGBの各色に対応して受光するものを個別に分けて配置したもの等とすることができる。
【0023】
受光部4の後段には光投射部6が設けられているが、受光部の出力信号は光投射部6の隙間6a又は光投射部6に設けた通路若しくは中継部6bを介し、受光部出力信号線4aにより、更に後段に設けられた信号処理部52,55,58(以下、任意の信号処理部を示すときは信号処理部5という。)に入力される。
【0024】
スクリーン1は、所定領域Pnに区切られ、信号処理部5は、この各所定領域Pnに対応して複数設けられており、1つの信号処理部5に対しては、所定領域Pnに含まれる例えば16個の光透過部2を介して夫々16個の光受光部4にて受光された透過光3から得られた出力信号が入力されるものとすることができる。更に、各信号処理部5には、対応する所定領域だけではなく、近接する他の領域の受光部4が受光した投射光3からの出力信号も併せて入力される。例えば、領域P2、P5、P8に対応する信号処理回路5を、夫々信号処理部52、55、58としたとき、信号処理回路55には、領域P5に設けられる受光部4が受光した投射光3だけではなく、領域P5の周囲に隣接する領域P1〜4、領域P6〜9に設けられた受光部4からの出力信号も合わせて入力される。
【0025】
信号処理部5は、入力された複数の受光部4からの出力信号を使用して、全体画像における一部分の領域を示す部分画像信号を合成し、この合成した部分画像信号に基づいて局所的な領域毎の信号処理を行い、高画質な映像信号を生成する。このように解像度を向上し、高画質な映像信号を生成する画像データ変換装置については後述する。また、スクリーン1の両面からの投射光によって適切な映像が生成されるような補正を考慮したものであってもよい。なお、1つの信号処理部5に入力する受光部4の出力の数、位置関係、並びに信号処理部5及び光投射部6の外枠の大きさ及び形状等については、図1に限定するものでは決してない。
【0026】
信号処理部5の出力信号である第2の映像信号は、信号処理部出力信号線5aを介して受光部4と信号処理部5との間に設けられた光投射部6に入力される。これは、上記局所的な領域毎の映像をスクリーンの裏面側10bから投射するごく小規模なものである。その構成としては、例えば、LCDプロジェクタ及び各種レーザ光プロジェクタ並びにこれに準じたものが適用でき、スクリーン1の裏面側10bの光投射部6から投射された光7がスクリーン1の表面側10aに達するものであればよい。また、逆にスクリーン1については、その裏面側1bからの投射光7を完全に遮ることなく、スクリーン1の表面側10aに透過させられるものである必要がある。
【0027】
次に、図1に示す第1の実施の形態の変形例について説明する。図2は、本発明の第1の実施の形態の変形例を示す図である。なお、図2に示す本変形例において、図1に示す第1の実施の形態と同一構成要素には同一の符号を付してその詳細な説明は省略する。本変形例においては、上述の第1の実施の形態における小規模な映像表示装置(以下、小規模スクリーンという。)を、同一面上に複数個継ぎ合わせることで1つの大規模な映像表示装置(以下、大規模スクリーンという。)を構成するものである。
【0028】
図2(a)に示すように、大規模スクリーン10は、図1に示すスクリーン1と同様に構成された9枚の小規模スクリーン1a〜1iから構成され、上述と同様に、大規模スクリーン10は複数の光透過部2を有し、各小規模スクリーン1a〜1iには例えば各m個の信号処理部5を配置するものとする。
【0029】
図2(b)は図2(a)の領域S1を拡大して側面からみた図である。図2(b)に示すように、大規模スクリーン10の裏面側10bにおける光透過部2に対向する位置には、受光部4が設けられ、受光部4は受光部出力信号線4aを介して信号処理部5に接続されている。信号処理部5には、上述したように、隣接する領域における受光部4からの複数の出力信号が入力されている。
【0030】
第1の実施の形態において、1つの受光部からの出力信号が、その受光部が設けられスクリーンの所定領域に対応する信号処理部に入力されるだけでなく、該信号処理部5に隣接又は近接する複数の信号処理部5に入力されていたのと同様、本変形例の映像表示装置においても、必要とされる受光部4からの出力信号を小規模スクリーン1a〜1iの境界部11周辺に配置される信号処理部5に入力する。このため、小規模スクリーン1a〜1iの境界部11周辺に配置される信号処理部5を相互に接続する必要がある。そこで各小規模スクリーン1a〜1iの境界部分には、上記相互接続のためのインターフェース部12を設ける。大規模スクリーン10の端においては相互接続は不要であるが、その場合には入力端及び出力端共に適切な終端処理を行う。これにより、小規模スクリーン1a〜1i間をこのインターフェース下部12により相互に接続するのみで、容易に大規模スクリーン10を形成することができると共に、メンテナンス等に極めて便利である。
【0031】
なお、図2においては9枚の小規模スクリーン1a〜1iによって1枚の相似形の大規模スクリーン10を構成しているが、使用する小規模スクリーン1a〜1iの枚数、これらにより構成される大規模スクリーン10及び個々の小規模スクリーン1a〜1iの形状及び大きさ等については同図に従う必要は全くなく、小規模スクリーン1a〜1iにインターフェース部を設け、隣接する小規模スクリーン1a〜1iの間における信号線の相互接続が行われるものであれば基本的に自由に構成することができる。
【0032】
次に、本発明の第1の実施の形態及びその変形例における信号処理部について更に詳細に説明する。1つの信号処理部では、スクリーンの所定領域に対応する部分的な第2の映像信号が生成され、スクリーン上での表示画素となる複数の投射部6のうち、この所定領域に配置される投射部6に上記部分的な領域の映像信号が供給される。第1の映像信号に基づく光を受光部にて受光し、この受光部からの出力信号から第1の映像信号より解像度が高い高精細な第2の映像信号を生成する信号処理部5として、本願発明者等が先に出願した例えば特開2000−125268号公報等に記載された画像データ変換装置を使用することができ、受光部4からの出力信号に基づき、補正処理を行って、例えば、1つの受光部4に対して、4×4画素の信号を生成して、1:(4×4)の高解像度化を行う。
【0033】
ここで、上記特開2000−125268号公報等においては、注目画素(生成画素)の周辺に位置する原画像の複数画素からクラスタップ及び予測タップを抽出するが、これに対応して、本実施の形態における1つの信号処理部は、1つの信号処理部5によって生成された部分的な第2の映像信号が供給される光投射部6が配置されるスクリーン1の所定領域(Pn)に含まれる受光部4の最外周に位置する受光部4よりも外側に設けられる受光部4による出力信号も入力され信号処理に使用する。即ち、1つの信号処理部5は、この信号処理部5からの第2の映像信号が供給される光投射部6が配置されるスクリーン1の所定領域に設けられた受光部4からの出力信号と共に、例えばこの信号処理部5に隣接する他の信号処理部5からの第2の映像信号が供給される光投射部6が配置されるスクリーン1の他の領域に設けられた受光部4からの出力信号が入力されて信号処理を行うものである。
【0034】
図3に、スクリーン1の所定領域の光投射部6に対し部分的な画像信号を供給入力する本実施の形態における信号処理部のブロック図を示す。図3に示すように、信号処理部5は、画素に相当する各受光部からの出力信号S21が入力され、これらの出力信号S21を再構築して部分画像データS22を出力するデータ構築部21と、部分画像データS22が入力され、所定の領域の画像を切り出す第1及び第2の領域切出部22a、22bと、第1の領域切出部22aにより切り出されたデータ(所定の受光部からの出力信号)S23からクラスコードS24を生成するクラスコード生成部23と、クラスコード生成部23から供給されるクラスコードS24の予測係数データS25を読み出す予測係数ROM(Read Only Memory)24と、第2の領域切出部22bにより切り出されたデータ(所定の受光部からの出力信号)S26及び予測係数ROM24により読み出された予測係数S25が入力され、予測演算を行って画像データS27を生成する予測演算部25と、予測演算部25からの画像データS27が入力され、各画素(光投射部6)毎のデータに振り分けた各生成画素信号S28を出力する生成画素信号出力部26とから構成されている。
【0035】
データ構築部21は、各受光部からの出力信号S21を受ける入力バッファであり、ここで部分画像データS22を再構築する。このデータ構築部21は、必要に応じて(アナログ信号が入力される場合)、アナログ/ディジタル(A/D)変換器を含むものである。
【0036】
第1の領域切出部22aは、データ構築部21から部分画像データS22が入力され、部分画像データS22のうち、例えば、注目画素に対応する注目受光部及びこの注目画素を中心しとした複数の周辺画素に対応する上記注目受光部を中心とした周辺受光部でなる例えば合計7つの受光部をクラス分類用の画素(以下、これをクラスタップという。)に対応する受光部として設定し、これら7タップからの出力信号S23をクラスコード生成部23に供給する。以下、受光部を画素、受光部からの出力信号を画素値ともいう。
【0037】
クラスコード生成部23は、供給されたクラスタップの信号レベル分布に基づいてクラスコードを生成する。クラスコードの生成方法としては、部分画像データS22が例えばパルス符号変調PCM(Pulse Code Modulation)データであるときは、このPCMデータをそのままクラスコードとして使用する方法や、いわゆるADRC(Adaptive Dynamic Range Coding)等のデータ圧縮方法を使用してクラス数を削減する方法等がる。このうちPCMデータをそのままクラスコードとする方法では、クラスタップとして8ビットのPCMデータを7タップ使用する場合、クラス数が256という膨大な数のクラス数に分類されることになり、実用上問題がある。
【0038】
そこで実際には、クラスコード生成部23は、ADRCのようなデータ圧縮処理(すなわち再量子化処理)を施すことによりクラス数を削減するようになされている。このADRCによるクラスコード生成方法は、注目画素を中心とする近傍領域内の数タップからADRCコードを下記式(1)によって求め、当該ADRCコードに基づいてクラスコードを生成する手法を用いている。
【0039】
【数1】
【0040】
ここで、ciはADRCコード、xiは各クラスタップの入力画素値、MINは領域内にある各クラスタップの入力画素値のうちの最小画素値、DRは領域内のダイナミックレンジ(最大画素値と最小画素値との差分)、kは再量子化ビット数である。
【0041】
すなわち、ADRCによる分類法は、領域内のダイナミックレンジから再量子化ビット数に応じた量子化ステップ幅を算出し、入力画素値から最小画素値を減算した画素値を量子化ステップ幅に応じて再量子化するものである。例えば領域内の7タップにおいて、各クラスタップを1ビットに再量子化する1ビットADRCを行う場合では、領域内のダイナミックレンジに基づいて7タップの各入力画素値を適応的に1ビット量子化し、その結果、7タップの入力画素値を7ビットのデータに削減することができるので、全体としてクラス数を128クラスにまで削減することができる。
【0042】
図3に戻って、予測係数ROM24は、後述する学習回路30によって予め生成された各クラス毎に対応する予測係数データを格納しており、クラスコード生成部23から供給されるクラスコードS24に応じた予測係数データS25を読み出し、これを予測演算部25に送出する。
【0043】
第2の領域切出部22bは、データ構築部21から入力される部分画像データS22のうち、注目画素に対応する注目受光部及びこの注目画素を中心しとした複数の周辺画素に対応する上記注目受光部を中心とした周辺受光部でなる例えば合計13タップを予測演算用の画素に対応する受光部として選定し(以下、これを予測タップと呼ぶ)、この受光部からの出力信号(画素値)S26を予測演算部25に供給する。
【0044】
予測演算部25は、第2の領域切出部22bから供給された予測タップの各画素値S26と、予測係数ROM24から供給された予測係数データS25とを用いて、線形一次結合でなる下記式(2)によって表される積和演算を行うことにより、予測タップには存在しない例えば高解像度HD(High Definition)の画素の集まりであるHD画像データ等、より解像度が高い高画質な画像データを生成し、これを生成画素信号出力部26に出力する。
【0045】
【数2】
【0046】
ここで、x’は高解像度画像の各画素値、xiは各予測タップの画素値、wiは予測係数、nは予測タップ数であり、この場合nは13である。
【0047】
生成画素出力部26は、高解像度画像データから各画素に対応する画素信号を生成し、生成した画素信号を対応する光投射部へ出力するための出力バッファであり、各画素位置への振り分けを行う。この生成画素出力部26は、シリアルに出力してもよく、また、必要に応じてディジタル/アナログ(D/A)変換器を含むものである。
【0048】
次に、予測係数ROM24に格納されている予測係数データを生成する学習回路について説明する。基本的に学習は、高解像度である教師画像と低域通過フィルタ(LPF)を通して解像度を投射画像相当に下げた生徒画像との間で行う。ただし、表示画素の位置及び投射光のスポット径等によっては、光投射部6から投射される表示光に対して、投射装置から投射光3が重畳するため、これを補正して表示するための画素信号の生成が必要であり、本実施の形態においてはこの補正を考慮した予測係数の生成を行う。
【0049】
図4は、本実施の形態の学習回路を示すブロック図である。学習回路30は、予測係数データを予め生成して、これを予測係数ROM24に格納するようになされている。学習回路30は、教師画像データS31が入力される垂直間引きフィルタLPF31と、教師画像データS31及びLPF31の通過後のデータS32から投射光重畳分を補正する投射光重畳補正部32と、LPF31の通過後データS32にノイズを重畳するノイズ重畳部33と、ノイズ重畳部33によりノイズが重畳された画像データ(生徒画像データ)S33からクラスタップ及び予測タップを選定する第1及び第2の領域切出部34a、34bと、第1の領域切出部34aから供給されたクラスタップの画素値S34に基づきクラスコードS35を生成するクラスコード生成部35と、第2の領域切出部34bから供給される予測タップの画素値S36、クラスコード生成部35から供給されるクラスコードS35、及び投射光重畳分補正部32から供給される画像データ(第2の教師画像データ)S36から正規方程式により予測係数を演算する正規方程式演算部36と、予測係数を決定する予測係数決定部37と、決定された予測係数データをクラスコードと共に格納するメモリ38とから構成される。
【0050】
投射光重畳分補正部32は、生成画素位置に応じ、基本的には投射光の重畳分を元の教師画像データS31から差し引き、新たに教師画像データ(第2の教師画像データ)S37を生成して、この教師画像データS37から改めて学習を行うための補正を行う。
【0051】
投射光重畳の影響をより少なくするためには投射光は表示光よりも弱くすることが望ましい。しかし、この場合には、ノイズの影響が大きくなり得る。そのため、ノイズ重畳部33は、LPF31の通過後にノイズを重畳させた生徒画像データS33を生成し、この生徒画像データS33を使用して学習を行うことで、ノイズ抑圧の効果も有する予測係数を得る。
【0052】
また、上述の図3に示す生成画素信号出力部26を、画素位置(投射部6の位置)に応じて重畳分を差し引いた補正を行う投射光重畳分補正機能を含めた構成としてもよい。この場合は、図4における投射光重畳分補正部32は削除可能である。
【0053】
更に、赤外線及び紫外線等の不可視光を使用する場合、並びに無線によってデータ伝送を行う場合等には、投射光の重畳は考慮しなくてもよく、少なくとも投射光重畳分補正部は削除することができる。
【0054】
第1の領域切出部34a、第2の領域切出部34b及びクラスコード生成部35は、図3に示す信号処理部における第1の領域切出部22a、第2の領域切出部22b及びクラスコード生成部23と同様の構成とすることができ、第1の領域切出部34aに入力される生徒画像データS33からクラスタップを選定し、クラスコード生成部35がクラスタップの信号レベル分布に基づいてクラスコードS34を生成した後、これを正規化方程式演算部36に送出する。また、第2の領域切出部34bは、生徒画像データS33から予測タップを選定し、正規化方程式演算部36に供給する。
【0055】
正規化方程式演算部36は、第2の教師画像データS37及び予測タップの画素値S36を基に、クラスコードS35が示すクラスに応じた予測係数をクラス毎に算出し、その結果得られた予測係数データS39をメモリ38に格納する。
【0056】
この場合、正規化方程式演算部36は、上記式(2)における予測係数wを最小自乗法によって求めるようになされている。具体的には正規方程式36は、Xを高解像度に変換する前の、相対的に解像度が低い画像(生徒画像)の画素値、Wを予測係数、Yを高解像度画像(第2の教師画像)の画素値として、いわゆる観測方程式と呼ばれる下記式(3)を生成するように各データを収集する。
【0057】
【数3】
【0058】
ここで、mは予測する高解像度画像の画素の画素数を示す学習データ数、nは予測タップ数である。
【0059】
次に正規方程式演算部36は、上記式(3)式を基に、下記式(4)に示す残差方程式を立てる。
【0060】
【数4】
【0061】
従って各予測係数wiは、上記式(4)から、下記式(5)が最小のときに最適な値となることがわかる。すなわち、下記式(6)を満たすように予測係数wiが算出される。
【0062】
【数5】
【0063】
【数6】
【0064】
そこで、正規方程式演算部36は、このn個ある上記式(6)式を満たすようなw1、w2、……、wnを算出すればよいことになり、上記式(4)から、下記式(7)を得、これらの式(6)及び(7)から、下記式(8)を求める。
【0065】
【数7】
【0066】
【数8】
【0067】
そして、正規方程式演算部36は、上記式(4)及び(8)式から、下記式(9)によって表される正規方程式を生成する。
【0068】
【数9】
【0069】
このようにして正規方程式演算部36は、予測タップ数nと同一次数の連立方程式でなる正規方程式を生成し、掃き出し法(Gauss Jordanの消去法)を用いてこの正規方程式を解くことにより、各予測係数wiを算出する。予測係数決定部37は、各クラスコードに対応する予測係数wiを決定し、これをメモリに送出する。
【0070】
本実施の形態によれば、学習回路30にて、予め投射光重畳分を補正し、更にノイズ等を考慮した教師画像及び生徒画像から予測係数を学習し、信号処理部5にてこの学習した予測係数から画像データを推定して画素信号を生成することにより、投射光から得られる信号を信号処理部5にて補正すれば、スクリーン1上に極め精度が高く、高精細な映像を表示することができる。更に、小規模なスクリーンを複数枚用意し、この境界における信号処理部5にインターフェース部12を設けることにより、容易にスクリーンの大型化が図れ、かつ、部品交換等のメンテナンスに便利である。即ち、本実施の形態における小規模映像表示装置単位で映像表示装置をユーザに提供することができ、ユーザ側において、ユーザ自身の使用目的及びコスト等を考慮して、任意の個数の小規模映像表示装置のインターフェース部12同士を接続し、任意の大きさの映像表示装置を組み立てて使用することが可能となる。
【0071】
次に、本発明の第2の実施の形態において説明する。上述した第1の実施の形態及びその変形例においては、夫々スクリーン1及びスクリーン10に映像投射装置により映像を投射し、その投射光から得られた信号を処理して高精細な映像を再表示するものであったが、本実施の形態においては、映像投射装置において、投射する映像に付加データを付加することにより、表示側に設けられた上述の信号処理部における高精細化のための信号処理と共に、映像投射装置側においても高精細化のための信号処理を担わせるものである。
【0072】
図5は、本発明の第2の実施の形態における映像投射装置を示すブロック図である。映像投射装置は入力端子を介して入力される元映像信号S41から高画質化用付加信号S42を生成する生成部41と、元映像信号S41及び高画質化用付加信号S42から合成映像信号S43を生成する合成映像信号生成部とから構成される映像信号処理部43と、合成映像信号S43をスクリーン(図示せず)表面に投射する映像信号投射部44とを有する。
【0073】
即ち、上述の第1の実施の形態においては、元映像信号S41がそのまま投射されていたのに対し、本実施の形態においては、映像投射装置側に映像信号処理部を設け、高画質化を目的とした各種の付加的な信号を生成してこれを上記元映像信号に付加又は埋め込む等した合成映像信号を生成し、映像信号投射部において合成映像信号に基づいて変調した光をスクリーン表面側に投射する。
【0074】
スクリーン側で、投射光を受光して再表示する映像表示装置においては、上述の第1の実施の形態とほぼ同様に構成されており、合成映像信号に基づいて投射された投射光を受光部にて受光し、この受光部からの出力信号に基づいて信号処理部が合成映像信号を生成する。この後述する信号処理部は、合成映像信号から付加データを分離し、分離した付加データに基づき、更に効率的かつ効果的に合成映像信号の高品質化処理を行うものである。
【0075】
上記付加データの付加方法については、後述するが、例えば、スクリーンに裏面側に設けられる信号処理部が担う処理領域内の部分画像に電子透しの技術を使用して付加データを埋め込む方法や、合成映像信号を生成することなく、元映像信号S41に基づいて投射し、この元映像信号41の投射とは別のタイミングで(好ましくは事前に)、かつ目では知覚し難い程度の弱い光によって投射する方法等を使用してもよい。更に、第1の実施の形態と同様に、スクリーンの裏面側に投射光を受光する受光部の代わりに受信部を設け、無線信号により付加信号及び映像信号を伝送するものとしてもよい。
【0076】
なお、スクリーン裏面側の信号処理部における信号処理に時間がかかるために、そのままでは特に動きの大きな動画像において、スクリーン表面側からの投射映像と同裏面側からの投射映像との時間的なずれが生じる場合は、例えば、上述した如く投射光の強度低減若しくは不可視光の使用、又は上述の信号処理部5における処理高速化等によって対処することができる。
【0077】
また、映像投射装置40によるスクリーン表面側への合成信号を投射する際、可視光のみではなく、赤外線又は紫外線等の不可視光を使用してもよい。これにより、上記のスクリーン表面側への投射映像とスクリーン裏面側からの投射映像との時間的なズレの問題はなくなる。また、スクリーン裏面側からの投射光のみによって映像を表示するため、スクリーン両面側からの映像の合成における信号処理、即ち、スクリーンの裏面側の信号処理部にて生成される第2の映像信号は、スクリーン表面側に第1の映像信号に基づいて投射される映像を考慮する必要等があるが、このような信号処理における複雑さが軽減される。更に、映像投射装置40における構成の簡素化も図られる。
【0078】
以下、本実施の形態においては、付加データとして動きベクトルを映像信号に付加する場合について説明する。先ず、本実施の形態の映像信号処理部43における高画質化用の付加データである動きベクトルの付加方法について説明する。付加データの付加方法として最も簡単なのは、付加データを単純に付加するものである。例えば、表示ユニットの大きさとブロック・マッチングにおけるブロックの大きさとを同じ8×8画素とした場合、探索範囲を64×64画素とすると、2(X及びY方向)×6bit=12bitのデータを8×8画素、即ち8×8個の受光部で受ける各画素データに分散して持たせることになる。この場合、1個の画素当たりに付加される付加データの大きさは、元の(8×8)×8=512bitよりも少ないデータ量となる。具体的には、図6に示すように、例えば8×8画素の画素ブロック45内において、予め決めた12個の画素46において1bitづつ付加データを付加させるものとする。また、プログレッシブに限らず、インタ・レース([8×4画素ブロック]×2)の場合でも同様に付加データを付加することができる。ここで、インタ・レースの場合は、1bitの付加データを有する画素46に加え、更に12個の付加データを持たせる画素47を追加する。その他の画素48は、付加データがない画素である。
【0079】
図7(a)、(b)及び図7(d)、(e)は、夫々RGBの3×8=24bitのデータ及びYUV(Y:輝度信号、UV:色差信号)(4:2:2)の2×8=16bitの元映像信号S41の画素データ(以下、元データという。)及び元データに付加データを付加した画素の付加データを示す模式図である。図7(a)に示すのは、図6に示す1画素分のRGBにおける元データ、即ち、画素48におけるデータを示す。このような元データに対し、図7(b)に示すように、単純に1bitの付加データ(付加ビット)49aを追加して25bitとする。
【0080】
また、図7(d)は、YUVにおける水平方向に隣接する2画素分の元データを示すもので、右図に示す画素が図6に示す1画素分の元データを示すものである。このような元データに対し、図7(e)の右図に示すように、単純に1bitの付加データ(付加ビット)49cを追加して17bitとする。図7(b)又は図7(e)に示す画素データが図6の画素46又は47の付加データありの画素である。
【0081】
また、全ての画素においてビット長を揃えることで処理をより容易にすることもできるが、このとき全画素において1bit付加すれば、更に52bit又は40bitの付加データを付加可能である。
【0082】
更に、元のデータに対してビット長を変えない場合、例えば、RGBであれば1画素が24bit、YUVであれば1画素が16bitの画素データに対し、何らかのデータ圧縮を行う。データ圧縮の方法は様々あるが、例えば単純に、視覚的に重要度が低いビット群を付加データの各ビットで置き換える方法等がある。図7(c)及び(f)は、付加データを置換付加した場合の画素データを示す図であって、夫々RGBの24bitの画素データ及びYUVの16bitの画素データを示す模式図である。図7(c)に示すように、RGBであれば、例えばB(Blue)の最階位ビットLSB(Least Significant Bit)を、また、図7(f)に示すように、YUV4:2:2であれば、例えば色差信号Vの最階位ビットLSBを、その画素ブロックにおける動きベクトルを表わす計12bitのデータの1つ(夫々付加ビット49b、付加ビット49d)と置き換える。そして、動きベクトルを示す計12bitのデータを8×8画素(8×8個の受光部で受ける各画素データ)に分散して伝送することができる。なお、MSBは最上位ビット(Most Significant Bit)を示す。
【0083】
スクリーンの裏面側に設けられる信号処理部では、動きベクトルを示す各ビットを分離して動きベクトルのデータを得、分離して空いたB又はYデータの最下位ビットには0又は1を機械的に割り当てることにより、8bitデータとして扱うことができる。
【0084】
次に、本実施の形態における映像信号処理部43について更に詳細に説明する。映像信号処理部43は、動きベクトル検出を行ってその結果を元の画像信号に付加して合成信号を生成するが、この動きベクトルは、本願発明者等が先に出願した例えば特開2001−53981号公報に記載された動きベクトル検出装置等により検出することができる。
【0085】
即ち、動きベクトル検出装置は、画像信号内の注目画素および上記注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出手段と、各注目画素に対する各対象画素に対して、上記抽出手段によって直線の方向毎に抽出される複数の画素の画素値に基づいて、直線の方向毎に類似度を検出する類似度検出手段と、上記対象画素毎の上記直線の方向毎に検出された上記類似度に基づいて、上記注目画素に対する動きベクトルを算出する動きベクトル算出手段とを備えることにより、時空間内で注目フレーム内の複数の画素を通る複数の直線上に位置する複数のフレーム内の画素の画素値に基づいてなされる演算処理の結果に基づいて動きベクトルが算出される。
【0086】
図8は、動きベクトルを検出して、この動きベクトルを元映像信号に付加して合成信号を生成する映像信号処理部を示すブロック図である。図8に示すように、映像信号処理部43は、元映像信号S41が入力され、動きベクトルS51,S52を検出する高画質化用付加信号生成部41と、動きベクトルS51,S52と元映像信号S41とが入力され、合成信号S44を生成する合成信号生成部42とから構成される。
【0087】
高画質化用付加信号生成部41は、フレームメモリ51〜53と、フレームメモリ51,52及び52,53からのフレームデータが入力されて夫々動きベクトルS51,S52を検出する夫々動きベクトル検出部54及び55とから構成される。
【0088】
先ず、ノイズを除去されるべき元映像信号S41がフレームメモリ51に供給される。フレームメモリ51には、フレームメモリ52、53がシフトレジスタ状に順次接続されている。これにより、フレームメモリ51、52、53には、時間的に連続する3個のフレームの画像データが記憶される。
【0089】
フレームメモリ51、52は、記憶しているフレームを動きベクトル検出部54に供給する。動きベクトル検出部54は、供給される2個のフレームに基づいてブロック・マッチングを行って動きベクトルS51を検出し、検出した動きベクトルS51を合成信号生成部42に供給する。同様に、フレームメモリ52、53は記憶しているフレームを動きベクトル検出部55に供給し、動きベクトル検出部55がこのフレームから動きベクトルS52を検出して合成信号生成部42に供給する。
【0090】
合成信号生成部42は、これらの動きベクトルS51,S52を上述したように、元映像信号に単に付加するか、又は置換する等して動きベクトルを付加した合成映像信号S44を生成する。そして、この合成映像信号S44が映像信号投射部に供給され、合成映像信号S44に基づきスクリーンに映像が投射される。
【0091】
映像投射装置40の映像信号投射部44の一例として、図9に示す光スイッチを使用した投射装置を使用することができる。図9に示すように、映像投射部44は、コヒーレント光等の光を発光する発光手段であるレーザ光源102と、レーザ光源102に一端が接続された光ファイバ103と、この光ファイバ103の他端に接続された、分岐手段である1入力L出力光スイッチ104(L≧2の自然数)と、この光スイッチ104のL個の各出力端に個別に接続された光ファイバ105と、このL本の各光ファイバ105に個別に接続された1入力M出力光スイッチ106と、このL個の各1入力M出力光スイッチ106(M≧2の自然数)の出力端107に接続された光射出部108と、上述した図5に示す映像信号処理部43からされた合成映像信号S43が入力され、この合成映像信号S43に基づきレーザ光源52、1入力L出力光スイッチ54及び1入力M出力光スイッチ56を制御する制御信号を出力する信号処理回路59とから構成されている。ここで、制御信号は、レーザ光の輝度を変調する光変調信号(輝度変調信号)S43a及びレーザ光の光路を切り替え選択する光スイッチ制御信号(光路選択信号)S43b、S43cである。
【0092】
1入力L出力光スイッチ104及び1入力M出力光スイッチ106は、その出力端を夫々L個及びM個有し、夫々X軸方向及びY軸方向に1列に配列されたものとなっている。以下、このような配列を1次元アレイともいう。この1入力L出力光スイッチ104及び1入力M出力光スイッチ106としては、光導波路において電気光学効果を利用した電子光スイッチを使用することができる。このような光スイッチには、例えば、方向性結合器型、干渉器型、Y分岐型、2つの非対称な導波路を交差して形成された非対象X分岐型又は3つ以上の光導波路に存在する3つ以上の固有モードを利用した多モード型の素子、例えば多重導波路方向性結合器、導波路アレー素子及びマルチモード干渉器(MMI)等がある(電子情報通信学会誌 Vol.82 No.7 pp.760-767 1999年7月)。
【0093】
1入力2出力光スイッチを多段接続して、1次元アレイが構成された1入力L出力光スイッチ104の各出力端に、同様の構成、即ち、1入力2出力光スイッチを多段接続して1入力M出力の1次元アレイを構成した1入力M出力光スイッチ106を接続することで、L×M画素に対応した2次元アレイの光射出部108を構成することができる。
【0094】
光射出部108は、光強度の変調と光路の切り替えとを行ったレーザ光を空中に射出する部分であり、簡単には、光スイッチの光導波路又は光ファイバ等の端部である。これらを1次元又は2次元アレイに配置し、そこからの射出光をスクリーン上に映して画像を構成する。ここで、上記端部(光出射部108)には、ビームの形状及び広がりなどを補正するレンズを設けたり、画素の位置に応じて適切な出射角度を持たせたりする等してもよい。
【0095】
信号処理部109は、映像信号入力端100から合成映像信号S43が入力され、レーザ光源102、1入力L出力光スイッチ104及び1入力M出力光スイッチ106へ夫々光変調信号S102、X軸に対する光スイッチ制御信号S103及びY軸に対する光スイッチ制御信号S104を夫々入力する。本実施の形態においては、レーザ光源102に光変調信号S102が入力され、映像信号に基づいてレーザ光を直接変調するもの、即ち発光手段により輝度変調を行うものである。なお、各光の射出部58に光変調器を付加したもの、又は、各射出部108に付加した光スイッチを光変調器として使用することもでき、その場合は、レーザ光源から照射されるレーザ光の強度を一定とすることができ、上記変調器に対して光返答信号を供給する。本実施の形態においては、レーザ光源102において輝度変調をするため、光分岐手段である1入力L出力光スイッチ104及び1入力M出力光スイッチ106は、単に光の光路を切り換え選択する切り替え選択手段として機能する。光スイッチ制御信号S43b及びS43cは、1入力L出力光スイッチ104及び1入力M出力光スイッチ106のように1入力2出力光スイッチの多段接続から構成される場合は、各光スイッチの光路を切り替え選択する信号である。
【0096】
この信号処理部109は、制御部(図示せず)を有し、この制御部は、元映像信号S41に付加データが付加されて合成された合成映像信号S43が入力され、この合成映像信号S43に基づき、光路切り替え及び光強度の変調の光変調信号及び光スイッチ制御信号を生成する。また、この信号処理部109においては、ノイズ抑制、I−P(Interlace−Progressive)変換、画素数変換、画素位置変換、フレーム・レート変換、及びデコード等、各種の画像信号処理を行ってもよい。
【0097】
このような投射部44により、レーザ光源からの光を1次元アレイ状に配置された光スイッチを組み合わせて光射出部を2次元アレイ状に構成し、光源及び光スイッチに入力する光変調信号及び光スイッチ制御信号により夫々輝度変調及び光路選択を制御することにより、高解像度化及び高フレーム速度の表示が可能であり、素子間特性ばらつきによる画質劣化が生じ難く投射される映像の信頼性が高いものとなる。
【0098】
本実施の形態においても、第1の実施の形態と同様に、部分画像データ毎に関連する動きベクトルのデータを付加又は合成等して得られた合成映像信号S44に基づきスクリーンに投射される投射光に対し、スクリーンの裏面に設けられる映像表示装置にて、この投射光を受光して処理し、再表示する。
【0099】
次に、この映像表示装置の信号処理部について説明する。信号処理部以外の映像表示装置の構成は、図1又は2に示す第1の実施の形態と同様の構成とすることができ、ここでは、信号処理部について説明する。図10は、本実施の形態の信号処理部を示すブロック図である。本実施の形態の信号処理部は、動きベクトル等の付加データが付加された合成映像信号から付加データを分離して領域切り出しに使用するものである。
【0100】
合成映像信号に基づきスクリーンに投射された投射光は、スクリーンに設けられた複数の光透過部を介してスクリーンの裏面側にて上記光透過部に対向する位置に設けられた受光部にて受光され、図10に示すように、受光部からの出力信号S61が信号処理部60に入力される。
【0101】
この信号処理部60としては、動きベクトルに基づいたクラス分類適応処理(例えば本願発明者等が先に出願した特開2000−341609号公報等)を使用することができ、これにより、折り返し歪除去した映像信号を生成することができる。
【0102】
即ち、信号処理部60は、各受光部からの出力信号S61が入力されデータを再構築するデータ構築部61と、データ構築部61にて構築されたデータS62を格納する部分画像メモリ62と、この部分画像メモリ62にシフトレジスタ状に順次接続された部分画像メモリ63,64と、部分画像メモリ63から供給されるデータS64から動きベクトルS66、S67を分離する夫々動きベクトル分離部65,66と、動きベクトルS66,S67、及び部分画像メモリ62〜63からの部分画像S63〜S65が入力され、動きベクトルS66,S67に基づいて領域を切り出し、クラスタップ及び予測タップを選定する夫々クラスタップ領域切出部67及び予測タップ領域切出部68と、クラスタップからクラスコードS70を生成するクラスコード生成部69と、クラスコードS70に基づき、後述する学習回路にて予め学習された予測係数データS71を読み出す予測係数ROM70と、予測係数データS71と予測タップとが入力され、高画質化映像信号S72を予測演算する予測演算部71と、高画質化映像信号S72から各画素毎の画素信号S74を生成する画素信号出力部72とから構成される。この画素信号S73がスクリーンの裏面側に複数設けられた各光投射部に入力され、スクリーンの裏面側から表面側に画素信号S73に基づく映像を投射することにより高画質化映像がスクリーン上に表示される。
【0103】
ここで、部分画像メモリ62〜64に格納される部分画像は、図1に示す第1の実施の形態における部分画像データよりも、動きベクトルの探索範囲分だけ広い領域である必要があり、動きベクトルの探索範囲に対応する各受光部からの出力信号が入力される。そして、データ構築部61にて再構築された部分画像データが入力される部分画像メモリ62〜64には、時間的に連続する3個のフレームの部分画像データが記憶される。この部分画像データには、動きベクトルが付加されている。
【0104】
動きベクトル分離部65,66には、部分画像メモリ63の部分画像S64が供給され、上述したように、所定の画素データに付加又は所定の画素データの所定のビットと置換されて付加された動きベクトルを示す付加ビットを分離し、この分離した付加ビットから動きベクトルS66、S67を生成する。
【0105】
領域切出部67には、フレームメモリ62、63、64に記憶されているフレームの部分画像データが供給される。領域切出部67は、動きベクトル分離部65から供給される動きベクトルS66及び動きベクトル分離部66から供給される動きベクトルS67を参照して、供給される部分画像データから、所定の位置の画像領域を切り出す。切り出された画像領域のデータS68がクラスコード生成部69に供給される。
【0106】
クラスコード生成部69は、供給されるデータから、例えばADRC処理等によって時空間内のパターンを抽出し、抽出したパターンに従って分類されるクラスを示すクラスコードS70を生成する。このように、領域切出し部67が切り出す画像領域は、クラス分類に係る処理に用いられるので、かかる画像領域はクラスタップと称される。クラスコードS70は、予測係数ROM70に供給される。
【0107】
予測係数ROM70は、クラス毎に予め決定された予測係数を記憶しており、記憶している予測係数から、クラスコードに対応する予測係数を読み出す。この予測係数ROM70の出力(予測係数データS71)は、予測演算部71に供給される。
【0108】
一方、領域切出部68には、部分画像メモリ62、63、64に記憶されているフレームの部分画像が供給される。領域切出部68は、動きベクトル分離部65、66から供給される動きベクトルS66、S67を参照して、供給されるフレームの部分画像データから所定の位置の画像領域を切出し、切り出した画像領域のデータを予測演算部71に供給する。予測演算部71は、領域切出部68から供給されるデータS69と、予測係数ROM70から供給される予測係数データS71とに基づいて所定の演算を行い、その結果として出力画像を生成する。この出力画像はノイズが除去若しくは軽減されている。このように、領域切出部68が切り出す画像領域は、出力画像を予測生成するための演算に用いられるので、かかる画像領域は予測タップと称される。
【0109】
領域切出部67、68で切り出される夫々クラスタップ及び予測タップは、予測されるべき注目画素を含む部分画像メモリ63に格納されている注目フレームの部分画像と、時間的に注目フレームの前後に位置するフレーム、即ち、部分画像メモリ62、63に格納されているフレームの部分画像とから、注目画素及び注目画素の周囲に位置する周辺画素と同一の空間位置の画素がクラスタップ、予測タップとして抽出される。ここで、動きベクトル分離部65、68から出力される動きベクトルに応じて時間的に切出し位置がずらされ、フレーム全体におけるクラスタップ、予測タップの切出し位置が動きベクトルに従って平行移動させられる。
【0110】
生成画素信号生成部72は、ノイズが除去された出力画像から、各画素(光投射部)に供給する画素信号を生成し、この画素信号S73を各画素に振り分ける。
【0111】
次に、図10に示す信号処理部にて使用される予測係数を学習するための学習回路について説明する。図11は、本実施の形態における学習回路を示すブロック図である。
【0112】
図11に示すように、本実施の形態における学習回路80は、第1の実施の形態と異なり、教師画像データS81は、投射光の重畳の補正は行わない。即ち、投射光重畳分の補正を行った第2の教師画像データは生成せず、元の教師画像データS81を使用する。これは、第1の映像信号である投射映像信号(無線により伝送する場合は伝送信号)と第2の映像信号である表示映像信号との間で1フレーム分の時間遅延が生じるため、適切な補正は必ずしも容易ではないことを考慮したものであり、不可視光又は無線による信号伝送を行うことがより望ましい。また、LPF81、正規方程式演算部91、及び予測係数決定部92は、第1の実施の形態に示すLPF31、正規方程式演算部36、及び予測係数決定部37と同様の構成とし、同様の処理を行うものとする。
【0113】
LPF82及びノイズ重畳部82を介して部分画像メモリ83〜85に供給される時間的に連続した3フレームの3つの部分画像のうち、時間的に連続する2つのフレームの部分画像が動きベクトル検出部86、87に入力され、夫々動きベクトルが検出され、これら2つの動きベクトルと、3つの部分画像データが夫々領域切出部88、89に供給される。領域切出部89は、クラスタップを切り出し、クラスコード生成部にクラスタップを供給する。クラスコード生成部はクラスコードを生成して正規化方程式演算部91に供給する。また、領域切出部89は、予測タップを切り出し、正規化方程式演算部91に供給する。正規化方程式演算部は、教師データS81及び予測タップから第1の実施の形態と同様の方法にて予測係数を推定する。予測係数決定部92で決定された予測係数は、メモリ93に送出される。このメモリに格納された予測係数が、上述の信号処理部の予測係数ROM70にて読み出される予測係数となる。
【0114】
本実施の形態においては、映像投射装置側で動きベクトル検出を行ってその結果を元の画像データに付加し、映像表示側で、この動きベクトルを検出し、この動きベクトルに基づいてフレーム間で対応する画素を用いたクラス分類適応処理を行う等することで、より効果的なノイズ抑圧効果が得られる。
【0115】
また、本実施の形態における映像信号処理部43は、付加データとして動きベクトルを付加して合成映像信号を生成するものとして説明したが、映像信号処理部43の他の例としては、例えば、本願発明者等が先に出願した特開平10−313458号公報に記載されているようなMPEG歪等の圧縮符号化に伴って発生する歪及びノイズを抑圧する復号処理手段である画像データ変換装置が適用可能である。
【0116】
即ち、MPEGデコードされた画像データに生じるブロック歪を補正するための画像データ変換装置であって、画像データの特徴量を抽出する特徴量抽出回路と、抽出された特徴量に基づいて上記MPEGデコードされた画像データを切り出し、クラスタップ及び予測タップを選定する夫々クラスタップ領域切出回路及び予測タップ切出回とと、クラスタップ切出回路により切り出した画像データを圧縮して圧縮データパターンを生成するADRC(Adaptive Dynamic Range Coding )回路と、クラスタップ切出回路により切り出された画像データの属するクラスコードを発生するクラスコード発生回路と、推定式の予測係数がクラス毎に記憶されているROMテーブルと、予測係数と上記予測タップ切出回路により切り出された画像データとに基づいて推定演算する推定演算回路とを備える。
【0117】
また、予測係数を学習する学習回路を有し、画像データ変換装置でMPEG歪の除去を行うことを考慮して、予めMPEGエンコード/MPEGデコード処理を行ってブロック歪の生じる前後の画像データによって学習することにより、MPEG歪の除去した画像データを再現するための予測係数を生成する。
【0118】
この画像データ変換装置においては、ブロック歪のない画像データを推定するための予測係数をROMテーブルに記憶しておき、入力される画像データ、及びROMテーブルから読み出された予測係数に基づいて推定演算を行うことによって、歪み等が除去された画像データを出力することができる。すなわち、上記画像データ変換装置は、実際の画像データから予め学習により求められた予測係数に基づいて推定演算するので、より実際に近い波形を再現して画質が良好でMPEGのブロック歪のない画像データを出力することができる。
【0119】
とりわけ、上記画像データ変換装置は、特徴量抽出回路によってブロック歪の除去の対象となる画像データのDCTブロックの位置を検出し、この検出結果によって画像データの切出領域及びサンプル数を変えることによって、ブロック歪の程度に追従して、より画質のよい画像データを得ることができる。
【0120】
このような画像データ変換装置は、配信される画像データが、MPEG等で圧縮されている場合に有効である。そして、このような画像データに基づき投射された投射光をスクリーン裏面側に設けられた信号処理部にて高解像度化し、再表示することにより、MPEG等により圧縮され、投射装置側に配信された映像においても、投射装置側でブロック歪み等を除去してから投射することにより、その投射光から表示装置側で信号処理を施すことにより、スクリーン上に極めて高画質な映像を再表示することができる。
【0121】
次に、本発明の第3の実施の形態について説明する。図12(a)及び(b)は、本実施の形態における映像表示装置を示す夫々正面図及びB−B線における側面図である。本実施の形態においては、大画面化においても高解像度且つ高精細で十分な明るさの映像を呈示でき、更に装置の設置、メンテナンス、及び拡張もより容易である自発光型の大型映像表示装置である。本発明においては、信号処理部によって高画質化のための付加データを併せ持たせた映像信号に基づいて変調した光を、光投射部によって映像表示面側に設けられた複数の受光部に対して投射し、ある近傍領域内における上記受光部の各出力に基づいて別に設けられた信号処理部において上記近傍領域に関わる高画質映像信号を生成してこれを発光部によって表示させることで、大画面、高画質かつ高輝度な映像を呈示する。これについて、以下に説明する。
【0122】
第1及び第2の実施の形態のように、スクリーン上に映像を表示するものではなく、図12に示すように、本第3の実施の形態における映像表示装置110は、複数の発光部がマトリックス状に配置されることにより表示画面が形成されている。この発光部111からなる表示画面の所定位置には、受光部112が設けられている。この受光部112は、受光した投射光を検知し、得られ信号を受光部出力信号線112aを介してその後段に設けらた信号処理部113に入力される。信号処理回路113は、受光部112からの出力信号に基づいて高解像度化の処理を行って映像信号113aを生成し、この映像信号113aを各発光部111に供給する。発光部111は、供給された映像信号113aに基づいて発光し、映像を表示する。
【0123】
受光部111は、例えば色フィルタを付したフォト・ダイオード及びフォト・トランジスタ等各種の受光素子が用いられ、光の3原色分を1箇所に併せて1画素(1つの発光部)としたものが配置されている。発光部111は、各色毎に適宜分けられた発光部を配置してもよい。
【0124】
各受光部111は、その出力信号を1つの信号処理部113のみではなく、隣接する信号処理部113に入力する。この信号処理部113においては、画像全体の内の一部分の領域についての画像処理を行う。その際、上記領域の近傍に設けられた上記受光部の出力信号をも併せて処理に用いるため、これらの領域に含まれる上記受光部出力信号が上記第1の信号処理部に入力される。
【0125】
各信号処理部113は、例えば画像データ変換装置等を使用して解像度の向上、即ち画素密度の増加を行うものが適用され、図12に示すのは、1つの受光部に対して16個の発光部が対応している16倍密化の場合の例である。本実施の形態においては、図3に示す上述の第1の実施の形態における信号処理部と同様の構成とする。
【0126】
ただし、これは一例であり、倍密度や信号処理部113の担う発光部111の数又は受光部112と発光部111との位置関係及び画素配置等については、これに限定するものではない。また発光部111については、白色ランプと色フィルタとを組み合わせたもの、CRT等の電子管式のもの、又は発光ダイオード等の各種素子を使用することができる。発光部111と受光部112とはほぼ同一面上に配置されるが、発光部111による光が受光部112には入射しないように、遮蔽板(図示せず)を設ける等してもよい。
【0127】
なお、本装置は、信号処理部113の単位でユニット化したものを同一面上に展開・配置して構成したものであると捉えられる。このユニット内の各種信号線は、信号処理部113を1つのみ用意し、全画面分を担わせる場合と比較し、配線長が極めて短く、更に配線数も極めて少ない。このようにユニット毎に扱えることで、装置のメンテナンス性及び拡張性等を向上することができる。
【0128】
完全なユニット化を行う場合には、図13(a)及び(b)に示すように、ユニット間の受光部の出力信号配線の相互接続および切断と終端を容易に行うための例えばコネクタ群等から成るインターフェース部114を設けておくことができる。
【0129】
図13(a)及び(b)は、本発明の第3の実施の形態の変形例の映像表示装置示す図であって、夫々正面図及び領域S2を拡大してその側面を示す側面図である。本変形例においては、図13(a)に示すように、上述の実施例に基づいた相対的に小規模な映像表示装置110a〜110iを同一面上に複数個継ぎ合わせることで、1つの大規模な映像表示装置120を構成するものである。即ち、図13(a)に示すように、9個の小規模映像表示装置110a〜110iによって小規模映像表示装置と相似形の大規模映像表示装置120が構成されている例を示す。この大規模な映像表示装置120を容易に構成するため、図13(b)に示すように、隣接する小規模映像表示装置110a〜110iの端部近傍における受光部112の出力信号線112aの相互接続及び切断・終端を行うための例えばコネクタ群等からなるインターフェース部114が設けられている。これにより、小規模映像表示装置110a〜110iの相互接続及び切断・終端が極めて容易になる。
【0130】
本実施の形態においても、第1の実施例と同様、小規模映像表示装置単位で映像表示装置をユーザに提供することができ、ユーザ側において、ユーザ自身の使用目的及びコスト等を考慮して、任意の個数の小規模映像表示装置のインターフェース部同士を接続し、任意の大きさの映像表示装置を組み立てて使用することが可能となる。
【0131】
なお、小規模映像表示装置の数、小規模映像表示装置により構成される大規模映像表示装置の形状、及び個々の小規模映像表示装置の形状・大きさ等については、同図のものに限る必要は全くない。
【0132】
また、映像表示装置に対して光投射する映像信号については、映像表示装置における上記継ぎ合わせの有無によらず、複数台の光投射装置を用いて領域毎に分けて投射したり、又は、一部若しくは全部を重畳させたりしてもよい。この場合、1つの光投射装置に担わせる受光部の領域は、映像表示装置の規模の継ぎ合わせ又は上記ユニットの境界等位置によらず任意に設定することができる。
【0133】
次に、本発明における映像表示装置の第4の実施の形態について説明する。上述した第2の実施の形態と同様に、映像表示装置に映像を投射する投射装置の映像信号処理部において、例えば動きベクトル等の高画質化用の付加データを併せ持たせた合成映像信号を生成し、この合成映像信号を不可視光による光投射部を用いて映像表示装置側に投射し、映像表示装置において、第3の実施の形態と同様、表示画面に設けられた複数の受光部で付加データが付加された投射光を受光する。そして、図10に示す信号処理回路と同様の構成の信号処理回路に、受光部からの出力信号を供給し、信号処理部が付加データに基づいてより効率的かつ効果的な映像の高品質化処理を行う。上記付加データについては、信号処理部の担う部分画像内に電子透しの技術を用いて埋め込んだり、本来の映像信号の投射とは別のタイミングで(好ましくは事前に)投射したりする等の方法を用いることができる。また、合成映像信号又は付加データを無線で伝送する場合は、受光部の代わりに、受信部を設ける。
【0134】
本実施の形態の光投射装置においても、上述の第2の実施の形態と同様の映像信号処理部が設けられ、高画質化を目的とした各種の付加的なデータを生成し、これをさらに上記元映像信号に付加したりあるいは埋め込んだり等した合成映像信号を生成する。そして、映像信号投射部が合成映像信号に基づいて投射光を変調し、これを映像表示面側に投射する。
【0135】
このように、映像表示面側における第1の信号処理部では、上記の付加データに基づいてより効率的かつ効果的な映像の高品質化処理を行う。上記付加データについては、第1の信号処理部の担う部分画像内に電子透しの技術を用いて埋め込んだり、本来の映像信号の投射とは別のタイミングで(好ましくは事前に)投射、伝送したりする等の方法が例えば用いられる。また、上述の第3及び第4の実施の形態における映像信号投射部としては、図9に示す光スイッチを使用した投射装置を使用することができる。
【0136】
【発明の効果】
以上詳細に説明したように本発明によれば、スクリーン上に第1の映像信号に基づく光が投射され、この投射光から得られた信号を処理して上記スクリーンに映像を表示する映像表示装置であって、上記スクリーン上に設けられ上記投射光を透過する複数の光透過手段と、上記スクリーンの裏面側にて上記光透過手段と対向する位置に設けられ上記スクリーンの表面側から投射された上記投射光を受光し該投射光に基づく信号を出力する受光手段と、上記受信手段からの出力信号を補正処理して第2の映像信号を生成する信号処理手段と、上記第2の映像信号に基づく光を上記スクリーンの裏面側から該スクリーンの表面側に投射する光投射手段とを有するので投射光による投射映像を大画面においても高画質かつ高輝度で提供することができ、例えばディジタル・シネマにおける映像表示装置として好適である。
【図面の簡単な説明】
【図1】(a)及び(b)は、本発明の第1の実施の形態における映像表示装置を示す図であって、夫々スクリーンの一部を示す正面図及び図1(a)のA―A線における側面図である。
【図2】本発明の第1の実施の形態の変形例における映像表示装置を示す図である。
【図3】本発明の第1の実施の形態における映像表示装置の信号処理部のブロック図を示す。
【図4】本発明の第1の実施の形態における映像表示装置の信号処理部の予測係数を学習する学習回路を示すブロック図である。
【図5】本発明の第2の実施の形態における映像投射装置を示すブロック図である。
【図6】本発明の第2の実施の形態における映像投射装置により投射される1ブロック分のデータを示す模式図である。
【図7】(a)、(b)及び(c)は、RGBの3×8=24bitの画素データを示す図であり、(d)、(e)及び(f)は、YUV(Y:輝度信号、UV:色差信号)(4:2:2)の2×8=16bitの画素データを示す図であって、夫々元映像信号S41の画素データ(以下、元データという。)、元データに付加データを単純に付加した場合の画素データ、及び付加データを置換付加した場合の画素データを示す模式図である。
【図8】本発明の第2の実施の形態における映像投射装置の映像信号処理部を示すブロック図である。
【図9】本発明の第2の実施の形態における映像投射装置の映像投射部を示す模式図である。
【図10】本発明の第2の実施の形態における映像表示装置の信号処理部を示すブロック図である。
【図11】本発明の第2の実施の形態における映像表示装置の信号処理部の予測係数を学習する学習回路を示すブロック図である。
【図12】(a)及び(b)は、本発明の第3の実施の形態における映像表示装置を示す夫々正面図及び図12(a)に示すB−B線における側面図である。
【図13】(a)及び(b)は、本発明の第3の実施の形態の変形例における映像表示装置示す図であって、夫々正面図及び領域S2を拡大してその側面を示す側面図である。
【図14】(a)及び(b)は、従来例に記載の増幅発光スクリーンを示す図であって、夫々1画素を拡大して示す側面図、及びスクリーンを示す正面図である。
【符号の説明】
1 スクリーン、 1a〜1i 小規模スクリーン、 2 光透過部、 4,112 受光部、 4a 受光部出力信号線、 5,60,113 信号処理部、 6 光投射部、 6b 中継部、 7 投射光、 10 大規模スクリーン、 12 インターフェース部、 21 データ構築部、 22a,22b,67,68,88,89 領域切出部、 23,69,90 クラスコード生成部、 24,70 予測係数ROM、 25,71 予測演算部、 26,72 生成画素信号出力部、 30 学習回路、 31,81 垂直間引きフィルタLPF、 32 投射光重畳補正部、 33,82 ノイズ重畳部、 34a,34b 領域切出部、 35 クラスコード生成部、 36,91 正規方程式演算部、 37,92 予測係数決定部、 38,93 メモリ、 41 高画質化用付加信号生成部、 42 合成信号生成部、 43 映像信号処理部、 44 映像信号投射部、 51,52,53 フレームメモリ、 54,55,86,87 動きベクトル検出部、 62,63,64,83,84,85 部分画像メモリ、 65,66 動きベクトル分離部、 110 映像表示装置、 111 発光部
Claims (9)
- スクリーン上に第1の映像信号に基づく光が投射され、この投射光から得られた信号を処理して上記スクリーンに映像を表示する映像表示装置であって、
上記スクリーン上に設けられ上記投射光を透過する複数の光透過手段と、
上記スクリーンの裏面側にて上記光透過手段と対向する位置に設けられ上記スクリーンの表面側から投射された上記投射光を受光し該投射光に基づく信号を出力する受光手段と、
上記受信手段からの出力信号を補正処理して第2の映像信号を生成する信号処理手段と、
上記第2の映像信号に基づく光を上記スクリーンの裏面側から該スクリーンの表面側に投射する光投射手段と
を有することを特徴とする映像表示装置。 - 上記信号処理手段が複数設けられ、この各信号処理手段は、上記スクリーンの所定領域に投射する1以上の上記光投射手段に上記所定領域の上記第2の映像信号を供給するものであり、上記所定領域に設けられる受光手段からの出力信号を上記所定領域に隣接する他の領域に設けられる他の信号処理手段に送信し、該他の領域に設けられる受光手段からの出力信号を上記他の信号処理手段から受信するインターフェース手段を有することを特徴とする請求項1記載の映像表示装置。
- 上記補正処理は、画質向上処理であることを特徴とする請求項1記載の映像表示装置。
- 上記補正処理は、クラス分類適応処理を使用することを特徴とする請求項1記載の映像表示装置。
- 上記画質向上処理は、上記第1の映像信号より上記第2の映像信号の解像度を高くする高解像度化処理及び/又は上記第1の映像信号からノイズを除去するノイズ除去処理であることを特徴とする請求項3記載の映像表示装置。
- 上記第1の映像信号に基づく光を上記スクリーンの表面側から該スクリーン上に投射する映像信号投射手段を有することを特徴とする請求項1記載の映像表示装置。
- 上記第1の映像信号に付加データを付加し、合成映像信号を生成する映像信号処理手段を有し、
上記映像信号投射手段は、上記合成映像信号に基づく光を上記スクリーンに投射する
ことを特徴とする請求項6記載の映像表示装置。 - 上記第1の映像信号に基づく光を投射する映像信号投射手段は、不可視光を投射することを特徴とする請求項6記載の映像表示装置。
- スクリーン上に第1の映像信号に基づく光が上記スクリーンの表面側から投射され、この投射光から得られた信号を処理して上記スクリーンに映像を表示する映像表示方法であって、
上記スクリーン上に設けられた複数の光透過手段と対向する位置に設けられ、上記複数の光透過手段を透過した投射光を、上記スクリーンの裏側にて受光する受光工程と、
上記受光工程において出力された出力信号を補正処理して第2の映像信号を生成する信号処理工程と、
上記第2の映像信号に基づく光を上記スクリーンの裏面側から該スクリーンの表面側に投射する光投射工程と
を有することを特徴とする映像表示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002115350A JP4010173B2 (ja) | 2002-04-17 | 2002-04-17 | 映像表示装置及び映像表示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002115350A JP4010173B2 (ja) | 2002-04-17 | 2002-04-17 | 映像表示装置及び映像表示方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007184936A Division JP4605189B2 (ja) | 2007-07-13 | 2007-07-13 | 映像表示装置及び方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003307781A JP2003307781A (ja) | 2003-10-31 |
JP2003307781A5 JP2003307781A5 (ja) | 2005-09-08 |
JP4010173B2 true JP4010173B2 (ja) | 2007-11-21 |
Family
ID=29396723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002115350A Expired - Fee Related JP4010173B2 (ja) | 2002-04-17 | 2002-04-17 | 映像表示装置及び映像表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4010173B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10778946B1 (en) * | 2019-11-04 | 2020-09-15 | The Boeing Company | Active screen for large venue and dome high dynamic range image projection |
WO2022004866A1 (ja) * | 2020-07-03 | 2022-01-06 | 有限会社大平技研 | 表示システム及びプラネタリウムシステム |
-
2002
- 2002-04-17 JP JP2002115350A patent/JP4010173B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003307781A (ja) | 2003-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101212699B (zh) | 用于处理三维图像信号的三维图像显示装置、方法和系统 | |
CN204190885U (zh) | 拼接显示系统、led液晶显示器及电视机 | |
US6266093B1 (en) | Color video camera method and system | |
Chalmers et al. | HDR video past, present and future: A perspective | |
CN104202545A (zh) | 拼接显示系统、led液晶显示器及电视机 | |
CN101652994A (zh) | 视频发送装置、视频接收装置、视频记录装置、视频重放装置及视频显示装置 | |
JP2003069961A (ja) | フレームレートの変換 | |
KR20200014691A (ko) | 촬상장치, 제어방법, 기록 매체, 및 정보처리장치 | |
WO2019008819A1 (ja) | 映像表示装置及び映像表示方法 | |
KR20090085147A (ko) | 색도 비디오 신호의 모션 적응적 업샘플링 | |
US20200296323A1 (en) | Video signal processing apparatus, video signal processing method, and video signal processing system | |
JP6040042B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2008061063A (ja) | 情報処理装置、情報処理プログラム、及びその記録媒体 | |
US20230368489A1 (en) | Enhancing image data for different types of displays | |
US9374576B2 (en) | Fused region-based VDR prediction | |
JP5904754B2 (ja) | 情報処理システム、情報処理装置、それらの制御方法、およびプログラム | |
KR20060135736A (ko) | 스크린상에 디스플레이될 영상들의 종횡비의 변경 | |
JP4010173B2 (ja) | 映像表示装置及び映像表示方法 | |
JP4605189B2 (ja) | 映像表示装置及び方法 | |
Liu et al. | A multi-modeling electro-optical transfer function for display and transmission of high dynamic range content | |
US7268828B2 (en) | Television receiver and control method thereof for displaying video signals based on different television modes | |
JP2008079224A (ja) | 画像データ処理システムおよび画像データ処理方法 | |
JP2006520479A (ja) | カラーシーケンシャルディスプレイのための信号処理 | |
CN108495053B (zh) | 高动态范围信号的元数据处理方法和装置 | |
JP6695700B2 (ja) | 画像処理装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050316 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070515 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070713 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070814 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070827 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |