JP3791904B2 - マルチディスプレイ装置 - Google Patents
マルチディスプレイ装置 Download PDFInfo
- Publication number
- JP3791904B2 JP3791904B2 JP2001349210A JP2001349210A JP3791904B2 JP 3791904 B2 JP3791904 B2 JP 3791904B2 JP 2001349210 A JP2001349210 A JP 2001349210A JP 2001349210 A JP2001349210 A JP 2001349210A JP 3791904 B2 JP3791904 B2 JP 3791904B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- output
- image information
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の画像表示装置を用いて１枚の画像を表示するマルチディスプレイ装置に関する。
【０００２】
【従来の技術】
複数の画像表示装置（プロジェクタ等の画像投影装置）で１枚の画像を表示するマルチディスプレイ装置では、それぞれの画像表示装置に入力される信号の同期が取れていないと、隣接する表示部分間で動画像が繋がって表示されない。例えば、図１３に示すように、４台の画像表示装置のうち１台の表示が１フレーム以上遅れると、その部分の画像がずれて途切れて見える。
【０００３】
画像を分割した時に同期が取れていても、絵柄によって演算処理が重くなる場合、例えば動画を抽出して輪郭強調をする処理や肌色部分のみについて色補正をする処理を行うような場合、規定の時間（例えば垂直ブランキング期間）内に演算処理が終了しないことがあり、その結果分割映像信号間の出力フレームがずれることがある。
【０００４】
このような問題に対し、特開平6-35436或いは特開平6-259048では、画像メモリの読み出しのタイミングを同期させることで、分割画像間でのフレームずれをなくす提案がなされている。
【０００５】
また、映像信号と音声信号が入力された場合、映像信号はフレームメモリにデータを出し入れして処理を行う（例えば、ＩＰ変換や輪郭強調等の信号処理を行う時、前後のフレームからデータを算出するため、画像データを一旦フレームメモリに格納する必要がある）ため、入力に対して出力は数フレーム遅延してしまう。これに対して音声処理の遅延は少ないため、ディスプレイ上で映像と音声が時間的にずれる、所謂リップシンクが発生する。これを防ぐために、デジタル放送では、送信時に映像と音声にタイムスタンプを付与し、受信機側ではタイムスタンプに基づいて映像と音声のタイミングを合わせている。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来は、複数の映像信号と音声信号とのタイミングを合わせる手法、すなわち複数の分割画像情報と音声情報との同期をとる手法について有効な提案がなされていなかった。
【０００７】
本発明は、上記従来の課題に対してなされたものであり、複数の分割画像情報と音声情報との同期を効果的にとることが可能なマルチディスプレイ装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
本発明は、表示された複数の画像を合成して１枚の画像を構成するマルチディスプレイ装置において、前記複数の画像の画像情報を記憶する複数の画像記憶手段と、前記合成される１枚の画像に対応する音声の音声情報を記憶する音声記憶手段と、前記複数の画像記憶手段から同期を取って画像情報を並列的に読み出す画像読み出し手段と、前記音声記憶手段から音声情報を読み出す音声読み出し手段と、前記画像読み出し手段によって並列的に読み出された複数の画像情報に基づく複数の画像を表示する複数の画像表示手段と、を有し、前記画像読み出し手段は、前記複数の画像記憶手段からの読み出しタイミングのうち最も遅れたタイミングに同期させて全ての画像記憶手段からの読み出しタイミングを調整し、前記音声読み出し手段は、前記画像読み出し手段によって調整されたタイミングに同期させて音声情報を読み出すことを特徴とする。
【０００９】
前記発明において、前記合成される１枚の画像の画像情報が入力される画像情報入力手段と、前記画像情報入力手段に入力された画像情報を前記複数の画像情報に分割する画像情報分割手段と、前記分割された分割画像情報に対してそれぞれ画像処理を行う画像処理手段と、をさらに有し、前記画像読み出し手段は、画像処理が最も遅れた分割画像情報に同期させて前記読み出しタイミングを調整することが好ましい。
【００１０】
本発明によれば、画像処理等が最も遅れた分割画像情報に同期させて全画像メモリからの読み出しタイミングを制御することにより、隣接する表示部分にまたがった動画映像等を切れ目なく表示することができる。
【００１１】
例えば、画像処理された分割画像の各画像データを保持する出力メモリはＣＰＵやＦＰＧＡ等で管理されるが、最も処理が遅れた画像データの出力タイミングに合わせて全出力メモリから画像データを出力することで、分割画像データ全体の同期を取ることができる。これにより、連続して入力される動画像に対して、出力信号が不連続（一定時間内に連続して更新されない）になる状態が発生し得る。出力信号が不連続になると、スムーズな動画像が表示されないことが懸念されるが、１フレーム（１／６０秒）程度の不連続であれば特に問題はなく、なめらかな動画を認識することが可能である。
【００１２】
また、本発明では、画像メモリの出力タイミングに合わせて、音声メモリの出力タイミングも制御する。例えば、画像データに対してフレームメモリを使った処理を行い、画像データの入出力間で２フレームの遅延が生じる場合は、２フレーム（１／３０秒）分以上の音声データを記憶可能な音声メモリを用い、音声データも画像データと同様に入出力間で２フレーム遅らせることで、リップシンク現象を防止することができる。また、演算処理の遅れ等により画像データが間引かれた場合（例えば、同じフレームを２回以上出力する等）には、画像データとともに対応するフレームの音声データも同様に間引くことで、映像と音声の同期を取ることができる。
【００１３】
また、前記発明において、前記複数の画像記憶手段に記憶される複数の画像情報は、それぞれのフレーム番号とともに記憶され、前記画像読み出し手段は１以上の前記画像表示手段毎に設けられ、複数の前記画像読み出し手段で、読み出し可能な画像情報のフレーム番号を互いに通信することによって読み出しタイミングを調整するようにしてもよい。
【００１４】
本態様では、例えば、画像読み出し手段をＣＰＵで構成した場合、画像表示手段毎（すなわち画像メモリ毎）にＣＰＵを設け、これらの複数のＣＰＵ間で通信を行うことにより、複数の装置間で同期を取りながら、多数の分割画像データを処理することが可能となる（例えば図６参照）
また、複数の分割画像を処理する分割画像処理装置毎にＣＰＵを設ける（２以上の画像表示装置（プロジェクタ）毎に一つのＣＰＵを設ける）ようにしてもよい。例えば、１台の分割画像処理装置によって４台の画像表示装置を制御する場合を想定すると、１枚の画像を４枚に分割して４台の画像表示装置に送る場合には、１台の分割画像処理装置内のＣＰＵで各画像メモリを制御し、１枚の画像を８枚に分割して８台の画像表示装置に送る場合には、２台の分割画像処理装置それぞれに設けられたＣＰＵにより、それぞれの分割画像処理装置内の画像データ間の同期を取りながら、分割画像処理装置相互間でも画像データ間の同期を取ることにより、８台の画像表示装置に対して同期した画像データを送ることが可能となる（例えば図７参照）。
【００１５】
また、前記発明において、前記音声読み出し手段は、前記画像読み出し手段によって読み出される複数フレームの画像情報に対応する音声情報をまとめて読み出すとともに、これらの複数フレーム毎に音声情報と画像情報との読み出しタイミングの同期をとるようにしてもよい。
【００１６】
本態様は、例えば画像データと音声データがコンピュータから出力された場合の同期の取り方に関するものである。
【００１７】
コンピュータからの画像データと音声データがシリアル形式で出力される場合、例えば図９に示すように、第１〜第８フレームの音声データ、第１フレームの画像データ、第２フレームの画像データ、………、第８フレームの画像データ、その次には、第９〜第１６フレームの音声データ、第９フレームの画像データ、第１０フレームの画像データ、………、第１６フレームの画像データ、といったようにしてコンピュータからデータを読み出す。そして、画像データ及び音声データともに一旦メモリに格納した後、画像データの処理の遅延に合わせて音声データを出力することで同期を取ることができる。この時、画像データにはフレーム番号を付与するが、音声データにはフレーム番号を付与してもしなくてもよい。フレーム番号を付与すればフレーム毎の同期が取れ、付与しなければ８フレーム毎の同期が取れる。
【００１８】
また、画像データが演算処理の遅延等により数フレーム遅れ、その結果画像データに不連続が生じるような場合もある。例えば、演算処理の遅延はＪＰＥＧ圧縮／伸張処理等で発生する。ＪＰＥＧの伸張処理では、圧縮率が低い場合や、変化量の少ない画像の一部に微細な画像が存在するような場合に、多くの伸張時間を要する傾向がある。通常は、圧縮率が低い方が高画質であるため、コンピュータからの出力データは、可能な限り低圧縮のデータを出力するのが一般的である。そのため、伸張処理等を含む演算処理において画像データに大きな遅延が生じる場合がある。このような場合には、例えば図９に示すような形式でデータが出力される場合を想定すると、ある８フレーム（第１〜第８フレーム）の期間において画像データに所定時間以上の遅延が発生した時には音声データの出力を停止し、その次の８フレーム（第９〜第１６フレーム）から再度画像データと音声データとの同期を取って出力する。これにより、画像データに大きな遅延が発生した場合でも早期に同期を取ることが可能となる。
【００１９】
また、前記発明において、前記複数の画像記憶手段及び前記音声記憶手段に送られる画像情報及び音声情報の出力を制御する出力制御手段を有するコンピュータと、前記出力制御手段の制御によって前記コンピュータから出力された画像情報に対する処理を制御する画像情報制御手段と、をさらに有し、前記画像情報制御手段によって制御される処理が所定の時間内に終了しない場合に、前記画像情報制御手段から前記コンピュータに遅延情報を通信することにより、前記コンピュータから出力される画像情報及び音声情報を間引くように構成してもよい。
【００２０】
本態様は、例えば、画像データが演算処理の遅延等により数フレーム遅れ、その結果画像データに不連続が生じるような場合に、遅延情報をコンピュータ（デジタル記録メディア）に通信し、コンピュータからの出力データを間引くようにするものである。このような方策を講じない場合には、演算処理の遅延が生じているときでもコンピュータからは画像データが連続的に出力されることになるため、画像処理部のメモリに数フレーム以上の多くの画像データを保持しておく必要がある。そのため、メモリ容量の増大により、コストが増大したり制御が煩雑になったりする。そこで、演算処理等の大幅な遅延が発生した場合には、遅延情報をコンピュータに通知し、コンピュータからのデータを間引くことで、このような問題を解決するようにしている。
【００２１】
また、前記発明において、画像情報を圧縮する画像圧縮手段を有し、圧縮された複数の画像情報を前記複数の画像記憶手段に送出するコンピュータと、前記コンピュータから読み出された圧縮された画像情報の伸張処理を含む処理の制御を行う画像情報制御手段と、をさらに有し、前記画像情報制御手段によって制御される処理が所定の時間内に終了しない場合に、前記画像情報制御手段から前記コンピュータに遅延情報を通信することにより、前記画像圧縮手段での画像圧縮率を増大させるように構成してもよい。
【００２２】
本態様は、例えば、画像データが演算処理の遅延等により数フレーム遅れ、その結果画像データに不連続が生じるような場合に、遅延情報をコンピュータに通信し、画像圧縮率を上げるようにするものである。すでに説明したように、ＪＰＥＧの伸張処理では、圧縮率が低い場合に多くの伸張時間を要する。そこで、遅延が少ない場合にはコンピュータから低圧縮率の画像データを出力し、遅延が大きい場合には圧縮率を上げて画像処理時間を短縮することで、画像データを連続的に画像表示装置に出力することが可能となる。
【００２３】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
【００２４】
（実施形態１）
図１は、本発明の第１の実施形態に係るマルチディスプレイシステムの一例を示した図である。
【００２５】
画像分割部２は、入力映像信号１を受けて、分割信号３〜６（分割信号Ａ〜Ｄ）を出力するものである。具体的には、Ａ／Ｄ変換を行った後、画像データを２フレーム以上のデータを格納できるメモリに格納し、必要な部分を切り出して出力する（画像分割手段については、特開平6-259048号公報、特に該公報の図１〜図７に説明されている）。また、必要に応じて画像の拡大／縮小処理を行う。例えば、入力がＸＧＡ(1024×768）で、ＸＧＡの解像度を持つ４台のプロジェクタに出力する場合は、入力信号を画素毎に縦横２倍に拡大し、ＸＧＡ×４の画素数で出力する。
【００２６】
７〜１０は演算処理部、１１〜１４は演算用メモリであり、映像信号のデータをメモリに出し入れして処理（例えば、ＮＴＳＣ等のインターレース信号をプログレッシブ信号に変換するために、２フィールドのインターレース信号を一旦メモリに記憶し、それを合成して１フレームのプログレッシブ信号にして出力するＩＰ変換や、輪郭強調等の信号処理）を行う際に用いられる。演算処理部７〜１０及び演算用メモリ１１〜１４によって画像処理部が構成され、各種フィルタや色／輝度補正を行ったり、またプロジェクタに位置ずれがある場合には幾何補正等を行う。１５〜１８は出力メモリであり、２フレーム以上の画像データを格納することができる。なお、メモリ１１〜１４と出力メモリ１５〜１８をまとめることで、メモリ数を減らすようにしてもよい。
【００２７】
上述した画像処理部７〜１４と出力メモリ１５〜１８は、ＣＰＵ１９によって制御される。また、後述する音声メモリ３０も、このＣＰＵ１９によって制御される。
【００２８】
出力メモリ１５〜１８の出力はドライバ２０〜２３に入力しており、ドライバ２０〜２３によってプロジェクタ２４〜２７が駆動される。プロジェクタ２４〜２７として本例では液晶プロジェクタを用いている。プロジェクタ２４〜２７からの各画像は、背面投射型のスクリーン３３に投影され、スクリーン３３上で合成されて１枚の画像が表示される。なお、プロジェクタ入力がアナログの場合には、出力メモリ１５〜１８とプロジェクタ２４〜２７との間にさらにＤ／Ａ変換器を介在させる。
【００２９】
音声系は、入力音声信号２８をＡ／Ｄ変換するＡ／Ｄ変換部２９、Ａ／Ｄ変換された音声データを記憶する音声メモリ３０、音声メモリ３０からの音声データをＤ／Ａ変換するＤ／Ａ変換器及びアンプで構成された音声ドライバ３１、音声ドライバ３１によってドライブされるスピーカー３２等で構成されている。
【００３０】
以下、本実施形態の動作について説明する。
【００３１】
入力映像信号１は、画像分割部２でＡ／Ｄ変換処理、分割処理、さらに必要に応じて拡大／縮小処理が行われ、画像分割部２からは分割信号３〜６（分割信号Ａ〜Ｄ）が演算処理部７〜１０及び演算用メモリ１１〜１４からなる画像処理部に出力される。
【００３２】
画像処理部７〜１４では、各種フィルタや色／輝度補正、幾何変換、シェーディング補正等の処理を行うとともに、絵柄によって演算処理が重くなる処理（例えば、動画を抽出して輪郭強調する処理や肌色部分のみを色補正をする処理）が行われ、これらの画像演算処理を施された画像データは出力メモリ１５〜１８に出力される。
【００３３】
図２は、各出力メモリ１５〜１８の構成の一例を示した図である。各出力メモリは、４フレーム分のエリア（ＢＡＮＫ１〜ＢＡＮＫ４）を有するバンク形式であり、ＣＰＵ１９とはバス線を介してバンク選択端子、リード端子、ライト端子が接続されている。書き込みは、ＣＰＵからのライト信号及びバンク選択信号により、フレーム１から２，３，４と順に行われる。読み出しは、ＣＰＵからのリード信号及びバンク制御信号によって行われる。
【００３４】
入力音声信号２８はＡ／Ｄ変換部２９によってＡ／Ｄ変換され、Ａ／Ｄ変換された音声データは音声メモリ３０に記憶される。音声メモリ３０には、数フレーム分のデータを格納可能である。例えば、サンプリング周波数４４．１ｋＨｚ、ステレオ、分解能１６ビットの性能の音声を、６０フレーム（１秒）分格納する場合には、４４．１ｋＨｚ×２（ステレオ）×１６ビット=１７６．４ｋバイトのメモリを用意する。
【００３５】
ＣＰＵ１９では、画像分割処理や画像演算処理等によって遅延した画像データに合わせて画像データの処理時間分遅らせて音声データが出力されるように、音声メモリ３０の制御を行う。例えば、５フレーム目の分割信号が画像処理部７、１１に送られ、画像処理部７、１１及び出力メモリ１５によって２フレーム分の遅延が発生して、出力メモリ１５から３フレーム目が出力しているような場合には、音声データは音声メモリ３０の入出力間で２フレーム分(１／３０秒）遅延させる。すなわち、音声メモリ３０には画像データの５フレーム目に対応する音声データが入力され、音声メモリ３０からは画像データの３フレーム目に対応する音声データが出力される。
【００３６】
分割された各画像データは、それぞれの出力メモリ１５〜１８の読み出しバンクにデータが揃ってから同一タイミングで並列的に出力される。つまり、画像処理が最も遅れた分割画像データのタイミングに合わせて、出力メモリ１５〜１８から同一タイミングで各分割画像データが出力される。また、ある分割画像の処理が遅れて、出力メモリからの出力データが不連続になる場合（垂直ブランキング信号をＣＰＵ１９に取り込み、ＣＰＵ１９内のカウンタで常時チェックして、１／６０秒以上になった時に不連続と見なす）、音声データも同じように遅延させて出力させる。
【００３７】
図３は、上述した処理の詳細を示した図である。図３（ａ）に示すように、映像信号は、第１フレーム（フレーム１）、第２フレーム（フレーム２）、・・・と連続して入力する。
【００３８】
図３（ｂ）に示すように、分割されたフレーム１の各画像データは、それぞれの出力メモリ１５〜１８のＢＡＮＫ１に書き込まれる。ＢＡＮＫ１にフレーム１の画像データが書き込まれると、出力メモリからＣＰＵ１９に書き込み完了を通知する。それと同時に、出力メモリのＢＡＮＫ２にフレーム２の画像データの書き込みが始まる。ＣＰＵ１９は、全出力メモリ１５〜１８からフレーム１の書き込み完了の通知が来ると、全出力メモリにＢＡＮＫ１のデータ（フレーム１の画像データ）の読出しを通知し、全出力メモリ１５〜１８は、その通知により同一のタイミングでＢＡＮＫ１のデータ（フレーム１の画像データ）を読み出す。音声データは、音声メモリ３０に書き込まれた後、全出力メモリ１５〜１８から画像データが読み出されるタイミングに同期して、音声メモリ３０から読み出される。
【００３９】
なお、出力メモリの読み出し方として、同じフレームを同じタイミングで出力する以外に、上下の画像表示装置（プロジェクタ２４〜２７）間で出力するフレームを変えるようにしてもよい。上下の表示装置で同じタイミングで同じフレームを表示すると、合せ目の部分において、上側の画像表示装置（図１の例ではプロジェクタ２４及び２６）では１フレーム目の最後の部分がスキャンされているに対し、下側の画像表示装置（図１の例ではプロジェクタ２５及び２７）では２フレーム目の最初の部分がスキャンされるため、合せ目の部分で動画が切れて見えてしまうという問題が生じるからである。
【００４０】
そこで、画像が連接するように、画像処理が最も遅い部分に合わせて画像データを出力する際に、上側のプロジェクタ２４及び２６の出力メモリ１５及び１７に対し、下側のプロジェクタ２５及び２７の出力メモリ１６及び１８では約１フレーム遅れた信号を出力するように、画像メモリを制御する。
【００４１】
上述した処理について、図２及び図４を参照して具体的に説明する。全出力メモリ１５〜１８において、フレーム１をBANK1に記憶し、現在BANK2にフレーム２の書き込みが終了したとする。次に、全出力メモリ１５〜１８のBANK3にフレーム３の書き込みが開始されるが、同時に出力メモリ１５及び１７ではBANK2からフレーム２のデータの読み出しを開始し、同じタイミングで出力メモリ１６及び１８ではBANK1からフレーム１のデータの読み出しを開始する。すなわち、図４に示すように、上側のプロジェクタではフレーム２のスキャンを上から下に向かって行い、同時に下側のプロジェクタではフレーム１のスキャンを上から下に向かって行う。
【００４２】
なお、上述したような処理についての詳細は、特公平5-78232或いは特開2000-33780に記載されている。特公平5-78232には、上下の画像表示装置に供給する映像信号を相対的に１垂直期間だけ時間シフトする方式が記載されており、特開2000-33780には、上下の画像表示装置間の重なり量を測定して、上下の画像表示装置に供給する映像信号を相対的に（１−重なり量）×垂直期間だけ時間シフトする方式が記載されている。
【００４３】
また、画像を連接するための他の方法として、図５に示すような方式も提案されている（例えば特開平6-259048）。これによれば、同一フレームに対して、上側の画像表示装置は下から上に向かってスキャンを開始し、同時に下側の画像表示装置は上から下に向かってスキャンを開始することで、合せ目の時間ずれを解消するようにしている。ただし、上側の画像表示装置では、フレームの最終ラインから遡ってデータを読み出していく必要がある。
【００４４】
以上のように、本実施形態では、処理が最も遅れた分割画像データのタイミングに同期させて全分割画像データの読み出しタイミングを調整するとともに、この調整されたタイミングに同期させて音声データを読み出すため、各分割画像データ及び音声データの出力タイミングの最適化をはかることが可能となる。
【００４５】
（実施形態２）
図６は、本発明の第２の実施形態に係るマルチディスプレイシステムの一例を示した図である。なお、図１に示した構成要素に対応する構成要素については、同一の参照番号を付し、それらの詳細な説明は省略する（他の実施形態についても同様）。
【００４６】
図１に示したマルチディスプレイシステムではＣＰＵ１９が単数だったが、図６に示したマルチディスプレイシステムでは、分割画像処理部５１〜５４毎にそれぞれＣＰＵ１９ａ〜１９ｄが設けられている。各ＣＰＵ１９ａ〜１９ｄ間では通信が可能であり、各分割画像データとともに記憶されたフレーム番号を用いて情報の送受を行うことができるようになっている。例えば、各分割画像処理部５１〜５４の各出力メモリ１５〜１８に何フレーム目が書き込まれ、読み出し可能なフレームは何フレームかといった情報を互いに通信することにより、画像メモリ及び音声メモリを制御し、分割画像出力の同期及び音声出力の同期を取ることが可能である。
【００４７】
図７は、本発明の第２の実施形態に係るマルチディスプレイシステムの他の例を示した図である。
【００４８】
図７に示したシステムでは、図１に示したようなシステムを二つ用い、互いのＣＰＵ１９間で通信が可能になっている。図に示した例では、入力映像信号から分割信号Ａ〜Ｈを作成し、分割信号Ａ〜Ｄを分割画像処理装置６１に、分割信号Ｅ〜Ｈを分割画像処理装置６２に送り、分割画像処理装置６１及び６２それぞれのＣＰＵでそれぞれの画像分割処理装置内の画像データの同期を取りながら、分割画像処理装置間でも画像データの同期を取ることで、８台のプロジェクタに同期した画像を送るようにしている。
【００４９】
このように、図６及び図７に示したシステムでは、複数のＣＰＵ間で演算処理時の遅延情報等を通信することにより、各分割画像の処理状況等を互いに把握することができ、画像データや音声データの同期を容易にとることが可能である。なお、ＣＰＵ間のデータ通信には、RS232C、USB、IEEE1394、LAN等の汎用通信を用いることが可能である。
【００５０】
（実施形態３）
図８は、本発明の第３の実施形態に係るマルチディスプレイシステムの一例を示した図である。
【００５１】
コンピュータ１０１内のハードディスクには、１枚の画像を分割して、それぞれの画像表示装置のサイズ（例えばＸＧＡ）にした複数のデジタル映像信号とデジタル音声信号が記憶されており、コンピュータ１０１からはパケット単位で映像及び音声のデジタルデータが、１フレームが１／６０秒よりも速い速度で連続して出力される。
【００５２】
図９は、パケット単位で出力されるデータについて示したものである。図９では便宜上、数フレーム分の音声データ（フレーム１〜８の音声データ）を１パケット、１フレーム分の画像データを１パケットとしたが、それぞれ複数のパケットに分割して出力してもよい。また、パケットのサイズも任意でよい。
【００５３】
映像データには、コンピュータ１０１内でフレーム番号が付与される。音声データにはフレーム番号を付与してもよいし付与しなくてもよい。フレーム番号の付与の方法は、例えば１パケットを３２ｋバイトとして、先頭の４バイトをヘッダとする。このヘッダの２バイトをデータ長に、他の２バイトをデータの種類に割り当てる。データの種類の中に、静止画／ＪＰＥＧ動画／音声の有無／画像のフレーム番号／分割画像の位置、等の情報を入れればよい。
【００５４】
なお、本例ではデジタル映像信号はコンピュータ１０１から分割信号として出力されているが、コンピュータからは分割前のデジタル映像信号を出力し、例えば図１で示したように、コンピュータの外部に設けた画像分割部２で分割されたデジタル映像信号を作成するようにしてもよい。
【００５５】
以下、本実施形態の動作について説明する。
【００５６】
まず、画像データ及び音声データの読み出しについて、その基本的な動作を説明する。音声メモリ３０には８フレーム分の音声データが記憶されており、画像データは画像処理部７〜１４及び出力メモリ１５〜１８での処理により数フレーム遅延して出力されるものとする。この時、出力メモリのどのバンクに何フレーム目が書き込まれ、どのバンクから何フレーム目が読み出されているかといった情報は、ＣＰＵ１９が把握している。例えば、３フレーム目の画像データが出力バッファから出力された時、音声メモリ３０に記憶された８フレーム分の音声データの中から３番目の音声データを出力するようにＣＰＵ１９で制御する。もちろん、音声データにもフレーム番号が付与されている場合には、音声メモリ３０に記憶された順番ではなく、音声データに付与されたフレーム番号に対応する音声データを読み出せばよい。
【００５７】
図９に示したような形式でコンピュータ１０１から音声データと画像データが送られてくる際に、例えばＪＰＥＧ伸張等の演算処理によって画像データの処理が遅れ、連続的に画像データが更新されないような場合には、例えば図１０のフローチャートに示すような処理を行う。以下、図１０のフローチャートに示した処理を説明する。
【００５８】
まず、初期設定として、フレームを１フレーム目（ｎ＝１）とし、フラグを０とする。このフラグは、音声データの出力を停止するか否かを示すものであり、フラグ＝１の場合に音声データの出力が停止される（Ｓ１）。その後、以下に示すような各ステップが実行される。
【００５９】
出力メモリ１５〜１８へのｎフレーム目の画像データの転送を指示し（Ｓ２）、所定の転送規定期間内にｎフレーム目の画像データの転送が全て完了したか否かを判断する（Ｓ３）。
【００６０】
転送が完了していない場合には、音声メモリ３０からの音声データの出力を停止し、フラグを１にする。例えば、出力メモリ１５〜１７には７フレーム目のデータが転送されてきたが、出力メモリ１８には６フレーム目のデータしかないような場合には、７フレーム以降の音声データは出力しないようにする（Ｓ４）。続いて、ｎ＝ｎ＋１とし（Ｓ５）、ｎ＝９ｍ（ｍは整数）であるか否かを判断する（Ｓ６）。ｎ＝９ｍである場合には、フラグを０に設定して、音声データの出力停止を解除する（Ｓ７）。
【００６１】
Ｓ３のステップで転送が完了していると判断された場合には、フラグが０であるか否かが判断される（Ｓ８）。フラグが０の場合には、出力メモリ１５〜１８からｎフレーム目の画像データを出力するとともに、音声メモリ３０からｎフレーム目の音声データを出力し（Ｓ９）、さらにｎ＝ｎ＋１とする（Ｓ１０）。
【００６２】
Ｓ８のステップでフラグが０でない場合（フラグ＝１の場合）には、出力メモリ１５〜１８からｎフレーム目の画像データを出力し（Ｓ１１）、さらにｎ＝ｎ＋１とし（Ｓ１２）、ｎ＝９ｍ（ｍは整数）であるか否かを判断する（Ｓ１３）。ｎ＝９ｍである場合には、フラグを０に設定して、音声データの出力停止を解除する（Ｓ１４）。
【００６３】
以上述べたように、本実施形態では、複数フレームの画像データ毎に対応する複数フレーム分の音声データを１パケットとしてまとめて読み出す。そして、出力メモリからの画像データの読み出し時間が大きく遅れて画像が不連続になるような場合には、音声データの出力を停止し、その次の複数フレーム分のデータを読み出す時に画像データと音声データとの同期を取るようにしている。したがって、画像と音声の同期ずれが発生した場合にも、素早く同期ずれを解消することができる。
【００６４】
（実施形態４）
図１１は、本発明の第４の実施形態に係るマルチディスプレイシステムの一例を示した図である。
【００６５】
コンピュータ１０１内のハードディスクには画像データ１０２が格納されており、ＣＰＵ１０４の制御により、数フレーム分の画像を保持できるフレームメモリとドライバで構成された出力バッファ１０３から、分割画像データ（分割信号３〜６）が出力される（音声データも出力バッファ１０３から出力される）。ハードディスク内に格納された画像データ１０２は、分割処理前の１枚の画像データであってもよいし、或いは分割処理後の画像データであってもよい。また、圧縮された画像データがハードディスクに格納されていてもよいし、圧縮されていない状態でハードディスクに格納されていてもよい。
【００６６】
出力バッファ１０３から出力された分割画像データは、画像処理部７〜１４に送られ、ＣＰＵ１９の制御により、各画像データは対応する画像処理部７〜１４で演算処理される。画像処理部７〜１４での各分割画像の演算処理時間はＣＰＵ１９内のカウンタの値と比較され、例えばある分割画像の処理が遅れて、出力メモリ１５〜１８からの出力データが不連続になる場合（例えば、あるフレームの全分割画像のデータが出力メモリ１５〜１８に揃うのが、その前のフレームに比べて１／６０秒以上遅くなるような場合）には、ＣＰＵ１９からコンピュータ１０１内のＣＰＵ１０４に遅延情報が通信される。ＣＰＵ間のデータ通信には、RS232C、USB、IEEE1394、LAN等の汎用通信を用いることが可能である。ＣＰＵ１０４が遅延情報を受け取ると、ＣＰＵ１０４が出力バッファ１０３等を制御し、出力バッファ１０３から新たな画像データ及び音声データが出力されないようにする。すなわち、出力バッファ１０３からは１フレーム（場合によっては数フレーム）分の画像データ及び音声データが間引かれて出力される。
【００６７】
このように、本実施形態では、分割画像の演算処理が規定時間以上遅れ、出力メモリからの出力データが不連続になるような場合に、コンピュータに遅延情報を通信することで、コンピュータは画像データ及び音声データを間引くようにしている。したがって、分割画像の演算処理に遅れが生じた場合にも、画像処理部のメモリ数を増やすことなく、各分割画像データ及び音声データの同期を確実に取ることができる。
【００６８】
（実施形態５）
図１２は、本発明の第５の実施形態に係るマルチディスプレイシステムの一例を示した図である。
【００６９】
コンピュータ１０１内のハードディスクには画像データ１０２が格納されており（圧縮前の状態でハードディスクに格納されている）、ハードディスクからの画像データは、ＣＰＵ１０４の制御により、画像圧縮部１０５で所定のサイズに圧縮処理されて出力バッファ１０３に送られる。ハードディスク内に格納された画像データ１０２は、分割処理前の１枚の画像データであってもよいし、或いは分割処理後の画像データであってもよい。出力バッファ１０３は数フレーム分の画像を保持できるフレームメモリとドライバで構成されており、ＣＰＵ１０４の制御により、出力バッファ１０３からは圧縮された分割画像データが出力される（音声データも出力バッファ１０３から出力される）。
【００７０】
出力バッファ１０３から出力された圧縮された分割画像データは、画像処理部７〜１４に送られ、ＣＰＵ１９の制御により、各画像データは対応する画像処理部７〜１４で演算処理される。この演算処理には、圧縮された画像データを伸張する処理も含まれる。画像処理部７〜１４での各分割画像の演算処理が遅れて、出力メモリ１５〜１８からのデータが不連続になる場合（例えば、あるフレームの全分割画像のデータが出力メモリ１５に揃うのが、その前のフレームに比べて１／６０秒以上遅くなるような場合）には、ＣＰＵ１９からコンピュータ１０１内のＣＰＵ１０４に遅延情報が通信される。ＣＰＵ間のデータ通信には、RS232C、USB、IEEE1394、LAN等の汎用通信を用いることが可能である。
【００７１】
画像圧縮回路１０５では、通常は低圧縮率でデータを圧縮しているが、コンピュータ１０１内のＣＰＵ１０４がＣＰＵ１９から遅延情報を受け取ると、ＣＰＵ１０４は画像圧縮回路１０５に対して圧縮率を上げるよう要求する。画像圧縮回路１０５では圧縮率を上げて画像圧縮処理を行うため、画像処理部７〜１４で行われる画像伸張処理に費やされる時間が短縮され、演算処理が遅れて出力メモリ１５〜１８からのデータが不連続になるといった問題を回避することができる。なお、画像圧縮回路１０５での圧縮処理には、ＪＰＥＧやＭＰＥＧが考えられる。ＪＰＥＧの場合、直交変換（ＤＣＴ）、量子化及びエントロピー符号化で構成されるが、ＤＣＴ変換を行った後、量子化のためのステップサイズを可変にすることにより圧縮率を変えることが可能である。
【００７２】
このように、本実施形態では、分割画像の演算処理が規定時間以上遅れたような場合に、コンピュータに遅延情報を通信することで、コンピュータは画像圧縮処理の圧縮率を上げるようにしている。これにより、分割画像の演算処理の遅延を防止することができ、出力メモリから出力される画像データが不連続になるといった問題を防止することができる。
【００７３】
以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない範囲内において種々変形して実施することが可能である。さらに、上記実施形態には種々の段階の発明が含まれており、開示された構成要件を適宜組み合わせることによって種々の発明が抽出され得る。例えば、開示された構成要件からいくつかの構成要件が削除されても、所定の効果が得られるものであれば発明として抽出され得る。
【００７４】
【発明の効果】
本発明によれば、複数の分割画像情報と音声情報との同期を効果的にとることが可能となり、分割画像のつなぎ目の画像が途切れて見えるといった問題や画像と音声が時間的にずれるといった問題を同時に解決することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るマルチディスプレイ装置の構成の一例を示した図。
【図２】図１に示したマルチディスプレイ装置に含まれる出力メモリの構成の一例を説明するための図。
【図３】本発明の第１の実施形態に係るマルチディスプレイ装置で行われる処理の一例を示した図。
【図４】本発明の第１の実施形態に係り、表示装置のスキャン方法の一例を説明するための図。
【図５】本発明の第１の実施形態に係り、表示装置のスキャン方法の他の例を説明するための図。
【図６】本発明の第２の実施形態に係るマルチディスプレイ装置の構成の一例を示した図。
【図７】本発明の第２の実施形態に係るマルチディスプレイ装置の構成の他の例を示した図。
【図８】本発明の第３の実施形態に係るマルチディスプレイ装置の構成の一例を示した図。
【図９】本発明の第３の実施形態に係り、コンピュータから出力されるデータの形式の一例を示した図。
【図１０】本発明の第３の実施形態に係るマルチディスプレイ装置で行われる処理の一例を示した図。
【図１１】本発明の第４の実施形態に係るマルチディスプレイ装置の構成の一例を示した図。
【図１２】本発明の第５の実施形態に係るマルチディスプレイ装置の構成の一例を示した図。
【図１３】従来技術の問題点を説明するための図。
【符号の説明】
１…入力映像信号
２…画像分割部
３〜６…分割信号
７〜１０…演算処理部
１１〜１４…演算用メモリ
１５〜１８…出力メモリ
１９…ＣＰＵ
２０〜２３…ドライバ
２４〜２７…プロジェクタ
２８…入力音声信号
２９…Ａ／Ｄ変換部
３０…音声メモリ
３１…音声ドライバ
３２…スピーカー
３３…スクリーン
５１〜５４…分割画像処理部
６１、６２…分割画像処理装置
１０１…コンピュータ
１０２…画像データ
１０３…出力バッファ
１０４…ＣＰＵ
１０５…画像圧縮部
【発明の属する技術分野】
本発明は、複数の画像表示装置を用いて１枚の画像を表示するマルチディスプレイ装置に関する。
【０００２】
【従来の技術】
複数の画像表示装置（プロジェクタ等の画像投影装置）で１枚の画像を表示するマルチディスプレイ装置では、それぞれの画像表示装置に入力される信号の同期が取れていないと、隣接する表示部分間で動画像が繋がって表示されない。例えば、図１３に示すように、４台の画像表示装置のうち１台の表示が１フレーム以上遅れると、その部分の画像がずれて途切れて見える。
【０００３】
画像を分割した時に同期が取れていても、絵柄によって演算処理が重くなる場合、例えば動画を抽出して輪郭強調をする処理や肌色部分のみについて色補正をする処理を行うような場合、規定の時間（例えば垂直ブランキング期間）内に演算処理が終了しないことがあり、その結果分割映像信号間の出力フレームがずれることがある。
【０００４】
このような問題に対し、特開平6-35436或いは特開平6-259048では、画像メモリの読み出しのタイミングを同期させることで、分割画像間でのフレームずれをなくす提案がなされている。
【０００５】
また、映像信号と音声信号が入力された場合、映像信号はフレームメモリにデータを出し入れして処理を行う（例えば、ＩＰ変換や輪郭強調等の信号処理を行う時、前後のフレームからデータを算出するため、画像データを一旦フレームメモリに格納する必要がある）ため、入力に対して出力は数フレーム遅延してしまう。これに対して音声処理の遅延は少ないため、ディスプレイ上で映像と音声が時間的にずれる、所謂リップシンクが発生する。これを防ぐために、デジタル放送では、送信時に映像と音声にタイムスタンプを付与し、受信機側ではタイムスタンプに基づいて映像と音声のタイミングを合わせている。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来は、複数の映像信号と音声信号とのタイミングを合わせる手法、すなわち複数の分割画像情報と音声情報との同期をとる手法について有効な提案がなされていなかった。
【０００７】
本発明は、上記従来の課題に対してなされたものであり、複数の分割画像情報と音声情報との同期を効果的にとることが可能なマルチディスプレイ装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
本発明は、表示された複数の画像を合成して１枚の画像を構成するマルチディスプレイ装置において、前記複数の画像の画像情報を記憶する複数の画像記憶手段と、前記合成される１枚の画像に対応する音声の音声情報を記憶する音声記憶手段と、前記複数の画像記憶手段から同期を取って画像情報を並列的に読み出す画像読み出し手段と、前記音声記憶手段から音声情報を読み出す音声読み出し手段と、前記画像読み出し手段によって並列的に読み出された複数の画像情報に基づく複数の画像を表示する複数の画像表示手段と、を有し、前記画像読み出し手段は、前記複数の画像記憶手段からの読み出しタイミングのうち最も遅れたタイミングに同期させて全ての画像記憶手段からの読み出しタイミングを調整し、前記音声読み出し手段は、前記画像読み出し手段によって調整されたタイミングに同期させて音声情報を読み出すことを特徴とする。
【０００９】
前記発明において、前記合成される１枚の画像の画像情報が入力される画像情報入力手段と、前記画像情報入力手段に入力された画像情報を前記複数の画像情報に分割する画像情報分割手段と、前記分割された分割画像情報に対してそれぞれ画像処理を行う画像処理手段と、をさらに有し、前記画像読み出し手段は、画像処理が最も遅れた分割画像情報に同期させて前記読み出しタイミングを調整することが好ましい。
【００１０】
本発明によれば、画像処理等が最も遅れた分割画像情報に同期させて全画像メモリからの読み出しタイミングを制御することにより、隣接する表示部分にまたがった動画映像等を切れ目なく表示することができる。
【００１１】
例えば、画像処理された分割画像の各画像データを保持する出力メモリはＣＰＵやＦＰＧＡ等で管理されるが、最も処理が遅れた画像データの出力タイミングに合わせて全出力メモリから画像データを出力することで、分割画像データ全体の同期を取ることができる。これにより、連続して入力される動画像に対して、出力信号が不連続（一定時間内に連続して更新されない）になる状態が発生し得る。出力信号が不連続になると、スムーズな動画像が表示されないことが懸念されるが、１フレーム（１／６０秒）程度の不連続であれば特に問題はなく、なめらかな動画を認識することが可能である。
【００１２】
また、本発明では、画像メモリの出力タイミングに合わせて、音声メモリの出力タイミングも制御する。例えば、画像データに対してフレームメモリを使った処理を行い、画像データの入出力間で２フレームの遅延が生じる場合は、２フレーム（１／３０秒）分以上の音声データを記憶可能な音声メモリを用い、音声データも画像データと同様に入出力間で２フレーム遅らせることで、リップシンク現象を防止することができる。また、演算処理の遅れ等により画像データが間引かれた場合（例えば、同じフレームを２回以上出力する等）には、画像データとともに対応するフレームの音声データも同様に間引くことで、映像と音声の同期を取ることができる。
【００１３】
また、前記発明において、前記複数の画像記憶手段に記憶される複数の画像情報は、それぞれのフレーム番号とともに記憶され、前記画像読み出し手段は１以上の前記画像表示手段毎に設けられ、複数の前記画像読み出し手段で、読み出し可能な画像情報のフレーム番号を互いに通信することによって読み出しタイミングを調整するようにしてもよい。
【００１４】
本態様では、例えば、画像読み出し手段をＣＰＵで構成した場合、画像表示手段毎（すなわち画像メモリ毎）にＣＰＵを設け、これらの複数のＣＰＵ間で通信を行うことにより、複数の装置間で同期を取りながら、多数の分割画像データを処理することが可能となる（例えば図６参照）
また、複数の分割画像を処理する分割画像処理装置毎にＣＰＵを設ける（２以上の画像表示装置（プロジェクタ）毎に一つのＣＰＵを設ける）ようにしてもよい。例えば、１台の分割画像処理装置によって４台の画像表示装置を制御する場合を想定すると、１枚の画像を４枚に分割して４台の画像表示装置に送る場合には、１台の分割画像処理装置内のＣＰＵで各画像メモリを制御し、１枚の画像を８枚に分割して８台の画像表示装置に送る場合には、２台の分割画像処理装置それぞれに設けられたＣＰＵにより、それぞれの分割画像処理装置内の画像データ間の同期を取りながら、分割画像処理装置相互間でも画像データ間の同期を取ることにより、８台の画像表示装置に対して同期した画像データを送ることが可能となる（例えば図７参照）。
【００１５】
また、前記発明において、前記音声読み出し手段は、前記画像読み出し手段によって読み出される複数フレームの画像情報に対応する音声情報をまとめて読み出すとともに、これらの複数フレーム毎に音声情報と画像情報との読み出しタイミングの同期をとるようにしてもよい。
【００１６】
本態様は、例えば画像データと音声データがコンピュータから出力された場合の同期の取り方に関するものである。
【００１７】
コンピュータからの画像データと音声データがシリアル形式で出力される場合、例えば図９に示すように、第１〜第８フレームの音声データ、第１フレームの画像データ、第２フレームの画像データ、………、第８フレームの画像データ、その次には、第９〜第１６フレームの音声データ、第９フレームの画像データ、第１０フレームの画像データ、………、第１６フレームの画像データ、といったようにしてコンピュータからデータを読み出す。そして、画像データ及び音声データともに一旦メモリに格納した後、画像データの処理の遅延に合わせて音声データを出力することで同期を取ることができる。この時、画像データにはフレーム番号を付与するが、音声データにはフレーム番号を付与してもしなくてもよい。フレーム番号を付与すればフレーム毎の同期が取れ、付与しなければ８フレーム毎の同期が取れる。
【００１８】
また、画像データが演算処理の遅延等により数フレーム遅れ、その結果画像データに不連続が生じるような場合もある。例えば、演算処理の遅延はＪＰＥＧ圧縮／伸張処理等で発生する。ＪＰＥＧの伸張処理では、圧縮率が低い場合や、変化量の少ない画像の一部に微細な画像が存在するような場合に、多くの伸張時間を要する傾向がある。通常は、圧縮率が低い方が高画質であるため、コンピュータからの出力データは、可能な限り低圧縮のデータを出力するのが一般的である。そのため、伸張処理等を含む演算処理において画像データに大きな遅延が生じる場合がある。このような場合には、例えば図９に示すような形式でデータが出力される場合を想定すると、ある８フレーム（第１〜第８フレーム）の期間において画像データに所定時間以上の遅延が発生した時には音声データの出力を停止し、その次の８フレーム（第９〜第１６フレーム）から再度画像データと音声データとの同期を取って出力する。これにより、画像データに大きな遅延が発生した場合でも早期に同期を取ることが可能となる。
【００１９】
また、前記発明において、前記複数の画像記憶手段及び前記音声記憶手段に送られる画像情報及び音声情報の出力を制御する出力制御手段を有するコンピュータと、前記出力制御手段の制御によって前記コンピュータから出力された画像情報に対する処理を制御する画像情報制御手段と、をさらに有し、前記画像情報制御手段によって制御される処理が所定の時間内に終了しない場合に、前記画像情報制御手段から前記コンピュータに遅延情報を通信することにより、前記コンピュータから出力される画像情報及び音声情報を間引くように構成してもよい。
【００２０】
本態様は、例えば、画像データが演算処理の遅延等により数フレーム遅れ、その結果画像データに不連続が生じるような場合に、遅延情報をコンピュータ（デジタル記録メディア）に通信し、コンピュータからの出力データを間引くようにするものである。このような方策を講じない場合には、演算処理の遅延が生じているときでもコンピュータからは画像データが連続的に出力されることになるため、画像処理部のメモリに数フレーム以上の多くの画像データを保持しておく必要がある。そのため、メモリ容量の増大により、コストが増大したり制御が煩雑になったりする。そこで、演算処理等の大幅な遅延が発生した場合には、遅延情報をコンピュータに通知し、コンピュータからのデータを間引くことで、このような問題を解決するようにしている。
【００２１】
また、前記発明において、画像情報を圧縮する画像圧縮手段を有し、圧縮された複数の画像情報を前記複数の画像記憶手段に送出するコンピュータと、前記コンピュータから読み出された圧縮された画像情報の伸張処理を含む処理の制御を行う画像情報制御手段と、をさらに有し、前記画像情報制御手段によって制御される処理が所定の時間内に終了しない場合に、前記画像情報制御手段から前記コンピュータに遅延情報を通信することにより、前記画像圧縮手段での画像圧縮率を増大させるように構成してもよい。
【００２２】
本態様は、例えば、画像データが演算処理の遅延等により数フレーム遅れ、その結果画像データに不連続が生じるような場合に、遅延情報をコンピュータに通信し、画像圧縮率を上げるようにするものである。すでに説明したように、ＪＰＥＧの伸張処理では、圧縮率が低い場合に多くの伸張時間を要する。そこで、遅延が少ない場合にはコンピュータから低圧縮率の画像データを出力し、遅延が大きい場合には圧縮率を上げて画像処理時間を短縮することで、画像データを連続的に画像表示装置に出力することが可能となる。
【００２３】
【発明の実施の形態】
以下、本発明の実施形態を図面を参照して説明する。
【００２４】
（実施形態１）
図１は、本発明の第１の実施形態に係るマルチディスプレイシステムの一例を示した図である。
【００２５】
画像分割部２は、入力映像信号１を受けて、分割信号３〜６（分割信号Ａ〜Ｄ）を出力するものである。具体的には、Ａ／Ｄ変換を行った後、画像データを２フレーム以上のデータを格納できるメモリに格納し、必要な部分を切り出して出力する（画像分割手段については、特開平6-259048号公報、特に該公報の図１〜図７に説明されている）。また、必要に応じて画像の拡大／縮小処理を行う。例えば、入力がＸＧＡ(1024×768）で、ＸＧＡの解像度を持つ４台のプロジェクタに出力する場合は、入力信号を画素毎に縦横２倍に拡大し、ＸＧＡ×４の画素数で出力する。
【００２６】
７〜１０は演算処理部、１１〜１４は演算用メモリであり、映像信号のデータをメモリに出し入れして処理（例えば、ＮＴＳＣ等のインターレース信号をプログレッシブ信号に変換するために、２フィールドのインターレース信号を一旦メモリに記憶し、それを合成して１フレームのプログレッシブ信号にして出力するＩＰ変換や、輪郭強調等の信号処理）を行う際に用いられる。演算処理部７〜１０及び演算用メモリ１１〜１４によって画像処理部が構成され、各種フィルタや色／輝度補正を行ったり、またプロジェクタに位置ずれがある場合には幾何補正等を行う。１５〜１８は出力メモリであり、２フレーム以上の画像データを格納することができる。なお、メモリ１１〜１４と出力メモリ１５〜１８をまとめることで、メモリ数を減らすようにしてもよい。
【００２７】
上述した画像処理部７〜１４と出力メモリ１５〜１８は、ＣＰＵ１９によって制御される。また、後述する音声メモリ３０も、このＣＰＵ１９によって制御される。
【００２８】
出力メモリ１５〜１８の出力はドライバ２０〜２３に入力しており、ドライバ２０〜２３によってプロジェクタ２４〜２７が駆動される。プロジェクタ２４〜２７として本例では液晶プロジェクタを用いている。プロジェクタ２４〜２７からの各画像は、背面投射型のスクリーン３３に投影され、スクリーン３３上で合成されて１枚の画像が表示される。なお、プロジェクタ入力がアナログの場合には、出力メモリ１５〜１８とプロジェクタ２４〜２７との間にさらにＤ／Ａ変換器を介在させる。
【００２９】
音声系は、入力音声信号２８をＡ／Ｄ変換するＡ／Ｄ変換部２９、Ａ／Ｄ変換された音声データを記憶する音声メモリ３０、音声メモリ３０からの音声データをＤ／Ａ変換するＤ／Ａ変換器及びアンプで構成された音声ドライバ３１、音声ドライバ３１によってドライブされるスピーカー３２等で構成されている。
【００３０】
以下、本実施形態の動作について説明する。
【００３１】
入力映像信号１は、画像分割部２でＡ／Ｄ変換処理、分割処理、さらに必要に応じて拡大／縮小処理が行われ、画像分割部２からは分割信号３〜６（分割信号Ａ〜Ｄ）が演算処理部７〜１０及び演算用メモリ１１〜１４からなる画像処理部に出力される。
【００３２】
画像処理部７〜１４では、各種フィルタや色／輝度補正、幾何変換、シェーディング補正等の処理を行うとともに、絵柄によって演算処理が重くなる処理（例えば、動画を抽出して輪郭強調する処理や肌色部分のみを色補正をする処理）が行われ、これらの画像演算処理を施された画像データは出力メモリ１５〜１８に出力される。
【００３３】
図２は、各出力メモリ１５〜１８の構成の一例を示した図である。各出力メモリは、４フレーム分のエリア（ＢＡＮＫ１〜ＢＡＮＫ４）を有するバンク形式であり、ＣＰＵ１９とはバス線を介してバンク選択端子、リード端子、ライト端子が接続されている。書き込みは、ＣＰＵからのライト信号及びバンク選択信号により、フレーム１から２，３，４と順に行われる。読み出しは、ＣＰＵからのリード信号及びバンク制御信号によって行われる。
【００３４】
入力音声信号２８はＡ／Ｄ変換部２９によってＡ／Ｄ変換され、Ａ／Ｄ変換された音声データは音声メモリ３０に記憶される。音声メモリ３０には、数フレーム分のデータを格納可能である。例えば、サンプリング周波数４４．１ｋＨｚ、ステレオ、分解能１６ビットの性能の音声を、６０フレーム（１秒）分格納する場合には、４４．１ｋＨｚ×２（ステレオ）×１６ビット=１７６．４ｋバイトのメモリを用意する。
【００３５】
ＣＰＵ１９では、画像分割処理や画像演算処理等によって遅延した画像データに合わせて画像データの処理時間分遅らせて音声データが出力されるように、音声メモリ３０の制御を行う。例えば、５フレーム目の分割信号が画像処理部７、１１に送られ、画像処理部７、１１及び出力メモリ１５によって２フレーム分の遅延が発生して、出力メモリ１５から３フレーム目が出力しているような場合には、音声データは音声メモリ３０の入出力間で２フレーム分(１／３０秒）遅延させる。すなわち、音声メモリ３０には画像データの５フレーム目に対応する音声データが入力され、音声メモリ３０からは画像データの３フレーム目に対応する音声データが出力される。
【００３６】
分割された各画像データは、それぞれの出力メモリ１５〜１８の読み出しバンクにデータが揃ってから同一タイミングで並列的に出力される。つまり、画像処理が最も遅れた分割画像データのタイミングに合わせて、出力メモリ１５〜１８から同一タイミングで各分割画像データが出力される。また、ある分割画像の処理が遅れて、出力メモリからの出力データが不連続になる場合（垂直ブランキング信号をＣＰＵ１９に取り込み、ＣＰＵ１９内のカウンタで常時チェックして、１／６０秒以上になった時に不連続と見なす）、音声データも同じように遅延させて出力させる。
【００３７】
図３は、上述した処理の詳細を示した図である。図３（ａ）に示すように、映像信号は、第１フレーム（フレーム１）、第２フレーム（フレーム２）、・・・と連続して入力する。
【００３８】
図３（ｂ）に示すように、分割されたフレーム１の各画像データは、それぞれの出力メモリ１５〜１８のＢＡＮＫ１に書き込まれる。ＢＡＮＫ１にフレーム１の画像データが書き込まれると、出力メモリからＣＰＵ１９に書き込み完了を通知する。それと同時に、出力メモリのＢＡＮＫ２にフレーム２の画像データの書き込みが始まる。ＣＰＵ１９は、全出力メモリ１５〜１８からフレーム１の書き込み完了の通知が来ると、全出力メモリにＢＡＮＫ１のデータ（フレーム１の画像データ）の読出しを通知し、全出力メモリ１５〜１８は、その通知により同一のタイミングでＢＡＮＫ１のデータ（フレーム１の画像データ）を読み出す。音声データは、音声メモリ３０に書き込まれた後、全出力メモリ１５〜１８から画像データが読み出されるタイミングに同期して、音声メモリ３０から読み出される。
【００３９】
なお、出力メモリの読み出し方として、同じフレームを同じタイミングで出力する以外に、上下の画像表示装置（プロジェクタ２４〜２７）間で出力するフレームを変えるようにしてもよい。上下の表示装置で同じタイミングで同じフレームを表示すると、合せ目の部分において、上側の画像表示装置（図１の例ではプロジェクタ２４及び２６）では１フレーム目の最後の部分がスキャンされているに対し、下側の画像表示装置（図１の例ではプロジェクタ２５及び２７）では２フレーム目の最初の部分がスキャンされるため、合せ目の部分で動画が切れて見えてしまうという問題が生じるからである。
【００４０】
そこで、画像が連接するように、画像処理が最も遅い部分に合わせて画像データを出力する際に、上側のプロジェクタ２４及び２６の出力メモリ１５及び１７に対し、下側のプロジェクタ２５及び２７の出力メモリ１６及び１８では約１フレーム遅れた信号を出力するように、画像メモリを制御する。
【００４１】
上述した処理について、図２及び図４を参照して具体的に説明する。全出力メモリ１５〜１８において、フレーム１をBANK1に記憶し、現在BANK2にフレーム２の書き込みが終了したとする。次に、全出力メモリ１５〜１８のBANK3にフレーム３の書き込みが開始されるが、同時に出力メモリ１５及び１７ではBANK2からフレーム２のデータの読み出しを開始し、同じタイミングで出力メモリ１６及び１８ではBANK1からフレーム１のデータの読み出しを開始する。すなわち、図４に示すように、上側のプロジェクタではフレーム２のスキャンを上から下に向かって行い、同時に下側のプロジェクタではフレーム１のスキャンを上から下に向かって行う。
【００４２】
なお、上述したような処理についての詳細は、特公平5-78232或いは特開2000-33780に記載されている。特公平5-78232には、上下の画像表示装置に供給する映像信号を相対的に１垂直期間だけ時間シフトする方式が記載されており、特開2000-33780には、上下の画像表示装置間の重なり量を測定して、上下の画像表示装置に供給する映像信号を相対的に（１−重なり量）×垂直期間だけ時間シフトする方式が記載されている。
【００４３】
また、画像を連接するための他の方法として、図５に示すような方式も提案されている（例えば特開平6-259048）。これによれば、同一フレームに対して、上側の画像表示装置は下から上に向かってスキャンを開始し、同時に下側の画像表示装置は上から下に向かってスキャンを開始することで、合せ目の時間ずれを解消するようにしている。ただし、上側の画像表示装置では、フレームの最終ラインから遡ってデータを読み出していく必要がある。
【００４４】
以上のように、本実施形態では、処理が最も遅れた分割画像データのタイミングに同期させて全分割画像データの読み出しタイミングを調整するとともに、この調整されたタイミングに同期させて音声データを読み出すため、各分割画像データ及び音声データの出力タイミングの最適化をはかることが可能となる。
【００４５】
（実施形態２）
図６は、本発明の第２の実施形態に係るマルチディスプレイシステムの一例を示した図である。なお、図１に示した構成要素に対応する構成要素については、同一の参照番号を付し、それらの詳細な説明は省略する（他の実施形態についても同様）。
【００４６】
図１に示したマルチディスプレイシステムではＣＰＵ１９が単数だったが、図６に示したマルチディスプレイシステムでは、分割画像処理部５１〜５４毎にそれぞれＣＰＵ１９ａ〜１９ｄが設けられている。各ＣＰＵ１９ａ〜１９ｄ間では通信が可能であり、各分割画像データとともに記憶されたフレーム番号を用いて情報の送受を行うことができるようになっている。例えば、各分割画像処理部５１〜５４の各出力メモリ１５〜１８に何フレーム目が書き込まれ、読み出し可能なフレームは何フレームかといった情報を互いに通信することにより、画像メモリ及び音声メモリを制御し、分割画像出力の同期及び音声出力の同期を取ることが可能である。
【００４７】
図７は、本発明の第２の実施形態に係るマルチディスプレイシステムの他の例を示した図である。
【００４８】
図７に示したシステムでは、図１に示したようなシステムを二つ用い、互いのＣＰＵ１９間で通信が可能になっている。図に示した例では、入力映像信号から分割信号Ａ〜Ｈを作成し、分割信号Ａ〜Ｄを分割画像処理装置６１に、分割信号Ｅ〜Ｈを分割画像処理装置６２に送り、分割画像処理装置６１及び６２それぞれのＣＰＵでそれぞれの画像分割処理装置内の画像データの同期を取りながら、分割画像処理装置間でも画像データの同期を取ることで、８台のプロジェクタに同期した画像を送るようにしている。
【００４９】
このように、図６及び図７に示したシステムでは、複数のＣＰＵ間で演算処理時の遅延情報等を通信することにより、各分割画像の処理状況等を互いに把握することができ、画像データや音声データの同期を容易にとることが可能である。なお、ＣＰＵ間のデータ通信には、RS232C、USB、IEEE1394、LAN等の汎用通信を用いることが可能である。
【００５０】
（実施形態３）
図８は、本発明の第３の実施形態に係るマルチディスプレイシステムの一例を示した図である。
【００５１】
コンピュータ１０１内のハードディスクには、１枚の画像を分割して、それぞれの画像表示装置のサイズ（例えばＸＧＡ）にした複数のデジタル映像信号とデジタル音声信号が記憶されており、コンピュータ１０１からはパケット単位で映像及び音声のデジタルデータが、１フレームが１／６０秒よりも速い速度で連続して出力される。
【００５２】
図９は、パケット単位で出力されるデータについて示したものである。図９では便宜上、数フレーム分の音声データ（フレーム１〜８の音声データ）を１パケット、１フレーム分の画像データを１パケットとしたが、それぞれ複数のパケットに分割して出力してもよい。また、パケットのサイズも任意でよい。
【００５３】
映像データには、コンピュータ１０１内でフレーム番号が付与される。音声データにはフレーム番号を付与してもよいし付与しなくてもよい。フレーム番号の付与の方法は、例えば１パケットを３２ｋバイトとして、先頭の４バイトをヘッダとする。このヘッダの２バイトをデータ長に、他の２バイトをデータの種類に割り当てる。データの種類の中に、静止画／ＪＰＥＧ動画／音声の有無／画像のフレーム番号／分割画像の位置、等の情報を入れればよい。
【００５４】
なお、本例ではデジタル映像信号はコンピュータ１０１から分割信号として出力されているが、コンピュータからは分割前のデジタル映像信号を出力し、例えば図１で示したように、コンピュータの外部に設けた画像分割部２で分割されたデジタル映像信号を作成するようにしてもよい。
【００５５】
以下、本実施形態の動作について説明する。
【００５６】
まず、画像データ及び音声データの読み出しについて、その基本的な動作を説明する。音声メモリ３０には８フレーム分の音声データが記憶されており、画像データは画像処理部７〜１４及び出力メモリ１５〜１８での処理により数フレーム遅延して出力されるものとする。この時、出力メモリのどのバンクに何フレーム目が書き込まれ、どのバンクから何フレーム目が読み出されているかといった情報は、ＣＰＵ１９が把握している。例えば、３フレーム目の画像データが出力バッファから出力された時、音声メモリ３０に記憶された８フレーム分の音声データの中から３番目の音声データを出力するようにＣＰＵ１９で制御する。もちろん、音声データにもフレーム番号が付与されている場合には、音声メモリ３０に記憶された順番ではなく、音声データに付与されたフレーム番号に対応する音声データを読み出せばよい。
【００５７】
図９に示したような形式でコンピュータ１０１から音声データと画像データが送られてくる際に、例えばＪＰＥＧ伸張等の演算処理によって画像データの処理が遅れ、連続的に画像データが更新されないような場合には、例えば図１０のフローチャートに示すような処理を行う。以下、図１０のフローチャートに示した処理を説明する。
【００５８】
まず、初期設定として、フレームを１フレーム目（ｎ＝１）とし、フラグを０とする。このフラグは、音声データの出力を停止するか否かを示すものであり、フラグ＝１の場合に音声データの出力が停止される（Ｓ１）。その後、以下に示すような各ステップが実行される。
【００５９】
出力メモリ１５〜１８へのｎフレーム目の画像データの転送を指示し（Ｓ２）、所定の転送規定期間内にｎフレーム目の画像データの転送が全て完了したか否かを判断する（Ｓ３）。
【００６０】
転送が完了していない場合には、音声メモリ３０からの音声データの出力を停止し、フラグを１にする。例えば、出力メモリ１５〜１７には７フレーム目のデータが転送されてきたが、出力メモリ１８には６フレーム目のデータしかないような場合には、７フレーム以降の音声データは出力しないようにする（Ｓ４）。続いて、ｎ＝ｎ＋１とし（Ｓ５）、ｎ＝９ｍ（ｍは整数）であるか否かを判断する（Ｓ６）。ｎ＝９ｍである場合には、フラグを０に設定して、音声データの出力停止を解除する（Ｓ７）。
【００６１】
Ｓ３のステップで転送が完了していると判断された場合には、フラグが０であるか否かが判断される（Ｓ８）。フラグが０の場合には、出力メモリ１５〜１８からｎフレーム目の画像データを出力するとともに、音声メモリ３０からｎフレーム目の音声データを出力し（Ｓ９）、さらにｎ＝ｎ＋１とする（Ｓ１０）。
【００６２】
Ｓ８のステップでフラグが０でない場合（フラグ＝１の場合）には、出力メモリ１５〜１８からｎフレーム目の画像データを出力し（Ｓ１１）、さらにｎ＝ｎ＋１とし（Ｓ１２）、ｎ＝９ｍ（ｍは整数）であるか否かを判断する（Ｓ１３）。ｎ＝９ｍである場合には、フラグを０に設定して、音声データの出力停止を解除する（Ｓ１４）。
【００６３】
以上述べたように、本実施形態では、複数フレームの画像データ毎に対応する複数フレーム分の音声データを１パケットとしてまとめて読み出す。そして、出力メモリからの画像データの読み出し時間が大きく遅れて画像が不連続になるような場合には、音声データの出力を停止し、その次の複数フレーム分のデータを読み出す時に画像データと音声データとの同期を取るようにしている。したがって、画像と音声の同期ずれが発生した場合にも、素早く同期ずれを解消することができる。
【００６４】
（実施形態４）
図１１は、本発明の第４の実施形態に係るマルチディスプレイシステムの一例を示した図である。
【００６５】
コンピュータ１０１内のハードディスクには画像データ１０２が格納されており、ＣＰＵ１０４の制御により、数フレーム分の画像を保持できるフレームメモリとドライバで構成された出力バッファ１０３から、分割画像データ（分割信号３〜６）が出力される（音声データも出力バッファ１０３から出力される）。ハードディスク内に格納された画像データ１０２は、分割処理前の１枚の画像データであってもよいし、或いは分割処理後の画像データであってもよい。また、圧縮された画像データがハードディスクに格納されていてもよいし、圧縮されていない状態でハードディスクに格納されていてもよい。
【００６６】
出力バッファ１０３から出力された分割画像データは、画像処理部７〜１４に送られ、ＣＰＵ１９の制御により、各画像データは対応する画像処理部７〜１４で演算処理される。画像処理部７〜１４での各分割画像の演算処理時間はＣＰＵ１９内のカウンタの値と比較され、例えばある分割画像の処理が遅れて、出力メモリ１５〜１８からの出力データが不連続になる場合（例えば、あるフレームの全分割画像のデータが出力メモリ１５〜１８に揃うのが、その前のフレームに比べて１／６０秒以上遅くなるような場合）には、ＣＰＵ１９からコンピュータ１０１内のＣＰＵ１０４に遅延情報が通信される。ＣＰＵ間のデータ通信には、RS232C、USB、IEEE1394、LAN等の汎用通信を用いることが可能である。ＣＰＵ１０４が遅延情報を受け取ると、ＣＰＵ１０４が出力バッファ１０３等を制御し、出力バッファ１０３から新たな画像データ及び音声データが出力されないようにする。すなわち、出力バッファ１０３からは１フレーム（場合によっては数フレーム）分の画像データ及び音声データが間引かれて出力される。
【００６７】
このように、本実施形態では、分割画像の演算処理が規定時間以上遅れ、出力メモリからの出力データが不連続になるような場合に、コンピュータに遅延情報を通信することで、コンピュータは画像データ及び音声データを間引くようにしている。したがって、分割画像の演算処理に遅れが生じた場合にも、画像処理部のメモリ数を増やすことなく、各分割画像データ及び音声データの同期を確実に取ることができる。
【００６８】
（実施形態５）
図１２は、本発明の第５の実施形態に係るマルチディスプレイシステムの一例を示した図である。
【００６９】
コンピュータ１０１内のハードディスクには画像データ１０２が格納されており（圧縮前の状態でハードディスクに格納されている）、ハードディスクからの画像データは、ＣＰＵ１０４の制御により、画像圧縮部１０５で所定のサイズに圧縮処理されて出力バッファ１０３に送られる。ハードディスク内に格納された画像データ１０２は、分割処理前の１枚の画像データであってもよいし、或いは分割処理後の画像データであってもよい。出力バッファ１０３は数フレーム分の画像を保持できるフレームメモリとドライバで構成されており、ＣＰＵ１０４の制御により、出力バッファ１０３からは圧縮された分割画像データが出力される（音声データも出力バッファ１０３から出力される）。
【００７０】
出力バッファ１０３から出力された圧縮された分割画像データは、画像処理部７〜１４に送られ、ＣＰＵ１９の制御により、各画像データは対応する画像処理部７〜１４で演算処理される。この演算処理には、圧縮された画像データを伸張する処理も含まれる。画像処理部７〜１４での各分割画像の演算処理が遅れて、出力メモリ１５〜１８からのデータが不連続になる場合（例えば、あるフレームの全分割画像のデータが出力メモリ１５に揃うのが、その前のフレームに比べて１／６０秒以上遅くなるような場合）には、ＣＰＵ１９からコンピュータ１０１内のＣＰＵ１０４に遅延情報が通信される。ＣＰＵ間のデータ通信には、RS232C、USB、IEEE1394、LAN等の汎用通信を用いることが可能である。
【００７１】
画像圧縮回路１０５では、通常は低圧縮率でデータを圧縮しているが、コンピュータ１０１内のＣＰＵ１０４がＣＰＵ１９から遅延情報を受け取ると、ＣＰＵ１０４は画像圧縮回路１０５に対して圧縮率を上げるよう要求する。画像圧縮回路１０５では圧縮率を上げて画像圧縮処理を行うため、画像処理部７〜１４で行われる画像伸張処理に費やされる時間が短縮され、演算処理が遅れて出力メモリ１５〜１８からのデータが不連続になるといった問題を回避することができる。なお、画像圧縮回路１０５での圧縮処理には、ＪＰＥＧやＭＰＥＧが考えられる。ＪＰＥＧの場合、直交変換（ＤＣＴ）、量子化及びエントロピー符号化で構成されるが、ＤＣＴ変換を行った後、量子化のためのステップサイズを可変にすることにより圧縮率を変えることが可能である。
【００７２】
このように、本実施形態では、分割画像の演算処理が規定時間以上遅れたような場合に、コンピュータに遅延情報を通信することで、コンピュータは画像圧縮処理の圧縮率を上げるようにしている。これにより、分割画像の演算処理の遅延を防止することができ、出力メモリから出力される画像データが不連続になるといった問題を防止することができる。
【００７３】
以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない範囲内において種々変形して実施することが可能である。さらに、上記実施形態には種々の段階の発明が含まれており、開示された構成要件を適宜組み合わせることによって種々の発明が抽出され得る。例えば、開示された構成要件からいくつかの構成要件が削除されても、所定の効果が得られるものであれば発明として抽出され得る。
【００７４】
【発明の効果】
本発明によれば、複数の分割画像情報と音声情報との同期を効果的にとることが可能となり、分割画像のつなぎ目の画像が途切れて見えるといった問題や画像と音声が時間的にずれるといった問題を同時に解決することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係るマルチディスプレイ装置の構成の一例を示した図。
【図２】図１に示したマルチディスプレイ装置に含まれる出力メモリの構成の一例を説明するための図。
【図３】本発明の第１の実施形態に係るマルチディスプレイ装置で行われる処理の一例を示した図。
【図４】本発明の第１の実施形態に係り、表示装置のスキャン方法の一例を説明するための図。
【図５】本発明の第１の実施形態に係り、表示装置のスキャン方法の他の例を説明するための図。
【図６】本発明の第２の実施形態に係るマルチディスプレイ装置の構成の一例を示した図。
【図７】本発明の第２の実施形態に係るマルチディスプレイ装置の構成の他の例を示した図。
【図８】本発明の第３の実施形態に係るマルチディスプレイ装置の構成の一例を示した図。
【図９】本発明の第３の実施形態に係り、コンピュータから出力されるデータの形式の一例を示した図。
【図１０】本発明の第３の実施形態に係るマルチディスプレイ装置で行われる処理の一例を示した図。
【図１１】本発明の第４の実施形態に係るマルチディスプレイ装置の構成の一例を示した図。
【図１２】本発明の第５の実施形態に係るマルチディスプレイ装置の構成の一例を示した図。
【図１３】従来技術の問題点を説明するための図。
【符号の説明】
１…入力映像信号
２…画像分割部
３〜６…分割信号
７〜１０…演算処理部
１１〜１４…演算用メモリ
１５〜１８…出力メモリ
１９…ＣＰＵ
２０〜２３…ドライバ
２４〜２７…プロジェクタ
２８…入力音声信号
２９…Ａ／Ｄ変換部
３０…音声メモリ
３１…音声ドライバ
３２…スピーカー
３３…スクリーン
５１〜５４…分割画像処理部
６１、６２…分割画像処理装置
１０１…コンピュータ
１０２…画像データ
１０３…出力バッファ
１０４…ＣＰＵ
１０５…画像圧縮部
Claims (6)
- 表示された複数の画像を合成して１枚の画像を構成するマルチディスプレイ装置において、
前記複数の画像の画像情報を記憶する複数の画像記憶手段と、
前記合成される１枚の画像に対応する音声の音声情報を記憶する音声記憶手段と、
前記複数の画像記憶手段から同期を取って画像情報を並列的に読み出す画像読み出し手段と、
前記音声記憶手段から音声情報を読み出す音声読み出し手段と、
前記画像読み出し手段によって並列的に読み出された複数の画像情報に基づく複数の画像を表示する複数の画像表示手段と、を有し、
前記画像読み出し手段は、前記複数の画像記憶手段からの読み出しタイミングのうち最も遅れたタイミングに同期させて全ての画像記憶手段からの読み出しタイミングを調整し、
前記音声読み出し手段は、前記画像読み出し手段によって調整されたタイミングに同期させて音声情報を読み出す
ことを特徴とするマルチディスプレイ装置。 - 前記合成される１枚の画像の画像情報が入力される画像情報入力手段と、
前記画像情報入力手段に入力された画像情報を前記複数の画像情報に分割する画像情報分割手段と、
前記分割された分割画像情報に対してそれぞれ画像処理を行う画像処理手段と、をさらに有し、
前記画像読み出し手段は、画像処理が最も遅れた分割画像情報に同期させて前記読み出しタイミングを調整する
ことを特徴とする請求項１に記載のマルチディスプレイ装置。 - 前記複数の画像記憶手段に記憶される複数の画像情報は、それぞれのフレーム番号とともに記憶され、
前記画像読み出し手段は１以上の前記画像表示手段毎に設けられ、
複数の前記画像読み出し手段で、読み出し可能な画像情報のフレーム番号を互いに通信することによって読み出しタイミングを調整する
ことを特徴とする請求項１に記載のマルチディスプレイ装置。 - 前記音声読み出し手段は、前記画像読み出し手段によって読み出される複数フレームの画像情報に対応する音声情報をまとめて読み出すとともに、これらの複数フレーム毎に音声情報と画像情報との読み出しタイミングの同期をとる
ことを特徴とする請求項１に記載のマルチディスプレイ装置。 - 前記複数の画像記憶手段及び前記音声記憶手段に送られる画像情報及び音声情報の出力を制御する出力制御手段を有するコンピュータと、
前記出力制御手段の制御によって前記コンピュータから出力された画像情報に対する処理を制御する画像情報制御手段と、をさらに有し、
前記画像情報制御手段によって制御される処理が所定の時間内に終了しない場合に、前記画像情報制御手段から前記コンピュータに遅延情報を通信することにより、前記コンピュータから出力される画像情報及び音声情報を間引くように構成された
ことを特徴とする請求項１に記載のマルチディスプレイ装置 - 画像情報を圧縮する画像圧縮手段を有し、圧縮された複数の画像情報を前記複数の画像記憶手段に送出するコンピュータと、
前記コンピュータから読み出された圧縮された画像情報の伸張処理を含む処理の制御を行う画像情報制御手段と、をさらに有し、
前記画像情報制御手段によって制御される処理が所定の時間内に終了しない場合に、前記画像情報制御手段から前記コンピュータに遅延情報を通信することにより、前記画像圧縮手段での画像圧縮率を増大させるように構成された
ことを特徴とする請求項１に記載のマルチディスプレイ装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001349210A JP3791904B2 (ja) | 2001-11-14 | 2001-11-14 | マルチディスプレイ装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001349210A JP3791904B2 (ja) | 2001-11-14 | 2001-11-14 | マルチディスプレイ装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003153128A JP2003153128A (ja) | 2003-05-23 |
| JP3791904B2 true JP3791904B2 (ja) | 2006-06-28 |
Family
ID=19161912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001349210A Expired - Fee Related JP3791904B2 (ja) | 2001-11-14 | 2001-11-14 | マルチディスプレイ装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3791904B2 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4042573B2 (ja) * | 2003-01-21 | 2008-02-06 | 凸版印刷株式会社 | 画像同期装置及び同期制御装置 |
| JP2005244931A (ja) * | 2004-01-26 | 2005-09-08 | Seiko Epson Corp | マルチ画面映像再生システム |
| JP4731827B2 (ja) * | 2004-04-09 | 2011-07-27 | 三菱電機株式会社 | マルチ画面映像表示装置及びマルチ画面映像表示方法 |
| KR100654775B1 (ko) | 2004-12-08 | 2006-12-08 | 엘지.필립스 엘시디 주식회사 | 액정표시장치 및 이를 이용한 모바일단말기 |
| JP2006211164A (ja) * | 2005-01-27 | 2006-08-10 | Hitachi Ltd | マルチディスプレイ構成方法及び装置 |
| JP2007164060A (ja) * | 2005-12-16 | 2007-06-28 | Sharp Corp | 多画面表示装置 |
| JP5306152B2 (ja) * | 2009-11-12 | 2013-10-02 | 日本電信電話株式会社 | 映像分割再生方法、映像分割再生装置、及びプログラム |
| JP5455594B2 (ja) * | 2009-12-10 | 2014-03-26 | 日本電信電話株式会社 | 映像分割再生方法、映像分割再生装置、及びプログラム |
| JP5461454B2 (ja) * | 2011-02-10 | 2014-04-02 | 日本電信電話株式会社 | 映像分割再生方法、映像再生方法、映像分割再生システム、及び映像分割再生プログラム |
| JP5765963B2 (ja) * | 2011-02-18 | 2015-08-19 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| DE112011105224B4 (de) | 2011-05-11 | 2019-02-07 | Mitsubishi Electric Corp. | Bildinformations-Wiedergabeeinheit, Bildinformations-Wiedergabevorrichtung und Synchronisationskontrollverfahren |
| JP5896642B2 (ja) * | 2011-08-10 | 2016-03-30 | キヤノン株式会社 | 映像処理装置、映像処理方法、及びプログラム |
| JP6188284B2 (ja) * | 2012-07-03 | 2017-08-30 | キヤノン株式会社 | 画像表示装置、その制御方法及びプログラム |
| CN103974050B (zh) * | 2014-05-13 | 2016-04-13 | 中国人民解放军68029部队 | 单机多通道投影同步方法 |
| JP6418010B2 (ja) * | 2015-03-02 | 2018-11-07 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法及び表示装置 |
| CN104717438B (zh) * | 2015-03-02 | 2018-12-14 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| US9912845B2 (en) | 2015-03-26 | 2018-03-06 | Mitsubishi Electric Corporation | Video information reproduction system and video information reproduction device |
| JP6620079B2 (ja) | 2016-09-08 | 2019-12-11 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理システム、画像処理方法およびコンピュータプログラム |
| JP6787146B2 (ja) * | 2017-01-20 | 2020-11-18 | セイコーエプソン株式会社 | 表示システム、表示装置及び表示システムの制御方法 |
| TW202019149A (zh) * | 2018-11-01 | 2020-05-16 | 宏正自動科技股份有限公司 | 影像控制裝置以及使用該裝置之電視牆系統與輸出影像至電視牆的控制方法 |
| JP7547912B2 (ja) | 2020-10-07 | 2024-09-10 | 株式会社リコー | 表示システム、表示装置、表示方法、及びプログラム |
| JP2022088031A (ja) * | 2020-12-02 | 2022-06-14 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、信号処理方法、および表示システム |
| CN112817548B (zh) * | 2021-01-28 | 2022-08-12 | 浙江大华技术股份有限公司 | 电子设备、显示控制方法、显示方法、装置和存储介质 |
-
2001
- 2001-11-14 JP JP2001349210A patent/JP3791904B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003153128A (ja) | 2003-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3791904B2 (ja) | マルチディスプレイ装置 | |
| RU2214066C2 (ru) | Архитектура памяти для многоформатного процессора видеосигнала | |
| JP3617573B2 (ja) | フォーマット変換回路並びに該フォーマット変換回路を備えたテレビジョン受像機 | |
| JP4375313B2 (ja) | 画像音声出力システム、画像音声データ出力装置、音声処理プログラム、及び記録媒体 | |
| CA2210196C (en) | Video signal converter and television signal processing apparatus | |
| EP0703706B1 (en) | Digital television set | |
| JP2004522365A (ja) | 多チャンネル入力の高画質多重画面分割装置及び方法 | |
| US20040119847A1 (en) | Image processing apparatus, image processing method, recording medium, and program | |
| JP4940030B2 (ja) | 送信装置、受信装置、およびプログラム | |
| JP5330015B2 (ja) | 動画像送信端末 | |
| JP2000042247A5 (ja) | ||
| WO2006064604A1 (ja) | 画像処理装置 | |
| JP2002125200A (ja) | 動画像フォーマット変換装置 | |
| JP2014216668A (ja) | 撮像装置 | |
| JP2008015565A (ja) | 画像処理回路および画像処理システムならびに画像処理方法 | |
| JP3685386B2 (ja) | 複数のビデオ・ソースを有し、オンスクリーン表示グラフィックスでピクチャ内ピクチャを実現する統合ビデオ処理システム | |
| JP2000092365A (ja) | 信号処理装置 | |
| JP2002135772A (ja) | 画像伝送システム | |
| JP2000333166A (ja) | 高効率符号化画像の復号手段及び同手段を有する画像表示装置 | |
| JPH09116898A (ja) | 映像信号伝送システム | |
| KR100378706B1 (ko) | 디지털 영상 시스템의 다 채널 지원 장치 및 그 방법 | |
| JPH10155123A (ja) | 圧縮復号データ表示システム | |
| JP2000032475A (ja) | 動画像再生装置 | |
| JP2002135768A (ja) | データ受信装置、データ送受信システム | |
| JP2894870B2 (ja) | 画像蓄積装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041115 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060320 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060403 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090414 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120414 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130414 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140414 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |