JP5487929B2 - 画像同期装置 - Google Patents

Description

本発明は、複数の画像信号源により生成される各画像を同期させて一画面に表示させるための画像同期装置及び同期制御装置に関する。

同一対象を撮像した互いに隣り合う画像信号を、複数の画像信号源によりそれぞれ生成し、これら画像信号による各画像を組合せて表示する場合、各画像中の同時刻のシーンが同時に表示装置に表示される必要がある。

このとき、画像機器やコンピュータで通常利用される画像信号形式では、１画像を構成する画素の値が所定の順序で時系列的に伝送されるため、各画像信号源から送出される１画像の開始タイミングを互いに一致させる必要がある。

例えば、１画面を画像信号源となる４台の画像再生装置で分割再生し、４つの分割画像の画像信号をそれぞれ直接にプロジェクタに入力し、上下左右に並べて合成画面として出力する場合を考える。
この場合、図１０に示すように、時刻ｔ１で合成画面Ｇが正常に表示されたとしても、各チャネル１〜４のｇ１〜ｇ４に表示される画像信号を同期させないと、各チャネル１〜４間で時間差が生じ、時刻ｔ２では合成画面Ｇの分割画像ｇ１〜ｇ４間で画像にズレが生じるという不具合がある。

以上のような不具合を解消する観点から、各画像信号源により生成された分割画像の開始タイミングを一致させるように、他の画像信号源との同期機能を備えた画像同期装置が実現されている（特許文献１等）。

特許文献１に記載の画像同期装置は、各画像信号源とプロジェクタとの間に配置され、開始タイミングが異なる複数の画像信号をフレームメモリに一時蓄積し、各画像信号源から与えられるタイミング情報に基づいて、これらを同期させたタイミングで１台のプロジェクタに出力するものである。

特開２００４−２２８７４７

しかしながら、画像再生装置から与えられる画像生成に関わるタイミング情報は、プロジェクタに入力される画像信号のタイミングと正確に関係付けられるとは限らない。
例えば、三次元ＣＧモデルからリアルタイムに画像を生成するリアルタイムレンダリングシステムの場合、図１１に示すように、当該システムの制御プログラムによって把握可能なタイミングは、レンダリングエンジンに描画コマンドを与えるタイミングｔ１、ｔ２、ｔ３であり、描画コマンドを反映した画像信号の出力タイミングｔ１’、ｔ２’、ｔ３’ではない場合がある。

さらに、レンダリングエンジンの性能や負荷状態によって、描画コマンドを与えてから、当該描画コマンドを反映した画像信号が出力されるまでの時間が変動する場合がある。結果として、図１２に示すように、制御プログラムにより把握されているタイミングと画像信号の出力タイミングが異なるだけでなく、各チャネルに同一タイミングで描画コマンドを与えたにも関わらず、異なるタイミングで画像信号が出力される場合がある。

同様に、図１３に示すように、画像信号源となる複数台の画像再生装置（プレーヤ）６０２、６０３、６０４をコンピュータ６０１からの外部コマンドにより同期再生しようとする場合、各々の画像再生装置に同時に再生コマンドを与えた場合においても、コマンドの伝送時間やコマンド対する反応時間差などにより、各画像再生装置の再生動作が同時に開始されるとは限らない。また、コンピュータから現在の再生位置を問い合わせることが可能である場合にも、返される値の精度やコマンドや応答の遅れにより、誤差が生じる場合がある。

特に、同期再生機能を有するプロフェッショナル用途の画像再生装置でなく、一般利用者向けのパーソナルコンピュータや画像再生装置を用いる場合、複数の画像信号源により生成される各画像信号の同時刻のシーンが同時に表示装置に表示されるよう制御することは困難である。

本発明は上記実情を考慮してなされたもので、その目的は、画像信号源となる装置の特性によらず、複数の画像信号源により生成された各画像信号の同期をとることのできる画像同期装置を提供することにある。

上記目的を達成するために、請求項１に記載する発明は、複数の画像信号源それぞれから伝送される、画像信号源の数と同数のチャネルの画像信号の同期を取るための画像同期装置であって、各チャネルの前記画像信号に含まれるタイミング信号、または前記画像信号と一体的に前記複数の画像信号源からそれぞれ伝送されるタイミング信号に基づいて、各チャネル間の時間差を解消する画像信号タイミング制御手段を備え、前記タイミング信号は前記画像信号のフレーム番号であり、前記画像同期装置は、前記チャネルごとに、前記画像信号源から供給される画像信号をフレーム単位で蓄積する、任意の数のメモリ領域からなる画像メモリと、前記画像信号に含まれる前記フレーム番号を格納する、前記メモリ領域の数と同数のレベルからなるフレーム番号キューとを有し、前記時間差の解消は、前記フレーム番号キューに格納されているフレーム番号を互いに異なる各チャネル間で比較し、その比較結果をもとに行われ、前記比較結果をもとに行われる時間差の解消は、前記フレーム番号キューの特定のレベル以下のレベルの中で、同一のフレーム番号を探索し、全チャネルで共通のフレーム番号が見つかった場合には、当該フレーム番号のフレームを次に出力するフレームと決定することにより行われることを特徴とする。

また、請求項２に対応する発明は、複数の画像信号源それぞれから伝送される、画像信号源の数と同数のチャネルの画像信号の同期を取るための画像同期装置であって、各チャネルの前記画像信号に含まれるタイミング信号、または前記画像信号と一体的に前記複数の画像信号源からそれぞれ伝送されるタイミング信号に基づいて、各チャネル間の時間差を解消する画像信号タイミング制御手段を備え、前記タイミング信号は前記画像信号のフレーム番号であり、前記画像同期装置は、前記チャネルごとに、前記画像信号源から供給される画像信号をフレーム単位で蓄積する、任意の数のメモリ領域からなる画像メモリと、前記画像信号に含まれる前記フレーム番号を格納する、前記メモリ領域の数と同数のレベルからなるフレーム番号キューとを有し、前記時間差の解消は、前記フレーム番号キューに格納されているフレーム番号を互いに異なる各チャネル間で比較し、その比較結果をもとに行われ、前記比較結果をもとに行われる時間差の解消は、前記フレーム番号キューの特定のレベル以下のレベルの中で、同一のフレーム番号を探索し、全チャネルで共通のフレーム番号が見つからなかった場合には、前記フレーム番号キューのうち最新のフレーム番号が格納されているレベル０のフレーム番号を全チャネルで比較し、最小のフレーム番号が格納されているチャネルｎのレベル０のフレーム番号をＦｎとし、他のチャネルｍ（ｍ≠ｎ）のレベル０のフレーム番号をＦｍとした場合の、ＦｍとＦｎの差であるΔＦｍを求め、前記チャネルｍの前記画像信号源に対して、画像出力をΔＦｍに相当する期間の間、一時停止するコマンドを送信し、再度前記フレーム番号キューの特定のレベル以下のレベルの中で、同一のフレーム番号を探索し、全チャネルで共通のフレーム番号が見つかった場合には、当該フレーム番号のフレームを次に出力するフレームと決定することにより行われることを特徴とする。

本発明の画像同期装置においては、各画像信号源から受けるタイミング信号に基づいて、各画像信号源から受ける画像信号間の時間差を解消するための画像信号タイミング制御を行うことにより、他の画像信号源に対する同期機能の無い複数の画像信号源により生成された各画像信号の同期を取ることができ、時間差の発生を阻止することができる。

また、本発明の画像同期装置においては、各画像信号をフレーム単位で画像メモリに蓄積すると同時に、フレーム番号をフレーム番号キューに格納し、前記フレーム番号キューに格納されているフレーム番号を各チャネル間で比較して、次の出力フレームを選択することにより、簡便な方法、構成で、複数の画像信号源により生成された各画像信号の同期を取ることができ、チャネル間の時間差の発生を阻止することができる。

本発明にかかる画像同期装置と、複数の画像信号源を備えた画像表示システムの構成を示す模式図である。 本発明にかかる画像同期装置に入力される画像信号を表す図である。 本発明にかかる画像同期装置内部の画像メモリの構成を表す図である。 本発明にかかる画像同期装置内部の画像メモリに画像信号を格納する方法を説明するための図である。 本発明にかかる画像同期装置内部のフレーム番号キューにフレーム番号を格納する方法を説明するための図である。 フレーム番号キューの内部を探索する方法を示すフローチャートである。 フレーム番号キューの内部を探索する方法を説明するためにフレーム番号キューの格納パターンを示した図である。 フレーム番号キューの内部を探索する方法を説明するためにフレーム番号キューの格納パターンを示した図である。 図６に示した探索方法により同一のフレーム番号が見つからなかった場合の同期不能からの回復手順を示すフローチャートである。 複数の画像信号源から出力して画像を合成した場合の課題について説明するための図である。 リアルタイムレンダリングシステムにおける画像信号の出力タイミングを説明するための図である。 リアルタイムレンダリングシステムにおける画像信号の出力タイミングを説明するための図である。 一台のコンピュータから複数の画像再生装置を同期再生させる場合の課題を説明するための図である。

以下、図面を参照して本発明の実施形態を詳細に説明する。

図１は、複数の画像信号源と、画像同期装置と、複数のプロジェクタを備えた画像表示システムの構成を示す模式図である。図１に表す画像表示システムの例は、４台の画像信号源１０１〜１０４、１台の画像同期装置２０、及び４台のプロジェクタ３０１〜３０４を備えている。
そして４台のプロジェクタの出力画像を互いに隣接させて配列することで一つの合成画像が表示される。
なお、図１において、各装置１０１〜１０４および３０１〜３０４及びその内部の機能ブロックは、下一桁（１〜４）が等しいものが同一のチャネル（信号系統）を表している。なお、この４系統のチャネルは一例であり、２系統以上であれば任意の数のチャネルに適用可能なことは言うまでもない。また、各装置は、専用装置として実現される場合に限らず、例えばその機能を実現させるためのプログラムが記憶媒体又はネットワークから読み出されてインストールされたパーソナルコンピュータ等の汎用コンピュータとして実現してもよい。これは以下の各実施形態でも同様である。

ここで、画像信号源１０１〜１０４は、各チャネル１〜４毎に、それぞれ分割画像をフレーム毎に表示するための画像信号（画像情報）を生成し、画像同期装置２０に出力する。ここで、画像同期装置２０に出力するタイミングは、各チャネル間で異なる場合がある。

画像の各フレームあるいは、画像の各フレームと一体的に出力される信号には、そのフレームが表示されるべき時刻を特定するための情報が含まれる。時刻を特定するための情報は、請求項１におけるタイミング信号に該当し、その内容は各画像フレームに対して順次振られたフレーム番号、再生開始からの経過時間など、各チャネルに出力される画像信号の時間的前後関係を求めることが可能な情報であればその形式は問わない。

そして、画像同期装置２０は、上記時刻を特定するための情報に基づいて、画像信号源１０１〜１０４からの出力画像の同期を行うためのタイミング制御部６０を有するが、そのタイミング制御方法について、以下詳細に述べる。なお、このタイミング制御部６０が請求項１における画像信号タイミング制御手段に相当する。

まず、画像信号源１０１〜１０４から出力される画像は、上記時刻を特定するための情報としての各画像フレームのフレーム番号を含んでいる。図２は、各フレームのフレーム番号を、画像信号の先頭ラスタの画素値に表して付加した例を示す。すなわち、図２において、チャネル１のフレーム番号２５、フレーム番号２６、フレーム２７番号と、そのフレームの画像信号の先頭ラスタの画素値を対応させているのである。

一方、画像同期装置２０は、連続した複数の画像フレームをチャネルごとに記憶できる画像メモリ４０を備える。画像メモリはチャネルごとのメモリ領域４０１〜４０４を備える。図３に示す例では、４つのチャネルそれぞれについて、８フレーム分の画像メモリを備える。

画像同期装置２０は、チャネル１〜４の画像信号源１０１〜１０４から入力された画像信号について、１フレームごとに図３に示す画像メモリ領域４０１〜４０４に蓄積する。図４には、フレーム番号２５〜２７の下位３ビットの値０〜７に基づいて、書き込む画像メモリ０〜７を選択する方式を例として示すが、１フレーム毎に画像メモリ０〜７を順次選択するなど、直近の複数画像フレームを保持できる方式であればよい。

また、画像同期装置２０は、各チャネルから入力された画像信号について、フレーム番号情報を格納することのできるフレーム番号キュー５０を有している。
これは、画像メモリに蓄積した画像フレームの蓄積順序を保持するためのもので、画像メモリに蓄積した各画像フレームに対応したフレーム番号を、チャネルごとに設けられたフレーム番号キューに格納する。本例では、８フレームの画像フレームの画像に対応した８レベルのキューを備えている。レベル０を最新の画像フレームのフレーム番号が保持され、レベル１には、最新フレームの１フレーム前の画像フレームのフレーム番号が保持される。以下同様である。
図５においては、例えば、画像メモリ４０１に蓄積されたチャネル１の最新の画像フレーム１５のフレーム番号１５が、チャネル１のフレーム番号キュー５０１のレベル０に保持され、その前のフレーム１４のフレーム番号１４が、チャネル１のフレーム番号キュー５０１のレベル１に保持されていることを示している。

次に、画像同期装置２０は、１フレーム分の画像信号を出力する度に、蓄積済みフレームの中から次に出力するフレームを決定するための探索を行う。その手順を図６のフローチャートに示す。
最初に、探索深さＤ＝０とする（Ｓ１１）。
各々のチャネルのキュー５０１〜５０４のレベル０からレベルＤまでの範囲を探索し（Ｓ１２）、同一のフレーム番号が４チャネル全てについて保持されていた場合（Ｓ１３）、当該フレームを次の画像同期装置２０からの出力フレームと判断し探索を完了する（Ｓ１４）。
レベル０からレベルＤまでの範囲で同じフレーム番号が見つからなかった場合には、次に、探索深さＤ＝Ｄ＋１とし、探索を繰り返す（Ｓ１７）。
探索深さＤ＝７としても探索が完了しない場合は（Ｓ１５）、同期不能と判断する（Ｓ１６）。

例えば、キューが図７に示す状態の場合、レベル７までを探索しても同一フレーム番号は存在しないため同期不能と判断される。さらに、レベル０におけるチャネル間のフレーム番号比較からチャネル２が他のチャネル４に対して１１フレーム先行していると判断できる。
この場合、画像同期装置２０は、チャネル２に対応する画像信号源１０２に対して、１１フレーム時間の一時停止を行うようにコマンドを発行する。

図８に、１１フレーム時間経過後のキューの状態を示す。チャネル２の先行状態が解消されて、全チャネルの時間差が約１フレームとなり、同期不能状態から脱する。

図９に、同期不能時の処理を一般化して示す。
最も遅延している（レベル０に保持されている最新フレーム番号が最小）のチャネルｎを特定し、その最新フレーム番号をＦｎとする（Ｓ２１）。
そして、チャネルｎ以外の全てのチャネルｍについて、その最新フレーム番号Ｆｍと、Ｆｎの差分ΔＦｍを求める（Ｓ２２）。
チャネルｍの画像生成動作がチャネルｎに対して、ΔＦｍ先行しているため、チャネルｍの画像信号源に対して、ΔＦｍフレーム時間の一時停止コマンドを発行する（Ｓ２３）。

図９に示す同期不能時の処理を図７の場合に当てはめると、最も遅延しているチャネルは、レベル０に保持されている最新フレーム番号が最小のチャネル４（ｎ＝４）であるから、その最新フレーム番号Ｆ４は１４である。
そして、他の全てのチャネル１、２、３について、その最新フレームＦ１、Ｆ２、Ｆ３とＦ４との差分を求めると、ΔＦ１＝１、ΔＦ２＝１１、ΔＦ３＝１となる。
よって、チャネル１に対しては１フレーム時間、チャネル２に対しては１１フレーム時間、チャネル３に対しては１フレーム時間の一時停止コマンドを、それぞれの画像信号源に発行する。

なお、ΔＦｍが７未満の場合には、図６に示す探索手順により、同期が可能なので、図９のＳ２３の一時停止コマンドはΔＦｍ≧７の場合にのみ発行するようにしてもよい。

以上説明したように本発明によれば、信号源として特別な措置を用いることなく画像同期装置を用いることにより、同期機能の無い複数の画像信号源により生成された各画像信号の同期を取ることができ、且つフレーム単位の時間差の発生を阻止でき、チャネル間の画像のずれを解消できる。

１０１〜１０４……画像信号源、２０……画像同期装置、３０１〜３０４……プロジェクタ、４０……画像メモリ、４０１〜４０４……画像メモリ領域、５０……フレーム番号キュー、５０１〜５０４……キュー、６０……タイミング制御部、６０１……コンピュータ、６０２〜６０４……画像再生装置、７０１……ＰＣ、７０２〜７０３……プレーヤ。

Claims (2)

1. 複数の画像信号源それぞれから伝送される、画像信号源の数と同数のチャネルの画像信号の同期を取るための画像同期装置であって、
   各チャネルの前記画像信号に含まれるタイミング信号、または前記画像信号と一体的に前記複数の画像信号源からそれぞれ伝送されるタイミング信号に基づいて、各チャネル間の時間差を解消する画像信号タイミング制御手段を備え、
   前記タイミング信号は前記画像信号のフレーム番号であり、
   前記画像同期装置は、前記チャネルごとに、
   前記画像信号源から供給される画像信号をフレーム単位で蓄積する、任意の数のメモリ領域からなる画像メモリと、
   前記画像信号に含まれる前記フレーム番号を格納する、前記メモリ領域の数と同数のレベルからなるフレーム番号キューとを有し、
   前記時間差の解消は、前記フレーム番号キューに格納されているフレーム番号を互いに異なる各チャネル間で比較し、その比較結果をもとに行われ、
   前記比較結果をもとに行われる時間差の解消は、前記フレーム番号キューの特定のレベル以下のレベルの中で、同一のフレーム番号を探索し、全チャネルで共通のフレーム番号が見つかった場合には、当該フレーム番号のフレームを次に出力するフレームと決定することにより行われる、
   ことを特徴とする画像同期装置。
2. 複数の画像信号源それぞれから伝送される、画像信号源の数と同数のチャネルの画像信号の同期を取るための画像同期装置であって、
   各チャネルの前記画像信号に含まれるタイミング信号、または前記画像信号と一体的に前記複数の画像信号源からそれぞれ伝送されるタイミング信号に基づいて、各チャネル間の時間差を解消する画像信号タイミング制御手段を備え、
   前記タイミング信号は前記画像信号のフレーム番号であり、
   前記画像同期装置は、前記チャネルごとに、
   前記画像信号源から供給される画像信号をフレーム単位で蓄積する、任意の数のメモリ領域からなる画像メモリと、
   前記画像信号に含まれる前記フレーム番号を格納する、前記メモリ領域の数と同数のレベルからなるフレーム番号キューとを有し、
   前記時間差の解消は、前記フレーム番号キューに格納されているフレーム番号を互いに異なる各チャネル間で比較し、その比較結果をもとに行われ、
   前記比較結果をもとに行われる時間差の解消は、前記フレーム番号キューの特定のレベル以下のレベルの中で、同一のフレーム番号を探索し、全チャネルで共通のフレーム番号が見つからなかった場合には、
   前記フレーム番号キューのうち最新のフレーム番号が格納されているレベル０のフレーム番号を全チャネルで比較し、
   最小のフレーム番号が格納されているチャネルｎのレベル０のフレーム番号をＦｎとし、他のチャネルｍ（ｍ≠ｎ）のレベル０のフレーム番号をＦｍとした場合の、ＦｍとＦｎの差であるΔＦｍを求め、
   前記チャネルｍの前記画像信号源に対して、画像出力をΔＦｍに相当する期間の間、一時停止するコマンドを送信し、
   再度前記フレーム番号キューの特定のレベル以下のレベルの中で、同一のフレーム番号を探索し、全チャネルで共通のフレーム番号が見つかった場合には、当該フレーム番号のフレームを次に出力するフレームと決定することにより行われる、
   ことを特徴とする画像同期装置。

Images