JP4262019B2 - 映像同期方法及び映像同期プログラム - Google Patents

映像同期方法及び映像同期プログラム Download PDF

Info

Publication number
JP4262019B2
JP4262019B2 JP2003271829A JP2003271829A JP4262019B2 JP 4262019 B2 JP4262019 B2 JP 4262019B2 JP 2003271829 A JP2003271829 A JP 2003271829A JP 2003271829 A JP2003271829 A JP 2003271829A JP 4262019 B2 JP4262019 B2 JP 4262019B2
Authority
JP
Japan
Prior art keywords
frame
video
time
transmission device
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003271829A
Other languages
English (en)
Other versions
JP2005033607A (ja
Inventor
敏和 池永
洋一 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2003271829A priority Critical patent/JP4262019B2/ja
Publication of JP2005033607A publication Critical patent/JP2005033607A/ja
Application granted granted Critical
Publication of JP4262019B2 publication Critical patent/JP4262019B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Generation (AREA)
  • Synchronizing For Television (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、3次元立体映像を構成する左眼用及び右眼用の映像を個別の映像送出装置から送出する際に、映像をフレーム単位で同期させる映像同期方法及び映像同期プログラムに関する。
左(右)眼用映像のフレーム表示タイミングに合わせて、右(左)眼用映像のフレーム表示タイミング(の位相)を自動調整できる機能を有していない3次元立体動画表示装置(例えば、左眼用映像表示と右眼用映像表示にそれぞれ別の市販の映像プロジェクターを用いる場合等)で左眼用映像と右眼用映像を1画面に同時に表示するシステムを構築する場合、フレーム毎に同時に表示すべき左眼用映像と右眼用映像を準備しておき、これらの垂直リフレッシュのタイミングすなわちフレームの送出タイミング(位相)を一致(同期)させた上で、この3次元立体動画表示装置に送出する必要がある。このようにフレームを送出しないと、視聴者に対して正確な立体視を提示できない状態が発生する。左眼用と右眼用の映像を、それぞれ1台のパーソナルコンピュータの映像送出装置から3次元立体動画表示装置へフレーム単位で同期して送出するには、たとえばフレームの送出タイミングを外部基準信号に一致させる機能(ゲンロック機能;特許文献1参照)をもつグラフィックスカード(ビデオカード)を利用する方法がある。左眼用と右眼用のパーソナルコンピュータに、このグラフィックスカードを搭載して、外部から同一の基準信号を与えることにより、左眼用映像と右眼用映像のフレームの送出タイミング(位相)を一致させて送出することができる。
また、ゲンロック機能に加えて、他のパーソナルコンピュータ上のグラフィックスカード(ビデオカード)がフレームの送出準備を完了したことを確認できる機能を有するグラフィックスカード(ビデオカード)を利用する方法もある。このグラフィックスカード(ビデオカード)を搭載したパーソナルコンピュータ等の映像送出装置を用いることでフレームの送出準備を完了した後の送出タイミングを一致させて送出することができる。
特開平10−84519号公報(段落0007〜0011、図1、図2)
コンピュータゲーム用機器等に使用される汎用のパーソナルコンピュータ用グラフィックスカード(ビデオカード)は、コンピュータゲーム等の発達に伴い、多くの機種が販売されていて、また送出速度(描画速度)の高速化が実現されている。しかし、これらのグラフィックスカード(ビデオカード)は一般に、前記従来の技術である、(1)ゲンロック機能、(2)他のパーソナルコンピュータ上のグラフィックスカード(ビデオカード)からフレームの送出準備を完了したことを確認して送出タイミングを一致して送出する機能、のいずれも有していない。しかも、集積回路化等により、改造を行うことで前記(1)か(2)の機能を持たせることも困難である。
さらに、ゲンロック機能をもつグラフィックスカードやグラフィックス機能に加えて、他のグラフィックスカード(ビデオカード)からフレームの送出準備を完了したことを確認する機能を有するグラフィックスカード(ビデオカード)は機種が限られていて、送出速度(描画速度)等の所要性能や用途に対しての機種選定が制限されてしまうという問題がある。
そこで、本発明の目的は、前記した従来の技術、すなわち(1)ゲンロック機能、(2)他のパーソナルコンピュータ上のグラフィックスカード(ビデオカード)からフレームの送出準備を完了したことを確認して送出タイミングを一致して送出する機能、のいずれも有していない汎用のグラフィックスカード(ビデオカード)を搭載したパーソナルコンピュータ等の映像送出装置を用いても、当該映像送出装置にフレーム毎に同時に表示すべき左眼用映像と右眼用映像を送出準備させて、垂直リフレッシュのタイミングすなわちフレームの送出タイミング(位相)を一致させて3次元立体動画表示装置に出力できる映像同期方法及び映像同期プログラムを提供することにある。
本発明は、前記目的を達成するために創案されたものであり、請求項1に記載の映像同期方法は、3次元立体映像を構成する左右眼用映像を送出する第一及び第二映像送出装置に対して、フレーム毎に同時に表示すべき映像を送出させて、その同時に表示すべきフレームを同時に出力する映像同期方法であって、時刻同期ステップと、フレーム送出準備完了検出ステップと、位相比較ステップと、フレーム遅延実行ステップと、フレーム同期ステップと、を含んでいることを特徴とする。
かかる構成によれば、映像同期方法は時刻同期ステップで、第一映像送出装置及び第二映像送出装置の内部時刻を一致させる。
この時刻同期ステップで一致された内部時刻によって、第一映像送出装置及び第二映像送出装置が表示時刻(フレーム(画像)を表示すべき時刻)が一致したフレームを送出準備する。なお、この送出準備とは、第一映像送出装置及び第二映像送出装置内での画面データを、各々の映像送出装置にて3次元立体動画表示装置へ送出することができるフレーム(データ)に変換するための準備を行うことである。そして、この送出準備は1フレームの時間より短い時間で済む場合もあれば、1フレームの時間以上を要する場合もある。なお、このように送出準備に要する時間が1フレームの時間以上となってフレームの送出を開始するタイミングと重なる場合、映像送出装置は先に送出準備して送出したフレームをそのタイミングで再送する。
そして、映像同期方法はフレーム送出準備完了検出ステップで、時刻同期ステップによって同一の表示時刻とされたフレームの送出準備に、前記のように1フレームの時間より長く要することがあっても、第一映像送出装置と第二映像送出装置から送出準備中であることを示す信号を受けて、その信号から、第一映像送出装置と第二映像送出装置とが共に送出準備が完了となるタイミングを検出する。すなわち、次の表示時刻でのフレームの送出準備が開始可能であることを検出する。この検出されたタイミングの後、時刻同期ステップで同期された内部時刻によって、第一映像送出装置及び第二映像送出装置が表示時刻の一致したフレームを送出準備する。すなわち、第一映像送出装置及び第二映像送出装置は、フレーム送出準備完了検出ステップでフレームの送出準備が完了するタイミングを検出されることと、その完了となるタイミングの後に時刻同期ステップで同期された内部時刻でフレームを送出準備することを繰り返すことになる。
そして、映像同期方法は位相比較ステップで、フレーム送出準備完了検出ステップで検出されたタイミングの後に、第一映像送出装置及び第二映像送出装置から送出されるフレームの送出開始タイミングを比較する。
そして、映像同期方法はフレーム遅延実行ステップで、位相比較ステップの比較結果が、第一映像送出装置から送出されるフレームの送出開始タイミングのほうが第二映像送出装置から送出されるフレームの送出開始タイミングより早いという結果の場合、第一映像送出装置から送出されるフレームに1フレームの時間を遅延させたフレームを出力し、そうでない場合には遅延をせずにそのままフレームを出力する。このフレーム遅延実行ステップの出力である第一映像送出装置からのフレームの送出開始タイミングは、このフレームと同時に表示すべき第二映像送出装置からのフレームの送出開始タイミングに比べて一定の時間遅れたものとなる。なお、この時間は1フレームの時間より短いものとなる。
そして、映像同期方法はフレーム同期ステップで、フレーム遅延実行ステップの出力に第二映像送出装置から送出されるフレームを同時に送出開始させて送出する。このようにして、映像同期方法は、第一映像送出装置及び第二映像送出装置にそれぞれ同時刻に表示すべき左眼用映像のフレームと右眼用映像のフレームとを送出準備させて、それらフレームの送出開始タイミング(位相)を一致させて3次元立体動画表示装置に送出することができる。
さらに、請求項2に記載の映像同期プログラムは、3次元立体映像を構成する左右眼用映像を送出する互いに内部時刻の同期した第一映像送出装置及び第二映像送出装置が送出する映像の同時に表示すべきフレームを入力して同時に出力するために、コンピュータを、フレーム送出準備完了検出手段、位相比較手段、フレーム遅延実行手段、フレーム同期手段、として機能させることを特徴とする。
かかる構成によれば、まず、第一映像送出装置及び第二映像送出装置が互いに同期した内部時刻に基づいて、表示時刻(フレーム(画像)を表示すべき時刻)が一致したフレームを送出準備する。なお、この送出準備とは、第一映像送出装置及び第二映像送出装置内での画面データを、各々の映像送出装置にて3次元立体動画表示装置へ送出することができるフレーム(データ)に変換するための準備を行うことである。そして、この送出準備は1フレームの時間より短い時間で済む場合もあれば、1フレームの時間以上を要する場合もある。なお、このように送出準備に要する時間が1フレームの時間以上となってフレームの送出を開始するタイミングと重なる場合、映像送出装置は先に送出準備して送出したフレームをそのタイミングで再送する。
そして、映像同期プログラムはフレーム送出準備完了検出手段で、同一の表示時刻であるフレームの送出準備に、前記のように1フレームの時間より長く要することがあっても、第一映像送出装置と第二映像送出装置から送出準備中であることを示す信号を受けて、その信号から、第一映像送出装置と第二映像送出装置とが共に送出準備が完了となるタイミングを検出する。すなわち、次の表示時刻でのフレームの送出準備が開始可能であることを検出する。この検出されたタイミングの後、時刻同期手段で同期された内部時刻によって、第一映像送出装置及び第二映像送出装置が表示時刻の一致したフレームを送出準備する。すなわち、第一映像送出装置及び第二映像送出装置は、フレーム送出準備完了検出手段でフレームの送出準備が完了するタイミングを検出されることと、その完了となるタイミングの後に互いに同期した内部時刻に基づいて表示時刻が一致したフレームを送出準備することを繰り返すことになる。
そして、映像同期プログラムは位相比較手段で、フレーム送出準備完了検出手段で検出されたタイミングの後に、第一映像送出装置及び第二映像送出装置から送出されるフレームの送出開始タイミングを比較する。
そして、映像同期プログラムはフレーム遅延実行手段で、位相比較手段の比較結果が、第一映像送出装置から送出されるフレームの送出開始タイミングのほうが第二映像送出装置から送出されるフレームの送出開始タイミングより早いという結果の場合、第一映像送出装置から送出されるフレームに1フレームの時間を遅延させたフレームを出力し、そうでない場合には遅延をせずにそのままフレームを出力する。このフレーム遅延実行手段の出力である第一映像送出装置からのフレームの送出開始タイミングは、このフレームと同時に表示すべき第二映像送出装置からのフレームの送出開始タイミングに比べて一定の時間遅れたものとなる。なお、この時間は1フレームの時間より短いものとなる。
そして、映像同期プログラムはフレーム同期手段で、フレーム遅延実行手段の出力に第二映像送出装置から送出されるフレームを同時に送出開始させて送出する。このようにして、映像同期プログラムは、第一映像送出装置及び第二映像送出装置が送出する同時刻に表示すべき左眼用映像のフレームと右眼用映像のフレームの送出開始タイミング(位相)を一致させて3次元立体動画表示装置に送出することができる。
本発明に係る映像同期方法及び映像同期プログラムは、次に示す優れた効果を効する。
請求項1の発明によれば、2台の映像送出装置から送出されるそれぞれのフレームについて、フレームの表示時刻を一致させて送出させ、送出開始タイミングを合わせて、すなわち同期して送出することができる。その結果、汎用のグラフィックスカード(ビデオカード)を搭載したパーソナルコンピュータ等の2台の映像送出装置に接続することで、それらの送出するフレームの表示時刻を一致させて送出させて、送出開始タイミングを一致させて送出することができて、3次元立体動画表示装置に正確な立体視のできる立体映像を表示させることができる。
請求項2の発明によれば、2台の映像送出装置から送出される、表示時刻が互いに一致したそれぞれのフレームについて、送出開始タイミングを合わせて、すなわち同期して送出することができる。その結果、汎用のグラフィックスカード(ビデオカード)を搭載したパーソナルコンピュータ等の2台の映像送出装置に接続することで、それらの送出するフレームの表示時刻を一致させて送出させて、送出開始タイミングを一致させて送出することができて、3次元立体動画表示装置に正確な立体視のできる立体映像を表示させることができる。
従って、請求項1及び請求項2の発明を用いることにより、左眼用映像と右眼用映像を画面に同時に提示する3次元立体動画システムを構築する際、従来の技術である、(1)ゲンロック機能及び(2)他のパーソナルコンピュータ上のグラフィックスカード(ビデオカード)からフレームの送出準備を完了したことを確認して送出タイミングを一致して送出する機能は有していないが、多くの機種が揃ったパーソナルコンピュータ用グラフィックスカード(ビデオカード)を選択肢にいれることができるため、描画速度等の性能面を考慮した、より適切なグラフィックスカード(ビデオカード)の選択が可能になるという効果がある。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
(実施の形態)
図1は、本発明の映像同期方法での実施の形態を示す映像同期システムの構成図である。この映像同期システム1は、3次元の立体映像を構成する左眼用映像と右眼用映像とを同期させて、映像受信装置(3次元立体動画表示装置)80に送出するシステムである。この受信装置80は3次元立体動画表示装置等であり、この映像同期システム1で同期されたフレームを受けて3次元立体動画を画面に表示するものである。この映像同期システム1は、映像同期装置10と、2つの映像送出装置70(70a、70b)と、で構成されている。この図1に示すように、映像送出装置70(70a)は第一映像送出装置、映像送出装置(70b)は第二映像送出装置にそれぞれ相当し、映像送出装置70(70a、70b)は映像同期装置10へフレームを送出して、映像同期装置10は映像受信装置80へフレームを送出する。
映像送出装置70(70a、70b)は、フレームを送出準備して、一定の長さのフレームを連送するものである。この図1に示すように、映像送出装置70(70a、70b)は、フレーム送出準備送出部71(71a、71b)と、制御部72(72a、72b)と、で構成されている。
フレーム送出準備送出部71(71a、71b)は、フレームを送出準備して、送出準備完了となった一定の長さフレームを連送するものである。このフレーム送出準備送出部71(71a、71b)は、フレーム送出準備部711(711a、711b)と、フレーム送出部712(712a、712b)と、で構成されている。フレーム送出準備部711(711a、711b)はフレームを送出準備するものであり、フレーム送出部712(712a、712b)は送出準備された一定の長さのフレームを連送するものである。制御部72(72a、72b)は,フレーム送出準備部711(711a、711b)とフレーム送出部712(712a、712b)の動作等の制御を行うものである。
なお、制御部72(72a、72b)は、フレーム送出準備部711(711a、711b)がフレーム送出準備中は論理Low値となりフレーム送出準備中でないときは論理High値の信号(フレーム非送出準備中信号)を、映像送出装置の外部に出力できる機能があるものとする。この制御部72は、映像送出装置がコンピュータの場合は、グラフィックカードへの制御プログラムに相当し、I/Oポートを介してフレーム非送出準備中信号を外部に出力する。本実施の形態では、この機能を持つ映像送出装置を想定する。
映像同期システム1では、映像送出装置70(70a)(第一映像送出装置)及び映像送出装置70(70b)(第二映像送出装置)にフレーム送出準備を開始する内部時刻を同期させる。ここで内部時刻を同期させるとは、一方の映像送出装置のフレーム送出開始タイミング(このタイミングでの内部時刻tnとする)に対して、1フレームの時間以内に発生する、もう一方の映像送出装置のフレーム送出開始タイミングでの内部時刻も同一のtnとすることである。
ここで図2を参照(適宣図1参照)して、第一映像送出装置と第二映像送出装置とで内部時刻を同期させる原理について説明する。図2は、この内部時刻を同期させる原理を示すタイミング図である。第一映像送出装置に相当する映像送出装置70(70a)は、図2(a)第一映像送出装置のフレーム送出開始タイミングでの第一映像送出装置の内部時刻の時系列Tn(T0、T1、T2、...Tn)のようなフレーム送出開始タイミングでフレームを送出する。第二映像送出装置は、第一映像送出装置のフレーム送出タイミング(図2(a)第一映像送出装置のフレーム送出開始タイミングでの第一映像送出装置の内部時刻の時系列(T0、T1、T2、...Tn))を第一映像送出装置から送出されるフレームの垂直リフレッシュ信号から検出する。
なお、この第二映像送出装置での第一映像送出装置の垂直リフレッシュ信号の検出は1フレームの時間に比べれば、瞬時と見なせるほど短時間で行われるものとする。第二映像送出装置がパーソナルコンピュータ等であって、割り込み入力機能を有する場合は、この割り込み入力機能で垂直リフレッシュ信号を検出することで、垂直リフレッシュ信号の検出を瞬時と見なせるほど短時間で行なうことができる。この後、第一映像送出装置及び第二映像送出装置ではいずれも、垂直リフレッシュ信号の検出は1フレームの時間に比べれば、瞬時と見なせるほど短時間で行われるという前提があるものとする。
従って、図2(a)の第一映像送出装置のフレーム送出開始タイミングでの第一映像送出装置の内部時刻の時系列Tnは、第二映像送出装置での第一映像送出装置の垂直リフレッシュ信号を検出したタイミングと一致する。さらに、図2(c)第二映像送出装置のフレーム送出開始タイミングでの第二映像送出装置の内部時刻の時系列Tn´は、第二映像送出装置で第二映像送出装置自体の垂直リフレッシュ信号を検出したタイミングと一致する。
また、第一映像送出装置は、第一映像送出装置自体のフレーム送出タイミングでの内部時刻情報I(T)を、第一映像送出装置自体で送出するフレームの垂直リフレッシュ信号を検出し、これをカウント(計時)することにより生成する。この垂直リフレッシュ信号の検出は前記の前提により瞬時に行なわれるとみなせて、さらにカウント(計時)にも余分な時間(遅延時間等)は加わらないとみなせるが、前記内部時刻情報I(T)を第二映像送出装置から第一映像送出装置に、第一映像送出装置と第二映像送出装置間のLAN等を介して転送するには転送時間を要する。従って、図2(b)のように、第一映像送出装置の内部時刻情報I(T)が第二映像送出装置に第一映像送出装置と第二映像送出装置間のLAN等を介して到着する到着時刻の時系列t(I(Tn))は、図2(a)の第一映像送出装置のフレーム送出開始タイミングでの第一映像送出装置の内部時刻の時系列Tnに比べて、LAN等での転送時間の分遅くなる。
そして、第一映像送出装置のフレーム送出タイミング(図2(a)第一映像送出装置のフレーム送出開始タイミングでの第一映像送出装置の内部時刻の時系列Tn)と第二映像送出装置のフレーム送出タイミング(図2(c)第二映像送出装置のフレーム送出開始タイミングでの第二映像送出装置の内部時刻の時系列Tn´)の位相状態によって、図2のケース1のように、時刻tnでの第一映像送出装置のフレーム送出タイミング、t(I(Tn))の到着タイミング、時刻tn´での第二映像送出装置のフレーム送出タイミングの順となる場合と、図2のケース2のように、時刻tnでの第一映像送出装置のフレーム送出タイミング、時刻tn´での第二映像送出装置のフレーム送出タイミング、t(I(Tn))の到着タイミングの順となる場合が発生する。
そこで、第二映像送出装置は、図2(b)のように、第一映像送出装置の内部時刻情報I(T)が第二映像送出装置に第一映像送出装置と第二映像送出装置間のLAN等を介して到着したことによって、その到着時刻の時系列t(I(Tn))(t(I(T0))、t(I(T1))、t(I(T2))、...t(I(Tn)))の時刻にセットされるフラグを用意して、第一映像送出装置のフレーム送出開始タイミングを検出すると、このフラグをリセットするものとする。
そして、第二映像送出装置は、第二映像送出装置自体のフレーム送出タイミング(図2(c)第二映像送出装置のフレーム送出開始タイミングでの第二映像送出装置の内部時刻の時系列(T0´、T1´、T2´、...Tn´))を第二映像送出装置自体のフレームの垂直リフレッシュ信号から検出し、このタイミングで、フラグを判定して、フラグがセットされていれば図2のケース1と、フラグがリセットされていればケース2と判定する。
そして、第二映像送出装置は、ケース1の場合、第二映像送出装置自体のフレーム送出開始タイミング時点Tn´の時刻を第一映像送出装置の内部時刻情報I(Tn)から得られる時刻Tnと設定する。また、第二映像送出装置は、ケース2の場合、第二映像送出装置自体のフレーム送出開始タイミング時点Tn´の時刻を、その時点で受信している第一映像送出装置の内部時刻情報I(T(n−1))から得られる時刻T(n−1)に1フレームの時間を足したもの、すなわち時刻Tnと設定する。こうして、第二映像送出装置は、第一映像送出装置とフレームの送出を開始する内部時刻を同期することができる。
図1に戻って説明を続ける。
映像同期装置10は、映像送出装置70(70a)と映像送出装置70(70b)の一方または両方がフレームの送出準備に1フレーム時間以上要することがあっても、両方の映像送出装置がフレーム毎に左眼用映像と右眼用映像の表示時刻が一致するように送出準備したフレームを、垂直リフレッシュのタイミングすなわちフレームの送出タイミング(位相)を一致させて、3次元立体動画表示装置80に送出するものである。
映像同期装置10は、フレーム送出準備完了検出部20と、位相比較部30と、フレーム遅延実行部40と、フレーム同期部50とを備えている。
フレーム送出準備完了検出部20は、基本機能と動作復旧機能を有するものである。基本機能とは、前記のように、第一映像送出装置と第二映像送出装置とで同一の表示時刻の画像とされたフレームを、フレームの送出準備に1フレーム時間より長く要することがあっても、映像送出装置70(70a)(第一映像送出装置)と映像送出装置70(70b)(第二映像送出装置)とで、共に送出準備が完了することを検出するものである。すなわち、フレーム送出準備完了検出部20は、次の表示時刻のフレームを送出準備開始が可能となることを検出するものである。動作復旧機能とは、映像送出装置10の電源投入時または動作中のノイズ等により、フレーム送出準備完了検出部20が実際は両映像送出装置が共にフレームの送出準備を完了しているにもかかわらず、フレームの送出準備中であると誤動作して検出している状態、もしくは、少なくとも一方の映像送出装置がフレームの送出準備を完了していないのにもかかわらず、両映像送出装置が共にフレームの送出準備を完了していると誤動作して検出している状態から復旧する機能である。
ここで、図3を参照(適宣図1参照)して、フレーム送出準備完了検出部20の詳細な構成について説明する。図3はフレーム送出準備完了検出部20の詳細な構成を示すブロック図である。この図3に示すように、フレーム送出準備完了検出部20は基本機能を有する基本動作部20Aと、動作復旧部20Bと、から構成される。基本動作部20Aはフレームの送出準備が完了することを検出するものであり、動作復旧部20Bは基本動作部20Aが誤動作している状態を復旧させるものである。
この基本動作部20Aは、1ショットパルス発生器21(21a,21b)と、RSフリップフロップ22(22a,22b)と、論理積器23(23a,23b)と、送出開始タイミング検出部24(24a,24b)と、論理和器25(25a)と、から構成される。また、動作復旧部20Bは、論理積器23(23c,23d)、論理和器25(25b,25c)、2進カウンタ26、論理否定器27と、から構成される。以下、基本動作部20A及び動作復旧部20Bの各構成について説明する。
(フレーム送出準備完了検出部の基本動作部の構成)
1ショットパルス発生器21(21a,21b)は、フレーム送出準備中は論理Low値となりフレーム送出準備中でないときは論理High値となる信号(フレーム非送出準備中信号)のUpEdgeを検出して、UpEdgeが同一時刻となる1ショットパルスを出力するものである。このUpEdgeのタイミングが該当する映像送出装置について送出準備の完了するタイミングとなる。
RSフリップフロップ22(21a,21b)は、図6の真理値表のように動作するもので、それぞれ1ショットパルス発生器21(21a,21b)から出力される1ショットパルスのUpEdgeでセットされて出力を論理High値とするものである。また、RSフリップフロップ22(22a,22b)は、論理積器23(23a)での出力のUpEdgeでリセットされて出力を論理Low値とするものである。この論理積器23(23a)については後記する。なお、論理積器23(23a)の出力は、動作復旧部20Bの信号を論理和(AND)として加算している論理和器25(25b)を介してRSフリップフロップ22(22a,22b)に入力される。そしてこの論理和器25(25b)に論理和(AND)として加算される動作復旧部20Bの信号は、基本動作部20Aが誤動作しない限り論理Low値なので、基本動作部20Aが誤動作しないならば、論理和器25(25b)の出力は論理積器23(23a)の出力と同一となる。
論理積器23(23b)は、RSフリップフロップ22(22a,22b)の論理積を出力するものである。すなわちRSフリップフロップ22(22a)とRSフリップフロップ22(22b)が共に論理High値を出力するとき(映像送出装置70(70a)(第一映像送出装置)及び映像送出装置70(70b)(第二映像送出装置)がフレーム送出準備を完了した時点で)論理積器23(23b)は論理High値を出力し、論理積器23(23a)での出力のUpEdgeでリセットされて出力を論理Low値とするものである。
送出開始タイミング検出部24(24a、24b)は、映像送出装置70(70a、70b)の送出フレームの垂直リフレッシュ信号から、そのフレーム毎の送出開始時刻を検出して1ショットパルスを出力するものである。送出開始タイミング検出部24(24a)は映像送出装置70(70a)からのフレームの出力開始タイミングを検出する。送出開始タイミング検出部24(24b)は映像送出装置70(70b)からのフレームの出力開始タイミングを検出する。
論理和器25(25a)は、送出開始タイミング検出部24(24a)と送出開始タイミング検出部24(24b)で出力された1ショットパルスの論理和を出力するものである。すなわち、映像送出装置70(70a)からのフレームの出力開始タイミングと、映像送出装置70(70b)からのフレームの出力開始タイミングとのいずれのタイミングでも、論理和器25の出力は1ショットパルスを出力するものとなる。
論理積器23(23a)は、論理和器25(25a)の出力と論理積器23(23b)の出力の論理積を出力するものである。すなわち、RSフリップフロップ22(22a)とRSフリップフロップ22(22b)が共に論理High値を出力するとき(論理積器23(23b)は論理High値を出力するとき)であれば、映像送出装置70(70a)からのフレームの出力開始タイミングと映像送出装置70(70b)からのフレームの出力開始タイミングとのいずれのタイミング(このタイミングで論理和器25の出力は1ショットパルスを出力する)でも論理積器23(23a)の出力は1ショットパルスを出力する。
従って、フレーム送出準備完了検出部20の出力となる論理積器23(23b)の出力は、映像送出装置70(70a)と映像送出装置70(70b)が共にフレーム送出準備を完了した時点で論理High値となり、その後、映像送出装置70(70a)からのフレームの出力開始タイミングと映像送出装置70(70b)からのフレームの出力開始タイミングとのいずれのタイミングでも論理Low値となるものとなる。そして、この出力のUpEdgeのタイミングが映像送出装置70(70a)と映像送出装置70(70b)とで、共に送出準備完了となるタイミングとなる。
(フレーム送出準備完了検出部の基本動作部の内部動作)
ここで図4を参照して、フレーム送出準備完了検出部の基本動作部20Aの内部動作について説明する(適宣図1、図3参照)。図4は、フレーム送出準備完了検出部20の基本動作部20Aの内部動作を示すタイミングチャートである。この図4では横軸は時間を表わす。
図4(a)は第一映像送出装置に相当する映像送出装置70(70a)でのフレームの送出周期を表わすものである。第一映像送出装置は図4(a)のような一定のフレーム周期Tpでフレームを送出し、この周期の開始タイミングでフレーム送出準備を開始する。図4(b)は第一映像送出装置でのフレームの送出準備時間を表わすものである。図4(b)の矢印P(t0)からP(t2)はフレーム送出準備時間を表わし、その始点がフレーム送出準備開始時間、終点がフレーム送出準備完了時間に対応する。
図4(e)は第二映像送出装置に相当する映像送出装置70(70b)でのフレームの送出周期を表わすものである。第二映像送出装置も、同じく図4(f)のような一定のフレーム周期Tpでフレームを送出し、この周期の開始タイミングでフレーム送出準備を開始する。図4(f)は第二映像送出装置でのフレームの送出準備時間を表わすものである。図4(f)の矢印P(t0)からP(t2)はフレーム送出準備時間を表わし、その始点がフレーム送出準備開始時間、終点がフレーム送出準備完了時間に対応する。なお、この図4で、第一映像送出装置での矢印P(t0)と第二映像送出装置での矢印P(t0)は、表示時刻が第一映像送出装置の内部時刻t0に基づいたフレームをあらわす。矢印P(t1)と矢印P(t2)についても同様である。
ここで、第一映像送出装置の矢印P(tn)と第二映像送出装置の矢印P(tn)が同一の表示時刻のフレームとなることについて説明する。前記の通り、第一映像送出装置でのフレームの送出を開始するタイミングにおける時刻tn(t0、t1、t2等)と、そのタイミングから1フレームの時間Tp以内に発生する第二映像送出装置でのフレームの送出を開始するタイミングの内部時刻tn´(t0´、t1´、t2´等)は、同一の内部時刻tn(t0、t1、t2等)となっている。従って、第一映像送出装置と第二映像送出装置とで共にフレーム送出準備完了となった後、第一映像送出装置のフレームの送出を開始するタイミングの方が早い場合は、第一映像送出装置はそのフレームの送出を開始するタイミングから、その内部時刻tnに基づいた(例えばtn+b(bは定数)のような)時刻を表示時刻とするフレームの送出準備を始め、第二映像送出装置ではそのタイミングの後であって最初となる第二映像送出装置でのフレームの送出を開始するタイミングで、その内部時刻tn(=tn´)に基づいた(例えばtn+bのような)時刻を表示時刻とするフレームの送出準備を始めれば、この2つのフレームは同一の表示時刻のフレームとなる。
また、第一映像送出装置と第二映像送出装置とで共にフレーム送出準備完了となった後、第一映像送出装置のフレームの送出を開始するタイミングが遅い(同時の場合も含む)場合は、第二映像送出装置は、そのタイミングでの内部時刻tnに基づいた(例えばtn+b(bは定数)のような)時刻を表示時刻としたフレームの送出準備を始め、第一映像送出装置では、そのタイミングの後であって最初となる時刻t(n+1)のタイミングで内部時刻tnに基づいた(例えばtn+bのような)時刻を表示時刻としたフレームの送出準備を始めることで、この2つのフレームは同一の表示時刻のフレームとなる。
前記のように、同一の表示時刻のフレームを作成する際の第一映像送出装置には、第一映像送出装置と第二映像送出装置とで共にフレーム送出準備完了となった後、第一映像送出装置のフレームの送出を開始するタイミングの方が早い場合の内部時刻tnでのタイミングか、遅い場合(同時の場合も含む)の内部時刻t(n+1)のタイミングかによって、送出準備を始めるフレームの表示時刻が、内部時刻と同一の時刻tnに基づくか、1フレームの時間分前の内部時刻tnに基づくかを判断する情報が必要である。この情報に相当するのは、後記する位相比較部30の出力となる、第一映像送出装置と第二映像送出装置とで共にフレーム送出準備完了となった後、第一映像送出装置のフレームの送出を開始するタイミングの方が早くなるか遅くなるかの比較結果の出力である。第一映像送出装置は、図1のように、この出力を制御部72(72a)に入力されることで、この情報を得て、送出準備を始めるフレームの表示時刻を前記のように判断して変えることができる。
フレーム送出準備完了検出部の基本動作部20Aの内部動作についての説明を続ける。図4(c)の第一映像送出装置フレーム送出準備完了パルスと図4(g)の第二映像送出装置フレーム送出準備完了パルスは、フレーム非送出準備中信号を受けて1ショットパルス発生器21(21a,21b)が出力するフレーム送出準備を完了すると共に出力される1ショットパルスの信号である。図4(c)では、時刻tp(t0)や時刻tp(t1)等にUpEdgeとなる1ショットパルス、図4(g)では、時刻tp(t0)´や時刻tp(t1)´等にUpEdgeとなる1ショットパルスとなる。
これら1ショットパルスのUpEdgeをRSフリップフロップ22(22a)とRSフリップフロップ22(22b)とが検出して出力を論理High値とする。すなわち、図4(d)のRSフリップフロップ22(22a)出力では時刻tp(t0)や時刻tp(t1)、そして図4(h)のRSフリップフロップ22(22b)出力では時刻tp(t0)´や時刻tp(t1)´のように、各映像送出装置でフレーム送出準備完了毎に論理High値となる。なお、RSフリップフロップ22(22a、22b)は、最初にリセットされていて、出力値は論理Low値となっているものとする。
図4(i)の論理積器23(23b)出力の時刻tp(t0)からt1、及び時刻tp(t1)からt2´のように、RSフリップフロップ22(22a)とRSフリップフロップ22(22b)が共に論理High値を出力するとき、論理積器23(23b)の出力は論理High値となる。
図4(j)の第一映像送出装置出力の送出開始タイミング検出部24(24a)出力のように、送出開始タイミング検出部24(24a)は、第一映像送出装置70(70a)の送出フレームから、そのフレーム毎の出力開始タイミングを検出して1ショットパルスを出力する。同様に、図4(k)の第二映像送出装置出力の送出開始タイミング検出部24(24b)出力のように、送出開始タイミング検出部24(24b)は、第二映像送出装置の送出フレームから、そのフレーム毎の出力開始タイミングを検出して1ショットパルスを出力する。
図4(l)の論理和器25(25a)出力のように、論理和器25(25a)の出力は、図4(j)の第一映像送出装置出力の送出開始タイミング検出部24(24a)出力と図4(k)の第二映像送出装置出力の送出開始タイミング検出部24(24b)出力の論理和となる複数の1ショットパルスとなる。
論理積器23(23a)の出力は、図4(i)の論理積器23(23b)出力と図4(l)の論理和器25(25a)出力との論理積を出力し、この出力で、RSフリップフロップ22(22a)とRSフリップフロップ22(22b)をリセットする。図4の時刻t1、時刻t2´、時刻t4のように、図4(i)の論理積器23(23b)出力は論理High値であったところに、図4(l)の論理和器25(25a)出力のような1ショットパルスが発生して、論理積器23(23a)の出力が論理High値となるUpEdgeで、RSフリップフロップ22(22a)とRSフリップフロップ22(22b)がリセットされ、図4(d)のRSフリップフロップ22(22a)出力と図4(h)のRSフリップフロップ22(22b)出力及び図4(i)の論理積器23(23b)出力は論理Low値となる。その結果、論理積器23(23a)の出力も論理Low値となり、図4(m)の論理積器23(23a)の時刻t1、時刻t2´、時刻t4のように、論理High値になった後、すぐに論理Low値となる。
この図4で明らかなように、図4(i)の論理積器23(23b)の出力が論理High値となるUpEdgeのタイミングが、第一映像送出装置及び第二映像送出装置で同一の表示時刻のフレームの送出準備が完了するタイミングとなる。
(フレーム送出準備完了検出部の動作復旧部の構成)
ここで、図3に戻ってフレーム送出準備完了検出部20の構成の説明を続ける。動作復旧部20Bは、映像送出装置10の電源投入時または動作中のノイズ等により、基本動作部20AのRSフリップフロップ22(22a、22b)が共に誤動作して各映像送出装置が送出準備を完了した後に論理High値を出力していない状態が続く場合、すなわちフレームの送出準備を誤動作して検出しない場合、予め設定した回数までフレーム送出開始タイミングをカウントした後にRSフリップフロップ22(22a,22b)をリセットして基本動作部20Aの動作を復旧する機能を有するものである(リセット機能)。
さらに、少なくとも一方の映像送出装置がフレームの送出準備を完了していないのにもかかわらず、両映像送出装置が共にフレームの送出準備を完了していると誤動作して検出している状態、すなわちRSフリップフロップ22(22a,22b)の出力が論理High値となっているとき、論理積器23(23d)の出力を強制的に論理Low値とすることにより、誤動作を防止する機能を有するものである(出力限定機能)。
さらに、フレーム送出準備完了検出部20は、前記リセット機能でのリセットの際に、RSフリップフロップ22(22a,22b)をリセットする信号も、フレーム送出準備完了検出部20の出力に論理和器25(25c)で論理和させて出力する。正常動作をしている場合は、両映像送出装置がフレーム送出準備を完了すると、RSフリップフロップ22(22a,22b)の出力が論理High値となることによりフレーム送出準備完了検出部20の出力となる論理和器25(25c)の出力を論理High値とするが、前記リセット機能でリセットする誤動作の状態のときは、強制的に両映像送出装置でのフレームの送出準備を完了として、RSフリップフロップ22(22a,22b)をリセットする論理High値の信号を論理和器25(25c)で論理和させてフレーム送出準備完了検出部20の出力として出力する。この論理High値の信号を出力する状態は一方の映像送出装置がフレーム送出準備を開始するタイミングまで続く。(送出準備完了代替出力機能)
論理積器23(23c)は、第一映像送出装置及び第二映像送出装置のフレーム非送出準備中信号を受けて、両映像送出装置が共に非送出準備中であるときに論理High値となる出力をするものである。
2進カウンタ26は、両映像送出装置が共に非送出準備中であるときに論理High値となる論理積器23(23c)の出力をカウント許可信号として受けて、第一映像送出装置送出フレームの送出開始タイミング検出部24(24a)出力と第二映像送出装置送出フレームの送出開始タイミング検出部24(24b)出力の論理和となる論理和器25(25a)からの複数の1ショットパルスのUpEdgeをカウントするものである。
そして、論理否定器27は、論理積器23(23c)の出力を反転した、両映像送出装置のいずれかまたは両方が送出準備中であるときに論理High値となる信号を2進カウンタ26へのリセット信号として出力する。そのため、2進カウンタ26は、両映像送出装置のいずれかまたは両方が送出準備中であるときに論理High値となるUpEdgeでリセットされる。すなわち、2進カウンタ26は、両映像送出装置が共に非送出準備中のときに、第一映像送出装置での送出フレームの送出開始タイミングと第二映像送出装置の送出フレームの送出開始タイミングとをカウントする。
そして、2進カウンタ26は予め設定されたカウント数をカウントしたとき論理High値の信号を出力する。この予め設定されたカウント数は、2進カウンタ26に設定する。このカウント数が2の冪、たとえば2、4、8等となる場合、カウンタ出力は2進出力の対応するビット(例えば、4なら最下から3つ目のビット)を出力するようにすることで、論理High値の信号を出力できる。
そして、2進カウンタ26の論理High値となる出力信号を、RSフリップフロップ22(22a,22b)をリセットする信号として、論理積器23(23a)の出力側に論理和として加えるために、論理和器25(25b)を設けて、2進カウンタ26の出力と論理積器23(23a)の出力との論理和でRSフリップフロップ22(22a,22b)をリセットする。こうすることによって、前記したリセット機能が実現される。
また、論理和器25(25c)は、先の出力限定機能によって限定された出力である論理積器23(23d)の出力(フレーム送出準備完了検出部20Bの出力)に2進カウンタ26の論理High値の信号を論理和として加えるものである。こうすることで、RSフリップフロップ22(22a,22b)の少なくとも一方が誤動作して、両映像送出装置が共に送出準備を完了した後に論理High値となる出力をしていない状態が続く場合に、予め設定された回数の送出開始タイミングをカウントした時点で2進カウンタ26の出力は論理High値となり、この出力はRSフリップフロップ22(22a,22b)をリセットし、またフレーム送出準備完了検出部20の出力を論理High値とする(送出準備完了代替出力機能)。
図1に戻って、映像同期装置10の説明を続ける。
位相比較部30は、フレーム送出準備完了検出部20によって検出された、両映像送出装置で送出準備が完了したタイミングの後、映像送出装置70(70a)(第一映像送出装置)でフレームを送出開始するタイミングと映像送出装置70(70b)(第二映像送出装置)でフレームを送出開始するタイミングを比較するものである。
ここで、図5を参照して、位相比較部30の構成について説明する。図5は位相比較部30の構成を示すブロック図である。ここでは、位相比較部30は、送出開始タイミング検出部31(31a、31b)とRSフリップフロップ32と、2進カウンタ33と、Dラッチ34と、1ショットパルス発生器35と、を備えている。
送出開始タイミング検出部31(31a、31b)は、映像送出装置70(70a、70b)の送出フレームの垂直リフレッシュ信号から、そのフレームの送出開始タイミングを検出して1ショットパルスを出力するものである。送出開始タイミング検出部31(31a)は第一映像送出装置からのフレームの送出開始タイミングを検出する。送出開始タイミング検出部31(31b)は第二映像送出装置からのフレームの送出開始タイミングを検出する。
1ショットパルス発生器35は、フレーム送出準備完了検出部20の出力からフレームの送出準備が完了となるタイミングでのUpEdgeを検出して、UpEdgeが同一時刻となる1ショットパルスを出力するものである。
RSフリップフロップ32は、図6の真理値表のように動作するもので、1ショットパルス発生器35からのフレームの送出準備が完了するタイミングでUpEdgeとなる1ショットパルスでセットされて出力が論理High値となり、送出開始タイミング検出部31(31a)からの第一映像送出装置のフレームの送出開始タイミングでUpEdgeとなる1ショットパルスでリセットされ出力が論理Low値となるものである。
2進カウンタ33は、RSフリップフロップ32の出力をカウント許可信号として受けて、第二映像送出装置からの送出開始タイミング検出部31(31b)の出力である1ショットパルスのUpEdgeをカウントして、出力値が0から1に変化するものである(カウント動作)。さらに、2進カウンタ33は、1ショットパルス発生器35からのフレームの送出準備が完了するタイミングでUpEdgeとなる1ショットパルスでリセットされて出力値が1から0に戻るものである(リセット動作)。なお、2進カウンタ33は、最下位ビットを出力するようにするので、0から1をカウントできる1ビットのもので充分である。
Dラッチ34は、送出開始タイミング検出部31(31b)の出力値である1ショットパルスのUpEdgeのタイミングで2進カウンタ33の出力の最下位ビット値をラッチ(保持)するものである。
(位相比較部の内部動作)
ここで、図7を参照して、位相比較部30の内部動作について説明する(適宣図5参照)。図7は位相比較部30の内部動作を示すタイミングチャートである。なお、この図7では横軸は時間を表す。
図7(a)は第一映像送出装置に相当する映像送出装置70(70a)でのフレームの送出周期を表わすものである。第一映像送出装置は図7(a)のような一定のフレーム周期Tpでフレームを送出し、この周期の開始タイミングでフレーム送出準備を開始する。図7(b)は第一映像送出装置でのフレームの送出準備時間を表わすものである。図7(b)の矢印P(t0)からP(t2)はフレーム送出準備時間を表わし、その始点がフレーム送出準備開始時間、終点がフレーム送出準備完了時間に対応する。
図7(c)は第二映像送出装置に相当する映像送出装置70(70b)でのフレームの送出周期を表わすものである。第二映像送出装置も、図7(c)のような一定のフレーム周期Tpでフレームを送出し、この周期の開始タイミングでフレーム送出準備を開始する。図7(d)は第二映像送出装置でのフレームの送出準備時間を表わすものである。図7(d)の矢印P(t0)からP(t2)はフレーム送出準備時間を表わし、その始点がフレーム送出準備開始時間、終点がフレーム送出準備完了時間に対応する。なお、この図7での第一映像送出装置での矢印P(t0)と第二映像送出装置での矢印P(t0)は、表示時刻が第一映像送出装置の内部時刻t0に基づいたフレームをあらわす。矢印P(t1)と矢印P(t2)についても同様である。
図7(e)は、フレーム送出準備完了検出部20の出力を表わす。図7(f)の1ショットパルス発生器35出力は、フレーム送出準備完了検出部20の出力(両映像送出装置でのフレームの送出準備が完了するタイミングでUpEdgeとなる出力)から1ショットパルス発生器35で発生させたUpEdgeが同一時刻となる1ショットパルスを表わす。
図7(g)の第一映像送出装置での送出開始タイミング検出部31(31a)出力のように、送出開始タイミング検出部31(31a)は、第一映像送出装置の送出フレームから、そのフレーム毎の出力開始時刻を検出して1ショットパルスを出力する。なお、この1ショットパルスのUpEdgeのタイミングは、図7(a)の第一映像送出装置フレーム送出周期の開始タイミングと当然一致する。同様に、図7(h)の第二映像送出装置での送出開始タイミング検出部出力のように、送出開始タイミング検出部31(31b)は、第二映像送出装置の送出フレームから、そのフレーム毎の出力開始時刻を検出して1ショットパルスを出力する。なお、この1ショットパルスのUpEdgeのタイミングは、図7(b)の第二映像送出装置フレーム送出周期の開始タイミングと当然一致する。
図7(i)のRSフリップフロップ32出力はRSフリップフロップ32の出力を表わし、図7(f)の1ショットパルス発生器35出力での時刻Tp(t1)のような両映像送出装置でフレームの送出準備が完了するタイミングでUpEdgeとなる1ショットパルスでRSフリップフロップ32がセットされ、同時刻Tp(t1)のように、出力が論理High値となり、図7(g)の第一映像送出装置での送出開始タイミング検出部31(31a)出力での時刻t3のような1ショットパルスでリセットされ、同時刻t3での図7(i)のRSフリップフロップ32出力のように出力が論理Low値となる。
そして、図7(j)の2進カウンタ33出力は、2進カウンタ33の出力を表わし、図7(i)のRSフリップフロップ32出力が時刻Tp(t1)から時刻t3のように論理High値となる信号を2進カウンタ33がカウント許可信号として受け、このカウント許可がある間に、第二映像送出装置がフレームの送出を開始するタイミングがある場合、すなわち図7(h)の第二映像送出装置での送出開始タイミング検出部31(31b)出力の時刻t2´のような場合、2進カウンタ33がこのタイミングをカウントして出力値が0から1となる。(カウント動作)
そして図7(j)の2進カウンタ33出力は、2進カウンタ33が図7(f)の1ショットパルス発生器35出力がUpEdgeとなる時刻Tp(t0)、Tp(t1)、Tp(t2)の1ショットパルスでリセットされて出力値が1から0に戻る(リセット動作)。
そして、図7(k)のDラッチ34出力はDラッチ34の出力を表わし、図7(j)の2進カウンタ33出力を、時刻t1、t2、t3にUpEdgeとなる図7(g)第一映像送出装置での送出開始タイミング検出部31(31a)出力の時刻t3での1ショットパルスのUpEdgeでラッチしたものである。このDラッチ34の出力が位相比較部30の出力となる。
前記のように、フレーム送出準備完了検出部20で検出したフレームの送出準備完了時刻(図7の時刻Tp(t1))後、第二映像送出装置のフレーム送出タイミング(図7の時刻t2´)が第一映像送出装置のフレーム送出タイミング(図7の時刻t3)のより早く起こる場合に(同時の場合を含む)、位相比較部30はフレーム送出準備完了検出部20で検出したフレームの送出準備完了時刻(図7の時刻Tp(t1))後から次のフレームの送出準備完了時刻(図7の時刻Tp(t2))迄に、第一映像送出装置から送出開始となるフレームの送出の間、すなわち図7(k)のDラッチ34出力の時刻t3からの1フレーム分の時間、論理High値となる信号を出力する。
逆に、位相比較部30は論理Low値となる出力を次の場合に出力する。すなわち、フレーム送出準備完了検出部20で検出したフレームの送出準備完了時刻(図7の時刻Tp(t0))後、第一映像送出装置のフレーム送出タイミング(図7の時刻t1)が第二映像送出装置のフレーム送出タイミング(図7の時刻t1´)より早く起こる場合、位相比較部30は、フレーム送出準備完了検出部20で検出したフレームの送出準備完了時刻後(図7の時刻Tp(t0))から次のフレームの送出準備完了時刻(図7の時刻Tp(t1))迄に、第一映像送出装置から送出開始となるフレームの送出の間、すなわち図7(k)のDラッチ34出力の時刻t1から時刻t3まで2フレーム分の時間のように論理Low値となる信号を出力する。
図1に戻って映像同期装置10の説明を続ける。
フレーム遅延実行部40は、位相比較部30の出力を受けて、映像送出装置70(70a)(第一映像送出装置)から送出されるフレームに1フレーム分の時間を遅延させたフレームと、遅延をさせないフレーム(すなわち第一映像送出装置から送出されるそのままのフレーム)とを切り替えて出力するものである。
このフレーム遅延実行部40は、フレーム遅延部41とスイッチ部42とを備えている。このフレーム遅延部41は第一映像送出装置から送出されたフレームに1フレームの時間を遅延させたフレームを送出するものである。このフレーム遅延部41はディレイラインで構成される。
ディレイラインは映像信号等を遅延させるものであり、例えば、1フレームを記憶できるフレームメモリを2つ用意して、片方のフレームメモリが入力データを記録している間に、もう一方のフレームメモリが先に記録したフレームを記録した時点から1フレームの時間遅れて出力し、これを交互に繰り返すことで構成される。
スイッチ部42は、位相比較部30の出力が論理High値か論理Low値であるかによって2つの入力を切り替えて出力するスイッチである。このように、フレーム遅延実行部40を構成することよって、位相比較部30が論理Low値を出力した場合は、フレーム遅延実行部40はフレーム遅延部41のから送出されるフレームを出力するようにスイッチ部42を切り替えて出力し、位相比較部30が論理High値を出力した場合は映像送出装置70(70a)(第一映像送出装置)から送出されるフレームをそのまま出力するように切り替えて出力することができる。
フレーム同期部50は、フレーム遅延実行部40の出力に映像送出装置70(70b)(第二映像送出装置)から送出されるフレームをフレーム同期(遅延同期)させて出力するものである。フレーム同期部50は、フレーム送出開始時間差検出部51と、遅延時間計算部52と、可変時間遅延部53とから構成される。
フレーム送出開始時間差検出部51は、映像送出装置70(70a)及び映像送出装置70(70b)から送出されるフレームを共に入力し、各々のフレームの送出開始時間を検出するものである。そして、遅延時間計算部52は、フレーム送出開始時間差検出部51で検出された各々のフレームの開始時間に基づいて、映像送出装置70(70b)から送出されるフレームを遅延させる時間を計算するものである。さらに、可変時間遅延部53は遅延時間計算部52の計算結果の時間分、映像送出装置70(70b)から送出されるフレームを遅延させるものである。このように構成することによって、フレーム同期部50は、フレーム遅延実行部40の出力に映像送出装置70(70b)(第二映像送出装置)から送出されるフレームをフレーム同期(遅延同期)させて出力することができる。
このように映像同期装置10を構成することによって、映像同期装置10は第一映像送出装置と第二映像送出装置とに同時に表示すべきフレームを送出準備させて、送出タイミングを一致させて送出することができるようになる。
(映像同期装置の動作)
ここで、図8を参照して、映像同期装置10の動作について、説明する(適宣、図1参照)。この図8は映像同期装置10の動作を示すタイミング図である。
この図8では横軸は時間をあらわす。映像送出装置70(70a)(第一映像送出装置)は、図8(a)のような一定のフレーム周期Tpでフレームを送出開始し、この周期の開始タイミングでフレーム送出準備を開始する。図8(b)の矢印P(t0)、P(t1)、P(t3)、P(t4)及びP(t7)はフレーム送出準備時間を表わし、始点がフレーム送出準備開始時間、終点がフレーム送出準備完了時間に対応する。図8(c)の矢印P(t0)、P(t1)、P(t3)及びP(t4)はフレーム送出時間を表わし、始点がフレーム送出開始時間、終点がフレーム送出完了時間に対応する。
映像送出装置70(70b)(第二映像送出装置)も、図8(e)のような一定のフレーム周期Tpでフレームを送出開始し、この周期のタイミングでフレーム送出準備を開始する。図8(f)の矢印P(t0)、P(t1)、P(t3)、P(t4)及びP(t7)はフレーム送出準備時間を表わし、始点がフレーム送出準備開始時間、終点がフレーム送出準備完了時間対応する。図8(g)の矢印P(t0)、P(t1)、P(t3)及びP(t4)はフレーム送出時間を表わし、始点がフレーム送出開始時間、終点がフレーム送出完了時間対応する。なお、第一映像送出装置での矢印P(t0)と第二映像送出装置での矢印P(t0)は、第一映像送出装置と第二映像送出装置とで同期された第一映像送出装置での内部時刻t0に基づいた表示時刻のフレームをあらわす。矢印P(t1)、P(t3)、P(t4)及びP(t7)についても同様である。
第一映像送出装置と第二映像送出装置は同期した内部時刻t0を使って、同一の表示時刻のフレームP(t0)を送出準備する。これにより、図8(b)の第一映像送出装置送出準備フレームの矢印P(t0)と図8(f)の第二映像送出装置送出準備フレームの矢印P(t0)は同時に表示すべき、すなわち同期して送出されるフレームを表すことになる(時刻同期ステップ)。なお、フレームの送出準備には、1フレームの時間より短い時間で済む場合もあれば、1フレームの時間以上を要する場合もある。そして両映像送出装置で同一の表示時刻となるフレームの送出準備がフレーム送出準備完了検出部20によって検出された後に、フレーム送出開始タイミングの方が、第一映像送出装置が早いか、遅いか(同時の場合を含む)で映像同期装置の動作は異なる。そこで先に、この第一映像送出装置のフレーム送出開始タイミングの方が早い場合を説明して、後に第一映像送出装置のフレーム送出開始タイミングの方が遅い場合を説明する。
フレームの送出準備を完了したタイミングの後、第1映像送出装置のフレーム送出開始タイミングの方が早い場合を説明する。まず、図8(b)の第一映像送出装置送出準備フレームのP(t0)と図8(f)の第二映像送出装置送出準備フレームのP(t0)が共に送出が完了する時刻がフレーム送出準備完了検出部20によって、Tp(t0)と検出される。(フレーム送出準備完了検出ステップ)
そして、送出準備が完了したことを検出されたフレームP(t0)が各映像送出装置のフレーム送出開始タイミングで送出される。すなわち図8(c)の第一映像送出装置送出フレームの時刻t1からのP(t0)と、時刻t2からのP(t0)のようにフレームP(t0)が送出される。また図8(g)の第二映像送出装置送出フレームの時刻t1´からのP(t0)と、時刻t2´からのP(t0)のようにフレームP(t0)が送出される。(映像送出装置は送出準備が完了したことを検出されたフレームを、新たなフレームが作成完了となった後の最初の送出開始タイミングまで連送する。)
そして、図8でフレームP(t0)の送出準備を完了した時刻Tp(t0)後に、位相比較部30が第一映像送出装置と第二映像送出装置とのフレーム送出開始タイミングとを比較して、図8(c)の第一映像送出装置送出フレームの時刻t1でのフレーム送出開始タイミングが、図8(g)の第二映像送出装置送出フレームの時刻t1´でのフレーム送出開始タイミングよりも早いという結果を出力する。(位相比較ステップ)
そして、フレーム遅延実行部40が、位相比較部30の結果を受けて、図8(c)の第一映像送出装置送出フレームをフレーム遅延部41で1フレーム周期の時間Tp分遅延させたフレームを出力する。そのフレームP(t0)が図8(d)のフレーム遅延実行部出力での時刻t2からのP(t0)である。(フレーム遅延実行ステップ)
そして、フレーム同期部50が、フレーム遅延実行部40の出力(図8(d)のフレーム遅延実行部出力)に第二映像送出装置からの出力(図8(g)の第二映像送出装置送出フレーム)をフレーム同期(遅延同期)させ出力したものが、図8(i)のフレーム同期部出力での時刻t2からのP(t0)である。図8(h)のフレーム同期部印加遅延時間の矢印に示されるように、図8(i)のフレーム同期部出力での時刻t2からのP(t0)はフレーム同期部50で加わった遅延時間が1フレーム時間より小さい(t2-t1´)=(t1-t0´)という時間となり、図8(d)のフレーム遅延実行部出力の時刻t2からのP(t0)に送出時間が一致している(すなわち同期されている)。(フレーム同期ステップ)
このように、フレームの送出準備を完了したタイミングの後、第一映像送出装置の送出開始タイミングの方が第二映像送出装置の送出開始タイミングより早い場合は、第一映像送出装置の送出フレームを1フレーム時間分遅延したフレームに第二映像送出装置の送出フレームをフレーム同期(遅延同期)させて送出して、両映像送出装置からのフレームの送出開始タイミングを一致させて送出することができるようになる。これは、後記するように、先に説明した時刻t2にフレーム同期部50から送出されるフレームに引き続く、時刻t3と時刻t4にフレーム同期部50から送出されるフレームについても同様である。
ここで、フレームP(t1)が映像送出装置と第二映像送出装置とで同一の表示時刻で送出準備されることを説明する。第1フレームP(t1)が、フレーム送出準備が完了することを検出した時刻Tp(t0)後に各映像送出装置に1回だけ送出準備される。すなわち、図8(b)の第一映像送出装置送出準備フレームの時刻t1からのP(t1)と図8(f)の第二映像送出装置送出準備フレームの時刻t1´からのP(t1)のようにフレームP(t1)が送出準備される。なお、第一映像送出装置と第二映像送出装置とで先のフレームP(t0)を共にフレーム送出準備完了となった後、第一映像送出装置のフレームの送出を開始するタイミングの方が早いことを第一映像送出装置は位相比較部30の比較結果の出力で判断して、そのフレームの送出を開始するタイミングから、その内部時刻t1に基づいた時刻を表示時刻とするフレームのP(t1)の送出準備を始めることで、第二映像送出装置で送出準備を始める内部時刻t1(=t1´)に基づいたフレームのP(t1)と同一の表示時刻のフレームを送出準備する。(フレーム送出準備の完了を検出した時刻Tp(t0)後にフレームは1回だけ送出準備されるので、図8(f)の第二映像送出装置送出準備フレームの時刻t2´からは、フレームは送出準備されない。)
さて、図8で、先に説明した時刻t2にフレーム同期部50から送出されるフレームに引き続く、時刻t3と時刻t4にフレーム同期部50から送出されるフレームについて説明する。フレーム送出準備完了検出部20によって、送出準備が完了したことを検出されたフレームP(t1)が各映像送出装置のフレーム送出開始タイミングで送出される。すなわち図8(c)の第一映像送出装置送出フレームの時刻t3からのP(t1)と、図8(g)の第二映像送出装置送出フレームの時刻t3´からのP(t1)のようにフレームP(t1)が送出される。
そして、図8のフレームP(t1)の送出準備を完了した時刻Tp(t1)後に、位相比較部30が第一映像送出装置と第二映像送出装置とのフレーム送出開始タイミングとを比較し、図8(c)の第一映像送出装置送出フレームの時刻t3が、図8(g)の第二映像送出装置送出フレームの時刻t3´より早いという結果を出力する。(位相比較ステップ)
そして、フレーム遅延実行部40が、位相比較部30が比較した結果を受けて、図8(c)の第一映像送出装置送出フレームをフレーム遅延部41で1フレームの時間Tp分遅延させたフレームを出力したものが図8(d)のフレーム遅延実行部出力での時刻t3からのP(t0)と時刻t4からのP(t1)である。(遅延実行ステップ)
そして、フレーム同期部50が、フレーム遅延実行部40の出力(図8(d)のフレーム遅延実行部出力)に第二映像送出装置からの出力(図8(g)の第二映像送出装置送出フレーム)をフレーム同期(遅延同期)させて出力したものが、図8(i)のフレーム同期部出力での時刻t3からのP(t0)と、時刻t4からのP(t1)である。図8(h)のフレーム同期部印加遅延時間の矢印に示されるように、図8(i)のフレーム同期部出力での時刻t3からのP(t0)と、時刻t4からのP(t1)は共にフレーム同期部50で加わった遅延時間が1フレーム時間より小さい(t4-t3´)=(t3-t2´)=(t1-t0´)という時間となり、それぞれ図8(d)のフレーム遅延実行部出力の時刻t3からのP(t0)と、時刻t4からのP(t1)とに送出時間が一致している(すなわち同期されている)。(フレーム同期ステップ)
このように、図8で、先に説明した時刻t2にフレーム同期部50から送出されるフレームに引き続く、時刻t3と時刻t4にフレーム同期部50から送出されるフレームについても、フレームの送出準備を完了したタイミングの後、第一映像送出装置の送出開始タイミングの方が第二映像送出装置の送出開始タイミングより早い場合は、両映像送出装置からのフレームの送出開始タイミングを一致させて送出することができるようになる。
さて、ここでフレームの送出準備を完了したタイミングの後、第一映像送出装置のフレーム送出開始タイミングの方が遅い場合(同時の場合を含む)を説明する。それは、先に説明した時刻t3と時刻t4にフレーム同期部50から送出されるフレームに引き続く、時刻t5と時刻t6にフレーム同期部50から送出されるフレームの送出の場合である。まず、フレームP(t3)はフレームP(t1)と同様に、第一映像送出装置と第二映像送出装置とで同一の表示時刻で送出準備される。そして、時刻Tp(t3)に、送出準備が完了したことを検出されたフレームP(t3)が各映像送出装置のフレーム送出開始タイミングで送出される。すなわち図8(c)の第一映像送出装置送出フレームの時刻t5からのP(t3)と、時刻t6からのP(t3)のようにフレームP(t3)が送出される。また図8(g)の第二映像送出装置送出フレームの時刻t4´からのP(t3)と、時刻t5´からのP(t3)、時刻t6´からのP(t3)のようにフレームP(t3)が送出される。(映像送出装置は送出準備が完了したことを検出されたフレームを、新たなフレームが作成完了となった後の最初の送出開始タイミングまで連送する。)
そして、図8のフレームP(t3)の送出準備を完了した時刻Tp(t3)後に、位相比較部30が第一映像送出装置と第二映像送出装置とのフレーム送出開始タイミングを比較し、図8(c)の第一映像送出装置送出フレームの時刻t5が、図8(g)の第二映像送出装置送出フレームの時刻t4´より遅いという結果を出力する。(位相比較ステップ)
そして、フレーム遅延実行部40が、位相比較部30が比較した結果を受けて、図8(c)の第一映像送出装置送出フレームを遅延させないでそのまま出力したものが図8(d)のフレーム遅延実行部出力での時刻t5からのP(t3)と時刻t6からのP(t3)である。(遅延実行ステップ)
そして、フレーム同期部50が、フレーム遅延実行部40の出力(図8(d)のフレーム遅延実行部出力)に第二映像送出装置からの出力(図8(g)の第二映像送出装置送出フレーム)を遅延同期させ出力したものが、図8(i)のフレーム同期部出力での時刻t5からのP(t3)と、時刻t6からのP(t3)である。図8(h)のフレーム同期部印加遅延時間の矢印に示されるように、図8(i)のフレーム同期部出力での時刻t5からのP(t3)と、時刻t6からのP(t3)は共にフレーム同期部50で加わった遅延時間が1フレーム時間より小さい(t5-t4´)=(t6-t5´)=(t1-t0´)という時間となり、それぞれ図8(d)のフレーム遅延実行部出力の時刻t5からのP(t3)と、時刻t6からのP(t3)に送出時間が一致している(すなわち同期されている)。(フレーム同期ステップ)
このように、フレームの送出準備を完了したタイミングの後、第一映像送出装置の送出開始タイミングの方が第二映像送出装置の送出開始タイミングより遅い場合も(同時の場合を含む)、第一映像送出装置の送出フレームを遅延させない、そのままのフレームに第二映像送出装置の送出フレームをフレーム同期(遅延同期)させ送出して、両映像送出装置からのフレームの送出開始タイミングを一致させて送出することができるようになる。
なお、フレームの送出準備を完了したタイミングの後、第一映像送出装置の送出開始タイミングの方が第二映像送出装置の送出開始タイミングより遅い場合は、そのタイミングの後に送出準備されるフレームを同一の表示時刻とする動作も異なるので、ここでフレームP(t4)の送出準備を例にして説明する。フレームP(t4)は、フレームP(t3)の送出準備を完了したことを検出した時刻Tp(t3)後に各映像送出装置に1回だけ送出準備される。第一映像送出装置と第二映像送出装置とで先のフレームP(t3)を共にフレーム送出準備完了となった後、第一映像送出装置のフレームの送出を開始するタイミングの方が遅いことを第一映像送出装置は位相比較部30の比較結果の出力で判断して、そのフレームの送出を開始するタイミングの内部時刻t5の1フレームの時間分前の内部時間t4に基づいた時刻を表示時刻とするフレームのP(t4)の送出準備を始めることで、第二映像送出装置で送出準備を始める内部時刻t4(=t4´)に基づいたフレームのP(t4)と同一の表示時刻のフレームを送出準備する。
これまでの説明から明らかなように、第一映像送出装置の送出フレームと第二映像送出装置の送出フレームとを送出開始タイミングを一致させて(同期して)送出することができる。
以上説明したように、本実施の形態では、第一映像送出装置及び第二映像送出装置が互いにフレームを表示時刻が一致するように送出準備して、それらフレームの送出開始タイミング(位相)を一致させて3次元立体動画表示装置に送出する、すなわち同期させて送出することができる。
また、本実施の形態における映像同期システム1の映像同期装置10での各部の機能を、コンピュータにおける映像同期プログラムとして動作させることも可能である。
本発明の実施の形態に係る映像同期システム(第一映像送出装置、第二映像送出装置及び映像同期装置)の構成を、映像受信装置(3次元立体動画表示装置等)と共に示すブロック図である。 本発明の実施の形態に係る時刻同期の原理を説明するためのタイミング図である。 本発明の実施の形態に係るフレーム送出準備完了検出部の構成を示すブロック図である。 本発明の実施の形態に係るフレーム送出準備完了検出部の動作を示すタイミング図である。 本発明の実施の形態に係る位相比較部の構成を示すブロック図である。 図3及び図5のブロック図中でのRSフリップフロップの真理値表である。 本発明の実施の形態に係る位相比較部の動作を示すタイミング図である。 本発明の実施の形態に係る映像同期システムの動作を示すタイミング図である。
符号の説明
1 映像同期システム
10 映像同期装置
20 フレーム送出準備完了検出部
21(21a,21b) 1ショットパルス発生器
22(22a,22b) RSフリップフロップ
23(23a,23b,23c,23d) 論理積器
24(24a,24b) 送出開始タイミング検出部
25(25a,25b,25c) 論理和器
26 2進カウンタ
27 論理否定器
30 位相比較部
31(31a、31b) 送出開始タイミング検出部
32 RSフリップフロップ
33 2進カウンタ
34 Dラッチ
35 1ショットパルス発生器
40 フレーム遅延実行部
41 フレーム遅延部
42 スイッチ部
43 補正遅延部
44 補正信号遅延部
50 フレーム同期部
51 フレーム送出開始時間差検出部
52 遅延時間計算部
53 可変時間遅延部
70(70a、70b) 映像送出装置
71(71a、71b) フレーム送出準備送出部
711(711a、711b) フレーム送出準備部
712(712a、712b) フレーム送出部
72(72a、72b) 制御部
80 映像受信装置(3次元立体動画表示装置等)

Claims (2)

  1. 3次元立体映像を構成する左右眼用映像を送出する第一及び第二映像送出装置に対して、フレーム毎に同時に表示すべき映像を送出させて、その同時に表示すべきフレームを同時に出力する映像同期方法であって、
    前記第一映像送出装置及び前記第二映像送出装置の内部時刻を同期させる時刻同期ステップと、
    この時刻同期ステップで同期された内部時刻によって前記第一映像送出装置及び前記第二映像送出装置で同時に表示すべきフレームの送出準備が完了するタイミングを検出するフレーム送出準備完了検出ステップと、
    このフレーム送出準備完了検出ステップで検出されたタイミングの後に、前記第一映像送出装置及び前記第二映像送出装置から送出されるフレームの送出開始タイミングを比較する位相比較ステップと、
    この位相比較ステップの比較結果に基づいて、前記第一映像送出装置が出力するフレームをそのまま出力するか、または1フレームの時間を遅延させて出力するかを選択してフレームを出力するフレーム遅延実行ステップと、
    このフレーム遅延実行ステップで出力されたフレームにタイミングを合わせて前記第二映像送出装置から送出されるフレームを同時に送出させるフレーム同期ステップと、
    を含むことを特徴とする映像同期方法。
  2. 3次元立体映像を構成する左右眼用映像を送出する互いに内部時刻の同期した第一映像送出装置及び第二映像送出装置が送出する映像の同時に表示すべきフレームを入力して同時に出力するために、コンピュータを、
    前記第一映像送出装置及び前記第二映像送出装置で同時に表示すべきフレームの送出準備が完了するタイミングを検出するフレーム送出準備完了検出手段、
    このフレーム送出準備完了検出手段で検出されたタイミングの後に、前記第一映像送出装置及び前記第二映像送出装置から送出されるフレームの送出開始タイミングを比較する位相比較手段、
    この位相比較手段の比較結果に基づいて、前記第一映像送出装置が出力するフレームをそのまま出力するか、または1フレームの時間を遅延させて出力するかを選択してフレームを出力するフレーム遅延実行手段、
    このフレーム遅延実行手段で出力されたフレームにタイミングを合わせて前記第二映像送出装置から送出されるフレームを同時に送出させるフレーム同期手段、
    として機能させることを特徴とする映像同期プログラム。
JP2003271829A 2003-07-08 2003-07-08 映像同期方法及び映像同期プログラム Expired - Fee Related JP4262019B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003271829A JP4262019B2 (ja) 2003-07-08 2003-07-08 映像同期方法及び映像同期プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003271829A JP4262019B2 (ja) 2003-07-08 2003-07-08 映像同期方法及び映像同期プログラム

Publications (2)

Publication Number Publication Date
JP2005033607A JP2005033607A (ja) 2005-02-03
JP4262019B2 true JP4262019B2 (ja) 2009-05-13

Family

ID=34209568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003271829A Expired - Fee Related JP4262019B2 (ja) 2003-07-08 2003-07-08 映像同期方法及び映像同期プログラム

Country Status (1)

Country Link
JP (1) JP4262019B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5549476B2 (ja) * 2010-08-24 2014-07-16 ソニー株式会社 画像処理装置と画像処理方法
WO2012094311A2 (en) 2011-01-04 2012-07-12 Ada Foundation Dental compositions with titanium dioxide nanoparticles
JP2012204987A (ja) * 2011-03-24 2012-10-22 Sony Corp 撮像装置、同期制御方法、再生装置及び立体映像撮像システム

Also Published As

Publication number Publication date
JP2005033607A (ja) 2005-02-03

Similar Documents

Publication Publication Date Title
CN104375789B (zh) 拼接屏的同步显示方法及系统
TWI536802B (zh) 電子裝置及其影像處理方法
CN1667997B (zh) 网络终端时钟同步的方法和系统
US6122000A (en) Synchronization of left/right channel display and vertical refresh in multi-display stereoscopic computer graphics systems
US7289539B1 (en) Synchronization of stereo glasses in multiple-end-view environments
CN106576160A (zh) 用于具有模式切换的深度相机模式的成像架构
CN106488288A (zh) 虚拟现实系统及其音频/视频同步方法
US20120050613A1 (en) Method of synchronization, corresponding system and device
JP2015099346A (ja) マルチスクリーンディスプレイシステム及びこのための映像信号補正方法
CN101953149B (zh) 远程视频源的同步锁相同步
CN112653532A (zh) 时钟同步的方法、装置和系统
CN106817508A (zh) 一种同步对象确定方法、装置和系统
CN104202541A (zh) 一种图像合成器
JP4262019B2 (ja) 映像同期方法及び映像同期プログラム
TWI524735B (zh) 三維影像產生方法及裝置
KR100824016B1 (ko) 비동기 양안 카메라에서 생성되는 출력 데이터의 동기화를수행하는 시스템, 방법 및 기록 매체
TW202223620A (zh) 多屏幕顯示控制裝置
CN104469149B (zh) 手机、座子和同步拍照方法
JP6840980B2 (ja) 電子機器、表示システム、時刻同期方法、及びプログラム
CN113099212A (zh) 3d显示方法、装置、计算机设备和存储介质
JP2016038514A (ja) 表示制御装置、表示装置、それらの制御方法、およびプログラム
TWI520577B (zh) 立體影像輸出裝置與相關的立體影像輸出方法
CN105022600A (zh) 计算机集群拼接显示系统中的图形同步设备及同步方法
JP3547247B2 (ja) 立体映像表示ゲーム機の左右画面同期方法
KR100928258B1 (ko) 영상 처리 시스템의 동기신호 생성방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090206

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees