JP4586389B2 - マルチ画面映像再生装置およびマルチ画面映像再生装置における映像再生方法 - Google Patents

マルチ画面映像再生装置およびマルチ画面映像再生装置における映像再生方法 Download PDF

Info

Publication number
JP4586389B2
JP4586389B2 JP2004082720A JP2004082720A JP4586389B2 JP 4586389 B2 JP4586389 B2 JP 4586389B2 JP 2004082720 A JP2004082720 A JP 2004082720A JP 2004082720 A JP2004082720 A JP 2004082720A JP 4586389 B2 JP4586389 B2 JP 4586389B2
Authority
JP
Japan
Prior art keywords
video
video data
display
network
control information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004082720A
Other languages
English (en)
Other versions
JP2005269529A (ja
JP2005269529A5 (ja
Inventor
正信 西谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004082720A priority Critical patent/JP4586389B2/ja
Priority to US11/084,832 priority patent/US7792412B2/en
Publication of JP2005269529A publication Critical patent/JP2005269529A/ja
Publication of JP2005269529A5 publication Critical patent/JP2005269529A5/ja
Application granted granted Critical
Publication of JP4586389B2 publication Critical patent/JP4586389B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、マルチ画面ディスプレイなどにおける映像再生装置として好適なマルチ画面映像再生装置およびマルチ画面映像再生装置における映像再生方法に関する。
図13は、マルチ画面ディスプレイを説明するために示す図である。このマルチ画面ディスプレイDは、図13に示すように、モニタやプロジェクタ等の表示装置D1〜D4を複数台組み合わせて1つの大画面を構成するようにしたディスプレイである。マルチ画面映像再生装置は、このようなマルチ画面ディスプレイDを構成する各表示装置D1〜D4のそれぞれに入力する映像信号を出力するための映像再生装置である。
このようなマルチ画面映像再生装置においては、従来より、大画面に対応する映像信号(原映像に対応する映像信号(ビデオ信号))をスキャンコンバータを用いて各表示装置D1〜D4に対応する各映像信号(各単位映像に対応する各映像信号(ビデオ信号))に変換して、これら各ビデオ信号を各表示装置D1〜D4に入力するようにして、大画面表示を実現している。
近年、映像信号のディジタル化が進んで、このようなマルチ画面映像再生装置においても、映像信号をディジタル信号の形式で取り扱いたいという要求が高まっている。すなわち、映像信号をそれぞれの表示デバイスに合わせてディジタル形式のまま分割して配信や蓄積し、各表示デバイスへの入力とする方法が一般的となりつつある。
ところで、従来のアナログ方式を含め、マルチ画面映像再生に用いられる各表示デバイスの多くは、映像の供給側であるパーソナルコンピュータ(PCという)などからの映像データとこの映像データを再生するための再生制御情報を1つの入力インタフェースで受け取っているのが一般的である。
この再生制御情報は、それぞれの表示デバイスで同期を取って画像を再生させるための同期信号としての表示タイミング情報や、スロー再生、早送り再生などの可変速再生などの変則的再生を可能とするための変則的再生制御情報など種々考えられ、このような再生制御情報を1つのPCからネットワークを用いて各表示デバイスに配信することによって、複数の表示デバイスの同期再生や変則的再生を実現することも望まれている。
しかし、高精細の映像データを品質を落とさずにしかも確実に配信・受信するためには、映像データ専用に設けられた、高速でかつ大容量のネットワークを用いることが望ましい。
したがって、映像データと映像データ以外の情報(たとえば、上述したような再生制御情報など)を同一のネットワークで扱うことは好ましいことではない。これは、ネットワークに余分な負担がかかるばかりではなく、映像データの帯域が制限されたり、たとえば、すべての表示装置で同期再生させるための同期再生情報が確実に配信されずに、再生の同期が取れなかったりするなどの不具合を防ぐのがその理由の1つである。
映像データとそれ以外の情報を別の通信路で送信する例は、特許文献1に開示されている。この特許文献1は、PCと複数の表示デバイスとの間に映像データ用の伝送路とは別に通信制御用の伝送路を設けた構成となっている。
特開2001−242435号公報
確かに、特許文献1では、伝送路を映像データ用と通信用情報に分けた構成となっているが、この特許文献1における通信用情報は単に、各表示デバイスの表示位置を上下左右方向に移動調整を可能とするための情報である。したがって、この特許文献1の技術では、それぞれの表示デバイスでの同期をとるための表示タイミング情報や、高速再生、スロー再生などの変則的再生を可能とするための制御情報を、映像データとは別のネットワークで送ることを実現するものではない。
そこで、本発明は、映像データの再生制御を行うための再生制御情報と映像データとをそれぞれ別のネットワークを用いることで、高品質の映像データの配信を可能とし、かつ、表示デバイス上での映像データの再生制御を確実に行うことができるマルチ画面映像再生装置およびマルチ画面映像再生装置における映像再生方法を提供することを目的とする。
本発明のマルチ画面映像再生装置は、複数の表示装置を用いて全体映像を表示する際に、前記複数の表示装置のそれぞれに映像データを出力するマルチ画面映像再生システムであって、
前記複数の表示装置に映像データを出力する複数の描画ユニットと、
前記複数の描画ユニットに映像用ネットワークを介して映像データが格納された映像パケットを配信する機能と、前記表示装置に映像データを出力する際に用いる再生制御情報を前記映像用ネットワークとは異なり、かつ双方向通信が可能な再生制御用ネットワークを介して前記複数の描画ユニットに配信する機能とを有する配信手段と、
を有し、
前記複数の描画ユニットは、前記映像パケットに格納された画像データを展開し、前記映像データを表示する準備が完了したことを示す情報を、前記再生制御用ネットワークを介して前記配信手段に送信し、
前記配信手段は、前記映像データを表示する準備が完了したことを示す情報を前記複数の描画ユニットから受け取ると、前記映像データを同期化して出力する際に用いられる表示タイミング情報を表示指示パケットとして生成し、前記再生制御用ネットワークを介して前記複数の描画ユニットに配信するとともに、
前記配信手段は、前記映像データを再生する速度に応じて、前記複数の描画ユニットに前記表示タイミング情報となる前記表示指示パケットを配信する周期を異ならせることを特徴とする。

また、本発明のマルチ画面映像再生装置は、前記複数の描画ユニットは、前記映像パケットに格納されている前記映像データを展開するためのフレームバッファをそれぞれ有し、
前記配信手段は、前記映像データを再生する速度に関わらず、一定の周期で前記映像データとなる前記映像パケットを前記複数の描画ユニットに配信することを特徴とする。

また本発明の配信装置は、複数の表示装置によって全体映像を表示する前記複数の表示装置のそれぞれに対して映像データを出力する際に用いる配信装置であって、
前記複数の表示装置に映像データを出力する複数の描画ユニットに対し、映像用ネットワークを介して映像データとなる映像パケットを配信する手段と、
前記複数の描画ユニットが前記複数の表示装置に映像データを出力する際に用いる再生制御情報を、前記複数の描画ユニットに前記映像用ネットワークとは異なり、かつ双方向通信が可能な再生制御用ネットワークを介して配信する手段と、
を有し
前記映像データを表示する準備が完了したことを示す情報を前記複数の描画ユニットから受け取ると、前記映像データを同期化して出力する際に用いられる表示タイミング情報を表示指示パケットとして生成し、前記再生制御用ネットワークを介して前記複数の描画ユニットに配信するとともに、
前記映像データを再生する速度に応じて、前記複数の描画ユニットに前記表示タイミング情報となる前記表示指示パケットを配信する周期を異ならせて配信する
ことを特徴とする。
このように、複数の描画ユニットは、映像パケットに格納された画像データを展開し、映像データを表示する準備が完了したことを示す情報を、再生制御用ネットワークを介して配信手段に送信し、
配信手段は、映像データを表示する準備が完了したことを示す情報を複数の描画ユニットから受け取ると、映像データを同期化して出力する際に用いられる表示タイミング情報を表示指示パケットとして生成し、再生制御用ネットワークを介して前記複数の描画ユニットに配信するとともに、
配信手段は、映像データを再生する速度に応じて、複数の描画ユニットに表示タイミング情報となる表示指示パケットを配信する周期を異ならせもので、再生制御ネットワークを介して表示タイミング情報として表示指示パケットにて複数の描画ユニットに配信することが可能となり配信手段は複数の描画ユニットに映像データを映像パケットとして映像用ネットワークを介して配信し、再生制御用ネットワークを介して表示タイミング情報となる表示指示パケットを複数の描画ユニットに配信することで、配信手段と各描画ユニットがそれぞれ連携をとりながら映像データと映像データ以外の再生制御情報を別々のネットワークによりパケット通信を行うことができるので、より確実な再生制御を行うことが可能となる。また、映像データを再生する速度に応じて、複数の描画ユニットに表示タイミング情報となる前記表示指示パケットを配信する周期を異ならせることにより、より確実な可変制御を含む再生制御を行うことが可能となる。
(2)前記(1)に記載のマルチ画面映像再生装置において、前記再生制御情報用ネットワークは、前記映像データ・再生制御情報配信手段と描画ユニットとの間の双方向通信を可能とすることが好ましい。
このように、再生制御情報用ネットワークを双方向通信の可能なネットワークとすることによって、映像データ・再生制御情報配信手段と各描画ユニットがそれぞれ連携をとりながら通信を行うことができるので、より確実な再生制御を行うことができる。たとえば、描画ユニット側の処理が間に合わないような状況が発生した場合であっても、その状況を映像データ・再生制御情報配信手段側に知らせることができ、それによって、常に適正な状態で再生制御が行える。このような再生制御がなされることによって、より適正で確実に映像データの配信を行うことができるとともに、描画ユニット側では配信された映像データを、より適正に表示装置に出力することができる。
(3)前記(1)または(2)に記載のマルチ画面映像再生装置において、前記映像データ・再生制御情報配信手段は、前記再生制御情報の生成および配信が可能な再生制御情報配信サーバと、前記描画ユニットに供給すべき映像データの生成を行って、該映像データを前記描画ユニットに配信可能な映像配信サーバとで構成することが可能である。
このように、映像データ・再生制御情報配信手段を、再生制御情報配信サーバと映像配信サーバとに分けて構成することで、それぞれが行う機能を効率よく行うことができる。
(4)前記(3)に記載のマルチ画面映像再生装置において、前記再生制御情報用ネットワークは、少なくとも、前記再生制御情報配信サーバと前記映像配信サーバとの間、前記再生制御情報配信サーバと前記描画ユニットとの間をそれぞれ接続可能とすることが好ましい。
これにより、前記映像データ・再生制御情報配信手段が、再生制御情報配信サーバと映像配信サーバを別個に有した構成であっても、前記再生制御情報配信サーバからの再生制御情報を再生制御情報用ネットワークを用いて各描画ユニットに確実に配信することができる。また、再生制御情報配信サーバから映像配信サーバに対する映像配信に関する制御情報を再生制御情報として、前記映像配信サーバに確実に配信することができる。
なお、再生制御情報配信サーバから映像配信サーバに対する映像配信に関する制御情報としては、たとえば、映像データのフレームを間引いて再生させるための指示(コマ送り再生指示)や、フレーム番号を順方向とは逆の順番で出力させるための指示(逆再生指示)などの変則的再生指示も含まれる。このよう変則的再生指示を再生制御情報として映像配信サーバに配信する場合も、再生制御情報用ネットワークを用いて行えるので、再生制御を確実に行うことができる。
(5)前記(4)に記載のマルチ画面映像再生装置において、前記再生制御情報用ネットワークは、少なくとも、前記再生制御情報配信サーバと映像配信サーバとの間、前記再生制御情報配信サーバと前記描画ユニットとの間での双方向通信を可能とすることが好ましい。
これにより、再生制御情報配信サーバと映像配信サーバとの間、前記再生制御情報配信サーバと前記描画ユニットとの間で、それぞれ相互に連携を取りながら再生制御情報の配信が可能となるので、再生制御を適正にかつ確実に配信することができる。
(6)前記(1)から(5)に記載のマルチ画面映像再生装置において、前記再生制御情報は、前記各描画ユニットが前記対応する表示装置に対し、映像データを同期化して出力するための表示タイミング情報を含むことが好ましい。
この表示タイミング情報は、複数の表示装置で同期した画像表示を可能とするための同期信号であり、この表示タイミング情報を再生制御情報として専用のネットワーク(再生制御情報用ネットワーク)を用いて各描画ユニットに配信することによって、表示タイミング情報を確実に各描画ユニットに配信することができる。それによって、それぞれの表示装置で適正に同期の取れた映像の表示が可能となる。
また、この表示タイミング情報の配信周期を変えることによって、各描画ユニットでは、それぞれ対応する表示装置に対する映像データの出力タイミングを変化させることができるので、高速再生やスロー再生などの変則的再生も可能となる。
(7)前記(1)から(6)のいずれかに記載のマルチ画面映像再生装置において、前記映像用ネットワークは、大容量・高速通信の可能なネットワークとし、前記再生制御情報用ネットワークは、前記映像用ネットワークに比べて小容量・低速通信のネットワークとすることが好ましい。
これにより、データ量の多い映像データを品質を落とすことなく配信することができる。また、再生制御情報は映像データに比べるとデータ量も少ないので、安価なネットワークを使用することができる。
本発明のマルチ画面映像再生装置における映像再生方法は、配信手段から、複数の表示装置に映像データを出力する複数の描画ユニットに対して映像データとなる映像パケットを映像用ネットワークを介して配信するステップと、
前記複数の描画ユニットから、前記映像データを表示する準備が完了したことを示す情報を、前記映像用ネットワークとは異なり、かつ双方向通信が可能な再生制御用ネットワークを介して前記配信手段に送信するステップと、
前記配信手段から、前記映像データを同期化して出力する際に用いられる表示タイミング情報を表示指示パケットとして生成し、前記再生制御用ネットワークを介して前記複数の描画ユニットに配信するステップと、
前記映像データを再生する速度に応じて、前記複数の描画ユニットに前記表示タイミング情報となる前記表示指示パケットを配信する周期を異ならせるステップと、
を有することを特徴とする。
このマルチ画面映像再生装置における映像再生方法においても、前記のマルチ画面映像再生装置と同様の効果が得られ、より確実な再生制御を行うことが可能となる。また、映像データを再生する速度に応じて、複数の描画ユニットに表示タイミング情報となる前記表示指示パケットを配信する周期を異ならせることにより、より確実な可変制御を含む再生制御が可能となる。
[実施形態1]
図1および図2は本発明の実施形態1に係るマルチ画面映像再生装置を説明する図である。この実施形態1に係るマルチ画面映像再生装置10は、図1に示すように、マルチ画面ディスプレイを構成する複数の表示装置D1〜D4(本発明の実施形態では表示装置は前面投影方式のプロジェクタであるとする)に対し、同期化された映像データを出力するための映像再生装置である。
また、このマルチ画面映像再生装置10によって出力される同期化された映像データを投影するマルチ画面ディスプレイは、2行・2列(2×2)のマトリクス状に配置された4台の表示装置D1〜D4でなり、この表示装置D1〜D4のそれぞれがスクリーンSCR上に投影する単位映像(部分映像)を統合することにより、1つの大画面映像を再生するものであるとする。
この実施形態1に係るマルチ画面映像再生装置10は、図1および図2に示すように、2つのネットワークを有している。この2つのネットワークの一方は映像データを配信するための映像用ネットワーク11(以下では映像用LAN11という)であり、他方は再生制御情報を配信するための再生制御情報用ネットワーク12(以下では再生制御用LAN12と呼ぶ)である。そして、これら映像用LAN11と再生制御用LAN12にそれぞれネットワークインタフェース(図示せず)により接続された映像データ・再生制御情報配信手段(この実施形態1ではこの映像データ・再生制御情報配信手段を映像配信サーバVSと呼ぶことにする)と、映像用LAN11および再生制御用LAN12に対しそれぞれネットワークインタフェース(図示せず)により接続された複数(本発明の各実施形態においては4台としている)の描画ユニットRU1〜RU4とを備えている。
なお、映像用LAN11は、たとえば、100Base、1000Base、光通信などの高品質で高速な通信が可能なネットワークを採用することが望ましい。一方、再生制御用LAN12は、たとえば、10Base、無線LAN、RS−232Cなどによる比較的低速なネットワークの採用が可能である。また、AV機器や家電などに利用されているIEEE1394といった高速なネットワークを用いることもできる。
また、映像配信サーバVSや描画ユニットRU1〜RU4は、専用装置として準備することができることは勿論、ネットワークインタフェースを有するパーソナルコンピュータ(PC)で代用することができる。
また、このマルチ画面映像再生装置10において用いられる映像配信サーバVSは、たとえば、テレビジョンチューナ(TV・Tuner)、ビデオディスク(Video Disc)、インターネット(Internet)などの映像データ供給手段200から供給される映像データをパケット化して全描画ユニットRU1〜RU4に対し、ブロードキャスト通信などの一斉同報通信により配信する機能と、複数の描画ユニットRU1〜RU4がそれぞれ対応する表示装置D1〜D4に映像データを出力する際に必要な再生制御情報を複数の描画ユニットRU1〜RU4に対して配信する機能を有する。
なお、一斉同報通信としては、ブロードキャスト通信ではなくマルチキャスト通信の採用も可能であるが、ここではブロードキャスト通信を用いるものとする。また、映像データは一斉同報通信ではなく、個々の描画ユニット宛にユニキャスト通信により個別配信することも可能である。
また、この映像配信サーバVSの構成は、この実施形態1においては、複数の表示装置D1〜D4で同期を取った表示を可能とするための表示タイミング情報を表示指示パケットとして生成するタイミング情報生成部111、映像データを映像パケットとして生成する映像データ生成部(映像パケット生成部という)116、映像パケット生成部116で生成された映像パケットを映像用LAN11上に送出する映像データ送信部101、タイミング情報生成部111で生成された再生制御情報(ここでは各描画ユニットRU1〜RU4に対する表示指示パケットであるとする)を再生制御用LAN12に送出する再生制御情報送信部102、ユーザから与えられる変則的再生指示を受け付ける変則的再生指示受付部114、この変則的再生指示受付部114によって受け付けられたユーザによる変則的再生指示に基づいてタイミング情報生成部111と映像パケット生成部116のいずれかまたはその両方に変則的再生制御情報を与える変則的再生制御情報生成部115を有している。
また、本発明の各実施形態における映像データ・再生制御情報配信手段(実施形態1では映像配信サーバVS)は、映像用LAN11および再生制御用LAN12のネットワークプロトコルはTCP/IPであるものとする。また、IPのバージョン番号は4、すなわち、IPv4として説明する。
また、ここで用いられる、映像用LAN11および再生制御用LAN12のネットワーク・トポロジは、「閉じている」ネットワークであるものとし、映像データ・再生制御情報配信手段(実施形態1では映像配信サーバVS)と各描画ユニットRU1〜RU4との間の接続の階層の数には大きな差がない接続形態であるのが好ましい。これは、階層の数に大きな差があると、一斉同報通信(ここではブロードキャスト通信)による表示指示パケットの受信時刻のずれが各描画ユニットRU1〜RU4間で大きくなる可能性があるためである。
また、映像用LAN11および再生制御用LAN12は、小規模で閉じられたネットワークを想定しているので、映像用LAN11および再生制御用LAN12上をパケットとして流れるデータが遅延したり紛失したりすることはほとんど考慮しなくてもよい。
また、各描画ユニットRU1〜RU4は、映像用LAN11によって配信されてくる映像パケットを受信する映像データ受信部121、この映像データ受信部121で受信された映像パケットに格納されている映像データを取得して、該取得した映像データを解析する映像データ取得部122、この映像データ取得部122で取得された映像パケットに格納されている映像データが展開されるフレームバッファ124、再生制御用LAN12により配信されてくる再生制御情報(この場合は、表示指示パケット)を受信する再生制御情報受信部126、この再生制御情報受信部126で受信された表示指示パケットに基づいてフレームバッファ124に展開されている映像データの出力制御を行う出力制御部123、表示すべき映像データを対応する表示装置(表示装置D1〜D4のいずれか)に出力する出力部125をそれぞれ有している。また、各描画ユニットRU1〜RU4のそれぞれの出力部125は、それぞれ対応する表示装置(表示装置D1〜D4のいずれか)に接続されている。
なお、この描画ユニットRU1〜RU4のそれぞれのフレームバッファ124は、映像配信サーバVSから送られてくる映像パケットに格納された映像データを展開するための記憶領域であり、この記録領域はRAM上か、PCであればビデオカードのビデオメモリ上に確保されている。
また、このフレームバッファ124は、現在表示している映像データを展開するためのフレームバッファ(表示用フレームバッファ)と、次に表示される映像データを保持するためのフレームバッファ(先読み用のフレームバッファ)の2つが存在し、これらを先読込み用のフレームバッファと表示用のフレームバッファとして交互に用いるダブルバッファリングを実現している。なお、先読み用のフレームバッファは1つでなく複数存在してもよい。
また、映像データをフレームバッファ124に「展開」するというのは、映像データをそのままフレームバッファ124に記憶させることのほか、圧縮又は暗号化された映像データを伸張又は復号化してフレームバッファ124に記憶させることも含む。
次に、この実施形態1の動作について説明する。まず、通常再生時における動作について説明する。なお、本発明における通常再生とは、映像データを本来のフレームレートで順方向に再生することをいう。
まず、何らかの表示されるべき映像データが映像データ供給手段200から映像配信サーバVSに入力される。これによって、映像配信サーバVSでは、映像パケット生成部116によって映像パケットを生成し、その映像パケットを各描画ユニットRU1〜RU4に対して映像データ送信部101から配信する。
なお、この映像データの配信は、映像配信サーバVSから全描画ユニットRU1〜RU4に対し、同じ映像データをブロードキャスト通信(マルチキャスト通信でも可)によって一斉同報通信にて配信することは勿論可能であるが、ここでは、個々の描画ユニットRU1〜RU4に配信すべき映像データを、個々の描画ユニットRU1〜RU4宛に個別に配信する例について説明する。
すなわち、マルチ画面ディスプレイを構成する2×2の4つの表示装置D1〜D4がそれぞれ部分映像を表示することによって、これら部分映像を統合した1つの大画面を構成する図13に示したようなタイリングディスプレイなどの場合、各描画ユニットRU1〜RU4は、それぞれ対応する表示装置D1〜D4に対して、自分の受け持つ領域に対応する部分映像を出力するので、個々の描画ユニットRU1〜RU4にはその描画ユニットが受け持つ領域の部分映像データが個別に配信される。
図3は、この実施形態2における映像配信サーバVS側の処理の流れを説明するフローチャートである。まず、映像データ供給手段200からのコンテンツ(映像データ)の読み出し・解析を行い(ステップS1)、読み出し・解析された映像データを各描画ユニットRU1〜RU4が受け持つ表示領域ごとにパケット化する(ステップS2)。
なお、このステップS2の処理は、ステップS1にて読み出し・解析された映像データを復号化し、それをそれぞれの描画ユニットRU1〜RU4が受け持つ表示領域ごとに分割して、その分割したそれぞれの表示領域ごとの映像データを再び符号化してパケット化するというように、復号化および再符号化の処理や、読み出し・解析された映像データを、1パケットあたりの情報量の上限(MTU:Maximum Transmission Unit)以下のデータサイズとする処理を含む場合もある。
続いて、それぞれの表示領域ごとのパケット化された映像データを、それぞれ対応する各描画ユニットRU1〜RU4に対し、映像用LAN11を用いて配信する(ステップS3)。
そして、フレームとして展開可能な全情報の配信が終了したか否かを判定し(ステップS4)、終了していなければ、ステップS1に戻って、ステップS1以降の処理を行い、終了していれば、続く映像データの読み出しを行うとともに、表示指示タイミング待ち状態に入る(ステップS5,S6)。
そして、表示タイミングとなると、表示指示タイミングを生成して(ステップS7)、その表示指示タイミングに基づく表示指示パケットを再生制御用LAN12を用いて、全描画ユニットRU1〜RU4に対し、ブロードキャスト(マルチキャストでも可)により配信する(ステップS8)。この表示指示パケットが全描画ユニットRU1〜RU4に配信されると、この図3では示されていないが、個々の描画ユニットRU1〜RU4では、それぞれが受け持つ表示領域に対応する映像データを出力する。
このように、映像データ(映像パケット)は映像用LAN11によって各描画ユニットRU1〜RU4に配信され、また、再生制御情報である表示指示パケットは、再生制御用LAN12によって各描画ユニットRU1〜RU4宛に配信されるというように、映像データと再生制御情報は、それぞれ異なった専用のネットワークで配信するようにしている。
これによって、映像データにおいては、ネットワークの帯域をフルにつかうことができ、高品質な映像データの伝送が可能となる。また、再生制御情報においても、専用のネットワークを使っての伝送が可能となることから、再生制御情報を確実に各描画ユニットに配信することができる。
また、前記映像用ネットワークは、大容量・高速通信の可能なネットワークが採用されるので、データ量の多い映像データを品質を落とすことなく配信することができる。前記再生制御用LAN12は、前記映像用LAN11に比べて小容量・低速通信のネットワークを採用することが可能であるので、安価なネットワークを使用することができる。
図4は映像配信サーバVSからの各描画ユニットRU1〜RU4に対する映像パケットと表示指示パケットの配信タイミングと、各描画ユニットRU1〜RU4の動作を説明する図であり、映像パケットの配信タイミングを白抜きの矢印で表し、また、表示指示パケットの配信タイミングを灰色の矢印で表している。なお、この図4は通常再生時における動作を説明する図である。
なお、図4において、白抜きの矢印部分に記述されている「映像」は「映像パケット」を略したもので、その白抜きの矢印が映像パケットの配信タイミングであることを示すものである。また、灰色の矢印部分に記述されている「表示」は「表示指示パケット」を略したもので、その灰色の矢印が表示指示パケットの配信タイミングであることを示すものである。
この実施形態1の場合、すでに説明したように、映像配信サーバVSからは個々の描画ユニットRU1〜RU4宛に、その描画ユニットに対応する映像データが格納された映像パケットが映像用LAN11によって配信されてくる。これによって、各描画ユニットRU1〜RU4は、自身宛に配信されてきた映像パケットに格納されている映像データを映像データ受信部121で受信したのちにフレームバッファ124に展開する。
続いて、映像配信サーバVSは表示指示パケットを所定のタイミングで各描画ユニットRU1〜RU4に対して、再生制御用LAN12を用いてブロードキャスト通信によって配信する。これにより、各描画ユニットRU1〜RU4は、配信されてきた表示指示パケットを再生制御情報受信部126で受信し、出力制御部123の制御によって、フレームバッファ124に展開されている映像データを対応する表示装置D1〜D4に出力する。
この動作を繰り返すことにより、各描画ユニットRU1〜RU4は、同期化された映像データを各表示装置D1〜D4に出力できる。なお、映像配信サーバVSからは、1フレーム分の映像が必ずしも1つのパケットとして送られるとは限らないが、この図4では、便宜的に1つのフレームが1つのパケットとして送られるものとして示されている。
以上はこの実施形態1における通常再生動作であるが、このような通常再生とは異なる変則的再生として、たとえば、再生速度を変えた可変速再生や、コマ送り再生、逆再生などの変則的再生が可能となる。以下にこの変則的再生として、ここでは、再生速度を変えた可変速再生を実現するための再生制御について説明する。
このような可変速再生を行なうための変則的再生制御情報は、変則的再生制御情報生成部115によって生成される。すなわち、ユーザによって高速再生やスロー再生といった可変速再生指示が変則的再生指示受付部114に与えられると、変則的再生制御情報生成部115では、ユーザによって与えられた可変速再生指示に対応する変則的再生制御情報を生成する。
そして、この生成された変則的再生制御情報は、この場合、タイミング情報生成部111に与えられ、当該変則的再生制御情報に基づいた表示指示パケットがタイミング情報生成部111によって生成され、その表示指示パケットは再生制御情報送信部102から再生制御用LAN12に送出される。これによって、その表示指示パケットは、各描画ユニットRU1〜RU4に配信され、各描画ユニットRU1〜RU4では、配信されてきた表示指示パケットに基づくタイミングで映像データを対応する表示装置に出力する。
なお、タイミング情報生成部111は、変則的再生制御情報が高速再生指示である場合には、通常再生時よりも短い配信周期となるように表示指示パケットを生成し、変則的再生制御情報がスロー再生指示である場合には、通常再生時よりも長い配信周期となるように表示指示パケットを生成する。
図5は変則的再生制御の一つである可変速再生(高速再生、スロー再生)を実現する場合における映像配信サーバVSの映像パケットと表示指示パケットの各描画ユニットRU1〜RU4に対する配信タイミングを説明する図である。
この図5からもわかるように、映像パケットの配信タイミングは通常再生区間と同じであるが、表示指示パケットの配信タイミングが通常再生区間、高速再生区間、スロー再生区間でそれぞれ異なっている。
すなわち、図5において、高速再生区間においては、表示指示パケットはそれぞれ通常再生表示周期Tよりも短い周期(これをTfとし、Tf<Tである)で各描画ユニットRU1〜RU4に対して、再生制御用LAN12を用いてブロードキャスト通信により配信され、また、スロー再生区間においては、表示指示パケットはそれぞれ通常再生表示周期Tよりも長い周期(これをTsとし、Ts>Tである)で各描画ユニットRU1〜RU4に対して、再生制御用LAN12を用いてブロードキャスト通信により配信される。
これにより、各描画ユニットRU1〜RU4は、この図5の例では、通常再生区間においては、映像配信サーバVSから通常再生表示周期Tごとに配信されてくる表示指示パケットによって、フレームバッファ124に展開されている映像データを対応する表示装置D1〜D4に出力する。そして、次の高速再生区間においては、周期Tfで配信されてくる表示指示パケットによってフレームバッファ124に展開されている映像データを対応する表示装置D1〜D4に出力する。
そして、スロー再生区間においては、周期Tsで配信されてくる表示指示パケットによってフレームバッファ124に展開されている映像データを対応する表示装置D1〜D4に出力するという動作を繰り返すことによって、高速再生やスロー再生などの可変速再生が可能となる。
また、以上のような再生速度を変える可変速再生とは別の変則的再生の他の例としてのコマ送り再生や逆再生も可能である。
コマ送り再生を実現するには、映像配信サーバVS側から各描画ユニットRU1〜RU4に配信される映像パケットと表示指示パケットの配信周期は、通常再生表示周期Tと同じ周期であるが、コマ送り再生区間においては、映像パケットに格納される映像データを、フレームを間引いた数フレームごとの映像データとすればよい。
なお、このコマ送り再生を行う場合も、可変速再生が可能であり、その場合は、図5で説明したように、表示指示パケットの配信周期を変化させることで実現できる。
また、逆再生を実現するには、映像配信サーバVS側から各描画ユニットRU1〜RU4に配信される映像パケットと表示指示パケットの配信周期は、通常再生表示周期Tと同じ周期であるが、逆再生区間においては、配信すべき映像データが逆再生の順序で配信すればよい。すなわち、通常再生時においては、映像データのフレーム番号が昇順で配信されるものとすれば、逆再生区間ではフレーム番号が降順となるようにそれぞれの映像データが配信されるようになっている。
なお、この逆再生を行う場合も、可変速再生が可能であり、その場合は、図5で説明したように、表示指示パケットの配信周期を変化させることで実現できる。
なお、この実施形態1においては、個々の描画ユニットRU1〜RU4で表示すべき映像データを個々の描画ユニットRU1〜RU4宛に個別に配信する例について説明したが、これに限られるものではなく、映像配信サーバVSから全描画ユニットRU1〜RU4に対し、同じ映像データをブロードキャスト通信(マルチキャスト通信でも可)によって配信する場合にも適用できることは勿論である。
以上説明したように、この実施形態1においては、映像データ・再生制御情報配信手段としての映像配信サーバVSが再生制御情報配信サーバとしての機能をも有している。すなわち、映像配信サーバVSが各描画ユニットRUI〜RU4への映像配信を行う機能と、各描画ユニットRU1〜RU4に対する再生制御情報を生成してそれを配信する機能とを有している。
そして、映像データ(映像パケット)と再生制御情報(この実施形態では表示指示パケット)は、それぞれ異なった専用のネットワーク、すなわち、映像データは映像用LAN11、表示指示パケットは再生制御用LAN12を用いて描画ユニットRU1〜RU4に配信するようにしている。
また、映像データは、データ量も多く高品質な通信が要求されることから、映像用LAN11は高品質・高速なネットワークが採用される。一方、表示指示パケットを伝送する再生制御用LAN12は、映像データに比べればデータ量も少ないことから、比較的低速なネットワーク採用が可能である。
このように、映像データ(映像パケット)と再生制御情報は、それぞれ専用のネットワークで各描画ユニットに配信されることから、映像データにおいては、ネットワークの帯域をフルに使用することができ、かつ、高品質な映像データの伝送が可能となる。また、再生制御情報においても、専用のネットワークを使っての伝送が可能となることから、再生制御情報を確実に各描画ユニットに配信することができる。
また、この実施形態1における再生制御情報は、表示指示パケットによる表示タイミングの制御であっったが、表示タイミングの制御以外のコマンドを用いた再生制御も可能である。
また、ネットワークプロトコルとして、TCP/IPの汎用のネットワークを用いていることから、再生制御のコマンドを自由に変更でき、柔軟なプロトコルの開発が可能となり、さらに、再生制御の種類を後から増やせるなどの利点もある。
[実施形態2]
上述の実施形態1の例では、映像データ・再生制御情報配信手段としての映像配信サーバVSが再生制御情報配信サーバの機能をも有する場合について説明したが、映像データ・再生制御情報配信手段として、映像配信サーバVSと再生制御情報配信サーバとをそれぞれ別の構成とすることも可能である。なお、再生制御情報配信サーバは、本発明の各実施形態では再生制御情報が主に表示タイミングであるとして説明しているので、再生制御情報配信サーバをタイミングサーバTSと呼ぶことにする。
図6は実施形態2に係るマルチ画面映像再生装置10の構成を説明する図である。この図6の構成は図1で示した構成に対し、映像データ・再生制御情報配信手段が映像配信サーバVSと、この映像配信サーバVSとは別個に設けられたタイミングサーバTSとで構成されている点が異なり、その他は図1と同じであり、同一構成要素には同一符号が付されている。
この実施形態2の場合、映像配信サーバVSは、ネットワークインタフェース(図示せず)を介して映像用LAN11に接続され、タイミングサーバTSは、ネットワークインタフェース(図示せず)を介して再生制御用LAN12に接続されている。
図7は図6における映像配信サーバVS、タイミングサーバTS、描画ユニットRU1〜RU4の構成を説明するものである。なお、描画ユニットRU1〜RU4の構成は図2と同じである。
タイミングサーバTSは、表示指示タイミング情報を表示パケットとして生成するタイミング情報生成部111、映像配信サーバVSに対する映像配信制御情報を映像配信制御パケットとして生成する映像配信制御情報生成部119と、この映像配信制御情報生成部119で生成された映像配信制御パケットを再生制御用LAN12を用いて、映像配信サーバVSに配信するとともに、タイミング情報生成部111で生成された表示指示パケットを同じく再生制御用LAN12を用いて、各描画ユニットRU1〜RU4に一斉同報通信により配信する再生制御情報送信部102、ユーザから与えられる変則的再生指示を受け付ける変則的再生指示受付部114、この変則的再生指示受付部114によって受け付けられたユーザからの変則的再生指示に基づいてタイミング情報生成部111と映像配信制御情報生成部119の一方または両方に変則的再生制御情報を与える変則的再生制御情報生成部115を有している。
一方、映像配信サーバVSは、図2で示した映像データ(映像パケット)生成部116の他、この実施形態2の場合は、タイミングサーバTSの映像配信制御情報生成部119で生成された映像配信制御パケットを再生制御用LAN12により受信する映像配信制御情報受信部103、この映像配信制御情報受信部103で受信された映像配信制御パケットに基づいて、描画ユニットRU1〜RU4への映像配信制御を行う映像配信制御部117、映像データ(映像パケット)生成部116で生成された映像パケットを映像用LAN11上に送出する映像データ送信部101を有している。
このように、映像データ・再生制御情報配信手段として映像配信サーバVSとタイミングサーバTSをそれぞれ別個に有するこの実施形態2の動作について説明する。
図8はこの実施形態2における映像配信サーバVSとタイミングサーバTSの通常再生時における処理の流れを説明するものである。なお、前述の実施形態1と同様、ここでは、個々の描画ユニットRU1〜RU4に配信すべき映像データを個々の描画ユニットRU1〜RU4宛に個別に配信する例について説明する。
まず、タイミングサーバTSが映像配信サーバVSに対し、映像配信制御パケットを配信する(ステップS21)。映像配信サーバVSは、それまでの映像配信制御情報待ちの状態(ステップS22)から、映像配信制御パケットを受け取ると、コンテンツ(映像データ)の読み出し・解析を行い(ステップS23)、この読み出し・解析された映像データをそれぞれの描画ユニットRU1〜RU4が表示すべき表示領域に対応する映像データを生成して、生成されたそれぞれの表示領域対応の映像データをパケット化する(ステップS24)。
なお、このステップS24の処理は、ステップS23にて読み出し・解析された映像データを復号化して、それをそれぞれの描画ユニットRU1〜RU4が受け持つ表示領域ごとに分割して、その分割したそれぞれの表示領域ごとの映像データを再び符号化してパケット化するというように、復号化および再符号化の処理や、読み出し・解析された映像データを、1パケットあたりの情報量の上限(MTU:Maximum Transmission Unit)以下のデータサイズとする処理を含む場合もある。
続いて、そのパケット化された映像データ(映像パケット)を映像用LAN11を用いて、対応する描画ユニットRU1〜RU4宛にユニキャスト通信により配信する(ステップS25)。そしてフレームとして展開可能な全情報の配信が終了したか否かを判定し(ステップS26)、終了していなければ、ステップS23に戻る。
一方、タイミングサーバTS側では、映像配信制御パケットの配信を行ったあと、表示指示タイミング生成を行い(ステップS27)、生成された表示指示タイミングに基づく表示指示パケットを所定のタイミングで一斉同報通信により配信する(ステップS28)。この表示指示パケットは、再生制御用LAN12によって各描画ユニットRU1〜RU4に配信される。
この表示指示パケットが全描画ユニットRU1〜RU4に配信されると、この図8のフローチャートでは示されていないが、個々の描画ユニットRU1〜RU4では、それぞれが受け持つ表示領域に対応する映像データ(フレームバッファ124に展開済みの映像データ)を出力する。以上の処理を繰り返し行う。
図9はタイミングサーバTSからの映像配信サーバVSに対する映像配信制御パケットの配信タイミングと、この映像配信制御パケットによる映像配信サーバVSの各描画ユニットRU1〜RU4に対する映像パケットの配信タイミングと、タイミングサーバTSからの描画ユニットRU1〜RU4に対する表示指示パケットの配信タイミングと、これら映像配信サーバVSからの映像パケットおよびタイミングサーバTSからの表示指示パケットに基づく各描画ユニットRU1〜RU4の動作を説明する図であり、この図9は通常再生時における動作である。
この図9において、タイミングサーバTSからの映像配信サーバVSに対する映像配信制御パケットの配信タイミングをハッチングの施された矢印で表し、また、映像配信サーバVSから各描画ユニットRU1〜RU4への映像パケットの配信タイミングを白抜きの矢印で表し、また、タイミングサーバTSから各描画ユニットRU1〜RU4への表示指示パケットの配信タイミングを灰色の矢印で表している。
また、この図9において、白抜きの矢印部分に記述されている「映像」は「映像パケット」を略したもので、その白抜きの矢印が映像パケットの配信タイミングであることを示すものである。また、灰色の矢印部分に記述されている「表示」は「表示指示パケット」を略したもので、その灰色の矢印が表示指示パケットの配信タイミングであることを示すものである。また、ハッチングの施された矢印部分に記述されている「配信制御」は「映像配信制御パケット」を略したもので、そのハッチングの施された矢印が映像配信制御パケットの配信タイミングであることを示すものである。
この図9の動作は実施形態1の説明で用いた図4とほぼ同じであるが、この図9の場合、タイミングサーバTSからの映像配信サーバVSに対する映像配信制御パケットに基づいて、映像配信サーバVSから各描画ユニットRU1〜RU4に対応する映像パケットが配信される点と、表示指示パケット(灰色の矢印で表す)がタイミングサーバTSから各描画ユニットRU1〜RU4に対して出力される点が図4と異なり、その他は図4と同じであるので、その動作説明は省略する。
なお、タイミングサーバTSからの映像配信サーバVSに対する映像配信制御も再生制御の1つであるため、その映像配信制御パケットも、再生制御用LAN12を用いて配信される。一方、映像配信サーバVSから各描画ユニットRU1〜RU4に対応する映像データの配信は、映像用LAN11によって行われる。
この実施形態2の場合においても、前述の実施形態2と同様の可変速再生(高速再生、スロー再生)などの変則的再生が可能となる。すなわち、高速再生、スロー再生などの可変速再生は、タイミングサーバTSからの表示指示タイミングの周期を変えることで実現することができる。
また、この可変速再生以外の変則的再生として、たとえば、コマ送り再生や逆再生は、この場合、タイミングサーバTSからの映像配信サーバVSに対する映像配信制御パケットの内容を前述の実施形態1で説明したように、配信すべき映像データのフレームを間引くことを指示する映像配信制御情報としたり、フレーム番号を降順とすることを指示する映像配信制御情報とすることによって実現できる。このような各種の変則的な再生制御動作については実施形態2と同様であるので、ここではその説明は省略する。
この実施形態2によれば、実施形態1と同様の変則的な再生制御が可能となる他、タイミングサーバTSが実施形態2で説明した映像配信サーバVSの機能の一部を受け持つことによって、映像配信サーバVSの処理負荷を軽減できるといった効果も得られる。
さらに、前述した実施形態1と同様、映像データ(映像パケット)と再生制御情報(この実施形態2ではタイミングサーバTSから各描画ユニットRU1〜RU4に対する表示指示パケットとタイミングサーバTSから映像配信サーバVSに対する映像配信制御パケット)は、それぞれ異なった専用のネットワークを用いて配信される。
すなわち、映像データは映像用LAN11、表示指示パケットや映像配信制御パケットは再生制御用LAN12を用いて描画ユニットRU1〜RU4や映像配信サーバVSに配信するようにしている。
このように、映像データ(映像パケット)と再生制御情報は、それぞれ専用のネットワークで配信されることから、映像データにおいては、ネットワークの帯域をフルに使用することができ、かつ、高品質な映像データの伝送が可能となる。また、再生制御情報においても、専用のネットワークを使っての伝送が可能となることから、再生制御情報を確実に各描画ユニットRU1〜RU4や映像配信サーバVSに配信することができる。
なお、この実施形態2も前述の実施形態1と同様、個々の描画ユニットRU1〜RU4で表示すべき映像データを、個々の描画ユニットRU1〜RU4宛に個別に配信する例について説明したが、これに限られるものではなく、映像配信サーバVSから全描画ユニットRU1〜RU4に対し、同じ映像データをブロードキャスト通信(マルチキャスト通信でも可)によって一斉同報通信にて配信する場合にも適用できることは勿論である。
[実施形態3]
前述の実施形態1および実施形態2では、映像データは勿論のこと、再生制御情報も片方向通信で配信するようにしている。すなわち、実施形態1の場合は、再生制御情報は映像配信サーバVSから各描画ユニットRU1〜RU4への片方向通信であり、実施形態2の場合は、タイミングサーバTSから各描画ユニットRU1〜RU4や映像配信サーバVSへの片方向通信であったが、この実施形態3では、再生制御情報については、少なくとも、タイミングサーバTSと描画ユニットRU1〜RU4との間、前記タイミングサーバTSと映像配信サーバVSとの間での双方向通信を可能とする。なお、映像データは実施形態1と同様の片方向通信で行う。
この再生制御情報の双方向通信について、ここでは、実施形態2の構成を例にとって説明する。
図10はこの実施形態3に係るマルチ画面映像再生装置の構成を説明するための図であり、この図10は実施形態2の説明で用いた図7に対応するものである。図10が図7と異なるのは、この図10の場合、タイミングサーバTSと映像配信サーバVSとの間、タイミングサーバTSと各描画ユニットRU1〜RU4との間が、それぞれ双方向通信の可能なネットワークで結ばれているということである。
なお、構成要素などは図7と同じである。したがって、この図10において図7と同一部分には同一符号が付されている。ただし、再生制御用LAN12が双方向通信を可能とするものであるため、図7で示されたタイミングサーバTSの再生制御情報送信部102は、この図10においては、再生制御情報送受信部105となり、図7で示された映像配信サーバVSの映像配信制御情報受信部103は、この図10においては、映像配信制御情報送受信部106となる。また、図7で示された各描画ユニットRU1〜RU4の再生制御情報受信部126は、この図10においては、再生制御情報送受信部127となる。
図11はこの実施形態3における映像配信サーバVSとタイミングサーバTSの通常再生時における処理の流れを説明するものである。なお、前述の各実施形態と同様、ここでは、個々の描画ユニットRU1〜RU4で配信すべき映像データを個々の描画ユニットRU1〜RU4宛に個別に配信する例について説明する。
まず、タイミングサーバTSが映像配信サーバVSに対し、映像配信依頼指示パケットを再生制御用LAN12を用いて配信する(ステップS31)。映像配信サーバVSは、それまでの映像配信制御情報待ちの状態(ステップS32)から、その映像配信依頼指示パケットを受け取ると、コンテンツ(映像データ)の読み出し・解析を行い(ステップS33)、この読み出し・解析された映像データに基づいて、それぞれの描画ユニットRU1〜RU4が表示すべき表示領域に対応する映像データをパケット化する(ステップS34)。
なお、このステップS34の処理は、ステップS33にて読み出し・解析された映像データを復号化して、それをそれぞれの描画ユニットRU1〜RU4が受け持つ表示領域ごとに分割して、その分割したそれぞれの表示領域ごとの映像データを再び符号化してパケット化するというように、復号化および再符号化の処理や、読み出し・解析された映像データを、1パケットあたりの情報量の上限(MTU:Maximum Transmission Unit)以下のデータサイズとする処理を含む場合もある。
そして、映像データのパケット化処理が終了すると、映像配信準備が完了したことを示す映像配信準備完了パケットを、再生制御用LAN12を用いてタイミングサーバTSに配信する。
タイミングサーバTSは、映像配信サーバVSからの映像配信準備完了パケットを受け取ると、映像データの配信を指示する映像配信指示パケットを再生制御用LAN12を用いて映像配信サーバVSに送信する(ステップS35)。
映像配信サーバVSは、タイミングサーバTSからの映像配信指示パケットを受け取ると、映像データ(映像パケット)を、対応する描画ユニットRU1〜RU4宛に、映像用LAN11を用いてユニキャスト通信により配信する(ステップS36)。
そして、フレームとして展開可能な全情報の配信が終了したか否かを判定し(ステップS37)、終了していなければ、ステップS33に戻り、終了していれば、映像データの配信完了を示す映像配信完了パケットを、再生制御用LAN12を用いてタイミングサーバTSに送信する。
このように、映像配信サーバから各描画ユニットRU1〜RU4に映像パケットの配信が完了し、かつ、映像配信完了パケットが再生制御用LAN12を用いてタイミングサーバTSに送信されると、今度は、タイミングサーバTSと各描画ユニットRU1〜RU4との間の通信がなされる。このタイミングサーバTSと各描画ユニットRU1〜RU4との間の通信について図12を参照しながら説明する。
映像配信サーバVSからの映像配信完了パケットをタイミングサーバTSが受け取ると、タイミングサーバTSでは、図12に示すように、各描画ユニットRU1〜RU4に対する表示依頼指示パケットを再生制御用LAN12を用いて配信する(ステップS41)。
各描画ユニットRU1〜RU4では、表示依頼指示待ちの状態において(ステップS42)、タイミングサーバTSからの表示依頼指示パケットを受け取ると、フレームバッファ124から、表示すべき映像データの読み出し・解析を行い(ステップS43)、表示準備完了を示す表示準備完了パケットを再生制御用LAN12を用いてタイミングサーバTSに送信する。
これにより、タイミングサーバTSでは、表示指示タイミングの生成を行い(ステップS44)、生成された表示指示タイミングに基づく表示指示パケットを所定のタイミングで、一斉同報通信により再生制御用LAN12を用いて各描画ユニット宛に配信する(ステップS45)。
この表示指示パケットが全描画ユニットRU1〜RU4に配信されると、個々の描画ユニットRU1〜RU4では、それぞれが受け持つ表示領域に対応する映像データ(フレームバッファ124に展開済みの映像データ)をそれぞれ対応する表示装置D1〜D4に出力する(ステップS46)。そして、表示完了を示す表示完了パケットをタイミングサーバTS宛に再生制御用LAN12を用いて配信する(ステップS47)。以上の処理を繰り返し行う。
この実施形態3のように、再生制御情報を双方向通信可能とすることによって、タイミングサーバTSと映像配信サーバVS、タイミングサーバTSと各描画ユニットRU1〜RU4がそれぞれ連携をとりながら通信を行うことができるので、より確実な再生制御を行うことができる。たとえば、タイミングサーバTSと描画ユニットRU1〜RU4間で情報の授受を行っているときに、描画ユニットRU1〜RU4側の処理が間に合わないような場合、その状況をタイミングサーバTS側に知らせることができ、それによって、常に適正な状態で再生制御が行える。このような再生制御がなされることによって、より適正で確実に映像データの配信を行うことができるとともに、描画ユニットRU1〜RU4側では配信された映像データを適正に表示することができる。
なお、この実施形態3では、前述の実施形態2の構成の場合を例にとって説明したが、実施形態1の構成であっても、再生制御情報を配信するためのネットワークとして双方向通信が可能なネットワークを用いることができることは勿論である。また、映像配信サーバVSと各描画ユニットRU1〜RU4との間においても、何らかの再生制御情報が存在する場合には、映像配信サーバVSと各描画ユニットRU1〜RU4との間で、その再生制御情報の双方向通信を行うことができる。
以上、前述の各実施形態に基づいて本発明についての説明を行ったが、本発明は前述の各実施形態に限られることなく、その要旨を変更しない範囲において種々の態様において実施することが可能であり、たとえば、次のような変形も可能である。
(1)前述の実施形態1では、再生制御情報としては、各描画ユニットにおけるコンテンツ(映像データ)の表示タイミングを指示するための表示タイミングであるとして説明し、また、実施形態2では、表示タイミングに加えて、タイミングサーバTSから映像配信サーバに対する映像配信制御情報も再生制御情報として説明したが、再生制御情報としては、これら以外にも種々考えられる。
たとえば、映像データ・再生制御情報配信手段からある特定の描画ユニットに対して、何らかの再生制御情報(コマンド)を与えることによって、その特定の描画ユニットがそのコマンドに応じた表示動作を行うといった再生制御も可能である。
このように、各描画ユニットRU1〜RU4に対する再生制御として、表示タイミングに基づく再生制御とは別の再生制御を可能とする場合には、表示タイミングに基づく再生制御とは別の再生制御を行わせるための何らかの再生制御情報は、再生制御用LAN12で行い、表示の同期をとるための表示タイミングに対しては、専用のネットワークとして表示同期用LANを設けて、その表示同期用LANによって表示タイミング(表示指示パケット)を配信するようにするといった構成も可能である。
このようにすれば、様々な再生制御を行わせることができ、しかも、表示同期専用のネットワークが存在することによって、マルチ画面映像装置を構成する複数の表示デバイスで表示の同期を取りながら映像表示を行うようなシステムにおいては、より確実に同期を取ることが可能となる。
(2)前述の各実施形態におけるマルチ画面映像再生装置においては、各描画ユニットが各表示装置と別体で構成されているが、本発明は各描画ユニットが各表示装置の構成要素としてその内部に含まれるように構成されていてもよい。
(3)前述の各実施形態では、映像配信サーバVS、タイミングサーバTS、描画ユニットRU1〜RU4はそれぞれが別体のハードウエアとして構成されているかのような説明であったが、これらは、一体化されたものであってもよい。また、表示装置(たとえばプロジェクタ)のみで本発明を実現できるように、映像配信サーバVS、タイミングサーバTS、描画ユニットRU1〜RU4をすべて組み込んだ構成とすることも可能であり、その態様は種々考えられる。
(4)前述の各実施形態におけるマルチ画面映像再生装置においては、大画面のマルチ画面ディスプレイで1つの大画面映像を再生する場合を例にとって説明したが、本発明はこれに限られず、たとえば、マルチ画面ディスプレイを構成する複数の表示装置のそれぞれが、異なる独自の映像を再生するような場合にも適用できる。
(5)前述の各実施形態におけるマルチ画面映像再生装置においては、4台のプロジェクタが2行・2列のマトリクス状に配置されたものを用いて説明したが、表示装置の種類、台数、配列パターンなどがこれに限られないのはいうまでもない。
また、本発明は以上説明した本発明を実現するためのマルチ画面映像再生装置における映像再生手順が記述されたマルチ画面映像再生装置における映像再生プログラムを作成し、それをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくこともできる。したがって、本発明は、そのマルチ画面映像再生装置における映像再生プログラムの記録された記録媒体をも含むものである。また、ネットワークからそのマルチ画面映像再生装置における映像再生プログラムを得るようにしてもよい。
実施形態1に係るマルチ画面映像再生装置の構成を説明する図。 実施形態1に係るマルチ画面映像再生装置の映像データ・再生制御情報配信手段(映像配信サーバ)と描画ユニットの構成を説明する図。 図2で示した映像データ・再生制御情報配信手段(映像配信サーバ)の動作を説明するフローチャート。 実施形態1に係るマルチ画面映像再生装置の通常再生時における映像データ・再生制御情報配信手段(映像配信サーバ)からの映像パケットと表示指示パケットの描画ユニットに対する配信タイミングと、描画ユニットの動作を説明するための図。 実施形態1に係るマルチ画面映像再生装置の可変速再生時における映像データ・再生制御情報配信手段(映像配信サーバ)からの映像パケットと表示指示パケットの描画ユニットに対する配信タイミングと、描画ユニットの動作を説明するための図。 実施形態2に係るマルチ画面映像再生装置の構成を説明する図。 実施形態2に係るマルチ画面映像再生装置の映像データ・再生制御情報配信手段(映像配信サーバおよびタイミングサーバ)と描画ユニットの構成を説明する図。 図7で示した映像データ・再生制御情報配信手段(映像配信サーバおよびタイミングサーバ)の動作を説明するフローチャート。 実施形態2に係るマルチ画面映像再生装置の通常再生時における映像データ・再生制御情報配信手段(映像配信サーバおよびタイミングサーバ)からの映像パケットと表示指示パケットの描画ユニットに対する配信タイミングと、描画ユニットの動作を説明するための図。 実施形態3に係るマルチ画面映像再生装置の映像データ・再生制御情報配信手段(映像配信サーバおよびタイミングサーバ)と描画ユニットの構成を説明する図。 図10で示した映像配信サーバとタイミングサーバとの間における双方向通信の動作例を説明するフローチャート。 図10で示したタイミングサーバと各描画ユニットとの間における双方向通信の動作例を説明するフローチャート。 マルチ画面ディスプレイを説明するための図。
符号の説明
10 マルチ画面映像再生装置、11 映像用ネットワーク(映像用LAN)、12 再生制御情報用ネットワーク(再生制御用LAN)、101 映像データ送信部、102 再生制御情報送信部、103 映像配信制御情報受信部、105 再生制御情報送受信部、106 映像配信制御情報送受信部、111 タイミング情報生成部、114 変則的再生指示受付部、115 変則的再生制御情報生成部、116 映像パケット生成部、121 映像データ受信部、122 映像データ取得部、123 出力制御部、124 フレームバッファ、125 出力部、126 再生制御情報受信部、127 再生制御情報送受信部、200 映像データ供給手段、D1〜D4 表示装置、RU1〜RU4 描画ユニット、TS 再生制御情報配信サーバ(タイミングサーバ)、VS 映像配信サーバ、SCR スクリーン

Claims (10)

  1. 複数の表示装置を用いて全体映像を表示する際に、前記複数の表示装置のそれぞれに映像データを出力するマルチ画面映像再生システムであって、
    前記複数の表示装置に映像データを出力する複数の描画ユニットと、
    前記複数の描画ユニットに映像用ネットワークを介して映像データが格納された映像パケットを配信する機能と、前記表示装置に映像データを出力する際に用いる再生制御情報を前記映像用ネットワークとは異なり、かつ双方向通信が可能な再生制御用ネットワークを介して前記複数の描画ユニットに配信する機能とを有する配信手段と、
    を有し、
    前記複数の描画ユニットは、前記映像パケットに格納された画像データを展開し、前記映像データを表示する準備が完了したことを示す情報を、前記再生制御用ネットワークを介して前記配信手段に送信し、
    前記配信手段は、前記映像データを表示する準備が完了したことを示す情報を前記複数の描画ユニットから受け取ると、前記映像データを同期化して出力する際に用いられる表示タイミング情報を表示指示パケットとして生成し、前記再生制御用ネットワークを介して前記複数の描画ユニットに配信するとともに、
    前記配信手段は、前記映像データを再生する速度に応じて、前記複数の描画ユニットに前記表示タイミング情報となる前記表示指示パケットを配信する周期を異ならせることを特徴とするマルチ画面映像再生システム。
  2. 請求項1に記載のマルチ画面映像再生システムにおいて、
    前記複数の描画ユニットは、前記映像パケットに格納されている前記映像データを展開するためのフレームバッファをそれぞれ有し、
    前記配信手段は、前記映像データを再生する速度に関わらず、一定の周期で前記映像データとなる前記映像パケットを前記複数の描画ユニットに配信することを特徴とするマルチ画面映像再生システム。
  3. 請求項に記載のマルチ画面映像再生システムにおいて、
    前記描画ユニットは、前記描画ユニットの処理が間に合わないことに関する情報、前記表示装置に対する映像データの出力が完了したことに関する情報のうちの少なくともいずれかを前記再生制御用ネットワークを介して前記配信手段に配信することを特徴とするマルチ画面映像再生システム。
  4. 請求項1からのいずれかに記載のマルチ画面映像再生システムにおいて、
    前記配信手段は、前記再生制御情報の生成および配信が可能な再生制御情報配信サーバと、前記描画ユニットに供給する映像データの生成を行って、該生成された映像データを前記描画ユニットに配信可能な映像配信サーバとを有することを特徴とするマルチ画面映像再生システム。
  5. 請求項記載のマルチ画面映像再生システムにおいて、
    前記再生制御情報配信サーバと前記映像配信サーバとの間、前記再生制御情報配信サーバと前記描画ユニットとの間は、前記再生制御情報用ネットワークを介して接続可能であることを特徴とするマルチ画面映像再生システム。
  6. 請求項記載のマルチ画面映像再生システムにおいて、
    前記再生制御情報用ネットワークは、双方向通信を可能とすることを特徴とするマルチ画面映像再生システム。
  7. 請求項または記載のマルチ画面映像再生システムにおいて、
    前記再生制御情報配信サーバは、前記映像配信サーバが前記描画ユニットに前記映像データを配信する際に用いる制御情報を、前記再生制御情報用ネットワークを介して前記映像配信サーバに配信することを特徴とするマルチ画面映像再生システム。
  8. 請求項1からのいずれかに記載のマルチ画面映像再生システムにおいて、前記再生制御情報用ネットワークの通信容量は、前記映像用ネットワークの通信容量に比べて小容量であり、且つ前記再生制御情報用ネットワークの通信速度は、前記映像用ネットワークの通信速度に比べて低速であることを特徴とするマルチ画面映像再生システム。
  9. 配信手段から、複数の表示装置に映像データを出力する複数の描画ユニットに対して映像データとなる映像パケットを映像用ネットワークを介して配信するステップと、
    前記複数の描画ユニットから、前記映像データを表示する準備が完了したことを示す情報を、前記映像用ネットワークとは異なり、かつ双方向通信が可能な再生制御用ネットワークを介して前記配信手段に送信するステップと、
    前記配信手段から、前記映像データを同期化して出力する際に用いられる表示タイミング情報を表示指示パケットとして生成し、前記再生制御用ネットワークを介して前記複数の描画ユニットに配信するステップと、
    前記映像データを再生する速度に応じて、前記複数の描画ユニットに前記表示タイミング情報となる前記表示指示パケットを配信する周期を異ならせるステップと、
    を有することを特徴とするマルチ画面映像再生システムにおける映像再生方法。
  10. 複数の表示装置によって全体映像を表示する前記複数の表示装置のそれぞれに対して映像データを出力する際に用いる配信装置であって、
    前記複数の表示装置に映像データを出力する複数の描画ユニットに対し、映像用ネットワークを介して映像データとなる映像パケットを配信する手段と、
    前記複数の描画ユニットが前記複数の表示装置に映像データを出力する際に用いる再生制御情報を、前記複数の描画ユニットに前記映像用ネットワークとは異なり、かつ双方向通信が可能な再生制御用ネットワークを介して配信する手段と、
    を有し
    前記映像データを表示する準備が完了したことを示す情報を前記複数の描画ユニットから受け取ると、前記映像データを同期化して出力する際に用いられる表示タイミング情報を表示指示パケットとして生成し、前記再生制御用ネットワークを介して前記複数の描画ユニットに配信するとともに、
    前記映像データを再生する速度に応じて、前記複数の描画ユニットに前記表示タイミング情報となる前記表示指示パケットを配信する周期を異ならせて配信する
    ことを特徴とする配信装置。
JP2004082720A 2004-03-22 2004-03-22 マルチ画面映像再生装置およびマルチ画面映像再生装置における映像再生方法 Expired - Fee Related JP4586389B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004082720A JP4586389B2 (ja) 2004-03-22 2004-03-22 マルチ画面映像再生装置およびマルチ画面映像再生装置における映像再生方法
US11/084,832 US7792412B2 (en) 2004-03-22 2005-03-21 Multi-screen image reproducing apparatus and image reproducing method in multi-screen image reproducing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004082720A JP4586389B2 (ja) 2004-03-22 2004-03-22 マルチ画面映像再生装置およびマルチ画面映像再生装置における映像再生方法

Publications (3)

Publication Number Publication Date
JP2005269529A JP2005269529A (ja) 2005-09-29
JP2005269529A5 JP2005269529A5 (ja) 2007-05-10
JP4586389B2 true JP4586389B2 (ja) 2010-11-24

Family

ID=34986377

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004082720A Expired - Fee Related JP4586389B2 (ja) 2004-03-22 2004-03-22 マルチ画面映像再生装置およびマルチ画面映像再生装置における映像再生方法

Country Status (2)

Country Link
US (1) US7792412B2 (ja)
JP (1) JP4586389B2 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100860964B1 (ko) * 2006-07-05 2008-09-30 삼성전자주식회사 멀티미디어 컨텐츠 재생 장치 및 방법
US8341454B1 (en) * 2007-12-28 2012-12-25 Marvell International Ltd. Rendering a video stream based on digital clock generated based on timing information
US9489923B2 (en) * 2010-08-16 2016-11-08 Production Resource Group, Llc Synchronization of video wall movement with content on the wall
CN102866828B (zh) * 2012-08-29 2015-11-25 腾讯科技(深圳)有限公司 一种终端控制方法和设备
CN103873819B (zh) * 2012-12-13 2017-07-28 杭州海康威视数字技术股份有限公司 视频监控中录像文件快速回放的方法及其系统
US9836437B2 (en) * 2013-03-15 2017-12-05 Google Llc Screencasting for multi-screen applications
KR20150037372A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 영상표시장치, 컨텐츠 동기화 서버 및 그 동작방법
JP6564163B2 (ja) 2014-04-23 2019-08-21 アイキューブド研究所株式会社 画像出力装置、画像出力方法、およびプログラム
JP6604710B2 (ja) * 2014-04-23 2019-11-13 アイキューブド研究所株式会社 画像出力装置、画像出力方法、およびプログラム
CN105530531B (zh) * 2014-09-29 2019-01-01 深圳市赛格导航科技股份有限公司 车载影音多屏播放方法及系统
CN104363508B (zh) * 2014-11-21 2018-03-23 浙江宇视科技有限公司 一种防止视频回退的图像拼接方法及装置
CN104469521B (zh) * 2014-12-24 2018-05-29 青岛海信网络科技股份有限公司 一种多版式视频媒体贯播控制方法
CN105120305A (zh) * 2015-08-10 2015-12-02 合一网络技术(北京)有限公司 在移动终端上播放画中画视频的方法及系统
CN105611213A (zh) * 2016-01-04 2016-05-25 京东方科技集团股份有限公司 一种图像处理方法、播放方法及相关的装置和系统
CN109379332A (zh) * 2018-09-08 2019-02-22 北京爱视界科技有限公司 多屏互动显示方法
WO2022075524A1 (ko) * 2020-10-06 2022-04-14 주식회사 아이엠랩 원격 심폐소생술 훈련을 제공하는 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248750A (ja) * 1994-03-11 1995-09-26 Hitachi Ltd マルチ画面表示システム
JPH10260665A (ja) * 1997-03-19 1998-09-29 Fujitsu Ltd 映像制御システム及びそのシステムを用いた映像システム
JP2000330502A (ja) * 1999-05-18 2000-11-30 Hitachi Ltd 液晶マルチディスプレイ装置
JP2001228841A (ja) * 2000-02-14 2001-08-24 Internatl Business Mach Corp <Ibm> 画像表示方法、画像表示システム、ホスト装置、画像表示装置、およびディスプレイ用インターフェイス
JP2003167568A (ja) * 2001-11-30 2003-06-13 Toshiba Corp 表示制御装置及び表示制御方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4991121A (en) * 1985-10-16 1991-02-05 Fuji Photo Film Co., Ltd. Image display system
JPS62269573A (ja) * 1986-05-19 1987-11-24 Kazuyuki Kido 複数の映像情報再生装置の同期制御方法
US4907095A (en) * 1987-04-16 1990-03-06 Fuji Photo Film Co., Ltd. Still image trimming apparatus
JP3334211B2 (ja) 1993-02-10 2002-10-15 株式会社日立製作所 ディスプレイ
JPH07146671A (ja) 1993-06-16 1995-06-06 Mitsubishi Electric Corp 大型映像表示装置
JP3458132B2 (ja) * 1995-04-21 2003-10-20 ソニー株式会社 合成画像投影装置及び画像調整方法
JPH096297A (ja) 1995-06-22 1997-01-10 Nippon Avionics Co Ltd 情報掲示装置
JPH1013778A (ja) 1996-06-21 1998-01-16 Toshiba Corp 映像表示制御装置
US6611241B1 (en) 1997-12-02 2003-08-26 Sarnoff Corporation Modular display system
JP3582382B2 (ja) 1998-11-13 2004-10-27 株式会社日立製作所 マルチディスプレイ装置の表示制御装置、表示装置及びマルチディスプレイ装置
US8961304B2 (en) * 1999-09-17 2015-02-24 Aristocrat Technologies, Inc. Gaming device video display system
US6985589B2 (en) * 1999-12-02 2006-01-10 Qualcomm Incorporated Apparatus and method for encoding and storage of digital image and audio signals
JP2001242435A (ja) 2000-02-25 2001-09-07 Hitachi Ltd 液晶マルチディスプレイ表示装置
JP2001282215A (ja) * 2000-03-28 2001-10-12 Nec Viewtechnology Ltd 映像表示システムの表示制御方法及び映像表示システム
JP4296461B2 (ja) * 2000-09-07 2009-07-15 ソニー株式会社 記録再生システム、サーバ装置、端末装置、映像データ提供方法、再生方法及びコンピュータ読取可能な記録媒体
JP2002204441A (ja) * 2000-10-26 2002-07-19 Sony Corp 情報処理装置および情報処理システム
US20030097478A1 (en) * 2001-10-08 2003-05-22 Imagearray, Ltd. Method and system for synchronizing a presentation
KR20040013957A (ko) * 2002-08-09 2004-02-14 엘지전자 주식회사 멀티비전 및 그 화면 구현 방법
US7610598B2 (en) * 2002-10-22 2009-10-27 Canon Kabushiki Kaisha Recording apparatus that switches decoding methods between data received over the internet and data received over a broadcast network
KR100653061B1 (ko) * 2005-01-05 2006-12-01 삼성전자주식회사 디스플레이 시스템 및 호스트 디바이스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248750A (ja) * 1994-03-11 1995-09-26 Hitachi Ltd マルチ画面表示システム
JPH10260665A (ja) * 1997-03-19 1998-09-29 Fujitsu Ltd 映像制御システム及びそのシステムを用いた映像システム
JP2000330502A (ja) * 1999-05-18 2000-11-30 Hitachi Ltd 液晶マルチディスプレイ装置
JP2001228841A (ja) * 2000-02-14 2001-08-24 Internatl Business Mach Corp <Ibm> 画像表示方法、画像表示システム、ホスト装置、画像表示装置、およびディスプレイ用インターフェイス
JP2003167568A (ja) * 2001-11-30 2003-06-13 Toshiba Corp 表示制御装置及び表示制御方法

Also Published As

Publication number Publication date
US7792412B2 (en) 2010-09-07
JP2005269529A (ja) 2005-09-29
US20050207728A1 (en) 2005-09-22

Similar Documents

Publication Publication Date Title
JP4977950B2 (ja) マルチ画面映像再生システム、映像再生方法及び表示装置
US7792412B2 (en) Multi-screen image reproducing apparatus and image reproducing method in multi-screen image reproducing apparatus
US7777692B2 (en) Multi-screen video reproducing system
US11544029B2 (en) System and method for synchronized streaming of a video-wall
JP5179508B2 (ja) データストリーム同士間でコンテンツを分配および切替するデータストリーム再生方法およびデータストリーム再生装置
JP5335087B2 (ja) 情報処理システムおよび情報処理装置
US20040128701A1 (en) Client device and server device
CN102510541A (zh) 多屏互动的音视频内容切换方法及媒体播放器
KR100884400B1 (ko) 영상처리장치 및 그 방법
JP2006174032A (ja) 画像データ伝送システム、画像データ受信装置及び画像データ送信装置
JP2020042125A (ja) リアルタイム編集システム
JP4329819B2 (ja) タイミングサーバ、描画ユニット及び表示装置
JP2009188627A (ja) 画像表示装置、画像再生装置及びそれらの制御方法
AU2004302910A1 (en) Video system
JP2006246307A (ja) 画像データ処理装置
US20040105494A1 (en) Video data transmission method for changing transmission data amounts in accordance with a transmission speed and a transmission system therefor
JP2012222399A (ja) 映像再生システム、映像再生方法、映像再生装置及びプログラム
JP2005274937A (ja) マルチ画面映像再生装置およびマルチ画面映像再生装置における表示装置制御方法
JP2010028232A (ja) 通信制御装置および通信制御方法
WO2001045411A1 (fr) Systeme et technique de transmission d&#39;un produit audio/visuel par un serveur/client
JP4329546B2 (ja) マルチ画面映像再生装置
JP4255685B2 (ja) 画像伝送方法および画像伝送装置
JP2005203948A5 (ja)
JP2005223520A (ja) マルチ画面映像再生装置
JP4892541B2 (ja) 画像伝送方法および画像伝送システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070319

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070319

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100316

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100709

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100810

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100823

R150 Certificate of patent or registration of utility model

Ref document number: 4586389

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130917

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees