JP5172874B2 - 映像同期装置、映像表示装置、映像同期方法及びプログラム - Google Patents
映像同期装置、映像表示装置、映像同期方法及びプログラム Download PDFInfo
- Publication number
- JP5172874B2 JP5172874B2 JP2010029385A JP2010029385A JP5172874B2 JP 5172874 B2 JP5172874 B2 JP 5172874B2 JP 2010029385 A JP2010029385 A JP 2010029385A JP 2010029385 A JP2010029385 A JP 2010029385A JP 5172874 B2 JP5172874 B2 JP 5172874B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- information
- poc
- image information
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
本発明は、複数の映像符号化ストリームを復号するシステムに係わる映像同期装置、映像表示装置、映像同期方法及びプログラムに関する。
ネットワークを介して複数の映像符号化ストリームを送信し、受信した複数の映像符号化ストリームを復号し、複数の映像符号化ストリームの間の同期を取って表示装置に表示させるシステムがある。このようなシステムにおいて、複数の映像符号化ストリームを送信する際には、ＴＳパケット（Transport Packet）やＲＴＰパケット（Real-time Transport Protocol Packet）を使用する。この場合、各パケットのヘッダ情報に埋め込まれたタイムコードに基づいて複数の映像符号化ストリームの間の同期を取っていた。また、ＮＴＰサーバ（Network Time Protocol Server）から時刻情報を取得し、映像情報間の同期を取る方式が開示されている（特許文献１を参照）。
しかしながら、複数の映像符号化ストリームを送信する際に、ＴＳパケット又はＲＴＰパケットを使用する場合、タイムコードは、パケット毎に付与される。そのタイムコードは、画像フレームとの対応を取って付与されたものではない。そのため、複数の映像符号化ストリーム間で同期を取ることは困難である。また、映像符号化ストリームにタイムコードによるヘッダ情報が付加されるため、全体の情報量が増大する問題がある。そのため、ネットワーク上の負荷が高くなり、複数の映像符号化ストリーム間で同期を取ることができないという問題がある。
また、特許文献１が示す、ＮＴＰサーバから時刻情報を取得する方式においては、ＮＴＰクライアント機能が必要になる。また、ＮＴＰサーバから時刻情報を毎回、ネットワークを介して取得する必要があるため、ネットワーク上の負荷が高くなり、複数の映像符号化ストリーム間で同期を取ることができないという問題がある。
また、特許文献１が示す、ＮＴＰサーバから時刻情報を取得する方式においては、ＮＴＰクライアント機能が必要になる。また、ＮＴＰサーバから時刻情報を毎回、ネットワークを介して取得する必要があるため、ネットワーク上の負荷が高くなり、複数の映像符号化ストリーム間で同期を取ることができないという問題がある。
本発明は、上記問題を解決すべくなされたもので、その目的は、複数の映像符号化ストリーム間で同期して映像表示させることを可能とする映像同期装置、映像表示装置、映像同期方法及びプログラムを提供することにある。
上記問題を解決するために、本発明は、受信した複数の映像情報に基づいてそれぞれ生成されるフレーム画像情報の間の同期を取って出力する映像同期装置であって、前記映像情報ごとに順序付けられた前記フレーム画像情報を、前記映像情報ごとに記憶するバッファ部と、受信した前記映像情報に基づいてフレーム画像単位で表示させるフレーム画像情報を生成し、前記映像情報ごとに、前記フレーム画像情報を表示させる順序番号を生成し、前記フレーム画像情報にそれぞれ付与して、前記バッファ部にそれぞれ記憶させる画像情報生成部と、前記フレーム画像情報にそれぞれ付与された前記順序番号に基づいて、前記映像情報ごとに記憶されたフレーム画像情報について、前記複数の映像情報の間の同期を取って、前記フレーム画像情報を出力する映像同期処理部とを備え、前記映像同期処理部は、前記順序番号の内、前記映像情報ごとに付与された前記順序番号の最小値が前記複数の映像情報の間で全て一致するかを判定し、前記複数の映像情報の間で少なくとも１つの前記最小値が一致しないと判定した場合に、前記判定の前に同期を取って出力した状態を保持することを特徴とする映像同期装置である。
また、本発明は上記発明において、前記映像同期処理部は、前記最小値が前記複数の映像情報の間で全て一致すると判定した場合に、一致した前記最小値に応じた前記映像情報ごとの前記フレーム画像情報の間の同期を取って出力し、前記複数の映像情報の間で少なくとも前記最小値の１つが一致しない場合に、前記最小値の内、最小の前記順序番号に応じた前記フレーム画像情報を破棄することを特徴とする。
また、本発明は上記発明において、前記映像同期処理部は、前記最小値が前記複数の映像情報の間で全て一致すると判定した場合に、表示させるフレームの計数値と前記最小値が一致するかを判定し、前記表示させるフレームの計数値と前記最小値が一致すると判定した場合に、前記最小値に応じた前記映像情報ごとの前記フレーム画像情報の間の同期を取って出力し、前記表示させるフレームの計数値と前記最小値が一致しない場合に、前記表示させるフレームの計数値と前記最小値が一致するかの判定前に同期を取って出力した状態を保持することを特徴とする。
また、本発明は上記発明において、前記画像情報生成部は、前記受信した映像情報を送信時に符号化された符号化方式に基づいて復号化処理を行い、該符号化方式の制御情報に基づいて前記順序番号を生成することを特徴とする。
また、本発明は上記発明において、前記符号化方式は、ＩＴＵ−Ｔ Ｈ．２６４勧告に基づくことを特徴とする。
また、本発明は、上記発明における映像同期装置を用いて同期化された複数の映像情報を表示する映像表示装置である。
また、本発明は、受信した複数の映像情報に基づいてそれぞれ生成されるフレーム画像情報の間の同期を取って出力する映像同期方法であって、前記映像情報ごとに順序付けられた前記フレーム画像情報を、前記映像情報ごとに記憶する過程と、受信した前記映像情報に基づいてフレーム画像単位で表示させるフレーム画像情報を生成し、前記映像情報ごとに、前記フレーム画像情報を表示させる順序番号を生成し、前記フレーム画像情報にそれぞれ付与して、バッファ部にそれぞれ記憶させる画像情報生成処理過程と、前記フレーム画像情報にそれぞれ付与された前記順序番号に基づいて、前記バッファ部に前記映像情報ごとに記憶された前記フレーム画像情報の間の同期を取って、前記フレーム画像情報を出力する映像同期処理過程とを含み、前記映像同期処理過程は、前記順序番号の内、前記映像情報ごとに付与された前記順序番号の最小値が前記複数の映像情報の間で全て一致するかを判定し、前記複数の映像情報の間で少なくとも１つの前記最小値が一致しないと判定した場合に、前記判定の前に同期を取って出力した状態を保持することを特徴とする映像同期方法である。
また、本発明は、コンピュータに、受信した複数の映像情報に基づいてそれぞれ生成されるフレーム画像情報の間の同期を取って出力させるプログラムであって、バッファ部が、前記映像情報ごとに順序付けられた前記フレーム画像情報を、前記映像情報ごとに記憶する処理ステップと、画像情報生成部が、受信した前記映像情報に基づいてフレーム画像単位で表示させるフレーム画像情報を生成し、前記映像情報ごとに、前記フレーム画像情報を表示させる順序番号を生成し、前記フレーム画像情報にそれぞれ付与して、前記バッファ部にそれぞれ記憶させる画像情報生成処理ステップと、映像同期処理部が、前記フレーム画像情報にそれぞれ付与された前記順序番号に基づいて、前記バッファ部に前記映像情報ごとに記憶された前記フレーム画像情報の間の同期を取って、前記フレーム画像情報を出力する映像同期処理ステップであって、前記順序番号の内、前記映像情報ごとに付与された前記順序番号の最小値が前記複数の映像情報の間で全て一致するかを判定し、前記複数の映像情報の間で少なくとも１つの前記最小値が一致しないと判定した場合に、前記判定の前に同期を取って出力した状態を保持する映像同期処理ステップとを前記コンピュータに実行させるためのプログラムである。
この本発明によれば、画像情報生成部が、受信した複数の映像情報に基づいてフレーム画像単位で表示させるフレーム画像情報を生成し、映像情報ごとに、フレーム画像情報を表示させる順序番号を生成し、フレーム画像情報にそれぞれ付与して、バッファ部にそれぞれ記憶させる。映像同期処理部が、フレーム画像情報にそれぞれ付与された順序番号に基づいて、バッファ部に映像情報ごとに記憶されたフレーム画像情報の間の同期を取って、フレーム画像情報を出力する。これにより、映像同期装置は、複数の映像情報間で同期を取ることができる。
＜第１の実施形態＞
以下、本発明の第１の実施形態による映像同期装置について図面を参照して説明する。
図１は、本実施形態における映像同期装置を示すブロック図である。
図１に示される映像同期装置１は、インターネットプロトコル（以下ＩＰという。）を用いて通信を行うネットワーク（以下ＩＰネットワークという。）２と接続される。また、ＩＰネットワーク２には、映像送信装置６０が接続され、映像同期装置１と映像送信装置６０は、通信可能な状態にある。映像送信装置６０が送信した映像符号化ストリームを、映像同期装置１が受信する。
映像送信装置６０は、２つの映像情報を並列して取り込む映像取り込み部３と、取り込んだ映像情報に基づき、映像符号化ストリームに圧縮符号化する圧縮符号化器４、５とを備える。また、映像送信装置６０は、圧縮符号化器４、５が圧縮符号化した映像符号化ストリームを、ＩＰネットワーク２を介して映像同期装置１に送信する。ここで、圧縮符号化器４、５が行う圧縮符号化の処理は、例えば、ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）Ｈ．２６４勧告に基づいて行なわれる。
また、図１の全体を映像同期システム１００とする。
以下、本発明の第１の実施形態による映像同期装置について図面を参照して説明する。
図１は、本実施形態における映像同期装置を示すブロック図である。
図１に示される映像同期装置１は、インターネットプロトコル（以下ＩＰという。）を用いて通信を行うネットワーク（以下ＩＰネットワークという。）２と接続される。また、ＩＰネットワーク２には、映像送信装置６０が接続され、映像同期装置１と映像送信装置６０は、通信可能な状態にある。映像送信装置６０が送信した映像符号化ストリームを、映像同期装置１が受信する。
映像送信装置６０は、２つの映像情報を並列して取り込む映像取り込み部３と、取り込んだ映像情報に基づき、映像符号化ストリームに圧縮符号化する圧縮符号化器４、５とを備える。また、映像送信装置６０は、圧縮符号化器４、５が圧縮符号化した映像符号化ストリームを、ＩＰネットワーク２を介して映像同期装置１に送信する。ここで、圧縮符号化器４、５が行う圧縮符号化の処理は、例えば、ＩＴＵ−Ｔ（International Telecommunication Union Telecommunication Standardization Sector）Ｈ．２６４勧告に基づいて行なわれる。
また、図１の全体を映像同期システム１００とする。
この図に示される映像同期装置１は、映像データ通信処理部１０、映像復号処理部２０、映像出力バッファ３０、映像同期処理部４０及び映像表示部５０を備える。
映像データ通信処理部１０は、ＩＰネットワーク２に接続され、ＩＰネットワーク２を介して２つの映像符号化ストリームを並列して受信する。また、映像データ通信処理部１０は、受信した２つの映像符号化ストリームＥ１、Ｅ２を映像復号処理部２０に供給する。
映像復号処理部２０は、伸長復号部２１、２２を備える。映像復号処理部２０は、映像データ通信処理部１０より供給される２つの映像符号化ストリームＥ１、Ｅ２に基づき、Ｈ．２６４勧告による伸長復号処理を並列に行う。これにより、映像復号処理部２０は、フレーム単位の画像データ（Ｇ１、Ｇ２）を生成する。また、映像復号処理部２０は、生成したフレーム単位の画像データ（Ｇ１、Ｇ２）に、Ｈ．２６４勧告の符号化情報に含まれるＰＯＣ（Picture Order Count：画像順序番号）を付与したＰＯＣ付き画像データＦ１、Ｆ２を生成する。映像復号処理部２０は、ＰＯＣ付き画像データＦ１、Ｆ２を映像出力バッファ３０に記憶させる。
伸長復号部２１は、映像符号化ストリームＥ１に基づきＨ．２６４勧告による伸長復号処理を行う。これにより、伸長復号部２１は、フレーム単位の画像データ（Ｇ１）を生成して、ＰＯＣを付与したＰＯＣ付き画像データＦ１を、映像出力バッファ３０に記憶させる。また、伸長復号部２２は、映像符号化ストリームＥ２に基づきＨ．２６４勧告による伸長復号処理を行う。これにより、伸長復号部２２は、フレーム単位の画像データ（Ｇ２）を生成して、ＰＯＣを付与したＰＯＣ付き画像データＦ２を、映像出力バッファ３０に記憶させる。
映像データ通信処理部１０は、ＩＰネットワーク２に接続され、ＩＰネットワーク２を介して２つの映像符号化ストリームを並列して受信する。また、映像データ通信処理部１０は、受信した２つの映像符号化ストリームＥ１、Ｅ２を映像復号処理部２０に供給する。
映像復号処理部２０は、伸長復号部２１、２２を備える。映像復号処理部２０は、映像データ通信処理部１０より供給される２つの映像符号化ストリームＥ１、Ｅ２に基づき、Ｈ．２６４勧告による伸長復号処理を並列に行う。これにより、映像復号処理部２０は、フレーム単位の画像データ（Ｇ１、Ｇ２）を生成する。また、映像復号処理部２０は、生成したフレーム単位の画像データ（Ｇ１、Ｇ２）に、Ｈ．２６４勧告の符号化情報に含まれるＰＯＣ（Picture Order Count：画像順序番号）を付与したＰＯＣ付き画像データＦ１、Ｆ２を生成する。映像復号処理部２０は、ＰＯＣ付き画像データＦ１、Ｆ２を映像出力バッファ３０に記憶させる。
伸長復号部２１は、映像符号化ストリームＥ１に基づきＨ．２６４勧告による伸長復号処理を行う。これにより、伸長復号部２１は、フレーム単位の画像データ（Ｇ１）を生成して、ＰＯＣを付与したＰＯＣ付き画像データＦ１を、映像出力バッファ３０に記憶させる。また、伸長復号部２２は、映像符号化ストリームＥ２に基づきＨ．２６４勧告による伸長復号処理を行う。これにより、伸長復号部２２は、フレーム単位の画像データ（Ｇ２）を生成して、ＰＯＣを付与したＰＯＣ付き画像データＦ２を、映像出力バッファ３０に記憶させる。
映像出力バッファ３０は、２つの映像符号化ストリームＥ１、Ｅ２にそれぞれ対応した領域を有する。この領域は、複数フレーム分の画像データＦ１、Ｆ２を記憶することができる。映像出力バッファ３０は、映像復号処理部２０より供給されるＰＯＣ付き画像データＦ１、Ｆ２を記憶する。また、映像出力バッファ３０は、ＰＯＣ付き画像データＦ１、Ｆ２を映像同期処理部４０に供給する。
映像同期処理部４０は、映像出力バッファ３０と映像表示部５０との間に配置される。映像同期処理部４０は、映像出力バッファ３０が記憶するＰＯＣ付き画像データＦ１、Ｆ２を参照する。映像同期処理部４０は、ＰＯＣ付き画像データＦ１、Ｆ２に付与されたＰＯＣに基づき、ＰＯＣ付き画像データＦ１、Ｆ２間の同期を取る。また、映像同期処理部４０は、ＰＯＣ付き画像データＦ１、Ｆ２からＰＯＣを除いたフレーム単位の画像データＧ１、Ｇ２を生成し、２つを同期して映像表示部５０に出力する。
映像表示部５０は、映像同期処理部４０に接続され、映像同期処理部４０が供給するフレーム単位の画像データＧ１、Ｇ２を図示しない表示画面に表示する。
映像同期処理部４０は、映像出力バッファ３０と映像表示部５０との間に配置される。映像同期処理部４０は、映像出力バッファ３０が記憶するＰＯＣ付き画像データＦ１、Ｆ２を参照する。映像同期処理部４０は、ＰＯＣ付き画像データＦ１、Ｆ２に付与されたＰＯＣに基づき、ＰＯＣ付き画像データＦ１、Ｆ２間の同期を取る。また、映像同期処理部４０は、ＰＯＣ付き画像データＦ１、Ｆ２からＰＯＣを除いたフレーム単位の画像データＧ１、Ｇ２を生成し、２つを同期して映像表示部５０に出力する。
映像表示部５０は、映像同期処理部４０に接続され、映像同期処理部４０が供給するフレーム単位の画像データＧ１、Ｇ２を図示しない表示画面に表示する。
次に、本実施形態の動作について説明する。
図２は、本実施形態における映像同期装置の映像表示の一形態を示す図である。この図において、映像送信装置６０（図１）の映像取り込み部３（図１）が左目映像３１と右目映像３２を取り込み、映像表示部５０（図１）が３次元映像５１を表示する映像同期システム１００を示す。
図２は、本実施形態における映像同期装置の映像表示の一形態を示す図である。この図において、映像送信装置６０（図１）の映像取り込み部３（図１）が左目映像３１と右目映像３２を取り込み、映像表示部５０（図１）が３次元映像５１を表示する映像同期システム１００を示す。
図３は、本実施形態における映像情報の流れを示す図である。
図３において、映像取り込み部３（図１）が取り込んだ左目映像３１及び右目映像３２の映像情報は、それぞれ、圧縮符号化器４、５により、Ｈ．２６４勧告の符号化処理が行われる。これにより、２つの映像符号化ストリームＥ１、Ｅ２が生成される。また、映像符号化ストリームＥ１、Ｅ２は、映像送信装置６０（図１）によりそれぞれＩＰネットワーク２を介して送信される。ここで、映像符号化ストリームＥ１が左目映像３１の映像ストリームであり、映像符号化ストリームＥ２が左目映像３２の映像ストリームである。
映像符号化ストリームＥ１、Ｅ２は、映像データ通信処理部１０（図１）により受信され、伸長復号部２１、２２に供給される。伸長復号部２１、２２は、Ｈ．２６４勧告に基づいた映像符号化ストリームＥ１、Ｅ２をそれぞれ伸長復号して、ＰＯＣ付き画像データＦ１、Ｆ２を生成する。また、伸長復号部２１、２２は、生成したＰＯＣ付き画像データＦ１、Ｆ２を映像出力バッファ３０に記憶させる。
図３において、映像取り込み部３（図１）が取り込んだ左目映像３１及び右目映像３２の映像情報は、それぞれ、圧縮符号化器４、５により、Ｈ．２６４勧告の符号化処理が行われる。これにより、２つの映像符号化ストリームＥ１、Ｅ２が生成される。また、映像符号化ストリームＥ１、Ｅ２は、映像送信装置６０（図１）によりそれぞれＩＰネットワーク２を介して送信される。ここで、映像符号化ストリームＥ１が左目映像３１の映像ストリームであり、映像符号化ストリームＥ２が左目映像３２の映像ストリームである。
映像符号化ストリームＥ１、Ｅ２は、映像データ通信処理部１０（図１）により受信され、伸長復号部２１、２２に供給される。伸長復号部２１、２２は、Ｈ．２６４勧告に基づいた映像符号化ストリームＥ１、Ｅ２をそれぞれ伸長復号して、ＰＯＣ付き画像データＦ１、Ｆ２を生成する。また、伸長復号部２１、２２は、生成したＰＯＣ付き画像データＦ１、Ｆ２を映像出力バッファ３０に記憶させる。
映像出力バッファ３０は、左目映像３１の映像符号化ストリームＥ１用の領域と右目映像３２の映像符号化ストリームＥ２用の領域の２つの領域を有している。ここで、映像符号化ストリームＥ１用の領域を領域［１］とし、映像符号化ストリームＥ２用の領域を領域［２］とする。また、領域［１］及び領域［２］は、それぞれ複数のＰＯＣ付き画像データを記憶するための記憶容量を有する。映像出力バッファ３０は、伸長復号部２１より供給されるＰＯＣ付き画像データＦ１を、領域［１］に順次記憶する。
また、映像出力バッファ３０は、伸長復号部２２より供給されるＰＯＣ付き画像データＦ２を、領域［２］に順次記憶する。
この図において、映像出力バッファ３０は、ＰＯＣ＝１及びＰＯＣ＝２のＰＯＣ付き画像データを記憶した状態を示す。ここで、領域［１］に記憶されるＰＯＣ付き画像データＦ１のＰＯＣをＰＯＣ１とし、領域［２］に記憶されるＰＯＣ付き画像データＦ２のＰＯＣをＰＯＣ２とする。
また、映像出力バッファ３０は、伸長復号部２２より供給されるＰＯＣ付き画像データＦ２を、領域［２］に順次記憶する。
この図において、映像出力バッファ３０は、ＰＯＣ＝１及びＰＯＣ＝２のＰＯＣ付き画像データを記憶した状態を示す。ここで、領域［１］に記憶されるＰＯＣ付き画像データＦ１のＰＯＣをＰＯＣ１とし、領域［２］に記憶されるＰＯＣ付き画像データＦ２のＰＯＣをＰＯＣ２とする。
映像出力バッファ３０に記憶されたＰＯＣ付き画像データＦ１、Ｆ２は、映像復号処理部２０（図１）に参照される。同じＰＯＣが付与されたフレーム単位の画像データＧ１、Ｇ２は、２つの間の同期が取られて、映像復号処理部２０により映像表示部５０に出力される。これにより、映像表示部５０は、左目映像３１と右目映像３２を同期して３次元映像５１として表示する。
次に、図１に戻り各部の動作を説明する。
図１において、映像送信装置６０は、映像取り込み部３が取り込んだ左目映像３１及び右目映像３２の映像情報を、圧縮符号化器４、５によりそれぞれＨ．２６４勧告の符号化処理を行う。これにより生成された映像符号化ストリームＥ１、Ｅ２はパケットに順次分割され、映像送信装置６０により、それぞれＩＰネットワーク２を介して送信される。
映像同期装置１の映像データ通信処理部１０は、ＩＰネットワーク２を介してパケットを受信する。映像データ通信処理部１０は、受信したパケットを映像符号化ストリームＥ１、Ｅ２に順次戻して、伸長復号部２１、２２にそれぞれ供給する。ここで、パケットロス等のエラーが発生した場合、映像符号化ストリームＥ１、Ｅ２は、エラーの部分が欠損した映像符号化ストリームとなる。
図１において、映像送信装置６０は、映像取り込み部３が取り込んだ左目映像３１及び右目映像３２の映像情報を、圧縮符号化器４、５によりそれぞれＨ．２６４勧告の符号化処理を行う。これにより生成された映像符号化ストリームＥ１、Ｅ２はパケットに順次分割され、映像送信装置６０により、それぞれＩＰネットワーク２を介して送信される。
映像同期装置１の映像データ通信処理部１０は、ＩＰネットワーク２を介してパケットを受信する。映像データ通信処理部１０は、受信したパケットを映像符号化ストリームＥ１、Ｅ２に順次戻して、伸長復号部２１、２２にそれぞれ供給する。ここで、パケットロス等のエラーが発生した場合、映像符号化ストリームＥ１、Ｅ２は、エラーの部分が欠損した映像符号化ストリームとなる。
伸長復号部２１は、映像データ通信処理部１０より供給される映像符号化ストリームＥ１に基づきＨ．２６４勧告による伸長復号処理を順次行う。これにより、伸長復号部２１は、フレーム単位の画像データ（Ｇ１）を生成する。更に、伸長復号部２１は、生成したフレーム単位の画像データ（Ｇ１）にＰＯＣを付与したＰＯＣ付き画像データＦ１を順次生成し、映像出力バッファ３０の領域［１］に順次記憶させる。
伸長復号部２２は、映像データ通信処理部１０より供給される映像符号化ストリームＥ２に基づきＨ．２６４勧告による伸長復号処理を順次行う。これにより、伸長復号部２２は、フレーム単位の画像データ（Ｇ２）を生成する。更に、伸長復号部２２は、生成したフレーム単位の画像データ（Ｇ２）にＰＯＣを付与したＰＯＣ付き画像データＦ２を順次生成し、映像出力バッファ３０の領域［２］に順次記憶させる。
ここでＰＯＣには、Ｈ．２６４勧告における符号化情報の１つであるＰＯＣ（画像順序番号）を流用して使用する。また、上述の処理は、伸長復号部２１、２２において、並列して行われる。
伸長復号部２２は、映像データ通信処理部１０より供給される映像符号化ストリームＥ２に基づきＨ．２６４勧告による伸長復号処理を順次行う。これにより、伸長復号部２２は、フレーム単位の画像データ（Ｇ２）を生成する。更に、伸長復号部２２は、生成したフレーム単位の画像データ（Ｇ２）にＰＯＣを付与したＰＯＣ付き画像データＦ２を順次生成し、映像出力バッファ３０の領域［２］に順次記憶させる。
ここでＰＯＣには、Ｈ．２６４勧告における符号化情報の１つであるＰＯＣ（画像順序番号）を流用して使用する。また、上述の処理は、伸長復号部２１、２２において、並列して行われる。
映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］に記憶されたＰＯＣ付き画像データＦ１、Ｆ２のＰＯＣ部分（ＰＯＣ１及びＰＯＣ２）を順次参照する。映像同期処理部４０は、参照したＰＯＣの内、ＰＯＣ１の最小値とＰＯＣ２の最小値が一致すると判定した場合に、対応するＰＯＣ付き画像データＦ１、Ｆ２を参照する。更に、映像同期処理部４０は、一致したＰＯＣ（ＰＯＣ１及びＰＯＣ２）を除いたフレーム単位の画像データＧ１、Ｇ２を、２つの間の同期を取って映像表示部５０に出力する。映像同期処理部４０は、この動作を繰り返し、同期されたフレーム単位の画像データＧ１、Ｇ２が映像表示部５０に順次出力される。なお、フレーム単位の画像データＧ１、Ｇ２は、映像符号化ストリームＥ１、Ｅ２のフレームレートに応じて、予め定められた時間間隔により出力される。
映像表示部５０は、映像同期処理部４０から供給されるフレーム単位の画像データＧ１、Ｇ２を同期して順次表示する。これにより、映像表示部５０は、３次元映像５１を表示する。
映像表示部５０は、映像同期処理部４０から供給されるフレーム単位の画像データＧ１、Ｇ２を同期して順次表示する。これにより、映像表示部５０は、３次元映像５１を表示する。
図４は、本実施形態における伸長復号部の動作を示すフローチャートある。
伸長復号部２１、２２は、並列して同様の処理を行う。そこで、図４において、伸長復号部２１における処理を示す。
この図において、伸長復号部２１は、映像データ通信処理部１０より映像符号化ストリームＥ１の供給を受けて、処理を開始する。
まず、ステップＳ２１において、伸長復号部２１は、映像符号化ストリームＥ１に基づきＨ．２６４勧告による伸長復号処理を行う。これにより、フレーム単位の画像データ（Ｇ１）が生成される。次に、ステップＳ２２において、伸長復号部２１は、Ｈ．２６４勧告における符号化情報であるＰＯＣ（画像順序番号）をフレーム単位の画像データ（Ｇ１）に付与し、ＰＯＣ付き画像データＦ１を生成する。また、伸長復号部２１は、生成したＰＯＣ付き画像データＦ１を映像出力バッファ３０に出力し、領域［１］に記憶させる。
ステップＳ２３において、伸長復号部２１は、映像データ通信処理部１０から供給されるデータに基づいて、続いて伸長復号処理するデータがあるか否かを判定する。続いて伸長復号処理するデータがあると判定した場合、伸長復号部２１は、ステップＳ２１の処理に戻り、ステップＳ２１からＳ２２の処理を繰り返す。また、続いて伸長復号処理するデータがないと判定した場合、伸長復号部２１は、処理を終了する。
伸長復号部２１、２２は、並列して同様の処理を行う。そこで、図４において、伸長復号部２１における処理を示す。
この図において、伸長復号部２１は、映像データ通信処理部１０より映像符号化ストリームＥ１の供給を受けて、処理を開始する。
まず、ステップＳ２１において、伸長復号部２１は、映像符号化ストリームＥ１に基づきＨ．２６４勧告による伸長復号処理を行う。これにより、フレーム単位の画像データ（Ｇ１）が生成される。次に、ステップＳ２２において、伸長復号部２１は、Ｈ．２６４勧告における符号化情報であるＰＯＣ（画像順序番号）をフレーム単位の画像データ（Ｇ１）に付与し、ＰＯＣ付き画像データＦ１を生成する。また、伸長復号部２１は、生成したＰＯＣ付き画像データＦ１を映像出力バッファ３０に出力し、領域［１］に記憶させる。
ステップＳ２３において、伸長復号部２１は、映像データ通信処理部１０から供給されるデータに基づいて、続いて伸長復号処理するデータがあるか否かを判定する。続いて伸長復号処理するデータがあると判定した場合、伸長復号部２１は、ステップＳ２１の処理に戻り、ステップＳ２１からＳ２２の処理を繰り返す。また、続いて伸長復号処理するデータがないと判定した場合、伸長復号部２１は、処理を終了する。
伸長復号部２２においても、上述のステップＳ２１からＳ２３の処理と同様の処理が行われる。ただし、伸長復号部２２の場合、映像符号化ストリームＥ２に基づき、ＰＯＣ付き画像データＦ２が生成され、映像出力バッファ３０の領域［２］に記憶される。
次に、伝送エラーが発生した場合の映像同期処理部４０の動作を説明する。
図５は、本実施形態における映像同期処理部４０の動作を示す図である。
図５の（ａ）から図５の（ｄ）は、時間の経過に伴って行われる各フレームにおける映像同期装置１の処理状態を示す。また、フレーム単位の画像データＧ１及びＧ２には、ここでは、ＰＯＣの値を付加して示す。また、ＰＯＣ付き画像データＦ１及びＦ２には、ここでは、ＰＯＣの値を付加して示す。例えば、ＰＯＣの値が“２”の場合、Ｇ１２及びＧ２２ならびにＦ１２及びＦ２２として示す。
図５の（ａ）は、状態（１）を示す。状態（１）において、伸長復号部２１、２２は、ＰＯＣの値が“２”（ＰＯＣ１＝２、ＰＯＣ２＝２）となるフレーム単位の画像データ（Ｇ１２、Ｇ２２）を伸長復号して生成する。なお、ここでは、パケットロス等の伝送エラーが発生したとする。そのため、伸長復号部２２は、（ＰＯＣ２＝２）となるフレーム単位の画像データ（Ｇ２２）を生成できない。
また、状態（１）において、映像出力バッファ３０は、領域［１］及び領域［２］に、それぞれＰＯＣの値に“１”（ＰＯＣ１＝１、ＰＯＣ２＝１）が付加されたＰＯＣ付き画像データ（Ｆ１１、Ｆ２１）が記憶されている。また、映像表示部５０は、まだ映像を表示していない状態である。
また、状態（１）において、映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］に記憶されたＰＯＣ付き画像データＦ１及びＦ２を参照し、付与されたＰＯＣ（ＰＯＣ１とＰＯＣ２の値）が一致するか否かを判定する。この場合、ＰＯＣ１とＰＯＣ２の値がいずれも“１”で一致するため、映像同期処理部４０は、ＰＯＣを除いたフレーム単位の画像データ（Ｇ１１、Ｇ２１）を、２つの間の同期を取って、次の状態（２）において映像表示部５０に出力する。
図５は、本実施形態における映像同期処理部４０の動作を示す図である。
図５の（ａ）から図５の（ｄ）は、時間の経過に伴って行われる各フレームにおける映像同期装置１の処理状態を示す。また、フレーム単位の画像データＧ１及びＧ２には、ここでは、ＰＯＣの値を付加して示す。また、ＰＯＣ付き画像データＦ１及びＦ２には、ここでは、ＰＯＣの値を付加して示す。例えば、ＰＯＣの値が“２”の場合、Ｇ１２及びＧ２２ならびにＦ１２及びＦ２２として示す。
図５の（ａ）は、状態（１）を示す。状態（１）において、伸長復号部２１、２２は、ＰＯＣの値が“２”（ＰＯＣ１＝２、ＰＯＣ２＝２）となるフレーム単位の画像データ（Ｇ１２、Ｇ２２）を伸長復号して生成する。なお、ここでは、パケットロス等の伝送エラーが発生したとする。そのため、伸長復号部２２は、（ＰＯＣ２＝２）となるフレーム単位の画像データ（Ｇ２２）を生成できない。
また、状態（１）において、映像出力バッファ３０は、領域［１］及び領域［２］に、それぞれＰＯＣの値に“１”（ＰＯＣ１＝１、ＰＯＣ２＝１）が付加されたＰＯＣ付き画像データ（Ｆ１１、Ｆ２１）が記憶されている。また、映像表示部５０は、まだ映像を表示していない状態である。
また、状態（１）において、映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］に記憶されたＰＯＣ付き画像データＦ１及びＦ２を参照し、付与されたＰＯＣ（ＰＯＣ１とＰＯＣ２の値）が一致するか否かを判定する。この場合、ＰＯＣ１とＰＯＣ２の値がいずれも“１”で一致するため、映像同期処理部４０は、ＰＯＣを除いたフレーム単位の画像データ（Ｇ１１、Ｇ２１）を、２つの間の同期を取って、次の状態（２）において映像表示部５０に出力する。
図５の（ｂ）は、状態（２）を示す。この状態は、フレーム番号Ｎが“１”（Ｎ＝１）の状態である。
状態（２）において、伸長復号部２１、２２は、ＰＯＣの値が“３”（ＰＯＣ１＝３、ＰＯＣ２＝３）となるフレーム単位の画像データ（Ｇ１３、Ｇ２３）を伸長復号して生成する。
また、状態（２）において、映像出力バッファ３０は、領域［１］に、（ＰＯＣ１＝２）が付加されたＰＯＣ付き画像データ（Ｆ１２）が記憶されている。しかし、状態（１）において、（ＰＯＣ２＝２）となるフレーム単位の画像データ（Ｇ２２）が生成されていない。このため、映像出力バッファ３０の領域［２］には、（ＰＯＣ２＝２）が付加されたＰＯＣ付き画像データ（Ｆ２２）がない状態である。
また、状態（２）において、映像表示部５０は、ＰＯＣの値が“１”に対応したフレーム単位の画像データ（Ｇ１１、Ｇ２１）を表示する。
また、状態（２）において、映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］に記憶されたＰＯＣ付き画像データＦ１及びＦ２を参照し、付与されたＰＯＣ（ＰＯＣ１とＰＯＣ２の値）が一致するか否かを判定する。この場合、ＰＯＣ２の値がないため、映像同期処理部４０は、次の状態（３）においてフレーム単位の画像データ（Ｇ１２、Ｇ２２）を出力しない。
状態（２）において、伸長復号部２１、２２は、ＰＯＣの値が“３”（ＰＯＣ１＝３、ＰＯＣ２＝３）となるフレーム単位の画像データ（Ｇ１３、Ｇ２３）を伸長復号して生成する。
また、状態（２）において、映像出力バッファ３０は、領域［１］に、（ＰＯＣ１＝２）が付加されたＰＯＣ付き画像データ（Ｆ１２）が記憶されている。しかし、状態（１）において、（ＰＯＣ２＝２）となるフレーム単位の画像データ（Ｇ２２）が生成されていない。このため、映像出力バッファ３０の領域［２］には、（ＰＯＣ２＝２）が付加されたＰＯＣ付き画像データ（Ｆ２２）がない状態である。
また、状態（２）において、映像表示部５０は、ＰＯＣの値が“１”に対応したフレーム単位の画像データ（Ｇ１１、Ｇ２１）を表示する。
また、状態（２）において、映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］に記憶されたＰＯＣ付き画像データＦ１及びＦ２を参照し、付与されたＰＯＣ（ＰＯＣ１とＰＯＣ２の値）が一致するか否かを判定する。この場合、ＰＯＣ２の値がないため、映像同期処理部４０は、次の状態（３）においてフレーム単位の画像データ（Ｇ１２、Ｇ２２）を出力しない。
図５の（ｃ）は、状態（３）を示す。この状態は、フレーム番号Ｎが“２”（Ｎ＝２）の状態である。
状態（３）において、伸長復号部２１、２２は、ＰＯＣの値が“４”（ＰＯＣ１＝４、ＰＯＣ２＝４）となるフレーム単位の画像データ（Ｇ１４、Ｇ２４）を伸長復号して生成する。
また、状態（３）において、映像出力バッファ３０は、領域［１］に、ＰＯＣの値に“２”と“３”（ＰＯＣ１＝２とＰＯＣ１＝３）が付加された２つのＰＯＣ付き画像データ（Ｆ１２、Ｆ１３）が記憶されている。また、領域［２］には、ＰＯＣの値に“３”（ＰＯＣ２＝３）が付加されたＰＯＣ付き画像データ（Ｆ２３）が記憶されている。
また、状態（３）において、映像表示部５０は、ＰＯＣの値が１に対応したフレーム単位の画像データ（Ｇ１１、Ｇ２１）の表示状態を保持する。つまり、最後に表示されたフレーム番号（Ｎ＝１）の表示状態を保持する。
また、状態（３）において、映像同期処理部４０は、次に表示するフレーム番号よりも小さいＰＯＣ（ＰＯＣ１＝２）のＰＯＣ付き画像データ（Ｆ１２）を破棄する。また、映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］に記憶されたＰＯＣ付き画像データＦ１及びＦ２を参照し、付与されたＰＯＣ（ＰＯＣ１とＰＯＣ２の値）が一致するか否かを判定する。この場合、ＰＯＣ１とＰＯＣ２の値がいずれも“３”で一致する。そのため、映像同期処理部４０は、ＰＯＣを除いたフレーム単位の画像データ（Ｇ１３、Ｇ２３）を、２つの間の同期を取って、次の状態（４）において映像表示部５０に出力する。
状態（３）において、伸長復号部２１、２２は、ＰＯＣの値が“４”（ＰＯＣ１＝４、ＰＯＣ２＝４）となるフレーム単位の画像データ（Ｇ１４、Ｇ２４）を伸長復号して生成する。
また、状態（３）において、映像出力バッファ３０は、領域［１］に、ＰＯＣの値に“２”と“３”（ＰＯＣ１＝２とＰＯＣ１＝３）が付加された２つのＰＯＣ付き画像データ（Ｆ１２、Ｆ１３）が記憶されている。また、領域［２］には、ＰＯＣの値に“３”（ＰＯＣ２＝３）が付加されたＰＯＣ付き画像データ（Ｆ２３）が記憶されている。
また、状態（３）において、映像表示部５０は、ＰＯＣの値が１に対応したフレーム単位の画像データ（Ｇ１１、Ｇ２１）の表示状態を保持する。つまり、最後に表示されたフレーム番号（Ｎ＝１）の表示状態を保持する。
また、状態（３）において、映像同期処理部４０は、次に表示するフレーム番号よりも小さいＰＯＣ（ＰＯＣ１＝２）のＰＯＣ付き画像データ（Ｆ１２）を破棄する。また、映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］に記憶されたＰＯＣ付き画像データＦ１及びＦ２を参照し、付与されたＰＯＣ（ＰＯＣ１とＰＯＣ２の値）が一致するか否かを判定する。この場合、ＰＯＣ１とＰＯＣ２の値がいずれも“３”で一致する。そのため、映像同期処理部４０は、ＰＯＣを除いたフレーム単位の画像データ（Ｇ１３、Ｇ２３）を、２つの間の同期を取って、次の状態（４）において映像表示部５０に出力する。
図５の（ｄ）は、状態（４）を示す。この状態は、フレーム番号Ｎが“３”（Ｎ＝３）の状態である。
状態（４）において、伸長復号部２１、２２は、ＰＯＣの値が“５”（ＰＯＣ１＝５、ＰＯＣ２＝５）となるフレーム単位の画像データ（Ｇ１５、Ｇ２５）を伸長復号して生成する。
また、状態（４）において、映像出力バッファ３０は、領域［１］及び領域［２］に、それぞれＰＯＣ値に“４”（ＰＯＣ１＝４、ＰＯＣ２＝４）が付加されたＰＯＣ付き画像データ（Ｆ１４、Ｆ２４）が記憶されている。
また、状態（４）において、映像表示部５０は、ＰＯＣの値が“３”に対応したフレーム単位の画像データ（Ｇ１３、Ｇ２３）を表示する。これにより、映像表示部５０の表示の更新が再開され、映像表示部５０は、正常な映像表示が行われる状態となる。
また、状態（４）において、映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］に記憶されたＰＯＣ付き画像データＦ１及びＦ２を参照し、付与されたＰＯＣ（ＰＯＣ１とＰＯＣ２の値）が一致するか否かを判定する。この場合、ＰＯＣ１とＰＯＣ２の値が“４”で一致する。そのため、映像同期処理部４０は、ＰＯＣを除いたフレーム単位の画像データ（Ｇ１４、Ｇ２４）を、２つの間の同期を取って、次のフレーム番号（Ｎ＝４）の状態において映像表示部５０に出力する。
状態（４）において、伸長復号部２１、２２は、ＰＯＣの値が“５”（ＰＯＣ１＝５、ＰＯＣ２＝５）となるフレーム単位の画像データ（Ｇ１５、Ｇ２５）を伸長復号して生成する。
また、状態（４）において、映像出力バッファ３０は、領域［１］及び領域［２］に、それぞれＰＯＣ値に“４”（ＰＯＣ１＝４、ＰＯＣ２＝４）が付加されたＰＯＣ付き画像データ（Ｆ１４、Ｆ２４）が記憶されている。
また、状態（４）において、映像表示部５０は、ＰＯＣの値が“３”に対応したフレーム単位の画像データ（Ｇ１３、Ｇ２３）を表示する。これにより、映像表示部５０の表示の更新が再開され、映像表示部５０は、正常な映像表示が行われる状態となる。
また、状態（４）において、映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］に記憶されたＰＯＣ付き画像データＦ１及びＦ２を参照し、付与されたＰＯＣ（ＰＯＣ１とＰＯＣ２の値）が一致するか否かを判定する。この場合、ＰＯＣ１とＰＯＣ２の値が“４”で一致する。そのため、映像同期処理部４０は、ＰＯＣを除いたフレーム単位の画像データ（Ｇ１４、Ｇ２４）を、２つの間の同期を取って、次のフレーム番号（Ｎ＝４）の状態において映像表示部５０に出力する。
次に、映像同期処理部４０の一態様の処理についてフローチャートを用いて詳細に説明する。
図６は、実施形態における映像同期処理部４０の動作を示すフローチャートである。
まず、ステップＳ４１において、映像同期処理部４０は、フレーム番号Ｎを初期化する。フレーム番号Ｎは、映像同期処理部４０の図示しない記憶部に記憶され、“１”に 初期化される。次に、ステップＳ４２において、映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］のＰＯＣ（ＰＯＣ１、ＰＯＣ２）を参照する。
次に、ステップＳ４３において、映像同期処理部４０は、参照したＰＯＣ（ＰＯＣ１、ＰＯＣ２）の内、領域［１］に記憶されたＰＯＣ付き画像データＦ１に付与されたＰＯＣ１の最小値と領域［２］に記憶されたＰＯＣ付き画像データＦ２に付与されたＰＯＣ２の最小値とが一致するか否かを判定する。ＰＯＣ１の最小値とＰＯＣ２の最小値が一致すると判定された場合、映像同期処理部４０は、ステップＳ４４の処理に進む。また、ＰＯＣ１の最小値とＰＯＣ２の最小値が一致しないと判定された場合、映像同期処理部４０は、ステップＳ４５の処理に進む。すなわち、ＰＯＣ１の最小値とＰＯＣ２の最小値が不一致の場合は、伸長復号部２１、２２のいずれか一方において、エラーが発生し、フレーム単位の画像データ（Ｇ１又はＧ２）を生成できなかった場合である。
図６は、実施形態における映像同期処理部４０の動作を示すフローチャートである。
まず、ステップＳ４１において、映像同期処理部４０は、フレーム番号Ｎを初期化する。フレーム番号Ｎは、映像同期処理部４０の図示しない記憶部に記憶され、“１”に 初期化される。次に、ステップＳ４２において、映像同期処理部４０は、映像出力バッファ３０の領域［１］及び領域［２］のＰＯＣ（ＰＯＣ１、ＰＯＣ２）を参照する。
次に、ステップＳ４３において、映像同期処理部４０は、参照したＰＯＣ（ＰＯＣ１、ＰＯＣ２）の内、領域［１］に記憶されたＰＯＣ付き画像データＦ１に付与されたＰＯＣ１の最小値と領域［２］に記憶されたＰＯＣ付き画像データＦ２に付与されたＰＯＣ２の最小値とが一致するか否かを判定する。ＰＯＣ１の最小値とＰＯＣ２の最小値が一致すると判定された場合、映像同期処理部４０は、ステップＳ４４の処理に進む。また、ＰＯＣ１の最小値とＰＯＣ２の最小値が一致しないと判定された場合、映像同期処理部４０は、ステップＳ４５の処理に進む。すなわち、ＰＯＣ１の最小値とＰＯＣ２の最小値が不一致の場合は、伸長復号部２１、２２のいずれか一方において、エラーが発生し、フレーム単位の画像データ（Ｇ１又はＧ２）を生成できなかった場合である。
ステップＳ４４において、映像同期処理部４０は、ＰＯＣ１の最小値とフレーム番号Ｎとが一致するか否かを判定し、一致すると判定した場合はステップＳ４６の処理に進み、一致しないと判定した場合は、ステップＳ４７の処理に進む。なお、フレーム番号Ｎと比較するＰＯＣの値は、ＰＯＣ１の最小値とＰＯＣ２の最小値のいずれでも良いが、ここでは、ＰＯＣ１の最小値とする。ＰＯＣ１の最小値とフレーム番号Ｎが不一致の場合は、伸長復号部２１、２２の両方において、エラーが発生し、フレーム単位の画像データ（Ｇ１、Ｇ２）を生成できなかった場合である。
また、ステップＳ４５において、映像同期処理部４０は、ＰＯＣ１の最小値とＰＯＣ２の最小値の小さい方のＰＯＣの値に対応する、ＰＯＣ付き画像データ（Ｆ１又はＦ２）を、映像出力バッファ３０から破棄する。例えば、ＰＯＣ１の最小値の方が小さいとする。この場合、映像同期処理部４０は、ＰＯＣ１の最小値に対応するＰＯＣ付き画像データ（Ｆ１）を映像出力バッファ３０から消去する。次に、映像同期処理部４０は、ステップＳ４７の処理に進む。
また、ステップＳ４５において、映像同期処理部４０は、ＰＯＣ１の最小値とＰＯＣ２の最小値の小さい方のＰＯＣの値に対応する、ＰＯＣ付き画像データ（Ｆ１又はＦ２）を、映像出力バッファ３０から破棄する。例えば、ＰＯＣ１の最小値の方が小さいとする。この場合、映像同期処理部４０は、ＰＯＣ１の最小値に対応するＰＯＣ付き画像データ（Ｆ１）を映像出力バッファ３０から消去する。次に、映像同期処理部４０は、ステップＳ４７の処理に進む。
ステップＳ４６において、映像同期処理部４０は、（ＰＯＣ１＝Ｎ）に対応するＰＯＣ付き画像データ（Ｆ１）を参照し、ＰＯＣを除いたフレーム単位の画像データ（Ｇ１）を生成する。映像同期処理部４０は、（ＰＯＣ２＝Ｎ）に対応するＰＯＣ付き画像データ（Ｆ２）を参照し、ＰＯＣを除いたフレーム単位の画像データ（Ｇ２）を生成する。また、映像同期処理部４０は、フレーム単位の画像データ（Ｇ１、Ｇ２）を、２つの間の同期を取って、映像表示部５０に出力する。
次に、ステップＳ４７において、映像同期処理部４０は、フレーム番号Ｎを更新する。つまり、映像同期処理部４０は、図示しない記憶部に記憶されたフレーム番号Ｎの値を参照し、“１”を加算した値を記憶部に記憶させる。
なお、ステップＳ４４の処理、又はステップＳ４５の処理からステップＳ４７の処理に進んだ場合、ステップＳ４６の処理が行われない。つまり、この場合、映像同期処理部４０は、フレーム単位の新たな画像データ（Ｇ１、Ｇ２）を映像表示部５０に出力しない。このため、映像表示部５０は、最後に出力された（最後に同期が取れた）フレーム単位の画像データ（Ｇ１、Ｇ２）を表示する状態を保持する。
次に、ステップＳ４７において、映像同期処理部４０は、フレーム番号Ｎを更新する。つまり、映像同期処理部４０は、図示しない記憶部に記憶されたフレーム番号Ｎの値を参照し、“１”を加算した値を記憶部に記憶させる。
なお、ステップＳ４４の処理、又はステップＳ４５の処理からステップＳ４７の処理に進んだ場合、ステップＳ４６の処理が行われない。つまり、この場合、映像同期処理部４０は、フレーム単位の新たな画像データ（Ｇ１、Ｇ２）を映像表示部５０に出力しない。このため、映像表示部５０は、最後に出力された（最後に同期が取れた）フレーム単位の画像データ（Ｇ１、Ｇ２）を表示する状態を保持する。
次に、ステップＳ４８の処理において、映像同期処理部４０は、次のフレーム番号Ｎの画像データを表示させる必要があるか否かを判定する。次のフレーム番号Ｎの画像データを表示させる必要があるか否かの判定は、例えば、映像復号処理部２０が映像符号化ストリーム（Ｅ１、Ｅ２）の伸長復号処理を完了し、映像出力バッファ３０のいずれか一方が空であることを検出して判定する。必要がある場合は、ステップＳ４２の処理に戻り、ステップＳ４２からＳ４７の処理が繰り返される。これにより、フレーム番号Ｎに応じた画像データ（Ｇ１，Ｇ３）が、映像表示部５０に順次表示される。つまり、映像表示部５０には、連続的に更新される３次元映像５１が表示される。
また、表示させる必要がない場合、映像同期処理部４０は処理を終了する。
また、表示させる必要がない場合、映像同期処理部４０は処理を終了する。
以上のように、映像復号処理部２０が、２つの映像符号化ストリームを並列に復号し、映像符号化ストリーム毎のＰＯＣ付き画像データ（Ｆ１、Ｆ２）を映像出力バッファ３０に記憶させる。また、映像同期処理部４０が、映像出力バッファ３０に記憶された映像符号化ストリーム毎のＰＯＣ付き画像データ（Ｆ１、Ｆ２）を参照し、ＰＯＣの値が一致するフレーム単位の画像データ（Ｇ１、Ｇ２）を、２つの間の同期を取って、映像表示部５０に順次表示させる。つまり、映像同期装置１は、映像符号化ストリームを伸長復号する際にＰＯＣを付与することで、複数の映像符号化ストリーム（Ｅ１、Ｅ２）を同期させた３次元映像５１を映像表示部５０に表示させることができる。これにより、映像同期装置１は、複数の映像符号化ストリーム（Ｅ１、Ｅ２）を送信する際に、ＴＳパケット又はＲＴＰパケットを使用する必要がない。このため、送信するパケットにタイムコードのヘッダ情報が不要となり、全体の情報量が低減できる。このため、映像同期装置１は、ＩＰネットワーク２上の負荷を低減できる。
また、上述の通り映像同期装置１は、ＮＴＰサーバから時刻情報を取得する必要がない。これにより、映像同期装置１は、ＮＴＰクライアント機能を持つ必要がなく、ＮＴＰサーバから時刻情報を毎回、ＩＰネットワーク２を介して取得する必要がない。このため、映像同期装置１は、ネットワーク上の負荷を低減できる。
また、上述の通り映像同期装置１は、ＮＴＰサーバから時刻情報を取得する必要がない。これにより、映像同期装置１は、ＮＴＰクライアント機能を持つ必要がなく、ＮＴＰサーバから時刻情報を毎回、ＩＰネットワーク２を介して取得する必要がない。このため、映像同期装置１は、ネットワーク上の負荷を低減できる。
＜第２の実施形態＞
以下、本発明の第２の実施形態による映像同期装置について説明する。
図７は、本実施形態における映像同期装置を示すブロック図である。
図７に示される映像同期装置１ａは、ＩＰネットワーク２と接続される。また、映像送信装置６０ａが、ＩＰネットワーク２に接続され、映像同期装置１ａと映像送信装置６０ａは、通信可能な状態にある。
この図において、図１と同じ構成には同一の符号を付す。
映像送信装置６０ａは、映像取り込み部３ａと、圧縮符号化器４〜７とを備える。映像取り込み部３ａは、４ｋ×２ｋ（ヨンケイニケイ）精細度の1つの映像を４分の１の画素数で構成される４つのＨＤ（High Definition）映像に分割して、並列に取り込む。圧縮符号化器４〜７は、取り込んだ４つの映像情報に基づき、映像符号化ストリームに圧縮符号化すると。また、映像送信装置６０ａは、圧縮符号化器４〜７が圧縮符号化した映像符号化ストリームを、ＩＰネットワーク２を介して映像同期装置１ａに送信する。ここで、圧縮符号化器４〜７が行う圧縮符号化の処理は、例えば、ＩＴＵ−Ｔ Ｈ．２６４勧告に基づいて行われる。また、圧縮符号化器４〜７は、図１の圧縮符号化器４、５と同じ構成である。
また、図１の全体を映像同期システム１００ａとする。
以下、本発明の第２の実施形態による映像同期装置について説明する。
図７は、本実施形態における映像同期装置を示すブロック図である。
図７に示される映像同期装置１ａは、ＩＰネットワーク２と接続される。また、映像送信装置６０ａが、ＩＰネットワーク２に接続され、映像同期装置１ａと映像送信装置６０ａは、通信可能な状態にある。
この図において、図１と同じ構成には同一の符号を付す。
映像送信装置６０ａは、映像取り込み部３ａと、圧縮符号化器４〜７とを備える。映像取り込み部３ａは、４ｋ×２ｋ（ヨンケイニケイ）精細度の1つの映像を４分の１の画素数で構成される４つのＨＤ（High Definition）映像に分割して、並列に取り込む。圧縮符号化器４〜７は、取り込んだ４つの映像情報に基づき、映像符号化ストリームに圧縮符号化すると。また、映像送信装置６０ａは、圧縮符号化器４〜７が圧縮符号化した映像符号化ストリームを、ＩＰネットワーク２を介して映像同期装置１ａに送信する。ここで、圧縮符号化器４〜７が行う圧縮符号化の処理は、例えば、ＩＴＵ−Ｔ Ｈ．２６４勧告に基づいて行われる。また、圧縮符号化器４〜７は、図１の圧縮符号化器４、５と同じ構成である。
また、図１の全体を映像同期システム１００ａとする。
この図において、映像同期装置１ａは、映像データ通信処理部１０ａ、映像復号処理部２０ａ、映像出力バッファ３０ａ、映像同期処理部４０ａ及び映像表示部５０ａを備える。
映像データ通信処理部１０ａは、ＩＰネットワーク２に接続され、ＩＰネットワーク２を介して４つの映像符号化ストリームを並列して受信する。また、映像データ通信処理部１０ａは、受信した４つの映像符号化ストリームＥ１〜Ｅ４を映像復号処理部２０ａに供給する。
映像復号処理部２０ａは、伸長復号部２１〜２４を備える。映像復号処理部２０ａは、映像データ通信処理部１０ａより供給される４つの映像符号化ストリームＥ１〜Ｅ４に基づき、Ｈ．２６４勧告による伸長復号処理を並列に行う。これにより、映像復号処理部２０ａは、フレーム単位の画像データ（Ｇ１〜Ｇ４）を生成する。また、映像復号処理部２０ａは、生成したフレーム単位の画像データ（Ｇ１〜Ｇ４）に、Ｈ．２６４勧告の符号化情報であるＰＯＣ（画像順序番号）を付与したＰＯＣ付き画像データＦ１〜Ｆ４を生成する。映像復号処理部２０ａは、ＰＯＣ付き画像データＦ１〜Ｆ４を映像出力バッファ３０ａに記憶させる。
伸長復号部２１〜２４は、図１の伸長復号部２１、２２と同じ構成である。
映像データ通信処理部１０ａは、ＩＰネットワーク２に接続され、ＩＰネットワーク２を介して４つの映像符号化ストリームを並列して受信する。また、映像データ通信処理部１０ａは、受信した４つの映像符号化ストリームＥ１〜Ｅ４を映像復号処理部２０ａに供給する。
映像復号処理部２０ａは、伸長復号部２１〜２４を備える。映像復号処理部２０ａは、映像データ通信処理部１０ａより供給される４つの映像符号化ストリームＥ１〜Ｅ４に基づき、Ｈ．２６４勧告による伸長復号処理を並列に行う。これにより、映像復号処理部２０ａは、フレーム単位の画像データ（Ｇ１〜Ｇ４）を生成する。また、映像復号処理部２０ａは、生成したフレーム単位の画像データ（Ｇ１〜Ｇ４）に、Ｈ．２６４勧告の符号化情報であるＰＯＣ（画像順序番号）を付与したＰＯＣ付き画像データＦ１〜Ｆ４を生成する。映像復号処理部２０ａは、ＰＯＣ付き画像データＦ１〜Ｆ４を映像出力バッファ３０ａに記憶させる。
伸長復号部２１〜２４は、図１の伸長復号部２１、２２と同じ構成である。
映像出力バッファ３０ａは、映像復号処理部２０ａと映像同期処理部４０ａとの間に配置され、４つの映像符号化ストリームＥ１〜Ｅ４にそれぞれ対応した領域を有する。この領域は、複数フレーム分のＰＯＣ付き画像データＦ１〜Ｆ４を記憶することができる。映像出力バッファ３０ａは、映像復号処理部２０ａより供給されるＰＯＣ付き画像データＦ１〜Ｆ４を記憶する。また、映像出力バッファ３０ａは、記憶するＰＯＣを付与したＰＯＣ付き画像データＦ１〜Ｆ４を映像同期処理部４０ａに供給する。
映像同期処理部４０ａは、映像出力バッファ３０ａと映像表示部５０ａとの間に配置される。映像同期処理部４０ａは、映像出力バッファ３０ａが記憶するＰＯＣを付与したＰＯＣ付き画像データＦ１〜Ｆ４を参照する。映像同期処理部４０ａは、ＰＯＣ付き画像データＦ１〜Ｆ４に付与されたＰＯＣに基づき、ＰＯＣ付き画像データＦ１〜Ｆ４の同期を取る。また、映像同期処理部４０ａは、ＰＯＣを除いたフレーム単位の画像データＧ１〜Ｇ４を、４つの間の同期を取って映像表示部５０ａに出力する。
映像表示部５０ａは、映像同期処理部４０ａに接続され、映像同期処理部４０ａが供給するフレーム単位の画像データＧ１〜Ｇ４を図示しない表示画面に表示する。
映像同期処理部４０ａは、映像出力バッファ３０ａと映像表示部５０ａとの間に配置される。映像同期処理部４０ａは、映像出力バッファ３０ａが記憶するＰＯＣを付与したＰＯＣ付き画像データＦ１〜Ｆ４を参照する。映像同期処理部４０ａは、ＰＯＣ付き画像データＦ１〜Ｆ４に付与されたＰＯＣに基づき、ＰＯＣ付き画像データＦ１〜Ｆ４の同期を取る。また、映像同期処理部４０ａは、ＰＯＣを除いたフレーム単位の画像データＧ１〜Ｇ４を、４つの間の同期を取って映像表示部５０ａに出力する。
映像表示部５０ａは、映像同期処理部４０ａに接続され、映像同期処理部４０ａが供給するフレーム単位の画像データＧ１〜Ｇ４を図示しない表示画面に表示する。
次に、本実施形態の動作について説明する。
図８は、本実施形態における映像同期装置の映像表示の一形態を示す図である。
この図は、本実施形態における映像同期システム１００ａの動作の概要を示す。映像同期システム１００ａにおいて、映像送信装置６０ａ（図７）と映像同期装置１ａ（図７）がそれぞれＩＰネットワーク２に接続されている。映像送信装置６０ａ（図７）は、取り込んだ４ｋ×２ｋ映像を４つのＨＤ映像に分割して、ＩＰネットワーク２を介して送信する。４つのＨＤ映像は、左上４分の１のＨＤ映像３３、右上４分の１のＨＤ映像３４、左下４分の１のＨＤ映像３５、右下４分の１のＨＤ映像３６である。映像同期装置１ａ（図７）は、ＩＰネットワーク２を介して４つのＨＤ映像３３〜３６を受信し、４つのＨＤ映像３３〜３６を、４つの間の同期を取って、４ｋ×２ｋ映像５２として映像表示部５０ａ（図５）に表示する。
図８は、本実施形態における映像同期装置の映像表示の一形態を示す図である。
この図は、本実施形態における映像同期システム１００ａの動作の概要を示す。映像同期システム１００ａにおいて、映像送信装置６０ａ（図７）と映像同期装置１ａ（図７）がそれぞれＩＰネットワーク２に接続されている。映像送信装置６０ａ（図７）は、取り込んだ４ｋ×２ｋ映像を４つのＨＤ映像に分割して、ＩＰネットワーク２を介して送信する。４つのＨＤ映像は、左上４分の１のＨＤ映像３３、右上４分の１のＨＤ映像３４、左下４分の１のＨＤ映像３５、右下４分の１のＨＤ映像３６である。映像同期装置１ａ（図７）は、ＩＰネットワーク２を介して４つのＨＤ映像３３〜３６を受信し、４つのＨＤ映像３３〜３６を、４つの間の同期を取って、４ｋ×２ｋ映像５２として映像表示部５０ａ（図５）に表示する。
次に、図７に戻り各部の動作を説明する。
図７において、映像符号化ストリームの数が４つになった点を除き、基本的な動作は、第１の実施形態と同じである。
映像送信装置６０ａは、映像取り込み部３ａが取り込んだ４ｋ×２ｋ映像を、４分の１の面積の４つのＨＤ映像に分割する。分割された４つのＨＤ映像情報は、圧縮符号化器４〜７によりそれぞれＨ．２６４勧告の符号化処理を並列して行う。これにより生成された映像符号化ストリームＥ１〜Ｅ４はパケットに順次分割され、映像送信装置６０ａにより、それぞれＩＰネットワーク２を介して送信される。
映像同期装置１ａの映像データ通信処理部１０ａは、ＩＰネットワーク２を介してパケットを受信する。映像データ通信処理部１０ａは、受信したパケットを映像符号化ストリームＥ１〜Ｅ４に順次戻して、伸長復号部２１〜２４にそれぞれ供給する。ここで、パケットロス等のエラーが発生した場合、映像符号化ストリームＥ１〜Ｅ４は、エラーの部分が欠損した映像符号化ストリームとなる。
図７において、映像符号化ストリームの数が４つになった点を除き、基本的な動作は、第１の実施形態と同じである。
映像送信装置６０ａは、映像取り込み部３ａが取り込んだ４ｋ×２ｋ映像を、４分の１の面積の４つのＨＤ映像に分割する。分割された４つのＨＤ映像情報は、圧縮符号化器４〜７によりそれぞれＨ．２６４勧告の符号化処理を並列して行う。これにより生成された映像符号化ストリームＥ１〜Ｅ４はパケットに順次分割され、映像送信装置６０ａにより、それぞれＩＰネットワーク２を介して送信される。
映像同期装置１ａの映像データ通信処理部１０ａは、ＩＰネットワーク２を介してパケットを受信する。映像データ通信処理部１０ａは、受信したパケットを映像符号化ストリームＥ１〜Ｅ４に順次戻して、伸長復号部２１〜２４にそれぞれ供給する。ここで、パケットロス等のエラーが発生した場合、映像符号化ストリームＥ１〜Ｅ４は、エラーの部分が欠損した映像符号化ストリームとなる。
伸長復号部２１〜２４の動作は、基本的に図４のフローチャートに示される動作と同じである。
伸長復号部２１〜２４は、映像データ通信処理部１０ａより供給される映像符号化ストリームＥ１〜Ｅ４に基づき、それぞれＨ．２６４勧告による伸長復号処理を順次行う。これにより、伸長復号部２１〜２４は、フレーム単位の画像データ（Ｇ１〜Ｇ４）をそれぞれ生成する。更に、伸長復号部２１〜２４は、生成したフレーム単位の画像データ（Ｇ１〜Ｇ４）にＰＯＣを付与したＰＯＣ付き画像データＦ１〜Ｆ４をそれぞれ生成し、映像出力バッファ３０ａの領域［１］〜領域［４］に順次記憶させる。なお、フレーム単位の画像データ（Ｇ１〜Ｇ４）は、ＨＤ精細度の画像サイズ（ＨＤサイズ）である。
ここでＰＯＣには、Ｈ．２６４勧告における符号化情報の１つであるＰＯＣ（画像順序番号）を流用して使用する。
伸長復号部２１〜２４は、映像データ通信処理部１０ａより供給される映像符号化ストリームＥ１〜Ｅ４に基づき、それぞれＨ．２６４勧告による伸長復号処理を順次行う。これにより、伸長復号部２１〜２４は、フレーム単位の画像データ（Ｇ１〜Ｇ４）をそれぞれ生成する。更に、伸長復号部２１〜２４は、生成したフレーム単位の画像データ（Ｇ１〜Ｇ４）にＰＯＣを付与したＰＯＣ付き画像データＦ１〜Ｆ４をそれぞれ生成し、映像出力バッファ３０ａの領域［１］〜領域［４］に順次記憶させる。なお、フレーム単位の画像データ（Ｇ１〜Ｇ４）は、ＨＤ精細度の画像サイズ（ＨＤサイズ）である。
ここでＰＯＣには、Ｈ．２６４勧告における符号化情報の１つであるＰＯＣ（画像順序番号）を流用して使用する。
映像同期処理部４０ａは、映像出力バッファ３０ａの領域［１］〜領域［４］に記憶されたＰＯＣ付き画像データＦ１〜Ｆ４のＰＯＣ部分（ＰＯＣ１〜ＰＯＣ４）を順次参照する。映像同期処理部４０ａは、参照したＰＯＣの内、ＰＯＣ１の最小値〜ＰＯＣ４の最小値が全て一致すると判定した場合に、対応するＰＯＣ付き画像データＦ１〜Ｆ４を参照する。更に、映像同期処理部４０ａは、一致したＰＯＣ（ＰＯＣ１〜ＰＯＣ４）を除いたフレーム単位の画像データＧ１〜Ｇ４を、４つの間の同期を取って、映像表示部５０ａに出力する。映像同期処理部４０ａは、この動作を繰り返し、同期されたフレーム単位の画像データＧ１〜Ｇ４が映像表示部５０ａに順次出力される。なお、フレーム単位の画像データＧ１〜Ｇ４は、映像符号化ストリームＥ１〜Ｅ４のフレームレートに応じて、予め定められた時間間隔により出力される。
映像表示部５０ａは、映像同期処理部４０ａから供給されるフレーム単位のＨＤサイズ画像データＧ１〜Ｇ４を同期して順次表示する。これにより、映像表示部５０ａは、４ｋ×２ｋ映像５２を表示する。
映像表示部５０ａは、映像同期処理部４０ａから供給されるフレーム単位のＨＤサイズ画像データＧ１〜Ｇ４を同期して順次表示する。これにより、映像表示部５０ａは、４ｋ×２ｋ映像５２を表示する。
また、上述のＰＯＣ１の最小値〜ＰＯＣ４の最小値が不一致である場合の処理は、基本的に図６のフローチャートに示される動作と同じである。本実施形態において、ＰＯＣは、ＰＯＣ１の最小値〜ＰＯＣ４の最小値の４つある。そのため、図６のステップＳ４５の処理において、本実施形態の場合、４つの最小値の内、最小のＰＯＣに対応するＰＯＣ付き画像データを破棄すれば良い。
以上のように、映像復号処理部２０ａが、４つのＨＤサイズの映像符号化ストリームを並列に復号し、映像符号化ストリーム毎のＰＯＣ付き画像データ（Ｆ１〜Ｆ４）を映像出力バッファ３０ａに記憶させる。また、映像同期処理部４０ａが、映像出力バッファ３０ａに記憶された映像符号化ストリーム毎のＰＯＣ付き画像データ（Ｆ１〜Ｆ４）を参照し、ＰＯＣの値が一致するフレーム単位の画像データ（Ｇ１〜Ｇ４）を、４つの間の同期を取って、映像表示部５０ａに順次表示させる。つまり、映像同期装置１ａは、映像符号化ストリームを伸長復号する際にＰＯＣを付与することで、複数の映像符号化ストリーム（Ｅ１〜Ｅ４）を同期させた４ｋ×２ｋ映像５２を映像表示部５０ａに表示させることができる。これにより、映像同期装置１ａは、複数の映像符号化ストリーム（Ｅ１〜Ｅ４）を送信する際に、ＴＳパケット又はＲＴＰパケットを使用する必要がない。このため、送信するパケットにタイムコードのヘッダ情報が不要となり、全体の情報量が低減できる。このため、映像同期装置１ａは、ＩＰネットワーク２上の負荷を低減できる。
また、上述の通り映像同期装置１ａは、ＮＴＰサーバから時刻情報を取得する必要がない。これにより、映像同期装置１ａは、ＮＴＰクライアント機能を持つ必要がなく、ＮＴＰサーバから時刻情報を毎回、ＩＰネットワーク２を介して取得する必要がない。このため、映像同期装置１ａは、ネットワーク上の負荷を低減できる。
また、本実施形態では、４ｋ×２ｋ精細度の映像を、４分の１のＨＤ精細度の映像として圧縮符号化／伸長復号処理できる。このため、映像同期システム１００ａ全体で処理する情報量を低減できる。
また、上述の通り映像同期装置１ａは、ＮＴＰサーバから時刻情報を取得する必要がない。これにより、映像同期装置１ａは、ＮＴＰクライアント機能を持つ必要がなく、ＮＴＰサーバから時刻情報を毎回、ＩＰネットワーク２を介して取得する必要がない。このため、映像同期装置１ａは、ネットワーク上の負荷を低減できる。
また、本実施形態では、４ｋ×２ｋ精細度の映像を、４分の１のＨＤ精細度の映像として圧縮符号化／伸長復号処理できる。このため、映像同期システム１００ａ全体で処理する情報量を低減できる。
なお、本発明の実施形態によれば、映像同期装置１（又は１ａ）では、映像出力バッファ３０（又は３０ａ）が、複数の映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）ごとに順序付けられたフレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）を、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）ごとに記憶する。映像復号処理部２０（又は２０ａ）が、受信した映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）に基づいてフレーム画像単位で表示させるフレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）を生成し、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）ごとに、フレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）を表示させる画像順序番号（ＰＯＣ）を生成し、フレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）にそれぞれ付与して、映像出力バッファ３０（又は３０ａ）にそれぞれ記憶させる。映像同期処理部４０（又は４０ａ）が、フレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）にそれぞれ付与された画像順序番号（ＰＯＣ）に基づいて、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）ごとに記憶されたフレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）について、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）の間の同期を取って、フレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）を出力する。
これにより、映像同期装置１（又は１ａ）は、複数の映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）を送信する際に、ＴＳパケット又はＲＴＰパケットを使用する必要なしに、複数の映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）の間の同期を取って、映像表示部５０（又は５０ａ）に表示させることができる。このため、送信するパケットにタイムコードのヘッダ情報が不要となり、全体の情報量が低減できる。このため、映像同期装置１（又は１ａ）は、ＩＰネットワーク２上の負荷を低減できる。
また、上述の通り映像同期装置１（又は１ａ）は、ＮＴＰサーバから時刻情報を取得する必要がない。これにより、映像同期装置１（又は１ａ）は、ＮＴＰクライアント機能を持つ必要がなく、ＮＴＰサーバから時刻情報を毎回、ＩＰネットワーク２を介して取得する必要がない。このため、映像同期装置１（又は１ａ）は、ネットワーク上の負荷を低減できる。
また、上述の通り映像同期装置１（又は１ａ）は、ＮＴＰサーバから時刻情報を取得する必要がない。これにより、映像同期装置１（又は１ａ）は、ＮＴＰクライアント機能を持つ必要がなく、ＮＴＰサーバから時刻情報を毎回、ＩＰネットワーク２を介して取得する必要がない。このため、映像同期装置１（又は１ａ）は、ネットワーク上の負荷を低減できる。
また、映像同期処理部４０（又は４０ａ）は、画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の内、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）ごとに付与されたＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値が映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）の間で全て一致するかを判定し、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）の間で少なくとも１つの画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値の１つが一致しないと判定した場合に、全て一致するかの判定の前に同期を取って出力した状態を保持する。
また、映像同期処理部４０（又は４０ａ）は、画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値が映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）の間で全て一致すると判定した場合に、一致したＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値に応じた映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）ごとのフレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）の間の同期を取って出力し、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）の間で少なくとも画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値の１つが一致しないと判定した場合に、画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値の内、最小の画像順序番号に応じたフレーム単位の画像データを破棄する。
これにより、複数の映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）のいずれかに、パケットロス等のＩＰネットワーク２上のエラーが発生した場合において、同期ずれを防止できる。そのため、映像同期装置１（又は１ａ）は、複数の映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）を同期して映像表示部５０（又は５０ａ）に表示することができる。
また、映像同期処理部４０（又は４０ａ）は、画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値が映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）の間で全て一致すると判定した場合に、一致したＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値に応じた映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）ごとのフレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）の間の同期を取って出力し、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）の間で少なくとも画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値の１つが一致しないと判定した場合に、画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値の内、最小の画像順序番号に応じたフレーム単位の画像データを破棄する。
これにより、複数の映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）のいずれかに、パケットロス等のＩＰネットワーク２上のエラーが発生した場合において、同期ずれを防止できる。そのため、映像同期装置１（又は１ａ）は、複数の映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）を同期して映像表示部５０（又は５０ａ）に表示することができる。
また、映像同期処理部４０（又は４０ａ）は、画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値が映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）の間で全て一致すると判定した場合に、連続して出力すべきフレームの計数値（フレーム番号Ｎ）と画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値が一致するか否かを判定し、フレームの計数値（フレーム番号Ｎ）と画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値が一致すると判定した場合に、画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値に応じた映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）ごとのフレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）の間の同期を取って出力し、フレームの計数値（フレーム番号Ｎ）と画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値が一致しないと判定した場合に、フレームの計数値（フレーム番号Ｎ）と画像順序番号ＰＯＣ１、ＰＯＣ２（又はＰＯＣ１〜ＰＯＣ４）の最小値が一致するかの判定前に同期を取って出力した状態を保持する。
これにより、全ての映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）に、パケットロス等のＩＰネットワーク２上のエラーが発生した場合、映像同期装置１（又は１ａ）は、最後に出力された（最後に同期が取れた）フレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）を表示する状態を保持する。このため、映像同期装置１（又は１ａ）は、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）のフレームずれにより映像表示時間が短くなることを防止できる。
これにより、全ての映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）に、パケットロス等のＩＰネットワーク２上のエラーが発生した場合、映像同期装置１（又は１ａ）は、最後に出力された（最後に同期が取れた）フレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）を表示する状態を保持する。このため、映像同期装置１（又は１ａ）は、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）のフレームずれにより映像表示時間が短くなることを防止できる。
また、映像復号処理部２０（又は２０ａ）は、受信した映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）を送信時に符号化された符号化方式（ＩＴＵ−Ｔ Ｈ．２６４勧告）に基づいて復号化処理を行い、符号化方式（Ｈ．２６４勧告）の制御情報（符号化情報）に基づいて画像順序番号ＰＯＣを生成する。
これにより、映像復号処理部２０（又は２０ａ）は、自らフレーム番号Ｎを計数する必要がない。このため、映像同期装置１（又は１ａ）は、映像復号処理部２０（又は２０ａ）の処理を簡略化できる。
これにより、映像復号処理部２０（又は２０ａ）は、自らフレーム番号Ｎを計数する必要がない。このため、映像同期装置１（又は１ａ）は、映像復号処理部２０（又は２０ａ）の処理を簡略化できる。
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。本発明に用いる映像符号化の方式は、Ｈ．２６４勧告に限定されるものではなく、他の方式でも良いし、符号化されない映像情報に基づいてフレーム単位の画像データを生成しても良い。また、本実施形態において、画像順序番号（ＰＯＣ）は、Ｈ．２６４勧告の符号化情報であるＰＯＣを使用したが、これに限定されるものではない。例えば、映像復号処理部２０（又は２０ａ）は、自ら計数したフレーム番号を使用しても良い。
また、映像表示部５０（又は５０ａ）は、映像同期装置１（又は１ａ）に含まれる形態を説明したが、外部ディスプレイやプロジェクタなどの表示装置に表示する形態でも良い。また、映像同期装置１（又は１ａ）は、映像符号化ストリーム間の同期を取って、記憶媒体などに出力する形態でも良い。また、映像送信装置６０（又は６０ａ）は、映像取り込み部３（又は３ａ）を含み、リアルタイムに圧縮符号化した映像符号化ストリームを送信する形態を説明したが、予め圧縮符号化して取り込まれた映像符号化ストリームを送信する形態でも良い。例えば、映像送信装置６０（又は６０ａ）は、複数の映像符号化ストリームを配信するサーバ装置などでも良い。また、２つの映像符号化ストリーム（Ｅ１、Ｅ２）と４つの映像符号化ストリーム（Ｅ１〜Ｅ４）の同期を取る形態を説明したが、これに限定されるものではなく、他の数の映像符号化ストリームを同期させる形態でも良い。
また、映像表示部５０（又は５０ａ）は、映像同期装置１（又は１ａ）に含まれる形態を説明したが、外部ディスプレイやプロジェクタなどの表示装置に表示する形態でも良い。また、映像同期装置１（又は１ａ）は、映像符号化ストリーム間の同期を取って、記憶媒体などに出力する形態でも良い。また、映像送信装置６０（又は６０ａ）は、映像取り込み部３（又は３ａ）を含み、リアルタイムに圧縮符号化した映像符号化ストリームを送信する形態を説明したが、予め圧縮符号化して取り込まれた映像符号化ストリームを送信する形態でも良い。例えば、映像送信装置６０（又は６０ａ）は、複数の映像符号化ストリームを配信するサーバ装置などでも良い。また、２つの映像符号化ストリーム（Ｅ１、Ｅ２）と４つの映像符号化ストリーム（Ｅ１〜Ｅ４）の同期を取る形態を説明したが、これに限定されるものではなく、他の数の映像符号化ストリームを同期させる形態でも良い。
また、３次元映像５１を表示する映像同期システム１００と４ｋ×２ｋ映像５２を表示する映像同期システム１００ａの形態を説明したが、本発明は、これに限定されるものではない。例えば、テレビ会議システムなどのＩＰネットワーク２を介した映像伝送システムに適用しても良い。
また、図６のステップＳ４５において、映像同期処理部４０は、最後に同期が取れたフレーム単位の画像データＧ１、Ｇ２を映像表示部５０に再出力しない形態を説明した。しかし、最後に同期が取れたフレーム単位の画像データＧ１、Ｇ２を再出力する形態でも良い。
また、ステップＳ４４において、ステップＳ４７の処理に進む前に、最後に同期が取れたフレーム単位の画像データＧ１、Ｇ２を再出力する形態でも良い。
また、フレーム番号Ｎを記憶する図示しない記憶部を映像同期処理部４０に備えた形態を説明したが、映像出力バッファ部３０に備えても良い。
また、図６のステップＳ４５において、映像同期処理部４０は、最後に同期が取れたフレーム単位の画像データＧ１、Ｇ２を映像表示部５０に再出力しない形態を説明した。しかし、最後に同期が取れたフレーム単位の画像データＧ１、Ｇ２を再出力する形態でも良い。
また、ステップＳ４４において、ステップＳ４７の処理に進む前に、最後に同期が取れたフレーム単位の画像データＧ１、Ｇ２を再出力する形態でも良い。
また、フレーム番号Ｎを記憶する図示しない記憶部を映像同期処理部４０に備えた形態を説明したが、映像出力バッファ部３０に備えても良い。
上述の映像同期装置１、１ａは内部に、コンピュータシステムを有している。そして、上述した複数の映像符号化ストリームを同期させて映像表示部５０、５０ａに表示させる映像同期の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
なお、本発明のバッファ部は、映像出力バッファ部３０（又は３０ａ）に対応する。また、本発明の画像情報生成部は、映像復号処理部２０（又は２０ａ）に対応する。また、本発明のフレーム画像情報は、フレーム単位の画像データＧ１、Ｇ２（又はＧ１〜Ｇ４）に対応する。また、本発明の複数の映像情報は、映像符号化ストリームＥ１、Ｅ２（又はＥ１〜Ｅ４）に対応する。また、本発明の順序番号は、画像順序番号（ＰＯＣ）に対応する。
１、１ａ 映像同期装置
２ ＩＰネットワーク
３、３ａ 映像取り込み部
４、５、６、７ 圧縮符号化器
１０、１０ａ 映像データ通信処理部
２０、２０ａ 映像復号処理部
２１、２２、２３、２４ 伸長復号部
３０、３０ａ 映像出力バッファ
３１ 左目映像
３２ 右目映像
３３ 左上４分の１のＨＤ映像
３４ 右上４分の１のＨＤ映像
３５ 左下４分の１のＨＤ映像
３６ 右下４分の１のＨＤ映像
４０、４０ａ 映像同期処理部
５０、５０ａ 映像表示部
５１ ３次元映像
５２ ４ｋ×２ｋ映像
１００、１００ａ 映像同期システム
２ ＩＰネットワーク
３、３ａ 映像取り込み部
４、５、６、７ 圧縮符号化器
１０、１０ａ 映像データ通信処理部
２０、２０ａ 映像復号処理部
２１、２２、２３、２４ 伸長復号部
３０、３０ａ 映像出力バッファ
３１ 左目映像
３２ 右目映像
３３ 左上４分の１のＨＤ映像
３４ 右上４分の１のＨＤ映像
３５ 左下４分の１のＨＤ映像
３６ 右下４分の１のＨＤ映像
４０、４０ａ 映像同期処理部
５０、５０ａ 映像表示部
５１ ３次元映像
５２ ４ｋ×２ｋ映像
１００、１００ａ 映像同期システム
Claims (8)
- 受信した複数の映像情報に基づいてそれぞれ生成されるフレーム画像情報の間の同期を取って出力する映像同期装置であって、
前記映像情報ごとに順序付けられた前記フレーム画像情報を、前記映像情報ごとに記憶するバッファ部と、
受信した前記映像情報に基づいてフレーム画像単位で表示させるフレーム画像情報を生成し、前記映像情報ごとに、前記フレーム画像情報を表示させる順序番号を生成し、前記フレーム画像情報にそれぞれ付与して、前記バッファ部にそれぞれ記憶させる画像情報生成部と、
前記フレーム画像情報にそれぞれ付与された前記順序番号に基づいて、前記映像情報ごとに記憶されたフレーム画像情報について、前記複数の映像情報の間の同期を取って、前記フレーム画像情報を出力する映像同期処理部と
を備え、
前記映像同期処理部は、
前記順序番号の内、前記映像情報ごとに付与された前記順序番号の最小値が前記複数の映像情報の間で全て一致するかを判定し、前記複数の映像情報の間で少なくとも１つの前記最小値が一致しないと判定した場合に、前記判定の前に同期を取って出力した状態を保持する
ことを特徴とする映像同期装置。 - 前記映像同期処理部は、
前記最小値が前記複数の映像情報の間で全て一致すると判定した場合に、一致した前記最小値に応じた前記映像情報ごとの前記フレーム画像情報の間の同期を取って出力し、
前記複数の映像情報の間で少なくとも前記最小値の１つが一致しないと判定した場合に、前記最小値の内、最小の前記順序番号に応じた前記フレーム画像情報を破棄する
ことを特徴とする請求項１に記載の映像同期装置。 - 前記映像同期処理部は、
前記最小値が前記複数の映像情報の間で全て一致すると判定した場合に、連続して出力すべきフレームの計数値と前記最小値が一致するか否かを判定し、前記フレームの計数値と前記最小値が一致すると判定した場合に、前記最小値に応じた前記映像情報ごとの前記フレーム画像情報の間の同期を取って出力し、
前記フレームの計数値と前記最小値が一致しないと判定した場合に、前記フレームの計数値と前記最小値が一致するかの判定前に同期を取って出力した状態を保持する
ことを特徴とする請求項１又は請求項２に記載の映像同期装置。 - 前記画像情報生成部は、
前記受信した映像情報を送信時に符号化された符号化方式に基づいて復号化処理を行い、該符号化方式の制御情報に基づいて前記順序番号を生成する
ことを特徴とする請求項１から請求項３のいずれか一項に記載の映像同期装置。 - 前記符号化方式は、ＩＴＵ−Ｔ Ｈ．２６４勧告に基づく
ことを特徴とする請求項１から請求項４のいずれか一項に記載の映像同期装置。 - 請求項１から請求項５のいずれか一項に記載の映像同期装置を用いて同期化された複数の映像情報を表示する
ことを特徴とする映像表示装置。 - 受信した複数の映像情報に基づいてそれぞれ生成されるフレーム画像情報の間の同期を取って出力する映像同期方法であって、
前記映像情報ごとに順序付けられた前記フレーム画像情報を、前記映像情報ごとに記憶する過程と、
受信した前記映像情報に基づいてフレーム画像単位で表示させるフレーム画像情報を生成し、前記映像情報ごとに、前記フレーム画像情報を表示させる順序番号を生成し、前記フレーム画像情報にそれぞれ付与して、バッファ部にそれぞれ記憶させる画像情報生成処理過程と、
前記フレーム画像情報にそれぞれ付与された前記順序番号に基づいて、前記映像情報ごとに記憶されたフレーム画像情報について、前記複数の映像情報の間の同期を取って、前記フレーム画像情報を出力する映像同期処理過程と
を含み、
前記映像同期処理過程は、
前記順序番号の内、前記映像情報ごとに付与された前記順序番号の最小値が前記複数の映像情報の間で全て一致するかを判定し、前記複数の映像情報の間で少なくとも１つの前記最小値が一致しないと判定した場合に、前記判定の前に同期を取って出力した状態を保持する
ことを特徴とする映像同期方法。 - コンピュータに、受信した複数の映像情報に基づいてそれぞれ生成されるフレーム画像情報の間の同期を取って出力させるプログラムであって、
バッファ部が、前記映像情報ごとに順序付けられた前記フレーム画像情報を、前記映像情報ごとに記憶する処理ステップと、
画像情報生成部が、受信した前記映像情報に基づいてフレーム画像単位で表示させるフレーム画像情報を生成し、前記映像情報ごとに、前記フレーム画像情報を表示させる順序番号を生成し、前記フレーム画像情報にそれぞれ付与して、前記バッファ部にそれぞれ記憶させる画像情報生成処理ステップと、
映像同期処理部が、前記フレーム画像情報にそれぞれ付与された前記順序番号に基づいて、前記映像情報ごとに記憶されたフレーム画像情報について、前記複数の映像情報の間の同期を取って、前記フレーム画像情報を出力する映像同期処理ステップであって、前記順序番号の内、前記映像情報ごとに付与された前記順序番号の最小値が前記複数の映像情報の間で全て一致するかを判定し、前記複数の映像情報の間で少なくとも１つの前記最小値が一致しないと判定した場合に、前記判定の前に同期を取って出力した状態を保持する映像同期処理ステップと、
を前記コンピュータに実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010029385A JP5172874B2 (ja) | 2010-02-12 | 2010-02-12 | 映像同期装置、映像表示装置、映像同期方法及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010029385A JP5172874B2 (ja) | 2010-02-12 | 2010-02-12 | 映像同期装置、映像表示装置、映像同期方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011166615A JP2011166615A (ja) | 2011-08-25 |
| JP5172874B2 true JP5172874B2 (ja) | 2013-03-27 |
Family
ID=44596740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010029385A Expired - Fee Related JP5172874B2 (ja) | 2010-02-12 | 2010-02-12 | 映像同期装置、映像表示装置、映像同期方法及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5172874B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5367771B2 (ja) * | 2011-07-20 | 2013-12-11 | 日本電信電話株式会社 | 映像伝送システム |
| JP6313704B2 (ja) * | 2012-06-22 | 2018-04-18 | サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ | 受信装置およびその同期処理方法 |
| CN105959798B (zh) * | 2016-06-30 | 2019-05-31 | 北京小米移动软件有限公司 | 视频流的帧定位方法、装置和设备 |
| CN113923432B (zh) * | 2021-12-06 | 2022-02-11 | 极限人工智能有限公司 | 视频读取方法、装置、电子设备及存储介质 |
| US12039955B2 (en) * | 2022-03-10 | 2024-07-16 | Rockwell Collins, Inc. | Methodology for image synchronization to video imaging devices |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3332575B2 (ja) * | 1994-05-23 | 2002-10-07 | 三洋電機株式会社 | 立体動画像再生装置 |
| JP3338183B2 (ja) * | 1994-07-26 | 2002-10-28 | 三洋電機株式会社 | 立体動画像の復号装置 |
| JP2000092519A (ja) * | 1998-09-10 | 2000-03-31 | Toshiba Corp | 立体画像受信装置及び立体画像表示システム |
| JP4614612B2 (ja) * | 2002-06-25 | 2011-01-19 | ソニー株式会社 | 画像表示システム |
| JP2009004939A (ja) * | 2007-06-20 | 2009-01-08 | Victor Co Of Japan Ltd | 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム |
-
2010
- 2010-02-12 JP JP2010029385A patent/JP5172874B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011166615A (ja) | 2011-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101442278B1 (ko) | 정보 처리 장치 및 방법 | |
| KR101426097B1 (ko) | 정보 처리 장치 및 방법과, 프로그램 | |
| KR0167798B1 (ko) | 주화상에 부화상을 중첩하기 위한 다중화/디멀티플렉싱하는 방법 | |
| JP4425635B2 (ja) | 両眼／多視点３次元動画像処理システム及びその方法 | |
| TWI499275B (zh) | 用於視頻傳輸的方法和系統 | |
| KR20070084128A (ko) | 중간 형식으로 변환하는 2단계 산술 복호 | |
| JP5172874B2 (ja) | 映像同期装置、映像表示装置、映像同期方法及びプログラム | |
| JP2008034892A (ja) | 多視点画像符号化装置 | |
| WO2013146636A1 (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム | |
| KR100746005B1 (ko) | 다중 목적의 비디오 스트림을 처리하는 장치 및 방법 | |
| JP2009004939A (ja) | 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム | |
| JP2006319956A (ja) | Ｍｐｅｇ符号化ストリーム復号装置 | |
| KR20040065170A (ko) | 화상 정보 복호 장치 및 방법 | |
| US9930422B2 (en) | Video transmission system, video encoding apparatus, and video decoding apparatus | |
| JP2005110113A (ja) | 多視点画像伝送システムと方法、多視点画像圧縮装置と方法、多視点画像伸長装置と方法およびプログラム | |
| JP3822821B2 (ja) | 画像再生表示装置 | |
| US9479823B2 (en) | Transmitting device and receiving device | |
| JP2008034893A (ja) | 多視点画像復号装置 | |
| JP5367771B2 (ja) | 映像伝送システム | |
| JP2006050491A (ja) | マルチチャネル画像コーデック装置 | |
| JP4892541B2 (ja) | 画像伝送方法および画像伝送システム | |
| JP2004056234A (ja) | 画像符号化装置および画像符号化方法 | |
| JP6303829B2 (ja) | 多重化プログラム、多重化装置、及び多重化方法 | |
| KR101336820B1 (ko) | 다채널 트릭 모드에 특화된 복호화 장치 및 방법 | |
| JP2013211777A (ja) | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121016 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121017 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121226 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5172874 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160111 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |