JP4339654B2 - 中継システム及び構成情報通知方法 - Google Patents

Description

本発明は、RTP/RTSPシステムから3G-324M端末へのMPEG-4構成情報（MPEG-4 Configuration Information）の通知を中継する中継システムと、当該中継システム、RTP/RTSPシステム及び3G-324M端末を含んで構成される構成情報通知システム、及び中継システムによる構成情報通知方法に関する。

現在、下記の特許文献１に示される方式などによって、インターネット上の音声・映像データを、第三世代移動体テレビ電話通信プロトコルである3G-324Mストリームとして移動体通信端末(以下「3G-324M端末」という)へ送信するシステムやサービスが多くの団体にて検討されている。

また、移動体通信用の映像符号化方式としては現在MPEG-4 Videoが注目され、多くの団体やシステムで採用されているが、MPEG-4 Videoデータのデコード再生にはMPEG-4 Visual Object Sequence Header、Visual Object Header、Video Object Layer Headerにより構成されるMPEG-4構成情報(MPEG-4 Configuration Information、以下「MPEG-4 CI」と称する)と呼ばれるMPEG-4 Videoデータのデコードに必要なパラメタ情報が不可欠となり、通常、MPEG-4 CIはエンコード元であるエンコーダあるいはサーバからデコーダへMPEG-4 Videoデータストリーム中やMPEG-4 Videoデータの送受を制御するプロトコル等で動的に通知される。

よって、前述に示したインターネット上の音声・映像データを、3G-324Mストリームとして3G-324M端末へ送信するシステムにおいて、MPEG-4 Videoを採用する場合にも、インターネット上のエンコーダあるいはサーバから移動体通信端末へのMPEG-4 CIの通知は必要不可欠となる。

MPEG-4 CIの通知方法について、例えば、RTP/RTSPシステム間や3G-324M端末間では以下に示す通り、各種標準勧告で規定されている。

＜RTP/RTSPシステム間にてMPEG-4 Videoデータを伝送する場合(RFC3016)＞
(1)MPEG-4 CIは、RTP/RTSPセッション確立時にRTSPによって送受するSDPと呼ばれるセッション情報内のMPEG-4 Videoメディア記述子のconfigパラメタによって通知する。
(2)MPEG-4 CIは、送受される最初のRTPパケットのMPEG-4 Videoデータストリームの先頭で必ず通知する。

＜3G-324M端末間にてMPEG-4 Videoデータを伝送する場合(3GPP TS26.111)＞
(3)MPEG-4 CIは、3G-324Mの映像データチャネル開設時にH.245のDecoder Configuration Informationパラメタとして必ず通知する。
(4)MPEG-4 CIは、3G-324Mに映像データとして格納するMPEG-4 Videoデータストリームの先頭で必ず通知する。
特開２００３−２３０１１７号公報

しかしながら、RTP/RTSPシステムから3G-324M端末へのMPEG-4 CIの通知方式自体については標準勧告等で規定されていないため、RTP/RTSP上のMPEG-4 Videoデータを3G-324M端末へ送信する場合、MPEG-4 CIの通知方法として、
(i)RTP/RTSPシステム上のMPEG-4エンコード条件を一定とし、MPEG-4 CIを固定値とし、予め3G-324M端末に設定し、動的なMPEG-4 CIの送受を実施しないで3G-324M端末側では常に固定のMPEG-4 CIを利用してMPEG-4 Videoデータをデコードする。

(ii)独自の通信方式やプロトコルを用いて通知する。
等が考えられるが、(i)ではエンコード条件が制限されるため、エンドユーザが視聴する映像コンテンツ種のバラエティや柔軟性を著しく低下させてしまうことや、(ii)では独自方式を採用するため、汎用的なRTP/RTSPシステムや3G-324M端末との相互接続性が低下することが問題となり得る。

このようにRTP/RTSP上のMPEG-4 Videoデータを3G-324M端末へ送信する際のMPEG-4 CIの通知には、MPEG-4 CIを固定値とすることによる映像コンテンツ種のバラエティや柔軟性の低下や、独自方式を用いることによる汎用的なRTP/RTSPシステムや3G-324M端末との相互接続性の低下が問題となる。

本発明は、上記問題点を解決するために成されたものであり、汎用的なRTP/RTSPシステムと3G-324M端末との相互接続性を確保しつつ、映像コンテンツ種のバラエティや柔軟性を確保することができる中継システム及び構成情報通知方法を提供することを目的とする。

上記目的を達成するために、本発明に係る中継システムは、請求項１に記載したように、RTP/RTSPシステムから3G-324M端末へのMPEG-4 CI通知を中継する中継システムであって、RTP/RTSPシステムとのRTP/RTSPセッション確立時にRTP/RTSPシステムより受信するRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第１のパラメタからMPEG-4 CIを受信し検出するRTSP構成情報受信部と、RTSP構成情報受信部にて検出したMPEG-4 CIを格納するRTSP構成情報格納部と、RTSP構成情報受信部にて検出したMPEG-4 CIをH.245信号の第２のパラメタに付与し、3G-324M端末へ送信するH.245構成情報送信部と、前記RTP/RTSPセッションの確立後に初めてRTP/RTSPシステムから送信されるRTPパケットを受信するRTP構成情報受信部と、RTP構成情報受信部にて取得したRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4 CIが格納されているか否かをMPEG-4 CIのスタートコードとMPEG-4 Videoストリームデータとのマッチング検索により判定する構成情報有無判定部と、構成情報有無判定部にてMPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていないと判定されたとき、前記構成情報有無判定部から送信されるMPEG-4 Videoストリームデータを取得し、MPEG-4 VOP(Video Object Plane)のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索によりMPEG-4 Videoストリームデータ中の最初のMPEG-4 VOPを検出し、MPEG-4 Videoストリームデータの先頭から、検出されたMPEG-4 VOPまでのストリームデータを破棄し、RTSP構成情報格納部に格納されているMPEG-4 CIをMPEG-4 VOPの前に格納するRTSP構成情報付与部と、構成情報有無判定部にてMPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていると判定されたときは構成情報有無判定部からのMPEG-4 Videoストリームデータを、MPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていないと判定されたときはRTSP構成情報付与部からのMPEG-4 Videoストリームデータを、3G-324M端末へ送信するストリーム構成情報送信部とを備えることを特徴とする。

また、本発明は、請求項２に記載したように、中継システムがRTP/RTSPシステムから3G-324M端末へMPEG-4 CIを通知するための「構成情報通知方法」の発明として捉えることができる。即ち、本発明に係る構成情報通知方法は、中継システムがRTP/RTSPシステムから3G-324M端末へMPEG-4 CIを通知するための構成情報通知方法であって、RTP/RTSPシステムとのRTP/RTSPセッション確立時にRTP/RTSPシステムより受信するRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第１のパラメタからMPEG-4 CIを受信し検出するステップと、RTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第１のパラメタから検出したMPEG-4 CIをRTSP構成情報格納部に格納するステップと、RTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第１のパラメタから検出したMPEG-4 CIをH.245信号の第２のパラメタに付与し、3G-324M端末へ送信するステップと、前記RTP/RTSPセッションの確立後に初めてRTP/RTSPシステムから送信されるRTPパケットを受信するステップと、RTP/RTSPシステムから受信する最初のRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4 CIが格納されているか否かを、MPEG-4 CIのスタートコードとMPEG-4 Videoストリームデータとのマッチング検索により判定するステップと、前記判定するステップにて、MPEG-4構成情報がMPEG-4 Videoストリームデータの先頭に格納されていると判定されたときには当該MPEG-4 Videoストリームデータを取得して3G-324M端末へ送信し、MPEG-4構成情報がMPEG-4 Videoストリームデータの先頭に格納されていないと判定されたときには、当該MPEG-4 Videoストリームデータを取得して、MPEG-4 VOP(Video Object Plane)のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索によりMPEG-4 Videoストリームデータ中の最初のMPEG-4 VOPを検出し、MPEG-4 Videoストリームデータの先頭から、検出されたMPEG-4 VOPまでのストリームデータを破棄し、RTSP構成情報格納部に格納されているMPEG-4構成情報をMPEG-4 VOPの前に格納し、格納後のMPEG-4 Videoストリームデータを3G-324M端末へ送信するステップとを有することを特徴とする。

上記のような本発明では、RTP/RTSPシステム間、3G-324M端末間で標準規定されるMPEG-4 構成情報通知方式を利用することにより、標準規定を拡張することなく、汎用的なRTP/RTSPシステムと3G-324M端末との相互接続性を確保することができる。

また、通信路の影響等によってRTPパケットに欠落があった場合でも、動的且つ速やかにRTP/RTSPシステムから3G-324M端末へMPEG-4 構成情報を通知することを可能とすることで、映像コンテンツ種のバラエティや柔軟性、視聴開始までの時間短縮を確保することができる。

以上説明したように、本発明によれば、RTP/RTSPシステム間、3G-324M端末間で標準規定されるMPEG-4 CI通知方式を利用し、汎用的なRTP/RTSPシステムと3G-324M端末との相互接続性を確保することができる。

また、通信路の影響等によるRTPパケット欠落時にも、これを動的且つ速やかにRTP/RTSPシステムから3G-324M端末へMPEG-4 CIを通知することを可能とすることで、映像コンテンツ種のバラエティや柔軟性、視聴開始までの時間短縮を確保することができる。

以下、図面を参照しながら、本発明の実施形態を説明する。なお、以下では「構成情報」は「CI」（Configuration Informationの略）と表記する。

図１には、構成情報通知システムの構成例を示す。同図に示すように、構成情報通知システムは、RTP/RTSPシステム３０と、3G-324M端末１０と、RTP/RTSPシステム３０から3G-324M端末１０へのMPEG-4 CIの通知を中継する中継システム２０とを含んで構成されている。

このうちRTP/RTSPシステム３０は、中継システム２０とのRTP/RTSPセッション確立時に中継システム２０へ送信するRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子のconfigパラメタ（請求の範囲における「第１のパラメタ」に相当）にMPEG-4 CIを付与・送信するRTSP CI送信部３１と、中継システム２０へ送信する最初のRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4 CIを付与・送信するRTP CI送信部３２とを備えている。

3G-324M端末１０は、中継システム２０との映像データチャネル開設時に、中継システム２０から受信するH.245信号のDecoder Configuration Informationパラメタ（請求の範囲における「第２のパラメタ」に相当）からMPEG-4 CIを受信し検出するH.245 CI受信部１１と、中継システム２０からの映像データ受信時のMPEG-4 Videoストリームデータの先頭からMPEG-4 CIを受信し検出するストリームCI受信部１２とを備えている。

中継システム２０は、RTP/RTSPシステム３０とのRTP/RTSPセッション確立時にRTP/RTSPシステム３０より受信するRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子のconfigパラメタからMPEG-4 CIを受信し検出するRTSP CI受信部２６と、RTSP CI受信部２６にて検出したMPEG-4 CIを格納するRTSP CI格納部２４と、RTSP CI受信部２６にて検出したMPEG-4 CIをH.245信号のDecoder Configuration Informationパラメタに付与し、3G-324M端末１０へ送信するH.245 CI送信部２１と、RTP/RTSPシステム３０から受信する最初のRTPパケットを受信するRTP CI受信部２７と、RTP CI受信部２７にて取得したRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4 CIが格納されているか否かをMPEG-4 CIのスタートコードとMPEG-4 Videoストリームデータとのマッチング検索により判定するCI有無判定部２５と、CI有無判定部２５にてMPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていないと判定された場合、MPEG-4 VOP(Video Object Plane)のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索によりMPEG-4 Videoストリームデータ中の最初のMPEG-4 VOPを検出し、MPEG-4 Videoストリームデータの先頭から、検出されたMPEG-4 VOPまでのストリームデータを破棄し、RTSP CI格納部２４に格納されているMPEG-4 CIをMPEG-4 VOPの前に格納するRTSP CI付与部２３と、CI有無判定部２５にてMPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていると判定された場合は CI有無判定部２５からのMPEG-4 Videoストリームデータを、MPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていないと判定された場合はRTSP CI付与部２３からのMPEG-4 Videoストリームデータを、3G-324M端末１０へ送信するストリーム CI送信部２２とを備えている。

次に、上記構成の構成情報通知システムにおけるRTP/RTSPシステム３０から3G-324M端末１０へのMPEG-4 CI通知処理を説明する。

図２には、構成情報通知システムにおいて、通常時（即ち、通信路の影響などでRTPパケット欠落等が発生しない場合）におけるMPEG-4 CI通知処理及びデータの流れを示す。

この場合、まず、中継システム２０のRTSP CI受信部２６は、RTP/RTSPシステム３０のRTSP CI送信部３１によってRTP/RTSPセッション確立時のRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子のconfigパラメタに付与・送信されたMPEG-4 CIを、受信・検出し(Ｓ１)、RTSP CI格納部２４へ格納する(Ｓ２)。そして、H.245 CI送信部２１は、RTSP CI受信部２６によって検出したMPEG-4 CIをH.245信号のDecoder Configuration Informationパラメタに付与し、付与後のH.245信号を3G-324M端末１０へ送信し、3G-324M端末１０は、この付与後のH.245信号をH.245 CI受信部１１によって受信する(Ｓ３)。

次に、中継システム２０のRTP CI受信部２７は、RTP/RTSPシステム３０のRTP CI送信部３２によって最初のRTPパケットに格納・送信されたMPEG-4 CIを受信し(Ｓ４)、CI有無判定部２５は、受信されたRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4 CIが格納されているか否かを、MPEG-4 CIのスタートコードとMPEG-4 Videoストリームデータとのマッチング検索により判定する。このとき、CI有無判定部２５は、MPEG-4 CIがMPEG-4 Videoストリームデータの先頭に格納されていると判定した場合、MPEG-4 VideoストリームデータをストリームCI送信部２２に送信し（Ｓ５）、ストリームCI送信部２２は当該MPEG-4 Videoストリームデータを3G-324M端末１０へ送信し、3G-324M端末１０はストリームCI受信部１２によって当該MPEG-4 Videoストリームデータを受信する(Ｓ６)。

図３には、構成情報通知システムにおいて、通信路の影響などでRTPパケット欠落等が発生した場合のMPEG-4 CI通知処理及びデータの流れを示す。

この場合も、中継システム２０のCI有無判定部２５が受信RTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4 CIが格納されているか否かを判定する判定処理まで(Ｓ１１〜Ｓ１４とCI有無判定部２５の判定処理)は、上記通常時の処理(図２のＳ１〜Ｓ４とCI有無判定部２５の判定処理)と同様である。

CI有無判定部２５は、MPEG-4 CIが受信RTPパケット内のMPEG-4 Videoストリームデータの先頭に格納されていないと判定した場合、RTSP CI付与部２３へMPEG-4 Videoストリームデータを送信する（Ｓ１５）。そして、RTSP CI付与部２３は、MPEG-4 VOP(Video Object Plane)のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索によりMPEG-4 Videoストリームデータ中の最初のMPEG-4 VOPを検出し、MPEG-4 Videoストリームデータの先頭から、検出されたMPEG-4 VOPまでのストリームデータを破棄し、RTSP CI格納部２４に格納されているMPEG-4 CIをMPEG-4 VOPの前に格納する（Ｓ１６）。

このとき、RTSP CI付与部２３は、図４（ａ）のようにMPEG-4 Videoストリームデータ４０の最初のMPEG-4 VOP４１を検出し、MPEG-4 Videoストリームデータ４０の先頭から検出されたMPEG-4 VOP４１までのストリームデータを破棄し、RTSP CI格納部２４に格納されているMPEG-4 CIをMPEG-4 VOPの前に格納する。これにより、図４（ｂ）に示すようなMPEG-4 VOP４１の前にMPEG-4 CIが格納されたMPEG-4 Videoストリームデータ４０が得られる。

なお、RTSP CI付与部２３がMPEG-4 Videoストリームデータの先頭から、検出されたMPEG-4 VOPまでのストリームデータを破棄するのは、受信したRTPパケット内のMPEG-4 Videoストリームデータの先頭に、パケット欠落した最初のRTPパケットのフラグメントが格納されている可能性があるからである。

次に、RTSP CI付与部２３が上記格納後のMPEG-4 VideoストリームデータをストリームCI送信部２２へ送信すると（Ｓ１７）、ストリームCI送信部２２は、当該MPEG-4 Videoストリームデータを3G-324M端末１０へ送信し、3G-324M端末１０は当該MPEG-4 VideoストリームデータをストリームCI受信部１２にて受信する(Ｓ１８)。

以上のような処理により、RTP/RTSPシステム間、3G-324M端末間で標準規定されるMPEG-4 CI通知方式を利用することにより、標準規定を拡張することなく、汎用的なRTP/RTSPシステム３０と3G-324M端末１０との相互接続性を確保することができる。

また、通信路の影響等によるRTPパケット欠落時にも、これを動的且つ速やかにRTP/RTSPシステム３０から3G-324M端末１０へMPEG-4 CIを通知することを可能とすることで、映像コンテンツ種のバラエティや柔軟性、視聴開始までの時間短縮を確保することができる。

さらに、システム間でのMPEG-4 CIの通知はMPEG-4デコーダによる再生前、つまりエンドユーザによる映像視聴前に実施されるため、システム間でのMPEG-4 CIの通知は速やかに実施し、映像視聴開始時間を早める必要があるが、上記実施形態では、RTP/RTSPシステム３０から受信したMPEG-4 CIを最も効率的に3G-324M端末１０へ通知することができる。

発明の実施形態における構成情報通知システムの構成図である。 通常時の処理及びデータの流れを示す図である。 RTPパケット欠落時の処理及びデータの流れを示す図である。 （ａ）はRTSP CI付与部によるMPEG-4 CIの格納処理を説明するための図であり、（ｂ）はMPEG-4 CI格納後のMPEG-4 Videoストリームデータを示す図である。

符号の説明

１０…3G-324M端末、１１…H.245 CI受信部、１２…ストリームCI受信部、２０…中継システム、２１…H.245 CI送信部、２２…ストリーム CI送信部、２３…RTSP CI付与部、２４…RTSP CI格納部、２５…CI有無判定部、２６…RTSP CI受信部、２７…RTP CI受信部、３０…RTP/RTSPシステム、３１…RTSP CI送信部、３２…RTP CI送信部、４０…MPEG-4 Videoストリームデータ、４１…MPEG-4 VOP。

Claims (2)

1. RTP/RTSPシステムから3G-324M端末へのMPEG-4構成情報通知を中継する中継システムであって、
   RTP/RTSPシステムとのRTP/RTSPセッション確立時にRTP/RTSPシステムより受信するRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第１のパラメタからMPEG-4構成情報を受信し検出するRTSP構成情報受信部と、
   RTSP構成情報受信部にて検出したMPEG-4構成情報を格納するRTSP構成情報格納部と、
   RTSP構成情報受信部にて検出したMPEG-4構成情報をH.245信号の第２のパラメタに付与し、3G-324M端末へ送信するH.245構成情報送信部と、
   前記RTP/RTSPセッションの確立後に初めてRTP/RTSPシステムから送信されるRTPパケットを受信するRTP構成情報受信部と、
   RTP構成情報受信部にて取得したRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4構成情報が格納されているか否かをMPEG-4構成情報のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索により判定する構成情報有無判定部と、
   構成情報有無判定部にてMPEG-4構成情報がMPEG-4 Videoストリームデータの先頭に格納されていないと判定されたとき、前記構成情報有無判定部から送信されるMPEG-4 Videoストリームデータを取得し、MPEG-4 VOP(Video Object Plane)のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索によりMPEG-4 Videoストリームデータ中の最初のMPEG-4 VOPを検出し、MPEG-4 Videoストリームデータの先頭から、検出されたMPEG-4 VOPまでのストリームデータを破棄し、RTSP構成情報格納部に格納されているMPEG-4構成情報をMPEG-4 VOPの前に格納するRTSP構成情報付与部と、
   構成情報有無判定部にてMPEG-4構成情報がMPEG-4 Videoストリームデータの先頭に格納されていると判定されたときは構成情報有無判定部からのMPEG-4 Videoストリームデータを、MPEG-4構成情報がMPEG-4 Videoストリームデータの先頭に格納されていないと判定されたときはRTSP構成情報付与部からのMPEG-4 Videoストリームデータを、3G-324M端末へ送信するストリーム構成情報送信部と
   を備える中継システム。
2. 中継システムがRTP/RTSPシステムから3G-324M端末へMPEG-4構成情報を通知するための構成情報通知方法であって、
   RTP/RTSPシステムとのRTP/RTSPセッション確立時にRTP/RTSPシステムより受信するRTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第１のパラメタからMPEG-4構成情報を受信し検出するステップと、
   RTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第１のパラメタから検出したMPEG-4構成情報をRTSP構成情報格納部に格納するステップと、
   RTSPメソッドボディ部のSDPセッション情報内のMPEG-4 Videoメディア記述子の第１のパラメタから検出したMPEG-4構成情報をH.245信号の第２のパラメタに付与し、3G-324M端末へ送信するステップと、
   前記RTP/RTSPセッションの確立後に初めてRTP/RTSPシステムから送信されるRTPパケットを受信するステップと、
   RTP/RTSPシステムから受信する最初のRTPパケット内のMPEG-4 Videoストリームデータの先頭にMPEG-4構成情報が格納されているか否かを、MPEG-4構成情報のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索により判定するステップと、
   前記判定するステップにて、MPEG-4構成情報がMPEG-4 Videoストリームデータの先頭に格納されていると判定されたときには当該MPEG-4 Videoストリームデータを取得して3G-324M端末へ送信し、MPEG-4構成情報がMPEG-4 Videoストリームデータの先頭に格納されていないと判定されたときには、当該MPEG-4 Videoストリームデータを取得して、MPEG-4 VOP(Video Object Plane)のスタートコードとMPEG-4 Videoストリームデータとのマッチング検索によりMPEG-4 Videoストリームデータ中の最初のMPEG-4 VOPを検出し、MPEG-4 Videoストリームデータの先頭から、検出されたMPEG-4 VOPまでのストリームデータを破棄し、RTSP構成情報格納部に格納されているMPEG-4構成情報をMPEG-4 VOPの前に格納し、格納後のMPEG-4 Videoストリームデータを3G-324M端末へ送信するステップと
   を有する構成情報通知方法。
   

Images