JP5163750B2 - マルチメディア提供サービス - Google Patents

Description

本発明は、マルチメディア通信を行うマルチメディア通信システム、マルチメディア通信システムにおけるマルチメディア提供サービスおよびサーバに関する。

近年、ＩＰネットワークの広帯域化に伴い，音声だけでなく映像も含めたマルチメディア通信を行う端末が普及してきている。マルチメディア通信においては，従来の音声通話には無い「映像」という特性を生かし，お互いの顔を見て会話をするだけでなく，さまざまなサービスニーズがある。

しかし、発信者端末が音声電話のセッションで着信側端末を呼び出し中（着信者端末が応答する前）に、発信者端末や着信者端末にて所望の映像や広告等の映像が表示されることはなかった。

そこで、端末間の通話路を接続すると、所定の画像を端末へ送信する技術が考えられている（例えば、特許文献１，２参照。）。

特開２００４−０７２４４１号公報 特開２００５−０３３４４２号公報

しかしながら、特許文献１，２に記載された技術においては、送信されてきた画像を端末にて再生する際、再生する端末や画像（コンテンツ）に適した形式で再生できないおそれがある。

本発明は、上述したような従来の技術が有する問題点に鑑みてなされたものであって、端末にて所望のコンテンツデータを、所定のタイミングで当該コンテンツデータに適した形式で再生するサービスを提供することができるマルチメディアサービス提供方法、サーバおよびマルチメディア通信システムを提供することを目的とする。

本発明のマルチメディアサービス提供方法は、
複数の端末と、該複数の端末と接続され、該複数の端末の呼処理信号を処理し、映像を含むコンテンツデータと該コンテンツデータの再生環境を示す再生環境情報とが格納されたデータベースを有するサーバとから構成されたマルチメディア通信システムにおけるマルチメディアサービス提供方法であって、
前記複数の端末のうち音声発信を行う発信側端末が前記複数の端末のうち前記発信側端末の通話相手である着信側端末を呼び出してから該着信側端末が応答するまでの間、前記サーバが、前記データベースから前記コンテンツデータと前記再生環境情報とを読み出すステップと、
前記着信側端末が応答するまでの間、前記サーバが音声以外からなるセッションの追加開設を前記発信側端末へ要求し、読み出した前記再生環境情報と前記コンテンツデータとを前記発信側端末へ送信するステップと、
前記着信側端末が応答するまでの間、前記発信側端末が、前記サーバから送信されたコンテンツデータを前記再生環境情報に基づいて再生するステップとを有する。
また、複数の端末と、該複数の端末と接続され、該複数の端末の呼処理信号を処理し、映像を含むコンテンツデータと該コンテンツデータの再生環境を示す再生環境情報とが格納されたデータベースを有するサーバとから構成されたマルチメディア通信システムにおけるマルチメディアサービス提供方法であって、
前記複数の端末のうち音声発信を行う発信側端末が前記複数の端末のうち前記発信側端末の通話相手である着信側端末を呼び出してから該着信側端末が応答するまでの間、前記サーバが、前記データベースから前記コンテンツデータと前記再生環境情報とを読み出すステップと、
前記着信側端末が応答するまでの間、前記サーバが音声以外からなるセッションの追加開設を前記着信側端末へ要求し、読み出した前記再生環境情報と前記コンテンツデータとを前記着信側端末へ送信するステップと、
前記着信側端末が応答するまでの間、前記着信側端末が、前記サーバから送信されたコンテンツデータを前記再生環境情報に基づいて再生するステップとを有する。

また、本発明のサーバは、
複数の端末と接続され、該複数の端末の呼処理信号を処理するサーバであって、
映像を含むコンテンツデータと該コンテンツデータの再生環境を示す再生環境情報とが格納されたデータベースと、
前記複数の端末のうち音声発信を行う発信側端末が前記複数の端末のうち前記発信側端末の通話相手である着信側端末を呼び出してから該着信側端末が応答するまでの間、前記データベースから前記再生環境情報を読み出し、該読み出した再生環境情報を前記発信側端末へ送信し、音声以外からなるセッションの追加開設を前記発信側端末へ要求する呼処理信号処理部と、
前記着信側端末が応答するまでの間、前記データベースから前記コンテンツデータを読み出し、該読み出した前記コンテンツデータを前記発信側端末へ送信する発信側端末データ送信部とを有する。

また、複数の端末と接続され、該複数の端末の呼処理信号を処理するサーバであって、
映像を含むコンテンツデータと該コンテンツデータの再生環境を示す再生環境情報とが格納されたデータベースと、
前記複数の端末のうち音声発信を行う発信側端末が前記複数の端末のうち前記発信側端末の通話相手である着信側端末を呼び出してから該着信側端末が応答するまでの間、前記データベースから前記再生環境情報を読み出し、該読み出した再生環境情報を前記着信側端末へ送信し、音声以外からなるセッションの追加開設を前記着信側端末へ要求する呼処理信号処理部と、
前記着信側端末が応答するまでの間、前記データベースから前記コンテンツデータを読み出し、該読み出した前記コンテンツデータを前記着信側端末へ送信する着信側端末データ送信部とを有する。

また、本発明のマルチメディア通信システムは、
複数の端末と、該複数の端末と接続され、該複数の端末の呼処理信号を処理するサーバとから構成されたマルチメディア通信システムであって、
前記サーバは、映像を含むコンテンツデータと該コンテンツデータの再生環境を示す再生環境情報とが格納されたデータベースを有し、前記複数の端末のうち音声発信を行う発信側端末が前記複数の端末のうち前記発信側端末の通話相手である着信側端末を呼び出してから該着信側端末が応答するまでの間、前記データベースから前記コンテンツデータと前記再生環境情報とを読み出し、音声以外からなるセッションの追加開設を前記発信側端末へ要求し、読み出した前記再生環境情報と前記コンテンツデータとを前記発信側端末へ送信し、
前記発信側端末は、前記着信側端末が応答するまでの間、前記サーバから送信されたコンテンツデータを前記再生環境情報に基づいて再生することを特徴とする。

また、複数の端末と、該複数の端末と接続され、該複数の端末の呼処理信号を処理するサーバとから構成されたマルチメディア通信システムであって、
前記サーバは、映像を含むコンテンツデータと該コンテンツデータの再生環境を示す再生環境情報とが格納されたデータベースを有し、前記複数の端末のうち音声発信を行う発信側端末が前記複数の端末のうち前記発信側端末の通話相手である着信側端末を呼び出してから該着信側端末が応答するまでの間、前記データベースから前記コンテンツデータと前記再生環境情報とを読み出し、音声以外からなるセッションの追加開設を前記着信側端末へ要求し、読み出した前記再生環境情報と前記コンテンツデータとを前記着信側端末へ送信し、
前記着信側端末は、当該着信側端末が応答するまでの間、前記サーバから送信されたコンテンツデータを前記再生環境情報に基づいて再生することを特徴とする。

以上説明したように本発明においては、音声により通信するシステムにおいて、着信側端末が応答するまでの間、例えば映像セッションを追加し、データベースに予め格納されたコンテンツデータ、例えば映像データを、端末に送信する構成としたため、端末にて着信側端末が応答するまでの間に、音声以外のセッション、例えば映像のセッション、を追加し、例えば映像を含むコンテンツデータを、当該コンテンツデータに適した形式で再生するサービスを提供することができる。

本発明のマルチメディア通信システムの一形態を示す図である。 図１に示したマルチメディア通信装置の第１の実施の形態を示す図である。 図２に示したコンテンツデータベースの一構造を示す図である。 図２に示したマルチメディア通信装置におけるマルチメディア通信方法の第１の方法を説明するためのフローチャートである。 図１に示した発信側端末の一形態を示す図である。 図１に示したマルチメディア通信装置の第２の実施の形態を示す図である。 図６に示したマルチメディア通信装置におけるマルチメディア通信方法の第１の方法を説明するためのフローチャートである。 図１に示した着信側端末の一形態を示す図である。 図１に示したマルチメディア通信装置の第３の実施の形態を示す図である。 図１に示したマルチメディア通信装置の第４の実施の形態を示す図である。 図１０に示した広告コンテンツデータベースの一構造を示す図である。 図１に示したマルチメディア通信装置の第５の実施の形態を示す図である。 広告データの送信回数と優待情報とが対応付けられた優待情報データベースの一構成を示す図である。 広告データの送信時間と優待情報とが対応付けられた優待情報データベースの一構成を示す図である。

以下に、本発明の実施の形態について図面を参照して説明する。

図１は、本発明のマルチメディア通信システムの一形態を示す図である。

本形態は図１に示すように、複数の端末１０２−１〜１０２−ｎと、マルチメディア通信装置１０３とがネットワーク１０１を介して接続されている。

端末１０２−１〜１０２−ｎは、マルチメディア端末に代表されるような、映像及び音声を送受信できる通信端末である。端末１０２−１〜１０２−ｎは、それぞれ発信及び着信が可能である。端末１０２−１〜１０２−ｎは、端末１０２−１〜１０２−ｎに設けられたマイク等の音声収集手段によって収集された音声を音声データとして符号化し、符号化された音声データを送信する。また、端末１０２−１〜１０２−ｎに設けられたカメラ等の撮影手段によって撮影された映像を映像データとして符号化し、符号化された映像データを送信する。また、受信された音声データから音声を復号化し、復号化された音声を端末１０２−１〜１０２−ｎに設けられたスピーカー等の音声再生手段によって再生する。また、受信された映像データから映像を復号化し、復号化された映像を端末１０２−１〜１０２−ｎに設けられたディスプレイ等の映像再生手段によって再生する。

マルチメディア通信装置１０３は、ネットワーク１０１を介して端末１０２−１〜１０２−ｎ間で送受信される音声データや映像データの転送を仲介する。また、マルチメディア通信装置１０３は、任意のコンテンツや文字列を端末１０２−１〜１０２−ｎへ送信するサーバとしての役割を有する。
（第１の実施の形態）
以下に、図１に示したマルチメディア通信装置１０３の第１の実施の形態について説明する。

図２は、図１に示したマルチメディア通信装置１０３の第１の実施の形態を示す図である。ここで、端末１０２−１と端末１０２−２との間にて通信が行われる場合を例に挙げて説明する。また、ここでは、端末１０２−１が発信側端末であり、端末１０２−２が端末１０２−１の通話相手である着信側端末とする。なお、端末１０２−３〜１０２−ｎのどの端末が発信側端末または着信側端末である場合であっても、その動作は以下に示す動作と同じである。

図１に示したマルチメディア通信装置１０３の第１の実施の形態は図２に示すように、呼制御部２０５と、呼処理信号処理部２０１と、発信側端末データ送信部２０２と、コンテンツデータベース２０７とから構成されている。

呼制御部２０５は、発信側端末１０２−１から音声電話セッション開始要求の呼接続信号を受信し、これを中継して端末１０２−２に送出する。加えて、端末１０２−１から送出された音声符号化データの再生環境情報を、端末１０２−２にて送出する。また、呼制御部２０５は上記と同時に、呼処理信号処理部２０１に対し音声セッションを開始した通知を出力する。ここで、音声電話セッションのための呼接続信号には、例えば、IETF規格のＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ：ＲＦＣ３２６１）を用いることができる。ここで、符号化データの再生環境情報とは、当該符号化データを端末１０２−１，１０２−２にて再生するために必要な情報である。例えば、当該符号化データを受信するための情報（アドレス、ポート、形式、再生するためのアプリケーションなど）や、当該符号化データで用いる帯域値等である。ここで、再生環境情報は、例えばＩＥＴＦ規格ＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ：ＲＦＣ２３２７）のプロトコルを用いることができる。呼制御部２０５から呼処理信号処理部２０１への通知には、例えば、前述のＳＩＰを用いることもできるし、あるいはＩＥＴＦ規格のＭＥＧＡＣＯ信号を用いることもできる。

呼処理信号処理部２０１は、音声電話セッションの開始通知を、例えばＳＩＰまたはＭＥＧＡＣＯ（Ｍｅｄｉａ Ｇａｔｅｗａｙ Ｃｏｎｔｒｏｌ）などにより、呼制御部２０５から受信し、コンテンツデータベースから、これから送出するコンテンツ、例えば映像コンテンツ、に関する再生環境情報を読み出し、音声以外のセッションの追加指示、例えば映像セッションの追加指示、ならびに前記再生環境情報を、例えばＳＩＰのｒｅＩＮＶＩＴＥなどのコマンドを使い、発信側の端末１０２−１へ送出する。ここで、映像コンテンツは、例えば、静止画や動画からなるコンテンツであってよい。

さらに、呼処理信号処理部２０１は、発信側端末データ送信部２０２に対しコンテンツ送出指示を出力する。

発信側端末データ送信部２０２は、コンテンツ送出指示が入力されると、コンテンツデータベース２０７から、例えば、着信者の指示する映像コンテンツ符号化データ、または発信者の指示する映像コンテンツ符号化データ、またはあらかじめ定められた映像コンテンツ符号化データを読み出し、前記映像コンテンツ符号化データをＲＴＰパケットに格納して発信側端末１０２−１へ送出する。

次に、端末１０２−２は音声セッション開始要求信号を受信し、これに対し着信応答した場合は端末１０２−２から着信応答信号が呼制御部２０５へ送信される。

呼制御部２０５は、端末１０２−２から送信されてきた着信応答信号を受信すると呼処理信号処理部２０１に終了通知を出力し、さらに当該着信応答信号を中継して端末１０２−１へ送出する。

呼処理信号処理部２０１は、呼制御部２０５から出力された終了通知を受信すると、発信側端末に対し映像セッション終了の呼制御信号を送出し、さらに発信側端末データ送信部２０２に対し、映像コンテンツのＲＴＰ送信を終了するよう指示する。発信側端末データ送信部２０２は当該ＲＴＰ送信終了の指示を受信すると、発信側端末１０２−１に対する映像コンテンツデータを格納したＲＴＰパケットデータの送出を停止する。

コンテンツデータベース２０７には、複数の動画や静止画の映像データや音声データ等のコンテンツデータが予め格納されている。また、文字データ（文字情報）がコンテンツデータとして格納されているものであっても良い。これらのコンテンツデータの少なくとも一部は、マルチメディア通信装置１０３と接続可能なエンドユーザによって、コンテンツデータベース２０７に登録されて格納されるものであっても良い。この登録方法は、エンドユーザが操作する端末から様々な情報が格納されているサーバ（データベース）へ所望の情報を書き込む等の一般的な方法で良い。

また、発信側端末データ送信部２０２は、例えばネットワーク１０１がパケット交換網である場合は、ＲＴＰ（Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）パケット送信部として構成することも可能である。

図３は、図２に示したコンテンツデータベース２０７の一構造を示す図である。

図２に示したコンテンツデータベース２０７には図３に示すように、動画や静止画の映像データや音声データが格納されている。それぞれの映像データまたは音声データには、各データに固有に付与された識別番号と、分類と、再生環境情報とがそれぞれ対応付けられて格納されている。例えば、携帯電話が鳴っている動画であるコンテンツには、識別番号「０００１」と、分類の「映像データ（動画）」と、再生環境情報「Ａ」とが対応付けられている。また、水平線における日の出の静止画であるコンテンツには、識別番号「０００２」と、分類の「映像データ（静止画）」と、再生環境情報「Ｂ」とが対応付けられている。また、キャラクターが動いている動画であるコンテンツには、識別番号「０００３」と、分類の「映像データ（動画）」と、再生環境情報「Ｃ」とが対応付けられている。また、「電話ですよ」という音声であるコンテンツには、識別番号「０００４」と、分類の「音声データ」と、再生環境情報「Ｄ」とが対応付けられている。

なお、コンテンツデータベース２０７は、マルチメディア通信装置１０３の外部に接続され、必要に応じてマルチメディア通信装置１０３によってコンテンツが読み出されるものであっても良い。また、エンドユーザがコンテンツデータベースを事前に登録することもできる。

以下に、図２に示したマルチメディア通信装置１０３におけるマルチメディア通信方法について説明する。

図４は、図２に示したマルチメディア通信装置１０３におけるマルチメディア通信方法の第１の方法を説明するためのフローチャートである。

まず、呼制御部２０５にて図２に示した端末１０２−１から端末１０２−２への音声発信がステップ１にて検出されると、着信側端末である端末１０２−２が応答したかどうかがステップ２にて判断される。

呼制御部２０５にて、端末１０２−２が応答していないと判断された場合、呼制御部２０５から呼処理信号処理部２０１へ音声セッションが開始された通知を出力する。呼処理信号処理部２０１は呼制御部２０５から出力された通知を受信すると、ステップ３にて発信側端末データ送信部２０２に対し、コンテンツデータベース２０７から符号化ずみのコンテンツを読み出す。

このとき、読み出されるコンテンツは、着信側端末に従って選択されたコンテンツであっても良い。つまり、コンテンツデータベース２０７に端末１０２−１〜１０２−ｎを識別するための情報とコンテンツの識別番号との対応付けを予め格納しておき、その対応付けに従ってコンテンツが選択され、読み出されるものであっても良い。例えば、端末１０２−２を識別するための情報と識別番号が「０００２」とが対応付けられている場合を例に挙げる。このとき、着信側端末が端末１０２−２である場合、識別番号「０００２」のコンテンツが読み出されるものであっても良い。また、発信側端末に従ってコンテンツが選択されて読み出されるものであっても良い。なお、この場合、呼処理信号処理部２０１から発信側端末データ送信部２０２へ、着信側端末や発信側端末を識別するための情報が出力される。ここで、端末１０２−１〜１０２−ｎを識別するための情報とは、端末１０２−１〜１０２−ｎの電話番号であっても良いし、端末１０２−１〜１０２−ｎを識別可能な情報であれば良い。

また、ここでコンテンツと共に当該コンテンツに対応付けられた再生環境情報がコンテンツデータベース２０７から読み出される。呼処理信号処理部２０１は、発信側端末１０２−１に対し、音声セッション以外のセッション、例えば映像セッションの追加開設をｒｅＩＮＶＩＴＥコマンドなどを用いて要求し、読み出した再生環境情報をステップ４にて端末１０２−１へ送信する。

また、符号化されたコンテンツの符号化データがステップ５にて発信側端末データ送信部２０２へ出力される。

その後、当該コンテンツの符号化データが発信側端末データ送信部２０２から端末１０２−１へ送信される。

なお、映像コンテンツ符号化データを、例えば、標準化団体３ＧＰＰ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）が携帯電話サービス向けに開発した画像形式である３ＧＰＰ形式（拡張子：３ＧＰ）やＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ４）形式の圧縮動画データを格納するファイル形式の１つであるＭＰ４形式などのファイルフォーマットを用いてファイルに格納した上で、コンテンツデータベース２０７に格納しておき、当該ファイルをＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）やＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）を用いてネットワーク（不図示）を介して端末１０２−１へ送信する構成をとるものであっても良い。この構成をとることにより、ｒｅＩＮＶＩＴＥコマンドなどに対応していない端末であっても、映像コンテンツ符号化データを受け取ることができる。

一方、呼制御部２０５にて端末１０２−２が応答したと判断された場合、呼制御部２０５は呼処理信号処理部２０１に対し着信応答を受信した通知を出力し、呼処理信号処理部２０１は発信側端末データ送信部２０２に対しコンテンツ符号化データの送出を停止する指示を出力する。発信側端末データ送信部２０２は、呼処理信号処理部２０１から出力された停止指示を受信し、ステップ６にてコンテンツ符号化データの発信側端末１０２−１への送出を停止する。

図５は、図１に示した端末１０２−１の一形態を示す図である。なお、図５には図１に示した端末の１０２−１の形態のうち、本発明に関する受信機能部分についてのみを示す。

図１に示した端末１０２−１には図５に示すように、受信部６０１と、再生環境信号パーサ６０２と、音声データ再生部６０３と、映像データ再生部６０４と、呼処理信号処理部６０５とが設けられている。

呼処理信号処理部６０５は、マルチメディア通信装置１０３に対し音声発信セッション開設要求を、例えばＩＮＶＩＴＥコマンドを用いて、送出した後は、音声セッションについては着信応答信号を受信するのを待機している。着信応答信号を受信する前に、マルチメディア通信装置１０３から、音声以外のセッション、例えば映像セッション、を開設要求するｒｅＩＮＶＩＴＥ要求を受信したときは映像データ再生部６０４に対し映像データ再生準備をさせるとともに、再生環境信号パーサ６０２に対しマルチメディア通信装置１０３からｒｅＩＮＶＩＴＥと共に受信したコンテンツ符号化データの再生環境信号を解読（パース）して得た各種映像符号化パラメータの設定値を映像データ再生部６０４に出力し設定させる。

受信部６０１は、マルチメディア通信装置１０３からコンテンツ符号化データＲＴＰパケットを受信し、ＲＴＰパケットからコンテンツ符号化データを取り出して映像データ再生部６０４に出力する。

映像データ再生部６０４は、呼処理信号処理部６０５から停止信号がくるまでの間は、受信部６０１から受信したコンテンツ符号化データを前記設定した映像符号化パラメータにより復号して再生する。呼処理信号処理部６０５から停止信号が来た場合は、ただちにコンテンツ符号化データの復号再生を停止する。

呼処理信号処理部６０５は、マルチメディア通信装置１０３から端末１０２−２の着信応答信号を受信すると映像データ再生部６０４にコンテンツ符号化データに復号再生を停止するよう指示を出す。また、音声データ再生部６０３に対し、符号化音声データの復号再生を開始するよう指示を出す。

受信部６０１は、相手端末１０２−２から音声符号化データを格納したＲＴＰパケットを受信し、音声符号化データを取り出して音声データ再生部６０３に出力する。

音声データ再生部６０３は、呼処理信号処理部６０５から符号化音声データの復号再生を開始する指示を受信すると、受信部６０１から符号化音声データを入力し、復号再生して音声信号を出力する。このとき、呼処理信号処理部６０５から再生環境情報が出力された場合、当該再生環境情報に基づいて音声データを再生する。

なお、図５に示した端末１０２−１の形態は、後述する実施の形態においても同じである。

これにより、端末１０２−１が端末１０２−２を呼び出し中に、コンテンツデータベース２０７から読み出されたコンテンツが再生環境情報を用いて端末１０２−１にて再生される。また、音声通話が開始されると、端末１０２−２から送信されてきた音声のデータが端末１０２−１にて再生環境情報を用いて再生される。

以上説明したように本形態においては、端末１０２−１から端末１０２−２へ音声通話をする場合、端末１０２−１が端末１０２−２を呼び出し中に所定のコンテンツが、端末１０２−１及び当該コンテンツに適した条件で端末１０２−１にて再生される。

なお、以上説明した本形態においては、図２において呼制御部２０５をマルチメディア通信装置１０３の中に搭載したが、呼制御部２０５のみをマルチメディア通信装置１０３とは別の装置にインプリすることも可能である。このような構成にするとスケーラビリティを柔軟に確保することができるというメリットがある。なお、この場合、呼制御部２０５が設けられた装置と呼処理信号処理部２０１との間は、ＳＩＰまたはＭＥＧＡＣＯを使用して指示を通知することができる。
（第２の実施の形態）
以下に、図１に示したマルチメディア通信装置１０３の第２の実施の形態について説明する。

図６は、図１に示したマルチメディア通信装置１０３の第２の実施の形態を示す図である。ここで、端末１０２−１と端末１０２−２との間にて通信が行われる場合を例に挙げて説明する。また、端末１０２−１が発信側端末であり、端末１０２−２が端末１０２−１の通話相手である着信側端末である。なお、端末１０２−３〜１０２−ｎのどの端末が発信側端末または着信側端末である場合であっても、その動作は以下に示す動作と同じである。

図１に示したマルチメディア通信装置１０３の第２の実施の形態は図６に示すように、呼制御部２０５と、呼処理信号処理部１００１と、着信側端末データ送信部２０６と、コンテンツデータベース２０７とから構成されている。

呼制御部２０５は、発信側端末１０２−１から音声電話セッション開始要求の呼接続信号を受信し、これを中継して端末１０２−２に送出する。加えて、端末１０２−１から送出された音声符号化データの再生環境情報を、端末１０２−２にて送出する。

呼制御部２０５は、上記と同時に、呼処理信号処理部１００１に対し音声セッションを開始した通知を出力する。

ここで、音声電話セッションのための呼接続信号には、例えば、ＩＥＴＦ規格のＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ：ＲＦＣ３２６１）を用いることができる。ここで、符号化データの再生環境情報とは、当該符号化データを端末１０２−１，１０２−２にて再生するために必要な情報である。例えば、当該符号化データを受信するための情報（アドレス、ポート、形式、再生するためのアプリケーションなど）や、当該符号化データで用いる帯域値等である。ここで、再生環境情報は、例えばＩＥＴＦ規格ＳＤＰ（Ｓｅｓｓｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ Ｐｒｏｔｏｃｏｌ：ＲＦＣ２３２７）のプロトコルを用いることができる。

呼制御部２０５から呼処理信号処理部１００１への通知には、例えば、前述のＳＩＰを用いることもできるし、あるいはＩＥＴＦ規格のＭＥＧＡＣＯ信号を用いることもできる。

呼処理信号処理部１００１は、音声電話セッションの開始通知を、例えばＳＩＰまたはＭＥＧＡＣＯなどにより、呼制御部２０５から受信し、コンテンツデータベースか２０７から、これから送出するコンテンツ、例えば映像コンテンツに関する再生環境情報を読み出し、音声以外のセッションの追加指示、例えば映像セッションの追加指示、ならびに再生環境情報を、例えばＳＩＰのｒｅＩＮＶＩＴＥなどのコマンドを使い、着信側の端末１０２−２に送出する。ここで、映像コンテンツは、例えば、静止画や動画からなるコンテンツであってよい。

さらに、呼処理信号処理部１００１は、着信側端末データ送信部２０６に対しコンテンツ送出指示を出力する。着信側端末データ送信部２０６は、コンテンツ送信指示を受信するや、コンテンツデータベース２０７から、例えば、発信者の指示する映像コンテンツ符号化データ、または着信者の指示する映像コンテンツ符号化データ、またはあらかじめ定められた映像コンテンツ符号化データを読み出し、前記映像コンテンツ符号化データをＲＴＰパケットに格納して着信側端末１０２−２に送出する。

次に、端末１０２−２は、音声セッション開始要求信号を受信し、これに対し着信応答した場合は端末１０２−２から着信応答信号が呼制御部２０５に送信される。

呼制御部２０５は、端末１０２−２から送信された着信応答信号を受信すると、呼処理信号処理部１００１に終了通知を出力し、さらに前記着信応答信号を中継して端末１０２−１に送出する。

呼処理信号処理部１００１は、呼制御部２０５から出力された終了通知を受信すると、着信側端末１０２−２に対し映像セッション終了の呼制御信号を送出し、さらに着信側端末データ送信部２０６に対し、映像コンテンツのＲＴＰ送信を終了するよう指示する。

着信側端末データ送信部２０６は、呼処理信号処理部１００１から指示されたＲＴＰ送信終了の指示を受信すると、着信側端末１０２−２に対する映像コンテンツデータを格納したＲＴＰパケットデータの送出を停止する。

コンテンツデータベース２０７は、第１の実施の形態におけるものと同じである。なお、第１の実施の形態におけるコンテンツデータベース２０７の構造（図４に示したもの）のうち、再生環境情報が格納されていないものであっても良い。

以下に、図６に示したマルチメディア通信装置１０３におけるマルチメディア通信方法について説明する。

図７は、図６に示したマルチメディア通信装置１０３におけるマルチメディア通信方法の第１の方法を説明するためのフローチャートである。

まず、呼処理信号処理部１００１にて図１０に示した端末１０２−１から端末１０２−２への音声発信がステップ２１にて検出されると、着信側端末である端末１０２−２が応答したかどうかがステップ２２にて判断される。

呼制御部２０５にて、端末１０２−２が応答していないと判断された場合、呼制御部２０５から呼処理信号処理部１００１へ音声セッションが開始された通知を出力する。

呼処理信号処理部１００１は呼制御部２０５から出力された通知を受信すると、ステップ２３にて着信側端末データ送信部２０６に対し、コンテンツデータベース２０７から符号化ずみのコンテンツを読み出す。

また、ここでコンテンツと共に当該コンテンツに対応付けられた再生環境情報がコンテンツデータベース２０７から読み出される。呼処理信号処理部１００１は、着信側端末１０２−２に対し、音声セッション以外のセッション、例えば映像セッションの追加開設をｒｅＩＮＶＩＴＥコマンドなどを用いて要求し、読み出した再生環境情報をステップ２４にて端末１０２−２へ送信する。

また、符号化されたコンテンツの符号化データがステップ２５にて発信側端末データ送信部２０２へ出力される。

なお、このとき、読み出されるコンテンツは、第１の実施の形態と同様に、着信側端末に従って選択されたコンテンツであっても良い。また、発信側端末に従ってコンテンツが選択されて読み出されるものであっても良い。

その後、当該コンテンツの符号化データが着信側端末データ送信部２０６から端末１０２−２へ送信される。

なお、映像コンテンツ符号化データを、例えば、標準化団体３ＧＰＰ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）が携帯電話サービス向けに開発した画像形式である３ＧＰＰ形式（拡張子：３ＧＰ）やＭＰＥＧ−４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ ｐｈａｓｅ ４）形式の圧縮動画データを格納するファイル形式の１つであるＭＰ４形式などのファイルフォーマットを用いてファイルに格納した上で、コンテンツデータベース２０７に格納しておき、当該ファイルをＨＴＴＰ（ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）やＴＣＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）を用いてネットワーク（不図示）を介して端末１０２−２へ送信する構成をとるものであっても良い。この構成をとることにより、ｒｅＩＮＶＩＴＥコマンドなどに対応していない端末であっても、映像コンテンツ符号化データを受け取ることができる。

一方、呼制御部２０５にて端末１０２−２が応答したと判断された場合、呼制御部２０５は呼処理信号処理部１００１に対し着信応答を受信した通知を出力し、呼処理信号処理部１００１は着信側端末データ送信部２０６に対しコンテンツ符号化データの送出を停止する指示を出力する。着信側端末データ送信部２０６は呼処理信号処理部１００１から出力された停止指示を受信し、ステップ２６にてコンテンツ符号化データの着信側端末１０２−２への送出を停止する。

図８は、図１に示した端末１０２−２の一形態を示す図である。なお、図８には図１に示した端末の１０２−２の形態のうち、本発明に関する受信機能部分についてのみを示す。

図１に示した端末１０２−２には図８に示すように、受信部６０１と、再生環境信号パーサ６０２と、音声データ再生部６０３と、映像データ再生部６０４と、呼処理信号処理部６０５とが設けられている。

呼処理信号処理部６０５は、マルチメディア通信装置１０３に対し音声発信セッション開設要求を、例えばＩＮＶＩＴＥコマンドを用いて、送出した後は、音声セッションについては着信応答信号を受信するのを待機している。着信応答信号を受信する前に、マルチメディア通信装置１０３から、音声以外のセッション、例えば映像セッション、を開設要求するｒｅＩＮＶＩＴＥ要求を受信したときは映像データ再生部６０４に対し映像データ再生準備をさせるとともに、再生環境信号パーサ６０２に対しマルチメディア通信装置１０３からｒｅＩＮＶＩＴＥと共に受信したコンテンツ符号化データの再生環境信号を解読（パース）して得た各種映像符号化パラメータの設定値を映像データ再生部６０４に出力し設定させる。

受信部６０１は、マルチメディア通信装置１０３からコンテンツ符号化データＲＴＰパケットを受信し、ＲＴＰパケットからコンテンツ符号化データを取り出して映像データ再生部６０４に出力する。

映像データ再生部６０４は、呼処理信号処理部６０５から停止信号がくるまでの間は、受信部６０１から受信したコンテンツ符号化データを前記設定した映像符号化パラメータにより復号して再生する。呼処理信号処理部６０５から停止信号が来た場合は、ただちにコンテンツ符号化データの復号再生を停止する。

呼処理信号処理部６０５は、マルチメディア通信装置１０３から端末１０２−２の着信応答信号を受信すると映像データ再生部６０４にコンテンツ符号化データに復号再生を停止するよう指示を出す。また、音声データ再生部６０３に対し、符号化音声データの復号再生を開始するよう指示を出す。

受信部６０１は、相手端末１０２−１から音声符号化データを格納したＲＴＰパケットを受信し音声符号化データを取り出して音声データ再生部６０３に出力する。

音声データ再生部６０３は、呼処理信号処理部６０５から符号化音声データの復号再生を開始する指示を受信すると、受信部６０１から符号化音声データを入力し、復号再生して音声信号を出力する。このとき、呼処理信号処理部６０５から再生環境情報が出力された場合、当該再生環境情報に基づいて音声データを再生する。

なお、このとき、読み出されるコンテンツは、第１の実施の形態と同様に、着信側端末に従って選択されたコンテンツであっても良い。また、発信側端末に従ってコンテンツが選択されて読み出されるものであっても良い。

以上説明したように本形態においては、端末１０２−１から端末１０２−２へ音声通話をする場合、端末１０２−１が端末１０２−２を呼び出し中に所定のコンテンツが、端末１０２−２及び当該コンテンツに適した条件で端末１０２−２にて再生される。

なお、以上説明した本形態においては、図６において呼制御部２０５をマルチメディア通信装置１０３の中に搭載したが、呼制御部２０５のみをマルチメディア通信装置１０３とは別の装置にインプリすることも可能である。このような構成にすると、スケーラビリティを柔軟に確保することができるというメリットがある。なお、この場合、呼制御部２０５の装置と呼処理信号処理部１００１との間は、ＳＩＰまたはＭＥＧＡＣＯを使用して指示を通知することができる。
（第３の実施の形態）
また、上述した第１の実施の形態が有する機能と第２の実施の形態が有する機能との双方を兼ね備えたマルチメディア通信装置１０３も考えられる。

図９は、図１に示したマルチメディア通信装置１０３の第３の実施の形態を示す図である。

図１に示したマルチメディア通信装置１０３の第３の実施の形態は図９に示すように、図２に示した第１の実施の形態が有する機能と、図６に示した第２の実施の形態が有する機能とを兼ね備えた形態となっている。
（第４の実施の形態）
また、上述したマルチメディア通信装置１０３は、メディアサーバとして広告コンテンツを端末１０２−１〜１０２−ｎへ配信することも可能である。

図１０は、図１に示したマルチメディア通信装置１０３の第４の実施の形態を示す図である。

本形態は図１０に示すように、マルチメディア通信装置であるメディアサーバ３２０１に複数の端末１０２−１〜１０２−ｎがネットワーク１０１を介して接続されている。また、メディアサーバ３２０１には、広告コンテンツデータベース３２０２が接続されている。

広告コンテンツデータベース３２０２は、ネットワーク１０１を介して端末１０２−１〜１０２−ｎへ配信する広告コンテンツを格納する。この広告コンテンツは、映像であっても良いし、文字であっても良い。

図１１は、図１０に示した広告コンテンツデータベース３２０２の一構造を示す図である。

図１０に示した広告コンテンツデータベース３２０２には図１１に示すように、広告データとして、広告文字データや広告映像が格納されている。それぞれの広告データには、各データに固有に付与された識別番号と、分類とがそれぞれ対応付けられて格納されている。例えば、「○○電器」という文字の広告データには、識別番号「９００１」と、分類の「広告文字データ」とが対応付けられている。また、「△△ショッピング」という文字の広告データには、識別番号「９００２」と、分類の「広告文字データ」とが対応付けられている。また、テレビの映像である広告データには、識別番号「９００３」と、分類の「広告映像」とが対応付けられている。また、日帰り温泉旅行の広告データには、識別番号「９００４」と、分類の「広告映像」とが対応付けられている。なお、分類が「広告映像」である広告データは、静止画であっても、動画であっても良い。

メディアサーバ３２０１は、ネットワーク１０１を介して端末１０２−１〜１０２−ｎ間で送受信される音声データや映像データの転送を仲介する。また、広告コンテンツデータベース３２０２から広告コンテンツを読み出し、ネットワーク１０１を介して端末１０２−１〜１０２−ｎへ配信する。配信する際に、広告コンテンツデータベース３２０２から読み出された広告コンテンツをそのまま端末１０２−１〜１０２−ｎへ配信するものであっても良い。

また、広告データが配信されるタイミングは、発信者端末が着信側端末を呼び出し中であっても良い。

なお、メディアサーバ３２０１の構成は、上述したマルチメディア通信装置１０３の構成と同じである。
（第５の実施の形態）
図１２は、図１に示したマルチメディア通信装置１０３の第５の実施の形態を示す図である。

本形態は図１２に示すように、利用者端末３４０３を有する利用者が契約している通信事業者が有する通信事業者装置３４０２にマルチメディア通信装置１０３であるメディアサーバ３２０１が接続可能に構成されている。また、メディアサーバ３２０１には、広告コンテンツデータベース３２０２が接続されている。さらに、通信事業者装置３４０２は、広告主が有する広告主端末３４０１との間にて通信が可能となっている。

広告コンテンツデータベース３２０２には、広告主端末３４０１によって広告主端末３４０１の広告データが予め登録（格納）されている。この広告コンテンツデータベース３２０２に登録される広告データを通信事業者装置３４０２が管理することにより、広告主端末３４０１は、通信事業者装置３４０２へ広告料を払う。

利用者端末３４０３が通信を行う場合、通信事業者装置３４０２及びメディアサーバ３２０１を介して行う。その場合、通信事業者装置３４０２は、メディアサーバ３２０１を用いて、広告コンテンツデータベース３２０２から広告コンテンツを読み出し、利用者端末３４０３の有する発信側端末または着信側端末に対し、メディアサーバ３２０１から送信する映像、音声または文字列の少なくとも一つに広告コンテンツとしてマルチメディアサービスを利用者端末３４０３に提供する。

そして、広告データが利用者端末３４０３へ送信された旨が通信事業者装置３４０２またはメディアサーバ３２０１に記録され、その記録（送信頻度）に基づいて当該広告データが送信された利用者端末３４０３に対して通話料金の削減または通話料金の無料化などの優待が図られる。この優待を行うための優待情報は、通信事業者装置３４０２またはメディアサーバ３２０１が具備する優待情報データベース（不図示）に格納されており、利用者端末３４０３へ通話料を請求する際に、読み出されて精算されるものであっても良い。

図１３は、広告データの送信回数と優待情報とが対応付けられた優待情報データベースの一構成を示す図である。

図１３に示すように、広告データの送信回数と、その場合の優待情報とが対応付けられて格納されている。例えば、広告データが１〜５回送信された利用者端末３４０３は、通話料金を１００円値引きする優待情報が格納されている。また、広告データが６〜１０回送信された利用者端末３４０３は、通話料金を５００円値引きする優待情報が格納されている。

また、広告データの送信時間に応じて優待が図られるものであっても良い。

図１４、広告データの送信時間と優待情報とが対応付けられた優待情報データベースの一構成を示す図である。

図１４に示すように、広告データの送信時間と、その場合の優待情報とが対応付けられて格納されている。例えば、広告データの送信時間が１〜３分間である利用者端末３４０３は、通話料金を１日間無料にする優待情報が格納されている。また、広告データの送信時間が３〜１０分間である利用者端末３４０３は、通話料金を２日間無料にする優待情報が格納されている。

これにより、利用者は、通信事業者からマルチメディアサービスの提供を受け、広告コンテンツを見ることにより、その送信頻度に応じた通話料金の削減または通話料金の無料化等の恩恵を被る。

なお、この通話料金の優待を上述した第１〜４の実施の形態に適用することも可能である。

なお、上述した実施の形態において、コンテンツや文字列は、端末１０２−１〜１０２−ｎから選択できるものである。例えば、コンテンツや文字列の識別番号を端末１０２−１〜１０２−ｎに入力することにより、所望のコンテンツや文字列が選択できるものである。また、上記識別番号を端末１０２−１〜１０２−ｎそれぞれに対応付けておき、発信または着信した端末１０２−１〜１０２−ｎに対応付けられたコンテンツや文字列が読み出されて表示されるものであっても良い。また、コンテンツデータベース２０７に格納されているコンテンツや文字列は、予め格納されているものである。

また、必要に応じて上述した第１〜３の実施の形態を任意の組み合わせで組み合わせても良い。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００８年１２月１８日に出願された日本出願特願２００８−３２２６４４を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

1. 複数の端末と、該複数の端末と接続され、該複数の端末の呼処理信号を処理し、映像を含むコンテンツデータと該コンテンツデータの再生環境を示す再生環境情報とが格納されたデータベースを有するサーバとから構成されたマルチメディア通信システムにおけるマルチメディアサービス提供方法であって、
   前記複数の端末のうち音声発信を行う発信側端末が前記複数の端末のうち前記発信側端末の通話相手である着信側端末を呼び出してから該着信側端末が応答するまでの間、前記サーバが、前記データベースから前記コンテンツデータと前記再生環境情報とを読み出すステップと、
   前記着信側端末が応答するまでの間、前記サーバが音声以外からなるセッションの追加開設を前記発信側端末へ要求し、読み出した前記再生環境情報と前記コンテンツデータとを前記発信側端末へ送信するステップと、
   前記着信側端末が応答するまでの間、前記発信側端末が、前記サーバから送信されたコンテンツデータを前記再生環境情報に基づいて再生するステップとを有するマルチメディアサービス提供方法。
2. 複数の端末と、該複数の端末と接続され、該複数の端末の呼処理信号を処理し、映像を含むコンテンツデータと該コンテンツデータの再生環境を示す再生環境情報とが格納されたデータベースを有するサーバとから構成されたマルチメディア通信システムにおけるマルチメディアサービス提供方法であって、
   前記複数の端末のうち音声発信を行う発信側端末が前記複数の端末のうち前記発信側端末の通話相手である着信側端末を呼び出してから該着信側端末が応答するまでの間、前記サーバが、前記データベースから前記コンテンツデータと前記再生環境情報とを読み出すステップと、
   前記着信側端末が応答するまでの間、前記サーバが音声以外からなるセッションの追加開設を前記着信側端末へ要求し、読み出した前記再生環境情報と前記コンテンツデータとを前記着信側端末へ送信するステップと、
   前記着信側端末が応答するまでの間、前記着信側端末が、前記サーバから送信されたコンテンツデータを前記再生環境情報に基づいて再生するステップとを有するマルチメディアサービス提供方法。
3. 請求項１または請求項２に記載のマルチメディアサービス提供方法において、
   前記サーバが、ＳＩＰを用いて前記呼処理信号や前記セッションを制御するセッション制御信号を処理するステップと、
   前記サーバが、ＳＤＰを用いて前記再生環境情報を処理するステップとを有することを特徴とするマルチメディアサービス提供方法。
4. 請求項３に記載のマルチメディアサービス提供方法において、
   前記コンテンツデータには文字情報と広告データとの少なくとも一方を含むことを特徴とするマルチメディアサービス提供方法。
5. 請求項３に記載のマルチメディアサービス提供方法において、
   前記コンテンツデータの少なくとも一部をエンドユーザが登録することを特徴とするマルチメディアサービス提供方法。
6. 請求項１または請求項２に記載のマルチメディアサービス提供方法において、
   前記コンテンツデータを、３ＧＰやＭＰ４の形式のファイルフォーマットを用いてファイルに格納した上で前記データベースに格納するステップと、
   前記着信側端末が応答するまでの間、前記データベースに格納された前記ファイルをＨＴＴＰやＴＣＰを用いて前記発信側端末へ送信するステップとを有することを特徴とするマルチメディアサービス提供方法。
7. 複数の端末と接続され、該複数の端末の呼処理信号を処理するサーバであって、
   映像を含むコンテンツデータと該コンテンツデータの再生環境を示す再生環境情報とが格納されたデータベースと、
   前記複数の端末のうち音声発信を行う発信側端末が前記複数の端末のうち前記発信側端末の通話相手である着信側端末を呼び出してから該着信側端末が応答するまでの間、前記データベースから前記再生環境情報を読み出し、該読み出した再生環境情報を前記発信側端末へ送信し、音声以外からなるセッションの追加開設を前記発信側端末へ要求する呼処理信号処理部と、
   前記着信側端末が応答するまでの間、前記データベースから前記コンテンツデータを読み出し、該読み出した前記コンテンツデータを前記発信側端末へ送信する発信側端末データ送信部とを有するサーバ。
8. 複数の端末と接続され、該複数の端末の呼処理信号を処理するサーバであって、
   映像を含むコンテンツデータと該コンテンツデータの再生環境を示す再生環境情報とが格納されたデータベースと、
   前記複数の端末のうち音声発信を行う発信側端末が前記複数の端末のうち前記発信側端末の通話相手である着信側端末を呼び出してから該着信側端末が応答するまでの間、前記データベースから前記再生環境情報を読み出し、該読み出した再生環境情報を前記着信側端末へ送信し、音声以外からなるセッションの追加開設を前記着信側端末へ要求する呼処理信号処理部と、
   前記着信側端末が応答するまでの間、前記データベースから前記コンテンツデータを読み出し、該読み出した前記コンテンツデータを前記着信側端末へ送信する着信側端末データ送信部とを有するサーバ。
9. 複数の端末と、該複数の端末と接続され、該複数の端末の呼処理信号を処理するサーバとから構成されたマルチメディア通信システムにおいて、
   前記サーバは、映像を含むコンテンツデータと該コンテンツデータの再生環境を示す再生環境情報とが格納されたデータベースを有し、前記複数の端末のうち音声発信を行う発信側端末が前記複数の端末のうち前記発信側端末の通話相手である着信側端末を呼び出してから該着信側端末が応答するまでの間、前記データベースから前記コンテンツデータと前記再生環境情報とを読み出し、音声以外からなるセッションの追加開設を前記発信側端末へ要求し、読み出した前記再生環境情報と前記コンテンツデータとを前記発信側端末へ送信し、
   前記発信側端末は、前記着信側端末が応答するまでの間、前記サーバから送信されたコンテンツデータを前記再生環境情報に基づいて再生することを特徴とするマルチメディア通信システム。
10. 複数の端末と、該複数の端末と接続され、該複数の端末の呼処理信号を処理するサーバとから構成されたマルチメディア通信システムにおいて、
    前記サーバは、映像を含むコンテンツデータと該コンテンツデータの再生環境を示す再生環境情報とが格納されたデータベースを有し、前記複数の端末のうち音声発信を行う発信側端末が前記複数の端末のうち前記発信側端末の通話相手である着信側端末を呼び出してから該着信側端末が応答するまでの間、前記データベースから前記コンテンツデータと前記再生環境情報とを読み出し、音声以外からなるセッションの追加開設を前記着信側端末へ要求し、読み出した前記再生環境情報と前記コンテンツデータとを前記着信側端末へ送信し、
    前記着信側端末は、当該着信側端末が応答するまでの間、前記サーバから送信されたコンテンツデータを前記再生環境情報に基づいて再生することを特徴とするマルチメディア通信システム。

Images