JP4241916B2 - 電話通信システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、電話通信システムに係り、特に動画撮影再生機能を持たない携帯電話と、公衆ないし街頭に設置されたカメラと表示装置を用いたテレビ電話に関するものである。
【０００２】
【従来の技術】
従来の技術を図１３に示す。図中、１は動画撮影再生機能を持たない携帯電話、６は携帯テレビ電話、８は携帯電話網、８０は携帯電話１と携帯電話６の音声フォーマット変換サーバである。
【０００３】
従来の技術においては、動画撮影再生機能を持たない携帯電話１と、携帯テレビ電話６との通話において音声通話のみが携帯電話網８により提供され、必要に応じて音声フォーマット変換サーバ８０でＰＣＭ音声データとデジタル圧縮された音声データ間でフォーマット変換し音声通話を実現している。
【０００４】
また、特開２００１−３２６９７２号公報（特許文献１）の「複合移動機におけるテレビ電話システム」に開示された携帯電話網のパケット通信を利用したテレビ電話システムでは、携帯電話のほかに簡易携帯電話PHS無線を搭載したテレビ電話ユニットを用意し、また携帯電話に別途簡易携帯電話PHSの無線機を具備しテレビ電話ユニットとの通信路を確保する。テレビ電話ユニットはこの通信路を経由し携帯電話を介して携帯電話網のパケット通信によりテレビ電話を実現している。
【０００５】
【特許文献１】
特開２００１−３２６９７２号公報
【０００６】
【発明が解決しようとする課題】
従来の技術では、携帯テレビ電話６どおしではテレビ電話機能と音声通話が可能である。また、携帯テレビ電話６と動画撮影再生機能を持たない携帯電話１とではサービスセンタのメディア変換器による音声フォーマット変換を介することで音声通話のみ可能で、動画撮影再生機能を持たない携帯電話１が動画撮影再生機能を持たない為物理的にテレビ電話による通話はできなかった。
【０００７】
また、特許文献１「複合移動機におけるテレビ電話システム」の技術では、利用者はテレビ電話ユニットと簡易携帯電話PHS無線を搭載した携帯電話を所有又は賃貸しなければならない。そのため、場合によって利用者は簡易携帯電話PHS無線搭載した在来型でない特殊な携帯電話機に買い換えなければならない。
【０００８】
利用者は、テレビ電話ユニットと簡易携帯電話PHS無線搭載した非在来型の特殊
な携帯電話機を常時携帯し、待ち受けのため絶えず両者を接続状態にしておく必要があり、電池の寿命が短く実用性に欠けていた。
【０００９】
また、通信帯域が補償されていないベストエフォート方式で運用されるパケット網を利用するため、動画データが必要とする帯域は確保できないばかりか、簡易携帯電話PHS無線搭載した携帯電話機での中継のオーバヘッドのため遅延量が増し、総合的に画像の欠落頻度は高く、実用的ではなかった。
【００１０】
このように、従来の携帯電話や特許文献１に記載の技術では、携帯テレビ電話との非互換性を解決し、十分なサービスを提供するための帯域と良好な遅延量を実現することは出来なかった。
【００１１】
本発明の目的は、携帯電話と携帯テレビ電話との間で通話をすることができることを提供することにある。
本発明の他の目的は、動画撮影再生機能を持たない携帯電話を用いてテレビ電話による通話を行えるシステムを提供することにある。
【００１２】
【課題を解決するための手段】
本発明は、電話通信システムにおいて、音声とデータ通信と動画撮影と撮影された動画の圧縮伸長と再生表示する機能を有する第１の電話端末と、動画の撮影機能又は撮影された動画を圧縮伸長し、再生表示する機能の少なくとも１つの機能を有しない第２の電話端末との間の通話を可能とする。このため、通信網に接続され、通信相手となる電話端末に対して呼制御を行うコールエージェント、及び画像データ及び音声データの変換を行うメディア変換器を有するサービスセンタと、表示装置及び撮影装置を含み、サービスセンタと接続される公衆通信端末とが用いられる。サービスセンタは、コールエージェントを介して第１および第２の電話端末との間で呼制御を行い、かつ第１の電話端末に対しては、メディア変換器を介して動画データと音声データを含む形式で通信を行い、一方、公衆通信端末との間ではメディア変換器を介して動画データを送受信する。
【００１３】
好ましい例では、公衆通信端末として、例えば街頭やオフィスにカメラや表示装置が設置され、サービスセンタがこれらを遠隔制御する。サービスセンタは、携帯テレビ電話（第１の電話端末）とのテレビ電話通話について動画データを公衆通信端末に振り分け、音声データは動画撮影、再生機能を持たない携帯電話（第２の電話端末）に振り向ける。サービスセンタのコールエージェントは、音声通話中の動画撮影再生機能を持たない携帯電話の要求に応じて識別子（ＩＤ）を発行し、このＩＤは携帯電話に表示される。利用者は、携帯電話に表示されたＩＤを、街頭に設置されたセンサ又はスキャナ等の検知器に示すと、このＩＤの検知結果はサービスセンタに転送される。サービスセンタではその検知器の周囲に設置された公衆通信端末を起動して、その公衆通信端末に対してテレビ電話サービスを行うようにする。このように利用者は、街頭の公衆通信端末と動画再生機能を持たない携帯電話を用いてテレビ電話での通話を行う。
【００１４】
【発明の実施の形態】
図１から図５を用いて、第１の実施の形態を説明する。
図１において、１は動画撮影再生機能を持たない携帯電話、２は街頭のセンサあるいはカメラ、３は街頭のカメラ、４ａはサービスセンタ、６は携帯テレビ電話、７はインターネット、８は携帯電話網、９は街頭の表示装置である。
【００１５】
図１において利用者は動画撮影再生機能を持たない携帯電話１と携帯テレビ電話６との間で携帯電話網８を介して通話を開始する。サービスセンタ４ａは複数のコールエージェントと複数のメディア変換器から構成され携帯通信網８上に分散配置されているが、便宜上図ではサービスセンタ４ａとして示す。携帯電話からの通話はコールエージェントが相手の携帯電話を呼出す。携帯電話間で使用する音声フォーマットが異なると、コールエージェントの指示に従いサービスセンタ４ａのメディア変換器が、例えばＰＣＭやハーフレート（ＰＳＩ−ＣＥＬＰ）方式とＡＭＲ音声圧縮伸長との間で音声フォーマット変換を行う。この変換により本実施の形態では動画撮影再生機能を持たない携帯電話１と携帯テレビ電話６の音声通話を実現している。
【００１６】
通話中、利用者は動画撮影再生機能を持たない携帯電話１からサービスセンタ４ａを呼出しテレビ電話サービスを受ける為のＩＤを請求しＩＤを得る。ＩＤは例えば利用者の電話番号と時刻や、通話中の携帯電話間のセッションに割り当てられた識別番号、課金中の課金コードないし課金コードの枝番や追い番等サービスセンタ４ａが扱いやすい数列や文字列、バイナリーコードである。ＩＤはそのまま携帯電話に送付する以外にサービスセンタ４ａにおいてバーコードを生成しビットマップの画像データとして送付することもある。
【００１７】
第１の実施の形態では利用者による自発的なＩＤ請求を示したが、この他に、サービスセンタ４ａは携帯テレビ電話６との通話であることを認識して動画撮影再生機能を持たない携帯電話１にテレビ電話サービスを受ける為のＩＤを送付しテレビ電話の利用を促すこともある。
【００１８】
またその他に、動画撮影再生機能を持たない携帯電話１が内蔵しているＳＩＭカードに格納している電話番号や電話機固有の番号ないしこれら番号と時刻や接続中の携帯電話網８の基地局の固有番号等との組み合わせから自動的にＩＤを生成する事もある。
【００１９】
請求したＩＤは動画撮影再生機能を持たない携帯電話１上でバーコードを生成し画面に表示する。利用者は通話中に動画撮影再生機能を持たない携帯電話１を耳元から離し、街頭のセンサ又はカメラ２に向けて示す。センサ又はカメラ２はスキャンしＩＤを復調し、センタサーバ４ａに通知する。この間、通話のための携帯電話間の接続は維持されており、利用者は動画撮影再生機能を持たない携帯電話１を耳元に近づけ、通話を再開する。
【００２０】
街頭のセンサ又はカメラは一般的なＣＣＤやＣＭＯＳセンサ又はカメラであり、上述の通り可視光域でのスキャンを行う。ＣＣＤやＣＭＯＳセンサ又はカメラは可視光を遮断する事で赤外光を受信出来るので、携帯電話のＩｒＤＡ赤外線データ通信ポートを利用しＩＤを赤外線通信で提示する事も可能である。
【００２１】
提示されたＩＤの正当性を確認したサービスセンタ４ａは街頭のカメラ３を起動し撮影を開始する。撮影した画像は、所謂ＪＰＥＧやＧＩＦ等の静止画フォーマットで動画撮影再生機能を持たない携帯電話１に送付し、動画撮影再生機能を持たない携帯電話１の画面上に表示する。利用者は表示内容からカメラの位置と利用者自身が写っていることを確認し確認した旨サービスセンタ４ａに通知する。この確認においてサービスセンタ４ａは利用者の周囲にある複数の街頭のカメラ３から画像を取り寄せ、順次動画撮影再生機能を持たない携帯電話１に送付し利用者に選択させることで通信に用いる街頭のカメラ３を決定することもできる。
【００２２】
通知を受けてサービスセンタ４ａは、携帯テレビ電話６に音声通話からテレビ電話に変更する旨打診する。携帯テレビ電話６がテレビ電話への変更を受理すると、サービスセンタ４ａのメディア変換器は街頭のカメラ３から動画を受信し携帯電話網８を流れる動画撮影再生機能を持たない携帯電話１発の音声データと重畳しテレビ電話のデータフォーマットに変換し携帯テレビ電話６に送信する。
【００２３】
同時に、携帯テレビ電話６はテレビ電話のデータフォーマットで動画と音声を携帯電話網８に送信する。サービスセンタ４ａのメディア変換器はこのデータを動画と音声に分離し、必要に応じて変換を行い、動画撮影再生機能を持たない携帯電話１に送信する。動画データは街頭の表示装置９に送信し、街頭のカメラ３からの動画データと同時に、所謂ピクチャーインピクチャーで表示する。ピクチャーインピクチャー表示は、街頭の表示装置９で携帯テレビ電話６発と街頭のカメラ３発の動画データを合成ないし別々の領域に各々表示することで実現しているが、サービスセンタ４ａにおいて合成したデータを表示装置９で表示することでも実現できる。
【００２４】
第１の実施の形態では、街頭には街頭のカメラ３と街頭のセンサ又はカメラ２が設置されているが、街頭のセンサ又はカメラ２で利用者の姿を撮影することで街頭のカメラ３の代りとし街頭のカメラ３を省略することもある。
【００２５】
図２において、１１は二次元バーコード、１２は街頭のカメラで撮影された利用者の静止画、１０６，１０８はボタンである。利用者がＩＤを提示するとき画面上には二次元バーコード１１が表示される。一次元バーコードでもこれに代用されるビットマップデータでも構わない。利用者はバーコードの提示を済ませるとボタン１０６と対応づけた動画撮影再生機能を持たない携帯電話１のキーを押下しバーコードの表示を終了する。
【００２６】
サービスセンタ４ａは提示されたＩＤの正当性を確認すると街頭のカメラ３を起動し、撮影した画像を静止画フォーマットで動画撮影再生機能を持たない携帯電話１に送付し街頭のカメラで撮影された利用者の静止画１２として表示する。利用者は表示内容からカメラの位置と利用者自身が写っていることを確認し確認した旨ボタン１０８に対応づけた動画撮影再生機能を持たない携帯電話１のキーを押下しサービスセンタ４ａに通知する。
【００２７】
図３を用いて、本システムの一連の動作フローを示す。
図１に示す通り、音声通話開始１０１の後、動画撮影再生機能を持たない携帯電話１の利用者はセンタ呼出１０２に引き続きＩＤ取得１０３を試みＩＤを得る。ＩＤはＩｒＤＡでＩＤ提示１０５ｂするか、バーコード生成１０４を経てＩＤ表示１０５ａで動画撮影再生機能を持たない携帯電話１の画面に表示し街頭のセンサ又はカメラ２に提示する。
【００２８】
サービスセンタ４ａがＩＤの正当性を確認するとカメラ起動１０６の後撮影開始１０７でへて街頭のカメラ３から撮影した画像を得る。撮影した画像を静止画フォーマットで動画撮影再生機能を持たない携帯電話１に送付し公衆ＴＶ電話動作確認１０８を促し確認されると携帯テレビ電話６に音声通話からテレビ電話に変更する旨通知し、受理されるとサービスセンタ４ａが送信動画音声同期処理１０９を開始し、テレビ電話フォーマットのデータを携帯テレビ電話６に送信する。
同時に携帯テレビ電話６発のテレビ電話フォーマットのデータはサービスセンタ４ａにおいて着信動画分離９０１の上街頭の表示装置９に表示する。テレビ電話として通話継続１１０で通話を行い、切断１１１を迎えると、街頭の表示装置９も表示終了９０２となりテレビ電話での通話を完了する。
【００２９】
図４において、４１は画像入力、４２は音声入力、４２ａはコーデック、４３は自動編集機である。
図４を用いてサービスセンタ４ａのメディア変換器におけるテレビ電話フォー
マットへのデータ変換を示す。サービスセンタ４ａのメディア変換器は動画入力４１と音声入力４２を具備し音声フォーマットの変換が必要な場合、入力された音声はコーデック４２ａで然るべきフォーマットに変換しし各々自動編集機４３に入力する。
【００３０】
動画と音声には各々タイムスタンプが付加されているので自動編集機４３はタイムスタンプを見比べほぼ同時の動画データと音声データの組を発見しこの組をテレビ電話フォーマットに変換する。本システムでは音声データに対して動画データは欠落や遅延する傾向にあり、サービスセンタ４ａのメディア変換器はテレビ電話での通話に切り換える前に、街頭のカメラ３からのデータ転送経路が最短となるメディア変換器を検索し経路を切り換え、遅延が増大するのを抑制する。経路制御の有無に関わらず、自動編集機４３が参照する実時間に対して音声データのタイムスタンプと動画データのタイムスタンプの遅延の大きい方を自動編集機４３の入力端子での遅延量とする。こうすることで、実時間から自動編集機４３の遅延量を差し引いて求まる時刻（：送信期限）より古いタイムスタンプの音声データは自動編集機４３のバッファ内で保留され、ほぼ同時のタイムスタンプを有する動画データが入力されるとこの動画データと組にしてテレビ電話フォーマットに変換し、先の送信期限がタイムスタンプと一致した時点で出力し携帯テレビ電話６に向けて送信する。自動編集機４３は、この組を基準としてこの組以後のそれぞれの動画データと音声データはほぼ同時と見なしテレビ電話フォーマットに変換し、各々タイムスタンプが送信期限に一致した時点で出力し送信する。
【００３１】
動画データが欠落し送信期限を迎える場合、テレビ電話フォーマットへの変換に用いる動画データは一こま前の動画データで代用する。自動編集機４３が動画データの欠落と判定した場合、欠落が続く限り代用を繰り返す。ある時点で欠落したはずの動画が到着すると、ぽつりぽつりと到着する限り到着した動画データを代用するコマとして代用を繰り返す。団子運転のように纏まって到着した場合最新のタイムスタンプの付加された動画データ以外は破棄し、このタイムスタンプから新たな遅延量を算出する。自動編集機４３は慢性的な遅延が発生したと判定しこの遅延量を元に送信期限を更新する。更新期限の更新時にテレビ電話フォーマットに変換する音声データはピッチコントロールによりデータを補正、補完するか、もしくは無音データで補完する。
【００３２】
図５において４４は動画音声分離、４５は動画出力、４６は音声出力、４６ａはコーデックである。
【００３３】
図５を用いてサービスセンタ４ａのメディア変換器におけるテレビ電話フォーマットから動画と音声の分離を示す。サービスセンタ４ａのメディア変換器は動画音声分離４４と動画出力４５と音声出力４６を具備し音声フォーマットの変換が必要な場合、分離された音声データはコーデック４６ａで然るべきフォーマットに変換し出力される。出力された動画データは街頭の表示装置９に、音声データは携帯電話網８を介して動画撮影再生機能を持たない携帯電話１に送信され、ほぼ同時刻に街頭の表示装置９と動画撮影再生機能を持たない携帯電話１で再生される。
【００３４】
以上図１〜５の通り、従来音声通話のみでテレビ電話が出来なかった動画撮影再生機能を持たない携帯電話と携帯テレビ電話間の通話において、街頭のカメラ及び表示装置と連携するサービスセンタを設置し、サービスセンタが動画データと音声データをテレビ電話フォーマットへ変換しテレビ電話に送信し、分離し街頭の表示装置に動画を再生表示することでテレビ電話を実現する。
【００３５】
図６から図８を用いて、第２の実施の形態について説明する。
図６において、１０は街頭のマイクとスピーカ、４ｂはサービスセンタである。
【００３６】
簡単の為、第１の実施の形態による図１との差違を示す。第２の実施の形態において、音声通話の開始から街頭の表示装置９での動画データの再生表示までは同じ手順を踏む。サービスセンタ４ｂにおいて分離された音声は携帯電話網８を通じて動画撮影再生機能を持たない携帯電話１に送信され動画撮影再生機能を持たない携帯電話１で再生される他、同じ音声データは街頭のマイクとスピーカ１０に送られスピーカで再生する。この時、動画撮影再生機能を持たない携帯電話１には携帯電話網８での音声通話の終了を促すボタンが表示され、利用者がこのボタンに対応するキーを押下することでサービスセンタ４ｂは携帯電話網８を介した動画撮影再生機能を持たない携帯電話１との接続を切り、動画撮影再生機能を持たない携帯電話１は切断される。同時に、サービスセンタ４ｂは街頭のマイクとスピーカ１０のマイク入力を起動ないしマイク入力を有効とし、動画撮影再生機能を持たない携帯電話１から得ていた音声データの変わりとして、街頭のカメラ３の動画データと組み合わせてテレビ電話フォーマットに変換し携帯テレビ電話６に送信する。動画撮影再生機能を持たない携帯電話１で通話していた利用者は、以後街頭の表示装置９又は街頭のマイクとスピーカ１０の前でテレビ電話による通話を継続する。
【００３７】
図７において１１２はボタンである。
【００３８】
簡単の為、第１の実施の形態を示す図２との差異を示す。図７において、利用者がＩＤを提示し、表示内容からカメラの位置と利用者自身が写っていることを確認し、サービスセンタ４ｂに通知するまでは同じである。この後、テレビ電話による通話を開始するとサービスセンタは動画撮影再生機能を持たない携帯電話１にボタン１１２を表示し、携帯電話網８での音声通話の終了を促す。利用者がボタン１１２を押下すると、押下した旨がサービスセンタ４ｂに通知され、サービスセンタ４ｂは動画撮影再生機能を持たない携帯電話１と携帯テレビ電話６の通話を乗っ取り、動画撮影再生機能を持たない携帯電話１を携帯電話網８から切断し、街頭の表示装置９、街頭のカメラ３、街頭のマイクとスピーカ１０によるテレビ電話に移行する。
【００３９】
図８を用いて、本システムの一連の動作フローを示す。簡単の為、第１の実施の形態を示す図３との差異を示す。図８の通り、音声通話開始１０１から公衆ＴＶ電話動作確認１０８までの手順は同じで、この時点で携帯テレビ電話６から送信されたテレビ電話フォーマットのデータはサービスセンタ４ｂで分離され、動画は街頭の表示装置９で音声は動画撮影再生機能を持たない携帯電話１で再生される。また、音声は街頭のマイクとスピーカ１０からも再生される。
【００４０】
サービスセンタ４ｂは動画撮影再生機能を持たない携帯電話１に携帯電話網８での音声通話の終了を促し、利用者が同意することでサービスセンタ４ｂは動画撮影再生機能を持たない携帯電話１と携帯テレビ電話６の通話を乗っ取り、携帯電話切断１１２で動画撮影再生機能を持たない携帯電話１を携帯電話網８から切断する。
【００４１】
同時に通話継続９０３として、街頭の表示装置９、街頭のカメラ３、街頭のマイクとスピーカ１０によるテレビ電話に移行する。利用者が通話を終えると切断９０４を迎え通話が完了する。
【００４２】
次に、図９から図１１を用いて、第３の実施の形態を説明する。
図９において、５はストレージ機能と有するビデオメールサーバ、４ｃはサービスセンタである。
【００４３】
図９において利用者は動画撮影再生機能を持たない携帯電話１からサービスセンタ４ｃに電話し音声ガイダンスに従うか、もしくは携帯電話上のメニュー画面やウェブブラウザ、Ｊａｖａ（登録商標）アプリケーションを起動しメニューを選択することで、ビデオメールの利用を申し込む。折り返し利用に必要なＩＤを得る。ＩＤは例えば利用者の電話番号と時刻や、通話中の携帯電話間のセッションに割り当てられた識別番号、課金中の課金コードないし課金コードの枝番や追い番等サービスセンタ４ａが扱いやすい数列や文字列、バイナリーコードである。ＩＤはそのまま携帯電話に送付する以外にサービスセンタ４ｃにおいてバーコードを生成しビットマップの画像データとして送付することもある。
【００４４】
動画撮影再生機能を持たない携帯電話１が内蔵しているＳＩＭカードに格納している電話番号や電話機固有の番号ないしこれら番号と時刻や接続中の携帯電話網８の基地局の固有番号等との組み合わせから自動的にＩＤを生成する事で、サービスセンタ４ｃからのＩＤ取得を省略することもある。
【００４５】
請求したＩＤは動画撮影再生機能を持たない携帯電話１上でバーコードを生成し画面に表示する。動画撮影再生機能を持たない携帯電話１を街頭のセンサないしカメラ２に示し街頭のセンサ又はカメラ２がスキャンしＩＤを復調しセンタサーバ４ｃに通知する。
【００４６】
本実施例において街頭のセンサ又はカメラは一般的なＣＣＤやＣＭＯＳセンサ又はカメラであり上述の通り可視光域でのスキャンを行う。ＣＣＤやＣＭＯＳセンサ又はカメラは可視光を遮断する事で赤外光を受信出来るので、携帯電話のＩｒＤＡ赤外線データ通信ポートを利用しＩＤを赤外線通信で提示する事も可能である。
【００４７】
提示されたＩＤの正当性を確認したサービスセンタ４ｃは街頭のカメラ３を起動し撮影を開始する。撮影した画像は、所謂ＪＰＥＧやＧＩＦ等の静止画フォーマットで動画撮影再生機能を持たない携帯電話１に送付し、動画撮影再生機能を持たない携帯電話１の画面上に表示する。利用者は表示内容からカメラの位置と利用者自身が写っていることを確認し確認した旨サービスセンタ４ｃに通知すると同時に動画撮影再生機能を持たない携帯電話１はサービスセンタ４ｃに電話をかけ、サービスセンタ４ｃは録音を開始する。この他にサービスセンタ４ｃは動画撮影再生機能を持たない携帯電話１に電話をかけて、利用者が取ることで録音を開始することもある。
【００４８】
サービスセンタ４ｃは街頭のカメラ３から動画を受信し録音中の音声データと重畳しテレビ電話のデータフォーマットに変換しビデオメールサーバ５に送信する。用件が済み利用者の音声通話が切れた時点で音声の録音は終了し、最後の音声データを含むテレビ電話フォーマットのデータを送信した時点でビデオメールサーバ５に送信終了を通知する。同時に街頭のカメラ３を停止する。ビデオメールサーバ５は、受信した動画データ及び音声データをテレビ電話フォーマットで格納する。
【００４９】
ビデオメールサーバ５はビデオメールの着信を携帯テレビ電話６に通知し、適宜携帯テレビ電話６からビデオメールサーバ５に接続し、再生ないしダウンロードの後再生を行う。
【００５０】
図１０において１１４，１１６はボタンである。
【００５１】
利用者がＩＤを提示するとき画面上には二次元バーコード１１が表示される。一次元バーコードでもこれに代用されるビットマップデータでも構わない。利用者はバーコードの提示を済ませるとボタン１０６と対応づけた動画撮影再生機能を持たない携帯電話１のキーを押下しバーコードの表示を終了する。
【００５２】
サービスセンタ４ｃは提示されたＩＤの正当性を確認すると街頭のカメラ３を起動し、撮影した画像を静止画フォーマットで動画撮影再生機能を持たない携帯電話１に送付し街頭のカメラで撮影された利用者の静止画１２として表示する。利用者は表示内容からカメラの位置と利用者自身が写っていることを確認し録音の為ボタン１１４に対応づけた動画撮影再生機能を持たない携帯電話１のキーを押下しサービスセンタ４ｃに通知する。
【００５３】
動画撮影再生機能を持たない携帯電話１はボタン１１４の押下時、ボタン１１４に別途割り当てられたサービスセンタ４ｃの電話番号に電話をかける。利用者は接続されると音声ガイダンスに従い録音を開始し、要件がすむとボタン１１６に対応づけた動画撮影再生機能を持たない携帯電話１のキーを押下する事で電話を切り、サービスセンタ４ｃは電話が切れた時点で録音を終了しビデオメールの送信は完了する。
【００５４】
図１１を用いて、本システムの一連の動作フローを示す。図１１に示した通り、動画撮影再生機能を持たない携帯電話１の利用者はセンタ呼出１０２に引き続きＩＤ取得１０３を試みＩＤを得る。ＩＤはＩｒＤＡでＩＤ提示１０５ｂするか、バーコード生成１０４を経てＩＤ表示１０５ａで動画撮影再生機能を持たない携帯電話１の画面に表示し街頭のセンサ又はカメラ２に提示する。
【００５５】
サービスセンタ４ｃがＩＤの正当性を確認するとカメラ起動１０６の後撮影開始１０７でへて街頭のカメラ３から撮影した画像を得る。撮影した画像を静止画フォーマットで動画撮影再生機能を持たない携帯電話１に送付しカメラ位置確認１１３を促し確認される。同時に動画撮影再生機能を持たない携帯電話１はサービスセンタ４ｃに電話をかけ、利用者は接続されると録音開始１１４で音声ガイダンスに従い録音を開始し、サービスセンタ４ｃは動画音声同期処理１１５で街頭のカメラ３から動画を受信し録音中の音声データと重畳しテレビ電話のデータフォーマットに変換し、ビデオメールサーバ５に送信する。ビデオメールサーバ５は受信したデータをVideo Mail格納１１６で随時格納し終了を待ち、切断１１７で格納を完了する。
【００５６】
完了後、ビデオメールサーバ５はVideo Mail着信通知６０１でビデオメールの着信を携帯テレビ電話６に通知し、適宜携帯テレビ電話６からビデオメールサーバ５に接続し、Video Mail再生６０２で再生ないしダウンロードの後再生を行う。再生ないしダウンロードが済むと切断６０３で携帯テレビ電話６はビデオメールサーバ５との接続を切る。
【００５７】
図１２を用いて、第４の実施の形態を説明する。
図１２において、４ｄはサービスセンタ、６ａ，６ｂは携帯テレビ電話である。
【００５８】
簡単の為、第２の実施の形態を示す図６との差違を示す。第４の実施の形態において、携帯テレビ電話６ａと携帯テレビ電話６ｂ間で通話開始時からテレビ電話で通話を行っている。通話中サービスセンタ４ｄのコールエージェントは呼制御を行い、通信状況を把握する以外、メディア変換は行わない。
【００５９】
携帯テレビ電話６ａの利用者は、携帯テレビ電話６ａから、街頭のカメラ３と街頭の表示装置９、街頭のマイクとスピーカ１０で構成される街頭の通信端末に切り換えて通話を希望する場合、サービスセンタ４ｄを呼出し街頭の通信端末を利用してテレビ電話サービスを受ける為のＩＤを請求しＩＤを得る。携帯テレビ電話６ｂと街頭のセンサ又はスキャナ２によるＩＤの提示からサービスセンタ
４ｄでのＩＤの正当性の確認は、第１乃至３の実施の形態に示す手順と同様
である。
【００６０】
提示されたＩＤの正当性を確認したサービスセンタ４ｄは街頭のカメラ３を起動し撮影を開始する。撮影した画像は、所謂ＪＰＥＧやＧＩＦ等の静止画フォーマットで携帯テレビ電話６ａに送付し画面上に表示する。利用者は表示内容からカメラの位置と利用者自身が写っていることを確認し確認した旨サービスセンタ４ｄに通知する。この確認においてサービスセンタ４ｄは利用者の周囲にある複数の街頭のカメラ３から画像を取り寄せ、順次携帯テレビ電話６ａに送付し利用者に選択させることで通信に用いる街頭のカメラ３を決定することもできる。
【００６１】
サービスセンタ４ｄは街頭の通信端末の利用準備が整ったので、携帯テレビ電話６ｂにテレビ電話データの経路をサービスセンタ４ｄのメディア変換器経由に切り換える様指示する。経路切り換えに成功すると、サービスセンタは、携帯テレビ電話６ｂから受信したテレビ電話フォーマットのデータを分離し、音声データを街頭のスピーカとマイク１０のスピーカで再生し動画データを街頭の表示装置９に表示する。また、サービスセンタ４ｄのメディア変換器は、街頭のスピーカとマイク１０のマイクで集音した音声データと街頭のカメラで撮影した動画データをテレビ電話フォーマットに変換し携帯テレビ電話６ｂに送信し、携帯テレビ電話６ｂとのテレビ電話での通話を行う。
切り換えた時点で携帯テレビ電話６ａは携帯電話網８での通話が切れる。
【００６２】
街頭の通信端末でテレビ電話中に、携帯テレビ電話６ａで携帯テレビ電話６ｂとの継続した通話を希望した場合、携帯テレビ電話６ａからサービスセンタ４ｄを呼出し切り換えを要求する。サービスセンタ４ｄのコールエージェントは通話中のメディア変換器を制御し、メディア変換器と携帯テレビ電話６ｂ間でのテレビ電話の通話を、携帯テレビ電話６ｂと携帯テレビ電話６ａ間で通話に切り換える。
切り換えが完了するとサービスセンタ４ｄはメディア変換器と街頭の通信端末を解放する。
【００６３】
次に、図１４乃至図１８を参照して、第５の実施の形態を説明する。
図１４において、３ｅは街頭のカメラ、４ｅはサービスセンタである。
【００６４】
図１５において、１２ａはカメラ入力無し、１２ｂは街頭のカメラ３の撮像、１２ｃは街頭のカメラ３ｅの撮像、１２ｄは周囲のカメラの撮像、１２０はアイコンでひとつ前の撮像を呼び出すアイコン、１２１は選択決定のアイコン、１２２は次の撮像を呼び出すアイコンである。
【００６５】
図１７において、１４ａ，１４ｂ，１４ｃ，１４ｄはカメラ割を示すアイコン、１４ａ１はカメラ１の撮像を主画面に配置するカメラ割を示すアイコン、１４ａ２はカメラ２の撮像を主画面に配置するカメラ割を示すアイコンである。
【００６６】
簡単の為、第１の実施の形態を示す図１との差違を示す。
第５の実施の形態において、利用者は動画撮影再生機能を持たない携帯電話１と携帯テレビ電話６との間で携帯電話網８を介して通話を開始し、以後、サービスセンタ４ｅが提示されたＩＤの正当性を確認するまでの処理は同じである。
【００６７】
サービスセンタ４ｅは、街頭のカメラ３と街頭のカメラ３ｅ、及び周囲の街頭のカメラを起動して撮影を開始する。撮影した画像は、所謂ＪＰＥＧやＧＩＦ等の静止画フォーマットで動画撮影再生機能を持たない携帯電話１に送付し、動画撮影再生機能を持たない携帯電話１の画面上に表示する。
動画撮影再生機能を持たない携帯電話１の画面上には、図１５に示すとおり、街頭のカメラ３の撮像１２ｂと街頭のカメラ３ｅの撮像１２ｃが表示され利用者は任意の２枚を選択アイコン１２１に対応付けられたボタン又はキー（以下ボタン等と略す）を押すことで選択する。
【００６８】
図１５で選択する画像は、アイコン１２０，アイコン１２２に対応付けられたボタン等を押下することで横方向にスクロールし切り換える。動画撮影再生機能を持たない携帯電話１は画面の設定を変えることで、縦方向のスクロールや図１６に示すような環状スクロールに切り換えが可能である。
【００６９】
選択が終了すると、図１７のカメラ割を示すアイコン１４ａ，１４ｂ，１４ｃ，１４ｄを選択することで２つの撮像の大小関係と配置を選択する。カメラ割を示すアイコン１４ａを選択すると、カメラ１の撮像を主画面に配置するカメラ割を示すアイコン１４ａ１が表示され、このカメラ割を選ぶと、街頭のカメラ３の撮像を主画面に、街頭のカメラ３ｅの撮像をワイプ画面に配置する。
【００７０】
アイコン１２０，１２２に対応付けられたボタン等の押下により、カメラ２の撮像を主画面に配置するカメラ割を示すアイコン１４ａ２に切り替わり、街頭のカメラ３ｅの撮像を主画面に街頭のカメラ３の撮像をワイプ画面に配置する。
【００７１】
携帯電話１はカメラ割の設定を保持し、図１５乃至図１６で撮像を選択した後、カメラ１の撮像を主画面に配置するカメラ割を示すアイコン１４ａ１を表示する事も可能で、アイコン１２０，１２２に対応付けられたボタン等の押下により、カメラ２の撮像を主画面に配置するカメラ割を示すアイコン１４ａ２に切り替えが可能である。
【００７２】
また、携帯電話１はカメラ割の設定を保持しているので、アイコン１４ａ１を表示せずにカメラ割に従い街頭のカメラ３の撮像と街頭のカメラ３ｅの撮像を表示し、アイコン１２０，１２２に対応付けられたボタン等の押下により、大小関係を切り換えることも可能である。
【００７３】
このように決められたカメラ割の情報はサービスセンタ４ｅに送信される。センタ４eで、街頭のカメラ３，３ｅの撮像はカメラ割に従って合成され、通話相手の携帯テレビ電話６にＭＰＥＧ−４のストリームデータとして伝送される。
【００７４】
図１８は、伝送されるＭＰＥＧ−４のストリームデータのフォーマットと表示領域属性の属性値を示す。
サービスセンタ４ｅは携帯テレビ電話６に対して、表示領域属性の属性値に引き続き通常のＭＰＥＧ−４のヘッダから始まるＭＰＥＧ−４のストリームデータとして送出する。
【００７５】
表示領域属性の属性値に続くＭＰＥＧ−４のストリームデータは、プログラムストリーム形式もしくはトランスポートストリーム形式のいずれかで、街頭のカメラ３と街頭のカメラ３ｅの撮像をビットマップイメージで合成した後、エンコードしたプログラムストリームと、個別にエンコードし折り込むトランスポートストリーム形式のいずれかでストリームデータを生成し送出する。
【００７６】
送出されるストリームデータには、トランスポートストリーム形式の場合、主映像オーバレイ禁止、主映像優先再生、ワイプ画面優先再生、主映像ワイプ画面切り換え禁止、ワイプ画面表示／非表示切り換え禁止、ワイプ画面境界点座標、受信端末側カメラのワイプ画面の表示を禁止するオーバレイ禁止等の属性値が付与され、受信端末では表示領域属性の属性値に従って表示される。
【００７７】
送出されるストリームデータが、プログラムストリーム形式の場合、主映像オーバレイ禁止、ワイプ画面境界点座標、受信端末側カメラのワイプ画面の表示を禁止するオーバレイ禁止等の属性値が付与され、受信端末では表示領域属性の属性値に従って表示される。
【００７８】
次に、図１９〜２５を参照して第６の実施の形態を説明する。
図１９において、４ｆはサービスセンタ、６ｃ，６ｄは携帯テレビ電話である。
【００７９】
図２０において１３０は通話状態の６ｃ、６ｄの動画表示、１３１はカメラ選択状態の６ｃ、６ｄの動画表示、１３２はレイアウト選択状態の６ｃ、６ｄの動画表示、１３３は合成通話状態の６ｃ、６ｄの動画表示、１３４は合成通話（共通画面）状態の６ｃ、６ｄの動画表示である。
【００８０】
図２１において、１３０１、１３０２は通話状態の６ｃの動画表示、１２３はアイコンで合成通話の申し込みバーコード提示するアイコン、１２４はアイコンでバーコード表示を終了し通話状態に戻すアイコン、１２４１、１２５１は状態表示，１２５はアイコンで対応するボタン等を、状態表示１２５１を確認した利用者が押下する。（これを、きっかけボタン機能と言う。）
図１９において、携帯テレビ電話６c、６ｄ間でテレビ電話通話（通話状態１３０）が行われる。
図２１の利用者が携帯テレビ電話６ｃの合成通話の申し込みバーコード提示するアイコン１２３に対応するボタン等を押下すると、携帯テレビ電話６ｃは、通話状態１３０の通話ＩＤを含むバーコード１１を生成又はダウンロードして画面上に表示する。
【００８１】
利用者は、このバーコード１１を街頭のセンサ又はカメラ２に示すことでサービスセンタ４ｆに通話ＩＤを提示する。提示を終えると、バーコード表示を終了し、通話状態に戻すアイコン１２４に対応するボタン又はキーを押下することでバーコード１１の表示を終了し、携帯テレビ電話６ｃの表示はテレビ電話通話に戻る。
【００８２】
携帯テレビ電話６ｃが一連のバーコード１１の提示中も、携帯テレビ電話６ｃ、６ｄ間のテレビ電話通話は継続し、携帯テレビ電話６ｃ、６ｄ間で音声と動画を送受信する。動画について携帯テレビ電話６ｃのみ表示を行わず破棄する。また、携帯テレビ電話６ｃはバーコード１１の提示中は、アイコン１２３に対応するボタン又はキーが押下された時点の撮像を繰り返し送り携帯テレビ電話６ｄ上でスティル表示を行うこともできる。
また、スティルコマンドないしスティル表示属性の付加された撮像を送ること によりテレビ電話６ｄ上でスティル表示を行うこともできる。（これをスティル属性と言う。）
図１９において、サービスセンタ４ｆはバーコード１１に含まれる通話ＩＤを携帯電話網に示し、携帯テレビ電話６ｃ、６ｄ間のテレビ電話通話のパケットのコピーを要求する。携帯電話網は通話ＩＤの正当性を確認すると、サービスセンタ４ｆに携帯テレビ電話６ｃ、６ｄ間のテレビ電話通話のパケットのコピーを転送するが、携帯電話網を介して携帯テレビ電話６ｃ、６ｄ間のテレビ電話通話は継続する。
【００８３】
図２１に示すように、提示を受けたサービスセンタ４ｆは、利用者が通話ＩＤを含むバーコードを提示した街頭のセンサ又はカメラ２の周囲の街頭のカメラ３を検索し、利用可能な街頭のカメラ３の存在の有無を携帯テレビ電話６ｃに通知し、携帯テレビ電話６ｃに状態表示１２５１を表示する。利用者はアイコン１２５に対応するボタン又はキーを押下し、利用可能な街頭のカメラ３が存在しない場合は通常のテレビ電話通話（通話状態１３０）に復帰し、利用可能な街頭のカメラ３が存在するとカメラ選択（カメラ選択状態１３１）に遷移する。
【００８４】
図２２，２３に第６の実施の形態におけるカメラ選択とカメラ割を示す。
カメラ選択状態１３１に遷移するとサービスセンタ４ｆは街頭のカメラ３を起動し撮影を開始する。撮影した画像は、携帯テレビ電話６ｃに送付し表示する。サービスセンタ４ｆは撮影した画像を所謂ＪＰＥＧやＧＩＦ等の静止画フォーマットに変換し携帯テレビ電話６ｃに送付し表示することもできる。
【００８５】
携帯テレビ電話６ｃの画面上には、図２２に示すとおり、携帯テレビ電話６ｃのカメラの撮像１２ｂと街頭のカメラ３の撮像１２ｃが表示され、利用者は任意の２枚を選択アイコン１２１に対応付けられたボタン又はキーを押すことで選択する。図２２で選択する画像はアイコン１２０，アイコン１２２に対応付けられたボタン又はキーを押下することで横方向にスクロールし切り換える。
【００８６】
選択が終了すると、図２３のカメラ割を示すアイコン１４ａ，１４ｂ，１４ｃ，１４ｄを選択することで、２つの撮像の大小関係と配置を選択する（レイアウト選択・合成状態１３２）。カメラ割を示すアイコン１４ｂを選択すると、カメラ１の撮像を主画面に配置するカメラ割を示すアイコン１４ｂ１が表示され、このカメラ割を選ぶと、携帯テレビ電話６ｃのカメラの撮像を主画面に、街頭のカメラ３の撮像をワイプ画面に配置する。
【００８７】
アイコン１２０，１２２に対応付けられたボタン等の操作により、カメラ２の撮像を主画面に配置するカメラ割を示すアイコン１４ｂ２に切り替わり、街頭のカメラ３の撮像を主画面に携帯テレビ電話６ｃのカメラの撮像をワイプ画面に配置する。
【００８８】
携帯テレビ電話６ｃはカメラ割の設定を保持し、図２２で撮像を選択した後、カメラ１の撮像を主画面に配置するカメラ割を示すアイコン１４ｂ１を表示する事も可能で、アイコン１２０，１２２に対応付けられたボタン等の操作により、カメラ２の撮像を主画面に配置するカメラ割を示すアイコン１４ｂ２に切り替えが可能である。
【００８９】
次に図２４，２５を用いて、第６の実施の形態における携帯テレビ電話６c、６dとサービスセンタ４ｆにおけるエンコード、合成、デコード処理について説明する。
【００９０】
図２４において、４１０はサービスセンタ４ｆのエンコーダ、４３１はサービスセンタ４ｆの自動編集機、４７０は携帯テレビ電話６ｃの間引き機能、４７１は携帯テレビ電話６ｃのビデオエンコーダ、４７３は携帯テレビ電話６ｃの音声エンコーダ、４７４ａ、４７４ｂは携帯テレビ電話６ｄのビデオデコーダ、４７５ａ、４７５ｂは携帯テレビ電話６ｄのフレームメモリ、４７６は携帯テレビ電話６ｄの音声デコーダである。
【００９１】
図１９のサービスセンタ４ｆは携帯テレビ電話６ｄにトランスポートストリーム形式の動画データを、もしくは、サービスセンタ４ｆは携帯テレビ電話６ｃの動画データと街頭のカメラ３からの動画データを合成し、携帯テレビ電話６ｄにプログラムストリーム形式の動画データを送信する。
図２４において、エンコーダ４１０は街頭のカメラ３が撮影したデータを全画面エンコードし自動編集機４３１に入力する。
【００９２】
携帯テレビ電話６ｃは携帯テレビ電話６ｃが具備するカメラで撮影したデータをビデオエンコーダ４７１で、音声を音声エンコーダ４７３でそれぞれエンコードし、携帯テレビ電話形式のデータに変換し携帯電話網に送信する。
【００９３】
携帯電話網はこの携帯テレビ電話形式のデータのコピーをサービスセンタ４ｆに中継し、サービスセンタ４ｆの自動編集機４３１に入力する。利用者がカメラ割で携帯電話６ｃの撮影した動画をワイプ画面に割り当てると、ビデオエンコーダ４７１に入力するデータは事前に間引き機能４７０で間引きワイプ画面のサイズに調整する。
【００９４】
サービスセンタ４ｆの自動編集機４３１は、携帯テレビ電話６ｃからの携帯テレビ電話形式のデータについて、カメラ割に従いワイプ画面が携帯テレビ電話６ｃの撮影した画像にある場合、動画データをエンコーダ４１０からの入力に差し換える。
サービスセンタ４ｆの自動編集機は携帯テレビ電話形式のデータとワイプ画面の動画データとを交互に織り込んだトランスポートストリーム形式のデータを出力し、携帯電話網を介して携帯テレビ電話６ｄに送信する。
【００９５】
このトランスポートストリーム形式のデータを受信した携帯テレビ電話６ｄは、携帯テレビ電話形式のデータをビデオデコーダ４７４ａと音声デコーダ４７６でデコードし、画像データはフレームメモリ５７４ａに蓄えられる。ワイプ画面の動画データはビデオデコーダ４７４ｂでデコードしフレームメモリ５７４ｂに蓄えられ、携帯テレビ電話６ｄの表示装置はフレームメモリ５７４ａ，ｂからデータを読み出し表示する。
【００９６】
サービスセンタ４ｆの自動編集機４３１は、カメラ割に応じてエンコード時の量子化係数等を操作しビットレートを携帯テレビ電話が許容するビットレートに収める。（ビットレート制限：量子化係数を指示）
カメラ割が携帯テレビ電話６ｃが撮影したデータを主画面とするとき、量子化係数をデフォルト値より若干、１ないし２減じた値とし、携帯テレビ電話６ｃにこの値でのエンコードを指示する。この値は事前にたとえば携帯テレビ電話６ｃの工場出荷時に書き込まれて合成エンコード用のデフォルト値に設定することもある。
【００９７】
サービスセンタ４ｆの動画編集機４３１は、量子化係数が指示されたことで主画面が占有するビットレートの上限が決まり、テレビ電話形式で定められた音声のビットレートの上限値から算出された残りのビットレートをエンコーダ４１０に指示する。こうすることでサービスセンタ４ｆは携帯テレビ電話６ｄに送信するトランスポートストリーム形式のデータのビットレートを許容値に収めている。
【００９８】
カメラ割が携帯テレビ電話６ｃが撮影したデータをワイプ画面とするとき、サービスセンタ４ｆの動画編集機４３１は、ワイプ画面が占有するビットレートと、テレビ電話形式で定められた音声のビットレートの上限値から算出された残りのビットレートもしくは量子化係数をデフォルト値より若干、１ないし２減じた値とするようにエンコーダ４１０に指示する。こうすることでサービスセンタ４ｆは携帯テレビ電話６ｄに送信するトランスポートストリーム形式のデータのビットレートを許容値に収めている。ワイプ画面のサイズが大きくなり主画面のサイズに占める割合が大きい場合、量子化係数をデフォルト値より若干、１ないし２減じた値でエンコードするように携帯テレビ電話６ｃに指示する。
（ワイプ画面領域への動きベクトル設定禁止）
（マクロブロック単位で挿入し合成）
図２５において、４１１はサービスセンタ４ｆの動きベクトル検索領域制限・座標変換機能、４３２はサービスセンタ４ｆの自動編集機、４７２は携帯テレビ電話６ｃの動きベクトル検索領域制限・座標変換機能、４７４は携帯テレビ電話６ｄのビデオデコーダ、４７５は携帯テレビ電話６ｄのフレームメモリである。
【００９９】
エンコーダ４１０は街頭のカメラ３が撮影したデータを、自動編集機４３２に入力する。携帯テレビ電話６ｃは、携帯テレビ電話６ｃが具備するカメラで撮影したデータをビデオエンコーダ４７１で、音声を音声エンコーダ４７３でそれぞれエンコードし、携帯テレビ電話形式のデータに変換し携帯電話網に送信する。携帯電話網はこの携帯テレビ電話形式のデータのコピーをサービスセンタ４ｆに中継し、サービスセンタ４ｆの自動編集機４３２に入力する。
【０１００】
利用者がカメラ割で携帯電話６ｃの撮影した動画をワイプ画面に割り当てると、街頭のカメラ３の動画が主画面となり、ワイプ画面が占有する領域を除いた全領域についてエンコードし自動編集機４３１に入力する。この場合、動きベクトル検索領域制限・座標変換機能４１１の指示に従い、ワイプ画面がはめ込まれる領域で動きベクトルの検索は行わずエンコードすることで、制限された領域を参照しない動画データを出力する。
【０１０１】
携帯テレビ電話６ｃの撮影した動画について、事前に間引き機能４７０で間引きワイプ画面のサイズに調整した上でビデオエンコーダ４７１に入力しエンコードする。同時に、動きベクトルについて、動きベクトル検索領域制限・座標変換機能４７２によりワイプ画面の座標系をワイプ画面がはめ込まれる主画面の座標系に切り替えエンコードする。エンコードされた動画データは音声エンコーダ４７３でエンコードされたデータと携帯テレビ電話形式のデータに加工し携帯電話網に送信する。サービスセンタ４ｆの自動編集機４３２は携帯電話網から携帯テレビ電話形式のデータのコピーを受信し動画データを切り出す。動画データはマクロブロック単位で管理し、適宜主画面の動画データのワイプ画面のデータが入る位置にマクロブロック単位で挿入される。挿入が終わると、携帯テレビ電話形式の画面サイズもしくは携帯テレビ電話６ｄの主画面の表示サイズに符合する動画データを完成する。
サービスセンタ４ｆは完成した動画データを携帯テレビ電話形式に加工し携帯電話網に出力し携帯テレビ電話６ｄに送信する。
【０１０２】
利用者がカメラ割で携帯電話６ｃの撮影した動画を主画面に割り当てると街頭のカメラ３の動画が主画面となり、ワイプ画面が占有する領域を除いた全領域についてエンコードし自動編集機４３１に入力する。この場合、ビデオエンコーダ４１０は街頭のカメラ３の撮影したデータを間引いてワイプ画面のサイズに調整した後エンコードする。同時に、動きベクトルについて、動きベクトル検索領域制限・座標変換機能４１１によりワイプ画面の座標系をワイプ画面がはめ込まれる主画面の座標系に切り替えエンコードする。
【０１０３】
携帯テレビ電話６ｃの撮影した動画について、ビデオエンコーダ４７１は動きベクトル検索領域制限・座標変換機能４７２の指示に従い、ワイプ画面がはめ込まれる領域で動きベクトルの検索は行わずエンコードする。こうすることで、制限された領域を参照しない動画データを出力する。
【０１０４】
エンコードされた動画データは音声エンコーダ４７３でエンコードされたデータと携帯テレビ電話形式のデータに加工し携帯電話網に送信する。サービスセンタ４ｆの自動編集機４３２は携帯電話網から携帯テレビ電話形式のデータのコピーを受信し動画データを切り出す。サービスセンタ４ｆの自動編集機４３２はこの動画データをマクロブロック単位で読み進み、ワイプ画面位置が入るべき位置に達するとエンコーダ４１０が出力したデータを適宜マクロブロック単位で挿入する。挿入が終わると、携帯テレビ電話形式の画面サイズもしくは携帯テレビ電話６ｄの主画面の表示サイズに符合する動画データを完成する。
サービスセンタ４ｆは完成したデータを携帯テレビ電話形式に加工し携帯電話網に出力し携帯テレビ電話６ｄに送信する。
【０１０５】
携帯テレビ電話６ｃの撮影した画像が主画面となるもしくはワイプ画面となるいずれの場合も、携帯テレビ電話６ｄは受信した携帯テレビ電話形式のデータを音声と動画に切り分け、音声データは音声デコーダ４７６でデコードし再生し、動画データはビデオデコーダ４７４でデコードした後フレームメモリ４７５に出力し表示する。
（ビットレート制限：量子化係数を指示）
カメラ割が、携帯テレビ電話６ｃが撮影したデータを主画面とするとき、サービスセンタ４ｆの自動編集機４３２は携帯テレビ電話６ｃから送られてきた携帯テレビ電話形式のデータの動画データの量子化係数を参照し、エンコーダ４１０に量子化係数を指示する。
【０１０６】
携帯テレビ電話６ｄに送信した携帯テレビ電話形式のデータのビットレートが最大値を超えた場合、自動編集機４３２は量子化係数を若干、１ないし２減じた値とし、携帯テレビ電話６ｃにこの値でのエンコードを指示し、ビットレートを許容値に収めている。
【０１０７】
カメラ割が、携帯テレビ電話６ｃが撮影したデータをワイプ画面とするとき、サービスセンタ４ｆの動画編集機４３２は、ワイプ画面が占有するビットレートと、テレビ電話形式で定められた音声のビットレートの上限値から算出された残りのビットレートもしくは量子化係数をデフォルト値より若干、１ないし２減じた値とするようにエンコーダ４１０に指示する。こうすることでサービスセンタ４ｆは携帯テレビ電話６ｄに送信する携帯テレビ電話形式のデータのビットレートを許容値に収めている。ワイプ画面のサイズが大きくなり主画面のサイズに占める割合が大きい場合、量子化係数をデフォルト値より若干、１ないし２減じた値でエンコードするように携帯テレビ電話６ｃに指示する。
【０１０８】
次に、図２６に第７の実施の形態を示す。
図２６において、１４０は通常の携帯テレビ電話通話、１４１は合成通話、１４２は外部表示装置を利用した合成通話、１４３は外部カメラと外部表示装置を利用した携帯テレビ電話通話である。
携帯テレビ電話間の通話は音声のみの通話とテレビ電話通話があり、いずれも携帯網を介して通信がなされる(140)。
【０１０９】
テレビ電話通話から合成通話に移行すると、携帯テレビ電話の音声と動画パケットはセンタにコピーが送られ、相手の携帯テレビ電話にはセンタで街頭カメラの映像を合成した音声と動画パケットが送られる(141)。音声もセンタを経由している為、動画に利用者の顔、例えば唇が映っていても、表示と発声の時間的なずれは極小に抑えている。
【０１１０】
合成通話の開始後、通話相手が外部表示装置を選ぶ事も可能で、センタで合成された動画はインターネット等携帯網とは別のパスで携帯テレビ電話周辺の外部表示装置に送られ表示される(142)。音声もセンタを経由させることで、動画に利用者の顔、例えば唇が映っていても、表示と発声の時間的なずれを抑えている。
【０１１１】
利用者は合成通話中に周辺の表示装置を利用することも可能である。この場合、街頭のカメラで利用者自身を撮影し、外部の表示装置でテレビ電話通話が継続可能なので、携帯テレビ電話で利用者以外の対象物を接写撮影したり、手に持ったまま携帯電話を狭い隙間の中に入れて隙間の状況を写したりできる。
【０１１２】
また、携帯テレビ電話のカメラを切り、合成通話を止めることもできる(143)ので、利用者が自宅で携帯テレビ電話を耳に当てテレビの大画面でテレビ電話をすることが可能となる。
【０１１３】
また、サービスセンタでの合成において、動きベクトルの参照を制限して符号化した動画ストリームを用いることでこの動画ストリームに別の動画ストリームを容易にはめ込み合成することが出来る。
【０１１４】
また、上述のはめ込み合成する別の動画ストリームの座標系をはめ込むストリームの座標系に変換する変換機構を具備することで、在来のデコーダで再生することが出来る。
【０１１５】
また、はめ込み合成するストリームについて一方の量子化係数を元に他方の符号化の際の量子化係数を指示ないし制御することで、合成後のストリームのビットレートを制御し、決められた帯域での伝送が実現でき、且つ在来のデコーダで再生ができる。
【０１１６】
また、携帯テレビ電話のカメラを切り合成通話を止めることで、利用者が自宅で携帯テレビ電話を耳に当てたまま、テレビの大画面を用いてテレビ電話で通話できる。
【０１１７】
尚、上記実施例では、公衆通信端末としてカメラや表示装置を街頭に設置しているが、設置場所は街頭に限らず、オフィス内や家庭内でもよく、任意である。
【０１１８】
上記した実施例によれば、従来、テレビ電話でサービスを受けられなかった携帯電話を、カメラや表示装置と連携して用いることで、携帯テレビ電話とテレビ電話で通話することができる。これにより、従来の携帯電話の延命が実現できる。
【０１１９】
また、街頭のカメラや街頭の表示装置等の稼働率も通信網の利用率も向上する。携帯電話からカメラや表示装置、更にスピーカやマイクで構成される通信端末に通信を切り換えることで、携帯電話が通話に利用していた携帯電話網の資源である周波数や基地局のリソースを解放でき、携帯電話網の混雑を低減し輻輳を回避できる。
【０１２０】
また、携帯テレビ電話間の通信の少なくとも一方を街頭の通信端末に切り換えることで、撮影された動画データに写り込む周囲のオブジェクトは増えて伝達する情報量を豊富にすることができる。
【０１２１】
また、公衆の通信端末に通話を切り換えることで連続通話時間の短い携帯テレビ電話の電池の消耗量を削減でき、連続通話時間も待ち受け時間も延ばすことが出来る。
【０１２２】
尚、特許請求の範囲に記載された事項以外に、更に主な態様を上げると以下のものがある。
(1)請求項５の通信方法において、前記識別子はコールエージェント又は第２の電話端末の何れかが画像データに変換し、この画像データを第２の電話端末の表示部に表示し、前記検知器がこの表示を読み取り、識別子に復調すること。
(2)請求項５の通信方法において、識別子の検知器は、通信網上に配置されたセンサ又はスキャナであり、識別子の読み取り時に１ミリメートルあたり７画素ないし１２画素もしくは１２画素以上の読み取り精度であること。
(3)請求項５の通信方法において、識別子の検知器は、撮影装置であり、被写界深度は１センチメートルないし３０センチメートルから∞であり、前記被写界深度の一部ないし全範囲で被写体の読み取り精度が１ミリメートルあたり７画素ないし１２画素もしくは１２画素以上となること。
(4)請求項１０記載の方法において、第２の電話端末のボタンの1つが動的に画像データ作成に割り付けられ、利用者がこのボタンを操作することで識別子を画像データに変換し表示すること。
(5)請求項１６記載のシステムにおいて、第１の電話端末のボタンの１つが動的に識別子の要求に割り付けられ、利用者がこのボタンを操作することでコールエージェントに識別子を要求すること。
【０１２３】
(6)請求項１６記載のシステムにおいて、第１の電話端末のボタンの１つが動的に画像データ作成に割り付けられ、利用者がこのボタンを操作することでコールエージェントに識別子を要求し受信した識別子を変換し、画像データを作成してこの第１の電話端末の画面に表示すること。
【０１２４】
(7)請求項１６記載のシステムにおいて、第１の電話端末のボタンの１つが動的に画像データ作成に割り付けられ、利用者がこのボタンを操作することでコールエージェントに識別子を変換して得られる画像データを要求し、受信した画像データを第１の電話端末の画面に表示すること。
【０１２５】
(8)請求項６記載の方法において、第２の電話端末が読み取り復調する公衆通信端末が表示する識別子であって、利用者は第２の電話端末のボタンの１つが読み取りに割り当てられていて、利用者がこのボタンを操作すると、読み取りと復調とコールエージェントへの送付の手順について、１番目だけ又は２番目までもしくはすべての手順を処理すること。
【０１２６】
(9)請求項１９において、返信されたパケットを受信したゲートウェイと携帯電話網であって、ゲートウェイは携帯電話網の他方の携帯テレビ電話に受信したパケットを転送し、同時にコールエージェント又は携帯電話網はある携帯テレビ電話が他の携帯テレビ電話に発信したパケットを前記パケットのコピーをサービスセンタに転送した時点で破棄すること。
【０１２７】
(10) 携帯テレビ電話に表示される上記識別子（ＩＤ）として、携帯テレビ電話のいずれか又は両方の電話番号、端末ＩＤ、接続している基地局のいずれか又は両方のＩＤ、利用しているチャネル番号、利用しているスロット番号、課金情報、のいずれか、又はこれらの組み合わせによる情報が用いられること。
(11)上記ＩＤは、赤外線又は光の明滅により表示されること。
(12)上記ＩＤは、携帯テレビ電話のボタンの操作に基いて一方の携帯テレビ電話が作成した、例えばバーコードから成るビットマップ画像を表示すること。
【０１２８】
(13)前記一方の携帯テレビ電話のボタンの一つが合成通話終了通知に割り当てられており、利用者がボタンの操作をすることで合成通話終了通知を発信し、街頭に設置された受光部(検知器)に示すこと、又は合成通話終了通知を携帯網を介してサービスセンタとコールエージェントに通知することで、パケットのコピーを停止し、パケットの廃棄を停止すること。
【０１２９】
(14)音声と動画からなるストリームと動画ストリームを合成する方法において、該音声と動画からなるストリームの動画のフレームと該動画ストリームのフレーム間には画素数で大小関係が有り、大きいフレームに小さいフレームの動画をはめ込んで合成し、合成された音声と動画からなるストリームを出力することを特徴とする合成方法。
(15)上記(14)の合成方法において、大きいフレーム中の小さいフレームをはめ込む領域は、マクロブロック単位であること。
(16)上記(14)の合成方法において、はめ込む小さいフレームを符号化するエンコーダは、大きいフレームのはめ込まれる領域の座標系に、小さいフレームの動画ストリームのマクロブロックの番号と動きベクトルの参照ブロック番号を変換する変換手段を具備すること。
(17)上記(14)の合成方法において、はめ込む小さいフレームの動画を符号化するエンコーダが、大きいフレームの動画を符号化するエンコーダに量子化係数を指示することで音声と動画からなるストリームと動画ストリームの合成サービスが出力する音声と動画からなるストリームのはめ込む小さいフレームの画質と大きいフレームの画質の一方を他方より良好にすること。
(18)上記(14)の合成方法において、動画ストリームは別の音声と動画からなるストリームから切り出した動画ストリームであること。
(19)上記(14)の合成方法において、合成は、ストリームに表示属性情報を付加して出力すること。
(20)上記(14)の合成方法において、表示属性情報を付加されたストリームを再生するデコーダと、表示属性情報に従い表示する表示装置を有すること。
【０１３０】
(21)請求項２６の合成方法において、デコーダが大きいフレームに小さいフレームの動画をはめ込んで再生する際に、はめ込む位置を指定すること。
(22)上記(21)の合成方法において、デコーダと表示装置が前記トランスポートストリームとは独立の映像を大きいフレームと小さいフレームの領域に表示することを禁止抑制すること。
(23)上記(21)の合成方法において、デコーダと表示装置が、前記トランスポートストリームとは独立の映像を大きいフレームと小さいフレームの領域に表示する位置を指定すること。
(24)上記(21)の合成方法において、前記デコーダと表示装置が、大きいフレームと小さいフレームのいずれかもしくは両方の表示を静止表示に指定すること。
(25)上記(21)の合成方法において、前記デコーダと表示装置が、大きいフレームと小さいフレームは更新頻度ないし出現頻度ないしフレームレートが異なること。
(26)上記(21)の合成方法において、前記大きいフレームと小さいフレームは更新頻度ないし出現頻度ないしフレームレートが異なるトランスポートストリームを出力すること。
(27)請求項１４記載の電話通信システムにおいて、前記コールエージェントは、すべての通話時間について、当初の音声通話を発呼した端末に課金すること。
【０１３１】
【発明の効果】
本発明によれば、カメラや表示装置などの通信端末を利用して、携帯電話と携帯テレビ電話との間でテレビ電話による通話をすることができる。
【図面の簡単な説明】
【図１】第１の実施の形態を示す電話通信システム図である。
【図２】第１の実施の形態における動画撮影再生機能を持たない携帯電話の画面表示を示す図である。
【図３】第１の実施の形態が実現するシステムの一連の動作フローを示す図である。
【図４】サービスセンタ４ａのテレビ電話フォーマットへのデータ変換を示す図である。
【図５】サービスセンタ４ａのテレビ電話フォーマットから動画と音声の分離を示す図である。
【図６】第２の実施の形態を示すシステム図である。
【図７】第２の実施の形態における動画撮影再生機能を持たない携帯電話の画面表示を示す図である。
【図８】第２の実施の形態が実現するシステムの一連の動作フローを示す図である。
【図９】第３の実施の形態を示すシステム図である。
【図１０】第３の実施の形態における動画撮影再生機能を持たない携帯電話の画面表示を示す図である。
【図１１】第３の実施の形態が実現するシステムの一連の動作フローを示す図である。
【図１２】第４の実施の形態を示すシステム図である。
【図１３】従来の技術を示すシステム図である。
【図１４】第５の実施の形態を示すシステム図である。
【図１５】第５の実施の形態におけるカメラ選択を示す図である。
【図１６】第５の実施の形態におけるカメラ選択を示す図である。
【図１７】第５の実施の形態におけるカメラ割を示す図である。
【図１８】第５の実施の形態におけるＭＰＥＧ−４のストリームデータのフォーマットと表示領域属性の属性値を示す図である。
【図１９】第６の実施の形態を示すシステム図である。
【図２０】第６の実施の形態における合成通話への切り換えを示す図である。
【図２１】第６の実施の形態における合成通話の申し込みを示す図である。
【図２２】第６の実施の形態におけるカメラ選択を示す図である。
【図２３】第６の実施の形態におけるカメラ割を示す図である。
【図２４】第６の実施の形態における携帯テレビ電話とサービスセンタにおけるエンコード、合成、デコード処理を示す図である。
【図２５】第６の実施の形態における携帯テレビ電話とサービスセンタにおけるエンコード、合成、デコード処理を示す図である。
【図２６】第７の実施の形態を示す図である。
【符号の説明】
１…動画撮影再生機能を持たない携帯電話、 ２…街頭のセンサ又はカメラ、
３…街頭のカメラ、 ４ａ、４ｂ、４ｃ…サービスセンタ、
５…ビデオメールサーバ、 ６，６ａ，６ｂ…携帯テレビ電話、
７…インターネット、 ８…携帯電話網、
９…街頭の表示装置、 １０…街頭のマイクとスピーカ、
１１…二次元バーコード、
１２…街頭のカメラで撮影された利用者の静止画、１０６，１０８、１１２，
１１４，１１６…ボタン、 ４１…画像入力、 ４２…音声入力、
４２ａ…コーデック、 ４３…自動編集機、 ４４…動画音声分離、
４５…動画出力、 ４６…音声出力、 ４６ａ…コーデック。

Claims (10)

1. 通信網を介して第１の電話端末と第２の電話端末の間で少なくとも音声による通話を行う通信方法であって、
   該通信網に接続され、通信相手となる電話端末の間で呼制御を行うコールエージェントと、動画データ及び音声データのフォーマットの変換を行うメディア変換器を有するサービスセンタを用意するステップと、
   少なくとも表示装置と撮影装置を含み、該サービスセンタと接続される公衆通信端末を用意するステップと、
   音声による通信機能と、動画の撮影機能と、撮影された動画の圧縮伸長及び再生表示する機能を有する第１の電話端末に対しては、該メディア変換器は動画データと音声データを含む形式で通信を行うステップと、
   少なくとも音声による通信機能は有するが、動画の撮影機能、又は撮影された動画を圧縮伸長し、再生表示する機能の少なくとも１つの機能を有しない第２の電話端末からの要求に対して、前記コールエージェントの制御の元、該第２の電話端末に識別子を付与するステップと、
   該第２の電話端末に該識別子に関連した情報を表示するステップと、
   該公衆通信端末に備えられた検知器により、該第２の電話端末に付与された該識別子を検知し、その検知された情報を該サービスセンタに送信するステップと、
   受信された該識別子の情報に従って、前記コールエージェントにより、動画データの送受信を行うために該第２の電話端末の周辺に在る該公衆通信端末の利用を可能にするステップと、
   該メディア変換器は、利用可能になった該公衆通信端末から得られた動画データと、該第２の電話端末から得られた音声データのフォーマットを変換して、該第１の電話端末へ送信するステップと、
   を有することを特徴とする通信方法。
2. 前記公衆通信端末の表示装置に識別子を表示するステップと、
   前記第２の電話端末は、該識別子を読み取り、復調して、前記コールエージェントに送るステップと、
   前記コールエージェントは、該第２電話端末に該識別子が指し示す公衆通信端末について利用を許可するステップと、
   を有する請求項１記載の通信方法。
3. 利用を許可する際に複数の該公衆通信端末に動画データを要求し、
   前記公衆通信端末毎に受信した動画データから静止画を切り出し、
   前記第２の電話端末に送信して静止画を一枚選択させて、テレビ電話通信に利用する公衆通信端末の選択を行わせること、
   を特徴とする請求項２記載の通信方法。
4. 該第２の電話端末の表示ボタンの１つは、動的に識別子の要求に割り付けられ、利用者により該ボタンを操作することで前記コールエージェントに識別子を要求することを特徴とする請求項１記載の通信方法。
5. 通信網を介して第１の電話端末と第２の電話端末の間で少なくとも音声による通話を行う電話通信システムにおいて、
   該通信網に接続され、通信相手となる電話端末の間で呼制御を行うコールエージェントと、動画データ及び音声データのフォーマットの変換を行うメディア変換器を有するサービスセンタを有し、
   該サービスセンタは、音声による通信機能と、動画の撮影機能と、撮影された動画の圧縮 伸長及び再生表示する機能を有する第１の電話端末に対しては、動画データと音声データを含む形式で通信を行い、
   該サービスセンタは、少なくとも音声による通信機能は有するが、動画の撮影機能、又は撮影された動画を圧縮伸長し、再生表示する機能の少なくとも１つの機能を有しない第２の電話端末からの要求に基いて、該第２の電話端末に識別子を付与し、該第２の電話端末に付与された該識別子を、該公衆通信端末に備えられた検知器が検知することで、該公衆通信端末を利用可能にし、
   該メディア変換器は、該第２の電話端末に対しては音声データを送受信し、利用可能になった該公衆通信端末で取得された動画データを受信し、
   かつ、該コールエージェントと複数の該メディア変換器は複数の公衆通信端末と通信が可能であり、
   通信網を介して第１の電話端末間で通話を行う場合、該コールエージェントは、他の第１の電話端末とのテレビ電話通信を、１つの該第１の電話端末から該公衆通信端末の１つに切り換えて、
   １つの該公衆通信端末は該メディア変換器の１つを介してテレビ電話を行うことを特徴とする電話通信システム。
6. 公衆通信端末でテレビ電話通話中の利用者の所持する該第２の電話端末又は第１の電話端末は、前記コールエージェントに対して該公衆通信端末からその利用者の所持する第２の電話端末又は第１の電話端末に通話の切り換えを要求し、
   該コールエージェントは、その要求に応じて前記メディア変換器と、通話相手となる第１の電話端末を制御して、該第２の電話端末での音声通話又は該第１の電話端末でのテレビ電話通話又は音声通話に移行することを特徴とする請求項５記載の電話通信システム。
7. 携帯電話網を介して複数の携帯テレビ電話間で通信できるテレビ電話通話システムにおいて、該携帯電話網に接続されると共に、該携帯電話網と別の網を介して検知器に接続されるサービスセンタであって、
   通話中の携帯テレビ電話に表示された識別子を該検知器で検知し、該検知器から送信された識別子の情報を受信し、
   かつ、該識別子を提示した該携帯テレビ電話が他の携帯テレビ電話に発信しているテレビ電話フォーマットのパケットのコピーを該携帯電話網から受け取ることを特徴とするサービスセンタ。
8. 該サービスセンタが受信した前記パケットのコピーは音声と動画を含み、該サービスセンタは動画に別の動画を付加又は合成し、携帯電話網に送信することを特徴とする請求項７記載のサービスセンタ。
9. 前記携帯テレビ電話のボタンは識別子の表示に割り当てられ、利用者が該ボタンを操作することで識別子の情報を光学的に提示することを特徴とする請求項７記載の通話に利用される携帯テレビ電話。
10. 該第２の電話端末のボタンの１つは、動的に識別子の表示に割り付けられ、利用者により該ボタンを操作することで該第２の電話端末に識別子がバーコードで表示されることを特徴とする請求項１記載の通信方法。

Images