JP4424027B2 - 携帯電話通信システム、仮想端末装置及び携帯電話端末並びにプログラム - Google Patents

携帯電話通信システム、仮想端末装置及び携帯電話端末並びにプログラム Download PDF

Info

Publication number
JP4424027B2
JP4424027B2 JP2004086541A JP2004086541A JP4424027B2 JP 4424027 B2 JP4424027 B2 JP 4424027B2 JP 2004086541 A JP2004086541 A JP 2004086541A JP 2004086541 A JP2004086541 A JP 2004086541A JP 4424027 B2 JP4424027 B2 JP 4424027B2
Authority
JP
Japan
Prior art keywords
signal
audio
network
image
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004086541A
Other languages
English (en)
Other versions
JP2005277654A (ja
Inventor
宏之 新保
彰 井戸上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2004086541A priority Critical patent/JP4424027B2/ja
Publication of JP2005277654A publication Critical patent/JP2005277654A/ja
Application granted granted Critical
Publication of JP4424027B2 publication Critical patent/JP4424027B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、携帯電話通信システム、仮想端末装置及び携帯電話端末並びにプログラムに関する。特に、仮想端末ソフトウェアを応用したシステム等に関する。
従来、パーソナルコンピュータのような端末の間で、仮想的に、一方の端末をサーバとし、他方の端末をクライアントとして構成するソフトウェアがある(例えば非特許文献1及び2参照)。これは、サーバとなる第1の端末に「仮想端末サーバプログラム」を起動させ、クライアントとなる第2の端末に「仮想端末クライアントプログラム」を起動させる。第1の端末は、第2の端末からの要求に対して画像信号を第2の端末へ送信し、第2の端末は、その画像信号をディスプレイに表示し、ユーザの要求となる入力を待つ。第2の端末は、ユーザによって入力されたキーボード等の情報を第1の端末へ送信し、その第1の端末からの更なる画像信号を受信する。
このような仮想端末ソフトウェアによれば、第1の端末から第2の端末に対して、画像信号しか送信されないために、その処理に伴う様々なプログラムを送信する場合と比較して、狭い通信帯域しか必要としない。特に、画像情報は、データ圧縮及び差分転送等の技術を用いることにより、更に狭い通信帯域で送信することが可能となる。また、クライアントとなる第2の端末は、画像信号を表示するだけであり、その処理に伴う様々なプログラムを実行する必要がない。そのプログラムの実行は、サーバとなる第1の端末で行われるので、第2の端末は、比較的小さいCPUの能力で実現できる。
図1は、従来の携帯電話通信システムの構成図である。
図1によれば、携帯電話事業者設備1と、設備1と無線リンクで接続された携帯電話端末2と、設備1と電話網5を介して接続され且つ音声信号を送受信する電話機3と、設備1とインターネット6を介して接続され且つデータを送受信するサーバ4及びクライアント7とから構成されている。携帯電話事業者設備1は、音声信号を転送する音声網11と、データを転送するデータ網12と、携帯電話端末2と無線リンクで接続する基地局13とを有する。携帯電話端末2と基地局13との間は、音声信号用無線リンクと、データ用無線リンクとによって接続されている。音声信号用無線リンクは音声網11と接続され、データ用無線リンクはデータ網12と接続されている。
携帯電話端末2は、音声信号用無線リンクから受信した音声信号をスピーカから発声し、データ用無線リンクから受信したデータを解釈して、その画像のディスプレイへの表示や、音声のスピーカからの発声を行う。
携帯電話端末2は、無線送受信部21と、アプリケーション処理部22と、音声デバイス部23と、入力デバイス部24と、画像デバイス部25とを有する。音声デバイス部23は、無線送受信部21から通知された音声信号についてデジタルからアナログへ変換してスピーカから発声し、マイクから取得された音声信号についてアナログからデジタルに変換して無線送受信部21へ通知する。画像デバイス部25は、アプリケーション処理部22から通知された画像信号をディスプレイに表示し、カメラから取得された画像信号をアプリケーション処理部25へ通知する。入力デバイス部24は、キーパッドから、ユーザの操作であるキー入力データを取得する。
無線送受信部21は、音声信号用無線リンクと音声デバイス部23との間で音声信号を送受信し、データ用無線リンクとアプリケーション処理部22との間でデータ信号を送受信する。
アプリケーション処理部22は、例えばWebブラウザと同様の機能を有し、データ用無線リンクを介して受信されたHTML(Hypertext Markup Language)データを解釈する。要求されたWebページが動画像データを含むものであれば、画像信号及び音声信号が取得され、画像信号は画像デバイス部25へ通知され、音声信号は音声デバイス部23へ通知される。一方、アプリケーション処理部22は、画像デバイス部25から受信した画像信号を、インターネットで送受信可能な形式に変換し、IPパケット化して、無線送受信部21を介して、データ用無線リンクに送信する。また、アプリケーション処理部22は、入力デバイス部24から取得した入力信号をアプリケーションで処理した後、処理した内容について、無線送受信部21を介して、データ用無線リンクに送信する。
仮想端末ソフトウェア"VNC"、[online]、[平成16年3月12日検索]、インターネット<URL:http://www.realvnc.com> WindowsXP"リモートデスクトップ"、[online]、[平成16年3月12日検索]、インターネット<http://www.atmarkit.co.jp/fwin2k/xp_feature/012remotedesktop/remotedesktop_01.html> 3GPP2 3G−324M(3GPP TR26.911 Version5.10)、[online]、[平成16年3月12日検索]、インターネット<http://www.3gpp.org/ftp/Specs/html-info/26911.htm> マイクロソフト、「Windows Messengerにおける通信の仕組み」の「音声とビデオ」、[online]、[平成16年3月12日検索]、インターネット<URL:http://www.microsoft.com/japan/technet/treeview/default.asp?url=/japan/technet/prodtechnol/winxppro/evaluate/insid01.asp>
前述したような「仮想端末クライアントプログラム」は、画像信号のみを対象としている。これに対し、インターネットにおいて送受信されるユーザデータには、文字データ又は画像データだけでなく、VoIPのような音声データ又はMPEGのような動画データも含まれる。このようなデータは、画像信号(文字データと動画像データの画像信号とを含む)と、音声信号(動画像データの音声データも含む)とに大きく区別される。従って、携帯電話端末との間でデータ網を介して送受信されるユーザデータにも、音声信号の成分が含まれることになる。このような場合に従来の「仮想端末クライアントプログラム」をそのまま適用した場合、音声信号が扱えないという問題が生じる。
図1に示すようなネットワークを介して、サーバからのユーザデータを受信する場合、ユーザデータに音声データが含まれていても、ユーザデータは全てデータ用無線リンクを介して受信することになる。従って、音声データであるにもかかわらず、データ用無線リンクだけが使用される。そのため、音声信号用無線リンク及びデータ用無線リンクの全体を有効に利用することができない。
また、携帯電話端末は、受信したデータを解釈し、画像信号や音声信号に復元しなければならないために、ユーザデータに含まれるデータ種別が高度になるほど、より高性能なCPU又は周辺装置が携帯電話端末に必要になる。このようなCPU等の高性能化は、消費電力の増大、即ち携帯電話端末の待ち受け時間の短縮にもつながる。
従って、本発明は、音声信号用及びデータ用の無線リンク全体を有効に利用することができ、携帯電話端末における処理負荷が少なくて済むようなシステム、装置及びプログラムを提供することを目的とする。
本発明の携帯電話通信システムによれば、
音声網と、データ網と、該音声網及び該データ網に接続された携帯電話端末と、音声網及びデータ網に接続された仮想端末装置と、該仮想端末装置に接続された相手通信装置とを有し、
仮想端末装置は、相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分けるアプリケーション処理手段と、画像信号を仮想画面に展開する仮想画面手段と、音声信号及び画像信号に同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する同期処理手段とを有し、
携帯電話端末は、音声網を介して受信した音声信号と、データ網を介して受信した画像信号とを同期させる同期処理手段と、音声信号を発声する音声デバイス手段と、画像信号を表示する画像デバイス手段とを有することを特徴とする。
また、本発明の携帯電話通信システムにおける他の実施形態よれば、
携帯電話端末は、利用者の操作内容を取得する入力デバイス手段と、該操作内容を入力信号としてデータ網へ送信する入力処理手段とを更に有し、
仮想端末装置は、入力信号から得られる操作内容をアプリケーション処理手段へ通知する入力処理手段を更に有し、該アプリケーション処理手段は、操作内容を解釈して相手通信装置へユーザデータを要求するように構成されていることも好ましい。
また、本発明の携帯電話通信システムによれば、
音声網と、データ網と、該音声網及び該データ網に接続された携帯電話端末と、音声網及びデータ網に接続された仮想端末装置と、仮想端末装置に接続された相手通信装置とを有し、
携帯電話端末は、音声信号を取得する音声デバイス手段と、画像信号を取得する画像デバイス手段と、音声信号及び画像信号に同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する同期処理手段とを有し、
仮想端末装置は、音声網を介して受信した音声信号と、データ網を介して受信した画像信号とを同期させる同期処理手段と、同期された音声信号及び画像信号を統合した統合データを生成し、該統合データを相手通信装置へ送信するアプリケーション処理手段とを有することを特徴とする。
また、本発明の携帯電話通信システムにおける他の実施形態によれば、
仮想端末装置は、アプリケーション処理手段の結果に基づいて携帯電話端末を制御する指示信号を生成し、該指示信号を携帯電話端末へ送信する、及び携帯電話端末からの指示信号を受信し、仮想制御装置の仮想画面を制御する指示処理手段を更に有し、
携帯電話端末は、仮想端末装置から受信した指示信号に基づいて音声デバイス手段及び画像デバイス手段を制御する、及び仮想端末装置の仮想画面と同期を取るために指示信号を生成し、該指示信号を仮想端末装置へ送信する指示処理手段を更に有することも好ましい。
本発明の仮想端末装置によれば、
音声網及びデータ網に接続されており、
相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分ける機能と、音声網から受信された音声信号及びデータ網から受信された画像信号を統合した統合データを生成し、該統合データを相手通信装置へ送信する機能とを有するアプリケーション処理手段と、
画像信号を仮想画面に展開する仮想画面手段と、
音声信号及び画像信号に同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する機能と、音声網を介して受信した音声信号とデータ網を介して受信した画像信号とを同期させる機能とを有する同期処理手段とを有することを特徴とする。
本発明の携帯電話端末によれば、
音声網及びデータ網に接続されており、
音声信号を発声し且つ取得する音声デバイス手段と、
画像信号を表示し且つ取得する画像デバイス手段と、
音声網を介して受信した音声信号と、データ網を介して受信した画像信号とを同期させ、音声信号を音声デバイスへ通知し、画像信号を画像デバイス手段へ通知する機能と、音声デバイスから通知された音声信号と画像デバイス手段から通知された画像信号とに同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する機能とを有する同期処理手段と、
を有することを特徴とする。
本発明の仮想端末プログラムによれば、
音声網及びデータ網に接続されており、
相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分ける機能と、音声網から受信された音声信号及びデータ網から受信された画像信号を統合した統合データを生成し、該統合データを相手通信装置へ送信する機能とを有するアプリケーション処理手段と、
画像信号を仮想画面に展開する仮想画面手段と、
音声信号及び画像信号に同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する機能と、音声網を介して受信した音声信号とデータ網を介して受信した画像信号とを同期させる機能とを有する同期処理手段と
してコンピュータを機能させることを特徴とする。
本発明の携帯電話端末プログラムによれば、
音声網及びデータ網に接続されており、
音声信号を発声し且つ取得する音声デバイス手段と、
画像信号を表示し且つ取得する画像デバイス手段と、
音声網を介して受信した音声信号と、データ網を介して受信した画像信号とを同期させ、音声信号を音声デバイスへ通知し、画像信号を画像デバイス手段へ通知する機能と、音声デバイスから通知された音声信号と画像デバイス手段から通知された画像信号とに同期信号を付与し、該音声信号を音声網に送信し、該画像信号をデータ網に送信する機能とを有する同期処理手段と
してコンピュータを機能させることを特徴とする。
本発明の仮想端末装置及びネットワークシステムによれば、音声データに対しては音声網及び音声用無線リンクが用いられるために、無線リンク全体を有効に利用することができる。また、携帯電話端末に搭載されるCPUは、単純な音声/画像信号のみを処理すればよく、携帯電話端末がユーザデータを解釈する必要がない。従って、高性能なCPU等が不要となり、消費電力の消費も比較的少なく済み、携帯電話端末の待ち受け時間の延長につながる。
更に、携帯電話端末の表示能力の表示画面サイズは一定であるので、画像信号を転送するデータ用無線リンクの通信帯域を一定にすることができる。また、仮想端末の方式を採用することにより、ユーザデータの全てを転送する必要がないため、無線リンクで必要となる帯域を抑制することができる。
更に、携帯電話端末は、音声デバイス部によって取得された音声信号と、画像デバイス部によって取得された画像信号とをアプリケーション処理することなく別々に仮想端末装置へ送信することができるので、この点においても、携帯電話端末の処理負荷の軽減となる。
以下では、図面を用いて、本発明を実施するための最良の形態について詳細に説明する。
図2は、本発明における携帯電話通信システムの構成図である。
図2によれば、図1と比較して、インターネット6とデータ網12との間に仮想端末装置10を備えている点が相違する。仮想端末装置10は、データ網12と音声網11とに接続されている。図1の従来技術によれば、携帯電話端末2がアプリケーション処理部22を有するのに対し、図2の本発明によれば、仮想携帯端末装置10が、携帯電話端末のアプリケーション処理部を有することに特徴がある。本発明による携帯電話端末は、仮想端末装置10との間で、音声網を介して音声信号を送受信し、データ網を介して画像信号(その他データを含む)を送受信する。
仮想端末装置10は、アプリケーション処理部101と、仮想画面部102と、入力処理部103と、指示処理部104と、同期処理部105とを有する。勿論、これら機能部は、プログラムとして実現可能である。
アプリケーション処理部101は、既存の携帯電話端末に搭載されるアプリケーション処理の機能を有する。この機能は、インターネット6を介して受信されたIPパケットのデータの内容を解釈するものである。例えばWebページを受信した場合、既存の携帯電話端末に搭載されているブラウザ機能と同じ処理を行う。Webページが例えばHTML(HyperText Markup Language)データと動画像データとを含む場合、ディスプレイに表示するための画像信号と、音声デバイス部に出力するための音声信号とを取り出すことができる。アプリケーション処理結果から画像信号や音声信号を取り出す方式は、既存の方式(例えば非特許文献3参照)を用いる。
また、アプリケーション処理部101は、音声網11及びデータ網12を介して受信された音声信号及び画像信号から、アプリケーション処理によって統合データを生成する機能を有する(例えば非特許文献4参照)。例えば、音声信号及び画像信号から動画像データのストリームデータを生成することができ、HTTP(HyperText Transfer Protocol)によってインターネット6を介して相手通信端末へ送信される。
更に、アプリケーション処理部101は、携帯電話端末2に対して指示信号を送信する機能も有する。指示信号とは、携帯電話端末2の音声デバイス部23及び画像デバイス部25を制御させるための信号である。これは、アプリケーションの処理によって携帯電話端末2を制御するために用いられる。
仮想画面部102は、アプリケーション処理部101から出力された画像信号を、仮想画面に描画する機能を有する。これにより、現在、携帯電話端末の画面上に描画されている内容を把握することができる。あくまで、仮想的に画面描画するものであり、実際にディスプレイに表示するものではない。
入力処理部103は、携帯電話端末2から受信した入力信号を解釈し、利用者が入力した内容、例えばキーパッドからの入力の内容を、アプリケーション処理部101へ通知する。
指示処理部104は、アプリケーション処理部101の処理結果に基づいて、携帯電話端末2のカメラを起動するような制御、又は、無線状況によって携帯電話端末のディスプレイと仮想端末装置の仮想画面との内容を同期させるような制御のための指示信号を生成し、データ網12へ送信する。加えて、携帯電話端末2への指示に対する応答、又は、携帯電話端末2から送信される仮想画面同期制御のための指示信号をデータ網から受信する。
同期処理部105は、動画像データのように画像信号と同期信号とを同期させなくてはならない場合に、画像信号及び音声信号に同期信号を埋め込んで携帯電話端末2へ送信する機能を有する。また、携帯電話端末2から受信した画像信号及び音声信号について同期をとってアプリケーション処理部101へ通知する機能も有する。
音声信号及び画像信号に付加される同期信号は、タイムスタンプのようなものであって、それぞれの信号について時間的に同じ部分は、同じ値が入ることになる。同期信号は、音声信号及び画像信号のヘッダ部分に付加される。携帯電話網では、音声信号もデジタル化されているために、このようなヘッダを付けることは容易である。
例えば、同期処理部105は、データ網から画像信号は受信されているけれども、音声網から音声信号が受信されていない場合(又はその逆)、同一の同期信号を有する音声信号(又は画像信号)が到着するまで、画像信号(又は音声信号)を蓄積する機能も有する。これにより、同一の同期信号を有する音声信号(又は画像信号)信号が到着しだい、同一タイミングで、画像信号及び音声信号をアプリケーション処理部101へ通知する。
加えて、同期処理部105は、アプリケーション処理部101から通知された音声信号と、画像信号とが動画像データのようなものであって、同期をとる必要がある場合には、音声信号及び画像信号に同期信号を埋め込んで、音声網11とデータ網12に送信する機能も有する。尚、音声信号と画像信号とについて同期を取る必要がなければ、それぞれの信号を単独に送信する。
また、電波状況の悪化によって通信できない場合に、携帯電話端末2に反映された情報と、仮想端末装置10の情報とを同期させる機能を有する。本機能は、通信が可能になった場合、携帯電話端末の画像情報から、仮想画面を再構築するためのものである。
本発明による携帯電話端末2は、無線送受信部21と、音声デバイス部23と、入力デバイス部24と、画像デバイス部25と、同期処理部26と、入力処理部27と、指示処理部28とを有する。無線送受信部21と、音声デバイス部23と、入力デバイス部24と、画像デバイス部25とは、図1の説明と同様である。
同期処理部26は、動画像データのように画像信号及び音声信号を同期させなくてはならない場合、音声網11から受信した音声信号とデータ網12から受信した画像信号とに埋め込まれている同期信号を用いて、これら信号を同期させる。同期させた音声信号は音声デバイス部23へ通知され、画像信号は画像デバイス部25へ通知される。
例えば、同期処理部26は、データ網から画像信号は受信されているけれども、音声網から音声信号が受信されていない場合(又はその逆)、同一の同期信号を有する音声信号(又は画像信号)が到着するまで、画像信号(又は音声信号)を蓄積する機能も有する。これにより、同一の同期信号を有する音声信号(又は画像信号)信号が到着しだい、同一タイミングで、音声信号を音声デバイス部23へ通知し、画像信号を画像デバイス部25へ通知する。
加えて、同期処理部26は、音声デバイス部23から受信した音声信号と、入力デバイス部24から受信した画像信号とが動画像データのようなものであって、同期をとる必要がある場合には、音声信号及び画像信号に同期信号を埋め込んで無線送受信部21へ通知する機能も有する。尚、音声信号と画像信号とについて同期をとる必要がなければ、それぞれの信号を単独に送信する。
入力処理部27は、例えばキーパッドのような入力デバイス部24から入力の内容を受信する。そして、入力の内容に基づく入力信号を同期処理部26へ通知する。これにより、入力信号は、データ用無線リンクを介して仮想端末装置10へ送信される。また、入力された内容を、画像デバイス部25へ通知し、ディスプレイにその内容を表示させる。
また、入力処理部27は、入力されたデータを保持し、利用者のアクション(送信ボタン等の押下)により、仮想端末装置10へ送信するようにすることができる。携帯電話通信システムは、基本的に往復遅延が大きいために、最終的な結果のみを仮想端末装置へ送信することにより、遅延対策又は帯域節約を行う。
指示処理部28は、仮想端末装置10から受信した指示信号に基づいて、音声デバイス部23と、入力デバイス部24と、画像デバイス部25とを制御する。例えば、指示信号に基づいて画像デバイス部25のカメラを起動させたり、音声デバイス部23のマイクを起動させることができる。加えて、仮想端末装置10からの指示信号への応答や、仮想端末装置10へ仮想画面同期制御のための指示信号を生成し、送信することができる。指示信号は、データ用無線リンクを介して仮想端末装置10と送受信される。
図3は、サーバから携帯電話端末へWebページを送信するシーケンス図である。
(S301)携帯電話端末2を操作するユーザが、サーバ4に、動画像データを有するWebページ(例えばMPEG形式及び文字から構成)を要求する。このページ要求は、ユーザが携帯電話端末2を操作して、所定のボタンを押下したことがトリガとなる。このユーザの操作は、入力デバイス部24が検出する。
(S302)入力デバイス部24は、ユーザが携帯電話端末2に入力した情報を入力処理部27へ通知し、入力処理部27は入力信号を生成する。その入力信号は、データ用無線リンクとデータ網12とを介して、仮想端末装置10へ送信される。その後、入力信号は、仮想端末装置10の入力処理部103へ通知され、入力された内容(画面上の位置及びボタンが押下されたこと)が、アプリケーション処理部101へ通知される。
(S303)アプリケーション処理部101は、入力された内容に基づいて、ユーザが当該Webページを要求をしていることを把握する。これは、既存の携帯電話端末におけるハイパーリンクのクリックと同様の処理である。
(S304)仮想端末装置10は、当該Webページを要求する。サーバ4と仮想端末装置10との間は、既存の携帯電話端末と同様に、HTTPによって実現される。従って、Webページの要求は、HTTP Requestによって行われる。
(S305)サーバ4は、Webページのデータ(HTMLデータ+動画像)を返信する。
(S306)仮想端末装置10のアプリケーション処理部101は、受信したデータの内容を解釈する。この解釈処理は、既存の携帯電話端末に搭載されているブラウザが行う処理と同じである。解釈の結果、取得したWebページには、HTMLデータと動画とが含まれていることを把握する。そして、アプリケーション処理部101は、HTMLデータ及び動画像から、ディスプレイに表示するための画像信号と、スピーカから出力するための音声信号とに振り分ける。
(S307)アプリケーション処理部101は、S306で生成された画像信号を、仮想画面部102へ通知する。
(S308)仮想画面部102は、S306で生成された画像信号を、仮想端末装置の仮想画面上に描画する。これは、仮想端末装置内で携帯電話端末の画面表示を把握するために行われる。
(S309)仮想画面部102は、画像信号を同期処理部105へ通知する。
(S310)アプリケーション処理部101は、S306で生成された音声信号を、同期処理部105へ通知する。
(S311)同期処理部105は、S309及びS310で通知された画像信号及び音声信号に対して、同期信号を付加する。
(S312)同期処理部105は、画像信号をデータ網12へ送信する。
(S313)同期処理部105は、音声信号を音声網11へ送信する。
(S314)携帯電話端末2は、データ用無線リンクを介して画像信号を受信し、音声信号用無線リンクを介して音声信号を受信する。同期処理部26は、受信された画像信号及び音声信号について同期信号の同期をとり、同期がずれている場合は、同一タイミングの同期信号を有する信号が来るまで一旦蓄積する。
(S315)同期処理部26は、同期がとられた画像信号を、画像デバイス部25へ通知する。
(S316)同期処理部26は、同期がとられた音声信号を、音声デバイス部23へ通知する。
(S317)画像デバイス部25は、通知された画像信号をディスプレイに表示する。また、音声デバイス部23は、通知された音声信号をスピーカから発声させる。
図4は、携帯電話端末2からクライアント7へ動画像データを送信するシーケンス図である。
(S401)携帯電話端末2を所持しているユーザが、クライアント7へ動画像データ(画像信号+音声信号)を送信したいとする。この送信は、ユーザが携帯電話端末2を操作して、所定のボタンを押下したことがトリガとなる。このユーザの操作は、入力デバイス部24が検出する。
(S402)入力デバイス部24は、ユーザが携帯電話端末2に入力した情報(ボタンの押下)を入力処理部27へ通知し、入力処理部27は、入力信号を生成する。その入力信号は、データ用無線リンクとデータ網12とを介して、仮想端末装置10へ送信される。その後、入力信号は、仮想端末装置10の入力処理部103へ通知され、入力された内容(画面上の位置及びボタンが押下されたこと)が、アプリケーション処理部101へ通知される。
(S403)アプリケーション処理部101は、入力された内容に基づいて、ユーザがクライアント7へ動画像データを送信したいことを把握する。
(S404)アプリケーション処理部101は、受信先となるクライアント7へ動画像送信待機要求を送信する。尚、S404及びS405の処理は、既存のストリーミングデータ送信方式(例えば非特許文献4参照)を用いて行われる。
(S405)サーバ4は、動画像を受信する準備ができた場合、動画像受信待機応答を仮想端末装置10へ返信する。
(S406)仮想端末装置10のアプリケーション処理部101は、携帯電話端末2のカメラ又はマイクを起動して動画像データの送信を開始すべきことを、指示処理部104へ通知する。指示処理部104は、その旨の指示信号を生成し、携帯電話端末2へ送信する。携帯電話端末2の指示処理部28は、受信した指示信号に基づいて、画像デバイス部25へカメラを起動することと、音声デバイス部23へマイクを起動することとを通知する。
(S407)画像デバイス部25はカメラを起動し、音声デバイス部はマイクを起動する。
(S408)画像デバイス部25は、カメラによって取得された画像信号を同期処理部26へ通知する。
(S409)音声デバイス部23は、マイクによって取得された音声をデジタル化した音声信号を、同期処理部26へ通知する。音声信号には、データとして送信することを示す情報をヘッダ部分に付加する。
(S410)同期処理部26は、S408及びS410で通知された画像信号及び音声信号に対して、同期信号を付加する。
(S411)携帯電話端末2は、画像信号をデータ網12を介して送信する。
(S412)携帯電話端末2は、音声信号を音声網11を介して送信する。
(S413)仮想端末装置10は、データ網を介して画像信号を受信し、音声網を介して音声信号を受信する。同期処理部105は、受信された画像信号及び音声信号について同期信号の同期をとり、同期がずれている場合は、同一タイミングの同期信号を有する信号が来るまで一旦蓄積する。
(S414)同期処理部105は、画像信号をアプリケーション処理部101へ通知する。
(S415)音声信号にはデータとして処理することを示すフラグが立っているので、同期処理部105は、その音声信号をアプリケーション処理部101へ通知する。
(S416)アプリケーション処理部101は、受信した画像信号を仮想画面部102へ通知し、携帯電話端末上の画面との同期をとる。
(S417)アプリケーション処理部101は、画像信号及び音声信号から、例えばストリーミングデータのような動画像データを作成する(例えば非特許文献4参照)。
(S418)アプリケーション処理部101は、作成した動画像データを、例えばインターネット6を介してクライアント7へ送信する。
(S419)クライアント7は、受信した動画データを解釈し、表示/発声を行う。
図5は、本発明の仮想端末装置における携帯電話端末への送信のフローチャートである。
(S501)サーバ4から受信したユーザデータの内容を解釈する。前述したように、既存の携帯電話端末におけるアプリケーション処理である。
(S502)ユーザデータに含まれている信号種別を判断する。音声+画像信号であれば、ユーザデータを仮想画面に描画し、画像信号と音声信号とを取得し、それら信号に必要であれば同期信号を付加する。画像信号のみであれば、ユーザデータを仮想画面に描画し、画像信号を取得する。更に、音声信号が含まれていれば、音声網へ送信するために、フラグ「音声信号送信」=1にし、画像信号が含まれていれば、データ網へ送信するために、フラグ「画像信号送信」=1にする。
(S503)送信すべき指示信号があれば、データ網へ送信するために、フラグ「画像信号送信」=1にする。
(S504)フラグ「画像信号送信」=1ならば、携帯電話端末2へ、データ網を介して画像信号又は指示信号を送信する。
(S505)フラグ「音声信号送信」=1ならば、携帯電話端末2へ、音声網を介して音声信号を送信する。
図6は、本発明の仮想端末装置における携帯電話端末からの受信のフローチャートである。
(S601)携帯電話端末から指示信号を受信している場合、アプリケーション処理部で指示内容を処理する。例えば、携帯電話端末と仮想端末装置の仮想画面の内容を同期する必要がある場合に用いられる。
(S602)受信されたユーザデータに含まれている信号種別を判断する。音声信号が含まれていれば、フラグ「音声信号受信」=1にし、画像信号が含まれていればフラグ「画像信号受信」=1にする。
(S603)携帯電話端末から受信した音声信号及び画像信号のそれぞれに同期信号が含まれていれば、両信号の同期をとる。このとき、タイミングがずれていれば、同期をとるために、一方の信号を同期信号処理部で一時的に蓄積する。
(S604)音声信号があれば、アプリケーション処理部へ通知する。
(S605)画像信号があれば、アプリケーション処理部へ通知する。また、入力信号がある場合、入力信号を入力処理部で入力データとし、それをアプリケーション処理部に通知する。
(S606)音声信号又は画像信号があれば、アプリケーション処理部でIPパケットを生成し、相手通信装置へ送信する。また、画像信号があれば、その画像信号は仮想画面部へ通知される。
図7は、本発明の携帯電話端末における仮想端末装置からの受信のフローチャートである。
(S701)仮想端末装置から指示信号を受信している場合、指示処理部で指示内容を把握し、音声デバイス部及び画像デバイス部を制御する。
(S702)受信した信号の種別を判断する。音声信号であればフラグ「音声信号受信」=1にし、画像信号であればフラグ「画像信号受信」=1にする。
(S703)同期信号が受信した信号に含まれていれば、画像信号及び音声信号を同期させる。このとき、タイミングがずれていれば、同期をとるために、一方の信号を同期信号処理部で一時的に蓄積する。
(S704)音声信号があれば、音声デバイス部へ通知する。
(S705)画像信号があれば、画像デバイス部へ通知する。
図8は、本発明の携帯電話端末における仮想端末装置への送信のフローチャートである。
(S801)仮想端末装置から受信した信号の種別を判断する。音声信号であればフラグ「音声信号送信」=1にし、画像信号であればフラグ「画像信号送信」=1にする。また、入力信号であればフラグ「画像信号送信」=1にする。音声信号及び画像信号を受信しており同期処理が必要であれば、それぞれの信号に同期信号を付加する。
(S802)送信すべき音声信号があり、その音声信号が電話網向けのものでなければ、その音声信号にデータ用である旨の情報を付加する。そして、その音声信号を音声網へ送信する。
(S803)送信すべき入力信号があるならば、必要に応じて入力信号を画像信号化して表示デバイスに通知し、入力内容を入力信号化する。また、入力された画像信号があるならば、表示デバイスに通知する。その後、入力/画像信号についてデータ網を通して送信する。
前述した本発明の種々の実施形態において、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
従来の携帯電話通信システムの構成図である。 本発明における携帯電話通信システムの構成図である。 サーバから携帯電話端末へWebページを送信するシーケンス図である。 携帯電話端末からクライアントへ動画像データを送信するシーケンス図である。 本発明の仮想端末装置における携帯電話端末への送信のフローチャートである。 本発明の仮想端末装置における携帯電話端末からの受信のフローチャートである。 本発明の携帯電話端末における仮想端末装置からの受信のフローチャートである。 本発明の携帯電話端末における仮想端末装置への送信のフローチャートである。
符号の説明
1 携帯電話事業者設備
10 仮想端末装置
101 アプリケーション処理部
102 仮想画面部
103 入力処理部
104 指示処理部
105 同期処理部
11 音声網
12 データ網
13 基地局
2 携帯電話端末
21 無線送受信部
22 アプリケーション処理部
23 音声デバイス部
24 入力デバイス部
25 画像デバイス部
26 同期処理部
27 入力処理部
28 指示処理部
3 電話機
4 サーバ
5 電話網
6 インターネット
7 クライアント

Claims (8)

  1. 音声網と、データ網と、該音声網及び該データ網に接続された携帯電話端末と、前記音声網及び前記データ網に接続された仮想端末装置と、該仮想端末装置に接続された相手通信装置とを有し、
    前記仮想端末装置は、前記相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分けるアプリケーション処理手段と、前記画像信号を仮想画面に展開する仮想画面手段と、前記音声信号及び前記画像信号に同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する同期処理手段とを有し、
    前記携帯電話端末は、前記音声網を介して受信した前記音声信号と、前記データ網を介して受信した前記画像信号とを前記同期信号を用いて同期させる同期処理手段と、前記音声信号を発声する音声デバイス手段と、前記画像信号を表示する画像デバイス手段とを有する
    ことを特徴とする携帯電話通信システム。
  2. 前記携帯電話端末は、利用者の操作内容を取得する入力デバイス手段と、該操作内容を入力信号として前記データ網へ送信する入力処理手段とを更に有し、
    前記仮想端末装置は、前記入力信号から得られる前記操作内容を前記アプリケーション処理手段へ通知する入力処理手段を更に有し、該アプリケーション処理手段は、前記操作内容を解釈して前記相手通信装置へユーザデータを要求するように構成されていることを特徴とする請求項1に記載の携帯電話通信システム。
  3. 音声網と、データ網と、該音声網及び該データ網に接続された携帯電話端末と、前記音声網及び前記データ網に接続された仮想端末装置と、前記仮想端末装置に接続された相手通信装置とを有し、
    前記携帯電話端末は、音声信号を取得する音声デバイス手段と、画像信号を取得する画像デバイス手段と、前記音声信号及び前記画像信号に同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する同期処理手段とを有し、
    前記仮想端末装置は、前記音声網を介して受信した前記音声信号と、前記データ網を介して受信した前記画像信号とを前記同期信号を用いて同期させる同期処理手段と、同期された前記音声信号及び前記画像信号を統合した統合データを生成し、該統合データを前記相手通信装置へ送信するアプリケーション処理手段とを有する
    ことを特徴とする携帯電話通信システム。
  4. 前記仮想端末装置は、前記アプリケーション処理手段の結果に基づいて前記携帯電話端末を制御する指示信号を生成し、該指示信号を前記携帯電話端末へ送信する、及び前記携帯電話端末からの指示信号を受信し、仮想制御装置の仮想画面を制御する指示処理手段を更に有し、
    前記携帯電話端末は、前記仮想端末装置から受信した指示信号に基づいて前記音声デバイス手段及び前記画像デバイス手段を制御する、及び前記仮想端末装置の仮想画面と同期を取るために指示信号を生成し、該指示信号を前記仮想端末装置へ送信する指示処理手段を更に有する
    ことを特徴とする請求項3に記載の携帯電話通信システム。
  5. 音声網及びデータ網に接続された仮想端末装置であって、
    相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分ける機能と、前記音声網から受信された前記音声信号及び前記データ網から受信された前記画像信号を統合した統合データを生成し、該統合データを前記相手通信装置へ送信する機能とを有するアプリケーション処理手段と、
    前記画像信号を仮想画面に展開する仮想画面手段と、
    前記音声信号及び前記画像信号に同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する機能と、前記音声網を介して受信した前記音声信号と前記データ網を介して受信した前記画像信号とを前記同期信号を用いて同期させる機能とを有する同期処理手段と
    を有することを特徴とする仮想端末装置。
  6. 音声網及びデータ網に接続された携帯電話端末であって、
    前記音声信号を発声し且つ取得する音声デバイス手段と、
    前記画像信号を表示し且つ取得する画像デバイス手段と、
    前記音声信号を前記音声デバイスへ通知し、前記画像信号を前記画像デバイス手段へ通知する機能と、前記音声デバイスから通知された前記音声信号と前記画像デバイス手段から通知された前記画像信号とに同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する機能と、前記音声網を介して受信した前記音声信号と、前記データ網を介して受信した前記画像信号とを前記同期信号を用いて同期させる機能とを有する同期処理手段と、
    を有することを特徴とする携帯電話端末。
  7. 音声網及びデータ網に接続された仮想端末プログラムであって、
    相手通信装置から受信したユーザデータを解釈し、音声信号と画像信号とに振り分ける機能と、前記音声網から受信された前記音声信号及び前記データ網から受信された前記画像信号を統合した統合データを生成し、該統合データを前記相手通信装置へ送信する機能とを有するアプリケーション処理手段と、
    前記画像信号を仮想画面に展開する仮想画面手段と、
    前記音声信号及び前記画像信号に同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する機能と、前記音声網を介して受信した前記音声信号と前記データ網を介して受信した前記画像信号とを前記同期信号を用いて同期させる機能とを有する同期処理手段と
    してコンピュータを機能させることを特徴とする仮想端末プログラム。
  8. 音声網及びデータ網に接続された携帯電話端末プログラムであって、
    前記音声信号を発声し且つ取得する音声デバイス手段と、
    前記画像信号を表示し且つ取得する画像デバイス手段と、
    前記音声信号を前記音声デバイスへ通知し、前記画像信号を前記画像デバイス手段へ通知する機能と、前記音声デバイスから通知された前記音声信号と前記画像デバイス手段から通知された前記画像信号とに同期信号を付与し、該音声信号を前記音声網に送信し、該画像信号を前記データ網に送信する機能と、前記音声網を介して受信した前記音声信号と、前記データ網を介して受信した前記画像信号とを前記同期信号を用いて同期させる機能とを有する同期処理手段と
    してコンピュータを機能させることを特徴とする携帯電話端末プログラム。
JP2004086541A 2004-03-24 2004-03-24 携帯電話通信システム、仮想端末装置及び携帯電話端末並びにプログラム Expired - Fee Related JP4424027B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004086541A JP4424027B2 (ja) 2004-03-24 2004-03-24 携帯電話通信システム、仮想端末装置及び携帯電話端末並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004086541A JP4424027B2 (ja) 2004-03-24 2004-03-24 携帯電話通信システム、仮想端末装置及び携帯電話端末並びにプログラム

Publications (2)

Publication Number Publication Date
JP2005277654A JP2005277654A (ja) 2005-10-06
JP4424027B2 true JP4424027B2 (ja) 2010-03-03

Family

ID=35176865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004086541A Expired - Fee Related JP4424027B2 (ja) 2004-03-24 2004-03-24 携帯電話通信システム、仮想端末装置及び携帯電話端末並びにプログラム

Country Status (1)

Country Link
JP (1) JP4424027B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5133659B2 (ja) 2007-11-19 2013-01-30 株式会社エヌ・ティ・ティ・ドコモ 仮想端末サーバ、移動通信端末、通信制御システム、及び通信制御方法
JP5617920B2 (ja) 2010-06-04 2014-11-05 日本電気株式会社 通信システムと方法と装置
EP3482573A1 (en) * 2016-07-08 2019-05-15 Deutsche Telekom AG Method for using a mobile terminal in a mobile communication network, wherein a network node of the mobile communication network or a network node related or assigned to the mobile communication network hosts or provides a virtualized user equipment functionality, system for using a mobile terminal in a mobile communication network, mobile communication network, mobile terminal, program and computer program product
JP2017199017A (ja) * 2017-06-26 2017-11-02 国立研究開発法人防災科学技術研究所 模擬地震被害の仮想現実体験システム、模擬地震被害の仮想現実体験方法

Also Published As

Publication number Publication date
JP2005277654A (ja) 2005-10-06

Similar Documents

Publication Publication Date Title
CN110730952B (zh) 处理网络上的音频通信的方法和系统
KR100706967B1 (ko) 이동통신망에서 3d 캐릭터를 이용한 뉴스 정보를 제공하는방법 및 시스템
AU2003264435B2 (en) A videophone sign language interpretation assistance device and a sign language interpretation system using the same.
WO2006079897A1 (en) System, method and computer program product for establishing a conference session and synchronously rendering content during the same
EP2779571B1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
KR20070085601A (ko) 콘텐츠를 단말에 제공하고 단말에서 그런 콘텐츠의랜더링을 지시하기 위한 시스템, 방법, 및 컴퓨터 프로그램생성물
EP2790383B1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
EP2778981B1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
EP2779674A1 (en) Distribution control system and distribution system
CN112423076B (zh) 一种音频投屏同步控制方法、设备及计算机可读存储介质
EP2779661A1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
EP2779570A1 (en) Distribution control system, distribution system, distribution control method, and computer-readable storage medium
JP2022008330A (ja) 商談支援装置、方法、及びコンピュータプログラム
KR20110041322A (ko) 패킷 통화 중 데이터를 전송하는 단말기 및 이를 포함하는 서비스 시스템
EP1593050B1 (en) System and method for processing a message in a server of a computer network sent by a mobile computer device
EP1662790A1 (en) Reception device
JP2007281618A (ja) 情報処理装置、情報処理方法、およびプログラム
JP4424027B2 (ja) 携帯電話通信システム、仮想端末装置及び携帯電話端末並びにプログラム
CN107734012B (zh) 消息推送方法、系统及计算机可读存储介质
JP2004015250A (ja) 携帯端末装置
CN111327766B (zh) 信息分享方法、终端及可读存储介质
CN107786686B (zh) 一种用于输出多媒体数据的系统及方法
US20230178081A1 (en) Display control system, display control method and information storage medium
JP5016555B2 (ja) ゲートウェイ装置及びpc上のブラウザ表示方法及びゲートウェイ制御プログラム
JP6499582B2 (ja) 送信側コンピュータ、受信側コンピュータ、及びそれらにより実行される方法、並びにコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091130

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131218

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151218

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees