JP4247984B2 - データ通信システム、通信端末装置およびデータサーバ - Google Patents

Description

本発明は、通信端末装置間で動画情報を送信することができるデータ通信システム、通信端末装置、およびデータサーバに関するものである。

近年、携帯電話機は多機能化し、音声通話機能だけでなく、音楽再生や写真撮影機能を搭載した機種があり、さらに動画再生に対応するものも現れてきている。このような機種では、動画を撮影して、電子メール（以下、単にメールという）の添付書類として送信することができるものもある。

特許文献１には、チャット装置において、入力された文字列を解析して分解された語句について語句データベースを参照して語句データベースに登録された語句とマッチングがとれた語句について該当する顔画像データを対応づけて一組に表示する技術が開示されている。
特開２００２−１１６９９７号公報

上記のようにメールに添付して送信される動画ファイルは、Ｍｐｅｇ１やＭｐｅｇ４などのデータ圧縮方式により高圧縮化されているとはいえ、送信側、受信側ともにデータ通信量が相当大きくなるという問題がある。また、動画撮影機能を持たない機種では動画の利用が困難である。さらには、動画撮影機能を有しても、動画像は、メールの添付書類として受信されるので、メールの本文とは無関係に表示されるものである。

特許文献１に記載の従来技術では、予め定められた語句と画像とを対応づけておき、メッセージ中に現れる当該語句に対応づけて当該画像を表示することができるが、画像は送信側の端末内に保持するものである。この画像は静止画であるが、動画であれば動画データを送信するために送信側クライアントおよび受信側クライアントの双方で相当の通信データ量となる。

本発明はこのような背景においてなされたものであり、その目的は、少なくとも送信側での送信データ量を低減しつつ動画情報を送信することができるデータ通信システム、通信端末装置、およびデータサーバを提供することにある。

本発明による他の目的は、動画撮影機能がなくても動画付きのメールを作成することができるデータ通信システム、通信端末装置、およびデータサーバを提供することにある。

本発明によるデータ通信システムは、第１および第２のクライアントとデータサーバとを備えたデータ通信システムである。このシステムにおいて、前記データサーバは動画データおよびこの動画の動作に対応した用語を含む動作辞書を保存しており、前記第１のクライアントからの要求に応じて前記動作辞書を前記第１のクライアントに送信する。前記第１のクライアントは、前記受信した動作辞書に含まれる用語を用いてメールを作成し、前記第２のクライアントへ送信する。前記第２のクライアントは、受信したメール内に記述された少なくとも前記動作辞書から得られた用語の情報を前記データサーバに送信する。前記データサーバは、前記第２のクライアントから受信した用語の情報から動画データを特定して、この動画データを前記第２のクライアントへ送信する。前記第２のクライアントは、前記データサーバから受信した動画データを再生表示する。

このシステムでは、第１のクライアントが作成し、第２のクライアントへ送信されるメールには動作辞書から得られた動画の動作に対応した用語を含んでいるが、動画本体のデータである動画データは含まれていない。メールを受信した第２のクライアントからの要求に従い前記データサーバが前記用語に対応する動画データを第２のクライアントに送信する。

前記動画データは、例えば、動画のオブジェクトの外観を定める３次元データおよびその動きを定める動作データを含む。この場合、同じ３次元データに対して動作データのみを変更することにより、オブジェクトの動作を変更することができる。

本発明による通信端末装置は、外部のデータサーバに対してオブジェクトの動作に関連した動作辞書を取得する動作辞書取得手段と、取得した動作辞書を保存する辞書保存手段と、前記取得した動作辞書に含まれる用語を用いてメールを作成するメール作成手段と、作成されたメールを送信するメール送信手段と、メールを受信するメール受信手段と、メール内に含まれる少なくとも前記動作辞書から得られた用語の情報を前記データサーバに送信するデータ送信手段と、前記データサーバから動画データを受信する動画データ受信手段と、受信された動画データを再生表示する再生表示手段とを備えたことを特徴とする。

この通信端末装置は、メールの作成送信に先だって、動作辞書取得手段によりデータサーバから動作辞書を取得し、内部に保存する。さらにこの動作辞書に含まれる用語を用いてメールを作成し、送信する。メールの受信時には、受信したメールに含まれる少なくとも前記動作辞書から得られた用語の情報を前記データ送信手段により前記データサーバに送信して、前記動画データ受信手段により前記データサーバから当該用語に対応する動画データを受信する。受信された動画データは前記再生表示手段により再生表示される。

前記動画データは、動画のオブジェクトの外観を定める３次元データおよびその動きを定める動作データであっても、あるいは、圧縮された動画データであってもよい。

前記メール作成手段は、その動作の一態様として、メール作成時に前記動作辞書に含まれる用語が選択されたとき、当該動作辞書および動作を特定する情報を含むタグ情報を生成し、メール本文内に埋め込む。

前記情報送信手段は、メール全体をデータサーバに送ってもよいが、少なくとも前記タグ情報を前記データサーバに送信すれば足りる。

本発明によるデータサーバは、通信ネットワークを介してクライアントに接続されるデータサーバであって、動画データおよびこの動画の動作に対応した用語を含む動作辞書を保存した記憶手段と、クライアントからの要求に応じて前記動作辞書を前記クライアントに送信する手段と、クライアントから受信した前記動画の動作に対応した用語の情報から動画データを特定して、この動画データを当該クライアントへ送信する手段とを備えたことを特徴とする。このデータサーバは、クライアントからの要求に対して、特定された動作辞書を送信し、あるいは、動画データを当該クライアントへ返送する。

本発明によれば、ユーザは通常の文章だけでなく文章の内容に応じた動画像を含むメールを送受信することができ、メールの付加価値が増大する。特に、動作辞書を用いて比較的容易に動画像を含むメールを作成することができる。その際、動作辞書にオブジェクトを対応づけておくことにより、ユーザの意思により所望のオブジェクトを選択することができる。よって、ユーザのクリエイティビティが刺激され、メールサービス提供者にとってメールの利用頻度の向上が期待される。

また、動画データ自体はサーバにあり、送り手のメールには含まれない。よって、動画本体データの転送は受け取り側からのサーバへのアクセス時の１回のみとなる。その結果、少なくとも送信側クライアントからの送信データ量が少なくて済むので、ユーザにとってデータ通信料が節減され経済的である。また、通信網への負担が少なくなる。

さらに、動画を３次元オブジェクトで構成すれば、３次元オブジェクト本体と例えばその動作を示す式の情報からなる動作データにより比較的少ないデータ量で動画を実現することができる。

以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。

図１は、本発明のシステムの概略の構成を示すブロック図である。このシステムは、メールを相互に送受信する複数のクライアント１００ａ，１００ｂと、メールの授受を仲介するメールサーバ１５０と、後述する動作辞書やオブジェクトデータを送信側クライアント（図では１００ａ）にダウンロードさせるとともに、メール内に記述されたオブジェクトのデータを受信側クライアントに送信するデータサーバ１１０とからなる。

データサーバ１１０は、本実施の形態では３次元データであるオブジェクトのデータおよびその動作定義データを保存したオブジェクト保存手段１１３、動画の動作に対応した用語を含む動作辞書を保存した辞書保存手段１１２、メールに利用されている動作辞書を判別する辞書判別手段１１４、およびクライアントとの間でデータの授受を行うデータ送受信手段１１１とからなる。メールサーバ１５０は、クライアント間のメールの授受を仲介する。本発明におけるメールサーバ１５０の動作は既存の動作と変わらないので、特にその内部の構成については言及しない。

送信側のクライアント１００ａは、データサーバ１１０から動作辞書を取得する辞書取得手段１０１と、この取得した辞書データを保存する保存手段１０２と、クライアント１００ａのユーザの操作に従って文書を作成する文書作成手段１０３と、この文書をメールとしてメールサーバ１５０経由で受信側のクライアント１００ｂへ送信するメール送信手段１０４とを備える。

受信側のクライアント１００ｂは、メールサーバ１５０からメールを受信するメール受信手段１２１と、このメール（または動作辞書から得られた用語の情報）をデータサーバ１１０へ送信し、対応するオブジェクトデータ等を受信するデータ送受信手段１２２と、この受信したデータを保存する保存手段１２３と、保存されたデータを再生表示する再生表示手段１２４とを備える。

図１ではデータサーバ１１０とメールサーバ１５０とを別々のものとして示したが、メールサーバ１５０がデータサーバ１１０を兼ねてもよい。クライアントは１００ａ、１００ｂとして携帯電話機等の携帯通信端末装置を想定しているが、本発明はそのような携帯型の端末に限定されるものではない。

図１ではクライアントの構成を送信側と受信側とで区別して示したが、現実的には一つのクライアントは送信側にも受信側にもなるので、図２にクライアントの構成をまとめて示す。図１のクライアント１００ａ，１００ｂは総称してクライアント１００とする。通信部２３０は、メールサーバ１５０やデータサーバ１１０との間でデータ通信を行う部位であり、図１では１０１、１０２、１２１、１２２に共通の部分として図示省略してある。通信部２３０に接続されたメール送信部２０４は、図１のメール送信手段１０４に対応している。同じく通信部２３０に接続されたメール受信部２２１は、図１のメール受信手段１２１に対応している。通信部２３０に接続された辞書取得部２０１は図１の辞書取得手段１０１に対応している。文書作成部１０３は図１の文書作成手段１０３に対応している。保存部２０２は、辞書取得部２０１で取得された辞書データやメール受信部２２１で受信されたメール、文書作成部２０３で作成されたメール等を記憶装置２１２に保存する機能を有し、図１の保存手段１０２，１２３に対応している。記憶装置２１２は、通常不揮発性であるＲＡＭのようなメモリ、および、例えばフラッシュメモリ，ＥＥＰＲＯＭのような再書き込み可能な不揮発性メモリまたはハードディスク等を含み得る。再生表示部２２４は、ユーザインタフェース画面や送受信メール等をディスプレイ２３４の画面上に表示する機能を有し、図１の再生表示手段１２４に対応している。

図３は、データサーバ１１０内のオブジェクト保存手段１１３に保存されたオブジェクトの外観を定める動画本体データである３次元データ（例えば３次元ポリゴンモデルデータ）と、オブジェクトの各種の動作を定義した複数の動作データとからなるオブジェクトデータの例を示している。ここでは、動物：犬、乗り物：自動車、食物：りんご、の例を示している。

図４は、図３の各オブジェクトの動作に対応する用語を集めた変換辞書の例を示している。通常、このような変換辞書は、動作用語として、「よみ」とその変換された変換語とを対応づけたデータテーブルであり、文字入力時の仮名漢字変換処理時に利用される。本発明では、このような変換辞書を特定のオブジェクトに対応づけ、その変換辞書内の用語を当該オブジェクトの特定の動作に対応づける。

以下、本実施の形態の動作を説明する。

図５は、図１のシステムにおける各部間で要求やデータ等が授受される手順の一例を示したシーケンス図である。クライアント１００ａを送信側、クライアント１００ｂを受信側として説明する。

クライアント１００ａは、ユーザの操作にしたがって、動画タグ情報を含むメールの作成を行う（Ｓ１）。ここでいう「動画情報」は動画本体データではなく、予め用意された動画を特定するための情報、本実施の形態ではタグで規定された情報（動画タグ情報と呼ぶ）である。データサーバ１１０は、動画のオブジェクトの各種のアクションに対応した動作辞書を提供する（Ｓ２）。具体的には、クライアント１００ａが動作辞書リスト送信要求を出力すると（Ｓ１１）、データサーバ１１０が複数の動作辞書をリストアップした動作辞書リストをクライアント１００ａへ送信する（Ｓ２１）。クライアント１００ａは、ユーザの選択した動作辞書の送信要求をデータサーバ１１０に送信する（Ｓ１２）。データサーバ１１０は要求された動作辞書をクライアント１００ａに送信する。

クライアント１００ａはユーザの操作に従って、動作辞書を利用して作成されたメール本文を含む、クライアント１００ｂ（受信者）宛のメールを作成し、送信する（Ｓ１３）。この送信されたメールはメールサーバ１５０に一旦保存され（Ｓ３）、クライアント１００ｂがこのメールを取得する（Ｓ５）。クライアント１００ｂからメールサーバ１５０へのメール確認（Ｓ５１）（またはメールサーバ１５０からクライアント１００ｂへのメール着信通知）に従って、メールサーバ１５０に保存されている受信者宛のメールがクライアント１００ｂに送信される（Ｓ３１）。

ついで、クライアント１００ｂの要求にしたがって、データサーバ１１０はクライアント１００ｂに３次元データおよび動作データを提供し、クライアント１００ｂはこれらを用いて動画付きメールを再生表示する（Ｓ６）。具体的には、クライアント１００ｂは、受信したメールに動画情報を含むため、そのメールデータ全体または少なくとも動画タグ情報をデータサーバ１１０に送信する（Ｓ６１）。これに応じてデータサーバ１１０は、対応するオブジェクトデータとして３次元データおよび動作データをクライアント１００ｂに送信する（Ｓ４１）。クライアント１００ｂは、受信メールの本文データにしたがって、メールの再生表示を行う。この際、動画が指定された部分については、受信したオブジェクトデータに含まれる３次元データに動作データを作用させて、動画の再生表示を行う。

図６に、本実施の形態における動画タグ情報を含むメール本文の一例を示す。図示のメール本文６１の例は、図３に示したオブジェクト「犬」の動作辞書を用いた場合に対応している。この例での動画タグ情報は開始タグ＜犬”歩く”＞と終了タグ＜／犬＞とからなる。開始タグ６４および終了タグ６５内の文字「犬」がオブジェクトの種類を特定し、開始タグ６４内の文字「歩く」が動作辞書内の動作を特定している。図には同じオブジェクト「犬」の別の動作「寝る」の動画タグ情報も示してある。オブジェクト６３および動作は動画の表示に反映される。開始タグ６４と終了タグ６５の間にはテキスト６６を挿入することができる。このテキスト６６は、受信側クライアントにおいてこの例ではオブジェクト６３に付随した吹き出し６２の中に表示されるようになっている。各動画タグ情報についての動画の表示方法は種々考えられる。例えば、（１）予め定めた時間だけ動画を表示し、その時間の経過後、メール本文の後続の部分の表示に移る、（２）ユーザからの所定の指示があるまで動画を反復的に表示し、所定の指示があったときに後続の部分の表示に移る、等が考えられる。

各動画タグ情報については、図８（ａ）（ｂ）に示すように、１画面全体に動画を表示し、動画タグ情報ごとに画面を更新していく。但し、これは比較的小さい画面サイズを有する携帯端末に適用した場合に適する表示態様であり、より広い画面での表示の場合には、動画を表示するウィンドウなどを画面内の一部に設けるような表示形態も考えられる。

図７により、本実施の形態における動画タグ情報を用いた具体的なメールの作成方法の一例について説明する。ここでは文字入力手法としていわゆる予測変換手法を利用した場合について説明する。予測変換手法は、入力途中の入力済みの文字からユーザが入力しようとしている語句を予測してそれを選択候補として出力する検索手法である。画面は入力されたメール本文を表示する本文表示領域７１の下側に入力候補を表示する候補表示領域７２が設けられている。この候補表示領域７２に表示される選択候補の用語は動作辞書とは別の既存の変換辞書（図示せず）により得られるものである。

本実施の形態では、候補表示領域７２の一部に、現在端末に保存されている動作辞書の識別情報を表示する欄７３を設けている。複数の動作辞書が端末内に保存されている場合には、欄７３内にそのいずれか一つを選択的に表示してもよいし、同時に複数の動作辞書を表示してユーザに使用する辞書を選択させるようにしてもよい。図の例では図７（ａ）に示すような「犬」の動作辞書をユーザが選択すると、図７（ｃ）に示すように、候補表示欄７２に動作の選択候補が表示される。動作の選択候補＜寝る＞を選択すると、開始タグとして「＜犬”寝る”＞」が本文表示領域７１に入力される。ついで、図７（ｄ）に示すように、テキスト（文字列）「おやすみ」を入力し、所定の操作により動作入力を終了すると、終了タグ「＜／犬＞」がテキストの後に入力される。なお、図７（ｂ）には同様の入力方法により、別の動画タグ情報を含む記述「＜犬”歩く”＞こんにちは＜／犬＞」が入力された様子を示している。

以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。

例えば、データサーバから受信側のクライアントに送信される動画データは３次元データではなく、当該クライアントから通知されたオブジェクトの当該動作に対応する動画データを所定の圧縮方式で圧縮したものであってもよい。この場合、クライアントの再生表示手段は、３次元データの処理を行う必要はなく、当該圧縮データの伸張および再生表示処理を行えれば足りる。

図７に示した例では、動作辞書の中の動作の選択候補は通常の変換辞書の選択候補とは別に表示するようにしたが、候補表示領域７２内に混在して表示するようにしてもよい。その場合に動作の選択候補は＜＞等の識別子により通常の変換語と区別することによって、ユーザにはその選択候補が動画の動作に関するものであることを認識することができる。

動作辞書は、メールの作成に先立って、予めデータサーバからダウンロードするものとして説明したが、メール作成時にその都度、必要な動作辞書をダウンロードするようにしてもよい。あるいは、データサーバ１１０内の動作辞書をオンラインで使用するようにしてもよい。

本発明のシステムの概略の構成を示すブロック図である。 本発明の実施の形態におけるクライアントの構成を示すブロック図である。 オブジェクトの外観を定める３次元データと、オブジェクトの各種の動作を定義した複数の動作データとからなるオブジェクトデータの例を示す図である。 図３の各オブジェクトの動作に対応する用語を集めた変換辞書の例を示す図である。 図１のシステムにおける各部間で要求やデータ等が授受される手順の一例を示したシーケンス図である。 本発明の実施の形態における動画タグ情報を含むメール本文の一例を示す図である。 本発明の実施の形態における動画タグ情報を用いた具体的なメールの作成方法の一例の説明図である。 本発明の実施の形態における動画の表示例を示す図である。

符号の説明

６１…メール本文、６３…オブジェクト、６２…吹き出し、７１…本文表示領域、７２…候補表示領域、７３…欄、１００…クライアント、１００ａ…クライアント、１００ｂ…クライアント、１０１…辞書取得手段、１０２…保存手段、１０３…文書作成手段、１０４…メール送信手段、１１０…データサーバ、１１１…データ送受信手段、１１２…辞書保存手段、１１３…オブジェクト保存手段、１１４…辞書判別手段、１２１…メール受信手段、１２２…データ送受信手段、１２３…保存手段、１２４…再生表示手段、１５０…メールサーバ、２０１…辞書取得部、２０２…保存部、２０３…文書作成部、２０４…メール送信部、２１２…記憶装置、２２１…メール受信部、２２４…再生表示部、２３０…通信部、２３４…ディスプレイ

Claims (10)

1. 第１および第２のクライアントとデータサーバとを備えたデータ通信システムであって、
   前記データサーバは動画データおよびこの動画の動作に対応した用語を含む動作辞書を保存しており、前記第１のクライアントからの要求に応じて前記動作辞書を前記第１のクライアントに送信し、
   前記第１のクライアントは、前記データサーバより受信した動作辞書に含まれる用語を選択候補として提示し、ユーザにより選択された当該用語を用いてメールを作成し、前記第２のクライアントへ送信し、
   前記第２のクライアントは、受信したメール内に記述された少なくとも前記動作辞書から得られた用語の情報を前記データサーバに送信し、
   前記データサーバは、前記第２のクライアントから受信した前記用語の情報から動画データを特定して、この動画データを前記第２のクライアントへ送信し、
   前記第２のクライアントは、前記データサーバから受信した動画データを再生表示する
   ことを特徴とするデータ通信システム。
2. 前記動画データは、動画のオブジェクトの外観を定める３次元データおよびその動きを定める動作データを含み、前記動作辞書はオブジェクト毎に用意され、各動作辞書は当該オブジェクトの動作に対応する用語を含むことを特徴とする請求項１記載のデータ通信システム。
3. 前記第１のクライアントは、文字入力のための予測変換手法における候補表示欄に、前記動作辞書に含まれる動作の用語の選択候補を表示してユーザに提示することを特徴とする請求項１または２に記載のデータ通信システム。
4. 外部のデータサーバに対してオブジェクトの動作に関連した動作辞書を要求し、その要求に応じて前記データサーバから送信されてきた動作辞書を取得する動作辞書取得手段と、
   取得した動作辞書を保存する辞書保存手段と、
   前記データサーバより取得した動作辞書に含まれる用語を選択候補として提示し、ユーザにより選択された当該用語を用いてメールを作成するメール作成手段と、
   作成されたメールを送信するメール送信手段と、
   メールを受信するメール受信手段と、
   メール内に含まれる少なくとも前記動作辞書から得られた用語の情報を前記データサーバに送信するデータ送信手段と、
   前記データサーバから動画データを受信する動画データ受信手段と、
   受信された動画データを再生表示する再生表示手段と、
   を備えたことを特徴とする通信端末装置。
5. 前記動画データは、動画のオブジェクトの外観を定める３次元データおよびその動きを定める動作データを含み、前記動作辞書はオブジェクト毎に用意され、各動作辞書は当該オブジェクトの動作に対応する用語を含み、前記再生表示手段は、前記３次元データに前記動作データを作用させて動画の再生表示を行うことを特徴とする請求項４記載の通信端末装置。
6. 前記動画データ受信手段は、圧縮された動画データを受信し、前記再生表示手段は、この動画データを伸張して動画の再生表示を行うことを特徴とする請求項４記載の通信端末装置。
7. 前記メール作成手段は、メール作成時に前記動作辞書に含まれる用語が選択されたとき、当該動作辞書および動作を特定する情報を含むタグ情報を生成し、メール本文内に埋め込むことを特徴とする請求項４記載の通信端末装置。
8. 前記情報送信手段は、少なくとも前記タグ情報を前記データサーバに送信することを特徴とする請求項７記載の通信端末装置。
9. 前記メール作成手段は、文字入力のための予測変換手法における候補表示欄に、前記動作辞書に含まれる動作の用語の選択候補を表示してユーザに提示することを特徴とする請求項４に記載の通信端末装置。
10. 通信ネットワークを介してクライアントに接続されるデータサーバであって、
    動画データおよびこの動画の動作に対応した用語を、ユーザのメール作成時に選択候補として提示するための動作辞書を保存した記憶手段と、
    クライアントからの前記動作辞書の送信要求を受信する手段と、
    受信した送信要求に応じて前記動作辞書を前記クライアントに送信する手段と、
    クライアントから受信した前記動画の動作に対応した用語の情報から動画データを特定して、この動画データを当該クライアントへ送信する手段と
    を備えたことを特徴とするデータサーバ。