JP4241053B2 - コミュニケーションシステムおよびその端末装置 - Google Patents

コミュニケーションシステムおよびその端末装置 Download PDF

Info

Publication number
JP4241053B2
JP4241053B2 JP2003005618A JP2003005618A JP4241053B2 JP 4241053 B2 JP4241053 B2 JP 4241053B2 JP 2003005618 A JP2003005618 A JP 2003005618A JP 2003005618 A JP2003005618 A JP 2003005618A JP 4241053 B2 JP4241053 B2 JP 4241053B2
Authority
JP
Japan
Prior art keywords
image
terminal device
data
handwritten data
handwritten
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003005618A
Other languages
English (en)
Other versions
JP2004221842A (ja
Inventor
和重 廣井
伸和 近藤
原　　敦
横沢　　達
一親 荻原
雅也 梅村
真一郎 岡村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003005618A priority Critical patent/JP4241053B2/ja
Priority to US10/724,778 priority patent/US7584431B2/en
Publication of JP2004221842A publication Critical patent/JP2004221842A/ja
Application granted granted Critical
Publication of JP4241053B2 publication Critical patent/JP4241053B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality

Description

【０００１】
【発明の属する技術分野】
本発明は、端末装置において、音声、画像、および手書きデータを用いて、画像を指し示しながら音声通話可能とするコミュニケーションシステムおよびその端末装置に関するものである。
【０００２】
【従来の技術】
従来のコミュニケーションシステムにおいて、静止画等画像データと手書きデータのやり取り、および音声によるコミュニケーションは次に挙げる個別の従来技術により実現されている。
【０００３】
先ず、手書きデータと音声によるコミュニケーションシステムは、特許文献１の「テレライティング装置」や、特許文献２の「音声画像通信装置」に示されるテレビ会議システムや多機能ファックスであった。
【０００４】
テレライティング装置では、電話線やイーサネット（登録商標）等のネットワークに固定された端末装置の画面にポインティングデバイスを用いて図形や文字を書き込み、個々の端末装置に書き込まれた画像を端末装置間で配信し、端末装置間で同じ画像を表示している。
【０００５】
また、多機能ファックでは、スキャナで取り込んだ手書きのメッセージや液晶画面に走り書きしたメッセージを一端蓄積し、相手のファックスを呼び出して、蓄積していた画像を転送していた。また、画像送信中に相手のファックスとの間で音声通話を実現することも可能であった。この場合、端末装置間でやり取りした手書きデータは、特許文献３の「テレライティング端末装置」に詳述されているように、時系列上過去の画像に逐次上書きされ、画面に表示していた。
【０００６】
また、教育におけるテキストや会議における資料のような基本となる画像データは、特許文献４の「手書き通信端末機」で事前に情報および実データを交換し、会議の進展に合わせてどのデータを表示するか端末装置間で指示し、すべての端末装置で同一の画像データを表示していた。
【０００７】
特に、基本となる画像データの表示では、特許文献５の「手書き通信端末機」で基本となる画像データの本来の所有者の端末装置の指示に従い、画面上での表示開始位置を指定していた。
【０００８】
なお、通信速度は、端末装置数の増減や回線品質の劣化により動的に変化するが、特許文献６の「画像通信端末装置」では、画像について通信に用いるエラー訂正コードや符合、圧縮アルゴリズムを動的に代えて通信を保っていた。それでも尚通信状況が悪化し画像の劣化が著しくなると、特許文献７の「画像伝送装置」の様に、音声の転送帯域を下げ、喪失したパケットの再送を行わずパケットロスを容認して、音声よりも画像の転送を優先していた。
【０００９】
【特許文献１】
特開平06-284241号公報
【特許文献２】
特開2002-330244号公報
【特許文献３】
特開平05-327973号公報
【特許文献４】
特開平05-063874号公報
【特許文献５】
特開平05-081592号公報
【特許文献６】
特開平08-130514号公報
【特許文献７】
特開平10-079823号公報
【００１０】
【発明が解決しようとする課題】
以上述べたように画像と手書きデータおよび音声によるコミュニケーションシステムについては、従来の技術でも数々の工夫がなされているが、例えば特許文献１の「テレライティング装置」においては、端末装置の性能および表示画面のサイズへの考慮が欠けていた。また、特許文献２の「音声画像通信装置」においては、ファックスであるため手書きデータにリアルタイム性は無く、同時進行する音声通話中に転送した画像を指し示したり、文字や図形を追記して詳述することはできなかった。
【００１１】
また、特許文献３の「テレライティング端末装置」においては、時系列上過去の画像に逐次上書きされ元の画像をかき消しながら画面を表示するので、テキストや会議資料のような基本となるオリジナルの画像データは、会議の進捗に伴い失われた。また、上述の基本となる画像データは、特許文献４の「手書き通信端末機」で事前に取得されるが、取得時点が異なる為内容が異なることがあった。また、リアルタイムに交換されるものではないので、訂正や差し替えも出来なかった。
【００１２】
さらに、特許文献５の「手書き通信端末機」においては、基本となる画像データの画面上での表示開始位置を指定出来るが、手書きデータとの相対的な位置あわせは出来なかった為、画像中の部位を特定する書き込みは意味の無い部位を指し示すことがあった。
【００１３】
また、特許文献６の「画像通信端末装置」において、動的に帯域を変更すると、エラー訂正コードや符合、圧縮アルゴリズムの変更のオーバヘッドと、特に低ビットレートから高ビットレート、高エラーレート用の冗長度の高い訂正コードへの切り換え時に負荷が増大する為、処理能力の高い処理装置や高価な処理回路を必要とした。
【００１４】
また、特許文献７の「画像伝送装置」においては、音声の転送帯域を下げ、喪失したパケットの再送を行わずパケットロスを容認する為、低品質の音声通話を容認し、引いては相手の言葉が判別できず音声通話をなさないことがあった。
【００１５】
本発明では、例えば、携帯端末のような端末装置において、音声、画像、および手書きデータを用いて、画像を指し示しながら音声通話可能とするとともに、円滑にコミュニケーション可能とすることを目的とする。
【００１６】
この目的を達成するため、本発明では、端末装置において、テキストや会議資料のような基本となる画像データを保持しながら手書きでのコミュニケーションを実現することが課題である。また、該基本となる画像データの整合を可能な限り少ない帯域と処理量で、いつでも、リアルタイムかつオンデマンドで取るとともに、該基本となる画像を失わないようにすることが課題である。また、コミュニケーションがフォーカスしている画像中の部位について話者間でずれを生じさせないようにすることが課題である。また、高品質な手書きデータの通信と音声通話によるコミュニケーションを実現することが課題である。さらに、余分な処理やCPUパワーや回路等の追加無しに高速および正確な手書きデータ通信を実現可能な端末装置を提供することが課題である。
【００１７】
本発明は、上記した課題のうち少なくともひとつを解決するものである。
【００１８】
【課題を解決するための手段】
上述の課題を解決し、本発明の目的を達成するため、本発明のコミュニケーションシステムおよびその端末装置は、端末装置の動作設定やコミュニケーション相手の端末装置の指定を行う設定入力手段と、ネットワークを介して端末装置間でデータの送受信を可能とする通信制御/入出力手段と、外部の音声を端末装置内に入力する音声入力手段と、ユーザによって入力された手書きデータを取得する手書き入力手段と、端末装置内の音声データを外部に出力する音声出力手段と、画像や手書きデータを表示する表示手段と、端末装置で処理されるデータを格納する記憶手段と、設定入力手段を介してユーザから入力された情報を処理する入力処理手段と、通信制御/入出力手段を介してコミュニケーション相手の端末装置と音声、画像、および手書きデータの送受信を行えるようセッションを制御するセッション制御手段と、音声入力手段を介して入力した音声データを符号化およびパケット化して、通信制御/入出力手段を介してコミュニケーション相手の端末装置に送信する音声送信手段と、通信制御/入出力手段を介して受信した音声データのパケットから符号化された音声データを取得して、復号化した後、音声出力手段を介して音声を出力する音声受信手段と、送信画像を制御する画像データ送信制御手段と、受信画像を制御する画像データ受信制御手段と、手書きデータの送受信を制御する手書きデータ制御手段と、手書きデータおよび画像を表示手段に表示する表示制御手段と、画像および手書きデータを表示手段から消去するとともに消去情報をコミュニケーション相手の端末装置に送信する消去送信手段と、コミュニケーション相手の端末装置から送信された消去情報を受信し、その情報に基づいて表示手段から画像および手書きデータを消去する消去受信手段と、設定入力手段を介してユーザから入力された指定に基づいて画像および手書きデータを記憶手段に保存する保存手段と、表示手段に表示すべき画像と手書きデータおよび記憶手段に保存すべき画像と手書きデータを管理する画像・手書きデータ管理手段と、を備える。
【００１９】
特に、セッション制御手段では、音声通話、画像および手書きデータ通信を個別に開始および終了する手段を具備し、端末装置の処理能力あるいは通信帯域が不足した場合でも、ユーザからの指定により、少なくとも画像送受信、手書きデータ通信、あるいは音声通話のどれか１つを高品質に行い、他の通信を終了可能なように構成する。また、セッション制御手段では、画像および手書きデータ通信を個別に開始および終了する際、あらかじめ登録されているコミュニケーション相手の端末装置からの画像および手書きデータの受信開始および終了を受信側のユーザからの許可を必要とせずに行うことができるようにする。これにより、受信側のユーザが不在の場合でも、画像や手書きによるメッセージを送付することが可能となる。
【００２０】
また、画像データ送信制御手段／受信制御手段では、前記基本となる画像データについて、その便宜的な名称やデータ内容を切り替えて送受信することにより、画像の整合性を保つとともに、画像送信に必要となる帯域と処理量を減らす。また、画像・手書きデータ管理手段では、複数のプレーン（面）を持ち、プレーンの内の一つに該基本となる画像データを表示し、通信中の手書きデータを別のプレーンに表示し、これら複数のプレーンを重ね合わせて表示する。これにより、コミュニケーション中もコミュニケーション後も基本となる画像を失うことは無い。
【００２１】
また、表示制御手段では、該基本となる画像データと手書きデータの座標系を揃え、手書きデータの指す位置を端末装置間で送受信し、該手書きデータの指す位置が表示手段に表示されないと判断した場合に、該基本となる画像データと手書きデータが表示手段に表示されるようにスクロールして表示する。これにより、手書きデータ通信よるコミュニケーションにおいて注目すべき情報を確実に表示可能となる。
【００２２】
また、手書きデータ制御手段では、手書きの開始をトリガにして排他制御を行うことで、一方で手書きの入力および送信を行っているときには、他方は手書き入力および送信を行えないように制御する。これにより、フォーカスしている画像中の部位について話者間でずれを生じさせない。
さらに、手書きデータ制御部では、サンプリングされた手書きデータを決められたサンプリング数毎にチャンクに纏めて送受信することで、曲線を角張らせずに高品質に描画する。
【００２３】
さらに、該手書きデータ制御手段では、端末装置間で該チャンク毎に受信通知の有無を切り換えることでチャンクデータの高速な送受信および正確な送受信を保証し、ターボ符号に代表される訂正回路や情報圧縮回路等の搭載に伴う物量や演算装置の処理量を増やすことなく手書きデータの高速および正確な送受信を可能とする。
【００２４】
【発明の実施の形態】
本発明は、例えば携帯端末装置のような端末装置において、音声、画像、および手書きデータを用いて、画像を指し示しながら音声通話可能とし、かつ円滑にコミュニケーション可能とする発明である。
【００２５】
以下、本発明にかかる実施の形態について図面を参照して説明する。
【００２６】
図１は本発明の実施の形態にかかるコミュニケーションシステムの構成図の一例である。
【００２７】
図１に示すように、本実施の形態にかかるコミュニケーションシステムは、少なくとも２つの端末装置0101と端末装置0102から構成され、これらの端末装置は、ネットワーク0103を介して互いに通信可能なように構成されている。
【００２８】
ネットワーク0103はインターネット等に代表されるIPネットワークや公衆電話回線網、ISDN、PHSネットワーク、携帯電話ネットワーク、あるいは無線LAN等を使用したネットワークによって構成される。
【００２９】
端末装置101および端末装置102は、本システムのユーザが音声データ、画像、および手書きデータ等を送受信可能な端末装置であり、例えば携帯電話やPDA等の小型携帯端末装置あるいはパーソナルコンピュータシステム等とすることができる。
【００３０】
次に、端末装置の構成について図２を用いて説明する。図２は端末装置の構成例を示すブロック図である。図２に示すように端末装置は、中央処理装置0201と、記憶手段に相当する記憶装置0202および二次記憶装置0209と、音声入力手段に相当する音声入力装置0203と、音声出力手段に相当する音声出力装置0204と、手書き入力手段に相当する手書き入力装置0205と、表示手段に相当する表示装置0206と、設定入力手段に相当する設定入力装置0207と、通信制御/入出力手段に相当する通信制御/入出力装置0208と、から構成され、これらはバス0210を介して相互にデータのやり取りが可能なように構成されている。
【００３１】
設定入力装置0207は、操作ボタンやマウスあるいはペン入力装置等のポインティングデバイスによって実現され、端末装置における動作設定情報やコミュニケーション相手の端末装置の電話番号あるいはIPアドレス等といった宛先を入力する。また、本設定入力装置0207により、コミュニケーションの開始や終了を指示することが可能である。通信制御/入出力装置0208は、例えば無線LANにおける無線LANカードやネットワークカード、あるいはPHSや携帯電話のネットワークに接続するためのモジュール等によって構成され、本通信制御/入出力装置0208を介して端末装置0101および端末装置0102はネットワーク0103に接続可能となり、ネットワーク0103を介して端末装置0101と端末装置0102はセッションを開始および終了し、データを送受信することができる。
【００３２】
音声入力装置0203は、マイク等によって構成され、外部の音声を端末装置内にデジタル化して入力する。手書き入力装置0205は、マウスあるいはペン入力装置等のポインティングデバイスによって実現され、ユーザによって入力された手書きデータ（点）の座標を取得する。また、入力された点を取得した際に、その点が線の始点であるか、終点であるか、または線の途中の点であるかといった情報を取得する。中央処理装置0201は、例えば汎用のプロセッサとすることができ、本端末装置の動作を規定するプログラムに基づき、本端末装置の動作を制御する。
【００３３】
音声出力装置0204は、スピーカ等によって構成され、端末装置内のデジタル音声データをアナログに変換して外部に出力する。表示装置0206は、液晶パネル等により構成され、ユーザが設定入力装置0207で情報を入力するためのメニューやガイダンス、およびユーザから入力された情報を表示する。また、手書き入力装置0205で入力された点や線等の手書きデータや、通信制御/入出力装置0208を介してコミュニケーション相手の端末装置から受信した手書きデータを表示する。
【００３４】
また、記憶装置0202や二次記憶装置0209に格納されている画像や、通信制御/入出力装置0208を介してコミュニケーション相手の端末装置との間で送受信した画像を表示する。記憶装置0202は、RAMやROM等によって構成され、中央処理装置0201で実行されるプログラム、音声入力装置0203によって入力された音声データ、手書き入力装置0205によって入力された手書きデータ、通信制御/入出力装置0208によって入出力されるデータ、音声出力装置0204で出力するための音声データ、表示装置0206で表示される手書きデータや画像データ等、中央処理装置0201で処理されるデータを格納する。二次記憶装置0209は、例えばフラッシュメモリやハードディスク等の不揮発性メモリにより構成され、例えばコミュニケーション相手の端末装置の電話番号やIPアドレスといった宛先データや送受信した手書きデータあるいは送受信した画像データ等、本端末装置の電源を落とした場合でも、失いたくないデータを格納する。
【００３５】
次に、端末装置の中央処理装置0201により実行されるプログラムの構成について説明する。図３は端末装置の中央処理装置0201によって実行されるプログラムの構成例を示す図である。
【００３６】
図３に示すように、中央処理装置0201により実行されるプログラムは、入力処理手段に相当する入力処理部0301と、セッション制御手段に相当するセッション制御部0302と、音声送信手段に相当する音声送信部0303と、音声受信手段に相当する音声受信部0304と、画像データ送信制御手段に相当する画像データ送信制御部0305と、ファイル名送信部0306と、ファイル内容送信部0307と、画像データ受信制御手段に相当する画像データ受信制御部0308と、ファイル名受信部0309と、ファイル内容受信部0310と、手書きデータ制御手段に相当する手書きデータ制御部0311と、高速モード手書きデータ送受信部0312と、正確モード手書きデータ送受信部0313と、消去送信手段に相当する消去送信部0314と、消去受信手段に相当する消去受信部0315と、画像・手書きデータ管理手段に相当する画像・手書きデータ管理部0316と、表示制御手段に相当する表示制御部0317と、保存手段に相当する保存部0318から構成される。
【００３７】
入力処理部0301は、設定入力装置0207を介してユーザから入力された情報を処理する。
【００３８】
セッション制御部0302は、通信制御/入出力装置0208を介してコミュニケーション相手の端末装置と音声データ、画像データ、および手書きデータの送受信を行えるようセッションを制御する。
【００３９】
音声送信部0303は、音声入力装置0203を介して入力した音声データを符号化およびパケット化して、通信制御/入出力装置0208を介してコミュニケーション相手の端末装置に送信する。
【００４０】
音声受信部0304は、通信制御/入出力装置0208を介して受信した音声データのパケットから符号化された音声データを取得して、復号化した後、音声出力装置0204を介して音声を出力する。
【００４１】
画像データ送信制御部0305は、設定入力装置0207を介してコミュニケーション相手の端末装置への画像データの送信制御を行う。このとき、ユーザから入力された指定に基づいて、画像ファイルのファイル名のみをコミュニケーション相手の端末装置に送信するか、あるいは画像ファイルの内容を送信するかを決定し、この決定に基づいてファイル名送信部0306あるいはファイル内容送信部0307を起動して画像データを送信する。
【００４２】
ファイル名送信部0306は、設定入力装置0207を介してユーザから指定された画像ファイルのファイル名を、通信制御/入出力装置0208を介してコミュニケーション相手の端末装置に送信するとともに、自端末装置に当該ファイルの内容として格納されている画像を表示装置0206に表示するよう画像・手書きデータ管理部0316に指示する。
【００４３】
ファイル内容送信部0307は、設定入力装置0207を介してユーザから指定された画像ファイルのファイル内容を、通信制御/入出力装置0208を介してコミュニケーション相手の端末装置に送信するとともに、当該ファイルの内容として格納されている画像を表示装置0206に表示するよう画像・手書きデータ管理部0316に指示する。
【００４４】
画像データ受信制御部0308は、通信制御/入出力装置0208を介してコミュニケーション相手の端末装置からの画像データの受信制御を行う。このとき、コミュニケーション相手の端末装置が画像ファイルのファイル名のみを送信しようとしているか、あるいは画像ファイルの内容を送信しようとしているかを判別して、画像ファイルのファイル名のみを受信するか、画像ファイルの内容を受信するかを決定し、この決定に基づいてファイル名受信部0309あるいはファイル内容受信部0310を起動して画像データを受信する。
【００４５】
ファイル名受信部0309は、通信制御/入出力装置0208を介してコミュニケーション相手の端末装置から画像ファイルのファイル名を受信するとともに、当該ファイルの内容として格納されている画像を表示装置0206に表示するよう画像・手書きデータ管理部0316に指示する。
【００４６】
ファイル内容受信部0310は、通信制御/入出力装置0208を介してコミュニケーション相手の端末装置から画像ファイルの内容を受信するとともに、当該ファイルの内容として格納されている画像を表示装置0206に表示するよう画像・手書きデータ管理部0316に指示する。
【００４７】
高速モード手書きデータ送受信部0312は、手書き入力装置0205を介してユーザから入力された手書きデータを、通信制御/入出力装置0208を介してコミュニケーション相手の端末装置との間で送受信するとともに、該手書きデータの送受信においては、送信側は受信側でデータを正常に受信したか否かを判別せずにできるだけ多くの手書きデータを送信し、送信した手書きデータを表示装置0206に表示するよう画像・手書きデータ管理部0316に指示する。また、受信側では、通信制御/入出力装置0208を介してコミュニケーション相手の端末装置から受信した手書きデータを表示装置0206に表示するよう画像・手書きデータ管理部0316に指示する。
【００４８】
正確モード手書きデータ送受信部0313は、手書き入力装置0205を介してユーザから入力された手書きデータを、通信制御/入出力装置0208を介してコミュニケーション相手の端末装置との間で送受信するとともに、該手書きデータの送受信においては、送信側は受信側でデータを正常に受信したことを確認しながら手書きデータを送信し、送信した手書きデータを表示装置0206に表示するよう画像・手書きデータ管理部0316に指示する。また、受信側では、通信制御/入出力装置0208を介してコミュニケーション相手の端末装置から受信した手書きデータを表示装置0206に表示するよう画像・手書きデータ管理部0316に指示する。
【００４９】
手書きデータ制御部0311は、手書きデータの送受信を制御する。このとき、設定入力装置0207を介してユーザから入力された指定に基づいて、高速モード手書きデータ送受信部0312を用いて手書きデータの送受信を行うか、あるいは正確モード手書きデータ送受信部0313を用いて手書きデータの送受信を行うかを決定し、それぞれのモードの手書きデータ送受信部を起動して、手書きデータを送受信する。
【００５０】
消去送信部0314は、設定入力装置0207を介してユーザから入力された指定に基づいて、手書きデータのみを消去するか、画像のみを消去するか、あるいはこれらの両方を消去するかを決定し、その決定に基づく消去情報をコミュニケーション相手の端末装置に送信する。また、この決定に基づいて手書きデータのみ、あるいは画像のみ、あるいはこれらの両方を自端末装置の表示装置0206から消去するよう画像・手書きデータ管理部0316に指示する。
【００５１】
消去受信部0315は、コミュニケーション相手の端末装置から送信された消去情報を受信し、その情報に基づいて手書きデータのみ、あるいは画像のみ、あるいはこれらの両方を自端末装置の表示装置0206から消去するよう画像・手書きデータ管理部0316に指示する。
【００５２】
画像・手書きデータ管理部0316は、表示装置0206に表示すべき手書きデータと画像を管理し、ファイル名送信部0306、ファイル内容送信部0307、ファイル名受信部0309、あるいはファイル内容受信部0310からの要求に基づいて表示装置0206に表示すべき画像を表示する。また、高速モード手書きデータ送受信部0312あるいは正確モード手書きデータ送受信部0313からの要求に基づいて表示装置0206に表示すべき手書きデータを表示する。さらに消去送信部0314あるいは消去受信部0315からの要求に基づいて表示装置0206から手書きデータ、画像、あるいは手書きデータと画像データの両方を消去する。
【００５３】
表示制御部0317は、画像・手書きデータ管理部0316からの指示にともづいて手書きデータおよび画像を表示装置0206に表示する。このとき、表示装置0206に最新の手書きデータが表示されないと判断した場合には、画像の表示位置を変更し、最新の手書きデータとその手書きデータの位置に対応する画像を表示装置0206に表示する。
【００５４】
保存部0318は、設定入力装置0207を介してユーザから入力された指定に基づいて、画像・手書きデータ管理部0316から手書きデータのみ、画像データのみ、あるいは手書きデータおよび画像データの両方を取得し、取得したデータを記憶装置0202あるいは二次記憶装置0209に保存する。
【００５５】
次に、上記各部の詳細な処理内容と、それに付随する表示装置0206における表示画面、並びに端末装置間で送受信されるデータのデータ構造について詳述する。
まず、入力処理部0301の処理内容とそれに付随する表示装置0206における表示画面例を、それぞれ図を用いて説明する。
【００５６】
図４は、本コミュニケーションシステムの端末装置において、本コミュニケーションシステムを実行しようとしたときに、最初に端末装置の表示装置0206に表示される表示画面例である。
【００５７】
図４に示すように、本コミュニケーションシステムを実行しようとしたときに、端末装置の表示装置0206に最初に表示される画面0401は、宛先表示エリア0402と、宛先入力ボタン群0403と、手書き入力・表示エリア0404と、水平位置変更スクロールバー0405と、垂直位置変更スクロールバー0406と、通話開始ボタン0407と、通話終了ボタン0408と、手書き開始ボタン0409と、手書き終了ボタン0410と、手書き設定ボタン0411と、画像送信ボタン0412と、消去ボタン0413と、保存ボタン0414と、終了ボタン0415と、宛先クリアボタン0416から構成される。
【００５８】
宛先表示エリア0402は、ユーザが設定入力装置0207を介して宛先入力ボタン群0403を操作することにより入力したコミュニケーション相手の端末装置の宛先を表示する。コミュニケーション相手の端末装置の宛先は、例えばコミュニケーション相手の端末装置の電話番号やIPアドレス等とすればよい。
【００５９】
宛先入力ボタン群0403は、ユーザが設定入力装置0207を介して操作することが可能であり、これにより、ユーザはコミュニケーション相手の端末装置の宛先を入力することができる。なお、宛先入力ボタン群0403は、必ずしも数値のボタンである必要は無く、例えばコミュニケーション相手の名前等、コミュニケーション相手の端末装置の識別名称を入力できるボタンや文字認識パット等でもよい。
【００６０】
手書き入力・表示エリア0404は、手書き入力装置0205を介してユーザが手書きデータを入力することが可能なエリアである。また、通信制御/入出力装置0208を介してコミュニケーション相手の端末装置から受信した手書きデータを表示するエリアでもある。さらに、本手書き入力・表示エリア0404には、ユーザがコミュニケーション相手の端末装置に送信した画像およびコミュニケーション相手の端末装置から受信した画像が表示される。
【００６１】
水平位置変更スクロールバー0405は、ユーザが設定入力装置0207を介して操作することにより、手書き入力・表示エリア0404に表示されている手書きデータや画像の水平位置をスクロールするよう端末装置に指定することができる。
【００６２】
垂直位置変更スクロールバー0406は、ユーザが設定入力装置0207を介して操作することにより、手書き入力・表示エリア0404に表示されている手書きデータや画像の垂直位置をスクロールするよう端末装置に指定することができる。
【００６３】
通話開始ボタン0407は、ユーザが設定入力装置0207を介して操作することにより、宛先表示エリア0402に表示されているコミュニケーション相手の端末装置との間で音声送受信を開始するよう端末装置に指定することができる。
【００６４】
通話終了ボタン0408は、ユーザが設定入力装置0207を介して操作することにより、コミュニケーション相手の端末装置との間で行っている音声送受信を終了するよう端末装置に指定することができる。
【００６５】
手書き開始ボタン0409は、ユーザが設定入力装置0207を介して操作することにより、宛先表示エリア0402に表示されているコミュニケーション相手の端末装置との間で手書きデータの送受信および表示を開始するよう端末装置に指定することができる。
【００６６】
手書き終了ボタン0410は、ユーザが設定入力装置0207を介して操作することにより、コミュニケーション相手の端末装置との間で行っている手書きデータの送受信および表示を終了するよう端末装置に指定することができる。
【００６７】
手書き設定ボタン0411は、ユーザが設定入力装置0207を介して操作することにより、手書きデータを送受信する際の手書きモードを選択できるようにする。
【００６８】
また、このとき選択されたモードを端末装置がコミュニケーション相手の端末装置に送信するとともに、互いの端末装置がこのモードで手書きデータを送受信するよう指定することができる。ここでは、例えば図５に示す手書きモード選択画面0500を表示装置0206に表示し、ユーザが手書きデータを送受信する際の手書きモードとして高速モードと正確モードを選択できるようにし、選択されたモードを端末装置がコミュニケーション相手の端末装置に送信するとともに、互いの端末装置が選択されたモードで手書きデータを送受信するよう指定可能とする。
【００６９】
なお、図５において、手書きモード選択画面0500は、高速モードボタン0501と、正確モードボタン0502と、クローズボタン0503から構成される。ユーザは設定入力装置0207を介して高速モードボタン0501を操作することにより、手書きデータを送受信する際の手書きモードとして高速モードを選択し、端末装置がこのモードをコミュニケーション相手の端末装置に送信するとともに、互いの端末装置がこのモードで手書きデータを送受信するよう指定することができる。
【００７０】
また、本手書きモード選択画面0500において、ユーザは設定入力装置0207を介して正確モードボタン0502を操作することにより、手書きデータを送受信する際の手書きモードとして正確モードを選択し、端末装置がこのモードをコミュニケーション相手の端末装置に送信するとともに、互いの端末装置がこのモードで手書きデータを送受信するよう指定することができる。さらに、本手書きモード選択画面0500において、ユーザは設定入力装置0207を介してクローズボタン0503を操作することにより、端末装置が本手書きモード選択画面0500の表示を終了するよう指定することができる。
【００７１】
さて、図４の説明に戻り、画像送信ボタン0412は、ユーザが設定入力装置0207を介して操作することにより、端末装置がコミュニケーション相手の端末装置に画像データを送信するよう指示可能する。このとき、例えば図６に示す画像送信モード選択画面0600を表示装置0206に表示し、ユーザが画像データを送信する際の画像送信モードとしてファイル名送信モードとファイル内容送信モードを選択できるようにする。また、選択されたモードを端末装置がコミュニケーション相手の端末装置に送信するとともに、互いの端末装置が選択されたモードで画像を送受信するよう指定することができるようにする。
【００７２】
なお、図６において、画像送信モード選択画面0600は、ファイル名送信ボタン0601と、ファイル内容送信ボタン0602と、クローズボタン0603から構成され、ユーザは設定入力装置0207を介してファイル名送信ボタン0601を操作することにより、画像を送信する際の画像送信モードとしてファイル名のみを送信するファイル名送信モードを選択し、端末装置がこのモードをコミュニケーション相手の端末装置に送信するとともに、互いの端末装置がこのモードで画像を送受信するよう指定することができる。また、本画像送信モード選択画面0600において、ユーザは設定入力装置0207を介してファイル内容送信ボタン0602を操作することにより、画像を送信する際の画像送信モードとしてファイルの内容を送信するファイル内容送信モードを選択し、端末装置がこのモードをコミュニケーション相手の端末装置に送信するとともに、互いの端末装置がこのモードで画像を送受信するよう指定することができる。さらに、本手書きモード選択画面0600において、ユーザは設定入力装置0207を介してクローズボタン0603を操作することにより、端末装置が本手書きモード選択画面0600の表示を終了するよう指定することができる。
【００７３】
さて、図４の説明に戻り、消去ボタン0413では、ユーザが設定入力装置0207を介して操作することにより、端末装置が自端末装置の表示装置0206において手書き入力・表示エリア0404に表示されている手書きデータや画像の表示を消去するとともに、コミュニケーション相手の端末装置の表示装置0206における手書き入力・表示エリア0404に表示されている手書きデータや画像の表示を消去するための情報を送信するように指定することができる。
【００７４】
このとき、例えば図７に示す消去内容選択画面0700を表示装置0206に表示し、ユーザが設定入力装置0207を介して操作することにより、自端末装置の表示装置0206において手書き入力・表示エリア0404に表示されている手書きデータのみを消去するか、画像のみを消去するか、あるいは両方を消去するかを選択できるようにし、端末装置が自端末装置の手書き入力・表示エリア0404において選択されたオブジェクトの表示を消去するとともに、コミュニケーション相手の端末装置の手書き入力・表示エリア0404において選択されたオブジェクトの表示を消去するための情報を送信するよう指定できるようにする。なお、図７において、消去内容選択画面0700は、手書きデータ消去ボタン0701と、画像消去ボタン0702と、すべて消去ボタン0703と、クローズボタン0704から構成される。ユーザは設定入力装置0207を介して手書きデータ消去ボタン0701を操作することにより、端末装置が自端末装置の手書き入力・表示エリア0404において表示されている手書きデータの表示を消去するとともに、コミュニケーション相手の端末装置の手書き入力・表示エリア0404において表示されている手書きデータの表示を消去するための情報を送信するように指定できる。
【００７５】
また、本消去内容選択画面0700において、ユーザは設定入力装置0207を介して画像消去ボタン0702を操作することにより、端末装置が自端末装置の手書き入力・表示エリア0404において表示されている画像の表示を消去するとともに、コミュニケーション相手の端末装置の手書き入力・表示エリア0404において表示されている画像の表示を消去するための情報を送信するように指定できる。また、本消去内容選択画面0700において、ユーザは設定入力装置0207を介してすべて消去ボタン0703を操作することにより、端末装置が自端末装置の手書き入力・表示エリア0404において表示されている手書きデータと画像の表示を消去するとともに、コミュニケーション相手の端末装置の手書き入力・表示エリア0404において表示されている手書きデータと画像の表示を消去するための情報を送信するように指定できる。そして、本消去内容選択画面0700において、ユーザは設定入力装置0207を介してクローズボタン0704を操作することにより、端末装置が本消去内容選択画面0700の表示を終了するように指定することができる。
【００７６】
さて、図４の説明に戻り、保存ボタン0414では、ユーザが設定入力装置0207を介して操作することにより、端末装置が表示装置0206の手書き入力・表示エリア0404に表示されている手書きデータや画像を保存するよう指定することができる。このとき、例えば図８に示す保存内容選択画面0800を表示装置0206に表示し、ユーザが設定入力装置0207を介して操作することにより、表示装置0206の手書き入力・表示エリア0404に表示されている手書きデータのみを保存するか、画像のみを保存するか、あるいは両方を合成して保存するかを選択できるようにし、端末装置が手書き入力・表示エリア0404において表示されているオブジェクトのうち、選択されたオブジェクトを保存するように指定できるようにする。
【００７７】
なお、図８において、保存内容選択画面0800は、手書きデータ保存ボタン0801と、画像保存ボタン0802と、すべて保存ボタン0803と、クローズボタン0804から構成される。ユーザは設定入力装置0207を介して手書きデータ保存ボタン0801を操作することにより、端末装置が手書き入力・表示エリア0404において表示されている手書きデータを保存するように指定できる。また、本保存内容選択画面0800において、ユーザは設定入力装置0207を介して画像保存ボタン0802を操作することにより、端末装置が手書き入力・表示エリア0404において表示されている画像を保存するように指定できる。また、本保存内容選択画面0800において、ユーザは設定入力装置0207を介してすべて保存ボタン0803を操作することにより、端末装置が手書き入力・表示エリア0404において表示されている手書きデータと画像を合成した画像を作成し、この画像を保存するように指定できる。そして、本保存内容選択画面0800において、ユーザは設定入力装置0207を介してクローズボタン0804を操作することにより、端末装置が本保存内容選択画面0800の表示を終了するように指定することができる。
【００７８】
さて、図４の説明に戻り、システム終了ボタン0415では、ユーザが設定入力装置0207を介して操作することにより、端末装置が画面0401の表示を終了し、本コミュニケーションシステムを終了するように指定することができる。
宛先クリアボタン0416では、ユーザが設定入力装置0207を介して操作することにより、端末装置が宛先表示エリア0402に表示されている宛先をクリアするよう指定することができる。
【００７９】
次に、本コミュニケーションシステムの起動時に起動され、ユーザからシステム終了ボタンを介して本コミュニケーションシステムの終了が指示されるまで、中央処理装置0201によって実行される入力処理部0301の処理内容について図９を用いて説明する。図９は、入力処理部0301の処理内容を示すフローチャートの一例である。なお、本入力処理部0301は、他のソフトウェア構成要素とは別タスクとして実現され、他のソフトウェア構成要素と並行して中央処理装置0201によって実行される。
【００８０】
図９に示すように、本入力処理部0301は、まず、セッション制御部0302を起動する（ステップ0901）。なお、セッション制御部0302の動作および処理内容については後述する。
【００８１】
続いて、入力処理部0301は、ユーザから設定入力装置0207を介して宛先入力ボタン群0403が操作されたか否かを判断し（ステップ0902）、宛先入力ボタン群0403が操作されたと判断した場合には、宛先表示エリア0402に操作されたボタンに対応するデータを表示する（ステップ0903）。一方、ステップ0902において、宛先入力ボタン群0403が操作されていないと判断した場合には、ステップ0903をスキップする。なお、宛先とは例えばコミュニケーション相手の端末装置の電話番号やIPアドレス等である。
【００８２】
続いて、入力処理部0301は、音声セッションが開かれていない状態でユーザから設定入力装置0207を介して通話開始ボタン0407が操作されたか否かを判断し（ステップ0904）、音声セッションが開かれていない状態で通話開始ボタン0407が操作されたと判断した場合には、さらに宛先表示エリア0402に宛先が表示されているか否かを判断する（ステップ0905）。
【００８３】
上記ステップ0905における判断の結果、宛先表示エリア0402に宛先が表示されていると判断した場合には、セッション制御部0302に音声セッションの開始を指示する（ステップ0906）。一方、上記ステップ0905における判断の結果、宛先表示エリア0402に宛先が表示されていないと判断した場合には、ステップ0906をスキップし、セッション制御部0302への音声セッションの開始指示を行わない。なお、セッション制御部0302に音声セッションの開始を指示するには、例えばセッション制御部に音声セッションの開始を意味するイベントを送信することにより実施可能である。
【００８４】
また、上記ステップ0904における判断の結果、音声セッションが開かれている状態であるか、あるいは通話開始ボタン0407が操作されていないと判断した場合、ステップ0905およびステップ0906をスキップし、宛先表示エリア0402に宛先が表示されているか否かの判断、およびセッション制御部0302への音声セッションの開始指示を行わない。
【００８５】
続いて、入力処理部0301は、音声セッションが開かれている状態でユーザから設定入力装置0207を介して通話終了ボタン0408が操作されたか否かを判断し（ステップ0907）、音声セッションが開かれている状態で通話終了ボタン0408が操作されたと判断した場合には、セッション制御部0302に音声セッションの終了を指示する（ステップ0908）。一方、ステップ0907における判断の結果、音声セッションが開かれている状態ではないか、あるいは通話終了ボタン0408が操作されていないと判断した場合には、ステップ0908をスキップし、セッション制御部0302への音声セッションの終了指示を行わない。なお、セッション制御部0302に音声セッションの終了を指示するには、例えばセッション制御部に音声セッションの終了を意味するイベントを送信することにより実施可能である。
【００８６】
続いて、入力処理部0301は、手書きセッションが開始されていない状態でユーザから設定入力装置0207を介して手書き開始ボタン0409が操作されたか否かを判断し（ステップ0909）、手書きセッションが開始されていない状態で手書き開始ボタン0409が操作されたと判断した場合には、さらに宛先表示エリア0402に宛先が表示されているか否かを判断する（ステップ0909'）。
【００８７】
上記ステップ0909'における判断の結果、宛先表示エリア0402に宛先が表示されていると判断した場合には、セッション制御部0302に手書きセッションの開始を指示する（ステップ0910）。一方、上記ステップ0909'における判断の結果、宛先表示エリア0402に宛先が表示されていないと判断した場合には、ステップ0910をスキップし、セッション制御部0302への手書きセッションの開始指示を行わない。なお、セッション制御部0302に手書きセッションの開始を指示するには、例えばセッション制御部0302に手書きセッションの開始を意味するイベントを送信することにより実施可能である。
【００８８】
また、上記ステップ0909における判断の結果、手書きセッションが開かれている状態であるか、あるいは手書き開始ボタン0409が操作されていないと判断した場合には、ステップ0909'およびステップ0910をスキップし、宛先表示エリア0402に宛先が表示されているか否かの判断、およびセッション制御部0302への手書きセッションの開始指示を行わない。
【００８９】
続いて、入力処理部0301は、手書きセッションが開始されている状態でユーザから設定入力装置0207を介して手書き終了ボタン0410が操作されたか否かを判断し（ステップ0911）、手書きセッションが開始されている状態で手書き終了ボタン0410が操作されたと判断した場合には、セッション制御部0302に手書きセッションの終了を指示する（ステップ0912）。一方、手書きセッションが開始されていない状態であるか、あるいは手書き終了ボタン0410が操作されていないと判断した場合には、ステップ0912をスキップし、セッション制御部0302への手書きセッションの終了指示を行わない。なお、セッション制御部0302に手書きセッションの終了を指示するには、例えばセッション制御部0302に手書きセッションの終了を意味するイベントを送信することにより実施可能である。
【００９０】
続いて、入力処理部0301は、ユーザから設定入力装置0207を介して宛先クリアボタン0416が操作されたか否かを判断し（ステップ0913）、宛先クリアボタン0416が操作されたと判断した場合には、宛先表示エリア0402に表示されている宛先をクリアする（ステップ0914）。一方、宛先クリアボタン0416が操作されていないと判断した場合には、ステップ0914をスキップし、宛先表示エリア0402に表示されている宛先をクリアせずに現状のままとしておく。
【００９１】
続いて、入力処理部0301は、画像送信セッションが開始されていない状態でユーザから設定入力装置0207を介して画像送信ボタン0412が操作されたか否かを判断し（ステップ0915）、画像送信セッションが開始されていない状態で画像送信ボタン0412が操作されたと判断した場合には、さらに宛先表示エリア0402に宛先が表示されているか否かを判断する（ステップ0915'）。
【００９２】
上記ステップ0915'における判断の結果、宛先表示エリア0402に宛先が表示されていると判断した場合には、セッション制御部0302に画像送信セッションの開始を指示する（ステップ0916）。一方、上記ステップ0915'における判断の結果、宛先表示エリア0402に宛先が表示されていないと判断した場合には、ステップ0916をスキップし、セッション制御部0302への画像送信セッションの開始指示を行わない。なお、セッション制御部0302に画像送信セッションの開始を指示するには、例えばセッション制御部0302に画像送信セッションの開始を意味するイベントを送信することにより実施可能である。
【００９３】
また、上記ステップ0915における判断の結果、画像送信セッションが開かれている状態であるか、あるいは画像送信ボタン0412が操作されていないと判断した場合、ステップ0915'およびステップ0916をスキップし、宛先表示エリア0402に宛先が表示されているか否かの判断、およびセッション制御部0302への画像送信セッションの開始指示を行わない。
【００９４】
続いて、入力処理部0301は、手書きセッションが開始されている状態でユーザから設定入力装置0207を介して手書き設定ボタン0411が操作されたか否かを判断し（ステップ0917）、手書きセッションが開始されている状態で手書き設定ボタン0411が操作されたと判断した場合には、上述した手書きモード選択画面0500を表示し、ユーザから手書きデータを送受信する際の手書きモードとして高速モードか正確モードが選択されるのを待つ（ステップ0918）。そして選択されたモードを手書きデータ制御部0311に通知する（ステップ0919）。なお、手書きデータ制御部0311へのモード通知は、例えば手書きデータ制御部0311に新たなモード設定および選択されたモードに対応するモードを意味するイベントを送信することにより実施可能である。ただし、上記ステップ0918において、ユーザからモードが選択されることなく、クローズボタン0503が操作された場合には、ステップ0918においてモードを手書きデータ制御部0311に通知しないようにする。
【００９５】
一方、上記ステップ0917において、手書きセッションが開始されていない状態か、あるいは手書き設定ボタン0411が操作されていないと判断した場合には、上記ステップ0918およびステップ0919をスキップし、手書きモード選択画面0500の表示、手書きモードの選択待ち、および手書きデータ制御部0311への手書きモードの通知を行わない。
【００９６】
続いて、入力処理部0301は、消去が実行されていない状態でユーザから設定入力装置0207を介して消去ボタン0413が操作されたか否かを判断し（ステップ0920）、消去が実行されていない状態で消去ボタン0413が操作されたと判断した場合には、さらに宛先表示エリア0402に宛先が表示されているか否かを判断する（ステップ0921）。
【００９７】
上記ステップ0921における判断の結果、宛先表示エリア0402に宛先が表示されていると判断した場合には、セッション制御部0302に消去を指示する（ステップ0922）。一方、上記ステップ0921における判断の結果、宛先表示エリア0402に宛先が表示されていないと判断した場合には、ステップ0922をスキップし、セッション制御部0302への消去指示を行わない。なお、セッション制御部0302への消去指示は、例えばセッション制御部0302に消去指示を意味するイベントを送信することにより実施可能である。
【００９８】
また、上記ステップ0920における判断の結果、消去が実行されている状態であるか、あるいは消去ボタン0413が操作されていないと判断した場合、ステップ0921およびステップ0922をスキップし、宛先表示エリア0402に宛先が表示されているか否かの判断、およびセッション制御部0302への消去指示を行わない。
【００９９】
続いて、入力処理部0301は、保存が実行されていない状態でユーザから設定入力装置0207を介して保存ボタン0414が操作されたか否かを判断し（ステップ0923）、保存が実行されていない状態で保存ボタン0414が操作されたと判断した場合には、保存部0318を実行する（ステップ0924）。一方、上記ステップ0923における判断の結果、保存が実行されている状態か、あるいは保存ボタン0414が操作されていないと判断した場合には、ステップ0924をスキップし、保存部0318を実行しない。なお、保存部0318の処理内容については後述する。
【０１００】
さて、入力処理部0301は、続いてユーザから設定入力装置0207を介して終了ボタン0415操作されたか否かを判断し（ステップ0925）、終了ボタン0415が操作されていないと判断した場合には、上記ステップ0902に戻り、ユーザから終了ボタン0415操作されるまで上記ステップ0902乃至ステップ0925を繰り返す。
一方、上記ステップ0925において、終了ボタン0415が操作されたと判断した場合には、セッション制御部0302を終了し（ステップ0926）、本入力処理部0301の処理を終了する。
【０１０１】
次に、入力処理部0301によって起動され、同じく入力処理部0301によって終了されるまで中央処理装置0201によって実行されるセッション制御部0302の処理内容について図１０および図４７を用いて説明する。図１０および図４７は、セッション制御部0302の処理内容を示すフローチャートの一例である。なお、本セッション制御部0302は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置0201によって実行される。
【０１０２】
図１０および図４７に示すとおり、セッション制御部0302は、まず、入力処理部0301から音声セッションの開始が指示されたか否かを判断し（ステップ1001）、音声セッションの開始が指示されたと判断した場合には、宛先表示エリア0402に表示されている宛先、すなわちコミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して音声セッション開始要求を送信する（ステップ1002）。一方、ステップ1001において、音声セッションの開始が指示されていないと判断した場合には、ステップ1002をスキップし、コミュニケーション相手の端末装置に対して音声セッション開始要求を送信しない。なお、入力処理部0301から音声セッションの開始が指示されたか否かを判断するには、例えば入力処理部0301から音声セッションの開始を意味するイベントを受信したか否かを判断することにより実施可能である。また、音声セッション開始要求を行う手順に関しては、例えばRFC2543で規定されている音声セッション開始の方式等を使用可能である。
【０１０３】
次に、セッション制御部0302は、入力処理部0301から音声セッションの終了が指示されたか否かを判断し（ステップ1003）、音声セッションの終了が指示されたと判断した場合には、宛先表示エリア0402に表示されている宛先、すなわちコミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して音声セッション終了要求を送信する（ステップ1004）。一方、ステップ1003において、音声セッションの終了が指示されていないと判断した場合には、ステップ1004をスキップし、コミュニケーション相手の端末装置に対して音声セッション終了要求を送信しない。なお、入力処理部0301から音声セッションの終了が指示されたか否かを判断するには、例えば入力処理部0301から音声セッションの終了を意味するイベントを受信したか否かを判断することにより実施可能である。また、音声セッション終了要求を行う手順に関しては、例えばRFC2543で規定されている音声セッション終了の方式等を使用可能である。
【０１０４】
続いて、セッション制御部0302は、入力処理部0301から手書きセッションの開始が指示されたか否かを判断し（ステップ1005）、手書きセッションの開始が指示されたと判断した場合には、宛先表示エリア0402に表示されている宛先、すなわちコミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して手書きセッション開始要求を送信する（ステップ1006）。一方、ステップ1005において、手書きセッションの開始が指示されていないと判断した場合には、ステップ1006をスキップし、コミュニケーション相手の端末装置に対して手書きセッション開始要求を送信しない。なお、入力処理部0301から手書きセッションの開始が指示されたか否かを判断するには、例えば入力処理部0301から手書きセッションの開始を意味するイベントを受信したか否かを判断することにより実施可能である。また、手書きセッション開始要求を行う手順に関しては、例えばRFC2543で規定されているデータセッション開始の方式等を使用可能である。
【０１０５】
続いて、セッション制御部0302は、入力処理部0301から手書きセッションの終了が指示されたか否かを判断し（ステップ1007）、手書きセッションの終了が指示されたと判断した場合には、コミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して手書きセッション終了要求を送信する（ステップ1008）。一方、ステップ1007において、手書きセッションの終了が指示されていないと判断した場合には、ステップ1008をスキップし、コミュニケーション相手の端末装置に対して手書きセッション終了要求を送信しない。なお、入力処理部0301から手書きセッションの終了が指示されたか否かを判断するには、例えば入力処理部0301から手書きセッションの終了を意味するイベントを受信したか否かを判断することにより実施可能である。また、手書きセッション終了要求を行う手順に関しては、例えばRFC2543で規定されているデータセッション終了の方式等を使用可能である。
【０１０６】
続いて、セッション制御部0302は、入力処理部0301から画像送信セッションの開始が指示されたか否かを判断し（ステップ1009）、画像送信セッションの開始が指示されたと判断した場合には、宛先表示エリア0402に表示されている宛先、すなわちコミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して画像送信セッション開始要求を送信する（ステップ1010）。一方、ステップ1009において、画像送信セッションの開始が指示されていないと判断した場合には、ステップ1010をスキップし、コミュニケーション相手の端末装置に対して画像送信セッション開始要求を送信しない。
【０１０７】
なお、入力処理部0301から画像送信セッションの開始が指示されたか否かを判断するには、例えば入力処理部0301から画像送信セッションの開始を意味するイベントを受信したか否かを判断することにより実施可能である。また、画像送信セッション開始要求を行う手順に関しては、例えばRFC2543で規定されているデータセッション開始の方式等を使用可能である。
【０１０８】
続いて、セッション制御部0302は、入力処理部0301から消去が指示されたか否かを判断し（ステップ1011）、消去が指示されたと判断した場合には、宛先表示エリア0402に表示されている宛先、すなわちコミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して消去要求を送信する（ステップ1012）。一方、ステップ1011において、消去が指示されていないと判断した場合には、ステップ1012をスキップし、コミュニケーション相手の端末装置に対して消去要求を送信しない。なお、入力処理部0301から消去が指示されたか否かを判断するには、例えば入力処理部0301から消去指示を意味するイベントを受信したか否かを判断することにより実施可能である。また、消去要求を行う手順に関しては、例えばRFC2543で規定されているデータセッション開始の方式等を使用可能である。
【０１０９】
続いて、セッション制御部0302は、通信制御/入出力装置0208およびネットワーク0103を介してコミュニケーション相手の端末装置から音声セッション開始要求を受信したか否かを判断し（ステップ1013）、コミュニケーション相手の端末装置から音声セッション開始要求を受信したと判断した場合には、ユーザに対し音声セッションの開始確認を行う（ステップ1014）。なお、音声セッション開始要求の処理手順に関しては、例えばRFC2543で規定されている音声セッション開始の方式等を使用可能である。本開始確認では、例えば図１１に示す音声セッション開始許可画面1100を表示装置0206に表示し、ユーザが設定入力装置0207を介して操作することにより、音声セッション開始要求を送信した端末装置、すなわち音声通話を要求してきたコミュニケーション相手の端末装置との間で音声セッションの開始を許可あるいは拒絶することを可能とする。なお、図１１において、音声セッション開始許可画面1100は、「はい」ボタン1101と「いいえ」ボタン1102から構成され、ユーザは設定入力装置0207を介して「はい」ボタン1101を操作することにより、音声通話を要求してきたコミュニケーション相手の端末装置との間で音声セッションの開始を許可できるとともに、端末装置に本音声セッション開始許可画面1100の表示を終了するよう指示することができる。また、ユーザは設定入力装置0207を介して「いいえ」ボタン1102を操作することにより、音声通話を要求してきたコミュニケーション相手の端末装置との間で音声セッションの開始を拒否できるとともに、端末装置に本音声セッション開始許可画面1100の表示を終了するよう指示することができる。
【０１１０】
さて、図１０および図４７のセッション制御部0302の説明に戻り、セッション制御部0302は、上記ステップ1014において、ユーザに対して音声セッションの開始確認を行った結果、音声セッションの開始が許可されたか否かを判断し（ステップ1015）、本判断の結果、音声セッションの開始が許可された場合には、音声送信部0303および音声受信部0304を起動した後（ステップ1016およびステップ1017）、コミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して音声セッション開始許可を送信する（ステップ1018）。なお、音声セッション開始許可を行う手順に関しては、例えばRFC2543で規定されている音声セッション開始の方式等を使用可能である。
【０１１１】
一方、上記ステップ1015において、音声セッションの開始が拒否されたと判断した場合には、ステップ1016、ステップ1017、およびステップ1018をスキップし、音声送信部0303および音声受信部0304の起動、およびコミュニケーション相手の端末装置に対する音声セッション開始許可の送信を行わない。
【０１１２】
また、上記ステップ1013における判断の結果、コミュニケーション相手の端末装置から音声セッション開始要求を受信していないと判断した場合には、上記ステップ1014乃至ステップ1018をスキップし、ユーザに対する音声セッションの開始確認、この確認に基づく開始許可判断、音声送信部0303および音声受信部0304の起動、およびコミュニケーション相手の端末装置に対する音声セッション開始許可の送信を行わない。
【０１１３】
続いて、セッション制御部0302は、通信制御/入出力装置0208およびネットワーク0103を介してコミュニケーション相手の端末装置から音声セッション終了要求を受信したか否かを判断し（ステップ1019）、コミュニケーション相手の端末装置から音声セッション終了要求を受信したと判断した場合には、音声送信部0303および音声受信部0304を終了させた後（ステップ1020およびステップ1021）、コミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して音声セッション終了許可を送信する（ステップ1022）。なお、音声セッション終了許可を行う手順に関しては、例えばRFC2543で規定されている音声セッション終了の方式等を使用可能である。
【０１１４】
一方、上記ステップ1019において、コミュニケーション相手の端末装置から音声セッション終了要求を受信していないと判断した場合には、ステップ1020、ステップ1021、およびステップ1022をスキップし、音声送信部0303および音声受信部0304の終了、およびコミュニケーション相手の端末装置に対する音声セッション終了許可の送信を行わない。
【０１１５】
続いて、セッション制御部0302は、通信制御/入出力装置0208およびネットワーク0103を介してコミュニケーション相手の端末装置から手書きセッション開始要求を受信したか否かを判断し（ステップ1023）、コミュニケーション相手の端末装置から手書きセッション開始要求を受信したと判断した場合には、さらにユーザの許可なしにコミュニケーション相手の端末装置が手書きデータを送信できるか否かを判断する（ステップ1024）。これは例えばあらかじめ記憶装置0202あるいは二次記憶装置0209に許可不要な宛先を許可不要リストとして登録しておき、手書きセッション開始要求を送信したコミュニケーション相手の端末装置が、この許可不要リストに登録されているか検索することによって実現可能である。この場合、例えば手書きセッション開始要求を送信したコミュニケーション相手の端末装置が許可不要リスト中に登録されている場合には、コミュニケーション相手の端末装置はユーザの許可なしに手書きデータを送信できると判断し、逆に手書きセッション開始要求を送信したコミュニケーション相手の端末装置が許可不要リスト中に登録されていない場合には、コミュニケーション相手の端末装置はユーザの許可なしでは手書きデータを送信できないと判断することができる。
【０１１６】
さて、本ステップ1024における判断の結果、コミュニケーション相手の端末装置はユーザの許可なしでは手書きデータを送信できないと判断した場合には、セッション制御部0302は、続いてユーザに対して手書きセッションの開始確認を行う（ステップ1025）。本開始確認では、例えば図１２に示す手書きセッション開始許可画面1200を表示装置0206に表示し、ユーザが設定入力装置0207を介して操作することにより、手書きセッション開始要求を送信した端末装置、すなわち手書きによるコミュニケーションを要求したコミュニケーション相手の端末装置との間で手書きセッションの開始を許可あるいは拒絶することが可能となる。なお、図１２において、手書きセッション開始許可画面1200は、「はい」ボタン1201と「いいえ」ボタン1202から構成され、ユーザは設定入力装置0207を介して「はい」ボタン1201を操作することにより、手書きによるコミュニケーションを要求したコミュニケーション相手の端末装置との間で手書きセッションの開始を許可するとともに、端末装置に本手書きセッション開始許可画面1200の表示を終了するよう指定することができる。また、ユーザは設定入力装置0207を介して「いいえ」ボタン1202を操作することにより、手書きによるコミュニケーションを要求したコミュニケーション相手の端末装置との間で手書きセッションの開始を拒否するとともに、端末装置に本手書きセッション開始許可画面1200の表示を終了するよう指定することができる。
【０１１７】
さて、図１０および図４７のセッション制御部0302の説明に戻り、セッション制御部0302は、上記ステップ1025において、ユーザに対して手書きセッションの開始確認を行った結果、手書きセッションの開始が許可されたか否かを判断し（ステップ1026）、本判断の結果、手書きセッションの開始が許可されたと判断した場合には、手書きデータ制御部0311を起動した後（ステップ1027）、コミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して手書きセッション開始許可を送信する（ステップ1028）。なお、手書きセッション開始要求および手書きセッション開始許可を行う手順に関しては、例えばRFC2543で規定されているデータセッション開始の方式等を使用可能である。
【０１１８】
一方、上記ステップ1026において、手書きセッションの開始が拒否されたと判断した場合には、ステップ1027およびステップ1028をスキップし、手書きデータ制御部0311の起動、およびコミュニケーション相手の端末装置に対する手書きセッション開始許可の送信を行わない。
【０１１９】
また、上記ステップ1024における判断の結果、ユーザの許可なしでコミュニケーション相手の端末装置が手書きデータを送信できると判断した場合には、セッション制御部0302は、上記ステップ1025およびステップ1026をスキップし、ユーザに対して手書きセッション開始確認およびこの確認に基づく開始許可判断を行うことなくステップ1027へと進み、手書きデータ制御部0311を起動した後（ステップ1027）、コミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して手書きセッション開始許可を送信する（ステップ1028）。
【０１２０】
また、上記ステップ1023における判断の結果、コミュニケーション相手の端末装置から手書きセッション開始要求を受信していないと判断した場合には、上記ステップ1024乃至ステップ1028をスキップし、ユーザの許可なしにコミュニケーション相手の端末装置が手書きデータを送信できるかの判断、ユーザに対する手書きセッションの開始確認、この確認に基づく開始許可判断、手書きデータ制御部0311の起動、およびコミュニケーション相手の端末装置に対する手書きセッション開始許可の送信を行わない。
【０１２１】
続いて、セッション制御部0302は、通信制御/入出力装置0208およびネットワーク0103を介してコミュニケーション相手の端末装置から手書きセッション終了要求を受信したか否かを判断し（ステップ1029）、コミュニケーション相手の端末装置から手書きセッション終了要求を受信したと判断した場合には、手書きデータ制御部0311を終了させた後（ステップ1030）、コミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して手書きセッション終了許可を送信する（ステップ1031）。なお、手書きセッション終了許可を行う手順に関しては、例えばRFC2543で規定されているデータセッション終了の方式等を使用可能である。
【０１２２】
一方、上記ステップ1029において、コミュニケーション相手の端末装置から手書きセッション終了要求を受信していないと判断した場合には、ステップ1030およびステップ1031をスキップし、手書きデータ制御部0311の終了およびコミュニケーション相手の端末装置に対する手書きセッション終了許可の送信を行わない。
【０１２３】
続いて、セッション制御部0302は、通信制御/入出力装置0208およびネットワーク0103を介してコミュニケーション相手の端末装置から画像送信セッション開始要求を受信したか否かを判断し（ステップ1032）、コミュニケーション相手の端末装置から画像送信セッション開始要求を受信したと判断した場合には、さらにユーザの許可なしにコミュニケーション相手の端末装置が画像データを送信できるか否かを判断する（ステップ1033）。これは例えばあらかじめ記憶装置0202あるいは二次記憶装置0209に許可不要な宛先を許可不要リストとして登録しておき、画像送信セッション開始要求を送信したコミュニケーション相手の端末装置が、この許可不要リストに登録されているか検索することによって実現可能である。この場合、例えば画像送信セッション開始要求を送信したコミュニケーション相手の端末装置が許可不要リスト中に登録されている場合には、コミュニケーション相手の端末装置はユーザの許可なしに画像データを送信できると判断し、逆に画像送信セッション開始要求を送信したコミュニケーション相手の端末装置が許可不要リスト中に登録されていない場合には、コミュニケーション相手の端末装置はユーザの許可なしでは画像データを送信できないと判断することができる。なお、この場合の許可不要リストは、先の手書きセッション開始要求を受信した場合において使用した許可不要リストと同一のものとしても良い。
【０１２４】
さて、上記ステップ1033における判断の結果、ユーザの許可なしではコミュニケーション相手の端末装置は画像データを送信できないと判断した場合には、セッション制御部0302は、続いてユーザに対して画像送信セッションの開始確認を行う（ステップ1034）。本開始確認では、例えば図１３に示す画像送信セッション開始許可画面1300を表示装置0206に表示し、ユーザが設定入力装置0207を介して操作することにより、画像送信セッション開始要求を送信した端末装置、すなわちコミュニケーション相手の端末装置との間で画像送信セッションの開始を許可あるいは拒絶することが可能となる。なお、図１３において、画像送信セッション開始許可画面1300は、「はい」ボタン1301と「いいえ」ボタン1302から構成され、ユーザは設定入力装置0207を介して「はい」ボタン1301を操作することにより、画像送信セッション開始要求を送信した端末装置との間で画像送信セッションの開始を許可するとともに、端末装置に本画像送信セッション開始許可画面1300の表示を終了するよう指定することができる。また、ユーザは設定入力装置0207を介して「いいえ」ボタン1302を操作することにより、画像送信セッション開始要求を送信した端末装置との間で画像送信セッションの開始を拒否するとともに、端末装置に本画像送信セッション開始許可画面1300の表示を終了するよう指定することができる。
【０１２５】
さて、図１０および図４７のセッション制御部0302の説明に戻り、セッション制御部0302は、上記ステップ1034において、ユーザに対して画像送信セッションの開始確認を行った結果、画像送信セッションの開始が許可されたか否かを判断し（ステップ1035）、本判断の結果、画像送信セッションの開始が許可されたと判断した場合には、画像データ受信制御部0308を起動した後（ステップ1036）、コミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して画像送信セッション開始許可を送信する（ステップ1037）。なお、画像送信セッション開始要求および画像送信セッション開始許可を行う手順に関しては、例えばRFC2543で規定されているデータセッション開始の方式等を使用可能である。
【０１２６】
一方、上記ステップ1035において、画像送信セッションの開始が拒否されたと判断した場合には、ステップ1036およびステップ1037をスキップし、画像データ受信制御部0308の起動、およびコミュニケーション相手の端末装置に対する画像送信セッション開始許可の送信を行わない。
【０１２７】
また、上記ステップ1033における判断の結果、ユーザの許可なしでコミュニケーション相手の端末装置が画像データを送信できると判断した場合には、セッション制御部0302は、上記ステップ1034およびステップ1035をスキップし、ユーザに対する画像送信セッションの開始確認およびこの確認に基づく開始許可判断を行うことなくステップ1036へと進み、画像データ受信制御部0308を起動した後（ステップ1036）、コミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して画像送信セッション開始許可を送信する（ステップ1037）。
【０１２８】
また、上記ステップ1032における判断の結果、コミュニケーション相手の端末装置から画像送信セッション開始要求を受信していないと判断した場合には、上記ステップ1033乃至ステップ1037をスキップし、ユーザの許可なしにコミュニケーション相手の端末装置が画像データを送信できるかの判断、ユーザに対する画像送信セッションの開始確認、この確認に基づく開始許可判断、画像データ受信制御部0308の起動、およびコミュニケーション相手の端末装置に対する画像送信セッション開始許可の送信を行わない。
【０１２９】
続いて、セッション制御部0302は、画像データ送信制御部0305から画像送信セッション終了要求を受信したか否かを判断し（ステップ1038）、画像送信セッション終了要求を受信したと判断した場合には、画像データ送信制御部0305を終了させた後（ステップ1039）、コミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して画像送信セッション終了通知を送信する（ステップ1040）。なお、画像送信セッションの終了を通知する手順に関しては、例えばRFC2543で規定されているデータセッション終了の方式等を使用可能である。
【０１３０】
一方、上記ステップ1038において、画像データ送信制御部0305から画像送信セッション終了要求を受信していないと判断した場合には、ステップ1039およびステップ1040をスキップし、画像データ送信制御部0305の終了およびコミュニケーション相手の端末装置に対する画像送信セッション終了通知の送信を行わない。
【０１３１】
続いて、セッション制御部0302は、通信制御/入出力装置0208およびネットワーク0103を介してコミュニケーション相手の端末装置から消去要求を受信したか否かを判断し（ステップ1041）、コミュニケーション相手の端末装置から消去要求を受信したと判断した場合には、さらにユーザの許可なしにコミュニケーション相手の端末装置が表示装置0206の手書き入力・表示エリア0404に表示されている表示データを消去できるか否かを判断する（ステップ1042）。これは例えばあらかじめ記憶装置0202あるいは二次記憶装置0209に許可不要な宛先を許可不要リストとして登録しておき、消去要求を送信したコミュニケーション相手の端末装置が、この許可不要リストに登録されているか検索することによって実現可能である。この場合、例えば消去要求を送信したコミュニケーション相手の端末装置が許可不要リスト中に登録されている場合には、ユーザの許可なしにコミュニケーション相手の端末装置が表示装置0206の手書き入力・表示エリア0404に表示されている表示データを消去できると判断し、逆に消去要求を送信したコミュニケーション相手の端末装置が許可不要リスト中に登録されていない場合には、ユーザの許可なしではコミュニケーション相手の端末装置が表示装置0206の手書き入力・表示エリア0404に表示されている表示データを消去できないと判断することができる。なお、この場合の許可不要リストは、先の手書きセッション開始要求を受信した場合あるいは画像送信セッション開始要求を受信した場合において使用した許可不要リストと同一のものとしても良い。
【０１３２】
さて、本ステップ1042における判断の結果、ユーザの許可なしではコミュニケーション相手の端末装置が表示装置0206の手書き入力・表示エリア0404に表示されている表示データを消去できないと判断した場合には、セッション制御部0302は、続いてユーザに対して消去確認を行う（ステップ1043）。本消去確認では、例えば図１４に示す消去許可画面1400を表示装置0206に表示し、ユーザが設定入力装置0207を介して操作することにより、消去要求を送信した端末装置、すなわちコミュニケーション相手の端末装置によって表示装置0206の手書き入力・表示エリア0404に表示されている表示データが消去されることを許可あるいは拒絶することが可能となる。なお、図１４において、消去許可画面1400は、「はい」ボタン1401と「いいえ」ボタン1402から構成され、ユーザは設定入力装置0207を介して「はい」ボタン1401を操作することにより、消去要求を送信した端末装置との間で消去情報を送受信するためのセッション開始を許可するとともに、端末装置に本消去許可画面1400の表示を終了するよう指定することができる。また、ユーザは設定入力装置0207を介して「いいえ」ボタン1402を操作することにより、消去要求を送信した端末装置との間で消去情報を送受信するためのセッション開始を拒否するとともに、端末装置に本消去許可画面1400の表示を終了するよう指定することができる。
【０１３３】
さて、図１０および図４７のセッション制御部0302の説明に戻り、セッション制御部0302は、上記ステップ1043において、ユーザに対して消去確認を行った結果、表示装置0206の手書き入力・表示エリア0404に表示されている表示データの消去が許可されたか否かを判断し（ステップ1044）、本判断の結果、表示装置0206の手書き入力・表示エリア0404に表示されている表示データの消去が許可された場合には、消去受信部0315を起動した後（ステップ1045）、コミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して消去許可を送信する（ステップ1046）。なお、消去要求および消去許可を行う手順に関しては、例えばRFC2543で規定されているデータセッション開始の方式等を使用可能である。
【０１３４】
一方、上記ステップ1044において、表示装置0206の手書き入力・表示エリア0404に表示されている表示データの消去が拒否されたと判断した場合には、ステップ1045およびステップ1046をスキップし、消去受信部0315の起動、およびコミュニケーション相手の端末装置に対する消去許可の送信を行わない。
【０１３５】
また、上記ステップ1042における判断の結果、ユーザの許可なしでコミュニケーション相手の端末装置が表示装置0206の手書き入力・表示エリア0404に表示されている表示データを消去できると判断した場合には、セッション制御部0302は、上記ステップ1043およびステップ1044をスキップし、ユーザに対する消去確認およびこの確認に基づく消去許可判断を行うことなくステップ1045へと進み、消去受信部0315を起動した後（ステップ1045）、コミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して消去許可を送信する（ステップ1046）。
【０１３６】
また、上記ステップ1041における判断の結果、コミュニケーション相手の端末装置から消去要求を受信していないと判断した場合には、上記ステップ1042乃至ステップ1046をスキップし、ユーザの許可なしにコミュニケーション相手の端末装置が表示装置0206の手書き入力・表示エリア0404に表示されている表示データを消去できるかの判断、ユーザに対する消去確認、この確認に基づく消去許可判断、消去受信部0315の起動、およびコミュニケーション相手の端末装置に対する消去許可の送信を行わない。
【０１３７】
続いて、セッション制御部0302は、消去送信部0314から消去終了要求を受信したか否かを判断し（ステップ1047）、消去終了要求を受信したと判断した場合には、消去送信部0314を終了させた後（ステップ1048）、コミュニケーション相手の端末装置に対して、通信制御/入出力装置0208およびネットワーク0103を介して消去終了通知を送信する（ステップ1049）。なお、消去の終了を通知する手順に関しては、例えばRFC2543で規定されているデータセッション終了の方式等を使用可能である。
【０１３８】
一方、上記ステップ1047において、消去送信部0314から消去要求を受信していないと判断した場合には、ステップ1048およびステップ1049をスキップし、消去送信部0314の終了およびコミュニケーション相手の端末装置に対する消去終了通知の送信を行わない。
【０１３９】
続いて、セッション制御部0302は、通信制御/入出力装置0208およびネットワーク0103を介してコミュニケーション相手の端末装置から音声セッション開始許可を受信したか否かを判断し（ステップ1050）、コミュニケーション相手の端末装置から音声セッション開始許可を受信したと判断した場合には、音声送信部0303および音声受信部0304を起動させる（ステップ1051およびステップ1052）。なお、音声セッション開始許可を行う手順に関しては、例えばRFC2543で規定されている音声セッション開始の方式等を使用可能である。
【０１４０】
一方、上記ステップ1050において、コミュニケーション相手の端末装置から音声セッション開始許可を受信していないと判断した場合には、ステップ1051およびステップ1052をスキップし、音声送信部0303および音声受信部0304の起動を行わない。
【０１４１】
続いて、セッション制御部0302は、通信制御/入出力装置0208およびネットワーク0103を介してコミュニケーション相手の端末装置から音声セッション終了許可を受信したか否かを判断し（ステップ1053）、コミュニケーション相手の端末装置から音声セッション終了許可を受信したと判断した場合には、音声送信部0303および音声受信部0304を終了させる（ステップ1054およびステップ1055）。なお、音声セッション終了許可を行う手順に関しては、例えばRFC2543で規定されている音声セッション終了の方式等を使用可能である。
【０１４２】
一方、上記ステップ1053において、コミュニケーション相手の端末装置から音声セッション終了許可を受信していないと判断した場合には、ステップ1054およびステップ1055をスキップし、音声送信部0303および音声受信部0304の終了を行わない。
【０１４３】
続いて、セッション制御部0302は、通信制御/入出力装置0208およびネットワーク0103を介してコミュニケーション相手の端末装置から手書きセッション開始許可を受信したか否かを判断し（ステップ1056）、コミュニケーション相手の端末装置から手書きセッション開始許可を受信したと判断した場合には、手書きデータ制御部0311を起動する（ステップ1057）。なお、手書きセッション開始許可を行う手順に関しては、例えばRFC2543で規定されているデータセッション開始の方式等を使用可能である。
【０１４４】
一方、上記ステップ1056において、コミュニケーション相手の端末装置から手書きセッション開始許可を受信していないと判断した場合には、ステップ1057をスキップし、手書きデータ制御部0311の起動を行わない。
【０１４５】
続いて、セッション制御部0302は、通信制御/入出力装置0208およびネットワーク0103を介してコミュニケーション相手の端末装置から手書きセッション終了許可を受信したか否かを判断し（ステップ1058）、コミュニケーション相手の端末装置から手書きセッション終了許可を受信したと判断した場合には、手書きデータ制御部0311を終了させる（ステップ1059）。なお、手書きセッション終了許可を行う手順に関しては、例えばRFC2543で規定されているデータセッション終了の方式等を使用可能である。
【０１４６】
一方、上記ステップ1058において、コミュニケーション相手の端末装置から手書きセッション終了許可を受信していないと判断した場合には、ステップ1059をスキップし、手書きデータ制御部0311の終了を行わない。
【０１４７】
続いて、セッション制御部0302は、通信制御/入出力装置0208およびネットワーク0103を介してコミュニケーション相手の端末装置から画像送信セッション開始許可を受信したか否かを判断し（ステップ1060）、コミュニケーション相手の端末装置から画像送信セッション開始許可を受信したと判断した場合には、画像データ送信制御部0305を起動させる（ステップ1061）。なお、画像送信セッション開始許可を行う手順に関しては、例えばRFC2543で規定されているデータセッション開始の方式等を使用可能である。
【０１４８】
一方、上記ステップ1060において、コミュニケーション相手の端末装置から画像送信セッション開始許可を受信していないと判断した場合には、ステップ1061をスキップし、画像データ送信制御部0305の起動を行わない。
【０１４９】
続いて、セッション制御部0302は、通信制御/入出力装置0208およびネットワーク0103を介してコミュニケーション相手の端末装置から画像送信セッション終了許可を受信したか否かを判断し（ステップ1062）、コミュニケーション相手の端末装置から画像送信セッション終了許可を受信したと判断した場合には、画像データ受信制御部0308を終了させる（ステップ1063）。なお、画像送信セッション終了許可を行う手順に関しては、例えばRFC2543で規定されているデータセッション終了の方式等を使用可能である。
【０１５０】
一方、上記ステップ1062において、コミュニケーション相手の端末装置から画像送信セッション終了許可を受信していないと判断した場合には、ステップ1063をスキップし、画像データ受信制御部0308の終了を行わない。
【０１５１】
続いて、セッション制御部0302は、通信制御/入出力装置0208およびネットワーク0103を介してコミュニケーション相手の端末装置から消去許可を受信したか否かを判断し（ステップ1064）、コミュニケーション相手の端末装置から消去許可を受信したと判断した場合には、消去送信部0314を起動させる（ステップ1065）。なお、コミュニケーション相手の端末装置から消去許可を行う手順に関しては、例えばRFC2543で規定されているデータセッション開始の方式等を使用可能である。
【０１５２】
一方、上記ステップ1064において、コミュニケーション相手の端末装置から消去許可を受信していないと判断した場合には、ステップ1065をスキップし、消去送信部0314の起動を行わない。
【０１５３】
続いて、セッション制御部0302は、通信制御/入出力装置0208およびネットワーク0103を介してコミュニケーション相手の端末装置から消去終了通知を受信したか否かを判断し（ステップ1066）、コミュニケーション相手の端末装置から消去終了通知を受信したと判断した場合には、消去受信部0315を終了させる（ステップ1067）。なお、コミュニケーション相手の端末装置から消去終了通知を行う手順に関しては、例えばRFC2543で規定されているデータセッション終了の方式等を使用可能である。
【０１５４】
一方、上記ステップ1066において、コミュニケーション相手の端末装置から消去終了通知を受信していないと判断した場合には、ステップ1067をスキップし、消去受信部0315の終了を行わない。
【０１５５】
続いて、セッション制御部0302は、入力処理部0301によって本セッション制御部0302が終了されたか否かを判断し（ステップ1068）、入力処理部0301によって本セッション制御部0302が終了されていないと判断した場合には、上記ステップ1001に戻り、入力処理部0301によって本セッション制御部0302が終了されるまで、上記ステップ1001乃至1068を繰り返す。
【０１５６】
一方、上記ステップ1068において、入力処理部0301によって本セッション制御部0302が終了されたと判断した場合には、その時点で開かれているすべてのセッションを終了した後（ステップ1069）、本セッション制御部0302を終了する。
次に、本セッション制御部0302によるセッションの開始と終了および処理部の起動と終了について、図１５、図４８、図４９、および図５０を用いて説明する。
【０１５７】
図１５、図４８、図４９、および図５０は本セッション制御部0302を備えた２台の端末装置間で、一方をセッション開始／終了要求あるいは通知の発信側、他方をセッション開始／終了要求あるいは通知の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図であり、図１５の(a)と(b)はそれぞれ音声セッションの開始と終了を、図４８の(a)と(b)はそれぞれ手書きセッションの開始と終了を、図４９の(a)と(b)はそれぞれ画像送信セッションの開始と終了を、図５０の(a)と(b)はそれぞれ消去用のセッションの開始と終了を説明した図である。
【０１５８】
音声セッションの開始では、図１５(a)に示す通り、発信側におけるユーザからの音声セッション開始指示（1501）をトリガーとして、発信側が音声セッション開始要求（1502）を受信側に送信し、受信側は本音声セッション開始要求（1502）を受信すると、先に示した音声セッション許可画面1100を表示（1503）する。その後、受信側はユーザからの音声セッション開始許可を受けて、音声送信部0303と音声受信部0304を起動（1504および1505）した後、音声セッション開始許可（1506）を発信側に送信し、発信側は音声セッション開始許可（1506）を受信すると音声送信部0303と音声受信部0304を起動（1507および1508）する。
音声セッションの終了では、図１５(b)に示す通り、発信側におけるユーザからの音声セッション終了指示（1509）をトリガーとして、発信側が音声セッション終了要求（1510）を受信側に送信し、受信側は本音声セッション終了要求（1510）を受信すると、音声送信部0303と音声受信部0304を終了（1511および1512）した後、音声セッション終了許可（1513）を発信側に送信し、発信側は音声セッション終了許可（1513）を受信すると音声送信部0303と音声受信部0304を終了（1514および1515）する。
【０１５９】
手書きセッションの開始では、図４８(a)に示す通り、発信側におけるユーザからの手書きセッション開始指示（1516）をトリガーとして、発信側が手書きセッション開始要求（1517）を受信側に送信し、受信側は本手書きセッション開始要求（1517）を受信すると、発信元の端末装置が許可不要リストに登録されているか判断（1518）し、登録されていなかった場合には先に示した手書きセッション許可画面1200を表示して手書きセッションの開始確認（1519）を行う。その後、受信側はユーザからの手書きセッション開始許可（1520）を受けて、手書きデータ制御部0311を起動（1521）した後、手書きセッション開始許可（1522）を発信側に送信し、発信側は手書きセッション開始許可（1522）を受信すると手書きデータ制御部0311を起動（1523）する。なお、受信側が手書きセッション開始要求（1517）を受信した際、発信元の端末装置が許可不要リストに登録されているか判断（1518）し、登録されていた場合には手書きセッション許可画面1200の表示、手書きセッションの開始確認（1519）、手書きセッション開始許可判断（1520）を行わない。これにより、受信側は信頼しているコミュニケーション相手の端末装置からは自由に手書きデータの送信が可能となるので、ユーザが不在の場合でもメッセージを送ってもらうことが可能となる。
【０１６０】
手書きセッションの終了では、図４８(b)に示す通り、発信側におけるユーザからの手書きセッション終了指示（1524）をトリガーとして、発信側が手書きセッション終了要求（1525）を受信側に送信し、受信側は本手書きセッション終了要求（1525）を受信すると、手書きデータ制御部0311を終了（1526）した後、手書きセッション終了許可（1527）を発信側に送信し、発信側は手書きセッション終了許可（1527）を受信すると手書きデータ制御部0311を終了（1528）する。
【０１６１】
画像送信セッションの開始では、４９(a)に示す通り、発信側におけるユーザからの画像送信セッション開始指示（1529）をトリガーとして、発信側が画像送信セッション開始要求（1530）を受信側に送信し、受信側は本画像送信セッション開始要求（1530）を受信すると、発信元の端末装置が許可不要リストに登録されているか判断（1531）し、登録されていなかった場合には先に示した画像送信セッション許可画面1300を表示して画像送信セッションの開始確認（1532）を行う。その後、受信側はユーザからの画像送信セッション開始許可（1533）を受けて、画像データ受信制御部0308を起動（1534）した後、画像送信セッション開始許可（1535）を発信側に送信し、発信側は画像送信セッション開始許可（1535）を受信すると画像データ送信制御部0305を起動（1536）する。なお、受信側が画像送信セッション開始要求（1530）を受信した際、発信元の端末装置が許可不要リストに登録されているか判断（1531）し、登録されていた場合には画像送信セッション許可画面1300の表示、画像送信セッションの開始確認（1532）、画像送信セッション開始許可判断（1533）を行わない。これにより、受信側は信頼しているコミュニケーション相手の端末装置からは自由に画像データの送信が可能となるので、ユーザが不在の場合でも写真等の画像を送ってもらうことが可能となる。
【０１６２】
画像送信セッションの終了では、図４９(b)に示す通り、発信側の画像データ送信制御部からの画像送信セッション終了要求（1537）をトリガーとして、発信側が画像データ送信制御部0305を終了（1538）した後、画像送信セッション終了通知（1539）を受信側に送信し、受信側は本画像送信セッション終了通知（1539）を受信すると、画像データ受信制御部0308を終了（1540）する。
【０１６３】
消去用のセッションの開始では、図５０(a)に示す通り、発信側におけるユーザからの消去指示（1541）をトリガーとして、発信側が消去要求（1542）を受信側に送信し、受信側は本消去要求（1542）を受信すると、発信元の端末装置が許可不要リストに登録されているか判断（1543）し、登録されていなかった場合には先に示した消去許可画面1400を表示して消去確認（1544）を行う。その後、受信側はユーザからの消去許可（1545）を受けて、消去受信部0315を起動（1546）した後、消去許可（1547）を発信側に送信し、発信側は消去許可（1547）を受信すると消去送信部0314を起動（1548）する。なお、受信側が消去要求（1542）を受信した際、発信元の端末装置が許可不要リストに登録されているか判断（1543）し、登録されていた場合には消去許可画面1400の表示、消去確認（1544）、消去許可判断（1545）を行わない。これにより、受信側は信頼しているコミュニケーション相手の端末装置からは自由に画像や手書きデータの消去が可能となるので、ユーザが不在の場合でも画像や手書きデータの編集が可能となる。
【０１６４】
消去用のセッションの終了では、図５０(b)に示す通り、発信側の消去送信部0314からの消去終了要求（1549）をトリガーとして、発信側が消去送信部0314を終了（1550）した後、消去終了通知（1551）を受信側に送信し、受信側は本消去終了通知（1551）を受信すると、消去受信部0315を終了（1540）する。
【０１６５】
図１０と図４７および図１５と図４８と図４９と図５０からわかるとおり、本セッション制御部0302の処理により音声セッションが開始される場合には無条件に音声セッション許可画面が表示される。一方、許可不要リスト中に登録されていないコミュニケーション相手の端末装置から手書きセッションが開始される場合や画像送信セッションが開始される場合、および消去が行われる場合に限り、各セッションの許可画面が表示されることになる。すなわち、予め許可不要リストに登録されているコミュニケーション相手の端末装置からは自由に手書きデータの送信や画像データの送信、および消去が可能となるので、信頼する相手の端末装置からはユーザが不在の場合でもメッセージや写真等の画像を送ってもらうとともに編集してもらうことが可能となる。 また、図１０と図４７および図１５と図４８と図４９と図５０からわかるとおり、本セッション制御部0302の処理により、画像や手書きデータの送受信を行っているときに、音声セッションのみを終了し、周囲の人に聞かれたくない内容を画像や手書きデータのみで伝えることができる。また、これにより、音声通信を行うことによる端末装置の処理負荷を低減することができるので、処理性能の低い端末装置においても画像や手書きデータの送受信を円滑に行うことが可能となる。
【０１６６】
なお、図１０と図４７および図１５と図４８と図４９と図５０に示した通り、本実施例においてはコミュニケーション相手の端末装置が音声セッションの終了を要求した場合には、セッション制御部0302が無条件に音声セッションを終了するよう構成されているが、例えばコミュニケーション相手の端末装置から音声セッション終了要求を受信した場合に、画像送信セッションあるいは手書きセッションが行われているか判断し、画像送信セッションあるいは手書きセッションが行われている場合には、例えば図１６に示す音声セッション終了許可画面1600を表示し、音声セッション終了要求を受信した端末装置のユーザによって音声セッションの終了が許可された場合に、音声セッションを終了するようにしてもよい。図１６において、音声セッション終了許可画面1600は、「はい」ボタン1601と「いいえ」ボタン1602から構成され、ユーザは設定入力装置0207を介して「はい」ボタン1601を操作することにより、音声セッションの終了を許可し、端末装置に本音声セッション終了許可画面1600の表示を終了するよう指示することができる。また、ユーザは設定入力装置0207を介して「いいえ」ボタン1602を操作することにより、音声セッションの終了を拒否し、端末装置に本音声セッション終了許可画面1600の表示を終了するよう指示することができる。これにより、画像データの送受信あるいは手書きデータの送受信を行っている場合において、コミュニケーション相手からの一方的な音声セッションの終了を避けることができる。さらに、上記では、音声セッション開始要求の受信側は、本音声セッション開始要求を受信すると、先に示した音声セッション許可画面1100を表示し、ユーザからの音声セッション開始許可を受けて、音声送信部0303と音声受信部0304を起動したが、手書きセッション、画像送信セッション、および消去用のセッションにおける処理と同様な処理構成としても良い。すなわち、音声セッション開始要求の受信側は、本音声セッション開始要求を受信すると、本要求の発信元の端末装置が許可不要リストに登録されているか判断し、登録されていなかった場合には先に示した音声セッション許可画面1100を表示して、音声セッションの開始確認および音声セッション開始許可判断を行い、登録されていた場合には音声セッション許可画面1100の表示、音声セッションの開始確認、および音声セッション開始許可判断を行わないようにしてもよい。なお、この場合、要求発信元の端末装置が許可不要リストに登録されている場合でも、受信側では音声送信部0303を起動しないようにするとよい。また、逆に音声セッションを終了する際は、上記受信側は音声受信部0304のみを終了するとともに、先に述べた音声セッション終了許可画面1600の表示を行わないようにし、上記受信側ユーザによる音声セッション終了許可が必要ないようにすると良い。これにより、受信側は信頼しているコミュニケーション相手の端末装置からは自由に音声を送ってもらうことが可能となるので、アナウンス等を受けるとともに、要求発信側はアナウンス等を行うことが可能となる。また、この場合でも受信側における会話や周囲の音を盗聴されることも無くなる。 次に、セッション制御部0302によって起動され、同じくセッション制御部0302によって終了されるまで中央処理装置0201によって実行される音声送信部0303の処理内容について図１７を用いて説明する。図１７は、音声送信部0303の処理内容を示すフローチャートの一例である。なお、本音声送信部0303は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置0201によって実行される。
図１７に示すとおり、音声送信部0303は、まず、音声入力装置0203から音声データを取得し（ステップ1701）、取得した音声データを符号化する（ステップ1702）。符号化の方法は、例えばITU-Tで勧告されているG.711等の方式を使用すればよい。
【０１６７】
続いて、音声送信部0303は、符号化した音声データをパケット化し（ステップ1703）、パケット化された符号化音声データを通信制御/入出力装置0208およびネットワーク0103を介して、すでにセッション制御部0302によって音声セッションが開始されているコミュニケーション相手の端末装置に送信する（ステップ1704）。なお、パケット化の方法については、例えばRFC2543で規定されている方法を用いればよい。また、公知のIPヘッダ及びTCPヘッダを付加してTCP/IPパケットとしてもよい。
【０１６８】
続いて、音声送信部0303は、セッション制御部0302によって本音声送信部0303が終了されたか否かを判断し（ステップ1705）、本音声送信部0303が終了されていないと判断した場合にはステップ1701に戻り、本音声送信部0303が終了されるまで上述したステップ1701乃至ステップ1705を繰り返す。
一方、上記ステップ1705において、セッション制御部0302によって本音声送信部0303が終了されたと判断した場合には本音声送信部0303における処理を終了する。
【０１６９】
次に、セッション制御部0302によって起動され、同じくセッション制御部0302によって終了されるまで中央処理装置0201によって実行される音声受信部0304の処理内容について図１８を用いて説明する。図１８は、音声受信部0304の処理内容を示すフローチャートの一例である。なお、音声受信部0304は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置0201によって実行される。
【０１７０】
図１８に示すとおり、音声受信部0304は、まず、通信制御/入出力装置0208を介してすでにセッション制御部0302によって音声セッションが開始されているコミュニケーション相手の端末装置からパケット化された符号化音声データを受信し（ステップ1801）、受信したパケットから符号化された音声データを取得する（ステップ1802）。
【０１７１】
続いて、音声受信部0304は、符号化された音声データを復号化し（ステップ1803）、復号化した音声データを音声出力装置0204から出力する（ステップ1804）。
続いて、音声受信部0304は、セッション制御部0302によって本音声受信部0304が終了されたか否かを判断し（ステップ1805）、本音声受信部0304が終了されていないと判断した場合にはステップ1801に戻り、本音声受信部0304が終了されるまで上述したステップ1801乃至ステップ1805を繰り返す。
【０１７２】
一方、上記ステップ1805において、セッション制御部0302によって本音声受信部0304が終了されたと判断した場合には本音声受信部0304における処理を終了する。
【０１７３】
次に、セッション制御部0302によって起動され、同じくセッション制御部0302によって終了されるまで中央処理装置0201によって実行される画像データ送信制御部0305の処理内容について図１９を用いて説明する。図１９は、画像データ送信制御部0305の処理内容を示すフローチャートの一例である。なお、本画像データ送信制御部0305は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置0201によって実行される。
【０１７４】
図１９に示すとおり、画像データ送信制御部0305が起動されると、まず、ユーザが画像データを送信する際の画像送信モードとしてファイル名送信モードかあるいはファイル内容送信モードを選択するための画像送信モード選択画面0600を表示装置0206に表示し、ユーザからの画像送信モードの指定を待つ（ステップ1901）。
【０１７５】
続いて、画像データ送信制御部0305は、通信制御/入出力装置0208およびネットワーク0103を介して、すでにセッション制御部0302によって画像送信セッションが開始されているコミュニケーション相手の端末装置にユーザから指定された画像送信モードを送信する（ステップ1902）。なお、自端末装置と相手端末装置の間でこの画像送信モードを送受信する際のデータ構造については後述する。
【０１７６】
続いて、画像データ送信制御部0305は、ユーザから指定された画像送信モードがファイル名送信モードであったか否かを判断し（ステップ1903）、ファイル名送信モードであったと判断した場合には、ファイル名送信部0306を実行する（ステップ1904）。一方、上記ステップ1903における判断の結果、ファイル名送信モードではなかったと判断した場合には、ファイル内容送信部0307を実行する（ステップ1905）。
【０１７７】
続いて、画像データ送信制御部0305は、ファイル名送信部0306あるいはファイル内容送信部0307の実行を終えると、自端末装置のセッション制御部0302に対して画像送信セッション終了を要求する（1906）。なお、本画像送信セッション終了の要求は、例えばセッション制御部0302に対して画像送信セッション終了要求を示すイベントを発行することによって実現できる。
【０１７８】
続いて、画像データ送信制御部0305は、セッション制御部0302によって本画像データ送信制御部0305が終了されるまで待ち（ステップ1907）、セッション制御部0302によって本画像データ送信制御部0305が終了されると、本画像データ送信制御部0305の処理を終了する。
【０１７９】
次に、セッション制御部0302によって起動され、同じくセッション制御部0302によって終了されるまで中央処理装置0201によって実行される画像データ受信制御部0308の処理内容について図２０を用いて説明する。図２０は、画像データ受信制御部0308の処理内容を示すフローチャートの一例である。なお、本画像データ受信制御部0308は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置0201によって実行される。
【０１８０】
図２０に示すとおり、画像データ受信制御部0308が起動されると、まず、通信制御/入出力装置0208およびネットワーク0103を介して、すでにセッション制御部0302によって画像送信セッションが開始されているコミュニケーション相手の端末装置から指定された画像送信モードを受信する（ステップ2001）。なお、この画像送信モードを送受信する際のデータ構造については後述する。
【０１８１】
続いて、画像データ受信制御部0308は、受信した画像送信モードがファイル名送信モードであるか否かを判断し（ステップ2002）、ファイル名送信モードであると判断した場合には、ファイル名受信部0309を実行する（ステップ2003）。
【０１８２】
一方、上記ステップ2002における判断の結果、ファイル名送信モードではないと判断した場合には、ファイル内容受信部0310を実行する（ステップ2004）。
【０１８３】
続いて、画像データ受信制御部0308は、ファイル名受信部0309あるいはファイル内容受信部0310の実行を終えると、セッション制御部0302によって本画像データ受信制御部0308が終了されるまで待ち（ステップ2005）、セッション制御部0302によって本画像データ受信制御部0308が終了されると、本画像データ受信制御部0308の処理を終了する。
【０１８４】
次に、画像データ送信制御部0305によって起動され、中央処理装置0201によって実行されるファイル名送信部0306の処理内容について図２１を用いて説明する。図２１は、ファイル名送信部0306の処理内容を示すフローチャートの一例である。
【０１８５】
図２１に示すとおり、ファイル名送信部0306は、ユーザから送信対象の画像ファイルのファイル名を入力してもらい、入力されたファイル名を取得した後（ステップ2100）、入力されたファイル名のファイルを自端末装置内、例えば二次記憶装置0209あるいは記憶装置0202から検索する（ステップ2101）。
【０１８６】
続いて、ファイル名送信部0306は、上記ステップ2101での検索結果に基づいて入力されたファイル名のファイルが自端末装置内に存在するか否かを判断し（ステップ2102）、存在しないと判断した場合には、自端末装置に入力されたファイル名のファイルが存在しないことを表示装置0206に表示した後（ステップ2111）、本ファイル名送信部0306の処理を終了する。
【０１８７】
一方、上記ステップ2102において、入力されたファイル名のファイルが自端末装置内に存在すると判断した場合には、そのファイルの画像を展開し（ステップ2103）、画像を展開できたか否かを判断する（ステップ2104）。なお、展開とはファイルから画像データを取得し、表示装置0206に表示可能な状態にすることを指している。
【０１８８】
さて、ファイル名送信部0306は、上記ステップ2104において、画像を展開できなかったと判断した場合には、自端末装置において指定されたファイルの画像を展開できなかったことを表示装置0206に表示した後（ステップ2112）、本ファイル名送信部0306の処理を終了する。
【０１８９】
一方、上記ステップ2104において、画像を展開できたと判断した場合には、通信制御/入出力装置0208およびネットワーク0103を介して、すでにセッション制御部0302によって画像送信セッションが開始されているコミュニケーション相手の端末装置に、ユーザから入力されたファイル名を送信する（ステップ2105）。
【０１９０】
なお、このファイル名を送受信する際のデータ構造については後述する。
【０１９１】
続いて、ファイル名送信部0306は、コミュニケーション相手の端末装置から、送信したファイル名のファイルが存在するか否かを示すファイル存在情報を受信し（ステップ2106）、受信したファイル存在情報をもとに、コミュニケーション相手の端末装置内に指定したファイルが存在するか否かを判断する（ステップ2107）。なお、ファイル存在情報を送受信する際のデータ構造およびデータ内容については後述する。
【０１９２】
さて、ファイル名送信部0306は、上記ステップ2107における判断の結果、コミュニケーション相手の端末装置内に指定したファイルが存在しないと判断した場合には、コミュニケーション相手の端末装置にファイルがないことを表示装置0206に表示した後（ステップ2114）、本ファイル名送信部0306の処理を終了する。
【０１９３】
一方、上記ステップ2107における判断の結果、コミュニケーション相手の端末装置内に指定したファイルが存在すると判断した場合には、さらにコミュニケーション相手の端末装置において、指定したファイルの画像を展開できたか否かを示すファイル展開可否情報を受信する（ステップ2108）。なお、ファイル展開可否情報を送受信する際のデータ構造およびデータ内容については後述する。
【０１９４】
続いて、ファイル名送信部0306は、ステップ2108で受信したファイル展開可否情報にもとづいて、コミュニケーション相手の端末装置において、ファイルの画像を展開できたか否かを判断し（ステップ2109）、ファイルの画像を展開できなかったと判断した場合には、コミュニケーション相手の端末装置においてファイルの画像が展開できなかったことを表示装置0206に表示した後（ステップ2113）、本ファイル名送信部0306の処理を終了する。
【０１９５】
一方、上記ステップ2109において、コミュニケーション相手の端末装置においてファイルの画像を展開できたと判断した場合には、上記ステップ2103において展開した画像の表示指示とともに画像・手書きデータ管理部起動した後（ステップ2110）、本ファイル名送信部0306の処理を終了する。
【０１９６】
次に、画像データ受信制御部0308によって起動され、中央処理装置0201によって実行されるファイル名受信部0309の処理内容について図２２を用いて説明する。図２２は、ファイル名受信部0309の処理内容を示すフローチャートの一例である。
【０１９７】
図２２に示すとおり、ファイル名受信部0309は、通信制御/入出力装置0208およびネットワーク0103を介して、すでにセッション制御部0302によって画像送信セッションが開始されているコミュニケーション相手の端末装置から、表示すべき画像データを含むファイルのファイル名を受信する（ステップ2201）。なお、このファイル名を送受信する際のデータ構造については後述する。
【０１９８】
続いて、ファイル名受信部0309は、ステップ2201で受信したファイル名のファイルをこの端末装置内、例えば二次記憶装置0209あるいは記憶装置0202から検索し（ステップ2202）、この検索結果に基づいて、受信したファイル名のファイルが端末装置内に存在するか否かを判断する（ステップ2203）。
【０１９９】
ステップ2203における判断の結果、ファイルが存在しないと判断した場合には、指定されたファイル名のファイルが存在しないことをファイル存在情報としてコミュニケーション相手の端末装置に送信した後（ステップ2210）、指定されたファイル名のファイルが存在しないことを表示装置0206に表示し（ステップ2211）、本ファイル名受信部0309の処理を終了する。なお、ファイル存在情報を送受信する際のデータ構造およびデータ内容については後述する。
【０２００】
一方、上記ステップ2203における判断の結果、ファイルが存在すると判断した場合には、受信したファイル名のファイルがあることをファイル存在情報としてコミュニケーション相手の端末装置に送信し（ステップ2204）、そのファイルの画像を展開した後（ステップ2205）、ファイルの画像を展開できたか否かを示すファイル展開可否情報をコミュニケーション相手の端末装置に送信する（ステップ2206）。なお、ファイル存在情報およびファイル展開可否情報を送受信する際のデータ構造およびデータ内容については後述する。
【０２０１】
続いて、ファイル名受信部0309は、ステップ2205において、ファイルの画像を展開できたか否かを判断し（ステップ2207）し、展開できなかったと判断した場合には、ファイルの画像の展開ができなかったことを表示装置0206に表示した後（ステップ2209）、本ファイル名受信部0309の処理を終了する。
【０２０２】
一方、上記ステップ2207において、ファイルの画像を展開できたと判断した場合には、ステップ2205において展開した画像の表示指示とともに画像・手書きデータ管理部起動した後（ステップ2208）、本ファイル名受信部0309の処理を終了する。
【０２０３】
次に、本ファイル名送信部0306とファイル名受信部0309の連係動作について、図２３を用いて説明する。
【０２０４】
図２３は、本ファイル名送信部0306とファイル名受信部0309を備えた２台の端末装置間で、一方をファイル名送信部0306によるファイル名の送信側、他方をファイル名受信部0309によるファイル名の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【０２０５】
図２３に示す通り、送信側は、まずユーザから入力されたファイル名を取得（2301）し、そのファイル名のファイルを自端末装置内から検索（2302）する。
【０２０６】
次に送信側は、この検索結果に基づいて、自端末装置内にファイルが存在するか否かを判断（2303）し、ファイルが存在しなかった場合には、ファイルがないことを表示装置0206に表示（2313）する。一方、ファイルが存在した場合には、送信側はそのファイルの画像を展開（2304）して、展開できたか否かを判断（2305）する。続いて送信側はこの判断2305に基づいて、ファイルの画像が展開できなかった場合には、ファイルが展開できなかったことを表示装置0206に表示（2312）する。一方、ファイルの画像が展開できた場合には、送信側は、受信側すなわちコミュニケーション相手の端末装置に、ファイル名を送信（2321）する。
【０２０７】
受信側では、ファイル名を受信（2321）すると、そのファイル名のファイルを端末装置内から検索（2314）し、その検索結果に基づいてファイル存在情報を送信側に送信（2322）する。
【０２０８】
送信側は、このファイル存在情報を受信側から受信（2322）すると、このファイル存在情報に基づいて、受信側に指定したファイルが存在するか否かを判断（2306）する。そしてこの判断2306の結果、ファイルが存在しないと判断した場合には、送信側は、コミュニケーション相手の端末装置にファイルがないことを表示装置0206に表示（2311）する。同時に受信側は、検索2314の結果に基づいて、端末装置内にファイルが存在するか否かを判断（2315）し、ファイルが存在しないと判断した場合には、ファイルがないことを表示装置0206に表示（2320）する。
【０２０９】
一方、受信側における判断2315で、ファイルが存在すると判断した場合には、受信側はさらにこのファイルの画像を展開（2316）し、展開できたか否かをファイル展開可否情報として送信側に送信（2323）するとともに、この展開2316の結果に基づいてファイルの画像が展開できたか否かを判断（2317）する。同時に送信側における判断2306で、受信側に指定したファイルが存在すると判断した場合には、送信側は、受信側からファイル展開可否情報を受信（2316）し、このファイル展開可否情報に基づいて、受信側でファイルの画像が展開できたか否かを判断（2307）する。
【０２１０】
そして、受信側は、判断2317の結果、ファイルの画像が展開できなかったと判断した場合には、ファイルの画像が展開できなかったことを表示装置0206に表示（2319）する。同様に、送信側も、判断2307の結果、受信側でファイルの画像が展開できなかった判断した場合には、コミュニケーション相手の端末装置においてファイルの画像が展開できなかったことを表示装置0206に表示（2310）する。
【０２１１】
一方、受信側における判断2317の結果、ファイルの画像が展開できたと判断した場合には、受信側は、画像・手書きデータ管理部0316を介して、2316において展開した画像を表示装置0206の手書き入力・表示エリア0404に表示（2318）する。同様に、送信側も、判断2307の結果、受信側でファイルの画像が展開できたと判断した場合には、画像・手書きデータ管理部0316を介して、2304において展開した画像を表示装置0206の手書き入力・表示エリア0404に表示（2318）する。
【０２１２】
次に、画像データ送信制御部0305によって起動され、中央処理装置0201によって実行されるファイル内容送信部0307の処理内容について図２４を用いて説明する。図２４は、ファイル内容送信部0307の処理内容を示すフローチャートの一例である。
【０２１３】
図２４に示すとおり、ファイル内容送信部0307は、ユーザから送信対象の画像データを含むファイルのファイル名を入力してもらい、入力されたファイル名を取得した後（ステップ2401）、入力されたファイル名のファイルを自端末装置内、例えば二次記憶装置0209あるいは記憶装置0202から検索する（ステップ2402）。
【０２１４】
続いて、ファイル内容送信部0307は、上記ステップ2402での検索結果に基づいて入力されたファイル名のファイルが自端末装置内に存在するか否かを判断し（ステップ2403）、存在しないと判断した場合には、入力されたファイル名のファイルが自端末装置に存在しないことを表示装置0206に表示した後（ステップ2416）、ファイル内容送信部0307の処理を終了する。
【０２１５】
一方、ステップ2403において、入力されたファイル名のファイルが自端末装置内に存在すると判断した場合には、そのファイルの画像を展開し（ステップ2404）、画像を展開できたか否かを判断する（ステップ2405）。
【０２１６】
上記ステップ2405において、画像を展開できなかったと判断した場合には、自端末装置において指定されたファイルの画像を展開できなかったことを表示装置0206に表示した後（ステップ2417）、本ファイル内容送信部0307の処理を終了する。
【０２１７】
一方、上記ステップ2405において、画像を展開できたと判断した場合には、通信制御/入出力装置0208およびネットワーク0103を介して、すでにセッション制御部0302によって画像送信セッションが開始されているコミュニケーション相手の端末装置に、ステップ2401においてユーザによって入力されたファイル名を送信する（ステップ2406）。なお、このファイル名を送受信する際のデータ構造については後述する。
【０２１８】
続いて、ファイル内容送信部0307は、コミュニケーション相手の端末装置から受信準備完了通知を受信した後（ステップ2407）、コミュニケーション相手の端末装置にファイルサイズを送信する（ステップ2408）。なお、受信準備完了通知やファイルサイズを送受信する際のデータ構造については後述する。
【０２１９】
続いて、ファイル内容送信部0307は、コミュニケーション相手の端末装置からデータ送信許可を受信した後（ステップ2409）、コミュニケーション相手の端末装置にステップ2401においてユーザによって指定されたファイルの内容、すなわち画像データを送信する（ステップ2410）。なお、データ送信許可を送受信する際のデータ構造およびデータ内容については後述する。また、画像データを送受信する際のデータ構造については後述する。
【０２２０】
続いて、ファイル内容送信部0307は、ファイル内容のすべて、すなわちすべての画像データを送信したか否かを判断し（ステップ2411）、すべての画像データを送信していないと判断した場合には、上記ステップ2409乃至ステップ2411をすべての画像データを送信したと判断するまで繰り返す。これにより、ファイルの内容を分割して、細切れのデータを相手端末装置からのデータ送信許可を待ちながら、送信することができるので、より相手端末装置の受信状態や通信帯域に合わせて画像データを送信可能となる。なお、すべての画像データを送信したか否かを判断するには、これまでのステップ2409乃至ステップ2411の繰り返しで送信したトータルのデータサイズが、上記ステップ2408で相手端末装置に通知したファイルサイズに達したか否かを判断することによって実現でき、達していた場合には、すべての画像データを送信したと判断することができる。
【０２２１】
さて、上記ステップ2411において、すべての画像データを送信したと判断した場合には、ファイル内容送信部0307は、続いて、コミュニケーション相手の端末装置において、画像データの展開ができたか否かを示す画像展開可否情報を受信する（ステップ2412）。なお、画像展開可否情報を送受信する際のデータ構造およびデータ内容については後述する。
【０２２２】
続いて、ファイル内容送信部0307は、ステップ2412で受信した画像展開可否情報にもとづいて、コミュニケーション相手の端末装置において画像が展開できたか否かを判断し（ステップ2413）、画像が展開できなかったと判断した場合には、コミュニケーション相手の端末装置において画像が展開できなかったことを表示装置0206に表示した後（ステップ2415）、本ファイル内容送信部0307の処理を終了する。
【０２２３】
一方、上記ステップ2413において、コミュニケーション相手の端末装置において画像が展開できたと判断した場合には、ステップ2404において展開した画像の表示指示とともに画像・手書きデータ管理部起動した後（ステップ2414）、本ファイル内容送信部0307の処理を終了する。
【０２２４】
次に、画像データ受信制御部0308によって起動され、中央処理装置0201によって実行されるファイル内容受信部0310の処理内容について図２５を用いて説明する。図２５は、ファイル内容受信部0310の処理内容を示すフローチャートの一例である。
【０２２５】
図２５に示すとおり、ファイル内容受信部0310は、通信制御/入出力装置0208およびネットワーク0103を介して、すでにセッション制御部0302によって画像送信セッションが開始されているコミュニケーション相手の端末装置から表示すべき画像データを含むファイルのファイル名を受信する（ステップ2501）。なお、このファイル名を送受信する際のデータ構造については後述する。
【０２２６】
続いて、ファイル内容受信部0310は、受信準備完了通知をコミュニケーション相手の端末装置に送信した後（ステップ2502）、コミュニケーション相手の端末装置から画像データのサイズ、すなわちファイルサイズを受信する（ステップ2503）。なお、受信準備完了通知やファイルサイズを送受信する際のデータ構造については後述する。
【０２２７】
ファイルサイズを受信した後、ファイル内容受信部0310は、コミュニケーション相手の端末装置にデータ送信許可を送信する（ステップ2504）。なお、データ送信許可を送受信する際のデータ構造およびデータ内容については後述する。
【０２２８】
続いて、ファイル内容受信部0310は、コミュニケーション相手の端末装置からファイルの内容、すなわち画像データを受信した後（ステップ2505）、ファイル内容のすべて、すなわちすべての画像データを受信したか否かを判断し（ステップ2506）、すべての画像データを受信していないと判断した場合には、上記ステップ2504乃至ステップ2506を、すべての画像データを受信したと判断するまで繰り返す。なお、すべての画像データを受信したか否かを判断するには、これまでのステップ2504乃至ステップ2506の繰り返しで受信したトータルのデータサイズが、上記ステップ2503で相手端末装置から通知されたファイルサイズに達したか否かを判断することによって実現でき、達していた場合には、すべての画像データを受信したと判断することができる。これにより、ファイルの内容を分割して、細切れのデータを、データ送信許可を送信しながら、送信することができるので、より端末装置の受信状態や通信帯域に合わせて画像データを受信可能となる。なお、画像データを送受信する際のデータ構造については後述する。
【０２２９】
さて、上記ステップ2506における判断の結果、すべての画像データを受信したと判断した場合には、ファイル内容受信部0310は、続いて受信した画像データを展開し（ステップ2507）、画像データが展開できたか否かを示す画像展開可否情報をコミュニケーション相手の端末装置に送信する（ステップ2508）。なお、画像展開可否情報を送受信する際のデータ構造およびデータ内容については後述する。
【０２３０】
続いて、ファイル内容受信部0310は、ステップ2507において、画像データを展開できたか否かを判断し（ステップ2509）し、展開できなかったと判断した場合には、画像データの展開ができなかったことを表示装置0206に表示して（ステップ2512）、本ファイル内容受信部0310の処理を終了する。
【０２３１】
一方、上記ステップ2509における判断の結果、画像データを展開できたと判断した場合には、受信した画像データをステップ2501で受信したファイル名で記憶装置0202あるいは二次記憶装置0209に保存した後（ステップ2510）、ステップ2507において展開した画像の表示指示とともに画像・手書きデータ管理部起動して（ステップ2511）、本ファイル内容受信部0310の処理を終了する。
【０２３２】
次に、本ファイル内容送信部0307とファイル内容受信部0310の連係動作について、図２６を用いて説明する。
【０２３３】
図２６は、本ファイル内容送信部0307とファイル内容受信部0310を備えた２台の端末装置間で、一方をファイル内容送信部0307による画像データの送信側、他方をファイル内容受信部0310による画像データの受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【０２３４】
図２６に示す通り、送信側は、まずユーザから入力されたファイル名を取得（2601）し、そのファイル名のファイルを自端末装置内から検索（2602）する。
【０２３５】
次に送信側は、この検索結果に基づいて、自端末装置内にファイルが存在するか否かを判断（2603）し、ファイルが存在しなかった場合には、ファイルがないことを表示装置0206に表示（2623）する。一方、ファイルが存在した場合には、送信側はそのファイルの画像を展開（2604）して、展開できたか否かを判断（2605）する。続いて送信側はこの判断2605に基づいて、ファイルの画像が展開できなかった場合には、ファイルが展開できなかったことを表示装置0206に表示（2624）する。一方、ファイルの画像が展開できた場合には、送信側は、受信側すなわちコミュニケーション相手の端末装置に、ファイル名を送信（2306）する。
【０２３６】
受信側は、ファイル名を受信（2306）すると、受信準備完了通知を送信側に送信（2607）し、送信側は受信準備完了通知を受信（2607）するとユーザに入力されたファイル名のファイルサイズすなわち画像データのサイズを受信側に送信（2608）する。
【０２３７】
続いて、受信側はデータ送信許可を送信側に送信（2609）し、送信側はこのデータ送信許可を受信すると、ユーザに入力されたファイル名のファイル内容すなわち画像データを受信側に送信（2610）する。受信側は画像データを受信（2610）した後、すべての画像データを受信したか否かを判断（2612）し、すべての画像データが受信されていないと判断した場合には、すべての画像データを受信するまで、データ送信許可の送信側への送信（2609）と画像データの受信（2610）を繰り返す。一方、送信側も画像データを送信（2610）した後、すべての画像データを送信したか否かを判断（2611）し、すべての画像データが送信されていないと判断した場合には、すべての画像データを送信するまで、受信側からのデータ送信許可の受信（2609）にあわせて画像データの送信（2610）を繰り返す。
【０２３８】
続いて、受信側は、判断2612で、すべての画像データを受信したと判断した場合には、さらに受信した画像データを展開（2613）し、展開できたか否かを示す画像展開可否情報を送信側に送信（2614）するとともに、この展開2613の結果に基づいて画像データが展開できたか否かを判断（2616）する。同時に送信側は、判断2611で、すべての画像データを送信したと判断した場合には、受信側から画像展開可否情報を受信（2614）し、この画像展開可否情報に基づいて、受信側で画像データが展開できたか否かを判断（2615）する。
【０２３９】
そして、受信側は、判断2616の結果、画像データが展開できなかったと判断した場合には、画像データが展開できなかったことを表示装置0206に表示（2622）する。同様に、送信側も、判断2615の結果、受信側で画像データが展開できなかった判断した場合には、コミュニケーション相手の端末装置において画像データが展開できなかったことを表示装置0206に表示（2617）する。
【０２４０】
一方、受信側における判断2616の結果、画像データが展開できたと判断した場合には、受信側は、受信した画像データを2606で受信したファイル名で記憶装置0202あるいは二次記憶装置0209に保存（2620）した後、画像・手書きデータ管理部0316を介して、2613において展開した画像を表示装置0206の手書き入力・表示エリア0404に表示（2621）する。同様に、送信側も、判断2615の結果、受信側で画像データが展開できたと判断した場合には、画像・手書きデータ管理部0316を介して、2604において展開した画像を表示装置0206の手書き入力・表示エリア0404に表示（2318）する。
【０２４１】
なお、本ファイル内容受信部0310では、受信した画像データを記憶装置0202あるいは二次記憶装置0209に保存することについて述べているが、必ずしも保存する必要はなく、この場合にはファイル内容受信部0310における受信データの記憶装置0202あるいは二次記憶装置0209への保存処理を行わないようにすればよい。
【０２４２】
また、本実施例では、本ファイル内容送信部0307およびファイル内容受信部0310において、ファイル名を持つファイルの内容を送受信することについて述べたが、必ずしもファイルである必要はなく、記憶装置0202の内容であってもよい。この場合には、送信側における記憶装置0202に格納されたデータを対象とすればよく、また、ファイル内容送信部0307でのファイル名取得やファイルの検索や、ファイル内容送信部0307とファイル内容受信部0310でのファイル名やファイルサイズの送受信を行わなければよい。
【０２４３】
なお、本画像データ送信制御部0305、ファイル名送信部0306、ファイル内容送信部0307、画像データ受信制御部0308、ファイル名受信部0309、ファイル内容受信部0310により、基本となる画像データについて、そのファイル名やデータ内容を切り替えて送受信することが可能となり、画像の整合性を保つとともに画像送信に必要となる帯域および処理量を減らすことが可能となる。
【０２４４】
次に、上述した画像データ送信制御部0305と、ファイル名送信部0306と、ファイル内容送信部0307と、画像データ受信制御部0308と、ファイル名受信部0309と、ファイル内容受信部0310との間で送受信されるデータのデータ構造とその内容について図２７を用いて説明する。
【０２４５】
図２７は、コミュニケーション相手の端末装置との間で画像に関するデータを送受信する際のデータ構造例を示す図である。
【０２４６】
図２７において、(a)はファイル送信モードを送受信する際のデータ構造、(b)はファイル名を送受信する際のデータ構造、(c)はファイル存在情報を送受信する際のデータ構造、(d)はファイル展開可否情報あるいは画像展開可否情報のデータ構造、(e)は受信準備完了通知を送受信する際のデータ構造、(f)はファイルサイズを送受信する際のデータ構造、(g)はデータ送信許可を送受信する際のデータ構造、(h)はファイル内容を送受信する際のデータ構造、の一例をそれぞれ示している。
【０２４７】
図２７に示すとおり、コミュニケーション相手の端末装置との間で画像に関するデータを送受信する際のデータでは、すべて最初に「画像送受信を示す識別子」2701が含まれている。画像送受信を示す識別子2701は、後述する手書きデータに関する情報の送受信で使われる「手書きモードを示す識別子」や「手書きデータ送受信を示す識別子」、および消去に関する情報の送受信で使われる「消去用データ送受信を示す識別子」と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「画像送受信を示す識別子」2701を２バイトの値0x0001のようなあらかじめ決められた値とすればよい。
【０２４８】
ファイル送信モードを送受信する際のデータは、図２７(a)に示すとおり、「画像送受信を示す識別子」2701と、「モードを示す識別子」2702と、「モードを示す値」2703から構成される。「モードを示す識別子」2702は、後述する「ファイル名を示す識別子」2712、「ファイル存在情報を示す識別子」2722、「展開可否情報を示す識別子」2732、「受信準備完了を示す識別子」2742、「ファイルサイズを示す識別子」2752、「データ送信許可を示す識別子」2762、および「データ内容を示す識別子」2772と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「モードを示す識別子」2702を２バイトの値「0x0001」のようなあらかじめ決められた値とすればよい。
【０２４９】
「モードを示す値」2703は、先に述べたファイル名送信モードかファイル内容送信モードかを示す値であり、あらかじめ決められたサイズおよび値とすればよく、例えばファイル名送信モードの場合には２バイトの値「0x0001」、ファイル内容送信モードの場合には２バイトの値「0x0002」とすればよい。本データ構造により、本データの受信側端末装置では受信したデータから上述した「モードを示す識別子」2702を判別することにより、次に「モードを示す値」2703が含まれていることを知ることができ、「モードを示す値」2703を判別することにより、これから開始される画像送信モードがファイル名送信モードであるかファイル内容送信モードであるかを判別することができる。
【０２５０】
ファイル名を送受信する際のデータは、図２７(b)に示すとおり、「画像送受信を示す識別子」2701と、「ファイル名を示す識別子」2712と、「ファイル名」2713から構成される。「ファイル名を示す識別子」2712は、先に述べた「モードを示す識別子」2702、および後述する「ファイル存在情報を示す識別子」2722、「展開可否情報を示す識別子」2732、「受信準備完了を示す識別子」2742、「ファイルサイズを示す識別子」2752、「データ送信許可を示す識別子」2762、および「データ内容を示す識別子」2772と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「ファイル名を示す識別子」2712を２バイトの値「0x0002」のようなあらかじめ決められた値とすればよい。「ファイル名」2713は、ファイル名に対応するNULLで終わる文字列とすればよい。本データ構造により、本データの受信側端末装置では受信したデータから上述した「ファイル名を示す識別子」2712を判別することにより、次にNULLで終わるファイル名の文字列が含まれていることを知ることができ、ファイル名を取得することができる。
【０２５１】
ファイル存在情報を送受信する際のデータは、図２７(c)に示すとおり、「画像送受信を示す識別子」2701と、「ファイル存在情報を示す識別子」2722と、「ファイル有無を示す値」2723から構成される。「ファイル存在情報を示す識別子」2722は、上述した「モードを示す識別子」2702や「ファイル名を示す識別子」2712、および、後述する「展開可否情報を示す識別子」2732、「受信準備完了を示す識別子」2742、「ファイルサイズを示す識別子」2752、「データ送信許可を示す識別子」2762、および「データ内容を示す識別子」2772と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「ファイル存在情報を示す識別子」2722を２バイトの値「0x0003」のようなあらかじめ決められた値とすればよい。「ファイル有無を示す値」2723は、先に述べたファイルが存在したか否かを示す値であり、あらかじめ決められたサイズおよび値とすればよく、例えばファイルが存在したことを示す値を２バイトの値「0x0001」とし、ファイルが存在しなかったことを示す値を２バイトの値「0x0002」とすればよい。本データ構造により、本データの受信側端末装置では受信したデータから上述した「ファイル存在情報を示す識別子」2722を判別することにより、次に「ファイル有無を示す値」2723が含まれていることを知ることができ、「ファイル有無を示す値」2723を判別することにより、ファイルが存在したか否かを判別することができる。
【０２５２】
ファイル展開可否情報あるいは画像展開可否情報を送受信する際のデータは、図２７(d)に示すとおり、「画像送受信を示す識別子」2701と、「展開可否情報を示す識別子」2732と、「展開可否を示す値」2733から構成される。「展開可否情報を示す識別子」2732は、上述した「モードを示す識別子」2702や「ファイル名を示す識別子」2712および「ファイル存在情報を示す識別子」2722、および後述する「受信準備完了を示す識別子」2742、「ファイルサイズを示す識別子」2752、「データ送信許可を示す識別子」2762、および「データ内容を示す識別子」2772と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「展開可否情報を示す識別子」2732を２バイトの値「0x0004」のようなあらかじめ決められた値とすればよい。「展開可否を示す値」2733は、画像が展開できたか否かを示す値であり、あらかじめ決められたサイズおよび値とすればよく、例えば展開できたことを示す値を２バイトの値「0x0001」とし、展開できなかったことを示す値を２バイトの値「0x0002」とすればよい。本データ構造により、本データの受信側端末装置では、受信したデータから上述した「展開可否情報を示す識別子」2732を判別することにより、次に「展開可否を示す値」2733が含まれていることを知ることができ、「展開可否を示す値」2733の判別により、画像が展開できたか否かを判別することができる。
【０２５３】
受信準備完了通知を送受信する際のデータは、図２７(e)に示すとおり、「画像送受信を示す識別子」2701と、「受信準備完了を示す識別子」2742から構成される。「受信準備完了を示す識別子」2742は、上述した「モードを示す識別子」2702や「ファイル名を示す識別子」2712、「ファイル存在情報を示す識別子」2722、および「展開可否情報を示す識別子」2732、および後述する「ファイルサイズを示す識別子」2752、「データ送信許可を示す識別子」2762、および「データ内容を示す識別子」2772と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「受信準備完了を示す識別子」2742を２バイトの値「0x0005」のようなあらかじめ決められた値とすればよい。本データ構造により、本データの受信側端末装置では、受信したデータから上述した「受信準備完了を示す識別子」2742を判別することにより、コミュニケーション相手の端末装置がデータの受信準備完了であることを判別することができる。
【０２５４】
ファイルサイズを送受信する際のデータは、図２７(f)に示すとおり、「画像送受信を示す識別子」2701と、「ファイルサイズを示す識別子」2752と、「ファイルサイズ」2753から構成される。「ファイルサイズを示す識別子」2752は、先に述べた「モードを示す識別子」2702や「ファイル名を示す識別子」2712、「ファイル存在情報を示す識別子」2722や「展開可否情報を示す識別子」2732、および「受信準備完了を示す識別子」2742、および後述する「データ送信許可を示す識別子」2762や「データ内容を示す識別子」2772と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「ファイルサイズを示す識別子」2752を２バイトの値「0x0006」のようなあらかじめ決められた値とすればよい。「ファイルサイズ」2753は、あらかじめ決められたサイズ、例えば２バイトの領域を持ち、ファイルサイズのバイト数が格納されるものとすればよい。本データ構造により、本データの受信側端末装置では、受信したデータから上述した「ファイルサイズを示す識別子」2752を判別することにより、次に「ファイルサイズ」が含まれていることを知ることができ、ファイルサイズを取得することが可能となる。
【０２５５】
データ送信許可を送受信する際のデータは、図２７(g)に示すとおり、「画像送受信を示す識別子」2701と、「データ送信許可を示す識別子」2762から構成される。「データ送信許可を示す識別子」2762は、上述した「モードを示す識別子」2702、「ファイル名を示す識別子」2712、「ファイル存在情報を示す識別子」2722、「展開可否情報を示す識別子」2732、「受信準備完了を示す識別子」2742、「ファイルサイズを示す識別子」2752、および後述する「データ内容を示す識別子」2772と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「データ送信許可を示す識別子」2762を２バイトの値「0x0007」のようなあらかじめ決められた値とすればよい。本データ構造により、本データの受信側端末装置では、受信したデータから上述した「データ送信許可を示す識別子」2762を判別することにより、コミュニケーション相手の端末装置がデータの送信を許可していることを認識することができる。
【０２５６】
ファイル内容を送受信する際のデータは、図２７(h)に示すとおり、「画像送受信を示す識別子」2701と、「データ内容を示す識別子」2772と、「データサイズ」2773と、データサイズ分の画像データ2774乃至2775から構成される。「データ内容を示す識別子」2772は、先に述べた「モードを示す識別子」2702、「ファイル名を示す識別子」2712、「ファイル存在情報を示す識別子」2722、「展開可否情報を示す識別子」2732、「受信準備完了を示す識別子」2742、「ファイルサイズを示す識別子」2752、「データ送信許可を示す識別子2762」と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「データ内容を示す識別子」2772を２バイトの値「0x0008」のようなあらかじめ決められた値とすればよい。「データサイズ」2773は、あらかじめ決められたサイズ、例えば２バイトの領域を持ち、このデータに含まれる画像データのバイト数が格納されるものとすればよい。また、１バイト目のデータ2774乃至Nバイト目のデータ2775はデータサイズ2773で示されたサイズ分の画像データである。本データ構造により、本データの受信側端末装置では、受信したデータから上述した「データ内容を示す識別子」2772を判別することにより、次にこのデータに含まれる画像データのサイズが含まれていることを知ることができ、データサイズ分の画像データを取得することが可能となる。なお、本データサイズは、必ずしも先に受信した「ファイルサイズ」2753と同じである必要はなく、「ファイルサイズ」2753よりも小さい値とすることにより、全体の画像データに対して、分割して画像データを送受信することが可能となる。
【０２５７】
さて、次に、セッション制御部0302によって起動され、同じくセッション制御部0302によって終了されるまで中央処理装置0201によって実行される手書きデータ制御部0311の処理内容について図２８を用いて説明する。図２８は、手書きデータ制御部0311の処理内容を示すフローチャートの一例である。なお、手書きデータ制御部0311は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置0201によって実行される。
【０２５８】
図２８に示すとおり、手書きデータ制御部0311は、まず、後述するステップ2802およびステップ2805において、デフォルトのモードが設定されるよう、現在の手書きモードとして無効なモードを設定する（ステップ2801）。
続いて、手書きデータ制御部0311は、新たなモードとして、デフォルトのモードを設定する（ステップ2802）。なお、デフォルトのモードは、ユーザがよく使用するモード、例えば高速モードとすればよい。
【０２５９】
続いて、手書きデータ制御部0311は、入力処理部0301によって、新たな手書きモードが設定されたか否か、およびコミュニケーション相手の端末装置から新たなモードを受信したか否かを判別し（ステップ2803）、新たな手書きモードが設定あるいは受信されたと判断した場合には、新たなモードを取得する（ステップ2804）。一方、ステップ2803において、新たな手書きモードが設定あるいは受信されていないと判断した場合には、上記ステップ2804をスキップして、新たな手書きモードを取得しない。なお、入力処理部0301によって新たなモードが設定されたか否かおよび新たなモードの判別は、例えば入力処理部0301から新たなモード設定を意味するイベントが送られてきたか否かおよびユーザによって選択されたモードに対応するモードを意味するイベントを判別することによって実現可能である。また、コミュニケーション相手の端末装置から新たなモードを受信したか否かを判別する方法については後述する。
【０２６０】
さて、手書きデータ制御部0311は、続いて新たなモードと現在のモードの間に変更があったか否かを判断する（ステップ2805）。
【０２６１】
上記ステップ2805において、新たなモードと現在のモードの間に変更がなかったと判断した場合には、ステップ2812へと進み、セッション制御部0302によって本手書きデータ制御部0311が終了させられたか否かを判断する（ステップ2812）。そしてステップ2812において、本手書きデータ制御部0311が終了させられていないと判断した場合には、ステップ2803に戻る。一方、ステップ2812において、本手書きデータ制御部0311が終了させられたと判断した場合には、本手書きデータ制御部0311の処理を終了する。なお、本手書きデータ制御部0311を終了する場合、高速モード手書きデータ送受信部0312あるいは正確モード手書きデータ送受信部0313が動作中であった場合にはこれらを終了させる。
【０２６２】
また、上記ステップ2805において、新たなモードと現在のモードの間に変更があったと判断した場合には、さらに新たなモードが高速モードであるか否かを判断する（ステップ2806）。
【０２６３】
ステップ2806における判断の結果、新たなモードが高速モードであったと判断した場合には、さらに現在のモードが正確モードであるか否かを判断する（ステップ2807）。ステップ2807の判断の結果、現在のモードが正確モードであると判断した場合には、正確モード手書きデータ送受信部0313を終了した後（ステップ2808）、高速モード手書きデータ送受信部0312を起動する（ステップ2809）。一方、ステップ2807の判断の結果、現在のモードが正確モードではないと判断した場合には、正確モード手書きデータ送受信部0313を終了しないで、高速モード手書きデータ送受信部0312を起動する（ステップ2809）。
【０２６４】
また、ステップ2806における判断の結果、新たなモードが高速モードではなかった判断した場合には、さらに現在のモードが高速モードであるか否かを判断する（ステップ2813）。ステップ2813の判断の結果、現在のモードが高速モードであると判断した場合には、高速モード手書きデータ送受信部0312を終了した後（ステップ2814）、正確モード手書きデータ送受信部0313を起動する（ステップ2815）。一方、ステップ2813の判断の結果、現在のモードが高速モードではないと判断した場合には、高速モード手書きデータ送受信部0312を終了しないで、正確モード手書きデータ送受信部0313を起動する（ステップ2815）。
【０２６５】
続いて、手書きデータ制御部0311は、通信制御/入出力装置0208およびネットワーク0103を介して、すでにセッション制御部0302によって手書きセッションが開始されているコミュニケーション相手の端末装置に、新たなモードを送信した後（ステップ2810）、新たなモードを現在のモードに設定する（ステップ2811）。なお、本モードの変更がコミュニケーション相手の端末装置から新たなモードを受信したことによる変更であった場合には、ステップ2810におけるコミュニケーション相手の端末装置への新たなモードの送信を行わない。
【０２６６】
さて、手書きデータ制御部0313は、続いて、セッション制御部0302によって本手書きデータ制御部0311が終了させられたか否かを判断し（ステップ2812）、本手書きデータ制御部0311が終了させられていないと判断した場合には、ステップ2803に戻る。一方、ステップ2812において、本手書きデータ制御部0311が終了させられたと判断した場合には、本手書きデータ制御部0311の処理を終了する。なお、本手書きデータ制御部0311を終了する場合、高速モード手書きデータ送受信部0312あるいは正確モード手書きデータ送受信部0313が動作中であった場合にはこれらを終了させる。
【０２６７】
次に、手書きデータ制御部0311によって起動され、同じく手書きデータ制御部0311によって終了されるまで中央処理装置0201によって実行される高速モード手書きデータ送受信部0312の処理内容について図２９を用いて説明する。図２９は、高速モード手書きデータ送受信部0312の処理内容を示すフローチャートの一例である。なお、本高速モード手書きデータ送受信部0312は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置0201によって実行される。
【０２６８】
図２９に示すとおり、高速モード手書きデータ送受信部0312は、まず、手書きデータの受信状態に設定されているか否かを判断し（ステップ2901）、手書きデータの受信状態に設定されていると判断した場合には、以下で述べるステップ2902乃至ステップ2914をスキップする。
【０２６９】
一方、上記ステップ2901において、手書きデータの受信状態に設定されていないと判断した場合には、高速モード手書きデータ送受信部0312は、続いて、手書き入力装置0205によってユーザから手書きデータが入力されているか否かを判断し（ステップ2902）、手書きデータが入力されていないと判断した場合には、以下で述べるステップ2903乃至ステップ2914をスキップする。
【０２７０】
一方、上記ステップ2902における判断の結果、手書きデータが入力されていると判断した場合には、高速モード手書きデータ送受信部0312は、続いて、入力装置0205によってユーザから入力された手書きデータを取得し（ステップ2903）、コミュニケーション相手の端末装置への送信用の手書きデータを生成し、バッファリングする（ステップ2904）。なお、生成およびバッファリングする手書きデータのデータ構造については後述する。
【０２７１】
続いて、高速モード手書きデータ送受信部0312は、入力された手書きデータが線の始点であるか否かを判断し（ステップ2905）、入力された手書きデータが線の始点であると判断した場合には、通信制御/入出力装置0208およびネットワーク0103を介して、すでにセッション制御部0302によって手書きセッションが開始されているコミュニケーション相手の端末装置に対して手書き受信開始要求を送信する（ステップ2906）。一方、入力された手書きデータが線の始点ではないと判断した場合には、コミュニケーション相手の端末装置に手書き受信開始要求を送信しない。なお、手書き受信開始要求を送受信する際のデータ構造については後述する。
【０２７２】
続いて、高速モード手書きデータ送受信部0312は、入力された手書きデータが線の終点であるか否かを判断し（ステップ2907）、入力された手書きデータが線の終点であると判断した場合には、バッファリングされている送信用の手書きデータを、コミュニケーション相手の端末装置に送信した後（ステップ2908）、送信用の手書きデータのバッファをクリアし（ステップ2909）、コミュニケーション相手の端末装置に手書き受信終了要求を送信する（ステップ2910）。なお、手書き受信終了要求を送受信する際のデータ構造については後述する。
【０２７３】
一方、上記ステップ2907において、入力された手書きデータが線の終点ではないと判断した場合には、上記ステップ2908乃至ステップ2910をスキップし、バッファリングされている手書きデータの送信、バッファのクリア、および手書き受信終了要求の送信を行わない。
【０２７４】
続いて、高速モード手書きデータ送受信部0312は、あらかじめ決められた描画点数分、例えば１０点分の手書きデータをバッファリングしたか否かを判断し（ステップ2911）、あらかじめ決められた描画点数分の手書きデータをバッファリングしたと判断した場合には、バッファリングされている送信用の手書きデータを、コミュニケーション相手の端末装置に送信した後（ステップ2912）、送信用の手書きデータのバッファをクリアする（ステップ2913）。
【０２７５】
一方、上記ステップ2911において、あらかじめ決められた描画点数分の手書きデータをバッファリングしていないと判断した場合には、上記ステップ2912およびステップ2913をスキップし、バッファリングされている手書きデータの送信およびバッファのクリアを行わない。
【０２７６】
続いて、高速モード手書きデータ送受信部0312は、入力された手書きデータの表示を指示して画像・手書きデータ管理部0316を起動することにより、入力された手書きデータを表示装置0206の手書き入力・表示エリア0404に表示する（ステップ2914）。
【０２７７】
続いて、高速モード手書きデータ送受信部0312は、手書きデータの受信状態に設定されているか否かを判断し（ステップ2919）、手書きデータの受信状態に設定されていないと判断した場合には、以下で述べるステップ2920乃至ステップ2922をスキップする。
【０２７８】
一方、上記ステップ2919において、手書きデータの受信状態に設定されていると判断した場合には、高速モード手書きデータ送受信部0312は、続いて、コミュニケーション相手の端末装置から手書きデータを受信したか否かを判断し（ステップ2920）、手書きデータを受信したと判断した場合には、受信した手書きデータを展開し（ステップ2921）、展開した手書きデータの表示を指示して画像・手書きデータ管理部0316を起動することにより、コミュニケーション相手の端末装置から受信した手書きデータを表示する（ステップ2922）。なお、展開とは受信した手書きデータを始点あるいは終点等の属性および座標データに変換するとともに、線の種別を取得して、表示装置0206に表示できる状態に変換することをさす。
【０２７９】
一方、ステップ2920において、コミュニケーション相手の端末装置から手書きデータを受信していないと判断した場合には、ステップ2921およびステップ2922をスキップして、コミュニケーション相手の端末装置から受信した手書きデータの展開および表示を行わない。
【０２８０】
続いて、高速モード手書きデータ送受信部0312は、コミュニケーション相手の端末装置から手書き受信開始要求を受信したか否かを判断し（ステップ2915）、手書き受信開始要求を受信した場合には、手書き受信状態に設定する（ステップ2916）。一方、手書き受信開始要求を受信していない場合には、ステップ2916をスキップして、手書き受信状態に設定しない。
【０２８１】
続いて、高速モード手書きデータ送受信部0312は、コミュニケーション相手の端末装置から手書き受信終了要求を受信したか否かを判断し（ステップ2917）、手書き受信終了要求を受信した場合には、手書き受信状態を解除する（ステップ2918）。一方、手書き受信終了要求を受信していない場合には、ステップ2918をスキップして、手書き受信状態の解除を行わない。
【０２８２】
続いて、高速モード手書きデータ送受信部0312は、手書きデータ制御部0311によって本高速モード手書きデータ送受信部0312が終了されたか否かを判断し（ステップ2923）、本高速モード手書きデータ送受信部0312が終了されていないと判断した場合には、上記ステップ2901に戻り、手書きデータ制御部0311によって本高速モード手書きデータ送受信部0312が終了されるまで、上述したステップ2901乃至ステップ2923を繰り返す。一方、上記ステップ2923における判断の結果、手書きデータ制御部0311によって本高速モード手書きデータ送受信部0312が終了されたと判断した場合には、本高速モード手書きデータ送受信部0312の処理を終了する。
【０２８３】
次に、本高速モード手書きデータ送受信部0312を備えた手書きデータの送信側端末装置と受信側端末装置の連係動作について図３０を用いて説明する。
図３０は、本高速モード手書きデータ送受信部0312を備えた２台の端末装置間で、一方を手書きデータの送信側、他方を受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【０２８４】
図３０に示すとおり、送信側では、まず手書き受信状態であるか否かを判断（3001）する。このとき、図３０に示すように手書き受信状態である場合には、手書きデータを送信できない、すなわち受信側となるので、送信側の処理は行っていないことがわかる。したがって以下では、送信側は手書き受信状態ではなく、受信側が手書き受信状態となっている場合について説明する。
【０２８５】
さて、送信側は、手書き入力装置0205によってユーザから入力された手書きデータを取得（3002）し、取得した手書きデータから送信用の手書きデータを生成してバッファリング（3003）する。そして取得した手書きデータが線の始点のデータであった場合（3004）には、受信側に手書き受信開始要求（3005）を送信する。
【０２８６】
受信側は、送信側から手書き受信開始要求（3005）を受信すると、端末装置を手書き受信状態に設定（3006）する。
【０２８７】
送信側は、さらに、あらかじめ決められた描画点数分、例えば１０点分の手書きデータをバッファリング（3007）した場合には、バッファリングされている送信用の手書きデータを受信側に送信（3008）した後、バッファをクリア（3009）する。
【０２８８】
受信側は、送信側から送信された手書きデータを受信（3008）すると、この手書きデータを表示装置0206に表示できるように、色や消去線/通常線等を示す線種、始点や終点あるいは通過点等を示す点種、および座標に展開（3010）し、画像・手書きデータ管理部0316を介して表示装置0206の手書き入力・表示エリア0404に表示（3011）する。
【０２８９】
送信側は、さらに、取得した手書きデータが線の終点のデータであった場合（3012）には、バッファリングされている送信用の手書きデータを受信側に送信（3013）し、バッファをクリア（3014）した後、受信側に手書き終了開始要求（3017）を送信する。
【０２９０】
受信側は、送信側から送信された手書きデータを受信（3013）すると、この手書きデータを表示装置0206に表示できるように、色や消去線/通常線等を示す線種、始点や終点あるいは通過点等を示す点種、および座標に展開（3015）し、画像・手書きデータ管理部0316を介して表示装置0206の手書き入力・表示エリア0404に表示（3016）する。また、受信側は、送信側から送信された手書き終了開始要求（3017）を受信すると、手書き受信状態を解除（3018）して、その時点から送信側になれるようにする。
【０２９１】
送信側は、さらに、取得した手書きデータすなわち手書き入力装置0205によってユーザから入力された手書きデータを画像・手書きデータ管理部0316を介して表示装置0206の手書き入力・表示エリア0404に表示（3019）する。
【０２９２】
以上、手書きデータ制御部0311の処理について述べたが、図２９および図３０からわかるとおり、本発明によれば、一方の端末装置で手書き入力動作を実施したことをトリガにして、その端末装置が送信側となるとともに、他の端末装置が受信側となるよう制御できる。これにより、別々の端末装置で手書きデータが互いに入力されることを避け、他の端末装置で手書きが行われているときにはそれに注目することができるので、コミュニケーションを円滑に行うことが可能となる。
【０２９３】
次に、手書きデータ制御部0311によって起動され、同じく手書きデータ制御部0311によって終了されるまで中央処理装置0201によって実行される正確モード手書きデータ送受信部0313の処理内容について図３１を用いて説明する。図３１は、正確モード手書きデータ送受信部0313の処理内容を示すフローチャートの一例である。なお、正確モード手書きデータ送受信部0313は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置0201によって実行される。
【０２９４】
図３１に示すとおり、正確モード手書きデータ送受信部0313の処理は基本的には先に図２９で説明した高速モード手書きデータ送受信部0312と同じであるため、高速モード手書きデータ送受信部0312と同様の処理については図２９と同じ番号を付してある。
【０２９５】
正確モード手書きデータ送受信部0313の処理が先に説明した高速モード手書きデータ送受信部0312と異なる点は、ステップ2908およびステップ2912において、バッファリングされている送信用の手書きデータをコミュニケーション相手の端末装置に送信した後、コミュニケーション相手の端末装置から手書きデータの受信・表示終了通知を受信するまで待つ（ステップ3101およびステップ3102）点と、ステップ2922において、受信した手書きデータを画像・手書きデータ管理部0316を介して表示装置0206の手書き入力・表示エリア0404に表示した後、コミュニケーション相手の端末装置に対して、手書きデータの受信・表示終了通知を送信する（ステップ3103）点である。
【０２９６】
他の部分、すなわち図２９と同じ番号を付してある処理については、高速モード手書きデータ送受信部0312における処理と同じであるので、説明を省略する。
【０２９７】
次に、本正確モード手書きデータ送受信部0313を備えた手書きデータの送信側端末装置と受信側端末装置の連係動作について図３２を用いて説明する。
【０２９８】
図３２は、本正確モード手書きデータ送受信部0313を備えた２台の端末装置間で、一方を手書きデータの送信側、他方を受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【０２９９】
図３２に示すとおり、正確モード手書きデータ送受信部0313を備えた２台の端末装置間での動作は、先に図３０で説明した高速モード手書きデータ送受信部0312を備えた２台の端末装置間での動作と基本的には同じである。このため、高速モード手書きデータ送受信部0312を備えた２台の端末装置間での動作と同様の処理については図３０と同じ番号を付してある。
【０３００】
正確モード手書きデータ送受信部0313を備えた２台の端末装置間での動作が、先に説明した高速モード手書きデータ送受信部0312を備えた２台の端末装置間での動作と異なる点は、送信側が手書きデータを受信側に送信（3008および3013）した後、受信側から手書きデータの受信・表示終了通知を受信するまで待つ（3201および3202）点と、受信側が受信した手書きデータを表示（3011および3016）した後、送信側に対して、手書きデータの受信・表示終了通知を送信する（3201および3202）点である。
【０３０１】
他の部分、すなわち図３０と同じ番号を付してある処理については、先に説明した高速モード手書きデータ送受信部0312を備えた２台の端末装置間での動作と同じであるので、説明を省略する。なお、受信・表示終了通知を送受信する際のデータ構造については後述する。
【０３０２】
図３１および図３２に示したとおり、本正確モード手書きデータ送受信部0313を備えた２台の端末装置間では、受信側の端末装置が、受信した手書きデータを表示するまで、送信側は次の手書きデータを送信しないので、受信側で例えば他の処理に時間を要した場合でも、バッファオーバフロー等による受信データの欠落等を起こすことが無くなり、送信側と受信側で必ず同じ手書きデータを表示可能となるので、コミュニケーションを円滑に行うことが可能となる。
【０３０３】
なお、本実施例においては、高速モード手書きデータ送受信部0312と正確モード手書きデータ送受信部0313をそれぞれ別の処理部としたが、これらを単一の手書きデータ送受信部としても良い。この場合には、先に述べた図２８において、ステップ2807、2808および2809の代わりに高速モードが選択されていることを示すフラグを設定し、ステップ2813、2814および2815の代わりに正確モードが選択されていることを示すフラグを設定するように構成すれば良い。また、新たに単一化した手書きデータ送受信部において、手書きデータの受信・表示終了通知を送受信する部分を先のフラグにより分岐させ、高速モードのときのみ手書きデータの受信・表示終了通知を送受信するように構成すればよい。
【０３０４】
以上説明した、高速モード手書きデータ送受信部0312、正確モード手書きデータ送受信部0313、および手書きデータ制御部0311により、手書きデータを決められたサンプリング数毎にチャンクに纏めて送受信することで、曲線を角張らせずに描画することが可能となる。また、端末装置間でチャンク毎に受信通知の有無を切り換えることでチャンクデータの高速な送受信および正確な送受信を保証し、端末装置の処理量を増やすことなく高品質手書きデータ通信を実現する。
【０３０５】
次に、上述した手書きデータ制御部0311、高速モード手書きデータ送受信部0312、および正確モード手書きデータ送受信部0313において送受信されるデータのデータ構造およびその内容について図３３を用いて説明する。
【０３０６】
図３３はコミュニケーション相手の端末装置との間で手書きデータに関するデータを送受信する際のデータ構造例を示す図である。
【０３０７】
図３３において、(a)は手書きモードを送受信する際のデータ構造、(b)は手書きデータを送受信する際のデータ構造、(c)は手書き受信開始要求を送受信する際のデータ構造、(d)は手書き受信終了要求を送受信する際のデータ構造、(e)は手書きデータの受信・表示終了通知を送受信する際のデータ構造、の一例をそれぞれ示している。
【０３０８】
図３３に示すとおり、コミュニケーション相手の端末装置との間で手書きデータに関するデータを送受信する際のデータでは、最初に「手書きモードを示す識別子」3301あるいは「手書きデータ送受信を示す識別子」3302が含まれている。
【０３０９】
「手書きモードを示す識別子」3301および「手書きデータ送受信を示す識別子」3302は、前述した「画像送受信を示す識別子」2701および後述する消去に関する情報の送受信で使われる「消去用データ送受信を示す識別子」と同じサイズであり、例えば２バイトの値とすることができる。また、「手書きモードを示す識別子」3301および「手書きデータ送受信を示す識別子」3302は、それぞれ異なる値とするとともに、それぞれ前述した「画像送受信を示す識別子」2701および後述する消去に関する情報の送受信で使われる「消去用データ送受信を示す識別子」とも異なった値とする必要がある。このため、例えば前述の通り、「画像送受信を示す識別子」2701を２バイトの値「0x0001」とした場合には、「手書きモードを示す識別子」3301を２バイトの値「0x0002」とし、「手書きデータ送受信を示す識別子」3302を２バイトの値「0x0003」のようなあらかじめ決められた値とすればよい。
【０３１０】
手書きモードを送受信する際のデータは、手書きデータ制御部0311で送受信され、図３３(a)に示すとおり、上述した「手書きモードを示す識別子」3301と、「モードを示す値」3311から構成される。「モードを示す値」3311は、先に述べた高速モードか正確モードかを示す値であり、あらかじめ決められたサイズおよび値とすればよく、例えば高速モードの場合には２バイトの値「0x0001」、正確モードの場合には２バイトの値「0x0002」とすればよい。本データ構造により、本データの受信側端末装置における手書きデータ制御部0311では、受信したデータから上述した「手書きモードを示す識別子」3301を判別することにより、次に「モードを示す値」3311が含まれていることを知ることができ、「モードを示す値」3311を判別することにより、これから開始される手書きモードが高速モードであるか正確モードであるかを判別することができる。
【０３１１】
手書きデータを送受信する際のデータは、高速モード手書きデータ送受信部0312あるいは正確モード手書きデータ送受信部0313で送受信され、図３３(b)に示すとおり、上述した「手書きデータ送受信を示す識別子」3302と、「手書きデータを示す識別子」3321と、「線の種別を示す値」3322と、データとして含まれる手書きデータの「点の数」3323と、１点目の「属性を示す識別子」3324と、１点目の「水平位置」3325と、１点目の「垂直位置」3326と、先の手書きデータの点の数3323分の「属性を示す識別子」3327、「水平位置」3328および「垂直位置」3329から構成される。「手書きデータを示す識別子」3321は、後述する「手書き受信開始要求を示す識別子」3331、「手書き受信終了要求を示す識別子」3341、および「手書きデータ受信・表示終了通知示す識別子」3351と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「手書きデータを示す識別子」3321を２バイトの値「0x0001」のようなあらかじめ決められた値とすればよい。
【０３１２】
「線の種別を示す値」3322は、このデータに含まれる手書きデータによって描画される線の属性を示す予め決められたデータサイズの値であり、例えば通常の線の場合には２バイトの値「0x0001」とし、消しゴムの線の場合には２バイトの値「0x0002」とすることができる。含まれる「点の数」3323は、例えば２バイトといった予め決められたデータサイズとし、このデータに含まれる手書きデータの点の数を示す数値であり、例えば10個の点が含まれる場合には２バイトの値「0x000a」とすることができる。１点目の「属性を示す識別子」3324は、このデータに含まれる１点目の手書きデータの属性を示す識別子であり、予め決められたデータサイズとすることができ、例えば線の始点の場合には２バイトの値「0x0001」、終点の場合には２バイトの値「0x0002」、始点と終点間の点の場合には２バイトの値「0x0003」とすることができる。１点目の「水平位置」3325は、このデータに含まれる１点目の手書きデータの水平座標であり、手書きデータと重ね合わせて表示される画像の左上を原点とする水平座標の数値である。
【０３１３】
このデータについても、例えば２バイトといった予め決められたデータサイズとすることができる。１点目の「垂直位置」3326は、このデータに含まれる１点目の手書きデータの垂直座標であり、手書きデータと重ね合わせて表示される画像の左上を原点とする垂直座標の数値である。このデータについても、例えば２バイトといった予め決められたデータサイズとすることができる。本データには先に示した含まれる「点の数」3323分のデータが含まれており、上述の１点目と同様に、N点目の「属性を示す識別子」3327は、このデータに含まれるN点目の手書きデータの属性を示す識別子であり、N点目の「水平位置」3328は、このデータに含まれるN点目の手書きデータの水平座標の値であり、N点目の「垂直位置」3329は、このデータに含まれるN点目の手書きデータの垂直座標である。本データ構造により、本データの受信側端末装置における高速モード手書きデータ送受信部0312あるいは正確モード手書きデータ送受信部0313では、受信したデータから上述した「手書きデータ示す識別子」3321を判別することにより、このデータに手書きデータが含まれることを識別することができるとともに、線の属性、点の数、および始点/終点/通過点といった点の種別を知ることができるので、画像・手書きデータ管理部0316を介して表示装置0206に受信した手書きデータを表示することが可能となる。
【０３１４】
手書き受信開始要求を送受信する際のデータは、高速モード手書きデータ送受信部0312あるいは正確モード手書きデータ送受信部0313で送受信され、図３３(c)に示すとおり、上述した「手書きデータ送受信を示す識別子」3302と、「手書き受信開始要求を示す識別子」3331から構成される。「手書き受信開始要求を示す識別子」3331は、前述した「手書きデータを示す識別子」3321と、後述する「手書き受信終了要求を示す識別子」3341、および「手書きデータ受信・表示終了通知示す識別子」3351と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「手書き受信開始要求を示す識別子」3331を２バイトの値「0x0002」のようなあらかじめ決められた値とすればよい。本データ構造により、本データの受信側端末装置における高速モード手書きデータ送受信部0312あるいは正確モード手書きデータ送受信部0313では、受信したデータから上述した「手書きデータ送受信を示す識別子」3302を識別するとともに、「手書き受信開始要求を示す識別子」3331を識別することにより、コミュニケーション相手の端末装置が手書きデータを送信しようとしていることを認識することが可能となる。
【０３１５】
手書き受信終了要求を送受信する際のデータは、高速モード手書きデータ送受信部0312あるいは正確モード手書きデータ送受信部0313で送受信され、図３３(d)に示すとおり、上述した「手書きデータ送受信を示す識別子」3302と、「手書き受信終了要求を示す識別子」3341から構成される。「手書き受信終了要求を示す識別子」3341は、前述した「手書きデータを示す識別子」3321や「手書き受信終了要求を示す識別子」3331と、後述する「手書きデータ受信・表示終了通知示す識別子」3351と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「手書き受信終了要求を示す識別子」3341を２バイトの値「0x0003」のようなあらかじめ決められた値とすればよい。
【０３１６】
本データ構造により、本データの受信側端末装置における高速モード手書きデータ送受信部0312あるいは正確モード手書きデータ送受信部0313では、受信したデータから上述した「手書きデータ送受信を示す識別子」3302を識別するとともに、「手書き受信終了要求を示す識別子」3341を識別することにより、コミュニケーション相手の端末装置が手書きデータの送信を終了しようとしていることを認識することが可能となる。
【０３１７】
手書きデータ受信・表示終了通知を送受信する際のデータは、正確モード手書きデータ送受信部0313で送受信され、図３３(e)に示すとおり、上述した「手書きデータ送受信を示す識別子」3302と、「手書きデータ受信・表示終了通知示す識別子」3351から構成される。「手書きデータ受信・表示終了通知示す識別子」3351は、前述した「手書きデータを示す識別子」3321、「手書き受信終了要求を示す識別子」3331および「手書き受信終了要求を示す識別子」3341と同じサイズとし、これらの識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「手書きデータ受信・表示終了通知示す識別子」3351を２バイトの値「0x0004」のようなあらかじめ決められた値とすればよい。本データ構造により、本データの受信側端末装置における正確モード手書きデータ送受信部0313では、受信したデータから上述した「手書きデータ送受信を示す識別子」3302を識別するとともに、「手書きデータ受信・表示終了通知示す識別子」3351を識別することにより、コミュニケーション相手の端末装置において手書きデータの受信および表示が完了したことを認識することが可能となる。
【０３１８】
次に、セッション制御部0302によって起動され、同じくセッション制御部0302によって終了されるまで中央処理装置0201によって実行される消去送信部0314の処理内容について図３４を用いて説明する。図３４は、消去送信部0314の処理内容を示すフローチャートの一例である。なお、本消去送信部0314は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置0201によって実行される。
【０３１９】
図３４に示すとおり、消去送信部0314が起動されると、まず、ユーザが表示装置0206の手書き入力・表示エリア0404に表示されている手書きデータのみを消去するか、画像のみを消去するか、あるいは両方を消去するかを選択するための消去内容選択画面0700を表示装置0206に表示し、ユーザからのどのオブジェクトを消去するか指定されるのを待つ（ステップ3401）。
【０３２０】
続いて、消去送信部0314は、ユーザから画像と手書きデータの両方の消去が指定されたか否かを判断する（ステップ3402）。
【０３２１】
上記ステップ3402における判断の結果、ユーザから画像と手書きデータの両方の消去が指定されたと判断した場合には、消去送信部0314は、通信制御/入出力装置0208およびネットワーク0103を介して、すでにセッション制御部0302によって消去用のセッションが開始されているコミュニケーション相手の端末装置に消去種別として画像・手書きデータ消去要求を送信する（ステップ3403）。なお、自端末装置と相手端末装置の間でこの消去種別を送受信する際のデータ構造については後述する。続いて、消去送信部0314は、コミュニケーション相手の端末装置から消去通知を受信した後（ステップ3404）、画像および手書きデータの消去指示とともに、画像・手書きデータ管理部0316を起動して、表示装置0206の手書き入力・表示エリア0404に表示されている画像と手書きデータの両方を消去する（ステップ3405）。なお、自端末装置と相手端末装置の間でこの消去通知を送受信する際のデータ構造については後述する。
【０３２２】
一方、上記ステップ3402における判断の結果、ユーザから画像と手書きデータの両方の消去が指定されていないと判断した場合には、消去送信部0314は、さらに、ユーザから手書きデータのみの消去が指定されたか否かを判断する（ステップ3406）。
【０３２３】
上記ステップ3406における判断の結果、ユーザから手書きデータのみの消去が指定されたと判断した場合には、コミュニケーション相手の端末装置に消去種別として手書きデータ消去要求を送信する（ステップ3407）。続いて、消去送信部0314は、コミュニケーション相手の端末装置から消去通知を受信した後（ステップ3408）、手書きデータの消去指示とともに、画像・手書きデータ管理部0316を起動して、表示装置0206の手書き入力・表示エリア0404に表示されている手書きデータのみを消去する（ステップ3409）。
【０３２４】
一方、上記ステップ3406における判断の結果、ユーザから手書きデータのみの消去が指定されていないと判断した場合には、消去送信部0314は、さらに、ユーザから画像のみの消去が指定されたか否かを判断する（ステップ3410）。
【０３２５】
上記ステップ3410における判断の結果、ユーザから画像のみの消去が指定されたと判断した場合には、コミュニケーション相手の端末装置に消去種別として画像消去要求を送信する（ステップ3411）。続いて、消去送信部0314は、コミュニケーション相手の端末装置から消去通知を受信した後（ステップ3412）、画像の消去指示とともに、画像・手書きデータ管理部0316を起動して、表示装置0206の手書き入力・表示エリア0404に表示されている画像のみを消去する（ステップ3413）。
【０３２６】
一方、上記ステップ3410における判断の結果、ユーザから画像のみの消去が指定されていないと判断した場合には、消去の実行がユーザによって中断されたと判断し、消去送信部0314は、コミュニケーション相手の端末装置に消去種別として無効なオブジェクトの消去要求を送信した後（ステップ3417）、コミュニケーション相手の端末装置から消去通知を受信する（ステップ3414）。
【０３２７】
続いて、消去送信部0314は、自端末装置のセッション制御部0302に対して消去用のセッションの終了を要求する（ステップ3415）。なお、本消去用のセッションの終了を要求は、例えばセッション制御部0302に対して、消去用のセッションの終了要求を示すイベントを発行することによって実現できる。
【０３２８】
続いて、消去送信部0314は、セッション制御部0302によって本消去送信部0314が終了されるまで待ち（ステップ3416）、セッション制御部0302によって消去送信部0314が終了されると、本消去送信部0314の処理を終了する。
【０３２９】
次に、セッション制御部0302によって起動され、同じくセッション制御部0302によって終了されるまで中央処理装置0201によって実行される消去受信部0315の処理内容について図３５を用いて説明する。図３５は、消去受信部0315の処理内容を示すフローチャートの一例である。なお、本消去受信部0315は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置0201によって実行される。
【０３３０】
図３５に示すとおり、消去受信部0315が起動されると、まず、通信制御/入出力装置0208およびネットワーク0103を介して、すでにセッション制御部0302によって消去用のセッションが開始されているコミュニケーション相手の端末装置から画像・手書きデータ消去要求、手書きデータ消去要求、画像消去要求、あるいは無効なオブジェクトの消去要求といった消去種別を受信する（ステップ3501）。なお、この消去種別を送受信する際のデータ構造およびデータ内容については後述する。
【０３３１】
続いて、消去受信部0315は、ステップ3501で受信した消去種別が画像と手書きデータの両方であるか否かを判断する（ステップ3502）。
【０３３２】
上記ステップ3502における判断の結果、消去種別が画像と手書きデータの両方であると判断した場合には、消去受信部0315は、画像および手書きデータの消去指示とともに、画像・手書きデータ管理部0316を起動して、表示装置0206の手書き入力・表示エリア0404に表示されている画像と手書きデータの両方を消去する（ステップ3503）。
【０３３３】
一方、上記ステップ3502における判断の結果、消去種別が画像と手書きデータの両方ではないと判断した場合には、消去受信部0315は、さらに、受信した消去種別が手書きデータのみであるか否かを判断する（ステップ3504）。
上記ステップ3504における判断の結果、消去種別が手書きデータのみであると判断した場合には、手書きデータの消去指示とともに、画像・手書きデータ管理部0316を起動して、表示装置0206の手書き入力・表示エリア0404に表示されている手書きデータのみを消去する（ステップ3505）。
【０３３４】
一方、上記ステップ3505における判断の結果、消去種別が手書きデータのみではないと判断した場合には、消去受信部0315は、さらに、受信した消去種別が画像のみであるか否かを判断する（ステップ3506）。
【０３３５】
上記ステップ3506における判断の結果、消去種別が画像のみであると判断した場合には、画像の消去指示とともに、画像・手書きデータ管理部0316を起動して、表示装置0206の手書き入力・表示エリア0404に表示されている画像のみを消去する（ステップ3507）。
【０３３６】
一方、上記ステップ3406における判断の結果、消去種別が画像のみではないと判断した場合には、消去の実行が中断されたと判断し、消去受信部0315は、消去に関する処理を行わないでステップ3508へと進む。
【０３３７】
続いて、消去受信部0315は、コミュニケーション相手の端末装置に対して消去通知を送信した後（ステップ3508）、セッション制御部0302によって本消去受信部0315が終了されるまで待ち（ステップ3509）、セッション制御部0302によって消去受信部0315が終了されると、本消去受信部0315の処理を終了する。
次に、本消去送信部0314と消去受信部0315の連係動作について、図３６を用いて説明する。
【０３３８】
図３６は本消去送信部0314と消去受信部0315を備えた２台の端末装置間で、一方を消去送信部0314による消去種別の送信側、他方を消去受信部0315による消去種別の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【０３３９】
図３６に示す通り、送信側は、まずユーザから消去対象となるオブジェクトを取得（3601）し、受信側にそのオブジェクトを消去種別として送信（3602）する。
【０３４０】
受信側は、この消去種別を送信側から受信（3602）すると、消去対象となるオブジェクトを指定して画像・手書きデータ管理部0316を起動して、表示装置0206の手書き入力・表示エリア0404における表示内容から消去対象となるオブジェクトを消去（3603）し、消去通知を送信側に送信（3604）する。
【０３４１】
送信側は、受信側から消去通知を受信（3604）すると、消去対象となるオブジェクトを指定して画像・手書きデータ管理部0316を起動し、表示装置0206の手書き入力・表示エリア0404における表示内容から消去対象となるオブジェクトを消去（3605）する。
【０３４２】
次に、上述した消去送信部0314と消去受信部0315において送受信されるデータのデータ構造とその内容について図３７を用いて説明する。
【０３４３】
図３７は、コミュニケーション相手の端末装置との間で消去に関するデータを送受信する際のデータ構造例を示す図である。
【０３４４】
図３７において、(a)は消去種別を送受信する際のデータ構造、(b)は消去通知を送受信する際のデータ構造、の一例をそれぞれ示している。
【０３４５】
図３７に示すとおり、コミュニケーション相手の端末装置との間で消去に関するデータを送受信する際のデータでは、最初に「消去用データ送受信を示す識別子」3701が含まれている。
【０３４６】
「消去用データ送受信を示す識別子」3701は、前述した「画像送受信を示す識別子」2701、「手書きモードを示す識別子」3301および「手書きデータ送受信を示す識別子」3302と同じサイズであり、例えば２バイトの値とすることができる。また、「消去用データ送受信を示す識別子」3701は、前述した「画像送受信を示す識別子」2701、「手書きモードを示す識別子」3301および「手書きデータ送受信を示す識別子」3302と異なった値とする必要がある。このため、例えば前述の通り、「画像送受信を示す識別子」2701を２バイトの値「0x0001」とし、「手書きモードを示す識別子」3301を２バイトの値「0x0002」とし、「手書きデータ送受信を示す識別子」3302を２バイトの値「0x0003」とした場合には、「消去用データ送受信を示す識別子」3701を２バイトの値「0x0004」のようなあらかじめ決められた値とすればよい。
【０３４７】
消去種別を送受信する際のデータは、図３７(a)に示すとおり、上述した「消去用データ送受信を示す識別子」3701と、「消去種別を示す識別子」3702と、「消去内容を示す値」3703から構成される。「消去種別を示す識別子」3702は、後述する「消去通知を示す識別子」3704と同じサイズとし、この識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「消去種別を示す識別子」3702を２バイトの値「0x0001」のようなあらかじめ決められた値とすればよい。「消去内容を示す値」3703は、先に述べた画像と手書きデータの両方を消去するか、手書きデータのみを消去するか、あるいは画像のみを消去するかを示す値であり、あらかじめ決められたサイズおよび値とすればよく、例えば画像と手書きデータの両方の消去を示す場合には２バイトの値「0x0003」、手書きデータのみの消去を示す場合には２バイトの値「0x0001」、画像のみの消去を示す場合には２バイトの値「0x0002」とすればよい。また、無効なオブジェクトの消去を示す場合には２バイトの値「0x0004」とすればよい。本データ構造により、このデータの受信側端末装置では、受信したデータから上述した「消去種別を示す識別子」3702を判別することにより、次に「消去内容を示す値」3703が含まれていることを知ることができ、「消去内容を示す値」3703を判別することにより、これから消去すべきオブジェクトが画像と手書きデータの両方か、手書きデータのみか、あるいは画像のみかを判別することができる。
【０３４８】
消去通知を送受信する際のデータは、図３７(b)に示すとおり、上述した「消去用データ送受信を示す識別子」3701と、「消去通知を示す識別子」3704から構成される。「消去通知を示す識別子」3704は、前述した「消去種別を示す識別子」3702と同じサイズとし、この識別子とは異なった値とする必要があるが、それ以外の制限はなく、例えば、「消去通知を示す識別子」3704を２バイトの値「0x0002」のようなあらかじめ決められた値とすればよい。本データ構造により、このデータの受信側端末装置では、受信したデータから上述した「消去用データ送受信を示す識別子」3701を識別するとともに、「消去通知を示す識別子」3704を識別することにより、指定したオブジェクトをコミュニケーション相手の端末装置が消去し終えたことを認識することが可能となる。
【０３４９】
次に、入力処理部0301によって起動され、中央処理装置0201によって実行される保存部0318の処理内容について図３８を用いて説明する。図３８は、保存部0318の処理内容を示すフローチャートの一例である。なお、本保存部0318は、他のソフトウェア構成要素とは別タスクとして構成されており、他のソフトウェア構成要素と並行して中央処理装置0201によって実行される。
【０３５０】
図３８に示すとおり、保存部0318が起動されると、まず、ユーザが表示装置0206の手書き入力・表示エリア0404に表示されている手書きデータのみを保存するか、画像のみを保存するか、あるいは両方をマージして保存するかを選択するための保存内容選択画面0800を表示装置0206に表示し、ユーザからのどのオブジェクトを保存するか指定されるのを待つ（ステップ3801）。
【０３５１】
続いて、保存部0318は、ユーザから手書きデータのみの保存が指定されたか否かを判断し（ステップ3802）、ユーザから手書きデータのみの保存が指定されたと判断した場合には、保存部0318は、手書きデータの取得指示とともに、画像・手書きデータ管理部0316を起動して、表示装置0206の手書き入力・表示エリア0404に表示されている手書きデータを取得する（ステップ3803）。
【０３５２】
一方、上記ステップ3802における判断の結果、ユーザから手書きデータのみの保存が指定されていないと判断した場合には、保存部0318は、さらに、ユーザから画像のみの保存が指定されたか否かを判断し（ステップ3804）、ユーザから画像のみの保存が指定されたと判断した場合には、保存部0318は、画像の取得指示とともに、画像・手書きデータ管理部0316を起動して、表示装置0206の手書き入力・表示エリア0404に表示されている画像データを取得する（ステップ3805）。
【０３５３】
一方、上記ステップ3804における判断の結果、ユーザから手書きデータのみの保存が指定されていないと判断した場合には、保存部0318は、さらに、ユーザから画像と手書きデータの両方の保存が指定されたか否かを判断し（ステップ3806）、ユーザから画像と手書きデータの両方の保存が指定されたと判断した場合には、保存部0318は、画像と手書きデータの取得指示とともに、画像・手書きデータ管理部0316を起動して、表示装置0206の手書き入力・表示エリア0404に表示されている画像データと手書きデータを取得し（ステップ3807）、両方を合成する（ステップ3808）。
【０３５４】
一方、上記ステップ3806における判断の結果、ユーザから画像と手書きデータの両方の保存が指定されていないと判断した場合には、保存部0318は、保存がキャンセルされたと判断し、本保存部0318の処理を終了する。
【０３５５】
続いて、保存部0318は、設定入力装置0207を介してユーザから入力されたファイル名を取得して（ステップ3809）、記憶装置0202あるいは二次記憶装置0209に保存した後（ステップ3810）、本保存部0318の処理を終了する。
【０３５６】
次に、ファイル名送信部0306、ファイル内容送信部0307、ファイル名受信部0309、ファイル内容受信部0310、高速モード手書きデータ送受信部0312、正確モード手書きデータ送受信部0313、消去送信部0314、消去受信部0315、および保存部0318によって起動され、中央処理装置0201によって実行される画像・手書きデータ管理部0316の処理内容について図３９を用いて説明する。図３９は、画像・手書きデータ管理部0316の処理内容を示すフローチャートの一例である。
図３９に示すとおり、画像・手書きデータ管理部0316が起動されると、まず、画像の更新および手書きデータの更新が行われていない状態に設定する（ステップ390１およびステップ3902）。
【０３５７】
続いて、画像・手書きデータ管理部0316は、画像の表示指示とともに本画像・手書きデータ管理部0316が起動されたか否かを判断し（ステップ3903）、画像の表示指示とともに本画像・手書きデータ管理部0316が起動されたと判断した場合には、表示対象の画像を後述する画像面上に生成し（ステップ3904）、画像の更新がなされた状態に設定した後（ステップ3905）、手書きデータの消去指示を本画像・手書きデータ管理部0316自身に行い（ステップ390A）、ステップ3909へと進む。
【０３５８】
一方、上記ステップ3903における判断の結果、画像の表示指示とともに本画像・手書きデータ管理部0316が起動されたわけではないと判断した場合には、さらに、画像の消去指示とともに本画像・手書きデータ管理部0316が起動されたか否かを判断し（ステップ3906）、画像の消去指示とともに本画像・手書きデータ管理部0316が起動されたと判断した場合には、消去対象の画像を後述する画像面上から消去し（ステップ3907）、画像の更新がなされた状態に設定した後（ステップ3908）、手書きデータの消去指示を本画像・手書きデータ管理部0316自身に行い（ステップ390B）、ステップ3909へと進む。
【０３５９】
一方、上記ステップ3906における判断の結果、画像の消去指示とともに本画像・手書きデータ管理部0316が起動されたわけではないと判断した場合には、直接ステップ3909へと進む。
【０３６０】
続いて、画像・手書きデータ管理部0316は、ステップ3909において、手書きデータの表示指示とともに本画像・手書きデータ管理部0316が起動されたか否かを判断し（ステップ3909）、手書きデータの表示指示とともに本画像・手書きデータ管理部0316が起動されたと判断した場合には、表示対象の手書きデータを後述する手書き面上に生成し（ステップ3910）、手書きデータの更新がなされた状態に設定した後（ステップ3911）、ステップ3915へと進む。
【０３６１】
一方、上記ステップ3909において、手書きデータの表示指示とともに本画像・手書きデータ管理部0316が起動されたわけではないと判断した場合には、さらに、手書きデータの消去指示とともに本画像・手書きデータ管理部0316が起動されたかあるいはステップ390Aあるいは390Bにおいて手書きデータの消去指示を行ったか否かを判断し（ステップ3912）、手書きデータの消去指示とともに本画像・手書きデータ管理部0316が起動されたかあるいはステップ390Aあるいは390Bにおいて手書きデータの消去指示を行ったと判断した場合には、消去対象の手書きデータを後述する手書き面上から消去し（ステップ3913）、手書きデータの更新がなされた状態に設定した後（ステップ3914）、ステップ3915へと進む。
【０３６２】
一方、上記ステップ3912における判断の結果、手書きデータの消去指示とともに本画像・手書きデータ管理部0316が起動されたわけではなく、かつステップ390Aおよび390Bにおいて手書きデータの消去指示を行っていないと判断した場合には、直接ステップ3915へと進む。
【０３６３】
続いて、画像・手書きデータ管理部0316は、ステップ3915において、画像と手書きデータの取得指示とともに、本画像・手書きデータ管理部0316が起動されたか否かを判断し（ステップ3915）、画像と手書きデータの取得指示とともに、本画像・手書きデータ管理部0316が起動されたと判断した場合には、後述する画像面に生成されている画像データと、後述する手書き面に生成されている手書きデータを本画像・手書きデータ管理部0316の起動元の処理部に返して（ステップ3916）、本画像・手書きデータ管理部0316の処理を終了する。
【０３６４】
一方、上記ステップ3915において、画像と手書きデータの取得指示とともに、本画像・手書きデータ管理部0316が起動されたわけではないと判断した場合には、さらに、画像のみの取得指示とともに、本画像・手書きデータ管理部0316が起動されたか否かを判断し（ステップ3917）、画像のみの取得指示とともに、本画像・手書きデータ管理部0316が起動されたと判断した場合には、後述する画像面に生成されている画像データを本画像・手書きデータ管理部0316の起動元の処理部に返して（ステップ3918）、本画像・手書きデータ管理部0316の処理を終了する。
【０３６５】
一方、上記ステップ3917において、画像のみの取得指示とともに、本画像・手書きデータ管理部0316が起動されたわけではないと判断した場合には、さらに、手書きデータのみの取得指示とともに、本画像・手書きデータ管理部0316が起動されたか否かを判断し（ステップ3919）、手書きデータのみの取得指示とともに、本画像・手書きデータ管理部0316が起動されたと判断した場合には、後述する手書き面に生成されている手書きデータを本画像・手書きデータ管理部0316の起動元の処理部に返して（ステップ3920）、本画像・手書きデータ管理部0316の処理を終了する。
【０３６６】
一方、上記ステップ3919において、手書きデータのみの取得指示とともに、本画像・手書きデータ管理部0316が起動されたわけではないとを判断した場合には、画像および手書きデータの更新状態と、手書きデータが更新されている場合には更新された手書きデータの座標と、画像面に生成されている画像および手書き面に生成されている手書きデータの表示指示とともに、表示制御部0317を起動して（ステップ3921）、本画像・手書きデータ管理部0316の処理を終了する。
【０３６７】
次に、画像・手書きデータ管理部0316における画像および手書きデータの管理方法について図４０を用いて説明する。
【０３６８】
図４０は、互いにコミュニケーションを行っている２台の端末装置における画像・手書きデータ管理部0316よる画像および手書きデータの管理方法を説明する図である。
【０３６９】
図４０おいて、 4001は一方の端末装置Aで行われている画像および手書きデータの管理、4011は他方の端末装置Bで行われている画像および手書きデータの管理、4002は端末装置Aにおける手書き面、4012は端末装置Bにおける手書き面、4003は端末装置Aの手書き面に生成されている手書きデータ、4013は端末装置Bの手書き面に生成されている手書きデータ、4004は端末装置Aの画像面、4014は端末装置Bの画像面、4005は端末装置Aの画像面に生成されている画像データ、4015は端末装置Bの画像面に生成されている画像データ、4021は手書きデータの送受信、4022は画像データの送受信、を意味している。
【０３７０】
また、4006は端末装置Aの合成面、4016は端末装置Bの合成面、4007は端末装置Aの合成面に生成されている表示対象のデータ、4017は端末装置Bの合成面に生成されている表示対象のデータ、 4031は端末装置Aにおける手書きデータと画像データの合成、4032は端末装置Bにおける手書きデータと画像データの合成、を意味しており、前述の保存部0318や後述する表示制御部0317で行われる管理および処理である。
【０３７１】
図４０に示すとおり、画像・手書きデータ管理部0316では、手書きデータ4003あるいは4013と画像データ4005あるいは4015をそれぞれ手書き面4002あるいは4012と画像面4004あるいは4014でそれぞれ別個に管理する。これにより、後述する表示制御部0317は、手書き面に生成されている手書きデータ4003あるいは4013と画像面に生成されている画像4005あるいは4015を合成し、合成面4006あるいは4016に表示対象のデータ4007あるいは4017を生成して、表示装置0206の手書き入力・表示エリア0404にこの合成面上の表示対象データ4007あるいは4017を表示する。なお、本画像・手書きデータ管理部0316では、画像の送受信が行われた場合には、それをトリガとして手書き面をクリアし、手書きデータを消去する。また、画像の送受信が行われた場合には、画像面と手書き面の大きさを画像の大きさに合わせる。ただし、画像の大きさが表示装置0206の手書き入力・表示エリア0404よりも小さい場合には、画像面と手書き面の大きさを手書き入力・表示エリア0404の大きさに合わせる。
【０３７２】
図４０に示すとおり、本画像・手書きデータ管理部0316では、複数のプレーン（面）を持ち、プレーンの内の一つに該基本となる画像データを表示し、通信中の手書きデータを別のプレーンに表示し、これら複数のプレーンを重ね合わせて表示するので、コミュニケーション中もコミュニケーション後も基本となる画像を失わないようにすることが可能となる。
【０３７３】
すなわち、本構成により、画像面をベースとして編集不可能とし、手書き面における手書きデータのみを編集可能とすることが可能となる。
【０３７４】
また、手書き面上の手書きデータの一部あるいは画像面上の画像の一部を消去することが可能となる。この場合には、図３３で説明した線の種別を示す値3322に手書き面における消しゴムを示す値、あるいは画像面における消しゴムを示す値を指定することによって実現できる。また、この場合には消しゴムおよび手書き面あるいは画像面を指定するための表示画面を設け、ユーザが消しゴムを指定できるようにするとともに、対象とする面を選択できるようにするとよい。
【０３７５】
また、本画像・手書きデータ管理部0316により、手書きデータのみの保存、画像のみの保存、および手書きデータと画像を合成して保存することが可能となる。また、手書きデータのみの消去、画像のみの消去、手書きデータと画像データの両方を消去することも可能となる。
【０３７６】
さらに、表示制御部0317が手書きデータや画像を表示装置0206の手書き入力・表示エリア0404に表示する際、手書き面に生成されている手書きデータと画像面に生成されている画像のどちらかを選択して、合成面に表示対象のデータを生成することにより、手書きデータのみを表示、あるいは画像のみを表示すること等も可能となる。
【０３７７】
さて、次に、画像・手書きデータ管理部0316によって起動され、中央処理装置0201によって実行される表示制御部0317の処理内容について図４１を用いて説明する。図４１は、表示制御部0317の処理内容を示すフローチャートの一例である。
【０３７８】
図４１に示すとおり、表示制御部0317が起動されると、まず、画像面に生成されている画像を取得して、合成面を生成する（ステップ4101）。なお、画像面に生成されている画像が無い場合には無地の画像を使用して、合成面を生成すればよい。
【０３７９】
続いて、表示制御部0317は、本表示制御部0317が起動されたときに一緒に通知される画像および手書きデータの更新状態をもとに、手書きデータが更新されたか否かを判断し（ステップ4102）、手書きデータが更新されていないと判断した場合には、合成面に生成されている画像を表示装置0206の手書き入力・表示エリア0404に表示して（ステップ4108）、本表示制御部0317の処理を終了する。
【０３８０】
一方、上記ステップ4102における判断の結果、手書きデータが更新されていると判断した場合には、手書き面に生成されている手書きデータを取得した後（ステップ4103）、合成面に手書きデータを合成して新らたな合成面を生成する（ステップ4104）。
【０３８１】
続いて、表示制御部0317は、手書きデータが更新されている場合に、本表示制御部0317の起動時に通知される更新された手書きデータの座標を取得し（ステップ4105）、この座標が表示領域、すなわち手書き入力・表示エリア0404内の座標か否かを判断する（ステップ4106）。
【０３８２】
続いて、表示制御部0317は、ステップ4106における判断の結果、更新された手書きデータの座標が表示領域、すなわち手書き入力・表示エリア0404内であると判断した場合には、ステップ4104で新たに生成された合成面上に生成されている画像および手書きデータを表示装置0206の手書き入力・表示エリア0404に表示して（ステップ4108）、本表示制御部0317の処理を終了する。
【０３８３】
一方、上記ステップ4106における判断の結果、更新された手書きデータの座標が表示領域、すなわち手書き入力・表示エリア0404外であると判断した場合には、ステップ4104で新たに生成された合成面上に生成されている画像および手書きデータにおいて、更新された手書きデータの座標が表示領域、すなわち手書き入力・表示エリア0404内に表示されるよう、合成面上に生成されている画像および手書きデータをスクロールして（ステップ4107）、表示装置0206の手書き入力・表示エリア0404に表示し（ステップ4108）、本表示制御部0317の処理を終了する。
【０３８４】
次に、本表示制御部0317による画像および手書きデータの表示例について図４２を用いて説明する。
【０３８５】
図４２は、本表示制御部0317を備えた２台の端末装置において、すでに一方の端末装置から画像データを送信済みで、双方の端末装置でこの画像データを表示している状態であり、この状態において、一方の端末装置から手書きデータが送信されている状態を示す図である。
【０３８６】
図４２において、4201および4201'は、それぞれ手書きデータ送信側の端末装置において表示対象となっている画像および手書きデータ受信側の端末装置において表示対象となっている画像であり、4202と4204、および、4202'と4204’は、それぞれ手書きデータ送信側の端末装置において手書き入力・表示エリア0404に表示されている画像および手書きデータ受信側の端末装置において手書き入力・表示エリア0404に表示されている画像を示している。また、図４２において、4203と4205、および、4203'と4205’は、それぞれ手書きデータ送信側の端末装置において入力/送信/表示された手書きデータ、および手書きデータ受信側の端末装置において受信/表示された手書きデータを示している。
【０３８７】
図４２に示すように、本表示制御部0317を備えた端末装置では、手書きデータ送信側の端末装置の手書き入力・表示エリア0404に画像4202が表示されている場合、および手書きデータ受信側の端末装置の手書き入力・表示エリア0404に画像4202'が表示されている場合において、手書きデータ送信側の端末装置から手書きデータ4203が入力/送信/表示されている場合には、受信側でもこの手書きデータは手書き入力・表示エリア0404内なので、合成面上に生成されている画像および手書きデータをスクロールすることなしに受信側にも手書きデータ4203'が表示される。
【０３８８】
一方、手書きデータ送信側の端末装置の手書き入力・表示エリア0404に表示されている画像をスクロールし、画像4204が表示されている場合、および手書きデータ受信側の端末装置の手書き入力・表示エリア0404に画像4202'が表示されている場合において、手書きデータ送信側の端末装置から手書きデータ4205が入力/送信/表示されると、受信側ではこの手書きデータは手書き入力・表示エリア0404外なので自動的に合成面上に生成されている画像および手書きデータをスクロールして手書き入力・表示エリア0404に画像4204'を表示し、受信側にも手書きデータ4205'が表示される。
【０３８９】
したがって、本表示制御部0317の処理と高速モード手書きデータ送受信部0312あるいは正確モード手書きデータ送受信部0313の処理により、別々の端末装置で手書きデータが互いに入力されることを避けるとともに、他の端末装置において描かれた手書きデータが必ず表示されるので、コミュニケーションを円滑に行うことが可能となる。すなわち、該基本となる画像データと手書きデータの座標系を揃え、手書きデータの指す位置を端末装置間で送受信し、該手書きデータの指す位置が表示手段に表示されないと判断した場合に、該基本となる画像データと手書きデータが表示手段に表示されるようにスクロールして表示するので、手書きデータ通信よるコミュニケーションにおいて注目すべき情報を確実に表示可能となる。
【０３９０】
この利点は、手書き入力・表示エリア0404の解像度が異なる端末装置間でコミュニケーションがなされた場合にはさらに顕著となるので、次に、手書き入力・表示エリア0404の解像度が異なる端末装置間でコミュニケーションがなされる場合の本表示制御部0317による画像および手書きデータの表示例について図４３を用いて説明する。
【０３９１】
図４３は、本表示制御部0317を備えた手書き入力・表示エリア0404の異なる２台の端末装置において、すでに一方の端末装置から画像データを送信済みで、双方の端末装置でこの画像データを表示している状態であり、この状態において、一方の端末装置から手書きデータが送信されている状態を示す図である。
【０３９２】
図４３において、4301および4301'は、それぞれ手書きデータ送信側の端末装置において表示対象となっている画像および手書きデータ受信側の端末装置において表示対象となっている画像であり、4302および、4302'と4304’と4305'は、それぞれ手書きデータ送信側の端末装置において手書き入力・表示エリア0404に表示されている画像、および手書きデータ受信側の端末装置において手書き入力・表示エリア0404に表示されている画像を示している。また、図４３において、4303と4306、および、4303'と4306’は、それぞれ手書きデータ送信側の端末装置において入力/送信/表示された手書きデータ、および手書きデータ受信側の端末装置において受信/表示された手書きデータを示している。
【０３９３】
図４３に示すように、本表示制御部0317を備えた端末装置では、手書きデータ送信側の端末装置の手書き入力・表示エリア0404に画像4302が表示されている場合、および手書きデータ受信側の端末装置の手書き入力・表示エリア0404に画像4302'が表示されている場合において、手書きデータ送信側の端末装置から手書きデータ4303が入力/送信/表示された場合には、受信側ではこの手書きデータは手書き入力・表示エリア0404外なので自動的に合成面上に生成されている画像および手書きデータをスクロールして手書き入力・表示エリア0404に画像4304'を表示し、受信側にも手書きデータ4303'が表示される。
【０３９４】
一方、手書きデータ送信側の端末装置の手書き入力・表示エリア0404に画像4302が表示されている場合、および手書きデータ受信側の端末装置の手書き入力・表示エリア0404に画像4304'が表示されている場合において、手書きデータ送信側の端末装置から手書きデータ4306が入力/送信/表示されると、受信側ではやはりこの手書きデータは手書き入力・表示エリア0404外なので自動的に合成面上に生成されている画像および手書きデータをスクロールして手書き入力・表示エリア0404に画像4305'を表示し、受信側にも手書きデータ4306'が表示される。
【０３９５】
なお、本表示制御部において合成面上に生成されている画像および手書きデータをスクロールする場合には、例えば、更新された手書きデータの座標がコミュニケーション相手の端末装置の表示装置0206における手書き入力・表示エリア0404に表示されている位置と同じ位置に表示されるようにスクロールしても良いし、手書き入力・表示エリア0404の中心となるようにスクロールしても良い。
【０３９６】
なお、更新された手書きデータの座標が手書き入力・表示エリア0404の中心となるようにスクロールする場合、図４４(a)に示すように画像のボーダーが手書き入力・表示エリア0404に表示されてしまう場合には、図４４(b)に示すようにこのボーダーを手書き入力・表示エリア0404の辺に合わせるようにすると良い。これにより、必ずしも更新された手書きデータの座標が手書き入力・表示エリア0404の中心に表示されることはなくなるが、ユーザにとって見た目をよくすることが可能となる。なお、図４４において、4401は画像、4402は手書き入力・表示エリア、4403は手書きデータを示している。
【０３９７】
また、例えば、手書きデータ制御部0311の起動時に互いの端末装置における手書き入力・表示エリア0404のサイズを通知しあうとともに、各端末装置で表示位置のスクロールを行うたびに、現在の表示エリアをコミュニケーション相手の端末装置に通知することで、図４５に示すように互いの端末装置においてコミュニケーション相手の端末装置が現在表示している部分を枠付けするなどして、コミュニケーション相手の端末装置が現在画像のどこを表示しているかわかるようにしても良い。なお、図４５において、4501は画像、4502手書き入力・表示エリア、4503はコミュニケーション相手の端末装置で手書き入力・表示エリアに表示されている部分を示している。
【０３９８】
以上、本発明の実施の形態について説明したが、本発明によれば、図４６に示すように例えば携帯端末装置のような端末装置4601および4603間で、音声、画像、および手書きデータを用いて、画像を指し示しながら音声通話可能とし、かつ円滑にコミュニケーション可能となる。また、同様に例えば携帯端末装置のような端末装置4601とパーソナルコンピュータ等の端末装置4602の間で、音声、画像、および手書きデータを用いて、画像を指し示しながら音声通話可能とし、かつ円滑にコミュニケーション可能となる。
【０３９９】
【発明の効果】
本発明によれば、端末装置間で、音声、画像、および手書きデータを用いて、画像を指し示しながら音声通話可能とし、かつ円滑にコミュニケーション可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかるコミュニケーションシステムの構成例を示す図である。
【図２】本発明の実施の形態にかかるコミュニケーションシステムの端末装置のハードウェア構成例を示す図である。
【図３】本発明の実施の形態にかかるコミュニケーションシステムの端末装置の中央処理装置で実行されるソフトウェア構成例を示す図である。
【図４】本発明の実施の形態にかかるコミュニケーションシステムを実行しようとしたときに、最初に端末装置の表示装置に表示される表示画面例である。
【図５】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における手書きモード選択画面例を示す図である。
【図６】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における画像送信モード選択画面例を示す図である。
【図７】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における消去内容選択画面例を示す図である。
【図８】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における保存内容選択画面例を示す図である。
【図９】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における入力処理部の処理内容を示すフローチャートの一例である。
【図１０】本発明の実施の形態にかかるコミュニケーションシステムの端末装置におけるセッション制御部の処理内容を示すフローチャートの一例の前半部である。
【図１１】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における音声セッション開始許可画面例を示す図である。
【図１２】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における手書きセッション開始許可画面例を示す図である。
【図１３】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における画像送信セッション開始許可画面例を示す図である。
【図１４】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における消去許可画面例を示す図である。
【図１５】本発明の実施の形態にかかるセッション制御部を備えた２台の端末装置間で、一方を音声セッション開始／終了要求の発信側、他方を音声セッション開始／終了要求の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【図１６】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における音声セッション終了許可画面例を示す図である。
【図１７】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における音声送信部の処理内容を示すフローチャートの一例である。
【図１８】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における音声受信部の処理内容を示すフローチャートの一例である。
【図１９】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における画像データ送信制御部の処理内容を示すフローチャートの一例である。
【図２０】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における画像データ受信制御部の処理内容を示すフローチャートの一例である。
【図２１】本発明の実施の形態にかかるコミュニケーションシステムの端末装置におけるファイル名送信部の処理内容を示すフローチャートの一例である。
【図２２】本発明の実施の形態にかかるコミュニケーションシステムの端末装置におけるファイル名受信部の処理内容を示すフローチャートの一例である。
【図２３】本発明の実施の形態にかかるファイル名送信部とファイル名受信部を備えた２台の端末装置間で、一方をファイル名送信部によるファイル名の送信側、他方をファイル名受信部によるファイル名の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【図２４】本発明の実施の形態にかかるコミュニケーションシステムの端末装置におけるファイル内容送信部の処理内容を示すフローチャートの一例である。
【図２５】本発明の実施の形態にかかるコミュニケーションシステムの端末装置におけるファイル内容受信部の処理内容を示すフローチャートの一例である。
【図２６】本発明の実施の形態にかかるファイル内容送信部とファイル内容受信部を備えた２台の端末装置間で、一方をファイル内容送信部による画像データの送信側、他方をファイル内容受信部による画像データの受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【図２７】本発明の実施の形態にかかるコミュニケーションシステムの端末装置がコミュニケーション相手の端末装置との間で画像に関するデータを送受信する際のデータ構造例を示す図である。
【図２８】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における手書きデータ制御部の処理内容を示すフローチャートの一例である。
【図２９】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における高速モード手書きデータ送受信部の処理内容を示すフローチャートの一例である。
【図３０】本発明の実施の形態にかかる高速モード手書きデータ送受信部を備えた２台の端末装置間で、一方を手書きデータの送信側、他方を受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【図３１】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における正確モード手書きデータ送受信部の処理内容を示すフローチャートの一例である。
【図３２】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における正確モード手書きデータ送受信部を備えた２台の端末装置間で、一方を手書きデータの送信側、他方を受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【図３３】本発明の実施の形態にかかるコミュニケーションシステムの端末装置がコミュニケーション相手の端末装置との間で手書きデータに関するデータを送受信する際のデータ構造例を示す図である。
【図３４】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における消去送信部の処理内容を示すフローチャートの一例である。
【図３５】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における消去受信部の処理内容を示すフローチャートの一例である。
【図３６】本発明の実施の形態にかかる本消去送信部と消去受信部を備えた２台の端末装置間で、一方を消去送信部による消去種別の送信側、他方を消去受信部による消去種別の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【図３７】本発明の実施の形態にかかるコミュニケーションシステムの端末装置がコミュニケーション相手の端末装置との間で消去に関するデータを送受信する際のデータ構造例を示す図である。
【図３８】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における保存部の処理内容を示すフローチャートの一例である。
【図３９】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における画像・手書きデータ管理部の処理内容を示すフローチャートの一例である。
【図４０】本発明の実施の形態にかかる互いにコミュニケーションを行っている２台の端末装置が画像・手書きデータ管理部よって画像および手書きデータを管理する場合の管理方法を説明する図である。
【図４１】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における表示制御部の処理内容を示すフローチャートの一例である。
【図４２】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における表示制御部による画像および手書きデータの表示例を示す図である。
【図４３】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における表示制御部による画像および手書きデータの表示例を示す図であり、特に手書き入力・表示エリアの解像度が異なる端末装置間でコミュニケーションがなされる場合の例を示す図である。
【図４４】本発明の実施の形態にかかるコミュニケーションシステムの端末装置における表示制御部による手書きデータの表示位置の一例を示す図である。
【図４５】本発明の実施の形態にかかるコミュニケーションシステムの端末装置において、コミュニケーション相手の端末装置における表示エリアが表示される例を説明する図である。
【図４６】本発明の実施によるコミュニケーションシステムの特徴を示す図である。
【図４７】本発明の実施の形態にかかるコミュニケーションシステムの端末装置におけるセッション制御部の処理内容を示すフローチャートの一例の後半部である。
【図４８】本発明の実施の形態にかかるセッション制御部を備えた２台の端末装置間で、一方を手書きセッション開始／終了要求の発信側、他方を手書きセッション開始／終了要求の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【図４９】本発明の実施の形態にかかるセッション制御部を備えた２台の端末装置間で、一方を画像送信セッション開始／終了要求の発信側、他方を画像送信セッション開始／終了要求の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【図５０】本発明の実施の形態にかかるセッション制御部を備えた２台の端末装置間で、一方を消去要求／消去終了通知の発信側、他方を消去要求／消去終了通知の受信側とした場合の、各端末装置の動作をわかりやすく簡略化した図である。
【符号の説明】
0201…中央処理装置、0202…記憶装置、0203…音声入力装置、0204…音声出力装置、0205…手書き入力装置、0206…表示装置、0207…設定入力装置、0208…通信制御/入出力装置、0209…二次記憶装置、0301…入力処理部、0302…セッション制御部、0303…音声送信部、0304…音声受信部、0305…画像データ送信制御部、0306…ファイル名送信部、0307…ファイル内容送信部、0308…画像データ受信制御部、0309…ファイル名受信部、0310…ファイル内容受信部、0311…手書きデータ制御部、0312…高速モード手書きデータ送受信部、0313…正確モード手書きデータ送受信部、0314…消去送信部、0315…消去受信部、0316…画像・手書きデータ管理部、0317…表示制御部、0318…保存部、0401…画面、0402…宛先表示エリア、0403…宛先入力ボタン群、0404…手書き入力・表示エリア、0405…水平位置変更スクロールバー、0406…垂直位置変更スクロールバー、0407…通話開始ボタン、0408…通話終了ボタン、0409…手書き開始ボタン、0410…手書き終了ボタン、0411…手書き設定ボタン、0412…画像送信ボタン、0413…消去ボタン、0414…保存ボタン、0415…終了ボタン、0500…手書きモード選択画面、0600…画像送信モード選択画面、0700…消去内容選択画面、0800…保存内容選択画面、1100…音声セッション許可画面、1200…手書きセッション許可画面、1300…画像送信セッション許可画面、1400…消去許可画面

Claims (46)

  1. ネットワークと、
    前記ネットワークに接続され、情報の送受信を行う少なくとも２以上の端末装置を有するコミュニケーションシステムであって、
    前記端末装置は、
    自機器の動作設定、通信相手の端末装置の指定を行う設定入力手段と、
    前記ネットワークを介して端末装置間でデータの送受信を可能とする通信制御/入出力手段と、
    外部の音声を端末装置内に入力する音声入力手段と、
    端末装置内の音声データを外部に出力する音声出力手段と、
    前記設定入力手段を介してユーザから入力された情報を処理する入力処理手段と、
    前記通信制御/入出力手段を介して前記通信相手の端末装置と音声の送受信を行えるようセッションを制御するセッション制御手段と、
    前記音声入力手段を介して入力した音声データを符号化およびパケット化して、前記通信制御/入出力手段を介して前記通信相手の端末装置に送信する音声送信手段と、
    前記通信制御/入出力手段を介して受信した音声データのパケットから符号化された音声データを取得して、復号化した後、音声出力手段を介して音声を出力する音声受信手段と、
    当該端末装置で処理されるデータを格納する記憶手段と、
    データを表示する表示手段と、
    前記設定入力手段と、前記通信制御／入出力手段と、音声入力手段と、前記音声出力手段と、前記記憶手段と、前記表示手段とを接続するバスとを有し、さらに
    ユーザによって入力された手書きデータを取得する手書き入力手段と、
    手書きデータの送受信を制御する手書きデータ制御手段と、
    送信画像を制御する画像データ送信制御手段と、
    受信画像を制御する画像データ受信制御手段と、
    画像と手書きデータを管理する画像・手書きデータ管理手段と、
    前記画像・手書きデータ管理手段からの指示にともづいて画像および手書きデータを表示手段に表示する表示制御手段と、
    を備え、
    前記セッション制御手段はさらに通信制御/入出力手段を介して前記通信相手の端末装置と画像および手書きデータの送受信を行えるようセッションを制御することにより、音声、画像、および手書きデータを用いて、画像を指し示しながら音声通話可能とすることを特徴とするコミュニケーションシステム。
  2. 請求項１に記載のコミュニケーションシステムであって、さらに、
    画像および手書きデータを前記画像・手書きデータ管理手段を介して前記表示手段から消去するとともに消去情報を前記通信相手の端末装置に送信する消去送信手段と、
    前記通信相手の端末装置から送信された消去情報を受信し、その情報に基づいて前記画像・手書きデータ管理手段を介して前記表示手段から画像および手書きデータを消去する消去受信手段と、
    を備え、
    互いに通信を行っている端末装置の前記表示手段に表示されている画像および手書きデータの消去をすることを特徴とするコミュニケーションシステム。
  3. 請求項２のいずれかに記載のコミュニケーションシステムであって、
    前記消去送信手段は、ユーザが消去するオブジェクトとして画像、手書きデータ、あるいは画像と手書きデータの両方のいずれかを選択可能とし、前記消去送信手段は該選択に基づいて指定されたオブジェクトを前記表示手段から消去し、前記通信相手の端末装置に通知し、該通知を受信した端末装置では該通知に基づいて前記表示手段に表示されているオブジェクトを消去することを特徴とするコミュニケーションシステム。
  4. 請求項１乃至請求項３のいずれかに記載のコミュニケーションシステムであって、前記端末装置はさらに、
    前記表示手段に表示されている画像および手書きデータを前記記憶手段に保存する保存手段を備えることを特徴とするコミュニケーションシステム。
  5. 請求項４に記載のコミュニケーションシステムであって、
    前記保存手段は、ユーザが保存するオブジェクトとして画像、手書きデータ、あるいは画像と手書きデータの両方のいずれかを選択可能とし、前記保存手段は該選択に基づいて指定されたオブジェクトを前記記憶手段に保存することを特徴とするコミュニケーションシステム。
  6. 請求項１に記載のコミュニケーションシステムであって、
    前記セッション制御手段は、音声通話、画像および手書きデータ通信を個別に当該端末装置のユーザ操作指示や通信相手の端末装置からの要求・応答信号をイベント情報として、音声データ、画像データおよび手書きデータの通信処理の開始および終了を処理可能とし、前記端末装置の処理能力あるいは通信帯域が不足した場合でも、少なくとも画像送受信、手書きデータ通信、あるいは音声通話のいずれか１つを行うことができることを特徴とするコミュニケーションシステム。
  7. 請求項６に記載のコミュニケーションシステムであって、
    前記セッション制御手段は、画像および／あるいは手書きデータ通信を個別に開始および終了する際、あらかじめ登録されている前記通信相手の端末装置からの画像および／あるいは手書きデータのセッション開始要求の受信に対してユーザの許可を必要とせずに応答送信を行うことを特徴とするコミュニケーションシステム。
  8. 請求項１に記載のコミュニケーションシステムであって、
    前記画像・手書きデータ管理手段は、複数のプレーンを持ち、前記プレーンの内の一つに基本となる画像を表示し、通信中の手書きデータを別のプレーンに表示し、これら複数のプレーンを重ね合わせて表示することを特徴とするコミュニケーションシステム。
  9. 請求項１に記載のコミュニケーションシステムであって、
    前記画像データ送信制御手段および前記画像データ受信制御手段では、前記基本となる画像データについて、画像データに対応づけてファイル名称を設定し、該画像データを示す名称あるいは該画像データのデータ内容のいずれかを選択し、送受信することを特徴とするコミュニケーションシステム。
  10. 請求項９に記載のコミュニケーションシステムであって、
    前記画像データ送信制御手段では、ユーザが画像データの便宜的な名称を送信するか、あるいはデータ内容を送信するか選択可能とし、前記画像データ受信制御手段は、前記画像データ送信制御手段の選択結果に基づいた画像送信モードを受信し、ファイル名送信モードでない場合には、前記通信相手の端末装置の該画像データ送信制御手段で指定された内容を受信して、該受信した内容に基づいて画像を前記表示手段に表示することを特徴とするコミュニケーションシステム。
  11. 請求項１に記載のコミュニケーションシステムであって、
    前記手書きデータ制御手段は、当該端末装置が手書きデータの受信状態に設定されているか判定し、受信状態に設定されていない場合に、前記手書き入力手段により入力された手書きデータが線の始点あるいは終点であるかを判断し、始点であると判断した場合に手書き受信開始要求を送信し、終点であると判断した場合に手書き受信終了要求を送信することで、一方の端末装置で手書きの入力および送信を行っているときには、他方の端末装置は手書き入力および送信を行えないように制御することを特徴とするコミュニケーションシステム。
  12. 請求項１に記載のコミュニケーションシステムであって、
    前記表示制御手段は、前記基本となる画像データと手書きデータの座標系を揃え、手書きデータの指す位置を通信を行っている端末装置間で交換し、一方の端末装置において該手書きデータの指す位置が、他方の端末装置の前記表示手段に表示されないと判断した場合に、前記基本となる画像データと手書きデータが前記他方の端末装置の前記表示手段に表示されるようにスクロールして表示することを特徴とするコミュニケーションシステム。
  13. 請求項１２に記載のコミュニケーションシステムであって、
    前記表示制御手段は、前記手書きデータの指す位置が前記表示手段に表示されないと判断した場合に、該手書きデータの指す位置が該表示手段の中心付近に表示されるように前記基本となる画像データと手書きデータをスクロールして表示することを特徴とするコミュニケーションシステム。
  14. 請求項１３に記載のコミュニケーションシステムであって、
    前記表示制御手段は、前記基本となる画像のボーダーが表示されてしまう場合に、前記基本となる画像のボーダーを前記表示手段の辺に合わせるように表示することを特徴とするコミュニケーションシステム。
  15. 請求項１に記載のコミュニケーションシステムであって、
    前記手書きデータ制御手段は、さらに手書きデータ送受信の開始時に互いの端末装置における前記表示手段の可視表示画像サイズを通知し合い、前記表示制御手段は、前記通信相手の端末装置の前記表示手段において表示されている画像の部分をマーキングして、前記基本となる画像および手書きデータを表示することを特徴とするコミュニケーションシステム。
  16. 請求項１に記載のコミュニケーションシステムであって、
    前記手書き入力手段は、ユーザによって入力された手書きデータのサンプリングを行い、
    前記手書きデータ制御手段は、サンプリングされた手書きデータを動的に決められたサンプリング数毎にチャンクに纏めて送受信することを特徴とするコミュニケーションシステム。
  17. 請求項１６に記載のコミュニケーションシステムであって、
    前記手書きデータ制御手段は、前記端末装置間で前記チャンク毎に受信通知の有無を切り換えることで該チャンクデータの正確な送受信を保証することを特徴とするコミュニケーションシステム。
  18. 請求項１７に記載のコミュニケーションシステムであって、
    前記手書きデータ制御手段は、ユーザからの指定に基づき端末装置間で前記チャンク毎に受信通知の有無を切り換えることを特徴とするコミュニケーションシステム。
  19. 請求項８に記載のコミュニケーションシステムであって、
    前記画像・手書きデータ管理手段は、画像の送受信が行われた場合に、該画像の送受信をトリガとして前記手書き用のプレーンをクリアし、前記表示手段に表示されている手書きデータを消去することを特徴とするコミュニケーションシステム。
  20. 請求項８に記載のコミュニケーションシステムであって、
    前記画像・手書きデータ管理手段は、画像の送受信が行われた場合に、前記画像用のプレーンと前記手書き用のプレーンの大きさを前記送受信した画像の大きさに合わせることを特徴とするコミュニケーションシステム。
  21. 請求項２０に記載のコミュニケーションシステムであって、
    前記画像・手書きデータ管理手段は、前記送受信した画像の大きさが前記表示手段に表示可能な画像のサイズよりも小さい場合には、前記画像用のプレーンと前記手書き用のプレーンの大きさを前記表示手段に表示可能な画像のサイズに合わせることを特徴とするコミュニケーションシステム。
  22. 請求項８に記載のコミュニケーションシステムであって、
    前記手書きデータ制御手段は、前記画像用のプレーンの画像を編集不可能とし、前記手書き用のプレーンにおける手書きデータのみ編集可能とすることを特徴とするコミュニケーションシステム。
  23. 請求項１に記載のコミュニケーションシステムであって、
    前記セッション制御手段は、音声セッションを開始および終了する際、あらかじめ登録されている前記通信相手の端末装置からの音声データの受信を受信側のユーザの許可を必要とせずに行うことを特徴とするコミュニケーションシステム。
  24. ネットワークに接続され、情報の送受信を行う少なくとも２以上の端末装置を有するコミュニケーションシステムにおける端末装置であって、
    自機器の動作設定、通信相手の端末装置の指定を行う設定入力手段と、
    前記ネットワークを介して端末装置間でデータの送受信を可能とする通信制御/入出力手段と、
    外部の音声を端末装置内に入力する音声入力手段と、
    端末装置内の音声データを外部に出力する音声出力手段と、
    前記設定入力手段を介してユーザから入力された情報を処理する入力処理手段と、
    前記通信制御/入出力手段を介して前記通信相手の端末装置と音声の送受信を行えるようセッションを制御するセッション制御手段と、
    前記音声入力手段を介して入力した音声データを符号化およびパケット化して、前記通信制御/入出力手段を介して前記通信相手の端末装置に送信する音声送信手段と、
    前記通信制御/入出力手段を介して受信した音声データのパケットから符号化された音声データを取得して、復号化した後、音声出力手段を介して音声を出力する音声受信手段と、
    当該端末装置で処理されるデータを格納する記憶手段と、
    データを表示する表示手段と、
    前記設定入力手段と、前記通信制御／入出力手段と、音声入力手段と、前記音声出力手段と、前記記憶手段と、前記表示手段とを接続するバスとを有し、さらに
    ユーザによって入力された手書きデータを取得する手書き入力手段と、
    手書きデータの送受信を制御する手書きデータ制御手段と、
    送信画像を制御する画像データ送信制御手段と、
    受信画像を制御する画像データ受信制御手段と、
    画像と手書きデータを管理する画像・手書きデータ管理手段と、
    前記画像・手書きデータ管理手段からの指示にともづいて画像および手書きデータを表示手段に表示する表示制御手段と、
    を備え、
    前記セッション制御手段はさらに通信制御/入出力手段を介して前記通信相手の端末装置と画像および手書きデータの送受信を行えるようセッションを制御することにより、音声、画像、および手書きデータを用いて、画像を指し示しながら音声通話可能とすることを特徴とする端末装置。
  25. 請求項２４に記載の端末装置であって、さらに、
    画像および手書きデータを前記画像・手書きデータ管理手段を介して前記表示手段から消去するとともに消去情報を前記通信相手の端末装置に送信する消去送信手段と、
    前記通信相手の端末装置から送信された消去情報を受信し、その情報に基づいて前記画像・手書きデータ管理手段を介して前記表示手段から画像および手書きデータを消去する消去受信手段と、
    を備え、
    互いに通信を行っている端末装置の前記表示手段に表示されている画像および手書きデータの消去をすることを特徴とする端末装置。
  26. 請求項２５のいずれかに記載の端末装置であって、
    前記消去送信手段は、ユーザが消去するオブジェクトとして画像、手書きデータ、あるいは画像と手書きデータの両方のいずれかを選択可能とし、前記消去送信手段は該選択に基づいて指定されたオブジェクトを前記表示手段から消去し、前記通信相手の端末装置に通知し、該通知を受信した端末装置では該通知に基づいて前記表示手段に表示されているオブジェクトを消去することを特徴とする端末装置。
  27. 請求項２４乃至請求項２６のいずれかに記載の端末装置であって、前記端末装置はさらに、
    前記表示手段に表示されている画像および手書きデータを前記記憶手段に保存する保存手段を備えることを特徴とする端末装置。
  28. 請求項２７に記載の端末装置であって、
    前記保存手段は、ユーザが保存するオブジェクトとして画像、手書きデータ、あるいは画像と手書きデータの両方のいずれかを選択可能とし、前記保存手段は該選択に基づいて指定されたオブジェクトを前記記憶手段に保存することを特徴とする端末装置。
  29. 請求項２４に記載の端末装置であって、
    前記セッション制御手段は、音声通話、画像および手書きデータ通信を個別に当該端末装置のユーザ操作指示や通信相手の端末装置からの要求・応答信号をイベント情報として、音声データ、画像データおよび手書きデータの通信処理の開始および終了を処理可能とし、前記端末装置の処理能力あるいは通信帯域が不足した場合でも、少なくとも画像送受信、手書きデータ通信、あるいは音声通話のいずれか１つを行うことができることを特徴とする端末装置。
  30. 請求項２９に記載の端末装置であって、
    前記セッション制御手段は、画像および／あるいは手書きデータ通信を個別に開始および終了する際、あらかじめ登録されている前記通信相手の端末装置からの画像および／あるいは手書きデータのセッション開始要求の受信に対してユーザの許可を必要とせずに応答送信を行うことを特徴とする端末装置。
  31. 請求項２４に記載の端末装置であって、
    前記画像・手書きデータ管理手段は、複数のプレーンを持ち、前記プレーンの内の一つに基本となる画像を表示し、通信中の手書きデータを別のプレーンに表示し、これら複数のプレーンを重ね合わせて表示することを特徴とする端末装置。
  32. 請求項２４に記載の端末装置であって、
    前記画像データ送信制御手段および前記画像データ受信制御手段では、前記基本となる画像データについて、画像データに対応づけてファイル名称を設定し、該画像データを示す名称あるいは該画像データのデータ内容のいずれかを選択し、送受信することを特徴とする端末装置。
  33. 請求項３２に記載の端末装置であって、
    前記画像データ送信制御手段では、ユーザが画像データの便宜的な名称を送信するか、あるいはデータ内容を送信するか選択可能とし、前記画像データ受信制御手段は、前記画像データ送信制御手段の選択結果に基づいた画像送信モードを受信し、ファイル名送信モードでない場合には、前記通信相手の端末装置の該画像データ送信制御手段で指定された内容を受信して、該受信した内容に基づいて画像を前記表示手段に表示することを特徴とする端末装置。
  34. 請求項２４に記載の端末装置であって、
    前記手書きデータ制御手段は、当該端末装置が手書きデータの受信状態に設定されているか判定し、受信状態に設定されていない場合に、前記手書き入力手段により入力された手書きデータが線の始点あるいは終点であるかを判断し、始点であると判断した場合に手書き受信開始要求を送信し、終点であると判断した場合に手書き受信終了要求を送信することで、端末装置で手書きデータを受信しているときには、手書き入力および送信を行えないように制御することを特徴とする端末装置。
  35. 請求項２４に記載の端末装置であって、
    前記表示制御手段は、前記基本となる画像データと手書きデータの座標系を揃え、手書きデータの指す位置を通信を行っている端末装置間で交換し、一方の端末装置において該手書きデータの指す位置が、他方の端末装置の前記表示手段に表示されないと判断した場合に、前記基本となる画像データと手書きデータが前記他方の端末装置の前記表示手段に表示されるようにスクロールして表示することを特徴とする端末装置。
  36. 請求項３５に記載の端末装置であって、
    前記表示制御手段は、前記手書きデータの指す位置が前記表示手段に表示されないと判断した場合に、該手書きデータの指す位置が該表示手段の中心付近に表示されるように前記基本となる画像データと手書きデータをスクロールして表示することを特徴とする端末装置。
  37. 請求項３６に記載の端末装置であって、
    前記表示制御手段は、前記基本となる画像のボーダーが表示されてしまう場合に、前記基本となる画像のボーダーを前記表示手段の辺に合わせるように表示することを特徴とする端末装置。
  38. 請求項２４に記載の端末装置であって、
    前記手書きデータ制御手段は、さらに手書きデータ送受信の開始時に互いの端末装置における前記表示手段の可視表示画像サイズを通知し合い、前記表示制御手段は、前記通信相手の端末装置の前記表示手段において表示されている画像の部分をマーキングして、前記基本となる画像および手書きデータを表示することを特徴とする端末装置。
  39. 請求項２４に記載の端末装置であって、
    前記手書き入力手段は、ユーザによって入力された手書きデータのサンプリングを行い、
    前記手書きデータ制御手段は、サンプリングされた手書きデータを動的に決められたサンプリング数毎にチャンクに纏めて送受信することを特徴とする端末装置。
  40. 請求項３９に記載の端末装置であって、
    前記手書きデータ制御手段は、前記端末装置間で前記チャンク毎に受信通知の有無を切り換えることで該チャンクデータの正確な送受信を保証することを特徴とする端末装置。
  41. 請求項４０に記載の端末装置であって、
    前記手書きデータ制御手段は、ユーザからの指定に基づき端末装置間で前記チャンク毎に受信通知の有無を切り換えることを特徴とする端末装置。
  42. 請求項３１に記載の端末装置であって、
    前記画像・手書きデータ管理手段は、画像の送受信が行われた場合に、該画像の送受信をトリガとして前記手書き用のプレーンをクリアし、前記表示手段に表示されている手書きデータを消去することを特徴とする端末装置。
  43. 請求項３１に記載の端末装置であって、
    前記画像・手書きデータ管理手段は、画像の送受信が行われた場合に、前記画像用のプレーンと前記手書き用のプレーンの大きさを前記送受信した画像の大きさに合わせることを特徴とする端末装置。
  44. 請求項４３に記載の端末装置であって、
    前記画像・手書きデータ管理手段は、前記送受信した画像の大きさが前記表示手段に表示可能な画像のサイズよりも小さい場合には、前記画像用のプレーンと前記手書き用のプレーンの大きさを前記表示手段に表示可能な画像のサイズに合わせることを特徴とする端末装置。
  45. 請求項３１に記載の端末装置であって、
    前記手書きデータ制御手段は、前記画像用のプレーンの画像を編集不可能とし、前記手書き用のプレーンにおける手書きデータのみ編集可能とすることを特徴とする端末装置。
  46. 請求項２４に記載の端末装置であって、
    前記セッション制御手段は、音声セッションを開始および終了する際、あらかじめ登録されている前記通信相手の端末装置からの音声データの受信を受信側のユーザの許可を必要とせずに行うことを特徴とする端末装置。
JP2003005618A 2003-01-14 2003-01-14 コミュニケーションシステムおよびその端末装置 Expired - Lifetime JP4241053B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003005618A JP4241053B2 (ja) 2003-01-14 2003-01-14 コミュニケーションシステムおよびその端末装置
US10/724,778 US7584431B2 (en) 2003-01-14 2003-12-02 Communication system and terminal units connected thereto

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003005618A JP4241053B2 (ja) 2003-01-14 2003-01-14 コミュニケーションシステムおよびその端末装置

Publications (2)

Publication Number Publication Date
JP2004221842A JP2004221842A (ja) 2004-08-05
JP4241053B2 true JP4241053B2 (ja) 2009-03-18

Family

ID=32709023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003005618A Expired - Lifetime JP4241053B2 (ja) 2003-01-14 2003-01-14 コミュニケーションシステムおよびその端末装置

Country Status (2)

Country Link
US (1) US7584431B2 (ja)
JP (1) JP4241053B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3032827A1 (en) 2014-12-10 2016-06-15 Ricoh Company, Ltd. Image management system, communication terminal, communication system, image management method and recording medium
EP3109814A1 (en) 2015-06-26 2016-12-28 Ricoh Company, Ltd. Management system, communication system, data management method and recording medium

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4455357B2 (ja) * 2005-01-28 2010-04-21 キヤノン株式会社 情報処理装置及び情報処理方法
US7555310B2 (en) * 2005-12-21 2009-06-30 Kyocera Mita Corporation Electronic apparatus and computer readable medium recorded voice operating program
JPWO2007097253A1 (ja) * 2006-02-27 2009-07-09 京セラ株式会社 画像情報共有システム
JP4378519B2 (ja) * 2007-06-29 2009-12-09 シャープ株式会社 情報表示装置
JP5063238B2 (ja) * 2007-07-26 2012-10-31 京セラ株式会社 通信端末装置
JP4683064B2 (ja) * 2008-03-31 2011-05-11 ブラザー工業株式会社 Ｉｐ電話システムおよびｉｐ電話システム用プログラム
US8275105B2 (en) 2008-03-31 2012-09-25 Brother Kogyo Kabushiki Kaisha IP telephone terminal
JP4683065B2 (ja) * 2008-03-31 2011-05-11 ブラザー工業株式会社 Ｉｐ電話システムおよびｉｐ電話システム用プログラム
JP2010118047A (ja) * 2008-10-16 2010-05-27 Sharp Corp 通信端末装置、通信方法、および通信プログラム
JP5347590B2 (ja) * 2009-03-10 2013-11-20 株式会社リコー 画像形成装置、データ管理方法、及びプログラム
JP5360825B2 (ja) * 2009-10-05 2013-12-04 シャープ株式会社 通信端末、通信プログラム、通信方法、およびネットワークシステム
US8531482B2 (en) * 2010-06-25 2013-09-10 Eastman Kodak Company Use of handwritten notations from photographs
CN106534255A (zh) * 2010-10-28 2017-03-22 上海本星电子科技有限公司 通过图像采集启动数据存储设备下载的方法
JP5751228B2 (ja) * 2012-09-05 2015-07-22 コニカミノルタ株式会社 会議支援システム及び制御装置並びに入力端末
US8955075B2 (en) 2012-12-23 2015-02-10 Mcafee Inc Hardware-based device authentication
US9419953B2 (en) 2012-12-23 2016-08-16 Mcafee, Inc. Trusted container
US8850543B2 (en) 2012-12-23 2014-09-30 Mcafee, Inc. Hardware-based device authentication
US9596335B2 (en) * 2013-04-11 2017-03-14 Nec Corporation Communication terminal and communication method
KR102086596B1 (ko) * 2013-07-03 2020-04-14 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 화상형성장치 및 화상형성장치의 전원 공급 방법
JP6190661B2 (ja) * 2013-08-21 2017-08-30 株式会社日立システムズ 入力端末、プログラムおよび入力受付方法
JP6361728B2 (ja) * 2014-02-28 2018-07-25 株式会社リコー 伝送制御システム、伝送システム、伝送制御方法、及び記録媒体
US9864864B2 (en) * 2014-09-23 2018-01-09 Accenture Global Services Limited Industrial security agent platform
US9799049B2 (en) * 2014-12-15 2017-10-24 Nuance Communications, Inc. Enhancing a message by providing supplemental content in the message
US20160170971A1 (en) * 2014-12-15 2016-06-16 Nuance Communications, Inc. Optimizing a language model based on a topic of correspondence messages
JP2016152505A (ja) 2015-02-17 2016-08-22 株式会社リコー 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
US11250217B1 (en) 2015-07-14 2022-02-15 Soundhound, Inc. Conditional responses to application commands in a client-server system
US20210303297A1 (en) * 2020-03-27 2021-09-30 Atlassian Pty Ltd. Systems and methods for remote code review

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0563874A (ja) 1991-08-29 1993-03-12 Shimadzu Corp 手書き通信端末機
JPH0581592A (ja) 1991-09-24 1993-04-02 Shimadzu Corp 手書き通信端末機
JPH05327973A (ja) 1992-05-25 1993-12-10 Matsushita Electric Ind Co Ltd テレライティング端末装置
JP3286396B2 (ja) 1993-01-29 2002-05-27 株式会社リコー テレライティング装置
US7185054B1 (en) * 1993-10-01 2007-02-27 Collaboration Properties, Inc. Participant display and selection in video conference calls
JP2520848B2 (ja) * 1993-10-25 1996-07-31 株式会社エニックス 磁気式面圧入力パネル
JPH08130514A (ja) 1994-11-01 1996-05-21 Matsushita Electric Ind Co Ltd 画像通信端末装置
US6047288A (en) * 1995-07-20 2000-04-04 Canon Kabushiki Kaisha Group environment setting method and system thereof to provide an equivalent environment for plural participants
US6437758B1 (en) * 1996-06-25 2002-08-20 Sun Microsystems, Inc. Method and apparatus for eyetrack—mediated downloading
JPH1079823A (ja) 1996-09-05 1998-03-24 Hitachi Ltd 画像伝送装置
JP3546705B2 (ja) * 1998-07-10 2004-07-28 インターナショナル・ビジネス・マシーンズ・コーポレーション アプリケーション・ウインドウにアノテーション・データを対応付ける方法及び装置、システム、アプリケーション・ウインドウへのアノテーション・データの対応付けを制御するプログラムを格納した記憶媒体
US6466250B1 (en) * 1999-08-09 2002-10-15 Hughes Electronics Corporation System for electronically-mediated collaboration including eye-contact collaboratory
KR100318566B1 (ko) * 1999-10-19 2001-12-28 서호석 화이트보드상에서 명령순서를 이용한 객체에 대한 잠금 장치 및 그 방법
JP2002330244A (ja) 2002-02-13 2002-11-15 Hitachi Ltd 音声画像通信装置
US20030208534A1 (en) * 2002-05-02 2003-11-06 Dennis Carmichael Enhanced productivity electronic meeting system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3032827A1 (en) 2014-12-10 2016-06-15 Ricoh Company, Ltd. Image management system, communication terminal, communication system, image management method and recording medium
US10175928B2 (en) 2014-12-10 2019-01-08 Ricoh Company, Ltd. Image management system, communication terminal, communication system, image management method and recording medium
EP3109814A1 (en) 2015-06-26 2016-12-28 Ricoh Company, Ltd. Management system, communication system, data management method and recording medium
US10298573B2 (en) 2015-06-26 2019-05-21 Ricoh Company, Ltd. Management system, communication system, data management method and recording medium

Also Published As

Publication number Publication date
JP2004221842A (ja) 2004-08-05
US20040139052A1 (en) 2004-07-15
US7584431B2 (en) 2009-09-01

Similar Documents

Publication Publication Date Title
JP4241053B2 (ja) コミュニケーションシステムおよびその端末装置
JP6460228B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2005123804A (ja) コミュニケーションシステム及び方法
US20060167997A1 (en) System, method and computer program product for establishing a conference session and synchronously rendering content during the same
JPH0799540A (ja) 音声と映像と図形解析信号を扱う電話装置及びその作動方法
US20040204068A1 (en) Mobile communication system and method, mobile communication terminal, server apparatus and program
JP4345353B2 (ja) コミュニケーション端末装置
US7277115B2 (en) Communication terminal device capable of transmitting visage information
JP2005328484A (ja) テレビ会議システム、情報処理装置及び情報処理方法並びにプログラム
JP2007174281A (ja) テレビ電話システム、通信端末、中継装置
KR100806354B1 (ko) 이동통신단말기를 이용한 데이터처리 시스템 및 그처리방법
JP2006074453A (ja) テレビ電話・会議システム
JP2000261574A (ja) 携帯用端末装置およびデータ通信システム
JP2006173879A (ja) コミュニケーションシステム
JP4783264B2 (ja) 電子メール作成方法及び通信端末装置
JP2002325238A (ja) 簡易動画送受信システム及び動画送受信方法
JPH09162996A (ja) テレビ会議装置及びテレビ会議システム
WO2005086010A1 (ja) メッセージ伝達システム、メッセージ伝達方法、受信装置、送信装置およびメッセージ伝達プログラム
JP3982307B2 (ja) 文字入力装置
JP2006054781A (ja) 画像データ送信装置および画像データ送受信システム
KR100992679B1 (ko) 이동통신 단말기의 컨텐츠 첨부 방법
JP2004032275A (ja) 文字情報作成システムおよび文字情報作成装置
JP2006033017A (ja) 携帯電話、携帯電話サーバおよび携帯電話システム
JPH07322225A (ja) テレビ電話及びテレビ電話におけるファイル転送方法
JPH09311829A (ja) データ共有システムおよびそれに用いるデータ通信端末

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060104

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4241053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140109

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term