以下、図1乃至図28を用いて、本発明の一実施形態について説明する。
<<実施形態の全体構成>>
図1は、本発明の一実施形態に係る通話システムの概略図である。図1に示されているように、通話システム1は、複数の通話端末(10aa,10ab,…)、各通話端末(10aa,10ab,…)用のディスプレイ(120aa,120ab,…)、複数の印刷端末(20a,20b,20c,20d)、複数の中継装置(30a,30b,30c,30d)、通話管理システム50、プログラム提供システム90、及びメンテナンスシステム100によって構築されている。この通話システム1によって、通話データの一例としての画像データ及び音声データの通信が行われることで、遠隔地間のテレビ会議等を実現することができる。なお、複数のルータ(70a,70b,70c,70d,70ab,70cd)は、通話データの最適な経路の選択を行う。
また、通話端末(10aa,10ab,…)、印刷端末20aa、中継装置30a、及びルータ70aは、LAN2aによって通信可能に接続されている。通話端末(10ba,10bb,…)、印刷端末20ba、中継装置30b、及びルータ70bは、LAN2bによって通信可能に接続されている。また、LAN2a及びLAN2bは、ルータ70abが含まれた専用線2abによって通信可能に接続されている。更に、LAN2a、LAN2b、及び専用線2abは、所定の地域X内で構築されている。例えば、地域Xは日本であり、LAN2aは東京の事業所内で構築されており、LAN2bは大阪の事業所内で構築されている。
一方、通話端末(10ca,10cb,…)、印刷端末20ca、中継装置30c、及びルータ70cは、LAN2cによって通信可能に接続されている。通話端末(10da,10db,…)、印刷端末20da、中継装置30d、及びルータ70dは、LAN2dによって通信可能に接続されている。また、LAN2c及びLAN2dは、ルータ70cdが含まれた専用線2cdによって通信可能に接続されている。更に、LAN2c、LAN2d、及び専用線2cdは、所定の地域Y内で構築されている。例えば、地域Yはアメリカ合衆国であり、LAN2cはニューヨークの事業所内で構築されており、LAN2dはワシントンD.C.の事業所内で構築されている。地域X及び地域Yは、それぞれルータ(70ab,70cd)からインターネット2iを介して通信可能に接続されている。
なお、以下では、「通話管理システム」は単に「管理システム」として表されている。また、複数の通話端末(10aa,10ab,…)のうち任意の通話端末は、「通話端末10」と表され、複数のディスプレイ(120aa,120ab,…)のうち任意のディスプレイは「ディスプレイ120」と表され、複数の印刷端末(20aa,20ba,…)のうち任意の印刷端末は、「印刷端末20」と表され、また、複数の中継装置(30a,30b,…)のうち任意の中継装置は「中継装置30」と表されている。更に、テレビ会議の開始を要求する要求元としての端末は「要求元端末」と表され、要求先である宛先(中継先)としての端末は「宛先端末」と表されている。また、ルータ(70a,70b,70c,70d,70ab,70cd)のうち任意のルータは、「ルータ70」と表されている。
また、管理システム50、プログラム提供システム90、及びメンテナンスシステム100は、インターネット2iに接続されている。なお、管理システム50、プログラム提供システム90、及びメンテナンスシステム100は、地域X又は地域Yに設置されていてもよいし、これら以外の地域に設置されていてもよい。
また、本実施形態では、LAN2a、LAN2b、専用線2ab、インターネット2i、専用線2cd、LAN2c、及びLAN2dによって、本実施形態の通信ネットワーク2が構築されている。この通信ネットワーク2には、有線だけでなく、WiFi(Wireless Fidelity)やBluetooth(登録商標)、TransferJet(登録商標)、NFC等の無線による通信が行われる箇所があってもよい。
また、図1において、通話端末10、印刷端末20、中継装置30、管理システム50、各ルータ70、プログラム提供システム90、及びメンテナンスシステム100の下に示されている4組の数字は、一般的なIPv4におけるIPアドレスを簡易的に示している。例えば、通話端末10aaのIPアドレスは「1.2.1.3」である。また、IPv4ではなく、IPv6を用いてもよいが、説明を簡略化するため、IPv4を用いて説明している。
なお、各通話端末10は、複数の事業所間での通話や、同じ事業所内の異なる部屋間での通話だけでなく、同じ部屋内での通話や、屋外と屋内又は屋外と屋外での通話で使われてもよい。各通話端末10が屋外で使われる場合には、携帯電話通信網等の無線による通信が行われる。
ここで、図1に示されている通話端末10は、通話データの送受信により、利用者の通話を実現する端末であり、例えば、テレビ会議端末である。また、印刷端末20は、所定のデータの一例として、画像データやテキストデータ等の印刷データを用紙に印刷する端末であり、例えば、プリンタ、FAX機、コピー機、又はこれらの機能を複合したMFP(Multifunction Peripheral)である。
また、中継装置30は、複数の通話端末10の間で、通話データの中継を行うコンピュータシステムである。管理システム50は、通話端末10及び印刷端末20からのログイン認証、通話端末10及び印刷端末20の稼動状態や通信状況の管理、宛先リストの管理、及び中継装置30の通信状況等を一元的に管理するコンピュータシステムである。なお、画像データの画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。
プログラム提供システム90は、通話端末10、印刷端末20、中継装置30、管理システム50、メンテナンスシステム100に、それぞれで使用されるプログラムを、通信ネットワーク2を介してそれぞれに提供するコンピュータシステムである。
メンテナンスシステム100は、通話端末10、印刷端末20、中継装置30、管理システム50、及びプログラム提供システム90のうちの少なくとも1つの維持、管理、又は保守を行うためのコンピュータシステムである。例えば、メンテナンスシステム100が国内に設置され、通話端末10、印刷端末20、中継装置30、管理システム50、又はプログラム提供システム90が国外に設置されている場合、メンテナンスシステム100は、通信ネットワーク2を介して遠隔的に、通話端末10、印刷端末20、中継装置30、管理システム50、及びプログラム提供システム90のうちの少なくとも1つの維持、管理、保守等のメンテナンスを行う。また、メンテナンスシステム100は、通信ネットワーク2を介さずに、通話端末10、印刷端末20、中継装置30、管理システム50、及びプログラム提供システム90のうちの少なくとも1つにおける機種番号、製造番号、販売先、保守点検、又は故障履歴の管理等のメンテナンスを行う。
続いて、図2及び図3を用いて、2つの通話端末の間で通話を実現する場合の通信状況について説明する。なお、図2は、通話端末間で通話を実現する場合の通信状況を示す概念図である。
この通話システム1では、通話開始の要求元である要求元端末(通話端末10)と、この要求元端末の通信相手としての宛先端末(通話端末10)との間で、通話のための各種データの送受信が行われる。また、要求元端末(通話端末10)から、この要求元端末の通信相手としての印刷端末20へ印刷データが送信され、印刷端末20で印刷データが用紙に印刷される。通話端末10は主に通話するための機能を有し、印刷端末20は主に印刷するための機能を有するため、それぞれの処理能力は異なっている。
また、要求元端末と管理システム50との間、宛先端末(通話端末10)と管理システム50との間、及び、宛先端末(印刷端末20)と管理システム50との間では、それぞれ各種の管理情報を送受信するための管理用の通信セッションseiが確立される。また、この通信セッションseiは、呼制御用の通信セッションでもある。
また、各通話端末10は、中継装置30を介して、所定の呼制御方式と符号化方式による通信方式を利用して、通話データの通信を行う。
呼制御方式の例としては、(1)SIP(Session Initiation Protocol)、(2)H.323、(3)SIPを拡張したプロトコル、(4)インスタントメッセンジャーのプロトコル、(5)SIPのMESSAGEメソッドを利用したプロトコル、(6)インターネットリレーチャットのプロトコル(IRC(Internet Relay Chat))、(7)インスタントメッセンジャーのプロトコルを拡張したプロトコル等が挙げられる。このうち、(4)インスタントメッセンジャーのプロトコルは、例えば、(4-1)XMPP(Extensible Messaging and Presence Protocol)、又は(4-2)ICQ(登録商標)、AIM(登録商標)、若しくはSkype(登録商標)などで利用されるプロトコルである。また、(7)インスタントメッセンジャーのプロトコルを拡張したプロトコルは、例えば、Jingleである。
符号化方式の例としては、H.264/SVC(Scalable Video Coding)や、H.264/AVC(Advanced Video Coding)等が挙げられる。具体的には、符号化方式がH.264/SVCの場合には、要求元端末としての通話端末10と中継装置30との間では、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音声データの4つの通話データを送受信するための通話用の第1の通信セッションsed1が確立されている。更に、中継装置30と宛先端末としての通話端末10との間では、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音声データの4つの通話データを送受信するための通話用の第2の通信セッションsed2が確立されている。
ここで、図3を用いて、図2に示されている画像データの画像の解像度について説明する。なお、図3は、図2におけるSVCの規格によって送受信される画像データの画質を示す概念図である。
図3(a)に示されているように、横が160画素、縦が120画素から成り、ベース画像となる低解像度の画像と、図3(b)に示されているように、横が320画素、縦が240画素から成る中解像度の画像と、図3(c)に示されているように、横が640画素、縦が480画素から成る高解像度の画像のデータが送受信される。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の画像データのみから成る低画質の画像データが中継装置30によって中継される。帯域が比較的広い場合には、ベース画像となる低解像度の画像データ、及び中解像度の画像データから成る中画質の画像データが、中継装置30によって中継される。また、帯域が非常に広い場合には、ベース画質となる低解像度の画像データ、中画解像度の画像データ、及び高解像度の画像データから成る高画質の画像データが、中継装置30によって中継される。
一方、要求元端末としての通話端末10と、宛先端末としての印刷端末20との間では、中継装置30を介さずに、直接、データの送受信が行われる。なお、管理システム50と宛先端末との間では、SIP(Session Initiation Protocol)による通信セッションseiが確立されている。また、上述したように、呼制御方式はSIP以外の方式であってもよい。
<<実施形態のハードウェア構成>>
次に、本実施形態のハードウェア構成を説明する。図4は、本実施形態に係る通話端末の外観図である。図4に示されているように、通話端末10は、筐体1100、アーム1200、及びカメラハウジング1300を備えている。このうち、筐体1100の前側壁面1110には、複数の吸気孔によって形成された不図示の吸気面が設けられており、筐体1100の後側壁面1120には、複数の排気孔が形成された排気面1121が設けられている。これにより、筐体1100に内蔵された冷却ファンの駆動によって、不図示の吸気面を介して端末10の後方の外気を取り込み、排気面1121を介して端末10の後方へ排気することができる。筐体1100の右側壁面1130には、収音用孔1131が形成され、後述する内蔵型のマイク114によって音声、物音、雑音等の音が収音可能となっている。
筐体1100の右側壁面1130側には、操作パネル1150が形成されている。この操作パネル1150には、後述の複数の操作ボタン(108a〜108e)、後述の電源スイッチ109、及び後述のアラームランプ119が設けられていると共に、後述の内蔵型のスピーカ115からの出力音を通すための複数の音声出力孔によって形成された音出面1151が形成されている。また、筐体1100の左側壁面1140側には、アーム1200及びカメラハウジング1300を収容するための凹部としての収容部1160が形成されている。筐体1100の右側壁面1130には、後述の外部機器接続I/F118に対して電気的にケーブルを接続するための複数の接続口(1132a〜1132c)が設けられている。一方、筐体1100の左側壁面1140には、後述の外部機器接続I/F118に対して電気的にディスプレイ120用のケーブル120cを接続するための不図示の接続口が設けられている。
なお、以下では、操作ボタン(108a〜108e)のうち任意の操作ボタンを示す場合には「操作ボタン108」を用い、接続口(1132a〜1132c)のうち任意の接続口を示す場合には「接続口1132」を用いて説明する。
次に、アーム1200は、トルクヒンジ1210を介して筐体1100に取り付けられており、アーム1200が筐体1100に対して、135度のチルト角θ1の範囲で、上下方向に回転可能に構成されている。図4は、チルト角θ1が90度の状態を示している。カメラハウジング1300には、後述の内蔵型のカメラ112が設けられており、利用者、書類、及び部屋等を撮像することができる。また、カメラハウジング1300には、トルクヒンジ1310が形成されている。カメラハウジング1300は、トルクヒンジ1310を介して、アーム1200に取り付けられている。そして、カメラハウジング1300は、トルクヒンジ1310を介してアーム1200に取り付けられており、カメラハウジング1300がアーム1200に対して、図4で示されている状態を0度として±180度のパン角θ2の範囲で、且つ、±45度のチルト角θ3の範囲で、上下左右方向に回転可能に構成されている。
なお、中継装置30、管理システム50、プログラム提供システム90、及びメンテナンスシステム100は、それぞれ一般のサーバ・コンピュータの外観と同じであるため、外観の説明を省略する。
図5は、本実施形態に係る通話端末のハードウェア構成図である。図5に示されているように、本実施形態の通話端末10は、通話端末10全体の動作を制御するCPU(Central Processing Unit)101、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶したROM(Read Only Memory)102、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103、通話端末10用のプログラム、画像データ、及び音声データ等の各種データを記憶するフラッシュメモリ104、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し又は書き込みを制御するSSD(Solid State Drive)105、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107、通話端末10の宛先を指定する場合などに操作される操作ボタン108、通話端末10の電源のON/OFFを切り換えるための電源スイッチ109、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F(Interface)111を備えている。
また、通話端末10は、CPU101の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ112、このカメラ112の駆動を制御する撮像素子I/F113、音声を入力する内蔵型のマイク114、音声を出力する内蔵型のスピーカ115、CPU101の制御に従ってマイク114及びスピーカ115との間で音声信号の入出力を処理する音声入出力I/F116、CPU101の制御に従って外付けのディスプレイ120に画像データを伝送するディスプレイI/F117、各種の外部機器を接続するための外部機器接続I/F118、通話端末10の各種機能の異常を知らせるアラームランプ119、及び上記各構成要素を図5に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
ディスプレイ120は、被写体の画像や操作用等を表示する液晶や有機ELによって構成された表示部である。また、ディスプレイ120は、ケーブル120cによってディスプレイI/F117に接続される。このケーブル120cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)やDVI(Digital Video Interactive)信号用のケーブルであってもよい。
カメラ112は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)や、CCD(Charge Coupled Device)等が用いられる。
外部機器接続I/F118には、図4に示されている筐体1100の接続口1132に差し込まれたUSB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ電気的に接続可能である。外付けカメラが接続された場合には、CPU101の制御に従って、内蔵型のカメラ112に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU101の制御に従って、それぞれが内蔵型のマイク114や内蔵型のスピーカ115に優先して、外付けマイクや外付けスピーカが駆動する。
なお、記録メディア106は、通話端末10に対して着脱自在な構成となっている。また、CPU101の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ104に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
次に、図6を用いて、印刷端末20のハードウェア構成を説明する。なお、図6は、本実施形態に係る印刷端末20のハードウェア構成図である。この場合の印刷端末20は、MFPである。
図6に示されているように、印刷端末20は、コントローラ210、FCU(Fax Control Unit)220、エンジン制御部230、操作面240、及び通信インターフェース部250によって構成されている。このうち、エンジン制御部230は、スキャナ部231及びプリンタ部232によって構成されている。また、操作面240は、現在の設定値や選択画面等を表示させ、操作者からの入力を受け付けるタッチパネル等のパネル表示部240a、並びに、濃度の設定条件などの画像形成に関する条件の設定値を受け付けるテンキー及びコピー開始指示を受け付けるスタートキー等からなる操作部240bを備えている。コントローラ210は、印刷端末20全体の制御を行い、例えば、描画、通信、操作面240からの入力等を制御する。スキャナ部231又はプリンタ部232には、誤差拡散やガンマ変換などの画像処理部分が含まれている。
なお、印刷端末20は、操作面240のアプリケーション切り替えキーにより、ドキュメントボックス機能、コピー機能、プリンタ機能、およびファクシミリ機能を順次に切り替えて選択することが可能となる。ドキュメントボックス機能の選択時にはドキュメントボックスモードとなり、コピー機能の選択時にはコピーモードとなり、プリンタ機能の選択時にはプリンタモードとなり、ファクシミリモードの選択時にはファクシミリモードとなる。
コントローラ210は、コンピュータの主要部であるCPU201、システムメモリ(MEM−P)202、ノースブリッジ(NB)203、サウスブリッジ(SB)204、ASIC(Application Specific Integrated Circuit)206、記憶部であるローカルメモリ(MEM−C)207、HDD208、及び、記憶部であるHD209を有し、NB203とASIC206との間をAGP(Accelerated Graphics Port)バス205で接続した構成となっている。
このうち、CPU201は、印刷端末20の全体制御を行う制御部である。NB203は、CPU201と、MEM−P202、SB204、及びAGPバス205とを接続するためのブリッジであり、MEM−P202に対する読み書きなどを制御するメモリコントローラと、PCI(Peripheral Component Interconnect)マスタ及びAGPターゲットとを有する。
MEM−P202は、コントローラ210の各機能を実現させるプログラムやデータの格納用メモリであるROM202a、プログラムやデータの展開、及びメモリ印刷時の描画用メモリなどとして用いるRAM202bとからなる。なお、RAM202bに記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、FD、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
SB204は、NB203とPCIデバイス、周辺デバイスとを接続するためのブリッジである。ASIC206は、画像処理用のハードウェア要素を有する画像処理用途向けのIC(Integrated Circuit)であり、AGPバス205、PCIバス、HD208およびMEM−C207をそれぞれ接続するブリッジの役割を有する。このASIC206は、PCIターゲットおよびAGPマスタ、ASIC206の中核をなすアービタ(ARB)、MEM−C207を制御するメモリコントローラ、ハードウェアロジックなどにより画像データの回転などを行う複数のDMAC(Direct Memory Access Controller)、並びに、スキャナ部231及びプリンタ部232との間でPCIバスを介したデータ転送を行うPCIユニットとからなる。このASIC206には、PCIバスを介してFCU220が接続されている。なお、ASIC206には、FCU220だけでなく、USB(Universal Serial Bus)のインターフェースや、IEEE1394(Institute of Electrical and Electronics Engineers 1394)のインターフェースを接続するようにしてもよい。
MEM−C207は、コピー用画像バッファ及び符号バッファとして用いるローカルメモリである。HD209は、画像データの蓄積、印刷時に用いるフォントデータの蓄積、フォームの蓄積を行うためのストレージである。HD209は、CPU201の制御にしたがってHD209に対するデータの読出又は書込を制御する。AGPバス205は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインタフェースであり、MEM−P202に高スループットで直接アクセスすることにより、グラフィックスアクセラレータカードを高速にすることができる。
図7は、本実施形態に係る管理システムのハードウェア構成図である。管理システム50は、管理システム50全体の動作を制御するCPU501、IPL等のCPU501の駆動に用いられるプログラムを記憶したROM502、CPU501のワークエリアとして使用されるRAM503、管理システム50用のプログラム等の各種データを記憶するHD504、CPU501の制御にしたがってHD504に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)505、フラッシュメモリ等の記録メディア506に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ507、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ508、通信ネットワーク2を利用してデータ通信するためのネットワークI/F509、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード511、各種選択又は指定の実行及びカーソルの移動などを行うマウス512、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)513に対する各種データの読み出し又は書き込みを制御するCD−ROMドライブ514、及び、上記各構成要素を図7に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン510を備えている。
一方、中継装置30、プログラム提供システム90、及びメンテナンスシステム100は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、各HD504には、中継装置30、プログラム提供システム90、及びメンテナンスシステム100をそれぞれ制御するためのプログラム等の各種データが記憶されている。
なお、通話端末10、印刷端末20、中継装置30、プログラム提供システム90、及びメンテナンスシステム100用の各プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録媒体(記録メディア106等)に記録されて流通されるようにしてもよい。また、上記記録媒体の他の例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。
<<実施形態の機能構成>>
次に、本実施形態の機能構成について説明する。図8は、本実施形態の通話システム1の一部を構成する通話端末10、印刷端末20、及び管理システム50の機能ブロック図である。図8では、通話端末10、印刷端末20、及び管理システム50が、通信ネットワーク2を介してデータ通信することができるように接続されている。
<通話端末の機能構成>
通話端末10は、送受信部11、操作入力受付部12、撮像部13、キャプチャ部14、音声入力部15a、音声出力部15b、表示制御部16、判断部17a、変換部17b、宛先リスト作成部18、及び記憶・読出処理部19を有している。これら各部は、図5に示されている各構成要素のいずれかが、フラッシュメモリ104からRAM103上に展開された通話端末10用のプログラムに従ったCPU101からの命令によって動作することで実現される機能又は手段である。
また、通話端末10は、図5に示されているRAM103、及び図5に示されているフラッシュメモリ104によって構築される記憶部1000を有している。この記憶部1000には、後述の視覚情報管理テーブルによって構成されている視覚情報管理DB(Data Base)1001が構築される。
(視覚情報管理テーブル)
図9は、視覚情報管理テーブルを示す概念図である。視覚情報管理テーブルでは、端末の種類を示す種類情報、宛先端末の稼動状態を示す稼動状態情報、及びディスプレイ120に表示される宛先リストで表す視覚情報が関連付けられて管理される。各視覚情報は、例えば、図9に示されているような形態の各種アイコンである。視覚情報管理テーブルを構成する各視覚情報は、要求元端末が後述のステップS22によってログイン要求した際に、管理システム50から送られてきてもよいし、要求元端末の工場出荷前に記憶部1000に記憶されるようにしてもよい。
端末が通話端末10の場合には、例えば、稼動状態が4種類あり、オンライン(通話可能)、オンライン(通話中)、オンライン(一時中断)、及びオフラインである。また、端末が印刷端末20の場合には、例えば、稼動状態が2種類あり、オンライン、及びオフラインである。
なお、通話端末10の稼動状態は、オンラインとオフラインの2種類であってもよい。また、印刷端末20の稼動状態は、オンライン(印刷可能)、オンライン(印刷中)、オンライン(一時中断)、及びオフラインの4種類であってもよい。更に、通話端末10及び印刷端末の稼動状態は、3種類であってもよいし、5種類以上であってもよい。
(通話端末の各機能構成)
次に、図5及び図8を用いて、通話端末10の各機能構成について詳細に説明する。なお、以下では、通話端末10の各機能構成を説明するにあたって、図5に示されている各構成要素のうち、通話端末10の各機能構成を実現させるための主な構成要素との関係も説明する。
図8に示されている通話端末10の送受信部11は、図5に示されているCPU101からの命令、及び図5に示されているネットワークI/F111によって実現され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。この送受信部11は、所望の宛先端末と通話を開始する前から、管理システム50より、通信相手の候補としての各端末の状態を示す各状態情報の受信を開始する。
更に、送受信部11は、上記電源オンの受け付けを契機とし、通信ネットワーク2を介して管理システム50に、ログインを要求する旨を示すログイン要求情報、及び要求元端末の現時点のIPアドレスを自動的に送信する。また、利用者が電源スイッチ109をONの状態からOFFにすると、送受信部11が管理システム50へ電源をOFFする旨の状態情報を送信した後に、操作入力受付部12が電源を完全にOFFにする。これにより、管理システム50側では、通話端末10が電源オンから電源オフになったことを把握することができる。なお、ログインの要求は電源オンが契機ではなく、通話端末10に対する利用者の指示入力を契機としてもよい。
操作入力受付部12は、図5に示されているCPU101からの命令、並びに図4に示されている操作ボタン108及び電源スイッチ109によって実現され、利用者による各種入力を受け付ける。例えば、利用者が、図4に示されている電源スイッチ109をONにすると、図8に示されている操作入力受付部12が電源オンを受け付けて、電源をONにする。
撮像部13は、図5に示されているCPU101からの命令、並びに図5に示されているカメラ112及び撮像素子I/F113によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。
キャプチャ部14は、図5に示されているCPU101からの命令によって実現され、操作入力受付部12が、利用者によって後述の図19に示されている「Capture」ボタンが押下されたことを受け付けると、撮像部13によって撮像中の被写体の画像や画面に表示されている画像をキャプチャする。
音声入力部15aは、図5に示されているCPU101からの命令、及び図5に示されている音声入出力I/F116によって実現され、マイク114によって利用者の音声が音声信号に変換された後、この音声信号に係る音声データを入力する。音声出力部15bは、図5に示されているCPU101からの命令、及び図5に示されている音声入出力I/F116によって実現され、音声データに係る音声信号をスピーカに出力し、スピーカ115から音声を出力させる。
表示制御部16は、図5に示されているCPU101からの命令、及び図5に示されているディスプレイI/F117によって実現され、後述のように、受信された解像度の異なる画像データを組み合わせ、この組み合わされた画像データをディスプレイ120に送信するための制御を行う。また、表示制御部16は、管理システム50から受信した宛先リストの情報をディスプレイ120に送信して、ディスプレイ120に宛先リストを表示させることができる。
また、表示制御部16は、送受信部11によって受信された、各通話端末10のそれぞれの稼動状態情報で示される稼動状態を、後述の図18に示されている各特定情報P21等に対応して視覚的にアイコンで表示させる。同じく、表示制御部16は、送受信部11によって受信された、各印刷端末20のそれぞれの稼動状態情報で示される稼動状態を、後述の図24に示されている各特定情報P41等に対応して視覚的にアイコンで表示させる。
判断部17aは、図5に示されているCPU101からの命令によって実現され、後述の応答情報に基づいて、エラー無しか否かを判断する。また、判断部17aは、キャプチャ部14によってキャプチャされた時点の画像データのフォーマットと、応答情報で示される宛先端末(印刷端末20)で印刷可能な画像データのフォーマットとを比較し、宛先端末(印刷端末20)に送信する予定の画像データのフォーマットを変換する必要があるかを判断する。
変換部17bは、図5に示されているCPU101からの命令によって実現され、印刷端末20の処理能力を示す能力情報が送受信部11によって受信された場合に、この能力情報に従って、キャプチャ部14によってキャプチャされた画像データを変換する。例えば、能力情報は、印刷端末20で処理可能な画像データのビット数を示し、変換部17bは、キャプチャされた画像データを、印刷端末20で処理可能なビット数の画像データに変換する。具体的には、変換部17bは、24ビットのカラーの画像データを、8ビットのグレースケールの画像データに変換する。また、能力情報は、印刷端末20で処理可能なデータの符号化方式を示し、変換部17bは、キャプチャ部14によってキャプチャされた画像データを、印刷端末20で処理可能な符号化方式に変換する。具体的には、変換部17bは、TIFF、PostScript、PDF、又はJPEGに係る符号化方式に変換する。
宛先リスト作成部18は、管理システム50から受信した、後述の宛先リスト情報及び各通信相手の候補としての通話端末10の状態情報に基づいて、図18に示されているような通信相手の候補の状態が視覚的にアイコンで示された宛先リスト画面P20の作成及び更新を行う。また、宛先リスト作成部18は、管理システム50から受信した、後述の宛先リスト情報及び各通信相手の候補としての印刷端末20の状態情報に基づいて、図24に示されているような通信相手の候補の状態がアイコンで示された宛先リスト画面P40の作成及び更新を行う。なお、図24は、宛先リスト画面を示した概念図である。
記憶・読出処理部19は、図5に示されているCPU101からの命令及び図5に示すSSD105によって実行され、又はCPU101からの命令によって実現され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。この記憶部1000には、通話端末10を識別するための端末ID(Identification)、及びパスワード等が記憶される。例えば、送受信部11によって管理システム50から受信した稼動状態情報を検索キーとして、後述の視覚情報管理テーブル(図10参照)を検索することにより、対応する視覚情報を抽出する。
更に、記憶部1000には、宛先端末との通話を行う際に受信される画像データ及び音声データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ120に画像が表示され、上書きされる前の音声データによってスピーカ115から音声が出力される。
なお、本実施形態の端末ID及び後述の中継装置IDは、それぞれ端末10及び中継装置30を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報を示す。また、端末ID及び中継装置IDは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも2つが組み合わされた識別情報であってもよい。
<印刷端末の機能構成>
印刷端末20は、送受信部21、印刷部22、記憶・読出処理部29を有している。これら各部は、図6に示されている各構成要素のいずれかが、RAM102b上に展開された印刷端末20用のプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。
また、印刷端末20は、図6に示されているRAM102b、及び図6に示されているHD209によって構築される記憶部2000を有している。この記憶部2000には、通話端末10から送られて来た画像データが記憶される。
上記各機能構成のうち、送受信部21は、図6に示されているCPU201からの命令、及び図6に示されているネットワークI/F250によって実現され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。
印刷部22は、図6に示されているCPU201からの命令、及び図6に示されているプリンタ部232によって実現され、記憶部1000に記憶されている画像データを用紙に印刷する。
記憶・読出処理部29は、図6に示されているCPU201からの命令及び図6に示すHDD108等によって実行され、又はCPU201からの命令によって実現され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。
<管理システムの機能構成>
管理システム50は、送受信部51、端末認証部52、状態管理部53、判断部54、セッション管理部55、及び記憶・読出処理部59を有している。これら各部は、図8に示されている各構成要素のいずれかが、HD504からRAM203上に展開された管理システム50用のプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、管理システム50は、図8に示されているHD204により構築される記憶部を有している。この記憶部2000には、以下に示すような各テーブルによって構成されているDB(5001,5002,5003,5004,5005,5006)が構築される。
(中継装置管理テーブル)
図10は、中継装置管理テーブルを示す概念図である。記憶部5000には、図10に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5001が構築されている。この中継装置管理テーブルでは、各中継装置30の中継装置ID毎に、各中継装置30の稼動状態、稼動状態が示される状態情報が管理システム50で受信された受信日時、中継装置30のIPアドレス、及び中継装置30における最大データ通話速度(Mbps)が関連付けられて管理される。例えば、図10に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置30aは、稼動状態が「オンライン」で、管理システム50で状態情報が受信された日時が「2013年02月10日の13時42分」で、この中継装置30aのIPアドレスが「1.2.1.2」で、この中継装置30aにおける最大データ通話速度が100Mbpsであることが示されている。
(端末認証管理テーブル)
図11は、端末認証管理テーブルを示す概念図である。記憶部5000には、図11に示されているような端末認証管理テーブルによって構成されている端末認証管理DB5002が構築されている。この端末認証管理テーブルでは、管理システム50によって管理される全ての端末10の各端末IDに対して、認証用のパスワードが関連付けられて管理される。例えば、図11に示されている端末認証管理テーブルにおいて、端末10aaの端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。
(端末状態管理テーブル)
図12は、端末状態管理テーブルを示す概念図である。記憶部5000には、図12に示されているような端末状態管理テーブルによって構成されている端末状態管理DB5003が構築されている。この端末状態管理テーブルでは、各通話端末10及び各印刷端末20の端末ID毎に、端末の種類、各端末を宛先とした場合の宛先名、各端末の稼動状態、後述のログイン要求情報が管理システム50で受信された受信日時、及び各端末のIPアドレスが関連付けられて管理される。例えば、図12に示されている端末状態管理テーブルにおいて、端末IDが「01aa」の通話端末10aaは、宛先名が「日本 東京事業所 AA端末」で、稼動状態が「オンライン(通話可能)」で、管理システム50でログイン要求情報が受信された日時が「2013年02月10日の13時40分」で、この通話端末10aaのIPアドレスが「1.2.1.3」であることが示されている。なお、端末ID、端末の種類、及び宛先名は、各通話端末10及び印刷端末20が、通話システム1を利用して通信するために、管理システム50に登録される際に、記憶されて管理される。
(宛先リスト管理テーブル)
図13は、宛先リスト管理テーブルを示す概念図である。記憶部5000には、図13に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5004が構築されている。この宛先リスト管理テーブルでは、通話の開始を要求する要求元端末の端末IDに対して、通信相手の候補として登録されている宛先端末の端末IDが全て関連付けられて管理される。例えば、図13に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である要求元端末(端末10aa)から通話の開始を要求することができる通信相手の候補は、端末IDが「01ab」の端末10ab等であることが示されている。この通信相手の候補は、任意の要求元端末から管理システム50に対する追加又は削除の要請により、追加又は削除されることで更新される。
(セッション管理テーブル)
図14は、セッション管理テーブルを示す概念図である。記憶部5000には、図14に示されているようなセッション管理テーブルによって構成されているセッション管理DB5005が構築されている。このセッション管理テーブルでは、通話データ(画像データ及び音声データ)の中継に使用される中継装置30の中継装置ID、要求元端末の端末ID、宛先端末の端末ID、宛先端末において画像データが受信される際の受信の遅延時間(ms)、及びこの遅延時間を示す遅延時間情報を宛先端末から送られて来て管理システム50で受信された受信日時が関連付けられて管理される。
例えば、図14に示されているセッション管理テーブルにおいて、中継装置30a(中継装置ID「111a」)は、端末IDが「01aa」の要求元端末(端末10aa)と、端末IDが「01ca」の宛先端末(端末10da)との間で、画像データ及び音声データを中継しており、宛先端末(端末10ca)において「2013年02月10日の13時50分」時点における画像データの遅延時間が200(ms)であることが示されている。なお、2つの通話端末10の間で通話を行う場合には、上記宛先端末ではなく要求元端末から送信されてきた遅延時間情報に基づいて、遅延時間情報の受信日時を管理してもよい。但し、3つ以上の通話端末10の間で通話を行う場合には、画像データ及び音声データの受信側の端末10から送信されてきた遅延時間情報に基づいて、遅延時間情報の受信日時を管理する。
(能力管理テーブル)
図15は、能力管理テーブルを示す概念図である。記憶部5000には、図15に示されているような能力管理テーブルによって構成されているセッション管理DB5006が構築されている。この能力管理テーブルでは、印刷端末20の端末IDと、各印刷端末20で処理可能な能力を示す能力情報とが関連付けられて管理される。また、能力情報には、各印刷端末20で印刷可能な色と、印刷可能な画像フォーマットが含まれている。
(管理システムの各機能構成)
次に、管理システム50の各機能構成について詳細に説明する。なお、以下では、管理システム50の各機能構成を説明するにあたって、図7に示されている各構成要素のうち、管理システム50の各機能構成を実現させるための主な構成要素との関係も説明する。
送受信部51は、図7に示されているCPU201からの命令、及び図7に示されているネットワークI/F509によって実行され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。
端末認証部52は、図7に示されているCPU501からの命令によって実現され、送受信部51を介して受信されたログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、端末認証管理テーブル(図11参照)を検索し、この端末認証管理テーブルに同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う。
状態管理部53は、図7に示されているCPU501からの命令によって実現され、ログイン要求してきた要求元端末の稼動状態を管理すべく、端末状態管理テーブル(図12参照)に、この要求元端末の端末ID、要求元端末の稼動状態、管理システム50でログイン要求情報が受信された受信日時、及び要求元端末のIPアドレスを関連付けて記憶して管理する。また、状態管理部53は、通話端末10又は印刷端末20から送られてきた、電源をOFFする旨の状態情報に基づいて、端末状態管理テーブル(図12参照)のオンラインを示す稼動状態をオフラインに変更する。
判断部54は、図7に示されているCPU501からの命令によって実現され、稼動状態情報で示される稼動状態が「オンライン」であるか否かを判断する。更に、判断部54は、「オンライン」と判断した場合には、所定の通話端末10に対して、稼動状態情報を送信可能と判断し、「オンライン」ではないと判断した場合には、所定の通話端末10に対して、稼動状態情報を送信不可と判断する。
セッション管理部55は、図7に示されているCPU501からの命令によって実現され、記憶部5000のセッション管理テーブル(図14参照)に、通話データの中継に使用される中継装置30の中継装置ID、要求元端末の端末ID、宛先端末の端末ID、宛先端末において画像データが受信される際の受信の遅延時間(ms)、及びこの遅延時間が示されている遅延時間情報を宛先端末から送られて来て管理システム50で受信された受信日時が関連付けて記憶して管理する。また、セッション管理部55は、通信セッションを確立するために使用されるセッションIDを作成する。
記憶・読出処理部59は、図7に示されているCPU501からの命令、及び図7に示されているHDD505によって実行され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出す処理を行う。
<<実施形態の処理または動作>>
続いて、図4、図8、及び図16乃至図28を用いて、本実施形態の処理または動作について説明する。なお、以下では、印刷データの一種としての静止画の画像データが、印刷端末20に送信されて印刷される場合について説明する。また、図15は、通話端末間で通話を開始する準備段階の処理を示すシーケンス図である。
図16に示されているように、まず、要求元端末(通話端末10aa)の利用者が、図4に示されている電源スイッチ109をONにすると、図8に示されている操作入力受付部12が電源オンを受け付けて、電源をONにする(ステップS21)。そして、送受信部11は、上記電源オンの受け付けを契機とし、通信ネットワーク2を介して管理システム50に、ログイン要求を示すログイン要求情報を送信する(ステップS22)。このログイン要求情報には、要求元端末である端末10aaを識別するための端末ID、及びパスワードが含まれている。これら端末ID、及びパスワードは、記憶・読出処理部19を介して記憶部1000から読み出されて、送受信部11に送られたデータである。
なお、要求元端末(端末10aa)から管理システム50へログイン要求情報が送信される際は、受信側である管理システム50は、送信側である端末10aaのIPアドレスを把握することができる。また、ログイン要求は、上述のように、電源オンではなく、利用者の指示入力を契機としてもよい。更に、端末ID及びパスワードは、要求元端末に対して利用者が入力できるようにしてもよい。
次に、管理システム50の端末認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、端末認証管理テーブル(図11参照)を検索し、この端末認証管理テーブルに同一の端末ID及び同一のパスワードが管理されているかを判断することによって端末認証を行う(ステップS23)。この端末認証部52によって、同一の端末ID及び同一のパスワードが管理されているため、正当な利用権限を有する通話端末10からのログイン要求であると判断された場合には、状態管理部53は、端末状態管理テーブル(図12参照)に、通話端末10aaの端末ID、端末の種類及び宛先名で示されるレコード毎に、稼動状態、上記ログイン要求情報が受信された受信日時、及び端末10aaのIPアドレスを関連付けて記憶する(ステップS24)。これにより、端末状態管理テーブルには、端末ID「01aa」に、稼動状態「オンライン」、受信日時「2013.02.10.13:40」及び端末IPアドレス「1.2.1.3」が関連付けて管理されることになる。
そして、管理システム50の送受信部51は、上記端末認証部52によって得られた認証結果が示された認証結果情報を、通信ネットワーク2を介して、上記ログイン要求してきた要求元端末(通話端末10aa)に送信する(ステップS25)。本実施形態では、端末認証部52によって正当な利用権限を有する端末であると判断された場合につき、以下続けて説明する。
管理システム50の記憶・読出処理部59は、ログイン要求してきた要求元端末(通話端末10aa)の端末ID「01aa」に基づいて宛先リスト管理テーブル(図13参照)を検索することにより、上記要求元端末(通話端末10aa)の端末ID「01aa」を通信相手の候補として登録している他の要求元端末の端末IDを抽出する(ステップS26)。ここでは、説明の簡略化のため、ステップS26で抽出された端末IDが、通話端末10caの端末ID「01ca」の場合について、以下続けて説明する。
次に、管理システム50の記憶・読出処理部59は、上記ログイン要求して来た要求元端末(通話端末10aa)の端末ID「01aa」を検索キーとして、端末状態管理テーブル(図12参照)を検索し、ログイン要求してきた要求元端末(通話端末10aa)の稼動状態を抽出する(ステップS27)。
次に、送受信部51は、端末10caに対して、要求元端末(通話端末10aa)の端末ID「01aa」と、要求元端末(通話端末10aa)の稼動状態を示した稼動状態情報とが含まれた「端末の状態情報」を送信する(ステップS28)。これにより、通話端末10caの送受信部11は、端末の状態情報を受信する。よって、通話端末10caでは、後述のステップS28の処理と同様に、通話端末10aaの最新の稼動状態が反映された宛先リストが作成され、ディスプレイ120baに表示される。
続いて、ステップS25の処理後、宛先リスト画面を表示するまでの処理について、図17及び図18を用いて説明する。なお、図17は、宛先リストを表示する処理を示したシーケンス図である。また、図18は、宛先リスト画面を示す概念図である。
まず、要求元端末(通話端末10aa)では、上記ステップS25によって、正当な利用権限を有する端末であると判断された結果が示された認証結果情報を受信すると、送受信部11が通信ネットワーク2を介して管理システム50へ、宛先リストを要求する旨が示された宛先リスト要求情報を送信する(ステップS41)。これにより、管理システム50の送受信部51は、宛先リスト要求情報を受信する。
次に、管理システム50の記憶・読出処理部59は、ログイン要求した要求元端末(通話端末10aa)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図13参照)を検索し、要求元端末(通話端末10aa)と通話することができる通信相手の候補の端末IDを抽出すると共に、この端末IDを検索キーとして、端末状態管理テーブル(図12参照)を検索し、対応する種類情報及び宛先名情報を抽出する(ステップS42)。ここでは、説明の簡略化のため、通信相手の候補の通話端末10として、通話端末10caの端末IDを抽出した場合について、以下続けて説明する。
次に、記憶・読出処理部59は、記憶部5000から宛先リスト枠のデータを読み出す(ステップS43)。そして、送受信部51は、宛先リスト枠並びに上記ステップS42によって抽出された端末ID、種類情報及び宛先名情報を含めた「宛先リスト情報(宛先リスト枠、端末ID、種類情報、宛先名)」を、要求元端末(通話端末10aa)に送信する(ステップS44)。これにより、要求元端末(通話端末10aa)では、送受信部11が宛先リスト情報を受信する。
次に、要求元端末(通話端末10aa)の記憶・読出処理部19は、記憶部1000へ宛先リスト情報を記憶する(ステップS45)。
このように、本実施形態では、各通話端末10で宛先リスト情報を管理するのではなく、管理システム50が全ての通話端末10及び印刷端末20の宛先リスト情報を一元管理している。よって、通話システム1で新たな通話端末10又は印刷端末20が利用されるようになったり、既に利用されている通話端末10又は印刷端末20に替えて新機種の通話端末10又は印刷端末20を含めるようになったり、宛先リスト枠の見栄え等を変更することになった場合でも、管理システム50側で一括して対応するため、各通話端末10側で宛先リスト情報の変更を行う手間を省くことができる。
続いて、管理システム50側では、記憶・読出処理部59が、通信相手の候補の通話端末10及び印刷端末20の稼動状態を抽出する(ステップS46)。
次に、送受信部51は、上記ステップS42で使用された検索キーとしての端末ID「01ca」と、対応する宛先端末(端末10ca)の稼動状態「オフライン」とが含まれた「端末の状態情報」を、通信ネットワーク2を介して要求元端末(端末10aa)に送信する(ステップS47)。なお、送受信部51が、要求元端末(端末10aa)に対して、この要求元端末(端末10aa)自体の端末IDと稼動状態を示す「端末の状態情報」を送信するようにしてもよい。
次に、要求元端末(端末10aa)の記憶・読出処理部19は、順次、管理システム50から受信した通話端末10及び印刷端末20の状態情報を記憶部1000に記憶する(ステップS48)。よって、要求元端末(端末10aa)は、各状態情報を受信することで、要求元端末(端末10aa)と通話することができる他の通話端末10の現時点の稼動情報を取得することができると共に、要求元端末(端末10aa)からの印刷要求を受け付けることができる印刷端末20の現時点の稼動状態を取得することができる。
次に、要求元端末(端末10aa)の宛先リスト作成部18は、利用者が通信相手の候補としての通話端末10を指定することができるように、図18に示されるように、通信相手の候補を特定するための特定情報が含まれた宛先リストを作成する(ステップS49)。この場合、宛先リスト作成部18は、記憶部1000に記憶されている宛先リスト情報、及び端末の状態情報に基づいて、通信相手の候補としての通話端末10の状態を反映させた各特定情報を作成する。また、ここでは、要求元端末(通話端末10aa)が他の通話端末10との通話を開始する前であるため、宛先リスト作成部18は、「通話端末」を示す種類情報に係る通話端末10の各特定情報を作成する。
次に、表示制御部16は、図1に示されているディスプレイ120aaに対して、図18に示されているような宛先リスト画面P20を表示させる(ステップS50)。この宛先リスト画面P20には、通話端末10のみの特定情報(P21,P22,P23,…)が表示されている。
また、宛先リスト画面P20の各特定情報P21等に各通話端末10の稼動状態を反映させるには、以下に示す処理によって行われる。即ち、宛先リスト作成部18は、端末の状態情報に含まれる端末の種類情報及び稼動状態情報に基づいて、視覚情報管理テーブル(図9参照)を検索することにより、対応する視覚情報を抽出する。そして、宛先リスト作成部18は、上記宛先リスト情報における宛先リスト枠に、この宛先リスト情報における端末ID及び宛先名毎に、上記抽出された視覚情報を割り当てる。図18では、説明を簡略化するため、3つの通信相手の候補の稼動状態が視覚情報の一例としてのアイコンによって表されている。これによって、利用者は、通話を開始する前に、通信相手の候補としての通話端末10の稼動状態を認識することができる。
なお、宛先リスト画面P20右下側には、宛先リスト画面P20を閉じるための「閉じる」ボタンP29が表示されている。
続いて、図19を用いて、通話端末10aa及び通話端末10daの間で通話を行う前に通信セッションを確立する処理を説明する。なお、図19は、通話端末間で通話を行う前に通信セッションを確立する処理を示すシーケンス図である。
まず、利用者が図4に示されている操作ボタン108を押下して、図18に示されている特定情報P23を指定すると、図8に示されている操作入力受付部12は、宛先端末(通話端末10db)との通話を開始する要求を受け付ける(ステップS61)。そして、要求元端末(通話端末10aa)の送受信部11は、要求元端末(通話端末10aa)の端末ID「01aa」、及び宛先端末(通話端末10da)の端末ID「01da」が含まれ、通話を開始したい旨を示す開始要求情報を、管理システム50へ送信する(ステップS62)。これにより、管理システム50の送受信部51は、上記開始要求情報を受信すると共に、送信元である要求元端末(通話端末10aa)のIPアドレス「1.2.1.3」を受信することができる。
そして、状態管理部53は、開始要求情報に含まれる要求元端末(通話端末10aa)の端末ID「01aa」及び宛先端末(通話端末10da)の端末ID「01da」に基づき、端末状態管理DB5003(図12参照)の端末状態管理テーブルにおいて、上記端末ID「01aa」及び端末ID「01da」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「オンライン(通話可能)」から「オンライン(通話中)」に変更する(ステップS63)。
次に、セッション管理部55は、記憶部5000のセッション管理テーブル(図14参照)に、利用される中継装置30aの中継装置ID「111a」、要求元端末(端末10aa)の端末ID「01aa」、及び宛先端末(端末10da)の端末ID「01da」を関連付けて記憶して管理する(ステップS64)。この場合、例えば、要求元端末(通話端末10aa)のIPアドレスに近いIPアドレスの中継装置30aが選ばれる。
次に、管理システム50の送受信部51は、中継装置30aに対して、セッション初期化要求情報を送信する(ステップS65)。これにより、中継装置30aでは、セッション初期化要求情報を受信する。このセッション初期化要求情報は、中継装置30aの通信セッションを初期化する命令であり、要求元端末(通話端末10aa)のIPアドレス「1.2.1.3」、及び宛先端末(通話端末10da)のIPアドレス「1.3.2.3」が含まれている。各IPアドレスは、端末状態管理テーブル(図12参照)において、ステップS62によって受信された要求元端末(通話端末10aa)の端末ID及び宛先端末(通話端末10db)の端末IDにそれぞれ対応するIPアドレスである。
次に、中継装置30aは、ステップS65によって受信した要求元端末(通話端末10aa)のIPアドレス「1.2.1.3」に基づき、要求元端末(通話端末10aa)にセッション開始指示情報を送信する(ステップS67)。このセッション開始指示情報は、要求元端末(通話端末10aa)に通信セッションを開始する指示である。また、この際、中継装置30aのIPアドレス「1.2.1.2」も送信される。
また、同じく、中継装置30aは、ステップS65によって受信した宛先端末(通話端末10da)のIPアドレス「1.3.2.3」に基づき、宛先端末(通話端末10da)にセッション開始指示情報を送信する(ステップS68)。このセッション開始指示情報は、宛先端末(通話端末10da)に通信セッションを開始する指示である。また、この際、中継装置30aのIPアドレス「1.2.1.2」も送信される。
これにより、要求元端末(通話端末10aa)と中継装置30aとの間で、第1の通信セッションsed1が確立される(ステップS69−1)。また、宛先端末(通話端末10da)と中継装置30aとの間で、第2の通信セッションsed2が確立される(ステップS69−2)。そして、要求元端末(通話端末10aa)と宛先端末(通話端末10da)との間で通話が開始されると、要求元端末(通話端末10aa)側のディスプレイ120abには、図20に示されているような通話画面P0が表示される。なお、図20は、通話中の画通話画面の一例を示した概念図である。
図20に示されているように、通話画面P0には、通話のメインの相手側の画像を表示するメイン画面P1、自端末(通話端末10aa)側の画像を表示するサブ画面P2、及び、通話のサブとなる相手側の画像を表示させるサブ画面P3〜P8が含まれている。なお、メイン画面P1は、ディスプレイ120に表示される複数の画面の中で最大面積を有する。また、図20では、通話端末10aaと通話端末10daの2つの間で通話が行われている画面例を示している。仮に3つ目の通話端末10も通話に参加している場合には、サブ画面P3に3つ目の通話端末10側の被写体の画像が表示される。
また、通話画面P0の最下部の左側には、各種メッセージを表示させるメッセージ表示画面P10が表示されている。更に、通話画面P0の最下部の中央部には、上記メイン画面とサブ画面で表示されている画像を切り換える際に押下される「画面切り換え」ボタンP11が表示されている。
更に、通話画面P0の最下部の右側には、自端末(端末10aa)のカメラ112の電源がオンされて自端末側から画像通信を行っているか又は自端末のカメラ112の電源がオフされて自端末側から画像通信を行っていないかを示すカメラアイコンP12が表示されている。なお、カメラアイコンP12に「×」が表示されている場合には、自端末のカメラ112の電源がオンになっている状態であり、利用者がこれから電源をオフにできることが表示されている。一方、カメラアイコンP12に「×」が表示されていない場合には、自端末のカメラ112の電源がオフになっている状態であり、利用者がこれから電源をオンにできることが「×」の表示の代わりに表示されている。
また、通話画面P0の最下部の最左側には、サブ画面P2に表示されている自端末(通話端末10aa)側の画面をキャプチャするための「Capture」ボタンP13(受付情報の一例)が表示されている。そして、図8に示されている操作入力受付部12が、利用者によって「Capture」ボタンP13が押下されたことを受け付けると、キャプチャ部14がサブ画面P2に表示されている画面をキャプチャすることで、画像データを記憶部1000に取り込むことができる。
次に、図21乃至図28を用いて、宛先端末が印刷端末20daである場合に、要求元端末(通話端末10aa)と宛先端末(印刷端末20da)との間で、画像データを送信する処理を説明する。なお、図21は、通話端末と印刷端末間でデータを送信する処理を示すシーケンス図である。
図21に示されているように、予め、印刷端末20daと管理システム50との間で通信セッションseiが確立される(ステップS81)。なお、印刷端末20の稼動状態が、オンライン(印刷可能)、オンライン(印刷中)、オンライン(一時中断)、及びオフラインの4種類の場合のように、オンライン中の詳細な情報が、管理システム50で管理される場合には、ステップS81後に、印刷端末20から管理システム50へ、上記ステップS22のようなログイン要求情報を送信する。
この状態で、印刷端末20daでは、記憶・読出処理部29が、記憶部2000から、自端末(印刷端末20da)の端末ID及び能力情報を読み出す(ステップS82)。そして、送受信部21は、管理システム50へ、自端末(印刷端末20da)の端末ID及び能力情報を送信する(ステップS83)。これにより、管理システム50の送受信部51は、印刷端末20daの端末ID及び能力情報を受信する。
次に、管理システム50の記憶・読出部59は、送受信部51によって受信された端末ID及び能力情報を、能力管理テーブル(図15参照)に関連付けて管理する(ステップS84)。
一方、要求元端末(通話端末10aa)は、キャプチャ処理を行う(ステップS85)。ここで、図22を用いて、ステップS85の処理を更に詳細に説明する。なお、図22は、キャプチャ処理を示したフローチャートである。
まず、図8に示されている操作入力受付部12が、利用者によって「Capture」ボタンP13が押下されたことを受け付けると、キャプチャ部14が通話画面P0の一部であるサブ画面P2に表示されている画面をキャプチャすることで、画像データを記憶部1000に取り込み、記憶部1000に一時的に記憶する(ステップS85−1)。具体的には、キャプチャ処理によって、一時的に図5に示されているRAM103に記憶される。
そして、表示制御部16は、図23に示されているように、通話画面P0上に、ポップアップ画面として、処理選択画面P30を表示させる(ステップS85−2)。なお、図23は、処理選択画面を示した概念図である。この処理選択画面P30には、「キャプチャした画像をどうしますか?」という内容のメッセージ、キャプチャされた画像データを宛先端末に送信するための「送信」ボタンP31、キャプチャされて一時的に記憶されている画像データを正式に記憶するための「記憶」ボタンP32、及び画像データを宛先端末に送信しないための「キャンセル」ボタンP33が表示されている。
次に、操作入力受付部12が、利用者によって「送信」ボタンP31の押下を受け付けると(ステップS85−3:送信)、宛先リスト作成部18は、利用者が通信相手の候補としての印刷端末20を指定することができるように、通信相手の候補を特定するための特定情報が含まれた宛先リストを作成する(ステップS85−4)。この場合、宛先リスト作成部18は、記憶部1000に記憶されている宛先リスト情報、及び端末の状態情報に基づいて、通信相手の候補としての印刷端末20の状態を反映させた各特定情報を作成する。また、ここでは、要求元端末(通話端末10aa)が他の通話端末10(ここでは、通話端末10da)と通話中であるため、宛先リスト作成部18は、「印刷端末」を示す種類情報に係る印刷端末20の各特定情報を作成する。
次に、表示制御部16は、図24に示されているように、通話画面P0上にポップアップ画面として、印刷端末の宛先リスト画面P40を表示させる(ステップS85−5)。この宛先リスト画面P40には、印刷端末20のみの特定情報(P41,P42,P43,…)が表示されている。また、宛先リスト画面P40の右下側には、この宛先リスト画面を閉じるための「閉じる」ボタンP45が表示されている。
次に、操作入力受付部12が、利用者によって任意の特定情報の押下を受け付けると(ステップS85−6)、後述のステップS86の処理へ進む。
一方、上記ステップS85−3において、操作入力受付部12が、利用者によって「記憶」ボタンP32の押下を受け付けると(ステップS85−3:記憶)、記憶・読出処理部19は、画像データを記憶部1000に記憶する(ステップS85−7)。具体的には、キャプチャによって、一時的に図5に示されているRAM103に記憶されていた画像データが、SSD105によって、フラッシュメモリ104に記憶される。
また、上記ステップS85−3において、操作入力受付部12が、利用者によって「キャンセル」ボタンP33の押下を受け付けると(ステップS85−3:キャンセル)、記憶・読出処理部19は、一時的に記憶部1000に記憶されていた画像データを削除する(ステップS85−8)。具体的には、キャプチャによって、一時的に図5に示されているRAM103に記憶されていた画像データが削除される。
次に、図21に戻って、要求元端末(通話端末10aa)の送受信部11は、管理システム50へ、開始要求情報を送信する(ステップS86)。この開始要求情報は、上記ステップS62と同様に、通信を開始したい旨を示す情報であり、要求元端末(通話端末10aa)の端末ID「01aa」、及び宛先端末(印刷端末20da)の端末ID「02da」が含まれている。これにより、管理システム50の送受信部51は、開始要求情報を受信する。
次に、管理システム50の送受信部51は、宛先端末(印刷端末20da)に、開始要求情報を送信する(ステップS87)。これにより、宛先端末(印刷端末20da)の送受信部21は、開始要求情報を受信する。
次に、記憶・読出処理部29は、記憶部2000から能力情報を読み出す(ステップS85)。そして、送受信部21は、管理システム50に、上記ステップS87に対する応答を示す応答情報及び印刷端末20daの端末IDを送信する(ステップS88)。これにより、管理システム50の送受信部51は、応答情報及び印刷端末20daの端末IDを受信する。
次に、管理システム50の記憶・読出処理部29は、ステップS88によって受信された端末IDを検索キーとして能力管理テーブル(図15参照)を検索することにより、対応する能力情報を読み出す(ステップS89)。
次に、管理システム50の送受信部51は、要求元端末(通話端末10aa)に、上記ステップS86に対する応答情報として、上記ステップS88によって受信された応答情報を送信する(ステップS90)。これにより、要求元端末(通話端末10aa)の送受信部11は、応答情報を受信する。この応答情報には、上記ステップS89によって読み出された能力情報が含まれている。
次に、要求元端末(通話端末10aa)は、宛先端末(印刷端末20da)に送信する画像データの変換処理を行う(ステップS91)。ここで、図25を用いて、変換処理について、更に詳細に説明する。なお、図25は、変換処理を示したフローチャートである。
まず、図25に示されているように、判断部17aは、能力情報に基づいて、エラー無しか否かを判断する(ステップS91−1)。具体的には、自端末(通話端末10aa)から送信する予定の画像データが、宛先端末(印刷端末20)で印刷できる場合には、エラー無しと判断され、印刷できない場合には、エラーありと判断される。そして、エラー無しと判断された場合には(YES)、判断部17aは、キャプチャされた時点の画像データのフォーマットと、応答情報で示される宛先端末(印刷端末20da)で印刷可能な画像データのフォーマットとを比較し、送信する予定の画像データのフォーマットを変換する必要があるかを判断する(ステップS91−2)。そして、変換する必要がある場合には、更に、判断部17aは、キャプチャされた時点の画像データの画質を、応答情報で示される宛先端末(印刷端末20da)で印刷可能な画像データの画質に合わせて下げる必要があるかを判断する(ステップS91−3)。例えば、キャプチャされた画像データが24ビットのカラーの画像データであるにも拘らず、宛先端末(印刷端末20da)でモノクロ印刷しかできない場合には、画質を下げる必要があると判断される。
次に、上記ステップS91−3で、画質を下げる必要があると判断された場合には(YES)、表示制御部16は、図26に示されているように、通話画面P0上に、ポップアップ画面として、確認画面P50を表示させる(ステップS91−4)。なお、図26は、確認画面を示した概念図である。この確認画面P50には、所望の宛先端末「に送信すると、白黒画像になりますが、よろしいですか?」という内容のメッセージ、送信してもよい場合に利用者が押下するための「OK」ボタンP51、及び、送信しない場合に利用者が押下するための「キャンセル」ボタンP52が表示されている。
次に、操作入力受付部12が、利用者によって「OK」ボタンP51の押下を受け付けると(ステップS91−5:YES)、変換部17bは、応答情報で示されている宛先端末(印刷端末20da)で印刷可能な画像データのフォーマットに合わせるように、フォーマットの変換を行い、この際に、キャプチャされた時点の画像データの画質を下げて、宛先端末(印刷端末20da)に合わせるように変換する(ステップS91−6)。そして、後述のステップS92の処理へ進む。
一方、上記ステップS91−1において、エラー無しではない(エラー有り)と判断された場合には(NO)、表示制御部16は、図27に示されているように、通話画面P0上に、ポップアップ画面として、エラー画面P60を表示する(ステップS91−7)。なお、図27は、エラー画面を示した概念図である。このエラー画面P60には、所望の宛先端末「の画像フォーマットに本端末(要求元端末)が対応していないため、送信できませんでした。」という内容のメッセージ、及び、利用者がメッセージの内容を理解して押下するための「OK」ボタンP61が表示されている。
また、上記ステップS91−2において、フォーマット変換が必要でないと判断された場合(NO)、ステップS91−3〜6の処理を省略して、後述のステップS92の処理へ進む。更に、上記ステップS91−3において、画質を下げる必要がないと判断された場合(NO)には、画質を下げないでフォーマットの変換のみを行い(ステップS91−8)、後述のステップS92の処理へ進む。
更に、上記ステップS91−5において、画質を下げないと判断された場合には(NO)、印刷端末20へのデータ送信がキャンセルとなる(ステップS91−9)。
続いて、図21に戻り、要求元端末(通話端末10aa)の送受信部11は、管理システム50及び中継装置30aを介さないで、宛先端末(印刷端末20da)に画像データを送信する(ステップS92)。そして、表示制御部16は、図28に示されているように、通話画面P0上に、ポップアップ画面として、送信完了画面P70を表示する(ステップS93)。なお、図28は、送信完了画面を示した概念図である。この送信完了画面P70には、所望の宛先端末「に送信しました。」という内容のメッセージ、及び、利用者がメッセージの内容を理解して押下するための「OK」ボタンP71が表示されている。
一方、宛先端末(印刷端末20da)では、印刷部22が、ステップS92によって送られて来た画像データを用紙に印刷する(ステップS94)。これにより、要求元端末(通話端末10aa)でキャプチャされた画像データが、通話相手側に設置されている印刷端末20daで用紙に印刷して出力される。
<<本実施形態の主な効果>>
以上説明したように本実施形態によれば、要求元端末(通話端末10)が、通信相手としての宛先端末(通話端末10)と通信中に、印刷機能を有する印刷端末20を特定するための特定情報P41等を通信相手の候補としてディスプレイ120に表示させ、特定情報P41等が利用者によって指定された場合に、この特定情報P41等で特定される印刷端末20に画像データを送信する。これにより、通話端末10同士が通信中であっても、スムーズに通信相手側の印刷端末20に画像データを送ることができるという効果を奏する。
また、図18に示されているように、通話開始前では印刷端末20の特定情報P41等が表示されないため、利用者は間違って印刷端末20を選択してしまうことを防止することができる。逆に、図24に示されているように、通話中では通話端末10の特定情報P21等が表示されないため、利用者は間違って通話端末10を選択してしまうことを防止することができる。
更に、要求元端末(通話端末10)が、通信相手としての宛先端末(通話端末10)と通信中に、管理システム50に対して、印刷端末20を識別するための端末IDを送信し、これに基づいて、管理システム50から、印刷端末20で印刷可能な能力を示す能力情報を受信する。そして、要求元端末(通話端末10)は、能力情報に基づいて画像データを印刷端末20で印刷可能な画像データに変換してから、印刷端末20に送信する。これにより、利用者は、わざわざ印刷端末20の印刷能力に応じて、自ら画像データを変換する必要がないため、スムーズに通信相手側の印刷端末20に画像データを送ることができるという効果を奏する。
<<実施形態の補足>>
上記通話端末10は、通信相手とのコミュニケーションを行うことができるコミュニケーション端末の一例である。このコミュニケーション端末の他の例としては、通信相手とチャット(Chat)等のリアルタイムコミュニケーションを行う端末も含まれる。同様に、通話システム1及び通話管理システム50は、チャット等に対応した通信システム及び通信管理システムの一例である。
更に、上記実施形態では、通話端末の一例として、テレビ会議端末について説明したが、これに限るものではない。例えば、通話端末の一例として、PC、スマートフォン、タブレット型端末、携帯電話機、ゲーム機が挙げられる。また、図5に示されている通話端末10のカメラ112やマイク114は内蔵されずに、外付けされる構成であってもよい。また、図5に示されている通話端末10は、ディスプレイ120が外付けされずに、内蔵されている構成であってもよい。
また、上記実施形態では、図18に示されているように、通話端末10の宛先リスト画面P20に通話端末10の特定情報P21等が表示され、図24に示されているように、印刷端末20の宛先リスト画面P40に印刷端末20の特定情報P41等が表示されているが、これに限るものではない。例えば、宛先リスト画面(P20,P40)の両方に、通話端末10の特定情報P21等と印刷端末20の特定情報P41等の両方が表示されてもよい。
更に、上記実施形態では、操作入力受付部12が、利用者によって、「Capture」ボタンP13(受付情報の一例)が押下されたことを受け付けると、キャプチャ部14が通話画面P0の一部であるサブ画面P2に表示されている画面をキャプチャしているが、これに限るものではない。例えば、PO画面全体、メイン画面P1、又はメイン画面P1及びサブが面P2の両方等、ディスプレイ120に表示されている画像の少なくとも一部がキャプチャされてもよい。
また、上記中継装置30、管理システム50、プログラム提供システム90、及びメンテナンスシステム100は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。また、プログラム提供システム90が単一のコンピュータによって構築されている場合には、プログラム提供システム90によって送信されるプログラムは、複数のモジュールに分けて送信されるようにしてもよいし、分けないで送信されるようにしてもよい。更に、プログラム提供システム90が複数のコンピュータによって構築されている場合には、複数のモジュールが分けられた状態で、各コンピュータから送信されるようにしてもよい。
更に、上記実施形態では、端末IDは、通話端末10又は印刷端末20を識別するためのデータとして説明したが、これに限るものではなく、通話端末10の利用者又は印刷端末20の利用者を識別するためのデータであってもよい。
また、上記各実施形態の端末用プログラム、中継装置用プログラム、又は通話管理用プログラムが記憶されたCD−ROM等の記録媒体、並びに、これらプログラムが記憶されたHD504、及びこのHD504を備えたプログラム提供システム90は、いずれもプログラム製品(Program Product)として、国内又は国外へ、上記端末用プログラム、中継装置用プログラム、及び通話管理用プログラムが利用者等に提供される場合に用いられる。
また、図10及び図12では、受信日時について管理しているが、これに限るものではなく、受信日時のうち少なくとも受信時間を管理すればよい。
更に、端末状態管理テーブル(図12参照)で管理しているIPアドレスは、通信ネットワーク2上の宛先情報の一例である。この宛先情報の他の例としては、FQDN(Fully Qualified Domain Name)も含まれる。
また、上記実施形態では、通話システム1の一例として、テレビ会議システムの場合について説明したが、これに限るものではなく、IP(Internet Protocol)電話や、インターネット電話等の電話システム、チャットシステム、又はホワイトボード共有システムであってもよい。また、通話システム1は、カーナビゲーションシステムであってもよい。この場合、例えば、通話端末10の一方が自動車に搭載されたカーナビゲーション装置に相当し、通話端末10の他方が、カーナビゲーションを管理する管理センターの管理端末若しくは管理サーバ、又は他の自動車に搭載されているカーナビゲーション装置に相当する。また、通話システム1は、携帯電話機の通信システムであってもよい。この場合、例えば、通話端末10は携帯電話機に相当する。
また、上記実施形態では、通話システム1によってテレビ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、又は、一方向での情報の提示に使用されても構わない。