JP6813078B2 - 通信システム、通信方法、管理システム、及びプログラム - Google Patents

通信システム、通信方法、管理システム、及びプログラム Download PDF

Info

Publication number
JP6813078B2
JP6813078B2 JP2019232755A JP2019232755A JP6813078B2 JP 6813078 B2 JP6813078 B2 JP 6813078B2 JP 2019232755 A JP2019232755 A JP 2019232755A JP 2019232755 A JP2019232755 A JP 2019232755A JP 6813078 B2 JP6813078 B2 JP 6813078B2
Authority
JP
Japan
Prior art keywords
communication
terminal
data
session
communication terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019232755A
Other languages
English (en)
Other versions
JP2020061763A (ja
JP2020061763A5 (ja
Inventor
浅井 貴浩
貴浩 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2020061763A publication Critical patent/JP2020061763A/ja
Publication of JP2020061763A5 publication Critical patent/JP2020061763A5/ja
Application granted granted Critical
Publication of JP6813078B2 publication Critical patent/JP6813078B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、所定の通信データを送受信する第1及び第2の通信端末を管理する発明に関する。
近年、出張経費及び出張時間を削減する要請に伴い、インターネット等の通信ネットワークを介してテレビ会議などを行う通話システムが普及している。このような通話システムでは、複数の通話端末の間で画像データ及び音データの送受信が行われることにより、テレビ会議を実現することができる。
また、通話端末間で直接、画像データ及び音データを送受信するタイプの通話システム以外に、複数の通話端末間で画像データ及び音データを中継するための複数の中継装置を利用するタイプのテレビ会議システムが登場している(特許文献1参照)。
しかしながら、従来のテレビ会議通話システムでは、異なる通話方式を使用する通話端末間での通話を実現することができない。即ち、通話方式が異なる場合として、通話の宛先と接続又は切断をするための呼制御方式(呼制御プロトコル)と、画像データ及び音データをIPパケット化するための符号化方式とのうち、少なくとも一方が異なる場合には、通話端末間での通話を実現することができないという課題が生じる。
請求項1に係る発明は、少なくとも呼制御方式及び通信データの符号化方式の何れかを示す第1の通信方式を利用して通信データを送信又は受信する宛先を管理する管理システムと、前記第1の通信方式を利用して通信データを送信又は受信する第1の通信端末と、を有する通信システムであって、前記第1の通信端末は、前記管理システムから受信した前記宛先の何れかと通信を開始する場合に、前記宛先のうち利用者によって選択された宛先との通信を開始するために第1の要求情報を送信し、前記第1の通信方式と少なくとも呼制御方式及び通信データの符号化方式の何れかが異なる第2の通信方式を利用する第2の通信端末と通信を開始する場合に、利用者によって入力されたアドレス情報に対応する前記第2の通信端末との通信を開始するために第2の要求情報を送信する送信手段を有し、前記送信手段によって前記第1の要求情報が送信された場合には、前記通信データを中継する中継装置と前記第1の通信端末との間で第1のセッションを確立させることで、前記第1の通信端末が前記選択された宛先との間で前記第1のセッションを用いて通信データを送受信可能な状態とし、前記送信手段によって前記第2の要求情報が送信された場合には、通信データを変換することによって前記第1の通信方式と前記第2の通信方式との間で相互利用を可能とするゲートウェイと前記第2の通信端末との間で第2のセッションを確立させることで、前記第2の通信端末が前記第1の通信端末との間で前記通信データを中継する中継装置に加えて前記ゲートウェイを介して前記第2のセッションを用いて通信データを送受信可能な状態とすることを特徴とする通信システムである。
以上説明したように本発明によれば、通信管理システムから中継装置へ、第1の通信端末、変換システム及び第2の通信端末の各宛先情報が送信される。これにより、中継装置は、第1の通信端末との間で、第1の通信セッションを確立させ、更に、通話データの通話方式を変換する変換システムとの間で、第2の通信セッションを確立させることができる。更に、中継装置は、通信管理システムから受信した第2の通信端末の宛先情報を、変換システムへ送信することで、変換システムは、第2の通信端末との間で第3の通信セッションを確立することができる。
よって、第1の通信端末から第2の通信端末の間で、第1乃至第3の通信セッションを利用して通話データの送受信が可能となる。これにより、第1及び第2の通信端末が異なる通信方式を利用する場合であっても、変換システムによって通信データの通信方式が相互変換されるため、通信を実現することができるという効果を奏する。
本発明の一実施形態に係る通話システムの概略図である。 同じ通信方式の通話端末間で通話を実現する場合の通信状況を示す概念図である。 図2及び図4におけるSVCの規格によって送受信される画像データの画質を示す概念図である。 異なる通信方式の通話端末間で通話を実現する場合の通信状況を示した概念図である。 図4におけるAVCの規格によって送受信される画像データの画質を示す概念図である。 本実施形態に係る通話端末の外観図である。 本実施形態に係る通話端末のハードウェア構成図である。 本実施形態に係る通話管理システム、中継装置、変換システム、プログラム提供システム、又はメンテナンスシステムのハードウェア構成図である。 実施形態の通話システムの一部を構成する通話端末、中継装置、通話管理システムおよび変換システムの機能ブロック図である。 変更品質管理テーブルを示す概念図である。 中継装置管理テーブルを示す概念図である。 端末情報管理テーブルを示す概念図である。 端末状態管理テーブルを示す概念図である。 宛先リスト管理テーブルを示す概念図である。 セッション管理テーブルを示す概念図である。 変換管理テーブルを示す概念図である。 品質管理テーブルを示す概念図である。 端末間で通話を開始する準備段階の処理を示すシーケンス図である。 通話の開始要求を示すシーケンス図である。 通信方式の判断を示すフローチャートである。 2つの専用端末間で通話を行う前に通信セッションを確立する処理を示すシーケンス図である。 2つの専用端末間で通話データを送受信する処理を示したシーケンス図である。 専用端末と非専用端末との間で通話を行う前に通信セッションを確立する処理を示すシーケンス図である。 専用端末と非専用端末との間で通話データを送受信する処理を示したシーケンス図である。 変換システムで変換された後の画像データの画質を示す概念図である。
以下、図1乃至図24を用いて、本発明の一実施形態について説明する。
<<実施形態の全体構成>>
図1は、本発明の一実施形態に係る通話システムの概略図である。図1に示されているように、通話システム1は、複数の通話端末(10aa,10ab,…)、各通話端末(10aa,10ab,…)用のディスプレイ(120aa,120ab,…)、複数の中継装置(30a,30b,30c)、通話管理システム50、変換システム80、プログラム提供システム90、及びメンテナンスシステム100によって構築されている。この通話システム1によって、通話データの一例としての画像データ及び音データの通信が行われることで、遠隔地間のテレビ会議等を実現することができる。なお、複数のルータ(70a,70b,70c,70d,70ab,70cd)は、通話データの最適な経路の選択を行う。
また、通話端末(10aa,10ab,10ac,・・・)、中継装置30a、及びルータ70aは、LAN2aによって通信可能に接続されている。通話端末(10ba,10bb,10bc,・・・)、中継装置30b、及びルータ70bは、LAN2bによって通信可能に接続されている。また、LAN2a及びLAN2bは、ルータ70abが含まれた専用線2abによって通信可能に接続されている。更に、LAN2a、LAN2b、及び専用線2abは、所定の地域X内で構築されている。例えば、地域Xは日本であり、LAN2aは東京の事業所内で構築されており、LAN2bは大阪の事業所内で構築されている。
一方、通話端末(10ca,10cb,10cc,・・・)、中継装置30c、及びルータ70cは、LAN2cによって通信可能に接続されている。通話端末(10da,10db,10dc,・・・)、変換システム80、及びルータ70dは、LAN2dによって通信可能に接続されている。また、LAN2c及びLAN2dは、ルータ70cdが含まれた専用線2cdによって通信可能に接続されている。更に、LAN2c、LAN2d、及び専用線2cdは、所定の地域Y内で構築されている。例えば、地域Yはアメリカ合衆国であり、LAN2cはニューヨークの事業所内で構築されており、LAN2dはワシントンD.C.の事業所内で構築されている。地域X及び地域Yは、それぞれルータ(70ab,70cd)からインターネット2iを介して通信可能に接続されている。
なお、以下では、「通話端末」は単に「端末」として表され、「通話管理システム」は単に「管理システム」として表されている。また、複数の端末(10aa,10ab,…)のうち任意の端末は、「端末10」と表され、複数のディスプレイ(120aa,120ab,…)のうち任意のディスプレイは「ディスプレイ120」と表され、複数の中継装置(30a,30b,30c)のうち任意の中継装置は「中継装置30」と表されている。更に、テレビ会議の開始を要求する要求元としての端末は「要求元端末」と表され、要求先である宛先(中継先)としての端末は「宛先端末」と表されている。また、ルータ(70a,70b,70c,70d,70ab,70cd)のうち任意のルータは、「ルータ70」と表されている。
また、管理システム50、プログラム提供システム90、及びメンテナンスシステム100は、インターネット2iに接続されている。変換システム80は、本実施形態では、地域YのLAN2d内のルータ70dに接続されている。なお、管理システム50、プログラム提供システム90、及びメンテナンスシステム100は、地域X又は地域Yに設置されていてもよいし、これら以外の地域に設置されていてもよい。
また、本実施形態では、LAN2a、LAN2b、専用線2ab、インターネット2i、専用線2cd、LAN2c、及びLAN2dによって、本実施形態の通信ネットワーク2が構築されている。この通信ネットワーク2には、有線だけでなく、WiFi(Wireless Fidelity)やBluetooth(登録商標)等の無線による通信が行われる箇所があってもよい。
また、図1において、各端末10、各中継装置30、管理システム50、各ルータ70、変換システム80、プログラム提供システム90、及びメンテナンスシステム100の下に示されている4組の数字は、一般的なIPv4におけるIPアドレスを簡易的に示している。例えば、端末10aaのIPアドレスは「1.2.1.3」である。また、IPv4ではなく、IPv6を用いてもよいが、説明を簡略化するため、IPv4を用いて説明している。
なお、各端末10は、複数の事業所間での通話や、同じ事業所内の異なる部屋間での通話だけでなく、同じ部屋内での通話や、屋外と屋内又は屋外と屋外での通話で使われてもよい。各端末10が屋外で使われる場合には、携帯電話通信網等の無線による通信が行われる。
また、図1に示されている各端末10は、通話データの送受信により、利用者の通話を実現する端末であり、例えば、テレビ会議用端末である。更に、端末10は、所定の通信方式(通話の宛先と接続又は切断をするための呼制御方式、及び通話データをIPパケット化するための符号化方式)を利用して、通話データの送受信を行う。
なお、この呼制御方式としては、(1)SIP(Session Initiation Protocol)、(2)H.323、(3)SIPを拡張したプロトコル、(4)インスタントメッセンジャーのプロトコル、(5)SIPのMESSAGEメソッドを利用したプロトコル、(6)インターネットリレーチャットのプロトコル(IRC(Internet Relay Chat))、(7)インスタントメッセンジャーのプロトコルを拡張したプロトコル等が挙げられる。このうち、(4)インスタントメッセンジャーのプロトコルは、例えば、(4-1)XMPP(Extensible Messaging and Presence Protocol)、又は(4-2)ICQ(登録商標)、AIM(登録商標)、若しくはSkype(登録商標)などで利用されるプロトコルである。また、(7)インスタントメッセンジャーのプロトコルを拡張したプロトコルは、例えば、Jingleである。
また、複数の端末10のうち、例えば、呼制御方式がインスタントメッセンジャーのプロトコル(または、インスタントメッセンジャーのプロトコルを拡張したプロトコル)であり、符号化方式がSVC(Scalable Video Coding)である通信方式を使用する端末10は「専用端末A」として表されている。更に、複数の端末10のうち、呼制御方式と符号化方式のうち少なくとも一方が専用端末Aと異なる通信方式を使用する端末10は「非専用端末D」として表されている。更に、本実施形態では、通信方式が異なる2つの端末の一例として、「専用端末A」は特定の会社で製造、販売、又は管理されている端末として説明し、「非専用端末D」は、上記特定の会社以外で製造、販売又は管理されている端末として説明する。本実施形態では、このように異なる会社で製造、販売、又は管理された端末は、通信方式が異なる場合が多いため、上記のような一例を用いて説明する。なお、通信方式が異なる2つの端末の一例として、同じ会社で製造又は販売された端末のうち、製造時期又は販売時期が新しい端末を「専用端末A」とし、製造時期又は販売時期が古い端末を「非専用端末D」としてもよい。
また、各中継装置30は、複数の端末10の間で、通話データの中継を行うコンピュータシステムである。管理システム50は、端末10からのログイン認証、端末10の通話状況の管理、宛先リストの管理等、及び中継装置30の通信状況等を一元的に管理するコンピュータシステムである。なお、画像データの画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。
また、変換システム80は、呼制御信号の変換を行うSignaling Gatewayと、通話データの符号化を行うVideo/Audio Gatewayの役割を果たす。即ち、変換システム80は、要求元端末から送信された通話データの通信方式と、宛先端末から送信された通話データの通信方式(呼制御方式、符号化方式)とを相互変換するゲートウェイであり、呼制御方式と符号化方式のうち少なくとも一方を変換する。
プログラム提供システム90は、端末10、中継装置30、管理システム50、変換システム80、メンテナンスシステム100に、それぞれで使用されるプログラムを、通信ネットワーク2を介してそれぞれに提供するコンピュータシステムである。
メンテナンスシステム100は、端末10、中継装置30、管理システム50、変換システム80、及びプログラム提供システム90のうちの少なくとも1つの維持、管理、又は保守を行うためのコンピュータシステムである。例えば、メンテナンスシステム100が国内に設置され、端末10、中継装置30、管理システム50、変換システム80、又はプログラム提供システム90が国外に設置されている場合、メンテナンスシステム100は、通信ネットワーク2を介して遠隔的に、端末10、中継装置30、管理システム50、変換システム80、及びプログラム提供システム90のうちの少なくとも1つの維持、管理、保守等のメンテナンスを行う。また、メンテナンスシステム100は、通信ネットワーク2を介さずに、端末10、中継装置30、管理システム50、変換システム80、及びプログラム提供システム90のうちの少なくとも1つにおける機種番号、製造番号、販売先、保守点検、又は故障履歴の管理等のメンテナンスを行う。
続いて、図2及び図3を用いて、2つの専用端末A間で通話を実現するための第1の通信パターンについて説明する。なお、図2は、同じ通信方式の通話端末間で通話を実現する場合の通信状況を示す概念図である。
図2に示されているように、第1の通信パターンでは、通話システム1が、H.264/SVCの映像符号化標準規格を利用して、通話データの通信を行う。具体的には、図2に示されているように、通話システム1において、専用端末Aとしての要求元端末と専用端末Aとしての宛先端末との間では、管理システム50を介して、各種の管理情報を送受信するための管理用の通信セッションseiが確立される。また、要求元端末と宛先端末との間では、中継装置30を介して、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音データの4つの各データを送受信するための4つの通信セッションが確立される。
図2では、要求元端末と中継装置30との間で確立される4つの通信セッションを、通話データ用の第1の通信セッションsed1として示されている。また、中継装置30と宛先端末との間で確立される4つの通信セッションは、通話データ用の第2の通信セッションsed2として示されている。
ここで、図3を用いて、図2に示されている第1の通信パターンで扱われる画像データの画像の解像度について説明する。なお、図3は、図2におけるSVCの規格によって送受信される画像データの画質を示す概念図である。
図3(a)に示されているように、横が160画素、縦が120画素から成り、ベース画像となる低解像度の画像と、図3(b)に示されているように、横が320画素、縦が240画素から成る中解像度の画像と、図3(c)に示されているように、横が640画素、縦が480画素から成る高解像度の画像とがある。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の画像データのみから成る低画質の画像データが中継装置30によって中継される。帯域が比較的広い場合には、ベース画像となる低解像度の画像データ、及び中解像度の画像データから成る中画質の画像データが、中継装置30によって中継される。また、帯域が非常に広い場合には、ベース画像となる低解像度の画像データ、中解像度の画像データ、及び高解像度の画像データから成る高画質の画像データが、中継装置30によって中継される。
続いて、図4及び図5を用いて、専用端末Aと非専用端末Dとの間で通話を実現するための第2の通信パターンについて説明する。なお、図4は、異なる通信方式の通話端末間で通話を実現する場合の通信状況を示す概念図である。
図4に示されているように、第2の通信パターンでは、通話システム1が、H.264/SVCの映像符号化標準規格と、H.264/AVC(Advanced Video Coding)の映像符号化標準規格とを利用して、通話データの通信を行っている。具体的には、図4に示されているように、通話システム1において、専用端末Aとしての要求元端末と、非専用端末Dとしての宛先端末との間では、管理システム50を介して、各種の管理情報を送受信するための管理用の通信セッションseiが確立されている。
また、要求元端末(第1の通信端末の一例)と変換システム80との間では、中継装置30を介して、H.264/SVCにより、高解像度の画像データ、中解像度の画像データ、低解像度の画像データ、及び音データの4つの各データを送受信するための4つの通信セッションが確立されている。図4では、要求元端末と中継装置30との間で確立される4つの通信セッションを、通話データ用の第1の通信セッションsed11として示されている。また、中継装置30と変換システム80との間で確立される4つの通信セッションを、通話データ用の第2の通信セッションsed12として示されている。
更に、変換システム80と宛先端末(第2の通信端末の一例)との間では、H.264/AVCにより、中解像度の画像データ及び音データの2つの各データを送受信するための2つの通信セッションが確立されている。図4では、変換システム80と宛先端末との間で確立される2つの通信セッションを、通話データ用の第3の通信セッションsed13として示されている。
ここで、図3及び5を用いて、図4に示されている第2の通信パターンで扱われる画像データの画像の解像度について説明する。なお、図5は、図4におけるAVCの規格によって送受信される画像データの画質を示す概念図である。
図4に示されている第1の通信セッションsed11及び第2の通信セッションsed12では、図2で示されている第1の通信セッションsed1及び第2の通信セッションsed2と同じように、図3(a)、(b)、及び(c)に示された3つの解像度の画像データが送受信される。一方、図4に示されている第3の通信セッションsed13では、図5に示されている中解像度の画像データが送受信される。
<<実施形態のハードウェア構成>>
次に、本実施形態のハードウェア構成を説明する。図6は、本実施形態に係る通話端末の外観図である。図6に示されているように、端末10は、筐体1100、アーム1200、及びカメラハウジング1300を備えている。このうち、筐体1100の前側壁面1110には、複数の吸気孔によって形成された不図示の吸気面が設けられており、筐体1100の後側壁面1120には、複数の排気孔が形成された排気面1121が設けられている。これにより、筐体1100に内蔵された冷却ファンの駆動によって、不図示の吸気面を介して端末10の後方の外気を取り込み、排気面1121を介して端末10の後方へ排気することができる。筐体1100の右側壁面1130には、収音用孔1131が形成され、後述する内蔵型のマイク114によって音声、物音、雑音等の音が収音可能となっている。
筐体1100の右側壁面1130側には、操作パネル1150が形成されている。この操作パネル1150には、後述の複数の操作ボタン(108a〜108e)、後述の電源スイッチ109、及び後述のアラームランプ119が設けられていると共に、後述の内蔵型のスピーカ115からの出力音を通すための複数の音出力孔によって形成された音出面1151が形成されている。また、筐体1100の左側壁面1140側には、アーム1200及びカメラハウジング1300を収容するための凹部としての収容部1160が形成されている。筐体1100の右側壁面1130には、後述のディスプレイI/F117に対して電気的にケーブルを接続するための複数の接続口(1132a〜1132c)が設けられている。一方、筐体1100の左側壁面1140には、後述の外部機器接続I/F118に対して電気的にディスプレイ120用のケーブル120cを接続するための不図示の接続口が設けられている。
なお、以下では、操作ボタン(108a〜108e)のうち任意の操作ボタンを示す場合には「操作ボタン108」を用い、接続口(1132a〜1132c)のうち任意の接続口を示す場合には「接続口1132」を用いて説明する。
次に、アーム1200は、トルクヒンジ1210を介して筐体1100に取り付けられており、アーム1200が筐体1100に対して、135度のチルト角θ1の範囲で、上下方向に回転可能に構成されている。図6は、チルト角θ1が90度の状態を示している。カメラハウジング1300には、後述の内蔵型のカメラ112が設けられており、利用者、書類、及び部屋等を撮像することができる。また、カメラハウジング1300には、トルクヒンジ1310が形成されている。カメラハウジング1300は、トルクヒンジ1310を介して、アーム1200に取り付けられている。そして、カメラハウジング1300がアーム1200に対して、図6で示されている状態を0度として±180度のパン角θ2の範囲で、且つ、±45度のチルト角θ3の範囲で、上下左右方向に回転可能に構成されている。
なお、中継装置30、管理システム50、変換システム80、プログラム提供システム90、及びメンテナンスシステム100は、それぞれ一般のサーバ・コンピュータの外観と同じであるため、外観の説明を省略する。
図7は、本実施形態に係る端末のハードウェア構成図である。図7に示されているように、本実施形態の端末10は、端末10全体の動作を制御するCPU(Central Processing Unit)101、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶したROM(Read Only Memory)102、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103、端末10用のプログラム、画像データ、及び音データ等の各種データを記憶するフラッシュメモリ104、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し又は書き込みを制御するSSD(Solid State Drive)105、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107、端末10の宛先を選択する場合などに操作される操作ボタン108、端末10の電源のON/OFFを切り換えるための電源スイッチ109、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F(Interface)111を備えている。
また、端末10は、CPU101の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ112、このカメラ112の駆動を制御する撮像素子I/F113、音を入力する内蔵型のマイク114、音を出力する内蔵型のスピーカ115、CPU101の制御に従ってマイク114及びスピーカ115との間で音信号の入出力を処理する音入出力I/F116、CPU101の制御に従って外付けのディスプレイ120に画像データを伝送するディスプレイI/F117、各種の外部機器を接続するための外部機器接続I/F118、端末10の各種機能の異常を知らせるアラームランプ119、及び上記各構成要素を図5に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
ディスプレイ120は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示部である。また、ディスプレイ120は、ケーブル120cによってディスプレイI/F117に接続される。このケーブル120cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)(登録商標)やDVI(Digital Video Interface)信号用のケーブルであってもよい。
カメラ112は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)や、CCD(Charge Coupled Device)等が用いられる。
外部機器接続I/F118には、図6に示されている筐体1100の接続口1132に差し込まれたUSB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ電気的に接続可能である。外付けカメラが接続された場合には、CPU101の制御に従って、内蔵型のカメラ112に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU101の制御に従って、それぞれが内蔵型のマイク114や内蔵型のスピーカ115に優先して、外付けマイクや外付けスピーカが駆動する。
なお、記録メディア106は、端末10に対して着脱自在な構成となっている。また、CPU101の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ104に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
図8は、本発明の本実施形態に係る管理システムのハードウェア構成図である。管理システム50は、管理システム50全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、管理システム50用のプログラム等の各種データを記憶するHD204、CPU201の制御にしたがってHD204に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)205、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ208、通信ネットワーク2を利用してデータ通信するためのネットワークI/F209、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード211、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス212、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)213に対する各種データの読み出し又は書き込みを制御するCD−ROMドライブ214、及び、上記各構成要素を図8に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン210を備えている。
一方、中継装置30、変換システム80、プログラム提供システム90、及びメンテナンスシステム100は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、各HD204には、中継装置30、変換システム80、プログラム提供システム90、及びメンテナンスシステム100をそれぞれ制御するためのプログラム等の各種データが記憶されている。
なお、端末10、中継装置30、変換システム80、プログラム提供システム90、及びメンテナンスシステム100用の各プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録媒体(記録メディア106等)に記録されて流通されるようにしてもよい。また、上記記録媒体の他の例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。
<<実施形態の機能構成>>
次に、本実施形態の機能構成について説明する。図9は、本実施形態の通話システム1の一部を構成する端末10、中継装置30、管理システム50、及び変換システム80の機能ブロック図である。図9では、端末10、中継装置30、管理システム50、及び変換システム80が、通信ネットワーク2を介してデータ通信することができるように接続されている。
<端末の機能構成>
端末10は、送受信部11、操作入力受付部12、ログイン要求部13、撮像部14、音入力部15a、音出力部15b、表示制御部16、遅延検出部17、及び記憶・読出処理部19を有している。これら各部は、図7に示されている各構成要素のいずれかが、フラッシュメモリ104からRAM103上に展開された端末10用のプログラムに従ったCPU101からの命令によって動作することで実現される機能又は手段である。また、端末10は、図7に示されているRAM103、及び図7に示されているフラッシュメモリ104によって構築される記憶部1000を有している。
(端末の各機能構成)
次に、図7及び図9を用いて、端末10の各機能構成について詳細に説明する。なお、以下では、端末10の各機能構成を説明するにあたって、図7に示されている各構成要素のうち、端末10の各機能構成を実現させるための主な構成要素との関係も説明する。
図9に示されている端末10の送受信部11は、図7に示されているCPU101からの命令、及び図7に示されているネットワークI/F111によって実現され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。この送受信部11は、所望の宛先端末と通話を開始する前から、管理システム50より、宛先候補としての各端末の状態を示す各状態情報の受信を開始する。なお、この状態情報は、各端末10の稼動状態(オンラインかオフラインかの状態)だけでなく、オンラインであっても更に通話可能であるか、通話中であるか、離籍中であるか等の詳細な状態を示す。また、この状態情報は、各端末10の稼動状態だけでなく、端末10でケーブル120cが端末10から外れていたり、音を出力するが画像は出力させなかったり、音を出力さないようにする(MUTE)等、様々な状態を示す。以下では、一例として、状態情報が稼動状態を示す場合について説明する。
操作入力受付部12は、図7に示されているCPU101からの命令、並びに図7に示されている操作ボタン108及び電源スイッチ109によって実現され、利用者による各種入力を受け付ける。例えば、利用者が、図7に示されている電源スイッチ109をONにすると、図9に示されている操作入力受付部12が電源オンを受け付けて、電源をONにする。
ログイン要求部13は、図7に示されているCPU101からの命令によって実現され、上記電源オンの受け付けを契機として、送受信部11から通信ネットワーク2を介して管理システム50に、ログインを要求する旨を示すログイン要求情報、及び要求元端末の現時点のIPアドレスを自動的に送信する。また、利用者が電源スイッチ109をONの状態からOFFにすると、送受信部11が管理システム50へ電源をOFFする旨の状態情報を送信した後に、操作入力受付部12が電源を完全にOFFにする。これにより、管理システム50側では、端末10が電源オンから電源オフになったことを把握することができる。
撮像部14は、図7に示されているCPU101からの命令、並びに図7に示されているカメラ112及び撮像素子I/F113によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。
音入力部15aは、図7に示されているCPU101からの命令、及び図7に示されている音入出力I/F116によって実現され、マイク114によって利用者の音が音信号に変換された後、この音信号に係る音データを入力する。音出力部15bは、図7に示されているCPU101からの命令、及び図7に示されている音入出力I/F116によって実現され、音データに係る音信号をスピーカ115に出力し、スピーカ115から音を出力させる。
表示制御部16は、図7に示されているCPU101からの命令、及び図7に示されているディスプレイI/F117によって実現され、後述のように、受信された解像度の異なる画像データを組み合わせ、この組み合わされた画像データをディスプレイ120に送信するための制御を行う。また、表示制御部16は、管理システム50から受信した宛先リストの情報をディスプレイ120に送信して、ディスプレイ120に宛先リストを表示させることができる。
遅延検出部17は、図7に示されているCPU101からの命令によって実現され、他の端末10から中継装置30を介して送られて来る画像データ又は音データの遅延時間(ms)を検出する。
記憶・読出処理部19は、図7に示されているCPU101からの命令及び図7に示すSSD105によって実行され、又はCPU101からの命令によって実現され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。この記憶部1000には、端末10を識別するための端末ID(Identification)、及びパスワード等が記憶される。更に、記憶部1000には、宛先端末との通話を行う際に受信される画像データ及び音データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ120に画像が表示され、上書きされる前の音データによってスピーカ115から音が出力される。
なお、本実施形態の端末ID及び後述の中継装置IDは、それぞれ端末10及び中継装置30を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報を示す。また、端末ID及び中継装置IDは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも2つが組み合わされた識別情報であってもよい。
<中継装置の機能構成>
中継装置30は、送受信部31、状態検知部32、データ品質確認部33、変更品質管理部34、データ品質変更部35、及び記憶・読出処理部39を有している。これら各部は、図8に示されている各構成要素のいずれかが、HD204からRAM203上に展開された中継装置30用のプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、中継装置30は、図8に示されているRAM203、及び/又は図8に示されているHD204によって構築される記憶部3000を有している。
(変更品質管理テーブル)
図10は、変更品質管理テーブルを示す概念図である。記憶部3000には、図10に示されているような変更品質管理テーブルによって構成されている変更品質管理DB(Data Base)3001が構築される。変更品質管理テーブルでは、画像データの中継先(宛先)としての端末10のIPアドレス、及びこの中継先に中継装置30が中継する画像データの画質が関連付けられて管理される。
(中継装置の各機能構成)
次に、中継装置30の各機能構成について詳細に説明する。なお、以下では、中継装置30の各機能構成を説明するにあたって、図8に示されている各構成要素のうち、中継装置30の各機能構成を実現させるための主な構成要素との関係も説明する。
図9に示されている中継装置30の送受信部31は、図8に示されているCPU201からの命令、及び図8に示されているネットワークI/F209によって実現され、通信ネットワーク2を介して他の端末、装置、又はシステムと各種データ(または情報)の送受信を行う。また、送受信部31は、自装置における通信セッションの初期化を行う。
更に、送受信部31は、この送受信部31によって受信されたIPアドレスのうち、要求元端末のIPアドレスで示されている宛先に対して、通信セッション(第1の通信セッション)の開始を指示するためのセッション開始指示情報を送信する。また、送受信部31は、この送受信部31によって受信されたIPアドレスのうち、変換システム80のIPアドレスで示されている宛先に対して、通信セッション(第2の通信セッション)の開始を指示するためのセッション開始指示情報及び宛先端末のIPアドレスを送信する。
状態検知部32は、図8に示されているCPU201からの命令によって実現され、この状態検知部32を有する中継装置30の稼動状態を検知する。稼動状態としては、「オンライン」、「オフライン」、「通話中」又は「一時中断」の状態がある。
データ品質確認部33は、図8に示されているCPU201からの命令によって実現され、宛先端末のIPアドレスを検索キーとして、変更品質管理テーブル(図10参照)を検索し、対応した中継される画像データの画質を抽出することで、中継される画像データの画質を確認する。
変更品質管理部34は、図8に示されているCPU201からの命令によって実現され、管理システム50から送られて来る、後述の品質情報に基づいて、変更品質管理テーブル(図10参照)の内容を変更する。例えば、端末IDが「01aa」である要求元端末(端末10aa)と、端末IDが「01ba」である宛先端末(端末10ba)との間で高画質の画像データを送受信することによってテレビ会議を行っている最中に、他のテレビ会議を行う要求元端末(端末10bb)と宛先端末(端末10ca)が通信ネットワーク2を介してテレビ会議を開始すること等によって、宛先端末(端末10ba)で画像データの受信の遅延が生じた場合には、中継装置30は今まで中継していた画像データの画質を、高画質から中画質に下げる。このような場合に、中画質を示す品質情報に基づいて、中継装置30が中継する画像データの画質を高画質から中画質に下げるように、変更品質管理テーブル(図10参照)の内容が変更される。
データ品質変更部35は、図8に示されているCPU201からの命令によって実現され、送信元端末から送られて来た画像データの画質を、上記変更された変更品質管理テーブル(図10参照)の内容に基づいて変更する。
記憶・読出処理部39は、図8に示されているCPU201からの命令、及び図8に示されているHDD205によって実現され、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出す処理を行う。
<管理システムの機能構成>
管理システム50は、送受信部51、端末認証部52、状態管理部53、抽出部54、判断部55、セッション管理部56、品質決定部57、遅延時間管理部58、及び記憶・読出処理部59を有している。これら各部は、図8に示されている各構成要素のいずれかが、HD204からRAM203上に展開された管理システム50用のプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、管理システム50は、図8に示されているHD204により構築される記憶部5000を有している。
(中継装置管理テーブル)
図11は、中継装置管理テーブルを示す概念図である。記憶部5000には、図11に示されているような中継装置管理テーブルによって構成されている中継装置管理DB5001が構築されている。この中継装置管理テーブルでは、各中継装置30の中継装置ID毎に、各中継装置30の稼動状態、稼動状態が示される状態情報が管理システム50で受信された受信日時、中継装置30のIPアドレス、及び中継装置30における最大データ通話速度(Mbps)が関連付けられて管理される。例えば、図11に示されている中継装置管理テーブルにおいて、中継装置IDが「111a」の中継装置30aは、稼動状態が「オンライン」で、管理システム50で状態情報が受信された日時が「2011年11月10日の13時00分」で、この中継装置30aのIPアドレスが「1.2.1.2」で、この中継装置30aにおける最大データ通話速度が100Mbpsであることが示されている。
(端末情報管理テーブル)
図12は、端末情報管理テーブルを示す概念図である。記憶部5000には、図12に示されているような端末情報管理テーブルによって構成されている端末情報管理DB5002が構築されている。この端末情報管理テーブルでは、管理システム50によって管理される全ての端末10の各端末IDに対して、認証用のパスワード、端末10のモデル番号、端末10のシリアル番号、端末10の通信方式が関連付けられて管理される。例えば、図12に示されている端末情報管理テーブルにおいて、端末10aaの端末IDは「01aa」で、パスワードは「aaaa」、モデル番号は「9001」、シリアル番号は「2001」、及び通信方式は「専用」であることが示されている。
なお、通信方式が「専用」は、図2及び図4に示されている専用端末Aが利用する通信方式を示している。また、通信方式が「非専用1」は、図4に示されている非専用端末Dが利用する通信方式を示している。更に、通信方式が「非専用2」は、専用端末A及び非専用端末Dがそれぞれ利用する通信方式以外の通信方式を示している。
(端末状態管理テーブル)
図13は、端末状態管理テーブルを示す概念図である。記憶部5000には、図13に示されているような端末状態管理テーブルによって構成されている端末状態管理DB5003が構築されている。この端末状態管理テーブルでは、各端末10の端末ID毎に、各端末10を宛先とした場合の端末名、各端末10の稼動状態、後述のログイン要求情報が管理システム50で受信された受信日時、及び端末10のIPアドレスが関連付けられて管理される。例えば、図13に示されている端末状態管理テーブルにおいて、端末IDが「01aa」の端末10aaは、端末名が「日本 東京事業所 AA端末」で、稼動状態が「オンライン(通話可能)」で、管理システム50でログイン要求情報が受信された日時が「2011年11月10日の13時40分」で、この端末10aaのIPアドレスが「1.2.1.3」であることが示されている。
但し、端末状態管理テーブルには、専用端末A以外の端末10、即ち非専用端末D等のIPアドレスは管理対象外であるため管理されていない。
(宛先リスト管理テーブル)
図14は、宛先リスト管理テーブルを示す概念図である。記憶部5000には、図14に示されているような宛先リスト管理テーブルによって構成されている宛先リスト管理DB5004が構築されている。この宛先リスト管理テーブルでは、通話の開始を要求する要求元端末の端末IDに対して、宛先端末の候補として登録されている宛先端末の端末IDが全て関連付けられて管理される。例えば、図14に示されている宛先リスト管理テーブルにおいて、端末IDが「01aa」である要求元端末(端末10aa)から通話の開始を要求することができる宛先端末の候補は、端末IDが「01ab」の端末10ab、端末IDが「01ba」の端末10ba、及び端末IDが「01bb」の端末10bb等であることが示されている。この宛先端末の候補は、任意の要求元端末から管理システム50に対する追加又は削除の要請により、追加又は削除されることで更新される。なお、端末状態管理テーブル(図13参照)では、専用端末A以外の端末10のIPアドレスは管理対象外であったが、宛先リスト管理テーブル(図14参照)では、専用端末A以外の端末10の端末IDは管理対象になっている。
(セッション管理テーブル)
図15は、セッション管理テーブルを示す概念図である。記憶部5000には、図15に示されているようなセッション管理テーブルによって構成されているセッション管理DB5005が構築されている。このセッション管理テーブルでは、画像データ及び音データの中継に使用される中継装置30の中継装置ID、要求元端末の端末ID、宛先端末の端末ID、宛先端末において画像データが受信される際の受信の遅延時間(ms)、及びこの遅延時間を示す遅延時間情報を宛先端末から送られて来て管理システム50で受信された受信日時が関連付けられて管理される。例えば、図15に示されているセッション管理テーブルにおいて、中継装置30a(中継装置ID「111a」)は、端末IDが「01aa」の要求元端末(端末10aa)と、端末IDが「01ca」の宛先端末(端末10ca)との間で、画像データ及び音データを中継しており、宛先端末(端末10ca)において「2011年11月10日の14時00分」時点における画像データの遅延時間が200(ms)であることが示されている。なお、2つの端末10の間で通話を行う場合には、上記宛先端末ではなく要求元端末から送信されてきた遅延時間情報に基づいて、遅延時間情報の受信日時を管理してもよい。但し、3つ以上の端末10の間で通話を行う場合には、画像データ及び音データの受信側の端末10から送信されてきた遅延時間情報に基づいて、遅延時間情報の受信日時を管理する。
(変換管理テーブル)
図16は、変換管理テーブルを示す概念図である。記憶部5000には、図16に示されているような変換管理テーブルによって構成されている変換管理DB5006が構築されている。この変換管理テーブルでは、非専用端末(非専用1及び非専用2の端末を含む)の端末ID、変換システム80のIPアドレス、及び非専用端末のIPアドレスが関連付けて管理されている。
(品質管理テーブル)
図17は、品質管理テーブルを示す概念図である。記憶部5000には、図17に示されているような品質管理テーブルによって構成されている品質管理DB5007が構築されている。この品質管理テーブルでは、要求元端末又は宛先端末における画像データの遅延時間(ms)が長い程、中継装置30で中継させる画像データの画質を下げるように、画像データの遅延時間を示す遅延時間情報と画像データの画質(画像の品質)を示す画質情報とが関連付けられて管理される。
(管理システムの各機能構成)
次に、管理システム50の各機能構成について詳細に説明する。なお、以下では、管理システム50の各機能構成を説明するにあたって、図8に示されている各構成要素のうち、管理システム50の各機能構成を実現させるための主な構成要素との関係も説明する。
送受信部51は、図8に示されているCPU201からの命令、及び図8に示されているネットワークI/F209によって実行され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。
端末認証部52は、図8に示されているCPU201からの命令によって実現され、送受信部51を介して受信されたログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、端末情報管理テーブル(図12参照)を検索し、この端末情報管理テーブルに同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う。
状態管理部53は、図8に示されているCPU201からの命令によって実現され、ログイン要求してきた要求元端末の稼動状態を管理すべく、端末状態管理テーブル(図13参照)に、この要求元端末の端末ID、要求元端末の稼動状態、管理システム50でログイン要求情報が受信された受信日時、及び要求元端末のIPアドレスを関連付けて記憶して管理する。また、状態管理部53は、利用者が端末10の電源スイッチ109の状態をONからOFFにすることで、端末10から送られてきた、電源をOFFする旨の状態情報に基づいて、端末状態管理テーブル(図13参照)のオンラインを示す稼動状態をオフラインに変更する。
抽出部54は、図8に示されているCPU201からの命令によって実現され、各種検索キーによって、記憶部5000に構築されている各管理DBを検索し、検索キーに対応するデータ(情報)を検索結果として抽出する。
例えば、抽出部54は、ログイン要求した要求元端末の端末IDをキーとして、宛先リスト管理テーブル(図14参照)を検索し、要求元端末と通話することができる宛先端末の候補の端末IDを抽出する。また、抽出部54は、宛先端末の候補の端末IDを検索キーとして、端末状態テーブル(図13参照)を検索し、端末ID毎に稼動状態を抽出する。これにより、抽出部54は、ログイン要求してきた要求元端末と通話することができる宛先端末の候補の稼動状態を取得することができる。
更に、抽出部54は、ログイン要求してきた要求元端末の端末IDをキーとして、宛先リスト管理テーブル(図14参照)を検索し、上記要求元端末の端末IDを宛先端末の候補として登録している他の要求元端末の端末IDも抽出する。また、抽出部54は、端末IDを検索キーとして、端末状態管理テーブル(図13参照)を検索し、ログイン要求してきた要求元端末の稼動状態も取得する。
更に、抽出部54は、送受信部51によって受信された端末10の端末IDを検索キーとして、端末状態管理テーブル(図13参照)を検索することにより、対応する端末10のIPアドレスを抽出する。また、抽出部54は、送受信部51によって受信された端末10の端末IDを検索キーとして端末情報管理テーブル(図12参照)を検索することにより、対応する通信方式情報を抽出する。また、抽出部54は、送受信部51によって受信された端末10の端末IDを検索キーとして変換管理テーブル(図16参照)を検索することにより、対応する変換システム80のIPアドレス及び上記受信された端末IDに係る端末10のIPアドレスを抽出する。
更に、抽出部54は、送受信部51によって受信された遅延時間情報を検索キーとして、品質管理テーブル(図17参照)を検索することにより、対応する画像データの画質情報を抽出する。
更に、抽出部54は、宛先端末のIPアドレスを検索キーとして、端末状態管理テーブル(図13参照)を検索することで、対応する端末IDを抽出する。
続いて、判断部55は、図8に示されているCPU201からの命令によって実現され、端末10で使用される通信方式が、専用端末Aで利用される通信方式であるか否かを判断する。
セッション管理部56は、図8に示されているCPU201からの命令によって実現され、記憶部5000のセッション管理テーブル(図15参照)に、通話データの中継に使用される中継装置30の中継装置ID、要求元端末の端末ID、宛先端末の端末ID、宛先端末において画像データが受信される際の受信の遅延時間(ms)、及びこの遅延時間が示されている遅延時間情報を宛先端末から送られて来て管理システム50で受信された受信日時が関連付けて記憶して管理する。また、セッション管理部56は、通信セッションを確立するために使用されるセッションIDを作成する。
品質決定部57は、抽出部54によって抽出された画像データの画質情報に基づいて、中継装置30に中継させる画像データの画質を決定する。
遅延時間管理部58は、図8に示されているCPU201からの命令によって実現され、セッション管理DB5005(図15参照)のセッション管理テーブルにおいて、上記抽出部54によって抽出された端末IDが含まれるレコードにおける遅延時間のフィールド部分に、上記遅延時間情報で示されている遅延時間を記憶して管理する。
記憶・読出処理部59は、図8に示されているCPU201からの命令、及び図8に示されているHDD205によって実行され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出す処理を行う。
<変換システムの機能構成>
変換システム80は、送受信部81、通信方式変換部82、及び記憶・読出処理部89を有している。これら各部は、図8に示されている各構成要素のいずれかが、HD204からRAM203上に展開された変換システム80用のプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、変換システム80は、図8に示されているRAM203、及び/又は図8に示されているHD204によって構築される記憶部8000を有している。この記憶部8000には、通信データを変換するために利用される変換規則データが記憶されている。
(変換システムの各機能構成)
次に、図8及び図9を用いて、変換システム80の各機能構成について詳細に説明する。なお、以下では、変換システム80の各機能構成を説明するにあたって、図8に示されている各構成要素のうち、変換システム80の各機能構成を実現させるための主な構成要素との関係も説明する。
図9に示されている変換システム80の送受信部81は、図8に示されているCPU201からの命令、及び図8に示されているネットワークI/F209によって実現され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。また、送受信部81は、中継装置30によって送信された宛先情報で示されている宛先に対して、通信セッション(第3の通信セッション)の開始を指示するためのセッション開始指示情報を送信する。なお、宛先情報は、IPアドレス、URI(Uniform Resource Identifier)等である。
通信方式変換部82は、記憶部8000に記憶された通信方式の変換規則データに従って、要求元端末から送信された通話データの通信方式と、宛先端末から送信された通話データの通信方式とを相互変換する。
記憶・読出処理部89は、図8に示されているCPU201からの命令、及び図8に示されているHDD205によって実行され、記憶部8000に各種データを記憶したり、記憶部8000に記憶された各種データを読み出す処理を行う。
<<実施形態の処理または動作>>
次に、図18乃至図25を用いて、2つの専用端末Aの間で通話を行う第1の通信パターンについて説明する。具体的には、専用端末Aとしての端末10aaと、専用端末Aとしての端末10caとの間で、通話を行う場合について説明する。なお、図18は、端末間で通話を開始する準備段階の処理を示すシーケンス図である。また、図18では、全て図2に示されている管理用の通信セッションseiによって、各種管理情報が送受信される。
まず、利用者が、図6及び図7に示されている電源スイッチ109をONにすると、図9に示されている操作入力受付部12が電源オンを受け付けて、図18に示されているように、電源をONにする(ステップS21)。そして、ログイン要求部13は、上記電源オンの受け付けを契機とし、送受信部11から通信ネットワーク2を介して管理システム50に、ログイン要求を示すログイン要求情報を自動的に送信する(ステップS22)。このログイン要求情報には、要求元端末(端末10aa)としての自端末を識別するための端末ID及びパスワードが含まれている。これら端末ID及びパスワードは、記憶・読出処理部19を介して記憶部1000から読み出されて、送受信部11に送られたデータである。なお、要求元端末(端末10aa)から管理システム50へログイン要求情報が送信される際は、受信側である管理システム50は、送信側である要求元端末(端末10aa)のIPアドレスを把握することができる。
次に、管理システム50の端末認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、端末情報管理テーブル(図12参照)を検索し、端末情報管理DB5002に同一の端末ID及びパスワードが管理されているかを判断することによって端末認証を行う(ステップS23)。この端末認証部52によって、同一の端末ID及びパスワードが管理されているため、正当な利用権限を有する端末10からのログイン要求であると判断された場合には、状態管理部53は、端末状態管理テーブル(図13参照)に、要求元端末(端末10aa)の端末ID、稼動状態、上記ログイン要求情報が受信された受信日時、及び要求元端末(端末10aa)のIPアドレスを関連付けて記憶する(ステップS24)。これにより、端末状態管理テーブル(図13参照)には、端末ID「01aa」に、稼動状態「オンライン」、受信日時「2011.11.10.13:40」及び要求元端末(端末10aa)のIPアドレス「1.2.1.3」が関連付けて管理されることになる。
そして、管理システム50の送受信部51は、上記端末認証部52によって得られた認証結果が示された認証結果情報を、通信ネットワーク2を介して、上記ログイン要求してきた要求元端末(端末10aa)に送信する(ステップS25)。本実施形態では、端末認証部52によって正当な利用権限を有する端末10であると判断された場合につき、以下続けて説明する。
管理システム50の抽出部54は、ログイン要求した要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図14参照)を検索し、要求元端末(端末10aa)と通信することができる宛先端末の候補の端末IDを抽出する(ステップS26)。ここでは、要求元端末(端末10aa)の端末ID「01aa」に対応する宛先端末(端末10ab,10ba,・・・)のそれぞれの端末ID(「01ab」、「01ba」、・・・)が抽出されることになる。
次に、抽出部54は、ステップS26によって抽出された宛先端末の候補の端末ID(「01ab」、「01ba」、・・・)を検索キーとして、端末状態管理テーブル(図13参照)を検索し、端末ID毎に稼動状態(「オフライン」、「オンライン」、・・・)を読み出すことにより、端末(10ab,10ba,・・・)の各稼動状態を取得する(ステップS27)。
次に、送受信部51は、上記ステップS27で使用された検索キーとしての端末ID(「01ab」、「01ba」、・・・)と、それぞれに対応する宛先端末(端末10ab,10ba,・・・)のそれぞれの稼動状態(「オフライン」、「オンライン」、・・・)とが含まれた宛先状態情報を、通信ネットワーク2を介して要求元端末(端末10aa)に送信する(ステップS28)。これにより、要求元端末(端末10aa)は、この要求元端末(端末10aa)と通信することができる宛先端末の候補である端末(10ab,10ba,・・・)の現時点のそれぞれの稼動状態(「オフライン」、「オンライン」、・・・)を把握することができる。
更に、抽出部54は、ログイン要求してきた要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、宛先リスト管理テーブル(図14参照)を検索し、上記要求元端末(端末10aa)の端末ID「01aa」を宛先端末の候補として登録している他の要求元端末の端末IDを抽出する(ステップS29)。図14に示されている宛先リスト管理テーブルでは、抽出される他の要求元端末の端末IDは、「01ba」、「01ca」、及び「01da」等である。なお、以下では説明を簡略化するために、抽出される他の要求元端末の端末IDが「01ba」、「01ca」、及び「01da」として説明する。
次に、抽出部54は、上記ログイン要求して来た要求元端末(端末10aa)の端末ID「01aa」を検索キーとして、端末状態管理テーブル(図13参照)を検索し、ログイン要求してきた要求元端末(端末10aa)の稼動状態を取得する(ステップS30)。そして、送受信部51は、上記ステップS29で抽出された端末ID(「01ba」、「01ca」、及び「01da」)に係るそれぞれの端末(10ba,10ca,10da)のうち、端末状態管理テーブル(図13参照)で稼動状態が「オンライン」となっている端末(10ba,10ca)に、上記ステップS30で取得された要求元端末(端末10aa)の端末ID「01aa」と稼動状態「オンライン」が含まれる宛先状態情報を送信する(ステップS31−1,2)。なお、送受信部51が端末(10ba,10ca)に宛先状態情報を送信する際に、各端末ID(「01ba」、「01ca」)に基づいて、端末状態管理テーブル(図13参照)で管理されている端末のIPアドレスを参照する。これにより、ログイン要求した要求元端末(端末10aa)を宛先として通信することができる他の宛先端末(端末10ba,10ca)のそれぞれに、上記ログイン要求した要求元端末(端末10aa)の端末ID「01aa」、及び稼動状態「オンライン」を伝えることができる。
なお、非専用端末Dとしての端末10daは、端末状態管理テーブル(図13参照)で、稼動状態が管理されていないため、端末10daには、ログイン要求した要求元端末(端末10aa)の端末ID「01aa」、及び稼動状態「オンライン」を伝えることができない。即ち、非専用端末D側では、専用端末Aの稼動状態を入手するサービスを受けることができない。
一方、他の端末10でも、上記ステップS21と同様に、利用者が図6及び図7に示されている電源スイッチ109をONにすると、図9に示されている操作入力受付部12が電源オンを受け付け、上記ステップS22〜S31−1,2の処理と同様の処理を行うため、その説明を省略する。
続いて、図6、図9、及び図19乃至図22を用いて、2つの専用端末A間で通話を行う場合について説明する。なお、図19は、通話の開始要求を示すシーケンス図である。
図19に示されているように、まず、専用端末Aとしての要求元端末(端末10aa)の利用者が、図6に示されている操作ボタン108を押下して、宛先候補である専用端末Aとしての宛先端末(端末10ca)を選択すると、図9に示されている操作入力受付部12は、宛先端末(端末10ca)との通話を開始する要求を受け付ける(ステップS41)。そして、要求元端末(端末10aa)の送受信部11は、通話を開始したい旨を示す開始要求情報を、管理システム50へ送信する(ステップS42)。なお、この開始要求情報には、要求元端末(端末10aa)の端末ID「01aa」、及び宛先端末(端末10ca)の端末ID「01ca」が含まれる。
そして、図9に示されている管理システム50の状態管理部53は、開始要求情報に含まれる要求元端末(端末10aa)の端末ID「01aa」及び宛先端末(端末10ca)の端末ID「01ca」に基づき、端末状態管理テーブル(図13参照)において、上記端末ID「01aa」及び端末ID「01ca」がそれぞれ含まれるレコードの稼動状態のフィールド部分を、ともに「オンライン(通話中)」に変更する(ステップS43)。なお、この状態では、要求元端末(端末10aa)と宛先端末(端末10ca)は、通話を開始していないが、通話中状態となり、他の端末10が要求元端末(端末10aa)又は宛先端末(端末10ca)と通話しようとすると、いわゆる通話中状態を示す旨の通知音又は表示が出力される。
次に、管理システム50のセッション管理部56は、通信セッションを確立するために利用されるセッションIDを作成する(ステップS44)。そして、管理システム50は、宛先端末(端末10ca)が利用する通信方式が何であるかを判断する(ステップS45)。
ここで、図20を用いて、ステップS45を詳細に説明する。なお、図20は、通信方式の判断を示すフローチャートである。
図20に示されているように、抽出部54は、送受信部51によって受信された宛先端末(端末10ca)の端末ID「01ca」に基づいて、端末情報管理テーブル(図12参照)を検索することにより、対応する通信方式情報を抽出する(ステップS45−1)。
次に、判断部55は、前記抽出された通信方式情報で示される通信方式が、専用端末Aとしての要求元端末(端末10aa)で利用される通信方式であるか否かを判断する(ステップS45−2)。具体的には、判断部55は、抽出部54で抽出された通信方式情報で示される通信方式が、要求元端末(端末10aa)で利用される通信方式と同じであるか否かを判断する。この通信方式が同じである場合としては、呼制御方式及び符号化方式の両方が同じ場合であり、通信方式が同じでない(異なる)場合としては、呼制御方式と前記符号化方式のうち少なくとも一方が異なる場合である。
そして、上記ステップS45−2によって、判断部55が、通信方式が同じであると判断した場合には(YES)、後述の図21に示されているステップS61の処理に進む。ここでは、宛先端末(端末10ca)は、要求元端末(端末10aa)と同じ専用端末Aであるため、次に、ステップS61から説明する。図21は、2つの専用端末A間で通話を行う前に通信セッションを確立する処理を示すシーケンス図である。なお、本実施形態では、複数の中継装置30のうち、要求元端末(端末10aa)と同じLAN2aに接続された中継装置30aを利用する場合について説明する。
図21に示されているように、管理システム50は、送受信部51から中継装置30aに対して、中継装置30aが確立している通信セッションを初期化させる旨を示すセッション初期化要求情報を送信する(ステップS61)。また、このセッション初期化要求情報には、上記ステップS44で作成されたセッションID、並びに、端末状態管理テーブル(図13参照)で管理されている要求元端末(端末10aa)及び宛先端末(端末10ca)の各IPアドレスが含まれている。また、管理システム50は中継装置30aへ、セッション初期化要求情報を送信する際に、管理システム50のIPアドレスも送信する。これにより、中継装置30aの送受信部31は、セッション初期化要求情報及び管理システム50のIPアドレスを受信することになる。
次に、中継装置30aの送受信部31は、通信セッションの初期化を行う(ステップS62)。そして、送受信部31は、要求元端末(端末10aa)に対して、通信セッションの開始を指示する旨を示すセッション開始指示情報を送信する(ステップS63)。このセッション開始指示情報には、管理システム50から送られてきたセッションIDが含まれている。また、中継装置30aは要求元端末(端末10aa)へ、セッション開始指示情報を送信する際に、中継装置30aのIPアドレスも送信する。これにより、要求元端末(端末10aa)の送受信部11は、セッション開始指示情報及び中継装置30aのIPアドレスを受信することになる。
同様に、送受信部31は、宛先端末(端末10ca)に対して、通信セッションの開始を指示する旨を示すセッション開始指示情報を送信する(ステップS64)。このセッション開始指示情報には、管理システム50から送られてきたセッションIDが含まれている。また、中継装置30aは宛先端末(端末10ca)へ、セッション開始指示情報を送信する際に、中継装置30aのIPアドレスも送信する。これにより、宛先端末(端末10ca)の送受信部11は、セッション開始指示情報及び中継装置30aのIPアドレスを受信することになる。
以上より、上記ステップS63に基づいて、要求元端末(端末10aa)と中継装置30aの間で、通話データを送受信するための通信セッション(図2に示される第1の通信セッションsed1)が確立される(ステップS65−1)。また、上記ステップS64に基づいて、中継装置30aと宛先端末(端末10ca)の間で、通話データを送受信するための通信セッション(図2に示される第2の通信セッションsed2)が確立される(ステップS65−2)。
続いて、図22を用いて、要求元端末と宛先端末との間で、テレビ会議等の通話を行うために、通話データを送受信する処理を説明する。図22は、2つの専用端末A間で通話データを送受信する処理を示したシーケンス図である。なお、端末10aaから端末10caに通話データを送信する一方向の処理と、端末10caから端末10aaに通話データを送信する逆方向の処理とで、通話データの送受信や後述の遅延時間の検出等は同じ処理であるため、上記一方向の通信について説明し、上記逆方向の通信は省略する。
まず、要求元端末(端末10aa)は、撮像部14で撮像された被写体の画像データ、及び音入力部15aで入力された音の音データを、通信セッションsed1を利用して、送受信部11から通信ネットワーク2を介して中継装置30aへ送信する(ステップS81)。なお、本実施形態では、図3に示されている低解像度、中解像度、及び高解像度の3つから成る高画質の画像データ、並びに、音データを送信している。これにより、中継装置30aでは、送受信部31で上記3つの解像度の画像データ及び音データを受信する。そして、データ品質確認部33が、宛先端末(端末10ca)のIPアドレス「1.3.1.3」を検索キーとして、変更品質管理テーブル(図10参照)を検索し、対応した中継する画像データの画質を抽出することで、中継する画像データの画像の品質を確認する(ステップS82)。本実施形態では、確認された画像データの画質が「高画質」であり、送受信部31で受信した画像データの画質と同じであるため、中継装置30aは、通信セッションsed2を利用して、そのままの画質の画像データ、及びそのままの音質の音データで、宛先端末(端末10ca)に転送する(ステップS83)。これにより、宛先端末(端末10ca)は、送受信部11で、低解像度、中解像度、高解像度の3つから成る高画質の画像データ、及び音データを受信する。そして、表示制御部16が、3つの画質の画像データを組み合わせて、ディスプレイ120に画像を表示させると共に、音出力部15bが音データに基づく音を出力させることができる。
次に、宛先端末(端末10ca)の遅延検出部17は、送受信部11で受信された画像データの受信の遅延時間を一定時間毎(例えば、1秒毎)に検出する(ステップS84)。なお、本実施形態では、遅延時間が200(ms)である場合について、以下説明を続ける。
宛先端末(端末10ca)の送受信部11は、図2に示されている管理用の通信セッションseiによって、通信ネットワーク2を介して管理システム50へ、遅延時間「200(ms)」を示す遅延時間情報を送信する(ステップS85)。これにより、管理システム50は、遅延時間を把握すると共に、遅延時間情報の送信元である端末10caのIPアドレス「1.3.1.3」を把握することができる。
次に、管理システム50の遅延時間管理部58は、宛先端末(端末10ca)のIPアドレス「1.3.1.3」を検索キーとして、端末状態管理テーブル(図13参照)を検索することで、対応する端末ID「01ca」を抽出し、更に、セッション管理テーブル(図15参照)において、上記端末ID「01ca」のレコードにおける遅延時間のフィールド部分に、上記遅延時間情報で示されている遅延時間「200(ms)」を記憶して管理する(ステップS86)。
次に、品質決定部57は、上記遅延時間「200(ms)」を検索キーとして、品質管理テーブル(図17参照)を検索し、対応する画像データの画質「中画質」を抽出することで、画質を「中画質」に決定する(ステップS87)。
次に、送受信部51は、セッション管理テーブル(図15参照)において、端末ID「01ca」に関連付けられている中継装置ID「111a」を検索キーとして、中継装置管理テーブル(図11参照)を検索し、対応する中継装置30aのIPアドレス「1.2.1.2」を抽出する(ステップS88)。そして、送受信部51は、管理用の通信セッションseiによって、通信ネットワーク2を介して中継装置30aへ、上記ステップ87によって決定された画像データの画質「中画質」を示す品質情報を送信する(ステップS89)。この品質情報には、上記ステップS86において検索キーとして用いた宛先端末(端末10ca)のIPアドレス「1.3.1.3」が含まれている。これにより、中継装置30aでは、変更品質管理部34が、変更品質管理テーブル(図10参照)に、送信先の端末10(ここでは、端末10ca)のIPアドレス「1.3.1.3」、及び中継される画像データの画質「中画質」を関連付けて記憶して管理する(ステップS90)。
次に、要求元端末(端末10aa)は、引き続き上記ステップS81と同様に、第1の通信セッションsed1によって、中継装置30aへ、低解像度、中解像度、高解像度の3つから成る高画質の画像データ、並びに、音データを送信する(ステップS91)。これにより、中継装置30aでは、上記ステップS82と同様に、データ品質確認部33が、宛先端末(端末10ca)のIPアドレス「1.3.1.3」を検索キーとして、変更品質管理テーブル(図10参照)を検索し、対応した中継する画像データの画質「中画質」を抽出することで、中継される画像データの画像の品質を確認する(ステップS92)。本実施形態では、確認された画像データの画質が「中画質」であり、送受信部31で受信された画像データの画質「高画質」よりも低くなるため、データ品質変更部35は、画像データの画質を「高画質」から「中画質」に抑制することで、画像データの画像の品質を変更する(ステップS93)。
そして、送受信部31は、第2の通信セッションsed2によって、通信ネットワーク2を介して宛先端末(端末10ca)へ、上記画像データの画質が「中画質」に変更された画像データ、及び音の音質が変更されていない音データを送信する(ステップS94)。これにより、宛先端末(端末10ca)は、送受信部11で、低解像度、中解像度の2つから成る中画質の画像データ、及び音データを受信する。そして、表示制御部16が、2つの解像度の画像データを組み合わせて、ディスプレイ120caに画像を表示させると共に、音出力部15bが音データに基づく音を出力させることができる。
このように、画像データを受信する宛先端末(端末10ca)で、受信の遅延が生じた場合には、中継装置30aは画像の品質を変更し、テレビ会議等の通話に参加している利用者に違和感を与えないようにすることができる。即ち、2つの専用端末A間では、画像データの受信の遅延に対処するサービスを受けることができる。
続いて、図20、図23乃至図25を用いて、専用端末A(第1の通信端末の一例)と非専用端末D(第2の通信端末の一例)の間で通話を行う第2の通信パターンについて説明する。具体的には、専用端末Aとしての端末10aaと、非専用端末Dとしての端末10daとの間で、通話を行う。また、本実施形態では、端末10aaで利用される通信方式は、呼制御方式がインスタントメッセンジャーのプロトコル(または、インスタントメッセンジャーのプロトコルを拡張したプロトコル)で、符号化方式がSVCであり、端末10daで利用される通信方式は、呼制御方式がSIPで、符号化方式がAVCである場合について説明する。
なお、図18及び図19において、第1の通信パターンと第2の通信パターンとでは、ステップS41における宛先の選択が、宛先端末(端末10ca)から宛先端末(端末10da)に変更され、この変更に応じて送受信や検索に利用される宛先端末の端末IDが異なるだけであるため、それらの説明を省略する。そして、図20に示されているステップS45−2によって、判断部55が、通信方式が同じでない(異なる)と判断した場合(NO)から説明する。
この第2の通信パターンの場合、抽出部54は、送受信部51で受信された宛先端末(端末10da)の端末ID「01da」に基づいて、変換管理テーブル(図16参照)を検索することにより、対応する変換システム80のIPアドレス「1.3.2.2」及び宛先端末(端末10da)のIPアドレス「1.3.2.3」を抽出する(ステップS45−3)。そして、後述の図23に示されているステップS101の処理に進む。
図23は、専用端末Aと非専用端末Dとの間で通話を行う前に通信セッションを確立する処理を示すシーケンス図である。図23に示されているように、管理システム50は、送受信部51から中継装置30aに対して、中継装置30aが確立している通信セッションを初期化させる旨を示すセッション初期化要求情報を送信する(ステップS101)。また、このセッション初期化要求情報には、セッションID、並びに、要求元端末(端末10aa)、変換システム80及び宛先端末(端末10da)の各IPアドレスが含まれている。このうち、セッションIDは、ステップS44で作成されたIDである。また、要求元端末(端末10aa)のIPアドレスは、端末状態管理テーブル(図13参照)で管理されている。更に、変換システム80及び宛先端末(端末10da)の各IPアドレスは、上記ステップS45−3で抽出されたIPアドレスである。
また、管理システム50は中継装置30aへ、セッション初期化要求情報を送信する際に、管理システム50のIPアドレスも送信する。これにより、中継装置30aの送受信部31は、セッション初期化要求情報及び管理システム50のIPアドレスを受信することになる。
次に、中継装置30aの送受信部31は、通信セッションの初期化を行う(ステップS102)。そして、送受信部31は、要求元端末(端末10aa)に対して、通信セッションの開始を指示する旨を示すセッション開始指示情報を送信する(ステップS103)。このセッション開始指示情報には、管理システム50から送られてきたセッションIDが含まれている。また、中継装置30aは要求元端末(端末10aa)へ、セッション開始指示情報を送信する際に、中継装置30aのIPアドレスも送信する。これにより、要求元端末(端末10aa)の送受信部11は、セッション開始指示情報及び中継装置30aのIPアドレスを受信することになる。
同様に、送受信部31は、変換システム80に対して、通信セッションの開始を指示する旨を示すセッション開始指示情報を送信する(ステップS104)。このセッション開始指示情報には、管理システム50から送られてきたセッションID及び宛先端末(端末10da)IPアドレスが含まれている。即ち、送受信部31は、セッション開始指示情報を送信すると共に宛先端末(端末10da)IPアドレスを送信することになる。また、中継装置30aは変換システム80へ、セッション開始指示情報を送信する際に、中継装置30aのIPアドレスも送信する。これにより、変換システム80の送受信部81は、セッション開始指示情報及び中継装置30aのIPアドレスを受信することになる。
更に、第2の通信パターンでは、変換システム80の送受信部81が、宛先端末(端末10da)に対して、通信セッションの開始を指示する旨を示すセッション開始指示情報を送信する(ステップS105)。このセッション開始指示情報には、管理システム50から送られてきたセッションIDが含まれている。また、変換システム80は宛先端末(端末10da)へ、セッション開始指示情報を送信する際に、変換システム80のIPアドレスも送信する。これにより、宛先端末(端末10da)の送受信部11は、セッション開始指示情報及び変換システム80のIPアドレスを受信することになる。
以上より、上記ステップS103に基づいて、要求元端末(端末10aa)と中継装置30aの間で、通話データを送受信するための通信セッション(図4に示される第1の通信セッションsed11)が確立される(ステップS106−1)。また、上記ステップS104に基づいて、中継装置30aと変換システム80の間で、通話データを送受信するための通信セッション(図4に示される第2の通信セッションsed12)が確立される(ステップS106−2)。更に、上記ステップS105に基づいて、変換システム80と宛先端末(端末10da)との間で、通話データを送受信するための通信セッション(図4に示される第3の通信セッションsed13)が確立される(ステップS106−3)。
続いて、図24を用いて、要求元端末と宛先端末との間で、テレビ会議等の通話を行うために、通話データを送受信する処理を説明する。図24は、専用端末Aと非専用端末Dとの間で通話データを送受信する処理を示したシーケンス図である。
まず、要求元端末(端末10aa)は、撮像部14で撮像された被写体の画像データ、及び音入力部15aで入力された音の音データを、通信セッションsed11を利用して、送受信部11から通信ネットワーク2を介して中継装置30aへ送信する(ステップS121)。なお、第2の通信パターンにおいても第1の通信パターンと同様に、図3に示されている低解像度、中解像度、及び高解像度の3つから成る高画質の画像データ、並びに、音データを送信している。これにより、中継装置30aでは、送受信部31で上記3つの解像度の画像データ及び音データを受信する。
次に、中継装置30aは、通信セッションsed12を利用し、送受信部31から通信ネットワーク2を介して変換システム80へ、上記3つから成る高画質の画像データ、及び音データを送信する(ステップS122)。これにより、変換システム80では、送受信部81で上記3つの解像度の画像データ及び音データを受信する。
次に、変換システム80の通信方式変換部82は、予め記憶部8000に記憶されている変換規則データに基づいて、上記3つの解像度の画像データを、要求元端末(端末10aa)で利用されている通信方式から、宛先端末(端末10da)で利用されている通信方式に変換する(ステップS123)。ここでは、通信方式の変換に伴って、図3に示されている3つの解像度(高解像度、中解像度、低解像度)の画像データは、図5に示されている1つの解像度(中解像度)の画像データに変換される。
次に、変換システム80は、通信セッションsed13を利用し、送受信部81から通信ネットワーク2を介して端末10daへ、音データ及び中解像度の画像データを送信する(ステップS124)。これにより、宛先端末(端末10da)では、送受信部11で音データ及び中解像度の画像データを受信する。
一方、宛先端末(端末10da)から要求元端末(端末10aa)へ画像データ及び音データを送信する場合には、図24に示されているように、宛先端末(端末10da)は、通信セッションsed13を利用し、送受信部11から通信ネットワーク2を介して変換システム80へ、音データ及び中解像度の画像データを送信する(ステップS125)。これにより、変換システム80では、送受信部81で音データ及び中解像度の画像データを受信する。
次に、変換システム80の通信方式変換部82は、予め記憶部8000に記憶されている変換規則データに基づいて、音データ及び中解像度の画像データを、宛先端末(端末10da)で利用されている通信方式から、要求元端末(端末10aa)で利用されている通信方式に変換する(ステップS126)。
なお、図25は、変換システムで変換された後の画像データの画質を示す概念図である。ステップS126では、通信方式の変換に伴って、図5に示されている1つの解像度(中解像度)の画像データは、図25(a)に示されている中解像度の画像データ、図25(c)に示されている低解像度の画像データ、及び、図25(b)に示されているように、中解像度と低解像度の中間の解像度である低中間解像度の画像データに変換される。即ち、非専用端末Dである宛先端末(端末10da)から、中解像度の画像データが送られてきても、変換システム80では、上記ステップS122で送られてきたような高解像度の画像データに変換することができず、宛先端末(端末10da)から送られてきた中解像度の画像データが最大の解像度となって、中解像度、中解像度と低解像度の中間の解像度、及び低解像度の3つの画像データに変換される。
次に、変換システム80は、通信セッションsed12を利用し、送受信部81から通信ネットワーク2を介して中継装置30aへ、音データ及び3つの解像度の画像データを送信する(ステップS127)。これにより、中継装置30aでは、送受信部31で音データ及び3つの解像度の画像データを受信する。そして、中継装置30aは、通信セッションsed11を利用し、送受信部31から通信ネットワーク2を介して要求元端末(端末10aa)へ、音データ及び3つの解像度の画像データを送信する(ステップS128)。これにより、要求元端末(端末10aa)では、送受信部11で音データ及び3つの解像度の画像データを受信する。
<<本実施形態の主な効果>>
以上説明したように本実施形態によれば、管理システム50から中継装置30aへ送信されるセッション初期化要求情報には、要求元端末、変換システム80及び宛先端末の各IPアドレスが含まれている。これにより、中継装置30aは、要求元端末のIPアドレスに対してセッション開始指示情報を送信し、変換システム80のIPアドレスに対して、宛先端末のIPアドレスを含んだセッション開始指示情報を送信することができる。これにより、更に、変換システム80は、宛先端末のIPアドレスに対してセッション開始指示情報を送信することができる。
このような管理システム50によるセッション初期化要求情報の送信によって、中継装置30と要求元端末との間で第1の通信セッションsed11を確立させ、また、中継装置30と変換システム80との間で第2の通信セッションsed12を確立させ、更に、変換システム80と宛先端末との間で第3の通信セッションsed13を確立させることができる。従って、要求元端末と宛先端末が異なる通話方式を使用する場合であっても、変換システム80によって通話データの通信方式が相互変換されるため、通話を実現することができるという効果を奏する。
<<実施形態の補足>>
上記では、第1の通信端末の一例として要求元端末又は専用端末Aを説明し、第2の通信端末の一例として宛先端末又は非専用端末Dを説明したが、これに限るものではなく、第1の通信端末の一例として宛先端末又は非専用端末Dとし、第2の通信端末の一例として要求元端末又は専用端末Aとしてもよい。
また、上記通話データは、通信データの一例である。この通信データには、テキストや画像のファイルデータも含まれる。また、通話端末10は、通信端末の一例である。この通信端末には、通話を行う端末以外に、例えば、上記ファイルデータを送受信する情報処理端末も含まれる。更に、通話管理システム50は、通信管理システムの一例である。この通信管理システムには、通話を管理するシステム以外に、例えば、上記ファイルデータの処理を管理するファイル管理システムも含まれる。更にまた、通話システム1は、通信システムの一例である。この通信システムは、上記通信端末及び通信管理システムによって構築されている。
上記実施形態では、管理システム50が、端末情報管理テーブル(図12参照)で通信方式情報を管理しているが、これに限るものではなく、要求元端末が、宛先端末の通信方式情報を管理してもよい。
これにより、図19に示されているステップS42において、要求元端末(端末10aa)が、要求元端末の端末IDと宛先端末の端末IDと共に通信方式情報を開始要求情報に含ませて管理システム50に送ることができる。なお、この場合に、図19のステップS41において、表示制御部16はディスプレイ120上に、通話の宛先である非専用端末を選択するための選択画面を表示して、ユーザに選択を促すようにしてもよい。
そして、この選択画面から宛先が選択されると、図19のS42において、要求元端末(端末10aa)は、開始要求情報に、宛先端末IDが非専用端末であることを示す情報(通信方式情報)を含めて管理システムへ送信する。この場合には、管理システム50が、図20のステップS45−1を実行する必要はなく、開始要求情報に含まれる通信方式情報に基づいて宛先端末の通信方式が専用でないことを判断して(図20のステップS45−2のNO)、図20のステップS45−3へと進む。
また、必ずしもユーザが選択画面から宛先を選択する必要はない。例えば、宛先端末の宛先情報を予めユーザが把握している場合には、操作入力受付部12は、ユーザから宛先端末の宛先情報(IPアドレス等)の入力を受け付けても良い。この場合には、ステップS42において、要求元端末が、宛先端末の端末IDではなく、宛先端末の宛先情報と、宛先端末が非専用端末であること示す情報(通信方式情報)を含めて開始要求情報を管理システム50へ送信する。そして、管理システム50側では、判断部55が、ステップS45−2において、宛先情報で示される宛先端末が専用端末でないと判断して、ステップS45−3の処理へ進む。更に、ステップS45−3において、抽出部54は、非専用端末の宛先情報に基づいて、変換システム80の宛先情報を抽出し、ステップS101の処理へ進む。
更に、端末IDは、工場出荷時等に端末10に予め記憶されていてもよいし、ユーザによって入力されてもよい。
また、上記実施形態における中継装置30、管理システム50、変換システム80、プログラム提供システム90、及びメンテナンスシステム100は、単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。また、プログラム提供システム90が単一のコンピュータによって構築されている場合には、プログラム提供システム90によって送信されるプログラムは、複数のモジュールに分けて送信されるようにしてもよいし、分けないで送信されるようにしてもよい。更に、プログラム提供システム90が複数のコンピュータによって構築されている場合には、複数のモジュールが分けられた状態で、各コンピュータから送信されるようにしてもよい。
更に、本実施形態では、端末間で呼制御方式が異なる例として、インスタントメッセンジャーのプロトコル(またはインスタントメッセンジャーのプロトコルを拡張したプロトコル)とSIPを説明したが、端末間で呼制御方式が異なっていれば、これらの組み合わせに限るものではない。例えば、インスタントメッセンジャーのプロトコル(またはインスタントメッセンジャーのプロトコルを拡張したプロトコル)と、H.323との組み合わせであってもよい。また、インスタントメッセンジャーのプロトコルと、インスタントメッセンジャーのプロトコルを拡張したプロトコルとの組み合わせであってもよい。
また、上記実施形態の各プログラムが記憶されたCD−ROM等の記録媒体、並びに、これらプログラムが記憶されたHD204、及びこのHD204を備えたプログラム提供システム90は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
更に、上記実施形態では、図10に示されている変更品質管理テーブル、及び図17に示されている品質管理テーブルによって、中継装置30で中継される画像データの画像の品質の一例として、画像データの画像の解像度に着目して管理したが、これに限られるものではない。品質の他の例として、画像データの画質の深度、音データの音におけるサンプリング周波数、音データの音におけるビット長などに着目して管理してもよい。また、音データが3種類の解像度(高解像度、中解像度、低解像度)のデータに分かれて送受信されるようにしてもよい。
また、図11、図13、及び図15では、受信日時について管理しているが、これに限るものではなく、受信日時のうち少なくとも受信時間を管理すればよい。
更に、上記実施形態では、図11で中継装置30のIPアドレス、図13で端末10のIPアドレスを管理することとしたが、これに限るものではなく、通信ネットワーク2上で中継装置30を特定するための宛先情報、又は通信ネットワーク2上で端末10を特定するための宛先情報であれば、それぞれのFQDN(Fully Qualified Domain Name)を管理してもよい。この場合、周知のDNS(Domain Name System)サーバによって、FQDNに対応するIPアドレスが取得されることになる。
また、上記実施形態では、通話システム1の一例として、テレビ会議システムの場合について説明したが、これに限るものではなく、IP(Internet Protocol)電話や、インターネット電話等の電話システムであってもよい。また、通話システム1は、カーナビゲーションシステムであってもよい。この場合、例えば、端末10の一方が自動車に搭載されたカーナビゲーション装置に相当し、端末10の他方が、カーナビゲーションを管理する管理センターの管理端末若しくは管理サーバ、又は他の自動車に搭載されているカーナビゲーション装置に相当する。また、通話システム1は、携帯電話機の通信システムであってもよい。この場合、例えば、端末10は携帯電話機に相当する。
また、上記実施形態では、通話データの一例として、画像データ及び音データについて説明したが、これに限るものではなく、触覚(touch)データであってもよい。この場合、一方の端末側でユーザが接触した感覚が、他方の端末側に通話される。更に、通話データは、嗅覚(smell)データであってもよい。この場合、一方の端末側の匂い(臭い)が、他の端末側に通話される。また、通話データは、画像データ、音データ、触覚データ、及び嗅覚データのうち、少なくとも1つのデータであればよい。
また、上記実施形態では、通話システム1によってテレビ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、又は、一方向での情報の提示に使用されても構わない。
1 通話システム(通信システムの一例)
10 通話端末(通信端末の一例)
11 送受信部
30 中継装置
50 通話管理システム(通信管理システムの一例)
51 送受信部(送信手段の一例、受信手段の一例)
54 抽出部(抽出手段の一例)
55 判断部(判断手段の一例)
80 変換システム
81 送受信部
82 通信方式変換部(変換手段の一例)
90 プログラム提供システム
100 メンテナンスシステム
1000 記憶部
3000 記憶部
3001 変更品質管理DB
5000 記憶部(記憶手段の一例)
5001 中継装置管理DB
5002 端末情報管理DB(端末情報管理手段の一例)
5003 端末状態管理DB(端末状態管理手段の一例)
5004 宛先リスト管理DB
5005 セッション管理DB
5006 変換管理DB(変換管理手段の一例)
5007 品質管理DB
8000 記憶部
特開2008−227577号公報

Claims (16)

  1. 少なくとも呼制御方式及び通信データの符号化方式の何れかを示す第1の通信方式を利用して通信データを送信又は受信する宛先を管理する管理システムと、
    前記第1の通信方式を利用して通信データを送信又は受信する第1の通信端末と、
    を有する通信システムであって、
    前記第1の通信端末は、
    前記管理システムから受信した前記宛先の何れかと通信を開始する場合に、前記宛先のうち利用者によって選択された宛先との通信を開始するために第1の要求情報を送信し、前記第1の通信方式と少なくとも呼制御方式及び通信データの符号化方式の何れかが異なる第2の通信方式を利用する第2の通信端末と通信を開始する場合に、利用者によって入力されたアドレス情報に対応する前記第2の通信端末との通信を開始するために第2の要求情報を送信する送信手段を有し、
    前記送信手段によって前記第1の要求情報が送信された場合には、前記通信データを中継する中継装置と前記第1の通信端末との間で第1のセッションを確立させることで、前記第1の通信端末が前記選択された宛先との間で前記第1のセッションを用いて通信データを送受信可能な状態とし、
    前記送信手段によって前記第2の要求情報が送信された場合には、通信データを変換することによって前記第1の通信方式と前記第2の通信方式との間で相互利用を可能とするゲートウェイと前記第2の通信端末との間で第2のセッションを確立させることで、前記第2の通信端末が前記第1の通信端末との間で前記通信データを中継する中継装置に加えて前記ゲートウェイを介して前記第2のセッションを用いて通信データを送受信可能な状態とすることを特徴とする通信システム。
  2. 前記第1の通信端末は、前記第2の通信端末に対応するアドレス情報の入力を受け付ける操作受付手段をさらに有することを特徴とする請求項1に記載の通信システム。
  3. 前記第2の通信端末に対応する宛先を選択するための選択画面を表示画面に表示させる表示制御手段をさらに有し、
    前記送信手段は、前記表示制御手段によって表示された前記選択画面から利用者に選択された前記第2の通信端末に対応する宛先との通信を開始するために前記第2の要求情報を送信することを特徴とする請求項1又は2に記載の通信システム。
  4. 前記第1の通信端末は、前記送信手段によって前記第2の要求情報を送信する際に、前記第2の通信方式を示す通信方式情報を送信し、
    前記通信システムは、前記送信された前記通信方式情報を受信する受信手段を有することを特徴とする請求項1乃至3のいずれか一項に記載の通信システム。
  5. 前記第2の通信方式を示す通信方式情報に基づいて、前記第2の通信端末が利用する通信方式が前記第1の通信端末が利用する通信方式と同じか否かを判断する判断手段を有し、
    前記判断手段によって同じでないと判断された場合に、前記ゲートウェイと通信可能な中継装置を、前記第2の通信端末との間で前記ゲートウェイを介してセッションを確立させることを特徴とする請求項1乃至4のいずれか一項に記載の通信システム。
  6. 前記通信システムはテレビ会議システムであって、前記通信端末はテレビ会議用端末であり、前記通信データは少なくとも呼制御に係るデータ及び映像データの何れかを含むことを特徴とする請求項1乃至5のいずれか一項に記載の通信システム。
  7. 前記通信データは前記映像データを含むことを特徴とする請求項6に記載の通信システム。
  8. 前記送信手段によって送信される前記第2の要求情報は、前記ゲートウェイと通信可能な中継装置へ、当該中継装置が前記第2の通信端末との間で前記ゲートウェイを介してセッションを確立するための要求であることを特徴とする請求項1乃至7のいずれか一項に記載の通信システム。
  9. 前記第1の通信方式は呼制御方式であって、前記第2の通信方式は、SIP又はH.323のいずれかであることを特徴とする請求項1乃至8のいずれか一項に記載の通信システム。
  10. 前記第1の通信方式は符号化方式であって、該符号化方式はH.264/SVCの映像符号化標準規格に準拠しており、前記第2の通信方式はH.264/AVCの映像符号化標準規格に準拠していることを特徴とする請求項1乃至8のいずれか一項に記載の通信システム。
  11. 前記ゲートウェイは、1以上のコンピュータによって構築されることを特徴とする請求項1乃至10のいずれか一項に記載の通信システム。
  12. 前記管理システムは、1以上のコンピュータによって構築されることを特徴とする請求項1乃至11のいずれか一項に記載の通信システム。
  13. 前記管理システム、前記中継装置、及び前記ゲートウェイは、1以上のコンピュータによって構築されることを特徴とする請求項1乃至12のいずれか一項に記載の通信システム。
  14. 少なくとも呼制御方式及び通信データの符号化方式の何れかを示す第1の通信方式を利用して通信データを送信又は受信する宛先を管理する管理システムと、
    前記第1の通信方式を利用して通信データを送信又は受信する第1の通信端末と、
    を有する通信システムが実行する通信方法であって、
    前記第1の通信端末は、
    前記管理システムから受信した前記宛先の何れかと通信を開始する場合に、前記宛先のうち利用者によって選択された宛先との通信を開始するために第1の要求情報を送信し、前記第1の通信方式と少なくとも呼制御方式及び通信データの符号化方式の何れかが異なる第2の通信方式を利用する第2の通信端末と通信を開始する場合に、利用者によって入力されたアドレス情報に対応する前記第2の通信端末との通信を開始するために第2の要求情報を送信する送信ステップを有し、
    前記送信ステップによって前記第1の要求情報が送信された場合には、前記通信データを中継する中継装置と前記第1の通信端末との間で第1のセッションを確立させることで、前記第1の通信端末が前記選択された宛先との間で前記第1のセッションを用いて通信データを送受信可能な状態とし、
    前記送信ステップによって前記第2の要求情報が送信された場合には、通信データを変換することによって前記第1の通信方式と前記第2の通信方式との間で相互利用を可能とするゲートウェイと前記第2の通信端末との間で第2のセッションを確立させることで、前記第2の通信端末が前記第1の通信端末との間で前記通信データを中継する中継装置に加えて前記ゲートウェイを介して前記第2のセッションを用いて通信データを送受信可能な状態とすることを特徴とする通信方法。
  15. 少なくとも呼制御方式及び通信データの符号化方式の何れかを示す第1の通信方式を利用して通信データを送信又は受信する宛先を管理する管理システムであって、
    前記第1の通信方式を利用して通信データを送信又は受信する前記第1の通信端末から、前記第1の通信端末が前記宛先の何れかと通信を開始する場合に、前記宛先のうち利用者によって選択された宛先との通信を開始するための第1の要求情報を受信し、前記第1の通信端末が前記第1の通信方式と少なくとも呼制御方式及び通信データの符号化方式の何れかが異なる第2の通信方式を利用する第2の通信端末と通信を開始する場合に、利用者によって入力されたアドレス情報に対応する前記第2の通信端末との通信を開始するための第2の要求情報を受信する受信手段と、
    を有し、
    前記受信手段によって前記第1の要求情報を受信した場合には、前記通信データを中継する中継装置と前記第1の通信端末との間で第1のセッションを確立させることで、前記第1の通信端末が前記選択された宛先との間で前記1のセッションを用いて通信データを送受信可能な状態とし、
    前記受信手段によって前記第2の要求情報が送信された場合には、通信データを変換することによって前記第1の通信方式と前記第2の通信方式との間で相互利用を可能とするゲートウェイと前記第2の通信端末との間で第2のセッションを確立させることで、前記第2の通信端末が前記第1の通信端末との間で前記通信データを中継する中継装置に加えて前記ゲートウェイを介して前記第2のセッションを用いて通信データを送受信可能な状態とすることを特徴とする管理システム。
  16. コンピュータを、少なくとも呼制御方式及び通信データの符号化方式の何れかを示す第1の通信方式を利用して通信データを送信又は受信する宛先を管理する管理システムとして機能させるプログラムであって、
    前記コンピュータに、
    前記第1の通信方式を利用して通信データを送信又は受信する前記第1の通信端末から、前記第1の通信端末が前記宛先の何れかと通信を開始する場合に、前記宛先のうち利用者によって選択された宛先との通信を開始するための第1の要求情報を受信し、前記第1の通信端末が前記第1の通信方式と少なくとも呼制御方式及び通信データの符号化方式の何れかが異なる第2の通信方式を利用する第2の通信端末と通信を開始する場合に、利用者によって入力されたアドレス情報に対応する前記第2の通信端末との通信を開始するための第2の要求情報を受信する受信処理を実行させ、
    前記受信処理によって前記第1の要求情報を受信した場合には、前記通信データを中継する中継装置と前記第1の通信端末との間で第1のセッションを確立させることで、前記第1の通信端末が前記選択された宛先との間で前記1のセッションを用いて通信データを送受信可能な状態とし、
    前記受信処理によって前記第2の要求情報が送信された場合には、通信データを変換することによって前記第1の通信方式と前記第2の通信方式との間で相互利用を可能とするゲートウェイと前記第2の通信端末との間で第2のセッションを確立させることで、前記第2の通信端末が前記第1の通信端末との間で前記通信データを中継する中継装置に加えて前記ゲートウェイを介して前記第2のセッションを用いて通信データを送受信可能な状態とすることを特徴とするプログラム。
JP2019232755A 2011-12-27 2019-12-24 通信システム、通信方法、管理システム、及びプログラム Active JP6813078B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011285768 2011-12-27
JP2011285768 2011-12-27

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018122578A Division JP6638768B2 (ja) 2011-12-27 2018-06-28 通信システムおよび通信方法

Publications (3)

Publication Number Publication Date
JP2020061763A JP2020061763A (ja) 2020-04-16
JP2020061763A5 JP2020061763A5 (ja) 2020-08-27
JP6813078B2 true JP6813078B2 (ja) 2021-01-13

Family

ID=54933156

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2015157212A Active JP5835516B1 (ja) 2011-12-27 2015-08-07 通信管理システム、通信システム、通信方法、及びプログラム
JP2017007510A Active JP6361750B2 (ja) 2011-12-27 2017-01-19 通信システム、通信方法、通信管理システム、通信管理方法、及びプログラム
JP2018122578A Active JP6638768B2 (ja) 2011-12-27 2018-06-28 通信システムおよび通信方法
JP2019232755A Active JP6813078B2 (ja) 2011-12-27 2019-12-24 通信システム、通信方法、管理システム、及びプログラム

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2015157212A Active JP5835516B1 (ja) 2011-12-27 2015-08-07 通信管理システム、通信システム、通信方法、及びプログラム
JP2017007510A Active JP6361750B2 (ja) 2011-12-27 2017-01-19 通信システム、通信方法、通信管理システム、通信管理方法、及びプログラム
JP2018122578A Active JP6638768B2 (ja) 2011-12-27 2018-06-28 通信システムおよび通信方法

Country Status (1)

Country Link
JP (4) JP5835516B1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195215B1 (en) * 2020-12-08 2021-12-07 U.S. Bank National Association Ambient transaction system
CN113099152B (zh) * 2021-03-31 2022-11-29 北京奇艺世纪科技有限公司 一种多系统间通话方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6104711A (en) * 1997-03-06 2000-08-15 Bell Atlantic Network Services, Inc. Enhanced internet domain name server
JP4849365B2 (ja) * 2001-04-17 2012-01-11 尹 在一 VoIP電話交換制御ネットワークシステム
US7149515B2 (en) * 2003-10-17 2006-12-12 Motorola, Inc. Vocoder selection method
KR100915448B1 (ko) * 2007-12-07 2009-09-04 한국전자통신연구원 통신시스템 및 그 코덱 할당방법
JP5214318B2 (ja) * 2008-04-30 2013-06-19 エヌ・ティ・ティ・コミュニケーションズ株式会社 ゲートウェイ装置、VoIP網相互接続システム、通信方法、及びプログラム
JP2011029827A (ja) * 2009-07-23 2011-02-10 Sony Corp 呼制御装置、情報通信方法、情報通信プログラム、及び情報通信システム
JP4947160B2 (ja) * 2010-02-02 2012-06-06 沖電気工業株式会社 コーデック変換装置
JP5521694B2 (ja) * 2010-03-29 2014-06-18 株式会社リコー 遠隔通信システム、及びプログラム
JP5656712B2 (ja) * 2011-03-29 2015-01-21 西日本電信電話株式会社 通信制御装置、通信制御方法

Also Published As

Publication number Publication date
JP2017126985A (ja) 2017-07-20
JP2018191301A (ja) 2018-11-29
JP2020061763A (ja) 2020-04-16
JP5835516B1 (ja) 2015-12-24
JP2016015742A (ja) 2016-01-28
JP6361750B2 (ja) 2018-07-25
JP6638768B2 (ja) 2020-01-29

Similar Documents

Publication Publication Date Title
JP6079174B2 (ja) 通信管理システム、通信システム、プログラム、及びメンテナンスシステム
JP6136367B2 (ja) 通信管理システム、通信システム、及びプログラム
JP6263843B2 (ja) 通信管理システム、通信管理方法、及びプログラム
JP6136217B2 (ja) 通信管理システム、通信システム、プログラム、及びメンテナンスシステム
JP6155819B2 (ja) 端末、通信方法、及びプログラム
JP6330354B2 (ja) 通信管理システム、通信管理方法、及びプログラム
JP2017041831A (ja) 通信システム、通信管理システム、通信管理方法、及びプログラム
JP6347115B2 (ja) 通信管理システム、通信管理方法、及びプログラム
JP6813078B2 (ja) 通信システム、通信方法、管理システム、及びプログラム
EP2845375B1 (en) Communication terminal, communication function starting method, and computer-readable recording medium
JP6835181B2 (ja) 管理システム、通信制御方法、プログラム及び通信システム
JP2020061763A5 (ja)
JP6182935B2 (ja) 通信管理システム、通信管理方法、プログラム、及び通信システム
JP2018191301A5 (ja)
JP2017126985A5 (ja)
JP5907304B2 (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム
JP6443532B2 (ja) 通信システム、通信方法、及びプログラム
JP7060543B2 (ja) 端末、通信機能起動方法、通信システム及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201130

R151 Written notification of patent or utility model registration

Ref document number: 6813078

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151