JP6661940B2 - 通信端末、通信システム、制御方法、及びプログラム - Google Patents

通信端末、通信システム、制御方法、及びプログラム Download PDF

Info

Publication number
JP6661940B2
JP6661940B2 JP2015191005A JP2015191005A JP6661940B2 JP 6661940 B2 JP6661940 B2 JP 6661940B2 JP 2015191005 A JP2015191005 A JP 2015191005A JP 2015191005 A JP2015191005 A JP 2015191005A JP 6661940 B2 JP6661940 B2 JP 6661940B2
Authority
JP
Japan
Prior art keywords
image
resolution
display
terminal
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015191005A
Other languages
English (en)
Other versions
JP2017069663A (ja
Inventor
加藤 喜永
喜永 加藤
倫希 神田
倫希 神田
周平 坪根
周平 坪根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2015191005A priority Critical patent/JP6661940B2/ja
Priority to EP16188399.6A priority patent/EP3151550A1/en
Priority to US15/270,235 priority patent/US10185531B2/en
Publication of JP2017069663A publication Critical patent/JP2017069663A/ja
Priority to US16/210,769 priority patent/US10592191B2/en
Application granted granted Critical
Publication of JP6661940B2 publication Critical patent/JP6661940B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827Network arrangements for conference optimisation or adaptation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567Multimedia conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Description

本発明は、表示制御装置、通信端末、通信システム、表示制御方法、及びプログラムに関する。
近年、当事者の移動の経費や時間を削減する要請に伴い、インターネット等の通信ネットワークを介してテレビ会議などを行う通信システムが普及している。このような通信システムでは、通信端末間の通信が確立すると二以上の通信端末の間で画像データ及び音データの送受信が行われる。また、テレビ会議用の通信システムでは、テレビ会議端末において撮像された撮像画像の画像データと、テレビ会議端末へ入力された会議資料などの画像データと、を、通信端末間で送信することもできる。
特許文献1には、相手側の伝送端末から送信された画像データ及び表示データを伝送端末が受信すると、画像データ及び表示データによって表される各画像をディスプレイに表示させることが開示されている。特許文献1の画面表示の例では、画面左部には、外部入力装置から入力された表示画像が表示され、画面右上部には、相手側の伝送端末から送られてきた撮像画像が表示されている。
しかしながら、情報処理装置から取得した画像を表示制御装置側で画面の指定された領域に表示する場合に、取得した画像の解像度によっては、例えば、表示される画像が指定された領域からはみ出したり、見切れたりする等して、適切に表示制御できなくなる。このため、表示画像の視認性が低下するという課題が生じる。
請求項1に係る発明の通信端末は、画面に画像を表示するときの前記画像の表示領域のサイズの変更を受け付ける受付手段と、前記表示領域の前記変更されたサイズに対応して更新された解像度を示す解像度情報を情報処理装置へ送信する送信手段と、前記情報処理装置において生成され、前記解像度情報によって示される前記更新された解像度の画像データを取得する取得手段と、前記取得手段により取得された前記画像データおよび他の通信端末から取得した画像データを含む画像の種類を示す画像情報と、前記画像を重畳して表示するときの前記重畳する順番を示す優先度と、前記画面上の前記画像を表示する位置を示す位置情報と、前記表示領域のサイズと、を関連付けて記憶するレイアウト管理テーブルと、前記表示領域に前記画像を表示する制御を行う表示制御手段と、を備え、前記表示領域の前記変更されたサイズに基づき、前記レイアウト管理テーブルが記憶する前記表示領域のサイズを更新するとともに、前記表示制御手段は、前記取得手段によって取得された前記更新された解像度の画像データに基づいて、前記変更されたサイズの前記表示領域に前記画像を表示し、前記更新された解像度の画像データを、通信ネットワークを介して前記他の通信端末へ送信することを特徴とする。

以上説明したように本発明によれば、情報処理装置から取得した画像を表示制御装置において表示する場合に、画像の視認性の低下を防ぐことができるという効果を奏する。
本発明の一実施形態に係る通信システムの概略図である。 端末間で通信を実現する場合の通信状況を示した概念図である。 実施形態に係る端末の外観図である。 実施形態に係る端末のハードウェア構成図である。 実施形態に係る外部入力装置、管理システム、又は中継装置のハードウェア構成図である。 実施形態の通信システムの一部を構成する端末、外部入力装置、及び管理システムの機能ブロック図である。 レイアウト管理テーブルを示す概念図である。 認証管理テーブルを示す概念図である。 端末間で通信を開始する処理を示すシーケンス図である。 外部入力装置においてプログラムをインストールする処理を示したシーケンス図である。 表示データの解像度を変換する処理を示したシーケンス図である。 解像度変換処理を示すフロー図である。 表示領域を変更する処理を示したシーケンス図である。
以下、図面を用いて、本発明の実施形態について説明する。
<<実施形態の全体構成>>
図1は、本発明の一実施形態に係る通信システムの概略図である。図1に示されているように、通信システム1は、複数の通信端末(10aa,10ab,…)、中継装置30、通信管理システム50によって構築されている。この通信システム1によって、コンテンツデータの一例としての画像データ及び音データの通信が行われることで、遠隔地間のテレビ会議等を実現することができる。画像データには、通信端末(10aa,10ab,…)において撮像された撮像画像の画像データや、通信端末(10aa,10ab,…)へ入力された入力画像の画像データ等が含まれる。
また、通信端末(10aa,10ab,・・・)、中継装置30、及び管理システム50は、通信ネットワーク2によって通信可能に接続されている。
なお、以下では、「通信端末」は単に「端末」として表され、「通信管理システム」は単に「管理システム」として表されている。また、複数の端末(10aa,10ab,…)のうち任意の端末は、「端末10」と表されている。
また、本実施形態では、インターネットによって、通信ネットワーク2が構築されている。この通信ネットワーク2には、有線だけでなく、WiFi(Wireless Fidelity)やBluetooth(登録商標)等の無線による通信が行われる箇所があってもよい。
なお、各端末10は、複数の事業所間での通信や、同じ事業所内の異なる部屋間での通信だけでなく、同じ部屋内での通信や、屋外と屋内又は屋外と屋外での通信で使われてもよい。各端末10が屋外で使われる場合には、携帯電話通信網等の無線による通信が行われる。
また、図1に示されている各端末10は、コンテンツデータの送受信により、利用者の通話を実現する端末であり、例えば、テレビ会議端末である。更に、端末10は、所定の通信方式(通信の宛先と接続又は切断をするための呼制御方式、及びコンテンツデータをIPパケット化するための符号化方式)を利用して、コンテンツデータの送受信を行う。
なお、この呼制御方式としては、(1)SIP(Session Initiation Protocol)、(2)H.323、(3)SIPを拡張したプロトコル、(4)インスタントメッセンジャーのプロトコル、(5)SIPのMESSAGEメソッドを利用したプロトコル、(6)インターネットリレーチャットのプロトコル(IRC(Internet Relay Chat))、(7)インスタントメッセンジャーのプロトコルを拡張したプロトコル等が挙げられる。このうち、(4)インスタントメッセンジャーのプロトコルは、例えば、(4-1)XMPP(Extensible Messaging and Presence Protocol)、又は(4-2)ICQ(登録商標)、AIM(登録商標)、若しくはSkype(登録商標)などで利用されるプロトコルである。また、(7)インスタントメッセンジャーのプロトコルを拡張したプロトコルは、例えば、Jingleである。
また、各中継装置30は、複数の端末10の間で、コンテンツデータの中継を行うコンピュータシステムである。管理システム50は、端末10からのログイン認証、端末10の通信状況の管理、宛先リストの管理等、及び中継装置30の通信状況等を一元的に管理するコンピュータシステムである。なお、画像データの画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。
図2は、通信端末間の通信状況を示す概念図である。図2に示されているように、通信システム1において、端末10間では、管理システム50を介して、各種の管理情報を送受信するための管理用の通信セッションseiが確立されている。
また、各端末10と中継装置30の間では、例えば、H.264/SVCにより、画像データ、及び音データの各コンテンツデータを送受信するための、コンテンツデータ用の通信セッションsedが確立されている。
図2において一方の端末10には、端末10へ画像データを入力するための外部入力装置40が接続されている。これにより、一方の端末10は、自端末において撮像された撮像画像、及び外部入力装置から入力された入力画像の画像データを他方の端末10へ送信することができる。
<<実施形態のハードウェア構成>>
次に、本実施形態のハードウェア構成を説明する。図3は、実施形態に係る通信端末の外観図である。図3に示されているように、端末10は、筐体1100、アーム1200、及びカメラハウジング1300を備えている。このうち、筐体1100の前側壁面1110には、複数の吸気孔によって形成された吸気面が設けられており、筐体1100の後側壁面1120には、複数の排気孔が形成された排気面1121が設けられている。これにより、筐体1100に内蔵された冷却ファンの駆動によって、吸気面を介して端末10の後方の外気を取り込み、排気面1121を介して端末10の後方へ排気することができる。筐体1100の右側壁面1130には、収音用孔1131が形成され、後述する内蔵型のマイク114によって音声、物音、雑音等の音が収音可能となっている。
筐体1100の右側壁面1130側には、操作パネル1150が形成されている。この操作パネル1150には、後述の複数の操作ボタン(108a〜108e)、後述の電源スイッチ109、及び後述のアラームランプ119が設けられていると共に、後述の内蔵型のスピーカ115からの出力音を通すための複数の音出力孔によって形成された音出面1151が形成されている。また、筐体1100の左側壁面1140側には、アーム1200及びカメラハウジング1300を収容するための凹部としての収容部1160が形成されている。筐体1100の右側壁面1130には、後述のディスプレイI/F117に対して電気的にケーブルを接続するための複数の接続口(1132a〜1132c)が設けられている。一方、筐体1100の左側壁面1140には、後述の外部機器接続I/F118に対して電気的にディスプレイ120用のケーブル120cを接続するための接続口が設けられている。
なお、以下では、操作ボタン(108a〜108e)のうち任意の操作ボタンを示す場合には「操作ボタン108」を用い、接続口(1132a〜1132c)のうち任意の接続口を示す場合には「接続口1132」を用いて説明する。
次に、アーム1200は、トルクヒンジ1210を介して筐体1100に取り付けられており、アーム1200が筐体1100に対して、135度のチルト角θ1の範囲で、上下方向に回転可能に構成されている。図3は、チルト角θ1が90度の状態を示している。カメラハウジング1300には、後述の内蔵型のカメラ112が設けられており、利用者、書類、及び部屋等を撮像することができる。また、カメラハウジング1300には、トルクヒンジ1310が形成されている。カメラハウジング1300は、トルクヒンジ1310を介して、アーム1200に取り付けられている。そして、カメラハウジング1300がアーム1200に対して、図3で示されている状態を0度として±180度のパン角θ2の範囲で、且つ、±45度のチルト角θ3の範囲で、上下左右方向に回転可能に構成されている。
なお、中継装置30、外部入力装置40、及び管理システム50は、それぞれ一般のコンピュータの外観と同じであるため、外観の説明を省略する。
図4は、本実施形態に係る端末のハードウェア構成図である。図4に示されているように、本実施形態の端末10は、端末10全体の動作を制御するCPU(Central Processing Unit)101、IPL(Initial Program Loader)等のCPU101の駆動に用いられるプログラムを記憶したROM(Read Only Memory)102、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103、端末10用のプログラム、画像データ、及び音データ等の各種データを記憶するフラッシュメモリ104、CPU101の制御にしたがってフラッシュメモリ104に対する各種データの読み出し又は書き込みを制御するSSD(Solid State Drive)105、フラッシュメモリ等の記録メディア106に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ107、端末10の宛先を選択する場合などに操作される操作ボタン108、端末10の電源のON/OFFを切り換えるための電源スイッチ109、通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F(Interface)111を備えている。
また、端末10は、CPU101の制御に従って被写体を撮像して画像データを得る内蔵型のカメラ112、このカメラ112の駆動を制御する撮像素子I/F113、音を入力する内蔵型のマイク114、音を出力する内蔵型のスピーカ115、CPU101の制御に従ってマイク114及びスピーカ115との間で音信号の入出力を処理する音入出力I/F116、CPU101の制御に従って外付けのディスプレイ120に画像データを伝送するディスプレイI/F117、各種の外部機器を接続するための外部機器接続I/F118、端末10の各種機能の異常を知らせるアラームランプ119、及び上記各構成要素を図4に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
ディスプレイ120は、被写体の画像や操作用アイコン等を表示する液晶や有機ELによって構成された表示部である。また、ディスプレイ120は、ケーブル120cによってディスプレイI/F117に接続される。このケーブル120cは、アナログRGB(VGA)信号用のケーブルであってもよいし、コンポーネントビデオ用のケーブルであってもよいし、HDMI(High-Definition Multimedia Interface)(登録商標)やDVI(Digital Video Interface)信号用のケーブルであってもよい。
カメラ112は、レンズや、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子を含み、固体撮像素子として、CMOS(Complementary Metal Oxide Semiconductor)や、CCD(Charge Coupled Device)等が用いられる。
外部機器接続I/F118には、図3に示されている筐体1100の接続口1132に差し込まれたUSB(Universal Serial Bus)ケーブル等によって、外付けカメラ、外付けマイク、及び外付けスピーカ等の外部機器がそれぞれ電気的に接続可能である。外付けカメラが接続された場合には、CPU101の制御に従って、内蔵型のカメラ112に優先して、外付けカメラが駆動する。同じく、外付けマイクが接続された場合や、外付けスピーカが接続された場合には、CPU101の制御に従って、それぞれが内蔵型のマイク114や内蔵型のスピーカ115に優先して、外付けマイクや外付けスピーカが駆動する。
なお、記録メディア106は、端末10に対して着脱自在な構成となっている。また、CPU101の制御にしたがってデータの読み出し又は書き込みを行う不揮発性メモリであれば、フラッシュメモリ104に限らず、EEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。
図5は、一実施形態に係る外部入力装置40、管理システム50、又は中継装置30のハードウェア構成図である。管理システム50は、管理システム50全体の動作を制御するCPU201、IPL等のCPU201の駆動に用いられるプログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、管理システム50用のプログラム等の各種データを記憶するHD204、CPU201の制御にしたがってHD204に対する各種データの読み出し又は書き込みを制御するHDD(Hard Disk Drive)205、フラッシュメモリ等の記録メディア206に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ207、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示するディスプレイ208、通信ネットワーク2を利用してデータ通信するためのネットワークI/F209、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード211、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行うマウス212、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)213に対する各種データの読み出し又は書き込みを制御するCD−ROMドライブ214、及び、上記各構成要素を図5に示されているように電気的に接続するためのアドレスバスやデータバス等のバスライン210を備えている。
一方、中継装置30、及び外部入力装置40は、上記管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、各HD204には、中継装置30、及び外部入力装置40をそれぞれ制御するためのプログラム等の各種データが記憶されている。
なお、端末10、中継装置30、外部入力装置40、及び管理システム50用の各プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録媒体(記録メディア106等)に記録されて流通されるようにしてもよい。また、上記記録媒体の他の例として、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等が挙げられる。
<<実施形態の機能構成>>
次に、本実施形態の機能構成について説明する。図6は、実施形態の通信システム1の一部を構成する端末10、外部入力装置40、及び管理システム50の機能ブロック図である。図6では、端末10、及び管理システム50が、通信ネットワーク2を介してデータ通信することができるように接続されている。端末10、及び外部入力装置40が、データ通信することができるように接続されている。
<端末の機能構成>
端末10は、送受信部11、操作入力受付部12、ログイン要求部13、撮像部14、音入出力部15、表示制御部16、レイアウト情報取得部17、外部情報送受信部18、及び記憶・読出処理部19を有している。これら各部は、図4に示されている各構成要素のいずれかが、フラッシュメモリ104からRAM103上に展開された端末10用のプログラムに従ったCPU101からの命令によって動作することで実現される機能又は手段である。また、端末10は、RAM103、及びフラッシュメモリ104によって構築される記憶部1000を有している。
(レイアウト管理テーブル)
図7(A)は、レイアウト管理テーブルを示す概念図である。記憶部1000には、図7(A)に示されているようなレイアウト管理テーブルによってレイアウト管理DB1001が構築されている。このレイアウト管理テーブルでは、ディスプレイ120に出力する画像の種類を示す画像情報に対して、この画像を表示するときの優先度、画像を表示する位置を示す位置情報、画像の表示領域のサイズが関連付けられて管理される。優先度は、各画像を重畳して表示するときに、例えば、重ねる画像が重ねられる画像よりも優先度を示す数値が小さくなるように設定される。位置情報は、画面上の画像の位置を示す。位置情報としては、例えば、ディスプレイ120の画面における左上の頂点の座標を(0,0)として、画素を単位としたときの画像の左上の頂点の座標である。サイズは、表示領域の、例えば、縦、横二方向の長さによって示される。長さは、画素数で表しても良い。
図7(B)は、図7(A)のレイアウト管理テーブルの各情報に基づいて画像をディスプレイ120に表示するときの表示例である。図7(B)では、レイアウト管理テーブルにおいて優先度が「2」である相手側から送られて来る撮像画像に対して、優先度が「1」である外部入力装置40から送られて来る表示画像が重畳されている。また、レイアウト管理テーブルにおいて管理されている位置情報、及び解像度情報に基づいて、撮像画像は、ディスプレイ120の左上の頂点からサイズ(1920,1080)で表示される。なお、ディスプレイ120の解像度が(1920,1080)である場合、撮像画像はフルスクリーンで表示される。一方、表示画像は、レイアウト管理テーブルにおいて管理されている位置情報、及び解像度情報に基づいて、ディスプレイ120の左上の頂点からサイズ(640,480)で表示される。
図7(C)は、表示画像の表示領域を変更するときのディスプレイ120の表示例である。表示領域のサイズが変更されると、レイアウト管理テーブルにおいて管理される表示画像に対応するサイズも変更される。
(外部入力装置用プログラム)
記憶部1000は、外部入力装置用プログラム1400を記憶する。外部入力装置用プログラム1400は、記憶部1000にマウントした外部入力装置40がインストール可能に管理されている。外部入力装置用プログラム1400は、表示データ取得プログラム1451、表示データ送信プログラム1452および解像度変換プログラム1453を含む。これらのプログラムが外部入力装置40に送信され、外部入力装置40にインストールされることによって、外部入力装置40において、表示データ取得部451、表示データ送信部452および解像度変換部453が実行可能となる。
(端末の各機能構成)
次に、図4及び図6を用いて、端末10の各機能構成について詳細に説明する。なお、以下では、端末10の各機能構成を説明するにあたって、図4に示されている各構成要素のうち、端末10の各機能構成を実現させるための主な構成要素との関係も説明する。
端末10の送受信部11は、CPU101からの命令、及びネットワークI/F111によって実現され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。
操作入力受付部12は、CPU101からの命令、並びに操作ボタン108及び電源スイッチ109によって実現され、利用者による各種入力を受け付ける。
ログイン要求部13は、CPU101からの命令によって実現され、送受信部11から通信ネットワーク2を介して管理システム50に、ログインを要求する旨を示すログイン要求情報、及び要求元端末の現時点のIPアドレスを自動的に送信する。また、利用者が電源スイッチ109をONの状態からOFFにすると、送受信部11が管理システム50へ電源をOFFする旨の状態情報を送信した後に、操作入力受付部12が電源を完全にOFFにする。これにより、管理システム50側では、端末10が電源オンから電源オフになったことを把握することができる。
撮像部14は、CPU101からの命令、並びにカメラ112及び撮像素子I/F113によって実現され、被写体を撮像して、この撮像して得た画像データを出力する。
音入出力部15は、CPU101からの命令、及び音入出力I/F116によって実現され、マイク114によって利用者の音が音信号に変換された後、この音信号に係る音データを入力する。また、音入出力部15は、CPU101からの命令、及び音入出力I/F116によって実現され、音データに係る音信号をスピーカ115に出力し、スピーカ115から音を出力させる。
表示制御部16は、CPU101からの命令、及びディスプレイI/F117によって実現され、受信された画像データをディスプレイ120に送信するための制御を行う。
レイアウト情報取得部17は、CPU101からの命令によって実現され、レイアウト管理テーブルにおいて管理されている表示領域のサイズ等の各種情報を取得する。
外部情報送受信部18は、CPU101からの命令、外部機器接続I/F118によって実現され、外部入力装置40との間で各種情報を送受信する。
記憶・読出処理部19は、CPU101からの命令及びSSD105によって実現され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。この記憶部1000には、端末10を識別するための端末ID(Identification)、及びパスワード等が記憶される。更に、記憶部1000には、宛先端末との通信を行う際に受信される画像データ及び音データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによってディスプレイ120に画像が表示され、上書きされる前の音データによってスピーカ115から音が出力される。
なお、本実施形態の端末ID及び後述の中継装置IDは、それぞれ端末10及び中継装置30を一意に識別するために使われる言語、文字、記号、又は各種のしるし等の識別情報を示す。また、端末ID及び中継装置IDは、上記言語、文字、記号、及び各種のしるしのうち、少なくとも2つが組み合わされた識別情報であってもよい。端末IDは、端末10を識別可能な情報であれば良い。例えば、通信システム1において端末の識別情報とアカウントが関連付けられている場合には、端末IDはアカウントであっても良い。
<管理システムの機能構成>
管理システム50は、送受信部51、認証部52、及び記憶・読出処理部59を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD204からRAM203上に展開された管理システム50用のプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、管理システム50は、HD204により構築される記憶部5000を有している。
(認証管理テーブル)
図8は、認証管理テーブルを示す概念図である。記憶部5000には、図8に示されているような認証管理テーブルによって認証管理DB5002が構築されている。この認証管理テーブルでは、管理システム50によって管理される全ての端末10の各端末IDに対して、認証用のパスワードが関連付けられて管理される。例えば、図8に示されている認証管理テーブルにおいて、端末10aaの端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。
(管理システムの各機能構成)
次に、管理システム50の各機能構成について詳細に説明する。なお、以下では、管理システム50の各機能構成を説明するにあたって、図5に示されている各構成要素のうち、管理システム50の各機能構成を実現させるための主な構成要素との関係も説明する。
送受信部51は、CPU201からの命令、及びネットワークI/F209によって実現され、通信ネットワーク2を介して他の端末、装置又はシステムと各種データ(または情報)の送受信を行う。
認証部52は、CPU201からの命令によって実現され、送受信部51を介して受信されたログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、認証管理テーブル(図8参照)を検索し、この認証管理テーブルに同一の端末ID及びパスワードが管理されているかを判断することによって認証を行う。
記憶・読出処理部59は、CPU201からの命令、及びHDD205によって実現され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出す処理を行う。
<外部入力装置の機能構成>
外部入力装置40は、送受信部41、接続検出部42、インストール判定部43a、プログラム取得部43b、解像度取得部44、表示制御部47、マウント部48、表示データ取得部451、表示データ送信部452、解像度変換部453、及び記憶・読出処理部49を有している。これら各部は、図5に示されている各構成要素のいずれかが、HD204からRAM203上に展開された外部入力装置用のプログラムに従ったCPU201からの命令によって動作することで実現される機能又は手段である。また、外部入力装置40は、HD204により構築される記憶部4000を有している。
送受信部41は、CPU201からの命令、及びネットワークI/F209によって実現され、端末10と各種データ(または情報)の送受信を行う。
接続検出部42は、CPU201からの命令、及びネットワークI/F209によって実現され、端末10と自装置との接続を検出する。
インストール判定部43aは、CPU201からの命令によって実現され、外部入力装置40に表示データ取得プログラム1451、表示データ送信プログラム1452および解像度変換プログラム1453がインストールされているか否かを判定する。
プログラム取得部43bは、CPU201からの命令によって実現され、端末10の記憶部1000から表示データ取得プログラム1451、表示データ送信プログラム1452および解像度変換プログラム1453を取得する。
解像度取得部44は、CPU201からの命令によって実現され、ディスプレイ208の解像度を取得するとともに、端末10の表示領域の解像度を示す解像度情報を取得する。
表示制御部47は、CPU101からの命令、及びディスプレイI/F117によって実現され、受信された画像データをディスプレイ120に送信するための制御を行う。
マウント部48は、CPU101からの命令によって実現され、端末10の記憶部1000をマウントする。
表示データ取得部451は、CPU101からの命令によって実現され、外部入力装置40のディスプレイ208に表示されている画像を表す表示データを取得する。
表示データ送信部452は、CPU101からの命令、及びネットワークI/F209によって実現され、表示データを端末10に送信する。
解像度変換部453は、CPU101からの命令によって実現され、外部入力装置40のディスプレイ208の解像度と、端末10における画像の表示領域の解像度とに基づいて、外部入力装置40が端末10に送信する表示データの解像度を変換する。
記憶・読出処理部49は、CPU201からの命令、及びHDD205によって実現され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出す処理を行う。
<<実施形態の処理または動作>>
まず、2つの端末(10aa,10da)の間で通信を開始する処理について説明する。図9は、端末間で通信を開始する処理を示すシーケンス図である。
端末10aaにおいて、利用者が、電源スイッチ109をONにすると、操作入力受付部12が電源オンを受け付けて、電源をONにする(ステップS21)。そして、ログイン要求部13は、上記電源オンの受け付けを契機とし、送受信部11から通信ネットワーク2を介して管理システム50に、ログイン要求を示すログイン要求情報を自動的に送信する(ステップS22)。このログイン要求情報には、要求元端末(端末10aa)としての自端末を識別するための端末ID及びパスワードが含まれている。これら端末ID及びパスワードは、記憶・読出処理部19を介して記憶部1000から読み出されて、送受信部11に送られたデータである。なお、要求元端末(端末10aa)から管理システム50へログイン要求情報が送信される際は、受信側である管理システム50は、送信側である要求元端末(端末10aa)のIPアドレスを把握することができる。
次に、管理システム50の認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末ID及びパスワードを検索キーとして、認証管理テーブル(図8参照)を検索し、認証管理テーブルに同一の端末ID及びパスワードが管理されているかを判断することによって認証を行う(ステップS23)。
そして、管理システム50の送受信部51は、認証部52によって得られた認証結果が示された認証結果情報を、通信ネットワーク2を介して、上記ログイン要求してきた要求元端末(端末10aa)に送信する(ステップS25)。本実施形態では、認証部52によって正当な利用権限を有する端末10であると判断された場合につき、以下続けて説明する。また、端末10daもステップS21乃至S25と同様の処理により、管理システム50へログインした場合について説明する。
端末10aaの利用者が、操作ボタン108を押下して、宛先候補である端末10daを選択すると、操作入力受付部12は、端末10daとの通信を開始する要求を受け付ける(ステップS41)。そして、端末10aaの送受信部11は、通信を開始したい旨を示す開始要求情報を、管理システム50へ送信する(ステップS42)。なお、この開始要求情報には、要求元端末(端末10aa)の端末ID「01aa」、及び宛先端末(端末10da)の端末ID「01da」が含まれる。
管理システム50の送受信部51は、開始要求情報を受信すると受信した開始要求情報を宛先端末(端末10da)へ送信する(ステップS43)。また、管理システム50の送受信部51は、中継装置30と接続するための中継装置接続情報を宛先端末(端末10da)へ送信する。中継装置接続情報には、中継装置30のIPアドレス、パスワード、ポート番号等が含まれている。
宛先端末(端末10da)の送受信部11は、開始要求情報を受信すると、この開始要求に対して開始を許可する旨の開始許可情報を管理システム50へ送信する(ステップS44)。管理システム50の送受信部51は、開始許可情報を受信すると、受信した開始許可情報を要求元端末(端末10aa)へ送信する(ステップS45)。また、管理システム50の送受信部51は、中継装置30と接続するための中継装置接続情報を要求元端末(端末10aa)へ送信する。
管理システム50の送受信部51は、中継装置30へ、要求元端末(端末10aa)と宛先端末(端末10da)との間で、一方の端末(端末10aa,10da)から送られてくるコンテンツデータを他方の端末(端末10da,10aa)へ送信する要求を示す中継要求情報を送信する。要求元端末(端末10aa)及び宛先端末(端末10da)の各送受信部51は、管理システム50から送られてきた中継装置接続情報を中継装置30へ送信する。これにより、要求元端末(端末10aa)及び宛先端末(端末10da)は中継装置30と接続して、中継装置30との間でコンテンツデータ用のセッションsedを確立する(ステップS47)。要求元端末(端末10aa)及び宛先端末(端末10da)の各送受信部51は、確立されたコンテンツデータ用のセッションsedを用いて、画像データ及び音データを中継装置30へ送信すると共に、中継装置から送られてくる画像データ及び音データを受信する。これにより、要求元端末(端末10aa)及び宛先端末(端末10da)は、画像データ及び音データを相互に交換することができる。
図10は、外部入力装置においてプログラムをインストールする処理を示したシーケンス図である。図10を用いて、外部入力装置40において、表示データ取得プログラム1451、表示データ送信プログラム1452、および解像度変換プログラム1453をインストールする処理を説明する。通信ケーブル等によって、外部入力装置40と端末10aaとが接続されると、外部入力装置40の接続検出部42は、端末10aaとの接続を検出する(ステップS70)。接続検出部42が、接続を検出すると、インストール判定部43aは、外部入力装置40に表示データ取得プログラム1451、表示データ送信プログラム1452、および解像度変換プログラム1453がインストールされているか否かを判定する(ステップS71)。
インストール判定部43aによって、各ブログラムのいずれかがインストールされていないと判定された場合には、マウント部48が、端末10aaの記憶部1000をマウントする(ステップS72)。次いで、プログラム取得部43bが、端末10aaの記憶部1000に記憶されている表示データ取得プログラム1451、表示データ送信プログラム1452および解像度変換プログラム1453のうち、外部入力装置40にインストールされていないプログラムを取得し、インストールする(ステップS73)。これによって、外部入力装置40は、表示データ取得部451、表示データ送信部452および解像度変換部453を備えることになる。
各プログラムがインストールされると、送受信部41は、各プログラムを実行する許可、すなわち、表示データ取得部451、表示データ送信部452および解像度変換部453を動作させる許可を要求するための情報を端末10aaに送信する(ステップS74)。そして、端末10aaから要求に対する許可を表す情報を送受信部41が受信することで、表示データ取得部451、表示データ送信部452および解像度変換部453は稼働する。
図11は、表示データの解像度を変換する処理を示したシーケンス図である。図11を用いて、外部入力装置40が端末10に送信する表示データの解像度を変換する処理について説明する。
まず、外部入力装置40の送受信部41は、端末10aaへ、表示画像の表示領域の解像度を示す解像度情報の要求を送信する(ステップS91)。なお、本実施形態において解像度は画像の密度(dpi)ではなくて、画素数である。端末10aaの外部情報送受信部18が解像度情報の要求を受信すると、レイアウト情報取得部17は、レイアウト管理テーブルにおいて管理されている表示画像に対応するサイズを取得する(ステップS92)。以下、ステップS92において、デフォルトのサイズとして(640,480)が取得された場合について説明を続ける。レイアウト情報取得部17がサイズを取得すると、外部情報送受信部18は、取得されたサイズに対応する解像度を示す解像度情報を外部入力装置40へ送信する(ステップS93)。サイズに対応する解像度は、サイズと同じ値(640,480)であっても良いが、例えば、サイズに1以外の正の定数を乗じた値のように、サイズが大きくなるにつれて大きくなる任意の値であっても良い。
外部入力装置40の送受信部41は、端末10aaから送られてきた解像度情報を受信する。続いて、外部入力装置40の記憶・読出処理部49が、その受信された解像度情報を記憶部4000に記憶する(ステップS94)。
続いて、外部入力装置40の表示データ取得部451は、表示制御部47がディスプレイ208に表示させている画像をキャプチャすることで表示データを取得する(ステップS95)。表示データは、キャプチャされた段階で、ディスプレイ208の解像度と同じ解像度となる。一実施形態において、ディスプレイ208の解像度は、例えば、(1280,960)である。
解像度取得部44は、ディスプレイ208にアクセスしてディスプレイ208の解像度を取得するとともに、記憶部4000に記憶されている解像度情報を取得する(ステップS96)。そして、解像度変換部453が、取得された表示データの解像度を、記憶部4000から取得された解像度情報によって示される解像度に変換する(ステップS97)。例えば、解像度変換部453は、解像度(1280,960)の表示データを解像度情報によって示される解像度(640,480)に変換する。解像度変換部453は、表示データで示される表示画像のアスペクト比と、端末10aaにおける表示領域のアスペクト比と異なる場合、表示画像の縦又は横の一方を、解像度情報によって示される解像度(640又は480)に変換する。
ここで、ステップS97の処理について詳細について説明する。図12は、解像度変換処理を示すフロー図である。以下、外部入力装置40のディスプレイ208の解像度のうち、縦方向(高さ(H)方向)の解像度を「H40」とし、横方向(幅(W)方向)の解像度を「W40」とする。端末10aaにおける表示領域の解像度を示す解像度情報のうち、縦方向の解像度を「H10」とし、横方向の解像度を「W10」とする。解像度変換部453は、これらの解像度H40、W40、H10およびW10に基づいて、以下に説明するように表示データの縦方向の解像度を「H´」に、表示データの横方向の解像度を「W´」に変換する。
まず、解像度変換部453は、H40≦H10、かつW40≦W10であるか否かを判定する(ステップS971)。H40≦H10、かつW40≦W10であると判定された場合(ステップS971でYESの場合)には、解像度変換部453は、表示データの縦方向の解像度H´および横方向の解像度W´を、それぞれH´=H40、W´=W40とし、解像度を変換しない(ステップS972)。
一方、H40≦H10、かつW40≦W10でないと判定された場合(ステップS971でNOの場合)には、解像度変換部453は、(H10≧W10)であるか否かを判定する(ステップS973)。
(H10≧W10)であると判定された場合(ステップS973でYESの場合)には、解像度変換部453は、表示データの横方向の解像度W´および縦方向の解像度H´を、それぞれW´=W10、H´=H40×W10/W40に変換する(ステップS974)。ここで、W10/W40は圧縮率を表している。この場合、W´:H´のアスペクト比は、W10:H40×W10/W40=W40:H40である。すなわち、この変換はアスペクト比を変えずに横方向を、W10に合わせる変換である。
一方、(H10≧W10)でないと判定された場合(ステップS973でNOの場合)には、解像度変換部453は、表示データの横方向の解像度W´および縦方向の解像度H´を、それぞれW´=W40×H10/H40、H´=H10に変換する。(ステップS975)。ここで、H10/H40は圧縮率を表している。この場合、W´:H´のアスペクト比は、W40×H10/H40:H10=W40:H40である。すなわち、この変換はアスペクト比を変えずに縦方向を、H10に合わせる変換である。
解像度変換部453によって表示データの解像度が変換されると、表示データ送信部452が、変換された表示データを端末10aaに送信する(ステップS98)。なお、外部入力装置40の表示データ送信部452は、表示データを所定の符号化方式により符号化し、圧縮してから、符号化された表示データを端末10aaへ送信しても良い。
端末10aaの外部情報送受信部18は、外部入力装置40から送信された表示データを受信する。なお、表示データが、符号化されている場合、外部情報送受信部18は符号化された表示データを復号化する。続いて、表示制御部16は、受信された表示データをレンダリングすることで(ステップS99)、解像度情報によって示される解像度の表示画像を得る。また、表示制御部16は、レイアウト管理テーブルにおいて、表示画像に対応づけて管理されているサイズにリサイズする(ステップS100)。表示制御部16は、得られた表示画像を、レイアウト管理テーブルにおいて管理されている位置情報により示される位置に表示させる(ステップS101)。なお、ステップS974または、ステップS975において表示画像の変換がされた場合、表示制御部16は、表示画像を表示領域の中央に表示させても良い。この場合、表示領域の上下又は左右は余白となる。また、表示制御部16は、レイアウト管理テーブルにおいて管理されている優先度に基づいて、撮像画像に重畳して表示画像を表示させても良い(図7(B)参照)。撮像画像は、例えば、自端末のカメラ112により撮像された撮像画像、或いはコンテンツデータ用の通信セッションsedにより送られてきた端末10da側の撮像画像である。
端末10aaの送受信部11は、ディスプレイ120に表示されている表示画像に対応する表示データを取得して、取得した表示画像を所定の符号化方式により圧縮し、送信用の表示データを生成する(ステップS102)。所定の符号化方式は、少なくとも、コンテンツデータ用の通信セッションsedにおける通信方式に対応した符号化方式である。
端末10aaの送受信部11は、中継装置30に対して、コンテンツデータ用のセッションsedにより送信用に生成された表示データを送信する(ステップS103)。また、ステップS103において、端末10aaの送受信部11は、自端末のカメラ112で撮像された撮像画像の画像データ、及びマイク114で集音された音の音データを、コンテンツデータ用のセッションsedにより中継装置30へ送信する。中継装置30が、端末10aaから送信された表示データ、画像データ、及び音データを受信すると、コンテンツデータ用のセッションsedにより宛先の端末10daへ、表示データ、画像データ、及び音データを送信する(ステップS104)。端末10daの送受信部11は、中継装置30から送信された表示データ、画像データ、及び音データが受信する。また、送受信部11は、表示データを復号化する。端末10daの表示制御部16は、復号化された表示データによって表される画像をディスプレイ120に表示させる(ステップS105)。また、端末10daの表示制御部16は、受信した画像データに基づいて端末10aa側の撮像画像をディスプレイ120に表示させる。
続いて図13を用いて表示画像の表示領域を変更する処理について説明する。図13は、表示領域を変更する処理を示したシーケンス図である。
端末10aaの操作入力受付部12は、例えば、ユーザによるディスプレイ120の画面上のポインタの操作に応じて(図7(C)参照)、表示領域のサイズの変更を受け付ける(ステップS121)。以下、例えば、表示領域のサイズを、(640,480)から倍の(1280,960)に変更する要求が受け付けられた場合について説明を続ける。
端末10の記憶・読出処理部19は、レイアウト管理テーブルにおいて、表示画像に対応付けられているサイズを(640,480)から(1280,960)に更新する(ステップS122)。
レイアウト管理テーブルの更新後に、端末10aaの、レイアウト情報取得部17は、レイアウト管理テーブルにおいて管理されている表示画像に対応するサイズ(1280,960)を取得する(ステップS123)。レイアウト情報取得部17がサイズを取得すると、外部情報送受信部18が、その取得されたサイズに対応する解像度情報を外部入力装置40に送信する(ステップS124)。上記のとおり、サイズに対応する解像度とは、サイズと同じ値(1280,960)、または、サイズが大きくなるにつれて大きくなる任意の値であっても良い。これにより、送信される解像度情報の値は、表示領域のサイズに応じて大きくなる。
解像度情報が外部入力装置40に送信されてからの処理は、ステップS94乃至S105の処理と同様であるので説明を省略する。但し、ステップS124において、ステップS93で送信したものよりも大きな値の解像度情報を送信することで、少なくとも表示領域の解像度(W10,H10)がディスプレイ208の解像度(W40,H40)よりも大きくなるまでは(ステップS927参照)、外部入力装置40から端末10へ送られてくる表示データの解像度も大きくなる。これにより、端末10aaでは、表示データの表示領域のサイズを大きくしても、送られてくる表示データの解像度が大きくなるので、変更の前後で画像の密度の変化による違和感が軽減される。また、端末10が指定されたサイズに対応する解像度情報を外部入力装置40へ送信することで、外部入力装置40に、指定されたサイズに対応する解像度の画像データを生成させ、送信させることができる。これにより、端末10側で、画像が見切れたりはみ出したりしないように画像の表示を制御できる。
<<<実施形態の変形例>>>
表示画像のサイズは、端末10aa及び外部入力装置40が接続する段階で、端末10aaのレイアウト管理テーブルにおいて管理されていなくても良い。例えば、外部入力装置40は、端末10と接続して、ステップS91において端末10へ解像度情報を要求するときに、外部入力装置40側のディスプレイ208の解像度を端末10へ送信する。端末10の外部情報送受信部18が解像度を受信すると、記憶・読出処理部19は、外部入力装置40から送られてきたディスプレイ208の解像度に対応するサイズを表示画像に対応するサイズとしてレイアウト管理テーブルに登録する。変形例によると、表示領域のアスペクト比とディスプレイ208のアスペクト比が同じになるので、表示領域において、表示画像の上下や左右に余白が生じることを防ぐことができる。
この場合、ステップS121において、操作入力受付部12は、レイアウト管理テーブルにおいて管理される表示領域のサイズから特定されるアスペクト比が変わらないように、サイズの変更を受け付けても良い。これにより、表示領域のサイズが変更された場合でも、表示画像の上下や左右に余白が生じることを防ぐことができる。
<<本実施形態の主な効果>>
以上、説明したように上記の実施形態の表示制御方法によると、端末10(表示制御装置の一例)の操作入力受付部12(受付手段の一例)は、画面に画像を表示するときの画像の表示領域の指定を受け付ける(受付処理の一例)。端末10の外部情報送受信部18(送信手段の一例)は、指定された表示領域のサイズに対応する解像度を示す解像度情報を外部入力装置40(情報処理装置の一例)へ送信する(送信処理の一例)。端末10の外部情報送受信部18(取得手段の一例)は、外部入力装置40において生成され、解像度情報によって示される解像度の表示画像の表示データ(画像データの一例)を受信することで取得する(取得処理の一例)。端末10の表示制御部16(表示制御手段の一例)は、取得された表示データに基づいて、指定された表示領域に画像を表示する制御を行う(表示制御処理の一例)。これにより、外部入力装置40から取得した画像を端末10側で画面の指定された領域に表示する場合に、取得した画像の解像度によって、表示される画像が指定された領域からはみ出したり、見切れたりする等して、適切に表示制御できなくなることを防ぐことができる。また、表示画像の表示領域のサイズが変更された場合でも、端末10は、変更されたサイズに対応する解像度の表示データを表示できるので、画像の表示領域のサイズ変更に伴う視認性の低下を軽減することが可能となる。
端末10の記憶部1000(管理手段の一例)は、外部入力装置40に、解像度情報によって示される解像度の画像データを生成する処理を実行させる解像度変換プログラム1453を、外部入力装置40がインストール可能に管理する。これにより、種々の情報処理装置を、外部入力装置40として用いることが可能となる。
上記の表示データは、外部入力装置40においてディスプレイ208に表示制御される表示画像の画像データである。上記の実施形態の変形例において、外部入力装置40から送られてくる表示画像のアスペクト比を示す情報に基づいて、操作入力受付部12は、表示画像のアスペクト比と同じアスペクト比の表示領域の指定を受け付ける。これにより、端末10は、表示領域に余白を生じさせることなく、表示画像を表示することができる。
端末10の送受信部11は、解像度情報によって示される解像度の画像データを、通信ネットワーク2を介して他の通信端末へ送信する。これにより、端末10において、表示画像の表示領域のサイズが変更された場合でも、通信相手側でも、変更されたサイズに対応する解像度の表示データを表示できるようになる。
通信システム1において、端末10間では、表示データ、及び、端末10において撮像される撮像画像に係る他の画像データを送信可能である。この場合、端末10では、表示される画像の優先度に基づいて、画像の表示領域を設定できるようになる。
外部入力装置40のインストール判定部43a(判断部の一例)は、自装置に解像度変換プログラム1453がインストールされているか判断する。インストール判定部43aによる解像度変換プログラム1453がインストールされていない旨の判断に応じて、送受信部41(要求手段の一例)は、端末10へ解像度変換プログラム1453を要求する。これにより、外部入力装置40が解像度変換プログラム1453をインストールすることで、外部入力装置40に解像度変換処理を実行させることが可能となる。
<<実施形態の補足>>
上記実施形態における端末10、中継装置30、外部入力装置40、管理システム50単一のコンピュータによって構築されてもよいし、各部(機能又は手段)を分割して任意に割り当てられた複数のコンピュータによって構築されていてもよい。
また、上記実施形態の各プログラムが記憶されたCD−ROM等の記録媒体、並びに、これらプログラムが記憶されたHD204は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
更に、上記実施形態では、端末10のIPアドレスを管理することとしたが、これに限るものではなく、通信ネットワーク2上で端末10を特定するための宛先情報であれば、それぞれのFQDN(Fully Qualified Domain Name)を管理してもよい。この場合、周知のDNS(Domain Name System)サーバによって、FQDNに対応するIPアドレスが取得されることになる。
また、上記実施形態では、通信システム1の一例として、テレビ会議システムの場合について説明したが、これに限るものではなく、IP(Internet Protocol)電話や、インターネット電話等の電話システムであってもよい。また、通信システム1は、携帯電話機の通信システムであってもよい。この場合、例えば、端末10は携帯電話機に相当する。
上記実施形態において、外部入力装置40は汎用のコンピュータである場合について説明したが、これに限定されない。他の外部入力装置40として、外部入力装置用プログラム1400をインストール可能な、携帯電話端末、タブレット、テレビ会議端末、インタラクティブホワイトボード等の各種の情報処理装置が例示される。
また、上記実施形態では、通信システム1によってテレビ会議をする場合について説明したが、これに限るものではなく、打ち合わせ、家族間や友人間等の一般的な会話、又は、一方向での情報の提示に使用されても構わない。
1 通信システム
2 通信ネットワーク
10 端末
11 送受信部
12 操作入力受付部
13 ログイン要求部
14 撮像部
15 音入出力部
16 表示制御部
17 レイアウト情報取得部
18 外部情報送受信部
19 記憶・読出処理部
30 中継装置
40 外部入力装置
41 送受信部
42 接続検出部
43a インストール判定部
43b プログラム取得部
44 解像度取得部
47 表示制御部
48 マウント部
49 記憶・読出処理部
50 管理システム
51 送受信部
52 認証部
59 記憶・読出処理部
1000 記憶部
1001 レイアウト管理DB
1400 外部入力装置用プログラム
1451 表示データ取得プログラム
1452 表示データ送信プログラム
1453 解像度変換プログラム
4000 記憶部
5000 記憶部
特開2014−3448号公報

Claims (10)

  1. 画面に画像を表示するときの前記画像の表示領域のサイズの変更を受け付ける受付手段と、
    前記表示領域の前記変更されたサイズに対応して更新された解像度を示す解像度情報を情報処理装置へ送信する送信手段と、
    前記情報処理装置において生成され、前記解像度情報によって示される前記更新された解像度の画像データを取得する取得手段と、
    前記取得手段により取得された前記画像データおよび他の通信端末から取得した画像データを含む画像の種類を示す画像情報と、前記画像を重畳して表示するときの前記重畳する順番を示す優先度と、前記画面上の前記画像を表示する位置を示す位置情報と、前記表示領域のサイズと、を関連付けて記憶するレイアウト管理テーブルと、
    前記表示領域に前記画像を表示する制御を行う表示制御手段と、を備え、
    前記表示領域の前記変更されたサイズに基づき、前記レイアウト管理テーブルが記憶する前記表示領域のサイズを更新するとともに、
    前記表示制御手段は、前記取得手段によって取得された前記更新された解像度の画像データに基づいて、前記変更されたサイズの前記表示領域に前記画像を表示し、
    前記更新された解像度の画像データを、通信ネットワークを介して前記他の通信端末へ送信する
    ことを特徴とする通信端末。
  2. 前記情報処理装置において、前記解像度情報によって示される解像度の画像データを生成する処理を実行させるプログラムを、前記情報処理装置がインストール可能に管理する管理手段を有することを特徴とする請求項1に記載の通信端末。
  3. 前記画像データは、前記情報処理装置において表示制御される表示画像の画像データであり、
    前記情報処理装置から送られてくる前記表示画像のアスペクト比を示す情報に基づいて、前記受付手段は、前記表示画像のアスペクト比と同じアスペクト比の前記表示領域の指定を受け付けることを特徴とする請求項1又は2に記載の通信端末。
  4. 前記表示制御手段は、前記優先度に基づいて、前記表示領域に表示される画像と、撮像された撮像画像を重畳して表示させる請求項1〜3の何れかに記載の通信端末。
  5. 請求項1〜4の何れかに記載の通信端末と、
    前記他の通信端末と、
    を有することを特徴とする通信システム。
  6. 前記通信端末、及び前記他の通信端末の間で、前記画像データ及び、前記通信端末において撮像される画像に係る他の画像データを送信可能であることを特徴とする請求項5に記載の通信システム。
  7. 請求項1〜4の何れかに記載の通信端末と、
    前記情報処理装置と、
    を有することを特徴とする通信システム。
  8. 前記通信端末は、前記情報処理装置において、前記解像度情報によって示される解像度の画像データを生成する処理を実行させるプログラムを、前記情報処理装置にインストール可能に管理しており、
    前記情報処理装置は、当該情報処理装置に前記プログラムがインストールされているか判断する判断部と、
    前記判断部による前記プログラムがインストールされていない旨の判断に応じて、前記通信端末へ前記プログラムを要求する要求手段と、を有する
    ことを特徴とする請求項7に記載の通信システム。
  9. 通信端末が、
    画面に画像を表示するときの前記画像の表示領域のサイズの変更を受け付ける受付処理と、
    前記表示領域の前記変更されたサイズに対応して更新された解像度を示す解像度情報を情報処理装置へ送信する送信処理と、
    前記情報処理装置において生成され、前記解像度情報によって示される前記更新された解像度の画像データを取得する取得処理と、
    前記取得処理により取得された前記画像データおよび他の通信端末から取得した画像データを含む画像の種類を示す画像情報と、前記画像を重畳して表示するときの前記重畳する順番を示す優先度と、前記画面上の前記画像を表示する位置を示す位置情報と、前記表示領域のサイズと、を関連付けてレイアウト管理テーブルに記憶させる記憶処理と、
    前記表示領域の前記変更されたサイズに基づき、前記レイアウト管理テーブルが記憶する前記表示領域のサイズを更新する処理と、
    前記取得処理によって取得された前記更新された解像度の画像データに基づいて、前記変更されたサイズの前記表示領域に前記画像を表示する制御を行う表示制御処理と、
    前記解像度情報によって示される前記更新された解像度の画像データを、通信ネットワークを介して前記他の通信端末へ送信する処理と、
    を実行することを特徴とする制御方法。
  10. 通信端末に、
    画面に画像を表示するときの前記画像の表示領域のサイズの変更を受け付ける受付処理と、
    前記表示領域の前記変更されたサイズに対応して更新された解像度を示す解像度情報を情報処理装置へ送信する送信処理と、
    前記情報処理装置において生成され、前記解像度情報によって示される前記更新された解像度の画像データを取得する取得処理と、
    前記取得処理により取得された前記画像データおよび他の通信端末から取得した画像データを含む画像の種類を示す画像情報と、前記画像を重畳して表示するときの前記重畳する順番を示す優先度と、前記画面上の前記画像を表示する位置を示す位置情報と、前記表示領域のサイズと、を関連付けてレイアウト管理テーブルに記憶させる記憶処理と、
    前記表示領域の前記変更されたサイズに基づき、前記レイアウト管理テーブルが記憶する前記表示領域のサイズを更新する処理と、
    前記取得処理によって取得された前記更新された解像度の画像データに基づいて、前記変更されたサイズの前記表示領域に前記画像を表示する制御を行う表示制御処理と、
    前記解像度情報によって示される前記更新された解像度の画像データを、通信ネットワークを介して前記他の通信端末へ送信する処理と、
    を実行させることを特徴とするプログラム。
JP2015191005A 2015-09-29 2015-09-29 通信端末、通信システム、制御方法、及びプログラム Active JP6661940B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015191005A JP6661940B2 (ja) 2015-09-29 2015-09-29 通信端末、通信システム、制御方法、及びプログラム
EP16188399.6A EP3151550A1 (en) 2015-09-29 2016-09-12 Apparatus, system and method of controlling display of image data, and carrier means
US15/270,235 US10185531B2 (en) 2015-09-29 2016-09-20 Apparatus, system, and method of controlling display of image data in a network of multiple display terminals
US16/210,769 US10592191B2 (en) 2015-09-29 2018-12-05 Apparatus, system, and method of controlling display of image data in a network of multiple display terminals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015191005A JP6661940B2 (ja) 2015-09-29 2015-09-29 通信端末、通信システム、制御方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018082978A Division JP6677271B2 (ja) 2018-04-24 2018-04-24 通信端末、通信システム、通信方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2017069663A JP2017069663A (ja) 2017-04-06
JP6661940B2 true JP6661940B2 (ja) 2020-03-11

Family

ID=56926047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015191005A Active JP6661940B2 (ja) 2015-09-29 2015-09-29 通信端末、通信システム、制御方法、及びプログラム

Country Status (3)

Country Link
US (2) US10185531B2 (ja)
EP (1) EP3151550A1 (ja)
JP (1) JP6661940B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011254442A (ja) 2010-05-06 2011-12-15 Ricoh Co Ltd 遠隔通信端末、遠隔通信方法、及び遠隔通信用プログラム
EP3247112A1 (en) 2016-05-20 2017-11-22 Ricoh Company, Ltd. Information processing apparatus, communication system, and information processing method
JP6733393B2 (ja) 2016-07-25 2020-07-29 株式会社リコー 共有端末、通信システム、画像送信方法、及びプログラム
US10356361B2 (en) 2016-09-16 2019-07-16 Ricoh Company, Ltd. Communication terminal, communication system, and display method
US10416939B2 (en) 2017-03-31 2019-09-17 Ricoh Company, Ltd. Communication terminal, communication system, communication control method, and non-transitory computer-readable medium
US11163866B2 (en) 2017-03-31 2021-11-02 Ricoh Company, Ltd. Shared terminal, display control method, and non-transitory computer-readable medium
JP2020042322A (ja) * 2018-09-06 2020-03-19 セイコーエプソン株式会社 画像表示装置及びその制御方法
KR20210047112A (ko) * 2019-10-21 2021-04-29 삼성전자주식회사 전자장치 및 그 제어방법

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004186934A (ja) * 2002-12-03 2004-07-02 Fuji Xerox Co Ltd 画像処理システム、画像形成装置、画像処理方法、およびプログラム
US7528990B2 (en) 2004-06-16 2009-05-05 Ricoh Company, Ltd. Image-forming system with improved workability by displaying image finish and setting items in course of processing
JP4828338B2 (ja) 2005-09-14 2011-11-30 株式会社リコー 画像処理装置およびプログラム
JP4790523B2 (ja) 2005-09-14 2011-10-12 株式会社リコー 画像処理装置およびプログラム
JP4828339B2 (ja) * 2005-09-14 2011-11-30 株式会社リコー ユーザインターフェイス装置、画像処理装置及びプログラム
JP4916237B2 (ja) 2005-09-16 2012-04-11 株式会社リコー 画像表示装置、画像表示方法、その方法をコンピュータに実行させるプログラム、および画像表示システム
JP4807999B2 (ja) 2005-09-16 2011-11-02 株式会社リコー 画像表示装置、画像表示方法、画像形成装置、画像形成方法、および、それらの方法をコンピュータに実行させるプログラム
JP2007160922A (ja) 2005-11-18 2007-06-28 Ricoh Co Ltd 画像処理装置、プログラムおよび画像処理装置における仕上がりデータ移動方法
JP2007188474A (ja) 2005-12-12 2007-07-26 Ricoh Co Ltd ユーザインタフェース装置、項目設定方法およびプログラム
JP2007185946A (ja) 2005-12-13 2007-07-26 Ricoh Co Ltd 情報処理装置、プログラムおよびプレビュー画像表示方法
JP4783254B2 (ja) 2005-12-15 2011-09-28 株式会社リコー ユーザインタフェース装置、画像形成装置、画像表示方法、およびその方法をコンピュータに実行させるプログラム
JP2007200280A (ja) 2005-12-27 2007-08-09 Ricoh Co Ltd ユーザインタフェース装置、画像表示方法、およびその方法をコンピュータに実行させるプログラム
JP5347784B2 (ja) 2008-08-19 2013-11-20 株式会社リコー 画像処理装置、付加情報提供方法、プログラム、記憶媒体
JP5251387B2 (ja) 2008-09-17 2013-07-31 株式会社リコー 画像形成装置及びプログラム
JP2010074434A (ja) 2008-09-17 2010-04-02 Ricoh Co Ltd 画像形成装置及びプログラム
JP2009065696A (ja) * 2008-10-27 2009-03-26 Toshiba Corp 映像合成装置、方法およびプログラム
JP2010108372A (ja) * 2008-10-31 2010-05-13 Toshiba Corp 映像表示装置、映像表示方法および映像システム
JP4927155B2 (ja) * 2009-11-12 2012-05-09 株式会社エヌ・ティ・ティ・ドコモ プログラム生成装置およびプログラム
US8189280B2 (en) * 2010-07-16 2012-05-29 Nokia Corporation Voice coil motor with pulse-width modulation driver
JP2012108479A (ja) 2010-10-28 2012-06-07 Seiko Epson Corp 投射型表示装置及びその制御方法
EP2636214B1 (en) 2010-11-04 2019-12-04 Ricoh Company, Ltd. Communication terminal, communication method and computer readable information recording medium
JP5887756B2 (ja) 2010-11-30 2016-03-16 株式会社リコー 外部入力装置、通信端末、表示データ共有システム、プログラム
US8731331B2 (en) 2010-11-30 2014-05-20 Ricoh Company, Ltd. Apparatus, system, and method of communication, and recording medium storing communication control program
US8665312B2 (en) 2010-12-06 2014-03-04 Ricoh Company, Ltd. Apparatus, system, and method of managing data transmission, and transmission management program
JP5353989B2 (ja) 2011-02-28 2013-11-27 株式会社リコー 伝送管理装置、伝送端末、伝送システム、伝送管理方法、伝送端末制御方法、伝送管理プログラム及び伝送端末制御プログラム
JP5942364B2 (ja) 2011-03-31 2016-06-29 株式会社リコー 伝送管理システム、伝送システム、及びプログラム
JP5664442B2 (ja) * 2011-04-27 2015-02-04 ブラザー工業株式会社 テレビ会議装置、表示制御方法及び表示制御プログラム
JP5903835B2 (ja) 2011-04-28 2016-04-13 株式会社リコー 伝送端末、画像表示制御方法、画像表示制御プログラム、記録媒体、および伝送システム
JP5811334B2 (ja) 2011-09-01 2015-11-11 株式会社リコー 伝送管理システム、伝送管理方法、プログラム、及び伝送システム
JP5927900B2 (ja) 2011-12-22 2016-06-01 株式会社リコー 電子機器
JP5962098B2 (ja) 2012-03-19 2016-08-03 株式会社リコー 伝送端末、伝送システム、表示制御方法、及びプログラム
JP6069881B2 (ja) 2012-04-25 2017-02-01 株式会社リコー 中継装置、表示データ共有システム、データ制御方法およびプログラム
JP2014003448A (ja) 2012-06-18 2014-01-09 Ricoh Co Ltd 伝送システム、外部入力装置、および表示解像度変換用プログラム
JP6145979B2 (ja) 2012-09-13 2017-06-14 株式会社リコー 通信システム、情報処理装置、端末
US9379783B2 (en) 2012-09-14 2016-06-28 Ricoh Company, Ltd. Transmission system
JP6171303B2 (ja) 2012-10-15 2017-08-02 株式会社リコー 伝送端末、伝送方法、及びプログラム
JP6064518B2 (ja) 2012-10-29 2017-01-25 株式会社リコー 通信端末、遠隔会議システムおよびプログラム
JP6183003B2 (ja) 2012-11-15 2017-08-23 株式会社リコー 伝送システム
JP6111753B2 (ja) * 2013-03-11 2017-04-12 株式会社リコー 情報処理装置、伝送システム、プログラム
JP6182911B2 (ja) * 2013-03-11 2017-08-23 株式会社リコー 伝送端末、伝送システム、プログラム
JP6379496B2 (ja) 2013-03-12 2018-08-29 株式会社リコー 管理装置、通信システム及びプログラム
JP6507467B2 (ja) 2013-03-13 2019-05-08 株式会社リコー 情報処理装置
JP6331253B2 (ja) 2013-03-13 2018-05-30 株式会社リコー 情報処理プログラム、情報処理方法、及び情報処理装置
JP6186794B2 (ja) 2013-03-26 2017-08-30 株式会社リコー 情報処理プログラム、情報処理方法、及び情報処理装置
JP6229283B2 (ja) 2013-03-26 2017-11-15 株式会社リコー 画像処理装置、表示端末及び画像表示システム、並びに、画像処理方法、表示端末の制御方法、画像表示システムの制御方法及びそれらの方法のプログラム
JP6194628B2 (ja) 2013-04-30 2017-09-13 株式会社リコー 通信管理システム、通信管理方法、及びプログラム
JP6194632B2 (ja) 2013-05-16 2017-09-13 株式会社リコー プログラム、設定情報利用システム、情報処理装置
JP6384095B2 (ja) 2013-06-06 2018-09-05 株式会社リコー 伝送端末、プログラム、画像表示方法、伝送システム
US9699018B2 (en) 2013-06-11 2017-07-04 Ricoh Company, Ltd. Communication terminal, communication management system, communication management method, and recording medium storing communication management program
JP2015097070A (ja) 2013-06-12 2015-05-21 株式会社リコー 通信システム、情報処理装置、プログラム
EP3032826A4 (en) 2013-08-06 2016-08-31 Ricoh Co Ltd INFORMATION PROCESSING DEVICE, AND DETERMINATION RESULT COMMUNICATION METHOD
JP6318628B2 (ja) 2013-08-14 2018-05-09 株式会社リコー 表示端末、表示制御装置及び表示制御方法、表示端末の制御方法、及び画像表示システム
JP6476631B2 (ja) * 2013-09-19 2019-03-06 株式会社リコー 情報処理装置、データ表示方法、プログラム
JP6149684B2 (ja) * 2013-10-21 2017-06-21 ブラザー工業株式会社 携帯端末、画像処理装置、及びプログラム
US10205754B2 (en) 2014-02-13 2019-02-12 Ricoh Company, Ltd. Transmission system, transmission management apparatus and non-transitory computer-readable information recording medium
JP6299465B2 (ja) 2014-06-17 2018-03-28 株式会社リコー 電子写真用トナー、電子写真用トナーの製造方法、画像形成方法、及び画像形成装置
JP6540367B2 (ja) * 2015-08-21 2019-07-10 株式会社リコー 表示制御装置、通信端末、通信システム、表示制御方法、及びプログラム

Also Published As

Publication number Publication date
EP3151550A1 (en) 2017-04-05
US20170090843A1 (en) 2017-03-30
US10592191B2 (en) 2020-03-17
JP2017069663A (ja) 2017-04-06
US20190107988A1 (en) 2019-04-11
US10185531B2 (en) 2019-01-22

Similar Documents

Publication Publication Date Title
JP6661940B2 (ja) 通信端末、通信システム、制御方法、及びプログラム
JP6634965B2 (ja) 通信端末、通信システム、通信制御方法、及びプログラム
US10225092B2 (en) Transmission control system, transmission system, relay device selecting method, computer program product, and maintenance system for selecting a prioritized relay device for communication between terminals
US9544197B2 (en) Communication terminal, communication system, display control method, and recording medium storing display control program
US10146496B2 (en) Apparatus, system, and method of controlling display image, and recording medium
JP6361268B2 (ja) 通信管理システム、通信管理方法、及びプログラム
JP6194632B2 (ja) プログラム、設定情報利用システム、情報処理装置
JP2015056860A (ja) 伝送端末、通信方法、及びプログラム
JP6252740B2 (ja) 伝送管理システム、管理方法、及びプログラム
JP6414223B2 (ja) 操作システム、通信端末、通信システム、操作方法、及びプログラム
JP6661915B2 (ja) 通信管理システム、通信システム、中継装置制御方法、及びプログラム
US20170019832A1 (en) Transmission terminal, transmission system, and method for selecting relay device
US20160381094A1 (en) Communication terminal, communication system, communication control method, and recording medium
US10547607B2 (en) Management system, program, management method, and communication system
JP6677271B2 (ja) 通信端末、通信システム、通信方法、及びプログラム
JP2019153897A (ja) 表示制御装置、通信端末、通信システム、表示制御方法、及びプログラム
JP6492460B2 (ja) 伝送端末、伝送方法、及びプログラム
JP6326973B2 (ja) 伝送端末、伝送システム、中継装置の選択方法、プログラム、及びメンテナンスシステム
JP6540039B2 (ja) 伝送管理システム、通信方法、及びプログラム
JP6439325B2 (ja) 利用管理システム、料金提供方法、及びプログラム
JP2017169182A (ja) 通信端末、通信システム、通信制御方法、及びプログラム
JP2016123010A (ja) 管理システム、通信端末、通信システム、呼制御方法、及びプログラム
JP6405793B2 (ja) 情報処理端末、表示方法、及びプログラム
JP2016067003A (ja) 伝送端末、伝送システム、表示方法、及びプログラム
JP2016071880A (ja) 伝送管理システム、伝送システム、伝送管理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200127

R151 Written notification of patent or utility model registration

Ref document number: 6661940

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151