JP6103076B6 - 情報処理装置、プログラム、及び伝送システム - Google Patents

情報処理装置、プログラム、及び伝送システム Download PDF

Info

Publication number
JP6103076B6
JP6103076B6 JP2015554882A JP2015554882A JP6103076B6 JP 6103076 B6 JP6103076 B6 JP 6103076B6 JP 2015554882 A JP2015554882 A JP 2015554882A JP 2015554882 A JP2015554882 A JP 2015554882A JP 6103076 B6 JP6103076 B6 JP 6103076B6
Authority
JP
Japan
Prior art keywords
display
information processing
image
image data
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015554882A
Other languages
English (en)
Other versions
JP6103076B2 (ja
JPWO2015098841A6 (ja
JPWO2015098841A1 (ja
Inventor
加藤 喜永
喜永 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JPWO2015098841A6 publication Critical patent/JPWO2015098841A6/ja
Publication of JPWO2015098841A1 publication Critical patent/JPWO2015098841A1/ja
Publication of JP6103076B2 publication Critical patent/JP6103076B2/ja
Application granted granted Critical
Publication of JP6103076B6 publication Critical patent/JP6103076B6/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543Mice or pucks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1415Digital output to display device ; Cooperation and interconnection of the display device with other functional units with means for detecting differences between the image stored in the host and the images displayed on the displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/04Partial updating of the display screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00Solving problems of bandwidth in display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/025LAN communication management
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Digital Computer Display Output (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、ネットワークを介して他の装置と通信可能な情報処理装置等に関する。
インターネット等の通信ネットワークを介して遠隔地との間でテレビ会議等を行う伝送システムが普及しつつある。伝送端末はカメラが撮像した画像データとマイクが集音した音声データを宛先端末である伝送端末に送信し、互いの伝送端末が映像をディスプレイに表示し音声をスピーカから出力する。
また、伝送端末を用いてテレビ会議を行う際に、テレビ会議の当事者は、当該伝送端末とは別にPC(Personal Computer)等の外部入力装置を用い、この外部入力装置のディスプレイに表示された会議資料等の表示データを、会議の相手と共有することができる(例えば、特許文献1参照。)。
ところで、伝送システムでは、ユーザが操作する会議用の端末として専用の伝送端末が用いられる他に、PCが用いられる場合がある。PCは例えばテレビ会議用のプログラムがインストールされることで他のPCや専用端末とテレビ会議のための通信や処理を行うことができる。したがって、ユーザは専用端末がなくても自分の又は出先のPCにテレビ会議用のプログラムをインストールすることでテレビ会議に参加できる。
しかしながら、PCではOS(Operating System)や他のアプリケーションが動作しているため、これらの動作によってPCの負荷が増大する場合がある。このため、PCがテレビ会議用のプログラムを実行し、音声データ、画像データ、及び、表示データを宛先端末に送信すると、PCが表示する画面がちらつくなどの症状が生じる場合があるという問題があった。
本発明は、上記課題に鑑み、表示データを送信先に送信する際に画面に生じる不具合を低減する情報処理装置を提供することを目的とする。
本発明は、ネットワークを介して他の装置と通信可能な情報処理装置であって、当該情報処理装置が有する表示装置又は当該情報処理装置と接続され得る表示装置に画像を表示する表示手段と、前記表示装置の画面に表示される画像である画像データを前記他の装置に送信する送信手段と、前記送信手段が前記他の装置に前記画像データを送信する場合、前記表示手段による前記表示装置への画像の表示に伴う処理の負荷を低減する低減手段と、を有し、前記表示手段は、前記表示装置の画面の内に位置する表示領域に表示される画像を透過的に表示する透過表示と、前記表示領域に表示される該画像を透過させない非透過表示のいずれかで前記表示装置に画像を表示するものであり、前記低減手段は、前記送信手段が前記他の装置に前記画像データを送信する場合、前記表示手段によって前記表示領域に表示される前記画像の表示状態を前記透過表示から前記非透過表示に切り替える、ことを特徴とする。
表示データを送信先に送信する際に画面に生じる不具合を低減する情報処理装置を提供することができる。
本発明の一実施形態に係る伝送システムの全体構成を示す概略図である 本実施形態に係る伝送システムを構成する情報処理装置のハードウェア構成図の一例である。 本実施形態に係る伝送システムを構成する伝送管理システムのハードウェア構成図の一例である。 本実施形態の伝送システムを構成する情報処理装置、中継装置および伝送管理システムの機能ブロック図の一例である。 低解像度を説明するための図である。 中解像度を説明するための図である。 高解像度を説明するための図である。 変更品質管理テーブルの一例を示す図である。 中継装置管理テーブルの一例を示す図である。 端末認証管理テーブルの一例を示す図である。 端末管理テーブルの一例を示す図である。 宛先リスト管理テーブルの一例を示す図である。 セッション管理テーブルの一例を示す図である。 品質管理テーブルの一例を示す図である。 ディスプレイに表示されているデスクトップ画面の一例を示す図である。 情報処理装置用プログラムが表示するログイン画面の一例を示す図である。 情報処理装置用プログラムが表示するアプリケーションウィンドウ(メイン画面)の一例を示す図である。 表示データの共有について説明する図の一例である。 表示データへのマウスカーソルのアイコン画像の合成を模式的に説明する図の一例である。 表示データへのマウスカーソルのアイコン画像の合成を模式的に説明する図の一例である。 表示データ取得部が表示データにマウスカーソルのアイコン画像を合成する手順を示すフローチャート図の一例である。 各中継装置から伝送管理システムに送信された各中継装置の稼働状態を表す状態情報を管理する処理の一例を示すシーケンス図である。 各伝送端末間で通信を開始する準備段階の処理の一例を示すシーケンス図である。 伝送端末がセッションを確立する処理の一例を示すシーケンス図である。 外部入力装置が表示した表示データを会議の相手である伝送端末に表示させる処理の一例を示すシーケンス図である。 表示データの取得手順を示すフローチャート図の一例である。 ステップS30で透過表示がOFFに切り替えられる際に表示されるメッセージの一例を示す図である。 透過表示がOFFに切り替わった際のメッセージの表示例の別の一例を示す図である。 表示データの取得手順を示すフローチャート図の一例である(実施例2)。 表示データの取得手順を示すフローチャート図の一例である(実施例3)。 デスクトップ領域外か否かの判断における座標系を説明する図の一例である。 図24のステップS30「記憶した表示状態の透過表示がONであればOFFに切り替える」の処理と置き換えられる処理の手順を示すフローチャート図の一例である。 情報処理装置又は伝送端末がカーナビゲーション装置として採用された場合のシステム構成図の一例を示す図である。 カーナビゲーション装置の構成図の一例を示す。
以下、図面を参照して本発明の実施形態について説明する。しかしながら、本発明の技術的範囲が、本実施の形態に限定されるものではない。
図1は、実施例1に係る伝送システム1の全体構成を示す概略図である。以下、図1を参照して本実施形態を説明する。実施例1では、情報処理装置20の透過表示がONに設定されている場合、音声データ、画像データ、及び、表示データを宛先端末に送信すると情報処理装置の表示負荷が増大しやすいことに着目し、透過表示をOFFに切り替える情報処理装置20について説明する。これにより、表示データの共有中に画面がちらつくなどの症状が生じることを抑制できる。
一般に伝送システムには、伝送管理システムを介して一方の伝送端末から他方の伝送端末に一方向でコンテンツデータを通信するデータ提供システムや、伝送管理システムを介して複数の伝送端末間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、コミュニケーション管理システム(「伝送管理システム」に相当)を介して複数のコミュニケーション端末(「情報処理装置」及び「伝送端末」に相当)間で情報や感情等を相互に伝達するためのシステムであり、テレビまたはビデオ会議システム、テレビ電話システム、音声会議システム、音声電話システム、PC(Personal computer)画面共有システム等が例として挙げられる。
本実施形態では、コミュニケーションシステムの一例としてのテレビまたはビデオ会議システムやインタラクティブホワイトボード(IWB)システム、コミュニケーション管理システムの一例としてのテレビまたはビデオ会議管理システム、およびコミュニケーション端末の一例としてのテレビまたはビデオ会議端末を想定した上で、伝送システム、伝送管理システム、情報処理装置および伝送端末について説明する。すなわち、本発明の伝送端末および伝送管理システムは、テレビまたはビデオ会議システムに適用されるだけでなく、コミュニケーションシステム、または伝送システムにも適用される。なお、伝送システム1は、特許請求の範囲の情報処理システムの一例である。
本実施形態の伝送システム1(図1参照)は、複数の情報処理装置20aa,20ab,20caおよび20cbと,伝送端末10ba,10bb,10daおよび10dbと、各伝送端末10ba,……,10db用の複数のディスプレイ120ba,120bb,120daおよび120dbと、各伝送端末10ba,……,10dbにそれぞれ接続される複数のPC等の外部入力装置40ba,40bb,40daおよび40dbと、複数の中継装置30a,30b,30cおよび30dと、伝送管理システム50と、プログラム提供システム90と、メンテナンスシステム100とによって構築されている。情報処理装置20aa,20ab,20caおよび20cbは、それぞれディスプレイ120aa,120ab,120ca,及び120cbを有する。
なお、以下の説明において特に明記しない限り、複数の情報処理装置20aa…20cbのうち任意の情報処理装置を示すときは「情報処理装置20」と表記し、複数の伝送端末10ba,……,10dbのうち任意の伝送端末を示すときは「伝送端末10」と表記し、複数のディスプレイ120aa,……,120dbのうち任意のディスプレイを示すときは「ディスプレイ120」と表記し、複数の外部入力装置40ba,……,40dbのうち任意の外部入力装置を示すときは「外部入力装置40」と表記し、複数の中継装置30a,……,30dのうち任意の中継装置を示すときは「中継装置30」と表記する。また、ディスプレイ120は伝送端末10の表示装置の一例である。
情報処理装置20は他の情報処理装置20又は伝送端末10との間で、画像データ、音声データ等の送受信を行うようになっている。また、伝送端末10は、他の伝送端末10又は情報処理装置20との間で、画像データ、音声データ等の送受信を行うようになっている。本実施形態では、画像データの画像が動画の場合について説明するが、動画だけでなく静止画であってもよい。また、画像データの画像に動画と静止画の両方が含まれていてもよい。中継装置30は、各情報処理装置20及び各伝送端末10間で画像データおよび音声データの中継を行うためのものである。情報処理装置20又は外部入力装置40に表示された表示データが共有される場合、中継装置30は表示データを中継する。伝送管理システム50は、複数の情報処理装置20、複数の伝送端末10および複数の中継装置30を一元的に管理するためのものである。
外部入力装置40は、伝送端末10と接続され、外部入力装置40の表示装置(後述するディスプレイ216)に表示されている画像を表す表示データを伝送端末10に送信するようになっている。
また、図1に示される複数のルータ70a,70b,70c,70d,70eおよび70fは、画像データおよび音声データが送受信される最適な経路の選択を行うためのものである。以下の説明において特に明記しない限り、複数のルータ70a,……,70fのうち任意のルータを示すときは「ルータ70」と表記する。また、プログラム提供システム90は、HD(Hard Disk)(図示せず)を備えている。このHDには、情報処理装置20に各種機能または各種手段を実現させるための情報処理装置用プログラム、伝送端末10に各種機能または各種手段を実現させるための伝送端末用プログラム、中継装置30に各種機能または各種手段を実現させるための中継装置用プログラム、および、伝送管理システム50に各種機能または各種手段を実現させるための伝送管理用プログラムが格納されている。プログラム提供システム90は、HDに格納されている情報処理装置用プログラム、伝送端末用プログラム、中継装置用プログラムおよび伝送管理用プログラムを、それぞれ情報処理装置20、伝送端末10、中継装置30および伝送管理システム50に送信可能に構築されている。
また、情報処理装置20aaおよび20abと中継装置30aとルータ70aとは、LAN(Local Area Network)2aによって通信可能に接続されており、伝送端末10baおよび伝送端末10bbと中継装置30bとルータ70bとは、LAN2bによって通信可能に接続されている。LAN2aおよびLAN2bは、ルータ70cが含まれた専用線2abによって通信可能に接続されており、所定の地域A内で構築されている。例えば、地域Aは日本であり、LAN2aは東京の事業所内で構築されており、LAN2bは大阪の事業所内で構築されている。
一方、情報処理装置20caおよび20cbと中継装置30cとルータ70dとは、LAN2cによって通信可能に接続されており、伝送端末10daおよび10dbと中継装置30dとルータ70eとは、LAN2dによって通信可能に接続されている。LAN2cおよびLAN2dは、ルータ70fが含まれた専用線2cdによって通信可能に接続されており、所定の地域B内で構築されている。例えば、地域Bはアメリカであり、LAN2cはニューヨークの事業所内で構築されており、LAN2dはワシントンD.C.の事業所内で構築されている。地域Aと地域Bは、それぞれルータ70c,70fからインターネット2iを介して通信可能に接続されている。
また、伝送管理システム50、プログラム提供システム90およびメンテナンスシステム100は、インターネット2iを介して伝送端末10および中継装置30と通信可能に接続されている。伝送管理システム50、プログラム提供システム90およびメンテナンスシステム100は、地域Aまたは地域Bに設置されていてもよいし、これら以外の地域に設置されていてもよい。
本実施形態では、LAN2a、LAN2b、専用線2ab、インターネット2i、専用線2cd、LAN2cおよびLAN2dによって通信ネットワーク2が構築されている。
また、図1において、各情報処理装置20、各伝送端末10、各中継装置30、伝送管理システム50、各ルータ70、プログラム提供システム90およびメンテナンスシステム100の下に表記されている4組の数字(かっこ付き)は、一般的なIPv4 (Internet Protocol version 4) におけるIPアドレスを簡易的に示している。例えば、情報処理装置20aaのIPアドレスは「1.2.1.3」である。また、IPv4ではなくIPv6を用いてもよいが、説明を簡略化するため、IPv4を用いて説明する。
<<実施形態のハードウェア構成>>
次に、本実施形態のハードウェア構成を説明する。
図2は、本実施形態に係る伝送システム1を構成する情報処理装置20のハードウェア構成図である。図2に示されるように、情報処理装置20は、情報処理装置20全体の動作を制御するCPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103と、画像データや音声データ等の各種データを記憶するフラッシュメモリ104と、CPU101の制御に従って情報処理装置用プログラム119を記憶したフラッシュメモリ104に対する各種データの読み出しおよび書き込みを制御するSSD (Solid State Drive)105と、フラッシュメモリ等の記録メディア106に対するデータの読み出しまたは書き込み(記憶)を制御するメディアドライブ107と、ユーザの操作を受け付ける操作ボタン108と、伝送端末10の電源のON/OFFを切り換えるための電源スイッチ109と、後述の通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F111と、CPU101の制御に従って被写体を撮像し画像データを得るカメラ112と、このカメラ112の駆動を制御する撮像素子I/F113と、音声を入力するマイク114と、音声を出力するスピーカ115と、CPU101の制御に従ってマイク114およびスピーカ115との間で音声信号の入出力を処理する音声入出力I/F116と、CPU101の制御に従ってディスプレイ120に画像データを伝送するディスプレイI/F117と、外部の装置との間で各種データを送受信する外部装置I/F118と、上記各構成要素を相互に電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
なお、記録メディア106は、情報処理装置20に対して着脱自在な構成となっている。また、CPU101の制御に従ってデータの読み出しまたは書き込みを行う不揮発性メモリであれば、フラッシュメモリ104に限らずEEPROM(Electrically Erasable and Programmable ROM)等を用いてもよい。また、カメラ112は、光を電荷に変換して被写体の画像(映像)を電子化する固体撮像素子、例えば、CCD(Charge Coupled Device) 素子、CMOS(Complementary Metal Oxide Semiconductor)素子等を備えている。また、SSD105以外にHDD(Hard Disk Drive)を用いてもよい。
また、ディスプレイ120は、表示データ、及び、被写体の画像や操作用アイコン等を表示する液晶素子や有機EL素子等を用いて構成され、外付けであっても内蔵されていてもよい。
また、上記情報処理装置用プログラムは、インストール可能な形式または実行可能な形式のファイルで、上記記録メディア106等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
なお、カメラ112、マイク114、スピーカ115は必ずしも内蔵型の必要はなく、外付けにしてもよい。
また、伝送端末10は、情報処理装置20と同様のハードウェア構成を有しているため、その説明を省略する。但し、SSD105には、伝送端末10を制御するための伝送端末用プログラムが格納されている。
情報処理装置20及び伝送端末10は、PC、スマートフォン、タブレット端末、携帯電話などであってもよい。
図3は、本実施形態に係る伝送システム1を構成する伝送管理システム50のハードウェア構成図である。伝送管理システム50は、伝送管理システム50全体の動作を制御するCPU201と、伝送管理用プログラムを記憶したROM202と、CPU201のワークエリアとして使用されるRAM203と、各種データを記憶するHD(Hard Disk)204と、CPU201の制御に従ってHD204に対する各種データの読み出しおよび書き込みを制御するHDD205と、フラッシュメモリ等の記録メディア206に対するデータの読み出しおよび書き込み(記憶)を制御するメディアドライブ207と、カーソル、メニュー、ウィンドウ、文字、画像等の各種情報をディスプレイ216に表示させるためのディスプレイI/F208と、後述の通信ネットワーク2を利用してデータ伝送をするためのネットワークI/F209と、文字、数値、各種指示等を入力するための複数のキーを備えたキーボード211と、各種指示の選択や実行、処理対象の選択、マウスカーソルなどのポインティングデバイスの移動等を行うマウス212と、着脱可能な記録媒体の一例としてのCD−ROM(Compact Disc Read Only Memory)213に対するデータの読み出しおよび書き込みを制御するCD−ROMドライブ214と、外部の装置との間で情報を送受信するための外部装置I/F215と、上記各構成要素間を相互に電気的に接続するためのアドレスバスやデータバス等のバスライン210とを備えている。なお、ディスプレイ216は、外部入力装置40の表示装置の一例でもある。
また、上記伝送管理用プログラムは、インストール可能な形式または実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。上記伝送管理用プログラムはHD204に記憶されていてもよい。
また、外部入力装置40は、伝送管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、外部入力装置40を制御するための外部入力装置用プログラムが格納されている。この場合も、外部入力装置用プログラムは、インストール可能な形式または実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
また、中継装置30は、伝送管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、中継装置30を制御するための中継装置用プログラムが格納されている。この場合も、中継装置用プログラムは、インストール可能な形式または実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。
また、プログラム提供システム90は、伝送管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。但し、ROM202には、プログラム提供システム90を制御するためのプログラム提供システム用プログラムが格納されている。この場合も、プログラム提供システム用プログラムは、インストール可能な形式または実行可能な形式のファイルで、上記記録メディア206やCD−ROM213等のコンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。なお、プログラム提供システム用プログラムは、ROM202ではなくHD204に格納されるようにしてもよい。
また、メンテナンスシステム100は、伝送管理システム50と同様のハードウェア構成を有しているため、その説明を省略する。このメンテナンスシステム100は、伝送端末10、中継装置30、伝送管理システム50およびプログラム提供システム90のうちの少なくとも1つの維持、管理または保守を行うためのコンピュータである。例えば、メンテナンスシステム100が国内に設置され、伝送端末10、中継装置30、伝送管理システム50またはプログラム提供システム90が国外に設置されている場合、メンテナンスシステム100は、通信ネットワーク2を介して遠隔的に、伝送端末10、中継装置30、伝送管理システム50およびプログラム提供システム90のうちの少なくとも1つの維持、管理、保守等のメンテナンスを行うようになっている。
また、メンテナンスシステム100は、通信ネットワーク2を介さずに、伝送端末10、中継装置30、伝送管理システム50およびプログラム提供システム90のうちの少なくとも1つにおける機種番号、製造番号、販売先、保守点検または故障履歴の管理等のメンテナンスを行うようにしてもよい。
なお、上記の着脱可能な記録媒体の他の形態としては、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)、ブルーレイディスク等のコンピュータで読み取り可能な記録媒体に格納して提供するように構成してもよい。
<<実施形態の機能構成>>
次に、本実施形態の機能構成について、図4〜図12を参照しながら説明する。図4は、本実施形態の伝送システム1を構成する情報処理装置20、中継装置30および伝送管理システム50の機能ブロック図である。図4に示す例では、情報処理装置20と、中継装置30と、伝送管理システム50とが、通信ネットワーク2を介してデータ通信することができるように接続されている。
なお、図1に示される、伝送端末10、外部入力装置40、プログラム提供システム90およびメンテナンスシステム100は、図4では図示を省略している。
図5は、画像データの画質を説明するための図である。また、図6は変更品質管理テーブルの一例、図7は中継装置管理テーブルの一例、図8は端末認証管理テーブルの一例、図9は端末管理テーブルの一例、図10は宛先リスト管理テーブルの一例、図11はセッション管理テーブルの一例、図12は品質管理テーブルの一例、をそれぞれ示す図である。
<伝送端末の機能構成>
図4に示されるように、情報処理装置20は、送受信部11と、操作入力受付部12と、ログイン要求部13と、撮像部14aと、画像表示制御部14bと、表示データ取得部14cと、音声入力部15aと、音声出力部15bと、遅延検出部17と、透過表示制御部18と、記憶・読出処理部19と、解像度取得部21aと、解像度判定部21bと、解像度選択部21cと、解像度変更部21dとを有している。これら各機能部は、図2に示される各構成要素のいずれかが、ROM102に格納されているプログラムに従ったCPU101からの命令により動作することで実現される機能または手段である。また、伝送端末10は、図2に示されるSSD105によって構築される記憶部1000を有している。
<伝送端末の各機能部>
次に、情報処理装置20の各機能部について詳細に説明する。情報処理装置20の送受信部11は、図2に示されるネットワークI/F111によって実現され、通信ネットワーク2を介して他の情報処理装置20、伝送端末10、中継装置30および伝送管理システム50と各種データの送受信を行う。操作入力受付部12は、図2に示される操作ボタン108および電源スイッチ109によって実現され、ユーザによる各種入力を受け付ける。例えば、ユーザが、情報処理装置20の本体の電源スイッチをONにすると、操作入力受付部12が電源ONを受け付けて、電源をONにする。また、操作入力受付部12は、ユーザによって操作入力された解像度を表す解像度情報を受け付ける。
ログイン要求部13は、図2に示されるCPU101からの命令によって実現され、ユーザの操作を契機として、送受信部11から通信ネットワーク2を介して伝送管理システム50に、ログインを要求する旨を示すログイン要求情報、および情報処理装置20の現時点のIPアドレスを自動的に送信する。
撮像部14aは、図2に示されるカメラ112および撮像素子I/F113によって実現され、被写体を撮像した画像を表す画像データを生成する。画像表示制御部14bは、図2に示されるディスプレイI/F117によって実現され、画像データをレンダリングし、画像データが表す画像をディスプレイ120に表示させるための制御を行う。表示データ取得部14cは、ディスプレイ120に表示されている画像を表す画像データを取得する。本実施形態ではカメラ112で撮像した画像を表すデータを「画像データ」という。また、ディスプレイ120に表示されている画像であり表示データ取得部14cにより取得されたデータを「表示データ」という。なお、画像データおよび表示データは、例えばJPEG(Joint Photographic Experts Group)、Bitmap、GDI(Graphics Device Interface)等の形式のデータである。
音声入力部15aは、図2に示されるマイク114および音声入出力I/F116によって実現され、ユーザの音声を入力し、この音声を音声信号に変換することで、音声信号に係る音声データを出力する。音声出力部15bは、図2に示されるスピーカ115および音声入出力I/F116によって実現され、音声データに係る音声信号を音声に変換して出力する。
遅延検出部17は、図2に示されるCPU101からの命令に従って実現され、他の情報処理装置20又は伝送端末10から中継装置30を介して送られてくる画像データまたは音声データの遅延時間(ms)を検出する。また、記憶・読出処理部19は、図2に示されるSSD105によって実行され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出したりする処理を行う。
解像度取得部21aは、情報処理装置20に接続されているディスプレイ120の表示可能な解像度を取得する。解像度判定部21bは、解像度取得部21aによって取得された表示可能な解像度に、画像データの伝送に用いる基準アスペクト比以外の解像度を含んでいるか否かを判定する。解像度選択部21cは、解像度判定部21bが行う判定の結果に基づいて上記表示可能な解像度の中から基準アスペクト比以外の解像度または基準アスペクト比の解像度を選択する。解像度変更部21dは、ディスプレイ120の解像度を、操作入力受付部12によって受け付けられた解像度情報が表す解像度に変更する。ここで、解像度とは、表示画面上の長さ当たりに存在する画素数を表し、縦方向の解像度および横方向の解像度が含まれる。
透過表示制御部18は、画像表示制御部14bがディスプレイ120に出力する画面の透過表示のONとOFFの切り替えを制御する。透過表示とは、ウィンドウ(表示部品の一例である)の下側の画像を透過的に表示することをいう。すなわち、ウィンドウの一部又は全体が半透明となるように画像処理が行われる。透過度は固定でもユーザが設定可能でもよい。
透過表示により、ユーザはウィンドウとウィンドウの重複部分がある場合に下側のウィンドウを把握しやすくなり、ウィンドウの下側のデスクトップウィンドウを把握しやすくなる。また、透過表示により、デスクトップ画面のデザイン性が向上する。
なお、実施例1では、透過表示の負荷が2段階のON/OFFでのみ切り替わる場合について説明するが、負荷が3段階以上に異なる透過表示を情報処理装置が制御することが可能な場合、負荷が異なる透過状態に段階的に切り替えてもよい。
記憶部1000には、情報処理装置20を識別するための端末ID(Identification)およびパスワード、画像データおよび音声データ、各種データを送信する中継装置30を識別する中継装置ID、宛先端末のIPアドレス等が記憶される。端末ID及びパスワードは情報処理装置20のユーザが情報処理装置20に入力したもの又は情報処理装置用プログラム119が保持するものである。また、記憶部1000には、情報処理装置用プログラム119が格納されている。また、記憶部1000は、情報処理装置20が出力する表示データの解像度を表す解像度情報が格納されている。
また、本実施形態における端末IDおよび後述の中継装置IDは、それぞれ情報処理装置20および中継装置30を一意に識別するために使われる言語、文字、記号または各種のしるし等の識別情報を示す。また、端末IDおよび中継装置IDは、上記言語、文字、記号および各種のしるしのうち少なくとも2つが組み合わされた識別情報であってもよい。また、以下の記載において、「要求元端末」は、テレビ会議の開始を要求する情報処理装置20に相当し、「宛先端末」は、要求先である宛先としての情報処理装置20又は伝送端末10に相当する。
<中継装置の機能構成>
次に、中継装置30の機能(または手段)について説明する。中継装置30は、図4に示されるように送受信部31と、状態検知部32と、データ品質確認部33と、変更品質管理部34と、データ品質変更部35と、記憶・読出処理部39とを有している。これら各機能部は、図4に示される各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能または手段である。また、中継装置30は、図3に示されるROM202、RAM203またはHDD205のいずれかにより構築される記憶部3000を有している。
《変更品質管理テーブル》
記憶部3000には、図6に示されるような変更品質管理テーブル301tによって構成される変更品質管理DB3001が構築されている。変更品質管理テーブル301tでは、画像データの中継先としての情報処理装置20又は伝送端末10のIPアドレス、およびこの中継先に中継装置30が中継する画像データの画質が関連付けられて管理される。
ここで、本実施形態の伝送システム1で扱われる画像データの画像の解像度について説明する。図5A〜図5Cを参照すると、図5Aに示されるように横方向が160画素、縦方向が120画素からなり、ベース画像となる低解像度の画像と、図5Bに示されるように横方向が320画素、縦方向が240画素からなる中解像度の画像と、図5Cに示されるように横方向が640画素、縦方向が480画素からなる高解像度の画像とがある。このうち、狭帯域経路を経由する場合には、ベース画像となる低解像度の画像データのみからなる低画質の画像データが中継される。
帯域が比較的広い場合には、ベース画像となる低解像度の画像データと中解像度の画像データとからなる中画質の画像データが中継される。また、帯域が非常に広い場合には、ベース画像となる低解像度の画像データと中解像度の画像データと高解像度の画像データとからなる高画質の画像データが中継される。
図6に示される変更品質管理テーブル301tにおいて、例えば、中継装置30がIPアドレス「1.3.2.4」の宛先端末である伝統端末10db(図1参照)に対して画像データを中継する場合には、この中継される画像データの画質(画像の品質)は「高品質」である。
<中継装置の各機能部>
次に、中継装置30の各機能部について詳細に説明する。なお、以下の記載では、中継装置30の各機能部を説明するにあたって、図3に示される各構成要素のうち中継装置30の各機能部を実現させるための主な構成要素との関係についても説明する。
中継装置30の送受信部31は、図3に示されるネットワークI/F209によって実現され、通信ネットワーク2を介して情報処理装置20、伝送端末10、他の中継装置30および伝送管理システム50との間で各種データの送受信を行う。状態検知部32は、図3に示されるCPU201からの命令によって実現され、この状態検知部32を有する中継装置30の稼働状態を検知する。稼働状態としては、「ONライン」、「OFFライン」「通話中」または「故障中」の状態がある。
データ品質確認部33は、図3に示されるCPU201からの命令によって実現され、情報処理装置20や宛先端末10のIPアドレスを検索キーとして、変更品質管理テーブル301tを検索し、当該IPアドレスに対応した中継される画像データの画質を抽出することで、中継される画像データの画質を確認する。変更品質管理部34は、図3に示されるCPU201からの命令によって実現され、伝送管理システム50から送信される、後述の品質情報に基づいて、変更品質管理DB3001の内容を変更する。例えば、端末ID「01aa」の情報処理装置20aaと、端末ID「01db」の伝送端末10dbとの間で高画質の画像データを送受信することによってテレビ会議を行っている最中に、他のテレビ会議を行う外部入力装置40bbと情報処理端末20caが通信ネットワーク2を介してテレビ会議を開始することによって、伝送端末10dbで画像データの受信の遅延が生じた場合には、中継装置30は今まで中継していた画像データの画質を、高画質から中画質に下げる必要がある。このような場合に、中画質を示す品質情報に基づいて、中継装置30が中継する画像データの画質を高画質から中画質に下げるように、変更品質管理DB3001の内容が変更される。
データ品質変更部35は、図3に示されるCPU201からの命令によって実現され、要求元端末から送られてきた画像データの画質を、上記変更された変更品質管理DB3001の内容に基づいて変更する。記憶・読出処理部39は、図3に示されるHDD205によって実現され、記憶部3000に各種データを記憶したり、記憶部3000に記憶された各種データを読み出したりする処理を行う。
<伝送管理システムの機能構成>
次に、伝送管理システム50の機能(または手段)について説明する。伝送管理システム50は、図4に示されるように送受信部51と、端末認証部52と、状態管理部53と、端末抽出部54と、端末状態取得部55と、セッション管理部57と、品質決定部58と、記憶・読出処理部59と、遅延時間管理部60とを有している。これら各機能部は、図3に示される各構成要素のいずれかが、ROM202に記憶されているプログラムに従ったCPU201からの命令によって動作することで実現される機能または手段である。また、伝送管理システム50は、図3に示されるROM202、RAM203またはHDD205によって構築される記憶部5000を有している。
《中継装置管理テーブル》
記憶部5000には、図7に示されるような中継装置管理テーブル501tによって構成される中継装置管理DB5001が構築されている。この中継装置管理テーブル501tでは、各中継装置30の中継装置ID毎に、各中継装置30の稼働状態、稼働状態が示される状態情報が伝送管理システム50で受信された受信日時、中継装置30のIPアドレスおよび中継装置30における最大データ伝送速度(Mbps)が関連付けられて管理される。例えば、図7に示される中継装置管理テーブル501tにおいて、中継装置IDが「111a」の中継装置30a(図1参照)は、稼働状態が「ONライン」であり、伝送管理システム50で状態情報が受信された日時が「2009年11月10日の13時00分」であり、この中継装置30aのIPアドレスが「1.2.1.2」であり、この中継装置30aにおける最大データ伝送速度が100Mbpsであることが示されている。
《端末認証管理テーブル》
また、記憶部5000には、図8に示されるような端末認証管理テーブル502tによって構成される端末認証管理DB5002が構築されている。この端末認証管理テーブル502tでは、伝送管理システム50によって管理される全ての伝送端末10の各端末IDに対して、各パスワードが関連付けられて管理される。例えば、図8に示される端末認証管理テーブル502tにおいて、情報処理装置20aaの端末IDは「01aa」で、パスワードは「aaaa」であることが示されている。
《端末管理テーブル》
また、記憶部5000には、図9に示されるような端末管理テーブル503tによって構成される端末管理DB5003が構築されている。この端末管理テーブル503tでは、各情報処理装置20,各伝送端末10の端末ID毎に、各情報処理装置20、各伝送端末10の稼働状態、後述のログイン要求情報が伝送管理システム50で受信された受信日時および伝送端末10のIPアドレスが関連付けられて管理される。例えば、図9に示される端末管理テーブル503tにおいて、端末IDが「01aa」の情報処理装置20aaは、稼働状態が「ONライン」であり、伝送管理システム50でログイン要求情報が受信された日時が「2009年11月10日の13時40分」であり、この情報処理装置20aaのIPアドレスが「1.2.1.3」であることが示されている。
《宛先リスト管理テーブル》
また、記憶部5000には、図10に示されるような宛先リスト管理テーブル504tによって構成される宛先リスト管理DB5004が構築されている。この宛先リスト管理テーブル504tでは、テレビ会議の開始を要求する要求元端末の端末IDに対して、宛先端末の候補として登録されている宛先端末の端末IDが全て関連付けられて管理される。例えば、図10に示される宛先リスト管理テーブル504tにおいて、端末IDが「01aa」である情報処理装置20aaからテレビ会議の開始を要求することができる宛先端末の候補は、端末IDが「01ab」の情報処理装置20ab、端末IDが「01ba」の伝送端末10ba、および端末IDが「01db」の伝送端末10dbの3つであることが示されている。この宛先端末の候補は、要求元端末から伝送管理システム50に対する追加または削除の要請により、追加または削除されることで更新される。
《セッション管理テーブル》
また、記憶部5000には、図11に示されるようなセッション管理テーブル505tによって構成されるセッション管理DB5005が構築されている。このセッション管理テーブル505tでは、中継装置30を選択するためのセッションの実行に用いられる選択用セッションID毎に、中継装置30の中継装置ID、要求元の端末ID、宛先の端末ID、遅延時間(ms)、および遅延情報の受信日時が関連付けられて管理される。ここで、遅延時間(ms)とは、宛先端末において画像データが受信される際の受信の遅延時間であり、遅延情報の受信日時とは、この遅延時間が示される遅延情報を宛先端末から送信されて伝送管理システム50で受信された日時である。
例えば、図11に示されるセッション管理テーブル505tにおいて、選択用セッションID「se1」を用いて実行されたセッションで選択された中継装置30a(中継装置ID「111a」)は、端末IDが「01aa」の情報処理装置20aa(図1参照)と、端末IDが「01db」の伝送端末10dbとの間で、画像データおよび音声データを中継していることが示されている。また、伝送端末10dbにおいて「2009年11月10日の14時00分」時点における画像データの遅延時間が200(ms)であることが示されている。
なお、2つの伝送端末10の間でテレビ会議を行う場合には、上記宛先端末ではなく要求元端末から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理してもよい。但し、3つ以上のコミュニケーション端末の間でテレビ会議を行う場合には、画像データおよび音声データの受信側のコミュニケーション端末から送信されてきた遅延情報に基づいて、遅延情報の受信日時を管理する。
《品質管理テーブル》
また、記憶部5000には、図12に示されるような品質管理テーブル507tによって構成される品質管理DB5007が構築されている。この品質管理テーブル507tでは、要求元端末または宛先端末における画像データの遅延時間(ms)に応じて、中継装置30で中継させる画像データの画質(画像の品質)が関連付けられて管理される。
<伝送管理システムの各機能部>
次に、伝送管理システム50の各機能部について詳細に説明する。なお、以下の記載では、伝送管理システム50の各機能部を説明するにあたって、図3に示される各構成要素のうち、伝送管理システム50の各機能部を実現させるための主な構成要素との関係についても説明する。
まず、送受信部51は、図3に示されるネットワークI/F209によって実行され、通信ネットワーク2を介して情報処理装置20、伝送端末10、中継装置30または他のシステム(プログラム提供システム90と、メンテナンスシステム100)との間で各種データの送受信を行う。端末認証部52は、送受信部51を介して受信されたログイン要求情報に含まれている端末IDおよびパスワードを検索キーとし、記憶部5000の端末認証管理DB5002を検索し、端末認証管理DB5002に同一の端末IDおよびパスワードが管理されているかを判断することによって端末認証を行う。状態管理部53は、ログイン要求してきた要求元端末の稼働状態を管理すべく、端末管理テーブル503tに、この要求元端末の端末ID、要求元端末の稼働状態、伝送管理システム50でログイン要求情報が受信された受信日時、および要求元端末のIPアドレスを関連付けて記憶して管理する。
端末抽出部54は、ログイン要求した要求元端末の端末IDをキーとして、宛先リスト管理テーブル504tを検索し、要求元端末と通信することができる宛先端末の候補の端末IDを読み出すことで、端末IDを抽出する。また、端末抽出部54は、ログイン要求してきた要求元端末の端末IDをキーとして、宛先リスト管理テーブル504tを検索し、上記要求元端末の端末IDを宛先端末の候補として登録している他の要求元端末の端末IDも抽出する。
端末状態取得部55は、端末抽出部54によって抽出された宛先端末の候補の端末IDを検索キーとして、端末管理テーブル503tを検索し、端末抽出部54によって抽出された端末ID毎に稼働状態を読み出す。これにより、端末状態取得部55は、ログイン要求してきた要求元端末と通信することができる宛先端末の候補の稼働状態を取得することができる。また、端末状態取得部55は、端末抽出部54によって抽出された端末IDを検索キーとして、端末管理テーブル503tを検索し、ログイン要求してきた要求元端末の稼働状態も取得する。
セッション管理部57は、記憶部5000のセッション管理DB5005(図11のセッション管理テーブル505t)に、生成された選択用セッションID、要求元端末の端末IDおよび宛先端末の端末IDを関連付けて記憶して管理する。また、セッション管理部57は、セッション管理テーブル505tに中継装置30の中継装置IDを記憶して管理する。
品質決定部58は、上記遅延時間を検索キーとして、品質管理テーブル507tを検索し、対応する画像データの画質を抽出することで、中継装置30に中継させる画像データの画質を決定する。記憶・読出処理部59は、図3に示されるHDD205によって実行され、記憶部5000に各種データを記憶したり、記憶部5000に記憶された各種データを読み出したりする処理を行う。遅延時間管理部60は、上記宛先端末のIPアドレスを検索キーとして、端末管理テーブル503tを検索することで、対応する端末IDを抽出し、さらにセッション管理テーブル505tにおいて、上記抽出した端末IDが含まれるレコードにおける遅延時間のフィールド部分に、上記遅延情報で示される遅延時間を記憶して管理する。
<画面の表示例>
図13は、ディスプレイ120に表示されているデスクトップ画面の一例を示す図である。このデスクトップ画面では2つのウィンドウA,Bが表示されている。1つは任意のアプリケーションが作成して表示したウィンドウAであり、もう1つは情報処理装置用プログラム119の画像表示制御部14bが作成して表示したウィンドウBである。なお、情報処理装置用プログラム119は、デスクトップ全体も1つのウィンドウとして扱う。以下、アプリケーションが作成するウィンドウを「アプリケーションウィンドウ」、デスクトップ全体を「デスクトップウィンドウ」、区別しない場合は単に「ウィンドウ」という。
情報処理装置20がディスプレイ120に表示しているウィンドウはOSにより管理されている。情報処理装置用プログラム119は、OSに対しAPIで現在、表示されているウィンドウを問い合わせることで、ウィンドウの識別情報(例えば、Windows(登録商標)ではハンドル)を取得できる。ウィンドウの識別情報が分かれば、それらのタイトルバーの名称などを表示できる。なお、図ではウィンドウAとBが離れているが、表示データが取得されるウィンドウと、情報処理装置用プログラム119のウィンドウは重複していてもよい。
したがって、情報処理装置用プログラム119は、例えばハンドルによりウィンドウを識別して、ユーザが選択した任意のウィンドウの表示データを取得できる。ユーザにより選択されたウィンドウを以下、「選択ウィンドウ」という。
図14は、情報処理装置用プログラム119が表示するログイン画面の一例を示す図である。情報処理装置用プログラム119が起動すると、図14のようなログイン画面が示される(独立に表示されても、図13のウィンドウBの中に表示されてもよい)。ログイン画面は、ログインID欄503、パスワード欄504、及び、ログインボタン505を有する。ユーザがログインID欄503に端末IDを、パスワード欄504にパスワードを入力してログインボタン505を押下すると、操作入力受付部12がログイン操作を受け付ける。これにより、ログイン要求部13はログイン要求を伝送管理システム50に送信する。
図15は、情報処理装置用プログラム119が表示するアプリケーションウィンドウ(メイン画面)の一例を示す図である。このアプリケーションウィンドウは、主に上部バー510、メイン表示部520、及び、下部バー530の3つの領域を有している。上部バー510には情報処理装置用プログラム119の名称511、情報処理装置用プログラム119が宛先端末と通信を開始してからの経過時間512、及び、通信速度513が表示されている。
また、下部バー530にはリストボタン531、ビューボタン532、共有ボタン533、カメラボタン534、マイクボタン535、音量ボタン536、及び、接続切断ボタン537が表示されている。リストボタン531は、後述する図22のステップS41で表示される宛先のリストを表示するためのボタンである。ビューボタン532は、メイン表示部520の表示形態を選択可能に表示するボタンである。ユーザはビューボタン532を押下して表示態様を選択することで、表示データと1つ以上の画像データ(宛先端末数だけ)を表示したり、表示データのみを表示したり、画像データのみを表示したりすることを選択できる。共有ボタン533は、表示データの共有が可能なウィンドウのリストを表示させ、選択ウィンドウの表示データの共有を開始するためのボタンである。カメラボタン534はカメラによる撮影のON・OFFを切り替えるためのボタンである。マイクボタン535はマイクによる集音のON・OFFを切り替えるためのボタンである。音量ボタン536はスピーカから出力される音量を調整するためのボタンである。接続切断ボタン537は会議を開始する(ログインする)ため、及び、会議を終了する(ログオフする)ためのボタンである。接続切断ボタン538には、ログイン前は「接続」と表示され、ログイン後は「切断」と表示される。
図15は共有ボタン533が押下された状態を示しているため、表示データの共有が可能なウィンドウのリストが表示されている。すなわち「Geegle インターネットブラウザ」、「デスクトップ」と表示されている。この「Geegle インターネットブラウザ」というアプリケーションウィンドウが図13のウィンドウAである。このため、「Geegle インターネットブラウザ」の右端に共有中であることを示すアイコン538が表示されている。ユーザは、別のウィンドウ(図では「デスクトップ」)の表示データを共有する場合は、該「デスクトップ」を選択する。
また、表示データがすでに共有されていることを意味すると共に、共有を終了するためのメニュー「共有終了」が表示されている。ユーザは、共有を終了する場合は「共有終了」というメニューを選択する。
メイン表示部520には、現在、共有中であるウィンドウB(「Geegle インターネットブラウザ」)の表示データ521が表示されている。また、この表示データ521は、宛先端末である伝送端末10dbに送信され、伝送端末10dbと共有されている。
図16は、表示データの共有について説明する図の一例である。中継装置30を介して情報処理装置20aaと伝送端末10dbが接続されている。伝送端末10dbには外部入力装置40dbとディスプレイ120dbが接続されている。
情報処理装置20aaのディスプレイ120aaには、ウィンドウAとウィンドウBが表示されている。ウィンドウBは情報処理装置用プログラム119が作成したアプリケーションウィンドウである。ユーザが共有ボタン533を選択してウィンドウAを選択した場合、表示データ取得部14cはウィンドウAの表示データを取得して、送受信部11が表示データを伝送端末10dbに送信する。ユーザが共有ボタン533を選択して「デスクトップ」を選択した場合、送受信部11はデスクトップウィンドウの表示データを伝送端末10dbに送信する。
伝送端末10dbの画面Iでは、デスクトップウィンドウの表示データ、情報処理装置20aaのカメラ112が撮像した画像データ、及び、伝送端末10dbのカメラ112が撮像した画像データが表示されている。すなわち、ディスプレイ120dbが3つの領域に区分され、表示データと2つの画像データが表示されている。
伝送端末10dbの画面IIでは、ウィンドウAの表示データが、情報処理装置20aaのカメラ112が撮像した画像データ、及び、伝送端末10dbのカメラ112が撮像した画像データが表示されている。
<アイコン画像(マウス)の合成>
表示データ取得部14cが選択ウィンドウを取得する際、情報処理装置20によってはマウスカーソルの画像が取得されない。このため、表示データ取得部14cがマウスカーソルが含まれる選択ウィンドウの表示データを取得する場合、表示データにマウスカーソルを合成することが好ましい。
図4に示したように、表示データ取得部14cは、指示情報取得部141、及び、表示データ作成部142を有している。指示情報取得部141は、マウスカーソルなどの位置やマウスカーソルのアイコン画像17g(図17)などの指示情報を取得する。指示情報は、画面におけるマウスカーソルの座標データ17h(図17)、又は、画面におけるマウスカーソルの座標データ17hとそのアイコン画像17gである。マウスカーソルの座標データ17hは、APIでOSに問い合わせることで取得できる。マウスカーソルのアイコン画像17gは、同様にOSから取得してもよいし、予め既知のマウスカーソルのアイコン画像17gを画像データとしてもよい。
表示データ作成部142は、表示データにアイコン画像17gを合成する。情報処理装置20は表示データを伝送端末10db等に送信するので、各ユーザはマウスカーソルが画面上の表示データを特定する位置を共通に把握することができる。
マウスカーソルのアイコン画像17gの合成方法は、デスクトップウィンドウの表示データに合成する場合と、アプリケーションウィンドウを表示データに合成する場合とで異なる。
・デスクトップウィンドウを表示データとする場合
図17は、表示データへのマウスカーソルのアイコン画像17gの合成を模式的に説明する図の一例である。図17の表示データ17dは、情報処理装置20aaがディスプレイ120aaに表示している画面の全体である。マウスカーソルはデスクトップ画面の全体を移動できる。
指示情報取得部141はマウスカーソルのアイコン画像17g、マウスカーソルの座標データ17hを取得する。座標データ17hは直交座標系で表され、左上の頂点(コーナー)を原点とするピクセル単位でマウスカーソルの2次元上の位置を示す座標である。
したがって、表示データ作成部142は、例えばマウスカーソルの先端部を、座標データ17hが示す表示データ17dの位置に配置することで、表示データ17hにマウスカーソルを合成することができる。なお、合成とは、表示データ17dにマウスカーソルのアイコン画像17gを配置して(重なる画素の画素値を置き換えて)1つの画像データとすることである。
・アプリケーションウィンドウを表示データとする場合
図18は、表示データへのマウスカーソルのアイコン画像17gの合成を模式的に説明する図の一例である。マウスカーソルの座標(X,Y)はデスクトップ画面の左上を原点とする座標であるのに対し、選択ウィンドウはデスクトップ画面の一部の領域に過ぎない。このため、選択ウィンドウの表示データ17dに対して座標(X、Y)にアイコン画像17gを合成してしまうと、選択ウィンドウの左上コーナの座標(X'、Y')を基準にアイコン画像17gが配置されるため、表示データ17dではアイコン画像17gの位置が変わってしまう。
そこで、指示情報取得部141は、選択ウィンドウがデスクトップウィンドウでなくアプリケーションウィンドウの場合、以下のようにマウスカーソルの座標データ17hを補正する。
X=X−X'
Y=Y−Y'
こうすることで、表示データ17dとアイコン画像17gの相対位置を維持して表示データ17dにアイコン画像17gを合成できる。
図19は表示データ取得部14cが表示データにマウスカーソルのアイコン画像17gを合成する手順を示すフローチャート図の一例である。図19の処理は後述する図23の処理のステップS77−2の中で行われる。
指示情報取得部141はマウスカーソルの座標データ17hを取得する(S77−21)。デスクトップウィンドウが表示データの場合、この後、表示データにアイコン画像17gを合成すればよい。
指示情報取得部141は、ステップS77−21で取得した座標データ17hが、アプリケーションウィンドウに含まれるか否かを判定する(S77−22)。
アプリケーションウィンドウに含まれない場合(S77−22のNo)、アイコン画像17gを合成する必要がないので、表示データ作成部142はマウスカーソルのアイコン画像17gを表示データに合成することなく処理を終了する。
アプリケーションウィンドウに含まれる場合(S77−22のYes)、指示情報取得部141はマウスカーソルのアイコン画像17gを取得する(S77−23)。
次に、表示データ作成部142は、選択ウィンドウの表示データに、ステップS77−23で取得したアイコン画像17gを合成して処理を終了する(S77−24)。すなわち、表示データ作成部142は、マウスカーソルの先端部の座標(X, Y)とアクティブな領域18rの左上隅の座標(X', Y')を参照する。そして、アクティブな領域18rの画像だけを取り込んだ表示データの左上コーナを原点に((X-X'), (Y-Y'))の位置にマウスカーソルのアイコン画像17gを合成する。
以上の処理により、表示データにマウスカーソルを表示させることができる。なお、図19のS77−22では、アプリケーションウィンドウが選択されているとしたが、常に、アプリケーションウィンドウが選択された場合の合成処理を適用し、デスクトップウィンドウが選択された場合に、X' = 0, Y' = 0としてもよい。
<<実施形態の処理・動作>>
次に、本実施形態の伝送システム1において行われる各種処理および動作について、図20〜図24を参照しながら説明する。なお、図20は、各中継装置30から伝送管理システム50に送信された各中継装置30の稼働状態を表す状態情報を管理する処理の一例を示すシーケンス図である。図21は、情報処理装置20と他の情報処理装置20又は伝送端末10の間で通信を開始する準備段階の処理の一例を示すシーケンス図である。図22は、伝送端末がセッションを確立する処理の一例を示すシーケンス図である。図23は、情報処理装置20が表示した表示データを会議の相手である情報処理装置20又は伝送端末10に表示させる処理の一例を示すシーケンス図である。図24は表示データの取得手順を示すフローチャート図の一例である。
まず、図20を参照して、各中継装置30から伝送管理システム50に送信された各中継装置30の稼動状態を表す状態情報を管理する処理について説明する。まず、各中継装置30(30a〜30d)では、状態検知部32が、自装置である中継装置30の稼働状態を定期的に検知している(S1−1〜S1−4)。そして、伝送管理システム50側で各中継装置30の稼働状態をリアルタイムで管理させるべく、各中継装置30の送受信部31は、定期的に通信ネットワーク2を介して伝送管理システム50へ各状態情報を送信する(ステップS2−1〜S2−4)。これら各状態情報には、各中継装置30毎の中継装置IDと、これら各中継装置IDに係る中継装置30の状態検知部32で検知された稼働状態とが含まれている。なお、本実施形態では、中継装置30a、30bおよび30dは、正常に稼働して「ONライン」となっている一方で、中継装置30cは、稼働中ではあるが、中継装置30cの中継動作を実行するためのプログラムに何らかの不具合が生じて「OFFライン」となっている場合が示されている。
次に、伝送管理システム50では、各中継装置30a〜30dから送られてきた各状態情報を送受信部51が受信し、記憶・読出処理部59を介して記憶部5000の中継装置管理DB5001(図7の中継装置管理テーブル501t)に、中継装置ID毎に状態情報を記憶して管理する(ステップS3−1〜S3−4)。これにより、中継装置管理テーブル501tに対して、中継装置ID毎に「ONライン」、「OFFライン」または「故障中」のいずれかの稼働状態が記憶されて管理される。その際、中継装置ID毎に、伝送管理システム50で状態情報が受信された受信日時も記憶されて管理される。なお、中継装置30から状態情報が送られてこない場合には、中継装置管理テーブル501tの各レコードにおける稼働状態のフィールド部分および受信日時のフィールド部分が空白になるか、または、前回の受信時の稼働状態および受信日時が維持されて管理される。
次に、図21を用いて、情報処理装置20aa及び伝送端末10ba、10dbとの間で、通信を開始する前の準備段階の処理について説明する。まず、ユーザが、情報処理装置用プログラム119を起動させると図14のログイン画面が表示される。ユーザは端末IDとパスワードを入力してログインボタン505を押下する(ステップS21)。
次に、ログイン要求部13はログインボタン505の押下を契機とし、送受信部11から通信ネットワーク2を介して伝送管理システム50に、ログイン要求を示すログイン要求情報を自動的に送信する(ステップS22)。このログイン要求情報には、要求元としての自装置である情報処理装置20aaを識別するための端末IDおよびパスワードが含まれている。これら端末IDおよびパスワードは、記憶・読出処理部19を介して記憶部1000から読み出されて、送受信部11に送られたデータである。なお、情報処理装置20aaから伝送管理システム50へログイン要求情報が送信される際、受信側である伝送管理システム50は、送信側である情報処理装置20aaのIPアドレスを把握することができる。
次に、伝送管理システム50の端末認証部52は、送受信部51を介して受信したログイン要求情報に含まれている端末IDおよびパスワードを検索キーとして、記憶部5000の端末認証管理DB5002(図8の端末認証管理テーブル502t)を検索し、端末認証管理DB5002に同一の端末IDおよびパスワードが管理されているかを判断することにより、端末認証を行う(ステップS23)。この端末認証部52によって、同一の端末IDおよびパスワードが管理されているため正当な利用権限を有する情報処理装置20又は伝送端末10からのログイン要求であると判断された場合には、状態管理部53は、端末管理DB5003(図9の端末管理テーブル503t)に、情報処理装置20aaの端末ID、稼働状態、上記ログイン要求情報が受信された受信日時、および情報処理装置20aaのIPアドレスを関連付けて記憶する(ステップS24)。これにより、端末管理テーブル503t(図9)には、情報処理装置20aaの端末ID「01aa」に、稼働状態「ONライン」、受信日時「2009.11.10.13:40」および端末IPアドレス「1.2.1.3」が関連付けて管理されることになる。
次に、伝送管理システム50の送受信部51は、端末認証部52によって得られた認証結果が示された認証結果情報を、通信ネットワーク2を介して、上記ログイン要求してきた要求元の情報処理端末20aaに送信する(ステップS25)。本実施形態では、端末認証部52によって正当な利用権限を有する端末であると判断された場合について、以下続けて説明する。
伝送管理システム50の端末抽出部54は、ログイン要求した情報処理端末20aaの端末ID「01aa」を検索キーとして、宛先リスト管理テーブル504tを検索し、情報処理端末20aaと通信することができる宛先端末の候補の端末IDを読み出すことによって抽出する(ステップS26)。ここでは、情報処理端末20aaの端末ID「01aa」に対応する、宛先端末となる、情報処理装置20ab、伝送端末10baおよび伝送端末10dbのそれぞれの端末ID「01ab」、「01ba」および「01db」が抽出されることになる。
次に、端末状態取得部55は、端末抽出部54によって抽出された宛先端末の候補の端末ID(「01ab」、「01ba」、「01db」)を検索キーとして、端末管理テーブル503tを検索し、端末抽出部54によって抽出された端末ID毎に稼働状態(「OFFライン」、「ONライン」、「ONライン」)を読み出すことにより、宛先端末(情報処理端末20ab、伝送端末10ba、及び伝送端末10db)の各稼働状態を取得する(ステップS27)。
次に、送受信部51は、ステップS27で使用された検索キーとしての端末ID(「01ab」、「01ba」、「01db」)と、対応する宛先端末(情報処理端末20ab、伝送端末10ba、及び伝送端末10db)の稼働状態(「OFFライン」、「ONライン」、「ONライン」)とが含まれた宛先状態情報を、通信ネットワーク2を介して情報処理端末20aaに送信する(ステップS28)。これにより、情報処理端末20aaは、この情報処理端末20aaと通信することができる宛先端末の候補である情報処理端末20ab、伝送端末10ba、及び伝送端末10dbの現時点のそれぞれの稼働状態(「OFFライン」、「ONライン」、「ONライン」)を把握することができる。
さらに、伝送管理システム50の端末抽出部54は、ログイン要求してきた情報処理端末20aaの端末ID「01aa」を検索キーとして、宛先リスト管理テーブル504tを検索し、情報処理端末20aaの端末ID「01aa」を宛先端末の候補として登録している他の要求元端末の端末IDを抽出する(ステップS29)。図10に示される宛先リスト管理テーブル504tでは、抽出される他の要求元端末の端末IDは、「01ab」、「01ba」および「01db」である。
次に、伝送管理システム50の端末状態取得部55は、ログイン要求してきた情報処理端末20aaの端末ID「01aa」を検索キーとして、端末管理テーブル503tを検索し、その情報処理端末20aaの稼働状態を取得する(ステップS30)。
次に、送受信部51は、ステップS29で抽出された端末ID(「01ab」、「01ba」および「01db」)の要求元端末(情報処理端末20ab、伝送端末10ba、及び伝送端末10db)のうち、端末管理テーブル503tで稼働状態が「ONライン」となっている要求元端末(伝送端末10ba及び10db)に、ステップS30で取得された情報処理端末20aaの端末ID「01aa」と稼働状態「ONライン」が含まれる宛先状態情報を送信する(ステップS31−1,S31−2)。なお、送受信部51が要求元端末(伝送端末10ba及び10db)に宛先状態情報を送信する際に、各端末ID(「01ba」及び「01db」)に基づいて、端末管理テーブル503t(図9)で管理されている端末のIPアドレスを参照する。これにより、ログイン要求した情報処理端末20aaを宛先として通信することができる他の宛先端末(伝送端末10db及び10ba)の各々に、ログイン要求した情報処理端末20aaの端末ID「01aa」および稼働状態「ONライン」を伝えることができる。
一方、他の伝送端末10においても、ユーザが電源スイッチ109をONにすると(上記ステップS21)、操作入力受付部12が電源ONを受け付け、上記ステップS22〜S31−1、31−2の処理と同様の処理を行うため、その説明を省略する。
次に、図22を参照して、情報処理装置20と、他の情報処理装置20又は伝送端末10がセッションを確立する処理について説明する。本実施形態では、情報処理端末20aaは、宛先の候補としての伝送端末10のうち、上記ステップS28において受信した宛先状態情報により、稼働状態が「ONライン」である伝送端末10baおよび10dbのうち少なくとも一方と通信を行うことができる。そこで、以下の記載では、情報処理端末20aaのユーザが宛先端末である伝送端末10dbと通信を開始することを選択した場合について説明する。
まず、ユーザが操作ボタン108を押下して伝送端末10dbを選択すると、情報処理端末20aaの操作入力受付部12は、宛先を伝送端末10dbとする選択を受け付ける(ステップS41)。次に、情報処理装置20aaの送受信部11は、要求元端末として情報処理端末20aaの端末ID「01aa」および宛先端末として伝送端末10dbの端末ID「01db」を含み、通信を開始したい旨を示す開始要求情報を、伝送管理システム50へ送信する(ステップS42)。これにより、伝送管理システム50の送受信部51は、その開始要求情報を受信するとともに、送信元である情報処理端末20aaのIPアドレス「1.2.1.3」を把握することになる。そして、状態管理部53は、開始要求情報に含まれる要求元端末である情報処理端末20aaの端末ID「01aa」および宛先端末である伝送端末10dbの端末ID「01db」に基づいて、端末管理DB5003の端末管理テーブル503t上で、上記端末ID「01aa」および端末ID「01db」がそれぞれ含まれるレコードの稼働状態のフィールド部分を、それぞれ「通話中」に変更する(ステップS43)。この状態では、情報処理端末20aaと伝送端末10dbは、通信(通話)を開始していないが通話中状態となり、他の伝送端末10が情報処理端末20aaまたは伝送端末10dbと通信しようとすると、いわゆる通話中状態を示す旨の音声または表示が出力される。
伝送管理システム50は、中継装置30を選択するためのセッションの実行に用いられる選択用セッションIDを生成する(ステップS44)。そして、セッション管理部57は、記憶部5000のセッション管理テーブル505tに、ステップS44で生成された選択用セッションID「se1」、要求元端末である情報処理端末20aaの端末ID「01aa」、および宛先端末である伝送端末10dbの端末ID「01db」を関連付けて記憶して管理する(ステップS45)。
この後、伝送管理システム50は、中継装置管理DB5001及び端末管理DB5003に基づいて、であると伝送端末10dbとの通信を中継するための中継装置30の絞り込みを行うが詳細は省略した。
次に、伝送管理システム50のセッション管理部57は、セッション管理DB5005のセッション管理テーブル505tにおいて、選択用セッションID「se1」が含まれるレコードの中継装置IDのフィールド部分に、上記の最終的に1つに選択された中継装置30aの中継装置ID「111a」を記憶して管理し(ステップS67−1)、送受信部51は中継装置ID「111a」、伝送端末10dbのIPアドレス「1.3.2.4」を情報処理端末20aaに送信する(ステップS67−21)。なお、伝送管理システム50の送受信部51は、通信ネットワーク2を介して中継装置30aへ、中継を開始する旨の要求が示された中継開始要求情報を送信する(不図示)。この中継開始要求情報には、中継される情報処理端末20aaおよび伝送端末10dbの各IPアドレス(「1.2.1.3」、「1.3.2.4」)が含まれている。これにより、中継装置30aは、情報処理端末20aaと伝送端末10dbとの間で、低解像度、中解像度および高解像度の3つの画像データと音声データを通信するためのセッションを確立する(ステップS69)。これにより、情報処理端末20aaと伝送端末10dbは、テレビ会議を開始することができる。なお、通信する3つの画像データはあくまで一例であり、3つより多くても少なくてもよい。
なお、各伝送端末10は、H.264(H.264/AVC、MPEG-4 part10、MPEG4 AVC)、その拡張規格であるH.264/SVC、又は、Mpeg2などの映像符号化標準規格を利用して、画像データの送受信を行う。
次に、中継装置30が決定された後に、情報処理装置20のディスプレイ120に表示される画像を表す表示データを他の情報処理装置20又は他の伝送端末10に送信してディスプレイ120に表示させる処理について、図23を参照しながら説明する。ここでは、情報処理装置20aaが表示している情報を、宛先端末である伝送端末10dbに表示させる場合を例にとって説明する。
上記のように中継装置30が決定されると、ステップS67−21において伝送管理システム50が送信した中継装置ID「111a」および伝送端末10dbのIPアドレス「1.3.2.4」を、情報処理装置20aaの送受信部11が受信する。そして、その受信された中継装置ID「111a」およびIPアドレス「1.3.2.4」を、記憶・読出処理部19が記憶部1000に記憶させる(ステップS67−22)。
次に、情報処理装置20aaの記憶・読出処理部19が、記憶部1000に記憶されている中継装置ID「111a」と、宛先となる伝送端末10dbのIPアドレス「1.3.2.4」を読み出す(ステップS77)。
表示データ取得部14cはディスプレイ120に表示された画面を取り込んで表示データを取得する(ステップS77−2)。ステップS77−2の処理については後述する。
そして、ステップS77で読み出された中継装置ID「111a」で示される中継装置30に対して、送受信部11が、解像度が変換された表示データと、宛先となる伝送端末10dbのIPアドレス「1.3.2.4」を送信する(ステップS78)。
中継装置30が、ステップS78で情報処理装置10aaから送信された表示データを受信すると、宛先の伝送端末10dbのIPアドレス「1.3.2.4」に基づいて、表示データの画質を変更する(ステップS79)。
中継装置30は、伝送端末10dbに表示データを送信する(ステップS80)。中継装置30から送信された表示データを伝送端末10dbの送受信部11が受信すると、画像表示制御部14bが、その受信した表示データによって表される画像をディスプレイ120dbに表示させる(ステップS81)。
図24は、図23のステップS77−2における表示データの取得手順を示すフローチャート図の一例である。図24の手順は図23のステップS77が終了した後にスタートする。
まず、操作入力受付部12は、ユーザが表示データの共有を開始したか否かを判定する(S10)。共有の開始は、共有ボタン533が押下され、ウィンドウが選択されたことにより検出される。
操作入力受付部12が共有の開始を受け付けた場合(S10のYes)、透過表示制御部18は現在の表示状態を記憶する(S20)。表示状態は、透過表示がON又はOFFのいずれかである。表示状態を記憶しておくことで表示データの共有が終了した後、元の表示状態に戻すことができる。
透過表示制御部18は、記憶した表示状態を参照し、透過表示がONであればOFFに制御する(S30)。すなわち、透過表示がONであれば、非透過表示に表示状態を一時的に切り替える。切り替える方法としては、例えば、OSがWindows(登録商標)の場合、透過表示制御部18がDMW(Desktop Window Manager)のAPI(Application Program Interface)を使用することによって実現できる。OFFからONへの切り替えも同様である。
なお、本実施形態ではWindows(登録商標)というOSを例に説明するが、Mac OS(登録商標)においても透過表示をONからOFFに切り替えることができる。また、iOS(登録商標)、Andoroid(登録商標)においても、透過表示に負荷がかかるのは同じなので、これらのOSにおいても透過表示をONからOFFに切り替えることができる。
透過表示(特許請求の範囲の高負荷な表示状態の一例である)は非透過表示(特許請求の範囲の低負荷な表示状態の一例である)に比べ画面表示のための表示負荷が高い。そのため、情報処理装置20が透過表示したまま、音声データと画像データを取得し、さらに表示データの共有を開始すると、OSなどによるディスプレイ120への画面表示処理が遅くなり、ユーザに画面がちらついて見える場合がある。実施例1では、画面の共有中、負荷がかかる透過表示をOFFにすることで、画面表示の負荷を低くすることができ、ちらつきのような画面品質の低下が生じることを抑制できる。
次に、表示データ取得部14cはユーザが選択した選択ウィンドウの表示データを取得する(S40)。
次に、操作入力受付部12は、ユーザが表示データの共有を終了したか否かを判定する(S50)。操作入力受付部12は、共有ボタン533の押下により表示されるリストの中から「共有終了」が選択されたか否かを判定する。
「共有終了」の選択が検出されない場合(S50のNo)、処理は図23のステップS78に進み、表示データが送信される。その後、処理はステップ40に戻る。
「共有終了」の選択が検出された場合(S50のYes)、透過表示制御部18は記憶してある表示状態を参照し、記憶していた表示状態に戻す(S60)。
なお、必ずしも元の表示状態に戻さなくてもよく、表示データの共有が終了した後、透過表示をOFFにしたままでもよい。透過表示をOFFにしたままだとしても、ちらつきを抑制できることにかわりはない。
ところで、ステップS30で透過表示がOFFに切り替えられた場合、ユーザは透過表示が非透過表示に切り替わるため違和感を感じる場合があり得る。このため、透過表示がOFFに切り替えられる場合、その旨を知らせることが好ましい場合がある。
図25は、ステップS30で透過表示がOFFに切り替えられる際に表示されるメッセージの一例を示す図である。透過表示制御部18は透過表示をOFFに切り替える際、予め定められたメッセージを表示する。なお、メッセージの表示は透過表示が切り替えられる前後のどちらでもよい。
図25のメッセージでは「画面の配色が変更されました。Windows(登録商標)の画面の配色を一時的にWindows(登録商標)のベーシックに変更する必要がある動作が次のプログラムにより実行されました。」と表示されている。
ユーザは透過表示が変わった理由が分かるので、少ない違和感で情報処理装置20を使用できる。ユーザがOKボタン550を押下すると、メッセージが消去される。
また、図26に示すように、メッセージをタスクバーにバルーン表示してもよい。図26は、透過表示がOFFに切り替わった際のメッセージの表示例の別の一例を示す図である。図26では透過表示がOFFに切り替えられる際にメッセージがバルーン表示されている。バルーン表示されたメッセージは閉じるボタン540をユーザが選択することで消去されるが、一定時間が経過するとユーザ操作がなくても消去される。したがって、操作性を向上できる。
以上説明したように、実施例1の情報処理装置20は、画像データと音声データの送受信に加え、表示データを共有するという負荷がかかりやすい状態では、透過表示をOFFにすることで、ちらつきなどが生じることを低減できる。また、透過表示はユーザの操作がなくてもONに戻るので、ユーザが透過表示をONに操作する必要がなく操作性を向上できる。また、透過表示をOFFに切り替える際には、メッセージが表示されるのでユーザが感じる違和感を少なくすることができる。
実施例1では、アプリケーションウィンドウとデスクトップウィンドウを区別することなく、表示データが共有されていた場合は情報処理装置20が透過表示をOFFに切り替えた。
しかしながら、デスクトップウィンドウはユーザ操作により動くことはないが、アプリケーションウィンドウは、ユーザ操作により任意の位置に移動させることが可能である。このため、OSはアプリケーションウィンドウの書き換えのタイミングを監視している。この結果、アプリケーションウィンドウの表示データが作成される場合、デスクトップウィンドウの表示データが作成される場合よりも、表示データの作成に負荷がかかりやすくなる。
このため、デスクトップウィンドウの表示データ(特許請求の範囲の表示装置の一画面分の画像の画像データの一例である)が共有されている場合は、透過表示をOFFにする必要がない場合がある。透過表示のONを継続することで、ユーザは背後のウィンドウを確認したり、デザイン性が高い画面を操作できる。
そこで、実施例1では、アプリケーションウィンドウの表示データが共有される場合だけ、透過表示をOFFに切り替える情報処理装置20について説明する。
なお、実施例2において、実施例1において説明した構成要素は同様の機能を果たすので、主に実施例2の主要な構成要素についてのみ説明する場合がある。
図27は、図23のステップS77−2における表示データの取得手順を示すフローチャート図の一例である。ステップS10〜S40の処理は実施例1と同様である。
ステップS40で選択ウィンドウの表示データが取得されると、操作入力受付部12は選択ウィンドウに変更があったか否かを判定する(S41)。すなわち、操作入力受付部12は、共有ボタン533の押下で表示されたウィンドウのリストから、現在、共有中のウィンドウとは別のウィンドウ(「共有終了」を除く)のいずれかが選択されたか否かを判定する。
選択ウィンドウの変更がなければ(S41のNo)、処理はステップS50に進み、図24と同様に処理される。
選択ウィンドウの変更がある場合(S41のYes)、透過表示制御部18は変更により選択されたウィンドウがデスクトップウィンドウか否かを判定する(S42)。
デスクトップウィンドウが選択された場合(S42のYes)、表示データの作成処理の負荷はウィンドウの場合よりも少ないので、透過表示制御部18は記憶している表示状態を参照し、透過表示がONであってもそのままONを継続する(S43)。
デスクトップウィンドウが選択されていない場合(S42のNo)、表示データの作成処理の負荷がデスクトップウィンドウの場合よりも高いので、透過表示制御部18は記憶している表示状態を参照し、透過表示がONであればOFFに切り替える(S44)。
次いで、処理はステップS45に進み、表示データ取得部14cは変更後の選択ウィンドウの表示データを取得する(S45)。
以降の処理は、実施例1と同様である。すなわち、操作入力受付部12は、ユーザが表示データの共有を終了したか否かを判定する(S50)。操作入力受付部12は、後述するリストの中から共有終了が選択されることにより共有終了を受付ける。
共有終了の操作が検出されない場合(S50のNo)、処理は図23のステップS78に進み、表示データが送信される。その後、処理はステップ40に戻る。
共有終了の操作が検出された場合(S50のYes)、透過表示制御部18は記憶してある表示状態を参照し、記憶していた表示状態に戻す(S60)。
以上の処理により、実施例1と同様に画面のちらつきを抑制することができる。また、表示状態が透過表示である場合、選択ウィンドウがデスクトップウィンドウでない場合だけ、非透過表示に切り替えるので、表示状態が変更されることによる違和感を実施例1に比べて低減できる。
ユーザがアプリケーションウィンドウを移動させることで、アプリケーションウィンドウがデスクトップ領域からはみだす場合がある。この場合、例えばOSは、アプリケーションウィンドウの表示領域を特定するための処理がさらに必要になるため、デスクトップ内にアプリケーションウィンドウを表示する場合よりも表示処理の負荷が高い。このため、デスクトップ領域外のアプリケーションウィンドウの表示データが作成される場合、デスクトップ領域内のアプリケーションウィンドウやデスクトップウィンドウの表示データが作成される場合よりも、表示データの作成に負荷がかかりやすくなる。
よって、アプリケーションウィンドウがデスクトップ領域からはみ出していない場合は、透過表示をOFFにする必要がない場合がある。透過表示のONを継続することで、ユーザは背後のウィンドウを確認したり、デザイン性が高い画面を操作できる。
そこで、実施例3では、デスクトップ領域からはみだしたアプリケーションウィンドウの表示データを取得する場合にだけ、透過表示をOFFに切り替える情報処理装置20について説明する。
なお、実施例3において、実施例1において説明した構成要素は同様の機能を果たすので、主に実施例3の主要な構成要素についてのみ説明する場合がある。
図28は、図23のステップS77−2における表示データの取得手順を示すフローチャート図の一例である。ステップS10〜S20の処理は実施例1と同様である。
ステップS20で表示状態を記憶すると、透過表示制御部18は選択ウィンドウの一部がデスクトップ領域9d(図29)外にあるか否かを判定する(S21)。例えば、以下の条件を満たせばデスクトップ領域9d外にあると判断し、条件を満たさない場合はデスクトップ領域9d内と判断する。
図29は、デスクトップ領域9d外か否かの判断における座標系を説明する図の一例である。原点(0, 0)は左上隅に設定される。(X, Y)はデスクトップ領域9dの右下隅の座標である。(X1,Y1)はアプリケーションウィンドウ9aの左上隅の座標である。(x2, y2) はアプリケーションウィンドウ9aの右下隅の座標である。
したがって、アプリケーションウィンドウ9aがデスクトップ領域9d外にある条件は以下のようになる。
x1 < 0 or y1 < 0 or x2 > X or y2 > Y
図28に戻り、選択されたアプリケーションウィンドウ9aがデスクトップ領域9d外にない場合(S21のNo)、表示データの作成処理の負荷が高くないと判断して、透過表示制御部18は記憶した表示状態を参照し、透過表示がONであればONを継続する(S22)。
選択されたアプリケーションウィンドウ9aがデスクトップ領域9d外にある場合(S21のYes)、表示データの作成処理の負荷が高いので、透過表示制御部18は記憶した表示状態を参照し、透過表示がONであればOFFに一時的に切り替える(S30)。
次いで、表示データ取得部14cは選択ウィンドウの表示データを取得する(S40)。また、操作入力受付部12は選択ウィンドウに変更があったか否かを判定する(S41)。選択ウィンドウの変更がなければ(S41のNo)、処理はステップS50に進み、図24と同様に処理される。
選択ウィンドウの変更がある場合(S41のYes)、透過表示制御部18は選択ウィンドウとしてデスクトップウィンドウが選択されたか否かを判定する(S42)。デスクトップウィンドウが選択された場合(S42のYes)、表示データの作成処理の負荷が高くないと判断して、表示データ取得部14cは変更後の選択ウィンドウの表示データを取得する(S45)。
デスクトップウィンドウが選択されてない場合(S42のNo)、透過表示制御部18は選択ウィンドウの一部がデスクトップ領域9d外にあるか否かを判定する(S42−2)。してがって、ステップS21と同様に、選択されたアプリケーションウィンドウ9aがデスクトップ領域9d外にない場合(S42−2のNo)、表示データの作成処理の負荷が高くないと判断して、透過表示制御部18は記憶した表示状態を参照し、透過表示がONであればONを継続する(S43)。
選択されたアプリケーションウィンドウ9aがデスクトップ領域9d外にある場合(S42−2のYes)、表示データの作成処理の負荷が高いので、透過表示制御部18は記憶した表示状態を参照し、透過表示がONであればOFFに一時的に切り替える(S44)。
この後、処理はステップS45に進み、表示データ取得部14cは変更後の選択ウィンドウの表示データを取得する(S45)。
以降の処理は、実施例1と同様である。すなわち、操作入力受付部12は、ユーザが表示データの共有を終了したか否かを判定する(S50)。操作入力受付部12は、後述するリストの中から共有終了が選択されることにより共有終了を受付ける。
共有終了の操作が検出されない場合(S50のNo)、処理は図23のステップS78に進み、表示データが送信される。その後、処理はステップ40に戻る。
共有終了の操作が検出された場合(S50のYes)、透過表示制御部18は記憶してある表示状態を参照し、記憶していた表示状態に戻す(S60)。
実施例3の情報処理装置20によれば、実施例2よりも透過表示をOFFに切り替えることが少ないので、実施例2に比べて表示状態が変更されることによる違和感をさらに低減できる。例えば、情報処理装置20の性能が比較的高ければ、実施例3の情報処理装置用プログラム119が有効になる。
情報処理装置20は、情報処理装置20のCPUの型番やメモリ容量を取得して、実施例1〜3のどの処理を採用するかを切り替えてもよい。これにより、情報処理装置20の性能によって、透過表示をOFFに切り替えることを最小限にすることができる。
実施例1〜3では、表示データが共有される場合、透過表示をONからOFFに切り替えることでディスプレイ120に表示される画面のちらつきを抑制した。
しかしながら、画面のちらつきは表示処理の負荷が高いことで生じるため、ちらつきを抑制する方法としては、透過表示をOFFに切り替える以外に、ウィンドウから表示データを作成する処理の負荷を低減する方法がある。
マウスカーソルを表示データに合成する場合、マウスカーソルが滑らかに移動しているように見せるため、指示情報取得部141は所定以上の頻度で(例えば1秒間に1回以上)マウスカーソルの座標の取り込みとアイコン画像17gの取得を行い、表示データ作成部142は所定以上の頻度で表示データにアイコン画像17gの合成を行う。
また、マウスカーソルの座標の取り込みとアイコン画像17gの取得、合成は、表示データの取得とは別に行われる処理である。これらのため、表示データを取得してマウスカーソルを合成する処理は負荷(すなわち、表示データを取得してマウスカーソルを合成する一連の表示データの取得負荷)が高い。
そこで、透過表示がONの場合、表示データの取得頻度を低減する、又は、マウスカーソルの合成を行わないことで、透過表示をOFFにすることなく画面がちらつくことを抑制する情報処理装置20について説明する。
図30は、図24のステップS30「記憶した表示状態の透過表示がONであればOFFに切り替える」の処理と置き換えられる処理の手順を示すフローチャート図の一例である。すなわち、記憶した表示状態の透過表示がONの場合、表示データ取得部は図30の処理を行う。
図30では、表示データ取得部14cは、変数iを用いて表示データを作成するか否かを制御する。例えば、指示情報取得部141が指示情報を取得する取得頻度に対し、表示データ取得部14cが表示データを取得する頻度をn回に対し1回のように制限する。この"n"回は、例えば、2以上の自然数である。"n"回の決定方法は種々あるが、例えば情報処理装置20の仕様に応じたり、ユーザの設定を受け付けるなどの方法がある。
まず、表示データ取得部14cは、操作入力受付部12が共有ボタン533からウィンドウの選択を受け付けると、変数iに1を設定することで初期化する(S30−1)。
次に、表示データ取得部14cはi=1か否かを判定し(S30−2)、i=1の場合にだけ、表示データ取得部14cは表示データを取得する(S30−3)。表示データ取得部14cはRAM103やフラッシュメモリ104に記憶されている表示データを更新する。
i=1でない場合、表示データ取得部14cは表示データを取得しないので、表示データの取得負荷を低減できる。
次に、指示情報取得部141はマウスカーソルの画像データを取得する(S30−4)。次に、指示情報取得部141はマウスカーソルの座標データ17hを取得する(S30−5)。
次に、表示データ作成部142は表示データにマウスカーソルの画像データを合成する(S30−6)。すなわち、表示データが更新されているか否かに関わらず、表示データにマウスカーソルの画像データを更新する。したがって、ユーザにとってマウスカーソルは滑らかに動いているようにみえる。
表示データ取得部14cはマウスカーソルが合成された表示データを取得すると、変数iを1つ増やす(S30−7)。
次いで、表示データ取得部14cはi = nか否かを判定する(S30−8)。i=nの場合(S30−8のYes)、変数iを" 1" に初期化する(S30−9)。
以上のような処理により、指示情報がn回取得される毎に1回、情報処理装置20は表示データを取得してマウスカーソルの画像データを合成することができる。
なお、表示データ取得部14cは、指示情報取得部141に指示情報を取得することを停止させてもよい。指示情報取得部141が指示情報を取得しない場合、表示データにマウスカーソルの画像データが合成されないので、表示データの取得頻度を低減するだけよりも取得負荷を低減できる。また、ちらつきを抑制できる場合、表示データの取得頻度を低減することなく、表示データにマウスカーソルの画像データを合成することだけを停止してもよい。
表示データの取得頻度を低減するか、又は、マウスカーソルの合成を行わない場合、実施例1〜3と同様にその旨をディスプレイ120に表示することが好ましい。ユーザは表示データの取得頻度が低減されているので動画の表示データの送信には適当でないことを把握でき、マウスカーソルが合成されない理由を把握できる。
図30は実施例1の図24のステップS30を置き換える処理と説明したが、図27のステップS30、S44、図28のステップS30、S44とも同様に置き換えることができる。
また、実施例4と実施例1〜3をユーザの選択により切り替えてもよい。例えば、ユーザが表示データの更新頻度(及びマウスカーソルの合成の停止)と、透過表示のOFFのどちらかを選択する。ユーザは好みの方法で画面がちらつくことを抑制できる。
また、実施例4では、表示データの更新頻度を低減したが、色数を低減してもよい。選択ウィンドウでキャプチャされる表示データの容量は、表示データの幅と高さの他、色数の影響を受ける。色数は、1画素のビット数で例えば16ビットや32ビットを選択できる。表示データの容量が多いほど表示処理に負荷がかかりやすい。
そこで、画面(デスクトップウィンドウとアプリケーションウィンドウの両方)の色数を低減することで、透過表示をOFFにすることなく画面がちらつくことを抑制できる。なお、表示データの取得頻度の低減と同様に、ユーザがどの方法で画面のちらつきを抑制するかを選択可能としてもよい。
例えば、本実施形態では、情報処理装置20が専用端末の代わりに画像データ、音声データ、及び、表示データを送信する場合にちらつきを抑制するとして説明した。しかし、情報処理装置20が外部入力装置40として表示データを取得する場合に、透過表示をOFFするなどしてちらつきを抑制してもよい。
例えば、図1に示す伝送システム1の一例として、テレビ会議システムの場合について説明したが、これに限るものではなく、伝送システム1は、IP(Internet Protocol)電話や、インターネット電話等の電話システムであってもよい。
また、携帯電話機又はスマートフォンの通信システムを伝送システム1にて置き換えてもよい。この場合、情報処理装置20又は伝送端末10は携帯電話機に相当する。携帯電話機としての情報処理装置20又は伝送端末10は、携帯電話機の本体、この本体に設けられた表示ボタン、本体に設けられた表示部、本体に設けられたマイク、本体に設けられたスピーカを備えている。なお、表示部は、タッチパネルになっている。
この場合、例えば、情報処理装置20又は伝送端末10は携帯電話回線(基地局からの空中線電力により、主に屋外などの比較的広い範囲をカバーする無線通信を含む)などを介して通信ネットワーク2に接続される。
さらに、図31に示すように、情報処理装置20又は伝送端末10は、カーナビゲーション装置として用いられてもよい。図31は情報処理装置20又は伝送端末10がカーナビゲーション装置として採用された場合のシステム構成図の一例を示す図である。この場合、一方の情報処理装置20又は伝送端末10が自動車601に搭載されたカーナビゲーション装置20−2に相当する。他方の情報処理装置20又は伝送端末10は、管理センター604のコミュニケータが使用する管理端末20−1、カーナビゲーション装置を管理する管理サーバ603、又は、他の自動車602に搭載されているカーナビゲーション装置20−3に相当する。
図32はカーナビゲーション装置の構成図の一例を示す。カーナビゲーション装置は、装置の全体を制御する制御部611、GPS受信機612、車速センサ613、ジャイロセンサ614、道路地図データ615などを有している。また、制御部611には本実施形態の情報処理装置が接続されている。制御部611はマイコンなどの情報処理装置であり、プログラムを実行してカーナビゲーション装置としての機能を提供する。GPS受信機612はGPS衛星を補足して現在位置の座標を出力する。車速センサ613は自動車の速度(車輪の回転速度)を検出するセンサである。ジャイロセンサ614は角速度を検出するセンサであり、角速度を積分することで車両の走行方向が検出可能となる。
道路地図データ615は、道路をノードとリンクの組み合わせで表したデータであり、外部からダウンロードされても、予め車両が保持していてもよい。道路地図はディスプレイ120に表示される。
なお、図示するほかに、音楽やTV放送を出力するオーディオ機能を有していてもよい。また、Webサイトを表示するブラウザ機能を有していてもよい。
制御部611は、GPS受信機612が検出する位置情報に、ジャイロセンサ614が検出する走行方向に車速センサ613が検出する走行距離を累積する自律航法を適用して自車位置を推定する。自車位置は自車マークなどにより道路地図上に表示される。
カーナビゲーション装置は、情報処理装置20の機能を利用して、又は、携帯電話機の機能を利用して携帯電話回線などを介して通信ネットワーク2に接続される。
情報処理装置は、ディスプレイ120に図15のような画面を表示するので、乗員はディスプレイ120に表示された宛先端末のリストから宛先端末を選択する。ログイン後は、カメラの画像データや音声データを送受信することができる。また、乗員の操作により、情報処理装置は道路地図やTV映像などの表示データを取り込むことができる。この場合、カーナビゲーション装置は表示データを相手端末のカーナビゲーション装置に送信できる。
したがって、搭載場所が移動体になるだけで、オフィス内の情報処理装置20又は伝送端末10と同様に画像データ、音声データ及び表示データを送受信できる。
以上、図面を用いて本発明の実施形態を詳細に説明した。なお、上記の記載は、実施形態を理解するためのものであり、実施形態の範囲を限定するものではない。また、上記の複数の実施形態は、相互に排他的なものではない。したがって、矛盾が生じない限り、異なる実施形態の各要素を組み合わせることも意図しており、特許請求の範囲に記載された開示の技術の要旨の範囲内において、種々の変形、変更が可能である。
本国際出願は、2013年12月25日に出願した日本国特許出願2013−267983号に基づく優先権を主張するものであり、2013−267983号の全内容をここに本国際出願に援用する。
1 伝送システム
2 通信ネットワーク
10(10ba,10bb,10da,10db) 伝送端末
14a 撮像部
14b 画像表示制御部
14c 表示データ取得部
18 透過表示制御部
20(20aa,20ab,20ca,20cb) 情報処理装置
30(30a,…,30d) 中継装置
40(40aa,…,40db) 外部入力装置
50 伝送管理システム
120,216ディスプレイ
141 指示情報取得部
142 表示データ作成部
特開2011−254442号公報

Claims (13)

  1. ネットワークを介して他の装置と通信可能な情報処理装置であって、
    当該情報処理装置が有する表示装置又は当該情報処理装置と接続され得る表示装置に画像を表示する表示手段と、
    前記表示装置の画面に表示される画像である画像データを前記他の装置に送信する送信手段と、
    前記送信手段が前記他の装置に前記画像データを送信する場合、前記表示手段による前記表示装置への画像の表示に伴う処理の負荷を低減する低減手段と、を有し、
    前記表示手段は、前記表示装置の画面の内に位置する表示領域に表示される画像を透過的に表示する透過表示と、前記表示領域に表示される該画像を透過させない非透過表示のいずれかで前記表示装置に画像を表示するものであり、
    前記低減手段は、前記送信手段が前記他の装置に前記画像データを送信する場合、前記表示手段によって前記表示領域に表示される前記画像の表示状態を前記透過表示から前記非透過表示に切り替える、ことを特徴とする情報処理装置。
  2. 前記表示手段は、前記処理の負荷が異なる複数の表示状態のいずれかで前記表示装置に画像を表示するものであり、
    前記低減手段は、前記送信手段が前記他の装置に前記画像データを送信する場合、前記表示手段によって前記表示装置に表示される前記画像の表示状態を、第一の表示状態から前記第一の表示状態に伴う第一の負荷よりも低い第二の負荷を伴う第二の表示状態に切り替える、ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記表示装置の画面の全体に表示される第1画像である第1画像データを取得するか、前記表示領域の第2画像の第2画像データを取得するかの設定を行う設定手段を有し、
    前記低減手段は、前記設定手段が前記表示装置の画面の全体に表示される第1画像である第1画像データを取得する設定を行った場合、前記表示手段による画像の表示に伴う前記処理の負荷を低減せず、
    前記設定手段が前記表示領域の画像の第2画像データを取得するという設定を行う場合、前記表示手段による画像の表示に伴う前記処理の負荷を低減する、
    ことを特徴とする請求項1に記載の情報処理装置。
  4. 前記低減手段は、表示内容の一部が前記表示装置の画面の領域外に存在する場合、前記表示手段による前記表示装置への画像の表示に伴う前記処理の負荷を低減する、
    ことを特徴とする請求項1に記載の情報処理装置。
  5. 前記低減手段は、前記表示手段による前記表示装置への画像の表示に伴う前記処理の負荷を低減した場合、該処理の負荷を低減した旨の情報を前記表示装置に表示する、
    ことを特徴とする請求項1〜4のいずれか1項に記載の情報処理装置。
  6. 前記表示装置に表示された画像である第3画像データを取得する取得手段をさらに有し、
    前記低減手段は、前記送信手段が前記他の装置に前記第3画像データを送信する場合、前記表示手段によ前記表示装置に表示された画像である前記第3画像データの前記取得手段による取得に伴う前記処理の負荷を低減することを特徴とする請求項1に記載の情報処理装置。
  7. 前記取得手段は、前記第3画像データにポインティングデバイスの画像を合成する取得手段であり、
    前記低減手段は、前記送信手段が前記他の装置に前記第3画像データを送信する場合、前記他の装置に前記第3画像データを送信しない場合よりも、前記取得手段による前記画像データの取得頻度を低減させる、
    ことを特徴とする請求項6に記載の情報処理装置。
  8. 前記取得手段は、取得した前記第3画像データにポインティングデバイスの画像を合成するものであり、
    前記送信手段が前記第3画像データを前記他の装置に送信しない場合、前記取得手段は、取得した前記第3画像データにポインティングデバイスの画像を合成し、
    前記送信手段が前記第3画像データを前記他の装置に送信する場合、前記取得手段は、取得した前記第3画像データにポインティングデバイスの画像を合成しない、ことを特徴とする請求項6又は7に記載の情報処理装置。
  9. ネットワークを介して複数の情報処理装置が通信可能な情報処理システムであって、
    第1の情報処理装置は、
    前記第1の情報処理装置が有する表示装置又は前記第1の情報処理装置と接続され得る表示装置に画像を表示する表示手段と、
    前記表示装置の画面に表示される画像である画像データを第2の情報処理装置に送信する送信手段と、
    前記送信手段が第2の情報処理装置に前記画像データを送信する場合、前記表示手段による前記表示装置への画像の表示に伴う処理の負荷を低減する低減手段と、を有し、
    前記表示手段は、前記表示装置の画面の内に位置する表示領域に表示される画像を透過的に表示する透過表示と、前記表示領域に表示される該画像を透過させない非透過表示のいずれかで前記表示装置に画像を表示するものであり、
    前記低減手段は、前記送信手段が前記第2の情報処理装置に前記画像データを送信する場合、前記表示手段によって前記表示領域に表示される前記画像の表示状態を前記透過表示から前記非透過表示に切り替え、
    前記第2の情報処理装置は、
    前記画像データを受信する画像データ受信手段と、
    前記画像データを第2の表示装置に表示する画像データ表示手段と、
    を有することを特徴とする情報処理システム。
  10. 前記表示手段は、前記処理の負荷が異なる複数の表示状態のいずれかで前記表示装置に画像を表示するものであり、
    前記低減手段は、前記送信手段が前記第2の情報処理装置に前記画像データを送信する場合、前記表示手段によって前記表示装置に表示される画像の表示状態を、第一の表示状態から前記第一の表示状態に伴う第一の負荷よりも低い第二の負荷を伴う第二の表示状態に切り替える、ことを特徴とする請求項9に記載の情報処理システム。
  11. 前記表示手段は、前記表示装置の画面の内に位置する表示領域に表示される画像を透過的に表示する透過表示と、前記表示領域に表示される画像を透過させない非透過表示のいずれかで前記表示装置に画像を表示するものであり、
    前記低減手段は、前記送信手段が前記第2の情報処理装置に前記画像データを送信する場合、前記表示手段によって前記表示領域に表示される画像の表示状態を前記透過表示から前記非透過表示に切り替える、
    ことを特徴とする請求項9又は10に記載の情報処理システム。
  12. ネットワークを介して他の装置と通信可能な情報処理装置に、
    当該情報処理装置が有する表示装置又は当該情報処理装置と接続され得る表示装置に画像を表示する表示ステップと、
    前記表示装置の画面に表示される画像である画像データを前記他の装置に送信する送信ステップと、
    前記送信ステップにより前記他の装置に前記画像データが送信される場合、前記表示ステップによる前記表示装置への画像の表示に伴う処理の負荷を低減する低減ステップと、を実行させるプログラムであって、
    前記表示ステップは、前記表示装置の画面の内に位置する表示領域に表示される画像を透過的に表示する透過表示と、前記表示領域に表示される画像を透過させない非透過表示のいずれかで前記表示装置に画像を表示するステップであり、
    前記送信ステップにより前記他の装置に前記画像データを送信する場合、前記低減ステップは、前記表示ステップによって前記表示領域に表示される画像の表示状態を前記透過表示から前記非透過表示に切り替えるプログラム。
  13. 前記表示ステップは、前記処理の負荷が異なる複数の表示状態のいずれかで前記表示装置に画像を表示するステップであり、
    前記送信ステップにより前記他の装置に前記画像データを送信する場合、前記低減ステップは、前記表示ステップによって前記表示装置に表示される画像の表示状態を、第一の表示状態から前記第一の表示状態に伴う第一の負荷よりも低い第二の負荷を伴う第二の表示状態に切り替える、ことを特徴とする請求項12に記載のプログラム。
JP2015554882A 2013-12-25 2014-12-22 情報処理装置、プログラム、及び伝送システム Active JP6103076B6 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013267983 2013-12-25
JP2013267983 2013-12-25
PCT/JP2014/083914 WO2015098841A1 (ja) 2013-12-25 2014-12-22 情報処理装置、プログラム、及び伝送システム

Publications (4)

Publication Number Publication Date
JPWO2015098841A6 JPWO2015098841A6 (ja) 2017-03-23
JPWO2015098841A1 JPWO2015098841A1 (ja) 2017-03-23
JP6103076B2 JP6103076B2 (ja) 2017-03-29
JP6103076B6 true JP6103076B6 (ja) 2018-06-27

Family

ID=53478695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015554882A Active JP6103076B6 (ja) 2013-12-25 2014-12-22 情報処理装置、プログラム、及び伝送システム

Country Status (7)

Country Link
US (1) US10073542B2 (ja)
EP (1) EP3089025B1 (ja)
JP (1) JP6103076B6 (ja)
CN (1) CN105850117A (ja)
AU (1) AU2014371136A1 (ja)
SG (1) SG11201604242WA (ja)
WO (1) WO2015098841A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6471614B2 (ja) 2015-05-29 2019-02-20 株式会社リコー 通信端末、通信システム、通信制御方法、及びプログラム
US10511700B2 (en) 2016-02-25 2019-12-17 Ricoh Company, Ltd. Communication terminal with first application displaying status of second application
EP3247112A1 (en) 2016-05-20 2017-11-22 Ricoh Company, Ltd. Information processing apparatus, communication system, and information processing method
US10356361B2 (en) 2016-09-16 2019-07-16 Ricoh Company, Ltd. Communication terminal, communication system, and display method
US10586071B2 (en) * 2017-11-24 2020-03-10 International Business Machines Corporation Safeguarding confidential information during a screen share session
US10687021B2 (en) 2017-11-27 2020-06-16 Blue Jeans Network, Inc. User interface with a hierarchical presentation of selection options for selecting a sharing mode of a video conference
JP6449501B1 (ja) * 2018-03-28 2019-01-09 Eizo株式会社 表示システム及びプログラム
JP2021166356A (ja) 2020-04-07 2021-10-14 株式会社リコー 出力装置、出力システム、フォーマット情報変更方法、プログラム、コントローラー
US11703991B2 (en) * 2021-12-06 2023-07-18 Lg Electronics Inc. Display device with mouse control and operating method thereof

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2286699B (en) * 1994-02-14 1998-09-16 Mediacom Technologies Pte Limi Improvements in or relating to computer conferencing
JPH10207446A (ja) * 1997-01-23 1998-08-07 Sharp Corp プログラマブル表示装置
US7397476B2 (en) * 2000-05-31 2008-07-08 Seiko Epson Corporation Projector, projection display system, and corresponding method and recording medium
JP2004005582A (ja) * 2002-04-17 2004-01-08 Matsushita Electric Ind Co Ltd 通信制御システムと画像転送プログラムを格納した記憶媒体
US20030206193A1 (en) 2002-04-17 2003-11-06 Keizo Sato Communication control system and storage medium for storing image transfer program
US20050091610A1 (en) * 2003-10-22 2005-04-28 International Business Machines Corporation Selective display of windows on an auxiliary output device
JP4517827B2 (ja) 2004-11-22 2010-08-04 株式会社日立製作所 画面共有システム及び情報処理装置
JP4636136B2 (ja) * 2008-07-11 2011-02-23 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP5495879B2 (ja) * 2009-04-30 2014-05-21 キヤノン株式会社 画像処理システム
JP2011254442A (ja) 2010-05-06 2011-12-15 Ricoh Co Ltd 遠隔通信端末、遠隔通信方法、及び遠隔通信用プログラム
EP2594080A4 (en) * 2010-07-12 2014-11-12 Cme Advantage Inc SYSTEMS AND METHOD FOR CONNECTED AND CONTEXT-INTEGRATED PICTURE DISPLAY WITH HIGH RESOLUTION
JP5706637B2 (ja) * 2010-07-21 2015-04-22 キヤノン株式会社 情報処理装置及びその制御方法、表示装置及びその制御方法、及び、画像転送システム
JP6035712B2 (ja) * 2010-10-26 2016-11-30 株式会社リコー 画面共有サービス提供システム、情報処理装置、画面共有サービス提供方法、画面共有サービス提供プログラム、及びプログラム
WO2013077525A1 (ko) * 2011-11-24 2013-05-30 엘지전자 주식회사 제어 방법 및 그를 이용한 장치
JP5927900B2 (ja) 2011-12-22 2016-06-01 株式会社リコー 電子機器
JP6183003B2 (ja) 2012-11-15 2017-08-23 株式会社リコー 伝送システム

Also Published As

Publication number Publication date
AU2014371136A1 (en) 2016-07-07
EP3089025A4 (en) 2016-12-07
WO2015098841A1 (ja) 2015-07-02
JP6103076B2 (ja) 2017-03-29
US20160259434A1 (en) 2016-09-08
EP3089025A1 (en) 2016-11-02
SG11201604242WA (en) 2016-07-28
US10073542B2 (en) 2018-09-11
EP3089025B1 (en) 2020-02-12
JPWO2015098841A1 (ja) 2017-03-23
CN105850117A (zh) 2016-08-10

Similar Documents

Publication Publication Date Title
JP6103076B6 (ja) 情報処理装置、プログラム、及び伝送システム
JP6369101B2 (ja) 伝送端末、プログラム、画像表示方法、伝送システム
JP6384095B2 (ja) 伝送端末、プログラム、画像表示方法、伝送システム
JPWO2015098841A6 (ja) 情報処理装置、プログラム、及び伝送システム
JP6183003B2 (ja) 伝送システム
JP6111753B2 (ja) 情報処理装置、伝送システム、プログラム
JP6476631B2 (ja) 情報処理装置、データ表示方法、プログラム
JP6364965B2 (ja) 伝送端末、プログラム、伝送方法、伝送システム
JP2014003448A (ja) 伝送システム、外部入力装置、および表示解像度変換用プログラム
JP6194632B2 (ja) プログラム、設定情報利用システム、情報処理装置
JP6361728B2 (ja) 伝送制御システム、伝送システム、伝送制御方法、及び記録媒体
JP6492460B2 (ja) 伝送端末、伝送方法、及びプログラム
JP6269781B2 (ja) 伝送システム
JP2016134902A (ja) 伝送管理システム、通信方法、及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170213

R151 Written notification of patent or utility model registration

Ref document number: 6103076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151