JP4640289B2 - 共有画像表示プログラム、情報端末装置 - Google Patents

Description

本発明は、他の情報端末装置と共有する画像の表示に関する。

画面表示機能を有する複数の情報端末装置を１つの共有化された画像を画面表示して同時並行して使用する場合、一般に、ある情報端末装置にて画面表示された共有画像（以下、「共有画面画像」）に図形や文字等が書き込まれると、その書き込まれた内容をその他の情報端末装置における表示内容に即座に反映させることで、共有画面画像を利用したコミュニケーションを可能にし、また画面画像の共有化を維持できるようにしている。

ただ、画面画像を共有化していても、各情報端末装置の画面サイズ、解像度、表示倍率等によって共有画面画像における表示範囲が全て一致しているとは限らない。従って、ある情報端末装置において共有画面画像に対して書き込まれた位置が、他の情報端末装置では画面表示されない場合もあり得る。このような不具合を生じさせないようにする技術が、多々提案されている。

例えば、特許文献１では、図７（ａ）に示したように画面画像５１が表示範囲５２に収まりきらないときには、縮小表示することで画面画像全体を画面表示するように表示制御する。また、特許文献２では、情報端末装置間で自己の共有画面画像における表示範囲を情報交換することで、広い範囲を表示している情報端末装置５３は、図７（ｂ）に示したように他の情報端末装置５４における共有画面画像の表示範囲５４ａを枠線表示する。これにより、ユーザが枠線の中に書込みを行うようにすれば、他の情報端末装置でも書込内容を確実に画面表示させることができる。

特開平１０−２７１６１号公報 特開２００６−３９９１９号公報

しかしながら、特許文献１において、狭い範囲を表示している情報端末装置では、広い範囲を表示している情報端末装置と表示範囲を合わせるために縮小表示されてしまうことになる。例えば、画面サイズが相対的に小さい携帯電話の表示画面に、画面サイズが相対的に大きいコンピュータの表示内容を縮小して表示するようにすると、携帯電話のユーザは、表示内容が小さすぎて文字が判読できないなどの弊害が生じうる。

また、特許文献２においては、書き込みを行う際には、常に枠線表示の有無や書込位置を意識しなければならず、共有画面を利用したコミュニケーションに集中することができない。また、三者間以上で画面画像を共有するような場合、書込位置が更に制限されてしまうことになる。また、図８に示したように各情報端末装置５３，５４，５５では、他の情報端末装置における表示範囲５４ａ，５５ａが表示されることになるが、情報端末装置５３〜５５において同時に画面表示されている表示範囲５６が極めて狭小な場合、書込位置及びサイズが制限されてしまう。

もちろん、情報端末装置間で書込位置を通知し合い、それぞれが表示範囲を手動にて移動させたり、表示範囲サイズを変更したりすれば、このような制限が緩和され、書込内容の共有化が多少は容易になるかもしれないが、このような作業は、本来行っているコミュニケーションとは関係ないものであるためコミュニケーションが阻害されてしまうことになる。

このように、共有画像の表示範囲が異なっている情報端末装置間で共有画像に付加しながら行う情報交換の便宜を図ることを目的とする。

以上のような目的を達成するために、本発明に係る共有画像表示プログラムは、他のコンピュータと共有する画像の全体若しくは一部を表示する表示手段を有するコンピュータを、共有画像上に対して他のコンピュータで画像が付加されたときに、当該付加画像に関する付加画像情報を受信する受信手段、前記受信手段により受信された付加画像情報から共有画像上における付加画像の付加位置を特定し、その付加位置が前記表示手段で表示されている共有画像の表示範囲に含まれているか否かを判定する表示範囲判定処理手段、前記表示範囲判定処理手段により付加画像の付加位置が共有画像の表示範囲に含まれていないと判定された場合、当該他のコンピュータで付加画像が付加されたことを視認させる付加認識画像を前記表示手段に表示させる表示制御手段として機能させる。

また、前記表示制御手段は、前記表示範囲判定処理手段により付加画像の付加位置が共有画像の表示範囲に含まれていないと判定された場合、付加画像を共有画像から切り出し、その切出画像を付加認識画像として共有画像の表示範囲に重ねて表示させる。

また、前記表示制御手段は、共有画像の表示範囲に対する付加画像の付加位置方向が認識できる位置に切出画像を表示させる。

また、前記表示制御手段は、前記表示範囲判定処理手段により付加画像の付加位置が共有画像の表示範囲に含まれていないと判定された場合、共有画像の表示範囲に対する付加画像の付加位置方向が認識できる付加認識画像を生成して共有画像の表示範囲に重ねて表示させる。

また、前記表示制御手段は、前記表示範囲判定処理手段により付加画像の付加位置が共有画像の表示範囲に含まれていないと判定された場合、共有画像の表示範囲に対する付加画像の付加位置方向が認識できる位置に付加認識画像を表示させる。

また、前記コンピュータを更に、共有画像に対するユーザ処理の有無を判断する判断手段として機能させ、前記表示制御手段は、前記表示範囲判定処理手段により付加画像の付加位置が共有画像の表示範囲に含まれていないと判定された場合において、ユーザが共有画像に対して処理を実施していない場合には、付加画像が表示される位置まで共有画像の表示範囲を移動させる。

本発明に係る情報端末装置は、他のコンピュータと共有する画像の全体若しくは一部を表示する表示手段と、共有画像上に対して他のコンピュータで画像が付加されたときに、当該付加画像に関する付加画像情報を受信する受信手段と、前記受信手段により受信された付加画像情報から共有画像上における付加画像の付加位置を特定し、その付加位置が前記表示手段で表示されている共有画像の表示範囲に含まれているか否かを判定する表示範囲判定処理手段と、前記表示範囲判定処理手段により付加画像の付加位置が共有画像の表示範囲に含まれていないと判定された場合、当該他のコンピュータで付加画像が付加されたことを視認させる付加認識画像を前記表示手段に表示させる表示制御手段とを有することを特徴とする。

本発明によれば、他のコンピュータにおいて付加された画像の共有画像における付加位置が、共有画像の表示範囲に含まれていないと判定された場合、他のコンピュータで画像が付加されたことを視認させる付加認識画像を表示範囲内に表示させるようにしたので、表示範囲を変更することなく他のユーザによってされた共有画像への画像の付加を容易に知らせることができる。

以下、図面に基づいて、本発明の好適な実施の形態について説明する。

実施の形態１．
図１は、本発明に係る情報端末装置を利用したシステムの一実施の形態を示した概念図である。本実施の形態における情報端末装置２０は、表示手段への表示機能、他の装置と有線若しくは無線にて通信を行う通信機能を有する装置であり、パーソナルコンピュータ（ＰＣ）をはじめ、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等コンピュータ搭載機器にて実現できる。画像データ管理サーバ１２は、各情報端末装置２０が共有する画像データを保持管理するサーバコンピュータで実現される。

情報端末装置２０は、画像データ管理サーバ１２から取得した画像データの全体若しくは一部をディスプレイ等の表示手段に画面表示し、ユーザ操作に応じて閲覧、編集等の画像処理を実施する。いずれかの情報端末装置２０において画面表示された画像データに対してマウス操作などによって書き込まれた描画画像や各種ソフトウェアのツールを利用した貼付画像等が付加されると、画像データ管理サーバ１２は、その付加された画像を他の情報端末装置２０へ即座に配信することで、画像データの共有化を図る。本実施の形態では、このように画像データ管理サーバ１２が主導して画面表示される画像データの共有化を行うことを想定しているが、画像データを表示している情報端末装置２０に、画像データ管理サーバ１２から付加画像を逐次取得するように動作させたり、画像データ管理サーバ１２を介さずに情報端末装置２０間で付加画像を直接交換するよう動作させたりしてもよい。本実施の形態では、画面画像の共有化を図る手法に関して特に限定しない。

本実施の形態では、複数のユーザによって同時並行して処理され、いずれかのユーザが書込操作などにより一部分に画像データが付加される画面表示された画像データのことを「共有画面画像」と称することにしている。本実施の形態では、共有画面画像として、文書編集ソフトウェアや描画ソフトウェア等によって作成され、表示手段に表示される画像データであって複数の情報端末装置２０により共有される画像データを想定している。但し、ファイル形式に限定する必要はなく、文書編集ソフトウェア等によって用意されるワークスペース、シート等も広義には共有画面画像に含まれる。

図２は、本実施の形態における情報端末装置２０のハードウェア構成図である。本実施の形態において用いる情報端末装置２０は、従前から存在する汎用的なＰＣのハードウェア構成で実現できる。すなわち、情報端末装置２０は、図２に示したようにＣＰＵ１、ＲＯＭ２、ＲＡＭ３、ハードディスクドライブ（ＨＤＤ）４を接続したＨＤＤコントローラ５、入力手段として設けられたマウス６及びキーボード７、表示手段として設けられたディスプレイ８をそれぞれ接続する入出力コントローラ９、通信手段として設けられたネットワークコントローラ１０を内部バス１１に接続して構成される。

図３は、本実施の形態における情報端末装置２０の機能ブロック構成図である。本実施の形態における情報端末装置２０は、付加画像情報通信処理部２１、ユーザ処理監視部２２、表示部２３、表示制御部２４、表示範囲判定処理部２５及び画像処理部２６を有している。付加画像情報通信処理部２１は、現在表示対象としている共有画面画像に対して他の情報端末装置２０で付加された画像に関する情報（付加画像情報）を受信する。ユーザ処理監視部２２は、ユーザ操作を常時監視し、書込等の共有画面画像に対する処理をユーザが現在実施しているか否かを判断する。表示部２３は、ディスプレイ８を用いて画像データを表示する手段である。表示制御部２４は、表示部２３への表示制御を行う。表示制御部２４に含まれる表示範囲認識部２７は、表示対象の共有画面画像のうち表示部２３に表示されている領域（表示範囲）を認識する。表示範囲判定処理部２５は、受信された付加画像情報から共有画面画像上における付加画像の付加位置を特定し、その付加位置が表示範囲認識部２７により認識された共有画面画像の表示範囲に含まれているか否かを判定する。画像処理部２６は、表示部２３に表示する画像の形成等の画像処理を行う。画像処理部２６に含まれる付加画像切出部２８は、詳細は後述するようにディスプレイ８の表示範囲に重ねて表示するための画像データを共有画面画像から切り出す。

情報端末装置２０における各構成要素２１〜２６は、情報端末装置２０を形成するコンピュータと、コンピュータに搭載されたＣＰＵで動作するプログラムとの協調動作により実現される。本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

次に、本実施の形態における動作について図４に示したフローチャートと、図５に示した画面表示例の遷移図を用いて説明する。

まず、図５（ａ）に例示した共有画面画像が画像データ管理サーバ１２に登録されており、端末Ａ，Ｂの２台の情報端末装置２０によって同時に開かれているとする。そして、端末Ａでは、図５（ｂ）に示したように共有画面画像全体を表示範囲３１とし、端末Ｂでは、図５（ｃ）に示したように共有画面画像の一部分を表示範囲３２として、それぞれディスプレイ８に表示されているものとする。例えば、端末ＡがＰＣ、端末Ｂが携帯電話であれば、同じ共有画面画像を表示している場合でもディスプレイ８のサイズを比較すれば明らかなように表示範囲が異なってくることは容易に想像できる。ただ、例えば、端末Ａが拡大表示することで図５（ｃ）と同様に共有画面画像の一部分のみを表示範囲と設定できるように、表示範囲は、ディスプレイ８の画面サイズのみに依存するものではなく、解像度や表示倍率等によっても決めることができる。

ここで、図５（ｄ）に示したように、端末Ａのユーザが共有画面画像に書込みを行ったことで画像３３が付加されたとする。なお、共有画面画像に対する画像データの付加は、ユーザによる書込操作に限らず、共有画面画像を開いている文書編集アプリケーションが持つペースト機能や貼付機能等によって付加することができるが、ここでは、端末Ａのユーザが文書編集アプリケーション等の書込機能を用いて表示画面上に書込みを行うことで、書込画像３３が付加されたものとして説明する。

端末Ｂにおける付加画像情報通信処理部２１は、共有画面画像が開かれている間、書込画像情報の受信待機中の状態にある。そして、端末Ａにおいて書込みがされたことにより端末Ａ若しくは画像データ管理サーバ１２から書込画像情報が送られてくると、それを受信する（ステップ１１０）。書込画像情報には、端末Ｂが使用している共有画面画像に対して書込画像を付加するのに必要な情報、具体的には少なくとも書込画像３３の実体を表す画像データ及びその形状、色情報等を含む属性情報、共有画面画像における書込画像３３の書込位置情報が含まれている。表示制御部２４における表示範囲認識部２７は、端末Ｂのディスプレイ８に表示されている表示範囲３２を認識しているので、表示範囲判定処理部２５は、付加画像情報通信処理部２１により受信された書込画像情報から共有画面画像上における書込画像３３の書込位置を特定し、その書込位置がディスプレイ８で表示されている共有画面画像の表示範囲３２に含まれているか否かを判定する。そして、書込画像３３が表示範囲３２に含まれている場合（ステップ１２０でＹ）、表示制御部２４は、書込画像３３が重ねられた状態で共有画面画像を表示する（ステップ１３０）。これにより、端末Ｂのユーザは、他のユーザによって共有画面画像に書込みがされたことを表示範囲３２から把握することができる。なお、この処理は、一般的な画像データの共有化処理に相当する。

一方、書込画像３３が表示範囲３２に含まれていない場合、図５（ｅ）に示したように書込画像３３を共有画面画像に単に重ねても表示範囲３２に含まれない。従って、端末Ｂのユーザは、他のユーザによって共有画面画像に書込みがされたことを表示範囲３２から把握することはできない。なお、図５（ｅ）では、共有画面画像３０のうち表示範囲３２に含まれていない領域及び書込画像３３を破線で示した。

そこで、本実施の形態においては、書込画像３３が表示範囲３２に含まれていない場合（ステップ１２０でＮ）、表示制御部２４は、端末Ｂのユーザが現在、共有画面画像に対して何らかの操作を実施しているかどうかを確認する。ユーザが操作しているか否かは、ユーザ処理監視部２２に問い合わせることで認識できる。ユーザが何らかの処理を実施していない場合（ステップ１４０でＮ）、画像処理部２６が書込画像情報から特定できる共有画面画像における書込位置に書込画像３３を付加すると、表示制御部２４は、図５（ｆ）に示したように書込画像３３が含まれる位置まで表示範囲３２を移動させる（ステップ１５０）。これにより、端末Ｂのユーザは、他のユーザによって書込みがされたことを認識することができる。

これに対し、ユーザが何らかの処理を実施している場合（ステップ１４０でＹ）、例えばユーザが表示範囲３２に何らかの書込みを行っていた場合、書込操作中に表示範囲３２を移動させるのはユーザにとって好ましい対処ではないと考えられる。従って、付加画像切出部２８は、書込画像情報から特定できる書込位置に書込画像３３が付加された共有画面画像の中から書込画像３３を切り出して切出画像３４を生成する（ステップ１６０）。具体的には、図５（ｅ）に示したように書込画像３３を含む矩形形状の切出画像３４を生成する。表示制御部２４は、生成された切出画像３４を、現在の表示範囲３２に重ねて表示するための表示位置３５を決定し（ステップ１７０）、その決定した表示位置３５に切出画像３４を表示する（ステップ１８０）。

端末Ｂのユーザに他のユーザによる書込みを知らせる目的だけを考慮するのであれば、切出画像３４の表示位置を表示範囲３２のどこにしてもかまわないが、ユーザが書込処理をしているその処理位置に重ねて表示することは好ましくないので、その処理位置と重ならない位置に切出画像３４の表示位置を決定することが望ましい。また、共有画面画像における表示範囲３２の位置と書込画像３３の書込位置とを比較し、図５（ｇ）に示したように、表示範囲３２に対する書込画像３３の書込位置方向が認識できる位置に切出画像３４を表示させるようにすることが好ましい。このように切出画像３４の表示位置３５を決定することで、図５（ｇ）に示した画面表示を参照するユーザは、書込画像３３の正しい書込位置は表示範囲３２の右側にあることを容易に知ることができる。

本実施の形態によれば、ユーザが表示している共有画面画像に対して操作していないときには、共有画面画像の表示範囲３２を他のユーザによる書込みの付加位置まで移動させるようにした。すなわち、表示範囲３２を移動させ、書込画像３３そのものを付加認識画像として表示範囲３２に含ませるようにした。一方、ユーザが共有画面画像に対して何らかの処理を行っているときには、他のユーザによる書込処理により形成された書込画像を共有画面画像から切り出して表示範囲３２の中に表示するようにした。すなわち、表示範囲３２を移動させずに切出画像３４を付加認識画像として表示範囲３２に含ませるようにした。これにより、ユーザの共有画面画像に対する処理操作を阻害することなく他のユーザによってされた共有画面画像への書込みを当該ユーザに対して容易に知らせることができる。また、切出画像３４の表示位置を、表示範囲の中心に対して書込画像の付加位置方向側に寄せた位置に決定することによって、表示範囲に対する書込画像の付加位置を容易に推測させることができる。

一方、共有画面画像に対して書込みを行うユーザＡにとってみれば、他のユーザの表示範囲を何ら意識することなく所望する位置に書込みを行えばよいので便宜である。

以上の説明では、端末Ａのユーザが共有画面画像に書込みを行い、この書込みに応じて同じ共有画面画像を処理している端末Ｂの表示部２３（ディスプレイ８）の表示制御を例にして説明したが、端末Ａと端末Ｂが逆の場合にも上記と同様にして処理すれば、端末Ｂのユーザが行った共有画面画像への書込みを端末Ａのユーザに知らせることができる。つまり、本実施の形態は、双方向の場合でも適用できる。更に、ユーザが表示している共有画面画像に何らかの処理を実施しているときには表示範囲３２を移動させずに切出画像３４を現在の表示範囲３２の中に重ねて表示するように動作するので、三者以上で共有画面画像を同時並行して処理している場合にも容易に適用することができる。なお、書込画像情報に画像を付加したユーザ若しくは情報端末装置２０の識別情報等を含めて、書込認識画像として上記識別情報を合わせて表示するようにして、共有画面画像に画像を付加したユーザ等を特定できるようにしてもよい。

実施の形態２．
上記実施の形態１では、ユーザが表示している共有画面画像に何らかの処理を実施しているときには切出画像を現在の表示範囲の中に重ねて表示するようにした。これにより、書き込まれた画像そのものを確認できると共に、切出画像の表示位置から書込位置を容易に認識することができる。ただ、書込画像の大きさや書込数が多くなると、切出画像３４の貼付位置が確保できなくなる可能性が生じてくる。

そこで、本実施の形態では、付加認識画像として図６に示したように切出画像の代わりに、矢印画像３６を用いるようにした。なお、図６は、実施の形態１の説明に用いた図５（ｇ）に相当する図である。本実施の形態によれば、端末Ｂのユーザは、表示範囲３２における矢印画像３６の矢印の向きにより他のユーザによる書込位置を容易に認識することができる。もちろん、表示範囲の中心と付加認識画像の表示位置との位置関係からでも書込画像の書込位置方向を特定できるので、付加認識画像を必ずしも矢印形状に限定する必要はない。

本実施の形態における動作は、上記実施の形態１における切出画像の切出処理（図４のステップ１６０）は不要であることと、切出画像の表示の代わりに矢印画像３６を表示すること以外、基本的には実施の形態１と同じなので動作の説明を省略する。

なお、各実施の形態においては、図４のステップ１４０においてユーザ操作中か否かを判断してユーザ操作中でなかった場合には、ステップ１５０において表示範囲を自動的に移動させるようにした。ただ、何の操作をしていなくても、例えば端末Ｂのユーザが表示部分を閲覧しているなど、表示範囲が自動的に移動されては困る場合も考えられる。そこで、表示範囲の自動移動の可否のモード設定機能を設けて、ユーザにいずれかのモードを選択できるようにしてもよい。自動移動不可の場合、ユーザ操作の有無にかかわらずステップ１６０〜１８０が実施される。

本発明に係る情報端末装置を利用したシステムの一実施の形態を示した概念図である。 実施の形態１における情報端末装置のハードウェア構成図である。 実施の形態１における情報端末装置２０の機能ブロック構成図である。 実施の形態１における書込画像表示処理を示したフローチャートである。 実施の形態１における書込画像表示処理において画面表示の遷移を示した図である。 実施の形態２における書込画像表示処理において画面表示の遷移を示した図である。 従来技術における共有画像の表示例を示した図である。 従来技術において共有画像を画面表示する各情報端末装置における画面表示例を示した図である。

符号の説明

１ ＣＰＵ、２ ＲＯＭ、３ ＲＡＭ、４ ハードディスクドライブ（ＨＤＤ）、５ ＨＤＤコントローラ、６ マウス、７ キーボード、８ ディスプレイ、９ 入出力コントローラ、１０ ネットワークコントローラ、１１ 内部バス、１２ 画像データ管理サーバ、２０ 情報端末装置、２１ 付加画像情報通信処理部、２２ ユーザ処理監視部、２３ 表示部、２４ 表示制御部、２５ 表示範囲判定処理部、２６ 画像処理部、２７ 表示範囲認識部、２８ 付加画像切出部。

Claims (7)

1. 他のコンピュータと共有する画像の全体若しくは一部を表示する表示手段を有するコンピュータを、
   共有画像上に対して他のコンピュータで画像が付加されたときに、当該付加画像に関する付加画像情報を受信する受信手段、
   前記受信手段により受信された付加画像情報から共有画像上における付加画像の付加位置を特定し、その付加位置が前記表示手段で表示されている共有画像の表示範囲に含まれているか否かを判定する表示範囲判定処理手段、
   前記表示範囲判定処理手段により付加画像の付加位置が共有画像の表示範囲に含まれていないと判定された場合、当該他のコンピュータで付加画像が付加されたことを視認させる付加認識画像を前記表示手段に表示させる表示制御手段、
   として機能させる共有画像表示プログラム。
2. 前記表示制御手段は、前記表示範囲判定処理手段により付加画像の付加位置が共有画像の表示範囲に含まれていないと判定された場合、付加画像を共有画像から切り出し、その切出画像を付加認識画像として共有画像の表示範囲に重ねて表示させることを特徴とする請求項1記載の共有画像表示プログラム。
3. 前記表示制御手段は、共有画像の表示範囲に対する付加画像の付加位置方向が認識できる位置に切出画像を表示させることを特徴とする請求項２記載の共有画像表示プログラム。
4. 前記表示制御手段は、前記表示範囲判定処理手段により付加画像の付加位置が共有画像の表示範囲に含まれていないと判定された場合、共有画像の表示範囲に対する付加画像の付加位置方向が認識できる付加認識画像を生成して共有画像の表示範囲に重ねて表示させることを特徴とする請求項1記載の共有画像表示プログラム。
5. 前記表示制御手段は、前記表示範囲判定処理手段により付加画像の付加位置が共有画像の表示範囲に含まれていないと判定された場合、共有画像の表示範囲に対する付加画像の付加位置方向が認識できる位置に付加認識画像を表示させることを特徴とする請求項1記載の共有画像表示プログラム。
6. 前記コンピュータを更に、
   共有画像に対するユーザ処理の有無を判断する判断手段として機能させ、
   前記表示制御手段は、前記表示範囲判定処理手段により付加画像の付加位置が共有画像の表示範囲に含まれていないと判定された場合において、ユーザが共有画像に対して処理を実施していない場合には、付加画像が表示される位置まで共有画像の表示範囲を移動させることを特徴とする請求項1記載の共有画面画像表示プログラム。
7. 他のコンピュータと共有する画像の全体若しくは一部を表示する表示手段と、
   共有画像上に対して他のコンピュータで画像が付加されたときに、当該付加画像に関する付加画像情報を受信する受信手段と、
   前記受信手段により受信された付加画像情報から共有画像上における付加画像の付加位置を特定し、その付加位置が前記表示手段で表示されている共有画像の表示範囲に含まれているか否かを判定する表示範囲判定処理手段と、
   前記表示範囲判定処理手段により付加画像の付加位置が共有画像の表示範囲に含まれていないと判定された場合、当該他のコンピュータで付加画像が付加されたことを視認させる付加認識画像を前記表示手段に表示させる表示制御手段と、
   を有することを特徴とする情報端末装置。

Images