JP7287156B2 - 表示装置、表示方法、プログラム - Google Patents

Description

本発明は、表示装置、表示方法、及び、プログラムに関する。

タッチパネルにペンや指で手書きしたデータを表示する表示装置が知られている。表示装置には外部装置を接続できるようになっており、外部装置が出力する映像を表示できる。ユーザーは外部装置が出力する映像に重ねて又は映像の周囲にデータを手書きすることができる。

表示装置に複数の外部装置を接続することも可能であり、この場合、表示装置は１つの画面を分割して生成した領域に同時に複数の映像を表示することができる。しかし、ユーザーが複数の領域を跨いでデータを手書きする場合がある。このような場合に表示装置が分割を解除して映像を手書きしたデータと共に表示すると、手書きしたデータが途中で切断されてしまい、ユーザーが手書きしたデータの全体を確認することが困難になる。

複数の領域を跨いで手書きされたデータの表示方法に関する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、複数のドキュメントに跨って手書きされた状態で１つのドキュメントを拡大表示した場合に、書き込みの位置やサイズを調整することによって手書きデータを見切れずに表示できるようにする技術が開示されている。

しかしながら、従来の表示装置では、画面を分割して複数の映像を表示している状態で映像入力が切断された場合、切断された映像に対するデータの意味がわからなくなってしまうという問題があった。

補足すると、例えば２つの外部装置が表示装置に接続されており２つの領域に外部装置の映像がそれぞれ表示されている。そのうちの一方の外部装置の映像入力が切断されると、映像入力が切断されていない他方の外部装置の映像を表示装置が全画面表示する。しかし、ユーザーは外部装置の映像の内容に対して手書きしたデータを手書きすることが多いため、映像入力が切断されていない外部装置の映像だけが全画面表示されても、ユーザーとしては手書きしたデータの意味がわからなくなってしまう。仮に特許文献１に記載のように、手書きしたデータの位置やサイズを調整しても、映像入力が切断された外部装置の映像に対する手書きしたデータの意味が分からない。

本発明は、上記課題に鑑み、画面を分割して複数の映像を表示している状態で映像入力が切断された場合、データの意味がわかるようにデータと映像を表示する表示装置を提供することを目的とする。

上記課題に鑑み、本発明は、複数の外部装置からの映像を画面の異なる領域にそれぞれ表示する表示装置であって、前記画面に対する入力手段の接触位置に基づいてデータの入力を受け付ける接触検知部と、前記外部装置からの映像が切断されたことを検知する映像入力検知部と、前記映像入力検知部が前記外部装置からの映像入力が切断されたことを検知した場合、切断された前記映像と前記データを継続して表示する表示制御部と、前記接触検知部が受け付けた前記データが前記領域に存在するか否かを判断する位置判断部と、を有し、前記映像入力検知部が前記外部装置からの映像入力が切断されたことを検知した場合、前記位置判断部の判断結果に応じて、前記表示制御部は切断された前記映像及び切断されていない映像から表示する前記映像を決定することを特徴とする。

画面を分割して複数の映像を表示している状態で映像入力が切断された場合、データの意味がわかるようにデータと映像を表示する表示装置を提供することができる。

本実施形態の表示装置と比較される比較技術を説明する図である。 本実施形態の表示装置が映像の切断時に映像と手書きデータを表示する方法を説明する図である。 画像処理システムの全体構成図の一例である。 表示装置のハードウェア構成図の一例である。 表示装置の機能ブロック図の一例である。 各画像レイヤの構成図の一例である。 映像の入力に応じた画面の再構成に関する表示装置の機能を示す機能ブロック図の一例である。 映像入力が切断された場合に表示装置が映像を表示する方法を説明するフローチャート図の一例である。 映像入力の切断時に、画面に手書きデータが一切ない場合の画面の遷移例を示す図である。 映像入力の切断時に、映像入力が切断されない領域にのみ手書きデータがある場合の画面の遷移例を示す図である。 映像入力の切断時に、映像入力が切断される領域に手書きデータがある場合の画面の遷移例を示す図である。 映像入力の切断時に、映像入力が切断された第２領域には手書きデータがなく、領域外に手書きデータがある場合の遷移例を示す図である。 第１領域と手書きデータを含む外接矩形の最大化を説明する図である。 プロジェクターを使用した表示装置の構成例を示す図である。 プロジェクターのハードウェア構成図の一例である。 プロジェクター型の表示装置が有する各部の機能ブロック図である。 映像の入力に応じた画面の再構成に関する表示装置の機能を示す機能ブロック図の一例である。 複数の外部装置の映像入力が切断された場合の画面の遷移例を示す図である。

以下、本発明を実施するための形態について図面を参照しながら説明する。

＜課題に関する補足＞
本実施形態を説明するにあたり、本実施形態と比較される技術について説明する。
図１は本実施形態の表示装置と比較される比較技術を説明する図である。まず、図１（ａ）に示すように、表示装置２には２台の外部装置６Ａ，６Ｂが接続され、表示装置２の画面が分割されている。分割後の第１領域１０１には外部装置６Ａの映像が表示されており、第２領域１０２には外部装置６Ｂの映像が表示されている。ユーザーは第１領域１０１と第２領域１０２の両方に対し「重要」という文字と矢印を手書きした。

図１（ａ）の状態で外部装置６Ｂの映像入力が切断された。映像入力が切断されると、表示装置２は自動的に画面を再構成する。図１では外部装置６Ａ，６Ｂからの２つであった映像入力が１つになったので、表示装置２は画面の分割を解除して、全画面に外部装置６Ａの映像を表示する。

図１（ｂ）は外部装置６Ｂの映像入力が切断された場合に表示装置２が表示する画面例を示す。全画面に外部装置６の映像が表示されると共に、映像入力が切断される前に手書きされていた手書きデータ９が画面の右上に配置されている。こうすることで、映像入力が切断され画面が再構成された後も手書きデータ９の全体を表示できる。

しかし、図１（ａ）の手書きデータ９は外部装置６Ｂの映像をも指し示しており、単に外部装置６Ａの映像と共に手書きデータ９の全体が表示されても、手書きデータ９の意味がわからなくなってしまう。

＜本実施形態の表示装置の表示方法＞
そこで、本実施形態の表示装置２は、外部装置６Ａ又は６Ｂの映像入力が切断された場合、映像入力が切断された領域に対する手書きデータの有無の判断結果に応じて、少なくとも映像入力が切断されていない外部装置６の映像に対する手書きデータ９との相対位置と相対サイズが保たれるように、少なくとも映像入力が切断されていない外部装置６の映像と手書きデータ９を表示する。

図２は、本実施形態の表示装置２が映像の切断時に映像と手書きデータを表示する方法を説明する図である。図２（ａ）では、外部装置６Ａの映像が表示される第１領域１０１と外部装置６Ｂの映像が表示される第２領域１０２の両方に手書きデータ９が存在する。この場合、表示装置２は、映像入力が切断された外部装置６Ｂの映像を残して、画面を分割したまま表示する。外部装置６Ａと６Ｂの両方の映像と手書きデータ９が継続して表示されるので、映像入力が切断されてもユーザーとしては手書きデータ９の意味がわかる。

図２（ｂ）では、外部装置６Ａの映像が表示されている第１領域１０１にのみ手書きデータ９が存在する。この場合、表示装置２は、外部装置６Ａの映像に対する手書きデータ９の相対位置と相対サイズを保ったまま、画面の全体に外部装置６Ａの映像と手書きデータ９を表示する。外部装置６Ａの映像と手書きデータ９を拡大して表示することができ、外部装置６Ｂの映像入力が切断されてもユーザーとしては手書きデータ９の意味がわかる。

なお、外部装置６Ｂの映像が表示されている第２領域１０２にのみ、手書きデータ９がある場合は、外部装置６Ｂの映像に対する手書きデータ９の相対位置と相対サイズを保ったまま、手書きデータ９が保存される。

図２（ｃ）では、外部装置６Ｂの映像が表示されている第２領域１０２には手書きデータ９がないが、外部装置６Ａの映像が表示されている第１領域１０１と領域外に手書きデータ９がある。この場合、表示装置２は、第１領域１０１と手書きデータ９を含む外接矩形を最大化して、画面の全体に外部装置６Ａの映像と手書きデータ９を表示する。このように、第２領域１０２の範囲外に手書きデータ９が手書きされている場合は、外部装置６Ａの映像に対する手書きデータ９の相対位置と相対サイズを保ったまま、外部装置６Ａの映像と手書きデータ９を最大化して表示することができ、外部装置６Ｂの映像入力が切断されても手書きデータ９の意味がわかる。図２（ｃ）では手書きデータ９が第１領域１０１に重なっているが、第１領域１０１に重なっていない場合も同様になる。

このように、本実施形態の表示装置２は、
(i) 映像入力が切断された外部装置６Ｂの映像内にも手書きデータ９が存在する場合には、この外部装置６Ｂが出力していた映像（例えば最後の画像）を残す。
(ii) 手書きデータ９が映像入力中の領域の映像内のみに存在する場合は、映像入力を継続している外部装置６Ａの映像と手書きデータを全画面表示にする。
(iii) 映像入力が切断された外部装置６Ｂが映像を表示していた領域には手書きデータ９が存在しないが、いずれかの領域外に手書きデータが存在する場合は、映像入力を継続している外部装置６の映像に対する手書きデータ９の相対位置と相対サイズを保ったまま、最大化して面表示にすることにより、映像入力が切断されても意味が分かるように手書きデータ９を表示できる。

＜用語について＞
映像入力が切断されるとは、それまで入力されていた映像が入力されなくなることをいう。入力されなくなることの要因は制限されない。例えば、通信障害でもよいし、ユーザーが表示装置２から映像のケーブルを抜いた場合でもよい。

手書きデータとは、ディスプレイ上でユーザーが入力手段を連続的に移動させた座標点列を軌跡として表示したデータである。また、ユーザーがディスプレイに入力手段を押しつけてから連続的に移動させた後、ディスプレイから離すという一連の操作をストロークといい、ストロークにより手書きされたデータをストロークデータという。手書きデータは１つ以上のストロークデータを有する。

手書きデータには、手書きデータそのものだけでなく、手書きデータが文字認識して変換されたテキストデータ、「済」などの決まった文字やマークとして表示されるスタンプ、円や星などの図形、直線等、ユーザーの操作に基づいて表示されたデータも含まれてよい。

＜システムの概要＞
図３は、本実施形態の画像処理システム１の全体構成図である。なお、図３では、説明を簡略化するために、２台の表示装置２ａ，２ｂ及びこれに付随する電子ペン４ａ，４ｂ等を示しているだけであって、３台以上の表示装置２や電子ペン等を利用してもよい。
図３に示されているように、画像処理システム１は、複数の表示装置２ａ，２ｂ、複数の電子ペン４ａ，４ｂ、ＵＳＢメモリ５ａ，５ｂ、外部装置６ａ，６ｂ、テレビ（ビデオ）会議端末７ａ，７ｂ、及びＰＣ（Personal Computer）８を有する。また、表示装置２ａ，２ｂ、及びＰＣ８は、通信ネットワークＮを介して通信可能に接続されている。更に、複数の表示装置２ａ，２ｂには、それぞれディスプレイ３ａ，３ｂが設けられている。

また、表示装置２ａには、電子ペン４ａによって生じたイベント（ディスプレイ３ａに電子ペン４ａのペン先、又は、電子ペン４ａのペン尻のタッチ）による描画された画像を、ディスプレイ３ａに表示させることができる。なお、電子ペン４ａだけでなく、ユーザーの手Ｈａ等によって生じたイベント（拡大、縮小、ページめくり等のジェスチャ）に基づいて、ディスプレイ３ａ上に表示されている画像を変更させることもできる。

また、表示装置２ａには、ＵＳＢメモリ５ａが接続可能であり、表示装置２ａはＵＳＢメモリ５ａからＰＤＦ等の電子ファイルを読み出したり、表示装置２ａはＵＳＢメモリ５ａに電子ファイルを記録したりすることができる。また、表示装置２ａには、DisplayPort（登録商標）、DVI(Digital Visual Interface)、HDMI(登録商標。High－Definition Multimedia Interface)及びVGA(Video Graphics Array)等の規格による通信が可能なケーブル１０ａ１を介して、外部装置６ａが接続されている。ケーブル１０ａ１はネットワークでもよい。

そして、表示装置２ａは、ディスプレイ３ａに対する接触によってイベントを発生させ、このイベントを示すイベント情報を、マウスやキーボード等の入力装置からのイベントと同様に、外部装置６ａに送信する。同じく、表示装置２ａには、上記規格による通信が可能なケーブル１０ａ２を介して、テレビ（ビデオ）会議端末７ａが接続されている。なお、外部装置６ａ、及びテレビ会議端末７ａは、Bluetooth（登録商標）等の各種無線通信プロトコルに準拠した無線通信により、表示装置２ａと通信してもよい。

一方、表示装置２ｂが設置されている他の拠点では、上記と同様に、ディスプレイ３ｂを備えた表示装置２ｂ、電子ペン４ｂ、ＵＳＢメモリ５ｂ、外部装置６ｂ、テレビ会議端末７ｂ、ケーブル１０ｂ１、ケーブル１０ｂ２が利用される。更に、ユーザーの手Ｈｂ等によって生じたイベントに基づいて、ディスプレイ３ｂ上に表示されている画像を変更させることもできる。

これにより、一の拠点で表示装置２ａのディスプレイ３ａ上に描画された画像は、他の拠点で表示装置２ｂのディスプレイ３ｂ上にも表示され、逆に他の拠点で表示装置２ｂのディスプレイ３ｂ上に描画された画像は、一の拠点で表示装置２ａのディスプレイ３ａ上に表示される。このように、画像処理システム１では、遠隔地において同じ画像を共有する遠隔共有処理を行うことができるため、遠隔地での会議等に用いると、非常に便利である。

なお、以下では、複数の表示装置２のうち任意の表示装置２を示す場合には「表示装置２」と示す。複数のディスプレイのうち任意のディスプレイを示す場合には「ディスプレイ３」と示す。複数の電子ペンのうち任意の電子ペンを示す場合には「電子ペン４」と示す。複数のＵＳＢメモリのうち任意のＵＳＢメモリを示す場合には「ＵＳＢメモリ５」と示す。複数の外部装置のうち任意の外部装置を示す場合には「外部装置６」と示す。複数のテレビ会議端末のうち任意のテレビ会議端末を示す場合には「テレビ会議端末７」と示す。また、複数のユーザーの手のうち任意の手を示す場合には「手Ｈ」と示す。複数のケーブルのうち任意のケーブルを示す場合には「ケーブル１０」と示す。

また、本実施形態では、情報処理装置の一例として、表示装置２を説明するが、これに限るものではなく、情報処理装置の他の例として、電子看板（デジタルサイネージ）、スポーツや天気予報等で利用されるテレストレータ、又は、遠隔画像（映像）診断装置等であってもよい。また、外部装置６の一例としてノートＰＣが挙げられるが、外部装置６としては、デスクトップ型ＰＣやタブレット型ＰＣ、スマートフォン、ＰＤＡ（Personal Digital Assistant）、デジタルビデオカメラ、デジタルカメラ、ゲーム機等の画像フレームを供給可能な端末であってもよい。なお、これら情報処理装置では表示装置用の所定のアプリケーション（プログラム）が動作しており、アプリケーションがタッチパネルに対する接触位置に基づいて手書きデータを表示する。

更に、通信ネットワークＮには、インターネット、ＬＡＮ(Local Area Network)、携帯電話通信網等が含まれる。また、本実施形態では、記録媒体の一例として、ＵＳＢメモリを説明するが、これに限るものではなく、記録媒体の他の例として、ＳＤカード（登録商標）等の各種記録メディアであってもよい。

＜表示装置のハードウェア構成＞
図４は、表示装置２のハードウェア構成図である。図４に示されているように、表示装置２は、ＣＰＵ(Central Processing Unit)２０１、ＲＯＭ(Read Only Memory)２０２、ＲＡＭ(Random Access Memory)２０３、ＳＳＤ(Solid State Drive)２０４、ネットワークＩ/Ｆ２０５、及び、外部機器接続Ｉ／Ｆ(Interface)２０６を備えている。

これらのうち、ＣＰＵ２０１は、表示装置２全体の動作を制御する。ＲＯＭ２０２は、ＣＰＵ２０１やＩＰＬ(Initial Program Loader)等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＳＳＤ２０４は、表示装置２用のプログラム等の各種データを記憶する。ネットワークＩ/Ｆ２０５は、通信ネットワークＮとの通信を制御する。外部機器接続Ｉ／Ｆ２０６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリ５、外付け機器（マイク２４０、スピーカ２５０、カメラ２６０）である。

また、表示装置２は、キャプチャデバイス２１１、ＧＰＵ２１２、ディスプレイコントローラ２１３、接触センサ２１４、センサコントローラ２１５、電子ペンコントローラ２１６、近距離通信回路２１９、及び近距離通信回路２１９のアンテナ２１９ａ、電源スイッチ２２２及び選択スイッチ類２２３を備えている。

これらのうち、キャプチャデバイス２１１は、外付けの外部装置６がディスプレイ３に表示する映像情報を静止画又は動画としてディスプレイ３に表示させる。

ＧＰＵ(Graphics Processing Unit)２１２は、グラフィクスを専門に扱う半導体チップである。ディスプレイコントローラ２１３は、ＧＰＵ２１２からの出力画像をディスプレイ３等へ出力するために画面表示の制御及び管理を行う。接触センサ２１４は、ディスプレイ３上に電子ペン４やユーザーの手Ｈ等が接触したことを検知する。

センサコントローラ２１５は、接触センサ２１４の処理を制御する。接触センサ２１４は、赤外線遮断方式による座標の入力及び座標の検出を行う。この座標の入力及び座標の検出する方法は、ディスプレイ３の上側両端部に設置された２つ受発光装置が、ディスプレイ３に平行して複数の赤外線を放射し、ディスプレイ３の周囲に設けられた反射部材によって反射されて、受光素子が放射した光の光路と同一の光路上を戻って来る光を受光する方法である。

接触センサ２１４は、物体によって遮断された２つの受発光装置が放射した赤外線のＩＤをセンサコントローラ２１５に出力し、センサコントローラ２１５が、物体の接触位置である座標位置を特定する。電子ペンコントローラ２１６は、電子ペン４と通信することで、ディスプレイ３へのペン先のタッチやペン尻のタッチの有無を判断する。近距離通信回路２１９は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。

電源スイッチ２２２は、表示装置２の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。選択スイッチ類２２３は、例えば、ディスプレイ３の表示の明暗や色合い等を調整するためのスイッチ群である。

更に、表示装置２は、バスライン２１０を備えている。バスライン２１０は、図４に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、接触センサ２１４は、赤外線遮断方式に限らず、静電容量の変化を検知することにより接触位置を特定する静電容量方式のタッチパネル、対向する２つの抵抗膜の電圧変化によって接触位置を特定する抵抗膜方式のタッチパネル、接触物体が表示部２９に接触することによって生じる電磁誘導を検知して接触位置を特定する電磁誘導方式のタッチパネルなどの種々の検出手段を用いてもよい。また、電子ペンコントローラ２１６が、電子ペン４のペン先及びペン尻だけでなく、電子ペン４のユーザーが握る部分や、その他の電子ペンの部分のタッチの有無を判断するようにしてもよい。

カメラ２６０はテレビ会議の際に参加者を撮像するために使用されるが、参加者に限らず表示装置２の周囲の人を撮像するために使用される。カメラ２６０は撮像装置でなくてもよく、赤外線センサなど人検知できるセンサでもよい。また、カメラ２６０は周囲３６０度を撮像できる全天球カメラでもよい。通常の画角のカメラは比較的狭いので人の検知が困難になるおそれがあるが、全天球カメラでは広範囲の人を撮像できるので周囲の人を検知しやすい。カメラ２６０は人感検知センサとして使用される。

＜表示装置の機能構成＞
続いて、図５、図６を用いて、表示装置２の機能構成について説明する。なお、先ずは、図５を用いて、表示装置２の全体的な機能構成について説明する。図５は、表示装置２の機能ブロック図である。

表示装置２は、図５に示されているハードウェア構成及びプログラムによって、図５に示されている各機能構成を有する。表示装置２は、最初に遠隔共有処理を開始する「主催装置」となり得ると共に、既に開始されている遠隔共有処理に後から参加する「参加装置」にもなり得る。また、表示装置２は、大きく分けて、クライアント部２０及びサーバ部９０の両方によって構成されている。

クライアント部２０及びサーバ部９０は、表示装置２の１台の筐体内で実現される機能である。そして、表示装置２が主催装置となる場合には、この表示装置２では、クライアント部２０とサーバ部９０が実現される。また、表示装置２が参加装置となる場合には、この表示装置２では、クライアント部２０は実現されるが、サーバ部９０は実現されない。即ち、図３において、表示装置２ａが主催装置で、表示装置２ｂが参加装置となる場合、表示装置２ａのクライアント部２０は、同じ表示装置２ａ内に実現されたサーバ部９０を介して、他の表示装置２ｂのクライアント部２０と通信を行う。一方、表示装置２ｂのクライアント部２０は、他の表示装置２ａ内に実現されたサーバ部９０を介して、他の表示装置２ａのクライアント部と通信を行う。

〔クライアント部の機能構成〕
続いて、主に図５、図６を用いて、クライアント部２０の機能構成について説明する。クライアント部２０は、映像取得部２１、座標検知部２２、自動調整部２３、接触検知部２４、イベント振分部２５、操作処理部２６、ジェスチャ処理部２７、映像重畳部２８、画像処理部３０、及び通信制御部６０を有する。

このうち、映像取得部２１は、ケーブル１０に接続された外部装置６の出力画像（図２の映像に相当する）を取得する。映像取得部２１は、外部装置６から映像を受信すると、この映像を解析して、この映像によって形成される外部装置６の表示画像である画像フレームの解像度や、この画像フレームの更新頻度などの画像情報を導出し、画像取得部３１に出力する。

座標検知部２２は、ディスプレイ３上でユーザーが入力手段を接触させた座標位置を検出する。ユーザーがディスプレイ３上で入力手段を連続的に移動させた軌跡が手書きデータである。また、この手書きデータをストロークという場合がある。なお、入力手段は電子ペン４又はユーザーの手Ｈのどちらでもよい。また、座標検知部２２は、タッチされた面積も検出する。

自動調整部２３は、表示装置２の起動時（再起動時と表現してもよい）に起動され、座標検知部２２が適切な値を出力できるように、光センサ方式により座標を検知する座標検知部２２がセンサーカメラの画像を処理する際のパラメータを調整する。

接触検知部２４は、ユーザーによって生じたイベント（ディスプレイ３上に電子ペン４のペン先又は電子ペン４のペン尻が押下（タッチ）された動作等）を検出する。

イベント振分部２５は、座標検知部２２によって検知されたイベントの座標位置と接触検知部２４によって検出された検出結果を、ストローク描画、ＵＩ操作、及びジェスチャ操作の各イベントに振り分ける。ここで、「ストローク描画」は、ディスプレイ３上に図６に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザーがディスプレイ３上で電子ペン４を押下し、この押下した状態で電子ペン４を移動させ、最終的にディスプレイ３上から電子ペン４を離すまでのイベントである。このストローク描画により、例えば、アルファベット「Ｓ」や「Ｔ」等がディスプレイ３上に描画される。なお、この「ストローク描画」には、画像を描画するだけでなく、既に描画された画像を削除したり、描画された画像を編集したりするイベントも含まれる。

「ＵＩ操作」は、ディスプレイ３上に図６に示されている後述のＵＩ画像（Ａ）が表示されている場合に、ユーザーが電子ペン４又は手Ｈによって所定の位置を押下したイベントである。このＵＩ操作により、例えば、電子ペン４により描画される線の色や幅等が設定される。

「ジェスチャ操作」は、ディスプレイ３上に図６に示されている後述のストローク画像（Ｂ）が表示されている場合に、ユーザーが手Ｈでディスプレイ３上をタッチしたり移動させたりするイベントである。このジェスチャ操作により、例えば、ユーザーがディスプレイ３に手Ｈをタッチさせた状態で手Ｈを移動させることで、画像の拡大（若しくは縮小）、表示領域の変更、又は、ページ切り換え等を行うことができる。

操作処理部２６は、イベント振分部２５によってＵＩ操作と判断されたものから、イベントが発生されたＵＩの要素にしたがって、各種操作を実行する。このＵＩの要素としては、例えば、ボタン、リスト、チェックボックス、テキストボックスが挙げられる。ジェスチャ処理部２７は、イベント振分部２５によってジェスチャ操作と判断されたものに対応した操作を実行する。

映像重畳部２８は、後述の表示重畳部３６で重畳された画像を映像として表示部２９に対して表示する。表示部２９はディスプレイ３により実現される表示機能を示す。また、映像重畳部２８は、外部装置６等からの映像に対して、テレビ会議端末７等から送られて来た映像をピクチャーインピクチャーする。更に、映像重畳部２８は、ピクチャーインピクチャーされて表示部２９の一部に表示された映像を、表示部２９の全体に表示させるための切り替えを行う。

画像処理部３０は、図６に示されているような各画像レイヤの重畳処理等を行う。この画像処理部３０は、画像取得部３１、ストローク処理部３２、ＵＩ画像生成部３３、背景生成部３４、レイアウト管理部３５、表示重畳部３６、ページ処理部３７、ファイル処理部４０、ページデータ記憶部３００、及び遠隔ライセンス管理テーブル３１０を有している。

このうち、画像取得部３１は、映像取得部２１で取得された映像から、各フレームを画像として取得する。画像取得部３１は、この画像のデータを、ページ処理部３７に出力する。この画像は、図６に示されている外部装置６等からの出力画像（Ｃ）に相当する。本実施形態では出力画像（Ｃ）を映像と称している。

ストローク処理部３２は、イベント振分部２５によって割り振られたストローク描画に係るイベントに基づいて、画像（手書きデータ）を描画したり、描画された画像を削除したり、描画された画像を編集する。このストローク描画による画像は、図６に示されているストローク画像（Ｂ）に相当する。また、このストローク描画に基づいた画像の描画、削除、編集の各結果は、後述の操作データとして、データ管理部８０に記憶される。

ＵＩ画像生成部３３は、表示装置２に予め設定されているＵＩ（ユーザーインターフェース）画像を生成する。このＵＩ画像は、図６に示されているＵＩ画像（Ａ）に相当する。

背景生成部３４は、ページ処理部３７がページデータ記憶部３００から読み出したページデータのうちのメディアデータを、ページ処理部３７から受信する。背景生成部３４は、この受信したメディアデータを表示重畳部３６に出力する。また、このメディアデータによる画像は、図６に示されている背景画像（Ｄ）に相当する。背景画像（Ｄ）のパターンは、無地、グリッド表示等である。

レイアウト管理部３５は、表示重畳部３６に対して、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（又は背景生成部３４）から出力された各画像のレイアウトを示すレイアウト情報を管理している。これにより、レイアウト管理部３５は、表示重畳部３６に対して、出力画像（Ｃ）及びストローク画像（Ｂ）を、ＵＩ画像（Ａ）及び背景画像（Ｄ）中のどの位置に表示させるか又は非表示にさせるかを指示することができる。

表示重畳部３６は、レイアウト管理部３５から出力されたレイアウト情報に基づき、画像取得部３１、ストローク処理部３２、及びＵＩ画像生成部３３（背景生成部３４）から出力された各画像のレイアウトを行う。また、表示重畳部３６は、外部装置６Ａ又は６Ｂの映像入力が切断された場合、少なくとも映像入力が切断されていない外部装置６の映像に対する手書きデータ９との相対位置が保たれるように、少なくとも映像入力が切断されていない外部装置６の映像と手書きデータ９を再構成する。

ページ処理部３７は、ストローク画像（Ｂ）のデータと出力画像（Ｃ）のデータを、１つのページデータにまとめてページデータ記憶部３００に記憶する。ストローク画像（Ｂ）のデータは、ストローク配列データ（各ストロークデータ）としてページデータの一部を成す。出力画像（Ｃ）のデータは、メディアデータとしてページデータの一部を成す。そして、このメディアデータは、ページデータ記憶部３００から読み出されると、背景画像（Ｄ）のデータとして取り扱われる。

また、ページ処理部３７は、一旦記憶されたページデータのうちのメディアデータを、背景生成部３４を介して表示重畳部３６に送信することで、映像重畳部２８が背景画像（Ｄ）をディスプレイ３に再表示させることができる。また、ページ処理部３７は、ページデータのうちのストローク配列データ（各ストロークデータ）を、ストローク処理部３２に戻すことで、ストロークの再編集ができる状態にすることができる。更に、ページ処理部３７は、ページデータを削除したり複製したりすることもできる。

即ち、ページ処理部３７がページデータ記憶部３００にページデータを記憶する時点でディスプレイ３上に表示されている出力画像（Ｃ）のデータは、一旦、ページデータ記憶部３００に記憶され、その後にページデータ記憶部３００から読み出される際には、背景画像（Ｄ）を示すメディアデータとして読みされる。そして、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、ストローク画像（Ｂ）を示すストローク配列データを、ストローク処理部３２に出力する。また、ページ処理部３７は、ページデータ記憶部３００から読み出したページデータのうち、背景画像（Ｄ）を示すメディアデータを、背景生成部３４に出力する。

表示重畳部３６は、画像取得部３１からの出力画像（Ｃ）、ストローク処理部３２からのストローク画像（Ｂ）、ＵＩ画像生成部３３からのＵＩ画像（Ａ）、及び、背景生成部３４からの背景画像（Ｄ）を、レイアウト管理部３５によって指定されたレイアウトにしたがって重畳する。これにより、図６に示されているように、各画像が重なってもユーザーが見える順に、ＵＩ画像（Ａ）、ストローク画像（Ｂ）、出力画像（Ｃ）、及び背景画像（Ｄ）の各レイアの構成となっている。

また、表示重畳部３６は、図６に示されている画像（Ｃ）と画像（Ｄ）を切り替えて、画像（Ａ）及び画像（Ｂ）に対して排他的に重畳することも可能である。例えば、当初、画像（Ａ）、画像（Ｂ）及び画像（Ｃ）が表示されている状態で、表示装置２と外部装置６等との間のケーブル１０が抜かれた場合には、レイアウト管理部３５の指定によって、画像（Ｃ）を重畳対象から外し、画像（Ｄ）を表示させることができる。この場合に、また、表示重畳部３６は、表示の拡大、表示の縮小、表示領域の移動処理も行う。

〔サーバ部の機能構成〕
サーバ部９０は、各表示装置２に設けられており、いずれの表示装置２であっても、サーバ部としての役割を果たすことができる。そのため、サーバ部９０は、通信制御部７０、及びデータ管理部８０を有している。

通信制御部７０は、同じ表示装置２内のクライアント部２０における通信制御部７０、及び通信ネットワークＮを介して他の表示装置２内のクライアント部２０における通信制御部７０との通信を制御する。データ管理部８０は、操作データや画像データ等を管理する。

＜映像の入力に応じた画面の再構成に関する表示装置の機能＞
図７は、映像の入力に応じた画面の再構成に関する表示装置２の機能を示す機能ブロック図の一例である。図７は、図５に示した画像取得部３１、ストローク処理部３２、及び、表示重畳部３６を取り出して示している。

画像取得部３１は、映像取得部２１が取得した映像を入力端子１，２ごとに受け付ける。図７では入力端子の数は２つである。入力端子とは上記のＨＤＭＩ（登録商標）などのケーブル１０ａ１が接続される端子である。この入力端子に映像を出力する外部装置６がそれぞれ接続されている。したがって、画像取得部３１は外部装置６の数だけ映像の入力をリアルタイムに受け付け、入力端子ごとの映像を表示重畳部３６にリアルタイムに送信する。

表示重畳部３６は映像保存部１１、映像受信部１２、ストローク受信部１３、映像入力検知部１４、画面構成決定部１５、手書きデータ位置判断部１６、及び、表示制御部１７を有している。映像受信部１２は画像取得部３１から、外部装置６の数分の映像を入力端子ごとにリアルタイムに受信する。ストローク受信部１３はストローク処理部３２から手書きデータ９を取得し、ページ（ディスプレイの全画面分）単位に保持する。

映像受信部１２は各映像を映像保存部１１に送信すると共に、映像入力検知部１４に送信する。また、ストローク受信部１３は手書きデータ９を手書きデータ位置判断部１６と表示制御部１７に送信する。

映像保存部１１は、それぞれの外部装置６の映像の最後の画像を入力端子に対応付けて保存しておく。必ずしも最後の画像である必要はなく、定期的に保存しておいてもよい。なお、映像が動画の場合は映像を構成する１画像データをフレームといい、映像保存部１１にはフレームが保存される。ただし、動画と静止画を厳密に区別する必要はなく、本実施形態では画像が保存されるとして説明する。

映像入力検知部１４は、入力される映像を監視して、入力端子ごとに映像の入力の有無を判断する。したがって、映像入力検知部１４は外部装置６の映像入力の切断を検出する。また、現在、入力されている映像の数を特定できる。映像入力検知部１４は、入力端子ごとに映像の有無を画面構成決定部１５に送信する。また、映像入力検知部１４は入力端子ごとの映像を表示制御部１７に送信する。

画面構成決定部１５は、原則的に、映像数（分割数）に応じて画面構成を決定する。映像数と各領域の座標の対応は予め決まっているものとする。固定でないとしても画面合成部にとって両者の対応は既知である。
映像数１→全画面（分割なし）
映像数２→２分割
映像数３→３分割
：
映像数Ｎ→Ｎ分割
表示装置２に入力される映像が増えた場合にはこの原則に例外がない。

表示装置２に入力される映像が減った場合、すなわち、映像入力が切断された場合、本実施形態の画面構成決定部１５は、例外的に、映像数だけでなく手書きデータ９が領域に存在するかどうかの判断結果に応じて画面構成を決定する。映像入力が切断された場合、映像入力が切断された映像が表示されていた領域に手書きデータ９が存在する場合、分割を解除しないと決定する。この場合、画面の分割数は映像入力が切断される前と同じままである。画面構成決定部１５はこのようにして決定した画面構成を表示制御部１７に送信する。

また、画面構成決定部１５は、映像入力が切断された映像が表示されていない領域に手書きデータ９が存在しないが、いずれかの領域外に手書きデータ９が存在する場合、映像入力が切断されていない映像に対する手書きデータ９の相対位置と相対サイズを保ったまま、画面の全体に映像と手書きデータ９を表示するように表示制御部１７に要求する。

また、画面構成決定部１５は、映像入力が切断された映像が表示されていない領域にのみ手書きデータ９が存在する場合、映像入力が切断されていない映像に対する手書きデータ９の相対位置と相対サイズを保ったまま、画面の全体に映像と手書きデータ９を表示するように表示制御部１７に要求する。

表示制御部１７は、１つのディスプレイ３の全画面（表示領域ともいう）を、画面構成決定部１５が決定した画面構成で画面を分割したり（映像入力が増えた場合）、分割を解除したりする（映像入力が減った場合）。表示制御部１７は分割した各領域に、入力端子別に映像を配置する。入力端子１の映像は右側、入力端子２の映像は左側などのように、領域ごとに配置される映像は固定されている。

表示制御部１７は、映像入力検知部１４から入力される映像の数に対し、画面構成決定部１５から通知された領域数の方が多い場合、映像保存部１１に保存されている画像を、映像入力が切断された領域に表示する。映像入力検知部１４から通知された映像が入力されていない入力端子又は映像入力が切断された領域の入力端子を指定して映像保存部１１から映像を取得する。

なお、表示制御部１７は、現在の画面構成における領域と入力端子の対応、及び、各領域の座標を手書きデータ位置判断部１６に通知する。これにより、手書きデータ位置判断部１６は領域と入力端子の対応を取得し、映像入力が切断された領域又は映像入力が切断されていない領域に手書きデータ９が存在するかどうかを判断できる。

また、表示制御部１７は、映像に対する手書きデータ９の相対位置と相対サイズを保ったまま、映像と手書きデータを全画面に表示するという要求に対し、映像と手書きデータ９を適切に拡大して表示する。

＜動作手順＞
次に、図８を参照して、映像入力が切断された場合の表示装置２の動作について説明する。図８は、映像入力が切断された場合に表示装置２が映像を表示する方法を説明するフローチャート図の一例である。図８の説明では、表示装置２の画面が２つの領域に分割されている状態から説明する。映像Ａを入力する外部装置６を外部装置６Ａ、映像Ｂを入力する外部装置６を外部装置６Ｂ、映像Ａが表示される領域を第１領域１０１、映像Ｂが表示される領域を第２領域１０２とする。

画面が２つの領域に分割され各領域に外部装置６の映像が表示されている状態で、映像入力検知部１４が外部装置６Ｂからの映像入力の切断を検出した。映像入力検知部１４は映像が途切れた入力端子に基づいて外部装置６Ｂの映像が切断されたと判断する（Ｓ１）。

外部装置６Ｂの映像入力の切断が検出されると、手書きデータ位置判断部１６は領域に関係なく画面内に手書きデータ９が存在するか否かを判断する（Ｓ２）。手書きデータ位置判断部１６は手書きデータの座標や領域の座標に関係なく手書きデータがあるか否かを判断する。

ステップＳ２の判断がＮｏの場合、手書きデータがなければ画面構成決定部１５は映像数に基づいて画面構成を決定するので、分割を解除し全画面に映像を表示すると判断する（Ｓ３）。ステップＳ３における画面の表示例を図９に示す。

ステップＳ２の判断がＹｅｓの場合、手書きデータがあるが、外部装置６Ａの映像が表示されている領域にのみ手書きデータ９が存在するか否かを手書きデータ位置判断部１６が判断する（Ｓ４）。手書きデータ位置判断部１６には、入力端子ごとの領域の座標が表示制御部１７から入力され、映像が入力されている入力端子が映像入力検知部１４から通知されるので、この入力端子に対応付けられている領域について手書きデータ９の有無を判断する。

手書きデータ９が外部装置６Ａの映像が表示されていた第１領域１０１にすべて収まっている場合（Ｓ４のＹｅｓ）、処理はステップＳ３に進み、画面構成決定部１５は分割を解除し全画面に映像を表示するよう表示制御部１７に要求する（Ｓ３）。このステップＳ３では手書きデータ９が外部装置６Ａの映像が表示されていた領域にのみ存在するので、この領域と分割を解除した画面（全画面表示）のサイズの比率に応じて（映像の拡大率に応じて）、表示制御部１７は手書きデータ９を拡大する。このステップＳ３における画面の表示例を図１０に示す。また、拡大の詳細を図１０で説明する。これにより、分割が解除される前と後で、映像に対する手書きデータ９の相対位置と相対サイズを保つことができる。

手書きデータ９が外部装置６Ａの映像が表示されていた第１領域１０１にすべて収まっていない場合（Ｓ４のＮｏ）、外部装置６Ｂの映像が表示されていた第２領域１０２にも手書きデータ９が存在するか否かを手書きデータ位置判断部１６が判断する（Ｓ５）。手書きデータ位置判断部１６には、入力端子ごとの領域の座標が表示制御部１７から入力され、映像入力が切断された入力端子が映像入力検知部１４から通知されるので、この入力端子に対応付けられている領域について手書きデータ９の有無を判断する。

外部装置６Ｂの映像が表示されていた領域に手書きデータ９が存在する場合（Ｓ５のＹｅｓ）、画面構成決定部１５は、画面を２つの領域に分割したままと判断し、映像入力が切断される前と同じ領域数（２つ）を表示制御部１７に通知する。表示制御部１７は、領域数＞入力される映像数なので、外部装置６Ｂの映像が表示されていた第２領域１０２に画像を表示するため、映像保存部１１から外部装置６Ｂの入力端子に対応付けられている画像を取得して、外部装置６Ｂの映像が表示されていた第２領域１０２に表示する（Ｓ６）。このステップＳ６における画面の表示例を図１１に示す。このように外部装置６Ｂの映像を表示し続けることにより、外部装置６Ｂの映像入力が切断された後も、手書きデータ９の意味がわかる状態が維持される。

外部装置６Ｂの映像が表示されていた領域に手書きデータ９が存在しない場合（Ｓ５のＮｏ）、この場合、外部装置６Ｂの映像が表示されていた第２領域１０２には手書きデータ９は存在せず、外部装置６Ａの映像が表示されていた第１領域１０１の外側に手書きデータ９が存在する。このため、外部装置６Ａの映像が表示されていた第１領域１０１の映像を全画面表示してしまうと、手書きデータ９が表示装置２の全画面に収まらなくなってしまう。そこで、画面構成決定部１５は、映像入力が切断されていない映像に対する手書きデータ９の相対位置と相対サイズを保ったまま、画面の全体に映像と手書きデータ９を表示するように表示制御部１７に要求する（Ｓ７）。表示制御部１７は、すべての手書きデータ９と外部装置６Ａの映像を囲む矩形領域が、表示装置２の画面内で最大化されるように表示する。このステップＳ７における画面の表示例を図１２に示す。また、処理の詳細を図１３で説明する。

以上のステップＳ１からＳ７により、２台の外部装置６の映像を同時に表示していて、かつ、画面に手書きされている状態から、１台の外部装置６の映像入力を切断した場合でも、手書きデータ９と映像の相対位置を保つことができ、手書きデータ９の意味がわかる状態を維持できる。

＜画面の遷移例＞
以下では、図８のフローチャート図で説明したいくつかの画面の遷移例を説明する。

＜＜画面に手書きデータが一切ない場合 Ｓ２→Ｓ３＞＞
図９は、映像入力の切断時に、画面に手書きデータ９が一切ない場合の画面の遷移例を示す図である。図９（ａ）に示すように、表示装置２には２台の外部装置６Ａ，Ｂが接続され、表示装置２の画面が分割されている。分割後の第１領域１０１には外部装置６Ａの映像が表示されており、第２領域１０２には外部装置６Ｂの映像が表示されている。このように手書きデータ９は一切ない。

図９（ａ）の状態で外部装置６Ｂの映像入力が切断された。映像入力が切断されると、入力される映像数が１になるので、画面構成決定部１５は分割を解除して全画面表示すると決定する。

図９では外部装置６Ｂの映像入力が切断されたので、表示制御部１７は画面の分割を解除して、全画面に外部装置６Ａの映像を表示する。すなわち、外部装置６Ａの映像の左上コーナーを全画面の左上コーナー（原点）に一致させ、所定の拡大率で映像を拡大して表示する。

図９（ｂ）は外部装置６Ｂの映像入力が切断された場合に表示装置２が表示する画面を示す。全画面に外部装置６Ａの映像が表示されている。

＜＜映像入力が切断されない領域にのみ手書きデータ９がある場合 Ｓ４→Ｓ３＞＞
図１０は、映像入力の切断時に、映像入力が切断されない領域にのみ手書きデータ９がある場合の画面の遷移例を示す図である。図１０（ａ）では、外部装置６Ａの映像が表示されている第１領域１０１にのみ手書きデータ９がある。

この場合、画面構成決定部１５は入力される映像数が１になるが手書きデータ９が存在するので、外部装置６Ａの映像に対する手書きデータ９の相対位置と相対サイズを保ったまま分割を解除して全画面表示すると決定する。図１０（ｂ）に示すように、表示制御部１７は外部装置６Ａの映像に対する手書きデータ９の相対位置と相対サイズを保ったまま、画面の全体に外部装置６Ａの映像と手書きデータ９を表示する。外部装置６Ａの映像と手書きデータ９を拡大して表示することができ、映像入力が切断されても手書きデータ９の意味がわかる。

拡大表示の方法について補足する。まず、映像に関しては図９と同様に、外部装置６Ａの映像の左上コーナーを全画面の左上コーナー（原点）に一致させ、所定の拡大率（２分割から全画面表示の拡大率）で映像を拡大して表示する。表示制御部１７はこの拡大率と同じ拡大率で手書きデータ９を拡大する。

全画面の左上コーナーを原点（０，０）として、分割状態の手書きデータ９の座標を（ｘ、ｙ）、第１領域１０１の原点の座標を（Ａ，Ｂ）、分割の解除後の手書きデータ９の座標を（Ｘ，Ｙ）とする。また、映像の拡大率をＲ１とする。分割状態と分割解除後でアスペクト比が維持される。したがって、手書きデータ９を構成する座標は、
Ｘ＝Ｒ１（ｘ－Ａ）、Ｙ＝Ｒ１（ｙ－Ｂ）
により変換できる。

なお、仮に第２領域１０２に手書きデータ９がある場合は、第２領域１０２の原点の座標を（Ｃ，Ｄ）として同様に計算できる。

＜＜映像入力が切断される領域に手書きデータがある場合 Ｓ６＞＞
図１１は、映像入力の切断時に、映像入力が切断される領域に手書きデータ９がある場合の画面の遷移例を示す図である。図１１（ａ）に示すように、外部装置６Ａの映像が表示されている第１領域１０１と外部装置６Ｂの映像が表示されている第２領域１０２に手書きデータ９がある。

この場合、画面構成決定部１５は、入力される映像数が１でも分割を解除しないと判断するので、図１１（ｂ）に示すように、表示制御部１７は第１領域１０１と第２領域１０２に分割したままである。表示制御部１７は、映像入力が切断されていない外部装置６Ａの映像を第１領域１０１に引き続き表示し、映像入力が切断された外部装置６Ｂの映像を映像保存部１１から取得して、第２領域１０２に表示する。また、映像入力が切断される前と同じ位置に手書きデータ９を表示する。

映像入力が切断された領域の映像と手書きデータ９が継続して表示されるので、映像入力が切断されても手書きデータ９の意味がわかる。

＜＜映像入力が切断された第２領域には手書きデータがなく、領域外に手書きデータがある場合 Ｓ７＞＞
図１２は、映像入力の切断時に、映像入力が切断された第２領域１０２には手書きデータ９がなく、第１領域１０１又は第２領域１０２の外に手書きデータ９がある場合の遷移例を示す図である。図１２（ａ）に示すように、外部装置６Ｂの映像が表示されている第２領域１０２には手書きデータ９がないが、外部装置６Ａの映像が表示されている第１領域１０１と領域外に手書きデータ９がある（第１領域１０１に手書きデータ９がかかっていなくてもよい）。

この場合、画面構成決定部１５は、外部装置６Ａの映像に対する手書きデータ９の相対位置と相対サイズを保ったまま分割を解除すると判断する。図１２（ｂ）に示すように、表示制御部１７は第１領域１０１と手書きデータ９を含む外接矩形を最大化して、画面の全体に外部装置６Ａの映像と手書きデータ９を表示する。第１領域１０１と領域外を跨ぐように手書きデータ９が手書きされていても、外部装置６Ａの映像に対する手書きデータ９の相対位置と相対サイズを保ったまま、外部装置６Ａの映像と手書きデータ９を最大化して表示することができ、映像入力が切断されても手書きデータ９の意味がわかる。

図１３を用いて、第１領域１０１と手書きデータ９を含む外接矩形の最大化について補足する。図１３（ａ）は、第１領域１０１と手書きデータ９を含む外接矩形１０４の最大化を説明する図である。図１３（ｂ）は最大化された第１領域１０１と手書きデータ９を示す。

表示制御部１７は、まず、手書きデータ９の外接矩形１０３を求める。そして、第１領域１０１と外接矩形１０３を含む外接矩形１０４を更に求める。

この外接矩形１０４のアスペクト比は全画面のそれと同じとは限らないので、表示制御部１７は縦又は横方向に余白を設定するとよい。第２領域１０２に手書きデータ９がない状況を考慮すると、外接矩形１０４は全画面よりも縦長であるため、横方向に余白が設定される場合が多い。例えば、外接矩形１０４の高さをＨ１、幅をＷ１とすると、Ｗ１/Ｈ１が全画面のアスペクト比と同じになるように余白を追加してＷ１を大きくする。

図１３では説明の便宜上、アスペクト比が一致した状態の外接矩形１０４の高さをＨ１、幅をＷ１とする。また、全画面の高さをＨ２、幅をＷ２とする。したがって、最大化のための拡大率はＲ２＝Ｈ２/Ｈ１＝Ｗ２／Ｗ１である。

次に、外接矩形１０４の座標変換を説明する。原点（０，０）を全画面の左上コーナーとし、外接矩形１０４の左上コーナーの座標を（Ｅ，Ｆ）とする。分割の解除後、外接矩形１０４の左上コーナーの座標が全画面の原点と一致するものとする。このため、外接矩形１０４内の任意の点の座標（ｘ１，ｙ１）を外接矩形１０４の左上コーナーの座標（Ｅ，Ｆ）を原点とした場合の座標に変換する。（ｘ１，ｙ１）の変換後の座標（Ｘ１，Ｙ１）は以下になる。
Ｘ１＝ｘ１－Ｅ
Ｙ１＝ｙ１－Ｆ
Ｘ１、Ｙ１を最大化するための拡大率Ｒ２で拡大すると、分割の解除後の座標（Ｘ２，Ｙ２）が得られる。
Ｘ２＝Ｒ２・Ｘ１
Ｙ２＝Ｒ２・Ｙ１
このように表示制御部１７は、外接矩形１０４の任意の点（ｘ１，ｙ１）を（Ｘ２,Ｙ２）に変換して画面に表示することで、映像に対する手書きデータ９の相対位置と相対サイズを保ったまま、外部装置６Ａの映像と手書きデータ９を最大化して表示することができる。

なお、座標の算出負荷を低減するため、映像に関しては映像の左上コーナーの座標（Ａ，Ｂ）のみを求めればよい。（Ａ，Ｂ）→（Ｘ２．Ｙ２）も同様に求めることができる。分割の解除後の映像の左上コーナーの座標が決定されれば、表示制御部１７は拡大率Ｒ２で映像を拡大して表示すればよい。

＜まとめ＞
以上説明したように、本実施形態の表示装置２は、
(i) 映像入力が切断された外部装置６Ｂの映像内にも手書きデータ９が存在する場合には、この外部装置６Ｂが出力していた映像（例えば最後の画像）を残す。
(ii) 手書きデータ９が映像入力中の領域の映像内のみに存在する場合は、映像入力を継続している外部装置６Ａの映像と手書きデータを全画面表示にする。
(iii) 映像入力が切断された外部装置６Ｂが映像を表示していた領域には手書きデータ９が存在しないが、いずれかの領域外に手書きデータが存在する場合は、映像入力を継続している外部装置６の映像に対する手書きデータ９の相対位置と相対サイズを保ったまま、最大化して面表示にする。
ことにより、映像入力が切断されても意味が分かるように手書きデータ９を表示できる。

なお、本実施例は領域数が２つの状態で映像入力が切断された場合を説明したが、領域数が３つの状態で映像入力が切断された場合について説明する。(i)の場合、領域数が３つのまま、映像入力が切断された外部装置６の映像（例えば最後の画像）を残す。(ii)の場合、映像入力を継続している２つの外部装置６の映像と手書きデータを２つの領域にそれぞれ表示にする。(iii)の場合、映像入力が切断されていない２つの領域と手書きデータの外接矩形を最大化して表示する。したがって、領域数が３つ以上の状態でも同様に表示できる。

実施例１では、タッチパネル方式の表示装置２を説明したが、本実施例ではプロジェクター投影方式の表示装置２を説明する。なお、本実施例のようなプロジェクター投影方式の表示装置２については特許文献２に記載がある。

図１４は、本実施例に係るプロジェクターを使用した表示装置２の構成例を示す図である。表示装置２は、スクリーンＳＣの上方に設置されたプロジェクター４００に、外部装置６が接続されている。

プロジェクター４００は、画像出力装置としての外部装置６から送信される画像データを受信して、この画像データに基づく画像を投射面としてのスクリーンＳＣに投射する。プロジェクター４００は短焦点型であって、スクリーンＳＣの直上に設置され、斜め下方に向けて画像を投射する。

プロジェクター４００は、外部装置６から送信された画像データに基づく画像を投射するだけでなく、プロジェクター４００内部に記憶している画像データに基づく画像、及び、プロジェクター４００の内部において後述するように生成した画像を、スクリーンＳＣに投射することができる。

プロジェクター４００は、外部装置６から受信した画像データが静止画像データであっても動画像（映像）データであっても投射できる。また、スクリーンＳＣは壁面に固定された平板に限らず、壁面自体をスクリーンＳＣとして使用することも可能である。

表示装置２は、プロジェクター４００が画像を投射するスクリーンＳＣ上で、入力手段４０２を用いて操作を行うことが可能である。入力手段４０２は、例えばペン型のデバイスであり、ユーザーは入力手段４０２を手に持って、先端をスクリーンＳＣに押しつけるように使用する。入力手段４０２の先端には押圧操作を検出する操作スイッチ４０３が設けられており、ユーザーが入力手段４０２の先端をスクリーンＳＣに押し付けた場合に、操作スイッチ４０３がオンになる。ユーザーは、スクリーンＳＣ上の任意の位置で入力手段４０２の尖端をスクリーンＳＣに押しつけることで、位置指示操作を行う。

プロジェクター４００は、スクリーンＳＣ上における入力手段４０２の位置を検出する機能を有する。ユーザーが位置指示操作を行った場合に、入力手段４０２の先端がスクリーンＳＣに接した位置を、指示位置として検出する。

表示装置２は、ユーザーが入力手段４０２により行った位置入力操作を受け付けて、この操作を投射画像に反映させる。具体的には、表示装置２は、ユーザーが行った位置指示操作を検出した場合に、指示位置にしたがって手書きデータ９等を描画し、描画した手書きデータ９をスクリーンＳＣに投射する。表示装置２は、何らかの画像をスクリーンＳＣに投射した状態で、この投射画像に重なるように手書きデータ９を描画することができ、何も画像を投射しない状態に移行してから画像の描画を開始することもできる。また、この機能により描画された手書きデータ９は、画像データとして保存することが可能であり、描画された画像のみを画像データとして保存することも、及び、描画時にスクリーンＳＣに投射されていた投射画像と共に一つの画像データとして保存することもできる。

ここで、表示装置２は、入力手段４０２の指示位置にしたがって画像を生成し、プロジェクター４００により投射させる機能を、プロジェクター４００が実行する「ＰＪモード」、及び、外部装置６が実行する「ＰＣモード」のいずれも実行可能である。「ＰＪモード」では、プロジェクター４００が入力手段４０２の指示位置を検出し、検出した指示位置にしたがって画像を生成し、スクリーンＳＣに投射する。

また、「ＰＣモード」では、プロジェクター４００は、外部装置６から入力される画像をスクリーンＳＣに投射する動作を実行し、プロジェクター４００は描画を行わない。ＰＣモードでは、プロジェクター４００が入力手段４０２の指示位置を検出して、検出した指示位置を示す操作データを外部装置６に送信する。この操作データを受信した外部装置６は、指示位置の座標に基づいて手書きデータ９を生成する描画を実行し、描画した手書きデータ９の画像を、単独で又は他の画像に重畳して表示用の画像データを生成する。外部装置６は、生成した表示用の画像データをプロジェクター４００に出力する。これにより、スクリーンＳＣには、入力手段４０２の操作にしたがって描画された画像が投射される。

ＰＪモードは、プロジェクター４００を操作することにより実行可能となる。また、ＰＣモードは、プロジェクター４００をＰＣモードに切り換えると共に、外部装置６においてプロジェクター４００を制御する機能と描画を行う機能とを実行させることで、実行可能となる。したがって、ＰＣモードからＰＪモードへの切り換えはプロジェクター４００の操作により行うことができ、ＰＪモードからＰＣモードへの切り換えは、プロジェクター４００と外部装置６の両方を操作することで行われる。

また、スクリーンＳＣには、投射画像と共にツールバー４１１が投射される。ツールバー４１１には、プロジェクター４００に各種の機能を実行させるための複数の機能ボタン４１２等が配置されている。入力手段４０２の操作により、いずれかの機能ボタン４１２に重なる位置が指示されると、プロジェクター４００は、該当する機能ボタン４１２に割り当てられた機能を実行する。

＜ハードウェア構成例＞
図１５は、プロジェクター４００のハードウェア構成図である。図１５に示すように、プロジェクター４００は、ＣＰＵ（Central Processing Unit）８０１、ＲＯＭ（Read Only Memory）８０２、ＲＡＭ（Random Access Memory）８０３、メディアＩ／Ｆ(Interface)８０７、操作部８０８、電源スイッチ８０９、バスライン８１０、ネットワークＩ／Ｆ８１１、ＬＥＤ（Light Emitting Diode）駆動回路８１４、ＬＥＤ光源８１５、投射デバイス８１６、投射レンズ８１７、外部機器接続Ｉ／Ｆ(Interface)８１８、ファン駆動回路８１９、冷却ファン８２０を備えている。

これらのうち、ＣＰＵ８０１は、プロジェクター４００全体の動作を制御する。ＲＯＭ８０２は、ＣＰＵ８０１の駆動に用いられるプログラムを記憶する。ＲＡＭ８０３は、ＣＰＵ８０１のワークエリアとして使用される。

メディアＩ／Ｆ８０７は、フラッシュメモリ等の記録メディア８０６に対するデータの読み出し又は書き込み（記憶）を制御する。

操作部８０８は、種々のキー、ボタン及びＬＥＤ等が配設されており、ユーザーによるプロジェクター４００の電源のＯＮ／ＯＦＦ以外の各種操作を行うのに使用される。例えば、操作部８０８は、投射画像の大きさの調整操作、色調の調整操作、ピント調整操作、キーストン調整操作等の指示操作を受け付けて、受け付けた操作内容をＣＰＵ８０１に出力する。

電源スイッチ８０９は、プロジェクター４００の電源のＯＮ／ＯＦＦを切り換えるためのスイッチである。

バスライン８１０は、図１５に示されているＣＰＵ８０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

ネットワークＩ／Ｆ８１１は、インターネット等の通信ネットワークＮを利用してデータ通信をするためのインターフェースである。

ＬＥＤ駆動回路８１４は、ＣＰＵ８０１の制御下で、ＬＥＤ光源８１５の点灯及び消灯を制御する。

ＬＥＤ光源８１５は、ＬＥＤ駆動回路８１４の制御によって点灯されると、投射光を投射デバイス８１６に照射する。

投射デバイス８１６は、外部機器接続Ｉ／Ｆ８１８等を介して与えられた画像データに基づいて、空間光変調方式によりＬＥＤ光源８１５からの投射光を変調して得た変調光を、投射レンズ８１７を通して、スクリーンの投射面へ画像として投射する。投射デバイス８１６としては、例えば、液晶パネル又はＤＭＤ（Digital Micromirror Device）等が用いられている。上記ＬＥＤ駆動回路８１４、ＬＥＤ光源８１５、投射デバイス８１６及び投射レンズ８１７は、全体として、画像データに基づいて投射面に投射画像を投射する投射部として機能している。

外部機器接続Ｉ／Ｆ８１８は、直接、ＰＣ(Personal Computer)が接続され、ＰＣとの間で、制御信号や画像データを取得する。

ファン駆動回路８１９は、ＣＰＵ８０１及び冷却ファン８２０に接続されており、ＣＰＵ８０１からの制御信号に基づいて、冷却ファン８２０の駆動／駆動停止を行う。

冷却ファン８２０は、回転することで、プロジェクター４００内部の空気を排気して、プロジェクター４００内部を冷却する。

また、ＣＰＵ８０１は、電源電力が供給されると、ＲＯＭ８０２に予め記憶されている制御プログラムにしたがって起動し、ＬＥＤ駆動回路８１４に制御信号を与えてＬＥＤ光源８１５を点灯させると共に、ファン駆動回路８１９に制御信号を与えて冷却ファン８２０を所定の定格回転数で回転させる。また、プロジェクター４００は、電源回路からの電源電力の供給が開始されると、投射デバイス８１６が画像表示可能状態になり、更に、他の種々の構成要素へ電源回路から電力が供給される。

また、プロジェクター４００は、電源スイッチ８０９がＯＦＦ操作されると、電源スイッチ８０９から電源ＯＦＦ信号がＣＰＵ８０１に送られ、ＣＰＵ８０１は、電源ＯＦＦ信号を検知すると、ＬＥＤ駆動回路８１４へ制御信号を与えてＬＥＤ光源８１５を消灯させる。ＣＰＵ８０１は、その後、所定時間が経過すると、ファン駆動回路８１９へ制御信号を与えて冷却ファン８２０を停止させると共に、自身で自身の制御処理を終了させ、最後に電源回路へ指示を与えて電源電力の供給を停止させる。

＜機能について＞
図１６は、プロジェクター型の表示装置２が有する各部の機能ブロック図である。プロジェクター４００は、外部装置６やビデオ再生装置、ＤＶＤ再生装置等の外部の装置に接続されるＩ／Ｆ（インターフェース）部４０５を備えている。Ｉ／Ｆ部４０５は、例えば、ＵＳＢインターフェース、有線又は無線ＬＡＮインターフェース、アナログ映像信号が入力されるＶＧＡ端子、デジタル画像データが入力されるＤＶＩ（Digital Visual Interface）、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のコンポジット映像信号が入力されるＳ映像端子、コンポジット映像信号が入力されるＲＣＡ端子、コンポーネント映像信号が入力されるＤ端子、ＨＤＭＩ（登録商標）規格に準拠したＨＤＭＩコネクター等を備えている。プロジェクター４００は、Ｉ／Ｆ部４０５が備えるＬＡＮインターフェース又はＵＳＢインターフェースを介して外部装置６に接続される。

プロジェクター４００は、大きく分けて光学的な画像の形成を行う投射部４２０と、画像データを処理する画像処理系とからなる。投射部４２０は、照明部４２１、光変調部４２２、及び投射部４２３から構成されている。照明部４２１は、キセノンランプ、超高圧水銀ランプ、ＬＥＤ（Light Emitting Diode）、レーザー光源等からなる光源を備えている。また、照明部４２１は、光源が発した光を光変調部４２２に導くリフレクター及び補助リフレクターを備えていてもよく、投射光の光学特性を高めるためのレンズ群（図示略）、偏光板、或いは光源が発した光の光量を光変調部４２２に至る経路上で低減させる調光素子等を備えたものであってもよい。

光変調部４２２は、例えばＲＧＢの三原色に対応した３枚の透過型液晶パネルを備え、この液晶パネルを透過する光を変調して画像光を生成する。照明部４２１からの光はＲＧＢの３色の色光に分離され、各色光は対応する各液晶パネルに入射する。各液晶パネルを通過して変調された色光はクロスダイクロックプリズム等の合成光学系によって合成され、投射部４２３に射出される。

投射部４２３は、投射する画像の拡大・縮小及び焦点の調整を行うズームレンズ、ズームの度合いを調整するズーム調整用モーター、フォーカスの調整を行うフォーカス調整用モーター、投射光をスクリーンＳＣに向けて反射する凹面鏡等を備えている。投射部４２３は、光変調部４２２で変調された画像光のズーム調整及びフォーカス調整を行って、レンズ群を通った光を凹面鏡によりスクリーンＳＣ方向へ導き、スクリーンＳＣ上に結像させる。投射部４２０には、制御部４３０の制御に従って投射部４２３が備える各モーターを駆動する投射光学系駆動部４１６、及び、制御部４３０の制御に従って照明部４２１が備える光源を駆動する光源駆動部４１４が接続されている。なお、投射部４２３の具体的構成は上記の例に限定されず、例えば凹面鏡を含むミラーを用いない構成により、光変調部４２２で変調された光をレンズによってスクリーンＳＣに投射し、結像させることも可能である。

一方、画像処理系は、プロジェクター４００全体を統合的に制御する制御部４３０を中心に構成され、制御部４３０が実行する制御プログラム４３６、及び、制御部４３０が処理するデータを記憶する記憶部４３５、操作パネル４１９及びリモコン受光部４１８を介した操作を検出する操作検出部４１７、Ｉ／Ｆ部４０５を介して入力された入力画像を処理する画像処理部４４０、画像処理部４４０が処理した画像信号に基づいて光変調部４２２を駆動して描画を行う光変調装置駆動部４１５を備えている。

操作検出部４１７は、リモコン受光部４１８及び操作パネル４１９に接続されている。リモコン受光部４１８は、プロジェクター４００のユーザーが使用するリモコンがボタン操作に対応して送信した赤外線信号を、リモコン受光部４１８によって受光する。リモコン受光部４１８は、上記リモコンから受光した赤外線信号をデコードして、上記リモコンにおける操作内容を示す操作データを生成し、制御部４３０に出力する。

操作パネル４１９は、プロジェクター４００の外装筐体に設けられ、各種スイッチ及びインジケーターランプを有する。操作検出部４１７は、制御部４３０の制御に従い、プロジェクター４００の動作状態や設定状態に応じて操作パネル４１９のインジケーターランプを適宜点灯或いは点滅させる。この操作パネル４１９のスイッチが操作されると、操作されたスイッチに対応する操作データが操作検出部４１７から制御部４３０に出力される。

制御部４３０は、Ｉ／Ｆ部４０５から入力された映像を画像処理部４４０に出力する。画像処理部４４０は、入力された画像データをバッファリングする画像入力部４４１と、この画像データに対し、インターレース／プログレッシブ変換、解像度変換、色変換等の各種変換処理を適宜実行し、予め設定されたフォーマットの画像データを生成する表示制御部４４２と、表示制御部４４２により処理された画像データに基づいてフレームメモリー４４４にフレーム毎の画像を展開する描画処理部４４３と、を備えている。画像処理部４４０は、フレームメモリー４４４に展開された画像データを光変調装置駆動部４１５に出力する。

描画処理部４４３は、上記のＰＪモードにおいて、入力手段４０２の指示位置の座標に従ってフレームメモリー４４４に展開された画像に図形の画像を加え、或いは消去する編集を行い、画像の生成又は更新を行う。これにより、入力手段４０２の操作に応じた図形が描画されてスクリーンＳＣに投射される。

一方、入力手段４０２は、上述した操作スイッチ４０３に加え、入力手段４０２の姿勢により出力が切り替わる姿勢スイッチ４０４を備えている。姿勢スイッチ４０４は、例えば入力手段４０２を水平にした状態でオフになり、入力手段４０２が傾いた状態でオンになるスイッチである。また、姿勢スイッチ４０４は、例えば、入力手段４０２の傾きの大きさによって抵抗値が変化するようなスイッチであってもよい。

入力手段４０２は、赤外線信号を出力する送信部４７４を備えている。送信部４７４は、例えば赤外ＬＥＤ等の発光部、発光制御回路、及び電源を備えて構成される。送信部４７４は、入力手段４０２の電源がオンになっている状態で、周期的に赤外線信号を送信する。送信部４７４は、操作スイッチ４０３の操作状態（オン／オフ）、及び、姿勢スイッチ４０４の出力状態によって、赤外線信号を変調して送信する。送信部４７４は、例えば、ＩｒＤＡ規格に準拠した方式により操作スイッチ４０３のオン／オフ、及び、姿勢スイッチ４０４のオン／オフを示すデータを送信する。

プロジェクター４００は、入力手段４０２による操作を検出する位置指示操作検出部４５０を備えている。位置指示操作検出部４５０は、撮像部４５１、受信部４５２、撮像制御部４５３、指示体検出部４５４、及び座標算出部４５５の各部を備えて構成される。位置指示操作検出部４５０は、操作検出手段、及び、姿勢検出手段として機能する。

撮像部４５１は、投射部４２３と同じ方向を向いて配置され、投射部４２３がスクリーンＳＣ上に画像を投射する範囲をカバーする画角を有する撮像光学系、ＣＣＤやＣＭＯＳからなる撮像素子、及び、撮像素子の検出値を読み出して出力するインターフェース回路等を有する。また、撮像制御部４５３は、撮像部４５１により撮像を実行させて撮像画像データを生成する。撮像制御部４５３の制御により撮像部４５１が撮像を実行すると、スクリーンＳＣ上に投射された画像とともに、スクリーンＳＣ上又はその近傍で操作されている入力手段４０２が撮像される。

また、受信部４５２は、送信部４７４が送信した赤外線信号を受信してデコードし、受信データを出力する。受信部４５２が出力する受信データは、操作スイッチ４０３及び姿勢スイッチ４０４の操作状態を示すデータを含んでいる。

指示体検出部４５４は、撮像制御部４５３が生成する撮像画像データに基づいて、入力手段４０２の位置を検出する。指示体検出部４５４は、撮像画像データから入力手段４０２に似た形状を検出して入力手段４０２の画像を切り出す処理を実行し、入力手段４０２の先端が向いている方向を特定する。また、指示体検出部４５４は、受信部４５２が出力する受信データに基づいて操作スイッチ４０３の操作状態と入力手段４０２の姿勢とを検出する。これにより、指示体検出部４５４は、撮像画像データにおける入力手段４０２の位置と、入力手段４０２の姿勢とを特定する。

座標算出部４５５は、指示体検出部４５４が特定した撮像画像データにおける入力手段４０２の位置と入力手段４０２の姿勢とに基づき、入力手段４０２の先端がスクリーンＳＣ上で指し示している位置の座標、すなわち指示位置の座標を算出する。ここで座標算出部４５５が算出する座標は、例えば、スクリーンＳＣ上に投射部４２０が投射画像を投射する領域（投射領域）を基準とする座標である。座標算出部４５５は、算出した指示位置の座標、指示体検出部４５４が特定した入力手段４０２の姿勢、操作スイッチ４０３の操作状態等を示すデータを、制御部４３０に出力する。また、座標算出部４５５は、撮像部４５１により撮像された撮像画像データを制御部４３０に出力してもよい。

制御部４３０は、記憶部４３５に記憶された制御プログラム４３６を読み出して実行することにより、投射制御部４３１、検出制御部４３２、機能制御部４３３及び出力制御部４３４の各部の機能を実現し、プロジェクター４００の各部を制御する。

投射制御部４３１は、操作検出部４１７から入力される操作データに基づいて、操作者が行った操作の内容を検出し、この操作に応じて画像処理部４４０、光変調装置駆動部４１５、投射光学系駆動部４１６及び光源駆動部４１４を制御して、スクリーンＳＣに画像を投射させる。また、投射制御部４３１は、投射光学系駆動部４１６を制御して、投射部４２３によるフォーカス調整、ズーム調整、絞り調整等を実行させる。

検出制御部４３２は、位置指示操作検出部４５０を制御して、入力手段４０２の指示位置の検出と入力手段４０２の姿勢の検出とを実行させ、検出された指示位置及び入力手段４０２の姿勢を取得する。また、検出制御部４３２は、位置指示操作検出部４５０を制御して、入力手段４０２が備える操作スイッチ４０３の操作状態を検出する。これにより、検出制御部４３２は、ユーザーが入力手段４０２を用いて操作を行ったこと、及び、操作時の入力手段４０２の状態を検出する。

検出制御部４３２は、入力手段４０２の姿勢に基づき、入力手段４０２の操作を通常操作と特殊操作とに区別する。通常操作は、入力手段４０２の先端をスクリーンＳＣに押し当てる操作である。通常操作が行われると、指示体検出部４５４が撮像画像データから抽出した入力手段４０２の画像はスクリーンＳＣを向いており、かつ、操作スイッチ４０３がオンになる。ユーザーが描画や、ツールバー４１１（図１４）に対する指示等を行う場合は、入力手段４０２による通常操作が行われる。

特殊操作は、入力手段４０２を特定の姿勢にする操作である。この特定の姿勢とは、例えば、描画を行えない姿勢にする操作であり、具体的には、入力手段４０２の入力手段４０２をスクリーンＳＣに対して平行にする操作、入力手段４０２をスクリーンＳＣに対して平行に、かつ水平にする操作、或いは、これらの操作を行いながら入力手段４０２を上下あるいは左右に移動させる操作が挙げられる。他の具体的な例としては、入力手段４０２の末端部すなわち操作スイッチ４０３とは反対側の端を、スクリーンＳＣに向ける操作が挙げられる。これらの操作を行っている間は操作スイッチ４０３をスクリーンＳＣに押し当てることはできないので、「描画を行えない操作」に該当する。特殊操作として検出すべき入力手段４０２の状態と、その検出の条件は、予め設定されて記憶部４３５に記憶されている。

これらの操作のうち、例えば、入力手段４０２をスクリーンＳＣに対して平行にする操作、入力手段４０２をスクリーンＳＣに対して平行かつ水平にする操作は、姿勢スイッチ４０４の状態をもとに、通常操作と区別して検出できる。また、入力手段４０２の末端部をスクリーンＳＣに向ける操作は、撮像部４５１の撮像画像データから抽出した入力手段４０２の画像の向きに基づき、通常操作と区別して検出できる。更に、入力手段４０２をスクリーンＳＣに平行にし、或いは入力手段４０２をスクリーンＳＣに平行にして水平にした状態で、入力手段４０２を上下あるいは左右に移動させる操作は、姿勢スイッチ４０４の検出状態と、撮像部４５１の撮像画像データにおける入力手段４０２の画像とを、経時的に比較することで、通常操作とは区別して検出できる。また、特殊操作は描画ができない操作であるから、操作スイッチ４０３がオンになっていないことを特殊操作の検出条件に含めてもよい。このように特殊操作を検出するための具体的な条件が記憶部４３５に記憶されている。

検出制御部４３２は、撮像部４５１の撮像画像データから指示体検出部４５４が検出した入力手段４０２の画像、操作スイッチ４０３や姿勢スイッチ４０４の検出状態等が、記憶部４３５に記憶された条件を満たす場合に、特殊操作を検出する。

機能制御部４３３は、検出制御部４３２が検出した入力手段４０２による操作と、その操作時におけるプロジェクター４００の動作モードに対応して、プロジェクター４００の機能の実行を制御する。

表示装置２は、上述のように、入力手段４０２の操作に基づいてプロジェクター４００が描画を行って画像を生成するＰＪモードと、外部装置６が描画を行って画像を生成するＰＣモードとを切り換えて実行する。また、ＰＪモードにおいて、プロジェクター４００は、描画を行う描画モードと、描画モードの動作に関する各種設定を行う描画設定モードとを切り換えて実行する。一方、ＰＣモードにおいて、外部装置６は、描画を行う描画モードと、描画モードの動作に関する各種設定を行う描画設定モードと、上記のＰＣ操作モードとを切り換えて実行する。

機能制御部４３３は、例えば、表示装置２がＰＪモードで動作していて、プロジェクター４００が描画モードを実行中である場合に、検出制御部４３２が通常操作を検出すると、入力手段４０２の指示位置の座標を画像入力部４４１に出力し、描画処理部４４３に
よって描画を実行させる。また、プロジェクター４００が描画設定モードを実行中である場合に、検出制御部４３２が通常操作を検出すると、機能制御部４３３は、入力手段４０２の指示位置の座標と、スクリーンＳＣに投射される設定用画面（図示略）上のアイコン等の位置とに基づいて、この操作で指示された内容を特定して、設定等を行う。

機能制御部４３３は、表示装置２がＰＪモードで動作している場合に検出制御部４３２が特殊操作を検出すると、通常操作とは異なる機能を実行する。描画モード、及び、描画モード以外の各動作モードにそれぞれ対応づけて、特殊操作に応じて実行すべき機能が割り当てられている。これらの機能は、描画以外の機能である。機能制御部４３３は、特殊操作が検出されると、実行中の動作モードに対応して割り当てられた機能を実行する。

また、表示装置２がＰＣモードで動作している場合は、機能制御部４３３は、検出制御部４３２が通常操作及び特殊操作を検出すると、位置指示操作検出部４５０が検出した入力手段４０２の指示位置を示すデータ、及び、検出された操作が特殊操作であるか通常操作であるかを示すデータを、出力制御部４３４により外部装置６に出力させる。

外部装置６は、外部装置６の各部を中枢的に制御する制御部５０１を備えている。制御部５０１は、ＣＰＵ、ＣＰＵが実行する基本制御プログラム等を記憶したＲＯＭ、及び、ＣＰＵが実行するプログラムやＣＰＵが処理するデータ等を一時的に格納するＲＡＭ等により実現される。また、外部装置６は、キーボード及びマウス等のポインティングデバイスを含む入力デバイスによる入力操作を検出する入力部５０６と、入力部５０６が検出した入力操作の内容や制御部５０１による処理結果等をモニター５０８に表示する表示部５０７と、プロジェクター４００が備えるＩ／Ｆ部４０５に対しケーブル４０１ａを介して接続される外部インターフェース５０９と、制御部５０１が実行する制御プログラム１１１を含む各種のプログラム、これらのプログラムにより処理されるデータ等を記憶する記憶部５１０とを備えている。

制御部５０１は、制御プログラム５１１を実行することにより、機器制御部５０２、画像選択部５０３、画像出力部５０４、及び描画処理部５０５の機能を実現する。

機器制御部５０２は、ＰＣモードにおいてプロジェクター４００を制御する処理、及び、プロジェクター４００から送信されるデータを受信する処理等を実行する。

画像選択部５０３は、プロジェクター４００に対して画像データを出力する場合に、入力部５０６が検出した操作に従って、出力する画像データを選択する。例えば、画像選択部５０３は、記憶部５１０に記憶している画像データ（図示略）の中からユーザーの操作により直接指定された画像データを選択することも、予め設定された順序で記憶部５１０内の画像データを選択することも可能である。

画像出力部５０４は、画像選択部５０３により選択された画像データをプロジェクター４００に出力する。また、画像出力部５０４は、選択された画像データの解像度やフレームレートをプロジェクター４００の仕様に合わせて変換する処理を行うものであってもよい。

また、機器制御部５０２は、ＰＣモードにおいて、プロジェクター４００の位置指示操作検出部４５０が検出した入力手段４０２の指示位置を示すデータ、入力手段４０２の姿勢に関するデータ、及び、検出された操作が特殊操作であるか通常操作であるかを示すデータを、プロジェクター４００から受信する。機器制御部５０２は、外部装置６の動作モード及び通常操作と特殊操作の各々に予め割り当てられた機能を実行する。例えば、機器制御部５０２は、外部装置６が描画を行う描画モードでは、通常操作に対しては、描画処理部５０５に指示位置の座標データを出力して、描画を実行させる。また、描画モードにおいてプロジェクター４００が特殊操作を検出した場合、描画モード以外の動作モードへの切り換えを実行する。

描画処理部５０５は、ＰＣモードにおいて、機器制御部５０２から入力手段４０２の指示位置の座標が入力された場合に、この座標に従って画像を生成又は更新する描画処理を実行し、画像データを出力する。描画処理部５０５が出力した画像データは、画像出力部５０４によってプロジェクター４００に出力される。

図１７は、本実施例において、映像の入力に応じた画面の再構成に関する表示装置２の機能を示す機能ブロック図の一例である。図７で説明した、画面の再構成に関する表示装置２の機能は、図１７に示すように本実施例でも援用できる。

すなわち、Ｉ／Ｆ部４０５は画像取得部３１に対応する。制御部４３０は図７に示した映像保存部１１、映像受信部１２、映像入力検知部１４、画面構成決定部１５、及び、手書きデータ位置判断部１６を有している。また、画像処理部４４０は表示制御部１７（表示制御部４４２と同じでよい）を有している。また、座標算出部４５５はストローク受信部１３とストローク処理部３２に相当する。

＜位置検出＞
本実施例の表示装置２が入力手段４０２の指示位置を決定する方法について説明する。

(i) 入力手段の姿勢から決定する方法
入力手段４０２は、ユーザーが入力手段４０２の先端をスクリーンＳＣに押し付けた場合に、オンになる操作スイッチ４０３に加え、入力手段４０２の姿勢により出力が切り替わる姿勢スイッチ４０４を備えている。姿勢スイッチ４０４は、例えば入力手段４０２を水平にした状態でオフになり、入力手段４０２が傾いた状態でオンになるスイッチである。また、姿勢スイッチ４０４は、例えば、入力手段４０２の傾きの大きさによって抵抗値が変化するようなスイッチであってもよい。

入力手段４０２は、赤外線信号を出力する送信部４７４を備えている。送信部４７４は、例えば赤外ＬＥＤ等の発光部、発光制御回路、及び電源を備えて構成される。送信部４７４は、入力手段４０２の電源がオンになっている状態で、周期的に赤外線信号を送信する。送信部は、操作スイッチ４０３の操作状態（オン／オフ）、及び、姿勢スイッチ４０４の出力状態によって、赤外線信号を変調して送信する。送信部４７４は、例えば、ＩｒＤＡ規格に準拠した方式により操作スイッチ４０３のオン／オフ、及び、姿勢スイッチ４０４のオン／オフを示すデータを送信する。

プロジェクター４００は、カメラにより、スクリーンＳＣ上に画像を投射する範囲をカバーする画角でスクリーンＳＣを撮像する。プロジェクター４００はカメラが撮像して生成する撮像画像データに基づいて、入力手段４０２の位置を検出する。プロジェクター４００は撮像画像データから入力手段４０２に似た形状を検出して入力手段４０２の画像を切り出す処理を実行し、入力手段４０２の先端が向いている方向を特定する。また、プロジェクター４００は、入力手段４０２から送信された受信データに基づいて操作スイッチ４０３の操作状態と入力手段４０２の姿勢とを検出する。これにより、プロジェクター４００は、撮像画像データにおける入力手段４０２の位置と、入力手段４０２の姿勢とを特定する。

また、プロジェクター４００は、撮像画像データにおける入力手段４０２の位置と入力手段４０２の姿勢とに基づき、入力手段４０２の先端がスクリーンＳＣ上で指し示している位置の座標、すなわち指示位置の座標を算出する。ここでプロジェクター４００が算出する座標は、例えば、スクリーンＳＣ上に投射画像を投射する領域（投射領域）を基準とする座標である。

(ii) 音波又は電波による距離の検出とカメラによる水平位置の検出
入力手段４０２は、ユーザーが手書きのためにスクリーンＳＣに先端を押しつけると操作スイッチ４０３がＯＮになり発光する発光部を例えば先端部に有している。光の波長は近赤外や赤外なのでユーザーの目には見えない。プロジェクター４００はカメラを有しており、発光部を撮像して画像を解析し入力手段４０２のスクリーンＳＣに平行な方向の位置を特定する。また、入力手段４０２は発光と共に音波を発信しており、プロジェクター４００は音波の到達時間により距離を算出する。方向と距離により入力手段４０２の位置を特定できる。音波の代わりに電波を使用してもよい。

(iii) 赤外線のカーテンを使用した入力手段の位置の検出
この場合、入力手段４０２は発光部や送信部を有している必要がない。例えば、ユーザーの指で手書きすることができる。プロジェクター４００はスクリーンＳＣを覆うように赤外線を照射する。スクリーンＳＣには不可視の赤外線のカーテンが掛けられた状態になる。入力手段４０２がカーテンに触れると入力手段４０２が赤外線を反射するので、カメラで反射光を撮像する。これにより、入力手段４０２のスクリーンＳＣに平行な方向の位置を特定する。また、赤外線を照射してから反射するまでの時間により距離を算出する。方向と距離により入力手段４０２の位置を特定できる。

＜映像入力が切断された場合＞
図１８は、本実施例において複数の外部装置６の映像入力が切断された場合の画面の遷移例を示す。図１８（ａ）では、外部装置６Ａの映像が表示される第１領域１０１と外部装置６Ｂの映像が表示される第２領域１０２の両方に手書きデータ９がある。外部装置６Ｂの映像が切断されると、図１８（ｂ）に示すように、表示装置２は、映像入力が切断された外部装置６Ｂの映像を残して、画面を分割したまま表示する。両方の映像と手書きデータ９が継続して表示されるので、映像入力が切断されても手書きデータ９の意味がわかる。この他の画面遷移についても実施例１と同様でよい。

＜まとめ＞
本実施例によれば、実施例１の効果に加え、プロジェクター型の表示装置２において映像入力が切断されても意味が分かるように手書きデータ９を表示できる。

なお、本実施例で説明したプロジェクター投影方式の表示装置２は一例であり、実施例１にて説明した映像入力の切断時の表示方法は、プロジェクターを使用した表示装置２に広く適用できる。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

また、図５、図７などの構成例は、表示装置２の処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。また、表示装置２の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

なお、表示装置２は、上記には限られない。表示装置２は、例えば、ＰＪ（Projector：プロジェクター）、デジタルサイネージ等の出力装置、ＨＵＤ（Head Up Display）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車（Connected Car）、カーナビ、ノートＰＣ、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

１ 画像処理システム
２ 表示装置
３ ディスプレイ
４ 電子ペン

特開２０１３‐１１４４１２号公報 特開２０１３－２２２２８０号公報

Claims (6)

1. 複数の外部装置からの映像を画面の異なる領域にそれぞれ表示する表示装置であって、
   前記画面に対する入力手段の接触位置に基づいてデータの入力を受け付ける接触検知部と、
   前記外部装置からの映像が切断されたことを検知する映像入力検知部と、
   前記映像入力検知部が前記外部装置からの映像入力が切断されたことを検知した場合、切断された前記映像と前記データを継続して表示する表示制御部と、
   前記接触検知部が受け付けた前記データが前記領域に存在するか否かを判断する位置判断部と、を有し、
   前記映像入力検知部が前記外部装置からの映像入力が切断されたことを検知した場合、前記位置判断部の判断結果に応じて、前記表示制御部は切断された前記映像及び切断されていない映像から表示する前記映像を決定することを特徴とする表示装置。
2. 前記位置判断部が、映像入力が切断されたことを前記映像入力検知部が検知した前記外部装置からの映像を表示する前記領域に前記データが存在しないと判断し、
   映像入力が切断されたことを前記映像入力検知部が検知しない前記外部装置からの映像を表示する前記領域に前記データが存在すると判断した場合、
   前記表示制御部は、映像入力が切断されたことを前記映像入力検知部が検知しない前記外部装置からの映像に対する前記データの相対位置と相対サイズを保ったまま、
   前記映像入力が切断されたことを前記映像入力検知部が検知しない前記外部装置からの映像と前記データを前記画面に最大化して表示することを特徴とする請求項１に記載の表示装置。
3. 前記位置判断部が、映像入力が切断されたことを前記映像入力検知部が検知した前記外部装置からの映像を表示する前記領域に前記データが存在すると判断した場合、
   前記表示制御部は、映像入力が切断されたことを前記映像入力検知部が検知しない前記外部装置からの映像を表示する前記領域に、継続して該外部装置からの映像を表示し、
   映像入力が切断されたことを前記映像入力検知部が検知した前記外部装置からの映像を表示する前記領域に、映像入力が切断されたことを前記映像入力検知部が検知する前に該外部装置から入力された前記映像を表示し、
   映像入力が切断されたことを前記映像入力検知部が検知する前と同じ位置に前記データを表示することを特徴とする請求項１又は２に記載の表示装置。
4. 前記位置判断部が、前記画面には前記データが存在するが、映像入力が切断されたことを前記映像入力検知部が検知しない前記外部装置からの映像を表示する前記領域のみには前記データが存在しないと判断し、更に、
   映像入力が切断されたことを前記映像入力検知部が検知した前記外部装置からの映像を表示する前記領域に前記データが存在しないと判断した場合、
   前記表示制御部は、映像入力が切断されたことを前記映像入力検知部が検知しない前記外部装置からの映像に対する前記データの相対位置と相対サイズを保ったまま、
   前記映像入力が切断されたことを前記映像入力検知部が検知しない前記外部装置からの映像と前記データを前記画面に最大化して表示することを特徴とする請求項１～３のいずれか１項に記載の表示装置。
5. 複数の外部装置からの映像を画面の異なる領域にそれぞれ表示する表示装置が行う表示方法であって、
   接触検知部が、前記画面に対する入力手段の接触位置に基づいてデータの入力を受け付けるステップと、
   映像入力検知部が、前記外部装置からの映像が切断されたことを検知するステップと、
   前記映像入力検知部が前記外部装置からの映像入力が切断されたことを検知した場合、表示制御部が、切断された前記映像と前記データを継続して表示するステップと、
   位置判断部が、前記接触検知部が受け付けた前記データが前記領域に存在するか否かを判断するステップと、を有し、
   前記映像入力検知部が前記外部装置からの映像入力が切断されたことを検知した場合、前記位置判断部の判断結果に応じて、前記表示制御部は切断された前記映像及び切断されていない映像から表示する前記映像を決定することを特徴とする表示方法。
6. 複数の外部装置からの映像を画面の異なる領域にそれぞれ表示する情報処理装置を、
   前記画面に対する入力手段の接触位置に基づいてデータの入力を受け付ける接触検知部と、
   前記外部装置からの映像が切断されたことを検知する映像入力検知部と、
   前記映像入力検知部が前記外部装置からの映像入力が切断されたことを検知した場合、切断された前記映像と前記データを継続して表示する表示制御部と、
   前記接触検知部が受け付けた前記データが前記領域に存在するか否かを判断する位置判断部、として機能させ、
   前記映像入力検知部が前記外部装置からの映像入力が切断されたことを検知した場合、前記位置判断部の判断結果に応じて、前記表示制御部は切断された前記映像及び切断されていない映像から表示する前記映像を決定するためのプログラム。

Images