JP6249639B2

JP6249639B2 - 画像処理システム、画像処理装置、画像処理方法、画像処理プログラム

Info

Publication number: JP6249639B2
Application number: JP2013114508A
Authority: JP
Inventors: 和広門田; 英行渡邊
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-05-30
Filing date: 2013-05-30
Publication date: 2017-12-20
Anticipated expiration: 2033-05-30
Also published as: US9772811B2; JP2014235442A; CN104219474B; CN104219474A; US20140354611A1

Description

本発明は、画像処理システム、画像処理装置、画像処理方法、画像処理プログラムに関する。

従来、画像処理装置として、いわゆるコンピュータ等が知られている。たとえば、ノート型コンピュータでは、映像出力端子を介して、外部のモニタやプロジェクタ等の他の表示装置に当該ノート型コンピュータの表示画面の信号を送信して、表示させることができた。近年においては、このような表示を別の形で実現するために、ネットワークを介して外部のモニタやプロジェクタなどと接続し、当該ノート型コンピュータ表示画面をキャプチャして画像データとして接続先の外部のモニタやプロジェクタに送信し、外部のモニタやプロジェクタが受信した画像データを表示する技術も提案されてきている（例えば特許文献１）。

特開２００４−１７７７８４号公報

しかしながら、特許文献１では、前のフレームと今回のフレームとの差分のみを画像データとして送信し、受信した表示装置側で前のフレームの画面と合成した画像を生成して表示をしている。そのため、あるフレームを構成するための差分の画像データにエラーがあったり、画像データの展開に失敗したりした場合には、その位置の画像にしばらく変化がなかった場合などに、エラー画像やそれより以前の画像が表示されてしまうことになり、ユーザに違和感を与える画像が表示されてしまうことになる。

そこで、本発明は、このような違和感をユーザに与える可能性を低減することができる、画像処理装置、画像処理方法、画像処理プログラム、記録媒体、画像処理システムを提供することを目的とする。

このような目的を達成するために、本発明の画像処理装置は、外部表示装置と通信可能な画像処理装置であって、前記外部表示装置への画像の送信を制御する送信制御手段と、前記画像処理装置に接続された表示デバイスへの表示を制御する表示制御手段と、前記表示デバイスに表示される表示対象の画像の変化を検知する検知手段とを有し、前記検知手段により前記表示対象の画像の変化が検知された場合、前記送信制御手段は前記表示対象の画像の全体領域ではなく、前記表示対象の画像の変化した領域を含む部分領域を送信するよう制御し、前記外部表示装置への画像の送信方式が、前記画像の送信への受信応答のない第１の送信方式である場合、前記送信制御手段は前記部分領域の送信に加え、所定の間隔で前記全体領域を送信することを特徴とする。

本発明によれば、違和感をユーザに与える可能性を低減することができる。

ＰＣのハード構成図プロジェクタのハード構成図ネットワーク画面転送システムの概念図セッション状態の概念図ＰＣ、プロジェクタ間の通信フロー図ユニキャスト通信のＰＣ、プロジェクタの処理フロー図マルチキャスト通信のＰＣ、プロジェクタの処理フロー図

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されない。なお、以下の実施の形態は特許請求の範囲に係る発明を限定するものでなく、また実施の形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、本実施例において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。すなわち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されても良い。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能または、複数の機能ブロックの機能が実行されても良い。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されても良い。

本実施例では、画像処理装置を説明する例として、コンピュータ（以後ＰＣと表記することもある）を、画像処理システムを説明する例として、プロジェクタ（以後ＰＪと表記することもある）とコンピュータとからなるシステムを用いて説明する。しかし、画像処理装置は、以下に説明するコンピュータのように画像を処理して送信することができるものであればどのような装置であっても良い。また、画像処理システムにおける表示装置は、以下に説明するプロジェクタのように画像を受信して表示部に表示することができるものであればどのような装置であっても良い。たとえば画像処理装置は、携帯電話、タブレット型コンピュータ、ハードディスクレコーダ、デジタルカメラなどであってもよい。また、表示装置は、ディスプレイ、テレビ、携帯電話、タブレット型コンピュータなどであってもよい。

本実施例の画像処理システムは、コンピュータ（ＰＣ）とプロジェクタ（ＰＪ）とからなる。コンピュータは、コンピュータの表示画面の画像を取得して、ネットワークを介して取得した画像をプロジェクタに送信する。一方、プロジェクタは受信した画像を表示部に表示する。すなわち、コンピュータで表示している画面に対応する同じ画面がプロジェクタにより投影される。

ここで、ネットワーク上において、コンピュータとプロジェクタとは、通信プロトコルとして少なくともＵＤＰ／ＩＰを用いた通信、およびＴＣＰ／ＩＰを用いた通信を行うことができる。そして、ＰＣは、ＰＪに対して、通信プロトコルとしてＴＣＰ／ＩＰを用いたユニキャスト通信により画像をＰＪに送信する第１のモードと、通信プロトコルとしてＵＤＰ／ＩＰを用いたマルチキャスト通信により画像をＰＪに送信する第２のモードとを有する。ユニキャスト通信を用いることで、複数台のＰＪに対して画像を送信する場合であっても、異なる画像を送信することができる。一方、マルチキャスト通信を用いることで、１回の画像送信で、複数台のＰＪに同じ画像を送信することができる。このように、それぞれの通信方式毎にメリットがあるため、本実施例のＰＣは、これらの２種類の通信方式を含む画像送信方法を有する。このほかに、ブロードキャスト通信により画像を送信しても構わない。

そして、ユニキャスト通信（ＰＣは、第１のモード）で画像を送信する場合、ＰＣは、ＰＪにおいて表示させる画像の全領域のうち変化のあった領域を含む一部領域（全領域より小さい領域）の画像をキャプチャして、その座標とともにＰＪに送信する。一方、マルチキャスト通信（ＰＣは、第２のモード）で画像を送信する場合、ＰＣは、ＰＪにおいて表示させる画像の全領域の画像を定期的（たとえば３秒／４秒／５秒ごと）にキャプチャして送信する。また、全領域の画像のキャプチャを行う間、ＰＪにおいて表示させる画像の全領域のうち変化のあった領域を含む一部領域（全領域より小さい領域）の画像をキャプチャして、その座標とともにＰＪに送信する。すなわち、マルチキャスト通信を行う場合は、所定のタイミング（間隔）でＰＪにおいて表示させる画像の全領域の画像をキャプチャして送信する。その所定のタイミング以外のタイミングにおいては、ＰＪにおいて表示させる画像の全領域のうち変化のあった領域を含む一部領域の画像をキャプチャして送信する。

ＰＪ側においては、全領域の画像を受信した場合は、全領域の画像に対応する画像を表示し、全領域の画像をバッファ領域に一時記憶しておく。また、一部領域の画像と座標の情報を受信した場合は、バッファ領域に一時記憶された画像の対応する座標位置に、受信した一部領域の画像を重畳した画像を生成し、生成した画像を表示する。

このような構成とすることで、本実施例の画像処理システム、画像処理装置は、違和感をユーザに与える可能性を低減することができる。

以下、このようなＰＣとＰＪからなる画像処理システムについて説明する。

まず以下、図１、２を用いて本実施形態の画像処理システムを構成するＰＣ１００とプロジェクタ２００の主要な構成を説明する。

まず、ＰＣ１００の主要な構成を説明する。ＣＰＵ１０１は、入力信号やプログラムに従って各部を制御することで、表示制御、記録制御、画像処理制御、通信制御といったＰＣ１００の全体の制御を行う。ＲＡＭ（ランダムアクセスメモリ）１０２は、データの格納を行うメインメモリである。ＲＡＭ１０２は、主に、ＣＰＵ１０１が実行するプログラムを格納、或いは展開する領域、プログラム実行中のワーク領域など、様々なデータの格納領域として使用される。ＶＲＡＭ１０３は、後述する表示部１０６に表示する画像を格納するための領域として使用される。なおＲＡＭ１０２の速度が十分高速であれば、ＲＡＭ１０２をＶＲＡＭ１０３として用いてもよい。フラッシュメモリ１０４は、ＣＰＵ１０１が初期化時に実行するブートプログラムが格納されている。なお、ブートプログラムでは、後述するＨＤＤ１０５に記録されているＯＳをＲＡＭ１０２に展開して起動する処理が行われる。ハードディスクドライブ（以下ＨＤＤ）１０５は、アプリケーションプログラムやＯＳなどの各種プログラムとデータを格納するために使用される。表示部１０６は、後述する表示制御部１０７より指示された画像の表示を行う。表示部１０６は、例えば、液晶パネル、或いは有機ＥＬパネルである。表示制御部１０７は、ＶＲＡＭ１０３に格納された画像を読み出し、これを表示部１０６に表示する処理を行う。操作部１０８は、ユーザからの入力を受け付ける。操作部１０８は、例えばキーボード、マウス、タッチパネル等によって構成され、これらの入力操作はＣＰＵ１０１に送信される。タッチパネルを採用する場合は表示部１０６と一体的に形成し、表示面へのタッチ操作で捜査を入力することが可能である。通信部１０９は、通信ネットワーク１５０を介して外部機器、具体的にはプロジェクタ２００と通信を行う。通信部１０９は、例えば１ギガビットイーサネット（登録商標）等のインタフェースや、無線ＬＡＮなどによって構成されるが、これらに限定されるものではない。内部バス１１０は、上述した各処理ブロック間を接続する。なお、ＰＣ１００の制御は必ずしも１つのハードウェアで行う必要はなく、例えば複数のハードウェアが処理を分担してＰＣ１００の各手段を実現してもよい。

次に、図２を用いてプロジェクタ２００の主要な構成を説明する。ＣＰＵ２０１、ＲＡＭ２０２、フラッシュメモリ２０３、ＶＲＡＭ２０４、操作部２０８、通信部２０９、内部バス２１０のハードウェアとしての役割はＰＣ１００と同様であるので、ここでは説明を省略する。デコーダ２０５は、符合化された画像データ、例えばＪＰＥＧ形式で圧縮された画像データをデコードする。投影部２０６は液晶パネル、レンズ、光源で構成され、後述する投影制御部２０７により指示された画像を投影する。投影制御部２０７は、ＶＲＡＭ２０４に格納された画像を読み出し、これを投影部２０７に投影するよう制御する。なお、ＣＰＵ２０１が投影制御部２０７として動作してもよい。なお、プロジェクタ２００の制御は必ずしも上述のハードウェアでのみ行う必要はなく、例えば複数のハードウェアが処理を分担してＰＣ１００の各手段を実現してもよい。

ここで、ＰＣ１００とプロジェクタ２００からなる本実施形態における画像処理システムを説明する。

図３は本実施形態の画像処理システムの概要を示す図である。

画像処理システムの目的はＰＣ１００に表示されている画面をプロジェクタ２００で投影することである。ＰＣ１００は表示部１０６に表示されている画面をキャプチャしてＪＰＥＧなどの圧縮画像データを生成する。そしてこの圧縮画像データをプロジェクタ２００に送信する。一方、圧縮画像データを受信したプロジェクタ２００は、圧縮された画像データをデコードして投影する。この動作を、例えば一定間隔で実行することで、ＰＣ１００の画面がプロジェクタ２００により投影されることになる。

なお、本実施形態の画像処理システムは、複数のＰＣ及び複数のプロジェクタで構成することが可能である。図３の例では、２台のＰＣ１００ａ，１００ｂと、２台のプロジェクタ２００ａ，２００ｂがＬＡＮ１５０を介して通信している。言うまでもないことではあるが、画像処理システムは、１台以上のＰＣと１台以上のプロジェクタとからなっていてもよい。各ＰＣ、プロジェクタが管理可能な台数、またはネットワークの管理可能な台数が、接続可能な台数の上限値となる。

本実施形態における画像処理システムは、図３に示すようにＰＣ１００ａの映像をプロジェクタ２００ａで投影することが可能である。もちろんプロジェクタ２００ａは、ＰＣ１００ｂからの映像を投影することも可能である。また図３に示すように、ＰＣ１００ａの映像とＰＣ１００ｂの映像とを２画面レイアウトでプロジェクタ２００ｂに投影するといった、多画面レイアウトでの投影も可能である。なお、多画面レイアウト表示を行う場合は、複数のＰＣより受信した映像データをデコード結果の格納先を、各ＰＣ映像の表示位置を考慮したＶＲＡＭ２０４のアドレスにする。なお、多画面レイアウトの際には、ＰＣ側で前記エンコードする前にリサイズ処理を実施してもよい。

なお、本実施形態における画像処理システムでは、通信対象のプロジェクタ選択、投影時の表示レイアウトなど表示形態の設定、画面転送の開始、停止などの各種指示はＰＣ１００側のプログラムが提供するＧＵＩを介してＰＣ１００のユーザが指示するものとする。

ここで、本実施形態の画像処理システムの動作について説明する。本実施形態の画像処理システムは、映像送信装置間の通信や各映像表示装置間の通信を行わなくとも、一台以上の映像送信装置と一台以上の映像表示装置とで構成されるセッション情報を管理できる。なお、本実施形態におけるセッション情報はグループ情報の一例である。本実施形態の画像処理システムにおいては、通信プロトコルとして、少なくともＴＣＰ／ＩＰおよびＵＤＰ／ＩＰを利用した通信を行うことができる。

まず、図４のセッション状態の概念図、図５の通信フロー図を用いて、セッション情報を管理する典型的なシーケンスについて説明する。

まず図４（ａ）に示すような、ＰＣ１００ａがプロジェクタ２００ａ、プロジェクタ２００ｂで構成されるセッションを作成するフローについて説明する。セッションの作成に成功すると、図４（ａ）に示すように、セッションの作成者であるＰＣ１００ａと、プロジェクタ２００ａとの間の通信路（４０２）が確立される。さらに、ＰＣ１００ａとプロジェクタ２００ｂとの間の通信路（４０３）も確立される。さらに、ＰＣ１００ａは各プロジェクタとセッション情報を共有することで、プロジェクタ２００ａが保持するセッション情報（４００）と、プロジェクタ２００ｂが保持するセッション情報（４０１）が同一のものとなる。当該セッション情報として、セッションに属するプロジェクタ数（ここでは２台）、セッションに所属する各プロジェクタの情報（ここではＩＰアドレス）が共有される。このようにして、ＰＣ１００ａがプロジェクタ２００ａ、プロジェクタ２００ｂで構成される、セッションと呼ばれるネットワークグループが作成される。

以下、ユーザａがＰＣ１００ａを操作して、プロジェクタ２００ａとプロジェクタ２００ｂで構成されるセッションを作成する具体的な通信シーケンスについて、図５を用いて説明する。

Ｓ５００では、ユーザａはＰＣ１００ａ上のＧＵＩアプリケーション（以下、ＧＵＩアプリ）を操作して、新しいセッションの作成を指示する。

Ｓ５０１では、ＧＵＩアプリは、セッションを構成するプロジェクタを選択するためのプロジェクタリストを表示する。なお、このプロジェクタリストはネットワークに対してプロジェクタからブロードキャストされるプロジェクタ情報コマンドを元に構成される。

本実施形態においては、ネットワーク上にプロジェクタ２００ａ、プロジェクタ２００ｂが存在しているので、Ｓ５０２、Ｓ５０４で、各プロジェクタはプロジェクタ情報コマンドをネットワーク上にブロードキャストしている。なおプロジェクタ情報コマンドには、例えば当該プロジェクタのＩＰアドレスが少なくとも含まれている。また、ここでは説明の簡単化のためにこのタイミングでプロジェクタ情報コマンドを送信するとしているが、セッション化される前のプロジェクタは一定時間毎に、このように自機の情報を含むプロジェクタ情報コマンドを配信している。この配信処理は第２の送信手段による送信の一例である。

Ｓ５０３、Ｓ５０５で、ＰＣ１００ａは、プロジェクタ情報コマンドを受信しているので、プロジェクタリストを更新する。具体的には、セッション作成時に選択可能なプロジェクタとして、プロジェクタ２００ａ、プロジェクタ２００ｂの情報がそれぞれ表示される。

Ｓ５０６では、ユーザａは、ＧＵＩアプリのプロジェクタリストからプロジェクタ２００ａとプロジェクタ２００ｂを選択してセッションの作成を指示する。

Ｓ５０７、Ｓ５０８では、ＧＵＩアプリは、作成するセッションを構成するプロジェクタであるところの、プロジェクタ２００ａ、プロジェクタ２００ｂと自身（ＰＣ１００ａ）の論理的な接続を確立する。なお、ここで接続を確立したＰＣとセッション化済みのプロジェクタ間では画面転送処理が可能になる。なお、接続に際しては各プロジェクタに設定されたパスワード認証が必要となる構成をとってもよい。

そして、Ｓ５０９、Ｓ５１０では、ＰＣ１００ａは、接続を確立したプロジェクタ２００ａと、プロジェクタ２００ｂに対してセッション化要求コマンドをそれぞれ送信する。なお、セッション化要求コマンドには、セッションの名称、セッションを構成するプロジェクタ数および、セッションを構成するプロジェクタに関する情報が含まれており、Ｓ５０９とＳ５１０で送信したセッション化要求には、これらの同一の情報が格納されている。セッション化要求コマンドを受信したプロジェクタは自身をセッション化済の状態へと遷移させる。

そして、Ｓ５１１で、ＰＣ１００ａはセッション化したプロジェクタに対して投影制御を実施するための投射用ＧＵＩを表示する。

以上の処理によって、セッションの作成処理が完了する。つまり、プロジェクタ２００ａ、プロジェクタ２００ｂはそれぞれ、ＰＣ１００ａとの通信路が確立されている。また同一の情報を含むセッション化要求コマンドが各プロジェクタに送信されているので、プロジェクタ２００ａとプロジェクタ２００ｂは共通のセッション情報を保持している。

続いて、図４（ｂ）で示したような、ＰＣ１００ｂが、作成済みのセッション（ＰＣ１００ａが作成したプロジェクタ２００ａとプロジェクタ２００ｂで構成されるセッション）に参加するフローについて説明する。セッションの参加に成功すると図４（ｂ）に示したように、作成済みのセッションを構成するプロジェクタ２００ａ、プロジェクタ２００ｂと、新たにセッションに参加したＰＣ１００ｂとの間の通信路（４０４、４０５）が確立される。

以下、ユーザｂがＰＣ１００ｂを操作してプロジェクタ２００ａとプロジェクタ２００ｂで構成される作成済みのセッションに参加する通信シーケンスについて、図５を用いて説明する。

Ｓ５１２では、ユーザｂはＰＣ１００ｂ上のＧＵＩアプリを操作して、セッションへの参加を指示する。

Ｓ５１３では、ＧＵＩアプリは、参加可能なセッションを選択するためのセッションリストを表示する。なお、このセッションリストはネットワークを介してセッション化されたプロジェクタからブロードキャストされるセッション情報コマンドを元に構成される。

本実施形態においては、前述のセッション作成時のフローで説明したように、プロジェクタ２００ａとプロジェクタ２００ｂが同一セッションに属するプロジェクタとしてセッション化されている。したがって、各プロジェクタは、Ｓ５１４、Ｓ５１６でセッション情報コマンドをブロードキャストしている。ここでの送信処理は第１の送信手段による送信の一例である。なお、セッション情報コマンドは前述のＳ５０９、Ｓ５１０でセッションを作成するＰＣから送信されたセッション要求コマンドを元に構成されている。セッション情報コマンドは、セッションの名称、セッションを構成するプロジェクタ数および、セッションを構成するプロジェクタに関する情報などが含まれている。また、ここでは説明の簡単化のためにこのタイミングでセッション情報コマンドを送信するとしているが、セッション化された後のプロジェクタは、一定時間毎に、このようにセッション情報コマンドを配信している。

Ｓ５１５、Ｓ５１７では、ＰＣ１００ｂは、セッション情報コマンドを受信しているので、セッションリストを更新する。具体的には、参加可能なセッションとして、ユーザａが作成したセッションに関する情報（例えばセッション名）が表示される。なお、Ｓ５１４、Ｓ５１６でプロジェクタが送信するセッション情報コマンドに含まれるセッション及びセッションに属しているプロジェクタの情報は一致する。したがって、実際にはＳ５１７の時点ではセッションリストに表示するセッション一覧に変化は生じない。

Ｓ５１８では、ユーザｂはＧＵＩアプリのセッションリストから参加対象のセッション（ここでは、ＰＣ１００ａが作成したセッション）を選択してセッションへの参加を指示する。

Ｓ５１９、Ｓ５２０では、ＧＵＩアプリは参加対象のセッションを構成するプロジェクタであるところの、プロジェクタ２００ａ、プロジェクタ２００ｂと自身（ＰＣ１００ｂ）の論理的な接続を確立する。Ｓ５０７、Ｓ５０８で説明したように、接続を確立したＰＣとプロジェクタ間では画面転送処理が可能となる。ここでプロジェクタがＰＣから接続要求を受信する処理は第２の受信処理の一例である。

そして、Ｓ５２１で、ＰＣ１００ｂはセッション化したプロジェクタに対して投影制御を実施するための投射用ＧＵＩを表示する。

続いて、図４（ｃ）で示したような、ＰＣ１００ｂが、セッション構成を変更し、セッションからプロジェクタ２００ｂを削除するフローについて説明する。セッションからプロジェクタの削除に成功すると図４（ｃ）に示したように、以前セッションを構成していたプロジェクタ２００ｂからセッション情報が削除される。そしてセッションを構成する残りの１台のプロジェクタ２００ａのセッション情報は４０６のように変更される。さらにＰＣ１００ａとＰＣ１００ｂとプロジェクタ２００ｂとの通信路（４０７、４０８）が切断される。

以下、ユーザｂがＰＣ１００ｂを操作してプロジェクタ２００ａとプロジェクタ２００ｂで構成されるセッションから、プロジェクタ２００ｂを削除する通信シーケンスについて図５を用いて説明する。

Ｓ５２２では、ユーザｂはＰＣ１００ｂ上のＧＵＩアプリを操作して、当該セッションに属するプロジェクタの構成の変更を指示する。

Ｓ５２３では、ＧＵＩアプリは、自身が接続中のセッションに対して新たなプロジェクタを追加したり、セッションを構成するプロジェクタの削除を実施するためのプロジェクタリストを表示する。なお、このプロジェクタリストは、Ｓ５０１と同様にネットワークを介してセッション化前のプロジェクタからブロードキャストされるプロジェクタ情報コマンド及び、現在自身が接続を確立している各プロジェクタの情報から構成されている。

Ｓ５２４では、ユーザｂは、ＧＵＩアプリのプロジェクタリストから接続中のプロジェクタ２００ｂを削除対象として選択して、セッションからプロジェクタ２００ｂの削除を指示する。

Ｓ５２５、Ｓ５２６では、ＰＣ１００ｂのＧＵＩアプリは、セッションを構成するプロジェクタ２００ａ、２００ｂに対して、セッション情報変更要求コマンドをそれぞれ送信する。なお、セッション情報変更要求コマンドは、前述のＳ５０９、Ｓ５１０のセッション化要求と同様の構成を持っており、この場合は、セッションに属するプロジェクタ台数は１台とし、セッションに属するプロジェクタ情報は、プロジェクタ２００ａのみとする。

そして、Ｓ５２７でＰＣ１００ｂのＧＵＩアプリは、セッションから削除するとしたプロジェクタ２００ｂとの通信路を切断する。

Ｓ５２８、Ｓ５２９では、プロジェクタ２００ａはＳ５２５で受信したセッション情報変更要求コマンドによって、自身の保持するセッション情報が変更されたことを、自身に接続中のＰＣに対して通知する。ここの時点では、プロジェクタ２００ａに対して、ＰＣ１００ａ、ＰＣ１００ｂが接続中であるので、これらのＰＣに対してセッション情報変更通知コマンドを配信している。

そして、Ｓ５３０でも、プロジェクタ２００ｂが前述のプロジェクタ２００ａと同様に、Ｓ５２６で受信したセッション情報変更要求コマンドによって、自身の保持するセッション情報が変更されたことを、自身に接続中のＰＣに対して通知する。なおこの時点で、Ｓ５２７のＰＣ１００ｂからの切断要求によってＰＣ１００ｂとの通信路は切断されているため、セッション情報の変化通知の送信対象は、ここではＰＣ１００ａだけとなっている。しかしながら、セッション情報変化通知コマンドの発行処理は、セッション情報変更要求コマンドに応じて、別々プロジェクタで並列に実行されるため、必ずしもここで記述したシーケンスになるとは限らない。つまり、Ｓ５２７で示したＰＣ１００ｂの切断要求をプロジェクタ２００ｂが受信するより先に、セッション情報変化通知コマンドの発行処理を実施する場合も起こりえる。この場合には、セッション情報の変化通知先は、ＰＣ１００ａとＰＣ１００ｂとなる。

Ｓ５２９で、セッション情報変化通知コマンドを受信したＰＣ１００ａは、当該セッションから、プロジェクタ２００ｂが削除されたことを知る。そして、セッションの状態と自身が接続中のプロジェクタとが一致していないことを判断すると、ここで通知されたセッションの情報と一致するように接続、切断処理を実行する。ここでは、ＰＣ１００ｂによってプロジェクタ２００ｂがセッションから削除されているので、ＰＣ１００ａは、プロジェクタ２００ｂとの通信路を切断する（Ｓ５３１）。ここでプロジェクタ２００ｂと接続中のＰＣが無くなったので、プロジェクタ２００ｂは自身をセッション化前の状態とし、保持しているセッション情報をすべてクリアする。

なお、Ｓ５３０によっても同様のセッション情報の変化を知ることとなるが、ＰＣとしては、自身が接続中のプロジェクタと、セッション情報に含まれるプロジェクタとの、不一致を検知した場合のみ、接続、切断処理を実行する。つまり、Ｓ５３１の切断処理は、Ｓ５２９の通知がトリガになっており、Ｓ５３０のように同様の通知を受信したとしても、再度切断処理を実行する必要はない。

また、Ｓ５２８においてもＳ５３０と同様のことが言える。ＰＣ１００ｂがセッション情報変化通知を受信しても、既にプロジェクタ２００ｂとの通信路は切断しており、新たなセッション情報に含まれるプロジェクタ情報と、自身が接続中のプロジェクタとは既に一定している。つまり、再度プロジェクタ２００ｂとの切断処理を実行することはない。

以上の処理によって、セッションの変更処理としてプロジェクタ２００ｂをセッションから削除する処理が完了した。つまり、プロジェクタ２００ｂと、ＰＣ１００ａ、ＰＣ１００ｂとの間の通信路は切断され、プロジェクタ２００ｂがセッション化前の状態に戻っている。

なお、ここではセッションの変更処理としてプロジェクタを削除するシーケンスを例にとって説明した。この他にも、プロジェクタを追加する場合や、プロジェクタの追加、削除を同時に実施する場合に、セッション作成時に述べたシーケンスとここで述べたシーケンスの組み合わせで実現可能である。

＜画像送信について＞
ここで、本実施例の特徴的な構成について説明する。

本実施例の画像処理システムにおいては、各ＰＣ１００から各プロジェクタ２００に対して、前述した手順で確立された通信路を介して、プロジェクタ２００で投影する画像を送信し、各プロジェクタ２００において画像を表示する。プロジェクタ２００で表示される画像は、たとえば、各ＰＣ１００が表示部１０６に表示している表示画面の全領域に対応する画像である。あるいは、ＰＣ１００がウィンドウシステムを用いるオペレーションシステムを採用している場合は、特定のアプリケーションに対応するウィンドウ内の画像である。あるいは、ＰＣ１００で実行されている、画像を送信するための画面転送アプリケーションにより指定された領域の画像である。

本実施例のＰＣ１００は、ユーザにより選択された投影方式に対応して、画像の送信に用いる通信方式を切り替える。具体的には、第１の投影方式が選択された場合は、通信プロトコルとしてＴＣＰ／ＩＰを用いて、各プロジェクタに対してユニキャスト通信方式で画像を送信する。一方、第２の投影方式が選択された場合は、通信プロトコルとしてＵＤＰ／ＩＰを用いて、各プロジェクタに対してマルチキャスト通信方式で画像を送信する。なお、第１の投影方式は、ＰＣ１００から１台あるいは複数台のプロジェクタ２００に対して画像を送信する投影方式である。第２の投影方式は、ＰＣ１００から複数台のプロジェクタ２００に対して同じ画像を送信する投影方式である。なお、第２の投影方式において、１台のプロジェクタ２００に対して画像を送信することもできる。第２の投影方式は、ミラーモードあるいはマルチモードと呼ぶ。さらに、これ以外の投影方式を有していてもよい。

また、ＰＣ１００はさらに、通信方式の切り替えに対応して、プロジェクタ２００に送信する画像の構成を異ならせる。具体的には、第１の投影方式が選択され、ユニキャスト通信方式で画像を送信する場合は、ＰＣ１００は、プロジェクタ２００が表示する画像の全領域のうち、変化のあった領域を含む一部領域の画像とその一部領域の画像の位置を示す情報（座標）を送信する。プロジェクタ２００は、表示中の画像に対応する画像に、受信した一部領域の画像を受信した位置を示す情報に基づいて合成して、その画像を表示する。また、第２の投影方式が選択され、マルチキャスト通信方式で画像を送信する場合は、ＰＣ１００は、プロジェクタ２００が表示する画像の全領域の画像を、所定の間隔（３秒／４秒／５秒／任意）で送信する。プロジェクタ２００は、全領域の画像を受信すると、その画像を表示する。また、所定の間隔の間に、プロジェクタ２００が表示する画像に変化があった場合は、画像の全領域のうち、変化のあった領域を含む一部領域の画像とその一部領域の画像の位置を示す情報（座標）を送信する。プロジェクタ２００は、これらの情報を受信した場合は、表示中の画像に対応する画像に、受信した一部領域の画像を受信した位置を示す情報に基づいて合成して、その画像を表示する。

このように通信プロトコルとしてＵＤＰ／ＩＰを用いてマルチキャスト通信方式で画像を送信する場合は、定期的にプロジェクタ２００が表示する画像の全領域の画像を、送信している理由は以下のとおりである。ＵＤＰ／ＩＰの通信プロトコルは、送信元からのコマンドに対して受信側の応答が義務付けられていないため、ＰＣ１００は、画像を送信した場合に、プロジェクタ２００が正しく画像を受信できたか否かを判断することができない。つまり、変化のあった領域を含む一部領域の画像を送信する方式では、仮に、データパケットのロストが発生するプロジェクタ２００側では、画像を受信できていないため、ＰＣ１００側の表示画面と同じ表示をすることができなくなってしまう。そこで、本実施例の画像処理システムにおいて、ＰＣ１００は、第２の投影方式が選択され、ＵＤＰ／ＩＰのマルチキャスト通信方式で画像を送信する場合には、定期的にプロジェクタ２００の表示する画像の全領域を送信する。一方で、ＴＣＰ／ＩＰの通信プロトコルは、送信元からのコマンドに対して受信側の応答が義務付けられているため、ＰＣ１００は、画像を送信した場合に、プロジェクタ２００が正しく画像を受信できたか否かを判断することができる。そこで、本実施例の画像処理システムにおいて、ＰＣ１００は、第１の投影方式が選択され、ＴＣＰ／ＩＰのユニキャスト通信方式で画像を送信する場合には、定期的にプロジェクタ２００の表示する画像の全領域を送信しない。このように、本実施例の画像処理システムにおいては、通信方式に応じて、画像の送信形式を変更するので、違和感をユーザに与える可能性を低減することができる。

以下に、本実施例の画像処理システムにおいて、ＰＣ１００から送信された画像をプロジェクタ２００が表示する場合の動作について、具体的に説明する。

まず、第１の投影方式が選択された場合、すなわち、通信プロトコルとしてＴＣＰ／ＩＰを用いて、各プロジェクタに対してユニキャスト通信方式で画像を送信する場合の本実施例の画像処理システムの動作について説明する。図６は、ＰＣ１００、プロジェクタ２００の画像表示を行う際の動作を示すフロー図である。図６において、各フローは、ＰＣ１００のＣＰＵ１０１がＰＣ１００の各ブロックを制御することで実行される動作および、プロジェクタ２００のＣＰＵ２０１がプロジェクタ２００の各ブロックを制御することで実行される動作を示している。

（Ｓ６０１）
まず、ＰＣ１００のＣＰＵ１０１は、ＲＡＭ１０２に展開している画面転送用のアプリケーションに従いプロジェクタ２００に表示させる画像の「全領域の画像」をＲＡＭ１０２または、ＶＲＡＭ１０３から取得する。前述したようにプロジェクタ２００で表示する画像は、たとえば、各ＰＣ１００が表示部１０６に表示している表示画面の全領域に対応する画像である。あるいは、ＰＣ１００がウィンドウシステムを用いるオペレーションシステムを採用している場合は、特定のアプリケーションに対応するウィンドウ内の画像である。あるいは、ＰＣ１００で実行されている、画像を送信するための画面転送アプリケーションにより指定された領域の画像である。

（Ｓ６０２）
次に、ＰＣ１００のＣＰＵ１０１は、「全領域の画像」をプロジェクタ２００に送信するように、通信部１０９を制御する。通信部１０９は、ＣＰＵ１０９の制御の元、通信プロトコルとしてＴＣＰ／ＩＰを使用して、ネットワークを介して、プロジェクタ２００に「全領域の画像」を送信する。このとき、ＰＣ１００のＩＰアドレスを送信元アドレス、プロジェクタ２００のＩＰアドレスを送信先アドレス、として、「全領域の画像」をネットワーク上に送信する。なお、ＣＰＵ１０１は、取得した「全領域の画像」送信する前に、ＪＰＥＧ形式で圧縮してもよい。

（Ｓ６０３）
次に、ＣＰＵ１０１は、「全領域の画像」をプロジェクタ２００に送信してから所定時間経過するまでに、後述する「受信応答」を受信しない場合は（Ｓ６０３でＮｏ）、再度Ｓ６０２の処理を実行する。「受信応答」を受信した場合は（Ｓ６０３でＹｅｓ）、ＣＰＵ１０１は、処理をＳ６２１に移行する。

（Ｓ６１１）
一方、プロジェクタ２００においては、ＣＰＵ２０１は、ＰＣ１００から「全領域の画像」を受信するまでは、プロジェクタ２００の各ブロックを待機状態に制御している。そして、通信部２０９が「全領域の画像」を受信すると、ＣＰＵ２０１は、処理をＳ６１２に移行させる。

（Ｓ６１２）
通信部２０９が「全領域の画像」を受信すると、ＣＰＵ２０１は、ＰＣ１００から送信されたデータを受信したことを示す「受信応答」を、ネットワークを介して、ＰＣ１００に送信するように通信部２０９を制御する。このとき、プロジェクタ２００のＩＰアドレスを送信元アドレス、ＰＣ１００のＩＰアドレスを送信先アドレス、として、「受信応答」をネットワーク上に送信する。

（Ｓ６１３）
次に、ＣＰＵ２０１は、受信した「全領域の画像」の画像をＲＡＭ２０２に展開して、サイズ変換や画像処理等、必要な画像処理を施し、ＶＲＡＭ２０４に格納する。そして、ＣＰＵ２０１は、ＶＲＡＭ２０４に格納された画像を投影部２０７から投影するように投影制御部２０７を制御する。なお、受信した「全領域の画像」がＪＰＥＧ形式で圧縮された画像データであれば、ＣＰＵ２０１は、受信した画像データをデコードするようにデコーダ２０５を制御する。そして、得られた画像データをＲＡＭ２０２に展開してから、サイズ変換や画像処理等、必要な画像処理を施す。なお、このとき、ＣＰＵ２０１は、ＲＡＭ２０２上に、ＶＲＡＭ２０４に格納する前の画像を保持するように制御する。

このようにして、ＰＣ１００から送信された「全領域の画像」は、プロジェクタ２００により投影される。続いて、プロジェクタ２００に表示させる画像に変化があった場合の処理について説明する。

（Ｓ６２１）
次に、ＰＣ１００のＣＰＵ１０１は、プロジェクタ２００に表示させる画像に変化があったか否かを判定する。

（Ｓ６２２）
ＰＣ１００のＣＰＵ１０１は、プロジェクタ２００に表示させる画像に変化があったと判定した場合（Ｓ６２１でＹｅｓ）、変化のあった領域を含む一部領域（全領域より小さい領域）の画像を取得する。たとえば、プロジェクタ２００に表示させる画像の全領域を１２の領域に分割（縦３×横４）しているとすると、変化のあった領域の含まれる分割領域の画像を取得する。当然複数の分割領域の画像を取得する場合もある。なお、分割領域を１２分割として説明したが、これよりも多い領域に分割していてもよいし、少ない領域に分割してもよい。少なくとも、変化のあった領域を含む一部領域（全領域より小さい領域）の画像を取得すればよい。また、このとき、ＣＰＵ１０１は、取得した「一部領域の画像」の位置（座標）の情報も取得する。位置は、たとえば「全領域の画像」におけるいずれの位置であるかを特定することができればどのような形式の位置情報であってもよい。本実施例ではたとえば、取得した「一部領域の画像」の左上の座標を示す情報を取得するものとするが、「全領域の画像」との相対位置を示す情報であってもよい。

（Ｓ６２３）
次に、ＰＣ１００のＣＰＵ１０１は、「一部領域の画像」および、その位置を示す情報をプロジェクタ２００に送信するように、通信部１０９を制御する。通信部１０９は、ＣＰＵ１０９の制御の元、通信プロトコルとしてＴＣＰ／ＩＰを使用して、ネットワークを介して、プロジェクタ２００に「一部領域の画像」および、その位置を示す情報を送信する。このとき、ＰＣ１００のＩＰアドレスを送信元アドレス、プロジェクタ２００のＩＰアドレスを送信先アドレス、として、「一部領域の画像」および、その位置を示す情報をネットワーク上に送信する。なお、ＣＰＵ１０１は、取得した「一部領域の画像」送信する前に、ＪＰＥＧ形式で圧縮してもよい。

（Ｓ６２４）
次に、ＣＰＵ１０１は、「一部領域の画像」および、その位置を示す情報をプロジェクタ２００に送信してから所定時間経過するまでに、「受信応答」を受信しない場合は（Ｓ６２４でＮｏ）、再度Ｓ６２３の処理を実行する。「受信応答」を受信した場合は（Ｓ６２４でＹｅｓ）、ＣＰＵ１０１は、処理をＳ６４１に移行する。

（Ｓ６３１）
一方、プロジェクタ２００においては、ＣＰＵ２０１は、ＰＣ１００から「一部領域の画像」および、その位置を示す情報を受信するまでは、プロジェクタ２００の通信部２０９を待機状態に制御している。なお、ＣＰＵ１０１は、新たな画像を受信するまでの間、ＶＲＡＭ２０４に格納された画像を投影部２０６に投影させるように、投影制御部２０７を制御している。そして、通信部２０９が「一部領域の画像」および、その位置を示す情報を受信すると、ＣＰＵ２０１は、処理をＳ６３２に移行させる。

（Ｓ６３２）
通信部２０９が「一部領域の画像」および、その位置を示す情報を受信すると、ＣＰＵ２０１は、ＰＣ１００から送信されたデータを受信したことを示す「受信応答」を、ネットワークを介して、ＰＣ１００に送信するように通信部２０９を制御する。このとき、プロジェクタ２００のＩＰアドレスを送信元アドレス、ＰＣ１００のＩＰアドレスを送信先アドレス、として、「受信応答」をネットワーク上に送信する。

（Ｓ６３３）
次に、ＣＰＵ２０１は、受信した「一部領域の画像」をＲＡＭ２０２に展開する。そして、サイズ変換や画像処理等、必要な画像処理を施し、ＲＡＭ２０２に記憶されている現在の投影画像に対応する画像（ＶＲＡＭ２０４に記憶されている画像と同等の画像）に合成する処理を行う。具体的には、「一部領域の画像」とともに受信した「一部領域の画像」の位置を示す情報に基づいて、「一部領域の画像」をＲＡＭ２０２に記憶されている現在の投影画像に対応する画像に対して合成する。すなわち、プロジェクタ２００のＣＰＵ２０１は、ＰＣ１００から受信した「一部領域の画像」をＲＡＭ２０２に記憶していた画像と合成することで、ＰＣ１００側で変化のあった位置の画像を更新した画像を生成することができる。次に、ＣＰＵ２０１は、合成画像をＶＲＡＭ２０４に格納し、ＶＲＡＭ２０４に格納された画像を投影部２０７から投影するように投影制御部２０７を制御する。なお、受信した「一部領域の画像」がＪＰＥＧ形式で圧縮された画像データであれば、ＣＰＵ２０１は、受信した画像データをデコードするようにデコーダ２０５を制御し、得られた画像データをＲＡＭ２０２に展開してから、サイズ変換や画像処理等、必要な画像処理を施す。なお、ＣＰＵ２０１は、ＲＡＭ２０２上に、ＶＲＡＭ２０４に格納する前の画像を保持するように制御する。

このようにして、ＰＣ１００から送信された「一部領域の画像」とその位置を示す情報に基づいて、プロジェクタ２００から投影される画像は、変化のあった位置の画像が更新された画像となる。この動作を終了指示があるまで繰り返すことで、ＰＣ１００側で変化のあった画像を、プロジェクタ２００側で更新し手表示をすることできるのである。次に投影を終了するまでの手順について説明する。

（Ｓ６４１）
次に、ＰＣ１００のＣＰＵ１０１は、操作部１０８を介して、投影終了の指示が入力されたか否かを判定する。終了の指示が入力されていない場合には、処理をＳ６２１に戻す。

（Ｓ６４２）
ＰＣ１００のＣＰＵ１０１は、投影終了の指示が入力されると、「終了指示」をプロジェクタ２００に送信するように、通信部１０９を制御する。通信部１０９は、ＣＰＵ１０９の制御の元、通信プロトコルとしてＴＣＰ／ＩＰを使用して、ネットワークを介して、プロジェクタ２００に「終了指示」を送信する。このとき、ＰＣ１００のＩＰアドレスを送信元アドレス、プロジェクタ２００のＩＰアドレスを送信先アドレス、として、「終了指示」をネットワーク上に送信する。

（Ｓ６４３）
次に、ＣＰＵ１０１は、「終了指示」をプロジェクタ２００に送信してから所定時間経過するまでに、「受信応答」を受信しない場合は（Ｓ６４３でＮｏ）、再度Ｓ６４２の処理を実行する。「受信応答」を受信した場合は（Ｓ６４３でＹｅｓ）、ＣＰＵ１０１は、本処理を終了させる。

（Ｓ６５１）
一方、プロジェクタ２００においては、ＣＰＵ２０１は、ＰＣ１００から「終了指示」を受信すると、処理をＳ６５１に移行させる。

（Ｓ６５２）
通信部２０９が「終了指示」を受信すると、ＣＰＵ２０１は、ＰＣ１００から送信されたデータを受信したことを示す「受信応答」を、ネットワークを介して、ＰＣ１００に送信するように通信部２０９を制御する。このとき、プロジェクタ２００のＩＰアドレスを送信元アドレス、ＰＣ１００のＩＰアドレスを送信先アドレス、として、「受信応答」をネットワーク上に送信する。

（Ｓ６５３）
次に、ＣＰＵ２０１は、投影を終了するように投影制御部２０７を制御し、プロジェクタ２００の各ブロックを待機状態に移行させる。

以上のように、通信プロトコルとしてＴＣＰ／ＩＰを用いて、ＰＣ１００は、各プロジェクタに対してユニキャスト通信方式で画像を送信する場合は、定期的に全領域の画像を送信せずに、一部領域の画像を送信する。

次に、第２の投影方式が選択された場合、すなわち、通信プロトコルとしてＵＤＰ／ＩＰを用いて、各プロジェクタに対してマルチキャスト通信方式で画像を送信する場合の本実施例の画像処理システムの動作について説明する。図７は、ＰＣ１００、プロジェクタ２００の画像表示を行う際の動作を示すフロー図である。図７において、各フローは、ＰＣ１００のＣＰＵ１０１がＰＣ１００の各ブロックを制御することで実行される動作および、プロジェクタ２００のＣＰＵ２０１がプロジェクタ２００の各ブロックを制御することで実行される動作を示している。

第２の投影方式が選択された場合、すなわち、通信プロトコルとしてＵＤＰ／ＩＰを用いて、各プロジェクタに対してマルチキャスト通信方式で画像を送信する場合。通信を開始する前に、ＰＣ１００により選択された使用するプロジェクタ２００に対して、「共通アドレス」が設定される。「共通アドレス」とは、マルチキャスト通信方式で、そのアドレスを送信先としてデータを送信することで、「共通アドレス」の設定されたすべての機器にそのデータを受信するためのものである。なお、「共通アドレス」は、ユーザの手動入力により設定されてもよいし、あらかじめ定められた所定のアドレスであってもよい。「共通アドレス」とは、たとえば「ＩＰマルチキャストグループアドレス」である。

（Ｓ７０１）
まず、ＰＣ１００のＣＰＵ１０１は、ＲＡＭ１０２に展開している画面転送用のアプリケーションに従いプロジェクタ２００に表示させる画像の「全領域の画像」をＲＡＭ１０２または、ＶＲＡＭ１０３から取得する。前述したようにプロジェクタ２００で表示する画像は、たとえば、各ＰＣ１００が表示部１０６に表示している表示画面の全領域に対応する画像である。あるいは、ＰＣ１００がウィンドウシステムを用いるオペレーションシステムを採用している場合は、特定のアプリケーションに対応するウィンドウ内の画像である。あるいは、ＰＣ１００で実行されている、画像を送信するための画面転送アプリケーションにより指定された領域の画像である。

（Ｓ７０２）
次に、ＰＣ１００のＣＰＵ１０１は、「全領域の画像」をプロジェクタ２００に送信するように、通信部１０９を制御する。通信部１０９は、ＣＰＵ１０９の制御の元、通信プロトコルとしてＵＤＰ／ＩＰを使用して、ネットワークを介して、プロジェクタ２００に「全領域の画像」を送信する。このとき、ＰＣ１００のＩＰアドレスを送信元アドレス、所定の「共通アドレス」を送信先アドレス、として、「全領域の画像」をネットワーク上に送信する。なお、ＣＰＵ１０１は、取得した「全領域の画像」送信する前に、ＪＰＥＧ形式で圧縮してもよい。なお、「共通アドレス」に対してデータの送信を行うため、プロジェクタ２００の他に、今回使用されている「共通アドレス」が指定されているプロジェクタも、「全領域の画像」を受信することができる。ＣＰＵ１０１は、プロジェクタ２００からの「受信応答」を待たずに、次の処理に移る。

（Ｓ７０３）
次に、ＰＣ１００のＣＰＵ１０１は、「全領域の画像」を送信してから所定時間経過したか否かを判定する。ここで、所定時間は、あらかじめ設定された固定時間（たとえば３秒）であってもよいし、ユーザにより任意に設定された時間であってもよい。所定時間が経過していると判定した場合（Ｓ７０３でＹｅｓ）、処理をＳ７０１に戻し、所定時間が経過していると判定しない場合、処理をＳ７２１に移行させる。

（Ｓ７２１）
次に、ＰＣ１００のＣＰＵ１０１は、プロジェクタ２００に表示させる画像に変化があったか否かを判定する。変化がない場合は（Ｓ７２１でＮｏ）、処理をＳ７０３に移行させ、変化がある場合は（Ｓ７２１でＮｏ）、処理をＳ７２２に移行させる。

（Ｓ７２２）
ＰＣ１００のＣＰＵ１０１は、プロジェクタ２００に表示させる画像に変化があったと判定した場合（Ｓ７２１でＹｅｓ）、変化のあった領域を含む一部領域（全領域より小さい領域）の画像を取得する。たとえば、プロジェクタ２００に表示させる画像の全領域を１２の領域に分割（縦３×横４）しているとすると、変化のあった領域の含まれる分割領域の画像を取得する。当然複数の分割領域の画像を取得する場合もある。なお、分割領域を１２分割として説明したが、これよりも多い領域に分割していてもよいし、少ない領域に分割してもよい。少なくとも、変化のあった領域を含む一部領域（全領域より小さい領域）の画像を取得すればよい。また、このとき、ＣＰＵ１０１は、取得した「一部領域の画像」の位置（座標）の情報も取得する。位置は、たとえば「全領域の画像」におけるいずれの位置であるかを特定することができればどのような形式の位置情報であってもよい。本実施例ではたとえば、取得した「一部領域の画像」の左上の座標を示す情報を取得するものとするが、「全領域の画像」との相対位置を示す情報であってもよい。

（Ｓ７２３）
次に、ＰＣ１００のＣＰＵ１０１は、「一部領域の画像」および、その位置を示す情報をプロジェクタ２００に送信するように、通信部１０９を制御する。通信部１０９は、ＣＰＵ１０９の制御の元、通信プロトコルとしてＵＤＰ／ＩＰを使用して、ネットワークを介して、プロジェクタ２００に「一部領域の画像」および、その位置を示す情報を送信する。このとき、ＰＣ１００のＩＰアドレスを送信元アドレス、所定の「共通アドレス」を送信先アドレス、として、「一部領域の画像」および、その位置を示す情報をネットワーク上に送信する。なお、ＣＰＵ１０１は、取得した「一部領域の画像」送信する前に、ＪＰＥＧ形式で圧縮してもよい。なお、「共通アドレス」に対してデータの送信を行うため、プロジェクタ２００の他に、今回使用されている「共通アドレス」が指定されているプロジェクタも、「全領域の画像」を受信することができる。ＣＰＵ１０１は、プロジェクタ２００からの「受信応答」を待たずに、次の処理に移る。

（Ｓ７３１）
一方、プロジェクタ２００においては、ＣＰＵ２０１は、ＰＣ１００から画像を受信したか否かを判定する。受信する画像は、Ｓ７０２で、ＰＣ１００から「共通アドレス」に送信された「全領域の画像」または、Ｓ７２３で、ＰＣ１００から送信された「共通アドレス」に送信された「一部領域の画像」である。なお、ＣＰＵ１０１は、新たな画像を受信するまでの間、ＶＲＡＭ２０４に格納された画像を投影部２０６に投影させるように、投影制御部２０７を制御している。

（Ｓ７３２）
次に、ＣＰＵ２０１は、ＰＣ１００から画像を受信したと判定すると（Ｓ７３１でＹｅｓ）、受信した画像に対応する画像を投影部２０６から投影するように投影制御部２０７を制御する。「全領域の画像」を受信した場合は、ＣＰＵ２０１は、受信した「全領域の画像」の画像をＲＡＭ２０２に展開して、サイズ変換や画像処理等、必要な画像処理を施し、ＶＲＡＭ２０４に格納する。そして、ＣＰＵ２０１は、ＶＲＡＭ２０４に格納された画像を投影部２０７から投影するように投影制御部２０７を制御する。なお、受信した「全領域の画像」がＪＰＥＧ形式で圧縮された画像データであれば、ＣＰＵ２０１は、受信した画像データをデコードするようにデコーダ２０５を制御し、得られた画像データをＲＡＭ２０２に展開する。そして、サイズ変換や画像処理等、必要な画像処理を施す。なお、このとき、ＣＰＵ２０１は、ＲＡＭ２０２上に、ＶＲＡＭ２０４に格納する前の画像を保持するように制御する。「一部領域の画像」を受信した場合は、ＣＰＵ２０１は、受信した「一部領域の画像」をＲＡＭ２０２に展開する。そして、サイズ変換や画像処理等、必要な画像処理を施し、ＲＡＭ２０２に記憶されている現在の投影画像に対応する画像（ＶＲＡＭ２０４に記憶されている画像と同等の画像）に合成する処理を行う。具体的には、「一部領域の画像」とともに受信した「一部領域の画像」の位置を示す情報に基づいて、「一部領域の画像」をＲＡＭ２０２に記憶されている現在の投影画像に対応する画像に対して合成する。すなわち、プロジェクタ２００のＣＰＵ２０１は、ＰＣ１００から受信した「一部領域の画像」をＲＡＭ２０２に記憶していた画像と合成することで、ＰＣ１００側で変化のあった位置の画像を更新した画像を生成することができる。次に、ＣＰＵ２０１は、合成画像をＶＲＡＭ２０４に格納し、ＶＲＡＭ２０４に格納された画像を投影部２０７から投影するように投影制御部２０７を制御する。なお、受信した「一部領域の画像」がＪＰＥＧ形式で圧縮された画像データであれば、ＣＰＵ２０１は、受信した画像データをデコードするようにデコーダ２０５を制御し、得られた画像データをＲＡＭ２０２に展開してから、サイズ変換や画像処理等、必要な画像処理を施す。なお、ＣＰＵ２０１は、ＲＡＭ２０２上に、ＶＲＡＭ２０４に格納する前の画像を保持するように制御する。

このようにして、本実施例の画像処理システムは、ＰＣ１００から送信された「全領域の画像」または「一部領域の画像」に基づいて、画像を投影することができる。

なお、投影終了の動作は、前述のＳ６４１からＳ６５３の処理と同様であるため、図７において、同じ符番を付し説明を省略する。

以上のように、通信プロトコルとしてＵＤＰ／ＩＰを用いて、ＰＣ１００は、各プロジェクタに対してマルチキャスト通信方式で画像を送信する場合は、定期的に全領域の画像を送信する。そして、定期的な間隔で全領域の画像を送信しながら、その間、各プロジェクタで表示するべき画像に変化があった場合は、変化のあった領域を含む一部領域の画像を送信する。

以上説明してきたように、本実施例の画像処理システムでは、ＰＣ１００からの画像送信に用いられる通信プロトコルに応じて、ＰＣ１００では、定期的に「全領域の画像」を取得して送信するかしないかを切り替えている。すなわち、ＴＣＰ／ＩＰのように、受信側の応答が義務付けられている通信プロトコルにおいては、定期的に「全領域の画像」を送信せずに、変化のあった領域を含む「一部領域の画像」を送信する。言い換えれば、ＴＣＰ／ＩＰのように、データ転送の信頼性、順序性、データ完全性を保証する通信プロトコルにおいては、定期的に「全領域の画像」を送信せずに、変化のあった領域を含む「一部領域の画像」を送信する。一方、ＵＤＰ／ＩＰのように、送信側の応答が、義務付けられていない通信プロトコルにおいては、定期的に「全領域の画像」を送信し、その間、変化のあった領域を含む「一部領域の画像」を送信する。言い換えれば、ＵＤＰ／ＩＰのマルチキャスト通信のように、データ転送の信頼性、順序性、データ完全性を保証されていないために、データ抜けやデータ化が発生しても復帰できるように定期的に「全領域の画像」を送信する。このようにすることで、通信プロトコルに応じて、通信帯域を有効活用するとともに、本画像処理システムにおいて、ユーザに違和感を与える可能性を低減することができる。

なお、本実施例において、投影方式に応じて、通信方式が決定されるものとして説明した。言い換えれば、投影方式に応じて、「全領域の画面」を定期的に送信するかしないかを切り替えている。また、投影方式ではなく、通信方式をユーザがＰＣ１００を操作することで選択することができるようにしてもよい。

また、本実施例では、通信方式や投影方式を事前に選択するものとして説明したが、画像を表示するプロジェクタの台数に応じて、通信方式を切り替えるようにしてもよい。たとえば、複数台のプロジェクタで画像を表示する場合（すなわち画像送信先のプロジェクタの台数が複数の場合）には、通信プロトコルとしてＵＤＰ／ＩＰを用いて、ＰＣ１００は、各プロジェクタに対してマルチキャスト通信方式で画像を送信する。一方、１台のプロジェクタで画像を投影する場合（すなわち画像送信先のプロジェクタの台数が１台の場合）には、通信プロトコルとしてＴＣＰ／ＩＰを用いて、ＰＣ１００は、各プロジェクタに対してユニキャスト通信方式で画像を送信する。いうまでもなく、本実施例と同様に、マルチキャスト通信方式の場合は、定期的に「全領域の画像」を送信し、ユニキャスト通信方式の場合は、定期的に「全領域の画像」を送信せずに、「一部領域の画像」を送信する。なお、ＰＣ１００と同じローカルネットワークのプロジェクタであるか否かを判定するには、各プロジェクタのネットワークアドレスがＰＣ１００のサブネットマスクと同一であるかどうかを判定すればよい。

また、通信方式や投影方式を事前に選択するものとして説明したが、送信先であるプロジェクタが送信元であるＰＣ１００と同じローカルネットワークであるかに応じて、通信方式を切り替えるようにしてもよい。この場合、同じローカルネットワーク内のプロジェクタに画像を送信する場合には、通信プロトコルとしてＵＤＰ／ＩＰを用いて、ＰＣ１００は、各プロジェクタに対してマルチキャスト通信方式で画像を送信する。一方、同じローカルネット内のプロジェクタではないプロジェクタに画像を送信する場合には、通信プロトコルとしてＴＣＰ／ＩＰを用いて、ＰＣ１００は、各プロジェクタに対してユニキャスト通信方式で画像を送信する。いうまでもなく、本実施例と同様に、マルチキャスト通信方式の場合は、定期的に「全領域の画像」を送信し、ユニキャスト通信方式の場合は、定期的に「全領域の画像」を送信せずに、「一部領域の画像」を送信する。なお、ＰＣ１００と同じローカルネットワークのプロジェクタであるか否かを判定するには、各プロジェクタのサブネットマスクがＰＣ１００のサブネットマスクと同一であるかどうかを判定すればよい。

また、上述した第１の投影方式、第２の投影方式とは別の第３の投影方式を有していてもよい。第３の投影方式では、通信プロトコルとしてＴＣＰ／ＩＰを用いて、ＰＣ１００は、各プロジェクタに対してユニキャスト通信方式で画像を送信するが、定期的に「全領域の画像」を取得して送信するものとする。すなわち、ユニキャスト方式においても、定期的に「全領域の画像」を取得して送信する別のモードをも有していてもよい。そして、本実施例の第２および／または第３の投影方式のように、定期的に「全領域の画像」を送信する場合には、投影するプロジェクタの台数が多くなるほど、「全領域の画像」を送信する間隔を短くしてもよい。逆に、投影するプロジェクタの台数が少なくなるほど「全領域の画像」を送信する間隔を長くしてもよい。すなわち、本実施例の画像処理システムは、「全領域の画像」を送信する間隔が、所定の間隔よりも長いモードと、所定の間隔よりも短いモードを有していてもよい。また、例外処理として、定期的に「全領域の画像」を送信するが、その間に、プロジェクタが表示する画像の所定数以上の分割領域（たとえば１２領域中１０領域以上）において、画像に変化があった場合、次の「全領域の画像」の取得、および送信を行わないようにしてもよい。これは、変化した領域を転送している際に、ほぼ「全領域の画像」に近い画像を送信しているため、「全領域の画像」を送信する必要がないからである。

また、定期的に「全領域の画像」を送信するモードにおいて、画像をたとえばＪＰＥＧ方式等で圧縮して送信する場合、以下のような処理を行ってもよい。「全領域の画像」をおよび、「一部領域の画像」を送信する際に、ＣＰＵ１０１は、送信する画像をＪＰＥＧ方式で圧縮する。このとき、ＪＰＥＧ方式の画像圧縮においては、公知のように量子化係数Ｑを設定する。本実施例の画像処理システムにおいては、第１の「全領域の画像」を送信してから次の「全領域の画像」を送信するまでの間、量子化係数Ｑの変更を禁止する。すなわち、「一部領域の画像」をＪＰＥＧ方式で圧縮する際には、その直前の「全領域の画像」を送信したときの量子化係数Ｑと同一の量子化係数Ｑを用いて、ＪＰＥＧ方式の圧縮における量子化を行う。一方で、次の「全領域の画像」をＪＰＥＧ方式で圧縮する際には、第１の「全領域の画像」とは異なる量子化係数Ｑを用いて、ＪＰＥＧ方式の圧縮における量子化を行う。このようにすることで、画像データのデータ量を適正にするとともに、異なる量子化係数Ｑを用いて量子化された画像同士が、合成されて表示されないようにすることができ、ユーザに与える違和感を低減することができる。また、ＪＰＥＧ方式の圧縮を行う前に、画像の補正をする場合も、同様に第１の「全領域の画像」を送信してから次の「全領域の画像」を送信するまでの間、補正のパラメータの変更を禁止してもよい。たとえば、画像の高周波成分を低減するローパスフィルタの強度やカットオフ周波数の変更を、第１の「全領域の画像」を送信してから次の「全領域の画像」を送信するまでの間、禁止してもよい。また、ＰＣ１００の表示部１０６に表示されている画像が、各色１０ｂｉｔ階調の画像である場合は、ＪＰＥＧ圧縮を行う前に、８ｂｉｔ階調の画像に変換（階調変換／トーンマッピング）する必要がある。そのため、この階調変換／トーンマッピングの方式の変更を第１の「全領域の画像」を送信してから次の「全領域の画像」を送信するまでの間、禁止してもよい。

本実施例では、ＰＣとプロジェクタとからなる画像処理システムについて説明したが、本発明は、画像送信側の装置としてＰＣ、画像表示側の装置としてプロジェクタに限定されるものではない。たとえば画像送信側の装置として、たとえば、携帯電話、タブレット型コンピュータ、ハードディスクレコーダ、デジタルカメラなどであってもよい。また、画像表示側の装置として、ディスプレイ、テレビ、携帯電話、タブレット型コンピュータなどであってもよい。

＜他の実施形態＞
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims

外部表示装置と通信可能な画像処理装置であって、
前記外部表示装置への画像の送信を制御する送信制御手段と、
前記画像処理装置に接続された表示デバイスへの表示を制御する表示制御手段と、前記表示デバイスに表示される表示対象の画像の変化を検知する検知手段とを有し、前記検知手段により前記表示対象の画像の変化が検知された場合、前記送信制御手段は前記表示対象の画像の全体領域ではなく、前記表示対象の画像の変化した領域を含む部分領域を送信するよう制御し、
前記外部表示装置への画像の送信方式が、前記画像の送信への受信応答のない第１の送信方式である場合、前記送信制御手段は前記部分領域の送信に加え、所定の間隔で前記全体領域を送信することを特徴とする画像処理装置。
前記外部表示装置への画像の送信方式が、前記画像の送信に対する受信応答がある第２の送信方式である場合、前記送信制御手段は前記部分領域を送信し、前記表示対象の画像の全体領域を定期的に送信しないことを特徴とする請求項１に記載の画像処理装置。
外部表示装置と通信可能な画像処理装置であって、
前記画像処理装置に接続された表示デバイスへの表示を制御する表示制御手段と、前記表示デバイスに表示される表示対象の画像の変化を検知する検知手段と、
前記検知手段により、前記表示対象の画像の変化が検知された場合、前記表示対象の画像のうち、全体領域ではなく、変化した領域を含む部分領域を送信するよう制御する送信制御手段とを有し、
前記外部表示装置への画像の送信方式が第１の送信方式である場合、前記送信制御手段は前記部分領域を送信し、前記全体領域を定期的に送信するよう制御し、
前記外部表示装置への画像の送信方式が第２の送信方式である場合、前記送信制御手段は前記部分領域を送信するよう制御し、前記全体領域を定期的に送信しないことを特徴とする画像処理装置。
前記第１の送信方式は前記画像の送信への受信応答のない送信方式であり、前記第２の送信方式は前記画像の送信への受信応答がある送信方式であることを特徴とする請求項３に記載の画像処理装置。
前記第１の送信方式はマルチキャストであり、前記第２の送信方式はユニキャストである請求項２乃至４のいずれか１項に記載の画像処理装置。
前記第１の送信方式はＵＤＰ／ＩＰを用いた通信であり、前記第２の送信方式はＴＣＰ／ＩＰを用いた通信であることを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
前記第２の送信方式は、１台の外部表示装置と通信するモードで用いられることを特徴とする請求項２乃至６のいずれか１項に記載の画像処理装置。
前記第２の送信方式は、外部表示装置毎に異なる画像を送信可能とし、前記第１の送信方式は、複数の外部表示装置に同じ画像を送信することを可能とする請求項２乃至６のいずれか１項に記載の通信装置。
前記第２の送信方式で送信する場合に、前記画像の送信先として外部表示装置のアドレスを指定する指定手段をさらに有することを特徴とする請求項２乃至８のいずれか１項に記載の画像処理装置。
前記第１の送信方式で送信する場合、前記指定手段は前記画像の送信先として外部表示装置のアドレスとは異なる他のアドレスを指定することを特徴とする請求項９に記載の画像処理装置。
前記外部表示装置への画像の送信方式は、前記外部表示装置の出力設定に基づき決定されることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
前記画像処理装置は携帯電話であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
前記画像処理装置はタブレット型コンピュータであることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
前記画像処理装置は撮像装置であることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
前記外部表示装置はプロジェクタであることを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
外部表示装置と通信可能な画像処理装置の制御方法であって、
前記画像処理装置に接続された表示デバイスに表示される表示対象の画像の変化を検知し、
前記表示対象の画像の変化が検知された場合、前記表示対象の画像の全体領域ではなく、前記表示対象の画像の変化した領域を含む部分領域を送信し、
前記外部表示装置への画像の送信方式が、前記画像の送信への受信応答のない第１の送信方式である場合、前記部分領域の送信に加え、所定の間隔で前記全体領域を送信することを特徴とする画像処理装置の制御方法。
外部表示装置と通信可能な画像処理装置の制御方法であって、
前記画像処理装置に接続された表示デバイスに表示される表示対象の画像の変化を検知し、
前記表示対象の画像の変化が検知された場合、前記表示対象の画像のうち、全体領域ではなく、変化した領域を含む部分領域を送信し、
前記外部表示装置への画像の送信方式が第１の送信方式である場合、前記部分領域を送信し、前記全体領域を定期的に送信し、
前記外部表示装置への画像の送信方式が第２の送信方式である場合、前記部分領域を送信し、前記全体領域を定期的に送信しないことを特徴とする画像処理装置の制御方法。
コンピュータを、請求項１乃至１５のいずれか１項に記載の画像処理装置の各手段として機能させるコンピュータが実行可能なプログラム。
コンピュータを、請求項１乃至１５のいずれか１項に記載の画像処理装置の各手段として機能させるプログラムを記録したコンピュータが読み取り可能な記録媒体。