JP5004680B2 - 画像処理装置、画像処理方法、テレビ会議システム、テレビ会議方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、テレビ会議等を行うため等に用いられる画像処理装置、画像処理方法、テレビ会議システム、テレビ会議方法、プログラムおよび記録媒体に関するものである。

従来よりテレビ会議システムが開発されており、そのテレビ会議システムを用いることにより、遠隔の２以上の会議室の間で映像・音声の送受信を行うことができ、その２以上の会議室にいる人たちで会議を行うことができていた。
一方、従来の画像処理の技術として、背景画像の用意されていない動画像において、動領域の切れ目のない閉輪郭を生成し、この閉輪郭を用いて動領域と背景領域とを分離する技術が開発されている（例えば、特許文献１参照）。
特開平１１−３５３４８６号公報（第１頁、第１図等）

しかしながら、従来のテレビ会議システムにおいては、第一の会議室における会議の様子を撮影するカメラの設置場所や向き等によっては、カメラが、第一の会議室内の参加者等だけでなく、撮影領域内に配置されたディスプレイ等に表示されている第二の会議室の状態を撮影した画像や、資料の画像等を撮影してしまう場合がある。このように一旦ディスプレイ等に表示された画像を再度撮影して得られた画像は、通常、画質が悪く、内容が把握しにくい。従って、このような画像が、第二の会議室で表示されると、目障りであるとともに、この画像内のディスプレイ内に表示されている画像等に、第二の会議室における会議の参加者の注意が移ってしまい、会議に集中できず、効率の良い会議が実現できない恐れがあるという問題があった。

特に、第一の会議室において撮影された画像に、第二の会議室の様子を表示しているディスプレイ等を含む画像が含まれている場合、この第一の会議室において撮影された画像が、遠隔地の第二の会議室に送信されてディスプレイ等に表示されると、第二の会議室のディスプレイ等には、本来は表示が不要な第二の会議室内で撮影された画像等がフィードバックされて表示されることとなる。この結果、第二の会議室内においては、第一の会議室の様子と第二の会議室の様子とが同じ画面に表示されてしまい、表示される画像全体が混雑したものとなり、会議に集中てきなくなってしまうという問題があった。
具体的には、第二の会議室で参加者の一人が発言している様子が、第二の会議室のディスプレイ等にも表示される結果、第二の会議室では、現在、どこで、誰が発言しているかを、瞬時に判断しにくくなり、参加者が状況の把握ができずに混乱してしまい、会議に集中できなくなってしまうという問題があった。
本発明は上記の問題を解決するためになされたもので、各会議室で撮影された画像が互いにフィードバックされて、各会議室内のディスプレイ等に表示されることを防ぐようにすることを課題とする。

本発明の画像処理装置は、第一の画像を示す情報である第一画像情報が記憶される画像情報記憶部と、前記第一画像情報を用いて前記第一の画像を表示する表示部と、前記表示部が表示する第一の画像を含む領域を撮影した画像である第二の画像を受け付ける画像受付部と、前記画像情報記憶部に記憶されている前記第一画像情報を用いて、前記画像受付部が受け付けた第二の画像から、当該第二の画像に含まれる前記第一の画像を除去した画像である差分画像を示す情報である差分画像情報を構成する差分画像情報構成部と、前記差分画像情報構成部が構成した差分画像情報を出力する出力部とを具備する画像処理装置である。
かかる構成により、撮影した画像から、撮影領域内で表示されていた画像を削除した画像を構成して出力することができる。例えば、この画像処理装置をテレビ会議等に用いることにより、会議の画像から、会議の妨げになる画像を除去することができ、効率の良い会議を実現することができる。

また、本発明の画像処理装置は、前記画像処理装置において、前記差分画像情報構成部は、前記第二の画像内における前記表示部が前記第一の画像を表示する領域上の画像を、前記画像情報記憶部に記憶されている前記第一画像情報が示す第一の画像と比較して、前記第一の画像に一致する画像を有する領域を決定し、前記第二の画像から当該決定した領域内の画像を除去した差分画像を示す差分画像情報を構成する画像処理装置である。
かかる構成により、撮影した画像から、撮影領域内で表示されていた画像を削除した画像を構成して出力することができる。

また、本発明の画像処理装置は、前記画像処理装置において、前記差分画像情報構成部は、前記第一の画像または前記第二の画像内における前記表示部が前記第一の画像を表示する領域上の画像の少なくとも一方の、画素数を変換して前記比較を行う画像処理装置である。
かかる構成により、画像間の画素の比較を精度良く行うことができるため、撮影した画像から、撮影領域内に表示されていた画像を精度よく削除することができる。

また、本発明の画像処理装置は、前記画像処理装置において、前記差分画像情報構成部は、前記第一の画像または前記第二の画像内における前記表示部が前記第一の画像を表示する領域上の画像の少なくとも一方の、色を変換して前記比較を行う画像処理装置である。
かかる構成により、画像間の画素の比較を精度良く行うことができるため、撮影した画像から、撮影領域内に表示されていた画像を、精度よく削除することができる。

また、本発明のテレビ会議システムは、第一画像処理装置と、第二画像処理装置とを具備するテレピ会議システムであって、前記第一画像処理装置は、前記第二画像処理装置が出力する第一の画像を示す情報である第一画像情報を受信する第一受信部と、前記第一受信部が受信した第一画像情報が記憶される第一画像情報記憶部と、前記第一画像情報を用いて、前記第一の画像を表示する第一表示部と、前記第一表示部が表示する第一の画像を含む領域を撮影した画像である第二の画像を受け付ける第一画像受付部と、前記第一画像情報記憶部に記憶されている前記第一画像情報を用いて、前記第一画像受付部が受け付けた第二の画像から、当該第二の画像に含まれる前記第一の画像を除去した画像である差分画像を示す情報である差分画像情報を構成する第一差分画像情報構成部と、前記第一差分画像情報構成部が構成した差分画像情報を出力する第一出力部とを具備し、前記第二画像処理装置は、第二画像処理装置が出力する前記差分画像情報を受信する第二受信部と、前記第二受信部が受信した差分画像情報が記憶される第二画像情報記憶部と、前記差分画像情報を用いて、前記差分画像を表示する第二表示部と、前記第二表示部が表示する差分画像を含む領域を撮影した画像である第三の画像を受け付ける第二画像受付部と、前記第二画像情報記憶部に記憶されている前記差分画像情報を用いて、前記第二画像受付部が受け付けた第三の画像から、当該第三の画像に含まれる前記差分画像を除去した画像である前記第一の画像を示す情報である第一画像情報を構成する第二差分画像情報構成部と、前記第二差分画像情報構成部が構成した第一画像情報を出力する第二出力部とを具備するテレビ会議システムである。
かかる構成により、会議の状況等を撮影した画像からこの撮影領域内で表示されていた画像を削除した画像を構成して出力することができ、会議の画像から会議の妨げになる画像を除去して、効率のよい会議を実現することができる。

また、本発明のテレビ会議システムは、前記テレビ会議システムにおいて、前記第一差分画像情報構成部は、前記第二の画像内における前記第一表示部が前記第一の画像を表示する領域上の画像を、前記第一画像情報記憶部に記憶されている前記第一画像情報が示す第一の画像と比較して、前記第一の画像に一致する画像を有する領域を決定し、前記第二の画像から、当該決定した領域内の画像を除去した前記差分画像を示す前記差分画像情報を構成し、前記第二差分画像情報構成部は、前記第三の画像内における前記第二表示部が前記差分画像を表示する領域上の画像を、前記第二画像情報記憶部に記憶されている前記差分画像情報が示す差分画像と比較して、前記差分画像に一致する画像を有する領域を決定し、前記第三の画像から当該決定した領域内の画像を除去した前記第一の画像を示す前記第一画像情報を構成するテレビ会議システムである。
かかる構成により、会議の状況等を撮影した画像からこの撮影領域内で表示されていた画像を削除した画像を構成して出力することができ、会議の画像から会議の妨げになる画像を除去して、効率の良い会議を実現することができる。

また、本発明のテレビ会議システムは、前記テレビ会議システムにおいて、前記第一差分画像情報構成部は、前記第一の画像または前記第二の画像内における前記表示部が前記第一の画像を表示する領域上の画像の少なくとも一方の画素数を変換して前記比較を行い、前記第二差分画像情報構成部は、前記差分画像または前記第三の画像内における前記表示部が前記差分画像を表示する領域上の画像の少なくとも一方の画素数を変換して前記比較を行うテレビ会議システムである。
かかる構成により、画像間の画素の比較を精度良く行うことができるため、撮影した画像から、撮影領域内に表示されていた画像を精度よく削除することができる。

また、本発明のテレビ会議システムは、前記テレビ会議システムにおいて、前記第一差分画像情報構成部は、前記第一の画像または前記第二の画像内における前記表示部が前記第一の画像を表示する領域上の画像の少なくとも一方の色を変換して前記比較を行い、前記第二差分画像情報構成部は、前記差分画像または前記第三の画像内における前記表示部が前記差分画像を表示する領域上の画像の少なくとも一方の色を変換して前記比較を行うテレビ会議システムである。
かかる構成により、画像間の画素の比較を精度良く行うことができるため、撮影した画像から、撮影領域内に表示されていた画像を精度よく削除することができる。

本発明によれば、撮影した画像から撮影領域内で表示されていた画像を削除した画像を構成して出力することができる。

以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
図１は、本実施の形態による画像処理装置のブロック図である。
画像処理装置１００は、画像情報記憶部１０１、表示部１０２、撮影部１０３、画像受付部１０７、差分画像情報構成部１０４、および出力部１０５を具備する。

画像情報記憶部１０１には、第一の画像を示す情報である第一画像情報が記憶される。第一の画像は、通常は動画像であるが、静止画像であっても良い。第一の画像はカラー画像であることが好ましいが、グレースケール画像であっても良い。この第一の画像は、例えば、会議の場面を撮影した画像である。具体例としては、この画像処理装置１００を端末として用いたテレビ会議システムにおける、他の会議室で撮影され、リアルタイムに送信された画像である。また、第一の画像は、会議の場面を撮影したものを蓄積した画像であってもよい。

また、第一の画像は、会議の場面を撮影した画像に限らず、どのような画像であっても良い。例えば、会議に利用される資料の画像やプレゼンテーション用の画像等であっても良い。また、第一の画像情報は、アナログの画像情報であってもデジタルの画像情報であってもよい。例えば、デジタルの画像情報である場合、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）や、ＩＴＵ−ＴＨ．２６４等、画像情報の圧縮符号化のアルゴリズム等は問わない。また、非圧縮の画像情報を出力してもよい。また、画像情報は、ＨＤ画像等、画質や解像度等も問わない。また、第一の画像情報には、他の画像情報等との同期を取るための同期情報が含まれていても良い。また、同期情報が付加されていてもよい。

画像情報記憶部１０１は、半導体メモリや磁気ディスク、光ディスクなどの所定の記録媒体によって実現され得る。画像情報記憶部１０１に第一画像情報が記憶される過程は問わない。例えば、図示しない記録媒体を介して第一画像情報が画像情報記憶部１０１に記憶されるようにしてもよく、図示しない通信回線等を介して送信された第一画像情報が画像情報記憶部１０１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された第一画像情報が画像情報記憶部１０１に記憶されてもよい。また、画像情報記憶部１０１には、第一画像情報に加えて、第一画像情報に対応した音声情報が記憶されていても良い。画像情報記憶部１０１による記憶は、通信回線等を介して送信された第一画像情報の、ＲＡＭ等における一時的な記憶、いわゆるバッファリング等でもよく、あるいは、長期的な記憶でもよい。

表示部１０２は、画像情報記憶部１０１に記憶されている第一画像情報を用いて、第一の画像を表示する。具体的には、液晶ディスプレイやプラズマディスプレイ、ＣＲＴディスプレイ等の表示デバイスに、第一画像情報を用いて構成した第一の画像を表示する。なお、表示部１０２は、第一画像情報に対応した音声情報を、第一の画像とともに、音声出力してもよい。表示部１０２が第一の画像を表示する解像度等は問わない。また、表示部１０２は、第一画像情報に第一画像のマスク情報や、透過情報が含まれる場合、これらの情報を用いて、第一の画像の一部の領域を透過させて表示したり、第一の画像の一部の領域を、他の画像、例えば背景画像や特定の色の画像で置換して表示するようにしてもよい。表示部１０２は、表示を行う表示デバイスやスピーカを含んでもよく、あるいは含まなくてもよい。表示部１０２は、ハードウェアによって実現されてもよく、あるいは表示デバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

撮影部１０３は、表示部１０２が表示デバイス等を用いて表示する第一の画像を含む領域の画像である第二の画像を撮影する。具体的には、撮影部１０３は、表示部１０２が第一の画像を表示する領域上を含む領域を撮影対象領域として撮影して、第二の画像を示す情報である第二画像情報を取得する。より具体的には、撮影部１０３は、第一の画像を表示するディスプレイ等の表示デバイスの表示面を含む領域の画像を第二の画像として撮影する。撮影部１０３が撮影する画像は、通常は動画像であるが、一以上の静止画像であっても良い。なお、一定または不定の所定の時間間隔で撮影された複数の静止画像は、ここでは動画像とする。また、第二の画像は、通常はカラー画像であるが、グレースケール画像であってもよい。

撮影部１０３の撮影方向と表示部１０２が表示する第一の画像の表示面とのなす角等は問わない。撮影部１０３は、例えば、映像を撮影するカメラであり、例えば、ＣＣＤやＣＭＯＳ等のイメージセンサを用いて映像を撮影する。また、撮影部１０３が音声情報も取得する場合には、撮影部１０３は、例えば、マイクを含んでいてもよい。撮影部１０３が画像を出力するためのデータ構造やタイミング等は問わない。例えば、撮影部１０３は、取得した動画像の情報を、一つの動画像ファイルとして出力しても良い。また、撮影部１０３は動画像を構成する各フレームの画像情報、もしくは各フレームに相当する画像情報を、取得する毎に順次、出力しても良いし、所定数のフレームの画像が取得された時点で、所定数のフレーム単位で、画像情報を出力してもよい。

また、撮影部１０３は、撮影した動画像に対して、動画像内の任意の時間的位置を指定することができるような情報である時間位置情報を付加した動画像を作成してもよい。例えば、時間位置情報として、撮影時点の時刻を示す情報等の時間位置を示す情報を付加した動画像を作成してもよい。例えば、撮影部１０３は、動画像を構成する各フレームの画像情報に対し、その画像情報を取得した時刻の情報を、時間位置情報、具体例としてはタイムコードや、タイムスタンプとして付加した画像情報を作成してもよい。また、画像情報の各フレームに、フレームを識別するためのフレーム識別情報を付与するようにしてもよい。

撮影部１０３が作成し出力する画像情報は、アナログの画像情報であってもデジタルの画像情報であってもよい。例えば、デジタルの画像情報である場合、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）や、ＩＴＵ−Ｔ Ｈ．２６４等、画像情報の圧縮符号化のアルゴリズム等は問わない。また、非圧縮の画像情報を出力してもよい。また、画像情報は、ＨＤ画像等、画質や解像度等も問わない。また、撮影部１０３は、マイク等を含むようにし、音声情報も取得するようにしてもよい。

また、撮影部１０３は、撮影部１０３を識別する装置識別情報を出力するようにしてもよい。装置識別情報は、撮影部１０３が、カメラ等の撮影デバイスである場合、その撮影デバイスの製造番号等であってもよいし、予め撮影部１０３に設定しておいた識別番号であってもよい。また、撮影部１０３のＩＰアドレス等のネットワーク上の物理アドレス情報であってもよい。また、装置識別情報は、結果として撮影部１０３を識別できる情報であればよく、撮影部１０３が接続されているポート番号等の入力端子を識別する情報であってもよい。装置識別情報は、例えば撮影部１０３内部の図示しないメモリ等に予め蓄積しておく。また、撮影部１０３が、識別情報をどのように送信するかは問わない。具体的には、上述した位置識別情報と同様の方法により識別情報を出力することが可能である。

画像受付部１０７は、表示部１０２が表示する第一の画像を含む領域を撮影した画像である第二の画像を受け付ける。ここでは、具体的には、撮影部１０３が出力する当該撮影部１０３が撮影した第二の画像を示す情報である第二画像情報を受け付ける。ここで、この受け付けは、例えば、有線もしくは無線の通信回線（例えば、インターネットやイントラネット、ＬＡＮなどであってもよく、あるいは、ＩＥＥＥ１３９４のケーブルや、映像情報を伝送する専用のケーブル等であってもよい）を介して送信された情報の受信でもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）から読み出された情報の受け付けでもよい。本実施の形態では、画像受付部１０７は、撮影部１０３が撮影した第二の画像を示す情報を、専用のケーブル等を介して受け付けるものとする。なお、画像受付部１０７は、受け付けを行うためのデバイス（例えば、モデムやネットワークカードなど）を含んでもよく、あるいは含まなくてもよい。また、画像受付部１０７は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

差分画像情報構成部１０４は、画像情報記憶部１０１に記憶されている第一画像情報を用いて、画像受付部１０７が受け付けた第二の画像から、当該第二の画像に含まれる第一の画像を除去した画像である差分画像を示す情報である差分画像情報を作成する。具体的には、差分画像情報構成部１０４は、画像受付部１０７が受け付けた第二の画像から、画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像に一致すると判断される画像を除去した画像である差分画像を示す情報である差分画像情報を作成する。通常、第二の画像から、当該第二の画像に含まれる第一の画像を除去する処理は、デジタル処理で行われる。このため、第一画像情報や、第二の画像を示す情報である第二画像情報が、アナログ情報である場合、デジタルシグナルプロセッサ等を用いてデジタル信号に変換した後、処理を行うことが好ましい。ただし、第二の画像から、当該第二の画像に含まれる第一画像を除去する処理を、アナログ処理で行うようにしてもよい。

差分画像情報構成部１０４が除去する第二の画像に含まれる第一の画像は、通常知られているパターンマッチングの技術を用いて決定される。除去対象となる画像は、第一画像情報が示す第一の画像と、完全に一致した画像でなくてもよい。第二の画像に含まれる第一の画像は、一旦、表示部１０２によってディスプレイ等に表示した第一の画像を、撮影部１０３で撮影して取得したものであるため、色や画素数や、画像の細部等が変化したり失われたりして、第一画像情報が示す第一の画像と、通常は完全に一致することがないからである。このため、差分画像情報構成部１０４は、第二の画像に含まれる実質的に第一の画像であると判断される画像を除去する。

具体的には、差分画像情報構成部１０４は、第二の画像内における表示部１０２が第一の画像を表示する領域上の画像を、画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像と比較して、第二の画像内の第一の画像を有する領域を決定し、第二の画像から、当該決定した領域内の画像を除去した差分画像を示す差分画像情報を作成する。第一画像情報が示す第一の画像と第二の画像とが動画像の場合、比較に用いられる画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像と第二の画像とは、通常、これらの動画像をそれぞれ構成するフレーム単位の画像であり、１フレームの画像同士が比較に用いられる。

なお、比較に用いられる画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像と第二の画像は、それぞれの動画像を構成する各静止画像でもよい。比較に用いられる画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像は、撮影部１０３が撮影した時点において、表示部１０２により表示された第一の画像であることが好ましい。ただし、特に、この画像処理装置１００が、テレビ会議等に用いられる場合には、比較に用いられる第一画像情報が示す第一の画像は、撮影部１０３が１フレームの第二の画像を撮影した時点において、表示されていた第一の画像の１フレームの画像に対して、時間的に前後した１フレームの画像であってもよい。通常、テレビ会議等に用いられる画像においては、急激な動きがある画像が撮影されて表示されることが少ないからである。

「第二の画像内における表示部１０２が第一の画像を表示する領域」は、例えば、予め第二の画像内における表示部１０２が第一の画像を表示する領域が、第二の画像内のどの領域に表示されるかを調べておいて、この領域を指定する情報を設定しておくようにしてもよい。この領域を指定する情報は、例えば、この領域が四角形であれば、その四角形の４つの頂点を指定する座標情報や、ベクトル情報等が利用可能である。

また、この第一の画像を表示する領域を画像処理等により検出してもよい。例えば、第一の画像が表示される図示しないディスプレイ等の枠やその枠のコーナーの４点を、差分画像情報構成部１０４が特定することによって、その枠の内部の領域である第一の画像を表示する領域を特定してもよい。ディスプレイ等の枠やその枠のコーナーの４点を特定することができるように、ディスプレイ等の枠や、その枠のコーナーの４点には、所定の色や、模様、マーカ等が配置されていてもよい。その所定の色は、会議の場面で一般に使われないような色であることが好ましい。マーカは、例えば、モーションキャプチャ等で用いられる光学式のマーカ等であってもよい。第二の画像内における表示部１０２が第一の画像を表示する領域の特定の方法は、これらの方法に限定されるものではなく、その他の方法であってもよい。また、このような所定の領域を特定する方法はすでに公知であり、その詳細な説明を省略する。

なお、第二の画像と、表示部１０２が第一の画像を表示する領域とが一致する場合、例えば撮影部１０３の撮影領域と、表示部１０２の表示領域とが一致する場合には、この「第二の画像内における表示部１０２が第一の画像を表示する領域」を設定する処理等は、省略可能である。あるいは、この「第二の画像内における表示部１０２が第一の画像を表示する領域」を、第二の画像の全領域に設定するようにすればよい。この表示領域は、一旦、設定した後は、撮影部１０３が撮影する領域や、表示部１０２のディスプレイ等の位置が変更されない限り、通常は固定しておくようにすればよい。

また、「第二の画像内における表示部１０２が第一の画像を表示する領域上」、とは、第二画像内の実際に含まれている第一の画像だけではなく、表示部１０２と重なっている会議の参加者等の物体等を無視した場合の、表示部１０２が第一の画像を表示している領域である。例えば、表示部１０２が第二の画像を表示する際に用いるディスプレイの表示領域が四角形である場合、そのディスプレイの一部を覆う物体、例えばユーザ等が、第二の画像に撮影されていたとしても、表示部１０２が第一の画像を表示する領域は四角形となる。ただし、撮影部１０３に対する表示デバイスの表示領域の向きにより、形状は完全に一致しない場合がある。

差分画像情報構成部１０４は、例えば、上記のように特定された第二の画像内における 表示部１０２が第一の画像を表示する領域上の画像（以下、第二領域画像と称す）と、画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像と、をそれぞれ構成 する画素のうちの、対応する画素同士を比較する。そして、比較の結果、予め設定しておいた所定の関係にあると判断された第二の画像内の画素を、画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像に対応する画素と判断する。そして、同様の判 断を、第二領域画像内の画素、通常は全ての画素について順次行い、第一の画素に対応する画素の含まれる領域を決定する。そして、この領域の画像を除去した差分画像を示す差分画像情報を作成する。

この対応する画素同士の比較は、必ずしも対応する画素同士の１対１の比較でなくてもよい。例えば、一つの画素と、複数の画素との比較でもよいし、複数の画素と複数の画素との比較でもよい。第二領域画像と画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像との画素数等が異なる場合、画素同士が１対１で対応しないからである。例えば、一方の画像の１画素と、この画素に対応する他方の画像の複数の画素とを比較する場合、一方の画像の１画素の画素値と、複数の画素の画素値の平均値や中間値等の代表値とを比較しても良い。また、例えば、一方の画像の複数の画素と、この複数の画素に対応する他方の画像の複数の画素とを比較する場合、一方の画像の複数の画素の画素値の平均値等の代表値と、複数の画素の画素値の平均値等の代表値とを比較してもよい。例えば、画素同士の比較は、通常、画素の情報、例えば、ＲＧＢの各チャンネルの情報や、輝度情報等の色情報の値の比較により行われる。

具体的には、第二領域画像と、第一の画像とが相似の関係にあり、両者の総画素数が同じである場合、同じ位置の座標同士の、所定の画素の情報、例えば色情報の比較を行い、その差が、予め設定した閾値以内であれば、一致する画素であると判断し、閾値より大きければ、一致しない画素であると判断することにより行われる。そして、このような処理を全ての画素について行って、一致する画素が含まれる領域を決定する。画素の情報同士を比較して一致するか否かを判断する処理等については公知技術である。

また、二つの画像の同じ位置の領域同士について、パターンマッチングを順次行って、第二領域画像内における一致する領域を決定してもよく、これらの方法を組み合わせてもよい。また、第二領域画像のうちの、第一の画像に一致する画素の領域に囲まれた、微小な画素の領域等についてはノイズと考えて、第一の画像に一致する画素と判断するようにしてもよい。画像同士を比較して、一致する領域を決定する処理についは、上記の方法も含めて様々な処理があるが、公知技術であるので詳細な説明は省略する。

第二領域画像と、画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像とが相似の関係にない場合や、両者の総画素数が同じでない場合には以下のように処理を行うようにしてもよい。まず、第二の画像内における表示部１０２が第一の画像を表示する領域上の画像の形状および大きさと、第一画像情報が示す第一の画像の形状および大きさとの相関関数を求める。そして、この相関関数、もしくはその逆関数を用いて、第二領域画像の各画素に対応する第一の画像内の座標を算出し、第一画像情報が示す第一の画像の、算出された座標が示す位置の画素の色情報等の情報と、対応する第二領域画像の画素の色情報等の情報とを、上記と同様に閾値等を用いて比較する。そして、第二領域画像内の、第一画像情報が示す第一の画像に一致すると判断された画素を含む領域を決定する。そして、上記のようにして決定した領域の画像を、第二の画像、具体的には、第二の画像を構成する各フレームの画像から除去した差分画像を示す差分画像情報を構成する。

なお、上記のような、第二領域画像内において、画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像に一致する画素を含む領域を決定する処理は、第二の画像の全てのフレームの画像に対して行うようにしてもよいが、一定または不定期の所定のタイミング、例えば、数フレーム毎や数秒毎に行うようにしてもよい。特に、第一の画像が、テレビ会議等の画像である場合、上述したように、急激な動き等がないと考えられるため、一旦決定した、第一画像情報が示す第一の画像に一致する画素を含む領域を、連続する複数のフレームの第二の画像から第一の画像に一致する画像を除去する処理に適用しても、大きな画質の劣化等がないと考えられるからである。上記のような、第二領域画像と、画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像との、画像が一致する領域を決定する処理については、これらの方法に限定されるものではなく、その他の方法であってもよい。例えば、ＭＰＥＧ等の２つのフレーム間の画像を比較して、移動しているオブジェクトを検出する処理等の公知技術が利用可能である。

ここで、差分画像情報構成部１０４は、第一の画像または第二領域画像の少なくとも一方の、画素数を変換した後、上述したような、第一画像情報が示す第一の画像に一致する第二領域画像内の領域を判断するための、第一画像情報が示す第一の画像と第二領域画像との比較を行うようにしてもよい。例えば、第一画像情報が示す第一の画像と第二領域画像との総画素数が同じとなるように、第一の画像または第二領域画像の少なくとも一方の、画素を補間して、画素数を増加あるいは減少させるようにしても良い。また、第一の画像と第二領域画像との形状が同じとなるように、画素を補間して、画素数を増加あるいは減少させてもよい。例えば、第一の画像と、第二領域画像の総画素数や形状を同じとすることで、二つの画像の画素同士の比較が容易となる。

また、差分画像情報構成部１０４は、画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像または第二領域画像の少なくとも一方の色を変換した後、上述したような、第一画像情報が示す第一の画像に一致する第二領域画像内の領域を判断するための、第一画像情報が示す第一の画像と第二領域画像との比較を行うようにしてもよい。色補正とは、例えば、カラー補正や、コントラスト補正や、レベル補正や、シャープネス補正等である。これらの色補正は、第一画像情報が示す第一の画像または第二領域画像の、一部、または全体の領域の色情報を用いて自動的に行われるようにする。

通常、第一画像情報が示す第一の画像が、ディスプレイに表示される時点で、ディスプレイの特性等により表示される色等が変化する。更に、この表示された第一の画像を撮影部１０３で撮影する際に、ディスプレイの配置された環境光の影響や、撮影部１０３の特性によっても取得される第二の画像内の第二領域画像の色は、ディスプレイに表示されている色と異なる色となる。従って、第二領域画像と第一の画像との色は大きく異なるものとなっていることが多い。このように色が異なると、第一の画像と、第二領域画像との比較が正常に行われないことが考えられる。これに対し、上述したような色補正を行うことで、第一画像情報が示す第一の画像と、第二領域画像との精度の高い比較が可能となる。例えば、第二領域画像を色補正することで、第二領域画像における環境光の影響による色かぶり等をなくして、精度の高い比較が可能となる。

また、第一画像情報が示す第一の画像および第二領域画像に対して、色補正として、グレースケール化を行うようにしてもよい。グレースケール化することで、撮影時等の画像の色の変化を排除して、画像同士を比較することができる。また、このようにグレースケール化することで、画像のデータ量が減少され、比較の処理が高速化できる。また、同様に、第一の画像および第二領域画像のうちの一致する領域を検出する際に、第一画像情報が示す第一の画像および第二領域画像の輝度情報のみを比較するようにしてもよい。このように輝度情報のみを比較することで、撮影時等の画像の色の変化を排除して、画像同士を比較することができる。また、画像同士の比較に使用されるデータ量が低減でき、処理の高速化を図れる。

なお、ここで述べる除去とは、完全に画素を除去してしまうことに限るものではなく、 結果的に除去したものと同じ扱いとなる状態とすることも、除去と考える。例えば、除去対象となる画素に対して、表示時に当該画素が不可視として扱われるようにするためのマスク情報や透過情報を設定することや、画像を表示する際に、除去する画素を識別できるように、画素の色情報等を所定の値、例えば、特定の青色となるような値に設定してもよい。また、除去した画素が位置していた領域に、除去した画素の代わりに、他の画像等を配置するようにしてもよい。この他の画像は、視聴の妨げにならないような、有意ではない静止画像あるいは動画像であることが好ましい。また、差分画像を表示する装置等が、差分画像を表示する際に、除去した領域に上述のような他の画像を、適宜、はめ込み合成するようにしても良い。

差分画像情報構成部１０４は、通常、ＭＰＵやメモリ等から実現され得る。差分画像情報構成部１０４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

出力部１０５は、差分画像情報構成部１０４が構成した差分画像情報を出力する。ここ での出力とは、他の装置への送信や、記録媒体等への蓄積を含む概念である。出力部１０５は、画像処理装置１００がリアルタイムで会議を行うテレビ会議システム等に利用される場合、差分画像情報をストリーミング出力することが好ましい。出力部１０５が、差分画像情報を出力するタイミングや方式等は問わない。例えば、差分画像情報を取得する毎に、差分画像情報を出力するようにしてもよいし、所定量の差分画像情報を取得した場合に差分画像情報を出力するようにしてもよい。出力部１０５は、差分画像情報構成部１０４が出力する差分画像情報を、ＭＰＥＧや、ＩＴＵ−Ｔ Ｈ．２６４等の、圧縮符号化の アルゴリズム等を用いて、圧縮符号化してもよい。

また、出力部１０５は、同期情報を差分画像情報に付加して出力してもよい。また、出力部１０５は、撮影部１０３等の装置識別情報等を付加して差分画像情報を出力してもよい。出力部１０５は、通信装置等の出力デバイスを含むと考えても含まないと考えてもよい。出力部１０５は、出力デバイスのドライバーソフト、または出力デバイスのドライバーソフトと出力デバイス等で実現され得る。また、出力部１０５が、圧縮符号化の処理等を行う場合、これらの処理を実行するためのＭＰＵやメモリ等を具備していてもよい。これらの処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現してもよい。

次に、画像処理装置の動作の一例について図２のフローチャートを用いて説明する。ここでは、予め撮影部１０３が撮影した第二の画像内における表示部１０２が第一の画像を表示する領域を指定する情報、例えば、領域の頂点の座標情報等が、予め図示しないメモリ等に格納されている場合について説明する。また、説明を簡単にするために、画素間の輝度情報を比較して、画素が一致するか否かを判断する場合を例に挙げて説明する。

（ステップＳ２０１）表示部１０２は、画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像を表示するタイミングであるか否かを判断する。例えば、第一の画像を、毎秒３０フレーム表示する場合、直前のフレームの画像を表示してから１／３０秒経過したか否かを判断し、経過した場合に、表示するタイミングであると判断する。表示するタイミングである場合、ステップＳ２０２に進み、表示するダイミングでない場合、ステップＳ２０４に進む。

（ステップＳ２０２）表示部１０２は、画像情報記憶部１０１に記憶されている第一画像情報のうちの、表示するタイミングに応じた一フレームの画像情報を読み出して取得する。例えば、直前に表示したフレームの画像の、次のフレームの画像を示す画像情報を取得する。
（ステップＳ２０３）表示部１０２は、ステップＳ２０２で取得した画像情報を、図示しないディスプレイ等に表示する。

（ステップＳ２０４）撮影部１０３は、第２の画像を撮影するタイミングであるか否かを判断する。例えば、第二の画像を、毎秒３０フレームで撮影する場合、直前のフレームの画像を撮影してから１／３０秒経過したか否かを判断し、経過した場合に、撮影するタイミングであると判断する。撮影するタイミングである場合、ステップＳ２０５に進み、撮影するタイミングでない場合、ステップＳ２０１に戻る。
（ステップＳ２０５）撮影部１０３は、表示部１０２によりディスプレイ等に表示されている第一の画像を含む１フレームの第二の画像を撮影する。画像受付部１０７は、撮影された第二の画像を示す情報を受け付け、図示しないメモリ等に一時記憶する。

（ステップＳ２０６）差分画像情報構成部１０４は、図示しないメモリ等に予め格納されている、第二の画像内における表示部１０２が第一の画像を表示する領域を指定する情報を取得し、当該情報を用いて、ステップＳ２０５において取得した第二の画像を示す情報から、第二領域画像を示す情報を取得する。なお、第二領域画像と、第二の画像とが一致する場合、すなわち、撮影部１０３の撮影領域が、表示部１０２の表示領域と一致する場合等にはこの処理は省略してもよい。

（ステップＳ２０７）差分画像情報構成部１０４は、第二領域画像の輝度情報を補正する。例えば、第二領域画像内の各画素の輝度情報である輝度値を自動レベル補正する。自動レベル補正とは、画像内の最も明るい画素と最も暗い画素とを輝度の最大値と最小値とに定義して、中間調部分の画素の輝度値を均等に再配分する処理である。補正した第二領域画像を示す情報はメモリ等に一時記憶される。

（ステップＳ２０８）差分画像情報構成部１０４は、第一画像情報を、第一画像情報記憶部から読み出して取得する。
（ステップＳ２０９）差分画像情報構成部１０４は、ステップＳ２０８で取得した第一画像情報を、第一の画像が、第二領域画像と同じ形状および総画素数を有する画像となるよう、図示しないメモリ等に予め格納されている第二の画像内における表示部１０２が第一の画像を表示する領域を指定する情報を用いて補正する。補正した第一画像情報はメモリ等に一時記憶される。

（ステップＳ２１０）ステップＳ２０７で補正した第二領域画像と、ステップＳ２０９で補正した第一画像情報が示す第一の画像とを比較して、第二領域画像内の第一の画像と一致する領域を決定する。なお、ステップＳ２１０の処理については、図３において詳細に説明する。
（ステップＳ２１１）差分画像情報構成部１０４は、第二の画像からステップＳ２１０で決定した領域内の画像を除去した画像である差分画像を示す差分画像情報を作成する。
（ステップＳ２１２）出力部１０５は、ステップＳ２１１で構成した差分画像情報を送信する。そして、ステップＳ２０１に戻る。
なお、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、図２のステップＳ２１０の処理について、図３のフローチャートを用いて説明する。ここでは、例として、第一の画像と第二領域画像とが、輝度情報である輝度値を有するカラー画像であるとし、第一の画像と第二領域画像との輝度情報である輝度値を用いて第一の画像に一致する第二領域画像内の領域を決定する場合を例に挙げて説明する。また、ここでは、第一領域画像および画素数を補正した第一の画像が、それぞれｘ軸方向がｐ画素（ｐは１以上の整数）で、ｙ軸方向がｑ画素（ｑは１以上の整数）の矩形の画像である場合について説明する。

（ステップＳ３０１）差分画像情報構成部１０４は、カウンタｍに１を代入する。
（ステップＳ３０２）差分画像情報構成部１０４は、カウンタｎに１を代入する。
（ステップＳ３０３）差分画像情報構成部１０４は、第二領域画像の座標（ｎ、ｍ）に位置する画素の輝度値を取得する。座標（ｎ、ｍ）は、画像内の画素を単位とした座標であり、ここでは、例として、左上の座標が（０，０）、右下の座標が（ｐ、ｑ）であるとする。

（ステップＳ３０４）差分画像情報構成部１０４は、画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像の座標（ｎ、ｍ）に位置する画素の輝度値を取得する。
（ステップＳ３０５）差分画像情報構成部１０４は、ステップＳ３０３で取得した輝度値と、ステップＳ３０４で取得した輝度値との差の絶対値を算出する。
（ステップＳ３０６）差分画像情報構成部１０４は、ステップＳ３０５において算出した差の絶対値が、予め設定した所定の閾値以下であるか否かを判断する。閾値以下である場合、ステップＳ３０７に進み、閾値より大きい場合、ステップＳ３０８に進む。

（ステップＳ３０７）差分画像情報構成部１０４は、第二領域画像の（ｎ、ｍ）の画素を、画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像の（ｎ、ｍ）の画素に一致する画素であると判断する。そして、この判断結果をメモリ等に一時記憶し、ステップＳ３０９に進む。
（ステップＳ３０８）差分画像情報構成部１０４は、第二領域画像の（ｎ、ｍ）の画素を、画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像の（ｎ、ｍ）の画素に一致しない画素であると判断する。そして、この判断結果をメモリ等に一時記憶し、ステップＳ３０９に進む。

（ステップＳ３０９）差分画像情報構成部１０４は、カウンタｎの値を１インクリメントする。
（ステップＳ３１０）差分画像情報構成部１０４は、カウンタｎの値がｐより大きいか否かを判断する。ｐより大きい場合、ステップＳ３１１に進み、大きくない場合、ステップＳ３０３に戻る。
（ステップＳ３１１）差分画像情報構成部１０４は、カウンタｍの値を１インクリメントする。
（ステップＳ３１２）差分画像情報構成部１０４は、カウンタｍの値がｑより大きいか否かを判断する。ｑより大きい場合、ステップＳ３１１に進み、大きくない場合、ステップＳ３０２に戻る。

（ステップＳ３１３）差分画像情報構成部１０４は、ステップＳ３０７の判断結果を用いて、第二領域画像内の第一の画像と一致する領域を決定する。例えば、ステップＳ３０７において一致していると判断された画素のうちの、連続して隣接している領域を判断し、その領域の縁となる画素の座標情報等を、第二領域画像内の、第一画像情報が示す第一の画像と一致する領域を定義する情報としてメモリ等に蓄積してもよい。また、ステップＳ３０７において一致していると判断された全ての画素の座標情報を、第二領域画像内の第一の画像と一致する領域を定義する情報としてメモリ等に蓄積してもよい。また、領域を決定する際に、ステップＳ３０８により一致しないと判断された画素を用いて、ステップＳ３０７において一致していると判断された画素を含む領域を補正してもよい。そして、上位関数にリターンする。

上記図２および図３のフローチャートにおいては、画素間の輝度情報を比較して、第二領域画像の画素と、第一画像情報が示す第一の画像の画素とが一致するか否かを判断する場合を例に挙げて説明したが、画素間の他の色の情報、例えばＲＧＢチャンネルの値を用いて、画素同士が一致するか否かを判断してもよい。具体例としては、ＲＧＢの各チャンネル毎の値の差を求め、その差の絶対値が全て、それぞれのチャンネル別に設定された閾値以下である場合に、画素同士が一致していると判断するようにしてもよい。このような画素間の比較としては、公知の技術が利用可能である。ＲＧＢチャンネルの値等を用いる場合、第二領域画像に対する色の補正は、ＲＧＢの各チャンネルの値について行われるようにする。

次に、上記画像処理装置を用いたテレビ会議システムの実施の形態を説明する。
図４は、本実施の形態によるテレビ会議システムのブロック図である。テレビ会議システムは、第一テレビ会議端末２０と第二テレビ会議端末３０とを具備している。第一テレビ 会議端末２０と第二テレビ会議端末３０とは、例えばネットワークや通信回線等を介して通信可能に接続されている。第一テレビ会議端末２０と第二テレビ会議端末３０とは、例えば、２つの離れた会議室間で、双方向の対話ができるように、それぞれの会議室に設置される。

第一テレビ会議端末２０は、ここでは例として、本発明による画像処理装置１００とほぼ同様の画像処理装置を６台備えているものとする。ここでは、６台の画像処理装置をそれぞれ画像処理装置２００ａ〜２００ｆとし、全て同様の構成を有するものとする。ただし、画像処理装置の台数は、６台に限定されるものでなく、１台以上であればよい。
画像処理装置２００ａ〜２００ｆは、それぞれ、第一画像情報記憶部２０１と、第一表示部２０２と、第一撮影部２０３と、第一画像受付部２０７と、第一差分画像情報構成部 ２０４と、第一出力部２０５と、第一受信部２０６とを具備している。

第一受信部２０６は、第二テレビ会議端末３０が、通信回線等を介して送信する第一画像情報を受信する。第一受信部２０６が受信した第一画像情報が、第一画像情報記憶部２０１に一時記憶される。第一受信部２０６は、通信手段のデバイスドライバや、記録媒体等から情報を読み出す装置の制御ソフトウェア等で実現され得る。
第一画像情報記憶部２０１、第一表示部２０２、第一撮影部２０３、第一画像受付部２０７、第一差分画像情報構成部２０４、および第一出力部２０５は、それぞれ図１において説明した画像情報記憶部１０１、表示部１０２、撮影部１０３、画像受付部１０７、差分画像情報構成部１０４、および出力部１０５と同様の構成を備えているため、詳細な説明は省略する。
このように、画像処理装置２００ａ〜２００ｆの内部の構成はそれぞれ、第一受信部２０６を新たに備えている点を除けば、図１に示した画像処理装置１００と同様の構成を有している。

第二テレビ会議端末３０は、ここでは例として、前記画像処理装置１００とほぼ同様の画像処理装置を６台備えているものとする。ここでは、６台の画像処理装置をそれぞれ画像処理装置３００ａ〜３００ｆとし、全て同様の構成を有するものとする。ただし、画像処理装置の台数は、６台に限定されるものでなく、１台以上であればよい。
画像処理装置３００ａ〜３００ｆは、それぞれ、第二画像情報記憶部３０１と、第二表示部３０２と、第二撮影部３０３と、第二画像受付部３０７と、第二差分画像情報構成部３０４と、第二出力部３０５と、第二受信部３０６とを具備している。

第二受信部３０６は、第一テレビ会議端末２０が、通信回線等を介して送信する差分画像情報を受信する。第二受信部３０６が受信した差分画像情報が、第二画像情報記憶部３０１に一時記憶される。第二受信部３０６は、通信手段のデバイスドライバや、記録媒体等から情報を読み出す装置の制御ソフトウェア等で実現され得る。
第二画像情報記憶部３０１、第二表示部３０２、第二撮影部３０３、第二画像受付部３０７、第二差分画像情報構成部３０４、および第二出力部３０５は、それぞれ、図１において説明した画像情報記憶部１０１、表示部１０２、撮影部１０３、画像受付部１０７、差分画像情報構成部１０４、および出力部１０５と同様の構成を備えているため、詳細な説明は省略する。

ただし、この画像処理装置３００ａ〜３００ｆにおいては、第一の画像、および第二の画像をそれぞれ、第二受信部３０６が受信した差分画像情報が示す差分画像、および第三の画像と読み替えるものとする。さらに、第二差分画像情報構成部３０４が出力する差分画像情報が、第一画像情報として、第二出力部３０５から、第二テレビ会議端末２０に出力されるものとする。
このように、画像処理装置３００ａ〜３００ｆの内部の構成はそれぞれ、第二受信部３０６を新たに備えている点を除けば、図１に示した画像処理装置１００と同様の構成を有している。

図５は、本実施の形態によるテレビ会議システムの具体的な構成を示す図である。テレビ会議システムは、第一テレビ会議端末２０と第二テレビ会議端末３０とを具備している。ここで、第一テレビ会議端末２０が配置されている会議室を第一会議室２、第二テレビ会議端末３０が配置されている会議室を第二会議室３とする。
また、図６は、本具体例にかかるテレビ会議システムにおける第一会議室２の第一テレビ会議端末２０の概略図である。

第一テレビ会議端末２０は、６台の第一表示部２０２と、６台の第一撮影部２０３と、１台の情報処理装置２０００を備えている。ここでは、画像処理装置２００ａ〜２００ｆにそれぞれ対応する各第一表示部２０２を、第一表示部２０２ａ〜２０２ｆとし、画像処理装置２００ａ〜２００ｆにそれぞれ対応する各第一撮影部２０３を、第一撮影部２０３ａ〜２０３ｆとする。第一表示部２０２ａ〜２０２ｆはディスプレイであるとし、第一撮影部２０３ａ〜２０３ｆはそれぞれカメラであるとする。このカメラの撮影する画像は、例として、カラー画像であるとする。また、このカラー画像は輝度情報、例えば輝度チャンネルの情報を有しているものとする。

情報処理装置２０００は、画像処理装置２００ａ〜２００ｆのそれぞれに対応する、第一画像情報記憶部２０１と、第一表示部２０２と、第一撮影部２０３と、第一画像受付部２０７と、第一差分画像情報構成部２０４と、第一出力部２０５と、第一受信部２０６とを全て備えているものとする。なお、図５において、第一表示部２０２ａ〜２０２ｆと、第一撮影部２０３ａ〜２０３ｆと、情報処理装置２０００との接続の図示は省略している。

第一テレビ会議端末２０が設置されている第一会議室２には、例えば円形のテーブル５０１が設置されており、円形のテーブル５０１を囲んで、１以上の会議の参加者が着席する６つの座席５０２ａ〜５０２ｆが配置されている。この１以上の会議の参加者は、撮影部２０３ａ〜２０２ｆのいずれかの被写体となる。

第一テレビ会議端末２０の各第一表示部２０２ａ〜２０２ｆは、円形のテーブル５０１をほぼ中心とした、６つの辺が各座席５０２ａ〜５０２ｆの正面に対向する仮想的な略正八角形５０３の６つの辺のほぼ中心上に、それぞれ配置されている。また、第一表示部２０２ａ〜２０２ｆは、画像の表示面が、仮想的な八角形の領域５０３の６つの辺にそれぞれ平行となるよう、領域５０３のほぼ中央方向に向けて配置されている。

第一テレビ会議端末２０の各第一撮影部２０３ａ〜２０３ｆは、上述した略正八角形の領域５０３の、６つの辺のほぼ中心上に、各座席５０２ａ〜５０２ｆに対向するように、それぞれ配置されている。ここでは例として、各第一撮影部２０３ａ〜２０３ｆは、各表示部２０２ａ〜２０２ｆの上方に配置され、撮影方向、具体的にはカメラの光輪が、それぞれ、６つの座席５０２ａ〜５０２ｆの正面に向くようにそれぞれ配置されている。通常、座席の正面は、当該座席に着席した人間の正面と同じ向きとなる。

第二テレビ会議端末３０は、６台の第二表示部３０２と、６台の第二撮影部３０３と、１台の情報処理装置３０００を備えている。ここでは、画像処理装置３００ａ〜３００ｆにそれぞれ対応する各第二表示部３０２を、第二表示部３０２ａ〜３０２ｆとし、画像処理装置３００ａ〜３００ｆにそれぞれ対応する各第二撮影部３０３を、第二撮影部３０３ａ〜３０３ｆとする。ここでは、第二表示部３０２ａ〜３０２ｆはディスプレイであるとし、第二撮影部３０３ａ〜３０３ｆはそれぞれカメラであるとする。このカメラの撮影する画像は、例えば、カラー画像であるとする。また、このカラー画像は輝度情報、例えば輝度チャンネルの情報を有しているものとする。

情報処理装置３０００は、画像処理装置３００ａ〜３００ｆのそれぞれに対応する第二画像情報記憶部３０１と、第二表示部３０２と、第二撮影部３０３と、第二画像受付部３０７と、第二差分画像情報構成部３０４と、第二出力部３０５と、第二受信部３０６とを全て備えているものとする。なお、図５において、第二表示部３０２ａ〜３０２ｆと、第二撮影部３０３ａ〜３０３ｆと、情報処理装置３０００との接続の図示は省略している。
情報処理装置２０００と情報処理装置３０００とはネットワーク等を介して接続され、第一テレビ会議端末２０と第二テレビ会議端末３０間の通信を行う。

第二テレビ会議端末３０が設置されている第二会議室２には、例えば円形のテーブル６０１が設置されており、円形のテーブル６０１を囲んで、１以上の会議の参加者が着席する６つの座席６０２ａ〜６０２ｆが配置されている。この１以上の会議の参加者は、撮影部３０３ａ〜３０２ｆのいずれかの被写体となる。

第二テレビ会議端末３０の各第二表示部３０２ａ〜３０２ｆは、円形のテーブル６０１をほぼ中心とした、６つの辺が各座席６０２ａ〜６０２ｆの正面に対向する仮想的な略正八角形６０３の６つの辺のほぼ中心上に、それぞれ配置されている。また、第二表示部３０２ａ〜３０２ｆは、画像の表示面が、仮想的な八角形の領域６０３の６つの辺にそれぞれ平行となるよう、領域６０３のほぼ中央方向に向けて配置されている。

第二テレビ会議端末３０の各第二撮影部３０３ａ〜３０３ｆは、上述した略正八角形の領域６０３の、６つの辺のほぼ中心上に、各座席５０２ａ〜５０２ｆに対向するように、それぞれ配置されている。ここでは例として、各第二撮影部３０３ａ〜３０３ｆは、各表示部３０２ａ〜３０２ｆの上方に配置され、撮影方向、具体的にはカメラの光輪が、それぞれ、６つの座席５０２ａ〜５０２ｆの正面に向くようにそれぞれ配置されている。通常、座席の正面は、当該座席に着席した人間の正面と同じ向きとなる。

各第一撮影部２０３ａ〜２０３ｆで撮影された画像は、情報処理装置２０００と情報処理装置３０００とを経て、第二表示部３０２ａ〜３０２ｆのいずれか一つに表示されるように設定されており、各第二撮影部３０３ａ〜３０３ｆで撮影された画像は、情報処理装置３０００と情報処理装置２０００とを経て、第一表示部２０２ａ〜２０２ｆのいずれか一つに表示されるように設定されているものとする。例えば、各画像処理装置２００ａ〜２００ｆのメモリ等に、それぞれ予め画像処理装置３００ａ〜３００ｆの一つを画像情報の送信先として指定する情報、例えば、ＩＰアドレス等のネットワーク上のアドレス情報等を格納させておき、各画像処理装置２００ａ〜２００ｆの第一出力部２０５が、それぞれ、画像情報を出力する際に、この送信先を指定する情報を画像情報に付加して送信することで、所定の画像処理装置３００ａ〜３００ｆに画像情報を送信するようにすればよい。

同様に、各画像処理装置３００ａ〜３００ｆのメモリ等にも、それぞれ予め画像処理装置２００ａ〜２００ｆの一つを画像情報の送信先として指定する情報を格納させておき、各画像処理装置３００ａ〜３００ｆの第二出力部３０５が、それぞれ、画像情報を出力する際に、この送信先を指定する情報を画像情報に付加して送信することで、所定の画像処理装置２００ａ〜２００ｆに画像情報を送信するようにすればよい。

ここでは、特に、第一表示部２０２ｂと第一表示部２０２ｆとが、八角形領域５０３の、互いに対向する辺上に、表示面同士が対向するように配置されているものとする。また、第一撮影部２０３ｂは、第一表示部２０２ｂに対向する位置に配置されており、第一撮影部２０３ｂの撮影領域には、第一表示部２０２ｂの表示する画像全体が含まれるように第一撮影部２０３ｂの向きや画角等が設定され固定されているものとする。また、第一撮影部２０３ｆは、第一表示部２０２ｆに対向する位置に配置されており、第一撮影部２０３ｆの撮影領域には、第一表示部２０２ｆの表示する画像全体が含まれるように第一撮影部２０３ｆの向きや画角等が設定され固定されているものとする。

同様に、第二表示部３０２ｂと第二表示部３０２ｆとが、八角形領域６０３の、互いに対向する辺上に、表示面同士が対向するように配置されているものとする。また、第二撮影部３０３ｂは、第二表示部３０２ｂに対向する位置に配置されており、第二撮影部３０３ｂの撮影領域には、第二表示部３０２ｂの表示する画像全体が含まれるように第二撮影部３０３ｂの向きや画角等が設定され固定されているものとする。また、第二撮影部３０３ｆは、第二表示部３０２ｆに対向する位置に配置されており、第二撮影部３０３ｆの撮影領域には、第二表示部３０２ｆの表示する画像全体が含まれるように第二撮影部３０３ｆの向きや画角等が設定され固定されているものとする。

また、第一撮影部２０３ｂで撮影された画像は、画像処理装置３００ｂに送信されて、第二表示部３０２ｂで表示され、第二撮影部３０３ｂで撮影された画像が、画像処理装置２００ｂに送信されて、第一表示部２０２ｂで表示されるように予め設定されているものとする。同様に、第一撮影部２０３ｆで撮影された画像は、画像処理装置３００ｆに送信されて、第二表示部３０２ｆで表示され、第二撮影部３０３ｆで撮影された画像が、画像処理装置２００ｆに送信されて、第一表示部２０２ｆで表示されるように予め設定されているものとする。

図７は、第一表示部２０２ｂ、第一表示部２０２ｆ、第一撮影部２０３ｂ、第一撮影部２０３ｆ、第二表示部３０２ｂ、第二表示部３０２ｆ、第二撮影部３０３ｂ、第二撮影部３０３ｆの配置関係および接続関係と、座席５０２ｂ、５０２ｆ、６０２ｂ、６０２ｆとの配置関係の概略を説明するための模式図である。

予め第一撮影部２０３ｂおよび第一撮影部２０３ｆが撮影する第二の画像内における、第一表示部２０２ｂおよび第一表示部２０２ｆが表示される領域を予め調べておき、各第一の画像内におけるこれらの領域を指定する情報を、予めメモリ等に設定しておく。この情報が、第一撮影部２０３ｂおよび第一撮影部２０３ｆが撮影する第二の画像内における第一表示部２０２ｂおよび第一表示部２０２ｆが第一の画像を表示する領域を示す情報となる。例えば、第一撮影部２０３ｂが撮影する第二の画像を、他のディスプレイ等に表示させた場合に、図８に示すような画像が得られたとする。

ここでは、この第二の画像内において、第一表示部２０２ｂの表示面２０２１ｂが矩形で表示されていたとすると、この画像を利用して、第二の画像内の第一表示部２０２ｂの表示面が表示されている領域を指定する情報として、例えば、第一会議室２に人がいない状況で、第二の画像内の第一表示部２０２ｂの表示面の左上の座標（ｘ１，ｙ１）と、右下の座標（ｘ２，ｙ２）とをメモリ等に設定しておく。この座標の単位は、第二の画像内の画素単位とする。同様に、予め、第二撮影部３０３ｂおよび第二撮影部３０３ｆの撮影する第二画像内における、第二表示部３０２ｂおよび第二表示部３０２ｆが表示される領域を予め調べておき、各第二の画像内におけるこれらの領域を指定する情報を予めメモリ等に設定しておく。

次に、上記構成によるテレビ会議システムの動作について説明する。
まず、図７のように、第一会議室２においては、座席５０２ｂに会議の参加者Ａ、座席５０２ｆに参加者Ｂが、また、第二会議室３においては、座席６０２ｂに参加者Ｃ、座席６０２ｆに参加者Ｄが、それぞれ着席してテレビ会議を開始したとする。

まず、座席６０２ｂに着席している参加者Ｃを撮影部３０３ｂで撮影すると、図９に示すような、参加者Ｃと表示部３０２ｂおよびその表示領域３０２１ｂを含む１フレームの画像情報が得られる。この画像情報は、順次画像処理装置３００ｂから、画像処理装置２００ｂに送信され、画像処理装置２００ｂの第一受信部２０６により受信される。受信された画像情報は、第一画像情報記憶部２０１に第一画像情報として一時記憶された後、この第一画像情報を用いて第一の画像が、第一表示部２０２ｂにより順次表示される。この画像の画素数は、１９２０×１０８０ピクセルであるとする。

次に、第一撮影部２０３ｂが１フレームの第二の画像を撮影する。第一撮影部２０３ｂが撮影した第二の画像は、図１０に示すように、第一表示部２０２ｂとその表示領域２０２１ｂの画像と、座席５０２ｂに着席している参加者Ａの上半身の画像とを含むものとなる。この第一の画像の画素数は、１９２０×１０８０ピクセルであるとする。画像処理装置２００ｂの第一画像受付部２０７は、第一撮影部２０３ｂが撮影した第二の画像の情報を受け付け、図示しないメモリ等に一時記憶する。

ここで、表示領域２０２１ｂに表示されている、画像情報記憶部１０１に記憶されている第一画像情報が示す第一の画像には、上述したように、第二撮影部３０３ｂで撮影された参加者Ｃの画像と表示部３０２ｂおよびその表示領域３０２１ｂの画像が表示されていることから、第二の画像の表示部２０２ｂ内の画像にも参加者Ｃや表示領域３０２１ｂの画像が含まれる。従って、この第一撮影部２０３ｂが撮影した第二の画像を、そのまま第一出力部２０５から第二会議端末３０に送信して第二表示部３０２ｂに表示させた場合、第二表示部３０２ｂは、第二会議室３に在室している参加者Ｃの画像もフィードバックされて表示されることとなる。このため、テレビ会議としては適切な画像が表示されているとはいえない状況となり、会議のスムーズな進行に支障をきたす恐れがある。

このため、本実施の形態においては、このようなフィードバックされる画像を除去した画像を、他の会議室に送信する処理を行う。すなわち、第一差分画像情報構成部２０４は、予めメモリ等に格納されている第一撮影部２０３ｂが撮影する第二の画像内における第一表示部２０２ｂが第一の画像を表示する領域を指定する情報、ここでは、（ｘ１，ｙ１）、（ｘ２，ｙ２）を読み出して、第二撮影部３０３ｂが撮影し、第一画像受付部２０７が受け付けた第二の画像から、この情報が示す領域内の画像である第二領域画像を切り出して取得する。取得した画像の例を図１１に示す。

次に、取得した第一撮影部２０３ｂが撮影する第二の画像内における第一表示部２０２ｂが第一の画像を表示する領域内の画像の輝度値をレベル補正する。また、第一差分画像情報構成部２０４は、第一画像情報記憶部２０１に記憶されている現在、第一表示部２０２ｂが表示中の１フレームの第一画像情報を読み出す。そして読み出した第一画像情報の示す第一の画像の画素数を、上述した第二領域画像の画素数と同じとなるように、画素数を補正する。例えば、第二の画像内の図８に示したような座標（ｘ１，ｙ１）と座標（ｘ２，ｙ２）とに囲まれた矩形の領域の画素数が、１４００×８００ピクセルであったとすると、画素数が１９２０×１０８０ピクセルである第一の画像を、第二領域画像の画素数と同じ１４００×８００ピクセルとなるように画素数を変更する。この変更の際の画素数の補間方法等は問わない。

次に、第一差分画像情報構成部２０４は、画素数を補正した第一画像情報が示す第一の画像と、輝度情報を補正した第二領域画像とを比較して、第一の画像と一致している画像を有する領域を決定する。ここでは具体的には、第二領域画像を構成する各画素と、画素数を補正した第一の画像内の同じ座標に位置する画素との輝度情報である輝度値同士の差を算出し、差の絶対値が予め設定した所定の閾値以下であるか否かを、各画素毎に順次判断する。差の絶対値が所定の閾値以下であるか否かを判断する代りに、差が所定の範囲内の値であるか否かを判断してもよい。

次に、閾値以下である画素により構成される領域を決定する。ここでは、図１１に示した第二領域画像と、図９に示した第一の画像の画素数を補正した画像とを比較して、第一の画像に一致する画像を有する領域を、第二領域画像内において決定することとなり、この比較の結果、図１２の点線で示した領域１０００が、第二領域画像内の、第一の画像と一致している画像を有する領域に決定される。この領域１０００には、参加者Ａは含まれていない。

次に、第二の画像内において、この領域１０００内の画素を全て除去して、グレーの画素に置換する。これにより、例えば、図１３に示すような第二領域画像の、第一の画像に一致する画像を有する領域を、グレーの画像に変更した差分画像が得られる。この第二領域画像の第一の画像に一致する画像を除いた領域は、具体的には、第二の画像内における第一表示部２０２ｂが第一の画像を表示する領域において、表示部２０２ｂが表示している第一の画像に対して重なっている参加者Ａを示す画像である。従って、このように、グレーの画像に置換することで、図１３に示すように、第二の画像内における第二表示部２０２ｂが第一の画像を表示する領域においては、グレーの背景画像と、参加者Ａの画像だけが表示されることとなる。

このようにして得られた差分画像を示す差分画像情報を、第一出力部２０５が、第二会議端末３０の画像処理装置３００ｂに対して、ネットワーク経由で送信される。第一出力部２０５は、例えば、予め格納されている画像処理装置３００ｂのネットワーク上のアドレス情報、例えばＩＰアドレス等を、差分画像情報に付加して、差分画像情報を送信する。これにより、差分画像情報は、ＩＰアドレス等により指定される画像処理装置３００ｂの第二受信部３０６により受信される。第二受信部３０６により受信された図１３に示すような１フレームの差分画像情報は、第二画像情報記憶部３０１に一旦記憶された後、第二表示部３０２ｂにより表示される。これにより第二表示部３０２には、図１３に示すような参加者Ａを撮影した画像が表示される。

第二撮影部３０３ｂは、この第二表示部３０２ｂに表示された差分画像と、第二表示部３０２ｂの前の座席６０２に着席している参加者Ｃの上半身の画像とを含む第三の画像を撮影する。第二画像受付部３０７は、第二撮影部３０３ｂが出力する第三の画像を示す情報を受け付け、メモリ等に一時記憶する。そして、第二差分画像情報構成部３０４は、上記の第一差分画像情報構成部２０４と同様に、第二撮影部３０３ｂが撮影し、第二画像受付部３０７が受け付けた第三の画像から、第二表示部３０２ｂが現在表示中の差分画像に一致する画像を除去し、その除去した領域をグレーの画像に変換した第一の画像を構成する。この第一の画像は、第三の画像中の、第二表示部３０２ｂが表示していた画像を撮影した領域を、グレーの画像に置換した画像であり、参加者Ｃと、表示領域内がグレーの画像に置換された第二表示部３０２とを含む画像となる。

次に、第二差分画像情報構成部３０４が取得した１フレームの第一の画像を示す第一画像情報を、第二出力部３０５が、第一出力部２０５と同様に、第一会議端末２０の画像処理装置２００ｂに対して送信する。そして、画像処理装置２００ｂの第一受信部２０６が第一画像情報を受信すると、この第一画像情報は、一旦、第一画像情報記憶部２０１に蓄積され、第一表示部２０２ｂにより表示される。以上のようにして、上記と同様の処理が繰り返される。また、第一表示部２０２ｆと、第一撮影部２０３ｆと、第二表示部３０２ｆと、第二撮影部３０３ｆとの間においても、上記と同様の処理が行われる。

以上、本実施の形態によれば、第一差分画像情報構成部２０４および第二差分画像情報 構成部３０４により、第一撮影部２０３および第二撮影部３０３が撮影した画像から、第一表示部２０２および第二表示部３０２が表示している画像と一致する画像を除去するようにしたことにより、第一表示部２０２および第二表示部３０２が表示している画像が、第一撮影部２０３および第二撮影部３０３が撮影した画像に含まれて出力されることを防ぐことができる。

これにより、例えば、第一撮影部２０３および第二撮影部３０３がテレビ会議等の参加者を撮影した画像から、参加者の背景において、第一表示部２０２または第二表示部３０２に表示している他の会議室における会議の参加者の画像を除去した画像を、他の会議室のテレビ会議端末に送信することができる。この結果、それぞれの会議室で撮影された画像が、フィードバックされて、同じ会議室内のディスプレイ等に表示されることを防ぐことができ、フィードバックされた画像による混乱を抑えて、会議を効率的に行うことが可能となる。

なお、上記具体例においては、説明のため、１フレーム単位の差分画像を示す差分画像情報を、第一テレビ会議端末２０とテレビ会議端末３０間で送受信するようにしたが、複数フレーム単位の差分画像を示す差分画像情報を送受信してもよい。
また、上記具体例のテレビ会議システムにおいて、第一テレビ会議端末２０の各画像処理装置２００ａ〜２００ｆ毎に設けられている第一画像情報記憶部２０１と、第一表示部２０２と、第一撮影部２０３と、第一画像受付部２０７と、第一差分画像情報構成部２０４と、第一出力部２０５と、第一受信部２０６とを、それぞれ１つの第一画像情報記憶部２０１と、第一表示部２０２と、第一撮影部２０３と、第一画像受付部２０７と、第一差分画像情報構成部２０４と、第一出力部２０５と、第一受信部２０６とで実現してもよい。
また、上記具体例のテレビ会議システムにおいて、第二テレビ会議端末３０の各画像処理装置３００ａ〜３００ｆ毎に設けられている、第二画像情報記憶部３０１と、第二表示部３０２と、第二撮影部３０３と、第二画像受付部３０７と、第二差分画像情報構成部３０４と、第二出力部３０５と、第二受信部３０６とを、それぞれ１つの第二画像情報記憶部３０１と、第二表示部３０２と、第二撮影部３０３と、第二画像受付部３０７と、第二差分画像情報構成部３０４と、第二出力部３０５と、第二受信部３０６とで実現してもよい。

なお、上記実施の形態では、画像処理装置がスタンドアロンである場合について説明したが、画像処理装置は、サーバ・クライアントシステムにおけるサーバ装置であってもよい。サーバ装置の場合には、画像受付部や表示部等は、通信回線を介して第二の画像を示す情報の入力を受け付けたり、画像を出力したりすることになる。従って、例えば、図４および図５に示した具体例においては、情報処理装置２０００の構成を、第二テレビ会議端末３０内に設けるようにして、第一テレビ会議端末２０からネットワーク等を経由して送信される第二画像を用いて、第二テレビ会議端末３０内において差分画像を作成して、第二テレビ会議端末３０の第二表示部３０２に表示するようにしてもよい。

また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。

上記各実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、記憶されている第一の画像を示す情報である第一画像情報を用いて、前記第一の画像を表示する表示部と、前記表示部が表示する第一の画像を含む領域を撮影した画像である第二の画像を受け付ける画像受付部と、前記記憶されている第一画像情報を用いて、前記画像受付部が受け付けた第二の画像から、当該第二の画像に含まれる前記第一の画像を除去した画像である差分画像を示す情報である差分画像情報を構成する差分画像情報構成部と、前記差分画像情報構成部が構成した差分画像情報を出力する出力部として機能させるためのプログラムである。
なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。

また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
また、上記各実施の形態において、一の装置に存在する２以上の通信手段（情報送信部など）は、物理的に一の媒体で実現されてもよいことは言うまでもない。
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明にかかる画像処理装置等は、表示されている画像を含む領域の画像を処理する画像処理装置等として適しており、テレビ会議等に用いられる画像処理装置等として有用である。

本発明の実施の形態による画像処理装置のブロック図である。 同画像処理装置の動作について説明するフローチャートである。 同画像処理装置の動作について説明するフローチャートである。 同テレビ会議システムのブロック図である。 同テレビ会議システムの構成図である。 同テレビ会議システムの概略的な構成図である。 同テレビ会議システムの模式的な構成図である。 同テレビ会議システムの表示例を示す構成図である。 同テレビ会議システムの表示例を示す構成図である。 同テレビ会議システムの表示例を示す構成図である。 同テレビ会議システムの表示例を示す構成図である。 同テレビ会議システムの表示例を示す構成図である。 同テレビ会議システムの表示例を示す構成図である。

符号の説明

１００、２００、３００ 画像処理装置
１０３、２０３、３０３ 撮影部
１０１ 画像情報記憶部
１０２、１０５、１７ 出力部
１０２、１２、２０２、２０２１、２０３、３０２ 表示部
１０４ 差分画像情報構成部
１０７ 画像受付部
２００、２００ａ〜２００ｆ、３００、３００ａ〜３００ｆ 画像処理装置
２０１ 第一画像情報記憶部
２０２、２０２ａ〜２０２ｆ 第一表示部
２０３、２０３ａ〜２０３ｆ 第一撮影部
２０４ 第一差分画像情報構成部
２０５ 第一出力部
２０６ 第一受信部
２０７ 第一画像受付部
３０１ 第二画像情報記憶部
３０２、３０２ａ〜３０２ｆ 第二表示部
３０３、３０３ａ〜３０３ｆ 第二撮影部
３０４ 第二差分画像情報構成部
３０５ 第二出力部
３０６ 第二受信部
３０７ 第二画像受付部
５０２ａ〜５０２ｆ、６０２ａ〜６０２ｆ 座席
２０００、３０００ 情報処理装置

Claims (6)

1. 第一の画像を示す情報である第一画像情報が記憶される画像情報記憶部と、
   前記第一画像情報を用いて前記第一の画像を表示する表示部と、
   前記表示部が表示する第一の画像を含む領域を撮影した画像である第二の画像を受け付ける画像受付部と、
   前記画像情報記憶部に記憶されている前記第一画像情報を用いて、前記画像受付部が受け付けた第二の画像から、当該第二の画像に含まれる前記第一の画像を除去した画像である差分画像を示す情報である差分画像情報を構成する差分画像情報構成部と、
   前記差分画像情報構成部が構成した差分画像情報を出力する出力部とを具備し、各会議室で撮影された画像が互いにフィードバックされて、各会議室内のディスプレイに表示されることを防ぐ画像処理装置であって、
   前記差分画像情報構成部は、
   前記第二の画像内における前記表示部が前記第一の画像を表示する領域上の画像を、前記画像情報記憶部に記憶されている前記第一画像情報が示す第一の画像と比較して、前記第一の画像に一致する画像を有する領域を決定し、前記第二の画像から、当該決定した領域内の画像を除去した差分画像を示す差分画像情報を構成し、
   前記比較を行う際には、前記第一の画像または前記第二の画像内における前記表示部が前記第一の画像を表示する領域上の画像の少なくとも一方の画素数と色と形状とを変換して前記比較を行うことを特徴とする画像処理装置。
2. 第一画像処理装置と、第二画像処理装置とを具備し、各会議室で撮影された画像が互いにフィードバックされて、各会議室内のディスプレイに表示されることを防ぐテレビ会議システムであって、
   前記第一画像処理装置は、
   前記第二画像処理装置が出力する第一の画像を示す情報である第一画像情報を受信する第一受信部と、
   前記第一受信部が受信した第一画像情報が記憶される第一画像情報記憶部と、
   前記第一画像情報を用いて前記第一の画像を表示する第一表示部と、
   前記第一表示部が表示する第一の画像を含む領域を撮影した画像である第二の画像を受け付ける第一画像受付部と、
   前記第一画像情報記憶部に記憶されている前記第一画像情報を用いて、前記第一画像受付部が受け付けた第二の画像から、当該第二の画像に含まれる前記第一の画像を除去した画像である差分画像を示す情報である差分画像情報を構成する第一差分画像情報構成部と、
   前記第一差分画像情報構成部が構成した差分画像情報を出力する第一出力部とを具備し、前記第二画像処理装置は、
   前記第二画像処理装置が出力する前記差分画像情報を受信する第二受信部と、
   前記第二受信部が受信した差分画像情報が記憶される第二画像情報記憶部と、
   前記差分画像情報を用いて前記差分画像を表示する第二表示部と、
   前記第二表示部が表示する差分画像を含む領域を撮影した画像である第三の画像を受け付ける第二画像受付部と、
   前記第二画像情報記憶部に記憶されている前記差分画像情報を用いて、前記第二画像受付部が受け付けた第三の画像から、当該第三の画像に含まれる前記差分画像を除去した画像である前記第一の画像を示す情報である第一画像情報を構成する第二差分画像情報構成部と、
   前記第二差分画像情報構成部が構成した第一画像情報を出力する第二出力部とを具備し、
   前記第一差分画像情報構成部は、
   前記第二の画像内における前記第一表示部が前記第一の画像を表示する領域上の画像を、前記第一画像情報記憶部に記憶されている前記第一画像情報が示す第一の画像と比較して、前記第一の画像に一致する画像を有する領域を決定し、前記第二の画像から当該決定した領域内の画像を除去した前記差分画像を示す前記差分画像情報を構成し、
   前記比較を行う際には、前記第一の画像または前記第二の画像内における前記表示部が前記第一の画像を表示する領域上の画像の少なくとも一方の画素数と色と形状とを変換して前記比較を行い、
   前記第二差分画像情報構成部は、
   前記第三の画像内における前記第二表示部が前記差分画像を表示する領域上の画像を、前記第二画像情報記憶部に記憶されている前記差分画像情報が示す差分画像と比較して、前記差分画像に一致する画像を有する領域を決定し、前記第三の画像から当該決定した領域内の画像を除去した前記第一の画像を示す前記第一画像情報を構成し、
   前記比較を行う際には、前記差分画像または前記第三の画像内における前記表示部が前記差分画像を表示する領域上の画像の少なくとも一方の画素数と色と形状とを変換して前記比較を行う
   ことを特徴とするテレビ会議システム。
3. 第一の画像を示す情報である第一画像情報が記憶される画像情報記憶部と、表示部と、画像受付部と、差分画像情報構成部と、出力部とを備え、各会議室で撮影された画像が互いにフィードバックされて、各会議室内のディスプレイに表示されることを防ぐ画像処理装置の画像処理方法であって、
   前記表示部が、前記第一画像情報を用いて前記第一の画像を表示する表示ステップと、
   前記画像受付部が、前記表示ステップで表示する第一の画像を含む領域を撮影した画像である第二の画像を受け付ける画像受付ステップと、
   前記差分画像情報構成部が、前記画像情報記憶部に記憶されている前記第一画像情報を用いて、前記画像受付ステップで受け付けた第二の画像から、当該第二の画像に含まれる前記第一の画像を除去した画像である差分画像を示す情報である差分画像情報を構成する差分画像情報構成ステップと、
   前記出力部が、前記差分画像情報構成ステップで構成した差分画像情報を出力する出力ステップとを有し、
   前記差分画像情報構成ステップでは、前記差分画像情報構成部が、
   前記第二の画像内における前記表示部が前記第一の画像を表示する領域上の画像を、前記画像情報記憶部に記憶されている前記第一画像情報が示す第一の画像と比較して、前記第一の画像に一致する画像を有する領域を決定し、前記第二の画像から、当該決定した領域内の画像を除去した差分画像を示す差分画像情報を構成し、
   前記比較を行う際には、前記第一の画像または前記第二の画像内における前記表示部が前記第一の画像を表示する領域上の画像の少なくとも一方の画素数と色と形状とを変換して前記比較を行う
   ことを特徴とする画像処理方法。
4. 第一受信部、第一表示部、第一画像受付部、第一差分画像情報構成部、第一出力部、第二受信部、第二画像情報記憶部、第二表示部、第二画像受付部、第二差分画像情報構成部、および第二出力部とを有し、各会議室で撮影された画像が互いにフィードバックされて、各会議室内のディスプレイに表示されることを防ぐテレビ会議システムにおいて処理されるテレビ会議方法であって、
   前記第一受信部が、前記第二出力部が出力する第一の画像を示す情報である第一画像情報を受信する第一受信ステップと、
   前記第一表示部が、前記第一画像情報を用いて前記第一の画像を表示する第一表示ステップと、
   前記第一画像受付部が、前記第一表示ステップで表示する第一の画像を含む領域を撮影した画像である第二の画像を受け付ける第一画像受付ステップと、
   前記第一差分画像情報構成部が、前記第一画像情報を用いて、前記第一画像受付ステップで受け付けた第二の画像から、当該第二の画像に含まれる前記第一の画像を除去した画像である差分画像を示す情報である差分画像情報を構成する第一差分画像情報構成ステップと、
   前記第一出力部が、前記第一差分画像情報構成ステップで構成した差分画像情報を出力する第一出力ステップと、
   前記第二受信部が、前記第一出力ステップで出力された前記差分画像情報を受信する第二受信ステップと、
   前記第二表示部が、前記差分画像情報を用いて前記差分画像を表示する第二表示ステップと、
   前記第二画像受付部が、前記第二表示ステップで表示する差分画像を含む領域を撮影した画像である第三の画像を受け付ける第二画像受付ステップと、
   前記第二差分画像情報構成部が、前記差分画像情報を用いて、前記第二画像受付ステップで受け付けた第三の画像から、当該第三の画像に含まれる前記差分画像を除去した画像である前記第一の画像を示す情報である第一画像情報を構成する第二差分画像情報構成ステップと、
   前記第二出力部が、前記第二差分画像情報構成ステップで構成した第一画像情報を出力する第二出力ステップとを有し、
   前記第一差分画像情報構成ステップでは、前記第一差分画像情報構成部が、
   前記第二の画像内における前記第一表示部が前記第一の画像を表示する領域上の画像を、前記第一画像情報記憶部に記憶されている前記第一画像情報が示す第一の画像と比較して、前記第一の画像に一致する画像を有する領域を決定し、前記第二の画像から当該決定した領域内の画像を除去した前記差分画像を示す前記差分画像情報を構成し、
   前記比較を行う際には、前記第一の画像または前記第二の画像内における前記表示部が前記第一の画像を表示する領域上の画像の少なくとも一方の画素数と色と形状とを変換して前記比較を行い、
   前記第二差分画像情報構成ステップでは、前記第二差分画像情報構成部が、
   前記第三の画像内における前記第二表示部が前記差分画像を表示する領域上の画像を、前記第二画像情報記憶部に記憶されている前記差分画像情報が示す差分画像と比較して、前記差分画像に一致する画像を有する領域を決定し、前記第三の画像から当該決定した領域内の画像を除去した前記第一の画像を示す前記第一画像情報を構成し、
   前記比較を行う際には、前記差分画像または前記第三の画像内における前記表示部が前記差分画像を表示する領域上の画像の少なくとも一方の画素数と色と形状とを変換して前記比較を行う
   ことを特徴とするテレビ会議方法。
5. コンピュータを請求項１に記載の画像処理装置として機能させるための画像処理プログラム。
6. 請求項５記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images