JP6102111B2 - 送信装置、通信装置、データ送信プログラム及びデータ送信方法 - Google Patents

Description

本発明は、映像データを送信したり受信したりするための技術に関する。

テレビ電話システムやテレビ会議システム等のように、映像を符号化し、通信相手との間で送受信する技術が存在する。例えば、ある通信装置は、１又は複数の通信装置との間で、互いに映像データ及び音データを送受信する。

また、被写体画像と、階層化した三次元構造モデルとを整合し、構造モデル単位に動きを分析し、動きのある構造モデルの分析パラメータを送出するという技術も存在する。

特開平４−１５１９８８号公報

しかしながら、従来のテレビ電話システム等では、被写体であるユーザ及びユーザが存在する現地の様子が、撮影されたまま映像として相手へ送信される。よって、ユーザは、私的な通信であっても、身なりなどを整えてからでなければテレビ電話機能の利用を躊躇してしまいがちになる。

一方、映像に対して画像処理を施してから送信する場合は、送信側の処理負荷が増大するという問題がある。また、映像の他にデータを送信する場合は、データの通信量が増大するという問題がある。

そこで、開示の技術は、処理負荷や通信量の増大を抑えつつ、通信相手に表示させる画像を加工することができる技術を提供することを目的とする。

開示の技術の一側面によれば、画像データから所定の領域を特定し、当該画像データのうち特定された前記所定の領域が含まれる部分画像を生成し、前記所定の領域を示す領域情報と前記部分画像とを関連付けてデータ格納部に格納する部分画像生成部と、前記領域情報に関連付けられて定められている画像処理を、前記領域情報に関連付けてデータ格納部に格納された前記部分画像に対して実行する画像処理部と、処理後の部分画像と、当該処理後の部分画像よりも前に生成された、処理後の部分画像との差異の有無を判定する差異判定部と、差異があると判定された場合に、前記画像処理部によって前記画像処理が実行された前記部分画像を送信する送信部とを有する送信装置が提供される。

処理負荷や通信量の増大を抑えつつ、通信相手に表示させる画像を加工することができる技術を提供することができる。

図１は、実施の形態に係るシステム構成の一例を示す図である。 図２は、通信装置１の機能ブロック図の一例を示す図である。 図３は、通信装置１の装置構成の一例を示す図である。 図４は、実施の形態に係る送信処理の処理フローの一例を示す図である。 図５は、画像データの一例を示す図である。 図６は、画像データの一例を示す図である。 図７は、画像データの一例を示す図である。 図８は、テンプレートマッチングを説明するための図である。 図９Ａは、顔の部位に対応するマスクデータの一例を示す図である。 図９Ｂは、顔の部位に対応するマスクデータの一例を示す図である。 図９Ｃは、顔の部位に対応するマスクデータの一例を示す図である。 図９Ｄは、顔の部位に対応するマスクデータの一例を示す図である。 図９Ｅは、顔の部位に対応するマスクデータの一例を示す図である。 図９Ｆは、顔の部位に対応するマスクデータの一例を示す図である。 図１０Ａは、レイヤデータの生成の一例を説明するための図である。 図１０Ｂは、レイヤデータの生成の一例を説明するための図である。 図１０Ｃは、レイヤデータの生成の一例を説明するための図である。 図１０Ｄは、レイヤデータの生成の一例を説明するための図である。 図１０Ｅは、レイヤデータの生成の一例を説明するための図である。 図１０Ｆは、レイヤデータの生成の一例を説明するための図である。 図１１は、画像処理の例を説明するための図である。 図１２は、画像処理の例を説明するための図である。 図１３は、画像データの一例を示すための図である。 図１４Ａは、レイヤデータの比較を説明するための図である。 図１４Ｂは、レイヤデータの比較を説明するための図である。 図１４Ｃは、レイヤデータの比較を説明するための図である。 図１４Ｄは、レイヤデータの比較を説明するための図である。 図１４Ｅは、レイヤデータの比較を説明するための図である。 図１４Ｆは、レイヤデータの比較を説明するための図である。 図１５は、画像処理の例を説明するための図である。 図１６は、受信処理の処理フローの一例を示すための図である。 図１７は、フレームの推移に対する理想的なデータ通信量の変化を模式的に表したグラフである。 図１８は、画像データ全体を送信する場合の、フレームの推移に対するデータ通信量の変化を模式的に表したグラフである。 図１９は、変化した領域を抽出して送信する処理を説明するための図である。 図２０は、変化した領域を抽出して送信する場合の、フレームの推移に対するデータ通信量の変化を模式的に表したグラフである。 図２１は、実施の形態による場合の、フレームの推移に対するデータ通信量の変化を模式的に表したグラフである。 図２２は、実施の形態に係る通信装置３の機能ブロック図の一例を示す図である。 図２３は、送信対象のレイヤデータと受信したレイヤデータとの合成を説明するための図である。 図２４は、実施の形態に係る送受信処理の処理フローの一例を示す図である。 図２５は、実施の形態に係る送受信処理の処理フローの一例を示す図である。

以下、図面を参照して、一実施形態に係る通信装置について説明する。以下の実施形態の構成は例示であり、本発明に係る通信装置は、実施形態の構成には限定されない。また
、実施形態の処理フローも一例である。したがって、処理結果が変わらない限りにおいて、通信装置は、処理の順序を入れ替えたり、並列に処理したりすることができる。

図１に、実施の形態に係るシステム構成の一例を示す。本実施の形態に係るシステムは、複数の通信装置１（図１では、１ａ及び１ｂ）を含み、通信装置１は、ネットワーク２を介して接続される。通信装置１は、送信装置１１（図１では、１１ａ及び１１ｂ）並びに受信装置１２（図１では、１２ａ及び１２ｂ）を有する。そして、通信装置１は、画像データ及び音データを含む映像データを、ネットワーク２を介して互いに送受信する。本実施の形態に係る通信装置は、複数の画像データを順に表示させることで動画を形成することができる。また、音データは、音声、つまり人の声の他、音楽など様々な音を含む。図示していないが、３以上の通信装置１の各々が、他のすべての通信装置１と互いに通信を行うようにすることもできる。なお、映像データの送受信には、例えばＴＣＰ／ＩＰのような既存のプロトコルを利用することができ、本実施の形態で生成される映像データは、例えばパケットのようなＰＤＵ（Protocol Data Unit）として送受信される。

図２に、通信装置１の機能ブロック図の一例を示す。通信装置１は、送信装置１１と受信装置１２とを有する。

送信装置１１は、画像入力部１１１と、音声入力部１１２と、データ格納部１１３と、レイヤ生成部１１４と、画像処理部１１５と、設定格納部１１６と、差異判定部１１７と、送信部１１８とを有する。画像入力部１１１は、カメラ等の撮像装置を利用して撮像された画像データを取得し、データ格納部１１３に格納する。また、音声入力部１１２は、マイクロホン等を利用して入力された音データを取得し、例えば画像データと関連付けてデータ格納部１１３に格納する。レイヤ生成部１１４は、データ格納部１１３から画像データを読み出し、被写体に基づいて画像データから複数のレイヤデータを生成し、データ格納部１１３に格納する。レイヤデータとは、部分的な画像データを含み、仮想的な層をなすシートである。平面上の所定の座標を基準として、複数のレイヤデータを重ね合わせることにより、１つの画像が形成される。画像処理部１１５は、レイヤデータに適用する画像処理を記憶している設定格納部１１６から情報を読み出し、データ格納部１１３に格納されているレイヤデータに対して画像処理を実行し、処理後のレイヤデータをデータ格納部１１３に格納する。差異判定部１１７は、データ格納部１１３に格納されている処理後のレイヤデータについて、新たに生成されたレイヤデータと過去に生成されたレイヤデータとに差異があるか判定する。そして、送信部１１８は、差異があると判定されたレイヤデータをデータ格納部１１３から読み出す。また送信部１１８は、音声入力部１１２が取得し、例えばレイヤデータとして処理された画像データと関連付けられた音データをデータ格納部１１３から読み出す。そして、送信部１１８は、読み出したレイヤデータと音データとを通信相手の通信装置１へ送信する。

受信装置１２は、受信部１２１と、データ格納部１２２と、表示更新部１２３と、画像出力部１２４と、音声出力部１２５とを有する。受信部１２１は、通信相手の通信装置１から、レイヤデータと音データとを受信し、データ格納部１２２に格納する。表示更新部１２３は、受信したレイヤデータと、データ格納部１２２に格納されているレイヤデータとを置き換え、表示対象のレイヤデータを更新する。画像出力部１２４は、データ格納部１２２から表示対象の複数のレイヤデータを読み出し、読み出したレイヤデータを重畳させてディスプレイ等の出力装置に表示させる。また、音声出力部１２５は、データ格納部１２２から音データを読み出し、スピーカ等の出力装置に出力させる。

本実施の形態に係る通信装置１は、例えば、カメラ及びマイクロホンを備えるパーソナルコンピュータ、テレビ会議システム、携帯電話機、スマートフォン、タブレット型端末、カメラを備える固定電話機、通信機能及び音声入力機能を備えるプリントシール機（写
真シール機）等の情報処理装置が、本実施の形態に係るプログラムを実行することにより、実現される。

図３に、通信装置１の装置構成の一例を示す。通信装置１は上で述べたような情報処理装置であり、例えば、ＣＰＵ（Central Processing Unit）１００１、主記憶装置１００
２、補助記憶装置１００３、通信ＩＦ（Interface）１００４、入出力ＩＦ（Interface）１００５、ドライブ装置１００６、通信バス１００７を備えている。ＣＰＵ１００１は、プログラムを実行することにより本実施の形態で説明する処理を行う。主記憶装置１００２は、ＣＰＵ１００１が読み出したプログラムやデータをキャッシュしたり、ＣＰＵの作業領域を展開したりする。主記憶装置は、具体的には、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等である。補助記憶装置１００３は、ＣＰＵ１００１により実行されるプログラムや、本実施の形態で用いる設定情報などを記憶する。補助記憶装置１００３は、具体的には、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、フラッシュメモリ等である。通信ＩＦ１００４は、他のコンピュータ装置との間でデータを送受信する。通信ＩＦ１００４は、具体的には、有線又は無線のネットワークカード等である。入出力ＩＦ１００５は、入出力装置と接続され、ユーザから入力を受け付けたり、ユーザへ情報を出力したりする。入出力装置は、具体的には、カメラ等の画像入力装置、マイクロホン等の音声入力装置、キーボード、マウス、ディスプレイ、プリンタ、又はタッチパネル等である。ドライブ装置１００６は、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray Disc）等の記憶媒体に記録されたデータを読み出したり、これらのような記憶媒体にデータを書き込んだりする。以上のような構成要素が、通信バス１００７で接続されている。なお、これらの構成要素は複数設けられていてもよいし、一部の構成要素（例えば、ドライブ装置１００６）を設けないようにしてもよい。ドライブ装置で読み取り可能な可搬性の記憶媒体や、ＵＳＢメモリのような補助記憶装置を介して、本実施の形態で実行されるプログラムが提供されるようにしてもよい。そして、ＣＰＵ１００１がプログラムを実行することにより、上記のような情報処理装置を通信装置１として働かせる。

＜送信処理＞
次に、映像データを送信する送信処理について説明する。送信処理は、通信装置１の送信装置１１により実行される。

図４に、本実施の形態に係る送信処理の処理フローの一例を示す。まず、送信装置１１の画像入力部１１１が、カメラ等を介して画像データを取得し、データ格納部１１３に格納する。画像データの取得とともに、音声入力部１１２が、マイクロホン等を介して音データを取得し、データ格納部１１３に格納する（図４：Ｓ１）。画像データ及び音データは、それぞれ画像及び音声を符号化することにより生成されたデータである。

次に、レイヤ生成部１１４は、データ格納部１１３から画像データを読み出し、被写体が所定の大きさ以上であるか判断する（Ｓ２）。例えば、レイヤ生成部１１４は、画像データの中央に撮影されている被写体について、画素のコントラストに基づいて輪郭を特定する。そして、被写体が撮影されている領域が、所定の大きさ、例えば画像データ全体の４分の１以上の割合を占めているか判断する。

例えば、Ｓ１において、図５に示すような画像データが読み出されたものとする。図５は、画像データの一例を示す図である。図５の中央付近には、被写体の例として人物が撮影されている。図５では被写体の撮影されている領域が画像全体に占める割合は４分の１以下である。レイヤ生成部１１４は、例えば画像の中央から走査して、コントラスト値が所定の閾値以上に変化する境界を探索及び追跡して、被写体が撮影されている領域を特定する。このような処理には、既存の技術を用いることができる。そして、レイヤ生成部１
１４は、図５の人物のような被写体が撮影されている領域を特定し、当該領域の面積を算出し、当該領域の大きさは画像データ全体の４分の１以上ではないと判断する。

被写体が所定の大きさ以上でないと判断された場合（Ｓ２：Ｎｏ）、レイヤ生成部１１４は、背景のマスクデータと被写体のマスクデータとを選択する（Ｓ３）。例えば、予め複数の位置及び大きさを表すマスクデータを準備しておき、被写体が撮影されている領域を含むマスクデータ及びその他の領域を含むマスクデータを選択する。マスクデータとしては、例えば、画像データの各画素に対応して真又は偽のいずれかの値を有するデータを用いることができる。すなわち、マスクデータは、画像データとマスクデータとのＡＮＤ演算により、画像データからマスクデータと重複する領域を切り取るために用いられる。なお、画像データ生成部１１４は、予め準備されたマスクデータを用いるのではなく、例えば被写体の輪郭を表す座標に基づいて、被写体を含むマスクデータとその他の領域を含むマスクデータとを生成するようにしてもよい。

Ｓ３では、レイヤ生成部１１４は、例えば、Ｓ２で特定された被写体が撮影されている領域を真で表し、その他の領域を偽で表したマスクデータと、被写体が撮影されている領域を偽で表し、その他の領域を真で表したマスクデータとを選択する。これらのマスクデータにより、レイヤ生成部１１４は、画像データの中で被写体が撮影された領域と背景が撮影された領域とを切り取ることができる。その後、処理はＳ７に遷移する。

一方、Ｓ２において、図６に示すような画像データが読み出されたものとする。図６は、画像データの一例を示す図である。図６の中央付近には窓が撮影されており、その大きさは画像データ全体の４分の１以上の領域を占めている。このような場合は、レイヤ生成部１１４は、画像データにおいて窓が撮影されている領域を特定し、当該領域の大きさは画像データ全体の４分の１以上であると判断する。

Ｓ２において、被写体が所定の大きさ以上であると判断された場合、（Ｓ２：Ｙｅｓ）、レイヤ生成部１１４は、被写体が人物の顔であるか判断する（Ｓ４）。この判断には、例えばテンプレートマッチングのような既存の技術を利用することができる。具体的には、送信装置１１内の主記憶装置１００２等は、目、口、耳（例えば、耳たぶ）等を表す基準点を含む、顔のパターン画像（すなわちテンプレート）を予め記憶している。このテンプレートは、人物の目、鼻、口、耳等の相対的な位置関係を表すデータである。そして、テンプレートは、例えば、複数の人物の顔のデータから平均的なデータを求めることにより作成される。また、テンプレートは、所定の階調数で表された濃淡情報や二値化した情報を用いて表すようにしてもよいし、色彩情報等を用いてもよい。色彩情報は、濃淡の差を判定しにくいような場合に有効である。

そして、レイヤ生成部１１４は、画像データを走査し、テンプレートに近い領域が含まれているか判断する。例えば、レイヤ生成部１１４は、画像の一部の領域に含まれる画素とテンプレートに含まれる画素とで濃淡情報を比較し、既存の評価手法により一致するか否か判定する。なお、様々な角度から撮影された（すなわち、様々な方向を向いた）人物の顔に対応する複数のテンプレートを予めデータ格納部１１３等に記憶させておき、レイヤ生成部１１４が様々な方向を向いた人物の顔を検出するようにしてもよい。図６に示した画像データの場合、画像データの中央の被写体である窓から人物の顔のテンプレートに類似する領域は検出されず、被写体は人物の顔ではないと判断される。

Ｓ４において、被写体が人物の顔でないと判断された場合（Ｓ４：Ｎｏ）、レイヤ生成部１１４は、背景のマスクデータと被写体のマスクデータとを選択する（Ｓ５）。ここでも、Ｓ３で説明したようなマスクデータを選択する。また、Ｓ３と同様に、被写体の輪郭に基づいてマスクデータを生成するようにしてもよい。さらに、Ｓ５では、Ｓ３で作成す
るマスクデータよりも精密なマスクデータを生成するようにし、Ｓ３ではＳ５よりも粗いマスクデータを生成するようにしてもよい。その後、処理はＳ７に遷移する。

一方、Ｓ４において、図７に示すような画像データが読み出されたものとする。図７は、画像データの一例を示す図である。図７の中央付近には、人物が撮影されており、その大きさは、画像データ全体の４分の１以上の領域を占めている。この場合、Ｓ４において、例えば図８に示すように、顔のテンプレートに一致する目、口及び耳等の基準点が画像データから検出され、被写体は人物の顔であると判断される。なお、検出された各部位（例えば基準点）の座標を保持しておき、後の処理で用いるようにしてもよい。

被写体が人物の顔であると判断された場合（Ｓ４：Ｙｅｓ）、レイヤ生成部１１４は、例えば、テンプレートに対応付けて予め記憶されている、顔の部位ごとのマスクデータを選択する（Ｓ６）。例えば、Ｓ４において被写体が人物の顔であることを検出したテンプレートに対応するマスクデータが、データ格納部１１３から読み出される。ここでは、目、口、耳、顔、首、背景が撮影されている領域をそれぞれ含む、複数のマスクデータが選択される。また、例示した部位の他に、鼻、髪、体等の部位のマスクデータが用いられるようにしてもよいし、例示した部位の一部についてマスクデータが用いられないようにしてもよい。例えば、図９Ａ〜９Ｆに示すような各部位に対応するマスクデータが選択される。

図９Ａ〜９Ｆは、顔の部位に対応する複数のマスクデータの一例を示す図である。例えば、図９Ａ〜９Ｆにおいて、斜線によりハッチングが施されている領域は、画素に対応する値が真に設定された領域を示すものとする。なお、図９Ａ〜９Ｆでは、説明の便宜上、被写体の一部が重ねて示されている。図９Ａは、目の撮影された領域に対応するマスクデータを示す。本実施の形態では、図９Ａに示すように、顔の部位だけでなくその周囲の領域を含むマスクデータが用意されている。

同様に、図９Ｂは口に対応するマスクデータを、図９Ｃは耳に対応するマスクデータを、図９Ｄは顔に対応するマスクデータを、図９Ｅは首に対応するマスクデータを、図９Ｆは背景に対応するマスクデータを示している。なお、背景のマスクデータは、画像全体を含む領域としてもよい。同様に、顔のマスクデータは、図９Ｄに示した領域から目や口に対応する領域を除いた領域にしてもよい。顔の部位ごとのマスクデータが選択されると、処理はＳ７に遷移する。

なお、マスクデータにおいて真の値が設定されている領域は、顔のテンプレートに合わせて位置を調整するようにしてもよい。また、顔のテンプレートに合わせて予め用意されたマスクデータを選択するのでなく、画像データの中から、目、口、耳、顔、首の輪郭をそれぞれ抽出し、各部位が撮影されている領域、及びその他の領域に対応するマスクデータを生成するようにしてもよい。また、マスクデータの形状は、例えば、顔の部位の輪郭を拡大した形状等、長方形以外の形状を採用してもよい。

Ｓ３、Ｓ５又はＳ６の後、レイヤ生成部１１４は、データ格納部１１３に格納されている画像データとマスクデータとに基づいてレイヤデータを生成し、データ格納部１１３に格納する（Ｓ７）。すなわち、レイヤ生成部１１４は、画像データのうちマスクデータと重なる領域である部分画像を抽出する。そして、レイヤ生成部１１４は、画像データのうちマスクデータと重ならない部分は透明な領域として表したレイヤデータを生成する。以下、図１０Ａ〜１０Ｆを用いて、顔の部位ごとのレイヤを作成する処理を説明する。

図１０Ａ〜１０Ｆは、レイヤデータの生成の一例を説明するための図である。レイヤ生成部１１４は、まず、画像データを、Ｓ３、Ｓ５又はＳ６で生成したマスクデータの数だ
け複製する。例えば、図１０Ａ〜１０Ｆの１０ａ〜１０ｆに示すように、画像データが複製される。そして、レイヤ生成部１１４は、複製した画像データの１つとマスクデータの１つとを用いて、画像データからマスクデータと重なる領域（すなわち、顔の部位が撮影されている領域）を切り出し、顔の部位の各々に対応するレイヤデータを生成する。具体的には、画像データとマスクデータとでＡＮＤ演算を行い、画像データのうち、論理積が真になる領域（すなわち、マスクデータと重なる領域）の部分画像を抽出してレイヤデータとする。ここで、ＡＮＤ演算では、例えば画像データの各画素のＲ、Ｇ又はＢの値が所定の基準値以上であれば真としてマスクデータと演算がなされるようにしてもよい。ただし、画素データが単色画像の場合、各画素の階調値が基準値以上の場合に真として、マスクデータとＡＮＤ演算すればよい。

図１０Ａ〜１０Ｆの１０ｇ〜１０ｌは、Ｓ６で生成されたマスクデータを表している。そして、１０ａ〜１０ｆの画像データから、１０ｇ〜１０ｌのマスクデータにおいて斜線でハッチングが施された領域が切り取られ、図１０Ａ〜１０Ｆの１０ｍ〜１０ｒに示すようなレイヤデータが生成される。なお、レイヤデータ１０ｍ〜１０ｒにおいて横方向のハッチングが施された、画像データが存在しない領域は、塗りつぶされていない透明な領域である。すなわち、各レイヤデータの左上の座標を原点として、レイヤデータ１０ｍ〜１０ｒをディスプレイの奥行き方向に重ね合わせたときに、当該ハッチングの領域を透過して奥のレイヤデータに含まれる画像データが表示される。

なお、Ｓ３又はＳ５において、被写体と背景とに対応するマスクデータが生成された場合は、Ｓ７において、画像データから被写体を抽出したレイヤデータと、背景を抽出したレイヤデータとが生成される。

また、Ｓ７において、レイヤ生成部１１４は、各レイヤデータに識別コードを付してデータ格納部１１３に格納する。識別コードは、各レイヤを識別するための符号である。例えば、識別コードは、撮影されている領域（例えば、顔の部位）を示す領域情報と、画像データが生成された時間的な順序又はレイヤデータが生成された時間的な順序を示す時系列情報とを含む。例えば、「背景」、「首」、「顔」、「耳」、「口」及び「目」を示す領域情報を、それぞれ「１」、「２」、「３」、「４」、「５」及び「６」とすると、処理開始後初めて生成される（すなわち、時系列情報が１の）レイヤデータには、「１−１」、「２−１」、「３−１」、「４−１」、「５−１」及び「６−１」といった識別コードが付される。そして、映像データにおける次のフレーム（すなわち画像データ）についてレイヤデータが生成されると、各領域情報のレイヤデータについてそれぞれ時系列情報が１インクリメントされた識別コードが付される。

レイヤデータ生成部１１４は、識別コードを、例えばファイル（すなわち、レイヤデータ）にヘッダ情報として記憶させてもよいし、ファイル名から識別コードが読み取れるような命名規則を採用してもよい。なお、レイヤデータ生成部１１４は、領域情報に基づいて、レイヤデータを奥から手前へ重ねる際の順序が特定できるようにしてもよい。すなわち、本システムは、領域情報に基づいて、奥行き方向にレイヤデータを重畳して表示するようにしてもよい。また、本システムは、時系列情報としては、例示したように連続番号を用いてもよいし、ファイルが生成された時刻を表すタイムスタンプで代用してもよい。さらに、本システムは、新たに生成されたレイヤデータと、過去に生成されたレイヤデータとが識別できれば、時系列情報を設けないようにしてもよい。

その後、画像処理部１１５は、設定格納部１１６に格納されている設定データと、データ格納部１１３に格納されているレイヤデータとを用いて、レイヤデータに含まれる画像データを加工する画像処理を実行し、処理後のレイヤデータをデータ格納部１１３に格納する（Ｓ８）。なお、設定データ格納部１１６には、領域情報に対応付けて、レイヤデー
タに対して実行する画像処理が予め設定されているものとする。また、当該画像処理を適用する位置を示す情報も、併せて設定されているものとする。画像処理を適用する位置は、例えば、画像データ全体において固定された座標、レイヤデータ内において固定された座標、またはＳ４において顔の部位が検出された座標等を示す。

本実施の形態における画像処理の一例としては、例えば、目のレイヤデータ、顔のレイヤデータ等に、化粧のような加工を施すことができる。このような加工を施す場合は、目の位置に対応付けて眉やまつげを描画する設定や、顔の輪郭内に所定の色を重畳したり、顔の輪郭内の色相、彩度及び明度を相対的に変更したりする設定を、設定格納部１１６に保持させておく。

また、任意のレイヤデータにアクセサリや服の画像を重畳したり、星型等の図形やユーザが入力した落書きを重畳したりすることもできる。画像を重畳する場合は、基準点の座標に対応付けて、又は画像全体若しくはレイヤデータ中の座標に対応付けて、重畳させる画像データを設定格納部１１６に保持させておく。なお、Ｓ７において選択されたレイヤデータの他に、描画用のレイヤデータを設けるようにしてもよい。

さらに、目のレイヤデータを拡大して目を強調させたり、任意のレイヤデータに対して光源の効果を施して輝かせたりすることもできる。目を強調する場合は、目のレイヤ全体又は目のレイヤのうち目が撮影されている領域を拡大する割合等を設定格納部１１６に保持させておけばよい。画像に光源の効果等所定の効果やフィルタ処理等を施す場合は、所定の効果を施す位置及び所定の効果を加えるためのアルゴリズム等を設定格納部１１６に保持させておけばよい。但し、所定の効果を加えるためのアルゴリズムを設定格納部１１６に保持する代わりに、所定の効果を加えるための処理を起動するコマンド、サブスクリプト等を設定格納部１１６に保持してもよい。

また、任意のレイヤデータの形状を変形させることもできる。例えば、髪型等を変形させるための設定を、設定格納部１１６に保持させておいてもよい。以上のような、画像データの形状、色彩若しくは位置の変更、画像の描画、若しくはエッジ強調、平滑化、ノイズ除去等のフィルタ処理は、既存の技術を用いて行うことができる。

図１１に、目のレイヤデータを強調させ、さらにまつげの画像を重畳させた例を示す。例えば、設定格納部１１６には、目のレイヤデータを拡大させる割合と、目の上部（すなわち、目の座標の縦軸方向の上部）に対応付けてまつげの画像を描画させる設定が格納されているものとする。画像処理部１１５は、例えば目のレイヤ全体を所定の割合だけ拡大する。なお、画像処理部１１５は、レイヤデータから目の撮影された領域を抽出して、抽出された領域を拡大するようにしてもよい。また、画像処理部１１５は、目が検出された座標の上部にまつげを描画する。

なお、顔の部位が検出された座標（例えば、基準点）に対応付けて設定された画像処理の適用箇所は、被写体である人物の向いている方向が変化する場合に、基準点等に追随して位置を変化させることができる。例えば、画像処理部１１５は、テンプレートマッチングにおいて検出された顔の部位の位置関係からどの方向を向いているか判断でき、図１２に示すように、顔の部位に追随して画像処理を適用する位置を変更することができる。すなわち、画像処理部１１５は、１２ａ〜１２ｃに示すように、画像データから検出された基準点にあわせて、まつげを描画する位置を変更することができる。さらに、画像処理部１１５は、１２ｃにおいて、左目に相当する基準点が画像データから検出されない場合は、左目に関連付けられているまつげの描画を行わないようにすることもできる。また、画像処理部１１５は、１２ｂに示すように、表情の変化に合わせて例えばベクトル計算を行い、描画する画像データを変形させるようにしてもよい。

その後、差異判定部１１７は、データ格納部１１３から、Ｓ８において新たに格納された画像処理後のレイヤデータと、それ以前に格納されていた画像処理後のレイヤデータとを読み出す。そして、領域情報が同一であるレイヤデータごとに比較し、差異があるか判断する（Ｓ９）。例えば、差異判定部１１７は、識別コードのうち、領域情報が同一のレイヤデータであって、時系列情報が最も新しいことを示しているものと、時系列情報が２番目に新しいことを示しているものとを比較する。すなわち、顔の部位ごとに、最新の画像データと、動画における１フレーム前の画像データとを比較する。

比較は、例えば、画素ごとに有している色彩等の情報を用いて、排他的論理和（ＸＯＲ）演算を行い、結果の値が真の画素が所定の閾値以上存在すれば変化したと判断する。また、複数の画素の集合をブロックとして、ブロック単位で変化の有無を判断するようにしてもよい。例えば、目や口のレイヤデータには細かいブロックを用いて、背景のレイヤデータには粗いブロックを用いるようにしてもよい。このようにすれば、背景よりも人物の表情について、より小さな変化まで検出することができる。

Ｓ９において、変化したレイヤデータがないと判断された場合（Ｓ９：Ｎｏ）、送信部１１８は、音データをデータ格納部１１３から読み出し、通信相手の通信装置１へ送信する（Ｓ１０）。そして、当該画像データについての送信処理が終了し、新たに取得される画像データに対して送信処理をＳ１から繰り返す。すなわち、映像データにおける次のフレームに対して同様の処理を行う。なお、音データの送信についても、所定のレベル以上の音声の入力がなければ行わないようにしてもよい。

一方、Ｓ９において、変化したレイヤデータがあると判断された場合（Ｓ９：Ｙｅｓ）、送信部１１８は、変化したと判断されたレイヤデータ（すなわち、変化後のレイヤデータ）と、音データとをデータ格納部１１３から読み出し、通信相手の通信装置１へ送信する（Ｓ１１）。

ここで、例えば、図１０Ａ〜１０Ｆのレイヤデータ１０ｍ〜１０ｒが１フレーム前の画像データとしてデータ格納部１１３に格納されているとする。そして、図１３に示すような画像データについて、Ｓ１〜Ｓ８までの処理が実行されたものとする。

図１３は、画像データの一例である。図１３は、図７に示した画像データの次のフレームで取得されたデータであるものとする。図１３には人物が撮影されており、図７と比較すると、左目を閉じている（すなわち、ウインクしている）部分が異なる。Ｓ８までの処理により、図１３に示す画像データから、図１４Ａ〜１４Ｆに示すようなレイヤデータが生成される。

図１４Ａ〜１４Ｆは、時系列情報が前後するレイヤデータについて、領域情報が一致するもの同士を比較する処理を説明するための図である。Ｓ９では、１フレーム前の画像データから生成されたレイヤデータ１４ａ〜１４ｆと、新たに生成されたレイヤデータ１４ｇ〜１４ｌとを、領域情報が一致するもの同士で比較する。図１４Ａ〜１４Ｆの例では、レイヤデータ図１４Ａの１４ａと１４ｇとに差異があると判断される。このような場合、送信部１１８は、レイヤデータ１３ｇと音データとを送信する。

なお、レイヤデータに含まれる透明な領域を表す画素は、例えばランレングス法のようなアルゴリズムを用いて、透明であることを示す所定の値（例えば、０や１など）で示すことができる。このようにすれば、画像データすべてを送信する場合よりも送信するファイルのサイズを圧縮することができる。レイヤデータ及び音データが送信されると、当該画像データに対する送信処理が終了し、新たに取得される画像データに対して送信処理を
Ｓ１から繰り返す。

以上のように、本実施の形態に係る送信処理では、被写体に応じて画像データを複数のレイヤに分割し、レイヤごとに様々な画像処理を施し、変化が検出されたレイヤのデータを送信する。特に、画像処理による加工を施した後にレイヤデータ間の変化を検出するため、撮影された画像データには変化があったとしても、レイヤデータに画像処理が施された結果、処理前後のレイヤデータには変化がなくなるような場合も起こり得る。例えば、図１５に示すように、目のレイヤデータにサングラスの画像を重畳させる場合、図７に示した人物が、図１２のようにウインクをしたとしても、処理前後の目のレイヤデータはどちらも図１５のようになり、変化が表れない。このような場合には目のレイヤデータを送信しないため、画像処理を施さずに差異を判定する場合（すなわち、ウインクしている目のレイヤデータを送信する場合）よりも、データの通信量が軽減される。

また、本実施の形態では、レイヤデータに対して画像処理を行う。したがって、化粧や服装の加工を施すことにより通信相手に表示させる画像を変更することが可能となり、例えばユーザが身なりなどを整えていない場合でも、テレビ電話等を使用することに対するユーザの心理的な抵抗を軽減することができる。また、例えば、顔の部位を含むレイヤとは別に画像処理を施すためのレイヤを設ければ、画像処理を加えたり戻したりする処理が容易になり、レイヤデータの用途の幅が広がる。このような画像処理後のデータを、コンピュータネットワーク上においてユーザの分身として表示されるアバターとして用いるようにしてもよい。

＜受信処理＞
次に、映像データを受信する受信処理について説明する。受信処理は、通信装置１の受信装置１２により実行される。

図１６に、受信処理の処理フローの一例を示す。受信装置１２の受信部１２１は、通信先の通信装置１からレイヤデータと音データとを受信し、データ格納部１２２に格納する（図１６：Ｓ１２）。本実施の形態では、受信部１２１は、画像データに基づいて生成された複数のレイヤデータを受信する。例えば、処理開始直後の画像データについてはすべてのレイヤデータを受信し、それ以降の画像データについては変化したレイヤデータを受信する。なお、音データは、データ格納部１２２に保持させておく。

そして、表示更新部１２３は、データ格納部１２２からＳ１２において受信したレイヤデータを読み出し、表示対象のレイヤデータを更新し、データ格納部１２２に格納する（Ｓ１３）。表示対象のレイヤデータとは、受信したレイヤデータのうち、各領域情報の中で、時系列情報が最も新しいことを示しているレイヤデータである。なお、表示対象のレイヤデータは、データ格納部１２２に保持させておく。

なお、処理開始直後に、分割されたすべてのレイヤデータを受信した場合は、表示更新部１２３は、すべてのレイヤデータをデータ格納部１２２に保持させる。また、顔の部位の一部に対応するレイヤデータを受信した場合、表示対象としてすでに保持されているレイヤデータのうち、受信したレイヤデータと領域情報が同一であるものを入れ替える。すなわち、領域情報が同一のレイヤデータごとに、時系列情報が古いレイヤデータと時系列情報が新しいレイヤデータとを入れ替え、表示対象のレイヤデータをデータ格納部１２２に格納しておく。

その後、画像出力部１２４は、データ格納部１２２から表示対象のレイヤデータを読み出し、ディスプレイ等の表示装置に表示させる。一方、音声出力部１２５も、データ格納部１２２から音データを読み出し、スピーカ等の音声出力装置に出力させる（Ｓ１４）。
なお、画像出力部１２４は、表示対象のレイヤデータを、領域情報に基づき所定の順序で重ね合わせ、１つの画像データとして出力する。例えば、仮想的な奥行き方向の奥から手前に向けて、背景のレイヤデータ、首のレイヤデータ、顔のレイヤデータ、耳のレイヤデータ、口のレイヤデータ、目のレイヤデータの順ですべてのレイヤデータを重ね合わせ、１枚の画像データを出力する。以上で、当該レイヤデータについての受信処理が終了し、新たに受信するレイヤデータに対して、受信処理をＳ１２の処理から繰り返す。

なお、本実施の形態における画像出力及び音声出力は、バッファを用いて同期させることができる。リアルタイム通信におけるスループットは、送信側の演算性能、データ転送レート、受信側の演算性能に因るところが大きい。しかし、例えば、音データに１パケット程度、到着の遅れが生じたとしても、バッファを利用して出力タイミングを同期させることができる。すなわち、唇の動きと発声のタイミングを同期させることができる。

本実施の形態の受信処理は、レイヤごとに受信するため、画像データ全体を受信するような場合よりもデータの通信量が軽減される。特に、画像処理による加工後のレイヤデータを送信するため、撮影された画像データには変化がある場合であっても、画像処理後のレイヤデータにはその変化が表れないようなときに、データの通信量がより減少するという効果がある。また、画像データごとに差がある領域を抽出して送受信するような場合よりも、レイヤごとに入れ替えるほうが処理にかかる負荷は軽くなる。すなわち、複数のレイヤは、表示させる位置をシフトさせるような処理を行うことなく、例えば左上の座標を原点とする等のように、所定の座標を基準として単純に重ね合わせることができる。したがって、本実施の形態によれば、処理の遅延や処理の一部省略を低減させることができる。

＜通信量と処理負荷について＞
次に、通信量と処理負荷について、本実施の形態の利点を説明する。以下では、（１）画像データ全体を送信する場合、（２）画像データのうち変化した領域を抽出して送信する場合、及び上で述べた（３）本実施の形態による場合について、例えば携帯電話機のような処理性能の比較的低い装置で処理を行うとき、又はデータ転送レートの低いネットワークにおいて通信を行うときの有利な点・不利な点について検討する。

まず、理想的なフレームレート（すなわち、映像データの更新周期）について検討する。ヴェルトハイマー（Max Wertheimer）の光点明滅の実験によれば、人間は６０ミリ秒〜１００ミリ秒間隔で２つの光点が交互に点滅する場合、光点が滑らかに移動しているように認識するとされている。したがって、表示される画像は、６０ミリ秒〜１００ミリ秒程度の間隔で更新されることが好ましい。フレームの推移（時間の経過）に対する理想的なデータ通信量をグラフに示すと、例えば図１７のようになる。

図１７は、フレームの推移（時間の経過）に対する理想的なデータ通信量の変化を模式的に表したグラフである。図１７のグラフは、縦軸がデータ通信量を、横軸がフレームの推移（時間の経過）を表している。なお、フレームレートは、例えば３０フレーム／秒である。そして、図１７では、毎フレームにおいてデータが送信されている。よって、受信側も同様の間隔で映像の表示を更新すれば、ユーザの目には映像が十分滑らかに動いて見えると考えられる。同時に、データ転送レートが比較的低いネットワークにおいても遅延なく送信できる程度に、データの通信量が抑えられることが好ましい。

（１）画像データ全体を送信する場合
送信側で取得した画像データ全体を送信し、受信側では受信した順に画像データ全体を書き換えて表示する場合について検討する。

図１８は、画像データ全体を送信する場合の、フレームの推移に対するデータ通信量の変化を模式的に表したグラフである。図１８の例では、変化した領域を特定するような処理を行わないぶん送信側の処理負荷は軽くなる。よって、毎フレームにおいて画像データを送信することができている。以上より、メリットとしては、映像がなめらかになること、並びに送信側及び受信側ともに処理の負荷が軽いことが挙げられる。一方、画像データ全体が送信されるため、データの通信量は、各フレームにおいてほぼ一定になり、画像の一部を送信するような場合よりも総じてデータの通信量は大きくなる。よって、デメリットとしては、データの通信量が大きくなることが挙げられる。

（２）変化した領域を抽出して送信する場合
次に、送信側で、新たに取得した画像データとその前のフレーム（すなわち、画像データ）と比較して、変化のあった領域を抽出し、変化のあった領域の画像データとその座標とを送信する場合について検討する。変化した領域を抽出して送信する処理は、例えば図１９に示すような手順により行われる。まず、送信側において、撮像された画像データを走査し（１９ａ）、画素単位又は複数の画素を含むブロック単位で、新たに取得した画像データと１つ前のフレームとに差異があるか比較する（１９ｂ）。差異が検出された場合は、変化した領域を抽出し、その領域を示す座標とともに送信する（１９ｃ）。一方、受信側では、受信した領域と座標とを用いて、対応する領域を１つ前のフレームにから削除するとともに受信した領域を１つ前のフレームに挿入し（１９ｄ）、新たな画像データを生成する。

図２０は、変化した領域を抽出して送信する場合の、フレームの推移に対するデータ通信量の変化を模式的に表したグラフである。図２０の例では、処理開始時には１つ前のフレームが存在しないため、差分の領域でなく画像データ全体が送信される。よって、最初のフレームのデータ通信量は、後のフレームのデータ通信量よりも大きい。一方、後のフレームでは、差分を抽出して送信する。よって、例えば被写体である人物が話をしているような状況であれば、データ通信量（すなわち、画像が変化する領域）は、画像全体を送信するような場合と比べると小さくなる。したがって、変化した領域を抽出して送信する場合のメリットとしては、データ通信量が抑えられることが挙げられる。

また、送信側では、画像データから差分を抽出するための処理が、受信側では、差分を用いて画像データを更新する処理が実行される。特に送信側では、差分を検出するために、精密な比較により更新対象の領域を求めるため、画像データ全体を送信するような場合よりも処理負荷が大きい。よって、特に携帯電話機のような、処理能力の比較的低い装置では、数フレームに１回程度の頻度でしかデータを送信できなくなるおそれがある（すなわち、フレームレートが下がるおそれがある）。したがって、デメリットとしては、画像データ全体をそのまま送信するような場合よりも処理負荷が大きくなること、及びフレームレートが下がるおそれがあることが挙げられる。

（３）本実施の形態による場合
図２１は、本実施の形態による場合の、フレームの推移に対するデータ通信量の変化を模式的に表したグラフである。図２１の例でも、処理開始時には、１つ前のフレームが存在しないため、すべてのレイヤデータを送信する。したがって、最初のフレームのデータ通信量は、後のフレームのデータ通信量よりも大きくなっている。後のフレームでは、差分の検出されたレイヤデータを送信する。よって、被写体の人物が話をしているような状況であれば、データ通信量（すなわち、変化したレイヤデータのサイズ）は、画像全体を送信するような場合よりも小さくなる。一方、変化した領域だけでなく所定のフレーム単位で送信するため、変化した領域を抽出するような場合よりもデータ通信量は大きくなる。

また、レイヤデータを生成する処理を行うため、画像データ全体をそのまま送信するような場合よりも処理負荷は大きい。しかし、画像データをレイヤデータに展開し、レイヤごとに変化の有無を判断するが、変化した領域の特定まではしないため、画像データから変化した領域を抽出する場合よりも処理負荷は小さくなる。すなわち、フレームレートは、画像データ全体を送信する場合よりも低く、変化した領域を抽出して送信する場合よりも高くなっている。

実際は画像の変化の程度に応じてデータ通信量も変化するが、おおむね以上のようになる。本実施の形態による場合は、画像データ全体を送信する場合や変化した領域を抽出して送信する場合と比較して、データ通信量及び処理負荷のバランスが取れた手法であると言える。したがって、ネットワークのデータ転送レートが低く、且つ通信装置の処理性能も低いような場合に、本実施の形態による手法は特に適している。また、音声についても、所定レベル以上の入力を検知した場合に送信するようにすれば、データ転送量を抑えることができる。

＜変形例＞
次に、レイヤ生成部１１４が生成したレイヤデータと、受信部１２１が受信したレイヤデータとを合成して、合成後の画像データを画像出力部１２４が出力する実施の形態について説明する。本実施の形態では、図２２に示すような通信装置３を採用する。

図２２に、本実施の形態に係る通信装置３の機能ブロック図の一例を示す。なお、通信装置３が有する機能ブロックのうち、先に説明した通信装置１が有する機能ブロックと同一の機能を果たすものについては、同一の符号を付している。

通信装置３は、送信部３１と受信部３２とを有する。そして、送信部３１は、画像入力部１１１と、音声入力部１１２と、データ格納部１１３と、レイヤ生成部１１４と、画像処理部１１５と、設定格納部１１６と、差異判定部１１７と、送信部１１８とを有する。これらの機能は、通信装置１の送信装置１１と同様である。なお、データ格納部１１３は、受信装置３２の表示更新部３２３と接続されている。

受信装置３２は、受信部１２１と、データ格納部１２２と、表示更新部３２３と、画像出力部１２４と、音声出力部１２５とを有する。表示更新部３２３は、送信装置３１のレイヤ生成部１１４が生成したレイヤデータをデータ格納部１１３から読み出し、また、受信装置３２の受信部１２１が受信したレイヤデータをデータ格納部１２２から読み出し、読み出したレイヤデータを合成して、表示対象の画像データを生成する。その他の機能は、すでに説明した通信装置１と同様である。

すなわち、本実施の形態における通信装置３は、通信相手の通信装置３に送信するレイヤデータと、通信相手の通信装置３から受信したレイヤデータとを合成して、１つの映像を表示する。このレイヤデータの合成について、図２３を用いて説明する。

図２３は、送信対象のレイヤデータと受信したレイヤデータとの合成を説明するための図である。例えば、レイヤデータ２３ａは、ある通信装置３で生成され、通信相手の通信装置３に送信されるレイヤデータである。また、レイヤデータ２３ｂは、ある通信装置３が、通信相手の通信装置３から受信したレイヤデータである。なお、図２３のレイヤデータは、便宜上、背景のレイヤデータ以外を重ね合わせて表している。本実施の形態では、レイヤデータ２３ａ及び２３ｂを所定の順序で重ね合わせ、レイヤデータ２３ｃに示すような合成後の画像データを出力する。レイヤデータを重畳する順序は、予め定めておいてもよいし、例えば顔のレイヤデータから特定される顔の輪郭に基づいて、顔がより大きく撮影されている人物が手前に表示されるように順序を入れ替えてもよい。なお、背景のレ
イヤデータは、いずれかの通信装置３が生成したものを採用してもよいし、予め用意された別の画像を用いるようにしてもよい。

＜送受信処理＞
次に、映像データを送受信する処理について説明する。送受信処理は、通信装置３の送信装置３１及び受信装置３２により実行される。

図２４及び２５に、本実施の形態に係る送受信処理の処理フローの一例を示す。まず、送信装置３１のレイヤ生成部１１４は、データ格納部１１３に新たな画像データが格納されたか判断する（図２４：Ｓ２１）。すなわち、送信装置３１の画像入力部１１１が、カメラ等を介して新たな画像データを取得し、データ格納部１１３に格納したか判断する。

新たな画像が格納されていないと判断された場合（Ｓ２１：Ｎｏ）、結合子Ａを介して図２５のＳ３１の処理に遷移する。一方、新たな画像が取得されたと判断された場合（Ｓ２１：Ｙｅｓ）、Ｓ２２〜Ｓ３１の処理を実行する。なお、Ｓ２２〜Ｓ３０の処理は、図４のＳ２〜Ｓ１０の処理と同様なので、説明を省略する。

Ｓ２９において、差異のあるレイヤが存在すると判断された場合（Ｓ２９：Ｙｅｓ）、送信装置３１の送信部１１８は、差異があると判断されたレイヤ（すなわち、変化後のレイヤデータ）を通信相手の通信装置３に送信する。同時に、受信装置３２の表示更新部３２３は、差異があると判断されたレイヤをデータ格納部１１３から読み出し、データ格納部１２２に格納する（Ｓ３１）。ここでは、データ格納部１２２に保持されている表示対象のレイヤデータを更新する。

具体的には、表示対象としてデータ格納部１２２に保持されているレイヤデータのうち、Ｓ３１で読み出したレイヤデータと領域情報が同一であるものを入れ替える。すなわち、領域情報が同一のレイヤデータごとに、時系列情報が古いレイヤデータと時系列情報が新しいレイヤデータとを入れ替え、入れ替えた後のレイヤデータ（すなわち、表示対象のレイヤデータ）をデータ格納部１２２に格納する。そして、Ｓ３１の後、処理は結合子Ａを介して図２５のＳ３２に遷移する。

次に、図２５の処理について説明する。図２４のＳ２１において新たな画像が格納されていないと判断された場合（Ｓ２１：Ｎｏ）、Ｓ３０又はＳ３１の後、受信装置３２の表示更新部３２３は、データ格納部１２２に新たなレイヤデータが格納されたか判断する（図２５：Ｓ３２）。すなわち、受信装置３２の受信部１２１が、通信相手の通信装置３から新たなレイヤデータを受信し、データ格納部１２２に格納したか判断する。

新たなレイヤデータが格納されていないと判断された場合（Ｓ３２：Ｎｏ）、一連の送受信処理が終了し、新たに取得される画像データ又は新たに受信されるレイヤデータに対して送受信処理をＳ２１（図２４）から繰り返す。

一方、新たなレイヤデータが格納されたと判断された場合（Ｓ３２：Ｙｅｓ）、表示更新部３２３は、データ格納部１２２から受信されたレイヤデータを読み出し、表示対象のレイヤデータを更新し、データ格納部１２２に格納する（Ｓ３３）。ここでは、表示対象としてすでに保持されているレイヤデータのうち、受信したレイヤデータと領域情報が同一であるものを入れ替える。すなわち、領域情報が同一のレイヤデータごとに、時系列情報が古いレイヤデータと時系列情報が新しいレイヤデータとを入れ替え、表示対象のレイヤデータをデータ格納部１２２に格納する。

その後、画像出力部１２４は、データ格納部１２２から表示対象のレイヤデータを読み
出し、ディスプレイ等の表示装置に表示させる。ここでは、通信相手の通信装置３に送信するレイヤデータと、通信相手の通信装置３から受信したレイヤデータとが読み出され、これらが合成されて表示される。また、音声出力部１２５も、データ格納部１２２から音データを読み出し、スピーカ等の音声出力装置に出力させる（Ｓ３４）。以上で、一連の送受信処理が終了し、新たに取得される画像データ又は新たに受信されるレイヤデータに対して送受信処理をＳ２１（図２４）から繰り返す。

このような変形例によれば、すでに述べたような効果に加えて、通信をするユーザ同士を仮想的な１つの空間に表示する、テレビ電話システム等を提供することができる。なお、１つの空間に合成せず、通信相手に送信するレイヤデータと通信相手から受信したレイヤデータとを、それぞれ分離した領域に表示させるようにしてもよい。また、このようなシステムにおいて、複数のユーザが表示された静止画をデータファイルとして保存できるようにしてもよいし、複数のユーザが表示された動画をデータファイルとして保存できるようにしてもよい。さらに、実施の形態に係るシステムの入出力ＩＦが出力装置であるプリンタに接続される場合、保存した静止画データを所定の用紙やシール等に印刷することもできる。

《コンピュータが読み取り可能な記録媒体》
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ブルーレイディスク、ＤＡＴ、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ（リードオンリーメモリ）等がある。

以上の実施の形態に関し、さらに以下の付記を開示する。

（付記１）
画像データから所定の領域を特定し、当該画像データのうち特定された前記所定の領域が含まれる部分画像を生成し、前記所定の領域を示す領域情報と前記部分画像とを関連付けてデータ格納部に格納する部分画像生成部と、
前記領域情報に関連付けられて定められている画像処理を、前記領域情報に関連付けてデータ格納部に格納された前記部分画像に対して実行する画像処理部と、
処理後の部分画像と、当該処理後の部分画像よりも前に生成された、処理後の部分画像との差異の有無を判定する差異判定部と、
差異があると判定された場合に、前記画像処理部によって前記画像処理が実行された前記部分画像を送信する送信部と
を有する送信装置。

（付記２）
前記部分画像は、当該部分画像が含まれる平面上の所定の座標を基準として、他の部分画像と重ね合わせて表示することが可能なレイヤで表される
付記１に記載の送信装置。

（付記３）
前記領域情報に関連付けて、前記画像処理を示す画像処理情報と、当該画像処理を適用する位置を示す位置情報とを格納する設定格納部を有し、
前記画像処理部は、前記部分画像に付されている前記領域情報と同一の領域情報に関連付けられている画像処理情報及び位置情報を前記設定情報格納部から読み出し、前記位置情報が示す位置に、前記画像処理情報が示す画像処理を適用する
付記１又は２に記載の送信装置。

（付記４）
前記部分画像生成部は、前記画像データを走査して、前記被写体である人物の顔の部位を示すパターンを検出し、検出された前記人物の顔に含まれる部位の位置に基づいて、当該部位が含まれる部分画像を生成する
付記１ないし３のいずれか１項に記載の送信装置。

（付記５）
前記画像処理は、部分画像に含まれる画像データの形状、色彩若しくは位置の変更、画像の描画、若しくは部分画像に対するフィルタ処理又はこれらの組み合わせである
付記１ないし４のいずれか１項に記載の送信装置。

（付記６）
画像データから特定された所定の領域を含み、当該所定の領域を示す領域情報と関連付けられている部分画像であって、所定の画像処理が実行された後の部分画像を受信する受信部と、
表示対象の部分画像を記憶している記憶部と、
受信された前記部分画像と同一の前記領域情報が付されており、且つ受信された前記部分画像よりも前に生成されたことを示す時系列情報が付されている部分画像の代わりに、受信された前記部分画像を、前記表示対象の部分画像として前記記憶部に記憶させる表示更新部と、
を有する受信装置。

（付記７）
画像データから所定の領域を特定し、当該画像データのうち特定された前記所定の領域が含まれる部分画像を生成し、前記所定の領域を示す領域情報と前記部分画像とを関連付けて第１の記憶部に格納する部分画像生成部と、
前記領域情報に関連付けられて定められている画像処理を、前記領域情報に関連付けられて格納された前記部分画像に対して実行する画像処理部と、
処理後の部分画像と、当該処理後の部分画像よりも前に生成された処理後の部分画像との差異の有無を判定する差異判定部と、
差異があると判定された部分画像を記憶する第１の記憶部と、
画像データから特定された所定の領域を含み、当該所定の領域を示す領域情報と関連付けられた部分画像であって、所定の画像処理が実行された後の部分画像を受信する受信部と、
受信した部分画像を記憶する第２の記憶部と、
前記第１の記憶部に格納されている、差異があると判定された部分画像と、前記第２の記憶部に格納されている部分画像とを重畳して表示させるための情報を生成する表示更新部と
を有する通信装置。

（付記８）
画像データから所定の領域を特定し、当該画像データのうち特定された前記所定の領域が含まれる部分画像を生成し、前記所定の領域を示す領域情報と前記部分画像とを関連付
けてデータ格納部に格納するステップと、
前記領域情報に関連付けられて定められている画像処理を、前記領域情報に関連付けてデータ格納部に格納された前記部分画像に対して実行するステップと、
処理後の部分画像と、当該処理後の部分画像よりも前に生成された、処理後の部分画像との差異の有無を判定するステップと、
差異があると判定された場合に、前記画像処理部によって前記画像処理が実行された前記部分画像を送信するステップと
をコンピュータに実行させるためのデータ送信プログラム。

（付記９）
画像データから所定の領域を特定し、当該画像データのうち特定された前記所定の領域が含まれる部分画像を生成し、前記所定の領域を示す領域情報と前記部分画像とを関連付けて第1の記憶部に格納するステップと、
前記領域情報に関連付けられて定められている画像処理を、前記領域情報に関連付けられて格納された前記部分画像に対して実行するステップと、
処理後の部分画像と、当該処理後の部分画像よりも前に生成された処理後の部分画像との差異の有無を判定するステップと、
画像データから特定された所定の領域を含み、当該所定の領域を示す領域情報と関連付けられた部分画像であって、所定の画像処理が実行された後の部分画像を受信するステップと、
差異があると判定された前記部分画像と、前記受信した部分画像とを重畳して表示させるための情報を生成するステップと
をコンピュータに実行させるためのデータ通信プログラム。

（付記１０）
画像データから所定の領域を特定し、当該画像データのうち特定された前記所定の領域が含まれる部分画像を生成し、前記所定の領域を示す領域情報と前記部分画像とを関連付けてデータ格納部に格納するステップと、
前記領域情報に関連付けられて定められている画像処理を、前記領域情報に関連付けてデータ格納部に格納された前記部分画像に対して実行するステップと、
処理後の部分画像と、当該処理後の部分画像よりも前に生成された、処理後の部分画像との差異の有無を判定するステップと、
差異があると判定された場合に、前記画像処理部によって前記画像処理が実行された前記部分画像を送信するステップと
を含むデータ送信方法。

（付記１１）
画像データから所定の領域を特定し、当該画像データのうち特定された前記所定の領域が含まれる部分画像を生成し、前記所定の領域を示す領域情報と前記部分画像とを関連付けて第1の記憶部に格納するステップと、
前記領域情報に関連付けられて定められている画像処理を、前記領域情報に関連付けられて格納された前記部分画像に対して実行するステップと、
処理後の部分画像と、当該処理後の部分画像よりも前に生成された処理後の部分画像との差異の有無を判定するステップと、
画像データから特定された所定の領域を含み、当該所定の領域を示す領域情報と関連付けられた部分画像であって、所定の画像処理が実行された後の部分画像を受信するステップと、
差異があると判定された前記部分画像と、前記受信した部分画像とを重畳して表示させるための情報を生成するステップと
を含むデータ通信方法。

１（１ａ，１ｂ） ３ 通信装置
２ ネットワーク
１１ ３１ 送信装置
１２ ３２ 受信装置
１１１ 画像入力部
１１２ 音声入力部
１１３ データ格納部
１１４ レイヤ生成部
１１５ 画像処理部
１１６ 設定格納部
１１７ 差異判定部
１１８ 送信部
１２１ 受信部
１２２ データ格納部
１２３ ３２３ 表示更新部
１２４ 画像出力部
１２５ 音声出力部

Claims (7)

1. 画像データから所定の領域を特定し、当該画像データのうち特定された前記所定の領域が含まれる部分画像を生成し、前記所定の領域を示す領域情報と前記部分画像とを関連付けてデータ格納部に格納する部分画像生成部と、
   前記領域情報に関連付けられて定められている画像処理を、前記領域情報に関連付けてデータ格納部に格納された前記部分画像に対して実行する画像処理部と、
   処理後の部分画像と、当該処理後の部分画像よりも前に生成された、処理後の部分画像との差異の有無を判定する差異判定部と、
   差異があると判定された場合に、前記画像処理部によって前記画像処理が実行された前記部分画像を送信する送信部と
   を有し、
   前記部分画像生成部は、前記画像データを走査して、被写体である人物の顔の部位を示すパターンを検出し、検出された前記人物の顔に含まれる部位の位置に基づいて、当該部位が含まれる部分画像を、前記人物の顔の部位ごとに生成する
   送信装置。
2. 前記部分画像は、当該部分画像が含まれる平面上の所定の座標を基準として、他の部分画像と重ね合わせて表示することが可能なレイヤで表される
   請求項１に記載の送信装置。
3. 前記領域情報に関連付けて、前記画像処理を示す画像処理情報と、当該画像処理を適用する位置を示す位置情報とを格納する設定格納部を有し、
   前記画像処理部は、前記部分画像に付されている前記領域情報と同一の領域情報に関連付けられている画像処理情報及び位置情報を前記設定格納部から読み出し、前記位置情報が示す位置に、前記画像処理情報が示す画像処理を適用する
   請求項１又は２に記載の送信装置。
4. 前記画像処理部は、所定の部分画像を拡大する画像処理を実行し、
   前記レイヤを重ね合わせて、前記所定の部分画像を前記他の部分画像よりも拡大した画像を表示できるようにする
   請求項２に記載の送信装置。
5. 画像データから所定の領域を特定し、当該画像データのうち特定された前記所定の領域が含まれる部分画像を生成し、前記所定の領域を示す領域情報と前記部分画像とを関連付けて第1の記憶部に格納する部分画像生成部と、
   前記領域情報に関連付けられて定められている画像処理を、前記領域情報に関連付けられて格納された前記部分画像に対して実行する画像処理部と、
   処理後の部分画像と、当該処理後の部分画像よりも前に生成された処理後の部分画像との差異の有無を判定する差異判定部と、
   差異があると判定された部分画像を記憶する第１の記憶部と、
   画像データから特定された所定の領域を含み、当該所定の領域を示す領域情報と関連付けられた部分画像であって、所定の画像処理が実行された後の部分画像を受信する受信部と、
   受信した部分画像を記憶する第２の記憶部と、
   前記第１の記憶部に格納されている、差異があると判定された部分画像と、前記第２の記憶部に格納されている部分画像とを重畳して表示させるための情報を生成する表示更新部と
   を有し、
   前記部分画像生成部は、前記画像データを走査して、被写体である人物の顔の部位を示すパターンを検出し、検出された前記人物の顔に含まれる部位の位置に基づいて、当該部位が含まれる部分画像を、前記人物の顔の部位ごとに生成する通信装置。
6. 画像データから所定の領域を特定し、当該画像データのうち特定された前記所定の領域が含まれる部分画像を生成し、前記所定の領域を示す領域情報と前記部分画像とを関連付けてデータ格納部に格納する部分画像生成ステップと、
   前記領域情報に関連付けられて定められている画像処理を、前記領域情報に関連付けてデータ格納部に格納された前記部分画像に対して実行するステップと、
   処理後の部分画像と、当該処理後の部分画像よりも前に生成された、処理後の部分画像との差異の有無を判定するステップと、
   差異があると判定された場合に、前記画像処理が実行された前記部分画像を送信するステップと
   をコンピュータに実行させ、
   前記部分画像生成ステップにおいて、前記コンピュータに、前記画像データを走査させ、被写体である人物の顔の部位を示すパターンを検出させ、検出された前記人物の顔に含まれる部位の位置に基づいて、当該部位が含まれる部分画像を、前記人物の顔の部位ごとに生成させる
   データ送信プログラム。
7. 画像データから所定の領域を特定し、当該画像データのうち特定された前記所定の領域が含まれる部分画像を生成し、前記所定の領域を示す領域情報と前記部分画像とを関連付けてデータ格納部に格納する部分画像生成ステップと、
   前記領域情報に関連付けられて定められている画像処理を、前記領域情報に関連付けてデータ格納部に格納された前記部分画像に対して実行するステップと、
   処理後の部分画像と、当該処理後の部分画像よりも前に生成された、処理後の部分画像との差異の有無を判定するステップと、
   差異があると判定された場合に、前記画像処理が実行された前記部分画像を送信するステップと
   をコンピュータが実行し、
   前記部分画像生成ステップにおいて、前記コンピュータは、前記画像データを走査して、被写体である人物の顔の部位を示すパターンを検出し、検出された前記人物の顔に含ま
   れる部位の位置に基づいて、当該部位が含まれる部分画像を、前記人物の顔の部位ごとに生成する
   データ送信方法。

Images