JPWO2006120840A1

JPWO2006120840A1 - 映像コミュニケーションシステム、端末、および画像変換装置

Info

Publication number: JPWO2006120840A1
Application number: JP2007528133A
Authority: JP
Inventors: 塚田　正人; 正人塚田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2005-05-12
Filing date: 2006-04-17
Publication date: 2008-12-18
Anticipated expiration: 2026-04-17
Also published as: US20090122130A1; JP5003488B2; WO2006120840A1; US8164613B2

Abstract

携帯電話機の画像入力部（５７）は、話者の顔の画像を撮影し、撮影した画像データを画像メモリ（５３）に記憶させる。コミュニケーション画像生成部（５２）は、画像メモリ（５３）に記憶された画像データを読み込み、その画像データを、話者がイラスト的に表されたイラスト画像データに変換する。コミュニケーション画像生成部（５２）は、イラスト画像データを画像メモリ（５３）に記憶させる。中央コントロール部（５１）は、イラスト画像データを画像メモリ（５３）から読み込み、無線部（５４）およびアンテナ（５９）によってイラスト画像データを送信する。通話相手の携帯電話機は、イラスト画像データを受信し、その画像データに基づいて話者のイラスト的な画像を表示する。

Description

本発明は、テレビ電話機等の端末間で撮影対象の画像データを送受信する映像コミュニケーションシステム、並びに映像コミュニケーションシステムに適用される端末および画像変換装置に関する。

テレビ電話サービスが一般的になりつつある。また、テレビ電話サービスの一態様として、アニメーションキャラクター（以下、アニメキャラと称す）やアバターを通話相手のテレビ電話機に表示させる態様がある。通話相手のテレビ電話機が携帯電話機である場合のアニメキャラの例が、例えば、非特許文献１に示されている。

また、特許文献１には、カメラで撮影した話者の顔に基づいて仮想のキャラクター（以下、仮想キャラと称す）を生成し、仮想キャラの画像データを通話相手に送信するテレビ電話機が記載されている。特許文献１に記載の技術では、テレビ電話機は、カメラで撮影された顔画像からどの領域が顔であるのかを認識し、さらに、顔画像から眉、目、鼻、口といった特徴点を抽出して仮想キャラを生成する。

ところで、画像データの表現形式としては、ＲＧＢ表現が知られている。また、色空間としては、ＨＳＶ色空間や、均等色空間ＬＣＨ等が知られている。ＲＧＢ表現とＨＳＶ表現との変換は、例えば、非特許文献２に記載されている。

また、非特許文献３には、Ｌ^＊ａ^＊ｂ^＊表現とＬ^＊Ｃ^＊ａｂｈａｂ表現との変換や、Ｌ^＊ｕ^＊ｖ^＊表現とＬ^＊Ｃ^＊ｕｖｈｕｖ表現との変換が記載されている。Ｃ^＊ａｂやＣ^＊ｕｖは、均等色空間ＬＣＨにおける“Ｃ”の要素に相当し、ｈａｂやｈｕｖは、均等色空間ＬＣＨにおける“Ｈ”の要素に相当する。

しかしながら、通話相手のテレビ電話機にアニメキャラやアバターを表示させる通信態様では、話者が本当に本人であることを通話相手に伝えにくいという課題がある。

また、通話相手によっては、コミュニケーションに悪影響を及ぼすという課題がある。例えば、上司等の目上の人物が通話相手である場合に、アニメキャラやアバターを上司等のテレビ電話機に表示させると、話者が不真面目であると上司等に判断されかねない。

また、アニメキャラやアバターでは、話者の微妙な表情や、話者の存在場所などの環境を伝えることが困難であるという課題がある。

これらの課題を改善し、より良好なコミュニケーションを可能とすることが好ましい。

また、特許文献１に記載された技術では、どの領域が顔であるのかを認識し、さらに、特徴点を抽出する等の処理が必要となるため、処理負荷が高くなるという課題がある。したがって、話者の表情の変化をリアルタイムに伝えるためには、高性能のＣＰＵが必要となり、コストが上昇する。
特開２００４−２８９２５４号公報（段落００１７−００２５） "９００ｉシリーズの「キャラ電」でできること"、［ｏｎｌｉｎｅ］、平成１６年１月２３日、アイティメディア株式会社、［平成１７年４月１９日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｉｔｍｅｄｉａ．ｃｏ．ｊｐ／ｍｏｂｉｌｅ／ａｒｔｉｃｌｅｓ／０４０１／２３／ｎｅｗｓ０２８．ｈｔｍｌ＞アルビー・レイ・スミス（ＡｌｖｙＲａｙＳｍｉｔｈ），「カラーギャメットトランスフォームペアーズ（ＣＯＬＯＲＧＡＭＵＴＴＲＡＮＳＦＯＲＭＰＡＩＲＳ）」，コンピュータグラフィックス（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ），Ｖｏｌ．１２，ｐｐ．１２−１９，１９７８年高木幹雄、下田陽久，「新編画像解析ハンドブック」，東京大学出版会，２００４年９月１０日，ｐ．５５２−５５５

そこで、本発明の目的は、テレビ電話機等の端末の話者が、通話相手との間でより良好なコミュニケーションを実現することができる映像コミュニケーションシステム、端末、および画像変換装置を提供することにある。

また、本発明の他の目的は、話者の微妙な表情や、話者の存在場所などの環境を伝えるための処理負荷を低減することができる映像コミュニケーションシステム、端末、および画像変換装置を提供することにある。

本発明の第１の態様による映像コミュニケーションシステムは、
撮影対象の画像データを送信する第１の端末と、第１の端末が送信した画像データを受信する第２の端末とを有する映像コミュニケーションシステムであって、
第１の端末は、
撮影対象の画像データを、撮影対象に含まれる画像特徴量を少なくとも用いて、撮影対象を絵画的に表す画像データに変換する画像データ変換手段を有し、
第２の端末は、
画像データ変換手段によって変換された画像データに基づいて画像を表示する画像表示手段を有することを特徴とする。

以上のような映像コミュニケーションシステムによれば、第１の端末の画像データ変換手段が、撮影対象の画像データを、撮影対象に含まれる画像特徴量を少なくとも用いて撮影対象を絵画的に表す画像データに変換し、第２の端末の画像表示手段が、画像データ変換手段によって変換された画像データに基づいて画像を表示する。

従って、撮影対象を絵画的に表す画像を第２の端末に表示させることができる。その結果、第１の端末の話者が本人であることを第２の端末の話者に伝えることができる。また、第２の端末の話者が目上の者であったとしても不真面目な印象を与えることがない。よって、良好なコミュニケーションを実現することができる。

なお、第１の端末は、
撮影対象の画像を撮影し、撮影対象の画像データを生成する画像データ生成手段をさらに有し、
画像データ変換手段は、画像データ生成手段によって生成された画像データを変換する構成であってもよい。

また、第２の端末は、
第２の端末の話者の操作に応じて、第１の端末に対して、画像データの切替要求を送信する切替要求送信手段をさらに有し、
第１の端末は、
切替要求を受信したときに、切替要求に基づき画像データ変換手段における変換の程度を制御するか、あるいは、画像データ変換手段による変換を停止し、画像データ変換手段によって変換された画像データまたは画像データ生成手段によって生成された画像データを第２の端末に送信する送信データ切替手段をさらに有する構成であってもよい。

また、第１および第２の端末の話者に要求する通信料を計算するとともに、第２の端末から第１の端末に送信される切替要求を受信する料金管理サーバをさらに有し、
料金管理サーバは、
切替要求を受信した後に第１および第２の端末の話者に対して要求する通信料を計算する通信料計算手段を有する構成であってもよい。

また、画像データ変換手段は、撮影対象の画像データにおける色の数を減少させて、画像データを、撮影対象を絵画的に表す画像データに変換する構成であってもよい。

また、画像データ変換手段は、撮影対象の画像データにおける各画素毎に変換を行う構成であってもよい。

そのような構成によれば、各画素毎に変換を行うので、特定の領域を認識する等の処理を行う必要がなく、処理負荷を低減することができる。

本発明の第２の態様による映像コミュニケーションシステムは、
撮影対象の画像データを送信する第１の端末と、第１の端末が送信した画像データを受信し、画像データを変換する画像変換装置と、画像変換装置によって変換された画像データを受信する第２の端末とを有する映像コミュニケーションシステムであって、
画像変換装置は、
撮影対象の画像データを、撮影対象に含まれる画像特徴量を少なくとも用いて、撮影対象を絵画的に表す画像データに変換する画像データ変換手段を有し、
第２の端末は、
画像データ変換手段によって変換された画像データに基づいて画像を表示する画像表示手段を有することを特徴とする。

本発明の第１の実施形態の映像コミュニケーションシステムの構成を示す図である。本発明の第１の実施形態に係る携帯電話きのうち話者をイラスト的に表した画像データを生成して他の携帯電話機に送信する携帯電話機の構成例を示すブロック図である。本発明の第１の実施形態に係るコミュニケーション画像生成部の構成例を示すブロック図である。本発明の第１の実施形態に係る携帯電話機のうち画像データを生成して他の携帯電話機に送信する携帯電話機の動作例を説明するフローチャートである。ＨＳＶ色空間を説明する図である。畳み込み演算のカーネルｆ（ｉ，ｊ）の例を説明する図である。本発明の第１の実施形態の変形例１に係るコミュニケーション画像生成部の構成例を示すブロック図である。本発明の第１の実施形態の変形例２に係るコミュニケーション画像生成部の動作例を説明するフローチャートである。本発明の第１の実施形態の変形例２に係るコミュニケーション画像生成部により変換される代表色の変換例を説明する図である。本発明の第１の実施形態の変形例２に係るコミュニケーション画像生成部の他の動作例を説明するフローチャートである。本発明の第１の実施形態の変形例３の映像コミュニケーションシステムの構成を示す図である。本発明の第１の実施形態の変形例３に係る料金管理サーバの構成例を示すブロック図である。本発明の第１の実施形態の変形例３の映像コミュニケーションシステムにおける通信料の例を説明する図である。本発明の第２の実施形態に係る携帯電話機のうち画像データ受信側の携帯電話機の構成例を示すブロック図である。本発明の第３の実施形態の映像コミュニケーションシステムの構成を示す図である。本発明の第３の実施形態に係る画像変換サーバの構成例を示すブロック図である。本発明の第３の実施形態の変形例１に係る画像変換サーバの構成例を示すブロック図である。本発明の第３の実施形態の変形例１の映像コミュニケーションシステムにおける通信料の例を説明する図である。

以下、本発明を実施するための最良の形態について図面を参照して説明する。なお、以下の説明では、端末が携帯端末である場合を例に挙げて説明する。また、携帯端末には様々な種類があるが、以下の説明では、携帯端末が携帯電話機である場合を例に挙げて説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態の映像コミュニケーションシステムの構成を示す図である。

図１に示すように、本発明の第１の実施形態の映像コミュニケーションシステムは、携帯電話機５０，６０と、基地局９１，９２とを備える。

携帯電話機５０，６０は、話者等の撮影対象をイラスト的（絵画的）に表した画像データを送受信しながら、通話を行うことが可能である。

以下、説明の便宜上、携帯電話機５０が画像データを送信し、携帯電話機６０が画像データを受信して表示するものとする。携帯電話機６０は、通話時に携帯電話機５０から受信した画像データを表示可能な携帯電話機であればよい。

なお、「イラスト的（絵画的）」とは、撮影された画像の特徴を保持しつつ、画質を変化させることである。例えば、エッジ成分を保持したまま画像に含まれる色数を減少させることなどがこれに含まれる。

携帯電話機５０は、基地局９１と無線信号を送受信し、携帯電話機６０は、基地局９２と無線信号を送受信する。また、各基地局９１，９２は、ネットワーク９３を介して信号を送受信する。すなわち、各携帯電話機５０，６０は、基地局９１、ネットワーク９３および基地局９２を介して、信号（音声データや画像データ）を送受信する。

図２は、本発明の第１の実施形態に係る携帯電話機５０，６０のうち、話者をイラスト的に表した画像データを生成して他の携帯電話機６０に送信する携帯電話機５０の構成例を示す図である。

図２に示すように、携帯電話機５０は、中央コントロール部５１と、コミュニケーション画像生成部５２と、画像メモリ５３と、無線部５４と、スピーカ５５と、画像表示部５６と、画像入力部５７と、音声入力部５８と、アンテナ５９とを備える。

中央コントロール部５１は、携帯電話機５０全体を制御する。中央コントロール部５１は、例えば、プログラムに従って動作するＣＰＵによって実現される。プログラムは、ＲＯＭ等の記憶装置（図示せず）に予め記憶させておけばよい。

画像入力部５７は、例えば、カメラによって実現され、携帯電話機５０の話者の顔などの画像を撮影し、撮影により得られた画像データを画像メモリ５３に記憶させる。なお、画像入力部５７は、話者の動画像を撮影してもよいし、話者の静止画像を撮影してもよい。以下の説明では、画像入力部５７が話者の動画像を撮影し、動画像の画像データを画像メモリ５３に記憶させるものとする。

コミュニケーション画像生成部５２は、撮影により得られた画像データを画像メモリ５３から読み込み、その画像データを、イラスト的に表された画像データに変換する。そして、コミュニケーション画像生成部５２は、変換後の画像データを画像メモリ５３に記憶させる。以下、コミュニケーション画像生成部５２による変換前の画像データを撮影画像データと称し、変換後の画像をイラスト画像データと称す。コミュニケーション画像生成部５２は、撮影画像データ全体に対して、撮影画像データが示す画像の色数を減らすなどの処理を施し、イラスト的な画像のイラスト画像データに変換する処理を実行する。

画像メモリ５３は、撮影画像データおよびイラスト画像データを記憶する。

画像表示部５６は、中央コントロール部５１に従って、画像データを表示する。例えば、画像表示部５６は、他の携帯電話機６０に送信するイラスト画像データに基づいて画像を表示する。この結果、通話相手の携帯電話機６０にどのような画像が表示されているのかを、話者に示すことができる。

音声入力部５８は、例えば、マイクロフォンであり、話者の音声を入力する。

無線部５４は、中央コントロール部５１に従って、アンテナ５９を介して、イラスト画像データおよび音声データを他の携帯電話機６０に送信する（具体的には、基地局９１に送信する）。また、無線部５４は、アンテナ５９を介して、他の携帯電話機６０からの音声データ等を受信する。

スピーカ５５は、他の携帯電話機６０からの音声データに基づいて、通話相手（携帯電話機６０の話者）の音声を出力する。

図３は、本発明の第１の実施形態に係るコミュニケーション画像生成部５２の構成例を示すブロック図である。

図３に示すように、コミュニケーション画像生成部５２は、第１の色変換部２と、色度メモリ３２と、第１の明度メモリ３１と、フィルタリング部４と、第２の明度メモリ３３と、第２の色変換部５とを備える。

第１の色変換部２、フィルタリング部４、および第２の色変換部５は、携帯電話機５０に搭載され、ソフトウェアに従って動作するＣＰＵによって実現されてもよい。または、第１の色変換部２、フィルタリング部４、および第２の色変換部５は、それぞれ、ＣＰＵとは別個の専用ＬＳＩによって実現されてもよい。ただし、携帯電話機５０の生産コストを下げるためには、第１の色変換部２、フィルタリング部４、および第２の色変換部５を、ソフトウェアに従って動作するＣＰＵによって実現する方が、より好ましい。

撮影画像データ１は、画像入力部５７（図２参照）にて撮影されたカラー画像の画像データである。ここでは、撮影画像データ１が、ＲＧＢの三原色を用いたＲＧＢ表現によって表された画像データであるものとする。また、撮影画像データ１の各画素は、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）のそれぞれについて８ビットの値で表されているものとする。すなわち、各画素におけるＲ、Ｇ、Ｂは、０〜２５５の値をとるものとする。

イラスト画像データ６は、コミュニケーション画像生成部５２が撮影画像データ１に対して画像処理を行った結果、得られる画像データであり、絵画的な画像を示す画像データである。ここでは、イラスト画像データ６は、撮影画像データ１と同様に、各画素がＲＧＢで表現されたＲＧＢ表現の画像データであるものとする。

第１の色変換部２は、画像メモリ５３（図２参照）から撮影画像データ１を読み込む。そして、第１の色変換部２は、その撮影画像データ１の成分（撮影画像データ１を表現する成分。本例では、ＲＧＢ成分）を、画素毎に明度成分と色度成分とに変換する。このとき、第１の色変換部２は、明度が変化しても色度（飽和度および色相）が変化しない色空間あるいは色度の変化が少ない色空間における明度成分と色度成分に変換する。この結果、第１の色変換部２は、撮影画像データ１を明度成分と色度成分とに分離することになる。ここで、明度が変化しても色度の変化が少ない色空間とは、「明度が、明度の取り得る最大値になったときに、色度の範囲が０にならない（１点に収束しない）色空間」を意味するものとする。ＹＣｒＣｂ表現の色空間では、明度が、明度の取り得る最大値となったときに、色度の範囲が１点に収束し、白色しか表現できなくなる。よって、ＹＣｒＣｂ表現の色空間は、「明度が変化しても色度の変化が少ない色空間」に該当しない。同様に、Ｌ^＊ａ^＊ｂ^＊やＬ^＊ｕ^＊ｖ^＊表現の色空間も、「明度が変化しても色度の変化が少ない色空間」に該当しない。

また、ここでは、第１の色変換部２は、三原色のＲＧＢ表現で表された撮影画像データ１の各画素を、ＨＳＶ色空間における明度成分および色度成分に変換するものとして説明する。ＨＳＶ色空間は、明度が変化しても色度が変化しない色空間である。ＨＳＶ色空間における色度成分は、色相と飽和度とを含む。ＨＳＶ色空間における色相、飽和度、明度をそれぞれ、Ｈ、Ｓ、Ｖで表す。第１の色変換部２は、変換により得られる各画素の色相Ｈ、飽和度Ｓ、明度Ｖを、例えば８ビットの値（０〜２５５の値）で表す。以下、明度成分Ｖのデータからなる画像データを明度画像と称し、色度成分（色相Ｈおよび飽和度Ｓ）のデータからなる画像データを色度画像と称す。

第１の色変換部２は、変換処理によって得られた色度画像を色度メモリ３２に記憶させ、明度画像を第１の明度メモリ３１に記憶させる。

色度メモリ３２は、第１の色変換部２による変換処理で得られた色度画像を記憶する。

第１の明度メモリ３１は、第１の色変換部２による変換処理で得られた明度画像を記憶する。

フィルタリング部４は、第１の明度メモリ３１に記憶される明度画像（すなわち、明度Ｖのデータ）に対して、空間フィルタリング処理を行う。この結果、導出されるデータをＶ’とする。フィルタリング部４によるフィルタリング処理については後述する。フィルタリング部４は、フィルタリング処理によって導出されたデータＶ’を、第２の明度メモリ３３に記憶させる。

第２の明度メモリ３３は、フィルタリング部４が導出したデータＶ’を記憶する。

第２の色変換部５は、第２の明度メモリ３３に記憶されたデータＶ’を明度成分とし、このデータＶ’と、色度メモリ３２に記憶された色度画像（すなわち、色相Ｈおよび飽和度Ｓのデータ）とを用いて、第１の色変換部２の変換処理の逆変換処理を行う。すなわち、第２の色変換部５は、ＨＳＶ色空間における明度成分および色度成分で表された画像データを、ＲＧＢで表されるＲＧＢ表現の画像データに変換する。第２の色変換部５は、この逆変換処理により得られた画像データを、イラスト画像データ６として画像メモリ５３（図２参照）に記憶させる。

また、携帯電話機６０は、例えば、携帯電話機５０と同様に、中央コントロール部５１と、無線部５４と、スピーカ５５と、画像表示部５６と、音声入力部５８と、アンテナ５９とを備える構成である。携帯電話機６０の中央コントロール部５１は、無線部５４およびアンテナ５９によって、画像データや音声データを受信する。また、携帯電話機６０の中央コントロール部５１は、無線部５４およびアンテナ５９によって音声データ等の信号を送信する。また、携帯電話機６０の中央コントロール部５１は、受信した画像データに基づいて画像を画像表示部５６に表示する。

以下、第１の実施形態の映像コミュニケーションシステムの動作について説明する。

図４は、本発明の第１の実施形態に係る携帯電話機５０，６０のうち、イラスト画像データを生成して他の携帯電話機６０に向けて送信する携帯電話機５０の動作を説明するフローチャートである。

図４に示すように、通話開始時に、携帯電話機５０の中央コントロール部５１は、画像入力部５７に対し、例えば話者の顔の動画像を撮影させ、動画像の撮影画像データを画像メモリ５３に記憶させる処理を行わせる（ステップＳ１）。画像入力部５７は、中央コントロール部５１に従って、話者の顔の動画像を撮影し、動画像の撮影画像データを画像メモリ５３に記憶させる。

次に、コミュニケーション画像生成部５２は、画像メモリ５３から撮影画像データを読み込み、その撮影画像データをイラスト画像データに変換し、そのイラスト画像データを画像メモリ５３に記憶させる（ステップＳ２）。

中央コントロール部５１は、イラスト画像データを画像メモリ５３から読み込み、無線部５４にイラスト画像データを送信させる（ステップＳ３）。このとき、中央コントロール部５１は、音声入力部５８に入力された音声の音声データとともにイラスト画像データを無線部５４に送信させる。無線部５４は、中央コントロール部５１に従って、イラスト画像データおよび音声データを他の携帯電話機６０に向けて送信する。

携帯電話機５０は、通話が終了するまで上記のステップＳ１〜Ｓ３の処理を繰り返す。また、ステップＳ１〜Ｓ３の処理を繰り返している間、中央コントロール部５１は、画像表示部５６に、送信するイラスト画像データに基づく画像を表示させる。この表示により、中央コントロール部５１は、通話相手の携帯電話機にどのような画像が表示されているのかを、話者に示すことができる。また、ステップＳ１〜Ｓ３の処理を繰り返している間、中央コントロール部５１は、送信するイラスト画像データに基づく画像表示の開始や終了の指示を話者に促すＧＵＩを、画像表示部５６に表示させてもよい。この場合、画像表示の開始指示がＧＵＩを介して入力されたときには、中央コントロール部５１は、送信するイラスト画像データに基づく画像の表示を開始する。また、終了指示が入力されたときには、中央コントロール部５１は、その表示を終了する。

また、他の携帯電話機６０は、携帯電話機５０からイラスト画像データおよび音声データを受信する。そして、携帯電話機６０は、受信したイラスト画像データに基づいて携帯電話機５０の話者の動画像を表示し、また、話者の音声をスピーカから出力する。

なお、ここでは、携帯電話機５０の画像入力部５７が、中央コントロール部５１に従って、例えば話者の顔の動画像を撮影する場合を説明した。画像入力部５７が、中央コントロール部５１に従って話者の顔の静止画像を撮影し、静止画像の撮影画像データを画像メモリ５３に記憶させてもよい。この場合、コミュニケーション画像生成部５２は、イラスト画像データとして静止画の画像データを生成し、中央コントロール部５１は、無線部５４にそのイラスト画像データを送信させる。このイラスト画像データを受信した携帯電話機６０は、イラスト画像データに基づいて携帯電話機５０の話者の静止画像を表示する。

次に、図４に示したステップＳ２におけるコミュニケーション画像生成部５２の動作について説明する。

第１の色変換部２は、ＲＧＢ表現で表された撮影画像データ１を画像メモリ５３（図２参照）から読み込むと、その撮影画像データ１の成分（Ｒ，Ｇ，Ｂ）を、画素毎に、ＨＳＶ色空間における明度成分および色度成分に変換する。

図５は、ＨＳＶ色空間を説明する図である。

図５に示す縦軸（Ｖ軸）は、明度Ｖを表す。また、図５に示すＨＳＶ色空間において、飽和度（彩度と呼ばれる場合もある）Ｓは、Ｖ軸からの距離で表される。また、色相Ｈは、予め定められた軸であってＶ軸と直交する軸（図５に示す右方向に向かう軸）から、Ｖ軸を中心に回転した角度で表される。例えば、赤色をＨ＝０°とした場合、緑色はＨ＝１２０°となる。図５に示すように、ＨＳＶ色空間では、明度Ｖが変化したとしても、色相Ｈおよび飽和度Ｓは変化しない。

第１の色変換部２は、撮影画像データ１のＲＧＢ成分から、ＨＳＶ色空間における明度成分および色度成分への変換処理を以下の変換式を用いて行う。また、既に述べたように、この変換処理は画素毎に行えばよい。ただし、以下の変換式ではＲ，Ｇ，Ｂ，Ｈ，Ｓ，Ｖは、０〜１の値をとるものとしている。従って、Ｒ，Ｇ，Ｂが８ビットで表されている場合には、Ｒ，Ｇ，Ｂの値が０〜１の範囲の値となるように前処理を行い、以下の変換式を適用すればよい。また、Ｈ，Ｓ，Ｖを８ビットで表す場合には、以下の変換式により求めたＨ，Ｓ，Ｖを８ビットで表すように変換すればよい。

まず、第１の色変換部２は、明度Ｖを、Ｖ＝ｍａｘ（Ｒ，Ｇ，Ｂ）として算出する。ここで、ｍａｘ（Ｒ，Ｇ，Ｂ）は、Ｒ，Ｇ，Ｂの値のうちの最大値を表すものとする。すなわち、Ｒ，Ｇ，Ｂの値のうちの最大値を明度Ｖとする。

また、第１の色変換部２は、Ｘ＝ｍｉｎ（Ｒ，Ｇ，Ｂ）としてＸを算出する。ここで、ｍｉｎ（Ｒ，Ｇ，Ｂ）は、Ｒ，Ｇ，Ｂの値のうちの最小値を表すものとする。すなわち、Ｒ，Ｇ，Ｂの値のうちの最小値をＸとする。

続いて、第１の色変換部２は、Ｓ＝（Ｖ−Ｘ）／Ｖとして、飽和度Ｓを算出する。さらに、第１の色変換部２は、以下の式によりｒ，ｇ，ｂを算出する。

ｒ＝（Ｖ−Ｒ）／（Ｖ−Ｘ）
ｇ＝（Ｖ−Ｇ）／（Ｖ−Ｘ）
ｂ＝（Ｖ−Ｂ）／（Ｖ−Ｘ）
続いて、第１の色変換部２は、Ｒ＝ＶかつＧ＝Ｘならば、ｈ＝５＋ｂとしてｈを算出する。Ｒ＝ＶかつＢ＝Ｘならば、ｈ＝１−ｇとしてｈを算出する。Ｇ＝ＶかつＢ＝Ｘならば、ｈ＝１＋ｒとしてｈを算出する。Ｇ＝ＶかつＲ＝Ｘならば、ｈ＝３−ｂとしてｈを算出する。Ｂ＝ＶかつＲ＝Ｘならば、ｈ＝３＋ｇとしてｈを算出する。Ｂ＝ＶかつＧ＝Ｘならば、ｈ＝５−ｒとしてｈを算出する。

そして、第１の色変換部２は、上記の様にして求めたｈを用いて、Ｈ＝ｈ／６として色相Ｈを算出する。

第１の変換部２は、色度画像、すなわち色度成分（色相Ｈおよび飽和度Ｓ）のデータからなる画像データを色度メモリ３２に記憶させる。また、第１の変換部２は、明度画像、すなわち明度成分Ｖのデータからなる画像データを第１の明度メモリ３１に記憶させる。

続いて、フィルタリング部４は、第１の明度メモリ３１に記憶された明度成分Ｖに対してフィルタリング処理を行い、データＶ’を導出する。フィルタリング部４は、明度の変化を強調することにより輪郭を生成するとともに、写真画像の陰影等の微妙な変化を反映しないようなリング型フィルタリング処理を実行する。フィルタリング部４は、例えば、以下の数式１に示す畳み込み演算の演算式を用いてＶ’を計算することにより、上記のようなフィルタリング処理を実現する。

ここでは、個々の画素を、ｘ，ｙ座標の座標値（ｘ，ｙ）を用いて表すものとする。そして、明度画像に含まれる各画素（ｘ，ｙ）の画素値（すなわち個々の画素の明度）をＶ（ｘ，ｙ）として表すものとする。上記の演算式では、Ｖ（ｘ，ｙ）に対するフィルタリングによって得られる画素（ｘ，ｙ）の画素値をＶ’（ｘ，ｙ）とする。

また、上記の演算式における係数ｍａｇは、全てのフィルタ値にかかる係数である。ここで、フィルタ値とは、畳み込み演算のカーネルｆ（ｉ，ｊ）のとる値である。ｍａｇとして、十分に大きな値を用いる。例えば、ｍａｇとして３２以上の値を用いればよい。

次に、畳み込み演算のカーネルｆ（ｉ，ｊ）が満たすべき条件について、図６を用いて説明する。

図６は、畳み込み演算のカーネルｆ（ｉ，ｊ）の例を説明する図である。

カーネルは、図６のように例示された表の中央部では値（フィルタ値）が正となり、表の周辺部では値（フィルタ値）が負となり、各フィルタ値の総和が正であるものであればよい。このようなカーネルであれば、図６に示すカーネルｆ（ｉ，ｊ）と同一のカーネルでなくてもよい。

表の中央部においてｆ（ｉ，ｊ）の値が正であるということは、少なくとも、ｉおよびｊがそれぞれｉ，ｊのとり得る最大値と最小値の中間の近傍値であるときに、ｆ（ｉ，ｊ）＞０となっていることである。本例では、ｉおよびｊのとり得る最大値はいずれも２であり、ｉおよびｊのとり得る最小値はいずれも−２である。よって、ｉおよびｊがそれぞれその中間値０であるとき、ｆ（０，０）＝１３となり、この値は正である。よって、少なくともｉおよびｊがそれぞれｉ，ｊのとり得る最大値と最小値の中間の近傍値であるときに、ｆ（ｉ，ｊ）＞０となっているという条件（表の中央部においてｆ（ｉ，ｊ）の値が正であるという条件）は満たしている。

表の周辺部においてｆ（ｉ，ｊ）の値が負であるということは、少なくとも、ｉがｉのとり得る最大値または最小値であるとき、あるいは、ｊがｊのとり得る最大値または最小値であるときに、ｆ（ｉ，ｊ）＜０となっていることである。すなわち、ｉまたはｊの少なくともいずれか一方がその最大値または最小値となっているときに、ｆ（ｉ，ｊ）＜０となっていることである。本例では、ｉまたはｊの少なくともいずれか一方がその最大値（２）または最小値（−２）となっているときの値は、全て図６に示す表の一番外側に示され、その値はいずれも負となっている。よって、ｉまたはｊの少なくともいずれか一方がその最大値または最小値となっているときに、ｆ（ｉ，ｊ）＜０となっているという条件（表の周辺部においてｆ（ｉ，ｊ）の値が負であるという条件）も満たしている。

各フィルタ値の総和が正であるということは、各ｉ，ｊに応じたｆ（ｉ，ｊ）の値の総和が正であるということである。図６に示す各ｆ（ｉ，ｊ）の値の総和は１であり、正であるので、図６に例示するカーネルは、この条件も満たしている。

畳み込み演算は、上記の条件を満たすカーネルを用いた畳み込み演算であればよく、図６に示すカーネルｆ（ｉ，ｊ）と同一のカーネルを用いた畳み込み演算に限定されない。

なお、図６に示すように、カーネルの値が０でない部分が等方的なフィルタをリング型フィルタという。

フィルタリング部４は、上記のような畳み込み演算を実行することによりフィルタリング処理を行い各画素毎にＶ’を算出したならば、そのデータＶ’を第２の明度メモリ３３に記憶させる。

第２の色変換部５は、第２の明度メモリ３３に記憶されたデータＶ’をＨＳＶ色空間における明度成分とし、ＨＳＶ色空間における明度成分および色度成分からＲＧＢ成分への変換を以下の変換式を用いて行う。ただし、以下の変換式では、Ｒ，Ｇ，Ｂ，Ｈ，Ｓ，Ｖは０〜１の値をとるものとしている。従って、第２の色変換部５は、Ｈ，Ｓ，Ｖが８ビットで表されている場合には、Ｈ，Ｓ，Ｖの値が０〜１の範囲の値となるように前処理を行い、以下の変換式を適用すればよい。また、第２の色変換部５は、Ｒ，Ｇ，Ｂ（イラスト画像データ６におけるＲ，Ｇ，Ｂ）を８ビットで表す場合には、以下の変換式により求めたＲ，Ｇ，Ｂを８ビットで表すように変換すればよい。

まず、第２の色変換部５は、色相Ｈを用いて、ｈ＝６・Ｈとしてｈを算出する。そして、第２の色変換部５は、ｈの整数部分をＩとする。さらに、第２の色変換部５は、以下の式によりＦ，Ｍ，Ｎ，Ｋを算出する。

Ｆ＝ｈ−Ｉ
Ｍ＝Ｖ・（１−Ｓ）
Ｎ＝Ｖ・（１−（Ｓ・Ｆ））
Ｋ＝Ｖ・（１−（Ｓ・（１−Ｆ）））
そして、第２の色変換部５は、Ｉの値に応じて、以下のようにＲ，Ｇ，Ｂを定める。

Ｉ＝０のとき、第２の色変換部５は、（Ｒ，Ｇ，Ｂ）＝（Ｖ，Ｋ，Ｍ）とする。すなわち、Ｒ＝Ｖ，Ｇ＝Ｋ，Ｂ＝Ｍとして、Ｒ，Ｇ，Ｂを定める。

Ｉ＝１のとき、第２の色変換部５は、（Ｒ，Ｇ，Ｂ）＝（Ｎ，Ｖ，Ｍ）とする。すなわち、Ｒ＝Ｎ，Ｇ＝Ｖ，Ｂ＝Ｍとして、Ｒ，Ｇ，Ｂを定める。

Ｉ＝２のとき、第２の色変換部５は、（Ｒ，Ｇ，Ｂ）＝（Ｍ，Ｖ，Ｋ）とする。すなわち、Ｒ＝Ｍ，Ｇ＝Ｖ，Ｂ＝Ｋとして、Ｒ，Ｇ，Ｂを定める。

Ｉ＝３のとき、第２の色変換部５は、（Ｒ，Ｇ，Ｂ）＝（Ｍ，Ｎ，Ｖ）とする。すなわち、Ｒ＝Ｍ，Ｇ＝Ｎ，Ｂ＝Ｖとして、Ｒ，Ｇ，Ｂを定める。

Ｉ＝４のとき、第２の色変換部５は、（Ｒ，Ｇ，Ｂ）＝（Ｋ，Ｍ，Ｖ）とする。すなわち、Ｒ＝Ｋ，Ｇ＝Ｍ，Ｂ＝Ｖとして、Ｒ，Ｇ，Ｂを定める。

Ｉ＝５のとき、第２の色変換部５は、（Ｒ，Ｇ，Ｂ）＝（Ｖ，Ｍ，Ｎ）とする。すなわち、Ｒ＝Ｖ，Ｇ＝Ｍ，Ｂ＝Ｎとして、Ｒ，Ｇ，Ｂを定める。

第２の色変換部５は、各画素に対応する色相Ｈ、飽和度Ｓ、および明度としたデータＶ’から、上記のようにＲ，Ｇ，Ｂへの変換を行い、イラスト画像データ６を生成する。そして、第２の色変換部５は、イラスト画像データ６を画像メモリ５３に記憶させる。以上の処理により、ステップＳ２が終了する。

また、以上のようなステップＳ２における変換処理を行うことにより、画像データが示す画像の色数は減少し、撮影画像データ１は、イラスト的な画像のイラスト画像データ６に変換される。なお、ステップＳ２における変換処理により、画像における輪郭が強調されるようになる。

第１の実施形態によれば、携帯電話機５０が実際に撮影された画像の画像データをイラスト画像データに変換し、携帯電話機６０に送信する。そして、携帯電話機６０がイラスト画像データに基づいて絵画的な（イラスト的な）画像を表示する。

従って、話者が撮影されているのであれば、本当に本人であることを通話相手に伝えることができる。

また、話者本人のイラスト的な画像を通話相手の携帯電話機に表示させるので、通話相手が上司等の目上の人物であったとしても不真面目である等と判断されることはなく、コミュニケーションに悪影響を及ぼさない。

また、実際に撮影された話者の画像の画像データをイラスト画像データに変換しているので、話者の微妙な表情を通話相手に伝えることができる。

このように、第１の実施形態によれば良好なコミュニケーションを実現することができる。

また、第１の実施形態では、画像データ全体に対して、色の数を減少させる変換を行っている。従って、特許文献１に記載された技術のように、どの領域が顔であるのかを認識し、さらに特徴点を抽出する等の処理を行う必要がなく、処理負荷を低減することができる。

第１の実施形態において、画像データ生成部は、携帯電話機５０の画像入力部５７によって実現される。画像データ変換部は、携帯電話機５０のコミュニケーション画像生成部５２によって実現される。画像表示部は、携帯電話機６０の画像表示部５６によって実現される。

以下、第１の実施形態の映像コミュニケーションシステムの変形例について説明する。

（変形例１）
第１の実施形態では、第１の色変換部２による変換で得られた成分のうち、明度Ｖに対してのみフィルタリング処理を実行し、色度（色相Ｈおよび飽和度Ｓ）に対しては、処理を行っていない。

これに対し、変形例１では、飽和度Ｓに対しても処理を行う。飽和度Ｓに対して、Ｓの値に応じて、Ｓの値を変化させない強調処理あるいはより大きな値に変化させる強調処理を行う。なお、変形例１ではコミュニケーション画像生成部５２の処理が図３に示す場合と異なるが、他の点に関しては既に説明した第１の実施形態と同様である。

図７は、本発明の第１の実施形態の変形例１に係るコミュニケーション画像生成部５２の構成例を示すブロック図である。

図７に示すように、コミュニケーション画像生成部５２は、第１の色変換部２と、色相メモリ３５と、第１の飽和度メモリ３４と、第１の明度メモリ３１と、強調処理部７と、フィルタリング部４と、第２の飽和度メモリ３６と、第２の明度メモリ３３と、第２の色変換部５とを備える。なお、図３と同様の処理を行う構成部については、図３と同一の符号を付し、説明を省略する。

第１の色変換部２、強調処理部７、フィルタリング部４、および第２の色変換部５は、携帯電話機５０に搭載されるＣＰＵによって実現されてもよい。または、第１の色変換部２、強調処理部７、フィルタリング部４、および第２の色変換部５は、それぞれ、ＣＰＵとは別個のＬＳＩによって実現されてもよい。

第１の色変換部２は、図３に示した第１の色変換部２と同様に、撮影画像データ１の成分を、画素毎に明度成分と色度成分とに変換する。色度成分は色相と飽和度とを含むが、第１の色変換部２は、色相と飽和度を分離し、それぞれメモリに記憶させる。具体的には、第１の色変換部２は、撮影画像データ１の変換処理によって得られた各画素の色相Ｈのデータを色相メモリ３５に記憶させ、各画素の飽和度Ｓのデータを第１の飽和度メモリ３４に記憶させる。また、第１の色変換部２は、既に説明した場合と同様に、各画素の明度Ｖのデータを第１の明度メモリ３１に記憶させる。すなわち、変形例１では、第１の色変換部２は、撮影画像データ１を変換して、明度、飽和度、および色相に分離する。

また、第１の色変換部２は、明度が変化しても色度（飽和度および色相）が変化しない色空間あるいは色度（飽和度および色相）の変化が少ない色空間における明度成分と色度成分に変換する。既に説明したように、明度が変化しても色度（飽和度および色相）の変化が少ない色空間とは、「明度が、明度の取り得る最大値になったときに、色度（飽和度および色相）の範囲が０にならない（１点に収束しない）色空間」を意味する。

色相メモリ３５は、第１の色変換部２による変換処理で得られた色相成分Ｈのデータを記憶する。

第１の飽和度メモリ３４は、第１の色変換部２による変換処理で得られた飽和度成分Ｓのデータを記憶する。

第１の明度メモリ３１は、第１の色変換部２による変換処理で得られた明度成分Ｖのデータを記憶する。

強調処理部７は、第１の飽和度メモリ３４に記憶された各Ｓの値に応じて、Ｓの値を変化させない強調処理あるいはより大きな値に変化させる強調処理を行う。強調処理後の飽和度ＳをＳ’と表すこととする。また、強調処理部７による強調処理については後述する。強調処理部７は、強調処理後の飽和度Ｓ’を第２の飽和度メモリ３６に記憶させる。

第２の飽和度メモリ３６は、強調処理部７が導出したデータＳ’を記憶する。

第２の色変換部５は、第２の明度メモリ３３に記憶されたデータＶ’を明度成分とし、Ｖ’と、第２の飽和度メモリ３５に記憶された飽和度成分Ｓ’のデータと、色相メモリ３５に記憶された色相成分Ｈのデータとを用いて、第１の色変換部２の変換処理の逆変換処理を行う。すなわち、第２の色変換部５は、ＨＳＶ色空間における明度成分および色度成分で表された画像データを、ＲＧＢで表される三原色表現の画像データに変換する。

次に、変形例１に係るコミュニケーション画像生成部５２の動作（図４に示すステップＳ２の動作）について説明する。

第１の色変換部２（図７参照）は、三原色のＲＧＢ表現で表された撮影画像データ１を画像メモリ５３（図２参照）から読み込むと、その撮影画像データ１を、画素毎に、ＨＳＶ色空間における明度成分Ｖ、飽和度成分Ｈ、および色相成分Ｈに変換する。この第１の色変換部２による変換処理は、図３に示した第１の色変換部２による変換処理と同様である。第１の変換部２は、各画素の色相成分Ｈのデータを色相メモリ３５に記憶させる。同様に、第１の変換部２は、各画素の飽和度成分Ｓのデータを第１の飽和度メモリ３４に記憶させ、また、各画素の明度成分Ｖのデータを第１の明度メモリ３１に記憶させる。

続いて、フィルタリング部４は、フィルタリング処理を行い、明度成分ＶのデータをＶ’に変換し、データＶ’を第２の明度メモリ３３に記憶させる。このフィルタリング処理は、図３に示したフィルタリング部４によるフィルタリング処理と同様である。

また、強調処理部７は、第１の飽和度メモリ３４に記憶された各画素の飽和度成分Ｓに対する強調処理を行い、強調処理後の飽和度成分Ｓ’を第２の飽和度メモリ３６に記憶させる。

強調処理部７は、例えば、以下のように強調処理を実行する。強調処理部７は、第１の飽和度メモリ３４から飽和度成分Ｓの値を読み取る。そして、強調処理部７は、その飽和度成分Ｓの値と、予め定められた閾値（ｔｈと称す）とを比較する。強調処理部７は、Ｓが閾値ｔｈ未満である場合には、Ｓ’＝ＳとしてＳ’を求める。また、強調処理部７は、Ｓが閾値ｔｈ以上である場合には、Ｓ’の値を、Ｓの取り得る最大値またはその最大値に近い値（Ｓｍａｘと称す）として定める。例えば、ｔｈ＝３２と定められていて、また、Ｓが０〜２５５の範囲の値を取り得るとする。そして、Ｓｍａｘ＝２５５であるとする。強調処理部７は、Ｓ＜３２であるならば、Ｓ’＝ＳとしてＳ’を求める。また、強調処理部７は、Ｓ≧３２であるならば、Ｓ’＝２５５とする。

このように、Ｓの値が閾値ｔｈ以上となったときにＳ’＝Ｓｍａｘとする強調処理を行うことにより、最終的に得られるイラスト画像データ６を、子供が描く絵画のような非常に鮮やかな色の画像のデータとして生成することができる。

また、上記の例では、Ｓの値が閾値ｔｈ以上となったときにＳ’＝Ｓｍａｘとする場合を示したが、強調処理部７は、Ｓの値の変化によりＳ’がなだらかに変化するような関数Ｓ’＝ｇ（Ｓ）によりＳ’の値を定めてもよい。このような関数ｇ（Ｓ）の例を以下に示す。以下に示す例でも、Ｓが０〜２５５の範囲の値を取り得るものとしている。

Ｓ’＝Ｓ（Ｓ＜３２のとき）
Ｓ’＝４・Ｓ−９６（３２≦Ｓ≦８７のとき）
Ｓ’＝２５５（Ｓ≧８８のとき）
このような関数によって定まるＳ’を導出する場合、例えば、０〜２５５の２５６種類のＳの値に応じたＳ’の値を予め算出しておく。そして、各Ｓの値と、そのＳの値に応じたＳ’の値とを対応付けてルックアップテーブル（図示せず）に予め記憶させておく。強調処理部７は、このルックアップテーブルを参照することによって、Ｓの値に応じたＳ’の値を導出すればよい。

フィルタリング部４によるフィルタリング処理および強調処理部７による強調処理の後、第２の色変換部５は、第２の明度メモリ３３に記憶されたデータＶ’を明度成分とし、Ｖ’と、第２の飽和度メモリ３５に記憶された飽和度成分Ｓ’のデータと、色相メモリ３５に記憶された色相成分Ｈのデータとを用いて、第１の色変換部２の変換処理の逆変換処理を行う。この第１の色変換部２による変換処理は、飽和度成分Ｓの変わりにＳ’を用いる点を除けば、図３に示した第２の色変換部５による変換処理と同様である。

（変形例２）
変形例２では、コミュニケーション画像生成部５２の処理が異なるが、他の点に関しては既に説明した第１の実施形態と同様である。変形例２に係るコミュニケーション画像生成部５２は、携帯電話機５０に搭載されるＣＰＵによって実現されてもよいし、ＣＰＵとは別個のＬＳＩによって実現されてもよい。

図８は、変形例２に係るコミュニケーション画像生成部５２の動作例を説明するフローチャートである。図９は、変形例２に係るコミュニケーション画像生成部５２により変換される代表色の変換例を説明する図である。ここでは、撮影画像データ１がＲＧＢ表現によって表されているものとする。

図８に示すように、コミュニケーション画像生成部５２は、撮影画像データを画像メモリ５３から読み込むと、その撮影画像データのカラーヒストグラムを作成し、例えば、撮影画像データに含まれる色として多い方のＮ番目までの色を代表色として選択する（ステップＳ１１）。Ｎ個の代表色の選択方法はこれに限らず、カラーヒストグラムから無作為に選択することも可能である。また、Ｎ個の代表色として互いに近い色が選ばれないようにするなどの工夫をしてもよい。なお、コミュニケーション画像生成部５２は、ステップＳ１１〜ステップＳ１４の間、画像メモリ５３から読み込んだ撮影画像データをそのまま保持する。

ステップＳ１１で選択されたＮ個の代表色の一例を図９（ａ）に示す。図９（ａ）に示すように、例えば、撮影画像データに含まれる色として多い方のＮ番目までの色を代表色として選んだ場合、Ｎ個の色は、それぞれＲ、Ｇ、Ｂの組み合わせによって表される。

次に、コミュニケーション画像生成部５２は、Ｒ、Ｇ、Ｂの組み合わせによって表されるＮ個の代表色をＨＳＶ表現に変換する（ステップＳ１２）。なお、ステップＳ１２では、読み込んだ撮影画像データ自体は変換せず、代表色を表すＮ個のＲ、Ｇ、Ｂの組み合わせをそれぞれＨＳＶ表現に変換する。

ステップＳ１２で変換されたＮ個の代表色の一例を図９（ｂ）に示す。各色は、それぞれＨ、Ｓ、Ｖの組み合わせによって表される。

次に、コミュニケーション画像生成部５２は、Ｎ個の代表色におけるそれぞれの飽和度Ｓを強調する（ステップＳ１３）。例えば、コミュニケーション画像生成部５２は、飽和度Ｓに対して、１．０以上の実数の係数ｋｓを乗じることにより、強調後の飽和度Ｓ’を算出する。すなわち、以下の計算により、強調後の飽和度Ｓ’を求める。

Ｓ’＝ｋｓ・Ｓ
また、上記のような閾値による強調処理や関数ｇ（ｓ）の手法を用いてもよい。

ただし、ＲＧＢ表現とＨＳＶ表現との変換において、飽和度等の各成分は０〜１の値をとるものとしている。従って、Ｓ’の上限値は１であり、上記式の計算によりＳ’の値が１を越えた場合には、コミュニケーション画像生成部５２は、Ｓ’＝１とする。ステップＳ１３において、コミュニケーション画像生成部５２は、色相Ｈおよび明度Ｖに対しては変換を行わない。

ステップＳ１３で変換されたＮ個の代表色の例を図９（ｃ）に示す。図９（ｂ）と比較すると、飽和度Ｓのみが変化している（具体的には値が上昇している）。なお、ｋｓ＝１の場合には、飽和度Ｓは変化せず、その結果、代表色は変化しないことになるが、ｋｓ＝１とし代表色が変化しない場合であっても、イラスト画像データへの変換は可能である。さらに、ここではｋｓが１．０以上の実数であるものとして説明したが、ｋｓは正の実数であればよい。ｋｓが１．０未満の正の実数であるとき、Ｓ’はＳより小さくなるが、この場合であっても、イラスト画像データへの変換は可能である。

次に、コミュニケーション画像生成部５２は、ＨＳＶ表現で表されたステップＳ１３後のＮ個の代表色をＲＧＢ表現に変換する（ステップＳ１４）。

ステップＳ１４で変換されたＮ個の代表色の例を図９（ｄ）に示す。図９（ｄ）に示すように、ステップＳ１４後の代表色は、Ｒ、Ｇ、Ｂの組み合わせによって表される。

ステップＳ１４までの間、コミュニケーション画像生成部５２は、画像メモリ５３から読み込んだ撮影画像データをそのまま保持している。

コミュニケーション画像生成部５２は、次のステップＳ１５において、撮影画像データの変換を行う。ステップＳ１５では、コミュニケーション画像生成部５２は、撮影画像データの各画素のＲ、Ｇ、Ｂと、ステップＳ１４において得られたＮ個の代表色のＲ、Ｇ、Ｂに基づいて、画素毎に、最もＲＧＢユークリッド距離が近い代表色を選択する。そして、コミュニケーション画像生成部５２は、各画素のＲ、Ｇ、Ｂの値を、ＲＧＢユークリッド距離が最も近い代表色として選択した代表色のＲ、Ｇ、Ｂの値に置き換える。

次に、コミュニケーション画像生成部５２は、撮影画像データから変換された画像データをイラスト画像データとして画像メモリに記憶させる（ステップＳ１５）。

ステップＳ１５の処理により、撮影画像データにおける各画素の色は、Ｎ個の代表色のいずれかとなり、色の数が減少する。また、ステップＳ１５の処理後の画像データ（イラスト画像データ）によって表される画像は、イラスト的な画像となる。

また、図８に示すフローチャートでは、ステップＳ１１〜Ｓ１４の間、撮影画像データはそのまま保持されるが、ステップＳ１１〜Ｓ１４の処理を行っている間に、撮影画像データに対してぼかしを入れる処理を行ってもよい。この場合のフローチャートを図１０に示す。

図１０に示すステップＳ１１〜ステップＳ１５の処理は、図８に示す各処理と同様である。コミュニケーション画像生成部５２は、ステップＳ１５を行う前に、２次元フィルタを用いて撮影画像データに対するぼかし処理を行う（ステップＳ１６）。具体的には、コミュニケーション画像生成部５２は、個々の画素について、画素のＲの値を、その画素およびその画素の周囲の画素のＲの値の平均値に置き換える。同様に、コミュニケーション画像生成部５２は、個々の画素のＧ、Ｂの値についても、その画素およびその画素の周囲の画素のＧやＢの値の平均値に置き換え、その後、ステップＳ１５の処理を実行する。

また、図８〜図１０の説明では、ＲＧＢ表現からＨＳＶ表現に変換し、飽和度Ｓを強調して再度ＲＧＢ表現に変換する場合を示した。ＲＧＢ表現を、均等色空間ＬＣＨの表現に変換し、変換後における飽和度Ｃを強調して再度ＲＧＢ表現に変換してもよい。

この場合、均等色空間ＬＣＨの表現における飽和度Ｃを強調する場合、コミュニケーション画像生成部５２は、飽和度Ｃに対して、１．０より大きい実数の係数ｋｃを乗じることにより、強調後の飽和度Ｃ’を算出する。すなわち、以下の計算により、強調後の飽和度Ｃ’を求める。

Ｃ’＝ｋｃ・Ｃ
均等色空間ＬＣＨにおいて飽和度Ｃの上限は規定されていないので、上記式により得られたＣ’を強調処理後の飽和度とすればよい。なお、飽和度Ｓで述べたその他の強調処理も同様に利用できる。

また、ＲＧＢ表現から、均等色空間ＬＣＨの表現への変換は、公知の変換処理によって行えばよい。例えば、ＲＧＢ表現をＬ^＊ａ^＊ｂ^＊表現に変換し、さらに非特許文献３に記載されているようにＬ^＊ａ^＊ｂ^＊表現を、Ｌ^＊Ｃ^＊ａｂｈａｂ表現に変換すればよい。Ｌ^＊Ｃ^＊ａｂｈａｂ表現におけるＣ^＊ａｂが均等色空間ＬＣＨにおける飽和度Ｃに相当する。また、Ｌ^＊ａ^＊ｂ^＊表現ではなく、非特許文献３に記載されているようにＲＧＢ表現をＬ^＊u^＊ｖｖ表現に変換してからＬ^＊Ｃ^＊ｕｖｈｕｖ表現に変換してもよい。この場合、Ｌ^＊Ｃ^＊ｕｖｈｕｖ表現におけるＣ^＊ｕｖが均等色空間ＬＣＨにおける飽和度Ｃに相当する。また、均等色空間ＬＣＨの表現からＲＧＢ表現に逆変換する場合には、Ｌ^＊Ｃ^＊ａｂｈａｂ表現（Ｌ^＊Ｃ^＊ｕｖｈｕｖ表現）からＬ^＊ａ^＊ｂ^＊表現（Ｌ^＊ｕ^＊ｖ表現）に変換し、Ｌ^＊ａ^＊ｂ^＊表現（Ｌ^＊ｕ^＊ｖ表現）からＲＧＢ表現に変換すればよい。

（変形例３）
以上の説明では、携帯電話機５０が携帯電話機６０に向けてイラスト画像データを送信する場合を示した。

これに対して、変形例３では、携帯電話機５０は、携帯電話機６０からの要求により、送信する画像データをイラスト画像データから撮影画像データに切り替える。

また、携帯電話機５０は、イラスト風変換におけるパラメータをコントロールしてイラスト画像データのイラスト度合い（コミュニケーション画像生成部５２における変換の程度）を変化させて送信する画像データを生成する。例えば、減色処理の場合には、代表色の数であるＮを大きくすれば実画像に近づき、また、小さくすればイラスト画像のイラスト度合いを強めることができる。あるいは、実画像、イラスト画像弱、イラスト画像強というように段階的な複数の要求に対応できるように、それぞれの要求に最適なフィルタや代表色数のパラメータをあらかじめ決定しておき、指定された要求に従ってパラメータを切り替えて送信する画像データを生成すればよい。

変形例３における構成は、既に説明した第１の実施形態またはその変形例１，２と同様の構成とすることができる。ただし、携帯電話機５０の中央コントロール部５１は、携帯電話機６０からの要求に応じて、送信する画像データを撮影画像データに切り替える動作、あるいは、コミュニケーション画像生成部５２における変換の程度（イラスト度合い）を変化させる動作も行う。

以下、変形例３の映像コミュニケーションシステムの動作について説明する。

通話開始後、携帯電話機５０は、既に説明した第１の実施形態またはその変形例１，２と同様に、撮影画像データをイラスト画像データに変換し、イラスト画像データを携帯電話機６０に送信する。

携帯電話機６０は、イラスト画像データに基づいてイラスト的な画像を表示する。この結果、携帯電話機６０の話者は、携帯電話機５０の話者のイラスト的な画像を見ながら通話を行うことができる。

通話中、携帯電話機６０の話者が、携帯電話機５０の話者が設定したイラスト的な画像ではなく、携帯電話機６０の話者の意思でイラスト度合いを変化させた画像や、携帯電話機５０の話者を撮影した画像をそのまま見たいと考えることがある。この場合、携帯電話機６０は、通話中に、キー操作部（図示せず）を介して、画像データの切替要求を携帯電話機５０に送信する旨の指示を話者から入力される。この指示が入力されると、携帯電話機６０は、送信する画像の切替要求を携帯電話機５０に向けて送信する。このとき、携帯電話機６０の中央コントロール部が、無線部に切替要求を送信させればよい。この切替要求は、基地局９２、ネットワーク９３、基地局９１を介して、携帯電話機５０に送信される。

携帯電話機５０の中央コントロール部５１は、携帯電話機６０からの切替要求を受信すると、コミュニケーション画像生成部５２における変換処理（図４に示すステップＳ２）を停止する。そして、ステップＳ３（図４参照）において、中央コントロール部５１は、画像メモリから撮影画像データを読み込み、無線部５４に撮影画像データを送信させる。あるいは、中央コントロール部５１は、切替要求に従って、コミュニケーション画像生成部５２にイラスト度合い（変換の程度）を変化させてイラスト画像データへの変換を行わせて、コミュニケーション画像生成部５２によって変換された画像データを無線部５４に送信させてもよい。無線部５４は、中央コントロール部５１に従って、撮影画像データあるいはコミュニケーション画像生成部５２によって変換された画像データを携帯電話機６０に向けて送信する。

なお、携帯電話機５０の中央コントロール部５１は、切替要求を受信したときに、送信画像データを切替要求通りに切り替えてよいかどうかの入力を話者に促す画面を画像表示部５６に表示してもよい。この場合、中央コントロール部５１は、送信画像データを切替要求通りに切り替えてよい旨の情報が入力された場合にのみ、送信画像データを切替要求に従って切り替える。例えば、イラスト画像データから撮影画像データに切り替える。あるいは、イラスト画像データに変換する際の変換の程度を切り替える。

携帯電話機６０は、携帯電話機５０から送信画像データを受信し、受信した送信画像データに基づいて携帯電話機５０からの画像を表示する。この結果、携帯電話機６０の話者は、携帯電話機５０の話者を撮影した画像をそのまま見ることができ、あるいは、送信した切替要求に応じてイラスト度合いが変化した画像をみることができる。

イラスト画像データは撮影画像データよりも色の数が減少しているので、データ量は画像データよりも少ない。よって、携帯電話機６０からの切替要求に応じて送信するデータ量が増加した場合、通信コストも増加する。この場合、増加分の通信コストあるいは通信コスト全体を携帯電話機６０の話者に負担させるようにしてもよい。以下、変形例３における通信コスト管理について説明する。

図１１は、本発明の第１の実施形態の変形例３の映像コミュニケーションシステムの構成を示す図である。

図１１に示すように、変形例３の映像コミュニケーションシステムは、基地局９１，９２間のネットワーク９３に、料金管理サーバ７０が接続されている。

料金管理サーバ７０は、通信料を計算し、どの携帯電話機の話者にその通信料を要求するのかを管理する。なお、料金管理サーバ７０は、キャリアによって設置される。また、通話時に送受信される画像データ、音声データ、および切替要求は、料金管理サーバ７０を経由する。

図１２は、本発明の第１の実施形態の変形例３に係る料金管理サーバ７０の構成例を示すブロック図である。

図１２に示すように、料金管理サーバ７０は、制御部７１と、通信料データベース７２と、記憶装置７３と、ネットワークインタフェース７４とを備える。

制御部７１は、記憶装置７３が記憶するプログラムに従って動作する。ネットワークインタフェース７４は、ネットワーク９３（図１１参照）とのインタフェースであり、料金管理サーバ７０は、ネットワークインタフェース７４を介してネットワーク９３に接続される。

通信料データベース７２は、携帯電話機５０，６０の話者毎に、支払いを求める通信料を記憶する。

制御部７１は、ネットワーク９３を介して通話が開始されると、送受信される画像のデータ量や通話時間に応じて、通信料を計算する。そして、制御部７１は、その通信料を要求すべき話者に対応させて、その通信料の情報を通信料データベース７２に記憶させる。

制御部７１は、切替要求を受信するまでに発生した通信料は、通信開始を要求した携帯電話機５０の話者に要求すべき料金であると判定する。また、制御部７１は、切替要求を受信後に発生した通信料の一部（または全部）は、切替要求を送信した携帯電話機６０の話者に要求すべき料金であると判定し、残りの通信料は通信開始を要求した携帯電話機５０の話者に要求すべき料金であると判定する。

図１３（ａ）は、イラスト画像データの送受信時の通信料と撮影画像データの送受信時の通信料の例を説明する図である。なお、図１３に示す通信料は１分当りの通信料であるものする。

図１３（ａ）に示すように、イラスト画像データの送信時においては、イラスト画像データを携帯電話機５０から料金管理サーバ７０に送信するまでの通信料が１分当り３円であり、料金管理サーバ７０から通話相手の携帯電話機６０に送信するまでの通信料が１分当り３円であるものとする。従って、携帯電話機５０から携帯電話機６０までの通信料は、１分当り６円である。

また、色数の多い撮影画像データは、よりデータ量が多いので通信料は高く設定される。撮影画像データの送信時においては、撮影画像データを携帯電話機５０から料金管理サーバ７０に送信するまでの通信料が１分当り５円であり、料金管理サーバ７０から通話相手の携帯電話機６０に送信するまでの通信料が１分当り５円であるものとする。従って、携帯電話機５０から携帯電話機６０までの通信料は、１分当り１０円である。よって、撮影画像データの送信時には、イラスト画像データの送信時よりも１分当り４円（＝１０円−６円）通信料が増加する。

制御部７１は、携帯電話機６０からの切替要求を受信するまでは、画像データ送信側の携帯電話機５０の話者に１分当り６円の支払いを要求するように通信料を計算し、その通信料を携帯電話機５０の話者に要求する金額として、通信料データベース７２に記憶させる。画像データを受信する携帯電話機６０の話者は、この間の通信料を負担しない。

図１３（ｂ）は、携帯電話機６０が画像データの切替要求を送信した後における通信料の例を説明する図である。なお、図１３（ｂ）に示す態様１〜３は、料金管理サーバ７０の制御部７１が切替要求を受信した後の通信料の振り分け態様を示している。

制御部７１は、図１３（ｂ）に示すような態様１〜３のいずれかに従って、各話者毎の通信料を計算し、通信料データベース７２に記憶させる。また、制御部７１は、他の態様に従って、通信料を計算してもよい。

態様１は、携帯電話機５０の話者には、切替要求受信前と同額（１分当り６円）の支払いを要求し、切替要求を送信した携帯電話機６０の話者には画像データ切替により増加した通信料（１分当り４円）を要求する態様である。

態様２は、切替要求を送信した携帯電話機６０の話者に対して、切替要求送信後の通信料の全額（１分当り１０円）を要求する態様である。この場合、画像データを送信する携帯電話機５０の話者は、切替要求に応じて撮影画像データの送信を開始した後の通信料は負担しなくて済む。

態様３は、切替要求を送信した携帯電話機６０の話者に対して、切替要求送信後の通信料の全額（１分当り１０円）および撮影した画像をそのまま見られることに対する対価（１分当り１０円とする）を要求する態様である。すなわち、携帯電話機６０の話者に対して１分当り２０円を要求する。図１３（ａ）に示すように、撮影画像データの送信時における通信料は１分当り１０円で済む。制御部７１は、この差額の１分当り１０円（＝２０円−１０円）については、キャリアから携帯電話機５０の話者に支払うように通信料データベース７２に記憶させる。

変形例３においては、切替要求送信部は、携帯電話機６０の中央コントロール部および無線部によって実現される。送信データ切替部は、携帯電話機５０の中央コントロール部５１によって実現される。通信料計算部は、料金管理サーバ７０の制御部７１によって実現される。

上記の変形例１〜３のいずれにおいても、携帯電話機５０が実際に撮影された話者の画像の画像データをイラスト画像データに変換し、携帯電話機６０に送信する。従って、良好なコミュニケーションを実現することができる。

また、変形例１〜３のいずれにおいても、画像データ全体に対して、色の数を減少させる変換を行っている。従って、特許文献１に記載された技術のように、どの領域が顔であるのかを認識し、さらに特徴点を抽出する等の処理を行う必要がなく、処理負荷を低減することができる。

なお、上記の説明では、携帯電話機５０が画像データを送信し、携帯電話機６０が画像データを受信して画像を表示する場合を例に挙げて説明した。携帯電話機５０，６０がそれぞれ、画像データを送信しあって、各携帯電話機５０，６０がそれぞれ通話相手の画像を表示してもよい。この場合、各携帯電話機５０，６０が、いずれも画像入力部５７、コミュニケーション画像生成部５２を備える同一の構成であり、また、各携帯電話機５０，６０が、受信した画像データに基づいて画像を表示する構成になっていればよい。

［第２の実施形態］
第１の実施形態では、画像データを送信する携帯電話機５０（図１参照）が撮影画像データからイラスト画像データへの変換を行う。

これに対し、第２の実施形態では、画像データを受信する携帯電話機６０（図１参照）が、携帯電話機５０から撮影画像データを受信し、その撮影画像データをイラスト画像データに変換する。第２の実施形態でも、図１に示す場合と同様に、携帯電話機５０，６０は、基地局９１、ネットワーク９３、および基地局９２を介してデータの送受信を行う。

第２の実施形態では、携帯電話機５０は、コミュニケーション画像生成部５２を備えていなくてよい。他の構成に関しては、図２に示す構成と同様である。

図１４は、本発明の第２の実施形態に係る画像データ受信側の携帯電話機６０の構成例を示すブロック図である。なお、図２に示す構成と同様の構成部については、図２と同様の符号を付して、詳細な説明を省略する。

図１４に示すように、受信側の携帯電話機６０は、画像入力部を備えていなくてもよい。また、携帯電話機６０のコミュニケーション画像生成部５２の構成は、第１の実施形態またはその変形例１〜３と同様である。

以下、本発明の第２の実施形態の映像コミュニケーションシステムの動作について説明する。なお、以下の説明では、動画像を撮影する場合を例にして説明するが、撮影する画像は静止画像であってもよい。

携帯電話機５０の中央コントロール部５１は、画像入力部５７に例えば話者の顔などの動画像を撮影させ、動画像の撮影画像データを画像メモリ５３に記憶する処理を行わせる。この処理は、第１の実施形態におけるステップＳ１と同様の処理である。

続いて、携帯電話機５０の中央コントロール部５１は、画像メモリから撮影画像データを読み込み、無線部５４に撮影画像データを送信させる。無線部５４は、中央コントロール部５１に従って、撮影画像データを携帯電話機６０に向けて送信する。携帯電話機５０は、以上の動作を繰り返し、撮影画像データを携帯電話機６０に送信する。

一方、受信側の携帯電話機６０の無線部５４（図１４参照）は、アンテナ５９を介して携帯電話機５０からの撮影画像データを受信する。すると、携帯電話機６０の中央コントロール部５１は、受信した撮影画像データを画像メモリ５３に記憶させる。

携帯電話機６０のコミュニケーション画像生成部５２は、画像メモリ５３から撮影画像データを読み込み、イラスト画像データに変換し、イラスト画像データを画像メモリ５３に記憶させる。携帯電話機６０のコミュニケーション画像生成部５２によるイラスト画像データへの変換処理は、第１の実施形態またはその変形例１〜３における撮影画像データからイラスト画像データへの変換処理と同様である。

中央コントロール部５１は、画像メモリ５３からイラスト画像データを読み込み、イラスト画像データに基づく画像を画像表示部５６に表示させる。この結果、携帯電話機６０の話者は、イラスト的な画像を見ることができる。

第２の実施形態では、携帯電話機６０が、実際に撮影された話者などの画像の画像データを携帯電話機５０から受信し、イラスト画像データに変換する。そして、携帯電話機６０が、イラスト画像データに基づいて、イラスト的な画像を表示する。

従って、携帯電話機５０の話者を映像として送れば、第１の実施形態と同様に、良好なコミュニケーションを実現することができる。また、受信側の携帯電話機６０のコミュニケーション画像生成部５２は、第１の実施形態またはその変形例１〜３と同様に変換処理を行うので、処理負荷を低減することができる。

第２の実施形態において、画像データ生成部は、携帯電話機５０の画像入力部５７によって実現される。画像データ変換部は、携帯電話機６０のコミュニケーション画像生成部５２によって実現される。画像表示部は、携帯電話機６０の画像表示部５６によって実現される。

なお、上記の説明では、携帯電話機５０が撮影画像データを送信し、携帯電話機６０が撮影画像データを受信し、イラスト画像データに変換して、イラスト的な画像を表示する場合を説明した。携帯電話機５０，６０がそれぞれ、撮影画像データを送信しあって、各携帯電話機５０，６０がそれぞれ通話相手のイラスト的な画像を表示してもよい。この場合、各携帯電話機５０，６０が、いずれも画像入力部５７、コミュニケーション画像生成部５２を備える同一の構成になっていればよい。

［第３の実施形態］
図１５は、本発明の第３の実施形態の映像コミュニケーションシステムの構成を示す図である。

図１５に示すように、第３の実施形態の映像コミュニケーションシステムは、携帯電話機５０，６０と、基地局９１，９２と、基地局９１，９２間のネットワーク９３に接続される画像変換サーバ８０とを備える。

画像変換サーバ８０は、キャリアによって設置される。

携帯電話機５０と携帯電話機６０は、基地局９１、ネットワーク９３に接続された画像変換サーバ８０、基地局９２を介してデータの送受信を行う。よって、通話時に送受信される画像データや音声データは、画像変換サーバ８０を経由する。

第３の実施形態では、撮影画像データからイラスト画像データへの変換を画像変換サーバ８０が行う。以下、携帯電話機５０が携帯電話機６０に画像データを送信するものとして説明する。

第３の実施形態では、携帯電話機５０は、コミュニケーション画像生成部５２を備えていなくてよい。他の構成に関しては、図２に示す構成と同様である。

また、携帯電話機６０は、通話時に受信した画像データを表示可能な携帯電話機であればよい。携帯電話機６０は、例えば、携帯電話機５０と同様の、中央コントロール部５１、無線部５４、スピーカ５５、画像表示部５６、音声入力部５８、およびアンテナ５９を備える構成である。携帯電話機６０の中央コントロール部５１は、無線部５４およびアンテナ５９によって、画像データや音声データを受信する。また、携帯電話機６０の中央コントロール部５１は、無線部５４およびアンテナ５９によって音声データ等の信号を送信する。また、携帯電話機６０の中央コントロール部５１は、受信した画像データに基づいて画像を画像表示部５６に表示する。

携帯電話機５０は、基地局９１，９２間のネットワーク９３を介して撮影画像データを送信する。撮影画像データは、画像変換サーバ８０においてイラスト画像データに変換され、携帯電話機６０は、そのイラスト画像データを受信する。携帯電話機６０は、イラスト画像データに基づいて話者（携帯電話機５０の話者）のイラスト的な画像を表示する。

図１６は、本発明の第３の実施形態に係る画像変換サーバ８０の構成例を示すブロック図である。

図１６に示すように、画像変換サーバ８０は、制御部８１と、記憶装置８３と、ネットワークインタフェース８４と、コミュニケーション画像生成部８５と、画像メモリ８６とを備える。

制御部８１は、画像変換サーバ８０全体を制御する。制御部８１は、例えば、プログラムに従って動作する演算処理装置である。

記憶装置８３は、プログラムを記憶する。

ネットワークインタフェース８４は、基地局間のネットワーク９３（図１５参照）とのインタフェースであり、画像変換サーバ８０は、ネットワークインタフェース８４を介してネットワーク９３に接続される。

また、制御部８１は、携帯電話機５０が送信した撮影画像データを受信し、画像メモリ８６に記憶させる。制御部８１は、その撮影画像データがコミュニケーション画像生成部８５によってイラスト画像データに変換されると、イラスト画像データを携帯電話機６０に向けて送信する。

画像メモリ８６は、携帯電話機５０，６０間で送受信される撮影画像データを記憶する。また、画像メモリ８６は、コミュニケーション画像生成部８５によって撮影画像データから変換されたイラスト画像データを記憶する。

コミュニケーション画像生成部８５は、画像メモリ８６から撮影画像データを読み込んで、撮影画像データをイラスト画像データに変換する。そして、コミュニケーション画像生成部８５は、そのイラスト画像データを画像メモリ８６に記憶させる。コミュニケーション画像生成部８５の構成は、第１の実施形態またはその変形例１〜３と同様である。また、コミュニケーション画像生成部８５を、制御部８１と同一の演算処理装置によって実現してもよい。

以下、第３の実施形態の映像コミュニケーションシステムの動作について説明する。以下の説明では、携帯電話機５０が話者の動画像を撮影する場合を例にして説明するが、撮影する画像は静止画像であってもよい。

携帯電話機５０の中央コントロール部５１（図２参照）は、画像入力部５７に例えば話者の顔の動画像を撮影させ、動画像の撮影画像データを画像メモリ５３に記憶させる処理を行わせる。この処理は、第１の実施形態におけるステップＳ１と同様の処理である。

画像変換サーバ８０の制御部８１（図１６参照）は、基地局９１，９２間のネットワーク９３において、携帯電話機５０が携帯電話機６０に送信した撮影画像データを受信し、その撮影画像データを画像メモリ８６に記憶させる。

続いて、コミュニケーション画像生成部８５は、画像メモリ８６から撮影画像データを読み込み、撮影画像データをイラスト画像データに変換する。コミュニケーション画像生成部８５による撮影画像データからイラスト画像データへの変換処理は、第１の実施形態またはその変形例１〜３と同様である。コミュニケーション画像生成部８５は、変換処理によって生成したイラスト画像データを画像メモリ８６に記憶させる。

制御部８１は、コミュニケーション画像生成部８５によって生成されたイラスト画像データを画像メモリ８６から読み込み、携帯電話機６０に送信する。

画像変換サーバ８０は、以上の動作を繰り返し、イラスト画像データを携帯電話機６０に送信する。

携帯電話機６０は、画像変換サーバ８０からイラスト画像データを受信すると、そのイラスト画像データに基づいて、携帯電話機５０の話者のイラスト的な動画像を表示する。

第３の実施形態では、画像変換サーバ８０が、実際に撮影された話者の画像の画像データを携帯電話機５０から受信し、イラスト画像データに変換する。そして、画像変換サーバ８０が、イラスト画像データを携帯電話機６０に送信し、携帯電話機６０が話者のイラスト的な画像を表示する。

従って、第１の実施形態と同様に、良好なコミュニケーションを実現することができる。また、画像変換サーバ８０のコミュニケーション画像生成部８５は、第１の実施形態またはその変形例１〜３と同様に変換処理を行うので、処理負荷を低減することができる。さらに、第３の実施形態では、携帯電話機５０，６０は、撮影画像データからイラスト画像データへの変換処理を行う必要がないので、携帯電話機５０，６０の処理負荷を低減することができる。

第３の実施形態において、画像データ生成部は、携帯電話機５０の画像入力部５７によって実現される。画像データ変換部は、画像変換サーバ８０のコミュニケーション画像生成部８５によって実現される。画像表示部は、携帯電話機６０の画像表示部によって実現される。送信部は、画像変換サーバ８０の制御部８１およびネットワークインタフェース８４によって実現される。

以下、第３の実施形態の映像コミュニケーションシステムの変形例について説明する。

（変形例１）
以上の説明では、画像変換サーバ８０が携帯電話機６０にイラスト画像データを送信する場合を示した。

これに対して、変形例１では、画像変換サーバ８０は、携帯電話機６０からの要求により、携帯電話機６０に対して送信する画像データをイラスト画像データから撮影画像データに切り替える。あるいは、第１の実施形態の変形例３で示したように、イラスト風変換におけるパラメータをコントロールしてイラスト画像データのイラスト度合い（コミュニケーション画像生成部８５における変換の程度）を変化させて送信する画像データを生成してもよい。

変形例１における携帯電話機５０，６０の構成および画像変換サーバ８０の構成は、第３の実施形態と同様である。ただし、画像変換サーバ８０の制御部８１は、携帯電話機６０からの要求に応じて、送信する画像データの切り替える動作、あるいは、コミュニケーション画像生成部８５における変換の程度（イラスト度合い）を変化させる動作も行う。

以下、変形例１の映像コミュニケーションシステムの動作について説明する。

通話開始後、携帯電話機５０は、撮影画像データを携帯電話機６０に送信する。

画像変換サーバ８０の制御部８１は、この撮影画像データを受信する。そして、コミュニケーション画像生成部８５が、撮影画像データをイラスト画像データに変換し、制御部８１が、イラスト画像データを携帯電話機６０に送信する。

携帯電話機６０は、イラスト画像データを受信し、話者のイラスト的な画像を表示する。

以上の動作は、既に説明した第３の実施形態と同様である。

通話中、携帯電話機６０の話者が、携帯電話機５０の話者が設定したイラスト的な画像のイラスト度合いを変化させた画像や、携帯電話機５０の撮影した画像をそのまま見たいと考えたとする。この場合、携帯電話機６０は、通話中に、キー操作部（図示せず）を介して、画像データの切替要求を画像切替サーバ８０に送信する旨の指示が、話者から入力される。この指示が入力されると、携帯電話機６０は、切替要求を画像変換サーバ８０に送信する。このとき、携帯電話機６０の中央コントロール部５１が、無線部５４に切替要求を送信させればよい。

画像変換サーバ８０の制御部８１は、携帯電話機６０からの切替要求を受信すると、コミュニケーション画像生成部８５における変換処理を停止する。そして、制御部８１は、携帯電話機５０から受信した撮影画像データをそのまま携帯電話機６０に送信する。あるいは、制御部８１は、切替要求に従って、コミュニケーション画像生成部８５にイラスト度合い（変換の程度）を変化させてイラスト画像データへの変換を行わせて、コミュニケーション画像生成部８５によって変換された画像データを携帯電話機６０に送信してもよい。

なお、制御部８１は、切替要求を受信したときに、切替画像に従って送信画像を切り替えてよいかどうかの入力を促す画面情報を携帯電話機５０に送信してもよい。この場合、携帯電話機５０は、この画面を表示し、切り替えてよい旨の情報が入力された場合に、その情報を画像変換サーバ８０に送信する。

画像変換サーバ８０の制御部８１は、この情報を受信した場合にのみ、送信画像データをイラスト画像データから撮影画像データに切り替える。あるいは、制御部８１は、イラスト画像データに変換する際の変換の程度を切り替える。

携帯電話機６０は、画像変換サーバ８０から撮影画像データを受信し、受信した撮影画像に基づいて携帯電話機５０の話者の画像を表示する。この結果、携帯電話機６０の話者は、指定した要求どおりのイラスト度合いの画像や携帯電話機５０の撮影した画像を見ることができる。

第１の実施形態の変形例３において説明したように、携帯電話機６０からの切替要求に応じて撮影画像データを送信するようにすると、送信するデータ量が増加し、通信コストも増加する。この場合、増加分の通信コストあるいは通信コスト全体を携帯電話機６０の話者に負担させるようにしてもよい。また、各話者毎の通信料の管理を画像変換サーバ８０が行ってもよい。

各話者毎の通信料の管理を画像変換サーバ８０が行う場合、画像変換サーバ８０は、図１７に示すような構成となる。

図１７は、本発明の第３の実施形態の変形例１に係る画像変換サーバ８０の構成例を示すブロック図である。

図１７に示すように、画像変換サーバ８０は、通信料データベース８２も備える。他の構成部は、図１６に示す各構成部と同様である。

通信料データベース８２は、携帯電話機５０，６０の話者毎に、支払いを求める通信料を記憶する。

制御部８１は、携帯電話機５０，６０間で通話が開始されると、携帯電話機６０に送信する画像のデータや通話時間に応じて、通信料を計算する。そして、制御部８１は、その通信料を要求すべき話者に対応させて、その通信料の情報を通信料データベース８２に記憶させる。

制御部８１は、切替要求を受信するまでに発生した通信料は、通信開始を要求した携帯電話機５０の話者に要求すべき料金であると判定する。また、制御部８１は、切替要求を受信後に発生した通信料の一部（または全部）は、切替要求を送信した携帯電話機６０の話者に要求すべき料金であると判定し、残りの通信料は通信開始を要求した携帯電話機５０の話者に要求すべき料金であると判定する。

図１８（ａ）は、画像変換サーバ８０がイラスト画像データへの変換を実行する場合と、実行しない場合の通信料の例を説明する図である。なお、図１８に示す通信料は１分当りの通信料であるものとする。

画像変換サーバ８０が変換処理を実行するか否かによらず、携帯電話機５０から画像変換サーバ８０には撮影画像データが送信される。

図１８（ａ）に示すように、携帯電話機５０から画像変換サーバ８０までの撮影画像データの通信料は、１分当り５円であるものとする。

画像変換サーバ８０がイラスト画像データへの変換を実行し、イラスト画像データを携帯電話機６０に送信する場合、画像変換サーバ８０から携帯電話機６０までのイラスト画像データの通信料は１分当り３円であるものとする。従って、画像変換サーバ８０が変換処理を行うときの携帯電話機５０から携帯電話機６０まので通信料は、１分当り８円である。

画像変換サーバ８０がイラスト画像データへの変換を実行せず、データ量の多い撮影画像データを携帯電話機６０に送信する場合、画像変換サーバ８０から携帯電話機６０までの撮影画像データの通信料は１分当り５円であるものとする。従って、画像変換サーバ８０が変換処理を行わないときの携帯電話機５０から携帯電話機６０まので通信料は、１分当り１０円である。よって、画像変換サーバ８０が変換処理を実行しない場合には、変換処理を実行する場合よりも１分当り２円（＝１０円−８円）通信料が増加する。

制御部８１は、携帯電話機６０からの切替要求を受信するまでは、画像データ送信側の携帯電話機５０の話者に１分当り８円の支払いを要求するように通信料を計算し、その通信料を携帯電話機５０の話者に要求する金額として、通信料データベース８２に記憶させる。画像データを受信する携帯電話機６０の話者は、この間の通信料を負担しない。

図１８（ｂ）は、携帯電話機６０が画像データの切替要求を送信した後における通信料の例を説明する図である。なお、図１８（ｂ）に示す態様１〜３は、画像変換サーバ８０の制御部８１が切替要求を受信した後の通信料の振り分け態様を示している。

制御部８１は、図１８（ｂ）に示すような態様１〜３のいずれかに従って、各話者毎の通信料を計算し、通信料データベース８２に記憶させる。また、制御部８１は、他の態様に従って、通信料を計算してもよい。

態様１は、携帯電話機５０の話者には、切替要求受信前と同額（１分当り８円）の支払いを要求し、切替要求を送信した携帯電話機６０の話者には画像データ切替により増加した通信料（１分当り２円）を要求する態様である。

態様２は、切替要求を送信した携帯電話機６０の話者に対して、切替要求送信後の通信料の全額（１分当り１０円）を要求する態様である。この場合、画像データを送信する携帯電話機５０の話者は、切替要求に応じて画像変換サーバ８０が撮影画像データの送信を開始した後の通信料は負担しなくて済む。

態様３は、切替要求を送信した携帯電話機６０の話者に対して、切替要求送信後の通信料の全額（１分当り１０円）および撮影した画像をそのまま見られることに対する対価（１分当り１０円とする。）を要求する態様である。すなわち、携帯電話機６０の話者に対して１分当り２０円を要求する。図１８（ａ）に示すように、画像変換サーバ８０が変換を実行せずに撮影画像データを送信する場合の通信料は１分当り１０円で済む。制御部８１は、この差額の１分当り１０円（＝２０円−１０円）については、キャリアから携帯電話機５０の話者に支払うように通信料データベース８２に記憶させる。

変形例１において、切替要求送信部は、携帯電話機６０の中央コントロール部および無線部によって実現される。送信データ切替部および通信料計算部は、画像変換サーバ８０の制御部８１によって実現される。

以上のような変形例１においても、画像変換サーバ８０が、実際に撮影された話者の画像の画像データをイラスト画像データに変換し、携帯電話機６０に送信する。

従って、良好なコミュニケーションを実現することができる。また、コミュニケーション画像生成部８５は、画像データ全体に対して、色の数を減少させる変換を行うので、どの領域が顔であるのかを認識し、さらに特徴点を抽出する等の処理を行う必要がなく、処理負荷を低減することができる。また、携帯電話機は画像データの変換処理を実行しないので、携帯電話機の負荷を低減できる。

なお、上記の説明では、携帯電話機５０が画像データを送信し、携帯電話機６０が画像データを受信して画像を表示する場合を例にして説明した。携帯電話機５０，６０がそれぞれ、画像データを送信しあって、各携帯電話機５０，６０がそれぞれ通話相手の画像を表示してもよい。この場合、各携帯電話機５０，６０が、いずれも画像入力部５７を備える同一の構成であり、また、各携帯電話機５０，６０が、受信した画像データに基づいて画像を表示する構成になっていればよい。

また、第１から第３の各実施形態では、携帯電話機５０，６０が画像データを送受信する場合を例に説明したが、画像データを送受信する端末は、携帯電話機以外の端末（例えば、ＰＤＡ等）であってもよい。また、携帯端末以外の端末であってもよい。

本発明は、テレビ電話システム等の画像データを送受信するシステムに適用可能である。

Claims

撮影対象の画像データを送信する第１の端末と、前記第１の端末が送信した画像データを受信する第２の端末とを有する映像コミュニケーションシステムであって、
前記第１の端末は、
前記撮影対象の画像データを、前記撮影対象に含まれる画像特徴量を少なくとも用いて、前記撮影対象を絵画的に表す画像データに変換する画像データ変換手段を有し、
前記第２の端末は、
前記画像データ変換手段によって変換された画像データに基づいて画像を表示する画像表示手段を有する映像コミュニケーションシステム。
前記第１の端末は、
前記撮影対象の画像を撮影し、前記撮影対象の画像データを生成する画像データ生成手段をさらに有し、
前記画像データ変換手段は、前記画像データ生成手段によって生成された画像データを変換する、請求項１に記載の映像コミュニケーションシステム。
前記第２の端末は、
前記第２の端末の話者の操作に応じて、前記第１の端末に対して、前記画像データの切替要求を送信する切替要求送信手段をさらに有し、
前記第１の端末は、
前記切替要求を受信したときに、前記切替要求に基づき前記画像データ変換手段における変換の程度を制御するか、あるいは、前記画像データ変換手段による変換を停止し、前記画像データ変換手段によって変換された画像データまたは前記画像データ生成手段によって生成された画像データを前記第２の端末に送信する送信データ切替手段をさらに有する、請求項２に記載の映像コミュニケーションシステム。
前記第１および第２の端末の話者に要求する通信料を計算するとともに、前記第２の端末から前記第１の端末に送信される切替要求を受信する料金管理サーバをさらに有し、
前記料金管理サーバは、
前記切替要求を受信した後に前記第１および第２の端末の話者に対して要求する通信料を計算する通信料計算手段を有する、請求項３に記載の映像コミュニケーションシステム。
前記画像データ変換手段は、前記撮影対象の画像データにおける色の数を減少させて、前記画像データを、前記撮影対象を絵画的に表す画像データに変換する、請求項１に記載の映像コミュニケーションシステム。
前記画像データ変換手段は、前記撮影対象の画像データにおける各画素毎に変換を行う、請求項１に記載の映像コミュニケーションシステム。
撮影対象の画像データを送信する第１の端末と、前記第１の端末が送信した画像データを受信し、前記画像データを変換する画像変換装置と、前記画像変換装置によって変換された画像データを受信する第２の端末とを有する映像コミュニケーションシステムであって、
前記画像変換装置は、
前記撮影対象の画像データを、前記撮影対象に含まれる画像特徴量を少なくとも用いて、前記撮影対象を絵画的に表す画像データに変換する画像データ変換手段を有し、
前記第２の端末は、
前記画像データ変換手段によって変換された画像データに基づいて画像を表示する画像表示手段を有する映像コミュニケーションシステム。
前記第１の端末は、
前記撮影対象の画像を撮影し、前記撮影対象の画像データを生成する画像データ生成手段を有し、
前記画像データ変換手段は、前記画像データ生成手段によって生成された画像データを変換する、請求項７に記載の映像コミュニケーションシステム。
前記第２の端末は、
前記第２の端末の話者の操作に応じて、前記画像変換装置に対して、前記画像データの切替要求を送信する切替要求送信手段をさらに有し、
前記画像変換装置は、
前記切替要求を受信したときに、前記切替要求に基づき前記画像データ変換手段における変換の程度を制御するか、あるいは、前記画像データ変換手段による変換を停止し、前記画像データ変換手段によって変換された画像データまたは前記第１の端末の前記画像データ生成手段によって生成された画像データを前記第２の端末に送信する送信データ切替手段をさらに有する、請求項８に記載の映像コミュニケーションシステム。
前記画像変換装置は、
前記切替要求を受信した後に前記第１および第２の端末の話者に対して要求する通信料を計算する通信料計算手段をさらに有する、請求項９に記載の映像コミュニケーションシステム。
前記画像データ変換手段は、前記撮影対象の画像データにおける色の数を減少させて、前記画像データを、前記撮影対象を絵画的に表す画像データに変換する、請求項７に記載の映像コミュニケーションシステム。
前記画像データ変換手段は、前記撮影対象の画像データにおける各画素毎に変換を行う、請求項７に記載の映像コミュニケーションシステム。
他の端末に画像データを送信する端末であって、
撮影対象の画像データを、前記撮影対象に含まれる画像特徴量を少なくとも用いて、前記撮影対象を絵画的に表す画像データに変換する画像データ変換手段を有する端末。
前記撮影対象の画像を撮影し、前記撮影対象の画像データを生成する画像データ生成手段をさらに有し、
前記画像データ変換手段は、前記画像データ生成手段によって生成された画像データを変換する、請求項１３に記載の端末。
前記画像データ変換手段は、前記撮影対象の画像データにおける色の数を減少させて、前記画像データを、前記撮影対象を絵画的に表す画像データに変換する、請求項１３に記載の端末。
前記画像データ変換手段は、前記撮影対象の画像データにおける各画素毎に変換を行う、請求項１３に記載の端末。
他の端末から撮影対象を撮影して生成された画像データを受信する端末であって、
前記撮影対象を撮影して生成された画像データを、前記撮影対象に含まれる画像特徴量を少なくとも用いて、前記撮影対象を絵画的に表す画像データに変換する画像データ変換手段と、
前記画像データ変換手段によって変換された画像データに基づいて画像を表示する画像表示手段とを有する端末。
前記画像データ変換手段は、前記撮影対象を撮影して生成された画像データにおける色の数を減少させて、前記画像データを、前記撮影対象を絵画的に表す画像データに変換する、請求項１７に記載の端末。
前記画像データ変換手段は、前記撮影対象を撮影して生成された画像データにおける各画素毎に変換を行う、請求項１７に記載の端末。
第１の端末から撮影対象を撮影して生成された画像データを受信し、前記画像データを変換して第２の端末に送信する画像変換装置であって、
前記撮影対象を撮影して生成された画像データを、前記撮影対象に含まれる画像特徴量を少なくとも用いて、前記撮影対象を絵画的に表す画像データに変換する画像データ変換手段と、
前記画像データ変換手段によって変換された画像データを、前記第２の端末に送信する送信手段とを有する画像変換装置。
前記画像データ変換手段は、前記撮影対象を撮影して生成された画像データにおける色の数を減少させて、前記画像データを、前記撮影対象を絵画的に表す画像データに変換する、請求項２０に記載の画像変換装置。
前記画像データ変換手段は、前記撮影対象を撮影して生成された画像データにおける各画素毎に変換を行う、請求項２０に記載の画像変換装置。
前記第２の端末から画像データの切替要求を受信したときに、前記切替要求に基づき前記画像データ変換手段における変換の程度を制御するか、あるいは、前記画像データ変換手段による変換を停止し、前記画像データ変換手段によって変換された画像データまたは前記撮影対象を撮影して生成された画像データを前記第２の端末に送信する送信データ切替手段をさらに有する、請求項２０に記載の画像変換装置。
前記切替要求を受信した後に前記第１および第２の話者に対して要求する通信料を計算する通信料計算手段をさらに有する、請求項２３に記載の画像変換装置。