以下、本発明を実施するための最良の形態について図面を参照して説明する。なお、以下の説明では、端末が携帯端末である場合を例に挙げて説明する。また、携帯端末には様々な種類があるが、以下の説明では、携帯端末が携帯電話機である場合を例に挙げて説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態の映像コミュニケーションシステムの構成を示す図である。
図1に示すように、本発明の第1の実施形態の映像コミュニケーションシステムは、携帯電話機50,60と、基地局91,92とを備える。
携帯電話機50,60は、話者等の撮影対象をイラスト的(絵画的)に表した画像データを送受信しながら、通話を行うことが可能である。
以下、説明の便宜上、携帯電話機50が画像データを送信し、携帯電話機60が画像データを受信して表示するものとする。携帯電話機60は、通話時に携帯電話機50から受信した画像データを表示可能な携帯電話機であればよい。
なお、「イラスト的(絵画的)」とは、撮影された画像の特徴を保持しつつ、画質を変化させることである。例えば、エッジ成分を保持したまま画像に含まれる色数を減少させることなどがこれに含まれる。
携帯電話機50は、基地局91と無線信号を送受信し、携帯電話機60は、基地局92と無線信号を送受信する。また、各基地局91,92は、ネットワーク93を介して信号を送受信する。すなわち、各携帯電話機50,60は、基地局91、ネットワーク93および基地局92を介して、信号(音声データや画像データ)を送受信する。
図2は、本発明の第1の実施形態に係る携帯電話機50,60のうち、話者をイラスト的に表した画像データを生成して他の携帯電話機60に送信する携帯電話機50の構成例を示す図である。
図2に示すように、携帯電話機50は、中央コントロール部51と、コミュニケーション画像生成部52と、画像メモリ53と、無線部54と、スピーカ55と、画像表示部56と、画像入力部57と、音声入力部58と、アンテナ59とを備える。
中央コントロール部51は、携帯電話機50全体を制御する。中央コントロール部51は、例えば、プログラムに従って動作するCPUによって実現される。プログラムは、ROM等の記憶装置(図示せず)に予め記憶させておけばよい。
画像入力部57は、例えば、カメラによって実現され、携帯電話機50の話者の顔などの画像を撮影し、撮影により得られた画像データを画像メモリ53に記憶させる。なお、画像入力部57は、話者の動画像を撮影してもよいし、話者の静止画像を撮影してもよい。以下の説明では、画像入力部57が話者の動画像を撮影し、動画像の画像データを画像メモリ53に記憶させるものとする。
コミュニケーション画像生成部52は、撮影により得られた画像データを画像メモリ53から読み込み、その画像データを、イラスト的に表された画像データに変換する。そして、コミュニケーション画像生成部52は、変換後の画像データを画像メモリ53に記憶させる。以下、コミュニケーション画像生成部52による変換前の画像データを撮影画像データと称し、変換後の画像をイラスト画像データと称す。コミュニケーション画像生成部52は、撮影画像データ全体に対して、撮影画像データが示す画像の色数を減らすなどの処理を施し、イラスト的な画像のイラスト画像データに変換する処理を実行する。
画像メモリ53は、撮影画像データおよびイラスト画像データを記憶する。
画像表示部56は、中央コントロール部51に従って、画像データを表示する。例えば、画像表示部56は、他の携帯電話機60に送信するイラスト画像データに基づいて画像を表示する。この結果、通話相手の携帯電話機60にどのような画像が表示されているのかを、話者に示すことができる。
音声入力部58は、例えば、マイクロフォンであり、話者の音声を入力する。
無線部54は、中央コントロール部51に従って、アンテナ59を介して、イラスト画像データおよび音声データを他の携帯電話機60に送信する(具体的には、基地局91に送信する)。また、無線部54は、アンテナ59を介して、他の携帯電話機60からの音声データ等を受信する。
スピーカ55は、他の携帯電話機60からの音声データに基づいて、通話相手(携帯電話機60の話者)の音声を出力する。
図3は、本発明の第1の実施形態に係るコミュニケーション画像生成部52の構成例を示すブロック図である。
図3に示すように、コミュニケーション画像生成部52は、第1の色変換部2と、色度メモリ32と、第1の明度メモリ31と、フィルタリング部4と、第2の明度メモリ33と、第2の色変換部5とを備える。
第1の色変換部2、フィルタリング部4、および第2の色変換部5は、携帯電話機50に搭載され、ソフトウェアに従って動作するCPUによって実現されてもよい。または、第1の色変換部2、フィルタリング部4、および第2の色変換部5は、それぞれ、CPUとは別個の専用LSIによって実現されてもよい。ただし、携帯電話機50の生産コストを下げるためには、第1の色変換部2、フィルタリング部4、および第2の色変換部5を、ソフトウェアに従って動作するCPUによって実現する方が、より好ましい。
撮影画像データ1は、画像入力部57(図2参照)にて撮影されたカラー画像の画像データである。ここでは、撮影画像データ1が、RGBの三原色を用いたRGB表現によって表された画像データであるものとする。また、撮影画像データ1の各画素は、R(赤色)、G(緑色)、B(青色)のそれぞれについて8ビットの値で表されているものとする。すなわち、各画素におけるR、G、Bは、0〜255の値をとるものとする。
イラスト画像データ6は、コミュニケーション画像生成部52が撮影画像データ1に対して画像処理を行った結果、得られる画像データであり、絵画的な画像を示す画像データである。ここでは、イラスト画像データ6は、撮影画像データ1と同様に、各画素がRGBで表現されたRGB表現の画像データであるものとする。
第1の色変換部2は、画像メモリ53(図2参照)から撮影画像データ1を読み込む。そして、第1の色変換部2は、その撮影画像データ1の成分(撮影画像データ1を表現する成分。本例では、RGB成分)を、画素毎に明度成分と色度成分とに変換する。このとき、第1の色変換部2は、明度が変化しても色度(飽和度および色相)が変化しない色空間あるいは色度の変化が少ない色空間における明度成分と色度成分に変換する。この結果、第1の色変換部2は、撮影画像データ1を明度成分と色度成分とに分離することになる。ここで、明度が変化しても色度の変化が少ない色空間とは、「明度が、明度の取り得る最大値になったときに、色度の範囲が0にならない(1点に収束しない)色空間」を意味するものとする。YCrCb表現の色空間では、明度が、明度の取り得る最大値となったときに、色度の範囲が1点に収束し、白色しか表現できなくなる。よって、YCrCb表現の色空間は、「明度が変化しても色度の変化が少ない色空間」に該当しない。同様に、L*a*b*やL*u*v*表現の色空間も、「明度が変化しても色度の変化が少ない色空間」に該当しない。
また、ここでは、第1の色変換部2は、三原色のRGB表現で表された撮影画像データ1の各画素を、HSV色空間における明度成分および色度成分に変換するものとして説明する。HSV色空間は、明度が変化しても色度が変化しない色空間である。HSV色空間における色度成分は、色相と飽和度とを含む。HSV色空間における色相、飽和度、明度をそれぞれ、H、S、Vで表す。第1の色変換部2は、変換により得られる各画素の色相H、飽和度S、明度Vを、例えば8ビットの値(0〜255の値)で表す。以下、明度成分Vのデータからなる画像データを明度画像と称し、色度成分(色相Hおよび飽和度S)のデータからなる画像データを色度画像と称す。
第1の色変換部2は、変換処理によって得られた色度画像を色度メモリ32に記憶させ、明度画像を第1の明度メモリ31に記憶させる。
色度メモリ32は、第1の色変換部2による変換処理で得られた色度画像を記憶する。
第1の明度メモリ31は、第1の色変換部2による変換処理で得られた明度画像を記憶する。
フィルタリング部4は、第1の明度メモリ31に記憶される明度画像(すなわち、明度Vのデータ)に対して、空間フィルタリング処理を行う。この結果、導出されるデータをV’とする。フィルタリング部4によるフィルタリング処理については後述する。フィルタリング部4は、フィルタリング処理によって導出されたデータV’を、第2の明度メモリ33に記憶させる。
第2の明度メモリ33は、フィルタリング部4が導出したデータV’を記憶する。
第2の色変換部5は、第2の明度メモリ33に記憶されたデータV’を明度成分とし、このデータV’と、色度メモリ32に記憶された色度画像(すなわち、色相Hおよび飽和度Sのデータ)とを用いて、第1の色変換部2の変換処理の逆変換処理を行う。すなわち、第2の色変換部5は、HSV色空間における明度成分および色度成分で表された画像データを、RGBで表されるRGB表現の画像データに変換する。第2の色変換部5は、この逆変換処理により得られた画像データを、イラスト画像データ6として画像メモリ53(図2参照)に記憶させる。
また、携帯電話機60は、例えば、携帯電話機50と同様に、中央コントロール部51と、無線部54と、スピーカ55と、画像表示部56と、音声入力部58と、アンテナ59とを備える構成である。携帯電話機60の中央コントロール部51は、無線部54およびアンテナ59によって、画像データや音声データを受信する。また、携帯電話機60の中央コントロール部51は、無線部54およびアンテナ59によって音声データ等の信号を送信する。また、携帯電話機60の中央コントロール部51は、受信した画像データに基づいて画像を画像表示部56に表示する。
以下、第1の実施形態の映像コミュニケーションシステムの動作について説明する。
図4は、本発明の第1の実施形態に係る携帯電話機50,60のうち、イラスト画像データを生成して他の携帯電話機60に向けて送信する携帯電話機50の動作を説明するフローチャートである。
図4に示すように、通話開始時に、携帯電話機50の中央コントロール部51は、画像入力部57に対し、例えば話者の顔の動画像を撮影させ、動画像の撮影画像データを画像メモリ53に記憶させる処理を行わせる(ステップS1)。画像入力部57は、中央コントロール部51に従って、話者の顔の動画像を撮影し、動画像の撮影画像データを画像メモリ53に記憶させる。
次に、コミュニケーション画像生成部52は、画像メモリ53から撮影画像データを読み込み、その撮影画像データをイラスト画像データに変換し、そのイラスト画像データを画像メモリ53に記憶させる(ステップS2)。
中央コントロール部51は、イラスト画像データを画像メモリ53から読み込み、無線部54にイラスト画像データを送信させる(ステップS3)。このとき、中央コントロール部51は、音声入力部58に入力された音声の音声データとともにイラスト画像データを無線部54に送信させる。無線部54は、中央コントロール部51に従って、イラスト画像データおよび音声データを他の携帯電話機60に向けて送信する。
携帯電話機50は、通話が終了するまで上記のステップS1〜S3の処理を繰り返す。また、ステップS1〜S3の処理を繰り返している間、中央コントロール部51は、画像表示部56に、送信するイラスト画像データに基づく画像を表示させる。この表示により、中央コントロール部51は、通話相手の携帯電話機にどのような画像が表示されているのかを、話者に示すことができる。また、ステップS1〜S3の処理を繰り返している間、中央コントロール部51は、送信するイラスト画像データに基づく画像表示の開始や終了の指示を話者に促すGUIを、画像表示部56に表示させてもよい。この場合、画像表示の開始指示がGUIを介して入力されたときには、中央コントロール部51は、送信するイラスト画像データに基づく画像の表示を開始する。また、終了指示が入力されたときには、中央コントロール部51は、その表示を終了する。
また、他の携帯電話機60は、携帯電話機50からイラスト画像データおよび音声データを受信する。そして、携帯電話機60は、受信したイラスト画像データに基づいて携帯電話機50の話者の動画像を表示し、また、話者の音声をスピーカから出力する。
なお、ここでは、携帯電話機50の画像入力部57が、中央コントロール部51に従って、例えば話者の顔の動画像を撮影する場合を説明した。画像入力部57が、中央コントロール部51に従って話者の顔の静止画像を撮影し、静止画像の撮影画像データを画像メモリ53に記憶させてもよい。この場合、コミュニケーション画像生成部52は、イラスト画像データとして静止画の画像データを生成し、中央コントロール部51は、無線部54にそのイラスト画像データを送信させる。このイラスト画像データを受信した携帯電話機60は、イラスト画像データに基づいて携帯電話機50の話者の静止画像を表示する。
次に、図4に示したステップS2におけるコミュニケーション画像生成部52の動作について説明する。
第1の色変換部2は、RGB表現で表された撮影画像データ1を画像メモリ53(図2参照)から読み込むと、その撮影画像データ1の成分(R,G,B)を、画素毎に、HSV色空間における明度成分および色度成分に変換する。
図5は、HSV色空間を説明する図である。
図5に示す縦軸(V軸)は、明度Vを表す。また、図5に示すHSV色空間において、飽和度(彩度と呼ばれる場合もある)Sは、V軸からの距離で表される。また、色相Hは、予め定められた軸であってV軸と直交する軸(図5に示す右方向に向かう軸)から、V軸を中心に回転した角度で表される。例えば、赤色をH=0°とした場合、緑色はH=120°となる。図5に示すように、HSV色空間では、明度Vが変化したとしても、色相Hおよび飽和度Sは変化しない。
第1の色変換部2は、撮影画像データ1のRGB成分から、HSV色空間における明度成分および色度成分への変換処理を以下の変換式を用いて行う。また、既に述べたように、この変換処理は画素毎に行えばよい。ただし、以下の変換式ではR,G,B,H,S,Vは、0〜1の値をとるものとしている。従って、R,G,Bが8ビットで表されている場合には、R,G,Bの値が0〜1の範囲の値となるように前処理を行い、以下の変換式を適用すればよい。また、H,S,Vを8ビットで表す場合には、以下の変換式により求めたH,S,Vを8ビットで表すように変換すればよい。
まず、第1の色変換部2は、明度Vを、V=max(R,G,B)として算出する。ここで、max(R,G,B)は、R,G,Bの値のうちの最大値を表すものとする。すなわち、R,G,Bの値のうちの最大値を明度Vとする。
また、第1の色変換部2は、X=min(R,G,B)としてXを算出する。ここで、min(R,G,B)は、R,G,Bの値のうちの最小値を表すものとする。すなわち、R,G,Bの値のうちの最小値をXとする。
続いて、第1の色変換部2は、S=(V−X)/Vとして、飽和度Sを算出する。さらに、第1の色変換部2は、以下の式によりr,g,bを算出する。
r=(V−R)/(V−X)
g=(V−G)/(V−X)
b=(V−B)/(V−X)
続いて、第1の色変換部2は、R=VかつG=Xならば、h=5+bとしてhを算出する。R=VかつB=Xならば、h=1−gとしてhを算出する。G=VかつB=Xならば、h=1+rとしてhを算出する。G=VかつR=Xならば、h=3−bとしてhを算出する。B=VかつR=Xならば、h=3+gとしてhを算出する。B=VかつG=Xならば、h=5−rとしてhを算出する。
そして、第1の色変換部2は、上記の様にして求めたhを用いて、H=h/6として色相Hを算出する。
第1の変換部2は、色度画像、すなわち色度成分(色相Hおよび飽和度S)のデータからなる画像データを色度メモリ32に記憶させる。また、第1の変換部2は、明度画像、すなわち明度成分Vのデータからなる画像データを第1の明度メモリ31に記憶させる。
続いて、フィルタリング部4は、第1の明度メモリ31に記憶された明度成分Vに対してフィルタリング処理を行い、データV’を導出する。フィルタリング部4は、明度の変化を強調することにより輪郭を生成するとともに、写真画像の陰影等の微妙な変化を反映しないようなリング型フィルタリング処理を実行する。フィルタリング部4は、例えば、以下の数式1に示す畳み込み演算の演算式を用いてV’を計算することにより、上記のようなフィルタリング処理を実現する。
ここでは、個々の画素を、x,y座標の座標値(x,y)を用いて表すものとする。そして、明度画像に含まれる各画素(x,y)の画素値(すなわち個々の画素の明度)をV(x,y)として表すものとする。上記の演算式では、V(x,y)に対するフィルタリングによって得られる画素(x,y)の画素値をV’(x,y)とする。
また、上記の演算式における係数magは、全てのフィルタ値にかかる係数である。ここで、フィルタ値とは、畳み込み演算のカーネルf(i,j)のとる値である。magとして、十分に大きな値を用いる。例えば、magとして32以上の値を用いればよい。
次に、畳み込み演算のカーネルf(i,j)が満たすべき条件について、図6を用いて説明する。
図6は、畳み込み演算のカーネルf(i,j)の例を説明する図である。
カーネルは、図6のように例示された表の中央部では値(フィルタ値)が正となり、表の周辺部では値(フィルタ値)が負となり、各フィルタ値の総和が正であるものであればよい。このようなカーネルであれば、図6に示すカーネルf(i,j)と同一のカーネルでなくてもよい。
表の中央部においてf(i,j)の値が正であるということは、少なくとも、iおよびjがそれぞれi,jのとり得る最大値と最小値の中間の近傍値であるときに、f(i,j)>0となっていることである。本例では、iおよびjのとり得る最大値はいずれも2であり、iおよびjのとり得る最小値はいずれも−2である。よって、iおよびjがそれぞれその中間値0であるとき、f(0,0)=13となり、この値は正である。よって、少なくともiおよびjがそれぞれi,jのとり得る最大値と最小値の中間の近傍値であるときに、f(i,j)>0となっているという条件(表の中央部においてf(i,j)の値が正であるという条件)は満たしている。
表の周辺部においてf(i,j)の値が負であるということは、少なくとも、iがiのとり得る最大値または最小値であるとき、あるいは、jがjのとり得る最大値または最小値であるときに、f(i,j)<0となっていることである。すなわち、iまたはjの少なくともいずれか一方がその最大値または最小値となっているときに、f(i,j)<0となっていることである。本例では、iまたはjの少なくともいずれか一方がその最大値(2)または最小値(−2)となっているときの値は、全て図6に示す表の一番外側に示され、その値はいずれも負となっている。よって、iまたはjの少なくともいずれか一方がその最大値または最小値となっているときに、f(i,j)<0となっているという条件(表の周辺部においてf(i,j)の値が負であるという条件)も満たしている。
各フィルタ値の総和が正であるということは、各i,jに応じたf(i,j)の値の総和が正であるということである。図6に示す各f(i,j)の値の総和は1であり、正であるので、図6に例示するカーネルは、この条件も満たしている。
畳み込み演算は、上記の条件を満たすカーネルを用いた畳み込み演算であればよく、図6に示すカーネルf(i,j)と同一のカーネルを用いた畳み込み演算に限定されない。
なお、図6に示すように、カーネルの値が0でない部分が等方的なフィルタをリング型フィルタという。
フィルタリング部4は、上記のような畳み込み演算を実行することによりフィルタリング処理を行い各画素毎にV’を算出したならば、そのデータV’を第2の明度メモリ33に記憶させる。
第2の色変換部5は、第2の明度メモリ33に記憶されたデータV’をHSV色空間における明度成分とし、HSV色空間における明度成分および色度成分からRGB成分への変換を以下の変換式を用いて行う。ただし、以下の変換式では、R,G,B,H,S,Vは0〜1の値をとるものとしている。従って、第2の色変換部5は、H,S,Vが8ビットで表されている場合には、H,S,Vの値が0〜1の範囲の値となるように前処理を行い、以下の変換式を適用すればよい。また、第2の色変換部5は、R,G,B(イラスト画像データ6におけるR,G,B)を8ビットで表す場合には、以下の変換式により求めたR,G,Bを8ビットで表すように変換すればよい。
まず、第2の色変換部5は、色相Hを用いて、h=6・Hとしてhを算出する。そして、第2の色変換部5は、hの整数部分をIとする。さらに、第2の色変換部5は、以下の式によりF,M,N,Kを算出する。
F=h−I
M=V・(1−S)
N=V・(1−(S・F))
K=V・(1−(S・(1−F)))
そして、第2の色変換部5は、Iの値に応じて、以下のようにR,G,Bを定める。
I=0のとき、第2の色変換部5は、(R,G,B)=(V,K,M)とする。すなわち、R=V,G=K,B=Mとして、R,G,Bを定める。
I=1のとき、第2の色変換部5は、(R,G,B)=(N,V,M)とする。すなわち、R=N,G=V,B=Mとして、R,G,Bを定める。
I=2のとき、第2の色変換部5は、(R,G,B)=(M,V,K)とする。すなわち、R=M,G=V,B=Kとして、R,G,Bを定める。
I=3のとき、第2の色変換部5は、(R,G,B)=(M,N,V)とする。すなわち、R=M,G=N,B=Vとして、R,G,Bを定める。
I=4のとき、第2の色変換部5は、(R,G,B)=(K,M,V)とする。すなわち、R=K,G=M,B=Vとして、R,G,Bを定める。
I=5のとき、第2の色変換部5は、(R,G,B)=(V,M,N)とする。すなわち、R=V,G=M,B=Nとして、R,G,Bを定める。
第2の色変換部5は、各画素に対応する色相H、飽和度S、および明度としたデータV’から、上記のようにR,G,Bへの変換を行い、イラスト画像データ6を生成する。そして、第2の色変換部5は、イラスト画像データ6を画像メモリ53に記憶させる。以上の処理により、ステップS2が終了する。
また、以上のようなステップS2における変換処理を行うことにより、画像データが示す画像の色数は減少し、撮影画像データ1は、イラスト的な画像のイラスト画像データ6に変換される。なお、ステップS2における変換処理により、画像における輪郭が強調されるようになる。
第1の実施形態によれば、携帯電話機50が実際に撮影された画像の画像データをイラスト画像データに変換し、携帯電話機60に送信する。そして、携帯電話機60がイラスト画像データに基づいて絵画的な(イラスト的な)画像を表示する。
従って、話者が撮影されているのであれば、本当に本人であることを通話相手に伝えることができる。
また、話者本人のイラスト的な画像を通話相手の携帯電話機に表示させるので、通話相手が上司等の目上の人物であったとしても不真面目である等と判断されることはなく、コミュニケーションに悪影響を及ぼさない。
また、実際に撮影された話者の画像の画像データをイラスト画像データに変換しているので、話者の微妙な表情を通話相手に伝えることができる。
このように、第1の実施形態によれば良好なコミュニケーションを実現することができる。
また、第1の実施形態では、画像データ全体に対して、色の数を減少させる変換を行っている。従って、特許文献1に記載された技術のように、どの領域が顔であるのかを認識し、さらに特徴点を抽出する等の処理を行う必要がなく、処理負荷を低減することができる。
第1の実施形態において、画像データ生成部は、携帯電話機50の画像入力部57によって実現される。画像データ変換部は、携帯電話機50のコミュニケーション画像生成部52によって実現される。画像表示部は、携帯電話機60の画像表示部56によって実現される。
以下、第1の実施形態の映像コミュニケーションシステムの変形例について説明する。
(変形例1)
第1の実施形態では、第1の色変換部2による変換で得られた成分のうち、明度Vに対してのみフィルタリング処理を実行し、色度(色相Hおよび飽和度S)に対しては、処理を行っていない。
これに対し、変形例1では、飽和度Sに対しても処理を行う。飽和度Sに対して、Sの値に応じて、Sの値を変化させない強調処理あるいはより大きな値に変化させる強調処理を行う。なお、変形例1ではコミュニケーション画像生成部52の処理が図3に示す場合と異なるが、他の点に関しては既に説明した第1の実施形態と同様である。
図7は、本発明の第1の実施形態の変形例1に係るコミュニケーション画像生成部52の構成例を示すブロック図である。
図7に示すように、コミュニケーション画像生成部52は、第1の色変換部2と、色相メモリ35と、第1の飽和度メモリ34と、第1の明度メモリ31と、強調処理部7と、フィルタリング部4と、第2の飽和度メモリ36と、第2の明度メモリ33と、第2の色変換部5とを備える。なお、図3と同様の処理を行う構成部については、図3と同一の符号を付し、説明を省略する。
第1の色変換部2、強調処理部7、フィルタリング部4、および第2の色変換部5は、携帯電話機50に搭載されるCPUによって実現されてもよい。または、第1の色変換部2、強調処理部7、フィルタリング部4、および第2の色変換部5は、それぞれ、CPUとは別個のLSIによって実現されてもよい。
第1の色変換部2は、図3に示した第1の色変換部2と同様に、撮影画像データ1の成分を、画素毎に明度成分と色度成分とに変換する。色度成分は色相と飽和度とを含むが、第1の色変換部2は、色相と飽和度を分離し、それぞれメモリに記憶させる。具体的には、第1の色変換部2は、撮影画像データ1の変換処理によって得られた各画素の色相Hのデータを色相メモリ35に記憶させ、各画素の飽和度Sのデータを第1の飽和度メモリ34に記憶させる。また、第1の色変換部2は、既に説明した場合と同様に、各画素の明度Vのデータを第1の明度メモリ31に記憶させる。すなわち、変形例1では、第1の色変換部2は、撮影画像データ1を変換して、明度、飽和度、および色相に分離する。
また、第1の色変換部2は、明度が変化しても色度(飽和度および色相)が変化しない色空間あるいは色度(飽和度および色相)の変化が少ない色空間における明度成分と色度成分に変換する。既に説明したように、明度が変化しても色度(飽和度および色相)の変化が少ない色空間とは、「明度が、明度の取り得る最大値になったときに、色度(飽和度および色相)の範囲が0にならない(1点に収束しない)色空間」を意味する。
色相メモリ35は、第1の色変換部2による変換処理で得られた色相成分Hのデータを記憶する。
第1の飽和度メモリ34は、第1の色変換部2による変換処理で得られた飽和度成分Sのデータを記憶する。
第1の明度メモリ31は、第1の色変換部2による変換処理で得られた明度成分Vのデータを記憶する。
強調処理部7は、第1の飽和度メモリ34に記憶された各Sの値に応じて、Sの値を変化させない強調処理あるいはより大きな値に変化させる強調処理を行う。強調処理後の飽和度SをS’と表すこととする。また、強調処理部7による強調処理については後述する。強調処理部7は、強調処理後の飽和度S’を第2の飽和度メモリ36に記憶させる。
第2の飽和度メモリ36は、強調処理部7が導出したデータS’を記憶する。
第2の色変換部5は、第2の明度メモリ33に記憶されたデータV’を明度成分とし、V’と、第2の飽和度メモリ35に記憶された飽和度成分S’のデータと、色相メモリ35に記憶された色相成分Hのデータとを用いて、第1の色変換部2の変換処理の逆変換処理を行う。すなわち、第2の色変換部5は、HSV色空間における明度成分および色度成分で表された画像データを、RGBで表される三原色表現の画像データに変換する。
次に、変形例1に係るコミュニケーション画像生成部52の動作(図4に示すステップS2の動作)について説明する。
第1の色変換部2(図7参照)は、三原色のRGB表現で表された撮影画像データ1を画像メモリ53(図2参照)から読み込むと、その撮影画像データ1を、画素毎に、HSV色空間における明度成分V、飽和度成分H、および色相成分Hに変換する。この第1の色変換部2による変換処理は、図3に示した第1の色変換部2による変換処理と同様である。第1の変換部2は、各画素の色相成分Hのデータを色相メモリ35に記憶させる。同様に、第1の変換部2は、各画素の飽和度成分Sのデータを第1の飽和度メモリ34に記憶させ、また、各画素の明度成分Vのデータを第1の明度メモリ31に記憶させる。
続いて、フィルタリング部4は、フィルタリング処理を行い、明度成分VのデータをV’に変換し、データV’を第2の明度メモリ33に記憶させる。このフィルタリング処理は、図3に示したフィルタリング部4によるフィルタリング処理と同様である。
また、強調処理部7は、第1の飽和度メモリ34に記憶された各画素の飽和度成分Sに対する強調処理を行い、強調処理後の飽和度成分S’を第2の飽和度メモリ36に記憶させる。
強調処理部7は、例えば、以下のように強調処理を実行する。強調処理部7は、第1の飽和度メモリ34から飽和度成分Sの値を読み取る。そして、強調処理部7は、その飽和度成分Sの値と、予め定められた閾値(thと称す)とを比較する。強調処理部7は、Sが閾値th未満である場合には、S’=SとしてS’を求める。また、強調処理部7は、Sが閾値th以上である場合には、S’の値を、Sの取り得る最大値またはその最大値に近い値(Smaxと称す)として定める。例えば、th=32と定められていて、また、Sが0〜255の範囲の値を取り得るとする。そして、Smax=255であるとする。強調処理部7は、S<32であるならば、S’=SとしてS’を求める。また、強調処理部7は、S≧32であるならば、S’=255とする。
このように、Sの値が閾値th以上となったときにS’=Smaxとする強調処理を行うことにより、最終的に得られるイラスト画像データ6を、子供が描く絵画のような非常に鮮やかな色の画像のデータとして生成することができる。
また、上記の例では、Sの値が閾値th以上となったときにS’=Smaxとする場合を示したが、強調処理部7は、Sの値の変化によりS’がなだらかに変化するような関数S’=g(S)によりS’の値を定めてもよい。このような関数g(S)の例を以下に示す。以下に示す例でも、Sが0〜255の範囲の値を取り得るものとしている。
S’=S(S<32のとき)
S’=4・S−96(32≦S≦87のとき)
S’=255(S≧88のとき)
このような関数によって定まるS’を導出する場合、例えば、0〜255の256種類のSの値に応じたS’の値を予め算出しておく。そして、各Sの値と、そのSの値に応じたS’の値とを対応付けてルックアップテーブル(図示せず)に予め記憶させておく。強調処理部7は、このルックアップテーブルを参照することによって、Sの値に応じたS’の値を導出すればよい。
フィルタリング部4によるフィルタリング処理および強調処理部7による強調処理の後、第2の色変換部5は、第2の明度メモリ33に記憶されたデータV’を明度成分とし、V’と、第2の飽和度メモリ35に記憶された飽和度成分S’のデータと、色相メモリ35に記憶された色相成分Hのデータとを用いて、第1の色変換部2の変換処理の逆変換処理を行う。この第1の色変換部2による変換処理は、飽和度成分Sの変わりにS’を用いる点を除けば、図3に示した第2の色変換部5による変換処理と同様である。
(変形例2)
変形例2では、コミュニケーション画像生成部52の処理が異なるが、他の点に関しては既に説明した第1の実施形態と同様である。変形例2に係るコミュニケーション画像生成部52は、携帯電話機50に搭載されるCPUによって実現されてもよいし、CPUとは別個のLSIによって実現されてもよい。
図8は、変形例2に係るコミュニケーション画像生成部52の動作例を説明するフローチャートである。図9は、変形例2に係るコミュニケーション画像生成部52により変換される代表色の変換例を説明する図である。ここでは、撮影画像データ1がRGB表現によって表されているものとする。
図8に示すように、コミュニケーション画像生成部52は、撮影画像データを画像メモリ53から読み込むと、その撮影画像データのカラーヒストグラムを作成し、例えば、撮影画像データに含まれる色として多い方のN番目までの色を代表色として選択する(ステップS11)。N個の代表色の選択方法はこれに限らず、カラーヒストグラムから無作為に選択することも可能である。また、N個の代表色として互いに近い色が選ばれないようにするなどの工夫をしてもよい。なお、コミュニケーション画像生成部52は、ステップS11〜ステップS14の間、画像メモリ53から読み込んだ撮影画像データをそのまま保持する。
ステップS11で選択されたN個の代表色の一例を図9(a)に示す。図9(a)に示すように、例えば、撮影画像データに含まれる色として多い方のN番目までの色を代表色として選んだ場合、N個の色は、それぞれR、G、Bの組み合わせによって表される。
次に、コミュニケーション画像生成部52は、R、G、Bの組み合わせによって表されるN個の代表色をHSV表現に変換する(ステップS12)。なお、ステップS12では、読み込んだ撮影画像データ自体は変換せず、代表色を表すN個のR、G、Bの組み合わせをそれぞれHSV表現に変換する。
ステップS12で変換されたN個の代表色の一例を図9(b)に示す。各色は、それぞれH、S、Vの組み合わせによって表される。
次に、コミュニケーション画像生成部52は、N個の代表色におけるそれぞれの飽和度Sを強調する(ステップS13)。例えば、コミュニケーション画像生成部52は、飽和度Sに対して、1.0以上の実数の係数ksを乗じることにより、強調後の飽和度S’を算出する。すなわち、以下の計算により、強調後の飽和度S’を求める。
S’=ks・S
また、上記のような閾値による強調処理や関数g(s)の手法を用いてもよい。
ただし、RGB表現とHSV表現との変換において、飽和度等の各成分は0〜1の値をとるものとしている。従って、S’の上限値は1であり、上記式の計算によりS’の値が1を越えた場合には、コミュニケーション画像生成部52は、S’=1とする。ステップS13において、コミュニケーション画像生成部52は、色相Hおよび明度Vに対しては変換を行わない。
ステップS13で変換されたN個の代表色の例を図9(c)に示す。図9(b)と比較すると、飽和度Sのみが変化している(具体的には値が上昇している)。なお、ks=1の場合には、飽和度Sは変化せず、その結果、代表色は変化しないことになるが、ks=1とし代表色が変化しない場合であっても、イラスト画像データへの変換は可能である。さらに、ここではksが1.0以上の実数であるものとして説明したが、ksは正の実数であればよい。ksが1.0未満の正の実数であるとき、S’はSより小さくなるが、この場合であっても、イラスト画像データへの変換は可能である。
次に、コミュニケーション画像生成部52は、HSV表現で表されたステップS13後のN個の代表色をRGB表現に変換する(ステップS14)。
ステップS14で変換されたN個の代表色の例を図9(d)に示す。図9(d)に示すように、ステップS14後の代表色は、R、G、Bの組み合わせによって表される。
ステップS14までの間、コミュニケーション画像生成部52は、画像メモリ53から読み込んだ撮影画像データをそのまま保持している。
コミュニケーション画像生成部52は、次のステップS15において、撮影画像データの変換を行う。ステップS15では、コミュニケーション画像生成部52は、撮影画像データの各画素のR、G、Bと、ステップS14において得られたN個の代表色のR、G、Bに基づいて、画素毎に、最もRGBユークリッド距離が近い代表色を選択する。そして、コミュニケーション画像生成部52は、各画素のR、G、Bの値を、RGBユークリッド距離が最も近い代表色として選択した代表色のR、G、Bの値に置き換える。
次に、コミュニケーション画像生成部52は、撮影画像データから変換された画像データをイラスト画像データとして画像メモリに記憶させる(ステップS15)。
ステップS15の処理により、撮影画像データにおける各画素の色は、N個の代表色のいずれかとなり、色の数が減少する。また、ステップS15の処理後の画像データ(イラスト画像データ)によって表される画像は、イラスト的な画像となる。
また、図8に示すフローチャートでは、ステップS11〜S14の間、撮影画像データはそのまま保持されるが、ステップS11〜S14の処理を行っている間に、撮影画像データに対してぼかしを入れる処理を行ってもよい。この場合のフローチャートを図10に示す。
図10に示すステップS11〜ステップS15の処理は、図8に示す各処理と同様である。コミュニケーション画像生成部52は、ステップS15を行う前に、2次元フィルタを用いて撮影画像データに対するぼかし処理を行う(ステップS16)。具体的には、コミュニケーション画像生成部52は、個々の画素について、画素のRの値を、その画素およびその画素の周囲の画素のRの値の平均値に置き換える。同様に、コミュニケーション画像生成部52は、個々の画素のG、Bの値についても、その画素およびその画素の周囲の画素のGやBの値の平均値に置き換え、その後、ステップS15の処理を実行する。
また、図8〜図10の説明では、RGB表現からHSV表現に変換し、飽和度Sを強調して再度RGB表現に変換する場合を示した。RGB表現を、均等色空間LCHの表現に変換し、変換後における飽和度Cを強調して再度RGB表現に変換してもよい。
この場合、均等色空間LCHの表現における飽和度Cを強調する場合、コミュニケーション画像生成部52は、飽和度Cに対して、1.0より大きい実数の係数kcを乗じることにより、強調後の飽和度C’を算出する。すなわち、以下の計算により、強調後の飽和度C’を求める。
C’=kc・C
均等色空間LCHにおいて飽和度Cの上限は規定されていないので、上記式により得られたC’を強調処理後の飽和度とすればよい。なお、飽和度Sで述べたその他の強調処理も同様に利用できる。
また、RGB表現から、均等色空間LCHの表現への変換は、公知の変換処理によって行えばよい。例えば、RGB表現をL*a*b*表現に変換し、さらに非特許文献3に記載されているようにL*a*b*表現を、L*C*abhab表現に変換すればよい。L*C*abhab表現におけるC*abが均等色空間LCHにおける飽和度Cに相当する。また、L*a*b*表現ではなく、非特許文献3に記載されているようにRGB表現をL*u*vv表現に変換してからL*C*uvhuv表現に変換してもよい。この場合、L*C*uvhuv表現におけるC*uvが均等色空間LCHにおける飽和度Cに相当する。また、均等色空間LCHの表現からRGB表現に逆変換する場合には、L*C*abhab表現(L*C*uvhuv表現)からL*a*b*表現(L*u*v表現)に変換し、L*a*b*表現(L*u*v表現)からRGB表現に変換すればよい。
(変形例3)
以上の説明では、携帯電話機50が携帯電話機60に向けてイラスト画像データを送信する場合を示した。
これに対して、変形例3では、携帯電話機50は、携帯電話機60からの要求により、送信する画像データをイラスト画像データから撮影画像データに切り替える。
また、携帯電話機50は、イラスト風変換におけるパラメータをコントロールしてイラスト画像データのイラスト度合い(コミュニケーション画像生成部52における変換の程度)を変化させて送信する画像データを生成する。例えば、減色処理の場合には、代表色の数であるNを大きくすれば実画像に近づき、また、小さくすればイラスト画像のイラスト度合いを強めることができる。あるいは、実画像、イラスト画像弱、イラスト画像強というように段階的な複数の要求に対応できるように、それぞれの要求に最適なフィルタや代表色数のパラメータをあらかじめ決定しておき、指定された要求に従ってパラメータを切り替えて送信する画像データを生成すればよい。
変形例3における構成は、既に説明した第1の実施形態またはその変形例1,2と同様の構成とすることができる。ただし、携帯電話機50の中央コントロール部51は、携帯電話機60からの要求に応じて、送信する画像データを撮影画像データに切り替える動作、あるいは、コミュニケーション画像生成部52における変換の程度(イラスト度合い)を変化させる動作も行う。
以下、変形例3の映像コミュニケーションシステムの動作について説明する。
通話開始後、携帯電話機50は、既に説明した第1の実施形態またはその変形例1,2と同様に、撮影画像データをイラスト画像データに変換し、イラスト画像データを携帯電話機60に送信する。
携帯電話機60は、イラスト画像データに基づいてイラスト的な画像を表示する。この結果、携帯電話機60の話者は、携帯電話機50の話者のイラスト的な画像を見ながら通話を行うことができる。
通話中、携帯電話機60の話者が、携帯電話機50の話者が設定したイラスト的な画像ではなく、携帯電話機60の話者の意思でイラスト度合いを変化させた画像や、携帯電話機50の話者を撮影した画像をそのまま見たいと考えることがある。この場合、携帯電話機60は、通話中に、キー操作部(図示せず)を介して、画像データの切替要求を携帯電話機50に送信する旨の指示を話者から入力される。この指示が入力されると、携帯電話機60は、送信する画像の切替要求を携帯電話機50に向けて送信する。このとき、携帯電話機60の中央コントロール部が、無線部に切替要求を送信させればよい。この切替要求は、基地局92、ネットワーク93、基地局91を介して、携帯電話機50に送信される。
携帯電話機50の中央コントロール部51は、携帯電話機60からの切替要求を受信すると、コミュニケーション画像生成部52における変換処理(図4に示すステップS2)を停止する。そして、ステップS3(図4参照)において、中央コントロール部51は、画像メモリから撮影画像データを読み込み、無線部54に撮影画像データを送信させる。あるいは、中央コントロール部51は、切替要求に従って、コミュニケーション画像生成部52にイラスト度合い(変換の程度)を変化させてイラスト画像データへの変換を行わせて、コミュニケーション画像生成部52によって変換された画像データを無線部54に送信させてもよい。無線部54は、中央コントロール部51に従って、撮影画像データあるいはコミュニケーション画像生成部52によって変換された画像データを携帯電話機60に向けて送信する。
なお、携帯電話機50の中央コントロール部51は、切替要求を受信したときに、送信画像データを切替要求通りに切り替えてよいかどうかの入力を話者に促す画面を画像表示部56に表示してもよい。この場合、中央コントロール部51は、送信画像データを切替要求通りに切り替えてよい旨の情報が入力された場合にのみ、送信画像データを切替要求に従って切り替える。例えば、イラスト画像データから撮影画像データに切り替える。あるいは、イラスト画像データに変換する際の変換の程度を切り替える。
携帯電話機60は、携帯電話機50から送信画像データを受信し、受信した送信画像データに基づいて携帯電話機50からの画像を表示する。この結果、携帯電話機60の話者は、携帯電話機50の話者を撮影した画像をそのまま見ることができ、あるいは、送信した切替要求に応じてイラスト度合いが変化した画像をみることができる。
イラスト画像データは撮影画像データよりも色の数が減少しているので、データ量は画像データよりも少ない。よって、携帯電話機60からの切替要求に応じて送信するデータ量が増加した場合、通信コストも増加する。この場合、増加分の通信コストあるいは通信コスト全体を携帯電話機60の話者に負担させるようにしてもよい。以下、変形例3における通信コスト管理について説明する。
図11は、本発明の第1の実施形態の変形例3の映像コミュニケーションシステムの構成を示す図である。
図11に示すように、変形例3の映像コミュニケーションシステムは、基地局91,92間のネットワーク93に、料金管理サーバ70が接続されている。
料金管理サーバ70は、通信料を計算し、どの携帯電話機の話者にその通信料を要求するのかを管理する。なお、料金管理サーバ70は、キャリアによって設置される。また、通話時に送受信される画像データ、音声データ、および切替要求は、料金管理サーバ70を経由する。
図12は、本発明の第1の実施形態の変形例3に係る料金管理サーバ70の構成例を示すブロック図である。
図12に示すように、料金管理サーバ70は、制御部71と、通信料データベース72と、記憶装置73と、ネットワークインタフェース74とを備える。
制御部71は、記憶装置73が記憶するプログラムに従って動作する。ネットワークインタフェース74は、ネットワーク93(図11参照)とのインタフェースであり、料金管理サーバ70は、ネットワークインタフェース74を介してネットワーク93に接続される。
通信料データベース72は、携帯電話機50,60の話者毎に、支払いを求める通信料を記憶する。
制御部71は、ネットワーク93を介して通話が開始されると、送受信される画像のデータ量や通話時間に応じて、通信料を計算する。そして、制御部71は、その通信料を要求すべき話者に対応させて、その通信料の情報を通信料データベース72に記憶させる。
制御部71は、切替要求を受信するまでに発生した通信料は、通信開始を要求した携帯電話機50の話者に要求すべき料金であると判定する。また、制御部71は、切替要求を受信後に発生した通信料の一部(または全部)は、切替要求を送信した携帯電話機60の話者に要求すべき料金であると判定し、残りの通信料は通信開始を要求した携帯電話機50の話者に要求すべき料金であると判定する。
図13(a)は、イラスト画像データの送受信時の通信料と撮影画像データの送受信時の通信料の例を説明する図である。なお、図13に示す通信料は1分当りの通信料であるものする。
図13(a)に示すように、イラスト画像データの送信時においては、イラスト画像データを携帯電話機50から料金管理サーバ70に送信するまでの通信料が1分当り3円であり、料金管理サーバ70から通話相手の携帯電話機60に送信するまでの通信料が1分当り3円であるものとする。従って、携帯電話機50から携帯電話機60までの通信料は、1分当り6円である。
また、色数の多い撮影画像データは、よりデータ量が多いので通信料は高く設定される。撮影画像データの送信時においては、撮影画像データを携帯電話機50から料金管理サーバ70に送信するまでの通信料が1分当り5円であり、料金管理サーバ70から通話相手の携帯電話機60に送信するまでの通信料が1分当り5円であるものとする。従って、携帯電話機50から携帯電話機60までの通信料は、1分当り10円である。よって、撮影画像データの送信時には、イラスト画像データの送信時よりも1分当り4円(=10円−6円)通信料が増加する。
制御部71は、携帯電話機60からの切替要求を受信するまでは、画像データ送信側の携帯電話機50の話者に1分当り6円の支払いを要求するように通信料を計算し、その通信料を携帯電話機50の話者に要求する金額として、通信料データベース72に記憶させる。画像データを受信する携帯電話機60の話者は、この間の通信料を負担しない。
図13(b)は、携帯電話機60が画像データの切替要求を送信した後における通信料の例を説明する図である。なお、図13(b)に示す態様1〜3は、料金管理サーバ70の制御部71が切替要求を受信した後の通信料の振り分け態様を示している。
制御部71は、図13(b)に示すような態様1〜3のいずれかに従って、各話者毎の通信料を計算し、通信料データベース72に記憶させる。また、制御部71は、他の態様に従って、通信料を計算してもよい。
態様1は、携帯電話機50の話者には、切替要求受信前と同額(1分当り6円)の支払いを要求し、切替要求を送信した携帯電話機60の話者には画像データ切替により増加した通信料(1分当り4円)を要求する態様である。
態様2は、切替要求を送信した携帯電話機60の話者に対して、切替要求送信後の通信料の全額(1分当り10円)を要求する態様である。この場合、画像データを送信する携帯電話機50の話者は、切替要求に応じて撮影画像データの送信を開始した後の通信料は負担しなくて済む。
態様3は、切替要求を送信した携帯電話機60の話者に対して、切替要求送信後の通信料の全額(1分当り10円)および撮影した画像をそのまま見られることに対する対価(1分当り10円とする)を要求する態様である。すなわち、携帯電話機60の話者に対して1分当り20円を要求する。図13(a)に示すように、撮影画像データの送信時における通信料は1分当り10円で済む。制御部71は、この差額の1分当り10円(=20円−10円)については、キャリアから携帯電話機50の話者に支払うように通信料データベース72に記憶させる。
変形例3においては、切替要求送信部は、携帯電話機60の中央コントロール部および無線部によって実現される。送信データ切替部は、携帯電話機50の中央コントロール部51によって実現される。通信料計算部は、料金管理サーバ70の制御部71によって実現される。
上記の変形例1〜3のいずれにおいても、携帯電話機50が実際に撮影された話者の画像の画像データをイラスト画像データに変換し、携帯電話機60に送信する。従って、良好なコミュニケーションを実現することができる。
また、変形例1〜3のいずれにおいても、画像データ全体に対して、色の数を減少させる変換を行っている。従って、特許文献1に記載された技術のように、どの領域が顔であるのかを認識し、さらに特徴点を抽出する等の処理を行う必要がなく、処理負荷を低減することができる。
なお、上記の説明では、携帯電話機50が画像データを送信し、携帯電話機60が画像データを受信して画像を表示する場合を例に挙げて説明した。携帯電話機50,60がそれぞれ、画像データを送信しあって、各携帯電話機50,60がそれぞれ通話相手の画像を表示してもよい。この場合、各携帯電話機50,60が、いずれも画像入力部57、コミュニケーション画像生成部52を備える同一の構成であり、また、各携帯電話機50,60が、受信した画像データに基づいて画像を表示する構成になっていればよい。
[第2の実施形態]
第1の実施形態では、画像データを送信する携帯電話機50(図1参照)が撮影画像データからイラスト画像データへの変換を行う。
これに対し、第2の実施形態では、画像データを受信する携帯電話機60(図1参照)が、携帯電話機50から撮影画像データを受信し、その撮影画像データをイラスト画像データに変換する。第2の実施形態でも、図1に示す場合と同様に、携帯電話機50,60は、基地局91、ネットワーク93、および基地局92を介してデータの送受信を行う。
第2の実施形態では、携帯電話機50は、コミュニケーション画像生成部52を備えていなくてよい。他の構成に関しては、図2に示す構成と同様である。
図14は、本発明の第2の実施形態に係る画像データ受信側の携帯電話機60の構成例を示すブロック図である。なお、図2に示す構成と同様の構成部については、図2と同様の符号を付して、詳細な説明を省略する。
図14に示すように、受信側の携帯電話機60は、画像入力部を備えていなくてもよい。また、携帯電話機60のコミュニケーション画像生成部52の構成は、第1の実施形態またはその変形例1〜3と同様である。
以下、本発明の第2の実施形態の映像コミュニケーションシステムの動作について説明する。なお、以下の説明では、動画像を撮影する場合を例にして説明するが、撮影する画像は静止画像であってもよい。
携帯電話機50の中央コントロール部51は、画像入力部57に例えば話者の顔などの動画像を撮影させ、動画像の撮影画像データを画像メモリ53に記憶する処理を行わせる。この処理は、第1の実施形態におけるステップS1と同様の処理である。
続いて、携帯電話機50の中央コントロール部51は、画像メモリから撮影画像データを読み込み、無線部54に撮影画像データを送信させる。無線部54は、中央コントロール部51に従って、撮影画像データを携帯電話機60に向けて送信する。携帯電話機50は、以上の動作を繰り返し、撮影画像データを携帯電話機60に送信する。
一方、受信側の携帯電話機60の無線部54(図14参照)は、アンテナ59を介して携帯電話機50からの撮影画像データを受信する。すると、携帯電話機60の中央コントロール部51は、受信した撮影画像データを画像メモリ53に記憶させる。
携帯電話機60のコミュニケーション画像生成部52は、画像メモリ53から撮影画像データを読み込み、イラスト画像データに変換し、イラスト画像データを画像メモリ53に記憶させる。携帯電話機60のコミュニケーション画像生成部52によるイラスト画像データへの変換処理は、第1の実施形態またはその変形例1〜3における撮影画像データからイラスト画像データへの変換処理と同様である。
中央コントロール部51は、画像メモリ53からイラスト画像データを読み込み、イラスト画像データに基づく画像を画像表示部56に表示させる。この結果、携帯電話機60の話者は、イラスト的な画像を見ることができる。
第2の実施形態では、携帯電話機60が、実際に撮影された話者などの画像の画像データを携帯電話機50から受信し、イラスト画像データに変換する。そして、携帯電話機60が、イラスト画像データに基づいて、イラスト的な画像を表示する。
従って、携帯電話機50の話者を映像として送れば、第1の実施形態と同様に、良好なコミュニケーションを実現することができる。また、受信側の携帯電話機60のコミュニケーション画像生成部52は、第1の実施形態またはその変形例1〜3と同様に変換処理を行うので、処理負荷を低減することができる。
第2の実施形態において、画像データ生成部は、携帯電話機50の画像入力部57によって実現される。画像データ変換部は、携帯電話機60のコミュニケーション画像生成部52によって実現される。画像表示部は、携帯電話機60の画像表示部56によって実現される。
なお、上記の説明では、携帯電話機50が撮影画像データを送信し、携帯電話機60が撮影画像データを受信し、イラスト画像データに変換して、イラスト的な画像を表示する場合を説明した。携帯電話機50,60がそれぞれ、撮影画像データを送信しあって、各携帯電話機50,60がそれぞれ通話相手のイラスト的な画像を表示してもよい。この場合、各携帯電話機50,60が、いずれも画像入力部57、コミュニケーション画像生成部52を備える同一の構成になっていればよい。
[第3の実施形態]
図15は、本発明の第3の実施形態の映像コミュニケーションシステムの構成を示す図である。
図15に示すように、第3の実施形態の映像コミュニケーションシステムは、携帯電話機50,60と、基地局91,92と、基地局91,92間のネットワーク93に接続される画像変換サーバ80とを備える。
画像変換サーバ80は、キャリアによって設置される。
携帯電話機50と携帯電話機60は、基地局91、ネットワーク93に接続された画像変換サーバ80、基地局92を介してデータの送受信を行う。よって、通話時に送受信される画像データや音声データは、画像変換サーバ80を経由する。
第3の実施形態では、撮影画像データからイラスト画像データへの変換を画像変換サーバ80が行う。以下、携帯電話機50が携帯電話機60に画像データを送信するものとして説明する。
第3の実施形態では、携帯電話機50は、コミュニケーション画像生成部52を備えていなくてよい。他の構成に関しては、図2に示す構成と同様である。
また、携帯電話機60は、通話時に受信した画像データを表示可能な携帯電話機であればよい。携帯電話機60は、例えば、携帯電話機50と同様の、中央コントロール部51、無線部54、スピーカ55、画像表示部56、音声入力部58、およびアンテナ59を備える構成である。携帯電話機60の中央コントロール部51は、無線部54およびアンテナ59によって、画像データや音声データを受信する。また、携帯電話機60の中央コントロール部51は、無線部54およびアンテナ59によって音声データ等の信号を送信する。また、携帯電話機60の中央コントロール部51は、受信した画像データに基づいて画像を画像表示部56に表示する。
携帯電話機50は、基地局91,92間のネットワーク93を介して撮影画像データを送信する。撮影画像データは、画像変換サーバ80においてイラスト画像データに変換され、携帯電話機60は、そのイラスト画像データを受信する。携帯電話機60は、イラスト画像データに基づいて話者(携帯電話機50の話者)のイラスト的な画像を表示する。
図16は、本発明の第3の実施形態に係る画像変換サーバ80の構成例を示すブロック図である。
図16に示すように、画像変換サーバ80は、制御部81と、記憶装置83と、ネットワークインタフェース84と、コミュニケーション画像生成部85と、画像メモリ86とを備える。
制御部81は、画像変換サーバ80全体を制御する。制御部81は、例えば、プログラムに従って動作する演算処理装置である。
記憶装置83は、プログラムを記憶する。
ネットワークインタフェース84は、基地局間のネットワーク93(図15参照)とのインタフェースであり、画像変換サーバ80は、ネットワークインタフェース84を介してネットワーク93に接続される。
また、制御部81は、携帯電話機50が送信した撮影画像データを受信し、画像メモリ86に記憶させる。制御部81は、その撮影画像データがコミュニケーション画像生成部85によってイラスト画像データに変換されると、イラスト画像データを携帯電話機60に向けて送信する。
画像メモリ86は、携帯電話機50,60間で送受信される撮影画像データを記憶する。また、画像メモリ86は、コミュニケーション画像生成部85によって撮影画像データから変換されたイラスト画像データを記憶する。
コミュニケーション画像生成部85は、画像メモリ86から撮影画像データを読み込んで、撮影画像データをイラスト画像データに変換する。そして、コミュニケーション画像生成部85は、そのイラスト画像データを画像メモリ86に記憶させる。コミュニケーション画像生成部85の構成は、第1の実施形態またはその変形例1〜3と同様である。また、コミュニケーション画像生成部85を、制御部81と同一の演算処理装置によって実現してもよい。
以下、第3の実施形態の映像コミュニケーションシステムの動作について説明する。以下の説明では、携帯電話機50が話者の動画像を撮影する場合を例にして説明するが、撮影する画像は静止画像であってもよい。
携帯電話機50の中央コントロール部51(図2参照)は、画像入力部57に例えば話者の顔の動画像を撮影させ、動画像の撮影画像データを画像メモリ53に記憶させる処理を行わせる。この処理は、第1の実施形態におけるステップS1と同様の処理である。
続いて、携帯電話機50の中央コントロール部51は、画像メモリから撮影画像データを読み込み、無線部54に撮影画像データを送信させる。無線部54は、中央コントロール部51に従って、撮影画像データを携帯電話機60に向けて送信する。携帯電話機50は、以上の動作を繰り返し、撮影画像データを携帯電話機60に送信する。
画像変換サーバ80の制御部81(図16参照)は、基地局91,92間のネットワーク93において、携帯電話機50が携帯電話機60に送信した撮影画像データを受信し、その撮影画像データを画像メモリ86に記憶させる。
続いて、コミュニケーション画像生成部85は、画像メモリ86から撮影画像データを読み込み、撮影画像データをイラスト画像データに変換する。コミュニケーション画像生成部85による撮影画像データからイラスト画像データへの変換処理は、第1の実施形態またはその変形例1〜3と同様である。コミュニケーション画像生成部85は、変換処理によって生成したイラスト画像データを画像メモリ86に記憶させる。
制御部81は、コミュニケーション画像生成部85によって生成されたイラスト画像データを画像メモリ86から読み込み、携帯電話機60に送信する。
画像変換サーバ80は、以上の動作を繰り返し、イラスト画像データを携帯電話機60に送信する。
携帯電話機60は、画像変換サーバ80からイラスト画像データを受信すると、そのイラスト画像データに基づいて、携帯電話機50の話者のイラスト的な動画像を表示する。
第3の実施形態では、画像変換サーバ80が、実際に撮影された話者の画像の画像データを携帯電話機50から受信し、イラスト画像データに変換する。そして、画像変換サーバ80が、イラスト画像データを携帯電話機60に送信し、携帯電話機60が話者のイラスト的な画像を表示する。
従って、第1の実施形態と同様に、良好なコミュニケーションを実現することができる。また、画像変換サーバ80のコミュニケーション画像生成部85は、第1の実施形態またはその変形例1〜3と同様に変換処理を行うので、処理負荷を低減することができる。さらに、第3の実施形態では、携帯電話機50,60は、撮影画像データからイラスト画像データへの変換処理を行う必要がないので、携帯電話機50,60の処理負荷を低減することができる。
第3の実施形態において、画像データ生成部は、携帯電話機50の画像入力部57によって実現される。画像データ変換部は、画像変換サーバ80のコミュニケーション画像生成部85によって実現される。画像表示部は、携帯電話機60の画像表示部によって実現される。送信部は、画像変換サーバ80の制御部81およびネットワークインタフェース84によって実現される。
以下、第3の実施形態の映像コミュニケーションシステムの変形例について説明する。
(変形例1)
以上の説明では、画像変換サーバ80が携帯電話機60にイラスト画像データを送信する場合を示した。
これに対して、変形例1では、画像変換サーバ80は、携帯電話機60からの要求により、携帯電話機60に対して送信する画像データをイラスト画像データから撮影画像データに切り替える。あるいは、第1の実施形態の変形例3で示したように、イラスト風変換におけるパラメータをコントロールしてイラスト画像データのイラスト度合い(コミュニケーション画像生成部85における変換の程度)を変化させて送信する画像データを生成してもよい。
変形例1における携帯電話機50,60の構成および画像変換サーバ80の構成は、第3の実施形態と同様である。ただし、画像変換サーバ80の制御部81は、携帯電話機60からの要求に応じて、送信する画像データの切り替える動作、あるいは、コミュニケーション画像生成部85における変換の程度(イラスト度合い)を変化させる動作も行う。
以下、変形例1の映像コミュニケーションシステムの動作について説明する。
通話開始後、携帯電話機50は、撮影画像データを携帯電話機60に送信する。
画像変換サーバ80の制御部81は、この撮影画像データを受信する。そして、コミュニケーション画像生成部85が、撮影画像データをイラスト画像データに変換し、制御部81が、イラスト画像データを携帯電話機60に送信する。
携帯電話機60は、イラスト画像データを受信し、話者のイラスト的な画像を表示する。
以上の動作は、既に説明した第3の実施形態と同様である。
通話中、携帯電話機60の話者が、携帯電話機50の話者が設定したイラスト的な画像のイラスト度合いを変化させた画像や、携帯電話機50の撮影した画像をそのまま見たいと考えたとする。この場合、携帯電話機60は、通話中に、キー操作部(図示せず)を介して、画像データの切替要求を画像切替サーバ80に送信する旨の指示が、話者から入力される。この指示が入力されると、携帯電話機60は、切替要求を画像変換サーバ80に送信する。このとき、携帯電話機60の中央コントロール部51が、無線部54に切替要求を送信させればよい。
画像変換サーバ80の制御部81は、携帯電話機60からの切替要求を受信すると、コミュニケーション画像生成部85における変換処理を停止する。そして、制御部81は、携帯電話機50から受信した撮影画像データをそのまま携帯電話機60に送信する。あるいは、制御部81は、切替要求に従って、コミュニケーション画像生成部85にイラスト度合い(変換の程度)を変化させてイラスト画像データへの変換を行わせて、コミュニケーション画像生成部85によって変換された画像データを携帯電話機60に送信してもよい。
なお、制御部81は、切替要求を受信したときに、切替画像に従って送信画像を切り替えてよいかどうかの入力を促す画面情報を携帯電話機50に送信してもよい。この場合、携帯電話機50は、この画面を表示し、切り替えてよい旨の情報が入力された場合に、その情報を画像変換サーバ80に送信する。
画像変換サーバ80の制御部81は、この情報を受信した場合にのみ、送信画像データをイラスト画像データから撮影画像データに切り替える。あるいは、制御部81は、イラスト画像データに変換する際の変換の程度を切り替える。
携帯電話機60は、画像変換サーバ80から撮影画像データを受信し、受信した撮影画像に基づいて携帯電話機50の話者の画像を表示する。この結果、携帯電話機60の話者は、指定した要求どおりのイラスト度合いの画像や携帯電話機50の撮影した画像を見ることができる。
第1の実施形態の変形例3において説明したように、携帯電話機60からの切替要求に応じて撮影画像データを送信するようにすると、送信するデータ量が増加し、通信コストも増加する。この場合、増加分の通信コストあるいは通信コスト全体を携帯電話機60の話者に負担させるようにしてもよい。また、各話者毎の通信料の管理を画像変換サーバ80が行ってもよい。
各話者毎の通信料の管理を画像変換サーバ80が行う場合、画像変換サーバ80は、図17に示すような構成となる。
図17は、本発明の第3の実施形態の変形例1に係る画像変換サーバ80の構成例を示すブロック図である。
図17に示すように、画像変換サーバ80は、通信料データベース82も備える。他の構成部は、図16に示す各構成部と同様である。
通信料データベース82は、携帯電話機50,60の話者毎に、支払いを求める通信料を記憶する。
制御部81は、携帯電話機50,60間で通話が開始されると、携帯電話機60に送信する画像のデータや通話時間に応じて、通信料を計算する。そして、制御部81は、その通信料を要求すべき話者に対応させて、その通信料の情報を通信料データベース82に記憶させる。
制御部81は、切替要求を受信するまでに発生した通信料は、通信開始を要求した携帯電話機50の話者に要求すべき料金であると判定する。また、制御部81は、切替要求を受信後に発生した通信料の一部(または全部)は、切替要求を送信した携帯電話機60の話者に要求すべき料金であると判定し、残りの通信料は通信開始を要求した携帯電話機50の話者に要求すべき料金であると判定する。
図18(a)は、画像変換サーバ80がイラスト画像データへの変換を実行する場合と、実行しない場合の通信料の例を説明する図である。なお、図18に示す通信料は1分当りの通信料であるものとする。
画像変換サーバ80が変換処理を実行するか否かによらず、携帯電話機50から画像変換サーバ80には撮影画像データが送信される。
図18(a)に示すように、携帯電話機50から画像変換サーバ80までの撮影画像データの通信料は、1分当り5円であるものとする。
画像変換サーバ80がイラスト画像データへの変換を実行し、イラスト画像データを携帯電話機60に送信する場合、画像変換サーバ80から携帯電話機60までのイラスト画像データの通信料は1分当り3円であるものとする。従って、画像変換サーバ80が変換処理を行うときの携帯電話機50から携帯電話機60まので通信料は、1分当り8円である。
画像変換サーバ80がイラスト画像データへの変換を実行せず、データ量の多い撮影画像データを携帯電話機60に送信する場合、画像変換サーバ80から携帯電話機60までの撮影画像データの通信料は1分当り5円であるものとする。従って、画像変換サーバ80が変換処理を行わないときの携帯電話機50から携帯電話機60まので通信料は、1分当り10円である。よって、画像変換サーバ80が変換処理を実行しない場合には、変換処理を実行する場合よりも1分当り2円(=10円−8円)通信料が増加する。
制御部81は、携帯電話機60からの切替要求を受信するまでは、画像データ送信側の携帯電話機50の話者に1分当り8円の支払いを要求するように通信料を計算し、その通信料を携帯電話機50の話者に要求する金額として、通信料データベース82に記憶させる。画像データを受信する携帯電話機60の話者は、この間の通信料を負担しない。
図18(b)は、携帯電話機60が画像データの切替要求を送信した後における通信料の例を説明する図である。なお、図18(b)に示す態様1〜3は、画像変換サーバ80の制御部81が切替要求を受信した後の通信料の振り分け態様を示している。
制御部81は、図18(b)に示すような態様1〜3のいずれかに従って、各話者毎の通信料を計算し、通信料データベース82に記憶させる。また、制御部81は、他の態様に従って、通信料を計算してもよい。
態様1は、携帯電話機50の話者には、切替要求受信前と同額(1分当り8円)の支払いを要求し、切替要求を送信した携帯電話機60の話者には画像データ切替により増加した通信料(1分当り2円)を要求する態様である。
態様2は、切替要求を送信した携帯電話機60の話者に対して、切替要求送信後の通信料の全額(1分当り10円)を要求する態様である。この場合、画像データを送信する携帯電話機50の話者は、切替要求に応じて画像変換サーバ80が撮影画像データの送信を開始した後の通信料は負担しなくて済む。
態様3は、切替要求を送信した携帯電話機60の話者に対して、切替要求送信後の通信料の全額(1分当り10円)および撮影した画像をそのまま見られることに対する対価(1分当り10円とする。)を要求する態様である。すなわち、携帯電話機60の話者に対して1分当り20円を要求する。図18(a)に示すように、画像変換サーバ80が変換を実行せずに撮影画像データを送信する場合の通信料は1分当り10円で済む。制御部81は、この差額の1分当り10円(=20円−10円)については、キャリアから携帯電話機50の話者に支払うように通信料データベース82に記憶させる。
変形例1において、切替要求送信部は、携帯電話機60の中央コントロール部および無線部によって実現される。送信データ切替部および通信料計算部は、画像変換サーバ80の制御部81によって実現される。
以上のような変形例1においても、画像変換サーバ80が、実際に撮影された話者の画像の画像データをイラスト画像データに変換し、携帯電話機60に送信する。
従って、良好なコミュニケーションを実現することができる。また、コミュニケーション画像生成部85は、画像データ全体に対して、色の数を減少させる変換を行うので、どの領域が顔であるのかを認識し、さらに特徴点を抽出する等の処理を行う必要がなく、処理負荷を低減することができる。また、携帯電話機は画像データの変換処理を実行しないので、携帯電話機の負荷を低減できる。
なお、上記の説明では、携帯電話機50が画像データを送信し、携帯電話機60が画像データを受信して画像を表示する場合を例にして説明した。携帯電話機50,60がそれぞれ、画像データを送信しあって、各携帯電話機50,60がそれぞれ通話相手の画像を表示してもよい。この場合、各携帯電話機50,60が、いずれも画像入力部57を備える同一の構成であり、また、各携帯電話機50,60が、受信した画像データに基づいて画像を表示する構成になっていればよい。
また、第1から第3の各実施形態では、携帯電話機50,60が画像データを送受信する場合を例に説明したが、画像データを送受信する端末は、携帯電話機以外の端末(例えば、PDA等)であってもよい。また、携帯端末以外の端末であってもよい。