JP3551668B2

JP3551668B2 - 似顔絵送信装置、似顔絵通信装置及び方法

Info

Publication number: JP3551668B2
Application number: JP34152796A
Authority: JP
Inventors: 雅人川出
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 1996-12-20
Filing date: 1996-12-20
Publication date: 2004-08-11
Anticipated expiration: 2016-12-20
Also published as: JPH10187931A

Description

【０００１】
【発明の属する技術分野】
この発明は、入力された顔画像データに基づいて似顔絵を合成して送受信する装置および方法に関する。
【０００２】
【従来の技術】
顔の画像データを送受信する装置としては、いわゆるテレビ電話がある。このテレビ電話では、対話を行う送信者と受信者の位置にＴＶカメラを配置し、双方の顔画像データを音声データとともに送受信するものである。
【０００３】
【発明が解決しようとする課題】
しかし、従来のこの種の通信装置では、画像データの情報量がかなり多いために、現行の圧縮技術を使用しても動画像データを送ることは相当困難であり、現実には、５フレーム／秒程度の静止画像データのコマ送り送受信を出来るに過ぎない。また、ＴＶカメラは送受信者のその時の顔の画像データをそのまま取り込むために、プライバシーを保護する点で問題を生じる場合がある。たとえば、寝起きに電話着信があったとき、特に若い女性の場合は寝起きの顔や髪の状態をそのままＴＶカメラで撮像されたくないことが多いと考えられる。一般に、電話の場合は何時着信するかわからないために、このようにＴＶカメラで撮像した顔の画像データを常にそのまま送受信するようにしておく通信装置では、プライバシーを保護する点で問題があり、そのままでは普及しにくい不都合がある。
【０００４】
この発明の目的は、入力された顔画像データに基づいて似顔絵を形成して送受信する装置および方法を提供することにある。
【０００５】
【課題を解決するための手段】
請求項１に記載した発明は、顔の画像データの入力を受け付ける顔画像データ入力手段と、入力された顔画像データから各顔部品の特徴量を抽出し、この抽出した特徴量を表すデータを送信する送信手段と、を備え、
前記送信手段は、抽出された特徴量から表情を判定し、前記特徴量を表すデータを最初に送信した後に、前記表情を表すデータを繰り返し送信することを特徴とする。
【０００６】
したがって、最初に特徴量を表すデータを送信することで顔の基本的なデータが送信された後、その後表情の変化を表すデータのみが繰り返し送信されていくために、全体としての送信データ量が少なくてすみ、且つ受信側では最初に送られてきたデータから基本となる似顔絵を形成し、さらにその後に繰り返し送信されてくる表情を表すデータによって似顔絵の変形を行うことになる。
【００２５】
【発明の実施の形態】
図１は、この発明の実施形態に係る似顔絵通信装置の構成を示すブロック図である。似顔絵通信装置は、似顔絵を生成するための要素となるデータを送信する似顔絵送信装置１と、似顔絵送信装置１から送られてきたデータに基づいて似顔絵を生成する似顔絵受信装置２とで構成される。似顔絵とは、入力された顔画像データに基づいて予め記憶されている記憶手段から顔部品データを選択し、それらの顔部品データを合成することによって得られる顔画像をいう。
【００２６】
この実施形態では、似顔絵送信装置１は、画像入力部３と特徴量抽出部４と送信部５とで構成されている。また、似顔絵受信装置２は、受信部６と、画像部品ライブラリ７およびルールライブラリ８からなるライブラリと、これらのライブラリから適切な画像部品を選択する部品データ選択部９と、選択された顔部品データを変形ルールや配置ルールに従って実際の似顔絵データとして生成する似顔絵データ生成部１０と、生成された似顔絵データをモニター上に表示する表示器１１とで構成される。
【００２７】
似顔絵送信装置１の画像入力部３は、ＴＶカメラからなり、特徴量抽出部４は、上記画像入力部３で得られた顔画像データから各顔部品の特徴量を抽出する。抽出された特徴量は送信部５に入力され特徴量を表すデータとして送信される。特徴量の抽出は、顔の各部品、すなわち、目、鼻、口、眉、・・輪郭および髪を、得られた顔画像データを２値化するなどして画像処理を行うことにより認識し、各部品の特徴量を公知の方法によって抽出する。特徴量としては、たとえば、目についていえば丸みの状態を表す数値データや傾きの状態を表す数値データで表される。また、左右の目の間隔データや顎の位置から目の高さまでの距離なども特徴量を表すデータとして抽出される。各顔部品について特徴量を抽出する時、その特徴量を表すデータを数値データとせずに、予め数値データの範囲を分割しておき、どの分割範囲に入るかによってインデックス化するなどの正規化を行うことも可能である。
【００２８】
似顔絵受信装置２の受信部６では、上記送信部５から送られてきたデータを受信して部品データ選択部９に渡す。部品データ選択部９では、予め記憶されているルールライブラリ８の選択ルーブライブラリを用いて受信した各顔部品の特徴量を表すデータに基づいて画像部品ライブラリ７から各顔部品を選択する。画像部品ライブラリ７は、１つであっても、画風や表情別に設けた複数個であってもよい。画像部品ライブラリ７が複数個の場合には、予めどのライブラリを選ぶかが選択される。
【００２９】
画像部品ライブラリ７は、図２に示すようになっている。すなわち、目の画像群７ａ、鼻の画像群７ｂ、口の画像群７ｃ、眉の画像群７ｄ、耳の画像群７ｅ、輪郭（顔）の画像群７ｆ、および髪の画像群７ｇが記憶されている。また、ルーブライブラリ８は、図３に示すようにルールを記憶している。すなわち、選択ルール群８ａと変形ルール群８ｂと配置ルール群８ｃとを記憶している。選択ルール群８ａは、たとえば目については、選択する目の部分の傾きを決める傾きルールと、選択する目の部品の丸みを決める丸みルールを記憶し、鼻については、選択する鼻の大きさを決めるルールとその丸みを決めるルールが記憶されている。同様にして、各部品のルールが記憶される。図４は、選択ルール群８ａを用いて画像部品ライブラリ７から目を選択する時の処理を具体的に示す図である。同図（Ａ）は、特徴量を表すデータとして、目の幅ｘ、目の高さｙ、顎の位置から目の中心までの高さｈ、両目の間隔ｄおよび目の中心線が水平線となす角度θが得られることを示している。同図（Ｂ）は傾きルールおよび丸みルールを示している。なお、このルールはファジイルールで構成することも可能である。図においてθ１〜θ２、ａ、ｂは予め設定したしきい値である。傾きルールにおいては、たとえば、θが予め設定したしきい値θ１以下であれば目の傾きが左下がりであると決定する。また、ｙ／ｘがａ以下の場合には目が細いものと決定する。各ルールの結論の組み合わせを示したものが同図（Ｃ）である。図４（Ｃ）は、傾きルールの結論と丸みルールの結論の組み合わせによって、どの部品が選択されるかを示すもので、同図（Ｃ）の表中の各目の形状は画像部品ライブラリ７の目の画像群７ａに記憶されているデータである。
【００３０】
選択ルールによって各部品が選択されると、さらに、変形ルールによってそれらの部品の拡大率や縮小率などにより変形することも可能である。変形ルールを用いないことも出来、その場合は標準値を使用する。変形ルールを用いる場合は、目の変形ルールに目の幅ｘや目の高さｙを当てはめた時に目の画像の拡大率または縮小率が１以外であるときに拡大または縮小の変形がなされる。さらに、各部品の配置を標準にせずに、配置ルールを用いて配置することも可能である。たとえば、目についていえば、目の間隔ｄおよび目の中心線から顎までの距離ｈを当てはめることによって顔の輪郭内における目の配置位置を決定する。
【００３１】
このようにして、部品データ選択部９において全ての顔部品の選択を行い、さらに変形や配置をルールを用いて決める場合は変形ルールと配置ルールにより各顔部品を決定し、それらのデータに基づいて似顔絵データ生成部１０で実際の似顔絵データが生成される。さらにその似顔絵データは表示器１１に入力され、ここでモニター上に表示される。図５は、似顔絵送信装置１の画像入力部３で撮像された顔画像データから特徴量が抽出され、その特徴量を表すデータが似顔絵受信装置２に送信され、同受信装置２において似顔絵データが生成され表示器１１のモニター上に表示された例を示している。なお、同図から推測できるように、この実施形態では特徴量を表すデータが標準値より大きい顔部品ほど選択される画像部品データが誇張されるようになっている。この誇張は、ルーブライブラリの選択ルールライブラリや変形ルールライブラリおよび配置ルールライブラリのルールの決め方によって実現できる。
【００３２】
上記実施形態の似顔絵通信装置１の送信部５を図６のように構成し、また似顔絵受信装置２の似顔絵データ生成部１０を図７のように構成することも可能である。
【００３３】
図６において、送信部５は、特徴量のインデックス化部５ａと、表情判定部５ｂと送信部５ｃとで構成される。特徴量のインデックス化部５ａは、前述のように、特徴量抽出部４で抽出された特徴量を表すデータを予め定めた複数の範囲のどこに含まれるかを検出して簡単な数値または符号からなるインデックスデータに変換する部分である。送信部５は、この特徴量を表すデータのインデックス化部５ａとは別に、表情判定部５ｂを備えている。この表情判定部５ｂは、特徴量を表すデータ、たとえば目の傾きの程度を表す数値データから顔の表情がどのように変わったかを判定する部分である。この表情判定を行うアルゴリズムは公知である。たとえば、普通の状態のときの目の傾き角度が、その目の外側が短時間に下側に向くよう傾けば悲しい表情になったと判定し、反対に、目の外側の位置が短時間に上側に傾けば怒った表情になったと判定する。このような表情判定を行った結果を上記インデックスデータとともに送信部５ｃに送り、両者を編集して送信する。
【００３４】
似顔絵受信装置の似顔絵データ生成部１０は、似顔絵基本データ生成部１０ａと変形部１０ｂとで構成される。なお、似顔絵送信装置１から送信されてくる送信データ中に表情判定データが含まれている場合には、似顔絵データ生成部１０には、顔部品データの他、表情判定データが入力される。似顔絵基本データ生成部１０ａは、入力された顔部品データおよび変形ルールや配置ルールに基づいて似顔絵の基本データを生成する。似顔絵の基本データは、喜怒哀楽の表情のない平静時の似顔絵データをいう。この似顔絵データを変形部１０ｂで、表情判定データに基づいて変形する。変形の方法は、喜怒哀楽を表す表情判定データに基づいて似顔絵基本データの中の所定の顔部品データを変形する。たとえば、上述したように、表情判定データが泣いている表情を判定した時には、両目の外側を下方に移動するように目の部品データを傾ける。また、表情判定データが怒った状態を判定するデータである時には、目の外側が上方に位置するように目の部品データを傾ける。
【００３５】
ここで、送信部５ｃは、特徴量を表すデータのインデックスデータを一度送信するだけであり、その後は表情判定部５ｂで判定される表情判定データを一定時間毎に繰り返し送信する。したがって、似顔絵受信装置の似顔データ生成部１０には、選択された顔部品データが一度だけ送られてくることになり、この一度だけ送られて来る顔部品データに基づいて似顔絵基本データを一回生成し、そのまま表情判定データに基づいてその似顔絵基本データを繰り返し変形する動作を行う。
【００３６】
図８（Ａ）〜（Ｃ）は、それぞれ似顔絵基本データ生成部で生成された基本の似顔絵（平静時の似顔絵）、悲しい時や泣いた時の似顔絵、怒った時の似顔絵をそれぞれ示している。同図（Ｂ）、（Ｃ）に示す似顔絵は、変形部１０ｂで生成される。
【００３７】
図９は、公衆回線等の通信回線を介して接続された２つの通信装置間における似顔絵データの送受信手順を示す図である。
【００３８】
同図の左側はＡさんの通信装置、右側はＢさんの通信装置であり、双方の通信手順は全く同じである。以下、Ａさんの通信装置の通信手順について説明する。まず、ステップＳ１において顔画像データが入力されると、その特徴量が抽出され、インデックス化された特徴量を表すデータは送信部５によって送信される。この時のデータフォーマットは、目、口、鼻、・・・の各顔部品データの特徴量を表したインデックスデータである。続いて、Ｓ４で表情データが特徴量抽出データに基づいて検出され、一定時間ごとに送信される。この時送信されるデータは、一回目に送信された特徴量を表すインデックスデータではなく表情を表すデータである。このようにしてＡさんの通信装置からは一回目に各顔部品の特徴量を表すインデックスデータが送られ、以下２回目以降は表情データが一定時間ごとに送信されていく。一方受信側においては、Ｂさんの通信装置から送られてくる一回目の特徴量を表すインデックスデータを受信すると（Ｓ１０）、部品データが選択され似顔絵基本データが生成される（Ｓ１１）。そして、その似顔絵がモニター上に表示され、続いて表情データが送られてくるたびにその表情データに基づいて所定の顔部品の変形が行われ再表示される。なお、この時の変形には、表情データに基づいて変形量を設定するルール（ファジイルール等）を使用することができる。
【００３９】
次に、本発明の他の実施形態について説明する。
【００４０】
図１０は、図１の似顔絵通信装置において、送信部５に含まれる表情判定部５ｂに変えて、音声データ入力部１５を設けたものである。先の実施形態では、音声データ入力部を設けていなかったが、似顔絵通信装置を電話機能を持ったものにする場合には、音声データ入力部が当然必要になってくる。また、音声データの再生部も必要になってくる。本実施形態では、この音声データ入力部および音声データ再生部については特に説明をするものではないが、必要であれば周知の構成のものを用いることができる。
【００４１】
音声データ入力部１５の出力からは音量データを検知することができるために、図１０に示す似顔絵送信装置の送信部５に、この音量データが入力される。音量データは単純にしきい値検出で形成してもよいし、また音声のパワースペクトルを検出して形成することも可能である。また、音量データはＡＤＰＣＭ技術などにより圧縮してもよい。この音量データは特徴量を表すデータのインデックスデータが最初に送られた後、一定時間毎に送信部５ｃより送信される。似顔絵受信装置２の似顔絵データ生成部１０では、最初に１回送られてくるインデックスデータに基づいて似顔絵基本データを生成し、次に、それ以降に繰り返し送られてくる音量データに基づいて上記似顔絵基本データを変形する。この変形部１０ｂでの変形は、似顔絵基本データの口部品の開閉を行うことによって行う。図１１にその変形例を示す。図の（Ａ）は似顔絵基本データ形成部１０ａで形成された基本となる似顔絵であり、同図（Ｂ）および同図（Ｃ）は変形部１０ｂで口部品の形状が変形された似顔絵を示しており、この同図（Ｂ）および同図（Ｃ）は受信データ中に音量データが含まれるたびに順次表示される。このため、口をパクパクして、しゃべっているように見える。
【００４２】
図１２は、この実施形態の似顔絵通信装置での通信手順を示すフローチャートである。図９に示す通信手順と相違する点は、図１２においては、Ｓ３で２回目以降に送信されるデータが表情データはなく音量データあり、受信時においては、Ｓ１３で音量データを受信するたびに口部品の形状を変形する動作（口をパクパクさせる）を行う点である。
【００４３】
さらに、別の実施形態として、図１３に示すように表情データと音量データをともに検出し、各検出したデータに基づいて顔の表情および口部品の形状を変形するようにすることも可能である。この場合には、似顔絵送信装置の送信部５には表情判定部５ｂが設けられ、さらに送信装置１内には音声データ入力部１５が設けられることになる。
【００４４】
図１４は、この発明のさらに他の実施形態の似顔絵通信装置を示している。図１に示す似顔絵通信装置と相違する点は、似顔絵送信装置１側に画像部品ライブラリ７およびルールライブラリ８が設けられている点である。このようにすると、部品データ選択部９において選択された画像部品データおよび各ルールによって決定された変形結果、配置結果が送信部５を介して送信される。一方、似顔絵受信装置２では、受信されたデータに基づいて似顔絵データを生成し．表示器１１に表示することになるため、受信側の負担が軽くなる。
【００４５】
なお、図９、図１２および図１３に示す通信手順のプログラムはＣＤＲＯＭやフロッピイディスク等の記憶媒体や通信回線を介して各送信装置および受信装置に供給することができる。また、通信回線は公衆通信回線を使用することもでき、インターネット上での通信も可能である。
【００４６】
このように、回線を通じて相手側に自分の顔の似顔絵を送信することができ、また相手方からは相手の似顔絵を受信することができるため、相互に顔に関するプライバシーを守ることができる。また、送受信するデータは顔画像データではなく、顔部品毎の特徴量を表すデータであるために送信データ量は相対的に極めて少ない。このため、表情や音声の大きさに応じて似顔絵を変形する動作もスムーズに行え、リアルタイムでの通信が可能である。
【００４７】
【発明の効果】
本発明においては、相手方に送信されるデータが顔画像データそのものではなくその特徴量を表すデータであるため、受信側においては顔画像データそのものが受信されて再現されることはない。このため、プライバシーを保護出来、装置の普及促進を図ることが出来る。また、最初に特徴量を表すデータを送信することで顔の基本的なデータが送信された後、その後表情の変化を表すデータのみが繰り返し送信されていくために、全体としての送信データ量が少なくてすみ、且つ受信側では最初に送られてきたデータから基本となる似顔絵を形成し、さらにその後に繰り返し送信されてくる表情を表すデータによって似顔絵の変形を行うことになる。
【図面の簡単な説明】
【図１】この発明の実施形態に係る似顔絵通信装置の構成を示すブロック図である。
【図２】画像部品ライブラリの構成を示す図である。
【図３】ルールライブラリの構成を示す図である。
【図４】目の特徴量を表すデータに基づいて目の部品データを選択するルールについて説明する図である。
【図５】上記似顔絵通信装置によって受信側に表示され表示例を示す図である。
【図６】送信部の構成例を示す図である。
【図７】似顔絵データ生成部の構成例を示す図である。
【図８】（Ａ）〜（Ｃ）
似顔絵データ生成部で生成される似顔絵の基本とその変形例を示す図である。
【図９】上記似顔絵通信装置の通信手順を示すフローチャートである。
【図１０】送信部および似顔絵データ生成部の他の構成例を示す図である。
【図１１】似顔絵データ生成部で生成される似顔絵の基本とその変形例を示す図である。
【図１２】上記似顔絵通信装置の通信手順の他の例を示すフローチャートである。
【図１３】上記似顔絵通信装置の通信手順を示すさらに他の例を示すフローチャートである。
【図１４】本発明の他の実施形態の似顔絵通信装置の構成を示すブロック図である。
【符号の説明】
１−似顔絵送信装置
２−似顔絵受信装置
３−画像入力部
４−特徴量抽出部
５−送信部
６−受信部
７−画像部品ライブラリ
８−ルールライブラリ
９−部品データ選択部
１０−似顔絵データ生成部
１１−表示器

Claims

顔の画像データの入力を受け付ける顔画像データ入力手段と、入力された顔画像データから各顔部品の特徴量を抽出し、この抽出した特徴量を表すデータを送信する送信手段と、を備え、
前記送信手段は、抽出された特徴量から表情を判定し、前記特徴量を表すデータを最初に送信した後に、前記表情を表すデータを繰り返し送信することを特徴とする似顔絵送信装置。
顔の画像データの入力を受け付ける顔画像データ入力手段と、入力された顔画像データから各顔部品の特徴量を抽出し、この抽出した特徴量を表すデータを送信する送信手段と、を備える似顔絵送信装置と、
前記似顔絵送信装置から送信されてくる特徴量を表すデータを受信する受信手段と、顔部品毎に特徴量を異にした複数の顔部品データを記憶する記憶手段と、前記特徴量を表すデータに基づいて記憶手段から各顔部品データを選択し、合成して似顔絵データを生成する似顔絵データ生成手段と、生成された似顔絵データを表示する表示器と、を備える似顔絵受信装置と、を備え、
前記送信手段は、抽出された特徴量から表情を判定し、前記特徴量を表すデータを最初に送信した後に、前記表情を表すデータを繰り返し送信することを特徴とする似顔絵通信装置。
似顔絵データ生成手段は、最初に送信されてきた特徴量を表すデータに基づいて似顔絵データを生成した後に、続いて送信されてきた表情を表すデータに基づいて似顔絵データを変形することを特徴とする請求項２記載の似顔絵通信装置。
似顔絵送信装置において、顔の画像データの入力を受け付けて、各顔部品の特徴量を抽出し、この抽出した特徴量を表すデータを送信する一方、
似顔絵受信装置において、該送信されてくる特徴量を表すデータを受信して、予め顔部品データが記憶されている記憶手段から前記受信したデータに基づいて各顔部品データを選択し、合成して似顔絵データを生成し、生成された似顔絵データを表示する、似顔絵通信方法において、
前記似顔絵送信装置は、抽出された特徴量から表情を判定し、前特徴量を表すデータを最初に送信した後に、前記表情を表すデータを繰り返し送信し、前記似顔絵受信装置は、似顔絵データを生成した後に、続いて送信されてきた表情を表すデータに基づいて似顔絵データを変形することを特徴とする、似顔絵通信方法。
顔の画像データの入力を受け付ける顔画像データ入力手段と、入力された顔画像データから各顔部品の特徴量を数値データ又は該数値データを正規化したデータとして抽出する特徴量抽出手段と、この抽出した特徴量を表すデータを送信する送信手段と、を備える似顔絵送信装置と、
該似顔絵送信装置から送信されてくる特徴量を表すデータを受信する受信手段と、顔部品毎に特徴量を異にした複数の顔部品データを記憶する記憶手段と、前記特徴量を表すデータに基づいて記憶手段から各顔部品データをどのように選択し、どのように変形し、どのように配置するか等の顔部品データ生成ルールを記憶するルール記憶部と、該ルール記憶部に記憶されているルールにより前記特徴量を表すデータに基づいて顔部品データを前記記憶手段から読み出して似顔絵データを生成する似顔絵データ生成手段と、生成された似顔絵データを表示する表示器と、を備える似顔絵受信装置とからなる、似顔絵通信装置。
顔の画像データの入力を受け付ける顔画像データ入力手段と、入力された顔画像データから各顔部品の特徴量を数値データ又は該数値データを正規化したデータとして抽出する特徴量抽出手段と、この抽出した特徴量を表すデータを送信する送信手段と、を備える似顔絵送信装置と、
該似顔絵送信装置から送信されてくる特徴量を表すデータを受信する受信手段と、顔部品毎に特徴量を異にした複数の顔部品データを記憶する記憶手段と、前記特徴量を表すデータに基づいて記憶手段から各顔部品データをどのように選択し、どのように変形し、どのように配置するか等の顔部品データ生成ルールを記憶するルール記憶部と、該ルール記憶部に記憶されているルールにより前記特徴量を表すデータに基づいて顔部品データを前記記憶手段から読み出して似顔絵データを生成する似顔絵データ生成手段と、を備える似顔絵受信装置とからなる、似顔絵通信装置。
送信手段は、抽出された特徴量から表情を判定し、前記特徴量を表すデータを最初に送信した後に、前記表情を表すデータを繰り返し送信することを特徴とする請求項５又は６記載の似顔絵通信装置。
音声の入力を受け付ける音声データ入力手段を備え、送信手段は、前記特徴量を表すデータを最初に送信した後に、入力された音声データの音量を表すデータを繰り返し送信することを特徴とする請求項５又は６記載の似顔絵通信装置。
似顔絵データ生成手段は、前記表情を表すデータに基づいて似顔絵データを変形することを特徴とする請求項７記載の似顔絵通信装置。
似顔絵データ生成手段は、前記音量を表すデータに基づいて口部品データを変形することを特徴とする請求項８記載の似顔絵通信装置。
顔の画像データの入力を受け付ける顔画像データ入力手段と、入力された顔画像データから各顔部品の特徴量を抽出し、この抽出した特徴量を表すデータを送信する送信手段と、を備える似顔絵送信装置と、
前記似顔絵送信装置から送信されてくる特徴量を表すデータを受信する受信手段と、顔部品毎に特徴量を異にした複数の顔部品データを記憶する記憶手段と、前記特徴量を表すデータに基づいて記憶手段から各顔部品データを選択し、合成して似顔絵データを生成する似顔絵データ生成手段と、を備える似顔絵受信装置と、を備え、
前記送信手段は、抽出された特徴量から表情を判定し、前記特徴量を表すデータを最初に送信した後に、前記表情を表すデータを繰り返し送信することを特徴とする似顔絵通信装置。