JPH10243367A - カラー画像／音声送信装置およびカラー画像／音声受信装置およびカラーテレビ電話 - Google Patents

Abstract

(57)【要約】 【課題】 モノクローム画像データと通話者データを送
信情報とすることにより送信情報量を少なくしつつ、こ
の少ない情報での画像の再現を、受信側が前記の通話者
データに対応する再現情報を持つことにより、通話者の
実際の容姿に近い形で且つ滑らかに行わせることを目的
とする。 【解決手段】 送信側では、カラー画像データＢからモ
ノクローム画像データＣを手段２にて抽出して伝送路１
０に送出するとともに、セグメンテーション手段３にて
映像中の人物を、顔部分、服装部分等に適宜区分し、区
分された部分ごとの通話者データをデータベース９から
抽出し、通話者データ生成部８を介して伝送路１０上に
送出し、受信側では、受信した通話者データに基づいて
再現情報生成部１１がデータベース１２から種々の再現
情報を取り出し、モノクローム画像データＣに色等の情
報を付加して通話者Ａのカラー画像を再現する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、送信情報量を少な
くでき、また、通話者の意図に応じた画像や音声を受信
側で再現させることができるカラー画像／音声送信装置
およびカラー画像／音声受信装置およびカラーテレビ電
話に関する。

【０００２】

【従来の技術】カラーテレビ電話は、送信側において、
撮像手段にて得られる通話者の画像情報やマイクにて得
られる通話者の音声情報を符号化圧縮した信号を公衆回
線などの伝送路に送出し、受信側において、前記伝送路
を介して圧縮信号を取得し、その伸長処理を行ってディ
スプレイ上に通話者の映像を表示し、スピーカにて通話
者の音声を再現するようになっている（特開平５−８３
７０３号公報、特開平６−１２５５４７号公報参照：Ｉ
ＰＣ Ｈ０４Ｎ ７／１４）。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来のカラーテレビ電話は、特に前述の公衆回線を用いる
ような場合においては、伝送レート等の関係で送信情報
量を多くすることが困難な場合が多い。従って、少ない
送信情報量で受信側での画像再現ができるだけ精細に且
つ滑らかに行われることが要望される。

【０００４】この発明は、上記の事情に鑑み、送信情報
量を少なくしつつ、この少ない情報での画像の再現を、
受信側が再現情報を持つことにより、通話者の実際の容
姿に近い形で且つ滑らかに行わせたり、その逆に、通話
者の実際の容姿や音声と異なる、通話者の意図した映像
や音声を受信側で再現することを目的とする。

【０００５】

【課題を解決するための手段】この発明のカラー画像／
音声送信装置は、モノクローム画像データを生成する生
成手段と、映像中の人物を、顔部分、服装部分等に適宜
区分するセグメンテーション手段と、通話者に関する通
話者データを前記区分ごとにカラー画像データから抽出
するか若しくは前記区分ごとに予め保持している通話者
データベースから抽出する通話者データ生成手段と、前
記モノクローム画像データおよび通話者データを相手先
に送出する送出手段とを備えたことを特徴とする。

【０００６】上記の構成であれば、例えば、映像中の人
物の毛髪部分について“黒”という情報、顔部分につい
て“肌色”という情報、服装部分について“赤”という
ように、少ない情報を前記モノクローム画像データに付
加して送出すればよいので、送信情報量を極めて少なく
することができる。また、データベースに通話者データ
を予め保持している場合において、服装部分は“赤”で
あるというデータを設定しているのであれば、たとえ、
通話者が青色の洋服を着ていたとしても、受信側では通
話者が赤い服を着ているように表示させることもでき
る。

【０００７】前記区分された部分ごとに画像圧縮率を設
定する圧縮率設定手段を備えていてもよい。これによれ
ば、例えば、詳細な画像が要求される顔部分については
圧縮率を低くして精細な画像とし、服装部分については
圧縮率を高くするといったことが可能となり、送信情報
量を少なくしつつ高精細が求められる部分については高
精細に表示させることが可能になる。

【０００８】前記通話者データとして、前記区分された
部分ごとの情報に加え、通話者の感情に関するデータを
含めるようにしてもよい。通話者の感情に関するデータ
は、前記カラー画像データ及び／又は通話者の音声デー
タに基づいて生成することができ、この場合において、
当該データを受け取った受信側では、モノクローム画像
への色付けで顔部分の色を赤っぽくする等して実際より
も怒った表情や音声を作りだすこと等が可能となる。一
方、通話者の感情に関するデータを通話者が自ら設定し
得るようになっていてもよく、例えば、気持ちが沈んで
いるときでも、感情に関するデータとして“愉快”を選
択したとすると、受信側では通話者の顔が笑っているよ
うに表示させることも可能となる。

【０００９】前記通話者データが、感性ワードに基づい
て設定されるようになっていてもよい。これによれば、
通話者データとして、区分された部分ごとの個々の情報
を逐一設定することなく、例えば、“清楚な”といった
感性ワードを選択すると、区分された部分ごとの個々の
情報が前記“清楚な”という感性ワードに応じて適宜設
定されるようにすることができる。

【００１０】また、この発明のカラー画像／音声受信装
置は、通話者データに対応付けられた画像再現情報が格
納されたデータベースと、前述したカラー画像／音声送
信装置から送られてくるモノクローム画像データと通話
者データとに基づいてカラー画像データを生成する画像
再現手段を備えていることを特徴とする。また、通話者
データに対応付けられた音声再現情報が格納されたデー
タベースと、前記カラー画像／音声送信装置から送られ
てくる音声データと通話者データとに基づいて音声を生
成する音声再現手段とを備えていてもよい。

【００１１】これにより、受信側では、カラー画像／音
声送信装置から送られてくる通話者データに基づいて画
像再現情報を生成し、この再現情報とモノクローム画像
データとにより、通話者の実際の容姿に近い映像、或い
は通話者の実際の容姿とは異なる、通話者の意図した映
像を再現することができる。

【００１２】そして、この発明のカラーテレビ電話は、
上述したカラー画像／音声送信装置とカラー画像／音声
受信装置とから成る。

【００１３】

【発明の実施の形態】以下、この発明の実施の形態を図
に基づいて説明する。

【００１４】図１は、この実施の形態のカラーテレビ電
話システムにおける送信側および受信側を概念的に示し
た模式図である。

【００１５】送信側に備えられている撮像手段１は、通
話者Ａを撮影してそのカラー画像データＢを生成し、こ
のカラー画像データＢを、モノクローム画像抽出手段２
およびセグメンテーション手段３にそれぞれ出力するよ
うになっている。

【００１６】モノクローム画像抽出手段２は、前記カラ
ー画像データＢに基づいてモノクローム画像データＣを
生成する。この生成は、例えば、カラー画像データＢに
おける輝度信号を抽出すことで行うことができる。生成
されたモノクローム画像データＣは、画像圧縮回路５に
供給されるようになっている。

【００１７】セグメンテーション手段３は、前記カラー
画像データＢに基づいてセグメントデータＤを生成す
る。この生成は、例えば、高周波成分の検出による輪郭
線抽出により、当該輪郭線で囲まれた部分ごとに区分す
ることで行うことができる。生成されたセグメントデー
タＤは、圧縮率設定回路４に供給されるようになってい
る。

【００１８】圧縮率設定回路４は、区分された部分ごと
に圧縮率を設定するようになっている。例えば、詳細な
画像が要求される顔部分については圧縮率を低くし、服
装部分については圧縮率を高くするといった設定を行
う。区分された部分が人物のどの部分に対応するかの判
断は、当該区分内画素の色情報などに基づいて行うこと
ができる。例えば、区分された部分の色情報が“肌色”
に相当し且つ目や口に相当する画像を認識したときに
は、当該部分は“顔部分”であると判断し、区分された
部分の色情報が“黒色”や“灰色”などに相当し且つ顔
部分より上の領域に隣接して存在すれば、当該部分は
“頭髪部分”であると判断し、区分された部分が顔部分
より下の領域に存在すれば、当該部分は“服装部分”で
あると判断することができる。区分された部分ごとに設
定された圧縮率情報は、前記画像圧縮回路５に供給され
るようになっている。

【００１９】画像圧縮回路５は、前記モノクローム画像
データＣを、例えば、ＤＣＴ（離散コサイン変換）処理
にて画像圧縮し、この圧縮画像データを伝送路１０上に
送出するように構成されている。そして、このＤＣＴ処
理に先立って行う８×８画素ごとのブロック分割処理に
おいて、その処理されるブロックが、前記区分された部
分のうちどの部分に位置しているのかを判断する。例え
ば、処理されるブロックが“服装部分”に位置している
のであれば、当該ブロックにおける圧縮率を大きくす
る。この圧縮率を大きくするには、例えば、高域成分の
変換係数を出力しないようにして情報量を減らすことな
どが考えられる。一方、処理されるブロックが“顔部
分”に位置しているのであれば、当該ブロックにおける
圧縮率を小さくする。例えば、通常どおりに高域成分の
変換係数を出力することが考えられる。勿論、これら以
外の方法で圧縮率を異ならせるようにしてもよい。

【００２０】また、送信側に備えられているマイク６
は、通話者Ａの声をデータ化し、この音声データを音声
圧縮部７に供給する。音声圧縮部７は、音声データを圧
縮して伝送路１０上に送出するようになっている。

【００２１】通話者データ生成部８は、前記通話者Ａの
カラー画像データＢ及び／又は通話者Ａの音声データに
基づいて通話者データを生成し、これを伝送路１０上に
送出するようになっている。通話者データは、前記区分
された部分ごとの色情報、例えば、頭髪部分は黒色、顔
部分は肌色、服装部分は赤といった情報から成る。ま
た、この実施の形態では、通話者データに、通話者の感
情に関するデータを含めている。通話者の感情の判断
は、前記カラー画像データＢに基づいて判断される顔色
や表情、或いは音声データに基づいて判断される音質な
どにて行うことができる。なお、上記表情の判断は、例
えば、予め登録しておいた観察者の基本的な眉、目、唇
などのパーツの位置や角度と、通話時の眉、目、唇など
のパーツの位置や角度との比較により行うことが可能で
ある。

【００２２】また、この実施の形態では、通話者データ
生成部８は、通話者が入力する感性ワードに基づいて、
通話者データベース９から適宜通話者データを取得する
こともできるようになっている。感性ワードの入力は、
送信側の図示しないディスプレイ上に例えば、図２に示
している感性ワード選択画像を表示し、通話者の指タッ
チなどにより特定の感性ワードを選択し得るようになっ
ていればよい。

【００２３】ここで、例えば、相手に清楚な人と思われ
たいのに、たまたま真っ赤な口紅をしており、服装も派
手な模様であったような場合には、感性ワードとして、
“清楚な”を選ぶことが好適である。なお、図２では、
“清楚な”に対応付けた通話者データを示している。こ
の“清楚な”が選択されると、通話者データとしての
“唇の色”としてピンク色が選択され、“服装の色”と
して“白色”が選択され、“表情”として“普通顔”が
選択されることになる。なお、感性ワードそれ自体を通
話者データとして受信側に送り、受信側にて前記感性ワ
ードに基づき後述するデータベースから“唇の色”など
の個々の再現情報を抽出するようにしてもよい。また、
通話者の各部分の色情報の全てが通話者データベース９
から与えられる構成とする場合には、前記撮像手段１を
白黒撮像手段とすることもできる。

【００２４】次に、受信側について説明する。

【００２５】受信側に備えられている再現情報生成部１
１は、送信側から送られてくる通話者データを受信す
る。この通話者データとしては、前述したごとく、“顔
部分”“髪部分”“服装部分”“唇”の各色情報や、
“嬉しい顔”といった表情に関するデータなどがある。
再現情報生成部１１は、例えば、“肌色”という色情報
を受け取った場合、通話者データベース１２から、当該
“肌色”を表現するためのＲ（赤），Ｇ（緑），Ｂ
（青）の比率情報を取得し、この比率情報をその色を付
す部分を特定する情報とともに後述する色再現部１４に
与える。また、再現情報生成部１１は、表情に関する通
話者データを受け取った場合、通話者データベース１２
から、通話者の映像に前記表情をさせるための種々の画
像補正情報を取り出し、これを画像補正部１５に与える
ようになっている。また、そのような表情に音声を合わ
せるために、通話者データベース１２から音声補正情報
を取り出し、これを後述する音声補正部１７に与えるよ
うになっている。

【００２６】通話者データベース１２は、上述した画像
や音声の再現のための情報を保持するが、前述したごと
く、感性ワードそれ自体を通話者データとして受け取る
ような場合には、図２に示しているごとく、感性ワード
と個々の再現情報とを対応付けて保持することになる。
勿論、受信側と送信側は共通した内容のデータベースを
持つことになる。

【００２７】受信側に備えられている画像伸長部１３
は、受信した圧縮画像データを伸長してモノクローム画
像データＣを生成し、このデータＣを色再現部１４に供
給するようになっている。

【００２８】色再現部１４は、再現情報生成部１１から
の各部分についてのＲＧＢ比率情報に基づき、前記モノ
クローム画像データＣに色付けを行うようになってい
る。

【００２９】画像補正部１５は、再現情報生成部１１か
らの画像補正情報に基づき、画像の補正を行い、この補
正済みの画像データをディスプレイ２０に供給するよう
になっている。例えば、“笑った表情”という通話者デ
ータを受信してこれに基づいて前記通話者データベース
１２から画像補正情報として“唇の両端を５画素分上方
に位置させる”という情報を得る場合を想定する。画像
補正部１５は、画像認識処理にて唇の両端の位置を把握
し、当該位置を５画素分上方に移動させるとともに、元
の唇の両端の部分を肌の色に修正する処理を行うことに
なる。なお、画像補正には、上述した表情の修正の他、
顔の色の修正も考えられる。

【００３０】受信側に備えられている音声伸長部１６
は、受信した圧縮音声データを伸長して音声データを生
成し、このデータを音声補正部１７に供給するようにな
っている。

【００３１】音声補正部１７は、再現情報生成部１１か
らの音声補正情報に基づき、音声の補正を行うようにな
っている。例えば、“明るい声”という通話者データを
受信してこれに基づいて前記通話者データベース１２か
ら音声補正情報として“周波数○○以下の低音をカット
する”という情報を得ることが考えられる。音声補正部
１７は、例えば、幾つか備えている図示しないフィルタ
ーのうちの適当な一つを選択し、これに再現した音声信
号を通して低周波カットを行った上でスピーカ１８に供
給することになる。なお、音声補正の処理方法としは、
その他に、言葉の語尾を上げ下げする処理、音声の再現
速度を変化させる処理、語尾に「でございます」といっ
たコンピュータ合成音声を付加する処理などが考えられ
る。

【００３２】上記の構成であれば、カラー画像データを
送信するのではなく、モノクローム画像データに通話者
データを付加して送信するので、送信情報量を極めて少
なくすることができる。そして、受信側では、この少な
い情報での画像の再現を、前記の通話者データに基づく
画像再現情報や音声再現情報を持つことにより、通話者
の実際の容姿に近い形で且つ滑らかに行わせることがで
きる。

【００３３】また、送信側では、圧縮率設定手段４を備
えているので、詳細な画像が要求される顔部分について
は圧縮率を低くして精細な画像とし、服装部分について
は圧縮率を高くするといったことが可能となり、送信情
報量を少なくしつつ高精細が求められる部分については
高精細に表示させることが可能になる。

【００３４】前記通話者データとして、前記区分された
部分ごとの情報に加え、通話者の感情に関するデータを
含めており、感情に関するデータとして“愉快な”を選
択したとすると、実際には怒っているのに、受信側では
通話者の顔が笑っているように表示させることも可能と
なる。

【００３５】前記通話者データを、感性ワードに基づい
て設定することもできるようになっているので、通話者
データとして、区分された部分ごとの個々の情報を逐一
設定することなく、区分された部分ごとの個々の情報を
感性ワードに応じて適宜設定させ、通話者の意図に応じ
た画像や音声を受信側で再現させることができる。

【００３６】この実施の形態では、カラーテレビ電話と
して説明をしたが、このカラーテレビ電話は、カラーテ
レビ会議システムや双方向通信システムなどの画像通信
を含む概念として用いている。

【００３７】なお、感情等に関するデータに応じた音声
補正および画像補正について説明を補足しておく。

【００３８】音声については、「怒り」「悲しみ」「驚
き」「喜び」「平静」といった感情と、音声のピッチ周
波数、振幅、基本周波数、発話時間長といった因子との
関係を調べた報告がなされている。例えば、「怒り」や
「平静」等の感情を込めた声を人に発音させ、基本周波
数を抽出し、縦軸に周波数、横軸に時間をとって表した
ときのグラフ形状に注目すると、「怒り」では“発話の
開始から中盤まで上昇し、後半に下降する”、「平静」
では“概形はほぼ平坦”、「悲しみ」では“発話の開始
からわずかずつ上昇し、発話の終盤に下降が見られる”
といったことが報告されている。また、発話時間長と
「悲しみ」との関係では、「悲しみ」は他の感情より、
発話時間が長いということも報告されている。また、他
には、反対意味の形容詞対と「美的」「高低」「声量」
との各因子との関係を報告したものがあり、例えば、
「きれいな−汚い」は、「美的」因子との関係が深く、
「かん高い−落ち着いた」は「高低」因子との関係が深
く、「細い−太い」は「音量」因子との関係が深いと言
われている。従って、音声補正においては、これらの点
に着目して通話者の音声を加工することも考えられる。

【００３９】画像については、コンピュータを用いて似
顔絵を作成するとともに、表情を入れ込む技術について
報告がなされている。従って、通話発信側が似顔絵化し
たモノクローム画像データを生成してこれを送信した
り、或いは通話受信側がモノクローム画像データを受信
して似顔絵化したモノクローム画像データを生成し、こ
れに基づいて通話受信側のディスプレイに通話者の似顔
を表示することが考えられる。そして、表情を入れ込む
技術として、顔のパーツの形状や位置関係などの図形的
な特徴を、アフィン変換を用いて誇張する「福笑い仮
説」による手法、或いは、ある人物の入力顔、真顔の平
均顔、及び笑顔の平均顔から、その人物の笑顔をコンピ
ュータ合成で作成する手法などが報告されており、これ
ら技術を利用して意図的に表情を変化させる画像補正を
行うことが考えられる。また、他の報告として、「人の
顔の表情が顔面の表情筋の動きによって表現されること
に着目し、Motion Capturing System （“Motion Captu
ring System を用いた表情アニメーションの作成”、春
季信学全大 Ｄ−６７１（１９９５）参照）で取得した
３次元座標値を表情筋の収縮率に変換してデータベース
化する」という報告がなされている。従って、通話発信
側がモノクローム画像データとして通話者の顔の３次元
座標値を送信し、受信側では、通話者データとして送ら
れてきた感情データと、その感情における表情筋の収縮
率についてのデータを用いて、意図的に表情を変化させ
る画像補正を行うことが考えられる。

【００４０】

【発明の効果】以上説明したように、この発明によれ
ば、モノクローム画像データと通話者データを送信情報
とすることにより送信情報量を少なくしつつ、この少な
い情報での画像の再現を、受信側では、前記の通話者デ
ータに基づいた再現情報を得ることにより、通話者の実
際の容姿に近い形で且つ滑らかに行わせることができ
る。また、その逆に、通話者が通話者データとして任意
のデータを送ることで、通話者の実際の容姿や音声と異
なる、通話者の意図した映像や音声を受信側で再現でき
る等の効果を奏する。

【図面の簡単な説明】

【図１】この発明のカラー画像／音声送信装置およびカ
ラー画像／音声受信装置を用いたカラーテレビ電話を概
念的に示した模式図である。

【図２】この発明の感性ワードを選択するための表示画
面例を示す説明図である。

【符号の説明】

１ 撮像部 ２ モノクローム画像抽出手段 ３ セグメンテーション手段 ４ 圧縮率設定手段 ５ 画像圧縮部 ６ マイク ７ 音声圧縮部 ８ 通話者データ生成部 ９ 通話者データベース １０ 伝送路 １１ 再現情報生成部 １２ 通話者データベース １３ 画像伸長部 １４ 色再現部 １５ 画像補正部 １６ 音声伸長部 １７ 音声補正部 １８ スピーカ ２０ ディスプレイ

Claims (8)

【特許請求の範囲】
1. 【請求項１】 モノクローム画像データを生成する生成
   手段と、映像中の人物を、顔部分、服装部分等に適宜区
   分するセグメンテーション手段と、通話者に関する通話
   者データを前記区分ごとにカラー画像データから抽出す
   るか若しくは前記区分ごとに予め保持している通話者デ
   ータベースから抽出する通話者データ生成手段と、前記
   モノクローム画像データおよび通話者データを相手先に
   送出する送出手段とを備えたことを特徴とするカラー画
   像／音声送信装置。
2. 【請求項２】 前記区分された部分ごとに画像圧縮率を
   設定する圧縮率設定手段を備えたことを特徴とする請求
   項１に記載のカラー画像／音声送信装置。
3. 【請求項３】 前記通話者データとして、前記区分され
   た部分ごとの情報に加え、通話者の感情に関するデータ
   を含むことを特徴とする請求項１又は請求項２に記載の
   カラー画像／音声送信装置。
4. 【請求項４】 前記通話者の感情に関するデータは、前
   記カラー画像データ及び／又は通話者の音声データに基
   づいて生成されるようになっていることを特徴とする請
   求項３に記載のカラー画像／音声送信装置。
5. 【請求項５】 前記通話者データが、感性ワードに基づ
   いて設定されるようになっていることを特徴とする請求
   項１乃至請求項４のいずれかに記載のカラー画像／音声
   送信装置。
6. 【請求項６】 通話者データに対応付けられた画像再現
   情報が格納されたデータベースと、請求項１乃至請求項
   ５のいずれかのカラー画像／音声送信装置から送られて
   くるモノクローム画像データと通話者データとに基づい
   てカラー画像データを生成する画像再現手段とを備えて
   いることを特徴とするカラー画像／音声受信装置。
7. 【請求項７】 請求項６のカラー画像／音声受信装置に
   おいて、通話者データに対応付けられた音声再現情報が
   格納されたデータベースと、請求項１乃至請求項５のい
   ずれかのカラー画像／音声送信装置から送られてくる音
   声データと通話者データとに基づいて音声を生成する音
   声再現手段とを備えていることを特徴とするカラー画像
   ／音声受信装置。
8. 【請求項８】 請求項１乃至請求項５のいずれかのカラ
   ー画像／音声送信装置と、請求項７のカラー画像／音声
   受信装置とから成るカラーテレビ電話。