JP3073176U - 音声ドライブ動画面用イメージデータ生成装置 - Google Patents

Abstract

(57)【要約】 【目的】 少ないまたは１つの顔の画像のみを準備する
だけで十分であり、送信時に多量のデータを送る必要の
ないような電話装置もしくは独立した画像生成装置を構
成することができる音声ドライブ動画面用イメージデー
タ生成装置を提供する。 【構成】 発声者の特定の音声に対応する口の状態変化
の代表例を予めサンプリングして格納するサンプリング
格納手段と、発声者の顔の１つの画像を読み込む読み込
み手段と、該読み込み手段に読み込んだ画像の口に対し
て前記サンプリング格納手段に格納された口の状態変化
に基づいて画像の口に対して変更を加える変更追加手段
と、該変更追加手段で変更された口の状態を格納する格
納手段と、を設ける。

Description

【考案の詳細な説明】

【０００１】

【考案の属する技術分野】

本考案は、音声ドライブ動画面用イメージデータ生成装置に関し、特に、携帯電 話、パソコン通信等に用いるのに適した音声ドライブ動画面用イメージデータ生 成装置に関する。

【０００２】

【従来の技術】

一般に提供されている音声ドライブ画像付き電話装置もしくはテレビ会議電話 装置などのいわゆるテレビ会議で用いられる技術では、双方向に発信者両方の画 像と音声を送受信するようになっている。この技術では、テレビ会議等への出席 者の画像を送るために、双方にカメラを備える必要がある。このため、カメラを 備えることなしに発信者の顔の画像を双方に送信するようにした表示装置付きの 電話装置を用いることは困難である。

【０００３】 このことを解決するために、本考案者は、発信側の装置から基本的な顔画像の データを予め受信側の装置に送信しておいて、あとで送信される発声者の音素を 音声認識機能によって認識し、そのデータによって顔画像の動きを受信側の装置 で音声と共に視聴し得るようにした技術を提案している（登録実用新案第３０６ ２０８０号 ）。

【０００４】

【発明が解決しようとする課題】

この登録実用新案の考案では、少なくともいくつか音声の音素に対応する顔（ 実質的には、顔全体）の画像のパターンを予め準備し、電話装置もしくは通信事 業者のサーバ等のメモリに格納する必要があり、また、その中の１つの方法では 、送信毎に、画像を送る必要がある。この結果、電話装置もしくはサーバ等は大 容量のメモリを備える必要であり、送信時に多量のデータを送る必要がある。

【０００５】 したがって、本考案の目的は、少ないまたは１つの顔の画像のみを準備するだ けで十分であり、送信時に多量のデータを送る必要のないように電話装置を構成 することができる音声ドライブ動画面用イメージデータ生成装置を提供すること にある。

【０００６】

【課題を解決するための手段】

前述の目的を達成するために、本考案は、発声者が複数の特定の音声を発声し たとき、発声者の顔の画像を読み込む読み込み手段と、該読み込み手段に読み込 んだ画像から音声に対応する口の状態変化を抽出する変化抽出手段と、前記変化 抽出手段で抽出した口の状態を格納する状態格納手段と、を有することを特徴と する音声ドライブ動画面用イメージデータ生成装置を採用するものである。

【０００７】 本考案は、また、発声者が音声を発声したときの発声者の顔の画像を読み込む 手段と、該読み込み手段に読み込んだ画像から特定の音声に対応する画像だけを 選択する画像選択手段と、該画像選択手段で選択した画像から音声に対応する口 の状態変化を抽出する変化抽出手段と、前記変化抽出手段で抽出した口の状態を 格納する状態格納手段と、を有することを特徴とする音声ドライブ動画面用イメ ージデータ生成装置を採用するものである。

【０００８】 本考案は、さらに、発声者の特定の音声に対応する口の状態変化の代表例を予 めサンプリングして格納するサンプリング格納手段と、発声者の顔の１つの画像 を読み込む読み込み手段と、該読み込み手段に読み込んだ画像の口に対して前記 サンプリング格納手段に格納された口の状態変化に基づいて画像の口に対して変 更を加える変更追加手段と、該変更追加手段で変更された口の状態を格納する格 納手段と、を有することを特徴とする音声ドライブ動画面用イメージデータ生成 装置を採用するものである。

【０００９】 ここで、本考案は、前記口の状態変化は唇の輪郭の変化で表すことが好ましく 、また、前記特定の音声が母音であることが好ましい。

【００１０】 さらに、本考案は、前述の音声ドライブ動画面用イメージデータ生成装置を用 いた電話装置において、音声を感知する感知手段と、該感知手段で感知した特定 の音に対して識別する音声識別手段と、前記音声識別手段で識別した特定の音に 対応する口の状態変化に基づいて発声者の顔の画像を表示する表示手段と、を有 することを特徴とする電話装置を採用するものである。

【００１１】

【考案の実施の形態】

次に、本考案の実施例を図面を参照して説明する。図１は、本考案の実施例１ および２の音声ドライブ動画面用イメージデータ生成装置の動作の流れを示すフ ローチャートである。図２は、本考案の実施例３の音声ドライブ動画面用イメー ジデータ生成装置の動作の流れを示すフローチャートである。図３は、実施例３ で用いられるサンプリング工程を説明するための図である。図４は、本考案の音 声ドライブ動画面用イメージデータ生成装置を電話装置に適用したときの動作の 流れを示すフローチャートである。

【００１２】 最初に、本考案の基本的原理を説明すると、顔の表情は、笑ったり、怒ったり 泣いたり、話したりするとき等に色々と変化する。電話装置で相手の顔を見なが ら話す際には、話をするときの相手の顔の表情の基本的変化がわかればほぼ十分 であるので、本考案では、話をするときの顔の表情で特に変化する部分、少なく とも口の部分（さらに、唇の状態の変化）に着目し、口の部分の変化を含む顔の 画像データを生成するものである。

【００１３】 そして、口の部分の変化は、音声中の母音（日本語では、あ、い、う、え、お ）が共通であれば、ほぼ同様に変化するので、基本的には、音声中の母音を識別 し、その母音に合った顔の表情を出力するようにしたものである。しかし、母音以 外の音（例えば、笑い声等）も合わせて識別してもよいものである。

【００１４】 また、口部分の画像中の座標軸上の位置決めは、パターンマッチングや射影処理 法に基づいて得られた顔の輪郭に対する口の中央部分を基準とし、唇の輪郭を発 声音素、少なくとも各母音ごとに決定する。以下、図面を参照して詳細に説明する 。

【００１５】 （実施例１） 最初に、図１を参照する。電話装置の使用者に、特定の音（例えば、特に母音 を発生してもらい（ステップS１）、そのときの顔の表情をカメラ(特に、デジタル カメラ)によって撮影し、画像データとしてメモリに格納する(即ち、画像読み込み を行う)（ステップＳ２）。

【００１６】 次に、顔の画像データから唇の輪郭を抽出し（ステップＳ３）、その輪郭をデ ータとして格納する（ステップＳ４）。

【００１７】 （実施例２） 引き続き、図１を参照すると、電話装置の使用者に、ある適当な文章を発声し てもらい（ステップＳ１１）、発声時の顔の表情を画像として読み込み（ステッ プＳ１２）、その画像の中から特定の音、例えば、母音に対応する画像を選択す る（ステップＳ１３）。その後、前述したステップ３、ステップ４が行われる。

【００１８】 （実施例３） 最初に、特定の音声に対応する唇の輪郭を得るために、特に音声ドライブ電話 装置の使用者に限られず、複数の適当な人が選ばれて発声が行われ、特定の音声 に対応する顔の表情のサンプリングが行われる（ステップＳ２１）。ここで、図 ３を参照すると、母音に対応する唇の輪郭の代表的なサンプルが表されている。 このようなサンプルを得て、それを唇の輪郭のデータとして読み込む（ステップ Ｓ２２）。

【００１９】 次に、電話装置の使用者の顔の表情の画像が読み込まれ、ステップＳ２２で得 られた唇のデータで、特定の音声に対応する顔の画像が作成され（ステップＳ２ ３）、格納される（ステップＳ２４）。

【００２０】 次に、前述のようにして生成された画像データを用いる電話装置の動作の流れ を説明する。図４を参照すると、電話装置での通話の際に、音声が感知されるの を待って（ステップＳ３１）、音声を感知すると、音声を識別する（ステップＳ ３２）。音声を認識すると、その音声（特に、母音）に対応する唇の輪郭のデー タを読み出し（ステップＳ３３）、唇の輪郭のデータに基づいて電話装置の表示 画面に顔の画像の一部として表示する。

【００２１】 (他の実施例) 前述の説明は、電話装置内で、口、詳細には、唇の輪郭の変化状態に対応して 顔の画像を作成しているが、音声ドライブ動画面用イメージデータ生成装置内で 、口、詳細には、唇の輪郭の変化状態に対応して顔の画像を作成し、メモリに格納 し、電話装置では、特定の音声に応じて顔の画像を読み出して表示してもよい。

【００２２】 前述の実施例においては、基本的な顔画像原画として、カメラにより撮影され たものを述べているが、使用者の顔を代表するイラスト、似顔絵、アニメーション 画、横顔等を原画面の１つとして採用してもよい。

【００２３】 また、本考案の装置を電話装置の一部として備えても、電話装置とは独立した 画像生成装置で用いてもよい。

【００２４】

【考案の効果】

以上説明したように、本考案によれば、少ないまたは１つの顔の画像のみを準 備するだけで十分であり、送信時に多量のデータを送る必要のないように携帯電 話を構成することができる音声ドライブ動画面用イメージデータ生成装置が得ら れる。

【図面の簡単な説明】

【図１】図１は、本考案の実施例１および２の音声ドラ
イブ動画面用イメージデータ生成装置の動作の流れを示
すフローチャートである。

【図２】図２は、本考案の実施例３の音声ドライブ動画
面用イメージデータ生成装置の動作の流れを示すフロー
チャートである。

【図３】図３は、実施例３で用いられるサンプリング工
程を説明するための図である。

【図４】図４は、本考案の音声ドライブ動画面用イメー
ジデータ生成装置を携帯電話に適用したときの動作の流
れを示すフローチャートである。

Claims (11)

【実用新案登録請求の範囲】
1. 【請求項１】 発声者が複数の特定の音声を発声した
   とき、発声者の顔の画像を読み込む読み込み手段と、該
   読み込み手段に読み込んだ画像から音声に対応する口の
   状態変化を抽出する変化抽出手段と、前記変化抽出手段
   で抽出した口の状態を格納する状態格納手段と、を有す
   ることを特徴とする音声ドライブ動画面用イメージデー
   タ生成装置。
2. 【請求項２】 発声者が音声を発声したときの発声者の
   顔の画像を読み込む手段と、該読み込み手段に読み込ん
   だ画像から特定の音声に対応する画像だけを選択する画
   像選択手段と、該画像選択手段で選択した画像から音声
   に対応する口の状態変化を抽出する変化抽出手段と、前
   記変化抽出手段で抽出した口の状態を格納する状態格納
   手段と、を有することを特徴とする音声ドライブ動画面
   用イメージデータ生成装置。
3. 【請求項３】 発声者の特定の音声に対応する口の状態
   変化の代表例を予めサンプリングして格納するサンプリ
   ング格納手段と、発声者の顔の１つの画像を読み込む読
   み込み手段と、該読み込み手段に読み込んだ画像の口に
   対して前記サンプリング格納手段に格納された口の状態
   変化に基づいて画像の口に対して変更を加える変更追加
   手段と、該変更追加手段で変更された口の状態を格納す
   る格納手段と、を有することを特徴とする音声ドライブ
   動画面用イメージデータ生成装置。
4. 【請求項４】 請求項１ないし３のいずれか１つに記載
   の音声ドライブ動画面用イメージデータ生成装置におい
   て、前記口の状態を格納する手段は、顔の輪郭に対する
   口の中心位置を座標軸上で口の輪郭から決定し、格納す
   ることを特徴とする音声ドライブ動画面用イメージデー
   タ生成装置。
5. 【請求項５】 請求項１ないし３のいずれか１つに記載
   の音声ドライブ動画面用イメージデータ生成装置におい
   て、前記口の状態変化は唇の輪郭の変化で表すことを特
   徴とする音声ドライブ動画面用イメージデータ生成装
   置。
6. 【請求項６】 請求項１ないし３のいずれか１つに記載
   の音声ドライブ動画面用イメージデータ生成装置におい
   て、前記特定の音声が母音であることを特徴とする音声
   ドライブ動画面用イメージデータ生成装置。
7. 【請求項７】 請求項１ないし６のいずれか１つに記載
   の音声ドライブ動画面用イメージデータ生成装置を用い
   る電話装置において、音声を感知する感知手段と、該感
   知手段で感知した特定の音に対して識別する音声識別手
   段と、前記音声識別手段で識別した特定の音に対応する
   口の状態変化に基づいて発声者の顔の画像を表示する表
   示手段と、を有することを特徴とする電話装置。
8. 【請求項８】 発声者が複数の特定の音声を発声したと
   き、発声者の顔の画像を読み込む読み込み手段と、該読
   み込み手段で読み込んだ顔の画像を格納する状態格納手
   段と、を有することを特徴とする音声ドライブ動画面用
   イメージデータ生成装置。
9. 【請求項９】 発声者が音声を発生したときの発生者の
   顔の画像を読み込む手段と、該読み込み手段に読み込ん
   だ画像から特定の音声に対応する顔の画像だけを選択す
   る画像選択手段と、前記画像選択手段で選択した顔の画
   像を格納する状態格納手段と、を有することを特徴とす
   る音声ドライブ動画面用イメージデータ生成装置。
10. 【請求項１０】 請求項８または９記載の音声ドライブ
    動画面用イメージデータ生成装置において、前記特定の
    音声が母音であることを特徴とする音声ドライブ動画面
    用イメージデータ生成装置。
11. 【請求項１１】 請求項８ないし１０のいずれか１つに
    記載の音声ドライブ動画面用イメージデータ生成装置を
    用いる電話装置において、音声を感知する感知手段と、
    該感知手段で感知した特定の音に対して識別する音声識
    別手段と、前記音声識別手段で識別した特定の音に対応
    する発声者の顔を画像を表示する表示手段と、を有する
    ことを特徴とする電話装置。