JPH10261099A

JPH10261099A - 画像処理装置

Info

Publication number: JPH10261099A
Application number: JP6271697A
Authority: JP
Inventors: Tetsukazu Nakae; 哲一仲江
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 1997-03-17
Filing date: 1997-03-17
Publication date: 1998-09-29

Abstract

(57)【要約】【課題】極めて簡単な操作で各種の「吹き出し」態様
を入力することができる画像処理装置を実現する。【解決手段】音声入力した時の平均音量および平均音
程に対応して「吹き出し」の形状を選定すると共に、こ
の選定された「吹き出し」の中に表示する文字色および
その大きさを平均音量および平均音程に基づいて選択
し、この選択された文字色およびその大きさに従って、
音声認識されたメッセージを「吹き出し」中に文字表示
するので、極めて簡単な操作で各種の「吹き出し」態様
を入力することが可能になる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば、イラスト
風の似顔絵を電子的に作成して表示する電子手帳や電子
玩具、あるいはページャー等に用いて好適な画像処理装
置に関する。

【０００２】

【従来の技術】近年、イラスト風の似顔絵（以下、これ
を顔画像と称す）を電子的に作成して表示する電子手帳
や電子玩具、あるいはページャー等が知られている。こ
の種の製品にあっては、「目」、「鼻」、「口」や「輪
郭」等の顔の各部位を描画する各種パーツ画像データを
ＲＯＭに登録しておき、これらの中から各部位毎にパー
ツ画像データを選択して読み出し、所望の容貌の顔画像
を形成する画像処理装置が具備されている。

【０００３】ところで、近年では、この画像処理装置が
作成した顔画像にメッセージを添えて画面表示する態様
も案出されている。例えば、ページャーに適用した場
合、発信人の似顔絵として作成された顔画像に、伝言す
べきメッセージ文を吹き出し形式で表示することが提案
されている。なお、この吹き出し形式によるメッセージ
文の表示とは、漫画やアニメなどで多用される表現形式
として知られており、あたかも顔画像からメッセージが
発せられているように見える、という視覚的な効果を狙
っている。

【０００４】

【発明が解決しようとする課題】さて、上述した従来の
画像処理装置にあっては、作成した顔画像について吹き
出し形式によるメッセージ文を表示させる場合、マウス
やキーボードあるいはキーパッド等の入力操作子を用い
て「吹出し」の形状を選択したり、選択した「吹出し」
の内部に表示する文字やその大きさ・形状を一々指定し
なければならず、操作が煩わしいという問題がある。そ
こで本発明は、このような事情に鑑みてなされたもの
で、極めて簡単な操作で各種の「吹き出し」態様を入力
することができる画像処理装置を提供することを目的と
している。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、請求項１に記載の発明では、入力される音声に対応
した形態の吹き出し画像を形成する吹き出し画像形成手
段と、入力される音声を言語認識し、認識された言語を
それぞれ文字画像に変換する文字画像形成手段と、この
文字画像形成手段により形成された文字画像の表示態様
を、入力される音声に応じて異ならせて前記吹き出し画
像中に表示する表示制御手段とを具備することを特徴と
する。

【０００６】また、請求項２に記載の発明では、各種形
態の吹き出しを形成する複数の吹き出し画像データを記
憶する吹き出し画像記憶手段と、入力される音声の音量
に対応付けられた吹き出し画像データを、前記吹き出し
画像記憶手段から読み出して吹き出し画像を形成する吹
き出し画像形成手段と、入力される音声を言語認識し、
認識された言語をそれぞれ文字画像に変換する文字画像
形成手段と、この文字画像形成手段により形成された文
字画像の表示態様を、入力される音声の音量に応じて異
ならせて前記吹き出し画像中に表示する表示制御手段と
を具備することを特徴としている。

【０００７】さらに、請求項３に記載の発明では、各種
形態の吹き出しを形成する複数の吹き出し画像データを
記憶する吹き出し画像記憶手段と、入力される音声の音
程に対応付けられた吹き出し画像データを、前記吹き出
し画像記憶手段から読み出して吹き出し画像を形成する
吹き出し画像形成手段と、入力される音声を言語認識
し、認識された言語をそれぞれ文字画像に変換する文字
画像形成手段と、この文字画像形成手段により形成され
た文字画像の表示態様を、入力される音声の音程に応じ
て異ならせて前記吹き出し画像中に表示する表示制御手
段とを具備することを特徴としている。

【０００８】請求項４に記載の発明では、各種形態の吹
き出しを形成する複数の吹き出し画像データを記憶する
吹き出し画像記憶手段と、入力される音声の音量および
音程に対応付けられた吹き出し画像データを、前記吹き
出し画像記憶手段から読み出して吹き出し画像を形成す
る吹き出し画像形成手段と、入力される音声を言語認識
し、認識された言語をそれぞれ文字画像に変換する文字
画像形成手段と、この文字画像形成手段により形成され
た文字画像の表示態様を、入力される音声の音量および
音程に応じて異ならせて前記吹き出し画像中に表示する
表示制御手段とを具備することを特徴とする。

【０００９】上記請求項１〜４のいずれかに従属する請
求項５に記載の発明によれば、前記表示制御手段が異な
らせる表示態様は、文字画像の大きさおよび表示色のい
ずれか一方、あるいは両方であることを特徴とする。ま
た、請求項２〜４のいずれかに従属する請求項６に記載
の発明によれば、前記表示制御手段は、音量あるいは音
程のいずれか一方、もしくは両方に応じて１語毎の文字
画像の大きさを可変制御することを特徴とする。

【００１０】本発明では、吹き出し画像形成手段が入力
される音声に対応した形態の吹き出し画像を形成し、文
字画像形成手段が入力される音声を言語認識し、認識さ
れた言語をそれぞれ文字画像に変換すると、表示制御手
段が文字画像の表示態様を、入力される音声に応じて異
ならせて前記吹き出し画像中に表示する。これにより、
音声入力という極めて簡単な操作で各種の「吹き出し」
態様を入力することが可能となる。また、入力される音
声の内容によっては、「吹き出し」態様で感情表現する
ことも可能になる。

【００１１】

【発明の実施の形態】本発明による画像処理装置は、イ
ラスト風の似顔絵を電子的に作成して表示する電子手帳
や電子玩具、あるいはページャー、ＰＤＡ（携帯情報端
末）などに適用され得る。以下では、本発明の実施の形
態である画像処理装置を、実施例として図面を参照して
説明する。

【００１２】Ａ．実施例の構成（１）全体構成図１は、本発明の実施例による画像処理装置１の全体構
成を示すブロック図である。この画像処理装置１は、後
述する構成要素１０〜１９に基づき生成されるコンポジ
ットビデオ信号Ｓ_Vを、ディスプレイ装置２に供給す
る。ディスプレイ装置２は、例えば通常のテレビジョン
受像機、あるいはＶＤＴ（ビデオ・ディスプレイ・ター
ミナル）であり、画像処理装置１側から供給されるコン
ポジットビデオ信号Ｓ_Vに応じた画像を画面表示する。

【００１３】画像処理装置１において、１０は、電源ス
イッチや動作モード切り替えスイッチ等の各種操作スイ
ッチを備えるコントローラであり、ユーザーのスイッチ
操作に応じた操作信号を発生する。１１はコントローラ
１０が発生する操作信号に応じて装置各部を制御するＣ
ＰＵであり、その動作については後述する。なお、ＣＰ
Ｕ１１は図示されていないＤＭＡコントローラ等の周辺
装置を含み、ＤＭＡ転送し得るように構成されている。
１２はＲＯＭであり、ＣＰＵ１１にロードされる各種プ
ログラムの他、顔画像や吹き出し画像（後述する）を表
示するための画像データや、データテーブルが記憶され
ており、そのメモリ構成については後述する。

【００１４】１３はＣＰＵ１１のワークエリアとして用
いられるＲＡＭであり、各種レジスタ・フラグデータを
一時記憶する記憶エリアの他、後述する音量データ、音
程データおよび音声認識データを格納する記憶エリアを
備えている。このＲＡＭ１３のメモリ構成については追
って述べる。１４はＣＰＵ１１の指示の下に表示制御す
るビデオ・ディスプレイ・プロセッサ（以下、ＶＤＰと
称す）であり、ＶＲＡＭ１５にＤＭＡ転送される各種画
像データを表示データ（ＲＧＢデータ）に変換して出力
する。

【００１５】ＶＲＡＭ１５は、ＣＰＵ１１の指示により
ＲＡＭ１３側からＤＭＡ転送される顔画像や吹き出し画
像を形成する画像データを一時記憶する。１６はエンコ
ーダであり、上述したＶＤＰ１４から出力される表示デ
ータ（ＲＧＢデータ）をコンポジットビデオ信号Ｓ_Vに
変換して出力し、ディスプレイ装置２に供給する。１７
は音声入力時に使用するマイクロフォンである。１８は
マイクロフォン１７から出力されるユーザーの音声信号
を所定のサンプリング周波数でサンプリングしてなる音
声データを発生するＡ／Ｄ変換器である。

【００１６】１９は、上記Ａ／Ｄ変換器１８から供給さ
れる音声データに基づき、音声認識、音量検出および音
程検出の各処理を施し、その結果をＣＰＵ１１に出力す
るデジタル・シグナル・プロセッサ（以下、ＤＳＰと略
称する）である。このＤＳＰ１９は、内部メモリに格納
されるマイクロプログラムに基づき、音声認識部１９
ａ、音量検出部１９ｂおよび音程検出部１９ｃの各機能
を具現する。

【００１７】音声認識部１９ａは、ユーザーが発した音
声について、音素あるいは音節などの認識単位毎に、パ
ーコール分析等の手法により特徴パラメータを抽出し、
この抽出した時系列の特徴パラメータからなる入力パタ
ーンを、予め登録される各単語毎の標準パターン群につ
いてパターンマッチングさせ、最も類似度の高い標準パ
ターンに対応付けられた単語あるいは文節を音声認識結
果として出力する。また、音量検出部１９ｂおよび音程
検出部１９ｃでは、こうした音声認識を行っている過程
で、Ａ／Ｄ変換器１８より出力される音声データから時
系列の振幅値および発声ピッチを抽出して出力する。

【００１８】上記構成によれば、コントローラ１０の操
作に応じて選択されたパーツ画像により所望の容貌の顔
画像が形成される一方、この形成された顔画像に付随し
て表示される「吹き出し」の形状や、この「吹き出し」
内部に表示する文字およびその大きさ・表示色がユーザ
ーの音声入力により自動的に決定されて吹き出し表示が
行われる。つまり、本発明では、ユーザーが発する音声
に従って各様な「吹き出し」態様を実現することを要旨
としている。

【００１９】（２）ＲＯＭ１２のメモリ構成次に、図２を参照して上述したＲＯＭ１２のメモリ構成
について説明する。図２において、ＫＧは顔画像データ
記憶エリアであり、「髪」、「輪郭」、「目」、「鼻」
および「口」等の顔の各部位毎に複数種の画像データが
格納されている。したがって、ユーザーが「髪」、「輪
郭」、「目」、「鼻」および「口」等の顔の各部位毎に
所望の画像データを選択することで、各様な容貌あるい
は表情の顔画像を形成し得るようになっている。

【００２０】ＦＧは、吹き出し画像データ記憶エリアで
あり、各種形状の吹き出し枠を描画する吹き出し画像デ
ータＦＧ（１）〜ＦＧ（Ｎ）から構成される。これら吹
き出し画像データＦＧ（１）〜ＦＧ（Ｎ）は、後述する
吹き出し形状選択テーブルＦＳＴにより指定される。Ｆ
Ｔ（１）〜ＦＴ（Ｎ）は、それぞれ吹き出し枠内に表示
する文字の形状や大きさを指定する文字種変換テーブル
である。すなわち、音声入力されたメッセージ（文字
列）を、後述する音声表示モード処理によって吹き出し
枠内に表示する際に、これら文字種変換テーブルＦＴ
（１）〜ＦＴ（Ｎ）を参照し、当該メッセージを形成す
る各文字の形状や大きさを指定する。これら文字種変換
テーブルＦＴ（１）〜ＦＴ（Ｎ）は、後述する文字種選
択テーブルＭＳＴにより指定される。

【００２１】吹き出し形状選択テーブルＦＳＴは、後述
する音量平均データおよび音程平均データに対応させて
上述した吹き出し画像データＦＧ（１）〜ＦＧ（Ｎ）の
いずれかを選択するための２次元データテーブルであ
る。すなわち、このテーブルＦＳＴでは、音声入力され
るメッセージの音量および音程に対応した形状の「吹き
出し」を選択するものであり、例えば、怒鳴るように音
声入力されたメッセージの場合、その音量および音程に
基づき、周縁がジグザグ状の吹き出し画像を選択する。
このようにすると、吹き出しの形状で”怒った”情感を
表現することが出来る。

【００２２】ＣＳＴは文字色選択テーブルであり、上記
テーブルＦＳＴと同様に、音量平均データおよび音程平
均データを読み出しアドレスとして、各種文字色を指定
する色コード変換テーブル（所謂、カラールックアップ
テーブル）をアサインしておき、音声入力されるメッセ
ージの音量および音程に対応した色コード変換テーブル
を用いて吹き出し内部に表示する文字色を指定する。文
字種選択テーブルＭＳＴは、音量平均データおよび音程
平均データに対応させて上述した文字種変換テーブルＦ
Ｔ（１）〜ＦＴ（Ｎ）のいずれかを選択するための２次
元データテーブルである。この文字種選択テーブルＭＳ
Ｔは、音声認識された単語毎に文字種変換テーブルＦＴ
（１）〜ＦＴ（Ｎ）のいずれかを選択する。

【００２３】（３）ＲＡＭ１３のレジスタ構成次に、図３を参照してＲＡＭ１３のレジスタ構成につい
て説明する。図において、レジスタＶＡＡＤＤは、デー
タエリアＶＡＤに格納される音量データＶＡＤ（１）〜
ＶＡＤ（Ｎ）のいずれかを指定するアドレスポインタレ
ジスタである。データエリアＶＡＤに格納される音量デ
ータＶＡＤ（１）〜ＶＡＤ（Ｎ）は、前述したＤＳＰ１
９の音量検出部１９ｂ（図１参照）から出力されるデー
タである。また、レジスタＶＦＡＤＤは、データエリア
ＶＦＤに格納される音程データＶＦＤ（１）〜ＶＦＤ
（Ｎ）のいずれかを指定するアドレスポインタレジスタ
である。この音程データＶＦＤ（１）〜ＶＦＤ（Ｎ）
は、ＤＳＰ１９の音程検出部１９ｃが発生するデータで
ある。さらに、レジスタＶＮＡＤＤは、データエリアＶ
ＮＤに格納される認識データＶＮＤ（１）〜ＶＮＤ
（Ｎ）のいずれかを指定するアドレスポインタレジスタ
である。認識データＶＦＤ（１）〜ＶＦＤ（Ｎ）とは、
ＤＳＰ１９の音声認識部１９ａが認識した単語を表わす
データである。

【００２４】ＶＡＲＥＧ，ＶＮＲＥＧおよびＶＦＲＥＧ
は、テンポラリレジスタであり、ＤＳＰ１９側から出力
される上記音量データＶＡＤ、音声認識データＶＮＤお
よび音程データＶＦＤを、それぞれ一時記憶する。Ｎは
データ個数を保持するレジスタ、ＳＶＦは音程データＶ
ＦＤ（１）〜ＶＦＤ（Ｎ）の累算値を保持するレジスタ
である。また、同様に、ＳＶＡは音量データＶＡＤ
（１）〜ＶＡＤ（Ｎ）の累算値を保持するレジスタであ
る。ＶＡおよびＶＮは、上記レジスタＳＶＡ、ＳＶＦに
それぞれ格納された累算値を、レジスタＮのデータ個数
で除算した結果となる平均音量データ、平均音程データ
を保持するレジスタである。

【００２５】Ｂ．実施例の動作次に、図４〜図１４を参照して実施例の動作について説
明する。以下では、動作主体であるＣＰＵ１１が実行す
る「メインルーチン」、「音声入力モード処理ルーチ
ン」および「音声表示モード処理ルーチン」について順
次説明して行く。

【００２６】（１）メインルーチンの動作まず、実施例に電源が投入されると、ＣＰＵ１１はＲＯ
Ｍ１２から対応する制御プログラムを読み出してロード
し、図４に示すステップＳＡ１に処理を進める。ステッ
プＳＡ１では、ＲＡＭ１３の各種レジスタ／フラグ類を
初期化する一方、ＶＤＰ１４およびＤＳＰ１９に対して
内部レジスタの初期化を指示する。そして、イニシャラ
イズ完了後に、ＣＰＵ１１はステップＳＡ２に処理を進
め、現在どの処理モードに設定されているかを判断す
る。

【００２７】ここで、ユーザー操作により「入力モー
ド」が選択されると、ステップＳＡ３を介して後述する
「音声入力モード処理ルーチン」を実行し、一方、「表
示モード」が選択されると、ステップＳＡ４を介して後
述する「音声表示モード処理ルーチン」実行する。そし
て、いずれかのモード処理が完了すると、再びステップ
ＳＡ２に処理を戻す。

【００２８】（２）音声入力モード処理ルーチンの動作上記ステップＳＡ３を介して音声入力モード処理ルーチ
ンが実行されると、ＣＰＵ１１は図５に示すステップＳ
Ｂ１に処理を進め、前述したアドレスポインタレジスタ
ＶＮＡＤＤ，ＶＦＡＤＤおよびＶＡＡＤＤをゼロリセッ
トする。そして、次のステップＳＢ２に処理を進める
と、ＤＳＰ１９から出力される音量データＶＡＤ、音声
認識データＶＮＤおよび音程データＶＦＤを、それぞれ
一時記憶するテンポラリレジスタＶＡＲＥＧ，ＶＮＲＥ
ＧおよびＶＦＲＥＧをゼロリセットする。

【００２９】次いで、ステップＳＢ３に進むと、ＣＰＵ
１１はＤＳＰ１９に対して音声入力の開始を指示する。
これにより、ＤＳＰ１９では、マイクロフォン１７およ
びＡ／Ｄ変換器１８を介して入力される音声データに基
づき、前述した音声認識部１９ａ、音量検出部１９ｂお
よび音程検出部１９ｃがそれぞれ音声認識、音量検出お
よび音程検出する。そして、ステップＳＢ４では、音程
検出部１９ｃが出力する音程データＶＦＤをテンポラリ
レジスタＶＦＲＥＧにストアし、続くステップＳＢ５で
は、音量検出部１９ｂが出力する音量データＶＡＤをテ
ンポラリレジスタＶＡＲＥＧにストアする。

【００３０】続いて、ステップＳＢ６では、音声認識部
１９ａにおいてなされるパターンマッチングにより、入
力された音声が単語として認識されるまで待機する。そ
して、認識が終了すると、ステップＳＢ６の判断結果が
「ＹＥＳ」となり、次のステップＳＢ７に処理を進め
る。ステップＳＢ７では、認識結果となる音声認識デー
タＶＮＤをテンポラリレジスタＶＮＲＥＧにストアす
る。次いで、ステップＳＢ８〜ＳＢ１０では、テンポラ
リレジスタＶＮＲＥＧ，ＶＦＲＥＧおよびＶＡＲＥＧに
それぞれ格納された音声認識データＶＮＤ、音程データ
ＶＦＤおよび音量データＶＡＤを、アドレスポインタレ
ジスタＶＮＡＤＤ，ＶＦＡＤＤおよびＶＡＡＤＤに対応
させて各々、データエリアＶＮＤ，ＶＦＤおよびＶＡＤ
にストアする。

【００３１】この後、図６に示すステップＳＢ１１〜Ｓ
Ｂ１３に処理を進め、データエリアＶＮＤ，ＶＦＤおよ
びＶＡＤの格納アドレスを歩進させるべくアドレスポイ
ンタレジスタＶＮＡＤＤ，ＶＦＡＤＤおよびＶＡＡＤＤ
を１インクリメントする。そして、ステップＳＢ１４で
は、動作モード切り替えスイッチの操作により現モード
（音声入力モード）を強制終了するか否かを判断する。
ここで、当該スイッチが操作されない時には、判断結果
が「ＮＯ」となり、ステップＳＢ１５に進む。ステップ
ＳＢ１５では、アドレスポインタレジスタＶＮＡＤＤの
値が、レジスタＮに格納されるデータ個数を超えたか否
かを判断する。

【００３２】データ個数を超えていない場合には、上記
ステップＳＢ１５の判断結果が「ＮＯ」となり、前述し
たステップＳＢ３（図５参照）に処理を戻し、再びＤＳ
Ｐ１９側から出力される音声認識データＶＮＤ、音程デ
ータＶＦＤおよび音量データＶＡＤを取込むが、データ
個数を超えた時には、判断結果が「ＹＥＳ」となり、ス
テップＳＢ１６に処理を進め、音声表示モード（後述す
る）に遷移する。なお、上述のステップＳＢ１４の判断
結果が「ＹＥＳ」の場合、つまり、動作モード切り替え
スイッチの操作により現モード（音声入力モード）が強
制終了された時には、一意的にステップＳＢ１６に進
み、音声表示モードに遷移する。

【００３３】（３）音声表示モード処理ルーチンの動作さて、上述した音声入力モード処理によって、データエ
リアＶＮＤ，ＶＦＤおよびＶＡＤにそれぞれ音声認識デ
ータＶＮＤ（１）〜ＶＮＤ（Ｎ）、音程データＶＦＤ
（１）〜ＶＦＤ（Ｎ）および音量データＶＡＤ（１）〜
ＶＡＤ（Ｎ）が格納された場合、あるいは動作モード切
り替えスイッチの操作により音声入力モードが強制終了
された場合には、ＣＰＵ１１はステップＳＡ４（図４参
照）を介して図７に示す音声表示モード処理ルーチンを
実行してステップＳＣ１に処理を進める。

【００３４】ステップＳＣ１では、上述した音声入力モ
ード処理によってデータエリアＶＡＤに格納された音量
データＶＡＤ（１）〜ＶＡＤ（Ｎ）を累算し、その累算
結果を、レジスタＮに格納されるデータ個数で除算して
平均音量データをレジスタＶＡにストアする音量平均算
出処理を実行する。以下、この音量平均算出処理ルーチ
ンの動作について図９を参照して詳述する。

【００３５】＜音量平均算出処理ルーチンの動作＞ＣＰ
Ｕ１１の処理がステップＳＣ１に進むと、図９に示す音
量平均算出処理ルーチンが実行され、ステップＳＤ１に
処理を進める。ステップＳＤ１では、レジスタＳＶＡを
ゼロリセットする一方、レジスタＶＡＡＤＤに「１」を
セットし、続くステップＳＤ２では、このアドレスポイ
ンタレジスタＶＮＡＤＤがデータエリアＶＡＤにおいて
指し示す音量データＶＡＤ（１）をレジスタＳＶＡにス
トアする。

【００３６】次いで、ステップＳＤ３では、アドレスポ
インタレジスタＶＮＡＤＤの値を１インクリメントして
歩進させ、次のステップＳＤ４では、この歩進されたア
ドレスポインタレジスタＶＮＡＤＤの値がレジスタＮに
格納されるデータ個数より大であるか否か、つまり、全
ての音量データＶＡＤについて累算したかどうかを判断
する。ここで、全ての音量データＶＡＤについて累算が
完了していない時には、判断結果が「ＮＯ」となり、上
述のステップＳＤ２に処理を戻し、以後、全ての音量デ
ータＶＡＤを累算する迄、ステップＳＤ２〜ＳＤ４を繰
り返す。

【００３７】そして、累算が完了すると、ステップＳＤ
４の判断結果が「ＹＥＳ」となり、次のステップＳＤ５
に処理を進め、レジスタＳＶＡに確保された音量データ
ＶＡＤ（１）〜ＶＡＤ（Ｎ）の累算値を、レジスタＮの
データ個数で除算し、これにより得られる平均音量デー
タをレジスタＶＡにストアする。

【００３８】この後、ＣＰＵ１１は音量平均算出処理ル
ーチンを完了して音声表示モード処理ルーチンに復帰
し、図７に示すステップＳＣ２に処理を進める。ステッ
プＳＣ２では、上記ステップＳＣ１と同様に、データエ
リアＶＦＤに格納された音程データＶＦＤ（１）〜ＶＦ
Ｄ（Ｎ）の累算値をレジスタＮに格納されるデータ個数
で除算して得る平均音程データを、レジスタＶＦにスト
アする音程平均算出処理を実行する。以下、この音程平
均算出処理ルーチンの動作について図１０を参照して詳
述する。

【００３９】＜音程平均算出処理ルーチンの動作＞ＣＰ
Ｕ１１の処理がステップＳＣ２に進むと、図１０に示す
音程平均算出処理ルーチンが実行され、ステップＳＥ１
に処理を進める。ステップＳＥ１では、レジスタＳＶＦ
をゼロリセットする一方、レジスタＶＦＡＤＤに「１」
をセットし、続くステップＳＥ２では、このアドレスポ
インタレジスタＶＦＡＤＤがデータエリアＶＦＤにおい
て指し示す音程データＶＦＤ（１）をレジスタＳＶＦに
ストアする。

【００４０】次いで、ステップＳＥ３では、アドレスポ
インタレジスタＶＦＡＤＤの値を１インクリメントして
歩進させ、次のステップＳＥ４では、この歩進されたア
ドレスポインタレジスタＶＦＡＤＤの値がレジスタＮに
格納されるデータ個数より大であるか否か、つまり、全
ての音程データＶＦＤについて累算したかどうかを判断
する。ここで、累算が完了していない時には、判断結果
が「ＮＯ」となり、上述のステップＳＥ２に処理を戻
し、以後、全ての音程データＶＦＤを累算する迄、ステ
ップＳＥ２〜ＳＥ４を繰り返す。そして、累算が完了す
ると、ステップＳＥ４の判断結果が「ＹＥＳ」となり、
次のステップＳＥ５に処理を進め、レジスタＳＶＦに確
保された音程データＶＦＤ（１）〜ＶＦＤ（Ｎ）の累算
値をレジスタＮのデータ個数で除算し、これにより得ら
れる平均音程データをレジスタＶＦにストアする。

【００４１】この後、ＣＰＵ１１は音程平均算出処理ル
ーチンを完了して音声表示モード処理ルーチンに復帰
し、図７に示すステップＳＣ３に処理を進める。ステッ
プＳＣ３では、ユーザー操作により指定された顔画像デ
ータを、ＲＯＭ１２の記憶エリアＫＧより読み出し、Ｖ
ＲＡＭ１５へＤＭＡ転送する。なお、ＶＲＡＭ１５にＤ
ＭＡ転送された顔画像データは、ディスプレイ装置２の
垂直帰線期間中において、ＶＤＰ１４で表示データ（Ｒ
ＧＢデータ）に変換された後、エンコーダ１６がこの表
示データ（ＲＧＢデータ）をコンポジットビデオ信号Ｓ
_Vに変換してディスプレイ装置２に供給する。この結
果、顔画像がディスプレイ装置２に画面表示される。

【００４２】次いで、ステップＳＣ４では、レジスタＶ
ＦおよびレジスタＶＡに格納した平均音量データおよび
平均音程データに基づき、前述した吹き出し形状選択テ
ーブルＦＳＴを参照し、吹き出し画像データＦＧ（１）
〜ＦＧ（Ｎ）のいずれかを指定する。そして、次のステ
ップＳＣ５では、指定された吹き出し画像データＦＧを
ＲＯＭ１２から読み出してＶＲＡＭ１５にＤＭＡ転送す
る。この結果、音声入力されたメッセージの音量および
音程に対応した形状の「吹き出し」が画面表示される。

【００４３】次に、ステップＳＣ６に進むと、ＣＰＵ１
１はレジスタＶＦおよびレジスタＶＡに格納される平均
音量データおよび平均音程データを読み出しアドレスと
して、前述した文字色選択テーブルＣＳＴから対応する
色コード変換テーブル（所謂、カラールックアップテー
ブル）を選択し、続くステップＳＣ７では、この選択し
た色コード変換テーブルをＶＤＰ１４にセットする。こ
れにより、ＶＤＰ１４では、音声入力されたメッセージ
の音量および音程に対応した色コード変換テーブルを用
いて、吹き出し内部に表示される文字色を指定する。

【００４４】そして、図８に示すステップＳＣ８に進む
と、レジスタＶＦおよびレジスタＶＡに格納される平均
音量データおよび平均音程データに基づき、前述した文
字種選択テーブルＭＳＴを参照して文字種変換テーブル
ＦＴ（１）〜ＦＴ（Ｎ）のいずれかを選択する。次い
で、ステップＳＣ９では、アドレスポインタレジスタＶ
ＮＡＤＤを「１」にリセットし、続くステップＳＣ１０
では、上記レジスタＶＮＡＤＤに対応する音声認識デー
タをデータエリアＶＮＤ（図３参照）から読み出す一
方、読み出した音声認識データを、上述のステップＳＣ
８にて選択された文字種変換テーブルＦＴにより文字画
像データに変換する。

【００４５】こうして音声認識された単語が、音声入力
時の音量および音程に応じた文字画像に変換されると、
ＣＰＵ１１はステップＳＣ１１に処理を進め、変換され
た文字画像データをＶＲＡＭ１５にＤＭＡ転送する。そ
して、次のステップＳＣ１２では、次の音声認識データ
をデータエリアＶＮＤから読み出すべく、アドレスポイ
ンタレジスタＶＮＡＤＤを１インリメントして歩進させ
る。続いて、ステップＳＣ１３では、歩進されたアドレ
スポインタレジスタＶＮＡＤＤの値がレジスタＮの値よ
り大きいか否か、つまり、全ての音声認識データを読み
出したか否かを判断する。

【００４６】ここで、全ての音声認識データを読み出し
ていない時には、判断結果が「ＮＯ」となり、ステップ
ＳＣ９に処理を戻し、上述した過程を繰り返す。一方、
全ての音声認識データを文字画像データに変換し終えた
場合には、判断結果が「ＹＥＳ」となり、ステップＳＣ
１４に処理を進める。ステップＳＣ１４では、ユーザー
によって動作モード切り替えスイッチが操作され、現モ
ード（音声表示モード）が強制終了される迄待機し、動
作モード切り替えスイッチが操作された時点で、次のス
テップＳＣ１５に進み、音声入力モードへ遷移する。

【００４７】このように、音声表示モード処理によれ
ば、音声入力した時の平均音量および平均音程に対応し
て「吹き出し」の形状を選定すると共に、この選定され
た「吹き出し」の中に表示する文字色およびその大きさ
を平均音量および平均音程に基づいて選択し、この選択
された文字色およびその大きさに従って、音声認識され
たメッセージを「吹き出し」中に文字表示するので、極
めて簡単な操作で各種の「吹き出し」態様を入力するこ
とが可能になる。したがって、例えば、音量および音程
共に大きくして「いっしょにあそぼうよ」なるメッセー
ジを音声入力した場合、図１１に図示する一例のよう
に、活発な気質を表現する「吹き出し」の形状となり、
その「吹き出し」の中の文字も大きく表示される。これ
に対し、例えば、音量および音程を低くして同様のメッ
セージを音声入力した場合には、図１２の一例のよう
に、大人しさを表現する「吹き出し」の形状となり、そ
の中の文字も小さく表示される。

【００４８】なお、本実施例では、音声入力した時の平
均音量および平均音程に対応して吹き出し形状や、文字
色およびその大きさを決定したが、これに限らず種々変
形が可能である。例えば、音声認識した単語毎の音量お
よび音程に応じて吹き出し内に表示される文字の大きさ
を異ならせることも出来る。これは、例えば、最初に音
量が大きく、次第に音量が下がっていくようなメッセー
ジを音声入力した場合に、吹き出し内に表示する文字の
大きさを徐々に小さくするよう文字種変換テーブルＦＴ
（１）〜ＦＴ（Ｎ）を選択することで実現し得る。

【００４９】また、この実施例では、音声入力により吹
き出し態様を異ならせているが、これに限らず、例え
ば、顔画像の表情を変化させることも可能である。つま
り、怒鳴るように音声入力した時には、それに対応して
吹き出し態様と顔画像とを怒った感情を表現するよう画
面表示する。このようにすることで、感情表現力が一層
向上する。さらに、上述した実施例では、吹き出し表示
位置を固定としているが、これに替えて、例えば、音声
入力時の音量や音程に応じて表示位置を変化させる態様
とすることもできる。

【００５０】

【発明の効果】本発明によれば、吹き出し画像形成手段
が入力される音声に対応した形態の吹き出し画像を形成
し、文字画像形成手段が入力される音声を言語認識し、
認識された言語をそれぞれ文字画像に変換すると、表示
制御手段が文字画像の表示態様を、入力される音声に応
じて異ならせて前記吹き出し画像中に表示するので、音
声入力という極めて簡単な操作で各種の「吹き出し」態
様を入力することができる。また、入力される音声の内
容によっては、「吹き出し」態様で感情表現することも
できる。

【図面の簡単な説明】

【図１】本発明による実施例の構成を示すブロック図で
ある。

【図２】ＲＯＭ１２のメモリ構成を示すメモリマップで
ある。

【図３】ＲＡＭ１３のメモリ構成を示すメモリマップで
ある。

【図４】メインルーチンの動作を示すフローチャートで
ある。

【図５】音声入力モード処理ルーチンの動作を示すフロ
ーチャートである。

【図６】音声入力モード処理ルーチンの動作を示すフロ
ーチャートである。

【図７】音声表示モード処理ルーチンの動作を示すフロ
ーチャートである。

【図８】音声表示モード処理ルーチンの動作を示すフロ
ーチャートである。

【図９】音量平均算出処理ルーチンの動作を示すフロー
チャートである。

【図１０】音程平均算出処理ルーチンの動作を示すフロ
ーチャートである。

【図１１】吹き出し表示の一態様を示す図である。

【図１２】吹き出し表示の一態様を示す図である。

【符号の説明】

１０コントローラ１１ＣＰＵ（吹き出し画像形成手段、文字画像形成手
段、表示制御手段）１２ＲＯＭ（吹き出し画像形成手段、文字画像形成手
段）１３ＲＡＭ（吹き出し画像形成手段、文字画像形成手
段）１４ＶＤＰ（吹き出し画像形成手段、文字画像形成手
段、表示制御手段）１５ＶＲＡＭ１６エンコーダ１７マイクロフォン１８Ａ／Ｄ変換器１９ＤＳＰ（吹き出し画像形成手段、文字画像形成手
段）１９ａ音声認識部１９ｂ音量検出部１９ｃ音程検出部

Claims

【特許請求の範囲】

【請求項１】入力される音声に対応した形態の吹き出
し画像を形成する吹き出し画像形成手段と、入力される音声を言語認識し、認識された言語をそれぞ
れ文字画像に変換する文字画像形成手段と、この文字画像形成手段により形成された文字画像の表示
態様を、入力される音声に応じて異ならせて前記吹き出
し画像中に表示する表示制御手段とを具備することを特
徴とする画像処理装置。
【請求項２】各種形態の吹き出しを形成する複数の吹
き出し画像データを記憶する吹き出し画像記憶手段と、入力される音声の音量に対応付けられた吹き出し画像デ
ータを、前記吹き出し画像記憶手段から読み出して吹き
出し画像を形成する吹き出し画像形成手段と、入力される音声を言語認識し、認識された言語をそれぞ
れ文字画像に変換する文字画像形成手段と、この文字画像形成手段により形成された文字画像の表示
態様を、入力される音声の音量に応じて異ならせて前記
吹き出し画像中に表示する表示制御手段とを具備するこ
とを特徴とする画像処理装置。
【請求項３】各種形態の吹き出しを形成する複数の吹
き出し画像データを記憶する吹き出し画像記憶手段と、入力される音声の音程に対応付けられた吹き出し画像デ
ータを、前記吹き出し画像記憶手段から読み出して吹き
出し画像を形成する吹き出し画像形成手段と、入力される音声を言語認識し、認識された言語をそれぞ
れ文字画像に変換する文字画像形成手段と、この文字画像形成手段により形成された文字画像の表示
態様を、入力される音声の音程に応じて異ならせて前記
吹き出し画像中に表示する表示制御手段とを具備するこ
とを特徴とする画像処理装置。
【請求項４】各種形態の吹き出しを形成する複数の吹
き出し画像データを記憶する吹き出し画像記憶手段と、入力される音声の音量および音程に対応付けられた吹き
出し画像データを、前記吹き出し画像記憶手段から読み
出して吹き出し画像を形成する吹き出し画像形成手段
と、入力される音声を言語認識し、認識された言語をそれぞ
れ文字画像に変換する文字画像形成手段と、この文字画像形成手段により形成された文字画像の表示
態様を、入力される音声の音量および音程に応じて異な
らせて前記吹き出し画像中に表示する表示制御手段とを
具備することを特徴とする画像処理装置。
【請求項５】前記表示制御手段が異ならせる表示態様
は、文字画像の大きさおよび表示色のいずれか一方、あ
るいは両方であることを特徴とする請求項１〜４のいず
れかに記載の画像処理装置。
【請求項６】前記表示制御手段は、音量あるいは音程
のいずれか一方、もしくは両方に応じて１語毎の文字画
像の大きさを可変制御することを特徴とする請求項２〜
４のいずれかに記載の画像処理装置。