JPH1155614A

JPH1155614A - 音声認識画像処理装置

Info

Publication number: JPH1155614A
Application number: JP9221941A
Authority: JP
Inventors: Jun Iijima; 純飯島
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 1997-08-04
Filing date: 1997-08-04
Publication date: 1999-02-26
Anticipated expiration: 2017-08-04
Also published as: JP3757565B2

Abstract

(57)【要約】【課題】音声を入力して音声認識処理し、認識された
音声を文字に変換して入力画像と重畳して表示し、記録
或いは出力する画像処理装置の提供。【解決手段】撮像結果は画像データ入力系１０で処理
され、ＶＲＡＭ５１にイメージ展開される。音声／文字
入力部３０は音声認識画像処理モードの時に、撮像の際
入力される被撮影者（物）或いは撮影者から発せられた
音声を認識して文字コードに変換し、撮像結果（画像）
上の表示位置、文字の大きさ等を決定して、文字イメー
ジを吹出しとともにＶＲＡＭ５２に展開する。ＶＲＡＭ
５１への画像イメージの展開とＶＲＡＭ５２への吹出し
付き文字イメージの展開が終ると両イメージを合成して
液晶ディスプレイ５３に重畳表示する。また、画像デー
タおよび文字データのフラッシュメモリー６１への記
録、記録された文字イメージの編集、インターフェイス
８３を介して外部装置への出力を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はデジタルカメラやパ
ーソナルコンピュータ（以下、パソコンと記す）等の画
像処理装置に関し、特に、音声を入力して文字データに
変換し画像データに重畳させて表示／記録／出力する音
声認識画像処理装置に関する。

【０００２】

【従来の技術】デジタルカメラで撮像された被写体像
は、ＣＣＤによる光電変換、信号変換及び信号処理等を
経て画像データとして記憶媒体に記録される。また、デ
ジタルカメラの多くは液晶ディスプレイ等からなる表示
装置を備えており、このようなデジタルカメラでは、使
用者は撮像の際にそれをファインダー代りに用いること
もできるし、また、撮像後に記録媒体から読み出した再
生画像を表示することもできる。

【０００３】一方、文字認識技術や音声認識技術はコン
ピュータの発達、普及に伴いデータ入力或いは指示入力
手段としての応用が多くの分野でなされている。

【０００４】音声認識装置における音声認識処理にあた
っては、背景雑音や不要語の付加による音声区間検出の
誤りを防ぐためにワードスポッティング法を用いる認識
処理が一般に行われている。これは、任意の入力音声か
らあらかじめ定めた単語や音節等の単位を捜し出すもの
で、音声区間検出を行わず種々の部分区間を設定し各標
準パターンとの類似度を求め、すべての部分区間を通し
て類似度が最大となる単語を認識結果とするものであ
る。

【０００５】文字認識装置における文字認識処理では、
読取った文字パターン（未知の文字）と候補文字の特徴
を比較し、比較結果としてのパターン間の距離を得て候
補文字のコードを未知の文字候補として出力するか否か
のリジェクト判定を行うものがある。使用頻度が高い文
字種については標準辞書を用い、使用頻度が低い文字種
については、順に使用頻度が低くなる文字種についての
標準パターンで構成した多段構成の辞書を用いて認識処
理を行うものもある。

【０００６】また、音声を認識して文字に変換する技術
として、音声波形の特徴を抽出して、波形と文字（単
音）を登録した辞書を用いて音声を単音列として文字列
（平仮名或いは片仮名）に変換する技術や、変換された
文字列を区分して語（漢字）に変換する技術が開発され
ている。

【０００７】

【発明が解決しようとする課題】画像データを再生した
表示画像或いは印刷画像を識別する場合にインデックス
や表題或いは説明文をつけることが行なわれているが、
これらはパーソナルコンピュータ（以下、パソコン）の
キーボード等の入力装置から入力した文字データを重畳
するか、画像入力時に文字と共に画像データとして入力
するか、或いは画像入力時に画像と文字を別々に入力し
て保存し出力時に合成している。これらはいずれも文字
入力を必要とするのでそのための装置（例えば、キーボ
ードやスキャナー）を必要とする。

【０００８】一方、デジタルカメラは電子写真機として
の応用の他に画像入力等の画像入力装置として応用され
ているが、デジタルカメラは大衆向け製品としてユーザ
にとっての使い易さという点から外形およびサイズが制
約され、従来の大衆向け光学カメラ程度の大きさの範囲
にとどまらざるを得ず、キーボード等の入力機器を付加
することは事実上困難である。仮に、デジタルカメラに
キーボードを付加したとしても撮影時にキーボード入力
を行なうことは時間的／場所的に不具合が生じる可能性
が高いという問題点がある。

【０００９】したがって、デジタルカメラで撮像した画
像に表題や説明文を付ける場合には、デジタルカメラで
得た画像データをパソコン等で処理しその際に文字等を
入力するか、被写体と共に表題や説明文を掲示するか、
或いは被写体に添付して撮影する方法があるが、パソコ
ン等の後処理では臨場感に富んだ表現が欠けインパクト
のない客観表現に止ることが多く、撮影時の爽快感や感
動等の印象を表現しにくいという問題点がある。また、
被写体と共に表題や説明文を撮影する方法は効果的では
あるが、文字と被写体がバランスを欠く可能性が高いと
いう問題点がある他、画像と文字が同一画像の画像デー
タとして変換されるので、画像と文字を別々に処理しよ
うとする場合にパソコンと画像処理用高級プログラムを
用いた処理を要するという不具合が生ずる。

【００１０】ここで、デジタルカメラで撮影時に音声を
入力し、音声認識を行なって文字に変換して、液晶ディ
スプレイに再生画像と文字で現わされた言葉を重畳表示
し、また、画像データおよび文字データとして記録でき
れば、撮影時の印象や事実を画像と共に表示および記録
することができ、画像処理装置としてのデジタルカメラ
の新しい利用分野を拓くこととなり好ましい。

【００１１】また、文字表示の際に、漫画等での言語表
示の一手法である「吹出し」を形成し言語（文字）をそ
の中に表示するようにできれば、画像の印象付けや、誰
が云ったかを明示でき更に好ましい。

【００１２】本発明は、上述した画像に文字を付加する
場合の問題点や不具合を解消するために上記着想に基づ
いてなされたものであり、音声を入力して音声認識処理
し、認識された音声を文字に変換して入力画像と重畳し
て表示し、記録或いは出力する画像処理装置の提供を目
的とする。

【００１３】本発明は、また、上記重畳表示或いは印刷
出力の際に適切な位置に適切な大きさの吹出し枠を形成
して、その吹出し枠の中に認識された音声の文字表示を
行ない得る画像処理装置の提供を目的とする。

【００１４】

【課題を解決するための手段】上記の目的を達成するた
めに本発明の音声認識画像処理装置は、画像データを入
力する画像データ入力系と、音声を入力して認識して認
識結果を文字，記号，または絵文字に変換する音声／文
字変換系と、画像データと音声／文字変換系による変換
結果を合成して表示する画像表示手段を有することを特
徴とする。

【００１５】更に、音声認識画像処理装置に記録手段を
設け、記録手段を画像データと変換結果を記録媒体に記
録するように構成する。なお、この場合、記録手段を合
成表示された画像データを記録媒体に記録するように構
成してもよい。あるいは変換結果と画像データを対応づ
けて別々に保存するように構成してもよい。

【００１６】また、上記音声／文字変換系は、音声を入
力して音声信号に変換する音声入力手段と、前記音声入
力手段の出力から所定の強度範囲の音声信号を抽出し、
波形処理を行なって音声データを得る音声信号処理手段
と、音声データを認識処理して文字に変換する音声／文
字変換処理手段を有している。

【００１７】また、上記／文字変換処理手段は、音声の
発せられた方向を検出して認識結果の表示位置情報を得
る音声方向解析手段と、音声の強度を基に認識結果の表
示サイズおよび表示濃度情報を得る表示状態決定手段を
有している。

【００１８】更に、音声認識画像処理装置は、変換結果
を閉鎖図形枠で囲んで表示することができる。この場
合、閉鎖図形枠を吹出し枠としてもよい。

【００１９】また、上記音声／文字変換処理手段が、更
に、音声の発せられた方向を検出して認識結果の閉鎖図
形枠表示位置情報を得る音声方向解析手段と、音声の強
度を基に前記認識結果および前記閉鎖図形の表示サイズ
および表示濃度情報を得る表示状態決定手段を有するよ
うに構成してもよい。

【００２０】更に、上述の各音声認識画像処理装置を、
表示された変換結果を修正または編集する編集手段を有
するように構成してもよい。

【００２１】この場合、編集手段を、認識結果の表示位
置を移動する移動手段と、認識結果の表示サイズおよび
表示濃度を調整する調整表示手段を有するように構成す
る。なお、上記編集手段が、認識結果と閉鎖図形の表示
位置を移動する移動手段と、認識結果と閉鎖図形の表示
サイズおよび表示濃度を調整する調整表示手段を有する
ように構成してもよい。

【００２２】また、上記編集手段を、更に、表示された
認識結果の一部または全部を指定して、該指定部分に相
当する音声を再入力して当該指定部分を修正する修正手
段を有するように構成してもよく、更に上記編集手段
が、表示された認識結果の一部または全部を指定して、
他の文字列、記号或いは絵文字に変換する変換手段を有
するように構成してもよい。

【００２３】

【発明の実施の形態】

＜画像処理装置の構成＞図１は本発明の音声認識画像処
理装置（以下、単に画像処理装置と記す）の構成例を示
すブロック図である。画像処理装置１００は、画像デー
タを記録部６０に与える画像データ入力系１０と、画像
処理装置１００全体の動作制御を行なう制御部２０と、
音声を入力して音声認識処理等を行ない、認識結果を文
字に変換する音声／文字変換系３０と、ユーザによって
操作された指示結果を制御部２０に与える操作部４０
と、画像と文字に変換された言葉（音声）を重畳表示す
る表示部５０と、画像データ入力系１０からの画像デー
タ，音声／文字変換系３０の出力等を記録媒体６１に記
録すると共にそれらの読み出しを行なう記録部６０と、
「画像処理装置１００」用の入力インターフェイス８
１，８２（後述）と、外部機器に画像処理装置１００に
よる処理結果を出力する出力インターフェイス８３を有
している。なお、図１で記号９０はバスラインを示す。

【００２４】画像データ入力系１０としては、画像処理
装置１００全体をデジタルカメラとする場合には図１２
に示すようなデジタルカメラ２００の光学系１１からＤ
ＲＡＭ１４に至る系が相当し、画像処理装置１００がパ
ソコン等のコンピュータ装置によってプログラム制御さ
れる処理装置（以下、「画像処理装置」と記す）の場合
には、デジタルカメラ、デジタルカメラ以外の撮像装
置、スキャナー等の画像データ変換装置およびメモリー
カードやＣＤ−ＲＯＭ等の画像データを記録した記録媒
体の読取装置等が相当する。なお、画像処理装置１００
全体をデジタルカメラとする場合には、図１の入力イン
ターフェイス８１は不要である。

【００２５】また、デジタルカメラからの画像データは
後述するようにＪＰＥＧ圧縮されているので「画像処理
装置１００」では画像データの伸張部を設けるか画像デ
ータ伸張手段をプログラムで構成して後述する各手段と
同様にＲＯＭ２３に格納してＣＰＵ２１により実行する
ように構成することが望ましい。この場合、画像データ
入力系１０からの画像データが圧縮データでない場合
（例えば、スキャナー出力）には画像データの伸張部或
いは伸張手段を機能させないように構成する。なお、画
像処理装置１００全体をデジタルカメラとする場合に
は、データ伸張の際にはデジタルカメラの圧縮データ伸
張部（信号処理部（図１２））を用いる。

【００２６】制御部２０はＣＰＵ２１、ＲＡＭ２２、及
びＲＯＭ２３を有している。ＣＰＵ２１はＲＯＭ２３に
格納されている制御プログラムにより画像処理装置１０
０全体の制御を行なうと共に、音声認識画像処理手段１
１０（図３）により入力音声の認識処理と認識結果の文
字データへの変換、表示位置および吹出し枠の決定、文
字データの編集および画像データとの重畳表示、或いは
出力を行なう。

【００２７】ＲＡＭ２２はデータ或いは処理結果の一時
記憶および中間作業領域等に用いられる。なお、画像処
理装置１００をデジタルカメラとする場合には画像デー
タの作業領域および音声データの一時格納領域としてＤ
ＲＡＭ１４（図１２）を用いることもできる。

【００２８】ＲＯＭ２３は上述の制御プログラムと音声
認識画像処理手段１１０および画像処理装置のその他の
各機能を実行させるためのプログラムを記録する記録媒
体であり、ＰＲＯＭ、ＦＲＯＭ（フラッシュＲＯＭ）等
が用いられる。なお、これらプログラムをＲＯＭ２３以
外のリムーバブルな記録媒体（例えば、記録媒体６１
（後述））に格納するように構成することもできる。

【００２９】音声／文字変換系３０は、図２に示すよう
に、音声入力手段３１、音声信号処理手段３２、復元手
段３３および音声／文字変換処理手段３４を有してい
る。なお、音声／文字変換処理手段３４は入力した音声
を解析して音声を認識し、音声認識の結果を文字コード
に変換する音声／文字変換手段３４１、音声の発せられ
た方向を検出し文字表示位置の決定を行なう音声方向解
析手段３４２および入力音量等を基に表示文字の大きさ
および吹出し（図１０）の大きさ等を決定し、画像メモ
リー（ＶＲＡＭｂ）にイメージ展開する表示状態決定手
段３４３を有している。また、音声／文字変換処理手段
３４は実施例ではプログラムで構成されているが、ハー
ドウエアで構成してもよい。

【００３０】音声入力手段３１は、マイクロフォン等か
らなり音声を入力して電気信号（音声信号）に変換す
る。音声信号処理手段３２は一定の強度範囲以外の音声
信号のカットや、突出波形のカットおよび雑音処理等の
前処理を施した後、出力信号（音声信号）をＡ／Ｄ変換
して音声データ（デジタルデータ）としてＲＡＭ２２
（或いはＤＲＡＭ１４）に格納する。復元手段３３はＲ
ＡＭ２２（或いはＤＲＡＭ１４）に格納された音声デー
タを読み出して音声信号（アナログ信号）を復元する。

【００３１】なお、本実施の形態では後述の音声方向解
析処理を行なうため、音声入力手段３１として左右
（Ｌ，Ｒ）にマイクロフォンを設けるように構成してい
るが左右上下に設けるようにしてもよく、また、音声方
向解析処理を行なわない場合（後述するように、ユーザ
ー操作により文字表示位置の決定を行なう場合）には１
個のマイククロフォンで構成してもよい。また、画像処
理装置１００全体をデジタルカメラとする場合には、図
１の入力インターフェイス８２は不要である。

【００３２】図１で、操作部４０はモード切換えボタン
（キー）、表示文字（および吹出し）移動ボタン、表示
文字サイズ拡大／縮小ボタン、音声再入力ボタン、文字
変換ボタン、記録ボタン、出力ボタン等を有し、使用者
による選択操作、或いは確認操作により押し下げ等が行
なわれると、その結果が電気信号（デジタルコード）変
換され、バス９０を介してＣＰＵ２１に入力される。Ｃ
ＰＵ２１は受け取った電気信号を基にこれらのボタン
（キー）の状態フラグをセットする。

【００３３】表示部５０は第１および第２のＶＲＡＭ
（ビデオラム）およびビデオモニタ（例えば、図８の液
晶ディスプレイ５３やパソコンのディスプレイ）からな
り、記録媒体６１から読み出された画像データの再生結
果をビデオモニタの画面上に表示すると共に、音声／文
字変換された文字を画像と重畳表示する。なお、表示す
る文字を吹出しで囲んで表示することもできる。以下、
説明上、第１のＶＲＡＭを画像表示用（ＶＲＡＭａ）と
し、第２のＶＲＡＭを文字データ表示用（ＶＲＡＭｂ）
とする（図１２参照）。この場合、ＶＲＡＭａには記録
媒体６１から読み出された画像データがイメージ展開さ
れ、ＶＲＡＭｂに音声から変換された文字および吹出し
の他、選択メニューや入力指示メッセージ等の表示デー
タが一時的に格納され、ビデオモニタの画面上に重畳表
示或いは単独表示される。

【００３４】記録部６０は記録媒体６１を収容し、ＣＰ
Ｕ２１の制御により記録媒体６１上に画像データ入力系
１０からの画像データおよび文字変換された音声データ
と、文字表示位置情報、吹出し描画情報（呼び出し図形
番号）と画像データおよび文字変換された音声データを
関連づけるポインタを有する参照リスト（図７、図８）
を記録し、また、記録媒体６１から画像データ、文字デ
ータ或いは参照リストを読み出してＲＡＭ２２（或い
は、ＤＲＡＭ１４）に転送する。なお、記録部６０によ
るデータの転送はＤＭＡ（ダイレクトメモリーアクセス
方式）によって行なわれるよう構成することが望まし
い。また、参照リストは記録媒体６１の先頭に格納され
ることが望ましい。

【００３５】記録媒体６１は画像処理装置１００がデジ
タルカメラに相当する場合にはフラッシュＲＯＭやメモ
リーカードが用いられる。また、「画像処理装置１０
０」の場合にはＦＤ，磁気ディスク，光ディスク等のリ
ムーバブルな記録媒体が用いられる。この場合、記録装
置６０として、ＦＤ装置，磁気ディスク装置，光ディス
ク装置等が用いられる。

【００３６】インターフェイス８１、８２は「画像処理
装置１００」の場合に、画像データを外部画像データ入
力系（１０）から入力したり、文字変換された音声デー
タを外部音声／文字変換系（３０）から入力するために
設けられているが、前述したように画像データ入力系１
０が内部データ入力系（すなわち、デジタルカメラの光
学系１１〜ＤＲＡＭ１４に至る系）であり、音声／文字
変換系３０が内部変換系（すなわち、デジタルカメラの
音声入力部３１〜音声／文字変換部３４に至る系）であ
る場合には不要である。

【００３７】＜モード＞動作モードは画像処理装置１０
０の有する処理手段（プログラム）によって規定され、
操作部４０に設けられた、ボタン、キー、或いはスイッ
チの操作、或いは表示部５０の画面にモード選択メニュ
ーを表示してカーソルボタン等の操作よって使用者によ
り選択される。制御部２０は操作部４０からのモード選
択信号を受け取ると、後述のモード指定手段１１１制御
を移す。画像処理装置１００は音声認識画像処理モー
ド、通常処理モード、特殊処理モードを有しており、音
声認識画像処理モードは、音声／画像入力モード、文字
／画像再生モードおよび文字／画像出力モードからなっ
ている（図４）。これら、動作モードの選択は画像処理
装置１００の動作中の任意の時点で行なうようにするこ
とができる。

【００３８】＜音声認識画像処理手段＞図３は、画像処
理装置１００の音声認識画像処理を実行する音声認識画
像処理手段の構成例を示すブロック図であり、音声認識
画像処理手段１１０は、モード指定手段１１１と、画像
データ入力系１０と、音声／文字変換系３０と、画像／
文字表示手段１１２と、記録手段１１３と、再生表示手
段１１４と、出力手段１１５と、編集手段７０とを有
し、本実施例では、モード指定手段１１１、画像データ
入力系１０のうちのデータ圧縮／伸張手段、音声／文字
変換系３０のうちの音声／文字変換処理手段３４、記録
手段１１３、再生表示手段１１４、出力手段１１５およ
び編集手段７０はプログラムで構成されている。

【００３９】音声認識画像処理手段１１０は画像処理装
置１００の制御プログラムによりその実行順序を管理さ
れる。モード指定手段１１１は操作部４０から送られた
モード選択信号を調べて対応の処理ブロック、例えば、
図４に示す音声／画像入力モード処理ブロック１１１
１，文字／画像再生モード処理ブロック１１１２および
文字／画像出力モード処理ブロック１１１３からなる音
声認識画像処理モード、或いは画像入力モード処理ブロ
ック１１１４，画像再生モード処理ブロック１１１５お
よび画像出力モード処理ブロック１１１６からなる通常
処理モード、或いはその他のモード処理ブロック１１１
７からなる特殊処理モードに制御を渡す。画像データ入
力系１０は画像データを記録部６０に与える。画像デー
タ入力系１０の具体例としてはデジタルカメラ（実施例
参照）、スキャナー、デジタルカメラの記録結果を格納
した記録媒体（例えば、カードメモリー或いはＲＯＭ
等）の読取り装置および画像データ圧縮／伸張手段（実
施例ではプログラムで構成）がある。なお、前述したよ
うに画像データ入力系１０を内部データ入力系（すなわ
ち、デジタルカメラの光学系１１〜ＤＲＡＭ１４に至る
系）とすることもできる。

【００４０】音声／文字変換系３０は、前述したよう
に、音声入力手段３１、音声信号処理手段３２、復元手
段３３および音声／文字変換処理手段３４を有し（図
２）、音声入力手段３１で音声を入力して電気信号（音
声信号）に変換し、音声信号処理手段３２で一定の強度
範囲以外の音声信号のカットや、突出波形のカットおよ
び雑音処理等の前処理を施した後、出力信号（音声信
号）をＡ／Ｄ変換して音声データとしてＲＡＭ２２（ま
たはＤＲＡＭ１４）に格納し、復元手段３３でＲＡＭ２
２（またはＤＲＡＭ１４）に格納した音声データを取り
出してＤ／Ａ変換して音声信号に復元し、音声／文字変
換処理手段３４で、音声認識処理を行なって文字コード
に変換すると共に、文字表示位置の決定や表示文字およ
び吹出し枠の大きさや太さの決定等を行なう。

【００４１】図５は音声／文字変換処理手段３４の構成
例を示すブロック図であり、音声／文字変換処理手段３
４は、音声／文字変換手段３４１、音声方向解析手段３
４２、表示状態決定手段３４３を有している。

【００４２】音声／文字変換手段３４１はＲＡＭ２２
（或いはＤＲＡＭ１４）から読み出され音声信号に復元
された音声信号を単音に区分して波形の特徴を解析する
特徴解析手段３４１１と、単音の特徴データと文字コー
ドを登録した音声／文字変換辞書３４１４の各特徴デー
タとの類似度を計算して最も類似度の高い特徴データを
認識結果として音声を単音列として文字コード列（平仮
名或いは片仮名）に変換する文字変換手段３４１２と、
変換された文字列を区分して漢字辞書を用いて語（漢
字）コードおよび仮名コードの混合した文字列に変換す
る仮名漢字変換手段３４１３と、音声／文字変換辞書３
４１４および漢字辞書３４１５を有している。なお、仮
名漢字変換手段３４１３および漢字辞書３４１５はオプ
ションであり、仮名コードのみとしてもよい。また、特
定の語（或いは予め設定された語）については別の辞書
を用いて別の語（例えば丁寧語）に変換したり、記号や
絵文字（アイコン）に変換するように構成してもよい。

【００４３】なお、実施例では上述したように、音声／
文字変換処理手段３４で、ＲＡＭ２２から読み出されＤ
／Ａ変換により復元された音声信号の単音の波形特徴を
解析するように構成しているが、前述したワードスポッ
ティング法を用いて任意の入力音声からあらかじめ定め
た単語や音節等の単位を捜し出すよう構成し、音声区間
検出を行わず種々の部分区間を設定し各標準パターンと
の類似度を求め、すべての部分区間を通して類似度が最
大となる単語を認識結果とするように構成してもよい。

【００４４】また、音声／文字変換手段３４１で、ＲＡ
Ｍ２２から読み出され復元された音声信号の単音の波形
特徴を解析する代りに、ＲＡＭ２２（或いはＤＲＡＭ１
４）に格納された音声データをＤ／Ａ変換することなく
取り出して、特徴解析手段３４１１で単音の特徴を解析
し、文字変換手段３４１２で単音音声データの特徴デー
タと文字コードを登録した音声／文字変換辞書３４１４
の各特徴データと比較して音声を単音列として文字コー
ド列（平仮名或いは片仮名）に変換するように構成して
もよい。

【００４５】音声方向解析手段３４２は、画像処理装置
１００の左右に設けられた音声入力手段３１Ｒおよび３
１Ｌから得られる音量ＶＲ，ＶＬを基に音声入力手段３
１Ｒおよび３１Ｌを２点とする三角形の頂点の座標（す
なわち、音声の発生位置）を算出し吹出し口位置とする
発声位置推測手段３４２１と、ＶＲＡＭａに展開された
画像イメージの黒画素の密度の高い領域と低い領域を調
べ発声位置推測手段３４２１で得た座標点を黒画素の密
度の低い領域に平行移動し、その点を含む黒画素低密度
域の形状と標準図形テーブル３４２３に登録された各種
吹出しの形状とを比較し、相似度を判定して吹出しの形
状および縮尺を決定し、当該縮尺を基にして決定された
大きさの吹出しを嵌め込む黒画素低密度域を文字表示位
置候補とする文字表示位置候補決定手段３４２２と、吹
出しの標準形状および各吹出しに入る標準形状の文字数
を登録した標準図形テーブル３４２３を有している。

【００４６】図６は標準図形テーブル３４２３の一実施
例であり、標準図形テーブル３４２３には吹出しの種類
を特定する吹出し図形番号、吹出し図形番号で特定され
る吹出しを描画する吹出し描画コマンド、描画コマンド
で描かれる標準の大きさの吹出しの閉空間面積（また
は、形成される吹出し線で囲まれる画素数）、標準の大
きさの吹出しに書込めるある標準Ａの大きさの文字数
（行数、行当りの文字数とその合計）、標準Ｂ，Ｃ・・
の大きさの文字数等が登録されている。なお、ここで文
字の標準Ａ、Ｂ、Ｃ・・とは文字サイズ（或いは、縮
尺）を意味する。また、吹出しパターンを登録した吹出
しパターンテーブルを設け、描画コマンドの代りに図形
番号で特定される吹出しパターンのアドレス（ポイン
タ）を登録するようにしてもよい。

【００４７】表示状態決定処理手段３４３は、文字数お
よび上記当該サイズにより決定された大きさの吹出しの
大きさと標準文配列テーブル３４２３を基にして、表示
文字の大きさおよび配列を決定する表示文字形状決定手
段３４３１と、入力音量の大きさを基にして吹出しおよ
び文字の太さを決定する文字濃度決定手段３４３２と、
上記決定された大きさと太さの吹出しをＶＲＡＭｂの上
記決定された表示位置（相対座標）にイメージ展開し、
さらに文字コードに対応する文字パターンを登録したパ
ターン辞書３４３４を基に、当該ＶＲＡＭｂ領域中の吹
出しの中に上記決定された大きさと太さの文字列（或い
は記号、絵文字）をイメージ展開する文字展開手段３３
３３と、パターン辞書３４３４を有している。

【００４８】図３で、画像／文字表示手段１１２は画像
／文字入力モードのとき入力した画像および音声（文字
に変換された言葉）を合成して表示部５０の画面に表示
する。すなわち、画像データ入力系１０でＶＲＡＭａに
イメージ展開した画像と音声／文字変換系３０でＶＲＡ
Ｍｂにイメージ展開した文字（吹出し付き文字）を図１
０の例に示すように重畳させて表示する。

【００４９】記録手段１１３は、ユーザが操作部４０か
ら記録指示を行なうと重畳表示された画像データ、文字
データ（文字コード）と位置データ（位置座標）および
吹出し番号、或いは文字および吹出しのイメージデータ
を記録媒体６１に記録する。

【００５０】図７（ａ）は画像データおよび文字データ
とその表示情報等を記録する記録媒体６１のレイアウト
例であり、（ｂ）は参照リスト６１０の例を示す。
（ａ）に示すように記録媒体６１には、参照リスト６１
０、文字データ６２０−１〜６２０−ｍ、画像データ６
３０−１〜６３０−ｎ（ｎ≧ｍ）が記録され、文字デー
タおよび画像データの記録アドレスは対応の参照リスト
６１０の対応の画像番号のポインタ６１２、６１３に格
納される。また、参照リスト６１０には、画像データ番
号６１１、文字データの記録アドレスを示すポインタ６
１２、文字データの記録アドレスを示すポインタ６１
３、文字（吹出し口）表示位置を示す表示座標６１４、
吹出し情報（種類）を示す吹出し図形番号６１５が含ま
れている。

【００５１】なお、本実施の形態では文字データと位置
データおよび吹出し図形番号を格納するように構成した
が、図８に示すように文字（イメージ）データと画像デ
ータをそれぞれ別の１枚の画像６２０’、６３０として
別々に記録媒体６１に記録するようにしてもよい。この
場合、参照リスト６１０’には画像データ番号６１１、
文字データの記録アドレスを示すポインタ６１２’、文
字データの記録アドレスを示すポインタ６１３が格納さ
れる。また、図示しないが画像データと文字（イメー
ジ）データを１枚の合成画像のデータとして記録するよ
うにしてもよい。再生／表示手段１１４は、文字／画像
再生モードが選択された場合に起動され、画像データお
よび文字データを記録媒体６１から読み出し、画像デー
タについては伸張処理を施した後にＶＲＡＭａにイメー
ジ展開し、文字データについてはＶＲＡＭｂに（吹出し
と共に）イメージ展開する。これにより表示部５０の画
面上に再生された画像および文字が重畳表示される。

【００５２】なお、記録媒体６１に格納されている画像
データと文字データの合成（重畳表示）の可否を画面で
指定するように再生手段１１４を構成してもよく、ま
た、文字データが記録されている場合に必ず対応の画像
と重畳表示するように構成してもよい。

【００５３】出力手段１１５は、文字／画像出力モード
の指定、或いは文字／画像再生モードが指定されて画像
表示がなされた後にユーザの出力指示操作があると、画
面上に表示されている画像および文字に対応する画像デ
ータおよび文字データ、或いは指定の番号の画像および
文字に対応する画像データおよび文字データを記録部６
０およびインターフェイス８３を介して記録媒体６１か
ら外部装置（例えば、プリンタや他の画像処理装置或い
は通信回線に接続する端末機器）に送信する。

【００５４】編集手段７０は、音声／文字入力モードま
たは文字／画像再生モードで表示部５０に文字と画像が
重畳表示された場合に、操作部４０からユーザによる割
込み編集指示があると、表示文字の位置、大きさ、認識
誤りのあった文字の訂正／再入力および丁寧語或いは絵
文字への文字の変換等の編集処理を行なう。なお、操作
部４０からの割込み指示は操作部４０に設けられた編集
用ボタン（或いはキー）の押し下げにより制御部２０に
与えられる（図１０参照）。

【００５５】図９は編集手段７０の構成例を示すブロッ
ク図であり、編集手段７０は表示位置移動手段７１、サ
イズ拡大／縮小手段７２、音声再入力手段７３および文
字変換手段７４を有している。

【００５６】表示位置移動手段７１は画面に表示された
文字（吹出し）の位置が画像の主要部に重なっていた
り、位置のバランスが悪かったりした場合に適切な位置
に吹出しごと文字を移動させる。実施例では文字の移動
を図１０に示すような移動用ボタン４２および十字キー
４８（図１１）の操作により吹出し口を移動中心として
移動させている。

【００５７】サイズ拡大／縮小手段７２は画面に表示さ
れた文字（吹出し）が小さ過ぎたり大き過ぎたりした場
合や、表示位置移動手段７１による移動先の空間の大き
さが現在の吹出しの大きさより大きかったり小さかった
りする場合に文字（および吹出し）の大きさを拡大或い
は縮小して表示バランスを調整する。サイズ拡大／縮小
手段７２は、また、文字および吹出しの濃度（線の太
さ）の調整も行なうことができる。実施例では文字の拡
大／縮小を図１０に示すようなサイズ拡大／縮小ボタン
４３と十字キー４８の操作により行なっている。

【００５８】音声再入力手段７３は、画面に表示された
文字に認識誤りがある場合に誤った文字のみをスポット
的に訂正したり、表現全体を差替えたい場合に操作部４
０（実施例では変換入力ボタン４４および十字キー４８
の操作）により訂正対象（訂正文字のみ或いは文字列全
体または、訂正する行）を指定し、音声の再入力を行な
うことによりスポット訂正或いは全体の差替えを行な
う。誤った文字をスポット的に訂正する場合にはその部
分を指定し、正しい音を単音で区切って再入力し、全体
を差替える場合には（例えば、吹出し口部分を指定する
と全体差し換え、というように意味付けて）全体の差替
えを指定し、差替える言葉を再入力するようにできる。
ユーザーが再入力操作を行なうと、音声／文字変換系３
０が起動され、前述したような処理を経て新たな文字が
画面上に重畳表示される。

【００５９】文字変換手段７４は、画面に表示された文
字（または、文字列）を特定の文字（丁寧語）に変換し
たり、特定の記号や絵文字に変換したい場合に操作部４
０（実施例では変換入力ボタン４４および十字キー４８
の操作）により変換対象の文字又は文字列を指定する
と、変換辞書とのマッチングを行なって当該文字または
文字列を指定の語，記号または絵文字に変換する。変換
辞書には文字又は文字列と、それら文字列と変換可能な
語，記号または絵文字が登録されている。なお、変換
後、必要に応じて吹出しの形状或いは大きさを自動的に
調整できるように構成してもよい。

【００６０】＜実施例＞以下、本発明をデジタルカメラ
に適用した場合の一実施例について述べる。図１０はデ
ジタルカメラでの文字／画像の重畳表示例を示す説明図
であり、（ａ），（ａ）’は被撮影者の発した言葉１０
１’を画像に重畳表示した例であり、（ａ）で撮影時に
被撮影者が発した「おめでとうございます」という音声
を手前のデジタルカメラ２００で捉えて、（ａ）’に示
すように画像後方に吹出し枠１０１付きで重畳表示して
いる。また、（ｂ），（ｂ）’は撮影者の発した言葉１
０２’を画像に重畳表示した例であり、（ａ）で撮影時
に撮影者が発した「おめでとうございます」という音声
を手前のデジタルカメラ２００で捉えて、（ｂ）’に示
すように画像前方に吹出し枠１０２付きで重畳表示して
いる。上述の例のように被撮影者の言葉や動物の鳴き声
等を表示する場合は吹出し口を像の方向に向け、撮影者
の言葉を表示する場合は吹出し口を外側に向けることに
より、被撮影者（物）の発した音声か、撮影者の発した
音声かを一見して明らかに表示できる。

【００６１】なお、上例では吹出しを横方向に長めに形
成し、文字も横書きとしているが、吹出しを縦長にした
り、文字を縦書きにすることもできる。また、吹出し枠
を実線で現わされる矩形状としているが、破線で形成し
てもよく、また、大音響や驚き等を表現する場合に用い
られる突起状の角を有する吹出しも表示できる。

【００６２】図１１は本発明を適用したデジタルカメラ
一実施例の斜視図であり、（ａ）は正面図、（ｂ）は背
面図である。デジタルカメラ２００の上面には、動作モ
ードを本発明の音声認識画像処理モードに切換えるモー
ド切換えスイッチ（スライドスイッチ）４１と、編集用
ボタン４２〜４５、出力用ボタン４７、デジタルカメラ
２００を起動するメインスイッチ２０１、撮像用シャッ
ターボタン２０２が設けられている。前面（正面）に
は、撮像部２１０、撮像レンズ２０１、ファインダー２
２０、ファインダーレンズ２２１が設けられ、前面の内
部にはステレオマイク２３１，２３２が設けられてい
る。ここで、ステレオマイク２３１は音声入力部３１の
右耳（Ｒ）に、ステレオマイク２３２は左耳（Ｌ）に相
当する。

【００６３】背部には、記録モードと再生モードを切換
える記録／再生モード切換えスイッチ４６と、光学ファ
インダー２０２と、画像表示用の液晶ディスプレイ５３
が設けられている。なお、背部の内部に撮影者の音声入
力用マイク２３３を設けてもよい。音声入力用マイク２
３３を設けた場合には撮影者からの音声であることを確
実に判定できるので、音声方向解析手段３４２の構成が
音声入力用マイク２３３を設けない場合に比べて簡易に
なる。

【００６４】図１２は図１１のデジタルカメラ２００の
回路構成例を示すブロック図である。以下、図１の画像
処理装置１００と同じ機能を有する構成部分については
同じ記号を用い、詳細な説明は省略する。

【００６５】光学系１１，信号変換部１２，信号処理部
１３，ＤＲＡＭ（ダイナミックメモリー）１４は図１の
画像データ入力系１０に相当する。光学系１１は、撮像
レンズおよび絞り等の光学系機構１１を含み、被写体か
らの光を後段の信号変換部１２のＣＣＤ上に結像させ
る。信号変換部１２は、ＣＣＤ，Ａ／Ｄ変換部およびＣ
ＣＤ駆動信号生成回路を含み、前段の光学系１１を介し
てＣＣＤに結像した画像を電気信号に変換すると共にデ
ジタルデータ（以下、画像データ）に変換してＤＲＡＭ
１４に一時的に記憶させる。

【００６６】信号処理部１３は、画像データをＪＰＥＧ
方式等の圧縮方式により圧縮し、また、圧縮された画像
データに伸張処理を施す。また、信号処理部１３はＤＲ
ＡＭ１４からの画像データ或いはフラッシュメモリー６
１から読み出した画像データに伸張処理を施した後、Ｖ
ＲＡＭ（ビデオＲＡＭ）５１にイメージ展開する。

【００６７】制御部２０は上述の各回路および図示しな
い電源切換えスイッチ等にバスラインを介して接続し、
ＲＯＭ２１内に格納された制御プログラムによりデジタ
ルカメラ２００全体の動作を制御する。また、制御部２
０はＲＯＭ２１内に格納された音声認識画像処理手段１
１０（図３）を実行して音声認識画像処理モードの制御
を行なう。

【００６８】音声／文字入力部３０は音声認識画像処理
モードの時に、撮像の際入力される被撮影者（物）或い
は撮影者から発せられた音声を認識して文字コードに変
換し、撮像結果（画像）上の表示位置、文字の大きさ等
を決定して、文字イメージを吹出しとともにＶＲＡＭ５
２に展開する。

【００６９】モード切換えスイッチ４１，移動ボタン４
２，拡大／縮小ボタン４３，音声再入力ボタン４４，文
字変換ボタン４５，記録／再生スイッチ４６および出力
ボタン４７（以下、単にスイッチ４１，４６、ボタン４
２，４３，４４，４５，４７と記す）は図１の操作部４
０の構成部分に相当する。ＶＲＡＭ５１，ＶＲＡＭ５
２，および液晶ディスプレイ５３は表示部５０を構成す
る（ＶＲＡＭ５１はＶＲＡＭａに、ＶＲＡＭ５２はＶＲ
ＡＭｂに相当する）。

【００７０】液晶ディスプレイ（ＬＣＤ）５３の電源が
オン（ＯＮ）であれば、ＶＲＡＭ５１上の画像データが
液晶ディスプレイ５３に画像表示される。また、制御部
２０を介してＶＲＡＭ５２に書込まれる音声変換後の文
字および吹出しや選択画像フォーマットや各種メニュー
およびメッセージを液晶ディスプレイ５３に表示する。
さらに、ＶＲＡＭ５１上の画像イメージとＶＲＡＭ５２
上のイメージを液晶ディスプレイ５３に合成（重畳）し
て表示できる。

【００７１】フラッシュメモリー６１は画像データの記
録媒体として圧縮された画像データと、音声／文字変換
された文字データを記録し、また、必要参照事項を記録
する参照リストを有する（図７，図８）。インターフェ
イス８３はデジタルカメラ２００と、プリンタやパソコ
ン、その他の画像処理装置、ＣＤ−ＲＯＭ等の外部機器
との間のデータの授受を行なう。フラッシュメモリー６
１に記録された画像データおよび文字データ等の外部機
器への送信（出力）は、図示しない出力手段１１５（プ
ログラム）に基づいて行なわれる。

【００７２】＜モードの切換＞スイッチ４１は、「ＮＯ
Ｐ」、「通常」、「特殊」、「音声／文字変換」の４位
置にスライド可能に構成されている。スイッチ４１が
「ＮＯＰ」に位置する場合はメインスイッチ２０１がオ
ンであってもモード処理動作に移行しない（すなわち、
ノーオペレーション状態である）。また、スイッチ４１
はメインスイッチ２０１をオフにすると自動的に「ＮＯ
Ｐ」位置に戻る。

【００７３】メインスイッチ２０１をオン（ＯＮ）にし
た後、スイッチ４１を「通常」側に切換えると、デジタ
ルカメラ２００は通常処理モード（図４）となり、被写
体の撮像、表示、記録等、一連の撮像動作を行なうこと
ができる。また、スイッチ４１を「特殊」側に切換える
と、デジタルカメラ２００は特殊処理モード（図４）と
なり、接写や連写その他特殊処理動作を行なうことがで
きる。

【００７４】さらに、スイッチ４１を「音声／文字変
換］側に切換えると、音声認識画像処理モードとなり、
撮像／音声入力モード、文字／画像再生モードおよび文
字／画像出力モードを実行することができる（図４）。
スイッチ４１を「音声／文字変換］側に切換えた場合、
撮像スイッチ２０２が２段となり、一回押すとステレオ
マイク２３１，２３２（およびマイク２３３）が起動さ
れ、被撮影者（物）または撮影者の発する音声の入力を
可能とする。撮像スイッチをもう一回押すと被写体が撮
像され、撮像／音声入力モード処理ブロック１１１１が
実行されて液晶ディスプレイ５３上に撮像結果である静
止画像と入力音声が変換された文字が（吹出し付きで）
重畳表示される（図１３参照）。

【００７５】記録／再生スイッチ４６は、「ＮＯＰ」、
「記録」、「再生」の３位置にスライド可能に構成され
ている。スイッチ４６が「ＮＯＰ」に位置する場合はメ
インスイッチ２０１およびスイッチ４１がオンであって
もモード処理動作に移行しない（すなわち、ノーオペレ
ーション状態である）。また、スイッチ４６はメインス
イッチ２０１をオフにするか或いはスイッチ４１を「Ｎ
ＯＰ」に位置させるとスイッチ４６は自動的に「ＮＯ
Ｐ」位置に戻る（図１４参照）。

【００７６】スイッチ４１を「音声／文字変換」側に切
換えた場合にスイッチ４６を「記録」に切換えると撮像
／音声入力モード処理により液晶ディスプレイ５３に表
示中の画像および文字に係わるデータ（画像データ，文
字データおよび表示位置データ、大きさデータ、太さデ
ータ、吹出し図形番号）がフラッシュメモリー６１に記
録される。

【００７７】スイッチ４１を「音声／文字変換」側に切
換えた場合にスイッチ４６を「再生」に切換えるとデジ
タルカメラ２００は文字／画像再生モードとなり、文字
／画像再生モード処理ブロック１１１２が実行され、フ
ラッシュメモリー６１に記録されている画像データおよ
び文字データが読み出され、各変換処理等を経て液晶デ
ィスプレイ５３上に静止画像と入力音声が変換された文
字が（吹出し付きで）重畳表示される（図１５参照）。

【００７８】スイッチ２１１を「音声／文字変換］側に
切換えた場合に、ボタン４７を押すと文字／画像出力モ
ードとなり、文字／画像出力モード処理ブロック１１１
３により画像データおよび文字データがインターフェイ
ス８３を介して外部機器に送信される。

【００７９】図１３〜図１５は音声認識画像処理モード
における画像処理装置２００の動作を示すフローチャー
トであり、図１３は音声／画像入力モード時の動作フロ
ーチャート、図１４は文字／画像再生モード時の動作フ
ローチャート、図１５は文字／画像出力モード時の動作
フローチャートである。

【００８０】（イ）音声／画像入力モード時の動作図１３で、選択モードを調べ、音声／画像入力モードが
選択された場合にはＳ３に移行し、その他の場合にはＳ
２のその他のモード処理に移行する（Ｓ１）。上記Ｓ２
では音声／画像入力モード処理以外のモード処理を行な
い、終了するとＳ１に戻る。

【００８１】音声／画像モードが選択された場合、撮像
シャッター２０２を一回押すとステレオマイク２３１，
２３２（およびマイク２３３）が起動され、２回目に撮
像シャッター２０２を押すと所定時間経つとオフとなる
（Ｓ３）。また、２回目の撮像シャッター押し下げによ
り撮像が行なわれ（Ｓ３’）、撮像データは信号変換処
理（Ｓ４’）を経てＶＲＡＭ５１（ＶＲＡＭｂ）にイメ
ージ展開される（Ｓ５’）。

【００８２】ステレオマイク２３１，２３２（およびマ
イク２３３）から入力された音は、音声信号処理手段３
２により一定の強度以上の音が抽出され、突出波形のカ
ットや雑音処理等が施された後に特徴抽出処理を経てか
らＡ／Ｄ変換されて音声データとしてＤＲＡＭ１４に一
時的に格納される（Ｓ４）。

【００８３】ＶＲＡＭ１４に格納した音声データを取り
出して、音声／文字変換手段３４１による特徴解析（Ｓ
５）、文字変換（Ｓ６）および仮名漢字変換処理等の音
声／文字変換（Ｓ７）を行ない、次に、音声方向解析手
段３４２による発声位置の推測（Ｓ８）、文字および吹
出し表示位置候補の決定（Ｓ９）を行なう。さらに、お
よび表示状態決定手段３４３による表示文字形状決定
（Ｓ１０）と文字濃度（文字の太さ）の決定（Ｓ１１）
を行ない、吹出しおよび文字をＶＲＡＭ５２（ＶＲＡＭ
ａ）にイメージ展開する（Ｓ１２）。

【００８４】ＶＲＡＭ５１への１枚分の画像イメージ展
開とＶＲＡＭ５２への文字イメージ展開が終ると、画像
／文字表示手段１１２によりＶＲＡＭ５１の画像イメー
ジとＶＲＡＭ５２の文字イメージを合成し、液晶ディス
プレイ５３上に画像と吹出しに囲まれた文字を重畳表示
する（Ｓ１３）。

【００８５】ここで、制御部２０は操作部４０からの信
号状態を調べ、信号状態が「記録」を意味している場合
（すなわち、再生／記録ボタン４６が「記録」位置に切
換えられた場合）にはＳ１５に移行し、信号状態が「編
集」を意味している場合（すなわち、ボタン４２〜４５
のいずれかが押し下げられた場合）には、Ｓ１６に移行
し、その他の場合にはＳ１に戻る（Ｓ１４）。

【００８６】上記Ｓ１５で、再生／記録ボタン４６が
「記録」位置に切換えられた場合には、記録手段１１３
（図３）が起動され、フラッシュメモリー６１に現在液
晶ディスプレイ５３に重畳表示されている画像の圧縮デ
ータ、文字データを格納すると共にフラッシュメモリー
６１に設けられている参照リストに当該画像の画像番
号、画像データ格納アドレス（ポインタ１）、文字デー
タ格納アドレス（ポインタ２）、画像表示位置情報、濃
度情報、吹出し図形番号等の必要情報を登録し、Ｓ１に
戻る（Ｓ１５）。

【００８７】上記Ｓ１５で、ボタン４２〜４５のいずれ
かが押し下げられた場合には、編集割込みとして対応の
編集処理に移行する。すなわち、ボタン４２が押し下げ
られた場合には文字（吹出し）移動処理を、ボタン４３
が押し下げられた場合にはサイズ拡大／縮小処理を、ボ
タン４４が押し下げられた場合には音声再入力処理を、
ボタン４５が押し下げられた場合には文字変換処理を実
行し、それぞれの処理が終了するとＳ１５に戻る（Ｓ１
６）。

【００８８】（ロ）文字／画像再生モード時の動作文字／画像再生モードが選択されると、図１４で、再生
手段１１４により参照リスト、画像データおよび文字デ
ータが記録媒体６１から読み出され（Ｔ１）、画像デー
タについては伸張処理が施された後にＶＲＡＭ５１にイ
メージ展開され（Ｔ２）、文字データについては参照リ
ストに格納された各情報（画像表示位置情報、濃度情報
、吹出し図形番号等）を基にして吹出しおよび文字列
がＶＲＡＭ５２にイメージ展開される（Ｔ３）。

【００８９】ＶＲＡＭ５１への１枚分の画像イメージ展
開とＶＲＡＭ５２への文字イメージ展開が終ると、画像
／文字表示手段１１２によりＶＲＡＭ５１の画像イメー
ジとＶＲＡＭ５２の文字イメージを合成し、液晶ディス
プレイ５３上に画像と吹出しに囲まれた文字を重畳表示
する（Ｔ４）。

【００９０】ここで、ＣＰＵ２１は操作部４０からの信
号状態を調べ、信号状態が「編集」を意味している場合
（すなわち、ボタン４２〜４５のいずれかが押し下げら
れた場合）にはＴ６に移行し、その他の場合には図１３
のＳ１に戻る（Ｔ５）。

【００９１】上記Ｔ５で、ボタン４７が押し下げられた
場合には文字／画像出力モード（図１５）に移行する。
また、ボタン４２〜４５のいずれかが押し下げられた場
合には、編集割込みとして対応の編集処理に移行する。
すなわち、ボタン４２が押し下げられた場合には文字
（吹出し）移動処理を、ボタン４３が押し下げられた場
合にはサイズ拡大／縮小処理を、ボタン４４が押し下げ
られた場合には音声再入力処理を、ボタン４５が押し下
げられた場合には文字変換処理を実行する（Ｔ６）。

【００９２】それぞれの編集処理が終了すると、記録手
段１１３が起動され、フラッシュメモリー６１に現在液
晶ディスプレイ５３に重畳表示されている画像の圧縮デ
ータ、文字データを格納すると共にフラッシュメモリー
６１に設けられている参照リストに当該画像の画像番
号、画像データ格納アドレス（ポインタ１）、文字デー
タ格納アドレス（ポインタ２）、画像表示位置情報、濃
度情報、吹出し図形番号等の必要情報を登録し、図１３
のＳ１に戻る（Ｔ７）。

【００９３】（ハ）文字／画像出力モード時の処理文字／画像出力モードが選択されると、図１５で、出力
手段１１５により画面上に表示されている画像および文
字に対応する画像データおよび文字データ、或いは指定
の番号の画像および文字に対応する画像データおよび文
字データをフラッシュメモリー６１から読み出し（Ｕ
１）、イターフェイス８３を介して外部装置に送信する
（Ｕ２）。なお、上記実施例では吹出しのなかに文字を
表示したが、吹出しを設けず文字をそのまま表示するよ
うにしてもよい。

【００９４】他の実施例として、先に撮像を行なって画
像データを記録しておき、後から音声入力を行なって画
像と変換された文字を重畳表示するように構成できる。
この場合、前述の実施例において通常モードを選択し、
次に画像入力モード（撮像モード）１１１４を選択して
撮像および記録を行なった後、所望の時期に音声認識処
理モードを選択し、次いで文字／画像再生モードを選択
して記録画像を表示し、編集割込みにより編集処理（こ
の場合は、音声再入力）を行なって、変換された文字
（言葉）を重畳表示するようにしてもよい。

【００９５】以上本発明の実施例について説明したが、
本発明は上記実施例に限定されるものではなく、種々の
変形実施が可能であることはいうまでもない。

【００９６】

【発明の効果】以上説明したように本発明によれば、デ
ジタルカメラ等の画像処理装置での画像入力時（デジタ
ルカメラの場合は撮影時）に音声を入力し、音声認識を
行なって文字に変換して、液晶ディスプレイに画像と文
字で現わされた言葉を重畳表示でき、また、画像データ
および文字データを記録／出力できるので、撮像時の印
象や事実を画像と共に表示および記録することができ
る。これにより画像処理装置としてのデジタルカメラの
新しい利用分野、例えば、写真撮影時の印象や事実等が
表示されたアルバムの作成や、画像データに印象や事実
を記述した文字データを臨場的に対応させて外部に送信
し、外部装置で加工できる。また、文字表示の際に、漫
画等での言語表示の一手法である「吹出し」を形成し言
語（文字）をその中に表示するようにできるので、画像
の印象付けや、誰が言ったか等を画像中に明示できる。

【図面の簡単な説明】

【図１】本発明の音声認識画像処理装置の構成例を示す
ブロック図である。

【図２】音声／文字変換系の構成例を示すブロック図で
ある。

【図３】音声認識画像処理系の構成例を示すブロック図
である。

【図４】動作モードの構成例を示す構成図である。

【図５】音声／文字変換処理手段の構成例を示すブロッ
ク図である。

【図６】標準図形テーブルの一実施例を示す図である。

【図７】記録媒体のレイアウトの一例を示す図である。

【図８】記録媒体のレイアウトの一例を示す図である。

【図９】編集手段の構成例を示すブロック図である。

【図１０】本発明をデジタルカメラに適用した場合の文
字／画像の重畳表示例を示す説明図である。

【図１１】本発明をデジタルカメラに適用した場合の一
実施例の斜視図である。

【図１２】図１１のデジタルカメラの回路構成例を示す
ブロック図である。

【図１３】音声認識画像処理装置の音声／画像入力モー
ド時の動作を示すフローチャートである。

【図１４】音声認識画像処理装置の文字／画像再生モー
ド時の動作を示すフローチャートである。

【図１５】音声認識画像処理装置の文字／画像出力モー
ド時の動作を示すフローチャートである。

【符号の説明】

１０画像データ入力系３０音声／文字変換系３１音声入力手段３２音声信号処理手段３４音声／文字変換処理手段５０表示部（表示装置；ＶＲＡＭａ，ＶＲＡＭ，液晶
ディスプレイ））６０記録部（記録装置）６１記録媒体７０編集手段７１表示位置移動手段（移動手段）７２サイズ拡大／縮小手段（調整表示手段）７３音声再入力手段（修正手段）７４文字変換手段（変換手段）１００音声認識画像処理装置１０１，１０２吹出し枠（閉鎖図形）１１２画像／文字表示手段（画像表示手段）１１３記録遮断１１４再生／表示手段（画像表示手段）２００デジタルカメラ（音声認識画像処理装置）３４２音声方向解析手段３４３表示状態決定手段

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩ // Ｇ０６Ｆ 3/16 ３３０Ｇ０６Ｆ 3/16 ３３０Ｃ

Claims

【特許請求の範囲】

【請求項１】画像データを入力する画像データ入力系
と、音声を入力して認識して認識結果を文字，記号，ま
たは絵文字に変換する音声／文字変換系と、画像データ
と前記音声／文字変換系による変換結果を合成して表示
する画像表示手段を有することを特徴とする音声認識画
像処理装置。
【請求項２】更に、前記画像データと前記変換結果を
記録媒体に記録する記録手段を有することを特徴とする
請求項１に記載の音声認識画像処理装置。
【請求項３】更に、前記合成表示された画像データを
記録媒体に記録する記録手段を有することを特徴とする
請求項１に記載の音声認識画像処理装置。
【請求項４】前記音声／文字変換系が、音声を入力し
て音声信号に変換する音声入力手段と、前記音声入力手
段の出力から所定の強度範囲の音声信号を抽出し、波形
処理を行なって音声データを得る音声信号処理手段と、
前記音声データを認識処理して文字に変換する音声／文
字変換処理手段を有することを特徴とする請求項１，２
または３に記載の音声認識画像処理装置。
【請求項５】前記音声／文字変換処理手段が、更に、
音声の発せられた方向を検出して前記認識結果の表示位
置情報を得る音声方向解析手段と、音声の強度を基に前
記認識結果の表示サイズおよび表示濃度情報を得る表示
状態決定手段を有することを特徴とする請求項４記載の
音声認識画像処理装置。
【請求項６】前記変換結果を閉鎖図形枠で囲んで表示
することを特徴とする請求項１，２または３に記載の音
声認識画像処理装置。
【請求項７】前記閉鎖図形枠が吹出し枠であることを
特徴とする請求項６記載の音声認識画像処理装置。
【請求項８】前記音声／文字変換処理手段が、更に、
音声の発せられた方向を検出して前記認識結果の閉鎖図
形枠表示位置情報を得る音声方向解析手段と、音声の強
度を基に前記認識結果および前記閉鎖図形の表示サイズ
および表示濃度情報を得る表示状態決定手段を有するこ
とを特徴とする請求項５記載の音声認識画像処理装置。
【請求項９】更に、前記表示された変換結果を修正ま
たは編集する編集手段を有することを特徴とする請求項
１，２，３，６または７に記載の音声認識画像処理装
置。
【請求項１０】前記編集手段が、前記認識結果の表示
位置を移動する移動手段と、前記認識結果の表示サイズ
および表示濃度を調整する調整表示手段を有することを
特徴とする請求項９記載の音声認識画像処理装置。
【請求項１１】前記編集手段が、前記認識結果と前記
閉鎖図形の表示位置を移動する移動手段と、前記認識結
果と前記閉鎖図形の表示サイズおよび表示濃度を調整す
る調整表示手段を有することを特徴とする請求項９記載
の音声認識画像処理装置。
【請求項１２】前記編集手段が、更に、表示された前
記認識結果の一部または全部を指定して、該指定部分に
相当する音声を再入力して当該指定部分を修正する修正
手段を有することを特徴とする請求項９記載の音声認識
画像処理装置。
【請求項１３】前記編集手段が、更に、表示された前
記認識結果の一部または全部を指定して、他の文字列、
記号或いは絵文字に変換する変換手段を有することを特
徴とする請求項９記載の音声認識画像処理装置。
【請求項１４】前記変換結果と前記画像データと対応
づけて別々に保存する手段を設けたことを特徴とする請
求項１記載の音声認識画像処理装置。