JPH07184160A - 画像データ及び音声データを処理する装置 - Google Patents

Abstract

(57)【要約】 【目的】少なくとも１つ以上の画像、音声、テキストの
各ファイル間のリンクが可能となり、画像、音声、テキ
ストの各ファイル間での相互に関連性のある表現を容易
に編集、記録できるデジタル電子カメラを提供すること
である。 【構成】画像データと音声データとを関連づけて記録す
るための記録媒体１０１と、記録媒体１０１に格納され
た音声データを指定する指定手段２０３と、指定された
音声データに関連する画像データをファイル情報として
検索する制御手段１３と、検索された画像データを読み
出し、再生する読出手段１０２とを具備することを特徴
とする画像データ及び音声データを処理する装置。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像及び音声の処理し
て、記録再生を行なう装置に関するものである。

【０００２】

【従来の技術】従来、画像及び音声データを処理し、記
録する規格としてスチルビデオフォーマット方式が知ら
れている。この従来のスチルビデオフォーマットは、画
像データと音声データは夫々別のトラックにＦＭ記録さ
れる。また、音声トラックは関連する画像トラックのト
ラック番号を記録するためのフィールドをコントロール
コードに設けられており、特定の画像についての注釈
（識別情報）を記録できるようにしたものである。

【０００３】

【発明が解決しようとする問題点】しかしながら、上記
のような従来のデジタル電子カメラにおいては、以下の
ような問題がある。 即ち、スチルビデオフォーマット方式では、音声トラ
ックからの参照したい画像トラックの指定はできるが、
画像トラックからは関連する音声トラックを指定できな
い。従って、音声データと画像データとの関連を確定す
るためには記録媒体であるスチルビデオフロッピー上の
全てのトラックを検索して全ての音声トラックを再生
し、参照したい画像トラックを見つけ出さなければなら
ず必然的に多大な時間を必要とするため無駄が多く現実
的ではないという欠点があった。

【０００４】また、音声トラックからは一つの画像し
か参照できないので、複数の画像である場合に一つの音
声を対応させることができなかった。従って、複数の画
像に対して、共通の概念を音声で注釈しようとしても一
度にできないという欠点があった。 更に、音声データを記録するためには多大な記録容量
を必要とするので、特に単純な注釈を音声トラックにて
行うことはコスト的にみて不適切であるという問題があ
った。

【０００５】尚、上述した従来のデジタル電子カメラに
関する問題点は、一般的な音声及び画像データを処理す
る装置に係わる問題点でもある。従って、本発明は上述
した課題に鑑みてなされたものであり、その目的とする
ところは、少なくとも１つ以上の画像、音声、テキスト
の各ファイル間のリンクを可能とし、それぞれのファイ
ルを双方から高速に検索、再生できるように構成して、
画像、音声、テキストファイル間での相互に関連性のあ
る表現を容易に編集、記録できる音声及び画像データを
処理する装置を提供することである。

【０００６】また、音声あるいは画像をテキスト形式に
変換できるため少ない容量で画像に注釈（識別情報）を
付与することができる音声及び画像データを処理する装
置を提供することである。また、注釈として付与された
テキストに基づいて検索を行ったり、データベースを作
成するときのキーワードとして使用することも可能とな
る音声及び画像データを処理する装置を提供することで
ある。

【０００７】更に、他のデータベースに格納された情報
との間で自動的にデータをリンクするなどという処理も
可能となる音声及び画像データを処理する装置を提供す
ることである。

【０００８】

【課題を解決するための手段】上述の課題を解決し、目
的を達成するために、本発明の画像データ及び音声デー
タを処理する装置は、画像データと音声データとを関連
づけて記録するための記録媒体と、前記記録媒体に格納
された音声データを指定する指定手段と、前記指定され
た音声データに関連する画像データをファイル情報とし
て検索する制御手段と、前記検索された画像データを読
み出し、再生する読出手段とを具備することを特徴とし
ている。

【０００９】また、好ましくは前記画像データから文字
認識を行なう文字認識手段を更に具備し、該文字認識手
段による認識結果をテキストファイルとして前記画像及
び音声の各データとに関連づけて記録し、かつ検索でき
るように登録処理を行うことを特徴としている。また、
好ましくは前記音声データを文字として認識する音声認
識処理手段を更に具備し、該音声認識処理手段による認
識結果をテキストファイルとして前記画像及び音声の各
データとに関連づけて記録し、かつ検索できるように登
録処理を行うことを特徴としている。

【００１０】また、好ましくは前記記録媒体に格納され
た前記各データをファイル情報として表示する表示手段
を更に具備し、前記各ファイル間での相互関連情報の編
集、及び該関連情報に基づく前記各データの検索結果を
表示することを特徴としている。

【００１１】

【作用】以上のように、この発明に係わる画像データ及
び音声データを処理する装置は構成されているので、少
なくとも１つ以上の画像、音声、テキストの各ファイル
間のリンクが可能となり、それぞれのファイルを双方か
ら高速に検索、再生できるので、画像、音声、テキスト
ファイル間での相互に関連性のある表現を容易に編集、
記録できる。

【００１２】また、音声あるいは画像をテキスト形式に
変換できるため少ない容量で画像に注釈（識別情報）を
付与することができる。また、注釈として付与されたテ
キストに基づいて検索を行ったり、データベースを作成
するときのキーワードとして使用することも可能とな
る。更に、他のデータベースに格納された情報との間で
自動的にデータをリンクするなどという処理も可能とな
る。

【００１３】

【実施例】以下、本発明の好適な実施例について、添付
図面を参照して詳細に説明する。図１は、本実施例のデ
ジタル電子カメラ本体のシステム構成を示すブロック図
である。図１において、記録媒体１０１は、例えばＰＣ
ＭＣＩＡ規格に準拠したメモリカ−ドやハードディスク
などである。音声入力回路２０及び音声出力部２２は、
例えばオーディオジャックあるいはスピーカである。Ａ
／Ｄ変換器２４は、音声信号をアナログ信号からデジタ
ル信号に変換する装置で、Ｄ／Ａ変換器２５は、信号処
理制御用ＣＰＵ１３から送られるデジタルの音声信号を
アナログに変換する装置である。スイッチ２１は音声出
力部２２への音声信号の送信を選択する選択回路であ
る。メモリバスコントローラ１０２は、撮像信号処理部
１９、信号処理制御用ＤＳＰ１３、画像表示用バッファ
メモリ１２、記録媒体Ｉ／Ｆ回路１０４の間での画像デ
ータ、音声データなどの転送を行う。

【００１４】Ｄ／Ａ変換機２６は画像表示用バッファメ
モリ１２からのデジタル画像データをアナログ映像信号
に変換する装置であり、映像出力部２３はアナログに変
換された映像信号を映像として表示する映像表示装置で
ある。１は撮影レンズであり、２は絞り機能とシャッタ
ー機能を兼ねる絞り兼用シャッター、３はストロボ、メ
カ及び操作部制御用ＣＰＵ４は機械的な操作を行なう各
操作部を制御し、駆動回路５はメカ系各部の駆動させる
回路である。

【００１５】撮像素子６は被写体からの反射光を電気信
号に変換するＣＣＤで、タイミング信号発生回路７は撮
像素子６を動作させるために必要なタイミング信号を発
生する（以下、「ＴＧ」と称する）。撮像素子駆動回路
８はタイミング信号発生回路７からの信号を撮像信号の
駆動可能なレベルに増幅する駆動回路で、前置処理回路
９は撮像素子６で発生する出力ノイズ除去のためのＣＤ
Ｓ回路及びＡ／Ｄ変換前に行う非線形増幅回路を備え
る。Ａ／Ｄ変換器１０は前置処理後のデータをデジタル
に変換する。信号処理制御用ＣＰＵ１３は信号処理部を
制御する信号処理制御用ＤＳＰ（ＤＩＧＴＡＬ ＳＩＧ
ＮＡＬ ＰＲＯＣＥＳＳＯＲ）であり、操作表示部１４
は操作補助のための表示やカメラの状態を表わす表示部
で、操作部１５はカメラを外部から制御するためのキー
ボード等の入力装置である。記録媒体Ｉ／Ｆ１０４は本
実施例に基づくデジタル電子カメラと記録媒体１０１と
を接続するための記録媒体Ｉ／Ｆ用回路である。そし
て、本実施例のカメラの記録媒体への記録ファイルフォ
ーマットは、例えばＭＳーＤＯＳのようなファイルフォ
ーマットを使用することができる。

【００１６】画像表示用バッファメモリ１２は信号処理
制御用ＤＳＰ１３から画素単位でアクセスすることが可
能であり、また撮影する画像を表示しながら任意の操作
手段パネルを描画することができる。操作部１５にトラ
ックボールなどを実装すれば、近年におけるパ−ソナル
コンピュ−タにおけるポインティングデバイスを用いた
ＧＵＩ（Graphical User Interface）と同様のユーザー
Ｉ／Ｆを実現できるようになっている。つまり信号処理
制御用ＤＳＰ１３が画像表示用バッファに様々なコント
ロールパネルを描画して、ユーザーがそのコントロール
パネルに対してポインティングデバイス（この場合トラ
ックボール）によって操作することでカメラのあらゆる
操作が可能となる。また信号処理制御用ＤＳＰ１３によ
って、画像やテキストや様々な図形を画像表示部に描画
することでユーザーに対して撮影された画像、カメラの
現在の状態、記録媒体上のファイル管理情報など多種多
様な情報の提示が行われる。本実施例では以下操作部１
５と上記ＧＵＩによるユーザーＩ／Ｆ操作を操作部１５
による操作と称することとする。またポインティングデ
バイスによるクリックあるいはダブルクリック操作など
を起動操作と称することとする。

【００１７】＜画像記録モード時の記録画像のモニタ＞
信号処理制御用ＤＳＰ１３がユーザーの操作部１５の記
録モード移行命令を検知すると、信号処理制御用ＤＳＰ
１３は以下の処理を実行し記録する画像を映像出力部２
３に表示する。撮影者の意図に応じてレンズ系の制御が
メカ操作部制御用ＣＰＵ４及びメカ系駆動回路５により
行われる。この際、撮影条件などが操作部１５に表示さ
れ、撮影者にカメラの状況を伝える。さらに不図示の測
光回路により被写体の明るさを測定し、絞り兼用シャッ
ター２の絞り度を表す値やシャッタースピードのデータ
をメカ操作部制御用ＣＰＵにて導出する。メカ操作部制
御用ＣＰＵ４で導出された制御値に基づき、メカ系駆動
回路５により絞り兼用シャッター２を駆動する。また測
光回路（不図示）の出力によってはストロボ３を発光さ
せて撮影することになる。このようにして露光されて、
被写体の反射光が撮影レンズ１及び絞り兼用シャッター
２を介して撮像素子６に入射される。この際、絞り兼用
シャッター２は撮像素子６への入射光量を制限するとと
もに、撮像素子としてインターレース読み出し型ＣＣＤ
を用いた場合、画像の転送中に入射光が信号電荷に悪影
響を与えないようにするために設けられている。撮像素
子６は、ＴＧ７からの出力を撮像素子駆動回路８によっ
て増幅させた駆動信号により動作させる。尚、ＴＧ７は
信号処理制御用ＤＳＰ１３によりその動作を制御されて
いる。以上のようにして駆動させた撮像素子６の出力は
前置処理回路９に送られる。前置処理回路９では撮像素
子からの出力に発生する低域ノイズを除去するＣＤＳ処
理と共に、Ａ／Ｄ変換器１０のＤレンジ（デジタル化さ
れた信号データ）を有効に用いるために撮像出力を非線
形化する処理を行っている。前置処理された撮像信号出
力はＡ／Ｄ変換器１０においてデジタル信号に変換さ
れ、撮像信号処理部１９によって標準的なコンポーネン
トビデオ（例えば輝度信号と２色差信号やＲＧＢ信号）
に変換されメモリコントローラ１０２に入力される。メ
モリコントローラ１０２では信号処理制御用ＤＳＰ１３
の制御により、デジタル化された撮像信号をバッファメ
モリ１２に連続的に転送していく。

【００１８】図２は、画像記録モードにおける表示形式
を示す図である。画像表示部２３に出力される表示画像
は例えば図２に示すように記録画像のモニタ領域部分２
０２と、カメラの状態や撮影条件などユーザーが設定で
きるパラメータのコントロールパネル部分２０３を分割
されて表示される。画像表示用バッファメモリ１２のデ
ジタル化されたデータはＡ／Ｄ変換器２６によってアナ
ログ映像信号に変換され映像出力部２３に出力され、映
像出力部２３で表示される。ユーザーは、記録する画像
を動画像としてモニタ領域部分２０２において確認でき
る。

【００１９】以上の処理によって撮像素子６によって捕
らえられた動画像が映像出力部２３に表示されるのであ
る。 ＜画像の記録＞撮影者が操作部１５を制御することによ
りカメラに撮影を指示すると、信号処理制御用ＤＳＰ１
３は動画表示を停止して表示用バッファメモリに保持さ
れた画像データにメモリコントローラを介してアクセス
してデジタルの圧縮処理を行った後、記録媒体Ｉ／Ｆ１
０４を介して記録媒体１０１に記録する。

【００２０】この転送期間及び記録終了後一定期間中メ
モリバスコントローラ１０２は画像表示用バッファメモ
リ１２への書き込みを停止すれば記録する画像が静止さ
れて映像出力部２３に表示される。従ってユーザーがた
った今記録した静止画像を映像出力部２３で確認でき
る。また撮影後、より速く記録された画像の中身を確認
するために、信号処理制御用ＤＳＰ１３は圧縮した画像
の間引き画像を圧縮ファイルに付加することができる。
例えば、元の画像の縦横８分の１程度に間引いた画像を
付加してもファイル容量はそれほど増加しないのであ
る。尚、この画像を索引画像と呼ぶ。

【００２１】＜音声記録時の音声のモニタ及び記録＞記
録モード時には信号処理制御用ＤＳＰ１３はスイッチ回
路２１で音声入力回路２０の出力を音声出力部２２の入
力に接続して記録する音声をモニタすることができる。
信号処理制御用ＤＳＰ１３がユーザの操作部１５による
音声記録命令を検知すると、信号処理制御用ＤＳＰ１３
はＡ／Ｄ変換器２４でデジタルデータに変換したデータ
を受け取り、メモリバスコントローラ１０２を介して記
録媒体Ｉ／Ｆ１０４に転送する。

【００２２】信号処理制御用ＤＳＰ１３がユーザーの操
作部１５による音声記録命令の解除を検知するか、ある
いは信号処理制御用ＤＳＰ１３が一定時間経過したこと
で音声記録の解除とみなした時点で信号処理制御用ＤＳ
Ｐ１３は音声の記録を終了する。 ＜画像と音声の同時記録＞画像と音声を同時に記録する
場合、前述の＜画像の記録＞で説明したように画像を圧
縮して記録媒体Ｉ／Ｆ１０４に転送している間は、信号
処理制御用ＤＳＰ１３はＡ／Ｄ変換器２４から受け取っ
た音声のデータを信号処理制御用ＤＳＰ１３の内部バッ
ファに一時的に保存しておき、画像の転送が終了した時
点で音声データを記録媒体Ｉ／Ｆ１０４に転送する。Ｎ
ＴＳＣ方式の１フィールド期間１６．７ミリ秒のうち、
垂直同期期間とその前後には１．４ミリ秒程度の垂直ブ
ランキング期間といわれる映像信号が存在しない期間が
ある。画像データを通常のビデオレートで転送する場
合、この垂直ブランキング期間を除いた時間（約１５ミ
リ秒）の間に撮像信号処理されていない画像データを転
送する。これを実現するために約１０ＭＢｙｔｅ／ｓｅ
ｃのスピードでデータを転送する。

【００２３】音声データを１サンプル８ビットで２２ｋ
Ｈｚでサンプリングするとき１６．７ミリ秒分のデータ
容量は約３７０Ｂｙｔｅである。このデータを残りの
１．４ミリ秒で転送する場合、約２６０ＫＢｙｔｅ／ｓ
ｅｃの転送スピードが必要である。これらの転送スピー
ドは、例えば記録媒体としてＰＣＭＣＩＡ規格などに準
拠したメモリカ−ドならば十分満足できる速度である。

【００２４】以上説明したように、１画面の走査期間の
うち垂直ブランキング期間中に音声データを転送し、映
像期間に画像転送を行い時分割多重することで本実施例
のカメラは画像と音声を同時にモニタしながら同時に記
録できる。このときは音声データは画像に関連した情報
とみなせるため、画像及び音声を後述する＜画像ファイ
ルへの音声及びテキストのリンク＞の説明に基づいて、
両者が相互に参照し合うようにファイル管理する。

【００２５】また音声データを映像信号の水平ブランキ
ング期間内に転送しても良い。例えば、４４．１ｋＨ
ｚ、ステレオ、８ビットの条件で音声をサンプリングす
るとき、１回の水平ブランキング期間（１Ｈ期間）内に
計６Ｂｙｔｅもしくは４Ｂｙｔｅの音声データを転送・
記録する。この時、記録媒体としてＨＤＤなどの記録機
構を有する媒体を用いる際には１Ｈ期間毎に音声データ
がインターリーブされるように記録するのが良いが、半
導体メモリの場合には画像データと音声データを１Ｈ毎
にインターリーブさせる必要はなく、１フィールド期間
（１Ｖ期間）の画像データの前に音声データが記録され
るように１Ｖ毎のインターリーブ記録をしても良い。

【００２６】＜テキストデータの記録＞本実施例のカメ
ラでは５つの画像や音声を認識してテキストデータにす
ることで画像に対する注釈のための記録容量の拡大を大
幅に削減する。 ＜文字認識による記録＞信号処理制御用ＤＳＰ１３が
ユーザーの操作表示部１５による文字認識記録モード移
行命令を探知するとカメラは＜画像記録モード時の記録
モニタ＞と同じ処理を行い文字認識する画像を画像表示
部に出力する。このとき画像表示部３０１に表示される
画像は、図３のように認識しようとする画像３０２、文
字認識された結果を表示する部分３０３、カメラの状態
や撮影条件などをユーザーが設定できるパラメータのコ
ントロールパネル３０４などを分割して表示する。

【００２７】そしてユーザーが操作部１５によって文字
認識実行を指示している間は以下の処理を繰り返す。信
号処理制御用ＤＳＰ１３は一旦画像表示用バッファメモ
リへの書き込みを停止してその画像に対して文字認識処
理を行う。バッファメモリ上の画像に対する文字認識処
理が終了すると信号処理制御用ＤＳＰ１３はその認識結
果を図３に示す表示領域３０３に表示する。

【００２８】ユーザーは満足な認識結果が得られたとこ
ろで操作部１５によって文字認識実行の指示を終了す
る。この時点でユーザーは操作部１５によって認識され
たテキストの確定を指示する。カメラは確定されたテキ
ストをメモリコントローラ１０２、記録媒体Ｉ／Ｆ１０
４を介して記録媒体１０１に記録する。テキストデータ
が確定されない場合は、再度認識画像をバッファメモリ
に書き込み直し上述の動作を繰り返す。

【００２９】＜音声認識による記録＞信号処理制御用
ＤＳＰ１３がユーザーの操作部１５による文字認識記録
モード移行命令を探知するとカメラは＜音声記録時の音
声のモニタ及び記録＞に説明したのと同じ処理を行い音
声をモニタする。このとき画像表示部４０１の表示画像
は図４のように音声認識された結果を表示する部分４０
２、カメラの状態や、認識条件等ユーザーが設定できる
パラメ−タのコントロールパネル４０３などを分割して
表示する。さらに好適な具体例として、図１３のパネル
１３０のように構成できる。

【００３０】そしてユーザーが操作部１５によって音声
認識実行を指示している間信号処理制御用ＤＳＰ１３は
Ａ／Ｄ変換器２４でデジタルデータに変換したデータを
受け取り、音声認識処理を行い認識結果を図４の表示部
４０２に表示する。ユーザーは音声の認識結果が得られ
たところで操作部１５によって音声認識実行の指示を終
了する。

【００３１】認識結果に不満がある場合は再度操作部１
５によって音声認識実行を指示する。満足する認識結果
が得られたらこの時点でユーザーは操作部１５によって
認識されたテキストの確定を指示する。カメラは確定さ
れたテキストをメモリコントローラ１０２、記録媒体Ｉ
／Ｆ１０４を介して記録媒体に記録する。

【００３２】以上の説明により明らかなように本実施例
のデジタル電子カメラは記録媒体に画像データ、音声デ
ータ、テキストデータの３種類のファイルを保持でき
る。 ＜ファイルの一覧表示＞図５は、記録されたファイルの
一覧を表示する表示形式を示す図である。３種のファイ
ルをカメラの表示部に映像としてディレクトリ表示する
ときは信号処理制御用ＤＳＰ１３が記録媒体上に記録さ
れているファイルを読み出し、ファイルデータの種類に
応じて図５に示すように画像については画像ファイルを
表現する索引画像５０１、音声、テキストは夫々５０
２、５０４のようなアイコンとして表示する。これらの
表示は記録時間順に表示したり、また画像だけ、音声だ
け、テキストだけの表示を行うこともできる。またユー
ザーは索引画像、音声、テキストを表すアイコンをポイ
ンティングデバイスで選択したのち、消去ボタン５０９
をクリックするとカメラは選択されたファイルの消去を
行う。

【００３３】索引画像５０１の下部にある音声、テキス
トの夫々のアイコン５１１、５１２はその画像ファイル
にリンクされたテキストや音声が存在するかどうかを示
すためのものである。テキスト及び音声は後述する＜画
像ファイルへの音声、テキストのリンク＞に従ってリン
クされる。例えば、５１１、５１２のようにアイコンを
グレーレベルにすることでデータが存在することを表現
する。これらのアイコンをポインティングデバイスを用
いて選択して起動させ、後述する＜音声の再生＞又は＜
テキストの再生＞が行われる。

【００３４】図５において、画面の一部５１０は表示す
る索引画像やアイコンなどのオブジェクトが画面に入り
きらないときにそれらを検索できるように上下にスクロ
ールするためのスクロールバーである。これは近年のパ
−ソナルコンピュ−タやワークステーションで用いられ
るウィンドウ表示のためのツールと同様に機能する。 ＜画像の拡大及び再生＞図７は、拡大された画像の表示
形式を示す図である。図７において一つの画像について
拡大再生したい場合、ユーザーは操作部のポインティン
グデバイスを用いて一つの索引画像を選択して拡大命令
（例えばボタンのダブルクリック）を行う。信号処理制
御用ＤＳＰ１３は上記操作を検知すると選択された画像
ファイルから圧縮画像データを読み出し、伸長して画像
表示用バッファメモリに転送し画像表示部に表示する。
このときの表示は、例えば図７に示すように拡大された
画像の表示部７０１と各制御用ボタン７０２〜７０４、
更にリンクされた複数の音声、テキストのアイコンとし
て夫々７０５、７０６などが表示される。

【００３５】ポインティングデバイスでボタン７０２を
起動すると図７に表示された画像のパネルは閉じられて
前述の図５の表示に戻る。 ＜音声の再生＞次に、図５において、音声を再生したい
場合、ユーザーは操作部のポインティングデバイスを用
いて音声アイコンを選択して起動する。

【００３６】信号処理制御用ＤＳＰ１３はスイッチ回路
２１を制御してＤ／Ａ変換器２５からの出力を音声出力
部２２の入力に接続する。信号処理制御用ＤＳＰ１３は
記録媒体Ｉ／Ｆ１０４、メモリバスコントローラ１０２
を制御して音声データを読み出しＤ／Ａ変換器に記録時
の標本化周期で出力し音声出力部２２から音声が出力さ
れる。

【００３７】＜テキストの再生＞更に、テキストを表示
したい場合、ユーザは操作部のポインティングデバイス
を用いてテキストアイコンを選択して起動する。図７
は、テキストデータの表示形式を示す図である。信号処
理制御用ＤＳＰ１３は記録媒体Ｉ／Ｆ１０４、メモリバ
スコントローラ１０２を制御してテキストデータを読み
出しキャラクタビットパターン展開して例えば図６に示
すようなテキストデータを画像表示用バッファメモリに
転送し画像表示部に表示する。

【００３８】図６ではテキストの表示部６０１と制御用
ボタン６０２などが表示される。ポインティングデバイ
スでボタン６０２を起動すると第６図のパネルは閉じら
れる。 ＜画像ファイルへの音声及びテキストのリンク＞本実施
例に基づくカメラは前述の＜単独の画像の拡大及び再生
＞での説明に従って一つの画像を再生したとき、画像に
対して音声、あるいは音声認識によるテキストの付加を
行うためのコントロールボタンを図７に示すアイコン７
０３、７０４を夫々備えている。ポインティングデバイ
スで図７中のアイコン７０３、７０４をクリックし起動
すると信号処理制御用ＤＳＰ１３は夫々＜音声記録時の
音声のモニタ及び記録＞、＜音声認識による記録＞と
同様に音声、テキストの記録を行う。この操作は画像デ
ータを拡大及び再生しモニタすることによって行うこと
ができる。図１３は、図７の画像表示パネルの上に音声
認識の制御用パネル１３０を重ねて表示した様子を示す
図である。例えば、図１３のように図７の画像表示パネ
ルの上に音声認識の制御用パネル１３０を重ねて表示す
ることができる。 画像データと音声データを同時記録
する時、及び上記のように画像データを再生した結果を
モニタしながら音声、テキストを記録する時は画像ファ
イル及び音声、テキストファイル双方がお互いを参照す
るデータをファイル内に格納することによって相互にリ
ンクされたファイルとなる。図８は、ファイル内の画像
ファイル及び音声ファイルとテキストファイル夫々のデ
ータ構成を示している。

【００３９】図８において、夫々のファイルはリンクさ
れるファイル形式ごとにリンクされたファイル数（夫々
音声ファイル数をｎ、テキストファイル数をｍ、画像フ
ァイル数をｋ）及びファイル数の応じたファイルの識別
子を格納する。このようにすれば音声ファイルだけでな
く画像ファイルも音声、テキストファイルを参照してい
るので従来のように全てのファイルを検索しなくても一
つの画像ファイルから関連される音声、テキストファイ
ルを特定してそのファイルを再生あるいは表示すること
ができる。

【００４０】一つの画像ファイルにリンクされた音声、
テキストが存在する場合、その画像を表示する場合夫々
図５、図７に示すようにリンクされた音声ファイル、テ
キストファイルをアイコンで（例えば、画像データの下
部に）表示することができる。ユーザーはこのアイコン
をポインティングデバイスで選択、起動するとカメラは
関連づけられた音声の再生、テキストの表示を行う。

【００４１】テキストは図６のように表示される。この
表示は単独、または図５、図７の表示の上に重ねて表示
される。またユーザーは図７においてアイコン７０５、
７０６をポインティングデバイスで選択した後、削除ボ
タン７０７をクリックするとカメラは関連づけられた音
声、テキストファイルの削除を行うことが可能である。
この操作手段は図８に示した画像ファイル、音声、テキ
ストファイルのお互いのリンク情報を消去する。このと
きリンクの削除された音声やテキストファイルは単独で
存在するようにしてもよいし、消去するようにしてもよ
い。

【００４２】また、単独で表示させるには、図５におい
てアイコン５０２、５０４のファイル一覧表示のように
夫々表現される。 ＜複数の画像ファイルのグループ化、及びグループへの
音声、テキストのリンク＞前述の＜ファイルの一覧表示
＞において、ポインティングデバイスによって複数の画
像を選択すると索引画像は選択されたことを強調するよ
うに例えば図９のように枠が太く表示される。更に、ポ
インティングデバイスで図９のグループ化ボタン９０１
をクリックすると画像ファイルのグループが作成され
る。この時グループ化されたことを強調するために索引
画像の枠の色を他の画像と異なる色にすることもでき
る。

【００４３】更に、ポインティングデバイスで図９に示
す音声付加ボタン９０２あるいは音声テキスト付加ボタ
ン９０３を起動すると信号処理制御用ＤＳＰ１３は夫々
＜音声記録時の音声のモニタ及び記録＞、＜音声認識
による記録＞での説明と同様に音声、テキストの記録を
行う。この時点で複数の音声、テキストがグループに付
加されることとなる。この操作によってグループに特有
な事柄についての注釈説明を与えることができる。

【００４４】以上説明した操作により複数の画像と音
声、テキストがリンクされる。この時グループ内の夫々
のファイルについてそれ以外の全てのファイルに対する
参照データを付加すると、のちにこのグループを特定す
るためには全てのファイルを検索しなければならず管理
が困難になる。そこで本実施例ではグループの発生が明
確になった時点でグループ情報を保持するためのグルー
プファイルを作成する。このファイルの構成は、図１０
に示すようになる。即ち、グループに属する画像、音
声、テキスト夫々のファイルの個数、及び夫々のファイ
ルの識別子が格納される。またグループに属する画像、
音声、テキストファイルは夫々のファイルが属するグル
ープへの参照ができるように図１１のように編成され
る。即ち、個々のファイルはグループを参照するだけで
そのグループに属するファイルへの参照は行わない。

【００４５】このようなグループのファイル構成によ
り、グループ、画像、音声、テキスト、どのファイルか
らでもグループ情報すなわちグループに属するファイル
を高速に同定できる。例えば一つの画像ファイルからそ
のグループに属する他のファイルを探索する場合、一旦
所属するグループファイルを獲得してしまえばそれらの
ファイルの識別子を直接獲得できる。

【００４６】以上説明した実施例から明らかなように画
像ファイルは複数のグループに属することが可能であ
る。上述の手順によってグループファイルが発生される
とカメラは＜ファイルの一覧表＞において、図５のよう
にグループファイルを表現するアイコン５０５を表示す
る。ポインティングデバイスでこのアイコンをダブルク
リックすると図１２のようにグループに属するファイル
が表示される。図１２において、音声アイコン、テキス
トアイコンをポインティングデバイスでクリックして起
動すれば夫々前述した通りの＜音声の再生＞、＜テキス
トの表示手段＞が行われ、このグループに特有な事柄に
ついての注釈、説明として表現することができる。

【００４７】グループに属するファイルをグループから
削除するためには図１２において削除するファイルをポ
インティングデバイスで選択した後、ボタン１２１で削
除を起動する。グループから削除された音声やテキスト
ファイルは単独で存在するようにする。単独で存在させ
るようにするときは図５においてアイコン５０１、５０
２、５０４のように一覧表示に現れるようになる。

【００４８】また消去ボタン１２２を設定してこのボタ
ンを起動することで選択されたファイルを消去してもよ
い。グループから削除、あるいは消去される場合はもち
ろん、図１０、図１１に示されるグループファイル、画
像、音声テキストデータファイルとの間のリンク情報は
消去される。

【００４９】またファイルを既存のグループに加えるた
めには図５において加えるファイル及び加える先のグル
ープアイコンをポインティングデバイスで選択してグル
ープ化を起動する。これらの操作においてグループ以外
のファイルは複数選択することが可能である。記録媒体
には単独で画像ファイル、音声ファイル、テキストファ
イルが存在する。これらのいくつかをグループ化するこ
とも可能である。＜ファイルの一覧表＞においてポイン
ティングデバイスによって複数のファイルを選択する。
さらにポインティングデバイスで第５図のグループかボ
タン５０８を起動することで画像、音声、テキストが属
するグループファイルを作成する。

【００５０】（本実施例の効果）以上説明したように、
本実施例においては、単一の画像又は複数の画像と、音
声、テキスト間のリンクが可能になりそのリンクされた
関係を高速に再現できるので、画像、音声、テキストの
相互補間的な表現を容易に編集することができる。

【００５１】また音声あるいは画像をテキストに変換す
るため少ない容量で画像に注釈を付けることができる。
また注釈としてつけられたテキストをもとに検索を行っ
たり、データベースを形成するときのキーワードとする
ことも可能となる。さらには他のデータベースの情報と
自動的にリンクするなどの処理も可能となる。

【００５２】尚、本発明は、その趣旨を逸脱しない範囲
で上記実施例を修正又は変形したものに適用可能であ
る。例えば、複数の機器から構成されるシステムに適用
しても１つの機器から成る装置に適用しても良い。ま
た、システム或は装置にプログラムを供給することによ
って達成される場合にも適用できることはいうまでもな
い。

【００５３】

【発明の効果】以上説明したように、本発明によれば、
少なくとも１つ以上の画像、音声、テキストの各ファイ
ル間のリンクが可能となり、それぞれのファイルを双方
から高速に検索、再生できるので、画像、音声、テキス
トファイル間での相互に関連性のある表現を容易に編
集、記録することができる効果がある。

【００５４】また、音声あるいは画像をテキスト形式に
変換できるため少ない容量で画像に注釈（識別情報）を
付与することができる効果がある。また、注釈として付
与されたテキストに基づいて検索を行ったり、データベ
ースを作成するときのキーワードとして使用することも
可能となる効果がある。更に、他のデータベースに格納
された情報との間で自動的にデータをリンクするなどと
いう処理も可能となる効果がある。

【図面の簡単な説明】

【図１】本発明の実施例のデジタル電子カメラの全体構
成を示すブロック図である。

【図２】画像記録モードにおける表示形式を示す図であ
る。

【図３】文字認識モードにおける表示形式を示す図であ
る。

【図４】音声認識モードにおける表示形式を示す図であ
る。

【図５】記録されたファイルの一覧表示形式を示す図で
ある。

【図６】テキストの表示形式を示す図である。

【図７】画像の表示形式を示す図である。

【図８】画像ファイルと、音声ファイル及びテキストフ
ァイルとが相互にリンクされた場合の双方のファイル内
部の編成を示す図である。

【図９】一覧表示において複数のファイルが選択された
場合の表示形式を示す図である。

【図１０】グループファイルの内部データ編成である。

【図１１】グループに属する画像、音声、テキスト各フ
ァイルの内部のデータ編成を示す図である。

【図１２】グループに属するファイルの一覧表示形式を
示す図である。

【図１３】画像表示形式の上に音声認識制御パネルを重
ねて表示したときの表示形式を示す図である。

【符号の説明】

１ 撮影レンズ ６ 撮像素子 １０，２４ Ａ／Ｄ変換器 １２ バッファメモリ １３ 信号処理制御用ＤＳＰ １４ 操作表示部 １５ 操作部 １９ 撮像信号処理部 ２０ 音声入力回路 ２２ 音声出力部 ２３ 映像出力部 ２５，２６ Ｄ／Ａ変換器 １０１ 記録媒体 １０２ メモリバスコントローラ １０４ 記録媒体Ｉ／Ｆ

Claims (4)

【特許請求の範囲】
1. 【請求項１】 画像データと音声データとを関連づけて
   記録するための記録媒体と、 前記記録媒体に格納された音声データを指定する指定手
   段と、 前記指定された音声データに関連する画像データをファ
   イル情報として検索する制御手段と、 前記検索された画像データを読み出し、再生する読出手
   段とを具備することを特徴とする画像データ及び音声デ
   ータを処理する装置。
2. 【請求項２】 前記画像データから文字認識を行なう文
   字認識手段を更に具備し、該文字認識手段による認識結
   果をテキストファイルとして前記画像及び音声の各デー
   タとに関連づけて記録し、かつ検索できるように登録処
   理を行うことを特徴とする請求項１に記載の画像データ
   及び音声データを処理する装置。
3. 【請求項３】 前記音声データを文字として認識する音
   声認識処理手段を更に具備し、該音声認識処理手段によ
   る認識結果をテキストファイルとして前記画像及び音声
   の各データとに関連づけて記録し、かつ検索できるよう
   に登録処理を行うことを特徴とする請求項１に記載の画
   像データ及び音声データを処理する装置。
4. 【請求項４】 前記記録媒体に格納された前記各データ
   をファイル情報として表示する表示手段を更に具備し、
   前記各ファイル間での相互関連情報の編集、及び該関連
   情報に基づく前記各データの検索結果を表示することを
   特徴とする請求項１に記載の画像データ及び音声データ
   を処理する装置。