JP3768915B2

JP3768915B2 - デジタルカメラ及びデジタルカメラのデータ処理方法

Info

Publication number: JP3768915B2
Application number: JP2002127302A
Authority: JP
Inventors: 琢山上
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-04-26
Filing date: 2002-04-26
Publication date: 2006-04-19
Anticipated expiration: 2021-04-19
Also published as: JP2003032625A

Description

【０００１】
【産業上の利用分野】
本発明は画像及び音声データを処理して、記録再生を行なう装置及び方法に関するものである。
【０００２】
【従来の技術】
従来、画像及び音声データを処理し、記録する規格としてスチルビデオフォーマット方式が知られている。
【０００３】
この従来のスチルビデオフォーマットは、画像データと音声データは夫々別のトラックにＦＭ記録される。また、音声トラックは関連する画像トラックのトラック番号を記録するためのフィールドをコントロールコードに設けられており、特定の画像についての注釈（識別情報）を記録できるようにしたものである。
【０００４】
【発明が解決しようとする問題点】
しかしながら、上記のような従来のデジタル電子カメラにおいては、以下のような問題がある。
【０００５】
▲１▼即ち、スチルビデオフォーマット方式では、音声トラックからの参照したい画像トラックの指定はできるが、画像トラックからは関連する音声トラックを指定できない。従って、音声データと画像データとの関連を確定するためには記録媒体であるスチルビデオフロッピー上の全てのトラックを検索して全ての音声トラックを再生し、参照したい画像トラックを見つけ出さなければならず必然的に多大な時間を必要とするため無駄が多く現実的ではないという欠点があった。
【０００６】
▲２▼また、音声トラックからは一つの画像しか参照できないので、複数の画像である場合に一つの音声を対応させることができなかった。従って、複数の画像に対して、共通の概念を音声で注釈しようとしても一度にできないという欠点があった。
【０００７】
▲３▼更に、音声データを記録するためには多大な記録容量を必要とするので、特に単純な注釈を音声トラックにて行うことはコスト的にみて不適切であるという問題があった。
【０００８】
尚、上述した従来のデジタル電子カメラに関する問題点は、一般的な音声及び画像データを処理する装置に係わる問題点でもある。
【０００９】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的とするところは、少なくとも１つ以上の画像、音声、テキストの各ファイル間のリンクを可能とし、且つ、それらの状態をアイコン表示で確認することができ、それぞれのファイルを双方から高速に検索、再生できるように構成して、画像、音声、テキストファイル間での相互に関連性のある表現を容易に編集、記録できる音声及び画像データを処理する装置及び方法を提供することである。
【００１０】
【課題を解決するための手段】
上述の課題を解決し、目的を達成するために、本発明のデジタルカメラは、画像データと音声データとをそれぞれ別ファイルで、且つ相互に関連づけられていることを示すリンク情報とともに記録媒体に記録する記録手段と、前記記録媒体に記録されたリンク情報に基づき、音声データと関連づけられている画像データに対応する画像アイコンには前記画像アイコンより小さい第１音声アイコンを付加し、音声データと関連づけられていない画像データに対応する画像アイコンには前記第１音声アイコンを付加せずに、それぞれのアイコンを一覧表示画面上に表示し、さらにユーザにより前記第１音声アイコンが付加された画像アイコンが選択された際に、ユーザが削除対象の音声データを特定するための特定アイコンとユーザが前記特定アイコンに対応する音声データの消去実行を指示入力するための消去アイコンを表示する表示手段と、ユーザにより前記第１音声アイコンが付加された画像アイコンが選択されさらにユーザが前記特定アイコンにより音声データを特定した上で前記消去アイコンを用いることにより消去指示が入力されたことに応じて、前記消去指示された画像アイコンの画像データに関わるリンク情報を前記記憶媒体から消去するとともに、前記リンク情報が消去された画像データ及び音声データを前記記憶媒体において単独で存在させる消去手段とを具備し、前記消去手段による前記リンク情報の消去が行われた場合、前記表示手段は、前記リンク情報が消去された画像データの画像アイコンへの前記第１音声アイコンの付加を行わず、前記リンク情報が消去された音声データに対応する少なくとも前記第１音声アイコンより大きい第２音声アイコンを前記一覧表示画面上に表示する。
【００１１】
また、好ましくは、前記表示手段は、前記画像データにリンクされたテキストデータに対応するアイコンを、前記画像データの画像アイコンに付加して表示する。
【００１３】
また、本発明のデジタルカメラのデータ処理方法は、画像データと音声データとをそれぞれ別ファイルで、且つ相互に関連づけられていることを示すリンク情報とともに記録媒体に記録する記録工程と、前記記録媒体に記録されたリンク情報に基づき、音声データと関連づけられている画像データに対応する画像アイコンには前記画像アイコンより小さい第１音声アイコンを付加し、音声データと関連づけられていない画像データに対応する画像アイコンには前記第１音声アイコンを付加せずに、それぞれ一覧表示画面上に表示し、さらにユーザにより前記第１音声アイコンが付加された画像アイコンが選択された際に、ユーザが削除対象の音声データを特定するための特定アイコンとユーザが前記特定アイコンに対応する音声データの消去実行を指示入力するための消去アイコンを表示する表示工程と、ユーザにより前記第１音声アイコンが付加された画像アイコンが選択されさらにユーザが前記特定アイコンにより音声データを特定した上で前記消去アイコンを用いることにより消去指示が入力されたことに応じて、前記消去指示された画像アイコンの画像データに関わるリンク情報を前記記憶媒体から消去するとともに、前記リンク情報が消去された画像データ及び音声データを前記記憶媒体において単独で存在させる消去工程と、前記消去工程による前記リンク情報の消去が行われた場合、前記リンク情報が消去された画像データの画像アイコンへの前記第１音声アイコンの付加を行わず、前記リンク情報が消去された音声データに対応する少なくとも前記第１音声アイコンより大きい第２音声アイコンを前記一覧表示画面上に表示する表示変更工程と、を備える。
【００１４】
また、好ましくは、前記表示工程は、前記画像データににリンクされたテキストデータに対応するアイコンを、前記画像データの画像アイコンに付加して表示する。
【００１５】
また、本発明のデジタルカメラは、画像データとテキストデータとをそれぞれ別ファイルで、且つ相互に関連づけられていることを示すリンク情報とともに記録媒体に記録する記録手段と、前記記録媒体に記録されたリンク情報に基づき、テキストデータと関連づけられている画像データに対応する画像アイコンには前記画像アイコンより小さい第１テキストアイコンを付加し、テキストデータと関連づけられていない画像データに対応する画像アイコンには前記第１テキストアイコンを付加せずに、それぞれのアイコンを一覧表示画面上に表示し、さらにユーザにより前記第１テキストアイコンが付加された画像アイコンが選択された際に、ユーザが削除対象のテキストデータを特定するための特定アイコンとユーザが前記特定アイコンに対応するテキストデータの消去実行を指示入力するための消去アイコンを表示する表示手段と、ユーザにより前記第１テキストアイコンが付加された画像アイコンが選択されさらにユーザが前記特定アイコンによりテキストデータを特定した上で前記消去アイコンを用いることにより消去指示が入力されたことに応じて、前記消去指示された画像アイコンの画像データに関わるリンク情報を前記記憶媒体から消去するとともに、前記リンク情報が消去された画像データ及びテキストデータを前記記憶媒体において単独で存在させる消去手段とを具備し、前記消去手段による前記リンク情報の消去が行われた場合、前記表示手段は、前記リンク情報が消去された画像データの画像アイコンへの前記第１テキストアイコンの付加を行わず、前記リンク情報が消去されたテキストデータに対応する少なくとも前記第１テキストアイコンより大きい第２テキストアイコンを前記一覧表示画面上に表示する。
また、好ましくは、前記表示手段は、前記画像データにリンクされた音声データに対応するアイコンを、前記画像データの画像アイコンに付加して表示する。
また、本発明のデジタルカメラのデータ処理方法は、画像データとテキストデータとをそれぞれ別ファイルで、且つ相互に関連づけられていることを示すリンク情報とともに記録媒体に記録する記録工程と、前記記録媒体に記録されたリンク情報に基づき、テキストデータと関連づけられている画像データに対応する画像アイコンには前記画像アイコンより小さい第１テキストアイコンを付加し、テキストデータと関連づけられていない画像データに対応する画像アイコンには前記第１テキストアイコンを付加せずに、それぞれ一覧表示画面上に表示し、さらにユーザにより前記第１テキストアイコンが付加された画像アイコンが選択された際に、ユーザが削除対象のテキストデータを特定するための特定アイコンとユーザが前記特定アイコンに対応するテキストデータの消去実行を指示入力するための消去アイコンを表示する表示工程と、ユーザにより前記第１テキストアイコンが付加された画像アイコンが選択されさらにユーザが前記特定アイコンによりテキストデータを特定した上で前記消去アイコンを用いることにより消去指示が入力されたことに応じて、前記消去指示された画像アイコンの画像データに関わるリンク情報を前記記憶媒体から消去するとともに、前記リンク情報が消去された画像データ及びテキストデータを前記記憶媒体において単独で存在させる消去工程と、前記消去工程による前記リンク情報の消去が行われた場合、前記リンク情報が消去された画像データの画像アイコンへの前記第１テキストアイコンの付加を行わず、前記リンク情報が消去されたテキストデータに対応する少なくとも前記第１テキストアイコンより大きい第２テキストアイコンを前記一覧表示画面上に表示する表示変更工程と、を備える。
また、好ましくは、前記表示工程は、前記画像データにリンクされた音声データに対応するアイコンを、前記画像データの画像アイコンに付加して表示する。
【００１６】
【作用】
以上のように、この発明は構成されているので、少なくとも１つ以上の画像、音声、テキストの各ファイル間のリンクが可能となり、且つ、それらの状態をアイコン表示で確認することができ、それぞれのファイルを双方から高速に検索、再生できるので、画像、音声、テキストファイル間での相互に関連性のある表現を容易に編集、記録できる。
【００１７】
【実施例】
以下、本発明の好適な実施例について、添付図面を参照して詳細に説明する。図１は、本実施例のデジタル電子カメラ本体のシステム構成を示すブロック図である。
【００１８】
図１において、記録媒体１０１は、例えばＰＣＭＣＩＡ規格に準拠したメモリカ−ドやハードディスクなどである。音声入力回路２０及び音声出力部２２は、例えばオーディオジャックあるいはスピーカである。Ａ／Ｄ変換器２４は、音声信号をアナログ信号からデジタル信号に変換する装置で、Ｄ／Ａ変換器２５は、信号処理制御用ＣＰＵ１３から送られるデジタルの音声信号をアナログに変換する装置である。スイッチ２１は音声出力部２２への音声信号の送信を選択する選択回路である。メモリバスコントローラ１０２は、撮像信号処理部１９、信号処理制御用ＤＳＰ１３、画像表示用バッファメモリ１２、記録媒体Ｉ／Ｆ回路１０４の間での画像データ、音声データなどの転送を行う。
【００１９】
Ｄ／Ａ変換機２６は画像表示用バッファメモリ１２からのデジタル画像データをアナログ映像信号に変換する装置であり、映像出力部２３はアナログに変換された映像信号を映像として表示する映像表示装置である。
【００２０】
１は撮影レンズであり、２は絞り機能とシャッター機能を兼ねる絞り兼用シャッター、３はストロボ、メカ及び操作部制御用ＣＰＵ４は機械的な操作を行なう各操作部を制御し、駆動回路５はメカ系各部の駆動させる回路である。
【００２１】
撮像素子６は被写体からの反射光を電気信号に変換するＣＣＤで、タイミング信号発生回路７は撮像素子６を動作させるために必要なタイミング信号を発生する（以下、「ＴＧ」と称する）。撮像素子駆動回路８はタイミング信号発生回路７からの信号を撮像信号の駆動可能なレベルに増幅する駆動回路で、前置処理回路９は撮像素子６で発生する出力ノイズ除去のためのＣＤＳ回路及びＡ／Ｄ変換前に行う非線形増幅回路を備える。Ａ／Ｄ変換器１０は前置処理後のデータをデジタルに変換する。信号処理制御用ＣＰＵ１３は信号処理部を制御する信号処理制御用ＤＳＰ（ＤＩＧＴＡＬＳＩＧＮＡＬＰＲＯＣＥＳＳＯＲ）であり、操作表示部１４は操作補助のための表示やカメラの状態を表わす表示部で、操作部１５はカメラを外部から制御するためのキーボード等の入力装置である。記録媒体Ｉ／Ｆ１０４は本実施例に基づくデジタル電子カメラと記録媒体１０１とを接続するための記録媒体Ｉ／Ｆ用回路である。そして、本実施例のカメラの記録媒体への記録ファイルフォーマットは、例えばＭＳーＤＯＳのようなファイルフォーマットを使用することができる。
【００２２】
画像表示用バッファメモリ１２は信号処理制御用ＤＳＰ１３から画素単位でアクセスすることが可能であり、また撮影する画像を表示しながら任意の操作手段パネルを描画することができる。
【００２３】
操作部１５にトラックボールなどを実装すれば、近年におけるパ−ソナルコンピュ−タにおけるポインティングデバイスを用いたＧＵＩ（Graphical User Interface）と同様のユーザーＩ／Ｆを実現できるようになっている。つまり信号処理制御用ＤＳＰ１３が画像表示用バッファに様々なコントロールパネルを描画して、ユーザーがそのコントロールパネルに対してポインティングデバイス（この場合トラックボール）によって操作することでカメラのあらゆる操作が可能となる。また信号処理制御用ＤＳＰ１３によって、画像やテキストや様々な図形を画像表示部に描画することでユーザーに対して撮影された画像、カメラの現在の状態、記録媒体上のファイル管理情報など多種多様な情報の提示が行われる。本実施例では以下操作部１５と上記ＧＵＩによるユーザーＩ／Ｆ操作を操作部１５による操作と称することとする。またポインティングデバイスによるクリックあるいはダブルクリック操作などを起動操作と称することとする。
【００２４】
＜画像記録モード時の記録画像のモニタ＞
信号処理制御用ＤＳＰ１３がユーザーの操作部１５の記録モード移行命令を検知すると、信号処理制御用ＤＳＰ１３は以下の処理を実行し記録する画像を映像出力部２３に表示する。
【００２５】
撮影者の意図に応じてレンズ系の制御がメカ操作部制御用ＣＰＵ４及びメカ系駆動回路５により行われる。この際、撮影条件などが操作部１５に表示され、撮影者にカメラの状況を伝える。さらに不図示の測光回路により被写体の明るさを測定し、絞り兼用シャッター２の絞り度を表す値やシャッタースピードのデータをメカ操作部制御用ＣＰＵにて導出する。メカ操作部制御用ＣＰＵ４で導出された制御値に基づき、メカ系駆動回路５により絞り兼用シャッター２を駆動する。また測光回路（不図示）の出力によってはストロボ３を発光させて撮影することになる。このようにして露光されて、被写体の反射光が撮影レンズ１及び絞り兼用シャッター２を介して撮像素子６に入射される。この際、絞り兼用シャッター２は撮像素子６への入射光量を制限するとともに、撮像素子としてインターレース読み出し型ＣＣＤを用いた場合、画像の転送中に入射光が信号電荷に悪影響を与えないようにするために設けられている。撮像素子６は、ＴＧ７からの出力を撮像素子駆動回路８によって増幅させた駆動信号により動作させる。尚、ＴＧ７は信号処理制御用ＤＳＰ１３によりその動作を制御されている。以上のようにして駆動させた撮像素子６の出力は前置処理回路９に送られる。前置処理回路９では撮像素子からの出力に発生する低域ノイズを除去するＣＤＳ処理と共に、Ａ／Ｄ変換器１０のＤレンジ（デジタル化された信号データ）を有効に用いるために撮像出力を非線形化する処理を行っている。前置処理された撮像信号出力はＡ／Ｄ変換器１０においてデジタル信号に変換され、撮像信号処理部１９によって標準的なコンポーネントビデオ（例えば輝度信号と２色差信号やＲＧＢ信号）に変換されメモリコントローラ１０２に入力される。メモリコントローラ１０２では信号処理制御用ＤＳＰ１３の制御により、デジタル化された撮像信号をバッファメモリ１２に連続的に転送していく。
【００２６】
図２は、画像記録モードにおける表示形式を示す図である。画像表示部２３に出力される表示画像は例えば図２に示すように記録画像のモニタ領域部分２０２と、カメラの状態や撮影条件などユーザーが設定できるパラメータのコントロールパネル部分２０３を分割されて表示される。画像表示用バッファメモリ１２のデジタル化されたデータはＡ／Ｄ変換器２６によってアナログ映像信号に変換され映像出力部２３に出力され、映像出力部２３で表示される。ユーザーは、記録する画像を動画像としてモニタ領域部分２０２において確認できる。
【００２７】
以上の処理によって撮像素子６によって捕らえられた動画像が映像出力部２３に表示されるのである。
【００２８】
＜画像の記録＞
撮影者が操作部１５を制御することによりカメラに撮影を指示すると、信号処理制御用ＤＳＰ１３は動画表示を停止して表示用バッファメモリに保持された画像データにメモリコントローラを介してアクセスしてデジタルの圧縮処理を行った後、記録媒体Ｉ／Ｆ１０４を介して記録媒体１０１に記録する。
【００２９】
この転送期間及び記録終了後一定期間中メモリバスコントローラ１０２は画像表示用バッファメモリ１２への書き込みを停止すれば記録する画像が静止されて映像出力部２３に表示される。従ってユーザーがたった今記録した静止画像を映像出力部２３で確認できる。
【００３０】
また撮影後、より速く記録された画像の中身を確認するために、信号処理制御用ＤＳＰ１３は圧縮した画像の間引き画像を圧縮ファイルに付加することができる。例えば、元の画像の縦横８分の１程度に間引いた画像を付加してもファイル容量はそれほど増加しないのである。尚、この画像を索引画像と呼ぶ。
【００３１】
＜音声記録時の音声のモニタ及び記録＞
記録モード時には信号処理制御用ＤＳＰ１３はスイッチ回路２１で音声入力回路２０の出力を音声出力部２２の入力に接続して記録する音声をモニタすることができる。
【００３２】
信号処理制御用ＤＳＰ１３がユーザの操作部１５による音声記録命令を検知すると、信号処理制御用ＤＳＰ１３はＡ／Ｄ変換器２４でデジタルデータに変換したデータを受け取り、メモリバスコントローラ１０２を介して記録媒体Ｉ／Ｆ１０４に転送する。
【００３３】
信号処理制御用ＤＳＰ１３がユーザーの操作部１５による音声記録命令の解除を検知するか、あるいは信号処理制御用ＤＳＰ１３が一定時間経過したことで音声記録の解除とみなした時点で信号処理制御用ＤＳＰ１３は音声の記録を終了する。
【００３４】
＜画像と音声の同時記録＞
画像と音声を同時に記録する場合、前述の＜画像の記録＞で説明したように画像を圧縮して記録媒体Ｉ／Ｆ１０４に転送している間は、信号処理制御用ＤＳＰ１３はＡ／Ｄ変換器２４から受け取った音声のデータを信号処理制御用ＤＳＰ１３の内部バッファに一時的に保存しておき、画像の転送が終了した時点で音声データを記録媒体Ｉ／Ｆ１０４に転送する。ＮＴＳＣ方式の１フィールド期間１６．７ミリ秒のうち、垂直同期期間とその前後には１．４ミリ秒程度の垂直ブランキング期間といわれる映像信号が存在しない期間がある。画像データを通常のビデオレートで転送する場合、この垂直ブランキング期間を除いた時間（約１５ミリ秒）の間に撮像信号処理されていない画像データを転送する。これを実現するために約１０ＭＢｙｔｅ／ｓｅｃのスピードでデータを転送する。
【００３５】
音声データを１サンプル８ビットで２２ｋＨｚでサンプリングするとき１６．７ミリ秒分のデータ容量は約３７０Ｂｙｔｅである。このデータを残りの１．４ミリ秒で転送する場合、約２６０ＫＢｙｔｅ／ｓｅｃの転送スピードが必要である。
【００３６】
これらの転送スピードは、例えば記録媒体としてＰＣＭＣＩＡ規格などに準拠したメモリカ−ドならば十分満足できる速度である。
【００３７】
以上説明したように、１画面の走査期間のうち垂直ブランキング期間中に音声データを転送し、映像期間に画像転送を行い時分割多重することで本実施例のカメラは画像と音声を同時にモニタしながら同時に記録できる。
【００３８】
このときは音声データは画像に関連した情報とみなせるため、画像及び音声を後述する＜画像ファイルへの音声及びテキストのリンク＞の説明に基づいて、両者が相互に参照し合うようにファイル管理する。
【００３９】
また音声データを映像信号の水平ブランキング期間内に転送しても良い。例えば、４４．１ｋＨｚ、ステレオ、８ビットの条件で音声をサンプリングするとき、１回の水平ブランキング期間（１Ｈ期間）内に計６Ｂｙｔｅもしくは４Ｂｙｔｅの音声データを転送・記録する。この時、記録媒体としてＨＤＤなどの記録機構を有する媒体を用いる際には１Ｈ期間毎に音声データがインターリーブされるように記録するのが良いが、半導体メモリの場合には画像データと音声データを１Ｈ毎にインターリーブさせる必要はなく、１フィールド期間（１Ｖ期間）の画像データの前に音声データが記録されるように１Ｖ毎のインターリーブ記録をしても良い。
【００４０】
＜テキストデータの記録＞
本実施例のカメラでは５つの画像や音声を認識してテキストデータにすることで画像に対する注釈のための記録容量の拡大を大幅に削減する。
【００４１】
＜▲１▼文字認識による記録＞
信号処理制御用ＤＳＰ１３がユーザーの操作表示部１５による文字認識記録モード移行命令を探知するとカメラは＜画像記録モード時の記録モニタ＞と同じ処理を行い文字認識する画像を画像表示部に出力する。このとき画像表示部３０１に表示される画像は、図３のように認識しようとする画像３０２、文字認識された結果を表示する部分３０３、カメラの状態や撮影条件などをユーザーが設定できるパラメータのコントロールパネル３０４などを分割して表示する。
【００４２】
そしてユーザーが操作部１５によって文字認識実行を指示している間は以下の処理を繰り返す。
【００４３】
信号処理制御用ＤＳＰ１３は一旦画像表示用バッファメモリへの書き込みを停止してその画像に対して文字認識処理を行う。バッファメモリ上の画像に対する文字認識処理が終了すると信号処理制御用ＤＳＰ１３はその認識結果を図３に示す表示領域３０３に表示する。
【００４４】
ユーザーは満足な認識結果が得られたところで操作部１５によって文字認識実行の指示を終了する。この時点でユーザーは操作部１５によって認識されたテキストの確定を指示する。カメラは確定されたテキストをメモリコントローラ１０２、記録媒体Ｉ／Ｆ１０４を介して記録媒体１０１に記録する。テキストデータが確定されない場合は、再度認識画像をバッファメモリに書き込み直し上述の動作を繰り返す。
【００４５】
＜▲２▼音声認識による記録＞
信号処理制御用ＤＳＰ１３がユーザーの操作部１５による文字認識記録モード移行命令を探知するとカメラは＜音声記録時の音声のモニタ及び記録＞に説明したのと同じ処理を行い音声をモニタする。このとき画像表示部４０１の表示画像は図４のように音声認識された結果を表示する部分４０２、カメラの状態や、認識条件等ユーザーが設定できるパラメ−タのコントロールパネル４０３などを分割して表示する。さらに好適な具体例として、図１３のパネル１３０のように構成できる。
【００４６】
そしてユーザーが操作部１５によって音声認識実行を指示している間信号処理制御用ＤＳＰ１３はＡ／Ｄ変換器２４でデジタルデータに変換したデータを受け取り、音声認識処理を行い認識結果を図４の表示部４０２に表示する。
【００４７】
ユーザーは音声の認識結果が得られたところで操作部１５によって音声認識実行の指示を終了する。
【００４８】
認識結果に不満がある場合は再度操作部１５によって音声認識実行を指示する。
【００４９】
満足する認識結果が得られたらこの時点でユーザーは操作部１５によって認識されたテキストの確定を指示する。カメラは確定されたテキストをメモリコントローラ１０２、記録媒体Ｉ／Ｆ１０４を介して記録媒体に記録する。
【００５０】
以上の説明により明らかなように本実施例のデジタル電子カメラは記録媒体に画像データ、音声データ、テキストデータの３種類のファイルを保持できる。
【００５１】
＜ファイルの一覧表示＞
図５は、記録されたファイルの一覧を表示する表示形式を示す図である。３種のファイルをカメラの表示部に映像としてディレクトリ表示するときは信号処理制御用ＤＳＰ１３が記録媒体上に記録されているファイルを読み出し、ファイルデータの種類に応じて図５に示すように画像については画像ファイルを表現する索引画像５０１、音声、テキストは夫々５０２、５０４のようなアイコンとして表示する。これらの表示は記録時間順に表示したり、また画像だけ、音声だけ、テキストだけの表示を行うこともできる。またユーザーは索引画像、音声、テキストを表すアイコンをポインティングデバイスで選択したのち、消去ボタン５０９をクリックするとカメラは選択されたファイルの消去を行う。
【００５２】
索引画像５０１の下部にある音声、テキストの夫々のアイコン５１１、５１２はその画像ファイルにリンクされたテキストや音声が存在するかどうかを示すためのものである。テキスト及び音声は後述する＜画像ファイルへの音声、テキストのリンク＞に従ってリンクされる。例えば、５１１、５１２のようにアイコンをグレーレベルにすることでデータが存在することを表現する。これらのアイコンをポインティングデバイスを用いて選択して起動させ、後述する＜音声の再生＞又は＜テキストの再生＞が行われる。
【００５３】
図５において、画面の一部５１０は表示する索引画像やアイコンなどのオブジェクトが画面に入りきらないときにそれらを検索できるように上下にスクロールするためのスクロールバーである。これは近年のパ−ソナルコンピュ−タやワークステーションで用いられるウィンドウ表示のためのツールと同様に機能する。
【００５４】
＜画像の拡大及び再生＞
図７は、拡大された画像の表示形式を示す図である。図７において一つの画像について拡大再生したい場合、ユーザーは操作部のポインティングデバイスを用いて一つの索引画像を選択して拡大命令（例えばボタンのダブルクリック）を行う。信号処理制御用ＤＳＰ１３は上記操作を検知すると選択された画像ファイルから圧縮画像データを読み出し、伸長して画像表示用バッファメモリに転送し画像表示部に表示する。このときの表示は、例えば図７に示すように拡大された画像の表示部７０１と各制御用ボタン７０２〜７０４、更にリンクされた複数の音声、テキストのアイコンとして夫々７０５、７０６などが表示される。
【００５５】
ポインティングデバイスでボタン７０２を起動すると図７に表示された画像のパネルは閉じられて前述の図５の表示に戻る。
【００５６】
＜音声の再生＞
次に、図５において、音声を再生したい場合、ユーザーは操作部のポインティングデバイスを用いて音声アイコンを選択して起動する。
【００５７】
信号処理制御用ＤＳＰ１３はスイッチ回路２１を制御してＤ／Ａ変換器２５からの出力を音声出力部２２の入力に接続する。信号処理制御用ＤＳＰ１３は記録媒体Ｉ／Ｆ１０４、メモリバスコントローラ１０２を制御して音声データを読み出しＤ／Ａ変換器に記録時の標本化周期で出力し音声出力部２２から音声が出力される。
【００５８】
＜テキストの再生＞
更に、テキストを表示したい場合、ユーザは操作部のポインティングデバイスを用いてテキストアイコンを選択して起動する。図７は、テキストデータの表示形式を示す図である。
【００５９】
信号処理制御用ＤＳＰ１３は記録媒体Ｉ／Ｆ１０４、メモリバスコントローラ１０２を制御してテキストデータを読み出しキャラクタビットパターン展開して例えば図６に示すようなテキストデータを画像表示用バッファメモリに転送し画像表示部に表示する。
【００６０】
図６ではテキストの表示部６０１と制御用ボタン６０２などが表示される。ポインティングデバイスでボタン６０２を起動すると第６図のパネルは閉じられる。
【００６１】
＜画像ファイルへの音声及びテキストのリンク＞
本実施例に基づくカメラは前述の＜単独の画像の拡大及び再生＞での説明に従って一つの画像を再生したとき、画像に対して音声、あるいは音声認識によるテキストの付加を行うためのコントロールボタンを図７に示すアイコン７０３、７０４を夫々備えている。ポインティングデバイスで図７中のアイコン７０３、７０４をクリックし起動すると信号処理制御用ＤＳＰ１３は夫々＜音声記録時の音声のモニタ及び記録＞、＜▲１▼音声認識による記録＞と同様に音声、テキストの記録を行う。この操作は画像データを拡大及び再生しモニタすることによって行うことができる。図１３は、図７の画像表示パネルの上に音声認識の制御用パネル１３０を重ねて表示した様子を示す図である。例えば、図１３のように図７の画像表示パネルの上に音声認識の制御用パネル１３０を重ねて表示することができる。画像データと音声データを同時記録する時、及び上記のように画像データを再生した結果をモニタしながら音声、テキストを記録する時は画像ファイル及び音声、テキストファイル双方がお互いを参照するデータをファイル内に格納することによって相互にリンクされたファイルとなる。図８は、ファイル内の画像ファイル及び音声ファイルとテキストファイル夫々のデータ構成を示している。
【００６２】
図８において、夫々のファイルはリンクされるファイル形式ごとにリンクされたファイル数（夫々音声ファイル数をｎ、テキストファイル数をｍ、画像ファイル数をｋ）及びファイル数の応じたファイルの識別子を格納する。
【００６３】
このようにすれば音声ファイルだけでなく画像ファイルも音声、テキストファイルを参照しているので従来のように全てのファイルを検索しなくても一つの画像ファイルから関連される音声、テキストファイルを特定してそのファイルを再生あるいは表示することができる。
【００６４】
一つの画像ファイルにリンクされた音声、テキストが存在する場合、その画像を表示する場合夫々図５、図７に示すようにリンクされた音声ファイル、テキストファイルをアイコンで（例えば、画像データの下部に）表示することができる。ユーザーはこのアイコンをポインティングデバイスで選択、起動するとカメラは関連づけられた音声の再生、テキストの表示を行う。
【００６５】
テキストは図６のように表示される。この表示は単独、または図５、図７の表示の上に重ねて表示される。
【００６６】
またユーザーは図７においてアイコン７０５、７０６をポインティングデバイスで選択した後、削除ボタン７０７をクリックするとカメラは関連づけられた音声、テキストファイルの削除を行うことが可能である。この操作手段は図８に示した画像ファイル、音声、テキストファイルのお互いのリンク情報を消去する。このときリンクの削除された音声やテキストファイルは単独で存在するようにしてもよいし、消去するようにしてもよい。
【００６７】
また、単独で表示させるには、図５においてアイコン５０２、５０４のファイル一覧表示のように夫々表現される。
【００６８】
＜複数の画像ファイルのグループ化、及びグループへの音声、テキストのリンク＞
前述の＜ファイルの一覧表示＞において、ポインティングデバイスによって複数の画像を選択すると索引画像は選択されたことを強調するように例えば図９のように枠が太く表示される。更に、ポインティングデバイスで図９のグループ化ボタン９０１をクリックすると画像ファイルのグループが作成される。この時グループ化されたことを強調するために索引画像の枠の色を他の画像と異なる色にすることもできる。
【００６９】
更に、ポインティングデバイスで図９に示す音声付加ボタン９０２あるいは音声テキスト付加ボタン９０３を起動すると信号処理制御用ＤＳＰ１３は夫々＜音声記録時の音声のモニタ及び記録＞、＜▲２▼音声認識による記録＞での説明と同様に音声、テキストの記録を行う。この時点で複数の音声、テキストがグループに付加されることとなる。この操作によってグループに特有な事柄についての注釈説明を与えることができる。
【００７０】
以上説明した操作により複数の画像と音声、テキストがリンクされる。この時グループ内の夫々のファイルについてそれ以外の全てのファイルに対する参照データを付加すると、のちにこのグループを特定するためには全てのファイルを検索しなければならず管理が困難になる。
【００７１】
そこで本実施例ではグループの発生が明確になった時点でグループ情報を保持するためのグループファイルを作成する。このファイルの構成は、図１０に示すようになる。即ち、グループに属する画像、音声、テキスト夫々のファイルの個数、及び夫々のファイルの識別子が格納される。またグループに属する画像、音声、テキストファイルは夫々のファイルが属するグループへの参照ができるように図１１のように編成される。即ち、個々のファイルはグループを参照するだけでそのグループに属するファイルへの参照は行わない。
【００７２】
このようなグループのファイル構成により、グループ、画像、音声、テキスト、どのファイルからでもグループ情報すなわちグループに属するファイルを高速に同定できる。例えば一つの画像ファイルからそのグループに属する他のファイルを探索する場合、一旦所属するグループファイルを獲得してしまえばそれらのファイルの識別子を直接獲得できる。
【００７３】
以上説明した実施例から明らかなように画像ファイルは複数のグループに属することが可能である。
【００７４】
上述の手順によってグループファイルが発生されるとカメラは＜ファイルの一覧表＞において、図５のようにグループファイルを表現するアイコン５０５を表示する。ポインティングデバイスでこのアイコンをダブルクリックすると図１２のようにグループに属するファイルが表示される。図１２において、音声アイコン、テキストアイコンをポインティングデバイスでクリックして起動すれば夫々前述した通りの＜音声の再生＞、＜テキストの表示手段＞が行われ、このグループに特有な事柄についての注釈、説明として表現することができる。
【００７５】
グループに属するファイルをグループから削除するためには図１２において削除するファイルをポインティングデバイスで選択した後、ボタン１２１で削除を起動する。グループから削除された音声やテキストファイルは単独で存在するようにする。単独で存在させるようにするときは図５においてアイコン５０１、５０２、５０４のように一覧表示に現れるようになる。
【００７６】
また消去ボタン１２２を設定してこのボタンを起動することで選択されたファイルを消去してもよい。
【００７７】
グループから削除、あるいは消去される場合はもちろん、図１０、図１１に示されるグループファイル、画像、音声テキストデータファイルとの間のリンク情報は消去される。
【００７８】
またファイルを既存のグループに加えるためには図５において加えるファイル及び加える先のグループアイコンをポインティングデバイスで選択してグループ化を起動する。これらの操作においてグループ以外のファイルは複数選択することが可能である。
【００７９】
記録媒体には単独で画像ファイル、音声ファイル、テキストファイルが存在する。これらのいくつかをグループ化することも可能である。＜ファイルの一覧表＞においてポインティングデバイスによって複数のファイルを選択する。さらにポインティングデバイスで第５図のグループかボタン５０８を起動することで画像、音声、テキストが属するグループファイルを作成する。
【００８０】
（本実施例の効果）
以上説明したように、本実施例においては、単一の画像又は複数の画像と、音声、テキスト間のリンクが可能になりそのリンクされた関係を高速に再現できるので、画像、音声、テキストの相互補間的な表現を容易に編集することができる。
【００８１】
また音声あるいは画像をテキストに変換するため少ない容量で画像に注釈を付けることができる。
【００８２】
また注釈としてつけられたテキストをもとに検索を行ったり、データベースを形成するときのキーワードとすることも可能となる。さらには他のデータベースの情報と自動的にリンクするなどの処理も可能となる。
【００８３】
尚、本発明は、その趣旨を逸脱しない範囲で上記実施例を修正又は変形したものに適用可能である。例えば、複数の機器から構成されるシステムに適用しても１つの機器から成る装置に適用しても良い。また、システム或は装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【００８４】
【発明の効果】
以上説明したように、本発明によれば、少なくとも１つ以上の画像、音声、テキストの各ファイル間のリンクが可能となり、且つ、それぞれの状態をアイコン表示で確認することができ、それぞれのファイルを双方から高速に検索、再生できるので、画像、音声、テキストファイル間での相互に関連性のある表現を容易に編集、記録することができる効果がある。
【図面の簡単な説明】
【図１】本発明の実施例のデジタル電子カメラの全体構成を示すブロック図である。
【図２】画像記録モードにおける表示形式を示す図である。
【図３】文字認識モードにおける表示形式を示す図である。
【図４】音声認識モードにおける表示形式を示す図である。
【図５】記録されたファイルの一覧表示形式を示す図である。
【図６】テキストの表示形式を示す図である。
【図７】画像の表示形式を示す図である。
【図８】画像ファイルと、音声ファイル及びテキストファイルとが相互にリンクされた場合の双方のファイル内部の編成を示す図である。
【図９】一覧表示において複数のファイルが選択された場合の表示形式を示す図である。
【図１０】グループファイルの内部データ編成である。
【図１１】グループに属する画像、音声、テキスト各ファイルの内部のデータ編成を示す図である。
【図１２】グループに属するファイルの一覧表示形式を示す図である。
【図１３】画像表示形式の上に音声認識制御パネルを重ねて表示したときの表示形式を示す図である。
【符号の説明】
１撮影レンズ
６撮像素子
１０，２４Ａ／Ｄ変換器
１２バッファメモリ
１３信号処理制御用ＤＳＰ
１４操作表示部
１５操作部
１９撮像信号処理部
２０音声入力回路
２２音声出力部
２３映像出力部
２５，２６Ｄ／Ａ変換器
１０１記録媒体
１０２メモリバスコントローラ
１０４記録媒体Ｉ／Ｆ

Claims

画像データと音声データとをそれぞれ別ファイルで、且つ相互に関連づけられていることを示すリンク情報とともに記録媒体に記録する記録手段と、
前記記録媒体に記録されたリンク情報に基づき、音声データと関連づけられている画像データに対応する画像アイコンには前記画像アイコンより小さい第１音声アイコンを付加し、音声データと関連づけられていない画像データに対応する画像アイコンには前記第１音声アイコンを付加せずに、それぞれのアイコンを一覧表示画面上に表示し、さらにユーザにより前記第１音声アイコンが付加された画像アイコンが選択された際に、ユーザが削除対象の音声データを特定するための特定アイコンとユーザが前記特定アイコンに対応する音声データの消去実行を指示入力するための消去アイコンを表示する表示手段と、
ユーザにより前記第１音声アイコンが付加された画像アイコンが選択されさらにユーザが前記特定アイコンにより音声データを特定した上で前記消去アイコンを用いることにより消去指示が入力されたことに応じて、前記消去指示された画像アイコンの画像データに関わるリンク情報を前記記憶媒体から消去するとともに、前記リンク情報が消去された画像データ及び音声データを前記記憶媒体において単独で存在させる消去手段とを具備し、
前記消去手段による前記リンク情報の消去が行われた場合、前記表示手段は、前記リンク情報が消去された画像データの画像アイコンへの前記第１音声アイコンの付加を行わず、前記リンク情報が消去された音声データに対応する少なくとも前記第１音声アイコンより大きい第２音声アイコンを前記一覧表示画面上に表示することを特徴とするデジタルカメラ。
前記表示手段は、前記画像データにリンクされたテキストデータに対応するアイコンを、前記画像データの画像アイコンに付加して表示することを特徴とする請求項１に記載のデジタルカメラ。
画像データと音声データとをそれぞれ別ファイルで、且つ相互に関連づけられていることを示すリンク情報とともに記録媒体に記録する記録工程と、
前記記録媒体に記録されたリンク情報に基づき、音声データと関連づけられている画像データに対応する画像アイコンには前記画像アイコンより小さい第１音声アイコンを付加し、音声データと関連づけられていない画像データに対応する画像アイコンには前記第１音声アイコンを付加せずに、それぞれ一覧表示画面上に表示し、さらにユーザにより前記第１音声アイコンが付加された画像アイコンが選択された際に、ユーザが削除対象の音声データを特定するための特定アイコンとユーザが前記特定アイコンに対応する音声データの消去実行を指示入力するための消去アイコンを表示する表示工程と、
ユーザにより前記第１音声アイコンが付加された画像アイコンが選択されさらにユーザが前記特定アイコンにより音声データを特定した上で前記消去アイコンを用いることにより消去指示が入力されたことに応じて、前記消去指示された画像アイコンの画像データに関わるリンク情報を前記記憶媒体から消去するとともに、前記リンク情報が消去された画像データ及び音声データを前記記憶媒体において単独で存在させる消去工程と、
前記消去工程による前記リンク情報の消去が行われた場合、前記リンク情報が消去された画像データの画像アイコンへの前記第１音声アイコンの付加を行わず、前記リンク情報が消去された音声データに対応する少なくとも前記第１音声アイコンより大きい第２音声アイコンを前記一覧表示画面上に表示する表示変更工程と、を備えることを特徴とするデジタルカメラのデータ処理方法。
前記表示工程は、前記画像データにリンクされたテキストデータに対応するアイコンを、前記画像データの画像アイコンに付加して表示することを特徴とする請求項３に記載のデジタルカメラのデータ処理方法。
画像データとテキストデータとをそれぞれ別ファイルで、且つ相互に関連づけられていることを示すリンク情報とともに記録媒体に記録する記録手段と、
前記記録媒体に記録されたリンク情報に基づき、テキストデータと関連づけられている画像データに対応する画像アイコンには前記画像アイコンより小さい第１テキストアイコンを付加し、テキストデータと関連づけられていない画像データに対応する画像アイコンには前記第１テキストアイコンを付加せずに、それぞれのアイコンを一覧表示画面上に表示し、さらにユーザにより前記第１テキストアイコンが付加された画像アイコンが選択された際に、ユーザが削除対象のテキストデータを特定するための特定アイコンとユーザが前記特定アイコンに対応するテキストデータの消去実行を指示入力するための消去アイコンを表示する表示手段と、
ユーザにより前記第１テキストアイコンが付加された画像アイコンが選択されさらにユーザが前記特定アイコンによりテキストデータを特定した上で前記消去アイコンを用いることにより消去指示が入力されたことに応じて、前記消去指示された画像アイコンの画像データに関わるリンク情報を前記記憶媒体から消去するとともに、前記リンク情報が消去された画像データ及びテキストデータを前記記憶媒体において単独で存在させる消去手段とを具備し、
前記消去手段による前記リンク情報の消去が行われた場合、前記表示手段は、前記リンク情報が消去された画像データの画像アイコンへの前記第１テキストアイコンの付加を行わず、前記リンク情報が消去されたテキストデータに対応する少なくとも前記第１テキストアイコンより大きい第２テキストアイコンを前記一覧表示画面上に表示することを特徴とするデジタルカメラ。
前記表示手段は、前記画像データにリンクされた音声データに対応するアイコンを、前記画像データの画像アイコンに付加して表示することを特徴とする請求項５に記載のデジタルカメラ。
画像データとテキストデータとをそれぞれ別ファイルで、且つ相互に関連づけられていることを示すリンク情報とともに記録媒体に記録する記録工程と、
前記記録媒体に記録されたリンク情報に基づき、テキストデータと関連づけられている画像データに対応する画像アイコンには前記画像アイコンより小さい第１テキストアイコンを付加し、テキストデータと関連づけられていない画像データに対応する画像アイコンには前記第１テキストアイコンを付加せずに、それぞれ一覧表示画面上に表示し、さらにユーザにより前記第１テキストアイコンが付加された画像アイコンが選択された際に、ユーザが削除対象のテキストデータを特定するための特定アイコンとユーザが前記特定アイコンに対応するテキストデータの消去実行を指示入力するための消去アイコンを表示する表示工程と、
ユーザにより前記第１テキストアイコンが付加された画像アイコンが選択されさらにユーザが前記特定アイコンによりテキストデータを特定した上で前記消去アイコンを用いることにより消去指示が入力されたことに応じて、前記消去指示された画像アイコンの画像データに関わるリンク情報を前記記憶媒体から消去するとともに、前記リンク情報が消去された画像データ及びテキストデータを前記記憶媒体において単独で存在させる消去工程と、
前記消去工程による前記リンク情報の消去が行われた場合、前記リンク情報が消去された画像データの画像アイコンへの前記第１テキストアイコンの付加を行わず、前記リンク情報が消去されたテキストデータに対応する少なくとも前記第１テキストアイコンより大きい第２テキストアイコンを前記一覧表示画面上に表示する表示変更工程と、を備えることを特徴とするデジタルカメラのデータ処理方法。
前記表示工程は、前記画像データにリンクされた音声データに対応するアイコンを、前記画像データの画像アイコンに付加して表示することを特徴とする請求項７に記載のデジタルカメラのデータ処理方法。