JPH04111140A - マルチメディア文書ファイリング装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ｒ産業上の利用分野〕 本発明は、マルチメディア文書ファイリング装置、すな
わち、文書情報９画像情報等に加えて、音声情報、動画
像情報をも同時に記憶できる文書ファイリング装置に関
する。

〔従来の技術〕

従来の、光ディスク等を用いる文書ファイリング装置に
おいては、例えば、［日立評論：ＨＩＴＦ　Ｉ　Ｌ　Ｅ
６５０光ディスクファイルシステムＪ　：　ｖｏｌ。

６９、Ｎｏ、　６　（１９８７年）に示されている如く
、モノクロ（単色）で、しかも２値（白または黒）の文
書画像のみを扱っている。しかし、一方では、音声メモ
を文書に論理的に付加して、文ｉ１画像のみならず音声
情報、動画像情報をも、−緒に蓄積・管理して欲しいと
する潜在ニーズが強い。

しかしながら、従来の文書ファイリング装置の蓄積対象
は、上記の如く文書画像が中心である。

文書ファイリングにおいては、そのシステムの性格上、
文書の表現・記憶形式に関する標準化が極めて重要であ
る。例えば、光ディスク等の文書を記憶する媒体の時間
軸上の互換性を保証しなければ、保管・保存のために文
書を格納することはできない。これは、今日記憶したも
のは、５年後でも読み出して見ることができなければな
らないということである。

〔発明が解決しようとする課題〕

一方、現在進行中の国際標準化の枠の中では、例えば、
規格委員会５Ｃ１８専門委員会：［文書交換に関する国
際標準化動向−文書構造・表現・交換手順−」（情報処
理学会誌、ｖｏｌ、２６．Ｎｏ、　］、ｐｐ、３３−４
１゜１９８５年１月）にあるように、文書情報に付加さ
れるべき音声情報の記憶形式は、まだ、明確にされてい
ない。

従って、標準化とは独立に、独自に新しい音声情報およ
び動画像情報の記憶方式あるいはファイル管理方式を設
定したとしても、既に実用化され大量に利用されている
文書ファイリング装置や、そこでの光デイスク媒体との
記憶形式上の互換性が無ければ、ユーザとしてはそのよ
うな装置やシステムは採用できない。

このような制約の下では、音声情報や動画像情報を文書
画像に付加する機能を与えることによって、文書ファイ
リング装置の使い勝手を向上させることは困難である。

本発明は上記事情に鑑みてなされたもので、その目的と
するところは、従来の技術における上述の如き問題を解
消し、従来の文書画像表現方式や文書ファイル管理方式
との互換性を保ちつつ、音声情報や動画像情報を文書に
付加して蓄積可能とするマルチメディア文書ファイリン
グ装置を提供することにある。

〔課題を解決するための手段〕

本発明の上述の目的は、音声を入力する第１の入力手段
と、文書画像を入力する第２の入力手段と、前記第１お
よび第２の入力手段によ↓フ入力された音声および文書
画像データを一時的に記憶する手段と、該一時記憶手段
内の前記音声および文書画像データを合成して音声情報
と画像情報とが混在したデータを得る音声画像合成手段
と、該手段により得られた音声画像混在データを符号化
する手段と、該手段により得られた符号化データを記憶
する二吹記憶手段とを有することを特徴とするマルチメ
ディア文書ファイリング装置によって達成される。

［作用］ 以下、まず、本発明に係るマルチメディア文書ファイリ
ング装置の原理を説明する。

本発明の特徴は、音声データや動画像データを符号化し
た後に、このデータを画像情報の中に埋め込むことによ
り、文書画像データ格納・検索等において、音声データ
や動画像データをも、文書画像データとして同一に扱う
ことにある。この方法によれば、従来の光ディスクの記
憶形式や文書ファイル管理方式、あるいは、文書画像デ
ータの表現形式等を変更する必要かなくなる。なお、本
明細書において、「データを埋め込むＪとは、文書画像
中の余白部分にデータを上書きすることを指すものであ
る。

第２図は、本発明に係るマルチメディア文書ファイリン
グ装置において、音声情報を埋め込んだ文を画像の一例
を示す図である。図中、５０１は文書画像で、該文書画
像５０１中の領域５５０は符号化された音声データであ
り、二値データとしての画像データとみなして矩形領域
に埋め込んである。

また、領域５１０は音声マークであり、人間と装置双方
にとって、領域５５０が音声データであることが判るよ
うに付加される。第３図は、そのような条件を満たす音
声マークの一例である。横方向の長さがｍビクセル（画
素）、縦方向の長さがＤビクセルの二値（ビット）パタ
ーンであり、例えば、値“１′で周囲を囲み、中央は’
０１”のチエツクパターンとする。所定の大きさで、こ
のように決められた二値パターンが普通の文書画像の中
に現れることは、はとんど有り得ないので、これにより
、人間にとっても、装置にとってもこの領域が音声マー
クであることが明確に判ることになる。すなわち、人間
にとっては、音声マークは黒縁の灰色の領域として見え
、一方、装置は上述の如き特殊なビットパターンを探す
ことにより、音声マークの位置を自動的に同定すること
ができる。

音声データ領域５５０は、第２図に示す如く音声マーク
と所定の位置関係にあり、また、第４図に示す如きデー
タ構成にすることが出来る。すなわち、横方向Ｍビット
、縦方向Ｎビットの長さのビットパターンであり、Ｍは
１６の倍数である。同図に示すように、最初の１６ビツ
トは値Ｍを保持し、次の１６ビツトは値Ｎを保持する。

また、第３番目の１６ビツトは、以降に続く音声符号デ
ータの長さＭ　ｓ　（単位は語数：１語は２バイト）を
保持する。そして、Ｓｌ、Ｓ２．・・・・ＳＨＥは音声
データである。更に、該音声データ領域の最終の６４バ
イトは、値ゼロまたは連結される拡張音声データ領域の
位置データ（ポインタ“Ｐ”）を保持する。

上述の如き構成とすることにより、例えば、１０秒の音
声信号は約１インチ角（１インチ＝２５．４ｍｍ）の領
域に埋め込むことができる。音声信号は、ＡＤ　Ｐ　Ｃ
Ｍ方式（適応型差分パルス符号化方式）によれば毎秒１
６　ｋ　ｂ（キロビット）で符号化することが可能であ
る。従って、１０秒の音声は１６０．０００ビツト＝４
００Ｘ４００ビツトであり、これは、４００ｄｐｉで走
査入力した画像の１インチ角に相当する。

通、常、文書にはかなりの白地領域が存在する。

しかし、白地領域は、画像データの値が′０”であり、
ここに該音声データを埋め込むことが可能である。また
、上述の如く、装置は音声データ領域の所在位置を自動
的に同定できるので、音声符号を当該文書画像から分離
して純粋な音声符号データとすることができるとともに
、文書画像から音声データを取り除いたあとの文書画像
データの値を”　ｏ　”にして白地領域を復元すること
も可能である。このようにして、分離した音声符号デー
タを復号化して音声をスピーカから出力したり、文書画
像から音声データを除外して元の文書イメージのみを印
刷したりする二とができる。

第５図は、音声マーク５］０にある、文書画像ブタ丑の
音声データ、”、５０の埋め込み位置を示寸データや、
加工禁止領域を表わす属性情報の構成を示すものである
。内容は、５２１　に示すＰか音声データ埋め込みペー
ジ、５２２に示すＸか文書画像ブタ上の横方向のドツト
数、５２３に示すＹが文書画像データ上の縦方向のドツ
ト数、５２４に示す〜１が音声データ横方向のビット数
、５２５に示すへは音声データ縦方向のビット数である
。これらの各データにより、音声データの位置を割り出
すことが可能になる。また、５２６に示す属性情報ＰＰ
により加工禁止領域がわかる。

第６図は、音声データを付けたい文書画像に音声データ
を埋め込むべき領域が見出せないとき、全領域の値が０
”である新しい頁画像を、対応する文書の最終頁に追加
して、新規頁画像内に音声データを埋め込む例を示して
いる。文書画像５３の音声データは、文書画像５３５の
音声データ５４１に、文書画像５３２の音声データは、
文書画像５３５の音声データ５４２および音声データ５
４３に、文書画像５３４の音声データは、文書画像５３
５の音声ブタ５４４に、それぞれ、埋め込みを行う。こ
のときの各音声マークのＰに最終頁のページ数を書き込
み、また、埋め込み位置Ｘ、Ｙ、ＭおよびＮも書き込む
。

以上、文書画像データへの音声データの埋め込みについ
て述べたが、同様な方式により動画像データを文書画像
データに埋め込むことができる。

第６図に示した音声データを埋め込んだ領域が見出せな
いときと同様に、全領域の値が°゛Ｏ”である新しい頁
画像に対応する文書の最終頁に追加して、新規頁画像内
に動画像データを埋め込む。

第７図は、動画マーク５６０にある文書画像データ上の
動画像データの埋め込み位置を示すデータや、加工禁止
領域を表わす属性情報の構成を示すものである。内容は
、５６）　に示すＰが動画像データ埋め込み頁、５６２
に示すＸが文書画像データ上の横方向のドツト数、５６
３に示すＹが文書画像データ上の縦方向のドツト数、５
６４に示すＭが動画像データの横方向のビット数、５６
５に示すＮが動画像データの縦方向のビット数、５６６
に示すＱが動画像データのコマ数である。

動画像マークを表わす特殊なビットパターンとし、では
、音声マークに用いたパ１０１０・・・・“のパターン
と異なるパターン、例えば、第７図に示した’１００１
００・・・・”のパターンを用いる。

第８図は、動画像データおよび音声データを含む文書画
像の例を示す図である。文書画像５７１の動画像データ
は、文書画像５７２，５７３の動画像ブタ５８１〜５９
４に、文書画像５７１の音声マーク５６８に対する音声
データは１文Ｉｍ像５７３の音声データ５６９に埋め込
みを行う。このとき、動画像マークのＰは、動画像デー
タの第１番目の画像の書き込まれたページを書き込み、
また、同様に埋め込み位置Ｘ、Ｙ、ＭおよびＮも、第１
番目の画像の位置を書き込む。Ｑには、この動画像の全
コマ数を書き込む。

［実施例］ 以下、本発明の実施例を図面に基づいて詳細に説明する
。

第９図は、本発明の一実施例である音声メモ機能を有す
る文書ファイリング装置（以下、単に「装置ｊともいう
）のシステム構成を示す図である。

本装置は、図に示すごとく、装置全体の制御を司るマイ
クロプロセッサ（以下、ｒＭＰＩ、’Ｊという）１０、
画像情報を入力するためのイメージスキャナ２０、画像
情報を出力するためのレーザビームプリンタ（Ｌ　Ｂ　
Ｐ）３０．上記ＭＰＵｌ０が必要とするプログラム、デ
ータ等を記憶するとともに、−時的なデータの記憶をも
行う主メモリユニット（ＭＭＵ）４０、上記ＭＰＵｌ０
の指示の下でと画像情報処理の大部分を実行するイメー
ジプロセッサ（以下、「■ＰＵＪという〕５０．二次記
憶装置としての光デイスク装置（○ＤＵ）６０．外部と
の通信を制御する通信制御ユニット（ＣＣＵ）８０．画
像出力用のＣＲＴデイスプレィ装置１００．後述する埋
め込み情報等の入力に用いるキーボード１１Ｏ２同じく
後述する埋め込み位置の指示を行うためのマウス１１５
．音声入力のためのマイクロフォン１２０．音声出力の
ためのスピーカ１３０．音声符号化／復号化装置（ＣＯ
ＤＥＣ）７０から構成されている。

第１図に、上述の如く構成された本実施例の機能ブロッ
ク図を示す。第１図に示す各機能の概要は、以下の通り
である。

音声入力はマイクロフォン１２０を用いて行い、音声符
号化２１０は音声符号化／復号化装置７０を用いて行わ
れる。マイクロフォン１２０から音声符号化／復号化装
置を経て入力される音声符号データは、データバス１を
経由して主メモリユニット４０に音声データ４１０とし
て一時的に記憶される。

また、文書１７０の画像入力２３０は、スキャナ２０を
用いて行う。該スキャナ２０から入力される画像データ
は二値データであり、データバス１を経由して主メモリ
ユニット４０に画像データ４２０として一時的に記憶さ
れる。

上述の画像データは、画像圧縮（符号化）２５０を行っ
て、光デイスク装置６０内の光ディスク１６０に恒久的
に記憶することもできるとともに、デイスプレィ　１０
０にそのまま表示することもできる。また、」二連の光
ディスクに記憶した文書画像は、従来から知られている
方法を用いて検索し、光ディスクから読み出し、画像伸
長（復号化）２４０を行って、主メモリユニット４０内
に一時記憶することができる。更に、この−時記憶され
た文書画像は、前述の如く、デイスプレィ　１００上に
表示したり、プリンタ３０から印刷出力したり、あるい
は、通信制御ユニット８０を経由して外部のネットワー
クに転送したりすることができる。ここで、上述の文書
画像の圧縮２５０と伸長２４０および表示制御２６０は
、ＭＰＬＪＩＯの制御の下で、ＪＰＵ５０により行われ
る。

次に、上述の如き機能構成を有する本実施例の文書ファ
イリング装置の特徴部分である、音声データ４１０と画
像データ４２０の合成３１０と、合成された音声付き画
像データからの画像データ４４０と音声データ４５０お
よび音声位置データの分離３２０について説明する。

例えば、第１０図の動作フローチャートに示す如く、ユ
ーザが、スキャナ２０を用いて画像データを入力（ステ
ップ７０１）すると、ＩＰＵ５０は、ＭＰＵ１Ｏの制御
の下で、これをデイスプレィ　１００にそのまま表示す
る（ステップ７０２）。次に、ユーザが、表示された画
像を見ながら、この表示画像に関連する音声情報（すな
わち、埋め込み情報）を入力する（ステップ７０３）。

この音声情報は、前述の如く音声符号化／復号化装置７
０により音声符号化２１０される。次に、ユーザが、上
述の音声情報を表示画像の何ページに埋め込むか、以後
の加工を禁止するか否か等の属性情報、および、音声情
報を表示画像のどの位置に埋め込むかの情報等を、キー
ボード＋１０．マウス＋１５により入力（ステップ７０
４とステップ７０５）すると、ＭＰＵｌ０は、埋め込み
情報が指定通りに埋め込み可能か否かを判定して（ステ
ップ７０６）、埋め込み可能である場合には、ＩＰＵ５
０に指定通りの埋め込み実行を指示し、ＩＰＵ５０が埋
め込みを実行する（ステップ７０８）。また、指定通り
の埋め込みが可能でない場合には、ＭＰＵｌ０は、ＩＰ
Ｕ５０に新規ページの作成を指示し、ＩＰＵ５０はこれ
を実行した（ステップ７０７）後に、新規ページへの埋
め込み情報の埋め込みを実行する（ステップ７０８）。

なお、言うまでもなく、上述の情報埋め込みステップ７
０８を実行する前には、前述の音声マーク５１０への属
性情報の設定が行われ、これを含めた形で、上述の情報
埋め込みステップ７０８が実行されるものである。

上述の如き処理により作成された音声付き画像データ４
３０は、前述の如く、画像圧縮２５０を行って、光デイ
スク装置６０内の光ディスク１６０に恒久的に記憶され
る。また、音声付き画像データ４３０を、デイスプレィ
　１００に表示する場合には、光デイスク装置６０から
、従来から知られている方法を用いて検索し、ＩＰ［Ｊ
５０により、圧縮された音声付き画像データ４３０を読
み出し、画像伸長２４０を行って、音声付き画像データ
４３０を展開する。この展開された音声付き画像データ
４３０から、画像データ４４０と音声データ４５０とを
分離３２０する。

これは、光ディスクにある属性情報や埋め込み位置情報
に基づき、ＩＰＵ５０で、画像データ４４０゜音声位置
データ４６０．音声データ４５０に分離し、主メモリユ
ニット４０に記憶するものである。

上述の分離３２０とは、音声位置データに基づいて、音
声付き画像データ４３０から音声データ４５０を抽出し
、画像データ上の音声データの領域の値を”　ｏ　”に
する（画像上では白くなる）。そして音声位置データが
含まれている音声マークは、そのまま画像データに残す
。分離された画像データを画像表示制御２６０シ、デイ
スプレィ装置＋００に表示する。音声データは、デイス
プレィ装置＋００に表示された画像の音声マークを、マ
ウスで指示することにより、ＭＰＵｌ０へその指示が入
力される。

ＭＰＵｌ０は、主メモリユニット４０にある音声データ
を音声復号化２２０する音声符号化／復号化装置７０に
より、スピーカ＋３０に出力する。また、音声付き画像
データ４３０をそのまま表示することも可能である。

本実施例によれば、音声情報を文書画像に付加すること
により、文書の内容に関するメモ等を、簡単、かつ、即
座に入出力できるようになり、文書ファイリング装置の
使い勝手を格段に向上させることができる。

更に、光ディスクから読み出され、表示された画像に対
して、音声メモを付けることも可能である。以下、これ
について説明する。

まず、ユーザが、画像に音声の合成指示と埋め込み位置
データを、キーボード１１０．マウス１１５を用いて入
力する。ＭＰＵｌ０は指示に基づいて、マイクロフォン
１２０を用いて音声を入力し、音声符号化２１０は、音
声符号化／復号化装置７０を用いて行う。マイクロフォ
ン１２０から音声符号化／復号化装置７０を経て入力さ
れる音声符号データは、データバスｌを経由して主メモ
リユニット４０に音声データ４１０として一時的に記憶
される。ＭＰｔＪ１０はＩＰＵ５０に指示を与え、主メ
モリユニット４０上で、埋め込み位置データや、属性情
報等の指示データ３１３に基づき、画像データに音声デ
ータを合成し、また、同時に音声マークも埋め込むこと
により、音声付き画像データ４３０を合成３］０するこ
とができる。

なお、埋め込み位置の領域が音声データより小さい場合
には、前述の如く、全領域の値が０”である新しい頁画
像の最終頁への追加作成が、主メモリユニット４０上で
行われる。これらの埋め込み位置データは、書き込み禁
止領域として、その画像の属性情報に追加される。そし
て、音声付き画像データ４３０は、画像圧縮２５０を行
い、光デイスク装置６０内の光ディスク１６０に恒久的
に記憶することができる。

次に、動画像処理方式について、機能ブロック図（第１
１図）とシステム構成図（第９図）とを参照しながら説
明する。

動画像入力は、カメラ１４０を用いて行う。動画像デー
タは、データバス１を経由して主メモリユニット４０に
、動画像データ４２５として一時的に記憶される。

ユーザから、画像と動画像の合成指示と埋め込み位置デ
ータが、キーボード１１０．マウス１１５がら入力され
ると、ＭＰＵｌ０は、指示に基づき、合成３１０−１を
ＩＰＵ５０が主メモリユニット４０上で、埋め込み位置
データや、属性情報などの指示データ３１３に基づいて
、画像データに動画像データを合成し、同時に動画像マ
ークも埋め込むことにより、文書画像５７１のデータ、
マルチメディア画像データ４３０−１ができる。また、
埋め込み位置の領域が動画像データより小さい場合、全
領域の値が“Ｏ”である新しい頁画像を最終頁に追加作
成する処理が、主メモリユニット４０上で行われる。こ
れらの埋め込み位置データは、書き込み禁止領域として
、その画像の属性情報に追加される。上記マルチメディ
ア画像データ４３０−１は、画像圧縮２５０を行い、光
デイスク装置６０内の光ディスク＋６０に恒久的に記憶
することができる。

そして、このマルチメディア画像データをデイスプレィ
１００に表示する場合は、光デイスク装置６０から、圧
縮されたマルチメディア画像データを読み出して、ＩＰ
Ｕ５０で画像伸長２４０を行って、マルチメディア画像
データ４３０−１を展開する。この展開されたマルチメ
ディア画像データ４３０−１から、ＩＰＵ５０で、光デ
ィスク１６０にある属性情報や埋め込み位置情報に基づ
き、画像データ４４０と動画像データ４４５を分離３２
０−Ｉ　Ｌ、主メモリユニット４０に記憶する。この分
離では、動画像位置データに基づき、マルチメディア画
像データ４３０−１から動画像データ４４５を抽出する
。そして、動画像位置データが含まれている動画像マー
クは、そのまま画像データに残す。上述の如く分離され
た画像データを、画像表示制御２６０により、デイスプ
レィ装置１００に表示する。

上記実施例によれば、音声情報および動画像情報を文書
画像に付加することにより、文書の内容に関するメモ等
を、簡単、かつ、即座に入出力できるようになり、文書
ファイリング装置の使い勝手を格段に向上させることが
できる。

〔発明の効果〕

以上、詳細に説明した如く、本発明によれば、音声を入
力する第１の入力手段と、文書画像を入力する第２の入
力手段と、前記第１および第２の入力手段により入力さ
れた音声および文書画像データを一時的に記憶する手段
と、該一時記憶手段内の前記音声および文書画像データ
を合成して音声情報と画像情報とが混在したデータを得
る音声画像合成手段と、該手段により得られた音声画像
混在データを符号化する手段と、該手段により得られた
符号化データを記憶する二次記憶手段とを有する如く構
成したことにより、従来の文ｌＦ画像表現方式や文書フ
ァイル管理方式との互換性を保ちつつ、音声情報や動画
像情報を文書に付加して蓄積可能とするマルチメディア
文書ファイリング装置を実現できるという顕著な効果を
奏するものである。

【図面の簡単な説明】

第１図は本発明に係る音声処理方式の機能ブロック図、
第２図は本発明の一実施例を示す音声情報を埋め込んだ
文書画像の図、第３図は実施例の音声マークを示す図、
第４図は実施例の音声データの構成図、第５図は実施例
の音声マークに設ける音声データの埋め込み位置を示す
データの構成図、第６図は新規頁画像内に音声データを
埋め込む機能の説明図、第７図は実施例の動画マークに
ある動画像データの埋め込み位置を示すデータの構成図
、第８図は実施例の動画像データおよび音声データを含
む文書画像の構成図、第９図は実施例のマルチメディア
文書ファイリング装置のシステム構成図、第１Ｏ図は実
施例の動作を要部を示すフローチャート、第１１図は実
施例の動画像処理方式の機能ブロック図である。 １０：ＭＰＵ、２０：イメージスキャナ、４ｏ、主メモ
リユニット、５０：ＩＰＵ、６０：光ディスク、７゜音
声符号化／復号化装置、８０：通信制御ユニット、１０
０：デイスプレィ装置、１１０．キーボード、１２０、
マイクロフォン、１３０：スピーカ、２］０　　音声符
号化、２３０画像入力、２６０９画像表示制御、２２０
：音声復号化、３１０．３１０−１・合成、３２０．３
２０−１：分離、４１０：音声データ、４２０１画像デ
ータ、４３０・音声付き画像データ、４４０１画像デー
タ、４５０：音声データ、４６０・音声位置データ、５
０１：文書画像、５１０．音声マーク、５５０　　音声
データ。 第 図 Ｏ］Ｕ

Claims (1)

1. 【特許請求の範囲】 １、音声を入力する第１の入力手段と、文書画像を入力
   する第２の入力手段と、前記第１および第２の入力手段
   により入力された音声および文書画像データを一時的に
   記憶する手段と、該一時記憶手段内の前記音声および文
   書画像データを合成して音声情報と画像情報とが混在し
   たデータを得る音声画像合成手段と、該手段により得ら
   れた音声画像混在データを符号化する手段と、該手段に
   より得られた符号化データを記憶する二次記憶手段とを
   有することを特徴とするマルチメディア文書ファイリン
   グ装置。 ２、前記各手段に加えて、動画像を入力する第３の入力
   手段と、該入力手段により入力された動画像を一時的に
   記憶する手段と、該記憶手段内の前記音声、文書画像お
   よび動画像データを合成して音声情報、画像情報および
   動画像情報が混在したデータを得るマルチメディア画像
   合成手段と、該手段により得られた混在データを圧縮符
   号化する手段と、該手段により得られた符号化データを
   記憶する二次記憶手段とを有することを特徴とする請求
   項１記載のマルチメディア文書ファイリング装置。 ３、前記各手段に加えて、前記符号化された音声画像混
   在データを復号化する手段と、該手段により復号化され
   たデータから音声情報と画像情報とを分離して、オリジ
   ナルの音声データおよび文書画像データにそれぞれ対応
   するデータを得る音声情報分離手段とを有することを特
   徴とする請求項１記載のマルチメディア文書ファイリン
   グ装置。 ４、前記各手段に加えて、前記符号化された音声情報、
   画像情報および動画像情報が混在したデータを復号化す
   る手段と、該手段により復号化されたデータから音声情
   報、画像情報および動画像情報を分離して、オリジナル
   の音声データおよび文書画像データ、動画像データにそ
   れぞれ対応するデータを得る音声情報分離手段とを有す
   ることを特徴とする請求項２記載のマルチメディア文書
   ファイリング装置。 ５、前記音声画像合成手段は、文書画像データ上の音声
   データを埋め込む位置を示すデータを入力することによ
   り、該データが示す位置に音声データを埋め込むととも
   に、更に、所定のビットパターンで構成される音声マー
   クデータを、前記埋め込んだ音声データと所定の位置関
   係で文書画像データに埋め込むことを特徴とする請求項
   １または３記載のマルチメディア文書ファイリング装置
   。 ６、前記マルチメディア画像合成手段は、文書画像デー
   タ上の音声データまたは動画像データを埋め込む位置を
   示すデータを入力することにより、該データが示す位置
   に音声データまたは動画像データを埋め込むとともに、
   更に、所定のビットパターンで構成される音声マークデ
   ータまたは動画像マークデータを、前記埋め込んだ音声
   データまたは動画像データと所定の位置関係で文書画像
   データに埋め込むことを特徴とする請求項２または４記
   載のマルチメディア文書ファイリング装置。 ７、前記音声情報分離手段は、前記復号化されたデータ
   を入力し、前記音声マークデータの位置を、前記所定の
   ビットパターンを探索することにより同定し、該音声マ
   ークデータの位置を手掛かりとして音声データの位置を
   同定して、前記音声データを分離抽出することを特徴と
   する請求項３記載のマルチメディア文書ファイリング装
   置。 ８、前記音声情報分離手段は、前記復号化されたデータ
   を入力し、前記音声マークデータまたは動画像マークデ
   ータの位置を、前記所定のビットパターンを探索するこ
   とにより同定し、該音声マークデータまたは動画像マー
   クデータの位置を手掛かりとして音声データまたは動画
   像データの位置を同定して、前記音声データまたは動画
   像データを分離抽出することを特徴とする請求項４記載
   のマルチメディア文書ファイリング装置。 ９、前記音声情報分離手段は、音声マーク探索位置情報
   を外部から入力し、該探索位置情報の示す位置の近傍で
   音声マークの位置を同定し、対応する音声データを分離
   抽出することを特徴とする請求項３記載のマルチメディ
   ア文書ファイリング装置。 １０、前記音声情報分離手段は、音声マークまたは動画
   像マーク探索位置情報を外部から入力し、該探索位置情
   報の示す位置の近傍で音声マークまたは動画像マークの
   位置を同定し、対応する音声データまたは動画像データ
   を分離抽出することを特徴とする請求項４記載のマルチ
   メディア文書ファイリング装置。 １１、前記音声画像合成手段は、文書画像データに音声
   メモを付加する位置を示すデータを外部から入力し、該
   位置データが示す位置に所定のビットパターンを包含す
   る音声マークデータを埋め込み、音声データは、前記文
   書画像データ中の値“０”が２次元的に連続している矩
   形領域に埋め込むことを特徴とする請求項５記載のマル
   チメディア文書ファイリング装置。 １２、前記マルチメディア画像合成手段は、文書画像デ
   ータに音声または動画像メモを付加する位置を示すデー
   タを外部から入力し、該位置データが示す位置に所定の
   ビットパターンを包含する音声マークデータまたは動画
   像マークデータを埋め込み、音声データまたは動画像デ
   ータは、前記文書画像データ中の値“０”が２次元的に
   連続している矩形領域に埋め込むことを特徴とする請求
   項６記載のマルチメディア文書ファイリング装置。 １３、前記音声マークデータは、埋め込まれた音声デー
   タの位置情報を含むことを特徴とする請求項１１記載の
   マルチメディア文書ファイリング装置。 １４、前記音声マークデータまたは動画像マークデータ
   は、埋め込まれた音声データまたは動画像データの位置
   情報を含むことを特徴とする請求項１２記載のマルチメ
   ディア文書ファイリング装置。 １５、前記音声データを埋め込むべき領域が見出せない
   ときは、全領域の値が“０”である新しい頁画像を対応
   する文書の最終頁に追加して、該新規頁画像内に前記音
   声データを埋め込むことを特徴とする請求項１１記載の
   マルチメディア文書ファイリング装置。 １６、前記音声データまたは動画像データを埋め込むべ
   き領域が見出せないときは、全領域の値が“０”である
   新しい頁画像を対応する文書の最終頁に追加して、該新
   規頁画像内に前記音声データまたは動画像データを埋め
   込むことを特徴とする請求項１２記載のマルチメディア
   文書ファイリング装置。 １７、前記二次記憶手段内に記憶される符号化されたデ
   ータは、文書画像データ内の音声データが合成された領
   域を画像加工禁止領域として属性情報に登録することを
   特徴とする請求項１記載のマルチメディア文書ファイリ
   ング装置。 １８、前記二次記憶手段内に記憶される符号化されたデ
   ータは、文書画像データ内の音声データまたは動画像デ
   ータが合成された領域を画像加工禁止領域として属性情
   報に登録することを特徴とする請求項２記載のマルチメ
   ディア文書ファイリング装置。