JPH05249995A - マルチメディア処理装置 - Google Patents
マルチメディア処理装置Info
- Publication number
- JPH05249995A JPH05249995A JP4047385A JP4738592A JPH05249995A JP H05249995 A JPH05249995 A JP H05249995A JP 4047385 A JP4047385 A JP 4047385A JP 4738592 A JP4738592 A JP 4738592A JP H05249995 A JPH05249995 A JP H05249995A
- Authority
- JP
- Japan
- Prior art keywords
- data
- sound
- voice
- processing
- processing part
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Electrophonic Musical Instruments (AREA)
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【目的】 動画又は音声を含めたマルチメディアドキュ
メントのハードコピーを得る。 【構成】 動画データ又は音声データを含むマルチメデ
ィアを取扱うコンピュータにおいて、動画データはその
１コマの静止画データをクリッピングして静止画データ
としてハードコピーを得、音声データは人の発声音と他
の音データとに区別し、発声音データはその音声認識等
によって日本語文章データ化してそのハードコピーを
得、他の音データはパワースペクトル化等によってグラ
フ化したハードコピーを得る。
メントのハードコピーを得る。 【構成】 動画データ又は音声データを含むマルチメデ
ィアを取扱うコンピュータにおいて、動画データはその
１コマの静止画データをクリッピングして静止画データ
としてハードコピーを得、音声データは人の発声音と他
の音データとに区別し、発声音データはその音声認識等
によって日本語文章データ化してそのハードコピーを
得、他の音データはパワースペクトル化等によってグラ
フ化したハードコピーを得る。
Description
【０００１】
【産業上の利用分野】本発明は、コンピュータ上のマル
チメディア処理装置に係り、特に動画と音声の処理装置
に関する。
チメディア処理装置に係り、特に動画と音声の処理装置
に関する。
【０００２】
【従来の技術】コンピュータ上で扱うメディア（情報）
は、これまでのディジタルコードのみならず、イメージ
（画像，静止画）や音声、ビデオ（動画）など多岐にわ
たっている。これら情報はＣＲＴ表示装置や音声出力装
置を介してユーザに提供される。
は、これまでのディジタルコードのみならず、イメージ
（画像，静止画）や音声、ビデオ（動画）など多岐にわ
たっている。これら情報はＣＲＴ表示装置や音声出力装
置を介してユーザに提供される。
【０００３】動画や静止画は、ＣＲＴ表示装置上にウイ
ンドウシステムなどを通じて表示され、動画では必要に
応じて静止、巻戻し、早送りなどビデオ装置と同様の利
用を可能としている。また、音声はディジタル化して記
憶されており、スピーカで音に変換することによりユー
ザに提供される。
ンドウシステムなどを通じて表示され、動画では必要に
応じて静止、巻戻し、早送りなどビデオ装置と同様の利
用を可能としている。また、音声はディジタル化して記
憶されており、スピーカで音に変換することによりユー
ザに提供される。
【０００４】さらに、動画、静止画をハードコピーとし
て得るには、静止画ではＷＹＳＩＷＹＧ（Ｗｈａｔ Ｙ
ｏｕ Ｓｅｅ Ｉｓ Ｗｈａｔ Ｙｏｕ Ｇｅｔ）によ
ってＣＲＴ上に表示されているとおりにプリンタ出力を
得ることで実現されている。動画については、ＣＲＴ上
で任意の１コマをクリップして静止画とし、上記のＷＹ
ＳＩＷＹＧによりハードコピーを得ることができる。
て得るには、静止画ではＷＹＳＩＷＹＧ（Ｗｈａｔ Ｙ
ｏｕ Ｓｅｅ Ｉｓ Ｗｈａｔ Ｙｏｕ Ｇｅｔ）によ
ってＣＲＴ上に表示されているとおりにプリンタ出力を
得ることで実現されている。動画については、ＣＲＴ上
で任意の１コマをクリップして静止画とし、上記のＷＹ
ＳＩＷＹＧによりハードコピーを得ることができる。
【０００５】
【発明が解決しようとする課題】従来のマルチメディア
処理において、静止画はそのハードコピー出力が可能で
あるが、時系列メディアになる動画や音声のハードコピ
ー出力はできない。ただし、動画については１コマの静
止画として取扱うことでハードコピー出力が可能となる
が、音声については殆んど不可能であった。
処理において、静止画はそのハードコピー出力が可能で
あるが、時系列メディアになる動画や音声のハードコピ
ー出力はできない。ただし、動画については１コマの静
止画として取扱うことでハードコピー出力が可能となる
が、音声については殆んど不可能であった。
【０００６】即ち、音声はＡＤＰＣＭ（Ａｄａｐｔｉｖ
ｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ
Ｍｏｄｕｌａｔｉｏｎ）等によってパルス列信号とし
て記録され、その再生で連続した音として再現され、音
声データ列としてハードコピーは可能であるが、言語と
してハードコピーを得るものは無い。
ｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ
Ｍｏｄｕｌａｔｉｏｎ）等によってパルス列信号とし
て記録され、その再生で連続した音として再現され、音
声データ列としてハードコピーは可能であるが、言語と
してハードコピーを得るものは無い。
【０００７】本発明の目的は、動画又は音声も含めたマ
ルチメディアドキュメントのハードコピーを得ることが
できるマルチメディア処理装置を提供することにある。
ルチメディアドキュメントのハードコピーを得ることが
できるマルチメディア処理装置を提供することにある。
【０００８】
【課題を解決するための手段】本発明は、前記課題の解
決を図るため、動画データ又は音声データを含むマルチ
メディアを取扱うコンピュータにおいて、前記動画デー
タから１コマの静止画データをクリッピングして該静止
画データのハードコピーを得る処理手段と、前記音声デ
ータを人の発声音と他の音データとを区別する処理手段
と、前記人の発声音データの音声認識と構文処理及び日
本語コード化によって文章のハードコピーを得る処理手
段と、前記他の音データのパワースペクトル処理又は時
系列データ処理によって音のハードコピーを得る手段と
を備えたことを特徴とする。
決を図るため、動画データ又は音声データを含むマルチ
メディアを取扱うコンピュータにおいて、前記動画デー
タから１コマの静止画データをクリッピングして該静止
画データのハードコピーを得る処理手段と、前記音声デ
ータを人の発声音と他の音データとを区別する処理手段
と、前記人の発声音データの音声認識と構文処理及び日
本語コード化によって文章のハードコピーを得る処理手
段と、前記他の音データのパワースペクトル処理又は時
系列データ処理によって音のハードコピーを得る手段と
を備えたことを特徴とする。
【０００９】
【作用】動画データはその１コマのクリッピング処理に
よって静止画と同じフレームデータとして取出し、その
ハードコピーを得るようにし、音声データは人の発声音
と他の音データに区別した後に発声音については音声認
識等によって文章データとして得、他の音はスペクトル
データ等に変換し、夫々のハードコピーを得る。
よって静止画と同じフレームデータとして取出し、その
ハードコピーを得るようにし、音声データは人の発声音
と他の音データに区別した後に発声音については音声認
識等によって文章データとして得、他の音はスペクトル
データ等に変換し、夫々のハードコピーを得る。
【００１０】
【実施例】図１は本発明の一実施例を示すマルチメディ
ア処理画面図である。ＣＲＴ表示装置の画面上にはマル
チメディアドキュメント画面Ａが表示される。この画面
Ａには文字コード処理による文章Ｂ1，Ｂ2のほかに、静
止画Ｃや動画Ｄの画像表示がなされ、さらに音声ブロッ
クＥが設けられる。
ア処理画面図である。ＣＲＴ表示装置の画面上にはマル
チメディアドキュメント画面Ａが表示される。この画面
Ａには文字コード処理による文章Ｂ1，Ｂ2のほかに、静
止画Ｃや動画Ｄの画像表示がなされ、さらに音声ブロッ
クＥが設けられる。
【００１１】動画Ｄにはビデオ情報が表示されると共に
ドキュメントに必要なショットのクリッピング表示がな
される。
ドキュメントに必要なショットのクリッピング表示がな
される。
【００１２】音声ブロックＥには当該ブロックをマウス
など位置指定手段による位置指定によって予め保存され
ている音データの再生音をスピーカから得る。
など位置指定手段による位置指定によって予め保存され
ている音データの再生音をスピーカから得る。
【００１３】上述の画面表示処理に加えて、本実施例で
は動画及び音声のハードコピー処理機能を持つ。この処
理機能は図２に示す処理系構成図によって実現される。
は動画及び音声のハードコピー処理機能を持つ。この処
理機能は図２に示す処理系構成図によって実現される。
【００１４】図２おいて、対話処理部１はマルチメディ
アドキュメント画面Ａの表示処理後、対話形式によりユ
ーザとの間でハードコピー形態を決定する。この対話処
理において、文章のハードコピーは直接に割付／印刷処
理部２による処理に入り、適正に割付けた印刷処理がな
される。
アドキュメント画面Ａの表示処理後、対話形式によりユ
ーザとの間でハードコピー形態を決定する。この対話処
理において、文章のハードコピーは直接に割付／印刷処
理部２による処理に入り、適正に割付けた印刷処理がな
される。
【００１５】マルチメディアドキュメント画面Ａに動画
Ｄ又は音声ブロックＥが存在するとき、対話処理部では
その処理方法を対話形式で決定する。この対話処理は以
下の手順なる。
Ｄ又は音声ブロックＥが存在するとき、対話処理部では
その処理方法を対話形式で決定する。この対話処理は以
下の手順なる。
【００１６】
【表１】
【００１７】メディア処理の方法が動画のとき、動画処
理部３に当該動画データが転送され、１コマのクリッピ
ングがなされる。動画処理部３は、複数のフレームで構
成され、１つのフレームは１コマの静止画を記憶する。
そして、各フレームの特徴量を抽出し、現在のドキュメ
ントの内容に最もふさわしい特徴量を有するフレームを
選択し、静止画として静止画処理部４へ出力する。
理部３に当該動画データが転送され、１コマのクリッピ
ングがなされる。動画処理部３は、複数のフレームで構
成され、１つのフレームは１コマの静止画を記憶する。
そして、各フレームの特徴量を抽出し、現在のドキュメ
ントの内容に最もふさわしい特徴量を有するフレームを
選択し、静止画として静止画処理部４へ出力する。
【００１８】静止画処理部４は動画処理部３からの静止
画データ又は静止画そのもののデータをフレーム単位で
処理して割込／印刷処理部２へのデータ転送を行う。
画データ又は静止画そのもののデータをフレーム単位で
処理して割込／印刷処理部２へのデータ転送を行う。
【００１９】次に、メディア処理の方法が音声のとき、
音区別処理部５に当該音声データが転送され、当該音声
データが人の発声音になる音声か又は単音など一般的な
音かをその波形特徴から区別する。
音区別処理部５に当該音声データが転送され、当該音声
データが人の発声音になる音声か又は単音など一般的な
音かをその波形特徴から区別する。
【００２０】音区別が音声となるとき、当該音声データ
は音声認識部６に転送され、音声そのものの認識処理が
行われ、処理後のコードデータが取り出される。このコ
ードデータは、構文処理部７による構文解析がなされ、
さらに日本語コード化処理部８でひらがな漢字変換、辞
書による単語の選定、構文としての文章の成形、句読点
の付加、段落の設定、抑揚付加がなされ、割付／印刷処
理部２によって文章としてハードコピーがなされる。
は音声認識部６に転送され、音声そのものの認識処理が
行われ、処理後のコードデータが取り出される。このコ
ードデータは、構文処理部７による構文解析がなされ、
さらに日本語コード化処理部８でひらがな漢字変換、辞
書による単語の選定、構文としての文章の成形、句読点
の付加、段落の設定、抑揚付加がなされ、割付／印刷処
理部２によって文章としてハードコピーがなされる。
【００２１】一方、音区別処理部５によって音声以外の
音（楽器音等）と区別されたとき、当該音データは音処
理部９に与えられる。音処理部９は音データを （ａ）ＦＦＴ（高速フーリエ変換）等を利用したパワー
スペクトル処理 （ｂ）時間領域のデータとしてそのまま処理を行う時系
列データ処理 の２つのデータ処理に分けて実施する。
音（楽器音等）と区別されたとき、当該音データは音処
理部９に与えられる。音処理部９は音データを （ａ）ＦＦＴ（高速フーリエ変換）等を利用したパワー
スペクトル処理 （ｂ）時間領域のデータとしてそのまま処理を行う時系
列データ処理 の２つのデータ処理に分けて実施する。
【００２２】グラフ化処理１０はスペクトルデータ又は
時系列データをグラフ化処理、即ち横軸に周波数、時間
などを取り、縦軸に音量、音の強さなどを取ったグラフ
データを求める。このデータは割付／印刷処理部２によ
ってハードコピーされる。
時系列データをグラフ化処理、即ち横軸に周波数、時間
などを取り、縦軸に音量、音の強さなどを取ったグラフ
データを求める。このデータは割付／印刷処理部２によ
ってハードコピーされる。
【００２３】従って、本実施例では動画や音声データを
含むマルチメディアのハードコピーに動画像及び音声デ
ータ（音声，音）を静止画及び文章、音データとして得
ることができる。
含むマルチメディアのハードコピーに動画像及び音声デ
ータ（音声，音）を静止画及び文章、音データとして得
ることができる。
【００２４】
【発明の効果】以上のとおり、本発明によれば、動画デ
ータや音声データを含むマルチメディアを取扱うコンピ
ュータにおいて、動画データの静止画データ化によるハ
ードコピー及び音声データの音声認識等による文章化又
はスペクトル化等によるグラフ化によってハードコピー
を得るようにしたため、動画又は音声を含むマルチメデ
ィアの処理に動画又は音声のハードコピーを可能にし、
マルチメディアドキュメントの処理機能の拡大を図るこ
とができる。
ータや音声データを含むマルチメディアを取扱うコンピ
ュータにおいて、動画データの静止画データ化によるハ
ードコピー及び音声データの音声認識等による文章化又
はスペクトル化等によるグラフ化によってハードコピー
を得るようにしたため、動画又は音声を含むマルチメデ
ィアの処理に動画又は音声のハードコピーを可能にし、
マルチメディアドキュメントの処理機能の拡大を図るこ
とができる。
【図１】本発明の一実施例を示すマルチメディア処理画
面図。
面図。
【図２】実施例におけるハードコピー処理系構成図。
１…対話処理部、２…割付／印刷処理部、３…動画処理
部、４…静止画処理部、５…音区別処理部、６…音声認
識部、７…構文処理部、８…日本語コード化処理部、９
…音処理部、１０…グラフ化処理部。
部、４…静止画処理部、５…音区別処理部、６…音声認
識部、７…構文処理部、８…日本語コード化処理部、９
…音処理部、１０…グラフ化処理部。
Claims (1)
- 【請求項１】 動画データ又は音声データを含むマルチ
メディアを取扱うコンピュータにおいて、前記動画デー
タから１コマの静止画データをクリッピングして該静止
画データのハードコピーを得る処理手段と、前記音声デ
ータを人の発声音と他の音データとを区別する処理手段
と、前記人の発声音データの音声認識と構文処理及び日
本語コード化によって文章のハードコピーを得る処理手
段と、前記他の音データのパワースペクトル処理又は時
系列データ処理によって音のハードコピーを得る手段と
を備えたことを特徴とするマルチメディア処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4047385A JPH05249995A (ja) | 1992-03-05 | 1992-03-05 | マルチメディア処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4047385A JPH05249995A (ja) | 1992-03-05 | 1992-03-05 | マルチメディア処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05249995A true JPH05249995A (ja) | 1993-09-28 |
Family
ID=12773639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4047385A Pending JPH05249995A (ja) | 1992-03-05 | 1992-03-05 | マルチメディア処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05249995A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003114776A (ja) * | 2002-07-17 | 2003-04-18 | Seiko Epson Corp | ネットワーク対応型印刷装置、印刷方法および印刷システム |
-
1992
- 1992-03-05 JP JP4047385A patent/JPH05249995A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003114776A (ja) * | 2002-07-17 | 2003-04-18 | Seiko Epson Corp | ネットワーク対応型印刷装置、印刷方法および印刷システム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Steinmetz et al. | Multimedia: computing, communications and applications | |
| US5875427A (en) | Voice-generating/document making apparatus voice-generating/document making method and computer-readable medium for storing therein a program having a computer execute voice-generating/document making sequence | |
| US6687383B1 (en) | System and method for coding audio information in images | |
| Letowski | Sound quality assessment: concepts and criteria | |
| Li et al. | Vocal features: from voice identification to speech recognition by machine | |
| McLoughlin | Speech and Audio Processing: a MATLAB-based approach | |
| JP2000003126A (ja) | 音声部を使用するテキスト要約方法 | |
| Steinmetz et al. | Multimedia fundamentals, Volume 1: Media coding and content processing | |
| JP2849504B2 (ja) | 自動読書装置 | |
| JP2001318592A (ja) | 言語学習装置及びその言語分析方法 | |
| JP2001075581A (ja) | 電子漫画製造装置および電子漫画出力装置 | |
| JP3071804B2 (ja) | 音声合成装置 | |
| JPH05249995A (ja) | マルチメディア処理装置 | |
| JPS63157226A (ja) | 会話型文章読み上げ装置 | |
| TW508564B (en) | Method and system for phonetic recognition | |
| JPH07334075A (ja) | プレゼンテーション支援装置 | |
| JP3029403B2 (ja) | 文章データ音声変換システム | |
| CN112786010A (zh) | 语音合成系统、方法及非暂态计算机可读取媒体 | |
| JP2007156888A (ja) | 情報提示装置及び情報提示プログラム | |
| JP4319334B2 (ja) | 音声・画像処理装置 | |
| JPH08297561A (ja) | 複合情報処理装置 | |
| JP2000250584A (ja) | ディクテーション装置およびディクテーション方法 | |
| JPS58154900A (ja) | 文章音声変換装置 | |
| JPH11175308A (ja) | 文書読み上げ音声の声色指定方法 | |
| JPH05130575A (ja) | 映像信号入力による音声合成出力装置 |