JPH0990973A - 音声処理装置 - Google Patents
音声処理装置Info
- Publication number
- JPH0990973A JPH0990973A JP7244222A JP24422295A JPH0990973A JP H0990973 A JPH0990973 A JP H0990973A JP 7244222 A JP7244222 A JP 7244222A JP 24422295 A JP24422295 A JP 24422295A JP H0990973 A JPH0990973 A JP H0990973A
- Authority
- JP
- Japan
- Prior art keywords
- information
- voice
- audio information
- audio
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
- G11C7/16—Storage of analogue signals in digital stores using an arrangement comprising analogue/digital [A/D] converters, digital memories and digital/analogue [D/A] converters
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11C—STATIC STORES
- G11C2207/00—Indexing scheme relating to arrangements for writing information into, or reading information out from, a digital store
- G11C2207/16—Solid state audio
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S715/00—Data processing: presentation processing of document, operator interface processing, and screen saver display processing
- Y10S715/978—Audio interaction as part of an operator interface
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Complex Calculations (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
(57)【要約】
【課題】音声処理装置では、音声を再生する場合に、カ
ウンターによる表示を目安に、希望する音声の箇所を探
さねばならなかった。そして希望する音声が見つからな
い場合には、さらにテープを早送りまたは巻き戻し、カ
ウンターとカンを頼りに音声を探す必要があり、非常に
操作がしにくいものであった。 【解決するための手段】 マイクと、画像情報と音声情
報とを記録するメモリと、画像情報を表示する液晶ディ
スプレイと、音声情報を画像情報に変換する変換回路と
を設け、前記液晶ディスプレイは、前記液晶ディスプレ
イの縦および横方向を時間軸とし、どちらか一方の時間
軸の単位を他の一方の時間軸の単位より長くした。
ウンターによる表示を目安に、希望する音声の箇所を探
さねばならなかった。そして希望する音声が見つからな
い場合には、さらにテープを早送りまたは巻き戻し、カ
ウンターとカンを頼りに音声を探す必要があり、非常に
操作がしにくいものであった。 【解決するための手段】 マイクと、画像情報と音声情
報とを記録するメモリと、画像情報を表示する液晶ディ
スプレイと、音声情報を画像情報に変換する変換回路と
を設け、前記液晶ディスプレイは、前記液晶ディスプレ
イの縦および横方向を時間軸とし、どちらか一方の時間
軸の単位を他の一方の時間軸の単位より長くした。
Description
【０００１】
【産業上の利用分野】本発明は、音声処理装置に関する
ものである。
ものである。
【０００２】
【従来の技術】従来より音声を記録再生するテープレコ
ーダーや音声と画像の両方を記録再生できる音声記録電
子カメラ等が知られている。このような装置にはいわゆ
るカウンターが設けられており、時刻またはテープ走行
の経過に伴ってカウンターの表示が変化するように構成
されていた。
ーダーや音声と画像の両方を記録再生できる音声記録電
子カメラ等が知られている。このような装置にはいわゆ
るカウンターが設けられており、時刻またはテープ走行
の経過に伴ってカウンターの表示が変化するように構成
されていた。
【０００３】
【本発明が解決しようとする課題】この様な音声処理装
置では、音声を再生する場合に、カウンターによる表示
を目安に、希望する音声の箇所を探さねばならなかっ
た。そして希望する音声が見つからない場合には、さら
にテープを早送りまたは巻き戻し、カウンターとカンを
頼りに音声を探す必要があり、非常に操作がしにくいも
のであった。
置では、音声を再生する場合に、カウンターによる表示
を目安に、希望する音声の箇所を探さねばならなかっ
た。そして希望する音声が見つからない場合には、さら
にテープを早送りまたは巻き戻し、カウンターとカンを
頼りに音声を探す必要があり、非常に操作がしにくいも
のであった。
【０００４】また、パーソナルコンピュータなどで音声
情報を表示するソフトウェアは有ったが、一部のソフト
ウェアは上記の音声処理装置をソフトウェアでシュミレ
ートしただけのもので、特に操作性が改善されることは
なかった。また別のソフトウェアではオシロスコープを
ソフトウェア的にシュミレートしており、音声を波形と
して表示するものもあった。そして音声の再生を希望す
る箇所を選択手段によってモニター上で選択する事が可
能であった。
情報を表示するソフトウェアは有ったが、一部のソフト
ウェアは上記の音声処理装置をソフトウェアでシュミレ
ートしただけのもので、特に操作性が改善されることは
なかった。また別のソフトウェアではオシロスコープを
ソフトウェア的にシュミレートしており、音声を波形と
して表示するものもあった。そして音声の再生を希望す
る箇所を選択手段によってモニター上で選択する事が可
能であった。
【０００５】しかしながら例えば話し手が変わるなど、
記録の対象となる音声の種類が変化しても、同じ様な波
形が表示されており、多少の波形の違いを肉眼で認識
し、音声の発生源を推測することは不可能であった。し
たがってやはり音声を再生させ、その状況からさらに手
前または先を再生するなど試行錯誤を要し、使用勝手の
悪いものであった。
記録の対象となる音声の種類が変化しても、同じ様な波
形が表示されており、多少の波形の違いを肉眼で認識
し、音声の発生源を推測することは不可能であった。し
たがってやはり音声を再生させ、その状況からさらに手
前または先を再生するなど試行錯誤を要し、使用勝手の
悪いものであった。
【０００６】またこの種のものでは一般にモニターにグ
ラフとして音声が表され、上下方向が波形の強さを表す
音圧軸に、左右方向が時刻を表す時間軸となっていた。
このために長い時間記録された音声を一度に表示しよう
とすると、グラフの横軸を例えば１ｃｍあたり５秒から
１分に変えるなどして全体を縮小しなければならなかっ
た。このようにするとその一部に短時間発せられた音声
があった場合、この短時間の音声を表すグラフが小さく
なり認識ができなくなってしまうという問題があった。
ラフとして音声が表され、上下方向が波形の強さを表す
音圧軸に、左右方向が時刻を表す時間軸となっていた。
このために長い時間記録された音声を一度に表示しよう
とすると、グラフの横軸を例えば１ｃｍあたり５秒から
１分に変えるなどして全体を縮小しなければならなかっ
た。このようにするとその一部に短時間発せられた音声
があった場合、この短時間の音声を表すグラフが小さく
なり認識ができなくなってしまうという問題があった。
【０００７】
【課題を解決するための手段】上記目的を解決するため
に本発明における請求項１では、音声情報の入力手段
と、前記音声情報を記録する記録手段と、表示手段と、
前記音声情報を画像情報に変換する変換手段とを設け、
前記画像情報を前記表示手段に表示するとともに、前記
表示手段の縦および横方向を時間軸とし、どちらか一方
の時間軸の単位を他の一方の時間軸の単位より長くなる
ように構成した。
に本発明における請求項１では、音声情報の入力手段
と、前記音声情報を記録する記録手段と、表示手段と、
前記音声情報を画像情報に変換する変換手段とを設け、
前記画像情報を前記表示手段に表示するとともに、前記
表示手段の縦および横方向を時間軸とし、どちらか一方
の時間軸の単位を他の一方の時間軸の単位より長くなる
ように構成した。
【０００８】
【発明の実施の形態】以下、本発明を図面に示す実施の
形態に基づいて詳細に説明する。図１は本発明に係わる
電子カメラ装置の概略図である。電子カメラ装置１には
電源スイッチ１０、静止画像の再生および各種データを
表示する液晶ディスプレイ（以下ＬＣＤと記す；ＬＣＤ
の大きさは６ｃｍ＊４ｃｍ）２を備えている。ストロボ
５、ファインダー６、撮影レンズ７、レリーズ釦８は画
像の記録に関するもので、マイク３、イヤホンジャック
４、録音釦９、スピーカー１２は音声の記録および再生
に関するものである。スイッチ釦１１は使用者が様々な
設定を行うためのスイッチである。またＬＣＤ２の表面
には、ペン状の指示部材で接触すると、指示された位置
が入力可能ないわゆるタッチタブレット１３が設けられ
ている。このタッチタブレット１３は透明な樹脂で構成
されており、内側のＬＣＤ２がタッチタブレット１３を
通して観察可能となっている。
形態に基づいて詳細に説明する。図１は本発明に係わる
電子カメラ装置の概略図である。電子カメラ装置１には
電源スイッチ１０、静止画像の再生および各種データを
表示する液晶ディスプレイ（以下ＬＣＤと記す；ＬＣＤ
の大きさは６ｃｍ＊４ｃｍ）２を備えている。ストロボ
５、ファインダー６、撮影レンズ７、レリーズ釦８は画
像の記録に関するもので、マイク３、イヤホンジャック
４、録音釦９、スピーカー１２は音声の記録および再生
に関するものである。スイッチ釦１１は使用者が様々な
設定を行うためのスイッチである。またＬＣＤ２の表面
には、ペン状の指示部材で接触すると、指示された位置
が入力可能ないわゆるタッチタブレット１３が設けられ
ている。このタッチタブレット１３は透明な樹脂で構成
されており、内側のＬＣＤ２がタッチタブレット１３を
通して観察可能となっている。
【０００９】図２は回路ブロック図である。音声はマイ
ク3から入力され、Ａ／Ｄ変換回路２１でディジタルデ
ータに変換され、ディジタルシグナルプロセッサ２６
（図中にはＤＳＰと記す）に入力される。ディジタルシ
グナルプロセッサ２６ではディジタル化された音声信号
は圧縮され、ＣＰＵ２９およびインターフェース３０を
経由してメモリ３１に記録される。
ク3から入力され、Ａ／Ｄ変換回路２１でディジタルデ
ータに変換され、ディジタルシグナルプロセッサ２６
（図中にはＤＳＰと記す）に入力される。ディジタルシ
グナルプロセッサ２６ではディジタル化された音声信号
は圧縮され、ＣＰＵ２９およびインターフェース３０を
経由してメモリ３１に記録される。
【００１０】なおこの音声の圧縮は離散的コサイン変換
を行ってから、量子化し、ハフマン符号化して行われ
る。これは後述するように離散的コサイン変換の結果を
用いて周波数の分析を行うことを可能としている。なお
音声の圧縮にこのような圧縮方法を用いずにいわゆるＰ
ＣＭ録音を行い、画像情報の圧縮に離散的コサイン変換
を用いる圧縮方式（例えばＪＰＥＧ圧縮方式）を用いる
ようにして、音声情報の周波数の分析に、この離散的コ
サイン変換手段を用いてもよい。
を行ってから、量子化し、ハフマン符号化して行われ
る。これは後述するように離散的コサイン変換の結果を
用いて周波数の分析を行うことを可能としている。なお
音声の圧縮にこのような圧縮方法を用いずにいわゆるＰ
ＣＭ録音を行い、画像情報の圧縮に離散的コサイン変換
を用いる圧縮方式（例えばＪＰＥＧ圧縮方式）を用いる
ようにして、音声情報の周波数の分析に、この離散的コ
サイン変換手段を用いてもよい。
【００１１】次に画像について説明する。被写体像は撮
影レンズ７で集光された光束が撮像素子であるＣＣＤ２
３に結像する。そして光電変換された画像情報は相関２
重サンプリング回路（図中にはＣＤＳと記す）２４を経
てＡ／Ｄコンバータ２５でディジタルデータに変換され
る。そしてディジタルシグナルプロセッサ２６で圧縮さ
れ、ＣＰＵ２９、インターフェース３０を経てメモリ３
１に蓄積される。ここで圧縮は離散的コサイン変換と量
子化とハフマン符号化を組み合わせたＪＰＥＧ圧縮方式
が行われている。
影レンズ７で集光された光束が撮像素子であるＣＣＤ２
３に結像する。そして光電変換された画像情報は相関２
重サンプリング回路（図中にはＣＤＳと記す）２４を経
てＡ／Ｄコンバータ２５でディジタルデータに変換され
る。そしてディジタルシグナルプロセッサ２６で圧縮さ
れ、ＣＰＵ２９、インターフェース３０を経てメモリ３
１に蓄積される。ここで圧縮は離散的コサイン変換と量
子化とハフマン符号化を組み合わせたＪＰＥＧ圧縮方式
が行われている。
【００１２】メモリ３１に圧縮して蓄積された情報は装
置１の背面に設けられたＬＣＤ２に表示可能である。こ
れはメモリ３１の情報がインターフェース３０をへてＣ
ＰＵ２９に読み込まれ、ディジタルシグナルプロセッサ
２６で伸張され、再度ＣＰＵ２９を経由し、フレームメ
モリ２７に一旦蓄えられてからＬＣＤ２に表示される。
ここで画像情報の場合には、伸張された画像データがビ
ットマップとしてフレームメモリに蓄えられ表示され
る。さらに必要に応じてビットマップデータが間引かれ
縮小したいわゆるサムネイル画像としてフレームメモリ
２７に送られ、ＬＣＤ２で表示される。
置１の背面に設けられたＬＣＤ２に表示可能である。こ
れはメモリ３１の情報がインターフェース３０をへてＣ
ＰＵ２９に読み込まれ、ディジタルシグナルプロセッサ
２６で伸張され、再度ＣＰＵ２９を経由し、フレームメ
モリ２７に一旦蓄えられてからＬＣＤ２に表示される。
ここで画像情報の場合には、伸張された画像データがビ
ットマップとしてフレームメモリに蓄えられ表示され
る。さらに必要に応じてビットマップデータが間引かれ
縮小したいわゆるサムネイル画像としてフレームメモリ
２７に送られ、ＬＣＤ２で表示される。
【００１３】一方音声情報の再生の場合にはディジタル
シグナルプロセッサ２６で伸張された後、後述するよう
に棒グラフとして表示するべく、フレームメモリ２７に
は音声を視覚したビットマップデータが送られ、表示さ
れる。またＣＰＵ２９の内部には日付および時刻を知る
ための時計回路が内蔵されており、音声情報や画像情報
が記録されたときの日付と時刻が、音声情報や画像情報
とともに記録可能となっている。
シグナルプロセッサ２６で伸張された後、後述するよう
に棒グラフとして表示するべく、フレームメモリ２７に
は音声を視覚したビットマップデータが送られ、表示さ
れる。またＣＰＵ２９の内部には日付および時刻を知る
ための時計回路が内蔵されており、音声情報や画像情報
が記録されたときの日付と時刻が、音声情報や画像情報
とともに記録可能となっている。
【００１４】図３はＬＣＤ２の表示内容を示す図であ
る。この表示は、すでに画像撮影および録音が終了し
て、それらの情報を再生する画面である。この表示画面
では、音声情報は視覚化され棒グラフ５３ａとして表示
されている。ここで録音された音声が短かった場合のは
棒グラフは短く表示される。また、所定の音量より小さ
い無音状態と見なせる時間が所定時間あった場合又は音
声の周波数帯域（例えば、男性の声と助成の声、川のせ
せらぎなどの背景の音声と人間の肉声）が変化した場合
には、棒グラフの表示を一段さげて棒グラフ５３ｂとし
て表示する。さらに後述する方法により、音声の周波数
に対応した色で棒グラフ５３ａ、５３ｂの表示をおこな
う。
る。この表示は、すでに画像撮影および録音が終了し
て、それらの情報を再生する画面である。この表示画面
では、音声情報は視覚化され棒グラフ５３ａとして表示
されている。ここで録音された音声が短かった場合のは
棒グラフは短く表示される。また、所定の音量より小さ
い無音状態と見なせる時間が所定時間あった場合又は音
声の周波数帯域（例えば、男性の声と助成の声、川のせ
せらぎなどの背景の音声と人間の肉声）が変化した場合
には、棒グラフの表示を一段さげて棒グラフ５３ｂとし
て表示する。さらに後述する方法により、音声の周波数
に対応した色で棒グラフ５３ａ、５３ｂの表示をおこな
う。
【００１５】このことにより、使用者は棒グラフ５３
ａ、５３ｂを見て、ここで録音された会話の内容が変化
した、あるいは話し手が変わったことが分かり、後に音
声を再生させるときの目安となる。なお上記無音状態は
以後無音部と記す。そして、同一の連続した音声が長時
間（例えば２分３０秒）記録された場合には、一定時間
（例えば１分間）録音された情報が棒グラフ５３ｂ（１
分間分）として表示され、さらに改行されて棒グラフ５
３ｃ（１分間分）として表示され、さらにこの場合は棒
グラフ５３ｄ（３０秒間分）として表示される。
ａ、５３ｂを見て、ここで録音された会話の内容が変化
した、あるいは話し手が変わったことが分かり、後に音
声を再生させるときの目安となる。なお上記無音状態は
以後無音部と記す。そして、同一の連続した音声が長時
間（例えば２分３０秒）記録された場合には、一定時間
（例えば１分間）録音された情報が棒グラフ５３ｂ（１
分間分）として表示され、さらに改行されて棒グラフ５
３ｃ（１分間分）として表示され、さらにこの場合は棒
グラフ５３ｄ（３０秒間分）として表示される。
【００１６】以上のように表示の横軸は、最も長い棒グ
ラフを１分とする時間軸とし、縦軸を１行１分とする時
間軸とすることで、長い音声情報すなわち棒グラフ５３
ｂ，５３ｃ，５３ｄと短い音声情報５３ａとが同時に認
識可能である。なおこの音声情報の表示は棒グラフだけ
に限定されるものでなく、例えば「＊」印を録音時間に
応じて複数個並べても良い。また音声の周波数に対応し
て使用するマークを変えても、また棒グラフのパターン
を変えてもよい。
ラフを１分とする時間軸とし、縦軸を１行１分とする時
間軸とすることで、長い音声情報すなわち棒グラフ５３
ｂ，５３ｃ，５３ｄと短い音声情報５３ａとが同時に認
識可能である。なおこの音声情報の表示は棒グラフだけ
に限定されるものでなく、例えば「＊」印を録音時間に
応じて複数個並べても良い。また音声の周波数に対応し
て使用するマークを変えても、また棒グラフのパターン
を変えてもよい。
【００１７】棒グラフの左横には音声記録時の時刻５１
が表示してある。この音声記録時間の表示は音声記録開
始時または終了時、あるいは開始時と終了時の平均値で
あってもよい。さらに横または下に音声の録音時間を表
示しても良い。なお録音された日付が変わった場合に
は、日付情報５８が表示されるように構成されている。
このことにより、後日録音された情報を再生する場合
に、迅速に希望する再生箇所を探すことが可能となって
いる。
が表示してある。この音声記録時間の表示は音声記録開
始時または終了時、あるいは開始時と終了時の平均値で
あってもよい。さらに横または下に音声の録音時間を表
示しても良い。なお録音された日付が変わった場合に
は、日付情報５８が表示されるように構成されている。
このことにより、後日録音された情報を再生する場合
に、迅速に希望する再生箇所を探すことが可能となって
いる。
【００１８】５２ａは撮影された画像情報を小さく表示
したいわゆるサムネイル画像であり、音声と同時に記録
された場合には、音声情報の横に表示される。なお画像
情報のみが記録され、音性情報が記録されなかったとき
には５２ｃのように画像情報のみが表示される。また画
像情報を縮小して表示することがＣＰＵ２９の処理能力
上難しい場合には、例えば５２ｄ、５３ｅのように
「＊」マークで代用しても良い。
したいわゆるサムネイル画像であり、音声と同時に記録
された場合には、音声情報の横に表示される。なお画像
情報のみが記録され、音性情報が記録されなかったとき
には５２ｃのように画像情報のみが表示される。また画
像情報を縮小して表示することがＣＰＵ２９の処理能力
上難しい場合には、例えば５２ｄ、５３ｅのように
「＊」マークで代用しても良い。
【００１９】次に図４を用いて無音部の検出について説
明する。音声の波形４０は有音部４１と無音部４２およ
び無音部４３に大別することができる。ここで所定の振
幅以下の波形を無音部として定義しており、この無音部
と認識する振幅の大きさＰは使用者により選択可能とな
っている。また図中の△ｔで表されるように一般に人の
話し声の中には、子音が発生されたときなどきわめて短
い無音部がある。そこでこの様な無音部は検出しないよ
うに、ある一定時間以上の無音部のみを認識するように
構成されている。この無音部の長さは０．３秒から１秒
くらいの間で使用者によって選択可能となっている。そ
して前述のように所定の振幅より小さく、所定の時間よ
り長い無音部４２のみが認識され棒グラフが改行して表
示される。また不図示のモード設定手段により図６に示
すように無音部を５３ｅ、５３ｆのように点線または色
を変えて表示することが可能となっている。このことに
より、無音部があることおよびその無音部の長さが視覚
的に認識可能である。
明する。音声の波形４０は有音部４１と無音部４２およ
び無音部４３に大別することができる。ここで所定の振
幅以下の波形を無音部として定義しており、この無音部
と認識する振幅の大きさＰは使用者により選択可能とな
っている。また図中の△ｔで表されるように一般に人の
話し声の中には、子音が発生されたときなどきわめて短
い無音部がある。そこでこの様な無音部は検出しないよ
うに、ある一定時間以上の無音部のみを認識するように
構成されている。この無音部の長さは０．３秒から１秒
くらいの間で使用者によって選択可能となっている。そ
して前述のように所定の振幅より小さく、所定の時間よ
り長い無音部４２のみが認識され棒グラフが改行して表
示される。また不図示のモード設定手段により図６に示
すように無音部を５３ｅ、５３ｆのように点線または色
を変えて表示することが可能となっている。このことに
より、無音部があることおよびその無音部の長さが視覚
的に認識可能である。
【００２０】この他に、無音部に無音であることを表す
特殊な印、たとえば音符の休符号などを表示を行っても
よい。さらに一度無音部が発見された音声データは、無
音部に特殊なコードをいれて再度メモリに記録してもよ
い。この場合、再度音声の棒グラフを表示するときに無
音部を探す処理が簡単になり、棒グラフの表示速度が向
上するという利点がある。また無音部で棒グラフを一段
下げて表示する以外に、無音部も棒グラフとして表示す
るモードと、無音部を表示しないモードを設けてもよ
い。
特殊な印、たとえば音符の休符号などを表示を行っても
よい。さらに一度無音部が発見された音声データは、無
音部に特殊なコードをいれて再度メモリに記録してもよ
い。この場合、再度音声の棒グラフを表示するときに無
音部を探す処理が簡単になり、棒グラフの表示速度が向
上するという利点がある。また無音部で棒グラフを一段
下げて表示する以外に、無音部も棒グラフとして表示す
るモードと、無音部を表示しないモードを設けてもよ
い。
【００２１】つぎに音声の周波数の検出について説明を
行う。本装置ではディジタルシグナルプロセッサ内部に
画像情報、および音声情報を圧縮するためのハードウェ
アが組み込まれている。さて一般に圧縮は離散的コサイ
ン変換（ＤＣＴ）と量子化と２次元ハフマン符号化が行
われる。なおＤＣＴはハードウェアに限定するものでな
く、ソフトウェアで実施してもよい。
行う。本装置ではディジタルシグナルプロセッサ内部に
画像情報、および音声情報を圧縮するためのハードウェ
アが組み込まれている。さて一般に圧縮は離散的コサイ
ン変換（ＤＣＴ）と量子化と２次元ハフマン符号化が行
われる。なおＤＣＴはハードウェアに限定するものでな
く、ソフトウェアで実施してもよい。
【００２２】ここで入力されるデータｘが８個の場合Ｄ
ＣＴは数式１の変換で表される。
ＣＴは数式１の変換で表される。
【００２３】
【数１】
【００２４】ここでｘ０〜ｘ７に音声データをいれるこ
とにより、ｙ０〜ｙ７に異なった周波数に対応した値を
得ることができる。なおここではデータを８個とした
が、１６個にしてもよい。さてサンプリングデータが８
個でサンプリング周波数が１ｋＨｚとすると、１秒間に
１２５組のｙ０〜ｙ７の値が得られる。これらの値を各
ｙ０〜ｙ７ごとに平均すると音声の各音、すなわち
「あ」や「い」の発声による周波数の変動は平均化さ
れ、発声者の有する声の周波数に応じた値が得られる。
そしてこの各１秒ごのとｙの値の変化が所定値より大き
くなった場合には、発声者が変化した、または発声者が
発声をやめ、背後の雑音だけが記録されたと判断し、棒
グラフを改行する。
とにより、ｙ０〜ｙ７に異なった周波数に対応した値を
得ることができる。なおここではデータを８個とした
が、１６個にしてもよい。さてサンプリングデータが８
個でサンプリング周波数が１ｋＨｚとすると、１秒間に
１２５組のｙ０〜ｙ７の値が得られる。これらの値を各
ｙ０〜ｙ７ごとに平均すると音声の各音、すなわち
「あ」や「い」の発声による周波数の変動は平均化さ
れ、発声者の有する声の周波数に応じた値が得られる。
そしてこの各１秒ごのとｙの値の変化が所定値より大き
くなった場合には、発声者が変化した、または発声者が
発声をやめ、背後の雑音だけが記録されたと判断し、棒
グラフを改行する。
【００２５】さらに棒グラフをＲ、Ｇ、Ｂの各色の混合
で表示する場合には、ｙ０とｙ１とｙ２の値の関数とし
てＲの大きさを決め、ｙ３とｙ４とｙ５からＧの大きさ
を決め、ｙ６とｙ７の大きさからＢのレベルを決定す
る。具体的にはｙの各値が０〜２５５までの値を取るの
で、 Ｒ＝（ｙ０×６５５３６＋ｙ１×２５６＋ｙ２）÷６５
５３６ Ｇ＝（ｙ３×６５５３６＋ｙ４×２５６＋ｙ５）÷６５
５３６ Ｂ＝（ｙ６×２５６＋ｙ７）/２５６ として計算する。ここでＢだけ２個のｙより算出した
が、Ｂに限定するものではなく、ＲまたはＧにしてもよ
い。
で表示する場合には、ｙ０とｙ１とｙ２の値の関数とし
てＲの大きさを決め、ｙ３とｙ４とｙ５からＧの大きさ
を決め、ｙ６とｙ７の大きさからＢのレベルを決定す
る。具体的にはｙの各値が０〜２５５までの値を取るの
で、 Ｒ＝（ｙ０×６５５３６＋ｙ１×２５６＋ｙ２）÷６５
５３６ Ｇ＝（ｙ３×６５５３６＋ｙ４×２５６＋ｙ５）÷６５
５３６ Ｂ＝（ｙ６×２５６＋ｙ７）/２５６ として計算する。ここでＢだけ２個のｙより算出した
が、Ｂに限定するものではなく、ＲまたはＧにしてもよ
い。
【００２６】このことにより音声は圧縮において使用す
るＤＣＴを利用して周波数を分析し、改行および色分け
が可能なので、使用者の音声の検索が迅速に行えるとと
もに、新たに周波数分析のためのソフトウェアやハード
ウェアを用意しなくてもすむので、コストダウンが可能
となる。なお、周波数を平均化する所定時間は１秒に限
るものではないが、時間が長くなるほど相槌などの短い
発声があった場合に、それを検出できなくなる可能性が
ある。また短すぎると発音の中の各音にとらわれる可能
性があるので、実験的に０．３秒以上とするのが望まし
い。また例えば１秒間の間に平均化された周波数と、次
の１秒間に平均化された周波数との差が所定値以下であ
れば、同一人物の発音による誤差として、同じ色で表示
をおこなう。
るＤＣＴを利用して周波数を分析し、改行および色分け
が可能なので、使用者の音声の検索が迅速に行えるとと
もに、新たに周波数分析のためのソフトウェアやハード
ウェアを用意しなくてもすむので、コストダウンが可能
となる。なお、周波数を平均化する所定時間は１秒に限
るものではないが、時間が長くなるほど相槌などの短い
発声があった場合に、それを検出できなくなる可能性が
ある。また短すぎると発音の中の各音にとらわれる可能
性があるので、実験的に０．３秒以上とするのが望まし
い。また例えば１秒間の間に平均化された周波数と、次
の１秒間に平均化された周波数との差が所定値以下であ
れば、同一人物の発音による誤差として、同じ色で表示
をおこなう。
【００２７】上記のように色分けされた棒グラフのなか
で、特定の色の棒グラフの一つを２回、指示部材でタッ
チタブレット１３の上から触ると、該特定の色の棒グラ
フのみが表示され、他の色の棒グラフは表示画面上から
一時的に消える。このことにより特定の話者または発音
体の発声のみを選択することが可能となっている。そし
てスイッチ釦１１を押すと選択された特定の色の棒グラ
フに対応する、特定の周波数の音声のみが再生される。
このことにより、特定の話者の音声のみを再生すること
が可能となっている。
で、特定の色の棒グラフの一つを２回、指示部材でタッ
チタブレット１３の上から触ると、該特定の色の棒グラ
フのみが表示され、他の色の棒グラフは表示画面上から
一時的に消える。このことにより特定の話者または発音
体の発声のみを選択することが可能となっている。そし
てスイッチ釦１１を押すと選択された特定の色の棒グラ
フに対応する、特定の周波数の音声のみが再生される。
このことにより、特定の話者の音声のみを再生すること
が可能となっている。
【００２８】さらに周波数が周期的に多様にわたって変
化する場合には、音楽が録音された可能性が高いので、
棒グラフの左端に音符のマークなどを表示するととも
に、他とは異なる色で棒グラフを表示することも可能で
ある。次に音声および画像情報の再生方法について述べ
る。不図示のペン状の指示部材で図３の表示の上から棒
グラフ５３ａ上のみを接触し、スイッチ釦１１を押すと
棒グラフ５３ａに相当する音声のみが再生される。
化する場合には、音楽が録音された可能性が高いので、
棒グラフの左端に音符のマークなどを表示するととも
に、他とは異なる色で棒グラフを表示することも可能で
ある。次に音声および画像情報の再生方法について述べ
る。不図示のペン状の指示部材で図３の表示の上から棒
グラフ５３ａ上のみを接触し、スイッチ釦１１を押すと
棒グラフ５３ａに相当する音声のみが再生される。
【００２９】また指示部材で棒グラフ５３ａと５３ｂの
上を連続的に接触し、スイッチ釦１１を押すと同様に５
３ａと５３ｂに相当する音声が再生される。またスイッ
チ５６を押すと表示は下にスクロールし、スイッチ５７
を押すと表示は最後までスクロールする。同様にスイッ
チ５４、５５を押すと表示は上方向および始めまでスク
ロールする。このことにより任意の範囲の棒グラフを選
択することが可能となっている。
上を連続的に接触し、スイッチ釦１１を押すと同様に５
３ａと５３ｂに相当する音声が再生される。またスイッ
チ５６を押すと表示は下にスクロールし、スイッチ５７
を押すと表示は最後までスクロールする。同様にスイッ
チ５４、５５を押すと表示は上方向および始めまでスク
ロールする。このことにより任意の範囲の棒グラフを選
択することが可能となっている。
【００３０】一方画像サムネイル５２ａを指示部材で選
択し、スイッチ釦１１を押すと、画像が拡大され、ＬＣ
Ｄ２に大きく表示される。ここでスイッチ５５を押すと
一つ前の画像が、スイッチ５６を押すと一つ後に撮影さ
れた画像が再生され、スイッチ５４が押されたときには
最初に撮影された画像が、スイッチ５７が押されたとき
には最後に撮影された画像が表示される。
択し、スイッチ釦１１を押すと、画像が拡大され、ＬＣ
Ｄ２に大きく表示される。ここでスイッチ５５を押すと
一つ前の画像が、スイッチ５６を押すと一つ後に撮影さ
れた画像が再生され、スイッチ５４が押されたときには
最初に撮影された画像が、スイッチ５７が押されたとき
には最後に撮影された画像が表示される。
【００３１】また画像サムネイル５２ａ、５２ｂ，５２
ｃ、５２ｄが連続的に選択されたときには、ＬＣＤ２に
は４つの画像が一度に表示できる大きさに拡大されて表
示される。そして先ほどと同様にスイッチ５４〜５７の
操作に応じてスクロールする。そして４つに分割された
画像の一つを指示部材で接触すると、その画像が拡大さ
れて表示される。
ｃ、５２ｄが連続的に選択されたときには、ＬＣＤ２に
は４つの画像が一度に表示できる大きさに拡大されて表
示される。そして先ほどと同様にスイッチ５４〜５７の
操作に応じてスクロールする。そして４つに分割された
画像の一つを指示部材で接触すると、その画像が拡大さ
れて表示される。
【００３２】つぎに指示部材が斜めに移動し、その横方
向の移動範囲が画像と音声を含む範囲を移動した場合、
指示部材の縦方向の移動範囲に含まれる画像と音声が表
示、再生される。このとき音声の時間経過に伴って画像
も逐次表示される。すなわちサムネイル５２ａに対応す
る画像は音声の棒グラフ５３ａで表される音声が再生さ
れる時間だけ表示される。次にサムネイル５２ｂに対応
する画像は音声の棒グラフ５３ｂ，５３ｃ，５３ｄで表
される音声が再生される時間だけ表示される。またサム
ネイル５２ｃのように対応する音声が無いものは、所定
時間、すなわち３秒程度再生されるように構成されてい
る。
向の移動範囲が画像と音声を含む範囲を移動した場合、
指示部材の縦方向の移動範囲に含まれる画像と音声が表
示、再生される。このとき音声の時間経過に伴って画像
も逐次表示される。すなわちサムネイル５２ａに対応す
る画像は音声の棒グラフ５３ａで表される音声が再生さ
れる時間だけ表示される。次にサムネイル５２ｂに対応
する画像は音声の棒グラフ５３ｂ，５３ｃ，５３ｄで表
される音声が再生される時間だけ表示される。またサム
ネイル５２ｃのように対応する音声が無いものは、所定
時間、すなわち３秒程度再生されるように構成されてい
る。
【００３３】図５は本発明をパーソナルコンピュータで
実施した場合の実施例である。図５においてパーソナル
コンピュータ１０１にはＣＣＤカメラ１０２がコードで
接続されており、またマイクロフォン１０３が接続され
ている。またＣＣＤカメラ１０２およびマイクロフォン
１０３の代わりにカメラ機能およびマイクを備えた図１
に示した装置１をパーソナルコンピュータ１０１に接続
してもよいし、また装置１でメモリ３１に記録された情
報をコードまたは記録媒体を介してパーソナルコンピュ
ータ１０１に伝達しても良い。
実施した場合の実施例である。図５においてパーソナル
コンピュータ１０１にはＣＣＤカメラ１０２がコードで
接続されており、またマイクロフォン１０３が接続され
ている。またＣＣＤカメラ１０２およびマイクロフォン
１０３の代わりにカメラ機能およびマイクを備えた図１
に示した装置１をパーソナルコンピュータ１０１に接続
してもよいし、また装置１でメモリ３１に記録された情
報をコードまたは記録媒体を介してパーソナルコンピュ
ータ１０１に伝達しても良い。
【００３４】パーソナルコンピュータの画面１０１ａに
は図３と同様の画面が表示され、マウスなどの指示部材
を使用して前述と同様の操作が可能となっている。ただ
しスイッチ釦１１に相当するものはパーソナルコンピュ
ータのキーボードから操作可能なので省略されている。
また棒グラフ１５３の上にはワープロ機能を利用して、
再生させた音声を使用者が聞き取り、文字情報１５４と
して入力可能となっている。
は図３と同様の画面が表示され、マウスなどの指示部材
を使用して前述と同様の操作が可能となっている。ただ
しスイッチ釦１１に相当するものはパーソナルコンピュ
ータのキーボードから操作可能なので省略されている。
また棒グラフ１５３の上にはワープロ機能を利用して、
再生させた音声を使用者が聞き取り、文字情報１５４と
して入力可能となっている。
【００３５】そして複数の画像サムネイル１５２と複数
の文字情報１５４とを一度にワープロソフトなど他のア
プリケーションソフトにコピー可能となっている。 ま
た棒グラフを再生し、その中に「ｙｅｓｔｅｒｄａｙ」
という発音があった場合には、その範囲の棒グラフを範
囲指定し、不図示の検索ボタンを押すことにより、録音
されている全音声情報の中から「ｙｅｓｔｅｒｄａｙ」
という発音を検索することが可能となっている。そして
その棒グラフの上に”ｙｅｓｔｅｒｄａｙ”という文字
情報が使用者によって記入されていた場合には、検索に
よって発見された「ｙｅｓｔｅｒｄａｙ」という発音の
上に”ｙｅｓｔｅｒｄａｙ”の文字を自動的に配置する
事が可能となっている。
の文字情報１５４とを一度にワープロソフトなど他のア
プリケーションソフトにコピー可能となっている。 ま
た棒グラフを再生し、その中に「ｙｅｓｔｅｒｄａｙ」
という発音があった場合には、その範囲の棒グラフを範
囲指定し、不図示の検索ボタンを押すことにより、録音
されている全音声情報の中から「ｙｅｓｔｅｒｄａｙ」
という発音を検索することが可能となっている。そして
その棒グラフの上に”ｙｅｓｔｅｒｄａｙ”という文字
情報が使用者によって記入されていた場合には、検索に
よって発見された「ｙｅｓｔｅｒｄａｙ」という発音の
上に”ｙｅｓｔｅｒｄａｙ”の文字を自動的に配置する
事が可能となっている。
【００３６】この音声の検索は図４に示すように、使用
者の希望する音声波形４６と前後の音声波形の類似した
ものを探し、音声波形４８のように多少振幅が異なって
も、信号の波形に近似したものを探し出すようになって
いる。この相関を求めるに当たっては、 １ 音声波形４６を周波数分析し、その分析された音声
スペクトルと、その他の範囲を周波数分析した音声スペ
クトルとが９０％以上近似していればよしとする方法。 ２ 音声波形４６と音声波形４７、音声波形４８との相
関関数を計算し、相関の高いものを表示する方法。
者の希望する音声波形４６と前後の音声波形の類似した
ものを探し、音声波形４８のように多少振幅が異なって
も、信号の波形に近似したものを探し出すようになって
いる。この相関を求めるに当たっては、 １ 音声波形４６を周波数分析し、その分析された音声
スペクトルと、その他の範囲を周波数分析した音声スペ
クトルとが９０％以上近似していればよしとする方法。 ２ 音声波形４６と音声波形４７、音声波形４８との相
関関数を計算し、相関の高いものを表示する方法。
【００３７】などがある。これらの方法により、例えば
早口に「ｙｅｓｔｅｒｄａｙ」と発音された等は検索で
きない可能性があるが、あくまで使用者が音声を再生す
るときの目安となればよいので、問題はない。
早口に「ｙｅｓｔｅｒｄａｙ」と発音された等は検索で
きない可能性があるが、あくまで使用者が音声を再生す
るときの目安となればよいので、問題はない。
【００３８】
【発明の効果】このことにより請求項１では、記録時間
の経過とともに、たとえば左から右へ横方向に音声情報
が画像情報に変換されて表示され、所定の時間がたつと
一段下の位置に先ほどの画像情報と同じ様に表示位置が
移動し、表示される。このことにより、時間軸が横軸の
みであった従来例対して、モニターの面積を有効に使用
することが可能となった。この結果、長い時間録音され
た情報と短い時間録音された情報を同時に表示しても、
全体を縮小することなく観察することが可能となった。
の経過とともに、たとえば左から右へ横方向に音声情報
が画像情報に変換されて表示され、所定の時間がたつと
一段下の位置に先ほどの画像情報と同じ様に表示位置が
移動し、表示される。このことにより、時間軸が横軸の
みであった従来例対して、モニターの面積を有効に使用
することが可能となった。この結果、長い時間録音され
た情報と短い時間録音された情報を同時に表示しても、
全体を縮小することなく観察することが可能となった。
【００３９】また、請求項２による発明では、前記周波
数検出手段によって検出された無音部より以前に記録さ
れた前記音声情報より作られた第１の画像情報と、無音
部より以後に記録された前記音声情報より作られた画像
情報とを分離して、前記表示手段に表示するように構成
した。このことにより、人間の会話を記録した場合に
は、話し手が変わったり、また話し手の会話の内容が変
わったところの無音部で表示位置が変化するので、表示
手段をみながら録音内容を想像することが可能となり、
迅速に希望する再生箇所を探すことが可能となった。
数検出手段によって検出された無音部より以前に記録さ
れた前記音声情報より作られた第１の画像情報と、無音
部より以後に記録された前記音声情報より作られた画像
情報とを分離して、前記表示手段に表示するように構成
した。このことにより、人間の会話を記録した場合に
は、話し手が変わったり、また話し手の会話の内容が変
わったところの無音部で表示位置が変化するので、表示
手段をみながら録音内容を想像することが可能となり、
迅速に希望する再生箇所を探すことが可能となった。
【００４０】請求項３による発明では、前記無音部と非
前記無音部で前記画像情報が異なることにより、使用者
が音声のあるところを視覚的に認識可能とした他、音声
の無いところの箇所と長さも視覚的に認識可能としたの
で、迅速に希望する再生箇所を探すことが可能となっ
た。請求項４による発明では、周波数が変化した場合に
周波数に対応して画像情報の色や形を変えることによ
り、話し手の会話が録音されてる箇所と、話し手が話さ
ずに雑音が録音されている箇所の識別が視覚的に可能と
なった。さらに話し手が代わり、話し手の声の周波数が
変わったことが認識可能となり、迅速に希望する再生箇
所を探すことが可能となった。
前記無音部で前記画像情報が異なることにより、使用者
が音声のあるところを視覚的に認識可能とした他、音声
の無いところの箇所と長さも視覚的に認識可能としたの
で、迅速に希望する再生箇所を探すことが可能となっ
た。請求項４による発明では、周波数が変化した場合に
周波数に対応して画像情報の色や形を変えることによ
り、話し手の会話が録音されてる箇所と、話し手が話さ
ずに雑音が録音されている箇所の識別が視覚的に可能と
なった。さらに話し手が代わり、話し手の声の周波数が
変わったことが認識可能となり、迅速に希望する再生箇
所を探すことが可能となった。
【００４１】請求項５による発明では、周波数が変化し
た場合に表示位置を変えることにより、話し手の会話の
変化や、話し手の変化が視覚的に認識可能となり、迅速
に希望する再生箇所を探すことが可能となった。請求項
６による発明では、周波数が変化した場合に表示位置を
変え、また周波数に対応して音声を表す画像情報の色や
形を変えることにより、さらに話し手の会話の変化や、
話し手の変化が視覚的に認識可能となり、迅速に希望す
る再生箇所を探すことが可能となった。
た場合に表示位置を変えることにより、話し手の会話の
変化や、話し手の変化が視覚的に認識可能となり、迅速
に希望する再生箇所を探すことが可能となった。請求項
６による発明では、周波数が変化した場合に表示位置を
変え、また周波数に対応して音声を表す画像情報の色や
形を変えることにより、さらに話し手の会話の変化や、
話し手の変化が視覚的に認識可能となり、迅速に希望す
る再生箇所を探すことが可能となった。
【００４２】請求項７による発明では、無音部および周
波数の変化を検出した場合には、表示位置を変えること
により、話し手の会話の変化や、話し手の変化が視覚的
に認識可能となり、迅速に希望する再生箇所を探すこと
が可能となった。請求項８による発明では、複数の音声
情報の中から、所定の周波数成分を含む音声情報を出力
する出力手段を有するように構成したことにより、たと
えば特定の話し手が発声している間の音声を再生するこ
とが可能となった。
波数の変化を検出した場合には、表示位置を変えること
により、話し手の会話の変化や、話し手の変化が視覚的
に認識可能となり、迅速に希望する再生箇所を探すこと
が可能となった。請求項８による発明では、複数の音声
情報の中から、所定の周波数成分を含む音声情報を出力
する出力手段を有するように構成したことにより、たと
えば特定の話し手が発声している間の音声を再生するこ
とが可能となった。
【００４３】請求項９による発明では、複数の音声情報
の中から、所定の周波数成分を含む音声情報を出力する
出力手段を有するように構成したことにより、たとえば
特定の話し手より発せられた音声だけを表示手段に表示
する事が可能となった。請求項１０による発明では、選
択手段を設け、前記表示手段に表示された画像情報を選
択することにより、音声情報を選択可能に構成した。
の中から、所定の周波数成分を含む音声情報を出力する
出力手段を有するように構成したことにより、たとえば
特定の話し手より発せられた音声だけを表示手段に表示
する事が可能となった。請求項１０による発明では、選
択手段を設け、前記表示手段に表示された画像情報を選
択することにより、音声情報を選択可能に構成した。
【００４４】このことにより必要な記録情報を迅速に識
別し、選択することが可能となった。請求項１１による
発明では、周波数成分を検出するための所定時間を少な
くとも０．３秒以上となるように構成した。このことに
より最低でも音声として人間が認識できる音の長さと周
波数を検出することにより、複数の人の声や、人の声と
雑音などを識別可能とした。
別し、選択することが可能となった。請求項１１による
発明では、周波数成分を検出するための所定時間を少な
くとも０．３秒以上となるように構成した。このことに
より最低でも音声として人間が認識できる音の長さと周
波数を検出することにより、複数の人の声や、人の声と
雑音などを識別可能とした。
【００４５】請求項１２による発明では、データの圧縮
で使用する離散的コサイン変換を使用して、音声情報の
圧縮を行い、且つ周波数の検出まで行うことにより、新
たに周波数分析を行う必要がなくなり、処理の効率が向
上した。請求項１３による発明では、画像の圧縮で使用
する離散的コサイン変換を利用して音声の周波数成分を
検出することにより、音声の周波数を検出するために新
たなソフトウェアやハードウェアを追加しなくてもよ
い。
で使用する離散的コサイン変換を使用して、音声情報の
圧縮を行い、且つ周波数の検出まで行うことにより、新
たに周波数分析を行う必要がなくなり、処理の効率が向
上した。請求項１３による発明では、画像の圧縮で使用
する離散的コサイン変換を利用して音声の周波数成分を
検出することにより、音声の周波数を検出するために新
たなソフトウェアやハードウェアを追加しなくてもよ
い。
【００４６】請求項１４による発明では、時刻を併せて
表示することにより、さらに迅速に目的とする音声情報
の検索が可能となった。請求項１５による発明では、画
像情報に対応した音声情報を再生するのに必要な時間だ
け、前記画像情報を表示するので、自然な音声と映像の
再生が可能となった。
表示することにより、さらに迅速に目的とする音声情報
の検索が可能となった。請求項１５による発明では、画
像情報に対応した音声情報を再生するのに必要な時間だ
け、前記画像情報を表示するので、自然な音声と映像の
再生が可能となった。
【図１】本発明に係わる音声処理装置の概略図である。
【図２】本発明に係わる音声処理装置の回路ブロック図
である。
である。
【図３】本発明の音声処理装置の表示部の概略図であ
る。
る。
【図４】音声生波形と生波形をボーグラフにした図であ
る。
る。
【図５】パーソナルコンピュータの表示をあらわした図
である。
である。
【図６】本発明の音声処理装置の表示部において、無音
部を５３ｅ、５３ｆのように点線または色を変えた表示
をあらわした図である。
部を５３ｅ、５３ｆのように点線または色を変えた表示
をあらわした図である。
１…音声処理装置本体 ２…ＬＣＤ ３…マイク ４…イヤホン端子 ５…ストロボ ６…ファインダー ７…撮影レンズ ８…レリーズ釦 ９…録音釦 １０…電源スイッチ １１…スイッチ釦 １２…スピーカー ４０…音声波形
Claims (15)
- 【請求項１】 音声情報の入力手段と、前記音声情報を
記録する記録手段と、前記画像情報を表示する表示手段
と、前記音声情報を画像情報に変換する変換手段とを設
け、 前記表示手段は、前記表示手段の縦および横方向を時間
軸とし、どちらか一方の時間軸の単位を他の一方の時間
軸の単位より長くしたことを特長とする音声処理装置。 - 【請求項２】 音声情報の入力手段と、前記音声情報を
記録する記録手段と、前記音声情報を画像情報に変換す
る変換手段と、前記画像情報を表示する表示手段と、所
定時間以上、所定レベル以上の音声が無い無音部を検出
する周波数検出手段を設け、 前記周波数検出手段によって検出された無音部より以前
に記録された前記音声情報より作られた第１の画像情報
と、無音部より以後に記録された前記音声情報より作ら
れた画像情報とを分離して、前記表示手段に表示するこ
とを特長とする音声処理装置。 - 【請求項３】 音声情報の入力手段と、前記音声情報を
記録する記録手段と、前記音声情報を画像情報に変換す
る変換手段と、前記画像情報を表示する表示手段と、所
定時間以上、所定レベル以上の音声が無い無音部を検出
する無音部検出手段とを設け、 前記無音部と非前記無音部で前記画像情報が異なること
を特長とする音声処理装置。 - 【請求項４】 音声情報の入力手段と、前記音声情報を
記録する記録手段と、表示手段と、前記音声情報の所定
時間内での周波数成分を検出する周波数検出手段と、前
記音声情報を前記周波数成分に対応した画像情報に変換
する変換手段とを設け、 前記画像情報を前記表示手段に表示することを特長とす
る音声処理装置。 - 【請求項５】 音声情報の入力手段と、前記音声情報を
記録する記録手段と、表示手段と、前記音声情報の所定
時間内での周波数成分を検出する周波数検出手段と、前
記音声情報を画像情報に変換する変換手段とを設け、 時間の経過に伴って記録された第１の音声情報の周波数
成分と、その後に記録された第２の音声情報の周波数成
分の差が所定値以上であった場合に、前記第１の音声情
報より作られた画像情報と、前記第２の音声情報より作
られた画像情報を分離して表示することを特長とする音
声処理装置。 - 【請求項６】 音声情報の入力手段と、前記音声情報を
記録する記録手段と、前記画像情報を表示する表示手段
と、前記音声情報の所定時間内での周波数成分を検出す
る周波数検出手段と、前記音声情報を前記周波数成分に
対応した画像情報に変換する変換手段とを設け、 時間の経過に伴って記録された第１の音声情報の周波数
成分と、その後に記録された第２の音声情報の周波数成
分の差が所定値以上であった場合に、前記第１の音声情
報より作られた画像情報と、前記第２の音声情報より作
られた画像情報を分離して表示することを特長とする音
声処理装置。 - 【請求項７】 音声情報の入力手段と、前記音声情報を
記録する記録手段と、表示手段と、前記音声情報の所定
時間内での周波数成分を検出する周波数検出手段と、所
定時間以上、所定レベル以上の音声が無い無音部を検出
する無音部検出手段と、前記音声情報を画像情報に変換
する変換手段とを設け、 時間の経過に伴って記録された第１の音声情報の周波数
成分と、その後に記録された第２の音声情報の周波数成
分の差が所定値以上であった場合、および前記第１の音
声情報と前記第２の音声情報との間に前記無音部が前記
周波数検出手段により検出された場合には、 前記第１の音声情報より作られた画像情報と、前記第２
の音声情報より作られた画像情報を分離して表示するこ
とを特長とする音声処理装置。 - 【請求項８】 音声情報の入力手段と、前記音声情報を
記録する記録手段と、前記音声情報の所定時間内での周
波数成分を検出する周波数検出手段と、複数の音声情報
の中から、所定の周波数成分を含む音声情報を出力する
出力手段とを有することを特長とする音声処理装置。 - 【請求項９】 音声情報の入力手段と、前記音声情報を
記録する記録手段と、表示手段と、音声情報を画像情報
に変換する変換手段と、前記音声情報の所定時間内での
周波数成分を検出する周波数検出手段とを有し、 複数の音声情報の中から、前記周波数成分が所定値以内
のものより作られた画像情報だけを表示することを特長
とする音声処理装置。 - 【請求項１０】 請求項１乃至７に記載の音声処理装置
において、 さらに選択手段を設け、 前記表示手段に表示された画像情報を選択することによ
り、音声情報を選択可能にしたことを特長とする音声処
理装置。 - 【請求項１１】 請求項４乃至９に記載の音声処理装置
において、 周波数成分を検出するための所定時間を少なくとも０．
３秒以上としたことを特長とする音声処理装置。 - 【請求項１２】 請求項４乃至９に記載の音声処理装置
において、 音声情報を圧縮するための離散的コサイン変換手段を用
いた圧縮手段を設け、 前記周波数検出手段には離散的コサイン変換手段を使用
することを特長とする音声処理装置。 - 【請求項１３】音声情報の入力手段と、前記音声情報を
記録する音声記録手段と、表示手段と、前記音声情報の
所定時間内での周波数成分を検出する周波数検出手段
と、前記音声情報を前記周波数成分に対応した第１の画
像情報に変換する変換手段と、被写体像を第２の画像情
報に変換する撮像手段と、前記第２の画像情報を離散的
コサイン変換を用いて圧縮手段と、前記圧縮情報を記録
する映像記録手段とを有し、 前記周波数検出手段は離散的コサイン変換を使用するこ
とを特長とする音声処理装置。 - 【請求項１４】 請求項１乃至７に記載の音声処理装置
において、 時刻計測手段（時計）を設け、 前記記録手段に前記時刻を記録するとともに、前記表示
手段には前記画像情報と、前記時刻を表示することを特
長とする音声処理装置。 - 【請求項１５】 画像情報を再生する画像再生手段と、
前記画像情報に対応した音声情報を再生する音声再生手
段とを有する音声処理装置に置いて、 前記画像情報に対応した音声情報を再生するのに必要な
時間だけ、前記画像情報を表示することを特長とする音
声処理装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7244222A JPH0990973A (ja) | 1995-09-22 | 1995-09-22 | 音声処理装置 |
| US08/715,382 US5974386A (en) | 1995-09-22 | 1996-09-12 | Timeline display of sound characteristics with thumbnail video |
| TW085111206A TW439384B (en) | 1995-09-22 | 1996-09-13 | Sound processing apparatus |
| KR1019960041017A KR970019552A (ko) | 1995-09-22 | 1996-09-20 | 음성 처리 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7244222A JPH0990973A (ja) | 1995-09-22 | 1995-09-22 | 音声処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0990973A true JPH0990973A (ja) | 1997-04-04 |
Family
ID=17115569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7244222A Pending JPH0990973A (ja) | 1995-09-22 | 1995-09-22 | 音声処理装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5974386A (ja) |
| JP (1) | JPH0990973A (ja) |
| KR (1) | KR970019552A (ja) |
| TW (1) | TW439384B (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8145039B2 (en) | 1997-02-10 | 2012-03-27 | Nikon Corporation | Information processing apparatus and method |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0990973A (ja) * | 1995-09-22 | 1997-04-04 | Nikon Corp | 音声処理装置 |
| JPH1056609A (ja) * | 1996-04-15 | 1998-02-24 | Canon Inc | 画像記録方法、通信方法、画像記録装置、通信装置及び媒体 |
| JP4456675B2 (ja) * | 1996-04-17 | 2010-04-28 | 株式会社日立製作所 | 映像記録再生装置及び映像記録再生方法 |
| JP3832089B2 (ja) * | 1997-05-26 | 2006-10-11 | セイコーエプソン株式会社 | デジタルカメラおよび印刷システム |
| JP3894376B2 (ja) | 1996-05-24 | 2007-03-22 | 株式会社ニコン | 情報処理装置 |
| JP4397054B2 (ja) * | 1996-06-13 | 2010-01-13 | 株式会社ニコン | 情報入力装置 |
| US20050158015A1 (en) * | 1996-10-03 | 2005-07-21 | Nikon Corporation | Information processing apparatus, information processing method and recording medium for electronic equipment including an electronic camera |
| US20010038719A1 (en) * | 1996-10-14 | 2001-11-08 | Nikon Corporation | Information processing apparatus |
| US6567120B1 (en) * | 1996-10-14 | 2003-05-20 | Nikon Corporation | Information processing apparatus having a photographic mode and a memo input mode |
| JP4408456B2 (ja) * | 1997-02-14 | 2010-02-03 | 株式会社ニコン | 情報処理装置 |
| JP4429394B2 (ja) * | 1997-06-17 | 2010-03-10 | 株式会社ニコン | 情報処理装置および記録媒体 |
| US5973734A (en) | 1997-07-09 | 1999-10-26 | Flashpoint Technology, Inc. | Method and apparatus for correcting aspect ratio in a camera graphical user interface |
| US6313877B1 (en) * | 1997-08-29 | 2001-11-06 | Flashpoint Technology, Inc. | Method and system for automatically managing display formats for a peripheral display coupled to a digital imaging device |
| US7239405B2 (en) * | 1998-03-02 | 2007-07-03 | Minolta Co., Ltd. | Image processing system for outputting scanned images in the specified sequences |
| US6317141B1 (en) | 1998-12-31 | 2001-11-13 | Flashpoint Technology, Inc. | Method and apparatus for editing heterogeneous media objects in a digital imaging device |
| US6462778B1 (en) * | 1999-02-26 | 2002-10-08 | Sony Corporation | Methods and apparatus for associating descriptive data with digital image files |
| EP1077433A1 (en) | 1999-08-19 | 2001-02-21 | Sarnoff Corporation | Data aquisition and transfer |
| USD430169S (en) * | 1999-12-15 | 2000-08-29 | Advanced Communication Design, Inc. | Interactive multimedia control panel with speakers |
| JP2002157112A (ja) * | 2000-11-20 | 2002-05-31 | Teac Corp | 音声情報変換装置 |
| JP4297073B2 (ja) * | 2005-04-01 | 2009-07-15 | ソニー株式会社 | 画像生成装置、これらの装置の処理方法およびその方法をコンピュータに実行させるプログラム |
| JP4437548B2 (ja) * | 2005-12-09 | 2010-03-24 | ソニー株式会社 | 音楽コンテンツ表示装置、音楽コンテンツ表示方法及び音楽コンテンツ表示プログラム |
| JP4894252B2 (ja) * | 2005-12-09 | 2012-03-14 | ソニー株式会社 | データ表示装置、データ表示方法及びデータ表示プログラム |
| US8375283B2 (en) * | 2006-06-20 | 2013-02-12 | Nokia Corporation | System, device, method, and computer program product for annotating media files |
| US9224145B1 (en) | 2006-08-30 | 2015-12-29 | Qurio Holdings, Inc. | Venue based digital rights using capture device with digital watermarking capability |
| CN106486147A (zh) * | 2015-08-26 | 2017-03-08 | 华为终端（东莞）有限公司 | 指向性录音方法、装置及录音设备 |
| US10564924B1 (en) * | 2015-09-30 | 2020-02-18 | Amazon Technologies, Inc. | Navigating metadata in long form content |
| CN110381365A (zh) * | 2019-07-02 | 2019-10-25 | 北京字节跳动网络技术有限公司 | 视频抽帧方法、装置及电子设备 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3439598A (en) * | 1966-05-25 | 1969-04-22 | Weitzner D | Camera and sound recording device |
| US3639691A (en) * | 1969-05-09 | 1972-02-01 | Perception Technology Corp | Characterizing audio signals |
| US5566134A (en) * | 1972-05-04 | 1996-10-15 | Lockheed Martin Corporation | Digital computer algorithm for processing sonar signals |
| US4015087A (en) * | 1975-11-18 | 1977-03-29 | Center For Communications Research, Inc. | Spectrograph apparatus for analyzing and displaying speech signals |
| DE2843180C3 (de) * | 1978-10-04 | 1981-11-05 | Robert Bosch Gmbh, 7000 Stuttgart | Verfahren und Vorrichtung zur akustisch-optischen Umwandlung von Signalen |
| CA1322595C (en) * | 1988-01-22 | 1993-09-28 | Andrew Staffer | Synchronization of recordings |
| US5297289A (en) * | 1989-10-31 | 1994-03-22 | Rockwell International Corporation | System which cooperatively uses a systolic array processor and auxiliary processor for pixel signal enhancement |
| DE69124360T2 (de) * | 1991-01-16 | 1997-05-15 | Ricos Kk | Vorrichtung zur Anzeige von Gesangseigenschaften |
| US5303327A (en) * | 1991-07-02 | 1994-04-12 | Duke University | Communication test system |
| US5287789A (en) * | 1991-12-06 | 1994-02-22 | Zimmerman Thomas G | Music training apparatus |
| JP3091291B2 (ja) * | 1991-12-20 | 2000-09-25 | 株式会社シーエスケイ | 動画編集処理方法 |
| JPH05173554A (ja) * | 1991-12-25 | 1993-07-13 | Casio Comput Co Ltd | 表示装置付自動演奏装置 |
| US5583652A (en) * | 1994-04-28 | 1996-12-10 | International Business Machines Corporation | Synchronized, variable-speed playback of digitally recorded audio and video |
| JPH0830430A (ja) * | 1994-07-19 | 1996-02-02 | Matsushita Electric Ind Co Ltd | 表示装置 |
| KR960018988A (ko) * | 1994-11-07 | 1996-06-17 | 엠, 케이. 영 | 음향 보조 영상 처리 방법 및 장치 |
| JPH0990973A (ja) * | 1995-09-22 | 1997-04-04 | Nikon Corp | 音声処理装置 |
| US5878292A (en) * | 1996-08-29 | 1999-03-02 | Eastman Kodak Company | Image-audio print, method of making and player for using |
-
1995
- 1995-09-22 JP JP7244222A patent/JPH0990973A/ja active Pending
-
1996
- 1996-09-12 US US08/715,382 patent/US5974386A/en not_active Expired - Lifetime
- 1996-09-13 TW TW085111206A patent/TW439384B/zh not_active IP Right Cessation
- 1996-09-20 KR KR1019960041017A patent/KR970019552A/ko active IP Right Grant
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8145039B2 (en) | 1997-02-10 | 2012-03-27 | Nikon Corporation | Information processing apparatus and method |
Also Published As
| Publication number | Publication date |
|---|---|
| US5974386A (en) | 1999-10-26 |
| KR970019552A (ko) | 1997-04-30 |
| TW439384B (en) | 2001-06-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0990973A (ja) | 音声処理装置 | |
| JP5069687B2 (ja) | コンテンツ情報の提供を受けたユーザの感情状態を分析するための方法及び装置 | |
| CN102906818B (zh) | 存储视频摘要的方法和显示相应于视频摘要的视频帧的系统 | |
| TW583877B (en) | Synchronization of music and images in a camera with audio capabilities | |
| KR20140114238A (ko) | 오디오와 결합된 이미지 표시 방법 | |
| JP2013106298A (ja) | 撮像制御装置、撮像制御方法、撮像制御方法のプログラムおよび撮像装置 | |
| KR20130134195A (ko) | 오디오 스트림을 고속 시각화시키는 전자 장치 및 방법 | |
| JP4491700B2 (ja) | 音響検索処理方法、音響情報検索装置、音響情報蓄積方法、音響情報蓄積装置および音響映像検索処理方法、音響映像情報検索装置、音響映像情報蓄積方法、音響映像情報蓄積装置 | |
| EP1347455A2 (en) | Contents recording/playback apparatus and contents edit method | |
| KR20100002090A (ko) | 전자 기기, 영상 콘텐츠 편집 방법 및 프로그램 | |
| JP2010237761A (ja) | 電子機器 | |
| JP2019068300A (ja) | ダイジェストデータ生成装置、ダイジェストデータ再生装置、ダイジェストデータ生成システム、ダイジェストデータ生成方法及びプログラム | |
| US8391544B2 (en) | Image processing apparatus and method for processing image | |
| JP4812733B2 (ja) | 情報編集装置、情報編集方法、情報編集プログラムおよびそのプログラムを記録した記録媒体 | |
| JP4407198B2 (ja) | 記録再生装置、再生装置、記録再生方法および再生方法 | |
| JP5039020B2 (ja) | 電子機器および映像コンテンツ情報表示方法 | |
| JP2010200079A (ja) | 撮影制御装置 | |
| JP2000222417A (ja) | 画像ファイリング装置 | |
| JP2008140527A (ja) | 音楽再生装置、およびこれを備えたカメラ | |
| JP6635093B2 (ja) | 画像記録装置、画像記録方法及びプログラム | |
| JP2020034823A (ja) | ファシリテーション支援プログラム、ファシリテーション支援装置およびファシリテーション支援方法 | |
| JP6674236B2 (ja) | 記録再生装置及び記録再生方法 | |
| KR100575635B1 (ko) | 유에스비카메라를이용한영상처리장치및방법 | |
| JP2004215123A (ja) | 画像再生装置、画像再生方法及び画像再生プログラム | |
| JP2002247489A (ja) | 記録装置、記録方法、記録プログラム、記録再生装置、記録再生プログラム、記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040622 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20041109 |