JPS59500432A - オーディオ周波数出力信号発生方法および装置 - Google Patents

オーディオ周波数出力信号発生方法および装置

Info

Publication number
JPS59500432A
JPS59500432A JP58501091A JP50109183A JPS59500432A JP S59500432 A JPS59500432 A JP S59500432A JP 58501091 A JP58501091 A JP 58501091A JP 50109183 A JP50109183 A JP 50109183A JP S59500432 A JPS59500432 A JP S59500432A
Authority
JP
Japan
Prior art keywords
signal
data
audio
time
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP58501091A
Other languages
English (en)
Other versions
JPH0546960B2 (ja
Inventor
ブル−ム・フイリツプ・ジエフリ−
マ−シヤル・ガ−ス・デイビツド
Original Assignee
ワードフィット・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ワードフィット・リミテッド filed Critical ワードフィット・リミテッド
Publication of JPS59500432A publication Critical patent/JPS59500432A/ja
Publication of JPH0546960B2 publication Critical patent/JPH0546960B2/ja
Granted legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/04Time compression or expansion
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B31/00Associated working of cameras or projectors with sound-recording or sound-reproducing means
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 信号を処理するさいに使用するための方法および装置この発明は信号を7L浬す るさい)こ使用するための方法および製置シこ関する。
映画のサウンドトラックを製造するぎい、原会話は、例えば除去することができ ζい背景嬬晋のレベルあるいはタイプのため受け入nることかでとすいので、映 画撮影時に生で録音した原会話を撮影後、スタジオで録音した対話で取誓えるこ とがしばしば必要であり屋よしい。最後のサウンドトラックが普佑、音楽Sよび サウンド効果の混合から形成ざ0ないうちに、スタジオ録音が行tわ几、こ几、 ;ポスト・シンクロナイジングと呼ばれる。
現在、最ち広く文楓ざnでいるポスト・シンクロアイシング仮’JNはバージン ・ループ・システムとして矧らちでおり、下記のように作動する。
サウンドトラック鳴県者;;ボスト・シンクロアイズざnたま話場面を谷々約3 Q7沙、間壜工つ/てンテンスあるい;;コでンテンスのセクション;こ分割す る。物コ的、・こ状1フイルムの長さ3よびぶ会括祿晋そ言Cミ爪フィルム:こ 4しい長石つ1ら戎る谷1クション2;二つのニンIJレス・ループでざnる。
第3のループ(こTQ−i。
同じ長石のもの)は盪晋ぎ几ていないヱ気フィルムつ1ら構成される。こnが” バージンループである。1台話を含む磁気フィルムのループは”梁答トラック” と呼ばれる。
その場面に出ている’r ’l? 憂t: 丁スト・シンクロナイジング操作の ために特に設計されているスタジオjこ個々に参刀口する。沃画フィルム・ル− プはフィルム・プロジェクタ−に装填され、案内トラックは磁気フィルム再生成 に装填され、バージン・ループは玉気記禄U/再生栽に装填される。こnらの3 台の誘械は同期して作動するようにされる。映画フィルム・ル−プは非優の前に あるスクリーンに沃写される。案内トラックはヘッドホンを介して!;+:愛に 河し、て再生される。排反は夏会話と同期して目分のせりふを言うように努力す る。その努力の改果:;バージン・ループζこ念音ざnる。
、論集者が府ちって映画フィルム・ループに通いて3いた案内トラック・干ニー (ピーラという音)あるい;;チャイアグラフ・干ニー・マークツ)与えられる 。ディレクターがその酒米;;勇足するうのであると決定するぽで、俳優は案内 トラックの正i;タイミングと勘咋とが一致するようンこ黛り返して試行する。
スタジ丁孤戸機でその倍長を芙Iするたのりこバージン・ループを可する7A嘱 を王意の時黒で摩晋から再生jこ切臭えることができる。
いったん首尾よく憬晋ざ几t・レープ、;該当の成αコ)ら取外ざ几、対話の人 の1クシヨンを含Cループの久のづットと取替えら几る。そ、7″、小ら、この 新しいてクションのために全励咋が1つ返ざnる。千羽弼な長鵠引1;数百の会 話ループを必要とするものであり、その各々はその場面に登場する非愛の人数ン こ!衣存して真新しいバージン・ループJこ一1回禄iぎ、7′1.;づnばζ ら;い。
g葉と口の動きとの間の同期からのlフィルム・フレームないしユフイルムーフ レームの垂”=千羽:fEjjフ各(こ;′:、呂につさや丁い・ものであるj 3s、そ′;r′LG’;単に9.05沙ないしo、i汐の差ンこ丁ぎないので 、当面する俳i)ことっては困」な仕事である。芸術的な表現力5同期して話す 必要色多こ追従することそ余義ξくされる。多くの試竹のあとで、大不正しいと され、;たサウンドトラックの鳴集者の辞才からえらnる妥協賃に基づいて、前 記蝙集者;;追気フィルムを論集室lこ愕滑り、その悄’15 ’aカット作果 で、同期のと′:″−た言葉、こ;るよう:こする。
新しく盪晋ざr′したループI;、留局、原会話1こよって刑から古耳石れてい る会話トラックの立置)こ組込g几る。
バージンループ・システム、;オが1几、時、闇がかンるシステムで、弁フたち ;こl=非鴬・こざら7)几でいる。
ざろ:こ、ポスト・シンクコアイズざn之六活l=J互の見地フΔら耳:こ厘主 の会話よ″つ劣っているというこζンー没;こ状画貢AンこSける足巳とざnて ・ハる。
順方間2よび逆方向の高速力作ができ、論理側1」都を有するフィルム給送機の 開発で、自動会話数層え(ADR)として知られている方法は波近の新らしいス タジオで匣わnるようになっている。
このようなスタジオの1つの列が、英国で/9:r/年3月に発行さ几たl B KSTSジャーナル」第10 /76〜lワg頁にリオネル・ストルットの論文 である“ポスト・シンクロナイジング・サウンド:コンピュータを・所用する目 動会話取替え”が記載されている。ADHでは、フィルムを物理的ンこループに 分割することは必要でない。映画フィルムのロール、付随する業門トラックおよ びバージン磁気フィルムはそれぞれ映画フィルム・プロジェクタ−1磁気フィル ム再生機2よび磁気フィルム碌音1*/再生機)こそつくり装填される。その妖 俄か正規の速度でそ几ぞ几の指定された会話セクションを演じ、次に、そのセク ションの始めに戻り、謔り返し、すべてが1司期してロックされるように各々の ループが電子的に形成される。例えば、マクナラツク600シリーズKLシステ ムシこ2いて、インタークロックパルスは、谷スV−ブ機、丁ぼっち映画フィル ム・プロジェクタ−1果円トラック再生景およびバージン磁気フィルム、桑音9 /再主器Iこj−3インタ一ロツク発生器ンこよって送ら几る。
フィルム・フレーム母lこ10:J、ニア)引合で発生さ几るこnらのパルスは 互に?0°Q相がずnている二つの岨竹表昭59−500432 (4) 形汲の形式jこざnている。そして1.ヌ万同の力さで・′=、第二の波形は第 1の波形÷こ遜n1逆万同の動さでは、第1の波形は第二の波形1こ1几るよう )こさ孔ている。
1つの動作モード、丁ζわち、正規X>−の、゛ズ方向の動き2よび逆方1司の 動きと、高−3の5.A万同力カさSよび逆方向の励きは、MTE t3ニプロ 1ツサのコマンドの下で可能である。正規の走行iXで、インターロック発生器 によって3つの受承に伝速ざ几るインターロック−パルスのパルス周亥数j;水 晶元蚕器を7tilJ御することによって得られる。こ几ら、1′)1ンターロ ツク・パルスは、よだ、:viTl 9に刀ワンタシこも送らnる。ポスト・シ ンクロナイズ励作で、フィルムのロール1=ロール・ヘッドで機械に瑠のつけら れる。鏑果首が丁べてのロールンこ前ぢって・可ケだ同期マークに、3:固のフ ィルムが静止同期しているように稠亥ざn、己ことを1共にするように夏用さn る。この:同期マークV二通茗0フィートθフレームと指定ざn10−ル上のい :0)なる黒もフィート3よびフィルム・フレームの9 lこよって同期マーク から識別することがでさる。告々の辰1フ1ルムの長ざSよびループとして31 .扱フ1ね几、指定ざnたループセクションとしで参照ざ几る何重する茶円トラ ックの長さはプリセット1世(JITj: / 3 / Eブリ1ツ:一):こ 入力5nるフィルムのフィート黴3よびファームaの、0一旦によって嵜七する ことフ)でさる、その−フの咀l;指定さ、7′、たル−プ・ゼクンヨンの始り を現足し、上方の但(=ループ・セクションの終りを規定するようイこざ孔る。
フィルム・ロールが同期マーク)こ3いて対のら几ると、M T M ヲEカウ ンタはθ(00gり、θθ)(こりてットEnる。久に、MTE カウンタ※’ :gLBインターロック発生器乃1らのインターロック・パルスそ計数すること によってフィルム・ロール1こ:間過するフィルム給送機の透間的な位置8こ対 応するフィート数3よびフレームの6mのコ進化/θ進;装置を発生することか できる。このBCD1言号ばM T 3 / 5/ Zブリて゛ント0こ供給ざ 孔る。そこで、指定: 、T′1.7Lループ・セクションのため聞届3よび一 必了フレームの識別としてオペレータによって入力されるBCDフィート数2よ びフレーム致のコー固の但と前記BCD信号とが比駁される。この比軟のM来) ;、A:(EADOFL00P!言号、工N LOO’:’信号めるい);PA ST LOOP ;言置のいずnかとしてA T 2/ j ニブローzツサJ こ供R”;aる。その使月iζ3いて;;、Mτ”r / 5:プロづツサはル ープ人力フレーム丁;わち、指定され之ループ・1クシヨンに3′/7る最近の フレームの■万の3ないし/クフィートの黒つ)ら定力ること;こまって選択ざ ’F!、jw七定のループ・ゼクションを通して姓1の励かを反復する。それ小 ら、指定されにループ・てクションの苔つ玉で正規の透lでて1号シ、扁−4i 逆万司に巻舌戻し、その丁イクルを1掘返丁。
ループのアヘッドからイン・ループへの移O又’Cで、レープ入力フレームのた 力のtrixブ・ノセット;=、り・ ’A T Z ヲEカウンタ3CDI言号と一致し、’、i n’+ 7 7  ;コブ−セッサは禄音・α/再生楓の庶晋侵見を活曲化するマスタφレコーV− オン1言号を発生下る。、・司会ンこ、この言置;=イン・ループからバスト・ ループへの部り夏わりでオフ;こスイッチされる。
磁気フィルム再生箋および俳・lゾ)マイクロホンからのアナロタ・万一テイ万 ・1言号は例えばミ干シンク・コンソールを介して非憂のヘッドホン3よび4気 フィルム点音機/再生機3こそnぞれ供洛される。
バージン・ループ・システムに関して、ADHは各指定されたループ・セクショ ンの類α期間が符定され、徘・憂に合うようにポスト・シンクロナイズ期間中変 更でさるという利照があり、ぼた、より多くの最近に生業された祿青ずみループ は俳優2よひディレクター(こよって評価ざnるために再生ざnることができる 。
しっ)しながら、音響遍臭者はな3.受σ入ちることができる同期化lこそれを 引さ込むよう;こポスト・シンクロナイズした会話を爲果し;ゲればζらない。
ループ遇渠をすると、その部分の近傍に2いて互に千渉するので、ざらに1つの 場面に登場下る・町人小の非憂、=バージンループの7j1」々の多重トラック )こ記録することがでさない。し二かつて、バージン磁気フイリムの別々のロー ル、・;1つの揚l)こ登場するあろゆる;μl・、Cニのに必要である。
1司」iこ、ビデオテープ:=フィルムの・代・つに更、弓ざnるの;こ対して 、会話のポスト・/ンクロアイズ損りハ埒折果行されるはすであり、こn王で夏 用さnだ方法)よフィルムAIのための方法七頌!以している。
困雛と制約の主なぶ因である通常のポスト−シンクロナイズ操作の局面はわTか 7秒の何分のlカ1の所定の1時て俳愛刀)、括し袷め1話しの進方の終りょで 同期性を維持する必要がめることである。ポスト・シンクロナイズ操作をあ才り わずられしくしない方法2よび侠X 7’J)必要である。この発明・;このよ うな方法2よび長盪を提供するための試みからな5.7′!、たものであるけれ どもポスト・シンクロナイズ操作のための音声信号の処理に限定ざnる=)ので ;;ない。この発明は第1の信号9こ実質上類似している第二の信号はこれらの 特定の特徴そ再/の;信号の対応する4救)こ活びつけるため、・こ第二の言装 置の斗乏の脣致ンこ同するタイミングに関して1果ざ几る也の状況に適用ざ孔る 。これによって、還ば:r1.た荷足の将厳の相応刀なタイミング間こ関して少 なくとろ第/の信号を果ス正複製する出力が生じる。
この発明;;必須の信号将主)こ杉−ii!8及ぼ丁遍系をなくして二つの:信 号の対応Tる遇訳ざ几た峙瑣間)こ関連する相応円;タイミングの相Aを美質上 除くためて二つの類・以・信号lこSいて2択脣紋を見つけ、こnらの・′信号 のうちの1つの信号を目動コラに1臭するための1去3よ乙°::装置8理長量 ?提哄すること:こ石1するものであg枯昭59−500432 (5) この発明の1つの局面によnば、朶/の信号の遺沢時間に依存する待機に関する データ2よび実質上第1の信号5こ類似している第二の信号の同様ζ時間に依存 する特徴に関するデータを発生すること:第二の信号のタイミングと第1の信号 の対2する4’Dのタイミングとの間の相違を表わすデータを発生するように該 データを利用することニー@号逼果のために逼している媒体に第二の信号の改形 を表わすデータを発生すること;第1の信号の該特徴の相対的なタイミングを芙 質上複襄する第二の信号の編集フオームを表わす出力データを発生するように第 二の信号を表わ丁データを編集するために適当な編集データを発生するためにタ イミング差データを夏用すること:3よび、編集データにしたがって第一の信号 を表わT信号を偏集することのステップを有する信号処理万、去が提供される。
この発明の、也の局面多こよれば、信号の選択時間シこ依存する番致乏こ関する 第72よび茅二の信号データより決定する7:めの手段と;第2のi信号の該荷 漱のタイミングと第1の信号に3いて央買上同じ→蚊のタイミング間の量を辰つ 丁データを発生するよう;こ該データを:夏用するための手段と:第二の信号波 形を表ゎ丁データを発生し、蓄j)するための手段と;票/D肯戸装置の該特徴 の1方的なタイミングを実質j9:こプ虜よる第二の信号の異系フオームを辰っ 丁出刃データを生じるように第一の信号を表つ丁データそ編集下るの;こ通した 3果データを発生するようにタイミング差データそ使用するための手段と:この ようζ編集を達成するための手段と;からなる信号処理装置が提供ざゎる。
この発明の別の局面によれば、第1の音声信号の実ヌ刃な模写である第二の音声 信号を表す丁ティジタル・データを発生するこ七:第12よび第一の信号の遺沢 晋声パラメータの発生3よび/あるいはその値から決定するように規則的ζ間隔 で薦/3よび第一の音声信号を処理すること;第二の信号に3ける選択音声パラ メータの発生および/あるいはその玉を表ゎす処理さf′!、たディジタル・デ ータに応じて第二の信号における音声の1点を指示するディジタル・データを発 生すること;第二の信号に3けるピッチを表わすディジタルデータを発生するこ と二薦ユの肯%信号のZ考蛍のタイミンクと第1の音声信号の対応する特徴のタ イミング間の玉そ茨わ丁ディジタル身データを発生下るように第72よび第二の 音声信号の音声の1無を指示し、第1:6よ、゛ζ男二の音声信号の音声パラメ ータを辰り丁デイジヲル・データのシーケンスを使用すること:男;の音声:装 置、こ3ンブる無声3よび/あるい);1戸期、司を調整することによって第1 の音声信号の対応する特徴のタイミングを第二の晋戸:装置の該→致で英ヌヨミ :こ9製する要ス;こLじて順渠データを発生するよう)こ、嘉=のテ戸・信号 のピッチSよ・びμ;の音声・信号:こ2ゲる音声り再環を指示するディジタル ・データの夕・(ミン、// り3よびシーケンスに3ける該壬を表わすディジタル・データを処理すること: および、−逼果データコご従って第二の音声信号に対応するディジタル・データ を?1 aし、第二の音声信号のS A版に対応し、それによって1集されたデ ィジタル・データを発生すること:の諸ステップを河する、記録音声を発生する さいに使用するための方法が提供される。
この発明の也の局面によりは、第1の音声信号の美質的な模写であるg2の音声 信号に対応Tるディジタル・データを蓄積するための手段と:該蓄積手段から該 ディジタル・データを読出すための手段と;第72よび第二の信号の選択音声パ ラメータの発生3よび/あるいばその温を規則罰な期間で第12よび第一の信号 から決定Tるための手段と;選択音声パラメータの発生3よび/あるいjよその 値を表わす処理されたディジタル・データに応′じて焦音、無声晋2よび再声音 のようζ荷徴刀な音響学的分類を符号化するディジタル・データを発生する′f −のの手段と;第二の信号)こ3けるピッチを辰わ丁ディジタル・データを発生 するための手段と;第二の音声信号の待機のタイミングと第1の音声信号の対応 する特徴のタイミング間の差を表わ丁デ1°ジタル・データを発生するよう)こ 第73よび第二の音声・信号の該特徴刀;分類を符号化し、第13まごr第二の 音声信号の音声パラメータを表っ丁ディジタル・データのシーケンスを使用する 之めの手段と:第一の音声信号多こ2ける無音3よび/あるいは有音期間を調整 下ることによって第lの音声信号の対応する特徴のタイミングを第二の音声信号 の一1!i−徴で実質的に複製する必要に応じて編集データを発生するように特 徴的な分類を符号化するディジタル・データのピッチおよびタイミングの差とシ ーケンスとを表わすディジタル嗜データを処理するための手段と;編集データに 従って第二の音声信号に対応するディジタル・データを編集し、そnにより第二 の音声信号の遇集版に対応する編集ディジタル・データそ発生するための手段: とを含むディジタル・万一デイオ・システムが提供される。
この発明のさらに他の局面によれば、前記のダ個の説明文のいずれかで規定ぎれ る7決めるいは装置又はシステムによって発生される記録音声が提供される。
記録音声;;フィルムあるいはビテオΦテープのための会話トラックの形式にざ 孔でいる。
一般;こ、S、(=)によって時1間三の関数として具わすことかできる興味め る信号は浬恵的な条件以下でしフ1記録5:r′1.ないことがしばしjビ起る 。代表的には、記盪されているこのような信号)よインパルス応答hjtlの線 形時間不変システムを通過し、さらに、これ5時間の関数q ;tlでゐる汀] 的g音Iこよってそこ;℃nる。その留果として生じる信号工、・t;だゲが受 信μで受信さi己。
別異の列、こ3いてl:: s Xl l、t) =3.4+、)のように劣化 がなく、当該1言号は別異の埋土で;2も満足されることがない。
それにもかかわらず、いくつかの目刃のたの;こ重要である81ft+の時間; こ依存する待機は時間に2・グる特定のモーメントで発生し、しばしば保存され ねばなら;いものはこれらの1r=2の発生の相対5′3ナタイミングである。
次に、重要な時間;こ依存する将致を有するこのような満足でさない信号′X1 (t)は参照信号として参照5nる。これらの状況にこの発明を適用するさい、 第1のステップは置換信号として参照さnる第;の信号=2(t’+の供給する ことである。ただし、t゛はX2 (t)がyカ)ら独立したスケール上の時間 の関数であることを示し、その1はS工(1)として時間に依存する特徴の同じ シー手ンスを本質的に含んでいるが、その特徴は−+ 、(tlの対応する#徴 としてほぼ同じタイミングだけで生じる。
!I(t)あるいにx律〉のどちら刀)あるいはX+ iil 、 x、 (t ’)の両方ともあとでのアつてス2よび伎索のために蓄、潰さnるので、通常、 tとtlは将r=5に3ける1司じ、把対モーメント7J)らは必ずしも光ヨら ない。tと1,1は実際の信号あるい(よ蓄積ざnt参黒言装置るいは1食言号 のそnぞれのどちら刀)の時間スケール;こ関連すること)こ注月丁べきである 。こnらの信号が集糸の信号であるフ1あるいはこれらの蓄漬版であるかどうひ で、時1間t=02よび;1=0に:信号”+ [”) 、76よび=2杏)の そCぞ几の届めlこ関連する。さら:こ、”I F)iこ発生するtカの第1の 1要な事項’r’:h t>θの所定の・圓で信号Jjt)が定まるこる信号5 2(t’)はtl ) oの所定の:lで=、(t’)ンこ3いて疋よることで ある。信号XI F) 40よび:c2(t’)の還択ざコを之切理幻な面は周 期刊に測定ざn%時・川に・衣存するパラメータを含む有用な信号パラメータは これらの測定から決定ざnる。その工1]足は或出さnるべき信号”: j’l  sOよびX。
+t’)の特性におけるいちじるしい変化のため十分高速で実行される。さらに 、置換信号はパラメータのいくつかあるいは全部のシーケンス7J)ら分虜ざ几 る。その分類は興味ある52(t)の信号が測定期間に!: (t’)に存在す るか存在しないかどうかの分4に関するものである。次いで、各測定信号の時間 従属パラメータ石よび置換信号の時間従属分類は参照信号の時間従属特徴のタイ ミングの最上の複製をする曇こちがいない置決装置x、(t、’)の時間スケー ルのひずみを茨現する時間びずみ路(Pa=h)と呼ばわる時間X友属関数を生 じるようにパターン・マツチング技術を用いて処理される。時間スケールひずみ 関数は、参照信号の時間スケール上の万石する重要な将致と共ンこ置換信号の時 間スケール上で起る所望の重妥−特徴の整列を運、戎するように置換l信号の信 号1形が確実に変更ざnるよう、こするたの参照信号の時間スケールと置換信号 の時間スケール1間は下方な相違があることを凍上するようンこ、%折ざ孔る5 埒間ス7−ルひずみのこの要所:″J1ら得られるで青磁、;、置換信号でかj jJざ孔ることがでさる竜果プロセスのための詳洲な1」1卸債報を発生するよ う)こi卦装置の時間従属特徴と置換信号のピッチ3よび及形データ上の債報と 井に利用さnる。そ几からこの制澗情報は論集さT′1.た:信号に2いて参照 信号の比双的重要な時間従属特徴のタイミングを央ス市)こ複製するように制脚 言置フs−i換信号からあるいは1挨信号への1号データの適当1;シーケンス の111徐動作2よび/あるいは挿入動作をする論集プロセスで1吏用される。
この発明の好ましい実施例によると、大写1テイスク・メモリを有するコンピュ ータ・システムは記録し、新しい会話と原案内トラックとを目切的にポスト・シ ンクロナイズするようにコ己列される。そのシステムは言葉と言葉の間の無声音 ギャップ期間の変更2よび受け入れることのできる状況での晋P要素期間の調整 0こよって新しい言葉のタイミングを王に調整する。音声のこの1マイクロ遍臭 ”を制卸する決定に音声の発生:23よび認識についての昶識に蟇づくものであ る。したがって、その決定で編集さ几た音声が8然に問えるようにざ几る。処理 は必ずしも実時間では行なわT″、ζい。
その処理は、新しい会話の録音!;l Hこ行ζわn、必要ζらば、巻き戻し2 よび再生動作ヲでも行なわちるので、いかζる遅延も生じ;い。この好ぽしいコ ンピュータ・システム)=ズ写号バッファ・メモリ3よび入出力・1′ンメーフ ニースそ介して高ヨ(丁ζ7)ち1.二メガ・バイ877秒)データ玉送バス÷ こそ合否nているAハ3よびつ/A変換システムそイする。双対チ1ネル・バラ メータ佃出フ0口づスーシステムに工10インターフェースを介してバスラこ葡 合され、大写重(すなわち、ざグメガ・バイト)磁気ディスク・メモリはディス ク・コントローラを介してバスに話合c” Tb sマグナテツクKLシステム によって発生されるフィルム・フレーム位置!前号ち6よびi*ll ’、卸言 前号受・匿し、マグナテツクELシステムに11」御信号を伝送するのに逼して いるハードウェアは項にバスに葡合されているホードに搭裁されているランダム ・アクセス拳メモリをMする単一の丁−ドーコンピュータの並列入出力ボートに 個含され、論理制御2よびデータ人力干−・ボードとVDUは単一ホード・コン ピュータの直列入出力ボートに足金され、第2の単一ボード・コンピュータはバ スにg合され、直列あるいは並列ボートを介して也の単一ボートコンピュータに 佑合さnる。
この発明は、曜付図面に即してその列が説明される。
こ\に、 第1図;=、この発明を具不化するポスト・シンクロアイシング・システムのブ ロック液層である。
第二図は、この発明を具不化するプロ1ツサである第1図のシステムのプロセッ サの詳補ブロック1図でめ、る。
帛3図・;、第二図のプロづツサの部分のブロック1図である。
第” B f: 、aコ図のプロキツサの一部分によって美行される慨略幻な処 理を表わ丁ブロツク二凍図である。
第S図は、第2図のプロでツサに2けるインタフェースの概略図である。
第6図は、第二図のプロセッサによって達成される処理を表わ丁ブロック源図で ある。
第7図、第g図Sよび第7図は、第21図のプロセッサで達成されるいくつ7J )の処理を説明するためのグラフ図である。
第1O図は、第二図のプロセッサで達成される処理の部分の流n図である。
第1/図および第1二図は、第2図のプロでスで達成されるデータ編成およびデ ータ処理のグラフ図である。
第7.7図は、第一図のプロセッサにおける70ゼスを説明するための、7 @ のグラフ群図である。
第74(図、第is図2よび第76図は、第二図のプロセッサで達成される処理 の3:固の段階を示す流れ図である。
第1り図は、第16メによって示される処理に含よれる選択手屓のグラフ必であ る。
第73図は、計算さit、た時間ひずみ烙3よび入力アナログ信号とその爾来と して得られる出刃アナログi前号の関係を示すグラフ図である。
第19図4;、アナログ:前号に関して第二図のブロゼツサシこよる処理を説明 下るための/(ットが5同のグラフQ)らなる図である。
第二〇 (a)図、第二〇(b)図、M 20 (Cl図1よ、第、!図のプロ セッサで達成ざnる編集における処理を示す流れ口である。そして、 第27図は、第2図のプロセッサの一部分の詳細ブロック回路図である。
第1図は状面フィルムと同期する1扇果置喚された会話を提供するためンこ目動 会話taスタジオ装置と共に勤1乍するこの発明の実施例1Oの、@略図でるる 。目動会話童決長崖は非すのマイクロボン/11オーデイオ壽コンソール/コお よびマグナーテック電子i f MTZ 600盪晋機/再生、幾/3、MTK  4O0梁円トラック再生機/ダ、:IIITE13コプロセッサlり、M”2  、jLBインターロック発生器16、MT、ii qコカワンメ/72よび相 互に接続する1言号テ1ネルをMするMT3/j/Eプリセント裂置lざ)1装 なる。ざらに、マグナテツクPxt3s高速プロジェクタ−(図示ざnでいない )は沃画を状写するため;こ含よnている。
目動会話1換万云(iD−()疋3σるような受用)こ2いて、吠面フィルムの そnぞ几のロール、対応する案内トラックSよびバージン磁気フィルム暫;フィ ルム・プロジェクタ−(図示ざnてい;い)、ミ爪フィルム再主、櫓/:I3よ びa気フィルム撮晋虫/再王丑13:こそ几ぞ?″、、長;真ざnる。非λのマ イクロ丁ンフ1らの・前号は果円トラック再主器/弘ひら案内トラックΦ丁−デ l? イオ信号をも受雪するポスト・シンクロナイズ会話G号処理装置として第1図に 引用さ孔ている実施例/θにオーディオ・コンソール/2を通して送られる。実 施例ioによって案内トラック再生$ 7 、!(からの案内トラック・オーデ ィオ信号と同期して媚果ざnるマイクロホン//からの信号の変形であるアナロ グ・オーディ万出力は、オーティ万・コンソール/jを通して録音機/再生機/ 3に実施例10によって供給ざnる。
通常の自動会話R換に3けるように、ポスト・シフクロナイズ・てツションは選 択指定されたループ部を通ってプロジェクタ−(図示されていない)2よび案内 トラック再生機を循環するMTK15ニプロセッサl!から開始す孔、ループ入 力フレームの前号を5〜1074− )動さ、次に指定ざnたループ部の端まで 通常のフィルム速度で走行する。プロジェクタ−(図示さnていない)、案内ト ラック再生機/ダ3よびMTmデ1カウンタばMT2 /!2プロセッサ/3の 制卸の下でインターロック発生器/ A 71xらのインターロックφパルスを 4えられる。ざらに、インターコック・パルスはM T24θ0録音潰/再生機 13Bこ供拾ざ几る力)しかし、この産音磯/再生猶/3による盪音にボスト嗜 シンクロフイズ会話前号プロでツサ10;こよってtlJ 、1される。フィル ムフィーニー京2よ乙ζフレーム数、=−Aオ刀つンタ/7によって晟察C:9 、アヘツ′−′Φ丁ブ・ループ、イン・ループおよびバスト・ループ;言号;= プリづット袈量/gによって与えらn1公却の7法でM T K15コブ口ゼツ サ15;こ供給される。MTE /jコプロセッサisによってインターロック 発生器16に供給される運動コマンドは公却の高速)こ3ける順方向と逆方向、 正規のフィルム速度に:6ける順方向と逆方向、停止であり、また他の標漁的コ マンドはMTFi :LBインターロック発生器のためにMTE /にユプロセ ッサによって提供される。MTFi /j;コブロマツサのオペレータの11」 睡の下にあるマスク・レコード3よび録音/再生状態信号l=その処理に2いて こわらの信号を使用するポスト・シンクロナイズ会話信号プロでツサlθに供給 される。さらに、MTZ 400婦晋慎/再生晟/3刀)正規の順万同通便で走 行しているとさに同期項方向速度は号を発生し、この信号は使用するために会話 信号プロてツサ10+こ哄−后される。刀つンタ/りによって尭虫ざ孔るBCD フィルム・フィート数2よびフレーム数前号は処理に3いてl用されるデータを 提供するように会話・信号プロセッサ/り)こ供給さ孔る。
第2図はこの発明を災万するボスト・シンクロナイズ会話プコづツサノ0の砒: @図である。第二図)こ示ざ几ているよう;こ、マグアナツク1子挨i / J  * / r ′:r3よび/り:こよってプロ1ツサlOiこ哄俄ざ几る1言 号は、l二ざモロ・バイト・メモ、1を再し、マルチプレクサ;りを創・卸し、 インタフェース/9・のそnぞ几のバッフアコ/を通してシステム状態記碌信号 と再虫店号3よびマスク・レコード信号と御万同同期速度信号を受信し、インタ フェース/qのバッファ2二を通して録音機/再生機/3にマスタ・レコード信 号を出力する第二図に示されている第/の単一ボード・コンピュータSBG/へ の/桁並列入力へ刀ワンE/7i)らの6衛BCDフィート数信号2よびフレー ム諷号を変換するためのマルチプレクサ;0を含むために第5図に示されている マグナテック・インタフェース/デとしてここで引用さnている1つの回路への 入力である。反τE15ユプロセッサ15はマスク・コンソールとして[史える ようにこの装置によって可能化ざ几る。
指定されたループ部の循環甲、MTfli /32プロづツサ15で選択された 録音モードで次に関係のゐる信号はマスタ・レコードが、活性にあるものである 。もし条件、遺沢された録音モード、指令ざnた。頂方向同期運11イン・ルー プ・アクティブが丁べて存在し、指定されたループ部の始のの正罹なフィート数 /フレームのブリてットi X / a iこよる検出)こ一致するならば、こ の・5言号i:MT”: /よ;プロセッサ/よによって発生される。こ\で、 以下の命令が英行ざ几る。
1 3CD劃始フイート数/フレームを読出し、県lのコンピュータS30/の メモリ)こ名調する。
二 埒間びずみプロづツサ・コンピユー、?33 C: tコ3F426するt めのメツづ−ジを送O%次)こ第1のコンピュータS33/のメモリ;こ記2ざ γ、ている一7ii+果データそ発生するよう;こ第1のコンピュータ53ε/ ;こヨ<)アクセスのためコンピュータS3C二のメモリ)こ時4間ひずみ路お よび分類を裕網するう 3 アアロクーデイジタルmH2gをリセット下る。
ス マスタ・レコードかオフ、丁なわち動作していないとさ、アアログーデイジ タル装盃at刀)らの割込みを可能化する。
! A果を始めるようIこ5jC−コ1らのデータを侍つ。
bq T E / 32 フロでツサによってマスターレコードがメーン・オフ されると、指定されたループ部の最終フレームに対応して、以下の命令が実行さ れる。
1BCD最終のフィート数/フレームを尻み出し、第1のコンピュータSBC/ のメモリに名調する。
22秒・間テジメイジンク・ダビングを読ける。
3 アナロクーデイジタル袈f2 gの最後のデータ・バッファを窒にして、ア アログーデイジメル装R2Jからの割込劾ひが上米ζいよう)こする。
X オ泌の処理区間数を計jしてSB O、:j jこ乏る。
j: 肯采動作終了。
いつ定ん殊曾モードで信壌ざnると、MTE /S−プロでツサ/3(;ループ 終了、恩で目効刃;こ再主モード;こ、;マンブし、ルーデフ:1側f劃疋し、 犬Iこスフ。司の王規運X:こ;=いらζいうちに一つの、恩玉で巻さ戻丁、閏 糸力る大の信号:;、−1X肯デ/再主唄/ ’J+こよって元浜ぢnる負号月 、司期ヨトご号である。30つフィート致/フン、+23 −ム匣コが、MTK /バプロセッサ/3がループを通して高速巻戻しを達成す るような記、意さnているループ開始点に一致すると、会話“信号プロてツサ/ り;こよるこの1号の監視によって輔集びわでいるダビングのD/Aス換出刃が 生じないようにざ几る。
頁方同1同期Z髪・d号刀)受・;gざ孔るど(MTE/タ!プロセッサ15の モードはすで:で再生であるとさ)、下記のことが実行さnる。
/ ミュート(au”:s ) 2iンでD/A装置ニアのデータ秦バッファを プリロード(主述の第21図の況明を参照)。
2 BCDフィート数/フレームとメモリのループMmフレームトヲ一致させる (フィート致方つンタ・ヒ゛ツiをストローフ゛するように刀つンタの最下二ビ ットをj更7羽する)。
ループ刀妬フレーム;こ運すると、 / マスタ・レコード1言号をプロセッサ/θフ)ら禄音幾/再生機/3;こ供 給する。
λ バッファ・アドンス・ポインタを。;こりてツトし、ミュート・丁フ;こす る(出刃が出足のる)。
ループ最終魚で、 / プロでツサ7′0フ弓のマスターレコード′・信号そス・!ツチ・オフする 。
ノF・ズ11.尽百て−ドでループの最終、瓢のズfこでっふそ言うσnど5、 この音声5;会1舌!言号プロてンザ/6)こよってテープ部内にょでひずよざ ゎるので、ダビングのいかなる部分も磁気フィルム上で失われること(よない。
第1の単一ボード−コンピュータSBC/はバス23によるボード内通信のため の工10ボート・ハンドシェイクのため類似のQ2の単一ボード・コンピュータ SBCコに結合される。コンピュータSBO/、iijよびSBCユの両方とも データ信号、アドレス信号2よび制御信号の2方向トラフイツクのためマルチパ スコグにHaさnる。会話処理が達:ftされるための適当な記憶装置を提供す るために、glIメカ・バイト・ウィンチェスタ・ディスク・メモリλjはディ スク−コントローラ26によってマルチパスに結合される。第7のコンピュータ SBO/ばシステム中コントローラ2よび後述さ几る編集処理の信号エディター として用いられる。さらに、72gキロ・バイトのメモリをMする第二のコンピ ュータ5BC2は時、間ひずみ処理を実行するために用いる。
コンピュータ3BC72よひ5BC4の各々はインテル社製の830 iA/3 0 である。次;こ、マルチパス21はインテル社製のマルチパス・刀−ド・フ レーム830boxであり、ディスク拳=ントローラ=6はインテル社製の33  C二二〇である。ディスク命メモリ2 j ji富士通製のMコ3/コを工で ある。
可視表示装置(”yDc)、gよびデータ人力瑞ヌニクばS3り7iこ入力され るよう;こ二−ザ厖よって通訳された処理パラメータを許丁よう;こ第1のコン ピュータSBC/に精舎される〇 オーディ丁・コンソール/ユ;こよってポスト・シンクロナイズ会話プロセッサ 10に迭らnる・井優のマイクロホン//からの万一ディす1言号)ま第3図( こ3いてD/A変喚器;デと共Mバッファ3oバスーインタフェース31と制御 長Zj+!と共に詳細に図示ざ几ているA/D f換器2gのアナログ入力とな る。バス・インタフェース3/はバッファ3θ2よび制御長f J :をマルチ パスコグに接読ざ孔ているデータ2よび制御ベスニ鈷合する。バスeインタフェ ース31はマルチパスコlIからのそれぞ孔の信号によって可能化され、制御1 言号はサンプル・ホールド回路31I2よび−A/D変換器3!を雷U却する制 #装置3−!;こバス・インタフェース31を通して送られる。マイクロホン信 号;;サンプル・ホールド回路3ダに達しないうちにバッファ瑠扁器36を通し てロー・バス・フィルタ37に送られる。サンプル・ホールド回路3ダで生じる 信号サンプルは変換器3よによってディジタル化ざ孔、ディジタル出刃は第1の コンピュータ330/によってアクセスするため人容1のバッファ3θに供給ざ nる。ざらシこ、創′卸長1、?コ、バス響インタフニース3/2よびバッファ 3゜によって烏果会話データ出刃が生じる。このデータ);バス・インタフェー ス3/:こよってデータ2よ;τ制卸バス33刀1らバッファJOjこ転送さn lそこ乃)らD/−4変換器3 g jこモ送さnる。変換器3g 7hらのア ナニブ出力)まつ/A変換によって生じる非晋濾過度戎分を取除くための公知の 回路であるデグリッチ(tis−glitc功増項器3?に供給される。デグリ ッチ増S 6 J 971)らの出刃は他のロー・バス・フィルタダ0を通って 丁−デイ丁出力増隔器グ/に送らnる。
出刃増、@器II / iJzらのアナログ・オーディオ出力に会話信号プロセ ッサ10によってMT4: b0o禄音機/再生機/3に供給5れる出力である 。
また、俳優のマ・fクロホンからの丁−ディ万人力信号ば1タビング一パラメー タ個出プロてツサ”としるさnに二個の同様な音声パラメータ噴出プロセッサ4 ;2よび!t3の一方に哄袷される。
″案内トラック・バラ、メータ連出プロセッサ”としるされている也万のパラメ ータ抽出プロセッサ23 !JMTK 4QQ果内トラツク再生溪llからのオ ーディオ出力信号を受信する。案内トラック・パラメータ抽出プロゼツサ13は 第7図:こ関して後で詳燻)こ説明さ几る。二個のパラメータ抽出プロセッサ弘 コ2よび13はバス・インタフェースヌ弘2こよってマルチパス;ダに背合ざ几 る。
ボストφシンヅ=ナイズ・づツション・こ3いて、非aが茶円トラックとの信号 そぽ−でご支の会話りせOふをしゃべるよう)こする間:こ、マグナテツク 7 t、:コブ:セッサ/S;;指定されたル−プ部を通って・盾環する。
+!7 こn)こ対応する長ざの映画フィルム:=、非牙が見るように同時に沃写さ几る 。この第1のサイクルンこ′:6けるループ入力点で、可視刃あるいは可33ヲ ー合図を受けとった俳優はせりふを話し丸める。俳優のマイクロホンl/はA/ D変換変換器部二接伏さnており、そのために、)「優がしゃべるとマイクロホ ン//によって生じる音声信号は変換器35によってディジタル化さ孔、−気デ ィスク・メモリ二Sに記はされる。このディジタル化は正−i二ζループ入力モ ーメントで始まり、第1のコンピュータSBC/のメモリに入力される入力点の フィート数/フレームを硯げる。ざらに、弁髪のマイクロホンはダヒングφパラ メータ抽出プロづツサ!Iuに凝視され、案内トラック・パラメータ抽出プロで ツサダ3は案同トラック再生機/ダから案内トラック嗜万−デイオ信号を受信す るように妥読さnl・非Aの音声信号2よび果同トラック音声前号の分析2よび 処理5よび編集データの発生、・よ;つの計真機S3C/:6よび5BC2で同 時;こ始めることがでさ、そのようをこして生じた編集データはM’のコンピュ ータS30 /のメモリ;こ入力される。ループ最終点で、 30Dフ’l’  )i/フレーム)=メモリ)こ入力され、弁受の官業のディジタル化、蓄遣3よ び分析;=、弁受がまたしるべっている4合ループ最絡点のあと約;ヤ司虎斤ざ 几る。非憂の音声データ3よび案内トラック晋!データの、8理;=指iざ几た ループ部のこの最初のサイクルの高通巻戻しフニーズ千伏行さn、上天るかぎ0 巻戻し、〒に長子される。
この第1のサイクルは、俳優の演技が満足するもので;いならば、操り返される 。
デ・fスフ・メモリ25に記2ぎnている非テの音声データが読出され、記憶さ れている扁果データに足って第1のコンピュータSBC/によって1巣さi、、 、 D/A変換器コlによってアナログ人力に変侠ざnlそれからいくつかの必 要な増品器の段数を含むスタン2r:JIA戸器(図示ざnていない)lこよっ て可調音声信号に変喚されるサイクル〒、次のステップは指定ざnだループ部を Aざ几る第2のサイクルあるいはそれ以上のサイクルである。
新しい過轟な音声信者がディスク・メモリ二S)こ記憶ざわているディジタル・ データの形式で発生さ几、この第2のサイクル中:こデイクレタ2よびZP ” !−によって評価を加えらnるフィルムのための会話として稟/のコンピュータ SBC/によって烏渠ざnる。同符lこ、アナログ人力はバージン磁気フィルム クこ新しい会話を録音するミ気フィルム録音機/再生機13に供給さ几る。5し 1.@万同1司期速夏i前号がM?hであるならば、そのシステム:=テニブ入 口3よび出口で撒iづ/再主磯/Jの録音幾雁をそnぞn;こゴ効5よび無局: こする。
新しい会話が満足するろのであるtらば、人の指定ざnたループ部で開″i3ざ ちる。しかしながら、もし覇集データが沃画フィルム;こ満足な効果を尋えζい ζらば。
そのプロでスが燥返さ孔る。
会話プロセッサ10によって実行されるディジタル・データ処理を表つすブロッ ク腺図である第6図に2いて、テープ処理ステップはフロック内の凡例;こよっ て指示される。そのため、このような凡例を肩下るブロックは計算システムによ って実行ざnるプロゼス、あるいはこのようなプロでスを実行するたbのハード ウェア装置又はいくつ刀1の場合lゴこのような装置3よび包の場合はハードウ ェア装置と共に作力する計算システムによって実行ざnるプロセスを表わす。
第6図)こ2いて、案内l−石ラックアナログ・信号は数学的に時間量であるn TL変数上の関数x、 (t)として表わざn、俳優のマイクロホン/ /7J zらのアナロクイ前号は変数ととして同じ装置での時間量であるが、独立したぷ A1である別の独工変数ヱの別の、関双X、 it”lとして数学刊)こ表ねさ れる。
会音ざnだ某同トラック2−〇タビンクフ)らの音声パラメータの発生:=;つ の細土プロでツサl=およびJ3つ1らのパラメータの周期刃出力による処理を 俸う。
こnらのパラメータは4 浬miiと3いてデータ・シーケンスとして石理慕n るよで少;くとろ−持罰:こ1己急ざnる。データ・シーケンスのlてット:よ 指定ざn二茶同トラック・・ループの之りに発生?−もう7つのづットは俳優; こよるタヒンクのため;こ発生ざnる。これらのデータ・シーケンス間のよO小 さいタイミング変更の評価は音声認識システムに使用ざちるタイナミツク・プロ グラミング技術に基づくパターン・マツチング・アルゴリズムを使用して行なわ ちる。いったん、時間ひずみデータが発生されると、コンピュータに記憶される 音Pe形データのディジタル編糸は開始することができる。編集決定に、状写ざ 孔た状面フィルムから見ることのでさる口の動きに関して完全に6ばつきつと同 期がとれるときに、可聴音声音質に最小の認識できる雑音を許丁ように設計さ孔 たアルゴリズムに基づくものである。
誹浸がせりふをしゃべるサイクル中、案内トラック信号:CI(t)23よびマ イクロホン・信号x、tt′lの両7からの音声パラメータの発生2よび処理が ポスト・シンクロナイジング操がiこ3いて行なわnる。案内トラック信号工、 (t)およびタビング:前号x2(t’)のたのの音声パラメータの見生;;天 々にブロックダS2よびダ6)こよってs6図;こ表わさnている。
このパラメータ・データは後の茨索3よび処理のため;こディスクに14こ記憶 されるかあるい:;そ孔が発生ざnると、時間ひずみ路として引用されている時 間1列データそ三じるよう;こ″時間ひずみ路の発生”ζしるぎnでいるブロッ クJ7で亘δ;こ処理さ几る。時間ひずみ躇:=ダビングの1要;件紋そ粱門ト ラックの河てする特徴;こいかに最良に1列するかを描写するも1 のである。ざらに、タビングのでグメントはパラメータ・データのいくつかある G買・;パラメータデータの丁べてからプロゼス・ブロックqgにおける音声あ るいは盆声音として分類さnる。時間整列データの十分な1が使用可能であると 、それは、タビング叉形で必要とさnるプロセス31で行なわ几るようにマイク ロ遍果丁なわち、ディジタル化=tzた記はダビング波形(ディスク・メモリ2  j 7J)ら険索さnる)の渭否λ造の論集を許丁ためにフロックtag71 zらの分類データ3よび必要ならば、ブロック50の)らの有声ダビング・セグ メントの基本的な周期テープに従って″′編集果データ発生”としるされている プロセス・ブロックタテで使用さnる。いずnの新しい編集さ:r1.た波形で グメントでもデ・イスク・メモリ二Sの第二の部分に記憶することかでさ、嘱果 勤咋のテーブルによって記憶編集さnでいる波形でグメントカらの次のステップ 甲完全堝渠及形を形成するための準消かできる。前記の、・δ理に、ろし囲愛が あまり、・・pつくつしゃべるならば、言葉の端がJnたり、;くζつたりし; いように下るためテープ出口点を越えてコ、3秒1間視行ざ几る。
ロシ、パラメータ・データがディスクに記憶ざnている;らば、パラメータ・テ ープ3よびマイグー遇桑の前記の処理の丁べてY’:h W ”j;jJフィル ム3よび茶同:・ラックの巻英゛し〒そしで上米る;ら・ば授述の再王ステップ 中に視行さ几る。もし、パラメータ・テープが記盈されていないζらば、それは ブロック’772よび!を了の時間ひずみ路3よび分類データの発三のため;こ 光分な平均的な実時間速度で処理ざnlば;らない。しかしながら、もし時間ひ ずみ路がメモリに記憶されるならば、基本″fJな周期データ(ブロックSO) の誘導、」集テータ(ブロック19)の発生、i換信号のA果(ブロック5/) の処理は第二のサイクルの高速巻戻しおよび再生フェーズ中に現行される。再生 さnるべさダビング・データのいず乙の部分でも、再生されないうちに完全に処 理されζければならないという重要な要求刀Sある。
梁同トラック信号=、(t)2よびタビフグ1言号x、(t’)を分析し、それ によって過当な短い間隔であるT秒ごと;こ1回パラメータを発生するようコこ 使用される処理の特定の型の選択は、数多くのパラメータが音声によって引さ起 こさ孔る時間′;こよって変化するという性質を反映するということでいく分不 定である。filJ足勘作:よパラメータを発生するように使用さnる計算法ン こしたがって更1罰:こグループ分げさnる。−:没fこ、3個の1用なカテゴ リが存=する。
まず第1)こ、5し両方の信号X1ft)およびx、(1:+)のサンプリング さnた変形がいくつかD手段で吏月可拒゛こざ几るならば、パラメータ);これ らの・信号の記憶さちたサンプルのブロックを並列、2!!理すること)こよっ て見主される。各信号に2いて、サンプルのブロックはサンプル・ブロック間の 所望の独二世に依存して、重なつ合ったつ、重なり合わなかったつする。音声パ ターン・マツチングのためすこ最も−;没に1吏用されているサンプル・ブロッ ク間づパラメータは、短時間零交叉翠、適時1間エネルギー、短時間の平均的ζ 犬ささ、短時間自励相関係数、短時間の平均的な1の差分関数、個別的な短時間 スペクトラ係数、ヲ形の苅兆となる係数と予測的なエラー2よびセプストラル( cepstrzl ) 係数である。前記の短時間パラメータの各々を計算する ための定義2よび手5@の詳細は/9りg年米国のプレンティスホール社出版、 L・ラビナ、R・シャファ共著「音声信号のディジタル処理」に記章されている 。
第2番目のカテゴリば=、 (t) 2よびx、(e’)を解析するアアログ・ フィルタ・バンクの出力そ、笥期的走璧3よびサンプリング(T秒ごとに7回) によって笑行することがでさる測定動作を含む。いくつフ1のこのような音声分 析システムはl?り2手ドイツのスプリンガーフエルラク社出仮、J−Lフラア ガン著「音声分析合戎2よび認識・語=、仮」に記54されている。
処理勤浄の第3番目のカテゴリは通読時間分析システムのサンブル−データある いj;ディジタルi信号:匹浬を実野丁S励かをきひ。そのシステムの出力57 秒ごと1こサンプ・jングさ孔る。A型刃;□列(畏際、・波速ざ孔る畏1ヲ1 1で7度使用さn6)は/ ? 7 s主米国のブレンテ・fスホール社出、仮 、L、R・ラビ1.3・ゴールド共著「ディジタル信号処理の理3濱と応用」に 記幼ざnでいるように設計さ:r′L笑行ざnる並列ディジタルフィルタバンク である。このカテゴリは二つの信号=、(1)2よびX2(”iのサンプリング された変形が使用可能にされることが必要である。
ざらに、周期ヨ9になされた測定のaTJ記のタイプからのいくつかの組合v1 てパラメータを使用することができる。しかしながら、使用されるパラメータの 数の選択はi更Tることが可能であり、一般に仄の考泉に依存することができる 。
参照信号=1(t+に2ける関係のある広号S!(t)は選者2よびフィルタ効 果)こよって劣化されるので、多数のパラメータの測定によって参照信号”+( t)と置換信号x、(t’1間で最も信預左のある比奴がざnる・低下の形式や 1度:ま処理の後硯の段層で使用ざnるパラメータの]択;こ形層を及、Z丁。
ろし、参照信号x、 iaが両p;こ関係する・!信号S 、 (9i ’;j ’xら;るζらば、=、3のパラメータだけが3絖の処理勤:へに3いて夏用す るため)こ必要である。
老父;こ、パラメータのいろいろな塁が発生され、こちらのパラメータの各々が 特定の通用門にある数によって記述ざちる;らば、各正規化さn之パラメータの =めに芙ヌ3つ;こ号し、)数置退団を提供するように士・マノCバラメータそ 正規:ヒする手段が提供ざnる。
このよう;正規化乎項:=時間差列データを発生するバノーン・マツチング・ブ Oiス)こ対する各バラメー3! りの寄与が:旦ぼ等しいことを確笑;こする必要がある。
パラメータの選択のための主な規!;=、いず8のパラメータの連伏するす〉′ プルで5:(al音音声発生の物理的面に関する音声信号同の著しい変化を反映 するべさであり;(b)ダビング波形をサンプリングするために必要であるより も著しく低速■で/%−ドワエアあるい)=ソフトウェアに2いて4効に発生さ れるべきであり:fen音によって容易には悪影響そ及ぼさ:rLないようにざ nるべきである。
いかなる混乱も生じないとさ、パラメータの組が並列で発生される適度C//T /秒)は”データ・フレーム”速度(フィルム・フレーム速度と区別されるよう イこ)あるいは単に“フレーム7速■として便に引用される。したがって、デー タφフレーム速■はパラメータ・ベクトルが発生ざnる速度である。したがって 、各データΦフレーム期司〒シこ一夏、並列迅浬動作が梁間トラック3よびダビ ングの両方のために行ζわnる。
久ンこ、こnらの処理上長は条内(又は参照)パラメータ・ベク:・ル3よび夕 どング(又は20)パラメータ・ベクトルとして引用gTbる21同のそnぞn のデータ妄1)こグループに分ゲて入孔ら九る。
名6図;こSいて、いろいろ;信号形式4=ブーツヅそ接子する這ったタイプの 7ぶてばって辰わぎnる。丁tつち、実衾′;先竺pバンド項のアナロタゐるい ″=テイジタル信号ルートを表わし、彼、δlニフレーム速夏ですンプリングざ nるテ′−夕のル−トを表わし、二重波憬は並列データ・ルートを表ね丁。
この例で、案内トラック磁気フィルム再生機/4の出力である3照直号x、Fj が再生され、同零〇ここの例)こ3いてマイクロホン//の出力である置換信号 x2e”)+:A/D変換器J j fこロー・パス・フィルタ3り(第3図) を通して送らnる。フィルタ37(工再生=f、るべさ最高局、Ji敢;こある 」析周及夜4’Cを再する。サンプル・ボールド回路3グはD秒J)1聞届でP ・反1言号をサンプリングし、再生さnるへさ最高周波数の2は以上の//D/ 秒のサンプリング速度を生じる。このり]tこ3いてl;、/りにヨ=(=f= )のバンド4は十分なうのであり、Dは’/3soり0秒)こ遅択されるっ −ンブリンク3よび変換プロてス:・=窟号X、、(t+)を辰C丁ディジタル ・データH,Cユつ)のストリームを生じる。
こ\に、n=0.!、ユ・・・・でめる。データ・ストリーム=、CユD)はテ ィスフ23 iこ4込よ孔て、更に処理操向のため)こ受用再正であるように採 得ざr、る、信号=2(t′)がサンプリングざF+ 、テ゛イスク2こ舊さ込 ぽnる−7、モnはパラメータのQ ’= コじる5nているブロックも4こよ って1司時;こ処理ざ几る。1司様;こして、信号X+(a=)゛ロック45i こよって1司辱:・こ処理ざnる。二nらの=、回の、司う;フロッグ’!J3 よご;7石のl、固:=第を図、・こぢら2こ詳−1旧、こ景7)ざ几でいる。
この共兄刈1と3いて、参月官号バラメーヅ・ベタトルN(にT)・・:l:N テ1ネル・ディジタル・フィルタ・ハングを含む零同トラック・パラメータ佃と プロでツサq3のサンプリングさn1対数而;こ爵号化さnた出力から各梁同ト ラック信号フレームk(こ5に、k −/ 、 −b 、 J・・・・)で形成 さnる。同時;こ、並列プロブスに3いて、1換言号パラメータ・ベクトルB  (JT)はNチャネル・ディジタル・フィルタ・パンクを含むタヒング・パラメ ータ抽出プロセッサ、I4のサンプリングさ几、対数ゴヨに符号化ざイtた出力 力)ら谷フレームJ(こ−に、j−/、2.3・・・・)で形式される。、!: 固の1司様なフィルタ・バンクば:司−の番i生を有する。フレームj=/およ びに一/のためのパラメータ・ベクトルにT秒の第1の潮間の終りで生じ、関係 の力るそ:F’−6n、の信号・1まこの再/のフレームの侵で祐ぼろ5のと仮 定する。
第1・図;こ2いて、=、e)からの止(:=T)の発生の評、細が示さ几てい る。x2jt’) 71’らの旦Nn+)の発生は、司様ンこ英1うざ孔る。し たがってそnl=図示されないかあるいは別々 )こ説明ざ几る。
帛!!ス:こ2いて、人力1言号工己t):;、i/D変遺器(A/D−C)  A: 、7のダイアミック・レンジの大部分はクリソどング;しで受用ざ几るこ とを范果)こ丁うためぜこ調15孔でいる〒1」号]の可変利:尋眉易器投5= を最明1こ通る。゛反り;こ、増1ざ、7′i、tアア:グ・言号フ5晋肩言号 りこ:617 ル扁、@ 波エネルギのロール丁フ(rつ1二つゴ’ )’i:  ’I O下る/Xゴ2つ)らII KEzぽでが二る住B/丁クメりブの利得 のものであるなら、=、そn);高A反ブースト回路3字(E(Fブーストとし る一6f、ている)を通る。そのi4得う孔る信号はロー・パス・フィルタ(L P?)j!(例えば、lIエヨ2で遮断の通過帯域、転移↓幅ハ、251通過帯 域IIツプル0.J tiB 、 AOeL3の最小のストップ帯域減衰をMす る7階数のだ円関数設計)を通過し、その猪果碍らちる戸、!信号x1.・t; (こ\に、タラシュはxlのF波された変形を示す)は、この例に2いて、すン プ1ノングざnたデータ・ストリー1h x’、 (ncD) (こ5に、工= OJ、2・・・・)を生じるように//cDHzのサンプリング周反数で作力す るlユビットのA/D変換器(A/D−C)である変換器S3によって追従され るサンプル・ボールドi t (S/H) s = 71)ら成る組合わせによ ってディジタルfE C”れる。足数且;よ、率//QFか蓄を遍渠2よひ再生 のため置換信号をサンプリングするのコこ使用ざ几る星/1つに整数的1こ凋遅 されるように車数である。
この手段・こよって、同期);サンプリング信号xl、 (zD )とフレーム φインデクスj3よびに、司;こ4秀ざnる。
C= q (I7 i:がって(CD) ’= g X:I2 ) ノ丈用;コ 、: ツテ、バンド晶2よひサンプリング速度が戚少し、したつ3つて、パラメ ータを発生するの;こ必要な処理1知≦コ1;′O58ざ几る。同時(こ1畏変 のさつ、つて式し)・1報・;天T)nる。
テーゾ・ストリームX+、(二〇つしは、二J二列))ントノ々ス・フ・1′ル タ部B?Fi(こN、こ、−は司反攻帯域孜を1丁) 39 からなるディジタル・フィルタ・ノ\ンク57に入力ざ几る。このシステムに3 いて、N−4,’jよび1更用ざ几るフィルタは、次の連断周波数(−,7a3 減良)をゴするt階数バタワース設計を帰納的:こ実1したバンドパス・フィル タである。
ど71’夢 劇量逝−貫ス玄 よ退u展身鷹/ :l!OH25θ□ Hz 、2 5θ□Hz 1000Hz 3 /DO□Hz 2000”1z 2000H2弘θooaz このようなフィルタの設計および実施はよく知られて2す、1775年、米国の プレンティスホール社出版、XI−Rラビナ、B・ゴールド共著「ディジタル信 号処理の理論2よび応用」に記載さnている。
=’1(:ocD)に2いて≠KBZ上ユの扁周瓦数帯域(即ち、帯域ダ)に入 る周及数の小腿団の許容されたa′−1asi3g”は異常ではあるけれども、 II K:(Z上位のいかなる音声のエネルギでも、追従するパターン・マツテ ンクープロセス;こ害4することでM用であるという点でン;望下しいところで ある。
谷バンドパス部BPFiの出力は以下同様コこ処理ざnる。
各BPw出万、・;ブロック?7R二で全波)流ざn1亥禿・信号、;その谷々 :=約10 Hzの遮断周反数を]する二固の1列に接読さnた1階数の肩7″ 、や丁い積分器より;、已ロー・パス・フィルタLP7 i 、通る。このフィ ルタは入力信号を:!−滑化し、そちによってその結果′得られる宕号はM Q 図に慨略的に表わされるスイッチによって1秒(こ\)こ、T=o、ot?8) )ごとにサンプリングすることができる。最後0こ、サンプ11ングされた出力 データはブロックLOGに2いて(茨梁表ンとよって)Sビット対数−t Ai (kT) (こ−に、サフィックス1ばi番目のバンドを示す)に変換される。
したがって、Ai(kT)は正規化パラメータ・ベクトルの5個の成分の7個で ある。そのレンジが1接比較できるこnらの成分の逐次アクゼスは、完全なパラ メータ・ベクトル人(kT)を形成するためのマルチプレクサであるブロックS ヲであって、パラメータベクトルの形成としるされている前記ブロックよ?で実 行さnる。
フィルタバンク・プロセッサダ3から次の処血段階へのパラメータ・ベクトル・ データの移粛は二個の犬容1”’バッファ・メモリ602よび6/()くツファ ・メモリ/2よびバッファ・メモリ2)の1 !vAにシーケンシ1ル令パラメ ーターベクトル(チャネルごとにlバイト/フレーム又は全部で3バイト/フレ ームからなる)を記憶することによって実行さnる。前記/<ツファ・メモリの 各々はパラメータ・ベクトルの整数の、音数Rそ呆脣する。こhらの大容号バッ ファ402よびシlの一万が凋坏;こ;ると、新しいノくラメータ・ベクトル、 =恵方の/Xツファに記憶される。さらに、第二のバッファが(m fF iこ ;ると、時間ひずみ路元生を笑行特表昭5959−5jo432(1 するプロセッサS B O2は満汗のバッファにアクセスし、処理中に起りうる アクセスのためその内容の他のメモリ・エリアへの移動を開始する。満杯になっ たバッファ6θ2よび6/から当該データが伝送された後、バッファは新しいデ ータで書き込よりる。このような二重系のバッファ・システムは、データ伝送が 次段の処理部ンこ対してデータ転送がなされている間シこ、いかなるデータも失 われないことを確実ンこする。
Rパラメータ・ベクトルを記憶するために2X系バツフア・システムを使用する ということは、1 、B5のバッファつia杯の後、k番目のパラメータ・ベク トルかめる1個のバッファに記憶さ几るべさ第1のベクトル云あるならば、(K −/)番目のパラメータ・ベクトルシこ刃口えて(k−t−R)番目のパラメー タベクトルが以濱に満杯にされたバッファから亘ちに使用可能にされる。したが って、パラメータ・ベクトルに対する次段の処理は厳密には実時間処理ではない けnども、その処理は可!遅延ζこ基づく英時間速工で作動する。バッファ60 および61の切換海洋は第’I’EJiこ慨略的に示されている運動スイッチ! 、;によって行な、?)?1.る。
時間ひずみプロでツサの説明 ′X1こ、時間びずみ路の発生としるざnでいるブ;セス・ブロック77(第6 図);こまって表?)され6動咋が詳細に説明される。この海洋は第2の1−の ボー;J・コンピュータSBOコ・;こよって実行される。時間ひずみ路:・= 、ダビンーグ・フレームが簗返ざr−あるい)=省壜ざ几ることを許丁ことによ って案内パラメータベクトルの一定のシーケンスに最も良く一致するダビング・ パラメータベクトルのシーケンスヲ(フレーム・バイ・フレームに週づいて)見 つけるように梁同3よびダビング・パラメータ・ベクトルを処理することシこよ って生じる。この実話的において、パラメーターベクトル2ユ茶同およびダビン グ音声信号のスペクトル横断面を表わす。タヒングおよび梁同スペクトル横断面 間の項似註を対比するために、ぷパラメータを比較しないが、音声パターンでの 差を三)こ強調するようにして、瑛境牽沖あるいは碌音条件に対して敏感でばな いようVこ処理される面立な距雅関衣が・吏2甲される。ダビング・フレーム・ インデクス番シーケンス、丁なわち、タビンク・パラメータ・ベクトルと果同パ ラメータΦベクiルとが最ら艮く帯列するj−直のシーケンスはブコ゛ンクF9 の編集勤咋に対する入力である時間ひずみ路を規定するっ こ\で、″距誰”という用語;;距碓を溝、戎し、らし、λ・′固の要素が、司 じで、その数71S1百の要素がとる丁−ダ)こ関系なく1同じでゐO,要素の l対)こ関連する数ンこ対の1つ3よび第3の要素に力遅する数をプラスしたう のj=、対のもう−73よび第3の要素2こ関連する数に尋しいか、めるい(= 、そちより大きいというだけζら、ゴ、その数は0であるという粂1牛を情足す る英数で−′13 あって、負数ではない数の一岨の要素の各対に間通する数学Iliつ関数を1末 する。
王と二の関数であり、V(kT)と書かnる時1間ひずみ路は次の二個の特性を 有する参照信号パラメータ・ベクトルΔ(R”)のデーターフレーム・インデク ススの非減少関数として形式的に特定ざ几る。すなわち、これらの;;固の特性 は:第1には、k=/、2.3・・・・、に1)こZいて、W (kで)は10 N−らJまでb含めたmA÷こ3ける整数のシーケンスである。こ\Vこ、x3 よびJは参照信号および置換信号のそnぞnの最終フレーム・インプラスとして 規定される。(一般暑こ、参照2よび置換信号のパラメータ化が同時に行なわれ るtらば、J=Xである)。第二に、W(iT)は置換パラメータ・ベクトルB (3(’x″′))のシーケンスつ≦参照シーケンス人(k’I’)に最も良好 にあるいは最コ疋一致することを記述したがって、l換パラメータ・ベクトルが 参照パラメータ・ベクトルに最・b艮く一致している?(k″′):;玉た、置 換・信号X2 (t’) ;こ2ける重要ζ時1間従属考徽と参照信号X1(a  ンこ2ける対応する特攻とが帯列するであろう置換信号工Jt’)の時間スケ ールの時間ひずみ(丁Cわち、引さ:甲7ビしたつあるいは三うじたC)関数と して記述する〇 参照5よび】A信号x、jt):、;よび−”’+’r: 一定y長さくしかし 、丘意の長さ)であることが期寄ざnるという事実のため、こ、昨、j)面で河 、限長洛として、側双■韓で)を表現することが可舵である。−次元喧喚ベクト ルと一次元多照ベクトルとが最もlく一致している将1間ひずみ路の列が第7図 に示ざ孔でいる。−次元ベクトル(はぷ−のパラメータ、丁ζわちN = /、 刀)ら生じるベクトルであることを1米する。
Xζるインチフスが、3ミ上のインチフスのシーケンスがJすり当てらnる参、 照シーケンスを辰わしているだの、路境、f−条:牛t;、k −/、jo =  ’、V (/T) 2よび/jo Jであるよう;こ、いくつかのJO′7J )ヒしろゆるくさnている。同家;こ、jOjyJのようζいくつかの57−N (”<T)か存ヨする。烙がj−7で妬まりj=Jで終る必要がないことは当業 者Sこは明らかである。しかしながら、X洛・直の合計、すなわち、1(kT) の′直フ)ζば几、=ζらζい。
・=く大な数9可18生の力る路のうちがろ毀艮のものを鬼見するのに1用ざ几 る平頂、=ゐるfA L公印の羞藷λ識仮術から導つ1nる。こ、フようζ吸材 jこ3いて、bしい71);る611蜀も課てら孔;い;らば、1(l、))ン こよって示ぎt’u Q 2つのベクトル−1の距雅(又は相違)の1つの5云 そ与える定力にいくつかの置頂バラメーアルゴリズムが使用ぢ几る。
i(R,j)の7つの17毛な定態、=N次元パラメータ空1間8こ2/7る重 みづけらnた“ンティ・ブロック”てカる。丁ぼわち、a(k、j)は欠のよう ;こ定義ざnる。
こ−5こ、Yl(kT)はに云目のフレームのための重み軸歳であり、′慶で説 明される。池の距雑の−X、きざ、たとえば、ベクトル、間のユークリド距雅の 2乗が夏用ざnる。王が一定のとき、d (k、j)の・I・;ま且こ共に変化 することがゎ力する。
同様に、冬がそのそれぞ4″、の鹿j/からKよで変えら几るとき、a(に、j )の:直し〕せ計l−1王の谷特足のX直;こ対するJに対して選ば孔た′lが 変えらnるとさ変化するスコアを提供するとさに1更用される。したがって、ス コアj: を換フレームのテスト・シーケンスと参照フレームの固定シーケンス との一致Iこつぃての可用す認で示さ几る評′11M8を与える。ざら:こ、主 が7から工まで、且がjo=y(/’r)からj7=7(、にで)玉で変えら几 るよう;最小あるいl=最良の全体の二−アがある。
最適のスコアを央足するたのの路の開疋照r’;: k−/で固定ざnているの で、スコアは最終フレームインチフスX;こだσ従属する。し之コ)って、最」 スコアはスの式S・K】で示ざ几る。
れ自身、kの峙定の関数である)までなされ、そ孔;こよってその頑果生じる合 計は最小にされるということを示している。したがって、Xベクトルの2:固の セットの最良の一致をみつけるために、前記の合計S (Kjを最小にする洟( 適活な路の制約で)のX最通1直のシーケンスを決定することが必要である。/ からxgでの範囲坦に対して最小値−i:提供する且の将足の関数に最適時間ひ ずみ洛Wに=T)を正式に定義Tるものである。
他の時間ひずみ関数はさらに、l?ざO手発行[工2KKTranSaC’;1 ons on ACOllSt、iC8,5peec、n and 51gn1 iP=ocsasi11+24 第2 K巻、ga号、第623頁〜み33頁の C・マイ1−ズ、L、ラビナおよびA、ローゼンベルグによる論文[分推ざnた 単語認識のためのダイナミック時間ひずみアルゴリズム)こ3ける性北トレード オフ」に記載ざnている。
フレームXに3いて、最適路;=、立(ZT) ?6よび且(Jx)がマツチン グ・プロセスで6理された後、最適でめるべさであることが印ら几るだ汀である 。さらに、連続音声のパラメータ化ル;さn;1場合、X、=しばしば数千の万 −夕である。したがって、最適路を、散7匠遡2こ検累するた力に前記の公式を 1妥;こ笑1するざいに要求ざ几るぼう天tデーメの蓄積3よび8理を故匠刃、 ・こ4少させることか必要である。これ1.−二つD果貢刃5・こ−似の1罎吉 :信号のた力の時間記念データを発生子シタメのM効;処理アルゴリズムの;り 正、仮の使用を通して実現されることかでさる。その処理アルゴリスムの;6正 ゛板は英国のリード大学で/9g2手7月278〜7月2q日ンこ@催ざnだ1 1−ド芙謙肯戸学シンボシニムで:;、 S、ブリドルによる論文「晋声研兄に 2ける目動時間調苓3よびその′i2月」において提示さnている。
)正、板を説明する前;こ、ブリドル1こよって、A圧ざ几た7原アルゴリスム 71)犬に税′3Aさ几る。ZIP (2つの項以の信号シーケンスを−1にシ ツピング(Z鞭pi!Ig)する動作のため)として矧らnているブリドル・ア ルゴリスムは:収ら几た数の潜しシこ最適な路セグメントを並列に発生下ること によって、宸扁(最悪)頑虫点スコアをMする最も再正註のない反浦そ衆云する こと、こよって作動する。路セグメントの端を口広張するための発生規則はタイ ナミッ・フ・プロクラミンクの京埋、その大きざおよび路瑠分の方間へのilJ 約2よび局部群間スケールひずみのたのの不利昼によって決定さ?1.る。
不元分な医涌首が余々(こ除去され、即ら否定ざnて、竺ての残りの烙)こ対し て共:A;/固ぽ之;=a孜固の路要素を含む荷重のでグメント;こ組合T)ミ nて、1冬愼万な娼照をMする、よつ長い路が曵さnるようlこして、てグメン ト)こ2σる最良の石が見出ざ几る。bし、余云慟咋コ)具重;こ;ざnるζら 、=、共−dてクメン:・1理項遇路1g(<T)の部分である。し定フさって 、洛1グメント:よそnζOj・こ、路づクメントが分反丁e鳳丁で出力5れる 。処理さnる告参照フレームの二、0の処理が元くシこつれて、盃がユニットに よって1蒲さnるので、路はl増分だげ菰張される。丁なわち、必要な除云操作 が行なわれ、残りの路の起点は特有性のためと調査される。しかしながら、路セ グメントの始め、すなわち、路セグメントの拡張されない終りが、収束の要求を 満足するときだけ最適路セグメントが出力される。したがって、路セグメントの 出力は一般に参照フレームのL浬と同期しない。
zエルアルゴリズムに2ける時間ひずみ路の発生は単語認識システムで最適のス コアを計算するためにしばしば使用されているアルゴリズムに類似しているアル ゴリズムを適用すること3こよって効果的に実現される。
公印の単語認識システムは、19g−年S月パリで開催された[音響学、音声2 よび信号処理に関する工113国際会議篠事碌」の第J9q頁〜第デ0コ頁のJ −8,ブリドル、M、D、ブラウン、RoM、チャンバレインの論文[嬢晟さn た単語認識のためのワン・バス(one−〕a83)アルゴリズム])こ開示c  tLでいる。し小し;から、単語認識アルゴリズムと違って、最適路;こ沿っ て発見される最適スコアZTPの最終猪果で;いが、最適路で;=ある。したが って zxpは違った起点から1行)こ始まる多数の路を開始点から最絡点まで 最良のシーケンスを記述するよう)こ発生さnる6路と采ンこ処理ざ几るよう; こ設計される。この処理を説明するため;こ、部分洛スコアは次;こ説明される 。
最適スコア3 i、K)に対する前記の定義を1−2)こS張すること辺よって 、工の範囲に3〜kaとJのiヨ3S〜kに対する距離d(k、j)の和を出来 るたけ最小ンこするよう;こいくつかの開始照(ks、jJをいくつ力Sの終了 点(χ8゜je)(こ\;こ、’cs (ka 、 ja≦コe)に接続する路 のため;こ最適部分路スコアを定義することは可能である。
このスコアを最小にし、それのために最良の部分路セグメントを記述するjのシ ーケンスを発生する!の関数はJ’2よびjaに従属しvrjs 、 je(′ cT)として記述される。
所定の3sとjJ3に対して、ユの!シーケンスだけが主の一足の範囲乏こゴし て最良の路を記述する。それは(k、D面÷こ)ける2点間ンこ唯−最良の路で グメントがあることを意天下る。ざらに、W(kで)=WS0.8了(kT)な る、間係がある。
最小スコアを生じる洛のための検索はタイナミツク・プログラミング(または、 再局最造化)アルゴリズム;こよって2工Pで実行される。タイナミツク・プロ グラミング(D?)アルゴリズム子こ2いて、;つの三;頁理コi S jK’ 7を六足するざいと1(χτ)を決定するざい)こ受月さ7′1.己。T;わち s’二)’刀)らX富での1の全ての遮ヨの小部分;こ対してB Aである。t 2i ”小らいず’F’−Z’の・1kaよでの4の直に対応するνの値の最適 徂は対応するこれらの処理そ用いて、z工pは久の再、帯のD?万万民式5した カニって最良の部分スコアの1直を発生下る。
ここに、関数p (a)はスコアが局部時間ス・1−ルひずみのたのの不利=を 含むように含互nる。DPステップとして引用されているSpのための前記号壜 式は最人路・1頃斜がユにするように制約する。したかって最大瀘撲信号圧扁羊 は=二/になる。
DPステップの主要ζ面は、”、C= keで新しい終点に対する最良のステッ プが新しい硲照で閣にし、l=均−lで高々3つの以前最良でめった洛端まで戻 って浅業し、i艮(丁;わち、最低)スコアを発生する路;こ新しい終点そ接洸 することシこよって発見されるということである。こ、77、 i;j D?ス テップの点(k、j)iこ対して肝ざnだ(!=、j)面に3する路を描く第j 図ンこ列示さ几ている。
#jC,a = Or、;らば、童笑フレーム刀)涼返さnる(丁なり”)、( −c、j)itこ3ける不平ステップ)ことそ示すZl、又、;、a==;らば 、羊−の崖侠フノーー7))ステップされる( (’(、j)面、こ3・7る低 置の対角ステップ)ことを示し、異った(、央定E’! ’x )不利=が富力 ら几る。
a−/(下なわら、(klj)面;こ2ける対角ステップ)については、不利益 が含まnることはζい。
路が取入nることができる。^返しによってS張tて対するいかなる形式的な制 限もないので、a=θに対する不利益はa==に対する不利益より一般に高く設 定する。
Z 工Pが多数の詰1を並列;こ調査する語本的手段が茅ヲ図を参照して以下に 説明ざちる。ZTDのいくつフ)の将致;よこ\では1単:こするためシこ省賂 さnる。271めに、5個の這った路の第1の要素としての一=lの場合のjg =/からjs=LまでのjlIについてのLの逼続租が第9図(a)で示さr、 ている。これは最初のステップであるため、こnらのLの遅伏)直にざらに一時 3つに各路の終点を規足し、このため、そわはDPステップを計算するまうにあ るデータか保脣ざ几るべさである要素の窓(Vi!1dO−、、)を形成とする ものとして見なざ几る。いくつコ1のデータ・アレイは必要;データを採得する ために使用ざnる。盪にこ、窓円での各所しい可能色のめる路肩;こ河して、対 応する路スコアjま”スコア”という名のデータ・アレイ5こ品薄ざnる。−・ 固の這った路5こ対するスコア;よ丁べて最初ンこ0;こ1ツトさ几る。次すこ 、L−i−+2偲の距離;;、l=/での参照−、クトルとj=/コ1らシ=L +2まで、7)最:刀のLm;・口の置換フレームの谷々のベク:・ルとの間で の計y″Ji独i 1−5て社;nる。こnらの距撫;;テ・1′スト(D本で )ζいの名前の第=のデータ昏アレイに長寿される。二面の余分の距雛のズさぎ は、D:′ステップがに=、 j)面)こ5げる低量の対角に沿って(/、L) で侵る路を(Q r L+コ)玉で5張することができるように使用可覚;こさ nる。
工の各ステップで主の2単位だけ思を拡張するこの動作は第9図の(a) 、  (br :sよひtelでの(k、j)面のグラフで図示さnているよう;こ; :/の最大頃斜で上の万に(高位のjの方へ)路深累窓の上部そ同ける。
、二の底部で、Tなわち、j=/以下で、終端3よびスコアが存在しないという ことに、3−/のとき、DPステップがa = /あるいはa = 2ステツプ を試験しないように、同家(こ、j === ’のと@ a = +!ステ゛ン プを試荻しないように、制限ざnる。
罰記のスコアの計算さnた距避2よびアレイを受用することによって、ZI ?  i’ユDP万1.呈式を使用してL÷二の新しい終点の谷々に河して独ニして 新しG)最良のスコアを計算し、同時)こ、各々、最良のステ゛ンブを提供する ユの対応するインヂクスをノ寸ス(pAT:()と呼ば几る洛妥素の二矢元アレ イに2いて省略する。
Jインプラスは最良;こステップざΩるフレーム令インプラスを指示する。した がって、谷インデタス+−笑際、前のフレーム路肩へのポインタである。−4f iするポインタはその逃点;で戻って追跡ざnる路を発生する。バス拳アレイは 多数のこのようなポインタのス:・・Jングを保香する■ 最初のDPスステップ後パスの第1列;=l力)ら−÷コまでの互のインプラス でフ里に満たされる。これは、(k、j)面の部分が前のステップでの路要素の 終点のまわりの仮想上の窓を指示する破線によって第9図の(a)。
(b)2よび(c)で示される。Dpステップかに=/、ユ、3に対してそnぞ 4行なわ孔た後、スコア、ディストおよびパス・アレイは保持ざ孔る典型日9な データと共に第7図の(a) l (1)lおよび(clで示されている。
スコア・アレイに2ける各要素は特写の終端2よびそのスコアに導く前の路要素 のシーケンスに対応する。
各々の細目の路はスコア・アレイに2する対応するスコアと同じインプラスを有 するパス・アレイにおける1行として保持さ孔る。
再び、第9図に関連して、プロセスの次のサイクルが央行さn゛る。
L+−個のD?パスップが行なつれ、新しい終端がパスで除かnた後、ZIPは 久の参照フレーム)こ工を歩進する。丁なわち、ZIPは新しい温点ベクトルと DPステップで必要とぎnる1換フレームのベクトルの各々との間の距礁の新し い組を計算し、DPステップ方色式、足雅のアレイ2よび前のスコアのアレイを 用いて丁べての路を孤長し、そrw iこよって、スコア2よび新しい最良のス コア)こ対応するスの路肩要素を発生する。
こnらの路肩はパスに2いて過当;路妥素のシーケンス:こ付コ0ざ几る。最後 の参照フレームが処理さnる;で、ざらに次に説明ざnるべさいくつフ1の処理 ;こ加えて、このサイクルば燥返さ孔る(第?スの(b)とtelこ示さnるよ うに)。
DPステップに3ける局部的な路の制約の2択ンこよって、もしそのステップが スコアンこ3ける最新の入口力)ら開始することによって、そして最もヨG)入 Diこ対し、て逆方間)こ作用すること;こよって計算ざわるζら(了、その洛 は互)こ7差することつ)でさなG)とG)うことを確笑;こする。い1し;が ら、後述ざ孔るように、こnらは共通づグメントよでたどることができる。
それ以上の処理つくさ几なG)ので、6路);谷DPステップに対して長さが/ 亘豆fこけ長くなり、路の数、スコア3よび距雛)よ谷ステ゛ノフ゛iこ河して ユ単位だけ入さくなり、長い信号に対して又用的でなし)メモ1」2よ乙\計真 のXを迅祝面lこ殉刃口ざセ′Q必女7J’のQOb 工pは3個の違った仕組 )こよってこ几らの間但を避けるうのである。
除去操作ゑ@!;その上端3よび底端の両方を411 □却することによって窓 の可法を効果3勺;こ市:+、aする。谷5照フレーム;こ酎して、スコア3よ び姑の終端7)祈しG1阻考1丁べさ事慴小ら省略ざ几る。こ9 jこ]えて、 そのS ざが次のD″′′ステツプ算ざn;いようにされる。
果際の最適の路に沿ってのスコアと現也最過な路のスコア(丁なわち、現在のフ レームで終る最良のスコアをMする路)間の垣がスレ゛ンシュホールド量より少 ないぽよである7>ぎり、最適ζ路(ま汲して皺去操Yヌさ:r1.7Aい。こ の除去操作の計算〒、各人力フレームのたのに見つげ出さnる計算された最良の スコアiま負C)スレッシュボールド1直に等しくてツトされ、残すのスコアは この7つに関連して計算ざわ、そのため9こ、可j巳であるスコアの範囲は相当 に減少される。
可能である路の最大の長さは% 7個ある(7)iまそn以上の路要素のために 最適な路上の残余の路でグメントの開始要素の収束の1間の一致;′i:i立す るためlこ除去操向を許容下ることが必要とされる参照フレームと同数の路を保 持するのシこ十分であるメモリを保持すること)こよって、いくつかの比較的小 さな数(声jえi;50)に制限される。次に、残りの烙(こ共通である要素G ま1(kで)として出刃ざnl こnらの値を味秀するノ寸スQこ3けるメモリ 歪量);更)こ・1用するたがこ屏放ざ几る。
メモリを′減少するための第3の士徂ンユ円形(ある0はリング)メモリ領域と してスコア3よびニーアレイ:こよって実現ざnる。;ス元の昆アレzf i二 七の、!:欠元の缶々;こ3いて円形であるべさであるよう!こ実現ぎn、実質 的1こ対角)こ(′L、:J)面をづ動する二仄尤の窓として動作する。そちは 最=aでめるl;’tviEの下での路セグメントを含む。
しかしながら、フィルム−案内トラック信号のための録音条件とスタジオで録音 ざ孔たダビングのための条件とは通常かなり違っている(例えば、雑音が多く、 反響があり、遠方にマイクロホンを設置すること)ものである。
参照2よび置換ベクトル間の距雛を得るために使用さnる平頂は、したがって、 これらの長期間の信号差の影呑を最小;こする刀)しかしZ 工Pはこnを確実 にするらのではない。ざらに、Z工Pに2ける時間ひずみ路傾斜の制約は、bし このセグメントがその期間が参照信号に2ける対応する漂声音の期、間の二倍以 上である無声音Oこ読くものであ几ば、計算さ几た最良の路によって音声を含8 置臭信号のセグメントで1換フレームを省賂するように!:” ′r++ること かできる2=7の比至まで童戻:言号の最大の三嬬を制限する。所望されるアル ゴリズム応答は音声よりはるかに少ない制限で1戻信号:こ2ける無声音がS張 ざ1之つあるいは圧aE f’したりすることを許容することである。
こnらの欠点は、zI:lアルゴリズムを鳥王することIこよってこの発明の斤 ましい果1列ンこ2いて克服される。その1コ正は果円トラック3よびダビング 音声:言号のあ貫に悶するJつの反足;こよるものである。(1)入力して最初 の=、Jセで、音声1=ヰ三しζい両7の信号−こ、=いくつ、?l)のフレー ムがあり、そのため、パラメータ・ベクトルがスペクトル”54 S面を表わす ので、各フィルタ・バンドからの最低の出力直は背景雑音のサンプル力)ら発生 されること。+2)案内トラックおよびダビング信号(u Q aBをこえるS −N比の条牛で)は通常1似の音声サウンドを含み、そのため、対応下る周波数 帯域に達する最大レベルははゾ同条な音声サウンドに一致し、したがってこnら の帯域のスペクトル・レベルを正規化するための参民レベルを提供するというこ と。
(3)ダビング信号ははゾ理想的な条件(すなわち、高いS −N比)の下で入 力さnlそのため、ダビング−フレームが音声あるいは背景雑音を含むか含まな いかを支出することが容易であり、こ孔と対照円に、案内トラック信号は雑音2 よび望ましくない信号によって著しく劣化ざnること。
斤ましい夷1列で1用さn;I参上ざnた2工Pアルゴリズムに処理のうちの3 つのi階Jこ2いて通読的な基準に基づくパラメータ・ベクトルを処理すること によって時1間ひずみ路を発生する。第1の段1晰I;少なくとも1回置行さn =ばならない切期1ヒブロてスである。
主な時間ひずみ路の発生、=第二0よび第3段階で行なり71.る。
第10図でブロックで示ざnているぶlの段階で、2〜3秒s 丁’LL vち ニクO〜3θ9フレームを古1する果刀トラック3よびダビング・パラメータ・ ベクトルの両方の多数のフレームは第一!2よび第3段階に3いて必要でめる長 勘1間の言号特白′r)丑−1i1iiをするように分析さnる。この長期間の データ5=パラメーターベクトルの各成分のために生、戎さnる。笑、祭的;こ はデータのいくつかにわたる第1の処理段階である第1の没階壜二。
三要な処理刀)霜互る前に一団尖行ざnる。こ几にU口えて、それは長い期間の 差量を更新するたのに比収刊散発a′:′Jに(たとえば、2秒あるい);2秒 以上ごとに7回あるい・:=信号→ヰの支出変化に応答して)実行さnる。
第1/図のブロックで示さnている嘉コの段階で、ダビング・パラメータ・ベク トルは嘉/段階の長期間のデータを使用するいくつかの違った動作でフレーム・ パイ・フレームの基準(第1の処理段1着のざいと違って)に基づいて処理され る。丁ζわち、 a)ダビング・フレームを音声二6るいは無声音として分4す る)b)対、5する茶同Tf誠とダビング帯域との1間の長期間・のスペクトル 差を除く所定の処理を実行し、有用な(丁ζわち、旅曾のζい)ダイナミック・ レンジを内質)こすること。こ几)こ刃口えて、データの定めの多数のワーモン グ・アレイ;=第3の段階;こ2′グる愛用のj消を整えてダビング・フレーム に詞する時間変更データでロードざnる。この時間変更データはそ0ぞCのタヒ ンク゛−フレーム分Aか音声ゐるいに無声音のむ)ず几でゐるコ1にした刀)っ て変更ざn1次のものを富んでG)る。丁なE チ、”) ”L A Tるダビ ング・フレームが手声音として分類される最初の割合の期1間の2云で再サンプ 1ノンク゛q ざnる前処理されたパラメーターベクl−/し、))対応するダビング・フレー ム・インプラスi、c)分類(音声/無声晋)指示部、 a)ダイナミック・プ ログラミング・パターン・マツチング・ステップで使用されるコイ固のペナルテ ィ。
各フレームに対して7回ざらに実行さ几る第3の段階(第7二図のブロックで示 されるように)で、アルゴリズム:よ第二の段階で発生ざnるモータを処理し、 ダビング・フレームを案内トラック・フレームに整列するための多数の潜在的に 最適7,1′時間ひずみ路セグメントヲ計算する。さらに処理をするさい、その アルゴリズムは1限定された数の路のうちで計算されたえ良のものを省さ、次に 、こ1tらの茂りの洛セグメントが所定の条件(その起点の岳異白に関連する) を満足するトサ、そのアルゴリズムは時間を整列させるたの6CiAζ路を頁わ 丁(音声がダビングに2いて現われるとき)将Mな路づグメントを出力する。代 替的iこ、無声音7J)比双的長期間ダビングに3いて現わnると、1つの路: =、ダビング無声音がフレームを省昭すること)こよって7二ノの最大比=で圧 縮されるか、あるいは、ダビング音声と案内トラック信号と71)う互く一致す る定りの検檗のさい)こフレームを藻返丁こと′こよって孟期潰りこ′5rk張 ざnるシロこよって、発生ざ几る5のである。
第7段階の詳細 第10図に詳細に示されているように、第1段階では、距離の計算とダビング・ フレームの音声あるいは無声音への分類との両方に使用される諸種の時間が変化 しないデータが提供される。第1に、録音条件、線形利得調整、2よび、音声ス ペクトルだけの差に関連しない背景雑音スペクトルにおける差に帰着することの でさる案内フィルタバンク出力とダビング・フィルタバンク出力間の差を取除く ために、スペクトル・レベル2よびタイナミツク・レンジの正規化が提供される 。この実施例において、この正規化は対応するダビング・バンド出力レンジに案 内の各周波数バンド出力レンジを写像するための茨索テーブルを形成Tることに よって実現される。第コに、雑音の平坦部の下限は士ダビング・パントコこ2い てセットされる。第3に、2個のスペクトル間の差を測定するさい、スペクトル ・ピークの近くで起るこれらの差は強調され、低レベルでのスペクトル玉ばあよ りシ調さ7′!、ζいので、重み’AH・直(第3設階でアクセスされる〕のテ ーブルが各帯域)こ対して憔@すれる。このテーブルに対する入力は案内あるい はダビング・スペクトル・レベルの最大:iでカリ、その出力はスペク:・ル呈 重み関数で使用するの)C目な°直である。こ几らの前記の手、′@は/?7A 年出版の「音響音声処理2よび貴台信号処理に関する国際会議の議事録」の第3 73頁−第574頁のり、H。
クラットの論文[スペクトル・マツチングのためのディジタル・フィルタ・バン ク」にアウトラインが記識さnでいる手順に関連している。
次に、/フレームの案内パラメータ・ベクトル成分(すなわち、対数符号化す孔 たバンドパス出力)の入力値Ai(kT)はg−1nとして参照さn、同様に、 ダビング入力成分Bi(jで)をd−inとして参照される。特定のバンドおよ びフレームはginおよびd inによって示される。第1段階の処理のために 、次の処理ステップがダビングおよび案内トラックに2ける各周波数バンドに対 して別々に(もし別の方法で説明さnなければ〕とられる。
/gin の第1の、200のフレームを用いて、特定の入力レベル対入力レベ ルC第10図のブロック63および6ダ〕での発生の数の/〜100dBの入力 範囲でi dB中のビン(bin )のヒストグラム(第13図(a)参照〕を つくる。同様にcl in のフレームについて同数のヒストグラムを作る。
J、l入力以上を含み、また、l大力以上を含み次の最高のビンからAaBをこ えて下回ることがない最低のビン(丁なわち、ヒストグラムの最低人力レベル〕 を見つゆる。この最低のビンは1OW−、コ二二と識別される。
ユ テスト・ビンの内容の合計と二つの隣受する(上部2よび下部がン接Tる〕 ビンが最大であるヒストグラム−ビンのためのlow minと1つW pin +7s (da )間を瑠分的に恢索することによってヒストグラムの雑音の平 坦部のピークを見つける。この最大:直が最初10W−peak として発生す るビンを識別Tる。この値はステップqおよびステップ6以下で1更用される。
l ダビングだグのため、loy peak+/ 2 (dB )で音声/無声 音スレッシュホールド値をセットする。この値はd sp tiqr として参 照され、第3段階で使用される。
(第70図のブロック71を参照) S 次の手順によって平均的ヒストグラム最大値を決定する。
リ 産高ビン(/ 00 dB)から開始して、少なくとも3人力がめる第1( を高うビンのために又は少なくともl入力があり、このビン以下JdB 以内で 少なくともl入力を再する也のビンがある第1のビンのたりに最低のビンの万に 下って沃素する。この規憔に合致する最高のビンをhigh InaXとして示 す。
−O) hlgh rQLXで始まり、ヒストグラム分布の5チあるいはそれ以 上が累積される(たとえば、もし20θフレームが処理さワるならば10人カ〕 まで、このビンの内容と運硯豹:こ低くなるビンとが刀Q算ざちる。
これは全体のヒストグラム領域の5長に対応するっこの条件に合うか又はこ几を こえるbのは、′Q12ニーm1コとして、当該ビンにマークをつヴる。
C)案内トラック帯域fこ対してgm二gha7g 、ダビングに対してa n igh av2 としてマークが付されるビ3 ンの:直を得るために(high iax higTh 、z加=1.)/、2 の最高釜数部をhigh maxから引算する。それぞnの値は、その帯域に対 して最高(たゾし、必すしもピークでない)ヒストグラム値に王に関連すべきで あり、音声信号より高い少数の短いパルスによって強く影響を及ぼされないよう にすべきである。これらの;直はステップ63よび7で使用される。
6 ダビングと茶同間の長期間のスペクトル差が取除かれ、案内およびダビング に共hf、に計算さnた75の平坦部以下に下がる入力値がスペクトル距離計算 に信頌性のない情報を与えないように、値の新しいセットに唾の案内トラック入 力範囲を写像する第3段階で使用するため横梁テーブルをつくる。この後者の面 は、膨雑音である音声スペクトル頂断面と雑音がマスクさnている(丁なわち、 対応する音声帯域のいくつものそれより高いスペクト1し密度を有する雑音を付 加することによってなまらせられる)同一の音声信号のスペクトル演断面との間 の不所望p大さく相違しているスコアを得る恐孔を取除く。テーブルの亘は久の ステップ)こ従って案内人力・直の関数を発生することによって計算される。
リ この1諏に3いて′匡10−N −+aaRf %αB上回って推晋干垣レ ベルをセットする。案内帯域;こ河して(−nflrをこのてlにセットし、: 同様;こタヒンク帯坂:こ対してd−ユflr を対応する1直にづットする。
(第1θタ]のフロック乙73よび6了を参照)。
D) ダビング又は案内をこ逼した(ダビングまたは案内の)雑音の平坦レベル をhiga ayg の対応する値からytLnすることによって帯域のダイナ ミック・レンジを計算する。案内トラックで対して!まとレンジをその1@;こ セットし、ダビングに討してd−レンジをその値にセットする。(g10’にの ブロック6qおよび70を参照〕。
リ もしg−レンジがd−レンジより小さいならば、新しい写像さnたダビング 雑音平坦レベルを計算し、map d nflr=a high avg g− レンジにする。もしg−レンジがLi−レンジよりズさいか等しいならば、!f lap−a nfl−=d nflrにセットし、g nflr=q high  avg a−レンジシこセットする。(累lo図のブロック7/を参照)。可 変のmap d nflr は入カダビング;直の下限として第二段階に3いて 開用されている。
d) いよ、cg inとして参照されている生の条内トラック゛直を矢の関数 に従って出力直;こ変換するテーブルのための入力を計算する。
(′nap 6 nご1; 12 n:1=) ”る表現の式(=、ダビング2 よび茶不言号レンジの上部レベル間で得られるダビングの差を補償するように一 定のレンジ・丁フセツトを提供下るものである。(第10図のフロック7.2ケ 参服)。
2 ステップ4Cで得られる正規化C” Tuたダイアミック・レンジの入力値 を第3段階で計算されるスペクトル距離量を重みづけするさい子こ1吏用するた めの匝■(こ−に、V−o、i、2又は3)に写像する洛3段階で使用するため の別の検索テーブルをつくる。第3段階で、重みづけ関数はl帯域の生のスペク トル差と関数ツ■(2)(こ\に、1−はd inと写像さ几たg inの最大 値をとることによって得らnるテーブルへの入力である)を乗算することによっ て実現される。(第10図のブロック73を参照)。■(2)のテーブルをつく るのに使用ざちるステップは次のようになる。
a)g−レンジとd−レンジの最小・直を多数のレンジ分割であるndivによ って割算し、分割増分div incとしてその留果の最大の整数置部をとる。
b) /−/θ0のL−の入力値iこ対して、天の関数lこ従って■(2)のテ ーブルのための大力を計算する。
前記の手屓は共通のダイナミック・レンジをn di7スチツプに分割し、この 共通のレンジ以上3よび以下ばVの漸高11および最低1直にそれぞれに写像さ れている。
重みのレンジより犬さい(又は小さい)ものを得るために、n divは増加( 又は減少)され、前記に類似の関数は新しい7(、!・全得るたのにI支吊され る。
時間ひすみプロでツサ(TAF)発生アルゴリズムの第、2段階2よび第3段階 が次に説明される。最も重要な変数3よびアレイの定義が以下にリストされる。
変数 定 義 DSF ダビングE Raフレーム数、丁なわちM2段階の始めで使用される。
DSTOFF ダビング停止フレーム数NWDF ワー千ン′グ・ダビング・フ レームの数、丁なわち各ダビングに関連するアレイ;こ保持Enているダビング ・フレーム・テークのスロットの数を規定する。
NDFRダビング・フレームの現在の数を読み込み第2段階でざら)こ−8理ざ nる。ざらに、第二段1階で処理さnているダビング・フレームの五の数を指示 する。
GSF 業同トラック開始フレーム数(=/)っGSでOFF 束不帰上フレー ム、丁なわち’ff:(の動かの停止を聞届する。
NCGF 処理ざ几ている現在の案内フレーム数。
三PコJSI 無声音として分類されるタヒ゛ンク・フレー7 ムのための水平DPステップ・ペナルティ。
ヨFliNSP 音声として分類されるダビングのための水平DPステップ・ペ ナルティ。
LDPNSエ ダビング無声音フレームのための下部対角DPステップ・ペナル ティ。
LDPNSP ダビング音声フレームのための下部対角DPステップ・ペナルテ ィ。
THD? スコアを切、除するざい;こ使用されるスレシユホールド。
MAXRPT 無声音の切除操作が行なわ几る前に許される水平路の増加フレー ムの最大数。
p、7 烙配列における路の終了列。
PSTgT 路配)1]に2ける路の開始列。
アレイ寸法 MNDF アレイに保持c 71.るダビング・フレームの漬大数。A盟約lこ はMNDF = 50NPA3I更用されるパラメータ・ベクトル要素の数。
MXRLT’A 路アレイジこ保脣ざnている洛でグメントのDOLASS(迎 DF) −ダビング分類(音声又は腰戸晋)Dn:4(FNDF) jのフレー ム数;こ対Zするダビング・フレーム数。
D工ST(MNDF) DSTO惹iこsケる各ダビング+ フレーム1パラメ ータ・ベクトル と現在の案内パラメータ・ベク トル間のスペクトル距離。
DSTO部(NPAR、MNDF )−ダビング・フレームごとにNPAR要素 を保持するダビング・パラ メータ・ベクトル・ワーキング ・メモリ。
HPleN(MNDF) −D Pステップで衰用される水平ペナルティ。
LDPEN(MNDF) −D Pステップで使用される下部対角ペナルティ。
H2C(MNDF) −音声Iζ使用される水平DPステップ・フラグ。
FA’lH(MXPATH、盟DF)−各終了点までの最良の部分路。
scom(朋DF ) −各部分路のために累算されたスコア。
第1グ図に2いて、3個の処理段階の動作は第1、第2および第3の段階!、l I*よび■がブロック7s。
q=、yqおよび7gによって表わさnる全部の時間ひずみ処理の流れ図に互い に関連して示されている。第741図が説明される前に、案内トラックおよびダ ビング・フィルタ・バンク出力を処理する方法が説明され、る。
次の説明に2いて、案?3′:6よびダビング・フィルタ・バンク出力1直が容 易に連続してバッファ・メモリ71)ら使用可能にされ、案内信号のパラメータ 化の終りに、変敷GST OPF は最後の案内フレーム黴にてットざ孔る。
GSTOPKの設定を開始Tる信号:;後述の装置によって導かれる。アルゴリ ズムが開疋される前に、 GSTOE’Fは動作が決して及ばないようにある任 意の大きい値りこ初期化される。こわに加えて、その期間が参照信号の期間を越 えて伸びる置換信号をそのシステムによって適正に取扱うことができるように、 ダビングは号のパラメータ化3よびダビング信号の蓄積は、参照信号の信号終了 (できるだけ早い)に実質的に類似している信号終了を含むように十分長い期間 続くようにざnる。この安全的処置はG50FFが既知になるとき、たとえば、 記号DSTOPFを導き、()STOFFに一定数のフレーム(例えば、200 又は2秒のフレーム)を加え、次にダビング処理がこのフレームの終りに対応す る時間のその瞬間よで続けるこ七によって達成することができる。記号GSTO FFは第2および第3段階(■sよび1)の処理動作を終了させるために使用さ れる。これに対し、DSTOPFは置換・信号の入力2よびパラメータ化を終了 させ1.@理中更用可北置換データの終了を示すの疋使用される。
円形アレイをで更月するこさはすべて別の議論を必ず滲うけことも、こnは非常 に亘い信号て尉しては必要ない。
第1ダ図をこ表7’)さ几る処理のいアr、力\が始する前2こ、二−ザは、D Pステツフ〜・ぺ−pルテイ(モmN5I 、H?”rNSP 。
”−D?RJ、5二、LDP!’ISP )の1、切除のためのスレッシュホー ルド(T五)、2よび、ダヒング孟戸晋フレーム侯返し計数スレッシュホールド (MAXRPT )ケ運択(又は調整)する。これらの1直は一般に実験的に決 定されるものであり、また、と孔らは処理2よびフレーム速度を発生するパラメ ータ・ベクトルの出力レンジに依存する。
所与の信号(テープ入力で発生される)でパラメータ発生プロセツ寸が開始ざn る(ブロック79)。十分す数の笠の案内2よびダビング・パラメータ・ベクト ルがいったん、使用可能にされると(決定go)、段階1(ブロック7り)は可 能化され、スレッシュホールド変数3よびマツピングと後述ざ几る1みづけ関数 アレイが生じる。次に段階I!(ブロック76)は、どちらか小さくても、第1 /図Jこ示されるようにその麦大長又は老後のダビング・フレーム;でアレイを プリコートTるためIこ1用さnる。矢に、段階1は丁べて関係Tるカウンタを リゼットし、アレイ要素をクリアあるいはづットすること)こよってAで聞違さ nる。
最後に主要な処理ループ(こ入り、各案内フレームのために渫返される。このル ープを夫々Jこ通過するざい、段階■のコード(ブロック77)が試みられる( しかし、bしダビング・アレイ;こ3ケる最も古いスロットがな3澄二円;路侯 通ケ含むならば、こn);なされ;い)っさらンこ、このループ;こ2いて、並 列D:′ステップが谷アクティブ路のためJこ;ざわる段、暗1の処理(ブロッ クqg)が行なT)れるつぽた、峙再な最良の路又は無声音のセグメントを出力 するような7つの試みがなされる。最後の案内フレームが処理されると、最良の スコアtl−有する浅りの路でグメントが出力であり、時間ひずみ処理は終了さ れることとなる。
時間ひずみ処理の第2段階は、第1/図のブロック形2よび第15図の流れ図で 詳細に表わされている。この段階!・;ダビング・フィルタバンク出力を前処理 し、第3段階で行なわnるD?ステップで使用されるためのアレイに時間変化デ ータをロードする。データがどのように進備6nるかについて影響を及ぼす決定 および処理は第1の段階で導かわる長期間のデータのいくつかに部分的に基く。
λカダビング・フィルタバンク・データとアレイDSTO厄、Do温SSルDW N 、HPFiNおよびDFRNUMにロードさ几るデータ間の関係は第1/図 ;こ機距的;こ示さnているつアレイ(寸法DWD?の)は循環灼暑こ取扱7J )われて、音声として分類される各ダビング・フレームシこ対して(;l夏、冨 た、運読するダビング・フレームが無声音として分類さ孔るとさはフレームのl 喧Sさと、同じアレイでインデクスでロードされ8つダビング・フレームの分子 i (CI、ASSX更 としるトroでいるブロック79;こ3いて行Af) r−る、丁’A ’?)ヲ音声/黒声音)は11ζ央足アルゴリズムて(づくっ そnてよって、も゛し、グーの生の入力タビング帯尿のうちの21面がこnらの 帯域(第1段階にてットする。丁なわち、ti sp thr)に対してそれぞ れのスレッシュホールド以上であるならば、そのフレームは音声を含むものとし て分類される。もしそうでなけnば、それは無声音として分類される。
″下方範囲をクリップする”さしるざ几ているブロックgOにおいて、生のダビ ング・フィルシタパンクイ直の各帯域はその帯域(こ対して対応する写像された 雑音の平坦性(第1段階で吸定される一nap d nQr)と比較される。も しその帯域の生の頚がその帯域のmap d nflr以下lこ落ちるならば、 その生の入力値はPSTOREの過当なスロットにロードされるmap eL  nflr によって置換される。対応するmap−α−nf l r 以上のタ ヒング辛域値は1じ正なしに]%TORKにロードされる。このステップは、姫 音マス壬ングの可能性を除去し、案内およびダビング帯域ダイアミンク・レンジ を刀−にする全動作の一部分である。
”LD−ペナルティおよびHz−ペアルテ1の選択”としるさゎているブロック gl;こ3いて、非河角面DPステップ(第3段階で)のためンこ7JOえらn るペナルティのためのユーザ人力;直は選択ざ几るが、こnは、対応するフレー ムが音声ぽたは無声音のいず几であるかずこ基づくろのである。
音声フレームコこ対するベアルテ1と比敗さnるように無声音フレームに河する 非常に小さいペナルティを用いて、路はダビングが無声音;こある1間は非常に 柔軟特表昭59−500432 (21) 註iこ冨も゛ものであり、これは望ましい効果である。比敗的低い対角のペナル ティはわずかに負に5孔るので、ダビング無声音に2ける最良の路ば1氏しベル 案日信号の間はlI:/の傾斜の万ヘバイアスされるが、こnは、必要なときに 、ダビングに2いて長いギヱツブを圧罷するために1用である。
第3段階で正しい時間ひずみ路ステップを生じるさG)fこ後て夏用するためア レイDFRNTJMにロートされるように適当なフレーム数を生じる“ダビング ・フレーム・カウントの増加”としるさ孔た池のフ゛ロックg2が示されている 。
!’kに、パサンプリング速度の選択″としるされているブロック了3では、現 在とその前のダビング・フレームが無声音として分類ざnていると、ダビング・ フレーム・データ(“すンプリング3よび壇分インデクス″としるされているブ ロックgqを介して)のサンプリンタ比工を1加する。
ざちなケれば、サンプリング比互は/二/のよよである。こちらの機拒刊フロッ クを果7iするため)こ1用される特定のアルゴリズムは第15図の流れ図)こ 示さ几、ダビング・クラスDOL 、次のダビング・クラス皿子CL3 :iよ び前のダビング・クラスPRVCL防こ作用する決定ヲ/、?二、q、y′:6 よびデ≠全含む。この段階が:1用さnる前ンコ、変i ””CLSはUNKN OIW’4に、PRCL Sジ: 5PK2CHに初期設定さ几る。
第3段層の評、荊 時間ひ丁みプロセスの第3段階において、タイナミツク・フーロクラミング(D P)アルゴリスムは−13−の時間ひずみ路3よび信号編集プロセスに対応する 入力のたののフレーム分類を生じるように、加えられる水平路ステップ制限2よ び無声音の切除動作;こ涜って、窓の操作およびZIPアルコリスムのそれに丞 づく路の功績操作と井に使用さnる。第72図は主な処理刃作2よひ前lこ定義 したデータS造との相関関係を示すものである。第16図は主要な動作を要約T る流れ図形である。こ771.らの動作は逐次的lこ実行され、必要な数のダビ ングが第1段階2よび第2段階で処理される。
第二段階中、アレイDSTO把は第2段階でのレンジ正規化動作)こよってその タイナミツク・レンジに3いて減少ざイするようtこ処理ざnたパラメータ・ベ クトルで満たされる。サンブリンク比率が1加される可能性のたり、DSTOR Eに3σるダビング・パラメータ・ベクトルは必すしも攻缶;こは連続していな い。しかし−がら、DST〇五;こ2ける各ダビング・フレーム・パラメータ・ ベクトル;こ対してDP ステップに使用されるべきである過当なペナルティ2 よび路を更新するさいに夏用ざ几るへごでゐる分類2よびダビング・フレーム数 ;、;アレイ匹己哩、E影、西;昶3よびDP3−4 Ujr iこそ乙ぞ几; こ”V 4 iE’ 7’している。pAm:4アレイの丁ぺての要素は一般) こ0;こ初期設定ざ几、スコア・アレイの上手分;=7所定の拒否コ、−ドであ る一方、下半分は0スコアにてツトされる。拒否コードはさらに処理される必要 のない要素を識別するために使用される。さらに、配列fqsUのすべての要素 は偽の論理にマットされる。
アレイH3Uは音声として分類されるフレームを有する路と共に許される連続水 平ステップの数に対Tる制限を採り入れるために使用さ几る。zg図2よびDP ステップ方程式についてみると、a = 0ステツプは音声として分類されるフ レームに対してだけ1回使用されることが許される。この方法において、l/2 (すなわち、λの展開係数)の最小路係斜が音声の間は許さnる。
第12図および第16図に示されるように、次の動作;は第11引こ示される処 理ループを各々通過するため;こ−夏実施ざわる。(すなつち、案内フレームご とに一度行わちる)。
l 路肩ポインタヨコ(ブロックqs、第1乙図)を更新下る。
2、バッフアカ1ら次の生の案内パラメータ・ベクトルを取ってきて、次の対応 するg to a zapsを通して各硯分を写像する。これは゛ルンジの正規 化3よび制限”としるされるブロックgsで実行ざnる。
ユ 正規化ざ几た某同フレーム・パラメータ・ベクトルと1行DPステップの次 のステップにおいて調■3で必要とされるDSTORK )こおける各ダビング ・フレーム・パラメータ・ベクトル間の重みづけらゎたスペクトル距離盪を計算 する。
これらの距澁はD工STの河Eaするスロットに与えらnる。これらの動作は” 重みづけられたスペクトル距離の計算“としるされているブロックg6で行なわ れる。
ダ 現在の検索窓の各有効のスコア2よび路のために、最良のスコアを生じる路 要素を見付けるようにスコア里U 、 LDP戸、肚び、邦y堡および■1の適 当なインチフスのそれぞれで水平ステップ制限、ペナルティ、スコア3よび距離 を用いてDPステップを計算する。対応するダビング・フレーム数(DFRNt JMから)を有するplijでのPAT″lアレイおよび最良のスコアを有する 5CORIアレイで路肩を更新する。さらに、ダビング・フレームの分類・で路 要素を示す。特有なものとして水平路制限をセットあるいはクリアする。これら の動作はDPステップとしてしるされているプロセス・ブロックg7で丁べて行 なわ几る。
; 5CO3X iこおける最良のスコア乃)らスレッシュホールドX直(T] )以上離れているスコアで路を切除しくすなわち、リジエクト)、切除さnた5 coRxの各要素?こりジニクト・コードを与える。畏りの(リジエクトぎわで いない)スコアは次のD?ステップで路をS張するのに使用さnる検索窓を規定 する。
この動作)=“悪いスコア3よび対応する路の切除としるされているブロックg gで行なわれるっム もしPA T Hに残っている路が共通路セグメントまで 追跡される(すなわち、一致する)ならば、その路の発散点までその路(および 路−こ2ける対応する音声/無声音マーカ)を出力し、PATHから共通路要素 をクリアする。こnは“特有な要素の検出および出力”としるされたブロックg りで行なわれる。
7 もしPATHに残っている分類路セグメントが調査芯はダビング無声音の領 域およびMAL”(PTフレーム以上に対する案内フレームの比較同特徴のない 領域を通過するということを指示するならば、最後の要素まで最良のスコアリン グ路(および対応する分類)まで出力し、すべての他の路を取り除き、残りの絡 端要素でDPアルゴリズムを再開始する。ての動作は”ダビング無、5Nに2け る路セグメントの検出2よび出力”としるされているブロック90で実行される 。
t もし最後の案内フレームが処理されるならば(GSTOFFによって指示さ れる)、最良のスコアを有するその残りの路てグメントをさがし、それを出力す る。
(このステップは第i2gには示されていない)。この動作は時間ひずみ処理を 終了させる。
前記の動作数3に対して、重みつけら几たスペクトル距駈を計jするための処理 、丁なわち、スペクトル距碓重み係数は案内フレー←すこ2いて、v−、(kT )−、Vi(4i) としてスペクトル帯認で定義される。こN;こ、21は1膏呂の4順ざ几た案同 帯域:直2よびDSでORKからのi番目の正規化されたダビング帯域値である 。その猪果得う孔るAiは帯域1に対して重み1直のアレイVi+:4i) i こ対するインチフスとして1更用さnl 1番目のダビングと案内帯域間の差の 治尉値の二のべき乗の重みづげはスペクトル距離の全部iこ14目の立会が寄与 下るように計算される。
スーア・アレイ乃1らのこのプロセス・ブロックへ導く付加データ路は、現在の 検@qで拒否される:O)又は作動されない拒否符号をつけた要素の瑛出を許す ので、不必要な距;臣計算が行なわれないっ そのコ昨数6は犬のように、伯単に実施される。初め二こ、その弐つの路セグメ ントの最初と最後の要素を含も゛、汐AT三の夕1jが配貨さ孔る。現在の祭セ グメントの開m pST−43T ”f含む・夕1jのインチフスSよび現在の 路セグメントの梃了蚕素rK を含む・列をコールする。MXFAT”1の路ア レイjこ3ける列の窓数が与えられ、デ宜上、擬似プロゲラミンク言語で表わざ nるスのアルゴリズムを使用する。(注)2;;コメントを示し、問題とその対 応する答(丁なわち、’IXS 3よびNo)は号しく壬下り(二二〇3コし) 、こぎちる。
ニーP’ETAユで 2.;フリポインタ・インチフス二を1ツトする。
l 丁べての残りの洛に3ける同じ要素);1にあるか7デ yzs ; z昆はこの列で特有である。
路要素3よび公卿を出力する。
出力/拒否符号−〇を有する列とに3・ッる丁べてのもしく i MXFAT: ()が1−/ にセットされるならば、もしくi′=cP已)が/)こ行くなら ば、コに行く。
−二 2路はこの列で発散する。
同か出力ざ几だか(1≠PSTART)。
NO= 路アレイは満杯刀1゜ YES ”。
最良のスコアを有する最も古い洛要素を出力する。
出刃である要素と一致しない路を取除く。
取余か几た路のためのスコア・アレイに拒否コもしく iMX?T五)1−7な らば、;)こ行く。
NO: ;;こ行く− 2 F’ S TAE T =1 = ’t’::次のパスのための2の新しい PSTART々して現在の列(二の可能性のある路発散を有する)をとる。
動作数7はこの実行に対して荷再であり、次に詳細に説明される。この動作を含 む理白は:四層さ几るDp路発生ステップの考察から得られ、第77図1こ関連 して説明されるうその第17図は、DPアルゴリスムが低しヘル案内言号(案内 雑音平坦部で、または案内雑音平坦部の近くで)のいくつ刀)のフレームを通し て進行し、対応するダビング・フレームが無声音として分類ざnた後、路アレイ の典型的な内容を概略円に表わしている。iWフレームが低レベルにあるという 事実は、案内2よび無FTのダビング・フレーム間のスペクトル距雅量に非常j こ低いか、または0であり、したがって、もしそうでなゆnば、通常飯山できる 窓操縦を備える入力距Jj−f−IQよびスコアに特徴の久方を生じさせること を意米する。
DSTOR3)こ記憶さ几ているダビング・フレームの立置;;、ドツトによっ て第t 7 ?の垂亘袖;こ示されている。
そして、交番刃な旦の直でのダビング・フレームは無声音の間iこ使用ざ几る。
ppステップの間だ無声音に3いて生じる路は一般:こダビング無声音のフレー ムの間により7万の附角」へのD?ステップのバイアスによ;つ:t:lの煩7 +をゴする。し71)シながら、こ几らのステップの間;こ、径路)こ対するス コアは、無声音領域によって非常;・こ柔欺注のある路塗有すること全許丁ため に極めてわすカ);こ瑠フロする乃)あるいは戎少するかのどちらかである(使 用さ3”Lる低いペナルティのため)。
したがって、最悪のスコアリンク路のスコアは欄外tこ眉刃口するのみであり、 そのために、こわらの路はダビング無声音の間lこ一足のスレッシュホールドの 切、除操作によって一般に切除される。路の微は案内フレームごとに二′固の割 合で増加し、したがって、もし取除か7″Lなけわば、重大で不必要な計算負担 を負うことになる。ダビング無声音において切除操作がないことに伴って次のよ うな事実が生じる。/)最低路(gAえは、第17図(こおける店から土まで) は通常繰返されるフレーム数を増大する。ユ)最も早く上昇する路(例えば、第 17図;こ2ケるユから且まで)は東低路(すなわち、第77図の二つ)らジよ で)−こ3ける操返ざ几るフレーム)こ河応する烙のセクション9こ対して約グ :lの傾斜を有する。こ九らの事実の箱果、笑誕される分類に依存するDPアル ゴリズムを有するダビング無声音の間ンこ洛調玉の形をとって現われる三角形状 の路ビーム特性を生じる。最も重要なことは、ペナルティのあるものは負である ため、最良のスコアは必丁しも最適路を示ざ;いけnどblそのようにみえる。
スペクトル距雅量が、音声;;前記の切除操作3よびHA j乍を作動するのに 十分大さいスコア変化で明ら7+)にぎnる第17図の立あるい;;旦のような 点で遭遇さ几ると・、)うこと全指示しない、)ぎ!りでは、この領域をさる路 は一般に任意であるということである。
eraな路は次のステップ(PK−1−7で)ζこ入ることが確実;こ:・は要 求5nないけれども、そ几にもかかわらず、現q ’J) p Pアルゴリズム の特注を考慮して最良の路の盪デがざ几る。−役に、とるべさ遊良の路は最良の スコアを可する路である。しかしながら、もし後述の手、狐が実施されるならば 、最良のスコアを有する路は大抵の場合最も高速に上昇−[る路である。第17 図の列ylzら、もし次の案内フレームにPK+/での路拡張を生じざぜる゛も のは音声であり、また、1後の次のダビング・フレームが次の案内フレームに対 応する音声フレームであるならば、示される最上位の路は案内の路よりほぼg% 長の無声音のギャップを圧部することになる。代・瞥3うに、・bしダビング3 よび案内スペクトルが荷)もなく現<ζらば、DPアルゴリズムは点二でダビン グ・フレームを豫返す路および二から4t:lの割合で生じる悠を同時Jこ調l し視けるので、最上位の路を除く丁べての路を豆果し、照二からのDP アルゴ リズムの再開九する故lこ、調査詔力においていかなる損失ちζい。したがって 、この手続は期間tgのダビング目戸音ギでツブ全通して路を有効にみつけるこ とかでさ、”5/” ’5’らcc玉での期間の案内トラックiこ3ける附ヱす る2マツプにそ;tを適合させる。
前記の条沖でダビング無声音を検出し出力するのに、ざ3 使用さ孔る技術2よびアルゴリズムが仄斗こ説明される。
RPTCNTとして最低路(操返しとして第1番目の路を計数しない)に沿って PE71)ら戻る繰返しフレームの数を規定すると、もし讃高路がダビング無声 音の領域を通って進むならば、とることができる垂直ダビングフレーム・ステッ プの最大数はゲ浩ざnたRPTONTである。
しかしながら、すべてのステップはq:lステップであることは期待されないし 、ユ、3の小さいステップによって、最も高速で生じる路に含まれることが許さ れ、さらになお最大の増加によってダビング無声音領域のインジケータであるべ きことを許すダニl以下の平均傾斜に基づくjのダビング・フレームのスレッシ ュホールド数の増加を規定することが好ましい。3.q−:lの平均傾斜はその 洛が無声音によって竺じる相応なインジケータである。次のようなアルゴリスム は再び擬似プログラミング言語で説明=Fbる。
PKから戻ってPATEIに2ける最低の路の、繰返し要素数を計数する。
この数をPRTCNTとする。
(PRTCNT ) MAXR?T )である刀)。 ε 十分長いギヱツプ。
二1;口■ざ、7″!、たQl。
NO= 戻り YES: 5 L上部の路が重長な特徴をみつけることがでe”Aいならば、そ の路が??”NTフレームに生じるフレーム(MNfflRンS)の最小:@を 計算する。
M’NFJtMS=J、4” RPTCNTPKでのダビング・フレーム数とP  K −RPTCNTでのダビング・フレーム間の上部の路におけるフレームの 実原のスパンN5PANを計算する。
(NSPAN)MNF’lS)か。
YIs a ε 次−こ:¥j徴のない領域が詞貸される。
最良のスコアをさがし、?Eでの要素を含まないところまでの町名する路を出 力する。
PKにおける最良の路端を除く丁べて の路要素をクリアする。
老艮のものを除くあらゆる5COR1要素に拒否コードを与える。
戻り。
:vO: 第6図の”編集データの発生2としるさ孔ている処理ブロックlI9の目刃はデ ィスクに記憶さ几ているダビング波形を編集するための全体の佑◆とじて時間ひ ずみ路3よび路要素の対応する音声/無声音分類を使用することであり、さらに 、正確なう果命令(要求ざnると)をピッチ期間データ2よびダビング1形細部 7jl)ら導くことである。波形の最終編集はが県テータ1こよって規定される セグメントにその信号を単lこフェッチし、次のような特性を有する編集された ダビング波形を一緒ンこ結合する”波形編集″としるさ孔ているプロセス・ブロ ック!lで実行さ几る。
/) 時間ひすみ路のすべてのフレームに対して、ひずみ路によって指示されて いる時間領域に3けるダビング波形の近似的なフレーム長でグメントが出方であ る。
コ) ひずみ路における無声音として分類ざnる各フレームに対して、冥(ディ ジタルO)の無声音のフレーム長期間はダビング波形を1換するための出方であ る。
3) ダビング波形フレーム(時間ひ丁み路によって特定されるように)の削除 又は反りは有声音1こ2けるピッチと同期して実行ざnる。丁なわち、削除ざ孔 る波形でクメンrまたは繰返される波形でグメントはひずみ路およびロードされ る最後の出力サンプルの要求を最良に満足する長さに3けるピッチ期間の全糸で ある。
リ −膚Jこ接読5nる隣接しない波形セグメントの端点は認識ミnる不運現性 を除くよう多こ一致させら几る。
前記文節のfil (!:(21で引用された動作・夕I」は累lざ図に表わさ れている。あら9る案内フレーム【)こ対して、ダビング・フレームj =7( kT)がある。第1了図に2いて、路N(kT)に、もしopenがダビング・ フレームが無?晋分類全有することを指示するならば、もしionならば、DE Vは指示ざわているようにCコV=T三Sヱエ−jJ −TKS工OVJ+LK SxOW−LKSII7として計算サレるDESとシテ定義される一遅の接αド ツトとして(k、j)而lこ示される。(例えば、ある9戸フレームは1回しか くり返さ几ることがす<、ぼた、どの音声フレームでもいす孔のステップでもス キップされることはない。)こわは編集プロセスをかなり簡単にする。
コ軸に@遥して、典型的なダビング時間及形、x、(tつ:・11秒のフレーム 期間の終りで全列される各ダビング・フレーム数jと共に図示される。それによ って、月形セグメントとフレーム数との対応を固定する。豆のフレームがスキッ プされる路T(kT)の点で、”X’は削除のため波形でクションにマークを付 ける。同様lこ、二1矢印が反復のためセグメントにマークを付ける。
タビンク汲形セグメントは選択尺形セグメントとディジタル無声音(丁なわち、 0)刀)ら、X2 (i:”)とラベルを酊ゆら几る編集ざ几た:c2(t’) を図形的に(いかζる不運現色も悪税する)再贋獲するよう乏こ盈硼(彼臓;こ よって区分されているづグメントによって衰わされるよう;こ)に筈凄した時間 畑t“に投影される。このような再構三の箱果生じる不運読性は胆覚刃乏こ受ケ 入nることができない。したがって、次の孜府にこの問題を雁戚し;2三要1果 データとして時間ひすみ路の、3凝な追跡を視グるものである。
次の数量は編集プロづスを説明するざいに・受用するたf)足軽ざnる。
SMPRAT−記憶ざnたダビング波形の廿ンブル星。
LENFFIM−サンプルに2ける月形フレームの長さ。
ET工S −サンプル(= r−F8N−zay+/、x )における論集スレ NG −(現在の)果内フレーム数(Kに対応)。
ND −フレームNGに2けるひすみ路から得られる(現在の)ダビング・フレ ームa(j4こ対応)。
DOL −ダビング・フレーム、NDの分類。
、pRVND −NG −/でのひすみ路からの前のダビング・フレーム数つ PRVDOL −前のダビング・フレームPR”7NDの分類。
サンプル旦変数 TES工工■−人力(禾遍臭ダビンク)月形;こおケるターゲット終了丁ンブル 。
LKS工rM−人力波形)こ2けるローメ硲了サンプル。
TF88工OW−出力(遍果ダビング)反形誓こSけるグーグ゛ット終了サンプ ル。
;==071”r力’H形ic:6?j 6 ニー f−5了+7 プル。
工死SMP−前刀)ら現在よでの大力月形ターゲットのサンプル(こSrJる1 分。
DEV −もし、次のフレームが現在のLZSIQWのあと、長さLb=q?: 罹てロードざ几るζらば、その活果生じるであろう出力波形終了サンプルとター ゲット終了サンプル間のサンプルiこおける偏移。
偏渠のざいjこ含t 7%る基I励咋シま第、20 (’L・+(bjJc・図 に五孔図の形で示されている。
g / g図の例かられかるように、時間ひずみ路7/(kT)は波形セグメン トのサンプルに2けるターゲット終了点の二つの組をLFiNFRM=T*SM PRAT(長さに3けるサンプル)上定着する(第2 o (a、1図も参照) 。これらの第1は出力(a果されている)波形lこSけるターケラト終了点サン プル数である。こ\で、案内フレームNG(−k)におけるセグメントを終了さ せる。
したがって、もし信号がサンプル/で始まるならば、丁なわち、五番間のフレー ム数がと去月のセグメントの終了を指定するpらばLKNFRMは出力及形)こ aけるサンプル数に*LENFRMである。特定のフレーム竺に対して、出力波 形)こ3けるターゲット瀦了、蝋サンプル!:’ TKSIOWとして参照され る。
同様;こ、J=″”(′iT)としてひずみ路から得ら孔るダビング・フレーム 数N D−jはさらに、サンプル数j*部NFFJての入力(禾遇果)π形でグ メント終了点を指定子ミ。jの特定の・フレーム9こ対して、入力l形・)こ3 するターゲラL 、g了すンプル);τ3S工工″I七して参、照ざ几もし、編 集プロてスが第1ざ図に列としてあげであるように出力波形を単に生じることで あるならば、そのz (?KSエエp−:Txs工OW)はいかなるフレームJ こ河しても0に等しいということはありえない。したがって、出力3よび入力l 形に2ける実際の終了点とターゲットの終了点間の四移がいくつかの所定のスレ ッシュボールトイ直より犬さくなるまで、編集プロセスは入力波形の運硯的なセ グメントをフェッチTることを試みるように設計されている。次に、潟果プロセ スはTFiS工露sのシーケンスで規定されるセグメント境界で必すしも終了し なくて、各ロード・セグメントの終了サンプルiZ TKSIOWのシーケンス によって規定されるセグメント境界で必ずしも起らない出方波形を形成するよう にこ几らのセグメントを結合するセグメントをロードすることかでさる。この引 さ硯く偏移を計算するために、;:固の別の変数が導入される。
こちらの別異の二個の変数のうちの第1のLES工Owは出方波形に2げる実際 の老後のロード、終了サンプルを参照し、出力信号を含む第1のサンプルから計 数さ九、最後lこロードされたてグメントの終了でみっヴらnるサンプル数であ る。同様2こ、第二のWSII’lllば、入力波形にS汀るロード終了サンプ ルを参照し、含g孔る第1′の大力サンプルフ)ら計数さ孔、出力皮形言号バッ ファに最終;こロードざ孔るサンプル数である。
こg らco=−) の’r’J、TES X OVv+ T ZsX 工W  + 、LAS X OW 、 LAsX X −Nで、入力及形てグ7ントDど nでもが上刃波形のどの位置でもロードされためと存在するW (kT) jこ よって規定される゛ターゲット″波形からの方移をみつけることは可能である。
DEVとして規定されるこの11移は第x o (b)図のブロックq 6jこ 示されるように、DmV=TESIIW−TES工OW+ LKS工OW−LZ SII’# 、5して計X gれ、もし最後にロードさnた方形終了サンプルが 出力バッファのその目標とした位置を越えるならば、正である数(サンプルにお いて1)を共@Tる。同様に、もし最後にロードされり方形終了サンプルが出刃 バッファのその目標とした位置に運しないならば、DEVは負である。偏移は、 もしW(kj=W(ン+/)−/ならば、谷kを変化することができるとするさ 、出力波形はフレーム・パイ・フレームで組立てらfbS偏移は、各々の新しい セグメントがロードされる前に計算される。もし、LKSエエWのあと次のIJ NFRMサンプルを次のLFiS工OWの出力波形の位置にロードすること乃) ら生じる偏プの犬ささはKTIS(サンプルに3+7る58スレツシニホールド )として規定される最大許容偏移より大きいならば、偏集動作は第二θ(Cj図 に示さ几るようSこ”f33の7屏答2こ読いて第、! 0 (′b1図の決定 77;こ対して適用ざ几る。
音声として分類さnているダビング波形の1グメント;こSいて、もしセグメン トが河肩キを含むことが見出ざ几るならば、渦集期洋)まピッチと同期して行な われるっ必要7−′動作);下記に説明される。第19図の例に、関して、(a iで示されている入力l形(禾烏果ダビング)はLKNFRM = t Oθ  ごとにサンプルて番号がつ汀ら孔た畑土の周期性音声を表わす。第1q図の(b )(こターゲット終了サンプルが示5几ている。そして、100の300への典 型的ス干ツブは’IsI工W ζこ対して示されるけれども、 TKSIOWは このジャンプをしない(できない)。もし第1のロードに対する偏移がLKsエ エW−7θ02よびLES工OW=/ 0θ を使用して試験されるならば、D BV =0になる。したがって、いかなる編集も必要とさnないし、このセグメ ントは第79図(C1で示されるよう(こ出力バッファζこロードされる。しか しながら、第二のフレームにおいて、f、j、LES工工71−2θOでロード サレ、次)こり、ESエエW=、? 00 でロードされるならば、T:>st ow= 、2 o o 2よびL”f2S工ow=200、スキップを指示する DBV=100はTH,J Qのスレッシュホールド以下;こDZV f減少す るようζこされる。
この編集をするためlことら几る一般的手1頁は以下のでの)に硯く次の3洞の フレームに検査のため;こ出力バッファ:1Lqf;aGES工07(q’での ) Hコロ−とさi (+ (1;W: 0 (C1図のブロックq?参照)。
すンブル)こ2するこの余分のでグメント;;大力バツファ)こ277る黒豆7 1)う黒豆までであ/)、3’刀)ら旦“王で出刃バッファ)こロードされるこ とが示されている。
、り 現=2よび次のフレームに対する波形装置(=出力バッファの波形を用い てホ[j足さ几、その箱果(サンプルに2ける)は変数?皿工ODに割当てらち る(第20(C)図のブロック??参照)。その期間をみつけるのに使用される 計算方法は、後述ざnるり、ラビンナとR,シャアファによる「音声信号のディ ジタル信号処理」の第ダ章lこおけるいくつかの池の等しく有用である孜術と共 に詳則に説明されている平均量差関数(又はAaF)の方法である。
3) サンプルNPOPTに2ける積分波形期間の粂適数は、式I DEV−N POPT lが最小にされるようにして見出される( i 20 (C)図のブ ロック100を参照)。これはスキップ(すなわち剤除)されるべきサンプルの 理想数とされる。(ε:もしDf2V=Or:らば、ざらにNPON’″:は礫 返されるべき期間のゑ通数を示す負微である。)リ LFiSIOWに倉も近い 零交叉点を5がし、第19図の((1)で示され、また、第2o (cj図のブ ロック10/で示す几るようJこZCRiとしてこの点lこマークをつける。
5) この点7D1ら、ZC!R/でみつけらnる黒の7同と一致する零交叉の ため一埒的コこロードさ几る波形の(NPOPT−)−ZCR/ )に位置にあ るサンプルのどちら7J1の則を探索するっこの第二の零交叉がみつかる黒をZ CIK二としてマーク金つける。示す几でいる例;こ3いて、この照;=ZR1 (第二0(Q−図のブロック10二)711ら約lピッチ期間はなnたサンプル で見出ざnる。
符表昭59−500432(26) A) ZCR,2(Tζわち、ZCR4+/から了lぽて)に硯くL器’FRM サンプル7)1らなるセクメ〕/;へは、779図の(812よび第2 o ( ci図のブロック103で示すワるようにZCR/十/ (1,たがって、一時 的データを書きすぎる)でのサンプルで是ホるようζこ出力バッファに抵送され る。これは必要とさnるピッチ同期烏果力作を終了する。
1′でのサンプル数は次に、現在のLKSIrWとさ九、入(c+のブロックi 0qを参照)に対して現在のLES工Jとされる。
いま、説明ざnたロードに続いて、その例で試験されル次のロードi41DEV I ET工Sであることを示す。したがって、入力波形(すなわち!)ζ)のl に現く次のLEN7RMサンプルは第1q図の(a)2よび(e+でそT’、− ′nに示されるようIc遍集されないでy“(丁なわち、z′に)に洸いて出力 バッファにロードされる。
もしD’L”lθζらば、もし’、q?Q?’:が負の匣をとることが許される ならば、さらに前記の手順が姓涜する。そ几シこよって、そnはz、+2に対す る検索ji ZCR二で足まり、ZCRiでのサンプルのあと繰り返ざnるセグ メント:こ対するサンプル(ZCRt ’、 N:)OPで)(丁なづち、ZC :R/ の=へ)の互わりでざわることを示す。
フレームごとのDEVを試験するプロてスjオ全時間ひすみ路のために壬く。し かしながら、信号期間の測定がnxの下でのでグメントは無声音であるというこ とを示すとき、特別な動作がされる(第20 CC)図の決定105を参照)。
この状態が生じると、スキ゛ンプ(又はリピート)されるサンプル数NFOPT はDEV lこ等しくでットさn、前記の手7頂はステップlから硯げられる。
最後に、出力されるセグメントが無声音として分類されると、ざらに動作上の差 が生じる。この場合て2G)で、ディジタル無声音(すなわち、9のフレーム) が入力波形をt換するように使用されるため、 LKSIrWは前のT?iS  X”itと現在のTFiSIIW間のサンプル上の差によって増分される。した がって、偏さを一定;こする。これは第2o (b1図の決定lθj2よび10 ヲに使く第20(C)図のブロック104”;6よびlOりで示さ孔てG)る。
編集プロセス全部の流n図は第20図)こ示される。
含よnている荷g(前に説明ぎわてG)なLl’ )i:フレームのたD;こ計 算さ孔た偏移が、偏集が要求されるこ七を示すならば、第、2 Q (b1図の 決定/10、丁なわち次のフレーム)こ対する偏移が計算ざn、次のフレーム( 現在のフレームで行ζわnる編集もさ几なし)で)′こ3ケる偏移が編集スレッ シュホールド、すなわち決定デフ以内にあるならば、い71)なる偏集力作も現 =のフレームで万;わn;い1先回り”試験で万るついくつ、:l)の1iな・ 3王が晋百−両宙晋3よび燕声晋−音声のフレーム境界での不連続の機会七或少 する前記の基:X劾咋に河しでなざわるつ列え(ビ、音声フレームjかもし無声 音として分類す几るフレームj+1:、こ先行するならば、フレームよ+/の笑 垢の信号内容はディジタル無声音の代りに出力され、フレーム互+/iこ2ける 波形を通して後方への定食はf、tの零交叉* i iこ位置付けざnる。次( こ、この位置からフレーム2十/の終りまでの丁べての黒はディジタルθにセ゛ ノドされる。
交番的に、0への簡単な青膨交叉フェードはフレームj(又は、もし使用される ならば、j+/)の終りで導入される。同様に、もし無声音がフレームjでの音 声)こよって継沈さ孔るならば、フレームj−7は無声音の代りに出力され、フ レーム(j−/)の始下りから最初の零又叉(又は遺影クロスフェード)までの 波形をOに合わせることが再び実行される。
前記の説明で、出力波形は各フレームでの偏移DKVの計算の結果にしたがって フレーム・ノくイ・フレームに基づいて発生される/7れども、さらに、烏来デ ータ7J)ら入力波形のサンプルのたのにポインタのテーフ゛ルを形成すること ができる。そして、こ几らのポインタはシステム・メモ1月こ下たはディスク上 でS4gれるつポインタは再生動作子フェッチざ几るべさでめるセク゛メントの 開β3よび終了サンプルを示し、ざら)こ出力されるべきでゐるディジタル無声 音のづクメントの立食と期1間を示すよう:こ使用ざnる。し二がって、新しい 波形よつむしろ鶴果翁→リストが発生ミ21、フ1;りのディスク・スペース) ;非4i上の欠点と共ンこ5杓ざnる。
第6図に関して明記で説明さ几ているように処理動作は調整さn、3よびまたは 、第2図に示ざわているハードウェアで作動するソフトウェアを使用して次のよ うに実行される。
オペレータ・インタフニーシンク、システム・コントロール、および、信号編集 のための別々の手、瞑は、元来はRATFOR(推論F’0RTRAN)言語で 書かれていて、A NS工工F’0RTRAN−ククコードを生じるようにRA T3″ORプリプロセッサによってほん訳される。このソース・コードは再配置 できるオブジェクト・コードの形で個々のプログラム・ユニットを生じるように インテルFORTLAIJ−gAコンパイラによってコンパイルされる。適当な 装置ドライバー、入出カシステム、オペレーティング・システムの核と共にこれ らのプログラム・ユニットはインテルRMX−KgインタラクティブaHニーテ リティを1吏用してロード可j目であるタスク・システムに構成される。このシ ステムはアプリケーション・タスクおよびオペレーティング・システムが足り、 そわがSBC!/(り」えば、ディスク・ファイル刀)ら)のランダム・アクで ス・メモリ(R−,1)jこロードされる実時間マルチタス千ング漫視を1升す るの)こ過轟をソフトウェアで含も・。タスクが足っているとさ、そのλ先頂M  ’r:、丁ペレータ通1言、マグチック信号侠出3よ乙ζ届1卸、信号ディジ タル化、ディスク上の信号記憶、信号4采、3BC2との通゛Iがすべて同時に 行なわnるまう−こ見えるように配置ざわる。
もつと詳細に、これらの手順は、割り込み優に受信される悄号のような実時間イ ベント、したがって、サービス特定の−A部・イベントにただちに応答する割込 みサービス・ルーチン(ISF、)、または、応答のもっと複41jでットのた めの処理装置の動作を交換する割込みタスクのどちら7J)によって処理される 。SBCtでの処理は*TE / !:2プロセッサ15からのマスク録音(オ ン)信号の受信のさい始よりしたがって、割込みタスクに分漬さnる。起動手項 の中には次のようなものがある。
SBC/と5BC2間のメモリ写像さゎたフラグを介して時間ひずみ処理装置を 起動し、A/D−Cバッファ・ハードウェア割込みを可能化し、マスタ録音(オ フ)に2ける終了手項を可能化し、編集プロセッサを起動する。
論集プロセッサ(これもSBCtに2ける)は同じタスクの一部さして作動する が、データが処理のために使用可能であるかどう刀1全薙7)るようにメモリ・ マツピンダテ介してSBC、,2上のポインタを調べ、ざら)こ、書き丁ぎをざ nる未処理データを千止するように33C2のメモリーこポインタをでツトする 。
A/E −Cバッファ・メモリっ八らディスクへのデータの伝送:;、慢’D  −Cバッファ完全バードウニア10込言号iこ2勘し、適径なメモリ3よびディ スク・アドレスをディスク・コントローラに送る割込みタスクによって処理され る。そのディスク・コントローラは1−香に作動し別のプロセッサ調停ナクシて 直接メモリ・アクセスによってデータ転送を監視する。
終了手順は、マスク録音信号が作動しないような動作を開妬し、再びメモリ写像 さnたポイント3よびr10ボート・ハンドシェイクはこの段階の間のボード内 部通信を維蕎する。
SBCu上の時間ひすみプロセッサ(TWP )はRATFORで書かれ、前処 理され、コンパイルされ、ディスクから8BC2のRAMにロード可能であるシ ンプラ(si、npler)、丁なわち主−のタスク・モジュールに構成される 。このボード上のタスクがいったん開始されると、T″TRを開始するため工1 0ポートを介してSBC/から割込みを受信するために待機する。TWPが始ま ったあと、パラメータ・バッファ・フル・ハードウェア割込みが可能化され、こ 几らのバッファを空iこしてSB(! 2のオン・ボード・メモリに入れること は工SRを介してなされる。
片間ひすみ路);前記で説明したようにメモリ・マツピングを介してS3C/+ こ移され、T″vP終了信号は工10割込み′:6よびメモリ写像さ、T1.t フラグを介して移される。
第27図;;第二図2よび第3図のA1つ装置コ「2よびD/A装叉、!デの詳 細ブロック1図であるっ窮3図;こ:受用さ几る参照数字ばこ几らの河石する要 素について第21図で通用さ几る。第コ/図’(: / 2−.2J J M  AZで効くクロック発生器///を含ひよう;こ第3図の制卸部32を示す。ざ らに、装置;イSよび2?は、もし必要ならば、マイクロホンHからのディジタ ル化信号がD/A変換装置に送られることができるループ論理3よびミュート論 理を含む。マイクロホン入力(!:第2図のダビング・パラメータ抽出プロセッ サとの荷合はまた、第21図に示されている。マイクロボン入力は第21図にチ ャネルAオーディ丁と指定されたチャネルを通してMS、!θθ3ディジタル・ フィルタおよびプレシー社製の検出器(−U:+)の形でフィルタバンク(図示 されていない)に移される。前記演出器(FAD)は、ブリティッシュ・テレコ ム社のライセンスの下に英国のブレラシイ社p、2.cによって製造されたもの であり、英国、ノーサンド、タウセスタ、カスウェルの、ブレラシイ・リサーチ (カスウェル)社のアレン・クラーク・リサーチ・センタによって発行サワたブ レラシイ・データ・シート公開誌第p、 s、コ2’ll=号に記述ざわている 。
第21図に示ざnるチャネルBオーディオは第2図と第1!図の案内トラック・ パラメータ油出プロセッサダ3へのテヱ不ルである。第二のMS2θθ3 ディ ジタル・フィルタ3よび検出器FAD 2’、−:第4図に示さ几るディジタル ・フィルタバンク57全構茸する。
テマネルAと3は第2/図ンこ示ざ几ているよう)こ壜72段としてそ几ぞわの バッファを有しcFLうのバッファからの出力;;差分であOlこ’7”L 1 .丁−デイ万出力バツファダlの場合のようlこバッファ段から2重勝て示され る。訓淘画路に2ヴるそして利倒回路の要素から制−i!i]ざ孔る装置への内 5檄硯は簡単な又は複雑なバスでされる。第3図の大容1バッファ30は共通デ ータおよびアドレス・マルチプレクサテ有する2つのメモリバンクAおよびBの ように配置される。
パラメータ抽出プロセッサ≠23よび/I3の各ヤ;こ2いて、LO()としる されている各ブロックによって実行されるプロセスは、この例において、PRO M Cプログラム可能な読出し専用メモリ)における倹素テーブルからのアドレ ス指定であり出力である。スイッチ5gはマルチプレクサである。
先行技術の時間ひすみ2よび言語認識の別の報告が、1911年5月に発行さn た[−7!i信に関する工g EK トランfり’/ ヨ7 J 74 cOM −2q巻、第5号、第42/頁−8439頁のり、R,ラビンナとS、m、レヒ ンソンの論文「分離され、接読された言語g識−理論2よび1択応用−1になさ れている。
欠 )J。
Ft’y、7 Ftcy、8 Fa、9 ( (\ ( Fta、 17 Fta、18 Ftcy、19

Claims (1)

  1. 【特許請求の範囲】 / 信号を処理下る方法)こ2いて、 データおよび実質的に第1の信号に類似している第一の信号の同一の時間(こ・ 衣存する特徴に関するデータを発生すること: 該第2の信号の特徴の該タイミングと該第1の信号の対応する特徴の該タイミン グ間の差を表わすデータを生じるように前記データを使用すること;該第一の信 号の波形を表わTデータを発生すること;および、 該第1の信号の前記特徴の該相対的なタイミングを実質的に複製する該第一の信 号の偏集形式を表わす出力データ上古じるよう(こ該第2の1g号の波形を表わ すデータを@奥するため子こ通している編集データを発生するようlこ該タイミ ング差データを使用すること:を特徴とする前記信号を処理する方法。 ;、該罰果データ)こ従って該第二の波形全表わす該データを−a桑することを 特徴とする請求の範囲第1項記成の方法。 、2 信号を処理する装置ζこおいて、前記ば号の選択さ?−を埒、間lこ式存 する特徴;こ対応する箒/の信号3よ乙″:第;の・信号からデータを発生する ための平段(、;:、、、zJ)と: 該洛コの信号の前記特徴の該タイミングと該第1の信i10λ′ 号に3いて実質的に同じ特徴の原タイミング間の差を表わすデータを生じるよう に前記データを卯月するための手段(SBCコ)と; 該第一の信号の該波形を表わすデータを発生するための手段(2g)と;および 該第1の音声信号の前記特徴の該相対的なタイミングを実質的に復製する該第一 の信号の編集形式を表わす出力データを生じるように該第−の信号の該波形を表 わ丁該データを編集するために適している編集データを発生するように該タイミ ング差データを使用するための手段(SBC/ )と; を特徴とする前記信号を処理する装置。 l このような編集を達成するために備えられる手段(SBCt 、s i ) を特徴とする請求の範囲第3項記載の信号を処理する装置。 よ 音声の編集のための方法であって、第1の音声信号を実質的にまねて作った 第一の音声信号を表わすディジタル・データを発生すること: 該第12よび該第2の信号の選択された時間変更パラメータの発生および/また は値をそれ刀1ら決定するために前記信号を処理すること; 該第二の店号ンこおける選択さ几た時間変更パラメータの該発生および/または 堰を表わす処理ざ几たディジタル・データに応答して、該第二の信号)こ3ヴる 音声の有無を表わすディジタル・データを発生すること;103 壊第二の信号に3けるピッチを表わすディジタル・データを発生すること; 該第2の音声信号lこ特有な特徴の該タイミングと該対応する該第1の音声信号 に特有な特徴の該タイミング間の差を表わ丁ディジタル・データを発生するよう に整第二の信号における音声の有無を表わし、該第1および該第二の音声信号の 時間変更を表わすディジタル・データのシーケンスを使用すること:2よび、タ イミングにおけるピッチおよび前記差を表わすディジタル・データおよび該第− の音声信号tこおける音声の有無を表わ丁ディジタル・データ・ジーケンスト該 第コの音声信号における無声音2よび/または音声の期間を調整することによっ て、該第二の音声信号に特ゴな該特徴と洪に該対応する該第1の音声信号に特有 rlty=徴の該タイミングを実質的に複製する要求にしたがって編集データを 発生するように該第二の信号に対応する該ディジタル・データを処理すること: を特徴と丁;I前記の方法。 み 該偏果データ)こ従って該第二の音声信号子こ対応する原ディジタル・デー タを論集し、それICよって該第二の音声信号の遍集版に対応する偏集さ几たデ ィジタル・データを発生することを特徴とする請求の範囲第5項記載の方法。 7 ディジタル・万一デイオ・システムJこおいて、実質罰;こ第1の音声信号 を!−でつくる第2の音声君特表昭59−500432 (2) 号)こ対応するディジタル・データを記憶下る手段(、,25);該第12よび 第二の信号の選択ざnた時間変更パラメータの該発生および/または1直を該第 /Sよび第二の音声信号71)ら決定するための手段(12,ダ3);該第二の ぼ号の選択さnた時間変更パラメータの該発生3よび/ぽたは4直全辰わ下処理 されたディジタル・データに応答して特有な音響学回分−を符号化するディジタ ル・データを発生するための手段(SBC/ 、l1g) ;該第二の信号にお けるピッチを表わ丁該ディジタル・データを発生するための手段(sBct、s o):該将宥な分類を符号化し、該第2の音声信号に特有な特徴の該タイミング と該対応する該第lの音声信号に特@ r、;特徴の該タイミングとの間の差を 表わすディジタル・データ″を発生するように該第1坩よび男コの音声信号の時 間変更パラメータを表わすディジタル・データのシーケンスを使用するための手 段(aBc=);タイミングに2けるピッチ2よび抜差と該第二の音声信号に特 有な分類を符号化するディジタル・データのシーケンスを表わす該ディジタル・ データと該第二の音声信号における無声音2よび/よたは音声の期5間を調整す ることによって該第二の音声信号の該特徴と共に該対応する該差lの音声信号; こ碍再;荷致の該タイミングを央貞的ンこ復製する要求Iこしたがって錨東デー タを発生Tるよう多こ該第;の音声信号;こ討ヱする該ディジタル・データを処 理するたわの手段(33C/):全特徴とする前記のディジタル・オーディ万・ システム。 g 該編集データζこしたがって該第2の信号シこ対応する該ディジタル・デー タを喝柔し、それによって該第−の音声信号の籐集、仮Jこ対応する論集ざわた ディジタル・データを発生するための手段(SBC/、5/)が設灯られている ことを特徴とする請求の範囲第7項記載のディジタル・万一デイ万・システム。 7 前記の請求の範囲のどれかによる方法あるいは装置又はシステムによって生 じる録音音声。 IO請求の範囲第ヲ項記載の録音音声およびフィルム又はビデオテープのための 会話トラック形式の録音音声。 ll 著しく時間に依存する特徴を有する関連する信号S、(t、を含む不満足 tR音参照信号X 、(t;のための1喚を処理する方法9こ3いて b +  (tlと実質的に同じであるシーケンスとして時間をと依存する特徴を有する関 連する信号S:(t’) ?含むがしかしその特徴がS I(t、jの対応する 峙致として)aぼ(司じタイミングのみで生じる置換・信号x、 (:’)が提 供され; 該は号”+(t)$よび=、(1“)のA訳さnた物理的な面が周期−f31こ 剣ポぎLl こ几らのAl1走つ)ら時1間;こイ孜存するノザラメーヅの直が 央足ざnlその則定;;夜出さ几るべきでゐる該信号”+Fi*よび=−i(= ’)の荷左;こ3汀る著しG)変化のために十分高速で奥行さn; 06 原食俣店号の連続セグメントは画定期1間;こ対する関連する信号52(tつの 有無に関する時1川iこ部存する分類音生じるようにパラメータのいくつかある いは丁べてのシーケンスから分類され: 該信号” + F+ 46よびx2(t’)の該時間;こ依存する分類上族時間 に依存するパラメータは該責侯占号x2/l’)の時間スケールのひずみを記述 し、g置換信号の時間に依存するパラメータの時間(こ2いて対応する該参照信 号の時間lこ依存するパラメータlと良gに整列させるように行なわれねばなら ない関数を生じるように使用さ、T′1.:該時間スケールひずみ関数は該参照 信号の該時間スケール上の該対応する著しい特徴を有する該置換は号の該時間ス ケール上で生じる著しい特徴の所望の整列を連成するために該置換信号の該時間 J形にぎわる夏更全正洛化するよう1こ証参照信号タイミングと該置換信号タイ ミング間の十分な差異が有ること全積出するようiこ解析され; 該時1司スケールひずみのこの届所2)ら得られる画報は該置換信号で作動する はずでめるi果プロてスのための詳細な割却渭報を発生するような置換信号の時 間fこ依存する分類と1形、そして、可1巨でf)、7″、ば、その1報の壬不 濁及数データーこ関する「1報と井)こ゛受用ざr、る:こと全特徴とする前記 の万7=。 /二、*]己ヨ11圓:青報;;、 該A糸・信号Iこ3.7る 戊)前信号の 有意の相応5”l rj待時間依存する特徴の夏ター「ミンクを央盲乏ンこ1視 するようをこ該置換信号から、または該1遺信号(こ信号データの遜轟なシーケ ンスの戸1j除および/または挿入を決定するために該編集処理で使用されるこ と全特徴とする請求の範囲第t/項記載の方法。
JP58501091A 1982-03-23 1983-03-23 オーディオ周波数出力信号発生方法および装置 Granted JPS59500432A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB8208376 1982-03-23
GB8208376 1982-03-23

Publications (2)

Publication Number Publication Date
JPS59500432A true JPS59500432A (ja) 1984-03-15
JPH0546960B2 JPH0546960B2 (ja) 1993-07-15

Family

ID=10529183

Family Applications (1)

Application Number Title Priority Date Filing Date
JP58501091A Granted JPS59500432A (ja) 1982-03-23 1983-03-23 オーディオ周波数出力信号発生方法および装置

Country Status (7)

Country Link
US (1) US4591928A (ja)
EP (1) EP0090589A1 (ja)
JP (1) JPS59500432A (ja)
AU (1) AU1370883A (ja)
CA (1) CA1204855A (ja)
GB (1) GB2117168B (ja)
WO (1) WO1983003483A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013174765A (ja) * 2012-02-27 2013-09-05 Sony Corp 信号処理装置、信号処理方法、およびプログラム、電子機器、並びに、信号処理システムおよび信号処理システムの信号処理方法

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5979300A (ja) * 1982-10-28 1984-05-08 電子計算機基本技術研究組合 認識装置
JPH0632020B2 (ja) * 1986-03-25 1994-04-27 インタ−ナシヨナル ビジネス マシ−ンズ コ−ポレ−シヨン 音声合成方法および装置
US5040081A (en) * 1986-09-23 1991-08-13 Mccutchen David Audiovisual synchronization signal generator using audio signature comparison
CA1322595C (en) * 1988-01-22 1993-09-28 Andrew Staffer Synchronization of recordings
US5087980A (en) * 1988-01-22 1992-02-11 Soundmaster International, Inc. Synchronization of recordings
US4956806A (en) * 1988-07-12 1990-09-11 International Business Machines Corporation Method and apparatus for editing source files of differing data formats using an edit tracking file
GB2235815A (en) * 1989-09-01 1991-03-13 Compact Video Group Inc Digital dialog editor
EP0527529B1 (en) * 1991-08-09 2000-07-19 Koninklijke Philips Electronics N.V. Method and apparatus for manipulating duration of a physical audio signal, and a storage medium containing a representation of such physical audio signal
EP0527527B1 (en) * 1991-08-09 1999-01-20 Koninklijke Philips Electronics N.V. Method and apparatus for manipulating pitch and duration of a physical audio signal
DE69231266T2 (de) * 1991-08-09 2001-03-15 Koninkl Philips Electronics Nv Verfahren und Gerät zur Manipulation der Dauer eines physikalischen Audiosignals und eine Darstellung eines solchen physikalischen Audiosignals enthaltendes Speichermedium
US8821276B2 (en) 1992-05-22 2014-09-02 Bassilic Technologies Llc Image integration, mapping and linking system and methodology
US5553864A (en) 1992-05-22 1996-09-10 Sitrick; David H. User image integration into audiovisual presentation system and methodology
US7137892B2 (en) * 1992-05-22 2006-11-21 Sitrick David H System and methodology for mapping and linking based user image integration
US5485395A (en) * 1994-02-14 1996-01-16 Brigham Young University Method for processing sampled data signals
US7989689B2 (en) 1996-07-10 2011-08-02 Bassilic Technologies Llc Electronic music stand performer subsystems and music communication methodologies
US7098392B2 (en) * 1996-07-10 2006-08-29 Sitrick David H Electronic image visualization system and communication methodologies
US7297856B2 (en) * 1996-07-10 2007-11-20 Sitrick David H System and methodology for coordinating musical communication and display
US5728960A (en) 1996-07-10 1998-03-17 Sitrick; David H. Multi-dimensional transformation systems and display communication architecture for musical compositions
US5812071A (en) * 1996-08-13 1998-09-22 Northern Telecom Limited Apparatus and method for lossy compression using dynamic domain quantization
US5986199A (en) * 1998-05-29 1999-11-16 Creative Technology, Ltd. Device for acoustic entry of musical data
US6182042B1 (en) 1998-07-07 2001-01-30 Creative Technology Ltd. Sound modification employing spectral warping techniques
US6636993B1 (en) * 1999-02-12 2003-10-21 Fujitsu Limited System and method for automatic deskew across a high speed, parallel interconnection
US6704671B1 (en) 1999-07-22 2004-03-09 Avid Technology, Inc. System and method of identifying the onset of a sonic event
US6959274B1 (en) * 1999-09-22 2005-10-25 Mindspeed Technologies, Inc. Fixed rate speech compression system and method
US6594601B1 (en) 1999-10-18 2003-07-15 Avid Technology, Inc. System and method of aligning signals
US7031980B2 (en) * 2000-11-02 2006-04-18 Hewlett-Packard Development Company, L.P. Music similarity function based on signal analysis
US7827488B2 (en) * 2000-11-27 2010-11-02 Sitrick David H Image tracking and substitution system and methodology for audio-visual presentations
US6983246B2 (en) * 2002-05-21 2006-01-03 Thinkengine Networks, Inc. Dynamic time warping using frequency distributed distance measures
US7085717B2 (en) * 2002-05-21 2006-08-01 Thinkengine Networks, Inc. Scoring and re-scoring dynamic time warping of speech
US8009966B2 (en) * 2002-11-01 2011-08-30 Synchro Arts Limited Methods and apparatus for use in sound replacement with automatic synchronization to images
EP1578141A1 (en) * 2004-03-19 2005-09-21 Deutsche Thomson-Brandt Gmbh Method and apparatus for adapting the speed or pitch of replayed or received digital audio signals
US7587254B2 (en) 2004-04-23 2009-09-08 Nokia Corporation Dynamic range control and equalization of digital audio using warped processing
US8521529B2 (en) * 2004-10-18 2013-08-27 Creative Technology Ltd Method for segmenting audio signals
EP1840877A4 (en) * 2005-01-18 2008-05-21 Fujitsu Ltd ELOCUTION SPEED CHANGING METHOD AND ELOCUTION SPEED CHANGING DEVICE
EP1849154B1 (en) * 2005-01-27 2010-12-15 Synchro Arts Limited Methods and apparatus for use in sound modification
US7825321B2 (en) * 2005-01-27 2010-11-02 Synchro Arts Limited Methods and apparatus for use in sound modification comparing time alignment data from sampled audio signals
EP1720166A1 (en) * 2005-05-04 2006-11-08 Deutsche Thomson-Brandt Gmbh Method and apparatus for authoring a 24p audio/video data stream by supplementing it with additional 50i format data items
WO2007004110A2 (en) * 2005-06-30 2007-01-11 Koninklijke Philips Electronics N.V. System and method for the alignment of intrinsic and extrinsic audio-visual information
JP4124247B2 (ja) * 2006-07-05 2008-07-23 ヤマハ株式会社 楽曲練習支援装置、制御方法及びプログラム
US8239190B2 (en) * 2006-08-22 2012-08-07 Qualcomm Incorporated Time-warping frames of wideband vocoder
US7378588B1 (en) * 2006-09-12 2008-05-27 Chieh Changfan Melody-based music search
EP1959449A1 (en) * 2007-02-13 2008-08-20 British Telecommunications Public Limited Company Analysing video material
US20080256136A1 (en) * 2007-04-14 2008-10-16 Jerremy Holland Techniques and tools for managing attributes of media content
US8751022B2 (en) * 2007-04-14 2014-06-10 Apple Inc. Multi-take compositing of digital media assets
US20080263450A1 (en) * 2007-04-14 2008-10-23 James Jacob Hodges System and method to conform separately edited sequences
WO2010005823A1 (en) * 2008-07-11 2010-01-14 Spinvox Inc. Providing a plurality of audio files with consistent loudness levels but different audio characteristics
US8802957B2 (en) * 2010-08-16 2014-08-12 Boardwalk Technology Group, Llc Mobile replacement-dialogue recording system
US10402485B2 (en) 2011-05-06 2019-09-03 David H. Sitrick Systems and methodologies providing controlled collaboration among a plurality of users
US8990677B2 (en) 2011-05-06 2015-03-24 David H. Sitrick System and methodology for collaboration utilizing combined display with evolving common shared underlying image
US8806352B2 (en) 2011-05-06 2014-08-12 David H. Sitrick System for collaboration of a specific image and utilizing selected annotations while viewing and relative to providing a display presentation
US8918723B2 (en) 2011-05-06 2014-12-23 David H. Sitrick Systems and methodologies comprising a plurality of computing appliances having input apparatus and display apparatus and logically structured as a main team
US8918722B2 (en) 2011-05-06 2014-12-23 David H. Sitrick System and methodology for collaboration in groups with split screen displays
US8875011B2 (en) 2011-05-06 2014-10-28 David H. Sitrick Systems and methodologies providing for collaboration among a plurality of users at a plurality of computing appliances
US11611595B2 (en) 2011-05-06 2023-03-21 David H. Sitrick Systems and methodologies providing collaboration among a plurality of computing appliances, utilizing a plurality of areas of memory to store user input as associated with an associated computing appliance providing the input
US9224129B2 (en) 2011-05-06 2015-12-29 David H. Sitrick System and methodology for multiple users concurrently working and viewing on a common project
US8826147B2 (en) 2011-05-06 2014-09-02 David H. Sitrick System and methodology for collaboration, with selective display of user input annotations among member computing appliances of a group/team
US8918721B2 (en) 2011-05-06 2014-12-23 David H. Sitrick Systems and methodologies providing for collaboration by respective users of a plurality of computing appliances working concurrently on a common project having an associated display
US8914735B2 (en) 2011-05-06 2014-12-16 David H. Sitrick Systems and methodologies providing collaboration and display among a plurality of users
US8924859B2 (en) 2011-05-06 2014-12-30 David H. Sitrick Systems and methodologies supporting collaboration of users as members of a team, among a plurality of computing appliances
US9330366B2 (en) 2011-05-06 2016-05-03 David H. Sitrick System and method for collaboration via team and role designation and control and management of annotations
US8918724B2 (en) 2011-05-06 2014-12-23 David H. Sitrick Systems and methodologies providing controlled voice and data communication among a plurality of computing appliances associated as team members of at least one respective team or of a plurality of teams and sub-teams within the teams
JP5422640B2 (ja) * 2011-12-28 2014-02-19 京セラドキュメントソリューションズ株式会社 画像読取装置
US9596386B2 (en) 2012-07-24 2017-03-14 Oladas, Inc. Media synchronization
US9355649B2 (en) 2012-11-13 2016-05-31 Adobe Systems Incorporated Sound alignment using timing information
US9201580B2 (en) 2012-11-13 2015-12-01 Adobe Systems Incorporated Sound alignment user interface
US10638221B2 (en) 2012-11-13 2020-04-28 Adobe Inc. Time interval sound alignment
US10249321B2 (en) 2012-11-20 2019-04-02 Adobe Inc. Sound rate modification
US9451304B2 (en) * 2012-11-29 2016-09-20 Adobe Systems Incorporated Sound feature priority alignment
US9135710B2 (en) 2012-11-30 2015-09-15 Adobe Systems Incorporated Depth map stereo correspondence techniques
US10455219B2 (en) 2012-11-30 2019-10-22 Adobe Inc. Stereo correspondence and depth sensors
US9208547B2 (en) 2012-12-19 2015-12-08 Adobe Systems Incorporated Stereo correspondence smoothness tool
US10249052B2 (en) 2012-12-19 2019-04-02 Adobe Systems Incorporated Stereo correspondence model fitting
US9214026B2 (en) 2012-12-20 2015-12-15 Adobe Systems Incorporated Belief propagation and affinity measures
GB2609611A (en) 2021-07-28 2023-02-15 Synchro Arts Ltd Method and system for time and feature modification of signals

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52109806A (en) * 1976-10-18 1977-09-14 Fuji Xerox Co Ltd Device for normalizing signal level
JPS5511250A (en) * 1978-07-11 1980-01-26 Sanyo Electric Co Voice discriminating circuit in remote controller

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4210781A (en) * 1977-12-16 1980-07-01 Sanyo Electric Co., Ltd. Sound synthesizing apparatus
DE2849218A1 (de) * 1978-11-13 1980-05-14 Siemens Ag Anordnung zum nachsynchronisieren von filmen
JPS5569880A (en) * 1978-11-22 1980-05-26 Nec Corp Pattern recognition unit
US4271332A (en) * 1979-06-04 1981-06-02 Anderson James C Speech signal A/D converter using an instantaneously-variable bandwidth filter
US4384273A (en) * 1981-03-20 1983-05-17 Bell Telephone Laboratories, Incorporated Time warp signal recognition processor for matching signal patterns

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52109806A (en) * 1976-10-18 1977-09-14 Fuji Xerox Co Ltd Device for normalizing signal level
JPS5511250A (en) * 1978-07-11 1980-01-26 Sanyo Electric Co Voice discriminating circuit in remote controller

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013174765A (ja) * 2012-02-27 2013-09-05 Sony Corp 信号処理装置、信号処理方法、およびプログラム、電子機器、並びに、信号処理システムおよび信号処理システムの信号処理方法

Also Published As

Publication number Publication date
GB8308021D0 (en) 1983-04-27
GB2117168A (en) 1983-10-05
WO1983003483A1 (en) 1983-10-13
EP0090589A1 (en) 1983-10-05
CA1204855A (en) 1986-05-20
US4591928A (en) 1986-05-27
JPH0546960B2 (ja) 1993-07-15
GB2117168B (en) 1985-09-18
AU1370883A (en) 1983-10-24

Similar Documents

Publication Publication Date Title
JPS59500432A (ja) オーディオ周波数出力信号発生方法および装置
Ho et al. Development of phonological awareness of Chinese children in Hong Kong
Kane Sound unseen: Acousmatic sound in theory and practice
Kong et al. Voice onset time is necessary but not always sufficient to describe acquisition of voiced stops: The cases of Greek and Japanese
Sider et al. Soundscape: the School of Sound lectures, 1998-2001
Molnar et al. The amount of language exposure determines nonlinguistic tone grouping biases in infants from a bilingual environment
Martin Where do cinematic ideas come from?
Cowan et al. The phonological and metaphonological representation of speech: Evidence from fluent backward talkers
Perea Sound relations: Native ways of doing music history in Alaska
Sands Click consonants: An introduction
Emeneau The dialect of Lunenburg, Nova Scotia
O’Meally Antagonistic Cooperation: Jazz, Collage, Fiction, and the Shaping of African American Culture
Rvachew et al. Production of Word-Initial Consonant Sequences by Francophone Preschoolers with a Developmental Phonological Disorder.
Cooper Intonation in Anglesey Welsh
Thorum Phonetics: A contemporary approach
Flach Film scoring today-Theory, practice and analysis
Rio-Jelliffe " Absalom, Absalom!" as Self-Reflexive Novel
Han The effects of fundamental frequency contours on the intelligibility benefit of clear speech in native speakers of American English and native Speakers of Seoul Korean
Johnson Word segmentation during infancy: The role of subphonemic cues to word boundaries
Morandini The phonology of loanwords into Italian
Deal Performing" Up The Shore": a stylistic analysis of Newfoundland Irish English vowels in the Ferryland dinner theatre
Krauss “The Rock”: William Kentridge’s Drawings for Projection (2000)
Harris et al. Phonological features exhibited by children speaking African American English at three grade levels
AbdAlgane English Phonology for the Non-native Learner: A Survey of the Hidden Challenges
Kaminska et al. Changing words and changing sounds: A change of tune for verbal transformation theory?