JP3730764B2

JP3730764B2 - 話速／画速同時変換装置

Info

Publication number: JP3730764B2
Application number: JP24913697A
Authority: JP
Inventors: 章中村; 源曽根原; 和久井口; 裕司野尻
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1997-09-12
Filing date: 1997-09-12
Publication date: 2006-01-05
Anticipated expiration: 2017-09-12
Also published as: JPH1188844A

Description

【０００１】
【発明の属する技術分野】
本発明は、加齢ないしは何らかの障害等により低下する音声識別臨界速度（音声を正確に識別できる最大の話速）、及び映像の識別速度（映像の動きを正確に識別できる速度）等の視聴覚能力の低下を補う技術に関するもので、特に映像と音声を有するメディア（例えば、テレビジョン、ＶＴＲやＤＶＤのような映像音声記録メディア、コンピュータ上での動画再生等）や医療機器等、発話者の声の高さ、個人性、及び音韻性を保持したまま高品質に発話速度を変換できる話速変換音声に同期し、映像も自然性を保ったまま高品質に速度の変換が可能であり、視聴者の視聴覚特性にフィッティングでき、視聴を補助することを行う、話速／画速同時変換装置に関する。
【０００２】
【従来の技術】
加齢ないしは何らかの障害により、音声識別臨界速度や映像の識別速度が低下した視聴者に対し、音声及び映像の両者を同時に同期して高品質にゆっくりさせ視聴させることにより、音声や映像の了解度上げることができる。しかし、この音声と映像の両者を同期して高品質にゆっくりさせる手法が従来技術には無い。
【０００３】
即ち、発話者の声の高さ、個人性、及び音韻性を保持したまま高品質に発話速度を変換できる話速変換音声に同期し、映像も自然性を保ったまま高品質に速度の変換が可能となり、視聴者の視聴覚特性にフィッティングでき、視聴を補助する方法は、発話者の声の高さ、個人性、及び音韻性を保持したまま高品質に発話速度を変換できる話速変換音声に同期し、映像の速度も自然性を保ったまま高品質に変換を可能とすることが困難であったため、開発されていない。
【０００４】
高品質に話速変換のみを行う手法については幾つか開発されている。例えば、本出願人による特開平５−０８０７９６号に開示されている。
【０００５】
この話速変換音声に同期（リップシンク）して映像を可変速するには簡易的に、ＶＴＲの可変速再生等がある。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述のような従来技術においては、簡易的に、話速変換した話速変換音声にＶＴＲの可変再生等を擬似的に同期させたとしても、ＶＴＲの可変速再生等では、ｌ／６０秒もしくは１／５０秒（例えばハイビジョン、ＮＴＣＳ方式：ｌ／６０秒、ＰＡＬ方式：ｌ／５０秒）のフイールド単位で、同一フイールドを２度以上、繰り返し提示したり、連続するフイールドを省いたりするため、動きが不自然になったり、垂直方向に映像のジッターが生じるなどして、高品質な変換ができない。
【０００７】
特に、加齢や何らかの原因により聴覚特性の劣化した視聴者にとって、リップリーディング（読唇）を併用するため、話速変換音声と映像の同期が取れていない、もしくは、上述の一般的な手法（ＶＴＲ等の可変速再生）により、動きが不自然になると、リップリーディングを併用することができず、視聴し難くなる。
【０００８】
また、ＶＴＲのような従来の可変再生等では、可変速倍率が一定で、話速変換音声にきめ細かく、同期させることができない。
【０００９】
また、従来の可変速再生機器（例えばＶＴＲなど）等では、フィールドの内挿等の操作を行っておらず、高精度に時々刻々、速度を可変することは不可能であり、話速変換音声のように時々刻々、話速の変化する音声に同期（リップシンク）させることができない。
【００１０】
本発明は、上記の点に鑑みて成されたもので、その目的は、ＶＴＲの可変速再生等のように、同一フィールドを２度以上、繰り返し提示したり、連続するフィールドを省いたりするために生じる動きの不自然さや、垂直方向に映像のジッターを生じることなく、話速変換音声に同期（リップシンク）して、映像／音声を同時に可変速でき、これにより視聴し難くすることなく、各視聴者の視聴覚特性にフィッティングして視聴を補助することができる話速／画速同時変換装置を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、本発明は、話速倍率を設定する話速設定手段と、入力音声を無音区間、無声区間、有声区間に分割する区間分割手段と、前記話速設定手段で設定された前記話速倍率をもとに前記区間分割手段で分割された前記無音区間を延長／短縮する無音区間伸張短縮手段と、前記区間分割手段によって分割された前記有声区間に対してその基本周期を抽出する基本周期抽出手段と、該基本周期抽出手段で抽出された基本周期に従って各基本周期ごとに前記有声区間を分割する基本周期区間分割手段と、前記話速設定手段からの有声区間の伸張倍率に従って、前記基本周期区間分割手段で分割された基本周期区間を繰り返し、これにより有声区間の延長を行う基本周期区間繰り返す有声区間伸張短縮手段と、前記無音区間伸張短縮手段で伸張／短縮された無音区間および前記有声区間伸張短縮手段で伸張／短縮された有声区間並びに前記区間分割手段で分割された前記無声区間とを合成して話速変換音声として出力する合成手段と、話速変換を行なう可変長ブロック単位で、前記話速変換音声が原音声である前記入力音声と比べてどの程度時間的な差が生じたかを検知して該時間的な差を表す話速伸張・短縮コードを出力する話速伸張・短縮検出手段とを包含する話速変換手段、および入力映像のフィールド間での動きベクトルを検出する動き検出手段と、前記話速変換手段の前記話速伸張・短縮検出手段から転送される前記話速伸張・短縮コードが示す話速伸張／短縮量が映像の単位フィールド時間を超えた場合に、前記話速伸張／短縮量に相当する数のフィールドを内挿するための時間位置を決定し、前記動き検出手段が検出した前記映像の動きベクトルをもとに、前記入力画像に対して、決定した該時間位置のフィールドとこれに隣接するフィールドから合成した映像の内挿を行ない、その結果得られた画像の各フィールドを単位フィールド時間間隔で画速変換映像として出力するフィールド内挿手段とを包含する画速変換手段を具備することを特徴とする。
【００１４】
ここで、前記フィールド内挿手段は、可変ブロック長単位で、時々刻々、速度の変化する前記話速変換音声に同期し、該可変ブロック長単位で、独立に映像の内挿位置を決定し、可変のフィールド数の内挿を行うとすることができる。
【００２０】
本発明は、上記構成により、話速変換音声と映像を同期でき、聴覚特性と視覚特性の劣化を相乗的に補償し、各視聴者の視聴覚特性にフィッティングして視聴しやすくできる。原音声に比べ発声時間の変化する話速変換音声に同期して、自然性を保ったまま高品質に映像を可変速でき、加齢ないしは何らかの障害により生じる音声識別臨界速度（音声を正確に識別できる最大の話速）、及び映像の識別速度（映像の動きを正確に識別できる速度）等の低下を補い、各視聴者、千差万別の視聴覚特性に視聴側でフィッティングして、最適な話速音声および、これに同期し、映像も可変速して、視聴を補助することができる。
【００２１】
また、本発明は、話速伸張・短縮コードをもとに、話速変換音声に同期して、適宜、映像を内挿することにより、時々刻々、映像の速度を可変でき、これにより、話速変換音声と映像とを同期（リップシンク）させることが可能となる。
【００２２】
また、本発明は、ブロック単位で話速の変化する話速変換音声に同期して、適宜、映像の内挿位置を決定し、映像を内挿することにより、時々刻々、映像の速度を可変でき、これにより、話速変換音声と映像とを同期（リップシンク）させることが可能となる。
【００２３】
また、本発明は、高品質な速度変換を可能とするため、映像の動きべクトルを検出して内挿を行うアルゴリズムをべースに、話速変換音声から得られる話速伸張・短縮コード（伸張もしくは短縮した情報）をもとに、可変時間長内で、任意の時間位置の映像を内挿し、話速変換音声と映像との同期（リップシンク）を可能とする。
【００２４】
以上により、本発明によれば、映像を伴ったメディア（例えば、テレビジョン、ＶＴＲ、ＤＶＤのような映像音声記録メディア、コンピュータ上での動画再生等）や医療機器等、発話者の声の高さ、個人性、及び音韻性を保持したまま高品質に発話速度を変換できる話速変換音声に同期し、映像も自然性を保ったまま高品質に速度の変換が可能であり、視聴者の視聴覚特性にフィッティングでき、視聴を補助することができる。
【００２５】
【発明の実施の形態】
以下、図面に示す本発明の実施の形態に基づき本発明を詳細に説明する。
【００２６】
なお、本発明は複数の機器からなるシステムにおいて達成されてもよく、１つの機器からなる装置に達成されてもよい。また、システムあるいは装置にプログラムを供給することにより、本発明を達成される場合にも適用されることは言うまでもない。例えば、専用の装置だけでなく、パーソナルコンピュータ（パソコン）等を使用しても実現することができる。また、本発明に係る話速変換アルゴリズム、画速変換アルゴリズムを実現する制御手順をプログラム形態で記録する記録媒体は、ＦＤ（フロッピーディスク）以外にも、ＣＤ−ＲＯＭ、ＩＣメモリカード等であってもよい。更に、本プログラムをＲＯＭに記録しておき、これをメモリマップの一部となすように構成し、直接ＣＰＵで実行することも可能である。
【００２７】
図１は本発明の一実施形態の話速／画速同時変換システムの構成を機能ブロックで示した図である。この話速／画速同時変換システムは話速を変換する話速変換部１００と画速を変換する画速変換部２００とを有し、画速変換部２００は話速変換部１００からの話速変換音声の時間伸張情報に合わせて、任意の時間位置の映像を内挿することができ、話速変換音声と映像との同期（リップシンク）を可能としている。ここで、画速変換はハイビジョン、ＮＴＳＣ、ＰＡＬ等の各種カラーテレビジョン方式に適応可能であるが、図１では、代表例としてハイビジョン（高品位テレビジョン、高精細度テレビジョン）についての場合を示す。
【００２８】
［１］話速変換部１００
話速変換部１００は、後述の話速設定部９の定める比率にしたがって発話者の話速（音声スピード）を受聴者の受聴能力に応じた速さに変換して受聴者に受聴させることができる。即ち、話速変換部１００は話速変換アルゴリズムに従って入力音声を無音区間、無声区間、有声区間に分割し、声の高さや個人性を保ち、受聴者が設定する話速倍率をもとに、高品位に話速変換を可能とする。この話速倍率は、例えば１５０ｍｓ程度の可変ブロック長単位で、変化させることができる。なお、話速変換アルゴリズムとしては、音声を一律に伸張する方式と、適応的に各部の伸張倍率を変化させて全体の伸張量を抑制する方式とが挙げられるが、そのいずれの方式でも本発明は適用可能である。
【００２９】
話速変換部１００は、Ａ／Ｄ（アナログ・デジタル）変換部１、区間分割部２、無音区間延長部３、基本周期抽出部５、基本周期区間分割部６、基本周期区間繰り返し部７、合成部８、話速設定部９および、Ｄ／Ａ（デジタル・アナログ）変換部１０を具える。Ａ／Ｄ変換部１はアナログの入力音声信号（音声入力）をＡ／Ｄ変換（ｌ６ビット、１６ｋＨｚサンプル）する。区間分割部２はＡ／Ｄ変換部１でデジタル化した音声入力を無音区間、無声区間、有声区間に分割する。
【００３０】
無音区間延長部３はユーザーが設定する話速設定部９からの無音区間の伸張倍率に従って、区間分割部２によって分割された無音区間の延長を行うことにより、音声の間を制御する。
【００３１】
発話者の個人性、及び音韻性を保つために無声区間４については加工はしない。
【００３２】
基本周期抽出部５は、区間分割部２によって分割された有声区間に対してその基本周期を抽出する。基本周期区間分割部６は基本周期抽出部５で抽出された基本周期に従って、各基本周期ごとに有声区間を分割する。基本周期区間繰り返し部７はユーザーが設定する話速設定部９からの有声区間の伸張倍率に従って、基本周期区間分割部６で分割された基本周期区間を繰り返し、これにより有声区間の延長を行う。
【００３３】
話速設定部９は、発話者の話す速さと受聴者の受聴能力に応じて無音区間の伸張倍率および有声区間の基本周期区間の伸張倍率の設定を行なう操作部である。
【００３４】
合成部８は無音区間延長部３で延長された無音区間と、何の処理も施されていない無声区間４と、基本周期区間繰り返し部７で延長された有声区間とを合成する。これと同時に、合成部８は、話速変換を行なう可変長ブロック単位で、話速変換音声が原音声と比べて、どの程度伸張（短縮）したかを検出する。即ち、合成部８は区間分割部２から転送される原音声の分析区間と時間長の情報（原音声タイムコード）を逐次、内部メモリに格納しておき、その分析区間に対応した話速変換音声の時間長（話速変換音声タイムコード）とを比較し、どの程度、時間的な差（話速伸張・短縮コード）があるかを検知する。そして、合成部８はこの話速伸張・短縮コードを後述の画速変換部２００のフィールド内挿部１５へ転送する。
【００３５】
合成部８で合成された音声信号は、Ｄ／Ａ変換部１０によりアナログ信号に変換されて話速変換音声としてスピーカ（図示しない）へ出力され、受聴者の受聴能力に応じた受聴者の好みの速さで発声される。
【００３６】
［２］画速変換部２００
画速変換部２００は、高品質な速度変換を可能とするため、映像の動きベクトルを検出して内挿を行なう変換アルゴリズムをべースに、上記の話速変換部１００の合成部８から転送される話速伸張・短縮コードをもとに、話速変換音声に同期して、適宜、可変時間長内で、任意の時間位置の映像（任意のフィールド数）を内挿可能とすることで、時々刻々、映像の速度を可変にする。この画速変換処理により、話速変換音声と映像との同期（リップシンク）を可能とする。
【００３７】
一例として、画速変換部２００はＡ／Ｄ変換部１１、前処理部１２、動き検出部１３、ベクトル検出割り付け部１４、フィールド内挿部１５および、Ｄ／Ａ変換部１６を具える。前処理部１２、動き検出部１３および、ベクトル検出割り付け部１４とで動きベクトル検出系を構成し、フィールド内挿部１５で内挿系を構成する。
【００３８】
入力する映像（アナログ映像信号）を例えばＲＧＢ４：４：４のフォーマットのＡ／Ｄ変換部１１においてＡ／Ｄ変換する。Ａ／Ｄ変換部１１でデジタル化された映像信号に対して、動きべクトル検出・割付のための前処理を前処理部１２で行う。例えば、前処理部１２において映像信号をインターレースの１１２５／６０／２：１からノンインターレースの６５２／６０／１：１に変換する。前処理部１２で前処理を施された映像信号は動き検出部１３とベクトル検出割り付け部１４とに送られる。
【００３９】
動き検出部１３は、例えば勾配法に基づく初期偏位べクトル（候補べクトル８種、ブロックサイズ：８画素、８ライン）を用いた反復勾配法（最大反復回数：２回、ブロックサイズ：８画素、８ライン）により、映像のフィールド間で動きべクトルを検出する。
【００４０】
入力画像と時間的タイミングの異なるフイールドを新たに内挿するため、入力映像信号から動き検出部１３で検出した動きべクトルを、ベクトル検出割り付け部１４により新たに内挿するフイールド上に割り当てる。
【００４１】
フィールド内挿部１５は、話速変換部１００の合成部８から転送された話速伸張・短縮コ―ドをもとに、Ａ／Ｄ変換部１１から送られてくる入力映像に対して任意の時間位置のフィールドを内挿する。即ち、フィールド内挿部１５は、話速伸張・短縮コードが示す伸張（短縮）量が例えば１／６０秒（１フィールド分）を越えた場合、映像の動きベクトルをもとに伸張量に相当する任意の時間位置のフィールドの内挿を行なう。
【００４２】
フィールド内挿部１５で内挿処理を受けた映像信号はＤ／Ａ変換部１６へ出力する。このとき、話速変換部１００のＤ／Ａ変換部１０と画速変換部２００のＤ／Ａ変換部１６とを同期することで、Ｄ／Ａ変換部１０からの話速変換音声とＤ／Ａ変換部１６からの画速変換映像とを同期して出力させる。
【００４３】
図２は図１の話速／画速同時変換システムによる本発明に係わる話速／画速同時変換動作の一例を示す。
【００４４】
図２の（ａ）に示す原音声（音声入力）を図１の話速変換部１００により伸張すると、図２の（ｂ）に示すように各音韻の継続時間が変化した音声となる。即ち、原音声は無声区間は変化しないが、有声区間と無音区間の継続時間がそれぞれ伸張した音声に変る。
【００４５】
図２の（ｂ）に示す話速変換したある有声区間を拡大して図示すると、図２の（ｄ）のような波形となる。これに対応した原音声の区間の波形は、図２の（ｃ）である。この図示の波形区間を、ある１つのブロックとする（このブロック長は可変長であり、時々刻々、ブロック長が変化する。）。なお、図２の（ｃ）と（ｄ）から原音声は基本周期を保ったまま伸張して変換音声に変換されていることが分かる。
【００４６】
この原音声のブロックの時間長をＴ１とする。このＴ１とこのブロックが何番目のものかを示す区間情報とを合わせて、原音声タイムコードと呼ぶ。また、このブロックに対応した話速変換音声の時間長をＴ２とする。このＴ２とこのブロックが何番目のものかを示す区間情報とを合わせて、話速変換音声タイムコードと呼ぶ。
【００４７】
ここで、（Ｔ２−Ｔ１）が話速変換により伸張・短縮した時間長となる。この時間長と上記の区間情報とを合わせて、話速伸張・短縮コードと呼ぶ。合成部８では、この（Ｔ２−Ｔ１）の時間長を算出して話速伸張・短縮コードを求める。フィールド内挿部１５ではこの話速伸張・短縮コードを１／６０秒（ｌフィールド分）で量子化し、図２の（ｃ）で示した原音声に対応した映像のフィールド数と、図２の（d ）に示した話速変換音声に対応した映像のフィールド数とを算出する。この算出結果が、図２の（ｅ）に示す原画（フィールド）の枚数と、図２の（ｇ）に示す画速変換により作り出さなければならないフィールド数に相当する。図２の（ｆ）は内挿位置を表している。この内挿位置については、以下の図３を参照して詳述する。
【００４８】
図３は、本発明に係る、ある可変ブロック長内における、フィールドの内挿位置の決め方を示す。
【００４９】
原画のフィールド数：Ｍ、画速変換により作成するフィールド数：Ｎとすると、図３の（ａ）にＭ＜＝Ｎの場合、図３の（ｂ）にＭ＞Ｎの場合を示している。この両者の内挿位置の決定方法は同一であり、以下に示す手順で決定する。
【００５０】
１）原画のフィールドを、Ｏ1 、Ｏ2 、…、Ｏi 、Ｏi+1 、…、Ｏm とする。
【００５１】
２）画速変換により作成するフィールドを、Ｃ1 、Ｃ2 、…、Ｃj 、Ｃj+1 、…、Ｃn とする。
【００５２】
３）各フレームＣj に対して、次式（１）
【００５３】
【数１】

【００５４】
を満足するｉをｉ_opt とし、
フレームＣj は入力フレームＯ_(iopt)-1とＯ_ipotの間に位置するものと考える。
【００５５】
この時、Ｏ_(iopt)-1からの内挿位置（Ｐｊ）を次式（２）により演算して与える。
【００５６】
【数２】

【００５７】
４）以上の内挿処理を、各可変ブロック毎（各可変ブロックの時間長はそれぞれ異なる）に行い、画速変換する。
【００５８】
任意の可変ブロック長単位で、時々刻々速度の変化する画速変換の例を図４に示す。図４は原画の映像を６フィールドから７フィールドへ変換出力した後、３フィールドから４フィールドへ変換して出力する場合の例を示している。図４の破線矢印で示すように、可変ブロックごとに、決定した内挿位置（時間位置）に、その内挿位置の原画（入力画像）のフィールドの映像と、隣接する原画のフィールドから合成した映像とを内挿し、画速変換している。
【００５９】
【発明の効果】
以上説明したように、本発明によれば、映像を伴ったメディア（例えば、テレビジョン、ＶＴＲ、ＤＶＤのような映像音声記録メディア、コンピュータ上での動画再生等）や医療機器等、発話者の声の高さ、個人性、及び音韻性を保持したまま高品質に発話速度を変換できる話速変換音声に同期して、映像も自然性を保ったまま高品質に速度の変換が可能であり、視聴者の視聴覚特性にフィッティングでき、視聴しやすくなる等の効果を有する。
【図面の簡単な説明】
【図１】本発明の一実施形態の話速／画速同時変換システムの構成を示すブロック図である。
【図２】本発明の一実施形態の話速／画速同時変換の動作例を示すタイミングチャートである。
【図３】本発明の一実施形態における映像のフィールドの内挿位置を示すタイミングチャートである。
【図４】本発明の一実施形態における可変ブロック長単位で、時々刻々速度の変化する画速変換の例を示すタイミングチャートである。
【符号の説明】
１、１１Ａ／Ｄ変換部
２区間分割部
３無音区間延長部
５基本周期抽出部
６基本周期区間分割部
７基本周期区間繰り返し部
８合成部
９話速設定部
１０、１６Ｄ／Ａ変換部
１２前処理部
１３動き検出部
１４ベクトル検出割り付け部
１５フィールド内挿部
１００話速変換部
２００画速変換部

Claims

話速倍率を設定する話速設定手段と、
入力音声を無音区間、無声区間、有声区間に分割する区間分割手段と、
前記話速設定手段で設定された前記話速倍率をもとに前記区間分割手段で分割された前記無音区間を延長／短縮する無音区間伸張短縮手段と、
前記区間分割手段によって分割された前記有声区間に対してその基本周期を抽出する基本周期抽出手段と、
該基本周期抽出手段で抽出された基本周期に従って各基本周期ごとに前記有声区間を分割する基本周期区間分割手段と、
前記話速設定手段からの有声区間の伸張倍率に従って、前記基本周期区間分割手段で分割された基本周期区間を繰り返し、これにより有声区間の延長を行う基本周期区間繰り返す有声区間伸張短縮手段と、
前記無音区間伸張短縮手段で伸張／短縮された無音区間および前記有声区間伸張短縮手段で伸張／短縮された有声区間並びに前記区間分割手段で分割された前記無声区間とを合成して話速変換音声として出力する合成手段と、
話速変換を行なう可変長ブロック単位で、前記話速変換音声が原音声である前記入力音声と比べてどの程度時間的な差が生じたかを検知して該時間的な差を表す話速伸張・短縮コードを出力する話速伸張・短縮検出手段と
を包含する話速変換手段、および
入力映像のフィールド間での動きベクトルを検出する動き検出手段と、
前記話速変換手段の前記話速伸張・短縮検出手段から転送される前記話速伸張・短縮コードが示す話速伸張／短縮量が映像の単位フィールド時間を超えた場合に、前記話速伸張／短縮量に相当する数のフィールドを内挿するための時間位置を決定し、前記動き検出手段が検出した前記映像の動きベクトルをもとに、前記入力画像に対して、決定した該時間位置のフィールドとこれに隣接するフィールドから合成した映像の内挿を行ない、その結果得られた画像の各フィールドを単位フィールド時間間隔で画速変換映像として出力するフィールド内挿手段と
を包含する画速変換手段
を具備することを特徴とする話速／画速同時変換装置。
前記フィールド内挿手段は、可変ブロック長単位で、時々刻々、速度の変化する前記話速変換音声に同期し、該可変ブロック長単位で、独立に映像の内挿位置を決定し、可変のフィールド数の内挿を行うことを特徴とする請求項１に記載の話速／画速同時変換装置。