JP3741839B2 - 画速変換システムおよび方法並びに画速変換制御プログラムを記録した記録媒体 - Google Patents
画速変換システムおよび方法並びに画速変換制御プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP3741839B2 JP3741839B2 JP24913597A JP24913597A JP3741839B2 JP 3741839 B2 JP3741839 B2 JP 3741839B2 JP 24913597 A JP24913597 A JP 24913597A JP 24913597 A JP24913597 A JP 24913597A JP 3741839 B2 JP3741839 B2 JP 3741839B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- video
- converted
- time
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像を伴う音の編集操作に合わせて映像の速度を自在に可変にする画速変換技術に関し、特に映像と音を有するメディア（例えば、テレビジョン、ＶＴＲやＤＶＤのような映像音声の記録メディア、コンピュータ上での動画音響再生等）や医療機器等での動画再生等において、映像に付随した音を何らかの操作（例えば、映像音声の編集等）により、削除（または伸張、挿入、短縮）させた場合、この削除（または伸張、挿入、短縮）した音に合わせて、高品質に映像の内挿を行ない、映像の自然性を保ったまま、高品質に映像の速度を可変とし、映像のつなぎ部分に自然性を保たせたまま変換することが可能な画速変換システムおよび方法並びに画速変換制御プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
上記のような画速変換技術は、短縮または伸張した音に同期して、映像の速度も自然性を保ったまま高品質に変換を可能とすることが困難であったため、まだ開発されていない。
【０００３】
例えば、ＶＴＲ等の映像音声の編集等において、あるシーンの音声を削除（または伸張、挿入、短縮）したい場合、従来では、この削除（または伸張、挿入、短縮）した音声の時間長に対応した映像をそのまま削除（または同一フイールドを繰り返す）したりするため、映像の流れが不自然になる。
【０００４】
このように、従来では、映像と音を有するメデイア（例えば、テレビジョン、ＶＴＲやＤＶＤのような映音記録メデイア、コンピュータ上での動画音響再生等）や医療機器等、において、映像に付随した音を何らかの操作（例えば映像音声の編集等）により、削除（または伸張、挿入、短縮）させた場合、この削除（または伸張、挿入、短縮）した音に合わせ、高品質に映像を可変速し、映像の流れに自然性を保ったまま変換することができない。
【０００５】
一方、映像のつなぎ部分において映像を可変速にすることは、簡易的にはＶＴＲ（ビデオテープレコーダ）の可変速再生機能等で可能となる。
【０００６】
【発明が解決しようとする課題】
しかしながら、このようなＶＴＲの可変速再生等では、ｌ／６０秒もしくは１／５０秒（例えばハイビジョン、ＮＴＣＳ方式：ｌ／６０秒、ＰＡＬ方式：ｌ／５０秒）のフイールド単位で、同一フイールドを２度以上、繰り返し提示したり、連続するフイールドを省いたりするため、動きが不自然になったり、垂直方向に映像のジッターが生じるなどして、高品質な画速変換ができない。
【０００７】
また、ＶＴＲのような従来の可変再生等では、フィールドの内挿等の操作は行なっておらず、また駆動系の制約から、高精度に時々刻々、映像の速度を可変にすることも不可能である。
【０００８】
本発明は、上記の点に鑑みて成されたもので、その目的は、音と映像を同期しながら、映像に付随した削除（または伸張、挿入、短縮）した音の時間長に合わせて、映像の流れに自然性を保たせたまま高品質に、映像の速度を可変にできる画速変換システムおよび方法並びに画速変換制御プログラムを記録した記録媒体を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、請求項１の画速変換システムの発明は、映像と音を有するメディアにおいて、外部から逐次指示される音の削除／伸張／短縮／挿入の指示に応じて、入力音（原音）に対し削除／伸張／短縮／挿入を随時行ない、かつこれにより音（変換音）が時間的に短縮、もしくは伸張することにより生じる前記原音に対する前記変換音の時間的な過不足量を示す情報を発生する音処理手段と、入力映像のフィールド間での映像の動きベクトルを検出する動き検出手段と、前記音処理手段から供給される前記原音に対する前記変換音の時間的な過不足量を示す情報をもとに、時間方向に離散的な前記入力映像に対して映像を内挿する時間位置を決定し、決定した該時間位置に、前記動き検出手段で検出された前記動きベクトルをもとに決定した時間位置の映像を内挿する映像処理手段と、前記音処理手段で削除等した前記変換音と前記映像処理手段から得られる画速変換映像との信号の同期を取って出力する同期出力手段とを具備することを特徴とする。
【００１１】
また、音の削除／伸張／短縮／挿入の指示をする前記外部は、映像音声の編集操作部であることを特徴とすることができる。
【００１３】
上記目的を達成するため、請求項３の画速変換方法の発明は、映像と音を有するメディアにおいて、外部から逐次指示される音の削除／伸張／短縮／挿入の指示に応じて、入力音（原音）に対し削除／伸張／短縮／挿入を随時行ない、かつこれにより音（変換音）が時間的に短縮、もしくは伸張することにより生じる前記原音に対する前記変換音の時間的な過不足量を示す情報を発生する音処理ステップと、入力映像のフィールド間での映像の動きベクトルを検出する動き検出ステップと、前記音処理ステップで発生された前記原音に対する前記変換音の時間的な過不足量を示す情報をもとに、時間方向に離散的な前記入力映像に対して映像を内挿する時間位置を決定し、決定した該時間位置に、前記動き検出手段で検出された前記動きベクトルをもとに決定した時間位置の映像を内挿する映像処理ステップと、前記音処理ステップで削除等した前記変換音と前記映像処理ステップで得られる画速変換映像との信号の同期を取って出力する同期出力ステップとを有することを特徴とする。
【００１４】
上記目的を達成するため、請求項４の記録媒体の発明は、コンピュータによって音速と画速の同時変換を行なうための制御プログラムを記録した記録媒体であって、該制御プログラムはコンピュータに対し、外部から逐次指示される音の削除／伸張／短縮／挿入の指示に応じて、入力音（原音）に対し削除／伸張／短縮／挿入を随時行なわせ、かつこれにより音（変換音）が時間的に短縮、もしくは伸張することにより生じる前記原音に対する前記変換音の時間的な過不足量を示す情報を発生させ、入力映像のフィールド間での映像の動きベクトルを検出させ、発生された前記原音に対する前記変換音の時間的な過不足量を示す情報をもとに、時間方向に離散的な前記入力映像に対して映像を内挿する時間位置を決定させ、決定した該時間位置に、前記検出された前記動きベクトルをもとに決定した時間位置の映像を内挿させ、前記変換音と画速変換映像との信号の同期を取って出力させることを特徴とする。
【００１６】
【発明の実施の形態】
以下、図面に示す本発明の実施の形態に基づき本発明を詳細に説明する。
【００１７】
なお、本発明は複数の機器からなるシステムにおいて達成されてもよく、１つの機器からなる装置に達成されてもよい。また、システムあるいは装置にプログラムを供給することにより、本発明を達成される場合にも適用されることは言うまでもない。例えば、専用の装置だけでなく、パーソナルコンピュータ（パソコン）等を使用しても実現することができる。また、本発明に係る画速変換アルゴリズムを実現する制御手順をプログラム形態で記録する記録媒体は、ＦＤ（フロッピーディスク）以外にも、ＣＤ−ＲＯＭ、ＩＣメモリカード等であってもよい。更に、本プログラムをＲＯＭに記録しておき、これをメモリマップの一部となすように構成し、直接ＣＰＵで実行することも可能である。
【００１８】
図１は本発明の一実施形態の画速変換システムの構成を機能ブロックで示す。ここで、画速変換はハイビジョン、ＮＴＳＣ、ＰＡＬ等の各種カラーテレビジョン方式に適応可能であるが、図１では、代表例としてハイビジョン（高品位テレビジョン、高精細度テレビジョン）についての場合を示す。
【００１９】
入力音をＡ／Ｄ変換部１でＡ／Ｄ変換（１６ビット、４８ｋＨｚ）する。Ａ／Ｄ変換した入力音を合成部２に送る。
【００２０】
合成部２は、音の削除／伸張／短縮／挿入を設定する音操作部４からの削除／伸張／短縮／挿入情報に従って、入力音に対して削除、挿入、あるいは時間窓を用いた短縮／伸張の処理を行ない、合成する。そして、合成部２は原音（入力音）に対し時間的に短縮、あるいは伸張をした場合の変換音の原音に対する時間的な過不足量を示す情報、即ち原音に比べて変換音には時間的にどれだけ過不足が生じているかを示す情報を後述のフィールド内挿部９へ転送する。合成部２から出力する変換音をＤ／Ａ変換部３でＤ／Ａ変換する。
【００２１】
一方、入力するアナログの映像（映像信号）を例えばＲＧＢ４：４：４のフォーマットのＡ／Ｄ変換部５においてＡ／Ｄ変換する。Ａ／Ｄ変換部５でデジタル化された映像信号は動きベクトル検出系と内挿系とに送出される。
【００２２】
動きベクトル検出系は例えば前処理部６、動き検出部７、およびベクトル検出割り付け部８を有する。Ａ／Ｄ変換部２でデジタル化された映像信号に対して、動きべクトル検出・割付のための前処理を前処理部６で行う。一例として、前処理部６において映像信号をインターレースの１１２５／６０／２：１からノンインターレースの６５２／６０／１：１に変換する。前処理部６で前処理を施された映像信号は動き検出部７とベクトル検出割り付け部８とに送られる。
【００２３】
動き検出部７は、例えば勾配法に基づく初期偏位ベクトル（候補ベクトル８種、ブロックサイズ：８画素、８ライン）を用いた反復勾配法（最大反復回数：２回、ブロックサイズ：８画素、８ライン）により、映像のフィールド間での動きベクトルを検出する。入力画像と時間的タイミングの異なるフィールドを新たに内挿するため、入力映像信号から動き検出部７で検出した動きベクトルをもとに決定した時間位置の映像を、新たに内挿するフィールド上にベクトル検出割り付け部８により割り当てる。
【００２４】
上記内挿系はフィールド内挿部９からなる。フィールド内挿部９は、合成部２から転送された原音に比べて変換音には時間的にどれだけ過不足が生じているかを示す情報（時間的な過不足量）をもとに、Ａ／Ｄ変換部５から送られてくる時間方向に離散的な入力映像の内挿位置（時間位置）を決定し、決定した内挿位置にベクトル検出割り付け部８から与えられる映像のフィールドを内挿する。即ち、フィールド内挿部９は、上記時間的な過不足量（ズレ量）に相当する時間位置に、上記映像の動きベクトルをもとにした映像のフィールド（１または複数のフィールド）の内挿を行なうので、映像のつなぎ目が不自然とならず、映像の流れに自然性を保ったまま映像の画速を変換することができる。
【００２５】
フィールド内挿部９で内挿処理を受けた映像信号をＤ／Ａ変換部１０へ出力し、Ｄ／Ａ変換部１０でアナログ化した映像信号を画速変換映像として出力するが、その際、映像のＤ／Ａ変換部１０と音のＤ／Ａ変換部３とを同期し、削除、挿入、短縮または伸張した変換音と、画速変換映像とを同期出力する。
【００２６】
図２は図１のフィールド内挿部９による、フィールド内挿位置の決め方を示す。
【００２７】
２／６０秒（２フィールド分）〜１０／６０秒（１０フィールド分）程度のある分析区間内（可変ブロック長内）において（各分析区間の時間長は夫々異なる）、
原画のフィールド数：Ｍ、画速変換により作成する画速変換映像のフィールド数：Ｎとすると、図２の（ａ）にＭ＞＝Ｎの場合、図２の（ｂ）にＭ＜Ｎの場合を示している。この両者の内挿位置の決定方法は同一であり、以下に示す手順で決定する。ここで、上記のように変換音と画速変換映像との信号の同期を取って出力するため、原音と変換音の時間枠が変わらない場合には、画速変換映像のフィールド数Ｎは原画のフィールド数Ｍと同じフィールド数であり、原音に比べて変換音の時間枠がａ倍に伸張または短縮する場合には、ＮもＭのａ倍のフィールド数となる。
【００２８】
１）原画のフィールドを、Ｏ1 、Ｏ2 、…、Ｏi 、Ｏi+1 、…、Ｏm とする。
【００２９】
２）画速変換により作成するフィールドを、Ｃ1 、Ｃ2 、…、Ｃj 、Ｃj+1 、…、Ｃn とする。
【００３０】
３）各フレームＣj に対して、次式（１）
【００３１】
【数１】
【００３２】
を満足するｉをｉopt とし、フレームＣj は入力フレームＯ(iopt)-1とＯioptの間に位置するものと考える。
【００３３】
この時、Ｏ(iopt)-1からの内挿位置（Ｐｊ）を次式（２）により演算して与える。
【００３４】
【数２】
【００３５】
４）以上の内挿処理を、各可変ブロック毎（各可変ブロックの時間長はそれぞれ異なる）に行い、画速変換する。
【００３６】
【発明の効果】
以上説明したように、本発明によれば、映像と音を有するメディア（例えば、テレビジョン、ＶＴＲやＤＶＤのような映像音声の記録メディア、コンピュータ上での動画音響再生等）や医療機器等での動画再生等において、映像に付随した音を何らかの操作（例えば、映像音声の編集等）により、削除（または伸張、挿入、短縮）させた場合、この削除（または伸張、挿入、短縮）した音に合わせて、高品質に映像の内挿を行ない、映像の自然性を保ったまま、高品質に映像の速度の変換を可能とし、映像のつなぎ部分などの映像の流れに自然性を保たせたまま画速を変換することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の画速変換システムの構成を示すブロック図である。
【図２】本発明の一実施形態における映像のフィールドの内挿位置を示すタイミングチャートである。
【符号の説明】
１ Ａ／Ｄ変換部
２ 合成部
３ Ｄ／Ａ変換部
４ 音の削除／伸張／短縮／挿入を設定する音操作部
５ Ａ／Ｄ変換部
６ 前処理部
７ 動き検出部
８ ベクトル検出割り付け部
９ フィールド内挿部
１０ Ｄ／Ａ変換部
【発明の属する技術分野】
本発明は、映像を伴う音の編集操作に合わせて映像の速度を自在に可変にする画速変換技術に関し、特に映像と音を有するメディア（例えば、テレビジョン、ＶＴＲやＤＶＤのような映像音声の記録メディア、コンピュータ上での動画音響再生等）や医療機器等での動画再生等において、映像に付随した音を何らかの操作（例えば、映像音声の編集等）により、削除（または伸張、挿入、短縮）させた場合、この削除（または伸張、挿入、短縮）した音に合わせて、高品質に映像の内挿を行ない、映像の自然性を保ったまま、高品質に映像の速度を可変とし、映像のつなぎ部分に自然性を保たせたまま変換することが可能な画速変換システムおよび方法並びに画速変換制御プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
上記のような画速変換技術は、短縮または伸張した音に同期して、映像の速度も自然性を保ったまま高品質に変換を可能とすることが困難であったため、まだ開発されていない。
【０００３】
例えば、ＶＴＲ等の映像音声の編集等において、あるシーンの音声を削除（または伸張、挿入、短縮）したい場合、従来では、この削除（または伸張、挿入、短縮）した音声の時間長に対応した映像をそのまま削除（または同一フイールドを繰り返す）したりするため、映像の流れが不自然になる。
【０００４】
このように、従来では、映像と音を有するメデイア（例えば、テレビジョン、ＶＴＲやＤＶＤのような映音記録メデイア、コンピュータ上での動画音響再生等）や医療機器等、において、映像に付随した音を何らかの操作（例えば映像音声の編集等）により、削除（または伸張、挿入、短縮）させた場合、この削除（または伸張、挿入、短縮）した音に合わせ、高品質に映像を可変速し、映像の流れに自然性を保ったまま変換することができない。
【０００５】
一方、映像のつなぎ部分において映像を可変速にすることは、簡易的にはＶＴＲ（ビデオテープレコーダ）の可変速再生機能等で可能となる。
【０００６】
【発明が解決しようとする課題】
しかしながら、このようなＶＴＲの可変速再生等では、ｌ／６０秒もしくは１／５０秒（例えばハイビジョン、ＮＴＣＳ方式：ｌ／６０秒、ＰＡＬ方式：ｌ／５０秒）のフイールド単位で、同一フイールドを２度以上、繰り返し提示したり、連続するフイールドを省いたりするため、動きが不自然になったり、垂直方向に映像のジッターが生じるなどして、高品質な画速変換ができない。
【０００７】
また、ＶＴＲのような従来の可変再生等では、フィールドの内挿等の操作は行なっておらず、また駆動系の制約から、高精度に時々刻々、映像の速度を可変にすることも不可能である。
【０００８】
本発明は、上記の点に鑑みて成されたもので、その目的は、音と映像を同期しながら、映像に付随した削除（または伸張、挿入、短縮）した音の時間長に合わせて、映像の流れに自然性を保たせたまま高品質に、映像の速度を可変にできる画速変換システムおよび方法並びに画速変換制御プログラムを記録した記録媒体を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、請求項１の画速変換システムの発明は、映像と音を有するメディアにおいて、外部から逐次指示される音の削除／伸張／短縮／挿入の指示に応じて、入力音（原音）に対し削除／伸張／短縮／挿入を随時行ない、かつこれにより音（変換音）が時間的に短縮、もしくは伸張することにより生じる前記原音に対する前記変換音の時間的な過不足量を示す情報を発生する音処理手段と、入力映像のフィールド間での映像の動きベクトルを検出する動き検出手段と、前記音処理手段から供給される前記原音に対する前記変換音の時間的な過不足量を示す情報をもとに、時間方向に離散的な前記入力映像に対して映像を内挿する時間位置を決定し、決定した該時間位置に、前記動き検出手段で検出された前記動きベクトルをもとに決定した時間位置の映像を内挿する映像処理手段と、前記音処理手段で削除等した前記変換音と前記映像処理手段から得られる画速変換映像との信号の同期を取って出力する同期出力手段とを具備することを特徴とする。
【００１１】
また、音の削除／伸張／短縮／挿入の指示をする前記外部は、映像音声の編集操作部であることを特徴とすることができる。
【００１３】
上記目的を達成するため、請求項３の画速変換方法の発明は、映像と音を有するメディアにおいて、外部から逐次指示される音の削除／伸張／短縮／挿入の指示に応じて、入力音（原音）に対し削除／伸張／短縮／挿入を随時行ない、かつこれにより音（変換音）が時間的に短縮、もしくは伸張することにより生じる前記原音に対する前記変換音の時間的な過不足量を示す情報を発生する音処理ステップと、入力映像のフィールド間での映像の動きベクトルを検出する動き検出ステップと、前記音処理ステップで発生された前記原音に対する前記変換音の時間的な過不足量を示す情報をもとに、時間方向に離散的な前記入力映像に対して映像を内挿する時間位置を決定し、決定した該時間位置に、前記動き検出手段で検出された前記動きベクトルをもとに決定した時間位置の映像を内挿する映像処理ステップと、前記音処理ステップで削除等した前記変換音と前記映像処理ステップで得られる画速変換映像との信号の同期を取って出力する同期出力ステップとを有することを特徴とする。
【００１４】
上記目的を達成するため、請求項４の記録媒体の発明は、コンピュータによって音速と画速の同時変換を行なうための制御プログラムを記録した記録媒体であって、該制御プログラムはコンピュータに対し、外部から逐次指示される音の削除／伸張／短縮／挿入の指示に応じて、入力音（原音）に対し削除／伸張／短縮／挿入を随時行なわせ、かつこれにより音（変換音）が時間的に短縮、もしくは伸張することにより生じる前記原音に対する前記変換音の時間的な過不足量を示す情報を発生させ、入力映像のフィールド間での映像の動きベクトルを検出させ、発生された前記原音に対する前記変換音の時間的な過不足量を示す情報をもとに、時間方向に離散的な前記入力映像に対して映像を内挿する時間位置を決定させ、決定した該時間位置に、前記検出された前記動きベクトルをもとに決定した時間位置の映像を内挿させ、前記変換音と画速変換映像との信号の同期を取って出力させることを特徴とする。
【００１６】
【発明の実施の形態】
以下、図面に示す本発明の実施の形態に基づき本発明を詳細に説明する。
【００１７】
なお、本発明は複数の機器からなるシステムにおいて達成されてもよく、１つの機器からなる装置に達成されてもよい。また、システムあるいは装置にプログラムを供給することにより、本発明を達成される場合にも適用されることは言うまでもない。例えば、専用の装置だけでなく、パーソナルコンピュータ（パソコン）等を使用しても実現することができる。また、本発明に係る画速変換アルゴリズムを実現する制御手順をプログラム形態で記録する記録媒体は、ＦＤ（フロッピーディスク）以外にも、ＣＤ−ＲＯＭ、ＩＣメモリカード等であってもよい。更に、本プログラムをＲＯＭに記録しておき、これをメモリマップの一部となすように構成し、直接ＣＰＵで実行することも可能である。
【００１８】
図１は本発明の一実施形態の画速変換システムの構成を機能ブロックで示す。ここで、画速変換はハイビジョン、ＮＴＳＣ、ＰＡＬ等の各種カラーテレビジョン方式に適応可能であるが、図１では、代表例としてハイビジョン（高品位テレビジョン、高精細度テレビジョン）についての場合を示す。
【００１９】
入力音をＡ／Ｄ変換部１でＡ／Ｄ変換（１６ビット、４８ｋＨｚ）する。Ａ／Ｄ変換した入力音を合成部２に送る。
【００２０】
合成部２は、音の削除／伸張／短縮／挿入を設定する音操作部４からの削除／伸張／短縮／挿入情報に従って、入力音に対して削除、挿入、あるいは時間窓を用いた短縮／伸張の処理を行ない、合成する。そして、合成部２は原音（入力音）に対し時間的に短縮、あるいは伸張をした場合の変換音の原音に対する時間的な過不足量を示す情報、即ち原音に比べて変換音には時間的にどれだけ過不足が生じているかを示す情報を後述のフィールド内挿部９へ転送する。合成部２から出力する変換音をＤ／Ａ変換部３でＤ／Ａ変換する。
【００２１】
一方、入力するアナログの映像（映像信号）を例えばＲＧＢ４：４：４のフォーマットのＡ／Ｄ変換部５においてＡ／Ｄ変換する。Ａ／Ｄ変換部５でデジタル化された映像信号は動きベクトル検出系と内挿系とに送出される。
【００２２】
動きベクトル検出系は例えば前処理部６、動き検出部７、およびベクトル検出割り付け部８を有する。Ａ／Ｄ変換部２でデジタル化された映像信号に対して、動きべクトル検出・割付のための前処理を前処理部６で行う。一例として、前処理部６において映像信号をインターレースの１１２５／６０／２：１からノンインターレースの６５２／６０／１：１に変換する。前処理部６で前処理を施された映像信号は動き検出部７とベクトル検出割り付け部８とに送られる。
【００２３】
動き検出部７は、例えば勾配法に基づく初期偏位ベクトル（候補ベクトル８種、ブロックサイズ：８画素、８ライン）を用いた反復勾配法（最大反復回数：２回、ブロックサイズ：８画素、８ライン）により、映像のフィールド間での動きベクトルを検出する。入力画像と時間的タイミングの異なるフィールドを新たに内挿するため、入力映像信号から動き検出部７で検出した動きベクトルをもとに決定した時間位置の映像を、新たに内挿するフィールド上にベクトル検出割り付け部８により割り当てる。
【００２４】
上記内挿系はフィールド内挿部９からなる。フィールド内挿部９は、合成部２から転送された原音に比べて変換音には時間的にどれだけ過不足が生じているかを示す情報（時間的な過不足量）をもとに、Ａ／Ｄ変換部５から送られてくる時間方向に離散的な入力映像の内挿位置（時間位置）を決定し、決定した内挿位置にベクトル検出割り付け部８から与えられる映像のフィールドを内挿する。即ち、フィールド内挿部９は、上記時間的な過不足量（ズレ量）に相当する時間位置に、上記映像の動きベクトルをもとにした映像のフィールド（１または複数のフィールド）の内挿を行なうので、映像のつなぎ目が不自然とならず、映像の流れに自然性を保ったまま映像の画速を変換することができる。
【００２５】
フィールド内挿部９で内挿処理を受けた映像信号をＤ／Ａ変換部１０へ出力し、Ｄ／Ａ変換部１０でアナログ化した映像信号を画速変換映像として出力するが、その際、映像のＤ／Ａ変換部１０と音のＤ／Ａ変換部３とを同期し、削除、挿入、短縮または伸張した変換音と、画速変換映像とを同期出力する。
【００２６】
図２は図１のフィールド内挿部９による、フィールド内挿位置の決め方を示す。
【００２７】
２／６０秒（２フィールド分）〜１０／６０秒（１０フィールド分）程度のある分析区間内（可変ブロック長内）において（各分析区間の時間長は夫々異なる）、
原画のフィールド数：Ｍ、画速変換により作成する画速変換映像のフィールド数：Ｎとすると、図２の（ａ）にＭ＞＝Ｎの場合、図２の（ｂ）にＭ＜Ｎの場合を示している。この両者の内挿位置の決定方法は同一であり、以下に示す手順で決定する。ここで、上記のように変換音と画速変換映像との信号の同期を取って出力するため、原音と変換音の時間枠が変わらない場合には、画速変換映像のフィールド数Ｎは原画のフィールド数Ｍと同じフィールド数であり、原音に比べて変換音の時間枠がａ倍に伸張または短縮する場合には、ＮもＭのａ倍のフィールド数となる。
【００２８】
１）原画のフィールドを、Ｏ1 、Ｏ2 、…、Ｏi 、Ｏi+1 、…、Ｏm とする。
【００２９】
２）画速変換により作成するフィールドを、Ｃ1 、Ｃ2 、…、Ｃj 、Ｃj+1 、…、Ｃn とする。
【００３０】
３）各フレームＣj に対して、次式（１）
【００３１】
【数１】
を満足するｉをｉopt とし、フレームＣj は入力フレームＯ(iopt)-1とＯioptの間に位置するものと考える。
【００３３】
この時、Ｏ(iopt)-1からの内挿位置（Ｐｊ）を次式（２）により演算して与える。
【００３４】
【数２】
４）以上の内挿処理を、各可変ブロック毎（各可変ブロックの時間長はそれぞれ異なる）に行い、画速変換する。
【００３６】
【発明の効果】
以上説明したように、本発明によれば、映像と音を有するメディア（例えば、テレビジョン、ＶＴＲやＤＶＤのような映像音声の記録メディア、コンピュータ上での動画音響再生等）や医療機器等での動画再生等において、映像に付随した音を何らかの操作（例えば、映像音声の編集等）により、削除（または伸張、挿入、短縮）させた場合、この削除（または伸張、挿入、短縮）した音に合わせて、高品質に映像の内挿を行ない、映像の自然性を保ったまま、高品質に映像の速度の変換を可能とし、映像のつなぎ部分などの映像の流れに自然性を保たせたまま画速を変換することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態の画速変換システムの構成を示すブロック図である。
【図２】本発明の一実施形態における映像のフィールドの内挿位置を示すタイミングチャートである。
【符号の説明】
１ Ａ／Ｄ変換部
２ 合成部
３ Ｄ／Ａ変換部
４ 音の削除／伸張／短縮／挿入を設定する音操作部
５ Ａ／Ｄ変換部
６ 前処理部
７ 動き検出部
８ ベクトル検出割り付け部
９ フィールド内挿部
１０ Ｄ／Ａ変換部
Claims (4)
- 映像と音を有するメディアにおいて、外部から逐次指示される音の削除／伸張／短縮／挿入の指示に応じて、入力音（原音）に対し削除／伸張／短縮／挿入を随時行ない、かつこれにより音（変換音）が時間的に短縮、もしくは伸張することにより生じる前記原音に対する前記変換音の時間的な過不足量を示す情報を発生する音処理手段と、
入力映像のフィールド間での映像の動きベクトルを検出する動き検出手段と、
前記音処理手段から供給される前記原音に対する前記変換音の時間的な過不足量を示す情報をもとに、時間方向に離散的な前記入力映像に対して映像を内挿する時間位置を決定し、決定した該時間位置に、前記動き検出手段で検出された前記動きベクトルをもとに決定した時間位置の映像を内挿する映像処理手段と、
前記音処理手段で削除等した前記変換音と前記映像処理手段から得られる画速変換映像との信号の同期を取って出力する同期出力手段と
を具備することを特徴とする画速変換システム。 - 音の削除／伸張／短縮／挿入の指示をする前記外部は、映像音声の編集操作部であることを特徴とする請求項１に記載の画速変換システム。
- 映像と音を有するメディアにおいて、外部から逐次指示される音の削除／伸張／短縮／挿入の指示に応じて、入力音（原音）に対し削除／伸張／短縮／挿入を随時行ない、かつこれにより音（変換音）が時間的に短縮、もしくは伸張することにより生じる前記原音に対する前記変換音の時間的な過不足量を示す情報を発生する音処理ステップと、
入力映像のフィールド間での映像の動きベクトルを検出する動き検出ステップと、
前記音処理ステップで発生された前記原音に対する前記変換音の時間的な過不足量を示す情報をもとに、時間方向に離散的な前記入力映像に対して映像を内挿する時間位置を決定し、決定した該時間位置に、前記動き検出手段で検出された前記動きベクトルをもとに決定した時間位置の映像を内挿する映像処理ステップと、
前記音処理ステップで削除等した前記変換音と前記映像処理ステップで得られる画速変換映像との信号の同期を取って出力する同期出力ステップと
を有することを特徴とする画速変換方法。 - コンピュータによって音速と画速の同時変換を行なうための制御プログラムを記録した記録媒体であって、該制御プログラムはコンピュータに対し、
外部から逐次指示される音の削除／伸張／短縮／挿入の指示に応じて、入力音（原音）に対し削除／伸張／短縮／挿入を随時行なわせ、かつこれにより音（変換音）が時間的に短縮、もしくは伸張することにより生じる前記原音に対する前記変換音の時間的な過不足量を示す情報を発生させ、
入力映像のフィールド間での映像の動きベクトルを検出させ、
発生された前記原音に対する前記変換音の時間的な過不足量を示す情報をもとに、時間方向に離散的な前記入力映像に対して映像を内挿する時間位置を決定させ、決定した該時間位置に、前記検出された前記動きベクトルをもとに決定した時間位置の映像を内挿させ、
前記変換音と画速変換映像との信号の同期を取って出力させることを特徴とする、音速と画速の同時変換を行なうための制御プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24913597A JP3741839B2 (ja) | 1997-09-12 | 1997-09-12 | 画速変換システムおよび方法並びに画速変換制御プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24913597A JP3741839B2 (ja) | 1997-09-12 | 1997-09-12 | 画速変換システムおよび方法並びに画速変換制御プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1188823A JPH1188823A (ja) | 1999-03-30 |
| JP3741839B2 true JP3741839B2 (ja) | 2006-02-01 |
Family
ID=17188457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24913597A Expired - Lifetime JP3741839B2 (ja) | 1997-09-12 | 1997-09-12 | 画速変換システムおよび方法並びに画速変換制御プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3741839B2 (ja) |
-
1997
- 1997-09-12 JP JP24913597A patent/JP3741839B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1188823A (ja) | 1999-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7428008B2 (en) | Video imaging device, video conversion device, and video edition device | |
| JP5474417B2 (ja) | 動画データ生成装置、動画データ生成システム、動画データ生成方法およびコンピュータープログラム | |
| EP1420407B1 (en) | Method and apparatus for controlling editing image display | |
| JP2584138B2 (ja) | テレビジョン方式変換装置 | |
| JP4339446B2 (ja) | 画像表示装置 | |
| JP3741839B2 (ja) | 画速変換システムおよび方法並びに画速変換制御プログラムを記録した記録媒体 | |
| JP3730764B2 (ja) | 話速／画速同時変換装置 | |
| JPH08317295A (ja) | デジタル画像記録装置およびデジタル画像再生装置 | |
| JP4847688B2 (ja) | インターレース−プログレッシブ変換器及びその変換方法 | |
| JPH10233996A (ja) | 映像信号再生装置および映像信号再生方法 | |
| JP3793333B2 (ja) | 時可変型画速変換装置 | |
| JP2002300537A (ja) | 映像周波数変換装置 | |
| JPH074023B2 (ja) | テレビ画像拡大方法 | |
| JPH08163433A (ja) | パノラマ静止画像作成装置 | |
| JP3103160B2 (ja) | 画像情報処理装置及びその方法 | |
| JP2002185849A (ja) | 出力装置、及びテレシネ表示方法 | |
| JP2003284007A (ja) | 映像撮像装置、映像変換装置及び映像編集装置 | |
| JP3156566B2 (ja) | 映像信号記録装置 | |
| JP3853519B2 (ja) | 画像記録装置 | |
| JPH0832871A (ja) | 複眼撮像装置及び複眼撮像記録再生装置 | |
| JP3282200B2 (ja) | 記録再生装置 | |
| JP3424855B2 (ja) | 録画装置 | |
| JP2687881B2 (ja) | ハイビジョン信号復号装置 | |
| JP2000023095A (ja) | 記録再生装置及びコンピュータ読み取り可能な記憶媒体 | |
| JPH08195936A (ja) | スロー画像再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040803 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041004 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041004 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050809 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051011 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051101 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051109 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091118 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101118 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111118 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121118 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131118 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |