JP4245030B2

JP4245030B2 - 出力処理装置及びその制御方法

Info

Publication number: JP4245030B2
Application number: JP2006262968A
Authority: JP
Inventors: 敏男高田; 健一奥野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2006-09-27
Filing date: 2006-09-27
Publication date: 2009-03-25
Anticipated expiration: 2026-09-27
Also published as: JP2008085626A; US20080074543A1

Description

本発明は、所定のフレームシーケンスに応じて各フレームのオーディオデータのサンプル数が定められたビデオ信号を外部に出力する出力処理装置、及びその制御方法に関するものである。

映像データとオーディオデータとからなるビデオ信号を記憶媒体に取り込んで、取り込んだデータに対して再利用処理、加工処理、及び送出処理などを行う編集機が放送局内で従来から用いられている。このような編集機は、放送局内の回線を通じて映像データとオーディオデータとを確実に記憶媒体に書き込むことが要求される。また、このような編集機は、回線の通信状態に応じて入力されるビデオ信号にノイズやエラー信号成分が含まれている可能性があるため、入力されるビデオ信号が途切れる場合がある。したがって、編集機は、記憶媒体に取り込んだ映像データやオーディオデータなどの有効性を、精度良く把握する必要がある。

このような編集機には、磁気テープ等にビデオ信号を時間軸に対して直線方向に記録するリニア編集機と呼ばれるものと、仮想的には時間軸に対して直線方向であるが物理的には断片的（非線形的）にビデオ信号を記憶媒体に記憶するノンリニア編集機と呼ばれるものがある。ノンリニア編集機は、このような機能を実現する記憶媒体として主にハードディスク等が用いられている。

ここで、ノンリニア編集機は、リニア編集機で行われるテープの送り処理がないため、取り込んだデータから任意のものを読み出す処理を比較的速く行うことができる。また、従来のノンリニア編集機は、編集処理や信号の入出力処理を含めほとんど全て処理を専用のハードウェアで行うことによってデータの記憶漏れをより確実に回避することができる。

一方、ノンリニア編集機には、専用のハードウェアのみから構成されたものではなく、汎用的な演算プロセッサ上で画像処理ソフトウェアを実行する編集機がある。このような汎用的な演算プロセッサを用いたノンリニア編集機は、専用ハードウェアで構成されたノンリニア編集機に比べて、編集処理方法を容易に変更をすることができるという利点がある。

以下では、単にノンリニア編集機と呼ぶ場合には、汎用的な演算プロセッサで画像処理ソフトウェアによって画像処理を施した信号を、専用ハードウェアによって構成された出力処理装置である入出力デバイスによって外部に送出するものとする。

ところで、一般的なテレビジョン信号は、毎秒当たり５９．９４フィールドのフレームレート（５９．９４ｉ）で伝送するように規格化されている。毎秒当たり５９．９４フィールドのフレームレート（５９．９４ｉ）でフォーマットされたテレビジョン信号におけるオーディオ信号では、５フレームシーケンスで各フレーム単位毎にサンプル数が割り当てられている。ここで、５フレームシーケンスとは、オーディオ信号のサンプリング周波数が４８［ｋＨｚ］を実現できるように、連続する５フレーム中の３フレームのサンプル数を１６０２個とするとともに残りの２フレームのサンプル数を１６０１個に選定することによって、全体として１フレーム当たりのサンプル数が１６０１．６個となるように実現するとともに、サンプル数が１６０１個のフレームが連続しないように配置したものである（特許文献１）。

ノンリニア編集機は、上述した５フレームシーケンスに従って、オーディオデータのサンプル数が５フレームで合計８００８個になるように１６０２、１６０１、１６０２、１６０１、１６０２サンプルの順番を５フレーム毎に繰り返して、ビデオ信号を外部へ出力する。

したがって、ノンリニア編集機は、入出力デバイスを介して正確に５フレームシーケンスのサンプル数に同期してビデオ信号を外部に出力しなければならない。ここで、演算処理プロセッサ上で実行される画像処理ソフトウェアは、ハードディスクの記憶領域に記憶されたオーディオデータを、５フレームシーケンスの各フレームに対応しない固定サンプル数（例えば、２０４８サンプルなど）や、５フレームを１単位として動作するために８００８サンプル数で管理している。このような画像処理ソフトウェアは、フレーム単位でオーディオデータを管理していないので、オーディオデータにノイズなどの異常な成分が含まれていた場合には、このような異常成分を含むオーディオデータに対応するフレーム位置を特定することができない。よって、このような異常成分を含むオーディオデータに対応するフレーム位置を正確に判断するには、映像を目視して確認しなければならないといった問題点がある。

さらに、このようなノンリニア編集機は、例えばレンダリング再生処理やスクラブ処理を実行する際に、ソフトウェアがハードディスクへアクセスして行うデータ検索処理や、映像データに特殊効果を与える処理などの画像処理に関する処理量が増大する。このような処理量の増大によって、ノンリニア編集機では、演算処理プロセッサの処理能力のうち画像処理にかかる処理量の占有率が増大するため、入出力デバイスを正常に制御できなくなる場合がある。すなわち、ノンリニア編集機は、演算処理プロセッサが入出力デバイスを正常に制御できなくなると、外部へ送出する信号が不連続になり、視覚的及び聴覚的なノイズを発生させてしまう場合がある。

なお、レンダリング再生処理とは、ユーザが選択した映像素材のビデオ信号に特殊効果処理を施して、最終的な完成素材に変換する処理である。ノンリニア編集機は、変換前後の２つの映像をモニターに表示することで、ユーザが確認できるようになっている。また、このような、特殊効果処理には、特殊効果の種類に応じて処理量が大きく異なり、リアルタイムで処理を行うことができない場合がある。

一方、スクラブ処理とは、ユーザが行うタイムライン操作に応じて可変速再生を行う処理である。ノンリニア編集機は、出力信号をモニターに表示することによって、ユーザが希望するシーンを容易に検索できるようにしている。また、このスクラブ処理では、ハードディスク上にビデオ信号が断片的に記憶されており、データ検索の難度やハードディスクからの読み出し速度に応じて、リアルタイムで処理ができない場合がある。

ノンリニア編集機は、上述したレンダリング再生処理やスクラブ処理などを行う場合にリアルタイム処理ができずビデオ信号の出力が途切れてしまうことを防止するために、ソフトウェアがプロセッサに加わる負荷に応じて次のような処理を行う。

まず、第１の出力処理として、ノンリニア編集機は、出力が途切れてしまう際に、その直前のフレームの信号を連続して出力する処理を行う。しかしながら、上述したようにソフトウェアでは、オーディオデータがフレームレートと異なる時間軸で管理されているため、ノンリニア編集機は、直前のフレームで出力したオーディオデータを、再度続けて出力することが難しい。

つぎに、第２の処理として、ノンリニア編集機は、リアルタイム処理ができない画像処理を制限する処理を行うことにより、ビデオ信号を途切れることなく外部へ出力することができる。このような処理において、ノンリニア編集機は、演算プロセッサなどの処理性能に応じて、編集処理の種類が大きく制限されてしまう場合がある。したがって、負荷の高い画像処理を施したビデオ信号を途切れることなく出力するには、画像処理専用のハードウェアのみから構成されるノンリニア編集機や処理速度が非常に高い汎用的な演算プロセッサを用いたノンリニア編集機が必要である。

特許公報第２５６５２１８号

本発明は、このような実情に鑑みて提案されたものであり、ソフトウェア上で高い負荷のかかる画像処理を施したビデオ信号を、そのオーディオデータを所定のフレームシーケンスに正確に同期させて、外部に出力する出力処理装置、及びその制御方法を提供することを目的とする。

上述した課題を解決するための手段として、本発明は、所定のフレームシーケンスに従って各フレームのオーディオデータのサンプル数が定められたビデオ信号を外部に出力する出力処理装置において、ビデオ信号を記憶する記憶媒体と、記憶媒体に記憶されたビデオ信号を所定の画像処理ソフトウェアに従って記憶媒体から読み出して、このビデオ信号に対して画像処理を施す画像処理部と、画像処理部によって画像処理が施されたビデオ信号のオーディオデータが、フレームシーケンスに同期するか否かを判断し、同期していないと判断した場合には、この判断結果に応じて画像処理部によって画像処理が施されたビデオ信号のオーディオデータの各フレーム中のサンプル数を変更して出力する出力制御部とを備え、画像処理部は、画像処理を施したビデオ信号を連続して出力制御部に供給できるか否かを判断し、連続して出力制御部に供給できないと判断した場合には停止信号を出力制御部に供給し、出力制御部は、画像処理部から停止信号が供給されると、ビデオ信号のオーディオデータの信号振幅を減少させて無音状態とし、その後、画像処理部から停止信号が供給されなくなるとビデオ信号のオーディオデータの信号振幅を無音状態から所定の振幅値まで増加させる。

本発明は、所定のフレームシーケンスに応じて各フレームのオーディオデータのサンプル数が定められたビデオ信号を外部に出力する出力処理装置の制御方法において、出力処理装置が備える記憶媒体に記憶されたビデオ信号を所定の画像処理ソフトウェアに従って読み出して、画像処理部により、このビデオ信号の映像データに画像処理を施す画像処理ステップと、画像処理部により画像処理が施されたビデオ信号のオーディオデータが、フレームシーケンスに同期しているか否かを判断して、この判断結果に応じて出力制御部によりビデオ信号のオーディオデータの各フレーム中のサンプル数を変更して外部に出力する出力処理ステップとを有し、画像処理ステップでは、画像処理を施したビデオ信号を連続して出力制御部に供給できるか否かを判断し、連続して出力制御部に供給できないと判断した場合には停止信号を出力制御部に供給し、出力制御ステップでは、停止信号が出力制御部に供給されると、ビデオ信号のオーディオデータの信号振幅を減少させて無音状態とし、その後、停止信号が出力制御部に供給されなくなるとビデオ信号のオーディオデータの信号振幅を無音状態から所定の振幅値まで増加させる。

本発明は、画像処理ソフトウェアによって画像処理が施されたビデオ信号のオーディオデータが、所定のフレームシーケンスに同期しているか否かを判断して、この判断結果に応じて画像処理が施されたビデオ信号におけるオーディオデータの各フレーム中のサンプル数を変更して外部に出力する。よって、本発明は、ビデオ信号に対して負荷が高い特殊効果を施しても、フレームシーケンスに正確に同期したビデオ信号を外部に出力することができる。
また、本発明は、画像処理部から出力制御部にビデオ信号が連続して供給されなくても、停止信号に応じてオーディオデータの信号振幅を調整することによって、画像処理部から出力制御部へのビデオ信号の供給が途切れるために生じる視聴覚ノイズを低減させることができ、結果として編集処理を行うユーザに対して、視覚的、聴覚的な不快感を与えることのない編集処理環境を提供することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。

本実施形態に係るノンリニア編集機１は、図１に示すような、入出力処理デバイス１００と、コンピュータ２００と、入出力デバイス１００とコンピュータ２００とを接続するバス３００とから構成される。

入出力処理デバイス１００は、ＳＤＩ（Serial Digital Interface）信号入出力回路１１０と、オーディオ信号入出力回路１２０とを備えている。ここで、ＳＤＩ信号規格は、映像データとオーディオデータとからなるビデオ信号をシリアル化にして伝送する規格である。なお、本実施形態では、ＳＤＩ信号規格でビデオ信号を伝送するものとするが、この規格に限定されるものではなく、映像データとオーディオデータとが互い同期された信号であれば、いかなる規格の信号を用いるようにしても良い。

ＳＤＩ信号入出力回路１１０は、外部から入力されるＳＤＩ信号規格のビデオ信号を、映像データとオーディオデータとに分離し、それぞれバス３００を介してコンピュータ２００に供給する。また、ＳＤＩ信号入出力回路１１０は、コンピュータ２００からバス３００を介して供給される映像データ及びオーディオデータをビデオ信号に変換して外部へ出力する。

オーディオ信号入出力回路１２０は、マイクロフォンなどから入力されるオーディオ信号にＳＤＩ信号入出力回路１１０から供給されるオーディオ信号を合成してスピーカなどに出力する。

コンピュータ２００は、ＣＰＵ２１０と、メインメモリ２２０と、ハードディスク２３０とを備えている。コンピュータ２００では、ＣＰＵ２１０が、バス３００を介して入出力処理デバイス１００から供給される映像データ及びオーディオデータをハードディスク２３０に記憶させる。ＣＰＵ２１０は、所定の編集処理ソフトウェアに従い、レンダリング再生処理及びスクラブ処理などの編集処理の対象となる映像データ及びオーディオデータを、ハードディスク２３０からメインメモリ２２０に読み出す。そして、ＣＰＵ２１０は、メインメモリ２２０に読み出されたデータに編集処理を施し、バス３００を介してＳＤＩ信号入出力回路に供給する。

ノンリニア編集機１は、外部から入力されるＳＤＩ信号規格のビデオ信号から映像データ及びオーディオデータに分離して、これらのデータをコンピュータ２００のハードディスク２３０に記憶する。そして、ノンリニア編集機１は、メインＣＰＵ２１０が、このハードディスク２３０から編集対象となるデータを読み出して編集処理を施し、編集処理済みのデータをバス３００と入出力処理デバイス１００を介して外部へ出力する。ここで、ノンリニア編集機１は、コンピュータ２００上で編集処理を行うと、コンピュータ２００からバス３００を介して入出力処理デバイス１００にデータを供給する際に遅延が生じて、入出力処理デバイス１００からビデオ信号を途切れることなく外部へ出力することができなくなる場合がある。このような遅延は、ハードディスク２３０上でのデータ管理状態に応じてハードディスク２３０から編集対象データを検索する処理時間が大きく変化したり、編集処理の種類に応じて編集処理データに編集処理を施す処理時間が大きく変化するなどの理由により生じる。

そこで、本実施形態では、このような遅延の影響を軽減する入出力処理デバイス１００の構成と動作に注目して以下のとおり説明する。

入出力処理デバイス１００のうち、まず、ＳＤＩ信号入出力回路１１０の構成と動作に関して説明する。ＳＤＩ信号入出力回路１１０は、図２に示すように、制御部１１１と、メモリ１１２と、メモリ制御部１１３と、ＳＤＩ信号入力処理部１１４と、オーディオデータ入力処理部１１５と、バスインタフェース１１６と、ＳＤＩ信号出力処理部１１７と、オーディオデータ出力処理部１１８とを備えている。

制御部１１１は、コンピュータ１００から供給される制御信号に従って、上述したＳＤＩ信号処理回路１１０が備える各処理部の動作を制御する。

メモリ１１２は、メモリコントローラ１１３の制御命令に応じて、その記憶領域上にデータを書き込む処理と読み出す処理を行う。具体的には、メモリ１１２は、映像データ、オーディオデータ、ＳＤＩ信号に関するメタデータ、及びコンピュータ２００から供給される制御信号などが記憶される。

ＳＤＩ信号入力処理部１１４には、出力源からＳＤＩ信号規格のビデオ信号が入力される。ＳＤＩ信号入力処理部１１４は、入力されたビデオ信号を、ＳＤＩ信号規格に基づいて、映像データとオーディオデータとメタデータとに分離する。また、ＳＤＩ信号入力処理部１１４は、分離した各データを、メモリ制御部１１３を介してメモリ１１２に供給する。

なお、本実施形態において、入出力処理デバイス１００には、２つのＳＤＩ信号入力処理部１１４ａ，１１４ｂが設けられており、それぞれ互いに異なる出力源からのビデオ信号が入力される。本実施形態では、便宜上これら２つのＳＤＩ信号処理部１１４ａ，１１４ｂを総称してＳＤＩ信号入力処理部１１４とし、個々の動作について説明する。

オーディオデータ入力処理部１１５には、オーディオ信号入出力回路１２０から供給されるオーディオデータが入力される。オーディオデータ入力処理部１１５は、入力されたオーディオデータをメモリ制御部１１３を介してメモリ１１２に供給する。

バスインタフェース１１６は、メモリ制御部１１３からの制御命令に従って、メモリ１１２に記憶された映像データとオーディオデータとをコンピュータ２００に供給する。また、バスインタフェース１１６は、コンピュータ２００からバス３００を介して供給される映像データとオーディオデータとを、メモリ制御部１１３の制御命令に従って、メモリ１１２に記憶させる。

ＳＤＩ信号出力処理部１１７は、メモリ制御部１１３の制御命令に従って、メモリ１１２に記憶された映像データとオーディオデータとを読み出し、これら読み出したデータをＳＤＩ信号規格に基づくビデオ信号に変換して外部へ出力する。

オーディオデータ出力処理部１１８は、メモリ制御部１１３の制御命令に従って、メモリ１１２に記憶されたオーディオデータを読み出す。そして、オーディオデータ出力処理部１１８は、この読み出したデータを、ＳＤＩ信号規格に基づくビデオ信号と同期するタイミングで、オーディオ信号入出力回路１２０に供給する。

続いて、入出力処理デバイス１００のうち、オーディオ信号入出力回路１２０の構成と動作に関して説明する。オーディオ信号入出力回路１２０は、アナログ／デジタル変換部１２１と、デジタル／アナログ変換部１２２と、アナログ信号合成処理部１２３とを備えている。

アナログ／デジタル変換部１２１は、マイクロフォンなどから入力されるアナログ形式のオーディオ信号をデジタル形式のオーディオデータに変換して、この変換したオーディオデータを入出力処理デバイス１００に供給する。

デジタル／アナログ変換部１２２は、入出力処理デバイス１００から供給されるオーディオデータをアナログ形式のオーディオ信号に変換して、この変換したオーディオ信号をアナログ信号合成処理部１２３に供給する。

アナログ信号合成処理部１２３は、マイクロフォンなどから入力されるオーディオ信号と、デジタル／アナログ変換部１２２から供給されるオーディオ信号とを合成して、この合成したオーディオ信号をスピーカなどへ出力する。

次に、外部からＳＤＩ信号入出力回路１１０に入力されたビデオ信号を、コンピュータ２００へ供給する入力処理に関して説明する。

まず、従来の入力処理に関して説明する。図３（Ａ）は、従来のＳＤＩ信号入出力回路が行う入力処理を模式的に示した図である。

ここで、一般的に、ビデオ信号における映像データは、ＳＤＩ信号規格を含め、そのフレームレートが毎秒当たり５９．９４フィールド（５９．９４ｉ）となるように規格化されている。一方、オーディオデータは、５フレームシーケンスで各フレーム単位毎にサンプル数が割り当てられている。

このため、従来の入力処理では、映像信号の各フレームに同期しないタイミングで、オーディオデータを供給している。例えば、図３（Ａ）に示すように、従来のＳＤＩ信号入力回路では、５フレーム分の時間間隔を単位データとしてオーディオデータをコンピュータに供給している。

また、従来の入力処理によって、映像データ、及びオーディオデータが供給されたコンピュータでは、映像データをフレーム単位で管理するのに対して、オーディオデータを５フレーム分のサンプル数をデータ単位として管理する。

ここで、例えば、図３（Ａ）に示すように、ＳＤＩ信号入出力回路に入力されたビデオ信号のうち、映像データＶ（５）乃至Ｖ（７）の区間において、映像データ及びオーディオデータの少なくとも一方にノイズなどの異常なデータ成分があるものとする。この場合、コンピュータは、オーディオデータをフレーム単位で管理していないので、オーディオデータＡ（１），Ａ（２）から、上述した異常なデータ成分を含んだ部分を正確に特定することができない。

このような従来の入力処理に対して、本実施形態におけるコンピュータ２００は、図３（Ｂ）に示すように、映像データとオーディオデータとを同様に１フレーム単位でハードディスク２３０上に記憶して管理するものとする。このようなデータ管理をコンピュータ２００で実現するために、ＳＤＩ信号入出力回路１１０は、外部から入力されるビデオ信号に対して、次に示すような入力制御処理を施して、映像データ及びオーディオデータをコンピュータ２００に供給する。

すなわち、ＳＤＩ信号入出力回路１１０において、ＳＤＩ信号入力処理部１１４は、ビデオ信号から映像データとオーディオデータとに分離する際に、そのオーディオデータにおける各フレームのサンプル数を検出し、この検出結果に基づいてオーディオデータをフレーム単位でメモリ１１２に供給する。

また、ＳＤＩ信号入力処理部１１４は、外部から入力されたビデオ信号に対して、そのフレーム同期信号、垂直同期信号、及び水平同期信号がロック状態であるか否かを検出する。さらに、ＳＤＩ信号入力処理部１１４は、映像データ及びオーディオデータに対してチェックサムを検出する。

一方、オーディオデータ入力処理部１１５も同様に、ＳＤＩ信号入力処理部１１４に入力されるビデオ信号に同期して、各フレームにおけるオーディオデータのサンプル数と、そのフレーム内でのチェックサムとを検出する。

そして、ＳＤＩ信号入力処理部１１４は、その内部に設けられたメモリ上に予め記憶されている基準フレームに係る情報に基づいて、映像データ及びオーディオデータをメモリ１１２へ供給する処理を終了する。この終了時点において、ＳＤＩ信号入力処理部１１４は、各フレームにおけるオーディオ信号のサンプル数とそのフレーム内でのチェックサムの検出結果とに基づいて、メモリ１１２に記憶させたデータの有効性を判断して、この判断結果をメモリ制御部１１３に供給する。オーディオデータ入力処理部１１５もこの処理の終了時点において同様に有効性を判断して、この判断結果をメモリ制御部１１３に供給する。

メモリ制御部１１３は、その内部に設けられたキャッシュメモリ上に、ＳＤＩ信号入力処理部１１４及びオーディオデータ入力処理部１１５から供給される有効性に関する判断結果を一時的に記憶するとともに、この判断結果を制御部１１１に供給する。

制御部１１１は、メモリ制御部１１３から供給される上述した有効性に関する判断結果の内容を確認する。そして、制御部１１１は、この判断結果をコンピュータ２００に供給される制御信号をメモリ制御部１１３に供給する。そして、メモリ制御部１１３は有効性に関する判断結果をコンピュータ２００に供給する。

以上のようにして、ＳＤＩ信号入出力回路１１０は、映像データ及びオーディオデータとともに、入力されたビデオ信号の有効性に関する判断結果をコンピュータ２００に供給する。

このようにして、コンピュータ２００は、入出力処理デバイス１００から供給される映像データ及びオーディオデータをハードディスク２３０上に記憶する。よって、コンピュータ２００は、入出力処理デバイス１００から供給されるビデオ信号の有効性に関する判断結果に基づいて、フレーム単位でデータの有効性を確認できるようになり、次に示す処理を行うことができる。

コンピュータ２００は、図３（Ｂ）に示すように、映像データに同期したフレームに対応してオーディオデータを、ハードディスク２３０で管理することができる。したがって、図３（Ｂ）に示すように、映像信号Ｖ（５）乃至Ｖ（７）のフレーム区間において、映像データ及びオーディオデータにノイズなどの異常があったとしても、各フレームに対応したオーディオデータＡ（５）乃至Ａ（７）を容易かつ高速にハードディスク２３０から検索することができる。

以上のようにして、ノンリニア編集機１では、入出力処理デバイス１００が各フレームに対応するサンプル数をデータ単位としたオーディオデータをコンピュータ２００に供給する。このため、ノンリニア編集機１では、コンピュータ２００が、映像データとオーディオデータとを互いに同期したタイミングで処理を行えるだけでなく、フレーム毎にこれらのデータの有効性を判断することができ、次に示すような用途に応じた動作を適切に行うことができる。

すなわち、ノンリニア編集機１は、例えば、上述したデータの有効性に関する判断結果に基づいて出力源の放送回線の信頼性を検査することができる。さらに、ノンリニア編集機１は、この検査結果に応じて、異常な信号成分を含むデータをフレーム単位で別のデータに置き換えたり、又は、その異常な信号成分を含むデータをフレーム単位で前後の有効なデータから補間して新たなデータを作り出したりすることができる。

次に、コンピュータ２００により編集処理が施されたデータを、ＳＤＩ信号入出力回路１１０から出力する出力処理に関して説明する。

コンピュータ２００において、ＣＰＵ２１０は、ハードディスク２３０から編集対象のデータをメインメモリ２２０に読み出して所定の編集処理を施し、バス３００を介して入出力処理デバイス１００に供給する。

上述したように、コンピュータ２００は、ハードディスク２３０の記憶領域において、映像データ及びオーディオデータ共にフレーム単位で管理している。よって、入出力処理デバイス１００において、ＳＤＩ信号入出力回路１１０のメモリ１１２には、コンピュータ２００により編集処理が施された映像データ及びオーディオデータがともにフレーム単位で記憶される。

また、コンピュータ２００は、編集処理を施した映像データ及びオーディオデータとともに、これらのデータに応じたビデオ信号を外部へ出力させるための出力制御命令を、バス３００を介して、入出力処理デバイス１００に供給する。よって、入出力処理デバイス１００において、ＳＤＩ信号入出力回路１１０の制御部１１１は、コンピュータ２００からの出力制御信号に従って、メモリ１１２に記憶された編集処理済みのデータをＳＤＩ信号出力処理部１１７を介して外部へ出力する。

このようにして、コンピュータ２００は、編集対象のデータに対して編集処理を施しバス３００を介して入出力処理デバイス１００に供給する処理を行う。ここで、コンピュータ２００では、ＳＤＩ信号規格のフレームシーケンスに従って、コンピュータ２００から入出力処理デバイス１００にデータを供給できない場合がある。このため、コンピュータ２００は、フレームシーケンスに基づいてデータを入出力処理デバイス１００に供給できるか否かを判断する。そして、コンピュータ２００は、同期がとれなくなると判断すると、その旨の出力制御命令を、ＳＤＩ信号入出力回路１１０の制御部１１１に供給する。

ＳＤＩ信号入出力回路１１０において、制御部１１１は、コンピュータ２００からの出力制御信号に応じて、ＳＤＩ信号出力処理部１１７に、各フレームに応じたオーディオデータのサンプル数を次のように設定させる。

本実施形態において、ノンリニア編集機１は、ＳＤＩ信号規格に基づきオーディオデータを５フレームシーケンスで管理するものとする。すなわち、ノンリニア編集機１は、この５フレームシーケンスに基づいて、オーディオ信号のサンプル数が５フレームで合計８００８個になるように１６０２、１６０１、１６０２、１６０１、１６０２サンプル数の順番を５フレーム毎に繰り返して、ビデオ信号を外部へ出力する。

したがって、ＳＤＩ信号出力処理部１１７では、５フレームシーケンスに従って、１６０１サンプルのオーディオデータを出力する時に、コンピュータ２００から供給されたオーディオデータが１６０２サンプルであると、１サンプルが余剰サンプルとして出力できなくなってしまう。これとは逆に、ＳＤＩ信号出力処理部１１７では、フレームシーケンスに従って、１６０２サンプルのオーディオデータを出力する時に、コンピュータ２００から供給されたオーディオデータが１６０１サンプルであると、１サンプルが不足して出力できなくなってしまう。

したがって、コンピュータ２００から供給されたオーディオデータのサンプル数が入出力処理デバイス１００から出力すべきサンプル数に比べて１サンプル余分に与えられた場合、ＳＤＩ信号出力処理部１１７では、この供給されたオーディオデータのうち最後尾に位置する１サンプル分のデータ（以下、余剰サンプルデータと呼ぶ。）を、次いで出力されるフレームの先頭位置に割り当てて出力する。これとは逆に、コンピュータ２００から供給されたオーディオデータのサンプル数が入出力処理デバイス１００から出力すべきサンプル数に比べて１サンプル分不足する場合、ＳＤＩ信号出力処理部１１７では、このオーディオデータのうち最後尾に位置する１サンプル分のデータを続けて２回連続で出力する。

このようにして、ＳＤＩ信号出力処理部１１７は、５フレームシーケンスに同期しないオーディオデータがコンピュータ２００から供給されても、上述したサンプルデータの置き換え処理によって、サンプル数の過不足がないオーディオデータからなるビデオ信号を外部に出力することができる。

具体的には、図４に示すようなサンプルデータの置き換え処理をＳＤＩ信号出力処理部１１７が行う。すなわち、図４は、コンピュータ２００から入出力処理デバイス１００に供給されるオーディオデータのフレームシーケンスと、入出力処理デバイス１００から出力されるオーディオ信号のフレームシーケンスのずれを模式的に示した図である。ここで、コンピュータ２００と入出力処理デバイス１００とではフレームシーケンスのずれに関して以下に示す５つの場合（ケース１〜５）に分けられる。

まず、図４の上端部の水平列は、ＳＤＩ信号出力処理部１１７における各フレームのオーディオデータのサンプル数を示したものである。

ケース１は、ＳＤＩ信号出力処理部１１７のフレームシーケンスに対してずれがなかった場合の、コンピュータ２００からバス３００に出力されるオーディオデータのサンプル数を示したものである。この場合、ＳＤＩ信号出力処理部１１７は、サンプルデータの置き換え処理を行うことを要しない。

ケース２は、ＳＤＩ信号出力処理部１１７のフレームシーケンスに対して番号が１つずれた場合の、コンピュータ２００からバス３００に出力されるオーディオデータのサンプル数を示したものである。この場合、ＳＤＩ信号出力処理部１１７は、最初のフレームにおいてサンプルデータが１つ不足するため、このフレームの最後尾に位置するサンプルデータを２回続けて出力する。その後、ＳＤＩ信号出力処理部１１７は、各フレーム番号において、余剰サンプルデータの数（図中の括弧で示された値）に応じて、サンプルデータの置き換え処理を行うことで、サンプル数の過不足がないオーディオデータからなるビデオ信号を外部へ出力することができる。

ケース３は、ＳＤＩ信号出力処理部１１７のフレームシーケンスに対して番号が２つずれた場合の、コンピュータ２００からバス３００に出力されるオーディオデータのサンプル数を示したものである。この場合、ＳＤＩ信号出力処理部１１７は、各フレーム番号において、余剰サンプルデータの数（図中の括弧で示された値）に応じて、サンプルデータの置き換え処理を行うことで、サンプル数の過不足がないオーディオデータからなるビデオ信号を外部へ出力することができる。

ケース４は、ＳＤＩ信号出力処理部１１７のフレームシーケンスに対して番号が３つずれた場合の、コンピュータ２００からバス３００に出力されるオーディオデータのサンプル数を示したものである。この場合、ＳＤＩ信号出力処理部１１７は、最初のフレームにおいてサンプル数が不足するため、このフレームの最後尾に位置するサンプルデータを２回続けて出力する。その後、ＳＤＩ信号出力処理部１１７は、各フレーム番号において、余剰サンプルデータの数（図中の括弧で示された値）に応じて、サンプルデータの置き換え処理を行うことで、サンプル数の過不足がないオーディオデータからなるビデオ信号を外部へ出力することができる。

ケース５は、ＳＤＩ信号出力処理部１１７のフレームシーケンスに対して番号が４つずれた場合の、コンピュータ２００からバス３００に出力されるオーディオデータのフレームシーケンスを示した図である。この場合、ＳＤＩ信号出力処理部１１７は、各フレーム番号において、余剰サンプルデータの数（図中の括弧で示された値）に応じて、サンプルデータの置き換え処理を行うことで、サンプル数の過不足がないオーディオデータからなるビデオ信号を外部へ出力することができる。

すなわち、本実施形態に係るノンリニア編集機１は、画像処理ソフトウェアによって編集処理が施されたデータを５フレームシーケンスに従って入出力処理デバイス１００に供給できるか否かを判断して、この判断結果に応じて編集処理が施されたオーディオデータのサンプル数をフレーム毎に変更して外部に出力するので、例えば、映像信号に対して高い負荷の特殊効果を施しても５フレームシーケンスに正確に従ったビデオ信号を外部に出力することができる。

ノンリニア編集機１では、コンピュータ２００で行われる編集処理に応じて、ＣＰＵ２１０に加わる負荷が非常に増大して、編集処理を施しながらリアルタイムで編集処理済みのデータをＳＤＩ信号入出力回路１１０に供給できなくなる場合がある。すなわち、ノンリニア編集機１は、コンピュータ２００が編集処理を施したデータを途切れることなく入出力処理デバイス１００に供給することができない場合がある。

このような場合に、従来のノンリニア編集機では、入出力処理デバイス１００がコンピュータ２００から供給されなくなる直前の映像データを、コンピュータ２００から正常に供給される状態になるまで出力し続ける処理を行っている。また、従来のノンリニア編集機では、コンピュータから入出力処理デバイスに編集処理済みのデータが供給されない間を無音状態としている。従来のノンリニア編集機は、正常の振幅レベルでオーディオ信号を出力していた状態から無音状態に急激に変化する場合がある。このような場合に、従来のノンリニア編集機は、ノイズを含んだオーディオデータを出力する。また、従来のノンリニア編集機は、このような聴覚ノイズを低減するため、コンピュータに係る負荷を低減して編集処理済みのデータの供給を途切れないようにしている。

そこで、本実施形態に係るノンリニア編集機１は、このようなノイズを低減させるために、次のような処理をＳＤＩ信号入出力処理回路１１０が行う。

すなわち、ＳＤＩ信号入出力処理回路１１０において、制御部１１１は、コンピュータ２００から供給される出力制御命令に基づいて、次の出力対象となるフレームのデータがコンピュータ２００から供給されるか否かを判断して、その判断結果をＳＤＩ信号出力処理部１１７に供給する。ここで、コンピュータ２００において、ＣＰＵ２１０は、編集処理を施したデータを連続して入出力処理デバイス１００に供給できるか否かを判断して、連続してデータを供給することができないと判断すると、停止信号を含んだ出力制御命令を入出力処理デバイス１００に供給する。

ＳＤＩ信号出力処理部１１７は、制御部１１１から供給される判断結果に基づいて、コンピュータ２００からのデータの供給が途切れると判断した場合、その後コンピュータ２００からデータの供給が開始されるまで、従来と同様に途切れる直前のフレームの映像データを外部に出力し続ける。

また、オーディオデータに関して、ＳＤＩ信号出力処理部１１７は、次に示すような処理を行う。すなわち、ＳＤＩ信号出力処理部１１７は、制御部１１１から供給される停止信号に基づいて、コンピュータ２００からデータの供給が途切れると判断した場合、無音状態への変化によって生じるノイズを低減するために、途切れる直前のオーディオ信号を徐々に信号レベルを落としていきフレーム内の最後尾のサンプルが無音状態となるように外部へ出力する。その後、ＳＤＩ信号出力処理部１１７は、コンピュータ２００から停止信号が供給されなくなるまで、無音状態となるオーディオデータを外部に出力する。そして、ＳＤＩ信号出力処理部１１７は、コンピュータ２００から供給が開始される最初のフレームのオーディオ信号を無音状態から徐々に振幅レベルを上げていきフレーム内の最後尾のサンプルで正常の振幅レベルに到達させるようにして外部へ出力する。

図５は、出力フレーム番号５乃至７のフレーム区間がコンピュータ２００から入出力処理デバイス１００に編集処理が施されたデータが供給されなかった場合のＳＤＩ信号出力処理部１１７の動作を模式的に示した図である。

映像データに関しては、ＳＤＩ信号出力処理部１１７は、出力フレーム番号５乃至７のフレーム区間において、途切れる直前の映像データＶ（４）を出力し続ける。また、オーディオデータに関しては、ＳＤＩ信号出力処理部１１７は、オーディオ信号Ａ（４）をその振幅レベルを徐々に減少させながら無音状態になるように出力する（フェードアウト処理）。その後、ＳＤＩ信号出力処理部１１７は、出力フレーム番号５乃至７のフレーム区間において、オーディオデータを無音状態として出力する。さらに、ＳＤＩ信号出力処理部１１７は、出力フレーム番号８において、その区間内のオーディオ信号Ａ（８）を、その信号レベルを無音状態から徐々に増加させながら正常の振幅レベルになるようにして出力する（フェードイン処理）。

このように、ＳＤＩ信号出力処理部１１７は、コンピュータ２００からの供給が途切れる直前及び直後の１フレーム分のオーディオデータに対して、それぞれフェードアウト及びフェードイン処理を施す。なお、ＳＤＩ信号出力処理部１１７は、コンピュータ２００からの供給が途切れる直前及び直後の複数フレーム分のオーディオデータに対して、上述したフェードアウト処理及びフェードアウト処理を施すようにしてもよい。

このようにして、ＳＤＩ信号入出力処理回路１１０は、コンピュータ２００からデータが連続して供給されなくても、コンピュータ２００で行う処理の種類を変更させることなく、上述したコンピュータ２００からデータの供給が途切れるために生じる視聴覚ノイズを低減させることができる。

なお、オーディオ信号出力処理部１１５も、制御部１１１から供給される出力制御命令に従って、ＳＤＩ信号出力処理部１１７と同様に振幅レベルを変化させる処理を行って、オーディオデータをオーディオ信号入出力回路１２０に供給する。

以上のように、本実施形態に係るノンリニア編集機１では、編集処理を行うユーザに対して、視覚的、聴覚的な不快感を与えることのない編集処理環境を提供することができる。

なお、本発明は、以上の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。

ノンリニア編集機の構成を示すブロック図である。入出力処理デバイス１００の構成を示すブロック図である。図（Ａ）は従来のビデオ信号の入力処理を模式的に示した図であり、図（Ｂ）は本実施形態に係るビデオ信号の入力処理を模式的に示した図である。５フレームシーケンスに基づく、サンプルデータの置き換え処理を模式的に示した図である。停止信号に基づいてオーディオデータを出力する処理を模式的に示す図である。

符号の説明

１ノンリニア編集機、１００入出力処理デバイス、１１０ＳＤＩ信号入出力回路、１１１制御部、１１２メモリ、１１３メモリ制御部、１１４ＳＤＩ信号入力処理部、１１５オーディオデータ入力処理部、１１６バスインタフェース、１１７ＳＤＩ信号出力処理部、１１８オーディオデータ出力処理部、１２０オーディオ信号入出力回路、１２１アナログ／デジタル変換部、１２２デジタル／アナログ変換部、１２３アナログ信号合成処理部、２００コンピュータ、２１０ＣＰＵ、２２０メインメモリ、２３０ハードディスク、３００バス

Claims

所定のフレームシーケンスに従って各フレームのオーディオデータのサンプル数が定められたビデオ信号を外部に出力する出力処理装置において、
上記ビデオ信号を記憶する記憶媒体と、
上記記憶媒体に記憶された上記ビデオ信号を所定の画像処理ソフトウェアに従って上記記憶媒体から読み出して、このビデオ信号に対して画像処理を施す画像処理部と、
上記画像処理部によって画像処理が施されたビデオ信号のオーディオデータが、上記フレームシーケンスに同期するか否かを判断し、同期していないと判断した場合には、この判断結果に応じて上記画像処理部によって画像処理が施されたビデオ信号のオーディオデータの各フレーム中のサンプル数を変更して出力する出力制御部とを備え、
上記画像処理部は、上記画像処理を施したビデオ信号を連続して上記出力制御部に供給できるか否かを判断し、連続して上記出力制御部に供給できないと判断した場合には停止信号を上記出力制御部に供給し、
上記出力制御部は、上記画像処理部から上記停止信号が供給されると、上記ビデオ信号のオーディオデータの信号振幅を減少させて無音状態とし、その後、上記画像処理部から上記停止信号が供給されなくなると上記ビデオ信号のオーディオデータの信号振幅を無音状態から所定の振幅値まで増加させる出力処理装置。
外部から入力される上記ビデオ信号のオーディオデータの各フレーム中のサンプル数を検出して、この検出結果に基づいて上記入力されたビデオ信号を上記画像処理部に供給する入力制御部をさらに備え、
上記画像処理部は、上記入力制御部で検出された検出結果に基づいて、上記入力ビデオ信号のオーディオデータをフレーム単位で上記記憶媒体に記憶させることを特徴とする請求項１記載の出力処理装置。
所定のフレームシーケンスに応じて各フレームのオーディオデータのサンプル数が定められたビデオ信号を外部に出力する出力処理装置の制御方法において、
上記出力処理装置が備える記憶媒体に記憶された上記ビデオ信号を所定の画像処理ソフトウェアに従って読み出して、画像処理部により、このビデオ信号の映像データに画像処理を施す画像処理ステップと、
上記画像処理部により画像処理が施されたビデオ信号のオーディオデータが、上記フレームシーケンスに同期しているか否かを判断して、この判断結果に応じて出力制御部により上記ビデオ信号のオーディオデータの各フレーム中のサンプル数を変更して外部に出力する出力処理ステップとを有し、
上記画像処理ステップでは、画像処理を施したビデオ信号を連続して上記出力制御部に供給できるか否かを判断し、連続して上記出力制御部に供給できないと判断した場合には停止信号を上記出力制御部に供給し、
上記出力制御ステップでは、上記停止信号が上記出力制御部に供給されると、上記ビデオ信号のオーディオデータの信号振幅を減少させて無音状態とし、その後、上記停止信号が上記出力制御部に供給されなくなると上記ビデオ信号のオーディオデータの信号振幅を無音状態から所定の振幅値まで増加させる出力処理装置の制御方法。