JP3588153B2

JP3588153B2 - データ編集方法及び編集装置

Info

Publication number: JP3588153B2
Application number: JP29221294A
Authority: JP
Inventors: 貴生井上
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1994-10-31
Filing date: 1994-10-31
Publication date: 2004-11-10
Anticipated expiration: 2019-11-10
Also published as: JPH08130712A

Description

【０００１】
【産業上の利用分野】
本発明は、例えば動画像符号化標準のＭＰＥＧに準拠したビットストリームのように、非可逆符号化方式により符号化された圧縮データを、符号化前の原方式のデータに復号して、編集処理する方法と装置に関する。
【０００２】
【従来の技術】
非可逆符号化方式によるデータ圧縮処理として、画像データの圧縮に用いられる直交変換処理及び量子化処理や、音声データの圧縮に用いられるＡＴＲＡＣ処理（ミニディスク用の処理）がある。これらの符号化処理では、視聴者に目立たない画像や聴き取りにくい音声が切り捨てられる。
【０００３】
動画像符号化標準のＭＰＥＧに準拠したビットストリームにはユーザデータ領域が設けられており、当該ユーザデータ領域に対応する画面に関する種々の情報を任意に設定できるようにされている。
【０００４】
特開平４−８７００４号公報には、ダビング回数をダビング先のオーディオテープに記録しておき、その回数に応じて再生時の各種のパラメータを制御することで、再生音声の劣化を低減する技術が開示されている。
特開平４−２１２７５６号公報には、データのコピー時にコピー世代数を属性情報として付加することで、或る世代以上のＤＡＴ（ディジタルオーディオテープ）のコピーを禁止する技術が開示されている。
【０００５】
【発明が解決しようとする課題】
非可逆符号化方式により符号化されて記録されている圧縮データ（又は、その一部）に編集処理を施したい場合がある。例えば、ＭＰＥＧに準拠したビットストリームに符号化済の動画像中に字幕を挿入したり、挿入済の字幕を他の言語に変更したり、或る画面の一部にモザイクや暈し等の特殊効果を持たせたい場合である。或いは、ミニディスクのＡＴＲＡＣ方式によって圧縮済の音楽中（又は、その一部）にミキシングを行いたい場合である。
【０００６】
かかる場合、符号化されているデータを一旦復号して、所望の編集処理を施した後に、再び符号化して記録しなくてはならない。しかし、非可逆符号化方式に於いて復号及び符号化処理を繰り返すと、画質や音質の劣化が生ずる。
本発明は、非可逆符号化されて記録されている動画像や音楽に編集処理を施す際に、画質や音質の劣化を或る限度内に収めるようにすることを目的とする。
【０００７】
【課題を解決するための手段】
請求項１に係る発明は、所定の非可逆符号化方式で符号化された圧縮データ中から自己完結している所望の部分データを取り出し、該部分データを前記符号化前の原方式のデータに復号し、該復号後のデータに所望の編集処理を施した後、前記所定の非可逆符号化方式で符号化するとともに復号及び符号化処理を施した旨の履歴情報を更新して該符号化後のデータに加入し、これを前記部分データが取り出し前に在った原位置に戻す、データ編集方法である。
【０００８】
請求項２に係る発明は、所定の非可逆符号化方式で符号化された圧縮データ中の自己完結している所望の部分データの復号及び符号化処理回数に関連する履歴情報に基づいて該部分データの編集処理の適否を判別し、適する場合は該部分データを取り出し、前記符号化前の原方式のデータに復号し、該復号後のデータに所望の編集処理を施した後、前記所定の非可逆符号化方式で符号化するとともに前記履歴情報を更新して該符号化後のデータに加入し、これを前記部分データが取り出し前に在った原位置に戻す、データ編集方法である。
【０００９】
請求項３に係る発明は、請求項１乃至請求項２のいずれかに於いて、前記所定の非可逆符号化方式は、動画像符号化標準のＭＰＥＧに準拠したビットストリームを生成する符号化方式である、データ編集方法である。
【００１０】
請求項４に係る発明は、請求項２に於いて、前記部分データが編集処理に適さないとされた場合は、前記圧縮データのソースデータ中から前記部分データに対応する部分ソースデータを取り出し、該部分ソースデータに前記所望の編集処理を施した後、前記所定の非可逆符号化方式で符号化するとともに復号及び符号化処理を施した旨の履歴情報を更新して該符号化後のデータに加入し、これを前記部分データと置換する、データ編集方法である。
【００１１】
請求項５に係る発明は、請求項１、請求項２、又は請求項４に於いて、前記所定の非可逆符号化方式は、動画像符号化標準のＭＰＥＧに準拠したビットストリームを生成する符号化方式であり、前記自己完結している部分データはＧＯＰを単位とするデータである、データ編集方法である。
【００１２】
請求項６に係る発明は、請求項３、又は請求項５に於いて、前記履歴情報を前記ビットストリーム中のユーザデータ領域に加入する、データ編集方法である。
請求項７に係る発明は、所定の非可逆符号化方式で符号化された圧縮データ中から自己完結している所望の部分データの復号及び符号化処理回数に関連する履歴情報を取り出す抽出手段と、前記履歴情報に基づいて当該履歴情報に対応する前記部分データの編集処理の適否を判別する判別手段と、前記判別手段により編集処理に適すると判別された場合は前記圧縮データ中から当該履歴情報に対応する前記部分データを取り出す分離手段と、前記分離手段により取り出された前記部分データを前記所定の非可逆符号化前の原方式のデータに復号する復号手段と、前記復号手段により復号された原方式のデータに所望の編集処理を施すための編集手段と、前記編集手段による編集処理後の原方式のデータを前記所定の非可逆符号化方式により符号化する符号化手段と、前記復号及び前記符号化に対応して前記履歴情報を更新する更新手段と、前記更新手段により更新された前記履歴情報を前記符号化手段により符号化されたデータ中に加入する加入手段と、前記符号化手段により符号化されるとともに前記加入手段により履歴情報を加入されたデータを、前記部分データが前記分離手段により取り出される前に在った前記圧縮データ中の原位置に戻す復帰手段と、を有するデータ編集装置である。
請求項８に係る発明は、請求項７に於いて、前記所定の非可逆符号化方式は、動画像符号化標準のＭＰＥＧに準拠したビットストリームを生成する符号化方式である、データ編集装置である。
請求項９に係る発明は、請求項７に於いて、さらに、前記判別手段により前記部分データが編集処理に適さないとされた場合は、前記圧縮データのソースデータ中から前記部分データに対応する部分ソースデータを取り出すソース分離手段と、前記ソース分離手段により取り出された前記部分ソースデータを、前記部分データの復号後のデータに代えて、前記編集手段に送り込む切換手段と、前記判別手段により前記部分データが編集処理に適さないとされた場合は、前記更新手段に対して履歴情報を初期化すべき旨を指令する履歴管理手段と、を有するデータ編集装置である。
請求項１０に係る発明は、請求項７、又は請求項９に於いて、前記所定の非可逆符号化方式は、動画像符号化標準のＭＰＥＧに準拠したビットストリームを生成する符号化方式であり、前記自己完結している部分データはＧＯＰを単位とするデータである、データ編集装置である。
請求項１１に係る発明は、請求項８、又は請求項１０に於いて、前記加入手段は、前記履歴情報を前記ビットストリーム中のユーザデータ領域に加入する、データ編集装置である。
【００１３】
【作用】
所定の非可逆符号化方式で符号化された圧縮データ（例：動画像符号化標準のＭＰＥＧに準拠したビットストリーム）、又は、該圧縮データ中の自己完結している部分データ（例：ＧＯＰを単位とするデータ）が、原方式のデータに復号される。その際、必要に応じて、当該データの復号及び符号化処理回数に関連する履歴情報が参照されて復号の適否が判別される。次に、原方式のデータに復号されたデータに対して所望の編集処理（例：字幕挿入，字幕変更，コマーシャル挿入，コマーシャル変更，モザイク，暈し，ミキシング等）が施され、その後、所定の非可逆符号化方式で符号化される。また、この符号化データ中に、上記復号及び符号化の処理回数に関する履歴情報（処理回数の累計，ＳＮＲ値等）が加入される。例えば、ＭＰＥＧに準拠している場合であれば、ユーザデータ領域に書き込まれる。また、前記部分データを処理した場合であれば、当該部分データが取り出される前に在った原位置に戻される。また、前記判別で不適とされた場合は、必要に応じて、前記圧縮データのソースデータの当該部分に対して上記の処理が施された後、前記判別で不適とされた部分データと置換される。
【００１４】
【実施例】
以下、本発明の実施例を説明する。図１は実施例装置の回路構成を示すブロック図、図２は実施例装置の処理を示す説明図である。
【００１５】
図示のように、本装置には、動画像符号化標準のＭＰＥＧに準拠したビットストリーム（圧縮データ）が入力される。このビットストリーム中のユーザデータ領域（この実施例ではＧＯＰ層のユーザデータ領域；図２参照）からデマルチプレクサにより履歴情報が取り出されて編集履歴判断部へ送られる。また、履歴情報を抽出された圧縮データはＭＰＥＧビデオデコーダへ送られて復号されて一時記憶装置に格納される。また、モニタ画面に表示される。
【００１６】
編集履歴判断部では、当該履歴情報で指示される画面（ＧＯＰ）の編集処理の適否が判別される。即ち、当該画面に編集処理を行うべく復号及び符号化処理を施した場合に、その画質の劣化の程度が我慢できる限度内であるか否かが判別される。その結果は、制御部に送られる。なお、履歴情報は、本実施例では、編集処理のための復号及び符号化の処理回数である。
【００１７】
制御部は、上記適否の結果に従って、スイッチＳＷの切換を制御する。即ち、当該画面が編集処理に適すると判別されている場合であれば、スイッチＳＷはＭＰＥＧビデオデコーダ側の一時記憶装置側に設定され、これにより、当該画面の動画像データ（ＭＰＥＧビデオデコーダにより復号された動画像データ）が編集処理部に送られて、所望の編集処理が施される。
【００１８】
一方、編集履歴判断部で編集処理に適しないと判別されている場合は、スイッチＳＷがソース画像入力側の一時記憶装置側に設定され、これにより、ソース画像の中の当該画面の動画像データ（符号化も復号もされていない動画像データ）が編集処理部に送られて、所望の編集処理が施される。
【００１９】
編集処理部に於いて所望の編集処理（この実施例ではコマーシャル画面のテロップ（字幕）を変更する処理；図２参照）を施された動画像データは、次に、ＭＰＥＧビデオエンコーダへ送られて、所定の方式で非可逆符号化（適応適な予測符号化，ＤＣＴ変換及び量子化，可変長符号化（この処理自体は可逆符号化である））処理を施されて圧縮される。
【００２０】
この圧縮データに、編集履歴更新部で更新された履歴情報が、動画像符号化標準のＭＰＥＧのＧＯＰ層のユーザデータ領域のデータとして、マルチプレクサにより多重される。即ち、前記制御部は前記編集履歴判断部による判別結果を編集履歴更新部に送っており、編集履歴更新部では、この判別結果に基づいて履歴情報が更新されている。例えば、編集処理に適する場合は、従前の履歴情報の処理回数に「１」が加算されている。また、編集処理に適しない場合であればソース画像で置換されるため、従前の履歴情報が初期化されて「１」にされている。このように更新されている履歴情報が、上記の如く多重される。
【００２１】
マルチプレクサの出力（ＧＯＰ層のユーザデータ領域に履歴情報を加入されたＭＰＥＧに準拠したビットストリーム）は、次に、加算器に送られ、前記圧縮データ（本装置に入力されるビットストリームから上述の各処理に供されるＧＯＰを取り出した残りの圧縮データ）中の該当位置（上記ＧＯＰが取り出し前に在った位置）に戻される。
【００２２】
このようにして、図２に示す処理が実現される。
即ち、動画像符号化標準のＭＰＥＧに準拠した（Ｎ−１）番目のＧＯＰ（ドラマの画面）と（Ｎ＋１）番目のＧＯＰ（ドラマの画面）に挟まれたＮ番目のＧＯＰ（コマーシャルの画面）を取り出すとともに、そのユーザデータ領域から履歴情報を取り出す処理、及び、圧縮データを動画像データに復号してコマーシャルのテロップ（字幕）を挿入して再び符号化するとともに、履歴情報である処理回数（編集処理のための復号及び符号化を行った回数）を「１」加算して再符号化されたＮ番目のＧＯＰのユーザデータ領域に多重する処理、及び、履歴情報多重後の符号を上記（Ｎ−１）番目のＧＯＰ（ドラマの画面）と（Ｎ＋１）番目のＧＯＰ（ドラマの画面）の間に挿入する処理、が実現される。
【００２３】
なお、上記実施例では、ＭＰＥＧに準拠したビットストリームについて説明しているが、本発明は上記実施例に限定されず、非可逆符号化で圧縮されているデータを復号して編集処理した後、再び、非可逆符号化する場合に適用できる。
また、上記実施例では、履歴情報として処理回数（編集処理のための復号及び符号化を行った回数）を採用しているが、画質や音質の劣化に関する情報であれば採用できる。例えば、再符号化後のデータを復号し、その画質と平均のＳＮＲ値に基づいて得られるＳＮＲ値を採用してもよい。
【００２４】
【発明の効果】
以上、本発明では、所定の非可逆符号化方式で符号化された圧縮データを原方式のデータに復号して編集処理を施した後、上記所定の非可逆符号化方式で符号化する際に、復号及び符号化の処理回数に関する履歴情報が加入されるため、その履歴情報を参照することにより、画質や音質の劣化が著しくなると推定される場合には、例えば、当該圧縮データのソースデータに編集処理を施して、そのデータで置換する等の処置をとることができるため、画質や音質の劣化を或る限度内に収めることができる。
【図面の簡単な説明】
【図１】実施例装置の構成を示すブロック図。
【図２】実施例装置による処理過程を示す説明図。

Claims

所定の非可逆符号化方式で符号化された圧縮データ中から自己完結している所望の部分データを取り出し、該部分データを前記符号化前の原方式のデータに復号し、該復号後のデータに所望の編集処理を施した後、前記所定の非可逆符号化方式で符号化するとともに復号及び符号化処理を施した旨の履歴情報を更新して該符号化後のデータに加入し、これを前記部分データが取り出し前に在った原位置に戻す、データ編集方法。
所定の非可逆符号化方式で符号化された圧縮データ中の自己完結している所望の部分データの復号及び符号化処理回数に関連する履歴情報に基づいて該部分データの編集処理の適否を判別し、適する場合は該部分データを取り出し、前記符号化前の原方式のデータに復号し、該復号後のデータに所望の編集処理を施した後、前記所定の非可逆符号化方式で符号化するとともに前記履歴情報を更新して該符号化後のデータに加入し、これを前記部分データが取り出し前に在った原位置に戻す、データ編集方法。
請求項１乃至請求項２のいずれかに於いて、
前記所定の非可逆符号化方式は、動画像符号化標準のＭＰＥＧに準拠したビットストリームを生成する符号化方式である、データ編集方法。
請求項２に於いて、
前記部分データが編集処理に適さないとされた場合は、前記圧縮データのソースデータ中から前記部分データに対応する部分ソースデータを取り出し、該部分ソースデータに前記所望の編集処理を施した後、前記所定の非可逆符号化方式で符号化するとともに復号及び符号化処理を施した旨の履歴情報を更新して該符号化後のデータに加入し、これを前記部分データと置換する、データ編集方法。
請求項１、請求項２、又は請求項４に於いて、
前記所定の非可逆符号化方式は、動画像符号化標準のＭＰＥＧに準拠したビットストリームを生成する符号化方式であり、前記自己完結している部分データはＧＯＰを単位とするデータである、データ編集方法。
請求項３、又は請求項５に於いて、
前記履歴情報を前記ビットストリーム中のユーザデータ領域に加入する、データ編集方法。
所定の非可逆符号化方式で符号化された圧縮データ中から自己完結している所望の部分データの復号及び符号化処理回数に関連する履歴情報を取り出す抽出手段と、
前記履歴情報に基づいて当該履歴情報に対応する前記部分データの編集処理の適否を判別する判別手段と、
前記判別手段により編集処理に適すると判別された場合は前記圧縮データ中から当該履歴情報に対応する前記部分データを取り出す分離手段と、
前記分離手段により取り出された前記部分データを前記所定の非可逆符号化前の原方式のデータに復号する復号手段と、
前記復号手段により復号された原方式のデータに所望の編集処理を施すための編集手段と、
前記編集手段による編集処理後の原方式のデータを前記所定の非可逆符号化方式により符号化する符号化手段と、
前記復号及び前記符号化に対応して前記履歴情報を更新する更新手段と、
前記更新手段により更新された前記履歴情報を前記符号化手段により符号化されたデータ中に加入する加入手段と、
前記符号化手段により符号化されるとともに前記加入手段により履歴情報を加入されたデータを、前記部分データが前記分離手段により取り出される前に在った前記圧縮データ中の原位置に戻す復帰手段と、を有するデータ編集装置。
請求項７に於いて、前記所定の非可逆符号化方式は、動画像符号化標準のＭＰＥＧに準拠したビットストリームを生成する符号化方式である、データ編集装置。
請求項７に於いて、さらに、
前記判別手段により前記部分データが編集処理に適さないとされた場合は、前記圧縮データのソースデータ中から前記部分データに対応する部分ソースデータを取り出すソース分離手段と、
前記ソース分離手段により取り出された前記部分ソースデータを、前記部分データの復号後のデータに代えて、前記編集手段に送り込む切換手段と、
前記判別手段により前記部分データが編集処理に適さないとされた場合は、前記更新手段に対して履歴情報を初期化すべき旨を指令する履歴管理手段と、を有するデータ編集装置。
請求項７、又は請求項９に於いて、
前記所定の非可逆符号化方式は、動画像符号化標準のＭＰＥＧに準拠したビットストリームを生成する符号化方式であり、前記自己完結している部分データはＧＯＰを単位とするデータである、データ編集装置。
請求項８、又は請求項１０に於いて、
前記加入手段は、前記履歴情報を前記ビットストリーム中のユーザデータ領域に加入する、データ編集装置。