JP3595563B2 - 動画像処理方法および装置 - Google Patents
動画像処理方法および装置 Download PDFInfo
- Publication number
- JP3595563B2 JP3595563B2 JP27402893A JP27402893A JP3595563B2 JP 3595563 B2 JP3595563 B2 JP 3595563B2 JP 27402893 A JP27402893 A JP 27402893A JP 27402893 A JP27402893 A JP 27402893A JP 3595563 B2 JP3595563 B2 JP 3595563B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- data
- image data
- transition effect
- present
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は動画像処理装置およびその方法に関し、とくに動画像に対してトランジションエフェクトなどの編集を施す動画像処理に関する。
【０００２】
【従来の技術】
従来、ディジタル動画像データを編集，圧縮，伝送する場合は、動画像データを編集した後、加工済の動画像データを圧縮するのが一般的であった。ここで編集とは、例えば文字や図形などを動画像上にスーパインポーズしたり、次に説明するトランジションエフェクトなどを動画像に施すことである。
【０００３】
トランジションエフェクトとは、例えば時間的に連続する二つの動画像シーケンスを滑らかに接続するために、時間的に前方にある動画像をフェードアウトしながら、時間的に後方にある動画像をフェードインする処理のことである。この場合、遷移期間に指定した範囲においては、二つの動画像シーケンスが重なり合った特殊な状態の画像が現れることになる。
【０００４】
こうして得られた編集済の動画像データは、種々提案されている動画像符号化方式により符号化されて、通信回線を通じて受信側へ伝送される。受信側では、受信した符号データを復号して表示する。
図２は従来の動画像編集手順を示すフローチャートで、同図（ａ）は送信側端末の手順を、同図（ｂ）は受信端末の手順をそれぞれ示す。
【０００５】
同図（ａ）において、送信側端末は、ステップＳ１で、動画像データを入力してメモリに記憶する。
続いて、送信側端末は、ステップＳ２でトランジションエフェクトなどの効果の指定を受付け、ステップＳ３で、ステップＳ２で受付けた指定に基づいて、メモリに記憶した画像データを編集する。
【０００６】
次に、同図（ｂ）において、受信側端末は、ステップＳ６で符号データを受信する。
続いて、受信側端末は、ステップＳ７で、受信した符号データを復号して、復号して得た動画像データをメモリに記憶する。
続いて、受信側端末は、ステップＳ８でディスプレイに動画像を表示する。
【０００７】
【発明が解決しようとする課題】
しかし、上記従来例においては、次のような問題があった。すなわち、上記従来例はトランジションエフェクトなどを施した編集済の画像データを符号化するが、隣接するフレームの相関を利用して圧縮を行う既存の動画像符号化方式は、トランジションエフェクトなどが施された特殊な画像データを圧縮すると、フレームの相関が崩れて効率的な圧縮が困難であった。
【０００８】
また、一部の動画像符号化方式では、高圧縮率を実現するために、フレームレートを秒間10コマ程度に間引いて符号化し、伝送することがあるが、低フレームレートの動画像では、滑らかなトランジションエフェクトの実現が困難であり、画像の遷移がぎくしゃくする欠点があった。
【０００９】
本発明は、上述の問題を解決するためのもので、フレーム間相関を利用して動画像データを圧縮符号化する際の圧縮率の低下を防ぎ、画質の劣化を防ぐことを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１１】
本発明は、トランジションエフェクトが施されていない動画像データをフレーム間相関を利用して圧縮符号化した動画像符号化データ、および、前記動画像データに施すトランジションエフェクトを指示するコマンドデータを外部装置から受信し、受信された前記動画像符号化データを復号し、受信された前記コマンドデータに基づくトランジションエフェクトを、復号された動画像データに施し、前記トランジションエフェクトが施された動画像データを出力することを特徴とする。
【００１２】
【実施例】
以下、本発明にかかる一実施例の動画像処理装置を図面を参照して詳細に説明する。
【００１３】
【第1実施例】
図1は、本発明にかかる第1実施例の動画像処理方法によって動画像を処理するシステムの構成例を示すブロック図である。同図の動画像伝送システムは、通信回線によって結合された複数の端末a1、端末b2、端末c3、…によって構成され、端末a1は次のような構成を備えている。
【００１４】
１１は入力ポートで、動画像データをビデオカメラなどの画像入力装置１９より取込む。
１２はＣＰＵであり、ＲＯＭ１４に記憶された制御プログラムに従って、画像データの処理、および、バス１８を介した端末１ａ全体の制御を実行する。また、ＣＰＵ１２は、ＲＡＭ１３の所定の領域へアクセスすることにより、ＲＡＭ１３に記憶された動画像データの任意フレームの任意座標における画素値を読出すことができる。
【００１５】
１５は符号化／復号回路、１６はディスプレイであり、１７はインタフェイスで、通信回線１０１との間のデータ通信を仲介する。
なお、上記の構成部は、バス１８によって相互に接続されている。
また、他端末ｂ２，端末ｃ３，…も端末ａ１と略同様の構成を備えている。
図３は本実施例の動画像編集手順の一例を示すフローチャートで、同図（ａ）は送信側端末の手順を、同図（ｂ）は受信側端末の手順をそれぞれ示す。
【００１６】
同図（ａ）において、本実施例の送信側端末は、ステップＳ１１で、入力ポート１１を介して、動画像データをＲＡＭ１３へ読込む。
続いて、送信側端末は、ステップＳ１２で、スーパインポーズやトランジションエフェクト（フェードアウト，ワイプ等）などの複数の効果の指定を受付ける。
【００１７】
続いて、送信側端末は、ステップＳ１３で、インタフェイス１７を介して、ステップＳ１２で受付けた効果指定データ（コマンドデータ）を通信回線１０１へ送出する。
続いて、送信端末は、ステップＳ１４で動画像データを符号化／復号回路１５で符号化し、ステップＳ１５で、インタフェイス１７を介して、符号データを通信回線１０１へ送出する。なお、動画像データは予め符号化しておき、効果指定データを付加して通信回線１０１に送出するようにしてもよい。
【００１８】
すなわち、本実施例においては、効果指定データと、符号化した未編集の動画像データとを送出する。
次に、図３（ｂ）において、受信側端末は、ステップＳ１６で、インタフェイス１７によって効果指定データを受信して、ＲＡＭ１３に記憶する。
続いて、受信端末は、ステップＳ１７で、インタフェイス１７によって動画像データの符号データを受信して、ＲＡＭ１３に記憶する。
【００１９】
続いて、受信側端末は、ステップＳ１８で、符号化／復号回路１５によって、ＲＡＭ１３に記憶した符号データを復号して、復号して得た動画像データをＲＡＭ１３に記憶する。
続いて、受信側端末は、ステップＳ１９で、ＲＡＭ１３に記憶した効果指定データに基づいて、ＲＡＭ１３に記憶した動画像データを編集する。
【００２０】
編集は例えば以下のように行われる。
今、受信した動画像のレートが毎秒５コマで、ディスプレイ１６の表示可能なレートが毎秒２０コマであるとする。このとき、フェードアウトを行うコマンドを受信した場合には、毎秒５コマの動画像のフレーム間を補間し、毎秒２０コマの動画像データを作成した後に、フェードアウトの処理を行う（図６Ａ参照）。ここで、補間処理としては、最も簡単なものとして、単純に同一画面を４コマ分繰返すことが考えられる。
【００２１】
なお、従来方式によれば、図６Ｂのような表示画像になる。
また、フェードアウトの他にも例えば、ワイプなどのトランジションエフェクトも上述と同様の方法で行うことができる。
続いて、受信側端末は、ステップＳ２０でディスプレイ１６に動画像を表示する。
【００２２】
すなわち、本実施例は、受信側端末において、効果指定データおよび動画像データを受信した後、該符号データを復号して得た動画像データを、該効果指定データに基づいて編集する。
上記従来例においては、例えば、動画像上へ文字などをスーパインポーズしようとすると、線画データ（すなわち文字）が重畳された画像データを符号化することになり、主として自然画像の圧縮を目的とした公知の動画像符号化方式（例えばＭＰＥＧの符号化方式）では、画質を良くしようとすると効率よく圧縮できずに符号データの増大を招く一方、圧縮率を高くしようとすると文字が判読困難になるなどの著しい画質劣化を生じていた。また、従来例においては、秒間１０コマ程度の低フレームレートで動画像データを伝送する場合に、動画像のフェードアウトを行うと、フェードアウトする画像の変化も低フレームレートで表現するほかなく、ぎくしゃくしたぎこちない効果しか得られなかった。
【００２３】
一方、本実施例によれば、文字のスーパインポーズは、受信側端末において、画像表示の直前に行われるので、圧縮効率の低下を招くことはなく、さらに画質劣化も生じない。また、本実施例によれば、動画像のフェードアウトを行う場合に、受信側端末において、上述の補間処理を行うことにより、フェードアウトする画像の変化部分のみ、他の部分よりもフレームレートを挙げることが容易にできるので、画像データの伝送効率を劣化させずに、滑らかなフェードアウトを得ることができる。
【００２４】
なお、上述の説明および図においては、符号化／復号回路１５によって、動画像の符号化／復号を行う例を説明したが、本実施例はこれに限定されるものではなく、例えば、ＣＰＵ１２によって、動画像の符号化／復号をソフトウェア処理によって実現してもよい。この場合、処理速度は低下するが、端末のコストを低減できる。
【００２５】
また、上述の説明および図においては、入力ポート１１によって入力した動画像データ、またはインタフェイス１７によって受信した符号データを、そのままＲＡＭ１３に記憶する例を説明したが、本実施例はこれに限定されるものではなく、例えば、充分に高速な符号化／復号回路を備えて、動画像データを入力しながらリアルタイムで符号化し、あるいは符号データを受信しながらリアルタイムで復号して、ＲＡＭ１３に記憶してもよい。この場合、処理速度を向上できるほか、前者の場合にはＲＡＭ１３のメモリ容量を低減することができる。
【００２６】
また、上述の説明および図においては、データの記憶にＲＡＭを用いる例を説明したが、本実施例はこれに限定されるものではなく、例えば、高速な処理を要求されない場合には、ハードディスクなどの外部記憶装置を用いてもよい。この場合、データ量の大きな動画像データを、低コストで処理することができる。
以上説明したように、本実施例によれば、受信端末で動画像データを編集することによって、符号化／復号による圧縮効率の低下や画質の劣化を招くことなく、高品位な動画像伝送を実現できる。
【００２７】
なお、本実施例の端末は、複数の機器から構成されるシステム、例えばビデオカメラ，ホストコンピュータなどのシステムであってもよく、また、一つの機器からなる装置、例えば動画像を記憶したホストコンピュータであってもよい。
また。本実施例の処理は、システムあるいは装置へ、媒体に記憶されたプログラムを供給することによって実現してもよい。
【００２８】
以上、本発明の第１実施例によれば、動画像データの編集情報を伝送し、該動画像データを符号化して効率よく伝送する動画像処理方法を提供できる。
また、本発明の第１実施例によれば、受信した編集情報に基づいて、受信した符号データを復号して得た動画像データを編集する動画像処理方法を提供できる。
【００２９】
【第２実施例】
本実施例は、上述した第１実施例の動画像処理方法を、例えば映画の字幕や動画像付きカラオケの歌詞など、動画像に同期してテキストを画像上にスーパインポーズする技術に応用したものである。
本実施例では、動画像データと字幕などのテキストデータを別々に保持し、再生時に字幕などのテキストをビットマップに展開して画像上にスーパインポーズすることにより、字幕などのテキストを挿入したことに起因する画像圧縮／伸長時の画質劣化を防ぐと同時に、上述のような操作性の問題を解決している。
【００３０】
以下、図面を参照しながら、本発明にかかる第２実施例を詳細に説明する。
図４は本実施例における動画像処理システムの構成図である。１１１は字幕テキストデータを記憶する字幕テキストデータメモリ、１１２は動画像データを記憶する動画像データメモリ、１１３は動画像圧縮回路、１１４はマルチプレクサ、１１５は蓄積・伝送系、１１６はデマルチプレクサ、１１７は動画像伸長回路、１１８は字幕スーパインポーザ、１１９は表示器、１２０および１２１は信号線である。
【００３１】
動画像データメモリ１１２に蓄積された動画像データは、動画像圧縮回路１１３で圧縮され、字幕テキストデータメモリ１１１に蓄積されたテキストデータと、マルチプレクサ１１４で合成され、蓄積・伝送系１１５に送られる。ここで、蓄積・伝送系とは、テープやＣＤ−ＲＯＭなどのパッケージメディアや、ＩＳＤＮ，ＴＶ放送などの通信系であり、これらを通じてデータが使用者のもとに届けられる。
【００３２】
使用者が受け取ったデータは、デマルチプレクサ116により、圧縮画像データとテキストデータに分離される。画像データは信号線120を通して動画像伸長回路117に送られる。テキストデータは、信号線121を通して字幕スーパインポーザ118に送られ、ここでビットマップテキスト画像に展開され、動画像伸長回路117で伸長された動画像へ重畳される。こうして得られた字幕付き動画像が表示器119により表示される。
【００３３】
なお、表示器の代わりに画像形成装置（レーザビームプリンタ等）を用いて、動画像をフレーム毎にハードコピーしてもよく、本実施例で注目すべきは、字幕スーパインポーザが使用者側にあるということである。そして、操作パネル１２２により、使用者が字幕の表示／非表示，表示色，表示位置，文字の大きさなどを設定し、その設定に基づき制御回路１２３は、字幕スーパインポーザ１１８によるスーパインポーズを制御する。
【００３４】
上述の従来の伝送方法では、字幕スーパインポーザは送信側（動画像の制作者側）にあるため、字幕は固定位置に常に表示され続けていた。これに対して本実施例によれば、ユーザが字幕スーパインポーザに指示を与えることにより、字幕の表示／非表示，表示色，表示位置，文字の大きさなどを自由に設定でき、操作性を大幅に改善できる。また、本実施例によれば、上述のような画質と圧縮効率の関係も良好にすることができる。
【００３５】
また、図４に示した動画像圧縮回路１１３としては、国際標準の動画像圧縮方式であるＭＰＥＧのエンコーダを用いることができる。ＭＰＥＧのビットストリームには「ユーザデータ領域」が規定されており、ＭＰＥＧに準拠した上で一ピクチャごとに任意のデータを書込むことができるため、マルチプレクサ１１４では、この「ユーザデータ領域」にテキストデータを書込むという動作を行う。デマルチプレクサ１１６では、ＭＰＥＧビットストリームの「ユーザデータ領域」からテキストデータを読出して字幕スーパインポーザ１１８に送る。動画像伸長回路１１７にはＭＰＥＧデコーダを用いる。
【００３６】
本実施例によれば、標準的な動画像圧縮方式であるＭＰＥＧに準拠した符号データを生成できるという利点がある。
本実施例で説明した再生系ではなく、通常のＭＰＥＧデコーダで再生した場合は、ユーザデータ領域のデータが無視され、字幕が表示できなくなるだけで、動画像は正しく再生できるので、互換性は保たれる。
【００３７】
以上説明したように、本発明にかかる第２実施例によれば、画像にテキストがスーパインポーズされることに起因する画質劣化を回避することができ、また使用者が字幕の表示方法を任意に選択できるようになる。
【００３８】
【第３実施例】
以下、図面を参照しながら、本発明にかかる第３実施例を詳細に説明する。
図５は本実施例における動画像処理システムの構成図である。
１３１，１３２，１３３はそれぞれ字幕テキストデータを記憶する字幕テキストデータメモリ、１３４は動画像データメモリ、１３５は動画像圧縮回路、１３６はマルチプレクサ、１３７は蓄積，伝送系、１３８はデマルチプレクサ、１３９は動画像伸長回路、１４０は字幕スーパインポーザ、１４１は表示器、１４２は切替スイッチである。
【００３９】
字幕テキストデータメモリ１３１，１３２，１３３には、それぞれ異なる種類のテキストデータが入っている。例えば、第１字幕テキストデータメモリ１３１には日本語字幕、第２字幕テキストデータメモリ１３２には英語字幕、第３字幕テキストデータメモリ１３３には中国語字幕が入っているものとする。これら、三種類のテキストデータが、動画像データメモリ１３４から動画像圧縮回路１３５を経て圧縮された画像データと、マルチプレクサ１３６で重畳されて、蓄積，伝送系１３７に送られる。
【００４０】
受信側でデータは、デマルチプレクサ１３８を通り、圧縮画像データと三種類のテキストデータに分離される。圧縮画像データは動画像伸長回路１３９で伸長され、字幕スーパインポーザ１６０に送られる。スイッチ１４２は、テキストデータの何れか一つを選択する。本実施例では、使用者が三ヵ国語の字幕から所望のものを選択できることになる。ここで選択されたテキストデータは、スーパインポーザ１４０でビットマップに展開され、動画像と重畳され、表示器１４１で表示される。
【００４１】
以上説明したような構成をとることにより、使用者が複数種類の字幕の中から任意のものを選んで表示することが可能になる。
また、ここでは字幕テキストの種類を三系統としたが、勿論これに限られるものではなく、蓄積，伝送系の容量や転送能力の許す限り何系統でも入れることができる。また、とくに多国語を用意する必要もなく、同一言語で異なる内容のテキストを入れてもよいことはいうまでもない。
【００４２】
テキストをビットマップ展開して画像上にスーパインポーズする代わりに、音声合成装置でテキストを読み上げ、動画像に付随する音声とミキシングし（もしくは音声と差替え）て再生してもよい。
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【００４３】
【発明の効果】
以上説明したように、本発明によれば、受信側で動画像データにトランジションエフェクトを施すことで、フレーム間相関を利用して動画像データを圧縮符号化する際の圧縮率の低下を防ぎ、画質の劣化を防ぐことができる。
【図面の簡単な説明】
【図１】本発明にかかる第１実施例の動画像処理方法によって動画像を処理するシステムの構成例を示すブロック図である。
【図２】従来の動画像の編集手順を示すフローチャートである。
【図３】本発明にかかる第１実施例の動画像の編集手順を示すフローチャートである。
【図４】本発明にかかる第２実施例の構成例を示すブロック図である。
【図５】本発明にかかる第３実施例の構成例を示すブロック図である。
【図６Ａ】第１実施例によるフェードアウトの一例を説明する図である。
【図６Ｂ】従来例によるフェードアウトを説明する図である。
【符号の説明】
１１ 入力ポート
１２ ＣＰＵ
１５ 符号化／復号回路
１６ ディスプレイ
１７ インタフェイス
１１１ 字幕テキストデータメモリ
１１２ 動画像データメモリ
１１３ 動画像圧縮回路
１１４ マルチプレクサ
１１５ 蓄積・伝送系
１１６ デマルチプレクサ
１１７ 動画像伸長回路
１１８ 字幕スーパインポーザ
１１９ 表示器
１３１〜１３３ 字幕テキストデータメモリ
１３４ 動画像データメモリ
１３５ 動画像圧縮回路
１３６ マルチプレクサ
１３７ 蓄積，伝送系
１３８ デマルチプレクサ
１３９ 動画像伸長回路
１４０ 字幕スーパインポーザ
１４１ 表示器
１４２ 切替スイッチ
【産業上の利用分野】
本発明は動画像処理装置およびその方法に関し、とくに動画像に対してトランジションエフェクトなどの編集を施す動画像処理に関する。
【０００２】
【従来の技術】
従来、ディジタル動画像データを編集，圧縮，伝送する場合は、動画像データを編集した後、加工済の動画像データを圧縮するのが一般的であった。ここで編集とは、例えば文字や図形などを動画像上にスーパインポーズしたり、次に説明するトランジションエフェクトなどを動画像に施すことである。
【０００３】
トランジションエフェクトとは、例えば時間的に連続する二つの動画像シーケンスを滑らかに接続するために、時間的に前方にある動画像をフェードアウトしながら、時間的に後方にある動画像をフェードインする処理のことである。この場合、遷移期間に指定した範囲においては、二つの動画像シーケンスが重なり合った特殊な状態の画像が現れることになる。
【０００４】
こうして得られた編集済の動画像データは、種々提案されている動画像符号化方式により符号化されて、通信回線を通じて受信側へ伝送される。受信側では、受信した符号データを復号して表示する。
図２は従来の動画像編集手順を示すフローチャートで、同図（ａ）は送信側端末の手順を、同図（ｂ）は受信端末の手順をそれぞれ示す。
【０００５】
同図（ａ）において、送信側端末は、ステップＳ１で、動画像データを入力してメモリに記憶する。
続いて、送信側端末は、ステップＳ２でトランジションエフェクトなどの効果の指定を受付け、ステップＳ３で、ステップＳ２で受付けた指定に基づいて、メモリに記憶した画像データを編集する。
【０００６】
次に、同図（ｂ）において、受信側端末は、ステップＳ６で符号データを受信する。
続いて、受信側端末は、ステップＳ７で、受信した符号データを復号して、復号して得た動画像データをメモリに記憶する。
続いて、受信側端末は、ステップＳ８でディスプレイに動画像を表示する。
【０００７】
【発明が解決しようとする課題】
しかし、上記従来例においては、次のような問題があった。すなわち、上記従来例はトランジションエフェクトなどを施した編集済の画像データを符号化するが、隣接するフレームの相関を利用して圧縮を行う既存の動画像符号化方式は、トランジションエフェクトなどが施された特殊な画像データを圧縮すると、フレームの相関が崩れて効率的な圧縮が困難であった。
【０００８】
また、一部の動画像符号化方式では、高圧縮率を実現するために、フレームレートを秒間10コマ程度に間引いて符号化し、伝送することがあるが、低フレームレートの動画像では、滑らかなトランジションエフェクトの実現が困難であり、画像の遷移がぎくしゃくする欠点があった。
【０００９】
本発明は、上述の問題を解決するためのもので、フレーム間相関を利用して動画像データを圧縮符号化する際の圧縮率の低下を防ぎ、画質の劣化を防ぐことを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１１】
本発明は、トランジションエフェクトが施されていない動画像データをフレーム間相関を利用して圧縮符号化した動画像符号化データ、および、前記動画像データに施すトランジションエフェクトを指示するコマンドデータを外部装置から受信し、受信された前記動画像符号化データを復号し、受信された前記コマンドデータに基づくトランジションエフェクトを、復号された動画像データに施し、前記トランジションエフェクトが施された動画像データを出力することを特徴とする。
【００１２】
【実施例】
以下、本発明にかかる一実施例の動画像処理装置を図面を参照して詳細に説明する。
【００１３】
【第1実施例】
図1は、本発明にかかる第1実施例の動画像処理方法によって動画像を処理するシステムの構成例を示すブロック図である。同図の動画像伝送システムは、通信回線によって結合された複数の端末a1、端末b2、端末c3、…によって構成され、端末a1は次のような構成を備えている。
【００１４】
１１は入力ポートで、動画像データをビデオカメラなどの画像入力装置１９より取込む。
１２はＣＰＵであり、ＲＯＭ１４に記憶された制御プログラムに従って、画像データの処理、および、バス１８を介した端末１ａ全体の制御を実行する。また、ＣＰＵ１２は、ＲＡＭ１３の所定の領域へアクセスすることにより、ＲＡＭ１３に記憶された動画像データの任意フレームの任意座標における画素値を読出すことができる。
【００１５】
１５は符号化／復号回路、１６はディスプレイであり、１７はインタフェイスで、通信回線１０１との間のデータ通信を仲介する。
なお、上記の構成部は、バス１８によって相互に接続されている。
また、他端末ｂ２，端末ｃ３，…も端末ａ１と略同様の構成を備えている。
図３は本実施例の動画像編集手順の一例を示すフローチャートで、同図（ａ）は送信側端末の手順を、同図（ｂ）は受信側端末の手順をそれぞれ示す。
【００１６】
同図（ａ）において、本実施例の送信側端末は、ステップＳ１１で、入力ポート１１を介して、動画像データをＲＡＭ１３へ読込む。
続いて、送信側端末は、ステップＳ１２で、スーパインポーズやトランジションエフェクト（フェードアウト，ワイプ等）などの複数の効果の指定を受付ける。
【００１７】
続いて、送信側端末は、ステップＳ１３で、インタフェイス１７を介して、ステップＳ１２で受付けた効果指定データ（コマンドデータ）を通信回線１０１へ送出する。
続いて、送信端末は、ステップＳ１４で動画像データを符号化／復号回路１５で符号化し、ステップＳ１５で、インタフェイス１７を介して、符号データを通信回線１０１へ送出する。なお、動画像データは予め符号化しておき、効果指定データを付加して通信回線１０１に送出するようにしてもよい。
【００１８】
すなわち、本実施例においては、効果指定データと、符号化した未編集の動画像データとを送出する。
次に、図３（ｂ）において、受信側端末は、ステップＳ１６で、インタフェイス１７によって効果指定データを受信して、ＲＡＭ１３に記憶する。
続いて、受信端末は、ステップＳ１７で、インタフェイス１７によって動画像データの符号データを受信して、ＲＡＭ１３に記憶する。
【００１９】
続いて、受信側端末は、ステップＳ１８で、符号化／復号回路１５によって、ＲＡＭ１３に記憶した符号データを復号して、復号して得た動画像データをＲＡＭ１３に記憶する。
続いて、受信側端末は、ステップＳ１９で、ＲＡＭ１３に記憶した効果指定データに基づいて、ＲＡＭ１３に記憶した動画像データを編集する。
【００２０】
編集は例えば以下のように行われる。
今、受信した動画像のレートが毎秒５コマで、ディスプレイ１６の表示可能なレートが毎秒２０コマであるとする。このとき、フェードアウトを行うコマンドを受信した場合には、毎秒５コマの動画像のフレーム間を補間し、毎秒２０コマの動画像データを作成した後に、フェードアウトの処理を行う（図６Ａ参照）。ここで、補間処理としては、最も簡単なものとして、単純に同一画面を４コマ分繰返すことが考えられる。
【００２１】
なお、従来方式によれば、図６Ｂのような表示画像になる。
また、フェードアウトの他にも例えば、ワイプなどのトランジションエフェクトも上述と同様の方法で行うことができる。
続いて、受信側端末は、ステップＳ２０でディスプレイ１６に動画像を表示する。
【００２２】
すなわち、本実施例は、受信側端末において、効果指定データおよび動画像データを受信した後、該符号データを復号して得た動画像データを、該効果指定データに基づいて編集する。
上記従来例においては、例えば、動画像上へ文字などをスーパインポーズしようとすると、線画データ（すなわち文字）が重畳された画像データを符号化することになり、主として自然画像の圧縮を目的とした公知の動画像符号化方式（例えばＭＰＥＧの符号化方式）では、画質を良くしようとすると効率よく圧縮できずに符号データの増大を招く一方、圧縮率を高くしようとすると文字が判読困難になるなどの著しい画質劣化を生じていた。また、従来例においては、秒間１０コマ程度の低フレームレートで動画像データを伝送する場合に、動画像のフェードアウトを行うと、フェードアウトする画像の変化も低フレームレートで表現するほかなく、ぎくしゃくしたぎこちない効果しか得られなかった。
【００２３】
一方、本実施例によれば、文字のスーパインポーズは、受信側端末において、画像表示の直前に行われるので、圧縮効率の低下を招くことはなく、さらに画質劣化も生じない。また、本実施例によれば、動画像のフェードアウトを行う場合に、受信側端末において、上述の補間処理を行うことにより、フェードアウトする画像の変化部分のみ、他の部分よりもフレームレートを挙げることが容易にできるので、画像データの伝送効率を劣化させずに、滑らかなフェードアウトを得ることができる。
【００２４】
なお、上述の説明および図においては、符号化／復号回路１５によって、動画像の符号化／復号を行う例を説明したが、本実施例はこれに限定されるものではなく、例えば、ＣＰＵ１２によって、動画像の符号化／復号をソフトウェア処理によって実現してもよい。この場合、処理速度は低下するが、端末のコストを低減できる。
【００２５】
また、上述の説明および図においては、入力ポート１１によって入力した動画像データ、またはインタフェイス１７によって受信した符号データを、そのままＲＡＭ１３に記憶する例を説明したが、本実施例はこれに限定されるものではなく、例えば、充分に高速な符号化／復号回路を備えて、動画像データを入力しながらリアルタイムで符号化し、あるいは符号データを受信しながらリアルタイムで復号して、ＲＡＭ１３に記憶してもよい。この場合、処理速度を向上できるほか、前者の場合にはＲＡＭ１３のメモリ容量を低減することができる。
【００２６】
また、上述の説明および図においては、データの記憶にＲＡＭを用いる例を説明したが、本実施例はこれに限定されるものではなく、例えば、高速な処理を要求されない場合には、ハードディスクなどの外部記憶装置を用いてもよい。この場合、データ量の大きな動画像データを、低コストで処理することができる。
以上説明したように、本実施例によれば、受信端末で動画像データを編集することによって、符号化／復号による圧縮効率の低下や画質の劣化を招くことなく、高品位な動画像伝送を実現できる。
【００２７】
なお、本実施例の端末は、複数の機器から構成されるシステム、例えばビデオカメラ，ホストコンピュータなどのシステムであってもよく、また、一つの機器からなる装置、例えば動画像を記憶したホストコンピュータであってもよい。
また。本実施例の処理は、システムあるいは装置へ、媒体に記憶されたプログラムを供給することによって実現してもよい。
【００２８】
以上、本発明の第１実施例によれば、動画像データの編集情報を伝送し、該動画像データを符号化して効率よく伝送する動画像処理方法を提供できる。
また、本発明の第１実施例によれば、受信した編集情報に基づいて、受信した符号データを復号して得た動画像データを編集する動画像処理方法を提供できる。
【００２９】
【第２実施例】
本実施例は、上述した第１実施例の動画像処理方法を、例えば映画の字幕や動画像付きカラオケの歌詞など、動画像に同期してテキストを画像上にスーパインポーズする技術に応用したものである。
本実施例では、動画像データと字幕などのテキストデータを別々に保持し、再生時に字幕などのテキストをビットマップに展開して画像上にスーパインポーズすることにより、字幕などのテキストを挿入したことに起因する画像圧縮／伸長時の画質劣化を防ぐと同時に、上述のような操作性の問題を解決している。
【００３０】
以下、図面を参照しながら、本発明にかかる第２実施例を詳細に説明する。
図４は本実施例における動画像処理システムの構成図である。１１１は字幕テキストデータを記憶する字幕テキストデータメモリ、１１２は動画像データを記憶する動画像データメモリ、１１３は動画像圧縮回路、１１４はマルチプレクサ、１１５は蓄積・伝送系、１１６はデマルチプレクサ、１１７は動画像伸長回路、１１８は字幕スーパインポーザ、１１９は表示器、１２０および１２１は信号線である。
【００３１】
動画像データメモリ１１２に蓄積された動画像データは、動画像圧縮回路１１３で圧縮され、字幕テキストデータメモリ１１１に蓄積されたテキストデータと、マルチプレクサ１１４で合成され、蓄積・伝送系１１５に送られる。ここで、蓄積・伝送系とは、テープやＣＤ−ＲＯＭなどのパッケージメディアや、ＩＳＤＮ，ＴＶ放送などの通信系であり、これらを通じてデータが使用者のもとに届けられる。
【００３２】
使用者が受け取ったデータは、デマルチプレクサ116により、圧縮画像データとテキストデータに分離される。画像データは信号線120を通して動画像伸長回路117に送られる。テキストデータは、信号線121を通して字幕スーパインポーザ118に送られ、ここでビットマップテキスト画像に展開され、動画像伸長回路117で伸長された動画像へ重畳される。こうして得られた字幕付き動画像が表示器119により表示される。
【００３３】
なお、表示器の代わりに画像形成装置（レーザビームプリンタ等）を用いて、動画像をフレーム毎にハードコピーしてもよく、本実施例で注目すべきは、字幕スーパインポーザが使用者側にあるということである。そして、操作パネル１２２により、使用者が字幕の表示／非表示，表示色，表示位置，文字の大きさなどを設定し、その設定に基づき制御回路１２３は、字幕スーパインポーザ１１８によるスーパインポーズを制御する。
【００３４】
上述の従来の伝送方法では、字幕スーパインポーザは送信側（動画像の制作者側）にあるため、字幕は固定位置に常に表示され続けていた。これに対して本実施例によれば、ユーザが字幕スーパインポーザに指示を与えることにより、字幕の表示／非表示，表示色，表示位置，文字の大きさなどを自由に設定でき、操作性を大幅に改善できる。また、本実施例によれば、上述のような画質と圧縮効率の関係も良好にすることができる。
【００３５】
また、図４に示した動画像圧縮回路１１３としては、国際標準の動画像圧縮方式であるＭＰＥＧのエンコーダを用いることができる。ＭＰＥＧのビットストリームには「ユーザデータ領域」が規定されており、ＭＰＥＧに準拠した上で一ピクチャごとに任意のデータを書込むことができるため、マルチプレクサ１１４では、この「ユーザデータ領域」にテキストデータを書込むという動作を行う。デマルチプレクサ１１６では、ＭＰＥＧビットストリームの「ユーザデータ領域」からテキストデータを読出して字幕スーパインポーザ１１８に送る。動画像伸長回路１１７にはＭＰＥＧデコーダを用いる。
【００３６】
本実施例によれば、標準的な動画像圧縮方式であるＭＰＥＧに準拠した符号データを生成できるという利点がある。
本実施例で説明した再生系ではなく、通常のＭＰＥＧデコーダで再生した場合は、ユーザデータ領域のデータが無視され、字幕が表示できなくなるだけで、動画像は正しく再生できるので、互換性は保たれる。
【００３７】
以上説明したように、本発明にかかる第２実施例によれば、画像にテキストがスーパインポーズされることに起因する画質劣化を回避することができ、また使用者が字幕の表示方法を任意に選択できるようになる。
【００３８】
【第３実施例】
以下、図面を参照しながら、本発明にかかる第３実施例を詳細に説明する。
図５は本実施例における動画像処理システムの構成図である。
１３１，１３２，１３３はそれぞれ字幕テキストデータを記憶する字幕テキストデータメモリ、１３４は動画像データメモリ、１３５は動画像圧縮回路、１３６はマルチプレクサ、１３７は蓄積，伝送系、１３８はデマルチプレクサ、１３９は動画像伸長回路、１４０は字幕スーパインポーザ、１４１は表示器、１４２は切替スイッチである。
【００３９】
字幕テキストデータメモリ１３１，１３２，１３３には、それぞれ異なる種類のテキストデータが入っている。例えば、第１字幕テキストデータメモリ１３１には日本語字幕、第２字幕テキストデータメモリ１３２には英語字幕、第３字幕テキストデータメモリ１３３には中国語字幕が入っているものとする。これら、三種類のテキストデータが、動画像データメモリ１３４から動画像圧縮回路１３５を経て圧縮された画像データと、マルチプレクサ１３６で重畳されて、蓄積，伝送系１３７に送られる。
【００４０】
受信側でデータは、デマルチプレクサ１３８を通り、圧縮画像データと三種類のテキストデータに分離される。圧縮画像データは動画像伸長回路１３９で伸長され、字幕スーパインポーザ１６０に送られる。スイッチ１４２は、テキストデータの何れか一つを選択する。本実施例では、使用者が三ヵ国語の字幕から所望のものを選択できることになる。ここで選択されたテキストデータは、スーパインポーザ１４０でビットマップに展開され、動画像と重畳され、表示器１４１で表示される。
【００４１】
以上説明したような構成をとることにより、使用者が複数種類の字幕の中から任意のものを選んで表示することが可能になる。
また、ここでは字幕テキストの種類を三系統としたが、勿論これに限られるものではなく、蓄積，伝送系の容量や転送能力の許す限り何系統でも入れることができる。また、とくに多国語を用意する必要もなく、同一言語で異なる内容のテキストを入れてもよいことはいうまでもない。
【００４２】
テキストをビットマップ展開して画像上にスーパインポーズする代わりに、音声合成装置でテキストを読み上げ、動画像に付随する音声とミキシングし（もしくは音声と差替え）て再生してもよい。
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【００４３】
【発明の効果】
以上説明したように、本発明によれば、受信側で動画像データにトランジションエフェクトを施すことで、フレーム間相関を利用して動画像データを圧縮符号化する際の圧縮率の低下を防ぎ、画質の劣化を防ぐことができる。
【図面の簡単な説明】
【図１】本発明にかかる第１実施例の動画像処理方法によって動画像を処理するシステムの構成例を示すブロック図である。
【図２】従来の動画像の編集手順を示すフローチャートである。
【図３】本発明にかかる第１実施例の動画像の編集手順を示すフローチャートである。
【図４】本発明にかかる第２実施例の構成例を示すブロック図である。
【図５】本発明にかかる第３実施例の構成例を示すブロック図である。
【図６Ａ】第１実施例によるフェードアウトの一例を説明する図である。
【図６Ｂ】従来例によるフェードアウトを説明する図である。
【符号の説明】
１１ 入力ポート
１２ ＣＰＵ
１５ 符号化／復号回路
１６ ディスプレイ
１７ インタフェイス
１１１ 字幕テキストデータメモリ
１１２ 動画像データメモリ
１１３ 動画像圧縮回路
１１４ マルチプレクサ
１１５ 蓄積・伝送系
１１６ デマルチプレクサ
１１７ 動画像伸長回路
１１８ 字幕スーパインポーザ
１１９ 表示器
１３１〜１３３ 字幕テキストデータメモリ
１３４ 動画像データメモリ
１３５ 動画像圧縮回路
１３６ マルチプレクサ
１３７ 蓄積，伝送系
１３８ デマルチプレクサ
１３９ 動画像伸長回路
１４０ 字幕スーパインポーザ
１４１ 表示器
１４２ 切替スイッチ
Claims (2)
- トランジションエフェクトが施されていない動画像データをフレーム間相関を利用して圧縮符号化した動画像符号化データ、および、前記動画像データに施すトランジションエフェクトを指示するコマンドデータを外部装置から受信する受信手段と、
前記受信手段により受信された前記動画像符号化データを復号する復号手段と、
前記受信手段により受信された前記コマンドデータに基づくトランジションエフェクトを、前記復号手段により復号された動画像データに施す編集手段と、
前記トランジションエフェクトが施された動画像データを出力する出力手段とを有することを特徴とする動画像処理装置。 - トランジションエフェクトが施されていない動画像データをフレーム間相関を利用して圧縮符号化した動画像符号化データ、および、前記動画像データに施すトランジションエフェクトを指示するコマンドデータを外部装置から受信し、
受信された前記動画像符号化データを復号し、
受信された前記コマンドデータに基づくトランジションエフェクトを、復号された動画像データに施し、
前記トランジションエフェクトが施された動画像データを出力することを特徴とする動画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27402893A JP3595563B2 (ja) | 1992-11-05 | 1993-11-02 | 動画像処理方法および装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4-295602 | 1992-11-05 | ||
| JP29560292 | 1992-11-05 | ||
| JP27402893A JP3595563B2 (ja) | 1992-11-05 | 1993-11-02 | 動画像処理方法および装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004117055A Division JP2004266850A (ja) | 1992-11-05 | 2004-04-12 | 動画像処理装置およびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06225219A JPH06225219A (ja) | 1994-08-12 |
| JP3595563B2 true JP3595563B2 (ja) | 2004-12-02 |
Family
ID=26550868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27402893A Expired - Fee Related JP3595563B2 (ja) | 1992-11-05 | 1993-11-02 | 動画像処理方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3595563B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1018840A3 (en) | 1998-12-08 | 2005-12-21 | Canon Kabushiki Kaisha | Digital receiving apparatus and method |
| JP2003087326A (ja) * | 2001-09-07 | 2003-03-20 | Canon Inc | 通信装置、通信方法、プログラム及び記憶媒体 |
| US8239766B2 (en) * | 2005-09-27 | 2012-08-07 | Qualcomm Incorporated | Multimedia coding techniques for transitional effects |
-
1993
- 1993-11-02 JP JP27402893A patent/JP3595563B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06225219A (ja) | 1994-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0596732B1 (en) | Method per performing special effects in the receiver of a coded moving picture transmission system | |
| US5731847A (en) | Subtitle encoding/decoding method and apparatus | |
| US6424792B1 (en) | Subtitle encoding/decoding method and apparatus | |
| JPH11243542A (ja) | マルチメディア情報編集装置 | |
| JP2001036844A (ja) | 画質確認装置、画質確認方法及びそのプログラムを記録した記録媒体 | |
| JPH07203396A (ja) | 字幕データ復号化装置 | |
| WO2003034734A1 (fr) | Appareil video interactif et procede de superposition du sous-titre sur l'image utilisee par ledit appareil | |
| KR100327211B1 (ko) | 부영상부호화방법및장치 | |
| JP2001525635A (ja) | ディジタルビデオ映像の発生装置 | |
| JPH11252559A (ja) | 透過度符号化装置および透過度復号化装置、ならびにその方法、並びに画像データ構造、並びにデータ記録媒体 | |
| JP3595563B2 (ja) | 動画像処理方法および装置 | |
| US5771009A (en) | Method and apparatus for transmitting and receiving data | |
| JP4634410B2 (ja) | 映像再生装置，映像再生方法および字幕重畳装置 | |
| JPH0946630A (ja) | 画像情報記録装置及び画像情報再生装置及び光ディスク | |
| JP2004266850A (ja) | 動画像処理装置およびその方法 | |
| JP3094899B1 (ja) | デジタル圧縮データ部分編集方法およびその装置 | |
| JPH07250279A (ja) | 字幕データ復号化装置 | |
| JP2003199057A (ja) | 画像編集装置および方法 | |
| JP3876943B2 (ja) | ストリーム編集装置および方法、並びに、ストリーム復号装置および方法 | |
| JP3775525B2 (ja) | 復号化装置および復号化方法 | |
| JP2006319645A (ja) | 映像再生装置及び方法及びプログラム及び記憶媒体 | |
| KR100294018B1 (ko) | 엠펙시스템디코더의그래픽데이터처리방법 | |
| JP3541910B2 (ja) | 映像信号処理装置 | |
| JPH10108181A (ja) | サブピクチャ符号化装置 | |
| JP3004763B2 (ja) | 映像信号多重復号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040213 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040412 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040827 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040906 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070910 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080910 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090910 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100910 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100910 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110910 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110910 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120910 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130910 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |