JP3712275B2 - 特殊効果装置 - Google Patents
特殊効果装置 Download PDFInfo
- Publication number
- JP3712275B2 JP3712275B2 JP8040094A JP8040094A JP3712275B2 JP 3712275 B2 JP3712275 B2 JP 3712275B2 JP 8040094 A JP8040094 A JP 8040094A JP 8040094 A JP8040094 A JP 8040094A JP 3712275 B2 JP3712275 B2 JP 3712275B2
- Authority
- JP
- Japan
- Prior art keywords
- special effect
- bit stream
- audio
- moving picture
- quantization matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、動画像信号に特殊効果処理を施す特殊効果装置に関する。
【０００２】
【従来の技術】
画像データは、一般に大量であり、これをそのまま伝送すると帯域を広くとり、記録すると大きな容量が必要になる。特に、動画像は、静止画像に比べ、データ量が膨大に多いので伝送、記録の際には深刻な問題となる。
【０００３】
例えば、ＣＤ−ＲＯＭのようなディジタル記憶媒体にカラー動画像のデータを記憶させようとすると、時間にして数１０秒程度分のデータしか記憶させることができない。また、上記ディジタル記憶媒体では、読み出し速度が遅いため、リアルタイムでの動画像の再生が不可能であった。
【０００４】
このため、動画像圧縮技術が考えられてきた。動画像圧縮技術を用いれば、ＣＤ−ＲＯＭに１時間以上の動画像を蓄積でき、リアルタイムに再生することもできる。実際に、圧縮動画像データを再生するためには、動画像を伸長する処理が必要になる。この動画像伸長処理では、圧縮された動画像情報をいかに元の、すなわち圧縮される前の動画像に近付くように伸長し、きれいな動画像を出力させるかということが重要となる。
【０００５】
動画像圧縮技術としては、ＭＰＥＧ（Moving Picture Expert Group：蓄積メディア動画像符号化の国際標準化会議の通称）圧縮技術がある。このＭＰＥＧ圧縮技術は、前後の画面や、隣同士の画像の相関情報を利用して動画像を圧縮する技術である。このＭＰＥＧ圧縮技術では、動き補償（Motion Compensation：以下、ＭＣという。）と離散コサイン変換（Discrete Cosine Transform：以下、ＤＣＴという。）を基本要素としている。
【０００６】
このＭＰＥＧ圧縮技術による圧縮動画像データを復号（伸長）するには、逆量子化処理と逆ＤＣＴが行われる。この内、逆量子化は設定可能な量子化マトリックスを用いて行われる。この量子化マトリックスの重み係数は、ブロック歪や量子化ノイズが人間の目に感知できないように適切な値に設定されている。これは、人間の目が斜め方向の感度が鈍い等、方向に無関係に均一でなく、方向性を持つ等人間の視覚特性に基づいて設定されている。
【０００７】
ここで、従来、人間の視覚特性や聴覚特性を利用して、該人間の感性を快く酔わせるような映像、音声がビデオテープや、ビデオディスクのようなソフトウェアで供給されていた。
【０００８】
【発明が解決しようとする課題】
ところで、従来、人間の感性を快く酔わせるような映像、音声をリアルタイムで作り出すようなハードウェア、例えば特殊効果装置はなかった。
【０００９】
また、上述したＭＰＥＧのような動画像圧縮技術を人間の感性を快く酔わせる映像、音声の作成に用いることが考えられなかった。
【００１０】
本発明は、上記実情に鑑みてなされたものであり、入力された映像、音声を人間の感性を快く酔わせるような映像、音声にリアルタイムに変換することのできる特殊効果装置の提供を目的とする。
【００１１】
【課題を解決するための手段】
本発明に係る特殊効果装置は、入力されるシステムビットストリーム内の動画像ビットストリームを伸長すると共に特殊効果を付与する動画像復号手段と、上記システムビットストリーム内のオーディオビットストリームを伸長しオーディオ信号を出力するオーディオ復号手段と、上記オーディオ復号手段から出力される上記オーディオ信号の振幅を検知する振幅検知手段と、上記動画像ビットストリーム中のシーケンスヘッダが検知され、かつ特殊効果が選択されたときに、特殊効果用の量子化マトリクスを上記動画像復号手段に供給して上記動画像復号手段により上記動画像ビットストリームの伸長処理をする際に特殊効果を付与させ、さらに、上記オーディオ信号の振幅に基づいて上記特殊効果の付与された画像の拡大／縮小をリアルタイム制御する制御手段とを備える。
【００１２】
この特殊効果装置にあって、上記制御手段は、上記振幅検知手段から供給される上記オーディオ信号の振幅に基づいて、上記動画像復号手段により伸長された動画像信号を拡大又は縮小処理する。
【００１３】
また、上記特殊効果装置にあって、上記動画像ビットストリームは第１の量子化マトリクスにより量子化されており、上記制御手段は、上記動画像復号手段に上記第１の量子化マトリクスとは異なる第２の量子化マトリクスを供給し、上記動画像復号手段は、上記第２の量子化マトリクスに基づいて上記動画像ビットストリームを逆量子化することにより、上記動画像ビットストリームを伸長すると共に特殊効果を付与する。
【００１６】
【作用】
振幅検知手段はオーディオ復号手段から出力されるオーディオ信号の振幅を検知する。制御手段は動画像ビットストリーム中のシーケンスヘッダが検知された場合、振幅検知手段から供給される、シーケンスヘッダを含むシステムビットストリーム内の上記オーディオ信号の振幅に基づいて動画像復号手段により付与される上記特殊効果をリアルタイム制御する。
【００１７】
【実施例】
以下、本発明に係る特殊効果装置の実施例を図面を参照しながら説明する。
本実施例は、動画像圧縮技術であるＭＰＥＧ（Moving Picture Expert Group：蓄積メディア動画像符号化の国際標準化会議の通称）圧縮技術、例えばＭＰＥＧ１規格により圧縮された動画像信号及びオーディオ信号を伸長する際に、人間の視覚特性や聴覚特性を利用して、該人間の感性を快く酔わせるような映像、音声を提供する特殊効果装置である。
【００１８】
この特殊効果装置は、図１に示すように、コンパクトディスク−ロム（以下、ＣＤ−ＲＯＭという。）、ハードディスクドライブ（以下、ＨＤＤという。）及びＭＯディスク等のディジタル蓄積媒体、ディジタル衛星放送及びケーブルテレビジョン（以下、ＣＡＴＶという。）等のディジタル通信媒体であるディジタル媒体部１から供給されるＭＰＥＧ圧縮データであるシステム符号列（以下、システムビットストリームという。）を伸長処理すると共に、該伸長処理動作に変更を加え特殊効果処理を行わせる復号化部２と、この復号化部２の特殊効果処理を制御する制御部３と、復号化部２の復号化出力に出力変換処理を施す出力変換部４とを有してなり、テレビジョンモニタやステレオ等の出力装置５に特殊効果処理の施された動画像とオーディオを出力させる。
【００１９】
復号化部２は、上記システムビットストリームを伸長処理する際に、該伸長処理動作に変更を加え、人間の感性を快く酔わせるような特殊効果処理を施す。この特殊効果処理は、人間の視覚特性や聴覚特性を利用したものである。
【００２０】
復号化部２、制御部３及び出力変換部４の詳細な構成を図２に示す。
図２において、入力端子６を介して上記図１のディジタル媒体部１から供給されるシステムビットストリームは、ビットストリーム分割器７により動画像ビットストリームとオーディオビットストリームに分割される。動画像ビットストリームは、動画像復号器８に供給される。また、オーディオビットストリームは、オーディオ復号器１３に供給される。ここで、ビットストリーム分割器７、動画像復号器８及びオーディオ復号器１３は、図１に示した復号化部２を構成している。
【００２１】
動画像復号器８は動画像ビットストリームを伸長処理するが、その際、量子化マトリックス供給部１１により伸長処理に変更を加えられる。また、動画像復号器８は拡大縮小制御部１２により特殊効果処理が施された動画像の拡大、縮小が制御される。この拡大縮小制御部１２は、オーディオ復号器１３で復号されたオーディオ信号の振幅を検知する振幅検知器１４の検知する振幅出力に応じて、拡大、縮小をリアルタイムに制御している。この拡大縮小制御部１２の制御は、振幅検知器１４で検知されたオーディオ信号の振幅が、例えば大きいときに画像を拡大し、検知されたオーディオ信号の振幅が、例えば小さいときに画像を縮小する。なお、この動画像復号器８での伸長処理に変更を加える量子化マトリックス供給部１１と、拡大縮小制御部１２の詳細な動作については後述する。
【００２２】
そして、動画像復号器８の出力は、画像出力変換器９及び出力端子１０を介して出力装置５に供給される。この場合、オーディオ信号が例えばポップスやロックなどリズムの軽快な音楽であると、振幅の変化がリズムの変化にほぼ合うので、オーディオと映像の一体感が出て、聞いている人に快い感じを一層与えることができる。
【００２３】
また、振幅検知器１４を介したオーディオ復号器１３からのオーディオ信号は、音声フィルタ１５により、例えば、倍音成分が足されたり、音が歪ませられたり、音程が変化されたり、残響効果が付加されたりし、音声出力変換器１６及び出力端子１７を介して出力装置５に供給される。
【００２４】
ここで、量子化マトリックス供給部１１、拡大縮小制御部１２、振幅検知器１４及び音声フィルタ１５は、図１に示した制御部３を構成している。また、画像出力変換器９及び音声出力変換器１６は、図１に示した出力変換部４を構成している。
【００２５】
次に、量子化マトリックス供給部１１と拡大縮小制御部１２の詳細な動作について説明する。この量子化マトリックス供給部１１と拡大縮小制御部１２は、動画像復号器８の伸長処理動作を変更させる特殊効果処理を直接的に制御する特殊効果処理制御部１８であるということができる。以下、この特殊効果処理制御部１８について図３を参照しながら説明する。
【００２６】
この図３は、図２に示したビットストリーム分割部７と量子化マトリックス供給部１１と拡大縮小制御部１２とをマイクロコンピュータ（以下、マイコンという。）１４としてまとめた構成を示すと共に、図２に示した動画像復号器８とオーディオ復号器１３との詳細な構成を示した図である。
【００２７】
この図３において、入力端子６を介したシステムビットストリームは、ビットストリーム分割器７に供給され、動画像ビットストリームとオーディオビットストリームに分割される。
【００２８】
動画像ビットストリームは、動画像復号器８の受信バッファ２１、可変調復号化回路２２、逆量子化回路２３及び逆ＤＣＴ回路２４にて所定の処理を施される内に伸長される。このとき、逆量子化回路２３には、図４のフローチャートに示すような手順でマイコン２０の量子化マトリックス供給部１１から所定の量子化マトリックスが供給される。
【００２９】
すなわち、動画像ビットストリーム中のシーケンスヘッダがサブルーチン中のステップＳ１に示すように検知されると、量子化マトリックス供給部１１は、所定の量子化マトリックスを逆量子化回路２３に供給しなければならない。所定の量子化マトリックスとは、２つの量子化マトリックスを示すものであり、特殊効果用の量子化マトリックスと、通常用の量子化マトリックスである。これらの２つの量子化マトリックスは、特殊効果処理をさせるか否かというステップＳ２での判定に応じて選択される。
【００３０】
すなわち、使用者により特殊効果が選択されず、通常の再生が選択されたときには、ステップＳ３に進み、切換スイッチ１９の選択端子ａは、被選択端子ｂに接続され、通常処理用の量子化マトリックスが逆量子化回路２３に供給される。一方、使用者により特殊効果が選択されたときには、ステップＳ４に進み、切換スイッチ１９の選択端子ａは、被選択端子ｃに接続され、特殊効果処理用の量子化マトリックスが逆量子化回路２３に供給される。
【００３１】
ここで、特殊効果処理用の量子化マトリクスは、例えばブロック状の歪を積極的に利用するものであれば、直流成分付近（低周波成分）のマトリックス上の重み係数を小さくすればよい。すると、後述するフレームメモリ２６には、例えばモザイク状の画像が格納される。
【００３２】
逆ＤＣＴ回路２４の出力は、加算器２５に供給される。この加算器２５には、フレームメモリ２６に格納された画像データを基に動き補償を行う動き補償回路２７の出力データも供給されている。したがって、逆ＤＣＴ回路２４の出力には、動き補償が施される。ここで、フレームメモリ２６には、拡大縮小制御部１２からの制御信号が供給されている。
【００３３】
拡大縮小制御部１２は、振幅検知器１４で検知されたオーディオ信号の振幅値のレベルに応じて、フレームメモリ２６に一時的に格納された画像データの拡大又は縮小を制御する。
【００３４】
以下に、オーディオ信号の振幅レベルに応じて動画像を拡大したり縮小したりする拡大縮小制御部１２の動作を説明する。
【００３５】
先ず、オーディオビットストリームは、オーディオ復号器１３の受信バッファ３１、ビットストリーム展開部３２、逆量子化回路３３及びサブバンド合成フィルタ３４にて所定の処理を施される内に伸長される。伸長されたオーディオ信号は、振幅検知器１４に取り込まれ、振幅の大きさ（振幅レベル）が検知される。
【００３６】
振幅検知器１４の検知出力である振幅レベルは、拡大縮小制御部１２に供給される。この拡大縮小制御部１２は、例えば図５のフローチャートに示すような手順でフレームメモリ２６に一時的に格納される画像データをオーディオ信号の振幅レベルに応じて拡大したり縮小したりする。
【００３７】
すなわち、振幅検知器１４にてサブルーチン中のステップＳ１１に示すように、オーディオ信号の振幅レベルが検知されると、拡大縮小制御部１２は、その振幅レベル値を予め決められた標準的な振幅レベル値とステップＳ１２で示すように比較する。この比較にて、振幅検知器１４の振幅レベルが標準的な振幅レベル値より大きいと判定すると、ステップＳ１３に示すように拡大縮小制御部１２は、フレームメモリ２６に一時的に格納された画像データを拡大する。一方、ステップＳ１２での比較にて、振幅検知器１４の振幅レベルが標準的な振幅レベル値より大きくないと判定すると、ステップＳ１４に示すように拡大縮小制御部１２は、フレームメモリ２６に一時的に格納された画像データを縮小する。
【００３８】
このようにして、動画像復号器８は、量子化マトリックス供給部１１及び拡大縮小制御部１２からなる特殊効果処理制御部１８により特殊効果処理が制御される。そして、フレームメモリ２６から出力された、例えば特殊効果処理の施された動画像データは、表示バッファ２８、画像出力変換器である画像Ｄ／Ａ９及び出力端子１０を介して図１の出力装置５に供給される。また、オーディオデータは、音声フィルタ１５、音声出力変換器である音声Ｄ／Ａ１６及び出力端子１７を介して図１の出力装置５に供給される。
【００３９】
したがって、この実施例の特殊効果装置は、動画像復号器８が動画像ビットストリームを伸長処理する際に、量子化マトリックス供給部１１と拡大縮小制御部１２が特殊効果処理を制御するので、入力された映像、音声を人間の感性を快く酔わせるような映像、音声にリアルタイムに変換できる。すなわち、従来には、ソフトとしてしか存在しなかった人間の感性を快く酔わせるような特殊効果処理の施された映像及びオーディオをハードウェアを用いてリアルタイムに作り出すことができるようになった。
【００４０】
なお、本発明に係る特殊効果装置は、上記実施例にのみ限定されるものではなく、例えば、量子化マトリックスにある決まった重み係数を割り当てたり、オーディオの場合でも、伸長段階において、逆量子化やサブバンド合成フィルタで本来と異なるデータで伸長させたりすることなどが考えられる。また、オーディオは通常音声、動画像は特殊画像にしたり、その逆を行ってもよい。また、拡大縮小制御を用いて動画像をスペアナ的に利用するというような種々の変形も考えられる。さらに、量子化マトリックス供給部から何も出さないようにしてもよい。
【００４１】
【発明の効果】
本発明に係る特殊効果装置は、動画像ビットストリーム中のシーケンスヘッダが検知された場合、振幅検知手段から供給される、シーケンスヘッダを含むシステムビットストリーム内のオーディオ信号の振幅に基づいて動画像復号手段により付与される特殊効果をリアルタイム制御するので、入力された映像、音声をもとに人間の感性を快く酔わせるような映像をリアルタイムに作り出すことができる。
【図面の簡単な説明】
【図１】本発明の実施例の特殊効果装置の概略構成を示すブロック図である。
【図２】図１に示した特殊効果装置の復号化部、制御部及び出力変換部の詳細な構成を示すブロック図である。
【図３】 図２に示したビットストリーム分割部と量子化マトリックス供給部と拡大縮小制御部とをマイクロコンピュータとしてまとめた構成を示すと共に、動画像復号器とオーディオ復号器との詳細な構成を示したブロック図である。
【図４】図３に示した量子化マトリックス供給部の動作を説明するためのフローチャートである。
【図５】図３に示した拡大縮小制御部の動作を説明するためのフローチャートである。
【符号の説明】
１ ディジタル媒体部
２ 復号化部
３ 制御部
４ 出力変換部
５ 出力装置
７ ビットストリーム分割器
８ 動画像復号器
９ 画像出力変換器
１１ 量子化マトリックス供給部
１２ 拡大縮小制御部
１３ オーディオ復号器
１４ 振幅検知器
１５ 音声フィルタ
【産業上の利用分野】
本発明は、動画像信号に特殊効果処理を施す特殊効果装置に関する。
【０００２】
【従来の技術】
画像データは、一般に大量であり、これをそのまま伝送すると帯域を広くとり、記録すると大きな容量が必要になる。特に、動画像は、静止画像に比べ、データ量が膨大に多いので伝送、記録の際には深刻な問題となる。
【０００３】
例えば、ＣＤ−ＲＯＭのようなディジタル記憶媒体にカラー動画像のデータを記憶させようとすると、時間にして数１０秒程度分のデータしか記憶させることができない。また、上記ディジタル記憶媒体では、読み出し速度が遅いため、リアルタイムでの動画像の再生が不可能であった。
【０００４】
このため、動画像圧縮技術が考えられてきた。動画像圧縮技術を用いれば、ＣＤ−ＲＯＭに１時間以上の動画像を蓄積でき、リアルタイムに再生することもできる。実際に、圧縮動画像データを再生するためには、動画像を伸長する処理が必要になる。この動画像伸長処理では、圧縮された動画像情報をいかに元の、すなわち圧縮される前の動画像に近付くように伸長し、きれいな動画像を出力させるかということが重要となる。
【０００５】
動画像圧縮技術としては、ＭＰＥＧ（Moving Picture Expert Group：蓄積メディア動画像符号化の国際標準化会議の通称）圧縮技術がある。このＭＰＥＧ圧縮技術は、前後の画面や、隣同士の画像の相関情報を利用して動画像を圧縮する技術である。このＭＰＥＧ圧縮技術では、動き補償（Motion Compensation：以下、ＭＣという。）と離散コサイン変換（Discrete Cosine Transform：以下、ＤＣＴという。）を基本要素としている。
【０００６】
このＭＰＥＧ圧縮技術による圧縮動画像データを復号（伸長）するには、逆量子化処理と逆ＤＣＴが行われる。この内、逆量子化は設定可能な量子化マトリックスを用いて行われる。この量子化マトリックスの重み係数は、ブロック歪や量子化ノイズが人間の目に感知できないように適切な値に設定されている。これは、人間の目が斜め方向の感度が鈍い等、方向に無関係に均一でなく、方向性を持つ等人間の視覚特性に基づいて設定されている。
【０００７】
ここで、従来、人間の視覚特性や聴覚特性を利用して、該人間の感性を快く酔わせるような映像、音声がビデオテープや、ビデオディスクのようなソフトウェアで供給されていた。
【０００８】
【発明が解決しようとする課題】
ところで、従来、人間の感性を快く酔わせるような映像、音声をリアルタイムで作り出すようなハードウェア、例えば特殊効果装置はなかった。
【０００９】
また、上述したＭＰＥＧのような動画像圧縮技術を人間の感性を快く酔わせる映像、音声の作成に用いることが考えられなかった。
【００１０】
本発明は、上記実情に鑑みてなされたものであり、入力された映像、音声を人間の感性を快く酔わせるような映像、音声にリアルタイムに変換することのできる特殊効果装置の提供を目的とする。
【００１１】
【課題を解決するための手段】
本発明に係る特殊効果装置は、入力されるシステムビットストリーム内の動画像ビットストリームを伸長すると共に特殊効果を付与する動画像復号手段と、上記システムビットストリーム内のオーディオビットストリームを伸長しオーディオ信号を出力するオーディオ復号手段と、上記オーディオ復号手段から出力される上記オーディオ信号の振幅を検知する振幅検知手段と、上記動画像ビットストリーム中のシーケンスヘッダが検知され、かつ特殊効果が選択されたときに、特殊効果用の量子化マトリクスを上記動画像復号手段に供給して上記動画像復号手段により上記動画像ビットストリームの伸長処理をする際に特殊効果を付与させ、さらに、上記オーディオ信号の振幅に基づいて上記特殊効果の付与された画像の拡大／縮小をリアルタイム制御する制御手段とを備える。
【００１２】
この特殊効果装置にあって、上記制御手段は、上記振幅検知手段から供給される上記オーディオ信号の振幅に基づいて、上記動画像復号手段により伸長された動画像信号を拡大又は縮小処理する。
【００１３】
また、上記特殊効果装置にあって、上記動画像ビットストリームは第１の量子化マトリクスにより量子化されており、上記制御手段は、上記動画像復号手段に上記第１の量子化マトリクスとは異なる第２の量子化マトリクスを供給し、上記動画像復号手段は、上記第２の量子化マトリクスに基づいて上記動画像ビットストリームを逆量子化することにより、上記動画像ビットストリームを伸長すると共に特殊効果を付与する。
【００１６】
【作用】
振幅検知手段はオーディオ復号手段から出力されるオーディオ信号の振幅を検知する。制御手段は動画像ビットストリーム中のシーケンスヘッダが検知された場合、振幅検知手段から供給される、シーケンスヘッダを含むシステムビットストリーム内の上記オーディオ信号の振幅に基づいて動画像復号手段により付与される上記特殊効果をリアルタイム制御する。
【００１７】
【実施例】
以下、本発明に係る特殊効果装置の実施例を図面を参照しながら説明する。
本実施例は、動画像圧縮技術であるＭＰＥＧ（Moving Picture Expert Group：蓄積メディア動画像符号化の国際標準化会議の通称）圧縮技術、例えばＭＰＥＧ１規格により圧縮された動画像信号及びオーディオ信号を伸長する際に、人間の視覚特性や聴覚特性を利用して、該人間の感性を快く酔わせるような映像、音声を提供する特殊効果装置である。
【００１８】
この特殊効果装置は、図１に示すように、コンパクトディスク−ロム（以下、ＣＤ−ＲＯＭという。）、ハードディスクドライブ（以下、ＨＤＤという。）及びＭＯディスク等のディジタル蓄積媒体、ディジタル衛星放送及びケーブルテレビジョン（以下、ＣＡＴＶという。）等のディジタル通信媒体であるディジタル媒体部１から供給されるＭＰＥＧ圧縮データであるシステム符号列（以下、システムビットストリームという。）を伸長処理すると共に、該伸長処理動作に変更を加え特殊効果処理を行わせる復号化部２と、この復号化部２の特殊効果処理を制御する制御部３と、復号化部２の復号化出力に出力変換処理を施す出力変換部４とを有してなり、テレビジョンモニタやステレオ等の出力装置５に特殊効果処理の施された動画像とオーディオを出力させる。
【００１９】
復号化部２は、上記システムビットストリームを伸長処理する際に、該伸長処理動作に変更を加え、人間の感性を快く酔わせるような特殊効果処理を施す。この特殊効果処理は、人間の視覚特性や聴覚特性を利用したものである。
【００２０】
復号化部２、制御部３及び出力変換部４の詳細な構成を図２に示す。
図２において、入力端子６を介して上記図１のディジタル媒体部１から供給されるシステムビットストリームは、ビットストリーム分割器７により動画像ビットストリームとオーディオビットストリームに分割される。動画像ビットストリームは、動画像復号器８に供給される。また、オーディオビットストリームは、オーディオ復号器１３に供給される。ここで、ビットストリーム分割器７、動画像復号器８及びオーディオ復号器１３は、図１に示した復号化部２を構成している。
【００２１】
動画像復号器８は動画像ビットストリームを伸長処理するが、その際、量子化マトリックス供給部１１により伸長処理に変更を加えられる。また、動画像復号器８は拡大縮小制御部１２により特殊効果処理が施された動画像の拡大、縮小が制御される。この拡大縮小制御部１２は、オーディオ復号器１３で復号されたオーディオ信号の振幅を検知する振幅検知器１４の検知する振幅出力に応じて、拡大、縮小をリアルタイムに制御している。この拡大縮小制御部１２の制御は、振幅検知器１４で検知されたオーディオ信号の振幅が、例えば大きいときに画像を拡大し、検知されたオーディオ信号の振幅が、例えば小さいときに画像を縮小する。なお、この動画像復号器８での伸長処理に変更を加える量子化マトリックス供給部１１と、拡大縮小制御部１２の詳細な動作については後述する。
【００２２】
そして、動画像復号器８の出力は、画像出力変換器９及び出力端子１０を介して出力装置５に供給される。この場合、オーディオ信号が例えばポップスやロックなどリズムの軽快な音楽であると、振幅の変化がリズムの変化にほぼ合うので、オーディオと映像の一体感が出て、聞いている人に快い感じを一層与えることができる。
【００２３】
また、振幅検知器１４を介したオーディオ復号器１３からのオーディオ信号は、音声フィルタ１５により、例えば、倍音成分が足されたり、音が歪ませられたり、音程が変化されたり、残響効果が付加されたりし、音声出力変換器１６及び出力端子１７を介して出力装置５に供給される。
【００２４】
ここで、量子化マトリックス供給部１１、拡大縮小制御部１２、振幅検知器１４及び音声フィルタ１５は、図１に示した制御部３を構成している。また、画像出力変換器９及び音声出力変換器１６は、図１に示した出力変換部４を構成している。
【００２５】
次に、量子化マトリックス供給部１１と拡大縮小制御部１２の詳細な動作について説明する。この量子化マトリックス供給部１１と拡大縮小制御部１２は、動画像復号器８の伸長処理動作を変更させる特殊効果処理を直接的に制御する特殊効果処理制御部１８であるということができる。以下、この特殊効果処理制御部１８について図３を参照しながら説明する。
【００２６】
この図３は、図２に示したビットストリーム分割部７と量子化マトリックス供給部１１と拡大縮小制御部１２とをマイクロコンピュータ（以下、マイコンという。）１４としてまとめた構成を示すと共に、図２に示した動画像復号器８とオーディオ復号器１３との詳細な構成を示した図である。
【００２７】
この図３において、入力端子６を介したシステムビットストリームは、ビットストリーム分割器７に供給され、動画像ビットストリームとオーディオビットストリームに分割される。
【００２８】
動画像ビットストリームは、動画像復号器８の受信バッファ２１、可変調復号化回路２２、逆量子化回路２３及び逆ＤＣＴ回路２４にて所定の処理を施される内に伸長される。このとき、逆量子化回路２３には、図４のフローチャートに示すような手順でマイコン２０の量子化マトリックス供給部１１から所定の量子化マトリックスが供給される。
【００２９】
すなわち、動画像ビットストリーム中のシーケンスヘッダがサブルーチン中のステップＳ１に示すように検知されると、量子化マトリックス供給部１１は、所定の量子化マトリックスを逆量子化回路２３に供給しなければならない。所定の量子化マトリックスとは、２つの量子化マトリックスを示すものであり、特殊効果用の量子化マトリックスと、通常用の量子化マトリックスである。これらの２つの量子化マトリックスは、特殊効果処理をさせるか否かというステップＳ２での判定に応じて選択される。
【００３０】
すなわち、使用者により特殊効果が選択されず、通常の再生が選択されたときには、ステップＳ３に進み、切換スイッチ１９の選択端子ａは、被選択端子ｂに接続され、通常処理用の量子化マトリックスが逆量子化回路２３に供給される。一方、使用者により特殊効果が選択されたときには、ステップＳ４に進み、切換スイッチ１９の選択端子ａは、被選択端子ｃに接続され、特殊効果処理用の量子化マトリックスが逆量子化回路２３に供給される。
【００３１】
ここで、特殊効果処理用の量子化マトリクスは、例えばブロック状の歪を積極的に利用するものであれば、直流成分付近（低周波成分）のマトリックス上の重み係数を小さくすればよい。すると、後述するフレームメモリ２６には、例えばモザイク状の画像が格納される。
【００３２】
逆ＤＣＴ回路２４の出力は、加算器２５に供給される。この加算器２５には、フレームメモリ２６に格納された画像データを基に動き補償を行う動き補償回路２７の出力データも供給されている。したがって、逆ＤＣＴ回路２４の出力には、動き補償が施される。ここで、フレームメモリ２６には、拡大縮小制御部１２からの制御信号が供給されている。
【００３３】
拡大縮小制御部１２は、振幅検知器１４で検知されたオーディオ信号の振幅値のレベルに応じて、フレームメモリ２６に一時的に格納された画像データの拡大又は縮小を制御する。
【００３４】
以下に、オーディオ信号の振幅レベルに応じて動画像を拡大したり縮小したりする拡大縮小制御部１２の動作を説明する。
【００３５】
先ず、オーディオビットストリームは、オーディオ復号器１３の受信バッファ３１、ビットストリーム展開部３２、逆量子化回路３３及びサブバンド合成フィルタ３４にて所定の処理を施される内に伸長される。伸長されたオーディオ信号は、振幅検知器１４に取り込まれ、振幅の大きさ（振幅レベル）が検知される。
【００３６】
振幅検知器１４の検知出力である振幅レベルは、拡大縮小制御部１２に供給される。この拡大縮小制御部１２は、例えば図５のフローチャートに示すような手順でフレームメモリ２６に一時的に格納される画像データをオーディオ信号の振幅レベルに応じて拡大したり縮小したりする。
【００３７】
すなわち、振幅検知器１４にてサブルーチン中のステップＳ１１に示すように、オーディオ信号の振幅レベルが検知されると、拡大縮小制御部１２は、その振幅レベル値を予め決められた標準的な振幅レベル値とステップＳ１２で示すように比較する。この比較にて、振幅検知器１４の振幅レベルが標準的な振幅レベル値より大きいと判定すると、ステップＳ１３に示すように拡大縮小制御部１２は、フレームメモリ２６に一時的に格納された画像データを拡大する。一方、ステップＳ１２での比較にて、振幅検知器１４の振幅レベルが標準的な振幅レベル値より大きくないと判定すると、ステップＳ１４に示すように拡大縮小制御部１２は、フレームメモリ２６に一時的に格納された画像データを縮小する。
【００３８】
このようにして、動画像復号器８は、量子化マトリックス供給部１１及び拡大縮小制御部１２からなる特殊効果処理制御部１８により特殊効果処理が制御される。そして、フレームメモリ２６から出力された、例えば特殊効果処理の施された動画像データは、表示バッファ２８、画像出力変換器である画像Ｄ／Ａ９及び出力端子１０を介して図１の出力装置５に供給される。また、オーディオデータは、音声フィルタ１５、音声出力変換器である音声Ｄ／Ａ１６及び出力端子１７を介して図１の出力装置５に供給される。
【００３９】
したがって、この実施例の特殊効果装置は、動画像復号器８が動画像ビットストリームを伸長処理する際に、量子化マトリックス供給部１１と拡大縮小制御部１２が特殊効果処理を制御するので、入力された映像、音声を人間の感性を快く酔わせるような映像、音声にリアルタイムに変換できる。すなわち、従来には、ソフトとしてしか存在しなかった人間の感性を快く酔わせるような特殊効果処理の施された映像及びオーディオをハードウェアを用いてリアルタイムに作り出すことができるようになった。
【００４０】
なお、本発明に係る特殊効果装置は、上記実施例にのみ限定されるものではなく、例えば、量子化マトリックスにある決まった重み係数を割り当てたり、オーディオの場合でも、伸長段階において、逆量子化やサブバンド合成フィルタで本来と異なるデータで伸長させたりすることなどが考えられる。また、オーディオは通常音声、動画像は特殊画像にしたり、その逆を行ってもよい。また、拡大縮小制御を用いて動画像をスペアナ的に利用するというような種々の変形も考えられる。さらに、量子化マトリックス供給部から何も出さないようにしてもよい。
【００４１】
【発明の効果】
本発明に係る特殊効果装置は、動画像ビットストリーム中のシーケンスヘッダが検知された場合、振幅検知手段から供給される、シーケンスヘッダを含むシステムビットストリーム内のオーディオ信号の振幅に基づいて動画像復号手段により付与される特殊効果をリアルタイム制御するので、入力された映像、音声をもとに人間の感性を快く酔わせるような映像をリアルタイムに作り出すことができる。
【図面の簡単な説明】
【図１】本発明の実施例の特殊効果装置の概略構成を示すブロック図である。
【図２】図１に示した特殊効果装置の復号化部、制御部及び出力変換部の詳細な構成を示すブロック図である。
【図３】 図２に示したビットストリーム分割部と量子化マトリックス供給部と拡大縮小制御部とをマイクロコンピュータとしてまとめた構成を示すと共に、動画像復号器とオーディオ復号器との詳細な構成を示したブロック図である。
【図４】図３に示した量子化マトリックス供給部の動作を説明するためのフローチャートである。
【図５】図３に示した拡大縮小制御部の動作を説明するためのフローチャートである。
【符号の説明】
１ ディジタル媒体部
２ 復号化部
３ 制御部
４ 出力変換部
５ 出力装置
７ ビットストリーム分割器
８ 動画像復号器
９ 画像出力変換器
１１ 量子化マトリックス供給部
１２ 拡大縮小制御部
１３ オーディオ復号器
１４ 振幅検知器
１５ 音声フィルタ
Claims (2)
- 入力されるシステムビットストリーム内の動画像ビットストリームを伸長すると共に特殊効果を付与する動画像復号手段と、
上記システムビットストリーム内のオーディオビットストリームを伸長しオーディオ信号を出力するオーディオ復号手段と、
上記オーディオ復号手段から出力される上記オーディオ信号の振幅を検知する振幅検知手段と、
上記動画像ビットストリーム中のシーケンスヘッダが検知され、かつ特殊効果が選択されたときに、特殊効果用の量子化マトリクスを上記動画像復号手段に供給して上記動画像復号手段により上記動画像ビットストリームの伸長処理をする際に特殊効果を付与させ、さらに、上記オーディオ信号の振幅に基づいて上記特殊効果の付与された画像の拡大／縮小をリアルタイム制御する制御手段と
を備える特殊効果装置。 - 上記動画像ビットストリームは第１の量子化マトリクスにより量子化されており、
上記制御手段は、上記動画像復号手段に上記第１の量子化マトリクスとは異なる第２の量子化マトリクスを供給し、
上記動画像復号手段は、上記第２の量子化マトリクスに基づいて上記動画像ビットストリームを逆量子化することにより、上記動画像ビットストリームを伸長すると共に特殊効果を付与することを特徴とする請求項１記載の特殊効果装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8040094A JP3712275B2 (ja) | 1994-04-19 | 1994-04-19 | 特殊効果装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8040094A JP3712275B2 (ja) | 1994-04-19 | 1994-04-19 | 特殊効果装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07288741A JPH07288741A (ja) | 1995-10-31 |
| JP3712275B2 true JP3712275B2 (ja) | 2005-11-02 |
Family
ID=13717244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8040094A Expired - Fee Related JP3712275B2 (ja) | 1994-04-19 | 1994-04-19 | 特殊効果装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3712275B2 (ja) |
-
1994
- 1994-04-19 JP JP8040094A patent/JP3712275B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07288741A (ja) | 1995-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2983149B2 (ja) | 高速ローカルバス用の統合マルチメディアボード回路 | |
| JPH07235131A (ja) | 再生プロテクト方法及びプロテクト再生装置 | |
| JP2001036844A (ja) | 画質確認装置、画質確認方法及びそのプログラムを記録した記録媒体 | |
| JPH0686217A (ja) | 画像データ記録再生装置 | |
| US6333763B1 (en) | Audio coding method and apparatus with variable audio data sampling rate | |
| US8514946B2 (en) | Video MP3 system with apparatus and method for generating and restoring reduced video data | |
| JP3712275B2 (ja) | 特殊効果装置 | |
| JPH11145842A (ja) | 音声帯域分割復号装置 | |
| JPH1146362A (ja) | 映像再生装置 | |
| JP2000311445A (ja) | ディジタルデータプレーヤー、そのデータ処理方法及び記録媒体 | |
| US6285982B1 (en) | Sound decompressing apparatus providing improved sound quality during special reproducing such as forward search reproducing and reverse search reproducing | |
| JP3588153B2 (ja) | データ編集方法及び編集装置 | |
| JP3818615B2 (ja) | 画像合成装置及び方法並びに記憶媒体 | |
| JP3594829B2 (ja) | Ｍｐｅｇオーディオの復号化方法 | |
| JP3263484B2 (ja) | 音声帯域分割復号化装置 | |
| JP4090293B2 (ja) | 動画像再生装置 | |
| JP3775525B2 (ja) | 復号化装置および復号化方法 | |
| JPH0638192A (ja) | 画像符号化装置および画像復号化装置 | |
| JP2700355B2 (ja) | 画像データの圧縮装置 | |
| JP2002051308A (ja) | リアルタイムコーディックデジタルビデオレコーダ及び該レコーダを備えたテレビジョン装置 | |
| KR100205214B1 (ko) | 압축 비디오 데이터의 디코딩 장치 및 방법 | |
| JPH0775059A (ja) | 画像・音声復号化装置 | |
| JP2002208860A (ja) | データ圧縮装置とそのデータ圧縮方法及びデータ圧縮用プログラムを記録したコンピュータ読み取り可能な記録媒体、並びにデータ伸長装置とそのデータ伸長方法 | |
| JP3929507B2 (ja) | ディジタル特殊効果発生装置およびディジタル特殊効果発生方法 | |
| JPH0685692A (ja) | 高能率符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20030318 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050311 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050711 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050816 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080826 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |