JP5230096B2 - 映像音声出力装置及び映像音声出力方法 - Google Patents

映像音声出力装置及び映像音声出力方法 Download PDF

Info

Publication number
JP5230096B2
JP5230096B2 JP2006352803A JP2006352803A JP5230096B2 JP 5230096 B2 JP5230096 B2 JP 5230096B2 JP 2006352803 A JP2006352803 A JP 2006352803A JP 2006352803 A JP2006352803 A JP 2006352803A JP 5230096 B2 JP5230096 B2 JP 5230096B2
Authority
JP
Japan
Prior art keywords
data
screen
video
output
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006352803A
Other languages
English (en)
Other versions
JP2008167032A (ja
JP2008167032A5 (ja
Inventor
哲郎 北荘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006352803A priority Critical patent/JP5230096B2/ja
Priority to US11/964,299 priority patent/US8037507B2/en
Priority to CN200710306002.3A priority patent/CN101212577B/zh
Publication of JP2008167032A publication Critical patent/JP2008167032A/ja
Publication of JP2008167032A5 publication Critical patent/JP2008167032A5/ja
Priority to US13/087,979 priority patent/US20110197225A1/en
Application granted granted Critical
Publication of JP5230096B2 publication Critical patent/JP5230096B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Control Of Amplification And Gain Control (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は映像音声出力装置、映像音声出力方法、プログラム及び記憶媒体に関し、特に、再生映像と再生音声とを一致させるために用いて好適な技術に関する。
複数の映像データ及び音声データを同時再生可能な映像音声出力装置においては、ある画面の一部が他の画面によって隠れるという状態が発生する場合があった。このような場合、音声を出力するためには画面毎の音声データを何らかの手段で合成する必要がある。このような処理を行うための装置として関連するものには、例えば特許文献１などに記載の技術がある。
前記特許文献１に記載の「画像装置」では、各入力映像信号に対応する画像の大きさ、画像の重なりを含む位置関係、あるいは特定映像の選択情報を参照する。そして、前記大きさの大きい画像、あるいは前記重なりの前後の位置関係で前に位置する画像、あるいは前記選択対象の特定画像に同期する音信号を標準値とする。そして、その他の画像に同期する音信号を小さくする処理を自動的に行うことを特徴としている。
特開平０５−１９７２９号公報
前記技術によれば複数画面を同時出力する際、画面の構成を元にして画面毎に対応する音声データの音量調整を自動的に行うことが可能になる。しかしながら前記技術では画面毎に対応する音声データの音量を画面毎に調整するのみであり、各画面のオブジェクト毎の音管理を行うことができなかった。
このため、例えば図２に示したように、第１ＣＨの画面上に２つのオブジェクトＡ、Ｂが存在し、新たに第２ＣＨの画面がオブジェクトＢに重なる場合がある。このような場合に、従来方法を用いた技術ではオブジェクト個別の音管理を行うことができなかった。
したがって、図３に示したように、実際には第２ＣＨに隠れてしまって表示されていないオブジェクトＢに対応する音声ソースＢも出力されてしまう不都合があった。このように、従来技術では複数画面を同時に出力する映像音声出力装置においては、複数画面合成後の出力映像の構成と出力音声とを一致させることができないという問題があった。
本発明は前述の問題点に鑑み、複数画面合成後の出力映像の構成と出力音声とを一致させることができるようにすることを目的としている。
本発明の映像音声出力装置は、出力映像の画面管理を行い、各入力映像データの位置関係情報を生成する画面制御手段と、前記各入力映像データから部分画像データを生成する画像切り出し手段と、音源別の音声データを入力する音源別データ入力手段と、前記画面制御手段により生成された位置関係情報を元に、前記画像切り出し手段により生成された部分画像データと前記音源別の音声データと前記音源別の音声データの全音量に対する描画領域ごとの割合を示す音量情報とを画面上の描画領域ごとにまとめてタイルデータを構成するタイル化手段と、前記タイル化手段により構成されるタイルデータを合成して１つの画面データを構成する画面合成手段と、前記画面合成手段によって構成された画面データを表示装置に表示する映像出力手段と、前記タイル化手段により構成されるタイルデータ中の音源別の音声データを前記音量情報で示される割合で合成して１つの画面分の音声データを生成する音声データ生成手段とを備えることを特徴とする。
本発明の映像音声出力方法は、出力映像の画面管理を行い、各入力映像データの位置関係情報を生成する画面制御工程と、前記各入力映像データから部分画像データを生成する画像切り出し工程と、音源別の音声データを入力する音源別データ入力工程と、前記画面制御工程において生成された位置関係情報を元に、前記画像切り出し工程において生成された部分画像データと前記音源別の音声データと前記音源別の音声データの全音量に対する描画領域ごとの割合を示す音量情報とを画面上の描画領域ごとにまとめてタイルデータを構成するタイル化工程と、前記タイル化工程において構成されるタイルデータを合成して１つの画面データを構成する画面合成工程と、前記画面合成工程において構成された画面データを表示装置に表示する映像出力工程と、前記タイル化工程において構成されるタイルデータ中の音源別の音声データを前記音量情報で示される割合で合成して１つの画面分の音声データを生成する音声データ生成工程とを備えることを特徴とする。
本発明のプログラムは、出力映像の画面管理を行い、各入力映像データの位置関係情報を生成する画面制御工程と、前記各入力映像データから部分画像データを生成する画像切り出し工程と、音源別の音声データを入力する音源別データ入力工程と、前記画面制御工程において生成された位置関係情報を元に、前記画像切り出し工程において生成された部分画像データと前記音源別の音声データと前記音源別の音声データの全音量に対する描画領域ごとの割合を示す音量情報とを画面上の描画領域ごとにまとめてタイルデータを構成するタイル化工程と、前記タイル化工程において構成されるタイルデータを合成して１つの画面データを構成する画面合成工程と、前記画面合成工程において構成された画面データを表示装置に表示する映像出力工程と、前記タイル化工程において構成されるタイルデータ中の音源別の音声データを前記音量情報で示される割合で合成して１つの画面分の音声データを生成する音声データ生成工程とをコンピュータに実行させることを特徴とする。
本発明によれば、出力画面上に表示される音源オブジェクトと出力音声とを一致させたタイルデータを構成することが可能となる。
特に、複数画面を同時に出力する映像音声出力装置においては、タイルデータ中の音源別の音声データを、前記音源別の音声データの全音量に対する描画領域ごとの割合を示す音量情報で示される割合で合成して１つの画面分の音声データを生成することが可能となり、複数画面合成後の出力映像の構成と出力音声とを一致させることができる。
（第１の実施形態）
以下、本発明の実施形態を、図面を用いて詳細に説明する。
図６は、本発明の第１の実施形態を示すブロック図である。図６に示したように、映像音声出力装置７００は、入力された複数ストリームの映像データ７３０、７３２、及び各映像データに同期する音声データ（通常の音声データ）７３１を、映像出力部７４０に１つの映像として出力する。また、音声出力部７５０に音声データを合成して出力するための装置である。
この例では、各映像データ７３０（第１の映像データ）、７３２（第２の映像データ）に同期する通常の音声データ７３１と、各映像データ上のオブジェクト毎に音源が分離された音源別音声データ７３３を入力音声として想定している。
まず、各映像データ７３０、７３２は、画像切り出し部７０１に入力される。画像切り出し部７０１は、各映像データ７３０、７３２の各フレームを任意サイズのブロックとして分割し部分画像データ７２２として出力する。
また、通常の音声データ７３１は音源分離部７０２に入力される。音源分離部７０２は、入力された音声データに含まれる音源毎に音声データを分離するとともに、画面上における各音源の座標を特定し、前記音源別音声データと音源座標情報とを関連付けて音源別データ７２３として出力する。
音源の分離、座標特定部としてはオブジェクト認識による解析方法などがあるが、単純な方法としては、ステレオ出力の左右をそれぞれ２つの音源別音声データとして分離し、その座標を画面上の左半面、右半面の任意の座標とする方法を採用することができる。なお、映像音声出力装置７００に対して入力される段階で、音源別データとして既に分離されている音源別音声データ７３３は音源分離部７０２に入力しない。
画面制御部７０３は、出力画像における各映像データの画面構成を管理し、各画面（各入力映像）の出力位置、上下関係、不透明合成／半透明合成などの合成処理の種類を含む画面位置関係情報７２１を生成してタイル化部７０５に出力する。この画面位置関係情報７２１は、最終的に出力する画面の構成を表す情報である。
タイル化部７０５は、これらの前記部によって出力される部分画像データ７２２、音源別データ７２３、画面位置関係情報７２１及び映像音声出力装置７００に対する入力の段階で音源別データとして分離されている音源別音声データ７３３を入力とする。そして、それらを各画面上の描画領域ごとに１つのデータ単位であるタイルデータ７１０として生成して出力する。すなわち、タイル化部７０５は、画面位置関係情報７２１を元に、部分画像データ７２２と音源別音声データ７２３、７３３とを画面上の描画領域ごとにまとめてタイルデータを構成する。
一例として、図４のように、１つのフレームである出力画像データ５００に２つの音声ソースが含まれていた場合について説明する。図４の場合、第１ＣＨに音声ソースＡ、音声ソースＢが含まれていて、それらの音源座標が第１の部分画像データ５０１、第２の部分画像データ５０２にそれぞれ対応している。
このような場合、第１の部分画像データ５０１と、第１ＣＨ．音声ソースＡと、第１の部分画像データ５０１の描画位置情報とを１つのタイルデータとする。また、第２の部分画像データ５０２と、第１ＣＨ．音声ソースＢと、第２の部分画像データ５０２の描画位置情報とを１つのタイルデータとする。また、その他の部分については対応する音源別データが存在しないため、部分画像データと描画位置情報のセットのみでタイルデータを構成する。
この際、図５の例のように、タイルデータに音量情報を含める構成であった場合には、部分画像データ６０１〜部分画像データ６０６を部分画像データ、描画位置情報、音源別データ及び音量情報を持つタイルデータとする。そして、その他の部分については部分画像データ及び描画位置情報のみでタイルデータを構成する。
このようにして構成したタイルデータ７１０を画像処理部７０８に入力する。画像処理部７０８では、入力されたタイルデータ毎に部分画像データ７１３の高画質化等の処理を行い、部分画像データ７１３を更新してタイルデータを出力する。
画像処理部７０８より出力されたタイルデータは画面合成部７０６に入力される。画面合成部７０６は、入力された複数タイルデータの描画位置情報７１２を参照して部分画像データ７１３を配置し、出力画面データを出力する。
画面合成部７０６より出力された出力画面データ（出力映像）は、映像出力部７４０に入力される。映像出力部７４０は、入力された出力画面データを任意のディスプレイ上に出力する。結果として、入力された複数の映像ストリームが映像出力部７４０において１つの映像として出力される。
一方、音声出力に関しては、音声合成部７０７はタイルデータを入力とし、タイルデータ中の音源別データ７１４及び音量情報７１１を参照して音声を合成する。具体的には各タイルデータの持つ音源別データ７１４を音量情報７１１の比で合成し、音声出力部７５０のチャンネルごとに１つの画面分の出力音声を生成する。すなわち、該当音源別データの全音量に対する割合を音量情報として含んだ音声データを生成する音声データ生成手段として機能する。
このとき、各タイルデータは、タイル化部７０５によって音声が出力されるべきタイルデータ７１０のみに音源別データ７１４及び音量情報７１１が付加されているため、出力される音声データは、出力されるべき音源別データ７１４のみの合成となる。ここで出力されるべき音源別データ７１４とは、例えば出力画像データ５００上に表示される部分画像データ７１３に対応する音源別データ７１４である。
さらに、画面選択部７０４はユーザインタフェースを提供し、ユーザに対して出力画面上の任意の範囲または画面の選択を可能にするとともに、前記の指定された画面情報を画面制御情報７２０として画面制御部７０３に入力する。このようにして入力された画面制御情報７２０は、画面制御部７０３が管理する画面構成を変更することにより結果としてユーザにより画面構成を変更することが可能となる。
以上、説明したように、複数映像ストリームと各映像ストリームに対応する複数音声ストリームを入力とする映像音声出力装置において、映像出力部７４０における出力画像データ５００と音声出力部７５０における出力音声データとの整合性を図ることができる。これにより、出力画像データと出力音声データとを一致させることが可能になる。
（第２の実施形態）
図７は、本発明の第２の実施形態の構成例を示すブロック図であり、図６に示した第１の実施形態に対して、複数の映像出力部を持つ点が異なっている。なお、この実施形態では第１の映像出力部８５０、第２の映像出力部８５１の画面構成がそれぞれ独立している場合を想定している。
この実施形態では、画面制御部８０３は第１の映像出力部８５０及び第２の映像出力部８５１両方の画面管理を行っている。そして、画面位置関係情報８３１を第１の画面合成部８０６、第１の音声合成部８０７、第２の画面合成部８０９、第２の音声合成部８１０に対して入力する。このため、本実施形態は第１の実施形態とは異なり、タイルデータ８２０には描画位置情報を含めないようにしている。
第１の画面合成部８０６及び第２の画面合成部８０９は、前記画面制御部８０３から入力された画面位置関係情報８３１をそれぞれ参照し、各映像出力部において再生すべき映像ストリームを指定される位置関係で合成して出力する。
また、第１の音声合成部８０７及び第２の音声合成部８１０は、画面制御部８０３から入力された画面位置関係情報８３１をそれぞれ参照し、各音声出力部において再生すべき音声ストリームを選択し、合成して出力する。
以上のようにして、画面構成の独立な映像出力部及び音声出力部が複数存在する場合にも、各映像出力部と音声出力部における映像出力と音声出力とを一致させることが可能になる。
図１は、本実施形態の代表的な効果を示す図であり、１つの映像出力部上に２つの画面第１ＣＨ１００、第２ＣＨ１１０が出力され、第１ＣＨ上にオブジェクトＡ１０１及びオブジェクトＢ１０２が存在している。
これにより、第２ＣＨ１１０によって第１ＣＨ１００のオブジェクトＢ１０２が隠れる場合、音声出力部１２０における出力音声からオブジェクトＢ１０２に対応する第１ＣＨ．音声ソースＢ１０４のみを消去することを示している。なお、この例では簡単のため第２ＣＨ１１０に対応する音声ソースは無い場合を示している。
図２は、ディスプレイの一般的なユースケースを示す図であり、１つの映像出力部上に１つの画面第１ＣＨ２００が出力され、第１ＣＨ２００上にオブジェクトＡ２０１、オブジェクトＢ２０２が存在する。
この場合、音声出力部２２０における出力音声からはオブジェクトＡ２０１、オブジェクトＢ２０２にそれぞれ対応する第１ＣＨ．音声ソースＡ２０３、第１ＣＨ．音声ソースＢ（２０４）が出力されることを示している。このような場合は従来技術、本発明の何れの場合にも第１ＣＨ２００に対応する音声データが出力されるため、出力音声は同じものになる。
図３は、本実施形態の映像音声出力装置を適用しなかった結果を示す図である。この場合、１つの映像出力部上に２つの画面第１ＣＨ３００、第２ＣＨ３１０が出力され、第１ＣＨ３００上にオブジェクトＡ３０１、オブジェクトＢ３０２が存在し、第２ＣＨ３１０によって第１ＣＨ３００のオブジェクトＢ３０２が隠れることになる。
このような場合、従来技術ではオブジェクト毎の音声管理を行うことができず、第１ＣＨ３００に対応する音声データをまとめて調整することしかできなかった。このため、オブジェクトＢ３０２が第２ＣＨ３１０によって隠れているにもかかわらずオブジェクトＢ３０２に対応する音声データが出力されていた。
または、オブジェクトＡ３０１が出力画面上に現れているにもかかわらずオブジェクトＡ３０１に対応する音声データが出力されないようになる場合があった。何れにしても、出力画像と出力音声との不一致が発生する可能性があった。
図４は、本実施形態のタイルデータにおける描画位置情報と部分画像データと音源別データの関係を示す図である。この例では、出力画像データ５００を１６分割し、そのうちの第１の部分画像データ５０１に第１ＣＨ．音声ソースＡを対応させ、同様に第２の部分画像データ５０２に第１ＣＨ．音声ソースＢを対応させている場合を示している。
図５は、本実施形態のタイルデータにおける音量情報と描画位置情報と部分画像データと音源別データの関係を示す図である。この例では、出力画像データ６００を１６分割し、そのうちの部分画像データ６０１に第１ＣＨ．音声ソースＡが対応し、かつその音量は１００％であることを示している。
同様に、部分画像データ６０２に第１ＣＨ．音声ソースＢが対応し、かつその音量は６０％である。同様に、部分画像データ６０３〜部分画像データ６０６に第１ＣＨ．音声ソースＢが対応し、かつその音量はそれぞれ１０％である。このように、音量情報を付加することで音源が出力画面上の広範囲に位置する場合にもその分布を表現することが可能になる。
（第３の実施形態）
次に、図８を参照しながら本発明の第３の実施形態を説明する。
図８において、画面制御部９０３は、画面合成部９０６及び音声合成部９０７に対して画面位置関係情報９２１を出力する。そして、描画すべき部分画像データ９１３の選択及び再生すべき音源別データ９１４の選択は、画面合成部９０６、音声合成部９０７においてそれぞれ行う。具体的な機能及び動作は前述した第１及び第２の実施形態と同様であるので、詳細な説明を省略する。
（本発明に係る他の実施形態）
前述した本発明の実施形態における映像音声出力装置を構成する各手段、並びに映像音声出力方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能である。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムを、システムあるいは装置に直接されてもよい。あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
プログラムを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷなどである。また、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）なども含む。
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのものをダウンロードすることによっても供給できる。もしくは、圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
さらに、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
本実施形態の代表的な効果の具体例を示す図である。 一般的なディスプレイにおける動作例を示す図である。 本実施形態の映像音声出力装置を適用しなかった結果を示す図である。 本実施形態のタイルデータにおける描画位置情報、部分画像データ、音源別データの関係を示す図である。 本実施形態のタイルデータにおける描画位置情報、部分画像データ、音源別データ、音量情報の関係を示す図である。 第１の実施形態を示し、映像音声出力装置の構成例を示すブロック図である。 第２の実施形態を示し、映像音声出力装置の構成例を示すブロック図である。 第３の実施形態を示し、映像音声出力装置の構成例を示すブロック図である。
符号の説明
７００ 映像音声出力装置
７０１ 画像切り出し部
７０２ 音源分離部
７０３ 画面制御部
７０４ 画面選択部
７０５ タイル化部
７０６ 画面合成部
７０７ 音声合成部
７０８ 画像処理部
７４０ 映像出力部
７５０ 音声出力部

Claims (10)

  1. 出力映像の画面管理を行い、各入力映像データの位置関係情報を生成する画面制御手段と、
    前記各入力映像データから部分画像データを生成する画像切り出し手段と、
    音源別の音声データを入力する音源別データ入力手段と、
    前記画面制御手段により生成された位置関係情報を元に、前記画像切り出し手段により生成された部分画像データと前記音源別の音声データと前記音源別の音声データの全音量に対する描画領域ごとの割合を示す音量情報とを画面上の描画領域ごとにまとめてタイルデータを構成するタイル化手段と、
    前記タイル化手段により構成されるタイルデータを合成して１つの画面データを構成する画面合成手段と、
    前記画面合成手段によって構成された画面データを表示装置に表示する映像出力手段と、
    前記タイル化手段により構成されるタイルデータ中の音源別の音声データを前記音量情報で示される割合で合成して１つの画面分の音声データを生成する音声データ生成手段とを備えることを特徴とする映像音声出力装置。
  2. 前記画面制御手段は、最終的に出力する画面の構成を表す画面位置関係情報を生成して前記タイル化手段に供給することを特徴とする請求項１に記載の映像音声出力装置。
  3. 前記画面制御手段は、最終的に出力する画面の構成を表す画面位置関係情報を生成して前記画面合成手段および音声データ生成手段に供給することを特徴とする請求項１に記載の映像音声出力装置。
  4. 前記タイル化手段により構成されるタイルデータの中から、前記表示装置に出力すべきタイルをユーザに選択させる画面選択手段を備えることを特徴とする請求項１に記載の映像音声出力装置。
  5. 出力映像の画面管理を行い、各入力映像データの位置関係情報を生成する画面制御工程と、
    前記各入力映像データから部分画像データを生成する画像切り出し工程と、
    音源別の音声データを入力する音源別データ入力工程と、
    前記画面制御工程において生成された位置関係情報を元に、前記画像切り出し工程において生成された部分画像データと前記音源別の音声データと前記音源別の音声データの全音量に対する描画領域ごとの割合を示す音量情報とを画面上の描画領域ごとにまとめてタイルデータを構成するタイル化工程と、
    前記タイル化工程において構成されるタイルデータを合成して１つの画面データを構成する画面合成工程と、
    前記画面合成工程において構成された画面データを表示装置に表示する映像出力工程と、
    前記タイル化工程において構成されるタイルデータ中の音源別の音声データを前記音量情報で示される割合で合成して１つの画面分の音声データを生成する音声データ生成工程とを備えることを特徴とする映像音声出力方法。
  6. 前記画面制御工程は、最終的に出力する画面の構成を表す画面位置関係情報を生成して前記タイル化工程に供給することを特徴とする請求項５に記載の映像音声出力方法。
  7. 前記画面制御工程は、最終的に出力する画面の構成を表す画面位置関係情報を生成して前記画面合成工程および音声データ生成工程に供給することを特徴とする請求項５に記載の映像音声出力方法。
  8. 前記タイル化工程において構成されるタイルデータの中から、前記表示装置に出力すべきタイルをユーザに選択させる画面選択工程を備えることを特徴とする請求項５に記載の映像音声出力方法。
  9. 出力映像の画面管理を行い、各入力映像データの位置関係情報を生成する画面制御工程と、
    前記各入力映像データから部分画像データを生成する画像切り出し工程と、
    音源別の音声データを入力する音源別データ入力工程と、
    前記画面制御工程において生成された位置関係情報を元に、前記画像切り出し工程において生成された部分画像データと前記音源別の音声データと前記音源別の音声データの全音量に対する描画領域ごとの割合を示す音量情報とを画面上の描画領域ごとにまとめてタイルデータを構成するタイル化工程と、
    前記タイル化工程において構成されるタイルデータを合成して１つの画面データを構成する画面合成工程と、
    前記画面合成工程において構成された画面データを表示装置に表示する映像出力工程と、
    前記タイル化工程において構成されるタイルデータ中の音源別の音声データを前記音量情報で示される割合で合成して１つの画面分の音声データを生成する音声データ生成工程とをコンピュータに実行させることを特徴とするプログラム。
  10. 請求項９に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP2006352803A 2006-12-27 2006-12-27 映像音声出力装置及び映像音声出力方法 Expired - Fee Related JP5230096B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006352803A JP5230096B2 (ja) 2006-12-27 2006-12-27 映像音声出力装置及び映像音声出力方法
US11/964,299 US8037507B2 (en) 2006-12-27 2007-12-26 Video/audio output apparatus and video/audio output method
CN200710306002.3A CN101212577B (zh) 2006-12-27 2007-12-27 视频/音频输出设备和视频/音频输出方法
US13/087,979 US20110197225A1 (en) 2006-12-27 2011-04-15 Video/audio output apparatus and video/audio output method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006352803A JP5230096B2 (ja) 2006-12-27 2006-12-27 映像音声出力装置及び映像音声出力方法

Publications (3)

Publication Number Publication Date
JP2008167032A JP2008167032A (ja) 2008-07-17
JP2008167032A5 JP2008167032A5 (ja) 2010-02-12
JP5230096B2 true JP5230096B2 (ja) 2013-07-10

Family

ID=39585995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006352803A Expired - Fee Related JP5230096B2 (ja) 2006-12-27 2006-12-27 映像音声出力装置及び映像音声出力方法

Country Status (3)

Country Link
US (2) US8037507B2 (ja)
JP (1) JP5230096B2 (ja)
CN (1) CN101212577B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2764899A3 (en) 2005-08-29 2014-12-10 Nant Holdings IP, LLC Interactivity via mobile image recognition
JP5231926B2 (ja) * 2008-10-06 2013-07-10 キヤノン株式会社 情報処理装置、その制御方法、及びコンピュータプログラム
JP5618043B2 (ja) * 2009-09-25 2014-11-05 日本電気株式会社 映像音響処理システム、映像音響処理方法及びプログラム
JP5978574B2 (ja) * 2011-09-12 2016-08-24 ソニー株式会社 送信装置、送信方法、受信装置、受信方法および送受信システム
US9071867B1 (en) * 2013-07-17 2015-06-30 Google Inc. Delaying automatic playing of a video based on visibility of the video
WO2015008538A1 (ja) * 2013-07-19 2015-01-22 ソニー株式会社 情報処理装置および情報処理方法
US9703841B1 (en) 2016-10-28 2017-07-11 International Business Machines Corporation Context-based notifications in multi-application based systems
EP3780628A1 (en) * 2018-03-29 2021-02-17 Sony Corporation Information processing device, information processing method, and program
CN109788308B (zh) * 2019-02-01 2022-07-15 腾讯音乐娱乐科技（深圳）有限公司 音视频处理方法、装置、电子设备及存储介质
WO2022064905A1 (ja) * 2020-09-25 2022-03-31 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN112561585B (zh) * 2020-12-16 2024-06-28 中国人寿保险股份有限公司 一种基于图形的信息服务系统及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0519729A (ja) 1991-07-12 1993-01-29 Hitachi Ltd 画像装置ならびにその音量制御方法
US6594688B2 (en) * 1993-10-01 2003-07-15 Collaboration Properties, Inc. Dedicated echo canceler for a workstation
US5583980A (en) * 1993-12-22 1996-12-10 Knowledge Media Inc. Time-synchronized annotation method
CA2311817A1 (en) * 1998-09-24 2000-03-30 Fourie, Inc. Apparatus and method for presenting sound and image
JP2002534913A (ja) 1999-01-04 2002-10-15 トムソン ライセンシング ソシエテ アノニム ピクチャアウトサイドピクチャディスプレイを有するテレビジョン遠隔制御システム
JP3910537B2 (ja) 2001-03-26 2007-04-25 富士通株式会社 マルチチャネル情報処理装置
JP4335087B2 (ja) * 2004-07-29 2009-09-30 大日本印刷株式会社 音付映像の再生装置
US20060230427A1 (en) * 2005-03-30 2006-10-12 Gerard Kunkel Method and system of providing user interface
US9032430B2 (en) * 2006-08-24 2015-05-12 Rovi Guides, Inc. Systems and methods for providing blackout support in video mosaic environments
US20080209472A1 (en) * 2006-12-11 2008-08-28 David Eric Shanks Emphasized mosaic video channel with interactive user control

Also Published As

Publication number Publication date
CN101212577A (zh) 2008-07-02
JP2008167032A (ja) 2008-07-17
US20110197225A1 (en) 2011-08-11
US8037507B2 (en) 2011-10-11
CN101212577B (zh) 2015-03-11
US20080163329A1 (en) 2008-07-03

Similar Documents

Publication Publication Date Title
JP5230096B2 (ja) 映像音声出力装置及び映像音声出力方法
KR101414217B1 (ko) 실시간 영상합성 장치 및 그 방법
CN105075283A (zh) 再现装置、再现方法、程序以及发送装置
US20080229200A1 (en) Graphical Digital Audio Data Processing System
JPWO2018066382A1 (ja) 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム
KR20070050639A (ko) 액티브 디스플레이 링크 기능을 포함하는 디지털 단말기
JP5041853B2 (ja) コンテンツ生成装置及びコンテンツ生成プログラム
JP2006113910A5 (ja)
JP2982697B2 (ja) テロップ表示装置
KR102343336B1 (ko) 동영상 저작 시스템 및 방법
JP2000339485A (ja) アニメーション生成装置
JP4917917B2 (ja) コンテンツ生成装置及びコンテンツ生成プログラム
JP3507767B2 (ja) マルチメディアコンテンツ再生システム及びマルチメディアコンテンツ再生方法
KR101980414B1 (ko) 확장형 비디오 렌더링 방법 및 시스템
JP2009230062A (ja) 音声合成装置およびそれを用いた読み上げシステム。
JP2005141424A (ja) 情報処理方法及び情報処理装置
JP5111422B2 (ja) コンテンツ制作システム及びコンテンツ制作プログラム
JP2003108106A (ja) マルチメディアプレゼンテーションシステム
JP3486235B2 (ja) 合体型画像ファイルを利用した分岐方法およびシステム，ならびに分岐画面作成方法
JP2002032296A (ja) インターネット利用のコンテンツ配信方法とコンテンツ配信システム
JP4018928B2 (ja) 番組制作方法
JP5919926B2 (ja) 画像生成方法、画像生成装置及びプログラム
JP3453298B2 (ja) カラオケ歌詞表示システム
JP2004007742A (ja) マルチメディア・プレゼンテーション方法およびシステム，マルチメディア・データ作成方法およびシステム，ならびに画像合成方法およびシステム
JP2020072415A (ja) 映像・音声合成方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121211

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130319

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5230096

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees