WO2012153475A1

WO2012153475A1 - 描画合成装置

Info

Publication number: WO2012153475A1
Application number: PCT/JP2012/002814
Authority: WO
Inventors: 靖広了舟; 中村　裕樹; 橋本　勉
Original assignee: パナソニック株式会社
Priority date: 2011-05-11
Filing date: 2012-04-24
Publication date: 2012-11-15

Abstract

　描画合成装置は、映像ストリームのパケットから映像情報を取得する映像情報抽出手段と、前記映像情報を元にこれから描画しようとしている内容に加工処理を施す描画処理手段と、前記加工処理した描画内容を映像プレーンのバッファに置かれた映像データに描画する手段とを備える。

Description

描画合成装置

　本発明は、映像データに違和感なく描画合成を行う装置に関する。

　従来のデジタルテレビにおいては、放送を出画する映像プレーンと、メニューなどの描画を行う描画プレーン（ＯＳＤプレーン）は独立しており、異なる奥行きで表示される。例えば、非特許文献１，２に記載されているように、映像プレーンと描画プレーンはそれぞれ独立したメモリ領域で用意され、ハード的に合成処理された後、モニタ画面に表示される。

"Data Coding and Transmission Specification for Digital Broadcasting", ARIB STD-B24 Version 5.2 VOLUME 1, Association of Radio Industries and Businesses, pp.6-7 坂下博彦、「デジタルＴＶ～見るテレビから繋がるテレビに～」、[online]、社団法人電子情報技術産業協会、インターネット〈URL : http://home.jeita.or.jp/is/jeitakouza/kyouzai/toukoudai/02_tv.pdf〉、pp.9

　映像プレーンと描画プレーンが独立しており、かつ、映像プレーンに対して描画プレーンが常に手前または奥にあるように合成されるため、一例として映像として存在する２つの物体の間に物体を挿入しているかのように描画することはできない。

　また、表示の立体視を行う場合においても、映像プレーンと描画プレーンは個別に立体視処理を行っており、個別に奥行きを持つため、映像と描画を溶け込ませて表現することはできない。

　また、映像の持つ解像度、明度、彩度の情報と、描画のそれらとは独立しており、映像の持つ雰囲気と描画した絵の間に違和感が発生することがある。

　本発明は、映像に違和感なく描画を合成する装置を提供することを目的とする。

　上記目的を達成するための本発明の描画合成装置は、映像ストリームのパケットから映像情報を取得する映像情報抽出手段と、前記映像情報を元にこれから描画しようとしている内容に加工処理を施す描画処理手段と、前記加工処理した描画内容を映像プレーンのバッファに置かれた映像データに描画する手段とを備える。

　ここで、前記加工処理を行うために必要なバッファ領域を備えるようにしても良い。

　また、加工処理と描画処理を同時に実施できる場合は初めから映像データに直接描画しても良い。また、前記映像情報抽出手段は、映像のデコード後のデータから画像認識アルゴリズムを用いて得られるものであっても良い。

　この構成によれば、映像プレーンのバッファ領域に対して直接描画を行うので、映像として存在する物体の間に、物体を合成して描画することができる。また、映像の持つ解像度、明度、彩度の情報と、描画のそれらを合わせることも可能となり、映像の持つ雰囲気に違和感のない描画を行うことが可能となる。

　本発明の描画合成装置によれば、映像に描画を溶け込ませた形で表示することができるため、動画に対して違和感のない絵または写真などを合成することができる。

第１の実施の形態に対応する描画合成処理装置の構成の例を示す図である。第２の実施の形態に対応する描画合成処理装置の構成の例を示す図である。第３の実施の形態に対応する描画合成処理装置の構成の例を示す図である。第４の実施の形態に対応する描画合成処理装置の構成の例を示す図である。第５の実施の形態に対応する描画合成処理装置の構成の例を示す図である。第６の実施の形態に対応する描画合成処理装置の構成の例を示す図である。第７の実施の形態に対応する描画合成処理装置の構成の例を示す図である。第８の実施の形態に対応する描画合成処理装置の構成の例を示す図である。第９の実施の形態に対応する描画合成処理装置の構成の例を示す図である。第１０の実施の形態に対応する描画合成処理装置の構成の例を示す図である。第１１の実施の形態に対応する合成描画用パラメータ付加装置の図である。第５の実施の形態における隠面処理の説明図である。

　以下本発明を実施するための形態について、図面を参照しながら説明する。

　（第１の実施の形態）
　＜描画合成装置の構成＞
　図１は、本発明の実施の形態１における全体を示す図である。同図の描画合成装置は映像情報抽出部１１と、描画処理部１２、デコーダ１３、映像データバッファ１４によって構成される。

　映像情報抽出部１１はパケット解析部１１１を持ち、映像ストリームが持つパケット群のうち、特定のパケットを取り出し、そのパケットの情報そのものあるいはパケットの情報から特定される映像情報を描画処理部１２に渡す。デコーダ１３は映像ストリームをデコードした結果を映像データバッファ１４に置く。描画処理部１２は映像情報抽出部１１から受け取った映像情報に応じて描画する内容を変更しながら、映像データバッファ１４に描画合成を行う。

　＜実施例＞
　当該描画合成装置は、パケットから得られる、フォーマット情報などの映像情報を元に、描画時において描画内容を判断するような手段として用いることができる。

　例えば特殊効果の付加を考える。24p出力時などは、映画フィルムのような表示特性となる。この時、アニメーションを描画する場合は映像フォーマット24p/60p等の情報から１秒あたりのフレーム表示時間を判断できるため、当該描画合成装置は、この表示時間を考慮した描画内容の移動量などを決める手段として活用できる。また、パケットから映像にフィルムノイズが混じっている状態か否かなどの情報が得られれば、描画処理部１２において、描画内容にフィルムノイズを付加することにより、映像と描画内容を雰囲気を損なわずに描画合成することができる。

　（第２の実施の形態）
　＜描画合成装置の構成＞
　図２は、本発明の実施の形態２における全体を示す図である。同図の描画合成装置は映像情報抽出部２１と、描画処理部２２、映像データバッファ２３によって構成される。

　映像情報抽出部２１は映像ストリームをデコードした結果が置かれた映像データバッファ２３のデータを画像として、何らかのアルゴリズム判定処理を行う。判定処理から特定される映像情報を描画処理部２２に渡す。描画処理部２２は受け取った映像情報に応じて描画する内容を変更しながら映像データバッファ２３に描画合成を行う。

　＜実施例＞
　映像情報抽出部２１は、映像データを元に映像にノイズが乗っているかを判断し、かつそのノイズパターンを抽出するアルゴリズムを持つ。映像情報抽出部２１において前記アルゴリズムを用いてノイズパターンを抽出し、描画処理部２２に渡す。描画処理部２２では描画の際に前記ノイズパターンを付加しながら、映像データバッファ２３に描画合成を行うことにより、映像と描画内容を雰囲気を損なわずに描画合成することができる。

　（第３の実施の形態）
　＜描画合成装置の構成＞
　図３は、本発明の実施の形態３における全体を示す図である。但し、前述の実施の形態１において説明した部材に対応する部材には同一の符号を付して、説明を省略する。

　図３において映像情報抽出部１１は映像ストリームが持つパケット群のうち、映像フォーマットの情報を持つパケットを取り出し、映像フォーマットから得られる、解像度情報を描画処理部１２に渡す。描画処理部１２は受け取った解像度情報に応じて描画解像度変換処理部１２１にて描画する内容を変更しながら映像データバッファ１４に描画合成を行う。

　＜実施例＞
　当該描画合成装置は、パケットから得られる、フォーマット情報から得た解像度情報を元に、描画時において描画内容を判断するような手段として用いることができる。

　例えば以下の描画効果の付加を考える。

　１０８０ｉなどの出力フォーマット時において、映像データバッファ１４の有効メモリ領域が１９２０×１０８０の場合、描画処理部１２では映像の解像度である１９２０×１０８０の解像度を想定して描画を行う方が違和感の少ない見せ方として描画できる。一方、４８０ｉなどの出力フォーマット時においては、映像データバッファ１４の有効メモリ領域が７２０×４８０となる。この時の描画内容としては、予め７２０×４８０の領域を想定して描画を行うか、あるいは、１９２０×１０８０などの高い解像度の領域に一旦高精細な描画を行ったのち、縮小処理を行い、７２０×４８０の領域に縮小しながら描画することもできる。

　後者の一旦高精細な描画を行ったのち縮小する方法では、映像フォーマットが１０８０ｉか４８０ｉかの情報に応じて、最終的に映像データバッファ１４に合成描画する際に縮小するかしないかを切り替えることによって、描画アプリは基本的に１９２０×１０８０のサイズへの描画を行うだけでどちらの解像度に対する描画へも対応できる。一方前者の予め７２０×４８０の領域を想定して描画する方法では、描画処理速度が向上することやメモリ消費量が少なくて済むことが利点となる。

　どちらの方法を用いても解像度として違和感のない描画ができるが、どちらを使うかは、画質とメモリ使用量および描画処理時間に応じて選択できても良い。

　（第４の実施の形態）
　＜描画合成装置の構成＞
　図４は、本発明の実施の形態４における全体を示す図である。但し、前述の実施の形態１において説明した部材に対応する部材には同一の符号を付して、説明を省略する。

　図４において映像情報抽出部１１は映像ストリームが持つパケット群のうち、映像フォーマットに関するパケットを取り出し、映像フォーマットから得られる、色深度情報を描画処理部１２に渡す。描画処理部１２は受け取った色深度情報に応じて色深度変換処理部１２２にて描画する内容を変更しながら映像データバッファ１４に描画合成を行う。

　＜実施例＞
　当該描画合成装置は、パケットから得られる、フォーマット情報から得た色深度情報を元に、描画時において描画内容を判断するような手段として用いることができる。

　例えば以下の描画効果の付加を考える。

　色深度の小さいデコードデータに対して描画する場合の描画内容としては、初めからデコードデータと同じく小さい色深度を想定して描画を行うか、あるいは、一旦高い色深度にて一旦描画を行った後、デコードデータの持つ色深度に合わせて色深度変換をしながらデコードデータに描画することができる。

　後者の一旦高い色深度を持つ描画を行う方法では、映像フォーマットの色深度情報に応じて、最終的に映像データバッファ１４に合成描画する際に色深度変換するかしないかを切り替えることによって、描画アプリは基本的に高い色深度での描画を行うだけでどちらの色深度に対する描画へも対応できる。一方前者の予め小さい色深度で描画を行う方法では、描画処理速度が向上することやメモリ消費量が少なくて済むことが利点となる。

　どちらの方法を用いても色深度として違和感のない描画ができるが、どちらを使うかは、画質とメモリ使用量および描画処理時間に応じて選択できても良い。

　（第５の実施の形態）
　＜描画合成装置の構成＞
　図５は、本発明の実施の形態５における全体を示す図である。但し、前述の実施の形態２において説明した部材に対応する部材には同一の符号を付して、説明を省略する。

　図５において映像情報抽出部２１は映像データバッファ２３のデータを画像として、奥行きを判定する処理アルゴリズムを用いて奥行き判定を行ったのち、判定処理から得られる奥行き情報を描画処理部２２に渡す。描画処理部２２は受け取った奥行き情報と描画内容の奥行き情報とを用いて隠面処理部２２１にて映像データバッファ２３に隠面処理を伴った描画を行う。

　＜実施例＞
　映像データバッファ２３に置かれたデータから映像情報抽出部２１に備える映像解析部２１１が奥行き推定処理を実施し、奥行きの情報を取得する。取得した奥行き情報は描画処理部２２に渡される。一方描画処理部２２はこれから描画しようとしている描画内容の奥行き情報を持ち、映像情報抽出部２１から取得した奥行き情報とあわせて隠面処理部２２１が隠面処理を伴った描画処理を映像データバッファ２３に対して行う。

　図１２において、上段の左側から順に映像データバッファ２３に置かれた映像データ、これから描画しようとしている内容、隠面処理を行わずに描画合成をした場合の合成結果を示す。同様に隠面処理を伴う場合の描画を中段および下段に示す。中段の左側は映像データバッファ２３に置かれた映像データのカラー情報、下段の左側は映像データバッファ２３から抽出した奥行き情報、中段真ん中はこれから描画しようとしている内容のカラー情報、下段真ん中はこれから描画しようとしている内容の奥行き情報、中段右側は隠面処理を伴い描画合成をした場合の合成結果を示す。前記奥行き情報は奥行きを値として保持しているが、図では説明のためにその値を色で表している。手前を黒、奥を白で表している。映像に存在する２つの物体の奥行きの値の間の奥行き値を持つ三角形の描画を行うことにより、結果のような隠面処理を行うことができる。隠面処理においては映像の持つ奥行き値と描画しようとしている内容の奥行き値を比較し、手前に位置すると判定した画素のみ描画することにより実現する。

　なお、描画内容の奥行き値は、映像情報から得られた奥行き値を元に決定しても良い。この場合、２つの物体の間に三角形を常に描画することができる。この隠面処理を伴う描画によって映像の中の異なる奥行きを持つ物体の間に描画する物体を溶け込ませて描画することができる。

　なお、映像データバッファ２３に置かれたデータはデータバッファの有効領域全体でも良いし、部分でも良い。

　（第６の実施の形態）
　＜描画合成装置の構成＞
　図６は、本発明の実施の形態６における全体を示す図である。但し、前述の実施の形態２において説明した部材に対応する部材には同一の符号を付して、説明を省略する。

　図６において映像情報抽出部２１は映像データバッファ２３のデータを画像として、奥行きを判定する処理アルゴリズムを用いて奥行き判定を行ったのち、判定処理から得られる奥行き情報を描画処理部２２に渡す。描画処理部２２は受け取った奥行き情報と描画内容の奥行き情報とを用いてぼかし処理部２２２にて映像データバッファ２３にぼかし処理を伴った描画合成を行う。

　＜実施例＞
　映像データバッファ２３に置かれたデータから映像情報抽出部２１に備える映像解析部２１１が奥行き推定処理を実施し、奥行きの情報を取得する。取得した奥行き情報は描画処理部２２に渡される。一方描画処理部２２はこれから描画しようとしている描画内容の奥行き情報を持ち、映像情報抽出部２１から取得した奥行き情報とあわせてぼかし処理部２２２がぼかし処理を伴った描画処理を行う。この際、描画内容の持つ奥行き情報に応じて、描画物体に対してぼかし量を増減させながら描画を行うことで、奥行きに応じたぼかし効果を持った描画を行うことができる。

　なお、映像情報抽出部２１が奥行き推定処理を実施すると共に、ピントのあっている位置および奥行き値を決定し、そこから座標値あるいは奥行きの離れ量に応じてぼかし量を調整するというようにしても良い。

　（第７の実施の形態）
　＜描画合成装置の構成＞
　図７は、本発明の実施の形態７における全体を示す図である。但し、前述の実施の形態２において説明した部材に対応する部材には同一の符号を付して、説明を省略する。

　図７において映像情報抽出部２１は映像データバッファ２３のデータを画像として、動き情報を判定する処理アルゴリズムを用いて動きベクトルの情報を取得したのち、この動き情報を描画処理部２２に渡す。描画処理部２２は映像情報抽出部２１より受け取った動き情報に応じて動き成分合成処理部２２３にて描画内容に動き成分を付加したような画像処理を付加しながら、映像データバッファ２３に描画合成を行う。

　＜実施例＞
　映像データバッファ２３に置かれたデータから映像情報抽出部２１に備える映像解析部２１１が動き情報を取得する。取得した動き情報は描画処理部２２に渡される。描画処理部２２は前記動き情報よりこれから描画しようとしている描画内容の描画位置における動き方向および動き量に応じて、描画内容にも同様に動いたように見せる加工処理を施した描画を行う。

　なお、動き成分を描画効果として付加するために一時的なバッファ領域を確保しても良い。

　（第８の実施の形態）
　＜描画合成装置の構成＞
　図８は、本発明の実施の形態８における全体を示す図である。但し、前述の実施の形態２において説明した部材に対応する部材には同一の符号を付して、説明を省略する。

　図８において映像情報抽出部２１は映像データバッファ２３のデータを画像として、物体認識判定する処理アルゴリズムを用いて物体の位置を特定する判定を行ったのち、判定処理から特定される物体認識の情報を描画処理部２２に渡す。描画処理部２２は映像情報抽出部２１から受け取った物体認識の情報を用いることで、認識物体描画処理部２２４にて特定物体の部分にのみ描画合成を行う。

　＜実施例＞
　映像データバッファ２３に置かれたデータから映像情報抽出部２１に備える映像解析部２１１が物体認識判定処理を実施し、認識したい物体の存在する領域を特定する。描画処理部２２は物体認識判定から特定の物体にのみ描画処理を行うことができる。これにより、映像データに予め登録した物体が存在した場合などに、該当箇所にマスク処理やぼかし処理、あるいは何かしらのキャラクター等を合成表示させることができる。当該描画合成装置は、登録したペアレンタルレベルと認識したペアレンタルレベル表示ロゴとが一致した場合にマスクをかけるなどのペアレンタルコントロールの手段としても用いることができる。

　（第９の実施の形態）
　＜描画合成装置の構成＞
　図９は、本発明の実施の形態９における全体を示す図である。但し、前述の実施の形態２において説明した部材に対応する部材には同一の符号を付して、説明を省略する。

　図９において映像情報抽出部２１は映像データバッファ２３のデータを画像として、明度、彩度を判定する処理アルゴリズムを用いて明度あるいは彩度の情報を取得し、描画処理部２２に渡す。描画処理部２２は明度、彩度変更描画処理部２２５にて受け取った明度あるいは彩度の情報と同様の明度あるいは彩度の偏りを付加する画像処理を伴いながら描画合成を行う。

　＜実施例＞
　映像データバッファ２３に置かれたデータから映像情報抽出部２１に備える映像解析部２１１が明度あるいは彩度の情報を取得する。描画処理部２２は映像情報抽出部２１より受け取った明度あるいは彩度の情報を用いて、描画内容に対しても同様の明度あるいは彩度の偏りのあるように見せる加工処理を施した描画を行う。これにより、例えばセピア色やモノクロ色の背景に対して描画する場合にも映像の雰囲気を損なわずに合成することができる。

　（第１０の実施の形態）
　＜描画合成装置の構成＞
　図１０は、本発明の実施の形態１０における全体を示す図である。但し、前述の実施の形態２において説明した部材に対応する部材には同一の符号を付して、説明を省略する。

　図１０において映像情報抽出部２１は映像データバッファ２３のデータを画像として、画像のノイズパターンを判定する処理アルゴリズムを用いてノイズ情報を取得し、描画処理部２２に渡す。描画処理部２２は受け取ったノイズ情報に応じて、ノイズ成分付加描画処理部２２６にて画像処理を伴いながら描画合成を行う。

　＜実施例＞
　映像データバッファ２３に置かれたデータから映像情報抽出部２１に備える映像解析部２１１がノイズパターンの情報を取得する。描画処理部２２は映像情報抽出部２１より受け取ったノイズ情報を用いて、描画内容に対しても同様のノイズがあるように見せる加工処理を施した描画を行う。これにより、フィルムをデジタル化したようなノイズ混じりの映像を認識した場合に、その時のノイズパターンと同等のノイズを付加したような画像処理を施したものを描画することにより映像の雰囲気を損なわずに描画合成することができる。

　（第１１の実施の形態）
　＜描画合成装置の構成＞
　図１１は、本発明の実施の形態１１における合成描画用パラメータ付加装置の全体を示す図である。同図の合成描画用パラメータ付加部３１は、映像ストリームに対して実施の形態２および実施の形態５から実施の形態１０に存在する映像情報抽出部２１が同じく対応する実施の形態５から実施の形態１０の描画処理部２２に渡す情報を予め映像ストリームに付加する。この場合、合成描画用パラメータが付加された映像ストリームは実施の形態１に示す装置において、描画処理を行うことが可能となる。

　＜実施例＞
　映像ストリームにおいて合成描画用パラメータを付加する装置があれば、ストリームのパケット情報を参照することにより、デコード後のデータを解析せずに所望の合成描画効果を実現できる。デコード後のデータ量に比べて予め描画したい内容をパケット情報として付加することにより、解析の手間を省くことが可能となる。

　なお、当該合成描画用パラメータ付加はＰＣのソフトウェアであっても良い。例えばビデオ撮影データに対して所望の合成処理を付加できる。

　本発明にかかる描画合成装置は、映像に対して描画内容を違和感なく描画することができるだけでなく、映像に対してさまざまな描画効果を加えることができ、従来に比べてよりインタラクティブな視聴環境を楽しむ用途にも応用できる。

１１、２１　映像情報抽出部
１２、２２　描画処理部
１３　デコーダ
１４、２３　映像データバッファ
１１１　パケット解析部
１２１　描画解像度変換処理部
１２２　色深度変換処理部
２１１　映像解析部
２２１　隠面処理部
２２２　ぼかし処理部
２２３　動き成分合成処理部
２２４　認識物体描画処理部
２２５　明度、彩度変更描画処理部
２２６　ノイズ成分付加描画処理部
３１　合成描画用パラメータ付加部

Claims

　映像ストリームに含まれるパケットデータを取得し前記パケットデータを元に映像情報を抽出する映像情報抽出部と、
　前記映像情報抽出部が抽出した映像情報から描画処理内容を決める描画処理部と、
　映像ストリームをデコードしたデータが置かれる映像データバッファとを備え、
　前記映像情報抽出部が抽出した映像情報に応じた絵を前記映像データバッファのデータに合成して描画する
ことを特徴とする描画合成装置。
　映像ストリームをデコードしたデータが置かれる映像データバッファと、
　前記映像データバッファに置かれたデータから映像情報を抽出する映像情報抽出部と、
　前記映像情報抽出部が抽出した映像情報から描画処理内容を決める描画処理部とを備え、
　前記映像情報抽出部が抽出した映像情報に応じた絵を前記映像データバッファのデータに合成して描画する
ことを特徴とする描画合成装置。
請求項１に記載の描画合成装置において、
　前記映像ストリームに含まれるパケットデータが映像フォーマットの情報であり、
　前記映像情報が解像度情報であり、
　前記描画処理部が前記解像度情報に基づいて描画解像度を変える
ことを特徴とする描画合成装置。
請求項１に記載の描画合成装置において、
　前記映像ストリームに含まれるパケットデータが映像フォーマットの情報であり、
　前記映像情報が色深度情報であり、
　前記描画処理部が前記色深度に基づいて描画の色深度を変える
ことを特徴とする描画合成装置。
請求項２に記載の描画合成装置において、
　前記映像情報が映像から判断される奥行き情報であり、
　前記描画処理部が前記奥行き情報を用いて隠面処理を伴う描画を行う
ことを特徴とする描画合成装置。
請求項２に記載の描画合成装置において、
　前記映像情報が映像から判断される奥行き情報であり、
　前記描画処理部が前記奥行き情報を用いてぼかし処理を伴う描画を行う
ことを特徴とする描画合成装置。
請求項２に記載の描画合成装置において、
　前記映像情報が映像から判断される映像内の動きベクトルに関する情報であり、
　前記描画処理部が前記動きベクトルの情報を用いて動き成分の付加処理を伴う描画を行う
ことを特徴とする描画合成装置。
請求項２に記載の描画合成装置において、
　前記映像情報が映像から判断される物体認識の情報であり、
　前記描画処理部が前記物体認識の情報を用いて特定の物体に描画を行う
ことを特徴とする描画合成装置。
請求項２に記載の描画合成装置において、
　前記映像情報が映像から判断される映像の明度または彩度の情報であり、
　前記描画処理部が前記明度または彩度の情報を用いて描画色の明度または彩度を変えて描画処理を行う
ことを特徴とする描画合成装置。
請求項２に記載の描画合成装置において、
　前記映像情報が映像から判断される映像のノイズ成分の情報であり、
　前記描画処理部が前記ノイズ成分の情報を用いてノイズ成分の付加処理を伴う描画を行う
ことを特徴とする描画合成装置。
　請求項５から１０のいずれか一つに記載の描画合成装置で使用される合成描画用のパラメータを、映像ストリームのパケット情報に付加する
ことを特徴とする合成描画用パラメータ付加装置。