JP7163145B2 - 映像処理装置、映像処理方法、およびプログラム - Google Patents

Description

本発明の実施形態は、映像処理装置、映像処理方法、およびプログラムに関する。

近年、特に在京放送局には大規模なデジタル放送マスタ送出システムがインストールされるようになってきている。この種のシステムは、多種多様な映像を送出できるように、多様な映像処理装置を備えている。例えば地震や災害が発生した場合の緊急速報の送送出時には、緊急ニュースの文字・音声情報の合成、時計、天気、提供スーパーの合成、Ｌ字画面と呼ばれる動画の縮小などの、映像音声効果処理がリアルタイムで実行される。これらの処理は、フェーダー、スーパー、Ｌ字処理などを行う、専用の装置に実装される。従来、これらの処理はＦＰＧＡ（Field Programmable Gate Array）等の専用ハードウェアを用いて実現されていた。

その一方で、近年の半導体技術の向上により、ソフトウェアを用いた映像効果処理と、ビデオサーバやプレイアウト機能が融合した装置が注目を集めている。この種の装置はＣｉａＢ（Channel in a Box）と称され、海外での放送や、ネット配信等で実用化され始めている。

長石 敦、向山 豊彦、金田 昌之著、「地上デジタル放送マスタ送出システム」、東芝レビュー Ｖｏｌ．５９ Ｎｏ．２（２００４）、ｐ７～１７

従来の技術では、ハードウェアベースの映像処理では処理内容、および処理順序が固定化されるため、汎用性に乏しく、固定的な処理しかできない。一方、ソフトウェアベースの映像処理では、一般的には時計、天気などの静止画ファイルはフレームの構造でファイル化されるため、処理もフレーム単位で実行される。このため、放送用のインターレース映像を扱う場合、処理遅延が必要以上に長くなる傾向がある。
そこで、目的は、映像処理にかかる遅延時間を最小限にし得る映像処理装置、映像処理方法、およびプログラムを提供することにある。

実施形態によれば、映像処理装置は、メモリおよびプロセッサを具備する。プロセッサは、第１のインターレース映像を、当該第１のインターレース映像のフィールド単位でキャプチャする。また、キャプチャされた第１のインターレース映像のデータを、第１のインターレース映像のフィールドよりも小さい単位で区切られた領域ごとにメモリに転送する。また、第２のインターレース映像を、当該第２のインターレース映像のフィールド単位でキャプチャする。また、キャプチャされた第２のインターレース映像のデータを、第２のインターレース映像のフィールドよりも小さい単位で区切られた領域ごとにメモリに転送する。そして、キャプチャされた第１のインターレース映像のデータと、キャプチャされた第２のインターレース映像のデータとを順次合成する。

実施形態に係わる映像処理装置の一例を示す機能ブロック図。 入力されるインターレース映像の１フレームを示す図。 重畳用素材のインターレース映像の１フレームを示す図。 入力されるインターレース映像の前半フィールドの一例を示す模式図。 入力されるインターレース映像の後半フィールドの一例を示す模式図。 重畳用素材の１フレームと見做す領域の一例を示す図。 入力映像前半フィールドと重畳用素材１とを合成した状態を示す模式図。 入力映像後半フィールドと重畳用素材２とを合成した状態を示す模式図。 合成された最終画像を示す模式図。 入力されるインターレース映像の処理単位の一例を示す図。 入力されるインターレース映像の前半フィールドの他の例を示す模式図。 入力されるインターレース映像の後半フィールドの他の例を示す模式図。 重畳用素材の１フレームの一例を示す図。 入力映像前半フィールドと重畳用素材とを合成した状態を示す模式図。 入力映像後半フィールドと重畳用素材とを合成した状態を示す模式図。 合成された最終画像を示す模式図。 実施形態における効果を説明するための図。

図１は、実施形態に係わる映像処理装置の一例を示す機能ブロック図である。映像処理装置１００は、番組およびコマーシャル映像（ＣＭ）を含む映像素材を蓄積するストレージ１０、プロセッサ２０、およびメモリ３０を備える。すなわち映像処理装置１００は、ハードウェア資源としてのプロセッサ２０およびメモリ３０を備える、コンピュータである。

プロセッサ２０は、ＦＡ処理部２１、ＫＥＹＥＲ（キーヤ）処理部２２、Ｌ字加工処理部２３、ＫＥＹＥＲ処理部２４、ＡＭＩＸ処理部２５、および、ＡＮＣ ＩＮＳ処理部２６を備える。これらの処理部はいずれも、プロセッサ２０により実行可能なプログラムとして実装されることができ、ソフトウェアベースでの機能を実現する。プログラムはメモリ３０に格納されており、映像処理装置１００は、ハードウェア資源としてのメモリ３０に記録されたプログラムをプロセッサ２０が実行することで、その機能を実現する。

［フィールド遅延とするための前提条件］
図２に、入力されるインターレース映像の１フレームを示す。また、図３に、重畳用素材のインターレース映像の１フレームを示す。緊急ニュースの文字、時計、天気、提供スーパーなどのファイルで入力される重畳用素材や、文字列から装置内部で生成する素材は、インターレース映像の１フレームと同様に、水平画素数がＨで垂直画素数がＶの矩形のフレーム構造でメモリ３０に展開されるとする。

実施形態では、図２に示されるような、入力されるインターレース映像を、フィールド単位でメモリ３０にキャプチャする。すなわち、プロセッサ２０は、入力されるインターレース映像を、このインターレース映像のフィールド単位でキャプチャする。その際、プロセッサ２０は、キャプチャされたインターレース映像のデータを、そのフィールドよりも小さい単位で区切られた領域ごとにメモリ３０に転送する。

また、プロセッサ２０は、上記インターレース映像に重畳される素材のインターレース映像を、図３に示されるような、インターレース映像のフィールド単位でキャプチャする。その際、プロセッサ２０は、キャプチャされたインターレース映像のデータを、そのフィールドよりも小さい単位で区切られた領域ごとにメモリ３０に転送する。

そして、プロセッサ２０は、メモリ３０へのデータの転送が完了するごとに、キャプチャされた入力インターレース映像のデータと、キャプチャされた素材インターレース映像のデータとを順次合成する。

［合成パターン１］
キャプチャした入力インターレース映像のフィールドは、図４および図５に示されるような、メモリ３０のフィールド構造の矩形領域に記憶されている。これに、図６に示されるような重畳用素材のデータを合成する。重畳用素材は、入力されるインターレース映像との合成時には、図６に示されるように矩形のフレーム構造を（２Ｈ）×（Ｖ／２）とみなす。そして、前半フィールドはアドレス０から始まるＨ×（Ｖ／２）の矩形領域を、後半フィールドはアドレスＨから始まるＨ×（Ｖ／２）の矩形領域を、フィールド構造の画像とする。入力映像と重畳用素材の合成および縮小は、フィールド構造の画像で行う
インタレースの入力映像１フレーム（水平画素数Ｈ×垂直画素数Ｖ）に対して重畳用素材１フレーム（水平画素数Ｈ×垂直画素数Ｖ）を重畳処理する際に、プロセッサ２０は、入力映像の前半フィールドを、図７に示すように水平画素数Ｈ、垂直画素数Ｖ／２のメモリ領域にキャプチャする。また、次に入ってくる後半フィールドを、図８に示すように平画素数Ｈ、垂直画素数Ｖ／２のメモリ領域にキャプチャする。

さらに、プロセッサ２０は、前半フィールドに重畳される（重畳用素材の）ラインをＨ×Ｖ／２の短形領域に保存しておき、映像の前半フィールドに重畳する。次に後半フィールドに重畳するラインをＨ×Ｖ／２の短形領域に保存しておき、映像の後半フィールドに重畳する。最終画像は、図９に示されるように、これら前半フィールドと後半フィールドを重ね合わせたフレームとなる。

すなわち実施形態では、図１０に示されるように、入力されるインターレース映像を、そのフィールドよりも小さな単位（図中ア、イ）に区切ってキャプチャする。また、入力映像と重畳用素材とを合成する際には、フィールド単位、またはそれよりも小さな単位で合成する。

［合成パターン２］
キャプチャした入力インターレース映像のフィールドは、メモリ３０のフレーム構造の矩形領域に、図１１および図１２に示されるように、１ラインずつ飛ばして保存されている。このとき、飛ばされたラインに入っているデータは不問とすることができる。このフィールドに、図１３に示されるような重畳用素材のデータを合成する。重畳用素材は、水平画素数がＨで垂直画素数がＶの矩形のフレーム構造でメモリ３０に展開される。

合成および縮小はフィールド構造の画像で行うが、合成時の垂直方向のフィルタは、１ライン毎にフィルタ係数を０とする。図１４は、入力映像前半フィールドと重畳用素材とを合成した状態を示し、図１５は、入力映像後半フィールドと重畳用素材とを合成した状態を示す。

図１６は、合成パターン２で合成された最終画像を示す。このように、出力される段階ではインターレースとなるよう、キャプチャ時と同様に１ラインずつ飛ばしてメモリ３０から読み出す。

インタレースの入力映像１フレーム（水平画素数Ｈ×垂直画素数Ｖ）に対して重畳用素材１フレーム（水平画素数Ｈ×垂直画素数Ｖ）を重畳処理する際に、プロセッサ２０は、入力映像の前半フィールドを図１１に示すように水平画素数Ｈ、垂直画素数Ｖのメモリ領域にキャプチャする。その際、後半フィールドに相当するラインのデータは不問とする。キャプチャされたデータに、重畳用素材を重畳して、前半フィールドの重畳済データを作成する。

次に、入力映像の後半フィールドを、図１２に示されるように水平画素数Ｈ、垂直画素数Ｖのメモリ領域にキャプチャするが、前半フィールドに相当するラインのデータは不問とする。キャプチャされたデータに、重畳用素材を重畳して、後半フィールドの重畳済データを作成する。最終画像はこれら前半フィールドと後半フィールドを重ね合わせるが、不問データのフィルタ係数を０として重ね合わせることで、不問データが最終画像に影響を及ぼさないようにする。もしくは、Ｈ×Ｖのフレームで連続したアドレス空間にある領域を、図６にあるように２Ｈ×Ｖ／２の領域とみなし、トップフィールドは図６の左半分、ボトムフィールドは図６の右半分として、Ｈ×Ｖ／２の領域の単位で通常のフィルタリング処理を行う。つまり、フィルタ部分の処理に関し、図６の構造では１ライン飛ばしに０を入れる必要はない。

図１７は、実施形態における効果を説明するための図である。図１７の横軸は時間を示す。既存の技術では、図１７（ａ）のように、フィールド分のデータがメモリに溜まるのを待って合成処理を実施する。つまり０～Ｖまでの映像データがメモリに記憶されるのを待ってから合成や縮小などの処理を行うことになる。

一方、実施形態では、図１７（ｂ）のように、入力インターレース映像のフィールドよりも小さい単位に区切って順次、あるいは逐次合成処理を実施することにより、合成の後段の処理開始時間を早めることができる。従って、その分だけ処理時間を早めることができ、映像処理にかかる遅延時間を最小限にすることができる。

以上説明したようにこの実施形態では、ソフトウェアベースで実現することにより、処理内容及び処理順序に汎用性を持たせることができる。また、ソフトウェアベースの処理でも、インターレースを意識して処理を行い、入力されるインターレース映像を、フィールド毎に処理するようにした。よって映像の合成、縮小などの処理をフィールド単位で実行することが可能になり、処理の遅延をフレームの半分のフィールドに抑えることができる。従って実施形態によれば、映像処理にかかる遅延時間を最小限にし得る映像処理装置、映像処理方法、およびプログラムを提供することが可能になる。

なお、本発明は上記実施形態に限定されるものではない。例えば上記実施形態では、プロセッサ２０は、メモリ３０へのデータの転送が完了するごとに、キャプチャされた入力インターレース映像のデータと、キャプチャされた素材インターレース映像のデータとを順次合成すると説明した。これに代えて、プロセッサ２０は、フィールド単位でのメモリ３０へのデータの転送が完了するごとに、キャプチャされた入力インターレース映像のデータと、キャプチャされた素材インターレース映像のデータとを順次合成するようにしてもよい。このような処理方式は、特にＧＰＵ（Graphic Processing Unit）により処理との親和性が高い。

フィールド単位でのデータがたまってから合成処理を行うようにしても、図１７に示されるように、フィールドの合成開始時刻を早めることができる。これにより、遅延時間の低減効果を訴求することができる。

本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…ストレージ、２０…プロセッサ、２１…ＦＡ処理部、２２…ＫＥＹＥＲ処理部、２３…Ｌ字加工処理部、２４…ＫＥＹＥＲ処理部、２５…ＡＭＩＸ処理部、２６…ＩＮＳ処理部、３０…メモリ、１００…映像処理装置。

Claims (9)

1. メモリおよびプロセッサを具備する映像処理装置において、
   前記プロセッサは、
   第１のインターレース映像を、当該第１のインターレース映像のフィールド単位でキャプチャし、
   前記キャプチャされた前記第１のインターレース映像のデータを、前記第１のインターレース映像のフィールドよりも小さい単位で区切られた領域ごとに前記メモリに転送し、
   第２のインターレース映像を、当該第２のインターレース映像のフィールド単位でキャプチャし、
   前記キャプチャされた前記第２のインターレース映像のデータを、前記第２のインターレース映像のフィールドよりも小さい単位で区切られた領域ごとに前記メモリに転送し、
   前記キャプチャされた前記第１のインターレース映像のデータと、前記キャプチャされた前記第２のインターレース映像のデータとを順次合成する、映像処理装置。
2. 前記プロセッサは、
   前記キャプチャされた前記第１のインターレース映像のデータと、前記キャプチャされた前記第２のインターレース映像のデータとを、前記メモリへの前記データの転送が完了するごとに合成する、請求項１に記載の映像処理装置。
3. 前記プロセッサは、
   前記キャプチャされた前記第１のインターレース映像のデータと、前記キャプチャされた前記第２のインターレース映像のデータとを、前記フィールド単位での前記メモリへの転送が完了するごとに合成する、請求項１に記載の映像処理装置。
4. 前記プロセッサは、前記データの合成および縮小を、フィールド構造の画像で実施する、請求項１に記載の映像処理装置。
5. メモリおよびプロセッサを具備する映像処理装置に適用される映像処理方法において、
   前記プロセッサが、第１のインターレース映像を、当該第１のインターレース映像のフィールド単位でキャプチャし、
   前記プロセッサが、前記キャプチャされた前記第１のインターレース映像のデータを、前記第１のインターレース映像のフィールドよりも小さい単位で区切られた領域ごとに前記メモリに転送し、
   前記プロセッサが、第２のインターレース映像を、当該第２のインターレース映像のフィールド単位でキャプチャし、
   前記プロセッサが、前記キャプチャされた前記第２のインターレース映像のデータを、前記第２のインターレース映像のフィールドよりも小さい単位で区切られた領域ごとに前記メモリに転送し、
   前記プロセッサが、前記キャプチャされた前記第１のインターレース映像のデータと、前記キャプチャされた前記第２のインターレース映像のデータとを順次合成する、映像処理方法。
6. 前記プロセッサは、
   前記キャプチャされた前記第１のインターレース映像のデータと、前記キャプチャされた前記第２のインターレース映像のデータとを、前記メモリへの前記データの転送が完了するごとに合成する、請求項５に記載の映像処理方法。
7. 前記プロセッサは、
   前記キャプチャされた前記第１のインターレース映像のデータと、前記キャプチャされた前記第２のインターレース映像のデータとを、前記フィールド単位での前記メモリへの転送が完了するごとに合成する、請求項５に記載の映像処理方法。
8. 前記プロセッサは、前記データの合成および縮小を、フィールド構造の画像で実施する、請求項５に記載の映像処理方法。
9. 請求項５乃至８のいずれか１項に記載の方法をコンピュータに実行させるための命令を含む、プログラム。

Images