JP4767916B2

JP4767916B2 - 動画像符号化データ変換装置

Info

Publication number: JP4767916B2
Application number: JP2007170427A
Authority: JP
Inventors: 健二小林
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2007-06-28
Filing date: 2007-06-28
Publication date: 2011-09-07
Anticipated expiration: 2027-06-28
Also published as: JP2009010714A

Description

本発明は、デジタル圧縮された画像の構成を変換する動画像符号化データ変換装置に関する。

従来の動画像符号化データ変換装置は、ＭＰＥＧ２やＨ.２６４等のデジタル圧縮方式において、既にデジタル圧縮された動画像符号化データのグループ・オブ・ピクチャ（ＧＯＰ）の構成を変更するトランスコーディングを行うことによって、動画像を再生する際のランダムアクセス性の向上や、特殊再生の容易化を実現している(例えば、特許文献１)。ＭＰＥＧ規格で規定されているように、ＧＯＰとは、図１０に示すように、Iピクチャ、Ｐピクチャ及びＢピクチャを有し、再生開始が可能な単位である。

特許第３３２１３３２号明細書

上記説明した従来の動画像符号化データ変換装置においては、複数のデジタル圧縮動画像を、１つの多画面合成されたモニタに表示するシステムに適応させる場合には、各デジタル圧縮動画像のＧＯＰの同期を取りつつ、並列にトランスコードを行う。このため、個々のデジタル圧縮動画像のＧＯＰ構成の関係によっては、効率良くトランスコードすることができず、複数チャンネルを多画面合成した画像として再生する場合のランダムアクセス性は補償できない。よって、逆方向に検索を行いながら所望の多画面合成画像を検索し、検索した場所から多画面合成画像として再生する場合には、大きな演算時間を要してしまう場合があった。また、従来の動画像符号化データ変換装置を複数個並列に使用する場合、ハードウェア資源が増えてしまう。

本発明の目的は、複数の動画像を１つの画面に合成するシステムに適用しても、効率良くトランスコードを行い、データ量の増加を抑えつつ、逆方向の多画面合成画像の検索及びその時点からの再生を高速に行うことができ、かつハードウェア資源も削減できる動画像符号化データ変換装置を提供することである。

本発明は、符号化された動画像データをデコードするデコーダと、前記デコーダが複数の前記符号化された動画像データをそれぞれデコードして得られた複数の動画像を一画面の合成画像として合成する合成部と、前記複数の動画像の各ピクチャ情報及び操作入力部から指定されたＧＯＰ間隔情報に基づいて、前記合成部で得られた合成画像のデータを符号化するエンコーダと、前記エンコーダによって符号化された合成画像のデータを記憶する記憶部と、を備え、前記エンコーダは、前記合成画像のデータの符号化を前記合成画像の表示順に行い、前記ＧＯＰ間隔情報が示す時間間隔で表示される合成画像のデータを符号化してＩピクチャを生成し、前記時間間隔の間に表示される合成画像のデータを符号化してＰピクチャを生成して、前記Ｉピクチャ及び前記Ｐピクチャから構成される合成画像のＧＯＰを生成し、合成画像をＩピクチャとして符号化した後、次に合成画像をＩピクチャとして符号化するまで、前記Ｐピクチャとして符号化される合成画像内の前記複数の動画像のいずれかにＩピクチャを示す動画像が含まれている場合は、当該Ｉピクチャを示す動画像が表示される部分を黒画として符号化し、次に合成画像をＩピクチャとして符号化するまで、前記Ｐピクチャとして符号化される合成画像内の前記Ｉピクチャ情報のあった動画像の部分は黒画として符号化し、前記Ｐピクチャとして符号化される合成画像内の前記複数の動画像のすべてがＩピクチャを示す動画像で表示される場合は、前記Ｐピクチャの符号化を停止する動画像符号化データ変換装置を提供する。

上記動画像符号化データ変換装置では、前記エンコーダは、前記合成画像内のすべての前記動画像のピクチャ情報にＩピクチャを示す情報が含まれることになったとき、前記Ｐピクチャとして符号化される合成画像内の最後の符号化データに、前記エンコーダによる符号化の終了を示す情報を付加する。

上記動画像符号化データ変換装置は、前記合成画像の表示時間の内、前記操作入力部から指定された合成画像の再生時刻を含むＧＯＰの先頭の前記合成画像のＩピクチャの符号化データを前記記憶部から前記合成画像内の動画像が黒画になるまで読み出して前記デコーダに送った後、前記Ｉピクチャに続くＰピクチャの符号化データを前記Ｐピクチャとして符号化された合成画像がなくなるまで前記記憶部から読み出して前記デコーダに送る再生制御部を備える。

上記動画像符号化データ変換装置では、前記再生制御部は、前記記憶部から読み出したＰピクチャの合成画像内に前記黒画が含まれている場合、前記黒画に該当する部分の符号化された動画像データを前記記憶部から読み出して前記デコーダに送り、前記合成部は、前記黒画が含まれているＰピクチャの合成画像と、前記黒画に該当する部分の符号化された動画像とを合成する。

本発明に係る動画像符号化データ変換装置によれば、複数の動画像を１つの画面に合成するシステムに適用しても、効率良くトランスコードを行い、データ量の増加を抑えつつ、逆方向の多画面合成画像の検索及びその時点からの再生を高速に行うことができ、かつハードウェア資源も削減できる。

以下、本発明の実施形態について、図面を参照して説明する。

（第１の実施形態）
図１は、第１の実施形態の動画像符号化データ変換装置を示すブロック図である。図１に示すように、第１の実施形態の動画像符号化データ変換装置１００は、インタフェース１０１と、デコーダ１０２ａ〜１０２ｄと、記憶部１０３と、メモリ１０４ａ〜１０４ｄと、合成部１０５と、トランスコード制御部１０６と、エンコーダ１０７と、再生制御部１０８と、操作入力部１０９とを備える。動画像符号化データ変換装置１００には、カメラ１１０ａ〜１１０ｄによってそれぞれ撮像された動画像のデジタル圧縮されたデータ（デジタル圧縮動画像データ）が、各カメラからネットワーク１１１を介して入力される。

デコーダ１０２ａ〜１０２ｄは、インタフェース１０１を介して入力されたデジタル圧縮動画像データをデコードする。記憶部１０３は、各カメラのデジタル圧縮動画像データ、及びエンコーダ１０７によってデジタル符号化された合成画像データを保存する。メモリ１０４ａ〜１０４ｄは、デコーダ１０２ａ〜１０２ｄによってデコードされた動画像データを一時的に保持する。合成部１０５は、画像サイズの拡大及び縮小、並びに画像の合成の機能を有する。合成部１０５が合成機能を実行する際、合成部１０５は、メモリ１０４ａ〜１０４ｄの少なくとも２つから動画像データを読み出して１つの画像に合成する。合成部１０５から出力された合成画像データは監視モニタ１２０及びエンコーダ１０７に供給される。

エンコーダ１０７は、合成部１０５から入力された合成画像データを、メモリ１０４ａ〜１０４ｄに格納されている各動画像データの情報と、トランスコード制御部１０６から指示されたＧＯＰ間隔情報とに基づいて、デジタル符号化する。エンコーダ１０７によってデジタル符号化されたデータは記憶部１０３に格納される。再生制御部１０８は、記憶部１０３に格納されているデジタル圧縮動画像データとデジタル符号化された合成画像データとを用いて、過去に再生した合成画像の再生を制御する。操作入力部１０９は、入力インタフェースを用いたユーザによる操作を受け付け、トランスコード制御部１０６と再生制御部１０８にユーザによる操作情報を送る。

動画像符号化データ変換装置１００の動作について、図面を参照して説明する。図２は、カメラ１１０ａ〜１１０ｄから出力されるデジタル圧縮動画像データのストリームの例を示す図である。図２中の「Ｉ」はＩピクチャ、「Ｐ」はＰピクチャを示し、左からエンコードされた順にピクチャデータがフレーム順に並んでいる。Ｉピクチャ及びＰピクチャによって構成されたＧＯＰでは、エンコードされた順番が表示順となる。

図３は、カメラ１１０ａ〜１１０ｄから出力された異なるストリームの例を示す図である。カメラ１１０ａ〜１１０ｄから出力されたストリームは、ネットワーク１１１を介してインタフェース１０１に入力される。インタフェース１０１は、入力されたストリームをチャンネル毎に分離して、各チャンネルのストリームをデコーダ１０２ａ〜１０２ｄにそれぞれ入力する。図３に示す符号４００は、あるデコードタイミング時に各デコーダ１０２ａ，1０２ｂ，１０２ｃ，１０２ｄでデコードを行っているストリーム部分を示し、符号４０１はデコーダ１０２ａで、符号４０２はデコーダ１０２ｂで、符号４０３はデコーダ１０２ｃで、符号４０４はデコーダ１０２ｄでデコードを行っているストリーム部分を示す。

図４は、図３に示すストリームがデコードされ、メモリ１０４ａ〜１０４ｄに格納される動画像データの例を示す図である。図４に示す符号５０１はメモリ１０４ａに、符号５０２はメモリ１０４ｂに、符号５０３はメモリ１０４ｃに、符号５０４はメモリ１０４ｄに格納される動画像データを示す。また、符号５１０は、あるタイミングで表示する画像の組を示し、この組の画像データが合成部１０５に入力される。合成部１０５は、各チャンネルａ〜ｄの画像を縮小及び合成して、図４に示す画像５２０のような多画面合成画像を形成し、合成画像データを監視モニタ１２０に出力する。

図５は、エンコーダ１０７が行うトランスコードの第１段階の様子を示す図である。エンコーダ１０７は、トランスコード制御部１０６から設定されたＧＯＰ間隔情報が示すタイミング（時間間隔）６１１，６１２，６１３で、合成部１０５から出力された合成画像６２１，６２２，６２３をデジタル符号化してＩピクチャを生成する。トランスコード制御部１０６へのＩピクチャの生成間隔はユーザが任意に設定でき、ユーザによって設定された設定値が操作入力部１０９を介してエンコーダ１０７に送られる。デジタル符号化された合成画像６２１，６２２，６２３のデータは、その合成画像の基になった各チャンネルの画像のピクチャ情報と共に、記憶部１０３に記録される。各チャンネルの画像のピクチャ情報とは、合成画像の基になった各チャンネルの画像のピクチャ情報(Ｉピクチャ，Ｐピクチャ)である。

図６は、エンコーダ１０７が行うトランスコードの第２段階の様子を示す図である。Ｉピクチャとしてデジタル符号化される合成画像６２２と合成画像６２３との間の合成画像を例に説明する。エンコーダ１０７は、合成画像６２２の次の合成画像７０１をデジタル符号化してＰピクチャを形成する。デジタル符号化された合成画像７０１のデータは、その合成画像の基になった各チャンネルの画像のピクチャ情報(Ｉピクチャ，Ｐピクチャ)と共に、記憶部１０３へ記録される。

次に、エンコーダ１０７は、その次の合成画像７０２に対してもデジタル符号化してＰピクチャを形成するが、チャンネルｃのストリームはＩピクチャであるため、合成画像７０２中のチャンネルｃに該当する部分は黒画としてデジタル符号化を行う。このように、エンコーダ１０７は、合成画像のデジタル符号化を順に行い、合成画像７０２のように一部のチャンネルのストリームがＩピクチャの場合、Ｐピクチャを形成するデジタル符号化ではそのチャンネルに該当する部分を黒画として扱う。すなわち、合成画像６２２と合成画像６２３との間の合成画像のデジタル符号化では、図６中の符号７０７のタイミングで全てのストリームでＩピクチャが出現するため、Ｐピクチャとしてデジタル符号化される合成画像は合成画像７０１〜７０６までである。合成画像７０１〜７０６のデジタル符号化された各データは、ピクチャ情報と共に記憶部１０３に記録される。特に、Ｉピクチャとしてデジタル符号化される合成画像６２２と合成画像６２３との間で、最後にデジタル符号化が行われる合成画像７０６のデジタル符号化されたデータには、ピクチャ情報と共に、デジタル符号化が終了したことを示すＥＯＳ（End Of Sequence）情報も付加される。

このようにして、Ｉピクチャの合成画像６２２及びＰピクチャの合成画像７０１〜７０６から構成されるＧＯＰが、各ピクチャ情報及びＥＯＳ情報と共に記憶部１０３に記録される。

次に、ユーザによって指定された時刻の画像を再生する際の動画像符号化データ変換装置１００の動作について、図７及び図８を参照して説明する。ユーザは、操作入力部１０９を介して、現在の時刻までに再生した合成画像の中から、もう一度再生したい過去の合成画像の再生時刻を再生制御部１０８に指定する。再生制御部１０８は、記憶部１０３に記録されているＩピクチャの合成画像の中から、指定時刻を含むＧＯＰの先頭のＩピクチャの合成画像を選択し、そのデータを記憶部１０３から読み出してデコーダ１０２ａに転送する。例えば、図７中の符号８００で示すＧＯＰ内のどこかの時刻がユーザによって指定された場合、再生制御部１０８は、Ｉピクチャの合成画像８１１を選択し、そのデータを記憶部１０３から読み出してデコーダ１０２ａに転送する。

デコーダ１０２ａでデコードされたＩピクチャの合成画像８１１は、合成部１０５では何も行われずに監視モニタ１２０へ出力される。次に、Ｐピクチャの合成画像８１２のデータを記憶部１０３から読み出してデコーダ１０２ａに転送する。デコーダ１０２ａでデコードされたＰピクチャの合成画像８１２も、合成部１０５では何も行われずに監視モニタ１２０へ出力される。次に、Ｐピクチャの合成画像８１３のデータを記憶部１０３から読み出してデコーダ１０２ａに転送する。Ｐピクチャの合成画像８１３中のチャンネルｃに該当する部分は、図８中の符号９０１に示す合成画像のように、黒画としてエンコードされている。このため、再生制御部１０８は、この時刻から開始されるチャンネルｃのデジタル圧縮動画像データのストリーム８３３を記憶部１０３から読み出してデコーダ１０２ｂに転送し、デコーダ１０２ｂはこの圧縮動画像データをデコードする。

合成部１０５は、デコーダ１０２ｂがチャンネルｃのストリーム８３３をデコードして得られた画像９０２を縮小して、デコーダ１０２ａがＰピクチャの合成画像８１３をデコードして得られた画像９０１上のチャンネルｃの該当部分に合成する。合成画像データは監視モニタ１２０に出力される。Ｐピクチャの合成画像８１４以降も、黒画としてエンコードされているチャンネルに該当する部分の画像は、記憶部１０３に格納されているデジタル圧縮動画像データのストリーム８３１，８３２，８３３，８３４をデコードして得られた画像を縮小することによって得られる。

Ｐピクチャの合成画像８１７をデコードした時点でＥＯＳ情報が検出されるため、その後（８１８以降）の合成画像は存在しないことが判明する。このため、８１８以降は、全てのチャンネルにおいて、次のＩピクチャ８５１が出現するまで、記憶部１０３に格納されている全チャンネルのデジタル圧縮動画像データのストリームを読み出してデコードし、合成部１０５で合成する。

以上説明したように、本実施形態の動画像符号化データ変換装置１００によれば、過去にデコードして表示した合成画像の中から、ユーザによって指定された時刻に近い合成画像を、合成前の各動画像のＧＯＰ構成に関係なく、即座に表示することができる。また、指定時刻から１フレーム毎に順方向再生する際にも、合成前の各動画像のＧＯＰ構成に関係なくデコードすることができる。また、デジタル符号化する必要のないチャンネルに該当する部分の画像は、黒画としてデジタル符号化するため、全てのチャンネルの画像をデジタル符号化するよりも処理量を削減することができる。また、デジタル符号化を合成画像に対してのみ行うことで、１つのエンコーダで多画面の画像のデジタル符号化を行うことができる。

なお、本実施形態では、カメラ１１０ａ〜１１０ｄの数、デコーダ１０２ａ〜１０２ｄの数、メモリ１０４ａ〜１０４ｄの数をそれぞれ４つとしたが、０又は１つ以外であれば４つに限らない。

（第２の実施形態）
図９は、第２の実施形態の動画像符号化データ変換装置を示すブロック図である。第２の実施形態の動画像符号化データ変換装置２００が第１の実施形態の動画像符号化データ変換装置１００と異なる点は、記憶部１０３の代わりにトランスコードデータ格納メモリ１０３１を備えることである。本実施形態の動画像符号化データ変換装置２００が備えるトランスコードデータ格納メモリ１０３１は、エンコーダ１０７によってデジタル符号化されたデータを保持する。

本実施形態では、第１の実施形態の記憶部１０３に該当する手段（記憶部１０４２）は、ネットワーク１１１に接続されたネットワークレコーダ１０４０内に設けられている。カメラ１１０ａ〜１１０ｄによって撮像された動画像のデジタル圧縮動画像データは、ネットワーク１１１を介してネットワークレコーダ１０４０内の記憶部１０４２に格納される。

また、本実施形態の動画像符号化データ変換装置２００が備える再生制御部２０８は、ネットワークレコーダ１０４０の記憶部１０４２に格納されているデジタル圧縮動画像データと、トランスコードデータ格納メモリ１０３１内に格納されているデジタル符号化された合成画像データとを用いて、過去に再生した合成画像の再生を制御する。再生制御部２０８がネットワークレコーダ１０４０の記憶部１０４２に格納されているデジタル圧縮動画像データを用いる場合、再生制御部２０８は、インタフェース１０１及びネットワーク１１１を介してネットワークレコーダ１０４０に当該デジタル圧縮動画像データの取得要求を行う。

以上説明した点以外は第１の実施形態と同様であり、図９において、図１と共通する構成要素には同じ参照符号が付されている。

なお、上記説明した第１及び第２の実施形態では、カメラ１１０ａ〜１１０ｄの数、デコーダ１０２ａ〜１０２ｄの数、メモリ１０４ａ〜１０４ｄの数をそれぞれ４つとしたが、０又は１つ以外であれば４つに限らない。

本発明に係る動画像符号化データ変換装置は、複数のデジタル圧縮動画像を１つの多画面合成されたモニタに表示及び再生する動画像処理装置等として有用である。

第１の実施形態の動画像符号化データ変換装置を示すブロック図各カメラから出力されるデジタル圧縮動画像データのストリームの例を示す図各カメラから出力された異なるストリームの例を示す図図３に示すストリームがデコードされ、各メモリに格納される動画像データの例を示す図エンコーダが行うトランスコードの第１段階の様子を示す図エンコーダが行うトランスコードの第２段階の様子を示す図第１の実施形態の動画像符号化データ変換装置による合成画像の再生について説明する図合成画像の再生の一例について説明する図第２の実施形態の動画像符号化データ変換装置を示すブロック図ＧＯＰの構成例を示す図

符号の説明

１００，２００動画像符号化データ変換装置
１０１インタフェース
１０２ａ〜１０２ｄデコーダ
１０３，１０４２記憶部
１０４ａ〜１０４ｄメモリ
１０５合成部
１０６トランスコード制御部
１０７エンコーダ
１０８，２０８再生制御部
１０９操作入力部
１０３１トランスコードデータ格納メモリ
１０４０ネットワークレコーダ

Claims

符号化された動画像データをデコードするデコーダと、
前記デコーダが複数の前記符号化された動画像データをそれぞれデコードして得られた複数の動画像を一画面の合成画像として合成する合成部と、
前記複数の動画像の各ピクチャ情報及び操作入力部から指定されたＧＯＰ間隔情報に基づいて、前記合成部で得られた合成画像のデータを符号化するエンコーダと、
前記エンコーダによって符号化された合成画像のデータを記憶する記憶部と、を備え、
前記エンコーダは、
前記合成画像のデータの符号化を前記合成画像の表示順に行い、前記ＧＯＰ間隔情報が示す時間間隔で表示される合成画像のデータを符号化してＩピクチャを生成し、前記時間間隔の間に表示される合成画像のデータを符号化してＰピクチャを生成して、前記Ｉピクチャ及び前記Ｐピクチャから構成される合成画像のＧＯＰを生成し、
合成画像をＩピクチャとして符号化した後、次に合成画像をＩピクチャとして符号化するまで、前記Ｐピクチャとして符号化される合成画像内の前記複数の動画像のいずれかにＩピクチャを示す動画像が含まれている場合は、当該Ｉピクチャを示す動画像が表示される部分を黒画として符号化し、
次に合成画像をＩピクチャとして符号化するまで、前記Ｐピクチャとして符号化される合成画像内の前記Ｉピクチャ情報のあった動画像の部分は黒画として符号化し、
前記Ｐピクチャとして符号化される合成画像内の前記複数の動画像のすべてがＩピクチャを示す動画像で表示される場合は、前記Ｐピクチャの符号化を停止することを特徴とする動画像符号化データ変換装置。
請求項１に記載の動画像符号化データ変換装置であって、
前記エンコーダは、前記合成画像内のすべての前記動画像のピクチャ情報にＩピクチャを示す情報が含まれることになったとき、前記Ｐピクチャとして符号化される合成画像内の最後の符号化データに、前記エンコーダによる符号化の終了を示す情報を付加することを特徴とする動画像符号化データ変換装置。
請求項１に記載の動画像符号化データ変換装置であって、
前記合成画像の表示時間の内、前記操作入力部から指定された合成画像の再生時刻を含むＧＯＰの先頭の前記合成画像のＩピクチャの符号化データを前記記憶部から前記合成画像内の動画像が黒画になるまで読み出して前記デコーダに送った後、前記Ｉピクチャに続くＰピクチャの符号化データを前記Ｐピクチャとして符号化された合成画像がなくなるまで前記記憶部から読み出して前記デコーダに送る再生制御部を備えたことを特徴とする動画像符号化データ変換装置。
請求項３に記載の動画像符号化データ変換装置であって、
前記再生制御部は、前記記憶部から読み出したＰピクチャの合成画像内に前記黒画が含まれている場合、前記黒画に該当する部分の符号化された動画像データを前記記憶部から読み出して前記デコーダに送り、
前記合成部は、前記黒画が含まれているＰピクチャの合成画像と、前記黒画に該当する部分の符号化された動画像とを合成することを特徴とする動画像符号化データ変換装置。