JP4215643B2

JP4215643B2 - 動画像符号化装置

Info

Publication number: JP4215643B2
Application number: JP2003543316A
Authority: JP
Inventors: 真毅高橋; 敏男野村
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2001-11-05
Filing date: 2002-10-31
Publication date: 2009-01-28
Anticipated expiration: 2022-10-31
Also published as: JPWO2003041407A1; WO2003041407A1

Description

技術分野
本発明は、複数の部品画像データによって構成される動画像データを符号化する動画像符号化装置に関するものである。
背景技術
複数の部品画像データからなる動画像データを符号化する従来技術としては、例えば特開平１０−３３６６６９号公報で示されている動画像符号化装置が知られている。この動画像符号化装置は、再生装置での動画像符号化データへの任意の時刻からの再生を実現するため、部品画像データ毎に、周期的にランダムアクセスの基点となるキーフレームを設け、当該フレームを符号化するものである。
このように符号化することで、再生装置では、任意のキーフレームからの部品画像データの再生を容易に行うことが可能となる。また、任意の時刻からのデータを再生する場合には、全ての部品画像データに対して指定時刻の直前のキーフレームを検索し、それ以降の部品画像符号化データを復号し指定時刻以降の画像を表示することにより実現することができる。
しかしながら、上述した従来の動画像符号化装置においては、部品画像データ毎に異なる周期でキーフレームが作成されるため、再生装置で所定の時刻の画像を表示するには、当該時刻の画像を構成する部品画像の復号だけでなく、部品画像毎に当該時刻直前のキーフレームから当該時刻までの全ての符号化データを復号しなければならなかった。そのため、高速再生や巻き戻し再生等の特殊再生を行うことが困難であるという問題があった。
本発明は、上記課題に鑑みてなされたものであり、高速再生や巻き戻し再生等の特殊再生を容易に実現することが可能な動画像符号化装置を提供するものである。
発明の開示
本発明は、上記の目的を達成するため、次の構成を有する。
本願の第１の発明は、複数の部品画像データからなる動画像データを符号化する動画像符号化装置であって、前記部品画像データを符号化し、部分画像符号化データを生成する部品画像符号化部と、前記部品画像符号化部が所定再生時刻の当該部品画像データをキーフレームとして符号化するか否かを制御するキーフレーム制御部とを備え、前記キーフレーム制御部が、所定再生時刻の動画像データを構成する全ての部品画像データをキーフレームとして符号化するよう制御することを特徴とする。
本願の第２の発明は、前記キーフレーム制御部が、所定の時間間隔で周期的にキーフレームを生成するよう制御を行うことを特徴とする。
本願の第３の発明は、前記キーフレーム制御部が、キーフレームとして符号化すべき動画像データの再生時刻の時間情報を前記部品画像符号化部に通知することでキーフレーム生成の制御を行い、前記部品画像符号化部が、前記キーフレーム制御部から通知された時間情報に従って、当該再生時刻以降の直近の部品画像データをキーフレームと判定し、当該再生時刻の部品画像データをキーフレームとして符号化することを特徴とする。
本願の第４の発明は、前記キーフレーム制御部が、キーフレームとして符号化すべき動画像データの再生時刻の時間情報を前記部品画像符号化部に通知することでキーフレーム生成の制御を行い、前記部品画像符号化部が、前記キーフレーム制御部から通知された時間情報に従って、当該再生時刻に部品画像データが存在しない場合には、直近の部品画像データから補間された部品画像データを作成し、当該部品画像データをキーフレームとして符号化することを特徴とする。
本願の第５の発明は、前記部品画像符号化部が、前記部品画像データをフレーム内符号化もしくはフレーム間符号化を用いて符号化し、キーフレームはフレーム内符号化を用いて符号化することを特徴とする。
本願の第６の発明は、さらに動画像データを解析する画像解析部を備え、前記キーフレーム制御部が、前記画像解析部による画像解析結果を基にキーフレームを決定することを特徴とする。
本願の第７の発明は、前記部品画像符号化データをパケット多重化する多重化部を備え、前記多重化部が生成するパケットが、分割された複数の部品画像符号化データに加え、付加情報として当該パケットにキーフレームとして符号化された部品画像符号化データの存在を示すフラグを含み、更にキーフレームが存在する場合には、当該再生時刻を示す時刻情報を含むことを特徴とする。
本願の第８の発明は、前記部品画像符号化データをパケット多重化する多重化部を備え、前記多重化部が生成するパケットが、分割された複数の部品画像符号化データに加え、付加情報として当該パケットに含まれるキーフレームの再生時刻を示す時刻情報を含み、当該パケットにキーフレームが含まれていない場合には、該時刻情報には無効な時刻情報を設定することを特徴とする。
発明を実施するための最良の形態
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下の説明では、図２に示すように２つの部品画像データから構成される動画像データを取り扱う場合について説明する。ここで部品画像データとは矩形あるいは任意の形状をした画像データであり、形状が時間の経過と共に変化するものであってもかまわない。図２（ａ）は背景を表す矩形の部品画像データＯＢＪ１、図２（ｂ）は人物を表す任意形状の部品画像データＯＢＪ２であり、図２（ｄ）は、これら２つの部品画像データから構成された動画像データである。図２（ｂ）におけるＯＢＪ２は被写体である人物の形状をした任意形状の部品画像データであるが、このような任意形状の部品画像データを作成するのが困難な場合には、図２（ｃ）に示すように被写体となる人物を含む一定の大きさの矩形領域をＯＢＪ３とし、図２（ｅ）に示すようなＯＢＪ１、ＯＢＪ３から構成される動画像データを取り扱ってもかまわない。また、フレームとは所定時刻における任意の形状をした部品画像データを指し、キーフレームとは部品画像符号化データに対するランダムアクセスの基点であり、当該符号化データ単体で復号及び表示可能なフレームを指すものとして説明する。
図１は本発明の第１の実施形態における動画像符号化装置を示すブロック図である。本実施形態の動画像符号化装置は、部品画像符号化部１−１、１−２、キーフレーム制御部２を備えている。当該動画像符号化装置に入力される動画像データは、部品画像データＯＢＪ１、ＯＢＪ２毎に異なる部品画像符号化部１−１、１−２に入力され、個別に符号化が行われる。
図１のブロック図では省略したが、本実施形態の動画像符号化装置の入力動画像データを生成する手段として、撮像装置を加えた構成としてもよい。また撮像装置の代わりに、動画像復号部を加え、既存の動画像符号化データを再符号化する構成としてもよい。
なお、部品画像データＯＢＪ１、ＯＢＪ２の符号化方式は、例えばＭＰＥＧ−４のように、部品画像データを扱う符号化方式であれば、どのような符号化方式を用いてもかまわない。また、部品画像データＯＢＪ１、ＯＢＪ２はそれぞれ異なる符号化方式で符号化されてもかまわない。
キーフレーム制御部２は、部品画像符号化部１−１、１−２に対し、生成された部品画像符号化データに対するランダムアクセスの基点となるキーフレーム生成の制御を行う。キーフレーム生成の制御は、符号化すべき動画像データの再生時刻の時刻情報を部品画像符号化部１−１、１−２に対し通知することで行う。
また、キーフレーム制御部２は、キーフレームが所定の時間間隔で周期的に生成されるように制御を行い、部品画像符号化部１−１、１−２に対して同じ時刻情報を通知する。部品画像符号化部１−１、１−２は、通知された時刻情報に従って、それぞれ部品画像データＯＢＪ１、ＯＢＪ２の当該再生時刻のフレームをキーフレームとして符号化する。
本実施形態の動画像符号化装置では、動画像データを構成する全ての部品画像データが同期して周期的にキーフレームとして符号化されるので、再生装置では、所定の周期で生成されたキーフレームのみを選択的に復号、表示を行うことで、高速再生や巻き戻し再生等の特殊再生を容易に行うことが可能である。
なお、キーフレーム生成の制御は、キーフレームとして符号化する部品画像データの再生時刻の時刻情報を通知することで行うものとしたが、キーフレームを符号化するフレーム間隔や時間間隔を予め部品画像の符号化開始に先立って通知する方法でもかまわない。また、キーフレームを生成する周期は固定としても、符号化する動画像データに応じて外部から指定できるようにしてもかまわない。
次に、部品画像符号化の詳細について説明する。図３は部品画像１フレームを符号化する際の部品画像符号化部１−１、１−２の動作を示すフローチャートである。まずは、当該部品画像データの符号化対象フレームの再生時刻Ｔと、キーフレーム制御部２によって指定されたキーフレームとして符号化すべき動画像データの再生時刻Ｔ０を比較する（ステップ００１）。
Ｔ＜Ｔ０の場合、当該フレームを通常のフレームとして符号化し（ステップ０１０）処理を終了する。Ｔ＝Ｔ０あるいはＴ＞Ｔ０の場合、既に当該キーフレームが符号化完了しているか否かを示すフラグＦを判定する（ステップ００２）。ただし、フラグＦはキーフレーム制御部２から新たな時刻情報が通知されるたびた別途Ｆ＝ＦＡＬＳＥに初期化されているものとする。
Ｆ＝ＦＡＬＳＥの場合、当該キーフレームはまだ符号化されていないので、Ｆ＝ＴＲＵＥに設定し（ステップ０２０）、当該フレームをキーフレームとして符号化し（ステップ０２１）、処理を終了する。Ｆ＝ＴＲＵＥの場合、既に当該キーフレームの符号化は完了しているので通常フレームとして符号化し（ステップ０１０）、処理を終了する。
以上のように部品画像データの符号化を行うことで、キーフレーム制御部２が指定した再生時刻Ｔ０以降の最初のフレームがキーフレームとして符号化される。ただし、再生装置で任意のフレームからの再生が必要とされない場合には、キーフレーム制御部２が指定した再生時刻Ｔ０以外をキーフレームとして符号化しなくてもかまわない。
また、部品画像データの符号化方式に、フレーム間の相関を利用した符号化方式を用いる場合には、キーフレームは当該フレームの符号化データ単体での復号及び再生を保証するためフレーム間の相関は利用せず、必ずイントラピクチャとして符号化しなければならず、この場合の部品画像符号化部１−１、１−２の動作フローは図４に示すようになる。すなわち、ステップ０２１においては、当該フレームをキーフレームとしてフレーム内符号化（イントラ符号化）を行う。
次に、符号化された動画像データの構成例と再生装置におけるキーフレームの働きについて図５を用いて説明する。図５においては、再生時刻Ｔ０、Ｔ１、Ｔ２のフレームをキーフレームとして符号化するようキーフレーム制御部２が制御を行った場合に生成された動画像符号化データについて、符号化されたフレームを再生時刻順に図示している。
図５（ａ）は、再生時刻Ｔ０、Ｔ１、Ｔ２における入力部品画像データＯＢＪ１、ＯＢＪ２が存在する場合を示している。この場合、部品画像データＯＢＪ１、ＯＢＪ２共、再生時刻Ｔ０のフレームがキーフレームとして符号化されている。
再生装直で任意の時刻からの動画像データを再生する場合には、当該時刻直前のキーフレームから復号し、当該時刻以降のフレームを表示することで再生可能である。また、高速再生、巻き戻し再生は、所定の周期でキーフレームとして符号化された時刻Ｔ０、Ｔ１、Ｔ２におけるキーフレームのみ順或いは逆順に再生することで可能である。
図５（ｂ）は、例えば人物が移動しながら画面内にフレームインしてくる場合等、入力部品画像データの出現開始時刻が異なる場合の例である。部品画像データＯＢＪ２は再生時刻Ｔ０時点ではまだデータが存在しておらず、再生時刻Ｔ０のフレームに代わって部品画像データＯＢＪ２の出現した再生時刻Ｔ３のフレームがキーフレームとして符号化されている。
この場合も、図５（ａ）と同様の方法で、任意の時刻からの動画像データの再生、高速再生、巻き戻し再生が可能である。ただし、高速再生、巻き戻し再生を行う場合には、所定の周期でキーフレームとして符号化された、Ｔ０、Ｔ１、Ｔ２におけるフレームのみ順或いは逆順に再生することに注意する。この時、Ｔ３における部品画像データＯＢＪ２のキーフレームは、再生時刻Ｔ３以降Ｔ１未満の再生時刻からの再生を開始する場合にのみ利用する。
また、上記の説明では、入力部品画像データのフレームレートが同一であるものとして説明しているが、フレームレートの異なる部品画像データを取り扱う場合には、次のように処理することで対応することができる。例えば部品画像データＯＢＪ２のフレームレートが部品画像データＯＢＪ１の３分の１の場合の例を図５（ｃ）に示す。
この例では、入力部品画像データとして、再生時刻Ｔ１、Ｔ２にはＯＢＪ２のデータが存在しない場合を示している。このような場合には、再生時刻Ｔ１、Ｔ２における部品画像データＯＢＪ２のフレームを、直近のフレームから補間した補間画像として作成し、キーフレームとして符号化することで図５（ａ）、（ｂ）と同様に再生装置では高速再生等を実現することができる。
次に、本発明の第２の実施形態について、図６とともに説明するが、上述した第１の実施形態と同一部分には同一符号を付し、その説明は省略する。図６は本実施形態における動画像符号化装置のブロック図である。本実施形態の動画像符号化装置は、第１の実施形態における動画像符号化装置の構成に加え、動画像データの解析を行う画像解析部３を備えて構成している。
本実施形態の動画像符号化装置においては、入力動画像データＯＢＪ１，ＯＢＪ２は部品画像符号化部１−１、１−２で符号化されると共に、画像解析部３に入力される。画像解析部３は動画像データの特徴を解析することでシーンチェンジの検出を行う。キーフレーム制御部２は画像解析部３の解析結果を基に、シーンチェンジが発生したと判断された当該フレームをキーフレームとして符号化するよう部品画像符号化部１−１、１−２の制御を行う。
画像解析部３が行うシーンチェンジの検出は、例えば、部品画像データの輝度値の急激な時間変化や、動画像データを構成する部品画像データ数の変化を検出することで行う。また、部品画像符号化部１−１、１−２が部品画像データの符号化のために、同様の画像解析を行う機能を備える場合には、画像解析部３の機能を部品画像符号化部１−１、１−２が兼ねてもかまわない。シーンチェンジに合わせてキーフレームの生成を行うことで、再生装置では、動画像データを構成するシーン毎の正確な頭出しを容易に実現することができる。
ところで、複数の部品画像符号化データから成る動画像符号化データを扱う場合、複数の部品画像データをパケット多重化し１つの多重化動画像符号化データとして、伝送或いは蓄積するのが一般的である。
次に、本発明の第３の実施形態として複数の部品画像符号化データをパケット多重化する場合について、図７及び図８とともに説明するが、上述した第１の実施形態と同一部分には同一符号を付し、その説明は省略する。図７は本実施形態における動画像符号化装置のブロック図である。
本実施形態の動画像符号化装置は、第１の実施形態における動画像符号化装置の構成に加え、複数の部品画像符号化データをパケット多重化し１つの動画像符号化データにまとめる多重化部４を備えて構成している。多重化部４は、複数の部品画像データをパケット多重化すると共に、キーフレームに関する情報を付加した多重化動画像符号化データを出力する。
本実施形態の動画像符号化装置の特徴を説明するため、当該動画像符号化装置が生成する動画像符号化データの構成について、図８を用いて説明する。動画像符号化データは、複数のパケットＰ１からＰｎによって構成され、各パケットＰｉには、例えば１フレーム単位に分割された複数の部品画像符号化データＰｉ一Ｄ１からＰｉ−Ｄｍと付加情報が格納されている。
付加情報は、当該パケット内にキーフレームの符号化データが存在することを示すフラグとキーフレームが存在する場合には、当該キーフレームの再生時刻を示す時間情報から成り、再生装置が当該付加情報を用いることで、多重分離することなく、所定時刻のキーフレーム検索が可能になる。
さらに、当該パケット内にキーフレームの符号化データが存在することを示すフラグとキーフレームが存在する場合には、一定の周期で生成されたキーフレームを含むパケットだけを選択的に多重分離することが可能なため、高速再生、巻き戻し再生等の特殊再生を行う場合に、不要なパケットの多重分離を省略することができる。また、キーフレームの存在を示すフラグを省略し、各パケットに当該パケットに含まれるキーフレームの再生時刻の時刻情報を付加する構成として、キーフレームが含まれないパケットには無効な時刻情報を設定することでキーフレームの有無を判定可能としてもかまわない。
また、パケット毎にキーフレームに関する情報を付加する代わりに、キーフレームの当該再生時刻と当該キーフレームを含むパケットの識別子との組を付加情報として、動画像符号化データの先頭や最後にまとめて出力する構成でもかまわない。
以上のように、本発明の動画像符号化装置においては、周期的にキーフレームを符号化することで、動画像符号化データの任意の時刻からの再生を実現すると共に、全ての部品画像データのキーフレーム符号化時刻を一致させることで、再生装置が高速再生や巻き戻し再生等の特殊再生を容易に実現可能な動画像符号化データを作成することができる。
また、本発明の動画像符号化装置においては、生成される動画像符号化データを構成するパケットに付加情報として、当該パケットにキーフレームの符号化データが存在するか否かを示すフラグを付加し、当該フラグを参照することで、動画像符号化データ内のキーフレームを容易に検索することが可能である。
さらに、キーフレームのみを復号し、高速再生や巻き戻し再生を実現する場合には、該フラグを参照することで、キーフレームを含むパケットのみを選択的に多重分離することが可能であり、不要なパケットの多重分離を省略することができる。
産業上の利用可能性
本発明に係る動画像符号化装置は、複数の部品画像データによって構成される動画像データを符号化するにあたり、高速再生や巻き戻し再生等の特殊再生を行う動画像符号化装置に適している。
【図面の簡単な説明】
図１は、本発明の第１の実施形態における動画像符号化装置の概略構成を示すブロック図である。
図２は、複数の部品画像データから構成される動画像データを示す模式図である。
図３は、本発明の第１の実施形態における部品画像符号化部の動作を示すフローチャートである。
図４は、本発明の第１の実施形態における部品画像符号化部の動作（フレーム間相関利用時）を示すフローチャートである。
図５は、本発明の第１の実施形態における動画像符号化装置により生成された動画像符号化データのデータ構成を示す説明図である。
図６は、本発明の第２の実施形態における動画像符号化装置の概略構成を示すブロック図である。
図７は、本発明の第３の実施形態における動画像符号化装置の概略構成を示すブロック図である。
図８は、本発明の第３の実施形態における動画像符号化装置により生成される動画像符号化データの構成を示す説明図である。

Claims

複数の部品画像データからなる動画像データを符号化する動画像符号化装置であって、
前記部品画像データを符号化し、部分画像符号化データを生成する部品画像符号化部と、
前記部品画像符号化部が所定再生時刻の当該部品画像データをキーフレームとして符号化するか否かを制御するキーフレーム制御部とを備え、
前記キーフレーム制御部は、所定再生時刻の動画像データを構成する全ての部品画像データをキーフレームとして符号化するよう制御し、
前記キーフレーム制御部は、キーフレームとして符号化すべき動画像データの再生時刻の時間情報を前記部品画像符号化部に通知することでキーフレーム生成の制御を行い、
前記部品画像符号化部は、前記キーフレーム制御部から通知された時間情報に従って、当該再生時刻以降の直近の部品画像データをキーフレームと判定し、当該部品画像データをキーフレームとして符号化することを特徴とする動画像符号化装置。
複数の部品画像データからなる動画像データを符号化する動画像符号化装置であって、
前記部品画像データを符号化し、部分画像符号化データを生成する部品画像符号化部と、
前記部品画像符号化部が所定再生時刻の当該部品画像データをキーフレームとして符号化するか否かを制御するキーフレーム制御部とを備え、
前記キーフレーム制御部は、所定再生時刻の動画像データを構成する全ての部品画像データをキーフレームとして符号化するよう制御し、
前記キーフレーム制御部は、キーフレームとして符号化すべき動画像データの再生時刻の時間情報を前記部品画像符号化部に通知することでキーフレーム生成の制御を行い、
前記部品画像符号化部は、前記キーフレーム制御部から通知された時間情報に従って、当該再生時刻に部品画像データが存在しない場合には、直近の部品画像データから補間された部品画像データを作成し、当該部品画像データをキーフレームとして符号化することを特徴とする動画像符号化装置。
複数の部品画像データからなる動画像データを符号化する動画像符号化装置であって、
前記部品画像データを符号化し、部分画像符号化データを生成する部品画像符号化部と、
前記部品画像符号化部が所定再生時刻の当該部品画像データをキーフレームとして符号化するか否かを制御するキーフレーム制御部とを備え、
前記キーフレーム制御部は、所定再生時刻の動画像データを構成する全ての部品画像データをキーフレームとして符号化するよう制御し、
前記部品画像符号化データをパケット多重化する多重化部を備え、
前記多重化部が生成するパケットは、分割された複数の部品画像符号化データに加え、付加情報として当該パケットに含まれるキーフレームの再生時刻を示す時刻情報を含み、当該パケットにキーフレームが含まれていない場合には、該時刻情報には無効な時刻情報を設定することを特徴とする動画像符号化装置。
前記請求の範囲第１項乃至第３項のいずれかに記載の動画像符号化装置において、
前記キーフレーム制御部は、所定の時間間隔で周期的にキーフレームを生成するよう制御を行うことを特徴とする動画像符号化装置。
前記請求の範囲第１項乃至第４項のいずれかに記載の動画像符号化装置において、
前記部品画像符号化部は、前記部品画像データをフレーム内符号化もしくはフレーム間符号化を用いて符号化し、キーフレームはフレーム内符号化を用いて符号化することを特徴とする動画像符号化装置。
前記請求の範囲第１項乃至第５項のいずれかに記載の動画像符号化装置において、
動画像データを解析する画像解析部を備え、
前記キーフレーム制御部は、前記画像解析部による画像解析結果を基にキーフレームを決定することを特徴とする動画像符号化装置。
前記請求の範囲第１項、第２項、第４項乃至第６項のいずれかに記載の動画像符号化装置において、
前記部品画像符号化データをパケット多重化する多重化部を備え、
前記多重化部が生成するパケットは、分割された複数の部品画像符号化データに加え、付加情報として当該パケットにキーフレームとして符号化された部品画像符号化データの存在を示すフラグを含み、更にキーフレームが存在する場合には、当該再生時刻を示す時刻情報を含むことを特徴とする動画像符号化装置。