JP5257319B2 - 画像符号化装置及び画像符号化方法 - Google Patents

Description

本発明は、動画像を符号化する技術に関する。

ＭＰＥＧ−２、ＭＰＥＧ−４、及びＭＰＥＧ−４ ＡＶＣ等の動画像符号化では、符号量を効率よく削減するために、双方向予測又は双予測と呼ばれる方法が使用される。

図１は、符号データの流れを説明するための図である。図１に示す例では、フィールドＢ０ｔ，Ｂ０ｂ，Ｂ１ｔ，Ｂ１ｂ，Ｂ３ｔ，Ｂ３ｂ，Ｂ４ｔ，Ｂ４ｂ，Ｂ６ｔ，Ｂ６ｂ，Ｂ７ｔ，Ｂ７ｂはＢピクチャである。フィールドＩ２ｔはＩピクチャであり、フィールドＰ２ｂ，Ｐ５ｔ，Ｐ５ｂ，Ｐ８ｔ，Ｐ８ｂはＰピクチャである。なお、各符号の「ｔ」は、それが付されているフィールドがトップフィールドであることを示しており、各符号の「ｂ」は、それが付されているフィールドがボトムフィールドであることを示している。

画像符号化装置は、図１（Ａ）に示す画像を順次取得し、図１（Ｂ）に示すように、ＢピクチャのフレームをスキップしてＩピクチャを符号化し、その次にＰピクチャ符号化し、最後に前後の符号化されたピクチャを必要とするＢピクチャを符号化する。

特開２００１−１８６４６９号公報

従来の画像符号化装置は、処理の中止を指示された場合、最後に取得した画像がＢピクチャとなる画像であれば、Ｂピクチャを符号化するためにはそれより後に取得される画像が必要となるので、最後に取得した画像を符号化することができない。つまり、従来の画像符号化装置は、取得した全ての画像を符号化することができない場合がある。

本発明は、取得した全ての画像を符号化する画像符号化装置及び画像符号化方法を提供することを目的とする。

上記課題を解決し上記目的を達成するために、本発明の画像符号化装置は、動画像を取得する取得部と、前記取得部によって取得された動画像を、所定の符号化順序及び所定の符号化方法にしたがって符号化する符号化部と、処理の実行を停止させる指示を受け付ける受付部とを有し、前記符号化部は、前記受付部が前記指示を受け付けた場合、前記取得部によって最後に取得された画像又はそれより前に取得された画像を、前記最後に取得された画像より後に取得されるべきであった画像として用いて、前記取得部によって取得された全ての画像を符号化する。

本発明の画像符号化方法は、動画像を取得するステップと、取得した動画像を、所定の符号化順序及び所定の符号化方法にしたがって符号化するステップとを含み、前記符号化するステップでは、処理の実行を停止させる指示を受け付けた場合、最後に取得した画像又はそれより前に取得した画像を、前記最後に取得した画像より後に取得すべきであった画像として用いて、取得した全ての画像を符号化する。

本発明は、取得した全ての画像を符号化する画像符号化装置及び画像符号化方法を提供することができる。

一般的な動画像の符号化を説明するための図である。 実施の形態１の画像符号化装置の構成図である。 実施の形態１の画像符号化装置の動作を具体的に説明するための第１の図である。 実施の形態１の画像符号化装置の動作を具体的に説明するための第２の図である。 実施の形態１の画像符号化装置の動作を具体的に説明するための第３の図である。 実施の形態２の画像符号化装置の構成図である。 実施の形態３の画像符号化装置の構成図である。

以下に、本発明を実施するための形態を図面を参照して説明する。

（実施の形態１）
先ず、実施の形態１の画像符号化装置１００の構成を図２を用いて説明する。図２は、実施の形態１の画像符号化装置１００の構成図である。実施の形態１の画像符号化装置１００は、図２に示すように、第１取得部１と、第２取得部２と、切替部３と、メモリ４と、符号化部５と、受付部６と、第１符号化制御部７とを有する。

第１取得部１は、カメラＸから、予め定められた間隔で、トップフィールドとボトムフィールドとで構成される１フレーム分の動画像を間欠的に取得する。例えば、第１取得部１は、１分間隔で１フレーム分の動画像を間欠的に取得する。第２取得部２は、カメラＸからの動画像をフィールド単位で連続して取得する。切替部３は、後段のメモリ４へ出力する画像として、第１取得部１からの画像と第２取得部２からの画像とを切り替える。

メモリ４は、切替部３からの画像を一時的に記憶する。符号化部５は、メモリ４によって保持された画像をフィールド単位で符号化し、符号化ストリームを生成する。受付部６は、画像の間欠的な符号化の開始及び停止の命令を受け付ける。第１符号化制御部７は、受付部６によって受け付けられた命令に基づいて、切替部３、メモリ４、及び符号化部５の動作を制御する。

なお、実施の形態１では、符号化部５によって生成される符号化ストリームのＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ，グループ・オブ・ピクチャ）の構成は、「Ｍ３Ｎ９」である。

次に、実施の形態１の画像符号化装置１００の動作を説明する。

受付部６が画像の間欠的な符号化の開始の命令を受け付けると、第１符号化制御部７は、第１取得部１によって取得された動画像がメモリ４に入力されるように、切替部３を制御する。第１取得部１は、上述したように、カメラＸから、予め定められた間隔で、トップフィールドとボトムフィールドとで構成される１フレーム分の動画像を間欠的に取得する。メモリ４は、入力された画像を順次一時的に記憶する。

第１符号化制御部７は、予め決められた符号化の順序で符号化が行われるように、メモリ４が出力する画像の順序を制御する。メモリ４は、第１符号化制御部７による制御にしたがって、一時的に記憶した画像を符号化部５に出力する。符号化部５は、メモリ４からの画像を、上記の符号化の順序に基づく符号化方法にしたがって符号化し、符号化ストリームを生成する。

その後、受付部６が画像の間欠的な符号化の停止の命令を受け付けると、第１符号化制御部７は、その命令の直後に第２取得部２によって取得された１フレーム分の動画像がメモリ４に入力されるように、切替部３を制御する。メモリ４は、入力された１フレーム分の画像を一時的に記憶する。

第１符号化制御部７は、受付部６が画像の間欠的な符号化の停止の命令を受け付けた時が、ＧＯＰのどのピクチャが取得された後であったのかを判断する。そして、第１符号化制御部７は、判断結果に基づいて、取得された全ての画像が符号化されるとともに、最後に取得された画像を含むＧＯＰが完結するまで符号化が行われるように、符号化部５を制御する。

符号化部５は、最後に取得された画像を含むＧＯＰが完結するまで、最後に取得された画像を１回又は複数回繰り返して用いて、符号化を実行する。符号化部５は、最後に取得された画像を符号化し終わると、符号化を終了する。

以下に、図３から図５に示す具体例を挙げて、実施の形態１の画像符号化装置１００の動作を具体的に説明する。

図３は、実施の形態１の画像符号化装置１００の動作を具体的に説明するための第１の図である。図３（Ａ）は、第１の具体例において、画像符号化装置１００によって取得される画像を示す図であって、取得される画像として、フレームＢ０（Ｂ０ｔ，Ｂ０ｂ）の次にフレームＢ１（Ｂ１ｔ，Ｂ１ｂ）が続く状況を示している。この状況において、フレームＢ０が画像符号化装置１００によって取得されてからフレームＢ１が取得されるまでの間に、受付部６が画像の間欠的な符号化の停止の命令を受け付けた場合を想定する。

この場合、第１符号化制御部７は、フレームＢ１が最後の画像としてメモリ４によって保持され、フレームＢ１を含むＧＯＰが完結するまで、フレームＢ１までの画像を用いて符号化を実行するように、切替部３、メモリ４、及び符号化部５を制御する。すなわち、図３（Ｂ）に示すように、第１符号化制御部７は、フレームＢ１を含むＧＯＰが完結するまで、フレームＢ１，フレームＢ０，フレームＢ１，フレームＢ１，・・・を符号化部５に入力させる。図３（Ｂ）は、符号化部５に入力される画像を示す図である。

符号化部５は、図３（Ｃ）に示すように、予め決められた符号化の順序にしたがって、最後に取得されたボトムフィールドＢ１ｂを、Ｉ２フレームのトップフィールド及びボトムフィールドの原画として使用する画像に決定する。そして、符号化部５は、Ｉ２フレームのトップフィールドとして使用するボトムフィールドＢ１ｂに対して、Ｉピクチャに対して実行する符号化を実行する。次に、符号化部５は、Ｉ２フレームのボトムフィールドとして使用するボトムフィールドＢ１ｂに対して、Ｐピクチャに対して実行する符号化を実行する。なお、図３（Ｃ）は、符号化データを示す図である。

次に、符号化部５は、取得されたフレームＢ０、フレームＢ１を符号化する。すなわち、符号化部５は、フレームＢ０、フレームＢ１の順に、それらを構成するフィールドに対して、Ｂピクチャに対して実行する符号化を実行する。更に、符号化部５は、図３（Ｂ）及び図３（Ｃ）に示すように、ＧＯＰが完結するまで、最後に取得されたボトムフィールドＢ１ｂを符号化対象画像の原画として繰り返して使用し、予め決められた符号化の順序に基づく符号化方法にしたがって符号化を実行する。

図４は、実施の形態１の画像符号化装置１００の動作を具体的に説明するための第２の図である。図４（Ａ）は、第２の具体例において画像符号化装置１００によって取得される画像を示す図である。すなわち、図４（Ａ）は、取得される画像として、フレームＢ０（Ｂ０ｔ，Ｂ０ｂ）の次にフレームＢ１（Ｂ１ｔ，Ｂ１ｂ）が続き、その次にフレームＩ２（Ｉ２ｔ，Ｐ２ｂ）が続く状況を示している。この状況において、フレームＢ１が画像符号化装置１００によって取得されてからフレームＩ２が取得されるまでの間に、受付部６が画像の間欠的な符号化の停止の命令を受け付けた場合を想定する。

この場合、第１符号化制御部７は、フレームＩ２が最後の画像としてメモリ４によって保持され、フレームＩ２までの画像を用いて符号化を実行するように、切替部３、メモリ４、及び符号化部５を制御する。すなわち、図４（Ｂ）に示すように、第１符号化制御部７は、フレームＩ２を含むＧＯＰが完結するまで、フレームＩ２，フレームＢ０，フレームＢ１，フレームＩ２，フレームＩ２，・・・を符号化部５に入力させる。図４（Ｂ）は、符号化部５に入力される画像を示す図である。

符号化部５は、図４（Ｃ）に示すように、予め決められた符号化の順序にしたがって、フレームＩ２を符号化し、その次にフレームＢ０を符号化し、その次にフレームＢ１を符号化する。図４（Ｃ）は、符号化データを示す図である。

更に、符号化部５は、図４（Ｂ）及び図４（Ｃ）に示すように、ＧＯＰが完結するまで、最後に取得されたボトムフィールドＰ２ｂを符号化対象画像の原画として繰り返して使用し、予め決められた符号化の順序に基づく符号化方法にしたがって符号化を実行する。

図５は、実施の形態１の画像符号化装置１００の動作を具体的に説明するための第３の図である。図５（Ａ）は、第３の具体例において画像符号化装置１００によって取得される画像を示す図である。すなわち、図５（Ａ）は、取得される画像として、フレームＢ０（Ｂ０ｔ，Ｂ０ｂ）の次にフレームＢ１（Ｂ１ｔ，Ｂ１ｂ）が続き、その次にフレームＩ２（Ｉ２ｔ，Ｐ２ｂ）が続き、その次にフレームＢ３（Ｂ３ｔ，Ｂ３ｂ）が続くことを示している。この状況において、フレームＩ２が画像符号化装置１００によって取得されてからフレームＢ３が取得されるまでの間に、受付部６が画像の間欠的な符号化の停止の命令を受け付けた場合を想定する。

この場合、第１符号化制御部７は、フレームＢ３が最後の画像としてメモリ４によって保持され、フレームＢ３までの画像を用いて符号化を実行するように、切替部３、メモリ４、及び符号化部５を制御する。すなわち、図５（Ｂ）に示すように、第１符号化制御部７は、フレームＢ３を含むＧＯＰが完結するまで、フレームＩ２，フレームＢ０，フレームＢ１，フレームＢ３，フレームＢ３，・・・を符号化部５に入力させる。図５（Ｂ）は、符号化部５に入力される画像を示す図である。

符号化部５は、図５（Ｃ）に示すように、予め決められた符号化の順序にしたがって、フレームＩ２を符号化し、その次にフレームＢ０を符号化し、その次にフレームＢ１を符号化する。図５（Ｃ）は、符号化データを示す図である。ところで、フレームＢ３を符号化するためには、予め決められた符号化の順序にしたがうと、フレームＢ３の次に取得されるべきであったフレームＰ５が必要となる。しかしながら、画像符号化装置１００は、フレームＰ５を取得していない。

そこで、符号化部５は、図５（Ｂ）及び図５（Ｃ）に示すように、予め決められた符号化の順序にしたがって、最後に取得されたボトムフィールドＢ３ｂを、Ｐ５フレームのトップフィールド及びボトムフィールドの原画として使用する画像に決定する。そして、符号化部５は、Ｐ５フレームのトップフィールドとして使用するボトムフィールドＢ３ｂに対して、Ｐピクチャに対して実行する符号化を実行する。次に、符号化部５は、Ｐ５フレームのボトムフィールドとして使用するボトムフィールドＢ３ｂに対して、Ｐピクチャに対して実行する符号化を実行する。

次に、符号化部５は、最後に取得されたフレームＢ３を符号化する。すなわち、符号化部５は、フィールドＢ３ｔ、フィールドＢ３ｂの順に、それらに対して、Ｂピクチャに対して実行する符号化を実行する。更に、符号化部５は、図５（Ｂ）及び図５（Ｃ）に示すように、ＧＯＰが完結するまで、最後に取得されたボトムフィールドＢ３ｂを符号化対象画像の原画として繰り返して使用し、予め決められた符号化の順序に基づく符号化方法にしたがって符号化を実行する。

上述したように、符号化部５は、最後に取得された画像を、その画像より後に取得されるべきであった画像として用いて、取得された全ての画像を符号化する。これにより、最後に取得された画像が符号化することができないという事態を回避することができる。また、最後に取得された画像以降の画像が再生されたときに、不自然さが表れずに再生されるという効果も得られる。

なお、符号化部５は、最後に取得された画像より後に取得されるべきであった画像として、最後に取得された画像を用いずに、最後に取得された画像より前に取得された画像を用いてもよい。例えば、符号化部５は、最後に取得された画像の直前に取得された画像を、最後に取得された画像より後に取得されるべきであった画像として用いてもよい。

また、上述した実施の形態１では、符号化部５は、最後に取得された画像を含むＧＯＰが完結するまで、符号化を実行する。これにより、生成された符号化ストリームを編集することが容易になる。

また、符号化部５は、受付部６が画像の間欠的な符号化の停止の命令を受け付けた後、それまでよりも速く符号化を実行してもよい。これにより、間欠的な符号化を実行していたときの速度で符号化ストリームを生成するよりも早く符号化ストリームを生成することができる。

また、上述した実施の形態１では、ＧＯＰの構成は「Ｍ３Ｎ９」である。しかしながら、ＧＯＰの構成はそれ以外であってもよい。ＧＯＰの構成は、例えば、「Ｍ３Ｎ１５」、「Ｍ３Ｎ１２」、又は「Ｍ２Ｎ１２」等であってもよい。符号化部５は、Ｍの数及びＮの数にしたがって、最後に取得されたフィールドを１回使用し、又は、複数回繰り返して使用して符号化を実行する。

更に、実施の形態１の画像符号化装置１００によって生成された符号化ストリームは、伝送用のフォーマットに変換されて伝送路により復号装置に送信され、その復号装置によって復号される。又は、実施の形態１の画像符号化装置１００によって生成された符号化ストリームは、記録用のフォーマットに変換されて記録媒体に記録され、その後復号装置によって復号される。

（実施の形態２）
次に、実施の形態２の画像符号化装置１０１の構成を図６を用いて説明する。図６は、実施の形態２の画像符号化装置１０１の構成図である。実施の形態２の画像符号化装置１０１は、図６に示すように、第３取得部８と、メモリ４と、符号化部５と、受付部６と、第２符号化制御部９とを有する。実施の形態２の画像符号化装置１０１は、実施の形態１の画像符号化装置１００が有する構成部と同じ構成部を有するので、実施の形態２では、実施の形態１との相違点のみを説明する。

第３取得部８は、実施の形態１の第１取得部１及び第２取得部２と同様に、第２符号化制御部９による制御にしたがって、カメラＸからの動画像をフィールド単位で取得する。第３取得部８は、１回の取得動作で１フレーム分の動画像を取得する。第３取得部８は、予め定められた間隔で、トップフィールドとボトムフィールドとで構成される１フレーム分の動画像を間欠的に取得する機能と、動画像を連続して取得する機能とを有する。

つまり、第３取得部８は、受付部６が画像の間欠的な符号化の開始の命令を受け付けると、予め定められた間隔で、トップフィールドとボトムフィールドとで構成される１フレーム分の動画像を間欠的に取得する。受付部６が画像の間欠的な符号化の停止の命令を受け付けると、第３取得部８は、その命令が受け付けられた直後の１フレーム分の画像を取得する。

第２符号化制御部９は、受付部６が画像の間欠的な符号化の開始の命令を受け付けると、予め定められた間隔で、トップフィールドとボトムフィールドとで構成される１フレーム分の動画像を間欠して取得するように、第３取得部８を制御する。受付部６が画像の間欠的な符号化の停止の命令を受け付けると、第２符号化制御部９は、その命令が受け付けられた直後の１フレーム分の画像を取得するように、第３取得部８を制御する。

また、第２符号化制御部９は、実施の形態１の第１符号化制御部７と同様に、受付部６によって受け付けられた命令に基づいて、メモリ４及び符号化部５の動作を制御する。

（実施の形態３）
次に、実施の形態３の画像符号化装置１０２の構成を図７を用いて説明する。図７は、実施の形態３の画像符号化装置１０２の構成図である。実施の形態３の画像符号化装置１０２は、図７に示すように、第４取得部１０と、メモリ４と、符号化部５と、受付部６と、第３符号化制御部１１と、カメラ制御部１２とを有する。実施の形態３の画像符号化装置１０２は、実施の形態１の画像符号化装置１００が有する構成部と同じ構成部を有するので、実施の形態３では、実施の形態１との相違点のみを説明する。

第４取得部１０は、カメラＸが出力する全部の動画像を取得する。第４取得部１０は、１回の取得動作で、トップフィールドとボトムフィールドとで構成される１フレーム分の動画像を取得する。第４取得部１０は、第３符号化制御部１１によって制御されない。

第３符号化制御部１１は、受付部６が画像の間欠的な符号化の開始の命令を受け付けると、カメラＸが予め定められた間隔で間欠的に動画像を出力するようにカメラ制御部１２を制御する。受付部６が画像の間欠的な符号化の停止の命令を受け付けると、第３符号化制御部１１は、カメラＸが、その命令が受け付けられた直後の１フレーム分の画像を出力するようにカメラ制御部１２を制御する。

カメラ制御部１２は、第３符号化制御部１１による制御にしたがって、受付部６が画像の間欠的な符号化の開始の命令を受け付けると、予め定められた間隔で間欠的に動画像を出力するようにカメラＸを制御する。受付部６が画像の間欠的な符号化の停止の命令を受け付けると、カメラ制御部１２は、その命令が受け付けられた直後の１フレーム分の画像を出力するようにカメラＸを制御する。

なお、カメラＸは、カメラ制御部１２による制御にしたがって、出力する画像の間隔を変更する。すなわち、受付部６が画像の間欠的な符号化の開始の命令を受け付けると、カメラＸは、予め定められた間隔で間欠的に動画像を画像符号化装置１０２に出力し、受付部６が画像の間欠符号化の停止の命令を受け付けると、その命令が受け付けられた直後の１フレーム分の画像を画像符号化装置１０２に出力する。

また、第３符号化制御部１１は、実施の形態１の第１符号化制御部７と同様に、受付部６によって受け付けられた命令に基づいて、メモリ４及び符号化部５の動作を制御する。

本実施の形態の画像符号化装置の各構成部の機能は、例えばコンピュータのＣＰＵ（プロセッサ）及びメモリ等のハードウェアと、その機能を実現するためのコンピュータプログラムとが協働することによって実現される。しかしながら、上記各機能は、専用の回路により実現される等、どのような形態により実現されてもよい。また、本実施の形態の画像符号化装置の各構成部の機能を実現するためのコンピュータプログラムは、記録媒体に格納されてもよい。

１００ 画像符号化装置、 １ 第１取得部、 ２ 第２取得部、 ３ 切替部、 メモリ、 ５ 符号化部、 ６ 受付部、 ７ 第１符号化制御部。

Claims (4)

1. 動画像を取得する取得部と、
   前記取得部によって取得された動画像を、所定の符号化順序及び所定の符号化方法にしたがって符号化する符号化部と、
   処理の実行を停止させる指示を受け付ける受付部とを備え、
   前記符号化部は、前記受付部が前記指示を受け付けた場合、前記取得部によって最後に取得された画像又はそれより前に取得された画像を、前記最後に取得された画像より後に取得されるべきであった画像として用いて、前記取得部によって取得された全ての画像を符号化する
   画像符号化装置。
2. 前記符号化部は、前記最後に取得された画像を含むグループ・オブ・ピクチャが完結するまで、符号化を実行する
   請求項１に記載の画像符号化装置。
3. 前記符号化部は、前記受付部が前記指示を受け付けた場合、それまでより速く符号化を実行する
   請求項１に記載の画像符号化装置。
4. 動画像を取得するステップと、
   取得した動画像を、所定の符号化順序及び所定の符号化方法にしたがって符号化するステップとを含み、
   前記符号化するステップでは、処理の実行を停止させる指示を受け付けた場合、最後に取得した画像又はそれより前に取得した画像を、前記最後に取得した画像より後に取得すべきであった画像として用いて、取得した全ての画像を符号化する
   画像符号化方法。

Images