JP4514666B2 - 動画像符号化装置 - Google Patents

Description

本発明は、動画像符号化装置に関し、特に、合成画像を生成する動画像符号化装置に関する。

動画像データに予測符号化、直交変換、量子化、可変長符号化を施すことで、データを圧縮する方式として、動画像符号化の国際標準であるＭＰＥＧ等がある。しかしながら、カメラ等からの入力画像に、文字や記号を合成した画像を符号化した場合、文字や記号に存在するエッジのために、合成された領域では発生符号量が大きくなる問題がある。また、発生符号量を小さくするために、量子化幅を大きくすると、画質が劣化するという問題もある。

以上の問題を解決するために、特開平８−１０２８９５号公報（特許文献１）には、画面内の位置情報から文字が合成される領域を判断し、文字が合成される位置の背景画像は、ローパスフィルタあるいはマスクを施してから文字と合成する技術が開示されている。これにより、文字の背景画像の画質は劣化するものの、画像全体としては良好な画質が得られる。

特開２００３−１０１７９４号公報（特許文献２）には、エッジ検出や頻度分布を用いた領域判定法によって、文字領域とそれ以外の領域に分け、領域毎に量子化幅を変更する技術が開示されている。これにより、発生符号量の増加を抑えつつ、画質の劣化が軽減される。
特開平８−１０２８９５号公報 特開２００３−１０１７９４号公報

しかしながら、特開平８−１０２８９５号公報（特許文献１）に開示されている技術では、歌詞や字幕等の文字領域が予め定められた位置に合成される。そのため、画面内の位置情報に従って文字領域とそれ以外の領域とを判別するため、領域判定に必要な処理量は少ない。しかしながら、領域判定を位置情報のみから行っているので、文字が合成されなかった場合にもローパスフィルタやマスクが施されてしまい、画質が劣化するという問題点がある。

また、特開２００３−１０１７９４号公報（特許文献２）に開示されている技術では、文字画像とそれ以外の領域を判別するために領域判定処理を行わなければならないが、領域判定のためのエッジ検出や頻度分布は処理量が大きく、特に携帯端末のように処理量を小さく抑えなければならないアプリケーションには適さないという問題点がある。

本発明は、上述の問題点を解決するためになされたものであって、その目的は、高品質な合成画像の符号化が可能な動画像符号化装置を提供することである。

上述の課題を解決するために、この発明のある局面に従う動画像符号化装置は、画像を、順次入力するための入力手段と、入力手段により入力された入力画像内の合成用領域に、合成用画像を合成させた合成画像を生成するための合成手段と、合成画像を量子化するための量子化手段と、量子化手段へ、合成用領域の情報を送信するための制御手段とを備え、量子化手段は、合成用領域の情報の受信後、合成用領域の情報に基づいて、合成画像内の合成用領域および合成用領域以外の領域で、それぞれ、異なる量子化幅で量子化する。

この発明の他の局面に従うと動画像符号化装置は、画像を、順次入力するための入力手段と、入力手段により入力された入力画像内の合成用領域に、合成用画像を合成させた合成画像を生成するための合成手段と、符号化データを復号した復号画像を記憶する第１記憶手段と、符号化データを復号した復号画像を、第１記憶手段が記憶する期間よりも長く記憶する第２記憶手段と、合成用画像の動き検出を行なうための動き検出手段とを備え、動き検出手段は、合成画像内の合成用領域に対しては、合成画像と、第２記憶手段に記憶された復号画像とに基づいて動き検出を行ない、合成画像内の合成用領域以外の領域に対しては、第１記憶手段に記憶されている復号画像に基づいて動き検出を行なう。

好ましくは、第２記憶手段には、入力画像が処理される前に、復号画像として、複数種類の合成用画像から構成された合成用画像抽出画像が記憶される。

好ましくは、合成画像内の合成用領域は、入力画像内の合成用領域と同じ大きさであり、合成画像内の合成用領域の位置は、入力画像内の合成用領域の位置と同じである。

本発明に係る動画像符号化装置は、合成用領域に、合成用画像を合成させた合成画像を生成し、量子化手段は、合成の通知および合成用領域に関する情報の受信後、合成用領域の情報に基づいて、合成画像内の合成用領域および合成用領域以外の領域で、それぞれ、異なる量子化幅で量子化する。

したがって、高品質な合成画像を生成することができるという効果を奏する。
本発明に係る動画像符号化装置は、複数の復号画像を格納可能な記憶手段をもち、動画像符号化装置内で復号された再生画像を記憶するための第１記憶手段と、過去に復号された再生画像を長期間記憶するための第２記憶手段とを備える。動き検出を行なう際は、合成画像内の領域に応じて、第１記憶手段または第２記憶手段に記憶された関連する画像に基づいて、動き検出を行なう。

したがって、動き検出を効率よく行なうことができ、効率よく予測符号化を行なうことができる。その結果、画像処理時間を短縮し、かつ符号化効率を向上させることができるという効果を奏する。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜第１の実施の形態＞
図１は、第１の実施の形態における動画像符号化装置１０００の構成を示すブロック図である。図１を参照して、動画像符号化装置１０００は、画像入力部１０１と、合成用データ格納部１０２と、合成部１０３と、減算部１０４と、直交変換部１０５と、量子化部１０６と、可変長符号化部１０７とを備える。

画像入力部１０１は、画像を入力する機能を有する。以下においては、画像入力部１０１が入力した画像を入力画像ともいう。画像入力部１０１は、一例として、カメラである。画像入力部１０１は、入力画像のデータを合成部１０３へ送信する。合成用データ格納部１０２は、画像入力部１０１から送信された入力画像に合成する文字、記号、図形等の画像（以下、合成用画像ともいう）のデータ（後述の合成用画像抽出画像と合成用画像管理テーブル）を格納する。なお、合成用データ格納部１０２は、データを記憶するメモリとしての機能を有する。また、合成用データ格納部１０２は、外部からの指示に基づいて、指定されたデータまたは指定された情報を出力する機能を有する。

図２は、合成用画像抽出画像４００および合成用画像管理テーブルＴ１００を示す図である。図２（Ａ）に示す合成用画像抽出画像４００は、複数種類の合成用画像から構成される画像である。複数種類の合成用画像の各々は、文字、記号、図形等を示す画像である。

図２（Ｂ）は、合成用画像管理テーブルＴ１００を示す図である。合成用画像管理テーブルＴ１００は、合成用画像に関する情報を管理するテーブルである。また、合成用画像管理テーブルＴ１００は、指定された合成用画像が合成用画像抽出画像４００のどの位置にあるかを示すテーブルである。

図２（Ｂ）を参照して、「管理番号」は、合成用画像を特定するための番号である。「位置」は、合成用画像抽出画像４００における、対応する合成用画像の位置（座標）（ｘｎ、ｙｎ）を示す。「大きさ」は、合成用画像の横および縦のサイズ（ｘｓｉｚｅ、ｙｓｉｚｅ）を示す。

再び、図１を参照して、合成部１０３は、画像入力部１０１から受信した入力画像と、合成用データ格納部１０２に格納されている合成用画像抽出画像４００内の任意の合成用画像とに基づいて、合成画像を生成する。合成部１０３は、生成した合成画像を減算部１０４および後述する動き検出部１１３へ送信する。

減算部１０４は、受信した合成画像を、直交変換部１０５へ送信する。減算部１０４は、後述する予測画像を受信した場合、受信した合成画像と、予測画像とに基づいて、差分画像を算出し、算出した差分画像を直交変換部１０５へ送信する。

直交変換部１０５は、受信した合成画像または差分画像を直交変換し、直交変換係数を算出する。直交変換部１０５は、算出した直交変換係数を量子化部１０６へ送信する。量子化部１０６は、受信した直交変換係数を量子化し、量子化係数を算出する。量子化部１０６は、算出した量子化係数を可変長符号化部１０７および後述する逆量子化部１０８へ送信する。

可変長符号化部１０７は、受信した量子化係数を可変長符号化した符号化データを生成する。符号化データは、通信路に伝送するためのデータまたは記録媒体に記憶させるためのデータである。

動画像符号化装置１０００は、さらに、逆量子化部１０８と、逆直交変換部１０９と、加算部１１０と、フレームメモリ１１１と、動き補償部１１２と、動き検出部１１３と、指示入力部１１５と、制御部１１４とを備える。

逆量子化部１０８は、受信した量子化係数を逆量子化して直交変換係数を算出する。逆量子化部１０８は、算出した直交変換係数を逆直交変換部１０９へ送信する。

逆直交変換部１０９は、受信した直交変換係数を逆直交変換して画像の画素値または差分値を算出する。逆直交変換部１０９は、算出した画像の画素値または差分値を加算部１１０へ送信する。

フレームメモリ１１１は、画像を格納するメモリである。
加算部１１０は、後述する予測画像を受信した場合、予測画像に差分値を加算し、画像を復号させる。以下においては、加算部１１０から出力された画像を復号画像ともいう。加算部１１０からの復号画像は、順次フレームメモリ１１１に記憶される。なお、既にフレームメモリ１１１に復号画像が記憶されている場合は、新たに復号した復号画像を、既に記憶されている復号画像に上書きする。すなわち、フレームメモリ１１１に記憶される復号画像は、順次、更新される。

動き補償部１１２は、フレームメモリ１１１に格納された復号画像と、後述する動きベクトルとから、合成画像の予測画像を生成する。動き補償部１１２は、生成した予測画像を、減算部１０４および加算部１１０へ送信する。

動き検出部１１３は、前述の合成部１０３から受信した合成画像と、フレームメモリ１１１に格納された復号画像とから、動画像の動きを検出し動きベクトルを算出する。動き検出部１１３は、算出した動きベクトルを動き補償部１１２へ送信する。

指示入力部１１５は、ユーザからの指示を受付ける機能を有する。以下においては、指示入力部１１５が受付けたユーザの指示を、ユーザ指示ともいう。指示入力部１１５は、ユーザ指示に応じて、制御部１１４へユーザ指示を送る。

制御部１１４は、合成部１０３に対し、入力画像と、合成用画像とを合成させるための制御指示を送信する。また、制御部１１４は、量子化部１０６に対して、合成画像か否かによって量子化を切替る制御指示を送信する。制御部１１４から合成部１０３および量子化部１０６へ送信される制御指示は、指示入力部１１５からのユーザ指示または図示されないプログラムからの指示に基づいて送信される。

制御部１１４は、マイクロプロセッサ（Microprocessor）、プログラミングすることができるＬＳＩ（Large Scale Integration）であるＦＰＧＡ（Field Programmable Gate Array）、特定の用途のために設計、製造される集積回路であるＡＳＩＣ（Application Specific Integrated Circuit）、その他の演算機能を有する回路のいずれであってもよい。

図３は、動画像符号化装置１０００において処理される画像の一例を示す図である。図３（Ａ）は、画像入力部１０１が入力した入力画像５００の一例を示す図である。図３（Ｂ）は、入力画像５００に前述の合成用画像を合成した合成画像５００Ａの一例を示す図である。図３（Ｂ）を参照して、合成用画像は、一例として、「一時停止中」という文字を表示する画像である。合成画像５００Ａの生成は、たとえば、ユーザ指示に応じて行なわれる。

動画像符号化装置１０００は、図３（Ｂ）の合成画像５００Ａを圧縮して記録媒体に記録したり、通信路を介して伝送したりするための符号化データを生成する。

図４は、合成画像の生成を説明するための図である。図４を参照して、合成用領域５１０は、合成用画像が配置される領域である。合成用画像の水平方向のサイズは、ｘｓｉｚｅである。合成用画像の垂直方向のサイズは、ｙｓｉｚｅである。（ｘｃ、ｙｃ）は、合成用画像を合成する合成位置の座標である。以下においては、合成位置の座標を合成位置座標とも称する。合成位置座標（ｘｃ、ｙｃ）は、合成用画像の左上の位置に対応する。

前述したように、入力画像に合成される文字、記号、図形等の複数種類の合成用画像から構成される合成用画像抽出画像４００は、予め合成用データ格納部１０２に格納されている。

制御部１１４は、ユーザ指示を受信すると、ユーザ指示に基づく合成用画像を特定する情報（たとえば、管理番号“１０”（図２（Ｂ）参照））を合成用データ格納部１０２へ送信する。

合成用データ格納部１０２は、制御部１１４から受信した情報（管理番号“１０”）に基づいて、対応する合成用画像を、合成部１０３へ送信する。

また、制御部１１４は、合成用データ格納部１０２に格納されている合成用画像管理テーブルＴ１００にアクセスし、合成用画像に対応する情報を読み出す。当該読み出した情報は、合成用画像のサイズ情報（ｘｓｉｚｅ、ｙｓｉｚｅ）である。

たとえば、合成用画像が、管理番号“１０”に対応する画像である場合、合成用画像のサイズ情報は、（ｘｓｉｚｅ１０、ｙｓｉｚｅ１０）である（図２（Ｂ）参照）。この場合、合成用画像は、合成用画像抽出画像４００内における、座標（ｘ１０、ｙ１０）と、座標（ｘ１０＋ｘｓｉｚｅ１０、ｙ１０）と、座標（ｘ１０、ｙ１０＋ｙｓｉｚｅ１０）と、座標（ｘ１０＋ｘｓｉｚｅ１０、ｙ１０＋ｙｓｉｚｅ１０）とに囲まれる領域Ｒ１０内の画像（図２（Ｂ）参照）となる。以下においては、合成用画像抽出画像４００内における、合成用画像の座標を、合成用画像座標ともいう。

また、制御部１１４は、合成部１０３に対し、合成用画像を、合成位置座標（ｘｃ、ｙｃ）に配置させるための制御指示（以下、合成画像生成指示ともいう）を送信する。

合成部１０３は、受信した合成用画像および制御部１１４から受信した合成画像生成指示に基づいて、図４の合成画像５００Ａを生成する。

また、制御部１１４は、合成用画像を合成する合成位置座標（ｘｃ、ｙｃ）を、量子化部１０６へ送信する。合成位置座標（ｘｃ、ｙｃ）は、合成用画像の左上の位置に対応する。

また、制御部１１４は、合成用データに基づく合成用画像のサイズ情報（ｘｓｉｚｅ、ｙｓｉｚｅ）を、量子化部１０６へ送信する。すなわち、制御部１１４は、合成用領域５１０の位置およびサイズの情報を量子化部１０６へ送信する。

また、制御部１１４は、合成用領域５１０内の量子化幅ＱＰ’を、合成画像の合成用領域５１０以外の領域の量子化幅ＱＰより小さくさせるための量子化制御指示を、量子化部１０６へ送信する。すなわち、量子化部１０６に、合成用領域５１０内のみ、量子化幅を小さくさせて量子化させる。なお、ＱＰ’＜ＱＰが成立する。

量子化部１０６は、制御部１１４から受信した合成用領域５１０の位置およびサイズの情報および量子化制御指示に基づいて、直交変換部１０５から、受信した直交変換係数に対し、合成用領域５１０内に対応する部分のみ、量子化幅を小さくして量子化する。

以上の処理により、合成用画像を合成させる合成用領域に対してのみ、量子化幅を小さくして、量子化することで、文字や記号のエッジ部分に対して多くの符号量を割当てることができる。その結果、本実施の形態における動画像符号化装置１０００は、文字や記号のエッジ部分がぼけない良好な合成画像を生成できるという効果を奏する。

次に、本実施の形態における処理を説明する。
図５は、本実施の形態における合成画像の符号化過程を時系列で示した図である。

図６は、合成画像の符号化を説明するための図である。図６を参照して、合成用画像は、合成用領域ＧＲに配置される。

再び、図５を参照して、時刻ｔ＝Ｔに、制御部１１４が、ユーザ指示Ａを受信したとする。ユーザ指示Ａは、入力画像の合成用領域ＧＲ（図６参照）に、「一時停止中」を示す合成用画像を合成させるための指示である。

制御部１１４は、ユーザ指示Ａを受信すると、「一時停止中」を示す合成用画像の管理番号“１０”（図２（Ｂ）参照）を合成用データ格納部１０２へ送信する。合成用データ格納部１０２は、制御部１１４から受信した管理番号“１０”に基づいて、対応する合成用画像（たとえば、図２（Ａ）の領域Ｒ１０内の画像）を、合成部１０３へ送信する。

また、制御部１１４は、合成用データ格納部１０２に格納されている合成用画像管理テーブルＴ１００にアクセスし、合成用画像の管理番号“１０”に対応する情報を読み出す。当該読み出した情報は、合成用画像のサイズ情報（ｘｓｉｚｅ、ｙｓｉｚｅ）である。

また、制御部１１４は、合成用画像を、合成位置座標（ｘｃ、ｙｃ）に配置させるための合成画像生成指示を、合成部１０３へ送信する。

合成部１０３は、受信した合成用画像および制御部１１４から受信した合成画像生成指示に基づいて、合成画像を生成する。この合成画像に対し、以下に説明する動き補償、変換符号化が施される。

また、制御部１１４は、ユーザ指示Ａに基づいて、合成用画像を合成する合成位置座標（ｘｃ、ｙｃ）を、量子化部１０６へ送信する。

また、制御部１１４は、合成用データに基づく合成用画像のサイズ情報（ｘｓｉｚｅ、ｙｓｉｚｅ）を、量子化部１０６へ送信する。すなわち、制御部１１４は、合成用領域ＧＲの位置およびサイズの情報を量子化部１０６へ送信する。

また、制御部１１４は、合成用領域ＧＲ内の量子化幅ＱＰ’を、合成画像の合成用領域ＧＲ以外の領域の量子化幅ＱＰより小さくさせるための量子化制御指示を量子化部１０６へ送信する。なお、ＱＰ’＜ＱＰが成立する。

次に、時刻ｔ＝Ｔ＋ｎに、制御部１１４が、ユーザ指示Ｂを受信したとする。ユーザ指示Ｂは、「一時停止中」を示す合成用画像の合成を解除させるための指示である。

この場合、制御部１１４は、時刻Ｔ＋ｎに、合成用画像の合成を解除させるための制御指示を合成部１０３へ送信する。

また、制御部１１４は、時刻Ｔ＋ｎに、合成用領域ＧＲ内の量子化幅ＱＰ’を、合成画像の合成用領域ＧＲ以外の領域の量子化幅ＱＰと等しくさせるための量子化制御指示を量子化部１０６へ送信する。

なお、予測符号化時には、時刻ｔ＝Ｔ＋ｎと、時刻ｔ＝Ｔ＋ｎ＋１との間で文字が消えることにより予測誤差が大きくなる。そのため、制御部１１４は、時刻Ｔ＋ｎの代わりに時刻Ｔ＋ｎ＋１に、合成用領域ＧＲ内の量子化幅ＱＰ’を、合成画像の合成用領域ＧＲ以外の領域の量子化幅ＱＰと等しくさせるための量子化制御指示を量子化部１０６へ送信してもよい。この場合、時刻Ｔ〜時刻Ｔ＋ｎ＋１の間、量子化部１０６は、直交変換部１０５から、受信した直交変換係数に対し、合成用領域ＧＲ内に対応する部分のみ、量子化幅を小さくして量子化する。

なお、制御部１１４は、動き検出部１１３に対し、時刻ｔ＝Ｔおよび時刻ｔ＝Ｔ＋ｎ＋１に、合成用領域ＧＲの位置およびサイズの情報を送信してもよい。

この場合、動き検出部１１３は、受信した合成用領域ＧＲの情報に基づいて、合成用領域ＧＲを、フレーム内符号化を行なうＩブロックと判定する。そして、動き検出部１１３の判定に基づいて、時刻ｔ＝Ｔおよび時刻ｔ＝Ｔ＋ｎ＋１の各々における画像内の合成用領域ＧＲをＩブロックとして符号化する。

本実施の形態では、合成用画像は予め合成用データ格納部１０２に格納されていた。しかしながら、ユーザが端末（図示せず）等から入力した文字や記号を合成用画像として、入力画像に合成する場合も、本発明は適用可能である。以下においては、ユーザが文字や記号を入力する端末を合成用データ入力部ともいう。合成用データ入力部は、合成用画像を合成部１０３へ送信する。

この場合、動画像符号化装置１０００における合成用データ格納部１０２を、合成用データ入力部に置換える。合成用データ入力部はユーザの入力を画像に変換した合成用画像を合成部１０３へ送信する。合成部１０３は、画像入力部１０１から受信する入力画像に、合成用データ入力部から受信する合成用画像を合成した合成画像を生成する。

以上説明したように、本実施の形態では文字、記号、図形等のような合成用画像を入力画像に合成した画像を符号化する場合に以下の処理が行なわれる。当該処理では、制御部１１４が、合成画像生成指示を、量子化部１０６へ送信する。量子化部１０６は、合成画像生成指示の受信に応じて、入力画像に合成用画像を合成する合成用領域の量子化幅を、合成用領域以外の領域の量子化幅より小さくして量子化する。

したがって、本実施の形態における動画像符号化装置１０００は、文字、記号、図形等のエッジ部分がぼけない高品質な合成画像を生成できるという効果を奏する。

また、本実施の形態で生成された符号化データは、量子化の際の量子化幅の変更という処理に基づいて生成されたものである。したがって、本実施の形態により生成された符号化データを復号する際、新たな処理を必要としない。すなわち、既存の復号装置において、本実施の形態で生成された符号化データを復号することができる。

また、本実施の形態では、合成画像でない画像を、量子化部１０６が量子化する時は、量子化幅を変更前の状態に戻す。したがって、合成画像でない画像を量子化する際、量子化幅を不必要に変更して視覚的に影響のない余分な符号化データの発生を防ぐことができる。

＜第２の実施の形態＞
図７は、第２の実施の形態における動画像符号化装置１０００Ａの構成を示すブロック図である。図７を参照して、動画像符号化装置１０００Ａは、図１の動画像符号化装置１０００と比較して、フレームメモリ１１１の代わりに、第１メモリ１１１Ａおよび第２メモリ１１１Ｂを備える点が異なる。また、動き検出部１１３、制御部１１４の動作が一部異なる。それ以外の構成は、画像符号化装置１０００と同様なので詳細な説明は繰り返さない。

第１メモリ１１１Ａは、復号画像を格納する機能を有する。第１メモリ１１１Ａは、前述のフレームメモリ１１１と同様、加算部１１０により、順次、復号画像が上書き記憶される。すなわち、第１メモリ１１１Ａに記憶される復号画像は、順次、更新される。

また、第１メモリ１１１Ａは、外部からの制御指示に応じて、格納している画像データを、第２メモリ１１１Ｂに記憶させる機能を有する。

第２メモリ１１１Ｂは、第１メモリ１１１Ａに順次記憶される復号画像のうち、長期的に格納する必要のある復号画像を、第１メモリ１１１Ａとは別に格納するためのフレームメモリである。

たとえば、第１メモリ１１１Ａおよび第２メモリ１１１Ｂの各々は、１枚の復号画像分のデータしか格納する容量がないとする。この場合、第１メモリ１１１Ａにおいて、前に格納されていた復号画像は、上書き記憶により削除される。

しかしながら、第２メモリ１１１Ｂは、第１メモリ１１１Ａに制御指示があるまでは、格納している復号画像を保存しておくことができる。

図８は、第２の実施の形態における合成画像の符号化過程を時系列で示した図である。図８を参照して、画像入力部１０１が、入力画像を入力する時刻をｔ＝０とする。制御部１１４は、入力画像の符号化処理が行われる前の時刻ｔ＝−１に、合成用画像抽出画像４００を、合成部１０３へ送信させるための制御指示を合成用データ格納部１０２へ送信する。なお、本実施の形態では、入力画像のサイズと、合成用画像抽出画像４００のサイズは同じであるとする。

合成用データ格納部１０２は、制御部１１４から受信した制御指示に基づいて、合成用画像抽出画像４００を、合成部１０３へ送信する。

合成部１０３は、合成用画像抽出画像４００を減算部１０４へ送信する。その後、前述した減算部１０４、直交変換部１０５、量子化部１０６、逆量子化部１０８、逆直交変換部１０９、加算部１１０の処理により、Ｉフレーム（フレーム内符号化フレーム）として符号化および復号された合成用画像抽出画像４００が、第１メモリ１１１Ａに記憶される。

制御部１１４は、時刻ｔ＝−１において、さらに、第１メモリ１１１Ａに記憶されている合成用画像抽出画像４００を第２メモリ１１１Ｂに記憶させるための画像複製指示を、第１メモリ１１１Ａへ送信する。

第１メモリ１１１Ａは、画像複製指示に応じて、第１メモリ１１１Ａに合成用画像抽出画像４００が記憶されると、合成用画像抽出画像４００を第２メモリ１１１Ｂに記憶させる。

次に、時刻ｔ＝０において、画像入力部１０１に画像が入力されたとする。画像入力部１０１は、入力画像を合成部１０３へ送信する。そして、合成部１０３、減算部１０４、直交変換部１０５、量子化部１０６、逆量子化部１０８、逆直交変換部１０９、加算部１１０の処理により、入力画像は、Ｉフレームとして符号化および復号され、第１メモリ１１１Ａに記憶される。なお、この時点で、第１メモリ１１１Ａに記憶される画像は、入力画像に合成用画像が合成されていない画像（入力画像そのもの）である。

時刻ｔ＝ｋ（ｋ＜Ｔ）において、画像入力部１０１に画像が順次入力されたとする。この場合、画像入力部１０１は、入力画像を、順次、合成部１０３へ送信する。そして、入力画像を、Ｉフレームとして第１メモリ１１１Ａに記憶させる場合は、合成部１０３、減算部１０４、直交変換部１０５、量子化部１０６、逆量子化部１０８、逆直交変換部１０９、加算部１１０の処理により、入力画像は、Ｉフレームとして符号化および復号され、第１メモリ１１１Ａに記憶される。

また、入力画像を、Ｐフレームとして符号化および復号し、第１メモリ１１１Ａに記憶させる場合、以下の処理が行なわれる。まず、動き検出部１１３が、前述の合成部１０３から受信した画像と、時刻ｔ＝ｋ−１に第１メモリ１１１Ａに格納された復号画像とから、動画像の動きを検出し動きベクトルを算出する。動き検出部１１３は、算出した動きベクトルを動き補償部１１２へ送信する。

動き補償部１１２は、時刻ｔ＝ｋ−１に第１メモリ１１１Ａに格納された復号画像と、受信した動きベクトルとから、入力画像の予測画像を生成する。動き補償部１１２は、生成した予測画像を、減算部１０４および加算部１１０へ送信する。

そして、減算部１０４、直交変換部１０５、量子化部１０６、逆量子化部１０８、逆直交変換部１０９の処理により、算出された画像の差分値が、加算部１１０へ送信される。

加算部１１０は、受信した予測画像に、受信した差分値を加算し、Ｐフレームとしての画像を作成する。そして、加算部１１０は、復号画像を第１メモリ１１１Ａに上書き記憶させる。

次に、時刻ｔ＝Ｔに、制御部１１４が、ユーザ指示Ｂを受信したとする。ユーザ指示Ｂは、入力画像の合成用領域ＧＲ１（図８参照）に、「一時停止中」を示す合成用画像を合成させるための指示である。合成用領域ＧＲ１の左上の座標は、（ｘｃ、ｙｃ）である。

制御部１１４は、「一時停止中」を示す合成用画像の管理番号“１０”（図２（Ｂ）参照）を合成用データ格納部１０２へ送信する。合成用データ格納部１０２は、制御部１１４から受信した管理番号“１０”に基づいて、対応する合成用画像（図２（Ａ）の領域Ｒ１０内の画像）を、合成用画像抽出画像４００から抽出して、合成部１０３へ送信する。また、制御部１１４は、合成用画像を、合成用領域ＧＲ１に配置させるための合成画像生成指示を、合成部１０３へ送信する。

また、制御部１１４は、合成用データ格納部１０２に格納されている合成用画像管理テーブルＴ１００にアクセスし、合成用画像の管理番号“１０”に対応する情報を読み出す。当該読み出した情報は、合成用画像のサイズ情報（ｘｓｉｚｅ１０、ｙｓｉｚｅ１０）および合成用画像座標（ｘ１０、ｙ１０）の情報である。

合成部１０３は、受信した合成用画像および制御部１１４から受信した合成画像生成指示に基づいて、入力画像と、合成用画像との合成画像を生成する。合成部１０３は、生成した合成画像を減算部１０４および動き検出部１１３へ送信する。

図９は、時刻ｔ＝Ｔに、合成部１０３が生成した合成画像７００を示す図である。図９を参照して、合成画像７００には、合成用領域ＧＲ１と、非合成用領域Ｒ０とが含まれる。合成用領域ＧＲ１は、合成用画像が配置される領域である。非合成用領域Ｒ０は、合成画像７００内の合成用領域ＧＲ１以外の領域である。非合成用領域Ｒ０には、入力画像が配置される。

再び、図８を参照して、制御部１１４は、動き検出部１１３に対し、合成部１０３から受信した合成画像内の合成位置座標（ｘｃ、ｙｃ）および合成用画像のサイズ情報（ｘｓｉｚｅ１０、ｙｓｉｚｅ１０）を送信する。

また、合成用データ格納部１０２は、ユーザ指示Ｂに対応する合成用画像の合成用画像座標（ｘ１０、ｙ１０）を、動き検出部１１３へ送信する。

動き検出部１１３は、合成部１０３から受信した合成画像と、時刻ｔ＝Ｔ−１に第１メモリ１１１Ａに格納された復号画像または時刻ｔ＝−１に第２メモリ１１１Ｂに格納された復号画像とから、動画像の動きを検出し動きベクトルを算出する。

具体的には、非合成用領域Ｒ０内の画像に対しては、動き検出部１１３は、合成部１０３から受信した合成画像と、時刻ｔ＝Ｔ−１に第１メモリ１１１Ａに格納された復号画像とから、動画像の動きを検出し動きベクトルを算出する。

合成用領域ＧＲ１内の画像に対しては、動き検出部１１３は、合成部１０３から受信した合成画像と、時刻ｔ＝−１に第２メモリ１１１Ｂに格納された合成用画像抽出画像４００とから、動画像の動きを検出し動きベクトルを算出する。動きベクトルは、合成位置座標（ｘｃ、ｙｃ）と、合成用画像座標（ｘ１０、ｙ１０）との差分により算出され、（ｘｃ−ｘ１０、ｙｃ−ｙ１０）となる。

動き検出部１１３は、算出した動きベクトルを動き補償部１１２へ送信する。
動き補償部１１２は、時刻ｔ＝−１に第２メモリ１１１Ｂに格納された合成用画像抽出画像４００と、受信した動きベクトルとから、合成画像の予測画像を生成する。動き補償部１１２は、生成した予測画像を、減算部１０４および加算部１１０へ送信する。

そして、減算部１０４、直交変換部１０５、量子化部１０６、逆量子化部１０８、逆直交変換部１０９の処理により、算出された画像の差分値が、加算部１１０へ送信される。

加算部１１０は、受信した予測画像に、受信した差分値を加算し、復号画像を作成する。そして、加算部１１０は、復号画像を第１メモリ１１１Ａに上書き記憶させる。

次に、時刻ｔ＝Ｔ＋１以降は、前述した時刻ｔ＝ｋ（ｋ＜Ｔ）において行なわれる処理と同様、符号化対象となる画像の全ての領域を前フレームから予測する予測符号化処理が行われる。ここで合成用領域ＧＲ１についても前フレームから予測するのは、動きベクトルが、第２メモリ１１１Ｂからの予測では（ｘｃ−ｘｎ、ｙｃ−ｙｎ）であるのに対し、前フレームからの予測では（０、０）となるため、動きベクトルに必要な符号量を削減できるためである。

以上説明したように、第２の実施の形態では、入力画像の符号化処理が行われる前に、合成用画像抽出画像４００を符号化し、復号画像を、第１メモリ１１１Ａおよび第２メモリ１１１Ｂに記憶させる。そして、入力画像に対しては、予測符号化の時は前フレームを格納した第１メモリ１１１Ａを参照して符号化する。

合成画像を生成する場合は、入力画像に合成用画像を合成するタイミングに合わせて、以下の処理が行なわれる。当該処理では、非合成用領域Ｒ０に対しては前フレームを格納した第１メモリ１１１Ａを参照し、合成用領域ＧＲ１に対しては、合成用画像抽出画像４００が格納された第２メモリ１１１Ｂを参照して予測符号化が行なわれる。

この場合、時刻ｔ＝Ｔの非合成用領域Ｒ０に対しては、動きベクトルは、ユーザが指示した合成位置座標（ｘｃ、ｙｃ）と、合成用画像抽出画像４００内の指定された合成用画像の合成用画像座標（ｘｎ、ｙｎ）との差分から計算される。合成画像が生成された後（ｔ＝Ｔ＋１以降）は、画像の全領域を、第１メモリ１１１Ａを参照して予測符号化する。

以上説明したように、第２の実施の形態では、カメラ等からの入力画像を符号化処理する前に、文字、記号、図形等の複数種類の合成用画像から構成される合成用画像抽出画像４００を、長期間保存できる第２メモリ１１１Ｂに予め別途記憶させる。

そして、合成画像生成指示の受信に応じて、合成画像を最初に生成する際、合成画像内の非合成用領域Ｒ０および合成用領域ＧＲ１の各々で、関連する画像が記憶されたメモリを参照して、動き検出をし、予測符号化を行なう。

したがって、動き検出を効率よく行なうことができ、効率よく予測符号化を行なうことができる。また、合成用領域ＧＲ１では動き検出の処理が不要であるため、画像処理時間を短縮することができるという効果を奏する。

また、合成用領域ＧＲ１に多くの符号化データを割当てることなく、少ないデータ量で、高品質な合成画像の符号化データを作成することができるという効果を奏する。

また、本実施の形態においては、文字、記号、図形等を合成した合成画像に対し、処理量を増加させることなく画質を維持して符号化することができるという効果を奏する。

また、本実施の形態では、画像内の領域に応じて、異なる画像が記憶されたメモリを参照するだけで、合成画像の画質向上を実現している。そのため、本実施の形態により生成された符号化データを復号する際、新たな処理を必要としない。すなわち、既存の復号装置において、本実施の形態で生成された符号化データを復号することができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

第１の実施の形態における動画像符号化装置の構成を示すブロック図である。 合成用画像抽出画像および合成用画像管理テーブルを示す図である。 動画像符号化装置において処理される画像の一例を示す図である。 合成画像の生成を説明するための図である。 本実施の形態における合成画像の符号化過程を時系列で示した図である。 合成画像の符号化を説明するための図である。 第２の実施の形態における動画像符号化装置の構成を示すブロック図である。 第２の実施の形態における合成画像の符号化過程を時系列で示した図である。 時刻ｔ＝Ｔに、合成部が生成した合成画像を示す図である。

符号の説明

１０１ 画像入力部、１０２ 合成用データ格納部、１０３ 合成部、１０４ 減算部、１０５ 直交変換部、１０６ 量子化部、１０７ 可変長符号化部、１０８ 逆量子化部、１０９ 逆直交変換部、１１０ 加算部、１１１ フレームメモリ、１１１Ａ 第１メモリ、１１１Ｂ 第２メモリ、１１２ 動き補償部、１１３ 動き検出部、１１５ 指示入力部、１１４ 制御部、１０００，１０００Ａ 動画像符号化装置。

Claims (4)

1. 画像を、順次入力するための入力手段と、
   外部からの要求に応答して、前記入力手段により入力された入力画像内の合成用領域に、複数の合成用画像の候補のうち要求された合成用画像を合成した合成画像を生成するための合成手段と、
   符号化データを復号した１フレーム分の復号画像を記憶する第１記憶手段と、
   符号化データを復号した復号画像を、前記第１記憶手段が記憶する期間よりも長く記憶する第２記憶手段と、
   前記入力画像または前記合成画像の動き検出を行なうための動き検出手段とを備え、
   前記第２記憶手段には、前記入力画像が処理される前に、前記復号画像として、複数種類の合成用画像の候補から構成された合成用画像抽出画像が記憶され、
   前記動き検出手段は、
   前記合成画像の生成が要求されていない期間において、フレーム全体に対して、第１記憶手段に記憶されている復号画像に基づいて動き検出を行ない、
   前記合成画像の生成が要求されている期間において、
   前記合成画像内の前記合成用領域に対しては、前記合成画像と、前記第２記憶手段に記憶された前記復号画像である前記合成用画像抽出画像とに基づいて動き検出を行ない、
   前記合成画像内の前記合成用領域以外の領域に対しては、第１記憶手段に記憶されている復号画像に基づいて動き検出を行なう、動画像符号化装置。
2. 前記動き検出手段は、前記合成画像の生成が要求されている期間において、前記合成用領域以外の領域に対しては、前記第１記憶手段に記憶されている復号画像に基づいて動きベクトルを算出し、前記合成用領域に対しては、前記第２記憶手段に記憶されている復号画像に基づいて動きベクトルを算出し、
   前記動画像符号化装置は、
   前記動きベクトルと前記第１記憶手段および前記第２記憶手段に記憶されている前記復号画像とに基づいて、前記合成画像の予測画像を生成する動き補償手段と、
   前記合成画像と前記予測画像とを比較して差分画像を生成する差分画像生成手段とをさらに備える、請求項１に記載の動画像符号化装置。
3. 前記差分画像を量子化するための量子化手段と、
   前記量子化手段へ、前記合成用領域の情報を送信するための制御手段とをさらに備え、
   前記量子化手段は、前記合成用領域の情報の受信後、前記合成用領域の情報に基づいて、前記合成画像内の前記合成用領域および前記合成用領域以外の領域で、それぞれ、異なる量子化幅で量子化する、請求項２に記載の動画像符号化装置。
4. 前記合成画像内の前記合成用領域は、前記入力画像内の合成用領域と同じ大きさであり、
   前記合成画像内の前記合成用領域の位置は、前記入力画像内の合成用領域の位置と同じである、請求項１〜３のいずれか１項に記載の動画像符号化装置。

Images