JP5539132B2 - 画像処理装置、画像処理方法 - Google Patents

Description

本発明は、画像合成技術に関するものである。

動画像を表示するディスプレイ装置においては、複数の画像を単一の画像に変換する合成処理が行われる。この技術は、例えば、ディスプレイ上でのメニュー表示時や、親子画面によるＰｉｎＰ表示の際に用いる。また、ディスプレイ装置においては、ビデオデータのフレームレートの高速化を行う技術が知られており、この技術は、液晶ディスプレイ装置等の表示装置で用いられている。

上述の合成処理では、例えばビデオデータ上に描画データを重ね合わせる処理を行うため、ビデオデータおよび描画データをフレームメモリから読み出し、合成処理を行い、合成処理後のデータを再びフレームメモリに書き込むという動作をする。そのため、大量の画像データの読み出し、書き込みによるデータ転送帯域幅の増加が見込まれる。

さらに、上述のフレームレート高速化処理と合成処理を組み合わせると、フレームレート高速化により増加したビデオフレームに対して合成処理を行うため、さらなるデータ転送帯域幅の増加が生じる。このようなデータ転送帯域幅の増加を緩和するための方策として、特許文献１の技術が開示されている。

ここで、上述したような合成処理においてエラーが発生した場合、一つは誤ったデータが後段に伝播するのを防止するため、出力を停止することが行われている。また、後段の装置が複数のフレームメモリを持ち、合成処理でエラーが生じた場合には、その時点よりも前に合成処理が正常に行われたときの処理結果を出力することが行われている。

特開２００８−２２８２３３号公報

しかしながら、上述した従来のエラー時の対処方法では、下記のような課題がある。まず、エラーが発生すると出力を停止するような合成処理装置では、後段の処理装置にデータが伝播されず、後段の処理および出力のエラー要因となる。一方、後段の装置が複数のフレームメモリを持ち、合成処理でエラーが生じると以前の処理結果を出力する装置では、以前の処理結果の出力が連続すると、同一フレームの連続出力及びエラー復帰時のフレーム飛ばしにより、視覚的効果に違和感が生じてしまう。

本発明は以上の問題に鑑みてなされたものであり、画像合成を行う装置において何らかのエラーが発生しても、この装置からの出力を継続する為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理装置は次の構成を備える。即ち、第１の画像を入力する第１の入力手段と、
前記第１の画像上に合成するための画像である第２の画像を入力すると共に、自身の動作にエラーが生じた場合には第１のエラー信号を発生する第２の入力手段と、
前記第１の画像上に前記第２の画像を合成して１枚の合成画像を生成すると共に、自身の動作にエラーが生じた場合には第２のエラー信号を発生する合成手段と、
出力画像をライン毎に出力する出力手段とを備え、
前記出力手段は、
前記第１のエラー信号及び前記第２のエラー信号の何れも発生していない期間内では、前記合成画像を構成する各ラインを順次、前記出力画像の各ラインとして出力し、前記合成画像のＸライン目を出力中に前記第１のエラー信号又は前記第２のエラー信号が発生した場合には、前記第１の画像のＸライン目以降を順次、前記出力画像のＸライン目以降として出力する
ことを特徴とする。

本発明の構成によれば、画像合成を行う装置において何らかのエラーが発生しても、この装置からの出力を継続することができる。

画像処理装置１００の主要部の機能構成例を示すブロック図。 画像処理装置の処理シーケンスを示す図。 出力画像例を示す図。 画像処理装置の処理シーケンスを示す図。 出力画像例を示す図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、本実施形態に係る画像処理装置１００の主要部の機能構成例について、図１のブロック図を用いて説明する。本実施形態に係る画像処理装置は、主画像としての第１の画像と、副画像としての第２の画像と、を入力とし、通常であれば第１の画像上に第２の画像を合成した１枚の合成画像を生成して出力する。しかし、Ｘライン目の出力中に画像処理装置内で何らかのエラーが生じた場合には、第１の画像において（Ｘ＋１）ライン目以降を出力する。

第一画像入力部１０１は、信号線１０６を介して外部から入力される第１の画像を取得（第１の入力）し、取得した第１の画像を信号線１０８を介して画像合成部１０３及び画像出力部１０５に対して出力する。

第二画像入力部１０２は、信号線１０７を介して外部から入力される第２の画像を取得（第２の入力）する。そして画像合成部１０３から信号線１１０を介してタイミング信号を受信すると、この取得した第２の画像を信号線１０９を介して画像合成部１０３に対して出力する。

また、第二画像入力部１０２は、自身の動作にエラーが生じた場合（自身が取り扱うデータに異常を発見した場合も含む）には、エラー検出フラグとしてのエラー信号（第１のエラー信号）を発生する。そして第二画像入力部１０２は、この発生したエラー信号を信号線１１２を介して論理和器１０４に対して出力する。ここでのエラーとは、第二画像入力部１０２が信号線１０７を介して第２の画像を入力する際に生じるエラー、入力した第２の画像を画像合成部１０３に送出する際に生じるエラー、を想定している。然るに本実施形態では、第二画像入力部１０２は、これらのエラーの何れかを検知した場合にはエラー信号を発生する。

なお、画像合成処理時には、合成対象となる複数の画像データの画素を同時に必要とするため、処理対象画素の待ち合わせが生じる。この待ち合わせは、画像処理装置１００への入力の前段、画像データの入力部、画像合成処理部のいずれで行うことも可能であるが、本実施形態では、第二画像入力部１０２で行うものとする。即ち、本実施形態では、第二画像入力部１０２は、複数枚の画像を記憶可能なメモリサイズを有するバッファメモリを備えているものとする。然るに第二画像入力部１０２は、信号線１０７を介して第２の画像を取得すると、これをバッファメモリに格納する。そして第二画像入力部１０２は、画像合成部１０３から信号線１１０を介してタイミング信号を受信すると、これにあわせて、バッファメモリに格納されている第２の画像を読み出し、信号線１０９を介して画像合成部１０３に対して出力する。

画像合成部１０３は、複数枚の画像を合成して１枚の合成画像を生成する機能を有し、本実施形態では、第１の画像上に第２の画像を合成して１枚の合成画像を生成する。先ず画像合成部１０３は、信号線１０８を介して第１の画像を取得すると共に、この取得に合わせてタイミング信号を、信号線１１０を介して第二画像入力部１０２に対して出力する。そして画像合成部１０３は、第二画像入力部１０２がこのタイミング信号の受信に応じて出力した第２の画像を信号線１０９を介して取得する。そして画像合成部１０３は、第１の画像上に第２の画像を合成して１枚の合成画像を生成し、生成した合成画像を信号線１１１を介して画像出力部１０５に対して出力する。

また、画像合成部１０３は、自身の動作にエラーが生じた場合（自身が取り扱うデータに異常を発見した場合も含む）には、エラー検出フラグとしてのエラー信号（第２のエラー信号）を発生する。そして画像合成部１０３は、この発生したエラー信号を信号線１１３を介して論理和器１０４に対して出力する。ここでのエラーとは、次のようなエラーを想定している。即ち、画像合成部１０３が信号線１０９を介して第２の画像を入力する際に生じるエラー、合成画像の生成時に生じるエラー、合成画像を信号線１１１を介して画像出力部１０５に出力する際に生じるエラー、である。然るに本実施形態では、画像合成部１０３は、これらのエラーの何れかを検知した場合にはエラー信号を発生する。

論理和器１０４は、信号線１１３若しくは信号線１１２からエラー信号を受信した場合にエラー信号を発生し、発生したエラー信号を画像出力部１０５に対して出力する。例えば、第二画像入力部１０２、画像合成部１０３は、エラーが生じていない期間では値「０」を示す非エラー信号を発生し、エラーが生じている期間では「１」を示すエラー信号を発生する。そして論理和器１０４は、信号線１１３を介して受信した信号の値と信号線１１２を介して受信した信号の値との論理和演算を行う。そして論理和器１０４は、この論理和演算の結果が「１」であれば「１」を示す（エラーを示す）エラー信号を発生し、論理和演算の結果が「０」であれば「０」を示す（非エラーを示す）非エラー信号を発生する。そして論理和器１０４は、この発生させた信号を、信号線１１４を介して画像出力部１０５に対して送出する。

もちろん、第二画像入力部１０２、画像合成部１０３の何れでエラーが生じているのかを監視するための方法については様々なものがあり、上記の構成に限定するものではない。

画像出力部１０５は、信号線１１４を介して受信した信号の値を参照し、参照した値が「０」、即ちこの受信した信号が非エラー信号である限りは、画像出力部１０５は、信号線１１１を介して受信した合成画像の各ラインを信号線１１５を介して出力する。ここで、画像出力部１０５が合成画像のＸ（１≦Ｘ≦Ｌ：Ｌは合成画像の総ライン数）ライン目を出力中に、値が「１」の信号（エラー信号）を信号線１１４を介して受信したとする。この場合、画像出力部１０５は、第１の画像においてＸライン目以降を、信号線１１５を介して出力する。

これにより、第１のエラー信号及び第２のエラー信号の何れも発生していない期間内では、合成画像を構成する各ラインを出力画像の各ライン（ライン毎）として順次出力することができる。そして、Ｘライン目を出力中に第１のエラー信号又は第２のエラー信号が発生した場合には、第１の画像のＸライン目以降を出力画像のＸライン目以降として順次出力することができる。これにより、信号線１１５を介して出力画像を出力することができる。

信号線１１５には表示装置を接続し、この表示装置に合成画像若しくは第１の画像を表示するようにしても良いし、信号線１１５にネットワークを接続し、合成画像若しくは第１の画像をこのネットワークに対して送信しても良い。

次に、図２〜５を用いて、本実施形態に係る画像処理装置の処理シーケンスについて説明する。なお、以下の説明では、第１の画像をビデオデータ、第２の画像をビデオデータ上に合成するメニュー表示用のグラフィックデータとして説明するが、第１の画像、第２の画像はこれに限定するものではない。

先ず、画像処理装置において何等エラーが生じなかった場合における画像処理装置の動作について、図２，３を用いて説明する。２０１は、信号線１０７上のグラフィックデータを示す。２０２は、信号線１０７から第二画像入力部１０２へのグラフィックデータの送信を示す。２０３は、第二画像入力部１０２が受信したグラフィックデータを示す。図１の説明で述べたとおり、このグラフィックデータは第二画像入力部１０２内のバッファメモリ内に一時的に保存される。２０４は、信号線１０６上のビデオデータを示す。２０５は、信号線１０６から第一画像入力部１０１へのビデオデータの送信を示す。２０６は、第一画像入力部１０１が受信したビデオデータを示す。

第一画像入力部１０１はビデオデータ２０６を受信すると、直ちに信号線１０８を介して画像合成部１０３および画像出力部１０５に対してビデオデータ２０６を送信する。２０７は、第一画像入力部１０１から画像合成部１０３へのビデオデータ２０６の送信を示す。２０８は、第一画像入力部１０１から画像出力部１０５へのビデオデータ２０６の送信を示す。

２０９は、画像合成部１０３が受信したビデオデータを示す。２１０は、画像合成部１０３が第二画像入力部１０２に対して信号線１１０を介して送信するタイミング信号を示す。

画像合成部１０３は第一画像入力部１０１よりビデオデータ２０９を受け取ると、直ちに信号線１１０を介して第二画像入力部１０２に対してタイミング信号２１０を送信する。２１１は、第二画像入力部１０２上のグラフィックデータを示す。第二画像入力部１０２は画像合成部１０３よりタイミング信号２１０を受信すると、第二画像入力部１０２内部のバッファに保存していたグラフィックデータ２１１の画像合成部１０３への送信を開始する。２１２は、第二画像入力部１０２から画像合成部１０３へのグラフィックデータ２１１の送信を示す。２１３は、画像合成部１０３が受信したグラフィックデータを示す。

２１４は、画像合成部１０３において、ビデオデータ２０９とグラフィックデータ２１３を用いて作成した合成画像を示す。画像合成部１０３は合成画像２１４を作成すると、直ちに信号線１１１を介して画像出力部１０５に対して合成画像２１４を送信する。２１５は、画像合成部１０３から画像出力部１０５への合成画像２１４の送信を示す。２１６は、画像出力部１０５が受信したビデオデータを示す。２１７は、画像出力部１０５が受信した合成画像を示す。

２１８は、画像出力部１０５が信号線１１５に対して送信する画像を示す。図２における動作例では、第二画像入力部１０２、画像合成部１０３の何れでもエラーを検出していないので、画像出力部１０５からの出力として合成画像２１７が選択される。２１９は、画像出力部１０５から信号線１１５への画像の送信を示す。２２０は、信号線１１５上の画像を示す。

図２に示したシーケンスによる出力画像例を図３に示す。３００は合成画像の一例である。３０２は、ビデオデータとグラフィックデータが合成された領域であり、領域３０２の外側の領域３０１はグラフィックデータが合成されず、ビデオデータのみが出力されている領域である。

次に、画像合成部１０３においてエラーを検出した場合における画像処理装置の動作について、図４，５を用いて説明する。４０１は、信号線１０７上のグラフィックデータを示す。４０２は、信号線１０７から第二画像入力部１０２へのグラフィックデータ４０１の送信を示す。４０３は、第二画像入力部１０２が受信したグラフィックデータを示す。図１の説明で述べたとおり、このグラフィックデータ４０３は第二画像入力部１０２内のバッファに一時的に保存される。

４０４は、信号線１０６上のビデオデータを示す。４０５は、信号線１０６から第一画像入力部１０１へのビデオデータ４０４の送信を示す。４０６は、第一画像入力部１０１が受信したビデオデータを示す。

第一画像入力部１０１はビデオデータ４０６を受信すると、直ちに信号線１０８を介して画像合成部１０３および画像出力部１０５に対してビデオデータ４０６を送信する。４０７は、第一画像入力部１０１から画像合成部１０３へのビデオデータ４０６の送信を示す。４０８は、第一画像入力部１０１から画像出力部１０５へのビデオデータ４０６の送信を示す。

４０９は、画像合成部１０３が受信したビデオデータを示す。４１０は、画像合成部１０３が第二画像入力部１０２に対して信号線１１０を介して送信するタイミング信号を示す。画像合成部１０３は第一画像入力部１０１よりビデオデータ４０９を受け取ると、直ちに信号線１１０を介して第二画像入力部１０２に対してタイミング信号４１０を送信する。

４１１は、第二画像入力部１０２上のグラフィックデータを示す。第二画像入力部１０２は画像合成部１０３よりタイミング信号４１０を受信すると、第二画像入力部１０２内部のバッファに保存していたグラフィックデータ４１１の画像合成部１０３への送信を開始する。４１２は、第二画像入力部１０２から画像合成部１０３へのグラフィックデータ４１１の送信を示す。４１３は、画像合成部１０３が受信したグラフィックデータを示す。

４１４は、画像合成部１０３において、ビデオデータ４０９とグラフィックデータ４１３を用いて作成した合成画像を示す。画像合成部１０３は合成画像４１４を作成すると、直ちに信号線１１１を介して画像出力部１０５に対して合成画像４１４を送信する。４１５は、画像合成部１０３から画像出力部１０５への合成画像４１４の送信を示す。４１６は、画像出力部１０５が受信したビデオデータを示す。４１７は、画像出力部１０５が受信した合成画像を示す。

４１８は、画像出力部１０５が信号線１１５に対して送信するライン群を示す。図４における動作例において、ライン群４１８を送信している期間内では第二画像入力部１０２または画像合成部１０３においてエラーが発生していないため、画像出力部１０５からは合成画像４１４の各ラインが順次出力される。４１９は、画像出力部１０５から信号線１１５へのライン群の送信を示す。４２０は、信号線１１５上のライン群を示す。

４２１は、画像合成部１０３がエラー信号を発生したことにより論理和器１０４から信号線１１４を介して画像出力部１０５に送信されるエラー信号を示す。画像合成部１０３での合成処理時にエラーが発生すると、直ちにエラー信号が送信される。

４２２は、画像出力部１０５が信号線１１５に対して送信するライン群を示す。画像出力部１０５は、エラー信号４２１を受信した時点で、合成画像４１４からラインを選択して出力することを止め、続きのラインをビデオデータ４１６から選択して出力する。本実施形態のように、１つのフレーム中にエラーが発生した場合は、それがフレームの途中であっても、エラーが発生した時点より、画像出力部１０５からの出力を切り替える。４２３は、画像出力部１０５から信号線１１５へのライン群の送信を示す。４２４は、信号線１１５上のライン群を示す。

図４に示したシーケンスによる出力画像例を図５に示す。５００は出力画像の一例である。５０２は、ビデオデータとグラフィックデータが合成された領域である。合成領域５０２の外側の領域５０１はグラフィックデータが合成されず、ビデオデータのみが出力されている領域である。

図４に示したシーケンスによる動作では、１つのフレームの途中でエラーが発生したことにより、出力として選択されるデータが合成画像からビデオデータに切り替わった。そのため、ビデオデータとグラフィックデータの合成領域５０２は途中で途切れたような表示となっている。より詳しくは、出力画像５００において１ライン目から（Ｘ−１）ライン目（点線）までは合成画像の１ライン目から（Ｘ−１）ライン目であり、出力画像においてＸライン目からＬライン目までは第１の画像のＸライン目からＬライン目となっている。即ち、画像出力部１０５は、合成画像のＸライン目を出力中に、値が「１」の信号（エラー信号）を信号線１１４を介して受信したので、第１の画像においてＸライン目以降を出力画像のＸライン目以降として出力している。

以上の説明により、本実施形態によれば、複数の画像を１つの画像に合成する画像処理装置においてエラーが発生しても、画像出力を継続することができ、この画像処理装置におけるエラーが原因で後段の装置の動作を停止させることがなくなる。

［第２の実施形態］
図１に示した各部はハードウェアで構成しても良いし、ソフトウェア（コンピュータプログラム）で構成しても良い。図１の各部をソフトウェアで実装する場合、このソフトウェアは、ＰＣ（パーソナルコンピュータ）等のコンピュータが有するメモリに格納し、このコンピュータのＣＰＵがこのソフトウェアを実行することになる。これにより、このコンピュータは、これら各部の動作を実現することになる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (6)

1. 第１の画像を入力する第１の入力手段と、
   前記第１の画像上に合成するための画像である第２の画像を入力すると共に、自身の動作にエラーが生じた場合には第１のエラー信号を発生する第２の入力手段と、
   前記第１の画像上に前記第２の画像を合成して１枚の合成画像を生成すると共に、自身の動作にエラーが生じた場合には第２のエラー信号を発生する合成手段と、
   出力画像をライン毎に出力する出力手段とを備え、
   前記出力手段は、
   前記第１のエラー信号及び前記第２のエラー信号の何れも発生していない期間内では、前記合成画像を構成する各ラインを順次、前記出力画像の各ラインとして出力し、前記合成画像のＸライン目を出力中に前記第１のエラー信号又は前記第２のエラー信号が発生した場合には、前記第１の画像のＸライン目以降を順次、前記出力画像のＸライン目以降として出力する
   ことを特徴とする画像処理装置。
2. 前記第２の入力手段は、前記第２の画像を入力する際に生じるエラー、該入力した第２の画像を前記合成手段に対して出力する際に生じるエラー、の何れかを検知した場合に前記第１のエラー信号を発生することを特徴とする請求項１に記載の画像処理装置。
3. 前記合成手段は、前記第２の入力手段から前記第２の画像を取得する際に生じるエラー、前記合成画像の生成時に生じるエラー、前記合成画像を前記出力手段に出力する際に生じるエラー、の何れかを検知した場合に前記第２のエラー信号を発生することを特徴とする請求項１又は２に記載の画像処理装置。
4. 画像処理装置が行う画像処理方法であって、
   前記画像処理装置の第１の入力手段が、第１の画像を入力する第１の入力工程と、
   前記画像処理装置の第２の入力手段が、前記第１の画像上に合成するための画像である第２の画像を入力すると共に、自身の動作にエラーが生じた場合には第１のエラー信号を発生する第２の入力工程と、
   前記画像処理装置の合成手段が、前記第１の画像上に前記第２の画像を合成して１枚の合成画像を生成すると共に、自身の動作にエラーが生じた場合には第２のエラー信号を発生する合成工程と、
   前記画像処理装置の出力手段が、出力画像をライン毎に出力する出力工程とを備え、
   前記出力工程では、
   前記第１のエラー信号及び前記第２のエラー信号の何れも発生していない期間内では、前記合成画像を構成する各ラインを順次、前記出力画像の各ラインとして出力し、前記合成画像のＸライン目を出力中に前記第１のエラー信号又は前記第２のエラー信号が発生した場合には、前記第１の画像のＸライン目以降を順次、前記出力画像のＸライン目以降として出力する
   ことを特徴とする画像処理方法。
5. コンピュータを請求項１乃至３の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
6. 請求項５に記載のコンピュータプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images