JP5613351B2 - 画像信号処理方法および装置 - Google Patents

Description

本発明は、画像信号処理に関し、特に、画像信号の色情報を処理する画像信号処理方法および装置に関する。

従来、画像処理において画像信号はそのデータ量の多さから圧縮して扱われることがある。例えば、画像デジタル信号には、Ｙ（輝度）、Ｃｒ（赤色差）およびＣｂ（青色差）で表現される次のような３つの規格、ＹＣｒＣｂ４：４：４、ＹＣｒＣｂ４：２：２およびＹＣｒＣｂ４：２：０があり、後者になるほど色情報が間引かれ、圧縮率が高くなる。
−ＹＣｒＣｂ４：４：４規格では、すべての画素が、輝度データのＹ値と色差データのＣｒ値およびＣｂ値とを有する。
−ＹＣｒＣｂ４：２：２規格では、横方向に隣接する２つの画素が、輝度データのＹ値はそれぞれ個別に有するが、色差データのＣｒ値およびＣｂ値は２つの画素で共有する。
−ＹＣｒＣｂ４：２：０規格では、ＹＣｒＣｂ４：２：２規格を縦方向に隣接する２つのラインに拡張する、即ち、その２つの各ラインの横方向に隣接する２つの画素が、輝度データのＹ値はそれぞれ個別に有するが、色差データのＣｒ値およびＣｂ値は横方向に隣接する２つの画素ばかりでなく縦方向に隣接する２つのラインでも共有する。通常は、上側ラインの色差データのＣｒ値およびＣｂ値が下側ラインの隣接する２つの画素にも適用される。

ところで、ＹＣｒＣｂ４：２：２画像信号をＹＣｒＣｂ４：２：０画像信号に変換する場合、色情報が間引かれるので、画素単位の細い線の画像を表示することができなくなる。例えば、黒地の画面に赤色の1本（1画素幅）の横線を引いて、この画面をＹＣｒＣｂ４：２：２からＹＣｒＣｂ４：２：０に変換することを考える。横線を引いたラインが赤の色情報を間引かれないで保持するラインであれば、赤の色情報は保持されたままエンコードされるため問題は起きない。しかし、横線を引いたラインが赤の色情報を間引かれて保持しないラインであれば、色情報はその上のラインの色情報を使用することになるのであるが、黒地の画面であるためにその上のラインは黒色であり、赤の色情報を持たない。従って、この細い線は赤の色情報を失い、灰色となってしまう。

図１にＹＣｒＣｂ４：２：２画像信号およびＹＣｒＣｂ４：２：０画像信号を用いて細い線で赤の色情報が失われる様子を示す。図１の（Ａ）は、縦方向に隣接する２つのライン０および１における画素（０，０）から画素（１，３）についてのＹＣｒＣｂ４：２：２画像信号を示す。輝度データのＹ値、色差データのＣｒ値およびＣｂ値はそれぞれ８ビットのデータとして、ライン０および１にはそれぞれ黒色および赤色が表示されるとすると、画素（０，０）から（０，３）はそれぞれ輝度データのＹ値（Ｙ＝０）を有し、色差データのＣｒ値（Ｃｒ＝１２８）およびＣｂ値（Ｃｂ＝１２８）は横方向に隣接する２つの画素で共有する。画素（１，０）から（１，３）はそれぞれ輝度データのＹ値（Ｙ＝７６）を有し、色差データのＣｒ値（Ｃｒ＝２５５）およびＣｂ値（Ｃｂ＝８５）は横方向に隣接する２つの画素で共有する。

図１の（Ｂ）は、圧縮後のライン０および１における画素（０，０）から画素（１，３）についてのＹＣｒＣｂ４：２：０画像信号を示す。ライン０の画素（０，０）から（０，３）については、輝度データのＹ値（Ｙ＝０）と色差データのＣｒ値（Ｃｒ＝１２８）およびＣｂ値（Ｃｂ＝１２８）は変わらない。しかし、ライン１の画素（１，０）から（１，３）については、輝度データのＹ値（Ｙ＝７６）は変わらないが、色差データは、ライン０の画素（０，０）から（０，３）の色差データのＣｒ値（Ｃｒ＝１２８）およびＣｂ値（Ｃｂ＝１２８）がそれぞれ適用されて変わっている。従って、ライン１の画素（１，０）から（１，３）では、赤色の色情報は抜け落ちてしまい、輝度データのＹ値（Ｙ＝７６）だけが残されたグレースケールの線になる。

図２に示すように、従来、そのような細い線は、グレースケールの線となって見えなくなったり、斜めに引いたときには、破線のように表示されてしまったりしていた。対応策としては、ＹＣｒＣｂ４：２：０への圧縮により色情報が抜けてしまうことを許容し、そのような極細の線分を描画すること避けて表示するようにしていたので、実質的な解決策はなされていない。

特許文献１には、デジタルカメラにおいてＹＣｂＣｒ４：２：２からＹＣｂＣｒ４：４：４に変換する信号変換回路が示されている。

特許文献２には、色空間の符号化フレームワークにおいてＹＵＶ４２２フォーマットからＹＵＶ４２０フォーマットを受け付ける電子装置が示されている。

特許文献３には、テレビジョン信号をデジタル記録する場合、入力信号であるＹＣｒＣｂ４：２：２コンポーネント信号のうち、比較的視覚に影響を及ぼしにくい２つの色差信号Ｃｒ、Ｃｂについて、各フィールドにおいて１ラインずつデータを間引く線順次化処理を行うことで、ＹＣｒＣｂ４：２：０コンポーネント信号に変換し、その後圧縮符号化処理を行って記録媒体に記録することが示されている。

特許文献４には、インターレース／プログレッシブ変換部において、インターレース形式の４：２：０映像信号が供給された場合に、その映像信号の輝度成分および色差成分の補間を行うことで、映像信号の映像形式をインターレース形式からプログレッシブ形式に変換し、色差形式変換部において、プログレッシブ形式の４：２：０映像信号の供給を受けると、その映像信号の色差形式を４：２：０から４：２：２に変換し、映像信号の色差形式の変換前に映像形式の変換を行うことにより、映像信号に基づく画像の画質の劣化を抑制することができる、映像変換装置が示されている。

特許第３９８３５００号公報 特開２００５−１７６３８３号公報 特開平１１−２７６９６号公報 特開２０１０−９３６７２号公報

本発明は、ＹＣｒＣｂ４：２：２からＹＣｒＣｂ４：２：０に変換される画像信号の色表示を改善することができる画像信号処理の実現を目的とする。本発明の目的には、そのような画像信号の色表示を改善して画素単位の細い線の画像を表示することができる画像信号処理方法および装置を提供することが含まれる。

本発明により提供される１実施態様の画像信号処理方法は、バッファにＹＣｒＣｂ４：２：２画像信号を保持して処理する。画像信号処理方法は、ＹＣｒＣｂ４：２：２画像信号を１フレームの１ラインについて画素ごとに取り込むステップと、取り込んだ画素のラインが隣接ライン対の第１ラインであるか第２ラインであるかを判定するステップと、第１ラインと判定した場合には、当該第１ラインの画素ごとのＹＣｒＣｂ４：２：２画像信号をバッファに保持するステップと、第２ラインと判定した場合には、画素ごとに当該第２ラインの画素の横方向位置と同じ横方向位置における第１ラインの画素のＹＣｒＣｂ４：２：２画像信号をバッファから読み出して、取り込んだ当該第２ラインの画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータに基づいて、ライン対の第１ラインおよび第２ラインのうちの少なくとも第１ラインの画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正するステップと、第１ラインの画素のＹＣｒＣｂ４：２：２画像信号として、ＣｒおよびＣｂのデータを補正した第１ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出すステップと、第２ラインの画素のＹＣｒＣｂ４：２：２画像信号をバッファに保持するステップと、第２ラインの画素のＹＣｒＣｂ４：２：２画像信号として、バッファに保持する第２ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出すステップと、取り込むラインが最終フレームの最終ラインになるまで、ＹＣｒＣｂ４：２：２画像信号を１つのラインについて画素ごとに取り込むステップから、バッファに保持する第２ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出すステップまでを繰り返すステップとを含む。

好ましくは、バッファに保持する第２ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出すステップは、次に取り込む隣接ライン対における第１ラインの画素ごとのＹＣｒＣｂ４：２：２画像信号をバッファに保持するステップよりも前に、バッファに保持する第２ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出すことを含む。

好ましくは、ライン対の第１ラインおよび第２ラインのうちの少なくとも第１ラインの画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正するステップは、ライン対の第１ラインおよび第２ライン両方の画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正することを含む。

好ましくは、ライン対の第１ラインおよび第２ライン両方の画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正することは、第１ラインおよび第２ライン両方の画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを平均化することを含む。

本発明により提供される１実施態様のＹＣｒＣｂ４：２：２画像信号を処理する画像信号処理装置は、ＹＣｒＣｂ４：２：２画像信号を１フレームの１ラインについて画素ごとに取り込む画像信号入力部と、画像信号入力部より取り込まれるＹＣｒＣｂ４：２：２画像信号を保持するためのバッファと、画像信号入力部より取り込まれるＹＣｒＣｂ４：２：２画像信号のフレームおよびラインの情報に基づいて、取り込まれるＹＣｒＣｂ４：２：２画像信号のラインが隣接ライン対の第１ラインであるか第２ラインであるかを判定するフレームおよびライン認識部と、フレームおよびライン認識部による第２ラインとの判定のときには、画素ごとに当該第２ラインの画素の横方向位置と同じ横方向位置における第１ラインの画素のＹＣｒＣｂ４：２：２画像信号をバッファから読み出し、取り込んだ当該第２ラインの画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータに基づいて、ライン対の第１ラインおよび第２ラインのうちの少なくとも第１ラインの画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正するＣｒおよびＣｂデータ補正部と、ＹＣｒＣｂ４：２：２画像信号を１フレームの１ラインについて画素ごとに送り出す画像信号出力部とを備え、フレームおよびライン認識部による第１ラインとの判定のときには、取り込まれる当該第１ラインの画素ごとのＹＣｒＣｂ４：２：２画像信号をバッファに保持し、また、フレームおよびライン認識部による第２ラインとの判定のときには、ＣｒおよびＣｂデータ補正部から第２ラインの画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータをバッファに保持し、第１ラインの画素のＹＣｒＣｂ４：２：２画像信号として、ＣｒおよびＣｂのデータを補正した第１ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出し、また、第２ラインの画素のＹＣｒＣｂ４：２：２画像信号として、バッファに保持する第２ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出し、フレームおよびラインの情報により取り込むラインが最終フレームの最終ラインと認識されるまで、ＹＣｒＣｂ４：２：２画像信号を１つのラインについて画素ごとに取り込み、ＣｒおよびＣｂのデータを補正した第１ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出し、また、バッファに保持する第２ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出す。

好ましくは、バッファに保持する第２ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出すことは、次に取り込む隣接ライン対における第１ラインの画素のＹＣｒＣｂ４：２：２画像信号をバッファに保持するよりも前に行われる。

好ましくは、ＣｒおよびＣｂデータ補正部は、ライン対の第１ラインおよび第２ライン両方の画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正する。

好ましくは、ＣｒおよびＣｂデータ補正部は、第１ラインおよび第２ライン両方の画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを平均化する。

本発明により、ＹＣｒＣｂ４：２：２からＹＣｒＣｂ４：２：０に変換される画像信号の色表示を改善することができる画像信号処理が実現される。特に、そのような画像信号の色表示を改善して画素単位の細い線の画像を表示することができる画像信号処理方法および装置が提供される。

従来のＹＣｒＣｂ４：２：２画像信号と圧縮したＹＣｒＣｂ４：２：０画像信号のデータ構成の１例を概略的に示す図である。 従来の圧縮したＹＣｒＣｂ４：２：０画像信号で細い線の画像を表示した表示画面の１例を概略的に示す図である。 本発明の１実施形態に係る画像信号処理方法を概略的に示すフローチャート図である。 本発明の１実施形態に係る画像信号処理方法を図３から分岐した部分について概略的に示すフローチャート図である。 本発明の１実施形態に係る画像信号処理装置を概略的に示すブロック図である。 画像信号処理装置における画像信号入力部の構成の１例を示す図である。 画像信号処理装置におけるバッファの構成の１例を示す図である。 画像信号処理装置におけるＣｒおよびＣｂデータ補正部の構成の１例を示す図である。 画像信号処理装置における画像信号出力部の構成の１例を示す図である。 第１ラインの画素ごとのＹＣｒＣｂ４：２：２画像信号をバッファＲＡＭに保持する１例を示す図である。 第２ラインの画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータに基づいて第１ラインの画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正する１例を示す図である。

以下、本発明を実施するための最良の形態を図面に基づいて詳細に説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。本発明は多くの異なる態様で実施することが可能であり、記載された実施形態の内容に限定して解釈されるべきではない。なお、実施形態の説明の全体を通じて同じ構成部分乃至構成要素には同じ番号を付している。

図３に本発明の１実施形態に係る画像信号処理方法を概略的にフローチャートで示す。例えば、６４０ｘ４８０、８００ｘ６００などの画素数の画面、即ちフレームのＹＣｒＣｂ４：２：２画像信号を入力することにより開始する（ステップ３０５）。ステップ３１０では、ＹＣｒＣｂ４：２：２画像信号を１フレームの１ラインについて画素ごとに取り込む。例えば、１フレームが６４０ｘ４８０の画素数の場合には、ライン０，１、２、３、・・・４７９の各ラインについて画素０、１、２、３、・・・６３９の画素ごとにＹＣｒＣｂ４：２：２画像信号を取り込む。ＹＣｒＣｂ４：２：２画像信号は、例えばＹ、ＣｒおよびＣｂのデータを８ビットで構成するもので構わないが、そのような８ビットの構成には限定されない。

ＹＣｒＣｂ４：２：２画像信号は、最初のフレームにおけるライン０の画素０から順番に１ライン分の画素数、例えば画素６３９までの６４０画素分が入力され、ライン０についての画素として取り込まれる。その次からは、最初のフレームにおけるライン１の画素０から１ライン分の画素数、例えば画素６３９までの６４０画素分が入力され、ＹＣｒＣｂ４：２：２画像信号はライン１についての画素として取り込まれる。１フレームのライン数分、例えばライン４７９までの４８０ライン分が順次取り込まれると、ＹＣｒＣｂ４：２：２画像信号は、次のフレームについても同様にライン０の画素０から順番に入力されて取り込まれ、最後のフレームの最後のラインまで画素ごとに順次入力されて取り込まれる。したがって、ＹＣｒＣｂ４：２：２画像信号は、フレーム、ラインおよび画素については取り込まれる時に認識され特定される。

図１０に隣接ライン対の第１ラインとなるライン０について画素ごとのＹＣｒＣｂ４：２：２画像信号をバッファＲＡＭに保持する１例を示す。ＹＣｒＣｂ４：２：２画像信号のＹ、ＣｒおよびＣｂのデータは８ビットで構成され、それぞれ１６進法表記で示されている。１ラインは画素０から画素７１９までの７２０画素で構成される。それらの画素のＹＣｒＣｂ４：２：２画像信号が順次バッファＲＡＭに取り込まれ保持される。

図３に戻り、次のステップ３１５では、取り込んだ画素のラインが隣接ライン対の第１ラインであるか第２ラインであるかを判定する。ＹＣｒＣｂ４：２：２画像信号はフレーム、ラインおよび画素について取り込まれる時に認識され特定されるので、例えば、ライン０であれば、ライン１と隣接ライン対をなし、ライン対の第１ラインと判定され、ライン１はライン対の第２ラインと判定される。

ステップ３１５で取り込んだ画素のラインが隣接ライン対の第１ラインであると判定されると、ステップ３２０に進み、画素のラインが最初のフレームの最初のラインであるかを判定する。ステップ３２０で画素のラインが最初のフレームの最初のラインであるかを判定するのは、最初のフレームの最初のラインの画素については最初からバッファに取り込んで保持するためである。このため、ステップ３２０で画素のラインが最初のフレームの最初のラインであると判定したとき（Ｙｅｓ）は、ステップ３３０へ進み、第１ラインの画素ごとのＹＣｒＣｂ４：２：２画像信号をバッファに保持する。最初のフレームの最初のラインは隣接ライン対の第１ラインであることから、第１ラインの画素としてそのＹＣｒＣｂ４：２：２画像信号はバッファに保持される。

ステップ３２０で画素のラインが最初のフレームの最初のラインでないと判定したとき（Ｎｏ）は、ステップ３２５に進み、第２ラインの画素のＹＣｒＣｂ４：２：２画像信号として、バッファに保持する第２ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出す。バッファの記憶容量にも依るのであるが、バッファの記憶容量が１ライン分である場合には、取り込んだ画素のラインが隣接ライン対の第２ラインであるとステップ３１５で判定されると、Ａで分岐する図４に示すステップについて後に述べられるが、第２ラインの画素のＹＣｒＣｂ４：２：２画像信号は、そのＣｒおよびＣｂのデータが第１ラインの画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正するのに用いられてバッファに保持されるため、次のライン対における第１ラインの画素ごとのＹＣｒＣｂ４：２：２画像信号を取り込んでバッファに保持すれば、既にバッファに保持する第２ラインの画素のＹＣｒＣｂ４：２：２画像信号が上書きされて失われることになる。それ故に、その前にバッファに保持する第２ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出すことで、第１ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出した後に続けて第２ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出すことができる。

次のステップ３３０では、先に述べたように第１ラインの画素ごとのＹＣｒＣｂ４：２：２画像信号をバッファに保持する。ステップ３３０で第１ラインの画素ごとのＹＣｒＣｂ４：２：２画像信号をバッファに保持すると、ステップ３１０に戻って、ＹＣｒＣｂ４：２：２画像信号を１フレームの次の１ラインについて画素ごとに取り込む。

ステップ３１５で取り込んだ画素のラインが隣接ライン対の第２ラインであると判定されると、Ａで分岐して図４に示すステップ３３５に進む。ステップ３３５では、画素ごとに当該第２ラインの画素の横方向位置と同じ横方向位置における、即ち同じ画素番号の第１ラインの画素のＹＣｒＣｂ４：２：２画像信号をバッファから読み出す。バッファには既に図３のステップ３３０で第１ラインの画素のＹＣｒＣｂ４：２：２画像信号が保持されている。

次のステップ３４０では、取り込んだ当該第２ラインの画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータに基づいて、ライン対の第１ラインおよび第２ラインのうちの少なくとも第１ラインの画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正する。図１１に、ライン対の第２ラインであるライン１の画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータに基づいて、ライン対の第１ラインであるライン０の画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正する１例を示す。第１ラインであるライン０の画素のＹＣｒＣｂ４：２：２画像信号は、既にバッファＲＡＭに保存されていたものが読み出されて用いられる。図１１の例では、第１ラインであるライン０の画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正することは、画素ごとにＣｒおよびＣｂのデータそれぞれについて、第１ラインであるライン０の画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータと第２ラインであるライン１の画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータとをそれぞれ平均化することにより行われている。

次のステップ３４５では、第１ラインの画素のＹＣｒＣｂ４：２：２画像信号として、ＣｒおよびＣｂのデータを補正した第１ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出す。図１１に示すように、画素ごとに平均化してＣｒおよびＣｂのデータを補正した第１ラインであるライン０の画素０から画素７１９までのＹＣｒＣｂ４：２：２画像信号が送り出される。

次のステップ３５０では、第２ラインの画素のＹＣｒＣｂ４：２：２画像信号をバッファに保持する。前のステップ３４５で第１ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出しているので、この時点でバッファに第２ラインの画素のＹＣｒＣｂ４：２：２画像信号を保持しても、第１ラインの画素のＹＣｒＣｂ４：２：２画像信号が失われて問題はなることはない。図１１には、画素ごとに平均化してＣｒおよびＣｂのデータを補正した第２ラインであるライン１の画素０から画素７１９までのＹＣｒＣｂ４：２：２画像信号がバッファＲＡＭに保持されることが示されているが、少なくとも第１ラインの画素のＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータが補正されれば良いので、ＣｒおよびＣｂのデータを補正せず、入力された第２ラインであるライン１の画素０から画素７１９までのＹＣｒＣｂ４：２：２画像信号をそのままバッファに保持するのであっても構わない。

次のステップ３５５では、取り込んだ画素のラインが最終フレームの最終ラインであるかを判定する。取り込んだ画素のラインが最終フレームの最終ラインであると判定したとき（Ｙｅｓ）は、ステップ３６０へ進む。ステップ３６０では、第２ラインの画素のＹＣｒＣｂ４：２：２画像信号として、バッファに保持する第２ラインの画素のＹＣｒＣｂ４：２：２画像信号を送り出し、ステップ３６５で終了する。取り込んだ画素のラインが最終フレームの最終ラインでないと判定したとき（Ｎｏ）は、Ｂに分岐して図３のステップ３１０に戻り、ＹＣｒＣｂ４：２：２画像信号を１フレームの１ラインについて画素ごとに取り込むステップ３１０から取り込んだ画素のラインが最終フレームの最終ラインであるかを判定するステップ３５５までが繰り返される。

図５に本発明の１実施形態に係る画像信号処理装置の構成を概略的に示す。画像信号処理装置５００は、画像信号入力部５１０と、バッファ５２０と、フレームおよびライン認識部５３０と、ＣｒおよびＣｂデータ補正部５４０と、画像信号出力部５５０とを備える。

画像信号入力部５１０は、ＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂ（例えば、それぞれ８ビットのデータ）を１フレームの１ラインについて画素ごとに取り込み、Ｙ、Ｃｒ、Ｃｂをバッファ５２０に提供し、Ｃｒ、ＣｂをＣｒおよびＣｂデータ補正部５４０に提供する。

バッファ５２０は、画像信号入力部５１０より提供されるＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂを保持し、Ｙ、Ｃｒ、Ｃｂを画像信号出力部５５０に提供する。また、バッファ５２０は、Ｃｒ、ＣｂをＣｒおよびＣｂデータ補正部５４０に提供し、ＣｒおよびＣｂデータ補正部５４０より提供されるＣｒ、Ｃｂを保持する。

フレームおよびライン認識部５３０は、画像信号入力部５１０より取り込まれるＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂについてのそれらとは別に取り込まれるフレームおよびラインの情報（フレーム／ライン）に基づいて、取り込まれるＹ、Ｃｒ、Ｃｂのラインが隣接ライン対の第１ラインであるか第２ラインであるかを判定し、第１ラインであるまたは第２ラインであるとの判定結果（ライン対のライン）をＣｒおよびＣｂデータ補正部５４０と画像信号出力部５５０に提供する。

ＣｒおよびＣｂデータ補正部５４０は、フレームおよびライン認識部５３０による第２ラインとの判定のときには、画素ごとに当該第２ラインの画素の横方向位置と同じ横方向位置における、即ち同じ画素番号の第１ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｃｒ、Ｃｂをバッファ５２０から読み出し、取り込んだ当該第２ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｃｒ、Ｃｂのデータに基づいて、ライン対の第１ラインおよび第２ラインのうちの少なくとも第１ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｃｒ、Ｃｂのデータを補正し、補正したＣｒ、Ｃｂをバッファ５２０に提供したり、画像信号出力部５５０に提供したりする。

画像信号出力部５５０は、バッファ５２０に保持するＹ、Ｃｒ、ＣｂまたはＣｒおよびＣｂデータ補正部５４０で補正したＣｒ、Ｃｂが提供されて、処理したＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂを１フレームの１ラインについて画素ごとに送り出す。

画像信号処理装置５００では、フレームおよびライン認識部５３０による第１ラインとの判定のときには、画像信号入力部５１０から取り込まれる当該第１ラインの画素ごとのＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂをバッファ５２０に保持する。また、フレームおよびライン認識部５３０による第２ラインとの判定のときには、ＣｒおよびＣｂデータ補正部５４０から第２ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｃｒ、Ｃｂのデータをバッファに保持する。

画像信号処理装置５００では、第１ラインの画素のＹＣｒＣｂ４：２：２画像信号としては、ＣｒおよびＣｂデータ補正部５４０でＣｒおよびＣｂのデータを補正した第１ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂを送り出す。また、第２ラインの画素のＹＣｒＣｂ４：２：２画像信号としては、バッファ５２０に保持する第２ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂを送り出す。

画像信号処理装置５００では、フレームおよびライン認識部５３０に取り込まれるフレームおよびラインの情報（フレーム／ライン）により取り込むラインが最終フレームの最終ラインと認識されるまで、ＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂを１つのラインについて画素ごとに取り込み、ＣｒおよびＣｂデータ補正部５４０でＣｒおよびＣｂのデータを補正した第１ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂを送り出し、また、バッファ５２０に保持する第２ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂを送り出す。

画像信号処理装置５００では、バッファ５２０に保持する第２ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂの送り出しは、次に取り込む隣接ライン対における第１ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂをバッファ５２０に保持するよりも前に行われ得る。バッファ５２０の記憶容量にも依るのであるが、バッファ５２０の記憶容量が１ライン分である場合には、取り込んだ第２ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂは、そのＣｒおよびＣｂのデータが第１ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、ＣｂのＣｒおよびＣｂのデータを補正するのに用いられてバッファ５２０に保持されるため、次のライン対における第１ラインの画素ごとのＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂを取り込んでバッファ５２０に保持すれば、既にバッファ５２０に保持する第２ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂが上書きされて失われることになる。それ故に、その前にバッファ５２０に保持する第２ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂを送り出すことで、第１ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂを送り出した後に続けて第２ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂを送り出すことができる。

図６に画像信号入力部５１０の構成の１例を示す。画像信号入力部５１０は、画素のＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂそれぞれを一時的に格納するラッチのような回路（Ｙ）５１１、回路（Ｃｒ）５１２および回路（Ｃｂ）５１３を含む。これらの回路（Ｙ）５１１、回路（Ｃｒ）５１２および回路（Ｃｂ）５１３は、タイミング信号Ｔにより同期がとられて、各画素についてのＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂそれぞれを取り込む。回路（Ｙ）５１１は画像信号Ｙをバッファ５２０に提供する。回路（Ｃｒ）５１２および回路（Ｃｂ）５１３は、それぞれ画像信号ＣｒおよびＣｂをバッファ５２０とＣｒおよびＣｂデータ補正部５４０とに提供する。

図７にバッファ５２０の構成の１例を示す。バッファ５２０は、画像信号Ｙ、Ｃｒ、Ｃｂそれぞれについて１ライン分を保持するＲＡＭのようなライン画素メモリ（Ｙ）５２１、ライン画素メモリ（Ｃｒ）５２２およびライン画素メモリ（Ｃｂ）５２３を含む。ライン画素メモリ（Ｙ）５２１、ライン画素メモリ（Ｃｒ）５２２およびライン画素メモリ（Ｃｂ）５２３は、画像信号入力部５１０の回路（Ｙ）５１１、回路（Ｃｒ）５１２、回路（Ｃｂ）５１３よりそれぞれ提供される画像信号Ｙ、Ｃｒ、Ｃｂを取得して保持する。隣接ライン対の第１ラインの画素については、保持する画像信号ＣｒおよびＣｂがライン画素メモリ（Ｃｒ）５２２およびライン画素メモリ（Ｃｂ）５２３からＣｒおよびＣｂデータ補正部５４０に読み出される。また、隣接ライン対の第２ラインの画素については、ＣｒおよびＣｂデータ補正部５４０から画像信号ＣｒおよびＣｂがそれぞれライン画素メモリ（Ｃｒ）５２２およびライン画素メモリ（Ｃｂ）５２３に提供されて保持される。ライン画素メモリ（Ｙ）５２１、ライン画素メモリ（Ｃｒ）５２２およびライン画素メモリ（Ｃｂ）５２３は、それぞれ保持する画像信号Ｙ、ＣｒおよびＣｂを画像信号出力部５５０に提供する。ライン画素メモリ（Ｙ）５２１、ライン画素メモリ（Ｃｒ）５２２およびライン画素メモリ（Ｃｂ）５２３は、１ライン分を保持する記憶容量のものとして示されたが、複数ライン分を保持する記憶容量のものでも構わない。ただし、ハードウェアコストは上昇することになる。

図８にＣｒおよびＣｂデータ補正部５４０の構成の１例を示す。ＣｒおよびＣｂデータ補正部５４０は、隣接ライン対の第１ラインおよび第２ライン両方の画素の画像信号におけるＣｒおよびＣｂのデータをそれぞれ平均化するＣｒ平均化回路５４１およびＣｂ平均化回路５４２を含む。取り込まれる画素の画像信号Ｙ、Ｃｒ、Ｃｂのラインが隣接ライン対の第２ラインであるとの判定結果（ライン対のライン）がフレームおよびライン認識部５３０より提供されるとき、Ｃｒ平均化回路５４１は、画像信号入力部５１０の回路（Ｃｒ）５１２より提供される第２ラインの画素の画像信号Ｃｒを取得し、また、バッファ５２０のライン画素メモリ（Ｃｒ）５２２から読み出される第１ラインの画素の画像信号Ｃｒを取得して、両Ｃｒのデータを平均化する。同様に、そのときＣｂ平均化回路５４２も、画像信号入力部５１０の回路（Ｃｂ）５１３より提供される第２ラインの画素の画像信号Ｃｂを取得し、また、バッファ５２０のライン画素メモリ（Ｃｂ）５２３から読み出される第１ラインの画素の画像信号Ｃｂを取得して、両Ｃｂのデータを平均化する。Ｃｒ平均化回路５４１およびＣｂ平均化回路５４２は、平均化したＣｒおよびＣｂのデータをそれぞれバッファ５２０および画像信号出力部５５０に提供する。

バッファ５２０に提供される平均化したＣｒおよびＣｂのデータは、第２ラインの画素のＹＣｒＣｂ４：２：２画像信号としてバッファ５２０に保持される。画像信号出力部５５０に提供される平均化したＣｒおよびＣｂのデータは、第１ラインの画素のＹＣｒＣｂ４：２：２画像信号として画像信号出力部５５０から送り出される。ＣｒおよびＣｂデータ補正部５４０がＣｒ平均化回路５４１およびＣｂ平均化回路５４２を含む構成例を示したが、ＣｒおよびＣｂデータ補正部５４０の構成はそのような平均化回路に限定されない。特に、第２ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｃｒ、Ｃｂのデータに基づいて、ライン対の第１ラインおよび第２ラインのうちの少なくとも第１ラインの画素のＹＣｒＣｂ４：２：２画像信号Ｃｒ、Ｃｂのデータを補正する回路であれば、そのような回路でＣｒおよびＣｂデータ補正部５４０を構成することができる。

図９に画像信号出力部５５０の構成の１例を示す。画像信号出力部５５０は、図６に示した画像信号入力部５１０と同様、画素のＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂそれぞれを一時的に格納するラッチのような回路（Ｙ）５５１、回路（Ｃｒ）５５２および回路（Ｃｂ）５５３を含む。これらの回路（Ｙ）５５１、回路（Ｃｒ）５５２および回路（Ｃｂ）５５３は、タイミング信号Ｔにより同期がとられて、各画素についてのＹＣｒＣｂ４：２：２画像信号Ｙ、Ｃｒ、Ｃｂそれぞれを送り出す。画像信号出力部５５０は、回路（Ｙ）５５１、回路（Ｃｒ）５５２および回路（Ｃｂ）５５３の外に、セレクタ５５４およびセレクタ５５５を含む。回路（Ｙ）５５１には、バッファ５２０より、特にライン画素メモリ（Ｙ）５２１より、画素ごとに画像信号Ｙが提供される。回路（Ｃｒ）５５２および回路（Ｃｂ）５５３には、それぞれセレクタ５５４およびセレクタ５５５より、画素ごとに画像信号ＣｒおよびＣｂが提供される。

セレクタ５５４には、バッファ５２０より、特にライン画素メモリ（Ｃｒ）５２２より、画素ごとに画像信号Ｃｒが提供され、また、ＣｒおよびＣｂデータ補正部５４０より、特にＣｒ平均化回路５４１より、画素ごとに画像信号Ｃｒが提供される。セレクタ５５４は、送り出す画素についてフレームおよびライン認識部５３０より第１ラインであるとの判定結果（ライン対のライン）が提供されるときは、ＣｒおよびＣｂデータ補正部５４０より提供される画像信号Ｃｒを選択し、第２ラインであるとの判定結果（ライン対のライン）が提供されるときは、バッファ５２０より提供される画像信号Ｃｒを選択して、回路（Ｃｒ）５５２に提供する。

同様に、セレクタ５５５には、バッファ５２０より、特にライン画素メモリ（Ｃｂ）５２３より、画素ごとに画像信号Ｃｂが提供され、また、ＣｒおよびＣｂデータ補正部５４０より、特にＣｂ平均化回路５４２より、画素ごとに画像信号Ｃｂが提供される。セレクタ５５５は、送り出す画素についてフレームおよびライン認識部５３０より第１ラインであるとの判定結果（ライン対のライン）が提供されるときは、ＣｒおよびＣｂデータ補正部５４０より提供される画像信号Ｃｂを選択し、第２ラインであるとの判定結果（ライン対のライン）が提供されるときは、バッファ５２０より提供される画像信号Ｃｂを選択して、回路（Ｃｂ）５５３に提供する。

フレームおよびライン認識部５３０については構成の１例を示さなかったが、画像処理の分野で通常行われる構成で実施することができる。例えば、フレーム、ラインおよび画素についてそれぞれカウンタを設ける。画素カウンタは、画素を取り込むごとに０から１ラインの最後の画素までをカウントする。画素カウンタが最後の画素までをカウントすると、ラインカウンタが１つカウントする。ラインカウンタは０から１フレームの最後のラインまでをカウントする。ラインカウンタが０の値のときは、取り込む画素のラインが最初のラインであると特定され、ラインカウンタが最後のラインの値のときは、取り込む画素のラインが最後のラインであると特定される。ラインカウンタが０、２、４・・・と偶数の値のときは、ライン対の第１ラインを指示するように、また、１、３、５・・・と奇数の値のときは、ライン対の第２ラインを指示するように構成すれば、取り込む画素が第１ラインであるまたは第２ラインであるとの判定結果（ライン対のライン）を提供できる。ラインカウンタが１フレームの最後のラインまでをカウントすると、フレームカウンタが１つカウントする。フレームカウンタは最初のフレームから最後のフレームまでをカウントする。取り込む画素のラインが最初のフレームであるかまたは最後のフレームであるかはフレームカウンタの値により特定される。

以上、実施態様を用いて本発明の説明をしたが、本発明の技術的範囲は実施態様について記載した範囲には限定されない。実施態様に種々の変更又は改良を加えることが可能であり、そのような変更又は改良を加えた態様も当然に本発明の技術的範囲に含まれる。

５００ 画像信号処理装置
５１０ 画像信号入力部
５２０ バッファ
５３０ フレームおよびライン認識部
５４０ ＣｒおよびＣｂデータ補正部
５５０ 画像信号出力部

Claims (8)

1. バッファにＹＣｒＣｂ４：２：２画像信号を保持して処理する画像信号処理方法であって、
   前記ＹＣｒＣｂ４：２：２画像信号を１フレームの１ラインについて画素ごとに取り込むステップと、
   前記取り込んだ画素のラインが隣接ライン対の第１ラインであるか第２ラインであるかを判定するステップと、
   前記第１ラインと判定した場合には、当該第１ラインの画素ごとの前記ＹＣｒＣｂ４：２：２画像信号を前記バッファに保持するステップと、
   前記第２ラインと判定した場合には、画素ごとに当該第２ラインの画素の横方向位置と同じ横方向位置における前記第１ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号を前記バッファから読み出して、取り込んだ当該第２ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータに基づいて、前記ライン対の前記第１ラインおよび前記第２ラインのうちの少なくとも前記第１ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正するステップと、
   前記第１ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号として、前記ＣｒおよびＣｂのデータを補正した前記第１ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号を送り出すステップと、
   前記第２ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号を前記バッファに保持するステップと、
   前記第２ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号として、前記バッファに保持する前記第２ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号を送り出すステップと、前記取り込むラインが最終フレームの最終ラインになるまで、前記ＹＣｒＣｂ４：２：２画像信号を１つのラインについて画素ごとに取り込むステップから、前記バッファに保持する前記第２ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号を送り出すステップまでを繰り返すステップと、
   を含む、画像信号処理方法。
2. 前記バッファに保持する前記第２ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号を送り出すステップが、次に取り込む隣接ライン対における前記第１ラインの画素ごとの前記ＹＣｒＣｂ４：２：２画像信号を前記バッファに保持するステップよりも前に、前記バッファに保持する前記第２ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号を送り出すことを含む、請求項１に記載の画像信号処理方法。
3. 前記ライン対の前記第１ラインおよび前記第２ラインのうちの少なくとも前記第１ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正するステップが、前記ライン対の前記第１ラインおよび前記第２ライン両方の画素の前記ＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正することを含む、請求項１または２に記載の画像信号処理方法。
4. 前記ライン対の前記第１ラインおよび前記第２ライン両方の画素の前記ＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正することが、前記第１ラインおよび前記第２ライン両方の画素の前記ＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを平均化することを含む、請求項３に記載の画像信号処理方法。
5. ＹＣｒＣｂ４：２：２画像信号を処理する画像信号処理装置であって、
   前記ＹＣｒＣｂ４：２：２画像信号を１フレームの１ラインについて画素ごとに取り込む画像信号入力部と、
   前記画像信号入力部より取り込まれる前記ＹＣｒＣｂ４：２：２画像信号を保持するためのバッファと、
   前記画像信号入力部より取り込まれる前記ＹＣｒＣｂ４：２：２画像信号のフレームおよびラインの情報に基づいて、取り込まれる前記ＹＣｒＣｂ４：２：２画像信号のラインが隣接ライン対の第１ラインであるか第２ラインであるかを判定するフレームおよびライン認識部と、
   前記フレームおよびライン認識部による前記第２ラインとの判定のときには、画素ごとに当該第２ラインの画素の横方向位置と同じ横方向位置における前記第１ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号を前記バッファから読み出し、取り込んだ当該第２ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータに基づいて、前記ライン対の前記第１ラインおよび前記第２ラインのうちの少なくとも前記第１ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正するＣｒおよびＣｂデータ補正部と、
   前記ＹＣｒＣｂ４：２：２画像信号を１フレームの１ラインについて画素ごとに送り出す画像信号出力部と、を備え、
   前記フレームおよびライン認識部による前記第１ラインとの判定のときには、取り込まれる当該第１ラインの画素ごとの前記ＹＣｒＣｂ４：２：２画像信号を前記バッファに保持し、また、前記フレームおよびライン認識部による前記第２ラインとの判定のときには、前記ＣｒおよびＣｂデータ補正部から前記第２ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号の前記ＣｒおよびＣｂのデータを前記バッファに保持し、
   前記第１ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号として、前記ＣｒおよびＣｂのデータを補正した前記第１ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号を送り出し、また、前記第２ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号として、前記バッファに保持する前記第２ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号を送り出し、前記フレームおよびラインの情報により取り込むラインが最終フレームの最終ラインと認識されるまで、前記ＹＣｒＣｂ４：２：２画像信号を１つのラインについて画素ごとに取り込み、前記ＣｒおよびＣｂのデータを補正した前記第１ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号を送り出し、また、前記バッファに保持する前記第２ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号を送り出す、
   画像信号処理装置。
6. 前記バッファに保持する前記第２ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号を送り出すことが、次に取り込む隣接ライン対における前記第１ラインの画素の前記ＹＣｒＣｂ４：２：２画像信号を前記バッファに保持するよりも前に行われる、請求項５に記載の画像信号処理装置。
7. 前記ＣｒおよびＣｂデータ補正部は、前記ライン対の前記第１ラインおよび前記第２ライン両方の画素の前記ＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを補正する、請求項５または６に記載の画像信号処理装置。
8. 前記ＣｒおよびＣｂデータ補正部は、前記第１ラインおよび前記第２ライン両方の画素の前記ＹＣｒＣｂ４：２：２画像信号のＣｒおよびＣｂのデータを平均化する、請求項７に記載の画像信号処理装置。

Images