JPH1127696A

JPH1127696A - 画像処理方法及び装置並びにコンピュータ読み取り可能な記録媒体

Info

Publication number: JPH1127696A
Application number: JP9173635A
Authority: JP
Inventors: Yoshitaka Takeuchi; 義尊竹内
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-06-30
Filing date: 1997-06-30
Publication date: 1999-01-29

Abstract

(57)【要約】【課題】動画像信号から１フレームの静止画像を得る
場合に色差信号の演算量を減らし、演算を高速にかつ正
確に行えるようにする。【解決手段】記録媒体１０１から再生されたインター
レース符号化画像データ１０２は処理１０３で１フレー
ム分取り込まれ、処理１０５で復号化される。次に処理
１０６で輝度信号Ｙと線順次化された色差信号Ｃｒ、Ｃ
ｂとに分けられ、それぞれ動き補償処理１１０〜１１２
に送られる。Ｙについては注目画素の上下の２画素の平
均値を注目画素の値とする。線順次化されているＣｒ、
Ｃｂについては、注目画素の上下の２画素を用いて補間
する場合、注目画素から２画素の各々までの距離に応じ
た係数を反映させた演算を行う。動き補償されたＣｒ、
Ｃｂは次に同次化処理１１３、１１４においてデータの
ないライン上にオフセットデータを挿入し、垂直方向に
線同次化フィルタをかけて同次化した後、Ｙと共に出力
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テレビジョン信号
のうち線順次化された信号に対して行われる画像処理方
法及び装置並びにコンピュータ読み取り可能な記録媒体
に関するものである。

【０００２】

【従来の技術】近年、テレビジョン信号の動画像データ
をディジタル信号として扱う技術が発達し、その画質が
向上するにつれて、動画像データのうちの１フレーム分
の画像を、スチル画面としてモニタ上に表示したり、ビ
デオプリンタなどでプリントアウトする需要が高まって
きている。モニタやビデオプリンタなどの画像出力機器
に伝送して出力する画像データを記録媒体に記録してお
く場合は、通常圧縮符号化技術などが用いられ、画像デ
ータは符号化されたディジタルデータとして扱われてい
る。

【０００３】現在、欧州や中国などで用いられている、
６２５本／５０Ｈｚ（走査数／フィールド周波数）方式
と呼ばれるテレビジョン信号をディジタル記録する場
合、情報量を削減するために、入力信号であるＹＣｒＣ
ｂ４：２：２コンポーネント信号のうち、比較的視覚に
影響を及ぼしにくい２つの色差信号Ｃｒ、Ｃｂについ
て、各フィールドにおいて１ラインずつデータを間引く
線順次化処理を行うことで、ＹＣｒＣｂ４：２：０コン
ポーネント信号に変換し、その後圧縮符号化処理を行っ
て記録媒体に記録するようにしている。

【０００４】このときの４：２：２信号に対応する４：
２：０信号の各色差信号成分Ｃｒ、Ｃｂの画素位置のイ
メージをそれぞれ図１２（ａ）〜（ｄ）に示す。図１２
において×印が間引かれたラインの画素を示している。

【０００５】このように色差信号が線順次化されて圧縮
符号化記録された動画像データを、記録媒体から読み出
して復号化し、１フレームのスチル画像として再生出力
する場合は、まず４：２：０信号の画像データを線同次
化し、４：２：２の動画像データ信号として再生する。
次に、このＹ、Ｃｒ、Ｃｂの各信号成分毎に１フレーム
内で、フィールド間の時間差（この場合は１／５０ｓｅ
ｃ）によって生じる動きを補正する画像処理を行って１
フレーム分のスチルデータとして出力する。

【０００６】図１３は上記の処理を行う従来の画像処理
装置を示す。図１３において、記録媒体６０１から読み
出された符号化画像データは、復号化回路６０２におい
て４：２：０コンポーネント信号として復号再生され
る。この４：２：０信号のうちの色差信号Ｃｒ６０４、
Ｃｂ６０５については、線同次化回路Ｃｒ６０６、Ｃｂ
６０７に送られて輝度信号と同じ走査線数になるように
４：２：２信号に同次化される。

【０００７】図１４は線同次化回路Ｃｒ６０６、Ｃｂ６
０７の構成を示し、図１５はその処理内容を示す。な
お、線同次化回路Ｃｒ６０６と線同次化回路Ｃｂ６０７
の構成は共通である。図１４において、線順次化された
色差信号Ｃｒ６０４、Ｃｂ６０５は、入力端子７０１よ
り入力され、まず８ビット色差信号のオフセット値であ
る１２８（７０３）を、スイッチ７０２により図１５の
×印で示すフィールド内の各走査線間に挿入することに
よって、走査線数を輝度信号と同じにする。次に、線同
次化フィルタ７０４で垂直方向のフィルタをかけること
で、輝度信号と同次化された色差信号を得ることができ
る。なお、フィルタ７０４は４つの１ライン遅延素子を
用いた垂直５タップのディジタルフィルタに構成されて
いる。線同次化された色差信号は、出力端子７０５より
色差信号Ｃｒ６０８、Ｃｂ６０９として出力される。

【０００８】以上のようにして得られた４：２：２コン
ポーネント信号Ｙ６０３、Ｃｒ６０８、Ｃｂ６０９を、
それぞれ動き補償回路Ｙ６１０、Ｃｒ６１１、Ｃｂ６１
２に送る。この動き補償回路の従来の一例を図１６に示
し、その処理内容を図１７に示す。図１６の動き補償回
路は、入力端子８０１より入力された４：２：２コンポ
ーネント信号の輝度信号Ｙ６０３、色差信号Ｃｒ６０
８、Ｃｂ６０９のそれぞれについて、第１フィールドの
データを用いて第２フィールドのデータを補間し、擬似
的に１フレームの画像を作成するものである。

【０００９】例えば図１７に示されるように、第２フィ
ールド上の各画素を補間される画素とし、画面上でその
注目画素ｚの上下に位置する第１フィールド上の２つの
画素ｘ、ｙの平均値を補間値とすることで補間を行う。
この演算を行うのが図１６の平均化回路８０２である。
この平均化回路での演算により得られた第２フィールド
の画素データ８０３と、処理していない第１フィールド
の画素データ８０４とを、スイッチ８０５により１ライ
ン毎に切り換えて出力することにより、出力端子８０６
より動き補償された１フレームのデータを得る。

【００１０】上記の処理によって、垂直方向の解像度は
半減するものの、フィールド間の時間差によって生じる
画像のズレを、擬似的なフレーム画像を作成することで
補正することができる。

【００１１】再び図１３において、以上のようにして得
られた１フレーム毎に動き補償された４：２：２動画像
信号Ｙ、Ｃｒ、Ｃｂ６１３〜６１５からスチル画像とし
て１フレーム分出力するために、１フレーム画像出力命
令信号入力回路６１７によりスチル画像出力命令信号を
入力し、これに応じて動画像データのうちの１フレーム
分の画像データが１フレーム画像データ出力回路６１６
から送出される。このようにして、１フレーム分の４：
２：２コンポーネント画像をコンポーネント画像出力端
子６１８〜６２０より得て、このデータをモニタやビデ
オプリンタなどに伝送して出力することにより、フィー
ルド間の動き補償が施された１フレームのスチル画像を
得ることができる。

【００１２】

【発明が解決しようとする課題】上述した従来の画像処
理装置においては、符号化画像データを復号して同次化
することで動画像データを得て、そのデータから１フレ
ーム分の画像データを取り込んで動き補償された１フレ
ーム分のスチル画像を得るため、色差線同次化処理以降
の各演算処理で取り扱う色差信号の情報量が２倍とな
り、演算処理量が多くなるという問題があった。

【００１３】また、線同次化処理によって垂直方向に１
画素おきに擬似データを内挿して、その画素値を用いて
動き補償の処理を行うため、正確な動き補償処理ができ
ないという問題もあった。

【００１４】本発明は上記の問題を解決するためになさ
れたもので、色差信号の動き補償や動き検出のための演
算量を減少させ、より高速にかつ正確に行うことを目的
とする。

【００１５】

【課題を解決するための手段】請求項１の発明による画
像処理方法は、輝度信号と線順次化された複数の色差信
号との各信号成分からなる画像信号の上記各信号成分に
ついて１単位画面内での順次走査化のための画像処理を
行い、次に上記処理された色差信号成分について上記処
理された輝度信号成分との線同次化処理を行い、各信号
成分を出力するようにしている。

【００１６】請求項２の発明による画像処理方法は、水
平及び／又は垂直方向にサブサンプリングされた輝度信
号と線順次化された色差信号との各信号成分からなる画
像信号の上記各信号成分について１単位画面内での順次
走査化のための画像処理を行い、次に上記処理された輝
度信号成分について内挿補間処理を行い、上記処理され
た色差信号成分と共に出力するようにしている。

【００１７】請求項８の発明による画像処理装置は、輝
度信号と線順次化された複数の色差信号との各信号成分
からなる画像信号の上記各信号成分について１単位画面
内での順次走査化のための画像処理を行う画像処理手段
と、上記処理された色差信号成分について上記処理され
た輝度信号成分との線同次化処理を行い、線同次化処理
された各信号成分を出力する同次化処理手段とを設けて
いる。

【００１８】請求項９の発明による画像処理装置は、水
平及び／又は垂直方向にサブサンプリングされた輝度信
号と線順次化された色差信号との各信号成分からなる画
像信号の上記各信号成分について１単位画面内での順次
走査化のための画像処理を行う画像処理手段と、上記処
理された輝度信号成分について内挿補間処理を行い、上
記処理された色差信号成分と共に出力する補間処理手段
とを設けている。

【００１９】請求項１５の発明によるコンピュータ読み
取り可能な記録媒体においては、輝度信号と線順次化さ
れた複数の色差信号との各信号成分からなる画像信号の
上記各信号成分について１単位画面内での順次走査化の
ための画像処理を行う手順と、上記処理された色差信号
成分について上記処理された輝度信号成分との線同次化
処理を行い、各信号成分を出力する手順とを実行するた
めのプログラムを記録している。

【００２０】請求項１６の発明によるコンピュータ読み
取り可能な記録媒体においては、水平及び／又は垂直方
向にサブサンプリングされた輝度信号と線順次化された
色差信号との各信号成分からなる画像信号の上記各信号
成分について１単位画面内での順次走査化のための画像
処理を行う手順と、上記処理された輝度信号成分につい
て内挿補間処理を行い、上記処理された色差信号成分と
共に出力する手順とを実行するプログラムを記録してい
る。

【００２１】

【発明の実施の形態】図１に本発明の第１の実施の形態
を示す。この図１は、記録媒体から読み出した符号化画
像データをコンピュータに取り込み、復号化処理や補間
による動き補償などの演算処理を行って、１フレーム分
のスチル画像データを得るソフトウェアのアルゴリズム
を示したものである。図１において、記録媒体１０１か
ら読み出された符号化画像データ１０２は、入力処理１
０３において、外部からの１フレーム分のスチル画像デ
ータ取り込み命令１０４によって、１フレーム分の動画
像データのみが取り込まれる。この１フレーム分の動画
像データは、復号化処理１０５において復号化され、
４：２：０コンポーネント信号を得て、各信号成分であ
る輝度信号Ｙ、色差信号Ｃｒ、Ｃｂは判別処理１０６に
おいて画像データ１０７、１０８、１０９に振り分けら
れ、それぞれ動き補償処理Ｙ１１０、Ｃｒ１１１、Ｃｂ
１１２に送られる。

【００２２】動き補償処理１１０〜１１２に送られてき
た画像データ１０７〜１０９は、フィールドごと、すな
わち奇数ラインと偶数ラインとの間でフィールド間の時
間差（１／５０秒）によるズレが生じている。動き補償
処理１１０〜１１２のうちの輝度信号Ｙの処理１１０に
ついては従来と同様に図１５、図１７に示されるよう
に、最下部のラインを除く偶数ラインの上下に位置する
奇数ライン上の画素ｘ、ｙの平均値（ｘ＋ｙ）／２を用
いて、この値を補間される画素ｚの値とすることで動き
補償を行うことができる。

【００２３】次に、本発明のポイントである色差信号Ｃ
ｒ、Ｃｂの動き補償処理１１１、１１２について説明す
る。色差信号Ｃｒ、Ｃｂについては、線順次処理が施さ
れているので、１フレーム内での画素の配置は図２
（ａ）、（ｂ）のように、２ラインごとにＣｒデータの
みの列、Ｃｂデータのみの列になっている。そこで、図
２（ａ）、（ｂ）におけるＡの画素とＢの画素の値を用
いてＰの画素を補間する場合、画面上での画素間距離Ａ
ＰとＢＰの比は１：３であることから、補間画素Ｐの補
間値Ｐを、Ｐ＝（３Ａ＋Ｂ）／４ ………（１）で求める。

【００２４】このようにして、画素間距離の比を補間式
に反映させることによって、より適切な補間値を補間さ
れる画素に与えて動き補償処理を施すことができる。

【００２５】次に、上記により動き補償されたＣｒ、Ｃ
ｂデータに対して図１の線同次化処理１１３、１１４を
行う。ここでは、Ｃｒ、Ｃｂ各画像データの存在しない
走査線上にオフセットデータ１２８という画素値を与
え、垂直方向に線同次化フィルタをかけることにより、
輝度信号と同じ走査線数の画像データを作成する。この
ようにして得られた１フレーム分の各信号成分データ
は、スチル画像出力処理１１５により動きによるズレの
ないスチル画像として出力され、さらに出力処理１１６
によりモニタやビデオプリンタなどの１フレーム画像を
出力する装置に送られる。

【００２６】本実施の形態によれば、動き補償処理され
た色差信号を線同次化する処理を行うソフトウェアを実
現することができ、色差信号の画像データの動き補償処
理される画素数を半減させて演算量を減少させることが
できる。また、線同次化によって内挿された画素データ
を用いて動き補償処理を行わず、画素間距離を考慮した
演算を行うことで、より正確な動き補償処理を行うこと
ができる。

【００２７】図３に本発明の第２の実施の形態を示す。
この図３は、記録媒体から読み出した符号化画像データ
をコンピュータに取り込み、復号化処理やフィールド間
の時間差によって生じる動きを検出する処理、及び動き
検出結果に応じて補間処理を行う動き補償の演算処理を
行って、１フレーム分のスチル画像データを得るソフト
ウェアのアルゴリズムを示したものである。

【００２８】図３において、記録媒体２０１から読み出
された符号化画像データ２０２は、入力処理２０３にお
いて、外部からの１フレーム分のスチル画像データ取り
込み命令２０４によって、１フレーム分の動画像データ
のみが取り込まれる。この１フレーム分の動画像データ
は、復号化処理２０５において復号化され、４：２：０
コンポーネント信号を得て、各信号成分である輝度信号
Ｙ、色差信号Ｃｒ、Ｃｂは判別処理２０６において画像
データ２０７、２０８、２０９に振り分けられ、それぞ
れ動き検出処理Ｙ２１０、Ｃｒ２１２、Ｃｂ２１４に送
られる。

【００２９】動き検出処理２１０、２１２、２１４に送
られてきた画像データ２０７〜２０９のうちの動きのあ
る部分については、フィールドごと、すなわち奇数ライ
ンと偶数ラインとの間でフィールド間の時間差（１／５
０秒）によるズレが生じている。動き検出処理２１０、
２１２、２１４においては、偶数ライン上の画素毎に画
面上で上下に位置する奇数ラインの画素との間で演算を
行って、このズレである動き部分の判定を行う。

【００３０】輝度信号Ｙの動き検出処理２１０について
は、図４に示されるように、画面上で最下部のラインを
除く偶数ラインの上下に位置する奇数ライン上の画素
ｘ、ｙの平均値（ｘ＋ｙ）／２と補間処理される注目画
素の値ｚとの差を、あるしきい値ｔｈ−Ｙとの間で比較
を行い、｜（ｘ＋ｙ）／２−ｚ｜＞ｔｈ−Ｙ ………（２）となるとき、画素ｚは「動き」のある画素であると判定
する。また、この条件を満たさない場合は、この偶数ラ
イン上の画素ｚを「静止」画素とする。

【００３１】また、本発明のポイントのひとつである色
差信号Ｃｒ、Ｃｂの動き検出処理２１２、２１４につい
ては、色差信号Ｃｒ、Ｃｂに線順次処理が施されている
ので、１フレーム内での画素の配置は図２（ａ）、
（ｂ）のように、２ラインごとにＣｒデータのみの列、
Ｃｂデータのみの列となっている。

【００３２】そこで、図２（ａ）、（ｂ）におけるＡの
画素及びＢの画素の値とＰの注目画素との間の演算値
を、あるしきい値ｔｈ−Ｃと比較して動きの判定を行う
場合、画面上での画素間距離ＡＰとＢＰの比は１：３で
あることから、｜（３Ａ＋Ｂ）／４−Ｐ｜＞ｔｈ−Ｃ ………（３）となるとき、画素Ｐは「動き」のある画素であると判定
する。また、この条件を満たさない場合は、この偶数ラ
イン上の画素Ｐを「静止」画素とする。

【００３３】このように画素間距離の比を動き検出の演
算式に反映させることによって、より適切な動き検出処
理を施すことができる。

【００３４】次に、これら各信号成分毎に行われた動き
検出処理の動き判定結果に応じて、図３の動き補償処理
Ｙ２１１、Ｃｒ２１３、Ｃｂ２１５において、以下のよ
うに補間処理が行われる。輝度信号Ｙの処理２１１につ
いては、「静止」の判定のときは、画素ｚの値をそのま
ま補間される画素の画素値として採用し、フレーム内の
画像の解像度を保つ。また、「動き」の判定のときは、
図４に示されるように、補間処理が施される画面上で最
下部のラインを除く偶数ラインの上下に位置する奇数ラ
イン上の画素ｘ、ｙの平均値（ｘ＋ｙ）／２を用いて、
この値を補間される画素値とすることで動き補償を行
う。

【００３５】本発明のポイントのひとつである色差信号
Ｃｒ、Ｃｂの動き補償処理２１３、２１５については、
色差信号Ｃｒ、Ｃｂに線順次処理が施されているので、
１フレーム内での画素の配置は図２（ａ）、（ｂ）のよ
うに、２ラインごとにＣｒデータのみの列、Ｃｂデータ
のみの列となっている。そこで、「静止」の判定であっ
たときには、輝度信号Ｙと同様に、画素Ｐの値をそのま
ま補間される画素の画素値として採用する。

【００３６】また、動き検出処理の動き判定結果が「動
き」であったときは、図２（ａ）、（ｂ）におけるＡの
画素とＢの画素の値を用いてＰの画素を補間する。この
場合、画面上での画素間距離ＡＰとＢＰの比は１：３で
あることから、補間画素Ｐの補間値Ｐは次式で求める。Ｐ＝（３Ａ＋Ｂ）／４ ………（４）

【００３７】このように画素間距離の比を補間式に反映
させることによって、より適切な補間値を補間される画
素に与えて動き補償処理を施すことができる。

【００３８】次に、動き補償されたＣｒ、Ｃｂデータに
対して図３の線同次化処理２１６、２１７を行う。ここ
では、Ｃｒ、Ｃｂ各画像データの存在しない走査線上に
オフセットデータ１２８という画素値を与え、垂直方向
に線同次化フィルタをかけることにより、輝度信号と同
じ走査線数の画像データを作成する。このようにして得
られた１フレーム分の各信号成分データは、スチル画像
出力処理２１８により動きによるズレのないスチル画像
として出力され、さらに出力処理２１９によりモニタや
ビデオプリンタなどの１フレーム画像を出力する装置に
送られる。

【００３９】本実施の形態によれば、動き検出及び動き
補償処理された色差信号を線同次化する処理を行うソフ
トウェアを実現することができ、色差信号の画像データ
の動き補償処理される画素数を半減させて演算量を減少
させることができる。さらに、線同次化によって内挿さ
れた画素データを用いて動き補償処理を行わずに、画素
間距離を考慮した演算を行うことで、より正確な動き検
出及び動き補償処理を行うことができる。

【００４０】図５に本発明の第３の実施の形態を示す。
この図５は、記録媒体から読み出した符号化画像データ
を復号し、そこから得られた水平及び／又は垂直方向に
サブサンプリングされた輝度信号と線順次化された色差
信号とに対して動き検出及び動き補償処理を行い、その
後、輝度信号については内挿処理を行い、また色差信号
については線同次化処理を行い、１フレーム分のスチル
画像データを出力する画像処理装置を示している。

【００４１】図５において、３０１は記録媒体、３０２
は復号化回路、３０６は動き検出／動き補償回路Ｙ、３
０７は動き検出／動き補償回路Ｃｒ、３０８は動き検出
／動き補償回路Ｃｂ、３１２は内挿処理回路Ｙ、３１３
は線同次化回路Ｃｒ、３１４は線同次化回路Ｃｂ、３１
８は１フレーム分の画像データ出力回路、３１９は１フ
レーム画像出力命令信号入力回路、３２０はスチル画像
Ｙ出力端子、３２１はスチル画像Ｃｒ出力端子、３２２
はスチル画像Ｃｂ出力端子である。

【００４２】次に、動作について説明する。記録媒体３
０１から符号化動画像データが読み出され、復号化回路
３０２により復号化されて、輝度信号が水平方向にサブ
サンプルされた２：２：０コンポーネント動画像データ
信号３０３〜３０５が再生される。各信号成分である輝
度信号Ｙ、色差信号Ｃｒ、Ｃｂは、それぞれ第１フィー
ルドの画像データ、第２フィールドの画像データの順で
動き検出／動き補償回路３０６〜３０８に送られ、以下
のようにして画素ごとに動き検出及び動き補償処理が行
われる。

【００４３】動き検出／動き補償回路３０６〜３０８に
送られてきた画像データ３０３〜３０５のうちの動きの
ある部分については、フィールド間で時間差（１／５０
秒）によるズレが生じている。ここではまず、第２フィ
ールド上の画素毎に、画面上で上下に位置する第１フィ
ールド上の画素との間で演算を行って、動き部分の判定
を行う。

【００４４】輝度信号Ｙについての動き検出／動き補償
回路Ｙ３０６の詳細を図６に示す。図６において、４０
１は４：２：０の輝度信号Ｙ入力端子、４０２は画素平
均値演算回路、４０３は１ライン分遅延回路、４０４は
１フィールド分遅延回路、４０５は第２フィールド元デ
ータ、４０６は第２フィールド補間データ、４０７は減
算機、４０８は絶対値演算回路、４０９は比較回路、４
１０は動き検出しきい値ｔｈ−Ｙ、４１１は動き判定結
果信号、４１２は補間画素切換え回路（スイッチ）、４
１３は動き補償された４：２：０輝度信号Ｙ出力端子で
ある。

【００４５】次に、動作について説明する。輝度信号Ｙ
の画素が、図７に示されるようにサブサンプルされたデ
ータであるとすると、本発明のポイントである動き検出
処理は、第２フィールド上の注目画素ｚ（図６の４０
５）と、その上下に位置する第１フィールド上の画素ｘ
１、ｘ２、ｙ１、ｙ２の平均値（図６の４０６）との差
の絶対値を、あるしきい値ｔｈ−Ｙとの間で比較回路４
０９で比較を行い、｜（ｘ１＋ｘ２＋ｙ１＋ｙ２）／４−ｚ｜＞ｔｈ−Ｙ ………（５）となるとき、画素ｚは「動き」のある画素であると判定
する。この条件を満たさない画素ｚについては、「静
止」画素と判定する。

【００４６】また、本発明のポイントのひとつである色
差信号Ｃｒ、Ｃｂについての動き検出／動き補償回路３
０７、３０８の詳細を図８に示す。図８において、５０
１は４：２：０色差信号ＣｒまたはＣｂ入力端子、５０
２は画素平均値演算回路、５０３は２ライン分遅延回
路、５０４は１フィールド分遅延回路、５０５は第２フ
ィールド元データ、５０６は第２フィールド補間データ
（平均値）、５０７は減算機、５０８は絶対値演算回
路、５０９は比較回路、５１０は動き検出しきい値ｔｈ
−Ｃ、５１１は動き判定結果信号、５１２は補間画素切
換え回路（スイッチ）、５１３は動き補償された４：
２：０色差信号ＣｒまたはＣｂ出力端子である。

【００４７】色差信号Ｃｒ、Ｃｂは線順次処理が施され
ているので、１フィールド内での画素の配置は図９
（ａ）、（ｂ）のように、１ラインごとにＣｒデータの
みの列、Ｃｂデータのみの列となっている。

【００４８】そこで、図９（ａ）、（ｂ）におけるＡの
画素及びＢの画素の値とＰの注目画素との間の演算値を
比較回路５０９で、あるしきい値ｔｈ−Ｃと比較して動
きの判定を行う場合、画面上での画素間距離ＡＰとＢＰ
の比は１：３であることから、画素ＡとＢのＰの位置に
おける図８の平均値５０６は（３Ａ＋Ｂ）／４となる。
この平均値と画素Ｐの値との差の絶対値とｔｈ−Ｃとの
比較結果が、｜（３Ａ＋Ｂ）／４−Ｐ｜＞ｔｈ−Ｃ ………（６）となるとき、画素Ｐは「動き」のある画素と判定し、こ
の条件を満たさない画素Ｐについては、「静止」画素と
判定する。

【００４９】このように画素間距離の比を動き検出の演
算式に反映させることによって、より適切な動き検出処
理を施すことができる。

【００５０】次に、これら各信号成分毎に行われた動き
検出による図６、図８の動き判定結果信号４１１及び５
１１に応じて、以下のように補間処理が行われる。輝度
信号Ｙの処理については、第１フィールドの画素データ
と第２フィールドの画素データとの間で「静止」の判定
のときは、スイッチ４１２を図の上側に切換えて画素値
ｚ（図６の４０５）をそのまま補間される画素の画素値
として採用し、フレーム内の画像の解像度を保つ。

【００５１】また、本発明のポイトンである「動き」の
判定のときは、図７に示されるように、第２フィールド
上の画素ｚの上下に位置する第１フィールドの画素ｘ
１、ｘ２、ｙ１、ｙ２の平均値（ｘ１＋ｘ２＋ｙ１＋ｙ
２）／４（図６の４０６）を補間される画素の値となる
ようにスイッチ４１２を下側に切換えて、動き補償され
た画像データを出力端子４１３から出力する。

【００５２】ここで、本発明のポイントのひとつである
色差信号Ｃｒ、Ｃｂの動き補償処理については、色差信
号Ｃｒ、Ｃｂに線順次処理が施されているので、各フィ
ールド内での画素の配置は図９（ａ）、（ｂ）のよう
に、１ラインごとにＣｒデータのみの列、Ｃｂデータの
みの列となっている。そこで、第１フィールドの画素デ
ータと第２フィールドの画素データとの間で「静止」の
判定のときには、輝度信号Ｙと同様に、画素値Ｐ（図８
の５０５）をそのまま画素値として採用するように、図
８のスイッチ５１２を上側に切換えて出力端子５１３か
ら画素データを出力する。

【００５３】また、動き検出処理の動き判定結果信号５
１１が「動き」であったときは、図９（ａ）、（ｂ）に
おけるＡの画素とＢの画素の値を用いてＰの画素を補間
する。この場合、画面上での画素間距離ＡＰとＢＰの比
は１：３であることから、補間画素Ｐの補間値Ｐは、Ｐ＝（３Ａ＋Ｂ）／４ ………（７）で求め、スイッチ５１２を下側に切換えて、動き補償さ
れた画素データＰ（図８の５０６）を出力端子５１３か
ら出力する。

【００５４】このようにして、画素間距離の比を補間式
に反映させることによって、より適切な補間値を補間さ
れる画素に与えて動き補償処理を施すことができる。

【００５５】次に、動き補償されたＹデータ３０９に対
しては、内挿処理回路Ｙ３１２によって元の画素数に再
生し、また、Ｃｒデータ３１０、Ｃｂデータ３１１に対
しては、線同次化回路Ｃｒ３１３、Ｃｂ３１４において
線同次化処理を行う。

【００５６】図５の輝度信号Ｙの内挿処理回路Ｙ３１２
では、図１０に示されるように、ゼロデータ１３０３
を、各画素間にスイッチ１３０２を１画素毎に切換える
ことで挿入し、水平方向のサブサンプルフィルタ１３０
４をかけることで、元の画素数に再生する。

【００５７】また、色差信号Ｃｒ、Ｃｂに対しては、Ｃ
ｒ、Ｃｂ各画像データの存在しない走査線上にオフセッ
トデータ１２８という画素値を与え、垂直方向に線同次
化フィルタをかけることにより、輝度信号と同じ走査線
数の画像データを作成する。

【００５８】以上のようにして得られた１フレーム毎に
動き補償された４：２：２動画像信号Ｙ３１５、Ｃｒ３
１６、Ｃｂ３１７からスチル画像として１フレーム分出
力するために、１フレーム画像出力命令信号入力回路３
１９によりスチル画像出力命令信号を入力し、これに応
じて動画像データのうちの１フレーム分の画像データが
１フレーム画像データ出力回路３１８から送出される。

【００５９】このようにして、１フレーム分の４：２：
２コンポーネント画像をコンポーネント画像出力端子３
２０〜３２２より得て、このデータをモニタやビデオプ
リンタなどに伝送して出力することで、フィールド間の
動き補償が施された１フレームのスチル画像を得る。

【００６０】以上のように本実施の形態によれば、動き
検出及び動き補償処理された輝度信号を内挿処理し、動
き検出及び動き補償された色差信号を線同次化する処理
を行う画像処理装置を実現することができ、輝度信号と
色差信号の画像データの動き補償処理される画素数を半
減させて演算量を減少させることで処理時間の高速化を
図ることができる。さらに、内挿された画素データを用
いて動き検出及び動き補償処理を行わずに、画素間距離
を考慮した演算を行うことで、より正確な動き補償処理
を行うことができる。

【００６１】図１１は、上述した第１〜第３の実施の形
態で説明した処理をマイクロコンピュータ（以下マイコ
ン）によるソフトウェア処理によって実現した場合にお
ける第４の実施の形態を示す。本実施の形態は、例えば
磁気テープを記録媒体とするディジタルＶＴＲに用いら
れるもので、図１１のマイコン９０３は前述により説明
した第１〜第３の実施の形態と同様の機能を有する。

【００６２】図１１において、再生処理回路９０２によ
り、記録媒体９０１からの圧縮符号化されたディジタル
画像信号を再生し、誤り訂正処理、情報の復号化処理等
を施して、マイコン９０３にインターレース形式で出力
する。マイコン９０３は、ハードディスクやフロッピィ
ディスク等で構成された本発明による記録媒体としての
メモリ９０４に記憶されたプログラムに従って処理を行
い、再生画像信号から静止画像を抽出して出力する。従
って、メモリ９０４には、前述した第１〜第３の実施の
形態において説明した処理を実行するためのプログラム
が記録されている。

【００６３】以上述べた第１〜第４の実施の形態では、
輝度信号内挿処理や色差線同次化の前での１フレーム内
の動き検出及び動き補償の処理についてのみを扱った
が、画像のエッジ強調や色調の調整などの画像処理にも
有効である。また、色差信号の水平方向でのサブサンプ
リング、さらには輝度信号を垂直方向にサブサンプリン
グした画像を再生する場合にも、内挿処理前に以上のよ
うな画像処理を施すことにも有効である。

【００６４】本発明の実施の形態によれば、輝度信号
Ｙ、色差信号Ｃｒ、Ｃｂの各コンポーネント信号成分か
らなる画像信号を出力する画像処理において、サブサン
プリングされた輝度信号と線順次化された色差信号に対
して、スチル画像データの出力が選択されたときは、１
フレーム内での動き検出及び動き補償の画像処理を行
い、その次に輝度信号成分について内挿処理を行い、ま
た色差信号成分について輝度信号成分との同次化を行
い、各画像信号成分を出力することにより、各信号成分
の画素の動き補償の演算量を減少させ、より高速に動き
補償処理を行うことができる。

【００６５】また、動き検出及び動き補償処理を行うた
めに用いられる画素の位置と、動き補償処理を施されて
補間される画素の位置との画面上での空間的な距離を考
慮して、その距離を考慮した係数を動き検出及び動き補
償を行うために用いられる画素の画素値に反映させて、
補間される画素の画素値を求めることで、より正確な動
き補償処理を実現させることができる。

【００６６】

【発明の効果】以上説明したように、本発明によれば、
色差信号の演算量を減少させることができ、これにより
高速な処理を実現することができ、また動き補償や動き
検出をより正確に行うことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態による処理のアルゴ
リズムを示すフローチャートである。

【図２】色差信号の補間処理を説明する構成図である。

【図３】本発明の第２の実施の形態による処理のアルゴ
リズムを示すフローチャートである。

【図４】輝度信号の補間処理を説明する構成図である。

【図５】本発明の第３の実施の形態による画像処理装置
を示すブロック図である。

【図６】図５の動き検出／動き補償回路Ｙの詳細を示す
ブロック図である。

【図７】サブサンプリング処理された輝度信号の画素の
配置を示す構成図である。

【図８】図５の動き検出／動き補償回路Ｃｒ、Ｃｂの詳
細を示すブロック図である。

【図９】色差信号の補間処理を説明する構成図である。

【図１０】サブサンプリング処理された輝度信号に対し
て、内挿処理により再生する回路を示すブロック図であ
る。

【図１１】本発明の第４の実施の形態を示すブロック図
である。

【図１２】線順次処理された画素を説明する構成図であ
る。

【図１３】従来の画像処理装置を示すブロック図であ
る。

【図１４】図１３の線同次化回路を示すブロック図であ
る。

【図１５】線同次処理された画素を説明する構成図であ
る。

【図１６】図１３の動き補償回路を示すブロック図であ
る。

【図１７】輝度信号の補間処理を説明する構成図であ
る。

【符号の説明】１０６、２０６輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂ判
別処理１０７、２０７輝度信号Ｙ画像データ１０８、２０８色差信号Ｃｒ画像データ１０９、２０９色差信号Ｃｂ画像データ１１０、２１１動き補償処理Ｙ１１１、２１３動き補償処理Ｃｒ１１２、２１５動き補償処理Ｃｂ１１３、２１６線同次化処理Ｃｒ１１４、２１７線同次化処理Ｃｂ１１５、２１８スチル画像出力処理２１０動き検出処理Ｙ２１２動き検出処理Ｃｒ２１４動き検出処理Ｃｂ３０３輝度信号Ｙ画像データ３０４色差信号Ｃｒ画像データ３０５色差信号Ｃｂ画像データ３０６動き検出／動き補償回路Ｙ３０７動き検出／動き補償回路Ｃｒ３０８動き検出／動き補償回路Ｃｂ３１２内挿処理回路Ｙ３１３線同次化回路Ｃｒ３１４線同次化回路Ｃｂ３１８１フレーム分の画像データ出力回路３２０スチル画像Ｙ出力端子３２１スチル画像Ｃｒ出力端子３２２スチル画像Ｃｂ出力端子４１３動き補償された４：２：０輝度信号Ｙ出力端子５１３動き補償された４：２：０色差信号Ｃｒまたは
Ｃｂ出力端子

Claims

【特許請求の範囲】

【請求項１】輝度信号と線順次化された複数の色差信
号との各信号成分からなる画像信号の上記各信号成分に
ついて１単位画面内での順次走査化のための画像処理を
行い、次に上記処理された色差信号成分について上記処
理された輝度信号成分との線同次化処理を行い、各信号
成分を出力することを特徴とする画像処理方法。
【請求項２】水平及び／又は垂直方向にサブサンプリ
ングされた輝度信号と線順次化された色差信号との各信
号成分からなる画像信号の上記各信号成分について１単
位画面内での順次走査化のための画像処理を行い、次に
上記処理された輝度信号成分について内挿補間処理を行
い、上記処理された色差信号成分と共に出力することを
特徴とする画像処理方法。
【請求項３】上記１単位画面内での画像処理は、動き
補償処理を行うことを特徴とする請求項１又は２記載の
画像処理方法。
【請求項４】上記１単位画面内での画像処理は、１フ
レーム内での動き補償処理を行うことを特徴とする請求
項１又は２記載の画像処理方法。
【請求項５】上記動き補償処理は、この動き補償処理
を行うために用いられる参照画素の位置と、動き補償処
理を施されて補間される注目画素の位置との画面上での
空間的な距離に応じた係数を、上記参照画素の画素値に
反映させることにより、上記注目画素の画素値を求める
ことを特徴とする請求項３記載の画像処理方法。
【請求項６】上記１単位画面内の画像処理は、１単位
画面内での動き検出及び動き補償の各処理を行うことを
特徴とする請求項１又は２記載の画像処理方法。
【請求項７】上記動き検出及び動き補償の各処理は、
この動き検出及び動き補償処理を行うために用いられる
参照画素の位置と、動き補償処理を施されて補間される
注目画素の位置との画面上での空間的な距離に応じた係
数を、上記参照画素の画素値に反映させることにより、
上記注目画素の画素値を求めることを特徴とする請求項
６記載の画像処理方法。
【請求項８】輝度信号と線順次化された複数の色差信
号との各信号成分からなる画像信号の上記各信号成分に
ついて１単位画面内での順次走査化のための画像処理を
行う画像処理手段と、上記処理された色差信号成分につ
いて上記処理された輝度信号成分との線同次化処理を行
い、線同次化処理された各信号成分を出力する同次化処
理手段とを設けたことを特徴とする画像処理装置。
【請求項９】水平及び／又は垂直方向にサブサンプリ
ングされた輝度信号と線順次化された色差信号との各信
号成分からなる画像信号の上記各信号成分について１単
位画面内での順次走査化のための画像処理を行う画像処
理手段と、上記処理された輝度信号成分について内挿補
間処理を行い、上記処理された色差信号成分と共に出力
する補間処理手段とを設けたことを特徴とする画像処理
装置。
【請求項１０】上記画像処理手段による１単位画面内
での画像処理は、動き補償処理を行うことを特徴とする
請求項８又は９記載の画像処理装置。
【請求項１１】上記画像処理手段による１単位画面内
での画像処理は、１フレーム内での動き補償処理を行う
ことを特徴とする請求項８又は９記載の画像処理装置。
【請求項１２】上記動き補償処理は、この動き補償処
理を行うために用いられる参照画素の位置と、動き補償
処理を施されて補間される注目画素の位置との画面上で
の空間的な距離に応じた係数を、上記参照画素の画素値
に反映させることにより、上記注目画素の画素値を求め
ることを特徴とする請求項１０記載の画像処理装置。
【請求項１３】上記画像処理手段による１単位画面内
の画像処理は、１単位画面内での動き検出及び動き補償
処理の各処理を行うことを特徴とする請求項８又は９記
載の画像処理装置。
【請求項１４】上記動き検出及び動き補償処理の各処
理は、この動き検出及び動き補償処理を行うために用い
られる参照画素の位置と、動き補償処理を施されて補間
される注目画素の位置との画面上での空間的な距離に応
じた係数を、上記参照画素の画素値に反映させることに
より、上記注目画素の画素値を求めることを特徴とする
請求項１３記載の画像処理装置。
【請求項１５】輝度信号と線順次化された複数の色差
信号との各信号成分からなる画像信号の上記各信号成分
について１単位画面内での順次走査化のための画像処理
を行う手順と、上記処理された色差信号成分について上
記処理された輝度信号成分との線同次化処理を行い、各
信号成分を出力する手順とを実行するためのプログラム
を記録したコンピュータ読み取り可能な記録媒体。
【請求項１６】水平及び／又は垂直方向にサブサンプ
リングされた輝度信号と線順次化された色差信号との各
信号成分からなる画像信号の上記各信号成分について１
単位画面内での順次走査化のための画像処理を行う手順
と、上記処理された輝度信号成分について内挿補間処理
を行い、上記処理された色差信号成分と共に出力する手
順とを実行するためのプログラムを記録したコンピュー
タ読み取り可能な記録媒体。
【請求項１７】上記１単位画面内での画像処理は、動
き補償処理を行うことを特徴とする請求項１５又は１６
記載のコンピュータ読み取り可能な記録媒体。
【請求項１８】上記１単位画面内での画像処理は、１
フレーム内での動き補償処理を行うことを特徴とする請
求項１５又は１６記載のコンピュータ読み取り可能な記
録媒体。
【請求項１９】上記動き補償処理は、この動き補償処
理を行うために用いられる参照画素の位置と、動き補償
処理を施されて補間される注目画素の位置との画面上で
の空間的な距離に応じた係数を、上記参照画素の画素値
に反映させることにより、上記注目画素の画素値を求め
ることを特徴とする請求項１７記載のコンピュータ読み
取り可能な記録媒体。
【請求項２０】上記１単位画面内の画像処理は、１単
位画面内での動き検出及び動き補償の各処理を行うこと
を特徴とする請求項１５又は１６記載のコンピュータ読
み取り可能な記録媒体。
【請求項２１】上記動き検出及び動き補償の各処理
は、この動き検出及び動き補償処理を行うために用いら
れる参照画素の位置と、動き補償処理を施されて補間さ
れる注目画素の位置との画面上での空間的な距離に応じ
た係数を、上記参照画素の画素値に反映させることによ
り、上記注目画素の画素値を求めることを特徴とする請
求項２０記載のコンピュータ読み取り可能な記録媒体。