JPH10200849A

JPH10200849A - 画像処理方法及び装置並びに記録媒体

Info

Publication number: JPH10200849A
Application number: JP9000294A
Authority: JP
Inventors: Kitahiro Kaneda; 北洋金田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-01-06
Filing date: 1997-01-06
Publication date: 1998-07-31

Abstract

(57)【要約】【課題】フレーム画像から静止画を形成する。【解決手段】フレームメモリ１０は、出力ポート＃
ａ，＃ｂからそれぞれ奇フィールド映像信号ｘと偶フィ
ールド映像信号ｚをそれぞれ同時に読み出す。減算器１
４は、奇フィールド映像信号ｘとその遅延回路１２の出
力との差分の絶対値の半分を算出する。平均値回路１６
は、奇フィールド映像信号ｘと遅延回路１２の出力との
平均値を算出し、減算器１８は回路１６の出力から偶フ
ィールド映像信号ｚを減算し、その絶対値を出力する。
比較回路２０は減算器１４，１８の出力を比較して着目
画素の動きの程度を判断し、画像合成回路２２に、その
結果に応じた混合割合で偶フィールド映像信号ｚと平均
値回路１６の出力信号を合成させる。切替え回路２４は
フィールドインデックス信号２６に従い、奇フィールド
で奇フィールド映像信号ｘを、偶フィールドで回路２２
の出力信号を選択する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理方法及び
装置並びに記録媒体に関し、より具体的には、動画像か
ら静止画を生成する画像処理方法及び装置並びに記録媒
体に関する。

【０００２】

【従来の技術】従来の静止画表示装置では、表示すべき
画像情報をフィールドメモリ又はフレームメモリに記憶
し、当該フィールドメモリ又はフレームメモリから所定
周期で繰り返し画像データを読み出し表示素子に供給す
ることで、静止画表示を実現している。また、表示画像
の画質を改善する手段として、メモリから読み出された
画像データに補間処理を加えてから表示素子に印加する
構成も知られている。

【０００３】フィールドメモリを使用する構成では、フ
レームメモリを使用する場合に比べて、メモリ容量が半
分で済み、コストが安くなり、フィールド間の動きによ
るブレが発生しないという利点があるが、偶フィールド
と奇フィールドで同じ映像を表示することになるので、
垂直方向の解像度が本来の半分になり、画質が低いとい
う欠点がある。

【０００４】同じくフィールドメモリを使用しても、例
えば、奇フィールドに対してはメモリから読み出された
画像をそのまま表示し、偶フィールドに対しては、メモ
リから読み出された画像データの上下ラインの信号から
補間画像を生成し、その補間画像を画像表示する構成も
知られている。この構成では、上記従来例と同様に、フ
ィールド間の動きによるブレは無いが、垂直方向の解像
度が半分にまで落ちることはないものの少なからず低下
するので、原理的に、多少の画質劣化は免れない。

【０００５】これに対して、フレームメモリを使用する
構成では、原理的には完璧な静止画表示になるが、被写
体の静止している部分では垂直方向の解像度劣化もなく
画質劣化が発生しないものの、被写体の動いている部分
でフィールド間の動きによるブレが発生し、画質劣化が
発生する。

【０００６】

【発明が解決しようとする課題】フレームメモリを使用
する従来例で、フィールド間の動きによる画質劣化を低
減する手段として、画像の動きを検出し、動いている部
分は一方のフィールド画像（及びそのフィールド画像か
らの補間画像）のみを使用し、動いていない部分はその
ままの信号すなわちフレーム画像を使用する構成が提案
されている。この構成では、垂直方向の解像度劣化を抑
えつつ、動きによるブレも極力目立たなくできるが、コ
ストが高くなるという問題と、動き検出と補間画像の精
度を高めないと、実用的な画質を得ることが困難である
という問題がある。

【０００７】補間画像を、着目画素に対応する隣フィー
ルドの上下の画素レベルの平均値とし、動き検出をその
平均値と現フィールドの着目画素の差分値で行なうこと
により、コストの低減を図る構成も提案されているが、
動き検出の精度に難点があり、特に動きの誤判定による
斜め線の垂直解像度劣化、特異点が顕著に現われるなど
の課題があり、実用的なレベルにまでは達していない。

【０００８】従来例の動き判定処理を図２を参照して説
明する。図２の縦軸は信号レベル、横軸はフィールド番
号（時間）を示す。従来は、図２に示すように、該当フ
ィールドの着目画素の信号レベルｚと、１フィールドず
れた映像上で着目画素の上下の画素の信号レベルｘ，ｙ
の平均値との差β β＝｜（ｘ＋ｙ）／２−ｚ｜を動き判定パラメータとし、βが一定閾値ＴＨより大き
い場合は動いている、ＴＨ以下の場合には静止している
と判定している。しかしこれでは、画素の時間変化のみ
に着目していることになり、例えば、図３及び図４に示
すような、静止している斜め線に対しては、誤って動い
ていると判定してしまうことがある。図３は斜め線の一
例であって、縦軸は画面垂直方向、横軸は画面水平方向
を示す。図４は、図３に示す画素ｘ，ｙ，ｚの信号レベ
ルとフィールド（時間）との関係を示す。図４の縦軸は
信号レベル、横軸はフィールド（時間）を示す。

【０００９】本発明は、このような問題点を解決し、安
価に製造でき、且つ、十分高い画質の静止画を得ること
のできる画像処理方法及び装置並びに記録媒体を提示す
ることを目的とする。

【００１０】

【課題を解決するための手段】本発明に係る画像処理方
法は、動画像中のオブジェクトの動きを判定する動き判
定ステップと、前記オブジェクトの絵柄を判定する絵柄
判定ステップと、前記動き判定ステップにより判定され
た動きと前記絵柄判定ステップにより判定された絵柄と
を組み合わせたパラメータを発生するパラメータ発生ス
テップと、前記パラメータに基づいて前記動画中から静
止画像を生成する静止画像生成ステップとからなること
を特徴とする。

【００１１】絵柄判定ステップは、例えば、斜め線を判
定するステップである。また、動き判定ステップは、前
記オブジェクトの動きを、時間軸方向に隣接する、動画
像中の複数画面の差に基づいて判定する。静止画像生成
ステップは、パラメータ発生ステップにより発生された
パラメータに基づいて、動画像中の時間軸方向に隣接す
る複数画面を組み合わせて前記静止画像を生成する。

【００１２】本発明に係る記録媒体には、請求項１の各
ステップのプログラムをコンピュータによって読取り可
能な形態で記憶される。

【００１３】本発明に係る画像処理装置は、動画像中の
オブジェクトの動きを判定する動き判定手段と、前記オ
ブジェクトの絵柄を判定する絵柄判定手段と、前記動き
判定手段により判定された動きと前記絵柄判定手段によ
り判定された絵柄とを組み合わせたパラメータを発生す
るパラメータ発生手段と、前記パラメータに基づいて前
記動画中から静止画像を生成する静止画像生成手段とか
らなることを特徴とする。

【００１４】好ましくは、絵柄判定手段は、斜め線を判
定する手段である。動き判定手段は、前記オブジェクト
の動きを、時間軸方向に隣接する、動画像中の複数画面
の差に基づいて判定する。静止画像生成手段は、パラメ
ータ発生手段により発生されたパラメータに基づいて、
動画像中の時間軸方向に隣接する複数画面を組み合わせ
て静止画像を生成する。

【００１５】本発明に係る画像処理装置は、連続する第
１及び第２画面の入力画像から所定の合成画像を生成す
る画像処理装置であって、連続する第１及び第２画面の
前記入力画像信号を記憶し、同時に各入力画像信号を出
力するメモリ手段と、前記メモリ手段から読み出される
第１画面から水平ライン間の変化量基準値を算出する第
１の演算手段と、前記メモリ手段から読み出される第１
画面から水平ライン間の平均値を算出する平均値算出手
段と、前記平均値算出手段の出力と前記メモリ手段から
読み出される第２画面の画像との差の絶対値を算出する
第２の演算手段と、前記第１の演算手段の出力と前記第
２の演算手段の出力を比較し、前記メモリ手段から読み
出される第２画面の画像と当該平均値算出手段の出力画
像の混合割合を示す制御信号を出力する比較手段と、前
記比較手段から出力される制御信号に従う混合割合で、
前記メモリ手段から読み出される第２画面の画像と当該
平均値算出手段の出力画像を画像合成する画像合成手段
と、画面の切り換えを示す画面インデックス信号に従
い、前記メモリ手段から読み出される第１画面の画像と
前記画像合成手段の出力画像を画面毎に切り替える切替
え手段とからなることを特徴とする。

【００１６】第１の演算手段の出力に所定の重み付けを
する重み付け手段を設け、第１の演算手段の出力の代わ
りに、前記重み付け手段で重みを付けた信号を前記比較
手段に供給するようにしてもよい。

【００１７】画像合成手段で２つの画像を合成する代わ
りに、選択手段により一方の画像を選択するようにして
もよい。

【００１８】これらの構成により、画素の時間変化と絵
柄変化の両方を含む新しい動き判定パラメータにより画
素毎の動きの有無を判定するので、動き検出精度が向上
する。これで検出された動きの有無により、例えばフル
フレーム信号と補間フィールド信号を、場所毎に最適な
混合割合を合成し、又は画素毎に適切な方を選択するの
で、より自然な合成画像を得ることができる。また、仮
に誤判定した場合でも、その影響を最小限にくい止める
ことができ、解像度劣化を抑えつつブレのない快適な静
止画表示を実現できる。

【００１９】フルフレーム信号又は補間フィールド信号
を選択するようにすることで、構成を大幅に簡略化でき
る。

【００２０】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。

【００２１】図１は、本発明の一実施例の概略構成ブロ
ック図を示す。１０は、連続する２フィールドの映像信
号ｚ，ｘを記憶するフレームメモリ、１２はフレームメ
モリ１０から読み出された第２フィールドの映像信号ｘ
を１水平同期期間だけ遅延する遅延回路、１４は、フレ
ームメモリ１０から読み出された第２フィールドの映像
信号ｘから遅延回路１２の出力映像信号ｙを減算し、そ
の差分の絶対値の１／２、即ち｜ｘ−ｙ｜／２を出力す
る減算器、１６は、第２フィールドの映像信号ｘと遅延
回路１２の出力映像信号ｙの平均値（ｘ＋ｙ）／２を算
出する平均値回路、１８は平均値回路１６の出力（ｘ＋
ｙ）／２から、フレームメモリ１０から読み出された第
１フィールドの映像信号ｚを減算し、その絶対値｜（ｘ
＋ｙ）／２−ｚ｜を出力する減算器である。

【００２２】２０は、減算器１４の出力｜ｘ−ｙ｜／２
と減算器１８の出力を比較する比較回路、２２は、比較
回路２０の比較出力に従う合成割合で、フレームメモリ
１０から読み出される第１フィールドの映像信号ｚと、
平均値回路１６の出力信（ｘ＋ｙ）／２を合成する画像
合成回路、２４は、フィールド毎に反転するフィールド
・インデックス信号２６に従い、フレームメモリ１０か
ら読み出される第１フィールドの映像信号ｘと画像合成
回路２２から出力される信号をフィールド毎に交互に切
り替える切替え回路である。

【００２３】図１に示す実施例の動作を説明する。フレ
ームメモリ１０には、連続する２フィールドの映像信号
が、例えば奇フィールド及び偶フィールドの順で書き込
まれ、フレームメモリ１０の出力ポート＃ａから奇フィ
ールドの映像信号が読み出され、出力ポート＃ｂから偶
フィールドの映像信号がそれぞれ同時に読み出されるも
のとする。

【００２４】メモリ１０の出力ポート＃ａから出力され
る奇フィールドの映像信号ｘは、遅延回路１２、減算器
１４及び平均値回路１６に印加される。他方、メモリ１
０の出力ポート＃ｂから出力される偶フィールドの映像
信号ｚは、減算器１８及び画像合成回路２２に印加され
る。減算器１４は、奇フィールドの映像信号ｘと遅延回
路１２の出力映像信号ｙとの差分の絶対値の半分の値｜
ｘ−ｙ｜／２を算出し、比較回路２０に供給する。平均
値回路１６は、奇フィールドの映像信号ｘと遅延回路１
２の出力映像信号ｙとの平均値（ｘ＋ｙ）／２を算出
し、減算器１８に供給する。減算器１８は、平均値回路
１６の出力信号から、フレームメモリ１０の出力ポート
＃ｂからの偶フィールドの映像信号ｚを減算し、その絶
対値｜（ｘ＋ｙ）／２−ｚ｜を比較回路１２に出力す
る。

【００２５】比較回路２０は、減算器１４の出力信号と
減算器１８の出力信号を比較することにより現在の着目
画素が動いているのか又は静止しているのかを判断し、
その結果に応じ、画像合成回路２２の制御信号として偶
フィールドの映像信号ｚと平均値回路１６の出力信号の
混合割合を示す情報を画像合成回路２２に印加する。画
像合成回路２２は、フレームメモリ１０の出力ポート＃
ｂからの偶フィールドの映像信号ｚと平均値回路１６の
出力信号（ｘ＋ｙ）／２を、比較回路２２からの混合割
合制御信号に従って合成し、合成結果を切り替え回路２
４に出力する。比較回路２０及び画像合成回路２２は本
実施例の要となるものであり、その動作の詳細は、後述
する。

【００２６】切替え回路２４は、フィールド毎に反転す
るフィールド・インデックス信号２６に従い、奇フィー
ルドの場面では、フレームメモリ１０の出力ポート＃ａ
から出力される奇フィールドの映像信号ｘを選択し、偶
フィールドの場面では、画像合成回路２２の出力信号を
選択する。

【００２７】次に、比較回路２０及び画像合成回路２２
の動作を詳細に説明する。比較回路２０は動きを検出
し、画像合成回路２２は、その動き検出結果に従い、偶
フィールドで表示すべき画像を選択及び補正する。

【００２８】本実施例では、動き判定パラメータとし
て、図５に示すように、注目画素ｚの信号レベルが、隣
接フィールド上の上下の画素ｘ，ｙの信号レベルの平均
値（ｘ＋ｙ）／２に対し、画素ｘに近い領域にいる場合
は、画素ｘの信号レベルを基準とし、そうでない場合は
画素ｙの信号レベルを基準とする。そして、その基準と
注目画素ｚの信号レベルとの相対量を動き判定パラメー
タとする。即ち、本実施例の動き判定パラメータβ’
は、 β’＝｜（ｘ＋ｙ）／２−ｚ｜−｜ｘ−ｙ｜／２と表わすことができる。ここで、｜（ｘ＋ｙ）／２−ｚ
｜は画素の時間変化分に相当し、｜ｘ−ｙ｜／２は絵柄
の変化分に相当する。絵柄の変化は、経験的に通常、隣
接するフィールドの上下の信号レベルの変化以内である
ので、上下の画素の差分の絶対値の半分の値を絵柄の変
化の基準とした。

【００２９】比較回路２０はまずこの新しい動き判定パ
ラメータβ’を演算し、得られた動き判定パラメータ
β’から、ブレのない補間フィールド信号（奇フィール
ドの映像信号ｘと１水平同期期間遅延した映像信号ｙと
の平均値である映像信号）とフルフレーム信号（偶フィ
ールドの映像信号ｚ）の混合割合を求める。画像合成回
路２２は、比較回路２０から出力される混合割合に応じ
てこの補間フィールド信号とフルフレーム信号をアナロ
グ合成し、静止画の偶フィールド期間に出力すべき映像
信号を出力する。このように処理により、動き判定を誤
ることが少なくなり、仮に誤っても、その影響が静止画
上で極力目立たないようにできる。

【００３０】図６を参照して、具体的に説明する。図６
で、縦軸は混合割合、横軸は動き判定パラメータβ’で
ある。画素ｚと画素ｘ又は画素ｙの相対位置で取りうる
最小値は、−｜ｘ−ｙ｜／２である。この場合、画素ｚ
の信号レベルが画素ｘと画素ｙの信号レベルの平均値に
一致し、動きがないと考えられるので、２フィールドの
情報をフルに利用できる。すなわち、フルフレーム信号
の混合割合を１．０、補間フィールド信号の混合割合を
０．０とする。

【００３１】動き判定パラメータβ’がゼロの場合は、
画素ｚの信号レベルが画素ｘ又は画素ｙの信号レベルと
一致している。この場合、動いている確率を０．５と
し、フルフレーム信号と補間フィールド信号の混合割合
０．５：０．５とする。

【００３２】動き判定パラメータβ’が最大値、ここで
は｜ｘ−ｙ｜／２以上の場合、すべて動いているとみな
す。従って、この場合は、ブレのない補間フィールド信
号の混合割合を１．０とする。

【００３３】以上述べた以外の領域では、基本的に図６
に示すように、線形に補間して混合割合を決定する。

【００３４】このように、本実施例では、混合割合は、
基本的に、注目画素と、補間値を形成するのに使用する
画素の信号レベルに応じて変化する。本実施例では、画
素の時間変化と絵柄変化の両方を含み、且つ、注目画素
の信号レベルに依存する新しい動き判定パラメータβ’
を採用するので、動き検出又は判定の精度が高まる。ま
た、この新しい動き判定パラメータβ’に従い、場所ご
とに最適なフルフレーム信号と補間フィールド信号の混
合割合を算出し、両者を合成するので、より自然な静止
画像を得ることができる。動き判定パラメータβ’に従
った混合割合で、場所ごとにフルフレーム信号と補間フ
ィールド信号を混合するので、仮に動き判定を誤った場
合でも、その影響を最小限にくい止めることができ、解
像度劣化を抑えつつブレのない良質な静止画を表示でき
る。

【００３５】本実施例は簡単且つ高速な回路で実現で
き、静止画処理以外にもインターレース信号とノンイン
ターレース信号の変換等の動画処理にも適用できる。

【００３６】図１に示す実施例では、図６に示すよう
に、混合割合が完全に注目位置の局所的な情報により決
定されているが、例えば図７に示すように、使用者又は
設計者が選択可能なオフセットαを加減できるようにし
てもよい。オフセットαが正の場合、フルフレーム画像
が得られやすくなり、負の場合には、ブレのないフィー
ルド画像が得られやすくなる。オフセットαは、画面内
で一定の定数、画素位置に応じて異なる定数、着目画素
ｚ並びに隣接フィールドの上下の画素ｘ，ｙの値に応じ
て変化する値であっても良い。

【００３７】図８は、その変更実施例の概略構成ブロッ
ク図を示す。図１と同じ構成要素には同じ符号を付して
ある。具体的には、減算器１４の出力にオフセットαを
加算する加算器２８を設け、加算器２８の出力を比較回
路２０に印加する。

【００３８】先に述べたように、絵柄の変化は、経験的
に、隣接するフィールドの上下の信号レベルの変化以内
であるが、オフセットαにより閾値を増減又はシフトす
ることで、用途等に応じた人為的な微調整が可能にな
る。このようなオフセットをもうけることで、例えば、
斜め線のごとく絵柄変化の大きい画像に対しては動き判
定の閾値が大きくなり、絵柄変化の小さい画像に対して
は動き判定の閾値が小さくなり、これらの結果、誤判定
の確率が激減する。

【００３９】図１に示す実施例では、混合割合は、−｜
ｘ−ｙ｜／２と｜ｘ−ｙ｜／２の間で線形関数で与えら
れているが、本発明は、これに限らず、例えば、９に示
すように、正側のリミット値を｜ｘ−ｙ｜まで延長して
もよい。ただし、負側のリミット値−｜ｘ−ｙ｜／２は
変更できない。更には、図１０に示すように、混合割合
を、負側のリミット値−｜ｘ−ｙ｜／２を固定にした任
意の非線形関数としてもよい。

【００４０】上記各実施例では、動き判定パラメータ
β’に従う混合割合でフルフレーム信号と補間信号を混
合しているが、より簡略化した構成として、単純に、動
き判定パラメータβ’に従いフルフレーム信号と補間信
号を切り替えるようにしてもよい。

【００４１】図１１は、その実施例の概略構成ブロック
図を示す。１１０は、連続する２フィールドの映像信号
ｚ，ｘを記憶するフレームメモリ、１１２はフレームメ
モリ１１０から読み出された第２フィールドの映像信号
ｘを１水平同期期間だけ遅延する遅延回路、１１４は、
フレームメモリ１１０から読み出された第２フィールド
の映像信号ｘから遅延回路１１２の出力映像信号ｙを減
算し、その差分の絶対値の１／２、即ち｜ｘ−ｙ｜／２
を出力する減算器、１１５が減算器１１４の出力｜ｘ−
ｙ｜／２に定数αを加算する加算器、１１６は、第２フ
ィールドの映像信号ｘと遅延回路１１２の出力映像信号
ｙの平均値（ｘ＋ｙ）／２を算出する平均値回路、１１
８は平均値回路１１６の出力（ｘ＋ｙ）／２から、フレ
ームメモリ１１０から読み出された第１フィールドの映
像信号ｚを減算し、その絶対値｜（ｘ＋ｙ）／２−ｚ｜
を出力する減算器である。

【００４２】１２０は、加算器１４の出力｜ｘ−ｙ｜／
２＋αと減算器１１８の出力を比較する比較回路、１２
２は、比較回路１２０の比較出力に従い、フレームメモ
リ１１０から読み出される第１フィールドの映像信号ｚ
と、平均値回路１１６の出力信（ｘ＋ｙ）／２を選択す
る切替え回路、１２４は、フィールド毎に反転するフィ
ールド・インデックス信号１２６に従い、フレームメモ
リ１１０から読み出される第１フィールドの映像信号ｘ
と切替え回路１２２から出力される信号をフィールド毎
に交互に切り替える切替え回路である。

【００４３】図１１に示す実施例の動作を説明する。フ
レームメモリ１１０には、連続する２フィールドの映像
信号が、例えば奇フィールド及び偶フィールドの順で書
き込まれ、フレームメモリ１１０の出力ポート＃ａから
奇フィールドの映像信号が読み出され、出力ポート＃ｂ
から偶フィールドの映像信号がそれぞれ同時に読み出さ
れるものとする。

【００４４】メモリ１１０の出力ポート＃ａから出力さ
れる奇フィールドの映像信号ｘは、遅延回路１１２、減
算器１１４及び平均値回路１１６に印加される。他方、
メモリ１１０の出力ポート＃ｂから出力される偶フィー
ルドの映像信号ｚは、減算器１１８及び切替え回路１２
２に印加される。減算器１１４は、奇フィールドの映像
信号ｘと遅延回路１１２の出力映像信号ｙとの差分の絶
対値の半分の値｜ｘ−ｙ｜／２を算出し、加算器１１５
は減算器１１４の出力に定数αを加算し、｜ｘ−ｙ｜／
２＋αを比較回路１２０に供給する。

【００４５】平均値回路１１６は、奇フィールドの映像
信号ｘと遅延回路１１２の出力映像信号ｙとの平均値
（ｘ＋ｙ）／２を算出し、減算器１１８に供給する。減
算器１１８は、平均値回路１１６の出力信号から、フレ
ームメモリ１１０の出力ポート＃ｂからの偶フィールド
の映像信号ｚを減算し、その絶対値｜（ｘ＋ｙ）／２−
ｚ｜を比較回路１２０に出力する。

【００４６】ここまでは、図８に示す実施例と同じであ
る。

【００４７】比較回路１２０は、加算器１１５の出力｜
ｘ−ｙ｜／２＋αと減算器１１８の出力｜（ｘ＋ｙ）／
２−ｚ｜を比較して、現在の着目画素が動いているのか
又は静止しているのかを判断し、その結果により切替え
回路１２２を制御する。切替え回路１２２は、比較回路
１２０の比較結果が動きを示す場合には、平均値回路１
１６から出力される補間画像信号を選択し、比較回路１
２０の比較結果が静止を示す場合には、フレームメモリ
１１０の出力ポート＃ｂから出力され偶フィールドの映
像信号ｚを選択する。比較回路１２０の作用の詳細は、
後述する。

【００４８】切替え回路１２４は、フィールド毎に反転
するフィールド・インデックス信号１２６に従い、奇フ
ィールドの場面では、フレームメモリ１１０の出力ポー
ト＃ａから出力される奇フィールドの映像信号ｘを選択
し、偶フィールドの場面では、切替え回路１２２の出力
信号を選択する。

【００４９】次に、比較回路１２０及び切替え回路１２
２の動作を詳細に説明する。比較回路１２０は動きを検
出し、切替え回路１２２が、その動き検出結果に従い、
偶フィールドで表示すべき画像を選択する。図１１に示
す実施例でも、動き判定の閾値を、図８に示す実施例と
同様に｜ｘ−ｙ｜／２＋αとし、｜（ｘ＋ｙ）／２−ｚ｜≧｜ｘ−ｙ｜／２＋αのとき、
動き、｜（ｘ＋ｙ）／２−ｚ｜≧｜ｘ−ｙ｜／２＋αのとき、
静止とする。これらの関係を図１２に示す。先に述べたよう
に、絵柄の変化は、経験的に通常、隣接するフィールド
の上下の信号レベルの変化以内であるので、上下の画素
の差分の絶対値の半分の値｜ｘ−ｙ｜／２を絵柄の変化
の基準とした。更に、図８に示す実施例と同様に、ユー
ザ又は設計者の個人的な趣向を活かせるように、オフセ
ットとして任意の定数αを加算できるようにしてある。

【００５０】オフセットαを加算することで、斜め線の
ように絵柄変化の大きい画像に対して動き判定の閾値が
大きくなり、絵柄変化の小さい画像に対して動き判定の
閾値が小さくなり、誤判定の確率が激減する。

【００５１】切り替え回路１２２は、比較回路１２０の
出力に従い、注目画素が動いていると判断されたときに
は、平均値回路１１６の出力信号（奇フィールドの映像
信号ｘとその１水平同期期間遅延した映像信号ｙとの平
均値である補間映像信号）を選択する。平均値回路１１
６の出力信号は、奇フィールドから生成した信号なの
で、動きによるブレは完全に無くなる。他方、注目する
画素が静止していると判断されたときは、切替え回路１
２２は、偶フィールドの映像信号ｚを選択する。この時
は、出力映像信号がフレーム信号となるので、画質劣化
の無い映像が得られる。

【００５２】図１１に示す実施例では、フィールド間の
動きだけでなく、フィールド内の画像変化、即ち絵柄に
も着目することにより、特に斜め線などのように、従来
の動き検出方式では動いていると判断されてしまうよう
な画像部分も静止していると判断できる。この結果、解
像度劣化を抑えつつブレのない快適な静止画表示を簡単
な構成で実現できる。

【００５３】図１１に示す実施例では、絵柄の変化を示
す情報（減算器１１４の出力｜ｘ−ｙ｜／２）の一定の
オフセットαを加算するようにしたが、図１３に示すよ
うに、加算器１１５の代わりに乗算器１２８を設け、α
×｜ｘ−ｙ｜／２を比較回路１２０に供給し、動き判定
の閾値としても良い。

【００５４】図８、図１１及び図１３に示す実施例で
は、一定の定数αを｜ｘ−ｙ｜／２に加算又は乗算する
としたが、着目画素及びその近隣の画素に応じた値をと
る係数α（ｘ，ｙ，ｚ）を｜ｘ−ｙ｜／２に加算又は乗
算するようにしてもよい。

【００５５】α（ｘ，ｙ，ｚ）は、該当フィールドの着
目画素の信号レベルｚと、この隣のフィールド上の、着
目画素の上下の画素の信号レベルｘ，ｙの関数であり、
例えばｘ，ｙをそれぞれｚで正規化した上で平均化した
値とする。

【００５６】上記実施例では、水平ライン間の変化から
オブジェクトの絵柄を判定したが、本発明はこれに限ら
ず、他の方法、例えば、オブジェクトの画像を直交変換
し、周波数領域上で絵柄の斜め成分を判定するようにし
てもよい。

【００５７】また、動画像中のオブジェクトの動きを判
定する方法としては、隣接するフィールド間で動きを判
別する方法に限らず、他の方法、例えば、２フィールド
間で動きを判別する方法でもよい。

【００５８】なお、本発明は、複数の機器から構成され
るシステムに適用しても、１つの機器からなる装置に適
用してもよい。

【００５９】本発明の目的は、上述した各実施例の画像
処理方法の機能を実現するソフトウエアのプログラムコ
ードを記憶した記憶媒体を、システム又は装置に供給
し、そのシステム又は装置のコンピュータ（若しくはＣ
ＰＵ又はＭＰＵ）が記憶媒体に格納されたプログラムコ
ードを読み出して実行することによっても、達成される
ことはいうまでもない。

【００６０】この場合、記憶媒体から読み出されたプロ
グラムコード自体が前述した実施例の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【００６１】プログラムコードを供給するための記憶媒
体としては例えば、フロッピーディスク、ハードディス
ク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ
−Ｒ、磁気テープ、不揮発性のメモリカード及びＲＯＭ
等を用いることができる。

【００６２】コンピュータが読み出したプログラムコー
ドを実行することにより、前述した実施例の機能が実現
されるだけでなく、そのプログラムコードの指示に基づ
き、コンピュータ上で稼働しているＯＳ等が実際の処理
の一部又は全部を行ない、その処理によって実施例の機
能が実現される場合も含まれることはいうまでもない。

【００６３】更に、記憶媒体から読み出されたプログラ
ムコードが、コンピュータに挿入された拡張機能ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書き込まれた後、そのプログラムコードの指示
に基づき、その機能拡張ボード又は機能拡張ユニットに
備わるＣＰＵ等が実際の処理の一部又は全部を行ない、
その処理によって前述した実施例の機能が実現される場
合も含まれることはいうまでもない。

【００６４】

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、画素の時間変化と絵柄変化の両方
を含む新しい動き判定パラメータを採用すると共に、そ
の値に応じて場所ごとに最適なフルフレーム信号と補間
フィールド信号の混合割合を算出して両者を合成するの
で、簡単な構成で、動き検出の精度が向上すると同時
に、より自然な出力画像を得ることができる。また、仮
に動きを誤判定した場合でも、その影響は最小限にくい
止められ、解像度劣化を抑えつつブレのない良質な静止
画表示を実現できる。特に従来、動いていると誤判定す
る斜め線を、正確に静止していると判定でき、より良好
な静止画像を出力できる。

【図面の簡単な説明】

【図１】本発明の第１実施例の概略構成ブロック図で
ある。

【図２】従来の動き判別の原理説明図である。

【図３】斜め線の例である。

【図４】図３に示す斜め線に対する動き誤判定の説明
図である。

【図５】本実施例の原理説明図である。

【図６】本実施例の動き判定パラメータと混合割合の
関係図である。

【図７】動き判定パラメータと混合割合の別の関係図
である。

【図８】図７を実現する第２実施例の概略構成ブロッ
ク図である。

【図９】図１に示す実施例の、動き判定パラメータと
混合割合の別の関係図である。

【図１０】図１に示す実施例の、動き判定パラメータ
と混合割合の更に別の関係図である。

【図１１】本発明の第３実施例の概略構成ブロック図
である。

【図１２】図１１に示す実施例の動き判定の原理説明
図である。

【図１３】図１１に示す実施例の変更例の概略構成ブ
ロック図である。

【符号の説明】

１０：フレームメモリ１２：遅延回路１４：減算器１６：平均値回路１８：減算器２０：比較回路２２：画像合成回路２４：切り替え回路２６：フィールド・インデックス信号２８：加算器３０：乗算器１１０：フレームメモリ１１２：遅延回路１１４：減算器１１５：加算器１１６：平均値回路１１８：減算器１２０：比較回路１２２：切替え回路１２４：切替え回路１２６：フィールド・インデックス信号１２８：乗算器

Claims

【特許請求の範囲】

【請求項１】動画像中のオブジェクトの動きを判定す
る動き判定ステップと、前記オブジェクトの絵柄を判定する絵柄判定ステップ
と、前記動き判定ステップにより判定された動きと前記絵柄
判定ステップにより判定された絵柄とを組み合わせたパ
ラメータを発生するパラメータ発生ステップと、前記パラメータに基づいて前記動画中から静止画像を生
成する静止画像生成ステップとからなることを特徴とす
る画像処理方法。
【請求項２】前記絵柄判定ステップは、斜め線を判定
するステップである請求項１に記載の画像処理方法。
【請求項３】前記動き判定ステップは、前記オブジェ
クトの動きを、時間軸方向に隣接する、前記動画像中の
複数画面の差に基づいて判定する請求項１に記載の画像
処理方法。
【請求項４】前記静止画像生成ステップは、前記パラ
メータに基づいて、前記動画像中の時間軸方向に隣接す
る複数画面を組み合わせて前記静止画像を生成する請求
項１に記載の画像処理方法。
【請求項５】請求項１の各ステップのプログラムをコ
ンピュータによって読取り可能な形態で記憶する記録媒
体。
【請求項６】動画像中のオブジェクトの動きを判定す
る動き判定手段と、前記オブジェクトの絵柄を判定する絵柄判定手段と、前記動き判定手段により判定された動きと前記絵柄判定
手段により判定された絵柄とを組み合わせたパラメータ
を発生するパラメータ発生手段と、前記パラメータに基づいて前記動画中から静止画像を生
成する静止画像生成手段とからなることを特徴とする画
像処理装置。
【請求項７】前記絵柄判定手段は、斜め線を判定する
手段である請求項６に記載の画像処理方法。
【請求項８】前記動き判定手段は、前記オブジェクト
の動きを、時間軸方向に隣接する、前記動画像中の複数
画面の差に基づいて判定する請求項６に記載の画像処理
装置。
【請求項９】前記静止画像生成手段は、前記パラメー
タに基づいて、前記動画像中の時間軸方向に隣接する複
数画面を組み合わせて前記静止画像を生成する請求項６
に記載の画像処理装置。
【請求項１０】連続する第１及び第２画面の入力画像
から所定の合成画像を生成する画像処理装置であって、連続する第１及び第２画面の前記入力画像を記憶し、同
時に各入力画像を出力するメモリ手段と、前記メモリ手段から読み出される第１画面から水平ライ
ン間の変化量基準値を算出する第１の演算手段と、前記メモリ手段から読み出される第１画面から水平ライ
ン間の平均値を算出する平均値算出手段と、前記平均値算出手段の出力と前記メモリ手段から読み出
される第２画面の画像との差の絶対値を算出する第２の
演算手段と、前記第１の演算手段の出力と前記第２の演算手段の出力
を比較し、前記メモリ手段から読み出される第２画面の
画像と当該平均値算出手段の出力画像の混合割合を示す
制御信号を出力する比較手段と、前記比較手段から出力される制御信号に従う混合割合
で、前記メモリ手段から読み出される第２画面の画像と
当該平均値算出手段の出力画像を画像合成する画像合成
手段と、画面の切り換えを示す画面インデックス信号に従い、前
記メモリ手段から読み出される第１画面の画像と前記画
像合成手段の出力画像を画面毎に切り替える切替え手段
とからなることを特徴とする画像処理装置。
【請求項１１】連続する第１及び第２画面の入力画像
から所定の合成画像を生成する画像処理装置であって、連続する第１及び第２画面の前記入力画像を記憶し、同
時に各入力画像を出力するメモリ手段と、前記メモリ手段から読み出される第１画面の画像から水
平ライン間の変化量基準値を算出する第１の演算手段
と、前記第１の演算手段の出力に所定の重み付けをする重み
付け手段と、前記メモリ手段から読み出される第１画面の画像から水
平ライン間の平均値を算出する平均値算出手段と、前記平均値算出手段の出力と前記メモリ手段から読み出
される画像との差の絶対値を算出する第２の演算手段
と、前記重み付け手段の出力と前記第２の演算手段の出力を
比較し、前記メモリ手段から読み出される第２画面の画
像と当該平均値算出手段の出力画像の混合割合を示す制
御信号を出力する比較手段と、前記比較手段から出力される制御信号に従う混合割合
で、前記メモリ手段から読み出される第２画面の画像と
当該平均値算出手段の出力画像を画像合成する画像合成
手段と、画面の切り換えを示す画面インデックス信号に従い、前
記メモリ手段から読み出される第１画面の画像と前記画
像合成手段の出力画像を画面毎に切り替える切替え手段
とからなることを特徴とする画像処理装置。
【請求項１２】前記重み付け手段が、前記第１の演算
手段の出力に所定値を加算する加算手段である請求項１
１に記載の画像処理装置。
【請求項１３】前記重み付け手段が、前記第１の演算
手段の出力に所定値を乗算する乗算手段である請求項１
１に記載の画像処理装置。
【請求項１４】連続する第１及び第２画面の入力画像
から所定の合成画像を生成する画像処理装置であって、連続する第１及び第２画面の前記入力画像を記憶し、同
時に各入力画像を出力するメモリ手段と、前記メモリ手段から読み出される第１画面の画像から水
平ライン間の変化量基準値を算出する第１の演算手段
と、前記第１の演算手段の出力に所定の重み付けをする重み
付け手段と、前記メモリ手段から読み出される第１画面の画像から水
平ライン間の平均値を算出する平均値算出手段と、前記平均値算出手段の出力と前記メモリ手段から読み出
される第２画面の画像との差の絶対値を算出する第２の
演算手段と、前記重み付け手段の出力と前記第２の演算手段の出力を
比較する比較手段と、前記比較手段の比較結果に従い、前記第２の演算手段の
出力が前記重み付け手段の出力以上のときには、前記メ
モリ手段から読み出される第２画面の画像を選択し、前
記第２の演算手段の出力が前記重み付け手段の出力より
小さいときには、当該平均値算出手段の出力画像を選択
する選択手段と、画面の切り換えを示す画面インデックス信号に従い、前
記メモリ手段から読み出される第１画面の画像と前記選
択手段の出力画像を画面毎に切り替える切替え手段とか
らなることを特徴とする画像処理装置。
【請求項１５】前記重み付け手段が、前記第１の演算
手段の出力に所定値を加算する加算手段である請求項１
４に記載の画像処理装置。
【請求項１６】前記重み付け手段が、前記第１の演算
手段の出力に所定値を乗算する乗算手段である請求項１
４に記載の画像処理装置。