JP4049087B2

JP4049087B2 - 動き・静止の判定装置および判定方法、並びに画像信号の処理装置および処理方法

Info

Publication number: JP4049087B2
Application number: JP2003385226A
Authority: JP
Inventors: 鉄朗田中
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-11-14
Filing date: 2003-11-14
Publication date: 2008-02-20
Anticipated expiration: 2023-11-14
Also published as: US7405768B2; US20050122434A1; JP2005151134A

Description

この発明は、注目画素位置が動き領域か静止領域かを判定する動き・静止の判定装置および判定方法、並びに画像信号の処理装置および処理方法に関する。詳しくは、この発明は、注目画素位置が動き領域か静止領域かを、この注目画素位置の判定結果およびこの注目画素位置に対応した過去所定回の判定結果の履歴情報に基づいて最終的に判定することによって、メモリ容量の大幅な増加を招くことなく、判定精度を上げるようにした動き・静止判定装置等に係るものである。

テレビやビデオ等の多くの画像信号はインタレース方式の画像信号（インタレース信号）である。これに対して、コンピュータの画像信号は、プログレッシブ方式の画像信号（プログレッシブ信号）である。したがって例えば、コンピュータの画像とテレビの画像をコンピュータディスプレイの画面上に表示するためには、インタレース信号をプログレッシブ信号に変換しなければならない。

また、インタレース信号は、１フレームの信号を構成する各ラインの信号を交互に奇数フィールドの信号および偶数フィールドの信号としていることから、画像中に細い横線があるとちらつきが生じてしまう。しかし、プログレッシブ信号では、そのようなことがなく、画像中に細い横線があっても、きれいに表示される。そのため、最近では、家庭用のテレビ受信機でも、内部でインタレース信号からプログレッシブ信号に変換し、プログレッシブ方式で画像を表示するものもある。

インタレース信号は、図７に示すように、互いにずれた１ラインおきのライン信号を持つ奇数、偶数の２つのフィールドで一枚のフレームが構成されている。このインタレース信号をプログレッシブ信号に変換する、いわゆるＩＰ（インタレース−プログレッシブ）変換を行う場合、画素データのない各ラインについて補間データ（画素データ）を生成することが行われる。

この場合、図８に示すように、一般的には、動き検出処理を行って動き領域と静止領域に分け、動き領域については同一フィールド内の前後のラインの画素データから補間データを生成し、静止領域については、前後のフィールドの同じラインの画素データから補間データを生成する。

従来、このＩＰ変換を行う際の動き検出処理では、例えば、図８に示すように、補間画素位置Ｐが１フィールド前にあるとき、この補間画素位置Ｐに対応した現フィールドの画素位置の画素データｅおよび２フィールド（１フレーム）前の画素位置の画素データａとの差分絶対値をフレーム動き情報（注目フィールドのフレーム動き情報）として求め、この差分絶対値としきい値を比較し、当該補間画素位置Ｐが動き領域か静止領域かを判定している。

このように注目フィールドのフレーム動き情報のみで補間画素位置Ｐが動き領域か静止領域かを判定する場合、動き領域を、間違って静止領域と判定し、全く違うデータを補間してしまうというおそれがあった。

そこで、例えば特許文献１に示すように、インタレース信号の多くのフィールドの信号を記憶しておき、注目フィールドのフレーム動き情報のみならず、その１フィールド前のフレーム動き情報等をも使用して判定を行うことで、判定精度を上げることが提案されている。

特開２００２−１８５９３３号公報

上述した特許文献１に記載されるように、注目フィールドのフレーム動き情報のみならず、その１フィールド前のフレーム動き情報等をも使用するものにあっては、インタレース信号の多くのフィールドの信号を記憶しておく必要があり、その分記憶素子のメモリ容量が増大して、回路規模が大きくなるという問題があった。

この発明の目的は、メモリ容量の大幅な増加を招くことなく、動き領域を間違って静止領域と判定することのないように動き・静止判定を行うことにある。

この発明に係る動き・静止判定装置は、注目画素位置が動き領域か静止領域かを、該注目画素位置に対応した時間方向の第１の画素位置および第２の画素位置の画素データを用いて判定する第１の動き・静止判定手段と、上記第１の動き・静止判定手段の判定結果に基づき、静止領域であるとの判定の連続回数を履歴情報として記憶し、動き領域であると判定されたとき上記連続回数を０とする記憶手段と、上記注目画素位置に対応した、上記記憶手段に記憶されている過去所定回の判定結果の履歴情報および上記第１の動き・静止判定手段の判定結果に基づき、この判定結果が静止領域である場合、上記連続回数が予め定められたしきい値以上であるときは上記注目画素位置が静止領域であると判定し、しきい値未満であるときは上記注目画素位置が動き領域であると判定する第２の動き・静止判定手段とを備えるものである。

また、この発明に係る動き・静止判定方法は、注目画素位置が動き領域か静止領域かを、該注目画素位置に対応した時間方向の第１の画素位置および第２の画素位置の画素データを用いて判定する第１の動き・静止判定ステップと、上記第１の動き・静止判定手段の判定結果に基づき、静止領域であるとの判定の連続回数を履歴情報として記憶素子に記憶し、動き領域であると判定されたとき上記連続回数を０とする記憶ステップと、上記注目画素位置に対応した、上記記憶素子に記憶されている過去所定回の判定結果の履歴情報および上記第１の動き・静止判定手段の判定結果に基づき、この判定結果が静止領域である場合、上記連続回数が予め定められたしきい値以上であるときは上記注目画素位置が静止領域であると判定し、しきい値未満であるときは上記注目画素位置が動き領域であると判定する第２の動き・静止判定ステップとを備えるものである。

また、この発明に係る画像信号処理装置は、インタレース信号の補間画素位置の画素データを、該補間画素位置が動き領域か静止領域かの判定結果に基づいて生成し、上記インタレース信号をプログレッシブ信号に変換する画像信号処理装置であって、上記補間画素位置が動き領域か静止領域かを、該補間画素位置に対応した時間方向の第１の画素位置および第２の画素位置の画素データを用いて判定する第１の動き・静止判定手段と、上記第１の動き・静止判定手段の判定結果に基づき、静止領域であるとの判定の連続回数を履歴情報として記憶し、動き領域であると判定されたとき上記連続回数を０とする記憶手段と、上記補間画素位置に対応した、上記記憶手段に記憶されている過去所定回の判定結果の履歴情報および上記第１の動き・静止判定手段の判定結果に基づき、この判定結果が静止領域である場合、上記連続回数が予め定められたしきい値以上であるときは上記補間画素位置が静止領域であると判定し、しきい値未満であるときは上記補間画素位置が動き領域であると判定する第２の動き・静止判定手段とを備えるものである。

また、この発明に係る画像信号処理方法は、インタレース信号の補間画素位置の画素データを、該補間画素位置が動き領域か静止領域かの判定結果に基づいて生成し、上記インタレース信号をプログレッシブ信号に変換する画像信号処理方法であって、上記補間画素位置が動き領域か静止領域かを、該補間画素位置に対応した時間方向の第１の画素位置および第２の画素位置の画素データを用いて判定する第１の動き・静止判定ステップと、上記第１の動き・静止判定手段の判定結果に基づき、静止領域であるとの判定の連続回数を履歴情報として記憶素子に記憶し、動き領域であると判定されたとき上記連続回数を０とする記憶ステップと、上記補間画素位置に対応した、上記記憶素子に記憶されている過去所定回の判定結果の履歴情報および上記第１の動き・静止判定手段の判定結果に基づき、この判定結果が静止領域である場合、上記連続回数が予め定められたしきい値以上であるときは上記補間画素位置が静止領域であると判定し、しきい値未満であるときは上記補間画素位置が動き領域であると判定する第２の動き・静止判定ステップとを備えるものである。

この発明においては、注目画素位置（補間画素位置）が動き領域か静止領域かが、この注目画素位置に対応した時間方向（フィールド方向またはフレーム方向）の第１の画素位置および第２の画素位置の画素データを用いて判定される。例えば、第１の画素位置および第２の画素位置の画素データの差分絶対値が求められ、さらにこの差分絶対値がしきい値と比較されることで判定が行われる。

この判定結果の履歴情報が記憶素子（記憶手段）に記憶される。例えば、この履歴情報は、注目画素位置に対応した画素位置の所定回の判定結果そのものとされる。また例えば、この履歴情報は、注目画素位置に対応した画素位置の所定回の判定結果から得られた、静止領域であるとの判定の連続回数とされる。この場合、最も新しい判定結果が静止領域であるときには、それ以前の連続回数が最大値（＝所定回）でないときは連続回数が１だけ大きくされ、それ以前の連続回数が最大値であるときは連続回数はそのままとされる。またこの場合、最も新しい判定結果が動き領域であるときは、連続回数は０とされる。

上述した注目画素位置に対応した時間方向の第１の画素位置および第２の画素位置の画素データを用いて判定された判定結果および記憶素子に記憶されている過去所定回の判定結果の履歴情報に基づいて、注目画素位置が動き領域か静止領域かが最終的に判定される。例えば、履歴情報が上述したように静止領域であるとの判定の連続回数であるときは、この連続回数が所定値以上であるとき、注目画素位置が静止領域であると判定される。

このように、本発明によれば、注目画素位置（補間画素位置）が動き領域か静止領域かを、この注目画素位置の判定結果およびこの注目画素位置に対応した過去所定回の判定結果の履歴情報に基づいて最終的に判定するものであり、判定精度を上げることができ、また記憶素子には判定結果の履歴情報を記憶するものであって、多数フィールドの画素データそのものを記憶しておくものではなく、メモリ容量の大幅な増加を招くこともない。

なお、第２の動き・静止判定手段は、注目画素位置に対応した、記憶手段に記憶されている過去所定回の判定結果の履歴情報および第１の動き・静止判定手段の判定結果と共に、注目画素位置を含む空間方向の所定領域に含まれる単数または複数の他の画素位置に対応した、記憶手段に記憶されている過去所定回の判定結果の履歴情報に基づいて、注目画素位置が動き領域か静止領域かを最終的に判定するようにしてもよい。例えば、履歴情報が上述したように静止領域であるとの判定の連続回数であるときは、注目画素位置および単数または複数の他の画素位置のそれぞれにおける静止領域であるとの判定の連続回数が全て所定値以上であるとき、注目画素位置が静止領域であると判定される。

このように、注目画素位置を含む空間方向の所定領域に含まれる単数または複数の他の画素位置に対応した過去所定回の判定結果の履歴情報をも用いて注目画素位置が動き領域か静止領域かを最終的に判定する場合、判定精度をさらに高めることができ、あるいは判定精度が同じでよいときは、例えば注目画素位置が静止領域であると判定する上述の連続回数のしきい値を小さくでき、静止領域の検出の応答速度を高めることができる。

この発明によれば、注目画素位置（例えば補間画素位置等）が動き領域か静止領域かを、この注目画素位置の判定結果およびこの注目画素位置に対応した過去所定回の判定結果の履歴情報に基づいて最終的に判定するものであり、メモリ容量の大幅な増加を招くことなく、判定精度を上げることができる。さらに、この発明によれば、注目画素位置を含む空間方向の所定領域に含まれる単数または複数の他の画素位置に対応した過去所定回の判定結果の履歴情報をも用いて注目画素位置が動き領域か静止領域かを最終的に判定するものであり、判定精度をさらに高めることができる。

以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像表示装置１００の構成を示している。

この画像表示装置１００は、インタレース信号である画像信号Ｖ０を入力する入力端子１０１と、この画像信号Ｖ０をインタレース信号からプログレッシブ信号である画像信号Ｖｐに変換するＩＰ変換部１０２とを有している。このＩＰ変換部１０２には、メモリ（記憶素子）１０３，１０４が接続されている。

メモリ１０３は、少なくとも２フィールド分の画素データを記憶できる記憶容量を有し、１フィールド期間および２フィールド期間の遅延手段として機能する。メモリ１０４は、インタレース信号の奇数フィールド、偶数フィールドの各補間画素位置に対応した、動き領域か静止領域かの判定結果ＲＳ１の、過去所定回分の履歴情報を記憶するためのものである。本実施の形態において、この履歴情報は静止領域であるとの判定の連続回数とされる。

また、画像表示装置１００は、ディスプレイとしてのＰＤＰ(Plasma Display Panel)１０６と、ＩＰ変換部１０２で得られる画像信号Ｖｐに基づいてＰＤＰ１０６を駆動し、ＰＤＰ１０６の画面上に画像信号Ｖｐによる画像を表示するパネルドライバ１０５とを有している。

図１に示す画像表示装置１００の動作を説明する。入力端子１０１にはインタレース信号としての画像信号Ｖ０が供給され、この画像信号Ｖ０はＩＰ変換部１０２に供給される。このＩＰ変換部１０２では、画像信号Ｖ０の補間画素位置の画素データが、この補間画素位置が動き領域か静止領域かの判定結果に基づいて生成され、画像信号Ｖ０がプログレッシブ信号としての画像信号Ｖｐに変換される。

このようにＩＰ変換部１０２で変換されて得られる画像信号Ｖｐは、パネルドライバ１０５に供給される。パネルドライバ１０５は、画像信号Ｖｐに基づいてＰＤＰ１０６を駆動する。これにより、ＰＤＰ１０６の画面上には、画像信号Ｖｐによる画像が表示される。

次に、ＩＰ変換部１０２の詳細を説明する。図２は、ＩＰ変換部１０２の構成を示している。

このＩＰ変換部１０２は、現フィールドの画像信号Ｖ０をメモリ１０３に書き込むための書き込み処理部１１１と、このメモリ１０３から１フィールド前の画像信号Ｖ１および２フィールド（１フレーム）前の画像信号Ｖ２を読み出すための読み出し処理部１１２とを有している。ここで、メモリ１０３は、１フィールド期間の遅延手段および２フィールド期間の遅延手段を構成している。

また、ＩＰ変換部１０２は、第１、第２の動き・静止判定手段を構成する動き・静止判定部１１３と、履歴情報書き込み処理部１１４と、履歴情報読み出し処理部１１５とを有している。

動き・静止判定部１１３は、まず、現フィールドの画像信号Ｖ０と２フィールド（１フレーム）前の画像信号Ｖ２を用いて、１フィールド前のフィールドに存在する、注目画素位置としての補間画素位置Ｐが動き領域か静止領域かを判定する。すなわち、動き・静止判定部１１３は、図３に示すように、補間画素位置Ｐに対応した現フィールドの画素Ｅのデータおよび２フィールド前の画素Ａのデータの差分絶対値Ｄ_AEを求め、そしてこの差分絶対値Ｄ_AEを予め定められた所定のしきい値ＴＨと比較して、判定結果ＲＳ１を得る。この場合、Ｄ_AE≧ＴＨであるときは動き領域と判定し、Ｄ_AE＜ＴＨであるときは静止領域と判定する。

履歴情報読み出し処理部１１５は、メモリ１０４の補間画素位置Ｐに対応したアドレスから、補間画素位置Ｐに対応した、過去所定回の判定結果ＲＳ１の履歴情報を読み出す。この過去所定回の判定結果ＲＳ１は、図３に示すように、補間画素位置Ｐに対応した、３フィールド前、５フィールド前、・・・の補間画素位置Ｐ₃，Ｐ₅，・・・の判定結果ＲＳ１の履歴情報である。本実施の形態においては、上述したように、この履歴情報は静止領域であるとの判定の連続回数である。

動き・静止判定部１１３は、また、上述したように得られた補間画素位置Ｐの今回の判定結果ＲＳ１と、履歴情報読み出し処理部１１５によりメモリ１０４から読み出された、補間画素位置Ｐに対応した、過去所定回の判定結果ＲＳ１の履歴情報とに基づいて、補間画素位置Ｐが動き領域か静止領域かを最終的に判定する。

すなわち、動き・静止判定部１１３は、今回の判定結果ＲＳ１および過去所定回の判定結果ＲＳ１の履歴情報とから、補間画素位置Ｐにおける静止領域であるとの判定の連続回数ＣＴを求める。今回の判定結果ＲＳ１が静止領域である場合には、履歴情報で示される過去の連続回数が最大値（＝所定回）でないときは、その過去の連続回数に１を加算して連続回数ＣＴとし、過去の連続回数が最大値であるときは、その過去の連続回数をそのまま連続回数ＣＴとする。一方、今回の判定結果ＲＳ１が動き領域である場合には、過去の連続回数が何であっても連続回数ＣＴを０とする。

そして、動き・静止判定部１１３は、この連続回数ＣＴを予め定められたしきい値ｔｈと比較して、補間画素位置Ｐが動き領域か静止領域かの最終的な判定結果ＲＳ２を得る。この場合、ＣＴ≧ｔｈであるときは静止領域と判定し、ＣＴ＜ｔｈであるときは動き領域と判定する。

履歴情報書き込み処理部１１４は、上述したように履歴情報読み出し処理部１１５でメモリ１０４から補間画素位置Ｐに対応した過去所定回の判定結果ＲＳ１の履歴情報が読み出された後に、動き・静止判定部１１３で得られた今回の判定結果ＲＳ１を過去の最後の判定結果とした所定回分の判定結果ＲＳ１の履歴情報を、補間画素位置Ｐに対応した過去所定回の判定結果ＲＳ１の履歴情報として、メモリ１０４の補間画素位置Ｐに対応したアドレスに書き込む。

ここでは、メモリ１０４に記憶される履歴情報が静止領域であるとの判定の連続回数であることから、今回の判定結果ＲＳ１が静止領域である場合には、過去の連続回数が最大値（＝所定回）でないときは、その過去の連続回数に１を加算した連続回数を履歴情報とし、過去の連続回数が最大値であるときは、その過去の連続回数をそのまま連続回数として、メモリ１０４に書き込む。一方、今回の判定結果ＲＳ１が動き領域である場合には、過去の連続回数が何であっても連続回数を０とし、それをメモリ１０４に書き込む。

また、ＩＰ変換部１０２は、動き適応補間演算回路１１６を有している。この補間演算回路１１６は、動き・静止判定部１１３で得られた判定結果ＲＳ２に基づいて、補間画素位置Ｐの画素データＤipを生成する。この場合、補間演算回路１１６は、判定結果ＲＳ２が動き領域を示すときは、補間画素位置Ｐが存在する１フィールド前の画像信号Ｖ１の当該補間画素位置Ｐの周辺に存在する画素のデータから画素データＤipを生成し、判定結果ＲＳ２が静止領域を示すときは、現フィールドの画像信号Ｖ０および２フィールド前の画像信号Ｖ２の補間画素位置Ｐの周辺に存在する画素のデータから画素データＤipを生成する。

例えば、補間演算回路１１６は、判定結果ＲＳ２が動き領域を示すときは、図３に示すように、補間画素位置Ｐが存在するラインの前後のラインの画素Ｃ，Ｍのデータの平均値を画素データＤipとし、一方判定結果ＲＳ２が静止領域を示すときは、図３に示すように、補間画素位置に対応する現フィールド、２フィールド前のラインの画素Ｅ，Ａのデータの平均値を画素データＤipとする。この補間演算回路１１６は、垂直方向の各補間ライン上の各補間画素位置Ｐで上述したように画素データＤipを生成し、各補間ラインの信号を順次生成していく。

また、ＩＰ変換部１０２は、読み出し処理部１１２によりメモリ１０３から読み出される１フィールド前の画像信号Ｖ１の各ラインの信号と、補間演算回路１１６で生成される各補間ラインの信号とを交互に取り出してプログレッシブ信号である画像信号Ｖｐを得る出力ライン選択回路１１７を有している。

図２に示すＩＰ変換部１０２の動作を説明する。
インタレース信号としての画像信号（現フィールドの画像信号）Ｖ０は、書き込み処理部１１１を介してメモリ１０３に供給されて書き込まれる。そして、このメモリ１０３から読み出し処理部１１２により、１フィールド前の画像信号Ｖ１および２フィールド前の画像信号Ｖ２が読み出される。

現フィールドの画像信号Ｖ０および２フィールド（１フレーム）前の画像信号Ｖ２は、動き・静止判定部１１３に供給される。この動き・静止判定部１１３では、まず、現フィールドの画像信号Ｖ０と２フィールド（１フレーム）前の画像信号Ｖ２とを用いて、１フィールド前のフィールドに存在する補間画素位置Ｐが動き領域か静止領域かが判定される。すなわち、動き・静止判定部１１３では、１フィールド前のフィールドに存在する補間画素位置Ｐに対応した、現フィールドの画素Ｅのデータおよび２フィールド前の画素Ａのデータの差分絶対値Ｄ_AEが求められ、そしてこの差分絶対値Ｄ_AEが予め定められた所定のしきい値ＴＨと比較されて、今回の判定結果ＲＳ１が得られる（図３参照）。

さらに、この動き・静止判定部１１３では、上述したように得られた補間画素位置Ｐの今回の判定結果ＲＳ１と、履歴情報読み出し処理部１１５によりメモリ１０４から読み出された、補間画素位置Ｐに対応した、過去所定回の判定結果ＲＳ１の履歴情報とに基づいて、補間画素位置Ｐが動き領域か静止領域かが最終的に判定される。

すなわち動き・静止判定部１１３では、今回の判定結果ＲＳ１および過去所定回の判定結果ＲＳ１の履歴情報とから、補間画素位置Ｐにおける静止領域であるとの判定の連続回数ＣＴが求められ、そしてこの連続回数ＣＴが予め定められたしきい値ｔｈと比較されて、補間画素位置Ｐが動き領域か静止領域かの最終的な判定結果ＲＳ２が得られる。

また、履歴情報書き込み処理部１１４により、上述したように履歴情報読み出し処理部１１５でメモリ１０４から補間画素位置Ｐに対応した過去所定回の判定結果ＲＳ１の履歴情報が読み出された後に、動き・静止判定部１１３で得られた今回の判定結果ＲＳ１を過去の最後の判定結果とした所定回分の判定結果ＲＳ１の履歴情報が、補間画素位置Ｐに対応した過去所定回の判定結果ＲＳ１の履歴情報として、メモリ１０４の補間画素位置Ｐに対応したアドレスに書き込まれる。

動き・静止判定部１１３で得られた判定結果ＲＳ２は、動き適応補間演算回路１１６に供給される。また、この補間演算回路１１６には、現フィールドの画像信号Ｖ０と、メモリ１０３から読み出される１フィールド前の画像信号Ｖ１および２フィールド（１フレーム）前の画像信号Ｖ２が供給される。補間演算回路１１６では、判定結果ＲＳ２に基づいて、補間画素位置Ｐの画素データＤipが生成される。

すなわち、補間演算回路１１６では、判定結果ＲＳ２が動き領域を示すときは、補間画素位置Ｐが存在する１フィールド前の画像信号Ｖ１の当該補間画素位置Ｐの周辺に存在する画素のデータから画素データＤipが生成され、判定結果ＲＳ２が静止領域を示すときは、現フィールドの画像信号Ｖ０および２フィールド前の画像信号Ｖ２の補間画素位置Ｐの周辺に存在する画素のデータから画素データＤipが生成される。

例えば、補間演算回路１１６では、判定結果ＲＳ２が動き領域を示すときは、補間画素位置Ｐが存在するラインの前後のラインの画素Ｃ，Ｍのデータの平均値が画素データＤipとされ、一方判定結果ＲＳ２が静止領域を示すときは、補間画素位置に対応する現フィールド、２フィールド前のラインの画素Ｅ，Ａのデータの平均値が画素データＤipとされる（図３参照）。

この補間演算回路１１６では、垂直方向の各補間ライン上の各補間位置で上述したように画素データＤipが生成され、各補間ラインの信号が順次生成されていく。このように補間演算回路１１６で生成される各補間ラインの信号は出力ライン選択回路１１７に供給される。また、この出力ライン選択回路１１７には、メモリ１０３から読み出される１フィールド前の画像信号Ｖ１の各ラインの信号が供給される。出力ライン選択回路１１７では、１フィールド前の画像信号Ｖ１の各ラインの信号と、それに対応した各補間ラインの信号とが交互に取り出されてライン数が倍とされ、プログレッシブ信号である画像信号Ｖｐが得られる。この画像信号ＶｐがＩＰ変換部１０２の出力信号となる。

図２に示すＩＰ変換部１０２によれば、補間画素位置Ｐが動き領域か静止領域かの判定を、この補間画素位置Ｐの今回の判定結果ＲＳ１、およびこの補間画素位置Ｐに対応した過去所定回の判定結果ＲＳ１の履歴情報に基づいて最終的に判定するものであり、今回の判定結果ＲＳ１のみに基づく場合に比べて、この補間画素位置Ｐが動き領域であるときに間違って静止領域と判定されることがなく判定の精度を上げることができ、補間画素位置Ｐの画素データＤipを良好に生成でき、従ってプログレッシブ信号としての画像信号Ｖｐを良好に得ることができる。

また、図２に示すＩＰ変換部１０２によれば、メモリ１０４には、インタレース信号の奇数フィールド、偶数フィールドの各補間画素位置における、過去所定回の判定結果ＲＳ１の履歴情報を記憶するものであって、過去所定回の判定結果に係る画素データそのものを記憶しておくものではなく、メモリ容量の大幅な増加を招くことはない。例えば、過去３回の判定結果ＲＳ１の履歴情報を記憶する場合、上述したようにこの履歴情報が静止領域であるとの判定の連続回数であるとき、その最大値は「３」であることから、メモリ１０４に、補間画素位置のそれぞれにつき、２ビットの記憶容量を用意すれば足りる。

なお、図２のＩＰ変換部１０２における処理を、例えば図４に示すような画像信号処理装置３００によって、ソフトウェアで実現することも可能である。

まず、この画像信号処理装置３００について説明する。この画像信号処理装置３００は、装置全体の動作を制御するＣＰＵ３０１と、このＣＰＵ３０１の動作プログラム等が格納されたＲＯＭ（read only memory）３０２と、ＣＰＵ３０１の作業領域を構成するＲＡＭ（random access memory）３０３とを有している。これらＣＰＵ３０１、ＲＯＭ３０２およびＲＡＭ３０３は、それぞれバス３０４に接続されている。

また、画像信号処理装置３００は、ハードディスクドライブ（ＨＤＤ）３０５と、リムーバブルディスク３０６を取り扱うドライブ３０７とを有している。これらＨＤＤ３０５およびドライブ３０７は、それぞれバス３０４に接続されている。

また、画像信号処理装置３００は、インターネット等の通信網３０８に有線または無線で接続する通信部３０９を有している。この通信部３０９は、インタフェース３１０を介してバス３０４に接続されている。

また、画像信号処理装置３００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機３１１からのリモコン信号ＲＭを受信する受信部３１２と、ＬＣＤ（liquid crystal display）等からなるディスプレイ３１４とを有している。受信部３１２はインタフェース３１３を介してバス３０４に接続され、同様にディスプレイ３１４はインタフェース３１５を介してバス３０４に接続されている。

また、画像信号処理装置３００は、インタレース信号としての画像信号Ｖ０を入力するための入力端子３１６と、プログレッシブ信号としての画像信号Ｖｐを出力するための出力端子３１８とを有している。入力端子３１６はインタフェース３１７を介してバス３０４に接続され、同様に出力端子３１８はインタフェース３１９を介してバス３０４に接続されている。

ここで、上述したようにＲＯＭ３０２に動作プログラム等を予め格納しておく代わりに、例えばインターネットなどの通信網３０８より通信部３０９を介してダウンロードし、ＨＤＤ３０５、ＲＡＭ３０３等に蓄積して使用することもできる。また、この動作プログラム等をリムーバブルディスク３０６で提供するようにしてもよい。

また、処理すべき画像信号Ｖ０を入力端子３１６より入力する代わりに、予めＨＤＤ３０５に記録しておき、あるいはインターネットなどの通信網３０８より通信部３０９を介してダウンロードし、さらにはリムーバブルディスク３０６で供給するようにしてもよい。また、処理後の画像信号Ｖｐを出力端子３１８に出力する代わり、あるいはそれと並行してディスプレイ３１４に供給して画像表示をしたり、さらにはＨＤＤ３０５に格納したり、通信部３０９を介してインターネットなどの通信網３０８に送出したり、またリムーバブルディスク３０６に記録するようにしてもよい。

図５のフローチャートを参照して、画像信号処理装置３００における、ＩＰ変換の処理手順を説明する。
まず、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、インタレース信号としての画像信号Ｖ０を１フレーム分あるいは１フィールド分入力する。この画像信号Ｖ０が入力端子３１６より入力される場合には、この画像信号Ｖ０をＲＡＭ３０３に一時的に格納する。また、この画像信号Ｖ０がＨＤＤ３０５に記録されている場合には、このＨＤＤ３０５からこの画像信号Ｖ０を読み出し、ＲＡＭ３０３に一時的に格納する。さらに、この画像信号Ｖ０がリムーバブルディスク３０６で供給される場合には、ドライブ３０７でそのリムーバブルディスク３０６からこの画像信号Ｖ０を読み出し、ＲＡＭ３０３に一時的に格納する。

次に、ステップＳＴ３で、画像信号Ｖ０の全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳＴ４で、処理を終了する。一方、処理が終わっていないときは、ステップＳＴ５に進む。

このステップＳＴ５では、現フィールドの画像信号Ｖ０と２フィールド（１フレーム）前の画像信号Ｖ２とを用いて、１フィールド前のフィールドに存在する補間画素位置Ｐが動き領域か静止領域かを判定する。すなわち、このステップＳＴ５では、１フィールド前のフィールドに存在する補間画素位置Ｐに対応した、現フィールドの画素Ｅのデータおよび２フィールド前の画素Ａのデータの差分絶対値Ｄ_AEを求め、そしてこの差分絶対値Ｄ_AEを予め定められた所定のしきい値ＴＨと比較して、今回の判定結果ＲＳ１を得る（図３参照）。

次に、ステップＳＴ６で、ステップＳＴ５で得られた補間画素位置Ｐの今回の判定結果ＲＳ１と、ＲＡＭ３０３に記憶されている、補間画素位置Ｐに対応した、過去所定回の判定結果ＲＳ１の履歴情報とに基づいて、補間画素位置Ｐが動き領域か静止領域かを最終的に判定する。すなわち、このステップＳＴ６では、今回の判定結果ＲＳ１および過去所定回の判定結果ＲＳ１の履歴情報とから、補間画素位置Ｐにおける静止領域であるとの判定の連続回数ＣＴを求め、そしてこの連続回数ＣＴを予め定められたしきい値ｔｈと比較して、補間画素位置Ｐが動き領域か静止領域かの最終的な判定結果ＲＳ２を得る。

次に、ステップＳＴ７で、ステップＳＴ５で得られた今回の判定結果ＲＳ１を過去の最後の判定結果とした所定回分の判定結果ＲＳ１の履歴情報を、補間画素位置Ｐに対応した過去所定回の判定結果ＲＳ１の履歴情報として、記憶素子としてのＲＡＭ３０３の補間画素位置Ｐに対応したアドレスに書き込む。この場合、履歴情報が静止領域であるとの判定の連続回数であることから、今回の判定結果ＲＳ１が静止領域である場合には、過去の連続回数が最大値（＝所定回）でないときは、その過去の連続回数に１を加算した連続回数を履歴情報とし、過去の連続回数が最大値であるときは、その過去の連続回数をそのまま連続回数として、ＲＡＭ３０３に書き込む。一方、今回の判定結果ＲＳ１が動き領域である場合には、過去の連続回数が何であっても連続回数を０とし、それをＲＡＭ３０３に書き込む。

次に、ステップＳＴ８で、現フィールドの画像信号Ｖ０と、１フィールド前の画像信号Ｖ１および２フィールド（１フレーム）前の画像信号Ｖ２から、ステップＳＴ７で得られた判定結果ＲＳ２に基づいて、補間画素位置Ｐの画素データＤipを生成する。すなわち、このステップＳＴ８では、判定結果ＲＳ２が動き領域を示すときは、補間画素位置Ｐが存在する１フィールド前の画像信号Ｖ１の当該補間画素位置Ｐの周辺に存在する画素のデータから画素データＤipを生成し、判定結果ＲＳ２が静止領域を示すときは、現フィールドの画像信号Ｖ０および２フィールド前の画像信号Ｖ２の補間画素位置Ｐの周辺に存在する画素のデータから画素データＤipを生成する。

次に、ステップＳＴ９で、１フィールド前の画像信号Ｖ１について、全ての補間ラインにおける補間データＤipを生成する処理が終了したか否かを判定する。処理が終了していないときは、ステップＳＴ５に戻り、次の補間位置の処理に移る。ステップＳＴ９で処理が終了したときは、ステップＳＴ１０に進む。このステップＳＴ１０では、ステップＳＴ２で入力された画像信号Ｖ０に対応した、プログレッシブ信号としての画像信号Ｖｐを出力する。この場合、画像信号Ｖ１の各ラインの信号と、それに対応した各補間ラインの信号とを、ＲＡＭ３０３から交互に読み出すことで、ライン数が倍とされた、プログレッシブ信号である画像信号Ｖｐを得る。

この場合の出力には、画像信号Ｖｐを出力端子３１８に出力すること、画像信号ＶｐをＨＤＤ３０５に記録すること、画像信号Ｖｐをドライブ３０７でリムーバブルディスク３０６に記録すること、画像信号Ｖｐをディスプレイ３１４に供給してそれによる画像を表示すること、画像信号Ｖｐを通信部３０９を介してネットワーク３０８に送出すること等が含まれる。

このステップＳＴ１０の処理の後に、ステップＳＴ２に戻り、インタレース信号としての画像信号Ｖ０の次の１フレーム分あるいは１フィールド分を入力する処理を行って、上述したと同様の処理を繰り返す。

このように、図５に示すフローチャートに沿って処理をすることで、インタレース信号としての画像信号Ｖ０を処理して、プログレッシブ信号としての画像信号Ｖｐを得ることができる。

なお、上述実施の形態において、ＩＰ変換部１０２の動き・静止判定部１１３は、今回の判定結果ＲＳ１と過去所定回の判定結果ＲＳ１の履歴情報とに基づいて、補間画素位置Ｐが動き領域か静止領域かを最終的に判定するものを示したが、この補間画素位置Ｐを含む空間方向（水平方向、垂直方向）の所定領域に含まれる単数または複数の他の画素位置に対応した、メモリ１０４に記憶されている過去所定回の判定結果ＲＳ１の履歴情報をも用いて、この補間画素位置Ｐが動き領域か静止領域かを最終的に判定するようにしてもよい。これにより、動き・静止判定部１１３における判定精度をさらに高めることができる。

例えば、履歴情報が静止領域であるとの判定の連続回数であるとき、動き・静止判定部１１３は、今回の判定結果ＲＳ１と過去所定回の判定結果ＲＳ１の履歴情報とから求められた補間画素位置Ｐにおける静止領域であるとの判定の連続回数ＣＴがしきい値ｔｈ以上となり、かつメモリ１０４に記憶されている上述の単数または複数の他の画素位置に対応した履歴情報から得られた静止領域であるとの判定の連続回数がしきい値ｔｈ以上となるとき、補間画素位置Ｐが静止領域であると判定する。

図６は、補間画素位置Ｐが含まれる空間方向の所定領域の一例として、領域ＡＲ１および領域２を示している。領域ＡＲ１には、補間画素位置Ｐの他に、当該補間画素位置Ｐに対して垂直方向に隣接する２つの画素Ｃ，Ｍの位置が含まれている。領域ＡＲ２には、補間画素位置Ｐの他に、当該補間画素位置Ｐに対して垂直方向および水平方向に隣接する８つの画素Ｃ，Ｍ，ｂ，ｄ，ｇ，ｉ，ｌ，ｎの位置が含まれている。領域ＡＲ１に比べて領域ＡＲ２の方が他の画素位置を多く含んでいるので、判定精度をより高くできる。

このように他の画素位置の履歴情報をも用いて補間画素位置Ｐが動き領域か静止領域かを最終的に判定することで、上述したように判定精度を高めることができるが、同じ判定の精度でもよいときは、例えば上述したしきい値ｔｈを小さくして、静止領域の検出の応答速度を高めることができる。この場合、領域が大きい程、つまり他の画素位置の数が多いほど、しきい値ｔｈを小さくでき、応答速度をより高めることができる。

また、上述実施の形態において、動き・静止判定部１１３は、今回の判定結果ＲＳ１と過去所定回の判定結果ＲＳ１の履歴情報とから、補間画素位置Ｐにおける静止領域であるとの判定の連続回数ＣＴを求め、この連続回数ＣＴをしきい値ｔｈと比較して判定結果ＲＳ２を得るものとしている。

しかし、メモリ１０４に記憶されている補間画素位置Ｐに対応した過去所定回の判定結果ＲＳ１の履歴情報が上述したように履歴情報書き込み処理部１１４で更新された後に、履歴情報読み出し処理部１１５で当該補間画素位置Ｐに対応した過去所定回の判定結果ＲＳ１の履歴情報を読み出すこととすれば、動き・静止判定部１１３では、この読み出された履歴情報で示される連続回数をそのまま上述した連続回数ＣＴとして用いることができる。

また、上述実施の形態において、過去所定回の判定結果ＲＳ１の履歴情報は静止領域であるとの判定の連続回数であったが、この履歴情報は過去所定回の判定結果ＲＳ１そのものであってもよい。この場合であっても、過去所定回の判定結果に係る画素データそのものを記憶しておくものではなく、メモリ容量の大幅な増加を招くことはない。例えば、過去３回の判定結果ＲＳ１そのものを記憶する場合、各回の判定結果ＲＳ１が１ビットで表すことができるので、メモリ１０４に、補間画素位置のそれぞれにつき、３ビットの記憶容量を用意すれば足りる。

また、上述実施の形態において、メモリ１０３，１０４はＩＰ変換部１０２の外部に設けたものであるが、これらメモリ１０３，１０４をＩＰ変換部１０２の内部に設けるようにしてもよい。

また、上述実施の形態においては、この発明を、インタレース信号の補間画素位置が動き領域か静止領域かを判定するものに適用したものであるが、例えばプログレッシブ信号の任意の画素位置が動き領域か静止領域かを判定する際にも適用できる。

この発明は、注目画素位置が動き領域か静止領域かを、この注目画素位置の判定結果およびこの注目画素位置に対応した過去所定回の判定結果の履歴情報に基づいて最終的に判定するものであり、メモリ容量の大幅な増加を招くことなく、判定精度を上げることができ、例えばインタレース信号をプログレッシブ信号に変換する際に、補間画素位置が動き領域か静止領域かを判定する用途等に適用できる。

実施の形態としての画像表示装置の構成を示すブロック図である。ＩＰ変換部の構成を示すブロック図である。動き領域、静止領域の判定方法を説明するための図である。ソフトウェアで実現するための画像信号処理装置の構成を示すブロック図である。ＩＰ変換処理の手順を示すフローチャートである。領域による判定を説明するための図である。インタレース信号を説明するための図である。一般的なＩＰ変換の処理を説明するための図である。

符号の説明

１００・・・画像表示装置、１０１・・・入力端子、１０２・・・ＩＰ変換部、１０３，１０４・・・メモリ、１０５・・・パネルドライバ、１０６・・・ＰＤＰ、１１１・・・書き込み処理部、１１２・・・読み出し処理部、１１３・・・動き・静止判定部、１１４・・・履歴情報書き込み処理部、１１５・・・履歴情報読み出し処理部、１１６・・・動き適応補間演算回路、１１７・・・出力ライン選択回路

Claims

注目画素位置が動き領域か静止領域かを、該注目画素位置に対応した時間方向の第１の画素位置および第２の画素位置の画素データを用いて判定する第１の動き・静止判定手段と、
上記第１の動き・静止判定手段の判定結果に基づき、静止領域であるとの判定の連続回数を履歴情報として記憶し、動き領域であると判定されたとき上記連続回数を０とする記憶手段と、
上記注目画素位置に対応した、上記記憶手段に記憶されている過去所定回の判定結果の履歴情報および上記第１の動き・静止判定手段の判定結果に基づき、この判定結果が静止領域である場合、上記連続回数が予め定められたしきい値以上であるときは上記注目画素位置が静止領域であると判定し、しきい値未満であるときは上記注目画素位置が動き領域であると判定する第２の動き・静止判定手段と
を備えることを特徴とする動き・静止判定装置。
上記記憶手段には、上記注目画素位置を含む空間方向の所定領域に含まれる単数または複数の他の画素位置が静止領域であるとの判定の連続回数を履歴情報として記憶して、動き領域であると判定されたとき上記連続回数を０とし、
上記第２の動き・静止判定手段は、
上記注目画素位置に対応した、上記記憶手段に記憶されている過去所定回の判定結果の履歴情報および上記第１の動き・静止判定手段の判定結果と共に、上記注目画素位置を含む空間方向の所定領域に含まれる単数または複数の他の画素位置に対応した、上記記憶手段に記憶されている過去所定回の判定結果の履歴情報に基づき、上記第１の動き・静止判定手段の判定結果が静止領域である場合、上記注目画素位置に対応した連続回数が予め定められたしきい値以上となり、かつ上記注目画素位置を含む空間方向の所定領域に含まれる単数または複数の他の画素位置に対応した連続回数が予め定められたしきい値以上であるとき、上記注目画素位置が静止領域であると判定する
ことを特徴とする請求項１に記載の動き・静止判定装置。
上記第２の動き・静止判定手段は、上記注目画素位置および上記単数または複数の他の画素位置のそれぞれにおける静止領域であるとの判定の連続回数が全て所定値以上であるとき、上記注目画素位置が静止領域であると判定する
ことを特徴とする請求項２に記載の動き・静止判定装置。
注目画素位置が動き領域か静止領域かを、該注目画素位置に対応した時間方向の第１の画素位置および第２の画素位置の画素データを用いて判定する第１の動き・静止判定ステップと、
上記第１の動き・静止判定ステップの判定結果に基づき、静止領域であるとの判定の連続回数を履歴情報として記憶素子に記憶し、動き領域であると判定されたとき上記連続回数を０とする記憶ステップと、
上記注目画素位置に対応した、上記記憶素子に記憶されている過去所定回の判定結果の履歴情報および上記第１の動き・静止判定手段の判定結果に基づき、この判定結果が静止領域である場合、上記連続回数が予め定められたしきい値以上であるときは上記注目画素位置が静止領域であると判定し、しきい値未満であるときは上記注目画素位置が動き領域であると判定する第２の動き・静止判定ステップと
を備えることを特徴とする動き・静止判定方法。
インタレース信号の補間画素位置の画素データを、該補間画素位置が動き領域か静止領域かの判定結果に基づいて生成し、上記インタレース信号をプログレッシブ信号に変換する画像信号処理装置であって、
上記補間画素位置が動き領域か静止領域かを、該補間画素位置に対応した時間方向の第１の画素位置および第２の画素位置の画素データを用いて判定する第１の動き・静止判定手段と、
上記第１の動き・静止判定手段の判定結果に基づき、静止領域であるとの判定の連続回数を履歴情報として記憶し、動き領域であると判定されたとき上記連続回数を０とする記憶手段と、
上記補間画素位置に対応した、上記記憶手段に記憶されている過去所定回の判定結果の履歴情報および上記第１の動き・静止判定手段の判定結果に基づき、この判定結果が静止領域である場合、上記連続回数が予め定められたしきい値以上であるときは上記補間画素位置が静止領域であると判定し、しきい値未満であるときは上記補間画素位置が動き領域であると判定する第２の動き・静止判定手段と
を備えることを特徴とする画像信号処理装置。
上記記憶手段には、上記補間画素位置を含む空間方向の所定領域に含まれる単数または複数の他の画素位置が静止領域であるとの判定の連続回数を履歴情報として記憶して、動き領域であると判定されたとき上記連続回数を０とし、
上記第２の動き・静止判定手段は、
上記補間画素位置に対応した、上記記憶手段に記憶されている過去所定回の判定結果の履歴情報および上記第１の動き・静止判定手段の判定結果と共に、上記補間画素位置を含む空間方向の所定領域に含まれる単数または複数の他の画素位置に対応した、上記記憶手段に記憶されている過去所定回の判定結果の履歴情報に基づき、上記第１の動き・静止判定手段の判定結果が静止領域である場合、上記補間画素位置に対応した連続回数が予め定められたしきい値以上となり、かつ上記補間画素位置を含む空間方向の所定領域に含まれる単数または複数の他の画素位置に対応した連続回数が予め定められたしきい値以上であるとき、上記補間画素位置が静止領域であると判定する
ことを特徴とする請求項５に記載の画像信号処理装置。
上記第２の動き・静止判定手段は、
上記補間画素位置および上記単数または複数の他の画素位置のそれぞれにおける静止領域であるとの判定の連続回数が全て所定値以上であるとき、上記補間画素位置が静止領域であると判定する
ことを特徴とする請求項６に記載の画像信号処理装置。
インタレース信号の補間画素位置の画素データを、該補間画素位置が動き領域か静止領域かの判定結果に基づいて生成し、上記インタレース信号をプログレッシブ信号に変換する画像信号処理方法であって、
上記補間画素位置が動き領域か静止領域かを、該補間画素位置に対応した時間方向の第１の画素位置および第２の画素位置の画素データを用いて判定する第１の動き・静止判定ステップと、
上記第１の動き・静止判定手段の判定結果に基づき、静止領域であるとの判定の連続回数を履歴情報として記憶素子に記憶し、動き領域であると判定されたとき上記連続回数を０とする記憶ステップと、
上記補間画素位置に対応した、上記記憶素子に記憶されている過去所定回の判定結果の履歴情報および上記第１の動き・静止判定手段の判定結果に基づき、この判定結果が静止領域である場合、上記連続回数が予め定められたしきい値以上であるときは上記補間画素位置が静止領域であると判定し、しきい値未満であるときは上記補間画素位置が動き領域であると判定する第２の動き・静止判定ステップと
を備えることを特徴とする画像信号処理方法。