JP5542981B1 - 画像処理装置、フレームレートコントロール処理判定装置またはその方法 - Google Patents

Abstract

【課題】 FRC処理がなされているか否かを検出する。
【解決手段】 FRC処理判断装置１は、前フレーム動き領域検出手段５、後フレーム動き領域検出手段６、判断手段７を備えている。前フレーム動き領域検出手段５は、前フレームにおける前フレーム動き領域を検出する。後フレーム動き領域検出手段６は、前記前フレームよりも後ろに位置する後ろフレームにおける後フレーム動き領域を検出する。判断手段７は、前記前フレーム動き領域と前記後フレーム動き領域とのずれが領域ずれ閾値以下であれば、フレームレートコントロール処理されていると判断して、画像処理パラメータの閾値を変動させるパラメータ変更命令を出力する。
【選択図】 図１

Description

この発明は、フレームレートコントロール処理判定が可能な画像処理装置に関し、特にフレームレートコントロール処理の検出にする。

特許文献１には（図１９参照)、１画面の一部に動画領域があり、これを検出する動画領域検出処理が開示されている。

一方、特許文献２には、液晶表示装置の階調表示駆動方法としてフレームレートコントロール処理（以下、FRC処理という）が開示されている。FRC処理は、異なる階調輝度をフレーム毎に交互に表示することにより、擬似的に中間調輝度を表示するというものである。

特許4980486号公報 特開2002-287709号公報

上記FRC処理がなされた画像について、前記動画領域の検出をおこなうと、静止画領域にも拘わらず、動画領域として、誤って検出するおそれがある。これは、上記FRC処理により、静止画領域である部分についても、フレーム毎に画像値が変化するからである。

このような問題は、動画領域と静止画領域とが混在している場合だけでなく、以下のように、FRC処理の後処理として画像処理をする場合には、同様に問題となる。

例えば、テキスト領域とテキスト領域以外を判別して、テキスト領域以外をエッジ強調等する場合には、画面中から画像領域でないテキスト領域を検出する必要がある。この場合に、上記FRC処理により、テキスト領域にも係わらず、動画領域（画像領域）であると検出されてしまうおそれがある。

また、FRC処理の後、ノイズ除去処理をおこなう場合には、FRC処理による画素値の変化をノイズと認識され、除去されてしまうおそれもある。

この発明は、上記問題を解決し、FRC処理がなされたか否かを判断しその結果を用いて後処理の画像処理を可能とするFRC処理判断装置を提供することを目的とする。さらに、FRC処理がなされたとの検出結果を用いて画像処理をおこなう画像処理装置を提供することを目的とする。

(1)本発明にかかる画像処理装置は、前フレームにおける前フレーム動き領域を検出する前フレーム動き領域検出手段、前記前フレームよりも後ろに位置する後ろフレームにおける後フレーム動き領域を検出する後フレーム動き領域検出手段、前記前フレーム動き領域と前記後フレーム動き領域とのずれが領域ずれ閾値以下であれば、フレームレートコントロール処理されていると判断して、画像処理パラメータの閾値を変動させるパラメータ変更命令を出力する判断手段、前記パラメータ変更命令を受け取ると、画像処理パラメータの閾値を変動させる画像処理手段、を備えている。このように、動き領域の領域ずれを利用してフレームレートコントロール処理がなされているかを判断でき、これにより、フレームレートコントロール処理の後処理の画像処理を適切に処理することができる。

(2)本発明にかかる画像処理装置においては、前記判断手段は、前記ずれ判断が連続するフレームで複数回繰り返される場合に、フレームレートコントロール処理されていると判断する。したがって、ノイズがあっても正確に判断することができる。

(3)本発明にかかる画像処理装置においては、前記各フレーム動き領域は、複数画素で構成されたブロックで構成されている。したがって、フレームメモリが不要となる。

(4)本発明にかかる画像処理装置においては、前記画像処理手段は、矩形動き領域判断手段であり、前記パラメータ変更命令を受け取ると、動き領域か否かを判断するための閾値を高く変動させる。したがって、フレームレートコントロール処理がなされている場合でも、その後の矩形動き領域検出を適切に処理可能となる。

(5)本発明にかかる画像処理装置においては、前記画像処理手段は、テキスト領域判断手段であり、前記パラメータ変更命令を受け取ると、テキスト領域として判断するための前記閾値を低く変動させる。したがって、フレームレートコントロール処理がなされている場合でも、その後のテキスト領域検出を適切に処理可能となる。

(6)本発明にかかる画像処理装置においては、前記画像処理手段は、ノイズ除去手段であり、前記パラメータ変更命令を受け取ると、ノイズとして判断するための前記閾値を高く変動させる。したがって、フレームレートコントロール処理がなされている場合でも、その後のノイズ除去処理を適切に処理可能となる。

(7)本発明にかかる矩形動き領域検出装置は、各フレームの画像データが与えられると、矩形動き領域を検出する矩形動き領域検出手段を備えた矩形動き領域検出装置であって、前フレームにおける前フレーム矩形動き領域および前記前フレームよりも後ろに位置する後ろフレームにおける後フレーム矩形動き領域を検出し、前記前フレーム矩形動き領域と前記後フレーム矩形動き領域とのずれが領域ずれ閾値以下であれば、フレームレートコントロール処理されていると判断して、パラメータ変更命令を出力する判断手段、前記各フレームの一部のフレームについての画像データを前記判断手段に与えるデータ付与手段、を備え、前記判断手段におけるフレーム動き領域の検出の方が、前記矩形動き領域検出手段における矩形動き領域判断よりも、高精度で実行される。したがって、後処理の矩形動き領域の処理における演算処理の負担を大きくすることなく、フレームレートコントロール処理の検出をすることができる。

(8)本発明にかかるフレームレートコントロール処理検出装置は、複数フレームの画像データが与えられると、各フレームにおけるフレーム矩形動き領域を検出するフレーム矩形動き領域検出手段、前記フレーム矩形動き領域検出手段によって、検出された前フレームにおける前フレーム矩形動き領域と、前記前フレームよりも後ろに位置する後ろフレームにおける後フレーム矩形動き領域とのずれが領域ずれ閾値以下であれば、フレームレートコントロール処理されていると判断して、画像処理パラメータの閾値を変更するパラメータ変更命令を出力する判断手段、を備えている。このように、動き領域の領域ずれを利用してフレームレートコントロール処理がなされているかを判断できる。

本明細書において、「前フレーム」、「後ろフレーム」とは、フレームが連続している場合はもちろん含み、それ以外に、相対的に前後のフレームであればよい。「フレームレートコントロール処理」とは、少なくとも、時間的なフレームレートコントロール処理についてはすべて含む。

動き領域判断装置２０の機能ブロック図である。 動き領域判断装置２０を、ＣＰＵを用いて構成した場合のハード構成の一例である。 全体のフローチャートである。 FRC処理されていない場合の検出結果を示す図である。 FRC処理された場合の検出結果を示す図である。 図３ステップＳ１０５，１０７における動き画像領域決定処理の詳細フローチャートである。 動き画像領域１１０〜１１２が存在する表示領域１００を示す。 動きブロック決定処理のフローチャートである。 動きブロックを検出した結果を示す図である。 動き画像領域決定処理のフローチャートである。 動き列ブロックを示す図である。 動き画像領域決定処理のフローチャート(続き)である。 動き行ブロックを示す図である。 動き画像領域１４０を示す図である。 境界決定処理のフローチャートである。 1単位ブロック内の３２＊３２画素を示す図である。

以下、本発明における実施形態について、図面を参照して説明する。

（１．１ 機能ブロック）
図１に、本発明の１実施形態にかかるフレームレートコントロール処理（以下FRC処理と略す）装置１を有する画像処理判断装置２０の機能ブロック図を示す。画像処理装置２０は、FRC処理判断装置１、切換手段３，画像処理手段１１を有する。

FRC処理判断装置１は、前フレーム動き領域検出手段５、後フレーム動き領域検出手段６、判断手段７を備えている。前フレーム動き領域検出手段５は、前フレームにおける前フレーム動き領域を検出する。後フレーム動き領域検出手段６は、前記前フレームよりも後ろに位置する後ろフレームにおける後フレーム動き領域を検出する。判断手段７は、前記前フレーム動き領域と前記後フレーム動き領域とのずれが領域ずれ閾値以下であれば、フレームレートコントロール処理されていると判断して、画像処理パラメータの閾値を変動させるパラメータ変更命令を出力する。

切換手段３は、入力画像のうち一部のフレームについて、FRC処理判断装置１に与え、残りについては画像処理手段１１に与える。画像処理手段は、前記パラメータ変更命令を受け取ると、画像処理パラメータの閾値を変動させ、与えられた入力画像の画像処理を行う。

（１．２ ハードウェア構成）
図２に画像処理装置２０のハードウェア構成を示す。画像処理装置２０は、ＣＰＵ２３、ＲＡＭ２５、フラッシュメモリ２６を備えている。フラッシュメモリ２６には、プログラム２６ｐが記憶されている。プログラム２６ｐには、後述するように、FRC処理判断およびこの判断結果を受けて、画像処理を行うプログラムが記憶されている。ＲＡＭ２５は演算結果等を記憶する。

ＣＰＵ２３は、プログラム２６Ｐに従い、メモリ２７に記憶された表示領域を構成する画素値に基づき、FRC処理がなされているかの判断を行い、結果をＲＡＭ２５に記憶する。

（１．３ フローチャートの説明）
以下では、画像処理手段１１（図１参照）が行う画像処理として、矩形動き領域を検出する場合について説明する。

図２に示すプログラム２６Pによる処理について図３を用いて説明する。以下では、図４に示すように、背景部２０３は静止画Cであり、1フレームの一部に矩形の動画領域２０１があり、フレームレートが16FPSの動画データを、60FPSでモニタに表示するために、第n-1フレーム〜第n+3フレームまでにおいて、第n+1フレームと第n+2フレームに、第nフレームと同じ画像が挿入された場合であって、FRC処理がなされていない場合と、FRC処理がなされた場合を例として説明する。

（１．３．１ FRC処理がなされていない場合）
FRC処理がなされていない場合について図４を用いて説明する。

ＣＰＵ２３は、処理フレーム番号i、FRC処理候補フラグfを初期化する(図３ステップＳ１０１)。ＣＰＵ２３は処理フレーム番号iが、i<4か否か判断する(ステップＳ１０３）。この場合、i=0であるので、前フレームについて動き領域を検出する(ステップＳ１０５)。各フレームにおける動き領域の検出については、既知の検出手法を採用すればよい。本実施形態においては、後述する矩形動き領域検出手法を採用した。ここでは、図４に示すように、第n-1フレームと第nフレームから、第nフレーム検出結果として、動き領域２０５が得られたものとする。

つぎに、ＣＰＵ２３は後フレームについて動き領域を検出する(図３ステップＳ１０７)。検出手法はステップＳ１０３と同様である。この場合、第nフレームと第n+1フレームは、同じフレーム画像であるので、差分はゼロである。したがって、動き領域は検出されない。

ＣＰＵ２３は、前フレームと後フレームの動き領域の差が閾値以下かを判断する(ステップＳ１０９)。これは、第nフレーム検出結果と第n+1フレーム検出結果における動き領域の境界線のずれが閾値より小さいかで判断される。すなわち、各動き領域の大きさおよび位置のずれから判断される。

この場合、n+1フレーム検出結果では、動き領域が存在しないので、ＣＰＵ２３は、閾値よりも差分が大きいと判断する。ＣＰＵ２３は、FRC処理無しとして記憶して(ステップＳ１１１)、処理フレーム番号iをインクリメントして(ステップＳ１２１)、ステップＳ１０３以下を繰り返す。

ＣＰＵ２３は、処理フレーム番号iが、i<4か否か判断する(ステップＳ１０３）。この場合、i=1であるので、前フレームについて動き領域を検出する(ステップＳ１０５)。この場合、図４に示すように、第nフレームと第n+1フレームは、同じフレーム画像であるので、差分はゼロである。したがって、動き領域は検出されない。

つぎに、ＣＰＵ２３は後フレームについて動き領域を検出する(図３ステップＳ１０７)。この場合も、第n+1フレームと第n+2フレームは、同じフレーム画像であるので、差分はゼロである。したがって、動き領域は検出されない。

ＣＰＵ２３は、前フレームと後フレームの動き領域の差が閾値以下かを判断する(ステップＳ１０９)。この場合、動き領域が存在しないので、差分はゼロとなる。

したがって、ＣＰＵ２３は、この検出結果について、FRC処理候補フラグf=1とする（ステップＳ１１３）。ＣＰＵ２３は、３フレーム連続で、FRC処理候補フラグf=1が続いているか否か判断する(ステップＳ１１５)。この場合、３フレーム連続では、FRC処理候補フラグf=1が続いていない。したがってＣＰＵ２３は、処理フレーム番号iをインクリメントして(ステップＳ１２１)、ステップＳ１０３以下を繰り返す。

ＣＰＵ２３は、処理フレーム番号iがi<4か否か判断する(ステップＳ１０３）。この場合、i=2であるので、ＣＰＵ２３は前フレームについて動き領域を検出する(ステップＳ１０５)。この場合、図４に示すように、第n+1フレームと第n+2フレームは、同じフレーム画像であるので、差分はゼロである。したがって、動き領域は検出されない。

つぎに、ＣＰＵ２３は後フレームについて動き領域を検出する(ステップＳ１０７)。この場合、図４に示すように、第n+2フレームと第n+3フレームとから、動き領域２０７が得られる。これは、背景部は静止画Cで同じであり、矩形の動画領域２０１が画像Ｂ、Ｄで異なるからである。

ＣＰＵ２３は、前フレームと後フレームの動き領域の差が閾値以下かを判断する(ステップＳ１０９)。この場合、前フレームについては、動き領域が存在しないので、動き領域の差が閾値を越える。したがって、ＣＰＵ２３は、FRC処理無しとして記憶して(ステップＳ１１１)、処理フレーム番号iをインクリメントして(ステップＳ１２１)、ステップＳ１０３以下を繰り返す。

ＣＰＵ２３は処理フレーム番号i<4か否か判断する(ステップＳ１０３）。この場合、i=3であるので、同様にして、ステップＳ１０５〜ステップＳ１２１までの処理を行う。

ＣＰＵ２３は処理フレーム番号iが、i<4か否か判断する(ステップＳ１０３）。この場合、i=4であるので、ＣＰＵ２３は、所定のパラメータで画像処理を行う(ステップＳ１３１）。ＣＰＵ２３は、処理フレーム番号iをインクリメントして(ステップＳ１３２)、処理フレーム番号iがi=16か否か判断する(ステップＳ１３３)。この場合、i=5であるので、ステップＳ１０３へ戻り、ステップＳ131〜ステップＳ133の処理を繰り返す。

このような処理がi=15まで繰り返され、処理フレーム番号iが、i=16となると、ステップＳ１３３からステップＳ１０３へ戻る。

このようにして、FRC処理がなされていない場合が判断される。

（１．３．２ FRC処理がなされている場合）
つぎに、FRC処理がなされている場合について、図３，図５を用いて説明する。ここでは、FRC処理により、フレームnとフレームn+2について、必要な画素の画素値が変更されているものとして説明する。

ＣＰＵ２３は、処理フレーム番号i、FRC処理候補フラグfを初期化する(ステップＳ１０１)。ＣＰＵ２３は処理フレーム番号iが、i<4か否か判断する(ステップＳ１０３）。この場合、i=0であるので、前フレームについて動き領域を検出する(ステップＳ１０５)。FRC処理がなされている場合、図５に示すような背景部２０３は静止画にもかかわらず、第n-1フレームと第nフレームとが異なる。また、動き領域２０１は、FRC処理により、第n-1フレームと第nフレームとで異なる。したがって、第n-1フレームと第nフレームから得られる第nフレーム検出結果は、全画面が動き領域として検出される。

つぎに、ＣＰＵ２３は後フレームについて動き領域を検出する(ステップＳ１０７)。この場合、第nフレームと第n+1フレームは、同じフレーム画像ではあるが、FRC処理されているので、すべて異なる。したがって、第nフレームと第n+1フレームから得られる第n+1フレーム検出結果は、全画面が動き領域として検出される。

ＣＰＵ２３は、動き領域の差が閾値以下かを判断する(ステップＳ１０９)。この場合、いずれも、全画面が動き領域である。したがって、動き領域について差はゼロであるので、ＣＰＵ２３は閾値よりも差分は小さいと判断して、FRC処理候補フラグf=1とする（ステップＳ１１３）。ＣＰＵ２３は、３フレーム連続で、FRC処理候補フラグf=1が続いているか否か判断する(ステップＳ１１５)。この場合、３フレーム連続で、FRC処理候補フラグf=1が続いていないので、ＣＰＵ２３は、処理フレーム番号iをインクリメントして(ステップＳ１２１)、ステップＳ１０３以下を繰り返す。

ＣＰＵ２３は処理フレーム番号iが、i<4か否か判断する(ステップＳ１０３）。この場合、i=1であるので、前フレームについて動き領域を検出する(ステップＳ１０５)。この場合、図５に示すように、第nフレームと第n+1フレームは、同じフレーム画像であるけれども、FRC処理されているので、すべて異なる。したがって、第nフレームと第n+1フレームから得られる第n+1フレーム検出結果は、全画面が動き領域として検出される。

つぎに、ＣＰＵ２３は後フレームについて動き領域を検出する(ステップＳ１０７)。この場合、図５に示すように、第n+1フレームと第n+2フレームは、同じフレーム画像であるけれども、FRC処理されているので、すべて異なる。したがって、第n+1フレームと第n+2フレームから得られる第n+2フレーム検出結果は、全画面が動き領域として検出される。

ＣＰＵ２３は、動き領域の差が閾値以下かを判断する(ステップＳ１０９)。この場合、いずれも、全画面が動き領域である。したがって、動き領域の差はゼロであるので、ＣＰＵ２３は閾値よりも差分は小さいと判断する。

ＣＰＵ２３は、この検出結果について、FRC処理候補フラグf=1とする（ステップＳ１１３）。ＣＰＵ２３は、３フレーム連続で、FRC処理候補フラグf=1が続いているか否か判断する(ステップＳ１１５)。この場合、２フレーム連続で、FRC処理候補フラグf=1が続いているだけなので、３フレーム連続で、FRC処理候補フラグf=1が続いていない。したがって、ＣＰＵ２３は、処理フレーム番号iをインクリメントして(ステップＳ１２１)、ステップＳ１０３以下を繰り返す。

ＣＰＵ２３は、処理フレーム番号iがi<4か否か判断する(ステップＳ１０３）。この場合、i=２であるので、前フレームについて動き領域を検出する(ステップＳ１０５)。この場合、図５に示すように、第nフレームと第n+1フレームは、同じフレーム画像であるけれども、FRC処理されているので、すべて異なる。したがって、第n+1フレームと第n+2フレームから得られる第n+2フレーム検出結果は、全画面が動き領域として検出される。

つぎに、ＣＰＵ２３は後フレームについて動き領域を検出する(ステップＳ１０７)。この場合、図５に示すように、第n+2フレームと第n+3フレームは、背景部２０３はFRC処理されており、また、動き領域２０１は異なる。したがって、第n+2フレームと第n+3フレームから得られる第n+3フレーム検出結果は、全画面が動き領域として検出される。

ＣＰＵ２３は、動き領域の差が閾値以下かを判断する(ステップＳ１０９)。この場合、いずれも、全画面が動き領域である。したがって、動き領域について差はゼロであるので、ＣＰＵ２３は閾値よりも差分は小さいと判断する。

ＣＰＵ２３は、この検出結果についてのFRC処理候補フラグf=1とする（ステップＳ１１３）。ＣＰＵ２３は、３フレーム連続で、FRC処理候補フラグf=1が続いているか否か判断する(ステップＳ１１５)。この場合、３フレーム連続で、FRC処理候補フラグf=1が続いているので、ＣＰＵ２３は、FRC処理ありと判断する(ステップＳ１１７）。ＣＰＵ２３は、本件検出処理のあと、実行される画像処理のパラメータ、具体的には、動き領域検出のパラメータを、動き領域の検出閾値を高くするように、切り換える。

ＣＰＵ２３は、処理フレーム番号iをインクリメントして(ステップＳ１２１)、ステップＳ１０３以下を繰り返す。ＣＰＵ２３は処理フレーム番号i<4か否か判断する(ステップＳ１０３）。この場合、i=3であるので、同様にして、ステップＳ１０５〜ステップＳ１２１までの処理を行う。

ＣＰＵ２３は処理フレーム番号iがi<4か否か判断する(ステップＳ１０３）。この場合、i=4であるので、ＣＰＵ２３は、ステップＳ１１９で低くされたパラメータで動き検出処理を行う(ステップＳ１３１）。以降は、FRC処理されていない場合と同様である。

このようにして、１６フレームにおける第０フレームから第３フレームまでの計４フレームを用いて、前フレームと後ろフレームの動き領域の差が生ずるか否かで、FRC処理されているか否かを判断して、FRC処理されている場合には、残り１２フレームについては、動き領域検出の検出閾値を高くするようにパラメータを変更するようにしている。これにより、FRC処理されている場合でも正確に動き領域の検出が可能となる。

（１．３．３ 矩形動き領域の決定処理）
本実施形態において採用したFRC処理判断における矩形動き領域の決定手法（図３ステップＳ１０５，Ｓ１０７）について、説明する。

以下では、図７に示すように、モニタの１フレームである画像領域１００に、３つの矩形動き画像領域１００〜１１２が存在する場合を例として説明する。

画像領域１００は、行方向αと列方向βにマトリックス状に画素が配置されている。

ＣＰＵ２３は、ブロック分割を行う（図６ステップＳ１）。本実施形態においては、３２*３２画素を１ブロックとして、図７に示す表示領域１００を複数のブロックにマトリックス状に分割した。以下では、α方向にはn+1個、β方向にはm+1個のブロックに分割されたものとする。

ＣＰＵ２３は全ブロックについて代表値を決定する(図６ステップＳ３）。代表値としては、１ブロック内の画素値の平均値、先頭の画素値、さらには当該値をそのまま用いるのではなく、CRC値などのハッシュ値を代表値としてもよい。また、平均値は、32＊32＊8bit画像では、18ビット長で表現可能であるが、上下の10ビットを切り捨てて、真ん中の8ビットのみ使用するというようにしてもよい。これにより、(n+1)*(m+1)個のブロック代表値がＲＡＭ２５に記憶される。なお、FRC処理を検出可能な精度の高い代表値を採用することが望ましい。

ＣＰＵ２３は、(n+1)*(m+1)個のブロックのうち、動きブロックを決定する(ステップＳ５)。動きブロック決定処理について図８を用いて説明する。

ＣＰＵ２３は処理ブロック番号i,jを初期化する(図８ステップＳ１１、Ｓ１３)。ブロック（0,0）について前フレームの代表値と比較する(ステップＳ１５)。本実施形態においては、時刻tと時刻t-1の代表値を比較した。ＣＰＵ２３は代表値の差分が閾値thbを超えるか否か判断し（ステップＳ１７）、代表値の差分が閾値thbを越える場合は動きブロックと判断する(ステップＳ１９)。一方、代表値の差分が閾値thbを越えない場合は非動きブロックと判断する(ステップＳ２１)。

ＣＰＵ２３は処理ブロック番号jが最終か否か判断する(ステップＳ２３）。この場合、j=0で、最終でないので、処理ブロック番号jをインクリメントし（ステップＳ２５）、ステップＳ１５以下を繰り返す。ステップＳ２３にて、処理ブロック番号jが最終であれば、ステップＳ２７に進み、ＣＰＵ２３は、処理ブロック番号iが最終か否か判断する。この場合、最終でないので、処理ブロック番号iをインクリメントし(ステップＳ２９)、ステップＳ１３以下を繰り返す。ステップＳ２７にて、処理ブロック番号iが最終であれば、処理を終了する。

これにより、図９に示すように(n+1)*(m+1)個のブロックについて、動きブロックが決定される。この例では、ブロック（４,２）、（４,３）、（４,４）・・・が動きブロックとして決定されている。

ＣＰＵ２３は、動き画像領域決定処理を行う(図６ステップＳ７）。動き画像領域決定処理の詳細について、図１０，図１２を用いて説明する。

ＣＰＵ２３は、処理ブロック番号jを初期化する(図１０ステップＳ３１）。ＣＰＵ２３は、ブロック(0,0)が属する列のブロックに動きブロックが少なくとも１つ存在するか否か判断する(ステップＳ３３)。この場合、図９に示すように、ブロック(0,0)およびその縦方向のブロック（1,0)〜（m,0）には、動きブロックが存在しないので、かかる列は、非動き列と判断する(図１０ステップＳ３７)。ＣＰＵ２３は、加算記憶された仮動き列があるかどうか判断する(ステップＳ３９)。この場合、存在しないので、ステップＳ４６に進み、処理ブロック番号jが最終か否か判断する。この場合、j=0で最終ではないので、処理ブロック番号jをインクリメントし（ステップＳ４７）、ステップＳ３３以下を繰り返す。

処理ブロック番号j=2では、ブロック(0,2)の縦方向のブロックには、動きブロックが存在する。したがって、ＣＰＵ２３は、この列は仮動き列として加算記憶する(ステップＳ３５)。

ＣＰＵ２３は、処理ブロック番号jが最終か否か判断する（ステップＳ４６）。この場合、j=2で最終ではないので、処理ブロック番号jをインクリメントし（ステップＳ４７）、ステップＳ３３以下を繰り返す。

処理ブロック番号j=8まで、ステップＳ３５の処理が繰り返される。処理ブロック番号j=9では、ブロック(0,9)の列には、動きブロックが存在しない。したがって、ＣＰＵ２３は、当該列を非動き列であると判断する(ステップＳ３７)。ＣＰＵ２３は、加算記憶された仮動き列が存在するか否か判断し(ステップＳ３９)、存在する場合には、隣接するそれらの集合が、閾値thwを超える幅を有するか否か判断する(ステップＳ４１)。本実施形態においては、閾値thwを２ブロック以上とした。この場合、加算記憶された仮動き列がブロック(0,2)〜(0,8)まで存在するので、前記閾値thwを超えているので、仮動き列を動き列とする（ステップＳ４５）。

ＣＰＵ２３は、処理ブロック番号jが最終か否か判断する（ステップＳ４６）。

処理ブロック番号j=10では、ブロック(0,10)の列には、動きブロックが存在しない。したがって、ＣＰＵ２３は、当該列を非動き列であると判断する(ステップＳ３７)。ＣＰＵ２３は、検出済みの仮動き列が存在するか否か判断し(ステップＳ３９)、この場合、存在しないので、ＣＰＵ２３は、処理ブロック番号jが最終か否か判断する（ステップＳ４６）。

以下、j=n-7まで、非動き列と判断がなされる。処理ブロック番号j=n-6には、動きブロック（m-3,n-6）が存在する。したがって、ＣＰＵ２３は、仮動き列として加算記憶する(ステップＳ３５)。

処理ブロック番号j=n-5では、ブロック(0,n-5)の列には、動きブロックが存在しない。したがって、ＣＰＵ２３は、当該列を非動き列であると判断する(ステップＳ３７)。ＣＰＵ２３は、検出済みの仮動き列が存在するか否か判断し(ステップＳ３９)、存在する場合には、隣接するそれらの集合が、閾値thwを超える幅を有するか否か判断する(ステップＳ４１)。本実施形態においては、閾値thwを２ブロック以上としたので、仮動き列の幅が前記閾値thwを超えていないので、仮動き列を非動き列とする（ステップＳ４３）。これにより、マウスなどの画像領域を誤って動き画像領域として認定することを防止することができる。

以下同様にして、行方向αについて、順次動きブロックが存在する列か否かを１列ずつ判断している。

なお、最終列であるブロック(0,n)の列が仮動き列である場合もある。この場合、ステップＳ４９にて、加算記憶された仮動き列が存在するか否か判断し、存在する場合には、ステップＳ４１以下の処理を実行する。

図１１に、検出後の動き列を示す。この場合、領域１２１が動き列として決定される。これに対して、動きブロック(6,n-3)，(m-3,n-6)が属する領域１２２，１２３は矢印α方向に、閾値thw以上の幅を有していないので、動き列としては決定されない。

つぎに、ＣＰＵ２３は、処理ブロック番号iを初期化する(図１２ステップＳ５１）。ＣＰＵ２３は、ブロック(0,0)の行に動きブロックが少なくとも１つ存在するか否か判断する(ステップＳ５３)。この場合、図９に示すように、ブロック(0,0)およびその横方向のブロック（0,1)〜（0,n）には、動きブロックが存在しないので、かかる行は、非動き行と判断する(ステップＳ５７)。ＣＰＵ２３は、加算記憶された動き行があるかどうか判断する(ステップＳ５９）。この場合、検出済みの動き行が存在しないので、ステップＳ６６に進み、処理ブロック番号iが最終か否か判断する。この場合、i=0で、最終ではないので、処理ブロック番号iをインクリメントし（ステップＳ６８）、ステップＳ５３以下を繰り返す。

処理ブロック番号i=4では、ブロック(4,0)の行には、動きブロックが存在する。したがって、ＣＰＵ２３は、この行を仮動き行として加算記憶する(ステップＳ５５)。

以下同様にして、i=8まで、ブロック(i,0)の行には動きブロックが存在する動き行であるとの判断がなされる。i=9にて、ブロック(i,0)の行には動きブロックが存在しないので、当該行は非動き行であると判断される(ステップＳ５７)。ＣＰＵ２３は、加算記憶された動き行があるか否か判断する(ステップＳ５９)。この場合、加算記憶された動き行があるので、それらの集合が、閾値thwを超える幅を有するか否か判断する(ステップＳ６１)。本実施形態においては、閾値thwを２ブロック以上とした。この場合、検出済みの動き行がブロック(4,0)〜(8,0)まで存在するので、前記閾値thwを超えているので、仮動き行を動き行とする（ステップＳ６５）。

以下同様にして、列方向βについて、順次動きブロックが存在する列か否かを１行ずつ判断する。ステップＳ６９の意義については、ステップＳ４９と同じであるので説明は省略する。

図１３に検出後の動き行を示す。この場合、領域１３１が動き行として決定される。動きブロック(6,n-3)は、領域１３１に属している。これに対して、動きブロック(m-3,n-6)が属する領域１３２は、矢印β方向に閾値thw以上の幅を有していないので、動き行としては決定されない。

ＣＰＵ２３は、動き列と動き行の双方に属するブロックを動き画像領域として決定する(図１２ステップＳ７０)。この場合、図１４に示す領域１２１と領域１３１の重複する領域１４０に属するブロックが動き画像領域として決定される。図９の動きブロックと比較すると、動きブロック(6,n-3)，(m-3,n-6)が排除される一方、ブロック(4,5）などが動き画像領域として決定されている。このようにして取りこぼしを周辺ブロックとの関係で防ぐことができる。

ＣＰＵ２３は、境界決定処理を行う(図６ステップＳ９)。図１４に示す領域１４０については、３２＊３２画素で構成されたブロックにおける動き画像領域の境界が得られている。ステップＳ９の処理により、図１６に示すように、１画素単位での動き画像領域の境界１５０を得ることができる。ステップＳ９の詳細について図１５を用いて説明する。

ＣＰＵ２３は、上側ブロックを抽出する(図１５ステップＳ８０)。この場合、図１６に示すブロック(4,2)〜(4,8)の計７つのブロックが抽出される。ＣＰＵ２３は、処理行番号Pを初期化し(ステップＳ８１）、抽出したブロックのP行目の画素を全て抽出するとともに、その代表値を演算する(ステップＳ８３)。この場合、ブロック(4,2)の０行目の３２画素、ブロック(4,3)の０行目の３２画素・・・と７*３２画素が抽出され、その代表値が演算される。本実施形態においては、代表値は抽出した画素の平均値とした。

つぎにＣＰＵ２３は、抽出したブロックの処理行番号P+1行目の画素を全て抽出するとともに、その代表値を演算する(ステップＳ８５)。この場合、ブロック(4,2)の１行目の３２画素、ブロック(4,3)の１行目の３２画素・・・と７*３２画素が抽出され、その代表値が演算される。

ＣＰＵ２３は、ステップＳ８３で求めた代表値とステップＳ８５で求めた代表値が異なるか否か判断する(ステップＳ８７）。ステップＳ８７にて両者が異なる場合には、画素（P,0)の行が境界であると判断する(ステップＳ９３）。ステップＳ８７にて両者が異ならない場合には、処理行番号Pをインクリメントし(ステップＳ８９）、抽出ブロックの最終画素（この場合、32画素）となるまでステップＳ８３以下を繰り返す(ステップＳ９１）。最終画素でもステップＳ８７にて両者が異ならない場合は、抽出したブロックの端部が境界であると判断する(ステップＳ９５)。

図１５においては、上部のブロックにおける１画素単位の境界を抽出する場合について説明したが、下部のブロックについても同様である。

このように、外周のブロックについて、上部、下部であれば横方向に１行分画素を抽出して、その代表値を隣接する行と比較することにより、ブロック内における1画素単位の境界を取得することができる。

なお、左右の境界については、縦方向に１列分画素を抽出して、その代表値を隣接する列と比較すればよい。

本装置においては、動き画像領域を自動的に検出することができる。また、その判断も数フレームで検出可能である。したがって、モニタ上で動画領域自体が動的に変動する場合であっても、ほぼリアルタイムで動画領域を検出できる。

（１．４ 第２の実施形態）
本実施形態においては、前フレームの動き領域と後フレームの動き領域のずれを検出して、FRC処理がなされているかを判断するようにした。しかし、これに限定されず、いずれかのフレームについて、下記のような目標フレームを算出して、これともう一方のフレームの動き領域を比較するようにしてもよい。目標フレームの算出は、例えば、以下のように行われる。画面の横方向にて左端の画素から隣の画素との差分を計算する。このような黒い帯のような表示領域が存在する場合、しばらく差分が０が続いた後、いきなり大きな値となる。画面の右側についても同様である。これを画面横方向の左右、縦方向の上下、求めることにより目標領域を決定することができる。例えば、横方向であれば、上から数行はずっと差分０となり、差分が検出される行になると、それ以降は差分が検出される。すべての行についてこのように検出してもよく、一部だけを取り出して、判断するようにしてもよい。このようにFRC判断の目標領域を決めることにより、画面解像度が小さい場合には、FRC処理がなされていない周辺領域を除外することができる。

（２. 他の実施形態）
上記実施形態においては、前フレームと後ろフレームの動き領域のズレが閾値以下のフレームが複数連続するか否かで判断するようにした。これによりノイズを除去できる。また、通常の動画と区別することができる。なぜなら、通常の動画であっても、数フレームに一回動画領域が検出されることもあるが、連続して複数回の検出はほとんどないからである。

なお、連続した場合に限定されず、１度でもズレが閾値以下なら、FRC処理がなされていると判断するようにしてもよい。

また、本実施形態においては、前フレームと後ろフレームの動き領域のズレが閾値以内であればFRC処理されていると判断するようにしたが、これに限定されず、動き領域の検出と動き領域の非検出が繰り返されない場合には、FRC処理されていると判断するようにしてもよい。

上記実施形態においては、FRC処理の後の画像処理として、画像処理として、動き検出をする場合について説明した。いずれも動き検出であるので、FRC検出装置における検出は、通常の動き検出よりも、精度が高くなるように設定すればよい。精度を高くするには、ブロックの特徴量がより精密に抽出できる値を採用してもよい。例えば、後の画像処理における検出は、ブロックの特長量を画素の平均値を用いて、FRC検出における演算では、より精密に判断できるＣＲＣ値などをブロックの動き検出特徴量とすればよい。

また、このような特徴量について質を変えるのではなく、同じ特徴量を用いつつ、各ブロック特徴量の下限閾値を高くすることにより、精密に判断できるようにしてもよい。

上記においては、ブロックに分割したが、フレームメモリを用意して、画素単位で比較して動き領域を判断するようにしてもよい。

なお、本実施形態においては、16フレームのうち、前の4フレームでFRC検出を行い、その後ろの12フレームは、かかるFRC判断に基づいて画像処理の閾値を変更するようにしたが、1周期遅れた、次の12フレームの閾値とするようにしてもよい。また、入力画像のフレームレートおよびモニタの表示レートについては任意である。

また、上記実施形態では、前フレームおよび後フレームで、動画領域として全画面が検出された場合には、全画面が動き領域として検出するようにしたが、この場合、動き領域は検出されないと判断してもよい。

本実施形態においては、動き領域の抽出に図６〜図１６に示すように、動き領域の外周に位置するブロックを決定して、その内部に存在するブロックは、動き領域として決定するようにしたが、かかる矩形動き領域の決定手法についてはこれに限定されない。

本実施形態においては、画素値として輝度値を採用したが、ＲＧＢの値などであってもよい。

上記実施形態においては、画像処理装置として、動き領域判断装置の場合について説明したが、これ以外の画像処理装置、例えば、テキスト検出装置、またはノイズ除去装置についても、FRC処理の検出結果に基づき、同様に後処理における画像処理の閾値を変動させることにより、FRC処理された画像であっても、適切な画像処理が可能となる。

なお、本装置については、FRC処理部をさらに含むモニタとして構成してもよく、FRC処理部をさらに含むビデオボードとして構成することもできる。また、FRC処理部をビデオボードに搭載し、本装置を含むモニタとして構成してもよい。

なお、入力画像のフレームレートが60FPSであっても、一部に静止画領域がある場合には、FRC処理がなされているか否かを判断することができる。また、かかるフレームレートで、全画面が動き領域の場合には、それがFRC処理された画像か否かを検出できないおそれはあるが、このような場合にはそもそも、時間的なFRC処理がなされないので、特に問題は生じない。

上記実施形態においては、図１に示す機能を実現するために、ＣＰＵ２３を用い、ソフトウェアによってこれを実現している。しかし、その一部もしくは全てを、ロジック回路などのハードウェアによって実現してもよい。なお、プログラムの一部の処理を、オペレーティングシステム（ＯＳ）にさせるようにしてもよい。

２３ ＣＰＵ
２５ ＲＡＭ
２６ フラッシュメモリ

Claims (10)

1. 前フレームにおける前フレーム動き領域を検出する前フレーム動き領域検出手段、
   前記前フレームよりも後ろに位置する後ろフレームにおける後フレーム動き領域を検出する後フレーム動き領域検出手段、
   前記前フレーム動き領域と前記後フレーム動き領域とのずれが領域ずれ閾値以下であれば、フレームレートコントロール処理されていると判断して、画像処理パラメータの閾値を変動させるパラメータ変更命令を出力する判断手段、
   前記パラメータ変更命令を受け取ると、画像処理パラメータの閾値を変動させる画像処理手段、
   を備えた画像処理装置。
2. 請求項１の画像処理装置において、
   前記判断手段は、前記ずれ判断が連続するフレームで複数回繰り返される場合に、フレームレートコントロール処理されていると判断すること、
   を特長とする画像処理装置。
3. 請求項１または請求項２の画像処理装置において、
   前記各フレーム動き領域は、複数画素で構成されたブロックで構成されていること、
   を特長とする画像処理装置。
4. 請求項１〜請求項３のいずれかの画像処理装置であって、
   前記画像処理手段は、矩形動き領域判断手段であり、前記パラメータ変更命令を受け取ると、動き領域か否かを判断するための閾値を高く変動させること、
   を特長とする画像処理装置。
5. 請求項１〜請求項３のいずれかの画像処理装置であって、
   前記画像処理手段は、テキスト領域判断手段であり、前記パラメータ変更命令を受け取ると、テキスト領域として判断するための前記閾値を低く変動させること、
   を特長とする画像処理装置。
6. 請求項１〜請求項３のいずれかの画像処理装置であって、
   前記画像処理手段は、ノイズ除去手段であり、前記パラメータ変更命令を受け取ると、ノイズとして判断するための前記閾値を高く変動させること、
   を特長とする画像処理装置。
7. 各フレームの画像データが与えられると、矩形動き領域を検出する矩形動き領域検出手段を備えた矩形動き領域検出装置であって、
   前フレームにおける前フレーム矩形動き領域および前記前フレームよりも後ろに位置する後ろフレームにおける後フレーム矩形動き領域を検出し、前記前フレーム矩形動き領域と前記後フレーム矩形動き領域とのずれが領域ずれ閾値以下であれば、フレームレートコントロール処理されていると判断して、パラメータ変更命令を出力する判断手段、
   前記各フレームの一部のフレームについての画像データを前記判断手段に与えるデータ付与手段、
   を備え、
   前記判断手段におけるフレーム動き領域の検出の方が、前記矩形動き領域検出手段における矩形動き領域判断よりも、高精度で実行されること、
   を特長とする矩形動き領域検出装置。
8. 複数フレームの画像データが与えられると、各フレームにおけるフレーム矩形動き領域を検出するフレーム矩形動き領域検出手段、
   前記フレーム矩形動き領域検出手段によって、検出された前フレームにおける前フレーム矩形動き領域と、前記前フレームよりも後ろに位置する後ろフレームにおける後フレーム矩形動き領域とのずれが領域ずれ閾値以下であれば、フレームレートコントロール処理されていると判断して、画像処理パラメータの閾値を変更するパラメータ変更命令を出力する判断手段、
   を備えたフレームレートコントロール処理検出装置。
9. 前フレームにおける前フレーム動き領域を検出する前フレーム動き領域検出ステップ、
   前記前フレームよりも後ろに位置する後ろフレームにおける後フレーム動き領域を検出する後フレーム動き領域検出ステップ、
   前記前フレーム動き領域と前記後フレーム動き領域とのずれが領域ずれ閾値以下であれば、フレームレートコントロール処理されていると判断して、画像処理パラメータの閾値を変動させるパラメータ変更命令を出力する判断ステップ、
   前記パラメータ変更命令を受け取ると、画像処理パラメータの閾値を変動させる画像処理ステップ、
   を備えた画像処理方法。
10. 前フレームに関連する複数フレームの画像データが与えられると、前フレームにおけるフレーム矩形動き領域を検出する前フレーム矩形動き領域検出ステップ、
    前記前フレームよりも後ろに位置する後ろフレームに関連する複数フレームの画像データが与えられると、後フレームにおけるフレーム矩形動き領域を検出する後フレーム矩形動き領域検出ステップ、
    前記前フレーム矩形動き領域と、前記後フレーム矩形動き領域とのずれが領域ずれ閾値以下であれば、フレームレートコントロール処理されていると判断して、画像処理パラメータの閾値を変更するパラメータ変更命令を出力する判断ステップ、
    を備えたフレームレートコントロール処理検出方法。

Images