JP3948865B2 - 動画像特定色検出装置 - Google Patents
動画像特定色検出装置 Download PDFInfo
- Publication number
- JP3948865B2 JP3948865B2 JP29338599A JP29338599A JP3948865B2 JP 3948865 B2 JP3948865 B2 JP 3948865B2 JP 29338599 A JP29338599 A JP 29338599A JP 29338599 A JP29338599 A JP 29338599A JP 3948865 B2 JP3948865 B2 JP 3948865B2
- Authority
- JP
- Japan
- Prior art keywords
- specific color
- color
- moving image
- luminance
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Spectrometry And Color Measurement (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像中の特定色の物体を検出する動画像特定色検出装置に関する。
【０００２】
【従来の技術】
一般に、動画像を監視する動画像監視システムは、主に画面内に進入してきた物体等を検出するものであり、画面内で位置が移動した物体を検出するものがほとんどである。一方、監視している画像がプラントの計器盤などの場合には、変化するのは表示装置のランプの色であったりする場合が多い。このような場合、変化後のランプの色を予め特定色として記憶しておき、監視画像中にその特定色が検出されたときに、プラントの異常であると判定することになる。
【０００３】
画像中から特定色検出をするためには、その画像を構成する画面の画素毎の色を調べることが必要であり、画素毎にその特定色を調べる処理は、多くの計算量を必要とする。例えば、ITU-T H.261、H.263、ISO/IEC MPEG-4等でよく用いられるCIFフォーマットの場合、横３５２画素、縦２８８画素で合計１０１３７６個もの画素について色空間を変換することになる。このような計算量の多い処理に対しては、専用のハードウェアを用意する必要があるので、コスト面でも大きな問題がある。このため、動画像のソフトウェア処理により特定色を検出するプラント監視装置として、例えば特願平１０−３５１６４８号が提案されており、また、特願平１１−１８２１０号の動画像特定色検出装置及び検出方法が提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、特定色の設定方法に関しては、色空間上で上下限値を持たせて設定するようにしているが、その評価方法や特定色を設定するときのヒューマンインタフェースについては特に言及していない。そのため、特定色を検出するときに誤検出を起こしたり、設定した色と検出する色にズレが生じることがある。
【０００５】
本発明は、検出しようとする特定色を精度よく設定し検出できる動画像特定色検出装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１の発明に係わる動画像特性色検出装置は、監視対象である動画像を圧縮した符号化データを入力し復号する動画像復号化部と、前記動画像中から検出する物体の特定色およびその許容範囲を入力する特定色入力部と、前記動画像中の色データが前記特定色入力部で設定された特定色の許容範囲内に入っているブロックを検出する特定色物体検出部と、前記特定色物体検出部が特定色を含むブロックを検出したとき前記動画像上に検出表示を合成して表示する動画像表示部とを備え、前記特定色物体検出部は、前記動画像復号化部で復号された画像中の各画素の平均輝度と予め記憶された基準平均輝度との輝度偏差を求め、その輝度偏差に基づいて特定色およびその許容範囲を補正することを特徴とする。
【０００７】
請求項１の発明に係わる動画像特性色検出装置では、特定色入力部により動画像中から検出する物体の特定色およびその許容範囲を入力し、特定色物体検出部は、動画像復号化部からの動画像中の色データが特定色入力部で設定された特定色の許容範囲内に入っているブロックを検出する。そして、動画像表示部は、特定色物体検出部が特定色を含むブロックを検出したとき、動画像上に検出表示を合成して表示する。そして、特定色の設定時の画像の平均輝度を予め保存しておき、動画像の平均輝度を導出して特定色の設定時の平均輝度と動画像の平均輝度とを比較し、平均輝度の差に合わせて特定色の輝度および輝度許容範囲を輝度差に合わせて変更する。これにより、画像の輝度が変化したときに特定色の輝度範囲を適切に指定できる。
【０００８】
請求項２の発明に係わる動画像特性色検出装置は、前記特定色物体検出部が、前記動画像復号化部で復号された画像中の特定色非検出点の平均輝度と予め記憶されたその特定色非検出点の基準輝度との輝度偏差を求め、その輝度偏差に基づいて特定色およびその許容範囲を補正する。
【０００９】
本発明の請求項２記載の動画像特定色検出装置では、予め設定した画像上の特定色非検出点の特定色データ設定時の色データを保存しておき、その非検出点に対する現画像の色データを抽出してそれらの差分を導出し、現画像における特定色データとその許容範囲を色表示可能領域の範囲内で特定色非検出点の差分を用いて設定した特定色データを補正する。これにより、画像撮影時の画像全体の色変動分を補正した特定色検出が可能になる。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態を説明する。図１は本発明の第１の実施の形態に係わる動画像特性色検出装置の構成図である。図１において、動画像符号化部１０１は動画像を圧縮した符号化データの復号化処理を行うものであり、動画像符号化部１０１で復号化されたデータは特定色物体検出部１０２の変化ブロック抽出部１１１に入力されると共に、動画像表示部１０３に入力される。一方、特定色入力部１０４からは動画像中から検出する物体の特定色およびその許容範囲が入力され、特定色データ保存部１０５に記憶される。特定色入力部１０４は特定色およびその許容範囲を入力する際に色空間を表示するための表示装置を有している。この表示装置に表示された色空間上で特定色および許容範囲を指定して、それらを入力することになる。
【００３３】
特定色物体検出部１０２は、動画像中の色データが特定色入力部１０４で設定された特定色の許容範囲内に入っているブロックを検出するものである。特定色物体検出部１０２の変化ブロック抽出部１１１では、画像上の輝度値、色差、色度値が変化したブロックを抽出し色データ判定部１１２に出力する。色データ判定部１１２では、特定色データ保存部１０５に保存された特定色と変化した色とを比較する。すなわち、画像の各ブロックの輝度値、色差、色度値が特定色の輝度値、色差、色度値の許容範囲内に入っているか否かを判定する。そして、その許容範囲内に入っているときは、特性色ブロック判定部１１３は、許容範囲内にあるブロックの連鎖状態を評価し、連鎖状態評価の結果から特定色を検出する。
【００３４】
動画像表示部１０３は、特定色物体検出部１０２が特定色を含むブロックを検出したとき、動画像上にその検出表示を合成して表示し、監視員に特定色物体の変化を提供する。
【００３５】
図２は動画像復号化部１０１の構成図である。図２において、符号化データは１フレーム毎に可変長復号化部１２１に入力される。入力された符号化データは、符号化の逆過程として可変長復号化部１２１によって復号化され、逆量子化部１２２によって逆量子化される。さらに、IDCT部１２３によって逆離散コサイン変換が行われる。
【００３６】
ここで、動画像データのフレームには、フレーム全体のデータを含むイントラフレームと、過去のフレームとの差分情報だけを含むインターフレームとがある。前者のイントラフレームの場合、IDCT部１２３から出力されたデータから一つのフレームを構成することができるが、後者のインターフレームの場合、IDCT部１２３から出力されたデータからは、過去のフレームにおける値と差異があったブロック以外は構成できない。
【００３７】
そこで、スイッチ１２６を切り替えることにより、過去のフレームデータを蓄積するフレームメモリ１２４からのデータを動き補償部１２５を通して加算器１２７で加算し、IDCT部１２３からの出力データと合成する。
【００３８】
特定色物体検出部１０２では、動画像符号化部１０１からのデータを用いて特定色の検出を行う。特定色物体検出部１０２の変化ブロック抽出部１１１では、入力された符号化データが画像内の全マクロブロックを含んでいるか、あるいは変化したマクロブロックのみを表しているかを判断し、特定色の検出判定対象となるマクロブロックを抽出する。この判断は、動画像符号化部１０１で符号化データに付随して設定されたモード情報を用いて行われる。
【００３９】
すなわち、入力されたフレーム内のブロックで色の変化があった場合、そのブロックは過去のフレームのブロックから変化する。このため、その変化は差分情報として動画像復号化部１０１のIDCT部１２３から出力される。画像データの色データがYCbCrカラーモデルで表現される場合、IDCT部１２３からのデータは、画素毎に輝度信号Y、青からの色差信号Cbと赤からの色差信号Crとを含んでいる。
【００４０】
色データ判定部１１２では、対象ブロックの色データと特定色入力部１０４から入力され特定色データ保存部１０５に保存された特定色と比較し、特定色であるかどうかを判断する。図３は、色データ判定部１１２の処理内容を示すフローチャートである。
【００４１】
まず、ブロック内の各画素の色データを入力し（Ｓ１）、ブロック内の画素(i,j)のYCbCr値が特定色許容範囲内に含まれるか否かを判定する（Ｓ２）。特定色許容範囲内に含まれる場合にはその画素をカウントし（Ｓ３）、含まれないときにはステップＳ２に戻る。つまり、ブロック内のすべての画素についてステップＳ２およびステップＳ３を繰り返し行う。
【００４２】
色データ判定部１１２では、入力したブロック内の画素に特定色入力部１０４で予め設定された範囲に入る色データが含まれているかどうかを判定する。
【００４３】
ここで、ステップＳ２での特定色の判定方法は特定色入力部１０４における特定色の範囲設定方法により異なり、特定色の範囲がYCbCrで設定されている場合には、以下の式を評価することになる。
【００４４】
Y1＜Y＜Y2、 Cb1＜Cb＜Cb2、 Cr1＜Cr＜Cr2
なお、色データの評価では輝度信号Yを評価せず、色差信号Cb、Crのみを評価する方法を用いてもよい。
【００４５】
次に、ブロック内のすべての画素について、ステップＳ２およびステップＳ３の処理が終了すると、カウントした画素数が予め定めた検出最小画素数より大きいか否かを判定し（Ｓ４）、特定色検出画素数が検出最小画素数より大きいときはそのブロックは特定色を包含するので、特定色包含フラッグをＯＮする（Ｓ５）。一方、特定色検出画素数が検出最小画素数より小さいときはそのブロックは特定色を包含しないので、特定色包含フラッグをＯＦＦする（Ｓ６）。このようにして、色データ判別部１１２はブロックが包含する特定色の検出を行う。
【００４６】
また、色データ判定部１１２では特定色が消滅したときの検出も行う。特定色の検出は、変化が検出されたブロックをトリガーとしてそのブロックに関連するブロックを特定色ブロック判定部１１３で判定することにより特定される。この判定は、変化ブロックをトリガーとして実施されるため、特定色が点灯したままの状態ではブロック判定は行なわず、前の状態を保持する。そのため、一度特定色が検出されたブロックは、その状態が変化するまで特定色検出状態が保持され続け、特定色が消滅したときに保持状態を解除する必要がある。
【００４７】
そこで、色データ判定部１１２では変化ブロック抽出部１１１で変化が検出されたブロックが以前のフレーム処理で特定色ブロック判定部１１３にて特定色ブロックと判定されたブロックである場合には、上記色データ評価とは逆に、特定色の許容範囲外にあるかどうかを判定する。
【００４８】
図４は、特定色ブロック判定部１１３の処理内容を示すフローチャートである。まず、特定色包含ブロックの特定色物体判定を行い（Ｓ１０１）、特定色物体の外郭ブロックを検出する（Ｓ１０２）。
【００４９】
すなわち、この特定色包含ブロックの特定色物体判定Ｓ１０１では、特定色包含フラッグがＯＮに変わったブロックに関して、特定色が検出されたブロックの分布状態を評価し、分布状態からそのブロックが特定色物体であるかを判定する。
【００５０】
画像データにノイズが入った場合や被写体の一部に意図しない特定色が混在しているような場合には、１つのブロックで特定色が検出され、廻りのブロックでは特定色が検出されないような状況が発生する。このような状況における偶発的な特定色検出を防ぐため、特定色が検出されたブロックの廻りのブロックの特定色検出状態を評価し、特定色物体の特定基準（例えば特定色が検出されたブロックが連続して存在するときに特定色物体とする）を満足するブロックを特定する。
【００５１】
次に、特定色物体の外郭ブロック検出Ｓ１０２では、特定色検出ブロックの連続した範囲を求め、検出された特定色物体ブロックの外枠を求める。これは、特定色物体であると判定されたときには、特定色物体の範囲を動画像表示部１０３で合成表示するためである。
【００５２】
図５は、特定色物体の外郭ブロック検出Ｓ１０２により、特定色物体の外枠を四角で囲むときの一例を示す説明図である。ここでは、外枠を求めるための探索を上−右−下−左の順に行うものとする。図中ハッチで示してあるブロックは特定色の検出フラッグがＯＮであることを示す。
【００５３】
まず、ブロック(A5,B5)が検出対象であるとし、ここから探索を始める。探索では、まず対象ブロック(A5,B5)の上下左右の４ブロックの特定色検出状態を調べ、４つのブロックのうち特定色が検出されたブロックが１ないし２の場合には頂点ブロックフラッグをＯＮにする。
【００５４】
次に、ブロック(A5,B5)の上にあるブロック(A5,B4)は特定色が検出されていないので、右にあるブロック(A6,B5)を調べる。ブロック(A6,B5)は特定色ブロックであるので視点をここに移して探索を行う。ブロック(A6,B5)は、廻り４ブロックが特定色ブロックであるので、頂点ブロックフラッグはOFFのまま、上にある特定色ブロック(A6,B4)に視点を移動する。このような処理を時計まわりに順に行ない外郭を一周する。なお、一度探索したブロックは探索済みのフラッグをＯＮにして、探索が重複しないようにする。探索が終了すると、次に頂点ブロックフラッグがＯＮのブロックの座標を調べ、その中か座標の最大、最小値を求める。
【００５５】
図５では、(A6,B4)、(A7,B4)、(A8,B5)、(A7,B6)、(A6,B7)、(A5,B7)、(A3,B7)、(A4,B5)のブロックが頂点ブロックとなるので、これらの座標からA3-A8、B4-Bの値を求め、この値に対応した四角を生成し、動画像復号化部１０１で復号化された再生画像の上に、動画像表示部１０３にて合成表示する。
【００５６】
ここで、特定色入力部１０４からは、表示装置に表示した色空間から、特定色およびその許容範囲を入力するようにしているが、それに加えて輝度値も入力する。すなわち、輝度を一定としたときの青からの色差信号および赤からの色差信号を軸とした空間で色を表現する色空間と、輝度値を設定するための輝度値入力表示とを表示装置の同一画面上に表示し、輝度値入力表示に基づいて指定された輝度値に対する色空間上で特定色および色差成分の許容範囲を入力する。
【００５７】
特定色入力部１０４では、特定色を指定する場合には３つの変数を用いて指定する。YCbCrカラーモデルを用いるときには、輝度Yと色差Cb、Crの３つの値を指定することで色を特定する。特定色を選択するときには、図６に示す色空間を表示装置に表示する。
【００５８】
図６において、色空間は輝度Yを一定にしたときの２つの色差Cb、Crを軸とする色空間１３１で色が表現される。この色空間１３１上で検出する特定色の範囲を指定する場合には、図７に示すように、領域を円などの図形で指定し、その中に含まれる色が特定色となるように色データ判定部１１２での色データ評価式を設定することになる。
【００５９】
この場合、実際に動画像中に表示される色は色差成分だけでなく、輝度値により変わるため、輝度値一定の色空間を見ながら特定色の範囲を指定する場合には、意図した範囲を正確に指定できないことがある。
【００６０】
そこで、図８に示すように特定色の入力時に色空間１３１だけでなく輝度分布表示１３２を同時に表示し、色空間に表示する色を輝度値で制御する。まず、輝度分布表示１３２上で輝度値を選択する。色空間１３１ではその輝度値に合わせて表示色が変更される。
【００６１】
図８において、表示装置上に色空間１３１を表示する場合には、座標Cb、Crに対応する点の色をRGB値に変換して表示する。ここで、RGBカラーモデルとYCbCrカラーモデルは以下の式で関係付けられる。
【００６２】
R= Y+0.0000Cb+1.4022Cr
G= Y-0.3456Cb-0.7145Cr
B= Y+1.7710Cb+0.0000Cr
【００６３】
この関係を基に、まず予め定めた輝度Yの基準値に対するCbCr空間の点の色をRGB値に基づき表示する。次に、特定色の指定者が図８の下の輝度分布表示１３２上の点を選択し、輝度を指定したときにその輝度値に対するCbCr空間上の点の色を上式から求めたRGB値により表示する。すなわち、CbCr空間に表示される色は選択された輝度値に対する色が表示されることになる。
【００６４】
このように、特定色入力部１０４の表示装置に色空間１３１と輝度値入力表示１３２とを同時に表示し、輝度値を変えたときに連動して色空間１３１に表示する色を変化させ、選択された輝度値に対する色空間１３１上で選択された点から特定色の色差ないし色度値に対する許容範囲を導出する。
【００６５】
また、図９に示すように、輝度値入力表示１３２に代えて、色空間１３１上で選択された特定色の輝度範囲を設定するための同系色分布表示１３３を表示し、同系色分布表示１３３上で輝度に対する許容範囲を入力することも可能である。つまり、輝度分布に対する同系色分布表示１３３上で選択された色を、特定色もしくは特定色の輝度および色差ないし色度値に対する許容範囲の指定点に設定する。
【００６６】
図８に示した輝度分布表示では、特定色の許容範囲を色差成分に対して指定することができる。そして、輝度値に対する許容範囲を持たせる必要があるときには許容範囲を自動的に設定することになる。これに対して、図９に示す同系色分布表示では、色空間１３１と色空間１３１上で選択された色に対する輝度方向の同系色分布表示１３３を用いて輝度値に対する許容範囲を指定できるようにする。
【００６７】
図９において、まず色空間１３１上で検出する色の基準色を選択する。このとき選択された基準色のCbCr値に対して輝度Yの値を０〜１（Yは規格化）の間で変化させたときのRGBの値で表現される色を同系色分布表示１３３に表示する。この同系色分布表示１３３上で範囲を指定することにより輝度Yに対する許容範囲を指定する。なお、色差CbCrに対する許容範囲は図８の場合と同様に色空間１３１上で指定する。
【００６８】
次に、特定色入力部１０４の表示装置に動画像復号化部１０１で復号された画像を表示し、その画像中から検出する物体を指定して特定色およびその許容範囲を入力することも可能である。つまり、表示された画像上で選択した点を特定色の色とし、画像上で範囲指定された領域の表示色を特定色の色差ないし色度値に対する許容範囲に設定する。
【００６９】
実際に検出する色を動画像上で表現できる場合には、動画像上で色を指定する方が正確な色を指定できる。そこで、図１０に示すように、再生した動画像上で検出する色が表示されている部分を選択し、選択された部分の色データを取り込み、その色を特定色あるいは特定色の許容範囲として入力し設定する。また、画像上で領域が選択された場合には、特定色の許容範囲を求める処理を行う。
【００７０】
図１１は、特定色入力部１０４により動画像上で特定色を指定する場合の処理内容を示すフローチャートである。まず、検出したい色を画像上で指定する（Ｓ１１１）。次に、指定された画像上の点の座標を求め（Ｓ１１２）、この座標に対応する画像データの色データを抽出し（Ｓ１１３）、この値を特定色の基準値として設定する（Ｓ１１４）。
【００７１】
図１２は、特定色入力部１０４により動画像上で特定色の許容範囲を指定する場合の処理内容を示すフローチャートである。
【００７２】
まず、画像上で特定色のエリアを選択し（Ｓ１２１）、選択されたエリア内に含まれる部分の色データを抽出する（Ｓ１２２）。ここで抽出される色データは複数抽出されるため、この中から抽出された色の分布状態を調べ、抽出された色の色差成分を基に色空間１３１上に抽出点を表示する（Ｓ１２３）。次に、色空間１３１上に許容幅を径とする円を表示し（Ｓ１２４）、その円の中に抽出した点が最も多く含まれるように円の位置を移動する（Ｓ１２５）。このときの円の中心を特定色の基準値、円内を特定色の許容範囲として設定する（Ｓ１２６）。
【００７３】
ここで、画像上で指定された領域を基に特定色の許容範囲を自動的に算出するようにしたが、画像上の領域指定で抽出された点を色空間１３１上にプロットした画面を表示し、抽出点の色分布状態を見ながら利用者自身が許容範囲を選択できるようにしてもよい。この場合には、抽出点の包含率が大きくなるように許容範囲指定の図形の大きさを調整することが容易に行なえる。
【００７４】
また、特定色入力部１０４の表示装置に表示された動画像上に、色空間１３１上で変更修正された特定色およびその許容範囲を表示するようにしても良い。つまり、色空間１３１上で特定色の許容範囲を指定したときに、その特定色を動画像上に表示するので特定色の許容範囲を確認しながら指定でき、実際に画像上で表現される色に合わせて特定色の検出範囲を指定できる。
【００７５】
図１３は、特定色入力部１０４の表示装置に表示された動画像上に、色空間１３１上で変更修正された特定色およびその許容範囲を表示する場合の説明図である。特定色を設定するときに、特定色入力部１０４の表示装置に、特定色の許容範囲を指定する色空間１３１と動画像とを同一画面上に表示する。まず、色空間１３１上で特定色の許容範囲を指定する。そして、動画像上に色空間１３１で指定した特定色の許容範囲を表示する。つまり、色空間１３１と動画像とを一緒に表示することにより、色空間１３１で設定された特定色の許容範囲による検出結果を確認しながら許容範囲を指定できる。
【００７６】
また、図１４に示すように、図１３に示した動画像および色空間１３１に加え、色空間１３１上での特定色の輝度範囲を設定するための同系色分布表示１３３を表示し、同系色分布表示１３３上で変更修正された輝度の許容範囲に基づいた特定色を動画像上および色空間上に表示するようにしても良い。
【００７７】
画像の色は撮影するときの廻りの環境に左右され易く、特に輝度成分は撮影時刻や照明の状態により変化し易い。このような環境で特定色の検出を行うときには、画像の輝度成分が変化したときに特定色検出結果がどうなるかを確認しておく必要がある。
【００７８】
そこで、動画像復号化部１０１に画像の輝度を変更する手段を設けて画像の輝度を変更する。このとき、同時に特定色入力部１０４の色空間１３１で色を表示するときの基準輝度値を連動して変更し、画像輝度に合わせて色空間１３１の表示色を切替える。
【００７９】
図１５は、特定色入力部１０４の輝度変更に伴う特定色検出結果確認の処理内容を示すフローチャートである。まず、画像上で検出したい部分を選択し（Ｓ１３１）、選択された領域に含まれる画素の平均輝度Yaを求める（Ｓ１３２）。次に平均輝度Yaを輝度とする色を色空間１３１上に表示し（Ｓ１３３）、同時に画像上で指定された領域に対応する色の色空間１３１上での領域を表示する（Ｓ１３４）。
【００８０】
ここで、輝度分布表示１３３で確認したい輝度を入力し、選択された輝度Ycに対応して色空間１３１上に表示する色を変更する（Ｓ１３５）。そして、輝度変更の差分ΔYを算出し（Ｓ１３６）、画像の各画素の輝度にその差分ΔYを加算して表示する（Ｓ１３７）。この画像を用いて特定色検出を行ない（Ｓ１３８）、特定色検出結果を画像に合成表示する（Ｓ１３９）。
【００８１】
この状態で、色空間上１３１で特定色検出領域の変更があった場合には（Ｓ１４０）、ステップＳ１３８およびステップＳ１３９を再度実行し、特定色の検出範囲を調整する。また、輝度方向の同系色分布表示１３３上で輝度範囲が選択された場合には（Ｓ１４１）、ステップＳ１３５〜ステップＳ１４０を再度実行し輝度変化に対して特定色検出結果がどう変わるかを確認し、特定色の検出範囲を調整する。
【００８２】
このように、色空間１３１と特定色物体の検出結果とを合成した再生画像を同時に表示し、輝度値を変えたときに画像の輝度変更と連動して色空間１３１に表示する色を変更し、そのときに色空間１３１上で指定された特定色の許容範囲に基づき特定色の検出した結果を画像上に合成表示する。これにより、画像の輝度が変化したときの特定色検出結果を確認しながら特定色の検出範囲を指定できる。
【００８３】
ここで、動画像表示部１０３は、特定色物体検出部１０２の特定色ブロック判定部１１３で特定色が検出されたときは、そのブロックを枠で表示する。また、複数の特定色に対しては、枠の表示色を別々にして表示する。
【００８４】
特定色物体検出部１０２の特定色ブロック判定部１１３で特定色が検出されたときには、検出された特定色物体の外郭を囲む枠を画像上に合成表示する。この場合、検出する特定色が複数同時に設定され、その複数の特定色が検出されたときには、特定する色毎に検出時の枠の色を変え、どの色が検出されたかを明記する。これにより、特定色物体の認識が容易になる。
【００８５】
次に、本発明の第２の実施の形態を説明する。図１６は本発明の第２の実施の形態に係わる動画像特性検出装置の構成図である。この第２の実施の形態は、図１に示した第１の実施の形態に対し、検出ブロック設定部１０６を追加して設けたものである。検出ブロック設定部１０６は、動画像復号化部１０１で復号された画像を表示し、その画像中から特定色検出を行うブロックを予め指定する。特定色物体検出部１０２は、検出ブロック設定部１０６でブロックが指定されたときは、その検出ブロック設定部１０６で設定されたブロックに対してのみ特定色検出を行う。
【００８６】
撮影する被写体が固定されているときには、色変化する物体を予め指定することができる。例えば、制御盤上のランプの色変化を検出するときには、検出する物体をランプのみに指定することができ、検出対象の画像ブロックを指定することで、不要なブロックに対する処理を省略し、効率的な処理を行うことができる。
【００８７】
そこで、画像上で特定色検出を行うブロックを指定する検出ブロック設定部１０６を設け、図１７に示すように、画像上でブロックを設定し、特定色物体検出部１０２は、その設定されたブロックのみに対して特定色検出処理を行うようにする。
【００８８】
図１６において、検出ブロック設定部１０６は動画像復号化部１０１で復号化された再生画像と各ブロックの位置データとを取り込む。ここで取り込む画像は動画像である必要はなく、１フレームだけ読み込んだ静止画像でよい。
【００８９】
次に、取り込んだ画像を表示し、画像上で検出ブロック設定者が選択した点や領域を枠表示や色替えなどのマーキング処理を行い、画像上に表示する。設定者による画像上でのブロック設定が終了した後、検出対象とするブロックを設定する。
【００９０】
図１８は、検出ブロック設定部１０６の処理内容を示すフローチャートである。まず、画像上で検出対象とする領域を選択する（Ｓ１５１）。次に、この領域の頂点座標を取得する（Ｓ１５２）。領域を四角で囲む場合には対角の２点の座標が取得される。抽出された座標を基に選択された領域に含まれるブロックを抽出し（Ｓ１５３）、抽出されたブロックの検出対象フラッグをＯＮにする（Ｓ１５４）。設定された検出対象ブロックのデータは、特定色物体検出部１０２の変化ブロック抽出部１１１に入力され、特定色検出処理が実行されるときに検出対象ブロックがＯＮのブロックに対してのみ検出処理を行うようにする。
【００９１】
このように、検出ブロック設定部１０６により、特定色検出を行う画像上でブロックを指定し、特定色物体検出部１０２は指定されたブロックに対してのみ特定色検出を行う。これにより、画像上からユーザーが必要とする範囲のみを検出対象とすることができる。
【００９２】
次に、第１の実施の形態または第２の実施の形態において、特定色物体検出部１０２では、動画像復号化部１０１で復号された画像中の特定色が検出されたブロックに対して、ブロック内の特定色を示す画素の割合を検出し、特定色の画素の割合が基準値以上のブロックを特定色のブロックであると判定する。
【００９３】
特定色の検出は画像のブロック単位で行われ、ブロック内に特定色の許容範囲にある色データを有する画素が含まれているかどうかで特定色を検出する。この場合、物体の色にばらつきがあったり、ノイズが混入した場合には意図しない特定色検出が発生することがある。そのため、特定色検出に際してブロック内に含まれる画素のうち特定色を示す画素の割合を求め、この割合が一定値以上検出されたブロックのみ特定色が検出されるようにする。
【００９４】
また、図１９に示すように特定色が含まれる画素のブロック内での割合は、ブロックが特定色物体の外郭に位置するか、内部に位置するかにより異なる。そこで、特定色が検出されたときに検出されたブロックの固まりを評価し、外郭に位置するブロックと内部に位置するブロックの特定色画素包含率を別々に設定して特定色を検出する。
【００９５】
図２０は、この場合の特定色ブロック判定部の処理内容を示すフローチャートである。特定色が検出されたブロックの特定色画素包含率が内部ブロック包含率α１よりも大きいか否かを判定し（Ｓ１６１）、大きいときには特定色検出ブロックとして処理する（Ｓ１６５）。つまり通常の検出処理を行う。
【００９６】
一方、特定色が検出されたブロックの特定色画素包含率が内部ブロック包含率α１よりも小さいときは、特定色画素包含率が外郭ブロック包含率α２より大きいか否かを判定し（Ｓ１６２）、特定色画素包含率が外郭ブロック包含率α２よりも小さいときには特定色非検出ブロックとして処理する（Ｓ１６４）。特定色画素包含率が外郭ブロック包含率α２よりも大きいとき、つまり、特定色画素包含率がα１とα２との中間の値を取るときには、廻りのブロックの状態を調べ（Ｓ１６３）、廻りに内部ブロックが存在するときには外郭ブロックとみなして特定色検出ブロックとして処理する（Ｓ１６５）。
【００９７】
このように、特定色物体検出部１０２は、特定色を検出するときのブロック内に含まれる特定色画素の割合の基準値を特定色物体の外郭ブロックと内部ブロックとで別々に設定しておき、特定色が検出されたブロックに対してブロック内の各画素に対して特定色を判定し、ブロック内に特定色を示す画素の割合を検出し、特定色物体の外郭部分にあるブロックを特定する。これにより、画像のずれやノイズによる誤検出を防止できると共に、特定色が検出される画素の割合が異なる特定色物体に外郭と内部を別々に評価でき、より確実な検出が可能になる。
【００９８】
また、第１または第２の実施の形態において、特定色物体検出部１０２は、動画像復号化部１０１で復号された画像中の各画素の平均輝度を算出し、予め記憶された平均輝度に対応する特定色に基づいて特定色のブロックを判定するようにしても良い。
【００９９】
画像の色は撮影するときの廻りの環境に左右され易く、特に輝度成分は撮影時刻や照明の状態により変化し易い。画像を用いて特定色を検出する際の環境条件が予め予測できる場合には、その条件下で得られる色データを用いて特定色の検出を行う方がより正確に検出を行うことができる。そこで、画像撮影時の輝度条件に合わせて検出する特定色データを設定する。
【０１００】
図２１は、輝度条件に合わせて特定色を設定するときの特定色入力部および特定色物体判定部１０２の処理内容を示すフローチャートである。図２１（ａ）には特定色入力部１０４の処理内容を示し、図２１（ｂ）には特定色物体判定部１０２の処理内容を示す。
【０１０１】
図２１（ａ）において、特定色入力部１０４では、幾つかの輝度条件下で特定色検出範囲を設定する（Ｓ１７１）ここでは、特定色検出範囲設定時の画像内の各画素の輝度成分を取り出し、その平均値を求め、この値を撮影時の輝度値とする（Ｓ１７２）。そして、この輝度条件下で検出する特定色ならびにその許容範囲を設定し、平均輝度、許容範囲データを設定値として保存する（Ｓ１７３）。この作業を昼、夜、照明あり、照明なしなどの幾つかの条件下で繰り返し、複数の特定色検出設定データを用意する。このようにして、画像撮影時の輝度条件を予め求めておく。
【０１０２】
次に、特定色物体判定部１０２により、実際に特定色検出を行うときには、図２１（ｂ）に示すように、まず、画像の平均輝度を求め（Ｓ１７４）、特定色入力部１０４で予め用意した条件の中から最も輝度が近い条件を選択し（Ｓ１７５）、選択された条件の特定色の設定データを用いて特定色検出を行う（Ｓ１７６）。
【０１０３】
このように、動画像の平均輝度を導出して、動画像の平均輝度で分類される状態に対する特定色の輝度、色差ないし色度値、許容範囲を設定値として保存し、動画像の平均輝度に応じて適切な設定値を用いて特定色を検出する。これにより、環境の変化に対応した特定色検出が可能になる。
【０１０４】
以上の説明では、撮影時の輝度条件に対応させるために、輝度条件に応じて幾つかの特定色（設定値）を用意するようにしたが、輝度条件に応じて特定色を補正するようにしても良い。すなわち、特定色物体検出部１０２は、動画像復号化部１０１で復号された画像中の各画素の平均輝度と予め記憶された基準平均輝度との輝度偏差を求め、その輝度偏差に基づいて特定色およびその許容範囲を補正することようにしても良い。
【０１０５】
図２２は、この場合の特定色物体検出部１０２で輝度条件に合わせて特定色を補正する際の処理内容を示すフローチャートである。実際に特定色検出を行うときに現画像の平均輝度値を求め（Ｓ１７４）、特定色の輝度許容範囲設定時の平均輝度値（設定値）との差を求める。特定色の輝度許容範囲設定時の平均輝度値は、図２１（ａ）に示すように特定色入力部１０４で予め求めておき設定されているものである。
【０１０６】
そして、ステップＳ１７４で求めた平均輝度値と特定色入力部１０４で予め設定した平均輝度との輝度差を算出し（Ｓ１７７）、図２３に示すように特定色データに加算して特定色の輝度許容範囲を修正する（Ｓ１７８）。そして、修正した輝度許容範囲を用いて特定色の検出を行う（Ｓ１７９）。
【０１０７】
なお、この特定色の補正は、図２１に示した特定色の検出と併用した形で用いてもよく、その場合には現画像の平均輝度に最も近い輝度条件の特定色の設定値を選択し、さらにその特定色の設定値の設定時の平均輝度との輝度差分を補正して特定色検出を行うことになる。
【０１０８】
このように、特定色の設定時の画像の平均輝度を予め保存しておき、動画像の平均輝度を導出して特定色の設定時の平均輝度と動画像の平均輝度とを比較し、平均輝度の差に合わせて特定色の輝度および輝度許容範囲を輝度差に合わせて変更する。これにより、画像の輝度が変化したときに特定色の輝度範囲を適切に指定できる。
【０１０９】
また、特定色物体検出部１０２での特定色の補正は、動画像復号化部１０１で復号された画像中の特定色非検出点の平均輝度と予め記憶されたその特定色非検出点の基準輝度との輝度偏差を求め、その輝度偏差に基づいて特定色およびその許容範囲を補正するようにしてもよい。
【０１１０】
画像内に局所的な照明などがある場合には、その点灯により部分的に輝度が上昇し、その結果画像の平均輝度が上昇する。このとき輝度上昇は部分的に発生するため、被特定色検出物体の輝度は影響を受けない状況が発生することがある。また、カメラが自動的に輝度調整を行う場合には、画像の輝度が上昇したときに自動的に輝度を下げる処理が行なわれ、結果として特定色を設定したときよりも輝度条件が下がることがある。さらに、カメラの特性変化や環境変化により撮影された画像の色あいが変化することがある。
【０１１１】
このような状況の変化に対処するため、特定色物体検出部１０２では画像内で移動や色の変化がない非検出点を選択し、非検出点の輝度および色差値の変化に応じて特定色を補正する。
【０１１２】
図２４は、非検出点の輝度および色差値の変化に基づいて輝度補正する場合の説明図である。まず、特定色の設定値の設定時の非検出点の輝度を画像から求めておく。次に、現画像における非検出点の輝度を求め、基準輝度との差を求める。この輝度差を特定色設定データの輝度に加算した値を用いて特定色検出を行う。このことにより、撮影環境の輝度変化を吸収し、より確実な特定色検出を行うことができる。
【０１１３】
次に、色差値の補正について説明する。画像内の点の色は輝度Yと２つの色差CbCrを用いて表現されるため、色差を補正する場合には、図２５に示すように、２次元の色差空間上でベクトル補正を行う必要がある。まず、特定色の設定値の設定時の非検出点の色差点a0を画像データから求めておく。次に、現画像における非検出点の色差点a1を求め、基準色差点との差分ベクトルa0a1を求める。この色差の差分ベクトルを特定色の基準点b0から加算したときの色差空間上の点b1を用いて特定色検出を行う。なお、特定色の色差に対する許容範囲も基準座標の移動に伴い移動させる。
【０１１４】
このように、予め設定した画像上の特定色非検出点の特定色データ設定時の色データを保存しておき、その非検出点に対する現画像の色データを抽出してそれらの差分を導出し、現画像における特定色データとその許容範囲を色表示可能領域の範囲内で特定色非検出点の差分を用いて設定した特定色データを補正する。これにより、画像撮影時の画像全体の色変動分を補正した特定色検出が可能になる。
【０１１５】
【発明の効果】
以上説明したように、本発明によれば、検出する特定色を高い精度で設定し検出できるだけでなく、環境の変化に応じた柔軟な特定色の検出が可能な動画像特定色検出装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係わる動画像特定色検出装置の構成図。
【図２】本発明の第１の実施の形態における動画像復号化部の構成図。
【図３】本発明の第１の実施の形態における色データ判定部の処理内容を示すフローチャート。
【図４】本発明の第１の実施の形態の特定色ブロック判定部の処理内容を示すフローチャート。
【図５】本発明の第１の実施の形態における特定色ブロック判定部で特定色物体の外枠を四角で囲むときの説明図。
【図６】本発明の第１の実施の形態における特定色入力部の表示装置に表示される色空間の説明図。
【図７】本発明の第１の実施の形態における特定色入力部の表示装置に表示された色空間上で特定色の検出領域を設定する場合の説明図。
【図８】本発明の第１の実施の形態における特定色入力部の表示装置に色空間および輝度分布表示を表示した場合の説明図。
【図９】本発明の第１の実施の形態における特定色入力部の表示装置に色空間および同系色分布表示を表示した場合の説明図。
【図１０】本発明の第１の実施の形態における特定色入力部の表示装置に動画像を表示し特定色を指定する場合の説明図。
【図１１】本発明の第１の実施の形態における特定色入力部により動画像上で特定色を指定する場合の処理内容を示すフローチャート
【図１２】本発明の第１の実施の形態における特定色入力部により動画像上で特定色の許容範囲を指定する場合の処理内容を示すフローチャート
【図１３】本発明の第１の実施の形態における特定色入力部の表示装置に表示された動画像上に、色空間上で変更修正された特定色およびその許容範囲を表示する場合の説明図。
【図１４】図１３に本発明の第１の実施の形態における特定色入力部の表示装置に表示された同系色分布表示上で変更修正された輝度の許容範囲に基づいた特定色を動画像上および色空間上に表示する場合の説明図。
【図１５】本発明の第１の実施の形態における特定色入力部の輝度変更に伴う特定色検出結果確認の処理内容を示すフローチャート。
【図１６】本発明の第２の実施の形態に係わる動画像特定色検出装置の構成図。
【図１７】本発明の第２の実施の形態における検出ブロック設定部で動画像中に特定色検出範囲を指定した場合の説明図。
【図１８】本発明の第２の実施の形態における検出ブロック設定部の処理内容を示すフローチャート。
【図１９】本発明の第１または第２の実施の形態における特定色物体検出部で特定色物体の外郭を検出する際の説明図。
【図２０】本発明の第１または第２の実施の形態における特定色物体検出部で特定色物体の外郭を検出する際の処理内容を示すフローチャート。
【図２１】本発明の第１または第２の実施の形態における特定色入力部および特定色物体検出部で輝度条件に合わせて特定色を設定する際の処理内容を示すフローチャート。
【図２２】本発明の第１または第２の実施の形態における特定色物体検出部で輝度条件に合わせて特定色を補正する際の処理内容を示すフローチャート。
【図２３】本発明の第１または第２の実施の形態における特定色物体検出部で輝度条件に合わせて特定色を補正する場合の説明図。
【図２４】本発明の第１または第２の実施の形態における特定色物体検出部で非検出点の輝度および色差値の変化に基づいて輝度補正する場合の説明図。
【図２５】本発明の第１または第２の実施の形態における特定色物体検出部で非検出点の輝度および色差値の変化に基づいて輝度補正する場合の色空間上での説明図。
【符号の説明】
１０１ 動画像復号化部 １０２ 特定色物体検出部 １０３ 動画像表示部１０４ 特定色入力部 １０５ 特定色データ保存部 １０６ 検出ブロック設定部 １１１ 変化ブロック抽出部 １１２ 色データ判定部 １１３ 特定色ブロック判定部 １２１ 可変長復号化部 １２２ 逆量子化部 １２３ IDCT部 １２４ フレームメモリ １２５ 動き補償部 １２６ スイッチ １２７ 加算器 １３１ 色差空間 １３２ 輝度分布表示 １３３ 同系色分布表示
【発明の属する技術分野】
本発明は、動画像中の特定色の物体を検出する動画像特定色検出装置に関する。
【０００２】
【従来の技術】
一般に、動画像を監視する動画像監視システムは、主に画面内に進入してきた物体等を検出するものであり、画面内で位置が移動した物体を検出するものがほとんどである。一方、監視している画像がプラントの計器盤などの場合には、変化するのは表示装置のランプの色であったりする場合が多い。このような場合、変化後のランプの色を予め特定色として記憶しておき、監視画像中にその特定色が検出されたときに、プラントの異常であると判定することになる。
【０００３】
画像中から特定色検出をするためには、その画像を構成する画面の画素毎の色を調べることが必要であり、画素毎にその特定色を調べる処理は、多くの計算量を必要とする。例えば、ITU-T H.261、H.263、ISO/IEC MPEG-4等でよく用いられるCIFフォーマットの場合、横３５２画素、縦２８８画素で合計１０１３７６個もの画素について色空間を変換することになる。このような計算量の多い処理に対しては、専用のハードウェアを用意する必要があるので、コスト面でも大きな問題がある。このため、動画像のソフトウェア処理により特定色を検出するプラント監視装置として、例えば特願平１０−３５１６４８号が提案されており、また、特願平１１−１８２１０号の動画像特定色検出装置及び検出方法が提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、特定色の設定方法に関しては、色空間上で上下限値を持たせて設定するようにしているが、その評価方法や特定色を設定するときのヒューマンインタフェースについては特に言及していない。そのため、特定色を検出するときに誤検出を起こしたり、設定した色と検出する色にズレが生じることがある。
【０００５】
本発明は、検出しようとする特定色を精度よく設定し検出できる動画像特定色検出装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１の発明に係わる動画像特性色検出装置は、監視対象である動画像を圧縮した符号化データを入力し復号する動画像復号化部と、前記動画像中から検出する物体の特定色およびその許容範囲を入力する特定色入力部と、前記動画像中の色データが前記特定色入力部で設定された特定色の許容範囲内に入っているブロックを検出する特定色物体検出部と、前記特定色物体検出部が特定色を含むブロックを検出したとき前記動画像上に検出表示を合成して表示する動画像表示部とを備え、前記特定色物体検出部は、前記動画像復号化部で復号された画像中の各画素の平均輝度と予め記憶された基準平均輝度との輝度偏差を求め、その輝度偏差に基づいて特定色およびその許容範囲を補正することを特徴とする。
【０００７】
請求項１の発明に係わる動画像特性色検出装置では、特定色入力部により動画像中から検出する物体の特定色およびその許容範囲を入力し、特定色物体検出部は、動画像復号化部からの動画像中の色データが特定色入力部で設定された特定色の許容範囲内に入っているブロックを検出する。そして、動画像表示部は、特定色物体検出部が特定色を含むブロックを検出したとき、動画像上に検出表示を合成して表示する。そして、特定色の設定時の画像の平均輝度を予め保存しておき、動画像の平均輝度を導出して特定色の設定時の平均輝度と動画像の平均輝度とを比較し、平均輝度の差に合わせて特定色の輝度および輝度許容範囲を輝度差に合わせて変更する。これにより、画像の輝度が変化したときに特定色の輝度範囲を適切に指定できる。
【０００８】
請求項２の発明に係わる動画像特性色検出装置は、前記特定色物体検出部が、前記動画像復号化部で復号された画像中の特定色非検出点の平均輝度と予め記憶されたその特定色非検出点の基準輝度との輝度偏差を求め、その輝度偏差に基づいて特定色およびその許容範囲を補正する。
【０００９】
本発明の請求項２記載の動画像特定色検出装置では、予め設定した画像上の特定色非検出点の特定色データ設定時の色データを保存しておき、その非検出点に対する現画像の色データを抽出してそれらの差分を導出し、現画像における特定色データとその許容範囲を色表示可能領域の範囲内で特定色非検出点の差分を用いて設定した特定色データを補正する。これにより、画像撮影時の画像全体の色変動分を補正した特定色検出が可能になる。
【００３２】
【発明の実施の形態】
以下、本発明の実施の形態を説明する。図１は本発明の第１の実施の形態に係わる動画像特性色検出装置の構成図である。図１において、動画像符号化部１０１は動画像を圧縮した符号化データの復号化処理を行うものであり、動画像符号化部１０１で復号化されたデータは特定色物体検出部１０２の変化ブロック抽出部１１１に入力されると共に、動画像表示部１０３に入力される。一方、特定色入力部１０４からは動画像中から検出する物体の特定色およびその許容範囲が入力され、特定色データ保存部１０５に記憶される。特定色入力部１０４は特定色およびその許容範囲を入力する際に色空間を表示するための表示装置を有している。この表示装置に表示された色空間上で特定色および許容範囲を指定して、それらを入力することになる。
【００３３】
特定色物体検出部１０２は、動画像中の色データが特定色入力部１０４で設定された特定色の許容範囲内に入っているブロックを検出するものである。特定色物体検出部１０２の変化ブロック抽出部１１１では、画像上の輝度値、色差、色度値が変化したブロックを抽出し色データ判定部１１２に出力する。色データ判定部１１２では、特定色データ保存部１０５に保存された特定色と変化した色とを比較する。すなわち、画像の各ブロックの輝度値、色差、色度値が特定色の輝度値、色差、色度値の許容範囲内に入っているか否かを判定する。そして、その許容範囲内に入っているときは、特性色ブロック判定部１１３は、許容範囲内にあるブロックの連鎖状態を評価し、連鎖状態評価の結果から特定色を検出する。
【００３４】
動画像表示部１０３は、特定色物体検出部１０２が特定色を含むブロックを検出したとき、動画像上にその検出表示を合成して表示し、監視員に特定色物体の変化を提供する。
【００３５】
図２は動画像復号化部１０１の構成図である。図２において、符号化データは１フレーム毎に可変長復号化部１２１に入力される。入力された符号化データは、符号化の逆過程として可変長復号化部１２１によって復号化され、逆量子化部１２２によって逆量子化される。さらに、IDCT部１２３によって逆離散コサイン変換が行われる。
【００３６】
ここで、動画像データのフレームには、フレーム全体のデータを含むイントラフレームと、過去のフレームとの差分情報だけを含むインターフレームとがある。前者のイントラフレームの場合、IDCT部１２３から出力されたデータから一つのフレームを構成することができるが、後者のインターフレームの場合、IDCT部１２３から出力されたデータからは、過去のフレームにおける値と差異があったブロック以外は構成できない。
【００３７】
そこで、スイッチ１２６を切り替えることにより、過去のフレームデータを蓄積するフレームメモリ１２４からのデータを動き補償部１２５を通して加算器１２７で加算し、IDCT部１２３からの出力データと合成する。
【００３８】
特定色物体検出部１０２では、動画像符号化部１０１からのデータを用いて特定色の検出を行う。特定色物体検出部１０２の変化ブロック抽出部１１１では、入力された符号化データが画像内の全マクロブロックを含んでいるか、あるいは変化したマクロブロックのみを表しているかを判断し、特定色の検出判定対象となるマクロブロックを抽出する。この判断は、動画像符号化部１０１で符号化データに付随して設定されたモード情報を用いて行われる。
【００３９】
すなわち、入力されたフレーム内のブロックで色の変化があった場合、そのブロックは過去のフレームのブロックから変化する。このため、その変化は差分情報として動画像復号化部１０１のIDCT部１２３から出力される。画像データの色データがYCbCrカラーモデルで表現される場合、IDCT部１２３からのデータは、画素毎に輝度信号Y、青からの色差信号Cbと赤からの色差信号Crとを含んでいる。
【００４０】
色データ判定部１１２では、対象ブロックの色データと特定色入力部１０４から入力され特定色データ保存部１０５に保存された特定色と比較し、特定色であるかどうかを判断する。図３は、色データ判定部１１２の処理内容を示すフローチャートである。
【００４１】
まず、ブロック内の各画素の色データを入力し（Ｓ１）、ブロック内の画素(i,j)のYCbCr値が特定色許容範囲内に含まれるか否かを判定する（Ｓ２）。特定色許容範囲内に含まれる場合にはその画素をカウントし（Ｓ３）、含まれないときにはステップＳ２に戻る。つまり、ブロック内のすべての画素についてステップＳ２およびステップＳ３を繰り返し行う。
【００４２】
色データ判定部１１２では、入力したブロック内の画素に特定色入力部１０４で予め設定された範囲に入る色データが含まれているかどうかを判定する。
【００４３】
ここで、ステップＳ２での特定色の判定方法は特定色入力部１０４における特定色の範囲設定方法により異なり、特定色の範囲がYCbCrで設定されている場合には、以下の式を評価することになる。
【００４４】
Y1＜Y＜Y2、 Cb1＜Cb＜Cb2、 Cr1＜Cr＜Cr2
なお、色データの評価では輝度信号Yを評価せず、色差信号Cb、Crのみを評価する方法を用いてもよい。
【００４５】
次に、ブロック内のすべての画素について、ステップＳ２およびステップＳ３の処理が終了すると、カウントした画素数が予め定めた検出最小画素数より大きいか否かを判定し（Ｓ４）、特定色検出画素数が検出最小画素数より大きいときはそのブロックは特定色を包含するので、特定色包含フラッグをＯＮする（Ｓ５）。一方、特定色検出画素数が検出最小画素数より小さいときはそのブロックは特定色を包含しないので、特定色包含フラッグをＯＦＦする（Ｓ６）。このようにして、色データ判別部１１２はブロックが包含する特定色の検出を行う。
【００４６】
また、色データ判定部１１２では特定色が消滅したときの検出も行う。特定色の検出は、変化が検出されたブロックをトリガーとしてそのブロックに関連するブロックを特定色ブロック判定部１１３で判定することにより特定される。この判定は、変化ブロックをトリガーとして実施されるため、特定色が点灯したままの状態ではブロック判定は行なわず、前の状態を保持する。そのため、一度特定色が検出されたブロックは、その状態が変化するまで特定色検出状態が保持され続け、特定色が消滅したときに保持状態を解除する必要がある。
【００４７】
そこで、色データ判定部１１２では変化ブロック抽出部１１１で変化が検出されたブロックが以前のフレーム処理で特定色ブロック判定部１１３にて特定色ブロックと判定されたブロックである場合には、上記色データ評価とは逆に、特定色の許容範囲外にあるかどうかを判定する。
【００４８】
図４は、特定色ブロック判定部１１３の処理内容を示すフローチャートである。まず、特定色包含ブロックの特定色物体判定を行い（Ｓ１０１）、特定色物体の外郭ブロックを検出する（Ｓ１０２）。
【００４９】
すなわち、この特定色包含ブロックの特定色物体判定Ｓ１０１では、特定色包含フラッグがＯＮに変わったブロックに関して、特定色が検出されたブロックの分布状態を評価し、分布状態からそのブロックが特定色物体であるかを判定する。
【００５０】
画像データにノイズが入った場合や被写体の一部に意図しない特定色が混在しているような場合には、１つのブロックで特定色が検出され、廻りのブロックでは特定色が検出されないような状況が発生する。このような状況における偶発的な特定色検出を防ぐため、特定色が検出されたブロックの廻りのブロックの特定色検出状態を評価し、特定色物体の特定基準（例えば特定色が検出されたブロックが連続して存在するときに特定色物体とする）を満足するブロックを特定する。
【００５１】
次に、特定色物体の外郭ブロック検出Ｓ１０２では、特定色検出ブロックの連続した範囲を求め、検出された特定色物体ブロックの外枠を求める。これは、特定色物体であると判定されたときには、特定色物体の範囲を動画像表示部１０３で合成表示するためである。
【００５２】
図５は、特定色物体の外郭ブロック検出Ｓ１０２により、特定色物体の外枠を四角で囲むときの一例を示す説明図である。ここでは、外枠を求めるための探索を上−右−下−左の順に行うものとする。図中ハッチで示してあるブロックは特定色の検出フラッグがＯＮであることを示す。
【００５３】
まず、ブロック(A5,B5)が検出対象であるとし、ここから探索を始める。探索では、まず対象ブロック(A5,B5)の上下左右の４ブロックの特定色検出状態を調べ、４つのブロックのうち特定色が検出されたブロックが１ないし２の場合には頂点ブロックフラッグをＯＮにする。
【００５４】
次に、ブロック(A5,B5)の上にあるブロック(A5,B4)は特定色が検出されていないので、右にあるブロック(A6,B5)を調べる。ブロック(A6,B5)は特定色ブロックであるので視点をここに移して探索を行う。ブロック(A6,B5)は、廻り４ブロックが特定色ブロックであるので、頂点ブロックフラッグはOFFのまま、上にある特定色ブロック(A6,B4)に視点を移動する。このような処理を時計まわりに順に行ない外郭を一周する。なお、一度探索したブロックは探索済みのフラッグをＯＮにして、探索が重複しないようにする。探索が終了すると、次に頂点ブロックフラッグがＯＮのブロックの座標を調べ、その中か座標の最大、最小値を求める。
【００５５】
図５では、(A6,B4)、(A7,B4)、(A8,B5)、(A7,B6)、(A6,B7)、(A5,B7)、(A3,B7)、(A4,B5)のブロックが頂点ブロックとなるので、これらの座標からA3-A8、B4-Bの値を求め、この値に対応した四角を生成し、動画像復号化部１０１で復号化された再生画像の上に、動画像表示部１０３にて合成表示する。
【００５６】
ここで、特定色入力部１０４からは、表示装置に表示した色空間から、特定色およびその許容範囲を入力するようにしているが、それに加えて輝度値も入力する。すなわち、輝度を一定としたときの青からの色差信号および赤からの色差信号を軸とした空間で色を表現する色空間と、輝度値を設定するための輝度値入力表示とを表示装置の同一画面上に表示し、輝度値入力表示に基づいて指定された輝度値に対する色空間上で特定色および色差成分の許容範囲を入力する。
【００５７】
特定色入力部１０４では、特定色を指定する場合には３つの変数を用いて指定する。YCbCrカラーモデルを用いるときには、輝度Yと色差Cb、Crの３つの値を指定することで色を特定する。特定色を選択するときには、図６に示す色空間を表示装置に表示する。
【００５８】
図６において、色空間は輝度Yを一定にしたときの２つの色差Cb、Crを軸とする色空間１３１で色が表現される。この色空間１３１上で検出する特定色の範囲を指定する場合には、図７に示すように、領域を円などの図形で指定し、その中に含まれる色が特定色となるように色データ判定部１１２での色データ評価式を設定することになる。
【００５９】
この場合、実際に動画像中に表示される色は色差成分だけでなく、輝度値により変わるため、輝度値一定の色空間を見ながら特定色の範囲を指定する場合には、意図した範囲を正確に指定できないことがある。
【００６０】
そこで、図８に示すように特定色の入力時に色空間１３１だけでなく輝度分布表示１３２を同時に表示し、色空間に表示する色を輝度値で制御する。まず、輝度分布表示１３２上で輝度値を選択する。色空間１３１ではその輝度値に合わせて表示色が変更される。
【００６１】
図８において、表示装置上に色空間１３１を表示する場合には、座標Cb、Crに対応する点の色をRGB値に変換して表示する。ここで、RGBカラーモデルとYCbCrカラーモデルは以下の式で関係付けられる。
【００６２】
R= Y+0.0000Cb+1.4022Cr
G= Y-0.3456Cb-0.7145Cr
B= Y+1.7710Cb+0.0000Cr
【００６３】
この関係を基に、まず予め定めた輝度Yの基準値に対するCbCr空間の点の色をRGB値に基づき表示する。次に、特定色の指定者が図８の下の輝度分布表示１３２上の点を選択し、輝度を指定したときにその輝度値に対するCbCr空間上の点の色を上式から求めたRGB値により表示する。すなわち、CbCr空間に表示される色は選択された輝度値に対する色が表示されることになる。
【００６４】
このように、特定色入力部１０４の表示装置に色空間１３１と輝度値入力表示１３２とを同時に表示し、輝度値を変えたときに連動して色空間１３１に表示する色を変化させ、選択された輝度値に対する色空間１３１上で選択された点から特定色の色差ないし色度値に対する許容範囲を導出する。
【００６５】
また、図９に示すように、輝度値入力表示１３２に代えて、色空間１３１上で選択された特定色の輝度範囲を設定するための同系色分布表示１３３を表示し、同系色分布表示１３３上で輝度に対する許容範囲を入力することも可能である。つまり、輝度分布に対する同系色分布表示１３３上で選択された色を、特定色もしくは特定色の輝度および色差ないし色度値に対する許容範囲の指定点に設定する。
【００６６】
図８に示した輝度分布表示では、特定色の許容範囲を色差成分に対して指定することができる。そして、輝度値に対する許容範囲を持たせる必要があるときには許容範囲を自動的に設定することになる。これに対して、図９に示す同系色分布表示では、色空間１３１と色空間１３１上で選択された色に対する輝度方向の同系色分布表示１３３を用いて輝度値に対する許容範囲を指定できるようにする。
【００６７】
図９において、まず色空間１３１上で検出する色の基準色を選択する。このとき選択された基準色のCbCr値に対して輝度Yの値を０〜１（Yは規格化）の間で変化させたときのRGBの値で表現される色を同系色分布表示１３３に表示する。この同系色分布表示１３３上で範囲を指定することにより輝度Yに対する許容範囲を指定する。なお、色差CbCrに対する許容範囲は図８の場合と同様に色空間１３１上で指定する。
【００６８】
次に、特定色入力部１０４の表示装置に動画像復号化部１０１で復号された画像を表示し、その画像中から検出する物体を指定して特定色およびその許容範囲を入力することも可能である。つまり、表示された画像上で選択した点を特定色の色とし、画像上で範囲指定された領域の表示色を特定色の色差ないし色度値に対する許容範囲に設定する。
【００６９】
実際に検出する色を動画像上で表現できる場合には、動画像上で色を指定する方が正確な色を指定できる。そこで、図１０に示すように、再生した動画像上で検出する色が表示されている部分を選択し、選択された部分の色データを取り込み、その色を特定色あるいは特定色の許容範囲として入力し設定する。また、画像上で領域が選択された場合には、特定色の許容範囲を求める処理を行う。
【００７０】
図１１は、特定色入力部１０４により動画像上で特定色を指定する場合の処理内容を示すフローチャートである。まず、検出したい色を画像上で指定する（Ｓ１１１）。次に、指定された画像上の点の座標を求め（Ｓ１１２）、この座標に対応する画像データの色データを抽出し（Ｓ１１３）、この値を特定色の基準値として設定する（Ｓ１１４）。
【００７１】
図１２は、特定色入力部１０４により動画像上で特定色の許容範囲を指定する場合の処理内容を示すフローチャートである。
【００７２】
まず、画像上で特定色のエリアを選択し（Ｓ１２１）、選択されたエリア内に含まれる部分の色データを抽出する（Ｓ１２２）。ここで抽出される色データは複数抽出されるため、この中から抽出された色の分布状態を調べ、抽出された色の色差成分を基に色空間１３１上に抽出点を表示する（Ｓ１２３）。次に、色空間１３１上に許容幅を径とする円を表示し（Ｓ１２４）、その円の中に抽出した点が最も多く含まれるように円の位置を移動する（Ｓ１２５）。このときの円の中心を特定色の基準値、円内を特定色の許容範囲として設定する（Ｓ１２６）。
【００７３】
ここで、画像上で指定された領域を基に特定色の許容範囲を自動的に算出するようにしたが、画像上の領域指定で抽出された点を色空間１３１上にプロットした画面を表示し、抽出点の色分布状態を見ながら利用者自身が許容範囲を選択できるようにしてもよい。この場合には、抽出点の包含率が大きくなるように許容範囲指定の図形の大きさを調整することが容易に行なえる。
【００７４】
また、特定色入力部１０４の表示装置に表示された動画像上に、色空間１３１上で変更修正された特定色およびその許容範囲を表示するようにしても良い。つまり、色空間１３１上で特定色の許容範囲を指定したときに、その特定色を動画像上に表示するので特定色の許容範囲を確認しながら指定でき、実際に画像上で表現される色に合わせて特定色の検出範囲を指定できる。
【００７５】
図１３は、特定色入力部１０４の表示装置に表示された動画像上に、色空間１３１上で変更修正された特定色およびその許容範囲を表示する場合の説明図である。特定色を設定するときに、特定色入力部１０４の表示装置に、特定色の許容範囲を指定する色空間１３１と動画像とを同一画面上に表示する。まず、色空間１３１上で特定色の許容範囲を指定する。そして、動画像上に色空間１３１で指定した特定色の許容範囲を表示する。つまり、色空間１３１と動画像とを一緒に表示することにより、色空間１３１で設定された特定色の許容範囲による検出結果を確認しながら許容範囲を指定できる。
【００７６】
また、図１４に示すように、図１３に示した動画像および色空間１３１に加え、色空間１３１上での特定色の輝度範囲を設定するための同系色分布表示１３３を表示し、同系色分布表示１３３上で変更修正された輝度の許容範囲に基づいた特定色を動画像上および色空間上に表示するようにしても良い。
【００７７】
画像の色は撮影するときの廻りの環境に左右され易く、特に輝度成分は撮影時刻や照明の状態により変化し易い。このような環境で特定色の検出を行うときには、画像の輝度成分が変化したときに特定色検出結果がどうなるかを確認しておく必要がある。
【００７８】
そこで、動画像復号化部１０１に画像の輝度を変更する手段を設けて画像の輝度を変更する。このとき、同時に特定色入力部１０４の色空間１３１で色を表示するときの基準輝度値を連動して変更し、画像輝度に合わせて色空間１３１の表示色を切替える。
【００７９】
図１５は、特定色入力部１０４の輝度変更に伴う特定色検出結果確認の処理内容を示すフローチャートである。まず、画像上で検出したい部分を選択し（Ｓ１３１）、選択された領域に含まれる画素の平均輝度Yaを求める（Ｓ１３２）。次に平均輝度Yaを輝度とする色を色空間１３１上に表示し（Ｓ１３３）、同時に画像上で指定された領域に対応する色の色空間１３１上での領域を表示する（Ｓ１３４）。
【００８０】
ここで、輝度分布表示１３３で確認したい輝度を入力し、選択された輝度Ycに対応して色空間１３１上に表示する色を変更する（Ｓ１３５）。そして、輝度変更の差分ΔYを算出し（Ｓ１３６）、画像の各画素の輝度にその差分ΔYを加算して表示する（Ｓ１３７）。この画像を用いて特定色検出を行ない（Ｓ１３８）、特定色検出結果を画像に合成表示する（Ｓ１３９）。
【００８１】
この状態で、色空間上１３１で特定色検出領域の変更があった場合には（Ｓ１４０）、ステップＳ１３８およびステップＳ１３９を再度実行し、特定色の検出範囲を調整する。また、輝度方向の同系色分布表示１３３上で輝度範囲が選択された場合には（Ｓ１４１）、ステップＳ１３５〜ステップＳ１４０を再度実行し輝度変化に対して特定色検出結果がどう変わるかを確認し、特定色の検出範囲を調整する。
【００８２】
このように、色空間１３１と特定色物体の検出結果とを合成した再生画像を同時に表示し、輝度値を変えたときに画像の輝度変更と連動して色空間１３１に表示する色を変更し、そのときに色空間１３１上で指定された特定色の許容範囲に基づき特定色の検出した結果を画像上に合成表示する。これにより、画像の輝度が変化したときの特定色検出結果を確認しながら特定色の検出範囲を指定できる。
【００８３】
ここで、動画像表示部１０３は、特定色物体検出部１０２の特定色ブロック判定部１１３で特定色が検出されたときは、そのブロックを枠で表示する。また、複数の特定色に対しては、枠の表示色を別々にして表示する。
【００８４】
特定色物体検出部１０２の特定色ブロック判定部１１３で特定色が検出されたときには、検出された特定色物体の外郭を囲む枠を画像上に合成表示する。この場合、検出する特定色が複数同時に設定され、その複数の特定色が検出されたときには、特定する色毎に検出時の枠の色を変え、どの色が検出されたかを明記する。これにより、特定色物体の認識が容易になる。
【００８５】
次に、本発明の第２の実施の形態を説明する。図１６は本発明の第２の実施の形態に係わる動画像特性検出装置の構成図である。この第２の実施の形態は、図１に示した第１の実施の形態に対し、検出ブロック設定部１０６を追加して設けたものである。検出ブロック設定部１０６は、動画像復号化部１０１で復号された画像を表示し、その画像中から特定色検出を行うブロックを予め指定する。特定色物体検出部１０２は、検出ブロック設定部１０６でブロックが指定されたときは、その検出ブロック設定部１０６で設定されたブロックに対してのみ特定色検出を行う。
【００８６】
撮影する被写体が固定されているときには、色変化する物体を予め指定することができる。例えば、制御盤上のランプの色変化を検出するときには、検出する物体をランプのみに指定することができ、検出対象の画像ブロックを指定することで、不要なブロックに対する処理を省略し、効率的な処理を行うことができる。
【００８７】
そこで、画像上で特定色検出を行うブロックを指定する検出ブロック設定部１０６を設け、図１７に示すように、画像上でブロックを設定し、特定色物体検出部１０２は、その設定されたブロックのみに対して特定色検出処理を行うようにする。
【００８８】
図１６において、検出ブロック設定部１０６は動画像復号化部１０１で復号化された再生画像と各ブロックの位置データとを取り込む。ここで取り込む画像は動画像である必要はなく、１フレームだけ読み込んだ静止画像でよい。
【００８９】
次に、取り込んだ画像を表示し、画像上で検出ブロック設定者が選択した点や領域を枠表示や色替えなどのマーキング処理を行い、画像上に表示する。設定者による画像上でのブロック設定が終了した後、検出対象とするブロックを設定する。
【００９０】
図１８は、検出ブロック設定部１０６の処理内容を示すフローチャートである。まず、画像上で検出対象とする領域を選択する（Ｓ１５１）。次に、この領域の頂点座標を取得する（Ｓ１５２）。領域を四角で囲む場合には対角の２点の座標が取得される。抽出された座標を基に選択された領域に含まれるブロックを抽出し（Ｓ１５３）、抽出されたブロックの検出対象フラッグをＯＮにする（Ｓ１５４）。設定された検出対象ブロックのデータは、特定色物体検出部１０２の変化ブロック抽出部１１１に入力され、特定色検出処理が実行されるときに検出対象ブロックがＯＮのブロックに対してのみ検出処理を行うようにする。
【００９１】
このように、検出ブロック設定部１０６により、特定色検出を行う画像上でブロックを指定し、特定色物体検出部１０２は指定されたブロックに対してのみ特定色検出を行う。これにより、画像上からユーザーが必要とする範囲のみを検出対象とすることができる。
【００９２】
次に、第１の実施の形態または第２の実施の形態において、特定色物体検出部１０２では、動画像復号化部１０１で復号された画像中の特定色が検出されたブロックに対して、ブロック内の特定色を示す画素の割合を検出し、特定色の画素の割合が基準値以上のブロックを特定色のブロックであると判定する。
【００９３】
特定色の検出は画像のブロック単位で行われ、ブロック内に特定色の許容範囲にある色データを有する画素が含まれているかどうかで特定色を検出する。この場合、物体の色にばらつきがあったり、ノイズが混入した場合には意図しない特定色検出が発生することがある。そのため、特定色検出に際してブロック内に含まれる画素のうち特定色を示す画素の割合を求め、この割合が一定値以上検出されたブロックのみ特定色が検出されるようにする。
【００９４】
また、図１９に示すように特定色が含まれる画素のブロック内での割合は、ブロックが特定色物体の外郭に位置するか、内部に位置するかにより異なる。そこで、特定色が検出されたときに検出されたブロックの固まりを評価し、外郭に位置するブロックと内部に位置するブロックの特定色画素包含率を別々に設定して特定色を検出する。
【００９５】
図２０は、この場合の特定色ブロック判定部の処理内容を示すフローチャートである。特定色が検出されたブロックの特定色画素包含率が内部ブロック包含率α１よりも大きいか否かを判定し（Ｓ１６１）、大きいときには特定色検出ブロックとして処理する（Ｓ１６５）。つまり通常の検出処理を行う。
【００９６】
一方、特定色が検出されたブロックの特定色画素包含率が内部ブロック包含率α１よりも小さいときは、特定色画素包含率が外郭ブロック包含率α２より大きいか否かを判定し（Ｓ１６２）、特定色画素包含率が外郭ブロック包含率α２よりも小さいときには特定色非検出ブロックとして処理する（Ｓ１６４）。特定色画素包含率が外郭ブロック包含率α２よりも大きいとき、つまり、特定色画素包含率がα１とα２との中間の値を取るときには、廻りのブロックの状態を調べ（Ｓ１６３）、廻りに内部ブロックが存在するときには外郭ブロックとみなして特定色検出ブロックとして処理する（Ｓ１６５）。
【００９７】
このように、特定色物体検出部１０２は、特定色を検出するときのブロック内に含まれる特定色画素の割合の基準値を特定色物体の外郭ブロックと内部ブロックとで別々に設定しておき、特定色が検出されたブロックに対してブロック内の各画素に対して特定色を判定し、ブロック内に特定色を示す画素の割合を検出し、特定色物体の外郭部分にあるブロックを特定する。これにより、画像のずれやノイズによる誤検出を防止できると共に、特定色が検出される画素の割合が異なる特定色物体に外郭と内部を別々に評価でき、より確実な検出が可能になる。
【００９８】
また、第１または第２の実施の形態において、特定色物体検出部１０２は、動画像復号化部１０１で復号された画像中の各画素の平均輝度を算出し、予め記憶された平均輝度に対応する特定色に基づいて特定色のブロックを判定するようにしても良い。
【００９９】
画像の色は撮影するときの廻りの環境に左右され易く、特に輝度成分は撮影時刻や照明の状態により変化し易い。画像を用いて特定色を検出する際の環境条件が予め予測できる場合には、その条件下で得られる色データを用いて特定色の検出を行う方がより正確に検出を行うことができる。そこで、画像撮影時の輝度条件に合わせて検出する特定色データを設定する。
【０１００】
図２１は、輝度条件に合わせて特定色を設定するときの特定色入力部および特定色物体判定部１０２の処理内容を示すフローチャートである。図２１（ａ）には特定色入力部１０４の処理内容を示し、図２１（ｂ）には特定色物体判定部１０２の処理内容を示す。
【０１０１】
図２１（ａ）において、特定色入力部１０４では、幾つかの輝度条件下で特定色検出範囲を設定する（Ｓ１７１）ここでは、特定色検出範囲設定時の画像内の各画素の輝度成分を取り出し、その平均値を求め、この値を撮影時の輝度値とする（Ｓ１７２）。そして、この輝度条件下で検出する特定色ならびにその許容範囲を設定し、平均輝度、許容範囲データを設定値として保存する（Ｓ１７３）。この作業を昼、夜、照明あり、照明なしなどの幾つかの条件下で繰り返し、複数の特定色検出設定データを用意する。このようにして、画像撮影時の輝度条件を予め求めておく。
【０１０２】
次に、特定色物体判定部１０２により、実際に特定色検出を行うときには、図２１（ｂ）に示すように、まず、画像の平均輝度を求め（Ｓ１７４）、特定色入力部１０４で予め用意した条件の中から最も輝度が近い条件を選択し（Ｓ１７５）、選択された条件の特定色の設定データを用いて特定色検出を行う（Ｓ１７６）。
【０１０３】
このように、動画像の平均輝度を導出して、動画像の平均輝度で分類される状態に対する特定色の輝度、色差ないし色度値、許容範囲を設定値として保存し、動画像の平均輝度に応じて適切な設定値を用いて特定色を検出する。これにより、環境の変化に対応した特定色検出が可能になる。
【０１０４】
以上の説明では、撮影時の輝度条件に対応させるために、輝度条件に応じて幾つかの特定色（設定値）を用意するようにしたが、輝度条件に応じて特定色を補正するようにしても良い。すなわち、特定色物体検出部１０２は、動画像復号化部１０１で復号された画像中の各画素の平均輝度と予め記憶された基準平均輝度との輝度偏差を求め、その輝度偏差に基づいて特定色およびその許容範囲を補正することようにしても良い。
【０１０５】
図２２は、この場合の特定色物体検出部１０２で輝度条件に合わせて特定色を補正する際の処理内容を示すフローチャートである。実際に特定色検出を行うときに現画像の平均輝度値を求め（Ｓ１７４）、特定色の輝度許容範囲設定時の平均輝度値（設定値）との差を求める。特定色の輝度許容範囲設定時の平均輝度値は、図２１（ａ）に示すように特定色入力部１０４で予め求めておき設定されているものである。
【０１０６】
そして、ステップＳ１７４で求めた平均輝度値と特定色入力部１０４で予め設定した平均輝度との輝度差を算出し（Ｓ１７７）、図２３に示すように特定色データに加算して特定色の輝度許容範囲を修正する（Ｓ１７８）。そして、修正した輝度許容範囲を用いて特定色の検出を行う（Ｓ１７９）。
【０１０７】
なお、この特定色の補正は、図２１に示した特定色の検出と併用した形で用いてもよく、その場合には現画像の平均輝度に最も近い輝度条件の特定色の設定値を選択し、さらにその特定色の設定値の設定時の平均輝度との輝度差分を補正して特定色検出を行うことになる。
【０１０８】
このように、特定色の設定時の画像の平均輝度を予め保存しておき、動画像の平均輝度を導出して特定色の設定時の平均輝度と動画像の平均輝度とを比較し、平均輝度の差に合わせて特定色の輝度および輝度許容範囲を輝度差に合わせて変更する。これにより、画像の輝度が変化したときに特定色の輝度範囲を適切に指定できる。
【０１０９】
また、特定色物体検出部１０２での特定色の補正は、動画像復号化部１０１で復号された画像中の特定色非検出点の平均輝度と予め記憶されたその特定色非検出点の基準輝度との輝度偏差を求め、その輝度偏差に基づいて特定色およびその許容範囲を補正するようにしてもよい。
【０１１０】
画像内に局所的な照明などがある場合には、その点灯により部分的に輝度が上昇し、その結果画像の平均輝度が上昇する。このとき輝度上昇は部分的に発生するため、被特定色検出物体の輝度は影響を受けない状況が発生することがある。また、カメラが自動的に輝度調整を行う場合には、画像の輝度が上昇したときに自動的に輝度を下げる処理が行なわれ、結果として特定色を設定したときよりも輝度条件が下がることがある。さらに、カメラの特性変化や環境変化により撮影された画像の色あいが変化することがある。
【０１１１】
このような状況の変化に対処するため、特定色物体検出部１０２では画像内で移動や色の変化がない非検出点を選択し、非検出点の輝度および色差値の変化に応じて特定色を補正する。
【０１１２】
図２４は、非検出点の輝度および色差値の変化に基づいて輝度補正する場合の説明図である。まず、特定色の設定値の設定時の非検出点の輝度を画像から求めておく。次に、現画像における非検出点の輝度を求め、基準輝度との差を求める。この輝度差を特定色設定データの輝度に加算した値を用いて特定色検出を行う。このことにより、撮影環境の輝度変化を吸収し、より確実な特定色検出を行うことができる。
【０１１３】
次に、色差値の補正について説明する。画像内の点の色は輝度Yと２つの色差CbCrを用いて表現されるため、色差を補正する場合には、図２５に示すように、２次元の色差空間上でベクトル補正を行う必要がある。まず、特定色の設定値の設定時の非検出点の色差点a0を画像データから求めておく。次に、現画像における非検出点の色差点a1を求め、基準色差点との差分ベクトルa0a1を求める。この色差の差分ベクトルを特定色の基準点b0から加算したときの色差空間上の点b1を用いて特定色検出を行う。なお、特定色の色差に対する許容範囲も基準座標の移動に伴い移動させる。
【０１１４】
このように、予め設定した画像上の特定色非検出点の特定色データ設定時の色データを保存しておき、その非検出点に対する現画像の色データを抽出してそれらの差分を導出し、現画像における特定色データとその許容範囲を色表示可能領域の範囲内で特定色非検出点の差分を用いて設定した特定色データを補正する。これにより、画像撮影時の画像全体の色変動分を補正した特定色検出が可能になる。
【０１１５】
【発明の効果】
以上説明したように、本発明によれば、検出する特定色を高い精度で設定し検出できるだけでなく、環境の変化に応じた柔軟な特定色の検出が可能な動画像特定色検出装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係わる動画像特定色検出装置の構成図。
【図２】本発明の第１の実施の形態における動画像復号化部の構成図。
【図３】本発明の第１の実施の形態における色データ判定部の処理内容を示すフローチャート。
【図４】本発明の第１の実施の形態の特定色ブロック判定部の処理内容を示すフローチャート。
【図５】本発明の第１の実施の形態における特定色ブロック判定部で特定色物体の外枠を四角で囲むときの説明図。
【図６】本発明の第１の実施の形態における特定色入力部の表示装置に表示される色空間の説明図。
【図７】本発明の第１の実施の形態における特定色入力部の表示装置に表示された色空間上で特定色の検出領域を設定する場合の説明図。
【図８】本発明の第１の実施の形態における特定色入力部の表示装置に色空間および輝度分布表示を表示した場合の説明図。
【図９】本発明の第１の実施の形態における特定色入力部の表示装置に色空間および同系色分布表示を表示した場合の説明図。
【図１０】本発明の第１の実施の形態における特定色入力部の表示装置に動画像を表示し特定色を指定する場合の説明図。
【図１１】本発明の第１の実施の形態における特定色入力部により動画像上で特定色を指定する場合の処理内容を示すフローチャート
【図１２】本発明の第１の実施の形態における特定色入力部により動画像上で特定色の許容範囲を指定する場合の処理内容を示すフローチャート
【図１３】本発明の第１の実施の形態における特定色入力部の表示装置に表示された動画像上に、色空間上で変更修正された特定色およびその許容範囲を表示する場合の説明図。
【図１４】図１３に本発明の第１の実施の形態における特定色入力部の表示装置に表示された同系色分布表示上で変更修正された輝度の許容範囲に基づいた特定色を動画像上および色空間上に表示する場合の説明図。
【図１５】本発明の第１の実施の形態における特定色入力部の輝度変更に伴う特定色検出結果確認の処理内容を示すフローチャート。
【図１６】本発明の第２の実施の形態に係わる動画像特定色検出装置の構成図。
【図１７】本発明の第２の実施の形態における検出ブロック設定部で動画像中に特定色検出範囲を指定した場合の説明図。
【図１８】本発明の第２の実施の形態における検出ブロック設定部の処理内容を示すフローチャート。
【図１９】本発明の第１または第２の実施の形態における特定色物体検出部で特定色物体の外郭を検出する際の説明図。
【図２０】本発明の第１または第２の実施の形態における特定色物体検出部で特定色物体の外郭を検出する際の処理内容を示すフローチャート。
【図２１】本発明の第１または第２の実施の形態における特定色入力部および特定色物体検出部で輝度条件に合わせて特定色を設定する際の処理内容を示すフローチャート。
【図２２】本発明の第１または第２の実施の形態における特定色物体検出部で輝度条件に合わせて特定色を補正する際の処理内容を示すフローチャート。
【図２３】本発明の第１または第２の実施の形態における特定色物体検出部で輝度条件に合わせて特定色を補正する場合の説明図。
【図２４】本発明の第１または第２の実施の形態における特定色物体検出部で非検出点の輝度および色差値の変化に基づいて輝度補正する場合の説明図。
【図２５】本発明の第１または第２の実施の形態における特定色物体検出部で非検出点の輝度および色差値の変化に基づいて輝度補正する場合の色空間上での説明図。
【符号の説明】
１０１ 動画像復号化部 １０２ 特定色物体検出部 １０３ 動画像表示部１０４ 特定色入力部 １０５ 特定色データ保存部 １０６ 検出ブロック設定部 １１１ 変化ブロック抽出部 １１２ 色データ判定部 １１３ 特定色ブロック判定部 １２１ 可変長復号化部 １２２ 逆量子化部 １２３ IDCT部 １２４ フレームメモリ １２５ 動き補償部 １２６ スイッチ １２７ 加算器 １３１ 色差空間 １３２ 輝度分布表示 １３３ 同系色分布表示
Claims (2)
- 監視対象である動画像を圧縮した符号化データを入力し復号する動画像復号化部と、前記動画像中から検出する物体の特定色およびその許容範囲を入力する特定色入力部と、前記動画像中の色データが前記特定色入力部で設定された特定色の許容範囲内に入っているブロックを検出する特定色物体検出部と、前記特定色物体検出部が特定色を含むブロックを検出したとき前記動画像上に検出表示を合成して表示する動画像表示部とを備え、
前記特定色物体検出部は、前記動画像復号化部で復号された画像中の各画素の平均輝度と予め記憶された基準平均輝度との輝度偏差を求め、その輝度偏差に基づいて特定色およびその許容範囲を補正する
ことを特徴とする動画像特定色検出装置。 - 監視対象である動画像を圧縮した符号化データを入力し復号する動画像復号化部と、前記動画像中から検出する物体の特定色およびその許容範囲を入力する特定色入力部と、前記動画像中の色データが前記特定色入力部で設定された特定色の許容範囲内に入っているブロックを検出する特定色物体検出部と、前記特定色物体検出部が特定色を含むブロックを検出したとき前記動画像上に検出表示を合成して表示する動画像表示部とを備え、
前記特定色物体検出部は、前記動画像復号化部で復号された画像中の特定色非検出点の平均輝度と予め記憶されたその特定色非検出点の基準輝度との輝度偏差を求め、その輝度偏差に基づいて特定色およびその許容範囲を補正する
ことを特徴とする動画像特定色検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29338599A JP3948865B2 (ja) | 1999-10-15 | 1999-10-15 | 動画像特定色検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29338599A JP3948865B2 (ja) | 1999-10-15 | 1999-10-15 | 動画像特定色検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001119688A JP2001119688A (ja) | 2001-04-27 |
| JP3948865B2 true JP3948865B2 (ja) | 2007-07-25 |
Family
ID=17794094
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29338599A Expired - Fee Related JP3948865B2 (ja) | 1999-10-15 | 1999-10-15 | 動画像特定色検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3948865B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4982964B2 (ja) * | 2005-04-15 | 2012-07-25 | ソニー株式会社 | 色調整回路、画像表示装置、色調整方法およびプログラム |
| JP4577153B2 (ja) * | 2005-08-24 | 2010-11-10 | 株式会社デンソー | 環境認識装置 |
| US9541507B2 (en) * | 2014-08-26 | 2017-01-10 | Northrop Grumman Systems Corporation | Color-based foreign object detection system |
-
1999
- 1999-10-15 JP JP29338599A patent/JP3948865B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001119688A (ja) | 2001-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11050988B2 (en) | Device and method for shadow correction verification parameter determination and shadow correction verification | |
| EP2782326B1 (en) | Method and apparatus for processing an image based on an image property and ambient environment information | |
| US9105122B2 (en) | Image processing apparatus and image processing method | |
| EP3657785B1 (en) | Image white balance processing method and apparatus, and terminal device | |
| US8194978B2 (en) | Method of and apparatus for detecting and adjusting colour values of skin tone pixels | |
| CN111899182B (zh) | 颜色增强方法及装置 | |
| US10281714B2 (en) | Projector and projection system that correct optical characteristics, image processing apparatus, and storage medium | |
| US9813634B2 (en) | Image processing apparatus and method | |
| US8189909B2 (en) | Color temperature conversion method and apparatus having luminance correction conversion function | |
| KR20030021252A (ko) | 컬러 분포에 기초한 오브젝트 추적 | |
| CN107018407B (zh) | 信息处理装置、评价用图、评价系统、以及性能评价方法 | |
| JP5352859B2 (ja) | 複数のガウス分布モデルを利用して映像の背景を維持する方法と装置 | |
| US20070242898A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP5119607B2 (ja) | プロジェクタ | |
| JP3948865B2 (ja) | 動画像特定色検出装置 | |
| JP4652535B2 (ja) | 画像処理装置およびその方法 | |
| KR101533642B1 (ko) | 수집된 정보에 기초한 영상 처리 방법 및 장치 | |
| US8947588B2 (en) | Image processing device, image processing method, image processing program | |
| US10044998B2 (en) | Projection apparatus, projection method, and storage medium | |
| JP2006345440A (ja) | 画像処理装置、画像処理プログラム | |
| US20190073558A1 (en) | Information processing apparatus, information processing method, and computer program | |
| US11716451B2 (en) | Color correction method and color correction system | |
| JP7309415B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US9041815B2 (en) | Digital camera imaging evaluation module | |
| JP5988725B2 (ja) | 撮像装置及び現像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050317 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050324 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050407 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070320 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070413 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070417 |
|
| LAPS | Cancellation because of no payment of annual fees |