JP3829740B2 - 監視用画像処理装置 - Google Patents
監視用画像処理装置 Download PDFInfo
- Publication number
- JP3829740B2 JP3829740B2 JP2002070340A JP2002070340A JP3829740B2 JP 3829740 B2 JP3829740 B2 JP 3829740B2 JP 2002070340 A JP2002070340 A JP 2002070340A JP 2002070340 A JP2002070340 A JP 2002070340A JP 3829740 B2 JP3829740 B2 JP 3829740B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- data
- background
- area
- background difference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は監視用画像処理装置に関し、特に背景と対象の輝度が類似の場合の処理に関するものである。
【０００２】
【従来の技術】
図１１は従来の監視用画像処理装置の構成図である。同図において、１は監視用画像処理装置に処理される映像を受けるビデオ入力部、２はビデオ入力部１から入る映像信号を量子化するＡ／Ｄ変換部、３はＡ／Ｄ変換部２からの出力を受け原画像データ（以下、原画像という）を記憶する原画像蓄積部、４はＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像データ（以下、背景画像という）を記憶する背景画像蓄積部である。５は背景画像蓄積部４のデータを一定ルールで演算し背景画像を更新（以下、背景更新という）する背景更新部であり、一般的には単純なルールで更新する（例：過去５枚の原画像の平均を背景画像とする、等）。６は原画像蓄積部３と背景画像蓄積部４の２つの画像を比較し、原画像の輝度データと背景画像の輝度データの差分である輝度差分データ及び原画像の色データと背景画像の色データの差分である色差分データ（以下、背景差分若しくは輝度背景差分、及び色背景差分という）を算出する背景差分部、７は背景差分部６のデータを２値化するための閾値を算出する閾値演算部であり、輝度背景差分を元に単純なルールで最適閾値を求めるのが一般的である（例：輝度背景差分の平均値を閾値にする、等）。
【０００３】
８は閾値演算部７で求められた閾値で輝度背景差分を２値化する２値化部であり、２値化されたデータは変化領域と称するものとする。９は２値化部８から出力される２値データを受け、その特徴量（例：変化領域の面積、縦横寸法、等）を算出する特徴量演算部であり、１０は予め記憶してある、発報対象の特徴量パラメーター設定値であり、オペレータが事前に決定した発報対象（例：人物、車）の特徴量（例：面積の上限、下限、縦横寸法の上限、下限）等を含むものとし、オペレータが発報を希望する発報対象を総称して正規発報対象と称するものとする。１１は特徴量演算部９から出力される特徴量データと、発報対象の特徴量パラメーター設定値１０とを比較し、特徴量データが特徴量パラメーター設定値１０に該当するかどうかを認識する認識処理部であり、一致した場合をイベントと称し、イベントを発生させた発報対象を特にイベント対象と称するものとする。１２はイベント発見を知らせる通知である。１３は通知１２を受けそれを知らせる発報（例：ビープ（ＢＥＥＰ音）を出す、等）をする発報処理部である。
【０００４】
図１２は図１１の認識処理部１１の処理の詳細に示したフローチャートであり、認識処理部１１は次の処理（Ｓ２２）乃至（Ｓ２５）を行って、特徴量演算部９で算出された変化領域の特徴量と特徴量パラメーター設定値１０とを対比して、発報対象か否かを判断する。処理（Ｓ２２）では、変化領域が一定時間連続で存在するかを判断し、処理（Ｓ２３）では、変化領域の特徴量のうち、面積が所定値であるか否かを判断する。処理（Ｓ２４）では、変化領域の特徴量のうち、縦横寸法が所定値であるか否かを判断する。処理（Ｓ２５）では、変化領域の特徴量のうち、移動速度が所定値であるか否かを判断する。処理（Ｓ２６）では、以上の結果を受け、ここまででＮＧが無ければ正規発報対象と判断し、イベント通知１２を出力する。逆に１つでもＮＧがあれば正規発報対象ではないと判断し、イベント通知１２を出力しない。なお、上記の処理（Ｓ２２）ないし（Ｓ２６）はソフトウエア（Ｓ／Ｗ）によって処理されるのが一般的である。
【０００５】
次に、図１１の監視用画像処理装置の動作について代表的な例を説明する。外部から装置（例えばビデオカメラ）から監視用画像処理装置に与えられた映像信号はビデオ入力部１で受け取り、Ａ／Ｄ変換部２に送られる。Ａ／Ｄ変換部２では受け取ったビデオ信号を後の処理の為にデジタルデータに変換する。１画素あたり８ビットの多値データに変換するのが一般的である。原画像蓄積部３では入力された原画像を蓄積し後の処理に備える。背景画像蓄積部４では入力された原画像を元に作成された背景画像を蓄積し後の処理に備える。背景更新部５では、背景画像蓄積部４に蓄積してある背景画像を定期的に一定ルールで背景更新する。これは定期的にサンプリングされた原画像を元に演算処理されるのが一般であり、例としては過去５シーンの原画像の各画素の値を平均した平均画像を背景画像とする方法や、一定時間前の原画像を入れ替える方法等が一般的である。
【０００６】
背景差分部６は、原画像蓄積部３の出力画像と背景画像蓄積部４からの出力画像とを比較し、各画素毎に輝度背景差分及び色背景差分を求め、それらの差分データより成る画像（以下、輝度差分画像及び色差分画像、という）を出力する。輝度差分画像は一般的には映像中で物体が移動したり光量が変化したりした際の輝度の変化した部分を表す。通常は人物や車両のような物移動物が主であるが、周囲が暗い場合はまれに正確な輝度差分画像が得られない場合がある。閾値演算部７は、背景差分部６から送られる輝度背景差分を２値化する為の閾値を求める。輝度背景差分は多値データであり、そのまま認識処理するには不的確である。以降の判断を高速に行うためにも２値化して２値データに変換するのが一般的である。２値化部８は、上記の閾値をもって輝度背景差分を２値化する。その結果、この２値化された輝度背景差分の変化領域は変化領域を示すものとなる。但し、装置によってはこの２値化を行わずに直接輝度背景差分を認識処理する場合もある。
【０００７】
上記の変化領域について説明する。図１３は通常の正門の映像であり、今人物が画像内を移動している状態が表示されている。図１４は上記の変化領域を黒く染めたスーパーインポーズを重複させて示した映像であり、この場合には移動している人物の位置がそのまま変化領域となっている。
【０００８】
特徴量演算部９は、２値化部８から入力された変化領域データを受け、その特徴量を演算する。今、例としてこの特徴量を「連続性」、「面積」、「縦横寸法」及び「速度」とする。「連続性」とは何フレーム変化領域が生存したかの連続時間を表し、「面積」は変化領域の画素数を表し、「縦横寸法」は変化領域の外接矩形の縦長さ、横長さを表し「速度」は変化領域の移動速度を表すものとする。特徴量パラメーター設定値１０には、オペレータが発報を希望している正規発報対象（例：人物や車両）の特徴量の範囲や条件が含まれている。認識処理部１１は特徴量演算部９からの特徴量データを受け、その特徴量が特徴量パラメーター設定値１０に示されている範囲や条件に合致しているか否かの判断を上記の図１２のフローチャートに従って行う。合致していると判断されれば、イベント発見となり、そのイベント通知１２を出力する。発報処理部１３は、このイベント通知を受け、発報処理を行う。この発報処理としては、一般にはビープ（ＢＥＥＰ）音の出力やランプの点灯、上位ホストマシンへの通知・通信がある。
【０００９】
【発明が解決しようとする課題】
従来の監視用画像処理装置は、以上の通りとなっているため、発報をするかしないかは変化領域の特徴量が特徴量パラメーター設定値に合致するか否かに依存している。例えば、変化領域が正規発報対象であっても、背景と対象が類似の輝度を持つため正確な変化領域を作成できなかったような状況においては、特徴量が特徴量パラメーター設定値（例えば面積値）に合致せず、イベントと判断せず、発報も行わないことになる。このように、正規発報対象であるのに変化領域の不正確さによって発報する事が出来ない事（以降失報と呼称）があり、このことが従来の監視用画像処理装置の課題となっている。
【００１０】
即ち、従来の監視用画像処理装置は、背景が暗く且つ移動物の輝度が低い場合や、逆に背景が白く、且つ移動物の輝度が高い場合などには、背景輝度差分が小さい値しか取らないため、変化領域が正確に算出できず、認識処理でイベントと判断されない場合がある。
【００１１】
ところで、この種の監視用画像処理装置として、特開平９−９２４９号公報、特開平９−２８２５６９号公報、特開昭６２−２９６６８７号公報、特開平８−３４０５２７号公報及び特開平８−２６３７５５号公報においても各種の画像処理方法が提案されているが、背景輝度差分が小さい値しか取らない場合の上記の課題を解決するものではない。
【００１２】
本発明は、上記の課題を解決するためになされたものであり、背景と対象が類似の輝度を持っている場合においても対象を高精度の検出することを可能にした監視用画像処理装置を得ることを目的とする。
【００１３】
【課題を解決するための手段】
本発明の請求項１に係る監視用画像処理装置は、原画像データの輝度データと比較用の背景画像データの輝度データとを比較し輝度背景差分を求めて、少なくともその輝度背景差分に基づいて発報対象を検出する監視用画像処理装置において、前記背景画像データの輝度データが予め設定された低輝度エリア又は高輝度エリアの何れに該当するかどうかを判断し、低輝度エリアに該当し、且つ前記輝度背景差分が負の値のとき、又は高輝度エリアに該当し、且つ前記輝度背景差分が正の値のときには、前記輝度背景差分に所定のゲインアップを施して該輝度背景差分を補正する補正手段を備えたものであり、輝度背景差分を補正して増大することにより、２値化後の変化領域がより切り出されやすくなるようにし、それにより背景と対象が類似の輝度の場合でも正確な変化領域を作成でき、発報対象を高精度に検出することができるので、失報を防ぐことができる。
【００１４】
本発明の請求項２に係る監視用画像処理装置は、請求項１に係る監視用画像処理装置において、前記補正手段は、前記背景画像データの輝度データが前記低輝度エリアに該当し、且つ前記輝度背景差分が負の値のときには、前記低輝度エリアで輝度が低い程ゲインを大きくして補正するものである。
【００１５】
本発明の請求項３に係る監視用画像処理装置は、請求項２に係る監視用画像処理装置において、前記補正手段は、前記低輝度エリアを複数のエリアに分割し、輝度が低いエリア程ゲインを大きくして補正するものである。
【００１６】
本発明の請求項４に係る監視用画像処理装置は、請求項１又２に係る監視用画像処理装置において、前記補正手段は、前記背景画像データの輝度データが前記低輝度エリアに該当し、且つ前記輝度背景差分が負の値のときには、前記輝度背景差分に、前記原画像の色データと前記背景画像の色データとの差分である色背景差分を所定量加算する補正をする。
【００１７】
本発明の請求項５に係る監視用画像処理装置は、請求項１又２に係る監視用画像処理装置において、前記補正手段は、前記低輝度エリアを複数のエリアに分割し、前記輝度背景差分の輝度をゲインアップするとともに、輝度が低い側のエリアにおいては、ゲインアップされた輝度背景差分に、前記原画像の色データと前記背景画像の色データとの差分である色背景差分を所定量加算する。
【００１８】
本発明の請求項６に係る監視用画像処理装置は、請求項１乃至４の何れかの監視用画像処理装置において、前記補正手段は、前記背景画像データの輝度データが高輝度エリアに該当し、且つ前記輝度背景差分が正の値のときには、高輝度エリアの輝度が高い程ゲインを大きくして補正をする。
【００１９】
本発明の請求項７に係る監視用画像処理装置は、請求項６に係る監視用画像処理装置において、前記補正手段は、前記高輝度エリアを複数のエリアに分割し、輝度が高いエリア程ゲインを大きくする。
【００２０】
本発明の請求項８に係る監視用画像処理装置は、請求項１又は６に係る監視用画像処理装置において、前記補正手段は、前記背景画像データの輝度データが前記高輝度エリアに該当し、且つ前記輝度背景差分が正の値のときには、前記輝度背景差分に、前記原画像の色データと前記背景画像の色データとの差分である色背景差分を所定量加算する。
【００２１】
本発明の請求項９に係る監視用画像処理装置は、請求項１又は６に係る監視用画像処理装置において、前記補正手段は、高輝度エリアを複数のエリアに分割し、前記輝度背景差分をゲインアップするとともに、輝度が高い側のエリアにおいては、ゲインアップされた輝度背景差分に、前記原画像データの色データと前記背景画像データの色データとの差分である色輝度背景差分を所定量加算する。
【００２２】
【発明の実施の形態】
実施形態１．
図１は本発明の実施形態１に係る監視用画像処理装置の構成図である。同図において、（１）〜（１３）は図８の従来のものと同一であり、その説明は省略する。（１４）は背景画像の輝度データ及び輝度背景差分に基づいて輝度背景差分のゲインアップ用のゲインを算出して増幅するゲインアップ部であり、本発明の補正手段を構成している。ゲインアップ部１４の機能を図２乃至図４に基づいて説明する。
【００２３】
図２はゲインアップ部１４の一つの態様を示した図であり、カメラ画像の中のあるエリアにおける、背景画像の輝度と輝度背景差分との関係を表している。横軸が背景画像の輝度であり、取り得る値は輝度０（黒）から輝度２５５（白）とする。縦軸は輝度背景差分である。輝度背景差分は、背景画像の輝度から原画像の輝度（移動物の輝度）を引いたデータであるため、背景画像より移動物が黒い場合には、輝度背景差分は正の値を取る。逆に背景画像より移動物が白い場合には、輝度背景差分は負の値を取る。とりえる値はいずれも０（差分がない）から２５５（差分が最大）とする。但し、背景画像の輝度が２５５の場合にはそれより移動物が高い輝度ではあり得ないため、取り得る輝度背景差分は負の値のみである。同様に、背景画像の輝度が０の場合はそれより移動物が低い輝度ではあり得ないため、取り得る輝度背景差分は正の値のみである。この判断を全体に展開すると、背景画像の輝度と輝度背景差分の関係は、以下の平行四辺形の中のみに存在することが分かる。
平行四辺形（０，０）（２５５，−２５５）（２５５，０）（０，＋２５５）
【００２４】
いま、背景画像の輝度０〜１２７までを低輝度エリアとする。同様に、背景画像の輝度１２８〜２５５までを高輝度エリアとする。低輝度エリアにおいて、移動物が背景より更に低輝度である場合には、その輝度背景差分は小さい負の値を取る。以下の三角形Ａの範囲内である。
三角形Ａ（０，０）（１２７，−１２７）（１２７，０）
【００２５】
ゲインアップ部１４では例えばこの場合、輝度背景差分の値を２倍にゲインアップする処理をする。その結果、三角形Ａは、以下の三角形Ｃの範囲に拡大されることになる。
三角形Ｃ（０，０）（１２７，−２５５）（１２７，０）
【００２６】
また、高輝度エリアにおいて、移動物が背景より更に高輝度である場合には、その輝度背景差分は小さい正の値を取る。以下の三角形Ｂの範囲内である。
三角形Ｂ（２５５，０）（１２７，＋１２７）（１２７，０）
【００２７】
ゲインアップ部１４では例えばこの場合、輝度背景差分の値を２倍にゲインアップする処理をする。その結果、三角形Ｂは、以下の三角形Ｄの範囲に拡大される。
三角形Ｄ（２５５，０）（１２７，＋２５５）（１２７，０）
【００２８】
ゲインアップ部１４は、上記の三角形Ａ，Ｂ以外の領域においては、輝度背景差分をゲインアップせずにそのまま出力する。なお、ゲインアップ部１４は図２の他にも、他の態様を取ることができるので、それを図３及び図４に基づいて説明する。
【００２９】
図３はゲインアップ部１４の他の態様を示した図である。いま、背景画像の輝度０〜６３までを低輝度エリアαとし、背景画像の輝度６４〜１２７までを低輝度エリアβとする。同様にして、背景画像の輝度１９２〜２５５までを高輝度エリアαとし、背景画像の輝度１２８〜１９１までを高輝度エリアβとする。ゲインアップ部１４では例えばこの場合には、高輝度エリアα及び低輝度エリアαでは輝度背景差分を４倍にゲインアップする処理をする。高輝度エリアβ及び低輝度エリアβでは輝度背景差分を２倍にゲインアップする処理をする。その結果、三角形Ａは、輝度０〜６３の間は以下の三角形Ｅの範囲に、輝度６４〜１２７の間は以下の三角形Ｃの範囲に、それぞれ拡大される。
三角形Ｃ（０，０）（１２７，−２５５）（１２７，０）
三角形Ｅ（０，０）（６３，−２５５）（６３，０）
【００３０】
また、同様に、三角形Ｂは、輝度１２７〜１９１の間は以下の三角形Ｄの範囲に、輝度１９２〜２５５の間は以下の三角形Ｆの範囲に、それぞれ拡大される。三角形Ｄ（２５５，０）（１２７，＋２５５）（１２７，０）
三角形Ｆ（２５５，０）（１９１，＋２５５）（１９１，０）
【００３１】
図４はゲインアップ部１４の更に他の態様を示した図である。いま、背景画像の輝度０〜１２７までを低輝度エリアとする。同様に、背景画像の輝度１２８〜２５５までを高輝度エリアとする。ゲインアップ部１４では例えば低輝度エリア及び高輝度エリアの場合には、輝度背景差分を２倍にゲインアップする処理をする。その結果、三角形Ａは、以下の三角形Ｃの範囲に拡大される。
三角形Ｃ（０，０）（１２７，−２５５）（１２７，０）
【００３２】
また、同様にして、三角形Ｂは、以下の三角形Ｄの範囲に拡大される。
三角形Ｄ（２５５，０）（１２７，＋２５５）（１２７，０）
【００３３】
更にここで、色背景差分の加算処理を行う。いま、背景画像の輝度０〜６３までを色加算対象エリアとする。同様に、背景画像の輝度１９２〜２５５までを色加算対象エリアとする。色加算対象エリアでは、ここに色背景差分値の１／２を加算する。色背景差分値の１／２とは、取り得る値の範囲としては ０〜１２７であるものとする。加算される部分は以下の四角形Ｅ、四角形Ｆで示される部分である。
【００３４】
従って、この結果、本来（２５５，０）−（０，２５５）の直線上にあった輝度背景差分の最大値ラインが、（２５５，０）−（１９１，＋２５５）−（１９１，＋１２７）−（１２７，＋２５５）−（１２７，＋１２７）−（０，２５５）のラインに変更になっている。同様に、この結果、本来（０，０）−（２５５，−２５５）の直線上にあった輝度背景差分の最小値ラインが、（０，−１２７）−（６３，−２５５）−（６３，−１２７）−（１２７，−２５５）−（１２７，−１２７）−（２５５，−２５５）のラインに変更になっている。
【００３５】
図１のゲインアップ部１４の機能が明らかになったところで、図１の監視用画像処理装置の動作を説明する。ゲインアップ部１４以外の部分の動作は図１１のものと同じであるが、外部から装置（例えばビデオカメラ）から監視用画像処理装置に与えられた映像信号はビデオ入力部１で受け取り、Ａ／Ｄ変換部２に送られ、Ａ／Ｄ変換部２ではそのビデオ信号をデジタルデータに変換する。原画像蓄積部３ではデジタルデータに変換された原画像を蓄積する。背景画像蓄積部４ではデジタルデータに変換された原画像を元に作成された背景画像を蓄積する。背景更新部５では、背景画像蓄積部４に蓄積してある背景画像を定期的に一定ルールで背景更新する。
【００３６】
背景差分部６は原画像蓄積部３の出力画像と背景画像蓄積部４からの出力画像を比較し、各画素毎に輝度背景差分及び色背景差分を求め、その差分データより成る画像（輝度差分画像及び色差分画像）を出力する。ゲインアップ部１４は、図２乃至図４の何れかの方法によって輝度背景差分を処理して必要に応じてゲインアップ（増幅）する。ゲインアップ部１４が例えば図２の態様の場合には、図５のフローチャートに示されるように、画素の背景画像の輝度が低輝度エリア（輝度０〜１２７）及び高輝度エリア（輝度１２８〜２５５）の何れに該当するかを判断し（Ｓ３１）、低輝度エリアに該当し、且つ輝度背景差分が負の値であると判断したとき（Ｓ３２）、又は高輝度エリアに該当し、且つ輝度背景差分が正の値であると判断されたとき（Ｓ３３）には、輝度背景差分の値を２倍にゲインアップする処理をする（Ｓ３４）。それ以外の場合には、輝度背景差分をそのまま出力することとなる。
【００３７】
また、ゲインアップ部１４が例えば図３の態様の場合には、図６のフローチャートに示されるように、背景画像の輝度が、低輝度エリアα、低輝度エリアβ、高輝度エリアβ及び高輝度エリアαの何れに該当するかを判断し（Ｓ３５）、低輝度エリアαに該当し、且つ輝度背景差分が負の値であると判断と判断したとき（Ｓ３６）、又は高輝度エリアαに該当し、且つ輝度背景差分が正の値であると判断したとき（Ｓ３９）には、輝度背景差分を４倍にゲインアップする処理をする（Ｓ４０）。また、低輝度エリアβに該当し、且つ輝度背景差分が負の値であると判断したとき（Ｓ３７）、又は高輝度エリアβに該当し、且つ輝度背景差分が正の値であると判断したとき（Ｓ３８）には、輝度背景差分を２倍にゲインアップする処理をする（Ｓ４１）。それ以外の場合には、輝度背景差分をそのまま出力することとなる。
【００３８】
また、ゲインアップ部１４が例えば図４の態様の場合には、図７のフローチャートに示されるように、背景画像の輝度が低輝度エリア（輝度０〜１２７）及び高輝度エリア（輝度１２８〜２５５）の何れに該当するかを判断し（Ｓ３１）、低輝度エリアに該当し、且つ輝度背景差分が負の値であると判断したとき（Ｓ３２）、又は高輝度エリアに該当し、且つ輝度背景差分が正の値であると判断されたとき（Ｓ３３）には、輝度背景差分の値を２倍にゲインアップする処理をする（Ｓ３４）。そして、背景画像の輝度が色加算対象エリア（輝度０〜６３、１９２〜２５５）に該当する場合には、ここに色背景差分値の１／２を加算する処理を行う。それ以外の場合には、輝度背景差分をそのまま出力することとなる。なお、上記の処理（図５〜図７）は各画素についてそれぞれ行うものとする。
【００３９】
閾値演算部７は、ゲインアップ部１４の出力である補正後の輝度背景差分を２化する為の閾値を求める。輝度背景差分は多値データであり、そのまま認識処理をするには不的確であるので、以降の判断を高速に行うためにも２値化して２値データに変換する。２値化部８は、上記の閾値をもって補正後の輝度背景差分を２値化する。その結果、この２値化された輝度背景差分の変化領域は変化領域を示すものとなる。
【００４０】
補正後の輝度背景差分は、高輝度エリアの輝度の高い移動物や低輝度エリアの輝度の低い移動物のような、本来輝度背景差分が出にくい状況においても、大きな値を取りうることが可能なため、２値化するとシルエットがとぎれてしまうような画像でも、正確なシルエットを算出する事が可能となる。
【００４１】
図８は原画像を示した図である。今青い服を着た人物が薄暗い廊下を移動している。この場合移動している人物の位置がそのまま変化領域となるのが理想ではあるが、実際は背景の輝度が低く移動物の輝度も低いため、輝度背景差分が低い値しか取らず、明確に人物のシルエットに沿った変化領域が得られない。
【００４２】
図９はその変化領域をベタ染めしたスーパーインポーズを重複させて示した映像である。特に暗いパーテーションに重なる胸から下が輝度差が少なく、変化領域が得られていない。補正後の輝度背景差分であれば、本来輝度背景差分が低い値しか取らないエリアでも補正によって大きな値を取り得るため、明確に人物のシルエットに沿った変化領域が得られる。
【００４３】
図１０はその変化領域をベタ染めしたスーパーインポーズを重複させて示した映像である。本来暗いパーテーションに重なる胸から下が輝度差が少なく、変化領域が得られにくい所であるが、補正された結果、明確な人物のシルエットが得られるようになっている。
【００４４】
特徴量演算部９以降の処理は図１１に記載のものと基本的に同じであるが、その概要を説明する。特徴量演算部９は２値化部８から入力された変化領域データを受け、その特徴量を演算する。特徴量パラメーター設定値１０には、オペレータが発報を希望している正規発報対象（例：人物や車両）の特徴量の範囲や条件が含まれている。認識処理部１１は特徴量演算部９からの特徴量データを受け、その特徴量が特徴量パラメーター設定値１０に示されている範囲や条件に合致しているか否かの判断を上記の図１２のフローチャートに従って行う。
【００４５】
認識処理部１１は、連続性判断の処理（Ｓ２２）においては特徴量演算部９で演算された特徴量の「連続性」を見る。連続時間が特徴量パラメーター設定値の範囲や条件に合致した際にＯＫと、合致しなかった場合にＮＧと判断する。例えば特徴量パラメーター設定値の範囲が「最小４フレーム最大１０フレーム」である場合には、連続時間が４〜１０フレームで有ればＯＫ、それ以外で有ればＮＧと判断される。面積判断の処理（Ｓ２３）においては特徴量演算部９で演算された特徴量の「面積」を見る。面積が特徴量パラメーター設定値の範囲や条件に合致した際にＯＫと、合致しなかった場合にＮＧと判断する。例えば特徴量パラメーター設定値の範囲が「最小５００画素、最大１０００画素」である場合、面積が５００〜１０００画素で有ればＯＫ、それ以外で有ればＮＧと判断される。縦横判断の処理（Ｓ２４）においては特徴量演算部９で演算された特徴量の「縦横寸法」を見る。縦横寸法が特徴量パラメーター設定値の範囲や条件に合致した際にはＯＫと、合致しなかった場合にＮＧと判断する。例えば特徴量パラメーター設定値の範囲が「縦最小５０画素、最大１００画素」「横最小５０画素、最大１００画素」である場合、縦横寸法とも５０〜１００画素で有ればＯＫ、それ以外で有ればＮＧと判断される。
【００４６】
速度判断の処理（Ｓ２５）においては、特徴量演算部９で演算された特徴量の「速度」を見る。速度が特徴量パラメーター設定値の範囲や条件に合致した際にはＯＫと、合致しなかった場合にＮＧと判断する。例えば特徴量パラメーター設定値の範囲が「最小５０画素／秒、最大１００画素／秒」である場合、縦横寸法とも５０〜１００画素／秒で有ればＯＫ、それ以外で有ればＮＧと判断される。なお、「面積」、「縦横寸法」及び「移動速度」は、連続性判断の処理（Ｓ２２）で示される所定時間中の各画像における特徴量の平均を算出して、特徴量パラメーター設定値と比較されるのが一般的である。処理（Ｓ２６）においては、イベント通知出力まですべてＯＫで至った場合には、ここでイベント通知１２を出力する。発報処理部１３は、このイベント通知を受け、発報処理を行う。
【００４７】
実施形態２．
なお、上述の実施形態においては、高輝度エリア及び低輝度エリアのゲインをそれぞれ２段階に設定する例について説明したが（図３）、３段階以上の多段階に設定するようにしてもよいし、或いは関数式で表現するようにしてもよい。また、輝度背景差分に色背景差分を所定量加算する例においては、低輝度エリア及び高低輝度エリアをそれぞれ複数のエリアに分割し、輝度背景差分を所定のゲインでゲインアップするとともに、低輝度エリアの輝度が低い側のエリア及び高低輝度エリアの輝度が高い側のエリアにおいては、ゲインアップされた輝度背景差分に色背景差分を所定量加算する例について説明したが（図４）、ゲインアップを省略して、輝度背景差分に色背景差分を所定量加算してもよい。
【００４８】
実施形態３．
図２〜図４及び図５〜図７においては、低輝度エリアを輝度０〜１２７とし、高輝度エリアを輝度１２８〜２５５とし、低輝度エリアαを輝度０〜６３とし、低輝度エリアβを輝度６４〜１２７とし、高輝度エリアβを輝度１２８〜１９１とし、高輝度エリアαを輝度１９２〜２５５とし、また、色加算対象エリアを輝度０〜６３、１９２〜２５５とする例について説明したが、これらは一例に過ぎず、本発明においてはこれらの輝度の分割例に限定されるものではなく、適宜変更することができる。
【００４９】
【発明の効果】
以上のように請求項１に係る発明よれば、背景画像のデータの輝度データが予め設定された低輝度エリア又は高輝度エリアの何れに該当するかどうかを判断し、低輝度エリアに該当し、且つ輝度背景差分が負の値のとき、又は高輝度エリアに該当し、且つ輝度背景差分が正の値のときには、輝度背景差分に所定のゲインアップを施して輝度背景差分を補正するようにしたので、背景と対象が類似の輝度の場合でも正確な変化領域を作成することが可能になっており、その結果、失報が防止できる。即ち、従来はこのような状況では、変化領域が小さくしか切り出せなかったため、認識処理部で特徴量判定で何らかの条件を満たせず（例：面積が小さい等）、その結果イベントとして判断されない事が多かったが、本発明よれば、変化領域がより正確に切り出せるようになるため、特徴量を判定するときに除外される確率が減り、イベントとしてより高精度に判断されるようになる。
【００５０】
また、請求項２に係る発明よれば、背景画像データの輝度データが低輝度エリアに該当し、且つ輝度背景差分が負の値のときには、低輝度エリアで輝度が低い程ゲインを大きくするようにしたので、従来正確に算出できなかった低輝度エリアの変化領域を、背景と対象が類似の輝度の場合でも正確な変化領域をより高精度の作成することが可能になっており、その結果、失報が防止できる。
【００５１】
また、請求項３に係る発明よれば、低輝度エリアを複数のエリアに分割し、輝度が低いエリア程ゲインを大きくするようにしたので、ゲインが多段階に設定されており、ゲインを変更する際の処理が簡単になっている。
【００５２】
また、請求項４に係る発明よれば、背景画像データの輝度データが低輝度エリアに該当し、且つ輝度背景差分が負の値のときには、輝度背景差分に、色背景差分を所定量加算するようにしたので、背景と移動物の輝度が同じでも色が異なれば輝度背景差分を増大でき、その結果変化領域を正確に算出できる。従って、背景と移動物の輝度が極端に類似していても、背景と移動物の色が異なれば、移動物を正確に検出することができる。
【００５３】
また、請求項５に係る発明よれば、低輝度エリアを複数のエリアに分割し、輝度背景差分をゲインアップするとともに、輝度が低い側のエリアにおいては、ゲインアップされた輝度背景差分に色背景差分を所定量加算するようにしたので、特に、輝度が低い側のエリアにおいて、背景と移動物の輝度が同じでも色が異なれば輝度背景差分を増大でき、その結果変化領域を正確に算出できる。従って、背景と移動物の輝度が極端に類似していても、背景と移動物の色が異なれば、移動物を正確に検出することができる。
【００５４】
また、請求項６に係る発明よれば、背景画像の輝度データが高輝度エリアに該当し、且つ輝度背景差分が正の値のときには、高輝度エリアの輝度が高い程ゲインを大きくするようにしたので、従来正確に算出できなかった高い輝度エリアの変化領域を、背景と対象が類似の輝度の場合でも、より高精度に正確に作成することが可能になっており、その結果、失報が防止できる。
【００５５】
また、請求項７に係る発明よれば、高輝度エリアを複数のエリアに分割し、輝度が高いエリア程ゲインを大きくするようにしたので、ゲインが多段階に設定されており、ゲインを変更する際の処理が簡単になっている。
【００５６】
また、請求項８に係る発明よれば、背景画像の輝度データが高輝度エリアに該当し、且つ輝度背景差分が正の値のときには、輝度背景差分に色背景差分を所定量加算するようにしたので、背景と移動物の輝度が同じでも色が異なれば輝度背景差分を増大でき、その結果変化領域を正確に算出できる。従って、背景と移動物の輝度が極端に類似していても、背景と移動物の色が異なれば、移動物を正確に検出することができる
【００５７】
また、請求項９に係る発明よれば、高輝度エリアを複数のエリアに分割し、輝度背景差分をゲインアップするとともに、輝度が高い側のエリアにおいては、ゲインアップされた輝度背景差分に、色背景差分を所定量加算するようにしたので、特に、輝度が高い側のエリアにおいて、背景と移動物の輝度が同じでも色が異なれば輝度背景差分を増大でき、その結果変化領域を正確に算出できる。従って、背景と移動物の輝度が極端に類似していても、背景と移動物の色が異なれば、移動物を正確に検出することができる。
【図面の簡単な説明】
【図１】 本発明の実施形態１に係る監視用画像処理装置の構成図である。
【図２】 図１のゲインアップ部の一つの態様を示した図である。
【図３】 図１のゲインアップ部の他の態様を示した図である。
【図４】 図１のゲインアップ部の更に他の態様を示した図である。
【図５】 図２の態様のゲインアップ部の処理を示したフローチャートである。
【図６】 図３の態様のゲインアップ部の処理を示したフローチャートである。
【図７】 図４の態様のゲインアップ部の処理を示したフローチャートである。
【図８】 原画像を示した図である。
【図９】 差分データに補正を施さなかった場合の２値化の結果を示した図である。
【図１０】 差分データに補正を施さなかった場合の２値化の結果を示した図である。
【図１１】 従来の監視用画像処理装置の構成図である。
【図１２】 図１１の認識処理部の処理を示したフローチャートである。
【図１３】 原画像を示した図である。
【図１４】 変化領域をスーパーインポーズした原画像を示した図である。
【符号の説明】
１ ビデオ入力部、２ 背景画像蓄積部、３ 原画像蓄積部、４ 背景画像蓄積部、５ 背景更新部、６ 背景差分部、７ 閾値演算部、８ ２値化部、９ 特徴量演算部、１０ 特徴量パラメーター設定値、１１ 認識処理部、１２ イベント通知、１３ 発報処理部、１４ ゲインアップ部。
【発明の属する技術分野】
本発明は監視用画像処理装置に関し、特に背景と対象の輝度が類似の場合の処理に関するものである。
【０００２】
【従来の技術】
図１１は従来の監視用画像処理装置の構成図である。同図において、１は監視用画像処理装置に処理される映像を受けるビデオ入力部、２はビデオ入力部１から入る映像信号を量子化するＡ／Ｄ変換部、３はＡ／Ｄ変換部２からの出力を受け原画像データ（以下、原画像という）を記憶する原画像蓄積部、４はＡ／Ｄ変換部２からの出力を受け相応の演算を行い作成した、比較用の背景画像データ（以下、背景画像という）を記憶する背景画像蓄積部である。５は背景画像蓄積部４のデータを一定ルールで演算し背景画像を更新（以下、背景更新という）する背景更新部であり、一般的には単純なルールで更新する（例：過去５枚の原画像の平均を背景画像とする、等）。６は原画像蓄積部３と背景画像蓄積部４の２つの画像を比較し、原画像の輝度データと背景画像の輝度データの差分である輝度差分データ及び原画像の色データと背景画像の色データの差分である色差分データ（以下、背景差分若しくは輝度背景差分、及び色背景差分という）を算出する背景差分部、７は背景差分部６のデータを２値化するための閾値を算出する閾値演算部であり、輝度背景差分を元に単純なルールで最適閾値を求めるのが一般的である（例：輝度背景差分の平均値を閾値にする、等）。
【０００３】
８は閾値演算部７で求められた閾値で輝度背景差分を２値化する２値化部であり、２値化されたデータは変化領域と称するものとする。９は２値化部８から出力される２値データを受け、その特徴量（例：変化領域の面積、縦横寸法、等）を算出する特徴量演算部であり、１０は予め記憶してある、発報対象の特徴量パラメーター設定値であり、オペレータが事前に決定した発報対象（例：人物、車）の特徴量（例：面積の上限、下限、縦横寸法の上限、下限）等を含むものとし、オペレータが発報を希望する発報対象を総称して正規発報対象と称するものとする。１１は特徴量演算部９から出力される特徴量データと、発報対象の特徴量パラメーター設定値１０とを比較し、特徴量データが特徴量パラメーター設定値１０に該当するかどうかを認識する認識処理部であり、一致した場合をイベントと称し、イベントを発生させた発報対象を特にイベント対象と称するものとする。１２はイベント発見を知らせる通知である。１３は通知１２を受けそれを知らせる発報（例：ビープ（ＢＥＥＰ音）を出す、等）をする発報処理部である。
【０００４】
図１２は図１１の認識処理部１１の処理の詳細に示したフローチャートであり、認識処理部１１は次の処理（Ｓ２２）乃至（Ｓ２５）を行って、特徴量演算部９で算出された変化領域の特徴量と特徴量パラメーター設定値１０とを対比して、発報対象か否かを判断する。処理（Ｓ２２）では、変化領域が一定時間連続で存在するかを判断し、処理（Ｓ２３）では、変化領域の特徴量のうち、面積が所定値であるか否かを判断する。処理（Ｓ２４）では、変化領域の特徴量のうち、縦横寸法が所定値であるか否かを判断する。処理（Ｓ２５）では、変化領域の特徴量のうち、移動速度が所定値であるか否かを判断する。処理（Ｓ２６）では、以上の結果を受け、ここまででＮＧが無ければ正規発報対象と判断し、イベント通知１２を出力する。逆に１つでもＮＧがあれば正規発報対象ではないと判断し、イベント通知１２を出力しない。なお、上記の処理（Ｓ２２）ないし（Ｓ２６）はソフトウエア（Ｓ／Ｗ）によって処理されるのが一般的である。
【０００５】
次に、図１１の監視用画像処理装置の動作について代表的な例を説明する。外部から装置（例えばビデオカメラ）から監視用画像処理装置に与えられた映像信号はビデオ入力部１で受け取り、Ａ／Ｄ変換部２に送られる。Ａ／Ｄ変換部２では受け取ったビデオ信号を後の処理の為にデジタルデータに変換する。１画素あたり８ビットの多値データに変換するのが一般的である。原画像蓄積部３では入力された原画像を蓄積し後の処理に備える。背景画像蓄積部４では入力された原画像を元に作成された背景画像を蓄積し後の処理に備える。背景更新部５では、背景画像蓄積部４に蓄積してある背景画像を定期的に一定ルールで背景更新する。これは定期的にサンプリングされた原画像を元に演算処理されるのが一般であり、例としては過去５シーンの原画像の各画素の値を平均した平均画像を背景画像とする方法や、一定時間前の原画像を入れ替える方法等が一般的である。
【０００６】
背景差分部６は、原画像蓄積部３の出力画像と背景画像蓄積部４からの出力画像とを比較し、各画素毎に輝度背景差分及び色背景差分を求め、それらの差分データより成る画像（以下、輝度差分画像及び色差分画像、という）を出力する。輝度差分画像は一般的には映像中で物体が移動したり光量が変化したりした際の輝度の変化した部分を表す。通常は人物や車両のような物移動物が主であるが、周囲が暗い場合はまれに正確な輝度差分画像が得られない場合がある。閾値演算部７は、背景差分部６から送られる輝度背景差分を２値化する為の閾値を求める。輝度背景差分は多値データであり、そのまま認識処理するには不的確である。以降の判断を高速に行うためにも２値化して２値データに変換するのが一般的である。２値化部８は、上記の閾値をもって輝度背景差分を２値化する。その結果、この２値化された輝度背景差分の変化領域は変化領域を示すものとなる。但し、装置によってはこの２値化を行わずに直接輝度背景差分を認識処理する場合もある。
【０００７】
上記の変化領域について説明する。図１３は通常の正門の映像であり、今人物が画像内を移動している状態が表示されている。図１４は上記の変化領域を黒く染めたスーパーインポーズを重複させて示した映像であり、この場合には移動している人物の位置がそのまま変化領域となっている。
【０００８】
特徴量演算部９は、２値化部８から入力された変化領域データを受け、その特徴量を演算する。今、例としてこの特徴量を「連続性」、「面積」、「縦横寸法」及び「速度」とする。「連続性」とは何フレーム変化領域が生存したかの連続時間を表し、「面積」は変化領域の画素数を表し、「縦横寸法」は変化領域の外接矩形の縦長さ、横長さを表し「速度」は変化領域の移動速度を表すものとする。特徴量パラメーター設定値１０には、オペレータが発報を希望している正規発報対象（例：人物や車両）の特徴量の範囲や条件が含まれている。認識処理部１１は特徴量演算部９からの特徴量データを受け、その特徴量が特徴量パラメーター設定値１０に示されている範囲や条件に合致しているか否かの判断を上記の図１２のフローチャートに従って行う。合致していると判断されれば、イベント発見となり、そのイベント通知１２を出力する。発報処理部１３は、このイベント通知を受け、発報処理を行う。この発報処理としては、一般にはビープ（ＢＥＥＰ）音の出力やランプの点灯、上位ホストマシンへの通知・通信がある。
【０００９】
【発明が解決しようとする課題】
従来の監視用画像処理装置は、以上の通りとなっているため、発報をするかしないかは変化領域の特徴量が特徴量パラメーター設定値に合致するか否かに依存している。例えば、変化領域が正規発報対象であっても、背景と対象が類似の輝度を持つため正確な変化領域を作成できなかったような状況においては、特徴量が特徴量パラメーター設定値（例えば面積値）に合致せず、イベントと判断せず、発報も行わないことになる。このように、正規発報対象であるのに変化領域の不正確さによって発報する事が出来ない事（以降失報と呼称）があり、このことが従来の監視用画像処理装置の課題となっている。
【００１０】
即ち、従来の監視用画像処理装置は、背景が暗く且つ移動物の輝度が低い場合や、逆に背景が白く、且つ移動物の輝度が高い場合などには、背景輝度差分が小さい値しか取らないため、変化領域が正確に算出できず、認識処理でイベントと判断されない場合がある。
【００１１】
ところで、この種の監視用画像処理装置として、特開平９−９２４９号公報、特開平９−２８２５６９号公報、特開昭６２−２９６６８７号公報、特開平８−３４０５２７号公報及び特開平８−２６３７５５号公報においても各種の画像処理方法が提案されているが、背景輝度差分が小さい値しか取らない場合の上記の課題を解決するものではない。
【００１２】
本発明は、上記の課題を解決するためになされたものであり、背景と対象が類似の輝度を持っている場合においても対象を高精度の検出することを可能にした監視用画像処理装置を得ることを目的とする。
【００１３】
【課題を解決するための手段】
本発明の請求項１に係る監視用画像処理装置は、原画像データの輝度データと比較用の背景画像データの輝度データとを比較し輝度背景差分を求めて、少なくともその輝度背景差分に基づいて発報対象を検出する監視用画像処理装置において、前記背景画像データの輝度データが予め設定された低輝度エリア又は高輝度エリアの何れに該当するかどうかを判断し、低輝度エリアに該当し、且つ前記輝度背景差分が負の値のとき、又は高輝度エリアに該当し、且つ前記輝度背景差分が正の値のときには、前記輝度背景差分に所定のゲインアップを施して該輝度背景差分を補正する補正手段を備えたものであり、輝度背景差分を補正して増大することにより、２値化後の変化領域がより切り出されやすくなるようにし、それにより背景と対象が類似の輝度の場合でも正確な変化領域を作成でき、発報対象を高精度に検出することができるので、失報を防ぐことができる。
【００１４】
本発明の請求項２に係る監視用画像処理装置は、請求項１に係る監視用画像処理装置において、前記補正手段は、前記背景画像データの輝度データが前記低輝度エリアに該当し、且つ前記輝度背景差分が負の値のときには、前記低輝度エリアで輝度が低い程ゲインを大きくして補正するものである。
【００１５】
本発明の請求項３に係る監視用画像処理装置は、請求項２に係る監視用画像処理装置において、前記補正手段は、前記低輝度エリアを複数のエリアに分割し、輝度が低いエリア程ゲインを大きくして補正するものである。
【００１６】
本発明の請求項４に係る監視用画像処理装置は、請求項１又２に係る監視用画像処理装置において、前記補正手段は、前記背景画像データの輝度データが前記低輝度エリアに該当し、且つ前記輝度背景差分が負の値のときには、前記輝度背景差分に、前記原画像の色データと前記背景画像の色データとの差分である色背景差分を所定量加算する補正をする。
【００１７】
本発明の請求項５に係る監視用画像処理装置は、請求項１又２に係る監視用画像処理装置において、前記補正手段は、前記低輝度エリアを複数のエリアに分割し、前記輝度背景差分の輝度をゲインアップするとともに、輝度が低い側のエリアにおいては、ゲインアップされた輝度背景差分に、前記原画像の色データと前記背景画像の色データとの差分である色背景差分を所定量加算する。
【００１８】
本発明の請求項６に係る監視用画像処理装置は、請求項１乃至４の何れかの監視用画像処理装置において、前記補正手段は、前記背景画像データの輝度データが高輝度エリアに該当し、且つ前記輝度背景差分が正の値のときには、高輝度エリアの輝度が高い程ゲインを大きくして補正をする。
【００１９】
本発明の請求項７に係る監視用画像処理装置は、請求項６に係る監視用画像処理装置において、前記補正手段は、前記高輝度エリアを複数のエリアに分割し、輝度が高いエリア程ゲインを大きくする。
【００２０】
本発明の請求項８に係る監視用画像処理装置は、請求項１又は６に係る監視用画像処理装置において、前記補正手段は、前記背景画像データの輝度データが前記高輝度エリアに該当し、且つ前記輝度背景差分が正の値のときには、前記輝度背景差分に、前記原画像の色データと前記背景画像の色データとの差分である色背景差分を所定量加算する。
【００２１】
本発明の請求項９に係る監視用画像処理装置は、請求項１又は６に係る監視用画像処理装置において、前記補正手段は、高輝度エリアを複数のエリアに分割し、前記輝度背景差分をゲインアップするとともに、輝度が高い側のエリアにおいては、ゲインアップされた輝度背景差分に、前記原画像データの色データと前記背景画像データの色データとの差分である色輝度背景差分を所定量加算する。
【００２２】
【発明の実施の形態】
実施形態１．
図１は本発明の実施形態１に係る監視用画像処理装置の構成図である。同図において、（１）〜（１３）は図８の従来のものと同一であり、その説明は省略する。（１４）は背景画像の輝度データ及び輝度背景差分に基づいて輝度背景差分のゲインアップ用のゲインを算出して増幅するゲインアップ部であり、本発明の補正手段を構成している。ゲインアップ部１４の機能を図２乃至図４に基づいて説明する。
【００２３】
図２はゲインアップ部１４の一つの態様を示した図であり、カメラ画像の中のあるエリアにおける、背景画像の輝度と輝度背景差分との関係を表している。横軸が背景画像の輝度であり、取り得る値は輝度０（黒）から輝度２５５（白）とする。縦軸は輝度背景差分である。輝度背景差分は、背景画像の輝度から原画像の輝度（移動物の輝度）を引いたデータであるため、背景画像より移動物が黒い場合には、輝度背景差分は正の値を取る。逆に背景画像より移動物が白い場合には、輝度背景差分は負の値を取る。とりえる値はいずれも０（差分がない）から２５５（差分が最大）とする。但し、背景画像の輝度が２５５の場合にはそれより移動物が高い輝度ではあり得ないため、取り得る輝度背景差分は負の値のみである。同様に、背景画像の輝度が０の場合はそれより移動物が低い輝度ではあり得ないため、取り得る輝度背景差分は正の値のみである。この判断を全体に展開すると、背景画像の輝度と輝度背景差分の関係は、以下の平行四辺形の中のみに存在することが分かる。
平行四辺形（０，０）（２５５，−２５５）（２５５，０）（０，＋２５５）
【００２４】
いま、背景画像の輝度０〜１２７までを低輝度エリアとする。同様に、背景画像の輝度１２８〜２５５までを高輝度エリアとする。低輝度エリアにおいて、移動物が背景より更に低輝度である場合には、その輝度背景差分は小さい負の値を取る。以下の三角形Ａの範囲内である。
三角形Ａ（０，０）（１２７，−１２７）（１２７，０）
【００２５】
ゲインアップ部１４では例えばこの場合、輝度背景差分の値を２倍にゲインアップする処理をする。その結果、三角形Ａは、以下の三角形Ｃの範囲に拡大されることになる。
三角形Ｃ（０，０）（１２７，−２５５）（１２７，０）
【００２６】
また、高輝度エリアにおいて、移動物が背景より更に高輝度である場合には、その輝度背景差分は小さい正の値を取る。以下の三角形Ｂの範囲内である。
三角形Ｂ（２５５，０）（１２７，＋１２７）（１２７，０）
【００２７】
ゲインアップ部１４では例えばこの場合、輝度背景差分の値を２倍にゲインアップする処理をする。その結果、三角形Ｂは、以下の三角形Ｄの範囲に拡大される。
三角形Ｄ（２５５，０）（１２７，＋２５５）（１２７，０）
【００２８】
ゲインアップ部１４は、上記の三角形Ａ，Ｂ以外の領域においては、輝度背景差分をゲインアップせずにそのまま出力する。なお、ゲインアップ部１４は図２の他にも、他の態様を取ることができるので、それを図３及び図４に基づいて説明する。
【００２９】
図３はゲインアップ部１４の他の態様を示した図である。いま、背景画像の輝度０〜６３までを低輝度エリアαとし、背景画像の輝度６４〜１２７までを低輝度エリアβとする。同様にして、背景画像の輝度１９２〜２５５までを高輝度エリアαとし、背景画像の輝度１２８〜１９１までを高輝度エリアβとする。ゲインアップ部１４では例えばこの場合には、高輝度エリアα及び低輝度エリアαでは輝度背景差分を４倍にゲインアップする処理をする。高輝度エリアβ及び低輝度エリアβでは輝度背景差分を２倍にゲインアップする処理をする。その結果、三角形Ａは、輝度０〜６３の間は以下の三角形Ｅの範囲に、輝度６４〜１２７の間は以下の三角形Ｃの範囲に、それぞれ拡大される。
三角形Ｃ（０，０）（１２７，−２５５）（１２７，０）
三角形Ｅ（０，０）（６３，−２５５）（６３，０）
【００３０】
また、同様に、三角形Ｂは、輝度１２７〜１９１の間は以下の三角形Ｄの範囲に、輝度１９２〜２５５の間は以下の三角形Ｆの範囲に、それぞれ拡大される。三角形Ｄ（２５５，０）（１２７，＋２５５）（１２７，０）
三角形Ｆ（２５５，０）（１９１，＋２５５）（１９１，０）
【００３１】
図４はゲインアップ部１４の更に他の態様を示した図である。いま、背景画像の輝度０〜１２７までを低輝度エリアとする。同様に、背景画像の輝度１２８〜２５５までを高輝度エリアとする。ゲインアップ部１４では例えば低輝度エリア及び高輝度エリアの場合には、輝度背景差分を２倍にゲインアップする処理をする。その結果、三角形Ａは、以下の三角形Ｃの範囲に拡大される。
三角形Ｃ（０，０）（１２７，−２５５）（１２７，０）
【００３２】
また、同様にして、三角形Ｂは、以下の三角形Ｄの範囲に拡大される。
三角形Ｄ（２５５，０）（１２７，＋２５５）（１２７，０）
【００３３】
更にここで、色背景差分の加算処理を行う。いま、背景画像の輝度０〜６３までを色加算対象エリアとする。同様に、背景画像の輝度１９２〜２５５までを色加算対象エリアとする。色加算対象エリアでは、ここに色背景差分値の１／２を加算する。色背景差分値の１／２とは、取り得る値の範囲としては ０〜１２７であるものとする。加算される部分は以下の四角形Ｅ、四角形Ｆで示される部分である。
従って、この結果、本来（２５５，０）−（０，２５５）の直線上にあった輝度背景差分の最大値ラインが、（２５５，０）−（１９１，＋２５５）−（１９１，＋１２７）−（１２７，＋２５５）−（１２７，＋１２７）−（０，２５５）のラインに変更になっている。同様に、この結果、本来（０，０）−（２５５，−２５５）の直線上にあった輝度背景差分の最小値ラインが、（０，−１２７）−（６３，−２５５）−（６３，−１２７）−（１２７，−２５５）−（１２７，−１２７）−（２５５，−２５５）のラインに変更になっている。
【００３５】
図１のゲインアップ部１４の機能が明らかになったところで、図１の監視用画像処理装置の動作を説明する。ゲインアップ部１４以外の部分の動作は図１１のものと同じであるが、外部から装置（例えばビデオカメラ）から監視用画像処理装置に与えられた映像信号はビデオ入力部１で受け取り、Ａ／Ｄ変換部２に送られ、Ａ／Ｄ変換部２ではそのビデオ信号をデジタルデータに変換する。原画像蓄積部３ではデジタルデータに変換された原画像を蓄積する。背景画像蓄積部４ではデジタルデータに変換された原画像を元に作成された背景画像を蓄積する。背景更新部５では、背景画像蓄積部４に蓄積してある背景画像を定期的に一定ルールで背景更新する。
【００３６】
背景差分部６は原画像蓄積部３の出力画像と背景画像蓄積部４からの出力画像を比較し、各画素毎に輝度背景差分及び色背景差分を求め、その差分データより成る画像（輝度差分画像及び色差分画像）を出力する。ゲインアップ部１４は、図２乃至図４の何れかの方法によって輝度背景差分を処理して必要に応じてゲインアップ（増幅）する。ゲインアップ部１４が例えば図２の態様の場合には、図５のフローチャートに示されるように、画素の背景画像の輝度が低輝度エリア（輝度０〜１２７）及び高輝度エリア（輝度１２８〜２５５）の何れに該当するかを判断し（Ｓ３１）、低輝度エリアに該当し、且つ輝度背景差分が負の値であると判断したとき（Ｓ３２）、又は高輝度エリアに該当し、且つ輝度背景差分が正の値であると判断されたとき（Ｓ３３）には、輝度背景差分の値を２倍にゲインアップする処理をする（Ｓ３４）。それ以外の場合には、輝度背景差分をそのまま出力することとなる。
【００３７】
また、ゲインアップ部１４が例えば図３の態様の場合には、図６のフローチャートに示されるように、背景画像の輝度が、低輝度エリアα、低輝度エリアβ、高輝度エリアβ及び高輝度エリアαの何れに該当するかを判断し（Ｓ３５）、低輝度エリアαに該当し、且つ輝度背景差分が負の値であると判断と判断したとき（Ｓ３６）、又は高輝度エリアαに該当し、且つ輝度背景差分が正の値であると判断したとき（Ｓ３９）には、輝度背景差分を４倍にゲインアップする処理をする（Ｓ４０）。また、低輝度エリアβに該当し、且つ輝度背景差分が負の値であると判断したとき（Ｓ３７）、又は高輝度エリアβに該当し、且つ輝度背景差分が正の値であると判断したとき（Ｓ３８）には、輝度背景差分を２倍にゲインアップする処理をする（Ｓ４１）。それ以外の場合には、輝度背景差分をそのまま出力することとなる。
【００３８】
また、ゲインアップ部１４が例えば図４の態様の場合には、図７のフローチャートに示されるように、背景画像の輝度が低輝度エリア（輝度０〜１２７）及び高輝度エリア（輝度１２８〜２５５）の何れに該当するかを判断し（Ｓ３１）、低輝度エリアに該当し、且つ輝度背景差分が負の値であると判断したとき（Ｓ３２）、又は高輝度エリアに該当し、且つ輝度背景差分が正の値であると判断されたとき（Ｓ３３）には、輝度背景差分の値を２倍にゲインアップする処理をする（Ｓ３４）。そして、背景画像の輝度が色加算対象エリア（輝度０〜６３、１９２〜２５５）に該当する場合には、ここに色背景差分値の１／２を加算する処理を行う。それ以外の場合には、輝度背景差分をそのまま出力することとなる。なお、上記の処理（図５〜図７）は各画素についてそれぞれ行うものとする。
【００３９】
閾値演算部７は、ゲインアップ部１４の出力である補正後の輝度背景差分を２化する為の閾値を求める。輝度背景差分は多値データであり、そのまま認識処理をするには不的確であるので、以降の判断を高速に行うためにも２値化して２値データに変換する。２値化部８は、上記の閾値をもって補正後の輝度背景差分を２値化する。その結果、この２値化された輝度背景差分の変化領域は変化領域を示すものとなる。
【００４０】
補正後の輝度背景差分は、高輝度エリアの輝度の高い移動物や低輝度エリアの輝度の低い移動物のような、本来輝度背景差分が出にくい状況においても、大きな値を取りうることが可能なため、２値化するとシルエットがとぎれてしまうような画像でも、正確なシルエットを算出する事が可能となる。
【００４１】
図８は原画像を示した図である。今青い服を着た人物が薄暗い廊下を移動している。この場合移動している人物の位置がそのまま変化領域となるのが理想ではあるが、実際は背景の輝度が低く移動物の輝度も低いため、輝度背景差分が低い値しか取らず、明確に人物のシルエットに沿った変化領域が得られない。
【００４２】
図９はその変化領域をベタ染めしたスーパーインポーズを重複させて示した映像である。特に暗いパーテーションに重なる胸から下が輝度差が少なく、変化領域が得られていない。補正後の輝度背景差分であれば、本来輝度背景差分が低い値しか取らないエリアでも補正によって大きな値を取り得るため、明確に人物のシルエットに沿った変化領域が得られる。
【００４３】
図１０はその変化領域をベタ染めしたスーパーインポーズを重複させて示した映像である。本来暗いパーテーションに重なる胸から下が輝度差が少なく、変化領域が得られにくい所であるが、補正された結果、明確な人物のシルエットが得られるようになっている。
【００４４】
特徴量演算部９以降の処理は図１１に記載のものと基本的に同じであるが、その概要を説明する。特徴量演算部９は２値化部８から入力された変化領域データを受け、その特徴量を演算する。特徴量パラメーター設定値１０には、オペレータが発報を希望している正規発報対象（例：人物や車両）の特徴量の範囲や条件が含まれている。認識処理部１１は特徴量演算部９からの特徴量データを受け、その特徴量が特徴量パラメーター設定値１０に示されている範囲や条件に合致しているか否かの判断を上記の図１２のフローチャートに従って行う。
【００４５】
認識処理部１１は、連続性判断の処理（Ｓ２２）においては特徴量演算部９で演算された特徴量の「連続性」を見る。連続時間が特徴量パラメーター設定値の範囲や条件に合致した際にＯＫと、合致しなかった場合にＮＧと判断する。例えば特徴量パラメーター設定値の範囲が「最小４フレーム最大１０フレーム」である場合には、連続時間が４〜１０フレームで有ればＯＫ、それ以外で有ればＮＧと判断される。面積判断の処理（Ｓ２３）においては特徴量演算部９で演算された特徴量の「面積」を見る。面積が特徴量パラメーター設定値の範囲や条件に合致した際にＯＫと、合致しなかった場合にＮＧと判断する。例えば特徴量パラメーター設定値の範囲が「最小５００画素、最大１０００画素」である場合、面積が５００〜１０００画素で有ればＯＫ、それ以外で有ればＮＧと判断される。縦横判断の処理（Ｓ２４）においては特徴量演算部９で演算された特徴量の「縦横寸法」を見る。縦横寸法が特徴量パラメーター設定値の範囲や条件に合致した際にはＯＫと、合致しなかった場合にＮＧと判断する。例えば特徴量パラメーター設定値の範囲が「縦最小５０画素、最大１００画素」「横最小５０画素、最大１００画素」である場合、縦横寸法とも５０〜１００画素で有ればＯＫ、それ以外で有ればＮＧと判断される。
【００４６】
速度判断の処理（Ｓ２５）においては、特徴量演算部９で演算された特徴量の「速度」を見る。速度が特徴量パラメーター設定値の範囲や条件に合致した際にはＯＫと、合致しなかった場合にＮＧと判断する。例えば特徴量パラメーター設定値の範囲が「最小５０画素／秒、最大１００画素／秒」である場合、縦横寸法とも５０〜１００画素／秒で有ればＯＫ、それ以外で有ればＮＧと判断される。なお、「面積」、「縦横寸法」及び「移動速度」は、連続性判断の処理（Ｓ２２）で示される所定時間中の各画像における特徴量の平均を算出して、特徴量パラメーター設定値と比較されるのが一般的である。処理（Ｓ２６）においては、イベント通知出力まですべてＯＫで至った場合には、ここでイベント通知１２を出力する。発報処理部１３は、このイベント通知を受け、発報処理を行う。
【００４７】
実施形態２．
なお、上述の実施形態においては、高輝度エリア及び低輝度エリアのゲインをそれぞれ２段階に設定する例について説明したが（図３）、３段階以上の多段階に設定するようにしてもよいし、或いは関数式で表現するようにしてもよい。また、輝度背景差分に色背景差分を所定量加算する例においては、低輝度エリア及び高低輝度エリアをそれぞれ複数のエリアに分割し、輝度背景差分を所定のゲインでゲインアップするとともに、低輝度エリアの輝度が低い側のエリア及び高低輝度エリアの輝度が高い側のエリアにおいては、ゲインアップされた輝度背景差分に色背景差分を所定量加算する例について説明したが（図４）、ゲインアップを省略して、輝度背景差分に色背景差分を所定量加算してもよい。
【００４８】
実施形態３．
図２〜図４及び図５〜図７においては、低輝度エリアを輝度０〜１２７とし、高輝度エリアを輝度１２８〜２５５とし、低輝度エリアαを輝度０〜６３とし、低輝度エリアβを輝度６４〜１２７とし、高輝度エリアβを輝度１２８〜１９１とし、高輝度エリアαを輝度１９２〜２５５とし、また、色加算対象エリアを輝度０〜６３、１９２〜２５５とする例について説明したが、これらは一例に過ぎず、本発明においてはこれらの輝度の分割例に限定されるものではなく、適宜変更することができる。
【００４９】
【発明の効果】
以上のように請求項１に係る発明よれば、背景画像のデータの輝度データが予め設定された低輝度エリア又は高輝度エリアの何れに該当するかどうかを判断し、低輝度エリアに該当し、且つ輝度背景差分が負の値のとき、又は高輝度エリアに該当し、且つ輝度背景差分が正の値のときには、輝度背景差分に所定のゲインアップを施して輝度背景差分を補正するようにしたので、背景と対象が類似の輝度の場合でも正確な変化領域を作成することが可能になっており、その結果、失報が防止できる。即ち、従来はこのような状況では、変化領域が小さくしか切り出せなかったため、認識処理部で特徴量判定で何らかの条件を満たせず（例：面積が小さい等）、その結果イベントとして判断されない事が多かったが、本発明よれば、変化領域がより正確に切り出せるようになるため、特徴量を判定するときに除外される確率が減り、イベントとしてより高精度に判断されるようになる。
【００５０】
また、請求項２に係る発明よれば、背景画像データの輝度データが低輝度エリアに該当し、且つ輝度背景差分が負の値のときには、低輝度エリアで輝度が低い程ゲインを大きくするようにしたので、従来正確に算出できなかった低輝度エリアの変化領域を、背景と対象が類似の輝度の場合でも正確な変化領域をより高精度の作成することが可能になっており、その結果、失報が防止できる。
【００５１】
また、請求項３に係る発明よれば、低輝度エリアを複数のエリアに分割し、輝度が低いエリア程ゲインを大きくするようにしたので、ゲインが多段階に設定されており、ゲインを変更する際の処理が簡単になっている。
【００５２】
また、請求項４に係る発明よれば、背景画像データの輝度データが低輝度エリアに該当し、且つ輝度背景差分が負の値のときには、輝度背景差分に、色背景差分を所定量加算するようにしたので、背景と移動物の輝度が同じでも色が異なれば輝度背景差分を増大でき、その結果変化領域を正確に算出できる。従って、背景と移動物の輝度が極端に類似していても、背景と移動物の色が異なれば、移動物を正確に検出することができる。
【００５３】
また、請求項５に係る発明よれば、低輝度エリアを複数のエリアに分割し、輝度背景差分をゲインアップするとともに、輝度が低い側のエリアにおいては、ゲインアップされた輝度背景差分に色背景差分を所定量加算するようにしたので、特に、輝度が低い側のエリアにおいて、背景と移動物の輝度が同じでも色が異なれば輝度背景差分を増大でき、その結果変化領域を正確に算出できる。従って、背景と移動物の輝度が極端に類似していても、背景と移動物の色が異なれば、移動物を正確に検出することができる。
【００５４】
また、請求項６に係る発明よれば、背景画像の輝度データが高輝度エリアに該当し、且つ輝度背景差分が正の値のときには、高輝度エリアの輝度が高い程ゲインを大きくするようにしたので、従来正確に算出できなかった高い輝度エリアの変化領域を、背景と対象が類似の輝度の場合でも、より高精度に正確に作成することが可能になっており、その結果、失報が防止できる。
【００５５】
また、請求項７に係る発明よれば、高輝度エリアを複数のエリアに分割し、輝度が高いエリア程ゲインを大きくするようにしたので、ゲインが多段階に設定されており、ゲインを変更する際の処理が簡単になっている。
【００５６】
また、請求項８に係る発明よれば、背景画像の輝度データが高輝度エリアに該当し、且つ輝度背景差分が正の値のときには、輝度背景差分に色背景差分を所定量加算するようにしたので、背景と移動物の輝度が同じでも色が異なれば輝度背景差分を増大でき、その結果変化領域を正確に算出できる。従って、背景と移動物の輝度が極端に類似していても、背景と移動物の色が異なれば、移動物を正確に検出することができる
【００５７】
また、請求項９に係る発明よれば、高輝度エリアを複数のエリアに分割し、輝度背景差分をゲインアップするとともに、輝度が高い側のエリアにおいては、ゲインアップされた輝度背景差分に、色背景差分を所定量加算するようにしたので、特に、輝度が高い側のエリアにおいて、背景と移動物の輝度が同じでも色が異なれば輝度背景差分を増大でき、その結果変化領域を正確に算出できる。従って、背景と移動物の輝度が極端に類似していても、背景と移動物の色が異なれば、移動物を正確に検出することができる。
【図面の簡単な説明】
【図１】 本発明の実施形態１に係る監視用画像処理装置の構成図である。
【図２】 図１のゲインアップ部の一つの態様を示した図である。
【図３】 図１のゲインアップ部の他の態様を示した図である。
【図４】 図１のゲインアップ部の更に他の態様を示した図である。
【図５】 図２の態様のゲインアップ部の処理を示したフローチャートである。
【図６】 図３の態様のゲインアップ部の処理を示したフローチャートである。
【図７】 図４の態様のゲインアップ部の処理を示したフローチャートである。
【図８】 原画像を示した図である。
【図９】 差分データに補正を施さなかった場合の２値化の結果を示した図である。
【図１０】 差分データに補正を施さなかった場合の２値化の結果を示した図である。
【図１１】 従来の監視用画像処理装置の構成図である。
【図１２】 図１１の認識処理部の処理を示したフローチャートである。
【図１３】 原画像を示した図である。
【図１４】 変化領域をスーパーインポーズした原画像を示した図である。
【符号の説明】
１ ビデオ入力部、２ 背景画像蓄積部、３ 原画像蓄積部、４ 背景画像蓄積部、５ 背景更新部、６ 背景差分部、７ 閾値演算部、８ ２値化部、９ 特徴量演算部、１０ 特徴量パラメーター設定値、１１ 認識処理部、１２ イベント通知、１３ 発報処理部、１４ ゲインアップ部。
Claims (9)
- 原画像データの輝度データと比較用の背景画像データの輝度データとを比較し輝度背景差分データを求めて、少なくともその輝度背景差分データに基づいて発報対象を検出する監視用画像処理装置において、
前記背景画像データの輝度データが予め設定された低輝度エリア又は高輝度エリアの何れに該当するかどうかを判断し、低輝度エリアに該当し、且つ前記輝度背景差分データが負の値のとき、又は高輝度エリアに該当し、且つ前記輝度背景差分データが正の値のときには、前記輝度背景差分データに所定のゲインアップを施して該輝度背景差分データを補正する補正手段を備えたことを特徴とする監視用画像処理装置。 - 前記補正手段は、前記背景画像データの輝度データが前記低輝度エリアに該当し、且つ前記輝度背景差分データが負の値のときには、前記低輝度エリアで輝度が低い程ゲインを大きくして補正することを特徴とする請求項１記載の監視用画像処理装置。
- 前記補正手段は、前記低輝度エリアを複数のエリアに分割し、輝度が低いエリア程ゲインを大きくして補正することを特徴とする請求項２記載の監視用画像処理装置。
- 前記補正手段は、前記背景画像データの輝度データが前記低輝度エリアに該当し、且つ前記輝度背景差分データが負の値のときには、前記輝度背景差分データに、前記原画像の色データと前記背景画像の色データとの差分である色背景差分データを所定量加算する補正をすることを特徴とする請求項１又は２記載の監視用画像処理装置。
- 前記補正手段は、前記低輝度エリアを複数のエリアに分割し、前記輝度背景差分データの輝度をゲインアップするとともに、輝度が低い側のエリアにおいては、ゲインアップされた輝度背景差分データに、前記原画像の色データと前記背景画像の色データとの差分である色背景差分データを所定量加算することを特徴とする請求項１又は２記載の監視用画像処理装置。
- 前記補正手段は、前記背景画像データの輝度データが高輝度エリアに該当し、且つ前記輝度背景差分データが正の値のときには、高輝度エリアの輝度が高い程ゲインを大きくして補正をすることを特徴とする請求項１乃至４の何れかに記載の監視用画像処理装置。
- 前記補正手段は、前記高輝度エリアを複数のエリアに分割し、輝度が高いエリア程ゲインを大きくして補正することを特徴とする請求項６記載の監視用画像処理装置。
- 前記補正手段は、前記背景画像データの輝度データが前記高輝度エリアに該当し、且つ前記輝度背景差分データが正の値のときには、前記輝度背景差分データに、前記原画像の色データと前記背景画像の色データとの差分である色背景差分データを所定量加算することを特徴とする請求項１又は６記載の監視用画像処理装置。
- 前記補正手段は、高輝度エリアを複数のエリアに分割し、前記輝度背景差分データをゲインアップするとともに、輝度が高い側のエリアにおいては、ゲインアップされた輝度背景差分データに、前記原画像データの色データと前記背景画像データの色データとの差分である色背景差分データを所定量加算することを特徴とする請求項１又は６記載の監視用画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002070340A JP3829740B2 (ja) | 2002-03-14 | 2002-03-14 | 監視用画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002070340A JP3829740B2 (ja) | 2002-03-14 | 2002-03-14 | 監視用画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003274395A JP2003274395A (ja) | 2003-09-26 |
| JP3829740B2 true JP3829740B2 (ja) | 2006-10-04 |
Family
ID=29200940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002070340A Expired - Lifetime JP3829740B2 (ja) | 2002-03-14 | 2002-03-14 | 監視用画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3829740B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5361407B2 (ja) * | 2009-01-21 | 2013-12-04 | 株式会社東芝 | Ｘ線画像診断装置、画像処理装置及び制御プログラム |
| JP5933482B2 (ja) * | 2013-05-01 | 2016-06-08 | 三菱電機株式会社 | 監視用画像処理装置 |
-
2002
- 2002-03-14 JP JP2002070340A patent/JP3829740B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003274395A (ja) | 2003-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5205007B2 (ja) | 光源推定方法および装置 | |
| US8649597B2 (en) | Image processing apparatus and control method thereof detecting from a histogram a gradation level whose frequency is a peak value | |
| US10917581B2 (en) | Optical measurement system with dynamic exposure time and operating method therefor | |
| US20060215882A1 (en) | Image processing apparatus and method, recording medium, and program | |
| US20030120365A1 (en) | Flicker correction for moving picture | |
| US9336449B2 (en) | Vehicle recognition device | |
| US7039254B1 (en) | Image interpolating method | |
| US20060177128A1 (en) | White balance with zone weighting | |
| JP3829740B2 (ja) | 監視用画像処理装置 | |
| US20050052665A1 (en) | Image processing utilizing local color correction and cumulative histograms | |
| US11288882B2 (en) | Deposit detection device and deposit detection method | |
| TWI712318B (zh) | 一種用於減少描述場景之視頻圖像流中的強度變化之方法 | |
| JP2008099129A (ja) | 画像読取装置 | |
| US11800040B2 (en) | Black level drift | |
| CN109726708A (zh) | 一种车道线识别方法及装置 | |
| US11367168B2 (en) | Image processing apparatus and method | |
| JP2002247393A (ja) | 画像処理方法 | |
| JP5590387B2 (ja) | カラーターゲット位置決定装置 | |
| JP3444160B2 (ja) | 動物体検出方法 | |
| JP2004350222A (ja) | 画像処理装置、電子カメラ、及び画像処理プログラム | |
| JPH11175655A (ja) | 車番読取装置 | |
| JP2008042448A (ja) | 階調改善回路及び表示システム | |
| JP3909633B2 (ja) | 火災感知装置 | |
| JP4071336B2 (ja) | 監視用画像処理装置 | |
| JPH10143665A (ja) | 無人搬送車の障害物検知方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041014 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060614 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060703 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3829740 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100721 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100721 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110721 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110721 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120721 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120721 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130721 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |