JP5397714B1 - 監視用カメラ装置 - Google Patents

監視用カメラ装置 Download PDF

Info

Publication number
JP5397714B1
JP5397714B1 JP2012170733A JP2012170733A JP5397714B1 JP 5397714 B1 JP5397714 B1 JP 5397714B1 JP 2012170733 A JP2012170733 A JP 2012170733A JP 2012170733 A JP2012170733 A JP 2012170733A JP 5397714 B1 JP5397714 B1 JP 5397714B1
Authority
JP
Japan
Prior art keywords
signal
red
lighting
area
control means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012170733A
Other languages
English (en)
Other versions
JP2014032435A (ja
Inventor
宏明 高橋
賢司 柿木
孝美 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JAI Corp
Original Assignee
JAI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JAI Corp filed Critical JAI Corp
Priority to JP2012170733A priority Critical patent/JP5397714B1/ja
Priority to US13/811,857 priority patent/US9025026B2/en
Priority to CN201280002428.9A priority patent/CN103703768B/zh
Priority to PCT/JP2012/071524 priority patent/WO2014020774A1/ja
Application granted granted Critical
Publication of JP5397714B1 publication Critical patent/JP5397714B1/ja
Publication of JP2014032435A publication Critical patent/JP2014032435A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals

Abstract

【課題】監視用カメラによって交通信号機の信号灯を夜間に撮像したとき、赤色信号灯を飽和させず信号灯以外の撮像領域も明るく撮像できる監視用カメラ装置を提供する。
【解決手段】その撮像領域内の交通信号機の信号灯の点灯、点灯/消灯時間、形状と個数又は信号灯制御信号を検出し、前記信号灯のRGB信号の比率を検出するRGB比率検出手段と、RGB信号の利得を制御する利得制御手段と、各信号灯色の混色を制御する混色制御手段とで構成する信号制御手段を備え、信号制御手段が、青黄赤それぞれの信号灯の点灯、点灯/消灯時間、形状と個数又は信号灯制御信号に基づいてRGB信号レベルの比率を検出し、R>G≒Bであれば赤色信号灯の赤色信号点灯領域と特定し、前記混色制御手段によってGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能とした。
【選択図】 図1

Description

固体撮像素子から出力される被写体像の赤緑青色信号のそれぞれに対応する信号制御手段を備えた監視用カメラ装置に係り、夜間撮像に際しても撮像領域内の赤色信号灯の赤色光を飽和することなく撮像できる監視用カメラ装置に関する。
固体撮像素子を使用したカラーテレビカメラが普及し、一般の人でも手軽に撮像できるようになり、夜間撮像のための高感度化が図られたカラーテレビカメラも提供されている。
また、監視用カラーテレビカメラも高解像度、高感度化が図られて犯罪防止のため街中に多数設置されて活躍している。
しかし、いずれの場合も昼間の撮像には殆ど不具合は感じられないが、夜間撮像時はその撮像領域内に照明灯や交差点等の交通信号機の信号灯があると、その信号レベルで固体撮像素子の電子シャッタ制御手段あるいは自動利得制御回路が作動して、照明灯や交通信号機の信号灯等の信号は適正レベルに制御されるが、暗部は忠実に再現されないという不具合があった。
また、暗部再現性を高めようとすると、照明灯や交通信号機の信号灯等の映像は白つぶれとなり、白圧縮、ニー特性など回路的に補正しても限界があった。
そこで、特許文献1の特開平2009−55504号公報では、昼夜を問わず監視可能であり、LED信号機等のように配光が急峻で指向性が強く高輝度である監視対象であっても撮像画像に白飛び(白つぶれ)が発生することなく色再現性を保って監視することができる監視用カメラ装置の発明が開示されている。
そして、前記監視用カメラ装置における映像信号レベルに応じて、監視領域からの被写体光量を他の部分より減衰させる領域を有する光学的フィルタを、監視用カメラ装置内のレンズと撮像素子との間の光路に自動的に挿入又は待避するようにし、監視画像に白飛びによる色再現性劣化が発生することなく、撮影できるものである。
そのため、レンズと撮像素子との間の光路に配設された光学的フィルタは、枠体にNDフィルタが存在しないガラス又はプラスチック基板のフィルタ領域と、プラスチック基板等の表面に光吸収又は反射物質等を蒸着したNDフィルタが存在するフィルタ領域とからなり、光学的フィルタの長手方向に機械的に摺動させることによって、光量を部分的に減衰可能なフィルタ領域を光路に侵入・退避可能としている。
特開平2009−55504号公報
しかし、上記特許文献1の監視用カメラ装置では、
(A)光量を部分的に減衰可能なフィルタが挿入されると、その減衰領域においては、例えば、交通信号等は透過率1〜2%のNDフィルタによって適正レベルを得ることができるが、交通信号機の信号灯近辺の被写体像は1〜2%の信号レベルとなり視認が困難になる。
(B)撮像領域内の交通信号機の信号灯の位置と個数は監視用カメラ装置の設置場所によって千差万別であり、NDフィルタの位置変更をその都度行わねばならない。
(C)プラスチック基板等の表面にNDフィルタを蒸着処理したり、機械的に摺動する機構が必要となり、製品原価が高騰すると同時に、故障頻度の増加・保守等の費用もかさむこととなる。
(D)また、前記NDフィルタの領域外、及び一般的な単板方式固体撮像素子を使用した監視用カメラは、特に夜間において暗部を監視しやすくしようと増幅器の利得を上げると、撮像した交通信号機の赤信号灯は飽和して薄い黄色、又は完全飽和して白色となり、誤認する恐れがある。
そこで本発明は、フィルタ及びその摺動機構を全く使用せず、固体撮像素子の特性とLED発光素子の発光波長特性に注目し、夜間でも撮像領域内の交通信号機の信号灯が存在する赤色信号灯の赤色光に基づいて赤色信号点灯領域として検出したとき、その領域内の緑色及び青色信号レベルを減衰又は零とし、赤色信号のみとして出力することによって、常に赤色信号灯は赤色としてモニタで視認できると同時に、交通信号機の信号灯の撮像画像の出力信号レベルの飽和を防止し、かつレンズ絞り制御、固体撮像素子の電子シャッタ制御及び利得制御によって交通信号機の信号灯以外の撮像領域を適正レベルで視認できる監視用カメラ装置を提供する。
本願発明者は、上記課題を下記の手段により解決した。
(1)固体撮像素子と、該固体撮像素子から出力される被写体像のRGB信号のそれぞれに対応する信号制御手段を備え、交通信号機を含む街路を監視する監視用カメラ装置において、
前記信号制御手段は、前記固体撮像素子の撮像領域内にある交通信号機のLED発光素子で構成された信号灯の点灯を検出する信号灯検出手段と、
前記検出された各信号灯の点灯→消灯→点灯を周期的に繰り返す点灯/消灯領域を検出する点灯/消灯領域検出手段と、
前記点灯/消灯領域検出手段から出力された点灯/消灯領域のRGB信号の比率を検出するRGB比率検出手段と、
各信号灯色の混色を制御する混色制御手段と、
RGB信号の利得を制御する利得制御手段とを備え、
前記信号灯検出手段は、前記固体撮像素子から出力されるRGB信号それぞれの当該固体撮像素子の分光感度特性と前記LED発光素子の発光波長特性に基づいて、前記撮像領域内で横方向又は縦方向で、かつ3個直列配列され周期的に繰り返し点灯/消灯する画素のxy座標値で示された領域を検出し、
前記点灯/消灯領域検出手段は、前記信号灯検出手段から出力された画素の前記xy座標値で示された領域に基づいて、前記3個の点灯/消灯している点灯/消灯領域を特定して前記RGB比率検出手段に送出し、
前記RGB比率検出手段は、前記点灯/消灯領域の点灯時のRGB信号のレベルを比較し、RGB信号レベルが、
R>G≒Bであれば赤色信号灯、
R>G>Bであれば黄色信号灯、
G>B>Rであれば青色信号灯、
として検出し、
前記RGB比率検出手段はさらに、前記R>G≒Bの信号レベルである点灯/消灯領域の画素の前記xy座標値で示された領域に基づいてこの領域を赤色信号点灯領域と特定して前記混色制御手段へ送出し、
前記混色制御手段は、前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じて前記利得制御手段に送出し、前記利得制御手段は入力したR信号を制御することで、赤色信号灯の点灯領域を適正な赤色としてモニタに表示可能にしてなることを特徴とする監視用カメラ装置。
(2)前記RGB比率検出手段は、前記交通信号機の青黄赤色信号灯の各点灯時間に同期して信号を出力する前記画素のxy座標値で示された領域に基づいて、青黄赤それぞれの前記特定された点灯/消灯領域におけるRGB信号レベルをそれぞれ比較し、R>G≒Bであれば赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしてなることを特徴とする前項(1)に記載の監視用カメラ装置。
(3)前記RGB比率検出手段は、前記交通信号機の青黄赤色信号灯それぞれの点灯/消灯時間又は点灯/消灯時間間隔に同期して出力信号レベルが変化する画素のxy座標値で示された領域に基づいて、青黄赤それぞれの信号灯の前記特定された点灯/消灯領域におけるRGB信号レベルを比較し、R>G≒Bであれば赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしてなることを特徴とする前項(1)又は(2)に記載の監視用カメラ装置。
(4)前記信号制御手段は、前記RGB信号の飽和領域を検出する飽和領域検出手段を備え、夜間や雨天時の感度上昇制御により前記飽和領域検出手段によって前記RGB信号の飽和領域を検出したとき、固体撮像素子の電子シャッタ制御手段及び前記利得制御手段によって信号レベルを飽和レベル以下に減衰し、かつ前記RGB比率検出手段は、前記交通信号機の青黄赤色信号灯それぞれの点灯/消灯時間又は点灯/消灯時間間隔に同期して出力信号レベルが変化する前記画素のxy座標値で示された領域に基づいて、青黄赤それぞれの信号灯の前記特定された点灯/消灯領域におけるRGB信号レベルを比較し、R>G≒Bであれば赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしてなることを特徴とする前項(1)〜(3)のいずれか1項に記載の監視用カメラ装置。
(5)前記信号制御手段は、前記交通信号機の信号灯の形状を認識し、その形状部分における青黄赤それぞれの信号灯のRGB信号レベルを比較し、R>G≒Bであれば赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしてなることを特徴とする前項(1)に記載の監視用カメラ装置。
(6)前記信号制御手段は、前記RGB信号の飽和領域を検出する飽和領域検出手段を備え、夜間や雨天時の感度上昇制御により前記飽和領域検出手段によって前記RGB信号の飽和領域を検出したとき、固体撮像素子の電子シャッタ制御手段及び前記利得制御手段によって信号レベルを飽和レベル以下に減衰してから前記交通信号機の信号灯の形状を認識し、その形状部分における青黄赤それぞれの信号灯のRGB信号レベルを比較し、R>G≒Bであれば赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしてなることを特徴とする前項(1)又は(5)に記載の監視用カメラ装置。
(7)前記信号制御手段が、前記交通信号機の信号灯の点滅制御信号を受信し、赤色信号灯の点滅制御信号に基づいて点灯した前記赤色信号灯を赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしてなることを特徴とする前項(1)に記載の監視用カメラ装置。
(8)監視用カメラ装置において、
前記信号制御手段が、昼間の飽和していない前記交通信号機の信号灯のRGB信号比率から赤色信号の赤色信号点灯領域と特定した前記赤色信号点灯領域をメモリに記憶し、常時前記メモリから読み出した赤色信号点灯領域に基づいて、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしてなることを特徴とする)前項(1)〜(7)のいずれか1項に記載の監視用カメラ装置。
(9)前記信号制御手段が、前記交通信号機の各信号灯の点灯時と消灯時それぞれのRGB信号レベルをメモリに記憶し、メモリから読み出した前記各信号灯の点灯時と消灯時それぞれの信号レベルに基づいて、点灯時のRGB信号レベルから消灯時のRGB信号レベルを減算してなることを特徴とする前項(8)に記載の監視用カメラ装置。
本発明により次のような効果が発揮される。
〈1〉本発明によれば、
固体撮像素子と、該固体撮像素子から出力される被写体像のRGB信号のそれぞれに対応する信号制御手段を備え、交通信号機を含む街路を監視する監視用カメラ装置において、
前記信号制御手段は、前記固体撮像素子の撮像領域内にある交通信号機のLED発光素子で構成された信号灯の点灯を検出する信号灯検出手段と、
前記検出された各信号灯の点灯→消灯→点灯を周期的に繰り返す点灯/消灯領域を検出する点灯/消灯領域検出手段と、
前記点灯/消灯領域検出手段から出力された点灯/消灯領域のRGB信号の比率を検出するRGB比率検出手段と、
各信号灯色の混色を制御する混色制御手段と、
RGB信号の利得を制御する利得制御手段とを備え、
前記信号灯検出手段は、前記固体撮像素子から出力されるRGB信号それぞれの当該固体撮像素子の分光感度特性と前記LED発光素子の発光波長特性に基づいて、前記撮像領域内で横方向又は縦方向で、かつ3個直列配列され周期的に繰り返し点灯/消灯する画素のxy座標値で示された領域を検出し、
前記点灯/消灯領域検出手段は、前記信号灯検出手段から出力された画素の前記xy座標値で示された領域に基づいて、前記3個の点灯/消灯している点灯/消灯領域を特定して前記RGB比率検出手段に送出し、
前記RGB比率検出手段は、前記点灯/消灯領域の点灯時のRGB信号のレベルを比較し、RGB信号レベルが、
R>G≒Bであれば赤色信号灯、
R>G>Bであれば黄色信号灯、
G>B>Rであれば青色信号灯、
として検出することにより、監視画面中に存在し点滅する他のイルミネーション又は照明等と明確に区別し交通信号機の信号灯であると特定できる。
前記RGB比率検出手段はさらに、前記R>G≒Bの信号レベルである点灯/消灯領域の画素の前記xy座標値で示された領域に基づいてこの領域を赤色信号点灯領域と特定して前記混色制御手段へ送出し、
前記混色制御手段は、前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じて前記利得制御手段に送出し、前記利得制御手段は入力したR信号を制御することで、赤色信号灯の点灯領域を適正な赤色としてモニタに表示可能なので、
前記撮像領域内の各信号灯の点灯/消灯が順次行われることを利用し、点灯時の各信号灯の前記xy座標値で示された領域に基づいてRGB信号レベルを比較し、単板式固体撮像素子の赤色チャンネルの分光感度特性と赤色LED発光素子の発光波長特性から、後記するように赤色信号点灯領域のR信号が90〜100%のときG信号及び青信号が約5±2%〜4±2%であることから、R>G≒Bであれば他の黄色信号灯(R>G>B)及び緑色信号灯(G>R>B)と区別することができ、赤色信号灯の赤色信号点灯領域と特定できる。
さらに、夜間又は雨天時に固体撮像素子の電子シャッタ制御手段を制御して周囲の状況を見えるように感度アップしたとき、及び利得制御手段でゲインアップしても赤信号の飽和を気にすることなく固体撮像素子の電子シャッタ制御手段及び利得を制御できるので、信号灯以外の領域の被写体を鮮明に視認できる。
さらにまた、信号の飽和時でも交通信号機の信号灯周辺の他の被写体が鮮明に見えるように固体撮像素子の電子シャッタ制御手段及び利得制御手段の制御範囲の自由度が増加する。
撮像領域内の被写体に存在する赤色信号灯出力信号レベルがR>G≒Bであることを検出して、純電気的に赤信号として出力することができるので、ガラス又はプラスチック基板等の表面にNDフィルタを蒸着処理したり、機械的に摺動する電動機構を使用する必要がないため信頼性の向上と、コスト低減を図ることができる。
〈2〉本発明によれば、〈1〉項の効果に加えて、
前記RGB比率検出手段は、前記交通信号機の青黄赤色信号灯の各点灯時間に同期して信号を出力する前記画素のxy座標値で示された領域に基づいて、
青黄赤それぞれの信号灯の前記特定された点灯/消灯領域におけるRGB信号レベルをそれぞれ比較し、R>G≒Bであれば赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示できるので、交通信号機の信号灯の青黄赤、あるいは赤黄又は赤青等2灯の点灯/消灯時間に同期して信号を出力する前記画素のxy座標値で示された領域に基づいて、青黄赤それぞれの信号灯のRGB信号レベルの比率を検出し赤色信号灯の赤色信号点灯領域と特定しているので、点滅している他のイルミネーション又は照明等と明確に区別して赤色信号灯の点灯を赤色としてモニタに表示できる。
〈3〉本発明によれば、〈1〉及び〈2〉項の効果に加えて、
前記RGB比率検出手段は、前記交通信号機の青黄赤色信号灯それぞれの点灯/消灯時間又は点灯/消灯時間間隔に同期して出力信号レベルが変化する画素のxy座標値で示された領域に基づいて、青黄赤それぞれの信号灯の前記特定された点灯/消灯領域におけるRGB信号レベルを比較し、R>G≒Bであれば赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしているので、
交差点に設置された青黄赤3つの信号灯の指定された青>黄<赤≒青の順の点灯/消灯時間又は点灯/消灯時間間隔に同期した信号灯点灯の前記xy座標値で示された領域に基づいて赤色信号灯の赤色信号点灯領域をより確実に検出し、点滅している他のイルミネーション又は照明等と明確に区別して赤色信号灯の点灯を赤色としてモニタに表示できる。
〈4〉本発明によれば、〈1〉〜〈3〉項の効果に加えて、
前記信号制御手段は、前記RGB信号の飽和領域を検出する飽和領域検出手段を備え、夜間や雨天時の感度上昇制御により前記飽和領域検出手段によって前記RGB信号の飽和領域を検出したとき、固体撮像素子の電子シャッタ制御手段及び前記利得制御手段によって信号レベルを飽和レベル以下に減衰し、かつ前記RGB比率検出手段は、前記交通信号機の青黄赤色信号灯それぞれの点灯/消灯時間又は点灯/消灯時間間隔に同期して出力信号レベルが変化する前記画素のxy座標値で示された領域に基づいて、青黄赤それぞれの信号灯の前記特定された点灯/消灯領域におけるRGB信号レベルを比較し、R>G≒Bであれば赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしているので、
夜間や雨天時において交通信号機の信号灯が飽和状態にあっても、一旦、固体撮像素子の電子シャッタ制御手段及び前記利得制御手段によって飽和レベル以下に信号レベルを減衰してから青黄赤それぞれの信号灯のRGB信号レベルの比率を検出していることから、確実に赤色信号灯を赤色信号点灯領域と特定することができる。
また、飽和レベル以下に信号レベルを減衰してから、赤色信号点灯領域がR>G≒Bであれば赤色信号灯の赤色信号点灯領域と特定し、赤色信号点灯領域内のGB色信号レベルを減衰、又は零とし出力できるので、信号灯が飽和することにより黄色っぽい又は白色になることを防止できる。
さらに、赤色信号灯の赤色信号点灯領域と特定された後は固体撮像素子の電子シャッタ制御手段及び前記利得制御手段を適正値になるように制御できるようになり、かつ前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示できる。
〈5〉本発明によれば、〈1〉項の効果に加えて、
前記信号制御手段は、前記交通信号機の信号灯の形状を認識し、その形状部分における青黄赤それぞれの信号灯のRGB信号レベルを比較し、R>G≒Bであれば赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能であり、
横方向又は縦方向3個直列配列(又は2個配列)の交通信号機の信号灯をその形状で認識し、そして赤色信号灯の赤色信号点灯領域と特定しているので、夜間において、他の形状のイルミネーション又は照明等と明確に区別して赤色信号灯を赤色としてモニタに表示できる。
〈6〉本発明によれば、〈1〉及び〈5〉項の効果に加えて、
前記信号制御手段は、前記RGB信号の飽和領域を検出する飽和領域検出手段を備え、夜間や雨天時の感度上昇制御により前記飽和領域検出手段によって前記RGB信号の飽和領域を検出したとき、固体撮像素子の電子シャッタ制御手段及び前記利得制御手段によって信号レベルを飽和レベル以下に減衰してから前記交通信号機の信号灯の形状を認識し、その形状部分における青黄赤それぞれの信号灯のRGB信号レベルを比較し、R>G≒Bであれば赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしているので、
夜間や雨天時の感度上昇制御により交通信号機の信号灯が飽和状態にあっても、一旦、固体撮像素子の電子シャッタ制御手段及び前記利得制御手段によって飽和レベル以下に信号レベルを減衰してから形状を認識しているので、飽和状態による誤作動を防止でき、かつ正確に赤色信号灯を赤色として認識できる。
また、赤色信号灯の赤色信号点灯領域と特定された後は固体撮像素子の電子シャッタ制御手段及び前記利得制御手段を適正値になるように制御できるようになり、かつ前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示でき、かつ交通信号機の信号灯以外の領域を明るくして明確に視認できる。
〈7〉本発明によれば、〈1〉項の効果に加えて、
前記信号制御手段が、前記交通信号機の信号灯の点滅制御信号を受信し、赤色信号灯の点滅制御信号に基づいて点灯した前記赤色信号灯を赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしているので、前記交通信号機の信号灯の赤色信号灯の点滅制御信号を受信して前記赤色信号灯を赤色信号点灯領域として認識でき、点滅制御信号の受信のため有線又は無線の送受信機を設置することにより、赤色信号灯を最も確実に認識できると同時にGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示できる。
〈8〉本発明によれば、〈1〉〜〈7〉項の効果に加えて、
前記信号制御手段が、昼間の飽和していない前記交通信号機の信号灯のRGB信号比率から赤色信号の赤色信号点灯領域と特定した前記赤色信号点灯領域をメモリに記憶し、常時前記メモリから読み出した赤色信号点灯領域に基づいて、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしているので、前記交通信号機の信号灯が夜間の飽和している状態でも前記メモリから読み出した信号が赤色信号点灯領域と特定されているので、
夜間信号灯が飽和状態にあっても青黄赤それぞれの信号灯のRGB信号レベルの比率を検出する必要もなく、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、的確に赤色信号灯を赤色信号として出力できる。
〈9〉本発明によれば、〈8〉項の効果に加えて、
前記信号制御手段が、前記交通信号機の各信号灯の点灯時と消灯時それぞれのRGB信号レベルをメモリに記憶し、メモリから読み出した前記各信号灯の点灯時と消灯時それぞれの信号レベルに基づいて、点灯時のRGB信号レベルから消灯時のRGB信号レベルを減算しているので、
昼間又は夜間において、赤色信号灯の表面に写り込んだ太陽光又は周辺の照明光による混色を防止して、前記赤色信号灯本来のRGB成分による赤色信号として、あるいは混色のない純粋の赤色信号として出力することができる。
なお、黄信号及び青信号も同様にRGB信号比率からそれぞれの位置を検出して点灯時と消灯時それぞれのRGB信号レベルをメモリし、メモリから読み出した点灯時と消灯時それぞれの信号レベルに基づいて、点灯時のRGB信号レベルから消灯時のRGB信号レベルを減算することにより、混色のない黄色信号及び青色信号として出力することができる。
本発明実施例の監視用カメラ装置ブロックダイアグラム (a)本発明実施例の撮像領域内の横配列信号灯のxy座標説明図、(b)本発明実施例の撮像領域内の点灯/消灯する横配列信号灯の発光タイミングチャート、(c)本発明実施例の撮像領域内の縦配列信号灯のxy座標説明図、(d)本発明実施例の撮像領域内の点灯/消灯する縦配列信号灯の発光タイミングチャート 一般的な固体撮像素子の分光感度特性図及びLED発光素子を使用した各信号灯の発光波長特性図 本発明実施例の昼夜における交通信号機の赤信号灯の色再現性説明図 本発明実施例の監視用カメラ装置の作用説明フローチャート
本発明の実施例を図面に基づいて詳細に説明する。
図において、1は監視用カメラ装置、2は信号灯、3はレンズ、4は固体撮像素子、5はS/H(サンプルホールド回路)、6はA/D変換手段、7は信号制御手段、8はホワイトバランス制御手段、9はメモリ、10は信号灯検出手段、11は点灯/消灯領域検出手段、12はRGB比率検出手段、13は利得制御手段(信号処理回路を含む)、14は混色制御手段、15は飽和領域検出手段、16は出力端子、17はモニタ、18は撮像領域、19は信号灯画像、20は固体撮像素子駆動手段(電子シャッタ制御手段を含む)、21は同期信号発生手段である。
本実施例は、交通信号機は通常青黄赤の3個の信号灯2が横方向又は縦方向で、かつ3個直列配列されていることに着目し、画像のxy座標値で示された領域から点灯/消灯する信号灯2を特定し、かつ単板式固体撮像素子4の赤色チャンネルの分光感度特性と赤色LED発光素子の発光波長特性に基づいて、赤色信号灯の赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタ17に表示可能にするものである。
監視用カメラ装置1は、交通信号機の信号灯2を含む街路を監視する監視用カメラ装置であり、街路に設置された交通信号機の信号灯2を撮影するレンズ3と、該レンズ3で撮影された影像を光電変換する固体撮像素子4と、該固体撮像素子4を駆動する固体撮像素子駆動手段(電子シャッタ制御手段を含む)20と、各回路及び各制御手段へ制御パルスを供給する同期信号発生手段21と、前記固体撮像素子4によって光電変換されたその出力信号の固体撮像素子固有の雑音を除去するS/H(サンプルホールド回路)5と、A/D変換手段6とで構成され、前記S/H5の出力信号はA/D変換手段6でアナログ信号からデジタル信号に変換され信号制御手段7へ入力される。
さらに、前記信号制御手段7は、レンズ3が撮像する撮像領域の色温度を検出し、撮像画面内の白色信号等を検出して公知の技法で画面のホワイトバランスをとることのできるホワイトバランス制御手段8と、検出された信号灯の座標値等を記憶するメモリ9と、前記固体撮像素子4の撮像領域内にある交通信号機のLED発光素子で構成された信号灯2の点灯を検出する信号灯検出手段10と、前記検出された信号灯2の点灯/消灯領域を検出する点灯/消灯領域検出手段11と、前記点灯/消灯領域検出手段11から出力された点灯/消灯領域のRGB信号の比率を検出するRGB比率検出手段12と、RGB信号の利得を制御し、かつシェーディング補正、ガンマ補正及び白圧縮・ニー補正回路等の信号処理回路を含む利得制御手段(信号処理回路を含む)13と、各信号灯色の混色を制御する混色制御手段14とで構成されている。
前記信号灯検出手段10は、前記固体撮像素子4から出力されるRGB信号それぞれの当該固体撮像素子4の分光感度特性と前記LED発光素子の発光波長特性に基づいて、前記撮像領域内で横方向又は縦方向で、かつ3個直列配列され周期的に繰り返し点灯/消灯する各信号灯の点灯時の各水平走査ラインの信号レベル及び点灯持続時間から画素のxy座標値で示された領域を検出している。
前記点灯/消灯領域検出手段11は、前記信号灯検出手段10から周期的に繰り返し出力される点灯時の信号灯2の前記xy座標値で示された領域と、同様に周期的に繰り返す各信号灯2の消灯時の信号レベル及び消灯持続時間内の画素のxy座標値を検出(例えば、青信号灯が点灯後消灯し、次に点灯する時間までを消灯持続時間とする)することにより点灯/消灯を周期的に繰り返す交通信号機の信号灯2であると特定し、その出力信号を前記RGB比率検出手段12に送出し、該RGB比率検出手段12は、前記点灯/消灯領域の点灯時のRGB信号レベルの比率を比較し、画像信号レベルが、
R>G≒B(又はR>>G、B)であれば赤色信号灯、
R>G>B(又はR、G>>B)であれば黄色信号灯、
G>B>R(又はG、B>>R)であれば青色信号灯、
として検出し特定している。
前記RGB比率検出手段12はさらに、前記R>G≒Bの信号レベルの信号灯の前記xy座標値で示された領域に基づいて特定された赤色信号点灯領域の点灯信号を前記混色制御手段14へ送出し、
前記混色制御手段14は、前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じて前記利得制御手段13に送出し、前記利得制御手段13は入力したR信号を制御することで、赤色信号灯の点灯領域を適正な赤色としてモニタ17に表示可能にしたものである。
ここで、固体撮像素子4は、RGBの3画素で構成されているものとして説明する。
図1において、図示しない絞り機構及びレンズ絞り制御手段を有するレンズ3によって撮像された被写体像は固体撮像素子4に結像される。該固体撮像素子4によって光電変換された被写体像信号は、S/H(サンプルホールド)回路5を介してA/D変換手段6でアナログ/デジタル変換され、デジタル変換されたRGB信号は信号制御手段7のホワイトバランス制御手段8で画像のホワイトバランスを制御された後、利得制御手段13を介してメモリ9及び飽和領域検出手段15に入力される。
前記RGB信号はメモリ9を介して信号灯検出手段10へ入力され、当該信号灯検出手段10は、通常交通信号機の信号灯2が横方向又は縦方向に3個であり、かつ直列に配置されていることから、固体撮像素子4の撮像領域内で点灯/消灯を周期的に繰り返す撮像したフレームの二次元画像の画素のxy座標から信号灯2の座標値で示された領域を検出し、メモリ9に点灯時と消灯時の各画像信号の検出されたxy座標値で示された領域を書き込み、点灯時と消灯時の該xy座標値を読み出した後、前記信号灯検出手段10及び前記点灯/消灯領域検出手段11によって各画像信号レベルと点灯/消灯持続時間から図2に示すとおり点灯/消灯を周期的に繰り返す信号灯2であることを確認できる。
図2において、図2(a)は交通信号機の信号灯2が横方向に3個直列に配列されている画像例を示す。
信号灯検出手段10は前記メモリ9から読み出したxy座標値で示された領域に基づき、3個の信号灯画像19が撮像領域18の縦軸方向y座標位置にあり、かつ撮像したフレームの二次元画像の画素の横軸方向のx座標上に信号灯画像19のxb、xye及びxrの直列配列された3個の座標位置を検出したとき、図2(b)発光タイミングチャートに示すとおり、xb(青信号)が点灯後消灯し、直後にxye(黄信号)が点灯後消灯し、続いてxr(赤信号)が点灯後消灯していることから、前記交通信号機の信号灯2であると認識することができる。
図2(c)は交通信号機の信号灯2が縦方向に3個直列に配列されている画像例を示す。
信号灯検出手段10は前記メモリ9から読み出したxy座標値で示された領域に基づき、3個の信号灯画像19が撮像領域18の横軸方向x座標位置にあり、かつ撮像したフレームの二次元画像の画素の縦軸方向のy座標上に信号灯画像19のyr、yye及びybの直列配列された3個の座標位置を検出したとき、図2(d)発光タイミングチャートに示すとおり、yb(青信号)が点灯後消灯し、直後にyye(黄信号)が点灯後消灯し、続いてyr(赤信号)が点灯後消灯していることから、前記交通信号機の信号灯2であると認識することができる。
ここで、図2(b)、(d)の縦軸は信号灯2の「明るさ」、横軸は時間(t)を示す。
前記信号灯検出手段10で検出された信号灯2のxy座標値で示された領域は点灯/消灯領域検出手段11へ入力され、
点灯/消灯領域検出手段11は、前記信号灯検出手段10から出力され点灯/消灯する信号灯画像19の前記xy座標値で示された領域に基づいて、前記メモリ9から読み出した各画像信号のレベルと水平ライン(又は垂直ライン)ごとの点灯持続時間から各信号灯の点灯/消灯領域を検出し、前記RGB比率検出手段12へ入力する。
該RGB比率検出手段12は、前記固体撮像素子4から出力されたRGB信号それぞれの分光感度特性とLED発光素子の発光波長特性に基づいて、
前記点灯/消灯領域検出手段11から入力された前記点灯/消灯領域の点灯時のRGB信号レベルの比率を比較し、画像信号レベルが、
R>G≒B(又はR>>G、B)であれば赤色信号灯、
R>G>B(又はR、G>>B)であれば黄色信号灯、
G>B>R(又はG、B>>R)であれば青色信号灯、
として検出し、3信号を備えた交通信号機の信号灯2であると特定できる。
前記RGB比率検出手段12はさらに、前記R>G≒Bの信号レベルの信号灯の前記xy座標値で示された領域に基づいて赤色信号灯の赤色信号点灯領域と特定して前記混色制御手段14へ送出し、前記混色制御手段14は、前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じて前記利得制御手段13に送出し、前記利得制御手段13は入力したR信号を制御することで、赤色信号灯の点灯領域を適正な赤色としてモニタに表示可能にしている。
また、前記RGB比率検出手段12は、前記交通信号機の信号灯2の点灯/消灯時間、あるいは前記交通信号機の信号灯2の青>黄<赤≒青の順で繰り返す点灯/消灯時間又は点灯/消灯時間間隔に同期した信号灯の前記xy座標値で示された領域に基づいて、
青黄赤それぞれの信号灯のRGB信号レベルの比率を検出し、R>G≒Bであれば赤色信号灯の赤色信号点灯領域と特定し、前記混色制御手段14によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じて前記利得制御手段13に送出し、前記利得制御手段13は入力したR信号を制御することで、赤色信号灯の点灯領域を適正な赤色としてモニタに表示可能である。
前記飽和領域検出手段15は、夜間や雨天時の感度上昇制御(又は自動的に)により信号レベルが100%を超過し飽和状態にある前記交通信号機の信号灯2を検出したとき、図示しないレンズ絞り制御手段、固体撮像素子の電子シャッタ制御手段及び前記利得制御手段13によって飽和レベル以下に信号レベルを減衰してからメモリ9、信号灯検出手段10及び点灯/消灯領域検出手段11を介してRGB比率検出手段12へ送出する。
前記信号灯検出手段10が、前記交通信号機の信号灯2の点灯座標位置情報と点灯領域情報を前記点灯/消灯領域検出手段11を介してRGB比率検出手段12に送出したとき、RGB比率検出手段12は点灯している青黄赤それぞれの信号灯のRGB信号レベルの比率を検出し、R>G≒Bであれば赤色信号灯の赤色信号点灯領域と特定し、前記混色制御手段14によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じて前記利得制御手段13に送出し、前記利得制御手段13は入力したR信号を制御することで、赤色信号灯の点灯領域を適正な赤色として前記混色制御手段14から利得制御手段13を介して出力端子16から外部に出力する。
前記信号灯検出手段10で検出された点灯座標位置情報と点灯領域情報をメモリ9に記憶しておくこととする。
前記ホワイトバランス制御手段8は、前記信号灯検出手段10を作動させる直前に撮像している被写体像中の白色信号を利用するなど公知の技法によりホワイトバランスをとっておくものとする。
図3において、RGB比率の検出は、図3(a)の一般的な固体撮像素子の分光感度特性図及び図3(b)のLED発光素子を使用した各信号灯の発光波長特性図(赤信号630nm±5、黄信号592nm±5、青信号503nm±5にピークがあり、それぞれ30nm〜50nmの半値幅を有する単峰特性を示す。)に基づきRGBの信号レベルの比率をRGB比率検出手段12で検出している。
図3(a)において、横軸は波長(nm)で、縦軸は相対感度を表す。
図3(b)において、横軸は波長(nm)で、縦軸は相対発光強度を表す。
図の単板式固体撮像素子4の赤色チャンネルの分光感度特性と、赤信号の630nm±5にピークのある単峰特性のLED発光素子の発光波長特性を組み合わせると、交通信号機の信号灯2の赤色信号点灯時の画素出力信号は赤色(R)信号であっても緑色(G)信号、青色(B)信号成分が含まれているので、RGB比率検出手段12に入力された赤色信号レベルが90〜100%のとき、緑色信号は5±2%及び青色信号レベルは4±2%、又は0、0%の比率になるように(下記(3式))混色制御手段14で制御し赤色信号の赤色信号点灯領域として出力される。
本発明の監視用カメラ装置1の明るい昼間における作動と夜間における作動について説明する。
〈昼間における赤信号の色再現性〉
図4において、図の昼夜における交通信号機の赤信号灯の色再現性説明図において、図4(a)は明るい昼間における交通信号機の赤信号灯の色再現性を示すRGB信号のレベル比を示す。
昼間は信号の明るさと周囲の明るさは同じレベルと考えられ、昼間における固体撮像素子4の画素出力信号の赤色信号のレベルRSD(Response of Signal at Daylight=%表示。実測値)は下記式のとおり、
RSD=90R+5G+4B (1式)
であり、ほぼ赤色を再現している。
〈夜間における赤信号の色再現性〉
夜間においては、信号灯2周辺は暗くなるので、レンズ絞り制御手段、固体撮像素子の電子シャッタ制御手段及び利得制御手段13が作動し、画面全体を明るくする制御が行われる。
仮に15倍の利得制御が行われたと仮定すると、図4(b)のように夜間のRSN(Response of Signal at Night=%表示。実測値)は下記式のとおり、
RSN=100R+75G+60B (2式)
となり、赤信号は赤色ではなく薄い黄色になる。
上記100Rの理論値は、90R×15倍で1350Rとなるが、100%を超えるR信号は白圧縮及びニー補正によって規定レベル100%に圧縮されるのでRSNの実測値は(2式)のとおりとなる。
(2式)に示された比率のRSN信号が前記飽和領域検出手段15へ入力されると、前記飽和領域検出手段15は、交通信号機の赤色信号灯2の信号レベルが100%を超過していることを検出し、前記レンズ絞り制御手段、固体撮像素子の電子シャッタ制御手段及び利得制御手段13によって飽和レベル以下に信号レベルを減衰してからRGB比率検出手段12へ入力され、その比率が、R>G≒Bであれば赤色信号灯の赤色信号点灯領域と特定し、さらに前記混色制御手段14によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色として前記混色制御手段14の出力端子16から外部に出力される。
その結果、図4(c)示す比率で、RSNは下記(3式)(%表示)で表される。
RSN=90〜100R+5〜0G+4〜0B (3式)
即ち、通常のR信号又は混色のないR信号として出力され、モニタ17には赤色信号灯として表示される。
上記は信号灯の点灯時の座標位置情報と領域情報に基づいて赤色信号灯の赤色信号点灯領域と特定しているが、他の方法として、前記信号制御手段7が、前記交通信号機の信号灯2の点灯/消灯時間に同期した信号灯位置に基づいて、青黄赤それぞれの信号灯のRGB信号レベルの比率を検出し、R>G≒Bであれば赤色信号灯の赤色信号点灯領域と特定し、前記混色制御手段14によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタ17に表示できるようにしてもよい。
さらに、交通信号機の信号灯が青→黄→赤→青の順で点灯/消灯を繰り返したとき、その点灯/消灯時間は青>黄<赤≒青の時間間隔で点灯/消灯を繰り返していることから、点灯/消灯時間又は点灯/消灯時間間隔に同期してその点灯座標位置情報及び点灯領域情報を検出し、青黄赤それぞれの信号灯のRGB信号レベル比率から赤色信号灯の赤色信号点灯領域を特定できる。
また、交差点で赤/黄信号が交互に点滅している場合、又は工事中等の交互通行のための赤/青の2信号が点滅している場合でも同様に点灯/消灯時間又は点灯/消灯時間間隔に同期してその点灯座標位置情報及び点灯領域情報を検出するようにすることもできる。
以上、赤色信号灯の赤色信号点灯領域を特定することについて記述したが、黄色及び青色信号灯についてもそれぞれ点灯領域を特定することが可能である。
黄色信号灯は、単板式固体撮像素子4の分光感度特性と、黄信号の592nm±5にピークのある単峰特性のLED発光素子の発光波長特性を組み合わせると、そのRGB信号レベルの比率が、
R≒100%、G≒36%、B≒1%以下
であることから、前記R>G>Bの信号レベルの信号灯点灯座標位置に基づいて黄色信号灯の黄色信号点灯領域と特定し、前記混色制御手段14によってB信号を減衰させ又は零とし、RG信号レベルはその比率を維持するようにして、黄色信号灯の点灯を黄色としてモニタに表示することもできる。
また、青色信号灯は、単板式固体撮像素子4の分光感度特性と、青信号の503nm±5にピークのある単峰特性のLED発光素子の発光波長特性を組み合わせると、そのGBR信号レベルの比率が、
G≒100%、B≒80%、R≒1%以下
であることから、前記G>B>Rの信号レベルの信号灯点灯座標位置に基づいて青色信号灯の青色信号点灯領域と特定し、前記混色制御手段14によってR信号を減衰させ又は零とし、GB信号レベルはその比率を維持するようにして、青色信号灯の点灯を青色としてモニタに表示することもできる。
さらにまた、昼間又は夜間において、各信号灯の表面に写り込んだ太陽光又は周辺の照明光による混色を防止して、前記交通信号機の信号灯2の本来の信号色として出力することができる。
即ち、前記信号制御手段7は、前記交通信号機の信号灯2のRGB信号比率から赤色信号の赤色信号点灯領域と特定した領域の点灯時と消灯時それぞれのRGB信号レベルをメモリ9に記憶し、メモリ9から読み出した前記赤色信号点灯領域の点灯時と消灯時それぞれの信号レベルに基づいて、点灯時のRGB信号レベルから消灯時のRGB信号レベルを減算してから前記混色制御手段14によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域の写り込みによる混色を減じ、赤色信号灯の点灯を赤色としてモニタ17に表示できる。
また、黄色信号灯及び青色信号灯も同様にそれぞれの位置を検出し、そのRGB信号比率からそれぞれの領域の点灯時と消灯時それぞれのRGB信号レベルをメモリ9に記憶し、メモリ9から読み出した前記それぞれの領域の点灯時と消灯時それぞれの信号レベルに基づいて、点灯時のRGB信号レベルから消灯時のRGB信号レベルを減算することにより同様に写り込みによる混色を減ずる作用・効果を得ることができる。
前記メモリ9は、前記混色制御手段14から出力され各信号灯色の混色が制御された前記赤色・黄色及び青色の各信号灯のxy座標値、点灯領域を記憶しておき、該各信号灯のxy座標値、点灯領域を常時該メモリ9から読み出すことにより連続して各信号灯検出に利用することができる。
また、黒地に人形(又は手形等歩行の可否を表示するもの)のイラスト部分だけが灯色に光るようにデザインされ、LED発光素子を使用して縦方向(又は横方向)に歩行者用の赤色信号及び青色信号が配列されている信号灯は、前記図2で示した3個配列の車用信号灯と同様にxy座標値で示された領域と、2個配列された赤色信号灯及び青色信号灯の点灯/消灯時間又は点灯/消灯時間間隔に基づいて歩行者用信号灯であることを検出し、かつ、R>G≒Bであれば歩行者用赤色信号灯として特定してGB信号を減衰又は零レベルとし、G>B>Rであれば歩行者用青色信号灯であると特定してGB信号レベルの比率を保持しR信号を減衰又は零レベルとして混色制御手段14から出力することができる。
図5の本発明実施例の監視用カメラ装置の作用説明フローチャートに基づいて各手段の作用順序を説明する。
ステップS1「スタート」で本装置がスタートすると、先ずステップS2「飽和領域検出」で飽和領域検出手段15によって撮像領域内のRGB信号レベルが100%を超過し飽和状態であるかどうかを検出して「yes」のときは、ステップS2a「レベル正常化」で図示しないレンズ絞り手段、固体撮像素子の電子シャッタ制御手段及び前記利得制御手段13のいずれか又は重複して作動させて飽和レベル以下に信号レベルを減衰させステップS3「WHTバランス制御」へ移行する。
RGB信号レベルが適正値であり、飽和領域が無い「no」のとき、又は前記ステップS2a「レベル正常化」でRGB信号レベルが正常化したときは、ステップS3「WHTバランス制御」で前記信号灯検出手段10を作動させる直前に撮像している被写体像中の白色信号を利用するなど公知の技法によりホワイトバランス制御手段8によってホワイトバランスをとる。
ホワイトバランス実行後は、ステップS4「信号灯検出」において、信号灯検出手段10が作動し、前記固体撮像素子4から出力されるRGB信号それぞれの当該固体撮像素子4の分光感度特性と前記LED発光素子の発光波長特性に基づいて、前記撮像領域内で横方向又は縦方向で、かつ3個直列配列され周期的に繰り返し点灯/消灯する信号灯2を検出する。
さらに、ステップS5「xy座標領域検出」で、信号灯検出手段10は各信号灯2の点灯時の各水平走査ラインの信号レベル及び点灯持続時間から画素のxy座標値で示された領域を検出する。
ステップS4「信号灯検出」において信号灯2が検出されず「no」のときは、ステップS12「通常監視画面表示」に移行し、通常監視画面の表示となりモニタ17に表示する。
xy座標値で示された領域を検出後、ステップS6「点灯/消灯領域検出」に移行し、前記点灯/消灯領域検出手段11は、前記信号灯検出手段10から周期的に繰り返し出力される点灯時の信号灯2の前記xy座標値で示された領域と、同様に周期的に繰り返す各信号灯2の消灯時の信号レベル及び消灯持続時間内の画素のxy座標値を検出(例えば、青信号灯が点灯後消灯し、次に点灯する時間までを消灯持続時間とする)することにより点灯/消灯を周期的に繰り返す交通信号機の信号灯2であると特定し、その出力信号を前記RGB比率検出手段12に送出する。
ステップS7「RGB比率検出」では、前記RGB比率検出手段12によって信号灯2の画素のxy座標値で示された領域のRGB信号レベルの比率を比較する。
ついで、ステップS8「青黄赤信号領域検出」ではxy座標値で示された領域のRGB信号の画像信号レベルが、
R>G≒B(又はR>>G、B)であれば赤色信号灯、
R>G>B(又はR、G>>B)であれば黄色信号灯、
G>B>R(又はG、B>>R)であれば青色信号灯、
として検出し特定することができる。
ステップS9「混色制御」では、前記混色制御手段14によって前記赤色信号点灯領域内ではGB信号を、黄色信号点灯領域内ではB信号を、青色信号点灯領域内ではGB信号の比率を維持してR信号を減衰させ又は零として前記各信号点灯領域の混色を減じ、赤色信号灯の点灯を赤色として、黄信号灯の点灯は黄色として、青信号灯の点灯は青色としてモニタ17に表示している。
また、同時に前記信号制御手段7は、メモリ9から読み出した各信号点灯領域の点灯時と消灯時それぞれの信号レベルを読み出し、点灯時のRGB信号レベルから消灯時のRGB信号レベルを減算することによって各信号点灯領域内の写り込みによる混色を減ずることができる。
ステップS10「利得制御」では、ステップS9「混色制御」で混色及び写り込みのないRGB信号レベル含めて撮像領域全ての信号レベルを利得制御手段13で適正値に制御される。
ついで、ステップ11「信号灯色表示出力」では、適正値にレベル制御されたRGB信号を出力端子16を介してモニタ17で各信号灯の表示色そのままの点灯色が表示される。
本実施例は、前記信号制御手段7の信号灯検出手段10に信号灯の形状・個数認識回路機能を備えることにより、横方向又は縦方向に3個又は2個の直列配列された前記交通信号機の信号灯2の円形等の形状と個数から交通信号機の信号灯2であると特定し、その形状領域部分における青黄赤それぞれの信号灯のRGB信号レベルの比率を検出し、R>G≒Bであれば赤色信号灯の赤色信号点灯領域と特定し、前記混色制御手段14によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタ17に表示可能にした。
したがって、横又は縦3個又は2個で構成する交通信号機の信号灯2をその形状と個数で認識し、そして赤色信号灯の赤色信号点灯領域と特定しているので、夜間において、他の形状のイルミネーション又は照明等と明確に区別して赤色信号灯の点灯を赤色としてモニタ17に表示できる。
その他の構成及び作用は実施例1に準ずる。
本実施例は、前記信号制御手段7が、前記交通信号機の信号灯2の点滅制御信号を有線又は無線の送受信機を設置することにより受信し、赤色信号灯の点滅制御信号に基づいて点灯した前記赤色信号灯を赤色信号点灯領域と特定し、前記混色制御手段14によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減ずることによって、赤色信号灯の点灯を赤色としてモニタ17に表示可能とした。
したがって、昼間又は夜間に拘わらず前記交通信号機の信号灯2の点滅制御信号を受信して点灯した前記赤色信号灯を赤色信号点灯領域として認識でき、飽和状態であっても赤色信号灯の赤色信号点灯領域を最も正確に認識しできる。
同様に、前記交通信号機の青色信号灯及び黄色信号灯の点滅制御信号を受信して青色信号点灯領域及び黄色信号点灯領域として認識し、確実に青色信号灯及び黄色信号灯としてモニタに表示することもできる。
その他の構成及び作用は実施例1に準ずる。
本実施例は、前記信号制御手段7が、昼間の飽和していない前記交通信号機の信号灯2のRGB信号比率から赤色信号の赤色信号点灯領域と特定した前記赤色信号点灯領域をメモリ9に記憶し、常時前記メモリ9から読み出した赤色信号点灯領域情報に基づいて、前記混色制御手段14によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタ17に表示可能とした。
したがって、前記交通信号機の信号灯2が夜間の飽和している状態でも前記メモリ9から読み出した信号が赤色信号点灯領域と特定されているので、
青黄赤それぞれの信号灯のRGB信号レベルの比率を検出する必要もなく、
前記混色制御手段14によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、的確に赤色信号灯を赤色信号として出力できる。
その他の構成及び作用は実施例1に準ずる。
夜間や雨天時において、交通信号機の信号灯が存在する交差点等を監視用カメラ装置で撮像したとき、周囲の状況を明るく撮像するためレンズ絞りを開放方向へ、固体撮像素子の電子シャッタ制御手段及び利得制御手段によって利得を上げると、交通信号機の信号灯の特に赤信号が飽和してしまい薄い黄色又は白色となり、モニタ上で誤認してしまう。
本発明は、青黄赤それぞれの信号灯点灯位置、点灯/消灯時間、点灯/消灯時間間隔、形状と個数、信号灯の点滅制御信号に基づいてRGB信号レベルの比率を検出し、R>G≒Bであれば赤色信号灯の赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能とした。
1:監視用カメラ装置
2:信号灯
3:レンズ
4:固体撮像素子
5:S/H(サンプルホールド回路)
6:A/D変換手段
7:信号制御手段
8:ホワイトバランス制御手段
9:メモリ
10:信号灯検出手段
11:点灯/消灯領域検出手段
12:RGB比率検出手段
13:利得制御手段(信号処理回路を含む)
14:混色制御手段
15:飽和領域検出手段
16:出力端子
17:モニタ
18:撮像領域
19:信号灯画像
20:固体撮像素子駆動手段(電子シャッタ制御手段を含む)
21:同期信号発生手段

Claims (9)

  1. 固体撮像素子と、該固体撮像素子から出力される被写体像のRGB信号のそれぞれに対応する信号制御手段を備え、交通信号機を含む街路を監視する監視用カメラ装置において、
    前記信号制御手段は、前記固体撮像素子の撮像領域内にある交通信号機のLED発光素子で構成された信号灯の点灯を検出する信号灯検出手段と、
    前記検出された各信号灯の点灯→消灯→点灯を周期的に繰り返す点灯/消灯領域を検出する点灯/消灯領域検出手段と、
    前記点灯/消灯領域検出手段から出力された点灯/消灯領域のRGB信号の比率を検出するRGB比率検出手段と、
    各信号灯色の混色を制御する混色制御手段と、
    RGB信号の利得を制御する利得制御手段とを備え、
    前記信号灯検出手段は、前記固体撮像素子から出力されるRGB信号それぞれの当該固体撮像素子の分光感度特性と前記LED発光素子の発光波長特性に基づいて、前記撮像領域内で横方向又は縦方向で、かつ3個直列配列され周期的に繰り返し点灯/消灯する画素のxy座標値で示された領域を検出し、
    前記点灯/消灯領域検出手段は、前記信号灯検出手段から出力された画素の前記xy座標値で示された領域に基づいて、前記3個の点灯/消灯している点灯/消灯領域を特定して前記RGB比率検出手段に送出し、
    前記RGB比率検出手段は、前記点灯/消灯領域の点灯時のRGB信号のレベルを比較し、RGB信号レベルが、
    R>G≒Bであれば赤色信号灯、
    R>G>Bであれば黄色信号灯、
    G>B>Rであれば青色信号灯、
    として検出し、
    前記RGB比率検出手段はさらに、前記R>G≒Bの信号レベルである点灯/消灯領域の画素の前記xy座標値で示された領域に基づいてこの領域を赤色信号点灯領域と特定して前記混色制御手段へ送出し、
    前記混色制御手段は、前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じて前記利得制御手段に送出し、前記利得制御手段は入力したR信号を制御することで、赤色信号灯の点灯領域を適正な赤色としてモニタに表示可能にしてなることを特徴とする監視用カメラ装置。
  2. 前記RGB比率検出手段は、前記交通信号機の青黄赤色信号灯の各点灯時間に同期して信号を出力する前記画素のxy座標値で示された領域に基づいて、青黄赤それぞれの信号灯の前記特定された点灯/消灯領域におけるRGB信号レベルをそれぞれ比較し、R>G≒Bであれば赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしてなることを特徴とする請求項1に記載の監視用カメラ装置。
  3. 前記RGB比率検出手段は、前記交通信号機の青黄赤色信号灯それぞれの点灯/消灯時間又は点灯/消灯時間間隔に同期して出力信号レベルが変化する画素のxy座標値で示された領域に基づいて、
    青黄赤それぞれの信号灯の前記特定された点灯/消灯領域におけるRGB信号レベルを比較し、R>G≒Bであれば赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしてなることを特徴とする請求項1又は2に記載の監視用カメラ装置。
  4. 前記信号制御手段は、前記RGB信号の飽和領域を検出する飽和領域検出手段を備え、夜間や雨天時の感度上昇制御により前記飽和領域検出手段によって前記RGB信号の飽和領域を検出したとき、固体撮像素子の電子シャッタ制御手段及び前記利得制御手段によって信号レベルを飽和レベル以下に減衰し、
    かつ前記RGB比率検出手段は、前記交通信号機の青黄赤色信号灯それぞれの点灯/消灯時間又は点灯/消灯時間間隔に同期して出力信号レベルが変化する前記画素のxy座標値で示された領域に基づいて、
    青黄赤それぞれの信号灯の前記特定された点灯/消灯領域におけるRGB信号レベルを比較し、R>G≒Bであれば赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしてなることを特徴とする請求項1〜3のいずれか1項に記載の監視用カメラ装置。
  5. 前記信号制御手段は、前記交通信号機の信号灯の形状を認識し、その形状部分における青黄赤それぞれの信号灯のRGB信号レベルを比較し、R>G≒Bであれば赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしてなることを特徴とする請求項1に記載の監視用カメラ装置。
  6. 前記信号制御手段は、前記RGB信号の飽和領域を検出する飽和領域検出手段を備え、夜間や雨天時の感度上昇制御により前記飽和領域検出手段によって前記RGB信号の飽和領域を検出したとき、固体撮像素子の電子シャッタ制御手段及び前記利得制御手段によって信号レベルを飽和レベル以下に減衰してから前記交通信号機の信号灯の形状を認識し、その形状部分における青黄赤それぞれの信号灯のRGB信号レベルを比較し、R>G≒Bであれば赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしてなることを特徴とする請求項1又は5に記載の監視用カメラ装置。
  7. 前記信号制御手段が、前記交通信号機の信号灯の点滅制御信号を受信し、赤色信号灯の点滅制御信号に基づいて点灯した前記赤色信号灯を赤色信号点灯領域と特定し、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしてなることを特徴とする請求項1に記載の監視用カメラ装置。
  8. 前記信号制御手段が、昼間の飽和していない前記交通信号機の信号灯のRGB信号比率から赤色信号の赤色信号点灯領域と特定した前記赤色信号点灯領域をメモリに記憶し、常時前記メモリから読み出した赤色信号点灯領域に基づいて、前記混色制御手段によって前記赤色信号点灯領域内のGB信号を減衰させ又は零として前記赤色信号点灯領域における混色を減じ、赤色信号灯の点灯を赤色としてモニタに表示可能にしてなることを特徴とする請求項1〜7のいずれか1項に記載の監視用カメラ装置。
  9. 前記信号制御手段が、前記交通信号機の各信号灯の点灯時と消灯時それぞれのRGB信号レベルをメモリに記憶し、メモリから読み出した前記各信号灯の点灯時と消灯時それぞれの信号レベルに基づいて、点灯時のRGB信号レベルから消灯時のRGB信号レベルを減算してなることを特徴とする請求項8に記載の監視用カメラ装置。
JP2012170733A 2012-08-01 2012-08-01 監視用カメラ装置 Expired - Fee Related JP5397714B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012170733A JP5397714B1 (ja) 2012-08-01 2012-08-01 監視用カメラ装置
US13/811,857 US9025026B2 (en) 2012-08-01 2012-08-21 Monitoring camera apparatus
CN201280002428.9A CN103703768B (zh) 2012-08-01 2012-08-21 监视用照相机装置
PCT/JP2012/071524 WO2014020774A1 (ja) 2012-08-01 2012-08-21 監視用カメラ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012170733A JP5397714B1 (ja) 2012-08-01 2012-08-01 監視用カメラ装置

Publications (2)

Publication Number Publication Date
JP5397714B1 true JP5397714B1 (ja) 2014-01-22
JP2014032435A JP2014032435A (ja) 2014-02-20

Family

ID=50027497

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012170733A Expired - Fee Related JP5397714B1 (ja) 2012-08-01 2012-08-01 監視用カメラ装置

Country Status (4)

Country Link
US (1) US9025026B2 (ja)
JP (1) JP5397714B1 (ja)
CN (1) CN103703768B (ja)
WO (1) WO2014020774A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114038204A (zh) * 2020-10-21 2022-02-11 南京光准科技有限公司 一种利用激光感知红绿灯状态实现闯红灯风险预警的装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101848451B1 (ko) * 2013-08-19 2018-04-12 젠텍스 코포레이션 차량 후미등과 점멸 적색 정지등을 구별하기 위한 차량 촬상 시스템 및 방법
US9305224B1 (en) * 2014-09-29 2016-04-05 Yuan Ze University Method for instant recognition of traffic lights countdown image
US10412309B2 (en) * 2015-04-13 2019-09-10 Sony Corporation Image capture device, method of image capture, signal processing device, method of signal processing, and program
JP6477876B2 (ja) * 2015-06-18 2019-03-06 日産自動車株式会社 信号機検出装置及び信号機検出方法
CN105303860B (zh) * 2015-10-22 2017-06-16 四川膨旭科技有限公司 车辆行驶过程中对红绿灯进行识别的系统
CN106056921A (zh) * 2016-08-18 2016-10-26 福州大学 基于二维码的车辆信息识别系统
EP3884840A1 (de) * 2020-03-27 2021-09-29 Diaspective Vision GmbH Medizinische bildgebungsvorrichtung zur ortsaufgelösten aufnahme multispektraler videodaten
CN112147439A (zh) * 2020-09-10 2020-12-29 北京罗克维尔斯科技有限公司 仪表检测方法、装置、设备、存储介质和系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149485A (ja) * 1994-11-25 1996-06-07 Nippon Avionics Co Ltd Rgb色順次式テレビカメラ
US9955551B2 (en) * 2002-07-12 2018-04-24 Yechezkal Evan Spero Detector controlled illuminating system
JP2007189559A (ja) * 2006-01-13 2007-07-26 Toshiba Corp 監視カメラシステム及びカメラの制御方法
JP2007257303A (ja) 2006-03-23 2007-10-04 Honda Motor Co Ltd 信号機認識装置
US7825829B2 (en) * 2007-05-15 2010-11-02 Jai, Inc. USA Modulated light trigger for license plate recognition cameras
JP2009055504A (ja) * 2007-08-29 2009-03-12 Ikegami Tsushinki Co Ltd 監視カメラ装置
CN100507970C (zh) * 2007-09-14 2009-07-01 清华大学 基于数字摄像机的闯红灯检测系统及方法
CN101426080B (zh) * 2007-10-29 2012-10-17 三星电子株式会社 监控系统中检测并抑制相机移动产生的影响的设备和方法
JP5071198B2 (ja) 2008-03-28 2012-11-14 富士通株式会社 信号機認識装置,信号機認識方法および信号機認識プログラム
JP5254102B2 (ja) 2009-03-24 2013-08-07 富士重工業株式会社 環境認識装置
WO2010116922A1 (ja) * 2009-04-07 2010-10-14 コニカミノルタオプト株式会社 画像入力装置
JP2011054110A (ja) * 2009-09-04 2011-03-17 Mitsutoyo Corp 画像処理型測定機および画像処理測定方法
CN102129779B (zh) * 2010-01-13 2014-04-23 中国科学院自动化研究所 路口交通信号安全和效率监测系统
JP2011216051A (ja) * 2010-04-02 2011-10-27 Institute Of National Colleges Of Technology Japan 信号灯識別プログラムおよび信号灯識別装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114038204A (zh) * 2020-10-21 2022-02-11 南京光准科技有限公司 一种利用激光感知红绿灯状态实现闯红灯风险预警的装置

Also Published As

Publication number Publication date
WO2014020774A1 (ja) 2014-02-06
CN103703768A (zh) 2014-04-02
CN103703768B (zh) 2017-03-08
US20140192190A1 (en) 2014-07-10
US9025026B2 (en) 2015-05-05
JP2014032435A (ja) 2014-02-20

Similar Documents

Publication Publication Date Title
JP5397714B1 (ja) 監視用カメラ装置
JP5485004B2 (ja) 撮像装置
US8723980B2 (en) Image processing system and image acquisition method
CN104838644B (zh) 求取检测区域图像信息的摄像机系统和方法
JP2004501496A (ja) Ccdセンサを用いた照明制御装置及び照明制御方法
KR20130006122A (ko) 발광 장치 및 이를 포함하는 카메라 시스템
KR101169017B1 (ko) 고해상도 씨모스 카메라가 적용된 주야간 자동 스위칭방식의 감시용 카메라
US9105105B2 (en) Imaging device, imaging system, and imaging method utilizing white balance correction
US20200029016A1 (en) Moving object monitoring device and moving object monitoring system
JP4328865B2 (ja) 赤外線照明内蔵型監視用デイナイトカメラ
KR20150057041A (ko) 카메라의 led 조명제어 방법 및 그 장치
JP2009253316A (ja) 車載カメラ及びドライブレコーダ
KR101475468B1 (ko) 적외선 led 카메라 시스템
JP6504892B2 (ja) 撮像装置
US10154201B2 (en) Method for adjusting photographic images to higher resolution
KR101943195B1 (ko) 지능형 조명 제어장치 및 방법
TWI629552B (zh) 攝影裝置及影像管理系統
KR101100489B1 (ko) 주변조명밝기 조절장치
US20060285008A1 (en) Image pickup apparatus and image pickup method
KR102497020B1 (ko) 다중 광도 및 다중 대역 영상 획득 장치 및 방법
KR101691043B1 (ko) 적외선을 이용하여 야간 컬러영상을 구현하는 폐쇄회로 텔레비전 카메라
CN113401048B (zh) 车用取像装置及其设定方法
JP2007300374A (ja) 監視カメラ装置
CN112492124A (zh) 一种控制摄像机系统的方法
TWI572207B (zh) Photographic image adjustment method

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131009

R150 Certificate of patent or registration of utility model

Ref document number: 5397714

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees