JP4666049B2 - 光源識別装置、光源識別プログラム、車両検出装置、およびライト制御装置 - Google Patents

光源識別装置、光源識別プログラム、車両検出装置、およびライト制御装置 Download PDF

Info

Publication number
JP4666049B2
JP4666049B2 JP2008268763A JP2008268763A JP4666049B2 JP 4666049 B2 JP4666049 B2 JP 4666049B2 JP 2008268763 A JP2008268763 A JP 2008268763A JP 2008268763 A JP2008268763 A JP 2008268763A JP 4666049 B2 JP4666049 B2 JP 4666049B2
Authority
JP
Japan
Prior art keywords
light source
group
brightness
vehicle
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008268763A
Other languages
English (en)
Other versions
JP2010096668A (ja
Inventor
尊広 上岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2008268763A priority Critical patent/JP4666049B2/ja
Priority to US12/589,107 priority patent/US8242934B2/en
Priority to DE102009049665A priority patent/DE102009049665A1/de
Publication of JP2010096668A publication Critical patent/JP2010096668A/ja
Application granted granted Critical
Publication of JP4666049B2 publication Critical patent/JP4666049B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/10Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void
    • G01J1/16Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void using electric radiation detectors
    • G01J1/18Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void using electric radiation detectors using comparison with a reference electric value
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758Involving statistics of pixels or of feature values, e.g. histogram matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J2001/4247Photometry, e.g. photographic exposure meter using electric radiation detectors for testing lamps or other light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Geophysics And Detection Of Objects (AREA)

Description

本発明は、夜間に検出される光源を識別する光源識別装置、光源識別プログラム、車両検出装置、およびライト制御装置に関する。
従来、夜間に光源が車両であることを検出する車両検出装置が知られている。このような車両検出装置としては、光源の明るさの絶対値や光源の波長を解析することによって車両のヘッドライト等の発光物と反射物とを識別するものがある(例えば、特許文献1,2参照)。
特開2005−092857号公報 特表2005−534903号公報
しかしながら、光源の明るさの絶対値を利用する車両検出装置では、車両のヘッドライトの明るさと、標識等、光を反射する反射物の明るさとが一致することがあり、この場合に車両以外の光源を車両であると判定する誤検出を起こすという問題点があった。また、光源の波長によって車両であるか否かを識別する車両検出装置においても、車両のヘッドライトの反射光がヘッドライトと同じ波長であることがあり、この場合も同様に誤検出を起こすという問題点があった。
そこで、このような問題点を鑑み、発光物と反射物とを精度よく識別することができる技術を提供することを本発明の目的とする。
かかる目的を達成するために成された請求項1に記載の光源識別装置において、度数分布生成手段は、取得手段によって取得された撮像画像を構成する各画素を、各画素の明るさに応じて複数のグループに分類し、該各グループに対応付けた明るさと各グループの画素数との関係を表す度数分布を生成する。そして、選択手段は、生成した度数分布において、2以上のグループにおける各明るさと該各グループの画素数とをそれぞれ選択し、識別判断手段は、度数分布において明るさが増加するにつれて画素数が減少する傾向があるか否かを判定し、明るさが増加するにつれて画素数が減少する傾向があれば撮像画像中に発光物が存在すると判断し、明るさが増加するにつれて画素数が減少する傾向がなければ撮像画像中に反射物が存在すると判断する。
即ち、自身が発光する発光物と、自身は発光せずに他からの光を反射する反射物とでは、度数分布を生成した際に、異なる分布になる。例えば、明るさの値が低い順に各グループを並べ、これらの各グループに分類された画素数を対応付けたグラフを作成すると(例えば、図4および図5参照)、発光物の場合と反射物の場合とでは、明らかにその形状が異なる。
そこで、本発明では、この形状の違い(分布の違い)を検出するために、2以上のグループにおける各明るさと各グループの画素数とをそれぞれ選択し、度数分布において明るさが増加するにつれて画素数が減少する傾向があるか否かを判定するようにしている。
なお、本発明でいう「各画素の明るさ」としては、輝度や照度等が該当し、「各グループに対応付けた明るさ」とは、各グループに属する各画素の明るさの平均でもよいし、各グループに対応付けられた明るさの最大値、中間値、最小値等でもよい。
このような光源識別装置によれば、撮像画像中に含まれる発光物および反射物の特徴を度数分布に基づいて捉えることができるので、発光物と反射物とを精度よく識別することができる。
ところで、請求項1に記載の光源識別装置において、識別判断手段は、選択手段が選択したグループのうちのより明るいグループに対応する画素数が、選択手段が選択した他のグループに対応する画素数未満であれば撮像画像中に発光物が存在すると判断し、より明るいグループに対応する画素数が、他のグループに対応する画素数以上であれば撮像画像中に反射物が存在すると判断するようにしてもよいし、請求項2または請求項3に記載のようにしてもよい。
即ち、請求項2に記載のように、選択手段は、前記度数分布において、最も明るい画素が分類されたグループと最も多くの画素が分類されたグループとを選択し、識別判断手段は、前記選択手段が選択した各グループにおいて、各グループにおける明るさの差に対する各グループの画素数の差を表す傾きが、所定の明るさ閾値未満であれば撮像画像中に発光物が存在すると判断し、傾きが明るさ閾値以上であれば撮像画像中に反射物が存在すると判断するようにしてもよい。
また、請求項3に記載のように、選択手段は、度数分布において、第1閾値以上の明るさを有する画素が分類された1または複数のグループである第1グループと、第1閾値未満に設定された第2閾値以上の明るさを有する画素が分類された1または複数のグループである第2グループとを選択し、識別判断手段は、第2グループの画素数と第1グループの画素数との比を表す面積比を、面積閾値と比較することによって、撮像画像中に発光物が存在するか、撮像画像中に反射物が存在するかを判断するようにしてもよい。
より具体的には、第1グループ(より明るいグループ)に対応する面積を分母とし、第2グループ(より暗いグループ)に対応する面積を分子とする場合には、面積比が面積閾値未満であれば撮像画像中に発光物が存在すると判定し、面積比が面積閾値以上であれば撮像画像中に反射物が存在すると判定すればよい。また、分子と分母とを入れ替える場合には、面積閾値を逆数に設定し、面積比が面積閾値未満であれば撮像画像中に反射物が存在すると判定し、面積比が面積閾値以上であれば撮像画像中に発光物が存在すると判定すればよい。
なお、本発明でいう「明るさ閾値」または「面積閾値」は、発光物と反射物とを識別するための閾値であって実験的に求められるものであり、「明るさ閾値」は、例えば、0未満の数値に設定される。
このような光源識別装置によれば、請求項1に記載の発明をより確実かつ具体的に実現することができる。
さらに、請求項3に記載の光源識別装置においては、請求項4に記載のように、選択手段は、度数分布において、最も明るい画素の明るさ、または最も明るい画素のグループの明るさ、である最明画素に対して0より大きく1未満に設定された第1係数を乗じることによって得られる値を第1閾値に設定し、最明画素に対して0より大きく第1係数よりも小さな値に設定された第2係数を乗じることによって得られる値を第2閾値に設定し、設定した各閾値に応じて第1グループおよび第2グループを選択するようにしてもよい。
このような光源識別装置によれば、最明画素の明るさに応じて第1閾値および第2閾値を変更することができるので、全体の画素数に対する第1グループおよび第2グループに含まれる画素数の割合を一定にすることができる。よって、面積比の計算を適切に実施することができる。
また、請求項1〜請求項4の何れかに記載の光源識別装置においては、請求項5に記載のように、撮像画像中において光源を検出する光源検出手段を備え、度数分布生成手段、選択手段、および識別判断手段は、光源検出手段によって検出された光源毎に各処理を実施するようにしてもよい。
このような光源識別装置によれば、撮像画像中に光源が複数存在する場合であっても、光源毎に発光物であるか反射物であるかを判定することができる。なお、光源とは、所定の光源閾値以上の明るさを有する複数の画素から構成される領域を表す。
次に、請求項6に記載の光源識別プログラムにおいては、請求項1〜請求項5の何れかの光源識別装置を構成する各手段としての機能をコンピュータにおいて実行するためのプログラムであることを特徴としている。
このような光源識別プログラムによれば、少なくとも請求項1に記載の光源識別装置と同様の効果を享受することができる。
次に、上記目的を達成するために成された請求項7に記載の車両検出装置において、光源識別手段は、撮像画像中の光源が発光物であるか反射物であるかを識別し、特徴判断手段は、光源が車両のものとしての特徴を有するか否かを判断する。そして、検出判断手段は、光源識別手段によって光源が発光物であると識別され、かつ特徴判断手段によって光源が車両のものとしての特徴を有すると判断された場合に、車両を検出したと判断する。さらに、光源識別手段は、請求項1〜請求項5の何れかに記載の光源識別装置として構成されている。
このような光源識別装置によれば、撮像画像中の光源が発光物であるか反射物であるかを識別する処理と、光源が車両のものとしての特徴を有するか否かを判定する処理とを併用するので、車両の検出精度を向上させることができる。
なお、光源が車両のものとしての特徴を有するか否かを判定する処理については、周知の処理を採用することができる。具体的には、光源がペアで検出されていること、光源が検出されている位置が適切な位置であること、光源の波長が車両のヘッドライトに利用されているものであること、等のうちの何れかを満たしたものを車両としての特徴を有すると判断することができる。
さらに、上記目的を達成するために成された請求項8に記載のライト制御装置においては、撮像画像中から車両を検出する車両検出手段と、車両検出手段によって車両が検出されると、車両が検出されないときよりも、ヘッドライトの照射範囲を下向きに変更する変更手段と、を備え、車両検出手段は、請求項7に記載の車両検出装置として構成されていることを特徴としている。
このようなライト制御装置によれば、請求項7に記載の車両検出装置としての機能を有しているので、適切に車両を検出することができる。そして、車両が検出されるとヘッドライトの照射範囲を下向きに変更するので、他車両を眩惑することを防止することができる。
以下に本発明にかかる実施の形態を図面と共に説明する。
[本実施形態の構成]
図1は本発明が適用されたライト制御システム1(ライト制御装置)の概略構成を示すブロック図である。ライト制御システム1は、例えば乗用車等の車両(以下、「自車両」という。)に搭載され、自車両におけるヘッドライトによる照射範囲を制御する機能を有するシステムである。
ライト制御システム1は、図1に示すように、自車両前方の道路上を撮像するカメラ5と、カメラ5による撮像画像中から他車両を検出する車両検出装置10(光源識別装置)と、ハイビーム用ランプ6およびロービーム用ランプ7を作動制御(本実施形態では点灯制御)するヘッドライト制御装置20とを備えている。なお、ハイビーム用ランプ6とは、自車両の前方約100m程度までの領域を照射範囲内とする走行用ランプ(ハイビーム)であり、ロービーム用ランプ7とは、自車両の前方約40m程度までの領域を照射範囲内とするすれ違い用ランプ(ロービーム)である。
車両検出装置10は、CPU11、ROM12、RAM13等を備えた周知のマイクロコンピュータを備えた構成とされている。CPU11は、ROM12に格納された光源識別プログラム等のプログラムに基づいて、後述するライト制御処理等の各種処理を実施する。また、車両検出装置10(CPU11)は、ヘッドライト制御装置20に対して光軸の向きを変更させる指示(ハイビーム用ランプ6を点灯または消灯させる指示を含む)を送信する。
ヘッドライト制御装置20は、CPU21、ROM22、RAM23等を備えた周知のマイクロコンピュータを備えた構成とされている。CPU21は、車両検出装置10からの指示を受けると、ROM22に格納されたプログラムに基づいて、ロービーム用ランプ7の光軸の向きを制御したり、ハイビーム用ランプ6の点灯・消灯を制御したりする。つまり、ヘッドライトによる照射範囲を変更する制御を実施する。
なお、本実施形態においては、ロービーム用ランプ7の光軸の向きを制御する処理および光軸の向きを制御するための機構については説明を省略し、ハイビーム用ランプ6およびロービーム用ランプ7の点灯・消灯を制御する処理のみについて以下に説明する。
ここで、図2は光源が発光物である場合の撮像画像(図2(a))、光源の拡大図(図2(b))、および光源のヒストグラム(図2(c))である。また、図3は光源が反射物である場合の撮像画像(図3(a))、光源の拡大図(図3(b))、および光源のヒストグラム(図3(c))である。
また、図4(a)は光源が発光物である場合において明るさの分布を模式的に示す説明図、図4(b)は光源が発光物である場合の模式的なヒストグラム(明るさが閾値α未満の画素を除外したもの)である。また、図5(a)は光源が反射物である場合において明るさの分布を模式的に示す説明図、図5(b)は光源が反射物である場合の模式的なヒストグラム(明るさが閾値α未満の画素を除外したもの)である。
なお、発光物とは、街路灯やヘッドライト等、光源自身が発光するものを表し、反射物とは、リフレクタや道路標識等、光源自身が発光することなく他からの光を反射するものを表す。また、ヒストグラムとは、撮像画像を構成する各画素を、各画素の明るさ(ここでは輝度)に応じて複数のグループ(光源が複数の明るさを有する画素の集合であることが明確になり、かつ大半のグループに複数の画素が振り分けられる程度のグループ数:20〜50グループ程度)に分類し、各グループに対応付けた明るさと各グループの画素数との関係を表す度数分布として構成される。
このヒストグラムにおいては、カメラ5による分光可能な明るさの範囲をグループ数で等間隔に分割することによって、グループ毎に振り分けられる画素の明るさの範囲が設定されている。そして、各グループにおいて設定された明るさの範囲のうちの中間の明るさが、各グループの明るさとして設定されている。
なお、各グループの明るさとしては、各グループに分類された各画素の明るさの平均値としてもよいし、各グループに分類される画素の明るさのうちの最大値、または最小値としてもよい。
図2(a)(図2(b))および図3(a)(図3(b))に示すように、光源が発光物である場合と、光源が反射物である場合とでは、撮像画像を目視するだけでは、大きな相違点を確認することはできない。しかし、図2(c)および図3(c)のヒストグラムによれば、明るさに対する画素数の分布に相違点を明確に確認することができる。
なお、ヒストグラム(図2(c)、図3(c))においては、光源の領域であると判断するための閾値αを設定しており、この閾値α未満の明るさに分類されたグループについては、画素数の分布を検討する際には無視する。
このようなヒストグラムが得られるのは、光源がヘッドライトのような点光源である発光物である場合には、図4(a)に示すように、撮像画像において中心により明るい輝点があり、その周囲に徐々に暗くなりながら広がる光源が検出され、光源が道路標識のような反射物である場合には、図5(a)に示すように、撮像画像において反射面全体が一定輝度、かつ概ね最も明るい領域であり、その周囲に徐々に暗くなりながら僅かに広がる光源が検出されるからである。ただし、この領域(徐々に暗くなりながら広がる領域)は、光源が反射物である場合には、発光物である場合のこの領域よりもかなり狭い。
このため、発光物の場合のヒストグラム(図2(c)、図4(b))では、グループに対応付けた明るさが明るくなるにつれて(グラフの右へ移動するにつれて)、各グループの画素数が減少している。つまり、右肩下がりになっている。
一方、反射物の場合のヒストグラム(図3(c)、図5(b))では、グループに対応付けた明るさが明るくなるにつれて各グループの画素数が増加し、最も明るい画素が属するグループ付近の画素数が最も多い。
[本実施形態の処理]
以下に示すライト制御処理では、上記のようなヒストグラムにおける相違点を検出し、この検出結果を利用して車両(ヘッドライト)による光源と車両以外の他の光源とを識別し、さらに、この識別結果に基づいてヘッドライトによる照射範囲を変更する処理を実施する。図6は、車両検出装置10が実施するライト制御処理を示すフローチャートである。
なお、本実施形態のライト制御処理において、S110の処理は本発明でいう取得手段に相当し、S120,S130の処理は光源検出手段に相当し、S160の処理は度数分布生成手段に相当する。また、S180〜S200の処理は光源識別手段に相当し、S210の処理は特徴判断手段に相当し、S220,S230の処理は検出判断手段に相当する。
さらに、S420,S520,S530の処理は選択手段に相当し、S200,S470,S480,S580,S590の処理は識別判断手段に相当する。また、S110〜S260の処理は車両検出手段に相当し、S270〜S290の処理は変更手段に相当する。
ライト制御処理においては、図示しないイグニッションスイッチ等の車両の電源がON状態にされると開始される処理であって、その後、カメラ5による撮像周期毎(例えば1/30秒毎)に起動される処理である。
なお、後述する傾きフラグ、面積フラグ、および車両検出フラグは、処理開始時にクリア(OFF状態に)されるものとする。ライト制御処理の具体的な処理としては、図6に示すように、まず、カメラ5による撮像画像を取得する(S110)。
そして、撮像画像中において基準となる明るさで2値化し(S120)、基準となる明るさ以上の領域を光源として抽出し、各光源に対してラベリングする(S130)。ここで、「基準となる明るさ」とは、暗闇の領域とそれ以外の領域とを識別するための閾値を表す。また、光源の領域を抽出する際には、通常、光源の領域が収まるような長方形の領域(図2(b)、図3(b)参照)が切り出されることになる。
続いて、抽出した光源と前回以前の撮像周期(前のフレーム)において抽出された光源との対応付けを行う(S140)。この処理は、光源の明るさや面積等を追跡することができるようにする処理である。
そして、抽出した光源の1つを選択し(S150)、選択した光源におけるヒストグラム(図2(c)、図3(c)参照)を生成する(S160)。続いて、閾値α未満の明るさが対応付けられたグループ(閾値α未満の明るさのデータ)をクリアする(S170)。
ここで、S170の処理は、S130の処理にて光源の領域が収まるような長方形の領域を切り出した際に、光源ではない領域(暗闇の領域)も、この長方形の領域に含まれているため、この光源ではない領域を除外するために必要となる。続いて、傾き判定処理(S180)および面積判定処理(S190)を順に実施する。
傾き判定処理については、図7に示すフローチャートを用いて説明する。傾き判定処理においては、まず、初期設定として繰り返し回数を表す変数nを0にセットする(S410)。
そして、ヒストグラムにおいて、nの値に応じて予め定められた2つのグループを選択する(S420)。この処理においては、発光物と反射物とを識別するのに最適なグループのペアをnの値に応じて選択する。例えば、n=0のときには第1のペアとして、発光物においては最も明るい画素が分類されたグループ(以下、「最明グループ」という。)と最も多くの画素が分類されたグループ(以下、「最頻グループ」という。)とを選択し、n=1のときには第2のペアとして、最明グループと最明グループの明るさに対して60%の明るさであるグループ(以下、「60%グループ」という。)とを選択し、n=2のときには第3のペアとして、最明グループの明るさに対して90%の明るさであるグループ(以下、「90%グループ」という。)と60%グループとを選択する。
ここで、第1のペアとして最明グループと最頻グループとを選択するのは、光源が発光物である場合、図2(c)、図4(b)に示すように、最明グループの画素数が少なく、光源が反射物である場合、図3(c)、図5(b)に示すように、最明グループの画素数が最頻グループの画素数と一致する程度に多いため、この2グループを選択すれば、効果的にヒストグラムにおける分布の相違点を検出できると考えたからである。
また、第2のペアとして最明グループと60%グループを、或いは第3のペアとして90%グループと60%グループとを選択したのは、ヒストグラムでは最明グループの明るさに対して50%以上の明るさにおいて、分布の相違点が顕著であるためで、たまたま第1のペアでは分布の相違点が検出できなかった場合であっても、異なる条件で分布の相違点を検出するためである。
続いて、選択したグループにおける各明るさの差に対する各グループの画素数の差である傾きを算出し(S430)、n=2であるか否かを判定する(S440)。n=2でなければ(S440:NO)、nをインクリメントして(S450)、S420以下の処理を繰り返す。
また、n=2であれば(S440:YES)、S430の処理を3回実施して得られた各傾きの平均値を算出し(S460)、この傾きの平均値が閾値以上であるか否かを判定する(S470)。ここでいう閾値は、発光物と反射物とを識別するための閾値であるため、前述のヒストグラムに表示した各矢印(発光物である場合の矢印と反射物である場合の矢印と)が示す傾きの中間の傾きになるように設定されていればよい。なお、閾値の具体的な数値は、良好に発光物と反射物とを識別できる値を実験的に求めればよい。
傾きが閾値以上であれば(S470:YES)、光源が発光物であるものとして、傾きフラグON状態に設定し(S480)、傾き判定処理を終了する。また、傾きが閾値未満であれば(S470:NO)、光源が反射物であるものとして、直ちに傾き判定処理を終了する。
次に、面積判定処理については、図8に示すフローチャートを用いて説明する。面積判定処理においては、まず、初期設定として繰り返し回数を表す変数mを0にセットする(S510)。
そして、ヒストグラムにおいて、mの値に応じて予め定められた2つのグループを選択する(S520)。この処理においては、S420と同様の処理を行う。
続いて、選択したグループよりも明るいグループ(ヒストグラムでは選択したグループよりも右側にあるグループ)の全てをそれぞれ選択し、これらの累積画素数(つまり、選択したグループの明るさ以上の面積)をそれぞれ計算する(S530)。
続いて、m=2であるか否かを判定する(S540)。m=2でなければ(S540:NO)、mをインクリメントして(S550)、S520以下の処理を繰り返す。
また、m=2であれば(S540:YES)、S530の処理を3回実施して得られた各面積の平均値を算出し(S560)、S530の処理にて計算した各面積の比を算出する(S570)。
なお、ここでは選択したグループのうちのより明るいグループに対応する面積を分母とし、他のグループに対応する面積を分子とする。また、分子と分母とを入れ替える場合には、後述するS580にて利用する閾値を逆数にするとともに、この処理で否定判定された場合にS590の実施するようにする必要がある。
ここで、図9は光源が発光物である場合において選択した画素の分布を示す説明図、図10は光源が反射物である場合において選択した画素の分布を示す説明図である。各図においては、最も明るい画素の明るさに対して90%の明るさの領域(以下、「90%領域」という。)を抽出したもの(a)、および最も明るい画素の明るさに対して60%の明るさの領域(以下、「60%領域」という。)を抽出したもの(b)を示す。
図9および図10に示すように、光源が発光物の場合では光源が反射物の場合と比較して、60%領域の面積に対する90%領域の面積の比が小さくなることが分かる。具体的には、光源が発光物の場合では面積比は3.9程度となり、光源が反射物の場合では面積比は1.7程度となった。
次に、面積比が閾値以上であるか否かを判定する(S580)。ここでいう閾値は、発光物と反射物とを識別するための閾値であるため、光源が発光物の場合の面積比と光源が反射物の場合の面積比の中間の値になるように設定されていればよい。なお、閾値の具体的な数値は、良好に発光物と反射物とを識別できる値を実験的に求めればよい。
面積比が閾値以上であれば(S580:YES)、光源が発光物であるものとして、面積フラグON状態にし(S590)、面積判定処理を終了する。また、面積比が閾値未満であれば(S580:NO)、光源が反射物であるものとして、直ちに面積判定処理を終了する。
面積判定処理が終了すると、図6に戻り、傾きフラグおよび面積フラグの両方がON状態に設定されているか否かを判定する(S200)。両方がON状態にされていれば(S200:YES)、この光源についての対向車両としての特徴を検出する(S210)。
ここで、対向車両としての特徴とは、具体的には、光源がペアで検出されていること、光源が検出されている位置が適切な位置であること、光源の波長が車両のヘッドライトに利用されているものであること、等のうちの何れかを満たしたものを車両としての特徴を有すると判断することができる。なお、対向車両としての特徴を検出する処理としては、周知の技術を利用すればよい。
続いて、光源が対向車両としての特徴を有しているか否かを判定する(S220)。対向車両としての特徴を有していれば(S220:YES)、撮像画像中から車両が検出されたものとして、車両検出フラグをON状態に設定し(S230)、S240の処理に移行する。
また、S200の処理にて傾きフラグまたは面積フラグがOFF状態にされている場合(S200:NO)、またはS220の処理にて対向車両としての特徴を有していない場合(S220:NO)には、撮像画像中から車両が検出されなかったものとして、直ちにS240の処理に移行し、傾きフラグおよび面積フラグをOFF状態に設定する(S240)。
続いて、全ての光源を選択したか否かを判定する(S250)。何れかの光源が選択されていなければ(S250:NO)、次の光源を選択し(S260)、S160以下の処理を繰り返す。
また、全ての光源が選択されていれば(S250:YES)、車両検出フラグがON状態に設定されているか否かを判定する(S270)。車両検出フラグがON状態に設定されていれば(S270:YES)、ハイビームにする旨をヘッドライト制御装置20に指示し(S280)、ライト制御処理を終了する。なお、ハイビームにする旨を受けたヘッドライト制御装置20は、ハイビーム用ランプ6を点灯させる。この際、ロービーム用ランプ7を消灯させてもよいし、点灯させたままでもよい。
また、車両検出フラグがOFF状態に設定されていれば(S270:NO)、ロービームにする旨をヘッドライト制御装置20に指示し(S290)、ライト制御処理を終了する。なお、ロービームにする旨を受けたヘッドライト制御装置20は、ロービーム用ランプ7を点灯させ、ハイビーム用ランプ6を消灯させる。
[本実施形態の効果]
以上のように詳述したライト制御システム1において車両検出装置10は、ライト制御処理にて、撮像画像中の光源が発光物であるか反射物であるかを識別し、光源が車両のものとしての特徴を有するか否かを判断する。そして、車両検出装置10は、光源が発光物であると識別され、かつ光源が車両のものとしての特徴を有すると判断された場合に、車両を検出したと判断し、車両が検出していないときよりも、ヘッドライトの照射範囲を下向きに変更する。
特に、車両検出装置10は、撮像画像中の光源が発光物であるか反射物であるかを識別する処理として、取得された撮像画像を構成する各画素を、各画素の明るさに応じて複数のグループに分類し、該各グループに対応付けた明るさと各グループの画素数との関係を表す度数分布(ヒストグラム)を生成する。そして、車両検出装置10は、生成した度数分布において、2以上のグループにおける各明るさと該各グループの画素数とをそれぞれ選択する。
さらに、車両検出装置10は、選択したグループのうちのより明るいグループに対応する画素数が、他のグループに対応する画素数未満であれば撮像画像中に発光物が存在すると判断し、より明るいグループに対応する画素数が、他のグループに対応する画素数以上であれば撮像画像中に反射物が存在すると判断する。
また、ライト制御システム1において車両検出装置10は、傾き判定処理にて、度数分布において、最も明るい画素が分類されたグループと最も多くの画素が分類されたグループとを選択し、選択した各グループにおいて、各グループにおける明るさの差に対する各グループの画素数の差を表す傾きが、所定の明るさ閾値未満であれば撮像画像中に発光物が存在すると判断し、傾きが明るさ閾値以上であれば撮像画像中に反射物が存在すると判断する。
また、ライト制御システム1において車両検出装置10は、面積判定処理にて、度数分布において、第1閾値以上の明るさを有する画素が分類された1または複数のグループである第1グループと、第1閾値未満に設定された第2閾値以上の明るさを有する画素が分類された1または複数のグループである第2グループとを選択し、第2グループの画素数と第1グループの画素数との比を表す面積比を、面積閾値と比較することによって、撮像画像中に発光物が存在するか、撮像画像中に反射物が存在するかを判断する。
このようなライト制御システム1によれば、撮像画像中に含まれる発光物および反射物の特徴を度数分布に基づいて捉えることができるので、発光物と反射物とを精度よく識別することができる。また、このようなライト制御システム1によれば、撮像画像中の光源が発光物であるか反射物であるかを識別する処理と、光源が車両のものとしての特徴を有するか否かを判定する処理とを併用するので、車両の検出精度を向上させることができる。
さらに、このようなライト制御システム1によれば、車両が検出されるとヘッドライトの照射範囲を下向きに変更するので、他車両を眩惑することを防止することができる。
また、ライト制御システム1において車両検出装置10は、度数分布において、最も明るい画素の明るさ、または最も明るい画素のグループの明るさ、である最明画素に対して0より大きく1未満に設定された第1係数を乗じることによって得られる値を第1閾値に設定し、最明画素に対して0より大きく第1係数よりも小さな値に設定された第2係数を乗じることによって得られる値を第2閾値に設定し、設定した各閾値に応じて第1グループおよび第2グループを選択する。
このような車両検出装置10によれば、最明画素の明るさに応じて第1閾値および第2閾値を変更することができるので、全体の画素数に対する第1グループおよび第2グループに含まれる画素数の割合を一定にすることができる。よって、面積比の計算を適切に実施することができる。
また、ライト制御システム1において車両検出装置10は、検出された光源毎にS160〜S260の処理を実施する。
このような車両検出装置10によれば、撮像画像中に光源が複数存在する場合であっても、光源毎に発光物であるか反射物であるかを判定することができる。
[その他の実施形態]
本発明の実施の形態は、上記の実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態を採りうる。
例えば、上記実施形態では、ライト制御処理において、S200の処理にて、傾きフラグおよび面積フラグの両方がON状態に設定されているか否かを判定するようにしたが、何れか一方がON状態に設定されているか否かを判定するようにしてもよい。
また、上記実施形態では、傾き判定処理(S180)、および面積判定処理(S190)の処理の両方を実施したが、S180、S190の処理のうちの何れか一方のみを実施するようにしてもよい。
さらに、傾き判定処理および面積判定処理においては、傾きや面積を検出する処理を選択するグループを変更しながらn回またはm回繰り返したが、繰り返すことなく1回のみ実施するようにしてもよい。
本発明が適用されたライト制御システム1の概略構成を示すブロック図である。 光源が発光物である場合の撮像画像(a)、光源の拡大図(b)、および光源のヒストグラム(c)である。 光源が反射物である場合の撮像画像(a)、光源の拡大図(b)、および光源のヒストグラム(c)である。 光源が発光物である場合において明るさの分布を模式的に示す説明図(a)、光源が発光物である場合の模式的なヒストグラム(閾値α未満を除外したもの)(b)である。 光源が反射物である場合において明るさの分布を模式的に示す説明図(a)、光源が反射物である場合の模式的なヒストグラム(閾値α未満を除外したもの)(b)である。 ライト制御処理を示すフローチャートである。 傾き判定処理を示すフローチャートである。 面積判定処理を示すフローチャートである。 光源が発光物である場合において選択した画素の分布を示す説明図である。 光源が反射物である場合において選択した画素の分布を示す説明図である。
符号の説明
1…ライト制御システム、5…カメラ、6…ハイビーム用ランプ、7…ロービーム用ランプ、10…車両検出装置、11…CPU、12…ROM、13…RAM、20…ヘッドライト制御装置、21…CPU、22…ROM、23…RAM。

Claims (8)

  1. 発光物と反射物とを識別する光源識別装置であって、
    撮像画像を取得する取得手段と、
    前記撮像画像を構成する各画素を、該各画素の明るさに応じて複数のグループに分類し、該各グループに対応付けた明るさと各グループの画素数との関係を表す度数分布を生成する度数分布生成手段と、
    前記度数分布において、2以上のグループにおける各明るさと該各グループの画素数とをそれぞれ選択する選択手段と、
    前記選択手段が選択した各グループの明るさと画素数とに基づいて、前記度数分布において明るさが増加するにつれて画素数が減少する傾向があるか否かを判断し、前記傾向があれば前記撮像画像中に発光物が存在すると判断し、前記傾向がなければ前記撮像画像中に反射物が存在すると判断する識別判断手段と、
    を備えたことを特徴とする光源識別装置。
  2. 請求項1に記載の光源識別装置において、
    前記選択手段は、前記度数分布において、最も明るい画素が分類されたグループと最も多くの画素が分類されたグループとを選択し、
    前記識別判断手段は、前記選択手段が選択した各グループにおいて、各グループにおける明るさの差に対する各グループの画素数の差を表す傾きが、所定の明るさ閾値未満であれば前記撮像画像中に発光物が存在すると判断し、前記傾きが前記明るさ閾値以上であれば前記撮像画像中に反射物が存在すると判断すること
    を特徴とする光源識別装置。
  3. 請求項1に記載の光源識別装置において、
    前記選択手段は、前記度数分布において、第1閾値以上の明るさを有する画素が分類された1または複数のグループである第1グループと、前記第1閾値未満に設定された第2閾値以上の明るさを有する画素が分類された1または複数のグループである第2グループとを選択し、
    前記識別判断手段は、前記第2グループの画素数と第1グループの画素数との比を表す面積比を、面積閾値と比較することによって、前記撮像画像中に発光物が存在するか、前記撮像画像中に反射物が存在するかを判断すること、
    を備えたことを特徴とする光源識別装置。
  4. 請求項3に記載の光源識別装置において、
    前記選択手段は、前記度数分布において、最も明るい画素の明るさ、または最も明るい画素のグループの明るさ、である最明輝度に対して0より大きく1未満に設定された第1係数を乗じることによって得られる値を前記第1閾値に設定し、前記最明輝度に対して0より大きく前記第1係数よりも小さな値に設定された第2係数を乗じることによって得られる値を前記第2閾値に設定し、該設定した各閾値に応じて前記第1グループおよび前記第2グループを選択すること
    を特徴とする光源識別装置。
  5. 請求項1〜請求項4の何れかに記載の光源識別装置において、
    撮像画像中において光源を検出する光源検出手段を備え、
    前記度数分布生成手段、前記選択手段、および前記識別判断手段は、前記光源検出手段によって検出された光源毎に各処理を実施すること
    を特徴とする光源識別装置。
  6. 請求項1〜請求項5の何れかの光源識別装置を構成する各手段としての機能をコンピュータにおいて実行するための光源識別プログラム。
  7. 車両を検出する車両検出装置であって、
    撮像画像中の光源が発光物であるか反射物であるかを識別する光源識別手段と、
    前記光源が車両のものとしての特徴を有するか否かを判断する特徴判断手段と、
    前記光源識別手段によって前記光源が発光物であると識別され、かつ前記特徴判断手段によって前記光源が車両のものとしての特徴を有すると判断された場合に、車両を検出したと判断する検出判断手段と、
    を備え、
    前記光源識別手段は、請求項1〜請求項5の何れかに記載の光源識別装置として構成されていること
    を特徴とする車両検出装置。
  8. 車両に搭載され、当該車両におけるヘッドライトの照射範囲を制御するライト制御装置であって、
    撮像画像中から車両を検出する車両検出手段と、
    前記車両検出手段によって車両が検出されると、車両が検出されないときよりも、前記ヘッドライトの照射範囲を下向きに変更する変更手段と、
    を備え、
    前記車両検出手段は、請求項7に記載の車両検出装置として構成されていること
    を特徴とするライト制御装置。
JP2008268763A 2008-10-17 2008-10-17 光源識別装置、光源識別プログラム、車両検出装置、およびライト制御装置 Expired - Fee Related JP4666049B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008268763A JP4666049B2 (ja) 2008-10-17 2008-10-17 光源識別装置、光源識別プログラム、車両検出装置、およびライト制御装置
US12/589,107 US8242934B2 (en) 2008-10-17 2009-10-16 Light source discriminating apparatus, a light source discriminating program, a vehicles detection apparatus, and a light control apparatus
DE102009049665A DE102009049665A1 (de) 2008-10-17 2009-10-16 Eine Lichtquellenunterscheidungsvorrichtung, ein Lichtquellenunterscheidungsprogramm, eine Fahrzeugerkennungsvorrichtung und eine Lichtsteuervorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008268763A JP4666049B2 (ja) 2008-10-17 2008-10-17 光源識別装置、光源識別プログラム、車両検出装置、およびライト制御装置

Publications (2)

Publication Number Publication Date
JP2010096668A JP2010096668A (ja) 2010-04-30
JP4666049B2 true JP4666049B2 (ja) 2011-04-06

Family

ID=42105394

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008268763A Expired - Fee Related JP4666049B2 (ja) 2008-10-17 2008-10-17 光源識別装置、光源識別プログラム、車両検出装置、およびライト制御装置

Country Status (3)

Country Link
US (1) US8242934B2 (ja)
JP (1) JP4666049B2 (ja)
DE (1) DE102009049665A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110057836A (ko) * 2009-11-25 2011-06-01 현대자동차주식회사 차량 전조등의 고속도로 및 시가지 모드를 구현하는 가변형 전조등 시스템
KR101218835B1 (ko) * 2010-08-30 2013-01-07 주식회사 만도 영상 분석을 통한 헤드라이트 제어 장치 및 그의 헤드라이트 온/오프 제어 방법
JP5693994B2 (ja) * 2011-02-16 2015-04-01 富士重工業株式会社 車両検出装置
JP2013028274A (ja) 2011-07-28 2013-02-07 Denso Corp 前照灯配光制御装置
JP5892876B2 (ja) * 2011-07-28 2016-03-23 クラリオン株式会社 車載用環境認識装置
DE102011081398B4 (de) * 2011-08-23 2018-09-13 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterscheiden eines selbstleuchtenden Objekts von einem reflektierenden Objekt
JP5573803B2 (ja) * 2011-09-21 2014-08-20 株式会社デンソー ライト検出装置、ライト検出プログラム、およびライト制御装置
JP5480925B2 (ja) * 2012-03-05 2014-04-23 本田技研工業株式会社 車両周辺監視装置
JP5919988B2 (ja) * 2012-04-13 2016-05-18 株式会社デンソー 画像処理装置
US20130321627A1 (en) * 2012-05-31 2013-12-05 John C. Turn, JR. Road departure sensing and intelligent driving systems and methods
EP2677500B1 (en) * 2012-06-19 2021-06-23 Samsung Electronics Co., Ltd. Event-based image processing apparatus and method
KR101353052B1 (ko) * 2013-07-31 2014-01-20 주식회사 피엘케이 테크놀로지 교통표지판 인식을 위한 차량용 영상인식시스템
JP6364797B2 (ja) * 2014-02-06 2018-08-01 株式会社デンソー 画像解析装置、および画像解析方法
CN106529411B (zh) * 2016-10-11 2020-07-28 北京小米移动软件有限公司 车辆提示方法及装置
CN109991966A (zh) * 2017-12-29 2019-07-09 深圳市优必选科技有限公司 一种照明机器人的控制方法及装置
JP2018198456A (ja) * 2018-08-23 2018-12-13 株式会社ニコン 画像処理プログラム、画像処理装置および撮像装置
CN109612579B (zh) * 2018-12-03 2021-02-05 青岛讯极科技有限公司 一种检测汽车远光灯开启及其灯光类型的系统和方法
US11377023B2 (en) * 2020-09-24 2022-07-05 GM Global Technology Operations LLC Proactive headlight tracking for vehicle auto high beam assist

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08166221A (ja) * 1994-12-15 1996-06-25 Nippondenso Co Ltd 夜間用車両認識装置
JP2001076268A (ja) * 1999-09-06 2001-03-23 Osaka Gas Co Ltd 異常検出装置
JP2005092861A (ja) * 2003-08-11 2005-04-07 Hitachi Ltd 車両制御システム
JP2008094249A (ja) * 2006-10-11 2008-04-24 Denso Corp 車両検出装置及びヘッドランプ制御装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396397B1 (en) * 1993-02-26 2002-05-28 Donnelly Corporation Vehicle imaging system with stereo imaging
US6822563B2 (en) * 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US6774988B2 (en) 2002-07-30 2004-08-10 Gentex Corporation Light source detection and categorization system for automatic vehicle exterior light control and method of manufacturing
CA2494723C (en) 2002-08-21 2011-11-08 Gentex Corporation Image acquisition and processing methods for automatic vehicular exterior lighting control
DE10305010B4 (de) 2003-02-07 2012-06-28 Robert Bosch Gmbh Vorrichtung und Verfahren zur Bilderzeugung
ATE411199T1 (de) 2003-02-21 2008-10-15 Gentex Corp Automatische fahrzeugaussenlicht- überwachungssystem-konstruktionen
US8045760B2 (en) 2003-02-21 2011-10-25 Gentex Corporation Automatic vehicle exterior light control systems
US8326483B2 (en) 2003-02-21 2012-12-04 Gentex Corporation Monitoring and automatic equipment control systems
JP4253271B2 (ja) 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
WO2005019873A2 (en) 2003-08-18 2005-03-03 Gentex Corporation Optical elements related manufacturing methods and assemblies incorporating optical elements
JP2007076429A (ja) 2005-09-13 2007-03-29 Koito Mfg Co Ltd ヘッドランプシステム
JP4523526B2 (ja) 2005-09-13 2010-08-11 株式会社小糸製作所 ヘッドランプシステム
FR2898310B1 (fr) * 2006-03-10 2009-04-17 Valeo Vision Sa Procede de commande de commutation automatique de projecteur de vehicule.
JP4664883B2 (ja) 2006-09-13 2011-04-06 パナソニック株式会社 ヘッドライト制御装置
US8629927B2 (en) * 2008-04-09 2014-01-14 Gentex Corporation Imaging device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08166221A (ja) * 1994-12-15 1996-06-25 Nippondenso Co Ltd 夜間用車両認識装置
JP2001076268A (ja) * 1999-09-06 2001-03-23 Osaka Gas Co Ltd 異常検出装置
JP2005092861A (ja) * 2003-08-11 2005-04-07 Hitachi Ltd 車両制御システム
JP2008094249A (ja) * 2006-10-11 2008-04-24 Denso Corp 車両検出装置及びヘッドランプ制御装置

Also Published As

Publication number Publication date
US8242934B2 (en) 2012-08-14
JP2010096668A (ja) 2010-04-30
DE102009049665A1 (de) 2010-05-20
US20100102990A1 (en) 2010-04-29

Similar Documents

Publication Publication Date Title
JP4666049B2 (ja) 光源識別装置、光源識別プログラム、車両検出装置、およびライト制御装置
JP4544233B2 (ja) 車両検出装置及びヘッドランプ制御装置
JP4853160B2 (ja) 車両検出装置及びヘッドランプ制御装置
US10252662B2 (en) Method for controlling a headlight
JP4702426B2 (ja) 車両検出装置、車両検出プログラム、およびライト制御装置
US11001194B2 (en) Vehicular lamp system, vehicular lamp control device, and vehicular lamp control method
US9372112B2 (en) Traveling environment detection device
US20140226349A1 (en) Apparatus for detecting other vehicle lights and light control apparatus for vehicles
JP2019077204A (ja) 車両用灯具システム、車両用灯具の制御装置および車両用灯具の制御方法
CN113263975B (zh) 车辆用前照灯控制装置、控制方法以及非瞬时性存储介质
KR20140022035A (ko) 차량 카메라의 시야 내 에어로졸의 강도 인식 방법 및 그 장치
WO2013168744A1 (ja) 車両の光源を検出する方法及び装置
JP2013109911A (ja) 照明装置
US9367749B2 (en) Object detection apparatus
JP2014024411A (ja) 自発光光源検出装置、ライト制御装置、および自発光光源検出プログラム
JP5962552B2 (ja) 前照灯制御装置
JP4523526B2 (ja) ヘッドランプシステム
WO2013137324A1 (ja) 車載用照明装置
KR101822302B1 (ko) 차량의 헤드램프 제어 장치 및 이의 구동 방법
JP6756521B2 (ja) 車両用信号灯具システム
CN113844357A (zh) 识别机动车周围环境中对象的方法、设备、计算机程序和存储介质
JP2022108251A (ja) オブジェクト認識制御装置およびオブジェクト認識制御方法
CN117755197A (zh) 控制车辆灯光的方法、控制车辆灯光的装置和车辆
KR20210090811A (ko) 지능형 전조등의 예측 제어 시스템 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4666049

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees