JP4732985B2 - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP4732985B2 JP4732985B2 JP2006240492A JP2006240492A JP4732985B2 JP 4732985 B2 JP4732985 B2 JP 4732985B2 JP 2006240492 A JP2006240492 A JP 2006240492A JP 2006240492 A JP2006240492 A JP 2006240492A JP 4732985 B2 JP4732985 B2 JP 4732985B2
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian
- image
- candidate area
- luminance
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、画像から歩行者を検出する画像処理装置に関する。 The present invention relates to an image processing apparatus that detects a pedestrian from an image.
近年、運転者を支援するための様々な装置が開発されており、これら装置には運転者に車両前方の歩行者の情報を提供するものがある。歩行者を検出する手法としては、例えば、車両前方をカメラで撮像し、その撮像画像からテンプレートを用いてパターン認識によって歩行者を検出する手法がある。 In recent years, various devices for assisting the driver have been developed, and some of these devices provide the driver with information on a pedestrian in front of the vehicle. As a method of detecting a pedestrian, for example, there is a method of capturing an image of the front of the vehicle with a camera and detecting the pedestrian by pattern recognition using a template from the captured image.
しかし、パターン認識で物体を検出する場合、テンプレートにおける検出対象の形状に似ている物体も誤検出する虞がある。例えば、検出対象が歩行者の場合、路上に設置されている円形の標識や対向車のヘッドライト、テールランプなどは歩行者の頭部の形状に似ている。そのため、一般に用いられている歩行者のテンプレートを用いた場合、歩行者と標識などとを識別することが困難であり、これら標識などを誤検出する可能性がある。そこで、特許文献１に記載の装置では、撮像画像において濃度閾値を超えかつ領域の縦横比が所定の範囲内の領域を歩行者候補領域として抽出し、抽出した歩行者候補領域のうち領域内の濃度平均値が所定値以上の歩行者候補領域を構造物（例えば、標識、看板）として除外する。
しかし、従来の装置では、対象物体までの位置を考慮せずに処理を行っているので、構造物や歩行者の位置によっては構造物を除外できない場合や歩行者まで除外してしまう場合がある。例えば、遠方の構造物を除去するための所定値（小さい値）が設定されている場合、近傍の歩行者についての濃度平均値が所定値以上となり、近傍の歩行者を除外してしまう可能性である。また、近傍の構造物を除去するための所定値（大きい値）が設定されている場合、遠方の構造物についての濃度平均値が所定値未満となり、遠方の構造物を除外できない可能性である。 However, in the conventional apparatus, since processing is performed without considering the position to the target object, the structure may not be excluded or the pedestrian may be excluded depending on the position of the structure or the pedestrian. . For example, when a predetermined value (small value) for removing a distant structure is set, the concentration average value for a nearby pedestrian may be equal to or greater than a predetermined value, and the nearby pedestrian may be excluded. It is. In addition, when a predetermined value (large value) for removing a nearby structure is set, the concentration average value for the distant structure is less than the predetermined value, and it is possible that the distant structure cannot be excluded. .
そこで、本発明は、画像から歩行者を検出する際に存在する位置に関係なく歩行者だけを高精度に検出する画像処理装置を提供することを課題とする。 Therefore, an object of the present invention is to provide an image processing apparatus that detects only a pedestrian with high accuracy regardless of a position existing when detecting a pedestrian from an image.
本発明に係る画像処理装置は、画像から歩行者を検出する画像処理装置であって、画像から歩行者候補領域を抽出する候補領域抽出手段と、候補領域抽出手段で抽出した歩行者候補領域毎に、歩行者候補領域までの横方向の距離及び歩行者候補領域の幅を求め、歩行者候補領域までの横方向の距離及び歩行者候補領域の幅に対応した輝度閾値を設定する閾値設定手段と、候補領域抽出手段で抽出した歩行者候補領域の中から、歩行者候補領域の画像中に閾値設定手段で設定した輝度閾値以上の画素が存在する歩行者候補領域を歩行者の候補から除外する候補除外手段とを備えることを特徴とする。 The image processing apparatus according to the present invention is an image processing apparatus for detecting a pedestrian from the image, a candidate area extraction means for extracting a pedestrian candidate region from the image, the pedestrian candidate region each extracted candidate region extracting means Threshold value setting means for obtaining a lateral distance to the pedestrian candidate area and a width of the pedestrian candidate area, and setting a luminance threshold corresponding to the lateral distance to the pedestrian candidate area and the width of the pedestrian candidate area And from the pedestrian candidate area extracted from the pedestrian candidate area, the pedestrian candidate area in which a pixel equal to or higher than the luminance threshold set by the threshold setting means exists in the image of the pedestrian candidate area. And a candidate excluding means for performing the above.
この画像処理装置では、候補領域抽出手段により、画像から歩行者の可能性がある歩行者候補領域を抽出する。そして、画像処理装置では、閾値設定手段により、抽出した各歩行者候補領域について、歩行者候補領域までの距離に対応した輝度閾値を設定する。さらに、画像処理装置では、候補除去手段により、抽出した歩行者候補領域の中から、歩行者候補領域の画像において輝度閾値以上の画素が存在する歩行者候補領域を歩行者の候補から除外する。そして、画像処理装置では、除外されなかった歩行者候補領域によって歩行者を検出する。通常、同じ物体でも、その物体まで遠いほど、画像におけるその対象物体の輝度は低くなる（特に、その物体に向けて光を照射している場合や物体自体が発光している場合）。そこで、歩行者候補領域までの距離に応じた輝度閾値を設定することにより（例えば、距離が大きいほど小さい輝度閾値を設定する）、歩行者候補領域における物体が近傍に存在する場合でも、遠方に存在する場合でも、歩行者と歩行者以外の物体とを識別することができる適切な輝度閾値を決めることができる。その結果、この画像処理装置では、近傍に存在する歩行者の歩行者候補を除外することを防止でき、遠方に存在する歩行者以外の物体の歩行者候補を除外でき、存在する位置に関係なく歩行者だけを高精度に検出できる。 In this image processing apparatus, candidate area extraction means extracts a pedestrian candidate area that may be a pedestrian from an image. In the image processing apparatus, the threshold value setting means sets a luminance threshold value corresponding to the distance to the pedestrian candidate area for each extracted pedestrian candidate area. Furthermore, in the image processing apparatus, the candidate removal unit excludes from the extracted pedestrian candidate areas, from the extracted pedestrian candidate areas, pedestrian candidate areas in which pixels having a luminance threshold value or more exist in the pedestrian candidate area image. In the image processing apparatus, pedestrians are detected based on pedestrian candidate areas that are not excluded. In general, the brightness of the target object in the image decreases as the distance from the object increases (in particular, when light is emitted toward the object or when the object itself emits light). Therefore, by setting a luminance threshold according to the distance to the pedestrian candidate area (for example, a smaller luminance threshold is set as the distance is larger), even when an object in the pedestrian candidate area exists in the vicinity, Even when it exists, it is possible to determine an appropriate luminance threshold that can distinguish a pedestrian and an object other than the pedestrian. As a result, in this image processing apparatus, it is possible to prevent the exclusion of pedestrian candidates for pedestrians that exist in the vicinity, and it is possible to exclude pedestrian candidates for objects other than pedestrians that exist in the distance, regardless of the position where they exist. Only pedestrians can be detected with high accuracy.
なお、歩行者候補領域のうち除外される物体としては、歩行者と画像における輝度値が明らかに異なる物体であり（特に、歩行者に対して輝度が高い物体）、例えば、標識や看板などの可視光や赤外光などに対する反射率が高い物体、点灯している車両のヘッドライトなどの自発光する物体である。歩行者候補領域までの距離は、その求め方については特に限定するものでなく、例えば、画像における歩行者候補領域の大きさに基づいて推定してもよいし、歩行者候補領域の物体までの距離を距離センサなどで実際に検出してもよい。 The object excluded from the pedestrian candidate area is an object whose brightness value in the image is clearly different from that of the pedestrian (especially an object having a higher brightness than the pedestrian), such as a sign or a signboard. An object having high reflectivity with respect to visible light, infrared light, or the like, or a self-luminous object such as a headlight of a vehicle that is lit. The distance to the pedestrian candidate area is not particularly limited as to how to find it. For example, the distance to the pedestrian candidate area may be estimated based on the size of the pedestrian candidate area in the image, The distance may be actually detected by a distance sensor or the like.
本発明に係る画像処理装置は、画像から歩行者を検出する画像処理装置であって、画像から歩行者候補領域を抽出する候補領域抽出手段と、候補領域抽出手段で抽出した歩行者候補領域までの距離に対応した輝度閾値を設定する閾値設定手段と、候補領域抽出手段で抽出した歩行者候補領域の中から、歩行者候補領域の画像中に閾値設定手段で設定した輝度閾値以上の画素が存在する歩行者候補領域を歩行者の候補から除外する候補除外手段とを備え、候補除外手段は、輝度閾値以上の画素の領域が所定面積以上の場合に歩行者の候補から除外することを特徴とする。An image processing apparatus according to the present invention is an image processing apparatus that detects a pedestrian from an image, and includes a candidate area extraction unit that extracts a pedestrian candidate area from the image, and a pedestrian candidate area that is extracted by the candidate area extraction unit. Among the pedestrian candidate areas extracted by the candidate area extracting means and the threshold setting means for setting the luminance threshold corresponding to the distance, pixels that are equal to or higher than the luminance threshold set by the threshold setting means in the image of the pedestrian candidate area Candidate excluding means for excluding existing pedestrian candidate areas from pedestrian candidates, wherein the candidate excluding means excludes pixels from the pedestrian candidate when the area of the pixel equal to or greater than the luminance threshold is greater than or equal to a predetermined area. And
この画像処理装置では、候補除外手段により、抽出した歩行者候補領域の中から、歩行者候補領域の画像において輝度閾値以上の画素が占める領域が所定面積以上の歩行者候補領域を歩行者の候補から除外する。このように、画像処理装置では、輝度閾値以上となっている領域面積も考慮することにより、画像におけるノイズや高い反射率の部分などで一部の輝度が高くなっている場合でも誤って除外しないので、歩行者をより高精度に検出できる。ちなみに、反射率の高い物体や自発光する物体は、その物体全体において輝度が高くなるので、歩行者候補領域において一定量以上の領域で輝度が高くなる。所定面積は、輝度閾値以上の領域面積が歩行者と比較して明らかに大きいことを判別できる面積であり、実験などによって設定される。 In this image processing device, the candidate excluding unit extracts a pedestrian candidate area in which an area occupied by pixels equal to or higher than the luminance threshold in the image of the pedestrian candidate area is a predetermined area or more from the extracted pedestrian candidate area. Exclude from As described above, in the image processing apparatus, by taking into consideration the area of the area that is equal to or greater than the luminance threshold, even if some luminance is high due to noise or high reflectance in the image, it is not mistakenly excluded. Therefore, a pedestrian can be detected with higher accuracy. Incidentally, an object having a high reflectance or a self-luminous object has a high luminance in the entire object, and thus has a high luminance in an area of a certain amount or more in the pedestrian candidate area. The predetermined area is an area where it can be determined that the area of the area equal to or greater than the luminance threshold is clearly larger than that of the pedestrian, and is set by an experiment or the like.
本発明の上記画像処理装置では、画像は、赤外線画像であると好適である。 In the image processing apparatus of the present invention, the image is preferably an infrared image.
この画像処理装置では、歩行者を検出するための画像として赤外線画像を用いるので、夜間などの人間の肉眼では視認困難な歩行者も検出することができる。この場合、撮像する領域に対して赤外線を照射することによって、検出精度をより高めることができる。 In this image processing apparatus, since an infrared image is used as an image for detecting a pedestrian, it is possible to detect a pedestrian that is difficult to see with human eyes such as at night. In this case, the detection accuracy can be further improved by irradiating the region to be imaged with infrared rays.
本発明は、歩行者候補領域までの距離に対応した輝度閾値を設定することにより、存在する位置に関係なく、歩行者以外の物体を除外でき、歩行者のみを高精度に検出することができる。 In the present invention, by setting a luminance threshold corresponding to the distance to the pedestrian candidate area, objects other than pedestrians can be excluded regardless of the existing position, and only pedestrians can be detected with high accuracy. .
以下、図面を参照して、本発明に係る画像処理装置の実施の形態を説明する。 Embodiments of an image processing apparatus according to the present invention will be described below with reference to the drawings.
本実施の形態では、本実施の形態に係る画像処理装置を、車両に搭載されるナイトビューシステムに適用する。本実施の形態に係るナイトビューシステムは、夜間走行時の運転者を支援するために、カメラによる近赤外線画像から歩行者を検出し、車両前方に存在する歩行者情報を提供する。本実施の形態には、２つの形態があり、第１の実施の形態が輝度閾値が固定値の形態であり、第２の実施の形態が輝度閾値が可変値の形態である。 In the present embodiment, the image processing apparatus according to the present embodiment is applied to a night view system mounted on a vehicle. The night view system according to the present embodiment detects a pedestrian from a near-infrared image obtained by a camera and provides pedestrian information existing in front of the vehicle in order to assist the driver during night driving. In this embodiment, there are two forms, the first embodiment is a form in which the brightness threshold is a fixed value, and the second embodiment is a form in which the brightness threshold is a variable value.
図１及び図２を参照して、第１の実施の形態に係るナイトビューシステム１について説明する。図１は、第１の実施の形態に係るナイトビューシステムの構成図である。図２は、本実施の形態に係るナイトビューシステムの各機器の配置図である。 With reference to FIG.1 and FIG.2, the night view system 1 which concerns on 1st Embodiment is demonstrated. FIG. 1 is a configuration diagram of a night view system according to the first embodiment. FIG. 2 is a layout diagram of each device of the night view system according to the present embodiment.
ナイトビューシステム１は、近赤外線画像から歩行者を検出し、検出した歩行者を示す情報を表示する。特に、ナイトビューシステム１は、歩行者の検出精度を向上させるために、歩行者との識別が難しい標識や車両の灯火類などを除去するためのフィルタを有している。ナイトビューシステム１は、近赤外線カメラ２、近赤外線投光器３、ディスプレイ４及びＥＣＵ[Electronic Control Unit]５を備えている。 The night view system 1 detects a pedestrian from the near-infrared image and displays information indicating the detected pedestrian. In particular, the night view system 1 has a filter for removing signs and vehicle lights that are difficult to distinguish from pedestrians in order to improve detection accuracy of pedestrians. The night view system 1 includes a near-infrared camera 2, a near-infrared projector 3, a display 4, and an ECU [Electronic Control Unit] 5.
近赤外線カメラ２は、図２に示すように、車両の前側（例えば、ルームミラーの裏側）に配置され、車両前方に向けて取り付けられる。近赤外線カメラ２は、近赤外線（近赤外線投光器３からの近赤外線の反射光など）を取り込み、その近赤外線の強弱に応じた濃淡によって近赤外線映像を生成する。この近赤外線映像は、一定時間（例えば、１／３０秒）毎のフレームの近赤外線画像からなる。近赤外線カメラ２では、一定時間毎に、各フレームの近赤外線画像情報を画像信号としてＥＣＵ５に送信する。 As shown in FIG. 2, the near-infrared camera 2 is disposed on the front side of the vehicle (for example, the back side of the rearview mirror) and attached toward the front of the vehicle. The near-infrared camera 2 takes in near-infrared light (such as reflected light of near-infrared light from the near-infrared projector 3), and generates a near-infrared image based on the intensity of the near-infrared light. This near-infrared image is composed of a near-infrared image of a frame every certain time (for example, 1/30 second). The near-infrared camera 2 transmits near-infrared image information of each frame to the ECU 5 as an image signal at regular time intervals.
近赤外線投光器３は、図２に示すように、車両の前端に配置され、車両前方に向けて取り付けられる。近赤外線投光器３は、車両の前方に近赤外線を照射する。近赤外線投光器３は、ナイトビューシステム１が起動時にＯＮされ、停止時にＯＦＦされる。ちなみに、近赤外線投光器３によって近赤外線を物体に対して照射することによって、近赤外線画像において各物体の反射率を反映した輝度が鮮明に表れるので、反射率の異なる物体の識別性が向上する。 As shown in FIG. 2, the near-infrared projector 3 is disposed at the front end of the vehicle and attached toward the front of the vehicle. The near-infrared projector 3 irradiates near-infrared rays in front of the vehicle. The near-infrared projector 3 is turned on when the night view system 1 is started and turned off when the night view system 1 is stopped. Incidentally, by irradiating an object with near infrared rays by the near infrared projector 3, the brightness reflecting the reflectance of each object appears clearly in the near infrared image, so that the discrimination between objects having different reflectances is improved.
ディスプレイ４は、近赤外線画像から検出された歩行者の情報を運転者に提供する表示手段であり、例えば、液晶ディスプレイ、ヘッドアップディスプレイである。ディスプレイ４では、ＥＣＵ５から表示信号を受信し、表示信号に示される画像を表示する。表示画像としては、例えば、撮像された近赤外線画像において検出された歩行者が矩形線で囲まれて強調表示する画像、検出された歩行者だけを表示する画像である。 The display 4 is a display unit that provides the driver with pedestrian information detected from the near-infrared image, and is, for example, a liquid crystal display or a head-up display. The display 4 receives a display signal from the ECU 5 and displays an image indicated by the display signal. The display image is, for example, an image that highlights a pedestrian detected in a captured near-infrared image surrounded by a rectangular line, or an image that displays only the detected pedestrian.
ＥＣＵ５は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[ReadOnly Memory]、ＲＡＭ[Random Access Memory]などからなり、ＲＯＭに保持されるソフトウエアをＣＰＵで実行することによって歩行者候補領域抽出部５ａ、輝度飽和物除去フィルタ５ｂ、出力部５ｃが構成される。ＥＣＵ５では、一定時間毎に、近赤外線カメラ２から画像信号を受信し、近赤外線画像から歩行者を検出する。そして、ＥＣＵ５では、その歩行者の検出結果をディスプレイ４に表示させる。 The ECU 5 includes a CPU [Central Processing Unit], a ROM [Read Only Memory], a RAM [Random Access Memory], and the like. An object removal filter 5b and an output unit 5c are configured. The ECU 5 receives an image signal from the near-infrared camera 2 at regular intervals and detects a pedestrian from the near-infrared image. Then, the ECU 5 displays the detection result of the pedestrian on the display 4.
歩行者候補領域抽出部５ａは、近赤外線画像から歩行者候補領域を抽出する。この抽出方法としては、特に限定せず、各種方法が適用可能である。抽出方法としては、例えば、歩行者のテンプレートを用意し、テンプレートを用いたパターンマッチングによる方法がある。具体的には、近赤外線画像から所定の大きさの矩形領域を順次切り出し、テンプレートの画像と切り出した各矩形領域画像とのマッチング度を求め、そのマッチング度が閾値以上の場合にはその矩形領域を歩行者候補領域とする。 The pedestrian candidate area extraction unit 5a extracts a pedestrian candidate area from the near-infrared image. This extraction method is not particularly limited, and various methods can be applied. As an extraction method, for example, there is a method of preparing a pedestrian template and pattern matching using the template. Specifically, a rectangular area of a predetermined size is sequentially cut out from the near-infrared image, and the degree of matching between the template image and each cut out rectangular area image is obtained. Is a pedestrian candidate area.
なお、歩行者のテンプレートは、歩行者以外にも路上に設置されている標識（円形標識など）や車両の灯火類（ヘッドライト、テールランプなど）などが同じような外形状（特に、歩行者の頭部の外形状）を有している。そのため、歩行者のテンプレートを用いたパターンマッチングでは、歩行者以外にも標識などを歩行者候補領域として抽出する可能性がある。図３には、歩行者候補領域の画像の一例を示しており、歩行者候補領域として円形標識が抽出されている。 In addition to pedestrian templates, pedestrian templates have similar external shapes (especially pedestrians) such as signs installed on the road (circular signs, etc.) and vehicle lights (headlights, tail lights, etc.). The outer shape of the head). Therefore, in pattern matching using a pedestrian template, there is a possibility that a sign or the like is extracted as a pedestrian candidate region in addition to the pedestrian. FIG. 3 shows an example of an image of the pedestrian candidate area, and a circular sign is extracted as the pedestrian candidate area.
輝度飽和物除去フィルタ５ｂは、抽出した歩行者候補の中から円形標識などの高輝度画素を多く含む輝度飽和物の歩行者候補を除去し、歩行者の歩行者候補を通過させるフィルタである。除去できる輝度飽和物としては、歩行者に比べて輝度の高い画素を明らかに多く含む物体であり、例えば、物体全体の反射率が高い物体、自発光している物体である。 The luminance saturation removal filter 5b is a filter that removes luminance saturated pedestrian candidates including many high luminance pixels such as circular signs from the extracted pedestrian candidates and passes the pedestrian candidates of pedestrians. The saturated luminance that can be removed is an object that clearly includes more pixels with higher luminance than a pedestrian, for example, an object having a high reflectance of the entire object, or a self-luminous object.
歩行者の場合、身に着けているものによって反射率の高い部分が一部存在することもあるが、反射率が全体としては低い。そのため、近赤外線投光器３からの近赤外線が歩行者で反射され、その反射された近赤外線が近赤外線カメラ２で画像化された場合、その歩行者の領域画像は、全体としては低輝度であり、高輝度部分があったとしてもその画素は少ない。標識の場合、反射率が全体にわたって高い（自車両に対して正面を向いているほど自車両に戻ってくる反射率が高くなる）。そのため、近赤外線投光器３からの近赤外線が標識で反射され、その反射された近赤外線が近赤外線カメラ２で画像化された場合、その標識の領域画像では、標識全体にわたって高輝度である。また、対向車両のヘッドライトが点灯している場合、そのヘッドライト周辺が明るくなる。そのため、それが近赤外線カメラ２で画像化された場合、そのヘッドライト周辺の領域画像では、全体にわたって高輝度である。このように、反射率の高い物体や自発光している物体はその領域画像においてある輝度以上の画素が占める割合が大きくなるが、歩行者はその領域画像においてある輝度以上の画素が占める割合が小さいかあるいはある輝度以上の画素が存在しない。 In the case of a pedestrian, a part with high reflectance may exist depending on what the person wears, but the reflectance is low as a whole. Therefore, when the near-infrared light from the near-infrared projector 3 is reflected by a pedestrian and the reflected near-infrared is imaged by the near-infrared camera 2, the pedestrian's area image has a low luminance as a whole. Even if there is a high luminance part, the number of pixels is small. In the case of a sign, the reflectivity is high throughout (the more facing the front of the host vehicle, the higher the reflectivity returning to the host vehicle). Therefore, when the near-infrared light from the near-infrared projector 3 is reflected by the sign, and the reflected near-infrared image is imaged by the near-infrared camera 2, the area image of the sign has high brightness throughout the sign. Further, when the headlight of the oncoming vehicle is lit, the vicinity of the headlight becomes bright. Therefore, when it is imaged by the near-infrared camera 2, the area image around the headlight has a high luminance throughout. As described above, an object having a high reflectance or a self-luminous object has a higher ratio of pixels with a certain luminance or higher in the area image, but a pedestrian has a ratio of pixels having a luminance or higher in the area image. There are no pixels that are small or more than a certain luminance.
ちなみに、自車両に対して斜めを向いている標識の場合、正面を向いている標識より反射率が低くなるので、その斜めを向いている標識の領域画像は、輝度が低くなるが、標識全体にわたってその輝度となり、ある輝度以上の画素は多い。また、遠方に存在する標識の場合、近傍に存在する標識より反射率が低くなるので、その遠方の標識の領域画像は、輝度が低くなるが、標識全体にわたってその輝度となり、ある輝度以上の画素は多い。 By the way, in the case of a sign facing diagonally with respect to the host vehicle, the reflectance is lower than the sign facing the front, so the area image of the sign facing the diagonal is lower in brightness, but the whole sign There are many pixels that have a certain luminance or higher. In addition, in the case of a sign that exists in the distance, the reflectance is lower than that of a sign that exists in the vicinity. There are many.
図４には、夜間の走行実験によって多数の歩行者候補領域を抽出し、各歩行者候補領域の画像において輝度が最大の画素を探索し、その各歩行者候補領域についての輝度最大値と輝度最大値の画素数との関係を示す散布図を示している。ここでは、歩行者（黒塗の印）と標識などの歩行者以外の物体（白抜きの印）とを分けて示している。歩行者の場合、輝度の最大値が大きくなる歩行者も存在するが、その輝度最大値となる画素の数は少ない。一方、歩行者以外の物体の場合、輝度の最大値が小さいものも存在するが（例えば、遠方に存在する標識、自車両に対して斜めを向いている標識）、その輝度最大値となる画素の数は歩行者よりも明らかに多い。この実験結果からも判るように、輝度値の大きさとある大きさ以上の輝度の画素数（その画素が存在する領域面積）とを組み合わせることにより、歩行者と歩行者以外の輝度飽和物とを識別することができる。 In FIG. 4, a large number of pedestrian candidate areas are extracted by a night driving experiment, a pixel having the maximum luminance is searched for in each pedestrian candidate area image, and the maximum luminance value and luminance for each pedestrian candidate area are searched. The scatter diagram which shows the relationship with the pixel count of the maximum value is shown. Here, a pedestrian (black mark) and an object other than a pedestrian such as a sign (white mark) are shown separately. In the case of a pedestrian, there are pedestrians whose maximum luminance value is large, but the number of pixels having the maximum luminance value is small. On the other hand, in the case of an object other than a pedestrian, some of the maximum brightness values are small (for example, a sign that exists far away, a sign that faces diagonally with respect to the host vehicle), but the pixel that has the maximum brightness value. Is clearly more than pedestrians. As can be seen from the results of this experiment, by combining the size of the luminance value and the number of pixels having a luminance greater than a certain size (area area where the pixel exists), pedestrians and luminance saturated products other than pedestrians are obtained. Can be identified.
具体的には、輝度飽和物除去フィルタ５ｂでは、まず、抽出された歩行者候補領域毎に、歩行者候補領域の幅ｗが幅閾値ＷＴＨ以下か否かを判定し、幅閾値ＷＴＨ以下の歩行者候補領域については以降の処理を行わない。幅閾値ＷＴＨは、歩行者情報として提供する必要のない歩行者候補領域を判別するための閾値であり、実験などによって予め設定される。歩行者候補領域の幅ｗの小さいものは、自車両から遠方に存在する物体かあるいは近傍に存在する場合には歩行者とは明らか異なる小さい物体なので、運転者に歩行者情報として提供する必要はない。 Specifically, in the luminance saturation removal filter 5b, first, for each extracted pedestrian candidate area, it is determined whether or not the width w of the pedestrian candidate area is equal to or smaller than the width threshold value WTH. The subsequent processing is not performed for the candidate area. The width threshold value WTH is a threshold value for determining a pedestrian candidate area that does not need to be provided as pedestrian information, and is set in advance by an experiment or the like. A pedestrian candidate area having a small width w is an object that is far away from the host vehicle or a small object that is clearly different from a pedestrian when it exists in the vicinity, so it is necessary to provide it to the driver as pedestrian information. Absent.
次に、輝度飽和物除去フィルタ５ｂでは、幅閾値ＷＴＨ以上の歩行者候補領域毎に、領域画像内から輝度閾値ＩＴＨ以上の画素を探索し、その輝度閾値ＩＴＨ以上の画素の数ＨＣ（輝度閾値ＩＴＨ以上の画素が存在する領域面積に相当）をカウントする。輝度閾値ＩＴＨは、反射率の高い物体や自発光している物体としての輝度値とは明らかに異なる低い輝度値の画素を判別するための閾値であり、実験によって予め設定される。また、輝度飽和物除去フィルタ５ｂでは、歩行者候補領域の幅（画素数）ｗと高さ（画素数）ｈとを乗算し、領域の面積（全画素数）を求める（図３参照）。そして、輝度飽和物除去フィルタ５ｂでは、カウントした画素数ＨＣを全画素数で除算し、歩行者候補領域において輝度閾値ＩＴＨ以上の画素が占める割合（面積割合）ＲＨＣを求める。 Next, in the luminance saturation removal filter 5b, for each pedestrian candidate region having a width threshold value WTH or more, a pixel having a luminance threshold value ITH or more is searched from the region image, and the number HC (luminance threshold value) of the pixels having the luminance threshold value ITH or more is searched. (Corresponding to the area of the area where pixels equal to or higher than ITH are present). The luminance threshold value ITH is a threshold value for discriminating a pixel having a low luminance value that is clearly different from the luminance value as an object having a high reflectance or a self-luminous object, and is set in advance by an experiment. In addition, the luminance saturation removal filter 5b multiplies the width (number of pixels) w and the height (number of pixels) h of the pedestrian candidate region to obtain the area of the region (total number of pixels) (see FIG. 3). Then, the luminance saturation removal filter 5b divides the counted number of pixels HC by the total number of pixels, and obtains a ratio (area ratio) RHC occupied by pixels equal to or higher than the luminance threshold ITH in the pedestrian candidate region.
次に、輝度飽和物除去フィルタ５ｂでは、面積割合ＲＨＣが割合閾値ＲＴＨ以上か否かを判定する。割合閾値ＲＴＨは、輝度閾値ＩＴＨ以上の画素の占める面積割合が歩行者と比較して明らかに大きい歩行者候補領域を判別するための閾値であり、実験によって予め設定される。面積割合ＲＨＣが割合閾値ＲＴＨ以上の場合、高い輝度を有する画素が多く存在することを示しており（歩行者とは明らかに異なる輝度分布を有しているので）、輝度飽和物除去フィルタ５ｂでは、輝度飽和物と判別し、その歩行者候補領域を棄却する。一方、面積割合ＲＨＣが割合閾値ＲＴＨ未満の場合、高い輝度を有する画素が多く存在しないことを示しており、輝度飽和物除去フィルタ５ｂでは、歩行者と判別し、その歩行者候補領域を確定する。 Next, the luminance saturation removal filter 5b determines whether or not the area ratio RHC is greater than or equal to the ratio threshold value RTH. The ratio threshold value RTH is a threshold value for discriminating a pedestrian candidate area in which the area ratio occupied by pixels equal to or higher than the luminance threshold value ITH is clearly larger than that of a pedestrian, and is set in advance by an experiment. When the area ratio RHC is equal to or greater than the ratio threshold value RTH, it indicates that there are many pixels having high luminance (because it has a luminance distribution that is clearly different from that of pedestrians), and the luminance saturation removal filter 5b Then, it is determined that the object is a saturated luminance and the pedestrian candidate area is rejected. On the other hand, if the area ratio RHC is less than the ratio threshold value RTH, it indicates that there are not many pixels having high luminance, and the luminance saturation removal filter 5b determines that the person is a pedestrian and determines the pedestrian candidate region. .
出力部５ｃは、輝度飽和物除去フィルタ５ｂを通過した歩行者候補領域を用いて歩行者の情報を示す表示画像を生成し、その表示信号をディスプレイ４に送信する。この表示画像としては、近赤外線画像とその近赤外線画像内で検出された歩行者を強調するための歩行者を囲む矩形線からなる画像、あるいは、検出された歩行者だけを表示する画像である。 The output unit 5 c generates a display image indicating pedestrian information using the pedestrian candidate area that has passed through the luminance saturation removal filter 5 b, and transmits the display signal to the display 4. This display image is a near-infrared image and an image composed of a rectangular line surrounding the pedestrian for emphasizing the pedestrian detected in the near-infrared image, or an image displaying only the detected pedestrian. .
図１及び図２を参照して、ナイトビューシステム１の動作について説明する。特に、ＥＣＵ５における処理について図５のフローチャートに沿って説明する。図５は、第１の実施の形態に係るナイトビューシステムのＥＣＵにおける処理の流れを示すフローチャートである。 With reference to FIG.1 and FIG.2, operation | movement of the night view system 1 is demonstrated. In particular, processing in the ECU 5 will be described along the flowchart of FIG. FIG. 5 is a flowchart showing a process flow in the ECU of the night view system according to the first embodiment.
ナイトビューシステム１が起動されると、近赤外線投光器３では、車両前方に近赤外線を照射する。近赤外線カメラ２では、車両前方を近赤外線によって撮像し、一定時間毎に各フレームの撮像画像情報からなる画像信号をＥＣＵ５に送信している。ＥＣＵ５では、一定時間毎に、近赤外線カメラ２から画像信号を受信し、撮像画像を取得する（Ｓ１０）。そして、ＥＣＵ５では、テンプレートを用いたパターンマッチングによって、撮像画像から歩行者候補領域を抽出する（Ｓ１１）。 When the night view system 1 is activated, the near-infrared projector 3 irradiates near-infrared rays in front of the vehicle. The near-infrared camera 2 images the front of the vehicle with near-infrared rays and transmits an image signal composed of captured image information of each frame to the ECU 5 at regular intervals. The ECU 5 receives an image signal from the near-infrared camera 2 at regular intervals and acquires a captured image (S10). And ECU5 extracts a pedestrian candidate area | region from a captured image by the pattern matching using a template (S11).
ＥＣＵ５では、抽出した歩行者候補の中から歩行者候補を１つづつ選択する（Ｓ１２）。そして、ＥＣＵ５では、その選択した歩行者候補領域の幅ｗが幅閾値ＷＴＨ以下か否かを判定する（Ｓ１３）。Ｓ１３にて歩行者候補領域の幅ｗが幅閾値ＷＴＨ以下と判定した場合、ＥＣＵ５では、その歩行者候補についての処理を行わず、Ｓ１９の処理に移行する。 The ECU 5 selects pedestrian candidates one by one from the extracted pedestrian candidates (S12). Then, the ECU 5 determines whether or not the width w of the selected pedestrian candidate area is equal to or smaller than the width threshold value WTH (S13). When it is determined in S13 that the width w of the pedestrian candidate area is equal to or smaller than the width threshold value WTH, the ECU 5 does not perform the process for the pedestrian candidate and proceeds to the process of S19.
Ｓ１３にて歩行者候補領域の幅ｗが幅閾値ＷＴＨより大きいと判定した場合、ＥＣＵ５では、その歩行者候補領域の画像から輝度閾値ＩＴＨ以上の画素を探索し、輝度閾値ＩＴＨ以上の画素の数ＨＣをカウントする（Ｓ１４）。そして、ＥＣＵ５では、そのカウントした画素数（面積）ＨＣが歩行者候補領域の全画素数（全面積）（ｗ×ｈ）に占める面積割合ＲＨＣを算出する（Ｓ１５）。 When it is determined in S13 that the width w of the pedestrian candidate area is larger than the width threshold value WTH, the ECU 5 searches the image of the pedestrian candidate area for pixels having the luminance threshold value ITH or more, and the number of pixels having the luminance threshold value ITH or more. HC is counted (S14). Then, the ECU 5 calculates an area ratio RHC that the counted number of pixels (area) HC occupies in the total number of pixels (total area) (w × h) of the pedestrian candidate region (S15).
続いて、ＥＣＵ５では、その歩行者候補の面積割合ＲＨＣが割合閾値ＲＴＨ以上か否かを判定する（Ｓ１６）。Ｓ１６にて面積割合ＲＨＣが割合閾値ＲＴＨ以上と判定した場合、ＥＣＵ５では、輝度飽和物と判別し、その歩行者候補を除外する（Ｓ１７）。一方、Ｓ１６にて面積割合ＲＨＣが割合閾値ＲＴＨ未満と判定した場合、ＥＣＵ５では、歩行者と判別し、その歩行者候補を確定する（Ｓ１８）。ここで、高い輝度の画素を多く含む歩行者候補が輝度飽和物除去フィルタ５ｂで遮断され、高い輝度の画素を多く含まない歩行者候補が輝度飽和物除去フィルタ５ｂで透過される。 Subsequently, the ECU 5 determines whether or not the area ratio RHC of the pedestrian candidate is greater than or equal to the ratio threshold value RTH (S16). If it is determined in S16 that the area ratio RHC is equal to or greater than the ratio threshold value RTH, the ECU 5 determines that the luminance is saturated and excludes the pedestrian candidate (S17). On the other hand, if it is determined in S16 that the area ratio RHC is less than the ratio threshold value RTH, the ECU 5 determines that the person is a pedestrian and determines the pedestrian candidate (S18). Here, pedestrian candidates that contain many high-luminance pixels are blocked by the luminance saturation removal filter 5b, and pedestrian candidates that do not contain many high-luminance pixels are transmitted through the luminance saturation removal filter 5b.
選択した歩行者候補についての処理が終了した場合あるいはＳ１３で選択した歩行者候補についての処理を行わないと判定した場合、ＥＣＵ５では、Ｓ１１で抽出した歩行者候補についての処理が全て終了したか否かを判定する（Ｓ１９）。Ｓ１９にて全て終了していないと判定した場合、ＥＣＵ５では、Ｓ１２に戻って次の歩行者候補を選択し、次の歩行者候補に対する処理を行う。一方、Ｓ１９にて全て終了したと判定した場合、ＥＣＵ５では、Ｓ１８で確定した全ての歩行者候補についての歩行者の情報を提供するための表示画像を生成し、表示信号をディスプレイ４に送信する（Ｓ２０）。この表示信号を受信すると、ディスプレイ４では、表示信号に応じた画像を表示する。 When the process for the selected pedestrian candidate is completed or when it is determined that the process for the pedestrian candidate selected in S13 is not performed, the ECU 5 determines whether all the processes for the pedestrian candidate extracted in S11 are completed. Is determined (S19). If it is determined in S19 that all have not been completed, the ECU 5 returns to S12, selects the next pedestrian candidate, and performs processing for the next pedestrian candidate. On the other hand, if it is determined in S19 that all have been completed, the ECU 5 generates a display image for providing pedestrian information about all pedestrian candidates determined in S18, and transmits a display signal to the display 4. (S20). When this display signal is received, the display 4 displays an image corresponding to the display signal.
ナイトビューシステム１では、以上の動作を一定時間毎に繰り返し行い、運転者に車両前方の歩行者の情報を提供する。運転者は、この情報により、夜間でも歩行者を確実に認識できる。 In the night view system 1, the above operation is repeated at regular intervals to provide the driver with information on pedestrians ahead of the vehicle. With this information, the driver can reliably recognize the pedestrian even at night.
このナイトビューシステム１によれば、歩行者候補領域における輝度閾値以上の画素の占める面積割合による判定を行うことにより、輝度飽和物と歩行者とを高精度に識別でき、標識や車両の灯火類などを誤検出することを抑制できる。これによって、運転者に正しい歩行者情報を提供することができ、運転の安全性を向上させることができる。また、ナイトビューシステム１によれば、輝度飽和物を識別するために輝度閾値以上の画素の占める面積割合を求めるだけなので、処理負荷も軽減する。 According to this night view system 1, by performing determination based on the area ratio occupied by pixels that are equal to or greater than the luminance threshold in the pedestrian candidate region, it is possible to identify luminance saturated products and pedestrians with high accuracy, and to detect signs and vehicle lights. And the like can be prevented from being erroneously detected. Accordingly, correct pedestrian information can be provided to the driver, and driving safety can be improved. Further, according to the night view system 1, only the area ratio occupied by the pixels equal to or higher than the luminance threshold value is obtained in order to identify the luminance saturated product, so that the processing load is reduced.
また、ナイトビューシステム１では、歩行者を検出するための画像として近赤外線画像を用いるので、夜間などの人間の肉眼では視認困難な歩行者も検出することができる。さらに、ナイトビューシステム１では、撮像する領域に対して近赤外線を照射することによって、物体の反射率を輝度値により正確に反映させることができ、検出精度をより高めることができる。 In addition, since the night view system 1 uses a near-infrared image as an image for detecting a pedestrian, it is possible to detect a pedestrian that is difficult to see with human eyes at night or the like. Further, in the night view system 1, by irradiating the near-infrared ray to the area to be imaged, the reflectance of the object can be accurately reflected by the luminance value, and the detection accuracy can be further improved.
図６及び図２を参照して、第２の実施の形態に係るナイトビューシステム１１について説明する。図６は、第２の実施の形態に係るナイトビューシステムの構成図である。なお、ナイトビューシステム１１では、第１の実施の形態に係るナイトビューシステムと同様の構成については同一の符号を付し、その説明を省略する。 With reference to FIG.6 and FIG.2, the night view system 11 which concerns on 2nd Embodiment is demonstrated. FIG. 6 is a configuration diagram of the night view system according to the second embodiment. In the night view system 11, the same reference numerals are given to the same configurations as those of the night view system according to the first embodiment, and the description thereof is omitted.
ナイトビューシステム１１は、ナイトビューシステム１と比較すると、歩行者の検出精度（輝度飽和物除去フィルタの輝度飽和物を除去する精度）をより向上させるために、輝度閾値を可変値とした点が異なる。ナイトビューシステム１１は、近赤外線カメラ２、近赤外線投光器３、ディスプレイ４及びＥＣＵ１５を備えている。 Compared with the night view system 1, the night view system 11 has a feature that the brightness threshold is set to a variable value in order to further improve the detection accuracy of pedestrians (accuracy to remove the brightness saturation of the brightness saturation removal filter). Different. The night view system 11 includes a near infrared camera 2, a near infrared projector 3, a display 4, and an ECU 15.
ＥＣＵ１５は、第１の実施の形態に係るＥＣＵ５と比較すると、歩行者候補領域までの距離に対応した輝度閾値を設定する点が異なる。そのため、ＥＣＵ１５は、ＲＯＭに保持されるソフトウエアをＣＰＵで実行することによって歩行者候補領域抽出部１５ａ、輝度閾値設定部１５ｂ、輝度飽和物除去フィルタ１５ｃ、出力部１５ｄが構成される。歩行者候補領域抽出部１５ａ、輝度飽和物除去フィルタ１５ｃ、出力部１５ｄは、ＥＣＵ５の各部５ａ，５ｂ，５ｃと同様の処理を行うので、その説明を省略する。なお、本実施の形態では、歩行者候補領域抽出部１５ａが特許請求の範囲に記載する候補領域抽出手段に相当し、輝度閾値設定部１５ｂが特許請求の範囲に記載する閾値設定手段に相当し、輝度飽和物除去フィルタ１５ｃが特許請求の範囲に記載する候補除外手段に相当する。 The ECU 15 is different from the ECU 5 according to the first embodiment in that a luminance threshold value corresponding to the distance to the pedestrian candidate area is set. Therefore, the ECU 15 includes a pedestrian candidate area extraction unit 15a, a luminance threshold setting unit 15b, a luminance saturated object removal filter 15c, and an output unit 15d by executing software stored in the ROM by the CPU. Since the pedestrian candidate area extraction unit 15a, the luminance saturation removal filter 15c, and the output unit 15d perform the same processing as the respective units 5a, 5b, and 5c of the ECU 5, the description thereof is omitted. In the present embodiment, the pedestrian candidate area extracting unit 15a corresponds to the candidate area extracting unit described in the claims, and the luminance threshold setting unit 15b corresponds to the threshold setting unit described in the claims. The luminance saturation removing filter 15c corresponds to the candidate excluding means described in the claims.
図７（ａ）と図８（ａ）には同じ歩行者が自車両から近傍に存在する場合と遠方に存在する場合の近赤外線カメラ２による撮像画像の一例を示しており、図７（ｂ）と図８（ｂ）にはその撮像画像における各輝度の頻度（画素数）を示している。近傍に存在する場合の歩行者の輝度値は２３０前後であり、遠方に存在する場合の歩行者の輝度値は２００前後である。このように、同じ物体（歩行者）の場合でも、自車両からの距離により輝度が異なり、遠方ほど輝度が低下する。これは、自車両から遠方に存在するほど、近赤外線投光器３の近赤外線に対する反射率が低下するためのである。また、自発光する物体の場合も、自車両から遠方に存在するほど輝度が低下する。 FIGS. 7A and 8A show an example of an image captured by the near-infrared camera 2 when the same pedestrian is present in the vicinity of the own vehicle and when the same pedestrian is present in the distance. ) And FIG. 8B show the frequency (number of pixels) of each luminance in the captured image. The brightness value of a pedestrian when it exists in the vicinity is around 230, and the brightness value of a pedestrian when it exists in the distance is around 200. Thus, even in the case of the same object (pedestrian), the luminance varies depending on the distance from the host vehicle, and the luminance decreases as the distance increases. This is because the reflectance of the near-infrared projector 3 with respect to the near-infrared light decreases as the distance from the host vehicle increases. Also, in the case of an object that emits light, the luminance decreases as the object is located farther from the own vehicle.
このように、同じ物体でも自車両から遠くなるほど撮像画像における輝度が低下するので、自車両の距離に関係なく同じ輝度閾値ＩＴＨで判定を行うと、輝度飽和物を精度良く除外できない場合がある。例えば、輝度閾値ＩＴＨとして小さい値を設定した場合、近傍の歩行者についての輝度が輝度閾値ＩＴＨ以上となる可能性があり、近傍の歩行者を除外してしまう虞がある。また、輝度閾値ＩＴＨとして大きい値を設定した場合、遠方の標識についての輝度が輝度閾値ＩＴＨ未満となる可能性があり、遠方の標識を除外できない虞がある。そのため、近傍の物体については輝度閾値ＩＴＨとして大きい値を設定し、遠方の物体については輝度閾値ＩＴＨとして小さい値を設定する必要がある。そこで、歩行者候補領域毎に、撮像画像における歩行者候補領域までの距離（自車両からその歩行者候補領域における物体までの距離に相当）を推定し、その距離に応じた輝度閾値ＩＴＨを設定する。 As described above, even in the same object, the brightness in the captured image decreases as the distance from the own vehicle decreases. Therefore, if the determination is performed with the same luminance threshold ITH regardless of the distance of the own vehicle, the luminance saturated object may not be accurately excluded. For example, when a small value is set as the luminance threshold value ITH, the luminance of a nearby pedestrian may be equal to or higher than the luminance threshold value ITH, and there is a possibility of excluding the nearby pedestrian. In addition, when a large value is set as the luminance threshold ITH, the luminance of the distant sign may be less than the luminance threshold ITH, and the distant sign may not be excluded. Therefore, it is necessary to set a large value as the luminance threshold value ITH for a nearby object and to set a small value as a luminance threshold value ITH for a distant object. Therefore, for each pedestrian candidate area, the distance to the pedestrian candidate area in the captured image (corresponding to the distance from the own vehicle to the object in the pedestrian candidate area) is estimated, and a luminance threshold ITH corresponding to the distance is set. To do.
輝度閾値設定部１５ｂは、抽出した歩行者候補領域までの距離に応じた輝度閾値ＩＴＨを設定する。具体的には、近赤外線カメラ２から任意の対象物体までの距離をｄとし、その対象物体の撮像画像上の歩行者候補領域の幅をｗとすると、式（１）に示す関係となる。また、近赤外線カメラ２の撮像方向、近赤外線投光器３の照射方向、車両進行方向が同一方向であるので、撮像画像における任意の画素の輝度値をｆとすると、式（２）に示す関係となる。式（２）におけるｘ１は、式（３）で表される。 The luminance threshold setting unit 15b sets a luminance threshold ITH according to the distance to the extracted pedestrian candidate area. Specifically, when the distance from the near-infrared camera 2 to an arbitrary target object is d and the width of the pedestrian candidate area on the captured image of the target object is w, the relationship shown in Expression (1) is established. Further, since the imaging direction of the near-infrared camera 2, the irradiation direction of the near-infrared projector 3, and the vehicle traveling direction are the same direction, if the luminance value of an arbitrary pixel in the captured image is f, the relationship shown in Expression (2) Become. X 1 in the formula (2) is represented by the formula (3).
ｗｆは、近赤外線カメラ２の撮像画像の幅である。ｘは、撮像画像における左上を原点とした場合の撮像画像上の横方向（幅方向）における歩行者候補領域の中心位置である。ｘ１は、撮像画像上の横方向の中心位置（ｗｆ／２）から歩行者候補領域の中心位置（ｘ）までの横方向の距離である。この式（２）の関係から、任意の画素の輝度値ｆは、歩行者候補領域の幅ｗが小さくなるほど（つまり、歩行者候補領域が奥行き方向に遠くなるほど）小さくなり、撮像画像の中心位置からの歩行者候補領域の距離ｘ１が大きくなるほど（つまり、歩行者候補領域が撮像画像の幅方向中心から離れるほど）小さくなることが判る。 w f is the width of the captured image of the near-infrared camera 2. x is the center position of the pedestrian candidate region in the horizontal direction (width direction) on the captured image when the upper left in the captured image is the origin. x 1 is the lateral distance from the center position in the lateral direction of the captured image (w f / 2) to the central position of the pedestrian candidate region (x). From the relationship of this equation (2), the luminance value f of an arbitrary pixel becomes smaller as the width w of the pedestrian candidate area becomes smaller (that is, as the pedestrian candidate area becomes farther in the depth direction) and the center position of the captured image the greater the distance x 1 of the pedestrian candidate region from (i.e., as the pedestrian candidate region away from the center in the lateral direction of the captured image) becomes it is seen small.
この式（２）、式（３）から、式（４）により、撮像画像における歩行者候補領域の奥行き方向の距離と幅方向中心からの距離に応じた輝度閾値ＩＴＨを求めることができる。ここで、ｃは、比例定数である。ｗｂは、基準位置（校正用の位置であり、任意に設定可能）での歩行者候補領域の幅である。ｘｂは、基準位置での撮像画像上の横方向の中心位置から歩行者候補領域の中心位置までの横方向の距離である。ＩＴＨｂは、基準位置での輝度閾値である。このｃ、ｗｂ、ｘｂ、ＩＴＨｂについては、基準位置が設定された後、実験などによって予め設定される。 From these formulas (2) and (3), the brightness threshold ITH corresponding to the distance in the depth direction and the distance from the center in the width direction of the pedestrian candidate area in the captured image can be obtained by formula (4). Here, c is a proportionality constant. w b is the width of the pedestrian candidate area at the reference position (calibration position, which can be arbitrarily set). xb is the distance in the horizontal direction from the horizontal center position on the captured image at the reference position to the center position of the pedestrian candidate area. ITH b is a luminance threshold value at the reference position. These c, w b , x b , and ITH b are set in advance by an experiment or the like after the reference position is set.
輝度閾値設定部１５ｂでは、歩行者候補領域毎に、その幅ｗ、距離ｘ１を求め、式（４）により輝度閾値ＩＴＨを算出する。これによって、輝度閾値ＩＴＨは、歩行者候補領域が奥行き方向に遠くなるほど小さくなり、歩行者候補領域が撮像画像の幅方向の中心位置から離れるほど小さくなる。 In the brightness threshold setting unit 15b, for each pedestrian candidate region, the width w, the distance x 1 calculated, calculates the luminance threshold ITH by the formula (4). As a result, the brightness threshold ITH decreases as the pedestrian candidate area becomes farther in the depth direction, and decreases as the pedestrian candidate area moves away from the center position in the width direction of the captured image.
図６及び図２を参照して、ナイトビューシステム１１の動作について説明する。特に、ＥＣＵ１５における処理について図９のフローチャートに沿って説明する。図９は、第２の実施の形態に係る歩行者検出装置のＥＣＵにおける処理の流れを示すフローチャートである。 With reference to FIG.6 and FIG.2, operation | movement of the night view system 11 is demonstrated. In particular, the processing in the ECU 15 will be described along the flowchart of FIG. FIG. 9 is a flowchart showing a flow of processing in the ECU of the pedestrian detection apparatus according to the second embodiment.
ナイトビューシステム１１では、第１の実施の形態と同様に、起動されると近赤外線投光器３で近赤外線を照射し、近赤外線カメラ２で車両前方を撮像し、一定時間毎に画像信号をＥＣＵ１５に送信している。ＥＣＵ１５では、第１の実施の形態に係るＥＣＵ５と同様の処理により、一定時間毎に、近赤外線カメラ２から撮像画像を取得し（Ｓ３０）、撮像画像から歩行者候補領域を抽出する（Ｓ３１）。 In the night view system 11, as in the first embodiment, when activated, the near-infrared projector 3 emits near-infrared rays, the near-infrared camera 2 images the front of the vehicle, and image signals are sent to the ECU 15 at regular intervals. Is sending to. The ECU 15 acquires a captured image from the near-infrared camera 2 at regular intervals (S30) and extracts a pedestrian candidate region from the captured image by the same processing as the ECU 5 according to the first embodiment (S31). .
ＥＣＵ１５では、抽出した歩行者候補の中から歩行者候補を１つづつ選択する（Ｓ３２）。そして、ＥＣＵ１５では、その歩行者候補領域の幅ｗと撮像画像の中心位置からの距離ｘ１を求める。さらに、ＥＣＵ１５では、幅ｗと距離ｗ１を用いて、式（４）により歩行者候補領域までの距離に応じた輝度閾値ＩＴＨを設定する（Ｓ３３）。ここで、歩行者候補領域の物体の存在する位置を考慮した輝度閾値ＩＴＨが設定される。なお、このＳ３３の処理については、Ｓ３５の処理の直前に行ってもよい。 The ECU 15 selects pedestrian candidates one by one from the extracted pedestrian candidates (S32). Then, the ECU 15, obtains a distance x 1 from the center position of the width w and the captured image of the pedestrian candidate region. Further, the ECU 15 sets the brightness threshold ITH corresponding to the distance to the pedestrian candidate area using the width w and the distance w 1 according to the equation (4) (S33). Here, the luminance threshold value ITH is set in consideration of the position where the object in the pedestrian candidate area exists. The process of S33 may be performed immediately before the process of S35.
続いて、ＥＣＵ１５では、第１の実施の形態と同様に、その歩行者候補領域の幅ｗが幅閾値ＷＴＨ以下か否かを判定し（Ｓ３４）、Ｓ３４にて歩行者候補領域の幅ｗが幅閾値ＷＴＨ以下と判定した場合には歩行者候補についての処理を行わない。 Subsequently, as in the first embodiment, the ECU 15 determines whether or not the width w of the pedestrian candidate area is equal to or smaller than the width threshold value WTH (S34), and the width w of the pedestrian candidate area is determined in S34. When it is determined that the width threshold WTH or less, the process for the pedestrian candidate is not performed.
Ｓ３４にて歩行者候補領域の幅ｗが幅閾値ＷＴＨより大きいと判定した場合、ＥＣＵ１５では、Ｓ３３の処理で設定した輝度閾値ＩＴＨを用いて、歩行者候補領域の画像中から輝度閾値ＩＴＨ以上の画素を探索する（Ｓ３５）。そして、ＥＣＵ１５では、輝度閾値ＩＴＨ以上の画素数ＨＣをカウントする（Ｓ３５）。ここで、歩行者候補領域の物体が自車両から近傍に存在する場合、輝度閾値ＩＴＨとして大きな値が設定されているので、輝度値が高い画素が探索される。一方、歩行者候補領域の物体が自車両から遠方に存在する場合、輝度閾値ＩＴＨとして小さな値が設定されているので、近傍に存在する物体より輝度値が低い画素も探索される。そのため、例えば、標識が遠方に存在し、反射率が低くなっている場合でも、輝度閾値ＩＴＨが小さくなっているので、その輝度閾値ＩＴＨ以上となる画素が多い。また、歩行者が近傍に存在する場合でも、輝度閾値ＩＴＨが大きくなっているので、その輝度閾値ＩＴＨ以上となる画素が少ない。 When it is determined in S34 that the width w of the pedestrian candidate area is larger than the width threshold value WTH, the ECU 15 uses the luminance threshold value ITH set in the process of S33 to obtain a luminance threshold value ITH or more from the image of the pedestrian candidate area. A pixel is searched (S35). Then, the ECU 15 counts the number of pixels HC equal to or greater than the luminance threshold value ITH (S35). Here, when an object in the pedestrian candidate area is present in the vicinity of the own vehicle, a large value is set as the luminance threshold value ITH, and thus a pixel having a high luminance value is searched. On the other hand, when an object in the pedestrian candidate area exists far away from the host vehicle, since a small value is set as the brightness threshold ITH, a pixel having a brightness value lower than that of an object existing in the vicinity is also searched. For this reason, for example, even when the sign is located far away and the reflectance is low, the luminance threshold ITH is small, so that there are many pixels that are equal to or higher than the luminance threshold ITH. Even when a pedestrian is present in the vicinity, the luminance threshold value ITH is large, so that there are few pixels that are equal to or greater than the luminance threshold value ITH.
続いて、ＥＣＵ１５では、第１の実施の形態におけるＳ１５〜Ｓ２０の各処理と同様の処理を、Ｓ３６〜Ｓ４１の各処理で行う。そして、ナイトビューシステム１１では、第１の実施の形態と同様に、ディスプレイ４で歩行者の情報を示す画像を表示する。ナイトビューシステム１１では、以上の動作を一定時間毎に繰り返し行い、運転者に車両前方の歩行者の情報を提供する。 Subsequently, the ECU 15 performs the same processes as S15 to S20 in the first embodiment in each process of S36 to S41. And in the night view system 11, the image which shows the information of a pedestrian is displayed on the display 4 similarly to 1st Embodiment. In the night view system 11, the above operation is repeated at regular intervals to provide the driver with pedestrian information ahead of the vehicle.
このナイトビューシステム１１では、第１の実施の形態に係るナイトビューシステム１と同様の効果を有する上に、以下の効果も有する。ナイトビューシステム１１によれば、歩行者候補領域までの距離に応じて輝度閾値ＩＴＨを設定することにより、近傍に存在する歩行者の歩行者候補領域を除外することを防止でき、遠方に存在する標識などの歩行者候補領域を除外でき、自車両からの距離に関係なく歩行者だけを高精度に検出できる。また、ナイトビューシステム１１では、歩行者候補領域の幅を利用して歩行者候補領域までの距離を推定することにより、歩行者候補領域までの距離を高精度に推定でき、歩行者候補領域までの距離に応じた最適な輝度閾値ＩＴＨを設定することができる。ちなみに、歩行者は幅については個体差が小さいが、高さについては個体差が大きいので、歩行者候補領域も幅については個体差が小さく、幅を利用することによって歩行者候補領域までの距離を正確に推定できる。 In addition to the same effects as the night view system 1 according to the first embodiment, the night view system 11 also has the following effects. According to the night view system 11, by setting the luminance threshold value ITH according to the distance to the pedestrian candidate area, it is possible to prevent the pedestrian candidate area of a pedestrian existing in the vicinity from being excluded and exist in the distance. Pedestrian candidate areas such as signs can be excluded, and only pedestrians can be detected with high accuracy regardless of the distance from the host vehicle. In the night view system 11, the distance to the pedestrian candidate area can be estimated with high accuracy by estimating the distance to the pedestrian candidate area using the width of the pedestrian candidate area. It is possible to set an optimum luminance threshold value ITH according to the distance. By the way, pedestrians have small individual differences in width, but there are large individual differences in height, so pedestrian candidate areas also have small individual differences in width, and the distance to the pedestrian candidate area by using the width Can be estimated accurately.
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。 As mentioned above, although embodiment which concerns on this invention was described, this invention is implemented in various forms, without being limited to the said embodiment.
例えば、本実施の形態では近赤外線カメラで撮像した近赤外線画像に基づく歩行者検出に適用したが、近赤外線以外の不可視カメラで撮像した不可視画像あるいは可視カメラで撮像した可視画像に基づく歩行者検出にも適用可能である。また、本実施の形態では車両に搭載されるナイトビューシステムに適用したが、車載装置に限定されることなく、様々な用途に適用可能である。 For example, in this embodiment, the present invention is applied to pedestrian detection based on a near-infrared image captured by a near-infrared camera, but pedestrian detection based on an invisible image captured by an invisible camera other than near-infrared or a visible image captured by a visible camera. It is also applicable to. Moreover, although applied to the night view system mounted in a vehicle in this Embodiment, it is applicable to various uses, without being limited to a vehicle-mounted apparatus.
また、本実施の形態では輝度閾値以上の面積（面積割合）も考慮して歩行者候補から輝度飽和物を除外する構成としたが、歩行者と標識などの輝度飽和物とを判別することができる適切な輝度閾値を距離に応じて設定することができるなら、輝度閾値以上の領域の面積を考慮せずに、輝度閾値による判定だけで歩行者候補から輝度飽和物を除外するようにしてもよい。 Further, in this embodiment, a configuration in which luminance saturated products are excluded from pedestrian candidates in consideration of an area (area ratio) that is equal to or greater than the luminance threshold is used. However, it is possible to discriminate between pedestrians and luminance saturated products such as signs. If an appropriate luminance threshold can be set according to the distance, luminance saturated objects can be excluded from pedestrian candidates only by the determination based on the luminance threshold without considering the area of the area above the luminance threshold. Good.
また、本実施の形態では歩行者候補領域における輝度閾値以上の画素の面積割合を算出し、面積割合によって歩行者候補から輝度飽和物を除外するか否かを判定する構成としたが、歩行者候補領域における輝度閾値以上の画素の数や画素の領域面積によって歩行者候補から輝度飽和物を除外するか否かを判定するようにしてもよい。 In the present embodiment, the area ratio of pixels equal to or higher than the luminance threshold value in the pedestrian candidate area is calculated, and it is determined whether to exclude luminance saturation from the pedestrian candidate based on the area ratio. You may make it determine whether a brightness saturated substance is excluded from a pedestrian candidate by the number of pixels more than a brightness | luminance threshold value in a candidate area | region, and the area | region area of a pixel.
また、第２の実施の形態では歩行者候補までの距離を歩行者候補領域の大きさ（幅）に基づいて推定する構成としたが、歩行者候補までの距離を距離センサで実際に検出するなど、他の方法で距離を求めてもよい。 In the second embodiment, the distance to the pedestrian candidate is estimated based on the size (width) of the pedestrian candidate area, but the distance to the pedestrian candidate is actually detected by the distance sensor. The distance may be obtained by other methods.
また、第２の実施の形態では歩行者候補領域までの距離に応じて輝度閾値を無段階で設定する構成としたが、歩行者候補領域までの距離を数段階に分け、輝度閾値を数段階で設定してもよい。 In the second embodiment, the luminance threshold is set in a stepless manner according to the distance to the pedestrian candidate region. However, the distance to the pedestrian candidate region is divided into several steps, and the luminance threshold is set in several steps. It may be set with.
１，１１…ナイトビューシステム、２…近赤外線カメラ、３…近赤外線投光器、４…ディスプレイ、５，１５…ＥＣＵ、５ａ，１５ａ…歩行者候補領域抽出部、５ｂ，１５ｃ…輝度飽和物除去フィルタ、５ｃ，１５ｄ…出力部、１５ｂ…輝度閾値設定部
DESCRIPTION OF SYMBOLS 1,11 ... Night view system, 2 ... Near infrared camera, 3 ... Near infrared projector, 4 ... Display, 5,15 ... ECU, 5a, 15a ... Pedestrian candidate area extraction part, 5b, 15c ... Luminance saturated substance removal filter 5c, 15d: output unit, 15b: luminance threshold setting unit
Claims (3)
画像から歩行者候補領域を抽出する候補領域抽出手段と、
前記候補領域抽出手段で抽出した歩行者候補領域毎に、歩行者候補領域までの横方向の距離及び歩行者候補領域の幅を求め、歩行者候補領域までの横方向の距離及び歩行者候補領域の幅に対応した輝度閾値を設定する閾値設定手段と、
前記候補領域抽出手段で抽出した歩行者候補領域の中から、歩行者候補領域の画像中に前記閾値設定手段で設定した輝度閾値以上の画素が存在する歩行者候補領域を歩行者の候補から除外する候補除外手段と
を備えることを特徴とする画像処理装置。 An image processing device for detecting a pedestrian from an image,
Candidate area extracting means for extracting a pedestrian candidate area from the image;
For each pedestrian candidate area extracted by the candidate area extraction means, the lateral distance to the pedestrian candidate area and the width of the pedestrian candidate area are obtained, the lateral distance to the pedestrian candidate area, and the pedestrian candidate area. Threshold setting means for setting a luminance threshold corresponding to the width of
From among the pedestrian candidate areas extracted by the candidate area extraction means, exclude pedestrian candidate areas in which an image of the pedestrian candidate area has a pixel equal to or higher than the luminance threshold set by the threshold setting means from the pedestrian candidates. An image processing apparatus, comprising:
画像から歩行者候補領域を抽出する候補領域抽出手段と、Candidate area extracting means for extracting a pedestrian candidate area from the image;
前記候補領域抽出手段で抽出した歩行者候補領域までの距離に対応した輝度閾値を設定する閾値設定手段と、Threshold setting means for setting a brightness threshold corresponding to the distance to the pedestrian candidate area extracted by the candidate area extracting means;
前記候補領域抽出手段で抽出した歩行者候補領域の中から、歩行者候補領域の画像中に前記閾値設定手段で設定した輝度閾値以上の画素が存在する歩行者候補領域を歩行者の候補から除外する候補除外手段とFrom among the pedestrian candidate areas extracted by the candidate area extraction means, exclude pedestrian candidate areas in which an image of the pedestrian candidate area has a pixel equal to or higher than the luminance threshold set by the threshold setting means from the pedestrian candidates. Candidate exclusion means to
を備え、With
前記候補除外手段は、輝度閾値以上の画素の領域が所定面積以上の場合に歩行者の候補から除外することを特徴とする画像処理装置。The image processing apparatus according to claim 1, wherein the candidate excluding unit excludes a candidate for a pedestrian when a pixel area equal to or greater than a luminance threshold is greater than or equal to a predetermined area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006240492A JP4732985B2 (en) | 2006-09-05 | 2006-09-05 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006240492A JP4732985B2 (en) | 2006-09-05 | 2006-09-05 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008065463A JP2008065463A (en) | 2008-03-21 |
| JP4732985B2 true JP4732985B2 (en) | 2011-07-27 |
Family
ID=39288146
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006240492A Active JP4732985B2 (en) | 2006-09-05 | 2006-09-05 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4732985B2 (en) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5590777B2 (en) * | 2008-05-12 | 2014-09-17 | トヨタ自動車株式会社 | Radar equipment |
| JP4842301B2 (en) * | 2008-07-01 | 2011-12-21 | 株式会社豊田中央研究所 | Pedestrian detection device and program |
| JP5228926B2 (en) * | 2009-01-12 | 2013-07-03 | 株式会社デンソー | Pedestrian detection device |
| JP4972116B2 (en) * | 2009-03-30 | 2012-07-11 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| JP5401257B2 (en) * | 2009-10-23 | 2014-01-29 | クラリオン株式会社 | Far-infrared pedestrian detection device |
| JP5117522B2 (en) * | 2010-03-08 | 2013-01-16 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
| JP2013186681A (en) * | 2012-03-08 | 2013-09-19 | Omron Corp | Image processor, image processing method, and image processing program |
| JP6230498B2 (en) * | 2014-06-30 | 2017-11-15 | 本田技研工業株式会社 | Object recognition device |
| JP6386837B2 (en) * | 2014-09-02 | 2018-09-05 | 任天堂株式会社 | Image processing program, information processing system, information processing apparatus, and image processing method |
| EP2993645B1 (en) | 2014-09-02 | 2019-05-08 | Nintendo Co., Ltd. | Image processing program, information processing system, information processing apparatus, and image processing method |
| JP7043787B2 (en) * | 2017-10-25 | 2022-03-30 | 株式会社Ihi | Object detection system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005159392A (en) * | 2003-11-20 | 2005-06-16 | Nissan Motor Co Ltd | Vehicle periphery monitoring device and method |
| JP2005318408A (en) * | 2004-04-30 | 2005-11-10 | Nissan Motor Co Ltd | Vehicle surrounding monitoring apparatus and method |
| JP2005332071A (en) * | 2004-05-18 | 2005-12-02 | Sumitomo Electric Ind Ltd | System for tracking visually handicapped person and method for detecting visually handicapped person |
-
2006
- 2006-09-05 JP JP2006240492A patent/JP4732985B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005159392A (en) * | 2003-11-20 | 2005-06-16 | Nissan Motor Co Ltd | Vehicle periphery monitoring device and method |
| JP2005318408A (en) * | 2004-04-30 | 2005-11-10 | Nissan Motor Co Ltd | Vehicle surrounding monitoring apparatus and method |
| JP2005332071A (en) * | 2004-05-18 | 2005-12-02 | Sumitomo Electric Ind Ltd | System for tracking visually handicapped person and method for detecting visually handicapped person |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008065463A (en) | 2008-03-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4732985B2 (en) | Image processing device | |
| JP4263737B2 (en) | Pedestrian detection device | |
| JP3922245B2 (en) | Vehicle periphery monitoring apparatus and method | |
| EP2544162B1 (en) | Surrounding area monitoring device for vehicle | |
| US7952490B2 (en) | Method for identifying the activation of the brake lights of preceding vehicles | |
| JP4359710B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
| JP6358552B2 (en) | Image recognition apparatus and image recognition method | |
| EP1553516A2 (en) | Pedestrian extracting apparatus | |
| EP2463806A1 (en) | Vehicle detection device and vehicle detection method | |
| CN109076197B (en) | Display control device | |
| JP2007288657A (en) | Display apparatus for vehicle, and display method of the display apparatus for vehicle | |
| JP2007156626A (en) | Object type determination device and object type determination method | |
| KR20140104954A (en) | Method and device for identifying a braking situation | |
| JP4528283B2 (en) | Vehicle periphery monitoring device | |
| JP2014515893A (en) | Method and apparatus for evaluating an image taken by a camera of a vehicle | |
| JP2010088045A (en) | Night view system, and nighttime walker display method | |
| JP6782433B2 (en) | Image recognition device | |
| JP2011227657A (en) | Device for monitoring periphery of vehicle | |
| JP2004341801A (en) | Chased vehicle lamp detection system and chased vehicle lamp detection method | |
| JP2011103058A (en) | Erroneous recognition prevention device | |
| JP4701961B2 (en) | Pedestrian detection device | |
| JP4887540B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
| JPH0927100A (en) | Method and device for recognizing proceding vehicel and read-end collision preventive device equipped there with for vehicle | |
| JP4765113B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
| JP5056679B2 (en) | Night view system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090513 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100617 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100907 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110419 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110421 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4732985 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140428 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |